画像処理装置及びプログラム
【課題】簡便な手法により、電子文書を印刷した後であってもメタ情報に対応する機能を利用することができる画像処理装置等を提供する。
【解決手段】媒体に印刷をするための印刷データの基である電子文書を取得する探索部14と、探索部14により取得された電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトが有する所定の情報と描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成部15と、印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、関連情報作成部15により作成された関連情報と所定の情報とを比較する比較部16と、比較部16による比較結果から、媒体に印刷された印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示部17と、を備えたことを特徴とする画像処理装置100。
【解決手段】媒体に印刷をするための印刷データの基である電子文書を取得する探索部14と、探索部14により取得された電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトが有する所定の情報と描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成部15と、印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、関連情報作成部15により作成された関連情報と所定の情報とを比較する比較部16と、比較部16による比較結果から、媒体に印刷された印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示部17と、を備えたことを特徴とする画像処理装置100。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを処理する画像処理装置等に関する。
【背景技術】
【0002】
近年、細かなドットが印刷された特殊な用紙に文字や絵を描き、ユーザがこの用紙上に書いた文字等のデータをパソコンや携帯電話等に転送し、この内容の保存や、メール送信を可能とする技術が注目されている。
【0003】
公報記載の従来技術として、例えば、特許文献1には、電子的に記憶された文書を、位置コーディングパターンを備えた紙シート上に印刷する技術が開示されている。この技術においては、位置コーディングパターンを備えた特殊な紙シートが用いられる。そして、この紙シートに文書を印刷し、その上から、位置コーディングパターン読取り用手段を備えたデジタルペンと紙の表面にマーキングを付けるペンポイントとを用いて手動で編集し、その編集結果が電子情報に反映されるように構成されている。
また、特許文献2には、電子文書を作成するための文書作成アプリケーションが、電子文書のページごとにコード画像を付与する領域を指定できるようにした印刷指示装置が開示されている。
【0004】
【特許文献1】特表2003−528388号公報
【特許文献2】特開2007−72640号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ここで、紙文書をインタフェースとして用いるシステムにおいて、単純な処理のみでなく複雑な処理を行うことが求められる。電子文書は、一般に、その内部にメタ情報を保持しており、このメタ情報を用いることで複雑な処理を行うことが可能となる。しかしながら、このようなメタ情報は、通常印刷されないことから、電子文書を印刷した後の利便性に問題がある。電子文書を印刷した後であってもメタ情報に対応する機能を利用することが望まれる。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得手段と、前記電子文書取得手段により取得された前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段と、前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報作成手段により作成された前記関連情報と当該所定の情報とを比較する比較手段と、前記比較手段による比較結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段と、を備えたことを特徴とする画像処理装置である。
【0007】
請求項2に記載の発明は、前記関連情報作成手段は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けることを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項1に記載の画像処理装置である。
請求項4に記載の発明は、前記関連情報作成手段は、文字描画オブジェクト、イメージ描画オブジェクト、グラフィックス描画オブジェクトから選ばれる少なくとも1つの描画オブジェクトに付随するメタ情報の解析を行うことを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、前記電子文書取得手段は、前記電子文書の文書名を基にして当該電子文書の所在を探索し、取得することを特徴とする請求項1に記載の画像処理装置である。
請求項6に記載の発明は、前記登録指示手段は、前記印刷オブジェクトに対応する機能への参照情報、前記印刷オブジェクトの位置情報、前記媒体の識別情報から選ばれる少なくとも1つの情報を管理情報として登録を指示することを特徴とする請求項1に記載の画像処理装置である。
請求項7に記載の発明は、前記比較手段は、所定の特徴量が一致するか否かにより、前記関連情報作成手段により作成された前記関連情報と前記所定の情報とを比較することを特徴とする請求項1に記載の画像処理装置である。
請求項8に記載の発明は、前記印刷データを取得する印刷データ取得手段と、
前記印刷データの画像と前記管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段とを更に有することを特徴とする請求項1に記載の画像処理装置である。
請求項9に記載の発明は、前記管理情報を編集するための編集手段を更に備えることを特徴とする請求項1に記載の画像処理装置である。
【0008】
請求項10に記載の発明は、コンピュータに、媒体に印刷をするための印刷データの基である電子文書を取得する機能と、前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する機能と、前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報と当該所定の情報とを比較する機能と、前記比較の結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する機能と、を実現させるためのプログラムである。
【0009】
請求項11に記載の発明は、前記メタ情報は、前記描画オブジェクトに付随する参照情報であることを特徴とする請求項10に記載のプログラムである。
請求項12に記載の発明は、前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項10に記載のプログラムである。
【発明の効果】
【0010】
請求項1の発明によれば、メタ情報を解析することにより、印刷オブジェクトとそれに対応する機能とを関連付けることが可能となるため、例えば、印刷後であってもメタ情報に関する複雑な処理を行うことができる。
請求項2の発明によれば、本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とを関連付けることが、より簡単となる。
請求項3の発明によれば、本構成を有していない場合に比較して、所定のサービスをより簡便な手段で提供することが可能になる。
請求項4の発明によれば、本構成を採用しない場合に比べ、所定の機能を実現する描画オブジェクトを、より精度よく選択することができる。
請求項5の発明によれば、本構成を有していない場合に比較して、電子文書を、より簡単に探索することができる。
請求項6の発明によれば、本構成を採用しない場合に比べ、管理情報を、より簡単に作成することができる。
請求項7の発明によれば、本構成を採用しない場合に比べ、管理情報と印刷オブジェクトが有する所定の情報とを、より精度良く比較することができる。
請求項8の発明によれば、媒体に印刷する際に、メタ情報を解析することができる。
請求項9の発明によれば、ユーザが、印刷オブジェクトと印刷オブジェクトに対応する機能との関連付けを選択することができる。
請求項10の発明によれば、例えば、印刷後であってもメタ情報に関する複雑な処理を行うことができる。また、本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とをより簡単に関連付けることが可能となる。
請求項11の発明によれば、本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とを関連付けることが、より簡単となる。
請求項12の発明によれば、本構成を有していない場合に比較して、所定のサービスを、より簡便に提供することが可能になる。
【発明を実施するための最良の形態】
【0011】
以下、添付図面を参照して、本発明の実施の形態について説明する。
図1は、本実施の形態が適用されるシステムの構成の一例を示したものである。このシステムは、少なくとも、電子文書の印刷を指示する画像処理装置100と、電子文書を蓄積する文書リポジトリ200と、電子文書の画像と符号パターン画像との重畳画像を印刷する画像形成装置400とがネットワーク800に接続されることにより構成されている。また、このシステムは、画像形成装置400にて出力される印刷物500と、印刷物500に文字又は図形を記録し、その文字又は図形の軌跡を読み取るペンデバイス600とを含む。更に、ネットワーク800には、ペンデバイス600により選択された所定のサービスを提供する端末装置700も接続されている。
【0012】
以下、本システムの動作の概略を説明する。
まず、画像処理装置100は、文書リポジトリ200から印刷対象の電子文書を取得する(A)。そして、画像形成装置400に対し、この電子文書の印刷を指示する(B)。このとき、画像処理装置100は、印刷に関するパラメータである印刷属性を指定する。この印刷属性には、通常の印刷と同様、用紙サイズ、向き、両面印刷等が含まれる。また、符号パターン画像に関し、符号パターン画像を印刷すべき領域の指定等が含まれてもよい。
この電子文書の印刷指示を受けると、画像形成装置400は、電子文書の画像に符号パターン画像を重畳した画像を紙等の媒体に印刷し、印刷物500を出力する(C)。この場合、符号パターン画像は、識別情報に対応する識別符号と、位置情報に対応する位置符号とを画像化したものである。或いは、その他の情報である付加情報を含めて画像化したものであってもよい。なお、電子文書の画像と符号パターン画像とを重畳する処理は、画像処理装置100で行ってもよいし、画像形成装置400で行ってもよい。
【0013】
ここで、識別情報としては、個々の媒体を一意に識別する情報を採用することができる。例えば、画像形成装置400の識別番号と画像形成装置400における媒体の印刷の一連番号又は印刷の日時とを組み合わせて得られる情報であってもよいし、所定のサーバにて重複がないように一元管理されている情報であってもよい。或いは、個々の媒体を一意に識別する情報ではなく、媒体に印刷された電子文書を一意に識別する情報を、識別情報として採用してもよい。
また、位置情報とは、個々の媒体上の座標位置(X座標、Y座標)を特定するための情報である。例えば、媒体の左上点を原点とし、媒体の右方向にX軸をとり、下方向にY軸をとることにより設定した座標系で、座標を表すことが考えられる。
更に、付加情報としては、印刷指示を行ったユーザの識別情報や、コピー禁止であるかどうかの情報等がある。
【0014】
また、画像形成装置400は、符号パターン画像を、赤外光の吸収率が一定の基準以上である不可視のトナーを用いて不可視画像として形成する。一方、電子文書の文書画像は、赤外光の吸収率が一定の基準以下である可視のトナーを用いて可視画像として形成することが好ましい。なお、符号パターン画像の形成に用いるトナーと文書画像の形成に用いるトナーとで、赤外光の吸収率に差を設けたのは、赤外光を照射して符号パターン画像を読み取る際の読取り精度を確保するためである。なお、本明細書では、赤外光照射による符号パターン画像の読取りを前提として説明するが、紫外光により符号パターン画像を読み取るものであってもよい。
【0015】
その後、ユーザが、ペンデバイス600を用いて印刷物500に文字又は図形をマーキングしたとする(D)。これにより、ペンデバイス600は、印刷物500に対し赤外光を照射し、その反射光を検出することで符号パターン画像を入力する。そして、符号パターン画像から情報を取得又は生成し、有線通信又は無線通信を介して、その情報を端末装置700に送信する(E)。なお、ここで送信される情報には、例えば、印刷物500の識別情報や、印刷物500に対して筆記された文字又は図形の位置情報がある。或いは、位置情報は、一定の時間における文字又は図形の位置情報を連結させた軌跡情報として送信するようにしてもよい。
その後、端末装置700は、ペンデバイス600から受信した識別情報と位置情報に基づいて、印刷物500に関する管理情報を文書リポジトリ200から取得する(F)。そして、端末装置700は、文書リポジトリ200から受信した管理情報に基づいて、所定のサービスを提供する。
【0016】
ところで、ペンデバイス600から受信した識別情報が、個々の媒体を一意に識別する情報である場合、この識別情報に基づいて電子文書を取得できるようにするためには、識別情報と電子文書との対応関係を管理しておく必要がある。図1では、この対応関係をどこで管理するかについては明示しなかったが、端末装置700からアクセス可能であれば、どこで管理するようにしてもよい。例えば、文書リポジトリ200であってもよいし、画像形成装置400であってもよい。
また、ペンデバイス600から軌跡情報を受信した場合、この軌跡情報は、印刷物500上での筆記位置に対応する電子文書上の位置に重ね合わせて表示される。これは、ペンデバイス600で読み取った符号パターン画像に筆記位置の情報が含まれるので、その情報から電子文書の表示イメージにおける対応する位置が特定できるからである。
【0017】
以上、本実施の形態が適用されるシステムについて述べてきたが、このような構成はあくまで一例に過ぎない。例えば、電子文書の画像と符号パターン画像とを重畳する処理を、画像処理装置100から画像形成装置400への印刷指示を中継するサーバコンピュータ等で行うようにしてもよい。また、文書リポジトリ200は、画像処理装置100内にあってもよい。更に、画像処理装置100と端末装置700とは、同一の装置であってもよい。
なお、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)も含めて「電子文書」としている。
【0018】
上述のシステムにおいて、印刷物500の特定の箇所にペンデバイス600でマーキングすることで所定のサービスを提供するには、印刷物500上の特定の領域(以下「サービス領域」とする)について、決定する必要がある。
しかしながら、従来のシステムでは、電子文書を印刷するためのデータである印刷データが描画データだけである場合、描画データのみを用いてサービス領域を決定する必要があり、限定的であった。即ち、電子文書には、例えば、HTML文書データのように、電子文書内に印刷されないメタ情報を保持しているものが多い。しかし、このようなメタ情報は、印刷データとなった段階では、印刷データの基となった電子文書と比較して、多くの部分が失われる。そのため、従来の技術では、メタ情報の利用については限定的な形態のものしか実現できていない。
なお、ここで、メタ情報の例としては、電子文書の一部にリンクと呼ばれる別のHTML文書データへの関連付けを行う参照情報等が挙げられる。このような参照情報が添付されていると、ウェブブラウザでリンクの貼られている文書の部分をクリックすることにより関連付けられるウェブサイトを表示することができる。
【0019】
以上のことを、実際の電子文書と印刷データを対比することで、以下に説明する。
図2は、電子文書の一例としてのHTML文書のウェブブラウザ上での画面表示例を示したものである。
図2で、表示画面20は、テキスト21〜27から構成されているウェブ画面である。このうちテキスト21は、タイトルである。そして、テキスト24には、別のウェブ画面へのリンクが貼られている。また、テキスト25〜26には、音声データへのリンクが張られている、また更に、テキスト27には、電子メールアドレスへのリンクが貼られている。
図2に示した表示画面20におけるウェブブラウザ上での動作を説明する。テキスト24には、別のウェブ画面へのリンクが貼られているため、テキスト24をマウスなどでクリックすると、別のウェブ画面が開く。また、テキスト25〜26には、それぞれ異なる音声データへのリンクが張られているため、マウスなどでクリックすることにより所定の音声データを再生し、音楽等を鳴らすことができる。また更に、テキスト27には特定の電子メールアドレスへのリンクが貼られているため、マウスなどでクリックすることにより、電子メールプログラムを起動し、特定の電子メールアドレスに電子メールを送付することができる。
【0020】
図3は、図2に示した表示画面20を表示するためのHTML文書である。
このHTML文書30は、各行で示されるテキストから構成される。HTML文書30の中で、テキスト31は、図2において説明したテキスト21に対応し、「第一中学校ホームページ」という描画オブジェクトを含む。また、テキスト32は、図2において説明したテキスト22に対応し、「音楽会のお知らせ」という描画オブジェクトを含む。そして、テキスト33は、図2において説明したテキスト23に対応し、「日時:10月1日10:00−」という描画オブジェクトを含む。また更に、テキスト34は、図2において説明したテキスト24に対応し、「場所:第一中学校体育館」という描画オブジェクトを含むと共に、これに付随して「http://www.daiichi.juniorhigh.com」へのリンクが貼られている。また更に、テキスト35は、図2において説明したテキスト25に対応し、「演奏曲1イントロ」という描画オブジェクトを含むと共に、「http://www.daiichi.juniorhigh.com/music1.wav」へのリンクが貼られている。そして、テキスト36は、図2において説明したテキスト26に対応し、「演奏曲2イントロ」という描画オブジェクトを含むと共に、「http://www.daiichi.juniorhigh.com/music2.wav」へのリンクが貼られている。更に、テキスト37は、図2において説明したテキスト27に対応し、「メールはこちらへ」という描画オブジェクトを含むと共に、「yourmail@domain.com」という電子メールアドレスへのリンクが貼られている。
【0021】
このようなリンク機能を有することにより図2において説明を行った別のウェブ画面を開く、所定の音声データを再生する、特定の電子メールアドレスに電子メールを送付するような機能が実現できる。そして、このようなリンク機能は、「http://www.daiichi.juniorhigh.com」等のメタ情報の一例としての参照情報があるために実現することができる。
【0022】
一方、図4は、印刷データの例を示している。印刷データは各行で示されるコマンドから構成される。このうち、コマンド40の「StartJob」は、ジョブ開始を示す制御コマンドであり、電子文書の所在を表すURLアドレスを含んでいる。コマンド41の「StartPage」はページ開始を示す制御コマンドである。コマンド42〜47は、印刷コマンドであり、それぞれ図2のテキスト22〜27に対応する。また、コマンド48の「EndPage」はページ終了を示す制御コマンドであり、コマンド49の「EndJob」はジョブ終了を示す制御コマンドである。コマンド42〜47には、テキスト22〜27を表示する位置を示す情報が含まれる。ここでは、かかる領域が通常矩形であることから、(左上X座標、左上Y座標)−(右下X座標、右下Y座標)の型式により表し、これを「矩形情報」と呼ぶことにする。また、コマンド42〜47におけるダブルコーテーションに囲まれた文字列は、左上座標と右下座標に囲まれた長方形領域に印刷される文字列である。ここではこの文字列を「印刷オブジェクト」と呼ぶことにする。なお、本実施の形態では簡単のために描画オブジェクトとして、文字描画オブジェクトを基にした印刷データを示すが、イメージ描画オブジェクトやグラフィックス描画オブジェクトを基にした印刷データであっても動作に問題はない。
【0023】
図3および図4を比較すると印刷データの基となった電子文書には、多くのリンク機能を実現するための参照情報を有するが、印刷データとなった段階では失われていることがわかる。よって、このような参照情報に例示されるメタ情報を印刷後において利用することは、印刷データを基とする限りでは困難である。
【0024】
そこで、本実施の形態では、印刷データの基となった電子文書を探索して取得し、電子文書における、描画オブジェクトに付随するメタ情報を解析し、印刷オブジェクトと印刷オブジェクトに対応する機能と印刷される媒体の識別情報及び位置情報との対応を保持するようにしている。
そして、このような対応を保持しておくことにより、ペンデバイス600で媒体上の特定の位置を指定することで、その媒体の識別情報と位置情報から辿って印刷オブジェクトに対応する機能を実行することが可能となる。即ち、図1では、端末装置700のディスプレイに電子文書とペンデバイス600による軌跡が重ね合わせて表示されているが、本実施の形態のように印刷オブジェクト、印刷オブジェクトに対応する機能、媒体の識別情報、その媒体における印刷オブジェクトの位置情報を管理しておけば、媒体の識別情報と位置情報から辿って印刷オブジェクトに対応するサービス等の機能を実行し、処理結果等を端末装置700のディスプレイに表示することも可能となる。
【0025】
上述の機能を実現するために、本実施の形態では、画像処理装置100が、印刷データの基となった電子文書の所在を探索して取得し、電子文書のメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する機能とを関連付けるための関連情報を作成し、印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を作成する。
以下、この画像処理装置100の構成及び動作について説明する。
図5は、画像処理装置100の機能構成を示した図である。
図示するように、画像処理装置100は、印刷指示受付部11と、文書PDL生成部12と、符号パターン画像生成部13と、探索部14と、関連情報作成部15と、比較部16と、登録指示部17と、出力用PDL生成部18とを備えている。
【0026】
印刷指示受付部11は、ユーザからの印刷指示を受け付け、画像処理装置100のメモリ内に読み込んである印刷データを取得し、文書PDL生成部12に受け渡すと共に、媒体の識別情報(以下、「媒体ID」という)を取得し、媒体内の位置情報を取得する。また同時に、符号パターン画像生成部13に対し符号パターン画像の生成を指示する符号パターン画像生成指示を出力する。そして更に、探索部14に印刷データを受け渡し、印刷データの基となった電子文書の所在を探索して取得する電子文書探索指示を出す。なお、この印刷指示受付部11は、印刷データを取得する印刷データ取得手段として把握することができる。
【0027】
文書PDL生成部12は、印刷指示受付部11から渡された電子文書を、画像形成装置400が画像形成を行うためのコマンド列からなるPDL(Page Description Language)ファイルである文書PDLファイルに変換する。
【0028】
符号パターン画像生成部13は、印刷指示受付部11から符号パターン画像生成指示があると、後で詳述するフォーマットの符号パターン画像を生成し、色を指定して出力用PDL生成部18に出力する。
【0029】
探索部14は、印刷指示受付部11から電子文書探索指示があると、同時に渡された印刷データまたはその付加情報から印刷データの基となった電子文書の探索をし、その電子文書を取得する。取得された電子文書は、関連情報作成部15に受け渡される。
具体的な探索手段としては、例えば、電子文書名から電子文書の場所を推定し、探索を行う。また、電子文書名がURLを含む場合、電子文書がそのURLに存在すると推定し、探索を行う。他の方法として、電子文書名がオープンフォーマット文書の添え字を含むファイル名を含んでいる場合、このファイル名のファイルを画像処理装置100のメモリから検索し、検索されたファイルのうち所定のアプリケーションプログラムによってオープンされているものを電子文書と推定し、探索を行う方法が考えられる。更に他の方法として、プリンタドライバ等のプログラムにより印刷時に電子文書入力ダイアログを表示し、ユーザが明示的に電子文書の場所を指定する方法も考えられる。
ここで、探索部14は、媒体に印刷をするための印刷データの基となった電子文書の所在を探索し、取得する電子文書取得手段として把握することができる。
【0030】
関連情報作成部15は、探索部14から受け渡された電子文書中のメタ情報を解析し、所定の描画オブジェクトとこの描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する。
具体的には、電子文書の中から所定のサービス等の機能に対応するメタ情報を抽出し、そのメタ情報に付随する描画オブジェクトを更に抽出する。そして、描画オブジェクトとそれに対応する機能とを関連付ける関連情報を作成する。
関連情報は、比較部16に受け渡される。なお、関連情報作成部15は、電子文書取得手段により取得された電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段として把握することができる。
【0031】
比較部16は、印刷データから所定の印刷オブジェクトを抽出し、この印刷オブジェクトが有する所定の情報と関連情報作成部15により作成された関連情報とを比較し、一致した場合は、印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を作成して、登録指示部17に受け渡す。ここで、管理情報は、例えば、印刷オブジェクトに対応する所定のサービスを提供するためのリンク機能に関する参照情報である。あるいは、媒体の識別情報や、その媒体上で印刷オブジェクトが存在する領域の位置情報である。ここで、位置情報は、上述した矩形情報で表現することができる。
比較部16は、印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、関連情報作成手段により作成され関連情報と所定の情報とを比較する比較手段として把握することができる。
【0032】
登録指示部17は、印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を図示しない登録部に登録する指示を出力する。登録部は、どこに設けられていてもよいが、例えば、画像処理装置100の内部に設けられてもよく、ネットワークに接続された各装置等から共通にアクセス可能なコンピュータに設けてもよい。なお、登録指示部17は、比較手段による比較結果から、媒体に印刷された印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段として把握することができる。
【0033】
出力用PDL生成部18は、文書PDL生成部12から渡された文書PDLファイル内に、符号パターン画像生成部13から渡された符号パターン画像及び色指定の情報をPDLコマンドとして設定した出力用PDL(電子文書に符号パターン画像を重畳するコマンドを付加したもの)を生成し、画像形成装置400に出力する。なお、出力用PDL生成部18は、電子文書の画像と管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段として把握することができる。
【0034】
なお、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置100の図示しないCPUが、印刷指示受付部11、文書PDL生成部12、符号パターン画像生成部13、探索部14、関連情報作成部15、比較部16、登録指示部17、出力用PDL生成部18の各機能を実現するプリンタドライバ等であるプログラムを、例えばハードディスク等の外部記憶装置からメインメモリに読み込んで、画像処理装置100内にこれらの各機能を実現する。
【0035】
次に、画像処理装置100の動作について説明する。
まず、実際にユーザが操作を行い、種々の設定を行う画像処理装置100の表示画面の説明を行う。なお、以下の説明では、上述した印刷指示受付部11、文書PDL生成部12、符号パターン画像生成部13、探索部14、関連情報作成部15、比較部16、登録指示部17、出力用PDL生成部18の各機能は、プリンタドライバが行うものとする。
【0036】
電子文書を作成したアプリケーションプログラムは、このアプリケーションプログラムが動作するOS(Operating System)に印刷指示を行う。そして、更にOSは、プリンタドライバに印刷データを渡して印刷指示を行う。
【0037】
ユーザはあらかじめプリンタドライバの設定ダイアログでサービス領域の指定を行うかどうかを設定しておく。
図6は、プリンタドライバの設定ダイアログを表示した表示画面の一例である。
プリンタドライバの設定ダイアログ60には、複数のタブが設けられており、そのうちサービスタブ61をマウスでクリックする等により選択すると、図6の画面が表示される。
【0038】
そして、サービス領域指定を行うチェックボックス62を選択すると、サービスグループボックス63の内容が指定できるようになる。サービスグループボックス63には、URLリンクチェックボックス64と、音楽再生チェックボックス65と、電子メール送信チェックボックス66と、出力時確認を行うチェックボックス67とが設けられている。URLリンクチェックボックス64を選択するとURLリンクが行われるサービス領域指定が行われるようになり、音楽再生チェックボックス65を選択すると、音楽再生が行われるサービス領域指定が行われるようになり、電子メール送信チェックボックス66をチェックすると、電子メール送信が行われるサービス領域指定が行われるようになる。また、出力時確認を行うチェックボックス67の選択を解除しておくと、出力時の確認を行わずに自動生成されたサービス領域に対する符号パターン画像が、そのまま印刷される。
【0039】
ここで、プリンタドライバの設定ダイアログで出力時確認を行うチェックボックス67をチェックしていた場合は、サービス領域確認ダイアログを表示する。
図7は、サービス領域確認ダイアログを表示した表示画面の一例である。
図7に示したサービス領域確認ダイアログ70は、プレビュー部71と、サービス領域一覧表示部72と、プレビューページ数表示部73と、次ページボタン74と、削除ボタン75と、新規追加ボタン76と、印刷ボタン77から構成される。
【0040】
プレビュー部71には、印刷データを印刷した場合のプレビュー画面が表示される。そして、抽出された印刷オブジェクトに対応した部分にサービス領域78a〜78dとして網掛け表示が行われる。サービス領域一覧表示部72にはサービス領域78a〜78dに対応する印刷オブジェクトの一覧が表示される。そして、記号表示部79aには網掛け表示の種類が、種別表示部79bにはURL、SOUND、E−MAILなどのサービス種別が、アドレス表示部79cには種別がURLであればURL文字列が、種別がE−MAILであれば電子メールアドレスが表示される。また現在の操作対象を示すカーソル枠80が表示され、キーボードやマウスなどの操作により、表示されているサービス領域一覧のうち一つを選択するようにカーソル枠80を上下に移動できるようになっている。この画面によりユーザは各ボタンやサービスカーソル枠80を操作して、設定の確認や、削除・追加・変更などの編集を行うことができる。このような編集手段を備えることで、ユーザが、印刷オブジェクトと印刷オブジェクトに対応する機能との関連付けを選択することができる。
【0041】
次に、印刷指示受付部11、符号パターン画像生成部13、関連情報作成部15、比較部16の動作についてフローチャートを用いて説明する。
まず、印刷指示受付部11の動作について説明する。
図8は、印刷指示受付部11の動作の流れを示したフローチャートである。
まず、印刷指示受付部11は、印刷指示があるかどうかを監視する(ステップ111)。即ち、印刷指示がなければ、ステップ111を繰り返し、印刷指示があれば、印刷属性を取得する(ステップ112)。印刷属性には、用紙サイズ、向き、両面印刷等が含まれる。また、印刷指示には、印刷対象の電子文書を特定するための情報も含まれている。
次に、印刷指示受付部11は、印刷される媒体を一意に識別する媒体IDを取得する(ステップ113)。なお、媒体IDは、所定のサーバコンピュータから発行してもらうことにより取得することができる。
【0042】
また、用紙サイズや向きの情報に基づいて、媒体内の位置情報を生成し、媒体IDとこの位置情報と色指定とを符号パターン画像生成部13に伝えて符号パターン画像の生成を指示する(ステップ114)。ここで、色指定とは、符号パターン画像をどの色で印刷するかを指定する情報である。画像形成装置400がイエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)、不可視(I)の5つの現像器を有していれば、不可視(I)で符号パターン画像を印刷すべき旨の情報である。一方、画像形成装置400がイエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)の4つの現像器しか有しておらず、これらのいずれかの色が不可視(I)に置き換えられていれば、その置き換えられた色の指定である。これにより、符号パターン画像は、不可視(I)で印刷されることになる。
【0043】
その後、印刷指示受付部11は、印刷データをメモリから取り出し(ステップ115)、探索部14に印刷データを渡して電子文書探索指示を出す。また、同時に比較部16に印刷データを渡す。そして、最後に、文書PDL生成部12に対し印刷データを渡して文書PDLへの変換を指示する(ステップ116)。
【0044】
次いで、符号パターン画像生成部13の動作について説明する。
図9は、符号パターン画像生成部13の動作の流れを示したフローチャートである。
まず、符号パターン画像生成部13は、印刷指示受付部11から符号パターン画像生成指示があるかどうかを監視する(ステップ131)。即ち、符号パターン画像生成指示がなければ、ステップ131を繰り返し、符号パターン画像生成指示があれば、識別符号を生成する(ステップ132)。
具体的には、電子文書が印刷される紙等の媒体の識別情報を所定の符号化方式により符号化する。この符号化には、例えば、既知の誤り訂正符号であるRS(リードソロモン)符号やBCH符号を用いることができる。また、誤り検出符号として、位置情報のCRC(Cyclic Redundancy Check)やチェックサム値を計算し、それを冗長ビットとして付加することもできる。
そして、この符号化された識別情報を、符号パターン情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された識別情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、識別符号が2次元配置される場合は、ビット値を符号の配置と同様に2次元配置しておく。
【0045】
次に、符号パターン画像生成部13は、位置符号を生成する(ステップ133)。
具体的には、印刷される媒体のサイズに応じた位置情報を所定の符号化方式により符号化する。この符号化には、識別情報の符号化に使用したのと同様の方式を使用することができる。また、位置情報は、疑似雑音系列の一種であるM系列を利用して表すこともできる。ここで、M系列は、k段の線形シフトレジスタで生成できる最大周期の系列であり、その周期は2k−1である。また、M系列中の任意の位置から取り出した連続するkビットの部分系列がM系列中に1度しか現われないという性質を持っている。この性質により、連続したkビットの部分系列ごとに位置情報を対応させておけば、部分系列を検出することで位置情報を特定することができる。
そして、この符号化された位置情報を、符号パターン情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された位置情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、位置符号が2次元配置される場合は、ビット値を符号の配置と同様に2次元配置しておく。
【0046】
その後、符号パターン画像生成部13は、ステップ132で生成された識別符号及びステップ133で生成された位置符号を2次元に配置する(ステップ134)。このとき、識別符号は、位置によらず同じ符号が配置されるが、位置符号は、位置により異なる符号が配置される。
また、識別符号及び位置符号の各ビットに後述のパターン画像を割り当てることにより、符号パターン画像を生成する(ステップ135)。
【0047】
ところで、符号画像は、この時点では2値の画像であるが、符号パターン画像生成部13は、この符号パターン画像に対し色指定を行う(ステップ136)。即ち、符号パターン画像生成指示には色指定の情報も含まれているので、これを用いて色指定を行う。
そして、最後に、符号パターン画像生成部13は、色指定がなされた符号パターン画像を出力用PDL生成部16に出力する(ステップ137)。
【0048】
図10は符号化された識別情報と位置情報である識別符号と位置符号の例である。
図10に示した例では、データ長72バイトのデータを符号化して埋め込む例を示している。
ここで挙げた例では、0バイト目〜47バイト目に識別情報を符号化する。また、48バイト目〜59バイト目に位置情報のうち、Y座標情報を符号化し、60バイト目〜72バイト目に位置情報のうち、X座標情報を符号化している。
【0049】
次に、符号パターン画像生成部13で生成され、印刷される符号パターン画像について説明する。
図11(a)〜(c)は、上述した符号パターン画像を説明するための図である。図11(a)は、符号パターン画像を形成する符号パターン配列を模式的に示している。また、図11(b)は、図11(a)における符号パターン配列の基本単位である符号ブロックを拡大して示した図である。更に、図11(c)は、符号ブロックを構成する単位符号パターンの具体的なパターンについて説明するための図である。
【0050】
本実施の形態において、図11(a)〜(c)に示す符号パターン画像は、可視光領域(400nm〜700nm)における最大吸収率が例えば7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が例えば30%以上の不可視トナーによって形成される。また、この不可視トナーは、画像の機械読取りのために必要な近赤外光吸収能力を高めるために、平均分散径は100nm〜600nmの範囲のものが採用される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが、人間の目で認識し難いものも「不可視」に含める。
【0051】
また、この符号パターン画像は、赤外光照射による機械読取りと復号化処理とが長期に亘って安定して可能で、且つ、情報が高密度に記録できる不可視画像で形成される。更に、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能な不可視画像であることが好ましい。更に、例えば、目視した際に光沢差によって認識できる不可視画像であることが更に好ましい。また、例えば、印刷される媒体の大きさに合わせて媒体面(紙面)の全面に不可視画像が形成される。但し、「全面」とは、用紙の四隅を全て含む意味ではない。電子写真方式等の装置では、通常、紙面の周囲は印刷できない範囲である場合が多いことから、かかる範囲には不可視画像を印刷する必要はない。
【0052】
図11(b)において、符号ブロックは、5ブロック×5ブロックの合計25ブロックの単位符号パターンで構成されている。各単位符号パターンは、図11(c)に示される縦3ドット、横3ドットの合計9ドットを配置可能な領域により形成され、ドット配置可能な領域に2ドットを配置するいわゆる9C2方式における符号パターンである。ここで、黒色の領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒色の領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。
より具体的には、配置可能な9ドットのうち2ドットを使用し、各単位符号パターンが1つの情報を表現する。この場合は、36(=9C2)通りの情報を表現することができる。このような方式を用いることで、可視画像に与えるノイズが極めて小さく、且つ、大量の情報を高密度にデジタル化して埋め込むことが可能な符号パターンを提供することが可能となる。
【0053】
本実施の形態では、これらの単位符号パターンのうち、特定の単位符号パターンを情報パターンとして利用し、残りを同期パターンとして利用する。ここで、情報パターンとは、媒体に埋め込む情報を表現するパターンである。また、同期パターンとは、媒体に印刷された情報パターンを取り出すために用いられるパターンである。例えば、情報パターンの位置を特定したり、画像の回転を検出したりするために用いられる。
図11(b)に示した例では、図11(b)において黒色の領域で表した左上の1ブロックの単位符号パターンを使用し、同期パターンとしている。そして、画像の回転の検出のために4種類の単位符号パターンを同期パターンとして用意する必要がある。即ち、正立した同期パターン、右に90度回転した同期パターン、右に180度回転した同期パターン、右に270度回転した同期パターンを用意する。
そして残りの24ブロックを情報パターンとして利用する。そして、同期パターンの右の4ブロックに紙面上のX方向の座標を特定するX座標情報を表す情報パターンを配置し、同期パターンの下の4ブロックに紙面上のY方向の座標を特定するY座標情報を表す情報パターンを配置している。更に、これらの座標情報を表す情報パターンで囲まれた16ブロックに、紙面又は紙面に印刷される文書の識別情報を表す情報パターンを配置している。そして、X座標情報を表す情報パターン領域とY座標情報を表す情報パターンには、それぞれ配置される場所により異なる位置情報が格納されている。一方、識別パターンを表す領域には、配置される場所によらず同じ識別情報が格納されている。
【0054】
次いで、関連情報作成部15の動作について説明する。
図12は、関連情報作成部15の動作の流れを示したフローチャートである。
まず、関連情報作成部15は、探索部14から、印刷データの基となった電子文書を受け取る(ステップ201)。この電子文書は、例えば、図3で説明したようなHTML文書である。
次に、電子文書を受け取れたかどうかを判断する(ステップ202)。電子文書を受け取れなかった場合は何もせず処理を終了し、受け取れた場合には、構文解析処理に移る。
構文解析処理は、まず、HTML電子文書の先頭からHTMLヘッダを読み込み(ステップ203)、次にbody開始タグを読み込む(ステップ204)。更に、次のタグを読み込む(ステップ205)。ここで、タグが、a開始タグであるか否かを判定する(ステップ206)。a開始タグであればhref属性判定処理へ進み、そうでない場合は、このタグがbody終了タグであるか否かを判定する(ステップ215)。body終了タグであれば処理を終了し(ステップ215)、そうでなければ次のタグを読み込む(ステップ205)。
【0055】
href属性判定処理においては、まず、href属性と、a開始タグからa終了タグに囲まれた子要素を読み込む(ステップ207)。href属性が図3のテキスト34のようなURLへの参照情報であった場合は(ステップ208)、サービス種別を「URL」、アドレスをhref属性中のURLとする(ステップ209)、また、href属性が図3のテキスト35,36にあるような音声ファイルへの参照情報であった場合は(ステップ210)、サービス種別を「SOUND」、アドレスをhref属性中の音声ファイルを示すURLとする(ステップ211)。また更に、href属性が図3のテキスト37のようなメールアドレスであった場合は(ステップ212)、サービス種別を「E−MAIL」、アドレスをhref属性中のメールアドレスとする(ステップ213)。そして、サービス種別、アドレス、子要素を関連付けた組データとして関連情報とし(ステップ214)、次のタグを読み込む(ステップ205)。そして、href属性が電子メールアドレスへの参照情報でもなかった場合(ステップ212)は、関連情報を作成せずに次のタグを読み込む(ステップ205)。
【0056】
図13は、以上のようにして作成された関連情報の一例を示す図である。
図13に示した関連情報テーブルには、左側から子要素、サービス種別、アドレスがそれぞれ配置され、それぞれが、組データとなっている。
子要素は、メタ情報に付随する子要素である描画オブジェクトである。また、サービス種別は、本実施の形態の場合、「URL」、「SOUND」、「E−MAIL」のどれかの値をとる。また、アドレスには、サービス種別が、「URL」、「SOUND」である場合は、描画オブジェクトに対応する機能であるリンク機能に対応する参照情報であるURLが、またサービス種別が、「E−MAIL」である場合は、描画オブジェクトに対応する機能であるリンク機能に対応する参照情報であるメールアドレスが入ることになる。
【0057】
次いで、比較部16の動作について説明する。
図14は、比較部16の動作の流れを示したフローチャートである。
まず、比較部16は、印刷指示受付部11(図5参照)から印刷データを受け取る。また、関連情報作成部15(図5参照)から、関連情報を受け取る。(ステップ301)。次に、図6のサービス領域指定を行うチェックボックス62で設定されている指示に従って、サービス領域の指定を行うか否かの判定を行う(ステップ302)。サービス指定を行なわない場合は、そのまま終了する。サービス領域指定を行う場合は、図6で説明したような印刷データから、そのコマンドを先頭から取得する(ステップ303)。そして取得したコマンドが、StartPageであるか否かを判定する(ステップ304)。コマンドがStartPageである場合には、図7で説明を行ったサービス領域確認ダイアログ70のプレビュー部71およびサービス領域一覧表示部72を初期化し(ステップ305)、次のコマンドを取得する(ステップ303)、StartPageでない場合は、コマンドがテキスト印刷コマンドであるかどうか判定する(ステップ306)。テキスト印刷コマンドである場合は、その印刷コマンドにより印刷される印刷オブジェクトの文字列が、上述した関連情報中の子要素と一致するか否かを判定する。(ステップ307)。一致する場合は、図7のサービス領域一覧表示部72に追加表示を行い(ステップ308)、プレビュー部71の該当する印刷オブジェクトの部分に網掛け描画を行う(ステップ309)。そして、再度次のコマンドを取得する(ステップ303)。また、一致しない場合は、次のコマンドを取得する(ステップ303)。
コマンドがテキスト印刷コマンドでない場合(ステップ306)、コマンドがEndPageであるかどうかを判定する(ステップ310)。EndPageでない場合は、次のコマンドを取得する(ステップ303)。コマンドがEndPageの場合、図7のサービス領域確認ダイアログ70を表示したまま、ユーザの入力を待つ(ステップ311)。
【0058】
ここで、ユーザが、サービス領域確認ダイアログ70において、次ページボタン74を押下した場合はその判定を行う(ステップ312)。次ページボタン74が押下された場合で、現在のページが、最終ページでない場合は、次ページについてコマンドを取得する(ステップ303)。また、サービス領域確認ダイアログ70においてユーザが削除ボタン75を押下した場合は、その判定を行う(ステップ313)。削除ボタン75が押下された場合は、カーソル枠80で選択されているサービス領域をサービス領域一覧表示部72から削除し、プレビュー部71にも反映する(ステップ314)。また、ユーザが、新規追加ボタン76を押下した場合はその判定を行う(ステップ315)。新規追加ボタン76が押下された場合は、ユーザに、サービス種別、サービス領域、アドレスを入力させ、プレビュー部71およびサービス領域一覧表示部72への反映を行なう(ステップ316)。また、ユーザが、印刷ボタン77を押下した場合は、その判定を行い(ステップ317)、以上のように、ユーザが確認、訂正を行った管理情報を登録指示部17に送る(ステップ318)。
【0059】
次に、上述のステップ307における印刷オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作について更に詳細に説明する。
図15は、印刷オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作の流れを示したフローチャートである。
まず、印刷コマンド中にある印刷オブジェクトに対応するテキスト文字列を取得する(ステップ401)。次に、関連情報から組データを1つ取得する(ステップ402)。そして、印刷コマンドのテキスト文字列が組データの子要素を含むか否かを判定する(ステップ403)、含まない場合は、最後の組データであるか否かを判定し(ステップ413)最後の組データであれば終了し、最後の組データでなければ、次の組データを取得する(ステップ402)。
【0060】
印刷コマンドのテキスト文字列が組データの子要素を含む場合は、組データのサービス種別が「URL」であるか否かの判定を行う(ステップ404)。サービス種別が「URL」であれば、図6で説明したURLリンクチェックボックス64がチェックされているか否かの判定をし(ステップ405)、チェックがされていれば、一致と判定する(ステップ406)。
組データのサービス種別が、「URL」でなかった場合は、組データのサービス種別が、「SOUND」であるか否かの判定を行う(ステップ407)。サービス種別が「SOUND」であれば、図6で説明した音楽再生チェックボックス65がチェックされているか否かの判定をし(ステップ408)、チェックがされていれば、一致と判定する(ステップ409)。
組データのサービス種別が、「SOUND」でなかった場合は、組データのサービス種別が、「E−MAIL」であるか否かの判定を行う(ステップ410)。サービス種別が「E−MAIL」であれば、図6で説明した電子メール送信チェックボックス66がチェックされているか否かの判定をし(ステップ411)、チェックがされていれば、一致と判定する(ステップ412)。
【0061】
また、図16(a)〜(b)は、登録指示部17が登録を指示する管理情報を説明した図である。
図16(a)は、管理情報の一例としての中間文書の構成を説明した図である。
図16(a)に示した中間文書には、媒体ID、印刷データ、サービス領域データがそれぞれ配される。
ここで、サービス領域データは、例えば、図16(b)に示したような構成をとる。図16(b)に示したサービス領域データは、左側から左上座標、右下座標、サービス種別、アドレスの各データがそれぞれ配置される。ここで、左上座標、右下座標は、前述した矩形情報である。また、サービス種別は、本実施の形態の場合、「URL」、「SOUND」、「E−MAIL」のどれかの値をとる。また、アドレスには、サービス種別が、「URL」、「SOUND」である場合は、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報であるURLが、またサービス種別が、「E−MAIL」である場合は、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報であるメールアドレスが入ることになる。
【0062】
なお、管理情報としては、上記の例に限られるものではない。
例えば、図16(a)に挙げた例について、印刷データを省略する場合などが挙げられる。この場合、例えば、図1に挙げた文書リポジトリ200で、管理情報を管理する場合を考えると、印刷データを文書リポジトリ200に格納しないので、文書リポジトリ200に大量の記憶領域を必要としないという利点がある。また、ネットワーク800の負荷を減らすことができる。
【0063】
出力用PDL生成部18は、文書PDL生成部12から送られた文書PDLに対し、符号パターン画像生成部13から送られた符号パターン画像及び色指定の情報を用いて符号パターン画像重畳のためのPDLコマンドを挿入することにより、出力用PDLを生成する。
そして、この出力用PDLを画像形成装置400に送信することで、画像形成装置400では、不可視トナーで符号パターン画像が印刷されることとなる。
【0064】
本実施の形態では描画オブジェクトとして、テキスト文字列からなる文字描画オブジェクトを用いたが、ビットマップなどからなるイメージ描画オブジェクトや、グラフィックス描画オブジェクトを対象にしてもよい。この場合、印刷コマンドとの比較においては、イメージ描画オブジェクトであればビットマップのビット列等の比較を、グラフィックス描画オブジェクトであれば座標列の比較を行うことによって上述の場合と同様に処理できる。
【0065】
また、電子文書で、例えば、ひらがな一文字など非常に短い単語に対してリンクが貼られている場合、実際にはリンクが貼られていないが、この文字を含んでいるほかの印刷オブジェクトに対してもサービス領域が設定されてしまう問題が発生する場合がある。このような場合は、一致するか否かを判定する際に前後の文字列や色、文書内に存在する個数などの他の特徴量を参照して同じかどうかを判別することが好ましい。また、サービス領域を設定するテキストの最低文字数を制限してもよい。
【0066】
また、今まで詳述したユーザに提供するサービスは、所定のウェブ画面を表示する、音声データを再生する、電子メールソフトを起動する等を例に挙げ、説明したがこれに限られるものではない。
図17は、ユーザに他のサービスを提供する場合の印刷物500の一例である。
図17に示した印刷物500は、xxホテルの予約依頼を行うためのものである。そして印刷物500は、印刷オブジェクト91〜99が印刷されたものである。
これらの印刷オブジェクト91〜99は、入力部94〜98と予約するボタン99を含む予約部品91と、電話部品92と、地図部品93とから構成される。
【0067】
ここで、図18(a)に、予約部品91に含まれている入力部94〜98としての印刷オブジェクトとその機能を対応させた管理情報を示す。また、図18(b)に、電話部品92としての印刷オブジェクトとその機能を対応させた管理情報を示し、図18(c)に、地図部品93としての印刷オブジェクトとその機能を対応させた管理情報を示す。
図18(a)に示した管理情報は、左側から左上座標、右下座標、部品名、処理サーバのデータがそれぞれ配置される。ここで、左上座標、右下座標は、前述した矩形情報である。また、部品名は、本実施の形態の場合、各印刷オブジェクトに付けられる名前である。また、処理サーバには、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報のURLが入ることになる。
【0068】
ここでユーザが、入力部94〜98にペンデバイス600(図1参照)で記入すると、端末装置700(図1参照)は、その印刷オブジェクトに対応した機能である処理サーバへの記入内容の送付を行う。対応する処理サーバは、アドレスの欄に記載されたURLの情報に基づいて決定することができる。
【0069】
図17および図18(a)に示した例では、ユーザは月に関する入力部94、日に関する入力部95、泊数に関する入力部96、氏名に関する入力部97、連絡先に関する入力部98にペンデバイス600(図1参照)で記入すると、それぞれの記入内容が対応する処理サーバに送付される。次に予約するボタン99にペンデバイス600で接触すると、対応する処理サーバにおいて予約処理が行われる。このとき印刷物500のみでは、予約結果がわからないが、例えば、予約結果を表示するボタンを別途付け、そのボタンにペンデバイス600で接触すると、端末装置700に予約状況のウェブ画面が表示されるようにしてもよい。
【0070】
図18(b)〜(c)に示した管理情報も、図18(a)に示した例と同様に左側から左上座標、右下座標、部品名、処理サーバに関するデータがそれぞれ配置される。
ここでユーザが、電話部品92にペンデバイス600で接触すると、印刷オブジェクトである電話部品92に対応した機能である電話をかけることができる。この場合、処理サーバの欄に記載されている電話番号に電話をかけることになる。
また更に、ユーザが、地図部品93にペンデバイス600で接触すると、印刷オブジェクトである地図部品93に対応した機能である地図情報の表示を行う。地図情報は、処理サーバの欄に記載されたURLに基づいて呼び出すことができる。
【0071】
上述した印刷オブジェクト91〜99は、イメージ描画オブジェクトまたはグラフィックス描画オブジェクトに対応した印刷オブジェクトとして捉えることができる。そして、電子文書中のこれらの描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する、宿泊予約をする、電話をかける、地図情報を表示する等の所定の機能とを関連付けた図18(a)〜(c)に挙げたような関連情報を作成することにより、図18(a)〜(c)に示したような管理情報を作成することができるため、上述したようなサービスをユーザに提供することができる。
【0072】
次に、本実施の形態における印刷を指示する画像処理装置100及び符号パターン画像を読み取るペンデバイス600の具体的なハードウェア構成について説明する。
まず、ペンデバイス600について説明する。
【0073】
図19は、ペンデバイス600の機構を示した図である。
図示するように、ペンデバイス600は、ペン全体の動作を制御する制御回路601を備える。また、制御回路601は、入力画像から検出した符号パターン画像を処理する画像処理部601aと、そこでの処理結果から管理情報等を抽出するデータ処理部601bとを含む。
そして、制御回路601には、ペンデバイス600による筆記動作をペンチップ609に加わる圧力によって検出する圧力センサ602が接続されている。また、媒体上に赤外光を照射する赤外LED603と、画像を入力する赤外CMOS604も接続されている。更に、管理情報等を記憶するための情報メモリ605と、外部装置と通信するための通信回路606と、ペンを駆動するためのバッテリ607と、ペンの識別情報(ペンID)を記憶するペンIDメモリ608も接続されている。
【0074】
ペンデバイス600により取得した情報は、端末装置700(図1参照)に送信される。情報が、URLである場合は端末装置700に内蔵された図示しないモデム部からインターネット上のそのURLの情報を取得し、端末装置700の表示部に表示する。取得した情報が音声ファイルを示すURLである場合は、端末装置700に内蔵された図示しないモデム部からインターネット上のそのURLから音声データを取得し、端末装置700に内蔵された図示しないスピーカによりその音声データを再生する。また、取得した情報が電子メールのアドレスだった場合は、端末装置700に内蔵された標準メールソフトを起動する。
【0075】
また、画像処理装置100にて実現される処理、及び、図18の画像処理部601a又はデータ処理部601bにて実現される処理は、例えば、汎用のコンピュータで実現してもよい。そこで、かかる処理をコンピュータ900で実現するものとし、コンピュータ900のハードウェア構成について説明する。
【0076】
図20は、コンピュータ900のハードウェア構成を示した図である。
図示するように、コンピュータ900は、演算手段であるCPU(Central Processing Unit)901と、記憶手段であるメインメモリ902及び磁気ディスク装置(HDD:Hard Disk Drive)903とを備える。ここで、CPU901は、OS(Operating System)やアプリケーションプログラム等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ902は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置903は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ900は、外部との通信を行うための通信I/F904と、ビデオメモリやディスプレイ等からなる表示機構905と、キーボードやマウス等の入力デバイス906とを備える。
【0077】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【図面の簡単な説明】
【0078】
【図1】本実施の形態が適用されるシステムの構成の一例を示したものである。
【図2】電子文書の一例としてのHTML文書のウェブブラウザ上での画面表示例を示したものである。
【図3】図2に示した表示画面を表示するためのHTML文書である。
【図4】印刷データの例を示している。
【図5】画像処理装置の機能構成を示した図である。
【図6】プリンタドライバの設定ダイアログを表示した表示画面の一例である。
【図7】サービス領域確認ダイアログを表示した表示画面の一例である。
【図8】印刷指示受付部の動作の流れを示したフローチャートである。
【図9】符号パターン画像生成部の動作の流れを示したフローチャートである。
【図10】符号化された識別情報と位置情報である識別符号と位置符号の例である。
【図11】符号パターン画像を説明するための図である。
【図12】関連情報作成部の動作の流れを示したフローチャートである。
【図13】関連情報の一例を示す図である。
【図14】比較部の動作の流れを示したフローチャートである。
【図15】描画オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作の流れを示したフローチャートである。
【図16】登録指示部が登録を指示する管理情報を説明した図である。
【図17】ユーザに他のサービスを提供する場合の印刷物の一例である。
【図18】管理情報を説明した図である。
【図19】ペンデバイスの機構を示した図である。
【図20】コンピュータのハードウェア構成を示した図である。
【符号の説明】
【0079】
11…印刷指示受付部、12…文書PDL生成部、13…符号パターン画像生成部、14…探索部、15…関連情報作成部、16…比較部、17…登録指示部、18…出力用PDL生成部、100…画像処理装置、200…文書リポジトリ、400…画像形成装置、500…印刷物、600…ペンデバイス、700…端末装置
【技術分野】
【0001】
本発明は、画像データを処理する画像処理装置等に関する。
【背景技術】
【0002】
近年、細かなドットが印刷された特殊な用紙に文字や絵を描き、ユーザがこの用紙上に書いた文字等のデータをパソコンや携帯電話等に転送し、この内容の保存や、メール送信を可能とする技術が注目されている。
【0003】
公報記載の従来技術として、例えば、特許文献1には、電子的に記憶された文書を、位置コーディングパターンを備えた紙シート上に印刷する技術が開示されている。この技術においては、位置コーディングパターンを備えた特殊な紙シートが用いられる。そして、この紙シートに文書を印刷し、その上から、位置コーディングパターン読取り用手段を備えたデジタルペンと紙の表面にマーキングを付けるペンポイントとを用いて手動で編集し、その編集結果が電子情報に反映されるように構成されている。
また、特許文献2には、電子文書を作成するための文書作成アプリケーションが、電子文書のページごとにコード画像を付与する領域を指定できるようにした印刷指示装置が開示されている。
【0004】
【特許文献1】特表2003−528388号公報
【特許文献2】特開2007−72640号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ここで、紙文書をインタフェースとして用いるシステムにおいて、単純な処理のみでなく複雑な処理を行うことが求められる。電子文書は、一般に、その内部にメタ情報を保持しており、このメタ情報を用いることで複雑な処理を行うことが可能となる。しかしながら、このようなメタ情報は、通常印刷されないことから、電子文書を印刷した後の利便性に問題がある。電子文書を印刷した後であってもメタ情報に対応する機能を利用することが望まれる。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得手段と、前記電子文書取得手段により取得された前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段と、前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報作成手段により作成された前記関連情報と当該所定の情報とを比較する比較手段と、前記比較手段による比較結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段と、を備えたことを特徴とする画像処理装置である。
【0007】
請求項2に記載の発明は、前記関連情報作成手段は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けることを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項1に記載の画像処理装置である。
請求項4に記載の発明は、前記関連情報作成手段は、文字描画オブジェクト、イメージ描画オブジェクト、グラフィックス描画オブジェクトから選ばれる少なくとも1つの描画オブジェクトに付随するメタ情報の解析を行うことを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、前記電子文書取得手段は、前記電子文書の文書名を基にして当該電子文書の所在を探索し、取得することを特徴とする請求項1に記載の画像処理装置である。
請求項6に記載の発明は、前記登録指示手段は、前記印刷オブジェクトに対応する機能への参照情報、前記印刷オブジェクトの位置情報、前記媒体の識別情報から選ばれる少なくとも1つの情報を管理情報として登録を指示することを特徴とする請求項1に記載の画像処理装置である。
請求項7に記載の発明は、前記比較手段は、所定の特徴量が一致するか否かにより、前記関連情報作成手段により作成された前記関連情報と前記所定の情報とを比較することを特徴とする請求項1に記載の画像処理装置である。
請求項8に記載の発明は、前記印刷データを取得する印刷データ取得手段と、
前記印刷データの画像と前記管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段とを更に有することを特徴とする請求項1に記載の画像処理装置である。
請求項9に記載の発明は、前記管理情報を編集するための編集手段を更に備えることを特徴とする請求項1に記載の画像処理装置である。
【0008】
請求項10に記載の発明は、コンピュータに、媒体に印刷をするための印刷データの基である電子文書を取得する機能と、前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する機能と、前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報と当該所定の情報とを比較する機能と、前記比較の結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する機能と、を実現させるためのプログラムである。
【0009】
請求項11に記載の発明は、前記メタ情報は、前記描画オブジェクトに付随する参照情報であることを特徴とする請求項10に記載のプログラムである。
請求項12に記載の発明は、前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項10に記載のプログラムである。
【発明の効果】
【0010】
請求項1の発明によれば、メタ情報を解析することにより、印刷オブジェクトとそれに対応する機能とを関連付けることが可能となるため、例えば、印刷後であってもメタ情報に関する複雑な処理を行うことができる。
請求項2の発明によれば、本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とを関連付けることが、より簡単となる。
請求項3の発明によれば、本構成を有していない場合に比較して、所定のサービスをより簡便な手段で提供することが可能になる。
請求項4の発明によれば、本構成を採用しない場合に比べ、所定の機能を実現する描画オブジェクトを、より精度よく選択することができる。
請求項5の発明によれば、本構成を有していない場合に比較して、電子文書を、より簡単に探索することができる。
請求項6の発明によれば、本構成を採用しない場合に比べ、管理情報を、より簡単に作成することができる。
請求項7の発明によれば、本構成を採用しない場合に比べ、管理情報と印刷オブジェクトが有する所定の情報とを、より精度良く比較することができる。
請求項8の発明によれば、媒体に印刷する際に、メタ情報を解析することができる。
請求項9の発明によれば、ユーザが、印刷オブジェクトと印刷オブジェクトに対応する機能との関連付けを選択することができる。
請求項10の発明によれば、例えば、印刷後であってもメタ情報に関する複雑な処理を行うことができる。また、本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とをより簡単に関連付けることが可能となる。
請求項11の発明によれば、本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とを関連付けることが、より簡単となる。
請求項12の発明によれば、本構成を有していない場合に比較して、所定のサービスを、より簡便に提供することが可能になる。
【発明を実施するための最良の形態】
【0011】
以下、添付図面を参照して、本発明の実施の形態について説明する。
図1は、本実施の形態が適用されるシステムの構成の一例を示したものである。このシステムは、少なくとも、電子文書の印刷を指示する画像処理装置100と、電子文書を蓄積する文書リポジトリ200と、電子文書の画像と符号パターン画像との重畳画像を印刷する画像形成装置400とがネットワーク800に接続されることにより構成されている。また、このシステムは、画像形成装置400にて出力される印刷物500と、印刷物500に文字又は図形を記録し、その文字又は図形の軌跡を読み取るペンデバイス600とを含む。更に、ネットワーク800には、ペンデバイス600により選択された所定のサービスを提供する端末装置700も接続されている。
【0012】
以下、本システムの動作の概略を説明する。
まず、画像処理装置100は、文書リポジトリ200から印刷対象の電子文書を取得する(A)。そして、画像形成装置400に対し、この電子文書の印刷を指示する(B)。このとき、画像処理装置100は、印刷に関するパラメータである印刷属性を指定する。この印刷属性には、通常の印刷と同様、用紙サイズ、向き、両面印刷等が含まれる。また、符号パターン画像に関し、符号パターン画像を印刷すべき領域の指定等が含まれてもよい。
この電子文書の印刷指示を受けると、画像形成装置400は、電子文書の画像に符号パターン画像を重畳した画像を紙等の媒体に印刷し、印刷物500を出力する(C)。この場合、符号パターン画像は、識別情報に対応する識別符号と、位置情報に対応する位置符号とを画像化したものである。或いは、その他の情報である付加情報を含めて画像化したものであってもよい。なお、電子文書の画像と符号パターン画像とを重畳する処理は、画像処理装置100で行ってもよいし、画像形成装置400で行ってもよい。
【0013】
ここで、識別情報としては、個々の媒体を一意に識別する情報を採用することができる。例えば、画像形成装置400の識別番号と画像形成装置400における媒体の印刷の一連番号又は印刷の日時とを組み合わせて得られる情報であってもよいし、所定のサーバにて重複がないように一元管理されている情報であってもよい。或いは、個々の媒体を一意に識別する情報ではなく、媒体に印刷された電子文書を一意に識別する情報を、識別情報として採用してもよい。
また、位置情報とは、個々の媒体上の座標位置(X座標、Y座標)を特定するための情報である。例えば、媒体の左上点を原点とし、媒体の右方向にX軸をとり、下方向にY軸をとることにより設定した座標系で、座標を表すことが考えられる。
更に、付加情報としては、印刷指示を行ったユーザの識別情報や、コピー禁止であるかどうかの情報等がある。
【0014】
また、画像形成装置400は、符号パターン画像を、赤外光の吸収率が一定の基準以上である不可視のトナーを用いて不可視画像として形成する。一方、電子文書の文書画像は、赤外光の吸収率が一定の基準以下である可視のトナーを用いて可視画像として形成することが好ましい。なお、符号パターン画像の形成に用いるトナーと文書画像の形成に用いるトナーとで、赤外光の吸収率に差を設けたのは、赤外光を照射して符号パターン画像を読み取る際の読取り精度を確保するためである。なお、本明細書では、赤外光照射による符号パターン画像の読取りを前提として説明するが、紫外光により符号パターン画像を読み取るものであってもよい。
【0015】
その後、ユーザが、ペンデバイス600を用いて印刷物500に文字又は図形をマーキングしたとする(D)。これにより、ペンデバイス600は、印刷物500に対し赤外光を照射し、その反射光を検出することで符号パターン画像を入力する。そして、符号パターン画像から情報を取得又は生成し、有線通信又は無線通信を介して、その情報を端末装置700に送信する(E)。なお、ここで送信される情報には、例えば、印刷物500の識別情報や、印刷物500に対して筆記された文字又は図形の位置情報がある。或いは、位置情報は、一定の時間における文字又は図形の位置情報を連結させた軌跡情報として送信するようにしてもよい。
その後、端末装置700は、ペンデバイス600から受信した識別情報と位置情報に基づいて、印刷物500に関する管理情報を文書リポジトリ200から取得する(F)。そして、端末装置700は、文書リポジトリ200から受信した管理情報に基づいて、所定のサービスを提供する。
【0016】
ところで、ペンデバイス600から受信した識別情報が、個々の媒体を一意に識別する情報である場合、この識別情報に基づいて電子文書を取得できるようにするためには、識別情報と電子文書との対応関係を管理しておく必要がある。図1では、この対応関係をどこで管理するかについては明示しなかったが、端末装置700からアクセス可能であれば、どこで管理するようにしてもよい。例えば、文書リポジトリ200であってもよいし、画像形成装置400であってもよい。
また、ペンデバイス600から軌跡情報を受信した場合、この軌跡情報は、印刷物500上での筆記位置に対応する電子文書上の位置に重ね合わせて表示される。これは、ペンデバイス600で読み取った符号パターン画像に筆記位置の情報が含まれるので、その情報から電子文書の表示イメージにおける対応する位置が特定できるからである。
【0017】
以上、本実施の形態が適用されるシステムについて述べてきたが、このような構成はあくまで一例に過ぎない。例えば、電子文書の画像と符号パターン画像とを重畳する処理を、画像処理装置100から画像形成装置400への印刷指示を中継するサーバコンピュータ等で行うようにしてもよい。また、文書リポジトリ200は、画像処理装置100内にあってもよい。更に、画像処理装置100と端末装置700とは、同一の装置であってもよい。
なお、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)も含めて「電子文書」としている。
【0018】
上述のシステムにおいて、印刷物500の特定の箇所にペンデバイス600でマーキングすることで所定のサービスを提供するには、印刷物500上の特定の領域(以下「サービス領域」とする)について、決定する必要がある。
しかしながら、従来のシステムでは、電子文書を印刷するためのデータである印刷データが描画データだけである場合、描画データのみを用いてサービス領域を決定する必要があり、限定的であった。即ち、電子文書には、例えば、HTML文書データのように、電子文書内に印刷されないメタ情報を保持しているものが多い。しかし、このようなメタ情報は、印刷データとなった段階では、印刷データの基となった電子文書と比較して、多くの部分が失われる。そのため、従来の技術では、メタ情報の利用については限定的な形態のものしか実現できていない。
なお、ここで、メタ情報の例としては、電子文書の一部にリンクと呼ばれる別のHTML文書データへの関連付けを行う参照情報等が挙げられる。このような参照情報が添付されていると、ウェブブラウザでリンクの貼られている文書の部分をクリックすることにより関連付けられるウェブサイトを表示することができる。
【0019】
以上のことを、実際の電子文書と印刷データを対比することで、以下に説明する。
図2は、電子文書の一例としてのHTML文書のウェブブラウザ上での画面表示例を示したものである。
図2で、表示画面20は、テキスト21〜27から構成されているウェブ画面である。このうちテキスト21は、タイトルである。そして、テキスト24には、別のウェブ画面へのリンクが貼られている。また、テキスト25〜26には、音声データへのリンクが張られている、また更に、テキスト27には、電子メールアドレスへのリンクが貼られている。
図2に示した表示画面20におけるウェブブラウザ上での動作を説明する。テキスト24には、別のウェブ画面へのリンクが貼られているため、テキスト24をマウスなどでクリックすると、別のウェブ画面が開く。また、テキスト25〜26には、それぞれ異なる音声データへのリンクが張られているため、マウスなどでクリックすることにより所定の音声データを再生し、音楽等を鳴らすことができる。また更に、テキスト27には特定の電子メールアドレスへのリンクが貼られているため、マウスなどでクリックすることにより、電子メールプログラムを起動し、特定の電子メールアドレスに電子メールを送付することができる。
【0020】
図3は、図2に示した表示画面20を表示するためのHTML文書である。
このHTML文書30は、各行で示されるテキストから構成される。HTML文書30の中で、テキスト31は、図2において説明したテキスト21に対応し、「第一中学校ホームページ」という描画オブジェクトを含む。また、テキスト32は、図2において説明したテキスト22に対応し、「音楽会のお知らせ」という描画オブジェクトを含む。そして、テキスト33は、図2において説明したテキスト23に対応し、「日時:10月1日10:00−」という描画オブジェクトを含む。また更に、テキスト34は、図2において説明したテキスト24に対応し、「場所:第一中学校体育館」という描画オブジェクトを含むと共に、これに付随して「http://www.daiichi.juniorhigh.com」へのリンクが貼られている。また更に、テキスト35は、図2において説明したテキスト25に対応し、「演奏曲1イントロ」という描画オブジェクトを含むと共に、「http://www.daiichi.juniorhigh.com/music1.wav」へのリンクが貼られている。そして、テキスト36は、図2において説明したテキスト26に対応し、「演奏曲2イントロ」という描画オブジェクトを含むと共に、「http://www.daiichi.juniorhigh.com/music2.wav」へのリンクが貼られている。更に、テキスト37は、図2において説明したテキスト27に対応し、「メールはこちらへ」という描画オブジェクトを含むと共に、「yourmail@domain.com」という電子メールアドレスへのリンクが貼られている。
【0021】
このようなリンク機能を有することにより図2において説明を行った別のウェブ画面を開く、所定の音声データを再生する、特定の電子メールアドレスに電子メールを送付するような機能が実現できる。そして、このようなリンク機能は、「http://www.daiichi.juniorhigh.com」等のメタ情報の一例としての参照情報があるために実現することができる。
【0022】
一方、図4は、印刷データの例を示している。印刷データは各行で示されるコマンドから構成される。このうち、コマンド40の「StartJob」は、ジョブ開始を示す制御コマンドであり、電子文書の所在を表すURLアドレスを含んでいる。コマンド41の「StartPage」はページ開始を示す制御コマンドである。コマンド42〜47は、印刷コマンドであり、それぞれ図2のテキスト22〜27に対応する。また、コマンド48の「EndPage」はページ終了を示す制御コマンドであり、コマンド49の「EndJob」はジョブ終了を示す制御コマンドである。コマンド42〜47には、テキスト22〜27を表示する位置を示す情報が含まれる。ここでは、かかる領域が通常矩形であることから、(左上X座標、左上Y座標)−(右下X座標、右下Y座標)の型式により表し、これを「矩形情報」と呼ぶことにする。また、コマンド42〜47におけるダブルコーテーションに囲まれた文字列は、左上座標と右下座標に囲まれた長方形領域に印刷される文字列である。ここではこの文字列を「印刷オブジェクト」と呼ぶことにする。なお、本実施の形態では簡単のために描画オブジェクトとして、文字描画オブジェクトを基にした印刷データを示すが、イメージ描画オブジェクトやグラフィックス描画オブジェクトを基にした印刷データであっても動作に問題はない。
【0023】
図3および図4を比較すると印刷データの基となった電子文書には、多くのリンク機能を実現するための参照情報を有するが、印刷データとなった段階では失われていることがわかる。よって、このような参照情報に例示されるメタ情報を印刷後において利用することは、印刷データを基とする限りでは困難である。
【0024】
そこで、本実施の形態では、印刷データの基となった電子文書を探索して取得し、電子文書における、描画オブジェクトに付随するメタ情報を解析し、印刷オブジェクトと印刷オブジェクトに対応する機能と印刷される媒体の識別情報及び位置情報との対応を保持するようにしている。
そして、このような対応を保持しておくことにより、ペンデバイス600で媒体上の特定の位置を指定することで、その媒体の識別情報と位置情報から辿って印刷オブジェクトに対応する機能を実行することが可能となる。即ち、図1では、端末装置700のディスプレイに電子文書とペンデバイス600による軌跡が重ね合わせて表示されているが、本実施の形態のように印刷オブジェクト、印刷オブジェクトに対応する機能、媒体の識別情報、その媒体における印刷オブジェクトの位置情報を管理しておけば、媒体の識別情報と位置情報から辿って印刷オブジェクトに対応するサービス等の機能を実行し、処理結果等を端末装置700のディスプレイに表示することも可能となる。
【0025】
上述の機能を実現するために、本実施の形態では、画像処理装置100が、印刷データの基となった電子文書の所在を探索して取得し、電子文書のメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する機能とを関連付けるための関連情報を作成し、印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を作成する。
以下、この画像処理装置100の構成及び動作について説明する。
図5は、画像処理装置100の機能構成を示した図である。
図示するように、画像処理装置100は、印刷指示受付部11と、文書PDL生成部12と、符号パターン画像生成部13と、探索部14と、関連情報作成部15と、比較部16と、登録指示部17と、出力用PDL生成部18とを備えている。
【0026】
印刷指示受付部11は、ユーザからの印刷指示を受け付け、画像処理装置100のメモリ内に読み込んである印刷データを取得し、文書PDL生成部12に受け渡すと共に、媒体の識別情報(以下、「媒体ID」という)を取得し、媒体内の位置情報を取得する。また同時に、符号パターン画像生成部13に対し符号パターン画像の生成を指示する符号パターン画像生成指示を出力する。そして更に、探索部14に印刷データを受け渡し、印刷データの基となった電子文書の所在を探索して取得する電子文書探索指示を出す。なお、この印刷指示受付部11は、印刷データを取得する印刷データ取得手段として把握することができる。
【0027】
文書PDL生成部12は、印刷指示受付部11から渡された電子文書を、画像形成装置400が画像形成を行うためのコマンド列からなるPDL(Page Description Language)ファイルである文書PDLファイルに変換する。
【0028】
符号パターン画像生成部13は、印刷指示受付部11から符号パターン画像生成指示があると、後で詳述するフォーマットの符号パターン画像を生成し、色を指定して出力用PDL生成部18に出力する。
【0029】
探索部14は、印刷指示受付部11から電子文書探索指示があると、同時に渡された印刷データまたはその付加情報から印刷データの基となった電子文書の探索をし、その電子文書を取得する。取得された電子文書は、関連情報作成部15に受け渡される。
具体的な探索手段としては、例えば、電子文書名から電子文書の場所を推定し、探索を行う。また、電子文書名がURLを含む場合、電子文書がそのURLに存在すると推定し、探索を行う。他の方法として、電子文書名がオープンフォーマット文書の添え字を含むファイル名を含んでいる場合、このファイル名のファイルを画像処理装置100のメモリから検索し、検索されたファイルのうち所定のアプリケーションプログラムによってオープンされているものを電子文書と推定し、探索を行う方法が考えられる。更に他の方法として、プリンタドライバ等のプログラムにより印刷時に電子文書入力ダイアログを表示し、ユーザが明示的に電子文書の場所を指定する方法も考えられる。
ここで、探索部14は、媒体に印刷をするための印刷データの基となった電子文書の所在を探索し、取得する電子文書取得手段として把握することができる。
【0030】
関連情報作成部15は、探索部14から受け渡された電子文書中のメタ情報を解析し、所定の描画オブジェクトとこの描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する。
具体的には、電子文書の中から所定のサービス等の機能に対応するメタ情報を抽出し、そのメタ情報に付随する描画オブジェクトを更に抽出する。そして、描画オブジェクトとそれに対応する機能とを関連付ける関連情報を作成する。
関連情報は、比較部16に受け渡される。なお、関連情報作成部15は、電子文書取得手段により取得された電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段として把握することができる。
【0031】
比較部16は、印刷データから所定の印刷オブジェクトを抽出し、この印刷オブジェクトが有する所定の情報と関連情報作成部15により作成された関連情報とを比較し、一致した場合は、印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を作成して、登録指示部17に受け渡す。ここで、管理情報は、例えば、印刷オブジェクトに対応する所定のサービスを提供するためのリンク機能に関する参照情報である。あるいは、媒体の識別情報や、その媒体上で印刷オブジェクトが存在する領域の位置情報である。ここで、位置情報は、上述した矩形情報で表現することができる。
比較部16は、印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、関連情報作成手段により作成され関連情報と所定の情報とを比較する比較手段として把握することができる。
【0032】
登録指示部17は、印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を図示しない登録部に登録する指示を出力する。登録部は、どこに設けられていてもよいが、例えば、画像処理装置100の内部に設けられてもよく、ネットワークに接続された各装置等から共通にアクセス可能なコンピュータに設けてもよい。なお、登録指示部17は、比較手段による比較結果から、媒体に印刷された印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段として把握することができる。
【0033】
出力用PDL生成部18は、文書PDL生成部12から渡された文書PDLファイル内に、符号パターン画像生成部13から渡された符号パターン画像及び色指定の情報をPDLコマンドとして設定した出力用PDL(電子文書に符号パターン画像を重畳するコマンドを付加したもの)を生成し、画像形成装置400に出力する。なお、出力用PDL生成部18は、電子文書の画像と管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段として把握することができる。
【0034】
なお、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置100の図示しないCPUが、印刷指示受付部11、文書PDL生成部12、符号パターン画像生成部13、探索部14、関連情報作成部15、比較部16、登録指示部17、出力用PDL生成部18の各機能を実現するプリンタドライバ等であるプログラムを、例えばハードディスク等の外部記憶装置からメインメモリに読み込んで、画像処理装置100内にこれらの各機能を実現する。
【0035】
次に、画像処理装置100の動作について説明する。
まず、実際にユーザが操作を行い、種々の設定を行う画像処理装置100の表示画面の説明を行う。なお、以下の説明では、上述した印刷指示受付部11、文書PDL生成部12、符号パターン画像生成部13、探索部14、関連情報作成部15、比較部16、登録指示部17、出力用PDL生成部18の各機能は、プリンタドライバが行うものとする。
【0036】
電子文書を作成したアプリケーションプログラムは、このアプリケーションプログラムが動作するOS(Operating System)に印刷指示を行う。そして、更にOSは、プリンタドライバに印刷データを渡して印刷指示を行う。
【0037】
ユーザはあらかじめプリンタドライバの設定ダイアログでサービス領域の指定を行うかどうかを設定しておく。
図6は、プリンタドライバの設定ダイアログを表示した表示画面の一例である。
プリンタドライバの設定ダイアログ60には、複数のタブが設けられており、そのうちサービスタブ61をマウスでクリックする等により選択すると、図6の画面が表示される。
【0038】
そして、サービス領域指定を行うチェックボックス62を選択すると、サービスグループボックス63の内容が指定できるようになる。サービスグループボックス63には、URLリンクチェックボックス64と、音楽再生チェックボックス65と、電子メール送信チェックボックス66と、出力時確認を行うチェックボックス67とが設けられている。URLリンクチェックボックス64を選択するとURLリンクが行われるサービス領域指定が行われるようになり、音楽再生チェックボックス65を選択すると、音楽再生が行われるサービス領域指定が行われるようになり、電子メール送信チェックボックス66をチェックすると、電子メール送信が行われるサービス領域指定が行われるようになる。また、出力時確認を行うチェックボックス67の選択を解除しておくと、出力時の確認を行わずに自動生成されたサービス領域に対する符号パターン画像が、そのまま印刷される。
【0039】
ここで、プリンタドライバの設定ダイアログで出力時確認を行うチェックボックス67をチェックしていた場合は、サービス領域確認ダイアログを表示する。
図7は、サービス領域確認ダイアログを表示した表示画面の一例である。
図7に示したサービス領域確認ダイアログ70は、プレビュー部71と、サービス領域一覧表示部72と、プレビューページ数表示部73と、次ページボタン74と、削除ボタン75と、新規追加ボタン76と、印刷ボタン77から構成される。
【0040】
プレビュー部71には、印刷データを印刷した場合のプレビュー画面が表示される。そして、抽出された印刷オブジェクトに対応した部分にサービス領域78a〜78dとして網掛け表示が行われる。サービス領域一覧表示部72にはサービス領域78a〜78dに対応する印刷オブジェクトの一覧が表示される。そして、記号表示部79aには網掛け表示の種類が、種別表示部79bにはURL、SOUND、E−MAILなどのサービス種別が、アドレス表示部79cには種別がURLであればURL文字列が、種別がE−MAILであれば電子メールアドレスが表示される。また現在の操作対象を示すカーソル枠80が表示され、キーボードやマウスなどの操作により、表示されているサービス領域一覧のうち一つを選択するようにカーソル枠80を上下に移動できるようになっている。この画面によりユーザは各ボタンやサービスカーソル枠80を操作して、設定の確認や、削除・追加・変更などの編集を行うことができる。このような編集手段を備えることで、ユーザが、印刷オブジェクトと印刷オブジェクトに対応する機能との関連付けを選択することができる。
【0041】
次に、印刷指示受付部11、符号パターン画像生成部13、関連情報作成部15、比較部16の動作についてフローチャートを用いて説明する。
まず、印刷指示受付部11の動作について説明する。
図8は、印刷指示受付部11の動作の流れを示したフローチャートである。
まず、印刷指示受付部11は、印刷指示があるかどうかを監視する(ステップ111)。即ち、印刷指示がなければ、ステップ111を繰り返し、印刷指示があれば、印刷属性を取得する(ステップ112)。印刷属性には、用紙サイズ、向き、両面印刷等が含まれる。また、印刷指示には、印刷対象の電子文書を特定するための情報も含まれている。
次に、印刷指示受付部11は、印刷される媒体を一意に識別する媒体IDを取得する(ステップ113)。なお、媒体IDは、所定のサーバコンピュータから発行してもらうことにより取得することができる。
【0042】
また、用紙サイズや向きの情報に基づいて、媒体内の位置情報を生成し、媒体IDとこの位置情報と色指定とを符号パターン画像生成部13に伝えて符号パターン画像の生成を指示する(ステップ114)。ここで、色指定とは、符号パターン画像をどの色で印刷するかを指定する情報である。画像形成装置400がイエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)、不可視(I)の5つの現像器を有していれば、不可視(I)で符号パターン画像を印刷すべき旨の情報である。一方、画像形成装置400がイエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)の4つの現像器しか有しておらず、これらのいずれかの色が不可視(I)に置き換えられていれば、その置き換えられた色の指定である。これにより、符号パターン画像は、不可視(I)で印刷されることになる。
【0043】
その後、印刷指示受付部11は、印刷データをメモリから取り出し(ステップ115)、探索部14に印刷データを渡して電子文書探索指示を出す。また、同時に比較部16に印刷データを渡す。そして、最後に、文書PDL生成部12に対し印刷データを渡して文書PDLへの変換を指示する(ステップ116)。
【0044】
次いで、符号パターン画像生成部13の動作について説明する。
図9は、符号パターン画像生成部13の動作の流れを示したフローチャートである。
まず、符号パターン画像生成部13は、印刷指示受付部11から符号パターン画像生成指示があるかどうかを監視する(ステップ131)。即ち、符号パターン画像生成指示がなければ、ステップ131を繰り返し、符号パターン画像生成指示があれば、識別符号を生成する(ステップ132)。
具体的には、電子文書が印刷される紙等の媒体の識別情報を所定の符号化方式により符号化する。この符号化には、例えば、既知の誤り訂正符号であるRS(リードソロモン)符号やBCH符号を用いることができる。また、誤り検出符号として、位置情報のCRC(Cyclic Redundancy Check)やチェックサム値を計算し、それを冗長ビットとして付加することもできる。
そして、この符号化された識別情報を、符号パターン情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された識別情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、識別符号が2次元配置される場合は、ビット値を符号の配置と同様に2次元配置しておく。
【0045】
次に、符号パターン画像生成部13は、位置符号を生成する(ステップ133)。
具体的には、印刷される媒体のサイズに応じた位置情報を所定の符号化方式により符号化する。この符号化には、識別情報の符号化に使用したのと同様の方式を使用することができる。また、位置情報は、疑似雑音系列の一種であるM系列を利用して表すこともできる。ここで、M系列は、k段の線形シフトレジスタで生成できる最大周期の系列であり、その周期は2k−1である。また、M系列中の任意の位置から取り出した連続するkビットの部分系列がM系列中に1度しか現われないという性質を持っている。この性質により、連続したkビットの部分系列ごとに位置情報を対応させておけば、部分系列を検出することで位置情報を特定することができる。
そして、この符号化された位置情報を、符号パターン情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された位置情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、位置符号が2次元配置される場合は、ビット値を符号の配置と同様に2次元配置しておく。
【0046】
その後、符号パターン画像生成部13は、ステップ132で生成された識別符号及びステップ133で生成された位置符号を2次元に配置する(ステップ134)。このとき、識別符号は、位置によらず同じ符号が配置されるが、位置符号は、位置により異なる符号が配置される。
また、識別符号及び位置符号の各ビットに後述のパターン画像を割り当てることにより、符号パターン画像を生成する(ステップ135)。
【0047】
ところで、符号画像は、この時点では2値の画像であるが、符号パターン画像生成部13は、この符号パターン画像に対し色指定を行う(ステップ136)。即ち、符号パターン画像生成指示には色指定の情報も含まれているので、これを用いて色指定を行う。
そして、最後に、符号パターン画像生成部13は、色指定がなされた符号パターン画像を出力用PDL生成部16に出力する(ステップ137)。
【0048】
図10は符号化された識別情報と位置情報である識別符号と位置符号の例である。
図10に示した例では、データ長72バイトのデータを符号化して埋め込む例を示している。
ここで挙げた例では、0バイト目〜47バイト目に識別情報を符号化する。また、48バイト目〜59バイト目に位置情報のうち、Y座標情報を符号化し、60バイト目〜72バイト目に位置情報のうち、X座標情報を符号化している。
【0049】
次に、符号パターン画像生成部13で生成され、印刷される符号パターン画像について説明する。
図11(a)〜(c)は、上述した符号パターン画像を説明するための図である。図11(a)は、符号パターン画像を形成する符号パターン配列を模式的に示している。また、図11(b)は、図11(a)における符号パターン配列の基本単位である符号ブロックを拡大して示した図である。更に、図11(c)は、符号ブロックを構成する単位符号パターンの具体的なパターンについて説明するための図である。
【0050】
本実施の形態において、図11(a)〜(c)に示す符号パターン画像は、可視光領域(400nm〜700nm)における最大吸収率が例えば7%以下であり、近赤外領域(800nm〜1000nm)における吸収率が例えば30%以上の不可視トナーによって形成される。また、この不可視トナーは、画像の機械読取りのために必要な近赤外光吸収能力を高めるために、平均分散径は100nm〜600nmの範囲のものが採用される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが、人間の目で認識し難いものも「不可視」に含める。
【0051】
また、この符号パターン画像は、赤外光照射による機械読取りと復号化処理とが長期に亘って安定して可能で、且つ、情報が高密度に記録できる不可視画像で形成される。更に、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能な不可視画像であることが好ましい。更に、例えば、目視した際に光沢差によって認識できる不可視画像であることが更に好ましい。また、例えば、印刷される媒体の大きさに合わせて媒体面(紙面)の全面に不可視画像が形成される。但し、「全面」とは、用紙の四隅を全て含む意味ではない。電子写真方式等の装置では、通常、紙面の周囲は印刷できない範囲である場合が多いことから、かかる範囲には不可視画像を印刷する必要はない。
【0052】
図11(b)において、符号ブロックは、5ブロック×5ブロックの合計25ブロックの単位符号パターンで構成されている。各単位符号パターンは、図11(c)に示される縦3ドット、横3ドットの合計9ドットを配置可能な領域により形成され、ドット配置可能な領域に2ドットを配置するいわゆる9C2方式における符号パターンである。ここで、黒色の領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒色の領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。
より具体的には、配置可能な9ドットのうち2ドットを使用し、各単位符号パターンが1つの情報を表現する。この場合は、36(=9C2)通りの情報を表現することができる。このような方式を用いることで、可視画像に与えるノイズが極めて小さく、且つ、大量の情報を高密度にデジタル化して埋め込むことが可能な符号パターンを提供することが可能となる。
【0053】
本実施の形態では、これらの単位符号パターンのうち、特定の単位符号パターンを情報パターンとして利用し、残りを同期パターンとして利用する。ここで、情報パターンとは、媒体に埋め込む情報を表現するパターンである。また、同期パターンとは、媒体に印刷された情報パターンを取り出すために用いられるパターンである。例えば、情報パターンの位置を特定したり、画像の回転を検出したりするために用いられる。
図11(b)に示した例では、図11(b)において黒色の領域で表した左上の1ブロックの単位符号パターンを使用し、同期パターンとしている。そして、画像の回転の検出のために4種類の単位符号パターンを同期パターンとして用意する必要がある。即ち、正立した同期パターン、右に90度回転した同期パターン、右に180度回転した同期パターン、右に270度回転した同期パターンを用意する。
そして残りの24ブロックを情報パターンとして利用する。そして、同期パターンの右の4ブロックに紙面上のX方向の座標を特定するX座標情報を表す情報パターンを配置し、同期パターンの下の4ブロックに紙面上のY方向の座標を特定するY座標情報を表す情報パターンを配置している。更に、これらの座標情報を表す情報パターンで囲まれた16ブロックに、紙面又は紙面に印刷される文書の識別情報を表す情報パターンを配置している。そして、X座標情報を表す情報パターン領域とY座標情報を表す情報パターンには、それぞれ配置される場所により異なる位置情報が格納されている。一方、識別パターンを表す領域には、配置される場所によらず同じ識別情報が格納されている。
【0054】
次いで、関連情報作成部15の動作について説明する。
図12は、関連情報作成部15の動作の流れを示したフローチャートである。
まず、関連情報作成部15は、探索部14から、印刷データの基となった電子文書を受け取る(ステップ201)。この電子文書は、例えば、図3で説明したようなHTML文書である。
次に、電子文書を受け取れたかどうかを判断する(ステップ202)。電子文書を受け取れなかった場合は何もせず処理を終了し、受け取れた場合には、構文解析処理に移る。
構文解析処理は、まず、HTML電子文書の先頭からHTMLヘッダを読み込み(ステップ203)、次にbody開始タグを読み込む(ステップ204)。更に、次のタグを読み込む(ステップ205)。ここで、タグが、a開始タグであるか否かを判定する(ステップ206)。a開始タグであればhref属性判定処理へ進み、そうでない場合は、このタグがbody終了タグであるか否かを判定する(ステップ215)。body終了タグであれば処理を終了し(ステップ215)、そうでなければ次のタグを読み込む(ステップ205)。
【0055】
href属性判定処理においては、まず、href属性と、a開始タグからa終了タグに囲まれた子要素を読み込む(ステップ207)。href属性が図3のテキスト34のようなURLへの参照情報であった場合は(ステップ208)、サービス種別を「URL」、アドレスをhref属性中のURLとする(ステップ209)、また、href属性が図3のテキスト35,36にあるような音声ファイルへの参照情報であった場合は(ステップ210)、サービス種別を「SOUND」、アドレスをhref属性中の音声ファイルを示すURLとする(ステップ211)。また更に、href属性が図3のテキスト37のようなメールアドレスであった場合は(ステップ212)、サービス種別を「E−MAIL」、アドレスをhref属性中のメールアドレスとする(ステップ213)。そして、サービス種別、アドレス、子要素を関連付けた組データとして関連情報とし(ステップ214)、次のタグを読み込む(ステップ205)。そして、href属性が電子メールアドレスへの参照情報でもなかった場合(ステップ212)は、関連情報を作成せずに次のタグを読み込む(ステップ205)。
【0056】
図13は、以上のようにして作成された関連情報の一例を示す図である。
図13に示した関連情報テーブルには、左側から子要素、サービス種別、アドレスがそれぞれ配置され、それぞれが、組データとなっている。
子要素は、メタ情報に付随する子要素である描画オブジェクトである。また、サービス種別は、本実施の形態の場合、「URL」、「SOUND」、「E−MAIL」のどれかの値をとる。また、アドレスには、サービス種別が、「URL」、「SOUND」である場合は、描画オブジェクトに対応する機能であるリンク機能に対応する参照情報であるURLが、またサービス種別が、「E−MAIL」である場合は、描画オブジェクトに対応する機能であるリンク機能に対応する参照情報であるメールアドレスが入ることになる。
【0057】
次いで、比較部16の動作について説明する。
図14は、比較部16の動作の流れを示したフローチャートである。
まず、比較部16は、印刷指示受付部11(図5参照)から印刷データを受け取る。また、関連情報作成部15(図5参照)から、関連情報を受け取る。(ステップ301)。次に、図6のサービス領域指定を行うチェックボックス62で設定されている指示に従って、サービス領域の指定を行うか否かの判定を行う(ステップ302)。サービス指定を行なわない場合は、そのまま終了する。サービス領域指定を行う場合は、図6で説明したような印刷データから、そのコマンドを先頭から取得する(ステップ303)。そして取得したコマンドが、StartPageであるか否かを判定する(ステップ304)。コマンドがStartPageである場合には、図7で説明を行ったサービス領域確認ダイアログ70のプレビュー部71およびサービス領域一覧表示部72を初期化し(ステップ305)、次のコマンドを取得する(ステップ303)、StartPageでない場合は、コマンドがテキスト印刷コマンドであるかどうか判定する(ステップ306)。テキスト印刷コマンドである場合は、その印刷コマンドにより印刷される印刷オブジェクトの文字列が、上述した関連情報中の子要素と一致するか否かを判定する。(ステップ307)。一致する場合は、図7のサービス領域一覧表示部72に追加表示を行い(ステップ308)、プレビュー部71の該当する印刷オブジェクトの部分に網掛け描画を行う(ステップ309)。そして、再度次のコマンドを取得する(ステップ303)。また、一致しない場合は、次のコマンドを取得する(ステップ303)。
コマンドがテキスト印刷コマンドでない場合(ステップ306)、コマンドがEndPageであるかどうかを判定する(ステップ310)。EndPageでない場合は、次のコマンドを取得する(ステップ303)。コマンドがEndPageの場合、図7のサービス領域確認ダイアログ70を表示したまま、ユーザの入力を待つ(ステップ311)。
【0058】
ここで、ユーザが、サービス領域確認ダイアログ70において、次ページボタン74を押下した場合はその判定を行う(ステップ312)。次ページボタン74が押下された場合で、現在のページが、最終ページでない場合は、次ページについてコマンドを取得する(ステップ303)。また、サービス領域確認ダイアログ70においてユーザが削除ボタン75を押下した場合は、その判定を行う(ステップ313)。削除ボタン75が押下された場合は、カーソル枠80で選択されているサービス領域をサービス領域一覧表示部72から削除し、プレビュー部71にも反映する(ステップ314)。また、ユーザが、新規追加ボタン76を押下した場合はその判定を行う(ステップ315)。新規追加ボタン76が押下された場合は、ユーザに、サービス種別、サービス領域、アドレスを入力させ、プレビュー部71およびサービス領域一覧表示部72への反映を行なう(ステップ316)。また、ユーザが、印刷ボタン77を押下した場合は、その判定を行い(ステップ317)、以上のように、ユーザが確認、訂正を行った管理情報を登録指示部17に送る(ステップ318)。
【0059】
次に、上述のステップ307における印刷オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作について更に詳細に説明する。
図15は、印刷オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作の流れを示したフローチャートである。
まず、印刷コマンド中にある印刷オブジェクトに対応するテキスト文字列を取得する(ステップ401)。次に、関連情報から組データを1つ取得する(ステップ402)。そして、印刷コマンドのテキスト文字列が組データの子要素を含むか否かを判定する(ステップ403)、含まない場合は、最後の組データであるか否かを判定し(ステップ413)最後の組データであれば終了し、最後の組データでなければ、次の組データを取得する(ステップ402)。
【0060】
印刷コマンドのテキスト文字列が組データの子要素を含む場合は、組データのサービス種別が「URL」であるか否かの判定を行う(ステップ404)。サービス種別が「URL」であれば、図6で説明したURLリンクチェックボックス64がチェックされているか否かの判定をし(ステップ405)、チェックがされていれば、一致と判定する(ステップ406)。
組データのサービス種別が、「URL」でなかった場合は、組データのサービス種別が、「SOUND」であるか否かの判定を行う(ステップ407)。サービス種別が「SOUND」であれば、図6で説明した音楽再生チェックボックス65がチェックされているか否かの判定をし(ステップ408)、チェックがされていれば、一致と判定する(ステップ409)。
組データのサービス種別が、「SOUND」でなかった場合は、組データのサービス種別が、「E−MAIL」であるか否かの判定を行う(ステップ410)。サービス種別が「E−MAIL」であれば、図6で説明した電子メール送信チェックボックス66がチェックされているか否かの判定をし(ステップ411)、チェックがされていれば、一致と判定する(ステップ412)。
【0061】
また、図16(a)〜(b)は、登録指示部17が登録を指示する管理情報を説明した図である。
図16(a)は、管理情報の一例としての中間文書の構成を説明した図である。
図16(a)に示した中間文書には、媒体ID、印刷データ、サービス領域データがそれぞれ配される。
ここで、サービス領域データは、例えば、図16(b)に示したような構成をとる。図16(b)に示したサービス領域データは、左側から左上座標、右下座標、サービス種別、アドレスの各データがそれぞれ配置される。ここで、左上座標、右下座標は、前述した矩形情報である。また、サービス種別は、本実施の形態の場合、「URL」、「SOUND」、「E−MAIL」のどれかの値をとる。また、アドレスには、サービス種別が、「URL」、「SOUND」である場合は、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報であるURLが、またサービス種別が、「E−MAIL」である場合は、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報であるメールアドレスが入ることになる。
【0062】
なお、管理情報としては、上記の例に限られるものではない。
例えば、図16(a)に挙げた例について、印刷データを省略する場合などが挙げられる。この場合、例えば、図1に挙げた文書リポジトリ200で、管理情報を管理する場合を考えると、印刷データを文書リポジトリ200に格納しないので、文書リポジトリ200に大量の記憶領域を必要としないという利点がある。また、ネットワーク800の負荷を減らすことができる。
【0063】
出力用PDL生成部18は、文書PDL生成部12から送られた文書PDLに対し、符号パターン画像生成部13から送られた符号パターン画像及び色指定の情報を用いて符号パターン画像重畳のためのPDLコマンドを挿入することにより、出力用PDLを生成する。
そして、この出力用PDLを画像形成装置400に送信することで、画像形成装置400では、不可視トナーで符号パターン画像が印刷されることとなる。
【0064】
本実施の形態では描画オブジェクトとして、テキスト文字列からなる文字描画オブジェクトを用いたが、ビットマップなどからなるイメージ描画オブジェクトや、グラフィックス描画オブジェクトを対象にしてもよい。この場合、印刷コマンドとの比較においては、イメージ描画オブジェクトであればビットマップのビット列等の比較を、グラフィックス描画オブジェクトであれば座標列の比較を行うことによって上述の場合と同様に処理できる。
【0065】
また、電子文書で、例えば、ひらがな一文字など非常に短い単語に対してリンクが貼られている場合、実際にはリンクが貼られていないが、この文字を含んでいるほかの印刷オブジェクトに対してもサービス領域が設定されてしまう問題が発生する場合がある。このような場合は、一致するか否かを判定する際に前後の文字列や色、文書内に存在する個数などの他の特徴量を参照して同じかどうかを判別することが好ましい。また、サービス領域を設定するテキストの最低文字数を制限してもよい。
【0066】
また、今まで詳述したユーザに提供するサービスは、所定のウェブ画面を表示する、音声データを再生する、電子メールソフトを起動する等を例に挙げ、説明したがこれに限られるものではない。
図17は、ユーザに他のサービスを提供する場合の印刷物500の一例である。
図17に示した印刷物500は、xxホテルの予約依頼を行うためのものである。そして印刷物500は、印刷オブジェクト91〜99が印刷されたものである。
これらの印刷オブジェクト91〜99は、入力部94〜98と予約するボタン99を含む予約部品91と、電話部品92と、地図部品93とから構成される。
【0067】
ここで、図18(a)に、予約部品91に含まれている入力部94〜98としての印刷オブジェクトとその機能を対応させた管理情報を示す。また、図18(b)に、電話部品92としての印刷オブジェクトとその機能を対応させた管理情報を示し、図18(c)に、地図部品93としての印刷オブジェクトとその機能を対応させた管理情報を示す。
図18(a)に示した管理情報は、左側から左上座標、右下座標、部品名、処理サーバのデータがそれぞれ配置される。ここで、左上座標、右下座標は、前述した矩形情報である。また、部品名は、本実施の形態の場合、各印刷オブジェクトに付けられる名前である。また、処理サーバには、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報のURLが入ることになる。
【0068】
ここでユーザが、入力部94〜98にペンデバイス600(図1参照)で記入すると、端末装置700(図1参照)は、その印刷オブジェクトに対応した機能である処理サーバへの記入内容の送付を行う。対応する処理サーバは、アドレスの欄に記載されたURLの情報に基づいて決定することができる。
【0069】
図17および図18(a)に示した例では、ユーザは月に関する入力部94、日に関する入力部95、泊数に関する入力部96、氏名に関する入力部97、連絡先に関する入力部98にペンデバイス600(図1参照)で記入すると、それぞれの記入内容が対応する処理サーバに送付される。次に予約するボタン99にペンデバイス600で接触すると、対応する処理サーバにおいて予約処理が行われる。このとき印刷物500のみでは、予約結果がわからないが、例えば、予約結果を表示するボタンを別途付け、そのボタンにペンデバイス600で接触すると、端末装置700に予約状況のウェブ画面が表示されるようにしてもよい。
【0070】
図18(b)〜(c)に示した管理情報も、図18(a)に示した例と同様に左側から左上座標、右下座標、部品名、処理サーバに関するデータがそれぞれ配置される。
ここでユーザが、電話部品92にペンデバイス600で接触すると、印刷オブジェクトである電話部品92に対応した機能である電話をかけることができる。この場合、処理サーバの欄に記載されている電話番号に電話をかけることになる。
また更に、ユーザが、地図部品93にペンデバイス600で接触すると、印刷オブジェクトである地図部品93に対応した機能である地図情報の表示を行う。地図情報は、処理サーバの欄に記載されたURLに基づいて呼び出すことができる。
【0071】
上述した印刷オブジェクト91〜99は、イメージ描画オブジェクトまたはグラフィックス描画オブジェクトに対応した印刷オブジェクトとして捉えることができる。そして、電子文書中のこれらの描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する、宿泊予約をする、電話をかける、地図情報を表示する等の所定の機能とを関連付けた図18(a)〜(c)に挙げたような関連情報を作成することにより、図18(a)〜(c)に示したような管理情報を作成することができるため、上述したようなサービスをユーザに提供することができる。
【0072】
次に、本実施の形態における印刷を指示する画像処理装置100及び符号パターン画像を読み取るペンデバイス600の具体的なハードウェア構成について説明する。
まず、ペンデバイス600について説明する。
【0073】
図19は、ペンデバイス600の機構を示した図である。
図示するように、ペンデバイス600は、ペン全体の動作を制御する制御回路601を備える。また、制御回路601は、入力画像から検出した符号パターン画像を処理する画像処理部601aと、そこでの処理結果から管理情報等を抽出するデータ処理部601bとを含む。
そして、制御回路601には、ペンデバイス600による筆記動作をペンチップ609に加わる圧力によって検出する圧力センサ602が接続されている。また、媒体上に赤外光を照射する赤外LED603と、画像を入力する赤外CMOS604も接続されている。更に、管理情報等を記憶するための情報メモリ605と、外部装置と通信するための通信回路606と、ペンを駆動するためのバッテリ607と、ペンの識別情報(ペンID)を記憶するペンIDメモリ608も接続されている。
【0074】
ペンデバイス600により取得した情報は、端末装置700(図1参照)に送信される。情報が、URLである場合は端末装置700に内蔵された図示しないモデム部からインターネット上のそのURLの情報を取得し、端末装置700の表示部に表示する。取得した情報が音声ファイルを示すURLである場合は、端末装置700に内蔵された図示しないモデム部からインターネット上のそのURLから音声データを取得し、端末装置700に内蔵された図示しないスピーカによりその音声データを再生する。また、取得した情報が電子メールのアドレスだった場合は、端末装置700に内蔵された標準メールソフトを起動する。
【0075】
また、画像処理装置100にて実現される処理、及び、図18の画像処理部601a又はデータ処理部601bにて実現される処理は、例えば、汎用のコンピュータで実現してもよい。そこで、かかる処理をコンピュータ900で実現するものとし、コンピュータ900のハードウェア構成について説明する。
【0076】
図20は、コンピュータ900のハードウェア構成を示した図である。
図示するように、コンピュータ900は、演算手段であるCPU(Central Processing Unit)901と、記憶手段であるメインメモリ902及び磁気ディスク装置(HDD:Hard Disk Drive)903とを備える。ここで、CPU901は、OS(Operating System)やアプリケーションプログラム等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ902は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置903は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ900は、外部との通信を行うための通信I/F904と、ビデオメモリやディスプレイ等からなる表示機構905と、キーボードやマウス等の入力デバイス906とを備える。
【0077】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
【図面の簡単な説明】
【0078】
【図1】本実施の形態が適用されるシステムの構成の一例を示したものである。
【図2】電子文書の一例としてのHTML文書のウェブブラウザ上での画面表示例を示したものである。
【図3】図2に示した表示画面を表示するためのHTML文書である。
【図4】印刷データの例を示している。
【図5】画像処理装置の機能構成を示した図である。
【図6】プリンタドライバの設定ダイアログを表示した表示画面の一例である。
【図7】サービス領域確認ダイアログを表示した表示画面の一例である。
【図8】印刷指示受付部の動作の流れを示したフローチャートである。
【図9】符号パターン画像生成部の動作の流れを示したフローチャートである。
【図10】符号化された識別情報と位置情報である識別符号と位置符号の例である。
【図11】符号パターン画像を説明するための図である。
【図12】関連情報作成部の動作の流れを示したフローチャートである。
【図13】関連情報の一例を示す図である。
【図14】比較部の動作の流れを示したフローチャートである。
【図15】描画オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作の流れを示したフローチャートである。
【図16】登録指示部が登録を指示する管理情報を説明した図である。
【図17】ユーザに他のサービスを提供する場合の印刷物の一例である。
【図18】管理情報を説明した図である。
【図19】ペンデバイスの機構を示した図である。
【図20】コンピュータのハードウェア構成を示した図である。
【符号の説明】
【0079】
11…印刷指示受付部、12…文書PDL生成部、13…符号パターン画像生成部、14…探索部、15…関連情報作成部、16…比較部、17…登録指示部、18…出力用PDL生成部、100…画像処理装置、200…文書リポジトリ、400…画像形成装置、500…印刷物、600…ペンデバイス、700…端末装置
【特許請求の範囲】
【請求項1】
媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得手段と、
前記電子文書取得手段により取得された前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段と、
前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報作成手段により作成された前記関連情報と当該所定の情報とを比較する比較手段と、
前記比較手段による比較結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記関連情報作成手段は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記関連情報作成手段は、文字描画オブジェクト、イメージ描画オブジェクト、グラフィックス描画オブジェクトから選ばれる少なくとも1つの描画オブジェクトに付随するメタ情報の解析を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記電子文書取得手段は、前記電子文書の文書名を基にして当該電子文書の所在を探索し、取得することを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記登録指示手段は、前記印刷オブジェクトに対応する機能への参照情報、前記印刷オブジェクトの位置情報、前記媒体の識別情報から選ばれる少なくとも1つの情報を管理情報として登録を指示することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記比較手段は、所定の特徴量が一致するか否かにより、前記関連情報作成手段により作成された前記関連情報と前記所定の情報とを比較することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記印刷データを取得する印刷データ取得手段と、
前記印刷データの画像と前記管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段とを更に有することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記管理情報を編集するための編集手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
【請求項10】
コンピュータに、
媒体に印刷をするための印刷データの基である電子文書を取得する機能と、
前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する機能と、
前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報と当該所定の情報とを比較する機能と、
前記比較の結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する機能と、
を実現させるためのプログラム。
【請求項11】
前記メタ情報は、前記描画オブジェクトに付随する参照情報であることを特徴とする請求項10に記載のプログラム。
【請求項12】
前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項10に記載のプログラム。
【請求項1】
媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得手段と、
前記電子文書取得手段により取得された前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段と、
前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報作成手段により作成された前記関連情報と当該所定の情報とを比較する比較手段と、
前記比較手段による比較結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記関連情報作成手段は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記関連情報作成手段は、文字描画オブジェクト、イメージ描画オブジェクト、グラフィックス描画オブジェクトから選ばれる少なくとも1つの描画オブジェクトに付随するメタ情報の解析を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記電子文書取得手段は、前記電子文書の文書名を基にして当該電子文書の所在を探索し、取得することを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記登録指示手段は、前記印刷オブジェクトに対応する機能への参照情報、前記印刷オブジェクトの位置情報、前記媒体の識別情報から選ばれる少なくとも1つの情報を管理情報として登録を指示することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記比較手段は、所定の特徴量が一致するか否かにより、前記関連情報作成手段により作成された前記関連情報と前記所定の情報とを比較することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記印刷データを取得する印刷データ取得手段と、
前記印刷データの画像と前記管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段とを更に有することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記管理情報を編集するための編集手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
【請求項10】
コンピュータに、
媒体に印刷をするための印刷データの基である電子文書を取得する機能と、
前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する所定の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する機能と、
前記印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、前記関連情報と当該所定の情報とを比較する機能と、
前記比較の結果から、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと当該印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する機能と、
を実現させるためのプログラム。
【請求項11】
前記メタ情報は、前記描画オブジェクトに付随する参照情報であることを特徴とする請求項10に記載のプログラム。
【請求項12】
前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項10に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2009−237830(P2009−237830A)
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願番号】特願2008−82069(P2008−82069)
【出願日】平成20年3月26日(2008.3.26)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願日】平成20年3月26日(2008.3.26)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]