画像処理装置、画像処理方法、及びプログラム
【課題】本発明によれば、電子文書データ内のオブジェクトが有する形状やデータ状態を維持しつつ、検索により検出されたオブジェクトをユーザが認識しやすいように強調表示可能な電子文書データを生成すること。
【解決手段】画像処理装置は、入力された画像からオブジェクトを抽出し、当該オブジェクトに関するメタデータを抽出する。そして、枠のベクトルパス記述をオブジェクトの形状に応じた形状で記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する。オブジェクトの形状に応じた形状で記述すると判定した場合は、オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成する。そして、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する。生成された電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示される。
【解決手段】画像処理装置は、入力された画像からオブジェクトを抽出し、当該オブジェクトに関するメタデータを抽出する。そして、枠のベクトルパス記述をオブジェクトの形状に応じた形状で記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する。オブジェクトの形状に応じた形状で記述すると判定した場合は、オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成する。そして、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する。生成された電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像からオブジェクト検索可能な電子文書データを生成するための画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、文書画像中の文字以外のオブジェクト（例えば、写真、図面、線画、表等）を利用しやすくするために、当該オブジェクトを検索できるようにする技術が知られている。以下の説明において、特に記載がない限り、オブジェクトは、文字を除くオブジェクトのことを示すものとする。
【０００３】
特許文献１では、文書画像から図やグラフなどのオブジェクトを抽出し、当該オブジェクトの近傍にキャプション文字列（オブジェクトを説明する文字列）があるかどうか判断する。キャプション文字列がある場合、該オブジェクトに当該キャプション文字列を関連付けて、オブジェクトを検索できるようにしている。
【０００４】
また、オブジェクトに隣接するキャプションが図番（例えば、「図１」や「第１図」等）である場合、一般的な文書画像では、オブジェクトの説明のために同じ図番の文字列が本文にも記載されている。すなわち、キャプションに記載されている図番と同一表現が本文内にも記述されている。特許文献２には、キャプション中の図番と本文中の図番との間にリンクを自動的に生成し、ハイパーテキスト化する技術が開示されている。この技術において、例えば、オブジェクトに隣接するキャプションに図番「図１」が含まれ、本文中に「図１は、ＡＡＡである」という記載がある場合、キャプション「図１」と本文中の「図１」との間に、ハイパーリンクが生成される。また、特許文献２には、オブジェクトとそれに関連する本文との間にリンクを自動的に生成し、ハイパーテキスト化された文書を生成することも記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３０６１９７号公報
【特許文献２】特開平１０−２２８４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
なお、メタデータが関連付けられた各オブジェクトをＪＰＥＧ圧縮等して、１つの電子文書に格納しておけば、データ量の少ない１つの電子文書として生成できる。このような電子文書をアプリケーション側で利用する場合、キャプション文字列を検索キーワードとして、該メタデータからオブジェクトを検索することが可能となる。
【０００７】
一方、キャプション文字列をメタデータとしてオブジェクトに付与し、文字以外のオブジェクトを検索できるようにした電子文書において、キーワード検索をおこなった際に、検索結果のオブジェクトが強調表示されるようにすることが望まれている。
【０００８】
しかしながら、検索対象となるオブジェクトは写真、図、表等であり、色・形状ともに多種多様である。従って、オブジェクトが元々有する色・形状のために、強調表示が目立たず、ユーザが検索でヒットしたオブジェクトを特定するのが困難な場合がある。例えば、検索されたオブジェクトの輪郭を赤色の外接矩形で着色するような強調方式であるときに、赤色を多く含む矩形の写真のオブジェクトが検索されると、検索結果の強調表示が写真と同様の色で写真領域に接触しているので目立たなくなってしまう。すなわち、ユーザにとっては、検索でヒットしたオブジェクトを特定することが非常に困難になってしまう。また、オブジェクトのサイズが小さかったり、複数のオブジェクトが隣接して存在したりしている場合等には、検索でヒットしたオブジェクトの識別が直観的にできなくなってしまうため、検索効率の向上が見込めないという課題もある（図１７（ａ）、（ｃ）参照）。
【０００９】
そこで、文字以外のオブジェクトをキーワード検索可能な電子文書データの作成処理において、検索時に検索対象オブジェクトが有する形状やデータ状態を維持しつつ、ユーザが認識しやすい強調表示を行う電子文書データ作成方法が必要となっていた。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、前記オブジェクトの形状に応じた形状で枠のベクトルパス記述を記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する判定手段と、前記判定手段で前記オブジェクトの形状に応じた形状で記述すると判定した場合は、前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成し、前記判定手段で前記既定形状に応じた形状で記述すると判定した場合は、前記既定形状に応じた形状で記述された枠のベクトルパス記述を生成する枠生成手段と、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、を備え、前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする。
【００１１】
本発明に係る画像処理装置は、入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、前記オブジェクトの形状の外輪郭に相似する形状で記述された枠のベクトルパス記述を生成する枠生成手段と、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、を備え、前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする。
【００１２】
本発明に係る画像処理装置は、入力された画像からオブジェクトを抽出し、当該オブジェクトについての情報である領域情報を取得する手段と、前記抽出されたオブジェクトを前記取得された領域情報に応じた形状で囲む透明枠のベクトルパス記述を生成する手段と、前記入力された画像から、前記生成された透明枠のベクトルパス記述を含む電子文書データを生成する手段とを備え、前記生成された透明枠のベクトルパス記述は、前記生成された電子文書データからオブジェクトが検索され検索結果として検出されたときに、当該枠を強調表示するための強調色のパラメータ記述を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、検索により検出されたオブジェクトをユーザが認識しやすいように強調表示可能な電子文書データを生成するための画像処理装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムの構成例を示すブロック図である。
【図２】ＭＦＰの構成例を示すブロック図である。
【図３】データ処理部の構成例を示すブロック図である。
【図４】フォーマット変換部の構成例を示すブロック図である。
【図５】入力イメージデータに対して領域分割を行った結果の例を示す図である。
【図６】入力イメージデータに対して出力される電子文書データの例を示す図である。
【図７】フォーマット変換部の制御情報である対応テーブルの例を示す図である。
【図８】画像処理システムで実行される処理全体の概要を示すフローチャートである。
【図９】４ページからなる入力イメージデータに対して領域分割を行った結果の例を示す図である。
【図１０】メタデータ処理部の処理を説明するフローチャートである。
【図１１】フォーマット変換部の処理を説明するフローチャートである。
【図１２】電子文書記述生成部の処理を説明するフローチャートである。
【図１３】グラフィックスデータの例を示す図である。
【図１４】入力イメージデータに対して出力される電子文書データの例を示す図である。
【図１５】入力イメージデータに対して出力される電子文書データの例を示す図である。
【図１６】電子文書データを閲覧・検索するアプリケーションの画面表示例である。
【図１７】電子文書データを閲覧・検索するアプリケーションの画面表示例である。
【図１８】本発明の実施例３におけるパラメータ記述生成処理を説明するフローチャートである。
【図１９】本発明の実施例３における処理結果例を示す図である。
【図２０】本発明の実施例４におけるパラメータ記述生成処理を説明するフローチャートである。
【図２１】本発明の実施例４における処理結果例を示す図である。
【図２２】本発明の実施例５における図４のベクトル変換処理部４０２の処理を説明するフローチャートである。
【図２３】本発明の実施例５における処理結果例を示す図である。
【図２４】本発明の実施例６におけるベクトル変換処理部の処理を説明するフローチャートである。
【図２５】本発明の実施例６におけるベクトル変換処理部の処理を説明するフローチャートである。
【図２６】本発明の実施例６における処理結果例を示す図である。
【図２７】本発明の実施例７におけるユーザインタフェース（ＵＩ）画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
（実施例１）
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１６】
［画像処理システムの構成］
図１は本実施例の画像処理システムの構成を示すブロック図である。
【００１７】
図１において、オフィスＡ内に構築されたＬＡＮ１０２には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００が接続されている。ＬＡＮ１０２は、プロキシサーバ１０３を介して外部ネットワーク１０４にも接続されている。クライアントＰＣ１０１はＬＡＮ１０２を介してＭＦＰ１００からの送信データを受信したり、ＭＦＰ１００が有する機能を利用したりする。例えば、クライアントＰＣ１０１は、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷することもできる。尚、図１の構成は一例であり、オフィスＡと同様の構成要素を有する、複数のオフィスがネットワーク１０４上に接続されていても良い。また、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でも良い。また、クライアントＰＣ１０１、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等である。
【００１８】
図２は本実施例の画像処理装置であるＭＦＰ１００の詳細構成を示す図である。
ＭＦＰ１００は、画像入力デバイスであるスキャナ部２０１と、画像出力デバイスであるプリンタ部２０２と、ＣＰＵ２０５等で構成される制御ユニット２０４と、ユーザインタフェースである操作部２０３等を有する。制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続し、一方では、ＬＡＮ２１９や一般の電話回線網である公衆回線（ＷＡＮ）２２０と接続することで、画像情報やデバイス情報の入出力を行うコントローラである。ＣＰＵ２０５は、制御ユニット２０４に含まれる各ユニットを制御する。ＲＡＭ２０６はＣＰＵ２０５が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。記憶部２１１はハードディスクドライブで、システム制御ソフトウェア、画像データを格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインターフェース部で、操作部２０３に表示するための画像データを操作部２０３に対して出力する。また、操作部Ｉ／Ｆ２０７は操作部２０３から本画像処理装置の使用者が入力した情報を、ＣＰＵ２０５に伝える役割をする。ネットワークＩ／Ｆ２０８は本画像処理装置をＬＡＮ２１９に接続し、パケット形式の情報の入出力を行う。モデム２０９は本画像処理装置をＷＡＮ２２０に接続し、データの復調・変調を行うことにより情報の入出力を行う。以上のデバイスがシステムバス２２１上に配置される。
【００１９】
イメージバスＩ／Ｆ２１２はシステムバス２２１と画像データを高速で転送する画像バス２２２とを接続し、データ構造を変換するバスブリッジである。画像バス２２２は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。画像バス２２２上には以下のデバイスが配置される。ラスターイメージプロセッサ（ＲＩＰ）２１３はＰＤＬ（ページ記述言語）コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。この展開をする際には、各画素単位あるいは又は各領域単位に属性情報が付加されることになる。これを像域判定処理と呼ぶ。像域判定処理により、画素毎にあるいは領域毎に、文字（テキスト）、線（ライン）、グラフィクス、イメージ等といったオブジェクトの種類を示す属性情報が付加される。例えば、ＰＤＬコード内のＰＤＬ記述のオブジェクトの種類に応じて、ＲＩＰ２１３から像域信号が出力され、その信号値で示される属性に応じた属性情報が、オブジェクトに対応する画素や領域に関連づけて保存される。したがって画像データには、関連づけられた属性情報が付属している。デバイスＩ／Ｆ２１４は、信号線２２３を介して画像入力デバイスであるスキャナ部２０１を、信号線２２４を介して画像出力デバイスであるプリンタ部２０２を、それぞれ制御ユニット２０４に接続する。デバイスＩ／Ｆ２１４は、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部２１５は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部２１６は、プリンタ部２０２に出力すべきプリント出力画像データに対して、プリンタ部２０２に応じた補正、解像度変換等を行う。画像回転部２１７は入力された画像データが正立するように回転を行い出力する。データ処理部２１８については後述する。
【００２０】
［処理部の構成］
次に、図３を用いて、図２のデータ処理部２１８の詳細説明を行う。データ処理部２１８は、領域分割部（領域抽出部）３０１、属性情報付加部３０２、文字認識部３０３、メタデータ処理部３０４、及びフォーマット変換部３０５を備えて構成される。データ処理部２１８は、スキャナ部２０１でスキャンしたイメージデータ３００を入力し、各処理部３０１〜３０５で処理を行うことにより、電子文書データ３１０を生成して出力する。すなわち、データ処理部２１８は、文書生成を行う。
【００２１】
領域分割部３０１には、図２のスキャナ部２０１でスキャンされたイメージデータ、あるいは記憶部２１１に保存されているイメージデータ（文書画像）が入力される。そして、領域分割部３０１は、入力されたイメージデータから文字、写真、図、表等ページ内に配置されたオブジェクトの領域（オブジェクト領域）を抽出するために、データ中の画素の抽出・グループ化等の処理を行う。さらに領域分割部３０１は、オブジェクト領域の属性情報及びサイズ、並びにオブジェクト領域の近傍に他のオブジェクトが存在するか否かなどの情報を抽出し、当該情報を領域情報として記憶部２１１に保存する。
【００２２】
この際の領域抽出方法（オブジェクト抽出方法、領域分割方法）としては公知の方法を用いればよい。一例を説明すると、まず、入力画像を２値化して２値画像を生成し、２値画像を低解像度化して間引き画像（縮小画像）を作成する。例えば、１／（Ｍ×Ｎ）の間引き画像を作成する際には、２値画像をＭ×Ｎ画素毎に分割し、Ｍ×Ｎ画素内に黒画素が存在すれば縮小後の対応する画素を黒画素とし、存在しなければ白画素とすることにより、間引き画像を作成する。次に、間引き画像において黒画素が連結する部分（連結黒画素）を抽出して当該連結黒画素に外接する矩形を作成していく。文字画像サイズに近い矩形（１文字の矩形）が並んでいる場合や、縦横のどちらかが文字画像サイズに近い矩形（数文字が繋がった連結黒画素の矩形）で短辺の近くに同様の矩形が並んでいる場合は、１つの文字行を構成している文字画像である可能性が高い。この場合は矩形同士を結合して、１つの文字行を表す矩形を得る。そして、１つの文字行を表す矩形の短辺の長さがほぼ同じで、列方向にほぼ等間隔に並んでいる矩形の集合は、本文部である可能性が高いので結合して本文領域を抽出する。また、写真領域や図領域や表領域は、文字画像よりも大きいサイズの連結黒画素により抽出される。その結果、例えば、図５（ａ）の５０１から５０５に示す領域が抽出されることとなる。なお、各領域の属性は、後述するように、そのサイズや縦横比や黒画素密度や、連結黒画素内部に含まれる白画素の輪郭追跡結果等に基づいて判断される。
【００２３】
属性情報付加部３０２は、領域分割部３０１で分割された領域毎に属性を付加する。図５（ａ）に示されたイメージを入力イメージデータの例として処理動作を説明する。領域５０５は、その領域内の文字列が所定の量の文字数や行数を有し、文字列が段落の形態を有するなど、総合的な点から本文であると判定され、『本文』の属性が付加される。残りの領域については、まず、属性情報付加部３０２は、文字画像サイズに近い矩形が含まれている領域か否かを判断する。特に、文字画像が含まれている領域は、領域内で文字画像の矩形が周期的に現れる。そのため、矩形が現れる周期性の有無により領域内に文字が含まれている領域であるか否かを判断することができる。その結果、領域５０１及び領域５０４は文字が含まれる領域としてこれらの領域のメタデータに『文字領域』の属性を付加する。ただし、これらの領域は、所定の量の文字数及び行数を有さず、文字列が段落の形態を持たないなどの点から、『本文』の属性は付加されないことになる。
【００２４】
一方、それ以外の領域については、領域の大きさが非常に小さければ『ノイズ』と判定する。また、画素密度が小さい連結黒画素について、その内部の白画素輪郭追跡を行ったときに、その白画素輪郭の外接矩形が整然と並んでいる場合は当該領域を『表』と判断し、整然と並んでいない場合は『線画』と判断する。それ以外の画素密度の高いものは絵や写真であるとして『写真』の属性を付加する。
【００２５】
更に、本文でないと判断された文字領域が、『表』、『線画』又は『写真』の近傍（領域の上または下）に存在する場合、当該文字領域は、当該『表』、『線画』又は『写真』の領域を説明する文字領域であると判断され、『キャプション』の属性が付加される。尚、『キャプション』の属性が付加された領域は、そのキャプションにより説明されている『表』、『線画』又は『写真』の領域を特定できるように、当該説明されている領域と関連付けて記憶部２１１などの記憶手段に保存される。
【００２６】
また、本文でないと判断された文字領域が、本文部の文字画像より大きく、本文部の段組とは異なる位置にあれば、当該文字領域に『見出し』の属性を付加する。また、当該文字領域が、本文部の文字画像より大きく、本文部の段組の上部に存在すれば、属性を『小見出し』とする。更に、当該文字領域が、本文部の文字画像のサイズ以下の文字画像であり、原稿の下端部や上端部に存在すれば『ページ』（又は、「ページヘッダ」若しくは「ページフッタ」）の属性が付加される。また、文字領域として判断されたが、『本文』、『見出し』、『小見出し』、『キャプション』、又は『ページ』のどれにも当てはまらなかった場合、『文字』の属性が付加される。
【００２７】
以上のような属性情報付加処理を行うと、図５（ａ）の例では、領域５０１には『見出し』、領域５０２には『表』、領域５０３には『写真』、領域５０４には領域５０３に付随する『キャプション』、領域５０５には『本文』の属性が付加されることとなる。
【００２８】
文字認識部３０３は、文字画像を含む領域（『文字』、『本文』、『見出し』、『小見出し』、又は『キャプション』領域）について、公知の文字認識処理を実行する。文字認識部３０３は、文字認識処理によって得られた文字コード列を文字情報として対象領域と関連付けて記憶部２１１に保存する。
【００２９】
領域分割部３０１、属性情報付加部３０２、及び文字認識部３０３における処理により抽出された、領域の位置や大きさや領域属性の情報、ページの情報、及び文字認識結果の文字情報（文字コード情報）等は、記憶部２１１に保存される。図５（ｂ）は、図５（ａ）の入力イメージデータに対して処理を行った場合に記憶部２１１に保存される情報の例を示す。なお、図５（ａ）の説明および図５（ｂ）に示された例では省略されているが、表内の文字画像の領域に関しては、『表内文字』の属性を付加して文字認識処理を行って、図５（ｂ）のように情報を保存しておくのが望ましい。
【００３０】
メタデータ処理部３０４は、属性情報付加部３０２で検出されたキャプションが付随するオブジェクト（『写真』、『線画』、『表』等のオブジェクト）に対し、当該オブジェクトを検索するための情報としてメタデータを関連づけて記憶部２１１に保存する。
【００３１】
本実施例では、当該オブジェクトのキャプションに記載されている文字列と、当該キャプションに含まれる文字（単語）と同じ文字（単語）が記載されている本文中の文章とが、オブジェクト検索用のメタデータの中で関連付けられる。
【００３２】
また、本実施例では、オブジェクト検索用のメタデータとして使用する文字列を決定するために、キャプション用識別子を用いるものとする。当該識別子は、キャプションが付随するオブジェクトと、キャプションおよび本文の文字情報とを対応づけるためのものである。キャプション用識別子として、オブジェクトを識別するためのＩＤ（識別情報）、キャプションや本文の文字情報の格納位置を指定する位置情報（記録位置を示すアドレスやポインタ）、参照情報（例えばＸＭＬＰａｔｈやＵＲＬ）等を用いることが可能である。本実施例では、１ページまたは複数ページを入力とする一連の処理において、キャプション付きのオブジェクトを一意に識別するためのＩＤを用いるものとし、例えば、通し番号のようなものを使用することとする。
【００３３】
そこで、まず、メタデータ処理部３０４では、属性情報付加部３０２で検出されたキャプションが付随するオブジェクトに対して、それらを一意に特定する為のキャプション識別子を作成し、この識別子を当該オブジェクトに付与する処理を行う。
【００３４】
次に、文字認識部３０３が出力したキャプションおよび本文の文字情報から、オブジェクトに対する説明文、キーワード等に相当するメタデータ文字列を抽出して、これに対して、対応するキャプション識別子を関連付けて記憶部２１１に保管する処理を行う。この際に、キャプションが付随するオブジェクトとメタデータ文字列の組み合わせに対して、その対応がわかるようにユニークなＩＤを付加することで、その対応を表現する。
【００３５】
これにより、メタデータ処理部３０４は、属性情報付加部３０２で検出されたキャプションが付随するオブジェクトに対し、そのメタデータを関係づけて、当該関係づけた情報を記憶部２１１に保管する。
【００３６】
フォーマット変換部３０５は、領域分割部３０１、属性情報付加部３０２、文字認識部３０３、及びメタデータ処理部３０４から得られた情報を用いて、入力されたイメージデータ３００を所定の電子文書フォーマットへ変換する。当該電子文書フォーマットとして、例えば、ＰＤＦ、ＳＶＧ，ＸＰＳ、ＯｆｆｉｃｅＯｐｅｎＸＭＬ等が考えられる。フォーマット変換で生成される電子文書は、グラフィックス等によるページ表示情報（表示用画像等）と、文字等の意味記述による内容情報（メタデータ等）を含む。
【００３７】
図４はフォーマット変換部３０５の構成例を示すブロック図である。画像フィルタ処理部４０１は入力された画像データに対して、平坦化やスムージング、エッジ強調、色量子化、２値化等のフィルタ処理を施す。ベクトル変換処理部４０２は、画像データ（例えば、『線画』属性が付与された領域に対応する部分の画像）をベクトルパス記述のグラフィックスデータ（ベクトルデータ）へと変換する。ベクトルデータへ変換する技術は公知のベクトル化技術を用いることが可能である。画像切り出し処理部４０３は、画像データ（例えば、『写真』属性が付与された領域に対応する部分の画像）を、画像パーツのグラフィックスデータ（例えばＪＰＥＧデータ）として切り出す。電子文書記述生成部４０４は、オブジェクト検索時に、検索結果を特定・強調する際に表示される枠などのグラフィックス記述（ベクトルパス記述）を生成する。電子文書記述出力部４０５は、グラフィックスデータ、意味記述、及び枠のベクトルパス記述を所定フォーマット形式で記述し、電子文書を生成する。ここで、グラフィックスデータは、ベクトル変換処理部４０２および画像切り出し処理部４０３から出力されるデータである。意味記述は、文字認識部３０３やメタデータ処理部３０４で得た文字情報やメタデータ等である。枠のベクトルパス記述は、電子文書記述生成部４０４で生成される記述である。フォーマット変換制御部４０６は、図２の記憶部２１１に保管されている領域情報（位置、大きさ、属性）４１１、領域内の文字情報４１２、及びメタデータ４１３に基づいて、イメージデータ３００中の各領域を適切な処理部４０１〜４０５へと配分する。そして、フォーマット変換制御部４０６は、各処理部４０１〜４０４から出力されたデータが電子文書記述出力部４０５で統合されるように、フォーマット変換部３０５全体の制御を行う。
【００３８】
以下に４０１〜４０５の各処理部の処理内容例について説明する。
画像フィルタ処理部４０１は、画像に対して、平坦化、スムージング、エッジ強調、色量子化、２値化等の公知の画像フィルタ処理を施す処理部であり、ベクトル変換処理部４０２や画像切り出し処理部４０３で処理を行う際に、必要に応じて画像処理を行う。具体的な説明は省略するが、ベクトル変換処理を行う際に適した画像処理や、画像切り出し処理を行う際に適した画像処理が行われるものとする。
【００３９】
ベクトル変換処理部４０２は、線画や表罫線等の画像領域の対象画素集合を、ベクトルパス描画関数によるグラフィックス描画表現、すなわちベクトルパス記述データへと変換する。
【００４０】
ベクトル変換処理の一例を説明する。まず変換対象の画像を２値画像データに変換する。例えば、変換対象の画像がグレースケール画像の場合は、画像フィルタ処理部４０１を用いて各画素の輝度を所定しきい値と比較して２値化することによって２値画像データを得る処理を行う。なお、変換対象の画像が複数色を含む場合は、色成分毎に分解して色毎の２値画像データを生成するようにしてもよい。次に２値画像データ内で連結する黒画素集合に対して輪郭追跡を行って、集合毎に輪郭の座標点列を取得する。続いて輪郭の座標点列を複数の区間に適応的に分割し、各々の区間を直線関数や曲線関数で近似する。曲線関数の例としてはスプライン曲線、ベジェ曲線等がある。最終的に、始点、直線および曲線、終端の１組からなるベクトルパス記述へと変換する。
【００４１】
なお、ベクトル化手法は上記手法に限るものではなく、他の公知のベクトル化手法を用いてもよい。例えば、輪郭を関数近似する代わりに、線図形の芯線を関数近似するベクトル化手法も良く知られている。
【００４２】
画像切り出し処理部４０３は、入力画像中の対象領域に対し、領域内の画素データのみを用いた個別の画像パーツデータを生成する。本処理の際に、領域の特性にあわせて画素データ種別や圧縮方法を変更してもよい。例えば『線画』や『文字』属性の領域に対しては、画像フィルタ処理部４０１を用いて色毎に２値画像（１枚または複数枚の２値画像）へ変換した後に、ＭＭＲ等公知の２値圧縮方式でデータ化するともに、各２値画像に対応する色情報を付加したデータを生成する。一方、『写真』属性の領域に対しては、自然画の圧縮に適したＪＰＥＧやＪＰＥＧ２０００方式を用いて圧縮する。
【００４３】
なお、ベクトル変換処理部４０２によるベクトル変換と、画像切り出し処理部４０３による画像圧縮は、領域の属性に応じて、どちらか一方を行うように設定してもよいし、両方を行うように設定してもよい。また、本文や見だしやキャプション等の文字領域に関しては、文字認識結果の類似度が高ければ、当該文字認識結果の文字コード、文字のサイズ情報、及び文字の位置情報等を記述し、当該文字領域部分のグラフィックスを再現するようにしてもよい。
【００４４】
電子文書記述生成部４０４では、電子文書の閲覧時には表示されないが、オブジェクト検索時に、検索結果を特定・強調する際に表示される枠などのグラフィックス記述（ベクトルパス記述）を生成する。その際、該オブジェクトの属性やサイズ、他オブジェクトとの関係性などを解析し、当該オブジェクトに最適な強調表示用の枠を生成する方法を決定する。枠の生成方法としては、当該オブジェクトのベクトルパス記述を参照する方法と、予め定義された既定形状（例えば、矩形や円形等）のベクトルパス記述を参照する方法がある。また、透明枠に対し、オブジェクトの検索結果の認識・識別効率を高めるための補足形状のベクトルパス記述を電子文書に追加することも可能である。当該補足形状の例は、透明枠の位置を指し示す矢印表記や、メタデータ文字列などである。
【００４５】
電子文書記述出力部４０５は、グラフィックスデータ、意味記述、及び透明枠のベクトルパス記述を所定フォーマット形式で記述し、電子文書を生成する。ここで、グラフィックスデータは、ベクトル変換処理部４０２及び画像切り出し処理部４０３から出力されたデータである。意味記述は、文字認識部３０３やメタデータ処理部３０４で得た文字情報やメタデータ等である。透明枠のベクトルパス記述は、電子文書記述生成部４０４で生成された記述である。
【００４６】
生成される電子文書データ３１０の例を図６に示す。図６の例は、図５（ａ）のイメージデータ５００の例を処理した場合に、記憶部２１１に保存された図５（ｂ）のようなデータに基づいて、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）フォーマットで記述を行った場合の例を示す。図６の記述６０１〜６０５は、それぞれ図５（ａ）の領域５０１〜５０５に対するグラフィックス記述である。ここで、記述６０１、６０４および６０５は文字コードによる文字描画記述の例である。記述６０２はベクトル変換された表の枠のベクトルパス記述である。記述６０３は切り出し処理された写真画像を貼り付ける記述の例である。また、記述６０６は写真オブジェクト５０３に対する強調表示用の透明枠（詳細は後述する）のベクトルパス記述である。キャプションが付随する透明枠オブジェクト６０６には、キャプション識別子（ｃａｐｔｉｏｎ＿ｉｄ）６０８として‘‘１’’が付与されている。なお、図５（ｂ）と図６の例で、座標値Ｘ１、Ｙ１等記号で記述されている部分は実際には数値である。また、記述６０７はメタデータの記述例である。メタデータの記述６０７には、キャプション６０４の文字列と本文の文字列とに基づいて抽出した文字列６１０として「ＡＡＡ」が記述され、キャプション識別子６０８と同じ識別子６０９が関連づけられている。なお、図６の例では、単語「図１」を含む本文の個所「・・・図１は、ＡＡＡである。・・・」という文章から、単語「ＡＡＡ」を抽出してメタデータ６１０としたが、単語に限るものではなく、文章（例えば「図１」を含む１文）をそのままメタデータとして付与してもよい。また、図６の例では、本文から抽出した文字列をメタデータとしているが、これに限るものではなく、キャプションの文字列から抽出した単語をメタデータとして更に追加するように構成してもよい。
【００４７】
なお、ここではＳＶＧを例として説明したが、出力フォーマットはＳＶＧに限定されるものではなく、ＰＤＦ、ＸＰＳ、Ｏｆｆｉｃｅ Ｏｐｅｎ ＸＭＬ、その他のＰＤＬ系のデータ形式等に変換してもよい。
【００４８】
フォーマット変換制御部４０６における変換処理制御の例について以下に説明する。
【００４９】
フォーマット変換部３０５において、各領域に施すべき変換処理内容は、領域の属性によって異なる。例えば、ベクトル変換処理は文字や線画のように白黒あるいは数色で構成された図形に対しては好適であるが、写真のように階調性のある画像領域には不適である。このように、各領域の属性に従った適切な変換を行うためには、図７のような対応テーブルをあらかじめ設定しておけばよい。
【００５０】
例えば、図７（ａ）の設定に従えば、『文字』、『線画』および『表』属性の領域に対してはベクトル変換処理が、『写真』属性の領域に対しては画像切り出し処理が行われる。
【００５１】
さらに、図７の対応テーブルには、該当領域の画素情報をイメージデータ３００から消去する処理の有無が記載されている。例えば、図７（ａ）の設定に従って『文字』属性の領域をベクトルパス記述データに変換する場合を説明する。『文字』属性は、消去処理「あり」と指示されているので、イメージデータ３００上において、当該変換されたベクトルパスに覆われる部分に対応する画素をその周辺色で塗りつぶす処理を行う。同様に、『写真』属性の領域を矩形の画像パーツとして切り出す際には、イメージデータ３００上において、当該切り出された領域に対応する領域範囲内を、その周辺色等で塗りつぶす処理を行う。
【００５２】
このような消去処理を行う目的としては、各領域に対する処理が終了した後（塗りつぶし処理終了後）のイメージデータ３００を『背景』の画像パーツデータとして利用できることである。この背景用の画像データ（背景画像）には、領域分割処理で抽出された領域以外の部分（例えばイメージデータ３００中の下地にあたるような画素）が残っている。電子文書データ記述の際には、ベクトル変換処理部４０２や画像切り出し処理部４０３で得られたグラフィックスデータ（前景画像）を背景画像パーツデータ（背景画像）の上に重畳して表示するような記述を行う。これにより、背景画素（下地の色）の情報欠落がなくなり、かつ冗長性のないグラフィックスデータを構成することが可能となる。
【００５３】
図７（ｂ）は対応テーブルの別の例である。図７（ｂ）に従えば、『文字』領域部分に対しては、２値による画像切り出し処理と、イメージデータ３００からの画素消去処理が行われるが、それ以外の属性の領域に対しては、ベクトル化処理や画像切り出し処理は行われない。すなわち、処理対象外の画素（『写真』や『線画』や『表』属性の領域内の画素情報）は、背景画像パーツデータ内に残っており、この背景画像上に『文字』の画像パーツを重畳するように記述される。
【００５４】
また、図７（ｃ）、図７（ｄ）は別の対応テーブルの例であるが、これらの詳細な説明は後述する。
【００５５】
なお、図７（ａ）〜（ｄ）のような対応テーブルを予め複数用意しておき、出力電子文書データの用途（使用目的）や文書の内容に応じて選択するようにしても良い。例えば、図７（ａ）の対応テーブルに基づいた出力は、オブジェクトの大半がベクトルパス記述へと変換されているため、拡大縮小時の画質に優れているので、グラフィックエディタ等の再利用用途に好適である。また、図７（ｂ）の対応テーブルは、文字画像を文字色ごとに個別の２値画像を生成して可逆圧縮することで、文字画像部分は高品位に再生することができ、かつ、それ以外を背景画像としてＪＰＥＧ圧縮することでデータサイズの圧縮率を高くすることができる。したがって、図７（ｂ）の場合は、圧縮率を高くしつつ文字画像が読みやすいデータを作成したい場合に適している。
【００５６】
［処理のフロー］
次に、本実施例の画像処理システムで実行する処理全体の概要を、図８のフローチャートを用いて説明する。図８に示すフローチャートは、図２のデータ処理部２１８（図３の各処理部３０１〜３０５）によって実行されるものとする。なお、本実施形態では、ＣＰＵ２０５が記憶部２１１に格納されたコンピュータプログラムを読み取り実行することによって、データ処理部２１８（図３の各処理部３０１〜３０５）として機能するものとするが、これに限るものではない。例えば、データ処理部２１８（図３の各処理部３０１〜３０５）を、電子回路等のハードウェアで実現するように構成してもよい。
【００５７】
図８は、図１のＭＦＰ１００で入力された複数ページのイメージデータを、複数ページからなる電子文書データに変換する処理のフローチャートである。尚、複数ページのイメージデータとしては、例えば、図９（ａ）のページ画像９０１〜９０４が入力されるものとする。図９（ａ）は、４ページで構成される文書画像の一例であり、画像９０１〜９０４は順に１〜４ページとする。以下、図８のフローチャートの各説明を行う。
【００５８】
ステップＳ８０１において、領域分割部３０１は、入力された１ページ分のイメージデータから領域（オブジェクト）を分割（抽出）する。例えば、図９（ａ）のイメージデータ９０１（１ページ目）に対しては領域９０５及び９０６を抽出する。
【００５９】
ステップＳ８０２において、属性情報付加部３０２は、ステップＳ８０１で抽出された各領域に属性を付加する。図９（ａ）の１ページ目の例では、領域９０５には『写真』、領域９０６は『キャプション』の属性を付加する。尚、このキャプションの領域９０６には、付随する領域が領域９０５であるという情報も付加する。また、２ページ目の例では、領域９０７、９０８、及び９１１には『線画』の属性が、領域９０９、９１０、及び９１２には『キャプション』の属性が付加される。また、これらのキャプション９０９、９１０、及び９１２には、付随する領域がそれぞれ９０７、９０８、及び９１１であるという情報も関連付けて記憶部２１１に保存されている。
【００６０】
ステップＳ８０３において、文字認識部３０３は、ステップＳ８０２で文字（本文、キャプション、見出し、小見出し等）の属性を付加した領域に対して文字認識処理を実行し、その結果を文字情報として対象領域に関連付けて保持する。１ページ目の例では、文字である『キャプション』属性が付加された領域９０６に対して文字認識処理を行って、文字情報『図１』が得られ、領域９０６に関連付けを行う。
【００６１】
ステップＳ８０４において、データ処理部２１８は、ステップＳ８０１〜Ｓ８０３の情報抽出処理を全てのページに対して行った否かを判断する。全てのページを処理していればステップＳ８０５へ進む。未処理のページがあればステップＳ８０１から繰り返す。
【００６２】
図９（ａ）の画像９０１〜９０４に対して、ステップＳ８０１〜Ｓ８０４の処理を行った結果として、抽出される領域の位置や大きさ等の情報、ページの情報、領域の属性、及び領域の文字情報の例を図９（ｂ）に示す。また、領域９１３〜９１５はそれぞれ２〜４ページ目から抽出された『本文』属性の領域である。これらの情報は記憶部２１１に保存されている。
【００６３】
ステップＳ８０５において、メタデータ処理部３０４は、メタデータ抽出処理およびメタデータ付与処理を行う。ステップＳ８０５でメタデータ処理部３０４が実行する処理の詳細については、図１０のフローチャートを用いて説明する。
【００６４】
図１０のステップＳ１００１において、メタデータ処理部３０４は、記憶部２１１に保存された領域情報において、『キャプション』属性が付与された領域のうち、本メタデータ処理が行われていないものを一つ選出する。すなわち、未処理のキャプション領域があれば、当該未処理キャプション領域を処理対象として選択してステップＳ１００２に進む。キャプション領域が存在しないか、すべて処理済みであった場合にはメタデータ処理を終了する。図９（ａ）の画像９０１〜９０４を入力とした場合、キャプション領域９０６が最初に選出され、９０９，９１０，９１２と続いて選択される。
【００６５】
ステップＳ１００２において、メタデータ処理部３０４は、当該処理対象のキャプションが付随するオブジェクトに対してキャプション識別子を付与し、さらに記憶部２１１に当該付与したキャプション識別子用のメタデータ記憶領域を確保する。ここではキャプション９０６が付随する写真オブジェクト９０５に対し、キャプション識別子「１」が付与され、記憶部２１１に当該キャプション識別子「１」用のメタデータ記憶領域が確保されるものとする。
【００６６】
ステップＳ１００３において、メタデータ処理部３０４は、キャプション領域内の文字認識情報から、アンカー文字列およびメタデータ文字列を抽出する。アンカー文字列とは、元の文書中でこのキャプションが付随するオブジェクトを識別するための文字情報である。メタデータ文字列とは、オブジェクトを説明するための文字情報である。オブジェクトに付随するキャプションには、アンカー文字列のみが記載される場合、メタデータ文字列のみが記載される場合、さらに両方が記載される場合がある。例えば、アンカー文字列は「図」や「Ｆｉｇ」等、特定の文字列と、番号や記号との組み合わせ表現された図番号である場合が多い。そこで、それら特定の文字列を登録したアンカー文字列用辞書を予め用意しておき、キャプション文字列を該辞書と比較してアンカー部分（アンカー文字列＋数記号）を特定すればよい。そして、キャプション領域の文字列のうち、アンカー部分以外の文字列をメタデータ文字列として判断すればよい。例えば、「図１カメラ」というキャプションの場合には、「図１」がアンカー文字列にあたり、「カメラ」がメタデータ文字列に当たる。
【００６７】
ステップＳ１００４において、メタデータ処理部３０４は、ステップＳ１００３でキャプション領域からメタデータ文字列が抽出されたか否かを判断する。メタデータ文字列が抽出された場合はステップＳ１００５に進み、メタデータ文字列が抽出されなかった場合はステップＳ１００６に進む。
【００６８】
ステップＳ１００５において、メタデータ処理部３０４は、キャプション領域から抽出されたメタデータ文字列を、ステップＳ１００２で付与されたキャプション識別子用の記憶領域に保存し、ステップＳ１００６に進む。すなわち、キャプション領域から抽出されたメタデータ文字列を当該キャプション識別子と関連付ける。
【００６９】
ステップＳ１００６において、メタデータ処理部３０４は、ステップＳ１００３でキャプション領域からアンカー文字列が抽出されたか否かを判断し、アンカー文字列が抽出された場合はステップＳ１００７に進む。一方、アンカー文字列が抽出されなかった場合はステップＳ１００１に戻って、未処理のキャプション領域があるかどうか判断する。
【００７０】
図９（ａ）の入力例の１ページ目９０１では、キャプション領域９０６からはアンカー文字列として「図１」が抽出されるがメタデータ文字列は抽出されないのでステップＳ１００４からＳ１００６、Ｓ１００７へと進む。
【００７１】
ステップＳ１００７において、メタデータ処理部３０４は、当該抽出されたアンカー文字列と同等の文字列表現を、記憶部２１１に格納された『本文』領域の文字情報から検出する。同等の文字列表現を検出した場合は、ステップＳ１００８に進む。検出されなかった場合はステップＳ１００１に戻って未処理のキャプション領域があるかどうか判断する。
【００７２】
ステップＳ１００８において、メタデータ処理部３０４は、ステップＳ１００７で本文から検出された文字列表現の周辺から、オブジェクトのメタデータに相当する文字列を抽出する。図９（ａ）の入力例では、本文領域９１５から、アンカー文字列「図１」９０６と同じ文字列９１６が検出されるので、その周辺の文字列「図１のカメラで撮影した。」に形態素解析等を行い、単語「カメラ」がメタデータ文字列として抽出される。このメタデータ文字列の判断には自然言語処理の形態素解析等で単語切り機能を用いればよい。なお、本実施形態では単語を抽出してメタデータ文字列とする例を示したが、これに限るものではなく、例えば、アンカー文字列を含む１文をそのままメタデータ文字列として用いるようにしても構わない。
【００７３】
ステップＳ１００９では、メタデータ処理部３０４は、ステップＳ１００８で抽出したメタデータ文字列を、前記キャプション識別子用の記憶領域に追加保存する。すなわち、本文から抽出されたメタデータ文字列をキャプション識別子と関連付ける。そしてＳ１００７に戻って、本文の別の部分に同様のアンカー文字列の記述があるかどうか繰り返し、あれば順次追加保存していく。したがって、１つのキャプション識別子に対して、複数のメタデータ文字列が関連づけられる場合もある。
【００７４】
図８に戻って、ステップＳ８０６において、フォーマット変換部３０５は、イメージデータ３００および、記憶部２１１に保存された図９（ｂ）に示すような情報に基づいて、電子文書データ３１０への変換を行う。なお、図４で説明したように、フォーマット変換部３０５は、フォーマット変換制御部４０６の制御により、各領域に施すべき変換処理方法を記した対応テーブルに従って、図８のイメージデータ３００内の領域に対してフォーマット変換処理を実行する。ここでは、図７（ｃ）の対応テーブルを用いて変換を制御する際のフォーマット変換処理のフローを、図１１のフローチャートを用いて説明する。
【００７５】
図１１のステップＳ１１０１において、フォーマット変換制御部４０６は、処理ページ番号のカウンタｎを１で初期化する。
【００７６】
ステップＳ１１０２において、フォーマット変換制御部４０６は、図４の領域情報４１１中のｎページ目のデータの中から、未処理の領域のうちの一つを処理対象領域として選出する。
【００７７】
ステップＳ１１０３において、フォーマット変換制御部４０６は、当該処理対象領域の属性と対応テーブルと照らし合わせて属性毎に処理を分岐する。本例では、図７（ｃ）の対応テーブルを用いて判断するので、文字か否かの判断が行われる。すなわち、属性が文字（『本文』、『キャプション』、『ページ』、又は『見出し』）の場合はステップＳ１１０４に進み、属性が『写真』、『線画』、又は『表』の場合はステップＳ１１０６に進む。
【００７８】
ステップＳ１１０４において、図７（ｃ）の対応テーブルの設定に従って、画像切り出し処理部４０３が、イメージデータ３００中の当該処理対象の『文字』属性領域に対応する部分の２値画像（２値画像パーツ）を作成する。作成された２値画像パーツは、例えばＰＮＧフォーマット等で圧縮されて図２の記憶部２１１に保存される。なお、この２値画像パーツ中の文字線に相当する画素には、別途イメージデータ３００中の該当文字画素の色より取得された文字色情報が付与され、それ以外の画素には透明色が付与される。
【００７９】
ステップＳ１１０５において、図７（ｃ）には文字領域の消去処理指示が設定されているため、フォーマット変換制御部４０６は、図４のイメージデータ３００中の文字部分に対応する画素を周囲の画素色で塗りつぶす消去処理を行う。
【００８０】
一方、ステップＳ１１０３で、『写真』、『線画』、又は『表』と判定された領域に対し、ステップＳ１１０６では、フォーマット変換制御部４０６が、当該処理対象領域にキャプション識別子が付与されているか否かを調べる。付与されていればステップＳ１１０７へ進み、付与されていなければステップＳ１１１０に進む。
【００８１】
ステップＳ１１０７において、図４の画像切り出し処理部４０３とベクトル変換処理部４０２が、図７（ｃ）の対応テーブルの設定に従って、グラフィックス記述生成を行う。すなわち、『写真』属性が付与された領域に対しては、画像切り出しによる画像パーツ記述が生成され、『線画』又は『表』属性が付与された領域に対しては、ベクトル変換によるベクトルパス記述が生成される。
【００８２】
ステップＳ１１０８において、図７（ｃ）の対応テーブルの設定に従って、フォーマット変換制御部４０６が、図４のイメージデータ３００中の『写真』、『線画』、又は『表』に対応する画素情報を、周囲の画素色で塗りつぶす消去処理を行う。
【００８３】
ステップＳ１１０９において、フォーマット変換制御部４０６は、図７（ｃ）の対応テーブルの設定に従って、電子文書記述生成部４０４に、当該処理対象領域を囲む枠に相当するベクトルパス記述データを生成させる。更に、ステップＳ１１０９では、当該生成した枠のベクトルパス記述データに対して、当該処理対象領域のキャプション識別子を付与し、その枠のベクトルパス記述データの描画色として透明色を割りあてるものとする。このようにして生成されたベクトルパス記述データは、図２の記憶部２１１に保存される。ステップＳ１１０９で電子文書記述生成部４０４が実行する透明枠のベクトルパス記述データ生成処理の詳細については、図１２のフローチャートを用いて説明する。
【００８４】
図１２のステップＳ１２０１において、電子文書記述生成部４０４は、当該処理対象のキャプションが付随するオブジェクトについての情報である領域情報を取得する。領域情報としては、例えば、領域の位置や大きさ、領域の属性、隣接オブジェクト情報等である。これらの情報は記憶部２１１に保存されている。
【００８５】
ステップＳ１２０２において、電子文書記述生成部４０４は、当該処理対象領域がベクトルパス記述で表現されているかどうかを判定する。ベクトルパス記述で表現されている場合（例えば、『線画』又は『表』属性が付与された領域の場合）、ステップＳ１２０３へ進み、ベクトルパス記述以外の場合（例えば、『写真』属性が付与された領域の場合）、ステップＳ１２０６へ進む。例えば、図９（ａ）のページ画像９０１〜９０４を入力文書とした場合を説明する。『線画』属性が付与されているオブジェクト９０７，９０８，及び９１１に対する処理のときはステップＳ１２０３へ進み、『写真』属性が付与されたオブジェクト９０５に対する処理のときはステップＳ１２０６へ進む。
【００８６】
ステップＳ１２０３において、電子文書記述生成部４０４は、当該処理対象領域のサイズを所定の閾値と比較する。処理対象領域のサイズが所定の閾値より小さい場合（例えば、図９（ａ）の９１１の場合）はステップＳ１２０５に進み、所定サイズ以上のサイズの場合（例えば、図９（ａ）の９０７又は９０８の場合）はステップＳ１２０４へ進む。すなわち、処理対象領域のサイズに応じて、処理が分岐する。
【００８７】
ステップＳ１２０４において、電子文書記述生成部４０４は、処理対象領域の近傍に他のオブジェクトが存在しているかどうかを判定する。他のオブジェクトが存在している場合（例えば、図９（ａ）のオブジェクト９０７、９０８）はステップＳ１２０５に進み、存在しない場合はステップＳ１２０６に進む。すなわち、処理対象領域の近傍に他のオブジェクトが存在しているか否かに応じて処理が分岐する。
【００８８】
このように、Ｓ１２０２、Ｓ１２０３及びＳ１２０４の処理によれば、領域情報（処理対象領域の属性情報及びサイズ、及び処理対象領域の近傍に他のオブジェクトが存在するか否か）に応じて以降の処理が分岐する。当該分岐の結果、後述する透明枠のベクトルパス記述の記述方法が変更される。透明枠とは、オブジェクトを囲む透明色の枠である。
【００８９】
ステップＳ１２０５において、電子文書記述生成部４０４は、図１１のステップＳ１１０７で生成された、当該処理対象のオブジェクトのベクトルパス記述データを参照（再利用）することによって、透明枠のベクトルパス記述を生成する。透明枠のベクトルパス記述データは、オブジェクトのベクトルパス記述データへの参照命令、枠の拡大、枠の位置の移動、枠の太さ、枠の強調色等のパラメータ記述を含むデータである。このとき、枠のサイズが、当該オブジェクトのベクトルパス記述よりも数ピクセル分大きくなるように、拡大のパラメータを設定する。なお、オブジェクトのベクトルパス記述を参照する際、オブジェクトの外輪郭を表す部分のベクトルパス記述を参照するように設定するのが望ましい。すなわち、枠のベクトルパス記述データは、オブジェクトの形状に相似する形状を有し、且つ、オブジェクトのサイズよりも数ピクセル分大きいサイズで記述されることになる。透明枠のベクトルパス記述データは、当該枠を強調表示する際に点滅表示させるためのパラメータを含んでも良い。また、枠のベクトルパス記述データから枠を通常描画するときの色として、透明色を割りあてる。透明色であるため、当該枠のベクトルパス記述の描画結果は、通常の表示を行う際は、描画されたページの視認性に影響を与えない。なお、あるオブジェクトが検索結果として検出された際に、当該オブジェクトを囲む透明枠に強調色を付する、又は当該枠を太くする若しくは点滅表示等することによって、当該枠を前述のパラメータ記述に応じて強調表示することができる。当該強調表示の結果、検索により検出されたオブジェクトを検索結果として認識することができる。
【００９０】
ここで電子文書データの記述例を示す図１５を参照して、図９のオブジェクト９０７に対して生成された透明枠のベクトルパス記述の例を説明する。オブジェクト９０７のベクトルパス記述である記述１５１２には、当該記述を参照するためのＩＤ（ｖｅｃ＿ｉｍｇ１）が付与されて記述されている。透明枠のベクトルパス記述である記述１５１５は、この参照用ＩＤを参照する記述（ｕｓｅコマンド）とパラメータ記述を用いて記述されている。すなわち、透明枠のベクトルパス記述は、オブジェクトのベクトルパス記述データを参照（利用）することによって生成される。透明枠のベクトルパス記述の詳細は後述する。
【００９１】
一方、ステップＳ１２０６において、電子文書記述生成部４０４は、予め定義されている既定形状（例えば、矩形や円形、六角形等）のベクトルパス記述データを参照（利用）することによって、透明枠のベクトルパス記述データを生成する。すなわち、透明枠のベクトルパス記述データは、既定形状のベクトルパス記述データへの参照命令のパラメータ記述を含む。透明枠のベクトルパス記述は、当該処理対象のオブジェクトの外接図形よりも少し大きめ（例えば、オブジェクトの外接図形周囲に５ｐｉｘ分のスペースを空ける等）となるように記述する。枠のベクトルパス記述データの描画色として透明色を割りあてる。このように透明枠のベクトルパス記述がオブジェクトの外接図形よりも少し大きめに記述されることによって、当該枠のベクトルパス記述の描画結果を強調表示した際に、当該枠に囲まれたオブジェクトを視認しやすくなる。
【００９２】
例えば図９のオブジェクト９０５に対する透明枠のベクトルパス記述を生成する場合は、図１５の１５０５で既定形状として定義されている矩形のベクトルパス記述（参照用ＩＤ：ｆｒａｍｅ＿ｓｑｕａｒｅ）を利用する。そして、この参照用ＩＤを参照する記述（ｕｓｅコマンド）とパラメータ記述を用いて、透明枠のベクトルパス記述１５１１を生成する。透明枠のベクトルパス記述の詳細は後述する。
【００９３】
以上の処理によれば、処理対象領域の属性情報及び領域情報に応じて、透明枠のベクトルパス記述の記述方法（Ｓ１２０５又はＳ１２０６）が選択される。すなわち、領域情報等に応じた形状で透明枠のベクトルパス記述を生成する。その結果、検索の結果検出されたオブジェクトを囲む枠を強調表示した場合に、当該オブジェクトを視認しやすくすることができる。
【００９４】
なお、領域のサイズに応じて透明枠のベクトルパス記述の記述方法を変更することによって、当該領域（オブジェクト）が小さい場合であっても、どのオブジェクトが検索により検出されたしたのかを認識しやすいように枠を強調表示することができる。
【００９５】
また、領域の近傍に他のオブジェクトが存在しているか否かに応じて透明枠のベクトルパス記述の記述方法を変更するため、近傍に他のオブジェクトが存在している場合であっても、検索により検出されたオブジェクトを他のオブジェクトと誤認しにくくなる。
【００９６】
ステップＳ１２０７において、電子文書記述生成部４０４は、ステップＳ１２０５及びＳ１２０６で生成された枠（又はオブジェクト）をさらに補足的に強調させる（指し示す）ための追加の透明形状のベクトルパス記述を生成する。当該透明形状の例としては、オブジェクト位置を分かりやすく指し示すための矢印等の記述が考えられる。このとき、追加記述で必要となる矢印等の形状のベクトルパス記述を予め既定形状の一つとして記述し、透明枠のベクトルパス記述に当該ベクトルパス記述の参照を含めることができる。そして、当該枠を強調表示する際に、当該矢印等の透明形状も同様に強調表示する。透明形状を強調表示するための強調色を指定するパラメータについての記述が、当該透明形状のベクトルパス記述に含まれているのが望ましい。また、補足的強調表示を行うために、透明枠のベクトルパス記述から当該オブジェクトに付与されたメタデータ（文字コード）を参照し、当該オブジェクトを説明するための文字列を強調色で描画してもよい。
【００９７】
ステップＳ１２０８において、電子文書記述生成部４０４は、当該生成した枠のベクトルパス記述データに対して、当該処理対象領域のキャプション識別子を付与する。生成された枠のベクトルパス記述データは図２の記憶部２１１に保存される。
【００９８】
図１１に戻って、ステップＳ１１１０において、フォーマット変換制御部４０６は、ｎページ目において未処理の領域があるかを判断する。未処理領域が残っている場合は、ステップＳ１１０２に戻ってステップＳ１１０２〜Ｓ１１０９の処理を繰り返す。ｎページ目の全領域が処理済であればステップＳ１１１１に進む。
【００９９】
ステップＳ１１１１において、フォーマット変換制御部４０６は、図４のイメージデータ３００に対して、画像切り出し処理部４０３で切り出した領域の部分をその周辺色で塗りつぶす処理を行い、背景画像パーツを生成する。すなわち、ステップＳ１１０５でイメージデータ３００から画像パーツとして切り出された『文字』領域の画素（文字線に相当する画素）が、その周囲の色で塗りつぶされて消去される。Ｓ１１０８でイメージデータ３００から画像パーツとして切り出されたベクトルパス記述データとして切り出された『写真』、『線画』及び『表』領域の画素が、その周囲の色で塗りつぶされて消去される。また、それ以外の領域（例えば、下地部分等）は未処理のまま残されている。本例ではこの背景画像パーツを、更に１／２の解像度に低解像度化してからＪＰＥＧ圧縮を施した画像データに変換し、図２の記憶部２１１に保存するものとするが、スムージング等他の画像処理を施して別形式による圧縮をおこなってもよい。
【０１００】
図１３（ａ）及び（ｂ）は、図９（ａ）のイメージデータに対してステップＳ１１０１〜Ｓ１１１１の処理を行った場合に生成される画像パーツおよびベクトルパス記述データの例である。図１３（ａ）は１ページ目のイメージデータ９０１を、図１３（ｂ）は２ページ目のイメージデータ９０２を処理した結果である。符号１３０１，１３０４はステップＳ１１１１で生成される背景画像パーツの例である。背景画像パーツ１３０１，１３０４は、文字画像の部分と切り出されたオブジェクト部分が周辺色で塗りつぶされて消去されているので、それ以外のすべてを含む１枚の画像で構成されている。符号１３０２，１３０５はステップＳ１１０４で生成される文字部分の２値画像パーツ、および、ステップＳ１１０７で生成されるグラフィックス記述データの例である。文字部分の２値画像パーツに関しては、文字色の情報も別途保存しているので、文字線の部分は文字色の画素、それ以外の白い部分は透明色の画素で構成されることになる。なお、本図の画像パーツ１３０２及びグラフィックス記述１３０５の外枠にあたる破線は図示の為の便宜的なものであって、実際の画像パーツは文字部やグラフィックス記述データの部分を囲む最小の矩形範囲で構成されていてもよい。符号１３０３，１３０６は、ステップＳ１１０９（図１２の各処理）で生成される枠のベクトルパス記述データの例である。本図では枠のベクトルパス記述は便宜上黒の太線で書かれているが、実際には透明色によるベクトルパス記述であるので不可視である。また、ベクトルパス記述１３０３，１３０６の外枠にあたる破線は図示の為の便宜的なものであり実際にデータとしては存在しない。
【０１０１】
ステップＳ１１１２において、フォーマット変換制御部４０６は、電子文書記述出力部４０５に、現在処理中のページを所定のフォーマットで電子文書ページ３１０として記述する処理を行わせる。図９（ａ）の１ページ目の画像９０１に対して記述される電子文書ページの例を図１４に示す。図１４の１４００は電子文書ページをＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）フォーマットで記述した例である。電子文書ページ１４００は、背景画像データ記述１４０１、文字部分の２値画像パーツ記述１４０２、透明枠のベクトルパス記述１４０３、及びベクトルパス記述１４０４で構成される。背景画像データ記述１４０１は、図１１のステップＳ１１１１で生成された記述である。文字部分の２値画像パーツ記述１４０２は、ステップＳ１１０４で生成された記述である。透明枠のベクトルパス記述１４０３は、ステップＳ１１０９で生成された記述である。ベクトルパス記述１４０４は、図１２のステップＳ１２０６の処理の際に参照される既定形状を定義した記述である。
【０１０２】
ベクトルパス記述１４０３では、＜ｕｓｅ ｘｌｉｎｋ：ｈｒｅｆ＝“ｆｒａｍｅ＿ｓｑｕａｒｅ”＞と記述することで、後述するベクトルパス記述１４０４で定義された既定形状を参照（再利用）する。そして＜ｔｒａｎｓｆｏｒｍ＝“ｔｒａｎｓｌａｔｅ（１００，１００）ｓｃａｌｅ（２）”＞という記述により、描画位置とサイズを指定することで、透明色で描画される枠を生成している。また、ベクトルパス記述１４０４中の、＜ｉｄ＝“ｆｒａｍｅ＿ｓｑｕａｒｅ”＞は、既定形状として定義されるテンプレートのＩＤを参照するための記述であり、＜ｓｔｒｏｋｅ＝“ｔｒａｎｓｐａｒｅｎｔ”＞は、枠を透明色で描画させるための記述である。即ち、＜ｄ＝”Ｍ４４０，６０８ Ｌ２０４０，６０８ Ｌ２０４０，１８８０ Ｌ４４０，１８８０ Ｌ４４０，６０８ ｓ”＞でベクトルパス記述された形状の図形を透明色で描画することを意味している。規定形状のベクトルパス記述は、矩形に限るものではなく、円形、六角形等自由に定義することが可能であり、複数用意しておいて使い分けてもよい。記述１４０１〜１４０３はそれぞれ図１３（ａ）の符号１３０１〜１３０３に相当するグラフィックス描画記述であり、それらが記述１４０１から順番に重畳描画されるようなグラフィックスデータとして構築されている。すなわち、背景画像が一番下に描画され、その上に文字画像が描画され、更にその上に透明枠が描画されることになる。また、透明枠のベクトルパス記述（グラフィックス記述）１４０３にはキャプション識別子１４０５が付与されている。
【０１０３】
ステップＳ１１１３において、フォーマット変換制御部４０６は、処理中のページ番号ｎが最後のページ番号である全ページ数に等しいかどうか判定する。等しい場合は全ページの変換処理が終了したと判断してステップＳ１１１５へ進む。ｎの方が全ページ数より小さい場合はステップＳ１１１４に進み、ｎに１を加算し、ステップＳ１１０２に戻り次ページに対する処理を繰り返す。
【０１０４】
最後に、ステップＳ１１１５において、電子文書記述出力部４０５は、ステップＳ１１１２で記述された各ページの電子文書ページをまとめて一つにするとともに、メタデータの記述を付与して出力電子文書データ３１０を作成する。すなわち、電子文書記述出力部４０５は、先に説明した透明枠のベクトルパス記述等を含む電子文書データを生成する。
【０１０５】
図１５は出力電子文書データの記述例である。出力電子文書データ１５００において、記述１５０１〜１５０４はそれぞれ１〜４ページ目の電子文書ページ記述である。記述１５０５は透明枠用の矩形のベクトルパス記述であり、＜ｉｄ＝‘‘ｆｒａｍｅ＿ｓｑｕａｒｅ’’＞の記述により参照用ＩＤが割り当てられている。また、記述１５０６は追加記述用に定義された矢印のベクトルパス記述であり、＜ｉｄ＝‘‘ｆｒａｍｅ＿ａｒｒｏｗ’’＞の記述により参照用ＩＤが割り当てられている。記述１５０７はメタデータの記述例であり、キャプション識別子とメタデータ文字列が対応付けられて記述されている。記述１５１２〜１５１４は図１１のステップＳ１１０７で生成されたオブジェクトのベクトルパス記述である。これらのオブジェクトのベクトルパス記述には、透明枠のベクトルパス記述から参照されるＩＤが自動的に割り当てられる。例えば、オブジェクト９０７のベクトルパス記述１５１５には、＜ｉｄ＝‘‘ｖｅｃ＿ｉｍｇ１’’＞の記述により参照用ＩＤが割り当てられている。記述１５１１および記述１５１５〜１５１７は透明枠のベクトルパス記述であり、キャプション用識別子‘‘ｃａｐｔｉｏｎ＿ｉｄ’’により一意に識別される。そして、それぞれの透明枠は、＜ｕｓｅ ｘｌｉｎｋ：ｈｒｅｆ＝‘‘参照用ＩＤ’’＞という記述により、既定形状のベクトルパス記述や、オブジェクトのベクトルパス記述を参照している。また、描画位置とサイズを指定するパラメータ記述も併記される。メタデータ記述１５０７中のメタデータ文字列「カメラ」１５０８はキャプション識別子１５０９と関連付けて記述されており、このキャプション識別子は１ページ目の透明枠のベクトルパス記述１５１１に付与されたキャプション識別子１５１０と同じものである。このようにキャプション識別子１５０９と１５１０を介して、メタデータ１５０８と透明枠のベクトルパス記述１５１１とが関連付けられているので、後述するように、キーワード「カメラ」で検索を行った場合、透明ベクトルパス記述１５１１を検索できる。
【０１０６】
以上が、本発明の実施例１における電子文書データ作成処理に関する説明である。
【０１０７】
［オブジェクトの検索］
次に、本実施例で作成された電子文書データ３１０に対し、前述したメタデータをキーワードとしてオブジェクトを検索する例について図１６を用いて説明する。
【０１０８】
図１６（ａ）〜（ｄ）は、オブジェクトを検索するためのアプリケーション（以下、オブジェクト検索アプリケーション）として、図１のクライアントＰＣ１０１や、その他のクライアントＰＣ等で実行されるソフトウェアの表示画面（ＧＵＩ）の一例である。このようなソフトウェアとしては、例えば、生成する文書のフォーマットがＰＤＦである場合は、Ａｄｏｂｅ Ｒｅａｄｅｒ（商標）等を用いることができる。
【０１０９】
オブジェクト検索アプリケーションは、入力フィールド１６０１に検索語句として入力された文字列が、電子文書データに付与されたメタデータと一致する場合、該メタデータに関連づけられたキャプション識別子を有するベクトルパス記述を強調表示する。
【０１１０】
図１６（ａ）は、図５（ａ）の文書をアプリケーションで表示させたときに表示画面の例である。符号１６０１は、検索する語句を入力（指定）するための入力フィールドである。符号１６０２は、検索する語句を入力した後に検索を実行するための検索実行ボタンである。符号１６０３は、図６の電子文書データ６００の描画結果を表示した領域である。その表示内容はグラフィックス記述６０１〜６０５の描画結果である。
【０１１１】
図１６（ｂ）は、検索を実行させた結果を示している。符号１６０４は、検索する語句として「ＡＡＡ」を指定した状態を示している。図６の電子文書データ６００ではメタデータ記述６０７中の文字列「ＡＡＡ」（６１０）、および文字描画記述６０５中の文字列「ＡＡＡ」が、検索語句と一致するので、アプリケーションは検索ヒット時の動作を行う。ここでは、メタデータ記述６０７中の文字列６１０がヒットした場合の動作例について説明する。
【０１１２】
オブジェクト検索アプリケーションは電子文書６００内から、検索語句と一致するメタデータのキャプション識別子６０９を検出し、さらに、これと同一の識別子６０８が付与されたグラフィックス記述６０６を検出する。そして、ページ表示の際、該当部分が強調されるように対象グラフィックス記述を描画する。本例では、グラフィックス記述が画像の貼りつけであるため、当該画像オブジェクトの回りに強調色、例えば赤色で枠を加えて表示を行うものとする。図１６（ｂ）中の符号１６０５は、検索を実行した結果としてヒットしたオブジェクトの部分が、赤色の枠により強調されている状態を示している。
【０１１３】
図１６（ｃ）は、図９（ａ）の４ページからなるイメージデータ９０１〜９０４に対して、図７（ｃ）の対応テーブルに基づいて図１１のフローチャートの処理を行うことで生成された図１５の電子文書データ１５００の１ページ目を表示した様子を示している。その表示内容は１ページ目のグラフィックス記述１５０１の描画結果であり、図１３の背景画像１３０１の上に文字の画像（前景画像）１３０２を重畳表示したものに等しい。なお、枠のベクトルパス記述である１３０３は透明色が指定されているため、通常状態では不可視である。
【０１１４】
図１６（ｄ）は、図１６（ｃ）で表示されている電子文書データ１５００に対して検索を実行させた結果を示している。入力フィールド１６１４には、検索する語句として「カメラ」が入力されている。電子文書データ１５００ではメタデータ記述１５０７中の文字列「カメラ」１５０８と検索語句が一致するので、アプリケーションは検索ヒット時の動作を行う。具体的には、先の説明と同様に、一致したメタデータ１５０８のキャプション識別子１５０９と同一の値が付与されたグラフィックス記述を検出し、ページ表示の際に該当部分に強調表示を行う。この場合、キャプション識別子１５１０が付与された透明枠のベクトルパス記述１５１１が強調表示の対象となるので、当該ベクトルパス記述１５１１の枠は、元々指定されていた透明色ではなく、強調色（例えば赤色）で描画される。したがって１６１５のように、検索でヒットしたメタデータに対応するグラフィックス記述が、赤色等の可視状態で強調表示された枠として文書画像上に重ねて表示されることになる。ユーザにとっては、背景画像内の写真部分が検索でヒットしたかのように見えることになる。なお、強調表示の方法はこの限りでなく、別の枠色や、既定形状と定義してある別の枠形状を用いてもよい。枠を点滅表示させてもよい。また、ヒットしたオブジェクトの記述が画像貼り付けではなく、ベクトルパス記述で表現されている場合は、当該ベクトルパス記述を再利用した枠形状を用いることもできる。
【０１１５】
本手法によって検索結果の視認性（ヒットしたオブジェクトの認識と、何のオブジェクトであるかの識別（特定））が向上した例を、図１７を用いて説明する。図１５の電子文書１５００に対して、視認性を考慮していない場合（図１７（ａ）および（ｃ））と、視認性を考慮して透明枠の制御を行った場合（本手法、図１７（ｂ）および（ｄ））に対して、検索を実行した結果について示している。
【０１１６】
図１７（ａ）および（ｂ）の入力ウインドウ１７０１は検索する語句として「Ｂ星」を指定した状態を示している。検索の流れは前述と同じであるため、説明を省略する。検索時の視認性を考慮せずに作成された電子文書の場合は、図１７（ａ）に示すように、符号１７０２のような強調表示がなされる。しかし、ヒットしたオブジェクトがとても小さく、電子文書中のどこにオブジェクトが存在するのか認識しにくい。また、ヒットしたオブジェクトの位置が分かったとしても、それがどんなオブジェクトなのか瞬時に識別することが困難である。一方、本手法によって作成された電子文書の場合は、図１７（ｂ）に示すように、オブジェクトの形状を基にして、オブジェクトよりも少し大きめ（例えばオブジェクトより５ｐｉｘ分大きく等）になるように記述された透明枠１７０３が強調表示される。それに加え、オブジェクトの位置を分かりやすくするように補足情報として記述された矢印による透明枠１７０４も同時に検出結果として強調表示される。補足情報である矢印の枠１７０４により、ヒットしたオブジェクトの位置が一目で分かるようになり、かつ、透明な枠１７０３によって、何の画像がヒットしているのかという情報まで一目で認識することができる。また、検索アプリケーションによっては、検索時に表示する強調色が予め決められた１色（例えば赤色）である場合もあるが、上述したように、少し大きめに表示されたり、矢印などの補足情報が表示されたりするようにしているので、ユーザは認識しやすい。また、検索時に表示すべき強調色が電子文書で指定されている場合、オブジェクト検索アプリケーションがその記述を解釈して強調色を変更する機能を有するならば、ユーザは更に認識しやすくなる。
【０１１７】
図１７（ｃ）および（ｄ）は、別の語句による検索結果として、入力フィールド１７０５に「月」が指定された状態を示している。視認性を考慮せずに作成された電子文書の場合（すなわち、検索されたオブジェクトを矩形で強調表示するようにした電子文書の場合）、強調表示した矩形内に別のオブジェクトが含まれてしまう場合がある。すなわち、図１７（ｃ）に示すように、「月」のオブジェクトに基づいて強調表示された領域内１７０６に別のオブジェクト（「Ａ星」のオブジェクト）が存在しているため、ヒットしたオブジェクトを一意に特定するのが困難となる場合がある。それに対し、本発明の手法を用いて強調表示された枠の形状１７０７は、当該「月」のオブジェクトの外輪郭の形状を基に生成されているため、検索でヒットしたオブジェクトの識別が容易になる。また、このとき、枠１７０７は、オブジェクトの形状に基づいて、オブジェクトと同様の形状で且つオブジェクトよりも少し大きめ（例えばオブジェクトより３ｐｉｘ分大きくする）になるように記述することにより、より識別しやすくする。
【０１１８】
以上説明したように、図７の設定に基づき文書画像を電子文書データに変換する場合、ステップＳ８０１〜Ｓ８０５の処理により、文書画像から抽出したキャプション付きのオブジェクトと、検索に使用するメタデータを関連付けて抽出する。図７（ｃ）の対応テーブルによれば、図１１のステップＳ１１０７において、『写真』のオブジェクトに対しては画像切り出しによる画像パーツ記述を生成する。『線画』、『表』のオブジェクトのうち、キャプション識別子が付与されたオブジェクトの場合には、ステップＳ１１０７において、ベクトル変換によるベクトルパス記述を生成する。そしてステップＳ１１０９（図１２）において、各オブジェクトの属性に依存した透明枠のベクトルパス記述を作成し、キャプション識別子と関連付けて保存する。このように変換された電子文書データをアプリケーションで閲覧・検索する場合、閲覧時には前記透明色によるベクトルパス記述は不可視である。そのため、当該ベクトルパス記述は描画される画像の視認性に影響を与えずに、ページ表示が行われる。一方、検索時にメタデータがヒットした際には、アプリケーションによって前記透明色のベクトルパス記述が強調色で表示される。このベクトルパス記述は対象オブジェクトの属性や形状、他オブジェクトとの位置関係等に応じて制御することができるため、電子文書データ作成側の意図に従った任意形状の強調表示を行わせることが可能である。例えば、対象オブジェクトの外接矩形よりも大き目の矩形の枠を記述することにより、検索時には、対象オブジェクトに相当する個所を一回り大きな枠で囲むことができるので、ユーザにとっては識別しやすくなる。さらに、対象オブジェクトがベクトルパス記述で記述されていた場合には、当該オブジェクトの形状に倣って強調表示がなされるため、ユーザにとって対象オブジェクトの識別が容易になる。
【０１１９】
すなわち、本実施例によれば、文字以外のオブジェクトをキーワード検索可能な電子文書データの作成処理において、検索対象オブジェクトの形状や状態を判断し、強調表示用の枠の形状を制御している。これにより、ユーザがヒットしたオブジェクトの認識・識別が容易な強調表現が可能となる電子文書データを作成することができる。
【０１２０】
また、枠のベクトルパス記述を生成する際に、当該オブジェクトのベクトルパス記述および、予め定義された既定形状のベクトルパス記述を参照（再利用）することにより、全ての枠を個別に記述した場合に比べて、データ量を減らすことも可能である。例えば、矩形による枠を生成する際、形状情報（矩形描画コマンド、描画位置・描画サイズ）や枠の透明描画設定、強調表示時の枠の太さや強調色等５００ｂｙｔｅ以上のベクトルパス記述が必要となる。枠形状を複雑に設定すればするほど当然記述量も増加する。例えば、枠の形状を星型に設定すると１Ｋｂｙｔｅ以上記述する必要がある。一方、既定形状の参照による枠生成を行う場合には、既定形状の定義に同サイズの記述が必要になるが、参照による枠のベクトルパス記述自体は、枠のパラメータ記述のみとなるため、枠の形状に係わらず２００〜３００ｂｙｔｅ程度の記述量に抑えられる。枠のパラメータ記述は、例えば、描画位置（絶対位置もしくは参照オブジェクトに対する相対位置）、描画サイズ（拡大率・拡大量）、強調色設定等である。もし１ページに写真が１００個含まれる画像に対して、矩形による枠を生成する場合、参照によって枠のベクトルパス記述を生成することで、個別に記述する場合に比べ、１ページ当たり３０Ｋｂｙｔｅ以上のサイズ削減が可能である。
【０１２１】
以上のように本実施例によれば、電子文書データ内のオブジェクトが有する形状やデータ状態を維持しつつ、検索により検出されたオブジェクトをユーザが認識しやすいように強調表示可能な電子文書データを生成することができる。
【０１２２】
（実施例２）
実施例１の動作説明では、図７（ｃ）の対応テーブルを用いることで『写真』、『線画』、『表』に対して、個々のオブジェクトのグラフィックス記述を画像パーツとして生成して前景画像に含め、強調表示用の透明ベクトルパス記述をそれぞれ生成していた。本実施例では、『文字』以外のオブジェクト（『写真』、『線画』、『表』）全てを背景画像に含め、キャプション識別子の付与されたオブジェクトに対してのみ透明のベクトルパス記述を生成する例を示す。
【０１２３】
本実施例では、図３のフォーマット変換部３０５が図７（ｄ）の対応テーブルに基づいて制御する場合の処理例を示す。処理フローは実施例１（図１１）と同様であるため、同じ動作をする処理ステップの説明は省略する。
【０１２４】
図７（ｄ）の対応テーブルによれば、『写真』オブジェクトは背景画像に含める設定になっている。そのため、図１１のステップＳ１１０７、Ｓ１１０８において、図４の画像切り出し処理部４０３は、画像パーツの生成と背景画像からの消去処理を行なわず、ステップＳ１１０９へ進む。また、図７（ｄ）の対応テーブルによると、『線画』、『表』オブジェクトの場合は、ベクトル変換は行うが、背景画像からの消去画像は行わない設定になっている。すわなち、ステップＳ１１０７において、ベクトル変換処理部４０２は、オブジェクトのベクトルパス記述を生成し、記憶部２１１に一時的に記憶する。続くステップＳ１１０８では消去処理を行わず、ステップＳ１１０９へ進む。
【０１２５】
ステップＳ１１０９（すなわち、図１２）において、電子文書記述生成部４０４は、透明枠のベクトルパス記述を生成する。図１２のステップＳ１２０２〜ステップＳ１２０４において、透明枠の生成方法（ステップＳ１２０５またはＳ１２０６）を決定する。
【０１２６】
実施例１では、ステップＳ１２０５において、電子文書記述生成部４０４は、オブジェクトのベクトルパスの参照命令の記述とパラメータ記述（拡大、移動、強調色設定等）を含む透明枠を生成していた。これは、オブジェクトのベクトルパス記述が前景画像中に記述されているため、参照（再利用）が可能であるからである。それに対し、本実施例では、オブジェクトは背景画像に埋め込まれているため、実施例１のようにオブジェクトのベクトルパス記述を参照（再利用）することができない。そこで、参照命令ではなく、ステップＳ１１０７で生成したオブジェクトのベクトルパス記述を透明枠のベクトルパス記述に流用し、それにパラメータ記述を追記することで、フォーマット変換制御部４０６は透明枠の生成を行う。
【０１２７】
ステップＳ１２０６において、電子文書記述生成部４０４は、実施例１と同様に、既定形状のベクトルパス記述を参照（再利用）して、透明枠のベクトルパス記述を生成する。このとき、当該オブジェクトが『線画』、『表』オブジェクトである場合、ステップＳ１１０７で生成されたベクトルパス記述は透明枠生成には不要であるため、記憶部２１１から削除することが可能である。
【０１２８】
このように変換された電子文書データに対して検索を行うと、通常時には背景画像と前景画像（文字部）のページが表示される。一方、検索時にメタデータがヒットした際には、透明色のベクトルパス記述がアプリケーションによって強調色で表示され、ユーザにはオブジェクト自体が検索でヒットしたかのように見える。
【０１２９】
これにより、実施例１と同様に各オブジェクトの属性等に応じて制御された透明枠の強調表示によって、検索結果がユーザに分かりやすい電子文書を作成することができる。さらに、『文字』以外の全てのオブジェクトを背景画像に含めることによって、抽出した写真オブジェクトと背景とをそれぞれ別の圧縮画像データとして保持するよりもファイルサイズの削減をすることができる。なぜなら、そのようなデータは画像情報と圧縮のためのヘッダ情報から構成されており、オブジェクトのデータ数が多くなるとデータ個数分のヘッダ情報が重複して保持されることになるからである。特に、高度な画像圧縮方式ほど、圧縮のためのヘッダ情報が大きくなる傾向がある。したがって、写真等のオブジェクトを多数含む文書画像から電子文書ファイルを生成する場合には、各オブジェクトを別々に圧縮するよりも１枚の画像として圧縮する方が、総データサイズ削減のためには適している。例えば、画像データをＪＰＥＧ圧縮したストリームとして保持する場合、各ストリームはヘッダ情報として、展開のための量子化テーブル、ハフマンコード等を含む７００ｂｙｔｅ以上のサイズのデータを必ず伴う。もし１ページに写真が１００個含まれる画像の場合、写真と背景の両方を１枚の画像データとして圧縮すれば、背景と写真で計１０１個の画像データを個別に圧縮するよりも、１ページあたり７０Ｋｂｙｔｅ以上のサイズ削減が可能である。
【０１３０】
また、電子文書データに対して、または、その検索対象である個々の『写真』、『線画』、若しくは『表』の画像切り出しによる画像パーツに対して、その記述方式、及びそれに対するキャプション識別子の付与方式を、ユーザに適時選択させるようにしてもよい。例えば、『写真』、『線画』等のオブジェクトを別の文書等で再利用する可能性が高い場合には、図７（ｃ）のように、『写真』を画像パーツとして切り出して画像解像度を上げ、『線画』のベクトル変換によるベクトルパス記述を行う。そして、各オブジェクトに対し、キャプション識別子を付与した透明枠を生成する。このように、画像パーツとして再利用する可能性のあるオブジェクトに関しては、ベクトルパス記述や高解像度のオブジェクト画像として電子文書に保存する。こうすることで、それらのオブジェクトを他の文書にコピーしたときも、その画像情報をなるべく損なうことなく、利用できるようになる。また、作成する電子文書データのデータサイズが重要視され且つオブジェクト検索できるようにしたい場合には、図７（ｄ）のように、『写真』等のオブジェクトを『背景』に含め、透明枠の記述を生成してキャプション識別子を付加する。こうすることで、画像内のオブジェクトが検索されたかのような表示をすることができ、且つ、画像データの圧縮率向上が図りやすくなるため、データサイズを小さくすることが可能となる。また、オブジェクトの種別に応じて、より詳細に運用することも可能である。
【０１３１】
なお、このような使い分けをユーザに選択させるのではなく、文書やページ内の『写真』等の数や、各オブジェクトの大きさや特性に応じて、画像切り出しによる画像パーツ記述方式と、キャプション識別子の付与方式を自動的に選択するようにしてもよい。また、その際、文書やページ単位に自動的に切り替えて使用するように構成してもよい。
【０１３２】
このように、画像切り出しによる画像パーツ記述方式を適切に選択すると同時に、キャプション識別子の付与方式を適宜選択することで、利用目的に応じた電子文書データの作成が可能となる。これにより、ユーザの使いやすい電子文書データが提供されるという効果がある。
【０１３３】
（実施例３）
実施例３では、キャプション識別子が付与されたオブジェクトに対して透明枠のベクトルパス記述を作成する際に必要となる枠のパラメータ（絶対位置もしくは参照オブジェクトに対する相対位置、サイズもしくは拡大率等）を自動的に算出する方法の例を示す。
【０１３４】
枠のパラメータを算出する方法について、図１８の処理フローを用いて説明する。
ステップＳ１８０１において、電子文書記述生成部４０４は、処理対象のキャプションが付随するオブジェクトの領域サイズを取得する。この情報は記憶部２１１に保存されている。
【０１３５】
ステップＳ１８０２およびステップＳ１８０３において、電子文書記述生成部４０４は、予め設定されている上限値および下限値とステップＳ１８０１で取得したサイズを比較する。オブジェクトのサイズが下限値以上、上限値以下（下限値≦オブジェクトサイズ＜上限値）であれば、ステップＳ１８０４へ進む。上限値以上もしくは下限値以下である場合にはステップＳ１８０５へ進む。
【０１３６】
ステップＳ１８０４において、電子文書記述生成部４０４は、オブジェクトのサイズに応じた拡大率（例えば、オブジェクトに対して１２０％拡大等）を算出する。オブジェクトが小さい場合には拡大率を大きく、オブジェクトが大きい場合には拡大率が小さくなるように設定する。これにより、オブジェクトサイズに応じて枠の大きさを可変にできるため、検索の結果を視認しやすい画像を作成することができる。
【０１３７】
一方、ステップＳ１８０５において、電子文書記述生成部４０４は、透明枠をオブジェクトより一定サイズ大きくなるように拡大量を算出する。オブジェクトサイズが上限値以上の場合と下限値以下の場合で、拡大量を変更することも可能である。例えば、オブジェクトの外接図形より常に１０ｐｉｘ分大きくするという設定でも、上限値以上のオブジェクトには５ｐｉｘ分大きく透明枠を生成し、下限値以下の場合には１０ｐｉｘ分大きく透明枠を生成するという設定でも構わない。
【０１３８】
ステップＳ１８０６において、電子文書記述生成部４０４は、ステップＳ１８０４やステップＳ１８０５で算出した拡大率・拡大量に応じて、透明枠の移動量を算出する。これは、透明枠がオブジェクトの中心から拡大されず、例えばオブジェクトの左上を基準に拡大される場合等に、透明枠の中心にオブジェクトが位置するように透明枠を移動させる必要があるためである。
【０１３９】
ステップＳ１８０７では、電子文書記述生成部４０４は、算出された拡大率・拡大量、移動量より、枠のパラメータ記述を生成し、図１２の処理フローに従って透明枠のベクトルパス記述を作成する。なお、この枠のパラメータ記述は図１２のステップＳ１２０５やステップＳ１２０６で透明枠のベクトルパス記述を生成するときに使用するパラメータ記述である。
【０１４０】
以上の手順により、オブジェクトサイズに応じて透明枠のサイズ（拡大率・拡大量）を自動で制御することで、図１９に示すように、オブジェクトのサイズに応じたサイズの透明枠が生成できる。これにより、オブジェクトサイズに合わせた、分かりやすい強調表示を行える透明枠を生成することが可能となる。
【０１４１】
（実施例４）
実施例３では、オブジェクトサイズに応じてパラメータ記述（拡大率・拡大量、移動量等）を生成する方法について述べた。実施例４では、生成されたパラメータ記述が画像外にはみ出してしまう場合の制御方法について述べる。図２０、図２１を用いて本実施例の動作フローを説明する。
【０１４２】
ステップＳ２００１において、電子文書記述生成部４０４は、オブジェクトに応じたパラメータ記述（拡大率・拡大量、移動量等）を生成する。本処理は、実施例３に記載の方法（図１８）を用いる。図２１（ａ）は、ステップＳ２００１によって得られたパラメータ記述２１０２を基にして、透明枠２１０１を描画した例である。パラメータ記述２１０２中において、‘‘ｔｒａｎｓｆｏｒｍ＝ｓｃａｌｅ（１．５，１．５） ｔｒａｎｓｌａｔｅ（−１００、−１００）’’と拡大率と移動量が設定されている。
【０１４３】
ステップＳ２００２において、電子文書記述生成部４０４は、生成されたパラメータ２１０２で枠を描画した際に、文書内に枠が収まるかどうかをチェックする。文書内に収まる場合は、ステップＳ２００６へ進み、パラメータ記述として生成する。一方、文書外にはみ出してしまう場合にはステップＳ２００３へ進む。図２１（ａ）では、文書左側と下側において透明枠が文書外に描画されることになるため、ステップＳ２００３以降の処理を行う。
【０１４４】
ステップＳ２００３において、電子文書記述生成部４０４は、枠の縦横比を保存したまま文書内に枠が収まるように拡大率・拡大量を下げる。この時、予め設定している拡大率・拡大量の下限値（実施例２で利用した下限値でも構わない）を下回らない程度に調整する。例えば、図２１（ｂ）のように‘‘ｔｒａｎｓｆｏｒｍ＝ｓｃａｌｅ（１．２，１．２） ｔｒａｎｓｌａｔｅ（−４０、−４０）’’と拡大率・移動量を変更してパラメータ記述２１０４を生成し、透明枠２１０３を描画する。
【０１４５】
ステップＳ２００３で所望のパラメータ記述を得られなかった場合、ステップＳ２００４において、電子文書記述生成部４０４は、枠の縦横比を保持せずに拡大率・拡大量の変更を行う。本処理でもステップＳ２００３と同様に、下限値を下回らない程度の補正を加える。生成されるパラメータ記述としては、例えば、‘‘ｔｒａｎｓｆｏｒｍ＝ｓｃａｌｅ（１．２，１．４） ｔｒａｎｓｌａｔｅ（−４０、−８０）’’である。この記述は、縦横比を保存せず拡大率・移動量を変更させたパラメータ記述２１０６であり、これを用いて透明枠２１０５を描画させる。
【０１４６】
ステップＳ２００４で所望のパラメータ記述を得られなかった場合、ステップＳ２００５において、電子文書記述生成部４０４は、透明枠をオブジェクトに外接する図形（例えば矩形等）に強制的に変更し、枠の補足説明用の描画記述を追加する設定に変更する。例えば、図２１（ｄ）に示すように、透明枠２１０７を、オブジェクトの外接矩形もしくはそれよりも少し大きめな矩形として生成する。さらに、透明枠を強調するような追加記述２１０８，２１０９を記述するパラメータ記述２１１０を生成する。
【０１４７】
ステップＳ２００６において、電子文書記述生成部４０４は、ステップＳ２００１〜Ｓ２００５によって修正されたパラメータを、文書内に収まる透明枠を記述するためのパラメータ記述として更新する。
【０１４８】
以上の処理により、透明枠が文書外にはみ出すことなく、ユーザに分かりやすい強調表示を自動で行うことが可能となる。
【０１４９】
（実施例５）
実施例１では、ベクトルパス記述で描画されるオブジェクトのうち、オブジェクトサイズが小さいもの、あるいは隣接オブジェクトが存在しているものに対しては、オブジェクトのベクトルパス記述を再利用して透明枠を生成していた。本実施例では、さらに、オブジェクトのベクトルパス記述が透明枠に利用できるかどうかを判定して、透明枠の生成方法を制御する。
【０１５０】
図２２を用いて本実施例の動作フローを説明する。なお、実施例１の図１２と同じステップに関しては同じステップ番号を与えている。また、図２３（ａ）の電子文書２３００を入力例として説明を行う。電子文書２３００にはキャプションが付与されたオブジェクト２３０１、２３０２、２３０３が含まれている。これらのオブジェクトはどれもベクトルパス記述によって生成されているものとする。
【０１５１】
図２２のステップＳ１２０１〜ステップＳ１２０４において、電子文書記述生成部４０４は、オブジェクトのベクトルパス記述を再利用して透明枠を生成するのか、既定形状のベクトルパス記述を再利用して生成するのかを判定する。処理の詳細については、実施例１の図１２と同じであるため省略する。
【０１５２】
ステップＳ２２０１において、電子文書記述生成部４０４は、オブジェクトのベクトルパス記述から輪郭部（外輪郭）のベクトルパス記述が抽出可能かを判定する。輪郭部の抽出が可能な場合はステップＳ２２０２へ進み、抽出ができない場合はステップＳ１２０６へ進む。これは、オブジェクトが複雑な形状であった場合、オブジェクト内部の描画まで再現してしまうと、検索時に強調された枠がヒットしたオブジェクト上に重畳表示されてしまい、ヒットしたオブジェクトが何であるかが分からなくなってしまうことが考えられる。そこで、オブジェクトの一部である輪郭部のみを透明枠生成に利用することで、視認性を向上させる。
【０１５３】
ステップＳ２２０２において、電子文書記述生成部４０４は、オブジェクトのベクトルパス記述の一部である輪郭部の記述のみを参照（再利用）して透明枠のベクトルパス記述を生成する。図２３のオブジェクト２３０２は輪郭抽出が容易なオブジェクトであるため、オブジェクト２３０２の輪郭部のベクトルパス記述を参照（再利用）し、図２３（ｂ）の透明枠２３０４を生成する。
【０１５４】
一方、ステップＳ２２０１で、当該オブジェクトの輪郭部の抽出が困難であると判定された場合は、ステップＳ１２０６において、電子文書記述生成部４０４は、予め定義されている既定形状のベクトルパス記述を参照（再利用）して透明枠を生成する。図２３（ａ）のオブジェクト２３０３は輪郭抽出が困難であると判断されたため、既定形状である矩形のベクトルパス記述を参照（再利用）して、図２３（ｃ）の透明枠２３０５が生成される。
【０１５５】
ステップＳ１２０７において、電子文書記述生成部４０４は、ステップＳ２２０２およびステップＳ１２０６で生成された透明枠に補足の情報を付与するためのベクトルパス記述を行う。特に、ステップＳ２２０１において、当該オブジェクトの輪郭部の抽出が困難と判断された場合には、ここで、追加情報が記述される。これは、強調表示のための透明枠を既定形状によって作成したため、オブジェクトが小さい場合や、近傍に他のオブジェクトが存在している場合等、検索でヒットしたオブジェクトが何（どちら）であるかが識別できなくなってしまう。そこで、矢印等の追加記述であったり、オブジェクトのベクトルパス記述をそのまま再利用して、ヒットしたオブジェクト自体に重ならない位置に透明枠を生成したりすることで、分かりやすい表示が必要になる。図２３（ｃ）のオブジェクト２３０３の透明枠２３０５の補足説明用として、矢印２３０６やオブジェクト自体の拡大図（２３０７）が記述される。
【０１５６】
ステップＳ１２０８では、キャプション識別子と生成された透明枠の関連付け処理が行われる。
【０１５７】
以上の処理で生成された電子文書２３００に対して、「望遠レンズ」というキーワードで検索を行った結果について簡単に説明する。オブジェクト２３０３にはアンカー文字列「図３」が関連付けされる。このアンカー文字列は、本文中に書かれた文字列「図３」と一致しているため、オブジェクト２３０３に対するキャプション文字列として「望遠レンズ」が抽出される。そしてキャプション文字列「望遠レンズ」に対するキャプション識別子と同一のキャプション識別子が付与された透明枠２３０５〜２３０７が検索結果としてヒットし、強調表示される。このように、オブジェクトのベクトルパス記述を透明枠として再利用可能かどうか調べ、有効であればオブジェクトのベクトルパス記述の一部（輪郭部）を再利用して透明枠を生成する。無効であれば、既定形状によるベクトルパス記述に加え、補足情報として矢印やオブジェクトの拡大図等を当該オブジェクトの近傍に配置することで、検索時に検索結果の認識・識別が容易な電子文書を作成することができる。
【０１５８】
（実施例６）
実施例１〜５では、オブジェクト形状に依存しない、既定形状のベクトルパス記述を再利用した透明枠を生成していた。本実施例では、オブジェクトの形状を解析して透明枠の形状を制御することによって、よりオブジェクトの形状に合った透明枠を生成する手法について説明する。
【０１５９】
図２４を用いて、本実施例の処理の流れを説明する。なお、実施例１の図１２および、実施例５の図２２と同じ処理に関しては同じステップ番号を与え、処理の説明は省略する。
【０１６０】
ステップＳ２４０１において、電子文書記述生成部４０４は、オブジェクトの解析処理を行う。オブジェクトの解析処理には、オブジェクトの矩形度や円形度の解析、傾斜度の算出、又はオブジェクトの色彩情報の解析等が含まれる。
【０１６１】
ステップＳ２４０２において、電子文書記述生成部４０４は、オブジェクト形状に合った透明枠のベクトルパス記述を生成する。この処理の一例を図２５に示す。なお、本実施例の説明では、予め定義されている既定形状は「矩形」「円形」「六角形」の３種類であるとして説明を行う。
【０１６２】
図２５のステップＳ２５０１において、電子文書記述生成部４０４は、オブジェクトの矩形度の判定処理を行う。所定のしきい値以上（例えば矩形度８０％以上等）であれば、既定形状として「矩形」データ２５１０が選択され、しきい値未満であればステップＳ２５０２へ進む。
【０１６３】
ステップＳ２５０２において、電子文書記述生成部４０４は、オブジェクトの円形度の判定処理を行う。所定のしきい値以上（例えば円形度７０％以上等）であれば、既定形状として「円形」データ２５１１が選択される。しきい値未満の場合は、既定形状として「六角形」データ２５１２が選択される。
【０１６４】
ステップＳ２５０３において、電子文書記述生成部４０４は、前記ステップで選択された既定形状データを再利用して透明枠のベクトルパス記述を生成する。図２６に結果の一例を示す。入力電子文書２６００には『写真』属性の付与されたオブジェクト２６０１〜２６０３が含まれている。オブジェクト２６０１は矩形度が高いため、ステップＳ２５０１において、「矩形」データが選択され、「矩形」のベクトルパス記述を参照した透明枠のベクトルパス記述２６０４が生成される。オブジェクト２６０２は楕円形に近い形状をしているため「円形」データが、オブジェクト２６０３は「六角形」データが選択され、透明枠のベクトルパス記述２６０５，２６０６がそれぞれ生成される。
【０１６５】
ステップＳ２５０４において、電子文書記述生成部４０４は、図２４のステップＳ２４０１で算出されたオブジェクトの傾斜度を用いて、オブジェクトによりフィットした透明枠を生成するための回転パラメータを生成する。図２６のオブジェクト２６０３は傾きのあるオブジェクトとして認識されるため、透明枠もオブジェクトと同様に傾きを加えることにより、透明枠２６０６が生成される。
【０１６６】
ステップＳ２５０５において、電子文書記述生成部４０４は、図２４のステップＳ２４０１で得られたオブジェクトの色彩情報を基に、強調表示されたときにできるだけ見やすくなるように配色を決定し、強調色を設定する。すなわち、オブジェクトの色彩とは異系色の色を強調色として設定する。これにより、オブジェクトと透明枠の強調色が同系色にまとまってしまって、結果が分かりにくくなることを防ぐことができる。図２６の入力例２６００では、オブジェクトは黒色であるため、透明枠の強調色は例えば赤色と設定すればよい。
【０１６７】
本実施例では、既定形状を「矩形」「円形」「六角形」と限定して説明を行ったが、既定形状はこれに限ったものではなく、星形や雲形等でも構わない。また、解析項目や、既定形状の選択の方法もこの限りではない。
【０１６８】
以上の処理によって、生成時のファイルサイズを抑えつつ、検索時に強調表示される枠が、より対象オブジェクトの形状にフィットしたものとなるため、ユーザに分かりやすい強調表現を行うことができる。
【０１６９】
（実施例７）
実施例１〜６では、オブジェクト領域の位置・大きさや、オブジェクトを画像処理して得られる情報等を基にしてオブジェクト領域に記述する最適な透明枠を自動で生成していた。本発明の実施例７では、ユーザが、記述される透明枠の形状や線幅等を自由に設定することができる仕組みを提供する。
【０１７０】
図２７（ａ）は、図１のＭＦＰ１００に装備された図２の操作部２０３に表示される電子文書データの目的をユーザに選択させるためのユーザインタフェース（ＵＩ）画面の一例である。ＵＩ画面２７０１上には、強調表示用の透明枠の生成方法を自動で決定するように設定するためのボタン２７０２と、ユーザが設定するためのボタン２７０３がある。また、選択内容をキャンセルするためのＣａｎｃｅｌボタン２７０４、確定するためのＯＫボタン２７０５も配置されている。「自動」ボタン２７０２が選択された場合は実施例１〜６の手順に従い、オブジェクト毎に最適な形状をした透明枠を生成する。一方、「ユーザ設定」ボタン２７０３が押下された場合は、全てのオブジェクトに対し、ユーザが設定した形状により透明枠を生成する。
【０１７１】
図２７（ｂ）は、強調表示用の全オブジェクトに共通する透明枠形状をユーザが設定するためのＵＩ画面の一例である。ＵＩ画面２７０６には透明枠の基本形状を選択するためのボタン２７０７と、線幅を選択するためのボタン２７０８、強調色を選択するためのボタン２７０９がある。ユーザはＵＩ画面２７０６上の選択ボタン２７０７〜２７０９を操作して透明枠の記述の仕方を選択し、ＯＫボタン２７１１を押す。これにより、データ処理部２１８内の制御部（不図示）が、当該ＵＩを介してユーザが指定した透明枠の記述に関する情報をフォーマット変換部３０５へ伝達する。Ｃａｎｃｅｌボタン２７１０が押されてユーザ設定が為されなかった場合は、デフォルトの設定情報が制御部によってフォーマット変換部３０５へ送信される。フォーマット変換部３０５は、受信した情報を基に、ステップＳ１１０９（Ｓ１２０６）において透明枠のベクトル記述を行う。このとき、オブジェクトを特定できるようにするために、図１８の処理手順で、オブジェクトのサイズに応じて、当該選択された基本形状のサイズを変更して透明枠のベクトルパス記述を生成するのが望ましい。
【０１７２】
以上により、「自動」動作時には、ユーザにとって、検索時にヒットしたオブジェクトの認識および識別が容易な電子文書が作成される。一方「ユーザ設定」動作時には、既定形状として１つのベクトルパス記述が定義され、全ての枠生成時に参照するため、ファイルサイズが小さくなる。また、オブジェクト毎に枠の生成の仕方や枠形状の判定処理を行わないため、出力電子文書作成時の処理パフォーマンスの向上も見込める。
【０１７３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、文書画像からオブジェクト検索可能な電子文書データを生成するための画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、文書画像中の文字以外のオブジェクト（例えば、写真、図面、線画、表等）を利用しやすくするために、当該オブジェクトを検索できるようにする技術が知られている。以下の説明において、特に記載がない限り、オブジェクトは、文字を除くオブジェクトのことを示すものとする。
【０００３】
特許文献１では、文書画像から図やグラフなどのオブジェクトを抽出し、当該オブジェクトの近傍にキャプション文字列（オブジェクトを説明する文字列）があるかどうか判断する。キャプション文字列がある場合、該オブジェクトに当該キャプション文字列を関連付けて、オブジェクトを検索できるようにしている。
【０００４】
また、オブジェクトに隣接するキャプションが図番（例えば、「図１」や「第１図」等）である場合、一般的な文書画像では、オブジェクトの説明のために同じ図番の文字列が本文にも記載されている。すなわち、キャプションに記載されている図番と同一表現が本文内にも記述されている。特許文献２には、キャプション中の図番と本文中の図番との間にリンクを自動的に生成し、ハイパーテキスト化する技術が開示されている。この技術において、例えば、オブジェクトに隣接するキャプションに図番「図１」が含まれ、本文中に「図１は、ＡＡＡである」という記載がある場合、キャプション「図１」と本文中の「図１」との間に、ハイパーリンクが生成される。また、特許文献２には、オブジェクトとそれに関連する本文との間にリンクを自動的に生成し、ハイパーテキスト化された文書を生成することも記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３０６１９７号公報
【特許文献２】特開平１０−２２８４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
なお、メタデータが関連付けられた各オブジェクトをＪＰＥＧ圧縮等して、１つの電子文書に格納しておけば、データ量の少ない１つの電子文書として生成できる。このような電子文書をアプリケーション側で利用する場合、キャプション文字列を検索キーワードとして、該メタデータからオブジェクトを検索することが可能となる。
【０００７】
一方、キャプション文字列をメタデータとしてオブジェクトに付与し、文字以外のオブジェクトを検索できるようにした電子文書において、キーワード検索をおこなった際に、検索結果のオブジェクトが強調表示されるようにすることが望まれている。
【０００８】
しかしながら、検索対象となるオブジェクトは写真、図、表等であり、色・形状ともに多種多様である。従って、オブジェクトが元々有する色・形状のために、強調表示が目立たず、ユーザが検索でヒットしたオブジェクトを特定するのが困難な場合がある。例えば、検索されたオブジェクトの輪郭を赤色の外接矩形で着色するような強調方式であるときに、赤色を多く含む矩形の写真のオブジェクトが検索されると、検索結果の強調表示が写真と同様の色で写真領域に接触しているので目立たなくなってしまう。すなわち、ユーザにとっては、検索でヒットしたオブジェクトを特定することが非常に困難になってしまう。また、オブジェクトのサイズが小さかったり、複数のオブジェクトが隣接して存在したりしている場合等には、検索でヒットしたオブジェクトの識別が直観的にできなくなってしまうため、検索効率の向上が見込めないという課題もある（図１７（ａ）、（ｃ）参照）。
【０００９】
そこで、文字以外のオブジェクトをキーワード検索可能な電子文書データの作成処理において、検索時に検索対象オブジェクトが有する形状やデータ状態を維持しつつ、ユーザが認識しやすい強調表示を行う電子文書データ作成方法が必要となっていた。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、前記オブジェクトの形状に応じた形状で枠のベクトルパス記述を記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する判定手段と、前記判定手段で前記オブジェクトの形状に応じた形状で記述すると判定した場合は、前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成し、前記判定手段で前記既定形状に応じた形状で記述すると判定した場合は、前記既定形状に応じた形状で記述された枠のベクトルパス記述を生成する枠生成手段と、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、を備え、前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする。
【００１１】
本発明に係る画像処理装置は、入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、前記オブジェクトの形状の外輪郭に相似する形状で記述された枠のベクトルパス記述を生成する枠生成手段と、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、を備え、前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする。
【００１２】
本発明に係る画像処理装置は、入力された画像からオブジェクトを抽出し、当該オブジェクトについての情報である領域情報を取得する手段と、前記抽出されたオブジェクトを前記取得された領域情報に応じた形状で囲む透明枠のベクトルパス記述を生成する手段と、前記入力された画像から、前記生成された透明枠のベクトルパス記述を含む電子文書データを生成する手段とを備え、前記生成された透明枠のベクトルパス記述は、前記生成された電子文書データからオブジェクトが検索され検索結果として検出されたときに、当該枠を強調表示するための強調色のパラメータ記述を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、検索により検出されたオブジェクトをユーザが認識しやすいように強調表示可能な電子文書データを生成するための画像処理装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムの構成例を示すブロック図である。
【図２】ＭＦＰの構成例を示すブロック図である。
【図３】データ処理部の構成例を示すブロック図である。
【図４】フォーマット変換部の構成例を示すブロック図である。
【図５】入力イメージデータに対して領域分割を行った結果の例を示す図である。
【図６】入力イメージデータに対して出力される電子文書データの例を示す図である。
【図７】フォーマット変換部の制御情報である対応テーブルの例を示す図である。
【図８】画像処理システムで実行される処理全体の概要を示すフローチャートである。
【図９】４ページからなる入力イメージデータに対して領域分割を行った結果の例を示す図である。
【図１０】メタデータ処理部の処理を説明するフローチャートである。
【図１１】フォーマット変換部の処理を説明するフローチャートである。
【図１２】電子文書記述生成部の処理を説明するフローチャートである。
【図１３】グラフィックスデータの例を示す図である。
【図１４】入力イメージデータに対して出力される電子文書データの例を示す図である。
【図１５】入力イメージデータに対して出力される電子文書データの例を示す図である。
【図１６】電子文書データを閲覧・検索するアプリケーションの画面表示例である。
【図１７】電子文書データを閲覧・検索するアプリケーションの画面表示例である。
【図１８】本発明の実施例３におけるパラメータ記述生成処理を説明するフローチャートである。
【図１９】本発明の実施例３における処理結果例を示す図である。
【図２０】本発明の実施例４におけるパラメータ記述生成処理を説明するフローチャートである。
【図２１】本発明の実施例４における処理結果例を示す図である。
【図２２】本発明の実施例５における図４のベクトル変換処理部４０２の処理を説明するフローチャートである。
【図２３】本発明の実施例５における処理結果例を示す図である。
【図２４】本発明の実施例６におけるベクトル変換処理部の処理を説明するフローチャートである。
【図２５】本発明の実施例６におけるベクトル変換処理部の処理を説明するフローチャートである。
【図２６】本発明の実施例６における処理結果例を示す図である。
【図２７】本発明の実施例７におけるユーザインタフェース（ＵＩ）画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
（実施例１）
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１６】
［画像処理システムの構成］
図１は本実施例の画像処理システムの構成を示すブロック図である。
【００１７】
図１において、オフィスＡ内に構築されたＬＡＮ１０２には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００が接続されている。ＬＡＮ１０２は、プロキシサーバ１０３を介して外部ネットワーク１０４にも接続されている。クライアントＰＣ１０１はＬＡＮ１０２を介してＭＦＰ１００からの送信データを受信したり、ＭＦＰ１００が有する機能を利用したりする。例えば、クライアントＰＣ１０１は、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷することもできる。尚、図１の構成は一例であり、オフィスＡと同様の構成要素を有する、複数のオフィスがネットワーク１０４上に接続されていても良い。また、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でも良い。また、クライアントＰＣ１０１、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等である。
【００１８】
図２は本実施例の画像処理装置であるＭＦＰ１００の詳細構成を示す図である。
ＭＦＰ１００は、画像入力デバイスであるスキャナ部２０１と、画像出力デバイスであるプリンタ部２０２と、ＣＰＵ２０５等で構成される制御ユニット２０４と、ユーザインタフェースである操作部２０３等を有する。制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続し、一方では、ＬＡＮ２１９や一般の電話回線網である公衆回線（ＷＡＮ）２２０と接続することで、画像情報やデバイス情報の入出力を行うコントローラである。ＣＰＵ２０５は、制御ユニット２０４に含まれる各ユニットを制御する。ＲＡＭ２０６はＣＰＵ２０５が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。記憶部２１１はハードディスクドライブで、システム制御ソフトウェア、画像データを格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインターフェース部で、操作部２０３に表示するための画像データを操作部２０３に対して出力する。また、操作部Ｉ／Ｆ２０７は操作部２０３から本画像処理装置の使用者が入力した情報を、ＣＰＵ２０５に伝える役割をする。ネットワークＩ／Ｆ２０８は本画像処理装置をＬＡＮ２１９に接続し、パケット形式の情報の入出力を行う。モデム２０９は本画像処理装置をＷＡＮ２２０に接続し、データの復調・変調を行うことにより情報の入出力を行う。以上のデバイスがシステムバス２２１上に配置される。
【００１９】
イメージバスＩ／Ｆ２１２はシステムバス２２１と画像データを高速で転送する画像バス２２２とを接続し、データ構造を変換するバスブリッジである。画像バス２２２は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。画像バス２２２上には以下のデバイスが配置される。ラスターイメージプロセッサ（ＲＩＰ）２１３はＰＤＬ（ページ記述言語）コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。この展開をする際には、各画素単位あるいは又は各領域単位に属性情報が付加されることになる。これを像域判定処理と呼ぶ。像域判定処理により、画素毎にあるいは領域毎に、文字（テキスト）、線（ライン）、グラフィクス、イメージ等といったオブジェクトの種類を示す属性情報が付加される。例えば、ＰＤＬコード内のＰＤＬ記述のオブジェクトの種類に応じて、ＲＩＰ２１３から像域信号が出力され、その信号値で示される属性に応じた属性情報が、オブジェクトに対応する画素や領域に関連づけて保存される。したがって画像データには、関連づけられた属性情報が付属している。デバイスＩ／Ｆ２１４は、信号線２２３を介して画像入力デバイスであるスキャナ部２０１を、信号線２２４を介して画像出力デバイスであるプリンタ部２０２を、それぞれ制御ユニット２０４に接続する。デバイスＩ／Ｆ２１４は、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部２１５は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部２１６は、プリンタ部２０２に出力すべきプリント出力画像データに対して、プリンタ部２０２に応じた補正、解像度変換等を行う。画像回転部２１７は入力された画像データが正立するように回転を行い出力する。データ処理部２１８については後述する。
【００２０】
［処理部の構成］
次に、図３を用いて、図２のデータ処理部２１８の詳細説明を行う。データ処理部２１８は、領域分割部（領域抽出部）３０１、属性情報付加部３０２、文字認識部３０３、メタデータ処理部３０４、及びフォーマット変換部３０５を備えて構成される。データ処理部２１８は、スキャナ部２０１でスキャンしたイメージデータ３００を入力し、各処理部３０１〜３０５で処理を行うことにより、電子文書データ３１０を生成して出力する。すなわち、データ処理部２１８は、文書生成を行う。
【００２１】
領域分割部３０１には、図２のスキャナ部２０１でスキャンされたイメージデータ、あるいは記憶部２１１に保存されているイメージデータ（文書画像）が入力される。そして、領域分割部３０１は、入力されたイメージデータから文字、写真、図、表等ページ内に配置されたオブジェクトの領域（オブジェクト領域）を抽出するために、データ中の画素の抽出・グループ化等の処理を行う。さらに領域分割部３０１は、オブジェクト領域の属性情報及びサイズ、並びにオブジェクト領域の近傍に他のオブジェクトが存在するか否かなどの情報を抽出し、当該情報を領域情報として記憶部２１１に保存する。
【００２２】
この際の領域抽出方法（オブジェクト抽出方法、領域分割方法）としては公知の方法を用いればよい。一例を説明すると、まず、入力画像を２値化して２値画像を生成し、２値画像を低解像度化して間引き画像（縮小画像）を作成する。例えば、１／（Ｍ×Ｎ）の間引き画像を作成する際には、２値画像をＭ×Ｎ画素毎に分割し、Ｍ×Ｎ画素内に黒画素が存在すれば縮小後の対応する画素を黒画素とし、存在しなければ白画素とすることにより、間引き画像を作成する。次に、間引き画像において黒画素が連結する部分（連結黒画素）を抽出して当該連結黒画素に外接する矩形を作成していく。文字画像サイズに近い矩形（１文字の矩形）が並んでいる場合や、縦横のどちらかが文字画像サイズに近い矩形（数文字が繋がった連結黒画素の矩形）で短辺の近くに同様の矩形が並んでいる場合は、１つの文字行を構成している文字画像である可能性が高い。この場合は矩形同士を結合して、１つの文字行を表す矩形を得る。そして、１つの文字行を表す矩形の短辺の長さがほぼ同じで、列方向にほぼ等間隔に並んでいる矩形の集合は、本文部である可能性が高いので結合して本文領域を抽出する。また、写真領域や図領域や表領域は、文字画像よりも大きいサイズの連結黒画素により抽出される。その結果、例えば、図５（ａ）の５０１から５０５に示す領域が抽出されることとなる。なお、各領域の属性は、後述するように、そのサイズや縦横比や黒画素密度や、連結黒画素内部に含まれる白画素の輪郭追跡結果等に基づいて判断される。
【００２３】
属性情報付加部３０２は、領域分割部３０１で分割された領域毎に属性を付加する。図５（ａ）に示されたイメージを入力イメージデータの例として処理動作を説明する。領域５０５は、その領域内の文字列が所定の量の文字数や行数を有し、文字列が段落の形態を有するなど、総合的な点から本文であると判定され、『本文』の属性が付加される。残りの領域については、まず、属性情報付加部３０２は、文字画像サイズに近い矩形が含まれている領域か否かを判断する。特に、文字画像が含まれている領域は、領域内で文字画像の矩形が周期的に現れる。そのため、矩形が現れる周期性の有無により領域内に文字が含まれている領域であるか否かを判断することができる。その結果、領域５０１及び領域５０４は文字が含まれる領域としてこれらの領域のメタデータに『文字領域』の属性を付加する。ただし、これらの領域は、所定の量の文字数及び行数を有さず、文字列が段落の形態を持たないなどの点から、『本文』の属性は付加されないことになる。
【００２４】
一方、それ以外の領域については、領域の大きさが非常に小さければ『ノイズ』と判定する。また、画素密度が小さい連結黒画素について、その内部の白画素輪郭追跡を行ったときに、その白画素輪郭の外接矩形が整然と並んでいる場合は当該領域を『表』と判断し、整然と並んでいない場合は『線画』と判断する。それ以外の画素密度の高いものは絵や写真であるとして『写真』の属性を付加する。
【００２５】
更に、本文でないと判断された文字領域が、『表』、『線画』又は『写真』の近傍（領域の上または下）に存在する場合、当該文字領域は、当該『表』、『線画』又は『写真』の領域を説明する文字領域であると判断され、『キャプション』の属性が付加される。尚、『キャプション』の属性が付加された領域は、そのキャプションにより説明されている『表』、『線画』又は『写真』の領域を特定できるように、当該説明されている領域と関連付けて記憶部２１１などの記憶手段に保存される。
【００２６】
また、本文でないと判断された文字領域が、本文部の文字画像より大きく、本文部の段組とは異なる位置にあれば、当該文字領域に『見出し』の属性を付加する。また、当該文字領域が、本文部の文字画像より大きく、本文部の段組の上部に存在すれば、属性を『小見出し』とする。更に、当該文字領域が、本文部の文字画像のサイズ以下の文字画像であり、原稿の下端部や上端部に存在すれば『ページ』（又は、「ページヘッダ」若しくは「ページフッタ」）の属性が付加される。また、文字領域として判断されたが、『本文』、『見出し』、『小見出し』、『キャプション』、又は『ページ』のどれにも当てはまらなかった場合、『文字』の属性が付加される。
【００２７】
以上のような属性情報付加処理を行うと、図５（ａ）の例では、領域５０１には『見出し』、領域５０２には『表』、領域５０３には『写真』、領域５０４には領域５０３に付随する『キャプション』、領域５０５には『本文』の属性が付加されることとなる。
【００２８】
文字認識部３０３は、文字画像を含む領域（『文字』、『本文』、『見出し』、『小見出し』、又は『キャプション』領域）について、公知の文字認識処理を実行する。文字認識部３０３は、文字認識処理によって得られた文字コード列を文字情報として対象領域と関連付けて記憶部２１１に保存する。
【００２９】
領域分割部３０１、属性情報付加部３０２、及び文字認識部３０３における処理により抽出された、領域の位置や大きさや領域属性の情報、ページの情報、及び文字認識結果の文字情報（文字コード情報）等は、記憶部２１１に保存される。図５（ｂ）は、図５（ａ）の入力イメージデータに対して処理を行った場合に記憶部２１１に保存される情報の例を示す。なお、図５（ａ）の説明および図５（ｂ）に示された例では省略されているが、表内の文字画像の領域に関しては、『表内文字』の属性を付加して文字認識処理を行って、図５（ｂ）のように情報を保存しておくのが望ましい。
【００３０】
メタデータ処理部３０４は、属性情報付加部３０２で検出されたキャプションが付随するオブジェクト（『写真』、『線画』、『表』等のオブジェクト）に対し、当該オブジェクトを検索するための情報としてメタデータを関連づけて記憶部２１１に保存する。
【００３１】
本実施例では、当該オブジェクトのキャプションに記載されている文字列と、当該キャプションに含まれる文字（単語）と同じ文字（単語）が記載されている本文中の文章とが、オブジェクト検索用のメタデータの中で関連付けられる。
【００３２】
また、本実施例では、オブジェクト検索用のメタデータとして使用する文字列を決定するために、キャプション用識別子を用いるものとする。当該識別子は、キャプションが付随するオブジェクトと、キャプションおよび本文の文字情報とを対応づけるためのものである。キャプション用識別子として、オブジェクトを識別するためのＩＤ（識別情報）、キャプションや本文の文字情報の格納位置を指定する位置情報（記録位置を示すアドレスやポインタ）、参照情報（例えばＸＭＬＰａｔｈやＵＲＬ）等を用いることが可能である。本実施例では、１ページまたは複数ページを入力とする一連の処理において、キャプション付きのオブジェクトを一意に識別するためのＩＤを用いるものとし、例えば、通し番号のようなものを使用することとする。
【００３３】
そこで、まず、メタデータ処理部３０４では、属性情報付加部３０２で検出されたキャプションが付随するオブジェクトに対して、それらを一意に特定する為のキャプション識別子を作成し、この識別子を当該オブジェクトに付与する処理を行う。
【００３４】
次に、文字認識部３０３が出力したキャプションおよび本文の文字情報から、オブジェクトに対する説明文、キーワード等に相当するメタデータ文字列を抽出して、これに対して、対応するキャプション識別子を関連付けて記憶部２１１に保管する処理を行う。この際に、キャプションが付随するオブジェクトとメタデータ文字列の組み合わせに対して、その対応がわかるようにユニークなＩＤを付加することで、その対応を表現する。
【００３５】
これにより、メタデータ処理部３０４は、属性情報付加部３０２で検出されたキャプションが付随するオブジェクトに対し、そのメタデータを関係づけて、当該関係づけた情報を記憶部２１１に保管する。
【００３６】
フォーマット変換部３０５は、領域分割部３０１、属性情報付加部３０２、文字認識部３０３、及びメタデータ処理部３０４から得られた情報を用いて、入力されたイメージデータ３００を所定の電子文書フォーマットへ変換する。当該電子文書フォーマットとして、例えば、ＰＤＦ、ＳＶＧ，ＸＰＳ、ＯｆｆｉｃｅＯｐｅｎＸＭＬ等が考えられる。フォーマット変換で生成される電子文書は、グラフィックス等によるページ表示情報（表示用画像等）と、文字等の意味記述による内容情報（メタデータ等）を含む。
【００３７】
図４はフォーマット変換部３０５の構成例を示すブロック図である。画像フィルタ処理部４０１は入力された画像データに対して、平坦化やスムージング、エッジ強調、色量子化、２値化等のフィルタ処理を施す。ベクトル変換処理部４０２は、画像データ（例えば、『線画』属性が付与された領域に対応する部分の画像）をベクトルパス記述のグラフィックスデータ（ベクトルデータ）へと変換する。ベクトルデータへ変換する技術は公知のベクトル化技術を用いることが可能である。画像切り出し処理部４０３は、画像データ（例えば、『写真』属性が付与された領域に対応する部分の画像）を、画像パーツのグラフィックスデータ（例えばＪＰＥＧデータ）として切り出す。電子文書記述生成部４０４は、オブジェクト検索時に、検索結果を特定・強調する際に表示される枠などのグラフィックス記述（ベクトルパス記述）を生成する。電子文書記述出力部４０５は、グラフィックスデータ、意味記述、及び枠のベクトルパス記述を所定フォーマット形式で記述し、電子文書を生成する。ここで、グラフィックスデータは、ベクトル変換処理部４０２および画像切り出し処理部４０３から出力されるデータである。意味記述は、文字認識部３０３やメタデータ処理部３０４で得た文字情報やメタデータ等である。枠のベクトルパス記述は、電子文書記述生成部４０４で生成される記述である。フォーマット変換制御部４０６は、図２の記憶部２１１に保管されている領域情報（位置、大きさ、属性）４１１、領域内の文字情報４１２、及びメタデータ４１３に基づいて、イメージデータ３００中の各領域を適切な処理部４０１〜４０５へと配分する。そして、フォーマット変換制御部４０６は、各処理部４０１〜４０４から出力されたデータが電子文書記述出力部４０５で統合されるように、フォーマット変換部３０５全体の制御を行う。
【００３８】
以下に４０１〜４０５の各処理部の処理内容例について説明する。
画像フィルタ処理部４０１は、画像に対して、平坦化、スムージング、エッジ強調、色量子化、２値化等の公知の画像フィルタ処理を施す処理部であり、ベクトル変換処理部４０２や画像切り出し処理部４０３で処理を行う際に、必要に応じて画像処理を行う。具体的な説明は省略するが、ベクトル変換処理を行う際に適した画像処理や、画像切り出し処理を行う際に適した画像処理が行われるものとする。
【００３９】
ベクトル変換処理部４０２は、線画や表罫線等の画像領域の対象画素集合を、ベクトルパス描画関数によるグラフィックス描画表現、すなわちベクトルパス記述データへと変換する。
【００４０】
ベクトル変換処理の一例を説明する。まず変換対象の画像を２値画像データに変換する。例えば、変換対象の画像がグレースケール画像の場合は、画像フィルタ処理部４０１を用いて各画素の輝度を所定しきい値と比較して２値化することによって２値画像データを得る処理を行う。なお、変換対象の画像が複数色を含む場合は、色成分毎に分解して色毎の２値画像データを生成するようにしてもよい。次に２値画像データ内で連結する黒画素集合に対して輪郭追跡を行って、集合毎に輪郭の座標点列を取得する。続いて輪郭の座標点列を複数の区間に適応的に分割し、各々の区間を直線関数や曲線関数で近似する。曲線関数の例としてはスプライン曲線、ベジェ曲線等がある。最終的に、始点、直線および曲線、終端の１組からなるベクトルパス記述へと変換する。
【００４１】
なお、ベクトル化手法は上記手法に限るものではなく、他の公知のベクトル化手法を用いてもよい。例えば、輪郭を関数近似する代わりに、線図形の芯線を関数近似するベクトル化手法も良く知られている。
【００４２】
画像切り出し処理部４０３は、入力画像中の対象領域に対し、領域内の画素データのみを用いた個別の画像パーツデータを生成する。本処理の際に、領域の特性にあわせて画素データ種別や圧縮方法を変更してもよい。例えば『線画』や『文字』属性の領域に対しては、画像フィルタ処理部４０１を用いて色毎に２値画像（１枚または複数枚の２値画像）へ変換した後に、ＭＭＲ等公知の２値圧縮方式でデータ化するともに、各２値画像に対応する色情報を付加したデータを生成する。一方、『写真』属性の領域に対しては、自然画の圧縮に適したＪＰＥＧやＪＰＥＧ２０００方式を用いて圧縮する。
【００４３】
なお、ベクトル変換処理部４０２によるベクトル変換と、画像切り出し処理部４０３による画像圧縮は、領域の属性に応じて、どちらか一方を行うように設定してもよいし、両方を行うように設定してもよい。また、本文や見だしやキャプション等の文字領域に関しては、文字認識結果の類似度が高ければ、当該文字認識結果の文字コード、文字のサイズ情報、及び文字の位置情報等を記述し、当該文字領域部分のグラフィックスを再現するようにしてもよい。
【００４４】
電子文書記述生成部４０４では、電子文書の閲覧時には表示されないが、オブジェクト検索時に、検索結果を特定・強調する際に表示される枠などのグラフィックス記述（ベクトルパス記述）を生成する。その際、該オブジェクトの属性やサイズ、他オブジェクトとの関係性などを解析し、当該オブジェクトに最適な強調表示用の枠を生成する方法を決定する。枠の生成方法としては、当該オブジェクトのベクトルパス記述を参照する方法と、予め定義された既定形状（例えば、矩形や円形等）のベクトルパス記述を参照する方法がある。また、透明枠に対し、オブジェクトの検索結果の認識・識別効率を高めるための補足形状のベクトルパス記述を電子文書に追加することも可能である。当該補足形状の例は、透明枠の位置を指し示す矢印表記や、メタデータ文字列などである。
【００４５】
電子文書記述出力部４０５は、グラフィックスデータ、意味記述、及び透明枠のベクトルパス記述を所定フォーマット形式で記述し、電子文書を生成する。ここで、グラフィックスデータは、ベクトル変換処理部４０２及び画像切り出し処理部４０３から出力されたデータである。意味記述は、文字認識部３０３やメタデータ処理部３０４で得た文字情報やメタデータ等である。透明枠のベクトルパス記述は、電子文書記述生成部４０４で生成された記述である。
【００４６】
生成される電子文書データ３１０の例を図６に示す。図６の例は、図５（ａ）のイメージデータ５００の例を処理した場合に、記憶部２１１に保存された図５（ｂ）のようなデータに基づいて、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）フォーマットで記述を行った場合の例を示す。図６の記述６０１〜６０５は、それぞれ図５（ａ）の領域５０１〜５０５に対するグラフィックス記述である。ここで、記述６０１、６０４および６０５は文字コードによる文字描画記述の例である。記述６０２はベクトル変換された表の枠のベクトルパス記述である。記述６０３は切り出し処理された写真画像を貼り付ける記述の例である。また、記述６０６は写真オブジェクト５０３に対する強調表示用の透明枠（詳細は後述する）のベクトルパス記述である。キャプションが付随する透明枠オブジェクト６０６には、キャプション識別子（ｃａｐｔｉｏｎ＿ｉｄ）６０８として‘‘１’’が付与されている。なお、図５（ｂ）と図６の例で、座標値Ｘ１、Ｙ１等記号で記述されている部分は実際には数値である。また、記述６０７はメタデータの記述例である。メタデータの記述６０７には、キャプション６０４の文字列と本文の文字列とに基づいて抽出した文字列６１０として「ＡＡＡ」が記述され、キャプション識別子６０８と同じ識別子６０９が関連づけられている。なお、図６の例では、単語「図１」を含む本文の個所「・・・図１は、ＡＡＡである。・・・」という文章から、単語「ＡＡＡ」を抽出してメタデータ６１０としたが、単語に限るものではなく、文章（例えば「図１」を含む１文）をそのままメタデータとして付与してもよい。また、図６の例では、本文から抽出した文字列をメタデータとしているが、これに限るものではなく、キャプションの文字列から抽出した単語をメタデータとして更に追加するように構成してもよい。
【００４７】
なお、ここではＳＶＧを例として説明したが、出力フォーマットはＳＶＧに限定されるものではなく、ＰＤＦ、ＸＰＳ、Ｏｆｆｉｃｅ Ｏｐｅｎ ＸＭＬ、その他のＰＤＬ系のデータ形式等に変換してもよい。
【００４８】
フォーマット変換制御部４０６における変換処理制御の例について以下に説明する。
【００４９】
フォーマット変換部３０５において、各領域に施すべき変換処理内容は、領域の属性によって異なる。例えば、ベクトル変換処理は文字や線画のように白黒あるいは数色で構成された図形に対しては好適であるが、写真のように階調性のある画像領域には不適である。このように、各領域の属性に従った適切な変換を行うためには、図７のような対応テーブルをあらかじめ設定しておけばよい。
【００５０】
例えば、図７（ａ）の設定に従えば、『文字』、『線画』および『表』属性の領域に対してはベクトル変換処理が、『写真』属性の領域に対しては画像切り出し処理が行われる。
【００５１】
さらに、図７の対応テーブルには、該当領域の画素情報をイメージデータ３００から消去する処理の有無が記載されている。例えば、図７（ａ）の設定に従って『文字』属性の領域をベクトルパス記述データに変換する場合を説明する。『文字』属性は、消去処理「あり」と指示されているので、イメージデータ３００上において、当該変換されたベクトルパスに覆われる部分に対応する画素をその周辺色で塗りつぶす処理を行う。同様に、『写真』属性の領域を矩形の画像パーツとして切り出す際には、イメージデータ３００上において、当該切り出された領域に対応する領域範囲内を、その周辺色等で塗りつぶす処理を行う。
【００５２】
このような消去処理を行う目的としては、各領域に対する処理が終了した後（塗りつぶし処理終了後）のイメージデータ３００を『背景』の画像パーツデータとして利用できることである。この背景用の画像データ（背景画像）には、領域分割処理で抽出された領域以外の部分（例えばイメージデータ３００中の下地にあたるような画素）が残っている。電子文書データ記述の際には、ベクトル変換処理部４０２や画像切り出し処理部４０３で得られたグラフィックスデータ（前景画像）を背景画像パーツデータ（背景画像）の上に重畳して表示するような記述を行う。これにより、背景画素（下地の色）の情報欠落がなくなり、かつ冗長性のないグラフィックスデータを構成することが可能となる。
【００５３】
図７（ｂ）は対応テーブルの別の例である。図７（ｂ）に従えば、『文字』領域部分に対しては、２値による画像切り出し処理と、イメージデータ３００からの画素消去処理が行われるが、それ以外の属性の領域に対しては、ベクトル化処理や画像切り出し処理は行われない。すなわち、処理対象外の画素（『写真』や『線画』や『表』属性の領域内の画素情報）は、背景画像パーツデータ内に残っており、この背景画像上に『文字』の画像パーツを重畳するように記述される。
【００５４】
また、図７（ｃ）、図７（ｄ）は別の対応テーブルの例であるが、これらの詳細な説明は後述する。
【００５５】
なお、図７（ａ）〜（ｄ）のような対応テーブルを予め複数用意しておき、出力電子文書データの用途（使用目的）や文書の内容に応じて選択するようにしても良い。例えば、図７（ａ）の対応テーブルに基づいた出力は、オブジェクトの大半がベクトルパス記述へと変換されているため、拡大縮小時の画質に優れているので、グラフィックエディタ等の再利用用途に好適である。また、図７（ｂ）の対応テーブルは、文字画像を文字色ごとに個別の２値画像を生成して可逆圧縮することで、文字画像部分は高品位に再生することができ、かつ、それ以外を背景画像としてＪＰＥＧ圧縮することでデータサイズの圧縮率を高くすることができる。したがって、図７（ｂ）の場合は、圧縮率を高くしつつ文字画像が読みやすいデータを作成したい場合に適している。
【００５６】
［処理のフロー］
次に、本実施例の画像処理システムで実行する処理全体の概要を、図８のフローチャートを用いて説明する。図８に示すフローチャートは、図２のデータ処理部２１８（図３の各処理部３０１〜３０５）によって実行されるものとする。なお、本実施形態では、ＣＰＵ２０５が記憶部２１１に格納されたコンピュータプログラムを読み取り実行することによって、データ処理部２１８（図３の各処理部３０１〜３０５）として機能するものとするが、これに限るものではない。例えば、データ処理部２１８（図３の各処理部３０１〜３０５）を、電子回路等のハードウェアで実現するように構成してもよい。
【００５７】
図８は、図１のＭＦＰ１００で入力された複数ページのイメージデータを、複数ページからなる電子文書データに変換する処理のフローチャートである。尚、複数ページのイメージデータとしては、例えば、図９（ａ）のページ画像９０１〜９０４が入力されるものとする。図９（ａ）は、４ページで構成される文書画像の一例であり、画像９０１〜９０４は順に１〜４ページとする。以下、図８のフローチャートの各説明を行う。
【００５８】
ステップＳ８０１において、領域分割部３０１は、入力された１ページ分のイメージデータから領域（オブジェクト）を分割（抽出）する。例えば、図９（ａ）のイメージデータ９０１（１ページ目）に対しては領域９０５及び９０６を抽出する。
【００５９】
ステップＳ８０２において、属性情報付加部３０２は、ステップＳ８０１で抽出された各領域に属性を付加する。図９（ａ）の１ページ目の例では、領域９０５には『写真』、領域９０６は『キャプション』の属性を付加する。尚、このキャプションの領域９０６には、付随する領域が領域９０５であるという情報も付加する。また、２ページ目の例では、領域９０７、９０８、及び９１１には『線画』の属性が、領域９０９、９１０、及び９１２には『キャプション』の属性が付加される。また、これらのキャプション９０９、９１０、及び９１２には、付随する領域がそれぞれ９０７、９０８、及び９１１であるという情報も関連付けて記憶部２１１に保存されている。
【００６０】
ステップＳ８０３において、文字認識部３０３は、ステップＳ８０２で文字（本文、キャプション、見出し、小見出し等）の属性を付加した領域に対して文字認識処理を実行し、その結果を文字情報として対象領域に関連付けて保持する。１ページ目の例では、文字である『キャプション』属性が付加された領域９０６に対して文字認識処理を行って、文字情報『図１』が得られ、領域９０６に関連付けを行う。
【００６１】
ステップＳ８０４において、データ処理部２１８は、ステップＳ８０１〜Ｓ８０３の情報抽出処理を全てのページに対して行った否かを判断する。全てのページを処理していればステップＳ８０５へ進む。未処理のページがあればステップＳ８０１から繰り返す。
【００６２】
図９（ａ）の画像９０１〜９０４に対して、ステップＳ８０１〜Ｓ８０４の処理を行った結果として、抽出される領域の位置や大きさ等の情報、ページの情報、領域の属性、及び領域の文字情報の例を図９（ｂ）に示す。また、領域９１３〜９１５はそれぞれ２〜４ページ目から抽出された『本文』属性の領域である。これらの情報は記憶部２１１に保存されている。
【００６３】
ステップＳ８０５において、メタデータ処理部３０４は、メタデータ抽出処理およびメタデータ付与処理を行う。ステップＳ８０５でメタデータ処理部３０４が実行する処理の詳細については、図１０のフローチャートを用いて説明する。
【００６４】
図１０のステップＳ１００１において、メタデータ処理部３０４は、記憶部２１１に保存された領域情報において、『キャプション』属性が付与された領域のうち、本メタデータ処理が行われていないものを一つ選出する。すなわち、未処理のキャプション領域があれば、当該未処理キャプション領域を処理対象として選択してステップＳ１００２に進む。キャプション領域が存在しないか、すべて処理済みであった場合にはメタデータ処理を終了する。図９（ａ）の画像９０１〜９０４を入力とした場合、キャプション領域９０６が最初に選出され、９０９，９１０，９１２と続いて選択される。
【００６５】
ステップＳ１００２において、メタデータ処理部３０４は、当該処理対象のキャプションが付随するオブジェクトに対してキャプション識別子を付与し、さらに記憶部２１１に当該付与したキャプション識別子用のメタデータ記憶領域を確保する。ここではキャプション９０６が付随する写真オブジェクト９０５に対し、キャプション識別子「１」が付与され、記憶部２１１に当該キャプション識別子「１」用のメタデータ記憶領域が確保されるものとする。
【００６６】
ステップＳ１００３において、メタデータ処理部３０４は、キャプション領域内の文字認識情報から、アンカー文字列およびメタデータ文字列を抽出する。アンカー文字列とは、元の文書中でこのキャプションが付随するオブジェクトを識別するための文字情報である。メタデータ文字列とは、オブジェクトを説明するための文字情報である。オブジェクトに付随するキャプションには、アンカー文字列のみが記載される場合、メタデータ文字列のみが記載される場合、さらに両方が記載される場合がある。例えば、アンカー文字列は「図」や「Ｆｉｇ」等、特定の文字列と、番号や記号との組み合わせ表現された図番号である場合が多い。そこで、それら特定の文字列を登録したアンカー文字列用辞書を予め用意しておき、キャプション文字列を該辞書と比較してアンカー部分（アンカー文字列＋数記号）を特定すればよい。そして、キャプション領域の文字列のうち、アンカー部分以外の文字列をメタデータ文字列として判断すればよい。例えば、「図１カメラ」というキャプションの場合には、「図１」がアンカー文字列にあたり、「カメラ」がメタデータ文字列に当たる。
【００６７】
ステップＳ１００４において、メタデータ処理部３０４は、ステップＳ１００３でキャプション領域からメタデータ文字列が抽出されたか否かを判断する。メタデータ文字列が抽出された場合はステップＳ１００５に進み、メタデータ文字列が抽出されなかった場合はステップＳ１００６に進む。
【００６８】
ステップＳ１００５において、メタデータ処理部３０４は、キャプション領域から抽出されたメタデータ文字列を、ステップＳ１００２で付与されたキャプション識別子用の記憶領域に保存し、ステップＳ１００６に進む。すなわち、キャプション領域から抽出されたメタデータ文字列を当該キャプション識別子と関連付ける。
【００６９】
ステップＳ１００６において、メタデータ処理部３０４は、ステップＳ１００３でキャプション領域からアンカー文字列が抽出されたか否かを判断し、アンカー文字列が抽出された場合はステップＳ１００７に進む。一方、アンカー文字列が抽出されなかった場合はステップＳ１００１に戻って、未処理のキャプション領域があるかどうか判断する。
【００７０】
図９（ａ）の入力例の１ページ目９０１では、キャプション領域９０６からはアンカー文字列として「図１」が抽出されるがメタデータ文字列は抽出されないのでステップＳ１００４からＳ１００６、Ｓ１００７へと進む。
【００７１】
ステップＳ１００７において、メタデータ処理部３０４は、当該抽出されたアンカー文字列と同等の文字列表現を、記憶部２１１に格納された『本文』領域の文字情報から検出する。同等の文字列表現を検出した場合は、ステップＳ１００８に進む。検出されなかった場合はステップＳ１００１に戻って未処理のキャプション領域があるかどうか判断する。
【００７２】
ステップＳ１００８において、メタデータ処理部３０４は、ステップＳ１００７で本文から検出された文字列表現の周辺から、オブジェクトのメタデータに相当する文字列を抽出する。図９（ａ）の入力例では、本文領域９１５から、アンカー文字列「図１」９０６と同じ文字列９１６が検出されるので、その周辺の文字列「図１のカメラで撮影した。」に形態素解析等を行い、単語「カメラ」がメタデータ文字列として抽出される。このメタデータ文字列の判断には自然言語処理の形態素解析等で単語切り機能を用いればよい。なお、本実施形態では単語を抽出してメタデータ文字列とする例を示したが、これに限るものではなく、例えば、アンカー文字列を含む１文をそのままメタデータ文字列として用いるようにしても構わない。
【００７３】
ステップＳ１００９では、メタデータ処理部３０４は、ステップＳ１００８で抽出したメタデータ文字列を、前記キャプション識別子用の記憶領域に追加保存する。すなわち、本文から抽出されたメタデータ文字列をキャプション識別子と関連付ける。そしてＳ１００７に戻って、本文の別の部分に同様のアンカー文字列の記述があるかどうか繰り返し、あれば順次追加保存していく。したがって、１つのキャプション識別子に対して、複数のメタデータ文字列が関連づけられる場合もある。
【００７４】
図８に戻って、ステップＳ８０６において、フォーマット変換部３０５は、イメージデータ３００および、記憶部２１１に保存された図９（ｂ）に示すような情報に基づいて、電子文書データ３１０への変換を行う。なお、図４で説明したように、フォーマット変換部３０５は、フォーマット変換制御部４０６の制御により、各領域に施すべき変換処理方法を記した対応テーブルに従って、図８のイメージデータ３００内の領域に対してフォーマット変換処理を実行する。ここでは、図７（ｃ）の対応テーブルを用いて変換を制御する際のフォーマット変換処理のフローを、図１１のフローチャートを用いて説明する。
【００７５】
図１１のステップＳ１１０１において、フォーマット変換制御部４０６は、処理ページ番号のカウンタｎを１で初期化する。
【００７６】
ステップＳ１１０２において、フォーマット変換制御部４０６は、図４の領域情報４１１中のｎページ目のデータの中から、未処理の領域のうちの一つを処理対象領域として選出する。
【００７７】
ステップＳ１１０３において、フォーマット変換制御部４０６は、当該処理対象領域の属性と対応テーブルと照らし合わせて属性毎に処理を分岐する。本例では、図７（ｃ）の対応テーブルを用いて判断するので、文字か否かの判断が行われる。すなわち、属性が文字（『本文』、『キャプション』、『ページ』、又は『見出し』）の場合はステップＳ１１０４に進み、属性が『写真』、『線画』、又は『表』の場合はステップＳ１１０６に進む。
【００７８】
ステップＳ１１０４において、図７（ｃ）の対応テーブルの設定に従って、画像切り出し処理部４０３が、イメージデータ３００中の当該処理対象の『文字』属性領域に対応する部分の２値画像（２値画像パーツ）を作成する。作成された２値画像パーツは、例えばＰＮＧフォーマット等で圧縮されて図２の記憶部２１１に保存される。なお、この２値画像パーツ中の文字線に相当する画素には、別途イメージデータ３００中の該当文字画素の色より取得された文字色情報が付与され、それ以外の画素には透明色が付与される。
【００７９】
ステップＳ１１０５において、図７（ｃ）には文字領域の消去処理指示が設定されているため、フォーマット変換制御部４０６は、図４のイメージデータ３００中の文字部分に対応する画素を周囲の画素色で塗りつぶす消去処理を行う。
【００８０】
一方、ステップＳ１１０３で、『写真』、『線画』、又は『表』と判定された領域に対し、ステップＳ１１０６では、フォーマット変換制御部４０６が、当該処理対象領域にキャプション識別子が付与されているか否かを調べる。付与されていればステップＳ１１０７へ進み、付与されていなければステップＳ１１１０に進む。
【００８１】
ステップＳ１１０７において、図４の画像切り出し処理部４０３とベクトル変換処理部４０２が、図７（ｃ）の対応テーブルの設定に従って、グラフィックス記述生成を行う。すなわち、『写真』属性が付与された領域に対しては、画像切り出しによる画像パーツ記述が生成され、『線画』又は『表』属性が付与された領域に対しては、ベクトル変換によるベクトルパス記述が生成される。
【００８２】
ステップＳ１１０８において、図７（ｃ）の対応テーブルの設定に従って、フォーマット変換制御部４０６が、図４のイメージデータ３００中の『写真』、『線画』、又は『表』に対応する画素情報を、周囲の画素色で塗りつぶす消去処理を行う。
【００８３】
ステップＳ１１０９において、フォーマット変換制御部４０６は、図７（ｃ）の対応テーブルの設定に従って、電子文書記述生成部４０４に、当該処理対象領域を囲む枠に相当するベクトルパス記述データを生成させる。更に、ステップＳ１１０９では、当該生成した枠のベクトルパス記述データに対して、当該処理対象領域のキャプション識別子を付与し、その枠のベクトルパス記述データの描画色として透明色を割りあてるものとする。このようにして生成されたベクトルパス記述データは、図２の記憶部２１１に保存される。ステップＳ１１０９で電子文書記述生成部４０４が実行する透明枠のベクトルパス記述データ生成処理の詳細については、図１２のフローチャートを用いて説明する。
【００８４】
図１２のステップＳ１２０１において、電子文書記述生成部４０４は、当該処理対象のキャプションが付随するオブジェクトについての情報である領域情報を取得する。領域情報としては、例えば、領域の位置や大きさ、領域の属性、隣接オブジェクト情報等である。これらの情報は記憶部２１１に保存されている。
【００８５】
ステップＳ１２０２において、電子文書記述生成部４０４は、当該処理対象領域がベクトルパス記述で表現されているかどうかを判定する。ベクトルパス記述で表現されている場合（例えば、『線画』又は『表』属性が付与された領域の場合）、ステップＳ１２０３へ進み、ベクトルパス記述以外の場合（例えば、『写真』属性が付与された領域の場合）、ステップＳ１２０６へ進む。例えば、図９（ａ）のページ画像９０１〜９０４を入力文書とした場合を説明する。『線画』属性が付与されているオブジェクト９０７，９０８，及び９１１に対する処理のときはステップＳ１２０３へ進み、『写真』属性が付与されたオブジェクト９０５に対する処理のときはステップＳ１２０６へ進む。
【００８６】
ステップＳ１２０３において、電子文書記述生成部４０４は、当該処理対象領域のサイズを所定の閾値と比較する。処理対象領域のサイズが所定の閾値より小さい場合（例えば、図９（ａ）の９１１の場合）はステップＳ１２０５に進み、所定サイズ以上のサイズの場合（例えば、図９（ａ）の９０７又は９０８の場合）はステップＳ１２０４へ進む。すなわち、処理対象領域のサイズに応じて、処理が分岐する。
【００８７】
ステップＳ１２０４において、電子文書記述生成部４０４は、処理対象領域の近傍に他のオブジェクトが存在しているかどうかを判定する。他のオブジェクトが存在している場合（例えば、図９（ａ）のオブジェクト９０７、９０８）はステップＳ１２０５に進み、存在しない場合はステップＳ１２０６に進む。すなわち、処理対象領域の近傍に他のオブジェクトが存在しているか否かに応じて処理が分岐する。
【００８８】
このように、Ｓ１２０２、Ｓ１２０３及びＳ１２０４の処理によれば、領域情報（処理対象領域の属性情報及びサイズ、及び処理対象領域の近傍に他のオブジェクトが存在するか否か）に応じて以降の処理が分岐する。当該分岐の結果、後述する透明枠のベクトルパス記述の記述方法が変更される。透明枠とは、オブジェクトを囲む透明色の枠である。
【００８９】
ステップＳ１２０５において、電子文書記述生成部４０４は、図１１のステップＳ１１０７で生成された、当該処理対象のオブジェクトのベクトルパス記述データを参照（再利用）することによって、透明枠のベクトルパス記述を生成する。透明枠のベクトルパス記述データは、オブジェクトのベクトルパス記述データへの参照命令、枠の拡大、枠の位置の移動、枠の太さ、枠の強調色等のパラメータ記述を含むデータである。このとき、枠のサイズが、当該オブジェクトのベクトルパス記述よりも数ピクセル分大きくなるように、拡大のパラメータを設定する。なお、オブジェクトのベクトルパス記述を参照する際、オブジェクトの外輪郭を表す部分のベクトルパス記述を参照するように設定するのが望ましい。すなわち、枠のベクトルパス記述データは、オブジェクトの形状に相似する形状を有し、且つ、オブジェクトのサイズよりも数ピクセル分大きいサイズで記述されることになる。透明枠のベクトルパス記述データは、当該枠を強調表示する際に点滅表示させるためのパラメータを含んでも良い。また、枠のベクトルパス記述データから枠を通常描画するときの色として、透明色を割りあてる。透明色であるため、当該枠のベクトルパス記述の描画結果は、通常の表示を行う際は、描画されたページの視認性に影響を与えない。なお、あるオブジェクトが検索結果として検出された際に、当該オブジェクトを囲む透明枠に強調色を付する、又は当該枠を太くする若しくは点滅表示等することによって、当該枠を前述のパラメータ記述に応じて強調表示することができる。当該強調表示の結果、検索により検出されたオブジェクトを検索結果として認識することができる。
【００９０】
ここで電子文書データの記述例を示す図１５を参照して、図９のオブジェクト９０７に対して生成された透明枠のベクトルパス記述の例を説明する。オブジェクト９０７のベクトルパス記述である記述１５１２には、当該記述を参照するためのＩＤ（ｖｅｃ＿ｉｍｇ１）が付与されて記述されている。透明枠のベクトルパス記述である記述１５１５は、この参照用ＩＤを参照する記述（ｕｓｅコマンド）とパラメータ記述を用いて記述されている。すなわち、透明枠のベクトルパス記述は、オブジェクトのベクトルパス記述データを参照（利用）することによって生成される。透明枠のベクトルパス記述の詳細は後述する。
【００９１】
一方、ステップＳ１２０６において、電子文書記述生成部４０４は、予め定義されている既定形状（例えば、矩形や円形、六角形等）のベクトルパス記述データを参照（利用）することによって、透明枠のベクトルパス記述データを生成する。すなわち、透明枠のベクトルパス記述データは、既定形状のベクトルパス記述データへの参照命令のパラメータ記述を含む。透明枠のベクトルパス記述は、当該処理対象のオブジェクトの外接図形よりも少し大きめ（例えば、オブジェクトの外接図形周囲に５ｐｉｘ分のスペースを空ける等）となるように記述する。枠のベクトルパス記述データの描画色として透明色を割りあてる。このように透明枠のベクトルパス記述がオブジェクトの外接図形よりも少し大きめに記述されることによって、当該枠のベクトルパス記述の描画結果を強調表示した際に、当該枠に囲まれたオブジェクトを視認しやすくなる。
【００９２】
例えば図９のオブジェクト９０５に対する透明枠のベクトルパス記述を生成する場合は、図１５の１５０５で既定形状として定義されている矩形のベクトルパス記述（参照用ＩＤ：ｆｒａｍｅ＿ｓｑｕａｒｅ）を利用する。そして、この参照用ＩＤを参照する記述（ｕｓｅコマンド）とパラメータ記述を用いて、透明枠のベクトルパス記述１５１１を生成する。透明枠のベクトルパス記述の詳細は後述する。
【００９３】
以上の処理によれば、処理対象領域の属性情報及び領域情報に応じて、透明枠のベクトルパス記述の記述方法（Ｓ１２０５又はＳ１２０６）が選択される。すなわち、領域情報等に応じた形状で透明枠のベクトルパス記述を生成する。その結果、検索の結果検出されたオブジェクトを囲む枠を強調表示した場合に、当該オブジェクトを視認しやすくすることができる。
【００９４】
なお、領域のサイズに応じて透明枠のベクトルパス記述の記述方法を変更することによって、当該領域（オブジェクト）が小さい場合であっても、どのオブジェクトが検索により検出されたしたのかを認識しやすいように枠を強調表示することができる。
【００９５】
また、領域の近傍に他のオブジェクトが存在しているか否かに応じて透明枠のベクトルパス記述の記述方法を変更するため、近傍に他のオブジェクトが存在している場合であっても、検索により検出されたオブジェクトを他のオブジェクトと誤認しにくくなる。
【００９６】
ステップＳ１２０７において、電子文書記述生成部４０４は、ステップＳ１２０５及びＳ１２０６で生成された枠（又はオブジェクト）をさらに補足的に強調させる（指し示す）ための追加の透明形状のベクトルパス記述を生成する。当該透明形状の例としては、オブジェクト位置を分かりやすく指し示すための矢印等の記述が考えられる。このとき、追加記述で必要となる矢印等の形状のベクトルパス記述を予め既定形状の一つとして記述し、透明枠のベクトルパス記述に当該ベクトルパス記述の参照を含めることができる。そして、当該枠を強調表示する際に、当該矢印等の透明形状も同様に強調表示する。透明形状を強調表示するための強調色を指定するパラメータについての記述が、当該透明形状のベクトルパス記述に含まれているのが望ましい。また、補足的強調表示を行うために、透明枠のベクトルパス記述から当該オブジェクトに付与されたメタデータ（文字コード）を参照し、当該オブジェクトを説明するための文字列を強調色で描画してもよい。
【００９７】
ステップＳ１２０８において、電子文書記述生成部４０４は、当該生成した枠のベクトルパス記述データに対して、当該処理対象領域のキャプション識別子を付与する。生成された枠のベクトルパス記述データは図２の記憶部２１１に保存される。
【００９８】
図１１に戻って、ステップＳ１１１０において、フォーマット変換制御部４０６は、ｎページ目において未処理の領域があるかを判断する。未処理領域が残っている場合は、ステップＳ１１０２に戻ってステップＳ１１０２〜Ｓ１１０９の処理を繰り返す。ｎページ目の全領域が処理済であればステップＳ１１１１に進む。
【００９９】
ステップＳ１１１１において、フォーマット変換制御部４０６は、図４のイメージデータ３００に対して、画像切り出し処理部４０３で切り出した領域の部分をその周辺色で塗りつぶす処理を行い、背景画像パーツを生成する。すなわち、ステップＳ１１０５でイメージデータ３００から画像パーツとして切り出された『文字』領域の画素（文字線に相当する画素）が、その周囲の色で塗りつぶされて消去される。Ｓ１１０８でイメージデータ３００から画像パーツとして切り出されたベクトルパス記述データとして切り出された『写真』、『線画』及び『表』領域の画素が、その周囲の色で塗りつぶされて消去される。また、それ以外の領域（例えば、下地部分等）は未処理のまま残されている。本例ではこの背景画像パーツを、更に１／２の解像度に低解像度化してからＪＰＥＧ圧縮を施した画像データに変換し、図２の記憶部２１１に保存するものとするが、スムージング等他の画像処理を施して別形式による圧縮をおこなってもよい。
【０１００】
図１３（ａ）及び（ｂ）は、図９（ａ）のイメージデータに対してステップＳ１１０１〜Ｓ１１１１の処理を行った場合に生成される画像パーツおよびベクトルパス記述データの例である。図１３（ａ）は１ページ目のイメージデータ９０１を、図１３（ｂ）は２ページ目のイメージデータ９０２を処理した結果である。符号１３０１，１３０４はステップＳ１１１１で生成される背景画像パーツの例である。背景画像パーツ１３０１，１３０４は、文字画像の部分と切り出されたオブジェクト部分が周辺色で塗りつぶされて消去されているので、それ以外のすべてを含む１枚の画像で構成されている。符号１３０２，１３０５はステップＳ１１０４で生成される文字部分の２値画像パーツ、および、ステップＳ１１０７で生成されるグラフィックス記述データの例である。文字部分の２値画像パーツに関しては、文字色の情報も別途保存しているので、文字線の部分は文字色の画素、それ以外の白い部分は透明色の画素で構成されることになる。なお、本図の画像パーツ１３０２及びグラフィックス記述１３０５の外枠にあたる破線は図示の為の便宜的なものであって、実際の画像パーツは文字部やグラフィックス記述データの部分を囲む最小の矩形範囲で構成されていてもよい。符号１３０３，１３０６は、ステップＳ１１０９（図１２の各処理）で生成される枠のベクトルパス記述データの例である。本図では枠のベクトルパス記述は便宜上黒の太線で書かれているが、実際には透明色によるベクトルパス記述であるので不可視である。また、ベクトルパス記述１３０３，１３０６の外枠にあたる破線は図示の為の便宜的なものであり実際にデータとしては存在しない。
【０１０１】
ステップＳ１１１２において、フォーマット変換制御部４０６は、電子文書記述出力部４０５に、現在処理中のページを所定のフォーマットで電子文書ページ３１０として記述する処理を行わせる。図９（ａ）の１ページ目の画像９０１に対して記述される電子文書ページの例を図１４に示す。図１４の１４００は電子文書ページをＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）フォーマットで記述した例である。電子文書ページ１４００は、背景画像データ記述１４０１、文字部分の２値画像パーツ記述１４０２、透明枠のベクトルパス記述１４０３、及びベクトルパス記述１４０４で構成される。背景画像データ記述１４０１は、図１１のステップＳ１１１１で生成された記述である。文字部分の２値画像パーツ記述１４０２は、ステップＳ１１０４で生成された記述である。透明枠のベクトルパス記述１４０３は、ステップＳ１１０９で生成された記述である。ベクトルパス記述１４０４は、図１２のステップＳ１２０６の処理の際に参照される既定形状を定義した記述である。
【０１０２】
ベクトルパス記述１４０３では、＜ｕｓｅ ｘｌｉｎｋ：ｈｒｅｆ＝“ｆｒａｍｅ＿ｓｑｕａｒｅ”＞と記述することで、後述するベクトルパス記述１４０４で定義された既定形状を参照（再利用）する。そして＜ｔｒａｎｓｆｏｒｍ＝“ｔｒａｎｓｌａｔｅ（１００，１００）ｓｃａｌｅ（２）”＞という記述により、描画位置とサイズを指定することで、透明色で描画される枠を生成している。また、ベクトルパス記述１４０４中の、＜ｉｄ＝“ｆｒａｍｅ＿ｓｑｕａｒｅ”＞は、既定形状として定義されるテンプレートのＩＤを参照するための記述であり、＜ｓｔｒｏｋｅ＝“ｔｒａｎｓｐａｒｅｎｔ”＞は、枠を透明色で描画させるための記述である。即ち、＜ｄ＝”Ｍ４４０，６０８ Ｌ２０４０，６０８ Ｌ２０４０，１８８０ Ｌ４４０，１８８０ Ｌ４４０，６０８ ｓ”＞でベクトルパス記述された形状の図形を透明色で描画することを意味している。規定形状のベクトルパス記述は、矩形に限るものではなく、円形、六角形等自由に定義することが可能であり、複数用意しておいて使い分けてもよい。記述１４０１〜１４０３はそれぞれ図１３（ａ）の符号１３０１〜１３０３に相当するグラフィックス描画記述であり、それらが記述１４０１から順番に重畳描画されるようなグラフィックスデータとして構築されている。すなわち、背景画像が一番下に描画され、その上に文字画像が描画され、更にその上に透明枠が描画されることになる。また、透明枠のベクトルパス記述（グラフィックス記述）１４０３にはキャプション識別子１４０５が付与されている。
【０１０３】
ステップＳ１１１３において、フォーマット変換制御部４０６は、処理中のページ番号ｎが最後のページ番号である全ページ数に等しいかどうか判定する。等しい場合は全ページの変換処理が終了したと判断してステップＳ１１１５へ進む。ｎの方が全ページ数より小さい場合はステップＳ１１１４に進み、ｎに１を加算し、ステップＳ１１０２に戻り次ページに対する処理を繰り返す。
【０１０４】
最後に、ステップＳ１１１５において、電子文書記述出力部４０５は、ステップＳ１１１２で記述された各ページの電子文書ページをまとめて一つにするとともに、メタデータの記述を付与して出力電子文書データ３１０を作成する。すなわち、電子文書記述出力部４０５は、先に説明した透明枠のベクトルパス記述等を含む電子文書データを生成する。
【０１０５】
図１５は出力電子文書データの記述例である。出力電子文書データ１５００において、記述１５０１〜１５０４はそれぞれ１〜４ページ目の電子文書ページ記述である。記述１５０５は透明枠用の矩形のベクトルパス記述であり、＜ｉｄ＝‘‘ｆｒａｍｅ＿ｓｑｕａｒｅ’’＞の記述により参照用ＩＤが割り当てられている。また、記述１５０６は追加記述用に定義された矢印のベクトルパス記述であり、＜ｉｄ＝‘‘ｆｒａｍｅ＿ａｒｒｏｗ’’＞の記述により参照用ＩＤが割り当てられている。記述１５０７はメタデータの記述例であり、キャプション識別子とメタデータ文字列が対応付けられて記述されている。記述１５１２〜１５１４は図１１のステップＳ１１０７で生成されたオブジェクトのベクトルパス記述である。これらのオブジェクトのベクトルパス記述には、透明枠のベクトルパス記述から参照されるＩＤが自動的に割り当てられる。例えば、オブジェクト９０７のベクトルパス記述１５１５には、＜ｉｄ＝‘‘ｖｅｃ＿ｉｍｇ１’’＞の記述により参照用ＩＤが割り当てられている。記述１５１１および記述１５１５〜１５１７は透明枠のベクトルパス記述であり、キャプション用識別子‘‘ｃａｐｔｉｏｎ＿ｉｄ’’により一意に識別される。そして、それぞれの透明枠は、＜ｕｓｅ ｘｌｉｎｋ：ｈｒｅｆ＝‘‘参照用ＩＤ’’＞という記述により、既定形状のベクトルパス記述や、オブジェクトのベクトルパス記述を参照している。また、描画位置とサイズを指定するパラメータ記述も併記される。メタデータ記述１５０７中のメタデータ文字列「カメラ」１５０８はキャプション識別子１５０９と関連付けて記述されており、このキャプション識別子は１ページ目の透明枠のベクトルパス記述１５１１に付与されたキャプション識別子１５１０と同じものである。このようにキャプション識別子１５０９と１５１０を介して、メタデータ１５０８と透明枠のベクトルパス記述１５１１とが関連付けられているので、後述するように、キーワード「カメラ」で検索を行った場合、透明ベクトルパス記述１５１１を検索できる。
【０１０６】
以上が、本発明の実施例１における電子文書データ作成処理に関する説明である。
【０１０７】
［オブジェクトの検索］
次に、本実施例で作成された電子文書データ３１０に対し、前述したメタデータをキーワードとしてオブジェクトを検索する例について図１６を用いて説明する。
【０１０８】
図１６（ａ）〜（ｄ）は、オブジェクトを検索するためのアプリケーション（以下、オブジェクト検索アプリケーション）として、図１のクライアントＰＣ１０１や、その他のクライアントＰＣ等で実行されるソフトウェアの表示画面（ＧＵＩ）の一例である。このようなソフトウェアとしては、例えば、生成する文書のフォーマットがＰＤＦである場合は、Ａｄｏｂｅ Ｒｅａｄｅｒ（商標）等を用いることができる。
【０１０９】
オブジェクト検索アプリケーションは、入力フィールド１６０１に検索語句として入力された文字列が、電子文書データに付与されたメタデータと一致する場合、該メタデータに関連づけられたキャプション識別子を有するベクトルパス記述を強調表示する。
【０１１０】
図１６（ａ）は、図５（ａ）の文書をアプリケーションで表示させたときに表示画面の例である。符号１６０１は、検索する語句を入力（指定）するための入力フィールドである。符号１６０２は、検索する語句を入力した後に検索を実行するための検索実行ボタンである。符号１６０３は、図６の電子文書データ６００の描画結果を表示した領域である。その表示内容はグラフィックス記述６０１〜６０５の描画結果である。
【０１１１】
図１６（ｂ）は、検索を実行させた結果を示している。符号１６０４は、検索する語句として「ＡＡＡ」を指定した状態を示している。図６の電子文書データ６００ではメタデータ記述６０７中の文字列「ＡＡＡ」（６１０）、および文字描画記述６０５中の文字列「ＡＡＡ」が、検索語句と一致するので、アプリケーションは検索ヒット時の動作を行う。ここでは、メタデータ記述６０７中の文字列６１０がヒットした場合の動作例について説明する。
【０１１２】
オブジェクト検索アプリケーションは電子文書６００内から、検索語句と一致するメタデータのキャプション識別子６０９を検出し、さらに、これと同一の識別子６０８が付与されたグラフィックス記述６０６を検出する。そして、ページ表示の際、該当部分が強調されるように対象グラフィックス記述を描画する。本例では、グラフィックス記述が画像の貼りつけであるため、当該画像オブジェクトの回りに強調色、例えば赤色で枠を加えて表示を行うものとする。図１６（ｂ）中の符号１６０５は、検索を実行した結果としてヒットしたオブジェクトの部分が、赤色の枠により強調されている状態を示している。
【０１１３】
図１６（ｃ）は、図９（ａ）の４ページからなるイメージデータ９０１〜９０４に対して、図７（ｃ）の対応テーブルに基づいて図１１のフローチャートの処理を行うことで生成された図１５の電子文書データ１５００の１ページ目を表示した様子を示している。その表示内容は１ページ目のグラフィックス記述１５０１の描画結果であり、図１３の背景画像１３０１の上に文字の画像（前景画像）１３０２を重畳表示したものに等しい。なお、枠のベクトルパス記述である１３０３は透明色が指定されているため、通常状態では不可視である。
【０１１４】
図１６（ｄ）は、図１６（ｃ）で表示されている電子文書データ１５００に対して検索を実行させた結果を示している。入力フィールド１６１４には、検索する語句として「カメラ」が入力されている。電子文書データ１５００ではメタデータ記述１５０７中の文字列「カメラ」１５０８と検索語句が一致するので、アプリケーションは検索ヒット時の動作を行う。具体的には、先の説明と同様に、一致したメタデータ１５０８のキャプション識別子１５０９と同一の値が付与されたグラフィックス記述を検出し、ページ表示の際に該当部分に強調表示を行う。この場合、キャプション識別子１５１０が付与された透明枠のベクトルパス記述１５１１が強調表示の対象となるので、当該ベクトルパス記述１５１１の枠は、元々指定されていた透明色ではなく、強調色（例えば赤色）で描画される。したがって１６１５のように、検索でヒットしたメタデータに対応するグラフィックス記述が、赤色等の可視状態で強調表示された枠として文書画像上に重ねて表示されることになる。ユーザにとっては、背景画像内の写真部分が検索でヒットしたかのように見えることになる。なお、強調表示の方法はこの限りでなく、別の枠色や、既定形状と定義してある別の枠形状を用いてもよい。枠を点滅表示させてもよい。また、ヒットしたオブジェクトの記述が画像貼り付けではなく、ベクトルパス記述で表現されている場合は、当該ベクトルパス記述を再利用した枠形状を用いることもできる。
【０１１５】
本手法によって検索結果の視認性（ヒットしたオブジェクトの認識と、何のオブジェクトであるかの識別（特定））が向上した例を、図１７を用いて説明する。図１５の電子文書１５００に対して、視認性を考慮していない場合（図１７（ａ）および（ｃ））と、視認性を考慮して透明枠の制御を行った場合（本手法、図１７（ｂ）および（ｄ））に対して、検索を実行した結果について示している。
【０１１６】
図１７（ａ）および（ｂ）の入力ウインドウ１７０１は検索する語句として「Ｂ星」を指定した状態を示している。検索の流れは前述と同じであるため、説明を省略する。検索時の視認性を考慮せずに作成された電子文書の場合は、図１７（ａ）に示すように、符号１７０２のような強調表示がなされる。しかし、ヒットしたオブジェクトがとても小さく、電子文書中のどこにオブジェクトが存在するのか認識しにくい。また、ヒットしたオブジェクトの位置が分かったとしても、それがどんなオブジェクトなのか瞬時に識別することが困難である。一方、本手法によって作成された電子文書の場合は、図１７（ｂ）に示すように、オブジェクトの形状を基にして、オブジェクトよりも少し大きめ（例えばオブジェクトより５ｐｉｘ分大きく等）になるように記述された透明枠１７０３が強調表示される。それに加え、オブジェクトの位置を分かりやすくするように補足情報として記述された矢印による透明枠１７０４も同時に検出結果として強調表示される。補足情報である矢印の枠１７０４により、ヒットしたオブジェクトの位置が一目で分かるようになり、かつ、透明な枠１７０３によって、何の画像がヒットしているのかという情報まで一目で認識することができる。また、検索アプリケーションによっては、検索時に表示する強調色が予め決められた１色（例えば赤色）である場合もあるが、上述したように、少し大きめに表示されたり、矢印などの補足情報が表示されたりするようにしているので、ユーザは認識しやすい。また、検索時に表示すべき強調色が電子文書で指定されている場合、オブジェクト検索アプリケーションがその記述を解釈して強調色を変更する機能を有するならば、ユーザは更に認識しやすくなる。
【０１１７】
図１７（ｃ）および（ｄ）は、別の語句による検索結果として、入力フィールド１７０５に「月」が指定された状態を示している。視認性を考慮せずに作成された電子文書の場合（すなわち、検索されたオブジェクトを矩形で強調表示するようにした電子文書の場合）、強調表示した矩形内に別のオブジェクトが含まれてしまう場合がある。すなわち、図１７（ｃ）に示すように、「月」のオブジェクトに基づいて強調表示された領域内１７０６に別のオブジェクト（「Ａ星」のオブジェクト）が存在しているため、ヒットしたオブジェクトを一意に特定するのが困難となる場合がある。それに対し、本発明の手法を用いて強調表示された枠の形状１７０７は、当該「月」のオブジェクトの外輪郭の形状を基に生成されているため、検索でヒットしたオブジェクトの識別が容易になる。また、このとき、枠１７０７は、オブジェクトの形状に基づいて、オブジェクトと同様の形状で且つオブジェクトよりも少し大きめ（例えばオブジェクトより３ｐｉｘ分大きくする）になるように記述することにより、より識別しやすくする。
【０１１８】
以上説明したように、図７の設定に基づき文書画像を電子文書データに変換する場合、ステップＳ８０１〜Ｓ８０５の処理により、文書画像から抽出したキャプション付きのオブジェクトと、検索に使用するメタデータを関連付けて抽出する。図７（ｃ）の対応テーブルによれば、図１１のステップＳ１１０７において、『写真』のオブジェクトに対しては画像切り出しによる画像パーツ記述を生成する。『線画』、『表』のオブジェクトのうち、キャプション識別子が付与されたオブジェクトの場合には、ステップＳ１１０７において、ベクトル変換によるベクトルパス記述を生成する。そしてステップＳ１１０９（図１２）において、各オブジェクトの属性に依存した透明枠のベクトルパス記述を作成し、キャプション識別子と関連付けて保存する。このように変換された電子文書データをアプリケーションで閲覧・検索する場合、閲覧時には前記透明色によるベクトルパス記述は不可視である。そのため、当該ベクトルパス記述は描画される画像の視認性に影響を与えずに、ページ表示が行われる。一方、検索時にメタデータがヒットした際には、アプリケーションによって前記透明色のベクトルパス記述が強調色で表示される。このベクトルパス記述は対象オブジェクトの属性や形状、他オブジェクトとの位置関係等に応じて制御することができるため、電子文書データ作成側の意図に従った任意形状の強調表示を行わせることが可能である。例えば、対象オブジェクトの外接矩形よりも大き目の矩形の枠を記述することにより、検索時には、対象オブジェクトに相当する個所を一回り大きな枠で囲むことができるので、ユーザにとっては識別しやすくなる。さらに、対象オブジェクトがベクトルパス記述で記述されていた場合には、当該オブジェクトの形状に倣って強調表示がなされるため、ユーザにとって対象オブジェクトの識別が容易になる。
【０１１９】
すなわち、本実施例によれば、文字以外のオブジェクトをキーワード検索可能な電子文書データの作成処理において、検索対象オブジェクトの形状や状態を判断し、強調表示用の枠の形状を制御している。これにより、ユーザがヒットしたオブジェクトの認識・識別が容易な強調表現が可能となる電子文書データを作成することができる。
【０１２０】
また、枠のベクトルパス記述を生成する際に、当該オブジェクトのベクトルパス記述および、予め定義された既定形状のベクトルパス記述を参照（再利用）することにより、全ての枠を個別に記述した場合に比べて、データ量を減らすことも可能である。例えば、矩形による枠を生成する際、形状情報（矩形描画コマンド、描画位置・描画サイズ）や枠の透明描画設定、強調表示時の枠の太さや強調色等５００ｂｙｔｅ以上のベクトルパス記述が必要となる。枠形状を複雑に設定すればするほど当然記述量も増加する。例えば、枠の形状を星型に設定すると１Ｋｂｙｔｅ以上記述する必要がある。一方、既定形状の参照による枠生成を行う場合には、既定形状の定義に同サイズの記述が必要になるが、参照による枠のベクトルパス記述自体は、枠のパラメータ記述のみとなるため、枠の形状に係わらず２００〜３００ｂｙｔｅ程度の記述量に抑えられる。枠のパラメータ記述は、例えば、描画位置（絶対位置もしくは参照オブジェクトに対する相対位置）、描画サイズ（拡大率・拡大量）、強調色設定等である。もし１ページに写真が１００個含まれる画像に対して、矩形による枠を生成する場合、参照によって枠のベクトルパス記述を生成することで、個別に記述する場合に比べ、１ページ当たり３０Ｋｂｙｔｅ以上のサイズ削減が可能である。
【０１２１】
以上のように本実施例によれば、電子文書データ内のオブジェクトが有する形状やデータ状態を維持しつつ、検索により検出されたオブジェクトをユーザが認識しやすいように強調表示可能な電子文書データを生成することができる。
【０１２２】
（実施例２）
実施例１の動作説明では、図７（ｃ）の対応テーブルを用いることで『写真』、『線画』、『表』に対して、個々のオブジェクトのグラフィックス記述を画像パーツとして生成して前景画像に含め、強調表示用の透明ベクトルパス記述をそれぞれ生成していた。本実施例では、『文字』以外のオブジェクト（『写真』、『線画』、『表』）全てを背景画像に含め、キャプション識別子の付与されたオブジェクトに対してのみ透明のベクトルパス記述を生成する例を示す。
【０１２３】
本実施例では、図３のフォーマット変換部３０５が図７（ｄ）の対応テーブルに基づいて制御する場合の処理例を示す。処理フローは実施例１（図１１）と同様であるため、同じ動作をする処理ステップの説明は省略する。
【０１２４】
図７（ｄ）の対応テーブルによれば、『写真』オブジェクトは背景画像に含める設定になっている。そのため、図１１のステップＳ１１０７、Ｓ１１０８において、図４の画像切り出し処理部４０３は、画像パーツの生成と背景画像からの消去処理を行なわず、ステップＳ１１０９へ進む。また、図７（ｄ）の対応テーブルによると、『線画』、『表』オブジェクトの場合は、ベクトル変換は行うが、背景画像からの消去画像は行わない設定になっている。すわなち、ステップＳ１１０７において、ベクトル変換処理部４０２は、オブジェクトのベクトルパス記述を生成し、記憶部２１１に一時的に記憶する。続くステップＳ１１０８では消去処理を行わず、ステップＳ１１０９へ進む。
【０１２５】
ステップＳ１１０９（すなわち、図１２）において、電子文書記述生成部４０４は、透明枠のベクトルパス記述を生成する。図１２のステップＳ１２０２〜ステップＳ１２０４において、透明枠の生成方法（ステップＳ１２０５またはＳ１２０６）を決定する。
【０１２６】
実施例１では、ステップＳ１２０５において、電子文書記述生成部４０４は、オブジェクトのベクトルパスの参照命令の記述とパラメータ記述（拡大、移動、強調色設定等）を含む透明枠を生成していた。これは、オブジェクトのベクトルパス記述が前景画像中に記述されているため、参照（再利用）が可能であるからである。それに対し、本実施例では、オブジェクトは背景画像に埋め込まれているため、実施例１のようにオブジェクトのベクトルパス記述を参照（再利用）することができない。そこで、参照命令ではなく、ステップＳ１１０７で生成したオブジェクトのベクトルパス記述を透明枠のベクトルパス記述に流用し、それにパラメータ記述を追記することで、フォーマット変換制御部４０６は透明枠の生成を行う。
【０１２７】
ステップＳ１２０６において、電子文書記述生成部４０４は、実施例１と同様に、既定形状のベクトルパス記述を参照（再利用）して、透明枠のベクトルパス記述を生成する。このとき、当該オブジェクトが『線画』、『表』オブジェクトである場合、ステップＳ１１０７で生成されたベクトルパス記述は透明枠生成には不要であるため、記憶部２１１から削除することが可能である。
【０１２８】
このように変換された電子文書データに対して検索を行うと、通常時には背景画像と前景画像（文字部）のページが表示される。一方、検索時にメタデータがヒットした際には、透明色のベクトルパス記述がアプリケーションによって強調色で表示され、ユーザにはオブジェクト自体が検索でヒットしたかのように見える。
【０１２９】
これにより、実施例１と同様に各オブジェクトの属性等に応じて制御された透明枠の強調表示によって、検索結果がユーザに分かりやすい電子文書を作成することができる。さらに、『文字』以外の全てのオブジェクトを背景画像に含めることによって、抽出した写真オブジェクトと背景とをそれぞれ別の圧縮画像データとして保持するよりもファイルサイズの削減をすることができる。なぜなら、そのようなデータは画像情報と圧縮のためのヘッダ情報から構成されており、オブジェクトのデータ数が多くなるとデータ個数分のヘッダ情報が重複して保持されることになるからである。特に、高度な画像圧縮方式ほど、圧縮のためのヘッダ情報が大きくなる傾向がある。したがって、写真等のオブジェクトを多数含む文書画像から電子文書ファイルを生成する場合には、各オブジェクトを別々に圧縮するよりも１枚の画像として圧縮する方が、総データサイズ削減のためには適している。例えば、画像データをＪＰＥＧ圧縮したストリームとして保持する場合、各ストリームはヘッダ情報として、展開のための量子化テーブル、ハフマンコード等を含む７００ｂｙｔｅ以上のサイズのデータを必ず伴う。もし１ページに写真が１００個含まれる画像の場合、写真と背景の両方を１枚の画像データとして圧縮すれば、背景と写真で計１０１個の画像データを個別に圧縮するよりも、１ページあたり７０Ｋｂｙｔｅ以上のサイズ削減が可能である。
【０１３０】
また、電子文書データに対して、または、その検索対象である個々の『写真』、『線画』、若しくは『表』の画像切り出しによる画像パーツに対して、その記述方式、及びそれに対するキャプション識別子の付与方式を、ユーザに適時選択させるようにしてもよい。例えば、『写真』、『線画』等のオブジェクトを別の文書等で再利用する可能性が高い場合には、図７（ｃ）のように、『写真』を画像パーツとして切り出して画像解像度を上げ、『線画』のベクトル変換によるベクトルパス記述を行う。そして、各オブジェクトに対し、キャプション識別子を付与した透明枠を生成する。このように、画像パーツとして再利用する可能性のあるオブジェクトに関しては、ベクトルパス記述や高解像度のオブジェクト画像として電子文書に保存する。こうすることで、それらのオブジェクトを他の文書にコピーしたときも、その画像情報をなるべく損なうことなく、利用できるようになる。また、作成する電子文書データのデータサイズが重要視され且つオブジェクト検索できるようにしたい場合には、図７（ｄ）のように、『写真』等のオブジェクトを『背景』に含め、透明枠の記述を生成してキャプション識別子を付加する。こうすることで、画像内のオブジェクトが検索されたかのような表示をすることができ、且つ、画像データの圧縮率向上が図りやすくなるため、データサイズを小さくすることが可能となる。また、オブジェクトの種別に応じて、より詳細に運用することも可能である。
【０１３１】
なお、このような使い分けをユーザに選択させるのではなく、文書やページ内の『写真』等の数や、各オブジェクトの大きさや特性に応じて、画像切り出しによる画像パーツ記述方式と、キャプション識別子の付与方式を自動的に選択するようにしてもよい。また、その際、文書やページ単位に自動的に切り替えて使用するように構成してもよい。
【０１３２】
このように、画像切り出しによる画像パーツ記述方式を適切に選択すると同時に、キャプション識別子の付与方式を適宜選択することで、利用目的に応じた電子文書データの作成が可能となる。これにより、ユーザの使いやすい電子文書データが提供されるという効果がある。
【０１３３】
（実施例３）
実施例３では、キャプション識別子が付与されたオブジェクトに対して透明枠のベクトルパス記述を作成する際に必要となる枠のパラメータ（絶対位置もしくは参照オブジェクトに対する相対位置、サイズもしくは拡大率等）を自動的に算出する方法の例を示す。
【０１３４】
枠のパラメータを算出する方法について、図１８の処理フローを用いて説明する。
ステップＳ１８０１において、電子文書記述生成部４０４は、処理対象のキャプションが付随するオブジェクトの領域サイズを取得する。この情報は記憶部２１１に保存されている。
【０１３５】
ステップＳ１８０２およびステップＳ１８０３において、電子文書記述生成部４０４は、予め設定されている上限値および下限値とステップＳ１８０１で取得したサイズを比較する。オブジェクトのサイズが下限値以上、上限値以下（下限値≦オブジェクトサイズ＜上限値）であれば、ステップＳ１８０４へ進む。上限値以上もしくは下限値以下である場合にはステップＳ１８０５へ進む。
【０１３６】
ステップＳ１８０４において、電子文書記述生成部４０４は、オブジェクトのサイズに応じた拡大率（例えば、オブジェクトに対して１２０％拡大等）を算出する。オブジェクトが小さい場合には拡大率を大きく、オブジェクトが大きい場合には拡大率が小さくなるように設定する。これにより、オブジェクトサイズに応じて枠の大きさを可変にできるため、検索の結果を視認しやすい画像を作成することができる。
【０１３７】
一方、ステップＳ１８０５において、電子文書記述生成部４０４は、透明枠をオブジェクトより一定サイズ大きくなるように拡大量を算出する。オブジェクトサイズが上限値以上の場合と下限値以下の場合で、拡大量を変更することも可能である。例えば、オブジェクトの外接図形より常に１０ｐｉｘ分大きくするという設定でも、上限値以上のオブジェクトには５ｐｉｘ分大きく透明枠を生成し、下限値以下の場合には１０ｐｉｘ分大きく透明枠を生成するという設定でも構わない。
【０１３８】
ステップＳ１８０６において、電子文書記述生成部４０４は、ステップＳ１８０４やステップＳ１８０５で算出した拡大率・拡大量に応じて、透明枠の移動量を算出する。これは、透明枠がオブジェクトの中心から拡大されず、例えばオブジェクトの左上を基準に拡大される場合等に、透明枠の中心にオブジェクトが位置するように透明枠を移動させる必要があるためである。
【０１３９】
ステップＳ１８０７では、電子文書記述生成部４０４は、算出された拡大率・拡大量、移動量より、枠のパラメータ記述を生成し、図１２の処理フローに従って透明枠のベクトルパス記述を作成する。なお、この枠のパラメータ記述は図１２のステップＳ１２０５やステップＳ１２０６で透明枠のベクトルパス記述を生成するときに使用するパラメータ記述である。
【０１４０】
以上の手順により、オブジェクトサイズに応じて透明枠のサイズ（拡大率・拡大量）を自動で制御することで、図１９に示すように、オブジェクトのサイズに応じたサイズの透明枠が生成できる。これにより、オブジェクトサイズに合わせた、分かりやすい強調表示を行える透明枠を生成することが可能となる。
【０１４１】
（実施例４）
実施例３では、オブジェクトサイズに応じてパラメータ記述（拡大率・拡大量、移動量等）を生成する方法について述べた。実施例４では、生成されたパラメータ記述が画像外にはみ出してしまう場合の制御方法について述べる。図２０、図２１を用いて本実施例の動作フローを説明する。
【０１４２】
ステップＳ２００１において、電子文書記述生成部４０４は、オブジェクトに応じたパラメータ記述（拡大率・拡大量、移動量等）を生成する。本処理は、実施例３に記載の方法（図１８）を用いる。図２１（ａ）は、ステップＳ２００１によって得られたパラメータ記述２１０２を基にして、透明枠２１０１を描画した例である。パラメータ記述２１０２中において、‘‘ｔｒａｎｓｆｏｒｍ＝ｓｃａｌｅ（１．５，１．５） ｔｒａｎｓｌａｔｅ（−１００、−１００）’’と拡大率と移動量が設定されている。
【０１４３】
ステップＳ２００２において、電子文書記述生成部４０４は、生成されたパラメータ２１０２で枠を描画した際に、文書内に枠が収まるかどうかをチェックする。文書内に収まる場合は、ステップＳ２００６へ進み、パラメータ記述として生成する。一方、文書外にはみ出してしまう場合にはステップＳ２００３へ進む。図２１（ａ）では、文書左側と下側において透明枠が文書外に描画されることになるため、ステップＳ２００３以降の処理を行う。
【０１４４】
ステップＳ２００３において、電子文書記述生成部４０４は、枠の縦横比を保存したまま文書内に枠が収まるように拡大率・拡大量を下げる。この時、予め設定している拡大率・拡大量の下限値（実施例２で利用した下限値でも構わない）を下回らない程度に調整する。例えば、図２１（ｂ）のように‘‘ｔｒａｎｓｆｏｒｍ＝ｓｃａｌｅ（１．２，１．２） ｔｒａｎｓｌａｔｅ（−４０、−４０）’’と拡大率・移動量を変更してパラメータ記述２１０４を生成し、透明枠２１０３を描画する。
【０１４５】
ステップＳ２００３で所望のパラメータ記述を得られなかった場合、ステップＳ２００４において、電子文書記述生成部４０４は、枠の縦横比を保持せずに拡大率・拡大量の変更を行う。本処理でもステップＳ２００３と同様に、下限値を下回らない程度の補正を加える。生成されるパラメータ記述としては、例えば、‘‘ｔｒａｎｓｆｏｒｍ＝ｓｃａｌｅ（１．２，１．４） ｔｒａｎｓｌａｔｅ（−４０、−８０）’’である。この記述は、縦横比を保存せず拡大率・移動量を変更させたパラメータ記述２１０６であり、これを用いて透明枠２１０５を描画させる。
【０１４６】
ステップＳ２００４で所望のパラメータ記述を得られなかった場合、ステップＳ２００５において、電子文書記述生成部４０４は、透明枠をオブジェクトに外接する図形（例えば矩形等）に強制的に変更し、枠の補足説明用の描画記述を追加する設定に変更する。例えば、図２１（ｄ）に示すように、透明枠２１０７を、オブジェクトの外接矩形もしくはそれよりも少し大きめな矩形として生成する。さらに、透明枠を強調するような追加記述２１０８，２１０９を記述するパラメータ記述２１１０を生成する。
【０１４７】
ステップＳ２００６において、電子文書記述生成部４０４は、ステップＳ２００１〜Ｓ２００５によって修正されたパラメータを、文書内に収まる透明枠を記述するためのパラメータ記述として更新する。
【０１４８】
以上の処理により、透明枠が文書外にはみ出すことなく、ユーザに分かりやすい強調表示を自動で行うことが可能となる。
【０１４９】
（実施例５）
実施例１では、ベクトルパス記述で描画されるオブジェクトのうち、オブジェクトサイズが小さいもの、あるいは隣接オブジェクトが存在しているものに対しては、オブジェクトのベクトルパス記述を再利用して透明枠を生成していた。本実施例では、さらに、オブジェクトのベクトルパス記述が透明枠に利用できるかどうかを判定して、透明枠の生成方法を制御する。
【０１５０】
図２２を用いて本実施例の動作フローを説明する。なお、実施例１の図１２と同じステップに関しては同じステップ番号を与えている。また、図２３（ａ）の電子文書２３００を入力例として説明を行う。電子文書２３００にはキャプションが付与されたオブジェクト２３０１、２３０２、２３０３が含まれている。これらのオブジェクトはどれもベクトルパス記述によって生成されているものとする。
【０１５１】
図２２のステップＳ１２０１〜ステップＳ１２０４において、電子文書記述生成部４０４は、オブジェクトのベクトルパス記述を再利用して透明枠を生成するのか、既定形状のベクトルパス記述を再利用して生成するのかを判定する。処理の詳細については、実施例１の図１２と同じであるため省略する。
【０１５２】
ステップＳ２２０１において、電子文書記述生成部４０４は、オブジェクトのベクトルパス記述から輪郭部（外輪郭）のベクトルパス記述が抽出可能かを判定する。輪郭部の抽出が可能な場合はステップＳ２２０２へ進み、抽出ができない場合はステップＳ１２０６へ進む。これは、オブジェクトが複雑な形状であった場合、オブジェクト内部の描画まで再現してしまうと、検索時に強調された枠がヒットしたオブジェクト上に重畳表示されてしまい、ヒットしたオブジェクトが何であるかが分からなくなってしまうことが考えられる。そこで、オブジェクトの一部である輪郭部のみを透明枠生成に利用することで、視認性を向上させる。
【０１５３】
ステップＳ２２０２において、電子文書記述生成部４０４は、オブジェクトのベクトルパス記述の一部である輪郭部の記述のみを参照（再利用）して透明枠のベクトルパス記述を生成する。図２３のオブジェクト２３０２は輪郭抽出が容易なオブジェクトであるため、オブジェクト２３０２の輪郭部のベクトルパス記述を参照（再利用）し、図２３（ｂ）の透明枠２３０４を生成する。
【０１５４】
一方、ステップＳ２２０１で、当該オブジェクトの輪郭部の抽出が困難であると判定された場合は、ステップＳ１２０６において、電子文書記述生成部４０４は、予め定義されている既定形状のベクトルパス記述を参照（再利用）して透明枠を生成する。図２３（ａ）のオブジェクト２３０３は輪郭抽出が困難であると判断されたため、既定形状である矩形のベクトルパス記述を参照（再利用）して、図２３（ｃ）の透明枠２３０５が生成される。
【０１５５】
ステップＳ１２０７において、電子文書記述生成部４０４は、ステップＳ２２０２およびステップＳ１２０６で生成された透明枠に補足の情報を付与するためのベクトルパス記述を行う。特に、ステップＳ２２０１において、当該オブジェクトの輪郭部の抽出が困難と判断された場合には、ここで、追加情報が記述される。これは、強調表示のための透明枠を既定形状によって作成したため、オブジェクトが小さい場合や、近傍に他のオブジェクトが存在している場合等、検索でヒットしたオブジェクトが何（どちら）であるかが識別できなくなってしまう。そこで、矢印等の追加記述であったり、オブジェクトのベクトルパス記述をそのまま再利用して、ヒットしたオブジェクト自体に重ならない位置に透明枠を生成したりすることで、分かりやすい表示が必要になる。図２３（ｃ）のオブジェクト２３０３の透明枠２３０５の補足説明用として、矢印２３０６やオブジェクト自体の拡大図（２３０７）が記述される。
【０１５６】
ステップＳ１２０８では、キャプション識別子と生成された透明枠の関連付け処理が行われる。
【０１５７】
以上の処理で生成された電子文書２３００に対して、「望遠レンズ」というキーワードで検索を行った結果について簡単に説明する。オブジェクト２３０３にはアンカー文字列「図３」が関連付けされる。このアンカー文字列は、本文中に書かれた文字列「図３」と一致しているため、オブジェクト２３０３に対するキャプション文字列として「望遠レンズ」が抽出される。そしてキャプション文字列「望遠レンズ」に対するキャプション識別子と同一のキャプション識別子が付与された透明枠２３０５〜２３０７が検索結果としてヒットし、強調表示される。このように、オブジェクトのベクトルパス記述を透明枠として再利用可能かどうか調べ、有効であればオブジェクトのベクトルパス記述の一部（輪郭部）を再利用して透明枠を生成する。無効であれば、既定形状によるベクトルパス記述に加え、補足情報として矢印やオブジェクトの拡大図等を当該オブジェクトの近傍に配置することで、検索時に検索結果の認識・識別が容易な電子文書を作成することができる。
【０１５８】
（実施例６）
実施例１〜５では、オブジェクト形状に依存しない、既定形状のベクトルパス記述を再利用した透明枠を生成していた。本実施例では、オブジェクトの形状を解析して透明枠の形状を制御することによって、よりオブジェクトの形状に合った透明枠を生成する手法について説明する。
【０１５９】
図２４を用いて、本実施例の処理の流れを説明する。なお、実施例１の図１２および、実施例５の図２２と同じ処理に関しては同じステップ番号を与え、処理の説明は省略する。
【０１６０】
ステップＳ２４０１において、電子文書記述生成部４０４は、オブジェクトの解析処理を行う。オブジェクトの解析処理には、オブジェクトの矩形度や円形度の解析、傾斜度の算出、又はオブジェクトの色彩情報の解析等が含まれる。
【０１６１】
ステップＳ２４０２において、電子文書記述生成部４０４は、オブジェクト形状に合った透明枠のベクトルパス記述を生成する。この処理の一例を図２５に示す。なお、本実施例の説明では、予め定義されている既定形状は「矩形」「円形」「六角形」の３種類であるとして説明を行う。
【０１６２】
図２５のステップＳ２５０１において、電子文書記述生成部４０４は、オブジェクトの矩形度の判定処理を行う。所定のしきい値以上（例えば矩形度８０％以上等）であれば、既定形状として「矩形」データ２５１０が選択され、しきい値未満であればステップＳ２５０２へ進む。
【０１６３】
ステップＳ２５０２において、電子文書記述生成部４０４は、オブジェクトの円形度の判定処理を行う。所定のしきい値以上（例えば円形度７０％以上等）であれば、既定形状として「円形」データ２５１１が選択される。しきい値未満の場合は、既定形状として「六角形」データ２５１２が選択される。
【０１６４】
ステップＳ２５０３において、電子文書記述生成部４０４は、前記ステップで選択された既定形状データを再利用して透明枠のベクトルパス記述を生成する。図２６に結果の一例を示す。入力電子文書２６００には『写真』属性の付与されたオブジェクト２６０１〜２６０３が含まれている。オブジェクト２６０１は矩形度が高いため、ステップＳ２５０１において、「矩形」データが選択され、「矩形」のベクトルパス記述を参照した透明枠のベクトルパス記述２６０４が生成される。オブジェクト２６０２は楕円形に近い形状をしているため「円形」データが、オブジェクト２６０３は「六角形」データが選択され、透明枠のベクトルパス記述２６０５，２６０６がそれぞれ生成される。
【０１６５】
ステップＳ２５０４において、電子文書記述生成部４０４は、図２４のステップＳ２４０１で算出されたオブジェクトの傾斜度を用いて、オブジェクトによりフィットした透明枠を生成するための回転パラメータを生成する。図２６のオブジェクト２６０３は傾きのあるオブジェクトとして認識されるため、透明枠もオブジェクトと同様に傾きを加えることにより、透明枠２６０６が生成される。
【０１６６】
ステップＳ２５０５において、電子文書記述生成部４０４は、図２４のステップＳ２４０１で得られたオブジェクトの色彩情報を基に、強調表示されたときにできるだけ見やすくなるように配色を決定し、強調色を設定する。すなわち、オブジェクトの色彩とは異系色の色を強調色として設定する。これにより、オブジェクトと透明枠の強調色が同系色にまとまってしまって、結果が分かりにくくなることを防ぐことができる。図２６の入力例２６００では、オブジェクトは黒色であるため、透明枠の強調色は例えば赤色と設定すればよい。
【０１６７】
本実施例では、既定形状を「矩形」「円形」「六角形」と限定して説明を行ったが、既定形状はこれに限ったものではなく、星形や雲形等でも構わない。また、解析項目や、既定形状の選択の方法もこの限りではない。
【０１６８】
以上の処理によって、生成時のファイルサイズを抑えつつ、検索時に強調表示される枠が、より対象オブジェクトの形状にフィットしたものとなるため、ユーザに分かりやすい強調表現を行うことができる。
【０１６９】
（実施例７）
実施例１〜６では、オブジェクト領域の位置・大きさや、オブジェクトを画像処理して得られる情報等を基にしてオブジェクト領域に記述する最適な透明枠を自動で生成していた。本発明の実施例７では、ユーザが、記述される透明枠の形状や線幅等を自由に設定することができる仕組みを提供する。
【０１７０】
図２７（ａ）は、図１のＭＦＰ１００に装備された図２の操作部２０３に表示される電子文書データの目的をユーザに選択させるためのユーザインタフェース（ＵＩ）画面の一例である。ＵＩ画面２７０１上には、強調表示用の透明枠の生成方法を自動で決定するように設定するためのボタン２７０２と、ユーザが設定するためのボタン２７０３がある。また、選択内容をキャンセルするためのＣａｎｃｅｌボタン２７０４、確定するためのＯＫボタン２７０５も配置されている。「自動」ボタン２７０２が選択された場合は実施例１〜６の手順に従い、オブジェクト毎に最適な形状をした透明枠を生成する。一方、「ユーザ設定」ボタン２７０３が押下された場合は、全てのオブジェクトに対し、ユーザが設定した形状により透明枠を生成する。
【０１７１】
図２７（ｂ）は、強調表示用の全オブジェクトに共通する透明枠形状をユーザが設定するためのＵＩ画面の一例である。ＵＩ画面２７０６には透明枠の基本形状を選択するためのボタン２７０７と、線幅を選択するためのボタン２７０８、強調色を選択するためのボタン２７０９がある。ユーザはＵＩ画面２７０６上の選択ボタン２７０７〜２７０９を操作して透明枠の記述の仕方を選択し、ＯＫボタン２７１１を押す。これにより、データ処理部２１８内の制御部（不図示）が、当該ＵＩを介してユーザが指定した透明枠の記述に関する情報をフォーマット変換部３０５へ伝達する。Ｃａｎｃｅｌボタン２７１０が押されてユーザ設定が為されなかった場合は、デフォルトの設定情報が制御部によってフォーマット変換部３０５へ送信される。フォーマット変換部３０５は、受信した情報を基に、ステップＳ１１０９（Ｓ１２０６）において透明枠のベクトル記述を行う。このとき、オブジェクトを特定できるようにするために、図１８の処理手順で、オブジェクトのサイズに応じて、当該選択された基本形状のサイズを変更して透明枠のベクトルパス記述を生成するのが望ましい。
【０１７２】
以上により、「自動」動作時には、ユーザにとって、検索時にヒットしたオブジェクトの認識および識別が容易な電子文書が作成される。一方「ユーザ設定」動作時には、既定形状として１つのベクトルパス記述が定義され、全ての枠生成時に参照するため、ファイルサイズが小さくなる。また、オブジェクト毎に枠の生成の仕方や枠形状の判定処理を行わないため、出力電子文書作成時の処理パフォーマンスの向上も見込める。
【０１７３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、
前記オブジェクトの形状に応じた形状で枠のベクトルパス記述を記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する判定手段と、
前記判定手段で前記オブジェクトの形状に応じた形状で記述すると判定した場合は、前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成し、前記判定手段で前記既定形状に応じた形状で記述すると判定した場合は、前記既定形状に応じた形状で記述された枠のベクトルパス記述を生成する枠生成手段と、
前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、
を備え、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、少なくとも前記オブジェクトがベクトルパス記述されるか否かに基づいて、前記枠のベクトルパス記述を、前記オブジェクトのベクトルパス記述に基づく形状で記述するか、前記既定形状に応じた形状で記述するかを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記オブジェクトがベクトルパス記述されるか否かと、当該オブジェクトのサイズと、当該オブジェクトの近傍に他のオブジェクトが存在するか否かとに基づいて、前記枠のベクトルパス記述を、前記オブジェクトのベクトルパス記述に基づく形状で記述するか、前記既定形状に応じた形状で記述するかを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段は、前記オブジェクトがベクトルパス記述され、且つ、当該オブジェクトのサイズが小さいか近傍に他のオブジェクトが存在する場合、前記枠のベクトルパス記述を、当該オブジェクトのベクトルパス記述に基づく形状で記述すると判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記オブジェクトがベクトルパス記述されない場合、或いは、前記オブジェクトがベクトルパス記述され且つ当該オブジェクトのサイズが大きく且つ隣接オブジェクトがない場合に、前記枠のベクトルパス記述を前記既定形状に応じた形状で記述すると判定することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述は、当該オブジェクトの外輪郭の形状に相似する形状であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記枠のベクトルパス記述は、前記枠を前記オブジェクトより大きくするための拡大のパラメータ記述を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記枠のベクトルパス記述の描画色は透明色であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記枠のベクトルパス記述は、前記キーワード検索が行われたときの強調表示に用いられる強調色のパラメータ記述を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記強調表示するための強調色は、前記オブジェクトの色とは異系色であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記枠生成手段は、更に、前記オブジェクトを補足的に指し示す補足情報のベクトルパス記述を生成し、
前記文書生成手段は、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述及び前記補足情報のベクトルパス記述とを含む電子文書を生成し、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述と前記補足情報のベクトルパス記述とにしたがって強調表示されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、
前記オブジェクトの形状の外輪郭に相似する形状で記述された枠のベクトルパス記述を生成する枠生成手段と、
前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、
を備え、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする画像処理装置。
【請求項１３】
入力された画像からオブジェクトを抽出し、当該オブジェクトについての情報である領域情報を取得する手段と、
前記抽出されたオブジェクトを前記取得された領域情報に応じた形状で囲む透明枠のベクトルパス記述を生成する手段と、
前記入力された画像から、前記生成された透明枠のベクトルパス記述を含む電子文書データを生成する手段と
を備え、
前記生成された透明枠のベクトルパス記述は、前記生成された電子文書データからオブジェクトが検索され検索結果として検出されたときに、当該枠を強調表示するための強調色のパラメータ記述を含むこと
を特徴とする画像処理装置。
【請求項１４】
オブジェクト抽出手段が、入力された画像からオブジェクトを抽出するオブジェクト抽出ステップと、
メタデータ抽出手段が、前記オブジェクトに関するメタデータを抽出するメタデータ抽出ステップと、
判定手段が、前記オブジェクトの形状に応じた形状で枠のベクトルパス記述を記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する判定ステップと、
前記判定ステップで前記オブジェクトの形状に応じた形状で記述すると判定した場合は、枠生成手段が、前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成し、前記判定ステップで前記既定形状に応じた形状で記述すると判定した場合は、前記枠生成手段が、前記既定形状に応じた形状で記述された枠のベクトルパス記述を生成する枠生成ステップと、
文書生成手段が、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成ステップと、
を備える、画像処理装置の画像処理方法であって、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１】
入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、
前記オブジェクトの形状に応じた形状で枠のベクトルパス記述を記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する判定手段と、
前記判定手段で前記オブジェクトの形状に応じた形状で記述すると判定した場合は、前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成し、前記判定手段で前記既定形状に応じた形状で記述すると判定した場合は、前記既定形状に応じた形状で記述された枠のベクトルパス記述を生成する枠生成手段と、
前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、
を備え、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、少なくとも前記オブジェクトがベクトルパス記述されるか否かに基づいて、前記枠のベクトルパス記述を、前記オブジェクトのベクトルパス記述に基づく形状で記述するか、前記既定形状に応じた形状で記述するかを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記オブジェクトがベクトルパス記述されるか否かと、当該オブジェクトのサイズと、当該オブジェクトの近傍に他のオブジェクトが存在するか否かとに基づいて、前記枠のベクトルパス記述を、前記オブジェクトのベクトルパス記述に基づく形状で記述するか、前記既定形状に応じた形状で記述するかを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段は、前記オブジェクトがベクトルパス記述され、且つ、当該オブジェクトのサイズが小さいか近傍に他のオブジェクトが存在する場合、前記枠のベクトルパス記述を、当該オブジェクトのベクトルパス記述に基づく形状で記述すると判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記オブジェクトがベクトルパス記述されない場合、或いは、前記オブジェクトがベクトルパス記述され且つ当該オブジェクトのサイズが大きく且つ隣接オブジェクトがない場合に、前記枠のベクトルパス記述を前記既定形状に応じた形状で記述すると判定することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述は、当該オブジェクトの外輪郭の形状に相似する形状であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記枠のベクトルパス記述は、前記枠を前記オブジェクトより大きくするための拡大のパラメータ記述を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記枠のベクトルパス記述の描画色は透明色であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記枠のベクトルパス記述は、前記キーワード検索が行われたときの強調表示に用いられる強調色のパラメータ記述を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記強調表示するための強調色は、前記オブジェクトの色とは異系色であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記枠生成手段は、更に、前記オブジェクトを補足的に指し示す補足情報のベクトルパス記述を生成し、
前記文書生成手段は、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述及び前記補足情報のベクトルパス記述とを含む電子文書を生成し、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述と前記補足情報のベクトルパス記述とにしたがって強調表示されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
入力された画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトに関するメタデータを抽出するメタデータ抽出手段と、
前記オブジェクトの形状の外輪郭に相似する形状で記述された枠のベクトルパス記述を生成する枠生成手段と、
前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成手段と、
を備え、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする画像処理装置。
【請求項１３】
入力された画像からオブジェクトを抽出し、当該オブジェクトについての情報である領域情報を取得する手段と、
前記抽出されたオブジェクトを前記取得された領域情報に応じた形状で囲む透明枠のベクトルパス記述を生成する手段と、
前記入力された画像から、前記生成された透明枠のベクトルパス記述を含む電子文書データを生成する手段と
を備え、
前記生成された透明枠のベクトルパス記述は、前記生成された電子文書データからオブジェクトが検索され検索結果として検出されたときに、当該枠を強調表示するための強調色のパラメータ記述を含むこと
を特徴とする画像処理装置。
【請求項１４】
オブジェクト抽出手段が、入力された画像からオブジェクトを抽出するオブジェクト抽出ステップと、
メタデータ抽出手段が、前記オブジェクトに関するメタデータを抽出するメタデータ抽出ステップと、
判定手段が、前記オブジェクトの形状に応じた形状で枠のベクトルパス記述を記述するか、既定形状に応じた形状で枠のベクトルパス記述を記述するかを判定する判定ステップと、
前記判定ステップで前記オブジェクトの形状に応じた形状で記述すると判定した場合は、枠生成手段が、前記オブジェクトの形状に応じた形状で記述された枠のベクトルパス記述を生成し、前記判定ステップで前記既定形状に応じた形状で記述すると判定した場合は、前記枠生成手段が、前記既定形状に応じた形状で記述された枠のベクトルパス記述を生成する枠生成ステップと、
文書生成手段が、前記入力された画像のデータと、前記メタデータが関連付けられた前記枠のベクトルパス記述とを含む電子文書を生成する文書生成ステップと、
を備える、画像処理装置の画像処理方法であって、
前記電子文書のキーワード検索が行われた場合、当該キーワードに一致するメタデータが関連付けられている前記枠のベクトルパス記述にしたがって強調表示されることを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２１】
【公開番号】特開２０１１−１４１５９８（Ｐ２０１１−１４１５９８Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−４８９（Ｐ２０１０−４８９）
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]