情報処理装置、その制御方法、及びプログラム
【課題】文書中の非テキスト情報の領域、非テキスト情報、又はその構成要素を高精度に且つ迅速に検索し得る情報処理装置、その制御方法、及びプログラムを提供する。
【解決手段】非テキスト情報の特徴や関係などを考慮したメタデータを利用して、非テキスト情報の領域、非テキスト情報、又はその構成要素を検索し、検索結果として表示する。また、検索結果を表示する際には、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示する。当該他のメタデータの選択が確定された場合は、当該他のメタデータに関連付けられた非テキスト情報等を当該検索結果に代えて表示する。
【解決手段】非テキスト情報の特徴や関係などを考慮したメタデータを利用して、非テキスト情報の領域、非テキスト情報、又はその構成要素を検索し、検索結果として表示する。また、検索結果を表示する際には、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示する。当該他のメタデータの選択が確定された場合は、当該他のメタデータに関連付けられた非テキスト情報等を当該検索結果に代えて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書中の図表等の非テキスト情報を検索するのに好適な情報処理装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
電子文書は、近年、保存スペースの削減，遠隔地からの利便性から、膨大な量の電子文書が氾濫している。このため、所望の電子文書の検索に長時間を要するようになってきている。
【０００３】
特に、カタログ、論文、電子機器の取り扱い説明書等に係る電子文書には、テキスト情報だけでなく、画像、図、表などの非テキスト情報が多数含まれている。これら非テキスト情報は、利用頻度が高い情報でもある。
【０００４】
しかしながら、これら非テキスト情報は、それ自体は文字情報を持たないか、持っていても断片的な文字情報であるため、所望の非テキスト情報の検索は困難である。そこで、画像情報にメタデータ（テキスト情報）を付加し、このメタデータを用いて画像情報を検索する技術が開発されている（特許文献１，２参照）。
【特許文献１】特開２００２−２０２９７５号公報
【特許文献２】特開２０００−９２８５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献２は、あくまでも文書を検索する技術であり、文書中の非テキスト情報の単位で検索するものではない。また、特許文献１、２では、図表等の非テキスト情報の特徴や関係などまで考慮してメタデータを抽出するものではない。
【０００６】
換言すれば、従来は、非テキスト情報、その構成要素の関係、非テキスト情報の構造等を解析して検索用のメタデータを抽出することはできず、文書中の非テキスト情報、又はその構成要素を精度よく検索することはできなかった。また、所望の非テキスト情報等を検索できたとしても、その検索には長時間を要していた。
【０００７】
さらに、従来は、図、表等の非テキスト情報が一定の領域に密集しており、その領域の中にテキスト情報が混在する場合に、その非テキスト情報の領域を当該領域の単位で検索することはできなかった。
【０００８】
ところで、文書データ内の一部領域に含まれる画像，図，表などの非テキスト情報を検索したいという要望がある。本発明は、このような背景の下になされたもので、その目的は、文書中の非テキスト情報を検索し、検索結果を提供する情報処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、文書データ中の非テキスト情報に関連するメタデータを用いて非テキスト情報を検索する情報処理装置であって、入力に係る検索条件に基づいて、メタデータを該メタデータに対応する非テキスト情報と関連付けて記憶する記憶媒体に登録されたメタデータを検索する検索手段と、前記検索手段により検索されたメタデータに関連付けられた非テキスト情報を前記記憶媒体から読出して検索結果として表示する表示制御手段とを有し、前記表示制御手段は、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、例えば、非テキスト情報の領域と、その領域内の非テキスト情報との関係を考慮したメタデータを利用して、非テキスト情報の領域又は非テキスト情報を検索することができる。また、検索結果を表示する際には、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示することができる。
【００１１】
従って、文書中の非テキスト情報の領域、非テキスト情報、又はその構成要素を高精度に且つ迅速に検索し得る情報処理装置、その制御方法、及びプログラムを提供することが可能となる。
【発明を実施するための最良の形態】
【００１２】
［第１の実施の形態］
図１は、本発明の第１，第２の実施の形態に係る情報処理装置の基本構成を示すブロック図である。この情報処理装置は、マルチメディア文書データから所望の画像、図、表等の非テキスト情報又はその構成要素を高精度に検索できるようにしたものであり、パーソナルコンピュータ（ＰＣ）上に構築されている。
【００１３】
図１において、ＣＰＵ１０１は、本情報処理装置における各種の処理を制御するコントローラ（処理ユニット）である。その制御内容は、後述するＲＯＭ１０２、外部記憶装置１０５等に格納されたプログラムに基づいて実行される。また、ＣＰＵ１０１は、複数のプログラムを並列に実行可能である。
【００１４】
このＣＰＵ１０１は、バス１１０を介して、ＲＯＭ１０２、ＲＡＭ１０３、入力部１０４、外部記憶装置１０５、表示器１０６、通信部１０７等の各種デバイスと相互に通信可能に接続されている。ＲＯＭ１０２には、ブートプログラム等のプログラム、データ等が格納されている。ＲＡＭ１０３は、ＣＰＵ１０１が実際に処理を実行する際に、その処理に係るプログラムを外部記憶装置１０５等からロードして展開する等、ワークエリアとして利用される。
【００１５】
入力部１０４は、キーボード等により構成され、アルファベットキー、ひらがなキー、カタカナキー等の文字入力キー、及びカーソル移動キー等の各種の機能キーを有している。なお、入力部１０４は、マウスのようなポインティングデバイスを入力部１０４に搭載することもできる。
【００１６】
外部記装置１０５には、ＯＳ、アプリケーションプログラム等の各種のプログラム、文書データ等の各種のデータが格納される。この外部記憶装置１０５は、ハードディスク、不揮発性の半導体メモリ等の記憶媒体からなる。また、外部記憶装置１０５がハードディスクの場合、当該記憶媒体を駆動してデータを記録するドライブを有する。なお、外部記装置１０５には、図６のフローチャートに係る処理を行なうためのアプリケーションプログラムも記憶する。
【００１７】
表示器１０６は、液晶ディスプレイなどで構成され、入力部１０４により入力されたデータ、ＣＰＵ１０１での処理内容等を表示する。通信部１０７は、ＬＡＮ１０８、コネクタ１０９を介して他の情報処理装置、プリンタ等と通信するための制御を行う。この通信部１０７による通信制御により、第１〜３の実施の形態に係るアプリケーションプログラムやデータを他の情報処理装置と共有することが可能になる。
【００１８】
通信部１０７による通信は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、Ｅｔｈｅｒｎｅｔ(登録商標)などの有線通信、Ｂｌｕｅｔｏｏｔｈ、赤外線通信、ＩＥＥＥ８０２．１１ｂ等の無線通信の何れの通信方式を採ってもよい。なお、通信部１０７は、コネクタ１０９を介して記憶装置、スキャナ、プリンタ等と接続されている。
【００１９】
本情報処理装置は、外部記憶装置１０５、或いは外部のコンピュータにマルチメディア文書（以下、文書という）を格納する際に、この文書中の非テキスト情報又はその構成要素を検索するためのメタデータを抽出している。
【００２０】
図２は、１ページ分の文書データ２０１を例示したものである。この文書データ２０１は、本文（テキスト情報）２０２、見出し（テキスト情報）２０３に続く文章（テキスト情報）２０４、図表要素（グラフ：非テキスト情報）２０５、図表要素２０５のキャプション（説明文：テキスト情報）２０６、図表要素２０７、図表要素２０７のキャプション（説明文：テキスト情報）２０８、ページ番号（テキスト情報）２０９を有する。なお、キャプションとは、対応する図の説明文（テキスト情報）を意味する。
【００２１】
図３は、図２の文書データ２０１の解析結果を示す構造化文書データを示したものである。なお、図３は、レイアウト解析結果の基本部分を抜粋したものである。図３において、（３−１）〜（３−３２）は、レイアウト解析結果をＸＭＬ形式で記述したものである。このうち、（３−１）は図２のページの開始を示すものであり、ページ番号が「１１」であることが記述されている。また、（３−３２）は当該ページの終了を示している。
【００２２】
（３−２）〜（３−４）は、図２のページの大きさを示す記述部分である。（３−３）に示したページの大きさ（６００ ９００）は、ページ左上を原点とし、Ｙ軸をページ下方向に正方向とし、Ｘ軸をページ右方向に正方向とするＸＹ座標系におけるＸ，Ｙ座標値を示すものである。すなわち、当該ページがＸ方向に６００、Ｙ方向に９００の大きさであることが記述されている。以下、同様に、位置や大きさなどの情報は、ページ左上を原点とし、Ｙ軸をページ下方向に正方向とし、Ｘ軸をページ右方向に正方向とするするＸＹ座標系で示される。
【００２３】
（３−５）〜（３−３１）は、図２のページ内の文書情報の構成要素（領域）を列挙したものであり、各構成要素をブロック（Ｂｌｏｃｋ）という単位で表現されている。このうち、（３−６）〜（３−２１）は、図２の文章２０２，２０３，２０４の領域のブロックを表現した記述である。（３−６）は、レイアウト解析において割り当てたブロック識別番号が「１１０１」であり、文章を記述したテキスト領域のブロックであることを示す記述がされている。
【００２４】
また、（３−７）〜（３−９）は、当該ブロックのページ内での位置を示す情報として、上記のＸＹ座標系での当該ブロックの左上の位置座標を示す記述がされている。また、（３−１０）〜（３−１２）は、上記のＸＹ座標系での当該ブロックのサイズを示す記述がされている。このサイズは、当該ブロックの左上の位置座標からのＸ，Ｙ方向の距離で示されている。
【００２５】
（３−１３）〜（３−２０）は、当該ブロック中に記述されている内容を示しており、テキスト領域のブロックなので、図２の本文２０２，見出し２０３，見出し２０３に続く文章２０４がそのまま記述されている。これらの文章（テキスト情報）は、紙媒体などからスキャンした場合には、文字認識などの技術を用いることで、画像情報からテキスト情報に変換して得られる。
【００２６】
（３−１５）は、図２の見出し２０３の部分が記述されており、見出しの番号が「５」で、見出しのタイトルが「客層の分析」という内容であったことを示すテキスト情報が付加されている。また、（３−１８）では、図２の文章２０４中の「スキー客」という部分にアンダーラインが付与されていたことが、文章２０４の文字列に加えて記述されている。
【００２７】
（３−２２）〜（３−３１）は、図２の図表要素２０５等の当該ページ内の他の構成要素について記述されている。（３−２２）は、図２の図表要素２０５に対してレイアウト解析において割り当てたブロック識別番号が「１１０２」であり、グラフィック形式のブロックであることが記述されている。また、（３−２３）〜（３−２５）は、図表要素２０５に係るブロックのページ内の位置を示す情報として、上記のＸＹ座標系での図表要素２０５に係るブロックの左上の位置座標を記述している。また、（３−２６）〜（３−２８）は、上記のＸＹ座標系での図表要素２０５に係るブロックのサイズが記述されている。さらに、図示省略したが、（３―３０）以下には、図表要素２０５自体が記述されている。
【００２８】
本実施の形態では、図１の外部記憶装置１０５等に保存された文書データ中の画像、図、表といった非テキスト情報を検索するために、まず、以上のようにして文書データに対して予めレイアウト解析を行う処理が実行される。そして、このレイアウト解析結果に基づいて非テキスト情報の領域、その構成要素、すなわち非テキスト情報の領域内の個々の非テキスト情報について相互の関係を解析する処理が実行される。その解析結果に基づいて非テキスト情報、その構成要素を検索するための検索用メタデータを抽出して登録する処理が実行される。
【００２９】
例えば、ＣＰＵ１０１は、レイアウト解析によりブロック分割を行うことによってそれぞれの図表要素あるいは文章が記述されたブロックの位置を求める。そして、図２に示した図表要素２０５、図表要素２０７のそれぞれに近傍する位置に１〜２行程度の文字列が配置された領域を認識する。ここで、所定の範囲内に１〜２行程度の文字列の存在が認識されない場合、あるいは所定の範囲内に１〜２行程度の文字列の存在が認識されたが、その文字列よりも図表要素が対象とする図表要素に近傍している場合、ＣＰＵ１０１は、その図表要素のキャプションは存在しないものと判断する。ＣＰＵ１０１は、これらの文字列を、図表要素２０５、図表要素２０７の説明文（キャプション）２０６、２０８であると認定する。
【００３０】
すなわち、図表要素２０５と図表要素２０７は並列の関係にあり、キャプション２０６は図表要素２０５に対応し、キャプション２０８は図表要素２０７に対応しているものと認定することができる。そして、情報処理装置は、これらキャプション２０６，２０８を、それぞれ図表要素２０５，２０７を検索するための検索用メタデータとして抽出し、それぞれ図表要素２０５，２０７と関連付けて外部記憶装置１０５等に登録する。
【００３１】
そして、検索処理の際には、情報処理装置は、例えばメタデータとしてのキャプション２０６を検索することにより、そのメタデータ（キャプション２０６）に関連付けられた非テキスト情報としての図表要素２０５を読出し、検索結果として表示する。
【００３２】
これにより、画像、図、表等の各種の非テキスト情報のフォーマットに依存することなく、各種の非テキスト情報を検索することができるようになる。また、検索時には、検索用のメタデータを検索するだけで目的の非テキスト情報を検索することができ、検索所要時間を短縮することが可能となる。
【００３３】
次に、図４の文書データの例を用いて第１の実施の形態を詳細に説明する。図４の１ページ分の文書データ４０１には、文章（テキスト情報）４０２、見出し（テキスト情報）４０３で始まる文章（テキスト情報）４０４、図表要素（画像情報：非テキスト画像）４０５、図表要素４０５のキャプション４０６、図表要素４０７、図表要素４０７のキャプション（テキスト情報）４０８、図表要素４０９、図表要素４０９のキャプション（テキスト情報）４１０が記載されている。
【００３４】
また、図表領域全体を示すキャプション（テキスト情報）４１１と、ページ番号（テキスト情報）４１２を有する。なお、キャプション４０６，４０８，４１０は、図表領域全体のキャプション４１１に対し、当該図表領域の一部の図のキャプションであることから、サブキャプションと呼ばれる。
【００３５】
図５は、図４の文書に対するレイアウト解析の解析結果を示したものである。ただし、レイアウト解析結果は、本実施の形態では、実際にはＸＭＬデータで記述されるが、図５では理解し易いように、概念図で示している。
【００３６】
なお、図表要素４０５、図表要素４０５のキャプション４０６、図表要素４０７、図表要素４０７のキャプション４０８、図表要素４０９、図表要素４０９のキャプション４１０が配置される領域を全体図表領域とする。すなわち、全体図表領域は、テキスト情報としてのキャプション（全体図表領域のサブキャプション）を含んでいる。図４に示す図表領域は、図表要素が密集している状態である。すなわち、本実施の形態では、「全体図表領域」という用語は、その領域にテキスト情報を含むことを許容するものとする。
【００３７】
図５に示したキャプション等は、図４の文書データのレイアウト解析を行なって得られたものである。図４に示したように、「１１」という数字は、当該ページの最下行に孤立状態で存在するものであるので、ＣＰＵ１０１は、ページ番号と判断する。仮に、前後のページが存在し、それらの同位置にも「１１」に連続する「１０」、「１２」という数字が存在する場合、ＣＰＵ１０１は、図４の数字「１１」は、「ページ番号」であると判断してもよい。図５において、レイアウト解析結果において得られたテキスト情報である数字「１１」は、符号５０１で示したようにページ番号と判断され、「ページＮｏ．１１」としている。図５に示した符号５０２，５０４は、図４に示した文章４０２，４０４に相当するものである。
【００３８】
また、図４の文書データにおいて、「５．家具Ａ」という短い文字列は、比較的長い文章４０２と文章４０４の間に孤立状態で配置されている。さらに、図４の文書データの前のページの文章の間には「５」に連続する「４」、「６」という数字が短い文字列と共に記載されている。この場合、ＣＰＵ１０１は、図４の「家具Ａ」という文字列を「タイトル」として判断し、「５．」をセクション番号であると判断する。よって、図５のレイアウト解析結果において符号５０３で示したように、「文章（セクション）番号＝”５”、タイトル＝”家具Ａ”」としている。すなわち、本実施の形態において、ＣＰＵ１０１は、レイアウト解析によってブロック分割を行う。その結果として、ある領域中に「数字」，「１行程度の文字列」の記述を認識した場合、その認識された領域の前の領域（上側の領域）と予め定められた距離より離れて配置されているか否かを判断する。予め定められた距離より離れて配置されていると判断した場合、ＣＰＵ１０１は「数字」を文章（セクション）番号とみなし、「１行程度の文字列」をタイトル判断する。
【００３９】
また、図４の文書データにおいて、「商品Ｎｏ．１００ 家具Ａ」という比較的短い文字列は、図表領域の最下行に孤立状態で記載されている。また、図表領域の他の３個の文字列「側面図」、「脚の拡大図」、「全体図」は、３個の図とそれぞれ１対１に対応する形で図の真下に記載されている。従って、「商品Ｎｏ．１００ 家具Ａ」という文字列は、図表領域全体のキャプションであり、他の３個の文字列は、その真上の図のキャプション（この場合はサブキャプション）であると推定できる。従って、図５のレイアウト解析結果では、符号５０５〜５０８に示したように、これらの文字列をキャプションとしている。
【００４０】
すなわち、図表領域全体のキャプション４１１の登録処理は以下のとおりである。
【００４１】
まず、ＣＰＵ１０１は、文書データのレイアウト解析を行い、ブロック分割処理を実行する。そして、上述したとおり、ＣＰＵ１０１は、認識されたある図表要素（４０５，４０７，４０９）の領域に最も近傍する文字列（４０６，４０８，４１０）をその図表要素のキャプション（図表領域全体のサブキャプション）として当該図表要素と関連付けて外部記憶装置１０５に登録する。
【００４２】
そして、ＣＰＵ１０１は、ある図表要素の領域の上下左右の領域端から所定の範囲内に近傍する他の図表要素の領域が存在するか否かを判断する。存在する場合、ＣＰＵ１０１は、それらが包含される領域全体を全体図表領域として外部記憶装置１０５に登録する。
【００４３】
さらに、ＣＰＵ１０１は、全体図表領域から所定の範囲内に近傍し、全体図表領域内の図表要素に関連付けられていない１〜２行程度の文字列４１１が記述された領域が存在するか否かを判断する。このような領域が存在する場合、ＣＰＵ１０１は、全体図表領域のキャプションとして外部記憶装置１０５に登録する。
【００４４】
このように、第１の実施の形態では、レイアウト解析を行い、そのレイアウト解析によりテキスト情報（キャプション）と非テキスト情報（図表）を識別し、これらの位置関係等に基づいてキャプションと図表との対応関係、キャプション同士の関係等を認定している。
【００４５】
なお、レイアウト解析を行なった後、或いはレイアウト解析と並行して、図表等の非テキスト情報それ自体の構造、属性等の特徴を解析して、当該非テキスト情報要素を検索するための検索用メタデータを抽出することも可能である。例えば、円グラフ、図面等それ自体の中に記述されている文字列を探索する。そして、その文字列を当該円グラフ、図面等の周辺の文字ブロックの中から探索し、その文字列を含む文章を解析して当該円グラフ、図面等の特徴、属性等を認識する。解析された文章の一部の文字列等を当該円グラフ、図面等の検索用メタデータとして抽出するように構成してもよい。
【００４６】
次に、文書データ中の個別図表領域群によって構成される全体図表領域、及び個別図表領域を構成する図表要素（個別の図表、画像情報）を検索するための検索用メタデータを抽出・登録する処理を、図６のフローチャートに基づいて説明する。
【００４７】
まず、ＣＰＵ１０１は、文書データのレイアウトの解析結果に基づいて、図表要素領域を抽出する。ここでは、図４の１ページ分の文書データがレイアウト解析された結果、図５に示すように、図４の下半分の図表要素が取り出されたものとして説明する。
【００４８】
次に、ＣＰＵ１０１は、上述したように、抽出した各図表要素のキャプション情報（全体図表領域のサブキャプション情報）および全体図表領域のキャプション情報を抽出する。図４，５では、図４の「商品Ｎｏ．１００ 家具Ａ」４１１という全体図表領域のキャプション情報が抽出される。ここで、ＣＰＵ１０１は、全体図表領域の近傍にあってサブキャプション情報として登録されていない１〜２行程度のテキスト情報を全体図表領域のキャプション情報と判断する。そして、ＣＰＵ１０１は、抽出した全体図表領域のキャプション情報を、当該全体図表領域を検索するための検索用メタデータとして外部記憶装置１０５に登録する。
【００４９】
すなわち、ＣＰＵ１０１は、取り出されていない図表要素が存在するか否かを判別する（ステップＳ６０１）。ＣＰＵ１０１は、取り出されていない図表要素が存在しなければ、処理を終了する。一方、取り出されていない図表要素が存在すれば、ステップＳ６０２に進む。なお、図４の例では、図表要素として図表要素４０５，４０７，４０９が存在する。
【００５０】
ステップＳ６０２において、ＣＰＵ１０１は、１つの図表要素に対応するキャプション情報、すなわちサブキャプション情報を抽出する。上記の例では、図４に示した図表要素４０５のサブキャプション４０６が抽出されたものとする。そして、図表要素４０５とそれに対応するサブキャプション４０６の関連付けを行い、外部記憶装置１０５に登録する。
【００５１】
次に、ＣＰＵ１０１は、上述したように、図表要素を包含する図表領域を認識し、全体図表領域とする。その全体図表領域のキャプションを抽出し、当該全体図表領域との関連付けを行い外部記憶装置１０５に登録する（ステップＳ６０３）。
【００５２】
次に、ＣＰＵ１０１は、ステップＳ６０３での解析結果に基づいて、全体図表領域のキャプションと図表要素のサブキャプションとの関係、あるいは、全体図表領域のキャプションに対する図表要素のサブキャプションの役割を解析する（ステップＳ６０４）。上記の例では、全体図表領域のキャプションである「商品Ｎｏ．１００家具」と図表要素４０５のサブキャプションである「側面図」の関係が、例えば自然言語の単語間の一番簡単な関係である修飾関係にあることが解析される。
【００５３】
次に、ＣＰＵ１０１は、キャプションとステップＳ６０２〜Ｓ６０４で抽出・解析した図表要素のサブキャプションとの関係等の特徴情報を、当該図表要素を検索するための検索用メタデータとして外部記憶装置１０５等の記憶媒体に登録する（ステップＳ６０５）。すなわち、ＣＰＵ１０１は、キャプションとサブキャプションが修飾関係にある旨の情報も登録する。さらに、ＣＰＵ１０１は、検索等メタデータと、その検索用メタデータで検索されるべき図表要素、及びキャプション（サブキャプションを含む）とを関連付けて外部記憶装置１０５に登録する。
【００５４】
そして、ＣＰＵ１０１は、ステップＳ６０４に戻ることにより、ステップＳ６０５〜６０８の処理を施していない図表要素が残っている場合には、その図表要素についてステップＳ６０５〜６０８の処理を行なう。なお、図６の処理は、文書の各ページの各図表要素に対して実行される。
【００５５】
図７は、ＣＰＵ１０１が図４の文書データに対してレイアウト解析を行い、図５のレイアウト解析結果を得た後、図６の検索用メタデータの登録処理を行なったときの概念図である。番号７０１が全体図表領域とそのキャプションを示している。また、番号７０２〜７０４は、図表要素とそのキャプション（全体図表領域のサブキャプション）を示している。
【００５６】
図７に示したように、図４の文書データの全体図表領域を検索するための検索用メタデータとしては、当該文書データ中の全てのキャプション、サブキャプションである「商品Ｎｏ．１００ 家具Ａ」、「側面図」、「脚の拡大図」、「全体図」が登録されている。また、図４の文書データの図表要素４０５を検索するための検索用メタデータとしては、図４の文書データの全体図表領域のキャプション「商品Ｎｏ．１００家具Ａ」と共に、図表要素４０５のサブキャプションである「側面図」が登録されている。また、キャプション「商品Ｎｏ．１００家具Ａ」とサブキャプション「側面図」は、「修飾」の関係にあることも登録されている。
【００５７】
また、図４の文書データの図表要素４０７を検索するための検索用メタデータとしては、図４の文書データのキャプション「商品Ｎｏ．１００ 家具Ａ」と共に、図表要素４０７のサブキャプションである「脚の拡大図」が登録されている。また、キャプション「商品Ｎｏ．１００家具Ａ」とサブキャプション「脚の拡大図」は、「修飾」の関係にあることも登録されている。同様に、図４の文書データの図表要素４０９を検索するための検索用メタデータとしては、図４の文書データのキャプション「商品Ｎｏ．１００家具Ａ」と共に、図表要素４０９のサブキャプションである「全体図」が登録されている。また、キャプション「商品Ｎｏ．１００ 家具Ａ」とサブキャプション「全体図」は、「修飾」の関係にあることも登録されている。
【００５８】
なお、例えば、『商品Ｎｏ．１００ 家具Ａ―（修飾）―側面図』という検索用メタデータと、『商品Ｎｏ．１００ 家具Ａ―（修飾）―脚の拡大図』という検索用メタデータとは、間接的に、「側面図」と「脚の拡大図」との間に関係があることを示している。従って、個々の非テキスト情報同士の関係、すなわちサブキャプション同士の関係を検索用メタデータとして用いることも可能である。
【００５９】
次に、検索処理について説明する。文書中の文書中の図表等の非テキスト情報を検索する場合は、ユーザにより入力された検索条件としての文字列と類似する検索用メタデータが用いられる。
【００６０】
例えば、「イスＡの側面図」という文字列が検索条件として入力されたものとする。この場合、ＣＰＵ１０１は、図８に示したように、検索条件である「イスＡの側面図」という文字列を形態素解析して単語に分解し、その単語の品詞や分類別に検索指示情報としての重要度を決める。また、ＣＰＵ１０１は、修飾関係が「Ａ」と「側面」の間に存在することを認定する。さらに、図示省略したが、ＣＰＵ１０１は、検索用メタデータについても、検索条件と同様の処理を行なう。
【００６１】
そして、ＣＰＵ１０１は、検索条件に係る単語と意味が似ている単語を含む検索用メタデータを探し、それら単語同士の意味の類似度を検索条件と当該検索用メタデータの類似度とする。また、ＣＰＵ１０１は、検索条件に係る単語と意味が類似する単語を検索用メタデータが多く含むほど、その検索用メタデータの検索条件に対する類似度を高く評価する。さらに、ＣＰＵ１０１は、検索条件中の類似に係る単語同士の修飾関係と、検索用メタデータ中の類似に係る単語同士の修飾関係とが類似している場合は、その検索用メタデータの検索条件に対する類似度をより一層高く評価する。
【００６２】
そして、ＣＰＵ１０１は、検索条件と類似する検索用メタデータと関連付けられた図表等の非テキスト情報を、検索結果として表示器１０６に表示する。この場合、ＣＰＵ１０１は、検索条件との類似度が高く評価された検索用メタデータの順に検索処理を行なうと共に、その検索順に、当該検索用メタデータに関連付けられた非テキスト情報を配列して表示器１０６に表示させる。
【００６３】
例えば、「イスＡの側面図」を検索条件とした場合、類似度の評価の高い非テキスト情報の順番は、図７に示す番号７０２，７０１，７０３，７０４の順番に検索結果として表示される。
【００６４】
また、「商品Ｎｏ．家具Ａ」を検索条件とした場合、最も評価の高い非テキスト情報は、番号７０１となり、続いて番号７０２〜７０４が同じ類似度となる。すなわち、検索結果として番号７０１が先頭に表示され、番号７０２〜７０４が順不同に表示される。
【００６５】
以上説明したように、非テキスト情報の領域と個別の非テキスト情報との関係を加味した検索用データを用いて非テキスト情報の領域、個別の非テキスト情報を検索できるので、文書中の所望の非テキスト情報の領域、個別の非テキスト情報を高精度に検索することが可能となる。
【００６６】
なお、非テキスト情報を検索するための検索用メタデータは、当該非テキスト情報が属する領域だけでなく、その近傍のテキスト領域から抽出することも可能である。また、レイアウト解析だけでなく、キャプションの形態素解析、非テキスト情報の構造や関係の論理的な解析を行なうことにより、より詳細な検索用データの関係を得ることも可能である。この場合は、より一層、高精度に非テキスト情報等を高精度に検索できるようになる。
【００６７】
［第２の実施の形態］
第２の実施の形態は、第１の実施の形態のように、検索条件に対する検索用メタデータの類似度の順に検索結果を表示するだけでなく、更に、検索結果の表示方法を工夫したものである。具体的には、検索結果として表示された全体図表領域やその領域中の個別の図表が再利用するのに適したものであるか否かを簡単に確認できるようにして、適切な全体図表領域又は個々の図表要素を簡単に検索できるようにしたものである。
【００６８】
図９は、第２の実施の形態における表示器１０６の画面上に表示される文書検索ウィンドウ、具体的には検索結果に係るウィンドウを示したものである。図９の文書検索ウィンドウ９０１には、タイトルバー９０２が形成されている。このタイトルバー９０１には、当該ウィンドウのタイトルとして「文書検索」が表示されている。
【００６９】
また、文書検索ウィンドウ９０１には、検索用のウィンドウ９０３が形成され、このウィンドウ９０３には、検索条件を入力するための検索条件入力ボックス９０４と、検索結果を表示するための検索結果表示ボックス９０５が形成されている。
【００７０】
検索条件入力ボックス９０４には、単純な単語だけでなく、単語間、又は文節間の関係情報を持つ自然言語における文章などの形式で、検索条件を入力することができる。図９の例では、検索条件入力ボックス９０４には、「イスＡの側面図」という文字列が、検索条件として表示されている。このような検索条件入力ボックス９０４に対する検索条件の入力は、図１の入力部１０４等を用いて行なうことができる。
【００７１】
まず、ユーザは、検索条件入力ボックス９０４に検索条件を入力した状態で所定のボタンを操作する。ＣＰＵ１０１は、この操作の指示の検出に応じて、この検索条件と類似性のある検索用メタデータを外部記憶装置１０５上で検索する。そして、ＣＰＵ１０１は、この検索用メタデータに関連付けられた非テキスト情報の領域である全体図表領域、非テキスト情報である個々の図表要素等を読出して、検索結果として検索結果表示ボックス９０５に表示する。また、ＣＰＵ１０１は、検索結果表示ボックス９０５には、検索結果（図９の符号９０６，９０８，９０９参照）だけでなく、検索結果の検索用メタデータと関係性のあるメタデータを選択可能に表示する。
【００７２】
すなわち、検索条件が「イスＡの側面図」の場合、この検索条件の文字列の中で、「側面図」という文字列と全く同一の文字列が、図７に示したように、番号７０２に係る検索用メタデータ「商品Ｎｏ．１００家具Ａ−（修飾）―側面図」の中に含まれている。さらに、この番号７０２に係る検索用メタデータには、上記のように、検索条件の文字列の中の「Ａ」とい文字も含まれている。従って、ＣＰＵ１０１は、検索条件との類似性が一番高い検索用メタデータは、「商品Ｎｏ．１００家具Ａ−（修飾）―側面図」の中の「側面図」であると認定する。そして、ＣＰＵ１０１は、当該「側面図」という検索用メタデータと関連付けられた側面面（図４の図面４０５）を、検索結果９０６として検索結果表示ボックス９０５の１番上に表示する。
【００７３】
なお、図７では、番号７０１の図領域（図全体）に係る検索用メタデータの中にも「側面図」が存在するが、図９に示したように、図領域（図全体）は検索結果として表示されていない。この理由については、後述する。
【００７４】
また、この検索結果９０６の検索用メタデータ「側面図」には、上記のように、「商品Ｎｏ．１００家具Ａ」という検索用メタデータと「修飾」の関係性がある旨の情報が付与されている。そこで、ＣＰＵ１０１は、検索結果９０６に対して、「商品Ｎｏ．１００家具Ａ（図全体）」という検索用メタデータを、該当部分のビュー選択として表示器１０６の画面上に表示させている（図９の符号９０７参照）。
【００７５】
また、該当部分のビュー選択として表示した検索用メタデータには、「○」印で示したチェックボックスが配備されている。このチェックボックスにチェックマークを入れて所定のボタンを操作すると、ＣＰＵ１０１は、このチェックボックスに対応する検索用メタデータに関連付けられた情報を、検索結果として現在表示されている検索結果に代えて表示する。
【００７６】
例えば、ユーザは、符号９０７の「商品Ｎｏ．１００家具Ａ（図全体）」に対応するチェックボックスにチェックマークを入れて当該図表領域全体を選択し、所定のボタンを操作して当該選択を確定したとする。この操作に応じてＣＰＵ１０１が検索結果を表示処理すると、検索結果９０６の表示エリアの表示内容は、「側面図」から「家具Ａの図全体」に変化する。このように、現在表示中の検索結果と関係のある他の情報簡単に表示させることができるので、所望の情報を的確に検索して再利用することが可能となる。
【００７７】
図９では、「○」印の中の黒色がチェックマークを示している。このチェックマークは、検索結果を最初に表示する場合は、その検索結果に係る検索用メタデータに対してデフォルトで入れられている。
【００７８】
ＣＰＵ１０１は、最初に表示器１０６に検索結果を表示させる場合は、検索条件に係る文字列（言語表現）と類似度の高かった検索用メタデータの順に、当該検索用メタデータと関連付けられた非テキスト情報を検索結果として表示する。ただし、非テキスト情報の領域（図表領域全体）に係る検索用メタデータより高い類似度の検索用メタデータを持つ非テキスト情報（個々の図表等）が１つでも存在する場合は、それを包含する非テキスト情報（領域全体）は、最初の検索結果としては表示しないように構成されている。
【００７９】
その理由は、前述のような最初に検索結果として表示した個々の図表に対する該当部分のビュー選択操作により、相対的に低い類似度に係る図表領域全体を漏れなく表示できるからである。これにより、限られた面積の表示画面を有効に利用して１つの表示画面により多くの検索結果を表示することができるので、所望の図表等を迅速に見つけることが可能となって、利便性が向上する。
【００８０】
また、検索条件に対する類似度において、図表要素に係る検索用メタデータの類似度が一番高い場合は、ＣＰＵ１０１は、図表要素も最初の検索結果として表示する。この場合、ＣＰＵ１０１は、その検索結果（非テキスト情報の領域）に対応するビュー選択に係る検索用メタデータとしては、当該領域内の全ての個々の非テキスト情報の検索用メタデータを表示する。
【００８１】
なお、第２の実施の形態では、検索用メタデータの関係性として、図表領域全体と個々の図表要素（全体と部分）のような修飾関係だけを例示しているが、例えば上位概念と下位概念等の他の関係性を利用してもよい。また、所望の検索結果をより一層的確に選択して再利用できるようにするため、表示する各検索用メタデータに対して、検索条件との類似度を付加して表示することも可能である。この場合、一般的には数字で類似度を表示することが考えられるが、一瞥して類似度を認識できるように、グラフ等で類似度を表示することも可能である。
【００８２】
さらに、図面だけでなく、表に対して第１、第２の実施の形態を適用することも可能である。この場合は、表それ自体の構造を解析して項目名を認定し、その項目名を検索用メタデータとして、その項目名に係る項目値と関連付けて登録すればよい。また、検索結果を表示する際には、その検索結果に対応する項目名が例えば表の横の列の項目名である場合は、縦の列の項目名と、表全体を上記のビュー選択の検索用メタデータとして表示するように構成すればよい。
【００８３】
なお、表中の項目名は表の構成要素であり、サブキャプション（図表要素の説明）としての性格を有する。この表に対して、表の名称等が付与されていれば、表の名称等がキャプションとして機能する。また、表の場合には、横の列の項目名（構成要素）と縦の列の項目名（構成要素）との関係を検索用メタデータとして用いることにより、１つの項目値を直接検索することができる。
【００８４】
また、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００８５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８６】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００８７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８９】
【図１】本発明の第１,第２の実施の形態に係る情報処理装置の基本構成を示すブロック図である。
【図２】第１の実施の形態を説明するための第１の文書例を示す図である。
【図３】図２の文書のレイアウト解析の解析結果をＸＭＬで記述した図である。
【図４】第１の実施の形態を詳細に説明するための第２の文書例を示す図である。
【図５】図４の文書のレイアウト解析の解析結果を示す概念図である。
【図６】第１，第２の実施の形態における検索用メタデータの抽出処理を示すフローチャートである。
【図７】図４の文書に対して図６の処理を行なった場合の登録状態を示す概念図である。
【図８】検索処理を行なう場合の検索条件に係る文字列の解析例を示す概念図である。
【図９】第２の実施の形態に係る検索結果の表示例を示す図である。
【符号の説明】
【００９０】
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…入力部
１０５…外部記憶装置
１０６…表示器
９０５…検索結果表示ボックス
【技術分野】
【０００１】
本発明は、文書中の図表等の非テキスト情報を検索するのに好適な情報処理装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
電子文書は、近年、保存スペースの削減，遠隔地からの利便性から、膨大な量の電子文書が氾濫している。このため、所望の電子文書の検索に長時間を要するようになってきている。
【０００３】
特に、カタログ、論文、電子機器の取り扱い説明書等に係る電子文書には、テキスト情報だけでなく、画像、図、表などの非テキスト情報が多数含まれている。これら非テキスト情報は、利用頻度が高い情報でもある。
【０００４】
しかしながら、これら非テキスト情報は、それ自体は文字情報を持たないか、持っていても断片的な文字情報であるため、所望の非テキスト情報の検索は困難である。そこで、画像情報にメタデータ（テキスト情報）を付加し、このメタデータを用いて画像情報を検索する技術が開発されている（特許文献１，２参照）。
【特許文献１】特開２００２−２０２９７５号公報
【特許文献２】特開２０００−９２８５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献２は、あくまでも文書を検索する技術であり、文書中の非テキスト情報の単位で検索するものではない。また、特許文献１、２では、図表等の非テキスト情報の特徴や関係などまで考慮してメタデータを抽出するものではない。
【０００６】
換言すれば、従来は、非テキスト情報、その構成要素の関係、非テキスト情報の構造等を解析して検索用のメタデータを抽出することはできず、文書中の非テキスト情報、又はその構成要素を精度よく検索することはできなかった。また、所望の非テキスト情報等を検索できたとしても、その検索には長時間を要していた。
【０００７】
さらに、従来は、図、表等の非テキスト情報が一定の領域に密集しており、その領域の中にテキスト情報が混在する場合に、その非テキスト情報の領域を当該領域の単位で検索することはできなかった。
【０００８】
ところで、文書データ内の一部領域に含まれる画像，図，表などの非テキスト情報を検索したいという要望がある。本発明は、このような背景の下になされたもので、その目的は、文書中の非テキスト情報を検索し、検索結果を提供する情報処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、文書データ中の非テキスト情報に関連するメタデータを用いて非テキスト情報を検索する情報処理装置であって、入力に係る検索条件に基づいて、メタデータを該メタデータに対応する非テキスト情報と関連付けて記憶する記憶媒体に登録されたメタデータを検索する検索手段と、前記検索手段により検索されたメタデータに関連付けられた非テキスト情報を前記記憶媒体から読出して検索結果として表示する表示制御手段とを有し、前記表示制御手段は、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、例えば、非テキスト情報の領域と、その領域内の非テキスト情報との関係を考慮したメタデータを利用して、非テキスト情報の領域又は非テキスト情報を検索することができる。また、検索結果を表示する際には、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示することができる。
【００１１】
従って、文書中の非テキスト情報の領域、非テキスト情報、又はその構成要素を高精度に且つ迅速に検索し得る情報処理装置、その制御方法、及びプログラムを提供することが可能となる。
【発明を実施するための最良の形態】
【００１２】
［第１の実施の形態］
図１は、本発明の第１，第２の実施の形態に係る情報処理装置の基本構成を示すブロック図である。この情報処理装置は、マルチメディア文書データから所望の画像、図、表等の非テキスト情報又はその構成要素を高精度に検索できるようにしたものであり、パーソナルコンピュータ（ＰＣ）上に構築されている。
【００１３】
図１において、ＣＰＵ１０１は、本情報処理装置における各種の処理を制御するコントローラ（処理ユニット）である。その制御内容は、後述するＲＯＭ１０２、外部記憶装置１０５等に格納されたプログラムに基づいて実行される。また、ＣＰＵ１０１は、複数のプログラムを並列に実行可能である。
【００１４】
このＣＰＵ１０１は、バス１１０を介して、ＲＯＭ１０２、ＲＡＭ１０３、入力部１０４、外部記憶装置１０５、表示器１０６、通信部１０７等の各種デバイスと相互に通信可能に接続されている。ＲＯＭ１０２には、ブートプログラム等のプログラム、データ等が格納されている。ＲＡＭ１０３は、ＣＰＵ１０１が実際に処理を実行する際に、その処理に係るプログラムを外部記憶装置１０５等からロードして展開する等、ワークエリアとして利用される。
【００１５】
入力部１０４は、キーボード等により構成され、アルファベットキー、ひらがなキー、カタカナキー等の文字入力キー、及びカーソル移動キー等の各種の機能キーを有している。なお、入力部１０４は、マウスのようなポインティングデバイスを入力部１０４に搭載することもできる。
【００１６】
外部記装置１０５には、ＯＳ、アプリケーションプログラム等の各種のプログラム、文書データ等の各種のデータが格納される。この外部記憶装置１０５は、ハードディスク、不揮発性の半導体メモリ等の記憶媒体からなる。また、外部記憶装置１０５がハードディスクの場合、当該記憶媒体を駆動してデータを記録するドライブを有する。なお、外部記装置１０５には、図６のフローチャートに係る処理を行なうためのアプリケーションプログラムも記憶する。
【００１７】
表示器１０６は、液晶ディスプレイなどで構成され、入力部１０４により入力されたデータ、ＣＰＵ１０１での処理内容等を表示する。通信部１０７は、ＬＡＮ１０８、コネクタ１０９を介して他の情報処理装置、プリンタ等と通信するための制御を行う。この通信部１０７による通信制御により、第１〜３の実施の形態に係るアプリケーションプログラムやデータを他の情報処理装置と共有することが可能になる。
【００１８】
通信部１０７による通信は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、Ｅｔｈｅｒｎｅｔ(登録商標)などの有線通信、Ｂｌｕｅｔｏｏｔｈ、赤外線通信、ＩＥＥＥ８０２．１１ｂ等の無線通信の何れの通信方式を採ってもよい。なお、通信部１０７は、コネクタ１０９を介して記憶装置、スキャナ、プリンタ等と接続されている。
【００１９】
本情報処理装置は、外部記憶装置１０５、或いは外部のコンピュータにマルチメディア文書（以下、文書という）を格納する際に、この文書中の非テキスト情報又はその構成要素を検索するためのメタデータを抽出している。
【００２０】
図２は、１ページ分の文書データ２０１を例示したものである。この文書データ２０１は、本文（テキスト情報）２０２、見出し（テキスト情報）２０３に続く文章（テキスト情報）２０４、図表要素（グラフ：非テキスト情報）２０５、図表要素２０５のキャプション（説明文：テキスト情報）２０６、図表要素２０７、図表要素２０７のキャプション（説明文：テキスト情報）２０８、ページ番号（テキスト情報）２０９を有する。なお、キャプションとは、対応する図の説明文（テキスト情報）を意味する。
【００２１】
図３は、図２の文書データ２０１の解析結果を示す構造化文書データを示したものである。なお、図３は、レイアウト解析結果の基本部分を抜粋したものである。図３において、（３−１）〜（３−３２）は、レイアウト解析結果をＸＭＬ形式で記述したものである。このうち、（３−１）は図２のページの開始を示すものであり、ページ番号が「１１」であることが記述されている。また、（３−３２）は当該ページの終了を示している。
【００２２】
（３−２）〜（３−４）は、図２のページの大きさを示す記述部分である。（３−３）に示したページの大きさ（６００ ９００）は、ページ左上を原点とし、Ｙ軸をページ下方向に正方向とし、Ｘ軸をページ右方向に正方向とするＸＹ座標系におけるＸ，Ｙ座標値を示すものである。すなわち、当該ページがＸ方向に６００、Ｙ方向に９００の大きさであることが記述されている。以下、同様に、位置や大きさなどの情報は、ページ左上を原点とし、Ｙ軸をページ下方向に正方向とし、Ｘ軸をページ右方向に正方向とするするＸＹ座標系で示される。
【００２３】
（３−５）〜（３−３１）は、図２のページ内の文書情報の構成要素（領域）を列挙したものであり、各構成要素をブロック（Ｂｌｏｃｋ）という単位で表現されている。このうち、（３−６）〜（３−２１）は、図２の文章２０２，２０３，２０４の領域のブロックを表現した記述である。（３−６）は、レイアウト解析において割り当てたブロック識別番号が「１１０１」であり、文章を記述したテキスト領域のブロックであることを示す記述がされている。
【００２４】
また、（３−７）〜（３−９）は、当該ブロックのページ内での位置を示す情報として、上記のＸＹ座標系での当該ブロックの左上の位置座標を示す記述がされている。また、（３−１０）〜（３−１２）は、上記のＸＹ座標系での当該ブロックのサイズを示す記述がされている。このサイズは、当該ブロックの左上の位置座標からのＸ，Ｙ方向の距離で示されている。
【００２５】
（３−１３）〜（３−２０）は、当該ブロック中に記述されている内容を示しており、テキスト領域のブロックなので、図２の本文２０２，見出し２０３，見出し２０３に続く文章２０４がそのまま記述されている。これらの文章（テキスト情報）は、紙媒体などからスキャンした場合には、文字認識などの技術を用いることで、画像情報からテキスト情報に変換して得られる。
【００２６】
（３−１５）は、図２の見出し２０３の部分が記述されており、見出しの番号が「５」で、見出しのタイトルが「客層の分析」という内容であったことを示すテキスト情報が付加されている。また、（３−１８）では、図２の文章２０４中の「スキー客」という部分にアンダーラインが付与されていたことが、文章２０４の文字列に加えて記述されている。
【００２７】
（３−２２）〜（３−３１）は、図２の図表要素２０５等の当該ページ内の他の構成要素について記述されている。（３−２２）は、図２の図表要素２０５に対してレイアウト解析において割り当てたブロック識別番号が「１１０２」であり、グラフィック形式のブロックであることが記述されている。また、（３−２３）〜（３−２５）は、図表要素２０５に係るブロックのページ内の位置を示す情報として、上記のＸＹ座標系での図表要素２０５に係るブロックの左上の位置座標を記述している。また、（３−２６）〜（３−２８）は、上記のＸＹ座標系での図表要素２０５に係るブロックのサイズが記述されている。さらに、図示省略したが、（３―３０）以下には、図表要素２０５自体が記述されている。
【００２８】
本実施の形態では、図１の外部記憶装置１０５等に保存された文書データ中の画像、図、表といった非テキスト情報を検索するために、まず、以上のようにして文書データに対して予めレイアウト解析を行う処理が実行される。そして、このレイアウト解析結果に基づいて非テキスト情報の領域、その構成要素、すなわち非テキスト情報の領域内の個々の非テキスト情報について相互の関係を解析する処理が実行される。その解析結果に基づいて非テキスト情報、その構成要素を検索するための検索用メタデータを抽出して登録する処理が実行される。
【００２９】
例えば、ＣＰＵ１０１は、レイアウト解析によりブロック分割を行うことによってそれぞれの図表要素あるいは文章が記述されたブロックの位置を求める。そして、図２に示した図表要素２０５、図表要素２０７のそれぞれに近傍する位置に１〜２行程度の文字列が配置された領域を認識する。ここで、所定の範囲内に１〜２行程度の文字列の存在が認識されない場合、あるいは所定の範囲内に１〜２行程度の文字列の存在が認識されたが、その文字列よりも図表要素が対象とする図表要素に近傍している場合、ＣＰＵ１０１は、その図表要素のキャプションは存在しないものと判断する。ＣＰＵ１０１は、これらの文字列を、図表要素２０５、図表要素２０７の説明文（キャプション）２０６、２０８であると認定する。
【００３０】
すなわち、図表要素２０５と図表要素２０７は並列の関係にあり、キャプション２０６は図表要素２０５に対応し、キャプション２０８は図表要素２０７に対応しているものと認定することができる。そして、情報処理装置は、これらキャプション２０６，２０８を、それぞれ図表要素２０５，２０７を検索するための検索用メタデータとして抽出し、それぞれ図表要素２０５，２０７と関連付けて外部記憶装置１０５等に登録する。
【００３１】
そして、検索処理の際には、情報処理装置は、例えばメタデータとしてのキャプション２０６を検索することにより、そのメタデータ（キャプション２０６）に関連付けられた非テキスト情報としての図表要素２０５を読出し、検索結果として表示する。
【００３２】
これにより、画像、図、表等の各種の非テキスト情報のフォーマットに依存することなく、各種の非テキスト情報を検索することができるようになる。また、検索時には、検索用のメタデータを検索するだけで目的の非テキスト情報を検索することができ、検索所要時間を短縮することが可能となる。
【００３３】
次に、図４の文書データの例を用いて第１の実施の形態を詳細に説明する。図４の１ページ分の文書データ４０１には、文章（テキスト情報）４０２、見出し（テキスト情報）４０３で始まる文章（テキスト情報）４０４、図表要素（画像情報：非テキスト画像）４０５、図表要素４０５のキャプション４０６、図表要素４０７、図表要素４０７のキャプション（テキスト情報）４０８、図表要素４０９、図表要素４０９のキャプション（テキスト情報）４１０が記載されている。
【００３４】
また、図表領域全体を示すキャプション（テキスト情報）４１１と、ページ番号（テキスト情報）４１２を有する。なお、キャプション４０６，４０８，４１０は、図表領域全体のキャプション４１１に対し、当該図表領域の一部の図のキャプションであることから、サブキャプションと呼ばれる。
【００３５】
図５は、図４の文書に対するレイアウト解析の解析結果を示したものである。ただし、レイアウト解析結果は、本実施の形態では、実際にはＸＭＬデータで記述されるが、図５では理解し易いように、概念図で示している。
【００３６】
なお、図表要素４０５、図表要素４０５のキャプション４０６、図表要素４０７、図表要素４０７のキャプション４０８、図表要素４０９、図表要素４０９のキャプション４１０が配置される領域を全体図表領域とする。すなわち、全体図表領域は、テキスト情報としてのキャプション（全体図表領域のサブキャプション）を含んでいる。図４に示す図表領域は、図表要素が密集している状態である。すなわち、本実施の形態では、「全体図表領域」という用語は、その領域にテキスト情報を含むことを許容するものとする。
【００３７】
図５に示したキャプション等は、図４の文書データのレイアウト解析を行なって得られたものである。図４に示したように、「１１」という数字は、当該ページの最下行に孤立状態で存在するものであるので、ＣＰＵ１０１は、ページ番号と判断する。仮に、前後のページが存在し、それらの同位置にも「１１」に連続する「１０」、「１２」という数字が存在する場合、ＣＰＵ１０１は、図４の数字「１１」は、「ページ番号」であると判断してもよい。図５において、レイアウト解析結果において得られたテキスト情報である数字「１１」は、符号５０１で示したようにページ番号と判断され、「ページＮｏ．１１」としている。図５に示した符号５０２，５０４は、図４に示した文章４０２，４０４に相当するものである。
【００３８】
また、図４の文書データにおいて、「５．家具Ａ」という短い文字列は、比較的長い文章４０２と文章４０４の間に孤立状態で配置されている。さらに、図４の文書データの前のページの文章の間には「５」に連続する「４」、「６」という数字が短い文字列と共に記載されている。この場合、ＣＰＵ１０１は、図４の「家具Ａ」という文字列を「タイトル」として判断し、「５．」をセクション番号であると判断する。よって、図５のレイアウト解析結果において符号５０３で示したように、「文章（セクション）番号＝”５”、タイトル＝”家具Ａ”」としている。すなわち、本実施の形態において、ＣＰＵ１０１は、レイアウト解析によってブロック分割を行う。その結果として、ある領域中に「数字」，「１行程度の文字列」の記述を認識した場合、その認識された領域の前の領域（上側の領域）と予め定められた距離より離れて配置されているか否かを判断する。予め定められた距離より離れて配置されていると判断した場合、ＣＰＵ１０１は「数字」を文章（セクション）番号とみなし、「１行程度の文字列」をタイトル判断する。
【００３９】
また、図４の文書データにおいて、「商品Ｎｏ．１００ 家具Ａ」という比較的短い文字列は、図表領域の最下行に孤立状態で記載されている。また、図表領域の他の３個の文字列「側面図」、「脚の拡大図」、「全体図」は、３個の図とそれぞれ１対１に対応する形で図の真下に記載されている。従って、「商品Ｎｏ．１００ 家具Ａ」という文字列は、図表領域全体のキャプションであり、他の３個の文字列は、その真上の図のキャプション（この場合はサブキャプション）であると推定できる。従って、図５のレイアウト解析結果では、符号５０５〜５０８に示したように、これらの文字列をキャプションとしている。
【００４０】
すなわち、図表領域全体のキャプション４１１の登録処理は以下のとおりである。
【００４１】
まず、ＣＰＵ１０１は、文書データのレイアウト解析を行い、ブロック分割処理を実行する。そして、上述したとおり、ＣＰＵ１０１は、認識されたある図表要素（４０５，４０７，４０９）の領域に最も近傍する文字列（４０６，４０８，４１０）をその図表要素のキャプション（図表領域全体のサブキャプション）として当該図表要素と関連付けて外部記憶装置１０５に登録する。
【００４２】
そして、ＣＰＵ１０１は、ある図表要素の領域の上下左右の領域端から所定の範囲内に近傍する他の図表要素の領域が存在するか否かを判断する。存在する場合、ＣＰＵ１０１は、それらが包含される領域全体を全体図表領域として外部記憶装置１０５に登録する。
【００４３】
さらに、ＣＰＵ１０１は、全体図表領域から所定の範囲内に近傍し、全体図表領域内の図表要素に関連付けられていない１〜２行程度の文字列４１１が記述された領域が存在するか否かを判断する。このような領域が存在する場合、ＣＰＵ１０１は、全体図表領域のキャプションとして外部記憶装置１０５に登録する。
【００４４】
このように、第１の実施の形態では、レイアウト解析を行い、そのレイアウト解析によりテキスト情報（キャプション）と非テキスト情報（図表）を識別し、これらの位置関係等に基づいてキャプションと図表との対応関係、キャプション同士の関係等を認定している。
【００４５】
なお、レイアウト解析を行なった後、或いはレイアウト解析と並行して、図表等の非テキスト情報それ自体の構造、属性等の特徴を解析して、当該非テキスト情報要素を検索するための検索用メタデータを抽出することも可能である。例えば、円グラフ、図面等それ自体の中に記述されている文字列を探索する。そして、その文字列を当該円グラフ、図面等の周辺の文字ブロックの中から探索し、その文字列を含む文章を解析して当該円グラフ、図面等の特徴、属性等を認識する。解析された文章の一部の文字列等を当該円グラフ、図面等の検索用メタデータとして抽出するように構成してもよい。
【００４６】
次に、文書データ中の個別図表領域群によって構成される全体図表領域、及び個別図表領域を構成する図表要素（個別の図表、画像情報）を検索するための検索用メタデータを抽出・登録する処理を、図６のフローチャートに基づいて説明する。
【００４７】
まず、ＣＰＵ１０１は、文書データのレイアウトの解析結果に基づいて、図表要素領域を抽出する。ここでは、図４の１ページ分の文書データがレイアウト解析された結果、図５に示すように、図４の下半分の図表要素が取り出されたものとして説明する。
【００４８】
次に、ＣＰＵ１０１は、上述したように、抽出した各図表要素のキャプション情報（全体図表領域のサブキャプション情報）および全体図表領域のキャプション情報を抽出する。図４，５では、図４の「商品Ｎｏ．１００ 家具Ａ」４１１という全体図表領域のキャプション情報が抽出される。ここで、ＣＰＵ１０１は、全体図表領域の近傍にあってサブキャプション情報として登録されていない１〜２行程度のテキスト情報を全体図表領域のキャプション情報と判断する。そして、ＣＰＵ１０１は、抽出した全体図表領域のキャプション情報を、当該全体図表領域を検索するための検索用メタデータとして外部記憶装置１０５に登録する。
【００４９】
すなわち、ＣＰＵ１０１は、取り出されていない図表要素が存在するか否かを判別する（ステップＳ６０１）。ＣＰＵ１０１は、取り出されていない図表要素が存在しなければ、処理を終了する。一方、取り出されていない図表要素が存在すれば、ステップＳ６０２に進む。なお、図４の例では、図表要素として図表要素４０５，４０７，４０９が存在する。
【００５０】
ステップＳ６０２において、ＣＰＵ１０１は、１つの図表要素に対応するキャプション情報、すなわちサブキャプション情報を抽出する。上記の例では、図４に示した図表要素４０５のサブキャプション４０６が抽出されたものとする。そして、図表要素４０５とそれに対応するサブキャプション４０６の関連付けを行い、外部記憶装置１０５に登録する。
【００５１】
次に、ＣＰＵ１０１は、上述したように、図表要素を包含する図表領域を認識し、全体図表領域とする。その全体図表領域のキャプションを抽出し、当該全体図表領域との関連付けを行い外部記憶装置１０５に登録する（ステップＳ６０３）。
【００５２】
次に、ＣＰＵ１０１は、ステップＳ６０３での解析結果に基づいて、全体図表領域のキャプションと図表要素のサブキャプションとの関係、あるいは、全体図表領域のキャプションに対する図表要素のサブキャプションの役割を解析する（ステップＳ６０４）。上記の例では、全体図表領域のキャプションである「商品Ｎｏ．１００家具」と図表要素４０５のサブキャプションである「側面図」の関係が、例えば自然言語の単語間の一番簡単な関係である修飾関係にあることが解析される。
【００５３】
次に、ＣＰＵ１０１は、キャプションとステップＳ６０２〜Ｓ６０４で抽出・解析した図表要素のサブキャプションとの関係等の特徴情報を、当該図表要素を検索するための検索用メタデータとして外部記憶装置１０５等の記憶媒体に登録する（ステップＳ６０５）。すなわち、ＣＰＵ１０１は、キャプションとサブキャプションが修飾関係にある旨の情報も登録する。さらに、ＣＰＵ１０１は、検索等メタデータと、その検索用メタデータで検索されるべき図表要素、及びキャプション（サブキャプションを含む）とを関連付けて外部記憶装置１０５に登録する。
【００５４】
そして、ＣＰＵ１０１は、ステップＳ６０４に戻ることにより、ステップＳ６０５〜６０８の処理を施していない図表要素が残っている場合には、その図表要素についてステップＳ６０５〜６０８の処理を行なう。なお、図６の処理は、文書の各ページの各図表要素に対して実行される。
【００５５】
図７は、ＣＰＵ１０１が図４の文書データに対してレイアウト解析を行い、図５のレイアウト解析結果を得た後、図６の検索用メタデータの登録処理を行なったときの概念図である。番号７０１が全体図表領域とそのキャプションを示している。また、番号７０２〜７０４は、図表要素とそのキャプション（全体図表領域のサブキャプション）を示している。
【００５６】
図７に示したように、図４の文書データの全体図表領域を検索するための検索用メタデータとしては、当該文書データ中の全てのキャプション、サブキャプションである「商品Ｎｏ．１００ 家具Ａ」、「側面図」、「脚の拡大図」、「全体図」が登録されている。また、図４の文書データの図表要素４０５を検索するための検索用メタデータとしては、図４の文書データの全体図表領域のキャプション「商品Ｎｏ．１００家具Ａ」と共に、図表要素４０５のサブキャプションである「側面図」が登録されている。また、キャプション「商品Ｎｏ．１００家具Ａ」とサブキャプション「側面図」は、「修飾」の関係にあることも登録されている。
【００５７】
また、図４の文書データの図表要素４０７を検索するための検索用メタデータとしては、図４の文書データのキャプション「商品Ｎｏ．１００ 家具Ａ」と共に、図表要素４０７のサブキャプションである「脚の拡大図」が登録されている。また、キャプション「商品Ｎｏ．１００家具Ａ」とサブキャプション「脚の拡大図」は、「修飾」の関係にあることも登録されている。同様に、図４の文書データの図表要素４０９を検索するための検索用メタデータとしては、図４の文書データのキャプション「商品Ｎｏ．１００家具Ａ」と共に、図表要素４０９のサブキャプションである「全体図」が登録されている。また、キャプション「商品Ｎｏ．１００ 家具Ａ」とサブキャプション「全体図」は、「修飾」の関係にあることも登録されている。
【００５８】
なお、例えば、『商品Ｎｏ．１００ 家具Ａ―（修飾）―側面図』という検索用メタデータと、『商品Ｎｏ．１００ 家具Ａ―（修飾）―脚の拡大図』という検索用メタデータとは、間接的に、「側面図」と「脚の拡大図」との間に関係があることを示している。従って、個々の非テキスト情報同士の関係、すなわちサブキャプション同士の関係を検索用メタデータとして用いることも可能である。
【００５９】
次に、検索処理について説明する。文書中の文書中の図表等の非テキスト情報を検索する場合は、ユーザにより入力された検索条件としての文字列と類似する検索用メタデータが用いられる。
【００６０】
例えば、「イスＡの側面図」という文字列が検索条件として入力されたものとする。この場合、ＣＰＵ１０１は、図８に示したように、検索条件である「イスＡの側面図」という文字列を形態素解析して単語に分解し、その単語の品詞や分類別に検索指示情報としての重要度を決める。また、ＣＰＵ１０１は、修飾関係が「Ａ」と「側面」の間に存在することを認定する。さらに、図示省略したが、ＣＰＵ１０１は、検索用メタデータについても、検索条件と同様の処理を行なう。
【００６１】
そして、ＣＰＵ１０１は、検索条件に係る単語と意味が似ている単語を含む検索用メタデータを探し、それら単語同士の意味の類似度を検索条件と当該検索用メタデータの類似度とする。また、ＣＰＵ１０１は、検索条件に係る単語と意味が類似する単語を検索用メタデータが多く含むほど、その検索用メタデータの検索条件に対する類似度を高く評価する。さらに、ＣＰＵ１０１は、検索条件中の類似に係る単語同士の修飾関係と、検索用メタデータ中の類似に係る単語同士の修飾関係とが類似している場合は、その検索用メタデータの検索条件に対する類似度をより一層高く評価する。
【００６２】
そして、ＣＰＵ１０１は、検索条件と類似する検索用メタデータと関連付けられた図表等の非テキスト情報を、検索結果として表示器１０６に表示する。この場合、ＣＰＵ１０１は、検索条件との類似度が高く評価された検索用メタデータの順に検索処理を行なうと共に、その検索順に、当該検索用メタデータに関連付けられた非テキスト情報を配列して表示器１０６に表示させる。
【００６３】
例えば、「イスＡの側面図」を検索条件とした場合、類似度の評価の高い非テキスト情報の順番は、図７に示す番号７０２，７０１，７０３，７０４の順番に検索結果として表示される。
【００６４】
また、「商品Ｎｏ．家具Ａ」を検索条件とした場合、最も評価の高い非テキスト情報は、番号７０１となり、続いて番号７０２〜７０４が同じ類似度となる。すなわち、検索結果として番号７０１が先頭に表示され、番号７０２〜７０４が順不同に表示される。
【００６５】
以上説明したように、非テキスト情報の領域と個別の非テキスト情報との関係を加味した検索用データを用いて非テキスト情報の領域、個別の非テキスト情報を検索できるので、文書中の所望の非テキスト情報の領域、個別の非テキスト情報を高精度に検索することが可能となる。
【００６６】
なお、非テキスト情報を検索するための検索用メタデータは、当該非テキスト情報が属する領域だけでなく、その近傍のテキスト領域から抽出することも可能である。また、レイアウト解析だけでなく、キャプションの形態素解析、非テキスト情報の構造や関係の論理的な解析を行なうことにより、より詳細な検索用データの関係を得ることも可能である。この場合は、より一層、高精度に非テキスト情報等を高精度に検索できるようになる。
【００６７】
［第２の実施の形態］
第２の実施の形態は、第１の実施の形態のように、検索条件に対する検索用メタデータの類似度の順に検索結果を表示するだけでなく、更に、検索結果の表示方法を工夫したものである。具体的には、検索結果として表示された全体図表領域やその領域中の個別の図表が再利用するのに適したものであるか否かを簡単に確認できるようにして、適切な全体図表領域又は個々の図表要素を簡単に検索できるようにしたものである。
【００６８】
図９は、第２の実施の形態における表示器１０６の画面上に表示される文書検索ウィンドウ、具体的には検索結果に係るウィンドウを示したものである。図９の文書検索ウィンドウ９０１には、タイトルバー９０２が形成されている。このタイトルバー９０１には、当該ウィンドウのタイトルとして「文書検索」が表示されている。
【００６９】
また、文書検索ウィンドウ９０１には、検索用のウィンドウ９０３が形成され、このウィンドウ９０３には、検索条件を入力するための検索条件入力ボックス９０４と、検索結果を表示するための検索結果表示ボックス９０５が形成されている。
【００７０】
検索条件入力ボックス９０４には、単純な単語だけでなく、単語間、又は文節間の関係情報を持つ自然言語における文章などの形式で、検索条件を入力することができる。図９の例では、検索条件入力ボックス９０４には、「イスＡの側面図」という文字列が、検索条件として表示されている。このような検索条件入力ボックス９０４に対する検索条件の入力は、図１の入力部１０４等を用いて行なうことができる。
【００７１】
まず、ユーザは、検索条件入力ボックス９０４に検索条件を入力した状態で所定のボタンを操作する。ＣＰＵ１０１は、この操作の指示の検出に応じて、この検索条件と類似性のある検索用メタデータを外部記憶装置１０５上で検索する。そして、ＣＰＵ１０１は、この検索用メタデータに関連付けられた非テキスト情報の領域である全体図表領域、非テキスト情報である個々の図表要素等を読出して、検索結果として検索結果表示ボックス９０５に表示する。また、ＣＰＵ１０１は、検索結果表示ボックス９０５には、検索結果（図９の符号９０６，９０８，９０９参照）だけでなく、検索結果の検索用メタデータと関係性のあるメタデータを選択可能に表示する。
【００７２】
すなわち、検索条件が「イスＡの側面図」の場合、この検索条件の文字列の中で、「側面図」という文字列と全く同一の文字列が、図７に示したように、番号７０２に係る検索用メタデータ「商品Ｎｏ．１００家具Ａ−（修飾）―側面図」の中に含まれている。さらに、この番号７０２に係る検索用メタデータには、上記のように、検索条件の文字列の中の「Ａ」とい文字も含まれている。従って、ＣＰＵ１０１は、検索条件との類似性が一番高い検索用メタデータは、「商品Ｎｏ．１００家具Ａ−（修飾）―側面図」の中の「側面図」であると認定する。そして、ＣＰＵ１０１は、当該「側面図」という検索用メタデータと関連付けられた側面面（図４の図面４０５）を、検索結果９０６として検索結果表示ボックス９０５の１番上に表示する。
【００７３】
なお、図７では、番号７０１の図領域（図全体）に係る検索用メタデータの中にも「側面図」が存在するが、図９に示したように、図領域（図全体）は検索結果として表示されていない。この理由については、後述する。
【００７４】
また、この検索結果９０６の検索用メタデータ「側面図」には、上記のように、「商品Ｎｏ．１００家具Ａ」という検索用メタデータと「修飾」の関係性がある旨の情報が付与されている。そこで、ＣＰＵ１０１は、検索結果９０６に対して、「商品Ｎｏ．１００家具Ａ（図全体）」という検索用メタデータを、該当部分のビュー選択として表示器１０６の画面上に表示させている（図９の符号９０７参照）。
【００７５】
また、該当部分のビュー選択として表示した検索用メタデータには、「○」印で示したチェックボックスが配備されている。このチェックボックスにチェックマークを入れて所定のボタンを操作すると、ＣＰＵ１０１は、このチェックボックスに対応する検索用メタデータに関連付けられた情報を、検索結果として現在表示されている検索結果に代えて表示する。
【００７６】
例えば、ユーザは、符号９０７の「商品Ｎｏ．１００家具Ａ（図全体）」に対応するチェックボックスにチェックマークを入れて当該図表領域全体を選択し、所定のボタンを操作して当該選択を確定したとする。この操作に応じてＣＰＵ１０１が検索結果を表示処理すると、検索結果９０６の表示エリアの表示内容は、「側面図」から「家具Ａの図全体」に変化する。このように、現在表示中の検索結果と関係のある他の情報簡単に表示させることができるので、所望の情報を的確に検索して再利用することが可能となる。
【００７７】
図９では、「○」印の中の黒色がチェックマークを示している。このチェックマークは、検索結果を最初に表示する場合は、その検索結果に係る検索用メタデータに対してデフォルトで入れられている。
【００７８】
ＣＰＵ１０１は、最初に表示器１０６に検索結果を表示させる場合は、検索条件に係る文字列（言語表現）と類似度の高かった検索用メタデータの順に、当該検索用メタデータと関連付けられた非テキスト情報を検索結果として表示する。ただし、非テキスト情報の領域（図表領域全体）に係る検索用メタデータより高い類似度の検索用メタデータを持つ非テキスト情報（個々の図表等）が１つでも存在する場合は、それを包含する非テキスト情報（領域全体）は、最初の検索結果としては表示しないように構成されている。
【００７９】
その理由は、前述のような最初に検索結果として表示した個々の図表に対する該当部分のビュー選択操作により、相対的に低い類似度に係る図表領域全体を漏れなく表示できるからである。これにより、限られた面積の表示画面を有効に利用して１つの表示画面により多くの検索結果を表示することができるので、所望の図表等を迅速に見つけることが可能となって、利便性が向上する。
【００８０】
また、検索条件に対する類似度において、図表要素に係る検索用メタデータの類似度が一番高い場合は、ＣＰＵ１０１は、図表要素も最初の検索結果として表示する。この場合、ＣＰＵ１０１は、その検索結果（非テキスト情報の領域）に対応するビュー選択に係る検索用メタデータとしては、当該領域内の全ての個々の非テキスト情報の検索用メタデータを表示する。
【００８１】
なお、第２の実施の形態では、検索用メタデータの関係性として、図表領域全体と個々の図表要素（全体と部分）のような修飾関係だけを例示しているが、例えば上位概念と下位概念等の他の関係性を利用してもよい。また、所望の検索結果をより一層的確に選択して再利用できるようにするため、表示する各検索用メタデータに対して、検索条件との類似度を付加して表示することも可能である。この場合、一般的には数字で類似度を表示することが考えられるが、一瞥して類似度を認識できるように、グラフ等で類似度を表示することも可能である。
【００８２】
さらに、図面だけでなく、表に対して第１、第２の実施の形態を適用することも可能である。この場合は、表それ自体の構造を解析して項目名を認定し、その項目名を検索用メタデータとして、その項目名に係る項目値と関連付けて登録すればよい。また、検索結果を表示する際には、その検索結果に対応する項目名が例えば表の横の列の項目名である場合は、縦の列の項目名と、表全体を上記のビュー選択の検索用メタデータとして表示するように構成すればよい。
【００８３】
なお、表中の項目名は表の構成要素であり、サブキャプション（図表要素の説明）としての性格を有する。この表に対して、表の名称等が付与されていれば、表の名称等がキャプションとして機能する。また、表の場合には、横の列の項目名（構成要素）と縦の列の項目名（構成要素）との関係を検索用メタデータとして用いることにより、１つの項目値を直接検索することができる。
【００８４】
また、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００８５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８６】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００８７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８９】
【図１】本発明の第１,第２の実施の形態に係る情報処理装置の基本構成を示すブロック図である。
【図２】第１の実施の形態を説明するための第１の文書例を示す図である。
【図３】図２の文書のレイアウト解析の解析結果をＸＭＬで記述した図である。
【図４】第１の実施の形態を詳細に説明するための第２の文書例を示す図である。
【図５】図４の文書のレイアウト解析の解析結果を示す概念図である。
【図６】第１，第２の実施の形態における検索用メタデータの抽出処理を示すフローチャートである。
【図７】図４の文書に対して図６の処理を行なった場合の登録状態を示す概念図である。
【図８】検索処理を行なう場合の検索条件に係る文字列の解析例を示す概念図である。
【図９】第２の実施の形態に係る検索結果の表示例を示す図である。
【符号の説明】
【００９０】
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…入力部
１０５…外部記憶装置
１０６…表示器
９０５…検索結果表示ボックス
【特許請求の範囲】
【請求項１】
文書データ中の非テキスト情報に関連するメタデータを用いて非テキスト情報を検索する情報処理装置であって、
入力に係る検索条件に基づいて、メタデータを該メタデータに対応する非テキスト情報と関連付けて記憶する記憶媒体に登録されたメタデータを検索する検索手段と、
前記検索手段により検索されたメタデータに関連付けられた非テキスト情報を前記記憶媒体から読出して検索結果として表示する表示制御手段とを有し、
前記表示制御手段は、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示することを特徴とする情報処理装置。
【請求項２】
前記検索手段は、前記検索条件に係る文字列中の各単語の意味又は関係と、前記メタデータに係る文字列中の各単語の意味又は関係を比較することにより、該検索条件に対する該メタデータの類似度を算出して類似度の高いメタデータの順に検索し、前記表示手段は、検索されたメタデータの順に、該メタデータに関連付けられた非テキスト情報を前記記憶媒体から読出して検索結果として表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検索手段は、前記他の検索用メタデータの選択が確定した場合は、該他の検索用メタデータを前記記憶媒体上で検索し、前記表示制御手段は、検索された他の検索用メタデータに関連付けられた非テキスト情報を該記憶媒体から読出し、検索結果として現在表示されている非テキスト情報に代えて表示することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、非テキスト情報の領域に係るメタデータよりも前記類似度の高い非テキスト情報のメタデータが存在する場合は、該非テキスト情報の領域を最初の検索結果としては表示せず、該非テキスト情報の領域に係るメタデータを、検索結果として表示している個別の非テキスト情報のメタデータとの間に関係性のある他のメタデータとして選択可能に表示することを特徴とする２又は３に記載の情報処理装置。
【請求項５】
前記表示制御手段は、非テキスト情報を検索結果として表示する場合は、該非テキスト情報が含まれる領域のメタデータを、該検索結果に対する前記他のメタデータとして選択可能に表示することを特徴とする請求項１〜４の何れかに記載の情報処理装置。
【請求項６】
文書データ中の非テキスト情報に関連するメタデータを用いて非テキスト情報を検索する情報処理装置の制御方法であって、
抽出されたメタデータを該メタデータに対応する前記非テキスト情報の領域、非テキスト情報、又は構成要素と関連付けて所定の記憶媒体に登録する登録工程と、
入力に係る検索条件に基づいて、メタデータを該メタデータに対応する非テキスト情報と関連付けて記憶する記憶媒体に登録されたメタデータを検索する検索工程と、
前記検索工程により検索されたメタデータに関連付けられた非テキスト情報の領域、非テキスト情報、又は構成要素を前記記憶媒体から読出して検索結果として表示する表示制御工程とを有し、
前記表示制御工程において、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示させることを特徴とする情報処理装置の制御方法。
【請求項７】
請求項６に記載の制御方法を実行するプログラム。
【請求項１】
文書データ中の非テキスト情報に関連するメタデータを用いて非テキスト情報を検索する情報処理装置であって、
入力に係る検索条件に基づいて、メタデータを該メタデータに対応する非テキスト情報と関連付けて記憶する記憶媒体に登録されたメタデータを検索する検索手段と、
前記検索手段により検索されたメタデータに関連付けられた非テキスト情報を前記記憶媒体から読出して検索結果として表示する表示制御手段とを有し、
前記表示制御手段は、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示することを特徴とする情報処理装置。
【請求項２】
前記検索手段は、前記検索条件に係る文字列中の各単語の意味又は関係と、前記メタデータに係る文字列中の各単語の意味又は関係を比較することにより、該検索条件に対する該メタデータの類似度を算出して類似度の高いメタデータの順に検索し、前記表示手段は、検索されたメタデータの順に、該メタデータに関連付けられた非テキスト情報を前記記憶媒体から読出して検索結果として表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検索手段は、前記他の検索用メタデータの選択が確定した場合は、該他の検索用メタデータを前記記憶媒体上で検索し、前記表示制御手段は、検索された他の検索用メタデータに関連付けられた非テキスト情報を該記憶媒体から読出し、検索結果として現在表示されている非テキスト情報に代えて表示することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、非テキスト情報の領域に係るメタデータよりも前記類似度の高い非テキスト情報のメタデータが存在する場合は、該非テキスト情報の領域を最初の検索結果としては表示せず、該非テキスト情報の領域に係るメタデータを、検索結果として表示している個別の非テキスト情報のメタデータとの間に関係性のある他のメタデータとして選択可能に表示することを特徴とする２又は３に記載の情報処理装置。
【請求項５】
前記表示制御手段は、非テキスト情報を検索結果として表示する場合は、該非テキスト情報が含まれる領域のメタデータを、該検索結果に対する前記他のメタデータとして選択可能に表示することを特徴とする請求項１〜４の何れかに記載の情報処理装置。
【請求項６】
文書データ中の非テキスト情報に関連するメタデータを用いて非テキスト情報を検索する情報処理装置の制御方法であって、
抽出されたメタデータを該メタデータに対応する前記非テキスト情報の領域、非テキスト情報、又は構成要素と関連付けて所定の記憶媒体に登録する登録工程と、
入力に係る検索条件に基づいて、メタデータを該メタデータに対応する非テキスト情報と関連付けて記憶する記憶媒体に登録されたメタデータを検索する検索工程と、
前記検索工程により検索されたメタデータに関連付けられた非テキスト情報の領域、非テキスト情報、又は構成要素を前記記憶媒体から読出して検索結果として表示する表示制御工程とを有し、
前記表示制御工程において、各検索結果に対して、それぞれ当該検索結果に係るメタデータとの間に関係性のある他のメタデータを選択可能に表示させることを特徴とする情報処理装置の制御方法。
【請求項７】
請求項６に記載の制御方法を実行するプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−３１０５０２（Ｐ２００７−３１０５０２Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１３６９６４（Ｐ２００６−１３６９６４）
【出願日】平成１８年５月１６日（２００６．５．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月１６日（２００６．５．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]