情報登録装置、情報検索装置、情報検索システム、情報登録プログラム、および情報検索プログラム
【課題】所望の文書構造を持つ文書を簡易に検索することを可能にする。
【解決手段】情報登録装置２００は、処理対象の文書の文書構造を表す文書構造画像を取得する文書構造画像取得部２１０と、上記取得された文書構造画像を上記処理対象の文書と対応付けて記憶装置１００に登録する文書構造画像登録部２２０とを有する。
【解決手段】情報登録装置２００は、処理対象の文書の文書構造を表す文書構造画像を取得する文書構造画像取得部２１０と、上記取得された文書構造画像を上記処理対象の文書と対応付けて記憶装置１００に登録する文書構造画像登録部２２０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報登録装置、情報検索装置、情報検索システム、情報登録プログラム、および情報検索プログラムに関する。
【背景技術】
【０００２】
文書を検索する技術として、予め文書に付与されたキーワードを用いて文書を検索するキーワード検索や、指定したキーワードを含む文書を検索するフルテキスト検索がある。
【０００３】
特許文献１には、記憶媒体から画像を検索する装置が開示されている。
【０００４】
非特許文献１には、構成要素の位置、行間隔、文字の大きさ、文字数などの特徴を画像特徴としてとらえ、これらを総合的に判断して文書画像の構造を解析する手法が開示されている。
【０００５】
特許文献２には、入力される文書画像に類似する画像データを検索する技術が開示されている。この技術では、オリジナル文書を属性毎に複数のブロックに分割し、各ブロックの位置、サイズ、属性を含むレイアウト情報をオリジナル文書のインデックス情報として保存する。検索においては、入力画像を属性毎に複数のブロックに分割し、入力画像とオリジナル文書とで、ブロックの位置、サイズ、属性を比較してレイアウトの類似率を求め、当該類似率に基づいて入力画像に類似するオリジナル文書を検索する。
【０００６】
【特許文献１】特許第３０１７８５１号明細書
【特許文献２】特開２００４−３４８７０６号公報
【非特許文献１】山岡正輝、岩根和巳、岩城修、「パターン分類手法に基づく文書画像の構造解析」、電子情報通信学会論文誌、１９９６年５月、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ、Ｎｏ．５、ｐ．７５６−７６４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、文書の検索においては、所望の文書構造を持つ文書を簡易に検索したいという要望がある。
【０００８】
所望の文書構造を持つ文書を簡易に検索することを可能にする情報登録装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る情報登録装置は、処理対象の文書の文書構造を表す文書構造画像を取得する文書構造画像取得手段と、前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する文書構造画像登録手段と、を有することを特徴とする。
【００１０】
本発明の一態様では、前記文書構造画像取得手段は、前記処理対象の文書の入力を受け付ける文書受付手段と、前記受け付けられた文書から前記文書構造画像を生成する文書構造画像生成手段と、を含む。
【００１１】
また、本発明の一態様では、前記文書構造画像生成手段は、前記処理対象の文書の文書構造を解析し、解析された文書構造に基づいて前記文書構造画像を生成する。
【００１２】
また、本発明の一態様では、前記文書構造画像生成手段は、前記処理対象の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記文書構造画像を生成する。
【００１３】
また、本発明の一態様では、前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、前記文書構造画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する。
【００１４】
本発明に係る情報検索装置は、検索用の画像を取得する検索用画像取得手段と、文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する文書取得手段と、を有することを特徴とする。
【００１５】
本発明の一態様では、前記検索用画像取得手段は、検索用の文書の入力を受け付ける文書受付手段と、前記受け付けられた文書から前記検索用の画像を生成する検索用画像生成手段と、を含む。
【００１６】
また、本発明の一態様では、前記検索用画像生成手段は、前記検索用の文書の文書構造を解析し、解析された文書構造に基づいて、前記検索用の画像として、前記検索用の文書の文書構造を表す文書構造画像を生成する。
【００１７】
また、本発明の一態様では、前記検索用画像生成手段は、前記検索用の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記検索用の画像を生成する。
【００１８】
また、本発明の一態様では、前記検索用画像取得手段は、画面上における白紙領域に対する利用者の操作に基づいて前記検索用の画像を生成する。
【００１９】
また、本発明の一態様では、前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、前記検索用画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する。
【００２０】
また、本発明の一態様では、前記検索用画像取得手段は、利用者の操作に基づいて、２つの構成要素の属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を含む画像を、前記検索用の画像として生成する。
【００２１】
また、本発明の一態様では、前記検索用画像取得手段は、文書の構成要素の出現確率が画像要素の属性で表現されるように、前記検索用の画像を生成する。
【００２２】
また、本発明の一態様では、前記取得された文書の一覧を表示させる文書一覧表示手段と、前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、前記選択された複数の文書に基づいて新たな検索用の画像を生成する検索用画像生成手段と、をさらに有し、前記文書取得手段は、前記記憶手段から、前記生成された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００２３】
また、本発明の一態様では、前記取得された文書の一覧を表示させる文書一覧表示手段と、前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、をさらに有し、前記文書取得手段は、前記記憶手段から、前記選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００２４】
また、本発明の一態様では、前記文書取得手段は、前記記憶手段から、画像要素の各属性間の面積比が前記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００２５】
本発明に係る情報検索システムは、上記いずれかの情報登録装置と、上記いずれかの情報検索装置と、を有することを特徴とする。
【００２６】
本発明に係る情報登録プログラムは、コンピュータに、処理対象の文書の文書構造を表す文書構造画像を取得する手順と、前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する手順と、を実行させることを特徴とする。
【００２７】
本発明に係る情報検索プログラムは、コンピュータに、検索用の画像を取得する手順と、文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する手順と、を実行させることを特徴とする。
【発明の効果】
【００２８】
請求項１に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することを可能にすることができる。
【００２９】
請求項２に記載の発明によれば、処理対象の文書から文書構造画像を生成することができる。
【００３０】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、処理対象の文書から文書構造画像を容易に生成することが可能となる。
【００３１】
請求項４に記載の発明によれば、利用者の操作に基づいて文書構造画像を生成することができる。
【００３２】
請求項５に記載の発明によれば、文書構造の解析において確定的な解析結果が得られない場合でも、解析結果に応じた文書構造画像を生成することができる。
【００３３】
請求項６に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することができる。
【００３４】
請求項７に記載の発明によれば、検索用の文書から検索用の画像を生成することができる。
【００３５】
請求項８に記載の発明によれば、本構成を有していない場合に比較して、検索用の文書から検索用の画像を容易に生成することが可能となる。
【００３６】
請求項９に記載の発明によれば、利用者の操作に基づいて検索用の画像を生成することができる。
【００３７】
請求項１０に記載の発明によれば、検索用の文書が無くても、検索用の画像を生成することができる。
【００３８】
請求項１１に記載の発明によれば、文書構造の解析において確定的な解析結果が得られない場合でも、解析結果に応じた検索用の画像を生成することができる。
【００３９】
請求項１２に記載の発明によれば、中間属性を利用した柔軟な検索が可能になる。
【００４０】
請求項１３に記載の発明によれば、文書の構成要素の出現確率を考慮した検索を行うことが可能になる。
【００４１】
請求項１４に記載の発明によれば、検索結果を用いて検索を行うことが可能となる。
【００４２】
請求項１５に記載の発明によれば、検索結果を用いて検索を行うことが可能となる。
【００４３】
請求項１６に記載の発明によれば、本構成を有していない場合に比較して、画像の回転、位置ずれ、拡大や縮小などによる影響が少ない検索を行うことが可能となる。
【００４４】
請求項１７に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することができる。
【００４５】
請求項１８に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することを可能にすることができる。
【００４６】
請求項１９に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することができる。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態を図面に従って説明する。
【００４８】
［第１の実施の形態］
図１は、第１の実施の形態に係る情報検索システム１の構成の一例を示すブロック図である。この情報検索システム１は、蓄積された文書群の中から、特定の文書構造を持つ文書の検索（レイアウト検索とも呼ばれる）を行うものである。
【００４９】
図１において、情報検索システム１は、記憶装置１００と、情報登録装置２００と、情報検索装置３００とを有する。
【００５０】
記憶装置１００は、検索対象である文書と、当該文書の文書構造を表す文書構造画像とを互いに対応付けて記憶する装置である。
【００５１】
上記文書は、画像データまたは画像データに変換可能な情報であり、例えば、ラスタデータ、Ｗｏｒｄ（登録商標）ファイルやＰＤＦ（Portable Document Format）ファイルなどの電子文書、ＸＭＬ（Extensible Markup Language）データなどである。なお、上記文書構造画像については、後に詳しく説明する。
【００５２】
情報登録装置２００は、処理対象の文書の文書構造を表す文書構造画像を取得し、当該文書構造画像を上記処理対象の文書と対応付けて記憶装置１００に登録する装置である。
【００５３】
情報検索装置３００は、検索用の画像を取得し、記憶装置１００から、当該検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する装置である。
【００５４】
本実施の形態では、記憶装置１００は、例えばハードディスク装置など、コンピュータで情報が読み書き可能な装置である。
【００５５】
また、本実施の形態では、情報登録装置２００は、コンピュータであり、当該装置２００の機能は、ＲＯＭ(Read Only Memory)やハードディスク装置等の記録媒体に記録された情報登録プログラムがメインメモリに読み出されてＣＰＵ(Central Processing Unit)により実行されることによって実現される。上記の情報登録プログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。
【００５６】
また、本実施の形態では、情報検索装置３００は、コンピュータであり、当該装置３００の機能は、ＲＯＭやハードディスク装置等の記録媒体に記録された情報検索プログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現される。上記の情報検索プログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。
【００５７】
ただし、記憶装置１００、情報登録装置２００、および情報検索装置３００の物理的な構成は、上記に限定されない。例えば、情報登録装置２００や情報検索装置３００の機能は、ハードウェアのみにより実現されてもよい。また、記憶装置１００、情報登録装置２００、および情報検索装置３００は、それぞれ、物理的に１つの装置により実現されてもよいし、複数の装置により実現されてもよい。また、記憶装置１００、情報登録装置２００、および情報検索装置３００は、物理的に別々の装置であってもよいし、物理的に一体に構成されてもよい。
【００５８】
以下、情報登録装置２００および情報検索装置３００の構成について、より詳しく説明する。
【００５９】
（情報登録装置２００の構成）
図１において、情報登録装置２００は、文書構造画像取得部２１０と、文書構造画像登録部２２０とを有する。
【００６０】
文書構造画像取得部２１０は、処理対象の文書の文書構造を表す文書構造画像を取得する。
【００６１】
処理対象の文書は、記憶装置１００に登録される、または登録されている、検索対象である文書である。したがって、処理対象の文書は、上述したとおり、画像データまたは画像データに変換可能な情報である。
【００６２】
文書構造画像は、例えば、文書の構成要素の属性および配置を、画像要素の属性および配置により表現する画像である。具体的には、文書構造画像は、文書の各構成要素に対応する画像要素を含み、各構成要素の属性、位置、大きさ、形状を、それぞれ画像要素の属性、位置、大きさ、形状により表現する画像である。
【００６３】
文書の構成要素の属性は、例えば、ヘッダ、タイトル、要約、本文など、文書構造における構成要素の種類である。
【００６４】
画像要素の属性は、例えば、画像要素の色や模様などに関する属性である。画像要素の色に関する属性としては、例えば、色相、彩度、明度（濃度）などが挙げられる。また、画像要素の模様に関する属性としては、例えば、塗り潰し（ハッチング）の種類（斜線、網点、ベタ等）、斜線の方向や密度、網点の大きさや密度などが挙げられる。文書の構成要素の属性は、画像要素の属性のうち１種類の属性（例えば、色相のみ、濃淡のみ）により表現されてもよいし、２種類以上の属性（例えば、色相とハッチングの種類との組み合わせ）により表現されてもよい。
【００６５】
例えば、ある文書において、領域Ａ１にタイトルが存在し、領域Ａ２に要約が存在し、領域Ａ３に本文が存在する場合、当該文書の文書構造画像では、領域Ａ１に相当する画像上の領域にタイトルを示す赤色のベタ画像が配置され、領域Ａ２に相当する画像上の領域に要約を示す青色のベタ画像が配置され、領域Ａ３に相当する画像上の領域に本文を示す緑色のベタ画像が配置される。
【００６６】
一つの態様では、文書の構成要素の属性は色相により表現され、互いに類似する構成要素は互いに類似する色で表現される。すなわち、互いに類似する構成要素は、色相環上、近傍の色で表現される。例えば、要約と本文とは互いに類似するので、それぞれ青色、緑色で表現され、タイトルはどちらとも類似しないので赤色で表現される。
【００６７】
別の一つの態様では、文書の構成要素の属性はハッチングの斜線の角度により表現され、互いに類似する構成要素は互いに類似する角度で表現される。
【００６８】
図１に示されるとおり、本実施の形態では、文書構造画像取得部２１０は、文書受付部２１１と、文書構造画像生成部２１２とを有する。
【００６９】
文書受付部２１１は、処理対象の文書の入力を受け付ける。文書受付部２１１は、例えば、利用者からの指示に従って、情報登録装置２００内の記憶装置や、情報登録装置２００に通信回線を介して接続された記憶装置、または記憶装置１００などから処理対象の文書を取得してもよいし、紙等の原稿がスキャナで読み取られて生成された画像データを取得してもよい。
【００７０】
文書構造画像生成部２１２は、文書受付部２１１により受け付けられた文書から文書構造画像を生成する。
【００７１】
一つの態様では、文書構造画像生成部２１２は、受け付けられた処理対象の文書の文書構造を解析し、解析された文書構造に基づいて文書構造画像を生成する。例えば、文書構造画像生成部２１２は、処理対象の文書に対して文書構造解析処理を行い、領域Ａ１〜Ａｎ（ｎは１以上の整数）にそれぞれ属性Ｂ１〜Ｂｎの構成要素が存在すると判断すると、領域Ａ１〜Ａｎに相当する画像上の領域にそれぞれ属性Ｂ１〜Ｂｎに対応する属性を持つ画像要素が配置された画像を、文書構造画像として生成する。文書構造画像生成部２１２による文書構造解析の手法としては、例えば非特許文献１に記載された手法など、種々の解析手法を用いることができる。当該態様において、文書構造画像生成部２１２は、解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、上記ある構成要素を、上記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現してもよい。例えば、文書構造画像生成部２１２は、ある構成要素について、要約である確率が４０％、本文である確率が６０％と判断した場合、当該構成要素を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。
【００７２】
別の一つの態様では、文書構造画像生成部２１２は、受け付けられた処理対象の文書の画像を表示装置（不図示）の画面上に表示させ、当該画面上における上記画像に対する利用者の操作に基づいて文書構造画像を生成する。具体的には、文書構造画像生成部２１２は、処理対象の文書の画像を含む、文書構造画像の作成を支援する支援画面を表示させ、当該支援画面上で利用者の操作を受け付け、当該操作に基づいて文書構造画像を生成する。利用者の操作は、例えば構成要素の属性および領域を指定する操作であり、例えばポインティングデバイスなどを用いて行われる。例えば、文書構造画像生成部２１２は、処理対象の文書の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記文書の画像に対する領域指定操作（例えばドラッグ）により受け付ける。
【００７３】
ただし、文書構造画像取得部２１０は、上記と異なる方法で文書構造画像を取得してもよい。
【００７４】
例えば、文書構造画像取得部２１０は、画面上における白紙領域に対する利用者の操作に基づいて文書構造画像を生成してもよい。ここで、白紙領域は、文書構造画像の作成の元となる文書の画像が表示されていない、文書構造画像が描画される領域であって、例えばベタ白の矩形領域である。具体的には、文書構造画像取得部２１０は、白紙領域の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記白紙領域の画像に対する領域指定操作（例えばドラッグ）により受け付ける。
【００７５】
また、例えば、文書構造画像取得部２１０は、別の装置やアプリケーションソフトにより作成された画像データを文書構造画像として取得してもよいし、利用者により手描きされた紙等の媒体上の画像がスキャナで読み取られて生成された画像データを文書構造画像として取得してもよい。
【００７６】
文書構造画像登録部２２０は、文書構造画像取得部２１０により取得された文書構造画像を、処理対象の文書と対応付けて記憶装置１００に登録する。ここで、処理対象の文書は、文書構造画像登録部２２０によって文書構造画像と対応付けて登録されてもよいし、予め登録されていてもよい。
【００７７】
（情報検索装置３００の構成）
図１において、情報検索装置３００は、検索用画像取得部３１０と、文書取得部３２０とを有する。
【００７８】
検索用画像取得部３１０は、検索用の画像を取得する。ここで、検索用の画像は、文書を検索するために用いられる検索キーであり、記憶装置１００に登録されている文書構造画像と照合されるものである。したがって、検索用の画像は、検索されるべき文書の文書構造を表す画像である。
【００７９】
図１に示されるとおり、本実施の形態では、検索用画像取得部３１０は、文書受付部３１１と、検索用画像生成部３１２とを有する。
【００８０】
文書受付部３１１は、検索用の文書の入力を受け付ける。ここで、検索用の文書は、画像データまたは画像データに変換可能な情報であり、例えば、ラスタデータ、Ｗｏｒｄ（登録商標）ファイルやＰＤＦファイルなどの電子文書、ＸＭＬデータなどである。文書受付部３１１は、例えば、利用者からの指示に従って、情報検索装置３００内の記憶装置や、情報検索装置３００に通信回線を介して接続された記憶装置、または記憶装置１００などから検索用の文書を取得してもよいし、紙等の原稿がスキャナで読み取られて生成された画像データを取得してもよい。
【００８１】
検索用画像生成部３１２は、文書受付部３１１により受け付けられた文書から検索用の画像を生成する。
【００８２】
一つの態様では、検索用画像生成部３１２は、受け付けられた検索用の文書の文書構造を解析し、解析された文書構造に基づいて、上記検索用の画像として、検索用の文書の文書構造を表す文書構造画像を生成する。例えば、検索用画像生成部３１２は、検索用の文書に対して文書構造解析処理を行い、領域Ａ１〜Ａｎ（ｎは１以上の整数）にそれぞれ属性Ｂ１〜Ｂｎの構成要素が存在すると判断すると、領域Ａ１〜Ａｎに相当する画像上の領域にそれぞれ属性Ｂ１〜Ｂｎに対応する属性を持つ画像要素が配置された画像を、検索用の画像として生成する。検索用画像生成部３１２による文書構造解析の手法としては、例えば非特許文献１に記載された手法など、種々の解析手法を用いることができる。当該態様において、検索用画像生成部３１２は、解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、上記ある構成要素を、上記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現してもよい。例えば、検索用画像生成部３１２は、ある構成要素について、要約である確率が４０％、本文である確率が６０％と判断した場合、当該構成要素を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。
【００８３】
別の一つの態様では、検索用画像生成部３１２は、受け付けられた検索用の文書の画像を表示装置（不図示）の画面上に表示させ、当該画面上における上記画像に対する利用者の操作に基づいて検索用の画像を生成する。具体的には、検索用画像生成部３１２は、検索用の文書の画像を含む、検索用の画像の作成を支援する支援画面を表示させ、当該支援画面上で利用者の操作を受け付け、当該操作に基づいて検索用の画像を生成する。利用者の操作は、例えば構成要素の属性および領域を指定する操作であり、例えばポインティングデバイスなどを用いて行われる。例えば、検索用画像生成部３１２は、検索用の文書の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記文書の画像に対する領域指定操作（例えばドラッグ）により受け付ける。当該態様において、検索用画像生成部３１２は、利用者から、１つの領域について、２つの構成要素の属性の指定を受け付け、指定された２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を配置してもよい。例えば、利用者は、ある領域に要約または本文が位置する文書を検索したい場合、その領域について要約および本文を指定してもよい。この場合、例えば、検索用画像生成部３１２は、検索用の画像において、その領域を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。上記のように２つの構成要素の属性の指定を受け付ける代わりに、検索用画像生成部３１２は、１つの領域について青緑色等の画像要素の中間属性の指定を受け付けてもよい。
【００８４】
ただし、検索用画像取得部３１０は、上記と異なる方法で検索用の画像を取得してもよい。
【００８５】
例えば、検索用画像取得部３１０は、画面上における白紙領域に対する利用者の操作に基づいて検索用の画像を生成してもよい。ここで、白紙領域は、検索用の画像の作成の元となる文書の画像が表示されていない、検索用の画像が描画される領域であって、例えばベタ白の矩形領域である。具体的には、検索用画像取得部３１０は、白紙領域の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記白紙領域の画像に対する領域指定操作（例えばドラッグ）により受け付ける。この態様においても、検索用画像取得部３１０は、利用者から、１つの領域について、２つの構成要素の属性の指定を受け付け、指定された２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を配置してもよい。例えば、利用者は、ある領域に要約または本文が位置する文書を検索したい場合、その領域について要約および本文を指定してもよい。この場合、例えば、検索用画像取得部３１０は、検索用の画像において、その領域を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。上記のように２つの構成要素の属性の指定を受け付ける代わりに、検索用画像取得部３１０は、１つの領域について青緑色等の画像要素の中間属性の指定を受け付けてもよい。
【００８６】
また、例えば、検索用画像取得部３１０は、別の装置やアプリケーションソフトにより作成された画像データを検索用の画像として取得してもよいし、利用者により手描きされた紙等の媒体上の画像がスキャナで読み取られて生成された画像データを検索用の画像として取得してもよい。これらの場合でも、利用者によって中間属性が指定されてもよい。例えば、利用者は、ある領域に要約または本文が位置する文書を検索したい場合、その領域を、要約を示す青色と本文を示す緑色との中間色である青緑色で描画することができる。
【００８７】
検索用画像取得部３１０は、文書の構成要素の出現確率が画像要素の属性で表現されるように、検索用の画像を生成してもよい。例えば、検索用画像取得部３１０は、文書の構成要素の出現確率を、彩度の高さやハッチングの線密度の大きさで表現してもよい。
【００８８】
一つの態様では、検索用画像取得部３１０は、複数の検索用の文書を取得し、当該複数の文書に対して文書構造解析処理を行い、当該解析の結果に基づき、文書画像上における各構成要素の出現確率の分布を求め、当該分布が画像要素の属性の分布（例えば、彩度の分布やハッチングの線密度の分布）により表現された画像を、検索用の画像として生成する。例えば、検索用画像取得部３１０は、文書画像上の領域Ａにおける要約の出現確率がＢ％であった場合、領域Ａに対応する検索用の画像上の領域を、彩度Ｂ％の青色で表現する。
【００８９】
別の一つの態様では、検索用画像取得部３１０は、利用者から構成要素の出現確率の指定を受け付け、指定された出現確率が画像要素の属性で表現された検索用の画像を生成する。例えば、検索用画像取得部３１０は、支援画面上で利用者から、領域の指定と、構成要素の属性の指定と、出現確率の指定とを受け付け、指定された領域を、指定された構成要素の属性および出現確率に対応する画像要素の属性で表現する。
【００９０】
別の装置やアプリケーションソフトにより検索用の画像が作成される場合や、利用者により検索用の画像が紙等に手描きされる場合においても、文書の構成要素の出現確率が画像要素の属性で表現されてもよい。
【００９１】
文書取得部３２０は、文書と、当該文書の文書構造を表す文書構造画像とが対応付けて登録されている記憶装置１００から、検索用画像取得部３１０により取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００９２】
ここで、文書取得部３２０は、種々の類似画像検索技術を用いて、検索用の画像と一致または類似する文書構造画像を検索することができる。また、文書取得部３２０は、既存の類似画像検索システムを用いて、検索用の画像と一致または類似する文書構造画像を検索してもよい。
【００９３】
例えば、文書取得部３２０は、検索用の画像と、記憶装置１００に登録されている各文書構造画像とを照合し、検索用の画像と各文書構造画像との間の類似度を算出する。そして、文書取得部３２０は、類似度が所定の閾値以上である文書構造画像を特定し、特定された文書構造画像に対応付けられている文書を取得する。そして、文書取得部３２０は、当該取得された文書を表示装置（不図示）の画面上に表示させるなどにより、検索結果として利用者に提示する。この場合、文書取得部３２０は、類似度が大きいものから順に提示してもよい。また、文書取得部３２０は、取得した文書の縮小画像（サムネイル画像）を提示してもよい。
【００９４】
文書取得部３２０は、検索された文書構造画像に対応付けられている文書を取得する場合、文書の全体を取得してもよいし、文書の一部（例えばタイトルや要約のみ）を取得してもよい。
【００９５】
また、文書取得部３２０は、記憶装置１００から、画像要素の各属性間の面積比が検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得してもよい。
【００９６】
以下、情報登録処理の手順および情報検索処理の手順を説明する。
【００９７】
図２は、情報登録処理の手順の一例を示すフローチャートである。図３は、情報登録処理の手順の一例を示す概念図である。以下、図２，３を参照して、情報登録処理の手順を説明する。
【００９８】
情報登録装置２００は、処理対象の文書３１に対して文書構造解析処理を行い、解析結果に基づき、上記処理対象の文書３１の文書構造を表す文書構造画像３２を生成する（Ｓ１１）。
【００９９】
そして、情報登録装置２００は、上記生成された文書構造画像３２を、上記処理対象の文書３１と対応付けて記憶装置１００に登録する（Ｓ１２）。
【０１００】
なお、上記ステップＳ１１の処理、すなわち文書構造画像を生成する処理は、先述したとおり、情報登録装置２００以外の装置等により行われてもよい。
【０１０１】
図４は、情報検索処理の手順の一例を示すフローチャートである。図５は、情報検索処理の手順の一例を示す概念図である。以下、図４，５を参照して、情報検索処理の手順を説明する。
【０１０２】
情報検索装置３００は、検索用の文書５１に対して文書構造解析処理を行い、解析結果に基づき、上記検索用の文書５１の文書構造を表す文書構造画像を、検索用の画像５２として生成する（Ｓ２１）。
【０１０３】
そして、情報検索装置３００は、上記検索用の画像５２と、記憶装置１００に登録されている各文書構造画像５３とを照合して、記憶装置１００から、上記検索用の画像５２と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する（Ｓ２２）。
【０１０４】
なお、上記ステップＳ２１の処理、すなわち検索用の画像を生成する処理は、先述したとおり、情報検索装置３００以外の装置等により行われてもよい。また、この場合、上記検索用の文書は無くてもよい。例えば、図６に示されるように、検索用の画像５２は、ドローツールや手描きにより作成されてもよい。
【０１０５】
以上説明したレイアウト検索は、一つの態様では、文書画像検索の前処理として行われる。ここで、文書画像検索とは、所望の文書画像と一致する文書画像を検索する処理である。
【０１０６】
また、以上説明した情報検索システムは、例えば下記のような用途に用いられる。
【０１０７】
帳票検索：データベース内に蓄積された様々な帳票データから、出張旅費清算の申請書のみをピックアップする。
【０１０８】
文書分類：データベース内に蓄積された様々な論文データを、学会別に分類してそれぞれのフォルダ（格納場所）に入れる。
【０１０９】
特定ページの抽出：データベース内に蓄積された多種多様な文書の表紙のみをピックアップして文書リストを生成する。
【０１１０】
特定ページの抽出：データベース内に蓄積された論文データから参考文献のページのみピックアップし、特定技術領域の文献リストを生成する。
【０１１１】
［第２の実施の形態］
図７は、第２の実施の形態に係る情報検索システム２の構成の一例を示すブロック図である。この情報検索システム２は、上記第１の実施の形態に係る情報検索システム１と殆ど同じである。そこで、以下、本実施の形態に係る情報検索システム２について説明するが、上記第１の実施の形態と共通する部分については、同一の符号を用い、説明を省略する。
【０１１２】
本実施の形態では、情報検索装置３００は、検索用画像取得部３１０および文書取得部３２０に加えて、文書一覧表示部３３０、文書選択受付部３４０、および検索用画像生成部３５０を有する。
【０１１３】
文書一覧表示部３３０は、文書取得部３２０により取得された文書の一覧を、表示装置（不図示）の画面上に表示させる。
【０１１４】
文書選択受付部３４０は、文書一覧表示部３３０により表示された一覧の中から複数の文書の選択を受け付ける。具体的には、文書選択受付部３４０は、画面上で一覧の中から複数の文書を選択する操作を、マウスやキーボード等のユーザインタフェースを介して利用者から受け付ける。
【０１１５】
検索用画像生成部３５０は、文書選択受付部３４０にて選択された複数の文書に基づいて新たな検索用の画像を生成する。例えば、検索用画像生成部３５０は、選択された複数の文書を統合して新たな検索用の画像を生成する。
【０１１６】
一つの態様では、検索用画像生成部３５０は、図８に示されるように、選択された複数の文書に対応する複数の文書構造画像８１，８２，８３を取得し、当該複数の文書構造画像を合成して新たな検索用の画像８４を生成する。例えば、検索用画像生成部３５０は、画像上の各画素について彩度の平均値と色相の平均値とを求め、求められた彩度の平均値および色相の平均値を各画素に持つ画像を、新たな検索用の画像として生成する。ただし、画像の合成の手法は上記に限定されず、種々の画像合成技術が適用可能である。検索用画像生成部３５０は、上記複数の文書構造画像を、記憶装置１００から取得してもよいし、選択された複数の文書から生成してもよい。
【０１１７】
別の一つの態様では、検索用画像生成部３５０は、選択された複数の文書に対して文書構造解析処理を行い、当該解析の結果に基づき、文書画像上における各構成要素の出現確率の分布を求め、当該分布が画像要素の属性の分布（例えば、彩度の分布やハッチングの線密度の分布）により表現された画像を、新たな検索用の画像として生成する。
【０１１８】
そして、本実施の形態では、文書取得部３２０は、記憶装置１００から、検索用画像生成部３５０により生成された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【０１１９】
文書一覧表示部３３０は、新たな検索用の画像に基づいて文書取得部３２０により検索された文書の一覧を画面上に表示させてもよく、検索結果に基づく検索処理は、繰り返し行われてもよい。すなわち、再帰的に文書の検索が行われてもよい。
【０１２０】
図９は、第２の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【０１２１】
情報検索装置３００は、検索用の画像を取得する（Ｓ３１）。
【０１２２】
ついで、情報検索装置３００は、記憶装置１００から、上記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する（Ｓ３２）。
【０１２３】
ついで、情報検索装置３００は、取得された文書の一覧を画面上に表示させる（Ｓ３３）。
【０１２４】
ついで、情報検索装置３００は、利用者からの検索終了の指示を受け付けたか否かを判断し（Ｓ３４）、受け付けたと判断された場合（Ｓ３４：ＹＥＳ）、処理を終了させ、受け付けなかったと判断された場合（Ｓ３４：ＮＯ）、処理をステップＳ３５に進める。
【０１２５】
ステップＳ３５では、情報検索装置３００は、表示された一覧の中から複数の文書の選択を受け付ける。
【０１２６】
ついで、情報検索装置３００は、選択された複数の文書に基づいて新たな検索用の画像を生成する（Ｓ３６）。
【０１２７】
そして、情報検索装置３００は、処理をステップＳ３２に戻し、再び文書の検索を行う。２回目以降の検索では、ステップＳ３６で生成された検索用の画像が用いられる。
【０１２８】
［第３の実施の形態］
図１０は、第３の実施の形態に係る情報検索システム３の構成の一例を示すブロック図である。この情報検索システム３は、上記第１の実施の形態に係る情報検索システム１と殆ど同じである。そこで、以下、本実施の形態に係る情報検索システム３について説明するが、上記第１の実施の形態と共通する部分については、同一の符号を用い、説明を省略する。
【０１２９】
本実施の形態では、情報検索装置３００は、検索用画像取得部３１０および文書取得部３２０に加えて、文書一覧表示部３３０および文書選択受付部３４０を有する。
【０１３０】
文書一覧表示部３３０は、文書取得部３２０により取得された文書の一覧を、表示装置（不図示）の画面上に表示させる。
【０１３１】
文書選択受付部３４０は、文書一覧表示部３３０により表示された一覧の中から複数の文書の選択を受け付ける。具体的には、文書選択受付部３４０は、画面上で一覧の中から複数の文書を選択する操作を、マウスやキーボード等のユーザインタフェースを介して利用者から受け付ける。
【０１３２】
そして、本実施の形態では、文書取得部３２０は、記憶装置１００から、文書選択受付部３４０にて選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。この場合、文書取得部３２０は、上記複数の文書の文書構造画像を、記憶装置１００から取得してもよいし、選択された複数の文書から生成してもよい。
【０１３３】
文書一覧表示部３３０は、選択された複数の文書の文書構造画像に基づいて文書取得部３２０により検索された文書の一覧を画面上に表示させてもよく、検索結果に基づく検索処理は、繰り返し行われてもよい。すなわち、再帰的に文書の検索が行われてもよい。
【０１３４】
図１１は、第３の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【０１３５】
情報検索装置３００は、検索用の画像を取得する（Ｓ４１）。
【０１３６】
ついで、情報検索装置３００は、記憶装置１００から、上記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する（Ｓ４２）。
【０１３７】
ついで、情報検索装置３００は、取得された文書の一覧を画面上に表示させる（Ｓ４３）。
【０１３８】
ついで、情報検索装置３００は、利用者からの検索終了の指示を受け付けたか否かを判断し（Ｓ４４）、受け付けたと判断された場合（Ｓ４４：ＹＥＳ）、処理を終了させ、受け付けなかったと判断された場合（Ｓ４４：ＮＯ）、処理をステップＳ４５に進める。
【０１３９】
ステップＳ４５では、情報検索装置３００は、表示された一覧の中から複数の文書の選択を受け付ける。
【０１４０】
そして、情報検索装置３００は、処理をステップＳ４２に戻し、再び文書の検索を行う。２回目以降の検索では、情報検索装置３００は、ステップＳ４５で選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【０１４１】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。
【図面の簡単な説明】
【０１４２】
【図１】第１の実施の形態に係る情報検索システムの構成の一例を示すブロック図である。
【図２】情報登録処理の手順の一例を示すフローチャートである。
【図３】情報登録処理の手順の一例を示す概念図である。
【図４】情報検索処理の手順の一例を示すフローチャートである。
【図５】情報検索処理の手順の一例を示す概念図である。
【図６】情報検索処理の手順の他の一例を示す概念図である。
【図７】第２の実施の形態に係る情報検索システムの構成の一例を示すブロック図である。
【図８】第２の実施の形態における、新たな検索用の画像の生成の一例を示す図である。
【図９】第２の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【図１０】第３の実施の形態に係る情報検索システムの構成の一例を示すブロック図である。
【図１１】第３の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【符号の説明】
【０１４３】
１，２，３ 情報検索システム、１００ 記憶装置、２００ 情報登録装置、２１０ 文書構造画像取得部、２１１ 文書受付部、２１２ 文書構造画像生成部、２２０ 文書構造画像登録部、３００ 情報検索装置、３１０ 検索用画像取得部、３１１ 文書受付部、３１２ 検索用画像生成部、３２０ 文書取得部、３３０ 文書一覧表示部、３４０ 文書選択受付部、３５０ 検索用画像生成部。
【技術分野】
【０００１】
本発明は、情報登録装置、情報検索装置、情報検索システム、情報登録プログラム、および情報検索プログラムに関する。
【背景技術】
【０００２】
文書を検索する技術として、予め文書に付与されたキーワードを用いて文書を検索するキーワード検索や、指定したキーワードを含む文書を検索するフルテキスト検索がある。
【０００３】
特許文献１には、記憶媒体から画像を検索する装置が開示されている。
【０００４】
非特許文献１には、構成要素の位置、行間隔、文字の大きさ、文字数などの特徴を画像特徴としてとらえ、これらを総合的に判断して文書画像の構造を解析する手法が開示されている。
【０００５】
特許文献２には、入力される文書画像に類似する画像データを検索する技術が開示されている。この技術では、オリジナル文書を属性毎に複数のブロックに分割し、各ブロックの位置、サイズ、属性を含むレイアウト情報をオリジナル文書のインデックス情報として保存する。検索においては、入力画像を属性毎に複数のブロックに分割し、入力画像とオリジナル文書とで、ブロックの位置、サイズ、属性を比較してレイアウトの類似率を求め、当該類似率に基づいて入力画像に類似するオリジナル文書を検索する。
【０００６】
【特許文献１】特許第３０１７８５１号明細書
【特許文献２】特開２００４−３４８７０６号公報
【非特許文献１】山岡正輝、岩根和巳、岩城修、「パターン分類手法に基づく文書画像の構造解析」、電子情報通信学会論文誌、１９９６年５月、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ、Ｎｏ．５、ｐ．７５６−７６４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、文書の検索においては、所望の文書構造を持つ文書を簡易に検索したいという要望がある。
【０００８】
所望の文書構造を持つ文書を簡易に検索することを可能にする情報登録装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る情報登録装置は、処理対象の文書の文書構造を表す文書構造画像を取得する文書構造画像取得手段と、前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する文書構造画像登録手段と、を有することを特徴とする。
【００１０】
本発明の一態様では、前記文書構造画像取得手段は、前記処理対象の文書の入力を受け付ける文書受付手段と、前記受け付けられた文書から前記文書構造画像を生成する文書構造画像生成手段と、を含む。
【００１１】
また、本発明の一態様では、前記文書構造画像生成手段は、前記処理対象の文書の文書構造を解析し、解析された文書構造に基づいて前記文書構造画像を生成する。
【００１２】
また、本発明の一態様では、前記文書構造画像生成手段は、前記処理対象の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記文書構造画像を生成する。
【００１３】
また、本発明の一態様では、前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、前記文書構造画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する。
【００１４】
本発明に係る情報検索装置は、検索用の画像を取得する検索用画像取得手段と、文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する文書取得手段と、を有することを特徴とする。
【００１５】
本発明の一態様では、前記検索用画像取得手段は、検索用の文書の入力を受け付ける文書受付手段と、前記受け付けられた文書から前記検索用の画像を生成する検索用画像生成手段と、を含む。
【００１６】
また、本発明の一態様では、前記検索用画像生成手段は、前記検索用の文書の文書構造を解析し、解析された文書構造に基づいて、前記検索用の画像として、前記検索用の文書の文書構造を表す文書構造画像を生成する。
【００１７】
また、本発明の一態様では、前記検索用画像生成手段は、前記検索用の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記検索用の画像を生成する。
【００１８】
また、本発明の一態様では、前記検索用画像取得手段は、画面上における白紙領域に対する利用者の操作に基づいて前記検索用の画像を生成する。
【００１９】
また、本発明の一態様では、前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、前記検索用画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する。
【００２０】
また、本発明の一態様では、前記検索用画像取得手段は、利用者の操作に基づいて、２つの構成要素の属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を含む画像を、前記検索用の画像として生成する。
【００２１】
また、本発明の一態様では、前記検索用画像取得手段は、文書の構成要素の出現確率が画像要素の属性で表現されるように、前記検索用の画像を生成する。
【００２２】
また、本発明の一態様では、前記取得された文書の一覧を表示させる文書一覧表示手段と、前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、前記選択された複数の文書に基づいて新たな検索用の画像を生成する検索用画像生成手段と、をさらに有し、前記文書取得手段は、前記記憶手段から、前記生成された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００２３】
また、本発明の一態様では、前記取得された文書の一覧を表示させる文書一覧表示手段と、前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、をさらに有し、前記文書取得手段は、前記記憶手段から、前記選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００２４】
また、本発明の一態様では、前記文書取得手段は、前記記憶手段から、画像要素の各属性間の面積比が前記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００２５】
本発明に係る情報検索システムは、上記いずれかの情報登録装置と、上記いずれかの情報検索装置と、を有することを特徴とする。
【００２６】
本発明に係る情報登録プログラムは、コンピュータに、処理対象の文書の文書構造を表す文書構造画像を取得する手順と、前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する手順と、を実行させることを特徴とする。
【００２７】
本発明に係る情報検索プログラムは、コンピュータに、検索用の画像を取得する手順と、文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する手順と、を実行させることを特徴とする。
【発明の効果】
【００２８】
請求項１に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することを可能にすることができる。
【００２９】
請求項２に記載の発明によれば、処理対象の文書から文書構造画像を生成することができる。
【００３０】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、処理対象の文書から文書構造画像を容易に生成することが可能となる。
【００３１】
請求項４に記載の発明によれば、利用者の操作に基づいて文書構造画像を生成することができる。
【００３２】
請求項５に記載の発明によれば、文書構造の解析において確定的な解析結果が得られない場合でも、解析結果に応じた文書構造画像を生成することができる。
【００３３】
請求項６に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することができる。
【００３４】
請求項７に記載の発明によれば、検索用の文書から検索用の画像を生成することができる。
【００３５】
請求項８に記載の発明によれば、本構成を有していない場合に比較して、検索用の文書から検索用の画像を容易に生成することが可能となる。
【００３６】
請求項９に記載の発明によれば、利用者の操作に基づいて検索用の画像を生成することができる。
【００３７】
請求項１０に記載の発明によれば、検索用の文書が無くても、検索用の画像を生成することができる。
【００３８】
請求項１１に記載の発明によれば、文書構造の解析において確定的な解析結果が得られない場合でも、解析結果に応じた検索用の画像を生成することができる。
【００３９】
請求項１２に記載の発明によれば、中間属性を利用した柔軟な検索が可能になる。
【００４０】
請求項１３に記載の発明によれば、文書の構成要素の出現確率を考慮した検索を行うことが可能になる。
【００４１】
請求項１４に記載の発明によれば、検索結果を用いて検索を行うことが可能となる。
【００４２】
請求項１５に記載の発明によれば、検索結果を用いて検索を行うことが可能となる。
【００４３】
請求項１６に記載の発明によれば、本構成を有していない場合に比較して、画像の回転、位置ずれ、拡大や縮小などによる影響が少ない検索を行うことが可能となる。
【００４４】
請求項１７に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することができる。
【００４５】
請求項１８に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することを可能にすることができる。
【００４６】
請求項１９に記載の発明によれば、本構成を有していない場合に比較して、所望の文書構造を持つ文書を簡易に検索することができる。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態を図面に従って説明する。
【００４８】
［第１の実施の形態］
図１は、第１の実施の形態に係る情報検索システム１の構成の一例を示すブロック図である。この情報検索システム１は、蓄積された文書群の中から、特定の文書構造を持つ文書の検索（レイアウト検索とも呼ばれる）を行うものである。
【００４９】
図１において、情報検索システム１は、記憶装置１００と、情報登録装置２００と、情報検索装置３００とを有する。
【００５０】
記憶装置１００は、検索対象である文書と、当該文書の文書構造を表す文書構造画像とを互いに対応付けて記憶する装置である。
【００５１】
上記文書は、画像データまたは画像データに変換可能な情報であり、例えば、ラスタデータ、Ｗｏｒｄ（登録商標）ファイルやＰＤＦ（Portable Document Format）ファイルなどの電子文書、ＸＭＬ（Extensible Markup Language）データなどである。なお、上記文書構造画像については、後に詳しく説明する。
【００５２】
情報登録装置２００は、処理対象の文書の文書構造を表す文書構造画像を取得し、当該文書構造画像を上記処理対象の文書と対応付けて記憶装置１００に登録する装置である。
【００５３】
情報検索装置３００は、検索用の画像を取得し、記憶装置１００から、当該検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する装置である。
【００５４】
本実施の形態では、記憶装置１００は、例えばハードディスク装置など、コンピュータで情報が読み書き可能な装置である。
【００５５】
また、本実施の形態では、情報登録装置２００は、コンピュータであり、当該装置２００の機能は、ＲＯＭ(Read Only Memory)やハードディスク装置等の記録媒体に記録された情報登録プログラムがメインメモリに読み出されてＣＰＵ(Central Processing Unit)により実行されることによって実現される。上記の情報登録プログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。
【００５６】
また、本実施の形態では、情報検索装置３００は、コンピュータであり、当該装置３００の機能は、ＲＯＭやハードディスク装置等の記録媒体に記録された情報検索プログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現される。上記の情報検索プログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。
【００５７】
ただし、記憶装置１００、情報登録装置２００、および情報検索装置３００の物理的な構成は、上記に限定されない。例えば、情報登録装置２００や情報検索装置３００の機能は、ハードウェアのみにより実現されてもよい。また、記憶装置１００、情報登録装置２００、および情報検索装置３００は、それぞれ、物理的に１つの装置により実現されてもよいし、複数の装置により実現されてもよい。また、記憶装置１００、情報登録装置２００、および情報検索装置３００は、物理的に別々の装置であってもよいし、物理的に一体に構成されてもよい。
【００５８】
以下、情報登録装置２００および情報検索装置３００の構成について、より詳しく説明する。
【００５９】
（情報登録装置２００の構成）
図１において、情報登録装置２００は、文書構造画像取得部２１０と、文書構造画像登録部２２０とを有する。
【００６０】
文書構造画像取得部２１０は、処理対象の文書の文書構造を表す文書構造画像を取得する。
【００６１】
処理対象の文書は、記憶装置１００に登録される、または登録されている、検索対象である文書である。したがって、処理対象の文書は、上述したとおり、画像データまたは画像データに変換可能な情報である。
【００６２】
文書構造画像は、例えば、文書の構成要素の属性および配置を、画像要素の属性および配置により表現する画像である。具体的には、文書構造画像は、文書の各構成要素に対応する画像要素を含み、各構成要素の属性、位置、大きさ、形状を、それぞれ画像要素の属性、位置、大きさ、形状により表現する画像である。
【００６３】
文書の構成要素の属性は、例えば、ヘッダ、タイトル、要約、本文など、文書構造における構成要素の種類である。
【００６４】
画像要素の属性は、例えば、画像要素の色や模様などに関する属性である。画像要素の色に関する属性としては、例えば、色相、彩度、明度（濃度）などが挙げられる。また、画像要素の模様に関する属性としては、例えば、塗り潰し（ハッチング）の種類（斜線、網点、ベタ等）、斜線の方向や密度、網点の大きさや密度などが挙げられる。文書の構成要素の属性は、画像要素の属性のうち１種類の属性（例えば、色相のみ、濃淡のみ）により表現されてもよいし、２種類以上の属性（例えば、色相とハッチングの種類との組み合わせ）により表現されてもよい。
【００６５】
例えば、ある文書において、領域Ａ１にタイトルが存在し、領域Ａ２に要約が存在し、領域Ａ３に本文が存在する場合、当該文書の文書構造画像では、領域Ａ１に相当する画像上の領域にタイトルを示す赤色のベタ画像が配置され、領域Ａ２に相当する画像上の領域に要約を示す青色のベタ画像が配置され、領域Ａ３に相当する画像上の領域に本文を示す緑色のベタ画像が配置される。
【００６６】
一つの態様では、文書の構成要素の属性は色相により表現され、互いに類似する構成要素は互いに類似する色で表現される。すなわち、互いに類似する構成要素は、色相環上、近傍の色で表現される。例えば、要約と本文とは互いに類似するので、それぞれ青色、緑色で表現され、タイトルはどちらとも類似しないので赤色で表現される。
【００６７】
別の一つの態様では、文書の構成要素の属性はハッチングの斜線の角度により表現され、互いに類似する構成要素は互いに類似する角度で表現される。
【００６８】
図１に示されるとおり、本実施の形態では、文書構造画像取得部２１０は、文書受付部２１１と、文書構造画像生成部２１２とを有する。
【００６９】
文書受付部２１１は、処理対象の文書の入力を受け付ける。文書受付部２１１は、例えば、利用者からの指示に従って、情報登録装置２００内の記憶装置や、情報登録装置２００に通信回線を介して接続された記憶装置、または記憶装置１００などから処理対象の文書を取得してもよいし、紙等の原稿がスキャナで読み取られて生成された画像データを取得してもよい。
【００７０】
文書構造画像生成部２１２は、文書受付部２１１により受け付けられた文書から文書構造画像を生成する。
【００７１】
一つの態様では、文書構造画像生成部２１２は、受け付けられた処理対象の文書の文書構造を解析し、解析された文書構造に基づいて文書構造画像を生成する。例えば、文書構造画像生成部２１２は、処理対象の文書に対して文書構造解析処理を行い、領域Ａ１〜Ａｎ（ｎは１以上の整数）にそれぞれ属性Ｂ１〜Ｂｎの構成要素が存在すると判断すると、領域Ａ１〜Ａｎに相当する画像上の領域にそれぞれ属性Ｂ１〜Ｂｎに対応する属性を持つ画像要素が配置された画像を、文書構造画像として生成する。文書構造画像生成部２１２による文書構造解析の手法としては、例えば非特許文献１に記載された手法など、種々の解析手法を用いることができる。当該態様において、文書構造画像生成部２１２は、解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、上記ある構成要素を、上記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現してもよい。例えば、文書構造画像生成部２１２は、ある構成要素について、要約である確率が４０％、本文である確率が６０％と判断した場合、当該構成要素を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。
【００７２】
別の一つの態様では、文書構造画像生成部２１２は、受け付けられた処理対象の文書の画像を表示装置（不図示）の画面上に表示させ、当該画面上における上記画像に対する利用者の操作に基づいて文書構造画像を生成する。具体的には、文書構造画像生成部２１２は、処理対象の文書の画像を含む、文書構造画像の作成を支援する支援画面を表示させ、当該支援画面上で利用者の操作を受け付け、当該操作に基づいて文書構造画像を生成する。利用者の操作は、例えば構成要素の属性および領域を指定する操作であり、例えばポインティングデバイスなどを用いて行われる。例えば、文書構造画像生成部２１２は、処理対象の文書の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記文書の画像に対する領域指定操作（例えばドラッグ）により受け付ける。
【００７３】
ただし、文書構造画像取得部２１０は、上記と異なる方法で文書構造画像を取得してもよい。
【００７４】
例えば、文書構造画像取得部２１０は、画面上における白紙領域に対する利用者の操作に基づいて文書構造画像を生成してもよい。ここで、白紙領域は、文書構造画像の作成の元となる文書の画像が表示されていない、文書構造画像が描画される領域であって、例えばベタ白の矩形領域である。具体的には、文書構造画像取得部２１０は、白紙領域の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記白紙領域の画像に対する領域指定操作（例えばドラッグ）により受け付ける。
【００７５】
また、例えば、文書構造画像取得部２１０は、別の装置やアプリケーションソフトにより作成された画像データを文書構造画像として取得してもよいし、利用者により手描きされた紙等の媒体上の画像がスキャナで読み取られて生成された画像データを文書構造画像として取得してもよい。
【００７６】
文書構造画像登録部２２０は、文書構造画像取得部２１０により取得された文書構造画像を、処理対象の文書と対応付けて記憶装置１００に登録する。ここで、処理対象の文書は、文書構造画像登録部２２０によって文書構造画像と対応付けて登録されてもよいし、予め登録されていてもよい。
【００７７】
（情報検索装置３００の構成）
図１において、情報検索装置３００は、検索用画像取得部３１０と、文書取得部３２０とを有する。
【００７８】
検索用画像取得部３１０は、検索用の画像を取得する。ここで、検索用の画像は、文書を検索するために用いられる検索キーであり、記憶装置１００に登録されている文書構造画像と照合されるものである。したがって、検索用の画像は、検索されるべき文書の文書構造を表す画像である。
【００７９】
図１に示されるとおり、本実施の形態では、検索用画像取得部３１０は、文書受付部３１１と、検索用画像生成部３１２とを有する。
【００８０】
文書受付部３１１は、検索用の文書の入力を受け付ける。ここで、検索用の文書は、画像データまたは画像データに変換可能な情報であり、例えば、ラスタデータ、Ｗｏｒｄ（登録商標）ファイルやＰＤＦファイルなどの電子文書、ＸＭＬデータなどである。文書受付部３１１は、例えば、利用者からの指示に従って、情報検索装置３００内の記憶装置や、情報検索装置３００に通信回線を介して接続された記憶装置、または記憶装置１００などから検索用の文書を取得してもよいし、紙等の原稿がスキャナで読み取られて生成された画像データを取得してもよい。
【００８１】
検索用画像生成部３１２は、文書受付部３１１により受け付けられた文書から検索用の画像を生成する。
【００８２】
一つの態様では、検索用画像生成部３１２は、受け付けられた検索用の文書の文書構造を解析し、解析された文書構造に基づいて、上記検索用の画像として、検索用の文書の文書構造を表す文書構造画像を生成する。例えば、検索用画像生成部３１２は、検索用の文書に対して文書構造解析処理を行い、領域Ａ１〜Ａｎ（ｎは１以上の整数）にそれぞれ属性Ｂ１〜Ｂｎの構成要素が存在すると判断すると、領域Ａ１〜Ａｎに相当する画像上の領域にそれぞれ属性Ｂ１〜Ｂｎに対応する属性を持つ画像要素が配置された画像を、検索用の画像として生成する。検索用画像生成部３１２による文書構造解析の手法としては、例えば非特許文献１に記載された手法など、種々の解析手法を用いることができる。当該態様において、検索用画像生成部３１２は、解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、上記ある構成要素を、上記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現してもよい。例えば、検索用画像生成部３１２は、ある構成要素について、要約である確率が４０％、本文である確率が６０％と判断した場合、当該構成要素を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。
【００８３】
別の一つの態様では、検索用画像生成部３１２は、受け付けられた検索用の文書の画像を表示装置（不図示）の画面上に表示させ、当該画面上における上記画像に対する利用者の操作に基づいて検索用の画像を生成する。具体的には、検索用画像生成部３１２は、検索用の文書の画像を含む、検索用の画像の作成を支援する支援画面を表示させ、当該支援画面上で利用者の操作を受け付け、当該操作に基づいて検索用の画像を生成する。利用者の操作は、例えば構成要素の属性および領域を指定する操作であり、例えばポインティングデバイスなどを用いて行われる。例えば、検索用画像生成部３１２は、検索用の文書の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記文書の画像に対する領域指定操作（例えばドラッグ）により受け付ける。当該態様において、検索用画像生成部３１２は、利用者から、１つの領域について、２つの構成要素の属性の指定を受け付け、指定された２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を配置してもよい。例えば、利用者は、ある領域に要約または本文が位置する文書を検索したい場合、その領域について要約および本文を指定してもよい。この場合、例えば、検索用画像生成部３１２は、検索用の画像において、その領域を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。上記のように２つの構成要素の属性の指定を受け付ける代わりに、検索用画像生成部３１２は、１つの領域について青緑色等の画像要素の中間属性の指定を受け付けてもよい。
【００８４】
ただし、検索用画像取得部３１０は、上記と異なる方法で検索用の画像を取得してもよい。
【００８５】
例えば、検索用画像取得部３１０は、画面上における白紙領域に対する利用者の操作に基づいて検索用の画像を生成してもよい。ここで、白紙領域は、検索用の画像の作成の元となる文書の画像が表示されていない、検索用の画像が描画される領域であって、例えばベタ白の矩形領域である。具体的には、検索用画像取得部３１０は、白紙領域の画像と、構成要素の属性に対応する属性ボタンとが配置された支援画面を表示させ、構成要素の属性の指定を属性ボタンの押下（例えばクリック）により受け付けた後、当該属性に係る領域の指定を上記白紙領域の画像に対する領域指定操作（例えばドラッグ）により受け付ける。この態様においても、検索用画像取得部３１０は、利用者から、１つの領域について、２つの構成要素の属性の指定を受け付け、指定された２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を配置してもよい。例えば、利用者は、ある領域に要約または本文が位置する文書を検索したい場合、その領域について要約および本文を指定してもよい。この場合、例えば、検索用画像取得部３１０は、検索用の画像において、その領域を、要約を示す青色と本文を示す緑色との中間色である青緑色で表現する。上記のように２つの構成要素の属性の指定を受け付ける代わりに、検索用画像取得部３１０は、１つの領域について青緑色等の画像要素の中間属性の指定を受け付けてもよい。
【００８６】
また、例えば、検索用画像取得部３１０は、別の装置やアプリケーションソフトにより作成された画像データを検索用の画像として取得してもよいし、利用者により手描きされた紙等の媒体上の画像がスキャナで読み取られて生成された画像データを検索用の画像として取得してもよい。これらの場合でも、利用者によって中間属性が指定されてもよい。例えば、利用者は、ある領域に要約または本文が位置する文書を検索したい場合、その領域を、要約を示す青色と本文を示す緑色との中間色である青緑色で描画することができる。
【００８７】
検索用画像取得部３１０は、文書の構成要素の出現確率が画像要素の属性で表現されるように、検索用の画像を生成してもよい。例えば、検索用画像取得部３１０は、文書の構成要素の出現確率を、彩度の高さやハッチングの線密度の大きさで表現してもよい。
【００８８】
一つの態様では、検索用画像取得部３１０は、複数の検索用の文書を取得し、当該複数の文書に対して文書構造解析処理を行い、当該解析の結果に基づき、文書画像上における各構成要素の出現確率の分布を求め、当該分布が画像要素の属性の分布（例えば、彩度の分布やハッチングの線密度の分布）により表現された画像を、検索用の画像として生成する。例えば、検索用画像取得部３１０は、文書画像上の領域Ａにおける要約の出現確率がＢ％であった場合、領域Ａに対応する検索用の画像上の領域を、彩度Ｂ％の青色で表現する。
【００８９】
別の一つの態様では、検索用画像取得部３１０は、利用者から構成要素の出現確率の指定を受け付け、指定された出現確率が画像要素の属性で表現された検索用の画像を生成する。例えば、検索用画像取得部３１０は、支援画面上で利用者から、領域の指定と、構成要素の属性の指定と、出現確率の指定とを受け付け、指定された領域を、指定された構成要素の属性および出現確率に対応する画像要素の属性で表現する。
【００９０】
別の装置やアプリケーションソフトにより検索用の画像が作成される場合や、利用者により検索用の画像が紙等に手描きされる場合においても、文書の構成要素の出現確率が画像要素の属性で表現されてもよい。
【００９１】
文書取得部３２０は、文書と、当該文書の文書構造を表す文書構造画像とが対応付けて登録されている記憶装置１００から、検索用画像取得部３１０により取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【００９２】
ここで、文書取得部３２０は、種々の類似画像検索技術を用いて、検索用の画像と一致または類似する文書構造画像を検索することができる。また、文書取得部３２０は、既存の類似画像検索システムを用いて、検索用の画像と一致または類似する文書構造画像を検索してもよい。
【００９３】
例えば、文書取得部３２０は、検索用の画像と、記憶装置１００に登録されている各文書構造画像とを照合し、検索用の画像と各文書構造画像との間の類似度を算出する。そして、文書取得部３２０は、類似度が所定の閾値以上である文書構造画像を特定し、特定された文書構造画像に対応付けられている文書を取得する。そして、文書取得部３２０は、当該取得された文書を表示装置（不図示）の画面上に表示させるなどにより、検索結果として利用者に提示する。この場合、文書取得部３２０は、類似度が大きいものから順に提示してもよい。また、文書取得部３２０は、取得した文書の縮小画像（サムネイル画像）を提示してもよい。
【００９４】
文書取得部３２０は、検索された文書構造画像に対応付けられている文書を取得する場合、文書の全体を取得してもよいし、文書の一部（例えばタイトルや要約のみ）を取得してもよい。
【００９５】
また、文書取得部３２０は、記憶装置１００から、画像要素の各属性間の面積比が検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得してもよい。
【００９６】
以下、情報登録処理の手順および情報検索処理の手順を説明する。
【００９７】
図２は、情報登録処理の手順の一例を示すフローチャートである。図３は、情報登録処理の手順の一例を示す概念図である。以下、図２，３を参照して、情報登録処理の手順を説明する。
【００９８】
情報登録装置２００は、処理対象の文書３１に対して文書構造解析処理を行い、解析結果に基づき、上記処理対象の文書３１の文書構造を表す文書構造画像３２を生成する（Ｓ１１）。
【００９９】
そして、情報登録装置２００は、上記生成された文書構造画像３２を、上記処理対象の文書３１と対応付けて記憶装置１００に登録する（Ｓ１２）。
【０１００】
なお、上記ステップＳ１１の処理、すなわち文書構造画像を生成する処理は、先述したとおり、情報登録装置２００以外の装置等により行われてもよい。
【０１０１】
図４は、情報検索処理の手順の一例を示すフローチャートである。図５は、情報検索処理の手順の一例を示す概念図である。以下、図４，５を参照して、情報検索処理の手順を説明する。
【０１０２】
情報検索装置３００は、検索用の文書５１に対して文書構造解析処理を行い、解析結果に基づき、上記検索用の文書５１の文書構造を表す文書構造画像を、検索用の画像５２として生成する（Ｓ２１）。
【０１０３】
そして、情報検索装置３００は、上記検索用の画像５２と、記憶装置１００に登録されている各文書構造画像５３とを照合して、記憶装置１００から、上記検索用の画像５２と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する（Ｓ２２）。
【０１０４】
なお、上記ステップＳ２１の処理、すなわち検索用の画像を生成する処理は、先述したとおり、情報検索装置３００以外の装置等により行われてもよい。また、この場合、上記検索用の文書は無くてもよい。例えば、図６に示されるように、検索用の画像５２は、ドローツールや手描きにより作成されてもよい。
【０１０５】
以上説明したレイアウト検索は、一つの態様では、文書画像検索の前処理として行われる。ここで、文書画像検索とは、所望の文書画像と一致する文書画像を検索する処理である。
【０１０６】
また、以上説明した情報検索システムは、例えば下記のような用途に用いられる。
【０１０７】
帳票検索：データベース内に蓄積された様々な帳票データから、出張旅費清算の申請書のみをピックアップする。
【０１０８】
文書分類：データベース内に蓄積された様々な論文データを、学会別に分類してそれぞれのフォルダ（格納場所）に入れる。
【０１０９】
特定ページの抽出：データベース内に蓄積された多種多様な文書の表紙のみをピックアップして文書リストを生成する。
【０１１０】
特定ページの抽出：データベース内に蓄積された論文データから参考文献のページのみピックアップし、特定技術領域の文献リストを生成する。
【０１１１】
［第２の実施の形態］
図７は、第２の実施の形態に係る情報検索システム２の構成の一例を示すブロック図である。この情報検索システム２は、上記第１の実施の形態に係る情報検索システム１と殆ど同じである。そこで、以下、本実施の形態に係る情報検索システム２について説明するが、上記第１の実施の形態と共通する部分については、同一の符号を用い、説明を省略する。
【０１１２】
本実施の形態では、情報検索装置３００は、検索用画像取得部３１０および文書取得部３２０に加えて、文書一覧表示部３３０、文書選択受付部３４０、および検索用画像生成部３５０を有する。
【０１１３】
文書一覧表示部３３０は、文書取得部３２０により取得された文書の一覧を、表示装置（不図示）の画面上に表示させる。
【０１１４】
文書選択受付部３４０は、文書一覧表示部３３０により表示された一覧の中から複数の文書の選択を受け付ける。具体的には、文書選択受付部３４０は、画面上で一覧の中から複数の文書を選択する操作を、マウスやキーボード等のユーザインタフェースを介して利用者から受け付ける。
【０１１５】
検索用画像生成部３５０は、文書選択受付部３４０にて選択された複数の文書に基づいて新たな検索用の画像を生成する。例えば、検索用画像生成部３５０は、選択された複数の文書を統合して新たな検索用の画像を生成する。
【０１１６】
一つの態様では、検索用画像生成部３５０は、図８に示されるように、選択された複数の文書に対応する複数の文書構造画像８１，８２，８３を取得し、当該複数の文書構造画像を合成して新たな検索用の画像８４を生成する。例えば、検索用画像生成部３５０は、画像上の各画素について彩度の平均値と色相の平均値とを求め、求められた彩度の平均値および色相の平均値を各画素に持つ画像を、新たな検索用の画像として生成する。ただし、画像の合成の手法は上記に限定されず、種々の画像合成技術が適用可能である。検索用画像生成部３５０は、上記複数の文書構造画像を、記憶装置１００から取得してもよいし、選択された複数の文書から生成してもよい。
【０１１７】
別の一つの態様では、検索用画像生成部３５０は、選択された複数の文書に対して文書構造解析処理を行い、当該解析の結果に基づき、文書画像上における各構成要素の出現確率の分布を求め、当該分布が画像要素の属性の分布（例えば、彩度の分布やハッチングの線密度の分布）により表現された画像を、新たな検索用の画像として生成する。
【０１１８】
そして、本実施の形態では、文書取得部３２０は、記憶装置１００から、検索用画像生成部３５０により生成された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【０１１９】
文書一覧表示部３３０は、新たな検索用の画像に基づいて文書取得部３２０により検索された文書の一覧を画面上に表示させてもよく、検索結果に基づく検索処理は、繰り返し行われてもよい。すなわち、再帰的に文書の検索が行われてもよい。
【０１２０】
図９は、第２の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【０１２１】
情報検索装置３００は、検索用の画像を取得する（Ｓ３１）。
【０１２２】
ついで、情報検索装置３００は、記憶装置１００から、上記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する（Ｓ３２）。
【０１２３】
ついで、情報検索装置３００は、取得された文書の一覧を画面上に表示させる（Ｓ３３）。
【０１２４】
ついで、情報検索装置３００は、利用者からの検索終了の指示を受け付けたか否かを判断し（Ｓ３４）、受け付けたと判断された場合（Ｓ３４：ＹＥＳ）、処理を終了させ、受け付けなかったと判断された場合（Ｓ３４：ＮＯ）、処理をステップＳ３５に進める。
【０１２５】
ステップＳ３５では、情報検索装置３００は、表示された一覧の中から複数の文書の選択を受け付ける。
【０１２６】
ついで、情報検索装置３００は、選択された複数の文書に基づいて新たな検索用の画像を生成する（Ｓ３６）。
【０１２７】
そして、情報検索装置３００は、処理をステップＳ３２に戻し、再び文書の検索を行う。２回目以降の検索では、ステップＳ３６で生成された検索用の画像が用いられる。
【０１２８】
［第３の実施の形態］
図１０は、第３の実施の形態に係る情報検索システム３の構成の一例を示すブロック図である。この情報検索システム３は、上記第１の実施の形態に係る情報検索システム１と殆ど同じである。そこで、以下、本実施の形態に係る情報検索システム３について説明するが、上記第１の実施の形態と共通する部分については、同一の符号を用い、説明を省略する。
【０１２９】
本実施の形態では、情報検索装置３００は、検索用画像取得部３１０および文書取得部３２０に加えて、文書一覧表示部３３０および文書選択受付部３４０を有する。
【０１３０】
文書一覧表示部３３０は、文書取得部３２０により取得された文書の一覧を、表示装置（不図示）の画面上に表示させる。
【０１３１】
文書選択受付部３４０は、文書一覧表示部３３０により表示された一覧の中から複数の文書の選択を受け付ける。具体的には、文書選択受付部３４０は、画面上で一覧の中から複数の文書を選択する操作を、マウスやキーボード等のユーザインタフェースを介して利用者から受け付ける。
【０１３２】
そして、本実施の形態では、文書取得部３２０は、記憶装置１００から、文書選択受付部３４０にて選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。この場合、文書取得部３２０は、上記複数の文書の文書構造画像を、記憶装置１００から取得してもよいし、選択された複数の文書から生成してもよい。
【０１３３】
文書一覧表示部３３０は、選択された複数の文書の文書構造画像に基づいて文書取得部３２０により検索された文書の一覧を画面上に表示させてもよく、検索結果に基づく検索処理は、繰り返し行われてもよい。すなわち、再帰的に文書の検索が行われてもよい。
【０１３４】
図１１は、第３の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【０１３５】
情報検索装置３００は、検索用の画像を取得する（Ｓ４１）。
【０１３６】
ついで、情報検索装置３００は、記憶装置１００から、上記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する（Ｓ４２）。
【０１３７】
ついで、情報検索装置３００は、取得された文書の一覧を画面上に表示させる（Ｓ４３）。
【０１３８】
ついで、情報検索装置３００は、利用者からの検索終了の指示を受け付けたか否かを判断し（Ｓ４４）、受け付けたと判断された場合（Ｓ４４：ＹＥＳ）、処理を終了させ、受け付けなかったと判断された場合（Ｓ４４：ＮＯ）、処理をステップＳ４５に進める。
【０１３９】
ステップＳ４５では、情報検索装置３００は、表示された一覧の中から複数の文書の選択を受け付ける。
【０１４０】
そして、情報検索装置３００は、処理をステップＳ４２に戻し、再び文書の検索を行う。２回目以降の検索では、情報検索装置３００は、ステップＳ４５で選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する。
【０１４１】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。
【図面の簡単な説明】
【０１４２】
【図１】第１の実施の形態に係る情報検索システムの構成の一例を示すブロック図である。
【図２】情報登録処理の手順の一例を示すフローチャートである。
【図３】情報登録処理の手順の一例を示す概念図である。
【図４】情報検索処理の手順の一例を示すフローチャートである。
【図５】情報検索処理の手順の一例を示す概念図である。
【図６】情報検索処理の手順の他の一例を示す概念図である。
【図７】第２の実施の形態に係る情報検索システムの構成の一例を示すブロック図である。
【図８】第２の実施の形態における、新たな検索用の画像の生成の一例を示す図である。
【図９】第２の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【図１０】第３の実施の形態に係る情報検索システムの構成の一例を示すブロック図である。
【図１１】第３の実施の形態における情報検索処理の手順の一例を示すフローチャートである。
【符号の説明】
【０１４３】
１，２，３ 情報検索システム、１００ 記憶装置、２００ 情報登録装置、２１０ 文書構造画像取得部、２１１ 文書受付部、２１２ 文書構造画像生成部、２２０ 文書構造画像登録部、３００ 情報検索装置、３１０ 検索用画像取得部、３１１ 文書受付部、３１２ 検索用画像生成部、３２０ 文書取得部、３３０ 文書一覧表示部、３４０ 文書選択受付部、３５０ 検索用画像生成部。
【特許請求の範囲】
【請求項１】
処理対象の文書の文書構造を表す文書構造画像を取得する文書構造画像取得手段と、
前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する文書構造画像登録手段と、
を有することを特徴とする情報登録装置。
【請求項２】
請求項１に記載の情報登録装置であって、
前記文書構造画像取得手段は、
前記処理対象の文書の入力を受け付ける文書受付手段と、
前記受け付けられた文書から前記文書構造画像を生成する文書構造画像生成手段と、
を含むことを特徴とする情報登録装置。
【請求項３】
請求項２に記載の情報登録装置であって、
前記文書構造画像生成手段は、前記処理対象の文書の文書構造を解析し、解析された文書構造に基づいて前記文書構造画像を生成することを特徴とする情報登録装置。
【請求項４】
請求項２に記載の情報登録装置であって、
前記文書構造画像生成手段は、前記処理対象の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記文書構造画像を生成することを特徴とする情報登録装置。
【請求項５】
請求項３に記載の情報登録装置であって、
前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、
前記文書構造画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する、
ことを特徴とする情報登録装置。
【請求項６】
検索用の画像を取得する検索用画像取得手段と、
文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する文書取得手段と、
を有することを特徴とする情報検索装置。
【請求項７】
請求項６に記載の情報検索装置であって、
前記検索用画像取得手段は、
検索用の文書の入力を受け付ける文書受付手段と、
前記受け付けられた文書から前記検索用の画像を生成する検索用画像生成手段と、
を含むことを特徴とする情報検索装置。
【請求項８】
請求項７に記載の情報検索装置であって、
前記検索用画像生成手段は、前記検索用の文書の文書構造を解析し、解析された文書構造に基づいて、前記検索用の画像として、前記検索用の文書の文書構造を表す文書構造画像を生成することを特徴とする情報検索装置。
【請求項９】
請求項７に記載の情報検索装置であって、
前記検索用画像生成手段は、前記検索用の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記検索用の画像を生成することを特徴とする情報検索装置。
【請求項１０】
請求項６に記載の情報検索装置であって、
前記検索用画像取得手段は、画面上における白紙領域に対する利用者の操作に基づいて前記検索用の画像を生成することを特徴とする情報検索装置。
【請求項１１】
請求項８に記載の情報検索装置であって、
前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、
前記検索用画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する、
ことを特徴とする情報検索装置。
【請求項１２】
請求項９または１０に記載の情報検索装置であって、
前記検索用画像取得手段は、利用者の操作に基づいて、２つの構成要素の属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を含む画像を、前記検索用の画像として生成することを特徴とする情報検索装置。
【請求項１３】
請求項６から１２のいずれか１項に記載の情報検索装置であって、
前記検索用画像取得手段は、文書の構成要素の出現確率が画像要素の属性で表現されるように、前記検索用の画像を生成することを特徴とする情報検索装置。
【請求項１４】
請求項６から１３のいずれか１項に記載の情報検索装置であって、
前記取得された文書の一覧を表示させる文書一覧表示手段と、
前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、
前記選択された複数の文書に基づいて新たな検索用の画像を生成する検索用画像生成手段と、
をさらに有し、
前記文書取得手段は、前記記憶手段から、前記生成された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する、
ことを特徴とする情報検索装置。
【請求項１５】
請求項６から１３のいずれか１項に記載の情報検索装置であって、
前記取得された文書の一覧を表示させる文書一覧表示手段と、
前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、
をさらに有し、
前記文書取得手段は、前記記憶手段から、前記選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する、
ことを特徴とする情報検索装置。
【請求項１６】
請求項６に記載の情報検索装置であって、
前記文書取得手段は、前記記憶手段から、画像要素の各属性間の面積比が前記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得することを特徴とする情報検索装置。
【請求項１７】
請求項１から５のいずれか１項に記載の情報登録装置と、
請求項６から１６のいずれか１項に記載の情報検索装置と、
を有することを特徴とする情報検索システム。
【請求項１８】
コンピュータに、
処理対象の文書の文書構造を表す文書構造画像を取得する手順と、
前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する手順と、
を実行させることを特徴とする情報登録プログラム。
【請求項１９】
コンピュータに、
検索用の画像を取得する手順と、
文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する手順と、
を実行させることを特徴とする情報検索プログラム。
【請求項１】
処理対象の文書の文書構造を表す文書構造画像を取得する文書構造画像取得手段と、
前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する文書構造画像登録手段と、
を有することを特徴とする情報登録装置。
【請求項２】
請求項１に記載の情報登録装置であって、
前記文書構造画像取得手段は、
前記処理対象の文書の入力を受け付ける文書受付手段と、
前記受け付けられた文書から前記文書構造画像を生成する文書構造画像生成手段と、
を含むことを特徴とする情報登録装置。
【請求項３】
請求項２に記載の情報登録装置であって、
前記文書構造画像生成手段は、前記処理対象の文書の文書構造を解析し、解析された文書構造に基づいて前記文書構造画像を生成することを特徴とする情報登録装置。
【請求項４】
請求項２に記載の情報登録装置であって、
前記文書構造画像生成手段は、前記処理対象の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記文書構造画像を生成することを特徴とする情報登録装置。
【請求項５】
請求項３に記載の情報登録装置であって、
前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、
前記文書構造画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する、
ことを特徴とする情報登録装置。
【請求項６】
検索用の画像を取得する検索用画像取得手段と、
文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する文書取得手段と、
を有することを特徴とする情報検索装置。
【請求項７】
請求項６に記載の情報検索装置であって、
前記検索用画像取得手段は、
検索用の文書の入力を受け付ける文書受付手段と、
前記受け付けられた文書から前記検索用の画像を生成する検索用画像生成手段と、
を含むことを特徴とする情報検索装置。
【請求項８】
請求項７に記載の情報検索装置であって、
前記検索用画像生成手段は、前記検索用の文書の文書構造を解析し、解析された文書構造に基づいて、前記検索用の画像として、前記検索用の文書の文書構造を表す文書構造画像を生成することを特徴とする情報検索装置。
【請求項９】
請求項７に記載の情報検索装置であって、
前記検索用画像生成手段は、前記検索用の文書の画像を画面上に表示させ、当該画面上における前記画像に対する利用者の操作に基づいて前記検索用の画像を生成することを特徴とする情報検索装置。
【請求項１０】
請求項６に記載の情報検索装置であって、
前記検索用画像取得手段は、画面上における白紙領域に対する利用者の操作に基づいて前記検索用の画像を生成することを特徴とする情報検索装置。
【請求項１１】
請求項８に記載の情報検索装置であって、
前記文書構造画像は、前記文書の各構成要素に対応する画像要素を含み、前記各構成要素の属性を前記画像要素の属性により表し、
前記検索用画像生成手段は、前記解析の結果、ある構成要素について、２つの属性のどちらかに属すると判断された場合、前記ある構成要素を、前記２つの属性に対応する２つの画像要素の属性の中間属性を持つ画像要素により表現する、
ことを特徴とする情報検索装置。
【請求項１２】
請求項９または１０に記載の情報検索装置であって、
前記検索用画像取得手段は、利用者の操作に基づいて、２つの構成要素の属性に対応する２つの画像要素の属性の中間属性を持つ画像要素を含む画像を、前記検索用の画像として生成することを特徴とする情報検索装置。
【請求項１３】
請求項６から１２のいずれか１項に記載の情報検索装置であって、
前記検索用画像取得手段は、文書の構成要素の出現確率が画像要素の属性で表現されるように、前記検索用の画像を生成することを特徴とする情報検索装置。
【請求項１４】
請求項６から１３のいずれか１項に記載の情報検索装置であって、
前記取得された文書の一覧を表示させる文書一覧表示手段と、
前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、
前記選択された複数の文書に基づいて新たな検索用の画像を生成する検索用画像生成手段と、
をさらに有し、
前記文書取得手段は、前記記憶手段から、前記生成された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する、
ことを特徴とする情報検索装置。
【請求項１５】
請求項６から１３のいずれか１項に記載の情報検索装置であって、
前記取得された文書の一覧を表示させる文書一覧表示手段と、
前記表示された一覧の中から複数の文書の選択を受け付ける文書選択受付手段と、
をさらに有し、
前記文書取得手段は、前記記憶手段から、前記選択された複数の文書の文書構造画像のいずれかと一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する、
ことを特徴とする情報検索装置。
【請求項１６】
請求項６に記載の情報検索装置であって、
前記文書取得手段は、前記記憶手段から、画像要素の各属性間の面積比が前記検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得することを特徴とする情報検索装置。
【請求項１７】
請求項１から５のいずれか１項に記載の情報登録装置と、
請求項６から１６のいずれか１項に記載の情報検索装置と、
を有することを特徴とする情報検索システム。
【請求項１８】
コンピュータに、
処理対象の文書の文書構造を表す文書構造画像を取得する手順と、
前記取得された文書構造画像を前記処理対象の文書と対応付けて記憶手段に登録する手順と、
を実行させることを特徴とする情報登録プログラム。
【請求項１９】
コンピュータに、
検索用の画像を取得する手順と、
文書と、当該文書の文書構造を表す文書構造画像とが対応付けられて登録されている記憶手段から、前記取得された検索用の画像と一致または類似する文書構造画像を検索し、検索された文書構造画像に対応付けられている文書を取得する手順と、
を実行させることを特徴とする情報検索プログラム。
【図１】
【図２】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図３】
【図５】
【図６】
【図８】
【図２】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図３】
【図５】
【図６】
【図８】
【公開番号】特開２００８−２５７５３７（Ｐ２００８−２５７５３７Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−１０００５３（Ｐ２００７−１０００５３）
【出願日】平成１９年４月６日（２００７．４．６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月６日（２００７．４．６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]