画像検索装置、画像検索プログラムおよび記録媒体
【課題】 検索処理に係る処理速度を高速化し、文書画像データの検索精度を向上させることができる画像検索装置、画像検索プログラムおよび記録媒体を提供することである。
【解決手段】 ステップＡ１では、前処理部１３０が、入力された画像データに対する前処理として２値化処理を施す。ステップＡ２では、２値化された画像データに基づいて、特徴抽出部１３１が、２値化画像データの特徴量を抽出する。ステップＡ３では、検索部１３２が、登録画像データの特徴量と、２値化データの特徴量とを比較して登録画像データの中から入力画像データと類似度が高い画像データを検索する。ステップＡ４では、検索結果を表示部１４に出力する。ここで、特徴量は隣接する２つの単語の単語長の比ｆｎを単語の並び順に沿って並べた配列である。
【解決手段】 ステップＡ１では、前処理部１３０が、入力された画像データに対する前処理として２値化処理を施す。ステップＡ２では、２値化された画像データに基づいて、特徴抽出部１３１が、２値化画像データの特徴量を抽出する。ステップＡ３では、検索部１３２が、登録画像データの特徴量と、２値化データの特徴量とを比較して登録画像データの中から入力画像データと類似度が高い画像データを検索する。ステップＡ４では、検索結果を表示部１４に出力する。ここで、特徴量は隣接する２つの単語の単語長の比ｆｎを単語の並び順に沿って並べた配列である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、登録された画像データから特定の画像データを検索する画像検索装置、画像検索プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
複写機、ファクシミリ装置、プリンターおよびこれらの機能を複数併せ持つ複合機などの画像形成装置では、入力された原稿画像などの画像データを大容量の記憶装置に記憶しておき、１度入力され、登録された画像データであればいつでも読み出して再出力することができる機能が備えられているものがある。
【０００３】
再出力できる機能は便利ではあるが、登録されるデータ量が多くなると再出力したいデータを探すことが困難になるため、複数の画像データの中から所望の画像データを検索する画像検索技術が重要となる。
【０００４】
画像データを検索する際には、登録された画像データと、入力された画像データとを比較して類似性を算出する必要があるが、登録された画像データには、文書画像データと、非文書画像データ（写真や図形、イラスト画像など）とがある。
【０００５】
文書画像データは、文字画像で構成されているため、文字画像同士を比較することになり、非文書画像データに比べて類似性を判断することが困難である。
【０００６】
特許文献１記載の文書画像検索装置は、入力部が入力した文書画像データまたは検索文書データから句読点を認識し、句読点間の文字数を計測し、計測された文字数をインデックスとして登録し、計測された検索文書データの各句読点間の文字数と同一の文字数を持つインデックスを検索する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１５２５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１記載の文書画像検索装置は、句読点間の文字数をインデックスとして検索しており、このようなインデックスは、比較的大きなレイアウト情報を表すものである。句読点間の文字数が同じであっても、文字自体は異なっているという文書画像データは十分にありうるので、句読点間の文字数で判断する場合には、検索精度を十分に高くすることができない。
【０００９】
また、句読点は、文字に比べて小さな画像であり、登録された文書画像データ、入力画像データから句読点を認識する際に誤認識が生じる可能性が高く、句読点を認識する段階で誤認識が生じると、登録されるインデックスの正確性に欠けることになる。
【００１０】
検索精度を上げるために、句読点の認識精度を向上させようとすると、読み取りの解像度を高くすることが必要であり、その結果１つ１つの文書画像データのデータ量が多くなり、記憶容量の増大、処理速度の低下を招く。
【００１１】
本発明の目的は、検索処理に係る処理速度を高速化し、文書画像データの検索精度を向上させることができる画像検索装置、画像検索プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【００１２】
本発明は、予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる単語を検出して単語分割を行い、隣接する２つの単語ごとに、当該２つの単語の単語長の比を算出し、算出した単語長の比を単語の並び順に沿って並べた単語長の比の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置である。
【００１３】
また本発明は、前記特徴量抽出部は、前記単語を構成する領域の長さを示す画素数を前記単語長として、前記単語長の比を算出することを特徴とする。
【００１４】
また本発明は、登録画像記憶部は、前記単語長の比の配列と、前記登録された文書画像データにおける前記単語長の比の配列の位置情報とを関連付けて記憶し、
前記検索部は、検索された文書画像データにおける前記入力された文書画像データの前記単語長の比の配列と一致した部分を検出し、
前記表示部は、検出された前記一致した部分を他の部分から識別可能に表示することを特徴とする。
【００１５】
また本発明は、予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる文字を検出して文字分割を行い、１文字に外接する外接矩形を検出し、文字を構成する画素が前記外接矩形内を占める割合である画素密度を算出し、算出した画素密度を単語の並び順に沿って並べた画素密度の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置である。
【００１６】
また本発明は、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムである。
【００１７】
また本発明は、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明によれば、特徴量抽出部が、入力された文書画像データに含まれる単語を検出して単語分割を行い、隣接する２つの単語ごとに、当該２つの単語の単語長の比を算出し、算出した単語長の比を単語の並び順に沿って並べた単語長の比の配列を、入力された文書画像データの特徴量として抽出する。登録画像記憶部には、前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とが関連付けて記憶されており、検索部は、前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する。
【００１９】
表示部は、検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する。
【００２０】
隣接する２つの単語の単語長の比を特徴量として用いることにより、従来技術のような句読点間の文字数を特徴量して検索する場合に比べて、異なる文章であっても同じ特徴量となる可能性が低いために、文書画像データの検索精度を向上させることができる。
【００２１】
さらに、単語長は、比較的低い解像度で読み取った文書画像データであっても誤検出されないので、低解像度の文書画像データを用いることができ、検索処理に係る処理速度を高速化し、文書画像データを記憶するための記憶容量も削減できる。
【００２２】
また、単語長の比は、画像が拡大、縮小された場合であっても変化しないので、画像の変倍率によって検索精度が変化しない。したがって、１ページの画像を１／２または１／４に縮小し、複数ページを１つの画像データとする、いわゆるＮアップ画像データを検索の対象とする検索処理にも有効である。
【００２３】
また本発明によれば、前記特徴量抽出部は、前記単語を構成する領域の長さを示す画素数を前記単語長として、前記単語長の比を算出する。
【００２４】
画素数を用いることにより、容易に単語長を検出することができ、単語長の比も容易に算出することができる。
【００２５】
また本発明によれば、登録画像記憶部は、前記単語長の比の配列と、前記登録された文書画像データにおける前記単語長の比の配列の位置情報とを関連付けて記憶しておく。前記検索部は、検索された文書画像データにおける前記入力された文書画像データの前記単語長の比の配列と一致した部分を検出し、前記表示部は、検出された前記一致した部分を他の部分から識別可能に表示する。
【００２６】
これにより、登録された文書画像データの中から、特定の文章を含む文書画像データを検索することができ、文章コンテンツの検索を行うことができる。
【００２７】
本発明によれば、特徴量抽出部が、入力された文書画像データに含まれる文字を検出して文字分割を行い、１文字に外接する外接矩形を検出し、文字を構成する画素が前記外接矩形内を占める割合である画素密度を算出し、算出した画素密度を単語の並び順に沿って並べた画素密度の配列を、入力された文書画像データの特徴量として抽出する。登録画像記憶部には、前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とが関連付けて記憶されており、検索部は、前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する。
【００２８】
表示部は、検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する。
【００２９】
文字の画素密度を特徴量として用いることにより、従来技術のような句読点間の文字数を特徴量して検索する場合に比べて、異なる文章であっても同じ特徴量となる可能性が低いために、文書画像データの検索精度を向上させることができる。
【００３０】
さらに、画素密度は、比較的低い解像度で読み取った文書画像データであっても誤検出されないので、低解像度の文書画像データを用いることができ、検索処理に係る処理速度を高速化し、文書画像データを記憶するための記憶容量も削減できる。
【００３１】
また本発明によれば、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムとして供給することができ、また画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体として供給することができる。
【図面の簡単な説明】
【００３２】
【図１】画像検索装置１０の機械的構成を示すブロック図である。
【図２】画像検索装置１０の機能的構成を示すブロック図である。
【図３】画像検索部１３の機能的構成を示すブロック図である。
【図４】画像検索部１３による検索処理を示すフローチャートである。
【図５】前処理部１３０によるステップＡ１の前処理を示すフローチャートである。
【図６】特徴抽出部１３１によるステップＡ２の特徴抽出処理を示すフローチャートである。
【図７】単語長および隣接する２つの単語長の比を示す模式図である。
【図８】画素密度を説明するための模式図である。
【発明を実施するための形態】
【００３３】
以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
図１は、画像検索装置１０の機械的構成を示すブロック図である。画像検索装置１０は、プロセッサ４と、プロセッサ４が実際の処理を行うためのソフトウエアなどを格納する外部記憶装置５とを含む。
【００３４】
プロセッサ４は、入力された画像データ（以下では「入力画像データ」という）の特徴量を抽出し、予め登録されている複数の画像データ（以下では「登録画像データ」という）との照合を行い、入力画像データに類似の登録画像データを検索して表示する画像検索処理などを実際に行う。プロセッサ４における実際の処理は、外部記憶装置５に格納されるソフトウエアによって実行される。プロセッサ４は、たとえば通常のコンピュータ本体などで構成される。
【００３５】
外部記憶装置５は、たとえば高速アクセスが可能なハードディスクなどで構成することができる。外部記憶装置５は、登録画像データを大量に保持するために光ディスクなどの大容量デバイスを用いるような構成であっても構わない。また、検索処理中に各処理ステップの段階で作成された一時的なデータなどは、外部記憶装置５に記憶してもよいし、プロセッサ４に内蔵される半導体メモリに記憶してもよい。
【００３６】
画像検索装置１０には、キーボード１が接続されるとともに、表示装置３が接続される。キーボード１は、各種ソフトウエアを実行するための指示の入力などに用いられる。
【００３７】
表示装置３は、入力画像データおよび登録画像データに基づく画像の表示、検索結果の表示などを行う。
【００３８】
画像検索装置１０には、イメージスキャナ２がさらに接続される。イメージスキャナ２は、画像が印刷された原稿を読み取り、入力画像データおよび登録画像データを取り込むために用いられる。
【００３９】
入力画像データおよび登録画像データの取得は、イメージスキャナ２からの入力の他に通信Ｉ／Ｆ（インターフェイス）６を介して、ネットワーク上の他の装置からデータ通信により取得することもできる。通信Ｉ／Ｆ６は、ＬＡＮ（Local Area Network）に接続するためのＬＡＮカードや、公衆交換電話網に接続してデータ通信を行うためのモデムカードなどで実現される。
【００４０】
図２は、画像検索装置１０の機能的構成を示すブロック図である。画像検索装置１０は、入力部１２、画像検索部１３、表示部１４および登録画像記憶部１５を含んで構成される。
【００４１】
入力部１２は、入力画像データ、登録画像データを入力する。図１に示したハードウエア構成のうち、イメージスキャナ２、通信Ｉ／Ｆ６などが機能的に入力部１２に相当する。登録画像データは、入力画像データが入力されるより前に予め入力されていた画像データであり、登録画像記憶部１５に記憶されている。
【００４２】
図３は、画像検索部１３の機能的構成を示すブロック図である。画像検索部１３は、前処理部１３０、特徴抽出部１３１、検索部１３２を含んで構成される。
【００４３】
画像検索部１３は、入力部１２によって入力された入力画像データから特徴量を抽出し、登録画像データに対して予め抽出しておいた特徴量と比較して画像を検索する。
【００４４】
図４は、画像検索部１３による検索処理を示すフローチャートである。ステップＡ１では、前処理部１３０が、入力された画像データに対する前処理として２値化処理を施す。ステップＡ２では、２値化された画像データに基づいて、特徴抽出部１３１が、２値化画像データの特徴量を抽出する。ステップＡ３では、検索部１３２が、登録画像データの特徴量と、２値化データの特徴量とを比較して登録画像データの中から入力画像データと類似度が高い画像データを検索する。ステップＡ４では、検索結果を表示部１４に出力する。
【００４５】
以下では、各ステップについて詳細に説明する。前処理部１３０によるステップＡ１の前処理は、たとえば図５のフローチャートに示される。
【００４６】
画像データが入力されると、ステップＢ１で、入力された画像データがカラー画像データかどうかを判断する。カラー画像データであれば、ステップＢ２に進み、明度成分に基づくグレイ化を行い濃淡画像データに変換し、ステップＢ３に進む。カラー画像でなければ、ステップＢ３に進み、濃淡画像データであるかどうかを判断する。濃淡画像データであれば、ステップＢ４に進み、予め定める閾値を用いて２値化し、濃淡画像データを２値画像データに変換し、ステップＢ５で２値画像データを出力して処理を終了する。濃淡画像データでなければ、すなわち２値画像データであるので、ステップＢ５で２値画像データを出力して処理を終了する。
【００４７】
２値画像データは、画像データを構成する各画素の画素値を０か１（白画素か黒画素）のいずれかとする、いわゆる白黒画像データであり、濃淡画像データの各画素の濃淡度（濃度）を閾値処理して、全画素を黒画素と白画素とに分類する。
【００４８】
文書画像データでは、一般に下地（背景）が白く、文字部分が黒いので、２値化処理によって黒画素に分類された画素が、文字を構成する画素であると言える。
【００４９】
特徴抽出部１３１によるステップＡ２の特徴抽出処理は、たとえば図６のフローチャートに示される。
【００５０】
ステップＣ１で前処理部１３０によって２値化処理された２値画像データが入力されると、ステップＣ２では、２値画像データ中のすべての結合要素を検出する。
【００５１】
結合要素とは、連結した同じ色の画素が集合した画素群である。黒画素の結合要素を検出するか、白画素の結合要素を検出するかは、入力された画像データの下地が黒画素であるか白画素であるかに依存する。上記のように、一般的には下地が白画素である場合が多く、文字画像が黒画素で描画されているので、本実施形態では、黒画素の結合要素を検出するものとして説明する。下地が黒画素の場合は、文字画像が白画素で描画される、白抜き文字であり、この場合は、白画素の結合要素を検出すればよい。
【００５２】
なお、下地が黒画素であるか白画素であるかは、公知の下地判別処理で判別することができ、たとえば、上記の全体黒画素割合が所定の割合よりも小さいと下地が白画素と判別し、所定の割合よりも大きいと下地が黒画素と判別する。
【００５３】
結合要素の検出は、公知の検出方法で検出することができる。たとえば、１ラインについて、そのライン中で互いに隣接する黒画素の連続部分（黒ラン）を検出し、黒ランのランレングスと、黒ランの両端の黒画素の座標とを、ラインごとに記憶しておく。座標は、たとえば、ラインに平行な方向をｘ軸とし、ラインに直交する方向をｙ軸として予め決定される。
【００５４】
１つの注目ラインをｙ方向に挟む上下ラインの黒ランについて、その両端の黒画素のｘ座標が、注目ラインの各黒ランにおける両端の黒画素座標のｘ座標の範囲内にあれば注目ラインの当該黒ランと、ｘ座標が範囲内となる黒画素を端部画素とする黒ランとはｙ方向に連結されているものとみなすことができる。このようにして、注目ラインを順次ずらしながらすべての画像データに対して、ｘ方向の連結部分とｙ方向の連結部分を検出し、黒画素の結合要素を検出する。
【００５５】
ステップＣ３では、検出した結合要素に基づいて、単語分割を行う。単語分割を行うために、まずは検出した結合要素に基づいてテキストライン（文字列）の抽出を行う。入力された原稿画像における単語の位置を検出する前段階としてテキストラインを抽出する。テキストラインの抽出には、たとえばランレングス平滑化アルゴリズム（ＲＬＳＡ）を用いることができる。ここで、検出された結合要素は、ＲＬＳＡにおけるフォアグランドセパレータとなり、結合要素からテキストラインとして再構築される。
【００５６】
テキストラインが抽出されると、テキストラインを単語ごとに分割する。本実施形態では、黒画素によって文字が構成され、文字以外の部分は白画素であるので、横方向の画素列に注目したときに白画素の領域（セグメント）の長さを抽出する。そして抽出されたこれら白画素領域の長さの平均値を算出し、平均値よりも小さい白画素領域を文字間の領域とする。
【００５７】
文字間の白画素領域の両側の黒画素領域は、１つの同じ単語に含まれる文字を構成する黒画素領域であるので、これらの白画素領域および黒画素領域の集合が１つの単語となる。
【００５８】
このような処理を全てのテキストラインに対して施すことで単語分割を行うことができる。
【００５９】
ステップＣ４では、隣接する２つの単語における単語長の比を算出して画像データの特徴量を抽出する。
【００６０】
単語分割によって分割された各単語の単語長は、ラインに沿ったｘ方向の画素数で表わされる。１つの単語の両端に位置する画素を検出し、この画素間に並ぶ画素数（両端画素を含む）を単語長とする。
【００６１】
図７は、単語長および隣接する２つの単語長の比を示す模式図である。図７に示す例は、文書画像データの一部を抜き出して示しており、文書画像データにおいて、「Ｂａｓｅｄ ｏｎ ｔｈｅ ｒｅｓｕｌｔ」と記載された部分を示す。
【００６２】
単語分割によって、「Ｂａｓｅｄ」に相当する画素群２０、「ｏｎ」に相当する画素群２１、「ｔｈｅ」に相当する画素群２２および「ｒｅｓｕｌｔ」に相当する画素群２３に分割される。
【００６３】
画素群２０の単語長としてｄ１、画素群２１の単語長としてｄ２、画素群２２の単語長としてｄ３、画素群２３の単語長としてｄ４が検出される。このとき隣接する２つの単語における単語長の比ｆｎは、ｆｎ＝ｄｎ／ｄｎ＋１で算出される。ｎは１ラインに含まれる単語数または１ページに含まれる全単語数である。図７に示す例では、単語長の比ｆｎはｆ１＝ｄ１／ｄ２，ｆ２＝ｄ２／ｄ３，ｆ３＝ｄ３／ｄ４でそれぞれ算出される。
【００６４】
これら算出された単語長の比ｆｎの配列は、単語の並び順に沿って単語長の比を並べたものであり、図７の例では、ｆ１，ｆ２，ｆ３，ｆ４の配列が特徴量として抽出される。
【００６５】
ラインごとに単語長の比ｆｎの配列を抽出する場合は、１つの画像データに含まれる全ラインについて単語長の比ｆｎの配列をそれぞれ抽出し、全ての配列により１つの画像データの特徴量が構成される。
【００６６】
ステップＣ５では、抽出された特徴量を、検索部１３２に出力する。検索部１３２によるステップＡ３の画像検索処理は、たとえば以下のようにして行われる。
【００６７】
検索部１３２では、上記のようにして得られた入力画像データの検索用の特徴量と、予め抽出された登録画像データの特徴量とを比較し、比較結果によって入力画像データと登録画像データとの類似度を求める。登録画像データの中から最も類似度が高い登録画像データを選択し、検索結果とする。
【００６８】
検索結果としては、最も類似度が高い登録画像データのみではなく、類似度の高い方から所定数の登録画像データを選択してこれを検索結果としてもよい。
【００６９】
検索部１３２によって検索結果が出力されると、表示部１４が、検索結果として選択された登録画像データを可視化した画像を表示する。
【００７０】
登録画像データについては、登録時に上記のような特徴量の抽出を行い、特徴量と関連付けて登録画像記憶部１５に記憶しておく。
【００７１】
本発明の特徴量は、複数の単語長の比ｆｎで構成される配列であるので、登録画像データに関連付けられた特徴量と、入力画像データの特徴量とが完全一致しなくとも類似度を求めることができる。
【００７２】
たとえば、入力画像データが、登録画像データの一部であった場合、入力画像データの特徴量は、登録画像データの特徴量と完全に一致することはなく、入力画像データの特徴量が、登録画像データの特徴量の一部として含まれることになる。
【００７３】
また、入力画像データの一部と、登録画像データの一部とが重複するような場合、入力画像データの特徴量は、登録画像データの特徴量と完全に一致することはなく、入力画像データの特徴量の一部が、登録画像データの特徴量の一部と重複することになる。
【００７４】
したがって、特徴量が完全一致しなくとも、類似の画像データを登録画像データの中から検索することが可能であり、さらに、入力画像データの特徴が、登録画像データの特徴量とどのように一致するかによって、入力画像データと登録画像データの一致部分をも検出することができる。
【００７５】
入力画像データおよび登録画像データについて、単語長の比ｆｎの配列と、各画像データの位置情報（画素座標）とを関連付けて記憶しておけば、一致する単語長の比ｆｎの配列を検出することで、一致した配列に対応する位置情報に基づいて、入力画像データと登録画像データの一致部分を検出できる。
【００７６】
入力画像データを文章コンテンツの一部であるとすると、登録画像データ中から一致部分を検出し、検出した一致部分を表示部１４などによって表示することでコンテンツ検索も可能となる。
【００７７】
ここで、有効な特徴量について説明する。非常に短い文章、すなわち単語数が少ない文章の場合は、同じ単語長比ｆｎの配列を有するにもかかわらず、異なる文章である可能性が高くなる。
【００７８】
したがって、比較するための特徴量として、予め定める単語数以上の単語数、すなわち配列に含まれる単語長比ｆｎの数（Ｌ）が予め定める数以上の特徴量とすることが有効である。特徴量を有効とするＬについては、実験結果により７以上が好ましく、より好ましくは１０以上である。
【００７９】
なお、隣接する２つの単語長の比ｆｎが特徴量として有効となるのは、単語長が単語ごとに異なるような言語で記載された文書画像である。アルファベットを用いて文章を記載するラテン語系の言語で記載された文書画像がこれに当たる。
【００８０】
これに対して日本語、中国語などで用いられる漢字、ひらがなおよび片仮名は、１文字ごとの大きさがほぼ等しく、単語ごとに明確に分割することが難しいので、１文字ごとに画素密度を算出してこれを特徴量とすることが有効である。
【００８１】
図８は、画素密度を説明するための模式図である。画素密度は、１文字に外接する外接矩形を検出し、外接矩形に含まれる１つの文字を構成する画素の画素数がこの外接矩形全体を構成する全画素数に対して占める割合である。図８に示すように、漢字の「我」１文字を例として、画素密度の算出について説明する。
【００８２】
図８の例では、まず漢字の「我」に外接する外接矩形３０を抽出し、この外接矩形３０の幅ｗ（画素数）と高さｈ（画素数）をカウントする。次に外接矩形３０に含まれる１文字の漢字「我」を構成する黒画素３１の画素数Ｂをカウントする。画素密度は上記のように外接矩形全体を構成する全画素数に対する１つの文字を構成する黒画素の画素数Ｂの割合であるから、画素密度をｆとしたとき、ｆ＝Ｂ／（ｗ×ｈ）で算出することができる。
【００８３】
このような画素密度ｆを１文字ごとに算出し、テキストライン上の文字の並び順に複数の画素密度ｆを並べた配列が特徴量として抽出される。
【００８４】
ラインごとに画素密度ｆの配列を抽出する場合は、１つの画像データに含まれる全ラインについて画素密度ｆの配列をそれぞれ抽出し、全ての配列により１つの画像データの特徴量が構成される。
【００８５】
日本語、中国語で記載された文書画像データを検索する場合には、特徴量を、画素密度ｆの配列とすること以外は、上記の単語長比ｆｎの配列を特徴量とする検索処理と同様に検索を行うことができる。
【００８６】
本発明によれば以下のような効果が得られる。
従来技術のような句読点間の文字数を特徴量して検索する場合に比べて、隣接する２つの単語の単語長の比を特徴量として用いることにより、異なる文章であっても同じ特徴量となる可能性が低いために、文書画像データの検索精度を向上させることができる。
【００８７】
また、単語長は、比較的低い解像度で読み取った文書画像データであっても誤検出されないので、低解像度の文書画像データを用いることができ、検索処理に係る処理速度を高速化し、文書画像データを記憶するための記憶容量も削減できる。
【００８８】
また、入力された文書画像データと、登録された文書画像データの特徴量が完全一致しなくとも、類似の画像データを登録画像データの中から検索することが可能である。
【００８９】
なお、画像検索装置１０の各ブロック、特に、入力部１２、画像検索部１３、表示部１４および登録画像記憶部１５等は、ハードウエアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウエア（画像検索プログラム）によって実現してもよい。
【００９０】
すなわち、画像検索装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only
memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウエアである画像検索装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像検索装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９１】
上記記録媒体としては、例えば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などを用いることができる。
【００９２】
また、画像検索装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網などが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００９３】
本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。
【符号の説明】
【００９４】
１０ 画像検索装置
１２ 入力部
１３ 画像検索部
１４ 表示部
１５ 登録画像記憶部
１３０ 前処理部
１３１ 特徴抽出部
１３２ 検索部
【技術分野】
【０００１】
本発明は、登録された画像データから特定の画像データを検索する画像検索装置、画像検索プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
複写機、ファクシミリ装置、プリンターおよびこれらの機能を複数併せ持つ複合機などの画像形成装置では、入力された原稿画像などの画像データを大容量の記憶装置に記憶しておき、１度入力され、登録された画像データであればいつでも読み出して再出力することができる機能が備えられているものがある。
【０００３】
再出力できる機能は便利ではあるが、登録されるデータ量が多くなると再出力したいデータを探すことが困難になるため、複数の画像データの中から所望の画像データを検索する画像検索技術が重要となる。
【０００４】
画像データを検索する際には、登録された画像データと、入力された画像データとを比較して類似性を算出する必要があるが、登録された画像データには、文書画像データと、非文書画像データ（写真や図形、イラスト画像など）とがある。
【０００５】
文書画像データは、文字画像で構成されているため、文字画像同士を比較することになり、非文書画像データに比べて類似性を判断することが困難である。
【０００６】
特許文献１記載の文書画像検索装置は、入力部が入力した文書画像データまたは検索文書データから句読点を認識し、句読点間の文字数を計測し、計測された文字数をインデックスとして登録し、計測された検索文書データの各句読点間の文字数と同一の文字数を持つインデックスを検索する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１５２５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１記載の文書画像検索装置は、句読点間の文字数をインデックスとして検索しており、このようなインデックスは、比較的大きなレイアウト情報を表すものである。句読点間の文字数が同じであっても、文字自体は異なっているという文書画像データは十分にありうるので、句読点間の文字数で判断する場合には、検索精度を十分に高くすることができない。
【０００９】
また、句読点は、文字に比べて小さな画像であり、登録された文書画像データ、入力画像データから句読点を認識する際に誤認識が生じる可能性が高く、句読点を認識する段階で誤認識が生じると、登録されるインデックスの正確性に欠けることになる。
【００１０】
検索精度を上げるために、句読点の認識精度を向上させようとすると、読み取りの解像度を高くすることが必要であり、その結果１つ１つの文書画像データのデータ量が多くなり、記憶容量の増大、処理速度の低下を招く。
【００１１】
本発明の目的は、検索処理に係る処理速度を高速化し、文書画像データの検索精度を向上させることができる画像検索装置、画像検索プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【００１２】
本発明は、予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる単語を検出して単語分割を行い、隣接する２つの単語ごとに、当該２つの単語の単語長の比を算出し、算出した単語長の比を単語の並び順に沿って並べた単語長の比の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置である。
【００１３】
また本発明は、前記特徴量抽出部は、前記単語を構成する領域の長さを示す画素数を前記単語長として、前記単語長の比を算出することを特徴とする。
【００１４】
また本発明は、登録画像記憶部は、前記単語長の比の配列と、前記登録された文書画像データにおける前記単語長の比の配列の位置情報とを関連付けて記憶し、
前記検索部は、検索された文書画像データにおける前記入力された文書画像データの前記単語長の比の配列と一致した部分を検出し、
前記表示部は、検出された前記一致した部分を他の部分から識別可能に表示することを特徴とする。
【００１５】
また本発明は、予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる文字を検出して文字分割を行い、１文字に外接する外接矩形を検出し、文字を構成する画素が前記外接矩形内を占める割合である画素密度を算出し、算出した画素密度を単語の並び順に沿って並べた画素密度の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置である。
【００１６】
また本発明は、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムである。
【００１７】
また本発明は、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明によれば、特徴量抽出部が、入力された文書画像データに含まれる単語を検出して単語分割を行い、隣接する２つの単語ごとに、当該２つの単語の単語長の比を算出し、算出した単語長の比を単語の並び順に沿って並べた単語長の比の配列を、入力された文書画像データの特徴量として抽出する。登録画像記憶部には、前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とが関連付けて記憶されており、検索部は、前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する。
【００１９】
表示部は、検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する。
【００２０】
隣接する２つの単語の単語長の比を特徴量として用いることにより、従来技術のような句読点間の文字数を特徴量して検索する場合に比べて、異なる文章であっても同じ特徴量となる可能性が低いために、文書画像データの検索精度を向上させることができる。
【００２１】
さらに、単語長は、比較的低い解像度で読み取った文書画像データであっても誤検出されないので、低解像度の文書画像データを用いることができ、検索処理に係る処理速度を高速化し、文書画像データを記憶するための記憶容量も削減できる。
【００２２】
また、単語長の比は、画像が拡大、縮小された場合であっても変化しないので、画像の変倍率によって検索精度が変化しない。したがって、１ページの画像を１／２または１／４に縮小し、複数ページを１つの画像データとする、いわゆるＮアップ画像データを検索の対象とする検索処理にも有効である。
【００２３】
また本発明によれば、前記特徴量抽出部は、前記単語を構成する領域の長さを示す画素数を前記単語長として、前記単語長の比を算出する。
【００２４】
画素数を用いることにより、容易に単語長を検出することができ、単語長の比も容易に算出することができる。
【００２５】
また本発明によれば、登録画像記憶部は、前記単語長の比の配列と、前記登録された文書画像データにおける前記単語長の比の配列の位置情報とを関連付けて記憶しておく。前記検索部は、検索された文書画像データにおける前記入力された文書画像データの前記単語長の比の配列と一致した部分を検出し、前記表示部は、検出された前記一致した部分を他の部分から識別可能に表示する。
【００２６】
これにより、登録された文書画像データの中から、特定の文章を含む文書画像データを検索することができ、文章コンテンツの検索を行うことができる。
【００２７】
本発明によれば、特徴量抽出部が、入力された文書画像データに含まれる文字を検出して文字分割を行い、１文字に外接する外接矩形を検出し、文字を構成する画素が前記外接矩形内を占める割合である画素密度を算出し、算出した画素密度を単語の並び順に沿って並べた画素密度の配列を、入力された文書画像データの特徴量として抽出する。登録画像記憶部には、前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とが関連付けて記憶されており、検索部は、前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する。
【００２８】
表示部は、検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する。
【００２９】
文字の画素密度を特徴量として用いることにより、従来技術のような句読点間の文字数を特徴量して検索する場合に比べて、異なる文章であっても同じ特徴量となる可能性が低いために、文書画像データの検索精度を向上させることができる。
【００３０】
さらに、画素密度は、比較的低い解像度で読み取った文書画像データであっても誤検出されないので、低解像度の文書画像データを用いることができ、検索処理に係る処理速度を高速化し、文書画像データを記憶するための記憶容量も削減できる。
【００３１】
また本発明によれば、コンピュータを上記の画像検索装置として機能させるための画像検索プログラムとして供給することができ、また画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体として供給することができる。
【図面の簡単な説明】
【００３２】
【図１】画像検索装置１０の機械的構成を示すブロック図である。
【図２】画像検索装置１０の機能的構成を示すブロック図である。
【図３】画像検索部１３の機能的構成を示すブロック図である。
【図４】画像検索部１３による検索処理を示すフローチャートである。
【図５】前処理部１３０によるステップＡ１の前処理を示すフローチャートである。
【図６】特徴抽出部１３１によるステップＡ２の特徴抽出処理を示すフローチャートである。
【図７】単語長および隣接する２つの単語長の比を示す模式図である。
【図８】画素密度を説明するための模式図である。
【発明を実施するための形態】
【００３３】
以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
図１は、画像検索装置１０の機械的構成を示すブロック図である。画像検索装置１０は、プロセッサ４と、プロセッサ４が実際の処理を行うためのソフトウエアなどを格納する外部記憶装置５とを含む。
【００３４】
プロセッサ４は、入力された画像データ（以下では「入力画像データ」という）の特徴量を抽出し、予め登録されている複数の画像データ（以下では「登録画像データ」という）との照合を行い、入力画像データに類似の登録画像データを検索して表示する画像検索処理などを実際に行う。プロセッサ４における実際の処理は、外部記憶装置５に格納されるソフトウエアによって実行される。プロセッサ４は、たとえば通常のコンピュータ本体などで構成される。
【００３５】
外部記憶装置５は、たとえば高速アクセスが可能なハードディスクなどで構成することができる。外部記憶装置５は、登録画像データを大量に保持するために光ディスクなどの大容量デバイスを用いるような構成であっても構わない。また、検索処理中に各処理ステップの段階で作成された一時的なデータなどは、外部記憶装置５に記憶してもよいし、プロセッサ４に内蔵される半導体メモリに記憶してもよい。
【００３６】
画像検索装置１０には、キーボード１が接続されるとともに、表示装置３が接続される。キーボード１は、各種ソフトウエアを実行するための指示の入力などに用いられる。
【００３７】
表示装置３は、入力画像データおよび登録画像データに基づく画像の表示、検索結果の表示などを行う。
【００３８】
画像検索装置１０には、イメージスキャナ２がさらに接続される。イメージスキャナ２は、画像が印刷された原稿を読み取り、入力画像データおよび登録画像データを取り込むために用いられる。
【００３９】
入力画像データおよび登録画像データの取得は、イメージスキャナ２からの入力の他に通信Ｉ／Ｆ（インターフェイス）６を介して、ネットワーク上の他の装置からデータ通信により取得することもできる。通信Ｉ／Ｆ６は、ＬＡＮ（Local Area Network）に接続するためのＬＡＮカードや、公衆交換電話網に接続してデータ通信を行うためのモデムカードなどで実現される。
【００４０】
図２は、画像検索装置１０の機能的構成を示すブロック図である。画像検索装置１０は、入力部１２、画像検索部１３、表示部１４および登録画像記憶部１５を含んで構成される。
【００４１】
入力部１２は、入力画像データ、登録画像データを入力する。図１に示したハードウエア構成のうち、イメージスキャナ２、通信Ｉ／Ｆ６などが機能的に入力部１２に相当する。登録画像データは、入力画像データが入力されるより前に予め入力されていた画像データであり、登録画像記憶部１５に記憶されている。
【００４２】
図３は、画像検索部１３の機能的構成を示すブロック図である。画像検索部１３は、前処理部１３０、特徴抽出部１３１、検索部１３２を含んで構成される。
【００４３】
画像検索部１３は、入力部１２によって入力された入力画像データから特徴量を抽出し、登録画像データに対して予め抽出しておいた特徴量と比較して画像を検索する。
【００４４】
図４は、画像検索部１３による検索処理を示すフローチャートである。ステップＡ１では、前処理部１３０が、入力された画像データに対する前処理として２値化処理を施す。ステップＡ２では、２値化された画像データに基づいて、特徴抽出部１３１が、２値化画像データの特徴量を抽出する。ステップＡ３では、検索部１３２が、登録画像データの特徴量と、２値化データの特徴量とを比較して登録画像データの中から入力画像データと類似度が高い画像データを検索する。ステップＡ４では、検索結果を表示部１４に出力する。
【００４５】
以下では、各ステップについて詳細に説明する。前処理部１３０によるステップＡ１の前処理は、たとえば図５のフローチャートに示される。
【００４６】
画像データが入力されると、ステップＢ１で、入力された画像データがカラー画像データかどうかを判断する。カラー画像データであれば、ステップＢ２に進み、明度成分に基づくグレイ化を行い濃淡画像データに変換し、ステップＢ３に進む。カラー画像でなければ、ステップＢ３に進み、濃淡画像データであるかどうかを判断する。濃淡画像データであれば、ステップＢ４に進み、予め定める閾値を用いて２値化し、濃淡画像データを２値画像データに変換し、ステップＢ５で２値画像データを出力して処理を終了する。濃淡画像データでなければ、すなわち２値画像データであるので、ステップＢ５で２値画像データを出力して処理を終了する。
【００４７】
２値画像データは、画像データを構成する各画素の画素値を０か１（白画素か黒画素）のいずれかとする、いわゆる白黒画像データであり、濃淡画像データの各画素の濃淡度（濃度）を閾値処理して、全画素を黒画素と白画素とに分類する。
【００４８】
文書画像データでは、一般に下地（背景）が白く、文字部分が黒いので、２値化処理によって黒画素に分類された画素が、文字を構成する画素であると言える。
【００４９】
特徴抽出部１３１によるステップＡ２の特徴抽出処理は、たとえば図６のフローチャートに示される。
【００５０】
ステップＣ１で前処理部１３０によって２値化処理された２値画像データが入力されると、ステップＣ２では、２値画像データ中のすべての結合要素を検出する。
【００５１】
結合要素とは、連結した同じ色の画素が集合した画素群である。黒画素の結合要素を検出するか、白画素の結合要素を検出するかは、入力された画像データの下地が黒画素であるか白画素であるかに依存する。上記のように、一般的には下地が白画素である場合が多く、文字画像が黒画素で描画されているので、本実施形態では、黒画素の結合要素を検出するものとして説明する。下地が黒画素の場合は、文字画像が白画素で描画される、白抜き文字であり、この場合は、白画素の結合要素を検出すればよい。
【００５２】
なお、下地が黒画素であるか白画素であるかは、公知の下地判別処理で判別することができ、たとえば、上記の全体黒画素割合が所定の割合よりも小さいと下地が白画素と判別し、所定の割合よりも大きいと下地が黒画素と判別する。
【００５３】
結合要素の検出は、公知の検出方法で検出することができる。たとえば、１ラインについて、そのライン中で互いに隣接する黒画素の連続部分（黒ラン）を検出し、黒ランのランレングスと、黒ランの両端の黒画素の座標とを、ラインごとに記憶しておく。座標は、たとえば、ラインに平行な方向をｘ軸とし、ラインに直交する方向をｙ軸として予め決定される。
【００５４】
１つの注目ラインをｙ方向に挟む上下ラインの黒ランについて、その両端の黒画素のｘ座標が、注目ラインの各黒ランにおける両端の黒画素座標のｘ座標の範囲内にあれば注目ラインの当該黒ランと、ｘ座標が範囲内となる黒画素を端部画素とする黒ランとはｙ方向に連結されているものとみなすことができる。このようにして、注目ラインを順次ずらしながらすべての画像データに対して、ｘ方向の連結部分とｙ方向の連結部分を検出し、黒画素の結合要素を検出する。
【００５５】
ステップＣ３では、検出した結合要素に基づいて、単語分割を行う。単語分割を行うために、まずは検出した結合要素に基づいてテキストライン（文字列）の抽出を行う。入力された原稿画像における単語の位置を検出する前段階としてテキストラインを抽出する。テキストラインの抽出には、たとえばランレングス平滑化アルゴリズム（ＲＬＳＡ）を用いることができる。ここで、検出された結合要素は、ＲＬＳＡにおけるフォアグランドセパレータとなり、結合要素からテキストラインとして再構築される。
【００５６】
テキストラインが抽出されると、テキストラインを単語ごとに分割する。本実施形態では、黒画素によって文字が構成され、文字以外の部分は白画素であるので、横方向の画素列に注目したときに白画素の領域（セグメント）の長さを抽出する。そして抽出されたこれら白画素領域の長さの平均値を算出し、平均値よりも小さい白画素領域を文字間の領域とする。
【００５７】
文字間の白画素領域の両側の黒画素領域は、１つの同じ単語に含まれる文字を構成する黒画素領域であるので、これらの白画素領域および黒画素領域の集合が１つの単語となる。
【００５８】
このような処理を全てのテキストラインに対して施すことで単語分割を行うことができる。
【００５９】
ステップＣ４では、隣接する２つの単語における単語長の比を算出して画像データの特徴量を抽出する。
【００６０】
単語分割によって分割された各単語の単語長は、ラインに沿ったｘ方向の画素数で表わされる。１つの単語の両端に位置する画素を検出し、この画素間に並ぶ画素数（両端画素を含む）を単語長とする。
【００６１】
図７は、単語長および隣接する２つの単語長の比を示す模式図である。図７に示す例は、文書画像データの一部を抜き出して示しており、文書画像データにおいて、「Ｂａｓｅｄ ｏｎ ｔｈｅ ｒｅｓｕｌｔ」と記載された部分を示す。
【００６２】
単語分割によって、「Ｂａｓｅｄ」に相当する画素群２０、「ｏｎ」に相当する画素群２１、「ｔｈｅ」に相当する画素群２２および「ｒｅｓｕｌｔ」に相当する画素群２３に分割される。
【００６３】
画素群２０の単語長としてｄ１、画素群２１の単語長としてｄ２、画素群２２の単語長としてｄ３、画素群２３の単語長としてｄ４が検出される。このとき隣接する２つの単語における単語長の比ｆｎは、ｆｎ＝ｄｎ／ｄｎ＋１で算出される。ｎは１ラインに含まれる単語数または１ページに含まれる全単語数である。図７に示す例では、単語長の比ｆｎはｆ１＝ｄ１／ｄ２，ｆ２＝ｄ２／ｄ３，ｆ３＝ｄ３／ｄ４でそれぞれ算出される。
【００６４】
これら算出された単語長の比ｆｎの配列は、単語の並び順に沿って単語長の比を並べたものであり、図７の例では、ｆ１，ｆ２，ｆ３，ｆ４の配列が特徴量として抽出される。
【００６５】
ラインごとに単語長の比ｆｎの配列を抽出する場合は、１つの画像データに含まれる全ラインについて単語長の比ｆｎの配列をそれぞれ抽出し、全ての配列により１つの画像データの特徴量が構成される。
【００６６】
ステップＣ５では、抽出された特徴量を、検索部１３２に出力する。検索部１３２によるステップＡ３の画像検索処理は、たとえば以下のようにして行われる。
【００６７】
検索部１３２では、上記のようにして得られた入力画像データの検索用の特徴量と、予め抽出された登録画像データの特徴量とを比較し、比較結果によって入力画像データと登録画像データとの類似度を求める。登録画像データの中から最も類似度が高い登録画像データを選択し、検索結果とする。
【００６８】
検索結果としては、最も類似度が高い登録画像データのみではなく、類似度の高い方から所定数の登録画像データを選択してこれを検索結果としてもよい。
【００６９】
検索部１３２によって検索結果が出力されると、表示部１４が、検索結果として選択された登録画像データを可視化した画像を表示する。
【００７０】
登録画像データについては、登録時に上記のような特徴量の抽出を行い、特徴量と関連付けて登録画像記憶部１５に記憶しておく。
【００７１】
本発明の特徴量は、複数の単語長の比ｆｎで構成される配列であるので、登録画像データに関連付けられた特徴量と、入力画像データの特徴量とが完全一致しなくとも類似度を求めることができる。
【００７２】
たとえば、入力画像データが、登録画像データの一部であった場合、入力画像データの特徴量は、登録画像データの特徴量と完全に一致することはなく、入力画像データの特徴量が、登録画像データの特徴量の一部として含まれることになる。
【００７３】
また、入力画像データの一部と、登録画像データの一部とが重複するような場合、入力画像データの特徴量は、登録画像データの特徴量と完全に一致することはなく、入力画像データの特徴量の一部が、登録画像データの特徴量の一部と重複することになる。
【００７４】
したがって、特徴量が完全一致しなくとも、類似の画像データを登録画像データの中から検索することが可能であり、さらに、入力画像データの特徴が、登録画像データの特徴量とどのように一致するかによって、入力画像データと登録画像データの一致部分をも検出することができる。
【００７５】
入力画像データおよび登録画像データについて、単語長の比ｆｎの配列と、各画像データの位置情報（画素座標）とを関連付けて記憶しておけば、一致する単語長の比ｆｎの配列を検出することで、一致した配列に対応する位置情報に基づいて、入力画像データと登録画像データの一致部分を検出できる。
【００７６】
入力画像データを文章コンテンツの一部であるとすると、登録画像データ中から一致部分を検出し、検出した一致部分を表示部１４などによって表示することでコンテンツ検索も可能となる。
【００７７】
ここで、有効な特徴量について説明する。非常に短い文章、すなわち単語数が少ない文章の場合は、同じ単語長比ｆｎの配列を有するにもかかわらず、異なる文章である可能性が高くなる。
【００７８】
したがって、比較するための特徴量として、予め定める単語数以上の単語数、すなわち配列に含まれる単語長比ｆｎの数（Ｌ）が予め定める数以上の特徴量とすることが有効である。特徴量を有効とするＬについては、実験結果により７以上が好ましく、より好ましくは１０以上である。
【００７９】
なお、隣接する２つの単語長の比ｆｎが特徴量として有効となるのは、単語長が単語ごとに異なるような言語で記載された文書画像である。アルファベットを用いて文章を記載するラテン語系の言語で記載された文書画像がこれに当たる。
【００８０】
これに対して日本語、中国語などで用いられる漢字、ひらがなおよび片仮名は、１文字ごとの大きさがほぼ等しく、単語ごとに明確に分割することが難しいので、１文字ごとに画素密度を算出してこれを特徴量とすることが有効である。
【００８１】
図８は、画素密度を説明するための模式図である。画素密度は、１文字に外接する外接矩形を検出し、外接矩形に含まれる１つの文字を構成する画素の画素数がこの外接矩形全体を構成する全画素数に対して占める割合である。図８に示すように、漢字の「我」１文字を例として、画素密度の算出について説明する。
【００８２】
図８の例では、まず漢字の「我」に外接する外接矩形３０を抽出し、この外接矩形３０の幅ｗ（画素数）と高さｈ（画素数）をカウントする。次に外接矩形３０に含まれる１文字の漢字「我」を構成する黒画素３１の画素数Ｂをカウントする。画素密度は上記のように外接矩形全体を構成する全画素数に対する１つの文字を構成する黒画素の画素数Ｂの割合であるから、画素密度をｆとしたとき、ｆ＝Ｂ／（ｗ×ｈ）で算出することができる。
【００８３】
このような画素密度ｆを１文字ごとに算出し、テキストライン上の文字の並び順に複数の画素密度ｆを並べた配列が特徴量として抽出される。
【００８４】
ラインごとに画素密度ｆの配列を抽出する場合は、１つの画像データに含まれる全ラインについて画素密度ｆの配列をそれぞれ抽出し、全ての配列により１つの画像データの特徴量が構成される。
【００８５】
日本語、中国語で記載された文書画像データを検索する場合には、特徴量を、画素密度ｆの配列とすること以外は、上記の単語長比ｆｎの配列を特徴量とする検索処理と同様に検索を行うことができる。
【００８６】
本発明によれば以下のような効果が得られる。
従来技術のような句読点間の文字数を特徴量して検索する場合に比べて、隣接する２つの単語の単語長の比を特徴量として用いることにより、異なる文章であっても同じ特徴量となる可能性が低いために、文書画像データの検索精度を向上させることができる。
【００８７】
また、単語長は、比較的低い解像度で読み取った文書画像データであっても誤検出されないので、低解像度の文書画像データを用いることができ、検索処理に係る処理速度を高速化し、文書画像データを記憶するための記憶容量も削減できる。
【００８８】
また、入力された文書画像データと、登録された文書画像データの特徴量が完全一致しなくとも、類似の画像データを登録画像データの中から検索することが可能である。
【００８９】
なお、画像検索装置１０の各ブロック、特に、入力部１２、画像検索部１３、表示部１４および登録画像記憶部１５等は、ハードウエアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウエア（画像検索プログラム）によって実現してもよい。
【００９０】
すなわち、画像検索装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only
memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウエアである画像検索装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像検索装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９１】
上記記録媒体としては、例えば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などを用いることができる。
【００９２】
また、画像検索装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網などが利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００９３】
本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。
【符号の説明】
【００９４】
１０ 画像検索装置
１２ 入力部
１３ 画像検索部
１４ 表示部
１５ 登録画像記憶部
１３０ 前処理部
１３１ 特徴抽出部
１３２ 検索部
【特許請求の範囲】
【請求項１】
予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる単語を検出して単語分割を行い、隣接する２つの単語ごとに、当該２つの単語の単語長の比を算出し、算出した単語長の比を単語の並び順に沿って並べた単語長の比の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置。
【請求項２】
前記特徴量抽出部は、前記単語を構成する領域の長さを示す画素数を前記単語長として、前記単語長の比を算出することを特徴とする請求項１記載の画像検索装置。
【請求項３】
登録画像記憶部は、前記単語長の比の配列と、前記登録された文書画像データにおける前記単語長の比の配列の位置情報とを関連付けて記憶し、
前記検索部は、検索された文書画像データにおける前記入力された文書画像データの前記単語長の比の配列と一致した部分を検出し、
前記表示部は、検出された前記一致した部分を他の部分から識別可能に表示することを特徴とする請求項１または２記載の画像検索装置。
【請求項４】
予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる文字を検出して文字分割を行い、１文字に外接する外接矩形を検出し、文字を構成する画素が前記外接矩形内を占める割合である画素密度を算出し、算出した画素密度を単語の並び順に沿って並べた画素密度の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置。
【請求項５】
コンピュータを請求項１〜４に記載の画像検索装置として機能させるための画像検索プログラム。
【請求項６】
コンピュータを請求項１〜４に記載の画像検索装置として機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる単語を検出して単語分割を行い、隣接する２つの単語ごとに、当該２つの単語の単語長の比を算出し、算出した単語長の比を単語の並び順に沿って並べた単語長の比の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置。
【請求項２】
前記特徴量抽出部は、前記単語を構成する領域の長さを示す画素数を前記単語長として、前記単語長の比を算出することを特徴とする請求項１記載の画像検索装置。
【請求項３】
登録画像記憶部は、前記単語長の比の配列と、前記登録された文書画像データにおける前記単語長の比の配列の位置情報とを関連付けて記憶し、
前記検索部は、検索された文書画像データにおける前記入力された文書画像データの前記単語長の比の配列と一致した部分を検出し、
前記表示部は、検出された前記一致した部分を他の部分から識別可能に表示することを特徴とする請求項１または２記載の画像検索装置。
【請求項４】
予め登録された文書画像データの中から、入力された文書画像データに類似した文書画像データを検索する画像検索装置であって、
入力された文書画像データに含まれる文字を検出して文字分割を行い、１文字に外接する外接矩形を検出し、文字を構成する画素が前記外接矩形内を占める割合である画素密度を算出し、算出した画素密度を単語の並び順に沿って並べた画素密度の配列を、入力された文書画像データの特徴量として抽出する特徴量抽出部と、
前記登録された文書画像データと、前記登録された文書画像データの前記特徴量とを関連付けて記憶する登録画像記憶部と、
前記登録された文書画像データの特徴量と、前記特徴量抽出部で生成された前記入力された文書画像データの特徴量とに基づいて、前記登録された文書画像データの中から、前記入力された文書画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、前記登録された文書画像データのうち前記入力された文書画像データに類似した文書画像データを表示する表示部とを備えることを特徴とする画像検索装置。
【請求項５】
コンピュータを請求項１〜４に記載の画像検索装置として機能させるための画像検索プログラム。
【請求項６】
コンピュータを請求項１〜４に記載の画像検索装置として機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１８３１１（Ｐ２０１１−１８３１１Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２０１０−７４９７（Ｐ２０１０−７４９７）
【出願日】平成２２年１月１５日（２０１０．１．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２２年１月１５日（２０１０．１．１５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]