画像処理装置及びその制御方法、プログラム
【課題】 より精度良く文書画像を含む画像の類似画像検索を実行することができる画像処理装置及びその制御方法、プログラムを提供する。
【解決手段】 比較元画像を複数のブロックに分割する。分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する。判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する。各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する。
【解決手段】 比較元画像を複数のブロックに分割する。分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する。判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する。各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
従来、類似画像検索処理においては、登録処理において画像を縦横の複数のブロックに分割し、そのブロックに対する平均色や最頻色等のブロック代表色を算出して、それを画像と対応づけて記憶しておく。そして、検索処理においては、対応する分割ブロックの代表色の差異を積算することにより、類似度を示す距離計算を行い、その計算結果に基づいて、類似画像をソートして出力するものが主流であった（例えば、特許文献１参照）。
【特許文献１】特開平７−２３９８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のような類似画像検索方法は、自然画のような画像全体に色情報が存在する画像においては有用であったが、文書画像のように白地バックグラウンドに画像を貼り込み、その余白に文字が存在するような場合に、白地のバックグラウンドに文字があっても無くとも平均色あるいは最頻色には影響が現れず、文字のある分割ブロックと白地のバックグラウンドとの区別がつかず、ユーザにとって違和感のある検索結果となっていた。特に、平均色あるいは最頻色には影響が現れない理由は、文字画像中の実際の文字画素の占める割合が少ないためである。
【０００４】
そこで、このような問題を補うために、予め文書画像を文字領域と画像領域に分離する技術を用い、分離したもの同士の特徴を求める方法がある。この方法によれば、検索精度は高くなるものの、文字領域あるいは画像領域を抽出し損ねた場合には、所望とする画像を検索できなくなる可能性がある。
【０００５】
本発明は上記の課題を解決するためになされたものであり、より精度良く文書画像を含む画像の類似画像検索を実行することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記比較元画像を複数のブロックに分割する分割手段と、
前記分割手段で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得手段と、
前記取得手段によって取得される前記分割手段で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力手段と
を備える。
【０００７】
また、好ましくは、前記比較手段は、前記比較元画像と前記比較先画像間の画像特徴情報に応じた類似度を管理する管理テーブルを備え、
前記管理テーブルは、前記比較元画像及び前記比較先画像のどちらかに文字画像が存在する場合の該比較元画像と該比較先画像間の画像特徴情報に基づく所定の類似度として、前記比較元画像に文字画像が存在しない場合の該比較元画像と該比較先画像間の画像特徴情報に基づく類似度よりも十分異なる固定値を管理している。
【０００８】
また、好ましくは、前記判定手段は、前記ブロック画像の前記画像特徴情報が示す画像特徴量が所定値以上であるか否かを判定し、前記画像特徴量が所定値以上である場合、該処理対象画像に文字画像が存在すると判定する。
【０００９】
また、好ましくは、前記画像特徴情報は、前記ブロック画像の輝度に関する輝度特徴情報である。
【００１０】
また、好ましくは、前記輝度特徴情報は、前記ブロック画像の平均輝度あるいは最頻輝度である。
【００１１】
また、好ましくは、前記輝度特徴情報は、前記ブロック画像中の最も輝度の高い画素の色近傍範囲の平均輝度あるいは最頻輝度である。
【００１２】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置であって、
画像を入力する入力手段と、
前記画像を複数のブロックに分割する分割手段と、
前記分割手段で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶する記憶手段と
を備える。
【００１３】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御方法であって、
前記比較元画像を複数のブロックに分割する分割工程と、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程と、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程と
を備える。
【００１４】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御方法であって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備える。
【００１５】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御を実現するプログラムであって、
前記比較元画像を複数のブロックに分割する分割工程のプログラムコードと、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程のプログラムコードと、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程のプログラムコードと、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程のプログラムコードと
を備える。
【００１６】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御を実現するプログラムであって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備える。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、より精度良く文書画像を含む画像の類似画像検索を実行することができる画像処理装置及びその制御方法、プログラムを提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１９】
図１は本発明の実施形態の画像処理装置のプロック構成図である。
【００２０】
本発明では、画像を登録する画像登録処理、登録されている画像群から所望の画像を検索する画像検索処理について順に説明する。
【００２１】
画像登録処理は、登録対象の画像を入力し、その入力画像の画像特徴量を抽出して、その入力画像と画像特徴量とを対応づけて記憶する処理である。
【００２２】
また、画像検索処理は、いわゆる類似画像検索処理であり、検索条件となる比較元画像の画像特徴量の抽出（あるいは登録済みの画像を比較元画像とする場合は、その画像に対応する画像特徴量の読出）を実行し、その画像特徴量と登録済みの比較先画像の画像特徴量との比較を行い、その比較結果に基づいて、比較元画像に類似する画像を検索する。
【００２３】
尚、画像登録処理時の画像特徴量の抽出は、本実施形態では、処理対象画像を複数の領域に分割し、各領域ごとに画像特徴量を抽出するが、その領域の縦横ブロック数は、処理対象画像のアスペクト比や大きさに関わらず同一とする。また、同様に、画像検索処理時の画像特徴量の抽出も、画像登録処理時の画像特徴量の抽出と同様の条件とする。また、ここでいう画像特徴量は、画像の色に関する色特徴情報、画像の輝度に関する輝度特徴情報の両方を含む。
【００２４】
図１において、１０１はユーザインターフェース（ＵＩ）部であり、本発明に係る画像登録処理及び画像検索処理を含む各種処理を実行するためのユーザインターフェースである。このユーザインタフェースは、例えば、グラフィックユーザインターフェース及び入力デバイスによって実現される。ユーザは、このＵＩ部１０１によって、画像登録処理及び画像検索処理を適宜実行することができる。
【００２５】
１０２は画像入力処理部であり、画像登録処理による登録対象の画像を入力する。１０３は画像蓄積処理部であり、入力した画像を画像蓄積部１０３ａに蓄積する。１０４は画像管理情報処理部であり、入力した画像を管理するための管理情報を生成し、画像管理ＤＢ１０４ａに蓄積する。１０５は輝度特徴情報抽出処理部であり、入力した画像の輝度に関する輝度特徴情報を抽出し、抽出した輝度特徴情報を輝度特徴情報インデックステーブル１０５ａに登録する。１０６は色特徴情報抽出処理部であり、入力した画像の色に関する色特徴情報を抽出し、抽出した色特徴情報を色特徴情報インデックステーブル１０６ａに登録する。
【００２６】
１０７は比較元画像入力部処理部であり、画像検索処理による検索条件となる画像（類似画像検索での比較元画像）を入力する。１０８は判定処理部であり、入力した比較元画像の色情報が十分であるか否かを判定する。
【００２７】
１０９は色特徴情報比較処理部であり、色特徴情報による比較元画像と比較先画像との類似比較を行う。１１０は輝度特徴情報比較処理部であり、輝度特徴情報による比較元画像と比較先画像との類似比較を行う。
【００２８】
１１１は検索結果表示処理部であり、色特徴情報比較処理部１０９あるいは輝度特徴情報比較処理部１１０の処理結果に基づいて、検索結果となる画像を表示する。また、この検索結果表示処理部１１１においては、検索結果となる画像をプリンタによって印刷するように構成しても良い。特に、検索結果となる画像が１つだけで、その画像を印刷したい場合には、処理の迅速化を図ることができる。
【００２９】
尚、画像処理装置を構成する各種構成要素が実行する処理の詳細については、以下順に説明して行く。
【００３０】
また、画像処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３１】
更に、図１に示される各種構成要素のすべてあるいはその一部は、専用のハードウエアで実現されても良いし、ＣＰＵの制御によって実行されるソフトウェアで実現されても良い。
【００３２】
まず、ＵＩ部１０１を介して画像登録処理を実行する場合について説明する。
【００３３】
[画像登録処理]
画像登録処理では、まず、画像入力処理部１０２で、登録対象の画像を入力する。この登録対象の画像の入力は、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００３４】
次に、画像蓄積処理部１０３は、メモリ上の画像を画像蓄積部１０３ａへ記憶格納し、その画像とのファイル名を対応づけて記憶する。
【００３５】
次に、画像管理情報処理部１０４は、画像に対して固有の画像ＩＤを発番し、その画像ＩＤとその画像のファイル名（その格納先（アドレス）を示すフルパス情報を含むファイル名）、画像入力時の日付を対応づけた情報を管理情報として画像管理データベース（ＤＢ）１０４ａに記憶する。
【００３６】
尚、画像管理ＤＢ１０４ａの構成の一例を示すと、図２のようになる。
【００３７】
次に、輝度特徴情報抽出処理部１０５で、画像の輝度に関する輝度特徴情報を抽出し、その抽出した輝度特徴情報と画像ＩＤとを対応づけて輝度特徴情報インデックステーブル１０５ａに登録する。また、色特徴情報抽出処理部１０６で、画像の色に関する色特徴情報を抽出し、その抽出した色特徴情報と画像ＩＤとを対応づけて色特徴情報インデックステーブル１０６ａに登録する。
【００３８】
尚、輝度特徴情報インデックステーブル１０５ａ及び色特徴情報インデックステーブル１０６ａの構成の一例を示すと、それぞれ図３及び図４のようになる。これらのインデックステーブルでは、各種特徴情報と画像ＩＤとを対にして記憶管理することで、画像管理ＤＢ１０４ａのレコードと、画像ＩＤを仲立ちにして対応をとることが可能となっている。
【００３９】
また、色特徴情報抽出処理部１０６では、処理対象画像の種類がモノクロあるいはグレースケール画像である場合でも、その色特徴情報を抽出する。これは、特に、比較元画像がカラー画像である場合には、その色特徴情報を用いた類似画像検索処理を実行することになるが、その際に比較先画像がモノクロあるいはグレースケール画像のような色情報がない場合には、そのことを示す色特徴情報も極めて重要な情報となり得るからである。
【００４０】
例えば、比較元画像が、薄い色、例えば、パステルカラー等で構成される場合には、比較先画像がモノクロ、グレースケール画像であるとしても、比較元画像の色特徴情報と比較先画像（検索対象画像）の色特徴情報との間で高い類似度が算出される期待があるからである。
【００４１】
次に、輝度特徴情報抽出処理部１０５が実行する処理の詳細について説明する。
【００４２】
＜輝度特徴情報抽出処理＞
ここでは、処理対象画像を複数のブロックに分割した各ブロックの平均輝度に対応する輝度階級と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００４３】
以下、この処理の詳細について、図５を用いて説明する。
【００４４】
図５は本発明の実施形態の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００４５】
まず、ステップＳ５０１で、処理対象画像がカラー画像であるか否かを判定する。
【００４６】
この判定は、処理対象画像のデータフォーマットに基づいて実行する。
【００４７】
例えば、マイクロソフト社が提供するオペレーティングシステムであるＷｉｎｄｏｗｓ（登録商標）で用いられる汎用的な画像データフォーマットであるＤＩＢフォーマットにおいては、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯＨＥＡＤＥＲのメンバーであるｂｉＢｉｔＣｏｕｎｔは、画像中の１ピクセルを表現するのに用いるビット数を示している。
【００４８】
特に、このｂｉＢｉｔＣｏｕｎｔが２４である場合にはフルカラー画像を示し、ｂｉＢｉｔＣｏｕｎｔが１の場合にはモノクロ２値画像を示し、ｂｉＢｉｔＣｏｕｎｔが８の場合には２５６色カラーあるいはグレースケール画像を示している。
【００４９】
また、ｂｉＢｉｔＣｏｕｎｔが８の場合には、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯのメンバーｂｍｉＣｏｌｏｒｓの内容を参照することで、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。つまり、メンバーｂｍｉＣｏｌｏｒｓでは、その内容として、グレースケール表現のカラーパレットであるか、２５６色に減色するカラーパレットであるかが示されているので、その内容に基づいて、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。
【００５０】
ステップＳ５０１において、処理対象画像がカラー画像でない場合（ステップＳ５０１でＮＯ）、ステップＳ５０３に進む。一方、処理対象画像がカラー画像である場合（ステップＳ５０１でＹＥＳ）、ステップＳ５０２に進み、カラー画像をグレースケール画像（８ビット：２５６階調）に変換する。
【００５１】
尚、この変換は、公知のＲＧＢカラーマトリックスを用いて実行する。例えば、ＹＣｂＣｒ色空間を用いると、グレースケール値を示す輝度Ｙの値と、ＲＧＢ値（各８ビットの計２４ビット）との関係は、
Ｙ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ （１）
と表現される。従って、（１）式により、輝度Ｙの値を算出することができる。
【００５２】
次に、ステップＳ５０３で、画像を複数のブロックに分割する。
【００５３】
尚、本実施形態では、図６に示すように、画像を縦横それぞれ９ブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、８から１６ブロック前後が好ましい。
【００５４】
次に、ステップＳ５０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、例えば、図７に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。本例では、左上端から１つ右へ走査し、そのブロックから左斜め下へ走査を行う。これを繰返し行うことによりスキャンする走査例を示している。
【００５５】
ステップＳ５０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ５０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。
【００５６】
ステップＳ５０６で、着目ブロックの全画素の輝度の平均輝度を算出する。ステップＳ５０７で、算出した平均輝度が輝度閾値Ｔｈ＿Ｇ以上であるか否かを判定する。平均輝度が輝度閾値Ｔｈ＿Ｇ未満である場合（ステップＳ５０７でＮＯ）、ステップＳ５０８に進む。
【００５７】
そして、ステップＳ５０８で、図８の輝度階級テーブルを参照して、平均輝度に対応する輝度階級ＩＤをその着目ブロックの代表輝度として決定し、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００５８】
尚、図８の輝度階級テーブルは、８ビットの輝度信号を、所定輝度範囲毎に設定した各種輝度階級と、文字ブロックであることを示す輝度階級で構成されている。
【００５９】
ステップＳ５０９で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ５０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ５０５〜ステップＳ５１２の処理を再帰的に繰り返す。
【００６０】
尚、ステップＳ５０７において、平均輝度が輝度閾値Ｔｈ＿Ｇ以上であるか否かを判定する理由は、通常、印刷文書画像のバックグラウンドは白であり、印刷の無い部分で白色を表現しているため、適切な閾値Ｔｈ＿Ｇ以上の部分が無地背景か文字のある背景と仮定して差し支えないからである。この閾値Ｔｈ＿Ｇに関しては、例えば、再生紙のように無地であるが、スキャンしたときに輝度が低いものも考慮に入れておく必要がある。
【００６１】
一方、ステップＳ５０７において、算出した平均輝度が輝度閾値Ｔｈ＿Ｇ以上である場合（ステップＳ５０７でＹＥＳ）、ステップＳ５１０で、着目ブロック内に文字があるか否かの検証を実行する。そして、ステップＳ５１１で、その検証結果に基づいて、文字の有無を判定する。文字がない場合（ステップＳ５１１でＮＯ）、ステップＳ５０８に進む。
【００６２】
一方、文字がある場合（ステップＳ５１１でＹＥＳ）、ステップＳ５１２で、着目ブロックが文字ブロックであることを示す特殊な輝度階級ＩＤ、図８では、輝度階級ＩＤ１７を着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００６３】
以上の処理によって、処理対象画像のブロック毎の平均輝度に対応する代表輝度あるいは文字ブロックを示す情報と、各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００６４】
次に、ステップＳ５１０の着目ブロック内の文字の有無の判定処理の詳細について、図９を用いて説明する。
【００６５】
＜着目ブロック内の文字情報の有無の判定処理＞
図９は本発明の実施形態のステップＳ５１０の着目ブロック内の文字の有無の判定処理の詳細を示すフローチャートである。
【００６６】
ステップＳ６０１で、ステップＳ５０２で既に取得しているグレースケール画像から、着目ブロックのグレースケール画像を取得する。ステップＳ６０２で、閾値Ｔｈ＿Ｃｈａｒを用いて、この閾値Ｔｈ＿Ｃｈａｒを超える画素のランレングス分布を水平方向と鉛直方向の両方向で取得する。
【００６７】
尚、ランレングス分布を取得する範囲は、想定している文字サイズを少し超える程度の範囲までで構わない。また、閾値Ｔｈ＿Ｃｈａｒに関しては、着目ブロックの平均輝度を用いると良く、簡易的には、閾値Ｔｈ＿Ｇを代用しても構わない。
【００６８】
更に、ある程度の濃度の色地文書画像に対応するために、予め文書画像の最も輝度の高い画素とその輝度を取得しておき、その値に、閾値Ｔｈ＿Ｇを加算した値を新たなＴｈ＿Ｇとして用いても良い。
【００６９】
一般に、文字が存在する領域をランレングス分布で統計解析すると、図１０のような文字フォントの大きさ近傍で急激にピークを持ち、文字フォントの大きさを越えた付近で急激に分布が激減する特徴のある分布が得られる。
【００７０】
この性質を用いて、ランレングス分布のピークの分散と急激な負の分布の傾き勾配を検出することにより、文字の有無を推定することが可能である。
【００７１】
そこで、まず、ステップＳ６０３で、水平・鉛直方向の両方向のランレンレングス分布のピークの分散を算出する。ステップＳ６０４で、水平・鉛直方向の両方向におけるランレングス分布の最頻値に相当するランレングスより長い領域において、最も急激な頻度減少勾配を算出する。
【００７２】
ステップＳ６０５で、算出した分散が閾値以上で、かつ算出した減少勾配が閾値以上であるか否かを判定する。算出した分散が閾値以上で、かつ算出した減少勾配が閾値以上でない場合（ステップＳ６０５でＮＯ）、ステップＳ６０６に進み、着目ブロック内に文字がないと判定する。一方、算出した分散が閾値以上で、かつ算出した減少勾配が閾値以上である場合（ステップＳ６０５でＹＥＳ）、ステップＳ６０７に進み、着目ブロック内に文字があると判定する。
【００７３】
以上の処理によって、大まかに着目ブロック内に、ある程度の文字があるか否かを判定することができるが、更に、着目ブロックの縦横方向の輝度累積情報を生成し、上記文字フォントの大きさの推定値の数倍の値を上限とする自己相関関数を算出すると、文字列がある場合には文字の段組幅に相当する値で顕著なピークを検出することが可能となるので、文字の有無の判定精度を向上させることができる。
【００７４】
次に、色特徴情報抽出処理部１０６が実行する処理の詳細について説明する。
【００７５】
尚、色特徴情報抽出は、直感的には、上述の輝度特徴情報抽出を３次元に拡張したものと考えればよい。例えば、輝度特徴情報抽出では、図８の１次元の輝度階級テーブルを用いて、各着目ブロックの代表輝度を決定したが、色特徴情報抽出では、図１１のようなＲＧＢ色空間を立体的に複数の部分空間（いわゆる、色ビン）に分割し、この色ビン毎に色特徴情報を抽出することになる。
【００７６】
以下、この処理の詳細について、図１２を用いて説明する。
【００７７】
図１２は本発明の実施形態の色特徴情報抽出処理の詳細を示すフローチャートである。
【００７８】
まず、ステップＳ１２０１で、処理対象画像がカラー画像であるか否かを判定する。尚、この判定は、図５のステップＳ５０１と同様にして行う。
【００７９】
ステップＳ１２０１において、処理対象画像がカラー画像である場合（ステップＳ１２０１でＹＥＳ）、ステップＳ１２０３に進む。一方、処理対象画像がカラー画像でない場合（ステップＳ１２０１でＮＯ）、ステップＳ１２０２に進み、グレースケール画像をカラー画像に変換する。
【００８０】
尚、このグレースケール画像からカラー画像への変換は、例えば、輝度値ａの画素を、ＲＧＢ値（ａ，ａ，ａ）とし、ＤＩＢフォーマットのバディングを考慮してデータ並びを整えればよい。このパディングとは、ＷＩＮＤＯＷＳ（登録商標）のＤＩＢフォーマット（ファイルとして実在するビットマップファイル（＊.ＢＭＰ））におけるカラー画像データを格納する際の画像データ表現仕様である。
【００８１】
次に、ステップＳ１２０３で、画像を複数のブロックに分割する。本実施形態では、図６に示すように、画像を縦横をそれぞれ９ブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、１５×１５＝２２５ブロック程度であることが好ましい。
【００８２】
次に、ステップＳ１２０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、図５のステップＳ１２０４と同様にして行う。
【００８３】
ステップＳ１２０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ１２０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０６に進む。
【００８４】
ステップＳ１２０６で、着目ブロックが文字ブロックであるか否かを判定する。着目ブロックが文字ブロックでない場合（ステップＳ１２０６でＮＯ）、ステップＳ１２０７に進む。
【００８５】
尚、この判定は、着目ブロックの輝度階級ＩＤを参照して判定する。
【００８６】
ステップＳ１２０７で、着目ブロック内の全画素の色の平均色を算出する。ステップＳ１２０８で、算出した平均色を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、対応する色ビンＩＤを、その着目ブロックの代表色と決定する。そして、その色ビンＩＤと、着目ブロックとをその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００８７】
尚、本実施形態では、図１１に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目ブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目ブロックの平均色を射影するほうが好ましい。
【００８８】
ステップＳ１２０９で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ１２０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ１２０５〜ステップＳ１２１０の処理を再帰的に繰り返す。
【００８９】
一方、ステップＳ１２０６において、着目ブロックが文字ブロックである場合（ステップＳ１２０６でＹＥＳ）、ステップＳ１２１０で、文字ブロックを示す色ビンＩＤを、着目ブロックとをその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００９０】
尚、６×６×６＝２１６の色ビンを用いている場合には、例えば、文字ブロックを示す色ビンＩＤとして、色ビンＩＤ２１７を用いればよい。
【００９１】
以上の処理によって、処理対象画像のブロック毎の平均色に対応する代表色あるいは文字ブロックを示す情報と、各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００９２】
[画像検索処理]
画像検索処理では、まず、比較元画像入力部１０７で、検索条件となる比較元画像を入力する。この比較元画像の入力は、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー画像、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００９３】
尚、本実施形態の画像検索処理は、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合には、その色特徴情報で比較先画像の色特徴情報との類似比較を行い、一方、比較元画像の色情報が不十分である場合には、その輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索を行う場合を例に挙げて説明する。
【００９４】
そこで、まず、判定処理部１０８で、メモリ上の画像の色情報が十分であるか否かを判定する。
【００９５】
色情報が十分である場合、色特徴情報比較処理部１０９で、比較元画像の色特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像（比較先画像）の色特徴情報との比較を行うことで類似画像検索を行う。
【００９６】
一方、色情報が不十分である場合、輝度特徴情報比較処理部１１０で、比較元画像の輝度特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像（比較先画像）の輝度特徴情報との比較を行うことで類似画像検索を行う。
【００９７】
これにより、比較元画像の画像の種類（モノクロやグレースケール画像、あるいはカラー画像）に適した方法で類似比較処理を行うことができる。
【００９８】
尚、判定処理部１０８の判定は、最も簡単な方法としては、上述の画像登録処理で説明した方法と同様な方法で、比較元画像のデータフォーマットを解析し、比較元画像がモノクロあるいはグレースケール画像である場合には、色情報はないので、比較元画像の色情報が不十分であると判定する。
【００９９】
一方、比較元画像がカラー画像である場合には、その比較元画像の色情報が十分であると判定すれば良いが、データフォーマット自体はカラー画像であるのに、その中はグレースケール画像である場合もある。そこで、このような場合には、データフォーマットがカラー画像である場合でも、比較元画像の色情報が十分であるか否かを厳密に判定する必要があり、その判定方法としては、比較元画像の色に関する解析を利用する方法がある。
【０１００】
この解析の趣旨は、比較元画像に占める色情報の割合を解析するものであり、比較元画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
【０１０１】
ここで、判定処理部１０８において、比較元画像に占める色情報の割合を解析する解析方法には、２種類存在する。そこで、以下、この２種類の解析方法について説明する。
【０１０２】
＜色解析方法１＞
図１３は本発明の実施形態の第１の色解析方法を示すフローチャートである。
【０１０３】
まず、ステップＳ１３０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１３０１でＮＯ）、ステップＳ１３０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１３０１でＹＥＳ）、ステップＳ１３０３に進む。
【０１０４】
ステップＳ１３０３で、比較元画像の画素数が閾値以上であるか否かを判定する。閾値未満である場合（ステップＳ１３０３でＮＯ）、ステップＳ１３０９に進む。一方、閾値以上である場合（ステップＳ１３０３でＹＥＳ）、ステップＳ１３０４に進む。
【０１０５】
ステップＳ１３０４で、総画素数をその数より少ない所定値に近くなるような相似比（縮小率）を算出する。
【０１０６】
例えば、目的の画素数をＧｐ、比較元画像の縦サイズをＨ、横サイズをＷとすると、
相似比Ｓ＝Ｉｎｔ（sqrt（Ｈ＊Ｗ／Ｇｐ））
となる。
【０１０７】
但し、関数Int（ｘ）は、ｘより大きく、かつ整数と成る値を選ぶものを意味する。
【０１０８】
従って、比較元画像の縮小画像は、縦Ｈ２＝Ｈ／Ｓ［画素］、横Ｗ２＝Ｗ／Ｓ［画素］となる。
【０１０９】
次に、ステップＳ１３０５で、比較元画像の画素サイズ縦横Ｓ×Ｓブロックの処理対象ブロックの平均色を算出し、これを縮小画像の対応する画素の画素値とし、以降、縦横Ｓ×Ｓブロックの処理対象ブロックが重ならないように移動して、この処理を繰り返すことにより比較元画像の縮小画像を生成する。
【０１１０】
尚、ステップＳ１３０５で比較元画像の縮小画像を生成する理由は、以下のステップＳ１３０６で比較元画像の色ヒストグラムを生成する場合に、処理対象画像の画素数が非常に大きいと色ヒストグラムを生成する処理の負荷が大きくなるので、処理の負荷が軽減されるように、比較元画像の画素数を所望の数にするためである。もちろん、処理対象画像の画素数が少ない場合には、そのまま色ヒストグラムを生成するようにしても良い。
【０１１１】
次に、ステップＳ１３０６で、縮小画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【０１１２】
次に、ステップＳ１３０７で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１３０８で、縮小画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。
【０１１３】
ステップＳ１３１２で、算出された割合が予め定められた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１３１２でＹＥＳ）、ステップＳ１３０２に進む。一方、閾値未満である場合（ステップＳ１３１２でＮＯ）、ステップＳ１３１３に進み、比較元画像の色情報が十分であると判定する。
【０１１４】
一方、ステップＳ１３０３において、比較元画像の画素数が閾値未満である場合には、ステップＳ１３０９で、比較元画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。ステップＳ１３１０で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１３１１で、全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。その後、ステップＳ１３１２に進む。
【０１１５】
＜色解析方法２＞
図１４は本発明の実施形態の第２の色解析方法を示すフローチャートである。
【０１１６】
まず、ステップＳ１４０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１４０１でＮＯ）、ステップＳ１４０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１４０１でＹＥＳ）、ステップＳ１４０３に進む。
【０１１７】
ステップＳ１４０３で、比較元画像を構成する全画素の色の平均色を算出する。ステップＳ１４０４で、平均色を輝度成分と色差成分に変換する。次に、ステップＳ１４０５で、輝度成分値に対する色差成分値の割合Ｒを算出する。
【０１１８】
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。
【０１１９】
例えば、ＹＣｂＣｒ色空間を用いると、２４ビットＲＧＢ値との関連は、
Ｙ ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ
Ｃｂ＝-0.16874＊Ｒ−0.33126＊Ｇ＋0.50000＊Ｂ＋128
Ｃｒ＝0.50000＊Ｒ−0.41869＊Ｇ＋（-0.08131）＊Ｂ＋128 （２）
と表現される。
【０１２０】
式（２）に従って、算出した平均色を輝度成分Ｙaveと色差成分Ｃｂave及びＣｒaveに分離し、
割合Ｒ＝sqrt（Ｃｂave＊Ｃｂave＋Ｃｒave＊Ｃｒave）／Ｙave （３）
を計算する。
【０１２１】
そして、ステップＳ１４０６で、この割合Ｒが予め定めた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１４０６でＹＥＳ）、ステップＳ１４０２に進む。一方、閾値未満である場合（ステップＳ１４０６でＮＯ）、ステップＳ１４０７に進み、比較元画像の色情報が十分であると判定する。
【０１２２】
次に、色特徴情報比較処理部１０９が実行する処理の詳細について説明する。
【０１２３】
尚、色特徴情報比較処理部１０９では、比較元対象画像の色特徴情報を抽出するために、上述の色特徴情報抽出処理を用いる。
【０１２４】
図１５は本発明の実施形態の色特徴情報比較処理の詳細を示すフローチャートである。
【０１２５】
まず、ステップＳ１５０１で、図１２のフローチャートで説明した処理によって、比較元画像の色特徴情報をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する色特徴情報を色特徴インデックステーブル１０６ａから読み出す。
【０１２６】
次に、ステップＳ１５０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ１５０２でＮＯ）、ステップＳ１５１１に進む。一方、未比較の比較先画像がある場合（ステップＳ１５０２でＹＥＳ）、ステップＳ１５０３に進む。
【０１２７】
ステップＳ１５０３で、色特徴情報インデックステーブル１０６ａを参照して、処理対象画像の画像ＩＤと各ブロックの色特徴情報を読み出す。ステップＳ１５０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ１５０５で、比較元画像の色特徴情報と、比較対象の色特徴情報の類似度を示す類似距離を０にリセットする。
【０１２８】
ステップＳ１５０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ１５０６でＮＯ）、ステップＳ１５１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ１５０６でＹＥＳ）、ステップＳ１５０７に進む。
【０１２９】
ステップＳ１５０７で、比較元画像と比較先画像のそれぞれの色特徴情報から、それぞれの着目ブロックの色ビンＩＤを取得する。
【０１３０】
ステップＳ１５０８で、図１６の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この累積類似距離はメモリに記憶する。
【０１３１】
ここで、色ビンペナルティマトリックスについて、図１６を用いて説明する。
【０１３２】
図１６は本発明の実施形態の色ビンペナルティマトリックスの構成を示す図である。
【０１３３】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１６によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対称性を持っている。
【０１３４】
但し、文字ブロックに相当する色ビンＩＤについては、この例では、色ビンＩＤ２１７を設定している。この色ビンＩＤ２１７は、その他の色ビンＩＤ間のペナルティに関しては性質が異なるため、比較的大きな、例えば、真っ白と真っ黒間のペナルティを設定している。このようにすると、文字ブロックに関しては極めて厳しく差異を考慮する類似比較処理となる。つまり、図１６の色ビンペナルティマトリックスでは、文字ブロックを示す所定色ビンＩＤと、文字ブロック以外のブロックの色ビンＩＤとの類似距離は、その所定色ビンＩＤ以外の色ビンＩＤ同士の類似距離よりも十分異なる（この場合、大きく）なるように管理されている。
【０１３５】
逆に、文字ブロックに相当する色ビンＩＤと、その他の色ビンＩＤ間のペナルティを小さくすると、文字ブロックに関しては緩く差異を考慮する類似比較処理となる。従って、必要に応じて、このペナルティ値を調整することで、より用途や目的に応じた類似比較処理を実現することができる。
【０１３６】
このように、本実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３７】
そして、ステップＳ１５０９で、次の処理対象となる着目ブロックを設定する。
【０１３８】
一方、ステップＳ１５０６で、未比較の着目ブロックがない場合（ステップＳ１５０６でＮＯ）、ステップＳ１５１０に進み、メモリに記憶されている累積類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１３９】
そして、ステップＳ１５０２で、未比較の比較先画像がない場合（ステップＳ１５０２でＮＯ）、ステップＳ１５１１に進み、メモリに記憶されている各画像ＩＤに対応する累積類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと累積類似距離の対を検索結果として出力する。
【０１４０】
次に、輝度特徴情報比較処理部１１０が実行する処理の詳細について説明する。
【０１４１】
尚、輝度特徴情報比較処理部１１０では、比較元対象画像の輝度特徴情報を抽出するために、上述の輝度特徴情報抽出処理を用いる。
【０１４２】
図１７は本発明の実施形態の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１４３】
まず、ステップＳ１７０１で、図５のフローチャートで説明した処理によって、比較元画像の輝度特徴情報として輝度階級ＩＤを抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する輝度特徴情報を輝度特徴インデックステーブル１０５ａから読み出す。
【０１４４】
次に、ステップＳ１７０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進む。一方、未比較の比較先画像がある場合（ステップＳ１７０２でＹＥＳ）、ステップＳ１７０３に進む。
【０１４５】
ステップＳ１７０３で、輝度特徴情報インデックステーブル１０５ａを参照して、処理対象画像の画像ＩＤと各ブロックの輝度特徴情報を読み出す。ステップＳ１７０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ１７０５で、比較元画像の輝度特徴情報と、比較対象の輝度特徴情報の類似度を示す類似距離を０にリセットする。
【０１４６】
ステップＳ１７０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ１７０６でＹＥＳ）、ステップＳ１７０７に進む。
【０１４７】
ステップＳ１７０７で、比較元画像と比較先画像のそれぞれの輝度特徴情報から、着目ブロックの輝度に関する輝度階級ＩＤを取得する。
【０１４８】
ステップＳ１７０８で、図１８の輝度階級ＩＤペナルティマトリックスを参照して、取得した輝度階級ＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この累積類似距離はメモリに記憶する。
【０１４９】
ここで、輝度階級ＩＤペナルティマトリックスについて、図１８を用いて説明する。
【０１５０】
図１８は本発明の実施形態の輝度階級ＩＤペナルティマトリックスの構成を示す図である。
【０１５１】
輝度階級ＩＤペナルティマトリックスは、輝度階級ＩＤ同士の局所的類似距離を管理するマトリックスである。図１８によれば、輝度階級ＩＤペナルティマトリックスは、同一輝度階級ＩＤではその類似距離は０となり、輝度階級ＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一輝度階級ＩＤの対角位置は全て、その類似距離は０で、それを境に対称性を持っている。
【０１５２】
但し、文字ブロックに相当する輝度階級ＩＤ、この例では、輝度階級ＩＤ１７を設定する。この輝度階級ＩＤ１７は、その他の輝度階級ＩＤ間のペナルティに関しては性質が異なるため、比較的大きな、例えば、真っ白と真っ黒間のペナルティを設定している。このようにすると、文字ブロックに関しては極めて厳しく差異を考慮する類似比較処理となる。つまり、図１８の輝度階級ＩＤペナルティマトリックスでは、文字ブロックを示す所定輝度階級ＩＤと、文字ブロック以外のブロックの輝度階級ＩＤとの類似距離は、その所定輝度階級ＩＤ以外の輝度階級ＩＤ同士の類似距離よりも十分異なる（この場合、大きく）なるように管理されている。
【０１５３】
逆に、文字ブロックに相当する輝度階級ＩＤとその他の輝度階級ＩＤ間のペナルティを小さくすると、文字ブロックに関しては緩く差異を考慮する類似比較処理となる。従って、必要に応じて、このペナルティ値を調整することで、より用途や目的に応じた類似比較処理を実現することができる。
【０１５４】
このように、本実施形態では、輝度階級ＩＤペナルティマトリックスを参照するだけで、輝度階級ＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１５５】
そして、ステップＳ１７０９で、次の処理対象となる着目ブロックを設定する。
【０１５６】
一方、ステップＳ１７０６で、未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進み、メモリに記憶されている累積類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１５７】
そして、ステップＳ１７０２で、未比較の画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進み、メモリに記憶されている各画像ＩＤに対応する累積類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと累積類似距離の対を検索結果として出力する。
【０１５８】
以上説明した画像登録処理と画像検索処理を実行することにより、比較先画像の種類がモノクロやグレースケールであっても、あるいはカラー画像であっても、その画像の種類に適した画像特徴量を用いて、画像を登録あるいは画像を検索することができる。
【０１５９】
次に、検索結果表示部処理部１１１が実行する検索結果表示処理について説明する。
【０１６０】
［検索結果表示処理］
検索結果表示処理では、類似度が高い順、即ち、類似距離の昇順に画像ＩＤとその類似度の対がソートされた情報を元に、画像管理ＤＢ１０４ａを参照し、該当するレコードから画像の格納先であるアドレス情報（ファイルフルパス情報）を取得して、画像蓄積部１０３ａから対応する画像を読み出し、表示する。
【０１６１】
以下、検索結果表示処理について、図１９を用いて説明する。
【０１６２】
図１９は本発明の実施形態の検索結果表示処理を示すフローチャートである。
【０１６３】
ステップＳ１８０１で、画像検索処理によって得られた検索結果数である検索ヒット個数Ｍと、比較元画像と検索結果として得られる比較先画像との類似度が高い順、即ち、類似距離の昇順に対応する画像ＩＤとその類似度の対を取得する。
【０１６４】
次に、ステップＳ１８０２で、表示画面の表示可能な画像の個数Ｎを取得する。
【０１６５】
尚、この個数Ｎは、検索結果として表示する画像の縮小画像のサイズと、表示画面上の検索結果表示領域のサイズによって決定される。
【０１６６】
ステップＳ１８０３で、検索ヒット個数Ｍと個数Ｎの小さいほうを画像表示個数Ｒに設定する。
【０１６７】
ステップＳ１８０４で、検索結果として表示する画像の順位（読出画像順位）を示す変数Ｋを１に初期化する。ステップＳ１８０５で、Ｋ≦Ｒであるか否かを判定する。Ｋ≦Ｒでない場合（ステップＳ１８０５でＮＯ）、処理を終了する。一方、Ｋ≦Ｒである場合（ステップＳ１８０６でＹＥＳ）、ステップＳ１８０６に進む。
【０１６８】
ここで、ステップＳ１８０６〜ステップＳ１８０８の処理は、類似画像検索結果である画像を表示画面に表示する処理となる。
【０１６９】
ここで、類似画像検索結果の表示例について、図２０を用いて説明する。
【０１７０】
図２０は本発明の実施形態の類似画像検索結果の表示例を示す図である。
【０１７１】
図２０に示されるように、表示画面上の検索結果表示領域には、検索結果とする画像の縮小画像を類似距離の昇順に左上端から順に右隣へ順に並べて表示し、右上端まで到達したら、次の行の左端に移り、そこからまた右隣に順に右端まで並べて表示したら、以下、同様に、検索結果表示領域の終わりとなる右下端まで並べて表示して行く。また、表示する縮小画像の下には、対応する類似距離を併せて表示する。
【０１７２】
ステップＳ１８０６で、読出画像順位Ｋにより、表示対象の画像の表示位置を決定する。ステップＳ１８０７で、読出画像順位Ｋの画像ＩＤに対応する画像のアドレス情報（フルパス情報）を画像管理ＤＢ１０４ａから取得する。ステップＳ１８０８で、アドレス情報で示される画像を読み出し、決定した表示位置にその縮小画像を表示する。その後、変数Ｋを１インクリメントして、ステップＳ１８０５に進む。
【０１７３】
尚、本実施形態の画像検索処理では、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合にはその色特徴情報で比較先画像の色特徴情報との類似比較を行い、比較元画像の色情報が不十分である場合にはその輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索の例を示したが、これに限定されない。
【０１７４】
例えば、比較先画像の色情報が十分であるか否かについても考慮し、比較する画像の双方の色情報が十分である場合に、双方の色特徴情報で類似比較を行い、どちらか片方あるいは双方の色情報が不十分である場合に、双方の輝度特徴情報で類似比較を行う類似画像検索を行うようにしても良い。
【０１７５】
上記実施形態では、着目ブロック中の平均輝度に基づいて、その着目ブロック内に文字画像が存在するか否かを判定する構成としているが、これに限定されるものではない。例えば、着目ブロック中の最頻輝度、あるいは着目ブロック中の最も輝度の高い画素の色近傍範囲の平均輝度あるいは最頻輝度に基づいて、その着目ブロック内に文字画像が存在するか否かを判定する構成としても良い。
【０１７６】
この構成の場合、輝度特徴情報抽出処理の前に、着目ブロックに対して輝度ヒストグラムに関する前処理を行い、輝度値０から２５５までに正規化を行ってから、輝度特徴情報抽出処理を実行すると、より処理の簡素化を図ることができる。
【０１７７】
これにより、例えば、再生紙のような予め紙に色が付いており、インクやトナーがのっていない無地背景は輝度値２５５に正規化され、本実施形態を適応しても、的確に無地背景に印刷された文字を抽出することが可能となる。
【０１７８】
また、画像登録処理は、画像入力処理、画像蓄積処理、画像管理情報処理、輝度特徴情報抽出処理、色特徴情報抽出処理の順番で処理を行ったが、画像入力処理以降の処理に関してはその順序は問わない。
【０１７９】
一方、画像検索処理においては、比較元画像が既に画像蓄積部１０３ａへ登録済みの画像であるならば、既にその色特徴情報及び輝度特徴情報も登録されているので、かかる画像に対する色特徴情報抽出処理及び輝度特徴情報抽出処理は不要となる。
【０１８０】
また、画像管理ＤＢ１０４ａ、輝度特徴情報インデックステーブル１０５ａ、色特徴情報インデックステーブル１０６ａを別々に構成し、画像ＩＤを仲立ちとして互いの情報に対応を取る構成例を示したが、これらのＤＢ及びテーブル群を一体にして構成しても良い。
【０１８１】
また、処理対象となる着目ブロックの設定は、図７の順序決定テーブルで示される走査順序に限定されるものではなく、水平走査及び垂直走査あるいはジグザグ走査等の他の走査順序、つまり、画像の各ブロックを着目ブロックとして設定できるような走査順序であれば、どのような走査順序であっても良い。
【０１８２】
以上説明したように、本実施形態によれば、予め文書画像を文字領域と画像領域に分離する技術を用いて、分離したものどうしの特徴を求めて画像検索を実現する方法のような領域の抽出し損ねによる検索漏れの恐れのある負荷の重い処理を行うことなく、大まかな文字検出処理結果をプリミティブな画像特徴量に加味した文書画像比較処理を実現する。
【０１８３】
これにより、特に、文書画像のように、白地バックグラウンドに画像を貼り込み、その余白に文字が存在するような画像に対しても、より精度良く目的とする画像を検索することができる。
【０１８４】
つまり、白地のバックグラウンドに文字があっても無くとも平均色あるいは最頻色には影響が現れず、文字のある分割ブロックと白地のバックグラウンドとの区別がつかず、ユーザにとって違和感のある検索結果となることを防止することができる。
【０１８５】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１８６】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１８７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１８８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１８９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１９０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１９１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１９２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１９３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１９４】
【図１】本発明の実施形態の画像処理装置のプロック構成図である。
【図２】本発明の実施形態の画像管理ＤＢの構成の一例を示す図である。
【図３】本発明の実施形態の輝度特徴情報テーブルの構成の一例を示す図である。
【図４】本発明の実施形態の色特徴情報テーブルの構成の一例を示す図である。
【図５】本発明の実施形態の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図６】本発明の実施形態の画像ブロック分割の一例を示す図である。
【図７】本発明の実施形態の順序決定テーブルの一例を示す図である。
【図８】本発明の実施形態の輝度階級テーブルの一例を示す図である。
【図９】本発明の実施形態のステップＳ５１０の着目ブロック内の文字の有無の判定処理の詳細を示すフローチャートである。
【図１０】本発明の実施形態のランレングス分布の一例を示す図である。
【図１１】本発明の実施形態の色空間上の色ビンの構成の一例を示す図である。
【図１２】本発明の実施形態の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１３】本発明の実施形態の第１の色解析方法を示すフローチャートである。
【図１４】本発明の実施形態の第２の色解析方法を示すフローチャートである。
【図１５】本発明の実施形態の色特徴情報比較処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態の色ビンペナルティマトリックスの構成の一例を示す図である。
【図１７】本発明の実施形態の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図１８】本発明の実施形態の輝度階級ＩＤペナルティマトリックスの構成の一例を示す図である。
【図１９】本発明の実施形態の検索結果表示処理を示すフローチャートである。
【図２０】本発明の実施形態の類似画像検索結果の表示例を示す図である。
【符号の説明】
【０１９５】
１０１ ユーザインタフェース部
１０２ 画像入力処理部
１０３ 画像蓄積処理部
１０３ａ 画像蓄積部
１０４ 画像管理情報処理部
１０４ａ 画像管理ＤＢ
１０５ 輝度特徴情報抽出処理部
１０５ａ 輝度特徴情報インデックステーブル
１０６ 色特徴情報抽出処理部
１０６ａ 色特徴情報インデックステーブル
１０７ 比較元画像入力部処理部
１０８ 判定処理部
１０９ 色特徴情報比較処理部
１１０ 輝度特徴情報比較処理部
１１１ 検索結果表示処理部
【技術分野】
【０００１】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
従来、類似画像検索処理においては、登録処理において画像を縦横の複数のブロックに分割し、そのブロックに対する平均色や最頻色等のブロック代表色を算出して、それを画像と対応づけて記憶しておく。そして、検索処理においては、対応する分割ブロックの代表色の差異を積算することにより、類似度を示す距離計算を行い、その計算結果に基づいて、類似画像をソートして出力するものが主流であった（例えば、特許文献１参照）。
【特許文献１】特開平７−２３９８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のような類似画像検索方法は、自然画のような画像全体に色情報が存在する画像においては有用であったが、文書画像のように白地バックグラウンドに画像を貼り込み、その余白に文字が存在するような場合に、白地のバックグラウンドに文字があっても無くとも平均色あるいは最頻色には影響が現れず、文字のある分割ブロックと白地のバックグラウンドとの区別がつかず、ユーザにとって違和感のある検索結果となっていた。特に、平均色あるいは最頻色には影響が現れない理由は、文字画像中の実際の文字画素の占める割合が少ないためである。
【０００４】
そこで、このような問題を補うために、予め文書画像を文字領域と画像領域に分離する技術を用い、分離したもの同士の特徴を求める方法がある。この方法によれば、検索精度は高くなるものの、文字領域あるいは画像領域を抽出し損ねた場合には、所望とする画像を検索できなくなる可能性がある。
【０００５】
本発明は上記の課題を解決するためになされたものであり、より精度良く文書画像を含む画像の類似画像検索を実行することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記比較元画像を複数のブロックに分割する分割手段と、
前記分割手段で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得手段と、
前記取得手段によって取得される前記分割手段で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力手段と
を備える。
【０００７】
また、好ましくは、前記比較手段は、前記比較元画像と前記比較先画像間の画像特徴情報に応じた類似度を管理する管理テーブルを備え、
前記管理テーブルは、前記比較元画像及び前記比較先画像のどちらかに文字画像が存在する場合の該比較元画像と該比較先画像間の画像特徴情報に基づく所定の類似度として、前記比較元画像に文字画像が存在しない場合の該比較元画像と該比較先画像間の画像特徴情報に基づく類似度よりも十分異なる固定値を管理している。
【０００８】
また、好ましくは、前記判定手段は、前記ブロック画像の前記画像特徴情報が示す画像特徴量が所定値以上であるか否かを判定し、前記画像特徴量が所定値以上である場合、該処理対象画像に文字画像が存在すると判定する。
【０００９】
また、好ましくは、前記画像特徴情報は、前記ブロック画像の輝度に関する輝度特徴情報である。
【００１０】
また、好ましくは、前記輝度特徴情報は、前記ブロック画像の平均輝度あるいは最頻輝度である。
【００１１】
また、好ましくは、前記輝度特徴情報は、前記ブロック画像中の最も輝度の高い画素の色近傍範囲の平均輝度あるいは最頻輝度である。
【００１２】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置であって、
画像を入力する入力手段と、
前記画像を複数のブロックに分割する分割手段と、
前記分割手段で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶する記憶手段と
を備える。
【００１３】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御方法であって、
前記比較元画像を複数のブロックに分割する分割工程と、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程と、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程と
を備える。
【００１４】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御方法であって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備える。
【００１５】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御を実現するプログラムであって、
前記比較元画像を複数のブロックに分割する分割工程のプログラムコードと、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程のプログラムコードと、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程のプログラムコードと、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程のプログラムコードと
を備える。
【００１６】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御を実現するプログラムであって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備える。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、より精度良く文書画像を含む画像の類似画像検索を実行することができる画像処理装置及びその制御方法、プログラムを提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１９】
図１は本発明の実施形態の画像処理装置のプロック構成図である。
【００２０】
本発明では、画像を登録する画像登録処理、登録されている画像群から所望の画像を検索する画像検索処理について順に説明する。
【００２１】
画像登録処理は、登録対象の画像を入力し、その入力画像の画像特徴量を抽出して、その入力画像と画像特徴量とを対応づけて記憶する処理である。
【００２２】
また、画像検索処理は、いわゆる類似画像検索処理であり、検索条件となる比較元画像の画像特徴量の抽出（あるいは登録済みの画像を比較元画像とする場合は、その画像に対応する画像特徴量の読出）を実行し、その画像特徴量と登録済みの比較先画像の画像特徴量との比較を行い、その比較結果に基づいて、比較元画像に類似する画像を検索する。
【００２３】
尚、画像登録処理時の画像特徴量の抽出は、本実施形態では、処理対象画像を複数の領域に分割し、各領域ごとに画像特徴量を抽出するが、その領域の縦横ブロック数は、処理対象画像のアスペクト比や大きさに関わらず同一とする。また、同様に、画像検索処理時の画像特徴量の抽出も、画像登録処理時の画像特徴量の抽出と同様の条件とする。また、ここでいう画像特徴量は、画像の色に関する色特徴情報、画像の輝度に関する輝度特徴情報の両方を含む。
【００２４】
図１において、１０１はユーザインターフェース（ＵＩ）部であり、本発明に係る画像登録処理及び画像検索処理を含む各種処理を実行するためのユーザインターフェースである。このユーザインタフェースは、例えば、グラフィックユーザインターフェース及び入力デバイスによって実現される。ユーザは、このＵＩ部１０１によって、画像登録処理及び画像検索処理を適宜実行することができる。
【００２５】
１０２は画像入力処理部であり、画像登録処理による登録対象の画像を入力する。１０３は画像蓄積処理部であり、入力した画像を画像蓄積部１０３ａに蓄積する。１０４は画像管理情報処理部であり、入力した画像を管理するための管理情報を生成し、画像管理ＤＢ１０４ａに蓄積する。１０５は輝度特徴情報抽出処理部であり、入力した画像の輝度に関する輝度特徴情報を抽出し、抽出した輝度特徴情報を輝度特徴情報インデックステーブル１０５ａに登録する。１０６は色特徴情報抽出処理部であり、入力した画像の色に関する色特徴情報を抽出し、抽出した色特徴情報を色特徴情報インデックステーブル１０６ａに登録する。
【００２６】
１０７は比較元画像入力部処理部であり、画像検索処理による検索条件となる画像（類似画像検索での比較元画像）を入力する。１０８は判定処理部であり、入力した比較元画像の色情報が十分であるか否かを判定する。
【００２７】
１０９は色特徴情報比較処理部であり、色特徴情報による比較元画像と比較先画像との類似比較を行う。１１０は輝度特徴情報比較処理部であり、輝度特徴情報による比較元画像と比較先画像との類似比較を行う。
【００２８】
１１１は検索結果表示処理部であり、色特徴情報比較処理部１０９あるいは輝度特徴情報比較処理部１１０の処理結果に基づいて、検索結果となる画像を表示する。また、この検索結果表示処理部１１１においては、検索結果となる画像をプリンタによって印刷するように構成しても良い。特に、検索結果となる画像が１つだけで、その画像を印刷したい場合には、処理の迅速化を図ることができる。
【００２９】
尚、画像処理装置を構成する各種構成要素が実行する処理の詳細については、以下順に説明して行く。
【００３０】
また、画像処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、メモリ（ＲＡＭ、ＲＯＭ）、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３１】
更に、図１に示される各種構成要素のすべてあるいはその一部は、専用のハードウエアで実現されても良いし、ＣＰＵの制御によって実行されるソフトウェアで実現されても良い。
【００３２】
まず、ＵＩ部１０１を介して画像登録処理を実行する場合について説明する。
【００３３】
[画像登録処理]
画像登録処理では、まず、画像入力処理部１０２で、登録対象の画像を入力する。この登録対象の画像の入力は、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００３４】
次に、画像蓄積処理部１０３は、メモリ上の画像を画像蓄積部１０３ａへ記憶格納し、その画像とのファイル名を対応づけて記憶する。
【００３５】
次に、画像管理情報処理部１０４は、画像に対して固有の画像ＩＤを発番し、その画像ＩＤとその画像のファイル名（その格納先（アドレス）を示すフルパス情報を含むファイル名）、画像入力時の日付を対応づけた情報を管理情報として画像管理データベース（ＤＢ）１０４ａに記憶する。
【００３６】
尚、画像管理ＤＢ１０４ａの構成の一例を示すと、図２のようになる。
【００３７】
次に、輝度特徴情報抽出処理部１０５で、画像の輝度に関する輝度特徴情報を抽出し、その抽出した輝度特徴情報と画像ＩＤとを対応づけて輝度特徴情報インデックステーブル１０５ａに登録する。また、色特徴情報抽出処理部１０６で、画像の色に関する色特徴情報を抽出し、その抽出した色特徴情報と画像ＩＤとを対応づけて色特徴情報インデックステーブル１０６ａに登録する。
【００３８】
尚、輝度特徴情報インデックステーブル１０５ａ及び色特徴情報インデックステーブル１０６ａの構成の一例を示すと、それぞれ図３及び図４のようになる。これらのインデックステーブルでは、各種特徴情報と画像ＩＤとを対にして記憶管理することで、画像管理ＤＢ１０４ａのレコードと、画像ＩＤを仲立ちにして対応をとることが可能となっている。
【００３９】
また、色特徴情報抽出処理部１０６では、処理対象画像の種類がモノクロあるいはグレースケール画像である場合でも、その色特徴情報を抽出する。これは、特に、比較元画像がカラー画像である場合には、その色特徴情報を用いた類似画像検索処理を実行することになるが、その際に比較先画像がモノクロあるいはグレースケール画像のような色情報がない場合には、そのことを示す色特徴情報も極めて重要な情報となり得るからである。
【００４０】
例えば、比較元画像が、薄い色、例えば、パステルカラー等で構成される場合には、比較先画像がモノクロ、グレースケール画像であるとしても、比較元画像の色特徴情報と比較先画像（検索対象画像）の色特徴情報との間で高い類似度が算出される期待があるからである。
【００４１】
次に、輝度特徴情報抽出処理部１０５が実行する処理の詳細について説明する。
【００４２】
＜輝度特徴情報抽出処理＞
ここでは、処理対象画像を複数のブロックに分割した各ブロックの平均輝度に対応する輝度階級と各ブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００４３】
以下、この処理の詳細について、図５を用いて説明する。
【００４４】
図５は本発明の実施形態の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００４５】
まず、ステップＳ５０１で、処理対象画像がカラー画像であるか否かを判定する。
【００４６】
この判定は、処理対象画像のデータフォーマットに基づいて実行する。
【００４７】
例えば、マイクロソフト社が提供するオペレーティングシステムであるＷｉｎｄｏｗｓ（登録商標）で用いられる汎用的な画像データフォーマットであるＤＩＢフォーマットにおいては、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯＨＥＡＤＥＲのメンバーであるｂｉＢｉｔＣｏｕｎｔは、画像中の１ピクセルを表現するのに用いるビット数を示している。
【００４８】
特に、このｂｉＢｉｔＣｏｕｎｔが２４である場合にはフルカラー画像を示し、ｂｉＢｉｔＣｏｕｎｔが１の場合にはモノクロ２値画像を示し、ｂｉＢｉｔＣｏｕｎｔが８の場合には２５６色カラーあるいはグレースケール画像を示している。
【００４９】
また、ｂｉＢｉｔＣｏｕｎｔが８の場合には、データヘッダ中の構造体ＢＩＴＭＡＰＩＮＦＯのメンバーｂｍｉＣｏｌｏｒｓの内容を参照することで、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。つまり、メンバーｂｍｉＣｏｌｏｒｓでは、その内容として、グレースケール表現のカラーパレットであるか、２５６色に減色するカラーパレットであるかが示されているので、その内容に基づいて、画像が２５６色カラーあるいはグレースケール画像であるかを判定することができる。
【００５０】
ステップＳ５０１において、処理対象画像がカラー画像でない場合（ステップＳ５０１でＮＯ）、ステップＳ５０３に進む。一方、処理対象画像がカラー画像である場合（ステップＳ５０１でＹＥＳ）、ステップＳ５０２に進み、カラー画像をグレースケール画像（８ビット：２５６階調）に変換する。
【００５１】
尚、この変換は、公知のＲＧＢカラーマトリックスを用いて実行する。例えば、ＹＣｂＣｒ色空間を用いると、グレースケール値を示す輝度Ｙの値と、ＲＧＢ値（各８ビットの計２４ビット）との関係は、
Ｙ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ （１）
と表現される。従って、（１）式により、輝度Ｙの値を算出することができる。
【００５２】
次に、ステップＳ５０３で、画像を複数のブロックに分割する。
【００５３】
尚、本実施形態では、図６に示すように、画像を縦横それぞれ９ブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、８から１６ブロック前後が好ましい。
【００５４】
次に、ステップＳ５０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、例えば、図７に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。本例では、左上端から１つ右へ走査し、そのブロックから左斜め下へ走査を行う。これを繰返し行うことによりスキャンする走査例を示している。
【００５５】
ステップＳ５０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ５０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６に進む。
【００５６】
ステップＳ５０６で、着目ブロックの全画素の輝度の平均輝度を算出する。ステップＳ５０７で、算出した平均輝度が輝度閾値Ｔｈ＿Ｇ以上であるか否かを判定する。平均輝度が輝度閾値Ｔｈ＿Ｇ未満である場合（ステップＳ５０７でＮＯ）、ステップＳ５０８に進む。
【００５７】
そして、ステップＳ５０８で、図８の輝度階級テーブルを参照して、平均輝度に対応する輝度階級ＩＤをその着目ブロックの代表輝度として決定し、その着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００５８】
尚、図８の輝度階級テーブルは、８ビットの輝度信号を、所定輝度範囲毎に設定した各種輝度階級と、文字ブロックであることを示す輝度階級で構成されている。
【００５９】
ステップＳ５０９で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ５０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ５０５〜ステップＳ５１２の処理を再帰的に繰り返す。
【００６０】
尚、ステップＳ５０７において、平均輝度が輝度閾値Ｔｈ＿Ｇ以上であるか否かを判定する理由は、通常、印刷文書画像のバックグラウンドは白であり、印刷の無い部分で白色を表現しているため、適切な閾値Ｔｈ＿Ｇ以上の部分が無地背景か文字のある背景と仮定して差し支えないからである。この閾値Ｔｈ＿Ｇに関しては、例えば、再生紙のように無地であるが、スキャンしたときに輝度が低いものも考慮に入れておく必要がある。
【００６１】
一方、ステップＳ５０７において、算出した平均輝度が輝度閾値Ｔｈ＿Ｇ以上である場合（ステップＳ５０７でＹＥＳ）、ステップＳ５１０で、着目ブロック内に文字があるか否かの検証を実行する。そして、ステップＳ５１１で、その検証結果に基づいて、文字の有無を判定する。文字がない場合（ステップＳ５１１でＮＯ）、ステップＳ５０８に進む。
【００６２】
一方、文字がある場合（ステップＳ５１１でＹＥＳ）、ステップＳ５１２で、着目ブロックが文字ブロックであることを示す特殊な輝度階級ＩＤ、図８では、輝度階級ＩＤ１７を着目ブロックとその位置に対応づけて輝度特徴情報インデックステーブル１０５ａに記憶する。
【００６３】
以上の処理によって、処理対象画像のブロック毎の平均輝度に対応する代表輝度あるいは文字ブロックを示す情報と、各ブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００６４】
次に、ステップＳ５１０の着目ブロック内の文字の有無の判定処理の詳細について、図９を用いて説明する。
【００６５】
＜着目ブロック内の文字情報の有無の判定処理＞
図９は本発明の実施形態のステップＳ５１０の着目ブロック内の文字の有無の判定処理の詳細を示すフローチャートである。
【００６６】
ステップＳ６０１で、ステップＳ５０２で既に取得しているグレースケール画像から、着目ブロックのグレースケール画像を取得する。ステップＳ６０２で、閾値Ｔｈ＿Ｃｈａｒを用いて、この閾値Ｔｈ＿Ｃｈａｒを超える画素のランレングス分布を水平方向と鉛直方向の両方向で取得する。
【００６７】
尚、ランレングス分布を取得する範囲は、想定している文字サイズを少し超える程度の範囲までで構わない。また、閾値Ｔｈ＿Ｃｈａｒに関しては、着目ブロックの平均輝度を用いると良く、簡易的には、閾値Ｔｈ＿Ｇを代用しても構わない。
【００６８】
更に、ある程度の濃度の色地文書画像に対応するために、予め文書画像の最も輝度の高い画素とその輝度を取得しておき、その値に、閾値Ｔｈ＿Ｇを加算した値を新たなＴｈ＿Ｇとして用いても良い。
【００６９】
一般に、文字が存在する領域をランレングス分布で統計解析すると、図１０のような文字フォントの大きさ近傍で急激にピークを持ち、文字フォントの大きさを越えた付近で急激に分布が激減する特徴のある分布が得られる。
【００７０】
この性質を用いて、ランレングス分布のピークの分散と急激な負の分布の傾き勾配を検出することにより、文字の有無を推定することが可能である。
【００７１】
そこで、まず、ステップＳ６０３で、水平・鉛直方向の両方向のランレンレングス分布のピークの分散を算出する。ステップＳ６０４で、水平・鉛直方向の両方向におけるランレングス分布の最頻値に相当するランレングスより長い領域において、最も急激な頻度減少勾配を算出する。
【００７２】
ステップＳ６０５で、算出した分散が閾値以上で、かつ算出した減少勾配が閾値以上であるか否かを判定する。算出した分散が閾値以上で、かつ算出した減少勾配が閾値以上でない場合（ステップＳ６０５でＮＯ）、ステップＳ６０６に進み、着目ブロック内に文字がないと判定する。一方、算出した分散が閾値以上で、かつ算出した減少勾配が閾値以上である場合（ステップＳ６０５でＹＥＳ）、ステップＳ６０７に進み、着目ブロック内に文字があると判定する。
【００７３】
以上の処理によって、大まかに着目ブロック内に、ある程度の文字があるか否かを判定することができるが、更に、着目ブロックの縦横方向の輝度累積情報を生成し、上記文字フォントの大きさの推定値の数倍の値を上限とする自己相関関数を算出すると、文字列がある場合には文字の段組幅に相当する値で顕著なピークを検出することが可能となるので、文字の有無の判定精度を向上させることができる。
【００７４】
次に、色特徴情報抽出処理部１０６が実行する処理の詳細について説明する。
【００７５】
尚、色特徴情報抽出は、直感的には、上述の輝度特徴情報抽出を３次元に拡張したものと考えればよい。例えば、輝度特徴情報抽出では、図８の１次元の輝度階級テーブルを用いて、各着目ブロックの代表輝度を決定したが、色特徴情報抽出では、図１１のようなＲＧＢ色空間を立体的に複数の部分空間（いわゆる、色ビン）に分割し、この色ビン毎に色特徴情報を抽出することになる。
【００７６】
以下、この処理の詳細について、図１２を用いて説明する。
【００７７】
図１２は本発明の実施形態の色特徴情報抽出処理の詳細を示すフローチャートである。
【００７８】
まず、ステップＳ１２０１で、処理対象画像がカラー画像であるか否かを判定する。尚、この判定は、図５のステップＳ５０１と同様にして行う。
【００７９】
ステップＳ１２０１において、処理対象画像がカラー画像である場合（ステップＳ１２０１でＹＥＳ）、ステップＳ１２０３に進む。一方、処理対象画像がカラー画像でない場合（ステップＳ１２０１でＮＯ）、ステップＳ１２０２に進み、グレースケール画像をカラー画像に変換する。
【００８０】
尚、このグレースケール画像からカラー画像への変換は、例えば、輝度値ａの画素を、ＲＧＢ値（ａ，ａ，ａ）とし、ＤＩＢフォーマットのバディングを考慮してデータ並びを整えればよい。このパディングとは、ＷＩＮＤＯＷＳ（登録商標）のＤＩＢフォーマット（ファイルとして実在するビットマップファイル（＊.ＢＭＰ））におけるカラー画像データを格納する際の画像データ表現仕様である。
【００８１】
次に、ステップＳ１２０３で、画像を複数のブロックに分割する。本実施形態では、図６に示すように、画像を縦横をそれぞれ９ブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１ブロックに分割している例を示しているが、実際には、１５×１５＝２２５ブロック程度であることが好ましい。
【００８２】
次に、ステップＳ１２０４で、処理対象となる着目ブロックを左上端のブロックに設定する。尚、この着目ブロックの設定は、図５のステップＳ１２０４と同様にして行う。
【００８３】
ステップＳ１２０５で、未処理の着目ブロックの有無を判定する。未処理の着目ブロックがない場合（ステップＳ１２０５でＮＯ）、処理を終了する。一方、未処理の着目ブロックがある場合（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０６に進む。
【００８４】
ステップＳ１２０６で、着目ブロックが文字ブロックであるか否かを判定する。着目ブロックが文字ブロックでない場合（ステップＳ１２０６でＮＯ）、ステップＳ１２０７に進む。
【００８５】
尚、この判定は、着目ブロックの輝度階級ＩＤを参照して判定する。
【００８６】
ステップＳ１２０７で、着目ブロック内の全画素の色の平均色を算出する。ステップＳ１２０８で、算出した平均色を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、対応する色ビンＩＤを、その着目ブロックの代表色と決定する。そして、その色ビンＩＤと、着目ブロックとをその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００８７】
尚、本実施形態では、図１１に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目ブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目ブロックの平均色を射影するほうが好ましい。
【００８８】
ステップＳ１２０９で、図７の順序決定テーブルを参照して、次の処理対象となる着目ブロックを設定する。その後、ステップＳ１２０５に戻り、未処理の着目ブロックがなくなるまで、ステップＳ１２０５〜ステップＳ１２１０の処理を再帰的に繰り返す。
【００８９】
一方、ステップＳ１２０６において、着目ブロックが文字ブロックである場合（ステップＳ１２０６でＹＥＳ）、ステップＳ１２１０で、文字ブロックを示す色ビンＩＤを、着目ブロックとをその位置に対応づけて色特徴情報インデックステーブル１０６ａに記憶する。
【００９０】
尚、６×６×６＝２１６の色ビンを用いている場合には、例えば、文字ブロックを示す色ビンＩＤとして、色ビンＩＤ２１７を用いればよい。
【００９１】
以上の処理によって、処理対象画像のブロック毎の平均色に対応する代表色あるいは文字ブロックを示す情報と、各ブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００９２】
[画像検索処理]
画像検索処理では、まず、比較元画像入力部１０７で、検索条件となる比較元画像を入力する。この比較元画像の入力は、例えば、スキャナ等の入力デバイスを用いて行ったり、外部記憶装置に記憶されている画像を読み込むことで実現される。入力した画像は、一旦、メモリ上に記憶され、このメモリに記憶された画像のデータフォーマットから、その画像の種類が、カラー画像、モノクロ、グレースケール画像のいずれであるかを判定することができる。
【００９３】
尚、本実施形態の画像検索処理は、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合には、その色特徴情報で比較先画像の色特徴情報との類似比較を行い、一方、比較元画像の色情報が不十分である場合には、その輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索を行う場合を例に挙げて説明する。
【００９４】
そこで、まず、判定処理部１０８で、メモリ上の画像の色情報が十分であるか否かを判定する。
【００９５】
色情報が十分である場合、色特徴情報比較処理部１０９で、比較元画像の色特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像（比較先画像）の色特徴情報との比較を行うことで類似画像検索を行う。
【００９６】
一方、色情報が不十分である場合、輝度特徴情報比較処理部１１０で、比較元画像の輝度特徴情報を用いて、画像蓄積部１０３ａに記憶されている検索対象画像（比較先画像）の輝度特徴情報との比較を行うことで類似画像検索を行う。
【００９７】
これにより、比較元画像の画像の種類（モノクロやグレースケール画像、あるいはカラー画像）に適した方法で類似比較処理を行うことができる。
【００９８】
尚、判定処理部１０８の判定は、最も簡単な方法としては、上述の画像登録処理で説明した方法と同様な方法で、比較元画像のデータフォーマットを解析し、比較元画像がモノクロあるいはグレースケール画像である場合には、色情報はないので、比較元画像の色情報が不十分であると判定する。
【００９９】
一方、比較元画像がカラー画像である場合には、その比較元画像の色情報が十分であると判定すれば良いが、データフォーマット自体はカラー画像であるのに、その中はグレースケール画像である場合もある。そこで、このような場合には、データフォーマットがカラー画像である場合でも、比較元画像の色情報が十分であるか否かを厳密に判定する必要があり、その判定方法としては、比較元画像の色に関する解析を利用する方法がある。
【０１００】
この解析の趣旨は、比較元画像に占める色情報の割合を解析するものであり、比較元画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
【０１０１】
ここで、判定処理部１０８において、比較元画像に占める色情報の割合を解析する解析方法には、２種類存在する。そこで、以下、この２種類の解析方法について説明する。
【０１０２】
＜色解析方法１＞
図１３は本発明の実施形態の第１の色解析方法を示すフローチャートである。
【０１０３】
まず、ステップＳ１３０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１３０１でＮＯ）、ステップＳ１３０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１３０１でＹＥＳ）、ステップＳ１３０３に進む。
【０１０４】
ステップＳ１３０３で、比較元画像の画素数が閾値以上であるか否かを判定する。閾値未満である場合（ステップＳ１３０３でＮＯ）、ステップＳ１３０９に進む。一方、閾値以上である場合（ステップＳ１３０３でＹＥＳ）、ステップＳ１３０４に進む。
【０１０５】
ステップＳ１３０４で、総画素数をその数より少ない所定値に近くなるような相似比（縮小率）を算出する。
【０１０６】
例えば、目的の画素数をＧｐ、比較元画像の縦サイズをＨ、横サイズをＷとすると、
相似比Ｓ＝Ｉｎｔ（sqrt（Ｈ＊Ｗ／Ｇｐ））
となる。
【０１０７】
但し、関数Int（ｘ）は、ｘより大きく、かつ整数と成る値を選ぶものを意味する。
【０１０８】
従って、比較元画像の縮小画像は、縦Ｈ２＝Ｈ／Ｓ［画素］、横Ｗ２＝Ｗ／Ｓ［画素］となる。
【０１０９】
次に、ステップＳ１３０５で、比較元画像の画素サイズ縦横Ｓ×Ｓブロックの処理対象ブロックの平均色を算出し、これを縮小画像の対応する画素の画素値とし、以降、縦横Ｓ×Ｓブロックの処理対象ブロックが重ならないように移動して、この処理を繰り返すことにより比較元画像の縮小画像を生成する。
【０１１０】
尚、ステップＳ１３０５で比較元画像の縮小画像を生成する理由は、以下のステップＳ１３０６で比較元画像の色ヒストグラムを生成する場合に、処理対象画像の画素数が非常に大きいと色ヒストグラムを生成する処理の負荷が大きくなるので、処理の負荷が軽減されるように、比較元画像の画素数を所望の数にするためである。もちろん、処理対象画像の画素数が少ない場合には、そのまま色ヒストグラムを生成するようにしても良い。
【０１１１】
次に、ステップＳ１３０６で、縮小画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【０１１２】
次に、ステップＳ１３０７で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１３０８で、縮小画像の全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。
【０１１３】
ステップＳ１３１２で、算出された割合が予め定められた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１３１２でＹＥＳ）、ステップＳ１３０２に進む。一方、閾値未満である場合（ステップＳ１３１２でＮＯ）、ステップＳ１３１３に進み、比較元画像の色情報が十分であると判定する。
【０１１４】
一方、ステップＳ１３０３において、比較元画像の画素数が閾値未満である場合には、ステップＳ１３０９で、比較元画像を構成する全画素の各濃度値を、図１１の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。ステップＳ１３１０で、各色ビンに対するヒストグラム情報からグレースケール方向の色ビンに属する画素数をカウントする。ステップＳ１３１１で、全画素数に対するグレースケール方向の色ビンに属する画素数の割合を算出する。その後、ステップＳ１３１２に進む。
【０１１５】
＜色解析方法２＞
図１４は本発明の実施形態の第２の色解析方法を示すフローチャートである。
【０１１６】
まず、ステップＳ１４０１で、比較元画像がカラー画像であるか否かを判定する。比較元画像がカラー画像でない場合（ステップＳ１４０１でＮＯ）、ステップＳ１４０２に進み、比較元画像の色情報が不十分であると判定する。一方、比較元画像がカラー画像である場合（ステップＳ１４０１でＹＥＳ）、ステップＳ１４０３に進む。
【０１１７】
ステップＳ１４０３で、比較元画像を構成する全画素の色の平均色を算出する。ステップＳ１４０４で、平均色を輝度成分と色差成分に変換する。次に、ステップＳ１４０５で、輝度成分値に対する色差成分値の割合Ｒを算出する。
【０１１８】
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。
【０１１９】
例えば、ＹＣｂＣｒ色空間を用いると、２４ビットＲＧＢ値との関連は、
Ｙ ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ
Ｃｂ＝-0.16874＊Ｒ−0.33126＊Ｇ＋0.50000＊Ｂ＋128
Ｃｒ＝0.50000＊Ｒ−0.41869＊Ｇ＋（-0.08131）＊Ｂ＋128 （２）
と表現される。
【０１２０】
式（２）に従って、算出した平均色を輝度成分Ｙaveと色差成分Ｃｂave及びＣｒaveに分離し、
割合Ｒ＝sqrt（Ｃｂave＊Ｃｂave＋Ｃｒave＊Ｃｒave）／Ｙave （３）
を計算する。
【０１２１】
そして、ステップＳ１４０６で、この割合Ｒが予め定めた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１４０６でＹＥＳ）、ステップＳ１４０２に進む。一方、閾値未満である場合（ステップＳ１４０６でＮＯ）、ステップＳ１４０７に進み、比較元画像の色情報が十分であると判定する。
【０１２２】
次に、色特徴情報比較処理部１０９が実行する処理の詳細について説明する。
【０１２３】
尚、色特徴情報比較処理部１０９では、比較元対象画像の色特徴情報を抽出するために、上述の色特徴情報抽出処理を用いる。
【０１２４】
図１５は本発明の実施形態の色特徴情報比較処理の詳細を示すフローチャートである。
【０１２５】
まず、ステップＳ１５０１で、図１２のフローチャートで説明した処理によって、比較元画像の色特徴情報をブロック毎に抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する色特徴情報を色特徴インデックステーブル１０６ａから読み出す。
【０１２６】
次に、ステップＳ１５０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ１５０２でＮＯ）、ステップＳ１５１１に進む。一方、未比較の比較先画像がある場合（ステップＳ１５０２でＹＥＳ）、ステップＳ１５０３に進む。
【０１２７】
ステップＳ１５０３で、色特徴情報インデックステーブル１０６ａを参照して、処理対象画像の画像ＩＤと各ブロックの色特徴情報を読み出す。ステップＳ１５０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ１５０５で、比較元画像の色特徴情報と、比較対象の色特徴情報の類似度を示す類似距離を０にリセットする。
【０１２８】
ステップＳ１５０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ１５０６でＮＯ）、ステップＳ１５１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ１５０６でＹＥＳ）、ステップＳ１５０７に進む。
【０１２９】
ステップＳ１５０７で、比較元画像と比較先画像のそれぞれの色特徴情報から、それぞれの着目ブロックの色ビンＩＤを取得する。
【０１３０】
ステップＳ１５０８で、図１６の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この累積類似距離はメモリに記憶する。
【０１３１】
ここで、色ビンペナルティマトリックスについて、図１６を用いて説明する。
【０１３２】
図１６は本発明の実施形態の色ビンペナルティマトリックスの構成を示す図である。
【０１３３】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１６によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対称性を持っている。
【０１３４】
但し、文字ブロックに相当する色ビンＩＤについては、この例では、色ビンＩＤ２１７を設定している。この色ビンＩＤ２１７は、その他の色ビンＩＤ間のペナルティに関しては性質が異なるため、比較的大きな、例えば、真っ白と真っ黒間のペナルティを設定している。このようにすると、文字ブロックに関しては極めて厳しく差異を考慮する類似比較処理となる。つまり、図１６の色ビンペナルティマトリックスでは、文字ブロックを示す所定色ビンＩＤと、文字ブロック以外のブロックの色ビンＩＤとの類似距離は、その所定色ビンＩＤ以外の色ビンＩＤ同士の類似距離よりも十分異なる（この場合、大きく）なるように管理されている。
【０１３５】
逆に、文字ブロックに相当する色ビンＩＤと、その他の色ビンＩＤ間のペナルティを小さくすると、文字ブロックに関しては緩く差異を考慮する類似比較処理となる。従って、必要に応じて、このペナルティ値を調整することで、より用途や目的に応じた類似比較処理を実現することができる。
【０１３６】
このように、本実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３７】
そして、ステップＳ１５０９で、次の処理対象となる着目ブロックを設定する。
【０１３８】
一方、ステップＳ１５０６で、未比較の着目ブロックがない場合（ステップＳ１５０６でＮＯ）、ステップＳ１５１０に進み、メモリに記憶されている累積類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１３９】
そして、ステップＳ１５０２で、未比較の比較先画像がない場合（ステップＳ１５０２でＮＯ）、ステップＳ１５１１に進み、メモリに記憶されている各画像ＩＤに対応する累積類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと累積類似距離の対を検索結果として出力する。
【０１４０】
次に、輝度特徴情報比較処理部１１０が実行する処理の詳細について説明する。
【０１４１】
尚、輝度特徴情報比較処理部１１０では、比較元対象画像の輝度特徴情報を抽出するために、上述の輝度特徴情報抽出処理を用いる。
【０１４２】
図１７は本発明の実施形態の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１４３】
まず、ステップＳ１７０１で、図５のフローチャートで説明した処理によって、比較元画像の輝度特徴情報として輝度階級ＩＤを抽出する。但し、比較元画像が既に画像蓄積部１０３ａに登録済みの画像である場合には、対応する輝度特徴情報を輝度特徴インデックステーブル１０５ａから読み出す。
【０１４４】
次に、ステップＳ１７０２で、比較元画像と未比較の比較先画像（画像蓄積部１０３ａに蓄積されている）の有無を判定する。未比較の比較先画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進む。一方、未比較の比較先画像がある場合（ステップＳ１７０２でＹＥＳ）、ステップＳ１７０３に進む。
【０１４５】
ステップＳ１７０３で、輝度特徴情報インデックステーブル１０５ａを参照して、処理対象画像の画像ＩＤと各ブロックの輝度特徴情報を読み出す。ステップＳ１７０４で、処理対象とする画像中の着目ブロックを先頭に設定する。ステップＳ１７０５で、比較元画像の輝度特徴情報と、比較対象の輝度特徴情報の類似度を示す類似距離を０にリセットする。
【０１４６】
ステップＳ１７０６で、未比較の着目ブロックの有無を判定する。未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進む。一方、未比較の着目ブロックがある場合（ステップＳ１７０６でＹＥＳ）、ステップＳ１７０７に進む。
【０１４７】
ステップＳ１７０７で、比較元画像と比較先画像のそれぞれの輝度特徴情報から、着目ブロックの輝度に関する輝度階級ＩＤを取得する。
【０１４８】
ステップＳ１７０８で、図１８の輝度階級ＩＤペナルティマトリックスを参照して、取得した輝度階級ＩＤ間に対応する着目ブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この累積類似距離はメモリに記憶する。
【０１４９】
ここで、輝度階級ＩＤペナルティマトリックスについて、図１８を用いて説明する。
【０１５０】
図１８は本発明の実施形態の輝度階級ＩＤペナルティマトリックスの構成を示す図である。
【０１５１】
輝度階級ＩＤペナルティマトリックスは、輝度階級ＩＤ同士の局所的類似距離を管理するマトリックスである。図１８によれば、輝度階級ＩＤペナルティマトリックスは、同一輝度階級ＩＤではその類似距離は０となり、輝度階級ＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一輝度階級ＩＤの対角位置は全て、その類似距離は０で、それを境に対称性を持っている。
【０１５２】
但し、文字ブロックに相当する輝度階級ＩＤ、この例では、輝度階級ＩＤ１７を設定する。この輝度階級ＩＤ１７は、その他の輝度階級ＩＤ間のペナルティに関しては性質が異なるため、比較的大きな、例えば、真っ白と真っ黒間のペナルティを設定している。このようにすると、文字ブロックに関しては極めて厳しく差異を考慮する類似比較処理となる。つまり、図１８の輝度階級ＩＤペナルティマトリックスでは、文字ブロックを示す所定輝度階級ＩＤと、文字ブロック以外のブロックの輝度階級ＩＤとの類似距離は、その所定輝度階級ＩＤ以外の輝度階級ＩＤ同士の類似距離よりも十分異なる（この場合、大きく）なるように管理されている。
【０１５３】
逆に、文字ブロックに相当する輝度階級ＩＤとその他の輝度階級ＩＤ間のペナルティを小さくすると、文字ブロックに関しては緩く差異を考慮する類似比較処理となる。従って、必要に応じて、このペナルティ値を調整することで、より用途や目的に応じた類似比較処理を実現することができる。
【０１５４】
このように、本実施形態では、輝度階級ＩＤペナルティマトリックスを参照するだけで、輝度階級ＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１５５】
そして、ステップＳ１７０９で、次の処理対象となる着目ブロックを設定する。
【０１５６】
一方、ステップＳ１７０６で、未比較の着目ブロックがない場合（ステップＳ１７０６でＮＯ）、ステップＳ１７１０に進み、メモリに記憶されている累積類似距離を画像ＩＤに対応づけてメモリに記憶する。
【０１５７】
そして、ステップＳ１７０２で、未比較の画像がない場合（ステップＳ１７０２でＮＯ）、ステップＳ１７１１に進み、メモリに記憶されている各画像ＩＤに対応する累積類似距離の昇順で、画像ＩＤをソートし、ソートした画像ＩＤと累積類似距離の対を検索結果として出力する。
【０１５８】
以上説明した画像登録処理と画像検索処理を実行することにより、比較先画像の種類がモノクロやグレースケールであっても、あるいはカラー画像であっても、その画像の種類に適した画像特徴量を用いて、画像を登録あるいは画像を検索することができる。
【０１５９】
次に、検索結果表示部処理部１１１が実行する検索結果表示処理について説明する。
【０１６０】
［検索結果表示処理］
検索結果表示処理では、類似度が高い順、即ち、類似距離の昇順に画像ＩＤとその類似度の対がソートされた情報を元に、画像管理ＤＢ１０４ａを参照し、該当するレコードから画像の格納先であるアドレス情報（ファイルフルパス情報）を取得して、画像蓄積部１０３ａから対応する画像を読み出し、表示する。
【０１６１】
以下、検索結果表示処理について、図１９を用いて説明する。
【０１６２】
図１９は本発明の実施形態の検索結果表示処理を示すフローチャートである。
【０１６３】
ステップＳ１８０１で、画像検索処理によって得られた検索結果数である検索ヒット個数Ｍと、比較元画像と検索結果として得られる比較先画像との類似度が高い順、即ち、類似距離の昇順に対応する画像ＩＤとその類似度の対を取得する。
【０１６４】
次に、ステップＳ１８０２で、表示画面の表示可能な画像の個数Ｎを取得する。
【０１６５】
尚、この個数Ｎは、検索結果として表示する画像の縮小画像のサイズと、表示画面上の検索結果表示領域のサイズによって決定される。
【０１６６】
ステップＳ１８０３で、検索ヒット個数Ｍと個数Ｎの小さいほうを画像表示個数Ｒに設定する。
【０１６７】
ステップＳ１８０４で、検索結果として表示する画像の順位（読出画像順位）を示す変数Ｋを１に初期化する。ステップＳ１８０５で、Ｋ≦Ｒであるか否かを判定する。Ｋ≦Ｒでない場合（ステップＳ１８０５でＮＯ）、処理を終了する。一方、Ｋ≦Ｒである場合（ステップＳ１８０６でＹＥＳ）、ステップＳ１８０６に進む。
【０１６８】
ここで、ステップＳ１８０６〜ステップＳ１８０８の処理は、類似画像検索結果である画像を表示画面に表示する処理となる。
【０１６９】
ここで、類似画像検索結果の表示例について、図２０を用いて説明する。
【０１７０】
図２０は本発明の実施形態の類似画像検索結果の表示例を示す図である。
【０１７１】
図２０に示されるように、表示画面上の検索結果表示領域には、検索結果とする画像の縮小画像を類似距離の昇順に左上端から順に右隣へ順に並べて表示し、右上端まで到達したら、次の行の左端に移り、そこからまた右隣に順に右端まで並べて表示したら、以下、同様に、検索結果表示領域の終わりとなる右下端まで並べて表示して行く。また、表示する縮小画像の下には、対応する類似距離を併せて表示する。
【０１７２】
ステップＳ１８０６で、読出画像順位Ｋにより、表示対象の画像の表示位置を決定する。ステップＳ１８０７で、読出画像順位Ｋの画像ＩＤに対応する画像のアドレス情報（フルパス情報）を画像管理ＤＢ１０４ａから取得する。ステップＳ１８０８で、アドレス情報で示される画像を読み出し、決定した表示位置にその縮小画像を表示する。その後、変数Ｋを１インクリメントして、ステップＳ１８０５に進む。
【０１７３】
尚、本実施形態の画像検索処理では、比較元画像の色情報が十分であるかどうかだけに着目し、比較元画像の色情報が十分である場合にはその色特徴情報で比較先画像の色特徴情報との類似比較を行い、比較元画像の色情報が不十分である場合にはその輝度特徴情報と比較先画像の輝度特徴情報との類似比較を行う類似画像検索の例を示したが、これに限定されない。
【０１７４】
例えば、比較先画像の色情報が十分であるか否かについても考慮し、比較する画像の双方の色情報が十分である場合に、双方の色特徴情報で類似比較を行い、どちらか片方あるいは双方の色情報が不十分である場合に、双方の輝度特徴情報で類似比較を行う類似画像検索を行うようにしても良い。
【０１７５】
上記実施形態では、着目ブロック中の平均輝度に基づいて、その着目ブロック内に文字画像が存在するか否かを判定する構成としているが、これに限定されるものではない。例えば、着目ブロック中の最頻輝度、あるいは着目ブロック中の最も輝度の高い画素の色近傍範囲の平均輝度あるいは最頻輝度に基づいて、その着目ブロック内に文字画像が存在するか否かを判定する構成としても良い。
【０１７６】
この構成の場合、輝度特徴情報抽出処理の前に、着目ブロックに対して輝度ヒストグラムに関する前処理を行い、輝度値０から２５５までに正規化を行ってから、輝度特徴情報抽出処理を実行すると、より処理の簡素化を図ることができる。
【０１７７】
これにより、例えば、再生紙のような予め紙に色が付いており、インクやトナーがのっていない無地背景は輝度値２５５に正規化され、本実施形態を適応しても、的確に無地背景に印刷された文字を抽出することが可能となる。
【０１７８】
また、画像登録処理は、画像入力処理、画像蓄積処理、画像管理情報処理、輝度特徴情報抽出処理、色特徴情報抽出処理の順番で処理を行ったが、画像入力処理以降の処理に関してはその順序は問わない。
【０１７９】
一方、画像検索処理においては、比較元画像が既に画像蓄積部１０３ａへ登録済みの画像であるならば、既にその色特徴情報及び輝度特徴情報も登録されているので、かかる画像に対する色特徴情報抽出処理及び輝度特徴情報抽出処理は不要となる。
【０１８０】
また、画像管理ＤＢ１０４ａ、輝度特徴情報インデックステーブル１０５ａ、色特徴情報インデックステーブル１０６ａを別々に構成し、画像ＩＤを仲立ちとして互いの情報に対応を取る構成例を示したが、これらのＤＢ及びテーブル群を一体にして構成しても良い。
【０１８１】
また、処理対象となる着目ブロックの設定は、図７の順序決定テーブルで示される走査順序に限定されるものではなく、水平走査及び垂直走査あるいはジグザグ走査等の他の走査順序、つまり、画像の各ブロックを着目ブロックとして設定できるような走査順序であれば、どのような走査順序であっても良い。
【０１８２】
以上説明したように、本実施形態によれば、予め文書画像を文字領域と画像領域に分離する技術を用いて、分離したものどうしの特徴を求めて画像検索を実現する方法のような領域の抽出し損ねによる検索漏れの恐れのある負荷の重い処理を行うことなく、大まかな文字検出処理結果をプリミティブな画像特徴量に加味した文書画像比較処理を実現する。
【０１８３】
これにより、特に、文書画像のように、白地バックグラウンドに画像を貼り込み、その余白に文字が存在するような画像に対しても、より精度良く目的とする画像を検索することができる。
【０１８４】
つまり、白地のバックグラウンドに文字があっても無くとも平均色あるいは最頻色には影響が現れず、文字のある分割ブロックと白地のバックグラウンドとの区別がつかず、ユーザにとって違和感のある検索結果となることを防止することができる。
【０１８５】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１８６】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１８７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１８８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１８９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１９０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１９１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１９２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１９３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１９４】
【図１】本発明の実施形態の画像処理装置のプロック構成図である。
【図２】本発明の実施形態の画像管理ＤＢの構成の一例を示す図である。
【図３】本発明の実施形態の輝度特徴情報テーブルの構成の一例を示す図である。
【図４】本発明の実施形態の色特徴情報テーブルの構成の一例を示す図である。
【図５】本発明の実施形態の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図６】本発明の実施形態の画像ブロック分割の一例を示す図である。
【図７】本発明の実施形態の順序決定テーブルの一例を示す図である。
【図８】本発明の実施形態の輝度階級テーブルの一例を示す図である。
【図９】本発明の実施形態のステップＳ５１０の着目ブロック内の文字の有無の判定処理の詳細を示すフローチャートである。
【図１０】本発明の実施形態のランレングス分布の一例を示す図である。
【図１１】本発明の実施形態の色空間上の色ビンの構成の一例を示す図である。
【図１２】本発明の実施形態の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１３】本発明の実施形態の第１の色解析方法を示すフローチャートである。
【図１４】本発明の実施形態の第２の色解析方法を示すフローチャートである。
【図１５】本発明の実施形態の色特徴情報比較処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態の色ビンペナルティマトリックスの構成の一例を示す図である。
【図１７】本発明の実施形態の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図１８】本発明の実施形態の輝度階級ＩＤペナルティマトリックスの構成の一例を示す図である。
【図１９】本発明の実施形態の検索結果表示処理を示すフローチャートである。
【図２０】本発明の実施形態の類似画像検索結果の表示例を示す図である。
【符号の説明】
【０１９５】
１０１ ユーザインタフェース部
１０２ 画像入力処理部
１０３ 画像蓄積処理部
１０３ａ 画像蓄積部
１０４ 画像管理情報処理部
１０４ａ 画像管理ＤＢ
１０５ 輝度特徴情報抽出処理部
１０５ａ 輝度特徴情報インデックステーブル
１０６ 色特徴情報抽出処理部
１０６ａ 色特徴情報インデックステーブル
１０７ 比較元画像入力部処理部
１０８ 判定処理部
１０９ 色特徴情報比較処理部
１１０ 輝度特徴情報比較処理部
１１１ 検索結果表示処理部
【特許請求の範囲】
【請求項１】
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記比較元画像を複数のブロックに分割する分割手段と、
前記分割手段で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得手段と、
前記取得手段によって取得される前記分割手段で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記比較手段は、前記比較元画像と前記比較先画像間の画像特徴情報に応じた類似度を管理する管理テーブルを備え、
前記管理テーブルは、前記比較元画像及び前記比較先画像のどちらかに文字画像が存在する場合の該比較元画像と該比較先画像間の画像特徴情報に基づく所定の類似度として、前記比較元画像に文字画像が存在しない場合の該比較元画像と該比較先画像間の画像特徴情報に基づく類似度よりも十分異なる固定値を管理している
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記ブロック画像の前記画像特徴情報が示す画像特徴量が所定値以上であるか否かを判定し、前記画像特徴量が所定値以上である場合、該処理対象画像に文字画像が存在すると判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像特徴情報は、前記ブロック画像の輝度に関する輝度特徴情報である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記輝度特徴情報は、前記ブロック画像の平均輝度あるいは最頻輝度である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記輝度特徴情報は、前記ブロック画像中の最も輝度の高い画素の色近傍範囲の平均輝度あるいは最頻輝度である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置であって、
画像を入力する入力手段と、
前記画像を複数のブロックに分割する分割手段と、
前記分割手段で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶する記憶手段と
を備えることを特徴とする画像処理装置。
【請求項８】
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御方法であって、
前記比較元画像を複数のブロックに分割する分割工程と、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程と、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御方法であって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１０】
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御を実現するプログラムであって、
前記比較元画像を複数のブロックに分割する分割工程のプログラムコードと、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程のプログラムコードと、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程のプログラムコードと、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【請求項１１】
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御を実現するプログラムであって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備えることを特徴とするプログラム。
【請求項１】
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記比較元画像を複数のブロックに分割する分割手段と、
前記分割手段で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得手段と、
前記取得手段によって取得される前記分割手段で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記比較手段は、前記比較元画像と前記比較先画像間の画像特徴情報に応じた類似度を管理する管理テーブルを備え、
前記管理テーブルは、前記比較元画像及び前記比較先画像のどちらかに文字画像が存在する場合の該比較元画像と該比較先画像間の画像特徴情報に基づく所定の類似度として、前記比較元画像に文字画像が存在しない場合の該比較元画像と該比較先画像間の画像特徴情報に基づく類似度よりも十分異なる固定値を管理している
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記ブロック画像の前記画像特徴情報が示す画像特徴量が所定値以上であるか否かを判定し、前記画像特徴量が所定値以上である場合、該処理対象画像に文字画像が存在すると判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像特徴情報は、前記ブロック画像の輝度に関する輝度特徴情報である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記輝度特徴情報は、前記ブロック画像の平均輝度あるいは最頻輝度である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記輝度特徴情報は、前記ブロック画像中の最も輝度の高い画素の色近傍範囲の平均輝度あるいは最頻輝度である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置であって、
画像を入力する入力手段と、
前記画像を複数のブロックに分割する分割手段と、
前記分割手段で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定手段と、
前記判定手段の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶する記憶手段と
を備えることを特徴とする画像処理装置。
【請求項８】
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御方法であって、
前記比較元画像を複数のブロックに分割する分割工程と、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程と、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御方法であって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１０】
検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理装置の制御を実現するプログラムであって、
前記比較元画像を複数のブロックに分割する分割工程のプログラムコードと、
前記分割工程で分割されたブロック画像の画像特徴情報に基づいて、該ブロック画像に文字画像が存在するか否かを判定する判定工程のプログラムコードと、
前記判定工程の判定の結果、前記ブロック画像及びそれに対応する前記比較先画像のブロック画像のどちらかに文字画像が存在する場合、両者の類似度として所定の類似度を取得し、一方、前記ブロック及びそれに対応する前記比較先画像のブロック画像のどちらにも文字画像が存在しない場合、その両者の画像特徴情報に基づく類似度を取得する取得工程のプログラムコードと、
前記取得工程によって取得される前記分割工程で分割した各ブロック画像に対する類似度を累積加算して得られる累積類似度に基づいて、検索結果となる画像を出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【請求項１１】
類似画像検索の検索対象となる画像の画像登録処理を行う画像処理装置の制御を実現するプログラムであって、
画像を入力する入力工程と、
前記画像を複数のブロックに分割する分割工程と、
前記分割工程で分割された各ブロック画像の画像特徴情報に基づいて、各ブロック画像に文字画像が存在するか否かを判定する判定工程と、
前記判定工程の判定の結果、前記ブロック画像に文字画像が存在する場合、それを示す情報を画像特徴情報として記憶し、一方、前記ブロック画像に文字画像が存在しない場合、そのブロック画像の画像特徴情報を記憶部に記憶する記憶工程と
を備えることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−２３８３４（Ｐ２００６−２３８３４Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−１９９４０９（Ｐ２００４−１９９４０９）
【出願日】平成１６年７月６日（２００４．７．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月６日（２００４．７．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]