画像検索システム、画像検索方法、画像登録システム、及び画像登録方法
【課題】画像の種類によって検索のための適切な特徴量が異なっても、検索元画像と検索先画像の種類とその組み合わせに応じて、検索のための適切な特徴量と辞書データとが選定され、精度が高く、かつ効率的な検索を行うことができる画像検索システム、画像検索方法、及びその辞書データに登録する画像登録システム、画像登録方法を提供する。
【解決手段】画像の種類によって検索のための適切な特徴量が異なっても、それらのうち１つの特徴量に対して１種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。
【解決手段】画像の種類によって検索のための適切な特徴量が異なっても、それらのうち１つの特徴量に対して１種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出する画像検索システム、画像検索方法、及び検索される画像を辞書データに登録する画像登録システム、画像登録方法に関する。
【背景技術】
【０００２】
近年は、デジタル化、ネットワーク化の進展により、様々な情報が電子的に扱われるようになってきた。オフィスなどでも文書の電子化が進み、大量の文書がデジタルの電子ファイルとして管理されている。電子的に文書を取り扱うことにより、紙文書では考えられなかった大量のデータの迅速な処理、作成、表示印刷、移動や検索などが可能となっている。
【０００３】
しかしながら、紙文書に代表されるアナログの媒体も捨てがたいものがあり、会議などの資料としてその手軽さ、見やすさからプリントアウトされた紙文書が配られたりするのは今もよくあることである。
【０００４】
こういった事情から、デジタルの電子データと紙文書などのアナログデータとを両立させ、互いに連繋しながらシームレスに活用できることが望まれている。
【０００５】
現状では両者の変換法として、電子データを紙媒体にプリントアウトする、あるいは紙文書をスキャンして電子的に画像データ化する、などが行われている。しかしここで、一旦アナログデータにすると、デジタルデータとは異なり、変化するという特性があることに注目しなければならない。例えば、コピーして作成した文書は元の文書から変化しているし、それをコピーすればまた変化する。スキャンして再度デジタル化しても元の電子データとは異なっている。
【０００６】
こういった状況に対して、アナログの紙文書から、それに対応するデジタルの電子データを、管理された大量の電子データの中から電子的に検索できるような技術が求められてきた。そうすれば、常に一貫したデジタルデータを元にして各種処理を行うことが可能になる。
【０００７】
検索の手段としては、識別コードやメタデータを付与して、それをキーに検索する方法なども開発されたが、紙文書の場合その印刷内容の中にコードなどを埋め込まねばならないという制約がある。文書中のテキストなどのキーワードで検索する方法もあるが、テキストだけでは不十分であり、図主体の文書などでは不適当である。
【０００８】
よく用いられるのは、文書を画像として比較して、その類似度により検索するという手法である。文書の画像データから画像としての特徴量を求め、その特徴量を検索のキーとして検索する。つまり、検索元の画像の特徴量と検索先の各画像の特徴量を比較して類似度合いを算出し、類似度合いの大きい画像を抽出してくるのである。
【０００９】
こういった検索の具体的な用途として考えられる例としては、オフィスでの事務書類の作成、管理、編集、コピー、配信、記録、といった電子データと紙媒体と両方を用いるようなケースである。例えば、配布された紙の文書を再プリントしたい、そのとき通常なら、ＭＦＰに持っていき複写すればよい、しかし様々な理由からそのまま複写しにくい場合もある。例えば、元々はカラー文書であったものをモノクロでプリントしていた、しかし、今度は元のカラー文書が必要だといったケースも想定される。こういった場合、ＭＦＰに持っていき、複写する代わりに検索複写を選択すれば、自動的に管理された登録文書の中から元のカラー文書のデジタルデータを検索し、プリントアウトする、といった形態が考えられる。
【００１０】
しかしながら、上記のモノクロのアナログ画像からカラーのデジタル画像を検索する場合のように、画像データとしての特徴量を用いて、類似画像（アナログなので少し変化している）としての元の画像を検索するに当たって、画像の種類が異なってきているような場合も想定しなければならない。
【００１１】
検索にカラーの特徴量を用いれば、モノクロの特徴量より情報量が多く、検索精度が向上するだろうが、モノクロ画像に対しては、有効でない余計な情報を用いていることになり、非効率である。モノクロ特徴量を用いれば、効率的に検索できるが、カラー画像に対しては、色情報を使用していないので検索の精度を落とすことになる。
【００１２】
カラー画像とモノクロ画像の例を挙げたが、要は画像の性質、種類により、適切な検索法は異なってくるということである。しかしながら、画像の種類を予め限定できず、複数の種類が混在している場合がむしろ一般的であることから、複数の検索法を使い分けるような技術も提案されてきている（例えば、特許文献１、２、及び３参照）。
【００１３】
特許文献１では、カラー画像とモノクロ画像に対して、検索元の画像の種類を検知して、カラー画像であればカラー特徴量を検索に用い、モノクロ画像であればモノクロ特徴量を検索に用いるように、切り換えて処理する技術が提示されている。
【００１４】
特許文献２では、検索元の画像によりカラー特徴量とモノクロ特徴量のどちらを重視するかの重み付けを決定して、常に重み付きで両方を検索に用いる技術を提示している。
【００１５】
特許文献３では、カラーとモノクロではなく、検索元の文書に適用できるマクロ機能を検索するために、例えば用途別、言語別など複数の分類木を用意し、どの分類木を辿っても該当するマクロ機能へ辿れるような技術が提示されている。つまり複数の検索法からユーザが任意に選べるようになっている。
【００１６】
画像の種類を第１種の画像、第２種の画像と称し、それぞれに適した検索のための特徴量を第１の特徴量、第２の特徴量として、上記技術を当てはめてみると、以下のように総括できる。
【００１７】
特許文献１の技術は、検索元の画像が第１種の画像であれば、第１の特徴量を用いて検索し、検索元の画像が第２種の画像であれば、第２の特徴量を用いて検索するタイプ。
【００１８】
特許文献２の技術は、第１の特徴量、第２の特徴量両方を検索に用いるが、検索元の画像に応じてその重み付けを換えるタイプ。
【００１９】
特許文献３の技術は、検索元の画像にかかわらず、第１の特徴量、第２の特徴量を任意に選んで検索することができるタイプ。
【特許文献１】特開２００４−３３４３３６号公報
【特許文献２】特開２００１−１４３０８０号公報
【特許文献３】特開平９−２２３１３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
上記特許文献１に示された技術によれば、第１種の画像に対しても第２種の画像に対しても、それぞれ適切な検索が可能であるが、検索先の画像の種類が検索元の画像の種類と同じであるとは限らない。従って、場合によっては非効率になったり、検索精度がよくなかったりする。また第１の特徴量と第２の特徴量と、両方を予め求めておくか、そのつどどちらかを算出するといった手間が必要である。
【００２１】
特許文献２に示された技術によれば、検索元の画像に応じて重み付けすることで検索の精度がよくなる。しかしながら、検索元の画像に対して、常に第１の特徴量と第２の特徴量と両方の特徴量を算出しなければならない。また検索先の各画像に対しても、両方を予め求めておくなどの対処が必要である。重み付きながら常に両方を用いるので効率が悪い。
【００２２】
特許文献３に示された技術によれば、ユーザが任意に検索方法を選ぶことができ、どちらを選択しても基本的には同じ検索が可能という長所がある。しかしながら、これは複数の検索方法の設定によっては、検索精度や効率が著しくアンバランスになる場合もある。例えばカラーとモノクロの場合のように、第１の特徴量と第２の特徴量の情報量が著しく異なり、一方に他方が包含されるようなケースで適用するのは、現実的ではない。
【００２３】
本発明の目的は、上記のような課題を解決し、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、検索元の入力画像と検索先の記憶された画像の種類とその組み合わせに応じて、検索のための適切な特徴量と辞書データとが選定され、精度が高く、かつ効率的な検索を行うことができる画像検索システム、画像検索方法、及びその適切な辞書データが形成されるよう、検索先の画像を適切な特徴量と関連づけて登録する画像登録システム、画像登録方法を提供することである。
【課題を解決するための手段】
【００２４】
本発明は上記課題を解決するため、以下のような特徴を有するものである。
【００２５】
１． 取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索システムであって、前記入力画像から第１の特徴量を抽出する第１の特徴量抽出手段と、前記入力画像から第２の特徴量を抽出する第２の特徴量抽出手段と、前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知手段と、前記第１の特徴量を検索キーとして、前記第１種の画像が登録された第１種の画像用辞書データと、前記第２の特徴量を検索キーとして、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データと、前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索手段と、前記画像検知手段による前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索手段と、を有する、ことを特徴とする画像検索システム。
【００２６】
２． 前記第２の特徴量抽出手段が抽出する前記第２の特徴量の次元数は、前記第１の特徴量抽出手段が抽出する前記第１の特徴量の次元数よりも小さい、ことを特徴とする１に記載の画像検索システム。
【００２７】
３． 前記画像検知手段は、前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別手段を有する、ことを特徴とする１または２に記載の画像検索システム。
【００２８】
４． 前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、前記画像判別手段は、前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、前記第２種の画像検索手段は、前記画像判別手段が前記入力画像を前記第２種の画像であると判別した場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする３に記載の画像検索システム。
【００２９】
５． 前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、ことを特徴とする１乃至４の何れか１項に記載の画像検索システム。
【００３０】
６． 前記第１種の画像検索手段は、前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、前記第２種の画像検索手段は、前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする１乃至５の何れか１項に記載の画像検索システム。
【００３１】
７． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする１乃至６の何れか１項に記載の画像検索システム。
【００３２】
８ １乃至５の何れか１項に記載の画像検索システムで用いられる辞書データへの画像登録システムであって、前記第１の特徴量抽出手段と、前記第２の特徴量抽出手段と、前記画像検知手段と、前記第１種の画像用辞書データと、前記第２種の画像用辞書データと、前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録手段と、前記画像検知手段による前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録手段と、を有する、ことを特徴とする画像登録システム。
【００３３】
９． 前記第１種の画像登録手段は、前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、前記第２種の画像登録手段は、前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、ことを特徴とする８に記載の画像登録システム。
【００３４】
１０． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする８または９に記載の画像登録システム。
【００３５】
１１． 取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索方法であって、前記入力画像から第１の特徴量を抽出する第１の特徴量抽出工程と、前記入力画像から第２の特徴量を抽出する第２の特徴量抽出工程と、前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知工程と、前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像が登録された第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索工程と、前記画像検知工程における前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索工程と、を備える、ことを特徴とする画像検索方法。
【００３６】
１２． 前記第２の特徴量抽出工程において抽出される前記第２の特徴量の次元数は、前記第１の特徴量抽出工程において抽出される前記第１の特徴量の次元数よりも小さい、ことを特徴とする１１に記載の画像検索方法。
【００３７】
１３． 前記画像検知工程は、前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別工程を有する、ことを特徴とする１１または１２に記載の画像検索方法。
【００３８】
１４． 前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、前記画像判別工程では、前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、前記第２種の画像検索工程では、前記画像判別工程において前記入力画像が前記第２種の画像であると判別された場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする１３に記載の画像検索方法。
【００３９】
１５． 前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、ことを特徴とする１１乃至１４の何れか１項に記載の画像検索方法。
【００４０】
１６． 前記第１種の画像検索工程では、前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、前記第２種の画像検索工程では、前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする１１乃至１５の何れか１項に記載の画像検索方法。
【００４１】
１７． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする１１乃至１６の何れか１項に記載の画像検索方法。
【００４２】
１８． １１乃至１５の何れか１項に記載の画像検索方法において用いられる辞書データへの画像登録方法であって、前記第１の特徴量抽出工程と、前記第２の特徴量抽出工程と、前記画像検知工程と、前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録工程と、前記画像検知工程における前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録工程と、を備える、ことを特徴とする画像登録方法。
【００４３】
１９． 前記第１種の画像登録工程では、前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、前記第２種の画像登録工程では、前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、ことを特徴とする１８に記載の画像登録方法。
【００４４】
２０． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする１８または１９に記載の画像登録方法。
【発明の効果】
【００４５】
本発明によれば、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、それらのうち１つの特徴量に対して１種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元の入力画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。
【発明を実施するための最良の形態】
【００４６】
以下、図面を参照して本発明の実施形態を説明する。
【００４７】
（システムの全体構成及び動作）
図１は本実施形態に係る画像検索システム及び画像登録システムの構成例を示すブロック図である。図１を用いて、本実施形態に係る画像検索システム及び画像登録システムの概略構成を説明する。
【００４８】
図１において、１は本実施形態に係る画像検索システム及び画像登録システムである。１は画像検索システム及び画像登録システムの両者を包含しており、以後、本実施形態の説明において画像検索システム１と呼称する場合は、画像登録システムも含むものとする。もちろん画像検索システムと画像登録システムとは、別の構成を有する別個のシステムであってもかまわない。
【００４９】
画像検索システム１は、画像に対する検索や登録処理を行う単独のシステムであってもよいし、複写機やファックス、ＭＦＰ（多機能型プリンタ）などの画像形成装置、あるいは他の画像処理装置などに接続、あるいは内蔵されたものであってもよい。その場合は画像入出力に関わる機能部分などで、システムの構成要素が画像形成装置などの構成要素と兼用されたものであってもよい。以後、本実施形態の説明においては、ＭＦＰに本画像検索システム１が内蔵されている例を想定して説明する。
【００５０】
画像検索システム１は、以下の１０から１７の符号を付した構成要素を有する。
【００５１】
１０はデータ処理部であり、画像検索と画像登録の処理を行う。データ処理部１０の内部構成については後述する。
【００５２】
１１は操作部であり、画像検索と画像登録の処理時にユーザの操作入力を受け付ける。例えば操作部１１は、検索処理の指示、画像の種類の指定、出力候補画像からの出力画像選択などの操作を受け付ける。
【００５３】
１２は表示部であり、画像検索と画像登録の処理時にユーザに提示すべき情報を表示する。例えば表示部１２は、検索の処理内容に関する情報、検索結果の情報（出力候補画像）などの表示を行う。
【００５４】
１３は画像読み取り部であり、スキャナ機能などを利用して検索や登録の対象である画像の入力を行う。例えば画像読み取り部１３は、文書画像などを複写する際に読み取った文書画像を、登録処理のために複写とは別にデータ処理部１０へ送り込む。
【００５５】
１４はプリント部であり、登録処理した画像、あるいは検索された出力画像などのプリント出力を行う。例えばプリント部１４は、複写の入力画像に対応してデータ処理部１０から検索された出力画像を受け取り、複写の出力としてプリントアウトする。
【００５６】
１７は記憶部であり、登録処理した画像データを記憶する、またその画像データ検索のための辞書データを記憶する。例えば、記憶部１７は、複写に際して画像データと辞書データを逐一記憶する。あるいは複写に際して記憶部１７から辞書データにより画像データを検索する。
【００５７】
１５は画像入力に関わる通信部であり、１６は画像出力に関わる通信部である。通信部１５及び１６は、いずれもネットワーク２などを経由して、外部から画像を受信する、あるいは送信するなどの形態で、データ処理部１０での検索や登録処理の対象となる画像データを入力あるいは出力する。
【００５８】
３、４、５は、いずれもネットワーク２を経由して画像検索システム１と接続された外部の装置あるいはシステムであり、例えば、管理用のサーバや外部記憶装置が想定される。しかしながら、それらが画像検索システム１の登録画像データの記憶や、登録検索の情報（辞書データ）の記憶や管理を行っている場合には、画像検索システム１に包含されるシステムの構成要素と見なすのが適当である。
【００５９】
図２を参照して、ＭＦＰに内蔵されるシステムとして、画像検索システムの動作を説明する。図２（ａ）はＭＦＰによる文書画像の複写時に画像登録する場合の、図２（ｂ）はＭＦＰによる文書画像の複写時に画像検索する場合の、それぞれ動作を示す図である。
【００６０】
ＭＦＰによる文書画像の複写時に画像登録する図２（ａ）の場合には、画像読み取り部１３で入力された原文書画像Ａ４１は、通常の処理として複写処理されるが、それとは別にデータ処理部１０へ送られ、画像データ（原文書画像Ａ）として登録処理が行われる。データ処理部１０での登録処理の詳細は後述する。原文書画像Ａの画像データは記憶部１７に記憶され、合わせて記憶部１７の辞書データに登録される。登録済みの原文書画像Ａ４１は通常の複写処理により、複写された文書（複写文書画像Ａ’４２）としてプリント部１４でプリントアウトされる。
【００６１】
また、ＭＦＰによる文書画像の複写時に画像検索する図２（ｂ）の場合には、画像読み取り部１３で入力された画像（複写文書画像Ａ”４３）はデータ処理部１０へ送られ、その画像データ（複写文書画像Ａ”）に基づき、出力すべき画像の検索処理が行われる。データ処理部１０での検索処理の詳細は後述する。記憶部１７の辞書データが参照され、記憶部１７に記憶された画像データから複写文書画像Ａ”に対応する出力画像候補が抽出され、表示部１２に表示される。ユーザが出力画像候補から出力画像を選択すると、選択された画像（原文書画像Ａ４４）が複写の出力としてプリント部１４からプリントアウトされる。
【００６２】
上記のような登録及び検索の動作によって、例えば、原稿となる文書の複写時に登録を行っておくことにより、次回その複写文書またはその再複写文書あるいは修正文書などを用いて再複写処理を行おうとする際に、検索処理により元の画像データを参照して、元画像データによる文書複写をすることが可能になる。
【００６３】
（データ処理部１０の内部構成）
図３は、図１におけるデータ処理部１０の内部構成例を示すブロック図である。図３を用いて、画像検索システム１におけるデータ処理部１０内部の概略構成を説明する。
【００６４】
図３において、１０はデータ処理部であり、１７は記憶部である。データ処理部１０は２１乃至２７の符号を付した構成要素を有する。
【００６５】
２１は前処理部であり、入力画像に対して幾何学的な補正処理、シェーディング処理など、一般的な入力画像の補正処理を行う。
【００６６】
２２は画像検知部であり、画像検知手段として機能する。画像検知部２２は、後で述べる画像の特徴量抽出やそれに基づく検索、登録に必要な画像の種類の分類を行う。分類される画像の種類は、後述する第１種の画像と第２種の画像である。
【００６７】
この画像の種類の分類については、画像の種類の情報自体を検知する場合（例えば、ユーザが指定する、ＭＦＰ本体から検知結果を受け取るなど）と、入力画像自体から判別する場合とがある。後者の場合、画像判別部２３がその判別処理を行う。画像判別部２３は、例えば後で述べる第１の特徴量を用いて入力画像の種類を判別する、すなわち画像判別手段として機能する。
【００６８】
２４ａは第１の特徴量抽出部であり、第１の特徴量抽出手段として機能する。第１の特徴量抽出部２４ａは、入力画像から第１の特徴量を抽出する。第１の特徴量は画像検知部２２で分類された第１種の画像に対して画像の類似度を算出するのに適した画像の特徴量である。
【００６９】
また２４ｂは第２の特徴量抽出部であり、第２の特徴量抽出手段として機能する。第２の特徴量抽出部２４ｂは、入力画像から第２の特徴量を抽出する。第２の特徴量は画像検知部２２で分類された第２種の画像に対して画像の類似度を算出するのに適した画像の特徴量である。
【００７０】
また逆にこれらの特徴量から画像の種類を判別することもできる。例えば、前述の画像判別部２３は、この第１の特徴量を用いて入力画像の種類を第１種であると見なすべきかどうかを判別する。
【００７１】
２５ａは第１種の画像登録部であり、第１種の画像登録手段として機能する。第１種の画像登録部２５ａは、画像検知部２２で第１種の画像と分類された入力画像を第１の特徴量抽出部２４ａで抽出された第１の特徴量と関連づけて、後述の第１種の画像用辞書データ３１ａ（記憶部１７に保存されている）に登録する。
【００７２】
また２５ｂは第２種の画像登録部であり、第２種の画像登録手段として機能する。第２種の画像登録部２５ｂは、画像検知部２２での分類結果に関わらず、入力画像を第２の特徴量抽出部２４ｂで抽出された第２の特徴量と関連づけて、後述の第２種の画像用辞書データ３１ｂ（記憶部１７に保存されている）に登録する。
【００７３】
２６ａは第１種の画像検索部であり、第１種の画像検索手段として機能する。第１種の画像検索部２５ａは、画像検知部２２で第１種の画像と分類された入力画像に対して、第１の特徴量抽出部２４ａで抽出された第１の特徴量に基づき、後述の第１種の画像用辞書データ（記憶部１７に保存されている）を検索し、出力画像候補を抽出する。
【００７４】
また２６ｂは第２種の画像検索部であり、第２種の画像検索手段として機能する。第２種の画像検索部２５ｂは、画像検知部２２で第２種の画像と分類された入力画像に対して、第２の特徴量抽出部２４ｂで抽出された第２の特徴量に基づき、後述の第２種の画像用辞書データ（記憶部１７に保存されている）を検索し、出力画像候補を抽出する。
【００７５】
２７は出力画像作成部であり、上記出力画像候補から出力画像が選択されると記憶部１７の蓄積画像データ３２を参照して引き出される画像データを受け取り、データ処理部１０より出力するために出力画像を作成する。
【００７６】
以上がデータ処理部１０の構成要素である。画像の登録処理及び検索処理の詳細については、後で図５及び図６を用いてそのフローを説明する。
【００７７】
記憶部１７は、画像の登録と検索に関わる記憶データとして、３１ａ、３１ｂの辞書データ、３２の蓄積画像データを有している。
【００７８】
３１ａは第１種の画像用辞書データであり、画像検知部２２で第１種の画像と分類された入力画像が、第１の特徴量抽出部２４ａで抽出された第１の特徴量と関連づけて登録されており、画像検知部２２で第１種の画像と分類された入力画像に対して、第１の特徴量抽出部２４ａで抽出された第１の特徴量に基づき、検索がかかる。
【００７９】
また３１ｂは第２種の画像用辞書データであり、画像検知部２２での分類結果に関わらず、入力画像が第２の特徴量抽出部２４ｂで抽出された第２の特徴量と関連づけて登録されており、画像検知部２２で第２種の画像と分類された入力画像に対して、第２の特徴量抽出部２４ｂで抽出された第２の特徴量に基づき、検索がかかる。
【００８０】
３２は蓄積画像データであり、入力画像の辞書データ３１ａまたは３１ｂへの登録に合わせて、入力画像の画像データが保存される。また入力画像に対する検索時には、検索された辞書データ登録情報に基づき、蓄積画像データ３２から該当する画像データが出力画像候補として抽出される。
【００８１】
（データ処理部１０の動作）
上記したデータ処理部１０の各部の機能において特徴的な部分は、画像検知部２２での第１種または第２種の画像への分類結果に対して、後の画像登録の動作と、従って辞書データの登録内容が、第１種と第２種の画像に関して対称的でないことである。
【００８２】
実際に、入力画像が第１種の画像の場合と第２種の画像の場合とで、画像登録時または画像検索時の処理がどう異なるかを表１に示した。
【００８３】
【表１】
【００８４】
表１に示すように、入力画像が第１種の画像の場合、第１の特徴量と関連づけて第１種の画像用辞書データに登録するとともに、第２の特徴量と関連づけて第２種の画像用辞書データにも登録している。すなわち第１種の画像である入力画像に対しては、両方の辞書データに登録される。
【００８５】
入力画像が第２種の画像の場合は、第２の特徴量と関連づけて第２種の画像用辞書データにだけ登録している。
【００８６】
検索時には、第１種の入力画像に対しては、第１の特徴量に基づき、第１種の画像用辞書データのみを検索する。もちろん、第２の特徴量に基づき、第２種の画像用辞書データをも検索することが可能であるが、両方に同じ画像が登録されており、同じ第１種の出力画像が抽出されるのみであり、その必要性がない。
【００８７】
第２種の入力画像に対しては、その第２の特徴量に基づき、第２種の画像用辞書データのみを検索する。これは第１種の画像用辞書データの方には登録されていないからである。しかし、第２種の画像用辞書データから抽出される出力画像は、第２種の画像とは限らず、第１種の画像の場合もある。これは第２種の画像用辞書データには第１種の画像も第２の特徴量と関連づけて登録されているからであり、第２種の入力画像に対して、その第２の特徴量に基づいて第１種の出力画像が抽出されることがある。
【００８８】
データ処理部１０における、こういったデータ処理の特徴がどのような効果に関連しているかを図４を用いて説明する。
【００８９】
図４は、画像の種類がカラー画像とモノクロ画像の場合を想定しており、図４（ａ）はＭＦＰによるカラー画像のモノクロでのプリント時に画像登録する場合の動作を示し、図４（ｂ）はＭＦＰによるモノクロ画像の入力に対して元のカラー画像を検索し、カラープリントする場合の動作を示す。
【００９０】
すなわち、図４においては、第１種の画像はカラー画像であり、第１の特徴量はカラー特徴量であり、さらに第２種の画像はモノクロ画像であり、第２の特徴量はモノクロ特徴量である場合を想定している。
【００９１】
図４（ａ）においてカラー画像Ａが、例えば通信部１５などからプリント用の画像データとして入力される。これは一方でモノクロ画像Ａ’としてモノクロでプリントアウトされる。しかしもう一方では、カラー画像Ａとして記憶部１７の蓄積画像データ５４に追加記憶されるとともに、辞書データ５３ａ及び５３ｂに登録される。
【００９２】
登録の手順として、まず画像検知部５１でカラー画像であることが検知される。カラー画像はカラー用辞書データ５３ａとモノクロ用辞書データ５３ｂの両方に登録される。従って、カラー特徴量抽出５２ａとモノクロ特徴量抽出５２ｂと両方が行われ、それぞれの特徴量を関連づけて、カラー画像Ａはカラー用辞書データ５３ａとモノクロ用辞書データ５３ｂのそれぞれに登録される。すなわちモノクロ用辞書データ５３ｂにもモノクロ特徴量と関連づけたカラー画像Ａが登録されている。
図４（ｂ）においてはモノクロ画像Ａ’が、例えば画像読み取り部１３などにより画像入力される。これに対して出力すべき画像としてオリジナルの画像の存在が検索される。すなわち、モノクロ画像Ａ’のオリジナルがカラーであればそのカラー画像を出力するという処理動作である。
【００９３】
検索の手順としては、まず画像検知部５１でモノクロ画像であることが検知される。従って、モノクロ画像Ａ’に対してモノクロ特徴量抽出５２ｂのみが行われ、そのモノクロ特徴量に基づいてモノクロ用辞書データ５３ｂが検索される。しかしモノクロ用辞書データ５３ｂには、オリジナルがモノクロ画像であってもカラー画像であっても登録されているはずである。従ってこの場合、オリジナルのカラー画像Ａが抽出され、記憶部１７の蓄積画像データ５４からカラー画像Ａの画像データが引き出され、カラー画像Ａとしてカラーでプリントアウトされる。
【００９４】
データ処理部１０でこのような処理を行うことにより、カラーの原文書をモノクロでプリントした紙文書から、元のカラー文書データを検索し、利用することができる。
【００９５】
一方ではモノクロ画像に対して検索をかける必要があるものの、単純にモノクロ特徴量のみを利用して検索するのでは、一方でカラー画像の有する強力な検索特徴、つまりカラー情報を利用できない。モノクロ画像とカラー画像に対して、検索のキーとしてのモノクロ特徴量とカラー特徴量を使い分けることが検索処理を効率的にするが、場合によっては、上記のようにモノクロ特徴量でカラー画像を検索するといった処理を組み込むことが検索の自由度と価値を上げることがある。本実施形態はそういう場合にも適切な動作を行い、検索効果を上げることができる。
【００９６】
すなわち、カラー画像とモノクロ画像の場合でいうなら、カラーの特徴量をキーとするカラー用の辞書データにはカラーの原文書のみを登録し、モノクロの特徴量をキーとするモノクロ用辞書データにはすべての原文書を登録しておき、所定の検索処理をかけると、モノクロ文書に対しては、原文書がカラーであっても自動的にモノクロ用辞書データからカラーの原文書を検索することができ、一方カラー文書に対しては、カラー文書のみ検索し、不必要なモノクロ文書の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。
【００９７】
第１種の画像、第２種の画像は、このようにカラー画像、モノクロ画像に限定されるものではない。本発明の実施形態にふさわしいのは、第１種の画像に対して適切な特徴量である第１の特徴量が、第２種の画像に対して適切な特徴量である第２の特徴量を包含するような場合である。このような場合、第１の特徴量の次元数は、第２の特徴量の次元数よりも大きくなる。
【００９８】
例えば、カラー特徴量の情報量はモノクロ特徴量の情報を含んでいるが、その逆は言えない。カラー画像をモノクロ画像に変換することは通常容易に行われるが、その逆は原則的にない。このような場合、カラー画像をモノクロ画像から検索することに意味があり、その逆は通常ない。つまり、非対称な関係である。
【００９９】
例えば、第１種の画像が複数ページからなる画像、第２種の画像がその中の単独ページからなる画像としてもよい。このような場合第１の特徴量は、情報量として第２の特徴量を包含することになるだろう。単独のページからそれを含む複数のページを検索することはあっても、その逆は意味がない。
【０１００】
このような場合、第２種の画像に対しては、原画像が第１種の画像であっても自動的に第２種の画像用辞書データから第１種の画像である原画像を検索することができ、一方、第１種の画像に対しては、第１種の画像のみ検索し、不必要な第２種の画像の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。
【０１０１】
（画像登録処理のフロー）
図５を用いてデータ処理部１０における画像登録の処理の流れを説明する。また適時図３も参照する。図５は本実施形態に係る画像登録方法のフローチャートである。
【０１０２】
図５のステップＳ１１では、まず登録するための入力画像が取得される。これは図１における画像読み取り部１３あるいは通信部（画像入力部）１５などにより取得される。
【０１０３】
取得された入力画像はデータ処理部１０に送られ、ステップＳ１２で前処理が施される。前処理は、図３の前処理部２１で行われ、入力画像の幾何学的な位置、方向、大きさなどの補正であったり、読み取りにより発生する色、輝度ムラなどを補正するシェーディング補正であったりする。
【０１０４】
次いでステップＳ１３では、前処理された入力画像が、入力日時その他のメタデータとともに所定のフォーマットで記憶部１７の蓄積画像データ３２に保存される。また画像の参照用として、入力画像には画像ＩＤ番号が付される。画像ＩＤ番号によって辞書データの登録内容（特徴量など）と蓄積画像データ３２の画像データとは連結している。
【０１０５】
ステップＳ１４は第１の特徴量抽出工程であり、入力画像に対する第１の特徴量が第１の特徴量抽出部２４ａで抽出される。次のステップで入力画像が第１種の画像かどうかを第１の特徴量を用いて判別するためにこういう手順としている。操作部１１からのユーザの指定により、あるいは本システムが内蔵されている画像形成装置（ＭＦＰ）などからの情報により、画像の種類を検知する場合は、その検知後に必要に応じて特徴量を抽出してもよい。
【０１０６】
ここで第１の特徴量はカラー特徴量であるとして、その具体例を説明する。
【０１０７】
カラー画像は二次元に配列する画素の集合から構成され、各画素はそれぞれ複数の色成分値を有する。各色成分値は、通常三次元の色空間で規定される。一般に使用される色空間は各種あるが、ここではＬａｂ色空間におけるヒストグラムを用いた特徴量、すなわちブロックＬａｂヒストグラムについて述べる。
【０１０８】
Ｌ、ａ、ｂの三つの色成分で表されるＬａｂ空間を任意のＫ個のビンに区分する。各画素はその色成分により何れかのビンに該当する。一方でカラー画像全体をＩ×Ｊの矩形ブロックに区分けする。その各矩形ブロックごとに、そのブロックを構成する各画素の色成分の該当するビンを求め、Ｋ個のビンに対する該当画素の個数、すなわち頻度を求め、各ブロックごとにヒストグラムを作成する。つまり、各ブロックごとに横軸がＫ個のビン、縦軸が頻度（画素数）のヒストグラムができる。このヒストグラムは独立したＫ個の値で表され、Ｋ次元の空間内の点として記述できる。このヒストグラムをそのブロックの特徴量とすると次元数Ｋの特徴量となる。
【０１０９】
入力画像に対しては、ヒストグラムの総数が矩形ブロックの数、すなわちＩ×Ｊ個であるので、Ｉ×Ｊ個のヒストグラムをこの入力画像のカラー特徴量とすると、次元数はＣ＝Ｉ×Ｊ×Ｋとなる。
【０１１０】
後のステップで抽出する第２の特徴量についても、モノクロ特徴量であるとして、同様の具体例、すなわちブロック輝度ヒストグラムを説明する。
【０１１１】
モノクロ画像はカラー画像と同様に二次元に配列する画素の集合から構成されるが、各画素はそれぞれ複数の色成分値ではなく単独の輝度値を有する。各画素の輝度値は、１次元の値であり、モノクロ画像に対して先のＬａｂ色空間を適用してもＬ成分値のみの実質１次元の値となる。一方カラー画像に対しては、その３次元の色成分値から１次元の輝度値を算出することができる。つまりカラー画像をモノクロ画像に変換する処理を色成分から輝度値への変換という形で数値的に表現できるのである。例えば紙文書などでは、カラー文書画像からモノクロ文書画像への変換がかなりの頻度で行われることを考えると、前述のようにカラー画像をモノクロ特徴量と関連づけておくことが有効であることが多い。
【０１１２】
輝度値で表される１次元のスケールを任意のＬ個のビンに区分する。各画素はその輝度値により何れかのビンに該当する。一方でカラー特徴量の場合と同様、全体をＩ×Ｊの矩形ブロックに区分けする。その各矩形ブロックごとに、やはりカラー特徴量と同様に、そのブロックを構成する各画素の輝度値の該当するビンを求め、Ｌ個のビンに対する該当画素の頻度（個数）から、各ブロックごとに横軸がＬ個のビン、縦軸が頻度（画素数）のヒストグラムを作成する。このヒストグラムは次元数Ｌの特徴量であり、入力画像に対しては、ヒストグラムの総数が矩形ブロックの数（Ｉ×Ｊ個）であるので、それをこの入力画像のモノクロ特徴量とすると、その次元数はＭ＝Ｉ×Ｊ×Ｌとなる。
【０１１３】
通常Ｌ≪Ｋのため、モノクロ特徴量の次元数Ｍ＝Ｉ×Ｊ×Ｌは、カラー特徴量の次元数Ｃ＝Ｉ×Ｊ×Ｋよりもずっと低い次元数となる。しかしながらＭでさえも、一般には非常に高い次元となる。
【０１１４】
図５に戻り、画像登録処理の説明を続ける。
【０１１５】
ステップＳ１４で入力画像に対して第１の特徴量を抽出すると、次のステップＳ１５ではその第１の特徴量に基づいて入力画像が第１種の画像であるか第２種の画像であるかの判別を行う。ステップＳ１５は画像検知工程である。
【０１１６】
判別処理は画像検知部２２で行われる。但し、画像の種類に関する情報が、操作部１１によるユーザの指定から、あるいは本システムが内蔵された画像形成装置本体から、得られるのではなく、入力画像自体から判別する場合には、画像検知部２２内の画像判別部２３で判別処理が行われる。従ってステップＳ１５の画像検知工程には画像判別工程も含まれる。
【０１１７】
例えば、カラー画像（第１種の画像とする）とモノクロ画像（第２種の画像とする）の例で判別処理を説明すると、前述のようにカラー画像のカラー特徴量は３次元の色空間に基づいた特徴量となるが、モノクロ画像のカラー特徴量は実質１次元のＬ成分のみに基づいた特徴量となる。これにより特徴量に生じてくる差異を利用してカラー画像とモノクロ画像の判別ができる。例えば、カラー特徴量であるブロックＬａｂヒストグラムの、ａｂ成分に該当するビンの値が０であればモノクロ画像、そうでなければカラー画像と判別できる。
【０１１８】
ステップＳ１５で、入力画像が第１種の画像であると判別された場合（ステップＳ１５：ＹＥＳ）は、次のステップＳ１６を実行する。入力画像が第２種の画像であると判別された場合（ステップＳ１５：ＮＯ）は、次のステップＳ１６を省略し、ステップＳ１７を実行する。
【０１１９】
ステップＳ１６は第１種の画像登録工程である。入力画像が第１種の画像であるので、入力画像を保存した画像ＩＤ番号と第１の特徴量とを関連づけて、記憶部１７の第１種の画像用辞書データ３１ａに登録する。登録処理は第１種の画像登録部２５ａで行われる。
【０１２０】
ステップＳ１７は第２の特徴量抽出工程であり、入力画像が第１種の画像であるか第２種の画像であるかに関わらず、入力画像に対する第２の特徴量が第２の特徴量抽出部２４ｂで抽出される。第２の特徴量がモノクロ特徴量である場合の特徴量の具体例については既に説明した。
【０１２１】
ステップＳ１８は第２種の画像登録工程である。入力画像が第１種の画像であるか第２種の画像であるかに関わらず、入力画像を保存した画像ＩＤ番号と第２の特徴量とを関連づけて、記憶部１７の第２種の画像用辞書データ３１ｂに登録する。登録処理は第２種の画像登録部２５ｂで行われる。
【０１２２】
例えば、カラー画像（第１種の画像）とモノクロ画像（第２種の画像）の例でステップＳ１６とステップＳ１８の画像登録処理を説明する。
【０１２３】
前述のように入力画像がカラー画像の場合、Ｃ（＝Ｉ×Ｊ×Ｋ）次元のカラー特徴量が抽出され、入力画像に付与された画像ＩＤ番号と関連づけてカラー画像用辞書データに登録される。また入力画像がカラー画像であってもモノクロ画像であっても、Ｍ（＝Ｉ×Ｊ×Ｌ）次元のモノクロ特徴量が抽出され、入力画像に付与された画像ＩＤ番号と関連づけてモノクロ画像用辞書データに登録される。
【０１２４】
表２にカラー画像用辞書データ及びモノクロ画像用辞書データのデータ構造例を示す。
【０１２５】
【表２】
【０１２６】
カラー画像用辞書にはカラー画像のみが登録され、各画像のＩＤ番号（表では１からＮ）に対して、Ｃ次元のカラー特徴量（表では１からＣ）が連繋して記憶される。モノクロ画像用辞書にはカラー画像及びモノクロ画像が登録され、各画像のＩＤ番号（表では１からＮ）に対して、Ｍ次元のカラー特徴量（表では１からＭ）が連繋して記憶される。
【０１２７】
画像ＩＤ番号については、特徴量に基づき検索した画像（のＩＤ番号）から画像データを参照するためのものであり、画像データを参照可能であれば、表２とは異なる任意のＩＤ番号付与方法が可能である。また、特徴量はそれを元に画像検索するためのものであり、検索の目的に応じて記憶する特徴量の構成を変えてもよい。
【０１２８】
また上記以外に、検索に役立てるためあるいはそれ以外の目的で、各画像に付随する任意のメタデータを合わせて記憶させていてもよい。また、後述するように検索をより効率化するために、検索用のインデックスを付与し、記憶させていてもよい。
【０１２９】
上記辞書データを用いた検索処理の具体例については後述する。
【０１３０】
以上データ処理部１０における画像登録方法の説明を終える。
【０１３１】
（画像検索処理のフロー）
図６を用いてデータ処理部１０における画像検索の処理の流れを説明する。また適時図３も参照する。図６は本実施形態に係る画像検索方法のフローチャートである。
【０１３２】
図６のステップＳ２１では、まず操作部１１からのユーザの指示などで検索が開始されると、検索の基準となる入力画像が取得される。これは図１における画像読み取り部１３あるいは通信部（画像入力部）１５などにより取得される。
【０１３３】
取得された入力画像はデータ処理部１０に送られ、ステップＳ２２で前処理が施される。前処理は、図３の前処理部２１で行われ、入力画像の幾何学的な位置、方向、大きさなどの補正であったり、読み取りにより発生する色、輝度ムラなどを補正するシェーディング補正であったりする。
【０１３４】
ステップＳ２３は第１の特徴量抽出工程であり、入力画像に対する第１の特徴量が第１の特徴量抽出部２４ａで抽出される。次のステップで入力画像が第１種の画像かどうかを第１の特徴量を用いて判別するためにこういう手順としている。操作部１１からのユーザの指定により、あるいは本システムが内蔵されている画像形成装置（ＭＦＰ）などからの情報により、画像の種類を検知する場合は、その検知後に必要に応じて特徴量を抽出してもよい。
【０１３５】
第１の特徴量がカラー特徴量であるとしたときの、特徴量の具体例は画像登録処理のフローで既に述べたとおりである。
【０１３６】
入力画像に対する第１の特徴量が抽出されると、次のステップＳ２４ではその第１の特徴量に基づいて入力画像が第１種の画像であるか第２種の画像であるかの判別を行う。ステップＳ２４は画像検知工程である。
【０１３７】
判別処理は画像検知部２２で行われる。但し、画像の種類に関する情報が、操作部１１によるユーザの指定から、あるいは本システムが内蔵された画像形成装置本体から、得られるのではなく、入力画像自体から判別する場合には、画像検知部２２内の画像判別部２３で判別処理が行われる。従ってステップＳ２４の画像検知工程には画像判別工程も含まれる。
【０１３８】
判別処理については、画像登録処理の場合と同様である。
【０１３９】
以上の各ステップについては、画像登録処理の場合と同様であるが、次のステップからは各工程の内容が異なってくる。
【０１４０】
ステップＳ２４で、入力画像が第１種の画像であると判別された場合（ステップＳ２４：ＹＥＳ）は、次のステップＳ２５を実行する。入力画像が第２種の画像であると判別された場合（ステップＳ２４：ＮＯ）は、ステップＳ２６を実行する。
【０１４１】
ステップＳ２５は第１種の画像検索工程である。入力画像が第１種の画像であるので、抽出された第１の特徴量に基づいて記憶部１７の第１種の画像用辞書データ３１ａを検索する。第１の特徴量に基づく類似度の高い出力画像候補を抽出し、その画像ＩＤ番号をもとに同じく記憶部１７の蓄積画像データ３２から該当する画像データを参照してくる。従って出力画像候補は第１種の画像である。検索処理は第１種の画像検索部２５ａで行われる。ステップＳ２５で出力画像候補が抽出されるとステップＳ２８に進む。
【０１４２】
一方、入力画像が第２種の画像の場合に実行されるステップＳ２６は、第２の特徴量抽出工程であり、第２種の画像である入力画像に対する第２の特徴量が第２の特徴量抽出部２４ｂで抽出される。第２の特徴量がモノクロ特徴量である場合の特徴量の具体例についても既に説明した。
【０１４３】
次のステップＳ２７は第２種の画像検索工程である。入力画像が第２種の画像であるので、抽出された第２の特徴量に基づいて記憶部１７の第２種の画像用辞書データ３１ｂを検索する。第２の特徴量に基づく類似度の高い出力画像候補を抽出し、その画像ＩＤ番号をもとに同じく記憶部１７の蓄積画像データ３２から該当する画像データを参照してくる。従って出力画像候補は第１種の画像または第２種の画像の何れかである。検索処理は第２種の画像検索部２５ａで行われる。
【０１４４】
例えば、カラー画像（第１種の画像）とモノクロ画像（第２種の画像）の例でステップＳ２５とステップＳ２７の画像検索処理を説明する。
【０１４５】
前述の表２のように、カラー画像用辞書データにはカラー画像のみが登録され、カラー画像の画像ＩＤ番号と関連づけてＣ（＝Ｉ×Ｊ×Ｋ）次元のカラー特徴量が登録されている。またモノクロ画像用辞書データにはカラー画像及びモノクロ画像が登録され、カラー画像及びモノクロ画像の画像ＩＤ番号と関連づけてＭ（＝Ｉ×Ｊ×Ｌ）次元のモノクロ特徴量が登録されている。
【０１４６】
検索の基準となる入力画像がカラー画像であった場合、カラー特徴量に基づいてカラー画像用辞書データを検索する。入力画像のカラー特徴量と、カラー画像用辞書データに登録されているそれぞれの画像のカラー特徴量とを、カラー特徴量のＣ次元空間で比較し、Ｃ次元空間内で定義された距離を算出する。その距離を類似度（ゼロに近いほど類似している）とし、カラー画像用辞書データに登録されている画像について逐次その距離を求め、類似度の高い（距離の小さい）カラー特徴量に該当する画像ＩＤ番号を出力画像候補として抽出する。
【０１４７】
また検索の基準となる入力画像がモノクロ画像であった場合も同様に、モノクロ特徴量に基づいてモノクロ画像用辞書データを検索する。入力画像のモノクロ特徴量と、モノクロ画像用辞書データに登録されているそれぞれの画像のモノクロ特徴量とを、モノクロ特徴量のＭ次元空間で比較し、Ｍ次元空間内で定義された距離を算出する。その距離を類似度（ゼロに近いほど類似している）とし、モノクロ画像用辞書データに登録されている画像について逐次その距離を求め、類似度の高い（距離の小さい）モノクロ特徴量に該当する画像ＩＤ番号を出力画像候補として抽出する。
【０１４８】
ここで、入力画像がカラー画像であった場合、カラー特徴量に基づいて、カラー画像だけが登録されているカラー画像用辞書データを検索するので、出力画像候補はすべてカラー画像である。一方、入力画像がモノクロ画像であった場合、モノクロ特徴量に基づいて、カラー画像及びモノクロ画像の両方が登録されたモノクロ画像用辞書データを検索するので、出力画像候補はカラー画像またはモノクロ画像の何れかとなる。
【０１４９】
検索処理は一般に、上記のＣやＭで記した高次元の特徴量に対して、上記のような類似度合いを算出していかねばならないので、精度を落とさず効率をいかに上げるかが重要である。本システムのような画像検索方法によれば、モノクロ文書に対しては、原文書がカラーであっても自動的にモノクロ用辞書データからカラーの原文書を検索することができ、一方カラー文書に対しては、カラー文書のみ検索し、不必要なモノクロ文書の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。
【０１５０】
また本システムにおいて、さらに検索効率を上げるためには、各辞書データに検索用のインデックスを付与することが望ましい。これについては後述する。
【０１５１】
ところで、上記のような本システムでのカラー文書画像（第１種の画像とする）とモノクロ文書画像（第２種の画像とする）の扱いが検索に不都合を生ずる場合もある。
【０１５２】
例えば、カラー特徴量を用いたカラー画像とモノクロ画像の判別処理について、カラー特徴量は３次元の色空間に基づいた特徴量となるが、モノクロ画像のカラー特徴量は実質１次元のＬ成分のみに基づいた特徴量となり、これにより特徴量に生じてくる差異を利用してカラー画像とモノクロ画像の判別ができると述べた。
【０１５３】
しかし、モノクロ画像であっても一部分がカラー画像になっているという場合もある。例えば、モノクロの文書画像の一部に赤ペンでの追記があるといった場合であるが、このような場合は、その文書画像が本来モノクロであることを考慮すれば、モノクロ画像としてモノクロ特徴量を検索に用いた方がより適切な検索が可能になる。
【０１５４】
本システムでの画像登録時には、登録する入力画像がカラー画像と判別されると、カラー特徴量とモノクロ特徴量を両方抽出し、カラー画像用の辞書データとモノクロ画像用の辞書データと両方に登録される。つまり、それが検索対象のオリジナルであり、カラー画像からもモノクロ画像からも検索可能となっている。
【０１５５】
しかし、本システムでの画像検索時には、検索の基準となる入力画像がカラー画像と判別されると、カラー特徴量だけを抽出し、カラー画像用の辞書データだけを検索することになり、従って原画像がモノクロ画像であった場合には、その原画像はカラー画像用の辞書データには登録されていないため、検索されなくなってしまう。
【０１５６】
このような不都合を防ぐために、例えば以下のような対処を行った方がよい。
【０１５７】
画像判別部２３における入力画像の判別処理時に、画像の区分けされた領域ごとに判別を行い、第１種の画像と判別される領域と第２種の画像と判別される領域と、両方が入力画像に含まれる場合は、入力画像の全体領域に対する第１種の画像と判別される領域の占める割合を算出し、その割合が所定のしきい値以上の場合に入力画像を第１種の画像と判別し、そうでない場合には第２種の画像と判別する。
【０１５８】
上記に従えば、入力画像が第２種の画像と判別されても、第１種の画像に相当する領域を有する場合があることになる。第２種の画像検索部２６ｂにおける検索処理時には、この画像から抽出した第２の特徴量を用いて第２種の画像用辞書データを検索することになるが、その際、検索の精度を上げるため、第１種の画像に相当する領域の特徴量は検索に使用しない。すなわち、その画像中の第１種の画像領域を除いた部分に対応する第２の特徴量に基づいて、第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する。
【０１５９】
このような対処により、モノクロの原文書に対して、カラーの付加した文書からも適切に検索をかけて、出力画像としてモノクロの原文書を抽出することが可能となる。
【０１６０】
図６に戻り、次のステップＳ２８では、抽出された出力画像候補について表示部１２に表示するためデータ処理部１０より出力する。表示部１２に表示されるのは一般にサムネイルと称される縮小された簡略化画像である。
【０１６１】
図７に表示部１２に表示される状態の例を示す。図７では、左の６１に検索の基準となる入力画像のサムネイルが表示され、右側に検索して抽出された六つの出力画像候補のサムネイルが類似度合いの順に表示されている。例えば、６２が最も類似した出力画像候補であり、６３が六つのうちで最も類似していない出力画像候補である。
【０１６２】
ユーザはこの表示に基づき、最適な出力画像を選択し、操作部１１を通じてデータ処理部１０に指定入力する。データ処理部１０は出力画像の指定を受け、該当するＩＤ番号の画像データを記憶部１７の蓄積画像データ３２を参照して引き出し、出力画像作成部２７に渡す。
【０１６３】
次のステップＳ２９では、出力画像作成部２７は、蓄積画像データ３２からの画像データを受け取り、データ処理部１０より出力するために出力画像を作成する。
【０１６４】
以上で、データ処理部１０における画像検索方法の説明を終える。
【０１６５】
（検索用インデックスを用いた検索処理）
本実施形態によれば、第１種の画像と第２種の画像とで辞書データを切り分けて検索し、且つその登録内容を工夫することにより、精度よく且つ効率よく検索できるようにしている。しかし、さらなる効率化のため、あるいは他の目的であっても様々な変更が可能である。
【０１６６】
例えば、検索用のインデックスを用いることでさらに検索を効率化することができる。検索用のインデックスの付け方は、様々な公知の方法を適用することが可能であるが、ここではｋ−Ｄ木を使用した検索用インデックスを説明する。
【０１６７】
いわゆる木構造を形成するように分類しておき、検索時には木の幹から枝分かれしながら辿っていくことで最小の手数で枝先端まで達するという考え方に基づいている。
【０１６８】
分類木の構成方法を以下に手順で示すと、
（１−１）サンプルとしてＮ個の画像があればＮ個の特徴量があり、Ｎ個の特徴量は高次元の特徴量空間中にサンプル点として分布している。この特徴量空間中に任意の特徴軸を選択し、その軸に垂直な超平面を考える。特徴量空間内でＮ個の特徴量のサンプル点がその超平面で等分されるよう超平面の位置を決めて、特徴量空間を２分割する。
（１−２）２分された特徴量空間のそれぞれについて、また別の特徴軸を用いて、１と同様にして空間をさらに２分割する。
（１−３）以下、分割された各特徴量空間ごとに、特徴軸を変更しながら分割を続け、最終的に分割された各特徴量空間に特徴量のサンプル点が１つだけになるまで特徴量空間を分割する。
【０１６９】
図８には、２次元の特徴量空間の場合に、空間６０が分割されている状態を例示した。全体の領域が上下に２分割され、さらに各々の領域が左右に２分割され、また上下に２分割され、２分割を３回続けることで８個の特徴量のサンプル点６６が８個の分割された領域６７に各一つずつ入るように分割されている。このそれぞれの分割空間（すなわち各サンプル点）への到達経路を示すよう検索用インデックスを付与する。
【０１７０】
新しく特徴量のサンプル点が追加登録されるときは、枝の先端部で木構造を修正することになる。それに従って該当する部分の検索用インデックスも更新処理を行う。
【０１７１】
上記分類木による検索方法を以下に手順で示すと、
（２−１）検索のキーとなる特徴量が与えられると、その特徴量もこの分割された特徴量空間の何れかに特徴点（質問点と呼ぶ）として位置することになる。上記の分割は２分木となっているので、２分木を辿ってこの特徴点の属する分割空間を特定していく動作は、すなわちこの特徴点の属する分割空間の検索用インデックスを求める動作である。求めたインデックスに従いその分割空間に属するサンプル点を検出する。
（２−２）質問点を中心とし、検出されたサンプル点を表面に含む超球を考え、超球と交わる分割空間を求める。
（２−３）１で検出されたサンプル点、及び２で検出された分割空間中のサンプル点の中で最も質問点までの距離が近いものを、それぞれ距離計算を行って比較することにより求める。
【０１７２】
上記のように、予め木構造の検索用インデックスを付与しておけば、特徴量空間での距離計算は近傍のサンプル点だけでよく、後はキーとなる特徴量の点、つまり質問点がどの分割空間に属するかを木構造を辿って特定する動作だけである。
【０１７３】
本実施形態の検索システムにおいては、第１種の画像用辞書データと第２種の画像用辞書データとが切り分けて用意されているので、検索用インデックスもそれに対応して、第１種の画像検索用インデックスと第２種の画像検索用インデックスとを切り分けて用意することになる。
【０１７４】
なお、検索用インデックスを切り分けることにより、辞書データについても、第１種の画像用と第２種の画像用を別々の記憶データとするのではなく、一つの記憶データの中に両者を含めておくことが可能である。記憶されている個々の画像データの登録内容が、第１種の画像用辞書データに該当するのか第２種の画像用辞書データに該当するのか、その切り分けは、検索時に検索用インデックスを切り換えることで行うことにすれば、同一の記憶データの中から両者を切り分けて検索することも可能である。
【０１７５】
以上のように、本実施形態によれば、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、それらのうち１つの特徴量に対して１種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元の入力画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。
【０１７６】
なお本発明の実施形態は、上記の実施形態に限定されるものではなく、本発明の趣旨に則る限り、様々な変更された形態もその範囲に含まれるものである。
【図面の簡単な説明】
【０１７７】
【図１】本実施形態に係る画像検索システム及び画像登録システムの構成例を示すブロック図である。
【図２】ＭＦＰに内蔵されるシステムとして、（ａ）はＭＦＰによる文書画像の複写時に画像登録する場合の、（ｂ）はＭＦＰによる文書画像の複写時に画像検索する場合の、それぞれ画像検索システム１の動作を説明する図である。
【図３】図１におけるデータ処理部１０の内部構成例を示すブロック図である。
【図４】（ａ）はＭＦＰによるカラー画像のモノクロでのプリント時に画像登録する場合の、（ｂ）はＭＦＰによるモノクロ画像の入力に対して元のカラー画像を検索し、カラープリントする場合の、それぞれ動作を示す図である。
【図５】本実施形態に係る画像登録方法の処理の流れを示すフローチャートである。
【図６】本実施形態に係る画像検索方法の処理の流れを示すフローチャートである。
【図７】表示部１２に出力画像候補が表示される状態の例を示す図である。
【図８】検索のため２分木を構成し、２次元の特徴量空間が分割されている状態を例示した図である。
【符号の説明】
【０１７８】
１ 画像検索システム（及び画像登録システム）
２ ネットワーク
３、４、５ 外部装置
１０ データ処理部
１１ 操作部
１２ 表示部
１３ 画像読み取り部
１４ プリント部
１５ 通信部（画像入力部）
１６ 通信部（画像出力部）
１７ 記憶部
２１ 前処理部
２２ 画像検知部
２３ 画像判別部
２４ａ 第１の特徴量抽出部
２４ｂ 第２の特徴量抽出部
２５ａ 第１種の画像登録部
２５ｂ 第２種の画像登録部
２６ａ 第１種の画像検索部
２６ｂ 第２種の画像検索部
２７ 出力画像作成部
３１ａ 第１種の画像用辞書データ
３１ｂ 第２種の画像用辞書データ
３２ 蓄積画像データ
４１ 原文書画像Ａ
４２ 複写文書画像Ａ’
４３ 複写文書画像Ａ”
４４ 複写文書画像Ａ’
４５ カラー画像Ａ
４６ モノクロ画像Ａ’
４７ モノクロ画像Ａ’
４８ カラー画像Ａ
【技術分野】
【０００１】
本発明は、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出する画像検索システム、画像検索方法、及び検索される画像を辞書データに登録する画像登録システム、画像登録方法に関する。
【背景技術】
【０００２】
近年は、デジタル化、ネットワーク化の進展により、様々な情報が電子的に扱われるようになってきた。オフィスなどでも文書の電子化が進み、大量の文書がデジタルの電子ファイルとして管理されている。電子的に文書を取り扱うことにより、紙文書では考えられなかった大量のデータの迅速な処理、作成、表示印刷、移動や検索などが可能となっている。
【０００３】
しかしながら、紙文書に代表されるアナログの媒体も捨てがたいものがあり、会議などの資料としてその手軽さ、見やすさからプリントアウトされた紙文書が配られたりするのは今もよくあることである。
【０００４】
こういった事情から、デジタルの電子データと紙文書などのアナログデータとを両立させ、互いに連繋しながらシームレスに活用できることが望まれている。
【０００５】
現状では両者の変換法として、電子データを紙媒体にプリントアウトする、あるいは紙文書をスキャンして電子的に画像データ化する、などが行われている。しかしここで、一旦アナログデータにすると、デジタルデータとは異なり、変化するという特性があることに注目しなければならない。例えば、コピーして作成した文書は元の文書から変化しているし、それをコピーすればまた変化する。スキャンして再度デジタル化しても元の電子データとは異なっている。
【０００６】
こういった状況に対して、アナログの紙文書から、それに対応するデジタルの電子データを、管理された大量の電子データの中から電子的に検索できるような技術が求められてきた。そうすれば、常に一貫したデジタルデータを元にして各種処理を行うことが可能になる。
【０００７】
検索の手段としては、識別コードやメタデータを付与して、それをキーに検索する方法なども開発されたが、紙文書の場合その印刷内容の中にコードなどを埋め込まねばならないという制約がある。文書中のテキストなどのキーワードで検索する方法もあるが、テキストだけでは不十分であり、図主体の文書などでは不適当である。
【０００８】
よく用いられるのは、文書を画像として比較して、その類似度により検索するという手法である。文書の画像データから画像としての特徴量を求め、その特徴量を検索のキーとして検索する。つまり、検索元の画像の特徴量と検索先の各画像の特徴量を比較して類似度合いを算出し、類似度合いの大きい画像を抽出してくるのである。
【０００９】
こういった検索の具体的な用途として考えられる例としては、オフィスでの事務書類の作成、管理、編集、コピー、配信、記録、といった電子データと紙媒体と両方を用いるようなケースである。例えば、配布された紙の文書を再プリントしたい、そのとき通常なら、ＭＦＰに持っていき複写すればよい、しかし様々な理由からそのまま複写しにくい場合もある。例えば、元々はカラー文書であったものをモノクロでプリントしていた、しかし、今度は元のカラー文書が必要だといったケースも想定される。こういった場合、ＭＦＰに持っていき、複写する代わりに検索複写を選択すれば、自動的に管理された登録文書の中から元のカラー文書のデジタルデータを検索し、プリントアウトする、といった形態が考えられる。
【００１０】
しかしながら、上記のモノクロのアナログ画像からカラーのデジタル画像を検索する場合のように、画像データとしての特徴量を用いて、類似画像（アナログなので少し変化している）としての元の画像を検索するに当たって、画像の種類が異なってきているような場合も想定しなければならない。
【００１１】
検索にカラーの特徴量を用いれば、モノクロの特徴量より情報量が多く、検索精度が向上するだろうが、モノクロ画像に対しては、有効でない余計な情報を用いていることになり、非効率である。モノクロ特徴量を用いれば、効率的に検索できるが、カラー画像に対しては、色情報を使用していないので検索の精度を落とすことになる。
【００１２】
カラー画像とモノクロ画像の例を挙げたが、要は画像の性質、種類により、適切な検索法は異なってくるということである。しかしながら、画像の種類を予め限定できず、複数の種類が混在している場合がむしろ一般的であることから、複数の検索法を使い分けるような技術も提案されてきている（例えば、特許文献１、２、及び３参照）。
【００１３】
特許文献１では、カラー画像とモノクロ画像に対して、検索元の画像の種類を検知して、カラー画像であればカラー特徴量を検索に用い、モノクロ画像であればモノクロ特徴量を検索に用いるように、切り換えて処理する技術が提示されている。
【００１４】
特許文献２では、検索元の画像によりカラー特徴量とモノクロ特徴量のどちらを重視するかの重み付けを決定して、常に重み付きで両方を検索に用いる技術を提示している。
【００１５】
特許文献３では、カラーとモノクロではなく、検索元の文書に適用できるマクロ機能を検索するために、例えば用途別、言語別など複数の分類木を用意し、どの分類木を辿っても該当するマクロ機能へ辿れるような技術が提示されている。つまり複数の検索法からユーザが任意に選べるようになっている。
【００１６】
画像の種類を第１種の画像、第２種の画像と称し、それぞれに適した検索のための特徴量を第１の特徴量、第２の特徴量として、上記技術を当てはめてみると、以下のように総括できる。
【００１７】
特許文献１の技術は、検索元の画像が第１種の画像であれば、第１の特徴量を用いて検索し、検索元の画像が第２種の画像であれば、第２の特徴量を用いて検索するタイプ。
【００１８】
特許文献２の技術は、第１の特徴量、第２の特徴量両方を検索に用いるが、検索元の画像に応じてその重み付けを換えるタイプ。
【００１９】
特許文献３の技術は、検索元の画像にかかわらず、第１の特徴量、第２の特徴量を任意に選んで検索することができるタイプ。
【特許文献１】特開２００４−３３４３３６号公報
【特許文献２】特開２００１−１４３０８０号公報
【特許文献３】特開平９−２２３１３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
上記特許文献１に示された技術によれば、第１種の画像に対しても第２種の画像に対しても、それぞれ適切な検索が可能であるが、検索先の画像の種類が検索元の画像の種類と同じであるとは限らない。従って、場合によっては非効率になったり、検索精度がよくなかったりする。また第１の特徴量と第２の特徴量と、両方を予め求めておくか、そのつどどちらかを算出するといった手間が必要である。
【００２１】
特許文献２に示された技術によれば、検索元の画像に応じて重み付けすることで検索の精度がよくなる。しかしながら、検索元の画像に対して、常に第１の特徴量と第２の特徴量と両方の特徴量を算出しなければならない。また検索先の各画像に対しても、両方を予め求めておくなどの対処が必要である。重み付きながら常に両方を用いるので効率が悪い。
【００２２】
特許文献３に示された技術によれば、ユーザが任意に検索方法を選ぶことができ、どちらを選択しても基本的には同じ検索が可能という長所がある。しかしながら、これは複数の検索方法の設定によっては、検索精度や効率が著しくアンバランスになる場合もある。例えばカラーとモノクロの場合のように、第１の特徴量と第２の特徴量の情報量が著しく異なり、一方に他方が包含されるようなケースで適用するのは、現実的ではない。
【００２３】
本発明の目的は、上記のような課題を解決し、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、検索元の入力画像と検索先の記憶された画像の種類とその組み合わせに応じて、検索のための適切な特徴量と辞書データとが選定され、精度が高く、かつ効率的な検索を行うことができる画像検索システム、画像検索方法、及びその適切な辞書データが形成されるよう、検索先の画像を適切な特徴量と関連づけて登録する画像登録システム、画像登録方法を提供することである。
【課題を解決するための手段】
【００２４】
本発明は上記課題を解決するため、以下のような特徴を有するものである。
【００２５】
１． 取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索システムであって、前記入力画像から第１の特徴量を抽出する第１の特徴量抽出手段と、前記入力画像から第２の特徴量を抽出する第２の特徴量抽出手段と、前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知手段と、前記第１の特徴量を検索キーとして、前記第１種の画像が登録された第１種の画像用辞書データと、前記第２の特徴量を検索キーとして、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データと、前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索手段と、前記画像検知手段による前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索手段と、を有する、ことを特徴とする画像検索システム。
【００２６】
２． 前記第２の特徴量抽出手段が抽出する前記第２の特徴量の次元数は、前記第１の特徴量抽出手段が抽出する前記第１の特徴量の次元数よりも小さい、ことを特徴とする１に記載の画像検索システム。
【００２７】
３． 前記画像検知手段は、前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別手段を有する、ことを特徴とする１または２に記載の画像検索システム。
【００２８】
４． 前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、前記画像判別手段は、前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、前記第２種の画像検索手段は、前記画像判別手段が前記入力画像を前記第２種の画像であると判別した場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする３に記載の画像検索システム。
【００２９】
５． 前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、ことを特徴とする１乃至４の何れか１項に記載の画像検索システム。
【００３０】
６． 前記第１種の画像検索手段は、前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、前記第２種の画像検索手段は、前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする１乃至５の何れか１項に記載の画像検索システム。
【００３１】
７． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする１乃至６の何れか１項に記載の画像検索システム。
【００３２】
８ １乃至５の何れか１項に記載の画像検索システムで用いられる辞書データへの画像登録システムであって、前記第１の特徴量抽出手段と、前記第２の特徴量抽出手段と、前記画像検知手段と、前記第１種の画像用辞書データと、前記第２種の画像用辞書データと、前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録手段と、前記画像検知手段による前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録手段と、を有する、ことを特徴とする画像登録システム。
【００３３】
９． 前記第１種の画像登録手段は、前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、前記第２種の画像登録手段は、前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、ことを特徴とする８に記載の画像登録システム。
【００３４】
１０． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする８または９に記載の画像登録システム。
【００３５】
１１． 取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索方法であって、前記入力画像から第１の特徴量を抽出する第１の特徴量抽出工程と、前記入力画像から第２の特徴量を抽出する第２の特徴量抽出工程と、前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知工程と、前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像が登録された第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索工程と、前記画像検知工程における前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索工程と、を備える、ことを特徴とする画像検索方法。
【００３６】
１２． 前記第２の特徴量抽出工程において抽出される前記第２の特徴量の次元数は、前記第１の特徴量抽出工程において抽出される前記第１の特徴量の次元数よりも小さい、ことを特徴とする１１に記載の画像検索方法。
【００３７】
１３． 前記画像検知工程は、前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別工程を有する、ことを特徴とする１１または１２に記載の画像検索方法。
【００３８】
１４． 前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、前記画像判別工程では、前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、前記第２種の画像検索工程では、前記画像判別工程において前記入力画像が前記第２種の画像であると判別された場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする１３に記載の画像検索方法。
【００３９】
１５． 前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、ことを特徴とする１１乃至１４の何れか１項に記載の画像検索方法。
【００４０】
１６． 前記第１種の画像検索工程では、前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、前記第２種の画像検索工程では、前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、ことを特徴とする１１乃至１５の何れか１項に記載の画像検索方法。
【００４１】
１７． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする１１乃至１６の何れか１項に記載の画像検索方法。
【００４２】
１８． １１乃至１５の何れか１項に記載の画像検索方法において用いられる辞書データへの画像登録方法であって、前記第１の特徴量抽出工程と、前記第２の特徴量抽出工程と、前記画像検知工程と、前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録工程と、前記画像検知工程における前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録工程と、を備える、ことを特徴とする画像登録方法。
【００４３】
１９． 前記第１種の画像登録工程では、前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、前記第２種の画像登録工程では、前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、ことを特徴とする１８に記載の画像登録方法。
【００４４】
２０． 前記第１種の画像はカラー画像であり、前記第１の特徴量は、カラー特徴量であり、前記第２種の画像はモノクロ画像であり、前記第２の特徴量は、モノクロ特徴量である、ことを特徴とする１８または１９に記載の画像登録方法。
【発明の効果】
【００４５】
本発明によれば、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、それらのうち１つの特徴量に対して１種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元の入力画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。
【発明を実施するための最良の形態】
【００４６】
以下、図面を参照して本発明の実施形態を説明する。
【００４７】
（システムの全体構成及び動作）
図１は本実施形態に係る画像検索システム及び画像登録システムの構成例を示すブロック図である。図１を用いて、本実施形態に係る画像検索システム及び画像登録システムの概略構成を説明する。
【００４８】
図１において、１は本実施形態に係る画像検索システム及び画像登録システムである。１は画像検索システム及び画像登録システムの両者を包含しており、以後、本実施形態の説明において画像検索システム１と呼称する場合は、画像登録システムも含むものとする。もちろん画像検索システムと画像登録システムとは、別の構成を有する別個のシステムであってもかまわない。
【００４９】
画像検索システム１は、画像に対する検索や登録処理を行う単独のシステムであってもよいし、複写機やファックス、ＭＦＰ（多機能型プリンタ）などの画像形成装置、あるいは他の画像処理装置などに接続、あるいは内蔵されたものであってもよい。その場合は画像入出力に関わる機能部分などで、システムの構成要素が画像形成装置などの構成要素と兼用されたものであってもよい。以後、本実施形態の説明においては、ＭＦＰに本画像検索システム１が内蔵されている例を想定して説明する。
【００５０】
画像検索システム１は、以下の１０から１７の符号を付した構成要素を有する。
【００５１】
１０はデータ処理部であり、画像検索と画像登録の処理を行う。データ処理部１０の内部構成については後述する。
【００５２】
１１は操作部であり、画像検索と画像登録の処理時にユーザの操作入力を受け付ける。例えば操作部１１は、検索処理の指示、画像の種類の指定、出力候補画像からの出力画像選択などの操作を受け付ける。
【００５３】
１２は表示部であり、画像検索と画像登録の処理時にユーザに提示すべき情報を表示する。例えば表示部１２は、検索の処理内容に関する情報、検索結果の情報（出力候補画像）などの表示を行う。
【００５４】
１３は画像読み取り部であり、スキャナ機能などを利用して検索や登録の対象である画像の入力を行う。例えば画像読み取り部１３は、文書画像などを複写する際に読み取った文書画像を、登録処理のために複写とは別にデータ処理部１０へ送り込む。
【００５５】
１４はプリント部であり、登録処理した画像、あるいは検索された出力画像などのプリント出力を行う。例えばプリント部１４は、複写の入力画像に対応してデータ処理部１０から検索された出力画像を受け取り、複写の出力としてプリントアウトする。
【００５６】
１７は記憶部であり、登録処理した画像データを記憶する、またその画像データ検索のための辞書データを記憶する。例えば、記憶部１７は、複写に際して画像データと辞書データを逐一記憶する。あるいは複写に際して記憶部１７から辞書データにより画像データを検索する。
【００５７】
１５は画像入力に関わる通信部であり、１６は画像出力に関わる通信部である。通信部１５及び１６は、いずれもネットワーク２などを経由して、外部から画像を受信する、あるいは送信するなどの形態で、データ処理部１０での検索や登録処理の対象となる画像データを入力あるいは出力する。
【００５８】
３、４、５は、いずれもネットワーク２を経由して画像検索システム１と接続された外部の装置あるいはシステムであり、例えば、管理用のサーバや外部記憶装置が想定される。しかしながら、それらが画像検索システム１の登録画像データの記憶や、登録検索の情報（辞書データ）の記憶や管理を行っている場合には、画像検索システム１に包含されるシステムの構成要素と見なすのが適当である。
【００５９】
図２を参照して、ＭＦＰに内蔵されるシステムとして、画像検索システムの動作を説明する。図２（ａ）はＭＦＰによる文書画像の複写時に画像登録する場合の、図２（ｂ）はＭＦＰによる文書画像の複写時に画像検索する場合の、それぞれ動作を示す図である。
【００６０】
ＭＦＰによる文書画像の複写時に画像登録する図２（ａ）の場合には、画像読み取り部１３で入力された原文書画像Ａ４１は、通常の処理として複写処理されるが、それとは別にデータ処理部１０へ送られ、画像データ（原文書画像Ａ）として登録処理が行われる。データ処理部１０での登録処理の詳細は後述する。原文書画像Ａの画像データは記憶部１７に記憶され、合わせて記憶部１７の辞書データに登録される。登録済みの原文書画像Ａ４１は通常の複写処理により、複写された文書（複写文書画像Ａ’４２）としてプリント部１４でプリントアウトされる。
【００６１】
また、ＭＦＰによる文書画像の複写時に画像検索する図２（ｂ）の場合には、画像読み取り部１３で入力された画像（複写文書画像Ａ”４３）はデータ処理部１０へ送られ、その画像データ（複写文書画像Ａ”）に基づき、出力すべき画像の検索処理が行われる。データ処理部１０での検索処理の詳細は後述する。記憶部１７の辞書データが参照され、記憶部１７に記憶された画像データから複写文書画像Ａ”に対応する出力画像候補が抽出され、表示部１２に表示される。ユーザが出力画像候補から出力画像を選択すると、選択された画像（原文書画像Ａ４４）が複写の出力としてプリント部１４からプリントアウトされる。
【００６２】
上記のような登録及び検索の動作によって、例えば、原稿となる文書の複写時に登録を行っておくことにより、次回その複写文書またはその再複写文書あるいは修正文書などを用いて再複写処理を行おうとする際に、検索処理により元の画像データを参照して、元画像データによる文書複写をすることが可能になる。
【００６３】
（データ処理部１０の内部構成）
図３は、図１におけるデータ処理部１０の内部構成例を示すブロック図である。図３を用いて、画像検索システム１におけるデータ処理部１０内部の概略構成を説明する。
【００６４】
図３において、１０はデータ処理部であり、１７は記憶部である。データ処理部１０は２１乃至２７の符号を付した構成要素を有する。
【００６５】
２１は前処理部であり、入力画像に対して幾何学的な補正処理、シェーディング処理など、一般的な入力画像の補正処理を行う。
【００６６】
２２は画像検知部であり、画像検知手段として機能する。画像検知部２２は、後で述べる画像の特徴量抽出やそれに基づく検索、登録に必要な画像の種類の分類を行う。分類される画像の種類は、後述する第１種の画像と第２種の画像である。
【００６７】
この画像の種類の分類については、画像の種類の情報自体を検知する場合（例えば、ユーザが指定する、ＭＦＰ本体から検知結果を受け取るなど）と、入力画像自体から判別する場合とがある。後者の場合、画像判別部２３がその判別処理を行う。画像判別部２３は、例えば後で述べる第１の特徴量を用いて入力画像の種類を判別する、すなわち画像判別手段として機能する。
【００６８】
２４ａは第１の特徴量抽出部であり、第１の特徴量抽出手段として機能する。第１の特徴量抽出部２４ａは、入力画像から第１の特徴量を抽出する。第１の特徴量は画像検知部２２で分類された第１種の画像に対して画像の類似度を算出するのに適した画像の特徴量である。
【００６９】
また２４ｂは第２の特徴量抽出部であり、第２の特徴量抽出手段として機能する。第２の特徴量抽出部２４ｂは、入力画像から第２の特徴量を抽出する。第２の特徴量は画像検知部２２で分類された第２種の画像に対して画像の類似度を算出するのに適した画像の特徴量である。
【００７０】
また逆にこれらの特徴量から画像の種類を判別することもできる。例えば、前述の画像判別部２３は、この第１の特徴量を用いて入力画像の種類を第１種であると見なすべきかどうかを判別する。
【００７１】
２５ａは第１種の画像登録部であり、第１種の画像登録手段として機能する。第１種の画像登録部２５ａは、画像検知部２２で第１種の画像と分類された入力画像を第１の特徴量抽出部２４ａで抽出された第１の特徴量と関連づけて、後述の第１種の画像用辞書データ３１ａ（記憶部１７に保存されている）に登録する。
【００７２】
また２５ｂは第２種の画像登録部であり、第２種の画像登録手段として機能する。第２種の画像登録部２５ｂは、画像検知部２２での分類結果に関わらず、入力画像を第２の特徴量抽出部２４ｂで抽出された第２の特徴量と関連づけて、後述の第２種の画像用辞書データ３１ｂ（記憶部１７に保存されている）に登録する。
【００７３】
２６ａは第１種の画像検索部であり、第１種の画像検索手段として機能する。第１種の画像検索部２５ａは、画像検知部２２で第１種の画像と分類された入力画像に対して、第１の特徴量抽出部２４ａで抽出された第１の特徴量に基づき、後述の第１種の画像用辞書データ（記憶部１７に保存されている）を検索し、出力画像候補を抽出する。
【００７４】
また２６ｂは第２種の画像検索部であり、第２種の画像検索手段として機能する。第２種の画像検索部２５ｂは、画像検知部２２で第２種の画像と分類された入力画像に対して、第２の特徴量抽出部２４ｂで抽出された第２の特徴量に基づき、後述の第２種の画像用辞書データ（記憶部１７に保存されている）を検索し、出力画像候補を抽出する。
【００７５】
２７は出力画像作成部であり、上記出力画像候補から出力画像が選択されると記憶部１７の蓄積画像データ３２を参照して引き出される画像データを受け取り、データ処理部１０より出力するために出力画像を作成する。
【００７６】
以上がデータ処理部１０の構成要素である。画像の登録処理及び検索処理の詳細については、後で図５及び図６を用いてそのフローを説明する。
【００７７】
記憶部１７は、画像の登録と検索に関わる記憶データとして、３１ａ、３１ｂの辞書データ、３２の蓄積画像データを有している。
【００７８】
３１ａは第１種の画像用辞書データであり、画像検知部２２で第１種の画像と分類された入力画像が、第１の特徴量抽出部２４ａで抽出された第１の特徴量と関連づけて登録されており、画像検知部２２で第１種の画像と分類された入力画像に対して、第１の特徴量抽出部２４ａで抽出された第１の特徴量に基づき、検索がかかる。
【００７９】
また３１ｂは第２種の画像用辞書データであり、画像検知部２２での分類結果に関わらず、入力画像が第２の特徴量抽出部２４ｂで抽出された第２の特徴量と関連づけて登録されており、画像検知部２２で第２種の画像と分類された入力画像に対して、第２の特徴量抽出部２４ｂで抽出された第２の特徴量に基づき、検索がかかる。
【００８０】
３２は蓄積画像データであり、入力画像の辞書データ３１ａまたは３１ｂへの登録に合わせて、入力画像の画像データが保存される。また入力画像に対する検索時には、検索された辞書データ登録情報に基づき、蓄積画像データ３２から該当する画像データが出力画像候補として抽出される。
【００８１】
（データ処理部１０の動作）
上記したデータ処理部１０の各部の機能において特徴的な部分は、画像検知部２２での第１種または第２種の画像への分類結果に対して、後の画像登録の動作と、従って辞書データの登録内容が、第１種と第２種の画像に関して対称的でないことである。
【００８２】
実際に、入力画像が第１種の画像の場合と第２種の画像の場合とで、画像登録時または画像検索時の処理がどう異なるかを表１に示した。
【００８３】
【表１】
【００８４】
表１に示すように、入力画像が第１種の画像の場合、第１の特徴量と関連づけて第１種の画像用辞書データに登録するとともに、第２の特徴量と関連づけて第２種の画像用辞書データにも登録している。すなわち第１種の画像である入力画像に対しては、両方の辞書データに登録される。
【００８５】
入力画像が第２種の画像の場合は、第２の特徴量と関連づけて第２種の画像用辞書データにだけ登録している。
【００８６】
検索時には、第１種の入力画像に対しては、第１の特徴量に基づき、第１種の画像用辞書データのみを検索する。もちろん、第２の特徴量に基づき、第２種の画像用辞書データをも検索することが可能であるが、両方に同じ画像が登録されており、同じ第１種の出力画像が抽出されるのみであり、その必要性がない。
【００８７】
第２種の入力画像に対しては、その第２の特徴量に基づき、第２種の画像用辞書データのみを検索する。これは第１種の画像用辞書データの方には登録されていないからである。しかし、第２種の画像用辞書データから抽出される出力画像は、第２種の画像とは限らず、第１種の画像の場合もある。これは第２種の画像用辞書データには第１種の画像も第２の特徴量と関連づけて登録されているからであり、第２種の入力画像に対して、その第２の特徴量に基づいて第１種の出力画像が抽出されることがある。
【００８８】
データ処理部１０における、こういったデータ処理の特徴がどのような効果に関連しているかを図４を用いて説明する。
【００８９】
図４は、画像の種類がカラー画像とモノクロ画像の場合を想定しており、図４（ａ）はＭＦＰによるカラー画像のモノクロでのプリント時に画像登録する場合の動作を示し、図４（ｂ）はＭＦＰによるモノクロ画像の入力に対して元のカラー画像を検索し、カラープリントする場合の動作を示す。
【００９０】
すなわち、図４においては、第１種の画像はカラー画像であり、第１の特徴量はカラー特徴量であり、さらに第２種の画像はモノクロ画像であり、第２の特徴量はモノクロ特徴量である場合を想定している。
【００９１】
図４（ａ）においてカラー画像Ａが、例えば通信部１５などからプリント用の画像データとして入力される。これは一方でモノクロ画像Ａ’としてモノクロでプリントアウトされる。しかしもう一方では、カラー画像Ａとして記憶部１７の蓄積画像データ５４に追加記憶されるとともに、辞書データ５３ａ及び５３ｂに登録される。
【００９２】
登録の手順として、まず画像検知部５１でカラー画像であることが検知される。カラー画像はカラー用辞書データ５３ａとモノクロ用辞書データ５３ｂの両方に登録される。従って、カラー特徴量抽出５２ａとモノクロ特徴量抽出５２ｂと両方が行われ、それぞれの特徴量を関連づけて、カラー画像Ａはカラー用辞書データ５３ａとモノクロ用辞書データ５３ｂのそれぞれに登録される。すなわちモノクロ用辞書データ５３ｂにもモノクロ特徴量と関連づけたカラー画像Ａが登録されている。
図４（ｂ）においてはモノクロ画像Ａ’が、例えば画像読み取り部１３などにより画像入力される。これに対して出力すべき画像としてオリジナルの画像の存在が検索される。すなわち、モノクロ画像Ａ’のオリジナルがカラーであればそのカラー画像を出力するという処理動作である。
【００９３】
検索の手順としては、まず画像検知部５１でモノクロ画像であることが検知される。従って、モノクロ画像Ａ’に対してモノクロ特徴量抽出５２ｂのみが行われ、そのモノクロ特徴量に基づいてモノクロ用辞書データ５３ｂが検索される。しかしモノクロ用辞書データ５３ｂには、オリジナルがモノクロ画像であってもカラー画像であっても登録されているはずである。従ってこの場合、オリジナルのカラー画像Ａが抽出され、記憶部１７の蓄積画像データ５４からカラー画像Ａの画像データが引き出され、カラー画像Ａとしてカラーでプリントアウトされる。
【００９４】
データ処理部１０でこのような処理を行うことにより、カラーの原文書をモノクロでプリントした紙文書から、元のカラー文書データを検索し、利用することができる。
【００９５】
一方ではモノクロ画像に対して検索をかける必要があるものの、単純にモノクロ特徴量のみを利用して検索するのでは、一方でカラー画像の有する強力な検索特徴、つまりカラー情報を利用できない。モノクロ画像とカラー画像に対して、検索のキーとしてのモノクロ特徴量とカラー特徴量を使い分けることが検索処理を効率的にするが、場合によっては、上記のようにモノクロ特徴量でカラー画像を検索するといった処理を組み込むことが検索の自由度と価値を上げることがある。本実施形態はそういう場合にも適切な動作を行い、検索効果を上げることができる。
【００９６】
すなわち、カラー画像とモノクロ画像の場合でいうなら、カラーの特徴量をキーとするカラー用の辞書データにはカラーの原文書のみを登録し、モノクロの特徴量をキーとするモノクロ用辞書データにはすべての原文書を登録しておき、所定の検索処理をかけると、モノクロ文書に対しては、原文書がカラーであっても自動的にモノクロ用辞書データからカラーの原文書を検索することができ、一方カラー文書に対しては、カラー文書のみ検索し、不必要なモノクロ文書の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。
【００９７】
第１種の画像、第２種の画像は、このようにカラー画像、モノクロ画像に限定されるものではない。本発明の実施形態にふさわしいのは、第１種の画像に対して適切な特徴量である第１の特徴量が、第２種の画像に対して適切な特徴量である第２の特徴量を包含するような場合である。このような場合、第１の特徴量の次元数は、第２の特徴量の次元数よりも大きくなる。
【００９８】
例えば、カラー特徴量の情報量はモノクロ特徴量の情報を含んでいるが、その逆は言えない。カラー画像をモノクロ画像に変換することは通常容易に行われるが、その逆は原則的にない。このような場合、カラー画像をモノクロ画像から検索することに意味があり、その逆は通常ない。つまり、非対称な関係である。
【００９９】
例えば、第１種の画像が複数ページからなる画像、第２種の画像がその中の単独ページからなる画像としてもよい。このような場合第１の特徴量は、情報量として第２の特徴量を包含することになるだろう。単独のページからそれを含む複数のページを検索することはあっても、その逆は意味がない。
【０１００】
このような場合、第２種の画像に対しては、原画像が第１種の画像であっても自動的に第２種の画像用辞書データから第１種の画像である原画像を検索することができ、一方、第１種の画像に対しては、第１種の画像のみ検索し、不必要な第２種の画像の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。
【０１０１】
（画像登録処理のフロー）
図５を用いてデータ処理部１０における画像登録の処理の流れを説明する。また適時図３も参照する。図５は本実施形態に係る画像登録方法のフローチャートである。
【０１０２】
図５のステップＳ１１では、まず登録するための入力画像が取得される。これは図１における画像読み取り部１３あるいは通信部（画像入力部）１５などにより取得される。
【０１０３】
取得された入力画像はデータ処理部１０に送られ、ステップＳ１２で前処理が施される。前処理は、図３の前処理部２１で行われ、入力画像の幾何学的な位置、方向、大きさなどの補正であったり、読み取りにより発生する色、輝度ムラなどを補正するシェーディング補正であったりする。
【０１０４】
次いでステップＳ１３では、前処理された入力画像が、入力日時その他のメタデータとともに所定のフォーマットで記憶部１７の蓄積画像データ３２に保存される。また画像の参照用として、入力画像には画像ＩＤ番号が付される。画像ＩＤ番号によって辞書データの登録内容（特徴量など）と蓄積画像データ３２の画像データとは連結している。
【０１０５】
ステップＳ１４は第１の特徴量抽出工程であり、入力画像に対する第１の特徴量が第１の特徴量抽出部２４ａで抽出される。次のステップで入力画像が第１種の画像かどうかを第１の特徴量を用いて判別するためにこういう手順としている。操作部１１からのユーザの指定により、あるいは本システムが内蔵されている画像形成装置（ＭＦＰ）などからの情報により、画像の種類を検知する場合は、その検知後に必要に応じて特徴量を抽出してもよい。
【０１０６】
ここで第１の特徴量はカラー特徴量であるとして、その具体例を説明する。
【０１０７】
カラー画像は二次元に配列する画素の集合から構成され、各画素はそれぞれ複数の色成分値を有する。各色成分値は、通常三次元の色空間で規定される。一般に使用される色空間は各種あるが、ここではＬａｂ色空間におけるヒストグラムを用いた特徴量、すなわちブロックＬａｂヒストグラムについて述べる。
【０１０８】
Ｌ、ａ、ｂの三つの色成分で表されるＬａｂ空間を任意のＫ個のビンに区分する。各画素はその色成分により何れかのビンに該当する。一方でカラー画像全体をＩ×Ｊの矩形ブロックに区分けする。その各矩形ブロックごとに、そのブロックを構成する各画素の色成分の該当するビンを求め、Ｋ個のビンに対する該当画素の個数、すなわち頻度を求め、各ブロックごとにヒストグラムを作成する。つまり、各ブロックごとに横軸がＫ個のビン、縦軸が頻度（画素数）のヒストグラムができる。このヒストグラムは独立したＫ個の値で表され、Ｋ次元の空間内の点として記述できる。このヒストグラムをそのブロックの特徴量とすると次元数Ｋの特徴量となる。
【０１０９】
入力画像に対しては、ヒストグラムの総数が矩形ブロックの数、すなわちＩ×Ｊ個であるので、Ｉ×Ｊ個のヒストグラムをこの入力画像のカラー特徴量とすると、次元数はＣ＝Ｉ×Ｊ×Ｋとなる。
【０１１０】
後のステップで抽出する第２の特徴量についても、モノクロ特徴量であるとして、同様の具体例、すなわちブロック輝度ヒストグラムを説明する。
【０１１１】
モノクロ画像はカラー画像と同様に二次元に配列する画素の集合から構成されるが、各画素はそれぞれ複数の色成分値ではなく単独の輝度値を有する。各画素の輝度値は、１次元の値であり、モノクロ画像に対して先のＬａｂ色空間を適用してもＬ成分値のみの実質１次元の値となる。一方カラー画像に対しては、その３次元の色成分値から１次元の輝度値を算出することができる。つまりカラー画像をモノクロ画像に変換する処理を色成分から輝度値への変換という形で数値的に表現できるのである。例えば紙文書などでは、カラー文書画像からモノクロ文書画像への変換がかなりの頻度で行われることを考えると、前述のようにカラー画像をモノクロ特徴量と関連づけておくことが有効であることが多い。
【０１１２】
輝度値で表される１次元のスケールを任意のＬ個のビンに区分する。各画素はその輝度値により何れかのビンに該当する。一方でカラー特徴量の場合と同様、全体をＩ×Ｊの矩形ブロックに区分けする。その各矩形ブロックごとに、やはりカラー特徴量と同様に、そのブロックを構成する各画素の輝度値の該当するビンを求め、Ｌ個のビンに対する該当画素の頻度（個数）から、各ブロックごとに横軸がＬ個のビン、縦軸が頻度（画素数）のヒストグラムを作成する。このヒストグラムは次元数Ｌの特徴量であり、入力画像に対しては、ヒストグラムの総数が矩形ブロックの数（Ｉ×Ｊ個）であるので、それをこの入力画像のモノクロ特徴量とすると、その次元数はＭ＝Ｉ×Ｊ×Ｌとなる。
【０１１３】
通常Ｌ≪Ｋのため、モノクロ特徴量の次元数Ｍ＝Ｉ×Ｊ×Ｌは、カラー特徴量の次元数Ｃ＝Ｉ×Ｊ×Ｋよりもずっと低い次元数となる。しかしながらＭでさえも、一般には非常に高い次元となる。
【０１１４】
図５に戻り、画像登録処理の説明を続ける。
【０１１５】
ステップＳ１４で入力画像に対して第１の特徴量を抽出すると、次のステップＳ１５ではその第１の特徴量に基づいて入力画像が第１種の画像であるか第２種の画像であるかの判別を行う。ステップＳ１５は画像検知工程である。
【０１１６】
判別処理は画像検知部２２で行われる。但し、画像の種類に関する情報が、操作部１１によるユーザの指定から、あるいは本システムが内蔵された画像形成装置本体から、得られるのではなく、入力画像自体から判別する場合には、画像検知部２２内の画像判別部２３で判別処理が行われる。従ってステップＳ１５の画像検知工程には画像判別工程も含まれる。
【０１１７】
例えば、カラー画像（第１種の画像とする）とモノクロ画像（第２種の画像とする）の例で判別処理を説明すると、前述のようにカラー画像のカラー特徴量は３次元の色空間に基づいた特徴量となるが、モノクロ画像のカラー特徴量は実質１次元のＬ成分のみに基づいた特徴量となる。これにより特徴量に生じてくる差異を利用してカラー画像とモノクロ画像の判別ができる。例えば、カラー特徴量であるブロックＬａｂヒストグラムの、ａｂ成分に該当するビンの値が０であればモノクロ画像、そうでなければカラー画像と判別できる。
【０１１８】
ステップＳ１５で、入力画像が第１種の画像であると判別された場合（ステップＳ１５：ＹＥＳ）は、次のステップＳ１６を実行する。入力画像が第２種の画像であると判別された場合（ステップＳ１５：ＮＯ）は、次のステップＳ１６を省略し、ステップＳ１７を実行する。
【０１１９】
ステップＳ１６は第１種の画像登録工程である。入力画像が第１種の画像であるので、入力画像を保存した画像ＩＤ番号と第１の特徴量とを関連づけて、記憶部１７の第１種の画像用辞書データ３１ａに登録する。登録処理は第１種の画像登録部２５ａで行われる。
【０１２０】
ステップＳ１７は第２の特徴量抽出工程であり、入力画像が第１種の画像であるか第２種の画像であるかに関わらず、入力画像に対する第２の特徴量が第２の特徴量抽出部２４ｂで抽出される。第２の特徴量がモノクロ特徴量である場合の特徴量の具体例については既に説明した。
【０１２１】
ステップＳ１８は第２種の画像登録工程である。入力画像が第１種の画像であるか第２種の画像であるかに関わらず、入力画像を保存した画像ＩＤ番号と第２の特徴量とを関連づけて、記憶部１７の第２種の画像用辞書データ３１ｂに登録する。登録処理は第２種の画像登録部２５ｂで行われる。
【０１２２】
例えば、カラー画像（第１種の画像）とモノクロ画像（第２種の画像）の例でステップＳ１６とステップＳ１８の画像登録処理を説明する。
【０１２３】
前述のように入力画像がカラー画像の場合、Ｃ（＝Ｉ×Ｊ×Ｋ）次元のカラー特徴量が抽出され、入力画像に付与された画像ＩＤ番号と関連づけてカラー画像用辞書データに登録される。また入力画像がカラー画像であってもモノクロ画像であっても、Ｍ（＝Ｉ×Ｊ×Ｌ）次元のモノクロ特徴量が抽出され、入力画像に付与された画像ＩＤ番号と関連づけてモノクロ画像用辞書データに登録される。
【０１２４】
表２にカラー画像用辞書データ及びモノクロ画像用辞書データのデータ構造例を示す。
【０１２５】
【表２】
【０１２６】
カラー画像用辞書にはカラー画像のみが登録され、各画像のＩＤ番号（表では１からＮ）に対して、Ｃ次元のカラー特徴量（表では１からＣ）が連繋して記憶される。モノクロ画像用辞書にはカラー画像及びモノクロ画像が登録され、各画像のＩＤ番号（表では１からＮ）に対して、Ｍ次元のカラー特徴量（表では１からＭ）が連繋して記憶される。
【０１２７】
画像ＩＤ番号については、特徴量に基づき検索した画像（のＩＤ番号）から画像データを参照するためのものであり、画像データを参照可能であれば、表２とは異なる任意のＩＤ番号付与方法が可能である。また、特徴量はそれを元に画像検索するためのものであり、検索の目的に応じて記憶する特徴量の構成を変えてもよい。
【０１２８】
また上記以外に、検索に役立てるためあるいはそれ以外の目的で、各画像に付随する任意のメタデータを合わせて記憶させていてもよい。また、後述するように検索をより効率化するために、検索用のインデックスを付与し、記憶させていてもよい。
【０１２９】
上記辞書データを用いた検索処理の具体例については後述する。
【０１３０】
以上データ処理部１０における画像登録方法の説明を終える。
【０１３１】
（画像検索処理のフロー）
図６を用いてデータ処理部１０における画像検索の処理の流れを説明する。また適時図３も参照する。図６は本実施形態に係る画像検索方法のフローチャートである。
【０１３２】
図６のステップＳ２１では、まず操作部１１からのユーザの指示などで検索が開始されると、検索の基準となる入力画像が取得される。これは図１における画像読み取り部１３あるいは通信部（画像入力部）１５などにより取得される。
【０１３３】
取得された入力画像はデータ処理部１０に送られ、ステップＳ２２で前処理が施される。前処理は、図３の前処理部２１で行われ、入力画像の幾何学的な位置、方向、大きさなどの補正であったり、読み取りにより発生する色、輝度ムラなどを補正するシェーディング補正であったりする。
【０１３４】
ステップＳ２３は第１の特徴量抽出工程であり、入力画像に対する第１の特徴量が第１の特徴量抽出部２４ａで抽出される。次のステップで入力画像が第１種の画像かどうかを第１の特徴量を用いて判別するためにこういう手順としている。操作部１１からのユーザの指定により、あるいは本システムが内蔵されている画像形成装置（ＭＦＰ）などからの情報により、画像の種類を検知する場合は、その検知後に必要に応じて特徴量を抽出してもよい。
【０１３５】
第１の特徴量がカラー特徴量であるとしたときの、特徴量の具体例は画像登録処理のフローで既に述べたとおりである。
【０１３６】
入力画像に対する第１の特徴量が抽出されると、次のステップＳ２４ではその第１の特徴量に基づいて入力画像が第１種の画像であるか第２種の画像であるかの判別を行う。ステップＳ２４は画像検知工程である。
【０１３７】
判別処理は画像検知部２２で行われる。但し、画像の種類に関する情報が、操作部１１によるユーザの指定から、あるいは本システムが内蔵された画像形成装置本体から、得られるのではなく、入力画像自体から判別する場合には、画像検知部２２内の画像判別部２３で判別処理が行われる。従ってステップＳ２４の画像検知工程には画像判別工程も含まれる。
【０１３８】
判別処理については、画像登録処理の場合と同様である。
【０１３９】
以上の各ステップについては、画像登録処理の場合と同様であるが、次のステップからは各工程の内容が異なってくる。
【０１４０】
ステップＳ２４で、入力画像が第１種の画像であると判別された場合（ステップＳ２４：ＹＥＳ）は、次のステップＳ２５を実行する。入力画像が第２種の画像であると判別された場合（ステップＳ２４：ＮＯ）は、ステップＳ２６を実行する。
【０１４１】
ステップＳ２５は第１種の画像検索工程である。入力画像が第１種の画像であるので、抽出された第１の特徴量に基づいて記憶部１７の第１種の画像用辞書データ３１ａを検索する。第１の特徴量に基づく類似度の高い出力画像候補を抽出し、その画像ＩＤ番号をもとに同じく記憶部１７の蓄積画像データ３２から該当する画像データを参照してくる。従って出力画像候補は第１種の画像である。検索処理は第１種の画像検索部２５ａで行われる。ステップＳ２５で出力画像候補が抽出されるとステップＳ２８に進む。
【０１４２】
一方、入力画像が第２種の画像の場合に実行されるステップＳ２６は、第２の特徴量抽出工程であり、第２種の画像である入力画像に対する第２の特徴量が第２の特徴量抽出部２４ｂで抽出される。第２の特徴量がモノクロ特徴量である場合の特徴量の具体例についても既に説明した。
【０１４３】
次のステップＳ２７は第２種の画像検索工程である。入力画像が第２種の画像であるので、抽出された第２の特徴量に基づいて記憶部１７の第２種の画像用辞書データ３１ｂを検索する。第２の特徴量に基づく類似度の高い出力画像候補を抽出し、その画像ＩＤ番号をもとに同じく記憶部１７の蓄積画像データ３２から該当する画像データを参照してくる。従って出力画像候補は第１種の画像または第２種の画像の何れかである。検索処理は第２種の画像検索部２５ａで行われる。
【０１４４】
例えば、カラー画像（第１種の画像）とモノクロ画像（第２種の画像）の例でステップＳ２５とステップＳ２７の画像検索処理を説明する。
【０１４５】
前述の表２のように、カラー画像用辞書データにはカラー画像のみが登録され、カラー画像の画像ＩＤ番号と関連づけてＣ（＝Ｉ×Ｊ×Ｋ）次元のカラー特徴量が登録されている。またモノクロ画像用辞書データにはカラー画像及びモノクロ画像が登録され、カラー画像及びモノクロ画像の画像ＩＤ番号と関連づけてＭ（＝Ｉ×Ｊ×Ｌ）次元のモノクロ特徴量が登録されている。
【０１４６】
検索の基準となる入力画像がカラー画像であった場合、カラー特徴量に基づいてカラー画像用辞書データを検索する。入力画像のカラー特徴量と、カラー画像用辞書データに登録されているそれぞれの画像のカラー特徴量とを、カラー特徴量のＣ次元空間で比較し、Ｃ次元空間内で定義された距離を算出する。その距離を類似度（ゼロに近いほど類似している）とし、カラー画像用辞書データに登録されている画像について逐次その距離を求め、類似度の高い（距離の小さい）カラー特徴量に該当する画像ＩＤ番号を出力画像候補として抽出する。
【０１４７】
また検索の基準となる入力画像がモノクロ画像であった場合も同様に、モノクロ特徴量に基づいてモノクロ画像用辞書データを検索する。入力画像のモノクロ特徴量と、モノクロ画像用辞書データに登録されているそれぞれの画像のモノクロ特徴量とを、モノクロ特徴量のＭ次元空間で比較し、Ｍ次元空間内で定義された距離を算出する。その距離を類似度（ゼロに近いほど類似している）とし、モノクロ画像用辞書データに登録されている画像について逐次その距離を求め、類似度の高い（距離の小さい）モノクロ特徴量に該当する画像ＩＤ番号を出力画像候補として抽出する。
【０１４８】
ここで、入力画像がカラー画像であった場合、カラー特徴量に基づいて、カラー画像だけが登録されているカラー画像用辞書データを検索するので、出力画像候補はすべてカラー画像である。一方、入力画像がモノクロ画像であった場合、モノクロ特徴量に基づいて、カラー画像及びモノクロ画像の両方が登録されたモノクロ画像用辞書データを検索するので、出力画像候補はカラー画像またはモノクロ画像の何れかとなる。
【０１４９】
検索処理は一般に、上記のＣやＭで記した高次元の特徴量に対して、上記のような類似度合いを算出していかねばならないので、精度を落とさず効率をいかに上げるかが重要である。本システムのような画像検索方法によれば、モノクロ文書に対しては、原文書がカラーであっても自動的にモノクロ用辞書データからカラーの原文書を検索することができ、一方カラー文書に対しては、カラー文書のみ検索し、不必要なモノクロ文書の検索を行うこともなく、高精度で、且つ高速な検索を行うことができる。
【０１５０】
また本システムにおいて、さらに検索効率を上げるためには、各辞書データに検索用のインデックスを付与することが望ましい。これについては後述する。
【０１５１】
ところで、上記のような本システムでのカラー文書画像（第１種の画像とする）とモノクロ文書画像（第２種の画像とする）の扱いが検索に不都合を生ずる場合もある。
【０１５２】
例えば、カラー特徴量を用いたカラー画像とモノクロ画像の判別処理について、カラー特徴量は３次元の色空間に基づいた特徴量となるが、モノクロ画像のカラー特徴量は実質１次元のＬ成分のみに基づいた特徴量となり、これにより特徴量に生じてくる差異を利用してカラー画像とモノクロ画像の判別ができると述べた。
【０１５３】
しかし、モノクロ画像であっても一部分がカラー画像になっているという場合もある。例えば、モノクロの文書画像の一部に赤ペンでの追記があるといった場合であるが、このような場合は、その文書画像が本来モノクロであることを考慮すれば、モノクロ画像としてモノクロ特徴量を検索に用いた方がより適切な検索が可能になる。
【０１５４】
本システムでの画像登録時には、登録する入力画像がカラー画像と判別されると、カラー特徴量とモノクロ特徴量を両方抽出し、カラー画像用の辞書データとモノクロ画像用の辞書データと両方に登録される。つまり、それが検索対象のオリジナルであり、カラー画像からもモノクロ画像からも検索可能となっている。
【０１５５】
しかし、本システムでの画像検索時には、検索の基準となる入力画像がカラー画像と判別されると、カラー特徴量だけを抽出し、カラー画像用の辞書データだけを検索することになり、従って原画像がモノクロ画像であった場合には、その原画像はカラー画像用の辞書データには登録されていないため、検索されなくなってしまう。
【０１５６】
このような不都合を防ぐために、例えば以下のような対処を行った方がよい。
【０１５７】
画像判別部２３における入力画像の判別処理時に、画像の区分けされた領域ごとに判別を行い、第１種の画像と判別される領域と第２種の画像と判別される領域と、両方が入力画像に含まれる場合は、入力画像の全体領域に対する第１種の画像と判別される領域の占める割合を算出し、その割合が所定のしきい値以上の場合に入力画像を第１種の画像と判別し、そうでない場合には第２種の画像と判別する。
【０１５８】
上記に従えば、入力画像が第２種の画像と判別されても、第１種の画像に相当する領域を有する場合があることになる。第２種の画像検索部２６ｂにおける検索処理時には、この画像から抽出した第２の特徴量を用いて第２種の画像用辞書データを検索することになるが、その際、検索の精度を上げるため、第１種の画像に相当する領域の特徴量は検索に使用しない。すなわち、その画像中の第１種の画像領域を除いた部分に対応する第２の特徴量に基づいて、第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する。
【０１５９】
このような対処により、モノクロの原文書に対して、カラーの付加した文書からも適切に検索をかけて、出力画像としてモノクロの原文書を抽出することが可能となる。
【０１６０】
図６に戻り、次のステップＳ２８では、抽出された出力画像候補について表示部１２に表示するためデータ処理部１０より出力する。表示部１２に表示されるのは一般にサムネイルと称される縮小された簡略化画像である。
【０１６１】
図７に表示部１２に表示される状態の例を示す。図７では、左の６１に検索の基準となる入力画像のサムネイルが表示され、右側に検索して抽出された六つの出力画像候補のサムネイルが類似度合いの順に表示されている。例えば、６２が最も類似した出力画像候補であり、６３が六つのうちで最も類似していない出力画像候補である。
【０１６２】
ユーザはこの表示に基づき、最適な出力画像を選択し、操作部１１を通じてデータ処理部１０に指定入力する。データ処理部１０は出力画像の指定を受け、該当するＩＤ番号の画像データを記憶部１７の蓄積画像データ３２を参照して引き出し、出力画像作成部２７に渡す。
【０１６３】
次のステップＳ２９では、出力画像作成部２７は、蓄積画像データ３２からの画像データを受け取り、データ処理部１０より出力するために出力画像を作成する。
【０１６４】
以上で、データ処理部１０における画像検索方法の説明を終える。
【０１６５】
（検索用インデックスを用いた検索処理）
本実施形態によれば、第１種の画像と第２種の画像とで辞書データを切り分けて検索し、且つその登録内容を工夫することにより、精度よく且つ効率よく検索できるようにしている。しかし、さらなる効率化のため、あるいは他の目的であっても様々な変更が可能である。
【０１６６】
例えば、検索用のインデックスを用いることでさらに検索を効率化することができる。検索用のインデックスの付け方は、様々な公知の方法を適用することが可能であるが、ここではｋ−Ｄ木を使用した検索用インデックスを説明する。
【０１６７】
いわゆる木構造を形成するように分類しておき、検索時には木の幹から枝分かれしながら辿っていくことで最小の手数で枝先端まで達するという考え方に基づいている。
【０１６８】
分類木の構成方法を以下に手順で示すと、
（１−１）サンプルとしてＮ個の画像があればＮ個の特徴量があり、Ｎ個の特徴量は高次元の特徴量空間中にサンプル点として分布している。この特徴量空間中に任意の特徴軸を選択し、その軸に垂直な超平面を考える。特徴量空間内でＮ個の特徴量のサンプル点がその超平面で等分されるよう超平面の位置を決めて、特徴量空間を２分割する。
（１−２）２分された特徴量空間のそれぞれについて、また別の特徴軸を用いて、１と同様にして空間をさらに２分割する。
（１−３）以下、分割された各特徴量空間ごとに、特徴軸を変更しながら分割を続け、最終的に分割された各特徴量空間に特徴量のサンプル点が１つだけになるまで特徴量空間を分割する。
【０１６９】
図８には、２次元の特徴量空間の場合に、空間６０が分割されている状態を例示した。全体の領域が上下に２分割され、さらに各々の領域が左右に２分割され、また上下に２分割され、２分割を３回続けることで８個の特徴量のサンプル点６６が８個の分割された領域６７に各一つずつ入るように分割されている。このそれぞれの分割空間（すなわち各サンプル点）への到達経路を示すよう検索用インデックスを付与する。
【０１７０】
新しく特徴量のサンプル点が追加登録されるときは、枝の先端部で木構造を修正することになる。それに従って該当する部分の検索用インデックスも更新処理を行う。
【０１７１】
上記分類木による検索方法を以下に手順で示すと、
（２−１）検索のキーとなる特徴量が与えられると、その特徴量もこの分割された特徴量空間の何れかに特徴点（質問点と呼ぶ）として位置することになる。上記の分割は２分木となっているので、２分木を辿ってこの特徴点の属する分割空間を特定していく動作は、すなわちこの特徴点の属する分割空間の検索用インデックスを求める動作である。求めたインデックスに従いその分割空間に属するサンプル点を検出する。
（２−２）質問点を中心とし、検出されたサンプル点を表面に含む超球を考え、超球と交わる分割空間を求める。
（２−３）１で検出されたサンプル点、及び２で検出された分割空間中のサンプル点の中で最も質問点までの距離が近いものを、それぞれ距離計算を行って比較することにより求める。
【０１７２】
上記のように、予め木構造の検索用インデックスを付与しておけば、特徴量空間での距離計算は近傍のサンプル点だけでよく、後はキーとなる特徴量の点、つまり質問点がどの分割空間に属するかを木構造を辿って特定する動作だけである。
【０１７３】
本実施形態の検索システムにおいては、第１種の画像用辞書データと第２種の画像用辞書データとが切り分けて用意されているので、検索用インデックスもそれに対応して、第１種の画像検索用インデックスと第２種の画像検索用インデックスとを切り分けて用意することになる。
【０１７４】
なお、検索用インデックスを切り分けることにより、辞書データについても、第１種の画像用と第２種の画像用を別々の記憶データとするのではなく、一つの記憶データの中に両者を含めておくことが可能である。記憶されている個々の画像データの登録内容が、第１種の画像用辞書データに該当するのか第２種の画像用辞書データに該当するのか、その切り分けは、検索時に検索用インデックスを切り換えることで行うことにすれば、同一の記憶データの中から両者を切り分けて検索することも可能である。
【０１７５】
以上のように、本実施形態によれば、入力画像の特徴量に基づいて辞書データを検索し、記憶された画像データの中から類似の特徴量を有する画像を抽出するに当たって、画像の種類によって検索のための適切な特徴量が異なっても、それらのうち１つの特徴量に対して１種類の画像を登録した辞書データと、他の特徴量に対してすべての種類の画像を登録した辞書データとを用意し、検索元の入力画像の種類に応じて、検索する特徴量とそれに対応する辞書データを切り換えることで、精度が高く、かつ効率的な検索を行うことができる。
【０１７６】
なお本発明の実施形態は、上記の実施形態に限定されるものではなく、本発明の趣旨に則る限り、様々な変更された形態もその範囲に含まれるものである。
【図面の簡単な説明】
【０１７７】
【図１】本実施形態に係る画像検索システム及び画像登録システムの構成例を示すブロック図である。
【図２】ＭＦＰに内蔵されるシステムとして、（ａ）はＭＦＰによる文書画像の複写時に画像登録する場合の、（ｂ）はＭＦＰによる文書画像の複写時に画像検索する場合の、それぞれ画像検索システム１の動作を説明する図である。
【図３】図１におけるデータ処理部１０の内部構成例を示すブロック図である。
【図４】（ａ）はＭＦＰによるカラー画像のモノクロでのプリント時に画像登録する場合の、（ｂ）はＭＦＰによるモノクロ画像の入力に対して元のカラー画像を検索し、カラープリントする場合の、それぞれ動作を示す図である。
【図５】本実施形態に係る画像登録方法の処理の流れを示すフローチャートである。
【図６】本実施形態に係る画像検索方法の処理の流れを示すフローチャートである。
【図７】表示部１２に出力画像候補が表示される状態の例を示す図である。
【図８】検索のため２分木を構成し、２次元の特徴量空間が分割されている状態を例示した図である。
【符号の説明】
【０１７８】
１ 画像検索システム（及び画像登録システム）
２ ネットワーク
３、４、５ 外部装置
１０ データ処理部
１１ 操作部
１２ 表示部
１３ 画像読み取り部
１４ プリント部
１５ 通信部（画像入力部）
１６ 通信部（画像出力部）
１７ 記憶部
２１ 前処理部
２２ 画像検知部
２３ 画像判別部
２４ａ 第１の特徴量抽出部
２４ｂ 第２の特徴量抽出部
２５ａ 第１種の画像登録部
２５ｂ 第２種の画像登録部
２６ａ 第１種の画像検索部
２６ｂ 第２種の画像検索部
２７ 出力画像作成部
３１ａ 第１種の画像用辞書データ
３１ｂ 第２種の画像用辞書データ
３２ 蓄積画像データ
４１ 原文書画像Ａ
４２ 複写文書画像Ａ’
４３ 複写文書画像Ａ”
４４ 複写文書画像Ａ’
４５ カラー画像Ａ
４６ モノクロ画像Ａ’
４７ モノクロ画像Ａ’
４８ カラー画像Ａ
【特許請求の範囲】
【請求項１】
取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索システムであって、
前記入力画像から第１の特徴量を抽出する第１の特徴量抽出手段と、
前記入力画像から第２の特徴量を抽出する第２の特徴量抽出手段と、
前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知手段と、
前記第１の特徴量を検索キーとして、前記第１種の画像が登録された第１種の画像用辞書データと、
前記第２の特徴量を検索キーとして、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データと、
前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索手段と、
前記画像検知手段による前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索手段と、を有する、
ことを特徴とする画像検索システム。
【請求項２】
前記第２の特徴量抽出手段が抽出する前記第２の特徴量の次元数は、
前記第１の特徴量抽出手段が抽出する前記第１の特徴量の次元数よりも小さい、
ことを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記画像検知手段は、
前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別手段を有する、
ことを特徴とする請求項１または２に記載の画像検索システム。
【請求項４】
前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、
前記画像判別手段は、
前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、
前記第２種の画像検索手段は、
前記画像判別手段が前記入力画像を前記第２種の画像であると判別した場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項３に記載の画像検索システム。
【請求項５】
前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像検索システム。
【請求項６】
前記第１種の画像検索手段は、
前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、
前記第２種の画像検索手段は、
前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像検索システム。
【請求項７】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像検索システム。
【請求項８】
請求項１乃至５の何れか１項に記載の画像検索システムで用いられる辞書データへの画像登録システムであって、
前記第１の特徴量抽出手段と、
前記第２の特徴量抽出手段と、
前記画像検知手段と、
前記第１種の画像用辞書データと、
前記第２種の画像用辞書データと、
前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録手段と、
前記画像検知手段による前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録手段と、を有する、
ことを特徴とする画像登録システム。
【請求項９】
前記第１種の画像登録手段は、
前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、
前記第２種の画像登録手段は、
前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、
ことを特徴とする請求項８に記載の画像登録システム。
【請求項１０】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項８または９に記載の画像登録システム。
【請求項１１】
取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索方法であって、
前記入力画像から第１の特徴量を抽出する第１の特徴量抽出工程と、
前記入力画像から第２の特徴量を抽出する第２の特徴量抽出工程と、
前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知工程と、
前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像が登録された第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索工程と、
前記画像検知工程における前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索工程と、を備える、
ことを特徴とする画像検索方法。
【請求項１２】
前記第２の特徴量抽出工程において抽出される前記第２の特徴量の次元数は、
前記第１の特徴量抽出工程において抽出される前記第１の特徴量の次元数よりも小さい、
ことを特徴とする請求項１１に記載の画像検索方法。
【請求項１３】
前記画像検知工程は、
前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別工程を有する、
ことを特徴とする請求項１１または１２に記載の画像検索方法。
【請求項１４】
前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、
前記画像判別工程では、
前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、
前記第２種の画像検索工程では、
前記画像判別工程において前記入力画像が前記第２種の画像であると判別された場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項１３に記載の画像検索方法。
【請求項１５】
前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、
ことを特徴とする請求項１１乃至１４の何れか１項に記載の画像検索方法。
【請求項１６】
前記第１種の画像検索工程では、
前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、
前記第２種の画像検索工程では、
前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項１１乃至１５の何れか１項に記載の画像検索方法。
【請求項１７】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項１１乃至１６の何れか１項に記載の画像検索方法。
【請求項１８】
請求項１１乃至１５の何れか１項に記載の画像検索方法において用いられる辞書データへの画像登録方法であって、
前記第１の特徴量抽出工程と、
前記第２の特徴量抽出工程と、
前記画像検知工程と、
前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録工程と、
前記画像検知工程における前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録工程と、を備える、
ことを特徴とする画像登録方法。
【請求項１９】
前記第１種の画像登録工程では、
前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、
前記第２種の画像登録工程では、
前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、
ことを特徴とする請求項１８に記載の画像登録方法。
【請求項２０】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項１８または１９に記載の画像登録方法。
【請求項１】
取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索システムであって、
前記入力画像から第１の特徴量を抽出する第１の特徴量抽出手段と、
前記入力画像から第２の特徴量を抽出する第２の特徴量抽出手段と、
前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知手段と、
前記第１の特徴量を検索キーとして、前記第１種の画像が登録された第１種の画像用辞書データと、
前記第２の特徴量を検索キーとして、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データと、
前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索手段と、
前記画像検知手段による前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索手段と、を有する、
ことを特徴とする画像検索システム。
【請求項２】
前記第２の特徴量抽出手段が抽出する前記第２の特徴量の次元数は、
前記第１の特徴量抽出手段が抽出する前記第１の特徴量の次元数よりも小さい、
ことを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記画像検知手段は、
前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別手段を有する、
ことを特徴とする請求項１または２に記載の画像検索システム。
【請求項４】
前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、
前記画像判別手段は、
前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、
前記第２種の画像検索手段は、
前記画像判別手段が前記入力画像を前記第２種の画像であると判別した場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項３に記載の画像検索システム。
【請求項５】
前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像検索システム。
【請求項６】
前記第１種の画像検索手段は、
前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、
前記第２種の画像検索手段は、
前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像検索システム。
【請求項７】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像検索システム。
【請求項８】
請求項１乃至５の何れか１項に記載の画像検索システムで用いられる辞書データへの画像登録システムであって、
前記第１の特徴量抽出手段と、
前記第２の特徴量抽出手段と、
前記画像検知手段と、
前記第１種の画像用辞書データと、
前記第２種の画像用辞書データと、
前記画像検知手段による前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録手段と、
前記画像検知手段による前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録手段と、を有する、
ことを特徴とする画像登録システム。
【請求項９】
前記第１種の画像登録手段は、
前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、
前記第２種の画像登録手段は、
前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、
ことを特徴とする請求項８に記載の画像登録システム。
【請求項１０】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項８または９に記載の画像登録システム。
【請求項１１】
取得した入力画像に対して画像の特徴量を算出し、前記特徴量に基づいて所定の辞書データを検索し、前記入力画像と前記特徴量が対応する出力画像を抽出する画像検索方法であって、
前記入力画像から第１の特徴量を抽出する第１の特徴量抽出工程と、
前記入力画像から第２の特徴量を抽出する第２の特徴量抽出工程と、
前記入力画像が第１種の画像であるか第２種の画像であるかを検知する画像検知工程と、
前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記入力画像の前記第１の特徴量に基づいて、前記第１種の画像が登録された第１種の画像用辞書データを検索し、対応する出力画像候補を抽出する第１種の画像検索工程と、
前記画像検知工程における前記入力画像の検知結果が前記第２種の画像である場合に、前記入力画像の前記第２の特徴量に基づいて、前記第１種の画像と前記第２種の画像とが登録された第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する第２種の画像検索工程と、を備える、
ことを特徴とする画像検索方法。
【請求項１２】
前記第２の特徴量抽出工程において抽出される前記第２の特徴量の次元数は、
前記第１の特徴量抽出工程において抽出される前記第１の特徴量の次元数よりも小さい、
ことを特徴とする請求項１１に記載の画像検索方法。
【請求項１３】
前記画像検知工程は、
前記第１の特徴量に基づき、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別する画像判別工程を有する、
ことを特徴とする請求項１１または１２に記載の画像検索方法。
【請求項１４】
前記入力画像が、その画像中に第１種の画像領域と第２種の画像領域を有する場合、
前記画像判別工程では、
前記入力画像において前記第１種の画像領域が画像全領域に対して占める割合に応じて、前記入力画像が前記第１種の画像であるか前記第２種の画像であるかを判別し、
前記第２種の画像検索工程では、
前記画像判別工程において前記入力画像が前記第２種の画像であると判別された場合、前記入力画像の前記第２の特徴量のうち、その画像中の前記第１種の画像領域を除いた部分に対応する前記第２の特徴量に基づいて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項１３に記載の画像検索方法。
【請求項１５】
前記第１種の画像用辞書データまたは前記第２種の画像用辞書データに登録されている画像の画像データは、ネットワークで接続された機器に分散されて格納されている、
ことを特徴とする請求項１１乃至１４の何れか１項に記載の画像検索方法。
【請求項１６】
前記第１種の画像検索工程では、
前記入力画像の前記第１の特徴量に基づき、第１種の画像検索用インデックスを用いて、前記第１種の画像用辞書データを検索し、対応する出力画像候補を抽出し、
前記第２種の画像検索工程では、
前記入力画像の前記第２の特徴量に基づき、第２種の画像検索用インデックスを用いて、前記第２種の画像用辞書データを検索し、対応する出力画像候補を抽出する、
ことを特徴とする請求項１１乃至１５の何れか１項に記載の画像検索方法。
【請求項１７】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項１１乃至１６の何れか１項に記載の画像検索方法。
【請求項１８】
請求項１１乃至１５の何れか１項に記載の画像検索方法において用いられる辞書データへの画像登録方法であって、
前記第１の特徴量抽出工程と、
前記第２の特徴量抽出工程と、
前記画像検知工程と、
前記画像検知工程における前記入力画像の検知結果が前記第１種の画像である場合に、前記第１種の画像用辞書データに、前記第１の特徴量と関連づけて前記入力画像を登録する第１種の画像登録工程と、
前記画像検知工程における前記入力画像の検知結果に関わらず、前記第２種の画像用辞書データに、前記第２の特徴量と関連づけて前記入力画像を登録する第２種の画像登録工程と、を備える、
ことを特徴とする画像登録方法。
【請求項１９】
前記第１種の画像登録工程では、
前記第１種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第１の特徴量に基づき第１種の画像検索用インデックスを更新し、
前記第２種の画像登録工程では、
前記第２種の画像用辞書データに、前記入力画像を登録するとともに、前記入力画像の前記第２の特徴量に基づき第２種の画像検索用インデックスを更新する、
ことを特徴とする請求項１８に記載の画像登録方法。
【請求項２０】
前記第１種の画像はカラー画像であり、
前記第１の特徴量は、カラー特徴量であり、
前記第２種の画像はモノクロ画像であり、
前記第２の特徴量は、モノクロ特徴量である、
ことを特徴とする請求項１８または１９に記載の画像登録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１４８８７１（Ｐ２００７−１４８８７１Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３４３５２５（Ｐ２００５−３４３５２５）
【出願日】平成１７年１１月２９日（２００５．１１．２９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月２９日（２００５．１１．２９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]