画像処理装置
【課題】集合画像を使用するマップ探索型の画像閲覧方法を実現する画像処理装置において、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる画像処理装置を提供すること。
【解決手段】複数のサムネイル１２４を表示するための表示画面１１９を生成する表示画面生成部１１８を備え、表示画面生成部１１８は、サムネイル１２４がカテゴリ毎に集められ、サムネイル１２４が配置されていない領域が透明化された集合画像１２１を互いに異なる領域に配置した表示画面１１９を生成する第１モードと、集合画像１２１を重ねて配置した表示画面１１９を生成する第２モードとのなかでクライアント装置１００によって選択されたモードをとる。
【解決手段】複数のサムネイル１２４を表示するための表示画面１１９を生成する表示画面生成部１１８を備え、表示画面生成部１１８は、サムネイル１２４がカテゴリ毎に集められ、サムネイル１２４が配置されていない領域が透明化された集合画像１２１を互いに異なる領域に配置した表示画面１１９を生成する第１モードと、集合画像１２１を重ねて配置した表示画面１１９を生成する第２モードとのなかでクライアント装置１００によって選択されたモードをとる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像データベースに蓄積された画像データのサムネイルの一覧等のような、複数の画像の一覧を表示画面に表示する画像処理装置に関する。
【背景技術】
【０００２】
従来、紙文書をスキャナ等の入力デバイスを使用して電子化する電子ファイリングを行う装置は存在していたが、大量に紙文書を扱う業務用途にとどまっていた。
【０００３】
近年、スキャナの低価格化、スキャン機能を搭載したＭＦＰ(Multi Function Printer)の普及、および、ｅ−文書法等の法制化により、一般的なオフィスにおいてもハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。
【０００４】
また、電子化された文書画像データ、写真画像データおよびＰＣ（Personal Computer）等のアプリケーションによって作成された文書データ等をデータベース（以下、「ＤＢ」という。）化して一元管理する画像ＤＢの用途も併せて増えてきている。例えば、紙文書の原本を保存しておく必要があっても、管理のしやすさ、検索のしやすさという点で画像ＤＢを構築するようになってきている。
【０００５】
このような画像ＤＢは、サーバ装置を設置してインターネットやＬＡＮを介して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途のものまで様々である。また、近年のＭＦＰは、文書を蓄積するＨＤＤを備えており、ＭＦＰをベースとした画像ＤＢを構築する例もある。
【０００６】
このような画像ＤＢ内の画像を閲覧するときに、ＤＢ内に複数の画像が蓄積されている場合には、ユーザが目的とする画像を検索する必要がある。画像を検索する場合に、検索対象の画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索することもできるが、多くの場合には、サムネイル一覧表示が使用される。
【０００７】
例えば、ユーザに文書画像を検索させる場合には、キーワード検索で検出された候補画像を対象としたサムネイル一覧表示を行い、検索対象画像を選択させたり、最初からサムネイル一覧表示を行って検索対象画像を探し出させたりする方法がとられている。
【０００８】
サムネイル一覧表示は、複数の縮小画像を画面上に並べて表示することで、簡易に画像の内容を把握させることを目的としている。一般的に、サムネイル一覧表示は、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度を大きく低下させる。
【０００９】
このようなサムネイル一覧表示では、写真画像が対象の場合には、解像度を低下させた縮小画像であっても、その内容をユーザに比較的容易に把握させることができるが、文字中心の文書画像が対象の場合には、ユーザが縮小画像で文字を判読することが困難であるため、文書画像の内容をユーザに把握させることが難しい。
【００１０】
このような文書画像を検索させる場合には、ビューア等を使ってユーザに個々の文書画像を拡大表示させて確認させる必要があり、検索時の操作性が非常に悪いという問題がある。
【００１１】
また、特にネットワークを介したサーバ・クライアントシステムにおいては、ビューアで画像を表示するときに新たに解像度の高い画像データをサーバからクライアント側に転送する必要があるため、数多く画像を確認させるためには多くの処理時間が必要となり、生産性が低下するという問題がある。
【００１２】
また、前述したような画像ＤＢにおいては、蓄積画像数が増えると、そのＤＢに蓄積されている画像の全容を把握するのが難しいという問題がある。通常のサムネイル一覧表示において、蓄積画像数が数千画像程度になると、それら全てをチェックすることは、ユーザにとって非常に厳しい（つらい）作業になるため、特定の画像が絶対に必要な場合以外には、そのような行為が行われることは通常はなく、また行われたとしても、ランダムに並んだサムネイル一覧からＤＢの全容を推測することは非常に困難である。
【００１３】
これは画像ＤＢのブラックボックス化を示していると考えられ、例えば、ＷＷＷ（World Wide Web）等のように世界中の莫大な情報を対象とする画像ＤＢにおいては、ユーザが必要とする情報がほぼ確実に存在し得るため、ユーザは安心して検索等を行うが、通常のローカルな画像ＤＢにおいては、「どのような情報がどれだけ蓄積されているか？」という情報は、ユーザの記憶にのみ依存し、その記憶を頼りにユーザがキーワードや日付等により蓄積画像を検索し、所望の情報を得るしかなく、ユーザに忘れられた情報は活用される機会を失うこととなり、画像ＤＢの活用効率を落とす要因になる。
【００１４】
上述したような問題に対して、画像を２次元または３次元のマップ上に配置して閲覧利用者が全体俯瞰、ズームおよびスクロール等の機能を使用して地図上を散策するようなイメージで情報空間を散策するマップ探索型の画像閲覧方法が提案されている（例えば、特許文献１参照）。
【００１５】
しかし、マップ探索型の画像閲覧方法において、画像ＤＢの全容を把握するためには、ＤＢ内に蓄積された画像を一覧させるために一度に多量の表示画像を表示する必要がある。
【００１６】
これに対し、一覧表示画面の表示倍率が小さく、表示画面内に表示する画像数が多い場合には、高速に表示が可能な集合画像を表示することにより実際に表示する画像を少なくし、表示倍率が大きく画面内に表示する画像数が少ない場合には、個々のサムネイルを表示することによって、軽快な多量の画像表示と、個々の精細な画像表示との切り替えをシームレスに実現できるマップ探索型の画像閲覧方法が提案されている（例えば、特許文献２参照）。
【００１７】
また、マップ探索型の画像閲覧方法において、画像をカテゴリ毎に分類し、分類したカテゴリ毎の画像のサムネイルをまとめて配置する文書分類方法も提案されている（例えば、特許文献３参照）。
【００１８】
この文書分類方法は、大分類として文書タイプで分類を行い、中、小分類として色や形状、レイアウト等で分類を行い、階層的に画像が分類された画像マップから画像を検索させる。ここで、この文書分類方法による分類は、階層的になされているが、大分類による検索キー（以下、「分類キー」という。）、すなわち、初期分類キーは、固定されていることになる。
【００１９】
このように分類された画像マップからユーザに画像を検索させる場合には、検索に使用する初期分類キーは、いくつかの選択肢があった方がよい。例えば、検索対象の画像の記憶により初期の絞り込みを文書タイプで探したい場合もあれば、色情報で探したい場合も考えられる。
【００２０】
しかし、上述した文書分類方法では、階層的にいくつかの分類キーによって分類されているが、最初にユーザがカテゴリを選択するのは文書タイプで固定されているため、このような要求には答えられない。
【特許文献１】特開２００３−７６７１８号公報
【特許文献２】特願２００８−０２２６０３号
【特許文献３】特願２００７−１１６０７０号
【発明の開示】
【発明が解決しようとする課題】
【００２１】
このように複数の分類キーに対応するには、複数の画像配置（換言すれば、大分類カテゴリ毎に異なる複数のマップ）を用意しておけばよいが、特許文献２に開示された高速に大量の画像を表示する目的によって集合画像を使用する画像閲覧方法の場合には、処理コストの大きな複数種類の集合画像を用意する必要が生じるために問題が生じる。
【００２２】
すなわち、集合画像は、個別画像と比較してサイズの大きな画像となるため、複数種類の集合画像を用意することは、サーバのディスク容量を圧迫する。また、画像を新たに登録する場合やマップ上の画像の位置を変更するときには、集合画像を変更する必要が生じるため、集合画像の種類分の処理時間が必要となり、サーバ側の負荷が大きくなってしまう。
【００２３】
サーバ側のディスク容量や負荷の増大は、一台のサーバあたりで対応可能なユーザ数が減ってしまうことになり、多くのユーザを備えたシステムではサーバ台数が多くなり、結果としてコストが大きくなることになる。
【００２４】
本発明は、従来の課題を解決するためになされたもので、集合画像を使用するマップ探索型の画像閲覧方法を実現する画像処理装置において、複数種類の集合画像を用意せずにマップの初期分類キー、換言すればマップの表示形態の種類を増やすことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明の画像処理装置は、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する表示画面生成部を備えた画像処理装置であって、前記表示画面生成部は、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１モードと、前記集合画像を重ねて配置した一覧表示画面を生成する第２モードと、のなかで選択されたモードをとる構成を有している。
【００２６】
この構成により、本発明の画像処理装置は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成するため、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる。
【００２７】
なお、本発明の画像処理装置は、オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成部と、前記サムネイルを前記カテゴリで分類するカテゴリ分類部と、前記集合画像に前記サムネイルを配置する画像配置部と、前記画像配置部による配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成部と、を備え、前記集合画像生成部は、前記集合画像のなかで前記サムネイルが配置されていない領域を透明化するようにしてもよい。
【００２８】
この構成により、本発明の画像処理装置は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成することができる。
【００２９】
また、前記集合画像生成部は、前記カテゴリ毎に略同一のサイズの集合画像を生成するようにしてもよい。
【００３０】
この構成により、本発明の画像処理装置は、カテゴリ毎に略同一のサイズの集合画像を生成するため、各カテゴリの集合画像に対して何ら処理を加えずに集合画像を重ねることによりオリジナル画像の特徴によって分類された一覧表示画面を生成することができ、一覧表示画面を表示する際の処理量を削減することができる。
【００３１】
また、前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一の数式に基づいて前記サムネイルの位置を決定するようにしてもよい。
【００３２】
この構成により、本発明の画像処理装置は、全てのカテゴリにおいて、同一の数式に基づいてサムネイルの位置を決定するため、集合画像を重ねた場合であっても、精度の良い画像マップを作成することができる。
【００３３】
また、前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一のモデルデータに基づいて前記サムネイルの位置を決定するようにしてもよい。
【００３４】
この構成により、本発明の画像処理装置は、全てのカテゴリにおいて、同一のモデルデータに基づいてサムネイルの位置を決定するため、複数の色味を持つ画像や形状に特徴のある画像など多次元の画像特徴量を必要とする画像マップを作成する場合に、精度の良い画像マップを作成することができ、マップ全体の座標値に対してモデルデータを作成する必要がなくモデルデータの容量を削減することができる。
【００３５】
前記表示画面生成部は、表示用画像が分類されていないカテゴリに対応する集合画像の生成を省くようにしてもよい。
【００３６】
この構成により、本発明の画像処理装置は、あるカテゴリに対して新規にオリジナル画像が登録されたときに、カテゴリの座標データを設定することによって表示用画像が分類されていないカテゴリの集合画像をマップ上に表示させないため、一覧表示画面上で不要な空白を生じさせず、ユーザの操作性を向上させることができる。また、本発明の画像処理装置は、表示用画像が分類されていないカテゴリの集合画像を表示対象としないため、通信や表示等の不要な処理を省略することができ、全体的な処理の効率を向上させることができる。
【００３７】
また、前記集合画像は、透明レイヤを保持することが可能な符号フォーマットで符号化されていてもよい。
【００３８】
この構成により、本発明の画像処理装置は、集合画像のなかで表示用画像が配置されていない領域を透明化することができる。
【００３９】
また、本発明の画像処理方法は、画像処理装置を用いて、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する画像処理方法であって、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを実行する。
【００４０】
したがって、本発明の画像処理方法は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成するため、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる。
【００４１】
また、本発明の画像処理方法は、前記画像処理装置を用いて、オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成ステップと、前記サムネイルを前記カテゴリで分類するカテゴリ分類ステップと、前記集合画像に前記サムネイルを配置する画像配置ステップと、前記画像配置ステップにおける配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成ステップと、をさらに実行するようにしてもよい。
【００４２】
したがって、本発明の画像処理方法は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成することができる。
【００４３】
また、本発明の画像処理プログラムは、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面をコンピュータに生成させるための画像処理プログラムであって、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを前記コンピュータに実行させる。
【００４４】
したがって、本発明の画像処理プログラムは、カテゴリ毎に集合画像を生成させ、これらを組み合わせることによって一覧表示画面を生成させるため、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる。
【発明の効果】
【００４５】
本発明は、集合画像を使用するマップ探索型の画像閲覧方法を実現する画像処理装置において、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、本発明に係る画像処理装置をサーバ装置とクライアント装置とによって構成した例について説明する。
【００４７】
（第１の実施の形態）
図１に示すように、本実施の形態における画像表示システム１は、パーソナルコンピュータ（以下、「ＰＣ」という。）等によって構成されたクライアント装置１００と、クライアント装置１００から通信路１０５を介して送信されたコマンドに応じて画像分類を行い、分類結果をクライアント装置１００に通信路１０５を介して送信するサーバ装置１１０とを備えている。
【００４８】
なお、クライアント装置１００は、ＰＣの他に、ＰＤＡ（Personal Digital Assistant）や携帯電話等のモバイル端末によって構成してもよい。また、通信路１０５は、ＬＡＮ（Local Area Network）、インターネット網および無線通信網等よりなる。
【００４９】
クライアント装置１００は、モニタ等よりなる表示デバイス１０１と、ユーザ指示の解釈、サーバ装置１１０との通信、および、表示デバイス１０１の制御を行うアプリケーション１０２と、ユーザから指示が入力されるキーボードやポインティングデバイス等よりなる入力デバイス１０３と、アプリケーション１０２がサーバ装置１１０から受信した画像を一時的に蓄積する画像キャッシュ１０４とを備えている。
【００５０】
サーバ装置１１０は、通信路１０５に対して設けられた外部インターフェース（以下、「Ｉ／Ｆ」という。）１１１と、クライアント装置１００から登録が要求された登録画像１１２（本発明における「オリジナル画像」にあたる。）を所定サイズ以下に変倍した表示用のサムネイル１２４を生成するサムネイル生成部１１３と、登録画像１１２およびサムネイル１２４のデータを蓄積する画像ＤＢ１１４と、画像をカテゴリ（以下、「分類カテゴリ」という。）で分類するカテゴリ分類部１１５と、複数のサムネイル１２４を貼り付けた集合画像１２１を生成するとともに、ユーザ操作に応じて集合画像１２１の変更を行う集合画像生成部１１６と、サムネイル１２４をマップ上に配置する画像配置部１１７と、クライアント装置１００から送信された画面制御データ１２０の内容に応じて表示画面１１９のデータを生成する表示画面生成部１１８とを備えている。
【００５１】
ここで、表示画面１１９のデータは、クライアント装置１００の表示デバイス１０１上にマップを表示させるための情報を表している。
【００５２】
画像ＤＢ１１４には、サムネイル生成部１１３によって生成されたサムネイル１２４のデータと、サムネイル１２４を合成して集約した集合画像１２１のデータと、画像配置データ１２２とが格納される。
【００５３】
画像配置データ１２２は、画像ＤＢ１１４に登録された各登録画像１１２のサムネイル１２４が分類された分類カテゴリを表す分類カテゴリデータと、各分類カテゴリにおけるサムネイル１２４の座標（以下、「サムネイル座標」という。）を表すサムネイル座標データと、各分類カテゴリのマップ上の座標（以下、「カテゴリ座標」という。）を表すカテゴリ座標データと、必要に応じて分類カテゴリ単位に用意された各集合画像１２１のマップ上の座標（以下、「集合画像座標」という。）を表す集合画像座標データとを含んでいる。
【００５４】
図２は、サーバ装置１１０のハードウェア構成を示すブロック図である。サーバ装置１１０は、プログラムを実行することによって演算や処理を行うＣＰＵ（Central Processing Unit）２０１と、プログラムのコードや画像の符号データ等を一時的に記憶する揮発性のメモリ２０２と、画像データやプログラム等を保存するためのハードディスク装置（以下、「ＨＤＤ」という。）２０３と、モニタ２０５に表示させるためにデータをバッファリングするビデオメモリ２０４と、キーボードやポインティングデバイス等よりなる入力デバイス２０６と、通信路１０５に対して設けられた外部Ｉ／Ｆ２０７と、これら各構成要素を接続するバス２０８とを備えている。
【００５５】
ＨＤＤ２０３には、画像ＤＢ１１４が格納される。また、ビデオメモリ２０４に書き込まれた画像データが表す画像は、定期的にモニタ２０５に表示される。
【００５６】
本実施の形態において、サーバ装置１１０は、サーバコンピュータによって構成され、画像ＤＢ１１４に登録画像１１２を登録する画像登録動作等の後述する各動作は、ＨＤＤ２０３等に格納されたアプリケーションを実行するＣＰＵ２０１によって実行される。
【００５７】
ただし、本発明においては、この例に限定されず、ＭＦＰ等の装置内に設けられたハードウェアによってサーバ装置１１０を構成してもよい。また、本発明の画像処理装置をサーバ装置とクライアント装置とによって構成せずに、例えば、図１に示す画像表示システム１と同等に機能する１つのＰＣまたはＭＦＰ等によって構成してもよい。
【００５８】
なお、クライアント装置１００のハードウェア構成は、図２に示したサーバ装置１１０のハードウェア構成と同様であるため、図示を省略する。
【００５９】
以上のように構成された画像表示システム１の動作について説明する。画像表示システム１は、主に、画像登録動作と画像検索動作との２つの動作を実行する。ここで、画像検索動作は、クライアント装置１００のユーザが所望する画像の検索、探索、閲覧および取得（サーバ装置１１０からのダウンロード）を実行するために画像ＤＢ１１４に登録された画像を利用する動作である。
【００６０】
画像検索動作は、ユーザが所望する画像の検索や探索を行い、その後、クライアント装置１００のＨＤＤ等に格納されたアプリケーション１０２の１つであるビューアを介して、画像を閲覧させたりクライアント装置１００のＨＤＤに蓄積したりする。
【００６１】
図３は、画像表示システム１の画像登録動作を示すシーケンス図である。
【００６２】
まず、クライアント装置１００のユーザによって入力デバイス１０３を介して、画像データの登録と、登録する登録画像１１２を表すデータとがアプリケーション１０２に指示されると（ステップＳ１）、画像データの登録の指示と、指示された登録画像１１２を表すデータとが、アプリケーション１０２によってサーバ装置１１０に通信路１０５を介して送信される（ステップＳ２）。
【００６３】
サーバ装置１１０の外部Ｉ／Ｆ１１１に受信された登録画像１１２を表すデータは、サムネイル生成部１１３によって縮小処理や画像フォーマットの変換等が施され、表示用のサムネイル１２４が生成される（ステップＳ３）。ここで、登録画像１１２が、複数のページからなる場合には、ページ毎のサムネイル１２４がサムネイル生成部１１３によって生成される。
【００６４】
登録画像１１２を表すデータは、サムネイル生成部１１３によって生成されたサムネイル１２４を表すデータと、ファイル名等の登録画像１１２に付随するメタ情報と共に、ＩＤが付されて画像ＤＢ１１４に登録される（ステップＳ４）。
【００６５】
ここで、サムネイル１２４を所定の分類カテゴリに分類する分類処理がカテゴリ分類部１１５によって実行される（ステップＳ５）。なお、分類処理は、上述したステップＳ３、Ｓ４と並行するように実行してもよい。また、分類処理は、該当する登録画像１１２のメタ情報等に基づいて分類を行ってもよいし、登録画像１１２の特徴量を算出して、算出した特徴量に応じた分類を行ってもよい。
【００６６】
画像に対するクラスタリングや分類処理については、数々の従来技術が存在し、本発明においては、いかなる分類処理も適用することができるため、分類処理についての詳細な説明は省略する。
【００６７】
分類処理の好適な一例としては、登録文書画像を８×８の局所ブロック毎に離散コサイン変換（Discrete Cosine Transform。以下、「ＤＣＴ」という。）を施し、ＤＣＴ係数の分布に応じて局所領域を線画、文字および写真等に識別した後、識別した結果毎に２５次元の高次局所自己相関特徴量を算出し、それらの特徴量を閾値処理またはサポート・ベクタ・マシン（以下、「ＳＶＭ」という。）等の機械学習を利用して「図面」、「帳票」、「書籍」および「その他」等のカテゴリに分類するものがある（例えば、特願２００７−０３９７８７号参照）。
【００６８】
また、登録文書画像から色、形状およびレイアウト等の複数の特徴量を算出し、複数の分類処理を行うものもある（例えば、特開２００７−２８６８６４号公報参照）。ここで、分類処理によって識別される分類の種類としては、色分類、形状分類、レイアウト分類および文書タイプ分類がある。この分類処理を、本実施の形態に適用する場合は、１つの分類処理を実行すればよく、例えば、文書タイプ分類のみを識別すればよい。
【００６９】
また、別の分類処理として、画像から得られる色、エッジおよびテクスチャ等の量や画像上での分布等を画像特徴量として入力し、予め教師データを用いて学習させたＳＶＭ等の機械学習のモデル等を用いて画像の種類を識別し分類する処理もある。
【００７０】
一方、画像のメタ情報を使用する分類処理として、予め画像に付与された書誌的情報、画像の作成日、および、ＤＢの登録日等の情報に基づいて、複数のカテゴリに画像を分類するものについても数多くの文献に開示されている。
【００７１】
本発明における分類処理は、上述したいずれのものを用いてもよい。本実施の形態においては、特願２００７−０３９７８７号に開示されているように、画像の文書タイプを分類の対象として識別し、予め定められた所定のカテゴリへ分類する分類処理を用いるものとする。
【００７２】
また、本実施の形態においては、登録画像１１２を文書画像とし、分類処理における分類カテゴリを「論文」、「図面」、「帳票」および「スライド」の４つのカテゴリとして、以下説明する。
【００７３】
図３において、カテゴリ分類部１１５によって登録画像１１２のサムネイル１２４が分類されると、当該サムネイル１２４のサムネイル座標が画像配置部１１７によって決定される（ステップＳ６）。
【００７４】
図４（ａ）は、各分類カテゴリに含まれる画像の表示領域（以下、「カテゴリ領域」という。）が割り当てられたマップを示す概念図である。図４（ａ）において、分類カテゴリのカテゴリ領域は、４つの楕円で示されている。
【００７５】
本実施の形態における集合画像１２１は、集合画像生成部１１６によって分類カテゴリ毎に生成される。なお、図４（ａ）には、１つの画像で集合画像１２１を構成する例を示しているが、集合画像１２１を分割した部分集合画像で集合画像１２１を構成してもよい。例えば、各分類カテゴリの集合画像１２１を４つの部分集合画像で構成してもよい。
【００７６】
図４（ｂ）に示すように、各分類カテゴリに分類されたサムネイル１２４は、各カテゴリ領域内に含まれるようにマップ上に配置される。
【００７７】
各カテゴリ領域内における画像配置の決定方法は、前述したように画像の特徴を使用する方法や文書の形態素解析等を用いて文書の内容の類似度に基づいて配置する方法等、種々の方法がある。
【００７８】
本実施の形態においては、登録画像１１２の見た目により配置を定めることによって登録画像１１２のサムネイル１２４をマップ上から検索しやすくするため、画像配置部１１７は、登録画像１１２の特徴、特に、画像の特徴のなかで最も人間の感覚に近い色特徴に基づいてサムネイル座標を決定するものとする。
【００７９】
色特徴を抽出する方法としては、画像の平均色や代表色を画像の色特徴として算出する方法、色のヒストグラム等を画像の色特徴として算出する方法（例えば、特開２０００−１８７７３１号公報参照）、および、色分布を画像の色特徴として算出する方法（例えば、特開２００２−１３３４１２号公報参照）等、種々の方法がある。
【００８０】
画像の平均色を画像の色特徴として算出する場合には、全画素の色の平均値を求めればよく、画像の代表色を画像の色特徴として算出する場合には、例えば、色のヒストグラムを算出した後、最も出現頻度の高い色を代表色として選択すればよい。
【００８１】
平均色や代表色は、３次元ベクトルで表される単一色として得られ、ヒストグラムや色分布からは、多次元の特徴量が得られるため、サムネイル座標の算出方法は両者で異なる。このため、ヒストグラムや色分布を画像の色特徴として算出する場合には、多次元ベクトルを２次元座標へ変換する必要がある。この変換方法については、後述する本発明の第２の実施の形態で説明する。
【００８２】
平均色や代表色等の単一色の値（以下、「単色値」という。）を画像の色特徴として算出する場合には、算出された単色値の３属性（例えば、ＲＧＢ値やＹＣｒＣｂ（輝度／色差）値等）を計算によって２次元座標に変換すればよい。本実施の形態においては、このように単色値を画像の特徴量とする例について説明する。
【００８３】
単色値を画像の特徴量とする場合には、ＨＳＶの表色系を使用して色相Ｈと彩度Ｓとを単色値から算出し、算出した色相Ｈと彩度Ｓとに応じた２次元の座標を求めればよい。例えば、ＲＧＢからＨＳＶの変換は、ＲＧＢ値の最大値をｍａｘとし、最小値をｍｉｎとして、以下の式を用いて行うことができる。
【００８４】
ｉｆ ｍａｘ＝Ｒ Ｈ［度］＝６０×（Ｇ−Ｂ）／（ｍａｘ−ｍｉｎ）
ｉｆ ｍａｘ＝Ｇ Ｈ［度］＝６０×（Ｂ−Ｒ）／（ｍａｘ−ｍｉｎ）＋１２０
ｉｆ ｍａｘ＝Ｂ Ｈ［度］＝６０×（Ｒ−Ｇ）／（ｍａｘ−ｍｉｎ）＋２４０
Ｓ＝（ｍａｘ−ｍｉｎ）／ｍａｘ
【００８５】
なお、上述したように、ＨＳＶの表色系を使用する他に、ＹＣｒＣｂ等のような輝度／色差表色系の色差成分のみを使用したり、ＣＩＥＬＡＢ表色系の色度のみを使用したりしてもよい。
【００８６】
図４（ｃ）は、原点をカテゴリ領域の中心としたときのサムネイル座標と色との関係を示す概念図であり、０度は、原点から水平方向右側へ伸びる線上として半時計周りに＋の角度としている。
【００８７】
なお、ＨＳＶの表色系を使用した場合には、通常、カテゴリ領域は真円になるが、これを作為的に変形させてもよく、図４（ｃ）においては、カテゴリ領域を楕円に変形させている。また、図４（ｄ）は、ＣＩＥＬＡＢ表色系のａ＊を水平軸、ｂ＊を垂直軸に取ったときのサムネイル座標と色との関係を示す概念図である。
【００８８】
このように、本発明においては、各カテゴリ領域内における画像配置を様々な方法で決定することができるが、画像配置部１１７は、全ての分類カテゴリにおいて同一の方法で各サムネイル１２４のサムネイル座標を決定する。
【００８９】
このように決定された各サムネイル１２４のサムネイル座標を表すサムネイル座標データと、分類カテゴリデータとは、画像配置部１１７によって、画像配置データ１２２に含められ、登録画像１１２とＩＤでリンクされて画像ＤＢ１１４に登録される。なお、サムネイル座標データは、上述したようにＨＳＶの表色系で算出された値のように極座標で表してもよいし、２次元（ｘ，ｙ）座標として表してもよい。
【００９０】
図４（ｂ）に示すようなマップ上における各サムネイル１２４の座標は、画像配置データ１２２に予め登録されている各分類カテゴリのカテゴリ座標データを使用することにより求めることができる。カテゴリ座標データは、各カテゴリ領域の中心位置または集合画像１２１のいずれかの頂点の位置をカテゴリ領域の原点としたマップ上の座標を表している。
【００９１】
このため、集合画像１２１における座標と、カテゴリ領域における座標とを同一に扱うことができる。以下の説明において、集合画像１２１における座標と、カテゴリ領域における座標とは、一致するものとする。なお、カテゴリ領域の中心位置をカテゴリ領域の原点とした場合には、カテゴリ領域の中心位置と集合画像の中心位置とを同一にする必要がある。
【００９２】
ここで、各分類カテゴリの集合画像を複数の部分集合画像に分割して保持する場合には、部分集合画像の原点の座標を表すデータを集合画像座標データと共に画像配置データ１２２に含めるようにすればよい。
【００９３】
図３において、集合画像生成部１１６では、サムネイル１２４を表すデータと、カテゴリ分類部１１５による分類結果を表す分類カテゴリデータと、画像配置部１１７によって決定されたサムネイル１２４のサムネイル座標と、分類カテゴリデータに対応した更新前の集合画像１２１（以下、「集合画像Ａ」という）とに基づいて、更新後の集合画像１２１（以下、「集合画像Ｂ」という）が生成され、集合画像Ａに代えて集合画像Ｂが画像ＤＢ１１４に登録されると共に、画像配置データ１２２が更新される集合画像更新処理が実行される（ステップＳ７）。
【００９４】
なお、画像ＤＢ１１４において、ＩＤやファイル名等の付随するメタ情報を一般的なＲＤＢ（リレーショナルデータベース）で管理することにより、このような情報の登録、管理および検索等の処理を容易に実現することができる。
【００９５】
また、集合画像１２１およびサムネイル１２４等を表す画像データについては、必要に応じて圧縮符号化等の処理を施してＨＤＤ２０３に蓄積しておき、メタ情報に含まれるリンクによって特定して読み込むことができるようにしておけばよい。
【００９６】
また画像ＤＢ１１４は、上述した機能を満たすものであれば、例えば、ＸＭＬ（eXtensible Markup Language）等の言語を使用し、階層的なデータ構造を構築して各データを蓄積してもよい。また、画像ＤＢ１１４は、複数のデータベースサーバに分散して格納されていてもよい。
【００９７】
なお、画像登録動作において、スキャナやデジタルカメラ等の画像入力装置から画像データを直接にサーバ装置１１０に登録できるようにしてもよい。また、サーバ装置１１０にレンダリング機能を設けて電子データを入力できるようにしてもよい。
【００９８】
図５は、サーバ装置１１０の集合画像更新処理（ステップＳ７、図３）を詳細に示すフローチャートである。なお、ここでは、画像ＤＢ１１４に複数の画像が既に登録されているものとする。
【００９９】
まず、集合画像生成部１１６によって、分類カテゴリデータに対応した集合画像Ａが画像ＤＢ１１４から選択される（ステップＳ１０）。例えば、分類カテゴリデータが「スライド」を表す場合には（図４（ａ）参照）、「スライド」に対応する集合画像が選択される。
【０１００】
次に、画像ＤＢ１１４に登録されている既存の集合画像Ａが集合画像生成部１１６によって取得され、集合画像Ａのコピー画像が生成される（ステップＳ１１）。
【０１０１】
また、登録画像１１２が所定サイズ以下に変倍されたサムネイル１２４がサムネイル生成部１１３によって生成される（ステップＳ１２）。ここで、「所定サイズ」とは、登録画像１１２と、画像配置部１１７によって決定されたマップとの相対値によって定められる。
【０１０２】
次に、サムネイル生成部１１３によって生成されたサムネイル１２４が、集合画像Ａのコピー画像に合成される合成処理が実行され、集合画像Ｂが生成される（ステップＳ１３）。
【０１０３】
合成処理は、画像配置部１１７によって決定された集合画像１２１の領域にサムネイル１２４を貼り付けるように上書きする。また、合成処理と共に、集合画像Ｂ上でサムネイル１２４の存在しない部分を透明化する透明化処理が集合画像生成部１１６によって実行される（ステップＳ１４）。
【０１０４】
ここで、透明化処理は、集合画像Ｂに対して、サムネイル１２４を配置した領域に対応する画素の透明度を０％とし、サムネイル１２４を配置していない領域に対応する画素の透明度を１００％とする処理である。
【０１０５】
このように集合画像Ｂに透明化処理を施すことによって、集合画像Ｂと、他の集合画像１２１とを表示画面上で重ねた場合に、サムネイル１２４が配置されていない領域については、下に重なった集合画像１２１のサムネイル１２４が表示されることになる。
【０１０６】
図４（ｅ）は、図４（ａ）、（ｂ）に示した「スライド」の分類カテゴリ用の集合画像Ｂに対して、透明部分を斜線で示した概念図である。
【０１０７】
なお、集合画像１２１の透明化処理においては、一般的にαチャネルと呼ばれる透明レイヤを有することができる画像フォーマットの画像データで集合画像１２１を管理するのが最も簡単な実現方法である。
【０１０８】
αチャネルを有することができる代表的な画像フォーマットとしては、ＪＰＥＧ（Joint Photographic Experts Group）２０００、ＪＰＥＧ−ＸＲ（eXtended Range）、ＰＮＧ（Portable Network Graphics）フォーマット等がある。
【０１０９】
また、画像の透明化処理を実現する別な方法としては、透明、不透明を集合画像１２１の画素単位で判定するための情報を別途用意して、クライアント装置１００のアプリケーション１０２にてマスク処理を行うことによって実現することもできるが、前者の方法の方が汎用性が高く、より好適であるため、本実施の形態においては、前者の方法で画像の透明化処理を実現するものとする。
【０１１０】
集合画像Ｂのαチャネルは、サムネイル１２４が全く登録されていない初期状態には、全ての画素が透明度１００％のαチャネルを有している。そして、集合画像生成部１１６は、集合画像１２１にサムネイル１２４を合成する度に、サムネイル１２４を合成した領域の透明度を０％に変更していく。換言すれば、集合画像生成部１１６は、αチャネルのレイヤに透明度が０％の意味を有する画像を貼り付けるように上書き処理することによって、集合画像Ｂの透明化処理を実現する。
【０１１１】
このように、集合画像Ｂが生成されると、集合画像Ｂは、集合画像生成部１１６によって画像ＤＢ１１４に新規に登録され、新規の画像ＩＤ（例えば、ＵＲＬ（Uniform Resource Locator））が付与される（ステップＳ１５）。
【０１１２】
次に、画像配置データ１２２に含まれる集合画像のリンク先が、集合画像生成部１１６によって、集合画像Ａの画像ＩＤから集合画像Ｂの画像ＩＤに変更される（ステップＳ１６）。そして、集合画像Ａが、集合画像生成部１１６によって画像ＤＢ１１４から削除される（ステップＳ１７）。
【０１１３】
ここで、本実施の形態におけるサムネイル１２４と集合画像１２１との関係について説明する。前述したように、本実施の形態においては、サーバ装置１１０は、登録画像１１２毎にクライアント装置１００に表示させるサムネイル１２４と、集合画像１２１とを生成する。
【０１１４】
本実施の形態におけるマップ探索型の画像表示システム１においては、クライアント装置１００の表示画面の表示サイズに応じた画像サイズのサムネイル１２４を生成する必要がある。
【０１１５】
サムネイルを生成する方法は、ＪＰＥＧ２０００等に代表される階層符号化方式を用いて必要な画像サイズ分の画像データ（符号コード）を用いて実現してもよく（例えば、特願２００６−３０４０１２号参照）、サイズの異なるサムネイルを複数用意して表示サイズに対応するサムネイルを選択することにより実現してもよい。
【０１１６】
サムネイルを集約した集合画像１２１においても、個々の登録画像１１２の縮小画像であるサムネイル１２４と同様に、階層符号化方式で実現してもよく、サイズの異なる複数の画像で実現してもよい。ただし、前述したように、集合画像１２１は、画像の透明化処理を施すために、αチャネルを有することが必要となる。
【０１１７】
なお、集合画像１２１は、一般的に見れば巨大な画像データとなるので、ＪＰＥＧ２０００やＪＰＥＧ−ＸＲ等の階層符号化方式で構成した方が、全体的な蓄積容量が節約できるため好適である。
【０１１８】
また、前述したように、集合画像１２１は、各分類カテゴリに対して１つの画像で構成してもよく、各分類カテゴリの集合画像１２１の全体を分割した複数の部分集合画像で構成してもよい。
【０１１９】
本実施の形態においては、本発明を理解しやすくするために、各分類カテゴリに対して１つの画像で集合画像１２１を構成する場合について説明しているが、複数の部分集合画像で集合画像１２１を構成する場合には、集合画像生成部１１６は、集合画像１２１の更新や表示に先立って対象の部分集合画像を画像配置データ１２２に基づいて選択すればよい。
【０１２０】
図６は、画像表示システム１の画像検索動作を示すシーケンス図である。なお、画像検索動作は、クライアント装置１００のユーザが目的の登録画像１１２を画像ＤＢ１１４から検索するときや、画像ＤＢ１１４に登録された登録画像１１２を探索するときに実行される。
【０１２１】
なお、本実施の形態において、サムネイル１２４の表示モードとして、図７（ａ）に示すように、登録画像１１２のサムネイル１２４をカテゴリ領域毎に配置した「分類表示モード」と、図７（ｃ）に示すように、登録画像１１２の色味（図４（ｃ）参照）毎にサムネイル１２４を配置した「カラーマップ表示モード」との２つのモードがある。
【０１２２】
「分類表示モード」と「カラーマップ表示モード」との切り替えは、クライアント装置１００の入力デバイス１０３による一覧表示画面上の表示切替ボタン３０８（図７（ａ））の押下（クリック）により行われる。
【０１２３】
なお、本発明を理解しやすくするために、表示モードは、画像検索動作が実行される前に、予め選択されているものとし、図６に示す画像検索動作においては、表示モードの切り替えがあったときのステップについての説明を割愛している。
【０１２４】
図６において、まず、ユーザによって入力デバイス１０３を介して、サムネイルの一覧表示がアプリケーション１０２に指示されると（ステップＳ２０）、図７（ａ）に示すようなサムネイルの一覧表示画面の初期画面がサーバ装置１１０の表示画面生成部１１８によって生成される（ステップＳ２１）。
【０１２５】
ここで、図７（ａ）において、初期画面上には、サムネイルを一覧表示する領域であるサムネイル一覧ビュー３０２の表示領域を規定するウィンドウ３０１と、各矩形によって図示されているサムネイル３０３と、サムネイル一覧ビュー３０２の表示倍率を設定するスライダ３０４と、サムネイル一覧ビュー３０２を水平方向へスクロールさせるためのスライダ３０５と、サムネイル一覧ビュー３０２を垂直方向へスクロールさせるためのスライダ３０６と、「分類表示モード」と「カラーマップ表示モード」とを切り替えるための表示切替ボタン３０８とが表示される。
【０１２６】
ここで、集合画像１２１を表示する場合には、サムネイル一覧ビュー３０２上に集合画像１２１を配置することになり、個々のサムネイル３０３を表示する場合には、表示されるサムネイル３０３をサムネイル一覧ビュー３０２上に個々に配置することとなる。
【０１２７】
なお、図７（ａ）乃至（ｃ）において、マップ上のサムネイル３０３の配置がランダムに配置されており、表示画面生成部１１８は、マップ上のサムネイル３０３の重なりを許容しているが、サムネイル３０３の配置を整列するようにしてもよい。
【０１２８】
本実施の形態におけるサムネイルの一覧表示画面は、サムネイル一覧ビュー３０２と、サムネイル一覧ビュー３０２以外のユーザインターフェースの部分およびデザイン的な意味合いの外枠のフレーム部分とからなる。クライアント装置１００のアプリケーション１０２は、これらを合成して表示デバイス１０１用の表示画面を生成し、最終的に図７（ａ）に示すような表示画面を生成する。
【０１２９】
図７（ｂ）は、サムネイル一覧ビュー３０２の例を示す概念図である。サムネイル一覧ビュー３０２は、ウィンドウ３０１の境界によって規定された表示領域３０７を有している。表示画面生成部１１８は、表示画面１１９を表すデータを生成する場合には、前述の通り２種類の表示モードに対応する表示画面を生成するが、外枠のフレーム部分については、サムネイル一覧ビュー３０２の表示倍率や表示領域を変更するスライダ３０４乃至３０６の表示を更新する程度なので、説明を省略し、サムネイル一覧ビュー３０２の画面情報を生成することについて説明する。
【０１３０】
なお、図７（ｂ）に示すサムネイル一覧ビュー３０２については、余白部分が存在するが、実装を容易にするために設けられたものであり、本発明には特に関係しない。また、図７（ａ）に示すように、本実施の形態においては、表示倍率や表示領域を変更するためのスライダを一覧表示画面内に設けているが、例えば、クライアント装置１００に設けられたマウス等の入力デバイス１０３にそれらの機能を設けるようにしてもよい。
【０１３１】
表示画面生成部１１８は、初期画面を生成する場合には、サムネイル一覧ビュー３０２の表示倍率（図７（ａ）乃至（ｃ）では最低倍率）と表示領域３０７とを予め定められた初期値に設定して、サムネイル一覧ビュー３０２を生成し、外枠のフレーム部分と共に表示画面１１９のデータとして外部Ｉ／Ｆ１１１より通信路１０５を介してクライアント装置１００に送信する。
【０１３２】
このような表示画面の作成方法やサーバ・クライアント間の通信方法には種々の方法があるが、一般的によく使用される好適なものとして、サーバ装置１１０をＷｅｂサーバとしてＷｏｒｌｄＷｉｄｅＷｅｂベースの技術を使用することによって実現することができる。
【０１３３】
この場合には、表示画面１１９のデータは、ＨＴＭＬ（Hyper Text Markup Language）によって記述され、アプリケーション１０２として、一般的なＷｅｂブラウザを適用すればよい。
【０１３４】
このような方法によれば、サーバ装置１１０は、まず、画像の配置や画像のリンク先（Ｗｅｂ上のＵＲＬ）が記述されたＨＴＭＬファイルをクライアント装置１００に送信し、クライアント装置１００は、受信したＨＴＭＬファイルのリンク先から画像を取得する。このような方法は、換言すれば表示画面の構造的情報と画像データとを分離して送付する方法と言える。
【０１３５】
それ以外の方法としては、サーバ装置１１０がクライアント装置１００の表示画面のビットマップデータそのものを生成して、生成したビットマップデータをクライアント装置１００に送信する方法もある。以下、本実施の形態においては、前者の方法を用いた例で説明を行う。
【０１３６】
表示画面生成部１１８は、集合画像１２１を表示画面に表示させる場合には、各集合画像１２１の画像ＩＤ（ＷＷＷ技術においては、画像のＵＲＬということになる）と、集合画像座標データとが必要であり、個々のサムネイル１２４を表示画面に表示させる場合には、個々のサムネイル１２４の画像ＩＤとサムネイル座標データとが必要となる。
【０１３７】
前述の通り、本実施の形態においては「分類表示モード」と「カラーマップ表示モード」との２つの表示モードがある。表示モードは、クライアント装置１００から指示され、画面制御データ１２０としてサーバ装置１１０に通知される。表示画面生成部１１８は、表示モードに応じて処理を切り替える。
【０１３８】
図８は、サーバ装置１１０の表示画面生成動作を示すフローチャートである。
【０１３９】
まず、クライアント装置１００から送信された画面制御データ１２０の内容に基づいて、表示モードが「分類表示モード」か「カラーマップ表示モード」かが表示画面生成部１１８によって判断される（ステップＳ３１）。
【０１４０】
ここで、表示モードが「分類表示モード」と判断された場合には、分類カテゴリのカテゴリ座標データが表示画面生成部１１８によって画像ＤＢ１１４から取得される（ステップＳ３２）。
【０１４１】
ここで、表示画面生成部１１８は、例えば、表示画面１１９の表示領域３０７（図７（ｂ）参照）に該当するマップの領域に基づいて、表示画面１１９に表示させる分類カテゴリを選択し、選択した分類カテゴリのカテゴリ座標データを取得する。このような方法は、画像ＤＢ１１４をＲＤＢによって構成すれば容易に実現できるため、詳細な説明は省略する。
【０１４２】
次に、表示画面１１９に表示させる画像が個別画像（本実施の形態においては、サムネイル）であるか集合画像であるかが表示画面生成部１１８によって判断される（ステップＳ３３）。この判断は、例えば、表示画像数や表示倍率で切り替えたり、表示用の複数のモードを備えていてモードによって切り替えたりしてシステムの動作仕様として決めればよく、本発明とは直接に関連しない部分であるため説明は省略する。
【０１４３】
ここで、表示画面１１９に表示させる画像が個別画像であると判断された場合には、表示対象のサムネイル１２４のサムネイル座標データと画像ＩＤとが表示画面生成部１１８によって画像ＤＢ１１４から取得される（ステップＳ３４）。
【０１４４】
次いで、ステップＳ３１において、表示モードが「分類表示モード」であると判断された場合には（ステップＳ３５：ＹＥＳ）、表示対象の登録画像１１２のマップ上の座標が表示画面生成部１１８によって算出される（ステップＳ３６）。
【０１４５】
ここで、個々のサムネイル１２４を表示画面１１９に表示させる場合には、各サムネイル１２４のマップ上の座標は、当該サムネイル１２４が分類された分類カテゴリのカテゴリ座標データと、当該サムネイル１２４のサムネイル座標データから算出することができる。
【０１４６】
例えば、あるサムネイル１２４が分類された分類カテゴリのカテゴリ座標を（Ｘ，Ｙ）として、当該サムネイル１２４のサムネイル座標を（ｘ，ｙ）とすると、当該サムネイル１２４のマップ上の座標（ｍｘ，ｍｙ）は、以下の式により求めることができる。
【０１４７】
ｍｘ＝Ｘ＋ｘ
ｍｙ＝Ｙ＋ｙ
【０１４８】
一方、ステップＳ３１において、表示モードが「カラーマップ表示モード」であると判断された場合には（ステップＳ３５：ＮＯ）、各登録画像１１２のマップ上の座標は、当該登録画像１１２のサムネイル座標データが表すサムネイル座標のみから得られる。
【０１４９】
この場合には、各分類カテゴリの集合画像１２１を重ねる順番によって、表示画面１１９に表示される内容が変化するため、サーバ装置１１０は、例えば、各分類カテゴリの集合画像１２１を重ねる順番を予め設定しておくか、ユーザの好みに応じて変更しておく。また、表示画面生成部１１８は、各登録画像１１２のサムネイル１２４を表示する場合にも、集合画像１２１に設定された順番にしたがって表示画面１１９上に配置する。
【０１５０】
例えば、「論文」の分類カテゴリに分類された集合画像１２１に次いで、「図面」の分類カテゴリに分類された集合画像１２１が表示される場合には、「論文」の分類カテゴリに分類された登録画像１１２が、「図面」の分類カテゴリに分類された登録画像１１２の背面に位置するため、「論文」の分類カテゴリに分類された集合画像１２１のサムネイル１２４を最初にクライアント装置１００に表示させ、次に、「図面」の分類カテゴリに分類された集合画像１２１のサムネイル１２４を表示させる必要がある。
【０１５１】
このような表示順序の制御は、サーバ装置１１０から出力される表示画面１１９のデータを用いて表示順序を指示して、クライアント装置１００のアプリケーション１０２が指示通りに表示を行うことによって実現できる。
【０１５２】
ステップＳ３３において、表示画面１１９に表示させる画像が集合画像であると判断された場合には、集合画像１２１の画像ＩＤが表示画面生成部１１８によって画像ＤＢ１１４から取得される（ステップＳ３７）。
【０１５３】
集合画像１２１のマップ上の座標については、「分類表示モード」の場合には、各サムネイル座標データを各集合画像１２１のマップ上の座標データとして扱う。それによって、各分類カテゴリの集合画像１２１は、マップ上の異なる位置に配置され図７（ａ）のような表示画面１１９を生成することができる。
【０１５４】
なお、「カラーマップ表示モード」の場合には、分類カテゴリによらずに各集合画像１２１のマップ上の座標データを同一として扱うため、「カラーマップ表示モード」の場合には、ステップＳ３２を実行する必要がない。
【０１５５】
例えば、マップ上の原点を集合画像１２１の原点として扱うことによって、各分類カテゴリの集合画像１２１は、マップ上の同一の位置に重なって配置されることになり図７（ｃ）に示すような表示画面１１９が生成されることになる。
【０１５６】
このように得られた表示画面１１９を表すデータが表示画面生成部１１８によって生成され（ステップＳ３８）、クライアント装置１００に送信される。
【０１５７】
図６において、クライアント装置１００では、表示画面１１９を表すデータの情報に基づいて表示画面１１９がアプリケーション１０２によって展開（レンダリング）され、表示デバイス１０１上に表示される（ステップＳ２２）。
【０１５８】
ここで、クライアント装置１００を使用しているユーザによって、表示領域を変更するためのスライダ３０５、３０６、または、表示倍率を変更するためのスライダ３０４が操作され、画面スクロールや表示倍率変更の指示が入力されると（ステップＳ２３）、画面スクロールや表示倍率変更の指示は、表示倍率と表示領域とを表す画面制御データ１２０に変換され、クライアント装置１００からサーバ装置１１０に送信される（ステップＳ２４）。なお、各スライダ等の操作は、マウス等の入力デバイス１０３により行われる。
【０１５９】
画面制御データ１２０を受信したサーバ装置１１０では、表示画面１１９が変更され（ステップＳ２５）、変更された表示画面１１９を表すデータがクライアント装置１００に送信される。
【０１６０】
次に、クライアント装置１００では、変更後の表示画面１１９を表すデータに基づいて、表示画面１１９がアプリケーション１０２によって展開され、表示デバイス１０１上に表示される（ステップＳ２６）。
【０１６１】
ここで、クライアント装置１００のユーザが検索対象の登録画像１１２のサムネイル１２４を見つける等して、画像検索動作の終了がアプリケーション１０２に指示されている場合には（ステップＳ２７：ＹＥＳ）、画像検索動作は、終了する。一方、画像検索動作の終了がアプリケーション１０２に指示されていない場合には（ステップＳ２７：ＮＯ）、画像検索動作は、ステップＳ２３に戻る。
【０１６２】
図９は、本実施の形態におけるクライアント装置１００による拡大表示動作を説明するための概念図である。
【０１６３】
図９（ａ）において、ユーザは、スライダ３０５、３０６を使用して、多くのサムネイル１２４から検索対象の登録画像１１２のサムネイル１２４の候補を画面中央へ表示させ、図９（ｂ）、（ｃ）に示すように、徐々に拡大率を上げていく仮定で、周囲の登録画像１１２との比較や画像内容の確認を行いながら表示画面内に検索対象の登録画像１１２が存在するかどうかを確認する。
【０１６４】
ここで、表示画面内に検索対象の登録画像１１２のサムネイル１２４が存在しないことが確認できた場合には、ユーザは、表示倍率を縮小して他の候補から検索対象の登録画像１１２のサムネイル１２４を探していく。
【０１６５】
一方、表示画面内に検索対象の登録画像１１２のサムネイル１２４が存在することが確認できた場合には、図９（ｄ）に示すように、表示倍率を拡大することによって、ユーザは、サムネイル一覧ビュー３０２上で登録画像１１２の内容を詳細に確認することができる。
【０１６６】
以上説明したように、本発明の第１の実施の形態としての画像表示システム１は、集合画像１２１を使用するマップ探索型の画像表示システムにおいて、分類カテゴリ毎に集合画像１２１を生成し、各分類カテゴリ内で登録画像１１２のサムネイル１２４の座標を同一な規則で算出すると共に、集合画像１２１においてサムネイル１２４が配置されない領域に対して透明化処理を行っているため、単一種類の集合画像１２１によって、異なる分類カテゴリ（初期分類キー）を有するマップを表示することができる。
【０１６７】
したがって、画像表示システム１は、ユーザの操作性向上のために分類カテゴリが異なるマップを表示するために、マップ毎の集合画像１２１を生成する必要がなくなり、集合画像１２１の更新に対する処理速度を向上し、集合画像１２１の保持容量を低減することができる。
【０１６８】
すなわち、画像表示システム１は、複数種類の集合画像１２１を用意せずにマップの表示形態の種類を増やすことができる。
【０１６９】
（第２の実施の形態）
本発明の第１の実施の形態においては、分類カテゴリ内における登録画像１１２のサムネイル１２４の座標を算出するときに、画像特徴量に対して単色の色特徴という特徴次元数の少ないものを使用して２次元のマップ座標へ変換する例を示した。
【０１７０】
しかし、自然画像等への適用を考えると自然画は複数の色味を含む場合が多く、単一色では精度が落ちる場合が考えられる。また、白黒の図面等のように形状により特徴のある画像を主として扱う場合には適用できない等の課題がある。
【０１７１】
このような場合においては、前述したような色ヒストグラムやテクスチャやエッジ等の画像形状の特徴量を使用することが考えられるが、画像特徴量が多次元におよぶケースがほとんどになる。本実施の形態においては、画像形状の特徴量を使用する場合の例について説明する。なお、各分類カテゴリ内の画像配置以外に関する構成や動作については、本発明の第１の実施の形態と同様とする。
【０１７２】
多次元の特徴量を使用して２次元の座標へ変換する好適な方法の一例として、ＳＯＭ（自己組織化マップ）がある。ＳＯＭは入力された特徴量ベクトルと、各座標に割り当てられた重みベクトルとの距離を所定の測度（例えばユークリッド測度）で演算し、この距離が最小となる座標点（以下、「最整合ノード」という。）を検出する。そして、この最整合ノード近傍の複数の座標について、入力された特徴量ベクトルを用いて重みベクトルを更新する。
【０１７３】
この処理の繰り返しにより、互いに類似する特徴量ベクトルに対する最整合ノードが連続的な領域を形成するようになる。つまり、この座標空間には、多次元の入力信号である特徴量ベクトルから２次元のマップへの非線形射影が位相を保持したまま形成され、重みの更新により、データの特徴部分が組織化され、その学習成果として類似のデータに反応する格子が近接するようになる。
【０１７４】
このようなＳＯＭの性質を利用すれば、多次元特徴量から特徴が似通った画像を近傍に配置した２次元画像マップを作成することができる。しかし、通常ＳＯＭは、画像が入力されるたびに、その画像配置を変化させることになるため、登録画像１１２が登録される度に使用する場合には、各分類カテゴリで全く異なる位置に配置されることになり、各分類カテゴリの集合画像１２１を重ねたときに、画像特徴によるマップではなくなってしまうことになる。
【０１７５】
例えば、本発明の第１の実施の形態で用いた例では、分類カテゴリ毎に色味の分布が変わってしまい、それらを重ねた場合には、ところどころで様々な色味の登録画像１１２のサムネイル１２４が混ざり合うマップとなってしまう。
【０１７６】
上記の課題に対する解決策として、本実施の形態においては、ＳＯＭと学習データ用の画像データを用いて学習によりマップモデルを予め作成し、登録画像１１２のサムネイル１２４の配置を決定するときに、予め作成された分類カテゴリによらない単一のモデルを用いてサムネイル１２４の配置を決定する。
【０１７７】
マップモデルは、特徴量と座標との関連が表されていればよい。例えば、学習によって各座標にマップされた画像の特徴量をその座標の特徴量とすればよい。そして入力された登録画像１１２の特徴量を算出した後、全ての座標のなかから最も特徴量が近い（例えば、ユークリッド距離が近い）座標をサムネイル座標とすればよい。
【０１７８】
図１０は、マップモデルを表すモデルデータを作成するモデルデータ作成動作を示すフローチャートである。なお、モデルデータ作成動作を本実施の形態としての画像表示システムに実行させる代わりに、モデルデータ作成動作を他の計算機によって予め実行させ、作成されたマップモデルをサーバ装置１１０に登録するようにしてもよい。
【０１７９】
なお、モデルデータ作成に先立ち、ＳＯＭの座標を定め、全座標点について適当な初期値を与え、必要数の学習用画像データを用意する必要がある。ここで、必要数とは、実際に登録される登録画像１１２の種類をほぼ補う数が必要であり、例えば、本発明の第１の実施の形態のように色味で分布するマップを作成する場合、全ての色味に対応する画像種の学習用画像データが必要となる。このような画像データは、人工的に作成してもよい。
【０１８０】
まず、学習画像の特徴量が算出される（ステップＳ４０）。ここで、特徴量は、登録画像１１２の画像配置を決定する場合に算出する特徴量と同じものを使用する。なお、特徴量の種類については特に限定されず、前述した色ヒストグラムやテクスチャ等でもよく、これらを組み合わせたものでもよい。
【０１８１】
次に、新規に入力された学習画像の特徴量データがＳＯＭに追加される（ステップＳ４１）。前述したように、ＳＯＭの手法の通り、既存のＳＯＭの最も近い座標点に特徴量データをマッピングし、その近傍の座標データの特徴量データを変更する。
【０１８２】
ここで、全ての学習画像に対してステップＳ４０、Ｓ４１を実行したか否かが判断され（ステップＳ４２）、全ての学習画像に対してステップＳ４０、Ｓ４１を実行していないと判断された場合には、モデルデータ作成動作は、ステップＳ４０に戻る。
【０１８３】
一方、全ての学習画像に対してステップＳ４０、Ｓ４１を実行したと判断された場合には、学習画像全てにおけるＳＯＭが完成した後に、ＳＯＭからモデルデータが作成される（ステップＳ４３）。ここでのモデルデータとは、特徴量データと座標点とがリンクされたものであり、学習が完成したＳＯＭそのものでもよい。
【０１８４】
図１１は、本実施の形態において、登録画像１１２のサムネイル１２４のサムネイル座標を決定するサーバ装置１１０の動作（ステップＳ６、図３）を詳細に示すフローチャートである。
【０１８５】
まず、画像配置部１１７によって登録画像１１２から画像特徴量が算出される（ステップＳ５０）。次に、算出された画像特徴量とモデルデータとが画像配置部１１７によって比較され、登録画像１１２の画像特徴量に最も近い（類似性の高い）座標が抽出される（ステップＳ５１）。
【０１８６】
ここでの登録画像１１２とモデルとの特徴量の比較は、種々の方法があるが、例えば多次元特徴量間のユークリッド距離が最も近いものを選択すればよい。他に、多次元特徴量の種類に応じて重みを使用してもよい。
【０１８７】
以上説明したように、本発明の第２の実施の形態としての画像表示システムは、登録画像１１２から多次元特徴量を抽出して分類カテゴリ内でサムネイル１２４の配置を決定する場合において、各分類カテゴリの集合画像１２１を重ねたときに、画像特徴によるマップを維持することができる。
【０１８８】
また、本発明の第２の実施の形態としての画像表示システムは、分類カテゴリによらず単一のモデルデータによって全ての分類カテゴリ内の画像配置を抽出するため、分類カテゴリ毎にモデルデータを作成する必要がなく、モデルデータの容量を削減することができる。
【０１８９】
（第３の実施の形態）
システム側で分類カテゴリが予め定められているマップ探索型の画像一覧表示においては、ユーザが登録する登録画像１１２によっては、サムネイル１２４が全く分類されない分類カテゴリが存在することがある。このような分類カテゴリは、表示画面上に不要な空白を描画させるだけでなく、必要のない集合画像１２１の送受信や表示処理を実行させることとなる。
【０１９０】
本実施の形態においては、このような課題に対応し、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリに対する処理を追加したものについて説明する。なお、本実施の形態における構成や基本的な動作などは、本発明の第１の実施の形態および第２の実施の形態と同様である。
【０１９１】
図１２は、分類表示モードにおいて、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリを表示した例である。このように、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリが図中左下に表示されることになり、表示上の効率が低下するばかりでなく、相対的に表示画像のサイズが小さくなる可能性が高いため、ユーザの操作性も低下することになる。
【０１９２】
図１３は、本実施の形態における画像登録動作を示すシーケンス図である。なお、本発明の第１の実施の形態の画像表示システム１の画像登録動作を説明するために参照した図３に示すシーケンス図に対して、図１３は、ステップＳ６０、Ｓ６１が追加されている。このため、ステップＳ６０、Ｓ６１以外についての説明は省略する。
【０１９３】
登録画像１１２のサムネイル１２４に対する分類処理が実行されると（ステップＳ５）、当該サムネイル１２４が当該分類カテゴリに最初に分類されたものであるか否か、すなわち、当該分類カテゴリに既に分類されたサムネイル１２４が存在しないか否かがカテゴリ分類部１１５によって判断される（ステップＳ６０）。
【０１９４】
ここで、当該登録画像１１２のサムネイル１２４が当該分類カテゴリに最初に分類されたものであると判断された場合には、画像配置部１１７によってカテゴリ座標データが画像ＤＢ１１４に登録される（ステップＳ６１）。
【０１９５】
一方、当該登録画像１１２のサムネイル１２４が当該分類カテゴリに最初に分類されたものでないと判断された場合には、画像登録動作は、ステップＳ６を実行する。
【０１９６】
すなわち、本実施の形態においては、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリに対しては、カテゴリ座標が設定されないこととなる。また、画像配置部１１７によるカテゴリ座標の設定は、最初に登録画像１１２のサムネイル１２４が分類された分類カテゴリ（最初に出現した分類カテゴリ）の座標を図４（ａ）における「論文」の分類カテゴリの座標に設定し、次に登録画像１１２のサムネイル１２４が分類された分類カテゴリ（次に出現した分類カテゴリ）の座標を図４（ａ）における「図面」の分類カテゴリの座標に設定するなど、予め定めた順序で設定するようにしてもよい。
【０１９７】
図１４は、本実施の形態におけるサーバ装置１１０の表示画面生成動作を示すフローチャートである。なお、図８に示した本発明の第１の実施の形態におけるサーバ装置１１０の表示画面生成動作では、ステップＳ３１乃至Ｓ３７の各ステップを分類カテゴリによらずに各ステップ内で全ての表示領域の画像について処理をしていたが、本実施の形態における表示画面生成動作は、分類カテゴリ単位毎に処理を行っていく。
【０１９８】
また、本発明の第１の実施の形態におけるサーバ装置１１０の表示画面生成動作を説明するために参照した図８に示すフローチャートに対して、図１４は、ステップＳ７０、Ｓ７１が追加されている。このため、ステップＳ７０、Ｓ７１以外についての説明は省略する。
【０１９９】
まず、対象の分類カテゴリが表示画面生成部１１８によって選択され、対象の分類カテゴリに登録画像１１２のサムネイル１２４が分類されているか否かが判断される（ステップＳ７０）。ここで、対象の分類カテゴリに登録画像１１２のサムネイル１２４が分類されていないと判断された場合には、表示画面生成動作は、ステップＳ７１に進む。
【０２００】
一方、対象の分類カテゴリに登録画像１１２のサムネイル１２４が分類されていると判断された場合には、表示画面生成動作は、ステップＳ３１に進み、対象の分類カテゴリに対してステップＳ３１乃至Ｓ３７が処理される。
【０２０１】
ステップＳ７１においては、表示対象の全ての分類カテゴリに対する処理が終了したか否かが表示画面生成部１１８によって判断される。ここで、表示対象の全ての分類カテゴリに対する処理が終了したと判断された場合には、表示画面生成動作は、ステップＳ３８に進む。
【０２０２】
一方、表示対象の全ての分類カテゴリに対する処理が終了していないと判断された場合には、表示画面生成動作は、ステップＳ７０に戻り、次の分類カテゴリが表示画面生成部１１８によって選択される。
【０２０３】
すなわち、本実施の形態においては、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリに対する表示画面生成動作をスキップする。
【０２０４】
以上説明したように、本発明の第３の実施の形態としての画像表示システムは、分類カテゴリに対して新規に画像が分類されたときに分類カテゴリの座標データを新規に設定することにより、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリをマップ上に表示させない。
【０２０５】
このため、本発明の第３の実施の形態としての画像表示システムは、クライアント装置１００において、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリを表示対象としないため、通信や表示等の不要な処理を省略しシステム全体の効率を向上させることができる。
【図面の簡単な説明】
【０２０６】
【図１】本発明の第１の実施の形態としての画像表示システムのブロック図である。
【図２】本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置のハードウェア構成図である。
【図３】本発明の第１の実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図４】（ａ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、各カテゴリ領域が配置されたマップを示す概念図であり、（ｂ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、各カテゴリ領域内に登録画像のサムネイルが配置されたマップを示す概念図であり、（ｃ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、原点をカテゴリ領域の中心としたときのサムネイル座標と色との関係を示す概念図であり、（ｄ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、ＣＩＥＬＡＢ表色系のａ＊を水平軸、ｂ＊を垂直軸に取ったときのサムネイル座標と色との関係を示す概念図であり、（ｅ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、集合画像の透明部分を斜線で示した概念図である。
【図５】本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置の集合画像更新処理を詳細に示すフローチャートである。
【図６】本発明の第１の実施の形態としての画像表示システムの画像検索動作を示すシーケンス図である。
【図７】（ａ）は、本発明の第１の実施の形態としての画像表示システムの分類表示モードにおける表示画面の例を示す概念図であり、（ｂ）は、本発明の第１の実施の形態としての画像表示システムにおけるサムネイル一覧ビューの例を示す概念図であり、（ｃ）は、本発明の第１の実施の形態としての画像表示システムのカラーマップ表示モードにおける表示画面の例を示す概念図である。
【図８】本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置の表示画面生成動作を示すフローチャートである。
【図９】本発明の第１の実施の形態としての画像表示システムを構成するクライアント装置による拡大表示動作を説明するための概念図である。
【図１０】本発明の第２の実施の形態としての画像表示システムにおけるモデルデータ作成動作を示すフローチャートである。
【図１１】本発明の第２の実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図１２】分類表示の際に登録画像のサムネイルが分類されていない分類カテゴリの表示例である。
【図１３】本発明の第３の実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図１４】本発明の第３の実施の形態としての画像表示システムを構成するサーバ装置の表示画面生成動作を示すフローチャートである。
【符号の説明】
【０２０７】
１ 画像表示システム
１００ クライアント装置
１０１ 表示デバイス
１０２ アプリケーション
１０３ 入力デバイス
１０４ 画像キャッシュ
１０５ 通信路
１１０ サーバ装置
１１１ 外部Ｉ／Ｆ
１１２ 登録画像
１１３ サムネイル生成部
１１４ 画像ＤＢ
１１５ カテゴリ分類部
１１６ 集合画像生成部
１１７ 画像配置部
１１８ 表示画面生成部
１１９ 表示画面
１２０ 画面制御データ
１２１ 集合画像
１２２ 画像配置データ
１２４、３０３ サムネイル
２０１ ＣＰＵ
２０２ メモリ
２０３ ＨＤＤ
２０４ ビデオメモリ
２０５ モニタ
２０６ 入力デバイス
２０７ 外部Ｉ／Ｆ
２０８ バス
３０１ ウィンドウ
３０２ サムネイル一覧ビュー
３０４、３０５、３０６ スライダ
３０７ 表示領域
３０８ 表示切替ボタン
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像データベースに蓄積された画像データのサムネイルの一覧等のような、複数の画像の一覧を表示画面に表示する画像処理装置に関する。
【背景技術】
【０００２】
従来、紙文書をスキャナ等の入力デバイスを使用して電子化する電子ファイリングを行う装置は存在していたが、大量に紙文書を扱う業務用途にとどまっていた。
【０００３】
近年、スキャナの低価格化、スキャン機能を搭載したＭＦＰ(Multi Function Printer)の普及、および、ｅ−文書法等の法制化により、一般的なオフィスにおいてもハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。
【０００４】
また、電子化された文書画像データ、写真画像データおよびＰＣ（Personal Computer）等のアプリケーションによって作成された文書データ等をデータベース（以下、「ＤＢ」という。）化して一元管理する画像ＤＢの用途も併せて増えてきている。例えば、紙文書の原本を保存しておく必要があっても、管理のしやすさ、検索のしやすさという点で画像ＤＢを構築するようになってきている。
【０００５】
このような画像ＤＢは、サーバ装置を設置してインターネットやＬＡＮを介して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途のものまで様々である。また、近年のＭＦＰは、文書を蓄積するＨＤＤを備えており、ＭＦＰをベースとした画像ＤＢを構築する例もある。
【０００６】
このような画像ＤＢ内の画像を閲覧するときに、ＤＢ内に複数の画像が蓄積されている場合には、ユーザが目的とする画像を検索する必要がある。画像を検索する場合に、検索対象の画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索することもできるが、多くの場合には、サムネイル一覧表示が使用される。
【０００７】
例えば、ユーザに文書画像を検索させる場合には、キーワード検索で検出された候補画像を対象としたサムネイル一覧表示を行い、検索対象画像を選択させたり、最初からサムネイル一覧表示を行って検索対象画像を探し出させたりする方法がとられている。
【０００８】
サムネイル一覧表示は、複数の縮小画像を画面上に並べて表示することで、簡易に画像の内容を把握させることを目的としている。一般的に、サムネイル一覧表示は、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度を大きく低下させる。
【０００９】
このようなサムネイル一覧表示では、写真画像が対象の場合には、解像度を低下させた縮小画像であっても、その内容をユーザに比較的容易に把握させることができるが、文字中心の文書画像が対象の場合には、ユーザが縮小画像で文字を判読することが困難であるため、文書画像の内容をユーザに把握させることが難しい。
【００１０】
このような文書画像を検索させる場合には、ビューア等を使ってユーザに個々の文書画像を拡大表示させて確認させる必要があり、検索時の操作性が非常に悪いという問題がある。
【００１１】
また、特にネットワークを介したサーバ・クライアントシステムにおいては、ビューアで画像を表示するときに新たに解像度の高い画像データをサーバからクライアント側に転送する必要があるため、数多く画像を確認させるためには多くの処理時間が必要となり、生産性が低下するという問題がある。
【００１２】
また、前述したような画像ＤＢにおいては、蓄積画像数が増えると、そのＤＢに蓄積されている画像の全容を把握するのが難しいという問題がある。通常のサムネイル一覧表示において、蓄積画像数が数千画像程度になると、それら全てをチェックすることは、ユーザにとって非常に厳しい（つらい）作業になるため、特定の画像が絶対に必要な場合以外には、そのような行為が行われることは通常はなく、また行われたとしても、ランダムに並んだサムネイル一覧からＤＢの全容を推測することは非常に困難である。
【００１３】
これは画像ＤＢのブラックボックス化を示していると考えられ、例えば、ＷＷＷ（World Wide Web）等のように世界中の莫大な情報を対象とする画像ＤＢにおいては、ユーザが必要とする情報がほぼ確実に存在し得るため、ユーザは安心して検索等を行うが、通常のローカルな画像ＤＢにおいては、「どのような情報がどれだけ蓄積されているか？」という情報は、ユーザの記憶にのみ依存し、その記憶を頼りにユーザがキーワードや日付等により蓄積画像を検索し、所望の情報を得るしかなく、ユーザに忘れられた情報は活用される機会を失うこととなり、画像ＤＢの活用効率を落とす要因になる。
【００１４】
上述したような問題に対して、画像を２次元または３次元のマップ上に配置して閲覧利用者が全体俯瞰、ズームおよびスクロール等の機能を使用して地図上を散策するようなイメージで情報空間を散策するマップ探索型の画像閲覧方法が提案されている（例えば、特許文献１参照）。
【００１５】
しかし、マップ探索型の画像閲覧方法において、画像ＤＢの全容を把握するためには、ＤＢ内に蓄積された画像を一覧させるために一度に多量の表示画像を表示する必要がある。
【００１６】
これに対し、一覧表示画面の表示倍率が小さく、表示画面内に表示する画像数が多い場合には、高速に表示が可能な集合画像を表示することにより実際に表示する画像を少なくし、表示倍率が大きく画面内に表示する画像数が少ない場合には、個々のサムネイルを表示することによって、軽快な多量の画像表示と、個々の精細な画像表示との切り替えをシームレスに実現できるマップ探索型の画像閲覧方法が提案されている（例えば、特許文献２参照）。
【００１７】
また、マップ探索型の画像閲覧方法において、画像をカテゴリ毎に分類し、分類したカテゴリ毎の画像のサムネイルをまとめて配置する文書分類方法も提案されている（例えば、特許文献３参照）。
【００１８】
この文書分類方法は、大分類として文書タイプで分類を行い、中、小分類として色や形状、レイアウト等で分類を行い、階層的に画像が分類された画像マップから画像を検索させる。ここで、この文書分類方法による分類は、階層的になされているが、大分類による検索キー（以下、「分類キー」という。）、すなわち、初期分類キーは、固定されていることになる。
【００１９】
このように分類された画像マップからユーザに画像を検索させる場合には、検索に使用する初期分類キーは、いくつかの選択肢があった方がよい。例えば、検索対象の画像の記憶により初期の絞り込みを文書タイプで探したい場合もあれば、色情報で探したい場合も考えられる。
【００２０】
しかし、上述した文書分類方法では、階層的にいくつかの分類キーによって分類されているが、最初にユーザがカテゴリを選択するのは文書タイプで固定されているため、このような要求には答えられない。
【特許文献１】特開２００３−７６７１８号公報
【特許文献２】特願２００８−０２２６０３号
【特許文献３】特願２００７−１１６０７０号
【発明の開示】
【発明が解決しようとする課題】
【００２１】
このように複数の分類キーに対応するには、複数の画像配置（換言すれば、大分類カテゴリ毎に異なる複数のマップ）を用意しておけばよいが、特許文献２に開示された高速に大量の画像を表示する目的によって集合画像を使用する画像閲覧方法の場合には、処理コストの大きな複数種類の集合画像を用意する必要が生じるために問題が生じる。
【００２２】
すなわち、集合画像は、個別画像と比較してサイズの大きな画像となるため、複数種類の集合画像を用意することは、サーバのディスク容量を圧迫する。また、画像を新たに登録する場合やマップ上の画像の位置を変更するときには、集合画像を変更する必要が生じるため、集合画像の種類分の処理時間が必要となり、サーバ側の負荷が大きくなってしまう。
【００２３】
サーバ側のディスク容量や負荷の増大は、一台のサーバあたりで対応可能なユーザ数が減ってしまうことになり、多くのユーザを備えたシステムではサーバ台数が多くなり、結果としてコストが大きくなることになる。
【００２４】
本発明は、従来の課題を解決するためになされたもので、集合画像を使用するマップ探索型の画像閲覧方法を実現する画像処理装置において、複数種類の集合画像を用意せずにマップの初期分類キー、換言すればマップの表示形態の種類を増やすことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明の画像処理装置は、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する表示画面生成部を備えた画像処理装置であって、前記表示画面生成部は、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１モードと、前記集合画像を重ねて配置した一覧表示画面を生成する第２モードと、のなかで選択されたモードをとる構成を有している。
【００２６】
この構成により、本発明の画像処理装置は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成するため、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる。
【００２７】
なお、本発明の画像処理装置は、オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成部と、前記サムネイルを前記カテゴリで分類するカテゴリ分類部と、前記集合画像に前記サムネイルを配置する画像配置部と、前記画像配置部による配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成部と、を備え、前記集合画像生成部は、前記集合画像のなかで前記サムネイルが配置されていない領域を透明化するようにしてもよい。
【００２８】
この構成により、本発明の画像処理装置は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成することができる。
【００２９】
また、前記集合画像生成部は、前記カテゴリ毎に略同一のサイズの集合画像を生成するようにしてもよい。
【００３０】
この構成により、本発明の画像処理装置は、カテゴリ毎に略同一のサイズの集合画像を生成するため、各カテゴリの集合画像に対して何ら処理を加えずに集合画像を重ねることによりオリジナル画像の特徴によって分類された一覧表示画面を生成することができ、一覧表示画面を表示する際の処理量を削減することができる。
【００３１】
また、前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一の数式に基づいて前記サムネイルの位置を決定するようにしてもよい。
【００３２】
この構成により、本発明の画像処理装置は、全てのカテゴリにおいて、同一の数式に基づいてサムネイルの位置を決定するため、集合画像を重ねた場合であっても、精度の良い画像マップを作成することができる。
【００３３】
また、前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一のモデルデータに基づいて前記サムネイルの位置を決定するようにしてもよい。
【００３４】
この構成により、本発明の画像処理装置は、全てのカテゴリにおいて、同一のモデルデータに基づいてサムネイルの位置を決定するため、複数の色味を持つ画像や形状に特徴のある画像など多次元の画像特徴量を必要とする画像マップを作成する場合に、精度の良い画像マップを作成することができ、マップ全体の座標値に対してモデルデータを作成する必要がなくモデルデータの容量を削減することができる。
【００３５】
前記表示画面生成部は、表示用画像が分類されていないカテゴリに対応する集合画像の生成を省くようにしてもよい。
【００３６】
この構成により、本発明の画像処理装置は、あるカテゴリに対して新規にオリジナル画像が登録されたときに、カテゴリの座標データを設定することによって表示用画像が分類されていないカテゴリの集合画像をマップ上に表示させないため、一覧表示画面上で不要な空白を生じさせず、ユーザの操作性を向上させることができる。また、本発明の画像処理装置は、表示用画像が分類されていないカテゴリの集合画像を表示対象としないため、通信や表示等の不要な処理を省略することができ、全体的な処理の効率を向上させることができる。
【００３７】
また、前記集合画像は、透明レイヤを保持することが可能な符号フォーマットで符号化されていてもよい。
【００３８】
この構成により、本発明の画像処理装置は、集合画像のなかで表示用画像が配置されていない領域を透明化することができる。
【００３９】
また、本発明の画像処理方法は、画像処理装置を用いて、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する画像処理方法であって、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを実行する。
【００４０】
したがって、本発明の画像処理方法は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成するため、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる。
【００４１】
また、本発明の画像処理方法は、前記画像処理装置を用いて、オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成ステップと、前記サムネイルを前記カテゴリで分類するカテゴリ分類ステップと、前記集合画像に前記サムネイルを配置する画像配置ステップと、前記画像配置ステップにおける配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成ステップと、をさらに実行するようにしてもよい。
【００４２】
したがって、本発明の画像処理方法は、カテゴリ毎に集合画像を生成し、これらを組み合わせることによって一覧表示画面を生成することができる。
【００４３】
また、本発明の画像処理プログラムは、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面をコンピュータに生成させるための画像処理プログラムであって、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを前記コンピュータに実行させる。
【００４４】
したがって、本発明の画像処理プログラムは、カテゴリ毎に集合画像を生成させ、これらを組み合わせることによって一覧表示画面を生成させるため、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる。
【発明の効果】
【００４５】
本発明は、集合画像を使用するマップ探索型の画像閲覧方法を実現する画像処理装置において、複数種類の集合画像を用意せずにマップの表示形態の種類を増やすことができる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、本発明に係る画像処理装置をサーバ装置とクライアント装置とによって構成した例について説明する。
【００４７】
（第１の実施の形態）
図１に示すように、本実施の形態における画像表示システム１は、パーソナルコンピュータ（以下、「ＰＣ」という。）等によって構成されたクライアント装置１００と、クライアント装置１００から通信路１０５を介して送信されたコマンドに応じて画像分類を行い、分類結果をクライアント装置１００に通信路１０５を介して送信するサーバ装置１１０とを備えている。
【００４８】
なお、クライアント装置１００は、ＰＣの他に、ＰＤＡ（Personal Digital Assistant）や携帯電話等のモバイル端末によって構成してもよい。また、通信路１０５は、ＬＡＮ（Local Area Network）、インターネット網および無線通信網等よりなる。
【００４９】
クライアント装置１００は、モニタ等よりなる表示デバイス１０１と、ユーザ指示の解釈、サーバ装置１１０との通信、および、表示デバイス１０１の制御を行うアプリケーション１０２と、ユーザから指示が入力されるキーボードやポインティングデバイス等よりなる入力デバイス１０３と、アプリケーション１０２がサーバ装置１１０から受信した画像を一時的に蓄積する画像キャッシュ１０４とを備えている。
【００５０】
サーバ装置１１０は、通信路１０５に対して設けられた外部インターフェース（以下、「Ｉ／Ｆ」という。）１１１と、クライアント装置１００から登録が要求された登録画像１１２（本発明における「オリジナル画像」にあたる。）を所定サイズ以下に変倍した表示用のサムネイル１２４を生成するサムネイル生成部１１３と、登録画像１１２およびサムネイル１２４のデータを蓄積する画像ＤＢ１１４と、画像をカテゴリ（以下、「分類カテゴリ」という。）で分類するカテゴリ分類部１１５と、複数のサムネイル１２４を貼り付けた集合画像１２１を生成するとともに、ユーザ操作に応じて集合画像１２１の変更を行う集合画像生成部１１６と、サムネイル１２４をマップ上に配置する画像配置部１１７と、クライアント装置１００から送信された画面制御データ１２０の内容に応じて表示画面１１９のデータを生成する表示画面生成部１１８とを備えている。
【００５１】
ここで、表示画面１１９のデータは、クライアント装置１００の表示デバイス１０１上にマップを表示させるための情報を表している。
【００５２】
画像ＤＢ１１４には、サムネイル生成部１１３によって生成されたサムネイル１２４のデータと、サムネイル１２４を合成して集約した集合画像１２１のデータと、画像配置データ１２２とが格納される。
【００５３】
画像配置データ１２２は、画像ＤＢ１１４に登録された各登録画像１１２のサムネイル１２４が分類された分類カテゴリを表す分類カテゴリデータと、各分類カテゴリにおけるサムネイル１２４の座標（以下、「サムネイル座標」という。）を表すサムネイル座標データと、各分類カテゴリのマップ上の座標（以下、「カテゴリ座標」という。）を表すカテゴリ座標データと、必要に応じて分類カテゴリ単位に用意された各集合画像１２１のマップ上の座標（以下、「集合画像座標」という。）を表す集合画像座標データとを含んでいる。
【００５４】
図２は、サーバ装置１１０のハードウェア構成を示すブロック図である。サーバ装置１１０は、プログラムを実行することによって演算や処理を行うＣＰＵ（Central Processing Unit）２０１と、プログラムのコードや画像の符号データ等を一時的に記憶する揮発性のメモリ２０２と、画像データやプログラム等を保存するためのハードディスク装置（以下、「ＨＤＤ」という。）２０３と、モニタ２０５に表示させるためにデータをバッファリングするビデオメモリ２０４と、キーボードやポインティングデバイス等よりなる入力デバイス２０６と、通信路１０５に対して設けられた外部Ｉ／Ｆ２０７と、これら各構成要素を接続するバス２０８とを備えている。
【００５５】
ＨＤＤ２０３には、画像ＤＢ１１４が格納される。また、ビデオメモリ２０４に書き込まれた画像データが表す画像は、定期的にモニタ２０５に表示される。
【００５６】
本実施の形態において、サーバ装置１１０は、サーバコンピュータによって構成され、画像ＤＢ１１４に登録画像１１２を登録する画像登録動作等の後述する各動作は、ＨＤＤ２０３等に格納されたアプリケーションを実行するＣＰＵ２０１によって実行される。
【００５７】
ただし、本発明においては、この例に限定されず、ＭＦＰ等の装置内に設けられたハードウェアによってサーバ装置１１０を構成してもよい。また、本発明の画像処理装置をサーバ装置とクライアント装置とによって構成せずに、例えば、図１に示す画像表示システム１と同等に機能する１つのＰＣまたはＭＦＰ等によって構成してもよい。
【００５８】
なお、クライアント装置１００のハードウェア構成は、図２に示したサーバ装置１１０のハードウェア構成と同様であるため、図示を省略する。
【００５９】
以上のように構成された画像表示システム１の動作について説明する。画像表示システム１は、主に、画像登録動作と画像検索動作との２つの動作を実行する。ここで、画像検索動作は、クライアント装置１００のユーザが所望する画像の検索、探索、閲覧および取得（サーバ装置１１０からのダウンロード）を実行するために画像ＤＢ１１４に登録された画像を利用する動作である。
【００６０】
画像検索動作は、ユーザが所望する画像の検索や探索を行い、その後、クライアント装置１００のＨＤＤ等に格納されたアプリケーション１０２の１つであるビューアを介して、画像を閲覧させたりクライアント装置１００のＨＤＤに蓄積したりする。
【００６１】
図３は、画像表示システム１の画像登録動作を示すシーケンス図である。
【００６２】
まず、クライアント装置１００のユーザによって入力デバイス１０３を介して、画像データの登録と、登録する登録画像１１２を表すデータとがアプリケーション１０２に指示されると（ステップＳ１）、画像データの登録の指示と、指示された登録画像１１２を表すデータとが、アプリケーション１０２によってサーバ装置１１０に通信路１０５を介して送信される（ステップＳ２）。
【００６３】
サーバ装置１１０の外部Ｉ／Ｆ１１１に受信された登録画像１１２を表すデータは、サムネイル生成部１１３によって縮小処理や画像フォーマットの変換等が施され、表示用のサムネイル１２４が生成される（ステップＳ３）。ここで、登録画像１１２が、複数のページからなる場合には、ページ毎のサムネイル１２４がサムネイル生成部１１３によって生成される。
【００６４】
登録画像１１２を表すデータは、サムネイル生成部１１３によって生成されたサムネイル１２４を表すデータと、ファイル名等の登録画像１１２に付随するメタ情報と共に、ＩＤが付されて画像ＤＢ１１４に登録される（ステップＳ４）。
【００６５】
ここで、サムネイル１２４を所定の分類カテゴリに分類する分類処理がカテゴリ分類部１１５によって実行される（ステップＳ５）。なお、分類処理は、上述したステップＳ３、Ｓ４と並行するように実行してもよい。また、分類処理は、該当する登録画像１１２のメタ情報等に基づいて分類を行ってもよいし、登録画像１１２の特徴量を算出して、算出した特徴量に応じた分類を行ってもよい。
【００６６】
画像に対するクラスタリングや分類処理については、数々の従来技術が存在し、本発明においては、いかなる分類処理も適用することができるため、分類処理についての詳細な説明は省略する。
【００６７】
分類処理の好適な一例としては、登録文書画像を８×８の局所ブロック毎に離散コサイン変換（Discrete Cosine Transform。以下、「ＤＣＴ」という。）を施し、ＤＣＴ係数の分布に応じて局所領域を線画、文字および写真等に識別した後、識別した結果毎に２５次元の高次局所自己相関特徴量を算出し、それらの特徴量を閾値処理またはサポート・ベクタ・マシン（以下、「ＳＶＭ」という。）等の機械学習を利用して「図面」、「帳票」、「書籍」および「その他」等のカテゴリに分類するものがある（例えば、特願２００７−０３９７８７号参照）。
【００６８】
また、登録文書画像から色、形状およびレイアウト等の複数の特徴量を算出し、複数の分類処理を行うものもある（例えば、特開２００７−２８６８６４号公報参照）。ここで、分類処理によって識別される分類の種類としては、色分類、形状分類、レイアウト分類および文書タイプ分類がある。この分類処理を、本実施の形態に適用する場合は、１つの分類処理を実行すればよく、例えば、文書タイプ分類のみを識別すればよい。
【００６９】
また、別の分類処理として、画像から得られる色、エッジおよびテクスチャ等の量や画像上での分布等を画像特徴量として入力し、予め教師データを用いて学習させたＳＶＭ等の機械学習のモデル等を用いて画像の種類を識別し分類する処理もある。
【００７０】
一方、画像のメタ情報を使用する分類処理として、予め画像に付与された書誌的情報、画像の作成日、および、ＤＢの登録日等の情報に基づいて、複数のカテゴリに画像を分類するものについても数多くの文献に開示されている。
【００７１】
本発明における分類処理は、上述したいずれのものを用いてもよい。本実施の形態においては、特願２００７−０３９７８７号に開示されているように、画像の文書タイプを分類の対象として識別し、予め定められた所定のカテゴリへ分類する分類処理を用いるものとする。
【００７２】
また、本実施の形態においては、登録画像１１２を文書画像とし、分類処理における分類カテゴリを「論文」、「図面」、「帳票」および「スライド」の４つのカテゴリとして、以下説明する。
【００７３】
図３において、カテゴリ分類部１１５によって登録画像１１２のサムネイル１２４が分類されると、当該サムネイル１２４のサムネイル座標が画像配置部１１７によって決定される（ステップＳ６）。
【００７４】
図４（ａ）は、各分類カテゴリに含まれる画像の表示領域（以下、「カテゴリ領域」という。）が割り当てられたマップを示す概念図である。図４（ａ）において、分類カテゴリのカテゴリ領域は、４つの楕円で示されている。
【００７５】
本実施の形態における集合画像１２１は、集合画像生成部１１６によって分類カテゴリ毎に生成される。なお、図４（ａ）には、１つの画像で集合画像１２１を構成する例を示しているが、集合画像１２１を分割した部分集合画像で集合画像１２１を構成してもよい。例えば、各分類カテゴリの集合画像１２１を４つの部分集合画像で構成してもよい。
【００７６】
図４（ｂ）に示すように、各分類カテゴリに分類されたサムネイル１２４は、各カテゴリ領域内に含まれるようにマップ上に配置される。
【００７７】
各カテゴリ領域内における画像配置の決定方法は、前述したように画像の特徴を使用する方法や文書の形態素解析等を用いて文書の内容の類似度に基づいて配置する方法等、種々の方法がある。
【００７８】
本実施の形態においては、登録画像１１２の見た目により配置を定めることによって登録画像１１２のサムネイル１２４をマップ上から検索しやすくするため、画像配置部１１７は、登録画像１１２の特徴、特に、画像の特徴のなかで最も人間の感覚に近い色特徴に基づいてサムネイル座標を決定するものとする。
【００７９】
色特徴を抽出する方法としては、画像の平均色や代表色を画像の色特徴として算出する方法、色のヒストグラム等を画像の色特徴として算出する方法（例えば、特開２０００−１８７７３１号公報参照）、および、色分布を画像の色特徴として算出する方法（例えば、特開２００２−１３３４１２号公報参照）等、種々の方法がある。
【００８０】
画像の平均色を画像の色特徴として算出する場合には、全画素の色の平均値を求めればよく、画像の代表色を画像の色特徴として算出する場合には、例えば、色のヒストグラムを算出した後、最も出現頻度の高い色を代表色として選択すればよい。
【００８１】
平均色や代表色は、３次元ベクトルで表される単一色として得られ、ヒストグラムや色分布からは、多次元の特徴量が得られるため、サムネイル座標の算出方法は両者で異なる。このため、ヒストグラムや色分布を画像の色特徴として算出する場合には、多次元ベクトルを２次元座標へ変換する必要がある。この変換方法については、後述する本発明の第２の実施の形態で説明する。
【００８２】
平均色や代表色等の単一色の値（以下、「単色値」という。）を画像の色特徴として算出する場合には、算出された単色値の３属性（例えば、ＲＧＢ値やＹＣｒＣｂ（輝度／色差）値等）を計算によって２次元座標に変換すればよい。本実施の形態においては、このように単色値を画像の特徴量とする例について説明する。
【００８３】
単色値を画像の特徴量とする場合には、ＨＳＶの表色系を使用して色相Ｈと彩度Ｓとを単色値から算出し、算出した色相Ｈと彩度Ｓとに応じた２次元の座標を求めればよい。例えば、ＲＧＢからＨＳＶの変換は、ＲＧＢ値の最大値をｍａｘとし、最小値をｍｉｎとして、以下の式を用いて行うことができる。
【００８４】
ｉｆ ｍａｘ＝Ｒ Ｈ［度］＝６０×（Ｇ−Ｂ）／（ｍａｘ−ｍｉｎ）
ｉｆ ｍａｘ＝Ｇ Ｈ［度］＝６０×（Ｂ−Ｒ）／（ｍａｘ−ｍｉｎ）＋１２０
ｉｆ ｍａｘ＝Ｂ Ｈ［度］＝６０×（Ｒ−Ｇ）／（ｍａｘ−ｍｉｎ）＋２４０
Ｓ＝（ｍａｘ−ｍｉｎ）／ｍａｘ
【００８５】
なお、上述したように、ＨＳＶの表色系を使用する他に、ＹＣｒＣｂ等のような輝度／色差表色系の色差成分のみを使用したり、ＣＩＥＬＡＢ表色系の色度のみを使用したりしてもよい。
【００８６】
図４（ｃ）は、原点をカテゴリ領域の中心としたときのサムネイル座標と色との関係を示す概念図であり、０度は、原点から水平方向右側へ伸びる線上として半時計周りに＋の角度としている。
【００８７】
なお、ＨＳＶの表色系を使用した場合には、通常、カテゴリ領域は真円になるが、これを作為的に変形させてもよく、図４（ｃ）においては、カテゴリ領域を楕円に変形させている。また、図４（ｄ）は、ＣＩＥＬＡＢ表色系のａ＊を水平軸、ｂ＊を垂直軸に取ったときのサムネイル座標と色との関係を示す概念図である。
【００８８】
このように、本発明においては、各カテゴリ領域内における画像配置を様々な方法で決定することができるが、画像配置部１１７は、全ての分類カテゴリにおいて同一の方法で各サムネイル１２４のサムネイル座標を決定する。
【００８９】
このように決定された各サムネイル１２４のサムネイル座標を表すサムネイル座標データと、分類カテゴリデータとは、画像配置部１１７によって、画像配置データ１２２に含められ、登録画像１１２とＩＤでリンクされて画像ＤＢ１１４に登録される。なお、サムネイル座標データは、上述したようにＨＳＶの表色系で算出された値のように極座標で表してもよいし、２次元（ｘ，ｙ）座標として表してもよい。
【００９０】
図４（ｂ）に示すようなマップ上における各サムネイル１２４の座標は、画像配置データ１２２に予め登録されている各分類カテゴリのカテゴリ座標データを使用することにより求めることができる。カテゴリ座標データは、各カテゴリ領域の中心位置または集合画像１２１のいずれかの頂点の位置をカテゴリ領域の原点としたマップ上の座標を表している。
【００９１】
このため、集合画像１２１における座標と、カテゴリ領域における座標とを同一に扱うことができる。以下の説明において、集合画像１２１における座標と、カテゴリ領域における座標とは、一致するものとする。なお、カテゴリ領域の中心位置をカテゴリ領域の原点とした場合には、カテゴリ領域の中心位置と集合画像の中心位置とを同一にする必要がある。
【００９２】
ここで、各分類カテゴリの集合画像を複数の部分集合画像に分割して保持する場合には、部分集合画像の原点の座標を表すデータを集合画像座標データと共に画像配置データ１２２に含めるようにすればよい。
【００９３】
図３において、集合画像生成部１１６では、サムネイル１２４を表すデータと、カテゴリ分類部１１５による分類結果を表す分類カテゴリデータと、画像配置部１１７によって決定されたサムネイル１２４のサムネイル座標と、分類カテゴリデータに対応した更新前の集合画像１２１（以下、「集合画像Ａ」という）とに基づいて、更新後の集合画像１２１（以下、「集合画像Ｂ」という）が生成され、集合画像Ａに代えて集合画像Ｂが画像ＤＢ１１４に登録されると共に、画像配置データ１２２が更新される集合画像更新処理が実行される（ステップＳ７）。
【００９４】
なお、画像ＤＢ１１４において、ＩＤやファイル名等の付随するメタ情報を一般的なＲＤＢ（リレーショナルデータベース）で管理することにより、このような情報の登録、管理および検索等の処理を容易に実現することができる。
【００９５】
また、集合画像１２１およびサムネイル１２４等を表す画像データについては、必要に応じて圧縮符号化等の処理を施してＨＤＤ２０３に蓄積しておき、メタ情報に含まれるリンクによって特定して読み込むことができるようにしておけばよい。
【００９６】
また画像ＤＢ１１４は、上述した機能を満たすものであれば、例えば、ＸＭＬ（eXtensible Markup Language）等の言語を使用し、階層的なデータ構造を構築して各データを蓄積してもよい。また、画像ＤＢ１１４は、複数のデータベースサーバに分散して格納されていてもよい。
【００９７】
なお、画像登録動作において、スキャナやデジタルカメラ等の画像入力装置から画像データを直接にサーバ装置１１０に登録できるようにしてもよい。また、サーバ装置１１０にレンダリング機能を設けて電子データを入力できるようにしてもよい。
【００９８】
図５は、サーバ装置１１０の集合画像更新処理（ステップＳ７、図３）を詳細に示すフローチャートである。なお、ここでは、画像ＤＢ１１４に複数の画像が既に登録されているものとする。
【００９９】
まず、集合画像生成部１１６によって、分類カテゴリデータに対応した集合画像Ａが画像ＤＢ１１４から選択される（ステップＳ１０）。例えば、分類カテゴリデータが「スライド」を表す場合には（図４（ａ）参照）、「スライド」に対応する集合画像が選択される。
【０１００】
次に、画像ＤＢ１１４に登録されている既存の集合画像Ａが集合画像生成部１１６によって取得され、集合画像Ａのコピー画像が生成される（ステップＳ１１）。
【０１０１】
また、登録画像１１２が所定サイズ以下に変倍されたサムネイル１２４がサムネイル生成部１１３によって生成される（ステップＳ１２）。ここで、「所定サイズ」とは、登録画像１１２と、画像配置部１１７によって決定されたマップとの相対値によって定められる。
【０１０２】
次に、サムネイル生成部１１３によって生成されたサムネイル１２４が、集合画像Ａのコピー画像に合成される合成処理が実行され、集合画像Ｂが生成される（ステップＳ１３）。
【０１０３】
合成処理は、画像配置部１１７によって決定された集合画像１２１の領域にサムネイル１２４を貼り付けるように上書きする。また、合成処理と共に、集合画像Ｂ上でサムネイル１２４の存在しない部分を透明化する透明化処理が集合画像生成部１１６によって実行される（ステップＳ１４）。
【０１０４】
ここで、透明化処理は、集合画像Ｂに対して、サムネイル１２４を配置した領域に対応する画素の透明度を０％とし、サムネイル１２４を配置していない領域に対応する画素の透明度を１００％とする処理である。
【０１０５】
このように集合画像Ｂに透明化処理を施すことによって、集合画像Ｂと、他の集合画像１２１とを表示画面上で重ねた場合に、サムネイル１２４が配置されていない領域については、下に重なった集合画像１２１のサムネイル１２４が表示されることになる。
【０１０６】
図４（ｅ）は、図４（ａ）、（ｂ）に示した「スライド」の分類カテゴリ用の集合画像Ｂに対して、透明部分を斜線で示した概念図である。
【０１０７】
なお、集合画像１２１の透明化処理においては、一般的にαチャネルと呼ばれる透明レイヤを有することができる画像フォーマットの画像データで集合画像１２１を管理するのが最も簡単な実現方法である。
【０１０８】
αチャネルを有することができる代表的な画像フォーマットとしては、ＪＰＥＧ（Joint Photographic Experts Group）２０００、ＪＰＥＧ−ＸＲ（eXtended Range）、ＰＮＧ（Portable Network Graphics）フォーマット等がある。
【０１０９】
また、画像の透明化処理を実現する別な方法としては、透明、不透明を集合画像１２１の画素単位で判定するための情報を別途用意して、クライアント装置１００のアプリケーション１０２にてマスク処理を行うことによって実現することもできるが、前者の方法の方が汎用性が高く、より好適であるため、本実施の形態においては、前者の方法で画像の透明化処理を実現するものとする。
【０１１０】
集合画像Ｂのαチャネルは、サムネイル１２４が全く登録されていない初期状態には、全ての画素が透明度１００％のαチャネルを有している。そして、集合画像生成部１１６は、集合画像１２１にサムネイル１２４を合成する度に、サムネイル１２４を合成した領域の透明度を０％に変更していく。換言すれば、集合画像生成部１１６は、αチャネルのレイヤに透明度が０％の意味を有する画像を貼り付けるように上書き処理することによって、集合画像Ｂの透明化処理を実現する。
【０１１１】
このように、集合画像Ｂが生成されると、集合画像Ｂは、集合画像生成部１１６によって画像ＤＢ１１４に新規に登録され、新規の画像ＩＤ（例えば、ＵＲＬ（Uniform Resource Locator））が付与される（ステップＳ１５）。
【０１１２】
次に、画像配置データ１２２に含まれる集合画像のリンク先が、集合画像生成部１１６によって、集合画像Ａの画像ＩＤから集合画像Ｂの画像ＩＤに変更される（ステップＳ１６）。そして、集合画像Ａが、集合画像生成部１１６によって画像ＤＢ１１４から削除される（ステップＳ１７）。
【０１１３】
ここで、本実施の形態におけるサムネイル１２４と集合画像１２１との関係について説明する。前述したように、本実施の形態においては、サーバ装置１１０は、登録画像１１２毎にクライアント装置１００に表示させるサムネイル１２４と、集合画像１２１とを生成する。
【０１１４】
本実施の形態におけるマップ探索型の画像表示システム１においては、クライアント装置１００の表示画面の表示サイズに応じた画像サイズのサムネイル１２４を生成する必要がある。
【０１１５】
サムネイルを生成する方法は、ＪＰＥＧ２０００等に代表される階層符号化方式を用いて必要な画像サイズ分の画像データ（符号コード）を用いて実現してもよく（例えば、特願２００６−３０４０１２号参照）、サイズの異なるサムネイルを複数用意して表示サイズに対応するサムネイルを選択することにより実現してもよい。
【０１１６】
サムネイルを集約した集合画像１２１においても、個々の登録画像１１２の縮小画像であるサムネイル１２４と同様に、階層符号化方式で実現してもよく、サイズの異なる複数の画像で実現してもよい。ただし、前述したように、集合画像１２１は、画像の透明化処理を施すために、αチャネルを有することが必要となる。
【０１１７】
なお、集合画像１２１は、一般的に見れば巨大な画像データとなるので、ＪＰＥＧ２０００やＪＰＥＧ−ＸＲ等の階層符号化方式で構成した方が、全体的な蓄積容量が節約できるため好適である。
【０１１８】
また、前述したように、集合画像１２１は、各分類カテゴリに対して１つの画像で構成してもよく、各分類カテゴリの集合画像１２１の全体を分割した複数の部分集合画像で構成してもよい。
【０１１９】
本実施の形態においては、本発明を理解しやすくするために、各分類カテゴリに対して１つの画像で集合画像１２１を構成する場合について説明しているが、複数の部分集合画像で集合画像１２１を構成する場合には、集合画像生成部１１６は、集合画像１２１の更新や表示に先立って対象の部分集合画像を画像配置データ１２２に基づいて選択すればよい。
【０１２０】
図６は、画像表示システム１の画像検索動作を示すシーケンス図である。なお、画像検索動作は、クライアント装置１００のユーザが目的の登録画像１１２を画像ＤＢ１１４から検索するときや、画像ＤＢ１１４に登録された登録画像１１２を探索するときに実行される。
【０１２１】
なお、本実施の形態において、サムネイル１２４の表示モードとして、図７（ａ）に示すように、登録画像１１２のサムネイル１２４をカテゴリ領域毎に配置した「分類表示モード」と、図７（ｃ）に示すように、登録画像１１２の色味（図４（ｃ）参照）毎にサムネイル１２４を配置した「カラーマップ表示モード」との２つのモードがある。
【０１２２】
「分類表示モード」と「カラーマップ表示モード」との切り替えは、クライアント装置１００の入力デバイス１０３による一覧表示画面上の表示切替ボタン３０８（図７（ａ））の押下（クリック）により行われる。
【０１２３】
なお、本発明を理解しやすくするために、表示モードは、画像検索動作が実行される前に、予め選択されているものとし、図６に示す画像検索動作においては、表示モードの切り替えがあったときのステップについての説明を割愛している。
【０１２４】
図６において、まず、ユーザによって入力デバイス１０３を介して、サムネイルの一覧表示がアプリケーション１０２に指示されると（ステップＳ２０）、図７（ａ）に示すようなサムネイルの一覧表示画面の初期画面がサーバ装置１１０の表示画面生成部１１８によって生成される（ステップＳ２１）。
【０１２５】
ここで、図７（ａ）において、初期画面上には、サムネイルを一覧表示する領域であるサムネイル一覧ビュー３０２の表示領域を規定するウィンドウ３０１と、各矩形によって図示されているサムネイル３０３と、サムネイル一覧ビュー３０２の表示倍率を設定するスライダ３０４と、サムネイル一覧ビュー３０２を水平方向へスクロールさせるためのスライダ３０５と、サムネイル一覧ビュー３０２を垂直方向へスクロールさせるためのスライダ３０６と、「分類表示モード」と「カラーマップ表示モード」とを切り替えるための表示切替ボタン３０８とが表示される。
【０１２６】
ここで、集合画像１２１を表示する場合には、サムネイル一覧ビュー３０２上に集合画像１２１を配置することになり、個々のサムネイル３０３を表示する場合には、表示されるサムネイル３０３をサムネイル一覧ビュー３０２上に個々に配置することとなる。
【０１２７】
なお、図７（ａ）乃至（ｃ）において、マップ上のサムネイル３０３の配置がランダムに配置されており、表示画面生成部１１８は、マップ上のサムネイル３０３の重なりを許容しているが、サムネイル３０３の配置を整列するようにしてもよい。
【０１２８】
本実施の形態におけるサムネイルの一覧表示画面は、サムネイル一覧ビュー３０２と、サムネイル一覧ビュー３０２以外のユーザインターフェースの部分およびデザイン的な意味合いの外枠のフレーム部分とからなる。クライアント装置１００のアプリケーション１０２は、これらを合成して表示デバイス１０１用の表示画面を生成し、最終的に図７（ａ）に示すような表示画面を生成する。
【０１２９】
図７（ｂ）は、サムネイル一覧ビュー３０２の例を示す概念図である。サムネイル一覧ビュー３０２は、ウィンドウ３０１の境界によって規定された表示領域３０７を有している。表示画面生成部１１８は、表示画面１１９を表すデータを生成する場合には、前述の通り２種類の表示モードに対応する表示画面を生成するが、外枠のフレーム部分については、サムネイル一覧ビュー３０２の表示倍率や表示領域を変更するスライダ３０４乃至３０６の表示を更新する程度なので、説明を省略し、サムネイル一覧ビュー３０２の画面情報を生成することについて説明する。
【０１３０】
なお、図７（ｂ）に示すサムネイル一覧ビュー３０２については、余白部分が存在するが、実装を容易にするために設けられたものであり、本発明には特に関係しない。また、図７（ａ）に示すように、本実施の形態においては、表示倍率や表示領域を変更するためのスライダを一覧表示画面内に設けているが、例えば、クライアント装置１００に設けられたマウス等の入力デバイス１０３にそれらの機能を設けるようにしてもよい。
【０１３１】
表示画面生成部１１８は、初期画面を生成する場合には、サムネイル一覧ビュー３０２の表示倍率（図７（ａ）乃至（ｃ）では最低倍率）と表示領域３０７とを予め定められた初期値に設定して、サムネイル一覧ビュー３０２を生成し、外枠のフレーム部分と共に表示画面１１９のデータとして外部Ｉ／Ｆ１１１より通信路１０５を介してクライアント装置１００に送信する。
【０１３２】
このような表示画面の作成方法やサーバ・クライアント間の通信方法には種々の方法があるが、一般的によく使用される好適なものとして、サーバ装置１１０をＷｅｂサーバとしてＷｏｒｌｄＷｉｄｅＷｅｂベースの技術を使用することによって実現することができる。
【０１３３】
この場合には、表示画面１１９のデータは、ＨＴＭＬ（Hyper Text Markup Language）によって記述され、アプリケーション１０２として、一般的なＷｅｂブラウザを適用すればよい。
【０１３４】
このような方法によれば、サーバ装置１１０は、まず、画像の配置や画像のリンク先（Ｗｅｂ上のＵＲＬ）が記述されたＨＴＭＬファイルをクライアント装置１００に送信し、クライアント装置１００は、受信したＨＴＭＬファイルのリンク先から画像を取得する。このような方法は、換言すれば表示画面の構造的情報と画像データとを分離して送付する方法と言える。
【０１３５】
それ以外の方法としては、サーバ装置１１０がクライアント装置１００の表示画面のビットマップデータそのものを生成して、生成したビットマップデータをクライアント装置１００に送信する方法もある。以下、本実施の形態においては、前者の方法を用いた例で説明を行う。
【０１３６】
表示画面生成部１１８は、集合画像１２１を表示画面に表示させる場合には、各集合画像１２１の画像ＩＤ（ＷＷＷ技術においては、画像のＵＲＬということになる）と、集合画像座標データとが必要であり、個々のサムネイル１２４を表示画面に表示させる場合には、個々のサムネイル１２４の画像ＩＤとサムネイル座標データとが必要となる。
【０１３７】
前述の通り、本実施の形態においては「分類表示モード」と「カラーマップ表示モード」との２つの表示モードがある。表示モードは、クライアント装置１００から指示され、画面制御データ１２０としてサーバ装置１１０に通知される。表示画面生成部１１８は、表示モードに応じて処理を切り替える。
【０１３８】
図８は、サーバ装置１１０の表示画面生成動作を示すフローチャートである。
【０１３９】
まず、クライアント装置１００から送信された画面制御データ１２０の内容に基づいて、表示モードが「分類表示モード」か「カラーマップ表示モード」かが表示画面生成部１１８によって判断される（ステップＳ３１）。
【０１４０】
ここで、表示モードが「分類表示モード」と判断された場合には、分類カテゴリのカテゴリ座標データが表示画面生成部１１８によって画像ＤＢ１１４から取得される（ステップＳ３２）。
【０１４１】
ここで、表示画面生成部１１８は、例えば、表示画面１１９の表示領域３０７（図７（ｂ）参照）に該当するマップの領域に基づいて、表示画面１１９に表示させる分類カテゴリを選択し、選択した分類カテゴリのカテゴリ座標データを取得する。このような方法は、画像ＤＢ１１４をＲＤＢによって構成すれば容易に実現できるため、詳細な説明は省略する。
【０１４２】
次に、表示画面１１９に表示させる画像が個別画像（本実施の形態においては、サムネイル）であるか集合画像であるかが表示画面生成部１１８によって判断される（ステップＳ３３）。この判断は、例えば、表示画像数や表示倍率で切り替えたり、表示用の複数のモードを備えていてモードによって切り替えたりしてシステムの動作仕様として決めればよく、本発明とは直接に関連しない部分であるため説明は省略する。
【０１４３】
ここで、表示画面１１９に表示させる画像が個別画像であると判断された場合には、表示対象のサムネイル１２４のサムネイル座標データと画像ＩＤとが表示画面生成部１１８によって画像ＤＢ１１４から取得される（ステップＳ３４）。
【０１４４】
次いで、ステップＳ３１において、表示モードが「分類表示モード」であると判断された場合には（ステップＳ３５：ＹＥＳ）、表示対象の登録画像１１２のマップ上の座標が表示画面生成部１１８によって算出される（ステップＳ３６）。
【０１４５】
ここで、個々のサムネイル１２４を表示画面１１９に表示させる場合には、各サムネイル１２４のマップ上の座標は、当該サムネイル１２４が分類された分類カテゴリのカテゴリ座標データと、当該サムネイル１２４のサムネイル座標データから算出することができる。
【０１４６】
例えば、あるサムネイル１２４が分類された分類カテゴリのカテゴリ座標を（Ｘ，Ｙ）として、当該サムネイル１２４のサムネイル座標を（ｘ，ｙ）とすると、当該サムネイル１２４のマップ上の座標（ｍｘ，ｍｙ）は、以下の式により求めることができる。
【０１４７】
ｍｘ＝Ｘ＋ｘ
ｍｙ＝Ｙ＋ｙ
【０１４８】
一方、ステップＳ３１において、表示モードが「カラーマップ表示モード」であると判断された場合には（ステップＳ３５：ＮＯ）、各登録画像１１２のマップ上の座標は、当該登録画像１１２のサムネイル座標データが表すサムネイル座標のみから得られる。
【０１４９】
この場合には、各分類カテゴリの集合画像１２１を重ねる順番によって、表示画面１１９に表示される内容が変化するため、サーバ装置１１０は、例えば、各分類カテゴリの集合画像１２１を重ねる順番を予め設定しておくか、ユーザの好みに応じて変更しておく。また、表示画面生成部１１８は、各登録画像１１２のサムネイル１２４を表示する場合にも、集合画像１２１に設定された順番にしたがって表示画面１１９上に配置する。
【０１５０】
例えば、「論文」の分類カテゴリに分類された集合画像１２１に次いで、「図面」の分類カテゴリに分類された集合画像１２１が表示される場合には、「論文」の分類カテゴリに分類された登録画像１１２が、「図面」の分類カテゴリに分類された登録画像１１２の背面に位置するため、「論文」の分類カテゴリに分類された集合画像１２１のサムネイル１２４を最初にクライアント装置１００に表示させ、次に、「図面」の分類カテゴリに分類された集合画像１２１のサムネイル１２４を表示させる必要がある。
【０１５１】
このような表示順序の制御は、サーバ装置１１０から出力される表示画面１１９のデータを用いて表示順序を指示して、クライアント装置１００のアプリケーション１０２が指示通りに表示を行うことによって実現できる。
【０１５２】
ステップＳ３３において、表示画面１１９に表示させる画像が集合画像であると判断された場合には、集合画像１２１の画像ＩＤが表示画面生成部１１８によって画像ＤＢ１１４から取得される（ステップＳ３７）。
【０１５３】
集合画像１２１のマップ上の座標については、「分類表示モード」の場合には、各サムネイル座標データを各集合画像１２１のマップ上の座標データとして扱う。それによって、各分類カテゴリの集合画像１２１は、マップ上の異なる位置に配置され図７（ａ）のような表示画面１１９を生成することができる。
【０１５４】
なお、「カラーマップ表示モード」の場合には、分類カテゴリによらずに各集合画像１２１のマップ上の座標データを同一として扱うため、「カラーマップ表示モード」の場合には、ステップＳ３２を実行する必要がない。
【０１５５】
例えば、マップ上の原点を集合画像１２１の原点として扱うことによって、各分類カテゴリの集合画像１２１は、マップ上の同一の位置に重なって配置されることになり図７（ｃ）に示すような表示画面１１９が生成されることになる。
【０１５６】
このように得られた表示画面１１９を表すデータが表示画面生成部１１８によって生成され（ステップＳ３８）、クライアント装置１００に送信される。
【０１５７】
図６において、クライアント装置１００では、表示画面１１９を表すデータの情報に基づいて表示画面１１９がアプリケーション１０２によって展開（レンダリング）され、表示デバイス１０１上に表示される（ステップＳ２２）。
【０１５８】
ここで、クライアント装置１００を使用しているユーザによって、表示領域を変更するためのスライダ３０５、３０６、または、表示倍率を変更するためのスライダ３０４が操作され、画面スクロールや表示倍率変更の指示が入力されると（ステップＳ２３）、画面スクロールや表示倍率変更の指示は、表示倍率と表示領域とを表す画面制御データ１２０に変換され、クライアント装置１００からサーバ装置１１０に送信される（ステップＳ２４）。なお、各スライダ等の操作は、マウス等の入力デバイス１０３により行われる。
【０１５９】
画面制御データ１２０を受信したサーバ装置１１０では、表示画面１１９が変更され（ステップＳ２５）、変更された表示画面１１９を表すデータがクライアント装置１００に送信される。
【０１６０】
次に、クライアント装置１００では、変更後の表示画面１１９を表すデータに基づいて、表示画面１１９がアプリケーション１０２によって展開され、表示デバイス１０１上に表示される（ステップＳ２６）。
【０１６１】
ここで、クライアント装置１００のユーザが検索対象の登録画像１１２のサムネイル１２４を見つける等して、画像検索動作の終了がアプリケーション１０２に指示されている場合には（ステップＳ２７：ＹＥＳ）、画像検索動作は、終了する。一方、画像検索動作の終了がアプリケーション１０２に指示されていない場合には（ステップＳ２７：ＮＯ）、画像検索動作は、ステップＳ２３に戻る。
【０１６２】
図９は、本実施の形態におけるクライアント装置１００による拡大表示動作を説明するための概念図である。
【０１６３】
図９（ａ）において、ユーザは、スライダ３０５、３０６を使用して、多くのサムネイル１２４から検索対象の登録画像１１２のサムネイル１２４の候補を画面中央へ表示させ、図９（ｂ）、（ｃ）に示すように、徐々に拡大率を上げていく仮定で、周囲の登録画像１１２との比較や画像内容の確認を行いながら表示画面内に検索対象の登録画像１１２が存在するかどうかを確認する。
【０１６４】
ここで、表示画面内に検索対象の登録画像１１２のサムネイル１２４が存在しないことが確認できた場合には、ユーザは、表示倍率を縮小して他の候補から検索対象の登録画像１１２のサムネイル１２４を探していく。
【０１６５】
一方、表示画面内に検索対象の登録画像１１２のサムネイル１２４が存在することが確認できた場合には、図９（ｄ）に示すように、表示倍率を拡大することによって、ユーザは、サムネイル一覧ビュー３０２上で登録画像１１２の内容を詳細に確認することができる。
【０１６６】
以上説明したように、本発明の第１の実施の形態としての画像表示システム１は、集合画像１２１を使用するマップ探索型の画像表示システムにおいて、分類カテゴリ毎に集合画像１２１を生成し、各分類カテゴリ内で登録画像１１２のサムネイル１２４の座標を同一な規則で算出すると共に、集合画像１２１においてサムネイル１２４が配置されない領域に対して透明化処理を行っているため、単一種類の集合画像１２１によって、異なる分類カテゴリ（初期分類キー）を有するマップを表示することができる。
【０１６７】
したがって、画像表示システム１は、ユーザの操作性向上のために分類カテゴリが異なるマップを表示するために、マップ毎の集合画像１２１を生成する必要がなくなり、集合画像１２１の更新に対する処理速度を向上し、集合画像１２１の保持容量を低減することができる。
【０１６８】
すなわち、画像表示システム１は、複数種類の集合画像１２１を用意せずにマップの表示形態の種類を増やすことができる。
【０１６９】
（第２の実施の形態）
本発明の第１の実施の形態においては、分類カテゴリ内における登録画像１１２のサムネイル１２４の座標を算出するときに、画像特徴量に対して単色の色特徴という特徴次元数の少ないものを使用して２次元のマップ座標へ変換する例を示した。
【０１７０】
しかし、自然画像等への適用を考えると自然画は複数の色味を含む場合が多く、単一色では精度が落ちる場合が考えられる。また、白黒の図面等のように形状により特徴のある画像を主として扱う場合には適用できない等の課題がある。
【０１７１】
このような場合においては、前述したような色ヒストグラムやテクスチャやエッジ等の画像形状の特徴量を使用することが考えられるが、画像特徴量が多次元におよぶケースがほとんどになる。本実施の形態においては、画像形状の特徴量を使用する場合の例について説明する。なお、各分類カテゴリ内の画像配置以外に関する構成や動作については、本発明の第１の実施の形態と同様とする。
【０１７２】
多次元の特徴量を使用して２次元の座標へ変換する好適な方法の一例として、ＳＯＭ（自己組織化マップ）がある。ＳＯＭは入力された特徴量ベクトルと、各座標に割り当てられた重みベクトルとの距離を所定の測度（例えばユークリッド測度）で演算し、この距離が最小となる座標点（以下、「最整合ノード」という。）を検出する。そして、この最整合ノード近傍の複数の座標について、入力された特徴量ベクトルを用いて重みベクトルを更新する。
【０１７３】
この処理の繰り返しにより、互いに類似する特徴量ベクトルに対する最整合ノードが連続的な領域を形成するようになる。つまり、この座標空間には、多次元の入力信号である特徴量ベクトルから２次元のマップへの非線形射影が位相を保持したまま形成され、重みの更新により、データの特徴部分が組織化され、その学習成果として類似のデータに反応する格子が近接するようになる。
【０１７４】
このようなＳＯＭの性質を利用すれば、多次元特徴量から特徴が似通った画像を近傍に配置した２次元画像マップを作成することができる。しかし、通常ＳＯＭは、画像が入力されるたびに、その画像配置を変化させることになるため、登録画像１１２が登録される度に使用する場合には、各分類カテゴリで全く異なる位置に配置されることになり、各分類カテゴリの集合画像１２１を重ねたときに、画像特徴によるマップではなくなってしまうことになる。
【０１７５】
例えば、本発明の第１の実施の形態で用いた例では、分類カテゴリ毎に色味の分布が変わってしまい、それらを重ねた場合には、ところどころで様々な色味の登録画像１１２のサムネイル１２４が混ざり合うマップとなってしまう。
【０１７６】
上記の課題に対する解決策として、本実施の形態においては、ＳＯＭと学習データ用の画像データを用いて学習によりマップモデルを予め作成し、登録画像１１２のサムネイル１２４の配置を決定するときに、予め作成された分類カテゴリによらない単一のモデルを用いてサムネイル１２４の配置を決定する。
【０１７７】
マップモデルは、特徴量と座標との関連が表されていればよい。例えば、学習によって各座標にマップされた画像の特徴量をその座標の特徴量とすればよい。そして入力された登録画像１１２の特徴量を算出した後、全ての座標のなかから最も特徴量が近い（例えば、ユークリッド距離が近い）座標をサムネイル座標とすればよい。
【０１７８】
図１０は、マップモデルを表すモデルデータを作成するモデルデータ作成動作を示すフローチャートである。なお、モデルデータ作成動作を本実施の形態としての画像表示システムに実行させる代わりに、モデルデータ作成動作を他の計算機によって予め実行させ、作成されたマップモデルをサーバ装置１１０に登録するようにしてもよい。
【０１７９】
なお、モデルデータ作成に先立ち、ＳＯＭの座標を定め、全座標点について適当な初期値を与え、必要数の学習用画像データを用意する必要がある。ここで、必要数とは、実際に登録される登録画像１１２の種類をほぼ補う数が必要であり、例えば、本発明の第１の実施の形態のように色味で分布するマップを作成する場合、全ての色味に対応する画像種の学習用画像データが必要となる。このような画像データは、人工的に作成してもよい。
【０１８０】
まず、学習画像の特徴量が算出される（ステップＳ４０）。ここで、特徴量は、登録画像１１２の画像配置を決定する場合に算出する特徴量と同じものを使用する。なお、特徴量の種類については特に限定されず、前述した色ヒストグラムやテクスチャ等でもよく、これらを組み合わせたものでもよい。
【０１８１】
次に、新規に入力された学習画像の特徴量データがＳＯＭに追加される（ステップＳ４１）。前述したように、ＳＯＭの手法の通り、既存のＳＯＭの最も近い座標点に特徴量データをマッピングし、その近傍の座標データの特徴量データを変更する。
【０１８２】
ここで、全ての学習画像に対してステップＳ４０、Ｓ４１を実行したか否かが判断され（ステップＳ４２）、全ての学習画像に対してステップＳ４０、Ｓ４１を実行していないと判断された場合には、モデルデータ作成動作は、ステップＳ４０に戻る。
【０１８３】
一方、全ての学習画像に対してステップＳ４０、Ｓ４１を実行したと判断された場合には、学習画像全てにおけるＳＯＭが完成した後に、ＳＯＭからモデルデータが作成される（ステップＳ４３）。ここでのモデルデータとは、特徴量データと座標点とがリンクされたものであり、学習が完成したＳＯＭそのものでもよい。
【０１８４】
図１１は、本実施の形態において、登録画像１１２のサムネイル１２４のサムネイル座標を決定するサーバ装置１１０の動作（ステップＳ６、図３）を詳細に示すフローチャートである。
【０１８５】
まず、画像配置部１１７によって登録画像１１２から画像特徴量が算出される（ステップＳ５０）。次に、算出された画像特徴量とモデルデータとが画像配置部１１７によって比較され、登録画像１１２の画像特徴量に最も近い（類似性の高い）座標が抽出される（ステップＳ５１）。
【０１８６】
ここでの登録画像１１２とモデルとの特徴量の比較は、種々の方法があるが、例えば多次元特徴量間のユークリッド距離が最も近いものを選択すればよい。他に、多次元特徴量の種類に応じて重みを使用してもよい。
【０１８７】
以上説明したように、本発明の第２の実施の形態としての画像表示システムは、登録画像１１２から多次元特徴量を抽出して分類カテゴリ内でサムネイル１２４の配置を決定する場合において、各分類カテゴリの集合画像１２１を重ねたときに、画像特徴によるマップを維持することができる。
【０１８８】
また、本発明の第２の実施の形態としての画像表示システムは、分類カテゴリによらず単一のモデルデータによって全ての分類カテゴリ内の画像配置を抽出するため、分類カテゴリ毎にモデルデータを作成する必要がなく、モデルデータの容量を削減することができる。
【０１８９】
（第３の実施の形態）
システム側で分類カテゴリが予め定められているマップ探索型の画像一覧表示においては、ユーザが登録する登録画像１１２によっては、サムネイル１２４が全く分類されない分類カテゴリが存在することがある。このような分類カテゴリは、表示画面上に不要な空白を描画させるだけでなく、必要のない集合画像１２１の送受信や表示処理を実行させることとなる。
【０１９０】
本実施の形態においては、このような課題に対応し、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリに対する処理を追加したものについて説明する。なお、本実施の形態における構成や基本的な動作などは、本発明の第１の実施の形態および第２の実施の形態と同様である。
【０１９１】
図１２は、分類表示モードにおいて、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリを表示した例である。このように、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリが図中左下に表示されることになり、表示上の効率が低下するばかりでなく、相対的に表示画像のサイズが小さくなる可能性が高いため、ユーザの操作性も低下することになる。
【０１９２】
図１３は、本実施の形態における画像登録動作を示すシーケンス図である。なお、本発明の第１の実施の形態の画像表示システム１の画像登録動作を説明するために参照した図３に示すシーケンス図に対して、図１３は、ステップＳ６０、Ｓ６１が追加されている。このため、ステップＳ６０、Ｓ６１以外についての説明は省略する。
【０１９３】
登録画像１１２のサムネイル１２４に対する分類処理が実行されると（ステップＳ５）、当該サムネイル１２４が当該分類カテゴリに最初に分類されたものであるか否か、すなわち、当該分類カテゴリに既に分類されたサムネイル１２４が存在しないか否かがカテゴリ分類部１１５によって判断される（ステップＳ６０）。
【０１９４】
ここで、当該登録画像１１２のサムネイル１２４が当該分類カテゴリに最初に分類されたものであると判断された場合には、画像配置部１１７によってカテゴリ座標データが画像ＤＢ１１４に登録される（ステップＳ６１）。
【０１９５】
一方、当該登録画像１１２のサムネイル１２４が当該分類カテゴリに最初に分類されたものでないと判断された場合には、画像登録動作は、ステップＳ６を実行する。
【０１９６】
すなわち、本実施の形態においては、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリに対しては、カテゴリ座標が設定されないこととなる。また、画像配置部１１７によるカテゴリ座標の設定は、最初に登録画像１１２のサムネイル１２４が分類された分類カテゴリ（最初に出現した分類カテゴリ）の座標を図４（ａ）における「論文」の分類カテゴリの座標に設定し、次に登録画像１１２のサムネイル１２４が分類された分類カテゴリ（次に出現した分類カテゴリ）の座標を図４（ａ）における「図面」の分類カテゴリの座標に設定するなど、予め定めた順序で設定するようにしてもよい。
【０１９７】
図１４は、本実施の形態におけるサーバ装置１１０の表示画面生成動作を示すフローチャートである。なお、図８に示した本発明の第１の実施の形態におけるサーバ装置１１０の表示画面生成動作では、ステップＳ３１乃至Ｓ３７の各ステップを分類カテゴリによらずに各ステップ内で全ての表示領域の画像について処理をしていたが、本実施の形態における表示画面生成動作は、分類カテゴリ単位毎に処理を行っていく。
【０１９８】
また、本発明の第１の実施の形態におけるサーバ装置１１０の表示画面生成動作を説明するために参照した図８に示すフローチャートに対して、図１４は、ステップＳ７０、Ｓ７１が追加されている。このため、ステップＳ７０、Ｓ７１以外についての説明は省略する。
【０１９９】
まず、対象の分類カテゴリが表示画面生成部１１８によって選択され、対象の分類カテゴリに登録画像１１２のサムネイル１２４が分類されているか否かが判断される（ステップＳ７０）。ここで、対象の分類カテゴリに登録画像１１２のサムネイル１２４が分類されていないと判断された場合には、表示画面生成動作は、ステップＳ７１に進む。
【０２００】
一方、対象の分類カテゴリに登録画像１１２のサムネイル１２４が分類されていると判断された場合には、表示画面生成動作は、ステップＳ３１に進み、対象の分類カテゴリに対してステップＳ３１乃至Ｓ３７が処理される。
【０２０１】
ステップＳ７１においては、表示対象の全ての分類カテゴリに対する処理が終了したか否かが表示画面生成部１１８によって判断される。ここで、表示対象の全ての分類カテゴリに対する処理が終了したと判断された場合には、表示画面生成動作は、ステップＳ３８に進む。
【０２０２】
一方、表示対象の全ての分類カテゴリに対する処理が終了していないと判断された場合には、表示画面生成動作は、ステップＳ７０に戻り、次の分類カテゴリが表示画面生成部１１８によって選択される。
【０２０３】
すなわち、本実施の形態においては、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリに対する表示画面生成動作をスキップする。
【０２０４】
以上説明したように、本発明の第３の実施の形態としての画像表示システムは、分類カテゴリに対して新規に画像が分類されたときに分類カテゴリの座標データを新規に設定することにより、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリをマップ上に表示させない。
【０２０５】
このため、本発明の第３の実施の形態としての画像表示システムは、クライアント装置１００において、登録画像１１２のサムネイル１２４が分類されていない分類カテゴリを表示対象としないため、通信や表示等の不要な処理を省略しシステム全体の効率を向上させることができる。
【図面の簡単な説明】
【０２０６】
【図１】本発明の第１の実施の形態としての画像表示システムのブロック図である。
【図２】本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置のハードウェア構成図である。
【図３】本発明の第１の実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図４】（ａ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、各カテゴリ領域が配置されたマップを示す概念図であり、（ｂ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、各カテゴリ領域内に登録画像のサムネイルが配置されたマップを示す概念図であり、（ｃ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、原点をカテゴリ領域の中心としたときのサムネイル座標と色との関係を示す概念図であり、（ｄ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、ＣＩＥＬＡＢ表色系のａ＊を水平軸、ｂ＊を垂直軸に取ったときのサムネイル座標と色との関係を示す概念図であり、（ｅ）は、本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置において、集合画像の透明部分を斜線で示した概念図である。
【図５】本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置の集合画像更新処理を詳細に示すフローチャートである。
【図６】本発明の第１の実施の形態としての画像表示システムの画像検索動作を示すシーケンス図である。
【図７】（ａ）は、本発明の第１の実施の形態としての画像表示システムの分類表示モードにおける表示画面の例を示す概念図であり、（ｂ）は、本発明の第１の実施の形態としての画像表示システムにおけるサムネイル一覧ビューの例を示す概念図であり、（ｃ）は、本発明の第１の実施の形態としての画像表示システムのカラーマップ表示モードにおける表示画面の例を示す概念図である。
【図８】本発明の第１の実施の形態としての画像表示システムを構成するサーバ装置の表示画面生成動作を示すフローチャートである。
【図９】本発明の第１の実施の形態としての画像表示システムを構成するクライアント装置による拡大表示動作を説明するための概念図である。
【図１０】本発明の第２の実施の形態としての画像表示システムにおけるモデルデータ作成動作を示すフローチャートである。
【図１１】本発明の第２の実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図１２】分類表示の際に登録画像のサムネイルが分類されていない分類カテゴリの表示例である。
【図１３】本発明の第３の実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図１４】本発明の第３の実施の形態としての画像表示システムを構成するサーバ装置の表示画面生成動作を示すフローチャートである。
【符号の説明】
【０２０７】
１ 画像表示システム
１００ クライアント装置
１０１ 表示デバイス
１０２ アプリケーション
１０３ 入力デバイス
１０４ 画像キャッシュ
１０５ 通信路
１１０ サーバ装置
１１１ 外部Ｉ／Ｆ
１１２ 登録画像
１１３ サムネイル生成部
１１４ 画像ＤＢ
１１５ カテゴリ分類部
１１６ 集合画像生成部
１１７ 画像配置部
１１８ 表示画面生成部
１１９ 表示画面
１２０ 画面制御データ
１２１ 集合画像
１２２ 画像配置データ
１２４、３０３ サムネイル
２０１ ＣＰＵ
２０２ メモリ
２０３ ＨＤＤ
２０４ ビデオメモリ
２０５ モニタ
２０６ 入力デバイス
２０７ 外部Ｉ／Ｆ
２０８ バス
３０１ ウィンドウ
３０２ サムネイル一覧ビュー
３０４、３０５、３０６ スライダ
３０７ 表示領域
３０８ 表示切替ボタン
【特許請求の範囲】
【請求項１】
複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する表示画面生成部を備えた画像処理装置であって、
前記表示画面生成部は、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１モードと、
前記集合画像を重ねて配置した一覧表示画面を生成する第２モードと、のなかで選択されたモードをとることを特徴とする画像処理装置。
【請求項２】
オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成部と、
前記サムネイルを前記カテゴリで分類するカテゴリ分類部と、
前記集合画像に前記サムネイルを配置する画像配置部と、
前記画像配置部による配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成部と、を備え、
前記集合画像生成部は、前記集合画像のなかで前記サムネイルが配置されていない領域を透明化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記集合画像生成部は、前記カテゴリ毎に略同一のサイズの集合画像を生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一の数式に基づいて前記サムネイルの位置を決定することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一のモデルデータに基づいて前記サムネイルの位置を決定することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項６】
前記表示画面生成部は、前記表示用画像が分類されていないカテゴリに対応する集合画像の生成を省くことを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記集合画像は、透明レイヤを保持することが可能な符号フォーマットで符号化されていることを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
画像処理装置を用いて、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する画像処理方法であって、
前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、
前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを実行することを特徴とする画像処理方法。
【請求項９】
前記画像処理装置を用いて、
オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成ステップと、
前記サムネイルを前記カテゴリで分類するカテゴリ分類ステップと、
前記集合画像に前記サムネイルを配置する画像配置ステップと、
前記画像配置ステップにおける配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成ステップと、をさらに実行することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
複数の表示用画像を表示するために表示倍率に応じた一覧表示画面をコンピュータに生成させるための画像処理プログラムであって、
前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、
前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを前記コンピュータに実行させる画像処理プログラム。
【請求項１】
複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する表示画面生成部を備えた画像処理装置であって、
前記表示画面生成部は、前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１モードと、
前記集合画像を重ねて配置した一覧表示画面を生成する第２モードと、のなかで選択されたモードをとることを特徴とする画像処理装置。
【請求項２】
オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成部と、
前記サムネイルを前記カテゴリで分類するカテゴリ分類部と、
前記集合画像に前記サムネイルを配置する画像配置部と、
前記画像配置部による配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成部と、を備え、
前記集合画像生成部は、前記集合画像のなかで前記サムネイルが配置されていない領域を透明化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記集合画像生成部は、前記カテゴリ毎に略同一のサイズの集合画像を生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一の数式に基づいて前記サムネイルの位置を決定することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記画像配置部は、全てのカテゴリにおいて、前記オリジナル画像の特徴量と前記サムネイルの位置とを関連付けた同一のモデルデータに基づいて前記サムネイルの位置を決定することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項６】
前記表示画面生成部は、前記表示用画像が分類されていないカテゴリに対応する集合画像の生成を省くことを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記集合画像は、透明レイヤを保持することが可能な符号フォーマットで符号化されていることを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
画像処理装置を用いて、複数の表示用画像を表示するために表示倍率に応じた一覧表示画面を生成する画像処理方法であって、
前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、
前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを実行することを特徴とする画像処理方法。
【請求項９】
前記画像処理装置を用いて、
オリジナル画像をサイズ変更したサムネイルを前記表示用画像として生成するサムネイル生成ステップと、
前記サムネイルを前記カテゴリで分類するカテゴリ分類ステップと、
前記集合画像に前記サムネイルを配置する画像配置ステップと、
前記画像配置ステップにおける配置にしたがって前記サムネイルを集めることにより前記カテゴリ毎の集合画像を生成する集合画像生成ステップと、をさらに実行することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
複数の表示用画像を表示するために表示倍率に応じた一覧表示画面をコンピュータに生成させるための画像処理プログラムであって、
前記表示用画像がカテゴリ毎に集められ、前記表示用画像が配置されていない領域が透明化された集合画像を互いに異なる領域に配置した一覧表示画面を生成する第１ステップと、
前記集合画像を重ねて配置した一覧表示画面を生成する第２ステップと、のなかで選択されたステップを前記コンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−４９１５８（Ｐ２０１０−４９１５８Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００８−２１５１７２（Ｐ２００８−２１５１７２）
【出願日】平成２０年８月２５日（２００８．８．２５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２０年８月２５日（２００８．８．２５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]