画像処理装置、画像処理方法及び画像処理プログラム
【課題】多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】画像処理システムは、クライアント装置１００と、サーバ装置１１０とを備え、サーバ装置１１０は、外部ＩＦ部１１１と、サムネイル生成処理部１１３と、画像ＤＢ記憶部１１４と、集合画像生成処理部１１５と、画像配置決定処理部１１６と、表示画面制御処理部１１７とを備え、表示画面制御処理部１１７は、画像の表示倍率が小さい場合は高速に表示が可能な集合画像を表示し、画像の表示倍率が大きい場合は個々のサムネイル画像を表示し、両者が切り替わる倍率付近では集合画像を表示するとともに個々の画像をも表示するよう制御する。
【解決手段】画像処理システムは、クライアント装置１００と、サーバ装置１１０とを備え、サーバ装置１１０は、外部ＩＦ部１１１と、サムネイル生成処理部１１３と、画像ＤＢ記憶部１１４と、集合画像生成処理部１１５と、画像配置決定処理部１１６と、表示画面制御処理部１１７とを備え、表示画面制御処理部１１７は、画像の表示倍率が小さい場合は高速に表示が可能な集合画像を表示し、画像の表示倍率が大きい場合は個々のサムネイル画像を表示し、両者が切り替わる倍率付近では集合画像を表示するとともに個々の画像をも表示するよう制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データベースに蓄積された画像データに対して、サムネイル一覧等の複数画像の一覧表示画面データを生成する機能を備えた画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、スキャナ等の入力デバイスを使用して紙文書を電子化する例えば電子ファイリング等の装置は存在していたが、大量に紙文書を扱う業務用途として使用されるにとどまっていた。
【０００３】
近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰ（Multi Function Printer）の普及、またｅ−文書法（電子文書法）等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。
【０００４】
また、電子化された文書画像データや写真画像データ、パーソナルコンピュータ（以下「ＰＣ」という。）等のアプリケーションによって作成された文書データ等をデータベース（以下「ＤＢ」という。）化して一元管理する画像ＤＢの用途も併せて増えてきており、例えば紙文書の原本を保存しておく必要があっても管理のし易さ、検索のし易さという点で画像ＤＢを構築する場合もある。
【０００５】
画像ＤＢとしては、サーバ装置を設置してインターネットやＬＡＮを介して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途のものまで様々であり、例えば、近年のＭＦＰでは内臓のハードディスクドライブ（以下「ＨＤＤ」という。）に文書データを蓄積する機能を備えており、ＭＦＰをベースとした画像ＤＢが構築されている。
【０００６】
複数の画像データが蓄積されている画像ＤＢ内の画像を閲覧する場合、ユーザは画像の検索手法を用いて目的とする画像を検索する。検索対象画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索する場合もあるが、一般的にはサムネイル画像の一覧表示が使用される。例えば、文書画像を検索する場合、キーワード検索した後にキーワードにヒットした候補画像をサムネイル一覧表示して最終的に検索対象画像を選択し、あるいは最初からサムネイル一覧表示のみを使用して検索対象画像を探索する方法が採られている。
【０００７】
サムネイル一覧表示は、縮小画像を画面上に複数個配列することにより、画像内容の把握を容易にするものであるが、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度は一般的に低い。例えば、写真画像をサムネイル一覧表示した場合、低解像度の縮小画像でもその内容把握は比較的容易であるが、文字中心の文書画像の場合は、その縮小画像では文字の判読が困難になり文書画像の内容把握が難しい。したがって、文書画像の検索では、ユーザは個々の文書画像をビューアなどの機能を使って拡大表示して確認しなければならず、検索時の操作性が非常に悪い。特に、ネットワークを介したサーバ・クライアントシステムの場合では、ビューアで画像を表示する際に新たに解像度の高い画像データの転送が必要となり、この結果、多数（例えば数千）の画像の確認に多くの処理時間を要し、検索効率が著しく低下するという課題があった。
【０００８】
この課題の解決を目的として、例えば、特許文献１に示されたイメージデータ処理方法が提案されている。特許文献１に示されたものは、複数の画像を一覧表示することが可能な集合画像を予め作成しておき、集合画像の出力要求があったときに予め作成した集合画像を出力することにより、出力時におけるデータ処理を省略し、集合画像の出力要求があってから集合画像を出力するまでに要する時間を短縮しようとするものである。
【０００９】
また、前述したような画像ＤＢにおいては、蓄積画像数が増えるに従って、その画像ＤＢに蓄積されている画像の全容を把握するのが難しくなるという課題が存在する。通常のサムネイル一覧表示において蓄積画像数が数千画像程度になるとそれら全てをチェックすることはユーザにとって非常に過酷な作業になるため、特定の画像が絶対に必要な場合以外はそのような作業が実施されることは通常はなく、たとえ実施されたとしてもランダムに並んだサムネイル一覧から画像ＤＢの全容を推測することは非常に困難である。
【００１０】
これは画像ＤＢのブラックボックス化を示していると考えられ、以下のような弊害が挙げられる。例えばＷＷＷ（World Wide Web）等のように世界中の莫大な情報が集められているものを情報ＤＢの対象とする場合、ユーザが必要とする情報は、その情報ＤＢ内にほぼ確実に存在し得るためユーザは安心して検索等の行動を起こすが、通常のローカルな画像ＤＢにおいてはどのような情報がどれだけ蓄積されているかという情報は、ユーザの記憶にのみ依存するものであり、ユーザはその記憶を頼りにキーワードや日付等に基づいて蓄積画像を検索して所望の情報を得るしかなく、ユーザの記憶から忘れ去られた情報は活用される機会を失うこととなり、画像ＤＢの活用効率を落とす要因になると考えられる。
【００１１】
この問題の解決を図ることを目的として、例えば、特許文献２に示された文書情報コンテンツ閲覧システムが知られている。特許文献２に示されたものは、閲覧利用者がマップとして表現された情報空間を散策しながら、閲覧対象文書情報コンテンツを選択して閲覧することにより、漠然とした検索意図を持った閲覧利用者が、キーワードなどを用いて明示的に自分の興味・指向を表現できない場合でも、散策的に興味・指向に適合した文書情報コンテンツを検索できるようになっている。
【特許文献１】特開２００２−９２５８４号公報
【特許文献２】特開２００３−７６７１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来のものには以下に示すような課題があった。
【００１３】
まず、特許文献１には、集合画像を構成する画像の画像数が増加するに従って集合画像のファイル容量が巨大化することに関する対処法についての記載がないので、特許文献１に記載のものは、集合画像を構成する画像の画像数が増加した場合に各画像を詳細に表示することができないものであるか、各画像を詳細に表示しようとすればシステムに多大な負荷を与えるものであって軽快に動作するものではない。
【００１４】
また、特許文献２に開示されているように、漠然とした検索意図を持った閲覧利用者に対しては、画像を２次元又は３次元のマップ上に配置して閲覧利用者が全体俯瞰やズーム、スクロール等の機能を使用して地図上を散策するようなイメージで情報空間を散策するマップ探索型の画像閲覧方法が好適な解決策であると考えられる。しかしながら、画像ＤＢの全容を把握するためには画像ＤＢ内に蓄積された画像を一覧可能とするのが好ましく、そのためには多数の画像を一度に表示する必要があるが、特許文献２には、多数の画像を表示することに関する記載やその表示における課題を解決する手段について記載されていない。
【００１５】
他方、本発明の発明者は、マップ探索型の画像閲覧方法において、画像の表示倍率（拡大率）に応じてサムネイル画像のサイズ又は解像度を変更することにより、サムネイル画像の精細度を変更し、画像の拡大率を上げても画質が低下することなく画像内容の確認が可能となる画像閲覧方法を提案している（特願２００６−３０４０１２号）。この方法を以下「フリーズーム可能なマップ探索型の画像閲覧方法」という。また、この提案においては、複数の画像が配置された集合画像を階層符号化して用いることによって、多数の画像を表示する際にも軽快に動作するマップ探索型の画像処理装置についても述べている。しかしながら、このようなフリーズーム可能なマップ探索型の画像閲覧方法において集合画像を扱う際には以下のような問題があった。
【００１６】
マップ上で画像の拡大表示（ズームアップ）操作を行って精細な画像まで表示を行うことが可能なシステムの場合、例えばユーザが文書画像の文字を認識することができる程度まで拡大可能な場合は、集合画像に配置された個々の画像がある程度の大きさ（サイズ）を持っている必要があるため、相対的に集合画像も非常に巨大な画像となってしまう。例えば、各画像を２００ｄｐｉのサイズで集合画像として配置すると仮定すると、Ａ４サイズの画像では、２３００画素×１６００画素程度の大きさになる。したがって、これらの画像を例えば１０，０００枚程度配置可能な集合画像を作成すると仮定すると、最低でも２３０，０００×１６０，０００画素サイズが必要となり、集合画像全体の容量としては、カラー画像とすると１００ＧＢ（ギガバイト）程度になる。この集合画像に対して圧縮を行ったとしても１０ＧＢ程度の蓄積容量が必要となり、また集合画像をいくつかの部分に分割して処理したとしても相当量のメモリが必要（１００分割でも１ＧＢ必要）となるため、システムに対する負荷が非常に大きくなってしまい現実的ではない。
【００１７】
そこで、各画像を例えば２０ｄｐｉ程度のサイズで集合画像として配置すると想定すれば上記の画素サイズは各々１／１００程度になるためシステムに対する負荷の問題は軽減されるが、画像の拡大表示操作を行った際に精細な画像が得られないという問題が生ずる。
【００１８】
本発明は、このような事情に鑑みてなされたものであり、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置において、前記一覧表示画面は、表示倍率を変更可能に前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを有し、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能なサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段を備えた構成を有している。
【００２０】
この構成により、本発明の画像処理装置は、表示制御手段が、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方を所定の条件に応じてサムネイル一覧ビューに表示する制御を行うので、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００２１】
なお、前記所定の条件は、前記サムネイル画像の表示倍率であることが好ましい。
【００２２】
また、前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像数であることが好ましい。
【００２３】
さらに、前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像データの容量であることが好ましい。
【００２４】
さらに、本発明の画像処理装置は、前記表示制御手段が、第１の表示倍率及び前記第１の表示倍率より大きい第２の表示倍率に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、前記表示倍率が、前記第１の表示倍率から前記第２の表示倍率までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の表示倍率未満のときは前記集合画像のみを選択し、前記第２の表示倍率より大きいときは前記サムネイル画像のみを選択する構成を有している。
【００２５】
この構成により、本発明の画像処理装置は、表示制御手段が、サムネイル画像の表示倍率に応じて、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方をサムネイル一覧ビューに表示する制御を行うので、集合画像と個々のサムネイル画像との間の切り替え時においてユーザに違和感を与えることなく表示画面を切り替えることができるとともに、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００２６】
さらに、本発明の画像処理装置は、前記表示制御手段が、第１の画像数及び前記第１の画像数より大きい第２の画像数に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像数が、前記第１の画像数から前記第２の画像数までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の画像数未満のときは前記サムネイル画像のみを選択し、前記第２の画像数より大きいときは前記集合画像のみを選択する構成を有している。
【００２７】
この構成により、本発明の画像処理装置は、表示制御手段が、表示するサムネイル画像の画像数に応じて、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方をサムネイル一覧ビューに表示する制御を行うので、画像がランダムに配置されたものや、重なりのあるマップ形態の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００２８】
さらに、本発明の画像処理装置は、前記表示制御手段が、第１の画像データ容量及び前記第１の画像データ容量より大きい第２の画像データ容量に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像容量が、前記第１の画像データの容量から前記第２の画像データの容量までの範囲内のときは前記集合画像と予め定められた画像数のサムネイル画像とを選択し、前記第１の画像データ容量未満のときは前記サムネイル画像のみを選択し、前記第２の画像データの容量より大きいときは前記集合画像のみを選択する構成を有している。
【００２９】
この構成により、本発明の画像処理装置は、表示制御手段が、表示するサムネイル画像の画像容量に応じて、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方をサムネイル一覧ビューに表示する制御を行うので、いかなるマップ形態の画像に対してもより正確に画像を切り替えて表示することができる。
【００３０】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、前記集合画像を構成するサムネイル画像が表示される位置に個々のサムネイル画像を対応させて重ねて表示するよう制御する構成を有している。
【００３１】
この構成により、本発明の画像処理装置は、画像の拡大表示操作を行う場合、集合画像によるものよりも詳細な画像を表示することができる。
【００３２】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像が表示される位置に集合画像を構成するサムネイル画像を対応させて重ねて表示するよう制御する構成を有している。
【００３３】
この構成により、本発明の画像処理装置は、集合画像を表示して一覧性を高めることにより、画像の検索を容易化することができる。
【００３４】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル画像を重ねて表示するとき、重なりの最も上位にある画像のみ重ねて表示するよう制御する構成を有している。
【００３５】
この構成により、本発明の画像処理装置は、重なりの下にある画像が一旦上書き表示されることを回避することができるので、重なりのあるマップにおいてもユーザに違和感を与えない表示を行うことができる。
【００３６】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像を前記一覧ビューウィンドウの外の領域に擬似的に表示するよう制御する構成を有している。
【００３７】
この構成により、本発明の画像処理装置は、重なりの下にある画像が一旦上書き表示されることを回避することができるので、重なりのあるマップにおいてもユーザに違和感を与えない表示を行うことができる。
【００３８】
本発明の画像処理方法は、複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理方法において、前記一覧表示画面に、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う構成を有している。
【００３９】
この構成により、本発明の画像処理方法は、複数のサムネイル画像を集合させた集合画像と、複数のサムネイル画像との少なくとも一方を所定の条件に応じてサムネイル一覧ビューに表示する制御を行うので、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００４０】
本発明の画像処理プログラムは、複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、前記コンピュータに、前記一覧表示画面として、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、前記コンピュータを、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段として機能させる構成を有している。
【００４１】
この構成により、本発明の画像処理プログラムは、表示制御手段が、複数のサムネイル画像を集合させた集合画像と、複数のサムネイル画像との少なくとも一方を所定の条件に応じてサムネイル一覧ビューに表示する制御を行うので、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【発明の効果】
【００４２】
本発明は、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができるという効果を有する画像処理装置、画像処理方法及び画像処理プログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００４３】
以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の画像処理装置を、サーバ装置及びクライアント装置で構成された画像処理システムに適用した例を挙げて説明する。
【００４４】
（第１の実施の形態）
まず、本発明の第１の実施の形態について図１に基づいて説明する。図１は、本実施の形態における画像処理システムの構成を模式的に示したブロック図である。
【００４５】
図１に示すように、本実施の形態における画像処理システムは、クライアント装置１００と、サーバ装置１１０とを備えている。
【００４６】
クライアント装置１００は、表示デバイス１０１と、アプリケーションプログラム（以下「アプリケーション」という。）１０２と、入力デバイス１０３とを備えている。このクライアント装置１００は、例えばＰＣや、ＰＤＡ（Personal Digital Assistants）、携帯電話等のモバイル端末等で構成されるものである。
【００４７】
表示デバイス１０１は、例えば液晶ディスプレイで構成され、画像を表示するようになっている。アプリケーション１０２は、表示デバイス１０１の表示制御やサーバ装置１１０との通信制御、入力デバイス１０３に入力された指示コマンドの解釈等を行うようになっている。入力デバイス１０３は、例えばキーボードやマウス、スキャナ等で構成され、ユーザの指示コマンドを入力するようになっている。
【００４８】
サーバ装置１１０は、外部インターフェース（以下「ＩＦ」という。）部１１１と、サムネイル生成処理部１１３と、画像ＤＢ記憶部１１４と、集合画像生成処理部１１５と、画像配置決定処理部１１６と、表示画面制御処理部１１７とを備え、クライアント装置１００からのコマンドに応じて画像分類を行い、分類結果の情報をクライアント装置１００に出力するようになっている。
【００４９】
外部ＩＦ部１１１は、例えばＬＡＮやインターネット等で構成される外部通信路１０４を介して、クライアント装置１００と通信するようになっている。
【００５０】
サムネイル生成処理部１１３は、画像ＤＢ記憶部１１４に画像ＤＢとして登録する登録画像データ１１２を所定サイズ以下に変倍して表示用のサムネイル画像データを生成するようになっている。
【００５１】
画像ＤＢ記憶部１１４は、登録画像データ１１２及びこのサムネイル画像データを画像ＤＢとして記憶するようになっている。また、画像ＤＢ記憶部１１４は、後述する集合画像データ１２０及び画像配置データ１２１を記憶するようになっている。
【００５２】
集合画像生成処理部１１５は、複数のサムネイル画像が配置された集合画像データ１２０を生成するようになっている。この集合画像データ１２０は、登録画像データ１１２を所定のサイズに縮小した画像を、例えばマトリクス状に配置し合成して集約したデータである。
【００５３】
画像配置決定処理部１１６は、登録画像データ１１２を入力してマップ画面上の画像配置を決定し、決定した画像配置を座標データで示す画像配置データ１２１を出力するようになっている。この画像配置データ１２１は、画像ＤＢに登録された全画像のマップ上の位置を示すデータである。
【００５４】
表示画面制御処理部１１７は、クライアント装置１００の表示デバイス１０１に表示するための表示画面に係る表示画面データ１１８を生成するようになっている。この表示画面データ１１８は、クライアント装置１００の表示デバイス１０１上に表示するためのデータである。
【００５５】
また、表示画面制御処理部１１７は、表示画面データ１１８を制御するための画面制御データ１１９を外部ＩＦ部１１１から入力し、画面制御データ１１９の内容に応じた表示制御を実行するようになっている。この画面制御データ１１９は、クライアント装置１００から入力するデータである。なお、表示画面制御処理部１１７は、本発明に係る表示制御手段を構成する。
【００５６】
図２は、サーバ装置１１０のハードウェア構成例を示すブロック図である。以下同図における構成要素を説明する。
【００５７】
サーバ装置１１０は、プログラムに応じた演算や処理を行うＣＰＵ２０１と、プログラムのコードや画像の符号データ等のデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ２０２と、画像データやプログラム等を保存、蓄積するためのＨＤＤ２０３と、画像データを一時的に記憶するビデオメモリ２０４と、ビデオメモリに書き込まれた画像データに基づいて画像を表示するモニタ２０５と、マウスやキーボード等の入力デバイス２０６と、インターネットやＬＡＮ等の外部通信路１０４を介してデータを送受信する外部ＩＦ部２０７と、各々の構成要素を相互に接続するバス２０８とを備えている。
【００５８】
本実施の形態においては、サーバ装置１１０としてサーバコンピュータの形態を想定した説明を行い、表示画面生成等の処理はソフトウェアで実現する例を示す。すなわち、サーバ装置１１０内の処理は図１に示す構成において動作する図示しないアプリケーションプログラムによって実現されるものとする。
【００５９】
ただし、サーバ装置１１０は、図２に示した構成によるものに限定されず、例えばＭＦＰ等の装置内にハードウェアで処理を行う構成としてもよい。また、図１に示したようなクライアント装置１００及びサーバ装置１１０の構成とせずに、例えば１つのＰＣやＭＦＰ等の機器内で図１に示した構成を全て保持して動作するようにしてもよい。なお、クライアント装置１００としては前述のとおりＰＣやモバイル端末を想定しているため、クライアント装置１００の構成も図２に示した構成と同様として扱うこととする。
【００６０】
次に、本実施の形態における動作について説明する。本実施の形態における画像処理システムの動作は、大別すると二つの動作を行う。一つは画像の登録動作であり、他の一つは所望の画像を検索し、閲覧し、取得（サーバからのダウンロード）する「画像ＤＢ内の画像を利用する」動作である。画像の利用においては、まず所望の画像を検索し、その後、アプリケーションのビューアを使用して画像を閲覧し、ユーザのＰＣ内に蓄積する動作となる。
【００６１】
以下、画像登録動作と、サムネイル画像を一覧表示して行う画像検索動作とに関して説明する。
【００６２】
まず、画像登録動作について図１及び図３に基づいて説明する。図３は、本実施の形態における画像処理システムの画像登録動作の概要を示すフローチャートである。なお、図１に示した破線は、画像登録時のデータフローを示している。
【００６３】
ステップＳ００１において、ユーザは、クライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０に画像データを登録する旨の指示を行って登録画像データ１１２を登録する。
【００６４】
ステップＳ００２において、登録画像データ１１２は、外部通信路１０４を介してサーバ装置１１０に入力され、外部ＩＦ部１１１を経由して画像ＤＢ記憶部１１４にファイル名等の付随するメタ情報等とともにＩＤが付されて登録される。同時に、サムネイル生成処理部１１３は、登録画像データ１１２を縮小処理して表示用のサムネイル画像データを生成し、ＩＤ情報を付して画像ＤＢ記憶部１１４に登録する。なお、登録画像データ１１２が複数ページを有する画像データである場合には、ページ単位でサムネイル画像データを生成する。
【００６５】
ステップＳ００３において、前述のステップＳ００２の処理と並行して、画像配置決定処理部１１６は、登録画像データ１１２に基づいて所定の処理によりマップ上の登録画像の位置を決定する。また、画像配置決定処理部１１６は、画像ＤＢ記憶部１１４において画像データとともに登録されている全画像分の画像配置データ１２１を取得して登録画像データ１１２の配置データを追記して画像ＤＢ記憶部１１４に再登録する。また、画像配置決定処理部１１６は、登録画像データ１１２の配置データを含む画像配置データ１２１を集合画像生成処理部１１５に出力する。
【００６６】
画像配置を決定する処理については、マップの形態によってシステム側で定められる処理であり、例えば順番に画像を配置する場合には前回登録された画像の次の位置に割り当てられるし、画像の特徴によって画像の配置を決定するようなマップの場合、画像から特徴量を抽出して特徴量に応じて配置を決定すればよい。また、文書画像の場合は、文章の形態素解析などによって求めた特徴量に応じて配置を決定すればよい。一つの例としては、画像から色味や形状、テクスチャ、レイアウト等の複数の特徴量を抽出して、自己組織化マップ等の既存手法を用いて２次元又は３次元空間の座標に変換する手法などが画像の見た目の良さを生かしたマップ探索が可能となり好適である。これらの技術は既存の技術を用いればよく、またマップ探索を用いる上ではこれらの技術の重要性は高いが本発明の主旨とは異なるため詳細な説明は省略することとする。
【００６７】
ステップＳ００４において、集合画像生成処理部１１５は、画像ＤＢ記憶部１１４からの登録画像データ１１２と、画像配置決定処理部１１６で決定された登録画像データ１１２の画像配置データとを入力して集合画像データ１２０を生成し、画像ＤＢ記憶部１１４に登録する。
【００６８】
なお、画像ＤＢ記憶部１１４として、ＩＤ情報やファイル名等のような付随するメタ情報については一般的なＲＤＢ（リレーショナルデータベース）を使用すれば画像データの登録、管理、検索等の処理は簡易に実現可能である。また、画像ＤＢ記憶部１１４に記憶させる画像データについては、必要に応じて圧縮符号化等の処理を実施して蓄積しておき、前述のメタ情報とリンクさせて読み込み可能なように構築しておけばよい。また画像ＤＢ記憶部１１４は上述の機能を満たせば、例えばＸＭＬ（eXtensible Markup Language）等の言語を使用し階層的なデータ構造等を構築して蓄積してもよく、また、サーバ装置１１０とは異なるサーバ装置に画像ＤＢとして蓄積してもよく、実施の形態は問わない。なお、画像登録については、スキャナやデジタルカメラ等の画像入力装置から直接画像データをサーバ装置１１０に登録するようにしてもよい。また、サーバ装置１１０にレンダリングの機能を備えて電子データを入力可能に構成してもよい。
【００６９】
次に、前述のステップＳ００４において集合画像生成処理部１１５が行う集合画像生成処理について図４に基づいて詳細に説明する。図４は、集合画像生成処理部１１５の動作を示すフローチャートである。なお、ここでは、画像ＤＢ記憶部１１４に複数の画像データ及びそれらの集合画像データが既に登録されているものとして説明する。
【００７０】
ステップＳ０１１において、集合画像生成処理部１１５は、画像ＤＢ記憶部１１４より登録されている既存の集合画像データ１２０を取得する。
【００７１】
ステップＳ０１２において、集合画像生成処理部１１５は、入力された登録画像データ１１２を所定サイズに縮小処理し、縮小された集合画像データ１２０を構成する登録画像データを、ステップＳ０１３において合成処理する。ここでの合成処理は、画像配置決定処理部１１６で決定された集合画像における配置位置に、縮小された登録画像が配置されるよう上書きされる。
【００７２】
ステップＳ０１４において、集合画像生成処理部１１５は、生成した（更新した）集合画像を画像ＤＢ記憶部１１４に再登録する。
次に、本実施の形態におけるサムネイル画像及び集合画像について説明する。
【００７３】
本実施の形態においては、登録画像毎にクライアント装置１００において表示に使用するサムネイル画像及び集合画像のデータを生成する。本発明に係るマップ探索型の表示システムにおいては、クライアントの表示サイズに応じた画像サイズのサムネイル画像を生成する必要がある。この手法としては、本発明者が特願２００６−３０４０１２号で提案しているように、ＪＰＥＧ２０００等に代表される階層符号化方式を用いて必要な画像サイズ分の画像データ（符号コード）を用いて実現してもよく、また、サイズが互いに異なるサムネイル画像を複数用意して表示サイズに対応するサムネイル画像を選択するように構成してもよい。
【００７４】
サムネイル画像を集約した集合画像においても、個々の画像の縮小画像であるサムネイル画像と同様に階層符号化方式で構成してもよく、また、サイズの異なる複数の画像で構成してもよい。なお、集合画像のデータは、一般的に見れば巨大な画像データとなるので、階層符号化方式で構成した方が全体的な蓄積容量が節約可能となるため好適である。また、集合画像は１つの画像で構成してもよく、また集合画像全体をいくつかに分割した複数の画像で構成してもよい。
【００７５】
サムネイル画像のサイズに関しては、例えば、表１に示すように既定のサムネイル画像のサイズ毎に長辺のサイズを規定し、原画像の長辺サイズがそれ以上であれば、登録画像データ１１２を縮小処理して長辺が該サイズのサムネイル画像を作成するようにすればよく、短辺は長辺との比を保持して縮小するようにすればよい。
【００７６】
【表１】
【００７７】
具体的には、入力された登録画像データ１１２の画像サイズが、縦４０００画素×横２０００画素の場合は、縦が表１に示したサイズ、横がその１／２のサイズのＳａｍ１〜Ｓａｍ７の７つの異なるサイズのサムネイル画像を表示可能とすればよい。
【００７８】
本実施の形態においては、表１に示したように、サムネイル画像のサイズが、Ｓａｍ２のサイズ以下のものを表示する場合は集合画像のみを使用し、Ｓａｍ３のサイズのものを表示する場合は集合画像と個々のサムネイル画像とを混合して使用し、Ｓａｍ４以上のものを表示する場合は個々のサムネイル画像のみを使用するように構成することとする。よって本実施の形態においては、サムネイル生成処理部１１３で生成する必要のある表示可能なサムネイル画像のサイズの画像は、Ｓａｍ３以上のサイズを持つサムネイル画像となる。
【００７９】
次に、図１及び図５に基づいて画像検索動作について説明する。図５は、本実施の形態における画像処理システムの画像検索動作の概要を示すフローチャートである。なお、ユーザが具体的な検索目的を持たずに画像を検索する場合でも同様の動作となる。
【００８０】
ステップＳ１０１において、ユーザは、クライアント装置１００において、アプリケーションプログラム１０２を使用し、サムネイル画像の一覧表示をサーバ装置１１０に指示する。
【００８１】
ステップＳ１０２において、サーバ装置１１０は、一覧表示の指示信号を受信すると、表示画面制御処理部１１７において、例えば図６（ａ）に示すようなサムネイル一覧表示画面の初期画面を生成する。図６（ａ）は、サムネイル一覧表示画面の一例を示した図である。同図における構成要素は以下のとおりである。
【００８２】
すなわち、図６（ａ）に示した本実施の形態におけるサムネイル一覧表示画面には、サムネイル一覧ビュー３０２の表示領域を規定するウィンドウ３０１と、サムネイル画像３０３の表示フレームであるサムネイル一覧ビュー３０２と、矩形一つが一つのサムネイル画像を表している複数のサムネイル画像３０３と、サムネイル一覧ビュー３０２の表示倍率を設定するスライダ３０４と、サムネイル一覧ビュー３０２を水平方向にスクロールするスライダ３０５と、サムネイル一覧ビュー３０２を垂直方向にスクロールするスライダ３０６とが表示されている。
【００８３】
ここで、集合画像を表示する場合にはサムネイル一覧ビュー３０２自体が集合画像となり、個々の画像を表示する場合にはサムネイル一覧ビュー３０２上に表示されるサムネイル画像３０３の一つ一つが個々の画像となる。個々のサムネイル画像３０３と集合画像の表示についての詳細は後述する。
【００８４】
なお、ここでは説明の簡易化のため、集合画像を一つの画像として取り扱うが、例えば図６（ｃ）に示すように分割して複数の画像として取り扱ってもよい。図６（ｃ）は、サムネイル一覧ビュー３０２を３０２ａ〜３０２ｄの四つに等分割した例を示しており、太点線は分割の境界を示している。尤も、サムネイル一覧ビュー３０２を等分割ではなく不等分に分割してもよい。
【００８５】
また、図６はマップ上のサムネイル画像３０３が整列して配置された例を示しているが、ランダムに配置されていてもよく、またサムネイル画像３０３同士が重なって配置されても問題はない。
【００８６】
本実施の形態におけるサムネイル一覧表示画面は、大きく二つの画面構造をなしている。一つはサムネイル一覧ビュー３０２であり、他の一つはそれ以外のユーザインターフェースを含む外枠フレーム部分の画像である。クライアント装置１００内のアプリケーション１０２は、これら二つのフレームを合成して表示デバイス１０１用の表示画面データを生成し、最終的に図６（ａ）に示すような画面データを作成することになる。
【００８７】
図６（ｂ）はサムネイル一覧ビュー３０２を表す模式図であり、ウィンドウ３０１の境界を表す表示領域３０７が示されている。表示画面制御処理部１１７は、表示画面データを生成する場合、前述のとおり二種類の画面データを生成することになるが、外枠フレーム部分の画像は、サムネイル一覧ビュー３０２の表示倍率や表示領域のスライダ３０５及び３０６の位置を変更するものを示す程度なので、外枠のフレーム部分の画像データ生成に係る説明は省略し、サムネイル一覧ビュー３０２の画面データ生成についてのみ説明を行うこととする。
【００８８】
表示画面制御処理部１１７は、初期画面データを生成する場合、所定の値にサムネイル一覧ビュー３０２の表示倍率（図６（ａ）では既定の最低倍率）と表示領域３０７とを設定して、サムネイル一覧ビュー３０２を生成し、外部ＩＦ部１１１より外部通信路１０４を経由して、外枠のフレーム部分のデータを含む表示画面データ１１８としてサムネイル一覧ビュー３０２のデータをクライアント装置１００に送信する。
【００８９】
サムネイル一覧ビュー３０２については、図６（ｂ）に示したような画面となるが、表示画面制御処理部１１７では、集合画像を使用する場合は集合画像をサムネイル一覧ビュー３０２として用いればよく、個々の画像を使用する場合は、画像配置データ１２１及び表示画像のＩＤ情報を保持しておけばよい。また、サムネイル一覧ビュー３０２のデータとしては、表示領域３０７内の画面データのみクライアント装置１００に送信するのが好ましい。なお、サムネイル一覧ビューの生成については後述する。また、図６（ｂ）に示した画面には余白部分が存在している。これは、表示領域３０７の端部のサムネイル画像を拡大表示する際に表示領域としてのスペースが必要なためである。
【００９０】
前述の表示画面の作成方法やサーバクライアント間の通信方法には種々の手法があるが、一般的によく使用される好適な手法としてサーバ装置１１０をＷｅｂサーバとしてＷＷＷベースの技術を使用することによって比較的安易に実現可能となる。この場合、表示画面データ１１８は、例えばＨＴＭＬ（Hyper Text Markup Language）によって記述されることになり、アプリケーション１０２は一般的なＷｅｂブラウザを使用すればよいことになる。なお、本実施の形態においては、表示倍率や表示領域を変更するためのスクロールのスライダを画面内に構成しているが、例えば、クライアント装置１００内のマウス等の入力デバイスにそれらの機能を設けるように構成してもよい。
【００９１】
図５に戻り、ステップＳ１０３において、クライアント装置１００では、アプリケーション１０２によって表示画面データ１１８を展開（レンダリング）して表示デバイス１０１上に表示画面データ１１８に基づいた表示画面（サムネイル一覧画面）を表示する。
【００９２】
ステップＳ１０４において、クライアント装置１００を使用しているユーザは、表示画面に表示された画像を閲覧しながら、検索対象画像を探すため、スライダ３０５及び３０６を操作して表示領域を変更し、表示画面倍率設定用のスライダ３０４を操作して表示倍率を変更して、画面スクロールや表示倍率変更の指示を行う。なお、スライダの操作は、図示しないマウス等の入力デバイス１０３により実行される。
【００９３】
ステップＳ１０５において、画面スクロールや表示倍率変更指示は、表示倍率及び表示領域を示す画面制御データ１１９に変換されてサーバ装置１１０に送信される。
【００９４】
ステップＳ１０６において、サーバ装置１１０では、画面制御データ１１９を受信すると、サムネイル一覧ビュー画面を変更する。サムネイル一覧ビュー画面変更時の動作の詳細は後述する。
【００９５】
ステップＳ１０７において、ステップＳ１０３と同様に、表示デバイス１０１上に変更後の表示画面データ１１８に基づいた表示画面（サムネイル一覧画面）を表示する。
【００９６】
ステップＳ１０８において、ユーザが検索対象画像を見つけられない場合はステップＳ１０４〜Ｓ１０７の動作が繰り返される。
【００９７】
次に、図１及び図７に基づき、図５に示したステップＳ１０６におけるサムネイル一覧ビュー画面変更処理について説明する。図７は、サムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作の概要を示すフローチャートである。
【００９８】
ステップＳ２０１において、クライアント装置１００から画面制御データ１１９が入力されると、表示画面制御処理部１１７では、表示倍率及びサムネイル一覧ビューの表示領域３０７を設定する。なお、初期設定画面の場合は、これらの情報はサーバ装置１１０において所定値が設定される。
【００９９】
ステップＳ２０２において、前述のステップＳ２０１で設定された表示倍率が、予め定められたしきい値Ｂ（第２の表示倍率）より大きいか判定し、表示倍率がしきい値Ｂより大きい場合は、個々のサムネイル画像を表示するサムネイル画像表示モードを選択し、表示倍率がしきい値Ｂ以下の場合は、後述のように、集合画像及び個々のサムネイル画像を同時に表示する混合表示モード、又は集合画像のみを表示する集合画像表示モードを選択する。
【０１００】
なお、本実施の形態においては、個々のサムネイル画像のみ表示可能な表示画像（サムネイル画像表示モードと同意）の最小サムネイル画像表示サイズは３２０×３２０画素、混合表示モードの最大サムネイル画像表示サイズは１６０×１６０画素としているので、しきい値Ｂは３２０と１６０の中間の値である２４０とするのが好適である。また、表示倍率が小さい程、より多くの画像を表示することになる。
【０１０１】
ステップＳ２０３において、サムネイル一覧ビュー３０２の表示画面に供する画像データとして、サムネイル一覧ビュー３０２の表示領域３０７内に含まれる画像データに対応する個々のサムネイル画像を選択、決定する。ここでまた、サムネイル画像が階層符号により作成されている場合、その階層レベルを同時に設定する。また、サイズの異なるサムネイル画像を複数保持している場合には、表示倍率に対応するサイズのサムネイル画像を選択することになる。
【０１０２】
ステップＳ２０４において、前述のステップＳ２０１で設定された表示倍率が、予め定められたしきい値Ａ（第１の表示倍率）以上か判定し、表示倍率がしきい値Ａ以上である場合は、集合画像及び個々のサムネイル画像を同時に表示する混合表示モードを選択し、表示倍率がしきい値Ａ未満の場合、集合画像のみを表示する集合画像表示モードを選択する。
【０１０３】
なお、本実施の形態においては、集合画像のみの表示可能な表示画像（集合画像表示モードと同意）の最大サムネイル画像のサイズは８０×８０画素、混合表示モードの最大サムネイル画像の表示サイズは１６０×１６０画素としているので、しきい値Ａとしては８０と１６０との中間の値である１２０とするのが好適である。
【０１０４】
ステップＳ２０５において、サムネイル一覧ビュー３０２の表示画面に供する画像データとして、サムネイル一覧ビュー３０２の表示領域３０７内に含まれる画像データに対応する個々のサムネイル画像を選択、決定するとともに、集合画像データ１２０を選択する。なお、例えば図６（ｃ）に示したように集合画像が分割されている場合は、表示領域３０７内となる分割された集合画像を選択、決定する。ここでまた、集合画像が階層符号により作成されている場合、その階層レベルを同時に設定する。また、サイズの異なる集合画像を複数保持している場合には、表示倍率に対応するサイズの集合画像を選択することになる。
【０１０５】
ステップＳ２０６において、サムネイル一覧ビュー３０２の表示画面に供する画像データとして、集合画像データ１２０を選択する。なお、集合画像が分割されている場合には表示領域３０７内に含まれる位置の集合画像を選択、決定する。ここでまた、集合画像が階層符号により作成されている場合、その階層レベルを同時に設定する。また、サイズの異なる集合画像を複数保持している場合には、表示倍率に対応するサイズの集合画像を選択することになる。
【０１０６】
ステップＳ２０７において、選択されたサムネイル画像又は集合画像について、サムネイル一覧ビュー３０２の表示領域３０７内の画面データを生成する。なお、サムネイル一覧ビュー３０２内の画面データは、ビットマップデータとする方法もあるが、ＨＴＭＬで一般的に行われるように、画像の座標情報とリンク情報とを構造化文書に記載する方法が一般的である。この場合、構造化文書データと表示領域内の画像データとをサーバ装置１１０からクライアント装置１００に転送する必要がある。
【０１０７】
次に、本実施の形態における拡大表示のプロセスについて図８に基づいて説明する。図８は、本実施の形態におけるクライアント装置１００の表示デバイス１０１によって実行される拡大表示のプロセスを示した模式図である。
【０１０８】
ユーザは、多くのサムネイル画像から検索対象画像の候補画像をスライダ３０５及び３０６を使用して画面中央に表示させ（図８（ａ））、徐々に拡大率を上げていく過程で、周囲画像等との比較や画像内容の確認を実施しながら検索対象画像かどうかを確認する（図８（ｂ）〜（ｃ））。ここで、表示された画像が検索対象画像でないと確認できた場合は、表示倍率を縮小して候補の画像をさらに探せばよい。一方、表示された画像が検索対象画像であった場合は、サムネイル一覧ビュー３０２の画面のまま画像内容を詳細に確認できる（図８（ｄ））。
【０１０９】
本実施の形態では、前述のように拡大表示する過程において、集合画像表示モード、混合表示モード、サムネイル画像表示モードが切り替わることになる。
【０１１０】
ここで、例えば集合画像モードからサムネイル画像表示モードに直接切り替えた場合の不具合について説明を行う。
【０１１１】
例えば、図８（ｂ）に示す表示を集合画像モードで表示した画面、図８（ｆ）に示す表示をサムネイル画像表示モードで表示した画面とすると、集合画像の表示から個々のサムネイル画像の表示にと切り替わる際に画面遷移が起こるために、図８（ｅ）に示すようにサムネイル画像の表示が一度消えて、その後個々のサムネイル画像が順次表示されることになる。
【０１１２】
ここで個々のサムネイル画像は、表示倍率に応じたサイズを持つため、ある程度の画像容量を持つことになる。これは、通常、表示画像との差分の符号のみを通信すればよい階層符号によるサムネイル画像を使用しても、クライアント装置１００には個々のサムネイル画像の符号データがない状態であるため、画像データを通信するための時間分、表示が消えることになり使用しているユーザには違和感の大きい表示画面の推移として感じられる。
【０１１３】
そこで、まず集合画像を用いて図８（ｆ）に示した画像を表示し、その後個々のサムネイル画像を集合画像内の対応するサムネイル画像に重ねるように配置することによって、ユーザには違和感を与えることなくマップ上での検索や探索が可能となる。
【０１１４】
本実施の形態における集合画像の必要容量は、画像間の余白を２０画素分とるとすると、１０，０００画像表示可能としたときの最大容量は、（１６０＋２０）画素×（１６０＋２０）画素×１０，０００画像数×３（バイト／画素）であるので約１ＧＢとなり、圧縮処理後に１００ＭＢ程度となると考えれば十分実用可能な容量となる。なお、この場合でも、集合画像全てをメモリ展開した場合にはメモリ容量を１ＧＢ必要とするが、そのような場合は、前述のように集合画像を分割して必要な部分のみメモリに展開すればよい。
【０１１５】
以上説明したように、本実施の形態における画像処理システムによれば、ビューア等の別ウィンドウを開くことなく軽快に、かつ連続して複数の画像の内容を確認しながら検索が可能となり操作性を向上させることが可能となるマップ探索型の画像一覧表示において、表示倍率が小さく、画面内に表示する画像数が多い場合は実際に表示する画像が少なく高速に表示が可能な集合画像を表示し、表示倍率が大きく画面内に表示する画像数が少ない場合は個々のサムネイル画像を表示し、両者が切り替わる倍率付近では集合画像を表示するとともに個々の画像をも表示する構成としたので、表示倍率によらず軽快な操作が可能となるとともに、集合画像が巨大な容量を持ちシステムに過負荷をかけることもなく、集合画像から個々のサムネイル画像に切り替わる際にも違和感なく表示画面を切り替えることが可能となる。
【０１１６】
なお、動作説明において述べた各処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、図１に示したクライアント装置１００及びサーバ装置１１０としてコンピュータを機能させることができる。
【０１１７】
また、前述の実施の形態において、表１にＳａｍ３として示したサムネイル画像のサイズにおいて集合画像及び個々のサムネイル画像の両方で表示可能とする構成としたが、Ｓａｍ３のサムネイル画像のサイズを個々のサムネイル画像でのみ表示可能として構成することも可能である。その場合、図８（ｂ）に示したサイズの集合画像を単純に拡大表示することによって図８（ｆ）の画面サイズで集合画像を表示して（画像はややぼけることになる）その集合画像に個々のサムネイル画像を重ね合わせることによって、画像サイズに対応した精細な表示を完了するように構成してもよい。
【０１１８】
また、前述の実施の形態において、表示倍率の拡大時に混合モードにおいて集合画像及び個々のサムネイル画像を表示する際に、集合画像を先に表示して個々のサムネイル画像を上書きするように重ねる例を示したが、表示倍率の縮小時は図８（ｆ）から図８（ｂ）のような表示画面となる。
【０１１９】
今例えば、図８（ｆ）が個々のサムネイル画像のみの表示とし、図８（ｂ）が混合モードでの表示とすると、ユーザが表示倍率を図８（ｆ）の表示画面から縮小方向に変化させた場合、拡大表示時とは逆になり、クライアント装置１００側で保持しているのは個々のサムネイル画像なので、先に個々のサムネイル画像を表示してそれに集合画像を上書きするように処理した方がよい。
【０１２０】
このような制御は、クライアント装置１００から、入力デバイス１０３からの拡大表示及び縮小表示の指示を、画面制御データ１１９を用いてサーバ装置１１０にその他のデータとともに通知して、表示画面データ１１８に記載される画像の表示順序を変更すれば簡単に実現することが可能である。
【０１２１】
（第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理システムについて説明する。第１の実施の形態では、表示倍率に応じてサムネイル一覧ビューに表示する画像を、集合画像及び個々のサムネイル画像で表示選択して変更する例を示したが、本実施の形態では、表示画面内の画像数に応じて集合画像及び個々のサムネイル画像の表示選択を切り替える例を示す。
【０１２２】
図９は、このような手法が特に有効な画像配置手法によるマップの形態を表した、サムネイル一覧表示画面（マップ画面）の一例を示す図である。同図は、画像がランダムに配置されており、画像の重なりを許容するマップを表している。第１の実施の形態において述べたように、画像データから画像の特徴量を抽出してその特徴量によって多数の画像をマップ上に配置すると図９に示すような表示となる場合が多い。なお、配置の工夫によって画像の重なりを許さないようなマップとすることも可能である。
【０１２３】
本実施の形態における構成及び動作は、第１の実施の形態とほぼ同様にて実現可能であり、相違点はサムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作であるので、以下それを説明する。
【０１２４】
図１０は、サムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作の概要を示すフローチャートである。なお、第１の実施の形態と同様の説明は省略し、第１の実施の形態におけるステップＳ２０２及びＳ２０４の動作の代わる以下のステップＳ２１２及びＳ２１４の動作を説明する。
【０１２５】
ステップＳ２１２において、ステップＳ２０１で設定された表示領域３０７内に含まれる画像数をカウントする。カウントした結果、表示領域内の画像数が予め定められたしきい値Ｂ（第１の画像数）未満か判定し、表示領域内の画像数がしきい値Ｂ未満である場合は、個々のサムネイル画像を表示するサムネイル表示モードを選択し、表示領域内の画像数がしきい値Ｂ以上の場合は、後述のように混合表示モード又は集合画像表示モードを選択する。
【０１２６】
ステップＳ２１４において、ステップＳ２１２でカウントされた画像数が予め定められたしきい値Ａ（第２の画像数）以下か判定し、カウントされた画像数がしきい値Ａ以下である場合は、集合画像と個々のサムネイル画像を同時に表示する混合表示モードを選択し、カウントされた画像数がしきい値Ａより大きい場合は、集合画像のみを表示する集合画像表示モードを選択する。
【０１２７】
以上のように、本実施の形態における画像処理システムは、表示領域内の画像数に応じて、サムネイル一覧ビュー３０２を個々のサムネイル画像を使用して表示するか、集合画像を表示するか、集合画像と個々のサムネイル画像の両方を表示するかを選択可能となる。
【０１２８】
図９に示したように、画像がランダムに配置されている場合、表示倍率に応じて画像数が定まらない。特に画像が重なっている場合はその度合いは高くなり、第１の実施形態において説明したように、表示倍率を変更して集合画像の表示から個々のサムネイル画像の表示に切り替えた場合、想定よりも多くの画像データをサーバ装置１１０からクライアント装置１００に転送する必要が生じる可能性があり表示が遅くなる場合がある。そのため、表示する画像数によっては、表示表域内の画像数で表示モードを切り替える本実施の形態の方が第１の実施の形態よりも好適となる。
【０１２９】
なお、本実施の形態においては、第１の実施の形態における表示倍率よりも大きい表示倍率まで集合画像を表示する可能性があるため、集合画像で表示可能な最大サムネイル画像のサイズを大きくする方が好ましく、個々のサムネイル画像の表示可能サイズも小さいサイズまで表示可能とすることが望ましい。このような場合、画像の重なりを許容することで表示可能なサムネイル画像のサイズを大きくしても集合画像のサイズを第１の実施の形態で説明した整列した画像配置と比較して小さくすることが可能となるためシステムへの負荷を大きくせずにすむ。
【０１３０】
例えば、サムネイル画像のサイズと画像の形態の関係とを表２に示すようなものとすると、集合画像の表示可能サムネイル画像のサイズを第１の実施の形態の倍の３２０×３２０画素としても、集合画像の縦、横のサイズを１／２とすれば第１の実施の形態とほぼ同様の集合画像の容量とすることが可能となる。
【０１３１】
【表２】
【０１３２】
また、小サイズのサムネイル画像を増やしても画像データの容量はそれほど変化がないため、第１の実施の形態と等価なサーバ負荷で実現可能である。なお、表示倍率によって集合画像と個別のサムネイル画像とを切り替える方法（第１の実施の形態）と、本実施の形態で説明した画像数によって切り替える方法とを両方使用してもよい。例えば、本実施の形態にて集合画像が有する解像度が予め定めた上限の表示倍率になった場合は、強制的に個々のサムネイル画像の表示モードに切り替える等をしてもよい。
【０１３３】
また、図９に示すように重なった画像にて、集合画像と個々のサムネイル画像とを同時に表示する場合、第１の実施の形態のように最初に集合画像を表示した後、個々のサムネイル画像を表示すると、一旦重なった状態を集合画像で表示した後で、個々のサムネイル画像を表示する際に重なりの下になっている画像が一度現れた後に、重なりの上の画像が再び現れて集合画像と同様の表示に戻ることになる。これを表示の味付けとして使用することも可能ではあるが、あるタイミングにのみ生じる現象となるのでユーザに違和感を与える可能性がある。そのような場合の好適な表示方法としては、（Ａ）重なりの一番上の画像のみの個々のサムネイル画像を選択して表示する、（Ｂ）個々のサムネイル画像を表示領域３０７の枠外に配置して擬似的に表示するという方法がある。
【０１３４】
具体的に図１１を用いて説明する。図１１（ａ）が混合モードで表示する場合の集合画像を表しているとすると、上記（Ａ）は、図１１（ｂ）の斜線で示した画像のみを個々のサムネイル画像で表示する形態であり、上記（Ｂ）は、図１１（ｃ）の斜線で示した個々のサムネイル画像を表示領域３０７の枠外に移動し、クライアント装置１００のメモリ上には展開するが、表示はされないようにするという形態である。
【０１３５】
以上のような方法を使用すれば、重なりの下にある画像が一旦上書き表示されることを回避することが可能となり、本実施の形態において示したような重なりのあるマップにおいても違和感のない表示を行うことが可能となる。なお、この手法は、第１の実施の形態、さらに後述する第３の実施の形態においても使用可能である。
【０１３６】
（第３の実施の形態）
次に、本発明の第３の実施の形態における画像処理システムについて説明する。本実施の形態においては、表示画面内に含まれる全画像の画像データの容量に応じて集合画像と個々のサムネイル画像とを表示選択して切り替える例を示す。なお、ここでの画像データの容量は、画像データが階層符号化されている場合には、表示画面に表示するサムネイル画像データの容量となる。
【０１３７】
本実施の形態における構成及び動作は、第１の実施の形態の場合とほぼ同様にて実現可能であり、相違点はサムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作であるので、以下それを説明する。
【０１３８】
図１２は、サムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作を示すフローチャートである。なお、第１の実施の形態と同様の説明は省略し、第１の実施の形態におけるステップＳ２０２及びＳ２０４の動作の代わる以下のステップＳ２２２及びＳ２２４の動作を説明する。
【０１３９】
ステップＳ２２２において、ステップＳ２０１で設定された表示領域３０７内に含まれるサムネイル画像データの容量の合計を算出する。算出方法は、階層符号化を使用した場合には、表示画像のサイズから簡易に算出してもよく、表示に必要な階層分の符号量を全画像分積算してもよい。また、サムネイル画像のサイズによって複数の画像を作成する場合には、対応するサムネイル画像データのサイズのサムネイル画像の容量を合計すればよい。
【０１４０】
表示領域内に表示される画像の画像容量がしきい値Ｂ以下か判定し、画像容量がしきい値Ｂ（第１の画像データの容量）未満である場合は、個々のサムネイル画像を表示するサムネイル画像表示モードを選択し、画像容量がしきい値Ｂ以上の場合は、後述のように混合表示モード又は集合画像表示モードを選択する。
【０１４１】
ステップＳ２２４において、ステップＳ２２２で算出された画像容量が予め定められたしきい値Ａ（第２の画像データの容量）以下か判定し、画像容量がしきい値Ａ以下である場合は、集合画像と個々のサムネイル画像を同時に表示する混合表示モードを選択し、画像容量がしきい値Ａより大きい場合は、集合画像のみを表示する集合画像表示モードを選択する。
【０１４２】
以上のように、本実施の形態における画像処理システムは、表示領域内の画像容量に応じて、サムネイル一覧ビュー３０２を個々のサムネイル画像を使用して表示するか、集合画像を表示するかを選択可能となる。ここでの画像容量は、外部通信路１０４によって通信される画像データの通信容量とほぼ等価となるため、表示速度との関連が大きい値となり精度の高い画像の切り替えが可能となる。
【産業上の利用可能性】
【０１４３】
以上のように、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムは、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができるという効果を有し、画像データベースに蓄積された画像データに対して、サムネイル一覧等の複数画像の一覧表示画面データを生成する機能を備えた画像処理装置、画像処理方法及び画像処理プログラム等として有用である。
【図面の簡単な説明】
【０１４４】
【図１】本発明の第１の実施の形態における画像処理システムの構成を示すブロック図
【図２】本発明の第１の実施の形態における画像処理システムにおけるサーバ装置の構成を示すブロック図
【図３】本発明の第１の実施の形態における画像処理システムにおける画像登録動作の概要を示すフローチャート
【図４】本発明の第１の実施の形態における画像処理システムにおける集合画像生成処理部の動作の概要を示すフローチャート
【図５】本発明の第１の実施の形態における画像処理システムにおける画像検索動作の概要を示すフローチャート
【図６】本発明の第１の実施の形態における画像処理システムにおけるサムネイル一覧表示画面の一例を示す図
【図７】本発明の第１の実施の形態における画像処理システムにおいて、サムネイル一覧ビューの表示領域画面生成時におけるサーバ装置の動作の概要を示すフローチャート
【図８】本発明の第１の実施の形態における画像処理システムにおける表示デバイスによって実行される拡大表示のプロセスを示す模式図
【図９】本発明の第１の実施の形態における画像処理システムにおけるサムネイル一覧表示画面の一例を示す図
【図１０】本発明の第２の実施の形態における画像処理システムにおいて、サムネイル一覧ビューの表示領域画面生成時におけるサーバ装置の動作の概要を示すフローチャート
【図１１】本発明の第２の実施の形態における画像処理システムにおけるサムネイル一覧表示画面の一例を示す図
【図１２】本発明の第３の実施の形態における画像処理システムにおいて、サムネイル一覧ビューの表示領域画面生成時におけるサーバ装置の動作の概要を示すフローチャート
【符号の説明】
【０１４５】
１００ クライアント装置
１０１ 表示デバイス
１０２ アプリケーション
１０３ 入力デバイス
１０４ 外部通信路
１１０ サーバ装置
１１１ 外部ＩＦ部
１１２ 登録画像データ
１１３ サムネイル生成処理部
１１４ 画像ＤＢ記憶部
１１５ 集合画像生成処理部
１１６ 画像配置決定処理部
１１７ 表示画面制御処理部（表示制御手段）
１１８ 表示画面データ
１１９ 画面制御データ
１２０ 集合画像データ
１２１ 画像配置データ
２０１ ＣＰＵ
２０２ メモリ
２０３ ＨＤＤ
２０４ ビデオメモリ
２０５ モニタ
２０６ 入力デバイス
２０７ 外部ＩＦ部
２０８ バス
３０１ ウィンドウ
３０２ サムネイル一覧ビュー
３０３ サムネイル画像
３０４、３０５、３０６ スライダ
３０７ 表示領域
【技術分野】
【０００１】
本発明は、画像データベースに蓄積された画像データに対して、サムネイル一覧等の複数画像の一覧表示画面データを生成する機能を備えた画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、スキャナ等の入力デバイスを使用して紙文書を電子化する例えば電子ファイリング等の装置は存在していたが、大量に紙文書を扱う業務用途として使用されるにとどまっていた。
【０００３】
近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰ（Multi Function Printer）の普及、またｅ−文書法（電子文書法）等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。
【０００４】
また、電子化された文書画像データや写真画像データ、パーソナルコンピュータ（以下「ＰＣ」という。）等のアプリケーションによって作成された文書データ等をデータベース（以下「ＤＢ」という。）化して一元管理する画像ＤＢの用途も併せて増えてきており、例えば紙文書の原本を保存しておく必要があっても管理のし易さ、検索のし易さという点で画像ＤＢを構築する場合もある。
【０００５】
画像ＤＢとしては、サーバ装置を設置してインターネットやＬＡＮを介して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途のものまで様々であり、例えば、近年のＭＦＰでは内臓のハードディスクドライブ（以下「ＨＤＤ」という。）に文書データを蓄積する機能を備えており、ＭＦＰをベースとした画像ＤＢが構築されている。
【０００６】
複数の画像データが蓄積されている画像ＤＢ内の画像を閲覧する場合、ユーザは画像の検索手法を用いて目的とする画像を検索する。検索対象画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索する場合もあるが、一般的にはサムネイル画像の一覧表示が使用される。例えば、文書画像を検索する場合、キーワード検索した後にキーワードにヒットした候補画像をサムネイル一覧表示して最終的に検索対象画像を選択し、あるいは最初からサムネイル一覧表示のみを使用して検索対象画像を探索する方法が採られている。
【０００７】
サムネイル一覧表示は、縮小画像を画面上に複数個配列することにより、画像内容の把握を容易にするものであるが、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度は一般的に低い。例えば、写真画像をサムネイル一覧表示した場合、低解像度の縮小画像でもその内容把握は比較的容易であるが、文字中心の文書画像の場合は、その縮小画像では文字の判読が困難になり文書画像の内容把握が難しい。したがって、文書画像の検索では、ユーザは個々の文書画像をビューアなどの機能を使って拡大表示して確認しなければならず、検索時の操作性が非常に悪い。特に、ネットワークを介したサーバ・クライアントシステムの場合では、ビューアで画像を表示する際に新たに解像度の高い画像データの転送が必要となり、この結果、多数（例えば数千）の画像の確認に多くの処理時間を要し、検索効率が著しく低下するという課題があった。
【０００８】
この課題の解決を目的として、例えば、特許文献１に示されたイメージデータ処理方法が提案されている。特許文献１に示されたものは、複数の画像を一覧表示することが可能な集合画像を予め作成しておき、集合画像の出力要求があったときに予め作成した集合画像を出力することにより、出力時におけるデータ処理を省略し、集合画像の出力要求があってから集合画像を出力するまでに要する時間を短縮しようとするものである。
【０００９】
また、前述したような画像ＤＢにおいては、蓄積画像数が増えるに従って、その画像ＤＢに蓄積されている画像の全容を把握するのが難しくなるという課題が存在する。通常のサムネイル一覧表示において蓄積画像数が数千画像程度になるとそれら全てをチェックすることはユーザにとって非常に過酷な作業になるため、特定の画像が絶対に必要な場合以外はそのような作業が実施されることは通常はなく、たとえ実施されたとしてもランダムに並んだサムネイル一覧から画像ＤＢの全容を推測することは非常に困難である。
【００１０】
これは画像ＤＢのブラックボックス化を示していると考えられ、以下のような弊害が挙げられる。例えばＷＷＷ（World Wide Web）等のように世界中の莫大な情報が集められているものを情報ＤＢの対象とする場合、ユーザが必要とする情報は、その情報ＤＢ内にほぼ確実に存在し得るためユーザは安心して検索等の行動を起こすが、通常のローカルな画像ＤＢにおいてはどのような情報がどれだけ蓄積されているかという情報は、ユーザの記憶にのみ依存するものであり、ユーザはその記憶を頼りにキーワードや日付等に基づいて蓄積画像を検索して所望の情報を得るしかなく、ユーザの記憶から忘れ去られた情報は活用される機会を失うこととなり、画像ＤＢの活用効率を落とす要因になると考えられる。
【００１１】
この問題の解決を図ることを目的として、例えば、特許文献２に示された文書情報コンテンツ閲覧システムが知られている。特許文献２に示されたものは、閲覧利用者がマップとして表現された情報空間を散策しながら、閲覧対象文書情報コンテンツを選択して閲覧することにより、漠然とした検索意図を持った閲覧利用者が、キーワードなどを用いて明示的に自分の興味・指向を表現できない場合でも、散策的に興味・指向に適合した文書情報コンテンツを検索できるようになっている。
【特許文献１】特開２００２−９２５８４号公報
【特許文献２】特開２００３−７６７１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来のものには以下に示すような課題があった。
【００１３】
まず、特許文献１には、集合画像を構成する画像の画像数が増加するに従って集合画像のファイル容量が巨大化することに関する対処法についての記載がないので、特許文献１に記載のものは、集合画像を構成する画像の画像数が増加した場合に各画像を詳細に表示することができないものであるか、各画像を詳細に表示しようとすればシステムに多大な負荷を与えるものであって軽快に動作するものではない。
【００１４】
また、特許文献２に開示されているように、漠然とした検索意図を持った閲覧利用者に対しては、画像を２次元又は３次元のマップ上に配置して閲覧利用者が全体俯瞰やズーム、スクロール等の機能を使用して地図上を散策するようなイメージで情報空間を散策するマップ探索型の画像閲覧方法が好適な解決策であると考えられる。しかしながら、画像ＤＢの全容を把握するためには画像ＤＢ内に蓄積された画像を一覧可能とするのが好ましく、そのためには多数の画像を一度に表示する必要があるが、特許文献２には、多数の画像を表示することに関する記載やその表示における課題を解決する手段について記載されていない。
【００１５】
他方、本発明の発明者は、マップ探索型の画像閲覧方法において、画像の表示倍率（拡大率）に応じてサムネイル画像のサイズ又は解像度を変更することにより、サムネイル画像の精細度を変更し、画像の拡大率を上げても画質が低下することなく画像内容の確認が可能となる画像閲覧方法を提案している（特願２００６−３０４０１２号）。この方法を以下「フリーズーム可能なマップ探索型の画像閲覧方法」という。また、この提案においては、複数の画像が配置された集合画像を階層符号化して用いることによって、多数の画像を表示する際にも軽快に動作するマップ探索型の画像処理装置についても述べている。しかしながら、このようなフリーズーム可能なマップ探索型の画像閲覧方法において集合画像を扱う際には以下のような問題があった。
【００１６】
マップ上で画像の拡大表示（ズームアップ）操作を行って精細な画像まで表示を行うことが可能なシステムの場合、例えばユーザが文書画像の文字を認識することができる程度まで拡大可能な場合は、集合画像に配置された個々の画像がある程度の大きさ（サイズ）を持っている必要があるため、相対的に集合画像も非常に巨大な画像となってしまう。例えば、各画像を２００ｄｐｉのサイズで集合画像として配置すると仮定すると、Ａ４サイズの画像では、２３００画素×１６００画素程度の大きさになる。したがって、これらの画像を例えば１０，０００枚程度配置可能な集合画像を作成すると仮定すると、最低でも２３０，０００×１６０，０００画素サイズが必要となり、集合画像全体の容量としては、カラー画像とすると１００ＧＢ（ギガバイト）程度になる。この集合画像に対して圧縮を行ったとしても１０ＧＢ程度の蓄積容量が必要となり、また集合画像をいくつかの部分に分割して処理したとしても相当量のメモリが必要（１００分割でも１ＧＢ必要）となるため、システムに対する負荷が非常に大きくなってしまい現実的ではない。
【００１７】
そこで、各画像を例えば２０ｄｐｉ程度のサイズで集合画像として配置すると想定すれば上記の画素サイズは各々１／１００程度になるためシステムに対する負荷の問題は軽減されるが、画像の拡大表示操作を行った際に精細な画像が得られないという問題が生ずる。
【００１８】
本発明は、このような事情に鑑みてなされたものであり、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置において、前記一覧表示画面は、表示倍率を変更可能に前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを有し、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能なサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段を備えた構成を有している。
【００２０】
この構成により、本発明の画像処理装置は、表示制御手段が、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方を所定の条件に応じてサムネイル一覧ビューに表示する制御を行うので、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００２１】
なお、前記所定の条件は、前記サムネイル画像の表示倍率であることが好ましい。
【００２２】
また、前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像数であることが好ましい。
【００２３】
さらに、前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像データの容量であることが好ましい。
【００２４】
さらに、本発明の画像処理装置は、前記表示制御手段が、第１の表示倍率及び前記第１の表示倍率より大きい第２の表示倍率に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、前記表示倍率が、前記第１の表示倍率から前記第２の表示倍率までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の表示倍率未満のときは前記集合画像のみを選択し、前記第２の表示倍率より大きいときは前記サムネイル画像のみを選択する構成を有している。
【００２５】
この構成により、本発明の画像処理装置は、表示制御手段が、サムネイル画像の表示倍率に応じて、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方をサムネイル一覧ビューに表示する制御を行うので、集合画像と個々のサムネイル画像との間の切り替え時においてユーザに違和感を与えることなく表示画面を切り替えることができるとともに、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００２６】
さらに、本発明の画像処理装置は、前記表示制御手段が、第１の画像数及び前記第１の画像数より大きい第２の画像数に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像数が、前記第１の画像数から前記第２の画像数までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の画像数未満のときは前記サムネイル画像のみを選択し、前記第２の画像数より大きいときは前記集合画像のみを選択する構成を有している。
【００２７】
この構成により、本発明の画像処理装置は、表示制御手段が、表示するサムネイル画像の画像数に応じて、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方をサムネイル一覧ビューに表示する制御を行うので、画像がランダムに配置されたものや、重なりのあるマップ形態の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００２８】
さらに、本発明の画像処理装置は、前記表示制御手段が、第１の画像データ容量及び前記第１の画像データ容量より大きい第２の画像データ容量に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像容量が、前記第１の画像データの容量から前記第２の画像データの容量までの範囲内のときは前記集合画像と予め定められた画像数のサムネイル画像とを選択し、前記第１の画像データ容量未満のときは前記サムネイル画像のみを選択し、前記第２の画像データの容量より大きいときは前記集合画像のみを選択する構成を有している。
【００２９】
この構成により、本発明の画像処理装置は、表示制御手段が、表示するサムネイル画像の画像容量に応じて、複数のサムネイル画像を集合させた集合画像とサムネイル画像との少なくとも一方をサムネイル一覧ビューに表示する制御を行うので、いかなるマップ形態の画像に対してもより正確に画像を切り替えて表示することができる。
【００３０】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、前記集合画像を構成するサムネイル画像が表示される位置に個々のサムネイル画像を対応させて重ねて表示するよう制御する構成を有している。
【００３１】
この構成により、本発明の画像処理装置は、画像の拡大表示操作を行う場合、集合画像によるものよりも詳細な画像を表示することができる。
【００３２】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像が表示される位置に集合画像を構成するサムネイル画像を対応させて重ねて表示するよう制御する構成を有している。
【００３３】
この構成により、本発明の画像処理装置は、集合画像を表示して一覧性を高めることにより、画像の検索を容易化することができる。
【００３４】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル画像を重ねて表示するとき、重なりの最も上位にある画像のみ重ねて表示するよう制御する構成を有している。
【００３５】
この構成により、本発明の画像処理装置は、重なりの下にある画像が一旦上書き表示されることを回避することができるので、重なりのあるマップにおいてもユーザに違和感を与えない表示を行うことができる。
【００３６】
さらに、本発明の画像処理装置は、前記表示制御手段が、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像を前記一覧ビューウィンドウの外の領域に擬似的に表示するよう制御する構成を有している。
【００３７】
この構成により、本発明の画像処理装置は、重なりの下にある画像が一旦上書き表示されることを回避することができるので、重なりのあるマップにおいてもユーザに違和感を与えない表示を行うことができる。
【００３８】
本発明の画像処理方法は、複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理方法において、前記一覧表示画面に、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う構成を有している。
【００３９】
この構成により、本発明の画像処理方法は、複数のサムネイル画像を集合させた集合画像と、複数のサムネイル画像との少なくとも一方を所定の条件に応じてサムネイル一覧ビューに表示する制御を行うので、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【００４０】
本発明の画像処理プログラムは、複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、前記コンピュータに、前記一覧表示画面として、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、前記コンピュータを、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段として機能させる構成を有している。
【００４１】
この構成により、本発明の画像処理プログラムは、表示制御手段が、複数のサムネイル画像を集合させた集合画像と、複数のサムネイル画像との少なくとも一方を所定の条件に応じてサムネイル一覧ビューに表示する制御を行うので、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができる。
【発明の効果】
【００４２】
本発明は、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができるという効果を有する画像処理装置、画像処理方法及び画像処理プログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００４３】
以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の画像処理装置を、サーバ装置及びクライアント装置で構成された画像処理システムに適用した例を挙げて説明する。
【００４４】
（第１の実施の形態）
まず、本発明の第１の実施の形態について図１に基づいて説明する。図１は、本実施の形態における画像処理システムの構成を模式的に示したブロック図である。
【００４５】
図１に示すように、本実施の形態における画像処理システムは、クライアント装置１００と、サーバ装置１１０とを備えている。
【００４６】
クライアント装置１００は、表示デバイス１０１と、アプリケーションプログラム（以下「アプリケーション」という。）１０２と、入力デバイス１０３とを備えている。このクライアント装置１００は、例えばＰＣや、ＰＤＡ（Personal Digital Assistants）、携帯電話等のモバイル端末等で構成されるものである。
【００４７】
表示デバイス１０１は、例えば液晶ディスプレイで構成され、画像を表示するようになっている。アプリケーション１０２は、表示デバイス１０１の表示制御やサーバ装置１１０との通信制御、入力デバイス１０３に入力された指示コマンドの解釈等を行うようになっている。入力デバイス１０３は、例えばキーボードやマウス、スキャナ等で構成され、ユーザの指示コマンドを入力するようになっている。
【００４８】
サーバ装置１１０は、外部インターフェース（以下「ＩＦ」という。）部１１１と、サムネイル生成処理部１１３と、画像ＤＢ記憶部１１４と、集合画像生成処理部１１５と、画像配置決定処理部１１６と、表示画面制御処理部１１７とを備え、クライアント装置１００からのコマンドに応じて画像分類を行い、分類結果の情報をクライアント装置１００に出力するようになっている。
【００４９】
外部ＩＦ部１１１は、例えばＬＡＮやインターネット等で構成される外部通信路１０４を介して、クライアント装置１００と通信するようになっている。
【００５０】
サムネイル生成処理部１１３は、画像ＤＢ記憶部１１４に画像ＤＢとして登録する登録画像データ１１２を所定サイズ以下に変倍して表示用のサムネイル画像データを生成するようになっている。
【００５１】
画像ＤＢ記憶部１１４は、登録画像データ１１２及びこのサムネイル画像データを画像ＤＢとして記憶するようになっている。また、画像ＤＢ記憶部１１４は、後述する集合画像データ１２０及び画像配置データ１２１を記憶するようになっている。
【００５２】
集合画像生成処理部１１５は、複数のサムネイル画像が配置された集合画像データ１２０を生成するようになっている。この集合画像データ１２０は、登録画像データ１１２を所定のサイズに縮小した画像を、例えばマトリクス状に配置し合成して集約したデータである。
【００５３】
画像配置決定処理部１１６は、登録画像データ１１２を入力してマップ画面上の画像配置を決定し、決定した画像配置を座標データで示す画像配置データ１２１を出力するようになっている。この画像配置データ１２１は、画像ＤＢに登録された全画像のマップ上の位置を示すデータである。
【００５４】
表示画面制御処理部１１７は、クライアント装置１００の表示デバイス１０１に表示するための表示画面に係る表示画面データ１１８を生成するようになっている。この表示画面データ１１８は、クライアント装置１００の表示デバイス１０１上に表示するためのデータである。
【００５５】
また、表示画面制御処理部１１７は、表示画面データ１１８を制御するための画面制御データ１１９を外部ＩＦ部１１１から入力し、画面制御データ１１９の内容に応じた表示制御を実行するようになっている。この画面制御データ１１９は、クライアント装置１００から入力するデータである。なお、表示画面制御処理部１１７は、本発明に係る表示制御手段を構成する。
【００５６】
図２は、サーバ装置１１０のハードウェア構成例を示すブロック図である。以下同図における構成要素を説明する。
【００５７】
サーバ装置１１０は、プログラムに応じた演算や処理を行うＣＰＵ２０１と、プログラムのコードや画像の符号データ等のデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ２０２と、画像データやプログラム等を保存、蓄積するためのＨＤＤ２０３と、画像データを一時的に記憶するビデオメモリ２０４と、ビデオメモリに書き込まれた画像データに基づいて画像を表示するモニタ２０５と、マウスやキーボード等の入力デバイス２０６と、インターネットやＬＡＮ等の外部通信路１０４を介してデータを送受信する外部ＩＦ部２０７と、各々の構成要素を相互に接続するバス２０８とを備えている。
【００５８】
本実施の形態においては、サーバ装置１１０としてサーバコンピュータの形態を想定した説明を行い、表示画面生成等の処理はソフトウェアで実現する例を示す。すなわち、サーバ装置１１０内の処理は図１に示す構成において動作する図示しないアプリケーションプログラムによって実現されるものとする。
【００５９】
ただし、サーバ装置１１０は、図２に示した構成によるものに限定されず、例えばＭＦＰ等の装置内にハードウェアで処理を行う構成としてもよい。また、図１に示したようなクライアント装置１００及びサーバ装置１１０の構成とせずに、例えば１つのＰＣやＭＦＰ等の機器内で図１に示した構成を全て保持して動作するようにしてもよい。なお、クライアント装置１００としては前述のとおりＰＣやモバイル端末を想定しているため、クライアント装置１００の構成も図２に示した構成と同様として扱うこととする。
【００６０】
次に、本実施の形態における動作について説明する。本実施の形態における画像処理システムの動作は、大別すると二つの動作を行う。一つは画像の登録動作であり、他の一つは所望の画像を検索し、閲覧し、取得（サーバからのダウンロード）する「画像ＤＢ内の画像を利用する」動作である。画像の利用においては、まず所望の画像を検索し、その後、アプリケーションのビューアを使用して画像を閲覧し、ユーザのＰＣ内に蓄積する動作となる。
【００６１】
以下、画像登録動作と、サムネイル画像を一覧表示して行う画像検索動作とに関して説明する。
【００６２】
まず、画像登録動作について図１及び図３に基づいて説明する。図３は、本実施の形態における画像処理システムの画像登録動作の概要を示すフローチャートである。なお、図１に示した破線は、画像登録時のデータフローを示している。
【００６３】
ステップＳ００１において、ユーザは、クライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０に画像データを登録する旨の指示を行って登録画像データ１１２を登録する。
【００６４】
ステップＳ００２において、登録画像データ１１２は、外部通信路１０４を介してサーバ装置１１０に入力され、外部ＩＦ部１１１を経由して画像ＤＢ記憶部１１４にファイル名等の付随するメタ情報等とともにＩＤが付されて登録される。同時に、サムネイル生成処理部１１３は、登録画像データ１１２を縮小処理して表示用のサムネイル画像データを生成し、ＩＤ情報を付して画像ＤＢ記憶部１１４に登録する。なお、登録画像データ１１２が複数ページを有する画像データである場合には、ページ単位でサムネイル画像データを生成する。
【００６５】
ステップＳ００３において、前述のステップＳ００２の処理と並行して、画像配置決定処理部１１６は、登録画像データ１１２に基づいて所定の処理によりマップ上の登録画像の位置を決定する。また、画像配置決定処理部１１６は、画像ＤＢ記憶部１１４において画像データとともに登録されている全画像分の画像配置データ１２１を取得して登録画像データ１１２の配置データを追記して画像ＤＢ記憶部１１４に再登録する。また、画像配置決定処理部１１６は、登録画像データ１１２の配置データを含む画像配置データ１２１を集合画像生成処理部１１５に出力する。
【００６６】
画像配置を決定する処理については、マップの形態によってシステム側で定められる処理であり、例えば順番に画像を配置する場合には前回登録された画像の次の位置に割り当てられるし、画像の特徴によって画像の配置を決定するようなマップの場合、画像から特徴量を抽出して特徴量に応じて配置を決定すればよい。また、文書画像の場合は、文章の形態素解析などによって求めた特徴量に応じて配置を決定すればよい。一つの例としては、画像から色味や形状、テクスチャ、レイアウト等の複数の特徴量を抽出して、自己組織化マップ等の既存手法を用いて２次元又は３次元空間の座標に変換する手法などが画像の見た目の良さを生かしたマップ探索が可能となり好適である。これらの技術は既存の技術を用いればよく、またマップ探索を用いる上ではこれらの技術の重要性は高いが本発明の主旨とは異なるため詳細な説明は省略することとする。
【００６７】
ステップＳ００４において、集合画像生成処理部１１５は、画像ＤＢ記憶部１１４からの登録画像データ１１２と、画像配置決定処理部１１６で決定された登録画像データ１１２の画像配置データとを入力して集合画像データ１２０を生成し、画像ＤＢ記憶部１１４に登録する。
【００６８】
なお、画像ＤＢ記憶部１１４として、ＩＤ情報やファイル名等のような付随するメタ情報については一般的なＲＤＢ（リレーショナルデータベース）を使用すれば画像データの登録、管理、検索等の処理は簡易に実現可能である。また、画像ＤＢ記憶部１１４に記憶させる画像データについては、必要に応じて圧縮符号化等の処理を実施して蓄積しておき、前述のメタ情報とリンクさせて読み込み可能なように構築しておけばよい。また画像ＤＢ記憶部１１４は上述の機能を満たせば、例えばＸＭＬ（eXtensible Markup Language）等の言語を使用し階層的なデータ構造等を構築して蓄積してもよく、また、サーバ装置１１０とは異なるサーバ装置に画像ＤＢとして蓄積してもよく、実施の形態は問わない。なお、画像登録については、スキャナやデジタルカメラ等の画像入力装置から直接画像データをサーバ装置１１０に登録するようにしてもよい。また、サーバ装置１１０にレンダリングの機能を備えて電子データを入力可能に構成してもよい。
【００６９】
次に、前述のステップＳ００４において集合画像生成処理部１１５が行う集合画像生成処理について図４に基づいて詳細に説明する。図４は、集合画像生成処理部１１５の動作を示すフローチャートである。なお、ここでは、画像ＤＢ記憶部１１４に複数の画像データ及びそれらの集合画像データが既に登録されているものとして説明する。
【００７０】
ステップＳ０１１において、集合画像生成処理部１１５は、画像ＤＢ記憶部１１４より登録されている既存の集合画像データ１２０を取得する。
【００７１】
ステップＳ０１２において、集合画像生成処理部１１５は、入力された登録画像データ１１２を所定サイズに縮小処理し、縮小された集合画像データ１２０を構成する登録画像データを、ステップＳ０１３において合成処理する。ここでの合成処理は、画像配置決定処理部１１６で決定された集合画像における配置位置に、縮小された登録画像が配置されるよう上書きされる。
【００７２】
ステップＳ０１４において、集合画像生成処理部１１５は、生成した（更新した）集合画像を画像ＤＢ記憶部１１４に再登録する。
次に、本実施の形態におけるサムネイル画像及び集合画像について説明する。
【００７３】
本実施の形態においては、登録画像毎にクライアント装置１００において表示に使用するサムネイル画像及び集合画像のデータを生成する。本発明に係るマップ探索型の表示システムにおいては、クライアントの表示サイズに応じた画像サイズのサムネイル画像を生成する必要がある。この手法としては、本発明者が特願２００６−３０４０１２号で提案しているように、ＪＰＥＧ２０００等に代表される階層符号化方式を用いて必要な画像サイズ分の画像データ（符号コード）を用いて実現してもよく、また、サイズが互いに異なるサムネイル画像を複数用意して表示サイズに対応するサムネイル画像を選択するように構成してもよい。
【００７４】
サムネイル画像を集約した集合画像においても、個々の画像の縮小画像であるサムネイル画像と同様に階層符号化方式で構成してもよく、また、サイズの異なる複数の画像で構成してもよい。なお、集合画像のデータは、一般的に見れば巨大な画像データとなるので、階層符号化方式で構成した方が全体的な蓄積容量が節約可能となるため好適である。また、集合画像は１つの画像で構成してもよく、また集合画像全体をいくつかに分割した複数の画像で構成してもよい。
【００７５】
サムネイル画像のサイズに関しては、例えば、表１に示すように既定のサムネイル画像のサイズ毎に長辺のサイズを規定し、原画像の長辺サイズがそれ以上であれば、登録画像データ１１２を縮小処理して長辺が該サイズのサムネイル画像を作成するようにすればよく、短辺は長辺との比を保持して縮小するようにすればよい。
【００７６】
【表１】
【００７７】
具体的には、入力された登録画像データ１１２の画像サイズが、縦４０００画素×横２０００画素の場合は、縦が表１に示したサイズ、横がその１／２のサイズのＳａｍ１〜Ｓａｍ７の７つの異なるサイズのサムネイル画像を表示可能とすればよい。
【００７８】
本実施の形態においては、表１に示したように、サムネイル画像のサイズが、Ｓａｍ２のサイズ以下のものを表示する場合は集合画像のみを使用し、Ｓａｍ３のサイズのものを表示する場合は集合画像と個々のサムネイル画像とを混合して使用し、Ｓａｍ４以上のものを表示する場合は個々のサムネイル画像のみを使用するように構成することとする。よって本実施の形態においては、サムネイル生成処理部１１３で生成する必要のある表示可能なサムネイル画像のサイズの画像は、Ｓａｍ３以上のサイズを持つサムネイル画像となる。
【００７９】
次に、図１及び図５に基づいて画像検索動作について説明する。図５は、本実施の形態における画像処理システムの画像検索動作の概要を示すフローチャートである。なお、ユーザが具体的な検索目的を持たずに画像を検索する場合でも同様の動作となる。
【００８０】
ステップＳ１０１において、ユーザは、クライアント装置１００において、アプリケーションプログラム１０２を使用し、サムネイル画像の一覧表示をサーバ装置１１０に指示する。
【００８１】
ステップＳ１０２において、サーバ装置１１０は、一覧表示の指示信号を受信すると、表示画面制御処理部１１７において、例えば図６（ａ）に示すようなサムネイル一覧表示画面の初期画面を生成する。図６（ａ）は、サムネイル一覧表示画面の一例を示した図である。同図における構成要素は以下のとおりである。
【００８２】
すなわち、図６（ａ）に示した本実施の形態におけるサムネイル一覧表示画面には、サムネイル一覧ビュー３０２の表示領域を規定するウィンドウ３０１と、サムネイル画像３０３の表示フレームであるサムネイル一覧ビュー３０２と、矩形一つが一つのサムネイル画像を表している複数のサムネイル画像３０３と、サムネイル一覧ビュー３０２の表示倍率を設定するスライダ３０４と、サムネイル一覧ビュー３０２を水平方向にスクロールするスライダ３０５と、サムネイル一覧ビュー３０２を垂直方向にスクロールするスライダ３０６とが表示されている。
【００８３】
ここで、集合画像を表示する場合にはサムネイル一覧ビュー３０２自体が集合画像となり、個々の画像を表示する場合にはサムネイル一覧ビュー３０２上に表示されるサムネイル画像３０３の一つ一つが個々の画像となる。個々のサムネイル画像３０３と集合画像の表示についての詳細は後述する。
【００８４】
なお、ここでは説明の簡易化のため、集合画像を一つの画像として取り扱うが、例えば図６（ｃ）に示すように分割して複数の画像として取り扱ってもよい。図６（ｃ）は、サムネイル一覧ビュー３０２を３０２ａ〜３０２ｄの四つに等分割した例を示しており、太点線は分割の境界を示している。尤も、サムネイル一覧ビュー３０２を等分割ではなく不等分に分割してもよい。
【００８５】
また、図６はマップ上のサムネイル画像３０３が整列して配置された例を示しているが、ランダムに配置されていてもよく、またサムネイル画像３０３同士が重なって配置されても問題はない。
【００８６】
本実施の形態におけるサムネイル一覧表示画面は、大きく二つの画面構造をなしている。一つはサムネイル一覧ビュー３０２であり、他の一つはそれ以外のユーザインターフェースを含む外枠フレーム部分の画像である。クライアント装置１００内のアプリケーション１０２は、これら二つのフレームを合成して表示デバイス１０１用の表示画面データを生成し、最終的に図６（ａ）に示すような画面データを作成することになる。
【００８７】
図６（ｂ）はサムネイル一覧ビュー３０２を表す模式図であり、ウィンドウ３０１の境界を表す表示領域３０７が示されている。表示画面制御処理部１１７は、表示画面データを生成する場合、前述のとおり二種類の画面データを生成することになるが、外枠フレーム部分の画像は、サムネイル一覧ビュー３０２の表示倍率や表示領域のスライダ３０５及び３０６の位置を変更するものを示す程度なので、外枠のフレーム部分の画像データ生成に係る説明は省略し、サムネイル一覧ビュー３０２の画面データ生成についてのみ説明を行うこととする。
【００８８】
表示画面制御処理部１１７は、初期画面データを生成する場合、所定の値にサムネイル一覧ビュー３０２の表示倍率（図６（ａ）では既定の最低倍率）と表示領域３０７とを設定して、サムネイル一覧ビュー３０２を生成し、外部ＩＦ部１１１より外部通信路１０４を経由して、外枠のフレーム部分のデータを含む表示画面データ１１８としてサムネイル一覧ビュー３０２のデータをクライアント装置１００に送信する。
【００８９】
サムネイル一覧ビュー３０２については、図６（ｂ）に示したような画面となるが、表示画面制御処理部１１７では、集合画像を使用する場合は集合画像をサムネイル一覧ビュー３０２として用いればよく、個々の画像を使用する場合は、画像配置データ１２１及び表示画像のＩＤ情報を保持しておけばよい。また、サムネイル一覧ビュー３０２のデータとしては、表示領域３０７内の画面データのみクライアント装置１００に送信するのが好ましい。なお、サムネイル一覧ビューの生成については後述する。また、図６（ｂ）に示した画面には余白部分が存在している。これは、表示領域３０７の端部のサムネイル画像を拡大表示する際に表示領域としてのスペースが必要なためである。
【００９０】
前述の表示画面の作成方法やサーバクライアント間の通信方法には種々の手法があるが、一般的によく使用される好適な手法としてサーバ装置１１０をＷｅｂサーバとしてＷＷＷベースの技術を使用することによって比較的安易に実現可能となる。この場合、表示画面データ１１８は、例えばＨＴＭＬ（Hyper Text Markup Language）によって記述されることになり、アプリケーション１０２は一般的なＷｅｂブラウザを使用すればよいことになる。なお、本実施の形態においては、表示倍率や表示領域を変更するためのスクロールのスライダを画面内に構成しているが、例えば、クライアント装置１００内のマウス等の入力デバイスにそれらの機能を設けるように構成してもよい。
【００９１】
図５に戻り、ステップＳ１０３において、クライアント装置１００では、アプリケーション１０２によって表示画面データ１１８を展開（レンダリング）して表示デバイス１０１上に表示画面データ１１８に基づいた表示画面（サムネイル一覧画面）を表示する。
【００９２】
ステップＳ１０４において、クライアント装置１００を使用しているユーザは、表示画面に表示された画像を閲覧しながら、検索対象画像を探すため、スライダ３０５及び３０６を操作して表示領域を変更し、表示画面倍率設定用のスライダ３０４を操作して表示倍率を変更して、画面スクロールや表示倍率変更の指示を行う。なお、スライダの操作は、図示しないマウス等の入力デバイス１０３により実行される。
【００９３】
ステップＳ１０５において、画面スクロールや表示倍率変更指示は、表示倍率及び表示領域を示す画面制御データ１１９に変換されてサーバ装置１１０に送信される。
【００９４】
ステップＳ１０６において、サーバ装置１１０では、画面制御データ１１９を受信すると、サムネイル一覧ビュー画面を変更する。サムネイル一覧ビュー画面変更時の動作の詳細は後述する。
【００９５】
ステップＳ１０７において、ステップＳ１０３と同様に、表示デバイス１０１上に変更後の表示画面データ１１８に基づいた表示画面（サムネイル一覧画面）を表示する。
【００９６】
ステップＳ１０８において、ユーザが検索対象画像を見つけられない場合はステップＳ１０４〜Ｓ１０７の動作が繰り返される。
【００９７】
次に、図１及び図７に基づき、図５に示したステップＳ１０６におけるサムネイル一覧ビュー画面変更処理について説明する。図７は、サムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作の概要を示すフローチャートである。
【００９８】
ステップＳ２０１において、クライアント装置１００から画面制御データ１１９が入力されると、表示画面制御処理部１１７では、表示倍率及びサムネイル一覧ビューの表示領域３０７を設定する。なお、初期設定画面の場合は、これらの情報はサーバ装置１１０において所定値が設定される。
【００９９】
ステップＳ２０２において、前述のステップＳ２０１で設定された表示倍率が、予め定められたしきい値Ｂ（第２の表示倍率）より大きいか判定し、表示倍率がしきい値Ｂより大きい場合は、個々のサムネイル画像を表示するサムネイル画像表示モードを選択し、表示倍率がしきい値Ｂ以下の場合は、後述のように、集合画像及び個々のサムネイル画像を同時に表示する混合表示モード、又は集合画像のみを表示する集合画像表示モードを選択する。
【０１００】
なお、本実施の形態においては、個々のサムネイル画像のみ表示可能な表示画像（サムネイル画像表示モードと同意）の最小サムネイル画像表示サイズは３２０×３２０画素、混合表示モードの最大サムネイル画像表示サイズは１６０×１６０画素としているので、しきい値Ｂは３２０と１６０の中間の値である２４０とするのが好適である。また、表示倍率が小さい程、より多くの画像を表示することになる。
【０１０１】
ステップＳ２０３において、サムネイル一覧ビュー３０２の表示画面に供する画像データとして、サムネイル一覧ビュー３０２の表示領域３０７内に含まれる画像データに対応する個々のサムネイル画像を選択、決定する。ここでまた、サムネイル画像が階層符号により作成されている場合、その階層レベルを同時に設定する。また、サイズの異なるサムネイル画像を複数保持している場合には、表示倍率に対応するサイズのサムネイル画像を選択することになる。
【０１０２】
ステップＳ２０４において、前述のステップＳ２０１で設定された表示倍率が、予め定められたしきい値Ａ（第１の表示倍率）以上か判定し、表示倍率がしきい値Ａ以上である場合は、集合画像及び個々のサムネイル画像を同時に表示する混合表示モードを選択し、表示倍率がしきい値Ａ未満の場合、集合画像のみを表示する集合画像表示モードを選択する。
【０１０３】
なお、本実施の形態においては、集合画像のみの表示可能な表示画像（集合画像表示モードと同意）の最大サムネイル画像のサイズは８０×８０画素、混合表示モードの最大サムネイル画像の表示サイズは１６０×１６０画素としているので、しきい値Ａとしては８０と１６０との中間の値である１２０とするのが好適である。
【０１０４】
ステップＳ２０５において、サムネイル一覧ビュー３０２の表示画面に供する画像データとして、サムネイル一覧ビュー３０２の表示領域３０７内に含まれる画像データに対応する個々のサムネイル画像を選択、決定するとともに、集合画像データ１２０を選択する。なお、例えば図６（ｃ）に示したように集合画像が分割されている場合は、表示領域３０７内となる分割された集合画像を選択、決定する。ここでまた、集合画像が階層符号により作成されている場合、その階層レベルを同時に設定する。また、サイズの異なる集合画像を複数保持している場合には、表示倍率に対応するサイズの集合画像を選択することになる。
【０１０５】
ステップＳ２０６において、サムネイル一覧ビュー３０２の表示画面に供する画像データとして、集合画像データ１２０を選択する。なお、集合画像が分割されている場合には表示領域３０７内に含まれる位置の集合画像を選択、決定する。ここでまた、集合画像が階層符号により作成されている場合、その階層レベルを同時に設定する。また、サイズの異なる集合画像を複数保持している場合には、表示倍率に対応するサイズの集合画像を選択することになる。
【０１０６】
ステップＳ２０７において、選択されたサムネイル画像又は集合画像について、サムネイル一覧ビュー３０２の表示領域３０７内の画面データを生成する。なお、サムネイル一覧ビュー３０２内の画面データは、ビットマップデータとする方法もあるが、ＨＴＭＬで一般的に行われるように、画像の座標情報とリンク情報とを構造化文書に記載する方法が一般的である。この場合、構造化文書データと表示領域内の画像データとをサーバ装置１１０からクライアント装置１００に転送する必要がある。
【０１０７】
次に、本実施の形態における拡大表示のプロセスについて図８に基づいて説明する。図８は、本実施の形態におけるクライアント装置１００の表示デバイス１０１によって実行される拡大表示のプロセスを示した模式図である。
【０１０８】
ユーザは、多くのサムネイル画像から検索対象画像の候補画像をスライダ３０５及び３０６を使用して画面中央に表示させ（図８（ａ））、徐々に拡大率を上げていく過程で、周囲画像等との比較や画像内容の確認を実施しながら検索対象画像かどうかを確認する（図８（ｂ）〜（ｃ））。ここで、表示された画像が検索対象画像でないと確認できた場合は、表示倍率を縮小して候補の画像をさらに探せばよい。一方、表示された画像が検索対象画像であった場合は、サムネイル一覧ビュー３０２の画面のまま画像内容を詳細に確認できる（図８（ｄ））。
【０１０９】
本実施の形態では、前述のように拡大表示する過程において、集合画像表示モード、混合表示モード、サムネイル画像表示モードが切り替わることになる。
【０１１０】
ここで、例えば集合画像モードからサムネイル画像表示モードに直接切り替えた場合の不具合について説明を行う。
【０１１１】
例えば、図８（ｂ）に示す表示を集合画像モードで表示した画面、図８（ｆ）に示す表示をサムネイル画像表示モードで表示した画面とすると、集合画像の表示から個々のサムネイル画像の表示にと切り替わる際に画面遷移が起こるために、図８（ｅ）に示すようにサムネイル画像の表示が一度消えて、その後個々のサムネイル画像が順次表示されることになる。
【０１１２】
ここで個々のサムネイル画像は、表示倍率に応じたサイズを持つため、ある程度の画像容量を持つことになる。これは、通常、表示画像との差分の符号のみを通信すればよい階層符号によるサムネイル画像を使用しても、クライアント装置１００には個々のサムネイル画像の符号データがない状態であるため、画像データを通信するための時間分、表示が消えることになり使用しているユーザには違和感の大きい表示画面の推移として感じられる。
【０１１３】
そこで、まず集合画像を用いて図８（ｆ）に示した画像を表示し、その後個々のサムネイル画像を集合画像内の対応するサムネイル画像に重ねるように配置することによって、ユーザには違和感を与えることなくマップ上での検索や探索が可能となる。
【０１１４】
本実施の形態における集合画像の必要容量は、画像間の余白を２０画素分とるとすると、１０，０００画像表示可能としたときの最大容量は、（１６０＋２０）画素×（１６０＋２０）画素×１０，０００画像数×３（バイト／画素）であるので約１ＧＢとなり、圧縮処理後に１００ＭＢ程度となると考えれば十分実用可能な容量となる。なお、この場合でも、集合画像全てをメモリ展開した場合にはメモリ容量を１ＧＢ必要とするが、そのような場合は、前述のように集合画像を分割して必要な部分のみメモリに展開すればよい。
【０１１５】
以上説明したように、本実施の形態における画像処理システムによれば、ビューア等の別ウィンドウを開くことなく軽快に、かつ連続して複数の画像の内容を確認しながら検索が可能となり操作性を向上させることが可能となるマップ探索型の画像一覧表示において、表示倍率が小さく、画面内に表示する画像数が多い場合は実際に表示する画像が少なく高速に表示が可能な集合画像を表示し、表示倍率が大きく画面内に表示する画像数が少ない場合は個々のサムネイル画像を表示し、両者が切り替わる倍率付近では集合画像を表示するとともに個々の画像をも表示する構成としたので、表示倍率によらず軽快な操作が可能となるとともに、集合画像が巨大な容量を持ちシステムに過負荷をかけることもなく、集合画像から個々のサムネイル画像に切り替わる際にも違和感なく表示画面を切り替えることが可能となる。
【０１１６】
なお、動作説明において述べた各処理をプログラミングし、当該プログラムによってコンピュータを動作させることにより、当該プログラムは、図１に示したクライアント装置１００及びサーバ装置１１０としてコンピュータを機能させることができる。
【０１１７】
また、前述の実施の形態において、表１にＳａｍ３として示したサムネイル画像のサイズにおいて集合画像及び個々のサムネイル画像の両方で表示可能とする構成としたが、Ｓａｍ３のサムネイル画像のサイズを個々のサムネイル画像でのみ表示可能として構成することも可能である。その場合、図８（ｂ）に示したサイズの集合画像を単純に拡大表示することによって図８（ｆ）の画面サイズで集合画像を表示して（画像はややぼけることになる）その集合画像に個々のサムネイル画像を重ね合わせることによって、画像サイズに対応した精細な表示を完了するように構成してもよい。
【０１１８】
また、前述の実施の形態において、表示倍率の拡大時に混合モードにおいて集合画像及び個々のサムネイル画像を表示する際に、集合画像を先に表示して個々のサムネイル画像を上書きするように重ねる例を示したが、表示倍率の縮小時は図８（ｆ）から図８（ｂ）のような表示画面となる。
【０１１９】
今例えば、図８（ｆ）が個々のサムネイル画像のみの表示とし、図８（ｂ）が混合モードでの表示とすると、ユーザが表示倍率を図８（ｆ）の表示画面から縮小方向に変化させた場合、拡大表示時とは逆になり、クライアント装置１００側で保持しているのは個々のサムネイル画像なので、先に個々のサムネイル画像を表示してそれに集合画像を上書きするように処理した方がよい。
【０１２０】
このような制御は、クライアント装置１００から、入力デバイス１０３からの拡大表示及び縮小表示の指示を、画面制御データ１１９を用いてサーバ装置１１０にその他のデータとともに通知して、表示画面データ１１８に記載される画像の表示順序を変更すれば簡単に実現することが可能である。
【０１２１】
（第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理システムについて説明する。第１の実施の形態では、表示倍率に応じてサムネイル一覧ビューに表示する画像を、集合画像及び個々のサムネイル画像で表示選択して変更する例を示したが、本実施の形態では、表示画面内の画像数に応じて集合画像及び個々のサムネイル画像の表示選択を切り替える例を示す。
【０１２２】
図９は、このような手法が特に有効な画像配置手法によるマップの形態を表した、サムネイル一覧表示画面（マップ画面）の一例を示す図である。同図は、画像がランダムに配置されており、画像の重なりを許容するマップを表している。第１の実施の形態において述べたように、画像データから画像の特徴量を抽出してその特徴量によって多数の画像をマップ上に配置すると図９に示すような表示となる場合が多い。なお、配置の工夫によって画像の重なりを許さないようなマップとすることも可能である。
【０１２３】
本実施の形態における構成及び動作は、第１の実施の形態とほぼ同様にて実現可能であり、相違点はサムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作であるので、以下それを説明する。
【０１２４】
図１０は、サムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作の概要を示すフローチャートである。なお、第１の実施の形態と同様の説明は省略し、第１の実施の形態におけるステップＳ２０２及びＳ２０４の動作の代わる以下のステップＳ２１２及びＳ２１４の動作を説明する。
【０１２５】
ステップＳ２１２において、ステップＳ２０１で設定された表示領域３０７内に含まれる画像数をカウントする。カウントした結果、表示領域内の画像数が予め定められたしきい値Ｂ（第１の画像数）未満か判定し、表示領域内の画像数がしきい値Ｂ未満である場合は、個々のサムネイル画像を表示するサムネイル表示モードを選択し、表示領域内の画像数がしきい値Ｂ以上の場合は、後述のように混合表示モード又は集合画像表示モードを選択する。
【０１２６】
ステップＳ２１４において、ステップＳ２１２でカウントされた画像数が予め定められたしきい値Ａ（第２の画像数）以下か判定し、カウントされた画像数がしきい値Ａ以下である場合は、集合画像と個々のサムネイル画像を同時に表示する混合表示モードを選択し、カウントされた画像数がしきい値Ａより大きい場合は、集合画像のみを表示する集合画像表示モードを選択する。
【０１２７】
以上のように、本実施の形態における画像処理システムは、表示領域内の画像数に応じて、サムネイル一覧ビュー３０２を個々のサムネイル画像を使用して表示するか、集合画像を表示するか、集合画像と個々のサムネイル画像の両方を表示するかを選択可能となる。
【０１２８】
図９に示したように、画像がランダムに配置されている場合、表示倍率に応じて画像数が定まらない。特に画像が重なっている場合はその度合いは高くなり、第１の実施形態において説明したように、表示倍率を変更して集合画像の表示から個々のサムネイル画像の表示に切り替えた場合、想定よりも多くの画像データをサーバ装置１１０からクライアント装置１００に転送する必要が生じる可能性があり表示が遅くなる場合がある。そのため、表示する画像数によっては、表示表域内の画像数で表示モードを切り替える本実施の形態の方が第１の実施の形態よりも好適となる。
【０１２９】
なお、本実施の形態においては、第１の実施の形態における表示倍率よりも大きい表示倍率まで集合画像を表示する可能性があるため、集合画像で表示可能な最大サムネイル画像のサイズを大きくする方が好ましく、個々のサムネイル画像の表示可能サイズも小さいサイズまで表示可能とすることが望ましい。このような場合、画像の重なりを許容することで表示可能なサムネイル画像のサイズを大きくしても集合画像のサイズを第１の実施の形態で説明した整列した画像配置と比較して小さくすることが可能となるためシステムへの負荷を大きくせずにすむ。
【０１３０】
例えば、サムネイル画像のサイズと画像の形態の関係とを表２に示すようなものとすると、集合画像の表示可能サムネイル画像のサイズを第１の実施の形態の倍の３２０×３２０画素としても、集合画像の縦、横のサイズを１／２とすれば第１の実施の形態とほぼ同様の集合画像の容量とすることが可能となる。
【０１３１】
【表２】
【０１３２】
また、小サイズのサムネイル画像を増やしても画像データの容量はそれほど変化がないため、第１の実施の形態と等価なサーバ負荷で実現可能である。なお、表示倍率によって集合画像と個別のサムネイル画像とを切り替える方法（第１の実施の形態）と、本実施の形態で説明した画像数によって切り替える方法とを両方使用してもよい。例えば、本実施の形態にて集合画像が有する解像度が予め定めた上限の表示倍率になった場合は、強制的に個々のサムネイル画像の表示モードに切り替える等をしてもよい。
【０１３３】
また、図９に示すように重なった画像にて、集合画像と個々のサムネイル画像とを同時に表示する場合、第１の実施の形態のように最初に集合画像を表示した後、個々のサムネイル画像を表示すると、一旦重なった状態を集合画像で表示した後で、個々のサムネイル画像を表示する際に重なりの下になっている画像が一度現れた後に、重なりの上の画像が再び現れて集合画像と同様の表示に戻ることになる。これを表示の味付けとして使用することも可能ではあるが、あるタイミングにのみ生じる現象となるのでユーザに違和感を与える可能性がある。そのような場合の好適な表示方法としては、（Ａ）重なりの一番上の画像のみの個々のサムネイル画像を選択して表示する、（Ｂ）個々のサムネイル画像を表示領域３０７の枠外に配置して擬似的に表示するという方法がある。
【０１３４】
具体的に図１１を用いて説明する。図１１（ａ）が混合モードで表示する場合の集合画像を表しているとすると、上記（Ａ）は、図１１（ｂ）の斜線で示した画像のみを個々のサムネイル画像で表示する形態であり、上記（Ｂ）は、図１１（ｃ）の斜線で示した個々のサムネイル画像を表示領域３０７の枠外に移動し、クライアント装置１００のメモリ上には展開するが、表示はされないようにするという形態である。
【０１３５】
以上のような方法を使用すれば、重なりの下にある画像が一旦上書き表示されることを回避することが可能となり、本実施の形態において示したような重なりのあるマップにおいても違和感のない表示を行うことが可能となる。なお、この手法は、第１の実施の形態、さらに後述する第３の実施の形態においても使用可能である。
【０１３６】
（第３の実施の形態）
次に、本発明の第３の実施の形態における画像処理システムについて説明する。本実施の形態においては、表示画面内に含まれる全画像の画像データの容量に応じて集合画像と個々のサムネイル画像とを表示選択して切り替える例を示す。なお、ここでの画像データの容量は、画像データが階層符号化されている場合には、表示画面に表示するサムネイル画像データの容量となる。
【０１３７】
本実施の形態における構成及び動作は、第１の実施の形態の場合とほぼ同様にて実現可能であり、相違点はサムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作であるので、以下それを説明する。
【０１３８】
図１２は、サムネイル一覧ビュー３０２の表示領域画面生成時のサーバ装置１１０の動作を示すフローチャートである。なお、第１の実施の形態と同様の説明は省略し、第１の実施の形態におけるステップＳ２０２及びＳ２０４の動作の代わる以下のステップＳ２２２及びＳ２２４の動作を説明する。
【０１３９】
ステップＳ２２２において、ステップＳ２０１で設定された表示領域３０７内に含まれるサムネイル画像データの容量の合計を算出する。算出方法は、階層符号化を使用した場合には、表示画像のサイズから簡易に算出してもよく、表示に必要な階層分の符号量を全画像分積算してもよい。また、サムネイル画像のサイズによって複数の画像を作成する場合には、対応するサムネイル画像データのサイズのサムネイル画像の容量を合計すればよい。
【０１４０】
表示領域内に表示される画像の画像容量がしきい値Ｂ以下か判定し、画像容量がしきい値Ｂ（第１の画像データの容量）未満である場合は、個々のサムネイル画像を表示するサムネイル画像表示モードを選択し、画像容量がしきい値Ｂ以上の場合は、後述のように混合表示モード又は集合画像表示モードを選択する。
【０１４１】
ステップＳ２２４において、ステップＳ２２２で算出された画像容量が予め定められたしきい値Ａ（第２の画像データの容量）以下か判定し、画像容量がしきい値Ａ以下である場合は、集合画像と個々のサムネイル画像を同時に表示する混合表示モードを選択し、画像容量がしきい値Ａより大きい場合は、集合画像のみを表示する集合画像表示モードを選択する。
【０１４２】
以上のように、本実施の形態における画像処理システムは、表示領域内の画像容量に応じて、サムネイル一覧ビュー３０２を個々のサムネイル画像を使用して表示するか、集合画像を表示するかを選択可能となる。ここでの画像容量は、外部通信路１０４によって通信される画像データの通信容量とほぼ等価となるため、表示速度との関連が大きい値となり精度の高い画像の切り替えが可能となる。
【産業上の利用可能性】
【０１４３】
以上のように、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムは、多数の画像を表示する場合でも多大な負荷を与えることなく軽快に動作し、しかも、画像の拡大表示操作を行っても精細な画像を表示することができるという効果を有し、画像データベースに蓄積された画像データに対して、サムネイル一覧等の複数画像の一覧表示画面データを生成する機能を備えた画像処理装置、画像処理方法及び画像処理プログラム等として有用である。
【図面の簡単な説明】
【０１４４】
【図１】本発明の第１の実施の形態における画像処理システムの構成を示すブロック図
【図２】本発明の第１の実施の形態における画像処理システムにおけるサーバ装置の構成を示すブロック図
【図３】本発明の第１の実施の形態における画像処理システムにおける画像登録動作の概要を示すフローチャート
【図４】本発明の第１の実施の形態における画像処理システムにおける集合画像生成処理部の動作の概要を示すフローチャート
【図５】本発明の第１の実施の形態における画像処理システムにおける画像検索動作の概要を示すフローチャート
【図６】本発明の第１の実施の形態における画像処理システムにおけるサムネイル一覧表示画面の一例を示す図
【図７】本発明の第１の実施の形態における画像処理システムにおいて、サムネイル一覧ビューの表示領域画面生成時におけるサーバ装置の動作の概要を示すフローチャート
【図８】本発明の第１の実施の形態における画像処理システムにおける表示デバイスによって実行される拡大表示のプロセスを示す模式図
【図９】本発明の第１の実施の形態における画像処理システムにおけるサムネイル一覧表示画面の一例を示す図
【図１０】本発明の第２の実施の形態における画像処理システムにおいて、サムネイル一覧ビューの表示領域画面生成時におけるサーバ装置の動作の概要を示すフローチャート
【図１１】本発明の第２の実施の形態における画像処理システムにおけるサムネイル一覧表示画面の一例を示す図
【図１２】本発明の第３の実施の形態における画像処理システムにおいて、サムネイル一覧ビューの表示領域画面生成時におけるサーバ装置の動作の概要を示すフローチャート
【符号の説明】
【０１４５】
１００ クライアント装置
１０１ 表示デバイス
１０２ アプリケーション
１０３ 入力デバイス
１０４ 外部通信路
１１０ サーバ装置
１１１ 外部ＩＦ部
１１２ 登録画像データ
１１３ サムネイル生成処理部
１１４ 画像ＤＢ記憶部
１１５ 集合画像生成処理部
１１６ 画像配置決定処理部
１１７ 表示画面制御処理部（表示制御手段）
１１８ 表示画面データ
１１９ 画面制御データ
１２０ 集合画像データ
１２１ 画像配置データ
２０１ ＣＰＵ
２０２ メモリ
２０３ ＨＤＤ
２０４ ビデオメモリ
２０５ モニタ
２０６ 入力デバイス
２０７ 外部ＩＦ部
２０８ バス
３０１ ウィンドウ
３０２ サムネイル一覧ビュー
３０３ サムネイル画像
３０４、３０５、３０６ スライダ
３０７ 表示領域
【特許請求の範囲】
【請求項１】
複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置において、
前記一覧表示画面は、表示倍率を変更可能に前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを有し、
前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能なサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段を備えたことを特徴とする画像処理装置。
【請求項２】
前記所定の条件は、前記サムネイル画像の表示倍率であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像数であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像データの容量であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記表示制御手段は、第１の表示倍率及び前記第１の表示倍率より大きい第２の表示倍率に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、前記表示倍率が、前記第１の表示倍率から前記第２の表示倍率までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の表示倍率未満のときは前記集合画像のみを選択し、前記第２の表示倍率より大きいときは前記サムネイル画像のみを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記表示制御手段は、第１の画像数及び前記第１の画像数より大きい第２の画像数に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像数が、前記第１の画像数から前記第２の画像数までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の画像数未満のときは前記サムネイル画像のみを選択し、前記第２の画像数より大きいときは前記集合画像のみを選択することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記表示制御手段は、第１の画像データ容量及び前記第１の画像データ容量より大きい第２の画像データ容量に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像容量が、前記第１の画像データの容量から前記第２の画像データの容量までの範囲内のときは前記集合画像と予め定められた画像数のサムネイル画像とを選択し、前記第１の画像データ容量未満のときは前記サムネイル画像のみを選択し、前記第２の画像データの容量より大きいときは前記集合画像のみを選択することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、前記集合画像を構成するサムネイル画像が表示される位置に個々のサムネイル画像を対応させて重ねて表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像が表示される位置に集合画像を構成するサムネイル画像を対応させて重ねて表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記サムネイル画像を重ねて表示するとき、重なりの最も上位にある画像のみ重ねて表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示制御手段は、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像を前記一覧ビューウィンドウの外の領域に擬似的に表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項１２】
複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理方法において、
前記一覧表示画面に、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、
前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行うことを特徴とする画像処理方法。
【請求項１３】
複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
前記コンピュータに、前記一覧表示画面として、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、
前記コンピュータを、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段として機能させることを特徴とする画像処理プログラム。
【請求項１】
複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置において、
前記一覧表示画面は、表示倍率を変更可能に前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを有し、
前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能なサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段を備えたことを特徴とする画像処理装置。
【請求項２】
前記所定の条件は、前記サムネイル画像の表示倍率であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像数であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の条件は、前記一覧ビューウィンドウに表示するサムネイル画像の画像データの容量であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記表示制御手段は、第１の表示倍率及び前記第１の表示倍率より大きい第２の表示倍率に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、前記表示倍率が、前記第１の表示倍率から前記第２の表示倍率までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の表示倍率未満のときは前記集合画像のみを選択し、前記第２の表示倍率より大きいときは前記サムネイル画像のみを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記表示制御手段は、第１の画像数及び前記第１の画像数より大きい第２の画像数に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像数が、前記第１の画像数から前記第２の画像数までの範囲内のときは前記集合画像及び予め定められた画像数のサムネイル画像を選択し、前記第１の画像数未満のときは前記サムネイル画像のみを選択し、前記第２の画像数より大きいときは前記集合画像のみを選択することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記表示制御手段は、第１の画像データ容量及び前記第１の画像データ容量より大きい第２の画像データ容量に応じて前記サムネイル一覧ビューに表示する画像を選択し、選択した画像を前記サムネイル一覧ビューに表示するよう制御するものであって、表示するサムネイル画像の画像容量が、前記第１の画像データの容量から前記第２の画像データの容量までの範囲内のときは前記集合画像と予め定められた画像数のサムネイル画像とを選択し、前記第１の画像データ容量未満のときは前記サムネイル画像のみを選択し、前記第２の画像データの容量より大きいときは前記集合画像のみを選択することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、前記集合画像を構成するサムネイル画像が表示される位置に個々のサムネイル画像を対応させて重ねて表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像が表示される位置に集合画像を構成するサムネイル画像を対応させて重ねて表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記サムネイル画像を重ねて表示するとき、重なりの最も上位にある画像のみ重ねて表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示制御手段は、前記サムネイル一覧ビューに表示する画像として前記集合画像と前記予め定められた画像数のサムネイル画像とを選択するとき、個々のサムネイル画像を前記一覧ビューウィンドウの外の領域に擬似的に表示するよう制御することを特徴とする請求項５から７までのいずれか１項に記載の画像処理装置。
【請求項１２】
複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理方法において、
前記一覧表示画面に、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、
前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行うことを特徴とする画像処理方法。
【請求項１３】
複数のサムネイル画像を表示するための一覧表示画面の画像データを処理する画像処理装置としてコンピュータを機能させる画像処理プログラムであって、
前記コンピュータに、前記一覧表示画面として、画像の表示倍率が変更可能であって前記複数のサムネイル画像を表示するサムネイル一覧ビューと、前記サムネイル一覧ビューの全て又は一部を表示する一覧ビューウィンドウとを表示させ、
前記コンピュータを、前記表示倍率に応じて画像サイズ又は解像度が変更可能であって前記複数のサムネイル画像を集合させた集合画像と、前記表示倍率に応じて画像サイズ又は解像度が個々に変更可能な複数のサムネイル画像との少なくとも一方を所定の条件に応じて前記サムネイル一覧ビューに表示する制御を行う表示制御手段として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１８１４５０（Ｐ２００９−１８１４５０Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−２１４１８（Ｐ２００８−２１４１８）
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]