画像処理装置、画像処理方法及び画像処理プログラム
【課題】サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上可能な画像処理技術を提供する。
【解決手段】サーバ１１０のサムネイル生成部１１３は、外部Ｉ／Ｆ部１１１を介して受信された登録画像から複数のサムネイル画像を生成してこれらを画像ＤＢ１１４に記憶させる。画像ＤＢ１１４は、外部Ｉ／Ｆ部１１１を介して受信された登録画像や、サムネイル生成部１１３が生成したサムネイル画像を記憶する。表示画面制御部１１８は、クライアント１００に表示させるための表示画面を生成し、クライアント１００から送信された画面制御データに応じた表示画面を生成することにより、表示画面を制御する。
【解決手段】サーバ１１０のサムネイル生成部１１３は、外部Ｉ／Ｆ部１１１を介して受信された登録画像から複数のサムネイル画像を生成してこれらを画像ＤＢ１１４に記憶させる。画像ＤＢ１１４は、外部Ｉ／Ｆ部１１１を介して受信された登録画像や、サムネイル生成部１１３が生成したサムネイル画像を記憶する。表示画面制御部１１８は、クライアント１００に表示させるための表示画面を生成し、クライアント１００から送信された画面制御データに応じた表示画面を生成することにより、表示画面を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の検索に際して、複数のサムネイル画像を表示画面に一覧表示し、ユーザから指示された表示倍率に応じて、表示画面に表示するサムネイル画像の画像サイズを変更する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、紙文書をスキャナ等の入力デバイスを使用して電子化する例えば電子ファイリング等の装置が存在する。このような装置は、紙文書を大量に扱う業務用途として使用されていた。近年では、スキャナの低価格化やスキャン機能を搭載したＭＦＰ(Multi Function Printer)の普及、またｅ−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。また、電子化された文書画像データや写真画像データ、ＰＣ等のアプリケーションによって作成された文書データ等をデータベース（以下ＤＢ）化して一元管理する画像ＤＢの用途も併せて増えてきている。例えば紙文書の原本を保存しておく必要があっても、管理のし易さや検索のし易さという点で画像ＤＢを構築する場合もある。このような画像ＤＢにおいては、サーバ装置に備えられ多数の人にアクセスされる大規模なものから、個人のＰＣ(Personal Computer)内に構築されるパーソナル用途のものまで様々である。また、近年のＭＦＰでは内蔵のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとして画像ＤＢを構築する例もある。
【０００３】
このような画像ＤＢに蓄積された画像をユーザが閲覧する場合、複数の画像が画像ＤＢに蓄積されていれば、目的とする画像を検索する必要がある。画像を検索する方法としては、例えば、検索対象の画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索する方法があるが、多く使用される方法としては、サムネイル画像の一覧表示を使用するものがある。これは、例えば、文書画像を検索する場合、キーワード検索した後にキーワードにヒットした候補画像をサムネイル一覧表示させて、その中から検索対象の画像を最終的に選択したり、例えばフォルダ内にある全ての文書画像をサムネイル一覧表示させて、その中から検索対象の画像を探し出したりするものである。
【０００４】
このサムネイル一覧表示は、縮小画像（サムネイル画像）を画面上に複数個並べることで、画像の内容をユーザが簡易に把握することを目的としている。このサムネイル一覧表示では、限られた面積の画面上に複数のサムネイル画像を一度に表示するために、個々のサムネイル画像は解像度をかなり落とした画像となるのが一般的である。
【０００５】
このようなサムネイル一覧表示においては、表示対象が写真画像である場合は、サムネイル画像の解像度を落とした状態でもユーザにとってその写真画像の内容の把握は比較的容易であるが、表示対象が文字中心の文書画像の場合は、サムネイル画像の解像度を落とした状態ではユーザにとって文字の判読が困難で文書画像の内容を把握することは難しい。このため、ユーザはこのような文書画像を検索する場合、サムネイル一覧表示後、更に、ビューア等の機能を使って個々の文書画像をひとつひとつ拡大表示させて確認する必要があるケースが多く、検索時の操作性が非常に悪いという問題があった。また、特にネットワークを介したサーバからクライアントへ画像を転送するサーバ・クライアントシステムの場合においては、ビューアで画像を表示させる際に解像度の高い画像を新たに転送する必要が生じる。このため、ユーザが数多く画像を確認する場合には、その分の画像の転送回数が多くなり、多くの処理時間が必要であり、生産性についても問題があった。
【０００６】
また、サムネイル一覧表示においては、表示するサムネイル画像の数が多くなると表示に時間が掛かってしまう。このため、特にネットワークを介したサーバ・クライアントシステムにおいては、一画面（１ページ）に一覧表示できるサムネイル画像の数を少なくし一覧表示の対象の全てのサムネイルを複数ページに渡って表示するケースが多い。このようなケースでは、ユーザは、ページをめくるように画面を変更することによって、表示に掛かる時間に対してストレスを感じにくくなる。しかし、一画面に表示できるサムネイル画像の数が少ないため、ユーザは、一覧表示の対象の全てのサムネイル画像を閲覧するためには、何度もページをめくる（画面を変更する）必要がある。また、一覧表示されるサムネイル画像の全容の把握が容易ではないため、ユーザは全てのページを閲覧しても、所望の画像が見つからないということも少なくない。これらは操作性を非常に悪化させる要因であった。しかし、これを回避するために、１画面に表示させるサムネイル画像の数を増やすと、その表示に時間が掛かることになる。これは生産性を落とす原因となるとともに、ユーザには表示までの待ち時間が増えることによってストレスとなる問題があった。
【０００７】
これは、以下のことに起因する。画像ＤＢに蓄積された画像のサムネイル一覧表示を行う場合に、サムネイル一覧表示する度に、即ち、サムネイル一覧表示画面を作成する度に、画像ＤＢに蓄積された原画像から動的にサムネイル画像を作成したり、原画像をそのまま使用したりするのではなく、一般的に、原画像を縮小した縮小画像（サムネイル画像）を画像ＤＢに予め蓄積しておき、これを使用することである。サムネイル用の画像を使用するのが処理速度的に優位であるからである。例えば、サーバ・クライアントシステムにおいて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇａｇｅ）等を使用してサムネイル一覧表示画面を作成する場合、通常は、ビットマップ形式の表示画面をサーバが作成するわけではなく、サーバはＨＴＭＬ文書に表示する画像（ファイル）名によるリンクを作成するのみであり、このＨＴＭＬ文書を受信したクライアントがこれをブラウザソフトによって展開（レンダリング）して、ビットマップ形式の表示画面を生成する。このような場合、画面上でのサムネイル画像の画像サイズ（通常はサーバが指定する）にかかわらず、サーバはクライアントへ一覧表示の対象のサムネイル画像を全て転送する必要がある。通常、表示画面からはみ出た部分があっても全て転送を行う。そのため、１画面に表示するサムネイル画像の数が多くなるとそれだけ多くのデータ容量の転送が必要となり、且つ、小容量のデータを多く転送するため、データの転送効率が落ち、クライアントでの画面表示に時間を要することになる。転送効率の低下の原因は、具体的には、データ転送時のパケット長は、通常、固定であり、異なるファイルを同一パケットにしないため、小容量のデータ（ファイル）を転送する場合にはパケット長を固定にするためのパディングが多く発生し、冗長な転送データが発生するからである。そしてそれが数多くなると結果的に冗長な転送データの影響が無視できなくなるからである。また、一般的に、一覧表示するサムネイル画像の数が多くなると、サーバの負荷も増えることになる。ディスクアクセス等が増えるためである。
【０００８】
上記のような問題に対して、簡易な操作によって目的の情報を検索可能とする技術が開発されている（例えば、特許文献１参照）。特許文献１によれば、サムネイル画像を２次元マップ上に配置して表示し、マップを分割した複数の小領域のうち、特定の小領域内のポイントを利用者が指示したとき、特定の小領域を中心とする小領域群を拡大対象領域とし、拡大対象領域内に配置されたサムネイル画像を拡大して内容を詳細に表示することによって、簡易な操作によって目的の情報を検索可能としている。
【０００９】
【特許文献１】特開２００４−２５８８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１においては、マップ上にサムネイル画像を表示するサムネイル表示とサムネイル画像を拡大した拡大表示との２値的な表示切替のため、サムネイル表示において検索対象の画像のマップ上の位置を把握できない場合、拡大表示に切り替えて検索対象の画像をしらみつぶしに探していく必要が生じる可能性がある。また、拡大表示時の拡大倍率が不十分である可能性もある。また、サムネイル表示においてマップ上に表示するサムネイル画像の数が多くなると、サムネイル画像を重ねて表示できないため、サムネイル画像の画像サイズが小さくなり、サムネイル一覧表示の意味をなさなくなる可能性がある。また、マップ上に表示するサムネイル画像の数が多くなると、その表示に時間が掛かる恐れがある。従って、操作性及び生産性の双方の面で問題が生じる恐れがあった。このため、このような問題を解決すべく、例えば、拡大倍率を変倍可能であるフリーズーム可能にサムネイル画像を一覧表示し、ユーザによる所望の画像の検索をより効率的に行うことができ、検索時の生産性をより向上できる技術が望まれていた。
【００１１】
本発明は、上記に鑑みてなされたものであって、サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、画像処理装置であって、画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成手段と、前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信手段と、前記受信手段が受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御手段と、前記表示画面情報を前記情報処理装置に送信する送信手段とを備え、前記生成手段は、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成することを特徴とする。
【００１３】
請求項２にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像を生成することを特徴とする。
【００１４】
請求項３にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、前記第１変倍処理手段が生成した前記最大サムネイル画像を縮小して第２サムネイル画像を生成する第２変倍処理手段とを有することを特徴とする。
【００１５】
請求項４にかかる発明は、請求項３にかかる発明において、前記第２変倍処理手段は、前記最大サムネイル画像を異なる複数の変倍率で各々縮小して複数の前記第２サムネイル画像を生成することを特徴とする。
【００１６】
請求項５にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、前記最大サムネイル画像を階層符号化する階層符号化手段とを備えることを特徴とする。
【００１７】
請求項６にかかる発明は、請求項５にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化することを特徴とする。
【００１８】
請求項７にかかる発明は、請求項５又は請求項６にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化することを特徴とする。
【００１９】
請求項８にかかる発明は、請求項５にかかる発明において、前記生成手段は、前記第１表示基準サイズとは異なる第２表示基準サイズの第２基準サムネイル画像を生成することを特徴とする。
【００２０】
請求項９にかかる発明は、請求項８にかかる発明において、前記決定手段は、前記最大の画像サイズ又は前記最大の変倍率のうち一方を決定すると共に、前記第２表示基準サイズと前記画像の画像サイズとに基づいて、前記最大の画像サイズ又は前記最大の変倍率とは異なる第２の最大の画像サイズ又は第２の最大の変倍率のうち一方を決定し、前記第１変倍処理手段は、前記最大サムネイル画像を生成すると共に、前記画像を前記第２の最大の画像サイズ又は前記第２の最大の変倍率に適合する大きさに変倍して第２最大サムネイル画像を生成し、前記階層符号化手段は、前記最大サムネイル画像及び前記第２最大サムネイル画像を各々階層符号化することを特徴とする。
【００２１】
請求項１０にかかる発明は、請求項９にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が復号されるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に前記第２表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズであり各々異なる複数の画像サイズのサムネイル画像が各々復号されるように、前記第２最大サムネイル画像を階層符号化することを特徴とする。
【００２２】
請求項１１にかかる発明は、請求項９又は請求項１０にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記第２最大サムネイル画像を階層符号化することを特徴とする。
【００２３】
請求項１２にかかる発明は、請求項７乃至請求項１１のいずれか一項にかかる発明において、前記第２表示基準サイズは、前記第１表示基準サイズの略１．５倍または略１．５分の１倍であることを特徴とする。
【００２４】
請求項１３にかかる発明は、請求項１乃至請求項１２のいずれか一項にかかる発明において、前記生成手段は、生成した前記サムネイル画像を前記画像記憶手段に記憶させ、前記画面制御手段は、前記受信手段が前記画面制御情報を受信したときに、当該画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を前記画像記憶手段から選択し、選択した前記サムネイル画像を含む表示画面情報を生成することを特徴とする。
【００２５】
請求項１４にかかる発明は、請求項１乃至請求項１３のいずれか一項にかかる発明において、前記受信手段は、前記画像を前記情報処理装置から受信し、前記受信手段が受信した前記画像を前記画像記憶手段に記憶させる制御手段を更に備えることを特徴とする。
【００２６】
請求項１５にかかる発明は、請求項１４にかかる発明において、前記受信手段が受信した前記画像を分析して、所定のカテゴリに分類する分類手段を更に備え、前記制御手段は、前記画像の属するカテゴリを表す分類情報を当該画像と対応付けて前記画像記憶手段に記憶させることを特徴とする。
【００２７】
請求項１６にかかる発明は、請求項１５にかかる発明において、前記制御手段は、前記生成手段が前記画像を用いて生成した前記サムネイル画像と、当該画像の前記分類情報と対応付けて前記画像記憶手段に記憶させることを特徴とする。
【００２８】
請求項１７にかかる発明は、請求項１乃至請求項１６のいずれか一項にかかる発明において、前記画像サイズは、画素数により表されることを特徴とする。
【００２９】
請求項１８にかかる発明は、請求項１乃至請求項１６のいずれか一項にかかる発明において、前記画像サイズは、解像度により表されることを特徴とする。
【００３０】
請求項１９にかかる発明は、画像処理方法であって、画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成ステップと、前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信ステップと、前記受信ステップで受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御ステップと、前記表示画面情報を前記情報処理装置に送信する送信ステップとを含み、前記生成ステップでは、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成することを特徴とする。
【００３１】
請求項２０にかかる発明は、画像処理プログラムであって、請求項１９に記載された画像処理方法をコンピュータで実行させることを特徴とする。
【発明の効果】
【００３２】
本発明によれば、サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上させることができる。
【発明を実施するための最良の形態】
【００３３】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法及び画像処理プログラムの最良な実施の形態を詳細に説明する。
【００３４】
[第１の実施の形態]
（１）構成
図１は、本発明の第１の実施の形態にかかる画像処理システムの構成を示すブロック図である。画像処理システムは、クライアント１００とサーバ１１０とが外部通信路１０４を介して接続されて構成される。クライアント１００は、パーソナルコンピュータやＰＤＡや携帯電話等の情報処理装置である。サーバ１１０は、パーソナルコンピュータなどの情報処理装置である。外部通信路１０４は、例えば、ＬＡＮ、イントラネット、イーサネット（登録商標）又はインターネットなどのネットワークである。
【００３５】
ここで、クライアント１００の機能的構成について説明する。クライアント１００は、表示デバイス部１０１と、アプリケーション部１０２と、入力デバイス部１０３とを有する。表示デバイス部１０１は、画像を表示する。入力デバイス部１０３は、ユーザからの指示入力を受け付ける。アプリケーション部１０２は、入力デバイス部１０３が入力を受け付けた指示入力を解釈したり、サーバ１１０との通信を制御したり、表示デバイス部１０１の表示制御を行ったりする１つ又は複数のアプリケーションプログラムからなる。
【００３６】
次に、サーバ１１０の機能的構成について説明する。サーバ１１０は、外部Ｉ／Ｆ(Inter Face)部１１１と、サムネイル生成部１１３と、画像ＤＢ１１４と、表示画面制御部１１８とを有する。外部Ｉ／Ｆ部１１１は、クライアント１００などの外部装置との間の通信を制御する。サムネイル生成部１１３は、外部Ｉ／Ｆ部１１１を介して受信された画像(登録画像)から複数のサムネイル画像を生成してこれらを画像ＤＢ１１４に記憶させる。画像ＤＢ１１４は、外部Ｉ／Ｆ部１１１を介して受信された登録画像や、サムネイル生成部１１３が生成したサムネイル画像を記憶する。表示画面制御部１１８は、クライアント１００に表示させるための表示画面を生成し、クライアント１００から外部Ｉ／Ｆ部１１１を介して受信された画面制御データに応じた表示画面を生成することにより、表示画面を制御する。画面制御データとは、表示画面の生成に関する情報であり、ユーザにより指示された表示倍率や、表示領域を指定する情報などを含む。
【００３７】
ここで、サムネイル生成部１１３の詳細な機能的構成について説明する。図２は、サムネイル生成部１１３の詳細な機能的構成を示すブロック図である。サムネイル生成部１１３は、最大サイズ決定部４０１と、第１変倍処理部４０２と、第２変倍処理部４０３とを有する。最大サイズ決定部４０１は、予め設定されたプレビューサイズ（表示基準サイズ）と、画像ＤＢ１１４に登録する画像（登録画像）の画像サイズとに基づいて、登録画像から生成する最大のサムネイル画像の画像サイズ（最大サイズ）を決定する。第１変倍処理部４０２は、登録画像を、最大サイズ決定部４０１が決定した最大サイズの画像に変倍することにより、最大サイズのサムネイル画像を生成する。そして、第１変倍処理部４０２は、生成したサムネイル画像を第２変倍処理部４０３に引き渡すと共に、画像ＤＢ１１４に記憶させる。第２変倍処理部４０３は、第１変倍処理部４０２が変倍したサムネイル画像を縦横１／２倍に更に変倍して、新たなサムネイル画像を生成してこれを画像ＤＢ１１４に記憶させる。
【００３８】
次に、サーバ１１０のハードウェア構成について説明する。図３は、サーバ１１０のハードウェア構成を示すブロック図である。サーバ１１０は、ＣＰＵ２０１と、メモリ２０２と、ＨＤＤ２０３と、ビデオメモリ２０４と、モニタ２０５と、入力デバイス２０６と、外部Ｉ／Ｆ２０７とが通信バス２０８を介して接続されて構成される。ＣＰＵ２０１は、メモリ２０２やＨＤＤ２０３に記憶されたプログラムを実行して各種処理を行う。メモリ２０２は、揮発性のメモリであり、プログラムのコードや画像の符号データ等のデータを一時的に記憶する。ＨＤＤ２０３は、画像データなどの各種データや各種プログラムを記憶する。また、ＨＤＤは、上述の画像ＤＢ１１４を記憶する。上述のサムネイル生成部１１３の機能は、ＣＰＵ２０１がＨＤＤ２０３やメモリ２０２に記憶されたプログラムを実行することにより実現される。外部Ｉ／Ｆ２０７は、クライアント１００とのデータの送受信を制御し、上述の外部Ｉ／Ｆ部１１１の機能を実現させる。
【００３９】
次に、クライアント１００のハードウェア構成について説明する。クライアント１００のハードウェア構成については、サーバ１１０のハードウェア構成と略同様であるため、その図示や詳細な説明を省略する。クライアント１００は、ＣＰＵと、メモリと、ＨＤＤと、ビデオメモリと、モニタと、入力デバイスと、外部Ｉ／Ｆとが通信バスを介して接続されて構成される。サーバ１１０のＨＤＤは、画像データなどの各種データや各種プログラムが記憶する。メモリは、プログラムのコードや画像の符号データ等のデータを一時的に記憶する。上述のアプリケーション部１０２の機能は、このメモリやＨＤＤにより実現される。モニタは、上述の表示デバイス部１０１の機能を実現させる。入力デバイスは、上述の入力デバイス部１０３の機能を実現させる。
【００４０】
（２）動作
次に、本実施の形態の画像処理システムにおける動作について説明する。この動作は、大別すると二つに分けられる。一つは、画像を画像ＤＢ１１４に登録する動作であり、もう一つは、画像ＤＢ１１４に記憶されている画像を利用する動作である。まず、前者の動作について説明する。
【００４１】
＜画像登録動作＞
図４は、画像登録動作の流れを示すシーケンスチャートである。まず、クライアント１００において、ユーザが入力デバイスを介して画像の登録を指示すると共に登録対象の画像(登録画像)を指定する指示入力を行うと、クライアント１００は、アプリケーション部１０２の機能により、指定された登録画像と当該画像の登録を指示するメッセージとをサーバ１１０へ送信する（ステップＳ１）。尚、送信される登録画像には、ファイル名やメタ情報などが付加されている。サーバ１１０は、外部通信路１０４を介して当該登録画像及びメッセージを受信すると(ステップＳ２)、当該登録画像に対してＩＤを付与して、当該登録画像に付加されたファイル名やメタ情報などと共に当該登録画像を画像ＤＢ１１４に登録する（ステップＳ３）。また、サーバ１１０は、サムネイル生成部１１３の機能により、クライアント１００から受信した登録画像を用いて、予め設定されたプレビューサイズから導出したサイズの異なる複数のサムネイル画像を生成し、これらに対してＩＤを付与して画像ＤＢ１１４へ登録する。登録画像が複数ページを有する場合には、サーバ１１０は、ページ単位でサムネイル画像を生成する。サムネイル画像を生成する処理の手順について後述する。
【００４２】
＜サムネイル生成動作＞
ここで、上述のステップＳ３でサーバ１１０がサムネイル画像を生成する処理の手順の詳細について説明する。図５は、サーバ１１０がサムネイル生成部１１３の機能によりサムネイル画像を生成する処理の手順を示すフローチャートである。サーバ１１０は、予め設定されたプレビューサイズ（表示基準サイズ）と、クライアント１００から受信された画像（登録画像）の画像サイズ（幅、高さ）とに基づいて、サムネイル画像の最大サイズを決定する(ステップＳ１０)。尚、プレビューサイズは、例えば、クライアント１００の表示デバイスの表示領域サイズ以下に予め設定された画像サイズでありユーザが文字を判読可能である程度に設定された画像サイズである。このサイズの値は、例えばサーバ１１０のメモリやＨＤＤに予め記憶されている。尚、最大サイズは、登録画像の幅と高さとのうち長辺のサイズを用いて求められる。例えば、最大サイズは、プレビューサイズの２のべき乗倍（例えば２倍、４倍．．．）のうち、当該長辺のサイズよりも小さく、当該長辺のサイズに最も近いサイズとする。なお、プレビューサイズよりも登録画像の長辺のサイズが小さい場合は、当該長辺のサイズよりも小さく、プレビューサイズの２のべき乗分の１倍（例えば、１／２、１／４．．．）のサイズを最大サイズとする。
【００４３】
図６は、プレビューサイズとサムネイルサイズとを例示する図である。サイズの単位は画素数とする。同図に示されるように、例えば、プレビューサイズを「８００」とし、サムネイル画像の長辺のサイズが取りえる値を、「２５」〜「６４００」とする。ここで、登録画像の画像サイズが高さ「４０００」で幅「２０００」であった場合は、高さ「４０００」が長辺のサイズとなり、この長辺のサイズよりも小さく且つこの長辺のサイズに最も近いサイズは「３２００」なので、これが最大サイズとなる。即ち、高さが「３２００」の画像がサムネイル画像として最大のものとなる。また、「２５」を長辺のサイズとして最小サイズとする。
【００４４】
以上のようにして最大サイズを決定した後、サーバ１１０は、登録画像のアスペクト比を保存する形で長辺のサイズが最大サイズの画像に登録画像を変倍して(ステップＳ１１)、最大サイズのサムネイル画像を生成する。図６の例ではサムネイル種「Ｓａｍ８」のサムネイル画像が生成される。次いで、サーバ１１０は、最大サイズのサムネイル画像を、高さ、幅（縦、横）ともに２分の１に縮小してこれをサイズの異なるサムネイル画像として出力する(ステップＳ１２)。上述の例ではサムネイル種「Ｓａｍ７」のサムネイル画像が生成される。次いで、サーバ１１０は、最小サイズのサムネイル画像（図７の「Ｓａｍ１」）まで作成が終了したか否かを判断する(ステップＳ１３)。当該判断結果が否定的である場合、サーバ１１０は、ステップＳ０１２〜Ｓ０１３の処理を繰り返す。上述の例ではサムネイル種「Ｓａｍ６」〜「Ｓａｍ１」のサムネイル画像が順に生成される。ステップＳ０１３の判断結果が肯定的となった場合、処理は終了する。以上のようにして生成されたサムネイル画像は、上述したように画像ＤＢ１１４に登録される。
【００４５】
なお、上述では、画素数によりサムネイル画像の画像サイズを規定する例を示したが、解像度によりサムネイル画像の画像サイズを規定し、この解像度が異なる複数のサムネイル画像を上述と同様にして生成するように構成しても良い。
【００４６】
次に、画像ＤＢ１１４に記憶されている画像を利用する動作について説明する。画像を利用する際には、所望の画像を検索する動作が必要となる。そして、検索の結果見つかった画像をクライアント１００において表示させたり、これをクライアント１００がサーバ１１０からダウンロードしたりすることが、画像を利用することになる。画像を検索する方法としては、キーワードを用いて検索する方法や、類似画像を用いて検索する方法などの様々な周知技術を用いても良い。ここでは、説明の簡略化のために、サムネイル一覧表示から検索対象の画像を検索する動作について説明する。この動作は、キーワードや類似画像を用いて検索対象の候補の画像を検索した後に行われるようにしても良い。
【００４７】
＜画像検索時の動作＞
次に本実施の形態にかかる画像検索動作について説明する。図７は、本実施の形態にかかる画像検索動作の流れを示すフローチャートである。クライアント１００において、ユーザが入力デバイス部１０３の機能によりサムネイル一覧表示の指示入力を行うと、クライアント１００は、アプリケーション部１０２の機能により、サムネイル一覧表示を指示するメッセージをサーバ１１０へ送信する(ステップＳ１０１)。サーバ１１０は、当該メッセージを受信すると、表示画面制御部１１８の機能により、サムネイル一覧表示画面の初期画面を生成する。
【００４８】
図８は、サムネイル一覧表示画面の一例を示した図である。同図に示されるサムネイル一覧表示画面の構成要素は以下の通りである。符号３０２は、サムネイル画像の表示フレームであるサムネイル一覧ビューである。符号３０１は、サムネイル一覧ビュー３０２の表示領域を規定するウィンドウである。符号３０３は、個々のサムネイル画像である。符号３０４は、サムネイル一覧ビュー３０２の表示倍率を設定するスライダである。符号３０５は、サムネイル一覧ビュー３０２を水平方向へスクロールするスライダである。符号３０６は、サムネイル一覧ビュー３０２を垂直方向へスクロールするスライダである。
【００４９】
図９はサムネイル一覧ビュー３０２を表す図である。符号３０７はウィンドウ３０１の境界を表す表示領域である。
【００５０】
このようなサムネイル一覧表示画面は、大きく二つの画面構造をなしている。一つはサムネイル一覧ビュー３０２である。もう一つはそれ以外のユーザインターフェースの部分とデザイン的な意味合いの外枠のフレーム部分であり、図９における符号３０７の外側の表示領域に相当する。クライアント１００は、アプリケーション部１０２の機能により、これら二つのフレームを合成して、モニタに表示させるための表示画面を生成して、最終的に、図８に示されるような表示画面（サムネイル一覧表示画面）を生成する。
【００５１】
サーバ１１０は、表示画面制御部１１８の機能により、サムネイル一覧表示画面を生成する場合、二種類のフレームを生成することになる。外枠のフレーム部分の生成については周知技術を用いて行うことができるので、その説明を省略する。サーバ１１０は、サムネイル一覧表示画面についてその初期画面を生成する場合、サムネイル一覧ビュー３０２の表示倍率（同図では最低倍率）を所定の値に設定すると共に、表示領域３０７の大きさを所定の大きさを設定して、サムネイル一覧ビュー３０２の初期画面を生成する。そして、サーバ１１０は、生成したサムネイル一覧ビュー３０２の初期画面及び外枠のフレーム部分を表示画面情報として外部通信路１０４を介してクライアント１００へ送信する(ステップＳ１０２)。
【００５２】
尚、サーバ１１０は図９に示したようなサムネイル一覧ビュー３０２の初期画面自体を表す画像を保持する必要はない。サーバ１１０はこの画面を表す個々の画像（表示画像）の位置情報を兼ねる表示画像毎の表示領域を規定するための表示領域情報と表示画像を識別するためのＩＤ情報とを保持しておけばよい。尚、表示領域情報としては、最低、(A)表示画像の対角する頂点の二点の“サムネイル一覧ビュー３０２における座標データ”、または、（B）表示画像の頂点または中心点の一点の座標データと画像の幅及び高さとのデータ、のいずれかが必要である。また、初期画面以外のサムネイル一覧ビュー３０２の生成については、サーバ１１０は初期画面を基に表示倍率に応じて表示領域情報を変更することにより行えば良い。また、サムネイル一覧ビュー３０２については、サーバ１１０は表示領域３０７内の画面のみをクライアント１００へ送信する。サムネイル一覧ビュー３０２を生成する処理の詳細については、後述する。
【００５３】
なお、図９に示した初期画面には、余白部分が存在するが、これは、表示倍率を拡大した時に画面中央部を拡大するので、端部に位置するサムネイル画像を拡大するために必要であるからである。また、以上のような表示画面の生成方法やサーバ１１０とクライアント１００間の通信方法には種々の手法がある。一般的によく使用される好適な手法としてサーバ１１０をＷｅｂサーバとしてＷｏｒｌｄＷｉｄｅＷｅｂベースの技術を使用する手法がある。この手法によって、表示画面の生成やサーバ１１０とクライアント１００間の通信は、比較的安易に実現可能となる。この技術を使用する場合、表示画面はＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇａｇｅ）によって記述されることになり、アプリケーション部１０２の機能は一般的なＷｅｂブラウザにより実現される。なお、本実施の形態においては、表示倍率や表示領域を変更するためのスクロールのスライダ（３０４〜３０６）を表示画面内に構成しているが、例えば、クライアント１００の入力デバイスがマウスにより構成される場合、このマウスにこのスライダの機能を割り当てるように構成しても良い。
【００５４】
図７に戻り、クライアント１００は、サーバ１１０から表示画面情報を受信すると、これをアプリケーション部１０２の機能により展開（レンダリング）してモニタに表示画面を表示する(ステップＳ１０３)。ここで、サムネイル一覧ビュー３０２における個々の表示画像の表示領域情報と表示される対応するサムネイル画像の画像サイズが異なる場合、サムネイル画像は、表示領域情報により示された表示領域内のサイズとサムネイル画像の画像サイズとが同一となるようにサムネイル画像に対して変倍処理を行う。
【００５５】
クライアント１００のユーザは、モニタに表示された表示画面を閲覧し、所望の画像を探す目的で、スライダ３０５、３０６を操作して表示領域を変更する指示や、スライダ３０４を操作して表示倍率を変更する指示の入力を行うことができる。なお、スライダ３０４〜３０６の操作は、マウス等の入力デバイスを介して行われる。
【００５６】
クライアント１００は、入力デバイス部１０３の機能により、表示領域を変更する指示や表示倍率を変更する指示の入力を受け付けると（ステップＳ１０４）、指示された表示倍率や、表示領域を指定する情報を含む画面制御データをサーバ１１０へ送信する（ステップＳ１０５）。
【００５７】
サーバ１１０は、画面制御データを受信すると、当該画面制御データに含まれる表示倍率や表示領域の大きさに従ってサムネイル一覧ビューを変更し、これを含む表示画情報をクライアント１００へ送信する（ステップＳ１０６）。サーバ１１０がサムネイル一覧ビューを変更する処理の手順については後述する。
【００５８】
クライアント１００は、サーバ１１０から表示画面情報を受信すると、ステップＳ１０３と同様にして、モニタに表示画面を表示する(ステップＳ１０７)。ユーザは、この表示画面を閲覧しても所望の画像を見つけることができない場合、上述した表示領域を変更する指示入力や表示倍率を変更する指示入力を行うと、ステップＳ１０４〜Ｓ１０７の処理が繰り返される。
【００５９】
次に、サーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順について説明する。この処理は、サムネイル一覧ビューを変更する処理も兼ねる。図１０は、サーバ１１０がサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。サーバ１１０は、クライアント１００から送信された画面制御データを受信すると（上述の図７のステップＳ１０６）、当該画面制御データに含まれる表示倍率や表示領域の大きさに従って、表示倍率とサムネイル一覧ビューの表示領域とを設定する（ステップＳ２０１）。なお、初期画面を生成する場合は、サーバ１１０は表示倍率とサムネイル一覧ビューの表示領域３０７とは予め定められた初期値を設定する。
【００６０】
次に、サーバ１１０は、表示倍率に応じて表示に使用するサムネイル画像の画像サイズを設定する（ステップＳ２０２）。そして、サーバ１１０は、サムネイル一覧ビューの表示領域３０７内に含まれる画像に対応し且つステップＳ２０２で設定された画像サイズのサムネイル画像を選択する（ステップＳ２０３）。例えば、図６に示したサムネイル種「Ｓａｍ１」〜「Ｓａｍ８」のいずれかの画像サイズが設定される。例えば、表示倍率に対応するサムネイル画像の長辺のサイズが「２５」である場合、サムネイル種「Ｓａｍ１」のサムネイル画像が選択される。
【００６１】
なお、ユーザは表示倍率が指定するのではなく、サムネイル画像の画像サイズ自体を指定するようにし、サーバ１１０は指定された画像サイズを用いてサムネイル画像を選択するようにしても良い。また、表示倍率に対応する画像サイズに該当する画像サイズのサムネイル画像がない場合には、予め定められたルールで適当な画像サイズのサムネイル画像を選択すれば良い。例えば、表示倍率に対応する画像サイズに最も近い画像サイズのサムネイル画像を選択する、もしくは、対応する画像サイズよりも小さい画像サイズのサムネイル画像を選択する（この場合、データ転送量が減少する効果がある）等すれば良い。
【００６２】
続いて、サーバ１１０は、選択したサムネイル画像を用いて、サムネイル一覧ビューの表示領域内の画像（表示領域画像）を生成する（ステップＳ２０４）。なお、サムネイル一覧ビュー内の表示領域画像を、ビットマップデータとする方法もあるが、ＨＴＭＬにて一般的に行われるように、当該表示領域画像に含まれる画像の座標情報とリンク情報とを構造化文書に記載する方法が一般的である。この場合、構造化文書と表示領域画像に含まれる各サムネイル画像とをサーバ１１０からクライアント１００へ転送する必要がある。
【００６３】
以上のようにして生成されたサムネイル一覧ビューを含むサムネイル一覧表示画面（表示画面）は、上述の図７のステップＳ１０７で、表示画面情報としてクライアント１００により受信され、レンダリングされてモニタに表示される。
【００６４】
ここで、クライアント１００のモニタに表示されたサムネイル一覧表示画面においてサムネイル画像を拡大表示させる動作について説明する。図１１〜１５は、サムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を各々例示する図である。特に、図１４は、プレビューサイズのサムネイル画像が表示されたサムネイル一覧表示画面を例示する図である。ユーザは、サムネイル一覧表示画面において、スライダ３０５〜３０６を使用して、サムネイル一覧ビュー３０２内に表示されている複数のサムネイル画像の中から検索対象の候補の画像を画面中央へ表示させ（図１１）、スライダ３０４を使用して表示倍率を徐々に上げていく過程で（図１２〜１３）、周囲の画像等との比較や画像内容の確認を実施しながら検索対象の画像かどうかを確認することができる。ここでユーザはある画像が検索対象の画像に近い画像であると認識した場合は、最終的な確認のために詳細なレイアウトの確認と文字の簡単な判読とを行いたいとする。この場合、ユーザはスライダ３０５〜３０６を使用して、図１３の状態から表示倍率を更に上げて図１４のプレビューサイズのサムネイル画像を表示させることにより、詳細なレイアウトの確認と文字の簡単な判読とを行うことが可能である。もし、このプレビューサイズで文字の判読性が悪ければ、ユーザは、表示倍率を更に上げて、図１５に示されるように、画像がサムネイル一覧ビュー３０２からはみ出した状態、即ち、画像の一部のみがサムネイル一覧ビュー３０２に表示される状態のサムネイル一覧画面を表示させることにより、文字の判読性を良くすることができる。そして、ユーザは、この画像が検索対象の画像でないと確認できた場合は、表示倍率を下げて、検索対象の候補の画像を再度検索すれば良い。一方、この画像が検索対象の画像であった場合は、ユーザは図１５に示されるサムネイル一覧ビューの状態で画像内容を詳細に確認することができる。尚、レイアウトの確認はプレビューサイズの表示倍率で十分に行うことができる程度にプレビューサイズを予め設定することが望ましい。このように設定しないと、ユーザが画像の確認をする際に表示倍率を変更させる頻度が増加して検索効率が低下する恐れがあるからである。
【００６５】
以上のような構成によれば、ビューア等の機能を利用して別ウィンドウを開くことなく軽快に、かつ連続して複数の画像の内容を確認しながら検索することが可能である。また表示倍率に応じてサムネイル画像の画像サイズを変更して、サムネイル画像の精細度を変更しているため、表示倍率を上げていくたびに画質が落ちることなく画像内容の確認が可能となる。また、表示の基準となる画像サイズとしてプレビューサイズを予め設定しておき、そのプレビューサイズに適合した大きさのサムネイル画像を生成しているので、最も重要性が高く使用頻度の高い表示倍率に合わせた画像サイズにてサムネイル画像のプレビューを行うことが可能となる。更に、表示倍率に応じた表示サイズとサムネイル画像の画像サイズとを１対１に対応させることで、クライアント１００においてサムネイル画像の変倍処理を行う必要がないため、高画質なプレビューを行うことが可能となる。従って、サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上させることができる。
【００６６】
ここで、本実施の形態における効果について図１６〜１８を参照しながら説明する。図１６は、クライアント１００のモニタに表示する際に、拡大が生じた場合のサムネイル画像（画像サイズ＜表示サイズ）を例示する図である。図１７は、縮小が生じた場合のサムネイル画像（画像サイズ＞表示サイズ）を例示する図である。図１８は、拡大又は縮小が生じない場合のサムネイル画像（画像サイズ及び表示サイズが１対１対応）を例示する図である。図１６では、拡大によるボケが生じていることが示されている。図１７では、縮小による線切れや線消え（薄くなる場合も含む）が生じていることが示されている。即ち、図１６〜１７に示される画像は、図１８に示される画像と比較して文字の判読性が落ちていることが分かる。
【００６７】
また、本実施の形態においては、サーバ１１０が原画像毎に異なる複数の画像サイズのサムネイル画像を保持しているので、ユーザが画像内容を簡易に確認する場合に表示倍率に応じた画像サイズのサムネイル画像をクライアント１００に転送するので、必要以上に大きな画像サイズの画像をクライアント１００に転送する必要がない。従って、ユーザが画像内容を確認するまでのデータ転送量及び転送時間を低減可能であり、検索時における生産性を向上させることが可能となる。
【００６８】
また、サムネイル画像の数が非常に多いサムネイル一覧表示画面を表示する場合は、一般的に使用されるよりも小さい画像サイズのサムネイル画像を使用可能である。このため、このようなサムネイル画像の転送により、転送時間を低減可能であり、生産性を向上させることができる。また、サムネイル一覧表示画面の表示領域内のサムネイル画像のみを転送するため、画像サイズの大きなサムネイル画像を転送する場合であっても転送時間を低減可能であり生産性を向上させることができる。
【００６９】
尚、本実施の形態においては、プレビューサイズ以外のサムネイル画像の画像サイズを、プレビューサイズの２のべき乗倍、または２のべき乗分の１としたが、これに限定されない。但し、このように限定することにより、第２変倍処理部４０３が４×４画素から一つの画素を生成すれば良いだけとなるので、構成が簡単となる。このため、第２変倍処理部４０３をハードウェアで実現する場合には、コストを低減することができる。第２変倍処理部４０３をソフトウェアで実現する場合には、サムネイル画像の生成時の処理の高速化や処理コストの低減を実現することができる。
【００７０】
[第２の実施の形態]
次に、画像処理システムの第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００７１】
上述の第１の実施の形態では、サムネイル画像の配置について特に限定せずに説明を行った。しかし、サムネイル一覧表示画面において画像を検索する場合には、属性の近い画像同士が近くに配置されている方が検索効率が向上する。そこで、本実施の形態においては、検索効率を向上すべく、同じ属性を有する画像毎に分類する分類処理を行い、分類の態様を画面上で表現する。なお、説明の便宜上、本実施の形態で表示の対象とする画像は、オフィスで使用頻度の高い文書画像とする。
【００７２】
（１）構成
図１９は、本実施の形態にかかる画像処理システムの構成を示すブロック図である。本実施の形態にかかる画像処理システムの構成は、上述の第１の実施の形態にかかる画像処理システムの構成とは以下の点で異なる。サーバ１１０は、分類部１１５を有する。分類部１１５は、画像の特徴量を算出し所定のカテゴリに分類する分類処理を行う。文書画像に対するクラスタリングや分類処理には、数々の従来技術が存在し、ここでは分類処理の形態は問わないため、その詳細な説明は割愛する。分類処理の好適な例は、例えば、特願２００６−１１２９１２号に示される。これに示される分類処理方式によれば、文書画像から複数の特徴量を算出し、この特徴量に基づいて、当該画像のカテゴリを識別して当該画像を分類する分類処理を行う。識別するカテゴリの種類としては、例えば、色、形状、レイアウト、文書タイプなどである。
【００７３】
（２）動作
次に、本実施の形態にかかる画像登録動作の流れについて説明する。図２０は、画像登録動作の流れを示すシーケンスチャートである。上述の第１の実施の形態で説明した画像登録動作（図４）と異なる点は、ステップＳ４である。ステップＳ４では、サーバ１１０は、登録画像から複数の特徴量を算出し、この特徴量に基づいて、当該画像のカテゴリを識別して当該画像を分類する分類処理を行う。そして、サーバ１１０は、識別されたカテゴリを表すカテゴリデータを当該登録画像と対応つけて画像ＤＢ１１４に登録する。また、サーバ１１０は、当該カテゴリーデータを、ステップＳ３で生成して画像ＤＢ１１４に記憶させたサムネイル画像とも対応付ける。
【００７４】
このように識別されたカテゴリは、サムネイル一覧ビュー３０２におけるサムネイル画像の配置に使用される。例えば、上述の図７のステップＳ１０２で、サーバ１１０が、サムネイル一覧ビュー３０２の初期画面を生成する際、同じカテゴリを表すカテゴリーデータが対応付けられたサムネイル画像が近隣となるよう各サムネイル画像の配置を決定して、サムネイル一覧ビューの表示領域内の画像（表示領域画像）を生成する。また、例えば、画像登録時に、サーバ１１０は、サムネイル画像のカテゴリに応じた配置を決定し、その配置を表す配置情報（サムネイル一覧ビュー上における各画像の位置座標）を保持しておき、これを用いてサムネイル一覧ビュー３０２の表示領域画像を生成するようにしても良い。この場合、サムネイル画像の表示までの処理時間を早くすることが可能である。
【００７５】
尚、サーバ１１０は、分類処理において、カテゴリを階層的に識別するようにしても良い。例えば、大分類、大分類を細分化した中分類、中分類を細分化した小分類などの階層を有するようにカテゴリを識別しても良い。
【００７６】
図２１〜２２は、サムネイル一覧画面の初期画面を各々例示する図である。同図中符号３１１は、カテゴリの境界を示している。図２１は、カテゴリの大分類として文書タイプ毎に分類されている態様を示している。図２２は、例えば、図２１に示される「プレゼン」に分類される画像の中分類として色毎に分類されている態様を示している。色は例えば画像の背景色により分類される。更に小分類としてレイアウトや形状に分類されていても良い。尚、同図においては、各カテゴリの名称を文字で表示しているが、これを表示しなくても良い。
【００７７】
このように、カテゴリ毎にまとめてサムネイル画像を配置し、その画質を落とさずに表示倍率を上げることが可能であり、ユーザは画像を認識しやすくなると共に、画像をより効率的に検索することができる。
【００７８】
尚、サムネイル一覧画面の初期画面におけるサムネイル画像の画像サイズを固定している場合、サムネイル画像の数が多くなるとサムネイル画像を一画面に表示しきれなくなる場合がある。このような場合は、初期画面では、カテゴリ毎に分類して配置するサムネイル画像の代わりに、点や色、画素の濃度等で擬似的に表現するように構成しても良い。
【００７９】
[第３の実施の形態]
次に、画像処理システムの第３の実施の形態について説明する。なお、上述の第１の実施の形態又は第２の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００８０】
上述の第１の実施の形態及び第２の実施の形態においては、登録画像毎に画像サイズの異なる複数のサムネイル画像を生成するように構成した。しかし、画像ＤＢ１１４の蓄積容量に限度があることを鑑みると、蓄積するデータ量が増えるのは好ましくない。このため、本実施の形態においては、登録画像を階層符号化により圧縮した符号データを画像ＤＢ１１４に記憶させる。
【００８１】
（１）構成
図２３は、本実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。本実施の形態にかかるサムネイル生成部１１３の構成は、上述の第１の実施の形態にかかるサムネイル生成部１１３の構成とは以下の点で異なる。サムネイル生成部１１３は、第２変倍処理部４０３を有さず、階層符号化部４１０を有する。階層符号化部４１０は、第１変倍処理部４０２が変倍して生成した最大サイズのサムネイル画像を階層符号化する。本実施の形態においては、画像ＤＢ１１４に記憶されるサムネイル画像は階層符号化されたもののみとなる。階層符号化されたサムネイル画像（階層符号化サムネイル）の符号データ全てを復号すると、最大サイズのサムネイル画像が復号され、階層符号化サムネイルの符号データの一部を復号すると、解像度の異なるサムネイル画像が復号される。なお、復号されるサムネイル画像は最大サイズの２のべき乗分の１（例えば１／２、１／４．．．）となる。階層符号化部４１０が画像を階層符号化する階層符号化処理については後述する。
【００８２】
（２）動作
次に、サーバ１１０がサムネイル画像を生成する処理の手順について説明する。本実施の形態においては、サーバ１１０は、図５のステップＳ１０〜Ｓ１１を行い、その後、ステップＳ１２〜Ｓ１３の処理を行わず、最大サイズのサムネイル画像を階層符号化して、
この符号データ（階層符号化サムネイル）を画像ＤＢ１１４に記憶させる。
【００８３】
次に、サーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順について説明する。図２４は、サーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。サーバ１１０は、上述の第１の実施の形態と同様にして、ステップＳ２０１で、画面制御データに従って、表示倍率とサムネイル一覧ビューの表示領域３０７とを設定した後、設定した表示倍率に応じて、表示に使用する解像度レベルを設定する（ステップＳ３０２）。次いで、サーバ１１０は、サムネイル一覧ビューの表示領域３０７内に含まれる画像に対応して画像ＤＢ１１４に記憶されている階層符号化サムネイルを選択する（ステップＳ３０３）。次いで、サーバ１１０は、ステップＳ３０３で選択した階層符号化サムネイルを、ステップＳ３０２で設定した解像度レベルに基づいて復号して、サムネイル画像を生成し、サムネイル一覧ビューの表示領域内の画像（表示領域画像）を生成する（ステップＳ３０４）。
【００８４】
以上のようにして、画像サイズの異なる複数のサムネイル画像を生成する代わりに、最大サイズのサムネイル画像を階層符号化して、この符号データの全部又は一部を復号することにより、解像度の異なるサムネイル画像を生成する。この結果、最大サイズのサムネイル画像を階層符号化した符号データ（階層符号化サムネイル）のみ画像ＤＢ１１４に記憶させれば良いことになる。このため、画像ＤＢ１１４へ記憶させるデータ量を削減可能となる。
【００８５】
＜階層符号化処理＞
ここで、階層符号化部４１０が行う階層符号化処理について説明する。階層符号化方式は、数々の従来技術が存在し、本実施の形態において採用する方式は限定されない。好適な例としてＩＳＯのＩＳ１５４４４−１、いわゆるＪＰＥＧ２０００の基本方式(ｐａｒｔ１)が知られている。以下、JPEG2000part1の符号化方式とプログレッシブ順序の概要を説明する。なお、詳細はＩＳ１５４４４−１を参照されたい。
【００８６】
図２５は、JPEG2000part1(以下JPEG2000)における階層符号化処理の手順を示すブロック図である。なお、ここでは入力される画像データとしてカラーのRed,Green,Blue(以下RGB)の画像データの例を説明する。入力されたRGBの画像データは、タイリング処理部３０１０にてタイルと呼ばれる矩形のブロック単位で入力される。ラスタ形式の画像データが入力された場合は、タイリング処理部３０１０においてラスタ/ブロック変換を行う。JPEG2000におけるタイルは、タイル単位に独立して符号化、復号化が可能となっておりハードウェアにより符号化、復号化を行う上では、ハード量の削減効果があるとともに、必要なタイルのみ復号して表示することも可能となるなどJPEG2000における多機能化の一翼を担っている。なお、JPEG2000ではタイリングはオプションであり、タイリングを行うのは任意となっているが、タイリングを行わない場合は、タイル数１として扱われる。次に画像データは色変換処理部３０２０にて、輝度/色差系の信号に変換される。JPEG2000では離散ウェーブレット変換(以下DWT)に使用するフィルタの種類(5x3と9x7の2通り)によって2通りの色変換が定められており、例えば可逆変換可能な5x3フィルタを使用する場合は、式１によって可逆の色変換を行う。
【００８７】
【数１】
【００８８】
なお、上記の色変換に先立ち、RGB各々の信号毎にDCレベルシフトが行われる。DCレベルシフトは、例えば入力RGB信号が8bitの場合は、式２にて表される。
【００８９】
Ｒ´＝Ｒ−１２８ ・・・・式２
【００９０】
色変換後の信号は、DWT処理部３０３０において各々のコンポーネント毎にDWTが行われ、ウェーブレット係数が出力される。DWTは2次元にて行われるが、通常は、リフティング演算と呼ばれる演算方法により1次元フィルタ演算のコンボリューションにて実施される。１次元の変換式を式３に示す。
【００９１】
【数２】
【００９２】
なお、DWTは、ダウンサンプリングを伴うため、上記L(k)、H(k)は入力画像と比較して1/2の解像度となる。
【００９３】
図２６は、デコンポジションレベルと解像度レベルとの関係を表す模式図である。DWTは、１デコンポジション(分解)レベル毎にLL,HL,LH,HHの４つのサブバンドと呼ばれる方向成分が出力され、LLに対してDWTを再帰的に行う事によってより低解像度へとデコンポジションレベルをあげていく。解像度の最も高い１デコンポジションレベルの係数を1HL,1LH,1HHと表し、以下2HL,2LH・・・nHHと表す。なお、同図は、３デコンポジションレベルに分割した例を示す。一方解像度レベルは、デコンポジションレベルとは逆方向に解像度の低い係数から０，１，２，３というように呼ばれる。
【００９４】
各デコンポジションレベルにおけるサブバンド内は、プレシンクトと呼ばれる領域に分割して符号の集合を形成する事が可能となっている。また、符号化はコードブロックとよばれる所定のブロック単位にて実施されることになる。図２７は、タイル内ウェーブレット係数におけるタイル、プレシンクトおよびコードブロックの関係を示す図である。
【００９５】
DWT処理部３０３０から出力されたウェーブレット係数は、量子化部３０４０によってスカラー量子化が行われるが、可逆変換を実施する場合にはスカラー量子化は行わないか“１”により量子化する。また、後段のポスト量子化においても、量子化とほぼ同様な効果が得られる。なお、スカラー量子化はタイル単位にパラメータを変更可能となっている。
量子化部３０４０から出力された量子化データは、エントロピー符号化部３０５０にてエントロピー符号化が行われる。JPEG2000におけるエントロピー符号化方式は、サブバンド内をコードブロックと呼ばれる矩形領域に分割(但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない。)しコードブロック単位に符号化される。
【００９６】
図２８は、ビットプレーンを示す図である。コードブロック内のデータは、同図に示したごとくにビットプレーンに分解された後、ビットプレーンを変換係数の画質への影響度を表す状態に従って３つのパス(Significance propagationパス,Magnitude refinementパス,Clean upパス)に分割し、各々でMQコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはMSB側、符号化パスはSignificance propagation、Magnitude refinement、Clean upの順に重要度(画質への寄与度)が高くなっている。また、各パスの終端は、切り捨て点(トランケーションポイント)とも呼ばれ後段でのポスト量子化の符号の切り捨て可能な単位となっている。
【００９７】
エントロピー符号化された符号データをポスト量子化部３０６０にて必要に応じて符号を切り捨てる。なお、可逆の符号を出力する必要がある場合には、ポスト量子化は実行しない。JPEG2000は、符号化後に符号量を切り捨て可能なことによって、符号量の制御にフィードバックを必要としない構成(１パスの符号化)となっており、特徴の１つとなっている。ポスト量子化後の符号データは、符号ストリーム生成処理部３０７０にて、所定のプログレッシブ順序(符号データの復号順序)に従って符号の並べ替えとヘッダの付加を行い当該タイル分の符号ストリームが完成する。
【００９８】
図２９は、JPEG2000におけるレイヤプログレッションによる符号ストリーム全体を表した図である。全体符号は、メインヘッダと画像を分割した複数のタイルで構成される。タイル符号は、タイルヘッダとタイル内符号をレイヤとよばれる符号単位(詳細は後述する)に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように下位レイヤから順番に並んでいる。レイヤ符号の構成は、レイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。パケットは、符号データの最小単位であり、１つのタイルコンポーネント内の１つの解像度レベル(デコンポジションレベル)における１つのプレシンクト内の１つのレイヤの符号データから成っている。
【００９９】
次にJPEG2000におけるプログレッシブ順序について説明する。JPEG2000では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という４つの画像の要素の優先順位を変更することによって以下に示す５通りのプログレッションが定義されている。
【０１００】
(a)LRCPプログレッション
プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
【０１０１】
(b)RLCPプログレッション
プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
【０１０２】
(c)RPCLプログレッション
レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
【０１０３】
(d)PCRLプログレッション
レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
【０１０４】
(e)CPRLプログレッション
レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
【０１０５】
図３０は、LRCPプログレッション(以下レイヤプログレッション)のプログレッシブ順序を模式的に表した図である。図３１は、RLCPプログレッションまたはRPCLプログレッション(以下解像度プログレッション)のプログレッシブ順序を模式的に表した図である。図３０，３１とも横軸はデコンポジションレベル(数字が高いほど低解像度)、縦軸はレイヤ番号(数字が高いほど上位レイヤであり、下位レイヤに上位レイヤの符号を付加して復号することによってより高画質な再生が可能となる)である。図中、塗りつぶされた長方形の図形は、当該デコンポジションレベル、レイヤにおける符号を表し、その大きさは符号量の割合を模式的に表している。図中の点線の矢印は、符号順序を表している。
【０１０６】
図３０は、レイヤプログレッションに復号する符号順序を表しており、同一レイヤ番号の全ての解像度の復号を行って次段の上位レイヤの復号を行う。ウェーブレット係数レベルでみれば、係数の上位bitから復号を行うことになり、徐々に画質が向上するプログレッションが実現可能となっている。図３１は、解像度プログレッションに復号する符号順序を表しており、同一デコンポジション(解像度)レベルの全てのレイヤの復号を行って次段のデコンポジション(解像度)レベルの復号を行うことになり、徐々に解像度が向上するプログレッションが実現可能となっている。
【０１０７】
本実施の形態においては、以上のようなＪＰＥＧ２０００に代表される階層符号化方式により、登録画像を階層符号化することにより、上述したように、図２４のステップＳ３０３にてサムネイル画像の画像サイズに適合する解像度の解像度レベルに基づいて、解像度の異なる複数のサムネイル画像を生成することができる。なお、図３０，３１は３階層の例を示しているが、実際にはさらに多くの階層数を持つことができる。この階層が多いほど、サムネイル一覧ビューの表示領域３０７内に表示されるサムネイル画像の数が多い場合のデータ転送量の削減効果が大きくなる。なお、階層数の決定方法としては、個々の画像サイズに対応して階層数（デコンポジションレベル数）を決定し、解像度レベル０を復号した場合の画像サイズが略同一となるようにする事が望ましい。
【０１０８】
[第４の実施の形態]
次に、画像処理システムの第４の実施の形態について説明する。なお、上述の第１の実施の形態、第２の実施の形態又は第３の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【０１０９】
上述の第３の実施の形態においては、最大サイズのサムネイル画像を階層符号化して、この符号データを画像ＤＢ１１４に記憶させるようにした。しかし、一般的な階層符号化では、符号データから復号可能なサムネイル画像は、最小サイズの２のべき乗倍のみであり、画像サイズの自由度が少ない。このため、復号可能なサムネイル画像の画像サイズの中間の表示サイズで画質劣化の影響が出る場合がある。そこで、本実施の形態においては、プレビューサイズでサムネイル画像を表示する際の高画質を維持しつつ、画像ＤＢ１１４に記憶させるデータ量を削減可能に画像システムを構成する。
【０１１０】
図３２は、本実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。本実施の形態にかかるサムネイル生成部１１３の構成は、上述の第３の実施の形態にかかるサムネイル生成部１１３の構成と以下の点で異なる。サムネイル生成部１１３は、第３変倍処理部４２１と、階層符号化部４２２とを更に有する。
【０１１１】
また、本実施の形態にかかる最大サイズ決定部４０１は、上述の第１の実施の形態と同様にして、予め設定されたプレビューサイズ（表示基準サイズ）と、画像ＤＢ１１４に登録する画像（登録画像）の画像サイズとから、サムネイル画像の第１最大サイズを決定し、これを第１変倍処理部４０２へ出力する。同時に、最大サイズ決定部４０１は、プレビューサイズの１．５倍のサイズを第二の表示基準サイズとし、これと、登録画像の画像サイズとから、サムネイル画像の第２最大サイズを決定し、これを第３変倍処理部４２１へ出力する。第１変倍処理部４０２は、登録画像を第１最大サイズに変倍して、第１最大サイズのサムネイル画像を生成する。階層符号化部４１０は、第１最大サイズのサムネイル画像を階層符号化して、この符号データ（第１階層符号化サムネイル）を画像ＤＢ１１４に記憶させる。一方、第３変倍処理部４２１は、登録画像を第２最大サイズに変倍して、第２最大サイズのサムネイル画像を生成する。階層符号化部４２２は、第２最大サイズのサムネイル画像を階層符号化して、この符号データ（第２階層符号化サムネイル）を画像ＤＢ１１４に記憶させる。
【０１１２】
図３３は、第１階層符号化サムネイル及び第２階層符号化サムネイルを各々復号して生成可能なサムネイル画像の画像サイズを例示する図である。同図に示されるように、第１階層符号化サムネイルから生成可能なサムネイル画像の画像サイズの中間のサイズの画像サイズのサムネイル画像を第２階層符号化サムネイルから生成可能であることが分かる。従って、表示倍率に応じて、第１階層符号化サムネイル及び第２階層符号化サムネイルのうちいずれかを用いてこれを復号することにより、表示倍率に応じた高画質なサムネイル画像を表示可能となる。
【０１１３】
なお、本実施の形態においては、サムネイル生成部１１３が、変倍処理部及び階層符号化処理部の組を２組有するように構成したが、１組の変倍処理部及び階層符号化処理部のみ有し、２つの第１階層符号化サムネイル及び第２階層符号化サムネイルを時系列で生成されるように構成しても良い。また、２つの第１階層符号化サムネイル及び第２階層符号化サムネイルを例示したが、さらに多くの階層符号化サムネイルを生成して、表示可能なサムネイル画像の画像サイズのバリエーションを増やしても良い。
【０１１４】
また、図３３では、非常に小さい画像サイズについても２つの第１階層符号化サムネイル及び第２階層符号化サムネイルが用いられている例を示している。しかし、非常に小さい画像サイズには、画質劣化による問題は生じにくいので、表示倍率がある程度大きくなってからのみ第２階層符号化サムネイルを用いて表示倍率に応じたサムネイル画像を生成するように構成しても良い。
【０１１５】
以上のような構成によれば、表示可能なサムネイル画像の画像サイズを簡易な方法で増やすことが可能となり、より広範囲な表示倍率で高画質なサムネイル画像を表示可能となる。
【０１１６】
また、第二の表示基準サイズをプレビューサイズ（表示基準サイズ）の１．５倍とすることで、プレビューサイズに基づいて生成されるサムネイル画像の画像サイズの中間の画像サイズのサムネイル画像を簡易な方法で生成可能となる。
【０１１７】
[変形例]
また、上述した各実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１１８】
＜変形例１＞
上述した各実施の形態のクライアント１００又はサーバ１１０で実行される各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、当該各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１１９】
＜変形例２＞
上述した各実施の形態において、画像ＤＢ１１４に登録される登録画像は、スキャナやデジタルカメラ等の画像入力装置からサーバ１１０へ直接送信されるように構成しても良い。
【０１２０】
＜変形例３＞
上述の各実施の形態においては、画像ＤＢ１１４においてＩＤやファイル名などを含むメタ情報を登録したり検索可能に管理したりするために、一般的なＲＤＢ（リレーショナルデータベース）を画像ＤＢ１１４として使用すれば良い。また、サムネイル画像及び原画像となる登録画像に対して圧縮符号化等の処理を必要に応じて実施して処理後の画像を画像ＤＢ１１４に記憶させ、メタ情報からのリンクにより各画像を読み込み可能なように、画像ＤＢ１１４を構築すれば良い。また、画像ＤＢ１１４は、例えばＸＭＬ(eXtensible Markup Langage)等の言語を使用し階層的なデータ構造等有するように構築しても良い。画像ＤＢ１１４を複数のサーバに分散させて保持させるように構築しても良い。
【０１２１】
＜変形例４＞
上述の各実施の形態においては、最大サイズ決定部４０１は、登録画像から生成する最大のサムネイル画像の画像サイズ（最大サイズ）を決定するようにしたが、最大のサムネイル画像を生成するための変倍率を決定するようにしても良い。そして、第１変倍処理部４０２は、登録画像を当該変倍率に適合する大きさに変倍して最大のサムネイル画像を生成するようにすれば良い。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施の形態にかかる画像処理システムの構成を示すブロック図である。
【図２】同実施の形態にかかるサムネイル生成部１１３の詳細な機能的構成を示すブロック図である。
【図３】同実施の形態にかかるサーバ１１０のハードウェア構成を示すブロック図である。
【図４】同実施の形態にかかる画像登録動作の流れを示すシーケンスチャートである。
【図５】同実施の形態にかかるサーバ１１０がサムネイル生成部１１３の機能によりサムネイル画像を生成する処理の手順を示すフローチャートである。
【図６】同実施の形態にかかるプレビューサイズとサムネイルサイズとを例示する図である。
【図７】同実施の形態にかかる画像検索動作の流れを示すフローチャートである。
【図８】同実施の形態にかかるサムネイル一覧表示画面の一例を示した図である。
【図９】同実施の形態にかかるサムネイル一覧ビュー３０２を表す図である。
【図１０】同実施の形態にかかるサーバ１１０がサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。
【図１１】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１２】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１３】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１４】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１５】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１６】同実施の形態にかかるクライアント１００のモニタに表示する際に、拡大が生じた場合のサムネイル画像（画像サイズ＜表示サイズ）を例示する図である。
【図１７】同実施の形態にかかるクライアント１００のモニタに表示する際に、縮小が生じた場合のサムネイル画像（画像サイズ＞表示サイズ）を例示する図である。
【図１８】同実施の形態にかかるクライアント１００のモニタに表示する際に、拡大又は縮小が生じない場合のサムネイル画像（画像サイズ及び表示サイズが１対１対応）を例示する図である。
【図１９】本発明の第２の実施の形態にかかる画像処理システムの構成を示すブロック図である。
【図２０】同実施の形態にかかる画像登録動作の流れを示すシーケンスチャートである。
【図２１】同実施の形態にかかるサムネイル一覧画面の初期画面を例示する図である。
【図２２】同実施の形態にかかるサムネイル一覧画面の初期画面を例示する図である。
【図２３】本発明の第３の実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。
【図２４】同実施の形態にかかるサーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。
【図２５】JPEG2000part1(以下JPEG2000)における階層符号化処理の手順を示すブロック図である。
【図２６】デコンポジションレベルと解像度レベルとの関係を表す模式図である。
【図２７】タイル内ウェーブレット係数におけるタイル、プレシンクトおよびコードブロックの関係を示す図である。
【図２８】ビットプレーンを示す図である。
【図２９】JPEG2000におけるレイヤプログレッションによる符号ストリーム全体を表した図である。
【図３０】LRCPプログレッション(以下レイヤプログレッション)のプログレッシブ順序を模式的に表した図である。
【図３１】RLCPプログレッションまたはRPCLプログレッション(以下解像度プログレッション)のプログレッシブ順序を模式的に表した図である。
【図３２】本発明の第４の実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。
【図３３】同実施の形態にかかる第１階層符号化サムネイル及び第２階層符号化サムネイルを各々復号して生成可能なサムネイル画像の画像サイズを例示する図である。
【符号の説明】
【０１２３】
１００ クライアント（情報処理装置）
１０１ 表示デバイス部（表示手段）
１０２ アプリケーション部
１０３ 入力デバイス部
１０４ 外部通信路
１１０ サーバ（画像処理装置）
１１１ 外部Ｉ／Ｆ部
１１３ サムネイル生成部（生成手段）
１１４ 画像ＤＢ（画像記憶手段）
１１５ 分類部
１１８ 表示画面制御部（画面制御手段）
２０１ ＣＰＵ（制御手段）
２０２ メモリ
２０３ ＨＤＤ
２０４ ビデオメモリ
２０５ モニタ
２０６ 入力デバイス
２０７ 外部Ｉ／Ｆ
２０８ 通信バス
４０１ 最大サイズ決定部（決定手段）
４０２ 第１変倍処理部（第１変倍処理手段）
４０３ 第２変倍処理部（第２変倍処理手段）
４１０ 階層符号化部（階層符号化手段）
４２１ 第３変倍処理部（第１変倍処理手段）
４２２ 階層符号化部
３０１０ タイリング処理部
３０２０ 色変換処理部
３０３０ ＤＷＴ処理部
３０４０ 量子化部
３０５０ エントロピー符号化部
３０６０ ポスト量子化部
３０７０ 符号ストリーム生成処理部
【技術分野】
【０００１】
本発明は、画像の検索に際して、複数のサムネイル画像を表示画面に一覧表示し、ユーザから指示された表示倍率に応じて、表示画面に表示するサムネイル画像の画像サイズを変更する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、紙文書をスキャナ等の入力デバイスを使用して電子化する例えば電子ファイリング等の装置が存在する。このような装置は、紙文書を大量に扱う業務用途として使用されていた。近年では、スキャナの低価格化やスキャン機能を搭載したＭＦＰ(Multi Function Printer)の普及、またｅ−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。また、電子化された文書画像データや写真画像データ、ＰＣ等のアプリケーションによって作成された文書データ等をデータベース（以下ＤＢ）化して一元管理する画像ＤＢの用途も併せて増えてきている。例えば紙文書の原本を保存しておく必要があっても、管理のし易さや検索のし易さという点で画像ＤＢを構築する場合もある。このような画像ＤＢにおいては、サーバ装置に備えられ多数の人にアクセスされる大規模なものから、個人のＰＣ(Personal Computer)内に構築されるパーソナル用途のものまで様々である。また、近年のＭＦＰでは内蔵のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとして画像ＤＢを構築する例もある。
【０００３】
このような画像ＤＢに蓄積された画像をユーザが閲覧する場合、複数の画像が画像ＤＢに蓄積されていれば、目的とする画像を検索する必要がある。画像を検索する方法としては、例えば、検索対象の画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索する方法があるが、多く使用される方法としては、サムネイル画像の一覧表示を使用するものがある。これは、例えば、文書画像を検索する場合、キーワード検索した後にキーワードにヒットした候補画像をサムネイル一覧表示させて、その中から検索対象の画像を最終的に選択したり、例えばフォルダ内にある全ての文書画像をサムネイル一覧表示させて、その中から検索対象の画像を探し出したりするものである。
【０００４】
このサムネイル一覧表示は、縮小画像（サムネイル画像）を画面上に複数個並べることで、画像の内容をユーザが簡易に把握することを目的としている。このサムネイル一覧表示では、限られた面積の画面上に複数のサムネイル画像を一度に表示するために、個々のサムネイル画像は解像度をかなり落とした画像となるのが一般的である。
【０００５】
このようなサムネイル一覧表示においては、表示対象が写真画像である場合は、サムネイル画像の解像度を落とした状態でもユーザにとってその写真画像の内容の把握は比較的容易であるが、表示対象が文字中心の文書画像の場合は、サムネイル画像の解像度を落とした状態ではユーザにとって文字の判読が困難で文書画像の内容を把握することは難しい。このため、ユーザはこのような文書画像を検索する場合、サムネイル一覧表示後、更に、ビューア等の機能を使って個々の文書画像をひとつひとつ拡大表示させて確認する必要があるケースが多く、検索時の操作性が非常に悪いという問題があった。また、特にネットワークを介したサーバからクライアントへ画像を転送するサーバ・クライアントシステムの場合においては、ビューアで画像を表示させる際に解像度の高い画像を新たに転送する必要が生じる。このため、ユーザが数多く画像を確認する場合には、その分の画像の転送回数が多くなり、多くの処理時間が必要であり、生産性についても問題があった。
【０００６】
また、サムネイル一覧表示においては、表示するサムネイル画像の数が多くなると表示に時間が掛かってしまう。このため、特にネットワークを介したサーバ・クライアントシステムにおいては、一画面（１ページ）に一覧表示できるサムネイル画像の数を少なくし一覧表示の対象の全てのサムネイルを複数ページに渡って表示するケースが多い。このようなケースでは、ユーザは、ページをめくるように画面を変更することによって、表示に掛かる時間に対してストレスを感じにくくなる。しかし、一画面に表示できるサムネイル画像の数が少ないため、ユーザは、一覧表示の対象の全てのサムネイル画像を閲覧するためには、何度もページをめくる（画面を変更する）必要がある。また、一覧表示されるサムネイル画像の全容の把握が容易ではないため、ユーザは全てのページを閲覧しても、所望の画像が見つからないということも少なくない。これらは操作性を非常に悪化させる要因であった。しかし、これを回避するために、１画面に表示させるサムネイル画像の数を増やすと、その表示に時間が掛かることになる。これは生産性を落とす原因となるとともに、ユーザには表示までの待ち時間が増えることによってストレスとなる問題があった。
【０００７】
これは、以下のことに起因する。画像ＤＢに蓄積された画像のサムネイル一覧表示を行う場合に、サムネイル一覧表示する度に、即ち、サムネイル一覧表示画面を作成する度に、画像ＤＢに蓄積された原画像から動的にサムネイル画像を作成したり、原画像をそのまま使用したりするのではなく、一般的に、原画像を縮小した縮小画像（サムネイル画像）を画像ＤＢに予め蓄積しておき、これを使用することである。サムネイル用の画像を使用するのが処理速度的に優位であるからである。例えば、サーバ・クライアントシステムにおいて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇａｇｅ）等を使用してサムネイル一覧表示画面を作成する場合、通常は、ビットマップ形式の表示画面をサーバが作成するわけではなく、サーバはＨＴＭＬ文書に表示する画像（ファイル）名によるリンクを作成するのみであり、このＨＴＭＬ文書を受信したクライアントがこれをブラウザソフトによって展開（レンダリング）して、ビットマップ形式の表示画面を生成する。このような場合、画面上でのサムネイル画像の画像サイズ（通常はサーバが指定する）にかかわらず、サーバはクライアントへ一覧表示の対象のサムネイル画像を全て転送する必要がある。通常、表示画面からはみ出た部分があっても全て転送を行う。そのため、１画面に表示するサムネイル画像の数が多くなるとそれだけ多くのデータ容量の転送が必要となり、且つ、小容量のデータを多く転送するため、データの転送効率が落ち、クライアントでの画面表示に時間を要することになる。転送効率の低下の原因は、具体的には、データ転送時のパケット長は、通常、固定であり、異なるファイルを同一パケットにしないため、小容量のデータ（ファイル）を転送する場合にはパケット長を固定にするためのパディングが多く発生し、冗長な転送データが発生するからである。そしてそれが数多くなると結果的に冗長な転送データの影響が無視できなくなるからである。また、一般的に、一覧表示するサムネイル画像の数が多くなると、サーバの負荷も増えることになる。ディスクアクセス等が増えるためである。
【０００８】
上記のような問題に対して、簡易な操作によって目的の情報を検索可能とする技術が開発されている（例えば、特許文献１参照）。特許文献１によれば、サムネイル画像を２次元マップ上に配置して表示し、マップを分割した複数の小領域のうち、特定の小領域内のポイントを利用者が指示したとき、特定の小領域を中心とする小領域群を拡大対象領域とし、拡大対象領域内に配置されたサムネイル画像を拡大して内容を詳細に表示することによって、簡易な操作によって目的の情報を検索可能としている。
【０００９】
【特許文献１】特開２００４−２５８８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１においては、マップ上にサムネイル画像を表示するサムネイル表示とサムネイル画像を拡大した拡大表示との２値的な表示切替のため、サムネイル表示において検索対象の画像のマップ上の位置を把握できない場合、拡大表示に切り替えて検索対象の画像をしらみつぶしに探していく必要が生じる可能性がある。また、拡大表示時の拡大倍率が不十分である可能性もある。また、サムネイル表示においてマップ上に表示するサムネイル画像の数が多くなると、サムネイル画像を重ねて表示できないため、サムネイル画像の画像サイズが小さくなり、サムネイル一覧表示の意味をなさなくなる可能性がある。また、マップ上に表示するサムネイル画像の数が多くなると、その表示に時間が掛かる恐れがある。従って、操作性及び生産性の双方の面で問題が生じる恐れがあった。このため、このような問題を解決すべく、例えば、拡大倍率を変倍可能であるフリーズーム可能にサムネイル画像を一覧表示し、ユーザによる所望の画像の検索をより効率的に行うことができ、検索時の生産性をより向上できる技術が望まれていた。
【００１１】
本発明は、上記に鑑みてなされたものであって、サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、画像処理装置であって、画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成手段と、前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信手段と、前記受信手段が受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御手段と、前記表示画面情報を前記情報処理装置に送信する送信手段とを備え、前記生成手段は、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成することを特徴とする。
【００１３】
請求項２にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像を生成することを特徴とする。
【００１４】
請求項３にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、前記第１変倍処理手段が生成した前記最大サムネイル画像を縮小して第２サムネイル画像を生成する第２変倍処理手段とを有することを特徴とする。
【００１５】
請求項４にかかる発明は、請求項３にかかる発明において、前記第２変倍処理手段は、前記最大サムネイル画像を異なる複数の変倍率で各々縮小して複数の前記第２サムネイル画像を生成することを特徴とする。
【００１６】
請求項５にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、前記最大サムネイル画像を階層符号化する階層符号化手段とを備えることを特徴とする。
【００１７】
請求項６にかかる発明は、請求項５にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化することを特徴とする。
【００１８】
請求項７にかかる発明は、請求項５又は請求項６にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化することを特徴とする。
【００１９】
請求項８にかかる発明は、請求項５にかかる発明において、前記生成手段は、前記第１表示基準サイズとは異なる第２表示基準サイズの第２基準サムネイル画像を生成することを特徴とする。
【００２０】
請求項９にかかる発明は、請求項８にかかる発明において、前記決定手段は、前記最大の画像サイズ又は前記最大の変倍率のうち一方を決定すると共に、前記第２表示基準サイズと前記画像の画像サイズとに基づいて、前記最大の画像サイズ又は前記最大の変倍率とは異なる第２の最大の画像サイズ又は第２の最大の変倍率のうち一方を決定し、前記第１変倍処理手段は、前記最大サムネイル画像を生成すると共に、前記画像を前記第２の最大の画像サイズ又は前記第２の最大の変倍率に適合する大きさに変倍して第２最大サムネイル画像を生成し、前記階層符号化手段は、前記最大サムネイル画像及び前記第２最大サムネイル画像を各々階層符号化することを特徴とする。
【００２１】
請求項１０にかかる発明は、請求項９にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が復号されるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に前記第２表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズであり各々異なる複数の画像サイズのサムネイル画像が各々復号されるように、前記第２最大サムネイル画像を階層符号化することを特徴とする。
【００２２】
請求項１１にかかる発明は、請求項９又は請求項１０にかかる発明において、前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記第２最大サムネイル画像を階層符号化することを特徴とする。
【００２３】
請求項１２にかかる発明は、請求項７乃至請求項１１のいずれか一項にかかる発明において、前記第２表示基準サイズは、前記第１表示基準サイズの略１．５倍または略１．５分の１倍であることを特徴とする。
【００２４】
請求項１３にかかる発明は、請求項１乃至請求項１２のいずれか一項にかかる発明において、前記生成手段は、生成した前記サムネイル画像を前記画像記憶手段に記憶させ、前記画面制御手段は、前記受信手段が前記画面制御情報を受信したときに、当該画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を前記画像記憶手段から選択し、選択した前記サムネイル画像を含む表示画面情報を生成することを特徴とする。
【００２５】
請求項１４にかかる発明は、請求項１乃至請求項１３のいずれか一項にかかる発明において、前記受信手段は、前記画像を前記情報処理装置から受信し、前記受信手段が受信した前記画像を前記画像記憶手段に記憶させる制御手段を更に備えることを特徴とする。
【００２６】
請求項１５にかかる発明は、請求項１４にかかる発明において、前記受信手段が受信した前記画像を分析して、所定のカテゴリに分類する分類手段を更に備え、前記制御手段は、前記画像の属するカテゴリを表す分類情報を当該画像と対応付けて前記画像記憶手段に記憶させることを特徴とする。
【００２７】
請求項１６にかかる発明は、請求項１５にかかる発明において、前記制御手段は、前記生成手段が前記画像を用いて生成した前記サムネイル画像と、当該画像の前記分類情報と対応付けて前記画像記憶手段に記憶させることを特徴とする。
【００２８】
請求項１７にかかる発明は、請求項１乃至請求項１６のいずれか一項にかかる発明において、前記画像サイズは、画素数により表されることを特徴とする。
【００２９】
請求項１８にかかる発明は、請求項１乃至請求項１６のいずれか一項にかかる発明において、前記画像サイズは、解像度により表されることを特徴とする。
【００３０】
請求項１９にかかる発明は、画像処理方法であって、画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成ステップと、前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信ステップと、前記受信ステップで受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御ステップと、前記表示画面情報を前記情報処理装置に送信する送信ステップとを含み、前記生成ステップでは、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成することを特徴とする。
【００３１】
請求項２０にかかる発明は、画像処理プログラムであって、請求項１９に記載された画像処理方法をコンピュータで実行させることを特徴とする。
【発明の効果】
【００３２】
本発明によれば、サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上させることができる。
【発明を実施するための最良の形態】
【００３３】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法及び画像処理プログラムの最良な実施の形態を詳細に説明する。
【００３４】
[第１の実施の形態]
（１）構成
図１は、本発明の第１の実施の形態にかかる画像処理システムの構成を示すブロック図である。画像処理システムは、クライアント１００とサーバ１１０とが外部通信路１０４を介して接続されて構成される。クライアント１００は、パーソナルコンピュータやＰＤＡや携帯電話等の情報処理装置である。サーバ１１０は、パーソナルコンピュータなどの情報処理装置である。外部通信路１０４は、例えば、ＬＡＮ、イントラネット、イーサネット（登録商標）又はインターネットなどのネットワークである。
【００３５】
ここで、クライアント１００の機能的構成について説明する。クライアント１００は、表示デバイス部１０１と、アプリケーション部１０２と、入力デバイス部１０３とを有する。表示デバイス部１０１は、画像を表示する。入力デバイス部１０３は、ユーザからの指示入力を受け付ける。アプリケーション部１０２は、入力デバイス部１０３が入力を受け付けた指示入力を解釈したり、サーバ１１０との通信を制御したり、表示デバイス部１０１の表示制御を行ったりする１つ又は複数のアプリケーションプログラムからなる。
【００３６】
次に、サーバ１１０の機能的構成について説明する。サーバ１１０は、外部Ｉ／Ｆ(Inter Face)部１１１と、サムネイル生成部１１３と、画像ＤＢ１１４と、表示画面制御部１１８とを有する。外部Ｉ／Ｆ部１１１は、クライアント１００などの外部装置との間の通信を制御する。サムネイル生成部１１３は、外部Ｉ／Ｆ部１１１を介して受信された画像(登録画像)から複数のサムネイル画像を生成してこれらを画像ＤＢ１１４に記憶させる。画像ＤＢ１１４は、外部Ｉ／Ｆ部１１１を介して受信された登録画像や、サムネイル生成部１１３が生成したサムネイル画像を記憶する。表示画面制御部１１８は、クライアント１００に表示させるための表示画面を生成し、クライアント１００から外部Ｉ／Ｆ部１１１を介して受信された画面制御データに応じた表示画面を生成することにより、表示画面を制御する。画面制御データとは、表示画面の生成に関する情報であり、ユーザにより指示された表示倍率や、表示領域を指定する情報などを含む。
【００３７】
ここで、サムネイル生成部１１３の詳細な機能的構成について説明する。図２は、サムネイル生成部１１３の詳細な機能的構成を示すブロック図である。サムネイル生成部１１３は、最大サイズ決定部４０１と、第１変倍処理部４０２と、第２変倍処理部４０３とを有する。最大サイズ決定部４０１は、予め設定されたプレビューサイズ（表示基準サイズ）と、画像ＤＢ１１４に登録する画像（登録画像）の画像サイズとに基づいて、登録画像から生成する最大のサムネイル画像の画像サイズ（最大サイズ）を決定する。第１変倍処理部４０２は、登録画像を、最大サイズ決定部４０１が決定した最大サイズの画像に変倍することにより、最大サイズのサムネイル画像を生成する。そして、第１変倍処理部４０２は、生成したサムネイル画像を第２変倍処理部４０３に引き渡すと共に、画像ＤＢ１１４に記憶させる。第２変倍処理部４０３は、第１変倍処理部４０２が変倍したサムネイル画像を縦横１／２倍に更に変倍して、新たなサムネイル画像を生成してこれを画像ＤＢ１１４に記憶させる。
【００３８】
次に、サーバ１１０のハードウェア構成について説明する。図３は、サーバ１１０のハードウェア構成を示すブロック図である。サーバ１１０は、ＣＰＵ２０１と、メモリ２０２と、ＨＤＤ２０３と、ビデオメモリ２０４と、モニタ２０５と、入力デバイス２０６と、外部Ｉ／Ｆ２０７とが通信バス２０８を介して接続されて構成される。ＣＰＵ２０１は、メモリ２０２やＨＤＤ２０３に記憶されたプログラムを実行して各種処理を行う。メモリ２０２は、揮発性のメモリであり、プログラムのコードや画像の符号データ等のデータを一時的に記憶する。ＨＤＤ２０３は、画像データなどの各種データや各種プログラムを記憶する。また、ＨＤＤは、上述の画像ＤＢ１１４を記憶する。上述のサムネイル生成部１１３の機能は、ＣＰＵ２０１がＨＤＤ２０３やメモリ２０２に記憶されたプログラムを実行することにより実現される。外部Ｉ／Ｆ２０７は、クライアント１００とのデータの送受信を制御し、上述の外部Ｉ／Ｆ部１１１の機能を実現させる。
【００３９】
次に、クライアント１００のハードウェア構成について説明する。クライアント１００のハードウェア構成については、サーバ１１０のハードウェア構成と略同様であるため、その図示や詳細な説明を省略する。クライアント１００は、ＣＰＵと、メモリと、ＨＤＤと、ビデオメモリと、モニタと、入力デバイスと、外部Ｉ／Ｆとが通信バスを介して接続されて構成される。サーバ１１０のＨＤＤは、画像データなどの各種データや各種プログラムが記憶する。メモリは、プログラムのコードや画像の符号データ等のデータを一時的に記憶する。上述のアプリケーション部１０２の機能は、このメモリやＨＤＤにより実現される。モニタは、上述の表示デバイス部１０１の機能を実現させる。入力デバイスは、上述の入力デバイス部１０３の機能を実現させる。
【００４０】
（２）動作
次に、本実施の形態の画像処理システムにおける動作について説明する。この動作は、大別すると二つに分けられる。一つは、画像を画像ＤＢ１１４に登録する動作であり、もう一つは、画像ＤＢ１１４に記憶されている画像を利用する動作である。まず、前者の動作について説明する。
【００４１】
＜画像登録動作＞
図４は、画像登録動作の流れを示すシーケンスチャートである。まず、クライアント１００において、ユーザが入力デバイスを介して画像の登録を指示すると共に登録対象の画像(登録画像)を指定する指示入力を行うと、クライアント１００は、アプリケーション部１０２の機能により、指定された登録画像と当該画像の登録を指示するメッセージとをサーバ１１０へ送信する（ステップＳ１）。尚、送信される登録画像には、ファイル名やメタ情報などが付加されている。サーバ１１０は、外部通信路１０４を介して当該登録画像及びメッセージを受信すると(ステップＳ２)、当該登録画像に対してＩＤを付与して、当該登録画像に付加されたファイル名やメタ情報などと共に当該登録画像を画像ＤＢ１１４に登録する（ステップＳ３）。また、サーバ１１０は、サムネイル生成部１１３の機能により、クライアント１００から受信した登録画像を用いて、予め設定されたプレビューサイズから導出したサイズの異なる複数のサムネイル画像を生成し、これらに対してＩＤを付与して画像ＤＢ１１４へ登録する。登録画像が複数ページを有する場合には、サーバ１１０は、ページ単位でサムネイル画像を生成する。サムネイル画像を生成する処理の手順について後述する。
【００４２】
＜サムネイル生成動作＞
ここで、上述のステップＳ３でサーバ１１０がサムネイル画像を生成する処理の手順の詳細について説明する。図５は、サーバ１１０がサムネイル生成部１１３の機能によりサムネイル画像を生成する処理の手順を示すフローチャートである。サーバ１１０は、予め設定されたプレビューサイズ（表示基準サイズ）と、クライアント１００から受信された画像（登録画像）の画像サイズ（幅、高さ）とに基づいて、サムネイル画像の最大サイズを決定する(ステップＳ１０)。尚、プレビューサイズは、例えば、クライアント１００の表示デバイスの表示領域サイズ以下に予め設定された画像サイズでありユーザが文字を判読可能である程度に設定された画像サイズである。このサイズの値は、例えばサーバ１１０のメモリやＨＤＤに予め記憶されている。尚、最大サイズは、登録画像の幅と高さとのうち長辺のサイズを用いて求められる。例えば、最大サイズは、プレビューサイズの２のべき乗倍（例えば２倍、４倍．．．）のうち、当該長辺のサイズよりも小さく、当該長辺のサイズに最も近いサイズとする。なお、プレビューサイズよりも登録画像の長辺のサイズが小さい場合は、当該長辺のサイズよりも小さく、プレビューサイズの２のべき乗分の１倍（例えば、１／２、１／４．．．）のサイズを最大サイズとする。
【００４３】
図６は、プレビューサイズとサムネイルサイズとを例示する図である。サイズの単位は画素数とする。同図に示されるように、例えば、プレビューサイズを「８００」とし、サムネイル画像の長辺のサイズが取りえる値を、「２５」〜「６４００」とする。ここで、登録画像の画像サイズが高さ「４０００」で幅「２０００」であった場合は、高さ「４０００」が長辺のサイズとなり、この長辺のサイズよりも小さく且つこの長辺のサイズに最も近いサイズは「３２００」なので、これが最大サイズとなる。即ち、高さが「３２００」の画像がサムネイル画像として最大のものとなる。また、「２５」を長辺のサイズとして最小サイズとする。
【００４４】
以上のようにして最大サイズを決定した後、サーバ１１０は、登録画像のアスペクト比を保存する形で長辺のサイズが最大サイズの画像に登録画像を変倍して(ステップＳ１１)、最大サイズのサムネイル画像を生成する。図６の例ではサムネイル種「Ｓａｍ８」のサムネイル画像が生成される。次いで、サーバ１１０は、最大サイズのサムネイル画像を、高さ、幅（縦、横）ともに２分の１に縮小してこれをサイズの異なるサムネイル画像として出力する(ステップＳ１２)。上述の例ではサムネイル種「Ｓａｍ７」のサムネイル画像が生成される。次いで、サーバ１１０は、最小サイズのサムネイル画像（図７の「Ｓａｍ１」）まで作成が終了したか否かを判断する(ステップＳ１３)。当該判断結果が否定的である場合、サーバ１１０は、ステップＳ０１２〜Ｓ０１３の処理を繰り返す。上述の例ではサムネイル種「Ｓａｍ６」〜「Ｓａｍ１」のサムネイル画像が順に生成される。ステップＳ０１３の判断結果が肯定的となった場合、処理は終了する。以上のようにして生成されたサムネイル画像は、上述したように画像ＤＢ１１４に登録される。
【００４５】
なお、上述では、画素数によりサムネイル画像の画像サイズを規定する例を示したが、解像度によりサムネイル画像の画像サイズを規定し、この解像度が異なる複数のサムネイル画像を上述と同様にして生成するように構成しても良い。
【００４６】
次に、画像ＤＢ１１４に記憶されている画像を利用する動作について説明する。画像を利用する際には、所望の画像を検索する動作が必要となる。そして、検索の結果見つかった画像をクライアント１００において表示させたり、これをクライアント１００がサーバ１１０からダウンロードしたりすることが、画像を利用することになる。画像を検索する方法としては、キーワードを用いて検索する方法や、類似画像を用いて検索する方法などの様々な周知技術を用いても良い。ここでは、説明の簡略化のために、サムネイル一覧表示から検索対象の画像を検索する動作について説明する。この動作は、キーワードや類似画像を用いて検索対象の候補の画像を検索した後に行われるようにしても良い。
【００４７】
＜画像検索時の動作＞
次に本実施の形態にかかる画像検索動作について説明する。図７は、本実施の形態にかかる画像検索動作の流れを示すフローチャートである。クライアント１００において、ユーザが入力デバイス部１０３の機能によりサムネイル一覧表示の指示入力を行うと、クライアント１００は、アプリケーション部１０２の機能により、サムネイル一覧表示を指示するメッセージをサーバ１１０へ送信する(ステップＳ１０１)。サーバ１１０は、当該メッセージを受信すると、表示画面制御部１１８の機能により、サムネイル一覧表示画面の初期画面を生成する。
【００４８】
図８は、サムネイル一覧表示画面の一例を示した図である。同図に示されるサムネイル一覧表示画面の構成要素は以下の通りである。符号３０２は、サムネイル画像の表示フレームであるサムネイル一覧ビューである。符号３０１は、サムネイル一覧ビュー３０２の表示領域を規定するウィンドウである。符号３０３は、個々のサムネイル画像である。符号３０４は、サムネイル一覧ビュー３０２の表示倍率を設定するスライダである。符号３０５は、サムネイル一覧ビュー３０２を水平方向へスクロールするスライダである。符号３０６は、サムネイル一覧ビュー３０２を垂直方向へスクロールするスライダである。
【００４９】
図９はサムネイル一覧ビュー３０２を表す図である。符号３０７はウィンドウ３０１の境界を表す表示領域である。
【００５０】
このようなサムネイル一覧表示画面は、大きく二つの画面構造をなしている。一つはサムネイル一覧ビュー３０２である。もう一つはそれ以外のユーザインターフェースの部分とデザイン的な意味合いの外枠のフレーム部分であり、図９における符号３０７の外側の表示領域に相当する。クライアント１００は、アプリケーション部１０２の機能により、これら二つのフレームを合成して、モニタに表示させるための表示画面を生成して、最終的に、図８に示されるような表示画面（サムネイル一覧表示画面）を生成する。
【００５１】
サーバ１１０は、表示画面制御部１１８の機能により、サムネイル一覧表示画面を生成する場合、二種類のフレームを生成することになる。外枠のフレーム部分の生成については周知技術を用いて行うことができるので、その説明を省略する。サーバ１１０は、サムネイル一覧表示画面についてその初期画面を生成する場合、サムネイル一覧ビュー３０２の表示倍率（同図では最低倍率）を所定の値に設定すると共に、表示領域３０７の大きさを所定の大きさを設定して、サムネイル一覧ビュー３０２の初期画面を生成する。そして、サーバ１１０は、生成したサムネイル一覧ビュー３０２の初期画面及び外枠のフレーム部分を表示画面情報として外部通信路１０４を介してクライアント１００へ送信する(ステップＳ１０２)。
【００５２】
尚、サーバ１１０は図９に示したようなサムネイル一覧ビュー３０２の初期画面自体を表す画像を保持する必要はない。サーバ１１０はこの画面を表す個々の画像（表示画像）の位置情報を兼ねる表示画像毎の表示領域を規定するための表示領域情報と表示画像を識別するためのＩＤ情報とを保持しておけばよい。尚、表示領域情報としては、最低、(A)表示画像の対角する頂点の二点の“サムネイル一覧ビュー３０２における座標データ”、または、（B）表示画像の頂点または中心点の一点の座標データと画像の幅及び高さとのデータ、のいずれかが必要である。また、初期画面以外のサムネイル一覧ビュー３０２の生成については、サーバ１１０は初期画面を基に表示倍率に応じて表示領域情報を変更することにより行えば良い。また、サムネイル一覧ビュー３０２については、サーバ１１０は表示領域３０７内の画面のみをクライアント１００へ送信する。サムネイル一覧ビュー３０２を生成する処理の詳細については、後述する。
【００５３】
なお、図９に示した初期画面には、余白部分が存在するが、これは、表示倍率を拡大した時に画面中央部を拡大するので、端部に位置するサムネイル画像を拡大するために必要であるからである。また、以上のような表示画面の生成方法やサーバ１１０とクライアント１００間の通信方法には種々の手法がある。一般的によく使用される好適な手法としてサーバ１１０をＷｅｂサーバとしてＷｏｒｌｄＷｉｄｅＷｅｂベースの技術を使用する手法がある。この手法によって、表示画面の生成やサーバ１１０とクライアント１００間の通信は、比較的安易に実現可能となる。この技術を使用する場合、表示画面はＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇａｇｅ）によって記述されることになり、アプリケーション部１０２の機能は一般的なＷｅｂブラウザにより実現される。なお、本実施の形態においては、表示倍率や表示領域を変更するためのスクロールのスライダ（３０４〜３０６）を表示画面内に構成しているが、例えば、クライアント１００の入力デバイスがマウスにより構成される場合、このマウスにこのスライダの機能を割り当てるように構成しても良い。
【００５４】
図７に戻り、クライアント１００は、サーバ１１０から表示画面情報を受信すると、これをアプリケーション部１０２の機能により展開（レンダリング）してモニタに表示画面を表示する(ステップＳ１０３)。ここで、サムネイル一覧ビュー３０２における個々の表示画像の表示領域情報と表示される対応するサムネイル画像の画像サイズが異なる場合、サムネイル画像は、表示領域情報により示された表示領域内のサイズとサムネイル画像の画像サイズとが同一となるようにサムネイル画像に対して変倍処理を行う。
【００５５】
クライアント１００のユーザは、モニタに表示された表示画面を閲覧し、所望の画像を探す目的で、スライダ３０５、３０６を操作して表示領域を変更する指示や、スライダ３０４を操作して表示倍率を変更する指示の入力を行うことができる。なお、スライダ３０４〜３０６の操作は、マウス等の入力デバイスを介して行われる。
【００５６】
クライアント１００は、入力デバイス部１０３の機能により、表示領域を変更する指示や表示倍率を変更する指示の入力を受け付けると（ステップＳ１０４）、指示された表示倍率や、表示領域を指定する情報を含む画面制御データをサーバ１１０へ送信する（ステップＳ１０５）。
【００５７】
サーバ１１０は、画面制御データを受信すると、当該画面制御データに含まれる表示倍率や表示領域の大きさに従ってサムネイル一覧ビューを変更し、これを含む表示画情報をクライアント１００へ送信する（ステップＳ１０６）。サーバ１１０がサムネイル一覧ビューを変更する処理の手順については後述する。
【００５８】
クライアント１００は、サーバ１１０から表示画面情報を受信すると、ステップＳ１０３と同様にして、モニタに表示画面を表示する(ステップＳ１０７)。ユーザは、この表示画面を閲覧しても所望の画像を見つけることができない場合、上述した表示領域を変更する指示入力や表示倍率を変更する指示入力を行うと、ステップＳ１０４〜Ｓ１０７の処理が繰り返される。
【００５９】
次に、サーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順について説明する。この処理は、サムネイル一覧ビューを変更する処理も兼ねる。図１０は、サーバ１１０がサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。サーバ１１０は、クライアント１００から送信された画面制御データを受信すると（上述の図７のステップＳ１０６）、当該画面制御データに含まれる表示倍率や表示領域の大きさに従って、表示倍率とサムネイル一覧ビューの表示領域とを設定する（ステップＳ２０１）。なお、初期画面を生成する場合は、サーバ１１０は表示倍率とサムネイル一覧ビューの表示領域３０７とは予め定められた初期値を設定する。
【００６０】
次に、サーバ１１０は、表示倍率に応じて表示に使用するサムネイル画像の画像サイズを設定する（ステップＳ２０２）。そして、サーバ１１０は、サムネイル一覧ビューの表示領域３０７内に含まれる画像に対応し且つステップＳ２０２で設定された画像サイズのサムネイル画像を選択する（ステップＳ２０３）。例えば、図６に示したサムネイル種「Ｓａｍ１」〜「Ｓａｍ８」のいずれかの画像サイズが設定される。例えば、表示倍率に対応するサムネイル画像の長辺のサイズが「２５」である場合、サムネイル種「Ｓａｍ１」のサムネイル画像が選択される。
【００６１】
なお、ユーザは表示倍率が指定するのではなく、サムネイル画像の画像サイズ自体を指定するようにし、サーバ１１０は指定された画像サイズを用いてサムネイル画像を選択するようにしても良い。また、表示倍率に対応する画像サイズに該当する画像サイズのサムネイル画像がない場合には、予め定められたルールで適当な画像サイズのサムネイル画像を選択すれば良い。例えば、表示倍率に対応する画像サイズに最も近い画像サイズのサムネイル画像を選択する、もしくは、対応する画像サイズよりも小さい画像サイズのサムネイル画像を選択する（この場合、データ転送量が減少する効果がある）等すれば良い。
【００６２】
続いて、サーバ１１０は、選択したサムネイル画像を用いて、サムネイル一覧ビューの表示領域内の画像（表示領域画像）を生成する（ステップＳ２０４）。なお、サムネイル一覧ビュー内の表示領域画像を、ビットマップデータとする方法もあるが、ＨＴＭＬにて一般的に行われるように、当該表示領域画像に含まれる画像の座標情報とリンク情報とを構造化文書に記載する方法が一般的である。この場合、構造化文書と表示領域画像に含まれる各サムネイル画像とをサーバ１１０からクライアント１００へ転送する必要がある。
【００６３】
以上のようにして生成されたサムネイル一覧ビューを含むサムネイル一覧表示画面（表示画面）は、上述の図７のステップＳ１０７で、表示画面情報としてクライアント１００により受信され、レンダリングされてモニタに表示される。
【００６４】
ここで、クライアント１００のモニタに表示されたサムネイル一覧表示画面においてサムネイル画像を拡大表示させる動作について説明する。図１１〜１５は、サムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を各々例示する図である。特に、図１４は、プレビューサイズのサムネイル画像が表示されたサムネイル一覧表示画面を例示する図である。ユーザは、サムネイル一覧表示画面において、スライダ３０５〜３０６を使用して、サムネイル一覧ビュー３０２内に表示されている複数のサムネイル画像の中から検索対象の候補の画像を画面中央へ表示させ（図１１）、スライダ３０４を使用して表示倍率を徐々に上げていく過程で（図１２〜１３）、周囲の画像等との比較や画像内容の確認を実施しながら検索対象の画像かどうかを確認することができる。ここでユーザはある画像が検索対象の画像に近い画像であると認識した場合は、最終的な確認のために詳細なレイアウトの確認と文字の簡単な判読とを行いたいとする。この場合、ユーザはスライダ３０５〜３０６を使用して、図１３の状態から表示倍率を更に上げて図１４のプレビューサイズのサムネイル画像を表示させることにより、詳細なレイアウトの確認と文字の簡単な判読とを行うことが可能である。もし、このプレビューサイズで文字の判読性が悪ければ、ユーザは、表示倍率を更に上げて、図１５に示されるように、画像がサムネイル一覧ビュー３０２からはみ出した状態、即ち、画像の一部のみがサムネイル一覧ビュー３０２に表示される状態のサムネイル一覧画面を表示させることにより、文字の判読性を良くすることができる。そして、ユーザは、この画像が検索対象の画像でないと確認できた場合は、表示倍率を下げて、検索対象の候補の画像を再度検索すれば良い。一方、この画像が検索対象の画像であった場合は、ユーザは図１５に示されるサムネイル一覧ビューの状態で画像内容を詳細に確認することができる。尚、レイアウトの確認はプレビューサイズの表示倍率で十分に行うことができる程度にプレビューサイズを予め設定することが望ましい。このように設定しないと、ユーザが画像の確認をする際に表示倍率を変更させる頻度が増加して検索効率が低下する恐れがあるからである。
【００６５】
以上のような構成によれば、ビューア等の機能を利用して別ウィンドウを開くことなく軽快に、かつ連続して複数の画像の内容を確認しながら検索することが可能である。また表示倍率に応じてサムネイル画像の画像サイズを変更して、サムネイル画像の精細度を変更しているため、表示倍率を上げていくたびに画質が落ちることなく画像内容の確認が可能となる。また、表示の基準となる画像サイズとしてプレビューサイズを予め設定しておき、そのプレビューサイズに適合した大きさのサムネイル画像を生成しているので、最も重要性が高く使用頻度の高い表示倍率に合わせた画像サイズにてサムネイル画像のプレビューを行うことが可能となる。更に、表示倍率に応じた表示サイズとサムネイル画像の画像サイズとを１対１に対応させることで、クライアント１００においてサムネイル画像の変倍処理を行う必要がないため、高画質なプレビューを行うことが可能となる。従って、サムネイル画像をフリーズーム可能に一覧表示する場合に、画像の検索の効率性及び検索時における生産性をより向上させることができる。
【００６６】
ここで、本実施の形態における効果について図１６〜１８を参照しながら説明する。図１６は、クライアント１００のモニタに表示する際に、拡大が生じた場合のサムネイル画像（画像サイズ＜表示サイズ）を例示する図である。図１７は、縮小が生じた場合のサムネイル画像（画像サイズ＞表示サイズ）を例示する図である。図１８は、拡大又は縮小が生じない場合のサムネイル画像（画像サイズ及び表示サイズが１対１対応）を例示する図である。図１６では、拡大によるボケが生じていることが示されている。図１７では、縮小による線切れや線消え（薄くなる場合も含む）が生じていることが示されている。即ち、図１６〜１７に示される画像は、図１８に示される画像と比較して文字の判読性が落ちていることが分かる。
【００６７】
また、本実施の形態においては、サーバ１１０が原画像毎に異なる複数の画像サイズのサムネイル画像を保持しているので、ユーザが画像内容を簡易に確認する場合に表示倍率に応じた画像サイズのサムネイル画像をクライアント１００に転送するので、必要以上に大きな画像サイズの画像をクライアント１００に転送する必要がない。従って、ユーザが画像内容を確認するまでのデータ転送量及び転送時間を低減可能であり、検索時における生産性を向上させることが可能となる。
【００６８】
また、サムネイル画像の数が非常に多いサムネイル一覧表示画面を表示する場合は、一般的に使用されるよりも小さい画像サイズのサムネイル画像を使用可能である。このため、このようなサムネイル画像の転送により、転送時間を低減可能であり、生産性を向上させることができる。また、サムネイル一覧表示画面の表示領域内のサムネイル画像のみを転送するため、画像サイズの大きなサムネイル画像を転送する場合であっても転送時間を低減可能であり生産性を向上させることができる。
【００６９】
尚、本実施の形態においては、プレビューサイズ以外のサムネイル画像の画像サイズを、プレビューサイズの２のべき乗倍、または２のべき乗分の１としたが、これに限定されない。但し、このように限定することにより、第２変倍処理部４０３が４×４画素から一つの画素を生成すれば良いだけとなるので、構成が簡単となる。このため、第２変倍処理部４０３をハードウェアで実現する場合には、コストを低減することができる。第２変倍処理部４０３をソフトウェアで実現する場合には、サムネイル画像の生成時の処理の高速化や処理コストの低減を実現することができる。
【００７０】
[第２の実施の形態]
次に、画像処理システムの第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００７１】
上述の第１の実施の形態では、サムネイル画像の配置について特に限定せずに説明を行った。しかし、サムネイル一覧表示画面において画像を検索する場合には、属性の近い画像同士が近くに配置されている方が検索効率が向上する。そこで、本実施の形態においては、検索効率を向上すべく、同じ属性を有する画像毎に分類する分類処理を行い、分類の態様を画面上で表現する。なお、説明の便宜上、本実施の形態で表示の対象とする画像は、オフィスで使用頻度の高い文書画像とする。
【００７２】
（１）構成
図１９は、本実施の形態にかかる画像処理システムの構成を示すブロック図である。本実施の形態にかかる画像処理システムの構成は、上述の第１の実施の形態にかかる画像処理システムの構成とは以下の点で異なる。サーバ１１０は、分類部１１５を有する。分類部１１５は、画像の特徴量を算出し所定のカテゴリに分類する分類処理を行う。文書画像に対するクラスタリングや分類処理には、数々の従来技術が存在し、ここでは分類処理の形態は問わないため、その詳細な説明は割愛する。分類処理の好適な例は、例えば、特願２００６−１１２９１２号に示される。これに示される分類処理方式によれば、文書画像から複数の特徴量を算出し、この特徴量に基づいて、当該画像のカテゴリを識別して当該画像を分類する分類処理を行う。識別するカテゴリの種類としては、例えば、色、形状、レイアウト、文書タイプなどである。
【００７３】
（２）動作
次に、本実施の形態にかかる画像登録動作の流れについて説明する。図２０は、画像登録動作の流れを示すシーケンスチャートである。上述の第１の実施の形態で説明した画像登録動作（図４）と異なる点は、ステップＳ４である。ステップＳ４では、サーバ１１０は、登録画像から複数の特徴量を算出し、この特徴量に基づいて、当該画像のカテゴリを識別して当該画像を分類する分類処理を行う。そして、サーバ１１０は、識別されたカテゴリを表すカテゴリデータを当該登録画像と対応つけて画像ＤＢ１１４に登録する。また、サーバ１１０は、当該カテゴリーデータを、ステップＳ３で生成して画像ＤＢ１１４に記憶させたサムネイル画像とも対応付ける。
【００７４】
このように識別されたカテゴリは、サムネイル一覧ビュー３０２におけるサムネイル画像の配置に使用される。例えば、上述の図７のステップＳ１０２で、サーバ１１０が、サムネイル一覧ビュー３０２の初期画面を生成する際、同じカテゴリを表すカテゴリーデータが対応付けられたサムネイル画像が近隣となるよう各サムネイル画像の配置を決定して、サムネイル一覧ビューの表示領域内の画像（表示領域画像）を生成する。また、例えば、画像登録時に、サーバ１１０は、サムネイル画像のカテゴリに応じた配置を決定し、その配置を表す配置情報（サムネイル一覧ビュー上における各画像の位置座標）を保持しておき、これを用いてサムネイル一覧ビュー３０２の表示領域画像を生成するようにしても良い。この場合、サムネイル画像の表示までの処理時間を早くすることが可能である。
【００７５】
尚、サーバ１１０は、分類処理において、カテゴリを階層的に識別するようにしても良い。例えば、大分類、大分類を細分化した中分類、中分類を細分化した小分類などの階層を有するようにカテゴリを識別しても良い。
【００７６】
図２１〜２２は、サムネイル一覧画面の初期画面を各々例示する図である。同図中符号３１１は、カテゴリの境界を示している。図２１は、カテゴリの大分類として文書タイプ毎に分類されている態様を示している。図２２は、例えば、図２１に示される「プレゼン」に分類される画像の中分類として色毎に分類されている態様を示している。色は例えば画像の背景色により分類される。更に小分類としてレイアウトや形状に分類されていても良い。尚、同図においては、各カテゴリの名称を文字で表示しているが、これを表示しなくても良い。
【００７７】
このように、カテゴリ毎にまとめてサムネイル画像を配置し、その画質を落とさずに表示倍率を上げることが可能であり、ユーザは画像を認識しやすくなると共に、画像をより効率的に検索することができる。
【００７８】
尚、サムネイル一覧画面の初期画面におけるサムネイル画像の画像サイズを固定している場合、サムネイル画像の数が多くなるとサムネイル画像を一画面に表示しきれなくなる場合がある。このような場合は、初期画面では、カテゴリ毎に分類して配置するサムネイル画像の代わりに、点や色、画素の濃度等で擬似的に表現するように構成しても良い。
【００７９】
[第３の実施の形態]
次に、画像処理システムの第３の実施の形態について説明する。なお、上述の第１の実施の形態又は第２の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【００８０】
上述の第１の実施の形態及び第２の実施の形態においては、登録画像毎に画像サイズの異なる複数のサムネイル画像を生成するように構成した。しかし、画像ＤＢ１１４の蓄積容量に限度があることを鑑みると、蓄積するデータ量が増えるのは好ましくない。このため、本実施の形態においては、登録画像を階層符号化により圧縮した符号データを画像ＤＢ１１４に記憶させる。
【００８１】
（１）構成
図２３は、本実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。本実施の形態にかかるサムネイル生成部１１３の構成は、上述の第１の実施の形態にかかるサムネイル生成部１１３の構成とは以下の点で異なる。サムネイル生成部１１３は、第２変倍処理部４０３を有さず、階層符号化部４１０を有する。階層符号化部４１０は、第１変倍処理部４０２が変倍して生成した最大サイズのサムネイル画像を階層符号化する。本実施の形態においては、画像ＤＢ１１４に記憶されるサムネイル画像は階層符号化されたもののみとなる。階層符号化されたサムネイル画像（階層符号化サムネイル）の符号データ全てを復号すると、最大サイズのサムネイル画像が復号され、階層符号化サムネイルの符号データの一部を復号すると、解像度の異なるサムネイル画像が復号される。なお、復号されるサムネイル画像は最大サイズの２のべき乗分の１（例えば１／２、１／４．．．）となる。階層符号化部４１０が画像を階層符号化する階層符号化処理については後述する。
【００８２】
（２）動作
次に、サーバ１１０がサムネイル画像を生成する処理の手順について説明する。本実施の形態においては、サーバ１１０は、図５のステップＳ１０〜Ｓ１１を行い、その後、ステップＳ１２〜Ｓ１３の処理を行わず、最大サイズのサムネイル画像を階層符号化して、
この符号データ（階層符号化サムネイル）を画像ＤＢ１１４に記憶させる。
【００８３】
次に、サーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順について説明する。図２４は、サーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。サーバ１１０は、上述の第１の実施の形態と同様にして、ステップＳ２０１で、画面制御データに従って、表示倍率とサムネイル一覧ビューの表示領域３０７とを設定した後、設定した表示倍率に応じて、表示に使用する解像度レベルを設定する（ステップＳ３０２）。次いで、サーバ１１０は、サムネイル一覧ビューの表示領域３０７内に含まれる画像に対応して画像ＤＢ１１４に記憶されている階層符号化サムネイルを選択する（ステップＳ３０３）。次いで、サーバ１１０は、ステップＳ３０３で選択した階層符号化サムネイルを、ステップＳ３０２で設定した解像度レベルに基づいて復号して、サムネイル画像を生成し、サムネイル一覧ビューの表示領域内の画像（表示領域画像）を生成する（ステップＳ３０４）。
【００８４】
以上のようにして、画像サイズの異なる複数のサムネイル画像を生成する代わりに、最大サイズのサムネイル画像を階層符号化して、この符号データの全部又は一部を復号することにより、解像度の異なるサムネイル画像を生成する。この結果、最大サイズのサムネイル画像を階層符号化した符号データ（階層符号化サムネイル）のみ画像ＤＢ１１４に記憶させれば良いことになる。このため、画像ＤＢ１１４へ記憶させるデータ量を削減可能となる。
【００８５】
＜階層符号化処理＞
ここで、階層符号化部４１０が行う階層符号化処理について説明する。階層符号化方式は、数々の従来技術が存在し、本実施の形態において採用する方式は限定されない。好適な例としてＩＳＯのＩＳ１５４４４−１、いわゆるＪＰＥＧ２０００の基本方式(ｐａｒｔ１)が知られている。以下、JPEG2000part1の符号化方式とプログレッシブ順序の概要を説明する。なお、詳細はＩＳ１５４４４−１を参照されたい。
【００８６】
図２５は、JPEG2000part1(以下JPEG2000)における階層符号化処理の手順を示すブロック図である。なお、ここでは入力される画像データとしてカラーのRed,Green,Blue(以下RGB)の画像データの例を説明する。入力されたRGBの画像データは、タイリング処理部３０１０にてタイルと呼ばれる矩形のブロック単位で入力される。ラスタ形式の画像データが入力された場合は、タイリング処理部３０１０においてラスタ/ブロック変換を行う。JPEG2000におけるタイルは、タイル単位に独立して符号化、復号化が可能となっておりハードウェアにより符号化、復号化を行う上では、ハード量の削減効果があるとともに、必要なタイルのみ復号して表示することも可能となるなどJPEG2000における多機能化の一翼を担っている。なお、JPEG2000ではタイリングはオプションであり、タイリングを行うのは任意となっているが、タイリングを行わない場合は、タイル数１として扱われる。次に画像データは色変換処理部３０２０にて、輝度/色差系の信号に変換される。JPEG2000では離散ウェーブレット変換(以下DWT)に使用するフィルタの種類(5x3と9x7の2通り)によって2通りの色変換が定められており、例えば可逆変換可能な5x3フィルタを使用する場合は、式１によって可逆の色変換を行う。
【００８７】
【数１】
【００８８】
なお、上記の色変換に先立ち、RGB各々の信号毎にDCレベルシフトが行われる。DCレベルシフトは、例えば入力RGB信号が8bitの場合は、式２にて表される。
【００８９】
Ｒ´＝Ｒ−１２８ ・・・・式２
【００９０】
色変換後の信号は、DWT処理部３０３０において各々のコンポーネント毎にDWTが行われ、ウェーブレット係数が出力される。DWTは2次元にて行われるが、通常は、リフティング演算と呼ばれる演算方法により1次元フィルタ演算のコンボリューションにて実施される。１次元の変換式を式３に示す。
【００９１】
【数２】
【００９２】
なお、DWTは、ダウンサンプリングを伴うため、上記L(k)、H(k)は入力画像と比較して1/2の解像度となる。
【００９３】
図２６は、デコンポジションレベルと解像度レベルとの関係を表す模式図である。DWTは、１デコンポジション(分解)レベル毎にLL,HL,LH,HHの４つのサブバンドと呼ばれる方向成分が出力され、LLに対してDWTを再帰的に行う事によってより低解像度へとデコンポジションレベルをあげていく。解像度の最も高い１デコンポジションレベルの係数を1HL,1LH,1HHと表し、以下2HL,2LH・・・nHHと表す。なお、同図は、３デコンポジションレベルに分割した例を示す。一方解像度レベルは、デコンポジションレベルとは逆方向に解像度の低い係数から０，１，２，３というように呼ばれる。
【００９４】
各デコンポジションレベルにおけるサブバンド内は、プレシンクトと呼ばれる領域に分割して符号の集合を形成する事が可能となっている。また、符号化はコードブロックとよばれる所定のブロック単位にて実施されることになる。図２７は、タイル内ウェーブレット係数におけるタイル、プレシンクトおよびコードブロックの関係を示す図である。
【００９５】
DWT処理部３０３０から出力されたウェーブレット係数は、量子化部３０４０によってスカラー量子化が行われるが、可逆変換を実施する場合にはスカラー量子化は行わないか“１”により量子化する。また、後段のポスト量子化においても、量子化とほぼ同様な効果が得られる。なお、スカラー量子化はタイル単位にパラメータを変更可能となっている。
量子化部３０４０から出力された量子化データは、エントロピー符号化部３０５０にてエントロピー符号化が行われる。JPEG2000におけるエントロピー符号化方式は、サブバンド内をコードブロックと呼ばれる矩形領域に分割(但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない。)しコードブロック単位に符号化される。
【００９６】
図２８は、ビットプレーンを示す図である。コードブロック内のデータは、同図に示したごとくにビットプレーンに分解された後、ビットプレーンを変換係数の画質への影響度を表す状態に従って３つのパス(Significance propagationパス,Magnitude refinementパス,Clean upパス)に分割し、各々でMQコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはMSB側、符号化パスはSignificance propagation、Magnitude refinement、Clean upの順に重要度(画質への寄与度)が高くなっている。また、各パスの終端は、切り捨て点(トランケーションポイント)とも呼ばれ後段でのポスト量子化の符号の切り捨て可能な単位となっている。
【００９７】
エントロピー符号化された符号データをポスト量子化部３０６０にて必要に応じて符号を切り捨てる。なお、可逆の符号を出力する必要がある場合には、ポスト量子化は実行しない。JPEG2000は、符号化後に符号量を切り捨て可能なことによって、符号量の制御にフィードバックを必要としない構成(１パスの符号化)となっており、特徴の１つとなっている。ポスト量子化後の符号データは、符号ストリーム生成処理部３０７０にて、所定のプログレッシブ順序(符号データの復号順序)に従って符号の並べ替えとヘッダの付加を行い当該タイル分の符号ストリームが完成する。
【００９８】
図２９は、JPEG2000におけるレイヤプログレッションによる符号ストリーム全体を表した図である。全体符号は、メインヘッダと画像を分割した複数のタイルで構成される。タイル符号は、タイルヘッダとタイル内符号をレイヤとよばれる符号単位(詳細は後述する)に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように下位レイヤから順番に並んでいる。レイヤ符号の構成は、レイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。パケットは、符号データの最小単位であり、１つのタイルコンポーネント内の１つの解像度レベル(デコンポジションレベル)における１つのプレシンクト内の１つのレイヤの符号データから成っている。
【００９９】
次にJPEG2000におけるプログレッシブ順序について説明する。JPEG2000では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という４つの画像の要素の優先順位を変更することによって以下に示す５通りのプログレッションが定義されている。
【０１００】
(a)LRCPプログレッション
プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
【０１０１】
(b)RLCPプログレッション
プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
【０１０２】
(c)RPCLプログレッション
レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
【０１０３】
(d)PCRLプログレッション
レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
【０１０４】
(e)CPRLプログレッション
レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
【０１０５】
図３０は、LRCPプログレッション(以下レイヤプログレッション)のプログレッシブ順序を模式的に表した図である。図３１は、RLCPプログレッションまたはRPCLプログレッション(以下解像度プログレッション)のプログレッシブ順序を模式的に表した図である。図３０，３１とも横軸はデコンポジションレベル(数字が高いほど低解像度)、縦軸はレイヤ番号(数字が高いほど上位レイヤであり、下位レイヤに上位レイヤの符号を付加して復号することによってより高画質な再生が可能となる)である。図中、塗りつぶされた長方形の図形は、当該デコンポジションレベル、レイヤにおける符号を表し、その大きさは符号量の割合を模式的に表している。図中の点線の矢印は、符号順序を表している。
【０１０６】
図３０は、レイヤプログレッションに復号する符号順序を表しており、同一レイヤ番号の全ての解像度の復号を行って次段の上位レイヤの復号を行う。ウェーブレット係数レベルでみれば、係数の上位bitから復号を行うことになり、徐々に画質が向上するプログレッションが実現可能となっている。図３１は、解像度プログレッションに復号する符号順序を表しており、同一デコンポジション(解像度)レベルの全てのレイヤの復号を行って次段のデコンポジション(解像度)レベルの復号を行うことになり、徐々に解像度が向上するプログレッションが実現可能となっている。
【０１０７】
本実施の形態においては、以上のようなＪＰＥＧ２０００に代表される階層符号化方式により、登録画像を階層符号化することにより、上述したように、図２４のステップＳ３０３にてサムネイル画像の画像サイズに適合する解像度の解像度レベルに基づいて、解像度の異なる複数のサムネイル画像を生成することができる。なお、図３０，３１は３階層の例を示しているが、実際にはさらに多くの階層数を持つことができる。この階層が多いほど、サムネイル一覧ビューの表示領域３０７内に表示されるサムネイル画像の数が多い場合のデータ転送量の削減効果が大きくなる。なお、階層数の決定方法としては、個々の画像サイズに対応して階層数（デコンポジションレベル数）を決定し、解像度レベル０を復号した場合の画像サイズが略同一となるようにする事が望ましい。
【０１０８】
[第４の実施の形態]
次に、画像処理システムの第４の実施の形態について説明する。なお、上述の第１の実施の形態、第２の実施の形態又は第３の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。
【０１０９】
上述の第３の実施の形態においては、最大サイズのサムネイル画像を階層符号化して、この符号データを画像ＤＢ１１４に記憶させるようにした。しかし、一般的な階層符号化では、符号データから復号可能なサムネイル画像は、最小サイズの２のべき乗倍のみであり、画像サイズの自由度が少ない。このため、復号可能なサムネイル画像の画像サイズの中間の表示サイズで画質劣化の影響が出る場合がある。そこで、本実施の形態においては、プレビューサイズでサムネイル画像を表示する際の高画質を維持しつつ、画像ＤＢ１１４に記憶させるデータ量を削減可能に画像システムを構成する。
【０１１０】
図３２は、本実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。本実施の形態にかかるサムネイル生成部１１３の構成は、上述の第３の実施の形態にかかるサムネイル生成部１１３の構成と以下の点で異なる。サムネイル生成部１１３は、第３変倍処理部４２１と、階層符号化部４２２とを更に有する。
【０１１１】
また、本実施の形態にかかる最大サイズ決定部４０１は、上述の第１の実施の形態と同様にして、予め設定されたプレビューサイズ（表示基準サイズ）と、画像ＤＢ１１４に登録する画像（登録画像）の画像サイズとから、サムネイル画像の第１最大サイズを決定し、これを第１変倍処理部４０２へ出力する。同時に、最大サイズ決定部４０１は、プレビューサイズの１．５倍のサイズを第二の表示基準サイズとし、これと、登録画像の画像サイズとから、サムネイル画像の第２最大サイズを決定し、これを第３変倍処理部４２１へ出力する。第１変倍処理部４０２は、登録画像を第１最大サイズに変倍して、第１最大サイズのサムネイル画像を生成する。階層符号化部４１０は、第１最大サイズのサムネイル画像を階層符号化して、この符号データ（第１階層符号化サムネイル）を画像ＤＢ１１４に記憶させる。一方、第３変倍処理部４２１は、登録画像を第２最大サイズに変倍して、第２最大サイズのサムネイル画像を生成する。階層符号化部４２２は、第２最大サイズのサムネイル画像を階層符号化して、この符号データ（第２階層符号化サムネイル）を画像ＤＢ１１４に記憶させる。
【０１１２】
図３３は、第１階層符号化サムネイル及び第２階層符号化サムネイルを各々復号して生成可能なサムネイル画像の画像サイズを例示する図である。同図に示されるように、第１階層符号化サムネイルから生成可能なサムネイル画像の画像サイズの中間のサイズの画像サイズのサムネイル画像を第２階層符号化サムネイルから生成可能であることが分かる。従って、表示倍率に応じて、第１階層符号化サムネイル及び第２階層符号化サムネイルのうちいずれかを用いてこれを復号することにより、表示倍率に応じた高画質なサムネイル画像を表示可能となる。
【０１１３】
なお、本実施の形態においては、サムネイル生成部１１３が、変倍処理部及び階層符号化処理部の組を２組有するように構成したが、１組の変倍処理部及び階層符号化処理部のみ有し、２つの第１階層符号化サムネイル及び第２階層符号化サムネイルを時系列で生成されるように構成しても良い。また、２つの第１階層符号化サムネイル及び第２階層符号化サムネイルを例示したが、さらに多くの階層符号化サムネイルを生成して、表示可能なサムネイル画像の画像サイズのバリエーションを増やしても良い。
【０１１４】
また、図３３では、非常に小さい画像サイズについても２つの第１階層符号化サムネイル及び第２階層符号化サムネイルが用いられている例を示している。しかし、非常に小さい画像サイズには、画質劣化による問題は生じにくいので、表示倍率がある程度大きくなってからのみ第２階層符号化サムネイルを用いて表示倍率に応じたサムネイル画像を生成するように構成しても良い。
【０１１５】
以上のような構成によれば、表示可能なサムネイル画像の画像サイズを簡易な方法で増やすことが可能となり、より広範囲な表示倍率で高画質なサムネイル画像を表示可能となる。
【０１１６】
また、第二の表示基準サイズをプレビューサイズ（表示基準サイズ）の１．５倍とすることで、プレビューサイズに基づいて生成されるサムネイル画像の画像サイズの中間の画像サイズのサムネイル画像を簡易な方法で生成可能となる。
【０１１７】
[変形例]
また、上述した各実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１１８】
＜変形例１＞
上述した各実施の形態のクライアント１００又はサーバ１１０で実行される各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、当該各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１１９】
＜変形例２＞
上述した各実施の形態において、画像ＤＢ１１４に登録される登録画像は、スキャナやデジタルカメラ等の画像入力装置からサーバ１１０へ直接送信されるように構成しても良い。
【０１２０】
＜変形例３＞
上述の各実施の形態においては、画像ＤＢ１１４においてＩＤやファイル名などを含むメタ情報を登録したり検索可能に管理したりするために、一般的なＲＤＢ（リレーショナルデータベース）を画像ＤＢ１１４として使用すれば良い。また、サムネイル画像及び原画像となる登録画像に対して圧縮符号化等の処理を必要に応じて実施して処理後の画像を画像ＤＢ１１４に記憶させ、メタ情報からのリンクにより各画像を読み込み可能なように、画像ＤＢ１１４を構築すれば良い。また、画像ＤＢ１１４は、例えばＸＭＬ(eXtensible Markup Langage)等の言語を使用し階層的なデータ構造等有するように構築しても良い。画像ＤＢ１１４を複数のサーバに分散させて保持させるように構築しても良い。
【０１２１】
＜変形例４＞
上述の各実施の形態においては、最大サイズ決定部４０１は、登録画像から生成する最大のサムネイル画像の画像サイズ（最大サイズ）を決定するようにしたが、最大のサムネイル画像を生成するための変倍率を決定するようにしても良い。そして、第１変倍処理部４０２は、登録画像を当該変倍率に適合する大きさに変倍して最大のサムネイル画像を生成するようにすれば良い。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施の形態にかかる画像処理システムの構成を示すブロック図である。
【図２】同実施の形態にかかるサムネイル生成部１１３の詳細な機能的構成を示すブロック図である。
【図３】同実施の形態にかかるサーバ１１０のハードウェア構成を示すブロック図である。
【図４】同実施の形態にかかる画像登録動作の流れを示すシーケンスチャートである。
【図５】同実施の形態にかかるサーバ１１０がサムネイル生成部１１３の機能によりサムネイル画像を生成する処理の手順を示すフローチャートである。
【図６】同実施の形態にかかるプレビューサイズとサムネイルサイズとを例示する図である。
【図７】同実施の形態にかかる画像検索動作の流れを示すフローチャートである。
【図８】同実施の形態にかかるサムネイル一覧表示画面の一例を示した図である。
【図９】同実施の形態にかかるサムネイル一覧ビュー３０２を表す図である。
【図１０】同実施の形態にかかるサーバ１１０がサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。
【図１１】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１２】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１３】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１４】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１５】同実施の形態にかかるサムネイル画像を拡大表示させる過程で表示されるサムネイル一覧表示画面を例示する図である。
【図１６】同実施の形態にかかるクライアント１００のモニタに表示する際に、拡大が生じた場合のサムネイル画像（画像サイズ＜表示サイズ）を例示する図である。
【図１７】同実施の形態にかかるクライアント１００のモニタに表示する際に、縮小が生じた場合のサムネイル画像（画像サイズ＞表示サイズ）を例示する図である。
【図１８】同実施の形態にかかるクライアント１００のモニタに表示する際に、拡大又は縮小が生じない場合のサムネイル画像（画像サイズ及び表示サイズが１対１対応）を例示する図である。
【図１９】本発明の第２の実施の形態にかかる画像処理システムの構成を示すブロック図である。
【図２０】同実施の形態にかかる画像登録動作の流れを示すシーケンスチャートである。
【図２１】同実施の形態にかかるサムネイル一覧画面の初期画面を例示する図である。
【図２２】同実施の形態にかかるサムネイル一覧画面の初期画面を例示する図である。
【図２３】本発明の第３の実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。
【図２４】同実施の形態にかかるサーバ１１０がサムネイル一覧表示画面のサムネイル一覧ビューを生成する処理の手順を示すフローチャートである。
【図２５】JPEG2000part1(以下JPEG2000)における階層符号化処理の手順を示すブロック図である。
【図２６】デコンポジションレベルと解像度レベルとの関係を表す模式図である。
【図２７】タイル内ウェーブレット係数におけるタイル、プレシンクトおよびコードブロックの関係を示す図である。
【図２８】ビットプレーンを示す図である。
【図２９】JPEG2000におけるレイヤプログレッションによる符号ストリーム全体を表した図である。
【図３０】LRCPプログレッション(以下レイヤプログレッション)のプログレッシブ順序を模式的に表した図である。
【図３１】RLCPプログレッションまたはRPCLプログレッション(以下解像度プログレッション)のプログレッシブ順序を模式的に表した図である。
【図３２】本発明の第４の実施の形態にかかるサムネイル生成部１１３の構成を例示するブロック図である。
【図３３】同実施の形態にかかる第１階層符号化サムネイル及び第２階層符号化サムネイルを各々復号して生成可能なサムネイル画像の画像サイズを例示する図である。
【符号の説明】
【０１２３】
１００ クライアント（情報処理装置）
１０１ 表示デバイス部（表示手段）
１０２ アプリケーション部
１０３ 入力デバイス部
１０４ 外部通信路
１１０ サーバ（画像処理装置）
１１１ 外部Ｉ／Ｆ部
１１３ サムネイル生成部（生成手段）
１１４ 画像ＤＢ（画像記憶手段）
１１５ 分類部
１１８ 表示画面制御部（画面制御手段）
２０１ ＣＰＵ（制御手段）
２０２ メモリ
２０３ ＨＤＤ
２０４ ビデオメモリ
２０５ モニタ
２０６ 入力デバイス
２０７ 外部Ｉ／Ｆ
２０８ 通信バス
４０１ 最大サイズ決定部（決定手段）
４０２ 第１変倍処理部（第１変倍処理手段）
４０３ 第２変倍処理部（第２変倍処理手段）
４１０ 階層符号化部（階層符号化手段）
４２１ 第３変倍処理部（第１変倍処理手段）
４２２ 階層符号化部
３０１０ タイリング処理部
３０２０ 色変換処理部
３０３０ ＤＷＴ処理部
３０４０ 量子化部
３０５０ エントロピー符号化部
３０６０ ポスト量子化部
３０７０ 符号ストリーム生成処理部
【特許請求の範囲】
【請求項１】
画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成手段と、
前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信手段と、
前記受信手段が受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御手段と、
前記表示画面情報を前記情報処理装置に送信する送信手段とを備え、
前記生成手段は、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、
前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、
前記第１変倍処理手段が生成した前記最大サムネイル画像を縮小して第２サムネイル画像を生成する第２変倍処理手段とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２変倍処理手段は、前記最大サムネイル画像を異なる複数の変倍率で各々縮小して複数の前記第２サムネイル画像を生成する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、
前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、
前記最大サムネイル画像を階層符号化する階層符号化手段とを備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化する
ことを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項８】
前記生成手段は、前記第１表示基準サイズとは異なる第２表示基準サイズの第２基準サムネイル画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記決定手段は、前記最大の画像サイズ又は前記最大の変倍率のうち一方を決定すると共に、前記第２表示基準サイズと前記画像の画像サイズとに基づいて、前記最大の画像サイズ又は前記最大の変倍率とは異なる第２の最大の画像サイズ又は第２の最大の変倍率のうち一方を決定し、
前記第１変倍処理手段は、前記最大サムネイル画像を生成すると共に、前記画像を前記第２の最大の画像サイズ又は前記第２の最大の変倍率に適合する大きさに変倍して第２最大サムネイル画像を生成し、
前記階層符号化手段は、前記最大サムネイル画像及び前記第２最大サムネイル画像を各々階層符号化する
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が復号されるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に前記第２表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズであり各々異なる複数の画像サイズのサムネイル画像が各々復号されるように、前記第２最大サムネイル画像を階層符号化する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記第２最大サムネイル画像を階層符号化する
ことを特徴とする請求項９又は請求項１０に記載の画像処理装置。
【請求項１２】
前記第２表示基準サイズは、前記第１表示基準サイズの略１．５倍または略１．５分の１倍である
ことを特徴とする請求項７乃至請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記生成手段は、生成した前記サムネイル画像を前記画像記憶手段に記憶させ、
前記画面制御手段は、前記受信手段が前記画面制御情報を受信したときに、当該画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を前記画像記憶手段から選択し、選択した前記サムネイル画像を含む表示画面情報を生成する
ことを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記受信手段は、前記画像を前記情報処理装置から受信し、
前記受信手段が受信した前記画像を前記画像記憶手段に記憶させる制御手段を更に備える
ことを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記受信手段が受信した前記画像を分析して、所定のカテゴリに分類する分類手段を更に備え、
前記制御手段は、前記画像の属するカテゴリを表す分類情報を当該画像と対応付けて前記画像記憶手段に記憶させる
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記制御手段は、前記生成手段が前記画像を用いて生成した前記サムネイル画像と、当該画像の前記分類情報と対応付けて前記画像記憶手段に記憶させる
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記画像サイズは、画素数により表される
ことを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記画像サイズは、解像度により表される
ことを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１９】
画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成ステップと、
前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信ステップと、
前記受信ステップで受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御ステップと、
前記表示画面情報を前記情報処理装置に送信する送信ステップとを含み、
前記生成ステップでは、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成する
ことを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載された画像処理方法をコンピュータで実行させることを特徴とする画像処理プログラム。
【請求項１】
画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成手段と、
前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信手段と、
前記受信手段が受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御手段と、
前記表示画面情報を前記情報処理装置に送信する送信手段とを備え、
前記生成手段は、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、
前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、
前記第１変倍処理手段が生成した前記最大サムネイル画像を縮小して第２サムネイル画像を生成する第２変倍処理手段とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２変倍処理手段は、前記最大サムネイル画像を異なる複数の変倍率で各々縮小して複数の前記第２サムネイル画像を生成する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、
前記第１表示基準サイズと前記画像の画像サイズとに基づいて、生成する前記サムネイル画像の最大の画像サイズ又最大の変倍率のうち一方を決定する決定手段と、
前記画像を前記決定手段が決定した前記最大の画像サイズ又は前記最大の変倍率に適合する大きさに変倍して最大サムネイル画像を生成する第１変倍処理手段と、
前記最大サムネイル画像を階層符号化する階層符号化手段とを備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化する
ことを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項８】
前記生成手段は、前記第１表示基準サイズとは異なる第２表示基準サイズの第２基準サムネイル画像を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記決定手段は、前記最大の画像サイズ又は前記最大の変倍率のうち一方を決定すると共に、前記第２表示基準サイズと前記画像の画像サイズとに基づいて、前記最大の画像サイズ又は前記最大の変倍率とは異なる第２の最大の画像サイズ又は第２の最大の変倍率のうち一方を決定し、
前記第１変倍処理手段は、前記最大サムネイル画像を生成すると共に、前記画像を前記第２の最大の画像サイズ又は前記第２の最大の変倍率に適合する大きさに変倍して第２最大サムネイル画像を生成し、
前記階層符号化手段は、前記最大サムネイル画像及び前記第２最大サムネイル画像を各々階層符号化する
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記階層符号化手段は、一部又は全部を復号した場合に前記第１表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズのサムネイル画像が復号されるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に前記第２表示基準サイズの略２のべき乗倍及び略２のべき乗分の１のうち少なくとも一方の画像サイズであり各々異なる複数の画像サイズのサムネイル画像が各々復号されるように、前記第２最大サムネイル画像を階層符号化する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記階層符号化手段は、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記最大サムネイル画像を階層符号化し、一部又は全部を復号した場合に異なる複数の画像サイズのサムネイル画像が得られるように、前記第２最大サムネイル画像を階層符号化する
ことを特徴とする請求項９又は請求項１０に記載の画像処理装置。
【請求項１２】
前記第２表示基準サイズは、前記第１表示基準サイズの略１．５倍または略１．５分の１倍である
ことを特徴とする請求項７乃至請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記生成手段は、生成した前記サムネイル画像を前記画像記憶手段に記憶させ、
前記画面制御手段は、前記受信手段が前記画面制御情報を受信したときに、当該画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を前記画像記憶手段から選択し、選択した前記サムネイル画像を含む表示画面情報を生成する
ことを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記受信手段は、前記画像を前記情報処理装置から受信し、
前記受信手段が受信した前記画像を前記画像記憶手段に記憶させる制御手段を更に備える
ことを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記受信手段が受信した前記画像を分析して、所定のカテゴリに分類する分類手段を更に備え、
前記制御手段は、前記画像の属するカテゴリを表す分類情報を当該画像と対応付けて前記画像記憶手段に記憶させる
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記制御手段は、前記生成手段が前記画像を用いて生成した前記サムネイル画像と、当該画像の前記分類情報と対応付けて前記画像記憶手段に記憶させる
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記画像サイズは、画素数により表される
ことを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記画像サイズは、解像度により表される
ことを特徴とする請求項１乃至請求項１６のいずれか一項に記載の画像処理装置。
【請求項１９】
画像記憶手段に記憶されている画像を用いて、当該画像の画像サイズとは異なる複数の画像サイズのサムネイル画像を各々生成する生成ステップと、
前記画像及び前記サムネイル画像のうち少なくとも一方を表示手段に表示させ、当該少なくとも一方の表示倍率を変更する指示入力を受け付ける情報処理装置から、前記表示倍率を指定する画面制御情報を受信する受信ステップと、
前記受信ステップで受信した前記画面制御情報によって指定される前記表示倍率に応じた画像サイズの前記サムネイル画像を選択し、選択した前記サムネイル画像を含む表示画面情報を生成する画面制御ステップと、
前記表示画面情報を前記情報処理装置に送信する送信ステップとを含み、
前記生成ステップでは、前記表示手段の表示領域のサイズ以下に予め設定された第１表示基準サイズの基準サムネイル画像を少なくとも生成する
ことを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載された画像処理方法をコンピュータで実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２００９−９３３４（Ｐ２００９−９３３４Ａ）
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願番号】特願２００７−１６９６３４（Ｐ２００７−１６９６３４）
【出願日】平成１９年６月２７日（２００７．６．２７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年１月１５日（２００９．１．１５）
【国際特許分類】
【出願日】平成１９年６月２７日（２００７．６．２７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]