説明

画像処理装置

【課題】複数の領域に分割された集合画像からなる一覧表示画面上で行われるサムネイルの編集処理を従来のものより高速化すること。
【解決手段】複数のサムネイルを表示するための表示画面119を生成する表示画面生成部118と、マップ上に各サムネイルを配置する画像配置部117と、マップを複数の領域に分割し、分割した領域毎に画像配置部117によって配置されたサムネイルを合成して集約した集合画像121を生成する集合画像生成部116とを備え、画像配置部117は、集合画像121間の境界をまたがるように配置されたサムネイルを特定し、集合画像生成部116は、特定されたサムネイルを1つの集合画像121として生成し、表示画面生成部118は、これら集合画像121から表示画面119を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関し、特に、画像データベースに蓄積された画像データのサムネイルの一覧等のような、複数の画像の一覧を表示画面に表示する画像処理装置に関する。
【背景技術】
【0002】
従来、紙文書をスキャナ等の入力デバイスを使用して電子化する電子ファイリングを行う装置は存在していたが、大量に紙文書を扱う業務用途にとどまっていた。
【0003】
近年、スキャナの低価格化、スキャン機能を搭載したMFP(Multi Function Printer)の普及、および、e−文書法等の法制化により、一般的なオフィスにおいてもハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えてきている。
【0004】
また、電子化された文書画像データ、写真画像データおよびPC(Personal Computer)等のアプリケーションによって作成された文書データ等をデータベース(以下、「DB」という。)化して一元管理する画像DBの用途も併せて増えてきている。例えば、紙文書の原本を保存しておく必要があっても、管理のしやすさ、検索のしやすさという点で画像DBを構築するようになってきている。
【0005】
このような画像DBは、サーバ装置を設置してインターネットやLANを介して多数の人がアクセスする大規模なものから、個人のPC内にDBを構築するパーソナル用途のものまで様々である。また、近年のMFPは、文書を蓄積するHDDを備えており、MFPをベースとした画像DBを構築する例もある。
【0006】
このような画像DB内の画像を閲覧するときに、DB内に複数の画像が蓄積されている場合には、ユーザが目的とする画像を検索する必要がある。画像を検索する場合に、検索対象の画像の画像名(ファイル名)が既知であれば、画像名の一覧から検索することもできるが、多くの場合には、サムネイル一覧表示が使用される。
【0007】
例えば、ユーザに文書画像を検索させる場合には、キーワード検索で検出された候補画像を対象としたサムネイル一覧表示を行い、検索対象画像を選択させたり、最初からサムネイル一覧表示を行って検索対象画像を探し出させたりする方法がとられている。
【0008】
サムネイル一覧表示は、複数の縮小画像を画面上に並べて表示することで、簡易に画像の内容を把握させることを目的としている。一般的に、サムネイル一覧表示は、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度を大きく低下させる。
【0009】
このようなサムネイル一覧表示では、写真画像が対象の場合には、解像度を低下させた縮小画像であっても、その内容をユーザに比較的容易に把握させることができるが、文字中心の文書画像が対象の場合には、ユーザが縮小画像で文字を判読することが困難であるため、文書画像の内容をユーザに把握させることが難しい。
【0010】
このような文書画像を検索させる場合には、ビューア等を使ってユーザに個々の文書画像を拡大表示させて確認させる必要があり、検索時の操作性が非常に悪いという問題がある。
【0011】
また、特にネットワークを介したサーバ・クライアントシステムにおいては、ビューアで画像を表示するときに新たに解像度の高い画像データをサーバからクライアント側に転送する必要があるため、数多く画像を確認させるためには多くの処理時間が必要となり、生産性が低下するという問題がある。
【0012】
また、前述したような画像DBにおいては、蓄積画像数が増えると、そのDBに蓄積されている画像の全容を把握するのが難しいという問題がある。通常のサムネイル一覧表示において、蓄積画像数が数千画像程度になると、それら全てをチェックすることは、ユーザにとって非常に厳しい(つらい)作業になるため、特定の画像が絶対に必要な場合以外には、そのような行為が行われることは通常はなく、また行われたとしても、ランダムに並んだサムネイル一覧からDBの全容を推測することは非常に困難である。
【0013】
これは画像DBのブラックボックス化を示していると考えられ、例えば、WWW(World Wide Web)等のように世界中の莫大な情報を対象とする画像DBにおいては、ユーザが必要とする情報がほぼ確実に存在し得るため、ユーザは安心して検索等を行うが、通常のローカルな画像DBにおいては、「どのような情報がどれだけ蓄積されているか?」という情報は、ユーザの記憶にのみ依存し、その記憶を頼りにユーザがキーワードや日付等により蓄積画像を検索し、所望の情報を得るしかなく、ユーザに忘れられた情報は活用される機会を失うこととなり、画像DBの活用効率を落とす要因になる。
【0014】
上述したような問題に対して、画像を2次元または3次元のマップ上に配置して閲覧利用者が全体俯瞰、ズームおよびスクロール等の機能を使用して地図上を散策するようなイメージで情報空間を散策するマップ探索型の画像閲覧方法が提案されている(例えば、特許文献1参照)。
【0015】
しかし、マップ探索型の画像閲覧方法において、画像DBの全容を把握するためには、DB内に蓄積された画像を一覧させるために一度に多量の表示画像を表示する必要がある。
【0016】
これに対し、マップ探索型の画像閲覧方法において、画像の表示倍率(拡大率)に応じて、サムネイルサイズまたは解像度を変更することにより、サムネイルの精細度を変更し、拡大率を上げても画質が低下することなく内容の確認が可能となるマップ探索型の画像閲覧方法(「フリーズーム可能なマップ探索型画像閲覧方法」ともいう。)が提案されている(例えば、特許文献2参照)。
【0017】
また、複数の画像を貼り付けた集合画像を階層符号化して用いることによって、多くの画像を表示する際にも軽快に動作するマップ探索型の画像閲覧方法が提案されている(例えば、特許文献2参照)。
【0018】
上述したようなこのような従来の技術では、システムが配置した画像配置がユーザの意に沿わない場合が発生することがある。そのような場合、適度にマップ上の画像配置を変更(マップ編集)して、検索性を向上させ操作性を向上させる必要がある。
【0019】
また、よく使用する画像を目立つ位置に配置したり、目立つ(または目立たない)ようにサイズを変更したりして特定の画像に対するアクセスをしやすくする等の用途もある。また、画像の回転角度を修正する等の用途もある。
【0020】
また、画像一覧上の画像配置や表示の態様を簡易に編集するために、画像の仕分けに注目し、仕分ウィンドウ内に割り当てられた仕分ビュー内に、原画像のサムネイル画像を一覧配置して形成されたビュー画像を嵌め込んで、表示画面上に表示させ、仕分ビュー内のサムネイル画像に対して、ユーザに選択操作、移動操作および複写操作を行わせることにより、仕分を行わせるものもある(例えば、特許文献3参照)。
【0021】
これによって、従来のようにスクロールバーを用いなくとも仕分ビュー内に画像が一覧表示されるため、ユーザは、一度に画像を感覚的に把握して仕分ビュー内のサムネイル画像に対して仕分作業を行うことによって、あたかもプリントアウトされた写真を机(仕分ビュー)の上に広げて仕分作業を行うのと同じ感覚で、画像(写真)の仕分を行うことができる。
【0022】
マップ上に画像を配置して画像を閲覧させるマップ探索型画像閲覧方法においては、ユーザによって画像配置等を変更する要求がしばしばある。通常、WWWで用いられるようなHTML(Hyper Text Markup Language)文書を利用した場合には、画像の位置情報と画像データ本体とがリンクされ、クライアント側の別々のブラウザソフトによって扱われるため、画像の位置情報を変更することができる。
【0023】
しかし、前述したような集合画像を使用したマップ探索型の画像閲覧方法においては、集合画像という画像データによって個別画像の位置情報と画像データとが表されるため、容易にマップ上の画像配置を変更出来ないという課題があった。
【0024】
このため、集合画像を使用したマップ探索型画像閲覧方法の表示手法において、ユーザの要求によってマップ上の画像配置や表示の態様を編集可能とするものがある(例えば、特許文献4参照)。
【特許文献1】特開2003−76718号公報
【特許文献2】特願2006−304012号
【特許文献3】特開2005−276163号公報
【特許文献4】特願2008−180338号
【発明の開示】
【発明が解決しようとする課題】
【0025】
しかしながら、特許文献4に開示されたものにおいては、一覧表示画面を複数の領域に分割した際に複数の集合画像同士が関連する場合には、一覧表示画面を領域に分割した効果が生かされず、サムネイルの編集時に速度低下を招くことがあるといった課題があった。
【0026】
本発明は、従来の課題を解決するためになされたもので、複数の領域に分割された集合画像からなる一覧表示画面上で行われるサムネイルの編集処理を従来のものより高速化することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0027】
本発明の画像処理装置は、複数のサムネイルを表示するための一覧表示画面を生成する表示画面生成部を備えた画像処理装置であって、前記一覧表示画面上に前記各サムネイルを配置する画像配置部と、前記一覧表示画面を複数の領域に分割し、分割した領域毎に前記画像配置部によって配置されたサムネイルを合成して集約した集合画像を生成する集合画像生成部と、を備え、前記画像配置部は、前記集合画像間の境界をまたがるように配置されたサムネイルを特定し、前記集合画像生成部は、前記画像配置部によって特定されたサムネイルを1つの集合画像として生成し、前記表示画面生成部は、前記集合画像生成部によって生成された集合画像から前記一覧表示画面を生成する構成を有している。
【0028】
この構成により、本発明の画像処理装置は、集合画像間の境界をまたがるように配置されたサムネイルを特定し、特定したサムネイルを1つの集合画像として一覧表示画面を生成するため、複数の領域に分割された集合画像からなる一覧表示画面上で行われるサムネイルの編集処理を従来のものより高速化することができる。
【0029】
なお、本発明の画像処理装置は、前記一覧表示画面をユーザに変更させる一覧表示画面変更手段を備えるようにしてもよい。
【0030】
この構成により、本発明の画像処理装置は、ユーザの指示に基づいてサムネイルの位置を変更することができる。
【0031】
また、本発明の画像処理方法は、画像処理装置を用いて、複数のサムネイルを表示するための一覧表示画面を生成する画像処理方法であって、前記一覧表示画面上に前記各サムネイルを配置するサムネイル配置ステップと、前記一覧表示画面を複数の領域に分割し、分割した領域毎に前記サムネイル配置ステップで配置されたサムネイルを合成して集約した集合画像を生成する第1の集合画像生成ステップと、前記集合画像間の境界をまたがるように配置されたサムネイルを特定するサムネイル特定ステップと、前記サムネイル特定ステップで特定されたサムネイルを1つの集合画像として生成する第2の集合画像生成ステップと、前記第1および第2の集合画像生成ステップで生成された集合画像から前記一覧表示画面を生成する一覧表示画面生成ステップと、を有する。
【0032】
したがって、本発明の画像処理方法は、集合画像間の境界をまたがるように配置されたサムネイルを特定し、特定したサムネイルを1つの集合画像として一覧表示画面を生成するため、複数の領域に分割された集合画像からなる一覧表示画面上で行われるサムネイルの編集処理を従来のものより高速化することができる。
【0033】
また、本発明の画像処理プログラムは、複数のサムネイルを表示するための一覧表示画面をコンピュータに生成させための画像処理プログラムであって、前記一覧表示画面上に前記各サムネイルを配置するサムネイル配置ステップと、前記一覧表示画面を複数の領域に分割し、分割した領域毎に前記サムネイル配置ステップで配置されたサムネイルを合成して集約した集合画像を生成する第1の集合画像生成ステップと、前記集合画像間の境界をまたがるように配置されたサムネイルを特定するサムネイル特定ステップと、前記サムネイル特定ステップで特定されたサムネイルを1つの集合画像として生成する第2の集合画像生成ステップと、前記第1および第2の集合画像生成ステップで生成された集合画像から前記一覧表示画面を生成する一覧表示画面生成ステップと、を前記コンピュータに実行させる。
【0034】
したがって、本発明の画像処理プログラムは、集合画像間の境界をまたがるように配置されたサムネイルを特定させ、特定されたサムネイルを1つの集合画像とした一覧表示画面を生成させるため、複数の領域に分割された集合画像からなる一覧表示画面上で行われるサムネイルの編集処理を従来のものより高速化させることができる。
【0035】
なお、上述した画像処理プログラムは、コンピュータに読み取り可能な状態で記録媒体に記録されていてもよい。
【発明の効果】
【0036】
本発明は、複数の領域に分割された集合画像からなる一覧表示画面上で行われる編集処理を従来のものより高速化することができる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【0037】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、本発明に係る画像処理装置をサーバ装置とクライアント装置とによって構成した例について説明する。
【0038】
図1に示すように、本実施の形態における画像表示システム1は、パーソナルコンピュータ(以下、「PC」という。)等によって構成されたクライアント装置100と、クライアント装置100から通信路104を介して送信されたコマンドに応じて画像分類を行い、分類結果をクライアント装置100に通信路104を介して送信するサーバ装置110とを備えている。
【0039】
なお、クライアント装置100は、PCの他に、PDA(Personal Digital Assistant)や携帯電話等のモバイル端末によって構成してもよい。また、通信路104は、LAN(Local Area Network)、インターネット網および無線通信網等よりなる。
【0040】
クライアント装置100は、モニタ等よりなる表示デバイス101と、ユーザ指示の解釈、サーバ装置110との通信、および、表示デバイス101の制御を行うアプリケーション102と、ユーザから指示が入力されるキーボードやポインティングデバイス等よりなる入力デバイス103とを備えている。なお、入力デバイス103は、本発明における一覧表示画面変更手段を構成する。
【0041】
サーバ装置110は、通信路104に対して設けられた外部インターフェース(以下、「I/F」という。)111と、クライアント装置100から登録が要求された登録画像112を所定サイズ以下に変倍した表示用のサムネイルを生成するサムネイル生成部113と、登録画像112およびサムネイルのデータを蓄積する画像DB114と、複数のサムネイルを合成して集約した集合画像121を生成するとともに、ユーザ操作に応じて集合画像121の変更を行う集合画像生成部116と、クライアント装置100によって指定された編集データ123等に基づいて、サムネイルをマップ上に配置する画像配置部117と、クライアント装置100から送信された画面制御データ120の内容に応じて表示画面119のデータを生成する表示画面生成部118とを備えている。
【0042】
ここで、表示画面119のデータは、クライアント装置100の表示デバイス101上にマップを表示させるための情報を表している。
【0043】
画像DB114には、サムネイル生成部113によって生成されたサムネイルのデータと、サムネイルを合成して集約した集合画像121のデータと、マップ上のサムネイルの配置を表す画像配置データ122とが格納される。
【0044】
画像配置データ122は、各サムネイルの座標を表すデータと、各サムネイルの回転角を表すデータ、および、各サムネイルのマップに対する相対サイズを表すデータとを含んでいる。
【0045】
図2は、サーバ装置110のハードウェア構成を示すブロック図である。サーバ装置110は、プログラムを実行することによって演算や処理を行うCPU(Central Processing Unit)201と、プログラムのコードや画像の符号データ等を一時的に記憶する揮発性のメモリ202と、画像データやプログラム等を保存するためのハードディスク装置(以下、「HDD」という。)203と、モニタ205に表示させるためにデータをバッファリングするビデオメモリ204と、キーボードやポインティングデバイス等よりなる入力デバイス206と、通信路104に対して設けられた外部I/F207と、これら各構成要素を接続するバス208とを備えている。
【0046】
HDD203には、画像DB114が格納される。また、ビデオメモリ204に書き込まれた画像データが表す画像は、定期的にモニタ205に表示される。
【0047】
本実施の形態において、サーバ装置110は、サーバコンピュータによって構成され、画像DB114に登録画像112を登録する画像登録動作等の後述する各動作は、HDD203等に格納されたアプリケーションを実行するCPU201によって実行される。
【0048】
ただし、本発明においては、この例に限定されず、MFP等の装置内に設けられたハードウェアによってサーバ装置110を構成してもよい。また、本発明の画像処理装置をサーバ装置とクライアント装置とによって構成せずに、例えば、図1に示す画像表示システム1と同等に機能する1つのPCまたはMFP等によって構成してもよい。
【0049】
なお、クライアント装置100のハードウェア構成は、図2に示したサーバ装置110のハードウェア構成と同様であるため、図示を省略する。
【0050】
以上のように構成された画像表示システム1の動作について説明する。画像表示システム1は、主に、画像登録動作と画像検索動作との2つの動作を実行する。ここで、画像検索動作は、クライアント装置100のユーザが所望する画像の検索、探索、閲覧および取得(サーバ装置110からのダウンロード)を実行するために画像DB114に登録された画像を利用する動作である。
【0051】
画像検索動作は、ユーザが所望する画像の検索や探索を行い、その後、クライアント装置100のHDD等に格納されたアプリケーション102の1つであるビューアを介して、画像を閲覧させたりクライアント装置100のHDDに蓄積したりする。
【0052】
図3は、画像表示システム1の画像登録動作を示すシーケンス図である。
【0053】
まず、クライアント装置100のユーザによって入力デバイス103を介して、画像データの登録と、登録する登録画像112を表すデータとがアプリケーション102に指示されると(ステップS1)、画像データの登録の指示と、指示された登録画像112を表すデータとが、アプリケーション102によってサーバ装置110に通信路104を介して送信される(ステップS2)。
【0054】
サーバ装置110の外部I/F111に受信された登録画像112を表すデータは、サムネイル生成部113によって縮小処理が施され、表示用のサムネイルが生成される(ステップS3)。ここで、登録画像112が、複数のページからなる場合には、ページ毎のサムネイルがサムネイル生成部113によって生成される。
【0055】
登録画像112を表すデータは、サムネイル生成部113によって生成されたサムネイルを表すデータと、ファイル名等の登録画像112に付随するメタ情報と共に、IDが付されて画像DB114に登録される(ステップS4)。
【0056】
また、画像配置データ122、すなわち、登録画像112のサムネイルに対する、マップ上の座標と、回転角と、マップに対する相対サイズとが、画像配置部117によって決定され(ステップS5)、登録画像112を表すデータと共に、画像配置部117によって画像DB114に登録される。
【0057】
ここで、サムネイルのマップ上の位置を決定する処理については、マップの形態に応じてシステム側で定められ、例えば、サムネイルを順番に配置する場合には、前回に配置されたサムネイルの次の位置に決定される。
【0058】
また、サムネイルのマップ上の位置を登録画像112の特徴によって決定する場合には、登録画像112から特徴量を抽出し、抽出した特徴量に応じて画像位置を決定すればよい。
【0059】
また、登録画像112が文書画像の場合には、文章の形態素解析等によって求めた特徴量に応じて、サムネイルのマップ上の位置を決定してもよい。例えば、登録画像112から色味、形状、テクスチャおよびレイアウト等の複数の特徴量を抽出し、自己組織化マップ等の既存手法を用いて2次元または3次元空間の座標へ変換する手法等は、画像の見た目の良さを生かしたマップ探索が可能となり好適である。これらの技術は、既存の技術を用いればよく、またマップ探索を用いる上での重要性は高いが、本発明の主旨とは異なるため、詳細な説明は省略する。
【0060】
また、登録画像112の回転角は、初期データを0度とすればよい。また、サムネイルのマップに対する相対サイズは、例えば、全体のサイズを10,000画素×10,000画素と規定したマップに適合するように求めればよい。
【0061】
ここで、サムネイルのサイズは、マップ上に表示する画像数等によってシステムで設定すればよい。例えば、サムネイルの最大サイズを500画素×500画素等と規定してサムネイルの長辺のサイズを最大サイズとして、短辺のサイズは長辺と短辺の比率により求めればよい。
【0062】
なお、サムネイルのマップに対する相対サイズについては、サムネイルの幅と高さとを表すデータで保持する他に、サムネイルのマップ上の位置としてサムネイルの左上と右下等の2点の座標で保持してもよい。
【0063】
図3において、サムネイルと、画像配置部117によって決定されたサムネイルの画像配置データ122とに基づいて、集合画像121が集合画像生成部116によって更新され、画像DB114に登録される(ステップS6)。
【0064】
なお、画像DB114において、IDやファイル名等の付随するメタ情報を一般的なRDB(リレーショナルデータベース)で管理することにより、このような情報の登録、管理および検索等の処理を容易に実現することができる。
【0065】
また、集合画像121およびサムネイル等を表す画像データについては、必要に応じて圧縮符号化等の処理を施してHDD203に蓄積しておき、メタ情報に含まれるリンクによって特定して読み込むことができるようにしておけばよい。
【0066】
また画像DB114は、上述した機能を満たすものであれば、例えば、XML(eXtensible Markup Language)等の言語を使用し、階層的なデータ構造を構築して各データを蓄積してもよい。また、画像DB114は、複数のデータベースサーバに分散して格納されていてもよい。
【0067】
なお、画像登録動作において、スキャナやデジタルカメラ等の画像入力装置から画像データを直接にサーバ装置110に登録できるようにしてもよい。また、サーバ装置110にレンダリング機能を設けて電子データを入力できるようにしてもよい。
【0068】
図4は、サーバ装置110の集合画像更新処理(ステップS6、図3)を詳細に示すフローチャートである。なお、ここでは、画像DB114に複数の画像が既に登録されているものとする。
【0069】
まず、登録画像112が所定サイズ以下に変倍されたサムネイルがサムネイル生成部113によって生成される(ステップS10)。ここで、「所定サイズ」とは、登録画像112と、画像配置部117によって決定されたサムネイルのマップに対する相対サイズとによって定められる。
【0070】
次に、登録画像112のサムネイルが画像DB114に登録済みの集合画像121間の境界をまたがるか否かが画像配置部117によって判断される(ステップS11)。例えば、当該サムネイルの中心位置、および、表示サイズから、サムネイルの四隅の座標が画像配置部117によって求められる。
【0071】
ここで、図5に示すように、サムネイルの中心座標をO(xo,yo)、サムネイルの四隅の座標をA(xa,ya),B(xb,yb),C(xc,yc),D(xd,yd)、画像の幅をwidth、高さをheightとすると、以下の式が成り立つ。
【0072】
A(xa,ya)=(xo−width/2,yo+height/2)
B(xb,yb)=(xo+width/2,yo+height/2)
C(xc,yc)=(xo−width/2,yo−height/2)
D(xd,yd)=(xo−width/2,yo+height/2)
【0073】
ここで、当該サムネイルの四隅の座標A乃至Dが属する集合画像121が同一であると判断された場合には、当該サムネイルが、集合画像121間の境界をまたがらないと画像配置部117によって判断される。
【0074】
一方、サムネイルの四隅の座標A乃至Dが属する集合画像121が同一でないと判断された場合には、当該サムネイルが、集合画像121間の境界をまたがると画像配置部117によって判断される。
【0075】
ここで、当該サムネイルが、集合画像121間の境界をまたがらないと画像配置部117によって判断された場合には(ステップS11:NO)、該当する集合画像121が集合画像生成部116によって画像DB114から取得される(ステップS12)。
【0076】
次に、取得された集合画像121に当該サムネイルが合成される合成処理が集合画像生成部116によって実行される(ステップS13)。合成処理は、画像配置部117によって決定された集合画像121の領域に当該サムネイルを貼り付けるように上書きする。
【0077】
次に、合成処理が施された更新後の集合画像121は、集合画像生成部116によって画像DB114に再登録される(ステップS14)。
【0078】
一方、当該サムネイルが、集合画像121間の境界をまたがると画像配置部117によって判断された場合には(ステップS11:YES)、当該サムネイルからなる集合画像121が集合画像生成部116によって生成され(ステップS15)、画像DB114に新規に登録される(ステップS16)。
【0079】
なお、上述した集合画像更新処理において、画像配置部117は、集合画像121間の境界をまたがると判断した場合には、当該サムネイルがいずれかの集合画像121に収まるように、当該サムネイルの位置を変更するようにしてもよい。この場合には、画像配置部117は、サムネイルの中心点Oが属する集合画像121に収まるように当該サムネイルの位置を変更する。
【0080】
また、画像配置部117は、集合画像121間の境界をまたがると判断した場合には、サムネイルがいずれかの集合画像121に収まるように、他のサムネイルの位置を変更するようにしてもよい。
【0081】
ここで、本実施の形態におけるサムネイルと集合画像121との関係について説明する。前述したように、本実施の形態においては、サーバ装置110は、登録画像112毎にクライアント装置100に表示させるサムネイルと、集合画像121とを生成する。
【0082】
本実施の形態におけるマップ探索型の画像表示システム1においては、クライアント装置100の表示画面の表示サイズに応じた画像サイズのサムネイルを生成する必要がある。
【0083】
サムネイルを生成する方法は、JPEG2000等に代表される階層符号化方式を用いて必要な画像サイズ分の画像データ(符号コード)を用いて実現してもよく(例えば、特願2006−304012号参照)、サイズの異なるサムネイルを複数用意して表示サイズに対応するサムネイルを選択することにより実現してもよい。
【0084】
サムネイルを集約した集合画像121においても、個々の登録画像112の縮小画像であるサムネイルと同様に、階層符号化方式で実現してもよく、サイズの異なる複数の画像で実現してもよい。
【0085】
なお、集合画像121は、一般的に見れば巨大な画像データとなるので、階層符号化方式で構成した方が、全体的な蓄積容量が節約できるため好適である。
【0086】
また、前述したように、集合画像121は、1つの画像で構成してもよく、集合画像121の全体を分割した複数の部分集合画像で構成してもよい。本実施の形態においては、集合画像121を1つの画像で構成した例について説明する。
【0087】
図6は、画像表示システム1の画像検索動作を示すシーケンス図である。なお、画像検索動作は、クライアント装置100のユーザが目的の登録画像112を画像DB114から検索するときや、画像DB114に登録された登録画像112を探索するときに実行される。
【0088】
まず、ユーザによって入力デバイス103を介して、サムネイルの一覧表示がアプリケーション102に指示されると(ステップS20)、図7(a)に示すようなサムネイルの一覧表示画面の初期画面がサーバ装置110の表示画面生成部118によって生成される(ステップS21)。
【0089】
図7(a)において、初期画面上には、サムネイルを一覧表示する領域であるサムネイル一覧ビュー302の表示領域を規定するウィンドウ301と、各矩形によって図示されているサムネイル303と、サムネイル一覧ビュー302の表示倍率を設定するスライダ304と、サムネイル一覧ビュー302を水平方向へスクロールさせるためのスライダ305と、サムネイル一覧ビュー302を垂直方向へスクロールさせるためのスライダ306とが表示される。
【0090】
サムネイル一覧ビュー302は、図7(c)に示すように、複数の集合画像121から構成される。図7(c)は、マップを16の集合画像121に分割した例を示し、図中の太線と番号は集合画像121の境界を表している。なお、集合画像121は、マップを均等に分割したものでもよく、均等に分割したものでなくともよく、その形状は、矩形でなくてもよい。
【0091】
なお、図7(a)乃至(c)において、マップ上のサムネイル303の配置がランダムに配置されており、表示画面生成部118は、マップ上のサムネイル303の重なりを許容しているが、サムネイル303の配置を整列するようにしてもよい。
【0092】
本実施の形態におけるサムネイルの一覧表示画面は、サムネイル一覧ビュー302と、サムネイル一覧ビュー302以外のユーザインターフェースの部分およびデザイン的な意味合いの外枠のフレーム部分とからなる。クライアント装置100のアプリケーション102は、これらを合成して表示デバイス101用の表示画面を生成し、最終的に図7(a)に示すような表示画面を生成する。
【0093】
図7(b)は、サムネイル一覧ビュー302の例を示す概念図である。サムネイル一覧ビュー302は、ウィンドウ301の境界によって規定された表示領域307を有している。ここで、外枠のフレーム部分については、サムネイル一覧ビュー302の表示倍率や表示領域を変更するスライダ304乃至306の表示が更新される程度なので、説明を省略し、サムネイル一覧ビュー302の画面情報を生成することについて説明する。
【0094】
表示画面生成部118は、初期画面を生成する場合には、サムネイル一覧ビュー302の表示倍率(図7(a)乃至(c)では最低倍率)と表示領域307とを予め定められた初期値に設定して、サムネイル一覧ビュー302を生成し、外枠のフレーム部分と共に表示画面119のデータとして外部I/F111より通信路104を介してクライアント装置100に送信する。
【0095】
サムネイル一覧ビュー302については、図7(b)に示すような画面となるが、表示画面生成部118は、集合画像121を使用する場合には、集合画像121によってサムネイル一覧ビュー302を形成すればよく、個々のサムネイルを使用する場合には、サムネイルの画像配置データ122(座標データ)と、サムネイルのデータを示す画像IDとを保持しておけばよい。
【0096】
また、サーバ装置110は、サムネイル一覧ビュー302において表示領域307内の表示画面に対応するデータのみをクライアント装置100へ送信する。ここで、個々のサムネイルを使用してサムネイル一覧ビュー302を生成するか、集合画像121を使用するかについては、例えば、表示画像数や表示倍率で切り替えたり、表示用のモードの選択によって切り替えたりすることによってシステムの動作仕様として決めればよく、本発明とは直接関連しないため説明を省略する。また、図7(b)に示したサムネイル一覧ビュー302については、余白部分が存在するが、実装を容易にするために設けられたものであり、発明の構成には特に関係しない。
【0097】
このような表示画面の作成方法やサーバ・クライアント間の通信方法には種々の方法があるが、一般的によく使用される好適なものとして、サーバ装置110をWebサーバとしてWorldWideWebベースの技術を使用することによって実現することができる。
【0098】
この場合には、表示画面119のデータは、HTML(Hyper Text Markup Language)によって記述され、アプリケーション102として、一般的なWebブラウザを適用すればよい。なお、図7(a)に示すように、本実施の形態においては、表示倍率や表示領域を変更するためのスライダを一覧表示画面内に設けているが、例えば、クライアント装置100に設けられたマウス等の入力デバイス103にそれらの機能を設けるようにしてもよい。
【0099】
図6において、サーバ装置110の表示画面生成部118によって生成された表示画面119のデータを受信したクライアント装置100では、アプリケーション102によって表示画面119が展開(レンダリング)され、表示デバイス101上に表示される(ステップS22)。
【0100】
ここで、クライアント装置100を使用しているユーザによって、表示領域を変更するためのスライダ305、306、または、表示倍率を変更するためのスライダ304が操作され、画面スクロールや表示倍率変更の指示が入力されると(ステップS23)、画面スクロールや表示倍率変更の指示は、表示倍率と表示領域とを表す画面制御データ120に変換され、クライアント装置100からサーバ装置110に送信される(ステップS24)。なお、各スライダ等の操作は、マウス等の入力デバイス103により行われる。
【0101】
画面制御データ120を受信したサーバ装置110では、表示画面119が変更され(ステップS25)、変更された表示画面119を表すデータがクライアント装置100に送信される。
【0102】
次に、クライアント装置100では、変更後の表示画面119を表すデータに基づいて、表示画面119がアプリケーション102によって展開され、表示デバイス101上に表示される(ステップS26)。
【0103】
ここで、クライアント装置100のユーザが検索対象の登録画像112のサムネイルを見つける等して、画像検索動作の終了がアプリケーション102に指示されている場合には(ステップS27:YES)、画像検索動作は、終了する。一方、画像検索動作の終了がアプリケーション102に指示されていない場合には(ステップS27:NO)、画像検索動作は、ステップS23に戻る。
【0104】
図8は、本実施の形態におけるクライアント装置100による拡大表示動作を説明するための概念図である。
【0105】
図8(a)において、ユーザは、スライダ305、306を使用して、多くのサムネイルから検索対象の登録画像112のサムネイルの候補を画面中央へ表示させ、図8(b)、(c)に示すように、徐々に拡大率を上げていく仮定で、周囲の登録画像112との比較や画像内容の確認を行いながら表示画面内に検索対象の登録画像112が存在するかどうかを確認する。
【0106】
ここで、表示画面内に検索対象の登録画像112のサムネイルが存在しないことが確認できた場合には、ユーザは、表示倍率を縮小して他の候補から検索対象の登録画像112のサムネイルを探していく。
【0107】
一方、表示画面内に検索対象の登録画像112のサムネイルが存在することが確認できた場合には、図8(d)に示すように、表示倍率を拡大することによって、ユーザは、サムネイル一覧ビュー302上で登録画像112の内容を詳細に確認することができる。
【0108】
図9は、画像表示システム1のマップ編集動作を示すシーケンス図である。
【0109】
まず、ユーザによって入力デバイス103を介して、マップの編集がアプリケーション102に指示されると(ステップS31)、マップの編集の指示が、アプリケーション102によってサーバ装置110に通信路104を介して送信される。
【0110】
ここで、マップの編集の指示については、アプリケーション102等でメニューやボタン等を用意して、マップの編集を指示するようにしてもよいし、システムが自動的にマップを編集するモードに移行するようにしてもよい。ここでは、一例として、マップの編集の指示については、前者であるものとして説明をする。なお、マップの編集を指示するためのメニューやボタン等は、一般的によく使用されるものであるため図示を省略する。
【0111】
マップの編集の指示を受信したサーバ装置110では、表示画面生成部118によってマップ編集用の表示画面119のデータが生成され、クライアント装置100に送信される(ステップS32)。
【0112】
ここで、マップ編集用の表示画面119については、特に限定はないが、表示画面生成部118は、例えば、通常画面と同様な画面で「マップ編集モード」等のタイトルを表示したり、マップ画面を多少グレーダウンしたりする等、ユーザにモードを視覚的に理解しやすいようにする方が好適である。
【0113】
また、集合画像121が表示されている場合には、簡単なマップ編集処理には不向きであるので、表示画面生成部118は、個々のサムネイルを表示するように画面を変更してもよい。この場合には、複数のサムネイルを移動させるときに好適である。
【0114】
また、集合画像121と比較して、個々のサムネイルを表示する場合には、表示画像数が多いときに表示時間がかかることがあるため、表示画面生成部118は、例えば、表示倍率を大きくして、表示画像数を小さくする等の処理を行った方がより好適である。
【0115】
マップ編集用の表示画面119のデータを受信したクライアント装置100では、表示デバイス101上にマップ編集用の表示画面119が表示される(ステップS33)。
【0116】
ここで、マップ編集用の表示画面119上で、編集したいサムネイルがユーザによってマウス等の入力デバイス103を使用して選択されると(ステップS34)、選択されたサムネイルに対する編集操作が実行される(ステップS35)。
【0117】
図10は、ユーザによるサムネイルの編集操作の一例を示す概念図である。
【0118】
まず、ユーザは、図10(a)に示すように、編集したいサムネイルを選択する。この選択は、例えば、マウス等の入力デバイス103を用いてカーソル311を表示画面上で合わせて「クリック」等の指示動作をすることによって実現できる。この選択に応じて、例えば、選択されたサムネイルに他のサムネイルが重なっていた場合には、選択されたサムネイルを最も上側に表示するようにした方がより好適である。
【0119】
サムネイルが選択されると、図10(b)に示すように、編集メニュー312が選択されたサムネイル近傍に表示され、ユーザは、所望のメニュー項目にカーソル311を合わせて選択する。ここでは、例えば「移動」、「削除」、「サイズ変更」および「回転」の4つのメニュー項目が表示され、ユーザによって「移動」が選択されている例を示している。
【0120】
ここで、例えば、「削除」が選択された場合には、選択されたサムネイルをサムネイル一覧ビュー302上から消去すればよい。例えば、個々のサムネイルを表示している場合には、クライアント装置100のアプリケーション102が、選択されたサムネイルの表示を行わなくすればよい。
【0121】
これにより、ユーザに対しては、見かけ上、選択されたサムネイルが削除されたように表示することができる。ただし、この時点では、サーバ装置110側では、選択されたサムネイルが削除されていない。ここで、クライアント装置100で当該サムネイルの削除が確定されると、集合画像121の編集処理が集合画像生成部116によって実行され、ユーザによって編集された内容がサーバ装置110側に反映される。
【0122】
「移動」が選択された場合も「削除」が選択された場合と同様で、個々のサムネイルが表示画面119に表示されている場合には、図10(c)に示すように、マウス等の入力デバイス103による「ドラッグ・アンド・ドロップ」等の操作によって移動対象のサムネイルのマップ上の位置を移動させることができる。
【0123】
一方、集合画像121が表示画面119に表示されている場合には、サーバ装置110から移動対象のサムネイルを受信して、集合画像121に重ねあわせるように移動対象のサムネイルのみを表示すれば、個々のサムネイルが表示画面119に表示されている場合と同様に処理を行うことができ、より好適である。ただし、移動前のマップ上の位置には、移動対象のサムネイルが表示されたままになるので、図10(c)に示すようにマーキング等を施すとよい。
【0124】
「サイズ変更」および「回転」についても、図10(c)に示すように、選択されたサムネイルをマウス等の入力デバイス103によって拡大または回転したい方向へドラッグすればよい。また、「サイズ変更」および「回転」においても、「移動」と同様な表示方法を適用すればよい。
【0125】
図9において、編集操作が完了すると、編集内容を表す編集データ123がクライアント装置100からサーバ装置110に送信される(ステップS36)。ここで、編集データ123は少なくとも、編集対象のサムネイルを特定するための画像ID、編集の内容、および、編集対象のサムネイルの新規のマップ上の座標位置等を表している。
【0126】
なお、編集操作の完了については、画面上のメニューやボタン等を使用して明示的に選択させる方がより好適であり、その際に、編集内容の保存をユーザに確認させる等の処理を実行した方が良い。
【0127】
ここで、例えば、ユーザが編集内容をキャンセルすれば、サーバ装置110側の画像配置データ122は編集前のままとなっているため、サーバ装置110から表示画面119を再ロードすることで編集内容を元に戻すことができる。
【0128】
編集データ123を受信したサーバ装置110では、画像DB114より編集対象のサムネイルの画像配置データ122が画像配置部117によって取得され、編集データ123が表す編集内容に応じて、編集対象のサムネイルの画像配置データ122が変更され、画像DB114に再登録される(ステップS37)。なお、画像配置データ122に編集内容の履歴等を保持させ、ユーザに編集内容の取り消し等を許容するようにした方がより好適である。
【0129】
次に、集合画像生成部116によって、画像DB114に登録されている集合画像121が読み出され、集合画像121の編集処理が実行される(ステップS38)。なお、集合画像121の編集処理については後述する。
【0130】
集合画像生成部116による集合画像121の編集処理が終了すると、前述した画像検索動作と同様に、表示画面生成部118によって表示画面119のデータが生成され、クライアント装置100に送信される(ステップS39)。
【0131】
表示画面119のデータを受信したクライアント装置100では、表示画面119がアプリケーション102によって展開され、表示デバイス101上に表示され(ステップS40)、マップ編集動作は終了する。
【0132】
図11は、サーバ装置110による集合画像121の編集処理(ステップS38、図8)を示すフローチャートである。なお、図11に示すフローチャートは、サムネイルの「移動」が行われたときの集合画像121の編集処理を示しているが、「削除」、「サイズ変更」および「回転」が行われたときの集合画像121の編集処理については、図11に基づいて容易に想到することができるため、説明を省略する。
【0133】
まず、編集前のサムネイルとマップ上で重なるサムネイルが画像配置部117によって抽出される(ステップS50)。ここで、サムネイルが抽出された場合には(ステップS51:YES)、抽出されたサムネイルが属する各集合画像121の該当領域が更新される(ステップS52)。
【0134】
なお、該当領域に含まれるサムネイルは、集合画像121上で下に重なっているサムネイルから順に貼り付けていく必要がある。これを実現する一例としては、画像DB114でメタ情報を保持する時に、登録画像112のサムネイル毎のマップ座標の更新日時を保持しておけばよい。マップ座標の更新日時は、登録画像112の登録時にサムネイルを登録した日時とし、サムネイルに編集処理が実施された場合は、その日時とすればよい。
【0135】
ステップS50においてサムネイルが抽出されなかった場合、または、ステップS52が完了した場合には、編集後のサムネイルが画像DB114に登録済みの集合画像121間の境界をまたがるか否かが画像配置部117によって判断される(ステップS53)。なお、編集後のサムネイルが画像DB114に登録済みの集合画像121間の境界をまたがるか否かの画像配置部117による判断は、図4に示した集合画像更新処理におけるステップS11と同様に行われる。
【0136】
ここで、当該サムネイルが、集合画像121間の境界をまたがらないと画像配置部117によって判断された場合には、該当する集合画像121が集合画像生成部116によって画像DB114から取得される(ステップS54)。
【0137】
次に、取得された集合画像121に当該サムネイルが合成される合成処理が集合画像生成部116によって実行される(ステップS55)。次に、合成処理が施された更新後の集合画像121は、集合画像生成部116によって画像DB114に再登録される(ステップS56)。
【0138】
一方、当該サムネイルが、集合画像121間の境界をまたがると画像配置部117によって判断された場合には(ステップS53:YES)、当該サムネイルからなる集合画像121が集合画像生成部116によって生成され(ステップS57)、画像DB114に新規に登録される(ステップS58)。
【0139】
なお、上述した集合画像121の編集処理において、画像配置部117は、集合画像121間の境界をまたがると判断した場合には、当該サムネイルがいずれかの集合画像121に収まるように、当該サムネイルの位置を変更するようにしてもよい。この場合には、画像配置部117は、サムネイルの中心点Oが属する集合画像121に収まるように当該サムネイルの位置を変更する。
【0140】
また、画像配置部117は、集合画像121間の境界をまたがると判断した場合には、サムネイルがいずれかの集合画像121に収まるように、他のサムネイルの位置を変更するようにしてもよい。
【0141】
以上説明したように、本発明一実施の形態としての画像表示システム1は、集合画像121間の境界をまたがるように配置されたサムネイルを特定し、特定したサムネイルを1つの集合画像121として表示画面119を生成するため、複数の領域に分割された集合画像121からなる表示画面119上で行われるサムネイルの編集処理を従来のものより高速化することができる。
【図面の簡単な説明】
【0142】
【図1】本発明の一実施の形態としての画像表示システムのブロック図である。
【図2】本発明の一実施の形態としての画像表示システムを構成するサーバ装置のハードウェア構成図である。
【図3】本発明の一実施の形態としての画像表示システムの画像登録動作を示すシーケンス図である。
【図4】本発明の一実施の形態としての画像表示システムを構成するサーバ装置の集合画像更新処理を詳細に示すフローチャートである。
【図5】本発明の一実施の形態としての画像表示システムにおけるサムネイルの各部の座標、高さおよび幅を示す概念図である。
【図6】本発明の一実施の形態としての画像表示システムの画像検索動作を示すシーケンス図である。
【図7】(a)は、本発明の一実施の形態としての画像表示システムにおける表示画面の例を示す概念図である。 (b)は、本発明の一実施の形態としての画像表示システムにおけるサムネイル一覧ビューの例を示す概念図である。 (c)は、本発明の一実施の形態としての画像表示システムにおけるマップを16の集合画像に分割した例を示す概念図である。
【図8】本発明の一実施の形態としての画像表示システムを構成するクライアント装置による拡大表示動作を説明するための概念図である。
【図9】本発明の一実施の形態としての画像表示システムのマップ編集動作を示すシーケンス図である。
【図10】本発明の一実施の形態としての画像表示システムにおけるサムネイルの編集操作の一例を示す概念図である。
【図11】本発明の一実施の形態としての画像表示システムを構成するサーバ装置の集合画像の編集処理を詳細に示すフローチャートである。
【符号の説明】
【0143】
1 画像表示システム
100 クライアント装置
101 表示デバイス
102 アプリケーション
103 入力デバイス
104 通信路
110 サーバ装置
111 外部I/F
112 登録画像
113 サムネイル生成部
114 画像DB
116 集合画像生成部
117 画像配置部
118 表示画面生成部
119 表示画面
120 画面制御データ
121 集合画像
122 画像配置データ
123 編集データ
201 CPU
202 メモリ
203 HDD
204 ビデオメモリ
205 モニタ
206 入力デバイス
207 外部I/F
208 バス
301 ウィンドウ
302 サムネイル一覧ビュー
304、305、306 スライダ
307 表示領域

【特許請求の範囲】
【請求項1】
複数のサムネイルを表示するための一覧表示画面を生成する表示画面生成部を備えた画像処理装置であって、
前記一覧表示画面上に前記各サムネイルを配置する画像配置部と、
前記一覧表示画面を複数の領域に分割し、分割した領域毎に前記画像配置部によって配置されたサムネイルを合成して集約した集合画像を生成する集合画像生成部と、を備え、
前記画像配置部は、前記集合画像間の境界をまたがるように配置されたサムネイルを特定し、
前記集合画像生成部は、前記画像配置部によって特定されたサムネイルを1つの集合画像として生成し、
前記表示画面生成部は、前記集合画像生成部によって生成された集合画像から前記一覧表示画面を生成することを特徴とする画像処理装置。
【請求項2】
前記一覧表示画面をユーザに変更させる一覧表示画面変更手段を備えたことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
画像処理装置を用いて、複数のサムネイルを表示するための一覧表示画面を生成する画像処理方法であって、
前記一覧表示画面上に前記各サムネイルを配置するサムネイル配置ステップと、
前記一覧表示画面を複数の領域に分割し、分割した領域毎に前記サムネイル配置ステップで配置されたサムネイルを合成して集約した集合画像を生成する第1の集合画像生成ステップと、
前記集合画像間の境界をまたがるように配置されたサムネイルを特定するサムネイル特定ステップと、
前記サムネイル特定ステップで特定されたサムネイルを1つの集合画像として生成する第2の集合画像生成ステップと、
前記第1および第2の集合画像生成ステップで生成された集合画像から前記一覧表示画面を生成する一覧表示画面生成ステップと、を有する画像処理方法。
【請求項4】
複数のサムネイルを表示するための一覧表示画面をコンピュータに生成させための画像処理プログラムであって、
前記一覧表示画面上に前記各サムネイルを配置するサムネイル配置ステップと、
前記一覧表示画面を複数の領域に分割し、分割した領域毎に前記サムネイル配置ステップで配置されたサムネイルを合成して集約した集合画像を生成する第1の集合画像生成ステップと、
前記集合画像間の境界をまたがるように配置されたサムネイルを特定するサムネイル特定ステップと、
前記サムネイル特定ステップで特定されたサムネイルを1つの集合画像として生成する第2の集合画像生成ステップと、
前記第1および第2の集合画像生成ステップで生成された集合画像から前記一覧表示画面を生成する一覧表示画面生成ステップと、を前記コンピュータに実行させる画像処理プログラム。
【請求項5】
請求項4に記載の画像処理プログラムがコンピュータに読み取り可能に記録された記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−44498(P2010−44498A)
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願番号】特願2008−207007(P2008−207007)
【出願日】平成20年8月11日(2008.8.11)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】