画像表示装置、画像表示方法、プログラム及び記憶媒体
【課題】画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる画像表示装置を提供すること。
【解決手段】画像表示装置１０は、サムネイル画像データから特徴量を抽出する特徴量抽出手段１１と、サムネイル画像の配置位置を算出する配置位置算出手段１２と、予め定めた位置からサムネイル画像の配置位置までの距離を算出する距離算出手段１３と、サムネイル画像を回転する画像回転手段１４と、サムネイル画像をマップ表示するマップ表示手段１５とを備え、画像回転手段１４は、マップを表示する画面上の予め定めた基準位置からサムネイル画像を表示する位置までの距離、サムネイル画像の類似度及びサムネイル画像の視認性のいずれかの情報を含む配置情報に基づいて所定角度だけ立体的に仮想回転させるものである構成を有する。
【解決手段】画像表示装置１０は、サムネイル画像データから特徴量を抽出する特徴量抽出手段１１と、サムネイル画像の配置位置を算出する配置位置算出手段１２と、予め定めた位置からサムネイル画像の配置位置までの距離を算出する距離算出手段１３と、サムネイル画像を回転する画像回転手段１４と、サムネイル画像をマップ表示するマップ表示手段１５とを備え、画像回転手段１４は、マップを表示する画面上の予め定めた基準位置からサムネイル画像を表示する位置までの距離、サムネイル画像の類似度及びサムネイル画像の視認性のいずれかの情報を含む配置情報に基づいて所定角度だけ立体的に仮想回転させるものである構成を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばドキュメント画像に係るサムネイル画像を表示する画像表示装置、画像表示方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
現在の画像検索は、画像に対して予め対応付けられたテキストデータを指定して、キーワード検索を行うのが通常である。しかし、対応付けられたテキストがない場合や、対応付けられたテキストが不正である場合には、サムネイル画像を一覧表示し、目視によって画像を探すことも一般的である。
【０００３】
こうした目視による画像検索を行う場合、検索対象となる画像数が多い場合には、モニタに表示する画像数を例えば３０個程度に制限して、ユーザーが縦横のスクロールを繰り返しながら全ての画像を眺める方式が一般的である。この方式は、１画像当たりの表示サイズを大きくとれて視認性がよい一方で、全ての画像を同時には見られず、視覚的に分かりにくいという欠点がある。
【０００４】
そこで、サムネイル画像を表示する際、その画像のコンテンツをユーザーに視覚的に分かり易く伝えるために工夫しているものがある（例えば、特許文献１参照）。これは元画像を構成する複数の部分画像の重要度に応じて、重要度の高い部分画像の割合が大きくなるように元画像を縮小した縮小画像を画像検索の結果として表示させるものである。
【０００５】
しかし、サムネイル画像が一覧に表示された画面から目的の画像を見つけようとする場合には、個々のサムネイル画像の内容を把握し易いように表示方法を工夫する必要に加え、表示されているサムネイル画像間にどのような関係があるかをユーザーに分かり易く伝える必要がある。
【０００６】
このような課題を解決するために、サムネイル画像をただ並べるのではなく、画像データの属性値情報に基づいてサムネイル画像の表示位置を決定し、表示画面内にマップのように配置することで検索効率を向上させる技術が知られている（以後、このような表示を「画像マップ」と呼ぶ）。この表示の利点は、画像間の関係を視覚的に提示可能な点であり、特に性質の似通ったサムネイル画像群を画面上にまとめて配置することで、表示画像データから必要なデータ群を容易に特定可能となる。
【０００７】
この種の技術を用いたものとしては、例えば、特許文献２に示された画像表示制御装置がある。この装置は、キーワードの入力を受けると共に、参照画像を選択し、複数の対象画像に付加されたキーワードと入力されたキーワードとに基づいて満足度を算出し、各参照画像に対する対象画像の類似度を算出し、キーワードの満足度と画像の類似度に応じた配置で各対象画像を多次元座標上に表示させるようになっている。
【０００８】
ただし、この装置では、画像数が多くなればなるほど１画像当たりの表示サイズは小さくなり、さらに画像数が増えると、各画像が重なり合うという状況が生じるという課題がある。
【０００９】
画像が重なり合う状況を回避する方法としては、例えば、特許文献３に示された表示制御装置がある。この装置は、オリジナルオブジェクトを表示装置の画面に対して角度θ１回転させ、該オリジナルオブジェクトに比べて表示面積を小さくしたスキューオブジェクトを生成する。それにより、表示装置にオブジェクトを効率的に表示させ、オブジェクトを容易に判別することができる。
【００１０】
ただし、この装置では、重なり合う状況を回避するだけのものであり、サムネイル画像をただ並べただけのものであって、画像間の関係を視覚的に提示できるものではない。
【特許文献１】特開２００７−８００９９号公報
【特許文献２】特開２００７−１０９１３６号公報
【特許文献３】特開２００５−１９０１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、前述した事情に鑑みてなされたものであり、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる画像表示装置、画像表示方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像表示装置は、予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示装置であって、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像を含むマップを前記配置情報に基づいて表示するマップ表示手段とを備えた構成を有している。
【００１３】
この構成により、本発明の画像表示装置は、オリジナルのサムネイル画像の表示面積よりも小さい表示面積で配置情報に基づいてサムネイル画像を表示することができる。したがって、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００１４】
なお、前記配置情報は、前記マップを表示する画面上の予め定めた基準位置から前記サムネイル画像を表示する位置までの距離、前記サムネイル画像の類似度及び前記サムネイル画像の視認性のいずれかの情報を含むのが好ましい。
【００１５】
また、本発明の画像表示装置は、前記画像回転手段が、前記マップの表示対象である複数のサムネイル画像のうち予め定めた基準のサムネイル画像から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものである構成を有している。
【００１６】
この構成により、本発明の画像表示装置は、基準のサムネイル画像を中心として角度を徐々に変化させることにより、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００１７】
さらに、本発明の画像表示装置は、前記複数のサムネイル画像は予め定めた少なくとも１つのグループに分類されたものであって、前記画像回転手段は、前記グループに係るサムネイル画像を前記マップに表示する際の表示領域の重心から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものである構成を有している。
【００１８】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００１９】
さらに、本発明の画像表示装置は、前記画像回転手段は、複数のグループに係るサムネイル画像を前記マップに表示する際に、予め定めたグループに係るサムネイル画像には前記角度を付けないものである構成を有している。
【００２０】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２１】
さらに、本発明の画像表示装置は、前記画像回転手段は、少なくとも１つのグループに係るサムネイル画像のうち予め定めたサムネイル画像のみに前記角度を付するものである構成を有している。
【００２２】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２３】
さらに、本発明の画像表示装置は、前記画像回転手段は、前記サムネイル画像の視認性に基づき、前記角度を付する対象のサムネイル画像数を変化させるものである構成を有している。
【００２４】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２５】
さらに、本発明の画像表示装置は、前記画像回転手段は、前記サムネイル画像の視認性が予め定めた基準未満のグループにおいて前記角度を付するサムネイル画像数を予め定めた閾値よりも多くし、前記視認性が前記基準以上のグループにおいて前記角度を付するサムネイル画像数を前記閾値より少なくするものである構成を有している。
【００２６】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２７】
さらに、本発明の画像表示方法は、予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示方法であって、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させるステップと、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するステップとを備えた構成を有している。
【００２８】
この構成により、本発明の画像表示方法は、オリジナルのサムネイル画像の表示面積よりも小さい表示面積で配置情報に基づいてサムネイル画像を表示することができる。したがって、本発明の画像表示方法は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２９】
さらに、本発明のプログラムは、予め定めた配置情報に基づいて画像データに対応するサムネイル画像をコンピュータに一覧表示させるプログラムであって、前記コンピュータを、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するマップ表示手段として機能させる構成を有している。
【００３０】
この構成により、本発明のプログラムは、コンピュータに、画像間の関係を視覚的に提示させることができ、かつ視認性の向上を図ることができる。
【００３１】
さらに、本発明の記憶媒体は、プログラムを記憶し、前記コンピュータが読み取り可能な構成を有している。
【００３２】
この構成により、本発明の記憶媒体は、コンピュータに、画像間の関係を視覚的に提示させることができ、かつ視認性の向上を図ることができる。
【発明の効果】
【００３３】
本発明は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができるという効果を有する画像表示装置、画像表示方法、プログラム及び記憶媒体を提供することができるものである。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態について図面を用いて説明する。
【００３５】
（第１の実施形態）
まず、本発明に係る画像表示装置の第１の実施形態における構成について説明する。
【００３６】
図１に示すように、本実施形態における画像表示装置１０は、サムネイル画像データから特徴量を抽出する特徴量抽出手段１１と、サムネイル画像の配置位置を算出する配置位置算出手段１２と、予め定めた基準位置からサムネイル画像の配置位置までの距離を算出する距離算出手段１３と、サムネイル画像を回転する画像回転手段１４と、サムネイル画像をマップ表示するマップ表示手段１５とを備えている。
【００３７】
図２は、本実施形態における画像表示装置１０を実現するためのハードウエア構成を示す図であって、画像表示装置１０は、例えば、パーソナルコンピュータ（ＰＣ）システム２０と、ＰＣシステム２０に記憶媒体を介してインストールされるプログラムによって構成される。
【００３８】
ＰＣシステム２０は、サーバＰＣ３０と、クライアントＰＣ２１と、ハードディスクドライブ（ＨＤＤ）２２と、データバス２３とを有する。サーバＰＣ３０は、ＣＰＵ３１、ＲＡＭ３２を有する。ここで、ＣＰＵ３１は、図１に示した各手段を構成する。なお、図示を省略したが、クライアントＰＣ２１は画像を表示する表示モニタを有する。
【００３９】
図２に示した構成における動作の概要を説明する。クライアントＰＣ２１がサーバＰＣ３０に所定のサムネイル画像の表示要求を行うと、ＣＰＵ３１は、例えばドキュメント画像データを記憶したＨＤＤ２２から該当する原画像データを読み出し、経路ａを介してＲＡＭ３２に書き込む。続いて、ＣＰＵ３１は、経路ｂを介してＲＡＭ３２上の原画像データに基づき、サムネイル画像データを生成する。このサムネイル画像データは、経路ｃを介してＲＡＭ３２に書き込まれ、経路ｄを介してＨＤＤ２２に記憶されると共に、クライアントＰＣ２１に送信される。以上の処理は、クライアントＰＣ２１からの表示要求に応じて該当するサムネイル画像の数だけ行われる。
【００４０】
ここで、クライアントＰＣ２１が有する表示モニタは１２８０×１０２４ドットの解像度を持つものとする。これに対応して、図３に示すように、左上（０、０）〜右下（１２７９、１０２３）の表示用の座標系を持つものとする。また、表示モニタ上に配置される各サムネイル画像は、重心座標Ｇと、表示時の横のサイズｗ及び縦のサイズｈとを有する。点Ｏは座標（０、０）の定点、点Ｃは座標（６４０、５１２）の定点である。各サムネイル画像の重心座標Ｇは、例えば点Ｏ又は点Ｃの座標を基準に決定される。
【００４１】
図４は、本実施形態における画像表示装置１０の画像表示処理のフローチャートを示している。以下、各ステップの処理について説明する。
【００４２】
［ステップＳ１１］
まず、ステップＳ１１において、ＣＰＵ３１は、自己組織化マップを作成する。自己組織化マップは、配置されるサムネイル画像が、画像の類似度が高いものほど互いに近傍に配置されるようマッピングするための学習アルゴリズムの一つで、高次元のデータを、構造や分布構造をなるべく壊さない形で低次元に集約する写像を与えるものと言うことができる。ここでは２次元に配置するものとする。
【００４３】
学習で用いられる入力ベクトルは、ｍ個のサンプル画像からｎ次元の特徴量を抽出した結果得られる、ｍ個のベクトルである。この特徴量ベクトルを抽出する抽出手段は、特徴量抽出手段１１（図１参照）としてのＣＰＵ３１である。
【００４４】
自己組織化マップの学習は広く知られた手法なので詳細の説明は省略するが、最終的に２次元の格子点にｎ次元の特徴ベクトルが並び、図５に示すように、ベクトル同士のユークリッド距離の近いものが互いに近傍に配置された構造を持つデータが生成される。この格子点が２次元空間上の座標にあたり、ｎ次元データを２次元座標値に対応させる写像となる。
【００４５】
なお、縦、横に直角に交わる二つの軸の交点を格子点としてもよいし、例えば図６に示すような極座標系格子点を用いてもよい。
【００４６】
［ステップＳ１２］
次に、ステップＳ１２において、特徴量抽出手段１１としてのＣＰＵ３１は、各サムネイル画像から画像特徴量を抽出する。画像特徴量は、サムネイル画像から彩度、色相、輝度、テクスチャなどの数値が算出され、ｎ次元の数値から成る特徴ベクトルを生成する。
【００４７】
［ステップＳ１３］
次に、ステップＳ１３において、配置位置算出手段１２としてのＣＰＵ３１は、ステップＳ１１で作成した自己組織化マップを用いた２次元格子点への写像を行う。具体的には、ＣＰＵ３１は、ステップＳ１２でサムネイル画像から抽出した特徴ベクトルに対して、ステップＳ１１で作成した自己組織化マップ上のベクトルのうち、最もユークリッド距離が近いものを探し、その格子点の座標にサムネイル画像を配置する。
【００４８】
上記のステップＳ１２及びステップＳ１３を、配置するサムネイル画像の個数分繰り返す。繰り返すと、サムネイル画像一つ一つに格子点の座標が対応付けられ、類似したサムネイル画像が互いに近傍に配置されるような"サムネイル画像マップ"のための位置データが生成される。
【００４９】
そして、例えば図７に示すように、サムネイル画像がいくつかのグループに分けられる。ここでグループとは、サムネイル画像の視覚的な特徴が似たもの同士のグループであったり、サムネイル画像ファイルの作成日が近いもの同士であったり、作成者が同一のものであったり等、目的に応じた様々なものが考えられる。
【００５０】
以下、サムネイル画像データを、グループごとにまとまりを形成して配置する方法の一例を紹介する。
【００５１】
まず、サムネイル画像データを解析しグループ分類を行う。サムネイル画像を解析しその属性を識別する方法としては、例えば、特開２００６−３９６５８号公報に記載されている技術を用いることができる。この技術によれば、サムネイル画像データを、サムネイル画像の大きさに比べて十分小さく予め定められた領域（窓と呼ぶ）で被覆し、各窓からサムネイル画像の小領域を切り出した部分サムネイル画像の集合を作成し、切り出した全ての部分サムネイル画像同士の間にそれらの間の非類似度に相当するような順序関係を定義する。そしてこの順序関係のみに基づいて各部分サムネイル画像を任意の距離空間における点へと写像し、写像された距離空間における点の位置座標ベクトルの直積又はテンソル積をサムネイル画像についての特徴量として用いて、サムネイル画像のグループ分類学習及びグループ識別を行う。また、この他に、ＳＶＭ（Support Vector Machine）などの学習アルゴリズムや統計処理などを利用して既知グループへの分類を行ってもよい。
【００５２】
次に、分類結果を数値化した特徴量と、サムネイル画像データから解析されたサムネイル画像の特徴量とを合成して特徴量ベクトルを構成し、そのベクトルを自己組織化マップなどの次元圧縮処理を介して可視平面上に射影する。このようにして、同じグループに属するサムネイル画像が互いに近傍に配置されるような配置データが得られる。なお、グループ配置を反映した配置方法はこれに限られるものではなく、単純に既知分類グループの位置を決めてそのグループに属するサムネイル画像を互いに近傍に配置してもよい。
【００５３】
［ステップＳ１４］
次に、距離算出手段１３としてのＣＰＵ３１は、各グループの表示領域の重心（以下、単に「重心」という。）を求め、重心からサムネイル画像の配置位置までの距離を算出する。ＣＰＵ３１は、この距離算出を、配置するサムネイル画像の個数分繰り返す。なお、距離に代えて、サムネイル画像の類似度を算出するようにしてもよい。
【００５４】
［ステップＳ１５］
次に、画像回転手段１４としてのＣＰＵ３１は、例えば全てのグループについて、重心から配置位置までの距離に応じて、仮想回転軸を基準としてサムネイル画像を立体的に仮想回転させ、サムネイル画像に角度を付ける。ここで角度を付けるとは、イメージ的には、例えば表示モニタの表示面に対し、サムネイル画像をある角度で立たせるように回転させることである。その結果、例えばサムネイル画像の下辺を短くしたサムネイル画像が生成されることになる。
【００５５】
図８（ａ）にオリジナルのサムネイル画像４１のイメージ、図８（ｂ）に仮想回転して角度を付けたサムネイル画像４３のイメージ、図８（ｃ）に角度を付ける前後におけるサムネイル画像４１及び４３の断面イメージを示す。具体的な方法の一例としては、オリジナルのサムネイル画像４１を上辺の横サイズＷを保持した状態で、横方向の仮想中心線４２を軸とし、表示モニタの表示面に対し立たせる方向に角度θだけ立体的に仮想回転させ、かつ奥行きに応じて下辺を短くし、角度θを付けたサムネイル画像４３を生成する。すなわち、角度を付けたサムネイル画像４３は、表示モニタの表示面に対し、オリジナルのサムネイル画像４１を角度θの奥行きを持たせて斜めに表示されるサムネイル画像であり、横サイズがＷ１＜Ｗである。
【００５６】
角度を付けたサムネイル画像４３は、オリジナルのサムネイル画像４１に対して、表示面積が小さくなっている。そのため、角度を付ける前後で横サイズが同じであり、単に縦横サイズを縮小した縮小サムネイル画像よりも見易い。さらに、多くのサムネイル画像が表示対象であってサムネイル画像同士が重なり合う場合、角度を付けて表示面積を小さくすることにより、重なりを解消することができる。
【００５７】
なお、前述の説明では下辺を上辺よりも短くした生成方法を例に挙げたが、本発明はこれに限定されるものではなく、場合によりサムネイル画像の右辺、左辺又は上辺をそれらの対向辺よりも短くするよう生成してもよい。
【００５８】
重心から配置位置までの距離に応じた角度の付け方としては、重心から配置位置までの距離＝Ｔ、予め定めた距離閾値をＴ１とすると、例えば、Ｔ＜Ｔ１のとき、角度θ１（０°≦θ１≦９０°）とし、Ｔ１≦Ｔのとき、角度θ２（０°≦θ２≦９０°）となるようにオリジナルのサムネイル画像４１を、角度の付けたサムネイル画像４３に変換する。θ１とθ２の関係はθ１＜θ２であってもよいし、θ２＜θ１であってもよい。これは、サムネイル画像の使用用途などにより角度を付けたい部分が変わるためである。
【００５９】
具体的には、例えば、θ１＜θ２の場合、類似度が高いものほどユーザーにとって重要であるとすると、類似度の低いものほど角度を付けることにより、類似度の高いものを類似度の低いものよりも見易くユーザーに提示することができる。また、θ２＜θ１の場合、類似度の高いものほど角度を付けることにより、ユーザーは、類似度の高いものを全体的に見渡すことができ、類似度の低いものを詳しく見ることができる。
【００６０】
前述の例では、重心から配置位置までの距離に応じて角度を固定にしているが、例えば、重心から配置位置までの距離に応じて角度を徐々に大きくしたり、徐々に小さくしたりしてもよい。また、予め基準として定めたサムネイル画像からの距離に応じて角度を徐々に大きくしたり、徐々に小さくしたりしてもよい。
【００６１】
なお、オリジナルのサムネイル画像４１から角度を付けたサムネイル画像４３への変換の全体のイメージとしての例を図９に示す。図９（ａ）は、オリジナルのサムネイル画像４１の全体イメージ、図９（ｂ）は、角度を付けたサムネイル画像４３の全体イメージを示している。
【００６２】
ＣＰＵ３１は、前述のステップＳ１５の処理を、配置するサムネイル画像の個数分繰り返す。その結果、サムネイル画像一つ一つに格子点の座標が対応付けられ、類似したサムネイル画像が互いに近傍に配置され、図９（ｂ）に示すような"サムネイル画像マップ"を生成するための配置位置データが生成される。
【００６３】
［ステップＳ１６］
次に、マップ表示手段１５としてのＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００６４】
なお、前述のように、ステップＳ１１における処理は、自己組織化マップを生成する学習プロセスであり、一度サンプルとなるデータを用いて自己組織化マップを生成した後に、実際に配置するサムネイル画像の座標を決定するプロセスにおいては、必要ないものである。また、一度全ステップを行い、サムネイル画像を配置したデータを作成した後、新規にサムネイル画像を追加するときには、新規のサムネイル画像に対してのみステップＳ１２、ステップＳ１３の処理を行い、サムネイル画像の配置位置、サイズを算出すればよい。
【００６５】
以上のように、本実施形態における画像表示装置１０は、サムネイル画像の特徴量に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００６６】
（第２の実施形態）
第１の実施形態では全てのグループを対象としてサムネイル画像に角度を付ける画像表示装置について説明したが、本実施形態における画像表示装置は、画像回転手段１４としてのＣＰＵ３１が、所定グループのサムネイル画像についてのみ角度を付けるものである。したがって、本実施形態における画像表示装置は、第１の実施形態における画像表示装置と同様な構成であるので、構成の説明を省略する。
【００６７】
図１０は、本実施形態における画像表示装置の画像表示処理のフローチャートである。以下、第１の実施形態と同様なステップには同一の符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。
【００６８】
［ステップＳ２１］
ステップＳ２１において、ＣＰＵ３１は、所定のグループかどうか判定する。所定のグループであればステップＳ２２に進み、所定のグループでなければステップＳ２３に進む。なお、所定のグループは予めユーザーの指定により、決定されるものである。ただし、これに限られるものではなく、サムネイル画像の配置状況などにより決定される等でもよい。
【００６９】
［ステップＳ２２］
ステップＳ２２において、ＣＰＵ３１は、所定のグループについて、例えば重心から配置位置までの距離に応じてサムネイル画像を仮想回転し、サムネイル画像に角度を付ける。その後、ステップＳ２３に進む。
【００７０】
［ステップＳ２３］
ステップＳ２３において、ＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００７１】
以上のように、本実施形態における画像表示装置は、所定のグループについて、サムネイル画像の特徴量に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００７２】
（第３の実施形態）
第１の実施形態では全てのグループを対象としてサムネイル画像に角度を付ける画像表示装置について説明したが、本実施形態における画像表示装置は、画像回転手段１４としてのＣＰＵ３１が、所定グループのみ、かつ、所定サムネイル画像のみについて角度を付けるものである。したがって、本実施形態における画像表示装置は、第１の実施形態における画像表示装置と同様な構成であるので、構成の説明を省略する。
【００７３】
図１１は、本実施形態における画像表示装置の画像表示処理のフローチャートである。以下、第１の実施形態と同様なステップには同一の符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。
【００７４】
［ステップＳ２１］
ステップＳ２１において、ＣＰＵ３１は、所定のグループかどうか判定する。所定のグループであればステップＳ３１に進み、所定のグループでなければステップＳ３３に進む。なお、所定のグループは予めユーザーの指定により、決定されるものである。ただし、これに限られるものではなく、サムネイル画像の配置状況などにより決定される等でもよい。
【００７５】
［ステップＳ３１］
ステップＳ３１において、ＣＰＵ３１は、所定のサムネイル画像かどうか判定する。所定のサムネイル画像であればステップＳ３２に進み、所定のサムネイル画像でなければステップＳ３３に進む。ここで、所定のサムネイル画像は予めユーザーの指定により、決定されるものである。ただし、これに限られるものではなく、サムネイル画像の配置状況などにより決定される等でもよい。
【００７６】
［ステップＳ３２］
ステップＳ３２において、ＣＰＵ３１は、所定のグループかつ所定のサムネイル画像について、例えば重心から配置位置までの距離に応じてサムネイル画像を仮想回転し、サムネイル画像に角度を付ける。その後、ステップＳ３３に進む。
【００７７】
［ステップＳ３３］
ステップＳ３３において、ＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００７８】
以上のように、本実施形態における画像表示装置は、所定グループかつ所定サムネイル画像について、サムネイル画像の特徴量に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００７９】
（第４の実施形態）
第１の実施形態では全てのグループを対象としてサムネイル画像に角度を付ける画像表示装置について説明したが、本実施形態における画像表示装置は、画像回転手段１４としてのＣＰＵ３１が、視認性により角度を付けるサムネイル数を決定し、決定したサムネイルにのみ角度を付けるものである。したがって、本実施形態における画像表示装置は、第１の実施形態における画像表示装置と同様な構成であるので、構成の説明を省略する。
【００８０】
図１２は、本実施形態における画像表示装置の画像表示処理のフローチャートである。以下、第１の実施形態と同様なステップには同一の符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。
【００８１】
［ステップＳ４１］
ステップＳ４１において、ＣＰＵ３１は、視認性の良し悪しに基づいて角度を付けるサムネイル画像の個数（以下「サムネイル数」という。）を決定する。視認性の良し悪しは、例えば、表示されているサムネイル数によって決まるものである。他には、サムネイル画像の特徴（形状等の複雑さ）、サムネイルの配置状況等によって決まるものでもよい。
【００８２】
本実施形態では、表示されるサムネイル数によって視認性の良し悪しが決まる場合について説明する。サムネイル数が多い場合、表示されるサムネイル画像が互いに重なり合う可能性が高く、見難く、視認性が悪い。そのため、サムネイル数を判定するために予め定めた閾値をＳ１とすると、Ｓ１＜サムネイル数Ｓの場合、視認性が悪いと判断し、ステップＳ４２に進む。それ以外の場合、ステップＳ４３に進む。ここでの視認性の良し悪しを決定する判定は、グループごとの判定でもよいし、全グループをまとめて判定してもよい。また、所定のグループのみを判定対象とする等してもよい。
【００８３】
［ステップＳ４２］
ステップＳ４２において、ＣＰＵ３１は、例えば重心から配置位置までの距離に応じてサムネイル画像を仮想回転し、サムネイル画像に角度を付ける。その後、ステップＳ４３に進む。
【００８４】
［ステップＳ４３］
ステップＳ４３において、ＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００８５】
以上のように、本実施形態における画像表示装置は、視認性に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【産業上の利用可能性】
【００８６】
以上のように、本発明に係る画像表示装置、画像表示方法、プログラム及び記憶媒体は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができるという効果を有し、ドキュメント画像等に係るサムネイル画像を表示する画像表示装置等として有用である。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１の実施形態における画像表示装置のブロック図
【図２】本発明の第１の実施形態における画像表示装置のハードウエア構成図
【図３】本発明の第１の実施形態における画像表示装置の表示モニタの座標系を示す図
【図４】本発明の第１の実施形態における画像表示装置の画像表示処理のフローチャート
【図５】本発明の第１の実施形態における画像表示装置において、自己組織化マップ作成ステップにおいて生成されるデータの構造例を示す図
【図６】本発明の第１の実施形態における画像表示装置において、極座標系格子点を用いる場合の説明図
【図７】本発明の第１の実施形態における画像表示装置において、３つのグループに分けられたサムネイル画像を示す図
【図８】本発明の第１の実施形態における画像表示装置において、サムネイル画像に角度を付ける処理の説明図
【図９】本発明の第１の実施形態における画像表示装置において、オリジナルのサムネイル画像から角度を付けたサムネイル画像への変換の全体のイメージ図
【図１０】本発明の第２の実施形態における画像表示装置の画像表示処理のフローチャート
【図１１】本発明の第３の実施形態における画像表示装置の画像表示処理のフローチャート
【図１２】本発明の第４の実施形態における画像表示装置の画像表示処理のフローチャート
【符号の説明】
【００８８】
１０ 画像表示装置
１１ 特徴量抽出手段
１２ 配置位置算出手段
１３ 距離算出手段
１４ 画像回転手段
１５ マップ表示手段
２０ ＰＣシステム
２１ クライアントＰＣ
２２ ＨＤＤ
２３ データバス
３０ サーバＰＣ
３１ ＣＰＵ
３２ ＲＡＭ
４１ オリジナルのサムネイル画像
４２ 仮想中心線
４３ 角度を付けたサムネイル画像
【技術分野】
【０００１】
本発明は、例えばドキュメント画像に係るサムネイル画像を表示する画像表示装置、画像表示方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
現在の画像検索は、画像に対して予め対応付けられたテキストデータを指定して、キーワード検索を行うのが通常である。しかし、対応付けられたテキストがない場合や、対応付けられたテキストが不正である場合には、サムネイル画像を一覧表示し、目視によって画像を探すことも一般的である。
【０００３】
こうした目視による画像検索を行う場合、検索対象となる画像数が多い場合には、モニタに表示する画像数を例えば３０個程度に制限して、ユーザーが縦横のスクロールを繰り返しながら全ての画像を眺める方式が一般的である。この方式は、１画像当たりの表示サイズを大きくとれて視認性がよい一方で、全ての画像を同時には見られず、視覚的に分かりにくいという欠点がある。
【０００４】
そこで、サムネイル画像を表示する際、その画像のコンテンツをユーザーに視覚的に分かり易く伝えるために工夫しているものがある（例えば、特許文献１参照）。これは元画像を構成する複数の部分画像の重要度に応じて、重要度の高い部分画像の割合が大きくなるように元画像を縮小した縮小画像を画像検索の結果として表示させるものである。
【０００５】
しかし、サムネイル画像が一覧に表示された画面から目的の画像を見つけようとする場合には、個々のサムネイル画像の内容を把握し易いように表示方法を工夫する必要に加え、表示されているサムネイル画像間にどのような関係があるかをユーザーに分かり易く伝える必要がある。
【０００６】
このような課題を解決するために、サムネイル画像をただ並べるのではなく、画像データの属性値情報に基づいてサムネイル画像の表示位置を決定し、表示画面内にマップのように配置することで検索効率を向上させる技術が知られている（以後、このような表示を「画像マップ」と呼ぶ）。この表示の利点は、画像間の関係を視覚的に提示可能な点であり、特に性質の似通ったサムネイル画像群を画面上にまとめて配置することで、表示画像データから必要なデータ群を容易に特定可能となる。
【０００７】
この種の技術を用いたものとしては、例えば、特許文献２に示された画像表示制御装置がある。この装置は、キーワードの入力を受けると共に、参照画像を選択し、複数の対象画像に付加されたキーワードと入力されたキーワードとに基づいて満足度を算出し、各参照画像に対する対象画像の類似度を算出し、キーワードの満足度と画像の類似度に応じた配置で各対象画像を多次元座標上に表示させるようになっている。
【０００８】
ただし、この装置では、画像数が多くなればなるほど１画像当たりの表示サイズは小さくなり、さらに画像数が増えると、各画像が重なり合うという状況が生じるという課題がある。
【０００９】
画像が重なり合う状況を回避する方法としては、例えば、特許文献３に示された表示制御装置がある。この装置は、オリジナルオブジェクトを表示装置の画面に対して角度θ１回転させ、該オリジナルオブジェクトに比べて表示面積を小さくしたスキューオブジェクトを生成する。それにより、表示装置にオブジェクトを効率的に表示させ、オブジェクトを容易に判別することができる。
【００１０】
ただし、この装置では、重なり合う状況を回避するだけのものであり、サムネイル画像をただ並べただけのものであって、画像間の関係を視覚的に提示できるものではない。
【特許文献１】特開２００７−８００９９号公報
【特許文献２】特開２００７−１０９１３６号公報
【特許文献３】特開２００５−１９０１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、前述した事情に鑑みてなされたものであり、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる画像表示装置、画像表示方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像表示装置は、予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示装置であって、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像を含むマップを前記配置情報に基づいて表示するマップ表示手段とを備えた構成を有している。
【００１３】
この構成により、本発明の画像表示装置は、オリジナルのサムネイル画像の表示面積よりも小さい表示面積で配置情報に基づいてサムネイル画像を表示することができる。したがって、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００１４】
なお、前記配置情報は、前記マップを表示する画面上の予め定めた基準位置から前記サムネイル画像を表示する位置までの距離、前記サムネイル画像の類似度及び前記サムネイル画像の視認性のいずれかの情報を含むのが好ましい。
【００１５】
また、本発明の画像表示装置は、前記画像回転手段が、前記マップの表示対象である複数のサムネイル画像のうち予め定めた基準のサムネイル画像から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものである構成を有している。
【００１６】
この構成により、本発明の画像表示装置は、基準のサムネイル画像を中心として角度を徐々に変化させることにより、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００１７】
さらに、本発明の画像表示装置は、前記複数のサムネイル画像は予め定めた少なくとも１つのグループに分類されたものであって、前記画像回転手段は、前記グループに係るサムネイル画像を前記マップに表示する際の表示領域の重心から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものである構成を有している。
【００１８】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００１９】
さらに、本発明の画像表示装置は、前記画像回転手段は、複数のグループに係るサムネイル画像を前記マップに表示する際に、予め定めたグループに係るサムネイル画像には前記角度を付けないものである構成を有している。
【００２０】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２１】
さらに、本発明の画像表示装置は、前記画像回転手段は、少なくとも１つのグループに係るサムネイル画像のうち予め定めたサムネイル画像のみに前記角度を付するものである構成を有している。
【００２２】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２３】
さらに、本発明の画像表示装置は、前記画像回転手段は、前記サムネイル画像の視認性に基づき、前記角度を付する対象のサムネイル画像数を変化させるものである構成を有している。
【００２４】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２５】
さらに、本発明の画像表示装置は、前記画像回転手段は、前記サムネイル画像の視認性が予め定めた基準未満のグループにおいて前記角度を付するサムネイル画像数を予め定めた閾値よりも多くし、前記視認性が前記基準以上のグループにおいて前記角度を付するサムネイル画像数を前記閾値より少なくするものである構成を有している。
【００２６】
この構成により、本発明の画像表示装置は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２７】
さらに、本発明の画像表示方法は、予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示方法であって、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させるステップと、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するステップとを備えた構成を有している。
【００２８】
この構成により、本発明の画像表示方法は、オリジナルのサムネイル画像の表示面積よりも小さい表示面積で配置情報に基づいてサムネイル画像を表示することができる。したがって、本発明の画像表示方法は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００２９】
さらに、本発明のプログラムは、予め定めた配置情報に基づいて画像データに対応するサムネイル画像をコンピュータに一覧表示させるプログラムであって、前記コンピュータを、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するマップ表示手段として機能させる構成を有している。
【００３０】
この構成により、本発明のプログラムは、コンピュータに、画像間の関係を視覚的に提示させることができ、かつ視認性の向上を図ることができる。
【００３１】
さらに、本発明の記憶媒体は、プログラムを記憶し、前記コンピュータが読み取り可能な構成を有している。
【００３２】
この構成により、本発明の記憶媒体は、コンピュータに、画像間の関係を視覚的に提示させることができ、かつ視認性の向上を図ることができる。
【発明の効果】
【００３３】
本発明は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができるという効果を有する画像表示装置、画像表示方法、プログラム及び記憶媒体を提供することができるものである。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態について図面を用いて説明する。
【００３５】
（第１の実施形態）
まず、本発明に係る画像表示装置の第１の実施形態における構成について説明する。
【００３６】
図１に示すように、本実施形態における画像表示装置１０は、サムネイル画像データから特徴量を抽出する特徴量抽出手段１１と、サムネイル画像の配置位置を算出する配置位置算出手段１２と、予め定めた基準位置からサムネイル画像の配置位置までの距離を算出する距離算出手段１３と、サムネイル画像を回転する画像回転手段１４と、サムネイル画像をマップ表示するマップ表示手段１５とを備えている。
【００３７】
図２は、本実施形態における画像表示装置１０を実現するためのハードウエア構成を示す図であって、画像表示装置１０は、例えば、パーソナルコンピュータ（ＰＣ）システム２０と、ＰＣシステム２０に記憶媒体を介してインストールされるプログラムによって構成される。
【００３８】
ＰＣシステム２０は、サーバＰＣ３０と、クライアントＰＣ２１と、ハードディスクドライブ（ＨＤＤ）２２と、データバス２３とを有する。サーバＰＣ３０は、ＣＰＵ３１、ＲＡＭ３２を有する。ここで、ＣＰＵ３１は、図１に示した各手段を構成する。なお、図示を省略したが、クライアントＰＣ２１は画像を表示する表示モニタを有する。
【００３９】
図２に示した構成における動作の概要を説明する。クライアントＰＣ２１がサーバＰＣ３０に所定のサムネイル画像の表示要求を行うと、ＣＰＵ３１は、例えばドキュメント画像データを記憶したＨＤＤ２２から該当する原画像データを読み出し、経路ａを介してＲＡＭ３２に書き込む。続いて、ＣＰＵ３１は、経路ｂを介してＲＡＭ３２上の原画像データに基づき、サムネイル画像データを生成する。このサムネイル画像データは、経路ｃを介してＲＡＭ３２に書き込まれ、経路ｄを介してＨＤＤ２２に記憶されると共に、クライアントＰＣ２１に送信される。以上の処理は、クライアントＰＣ２１からの表示要求に応じて該当するサムネイル画像の数だけ行われる。
【００４０】
ここで、クライアントＰＣ２１が有する表示モニタは１２８０×１０２４ドットの解像度を持つものとする。これに対応して、図３に示すように、左上（０、０）〜右下（１２７９、１０２３）の表示用の座標系を持つものとする。また、表示モニタ上に配置される各サムネイル画像は、重心座標Ｇと、表示時の横のサイズｗ及び縦のサイズｈとを有する。点Ｏは座標（０、０）の定点、点Ｃは座標（６４０、５１２）の定点である。各サムネイル画像の重心座標Ｇは、例えば点Ｏ又は点Ｃの座標を基準に決定される。
【００４１】
図４は、本実施形態における画像表示装置１０の画像表示処理のフローチャートを示している。以下、各ステップの処理について説明する。
【００４２】
［ステップＳ１１］
まず、ステップＳ１１において、ＣＰＵ３１は、自己組織化マップを作成する。自己組織化マップは、配置されるサムネイル画像が、画像の類似度が高いものほど互いに近傍に配置されるようマッピングするための学習アルゴリズムの一つで、高次元のデータを、構造や分布構造をなるべく壊さない形で低次元に集約する写像を与えるものと言うことができる。ここでは２次元に配置するものとする。
【００４３】
学習で用いられる入力ベクトルは、ｍ個のサンプル画像からｎ次元の特徴量を抽出した結果得られる、ｍ個のベクトルである。この特徴量ベクトルを抽出する抽出手段は、特徴量抽出手段１１（図１参照）としてのＣＰＵ３１である。
【００４４】
自己組織化マップの学習は広く知られた手法なので詳細の説明は省略するが、最終的に２次元の格子点にｎ次元の特徴ベクトルが並び、図５に示すように、ベクトル同士のユークリッド距離の近いものが互いに近傍に配置された構造を持つデータが生成される。この格子点が２次元空間上の座標にあたり、ｎ次元データを２次元座標値に対応させる写像となる。
【００４５】
なお、縦、横に直角に交わる二つの軸の交点を格子点としてもよいし、例えば図６に示すような極座標系格子点を用いてもよい。
【００４６】
［ステップＳ１２］
次に、ステップＳ１２において、特徴量抽出手段１１としてのＣＰＵ３１は、各サムネイル画像から画像特徴量を抽出する。画像特徴量は、サムネイル画像から彩度、色相、輝度、テクスチャなどの数値が算出され、ｎ次元の数値から成る特徴ベクトルを生成する。
【００４７】
［ステップＳ１３］
次に、ステップＳ１３において、配置位置算出手段１２としてのＣＰＵ３１は、ステップＳ１１で作成した自己組織化マップを用いた２次元格子点への写像を行う。具体的には、ＣＰＵ３１は、ステップＳ１２でサムネイル画像から抽出した特徴ベクトルに対して、ステップＳ１１で作成した自己組織化マップ上のベクトルのうち、最もユークリッド距離が近いものを探し、その格子点の座標にサムネイル画像を配置する。
【００４８】
上記のステップＳ１２及びステップＳ１３を、配置するサムネイル画像の個数分繰り返す。繰り返すと、サムネイル画像一つ一つに格子点の座標が対応付けられ、類似したサムネイル画像が互いに近傍に配置されるような"サムネイル画像マップ"のための位置データが生成される。
【００４９】
そして、例えば図７に示すように、サムネイル画像がいくつかのグループに分けられる。ここでグループとは、サムネイル画像の視覚的な特徴が似たもの同士のグループであったり、サムネイル画像ファイルの作成日が近いもの同士であったり、作成者が同一のものであったり等、目的に応じた様々なものが考えられる。
【００５０】
以下、サムネイル画像データを、グループごとにまとまりを形成して配置する方法の一例を紹介する。
【００５１】
まず、サムネイル画像データを解析しグループ分類を行う。サムネイル画像を解析しその属性を識別する方法としては、例えば、特開２００６−３９６５８号公報に記載されている技術を用いることができる。この技術によれば、サムネイル画像データを、サムネイル画像の大きさに比べて十分小さく予め定められた領域（窓と呼ぶ）で被覆し、各窓からサムネイル画像の小領域を切り出した部分サムネイル画像の集合を作成し、切り出した全ての部分サムネイル画像同士の間にそれらの間の非類似度に相当するような順序関係を定義する。そしてこの順序関係のみに基づいて各部分サムネイル画像を任意の距離空間における点へと写像し、写像された距離空間における点の位置座標ベクトルの直積又はテンソル積をサムネイル画像についての特徴量として用いて、サムネイル画像のグループ分類学習及びグループ識別を行う。また、この他に、ＳＶＭ（Support Vector Machine）などの学習アルゴリズムや統計処理などを利用して既知グループへの分類を行ってもよい。
【００５２】
次に、分類結果を数値化した特徴量と、サムネイル画像データから解析されたサムネイル画像の特徴量とを合成して特徴量ベクトルを構成し、そのベクトルを自己組織化マップなどの次元圧縮処理を介して可視平面上に射影する。このようにして、同じグループに属するサムネイル画像が互いに近傍に配置されるような配置データが得られる。なお、グループ配置を反映した配置方法はこれに限られるものではなく、単純に既知分類グループの位置を決めてそのグループに属するサムネイル画像を互いに近傍に配置してもよい。
【００５３】
［ステップＳ１４］
次に、距離算出手段１３としてのＣＰＵ３１は、各グループの表示領域の重心（以下、単に「重心」という。）を求め、重心からサムネイル画像の配置位置までの距離を算出する。ＣＰＵ３１は、この距離算出を、配置するサムネイル画像の個数分繰り返す。なお、距離に代えて、サムネイル画像の類似度を算出するようにしてもよい。
【００５４】
［ステップＳ１５］
次に、画像回転手段１４としてのＣＰＵ３１は、例えば全てのグループについて、重心から配置位置までの距離に応じて、仮想回転軸を基準としてサムネイル画像を立体的に仮想回転させ、サムネイル画像に角度を付ける。ここで角度を付けるとは、イメージ的には、例えば表示モニタの表示面に対し、サムネイル画像をある角度で立たせるように回転させることである。その結果、例えばサムネイル画像の下辺を短くしたサムネイル画像が生成されることになる。
【００５５】
図８（ａ）にオリジナルのサムネイル画像４１のイメージ、図８（ｂ）に仮想回転して角度を付けたサムネイル画像４３のイメージ、図８（ｃ）に角度を付ける前後におけるサムネイル画像４１及び４３の断面イメージを示す。具体的な方法の一例としては、オリジナルのサムネイル画像４１を上辺の横サイズＷを保持した状態で、横方向の仮想中心線４２を軸とし、表示モニタの表示面に対し立たせる方向に角度θだけ立体的に仮想回転させ、かつ奥行きに応じて下辺を短くし、角度θを付けたサムネイル画像４３を生成する。すなわち、角度を付けたサムネイル画像４３は、表示モニタの表示面に対し、オリジナルのサムネイル画像４１を角度θの奥行きを持たせて斜めに表示されるサムネイル画像であり、横サイズがＷ１＜Ｗである。
【００５６】
角度を付けたサムネイル画像４３は、オリジナルのサムネイル画像４１に対して、表示面積が小さくなっている。そのため、角度を付ける前後で横サイズが同じであり、単に縦横サイズを縮小した縮小サムネイル画像よりも見易い。さらに、多くのサムネイル画像が表示対象であってサムネイル画像同士が重なり合う場合、角度を付けて表示面積を小さくすることにより、重なりを解消することができる。
【００５７】
なお、前述の説明では下辺を上辺よりも短くした生成方法を例に挙げたが、本発明はこれに限定されるものではなく、場合によりサムネイル画像の右辺、左辺又は上辺をそれらの対向辺よりも短くするよう生成してもよい。
【００５８】
重心から配置位置までの距離に応じた角度の付け方としては、重心から配置位置までの距離＝Ｔ、予め定めた距離閾値をＴ１とすると、例えば、Ｔ＜Ｔ１のとき、角度θ１（０°≦θ１≦９０°）とし、Ｔ１≦Ｔのとき、角度θ２（０°≦θ２≦９０°）となるようにオリジナルのサムネイル画像４１を、角度の付けたサムネイル画像４３に変換する。θ１とθ２の関係はθ１＜θ２であってもよいし、θ２＜θ１であってもよい。これは、サムネイル画像の使用用途などにより角度を付けたい部分が変わるためである。
【００５９】
具体的には、例えば、θ１＜θ２の場合、類似度が高いものほどユーザーにとって重要であるとすると、類似度の低いものほど角度を付けることにより、類似度の高いものを類似度の低いものよりも見易くユーザーに提示することができる。また、θ２＜θ１の場合、類似度の高いものほど角度を付けることにより、ユーザーは、類似度の高いものを全体的に見渡すことができ、類似度の低いものを詳しく見ることができる。
【００６０】
前述の例では、重心から配置位置までの距離に応じて角度を固定にしているが、例えば、重心から配置位置までの距離に応じて角度を徐々に大きくしたり、徐々に小さくしたりしてもよい。また、予め基準として定めたサムネイル画像からの距離に応じて角度を徐々に大きくしたり、徐々に小さくしたりしてもよい。
【００６１】
なお、オリジナルのサムネイル画像４１から角度を付けたサムネイル画像４３への変換の全体のイメージとしての例を図９に示す。図９（ａ）は、オリジナルのサムネイル画像４１の全体イメージ、図９（ｂ）は、角度を付けたサムネイル画像４３の全体イメージを示している。
【００６２】
ＣＰＵ３１は、前述のステップＳ１５の処理を、配置するサムネイル画像の個数分繰り返す。その結果、サムネイル画像一つ一つに格子点の座標が対応付けられ、類似したサムネイル画像が互いに近傍に配置され、図９（ｂ）に示すような"サムネイル画像マップ"を生成するための配置位置データが生成される。
【００６３】
［ステップＳ１６］
次に、マップ表示手段１５としてのＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００６４】
なお、前述のように、ステップＳ１１における処理は、自己組織化マップを生成する学習プロセスであり、一度サンプルとなるデータを用いて自己組織化マップを生成した後に、実際に配置するサムネイル画像の座標を決定するプロセスにおいては、必要ないものである。また、一度全ステップを行い、サムネイル画像を配置したデータを作成した後、新規にサムネイル画像を追加するときには、新規のサムネイル画像に対してのみステップＳ１２、ステップＳ１３の処理を行い、サムネイル画像の配置位置、サイズを算出すればよい。
【００６５】
以上のように、本実施形態における画像表示装置１０は、サムネイル画像の特徴量に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００６６】
（第２の実施形態）
第１の実施形態では全てのグループを対象としてサムネイル画像に角度を付ける画像表示装置について説明したが、本実施形態における画像表示装置は、画像回転手段１４としてのＣＰＵ３１が、所定グループのサムネイル画像についてのみ角度を付けるものである。したがって、本実施形態における画像表示装置は、第１の実施形態における画像表示装置と同様な構成であるので、構成の説明を省略する。
【００６７】
図１０は、本実施形態における画像表示装置の画像表示処理のフローチャートである。以下、第１の実施形態と同様なステップには同一の符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。
【００６８】
［ステップＳ２１］
ステップＳ２１において、ＣＰＵ３１は、所定のグループかどうか判定する。所定のグループであればステップＳ２２に進み、所定のグループでなければステップＳ２３に進む。なお、所定のグループは予めユーザーの指定により、決定されるものである。ただし、これに限られるものではなく、サムネイル画像の配置状況などにより決定される等でもよい。
【００６９】
［ステップＳ２２］
ステップＳ２２において、ＣＰＵ３１は、所定のグループについて、例えば重心から配置位置までの距離に応じてサムネイル画像を仮想回転し、サムネイル画像に角度を付ける。その後、ステップＳ２３に進む。
【００７０】
［ステップＳ２３］
ステップＳ２３において、ＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００７１】
以上のように、本実施形態における画像表示装置は、所定のグループについて、サムネイル画像の特徴量に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００７２】
（第３の実施形態）
第１の実施形態では全てのグループを対象としてサムネイル画像に角度を付ける画像表示装置について説明したが、本実施形態における画像表示装置は、画像回転手段１４としてのＣＰＵ３１が、所定グループのみ、かつ、所定サムネイル画像のみについて角度を付けるものである。したがって、本実施形態における画像表示装置は、第１の実施形態における画像表示装置と同様な構成であるので、構成の説明を省略する。
【００７３】
図１１は、本実施形態における画像表示装置の画像表示処理のフローチャートである。以下、第１の実施形態と同様なステップには同一の符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。
【００７４】
［ステップＳ２１］
ステップＳ２１において、ＣＰＵ３１は、所定のグループかどうか判定する。所定のグループであればステップＳ３１に進み、所定のグループでなければステップＳ３３に進む。なお、所定のグループは予めユーザーの指定により、決定されるものである。ただし、これに限られるものではなく、サムネイル画像の配置状況などにより決定される等でもよい。
【００７５】
［ステップＳ３１］
ステップＳ３１において、ＣＰＵ３１は、所定のサムネイル画像かどうか判定する。所定のサムネイル画像であればステップＳ３２に進み、所定のサムネイル画像でなければステップＳ３３に進む。ここで、所定のサムネイル画像は予めユーザーの指定により、決定されるものである。ただし、これに限られるものではなく、サムネイル画像の配置状況などにより決定される等でもよい。
【００７６】
［ステップＳ３２］
ステップＳ３２において、ＣＰＵ３１は、所定のグループかつ所定のサムネイル画像について、例えば重心から配置位置までの距離に応じてサムネイル画像を仮想回転し、サムネイル画像に角度を付ける。その後、ステップＳ３３に進む。
【００７７】
［ステップＳ３３］
ステップＳ３３において、ＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００７８】
以上のように、本実施形態における画像表示装置は、所定グループかつ所定サムネイル画像について、サムネイル画像の特徴量に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【００７９】
（第４の実施形態）
第１の実施形態では全てのグループを対象としてサムネイル画像に角度を付ける画像表示装置について説明したが、本実施形態における画像表示装置は、画像回転手段１４としてのＣＰＵ３１が、視認性により角度を付けるサムネイル数を決定し、決定したサムネイルにのみ角度を付けるものである。したがって、本実施形態における画像表示装置は、第１の実施形態における画像表示装置と同様な構成であるので、構成の説明を省略する。
【００８０】
図１２は、本実施形態における画像表示装置の画像表示処理のフローチャートである。以下、第１の実施形態と同様なステップには同一の符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。
【００８１】
［ステップＳ４１］
ステップＳ４１において、ＣＰＵ３１は、視認性の良し悪しに基づいて角度を付けるサムネイル画像の個数（以下「サムネイル数」という。）を決定する。視認性の良し悪しは、例えば、表示されているサムネイル数によって決まるものである。他には、サムネイル画像の特徴（形状等の複雑さ）、サムネイルの配置状況等によって決まるものでもよい。
【００８２】
本実施形態では、表示されるサムネイル数によって視認性の良し悪しが決まる場合について説明する。サムネイル数が多い場合、表示されるサムネイル画像が互いに重なり合う可能性が高く、見難く、視認性が悪い。そのため、サムネイル数を判定するために予め定めた閾値をＳ１とすると、Ｓ１＜サムネイル数Ｓの場合、視認性が悪いと判断し、ステップＳ４２に進む。それ以外の場合、ステップＳ４３に進む。ここでの視認性の良し悪しを決定する判定は、グループごとの判定でもよいし、全グループをまとめて判定してもよい。また、所定のグループのみを判定対象とする等してもよい。
【００８３】
［ステップＳ４２］
ステップＳ４２において、ＣＰＵ３１は、例えば重心から配置位置までの距離に応じてサムネイル画像を仮想回転し、サムネイル画像に角度を付ける。その後、ステップＳ４３に進む。
【００８４】
［ステップＳ４３］
ステップＳ４３において、ＣＰＵ３１は、ステップＳ１５で生成した配置位置データに基づいて、全てのサムネイル画像を表示モニタにマップ表示する。
【００８５】
以上のように、本実施形態における画像表示装置は、視認性に基づいてサムネイル画像に角度を付けることにより、サムネイルの重なりを軽減し、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができる。
【産業上の利用可能性】
【００８６】
以上のように、本発明に係る画像表示装置、画像表示方法、プログラム及び記憶媒体は、画像間の関係を視覚的に提示でき、かつ視認性の向上を図ることができるという効果を有し、ドキュメント画像等に係るサムネイル画像を表示する画像表示装置等として有用である。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１の実施形態における画像表示装置のブロック図
【図２】本発明の第１の実施形態における画像表示装置のハードウエア構成図
【図３】本発明の第１の実施形態における画像表示装置の表示モニタの座標系を示す図
【図４】本発明の第１の実施形態における画像表示装置の画像表示処理のフローチャート
【図５】本発明の第１の実施形態における画像表示装置において、自己組織化マップ作成ステップにおいて生成されるデータの構造例を示す図
【図６】本発明の第１の実施形態における画像表示装置において、極座標系格子点を用いる場合の説明図
【図７】本発明の第１の実施形態における画像表示装置において、３つのグループに分けられたサムネイル画像を示す図
【図８】本発明の第１の実施形態における画像表示装置において、サムネイル画像に角度を付ける処理の説明図
【図９】本発明の第１の実施形態における画像表示装置において、オリジナルのサムネイル画像から角度を付けたサムネイル画像への変換の全体のイメージ図
【図１０】本発明の第２の実施形態における画像表示装置の画像表示処理のフローチャート
【図１１】本発明の第３の実施形態における画像表示装置の画像表示処理のフローチャート
【図１２】本発明の第４の実施形態における画像表示装置の画像表示処理のフローチャート
【符号の説明】
【００８８】
１０ 画像表示装置
１１ 特徴量抽出手段
１２ 配置位置算出手段
１３ 距離算出手段
１４ 画像回転手段
１５ マップ表示手段
２０ ＰＣシステム
２１ クライアントＰＣ
２２ ＨＤＤ
２３ データバス
３０ サーバＰＣ
３１ ＣＰＵ
３２ ＲＡＭ
４１ オリジナルのサムネイル画像
４２ 仮想中心線
４３ 角度を付けたサムネイル画像
【特許請求の範囲】
【請求項１】
予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示装置であって、
前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像を含むマップを前記配置情報に基づいて表示するマップ表示手段とを備えたことを特徴とする画像表示装置。
【請求項２】
前記配置情報は、前記マップを表示する画面上の予め定めた基準位置から前記サムネイル画像を表示する位置までの距離、前記サムネイル画像の類似度及び前記サムネイル画像の視認性のいずれかの情報を含むことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記画像回転手段は、前記マップの表示対象である複数のサムネイル画像のうち予め定めた基準のサムネイル画像から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものであることを特徴とする請求項１又は請求項２に記載の画像表示装置。
【請求項４】
前記サムネイル画像は予め定めた少なくとも１つのグループに分類されたものであって、
前記画像回転手段は、前記グループに係るサムネイル画像を前記マップに表示する際の表示領域の重心から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものであることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像表示装置。
【請求項５】
前記画像回転手段は、複数のグループに係るサムネイル画像を前記マップに表示する際に、予め定めたグループに係るサムネイル画像には前記角度を付けないものであることを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記画像回転手段は、少なくとも１つのグループに係るサムネイル画像のうち予め定めたサムネイル画像のみに前記角度を付するものであることを特徴とする請求項４又は請求項５に記載の画像表示装置。
【請求項７】
前記画像回転手段は、前記サムネイル画像の視認性に基づき、前記角度を付する対象のサムネイル画像数を変化させるものであることを特徴とする請求項１から請求項６までのいずれか１項に記載の画像表示装置。
【請求項８】
前記画像回転手段は、前記サムネイル画像の視認性が予め定めた基準未満のグループにおいて前記角度を付するサムネイル画像数を予め定めた閾値よりも多くし、前記視認性が前記基準以上のグループにおいて前記角度を付するサムネイル画像数を前記閾値より少なくするものであることを特徴とする請求項７に記載の画像表示装置。
【請求項９】
予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示方法であって、
前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させるステップと、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するステップとを備えたことを特徴とする画像表示方法。
【請求項１０】
予め定めた配置情報に基づいて画像データに対応するサムネイル画像をコンピュータに一覧表示させるプログラムであって、
前記コンピュータを、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するマップ表示手段として機能させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶し、前記コンピュータが読み取り可能な記憶媒体。
【請求項１】
予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示装置であって、
前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像を含むマップを前記配置情報に基づいて表示するマップ表示手段とを備えたことを特徴とする画像表示装置。
【請求項２】
前記配置情報は、前記マップを表示する画面上の予め定めた基準位置から前記サムネイル画像を表示する位置までの距離、前記サムネイル画像の類似度及び前記サムネイル画像の視認性のいずれかの情報を含むことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記画像回転手段は、前記マップの表示対象である複数のサムネイル画像のうち予め定めた基準のサムネイル画像から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものであることを特徴とする請求項１又は請求項２に記載の画像表示装置。
【請求項４】
前記サムネイル画像は予め定めた少なくとも１つのグループに分類されたものであって、
前記画像回転手段は、前記グループに係るサムネイル画像を前記マップに表示する際の表示領域の重心から前記マップ上に表示するサムネイル画像の配置位置までの距離に応じて前記角度を変化させるものであることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像表示装置。
【請求項５】
前記画像回転手段は、複数のグループに係るサムネイル画像を前記マップに表示する際に、予め定めたグループに係るサムネイル画像には前記角度を付けないものであることを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記画像回転手段は、少なくとも１つのグループに係るサムネイル画像のうち予め定めたサムネイル画像のみに前記角度を付するものであることを特徴とする請求項４又は請求項５に記載の画像表示装置。
【請求項７】
前記画像回転手段は、前記サムネイル画像の視認性に基づき、前記角度を付する対象のサムネイル画像数を変化させるものであることを特徴とする請求項１から請求項６までのいずれか１項に記載の画像表示装置。
【請求項８】
前記画像回転手段は、前記サムネイル画像の視認性が予め定めた基準未満のグループにおいて前記角度を付するサムネイル画像数を予め定めた閾値よりも多くし、前記視認性が前記基準以上のグループにおいて前記角度を付するサムネイル画像数を前記閾値より少なくするものであることを特徴とする請求項７に記載の画像表示装置。
【請求項９】
予め定めた配置情報に基づいて画像データに対応するサムネイル画像を一覧表示する画像表示方法であって、
前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させるステップと、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するステップとを備えたことを特徴とする画像表示方法。
【請求項１０】
予め定めた配置情報に基づいて画像データに対応するサムネイル画像をコンピュータに一覧表示させるプログラムであって、
前記コンピュータを、前記サムネイル画像上に設けた仮想軸線を基準として前記サムネイル画像を前記配置情報に基づいて予め定めた角度だけ立体的に仮想回転させる画像回転手段と、仮想回転したサムネイル画像のマップを前記配置情報に基づいて表示するマップ表示手段として機能させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶し、前記コンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２１７６６（Ｐ２０１０−２１７６６Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８００７１（Ｐ２００８−１８００７１）
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１０日（２００８．７．１０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]