説明

画像表示装置及びその制御方法、並びにプログラム及び記憶媒体

【課題】 仮想3次元空間に画像を配置し、画像一覧として表示させる場合、重なりによって見えない、或いは見えにくくなった画像を、オペレータが認識しやすいように表示する。
【解決手段】 仮想3次元空間に複数の画像を配置する。オペレータが仮想視点位置の変更指示、或いは複数の画像の位置の変更指示を与えることで、仮想視点位置に来ていされる投影面上の各画像の表示位置を変更することになった場合、個々の画像毎に他の画像との重なり度合いを重なり度合い算出手段で算出する。そして、算出した重なり度合いに依存したパラメータに従ったアニメーション効果に従い、時間軸に沿って徐々にその表示位置を変更し、目標位置まで移動する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像の表示技術に関するものである。
【背景技術】
【0002】
従来、パーソナルコンピューターやデジタルカメラなど画像データを扱う装置においては、複数の画像データを仮想3次元空間や2次元平面上に配置し一覧表示する形態がある。このような表示形態では、仮想空間や平面の座標軸に撮影日などの指標を持たせ、ユーザが全体像や画像間の関係を理解しやすい形式で表示する方法があった(たとえば特許文献1)。
【0003】
また、複数の画像データや図形オブジェクトを描画する際に、重なりにより画像や図形が隠れることを回避するために、画像や図形を隠れない位置に移動させる方法があった(たとえば特許文献2)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11-231993号公報
【特許文献2】特開2004-021522号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、多数の画像を限られた領域に表示することにより、画像が他の画像と重なり認識しにくくなるケースがあった。特に仮想3次元空間に配置する方法では、他の画像の背後に重なり、表示画面上はまったく見えなくなるケースがあった。
【0006】
画像や図形を隠れない位置に移動させる方法もあるが、空間の座標軸に割り当てた指標に基づいて位置を決めているような場合には、位置の変更は望ましくない。
【0007】
本発明はかかる問題点に鑑みなされたものであり、仮想3次元空間に画像を配置し、画像一覧として表示させる場合、重なりによって見えない、或いは見えにくくなった画像を、オペレータが認識しやすいように表示する技術を提供しようとするものである。
【課題を解決するための手段】
【0008】
この課題を解決するため、例えば本発明の画像表示装置は以下の構成を備える。すなわち、
複数の画像を表示する画像表示装置であって、
仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置手段と、
前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示手段と、
オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更手段と、
該変更手段よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出手段と、
前記変更手段よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像との重なり度合いを示す指標値を算出する指標値算出手段と、
前記複数の画像それぞれについて、算出した前記指標値に応じたタイミングで、時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示手段とを備える。
【発明の効果】
【0009】
本発明によれば、仮想3次元空間に画像を配置し、画像一覧として表示させる場合であっても、重なりによって見えない、或いは見えにくくなった画像を、オペレータが認識しやすいように表示することが可能になる。
【図面の簡単な説明】
【0010】
【図1】実施形態による画像表示装置の構成を示すブロック図。
【図2】実施形態による画像表示装置のモジュール構成を示した図。
【図3】仮想3次元空間に画像を配置した様子を示した図。
【図4】実施形態による画像表示装置の画面表示例を示す図。
【図5】実施形態による処理の流れを示したフローチャート。
【図6】実施形態による処理の流れを示したフローチャート。
【図7】実施形態によるアニメーション処理中の表示画面の一例を示す図。
【図8】表示画面において画像の重なり例を示す図。
【図9】実施形態による画像表示装置のモジュール構成を示す図。
【図10】時刻に対する位置の変化パターンを示す図。
【図11】実施形態による処理の流れを示したフローチャート。
【図12】実施形態による画像表示装置のモジュール構成を示す図。
【図13】実施形態による処理の流れを示したフローチャート。
【図14】実施形態による画像表示装置の画面表示例を示す図。
【図15】実施形態によるアニメーション処理中の表示画面の一例を示す図。
【図16】実施形態による画像表示装置の画面表示の一例を示す図。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明に係る画像表示処理装置の第1の実施形態を説明する。
【0012】
[第1の実施形態]
図1は本第1の実施形態の画像表示装置の構成を示すブロック図である。図示において、図1において、CPU101はシステム制御部であり装置全体を制御する。ROM102は、CPU101の制御プログラムや各種固定データを格納する読取専用のメモリである。RAM103は、SRAM、DRAM等で構成された書換え可能なメモリであり、プログラム制御変数等を格納するためのものである。各種設定パラメータ、各種ワーク用バッファ等もRAM103に格納されるものである。表示部104は、LCD等を用いてオペレータに表示通知するためのものである。操作部105は、キーボードやポインティングデバイス等で構成され、オペレータが各種入力操作を行うためのものである。HDD106は外部記憶装置としてのハードディスクドライブであって、ここには、OS(オペレーティングシステム)やアプリケーション、更には、画像ファイルを記憶されており、且つ、新たな画像ファイルを格納することも可能である。そして、システムバス107は上記各構成を接続している。
【0013】
図2は、本実施形態の画像表示装置における処理モジュール構成を示した図である。同図において、表示位置変更指示手段201は各画像の表示位置を変更する指示をオペレータが行うためのものである。オペレータによる指示は、操作部105によって行われ、複数の画像の位置を同時に変更する指示も可能である。表示位置決定手段202は、画像記憶手段205(図1のHDD106に対応する)に格納された各画像ファイルの画像(以下、単に画像という)の初期表示位置を決定する他、表示位置変更指示手段201から入力された情報に基づいて、変更後の各画像の表示位置を算出する表示位置算出手段としても機能する。重なり度合い算出手段203は、後述するアニメーション表示手段204に設定するパラメータの元となる指標値を算出する指標値算出手段として機能するものであって、具体的には、表示位置決定手段202で決定した各画像の表示位置や各画像のサイズに従って、各画像の隠れている面積の割合や、各画像より手前に重なっている画像の個数を算出する。アニメーション表示手段204は、重なり度合い算出手段203によって算出された値からアニメーションのパラメータを決定し、表示位置決定手段202によって決定された位置までアニメーション表示を行う手段である。
【0014】
上記構成において、本実施形態では、仮想的な3次元空間に各画像を配置し、仮想視点位置から見える投影画像一覧を表示部104の表示画面(2次元画面)に表示させる。そして、オペレータが、画像群の表示位置の変更指示を与えたとき(例えば可能視点位置を変更した場合)、それに応じて表示画面上の各画像の更新後の位置(目標位置)を算出し、その算出した位置に向けて各画像の表示位置を、時間軸に沿って徐々に移動させる。つまり、表示位置の変更指示を与えたとき、一気に移動目標位置に移動するのではなく、それに至る各位置で画像を表示する。このように時間軸に沿って徐々に表示位置を変更しながら画像を表示することでアニメーション効果を奏するようにし、そのための処理をアニメーション処理と称している。ここで問題となるのは、表示位置の変更指示を与えたとき、全ての画像が同じタイミングで移動するようにしてしまうと、仮想3次元空間の奥に位置する画像の中には、目的とする位置に移動中、他の画像の背面に隠れたままとなり、画面に全く表示されないまま移動が完了することも起こりえる。そこで、本実施形態では、表示位置変更後の各画像の目標位置に移動を開始するタイミング、換言すれば、アニメーションを開始するタイミングを表わすパラメータを、その画像が他の画像で隠されている割合、並びに、その画像の一部でも隠す他の画像の枚数に依存する指標値を算出し、その指標値でそのパラメータを決定するようにする。そして、決定されたパラメータに従って、ここの画像に対するアニメーション処理を実行する。この結果、例えば、或る画像「A」に隠され、全く見えなかった画像「B」が、画像Aよりも早く移動を開始(逆でも構わない)することで、画像Bがオペレータの目に認識される可能性を高くすることができる。以下、その具体例を説明する。
【0015】
図3は、画像記憶部205に格納された複数の画像ファイルの画像を、仮想3次元空間に配置した様子を示した図である。同図において、301は仮想の視点位置であり、302、303、304はそれぞれX軸、Y軸、Z軸である。305〜316は画像である。本実施形態の画像表示装置においては、305〜316の画像を、視点301を基準にZ=0の平面に透視投影した結果が、表示部104の画面に表示される。
【0016】
305〜316の画像の位置は、Y軸およびZ軸に割り当てられた指標に基づいて決定される。例えば、Y軸を撮影日の軸とし、Z軸を撮影時刻の軸とした場合には、305〜307の画像は同じ日に撮影されたものであり撮影時刻順に並んでいることになる。撮影日時ではなく、被写体の種類や画像のサイズを軸に割り当てても良いし、文書データのサムネイル画像の場合には検索キーワードのヒット率を軸に割り当てても良い。この並びに関する指示は、オペレータが不図示のメニューから、操作部105を用いて選択するものとし、ここでは図3に示すように既に配列されているものとして説明する。本実施形態においては、仮想3次元空間において視点からZ軸に向かう方向が「奥行き」方向であり、視点位置に近いほど「手前」にあると称する。
【0017】
図4は、本実施形態の画像表示処理装置における画面表示の一例である。同図の画面表示は、図3に示した仮想3次元空間を透視投影した結果得られたものである。画像401、402、403、404はそれぞれ、図3の画像305、308、311、314に相当する。図4に示したとおり、透視投影の結果、画像309、310、312、313は、表示画面上では完全に見えなくなっている。また、画像306、307、315、316は、表示画面上では一部が見えるのみである。
【0018】
図5は、本実施形態における処理の流れを示したフローチャートである。同図は、オペレータが操作部105を操作した後の処理の流れを示したものである。
【0019】
オペレータによる操作があった後、まず、その操作が表示位置の変更指示か否か、具体的には、仮想視点位置の変更指示か否かを判断する(S501)。ここで、表示位置の変更指示ではないと判断されれば、アニメーション表示の処理は行わずに終了する。S501で、表示位置の変更指示であると判断されれば、配列された各画像について、新たな視点位置に対する投影位置(表示位置)を取得(算出)する(S502)。なお、この時点では、各画像の表示位置は変行為されない。あくまで各画像の変更後の表示位置(各画像の目標位置)を算出するものであって、実際に移動(アニメーション)する処理を行うのは、後述するS505における処理である。
【0020】
次に、位置の変更を行う各画像について重なり度合いを算出する(S503)。重なり度合いの算出方法については後述する。続いて、S503で算出した重なり度合いに基づいて、各画像のアニメーションのパラメータを決定する(S504)。本実施形態においては、アニメーションのパラメータとは、先に説明したように、アニメーション表示を開始する時刻のことである。そして、S504で決定したアニメーションのパラメータに基づいてアニメーション表示を実行する(S505)。
【0021】
図6は、重なり度合いを算出しアニメーションのパラメータを決定する処理の流れを示したフローチャートである。同図の処理は、図5におけるS503およびS504の処理を更に詳細に示したものでもある。以下、同図に従い、処理内容を説明する。なお、この処理の段階では、全画像の移動後の表示位置(目標とする位置)の算出が完了していることに注意されたい。
【0022】
図6に示したとおり、まず、対象となる1つの画像の移動後の描画領域を取得する(S601)。ここでは、現時点の表示における描画領域、すなわちアニメーション開始前の画像の描画領域を取得する。描画領域とは、表示画面上の左上隅の位置を原点とした、その画像の表示画面における座標値のセットであり、具体的には画像の左上座標(x1、y1)と右下座標(x2、y2)の2つの点の座標値である。
【0023】
次に、変数iおよび変数Nに0をセットする(S602)。ここで、変数Nは対象画像(着目画像)より手前にあり、かつ、対象画像の描画領域と重なる画像の枚数を保持するカウンタである。変数iは仮想3次元空間に配置された各画像を特定するカウンタである。仮想3次元空間に配置された画像には、0番目から順に一意的な番号付けがなされている。ここでは、変数iおよび変数Nの初期化を行っている。
【0024】
そして、仮想3次元空間に配置した、移動後の全画像のうちi番目の画像の描画領域を取得し(S603)、i番目の画像は対象画像より手前にあり、かつ、描画領域が重なるかを判断する(S604)。i番目の画像が対象画像より手前にあるか否かは、画像と関連付けられた配置情報から判断できる。描画領域が重なるかどうかは、描画領域を示す座標値のセットから判断できる。ここでは、画像の一部が重なれば、「描画領域が重なる」と判断する。S604において、i番目の画像が対象画像より手前にあり、かつ、描画領域が重なると判断されれば、i番目の画像を描画領域リストに格納する(S605)。描画領域リストは、対象画像の一部または全部を隠している各画像の描画領域を格納するリストである。そして、変数Nに1を加える(S606)。
【0025】
S604において、i番目の画像が対象画像より手前にはない、または、描画領域が重ならないと判断されれば、S607の処理へ移行する。続いて、変数iに1を加え(S607)、i番目の画像が存在するかを判断する(S608)。S608においてi番目の画像が存在すると判断されれば、S603の処理へ移行し、以降の処理を繰り返す。
【0026】
S608においてi番目の画像が存在しない、すなわち、対象画像に対する重なりを判定すべき画像が無くなったと判断されれば、描画領域リストと対象画像の描画領域から隠れている面積の割合Sを計算する(S609)。隠れている面積の割合Sは、0〜1の実数で表すものとする。描画領域リストには、対象画像の一部または全部を隠す画像の描画領域が格納されているので、その座標値に基づいて隠れている面積の割合を計算する。描画領域リストに何も格納されていない場合には、対象画像を隠す画像が存在しないことになるから、隠れている面積の割合Sは0となる。本実施形態においては、割合Sと変数Nの積を重なり度合いと呼んでいる。
【0027】
そして、割合Sおよび変数Nの値から、対象画像のアニメーションの開始時刻Tを計算し(S610)、終了する。S610での計算式は、例えば、T(秒)=S×N/2である。例えば、描画領域のうち90%が隠れていて手前に1枚の画像が重なっている画像の場合には、0.9×1/2=0.45となり、アニメーション処理を開始してから、対象画像の目標位置への移動(アニメーション)を開始するのは、0.45秒経過後とする。また、描画領域のうち80%が隠れていて手前に2枚の画像が重なっている画像の場合には、0.8×2/2=0.8となり、0.8秒時にアニメーションを開始することになる。従って、視点位置に最も近い最前列に位置する画像は、他の画像とは重なっていないので、それらの画像はアニメーション処理開始すると同時に移動を開始することになる。
【0028】
図5および図6に示した処理を行うことにより、重なり度合いが大きい画像ほどアニメーション開始時刻が遅くなる。そうすることにより、隠れていた画像が一瞬見える確率が高くなり、オペレータはその画像の存在を認識することができる。
【0029】
図7は、図5および図6の処理に基づいてアニメーション表示を行った際の、アニメーション途中の表示画面を示した一例である。同図は、図4の表示画面の状態で、オペレータがすべての画像を左方向へ動かす操作をした場合のアニメーション途中の表示画面である。位置の変更距離(アニメーションの移動距離)は画面幅の約4分の1である。
【0030】
図7において、701は図3の309の画像であり、702は図3の312の画像である。これらの画像は、すべて同じアニメーションパラメータで移動させた場合には、アニメーション途中であっても手前の画像に隠れて見えない。しかし、本実施形態に示した方法では、アニメーション途中には画像の一部が見えるようになっている。
【0031】
図8は、表示画面において画像が重なっている状態を示した例である。S609においては、各画像の描画領域から隠れている面積の割合Sを計算しているが、これは表示画像が矩形であることを前提としたものである。図8(a)は矩形画像が重なっている状態を示した例である。矩形画像の場合には、各画像の描画領域を示す左上座標値と右下座標値を用いて、隠れている面積を算出可能である。図8(b)は仮想3次元空間に配置した矩形画像が投影面を向いていない場合の画像が重なっている状態を示した例である。このような場合には、表示上の隠れている面積は、表示画面上の左上座標値と右下座標値を用いただけでは正確に算出することができない。この場合には、表示画面上の左上座標値と右下座標値、左下座標値、右上座標値の4点の座標値を用いて算出することが能である。また、仮想3次元空間上の左上座標値と右下座標値と視点位置座標値を用いて算出することが可能である。図8(c)は非矩形画像が重なっている状態を示した例である。図8(c)では、ハート形の画像と楕円形の2つの画像が重なっている。このような場合には、各画像の外郭線を示す情報を用いて隠れている面積を算出することが可能である。しかし、その方法では計算が複雑になるため、画像を含む最小矩形(バウンディングボックス)の左上座標値と右下座標値を用いて近似値を算出するようにしても良い。図8(d)は画像を含む最小矩形を示した図である。矩形801はハート形の画像のバウンディングボックスであり、矩形802は楕円形の画像のバウンディングボックスである。矩形801と矩形802の左上座標値と右下座標値を用いて、ハート形の画像の隠れている面積の割合を概算することができる。
【0032】
本実施形態においては、S601やS603などで取得する描画領域は、表示位置変更後の仮想視点位置から見た描画領域としたが、変更前の仮想視点位置における描画領域であっても構わない。また、実施形態では、複数の画像の中の1つの画像に着目したとき、その着目画像内の、仮想視点位置から他の画像によって隠される部分の面積、及び、着目画像を隠す画像の枚数の積を、その着目画像に対する重なり度合いを示す指標値として算出した。しかし、隠れている面積の値や表示されている(隠れていない)面積の値に基づいて重なり度合いを判定しても構わない。また、S504においては、アニメーションのパラメータとして、アニメーションの開始時刻を決定するようにしたが、アニメーションの終了時刻を決定するようにしても良い。アニメーション時の移動の速度や加速度を決定するようにしても良い。例えば、重なり度合いに応じて移動経路を変えるようにしても良い。重なり曲率が大きい画像ほど曲率が大きい曲線上を移動するようにすれば、隠れている画像が一時的に見える確率が高くなる。
【0033】
本発明において、表示する画像は、写真などの撮影画像だけでなく、スキャナにより読み取った画像や、文書ファイルから生成されたサムネイル画像、グラフィックスツールにより作成された画像でも良い。SVG(Scalable Vector Graphics)などで記述されたベクトルグラフィックスによるアイコン画像でも良い。本発明は、画像を仮想3次元空間に配置するのではなく、二次元平面上に配置する場合にも適用可能である。また、画像の配列も、図3にX軸方向には1つのレイヤーとする画像配列を説明したが、X軸についても、他のY、Z軸と同様に複数の画像が並ぶようにしても構わない。要は、配列した画像の面が、視点位置に投影するZ=0の面と並行になるように配置されるのであれば、その配列について特に条件はない。
【0034】
また、上記実施形態では、各画像の目標位置の設定と、アニメーションパラメータとを別々に設定する例を説明した。しかし、個々の画像は、それぞれの移動後の表示位置、アニメーションの仕方(アニメーション開始時刻)で規定されるアニメーションを行うわけであるから、変更後の位置、重なり度合いの両方を、1つの画像のアニメーション処理の引数(パラメータ)として設定しても構わないし、その設定方法はいずれであっても構わない。
【0035】
[第2の実施形態]
以下、本発明に係る画像表示装置の第2の実施形態を説明する。本第2の実施形態の画像表示装置の構成は、第1の実施形態と同様であり、図1のブロック図に示したとおりである。
【0036】
図9は、本実施形態の画像表示処理装置におけるモジュール構成を示した図である。同図において、表示位置変更指示手段901は画像の表示位置を変更する指示をオペレータが行うためのものである。オペレータによる指示は、操作部105によって行われ、複数の画像の位置を同時に変更する指示も可能である。表示位置決定手段902は、画像記憶手段905に格納された各画像ファイルの画像の初期表示位置を決定する他、表示位置変更指示手段901から入力された情報に基づいて変更後の表示位置を決定する手段である。類似度合い算出手段903は、画像の手前に他の画像の一部または全部が重なっている場合に、重なっている画像のうち最も手前にある画像との類似度を算出する手段である。アニメーション表示手段904は、類似度合い算出手段903によって算出された値からアニメーションのパラメータを決定し、表示位置決定手段902によって決定された位置までアニメーション表示を行う手段である。
【0037】
図10は、時刻に対する位置の変化パターンを示した図である。同図において、横軸は時刻を表し、縦軸は画像の表示位置を表す。時刻はアニメーションの開始時刻T0から終了時刻T1までの範囲、位置はアニメーションの開始位置P0から終了位置P1までの範囲である。図10に示したとおり、本実施形態では参照符号1001〜1005の5種類の変化パターンがあらかじめ規定されている。パターン1001はアニメーション開始直後の移動速度が最も大きく、目標位置に近づいた場合にその移動速度が最も遅いことを示し、パターン1005はアニメーション開始直後の移動速度が最も小さいが、目標位置に近づいた際の減速が最も小さい(速度が遅くなりにくい)ことを示している。パターン1002乃至1004は、それらの中間的なものである。
【0038】
本実施形態においては、1001〜1005のいずれか一つの変化パターンを用いて、画像のアニメーション表示が行われる。本実施形態においては、この変化パターンは、時刻tと位置pの関数、すなわちp=f(t)をROM102に保持しているものとする。
【0039】
図11は、本第2の実施形態における処理の流れを示したフローチャートである。同図は、オペレータが操作部105を操作した後の処理の流れを示したものである。
【0040】
オペレータによる操作があった後、その操作が視点位置の変更、すなわち、画像の表示位置の変更指示か否かを判断する(S1101)。ここで、表示位置の変更指示ではないと判断されれば、アニメーション表示の処理は行わずに終了する。S1101で、表示位置の変更指示であると判断されれば、各画像の新たな表示位置を取得する(S1102)。S1102は、操作部105のキー入力やポインティングデバイスのポインタの移動距離などに基づいて、個々の画像の新たな表示位置を算出するものである。
【0041】
次に、位置の変更を行う各画像について、その画像を隠す画像のうち最も手前に位置する画像との類似度合いを算出する(S1103)。類似度合いについては、0から4の整数を取る。0は類似度合いが最も高く、4は類似度合いが最も低い。なお、本第2の実施形態においては、類似度合いの算出方法については規定しないが、各画像を構成するピクセルの比較により算出しても良いし、画像に付与されたメタデータに基づいて判断しても良い。被写体の人物が同一であれば類似度合いが高いと判断しても良いし、画像のExif情報から連写画像のうちの2枚と判断されればその2枚は類似度合いが高いと判断しても良い。画像を構成するピクセルを比較する場合には、色値や輝度、彩度、明度などの差から判断しても良いし、一部のピクセルのみを抽出して比較するようにしても良い。画像が文書データより作成されたサムネイル画像の場合には、元となった文書データの内容から類似度合いを判断しても良い。
【0042】
続いて、S1103で算出した類似度合いに基づいて、各画像のアニメーションのパラメータを決定する(S1104)。本実施形態においては、アニメーションのパラメータの決定とは、図9に示した時刻に対する位置の変化パターンのうちの一つを選択することである。類似度合いが0であればパターン1001、1であればパターン1002、2であればパターン1003、3であればパターン1004、4であればパターン1005となる。画像の手前に別の画像が存在しない場合には、その画像はパターン1001となる。
【0043】
そして、S1104で決定した変化パターンに基づいてアニメーション表示を実行する(S1105)。
【0044】
以上の処理を行うことにより、画像が重なっている場合に、背後に隠れている画像が手前の画像との類似度合いが低ければ手前の画像とは異なる変化パターンでアニメーションを行うことになる。これにより、背後に隠れている画像が一時的に見えるようになる確率が高くなり、オペレータが画像の存在を認識しやすくなる。
【0045】
本第2の実施形態においては、その画像を隠す画像のうち最も手前に位置する画像との類似度合いを算出しているが、その画像を隠す画像のうち最も隠す面積が大きい画像との類似度合いに基づいてパラメータを決定しても良い。また、重なり合う複数の画像の類似度合いを総当りで評価して、類似度合いの高い画像どうしをグループ化しても良い。その場合には、グループ単位で、他のグループとの類似度合いに応じてアニメーションパラメータを決定する。
【0046】
複数の画像を表示する場面が、キーワードや撮影日時による検索結果の表示である場合には、検索時に類似度合いを判断しても良い。例えば、検索のキーとして撮影日時を用いた場合には、検索時に画像の撮影日時を評価するのであるから、検索処理時に撮影日時が近いものをグループ化する処理を行うことが可能である。その場合、グループ化された画像は、撮影日時の観点では互いに類似度合いが高いと判断できる。撮影日時以外にも、キーワードや被写体の種類、撮影モード、画像の元となった文書データの単語などによる検索でも同様である。
【0047】
また、類似度合いだけでなく、重なり度合いや視点位置からの距離などもアニメーションパラメータの決定に用いても良い。本実施形態においては類似度合いが低ければパターン1005で遷移するようにした。しかし、類似度合いが低くても重なり度合いも低ければ、アニメーションパラメータを変える必要性は低くなるためパターン1001で遷移するようにしても良い。
【0048】
[第3の実施形態]
以下、本発明に係る第3の実施形態の画像表示装置を説明する。
【0049】
本第3の実施形態の画像表示処理装置の構成は、第1の実施形態と同様であり、図1のブロック図に示したとおりである。
【0050】
図12は、本実施形態の画像表示処理装置におけるモジュール構成を示した図である。同図において、表示位置変更指示手段1201は画像の表示位置を変更する指示をオペレータが行うためのものである。オペレータによる指示は、操作部105によって行われ、複数の画像の位置を同時に変更する指示も可能である。表示位置決定手段1202は、画像記憶手段1205(図1のHDD106に対応する)に格納された各画像ファイルの画像(以下、単に画像という)の初期表示位置を決定する他、表示位置変更指示手段1201から入力された情報に基づいて変更後の表示位置を決定する手段である。距離算出手段1203は、仮想3次元空間における画像と特定地点(例えば視点位置)との距離を算出する手段である。距離は、画像の中心点との距離でも良いし、画像のうち最も特定地点に近い点との距離でも良い。アニメーション表示手段904は、距離算出手段1203によって算出された値からアニメーションのパラメータを決定し、表示位置決定手段1202によって決定された位置までアニメーション表示を行う手段である。
【0051】
本第3の実施形態においては、図3に示したように、仮想3次元空間に複数の画像を配置し、それを透視投影した結果を表示部104の画面に表示する。
【0052】
図13は、本実施形態における処理の流れを示したフローチャートである。同図は、オペレータが操作部105を操作した後の処理の流れを示したものである。
【0053】
オペレータによる操作があった後、まず、その操作が表示位置の変更指示か否か、具体的には、仮想視点位置の変更指示か否かを判断する(S1301)。ここで、表示位置の変更指示ではないと判断されれば、アニメーション表示の処理は行わずに終了する。S1301で、表示位置の変更指示であると判断されれば、各画像の新たな表示位置を取得する(S1302)。S1302は、操作部105のキー入力やポインティングデバイスのポインタの移動距離などに基づいて、個々の画像の新たな表示位置を算出するものである。
【0054】
次に、位置の変更を行う各画像について、仮想視点位置からの移動後の位置までの距離を算出する(S1303)。ここでは、画像が重なっているか否かに関わらず、仮想3次元空間上における視点位置からの距離を算出する。ここでは、視点位置からの距離ではなく、投影面からの距離や収束点からの距離を算出するようにしても良い。また、仮想3次元空間の特定位置を中心に回転を行うような移動の場合には、その回転の中心点や中心軸からの距離を用いても良い。
【0055】
続いて、S1303で算出した距離に基づいて、各画像のアニメーションのパラメータを決定する(S1304)。具体的には、S1303で算出した距離を0〜4の5段階に割り当てる。距離の値がある値Aより小さければ0とし、ある値Bより大きければ4とする。値Aと値Bの間は3段階に分け、距離の値が小さい方からそれぞれ1、2、3を割り当てる。そして、割り当てた値に応じて、図9に示した時刻に対する位置の変化パターンのうちの一つを選択する。すなわち、距離が0段階であればパターン1001、1であればパターン1002、2であればパターン1003、3であればパターン1004、4であればパターン1005となる。
【0056】
そして、S1304で決定した変化パターンに基づいてアニメーション表示を実行する(S1305)。
【0057】
以上の処理を行うことにより、視点位置からの距離に応じて異なる変化パターンでアニメーションを行うことになる。隠れている画像は手前にある画像より遠くに位置するものであるから、背後に隠れている画像が一時的に見えるようになる確率が高くなり、オペレータが画像の存在を認識しやすくなる。
【0058】
[第4の実施形態]
以下、本発明に係る画像表示装置の第4の実施形態を説明する。
【0059】
本第4の実施形態の画像表示装置の構成は、第1の実施形態と同様であり、図1のブロック図に示したとおりである。また、本実施形態の画像表示処理装置におけるモジュール構成は、第1の実施形態と同様であり、図2に示したとおりである。
【0060】
図14は、本実施形態の画像表示処理装置における画面表示の一例である。画像1401、1402、1403の背後にはそれぞれ2枚ずつ画像が存在するものとする。画像1401および画像1403の背後に位置する画像は一部が表示画面上で見えているが、画像1402の背後に位置する2枚の画像は完全に見えなくなっている。
【0061】
本第4の実施形態においては、オペレータの操作により、視点位置を画像1402の中心方向、すなわち奥行き方向に移動する場合の処理について説明する。視点位置の移動は、相対的にみれば各画像を移動させることと同じ意味である。図14の表示状態において、奥行き方向に視点位置を移動させた場合には、画像1402の背後にある画像は視点から隠れた状態のままである。そこで、本実施形態においては、アニメーション途中は画像の重なり度合いに応じて各画像の透明度を変更する。例えば、ある画像において背後の画像の一部が見えている場合にはその画像を不透明にし、背後の画像が完全に隠れている場合にはアニメーション途中はその画像を50%の透明度にする。重なっている面積の割合に応じて透明度を段階的に変更しても良い。
【0062】
本実施形態の処理の流れは、図5のフローチャートに示した流れと同様である。図5のフローチャートに示した処理の流れは第1の実施形態で説明したとおりであるが、本第4の実施形態での処理を以下に補足する。
【0063】
S503において各画像の重なり度合いを算出するが、ここでは、アニメーション開始前とアニメーション終了後の両方の状態での各画像の重なり度合いをそれぞれ算出する。そして、S504においては、まず、S503で算出した重なり度合いに基づいて、アニメーション開始前および終了後の両方で完全に隠れる画像があるか否かを判断する。完全に隠れる画像がある場合には、その手前に位置する画像のアニメーション中の透明度を50%にする。それ以外の画像については、アニメーション中の透明度を0%、すなわち不透明にする。
【0064】
図15は、本実施形態の画像表示装置におけるアニメーション中の画面表示の一例である。
【0065】
画像1502の背後にある画像は完全に隠れているため、画像1502は半透明になり、背後の画像が見えている。一方、画像1501および画像1503の背後にある画像はその一部が表示画面上で見えているため、画像1501および画像1503は不透明である。図15においては、手前の画像に透けて見えている背後の画像を破線で表している。
【0066】
以上、4つの実施形態について説明した。これらの実施形態では、仮想3次元空間内で各画像が曲率のない状態で配置されていたが、球体や円柱の表面に画像が張り付いているような表示方法においても本発明は適用され得る。要するに、仮想3次元空間に、画像を配置し、視点位置を変更する、もしくは視点位置を固定にして仮想3次元空間を移動する等して、表示画像の位置が変更する場合に適当できる。
【0067】
図16は、透明な円柱の表面に画像が配置された表示方法を示した例である。同図の例では画像の重なりは少ないが、中心軸が共通で半径が異なる透明な円柱が複数あり各円柱の表面に画像を配置させるような表示方法では画像の重なりが多く発生する。そのような場合に本発明はより効果的である。
【0068】
また、これらの実施形態では、画像表示処理装置を例に説明したが、本発明は、印刷装置、カメラ、複写機、スキャナ、テレビ等、表示部を有するあらゆる装置において、画像を表示画面に表示する際に適用可能である。
【0069】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
複数の画像を表示する画像表示装置であって、
仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置手段と、
前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示手段と、
オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更手段と、
該変更手段よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出手段と、
前記変更手段よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像との重なり度合いを示す指標値を算出する指標値算出手段と、
前記複数の画像それぞれについて、算出した前記指標値に応じたタイミングで、時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示手段と
を備えることを特徴とする画像表示装置。
【請求項2】
前記指標値算出手段は、前記複数の画像の中の1つの画像に着目したとき、当該着目画像の、前記視点位置から他の画像によって隠される部分の面積と、及び、前記着目画像を隠す画像の枚数を示す値との積を、前記着目画像に対する重なり度合いを示す指標値として算出することを特徴とする請求項1に記載の画像表示装置。
【請求項3】
複数の画像を表示する画像表示装置であって、
仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置手段と、
前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示手段と、
オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更手段と、
該変更手段よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出手段と、
前記変更手段よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像によって隠されている部分があるかを示すと共に、隠されていればその中の前記仮想視点の位置に最も近い画像との間の類似度を示す指標値を算出する指標値算出手段と、
前記複数の画像それぞれについて、算出した指標値に基づき、予め設定された時間軸に沿って変化する移動速度を示す複数のパターンの1つを決定し、当該決定したパターンに従って時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示手段と
を備えることを特徴とする画像表示装置。
【請求項4】
前記指標値算出手段は、類似度の算出する対象の2つの画像について、それぞれの画像を構成する各ピクセルの色を表わす情報、それぞれの画像に付与されたメタデータ、それぞれの画像を作成する元となった文書データのうちの少なくとも一つに基づいて類似度を算出することを特徴とする請求項3に記載の画像表示装置。
【請求項5】
複数の画像を表示する画像表示装置であって、
仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置手段と、
前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示手段と、
オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更手段と、
該変更手段よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出手段と、
前記変更手段よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置に対する、それぞれの画像の前記目標位置からの距離を、それぞれの画像の指標値として算出する指標値算出手段と、
前記複数の画像それぞれについて、算出した指標値に基づき、予め設定された時間軸に沿って変化する移動速度を示す複数のパターンの1つを決定し、当該決定したパターンに従って時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示手段と
を備えることを特徴とする画像表示装置。
【請求項6】
複数の画像を表示する画像表示装置であって、
仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置手段と、
前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示手段と、
オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更手段と、
該変更手段よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出手段と、
前記変更手段よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像との重なり度合いを示す指標値を算出する指標値算出手段と、
前記複数の画像それぞれを、算出した前記指標値に応じた透明度に設定し、時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示手段と
を備えることを特徴とする画像表示装置。
【請求項7】
コンピュータが読み込み実行することで、前記コンピュータを、請求項1乃至6のいずれか1項に記載の画像表示装置が有する手段として機能させることを特徴とするプログラム。
【請求項8】
請求項7に記載のプログラムを格納したコンピュータが読み込み可能な記憶媒体。
【請求項9】
複数の画像を表示する画像表示装置の制御方法であって、
配置手段が、仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置工程と、
画像表示手段が、前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示工程と、
変更手段が、オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更工程と、
位置算出手段が、該変更工程よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出工程と、
指標値算出手段が、前記変更工程よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像との重なり度合いを示す指標値を算出する指標値算出工程と、
アニメーション表示手段が、前記複数の画像それぞれについて、算出した前記指標値に応じたタイミングで、時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示工程と
を有することを特徴とする画像表示装置の制御方法。
【請求項10】
複数の画像を表示する画像表示装置の制御方法であって、
配置手段が、仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置工程と、
画像表示手段が、前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示工程と、
変更手段が、オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更工程と、
位置算出手段が、該変更工程よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出工程と、
指標値算出手段が、工程前記変更工程よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像によって隠されている部分があるかを示すと共に、隠されていればその中の前記仮想視点の位置に最も近い画像との間の類似度を示す指標値を算出する指標値算出工程と、
アニメーション表示手段が、前記複数の画像それぞれについて、算出した指標値に基づき、予め設定された時間軸に沿って変化する移動速度を示す複数のパターンの1つを決定し、当該決定したパターンに従って時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示工程と
を有することを特徴とする画像表示装置の制御方法。
【請求項11】
複数の画像を表示する画像表示装置の制御方法であって、
配置手段が、仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置工程と、
画像表示手段が、前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示工程と、
変更手段が、オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更工程と、
位置算出手段が、該変更工程よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出工程と、
指標値算出手段が、前記変更工程よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置に対する、それぞれの画像の前記目標位置からの距離を、それぞれの画像の指標値として算出する指標値算出工程と、
アニメーション表示手段が、前記複数の画像それぞれについて、算出した指標値に基づき、予め設定された時間軸に沿って変化する移動速度を示す複数のパターンの1つを決定し、当該決定したパターンに従って時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示工程と
を有することを特徴とする画像表示装置の制御方法。
【請求項12】
複数の画像を表示する画像表示装置の制御方法であって、
配置手段が、仮想3次元空間内に、前記複数の画像、当該複数の画像を見るための仮想視点を配置する配置工程と、
画像表示手段が、前記仮想視点で規定される投影面に前記複数の画像を投影して得られた投影画像一覧を表示する画像表示工程と、
変更手段が、オペレータの指示に応じて、前記複数の画像、又は、前記仮想視点の位置のいずれかの位置を変更する変更工程と、
位置算出手段が、該変更工程よる変更があった場合、変更後の前記投影面に表示されるべき各画像の目標位置を算出する位置算出工程と、
指標値算出手段が、前記変更工程よる変更があった場合、当該変更後或いは変更前の前記仮想視点の位置における前記複数の画像のそれぞれについて、他の画像との重なり度合いを示す指標値を算出する指標値算出工程と、
アニメーション表示手段が、前記複数の画像それぞれを、算出した前記指標値に応じた透明度に設定し、時間軸に沿って徐々に、算出した前記目標位置まで移動させるアニメーション表示工程と
を有することを特徴とする画像表示装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2012−14657(P2012−14657A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−153483(P2010−153483)
【出願日】平成22年7月5日(2010.7.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】