画像処理装置及び画像処理装置の制御方法
【課題】インデクス表示における画像検索を短時間で効率良く行う。
【解決手段】画像解析部１０６は、画像に付帯する情報を解析して、各画像の撮影時刻を算出する。時刻差算出部１０７は、画像解析部１０６が算出した各画像の撮影時刻を参照して、画像管理部１０５により配列された画像間の撮影時刻差を算出する。ユーザ指定情報管理部１０８はユーザの入力情報に基づき、一画面内に表示する画像の選択に使用する、時刻差の判定基準となる閾値を設定する。表示判定部１１０は、時刻差算出部１０７が算出した撮影時刻差と、ユーザ指定情報管理部１１０で設定した閾値とを比較し、当該閾値を満足する画像を画面内に表示すべき画像として選択する。表示処理部１１２は、表示判定部１１０により選択された画像のサムネイルを、撮影時刻順に一画面内にインデクス表示させる。
【解決手段】画像解析部１０６は、画像に付帯する情報を解析して、各画像の撮影時刻を算出する。時刻差算出部１０７は、画像解析部１０６が算出した各画像の撮影時刻を参照して、画像管理部１０５により配列された画像間の撮影時刻差を算出する。ユーザ指定情報管理部１０８はユーザの入力情報に基づき、一画面内に表示する画像の選択に使用する、時刻差の判定基準となる閾値を設定する。表示判定部１１０は、時刻差算出部１０７が算出した撮影時刻差と、ユーザ指定情報管理部１１０で設定した閾値とを比較し、当該閾値を満足する画像を画面内に表示すべき画像として選択する。表示処理部１１２は、表示判定部１１０により選択された画像のサムネイルを、撮影時刻順に一画面内にインデクス表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像閲覧の際、各画像を表現する縮小画像（以下、サムネイル画像という）を一画面内に一覧表示する、インデクス表示が可能な画像処理装置及び画像処理装置の制御方法に関する。
【背景技術】
【０００２】
ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の画像を、パーソナルコンピュータやテレビジョン装置上で表示し、ユーザに画像の視聴を提供する、画像処理装置が普及している。こうした画像処理装置は、画像ビューワや画像閲覧装置と称されることがある。画像閲覧装置はインデクス表示機能を備えるものが一般的であり、各画像のサムネイル画像を一画面内に複数並べて表示し、ユーザに画像選択インタフェースを提供する。このインデクス表示機能は、複数の画像を同時にユーザが閲覧して実際に画像内容を確認できるため、所望の画像の検索が容易になるという利点がある。
【０００３】
また、大量の画像における検索性を向上させるために、一画面に表示するサムネイル画像について、各画像の撮影時刻等を用いてユーザが選択し、選択された画像を代表画像として表示する技術も提案されている（例えば、特許文献１参照。）。この技術では、インデクス表示に使用する画像を、撮影時刻及び画像の類似性（色味・構図等）を利用してグループ化し、各グループの代表画像をインデクス表示する。これにより、インデクス表示状態において、所望の画像の閲覧までに、ユーザに求められる操作回数を削減することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６９４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記インデクス表示機能は、ユーザが画像を閲覧しながら所望の画像を検索できるという点で、他の画像検索機能より優れている。しかし、所望の画像が、現在表示中の画面（インデクス画面）から遠く離れている箇所に配列されている場合、所望の画像までの検索に費やす手間（時間、操作回数）がかかるという点において不利である。例えば、インデクス表示機能を持つ画像閲覧装置において、一画面当たり２０枚のサムネイル画像を表示する場合を想定する。この画像閲覧装置にて１０００枚の画像を閲覧する場合、画像の先頭から最後までの移動には、ページスキップ機能を使用しても５０回の操作を行う必要がある。なおページスキップ機能とは、一画面内の画像（本例では２０枚の画像）をすべて同時に更新する機能のことである。特許文献１に記載の技術では、インデクス表示状態において代表画像のみを表示することで、大量の画像間の移動を高速化できるという効果は得られる。しかし、表示する代表画像を選択するための指標をユーザが指定できないことが問題である。本来であればユーザがより高速に画像を検索したい場合や、各画像をより詳細に検索したい場合等、各場面に適した検索条件等を提供することができないという課題があった。
【０００６】
本発明の目的は、インデクス表示における画像検索処理を短時間で効率的に行える画像処理装置及び画像処理装置の制御方法の提供にある。
【課題を解決するための手段】
【０００７】
本発明に係る装置は、上述した課題を解決し、目的を達成するために、各画像の撮影時刻を取得し、撮影時刻の順に画像を縮小画像でインデクス表示させる機能を有する画像処理装置であって、各画像の撮影時刻の情報に基づいて、画像間の撮影時刻差を算出する時刻差算出手段と、前記時刻差算出手段により算出された撮影時刻差と、当該撮影時刻差と比較するための閾値とを比較することで、縮小画像としてインデクス表示する画像を選択する表示判定手段と、前記表示判定手段により選択された各画像を、当該各画像の撮影時刻に従って縮小画像でインデクス表示させる表示処理手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、インデクス表示において、ユーザが画像検索処理を短時間で効率的に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す図である。
【図２】インデクス表示画面の一例を示す図である。
【図３】インデクス表示画像選択及び画像表示の際に用いる画像データ群を例示した図である。
【図４】インデクス表示画像を作成する処理の手順例を示すフローチャートである。
【図５】画像間の時刻差を利用したインデクス表示状態の変化を説明するための図である。
【図６】ページジャンプ機能を利用した際の画面イメージの遷移例について説明するための図である。
【図７】表示領域の境界において、ユーザの操作指示により方向キーが押下された場合の画面イメージの遷移について示す図である。
【図８】閾値設定処理の手順例を示すフローチャートである。
【図９】閾値情報を得るために用いる時刻差閾値管理テーブルの一例を示す表である。
【図１０】インデクス表示状態の変更処理手順を示すフローチャートである。
【図１１】インデクス表示状態の遷移を示す模式図である。
【図１２】第２実施形態におけるインデクス表示画像選択及び画像表示の際に用いる画像データ群を例示した図である。
【図１３】第２実施形態において、画像間の時刻差を利用したインデクス表示状態の変化を説明するための図である。
【図１４】第３実施形態にてインデクス表示画像を作成する処理の手順例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
図１は画像処理装置としての画像閲覧装置の構成例を示す。なお、図１は画像閲覧装置１とともに用いる設備や装置等との接続関係も示しており、本図では円形記号で簡略的に示す。
【００１１】
まず、画像閲覧装置１の概要を説明する。画像閲覧装置１は、静止画像や動画像をユーザに提示する機能を有する。この画像閲覧装置１によって作成された、ユーザに提示するための画像は、画像閲覧装置１に接続されたモニタ２に表示される。デジタルテレビジョン装置は、画像閲覧装置１とモニタ２とが一体的に構成された装置の一例である。つまり本発明の実施において、画像閲覧装置１とモニタ２とが常に分離された構成であるとは限らない。また、ユーザによる画像閲覧装置１の操作は、リモートコントローラ（以下、リモコンという）３の操作ボタンやスイッチ等、各種の操作指示手段を用いて行われる。ユーザはリモコン３を使用して、画像の表示切り替え制御、画像の拡大縮小処理、画像閲覧装置１の起動及び終了等を指示することができる。
【００１２】
静止画像又は動画像は、記録媒体４から又はネットワーク５を経由して画像閲覧装置１に提供されて表示に使用される。記録媒体４の例としては、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ カード）やＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）、ハードディスク等が挙げられる。またネットワーク５からの画像取得例としては、インターネットオンラインアルバムやＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）で規定されているＤＭＳ（Ｄｉｇｉｔａｌ Ｍｅｄｉａ Ｓｅｒｖｅｒ）等が挙げられる。
【００１３】
次に、画像閲覧装置１の内部構成を詳細に説明する。なお、図１において、実線の矢印はデータの流れを示し、破線の矢印は制御信号の流れを示している。画像閲覧装置１の全体を制御する制御部１０１は、例えば、表示する画像の選択処理や、画面表示形式の変更処理等の制御を司る。なお画面表示形式の変更処理とは、画像の表示位置や表示画質、表示倍率等を変更する処理を意味する。
【００１４】
画像取得部１０２は、制御部１０１が発行する画像取得要求信号に従って、記録媒体４から後述する記録媒体インタフェース部１０４を介して画像データを取得し、又はネットワーク５からネットワークインタフェース部１０３を介して画像データを取得する。画像取得部１０２が取得した画像データとしては、静止画像に限らず動画像も含まれる。また、画像フォーマットについても特に制限はなく、あらゆるフォーマットの画像が取得される。
【００１５】
ネットワークインタフェース部１０３は、ネットワーク５を介して、画像取得部１０２から指定された画像データを取得する。ネットワークインタフェース部１０３はＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の通信を行うためのプロトコル処理機能や、ＤＭＳ内のコンテンツや、オンライン上のコンテンツを取得するためのインタフェース機能を有する。ネットワーク５を介して取得した画像については、ネットワークインタフェース部１０３によって複製（コピー）処理が行われ、画像取得部１０２に送られる。
【００１６】
記録媒体インタフェース部１０４は、記録媒体４に格納された画像データのうち、画像取得部１０２から指示された画像データを取得する。記録媒体インタフェース部１０４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）の制御機能を有する。記録媒体４から取得した画像データは、画像取得部１０２に送られる。
【００１７】
画像管理部１０５は、画像取得部１０２が取得した画像を管理する。画像管理部１０５では、後述の画像解析部１０６で得られた各種情報に基づいて画像を整列し、整列情報を管理する。なお各種情報とは、画像の撮影時刻情報や、画像の撮影場所情報、画像の解像度情報、画像を撮影した撮像装置の情報等を示す。また、画像の整列とは、画像管理部１０５が管理している画像群を、撮影時刻等に従って時系列に整列させることを意味する。
【００１８】
画像解析部１０６は、制御部１０１が発行する画像解析処理の開始指示を受けた場合、画像管理部１０５が管理している画像の解析処理を行う。具体的には、画像解析部１０６は、画像に付帯する各種情報を抽出し、画像の撮影時刻等を特定する。例えばデジタルカメラで作成された画像には、撮影時刻情報や撮影場所情報、撮像装置の情報等を含むＥｘｉｆ（Ｅｘｃｈａｎｇｅ ｉｍａｇｅ−ｆｉｌｅ ｆｏｒｍａｔ）タグが付帯情報として与えられている。画像解析部１０６は、例えばＪＰＥＧ画像に付帯されるＥｘｉｆのタグ解析機能を有し、Ｅｘｉｆ内の情報を抽出する。画像管理部１０５は、画像解析部１０６で抽出した情報を用いて画像を整列させ、整列情報を管理する処理を行う。また画像管理部１０５は、画像解析部１０６で抽出した画像情報の管理も行う。
【００１９】
時刻差算出部１０７は、画像管理部１０５が管理している画像情報を用いて、整列された画像間の撮影時刻差を算出する。例えば、画像Ａ、画像Ｂ、画像Ｃが撮影時刻順に整列されている場合、時刻差算出部１０７は、画像Ａと画像Ｂの撮影時刻差、及び画像Ｂと画像Ｃの撮影時刻差を算出する。あるいは画像Ａの撮影時刻を基準として、画像Ｂ、画像Ｃとの撮影時刻差を算出しても構わない。時刻差算出部１０７は、算出した情報を後述する表示判定部１１０へ送出する。
【００２０】
ユーザ指定情報管理部１０８は、ユーザによるリモコン３の操作時に後述のユーザインタフェース部１０９を介して入力される指示情報を格納して管理する。ユーザ指定情報管理部１０８が管理する情報は時刻差閾値情報等であり、後述の表示処理部１１２が実行するインデクス表示を行うための画像を選定する上で必要な情報である。なお、時刻差閾値情報とは、管理している画像間の撮影時刻差と比較するための閾値に関する情報である。ユーザ操作によって指定される入力情報については、時刻差閾値を時間形式で直接的に指定する形態だけに限らないため、ユーザ指定情報管理部１０８は、ユーザからの指定情報と、時刻差閾値とを変換するためのテーブルも同時に管理する。以下では該テーブルを時刻差閾値変換テーブルと呼ぶ。また、管理される時刻差閾値情報は、ユーザ指定情報管理部１０８が後述の表示判定部１１０に提供する。
【００２１】
ユーザインタフェース部１０９は、ユーザの操作時にリモコン３から入力されるキーコードを取り込み、該コードを指示信号に変換した上で各回路部へと適時に送信する。ユーザ指定情報管理部１０８へ送信されるデータとしては、例えば前記の時刻差閾値情報が挙げられる。
【００２２】
表示判定部１１０は制御部１０１から指示を受けて、モニタ２に表示する画像の決定処理を行う。つまり表示判定部１１０はユーザ指定情報管理部１０８からの時刻差閾値情報と、時刻差算出部１０７が算出した画像間の撮影時刻差とを比較し、比較結果を制御部１０１へ送出する。なお、比較結果の具体例は、ユーザから指定された時刻差閾値情報と、時刻差算出部１０７が算出した画像間の撮影時刻差との間の差分の符号（正若しくは負）又はゼロである。
【００２３】
デコーダ１１１は、画像管理部１０５が管理している画像データを取得し、これを表示可能な形式へと適宜に変換する。例えばＪＰＥＧ画像をビットマップ形式に変換する処理等が行われる。また、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のような動画の場合、動画像データから１フレーム分の画像データを抽出し、インデクス表示に用いる静止画像を作成する処理が行われる。デコーダ１１１はまた、制御部１０１の指示に従って画像の解像度変換を行い、表示用解像度への変換処理も行う。
【００２４】
表示処理部１１２は、制御部１０１からの指示に基づき、モニタ２への表示出力を行う。つまり表示処理部１１２はデコーダ１１１から表示用の画像結果を取得し、インデクス表示用レイアウトを作成した後、モニタ２へ画像信号を出力する。こうしてモニタ２上でインデクス表示が行われる（その詳細については後述する）。
【００２５】
なお、画像閲覧装置１ではＪＰＥＧの画像データの処理に限らず、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）の画像データも同様に処理することができる。
【００２６】
次に、画像閲覧装置１のインデクス表示機能について詳細に説明する。図２は、インデクス表示画面を例示した図であり、インデクス表示画面２０１はモニタ２上に表示される。インデクス表示画面２０１には複数のサムネイル画像２０２が表示され、ユーザの操作に従って選択されているサムネイル画像２０２を指し示すカーソル２０３（太枠を参照）も表示される。なお、サムネイル画像２０２は、デジタルカメラによる撮影の場合、静止画像内に縮小画像として付与されていることが一般的である。画像内に縮小画像が付与されていない静止画像や、動画像に関しては、図１のデコーダ１１１によって画像の抽出と解像度変換処理が行われて縮小画像が作成される。また、デジタルカメラの撮影画像に付帯されているサムネイル画像２０２の解像度は一般に縦１２０画素、横１６０画素である。
【００２７】
インデクス表示を実行する表示処理部１１２は、ユーザのリモコン操作に従って、カーソル２０３を移動させ、所望のサムネイル画像２０２を選択する機能を有している。図２（ｂ）は、ユーザ操作によるカーソルの移動を説明するための模式図であり、カーソル移動前の状態を示す画面３０１と、ユーザ操作後にカーソルが移動した後の画面３０２を示す。画面３０１ではカーソル２０３が第２行第４列目に位置した状態である。ここでユーザがリモコン３の「下」ボタンキー（不図示）を押下すると、カーソル２０３が１画像分だけ下方に移動し、画面３０２に示すように、第３行第４列目の位置に来る。なお、一般にはリモコン３が上下左右、４方向の操作ボタンを備えているので、カーソル２０３の位置を任意の方向に操作可能である。また、カーソル２０３が画面の上端や下端に達した後では、画像がスクロールされ、新規のサムネイル画像が画面内に表示される。そして画面内の全サムネイル画像を一度に更新する、いわゆるページ切り替え機能が知られている。
【００２８】
インデクス表示機能では、ユーザ操作に従って画面上のカーソル２０３を移動させ、画像を選択して所望の画像を確定することができる。画像の選択処理では、複数のサムネイル画像を配置したインデクス表示状態においてカーソル２０３を移動させてユーザの操作により所望の画像を選択した後で、当該画像を閲覧することができる。
図２（ｃ）は、カーソル移動後から画像を閲覧するまでの処理について、インデクス表示状態から全画面表示状態への遷移例を説明する図である。例えば、インデクス表示状態において、ユーザが画像４０１の閲覧を希望している状況を想定する。このとき、ユーザは、画像４０１の位置にカーソルがあって当該画像が選択されている状態で、リモコン３の「決定」ボタン（不図示）を押下したとする。画面４０２に示すように、選択された画像４０１がほぼ全画面に亘って拡大表示される。なおリモコン３には、画面４０２に画像４０１が拡大表示された状態から、元のインデクス表示状態へと移行させるための操作ボタンが設けられている。
【００２９】
以下では、撮影時刻差を利用したインデクス表示画像選択及び画像表示処理について説明する。まず、インデクス表示画像選択及び画像表示の際に用いる画像データを示す。図３は、インデクス表示画像選択及び画像表示の際に用いる画像データ群を模式的に示した図である。この図では、左右方向に時刻軸が設定されており、右へ進行するほど時刻が新しくなる、つまり現在の時刻に近づくことを意味している。また、ＡからＱのアルファベットを付与した矩形が個々の画像を表している。各画像はそれぞれの撮影時刻に従って、時刻軸の方向に分散して示されている。つまり画像Ａが最も撮影時刻が古く、画像Ｑが最も新しく撮影された画像を示す。また、図３では、画像を示す矩形同士の間隔が広いほど、撮影時刻差が大きいことを示している。例えば、画像Ｃと画像Ｄとの間隔は、時刻差が１２時間以上であることを示し、画像Ｈと画像Ｉとの時刻差が２４時間以上であることを示している。また、画像Ａと画像Ｂとの間、画像Ｂと画像Ｃとの間に示されるように、画像同士の間隔が狭く表現されている画像については、撮影時刻が近接していることを模式的に示している。このことは図示の例にて、画像Ａから画像Ｃまでの画像群や、画像Ｄから画像Ｈまでの画像群は同じシーンで撮影された可能性が高いことを意味している。
【００３０】
次に、画像の撮影時刻に関する時刻差を利用して、表示する画像を選択し、インデクス表示を完了するまでの処理について説明する。図４は、インデクス表示画像を作成する処理の手順例を示すフローチャートである。ここでは、初期状態として、インデクス表示状態におけるカーソル位置が画面の最左上端（１行１列目）にある場合を想定して説明する。このカーソル位置は、インデクス表示の一画面内において最も撮影時刻が古い画像であることを意味する。従って、４行５列の位置が、１画面内に表示される画像群のうち、最も現在時刻に近い撮影時刻を有する画像が表示される位置である。
【００３１】
まず、カーソル位置の検出処理が図１の制御部１０１によって行われる（Ｓ６０１）。ここでは、カーソル位置を画面の最左上端としているが、状態によっては前述したようにカーソル位置は任意であって、インデクス表示中の様々な位置へのカーソル移動が可能である。
【００３２】
次に、カーソル位置の後方にて時間的に新しい表示画像の数を算出する処理が行われる（Ｓ６０２）。具体的には、図１に示した画像管理部１０５が、一画面中に、カーソル位置より後方に何枚の画像が表示されるべきかを算出する。なお、カーソル位置より後方とは、図１に示したインデクス表示画面において、１行１列の位置を最も先頭の画像表示位置とし、４行５列の位置を最も後方の画像表示位置とした場合の表現である。従って、カーソルが４行４列の位置に存在する場合、カーソル位置より後方とは、４行５列の位置のみとなる。例えば、インデクス表示状態で、図２に示したように、４行５列の計２０枚を一画面に表示する場合は、カーソル位置より時間的に新しい画像数が１９枚となる。よって、インデクス表示を行う場合、１９枚の表示画像を決定する処理が必要となる。なお、スクロール処理等で一部の画像、例えば、１行内に存在する画像が新規に画面内に挿入される場合は、新規に表示される画像分だけ、画像選択処理が必要である。なお、このとき画像管理部１０５が管理している画像が、インデクス表示画面の最大画像数より少ない場合には、管理されているすべての画像の選択処理が終了した時点で図４のフローチャートが終了する。
【００３３】
次に、カーソル位置にある画像を一時保存画像として記憶する処理が行われる（Ｓ６０３）。ここでは、図１に示した制御部１０１が、記録媒体インタフェース部１０４を介して当該画像を記録媒体４に記憶させる。これ以降、この一時保存画像を順次更新していくことで、表示する画像の選択が実施されることとなる。
【００３４】
次に、画像間の撮影時刻差を算出する処理が行われる（Ｓ６０４）。具体的には、図１の時刻差算出部１０７が、Ｓ６０３で記憶した一時保存画像と、表示候補の画像のうち前記一時保存画像の次に撮影された画像との間の撮影時刻差を算出する。表示候補の画像とは、画像管理部１０５によって整列されて管理されている画像群を示す。例えば、図３においてカーソル位置に存在する画像が画像Ａであった場合、一時保存画像は画像Ａとなる。また画像Ａの次に近い撮影時刻を持つ画像は画像Ｂとなる。したがって、Ｓ６０４では、画像Ａと画像Ｂとの時刻差が算出される。なお、各画像の撮影時刻は、画像解析部１０６が当該画像に付随する情報を解析して算出する。画像及び撮影時刻を含む各画像情報は、画像管理部１０５によってデータベース等で管理される。画像管理部１０５は、撮影時刻順に画像を時系列に従って配列させて管理し、時刻差算出部１０７は、整列された画像間の撮影時刻差を算出する。
【００３５】
次に、撮影時刻差が閾値以上であるか否かを表示判定部１１０が判定する（Ｓ６０５）。具体的には、表示判定部１１０が、Ｓ６０４で算出した撮影時刻差と、ユーザ指定情報管理部１０８から取得した閾値とを比較し、時刻差が閾値以上であるか否かを判定する。その結果、撮影時刻差が閾値未満である場合（Ｓ６０５：Ｎｏ）は、Ｓ６０８へ移行する。
【００３６】
一方、Ｓ６０５にて撮影時刻差が閾値以上であると判定された場合（Ｓ６０５：Ｙｅｓ）、次画像を表示用画像とするように表示判定部１１０が選択する（Ｓ６０６）。その後、表示に必要な画像がすべて選択済みか否かを表示判定部１１０が判定する（Ｓ６０７）。その結果、表示に必要な画像がすべて選択済みである場合（Ｓ６０７：Ｙｅｓ）、Ｓ６０９へ移行する。一方、表示に必要な画像がすべて選択済みでない場合（Ｓ６０７：Ｎｏ）、Ｓ６０８へ移行する。
【００３７】
Ｓ６０８では、次画像を一時保存画像として記憶する処理が行われる。具体的には、図１の制御部１０１が、記録媒体インタフェース部１０４を介して前記の次画像を記録媒体４に記憶させる。
【００３８】
ここで、Ｓ６０４からＳ６０８までの処理について、図３を参照して説明する。Ｓ６０４にて画像Ａと画像Ｂとの時刻差が算出され、その時刻差と時刻差閾値情報がＳ６０５で比較される。ここで、ユーザが時刻差閾値情報として１２時間という値を設定すると、画像Ａと画像Ｂとの間の時刻差は１２時間未満であるため、Ｓ６０５では、閾値より小さいという判定が下される。したがって、Ｓ６０５からＳ６０８へと処理が移行し、次画像である画像Ｂが一時保存画像として記憶される。後述するＳ６１１にて、一時保存画像の次画像が存在すると判定された場合は、再びＳ６０４にて、一時保存画像である画像Ｂと、次に近い撮影時刻を持つ画像Ｃとの時刻差が算出される。画像Ｂと画像Ｃとの時刻差は閾値である１２時間より小さいため、再びＳ６０８にて画像Ｃが一時保存画像として記憶される。その後、Ｓ６０４によって一時保存画像である画像Ｃと画像Ｄとの間で時刻差が算出される。この処理で算出された時刻差は１２時間を超えるので、Ｓ６０５にて時刻差が閾値以上であるとの判定が下され、Ｓ６０６では次画像である画像Ｄが表示用画像として選択される。
【００３９】
図４のＳ６１１では、Ｓ６０８にて更新された一時保存画像の次画像が存在するか否かを判定する処理が行われる。この判定処理は、日付順に並び替えられた画像データ群において、一時保存画像が最終の画像であるか否かを判定する処理である。対象の画像が最終の画像であると判定された場合は表示用画像を選択する処理を中止し、Ｓ６０９へと移行する。また、一時保存画像の次画像が存在すると判定された場合、Ｓ６０４に戻る。本実施形態では、以上の処理を繰り返し、一画面内に表示する画像すべてが決定される。
【００４０】
Ｓ６０９にて、図１の表示処理部１１２は画像表示レイアウトを作成し、続いて、表示処理を行う（Ｓ６１０）。作成された画像表示レイアウトに係る信号が図１のモニタ２へ出力され、ユーザにインデクス表示画像が提供される。
【００４１】
以上の処理により、閾値情報を利用した画像選択処理が行われる。図４の説明では、カーソル位置の後方、つまり撮影時刻がより新しくなるものについて言及しているが、カーソル位置がインデクス表示状態において画面の最左上端にない場合であっても同様の処理で対応できる。例えば、カーソルが一画面内に位置している場合、カーソル位置より後方、つまり撮影時刻がより新しくなるものについては、図４に示したフローチャートの処理をそのまま適用できる。また、カーソル位置より前方、つまり撮影時刻がより古くなるものについては、図４に示したフローチャートのＳ６０４にて選択する画像を次画像ではなく前画像に設定する。すなわち、一時保存されている画像より撮影時刻が古いものを選択し、時刻差を算出する処理が実行されることになる。図３を参照して説明を加えると、カーソル位置にある画像が画像Ｉである場合、カーソル位置よりも後方の画像については、画像Ｉ以降の画像Ｊから順に撮影時刻差を算出していく。一方、カーソル位置よりも前方の画像については、画像Ｈから撮影時刻が古くなる順に時刻差を算出していく。以上の処理により、インデクス表示画面にて表示される画像が、時刻差の閾値情報に基づいて選択されるようになる。
【００４２】
次に、カーソル位置にある画像が図３の画像Ｉである状態から、閾値を用いた画像選択処理が適用されたインデクス表示画面イメージについて、図５を用いて説明する。図５は、画像間の時刻差を利用したインデクス表示状態の時間的な推移を説明するための図である。図５（ａ）の画面７０１は、図３に示した画像群すべてをインデクス表示した場合のイメージを例示し、図５（ｂ）の画面７０２は、閾値による画像選択処理を適用した後のイメージを例示する。画面７０１では、最左上端に最も撮影時刻の古い画像が表示され、矢印で示す順に撮影時刻が新しくなっていく。また、カーソルは画像Ｉ上に位置している。そして、画面７０１の状態から、閾値による画像選択処理を適用すると、画面７０２に示す状態になる。ここで、閾値が１２時間であるとする。カーソル位置である画像Ｉを基準に、後方及び前方へ図４で示したフローチャートに基づく処理を適用することで、画面７０２に示した状態を実現することが可能となる。画面７０２に示される画像は、すべて撮影時刻差が１２時間以上の画像のみとなる。よって、撮影時刻差が比較的短い画像群から代表画像が選択された状態となるため、前述のとおり一画面内に表示されるタイムスケールが大きくなる。この結果、一画面内の概観性が増し、ユーザ操作によって所望の画像まで到達するまでに要する時間が短縮化され、検索性が向上する。なおタイムスケールとは、画像群において、最も古い撮影時刻を持つ画像と、最も新しい撮影時刻を持つ画像との撮影時刻差である。
【００４３】
本実施形態を利用した際のインデクス表示画面の一例を、図５（ｃ）の画面７０３、図５（ｄ）の画面７０４に示す。画面７０３では、インデクス表示画面における現在の画面内での撮影日時を示すタイムスケール画像を右側に表示した例を示している。本実施形態の適用において、一画面内で表示される画像はユーザ操作による選択に応じて変化する。一画面内で表示される画像が一日内に収まる場合もあれば、一年間のタイムスケールとなる場合もある。よって、画面７０３で示すように、画面内の画像の撮影時刻を大まかに把握できるよう、タイムスケール画像を同時に表示することが有効である。画面７０４は、インデクス表示される画像が代表画像であるか否かを表示する形式について例示したものである。画面７０４で示すように、代表画像の場合はそれが明確に判別できるようなグラフィクス表示を行い、またその代表画像に属する画像群が何枚で構成されるかを示す値を表示することが望ましい。図５（ｄ）の例では画像Ｃが構成枚数５の画像群を代表するようにグラフィクスが描画されている。描画は、画像が複数枚重なっているように見える表示とともに、画像群に含まれる画像の総数を数字で示している。これにより、インデクス表示画面において、画面内に含まれる画像数及びその画像が代表画像であるか否かをユーザが視覚的に判別でき、画像検索性が向上する。なお、画面７０３と画面７０４の表示形態を同時に採用した画面としてもよい。もちろん、図５（ｄ）の表示に加えて、図５（ｃ）で示したタイムスケール画像も併せて表示する構成とすることも可能である。また、各画像の参考情報として、撮影時刻情報を各サムネイル画像の付近に表示してもよい。
【００４４】
前記説明ではカーソル位置を変化させない状態にて、閾値変更による画像表示状態の変更を示したが、カーソル位置がユーザ操作により変化した場合においても、図４で示すフローチャートは適用される。図６及び図７を用いて、ユーザ操作による画面イメージの遷移及び図４を利用した表示画像選択方法について説明する。
【００４５】
図６は本実施形態にて説明する画像閲覧装置の一つの機能である、ページジャンプ機能を利用した際の画面イメージの遷移例について説明するための図である。画面１５０１は遷移前の状態を示し、画面１５０２はページジャンプ後の状態を示している。画面１５０１において、画像Ａから画像Ｔまでが画像閲覧装置に表示されている画像群であり、画像Ｕから画像Ｚと、さらに画像ａから画像ｎまでが、画像Ｔ以降に表示される予定の画像群である。また、カーソルは画像Ｔの位置上にあるものとする。画面１５０１の表示状態でユーザ操作により、下方向へのページジャンプが指示された場合、画面１５０２へ遷移する。その際の表示画像選択は図４のフローチャートにて実行される。ここで、画像の時刻差の閾値はゼロとする。ページジャンプの指示があった場合、図４のＳ６０２にて、カーソル後の表示画像数が算出される。図６の例では、ページジャンプにより一画面中の画像２０枚すべてが更新されるため、カーソル位置の画像を含む表示画像数は２０となる。図４のフローチャートに従い、表示画像が画像Ｕから画像ｎまで２０枚選択され、図４のＳ６０９及びＳ６１０により表示領域の描画更新処理が行われる。以上の処理により、図６の画面１５０１から画面１５０２への遷移が実行される。
【００４６】
図７は表示領域の境界において、ユーザの操作指示により方向キーが押下された場合の画面イメージの遷移例を示す。図７の画面１６０１は遷移前の状態を例示し、画面１６０２は下ボタン押下後の状態を例示している。なお、画面１６０１に表示されている画像群は図６の画面１５０１の場合と同じであるが、画面１６０２に表示されている画像群は、画像Ｆから画像Ｙまでである。カーソルが画像Ｔに位置している場合、下ボタンが押下されることにより、一ライン（画面１６０１においては５画像分）が上にシフトして繰り上がって表示される。したがって、図４でのフローチャートによる画像選択処理では、図４のＳ６０２にてカーソル以降の表示画像数が５と設定される。その後、図４のフローチャートに従い、画像Ｕから画像Ｙが新規に表示画像として選択され、描画が更新される。以上の処理により、図７の画面１６０１から画面１６０２への遷移が実行される。
【００４７】
次に、前述した閾値を設定する処理について詳細に説明する。図８は、閾値設定処理の手順例を示すフローチャートであり、ユーザからの指示により、時刻差閾値情報を更新し、インデクス表示画面の更新指示を行うまでの処理を示している。
【００４８】
まず、ユーザ操作によって入力されるキーコードを取得する処理が行われる（Ｓ８０１）。キーコードは、図１のリモコン３の操作によって送出され、ユーザインタフェース部１０９を介し、ユーザ指定情報管理部１０８へと送信される。ここで、ユーザにより操作されるリモコン３のボタン（不図示）として、＋ボタンや−ボタンを定義する。＋ボタンは、ある状態から値を増加させる方向へ状態を変更する機能をもち、−ボタンは逆に、ある状態から値を減少させる方向へ状態を変更する機能をもつ。
【００４９】
次に、ユーザ指定情報管理部１０８は、キーコードを閾値情報に変換する（Ｓ８０２）。図９は、閾値情報を得るために用いる時刻差閾値管理テーブルの一例を示しており、このテーブルは、ユーザ指定情報管理部１０８が、取得したキーコードから時刻差閾値情報を求めるために使用する。図９に示す例では、時刻差０から時刻差１年間に亘って１０段階を設定している。また、各時刻差についてはＩＤ（識別情報）をそれぞれ設定し、ＩＤと時刻差が対となって管理される。例えば、ＩＤの初期値としてゼロが設定されているものとする。すなわち、初期状態でのインデクス表示は、時刻差閾値がゼロであるため、すべての画像を表示する設定となる。
【００５０】
ここで、状態値としてゼロが設定されており、リモコン３からキーコードを取得した場合を考える。＋ボタンが押下された場合、現時点での状態値に１だけインクリメントする。初期の状態値がゼロであるため、状態値が１となる。状態値１によって図９の時刻差変換テーブルが参照され、ＩＤが１である１時間という時刻差が求まる。さらに、＋ボタンが押下された場合、インクリメントによって状態値が２となる。したがって、その際の時刻差が６時間であることを時刻差閾値変換テーブルから算出できる。他方、−ボタンが押下された時は、状態値が１だけデクリメントされるものとする。以上の操作により、＋ボタン及びボタンの押下結果から、新規の時刻差閾値情報を図９に示した時刻差閾値変換テーブルから算出できる。なお、状態値がゼロのときに−ボタンが押下された場合や、状態値が９のときに＋ボタンが押下された場合、各押下処理は無効となる（状態値は変化しない）。
【００５１】
再び図８に戻り、時刻差閾値情報の保存処理が行われる（Ｓ８０３）。具体的には、図１のユーザ指定情報管理部１０８が、Ｓ８０２で取得した時刻差閾値情報を保存する。そしてインデクス表示状態を変更する処理が行われる（Ｓ８０４）。ここで、ユーザ指定情報管理部１０８は、時刻差閾値が変更された旨を制御部１０１に通知する。すると、制御部１０１は、その新しい閾値に従ったインデクス表示画面を表示処理部１１２に作成させるように指示し、これによってインデクス表示画面が更新されることになる。
【００５２】
次に、ユーザが、時刻差閾値情報を変更し、インデクス表示画面が更新されるまでの一連の流れについて説明する。図１０は、インデクス表示状態の変更処理手順を例示したフローチャートであり、初期状態にてインデクス表示が行われているものとする。
【００５３】
まず、ユーザ指定情報管理部１０８がキーコードを取得する（Ｓ１００１）。次に、該キーコードが「＋」又は「−」であるか否かをユーザ指定情報管理部１０８が判定する（Ｓ１００２）。ここで、キーコードが「＋」又は「−」でない場合（Ｓ１００２：Ｎｏ）、再度Ｓ１００１の処理を行う。一方、キーコードが「＋」又は「−」である場合（Ｓ１００２：Ｙｅｓ）、時刻差閾値の取得処理が行われる（Ｓ１００３）。この処理は、図８のＳ８０２と同様である。その後、時刻差閾値の更新があったか否かをユーザ指定情報管理部１０８が判定する（Ｓ１００４）。時刻差閾値の更新がなかった場合（Ｓ１００４：Ｎｏ）、Ｓ１００１に戻る。一方、時刻差閾値の更新があった場合（Ｓ１００４：Ｙｅｓ）、インデクス表示状態が変更される（Ｓ１００５）。この処理は、図８のＳ８０４の処理と同様である。
【００５４】
以上の手順により、ユーザが時刻差閾値を変更するための指示を入力することで、インデクス表示状態の変更処理が実現される。図１１は、本処理によるインデクス表示状態の遷移について模式的に示す。画面１１０１は閾値がゼロに設定された場合、画面１１０４は閾値が１時間に設定された場合、画面１１０７は閾値が６時間に設定された場合の画像表示状態をそれぞれ例示する。すなわち、画面１１０１では、時刻差閾値がゼロの状態であり、すべての画像が表示されている。符号１１０３で示す線分は、画像閲覧装置１で管理している画像群のタイムスケールを表している。また符号１１０２で示す線分は、画面１１０１に表示されている画像群のタイムスケールを表している。符号１１０３、１１０２にそれぞれ示すタイムスケールの比較から分かるように、時刻差閾値がゼロの場合、全画像群の中で一部のタイムスケールの画像のみが表示されることになる。
【００５５】
次に、画面１１０１の表示状態において、ユーザ操作によってリモコン３の＋ボタンが押下された場合の遷移結果が画面１１０４である。この場合、時刻差閾値が１時間に設定されるため、画面には時刻差が１時間を超える画像が表示される。符号１１０５に示す線分は、一画面に表示される画像のタイムスケールを模式的に表しており、管理している全画像のタイムスケール（符号１１０６参照）との比較から分かるように、画面１１０１の状態よりも広範囲の画像群が一画面内に表現されている。
【００５６】
さらに画面１１０４の表示状態にて、リモコン３の＋ボタンが押下された場合、画面１１０７へと状態が遷移する。画面１１０７では、時刻差が６時間以上の画像のみが表示される。符号１１０８の線分で示すように、一画面に表示される画像のタイムスケールは、管理している全画像のタイムスケール（符号１１０９参照）に比べて、より広範囲な時間幅を占めることが分かる。なお、各画面のタイムスケール間の遷移については、リモコン３のボタン操作によって相互に遷移可能であり、ユーザの操作指示に従い、任意のタイムスケールにて一画面内の表示画像を変更できる。
【００５７】
前記一連の処理により、ユーザはタイムスケールを自由に操ることが可能になる。例えば、ユーザは所望の画像が現在の画面上から時間的に離れた場所にあると認識した場合、タイムスケールが大きくなるように変更できる。その結果、インデクス表示において、一度のカーソル移動で変更できる時間幅を大きくすることが可能になり、所望の画像を得るまでの検索時間を短縮化して、検索性を向上させることができる。また、タイムスケールを大きくとった状態でのカーソルの移動後に、タイムスケールを小さくすることで、ユーザは所望のシーン付近での画像検索を詳細に行えるようになる。
なお、上記の実施形態では、リモコン操作によりユーザがタイムスケールを自由に操る構成を説明した。このとき、図１１に模式的に示したタイムスケールに相当する画像をインデクス表示画面と同時に表示することが好ましい。このような表示を行うことで、ユーザは管理されている全画像のタイムスケールのうち、どの範囲をどの程度のタイムスケールで表示しているのかを直感的に把握することが可能となる。また、表示されたタイムスケール画像がユーザインタフェースとして構成されている場合には、直接的な操作が可能である。例えば、タッチパネル操作が可能な表示装置の場合、ユーザは直接タイムスケール画像を指で触って操作することで、自由に表示日時などをタイムスケールにて操作することが可能である。
【００５８】
以上説明したように、第１実施形態によれば、インデクス表示において、ユーザが画像検索処理を短時間で効率的に行うことが可能となる。
また、画像間の時刻差に関連する閾値や判定基準値をユーザが任意に指定できる機能をもつことで、一画面内に表示される画像のタイムスケールを任意に変更することが可能となる。これにより画像間の遷移を高速化したい場合はタイムスケールを大きくし、画像間の遷移の精度を高くしたい場合はタイムスケールを小さくするといった操作が実現され、画像検索を高速かつ精度良く実施することが可能となる。
【００５９】
なお、以上の説明では一台の撮像装置を用いて撮影された画像を対象としたが、これに限らず、インデクス表示の際、複数の撮像装置で撮影された画像が混在している場合に、撮像装置の区別なく画像の時刻差を算出し、インデクス表示画像を作成しても構わない。
例えば、第１のカメラで撮影した画像を、画像Ａ、Ｂ、Ｃとし、第２のカメラで撮影した画像を、画像ａ、ｂ、ｃとする。これらの画像を撮影時刻順に古いものから並べると、画像Ａ、ａ、Ｂ、ｂ、ｃ、Ｃとなる場合を想定する。閾値の設定に従って画像Ａ、ａ、Ｂが近接しており、画像ｂ、ｃ、Ｃが近接していると判定された場合、インデクス表示にて画像Ａが画像Ａ、ａ、Ｂの代表画像として表示され、その右隣には画像ｂが画像ｂ、ｃ、Ｃの代表画像として表示されることになる。
【００６０】
複数の撮像装置にて撮影された画像が混在された状態で、インデクス表示を実施する場合、複数の撮像装置がそれぞれ別の場所で使用された場合であるとは限らない。例えば、第１のカメラで撮影した画像と第２のカメラで撮影した画像に関して、撮影時刻及び撮影場所が近接しているような場合、撮像装置を区別することなく、インデクス表示を行う画像を選択することが好ましい。これにより、冗長な画像がインデクス表示されることに起因する検索性の低下を防止できる。なお、このような実施形態の適用については、図１の画像管理部１０５で管理される画像すべてに適用する必要はなく、画像管理部１０５で管理している画像群の一部についてのみ適用することも可能である。
【００６１】
次に、本発明の第２実施形態を説明する。第２実施形態では、インデクス表示の際、複数の撮像装置で撮影された画像が混在している場合に、撮像装置ごとに画像の時刻差を算出してインデクス表示画像を作成する例を示す。なお、本実施形態を実現するための画像閲覧装置の構成や、画像間の時刻差を利用してインデクス表示に使用する画像を決定する処理手順、及びユーザによる時刻差閾値情報の設定処理は、第１実施形態の場合と同様であるため説明を省略する。本実施形態では、画像解析部１０６が撮像装置ごとに画像の撮影時刻を算出し、時刻差算出部１０７が撮像装置ごとに各画像の時刻差を算出する。
【００６２】
まず、インデクス表示画像の選択及び画像表示の際に用いる画像データを説明する。図１２は、横軸に時刻を示した画像の分布及び各画像の撮影時刻を模式的に示している。横軸の右方向へ進むに従い、撮影時刻が新しくなる。また、図中の矩形が各画像を表している。大文字のアルファベットＡからＬを付与した画像は第１のカメラで撮影された画像であり、小文字のアルファベットａからｊを付与した画像が第２のカメラで撮影された画像である。また、図１２では、画像間の撮影時刻差を矩形間の距離で表現している。すなわち、画像Ａと画像ａは撮影時刻差が小さく、互いに接近していることを示している。
【００６３】
次に、図１２に示した画像データ群をインデクス表示した画面のイメージについて説明する。図１３は、画像間の時刻差を利用したインデクス表示状態の変化を説明するための図である。図１３（ａ）の画面１３０１は、図１２に示した画像をすべて撮影時刻順に表示した際のイメージを示し、図１３（ｂ）の画面１３０２は、各画像が撮影された時刻差を算出して表示する画像を決定した場合のイメージを示している。画面１３０１では、２台の撮像装置で撮影された画像が混在して表示される。一方、画面１３０２では、撮像装置ごとに時刻差を算出し、表示する画像を決定した場合の状態が表示される。なお、ここでは表示する画像を判定する時刻差閾値を１０分に設定している。画面１３０２に示すように、カメラごとに表示する画像の判定処理を行うことで、時間的に接近している画像であっても撮影したカメラが異なる場合には各画像がそれぞれインデクス表示される。例えば、画像Ａが当該画像及び画像Ｂを代表する画像としてインデクス表示上に現れ、その右横に画像ａが表示され、さらにその右横には画像ｂが当該画像及び画像ｃから画像ｆを代表する画像としてインデクス表示される。
【００６４】
画像閲覧装置１で閲覧する画像は、同じ撮像装置で撮影された場合のみとは限らない。すなわち画像間の時刻差を、判定基準となる閾値と比較した結果に基づいて表示する画像を選択した場合、どの撮像装置で撮影されたかが考慮されないため、複数の撮像装置で撮影された画像が混在した状態でインデクス表示されることも考えられる。画像を撮影した装置を区別しない場合、必要な画像がインデクス表示画面に表示されない可能性がある。例えば、第１のカメラで撮影した画像が国内で撮影されたものであり、第２のカメラで撮影した画像が海外で撮影されたものであった場合を想定する。検索上では撮影時刻が接近していたとしても、双方のカメラで撮影された画像を区別してインデクス表示することで検索効率が向上する。本実施形態によれば、このような場合において撮像装置を区別して時刻差を算出することで、検索上有効なすべての画像をインデクス表示できる。
【００６５】
第２実施形態における基本的な処理の流れは図４の場合と同様であるが、画像に係る撮像装置を示す情報を取得し、同じ装置で撮影された画像データ群について図４のＳ６０１乃至６１１の処理を行う点が相違する。例えば、図１２の例で、第１のカメラによる画像Ｂと画像Ｃとの撮影時刻差が閾値以上である場合を想定する。第１のカメラにより撮影された次の対象画像の処理へと直ぐには移行せず、第２のカメラによる撮影画像を処理するため、撮影時刻が画像Ａに近い画像ａを対象画像として処理が進行する。従って、カメラごとに処理を切り替えるか、あるいはカメラごとに処理を行ってから代表画像の撮影時刻に従って並べ替える等の方法で図４に説明したフローチャートを拡張すればよいので、その詳細な説明を省略する。
なお、本実施形態は、必ずしも図１の画像管理部１０５で管理する画像すべてに適用する必要はなく、画像管理部１０５が管理している画像群の一部についてのみ適用することも可能である。
【００６６】
次に本発明の第３実施形態について、図１４を用いて以下に説明する。第３実施形態では、画像閲覧装置にて実施されるインデクス表示に使用する画像の選択について、画像間の時刻差の累積値を用いる方法を採用する。なお、第３実施形態を実現するための構成及びユーザによる時刻差閾値情報の設定方法等については第１実施形態の場合と同様であるため、説明を省略する。
【００６７】
図１４は、インデクス表示画像を作成するまでのフローチャートを例示しており、初期状態として、インデクス表示状態におけるカーソル位置が最左上端にある場合を示す。この意味は、インデクス表示一画面において、最も撮影時刻の古い画像にカーソルが位置していることである。
【００６８】
まず、Ｓ１７０１にて、カーソル位置の検出処理が図１の制御部１０１によって行われる。本例ではカーソル位置を最左上端としているが、状態によっては前述のとおり、インデクス表示中の様々な箇所を取り得る。次のＳ１７０２にて、一画面中に、カーソル位置より後方に何枚の画像が表示されるべきであるかの算出処理が行われる。例えば、インデクス表示状態で、図２に示したように、４行５列の計２０枚を一画面に表示する場合、カーソル位置より後方に位置する画像数は１９枚であり、インデクス表示を行うためには１９枚の表示画像を決定する処理が必要となる。Ｓ１７０３にて、カーソル位置にある画像を一時保存画像として記憶する処理が行われる。これ以降、この一時保存画像を基準に画像間の撮影時刻差が判定される。Ｓ１７０４にて、カーソル位置画像の次に近い撮影時刻を持つ画像が、比較対象画像として設定される。比較対象画像は、一時保存画像と比較して時刻差を取得する対象画像であり、比較対象画像を順次更新していくことで表示する画像を選択し、決定する処理が実行される。
【００６９】
Ｓ１７０５では、Ｓ１７０３で記憶された一時保存画像と、Ｓ１７０４で記憶された比較対象画像との間で撮影時刻差を算出する処理が時刻差算出部１０７によって行われる。また、各画像及び画像情報の管理は画像管理部１０５にて行われ、時刻差算出部１０７は画像管理部１０５より各画像の撮影時刻を取得した後、時刻差を算出する。Ｓ１７０６にて、Ｓ１７０５で算出した撮影時刻差と、ユーザにより指定された閾値との比較を図１の表示判定部１１０が行い、時刻差が閾値以上であるか否かを判定する。なお閾値情報については、図１のユーザ指定情報管理部１０８より取得する。
【００７０】
Ｓ１７０６にて、算出された時刻差が閾値以上であると判定された場合、Ｓ１７０７に進み、比較対象画像が、表示すべき画像として設定される。その際、一時保存画像を現在の比較対象画像へ更新する処理も同時に行われる。その後、Ｓ１７０８にて、表示に必要な画像がすべて選択されたか否かが判定され、すべて選択された場合はＳ１７１１へ進むが、すべて選択されていない場合はＳ１７０９へ進む。
【００７１】
Ｓ１７０９では、比較対象画像の次に撮影時刻の近い画像が存在するか否かを判定する処理が行われる。ここで比較対象画像以降に画像が存在しない場合、画像データ群のすべての画像について、表示画像の選択処理が終了したことになり、Ｓ１７１１へ進む。また比較対象画像以降に画像が存在する場合、Ｓ１７１０に進み、比較対象画像を、次に撮影時刻の近い画像に更新する処理が行われる。
【００７２】
以上の処理を繰り返し、一画面内に表示する画像すべてが決定された後に、Ｓ１７１１にて図１の表示処理部１１２が画像表示レイアウトを作成する。その後、Ｓ１７１２に進み、Ｓ１７１１で作成した表示レイアウトを表現する画像信号が図１のモニタ２へ出力され、ユーザにインデクス表示画像が提供される。
【００７３】
図１４で説明したとおり、第３実施形態を実施することで、画像間の閾値による画像選択処理ではなく、ある画像の撮影時刻を基点とした時刻差により必要な画像の選択処理が実施可能となる。よって、画像間の時刻差が離れた画像のみを代表画像として選択する効果とともに、ある一定以下の閾値を持つ画像群においても、その画像群から代表画像を複数枚選択することが可能となる。
なお、前記各実施形態で示した各工程は、ネットワーク又は各種記憶媒体を介して取得した画像閲覧プログラムをコンピュータ等の処理装置で実行することにより実現できる。
【符号の説明】
【００７４】
１ 画像閲覧装置
２ モニタ
３ リモコン
４ 記録媒体
５ ネットワーク
１０１ 制御部
１０２ 画像取得部
１０３ ネットワークインタフェース部
１０４ 記録媒体インタフェース部
１０５ 画像管理部
１０６ 画像解析部
１０７ 時刻差算出部
１０８ ユーザ指定情報管理部
１０９ ユーザインタフェース部
１１０ 表示判定部
１１１ デコーダ
１１２ 表示処理部
【技術分野】
【０００１】
本発明は、画像閲覧の際、各画像を表現する縮小画像（以下、サムネイル画像という）を一画面内に一覧表示する、インデクス表示が可能な画像処理装置及び画像処理装置の制御方法に関する。
【背景技術】
【０００２】
ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の画像を、パーソナルコンピュータやテレビジョン装置上で表示し、ユーザに画像の視聴を提供する、画像処理装置が普及している。こうした画像処理装置は、画像ビューワや画像閲覧装置と称されることがある。画像閲覧装置はインデクス表示機能を備えるものが一般的であり、各画像のサムネイル画像を一画面内に複数並べて表示し、ユーザに画像選択インタフェースを提供する。このインデクス表示機能は、複数の画像を同時にユーザが閲覧して実際に画像内容を確認できるため、所望の画像の検索が容易になるという利点がある。
【０００３】
また、大量の画像における検索性を向上させるために、一画面に表示するサムネイル画像について、各画像の撮影時刻等を用いてユーザが選択し、選択された画像を代表画像として表示する技術も提案されている（例えば、特許文献１参照。）。この技術では、インデクス表示に使用する画像を、撮影時刻及び画像の類似性（色味・構図等）を利用してグループ化し、各グループの代表画像をインデクス表示する。これにより、インデクス表示状態において、所望の画像の閲覧までに、ユーザに求められる操作回数を削減することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６９４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記インデクス表示機能は、ユーザが画像を閲覧しながら所望の画像を検索できるという点で、他の画像検索機能より優れている。しかし、所望の画像が、現在表示中の画面（インデクス画面）から遠く離れている箇所に配列されている場合、所望の画像までの検索に費やす手間（時間、操作回数）がかかるという点において不利である。例えば、インデクス表示機能を持つ画像閲覧装置において、一画面当たり２０枚のサムネイル画像を表示する場合を想定する。この画像閲覧装置にて１０００枚の画像を閲覧する場合、画像の先頭から最後までの移動には、ページスキップ機能を使用しても５０回の操作を行う必要がある。なおページスキップ機能とは、一画面内の画像（本例では２０枚の画像）をすべて同時に更新する機能のことである。特許文献１に記載の技術では、インデクス表示状態において代表画像のみを表示することで、大量の画像間の移動を高速化できるという効果は得られる。しかし、表示する代表画像を選択するための指標をユーザが指定できないことが問題である。本来であればユーザがより高速に画像を検索したい場合や、各画像をより詳細に検索したい場合等、各場面に適した検索条件等を提供することができないという課題があった。
【０００６】
本発明の目的は、インデクス表示における画像検索処理を短時間で効率的に行える画像処理装置及び画像処理装置の制御方法の提供にある。
【課題を解決するための手段】
【０００７】
本発明に係る装置は、上述した課題を解決し、目的を達成するために、各画像の撮影時刻を取得し、撮影時刻の順に画像を縮小画像でインデクス表示させる機能を有する画像処理装置であって、各画像の撮影時刻の情報に基づいて、画像間の撮影時刻差を算出する時刻差算出手段と、前記時刻差算出手段により算出された撮影時刻差と、当該撮影時刻差と比較するための閾値とを比較することで、縮小画像としてインデクス表示する画像を選択する表示判定手段と、前記表示判定手段により選択された各画像を、当該各画像の撮影時刻に従って縮小画像でインデクス表示させる表示処理手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、インデクス表示において、ユーザが画像検索処理を短時間で効率的に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す図である。
【図２】インデクス表示画面の一例を示す図である。
【図３】インデクス表示画像選択及び画像表示の際に用いる画像データ群を例示した図である。
【図４】インデクス表示画像を作成する処理の手順例を示すフローチャートである。
【図５】画像間の時刻差を利用したインデクス表示状態の変化を説明するための図である。
【図６】ページジャンプ機能を利用した際の画面イメージの遷移例について説明するための図である。
【図７】表示領域の境界において、ユーザの操作指示により方向キーが押下された場合の画面イメージの遷移について示す図である。
【図８】閾値設定処理の手順例を示すフローチャートである。
【図９】閾値情報を得るために用いる時刻差閾値管理テーブルの一例を示す表である。
【図１０】インデクス表示状態の変更処理手順を示すフローチャートである。
【図１１】インデクス表示状態の遷移を示す模式図である。
【図１２】第２実施形態におけるインデクス表示画像選択及び画像表示の際に用いる画像データ群を例示した図である。
【図１３】第２実施形態において、画像間の時刻差を利用したインデクス表示状態の変化を説明するための図である。
【図１４】第３実施形態にてインデクス表示画像を作成する処理の手順例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
図１は画像処理装置としての画像閲覧装置の構成例を示す。なお、図１は画像閲覧装置１とともに用いる設備や装置等との接続関係も示しており、本図では円形記号で簡略的に示す。
【００１１】
まず、画像閲覧装置１の概要を説明する。画像閲覧装置１は、静止画像や動画像をユーザに提示する機能を有する。この画像閲覧装置１によって作成された、ユーザに提示するための画像は、画像閲覧装置１に接続されたモニタ２に表示される。デジタルテレビジョン装置は、画像閲覧装置１とモニタ２とが一体的に構成された装置の一例である。つまり本発明の実施において、画像閲覧装置１とモニタ２とが常に分離された構成であるとは限らない。また、ユーザによる画像閲覧装置１の操作は、リモートコントローラ（以下、リモコンという）３の操作ボタンやスイッチ等、各種の操作指示手段を用いて行われる。ユーザはリモコン３を使用して、画像の表示切り替え制御、画像の拡大縮小処理、画像閲覧装置１の起動及び終了等を指示することができる。
【００１２】
静止画像又は動画像は、記録媒体４から又はネットワーク５を経由して画像閲覧装置１に提供されて表示に使用される。記録媒体４の例としては、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ カード）やＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）、ハードディスク等が挙げられる。またネットワーク５からの画像取得例としては、インターネットオンラインアルバムやＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）で規定されているＤＭＳ（Ｄｉｇｉｔａｌ Ｍｅｄｉａ Ｓｅｒｖｅｒ）等が挙げられる。
【００１３】
次に、画像閲覧装置１の内部構成を詳細に説明する。なお、図１において、実線の矢印はデータの流れを示し、破線の矢印は制御信号の流れを示している。画像閲覧装置１の全体を制御する制御部１０１は、例えば、表示する画像の選択処理や、画面表示形式の変更処理等の制御を司る。なお画面表示形式の変更処理とは、画像の表示位置や表示画質、表示倍率等を変更する処理を意味する。
【００１４】
画像取得部１０２は、制御部１０１が発行する画像取得要求信号に従って、記録媒体４から後述する記録媒体インタフェース部１０４を介して画像データを取得し、又はネットワーク５からネットワークインタフェース部１０３を介して画像データを取得する。画像取得部１０２が取得した画像データとしては、静止画像に限らず動画像も含まれる。また、画像フォーマットについても特に制限はなく、あらゆるフォーマットの画像が取得される。
【００１５】
ネットワークインタフェース部１０３は、ネットワーク５を介して、画像取得部１０２から指定された画像データを取得する。ネットワークインタフェース部１０３はＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の通信を行うためのプロトコル処理機能や、ＤＭＳ内のコンテンツや、オンライン上のコンテンツを取得するためのインタフェース機能を有する。ネットワーク５を介して取得した画像については、ネットワークインタフェース部１０３によって複製（コピー）処理が行われ、画像取得部１０２に送られる。
【００１６】
記録媒体インタフェース部１０４は、記録媒体４に格納された画像データのうち、画像取得部１０２から指示された画像データを取得する。記録媒体インタフェース部１０４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）の制御機能を有する。記録媒体４から取得した画像データは、画像取得部１０２に送られる。
【００１７】
画像管理部１０５は、画像取得部１０２が取得した画像を管理する。画像管理部１０５では、後述の画像解析部１０６で得られた各種情報に基づいて画像を整列し、整列情報を管理する。なお各種情報とは、画像の撮影時刻情報や、画像の撮影場所情報、画像の解像度情報、画像を撮影した撮像装置の情報等を示す。また、画像の整列とは、画像管理部１０５が管理している画像群を、撮影時刻等に従って時系列に整列させることを意味する。
【００１８】
画像解析部１０６は、制御部１０１が発行する画像解析処理の開始指示を受けた場合、画像管理部１０５が管理している画像の解析処理を行う。具体的には、画像解析部１０６は、画像に付帯する各種情報を抽出し、画像の撮影時刻等を特定する。例えばデジタルカメラで作成された画像には、撮影時刻情報や撮影場所情報、撮像装置の情報等を含むＥｘｉｆ（Ｅｘｃｈａｎｇｅ ｉｍａｇｅ−ｆｉｌｅ ｆｏｒｍａｔ）タグが付帯情報として与えられている。画像解析部１０６は、例えばＪＰＥＧ画像に付帯されるＥｘｉｆのタグ解析機能を有し、Ｅｘｉｆ内の情報を抽出する。画像管理部１０５は、画像解析部１０６で抽出した情報を用いて画像を整列させ、整列情報を管理する処理を行う。また画像管理部１０５は、画像解析部１０６で抽出した画像情報の管理も行う。
【００１９】
時刻差算出部１０７は、画像管理部１０５が管理している画像情報を用いて、整列された画像間の撮影時刻差を算出する。例えば、画像Ａ、画像Ｂ、画像Ｃが撮影時刻順に整列されている場合、時刻差算出部１０７は、画像Ａと画像Ｂの撮影時刻差、及び画像Ｂと画像Ｃの撮影時刻差を算出する。あるいは画像Ａの撮影時刻を基準として、画像Ｂ、画像Ｃとの撮影時刻差を算出しても構わない。時刻差算出部１０７は、算出した情報を後述する表示判定部１１０へ送出する。
【００２０】
ユーザ指定情報管理部１０８は、ユーザによるリモコン３の操作時に後述のユーザインタフェース部１０９を介して入力される指示情報を格納して管理する。ユーザ指定情報管理部１０８が管理する情報は時刻差閾値情報等であり、後述の表示処理部１１２が実行するインデクス表示を行うための画像を選定する上で必要な情報である。なお、時刻差閾値情報とは、管理している画像間の撮影時刻差と比較するための閾値に関する情報である。ユーザ操作によって指定される入力情報については、時刻差閾値を時間形式で直接的に指定する形態だけに限らないため、ユーザ指定情報管理部１０８は、ユーザからの指定情報と、時刻差閾値とを変換するためのテーブルも同時に管理する。以下では該テーブルを時刻差閾値変換テーブルと呼ぶ。また、管理される時刻差閾値情報は、ユーザ指定情報管理部１０８が後述の表示判定部１１０に提供する。
【００２１】
ユーザインタフェース部１０９は、ユーザの操作時にリモコン３から入力されるキーコードを取り込み、該コードを指示信号に変換した上で各回路部へと適時に送信する。ユーザ指定情報管理部１０８へ送信されるデータとしては、例えば前記の時刻差閾値情報が挙げられる。
【００２２】
表示判定部１１０は制御部１０１から指示を受けて、モニタ２に表示する画像の決定処理を行う。つまり表示判定部１１０はユーザ指定情報管理部１０８からの時刻差閾値情報と、時刻差算出部１０７が算出した画像間の撮影時刻差とを比較し、比較結果を制御部１０１へ送出する。なお、比較結果の具体例は、ユーザから指定された時刻差閾値情報と、時刻差算出部１０７が算出した画像間の撮影時刻差との間の差分の符号（正若しくは負）又はゼロである。
【００２３】
デコーダ１１１は、画像管理部１０５が管理している画像データを取得し、これを表示可能な形式へと適宜に変換する。例えばＪＰＥＧ画像をビットマップ形式に変換する処理等が行われる。また、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）のような動画の場合、動画像データから１フレーム分の画像データを抽出し、インデクス表示に用いる静止画像を作成する処理が行われる。デコーダ１１１はまた、制御部１０１の指示に従って画像の解像度変換を行い、表示用解像度への変換処理も行う。
【００２４】
表示処理部１１２は、制御部１０１からの指示に基づき、モニタ２への表示出力を行う。つまり表示処理部１１２はデコーダ１１１から表示用の画像結果を取得し、インデクス表示用レイアウトを作成した後、モニタ２へ画像信号を出力する。こうしてモニタ２上でインデクス表示が行われる（その詳細については後述する）。
【００２５】
なお、画像閲覧装置１ではＪＰＥＧの画像データの処理に限らず、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）の画像データも同様に処理することができる。
【００２６】
次に、画像閲覧装置１のインデクス表示機能について詳細に説明する。図２は、インデクス表示画面を例示した図であり、インデクス表示画面２０１はモニタ２上に表示される。インデクス表示画面２０１には複数のサムネイル画像２０２が表示され、ユーザの操作に従って選択されているサムネイル画像２０２を指し示すカーソル２０３（太枠を参照）も表示される。なお、サムネイル画像２０２は、デジタルカメラによる撮影の場合、静止画像内に縮小画像として付与されていることが一般的である。画像内に縮小画像が付与されていない静止画像や、動画像に関しては、図１のデコーダ１１１によって画像の抽出と解像度変換処理が行われて縮小画像が作成される。また、デジタルカメラの撮影画像に付帯されているサムネイル画像２０２の解像度は一般に縦１２０画素、横１６０画素である。
【００２７】
インデクス表示を実行する表示処理部１１２は、ユーザのリモコン操作に従って、カーソル２０３を移動させ、所望のサムネイル画像２０２を選択する機能を有している。図２（ｂ）は、ユーザ操作によるカーソルの移動を説明するための模式図であり、カーソル移動前の状態を示す画面３０１と、ユーザ操作後にカーソルが移動した後の画面３０２を示す。画面３０１ではカーソル２０３が第２行第４列目に位置した状態である。ここでユーザがリモコン３の「下」ボタンキー（不図示）を押下すると、カーソル２０３が１画像分だけ下方に移動し、画面３０２に示すように、第３行第４列目の位置に来る。なお、一般にはリモコン３が上下左右、４方向の操作ボタンを備えているので、カーソル２０３の位置を任意の方向に操作可能である。また、カーソル２０３が画面の上端や下端に達した後では、画像がスクロールされ、新規のサムネイル画像が画面内に表示される。そして画面内の全サムネイル画像を一度に更新する、いわゆるページ切り替え機能が知られている。
【００２８】
インデクス表示機能では、ユーザ操作に従って画面上のカーソル２０３を移動させ、画像を選択して所望の画像を確定することができる。画像の選択処理では、複数のサムネイル画像を配置したインデクス表示状態においてカーソル２０３を移動させてユーザの操作により所望の画像を選択した後で、当該画像を閲覧することができる。
図２（ｃ）は、カーソル移動後から画像を閲覧するまでの処理について、インデクス表示状態から全画面表示状態への遷移例を説明する図である。例えば、インデクス表示状態において、ユーザが画像４０１の閲覧を希望している状況を想定する。このとき、ユーザは、画像４０１の位置にカーソルがあって当該画像が選択されている状態で、リモコン３の「決定」ボタン（不図示）を押下したとする。画面４０２に示すように、選択された画像４０１がほぼ全画面に亘って拡大表示される。なおリモコン３には、画面４０２に画像４０１が拡大表示された状態から、元のインデクス表示状態へと移行させるための操作ボタンが設けられている。
【００２９】
以下では、撮影時刻差を利用したインデクス表示画像選択及び画像表示処理について説明する。まず、インデクス表示画像選択及び画像表示の際に用いる画像データを示す。図３は、インデクス表示画像選択及び画像表示の際に用いる画像データ群を模式的に示した図である。この図では、左右方向に時刻軸が設定されており、右へ進行するほど時刻が新しくなる、つまり現在の時刻に近づくことを意味している。また、ＡからＱのアルファベットを付与した矩形が個々の画像を表している。各画像はそれぞれの撮影時刻に従って、時刻軸の方向に分散して示されている。つまり画像Ａが最も撮影時刻が古く、画像Ｑが最も新しく撮影された画像を示す。また、図３では、画像を示す矩形同士の間隔が広いほど、撮影時刻差が大きいことを示している。例えば、画像Ｃと画像Ｄとの間隔は、時刻差が１２時間以上であることを示し、画像Ｈと画像Ｉとの時刻差が２４時間以上であることを示している。また、画像Ａと画像Ｂとの間、画像Ｂと画像Ｃとの間に示されるように、画像同士の間隔が狭く表現されている画像については、撮影時刻が近接していることを模式的に示している。このことは図示の例にて、画像Ａから画像Ｃまでの画像群や、画像Ｄから画像Ｈまでの画像群は同じシーンで撮影された可能性が高いことを意味している。
【００３０】
次に、画像の撮影時刻に関する時刻差を利用して、表示する画像を選択し、インデクス表示を完了するまでの処理について説明する。図４は、インデクス表示画像を作成する処理の手順例を示すフローチャートである。ここでは、初期状態として、インデクス表示状態におけるカーソル位置が画面の最左上端（１行１列目）にある場合を想定して説明する。このカーソル位置は、インデクス表示の一画面内において最も撮影時刻が古い画像であることを意味する。従って、４行５列の位置が、１画面内に表示される画像群のうち、最も現在時刻に近い撮影時刻を有する画像が表示される位置である。
【００３１】
まず、カーソル位置の検出処理が図１の制御部１０１によって行われる（Ｓ６０１）。ここでは、カーソル位置を画面の最左上端としているが、状態によっては前述したようにカーソル位置は任意であって、インデクス表示中の様々な位置へのカーソル移動が可能である。
【００３２】
次に、カーソル位置の後方にて時間的に新しい表示画像の数を算出する処理が行われる（Ｓ６０２）。具体的には、図１に示した画像管理部１０５が、一画面中に、カーソル位置より後方に何枚の画像が表示されるべきかを算出する。なお、カーソル位置より後方とは、図１に示したインデクス表示画面において、１行１列の位置を最も先頭の画像表示位置とし、４行５列の位置を最も後方の画像表示位置とした場合の表現である。従って、カーソルが４行４列の位置に存在する場合、カーソル位置より後方とは、４行５列の位置のみとなる。例えば、インデクス表示状態で、図２に示したように、４行５列の計２０枚を一画面に表示する場合は、カーソル位置より時間的に新しい画像数が１９枚となる。よって、インデクス表示を行う場合、１９枚の表示画像を決定する処理が必要となる。なお、スクロール処理等で一部の画像、例えば、１行内に存在する画像が新規に画面内に挿入される場合は、新規に表示される画像分だけ、画像選択処理が必要である。なお、このとき画像管理部１０５が管理している画像が、インデクス表示画面の最大画像数より少ない場合には、管理されているすべての画像の選択処理が終了した時点で図４のフローチャートが終了する。
【００３３】
次に、カーソル位置にある画像を一時保存画像として記憶する処理が行われる（Ｓ６０３）。ここでは、図１に示した制御部１０１が、記録媒体インタフェース部１０４を介して当該画像を記録媒体４に記憶させる。これ以降、この一時保存画像を順次更新していくことで、表示する画像の選択が実施されることとなる。
【００３４】
次に、画像間の撮影時刻差を算出する処理が行われる（Ｓ６０４）。具体的には、図１の時刻差算出部１０７が、Ｓ６０３で記憶した一時保存画像と、表示候補の画像のうち前記一時保存画像の次に撮影された画像との間の撮影時刻差を算出する。表示候補の画像とは、画像管理部１０５によって整列されて管理されている画像群を示す。例えば、図３においてカーソル位置に存在する画像が画像Ａであった場合、一時保存画像は画像Ａとなる。また画像Ａの次に近い撮影時刻を持つ画像は画像Ｂとなる。したがって、Ｓ６０４では、画像Ａと画像Ｂとの時刻差が算出される。なお、各画像の撮影時刻は、画像解析部１０６が当該画像に付随する情報を解析して算出する。画像及び撮影時刻を含む各画像情報は、画像管理部１０５によってデータベース等で管理される。画像管理部１０５は、撮影時刻順に画像を時系列に従って配列させて管理し、時刻差算出部１０７は、整列された画像間の撮影時刻差を算出する。
【００３５】
次に、撮影時刻差が閾値以上であるか否かを表示判定部１１０が判定する（Ｓ６０５）。具体的には、表示判定部１１０が、Ｓ６０４で算出した撮影時刻差と、ユーザ指定情報管理部１０８から取得した閾値とを比較し、時刻差が閾値以上であるか否かを判定する。その結果、撮影時刻差が閾値未満である場合（Ｓ６０５：Ｎｏ）は、Ｓ６０８へ移行する。
【００３６】
一方、Ｓ６０５にて撮影時刻差が閾値以上であると判定された場合（Ｓ６０５：Ｙｅｓ）、次画像を表示用画像とするように表示判定部１１０が選択する（Ｓ６０６）。その後、表示に必要な画像がすべて選択済みか否かを表示判定部１１０が判定する（Ｓ６０７）。その結果、表示に必要な画像がすべて選択済みである場合（Ｓ６０７：Ｙｅｓ）、Ｓ６０９へ移行する。一方、表示に必要な画像がすべて選択済みでない場合（Ｓ６０７：Ｎｏ）、Ｓ６０８へ移行する。
【００３７】
Ｓ６０８では、次画像を一時保存画像として記憶する処理が行われる。具体的には、図１の制御部１０１が、記録媒体インタフェース部１０４を介して前記の次画像を記録媒体４に記憶させる。
【００３８】
ここで、Ｓ６０４からＳ６０８までの処理について、図３を参照して説明する。Ｓ６０４にて画像Ａと画像Ｂとの時刻差が算出され、その時刻差と時刻差閾値情報がＳ６０５で比較される。ここで、ユーザが時刻差閾値情報として１２時間という値を設定すると、画像Ａと画像Ｂとの間の時刻差は１２時間未満であるため、Ｓ６０５では、閾値より小さいという判定が下される。したがって、Ｓ６０５からＳ６０８へと処理が移行し、次画像である画像Ｂが一時保存画像として記憶される。後述するＳ６１１にて、一時保存画像の次画像が存在すると判定された場合は、再びＳ６０４にて、一時保存画像である画像Ｂと、次に近い撮影時刻を持つ画像Ｃとの時刻差が算出される。画像Ｂと画像Ｃとの時刻差は閾値である１２時間より小さいため、再びＳ６０８にて画像Ｃが一時保存画像として記憶される。その後、Ｓ６０４によって一時保存画像である画像Ｃと画像Ｄとの間で時刻差が算出される。この処理で算出された時刻差は１２時間を超えるので、Ｓ６０５にて時刻差が閾値以上であるとの判定が下され、Ｓ６０６では次画像である画像Ｄが表示用画像として選択される。
【００３９】
図４のＳ６１１では、Ｓ６０８にて更新された一時保存画像の次画像が存在するか否かを判定する処理が行われる。この判定処理は、日付順に並び替えられた画像データ群において、一時保存画像が最終の画像であるか否かを判定する処理である。対象の画像が最終の画像であると判定された場合は表示用画像を選択する処理を中止し、Ｓ６０９へと移行する。また、一時保存画像の次画像が存在すると判定された場合、Ｓ６０４に戻る。本実施形態では、以上の処理を繰り返し、一画面内に表示する画像すべてが決定される。
【００４０】
Ｓ６０９にて、図１の表示処理部１１２は画像表示レイアウトを作成し、続いて、表示処理を行う（Ｓ６１０）。作成された画像表示レイアウトに係る信号が図１のモニタ２へ出力され、ユーザにインデクス表示画像が提供される。
【００４１】
以上の処理により、閾値情報を利用した画像選択処理が行われる。図４の説明では、カーソル位置の後方、つまり撮影時刻がより新しくなるものについて言及しているが、カーソル位置がインデクス表示状態において画面の最左上端にない場合であっても同様の処理で対応できる。例えば、カーソルが一画面内に位置している場合、カーソル位置より後方、つまり撮影時刻がより新しくなるものについては、図４に示したフローチャートの処理をそのまま適用できる。また、カーソル位置より前方、つまり撮影時刻がより古くなるものについては、図４に示したフローチャートのＳ６０４にて選択する画像を次画像ではなく前画像に設定する。すなわち、一時保存されている画像より撮影時刻が古いものを選択し、時刻差を算出する処理が実行されることになる。図３を参照して説明を加えると、カーソル位置にある画像が画像Ｉである場合、カーソル位置よりも後方の画像については、画像Ｉ以降の画像Ｊから順に撮影時刻差を算出していく。一方、カーソル位置よりも前方の画像については、画像Ｈから撮影時刻が古くなる順に時刻差を算出していく。以上の処理により、インデクス表示画面にて表示される画像が、時刻差の閾値情報に基づいて選択されるようになる。
【００４２】
次に、カーソル位置にある画像が図３の画像Ｉである状態から、閾値を用いた画像選択処理が適用されたインデクス表示画面イメージについて、図５を用いて説明する。図５は、画像間の時刻差を利用したインデクス表示状態の時間的な推移を説明するための図である。図５（ａ）の画面７０１は、図３に示した画像群すべてをインデクス表示した場合のイメージを例示し、図５（ｂ）の画面７０２は、閾値による画像選択処理を適用した後のイメージを例示する。画面７０１では、最左上端に最も撮影時刻の古い画像が表示され、矢印で示す順に撮影時刻が新しくなっていく。また、カーソルは画像Ｉ上に位置している。そして、画面７０１の状態から、閾値による画像選択処理を適用すると、画面７０２に示す状態になる。ここで、閾値が１２時間であるとする。カーソル位置である画像Ｉを基準に、後方及び前方へ図４で示したフローチャートに基づく処理を適用することで、画面７０２に示した状態を実現することが可能となる。画面７０２に示される画像は、すべて撮影時刻差が１２時間以上の画像のみとなる。よって、撮影時刻差が比較的短い画像群から代表画像が選択された状態となるため、前述のとおり一画面内に表示されるタイムスケールが大きくなる。この結果、一画面内の概観性が増し、ユーザ操作によって所望の画像まで到達するまでに要する時間が短縮化され、検索性が向上する。なおタイムスケールとは、画像群において、最も古い撮影時刻を持つ画像と、最も新しい撮影時刻を持つ画像との撮影時刻差である。
【００４３】
本実施形態を利用した際のインデクス表示画面の一例を、図５（ｃ）の画面７０３、図５（ｄ）の画面７０４に示す。画面７０３では、インデクス表示画面における現在の画面内での撮影日時を示すタイムスケール画像を右側に表示した例を示している。本実施形態の適用において、一画面内で表示される画像はユーザ操作による選択に応じて変化する。一画面内で表示される画像が一日内に収まる場合もあれば、一年間のタイムスケールとなる場合もある。よって、画面７０３で示すように、画面内の画像の撮影時刻を大まかに把握できるよう、タイムスケール画像を同時に表示することが有効である。画面７０４は、インデクス表示される画像が代表画像であるか否かを表示する形式について例示したものである。画面７０４で示すように、代表画像の場合はそれが明確に判別できるようなグラフィクス表示を行い、またその代表画像に属する画像群が何枚で構成されるかを示す値を表示することが望ましい。図５（ｄ）の例では画像Ｃが構成枚数５の画像群を代表するようにグラフィクスが描画されている。描画は、画像が複数枚重なっているように見える表示とともに、画像群に含まれる画像の総数を数字で示している。これにより、インデクス表示画面において、画面内に含まれる画像数及びその画像が代表画像であるか否かをユーザが視覚的に判別でき、画像検索性が向上する。なお、画面７０３と画面７０４の表示形態を同時に採用した画面としてもよい。もちろん、図５（ｄ）の表示に加えて、図５（ｃ）で示したタイムスケール画像も併せて表示する構成とすることも可能である。また、各画像の参考情報として、撮影時刻情報を各サムネイル画像の付近に表示してもよい。
【００４４】
前記説明ではカーソル位置を変化させない状態にて、閾値変更による画像表示状態の変更を示したが、カーソル位置がユーザ操作により変化した場合においても、図４で示すフローチャートは適用される。図６及び図７を用いて、ユーザ操作による画面イメージの遷移及び図４を利用した表示画像選択方法について説明する。
【００４５】
図６は本実施形態にて説明する画像閲覧装置の一つの機能である、ページジャンプ機能を利用した際の画面イメージの遷移例について説明するための図である。画面１５０１は遷移前の状態を示し、画面１５０２はページジャンプ後の状態を示している。画面１５０１において、画像Ａから画像Ｔまでが画像閲覧装置に表示されている画像群であり、画像Ｕから画像Ｚと、さらに画像ａから画像ｎまでが、画像Ｔ以降に表示される予定の画像群である。また、カーソルは画像Ｔの位置上にあるものとする。画面１５０１の表示状態でユーザ操作により、下方向へのページジャンプが指示された場合、画面１５０２へ遷移する。その際の表示画像選択は図４のフローチャートにて実行される。ここで、画像の時刻差の閾値はゼロとする。ページジャンプの指示があった場合、図４のＳ６０２にて、カーソル後の表示画像数が算出される。図６の例では、ページジャンプにより一画面中の画像２０枚すべてが更新されるため、カーソル位置の画像を含む表示画像数は２０となる。図４のフローチャートに従い、表示画像が画像Ｕから画像ｎまで２０枚選択され、図４のＳ６０９及びＳ６１０により表示領域の描画更新処理が行われる。以上の処理により、図６の画面１５０１から画面１５０２への遷移が実行される。
【００４６】
図７は表示領域の境界において、ユーザの操作指示により方向キーが押下された場合の画面イメージの遷移例を示す。図７の画面１６０１は遷移前の状態を例示し、画面１６０２は下ボタン押下後の状態を例示している。なお、画面１６０１に表示されている画像群は図６の画面１５０１の場合と同じであるが、画面１６０２に表示されている画像群は、画像Ｆから画像Ｙまでである。カーソルが画像Ｔに位置している場合、下ボタンが押下されることにより、一ライン（画面１６０１においては５画像分）が上にシフトして繰り上がって表示される。したがって、図４でのフローチャートによる画像選択処理では、図４のＳ６０２にてカーソル以降の表示画像数が５と設定される。その後、図４のフローチャートに従い、画像Ｕから画像Ｙが新規に表示画像として選択され、描画が更新される。以上の処理により、図７の画面１６０１から画面１６０２への遷移が実行される。
【００４７】
次に、前述した閾値を設定する処理について詳細に説明する。図８は、閾値設定処理の手順例を示すフローチャートであり、ユーザからの指示により、時刻差閾値情報を更新し、インデクス表示画面の更新指示を行うまでの処理を示している。
【００４８】
まず、ユーザ操作によって入力されるキーコードを取得する処理が行われる（Ｓ８０１）。キーコードは、図１のリモコン３の操作によって送出され、ユーザインタフェース部１０９を介し、ユーザ指定情報管理部１０８へと送信される。ここで、ユーザにより操作されるリモコン３のボタン（不図示）として、＋ボタンや−ボタンを定義する。＋ボタンは、ある状態から値を増加させる方向へ状態を変更する機能をもち、−ボタンは逆に、ある状態から値を減少させる方向へ状態を変更する機能をもつ。
【００４９】
次に、ユーザ指定情報管理部１０８は、キーコードを閾値情報に変換する（Ｓ８０２）。図９は、閾値情報を得るために用いる時刻差閾値管理テーブルの一例を示しており、このテーブルは、ユーザ指定情報管理部１０８が、取得したキーコードから時刻差閾値情報を求めるために使用する。図９に示す例では、時刻差０から時刻差１年間に亘って１０段階を設定している。また、各時刻差についてはＩＤ（識別情報）をそれぞれ設定し、ＩＤと時刻差が対となって管理される。例えば、ＩＤの初期値としてゼロが設定されているものとする。すなわち、初期状態でのインデクス表示は、時刻差閾値がゼロであるため、すべての画像を表示する設定となる。
【００５０】
ここで、状態値としてゼロが設定されており、リモコン３からキーコードを取得した場合を考える。＋ボタンが押下された場合、現時点での状態値に１だけインクリメントする。初期の状態値がゼロであるため、状態値が１となる。状態値１によって図９の時刻差変換テーブルが参照され、ＩＤが１である１時間という時刻差が求まる。さらに、＋ボタンが押下された場合、インクリメントによって状態値が２となる。したがって、その際の時刻差が６時間であることを時刻差閾値変換テーブルから算出できる。他方、−ボタンが押下された時は、状態値が１だけデクリメントされるものとする。以上の操作により、＋ボタン及びボタンの押下結果から、新規の時刻差閾値情報を図９に示した時刻差閾値変換テーブルから算出できる。なお、状態値がゼロのときに−ボタンが押下された場合や、状態値が９のときに＋ボタンが押下された場合、各押下処理は無効となる（状態値は変化しない）。
【００５１】
再び図８に戻り、時刻差閾値情報の保存処理が行われる（Ｓ８０３）。具体的には、図１のユーザ指定情報管理部１０８が、Ｓ８０２で取得した時刻差閾値情報を保存する。そしてインデクス表示状態を変更する処理が行われる（Ｓ８０４）。ここで、ユーザ指定情報管理部１０８は、時刻差閾値が変更された旨を制御部１０１に通知する。すると、制御部１０１は、その新しい閾値に従ったインデクス表示画面を表示処理部１１２に作成させるように指示し、これによってインデクス表示画面が更新されることになる。
【００５２】
次に、ユーザが、時刻差閾値情報を変更し、インデクス表示画面が更新されるまでの一連の流れについて説明する。図１０は、インデクス表示状態の変更処理手順を例示したフローチャートであり、初期状態にてインデクス表示が行われているものとする。
【００５３】
まず、ユーザ指定情報管理部１０８がキーコードを取得する（Ｓ１００１）。次に、該キーコードが「＋」又は「−」であるか否かをユーザ指定情報管理部１０８が判定する（Ｓ１００２）。ここで、キーコードが「＋」又は「−」でない場合（Ｓ１００２：Ｎｏ）、再度Ｓ１００１の処理を行う。一方、キーコードが「＋」又は「−」である場合（Ｓ１００２：Ｙｅｓ）、時刻差閾値の取得処理が行われる（Ｓ１００３）。この処理は、図８のＳ８０２と同様である。その後、時刻差閾値の更新があったか否かをユーザ指定情報管理部１０８が判定する（Ｓ１００４）。時刻差閾値の更新がなかった場合（Ｓ１００４：Ｎｏ）、Ｓ１００１に戻る。一方、時刻差閾値の更新があった場合（Ｓ１００４：Ｙｅｓ）、インデクス表示状態が変更される（Ｓ１００５）。この処理は、図８のＳ８０４の処理と同様である。
【００５４】
以上の手順により、ユーザが時刻差閾値を変更するための指示を入力することで、インデクス表示状態の変更処理が実現される。図１１は、本処理によるインデクス表示状態の遷移について模式的に示す。画面１１０１は閾値がゼロに設定された場合、画面１１０４は閾値が１時間に設定された場合、画面１１０７は閾値が６時間に設定された場合の画像表示状態をそれぞれ例示する。すなわち、画面１１０１では、時刻差閾値がゼロの状態であり、すべての画像が表示されている。符号１１０３で示す線分は、画像閲覧装置１で管理している画像群のタイムスケールを表している。また符号１１０２で示す線分は、画面１１０１に表示されている画像群のタイムスケールを表している。符号１１０３、１１０２にそれぞれ示すタイムスケールの比較から分かるように、時刻差閾値がゼロの場合、全画像群の中で一部のタイムスケールの画像のみが表示されることになる。
【００５５】
次に、画面１１０１の表示状態において、ユーザ操作によってリモコン３の＋ボタンが押下された場合の遷移結果が画面１１０４である。この場合、時刻差閾値が１時間に設定されるため、画面には時刻差が１時間を超える画像が表示される。符号１１０５に示す線分は、一画面に表示される画像のタイムスケールを模式的に表しており、管理している全画像のタイムスケール（符号１１０６参照）との比較から分かるように、画面１１０１の状態よりも広範囲の画像群が一画面内に表現されている。
【００５６】
さらに画面１１０４の表示状態にて、リモコン３の＋ボタンが押下された場合、画面１１０７へと状態が遷移する。画面１１０７では、時刻差が６時間以上の画像のみが表示される。符号１１０８の線分で示すように、一画面に表示される画像のタイムスケールは、管理している全画像のタイムスケール（符号１１０９参照）に比べて、より広範囲な時間幅を占めることが分かる。なお、各画面のタイムスケール間の遷移については、リモコン３のボタン操作によって相互に遷移可能であり、ユーザの操作指示に従い、任意のタイムスケールにて一画面内の表示画像を変更できる。
【００５７】
前記一連の処理により、ユーザはタイムスケールを自由に操ることが可能になる。例えば、ユーザは所望の画像が現在の画面上から時間的に離れた場所にあると認識した場合、タイムスケールが大きくなるように変更できる。その結果、インデクス表示において、一度のカーソル移動で変更できる時間幅を大きくすることが可能になり、所望の画像を得るまでの検索時間を短縮化して、検索性を向上させることができる。また、タイムスケールを大きくとった状態でのカーソルの移動後に、タイムスケールを小さくすることで、ユーザは所望のシーン付近での画像検索を詳細に行えるようになる。
なお、上記の実施形態では、リモコン操作によりユーザがタイムスケールを自由に操る構成を説明した。このとき、図１１に模式的に示したタイムスケールに相当する画像をインデクス表示画面と同時に表示することが好ましい。このような表示を行うことで、ユーザは管理されている全画像のタイムスケールのうち、どの範囲をどの程度のタイムスケールで表示しているのかを直感的に把握することが可能となる。また、表示されたタイムスケール画像がユーザインタフェースとして構成されている場合には、直接的な操作が可能である。例えば、タッチパネル操作が可能な表示装置の場合、ユーザは直接タイムスケール画像を指で触って操作することで、自由に表示日時などをタイムスケールにて操作することが可能である。
【００５８】
以上説明したように、第１実施形態によれば、インデクス表示において、ユーザが画像検索処理を短時間で効率的に行うことが可能となる。
また、画像間の時刻差に関連する閾値や判定基準値をユーザが任意に指定できる機能をもつことで、一画面内に表示される画像のタイムスケールを任意に変更することが可能となる。これにより画像間の遷移を高速化したい場合はタイムスケールを大きくし、画像間の遷移の精度を高くしたい場合はタイムスケールを小さくするといった操作が実現され、画像検索を高速かつ精度良く実施することが可能となる。
【００５９】
なお、以上の説明では一台の撮像装置を用いて撮影された画像を対象としたが、これに限らず、インデクス表示の際、複数の撮像装置で撮影された画像が混在している場合に、撮像装置の区別なく画像の時刻差を算出し、インデクス表示画像を作成しても構わない。
例えば、第１のカメラで撮影した画像を、画像Ａ、Ｂ、Ｃとし、第２のカメラで撮影した画像を、画像ａ、ｂ、ｃとする。これらの画像を撮影時刻順に古いものから並べると、画像Ａ、ａ、Ｂ、ｂ、ｃ、Ｃとなる場合を想定する。閾値の設定に従って画像Ａ、ａ、Ｂが近接しており、画像ｂ、ｃ、Ｃが近接していると判定された場合、インデクス表示にて画像Ａが画像Ａ、ａ、Ｂの代表画像として表示され、その右隣には画像ｂが画像ｂ、ｃ、Ｃの代表画像として表示されることになる。
【００６０】
複数の撮像装置にて撮影された画像が混在された状態で、インデクス表示を実施する場合、複数の撮像装置がそれぞれ別の場所で使用された場合であるとは限らない。例えば、第１のカメラで撮影した画像と第２のカメラで撮影した画像に関して、撮影時刻及び撮影場所が近接しているような場合、撮像装置を区別することなく、インデクス表示を行う画像を選択することが好ましい。これにより、冗長な画像がインデクス表示されることに起因する検索性の低下を防止できる。なお、このような実施形態の適用については、図１の画像管理部１０５で管理される画像すべてに適用する必要はなく、画像管理部１０５で管理している画像群の一部についてのみ適用することも可能である。
【００６１】
次に、本発明の第２実施形態を説明する。第２実施形態では、インデクス表示の際、複数の撮像装置で撮影された画像が混在している場合に、撮像装置ごとに画像の時刻差を算出してインデクス表示画像を作成する例を示す。なお、本実施形態を実現するための画像閲覧装置の構成や、画像間の時刻差を利用してインデクス表示に使用する画像を決定する処理手順、及びユーザによる時刻差閾値情報の設定処理は、第１実施形態の場合と同様であるため説明を省略する。本実施形態では、画像解析部１０６が撮像装置ごとに画像の撮影時刻を算出し、時刻差算出部１０７が撮像装置ごとに各画像の時刻差を算出する。
【００６２】
まず、インデクス表示画像の選択及び画像表示の際に用いる画像データを説明する。図１２は、横軸に時刻を示した画像の分布及び各画像の撮影時刻を模式的に示している。横軸の右方向へ進むに従い、撮影時刻が新しくなる。また、図中の矩形が各画像を表している。大文字のアルファベットＡからＬを付与した画像は第１のカメラで撮影された画像であり、小文字のアルファベットａからｊを付与した画像が第２のカメラで撮影された画像である。また、図１２では、画像間の撮影時刻差を矩形間の距離で表現している。すなわち、画像Ａと画像ａは撮影時刻差が小さく、互いに接近していることを示している。
【００６３】
次に、図１２に示した画像データ群をインデクス表示した画面のイメージについて説明する。図１３は、画像間の時刻差を利用したインデクス表示状態の変化を説明するための図である。図１３（ａ）の画面１３０１は、図１２に示した画像をすべて撮影時刻順に表示した際のイメージを示し、図１３（ｂ）の画面１３０２は、各画像が撮影された時刻差を算出して表示する画像を決定した場合のイメージを示している。画面１３０１では、２台の撮像装置で撮影された画像が混在して表示される。一方、画面１３０２では、撮像装置ごとに時刻差を算出し、表示する画像を決定した場合の状態が表示される。なお、ここでは表示する画像を判定する時刻差閾値を１０分に設定している。画面１３０２に示すように、カメラごとに表示する画像の判定処理を行うことで、時間的に接近している画像であっても撮影したカメラが異なる場合には各画像がそれぞれインデクス表示される。例えば、画像Ａが当該画像及び画像Ｂを代表する画像としてインデクス表示上に現れ、その右横に画像ａが表示され、さらにその右横には画像ｂが当該画像及び画像ｃから画像ｆを代表する画像としてインデクス表示される。
【００６４】
画像閲覧装置１で閲覧する画像は、同じ撮像装置で撮影された場合のみとは限らない。すなわち画像間の時刻差を、判定基準となる閾値と比較した結果に基づいて表示する画像を選択した場合、どの撮像装置で撮影されたかが考慮されないため、複数の撮像装置で撮影された画像が混在した状態でインデクス表示されることも考えられる。画像を撮影した装置を区別しない場合、必要な画像がインデクス表示画面に表示されない可能性がある。例えば、第１のカメラで撮影した画像が国内で撮影されたものであり、第２のカメラで撮影した画像が海外で撮影されたものであった場合を想定する。検索上では撮影時刻が接近していたとしても、双方のカメラで撮影された画像を区別してインデクス表示することで検索効率が向上する。本実施形態によれば、このような場合において撮像装置を区別して時刻差を算出することで、検索上有効なすべての画像をインデクス表示できる。
【００６５】
第２実施形態における基本的な処理の流れは図４の場合と同様であるが、画像に係る撮像装置を示す情報を取得し、同じ装置で撮影された画像データ群について図４のＳ６０１乃至６１１の処理を行う点が相違する。例えば、図１２の例で、第１のカメラによる画像Ｂと画像Ｃとの撮影時刻差が閾値以上である場合を想定する。第１のカメラにより撮影された次の対象画像の処理へと直ぐには移行せず、第２のカメラによる撮影画像を処理するため、撮影時刻が画像Ａに近い画像ａを対象画像として処理が進行する。従って、カメラごとに処理を切り替えるか、あるいはカメラごとに処理を行ってから代表画像の撮影時刻に従って並べ替える等の方法で図４に説明したフローチャートを拡張すればよいので、その詳細な説明を省略する。
なお、本実施形態は、必ずしも図１の画像管理部１０５で管理する画像すべてに適用する必要はなく、画像管理部１０５が管理している画像群の一部についてのみ適用することも可能である。
【００６６】
次に本発明の第３実施形態について、図１４を用いて以下に説明する。第３実施形態では、画像閲覧装置にて実施されるインデクス表示に使用する画像の選択について、画像間の時刻差の累積値を用いる方法を採用する。なお、第３実施形態を実現するための構成及びユーザによる時刻差閾値情報の設定方法等については第１実施形態の場合と同様であるため、説明を省略する。
【００６７】
図１４は、インデクス表示画像を作成するまでのフローチャートを例示しており、初期状態として、インデクス表示状態におけるカーソル位置が最左上端にある場合を示す。この意味は、インデクス表示一画面において、最も撮影時刻の古い画像にカーソルが位置していることである。
【００６８】
まず、Ｓ１７０１にて、カーソル位置の検出処理が図１の制御部１０１によって行われる。本例ではカーソル位置を最左上端としているが、状態によっては前述のとおり、インデクス表示中の様々な箇所を取り得る。次のＳ１７０２にて、一画面中に、カーソル位置より後方に何枚の画像が表示されるべきであるかの算出処理が行われる。例えば、インデクス表示状態で、図２に示したように、４行５列の計２０枚を一画面に表示する場合、カーソル位置より後方に位置する画像数は１９枚であり、インデクス表示を行うためには１９枚の表示画像を決定する処理が必要となる。Ｓ１７０３にて、カーソル位置にある画像を一時保存画像として記憶する処理が行われる。これ以降、この一時保存画像を基準に画像間の撮影時刻差が判定される。Ｓ１７０４にて、カーソル位置画像の次に近い撮影時刻を持つ画像が、比較対象画像として設定される。比較対象画像は、一時保存画像と比較して時刻差を取得する対象画像であり、比較対象画像を順次更新していくことで表示する画像を選択し、決定する処理が実行される。
【００６９】
Ｓ１７０５では、Ｓ１７０３で記憶された一時保存画像と、Ｓ１７０４で記憶された比較対象画像との間で撮影時刻差を算出する処理が時刻差算出部１０７によって行われる。また、各画像及び画像情報の管理は画像管理部１０５にて行われ、時刻差算出部１０７は画像管理部１０５より各画像の撮影時刻を取得した後、時刻差を算出する。Ｓ１７０６にて、Ｓ１７０５で算出した撮影時刻差と、ユーザにより指定された閾値との比較を図１の表示判定部１１０が行い、時刻差が閾値以上であるか否かを判定する。なお閾値情報については、図１のユーザ指定情報管理部１０８より取得する。
【００７０】
Ｓ１７０６にて、算出された時刻差が閾値以上であると判定された場合、Ｓ１７０７に進み、比較対象画像が、表示すべき画像として設定される。その際、一時保存画像を現在の比較対象画像へ更新する処理も同時に行われる。その後、Ｓ１７０８にて、表示に必要な画像がすべて選択されたか否かが判定され、すべて選択された場合はＳ１７１１へ進むが、すべて選択されていない場合はＳ１７０９へ進む。
【００７１】
Ｓ１７０９では、比較対象画像の次に撮影時刻の近い画像が存在するか否かを判定する処理が行われる。ここで比較対象画像以降に画像が存在しない場合、画像データ群のすべての画像について、表示画像の選択処理が終了したことになり、Ｓ１７１１へ進む。また比較対象画像以降に画像が存在する場合、Ｓ１７１０に進み、比較対象画像を、次に撮影時刻の近い画像に更新する処理が行われる。
【００７２】
以上の処理を繰り返し、一画面内に表示する画像すべてが決定された後に、Ｓ１７１１にて図１の表示処理部１１２が画像表示レイアウトを作成する。その後、Ｓ１７１２に進み、Ｓ１７１１で作成した表示レイアウトを表現する画像信号が図１のモニタ２へ出力され、ユーザにインデクス表示画像が提供される。
【００７３】
図１４で説明したとおり、第３実施形態を実施することで、画像間の閾値による画像選択処理ではなく、ある画像の撮影時刻を基点とした時刻差により必要な画像の選択処理が実施可能となる。よって、画像間の時刻差が離れた画像のみを代表画像として選択する効果とともに、ある一定以下の閾値を持つ画像群においても、その画像群から代表画像を複数枚選択することが可能となる。
なお、前記各実施形態で示した各工程は、ネットワーク又は各種記憶媒体を介して取得した画像閲覧プログラムをコンピュータ等の処理装置で実行することにより実現できる。
【符号の説明】
【００７４】
１ 画像閲覧装置
２ モニタ
３ リモコン
４ 記録媒体
５ ネットワーク
１０１ 制御部
１０２ 画像取得部
１０３ ネットワークインタフェース部
１０４ 記録媒体インタフェース部
１０５ 画像管理部
１０６ 画像解析部
１０７ 時刻差算出部
１０８ ユーザ指定情報管理部
１０９ ユーザインタフェース部
１１０ 表示判定部
１１１ デコーダ
１１２ 表示処理部
【特許請求の範囲】
【請求項１】
各画像の撮影時刻を取得し、撮影時刻の順に画像を縮小画像でインデクス表示させる機能を有する画像処理装置であって、
各画像の撮影時刻の情報に基づいて、画像間の撮影時刻差を算出する時刻差算出手段と、
前記時刻差算出手段により算出された撮影時刻差と、当該撮影時刻差と比較するための閾値とを比較することで、縮小画像としてインデクス表示する画像を選択する表示判定手段と、
前記表示判定手段により選択された各画像を、当該各画像の撮影時刻に従って縮小画像でインデクス表示させる表示処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記時刻差算出手段は、各画像の撮影時刻に基づいて、時間的に隣り合う画像間の撮影時刻差を算出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記時刻差算出手段は、各画像の撮影時刻に基づいて、画像間の撮影時刻差の累積値を算出し、前記表示判定手段は該累積値を用いて撮影時刻差と前記閾値との比較を行うことを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記時刻差算出手段は、画像を撮像した撮像装置の情報を取得し、撮像装置ごとに当該撮像装置で撮影された各画像の撮影時刻差を算出することを特徴とする、請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示処理手段は、前記表示判定手段による選択処理でインデクス表示された複数の縮小画像とともに、インデクス表示された画像の撮影時刻を示すタイムスケールの表示、及び／又は、インデクス表示されない画像の枚数を示す情報の表示処理を行うことを特徴とする、請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
各画像の撮影時刻を取得し、撮影時刻の順に画像を縮小画像でインデクス表示させる機能を有する画像処理装置の制御方法であって、
各画像の撮影時刻の情報に基づいて、画像間の撮影時刻差を算出する時刻差算出ステップと、
前記時刻差算出ステップで算出した撮影時刻差と、当該撮影時刻差と比較するための閾値とを比較することで、画像を選択する選択ステップと、
前記選択ステップで選択された各画像を、当該各画像の撮影時刻に従って縮小画像でインデクス表示させる表示ステップを有することを特徴とする画像処理装置の制御方法。
【請求項１】
各画像の撮影時刻を取得し、撮影時刻の順に画像を縮小画像でインデクス表示させる機能を有する画像処理装置であって、
各画像の撮影時刻の情報に基づいて、画像間の撮影時刻差を算出する時刻差算出手段と、
前記時刻差算出手段により算出された撮影時刻差と、当該撮影時刻差と比較するための閾値とを比較することで、縮小画像としてインデクス表示する画像を選択する表示判定手段と、
前記表示判定手段により選択された各画像を、当該各画像の撮影時刻に従って縮小画像でインデクス表示させる表示処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記時刻差算出手段は、各画像の撮影時刻に基づいて、時間的に隣り合う画像間の撮影時刻差を算出することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記時刻差算出手段は、各画像の撮影時刻に基づいて、画像間の撮影時刻差の累積値を算出し、前記表示判定手段は該累積値を用いて撮影時刻差と前記閾値との比較を行うことを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記時刻差算出手段は、画像を撮像した撮像装置の情報を取得し、撮像装置ごとに当該撮像装置で撮影された各画像の撮影時刻差を算出することを特徴とする、請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示処理手段は、前記表示判定手段による選択処理でインデクス表示された複数の縮小画像とともに、インデクス表示された画像の撮影時刻を示すタイムスケールの表示、及び／又は、インデクス表示されない画像の枚数を示す情報の表示処理を行うことを特徴とする、請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
各画像の撮影時刻を取得し、撮影時刻の順に画像を縮小画像でインデクス表示させる機能を有する画像処理装置の制御方法であって、
各画像の撮影時刻の情報に基づいて、画像間の撮影時刻差を算出する時刻差算出ステップと、
前記時刻差算出ステップで算出した撮影時刻差と、当該撮影時刻差と比較するための閾値とを比較することで、画像を選択する選択ステップと、
前記選択ステップで選択された各画像を、当該各画像の撮影時刻に従って縮小画像でインデクス表示させる表示ステップを有することを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−２７８９４６（Ｐ２０１０−２７８９４６Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−１３１８２９（Ｐ２００９−１３１８２９）
【出願日】平成２１年６月１日（２００９．６．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年６月１日（２００９．６．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]