画像表示装置、方法、プログラムおよび記録媒体
【課題】閲覧すべき画像をユーザが指定する画像相互の類似度によって選択的に表示可能な画像表示装置、方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の画像表示装置は、表示画面に表示すべき映像フレームと描画画像の構成情報とが関連付けて登録されるデータベースを参照して、映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を表示装置に表示すると共に、表示装置に表示された表示画像をその類似度に応じて事後的に表示装置に表示する。具体的には、画像表示装置は、表示画像相互の類似度が登録されたデータテーブルを参照して、ユーザが指定した類似度に応じて表示画像を分類し、分類された表示画像を表示する。
【解決手段】本発明の画像表示装置は、表示画面に表示すべき映像フレームと描画画像の構成情報とが関連付けて登録されるデータベースを参照して、映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を表示装置に表示すると共に、表示装置に表示された表示画像をその類似度に応じて事後的に表示装置に表示する。具体的には、画像表示装置は、表示画像相互の類似度が登録されたデータテーブルを参照して、ユーザが指定した類似度に応じて表示画像を分類し、分類された表示画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の画像を表示画面に表示させる画像表示装置に関し、より詳細には、ユーザが描画した画像を表示画面に表示させる画像表示装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、その上にユーザが文字や数字、図形等の描画画像を書き込み可能な電子黒板が利用されている。
【０００３】
このような電子黒板として、現在、スマートテクノロジーズ社のＳｍａｒｔＢｏａｒｄ、日立ソフトウェアエンジニアリング社のＳｔａｒＢｏａｒｄ（登録商標）およびパイオニア社のサイバーカンファレンス（登録商標）等が提供されている。ユーザは、これらの電子黒板上で様々な画像を表示させて、文字や図形等を重畳して書き込むことができる。
【０００４】
また、表示された画像をユーザが事後的に閲覧可能な電子黒板も提案されている。例えば、特許文献１は、ユーザが描画した描画画像が縦書きであるか、横書きであるか、またはそれ以外のタイプであるか判断し、そのタイプ毎に代表的な画面を生成して表示する装置を開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示する装置は、描画画像の書字方向によってタイプを判別して代表的な描画画像を表示するだけであり、ユーザが指定した画像相互の類似度によって閲覧すべき画像を選択的に表示することができない。
【０００６】
本発明は上記の課題を解決するものであり、閲覧すべき画像をユーザが指定する画像相互の類似度によって選択的に表示可能な画像表示装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像表示装置は、表示画面に表示すべき映像フレームと描画画像の構成情報とが関連付けて登録されるデータベースを参照して、映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を表示装置に表示すると共に、表示装置に表示された表示画像をその類似度に応じて事後的に表示装置に表示する。具体的には、画像表示装置は、表示画像相互の類似度が登録されたデータテーブルを参照して、ユーザが指定した類似度に応じて表示画像を分類し、分類された表示画像を含むユーザインタフェース画面を表示する。これにより、既に画像表示装置に表示された表示画像を、ユーザが指定した類似度に応じて分類して表示することができる。
【０００８】
本発明によれば、閲覧すべき画像をユーザが指定した画像相互の類似度によって選択的に表示可能な方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像表示システムを示した図。
【図２】本実施形態の画像表示装置の機能構成を示す図。
【図３】本実施形態の画像表示装置が実行する処理を示すフローチャート。
【図４】本実施形態の画像表示装置の使用状態を示す図。
【図５】本実施形態の画像表示装置が使用するスナップショット履歴情報テーブルを示す図。
【図６】本実施形態の画像表示装置が有するアプリケーションの機能構成を示す図。
【図７】本実施形態の画像表示装置が有するアプリケーションが実行する処理を示すフローチャート。
【図８】本実施形態の画像表示装置が有するアプリケーションが実行するスナップショット表示変更処理を示すフローチャート。
【図９】本実施形態のアプリケーションが使用する類似度テーブルを示す図。
【図１０】本実施形態の画像表示装置が有するアプリケーションが実行するスナップショットのクラスタリング処理を示すフローチャート。
【図１１】本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の一実施形態を示す図。
【図１２】本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の他の実施形態を示す図。
【図１３】図１２に示すＵＩ画面を生成するアプリケーションが実行するクラスタリング処理の他の実施形態を示すフローチャート。
【図１４】本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面のさらに他の実施形態を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１１】
図１は、本実施形態の画像表示システム１００を示す。画像表示システム１００は、画像表示装置１１０と、ユーザＰＣ１２０とを含む。
【００１２】
画像表示装置１１０は、ユーザＰＣ１２０から受信した背景画像である映像フレームを表示すると共に、ユーザが描画した文字や記号、図形等を含む描画画像を表示させる装置である。画像表示装置１１０は、表示部１１２と、操作ボタン１１４，１１６と、映像フレーム入力部１１８とを含んで構成される。
【００１３】
表示部１１２は、背景画像および描画画像を表示する機能手段である。また、表示部１１２は、その表面にタッチパネルが設置されており、タッチパネルを構成する接触位置センサによりユーザの接触位置を検出することができる。
【００１４】
操作ボタン１１４，１１６は、画像表示装置１１０の動作モードの切り替えを指示する機能手段である。なお、画像表示装置１１０の動作モードの切り替えについては、より詳細に後述する。
【００１５】
映像フレーム入力部１１８は、ユーザＰＣ１２０から表示部１１２に表示される背景画像である映像フレームを受信する機能手段である。本実施形態では、映像フレーム入力部としてＶＧＡ（Video Graphics Array）端子により構成されるＶＧＡ入力コネクタを採用することができ、ユーザＰＣ１２０からＶＧＡケーブル等のケーブル１２２を介してＶＧＡ信号を受信し、画像表示装置１１０に含まれるコントローラ（図示せず）にＶＧＡ信号を供給する。他の実施形態では、映像フレーム入力部１１８は、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１２０から画像データを受信してもよい。
【００１６】
画像表示装置１１０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサなどのプロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。また、画像表示装置１１０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像表示装置上に実現する。
【００１７】
本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００１８】
ユーザＰＣ１２０は、画像表示装置１１０に背景画像である映像フレームを提供する映像フレーム提供装置である。図１に示す実施形態では、ユーザＰＣとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型のパーソナルコンピュータやＰＤＡ等の画像データを供給可能な情報処置装置を採用することができる。ユーザＰＣ１２０は、背景画像を出力するインタフェースを備えており、その表示画面に表示されている表示画像を画像表示装置１１０に供給する。本実施形態では、ユーザＰＣ１２０は、インタフェースとしてＶＧＡ出力コネクタを備えており、表示画像をＶＧＡ信号として画像表示装置１１０に供給することができる。他の実施形態では、ユーザＰＣ１２０は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
【００１９】
図２は、本実施形態の画像表示装置２００の機能構成を示す図である。以下、図２を参照して、画像表示装置２００の機能構成について説明する。
【００２０】
画像表示装置２００は、コントローラ２０２と、表示部２５０と、タッチパネル２６０とを含んで構成される。コントローラ２０２は、ユーザＰＣ２７０から受信した背景画像と、タッチパネル２６０を介して入力された描画画像とを処理する機能手段である。コントローラ２０２は、映像フレーム分配部２１０と、表示出力制御部２１２と、表示制御部２１４とを含んで構成される。
【００２１】
映像フレーム分配部２１０は、ユーザＰＣ２７０から受信した表示部２５０に表示すべき映像フレームを取得し、表示出力制御部２１２または映像フレーム取得部２１６に分配する機能手段である。本実施形態では、映像フレーム分配部２１０は、操作ボタンにより指定可能な動作モードに応じて、ＶＧＡ信号等のアナログ信号で構成された映像フレームを分配する。具体的には、画像表示装置２００の動作モードが、第１の状態である映像フレーム表示モードの場合には、映像フレーム分配部２１０は、映像フレームを表示出力制御部２１２に提供する。一方、第２の状態である描画画像表示モードが指定されている場合には、映像フレーム分配部２１０は、映像フレームを映像フレーム取得部２１６に提供する。
【００２２】
表示出力制御部２１２は、モード切替制御部２３８の要求に応じて、表示制御部２１４に対して映像フレームを選択的に出力する機能手段である。本実施形態では、表示出力制御部２１２は、２入力１出力のトグル動作スイッチ回路によって構成することができる。表示出力制御部２１２は、第１の状態である映像フレーム表示モードの場合には、映像フレーム分配部２１０から受信した映像フレームを表示制御部２１４に提供し、第２の状態である描画画像表示モードが指定されている場合には、表示画像生成部２３６から受信した映像フレームを表示制御部２１４に提供する。
【００２３】
表示制御部２１４は、表示出力制御部２１２から受信した映像フレームやアプリケーション２４０が生成するユーザインタフェース（以下、「ＵＩ」とする。）を表示部２５０に表示させる機能手段である。表示制御部２１４は、表示出力制御部２１２から受信した映像フレームやＵＩを構成するアナログ信号を表示部２５０に送付して映像フレームを表示させる。
【００２４】
また、コントローラ２０２は、映像フレーム取得部２１６と、スナップショット情報格納部２１８と、動的表示制御部２２０とを含んで構成される。
【００２５】
映像フレーム取得部２１６は、第２の状態である描画画像表示モードが指定されている場合に、映像フレーム分配部２１０から取得した映像フレームをスナップショット情報格納部２１８に順次格納する機能手段である。映像フレーム取得部２１６は、ＶＧＡ信号等のアナログ信号で構成された映像フレームをデジタルの映像フレームにＡ／Ｄ変換して、スナップショット情報格納部２１８に格納する。また、映像フレーム取得部２１６は、他の機能手段の要求に応じて、スナップショット情報格納部２１８から映像フレームを取得して提供する。
【００２６】
スナップショット情報格納部２１８は、映像フレームおよび描画画像のスナップショット情報である最新の映像フレームおよび最新の描画画像を構成する情報（以下、描画画像構成情報として参照する。）が格納される記憶手段である。スナップショット情報格納部２１８には、ユーザＰＣ２７０から受信した表示部２５０に表示すべき最新の映像フレームが順次保存される。また、スナップショット情報格納部２１８には、後述する描画処理部により、タッチパネルを使用してユーザが描画した最新の描画画像構成情報が格納される。
【００２７】
動的表示制御部２２０は、第２の状態である描画画像表示モードが指定されている場合に、表示部２５０に表示されている映像フレームと、ユーザがタッチパネル２６０を使用して表示部２５０に描画した描画画像とを関連付ける機能手段である。動的表示制御部２２０は、映像フレーム管理部２２２と、映像フレーム判別部２２６と、映像フレームバッファメモリ２２４と、スナップショット履歴情報処理部２２８と、スナップショット履歴情報データベース２３０とを含んで構成される。
【００２８】
映像フレーム管理部２２２は、ユーザＰＣ２７０から受信した映像フレームを取得すると共に、動的表示制御部２２０に含まれる他の機能手段の要求に応じて、取得した映像フレームを提供し、または映像フレームバッファメモリ２２４に格納する機能手段である。映像フレーム管理部２２２は、定期的に映像フレーム取得部２１６にｌｏａｄ要求を発行して、スナップショット情報格納部２１８に格納された最新の映像フレームを取得し、ＲＡＭやレジスタ等の記憶装置（図示せず）に一時的に保存する。また、映像フレーム管理部２２２は、スナップショット情報格納部２１８から取得した映像フレームを固有に識別する情報である映像フレーム識別情報を生成する。本実施形態では、１／３０秒毎に映像フレームを取得するが、他の実施形態では、任意の間隔で映像フレームを取得してもよい。
【００２９】
映像フレームバッファメモリ２２４は、映像フレーム管理部２２２がスナップショット情報格納部２１８から取得した映像フレームが格納される記憶手段である。映像フレームバッファメモリ２２４には、スナップショット情報格納部２１８から定期的に取得した映像フレームが順次格納される。
【００３０】
映像フレーム判別部２２６は、映像フレーム取得部２１６から取得した連続する２の映像フレームの同一性を判断する機能手段である。すなわち、映像フレーム判別部２２６は、ユーザＰＣ２７０から新しい映像フレームを受信したか否か判断する。
【００３１】
本実施形態では、映像フレーム判別部２２６は、これらの映像フレームに含まれる１以上の特定の領域を参照領域とし、双方の映像フレームに含まれる参照領域を比較する。比較の結果、参照領域が同一であれば、これらの映像フレームが同一であると判断し、参照領域が相違すれば、これらの映像フレームが相違すると判断する。参照領域を比較する場合、映像フレーム判別部２２６は、双方の映像フレームの参照領域の画素値の合計値を算出し、対応する参照領域の画素値の合計値を比較して、参照領域が同一であるか否か判別することができる。参照領域の画素値の合計値の算出には、参照領域の積分画像を使用することができる。
【００３２】
本実施形態では、下記数式１を使用して、映像フレームの同一性を判別することができる。ここで、Ｒｋは、第１の映像フレームの参照領域ｋの画素値の合計値を示し、Ｓｋは、第２の映像フレームの参照領域ｋの画素値の合計値を示す。また、Ｎは参照領域の数を示す。
【００３３】
【数１】
【００３４】
上記数式１の条件を満たす場合には、第１の映像フレームと第２の映像フレームは同一であると判断することができる。
【００３５】
また、他の実施形態では、映像フレーム判別部２２６は、双方の映像フレーム全体の画素値の合計値を算出して、これらの映像フレームが同一であるか否か判断することができる。
【００３６】
映像フレーム判別部２２６は、上述した判別処理の結果、連続する２の映像フレームが相違すると判断した場合、スナップショット履歴情報処理部２２８に対して、ユーザＰＣ２７０から新たな映像フレームを受信した旨の通知をする。
【００３７】
スナップショット履歴情報処理部２２８は、ユーザＰＣ２７０から受信した映像フレームと描画画像とを関連付けて、スナップショット履歴情報データベース２３０のスナップショット履歴情報テーブルに登録する機能手段である。スナップショット履歴情報処理部２２８は、映像フレーム判別部２２６がユーザＰＣ２７０から新たな映像フレームを受信したと判断した場合、スナップショット情報格納部２１８から最新の描画画像構成情報を取得し、当該描画画像構成情報と映像フレーム管理部２２２が取得した映像フレームとを関連付け、スナップショット履歴情報テーブルに保存する。
【００３８】
スナップショット履歴情報データベース２３０は、スナップショット情報の履歴情報であるスナップショット履歴情報を登録するスナップショット履歴情報テーブルが格納される記憶手段である。スナップショット履歴情報データベース２３０は、スナップショット履歴情報処理部２２８の要求に応じて、そのスナップショット履歴情報テーブルのデータ内容が変更される。なお、スナップショット履歴情報テーブルについては、図５を参照して登録される情報と共に後述する。
【００３９】
さらに、コントローラ２０２は、タッチパネル制御部２３２と、描画処理部２３４と、表示画像生成部２３６と、モード切替制御部２３８と、アプリケーション２４０と、スナップショット格納部２４２とを含む。
【００４０】
タッチパネル制御部２３２は、タッチパネル２６０を制御し、描画画像構成情報を取得する機能手段である。タッチパネル制御部２３２は、第２の状態である描画画像表示モードが指定されている場合に、タッチパネル２６０を駆動し、その接触位置座標を取得して描画処理部２３４またはアプリケーション２４０に提供する。
【００４１】
本実施形態では、タッチパネル制御部２３２として、タッチパネルを制御可能なデバイスドライバを採用することができる。タッチパネル制御部２３２は、描画画像を構成する線分の太さや色等の描画画像属性情報を指定可能なユーザインタフェースを表示部２５０に表示可能である。タッチパネル制御部２３２は、アプリケーション２４０が起動していない場合、接触位置座標および描画画像属性情報を描画画像構成情報として描画処理部２３４に提供する。
【００４２】
一方、アプリケーション２４０が起動している場合、タッチパネル制御部２３２は、接触位置座標をアプリケーション２４０に送信する。本実施形態では、アプリケーション２４０の起動時または終了時に、アプリケーション２４０の起動通知または終了通知をタッチパネル制御部２３２に送信する。表示画像生成部２３６は、これらの通知を受信することによってアプリケーション２４０が起動しているか否か判断することができる。
【００４３】
描画処理部２３４は、第２の状態である描画画像表示モードが指定されている場合に、描画画像構成情報をスナップショット情報格納部２１８に保存する機能手段である。描画処理部２３４は、タッチパネル制御部２３２から描画画像構成情報を受信すると、順次、スナップショット情報格納部２１８に保存する。これにより、スナップショット情報格納部２１８には、最新の描画画像構成情報が格納される。
【００４４】
表示画像生成部２３６は、第２の状態である描画画像表示モードが指定されている場合に、表示部２５０に表示すべき画像（以下、「表示画像」とする。）を生成する機能手段である。表示画像生成部２３６は、アプリケーション２４０が起動していない場合、定期的にスナップショット情報格納部２１８から最新の映像フレームおよび描画画像構成情報を取得し、描画画像構成情報から描画画像を生成し、当該映像フレームと合成して表示画像を生成する。
【００４５】
より詳細には、表示画像生成部２３６は、最新の映像フレームに対し、描画画像構成情報に含まれる各接触位置座標が示す座標位置の画素値を、描画画像属性情報が示す色に応じた画素値に変更することにより描画画像を生成することができる。また、線分の太さが指定されている場合には、接触位置座標が示す座標位置を中心とした所定の範囲を、描画画像属性情報が示す色に応じた画素値に変更して描画画像を生成することができる。当該所定の範囲は、線分の太さに応じて予め設定することができる。
【００４６】
本実施形態では、アプリケーション２４０の起動時または終了時に、アプリケーション２４０の起動通知または終了通知を表示画像生成部２３６にも送信する。表示画像生成部２３６は、これらの通知を受信することによってアプリケーション２４０が起動しているか否か判断することができる。
【００４７】
表示画像生成部２３６は、表示画像を生成すると、当該表示画像をスナップショットとしてスナップショット格納部２４２に保存すると共に、当該表示画像をアナログ信号に変換して表示出力制御部２１２に提供し、当該表示画像が表示部２５０に表示される。このとき、表示画像生成部２３６は、当該スナップショットを固有に識別可能な情報であるスナップショット識別情報を、メタデータとしてスナップショットに付加して保存する。本実施形態では、スナップショットの生成時間とスナップショットのデータ保存形式との結合をスナップショット識別情報として使用する。
【００４８】
本実施形態では、表示画像生成部２３６は、映像フレーム管理部２２２が映像フレームを取得する間隔と同等またはそれよりも短い間隔で表示画像を生成し、表示部２５０に表示させることが好適である。
【００４９】
また、表示画像生成部２３６は、アプリケーション２４０が起動している場合、アプリケーション２４０から受信したＵＩ画面を形成するデジタル信号をアナログ信号に変換して表示画像を生成し、表示出力制御部２１２に提供する。
【００５０】
モード切替制御部２３８は、画像表示装置２００の動作モードの切替制御を行う機能手段である。モード切替制御部２３８は、ユーザが押下した操作ボタンの種別に応じて、または映像フレーム判別部２２６の命令に応じて動作モードを切り替える。本実施形態では、操作ボタン「Ａ」が押下された場合には、モード切替制御部２３８は、画像表示装置２００の動作モードを第１の状態である映像フレーム表示モードに切り替え、操作ボタン「Ｂ」が押下された場合には、画像表示装置２００の動作モードを第２の状態である描画画像表示モードに切り替える。
【００５１】
具体的には、第１の状態が指定された場合には、モード切替制御部２３８は、表示出力制御部２１２に対して、映像フレームを受信する入力端子に切り替える旨の命令を送付して表示出力制御部２１２の入力端子を切り替えさせる。また、モード切替制御部２３８は、描画処理部２３４に対して、描画処理部２３４を停止（Ｄｉｓａｂｌｅ）する旨の命令を送付して、描画処理部２３４をＤｉｓａｂｌｅ状態にする。
【００５２】
一方、第２の状態が指定された場合には、モード切替制御部２３８は、表示出力制御部２１２に対して、描画画像を含む表示画像を受信する入力端子に切り替える旨の命令を送付して表示出力制御部２１２の入力端子を切り替えさせる。また、モード切替制御部２３８は、描画処理部２３４に対して、描画処理部２３４を起動（Ｅｎａｂｌｅ）する旨の命令を送付して、描画処理部２３４をＥｎａｂｌｅ状態またはＤｉｓａｂｌｅ状態にする。
【００５３】
アプリケーション２４０は、スナップショットをユーザが指定した類似度によって分類して表示部２５０に表示するアプリケーションプログラムである。アプリケーション２４０が有する機能手段については、図６を参照して詳細に説明する。
【００５４】
図３は、本実施形態の画像表示装置が、第２の状態である描画画像表示モードが指定されたときに実行する処理を示すフローチャートである。以下、図３を参照して、描画画像表示モードが指定されたときに画像表示装置２００が実行する処理について説明する。
【００５５】
図３の処理は、ステップＳ３００で開始し、ステップＳ３０１では、映像フレーム管理部２２２が、ユーザＰＣ２７０から映像フレームを受信したか否か判断する。本実施形態では、映像フレームの受信の有無は、映像フレーム取得部２１６が映像フレームを取得したときに、映像フレームの取得の有無を示す専用レジスタの値を、映像フレームを取得したことを示す値に変更し、映像フレーム取得部２１６が当該専用レジスタの値を参照することにより判断できる。また、映像フレーム取得部２１６は、一定時間映像フレームを取得しない場合には、当該専用レジスタの値を、映像フレームを取得していないことを示す値に変更する。
【００５６】
ステップＳ３０１で映像フレームが入力されていないと判断した場合には（ｎｏ）、ステップＳ３０１の処理を反復させる。一方、映像フレームが入力されていると判断した場合には（ｙｅｓ）、処理をステップＳ３０２に分岐させる。ステップＳ３０２では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルと、映像フレームの存否を示す割り込みフラグとを初期化する。本実施形態では、割り込みフラグを、映像フレームが存在することを示す値に設定することで初期化する。本実施形態では、初期値として「ｔｒｕｅ」を使用する。
【００５７】
ステップＳ３０２の処理が実行されると、次いで、ステップＳ３０３の処理およびステップＳ３１７の処理が実行される。
【００５８】
ステップＳ３１７では、映像フレーム管理部２２２が、ユーザＰＣ２７０から別の映像フレームを受信したか否か判断し、別の映像フレームを受信した場合には（ｙｅｓ）、ステップＳ３１７の処理を反復させる。一方、別の映像フレームを受信していない場合には（ｎｏ）、処理をステップＳ３１８に分岐させ、割り込みフラグを、映像フレームを受信していないことを示す値に設定し、ステップＳ３１９で処理が終了する。本実施形態では、映像フレームを受信していないことを示す値として「Ｆａｌｓｅ」を使用する。
【００５９】
ステップＳ３０３では、映像フレーム管理部２２２は、映像フレームバッファメモリ２２４と、当該映像フレームバッファメモリ２２４に格納される映像フレームの映像フレーム識別情報が代入される映像フレーム格納変数とを初期化する。ステップＳ３０４では、映像フレーム管理部２２２は、割り込みフラグが初期値「ｔｒｕｅ」であるか否か、すなわち、映像フレームを受信しているか否か判断する。割り込みフラグが初期値「ｔｒｕｅ」でない場合には（ｎｏ）、処理をステップＳ３０８に分岐させる。ステップＳ３０８では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルの内容を、ログやジャーナル等として不揮発性の記憶装置に保存し、ステップＳ３１９で処理が終了する。
【００６０】
一方、割り込みフラグが初期値「ｔｒｕｅ」である場合には（ｙｅｓ）、処理をステップＳ３０５に分岐させ、ステップＳ３０５では、映像フレーム管理部２２２は、所定時間が経過したか否か判断する。所定時間が経過していない場合には（ｎｏ）、ステップＳ３０５の処理を反復させる。一方、所定時間が経過した場合には（ｙｅｓ）、処理をステップＳ３０６に分岐させる。
【００６１】
本実施形態では、ハードウェアタイマまたはソフトウェアタイマーを用いて時間を計測することができる。例えば、ステップＳ３０４で割り込みフラグが初期値「ｔｒｕｅ」であると判断したときにタイマーに時間計測を開始させ、ステップＳ３０５においてタイマーの計測時間を取得することにより、所定時間（例えば、１／３０秒等）が経過したか否か判断することができる。
【００６２】
ステップＳ３０６では、映像フレーム管理部２２２は、映像フレーム取得部２１６を介してスナップショット情報格納部２１８から最新の映像フレームを取得し、その映像フレーム識別情報を映像フレーム格納変数に代入する。ステップＳ３０７では、映像フレーム判別部２２６が、映像フレームバッファメモリ２２４に既に格納されている映像フレームのうち最後に格納された映像フレーム（以下、直前の映像フレームとして参照する。）と、ステップＳ３０６で映像フレーム格納変数に格納された映像フレーム識別情報が示す映像フレームとが同一であるか否か判断する。ステップＳ３０７の判定で映像フレームが同一であると判断した場合には（ｙｅｓ）、処理をステップＳ３０４に分岐させ、一方、映像フレームが相違すると判断した場合には（ｎｏ）、処理をステップＳ３０９に分岐させる。
【００６３】
ステップＳ３０９では、映像フレーム判別部２２６は、映像フレーム管理部２２２を介して、映像フレーム格納変数が示す映像フレーム識別情報と当該映像フレーム識別情報が示す映像フレームとを映像フレームバッファメモリ２２４に追加する。ステップＳ３１０では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルを参照し、映像フレーム格納変数に代入された映像フレーム識別情報が示す最新の映像フレームと同一の映像フレームが存在するか否か判断する。
【００６４】
本実施形態では、スナップショット履歴情報処理部２２８は、映像フレーム判別部２２６が実行する映像フレームの同一性の判別方法を採用することができ、スナップショット履歴情報テーブルに登録された映像フレーム識別情報が示す映像フレームを映像フレームバッファメモリ２２４から順次取得し、当該方法を用いて最新の映像フレームと比較をする。また、他の実施形態では、スナップショット履歴情報処理部２２８が、映像フレーム判別部２２６に対して映像フレームの同一性を判別させることもでき、映像フレーム判別部２２６は、スナップショット履歴情報テーブルに登録された映像フレーム識別情報が示す映像フレームを映像フレームバッファメモリ２２４から順次取得して、最新の映像フレームと比較をする。
【００６５】
ステップＳ３１０の判定で映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在しないと判断した場合には（ｎｏ）、処理をステップＳ３１１に分岐させる。ステップＳ３１１では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８に描画画像構成情報が保存されているか否か判断する。描画画像構成情報が保存されていない場合には（ｎｏ）、処理をステップＳ３１４に分岐させる。一方、描画画像構成情報が保存されている場合には（ｙｅｓ）、処理をステップＳ３１２に分岐させる。
【００６６】
ステップＳ３１２では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８から最新の描画画像構成情報を取得し、映像フレーム格納変数が示す映像フレーム識別情報と関連付けてスナップショット履歴情報テーブルに登録する。ステップＳ３１３では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８に保存されている描画画像構成情報を削除する。
【００６７】
ステップＳ３１４では、スナップショット履歴情報処理部２２８は、モード切替制御部２３８に対して画像表示装置の動作モードを第１の状態に切り替える旨の命令を送信し、モード切替制御部２３８が動作モードを切り替える。ステップＳ３１４の処理が終了すると、ステップＳ３０４の処理が実行される。
【００６８】
一方、ステップＳ３１０の判定で映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ３１５に分岐させる。ステップＳ３１５では、スナップショット履歴情報処理部２２８は、スナップショット履歴情報テーブルを参照して、ステップＳ３１０で同一と判断した映像フレームに関連付けられた描画画像構成情報を取得し、スナップショット情報格納部２１８に保存する。これにより、過去に画像表示装置に表示された背景画像が再び表示された場合、その背景画像に関連付けられた描画画像を当該背景画像と共に再度表示することができる。
【００６９】
ステップＳ３１６では、スナップショット履歴情報処理部２２８は、モード切替制御部２３８に対して画像表示装置の動作モードを第２の状態に切り替える旨の命令を送信し、モード切替制御部２３８が動作モードを切り替える。ステップＳ３１６の処理が終了すると、ステップＳ３０４の処理が実行される。
【００７０】
図４は、本実施形態の画像表示装置の使用状態を示す図である。画像表示装置４００の表示部には、ＰＣ４２０に表示された映像フレーム４２２と同一の映像フレーム４１０と、ユーザが描いた描画画像４１２とが重畳して表示されている。本実施形態では、描画画像４１２の接触位置座標は、画像表示装置４２０の表示部の左上点を原点とする座標値として与えられる。
【００７１】
図５は、本実施形態の画像表示装置が使用するスナップショット履歴情報テーブル５００を示す。スナップショット履歴情報テーブル５００は、登録時間５１０と、映像フレーム識別情報５１２と、描画画像構成情報５１４とが関連付けて登録される。
【００７２】
登録時間５１０は、スナップショット情報がスナップショット履歴情報データベース２３０に登録された時間である。図５に示す実施形態では、スナップショット情報が西暦の日付で秒単位まで表されている。他の実施形態では、和暦を用いて登録時間を表してもよく、またミリ秒単位で表してもよい。
【００７３】
映像フレーム識別情報５１２は、画像表示装置が受信した映像フレームを固有に識別可能な情報である。図５に示す実施形態では、映像フレーム識別情報として、数字列および映像フレームの保存形式を示す文字列の結合を使用しているが、他の実施形態では、他の数字列、文字列および／またはこれらの結合を使用してもよい。
【００７４】
描画画像構成情報５１４は、ユーザがタッチパネルを使用して描いた描画画像を構成する情報である。描画画像構成情報は、ユーザがタッチパネルに接触した位置を示す情報を含んでおり、画像表示装置の表示部上の座標値を使用して表すことができる。図５に示す実施形態では、描画画像構成情報として描画画像を表示すべき座標値のみが示されているが、他の実施形態では、座標値に加えて、描画画像の表示色や線分の太さ等の描画画像の属性情報を映像フレーム識別情報と関連付けて登録してもよい。
【００７５】
図６は、本実施形態の画像表示装置２００が有するアプリケーション２４０の機能構成を示す図である。以下、図６を参照して、アプリケーション２４０の機能構成について説明する。
【００７６】
アプリケーション２４０は、表示制御部６１０と、類似度算出部６１２と、記憶装置６１４と、パラメータ取得部６１６と、クラスタリング部６１８とを含んで構成される。
【００７７】
表示制御部６１０は、ユーザが既に表示された表示画像であるスナップショットを選択的に表示するＵＩ画面を生成して表示部２５０に表示させる。表示制御部６１０は、ＵＩ画面を生成する場合、実際にＵＩ画面に表示されるスナップショット群やスナップショットに関する情報（以下、「表示情報」とする。）を、ＲＡＭやキャッシュ等の記憶装置の記憶領域（以下、「表示情報保存領域」とする。）に保存する。
【００７８】
本実施形態の表示情報保存領域には、（１）ＵＩ画面のオブジェクトとして表示されるスナップショット群の識別情報やスナップショットの識別情報、（２）ユーザが選択したスナップショット群の識別情報またはスナップショットの識別情報、（３）ＵＩ画面上に表示されるスナップショット群またはスナップショットの配置情報（例えば、左側、中央、右側等の配置情報）、（４）スナップショット群の最前面に表示されるスナップショットの識別情報が保存される。
【００７９】
表示制御部６１０は、ユーザがＵＩ画面上でタッチパネルに接触することによって生成された接触位置座標をタッチパネル制御部２３２から取得し、当該接触位置座標を用いて、ユーザがＵＩ画面で行った操作内容を判断することができる。表示制御部６１０は、ユーザの操作内容に応じて、後述する各種処理を実行する。
【００８０】
本実施形態では、ＵＩ画面は種々のオブジェクトで構成されており、表示制御部６１０は、各オブジェクトが有する座標領域と接触位置座標とを比較し、当該接触位置座標がオブジェクトの座標領域に含まれるか否か判断することにより、いずれのオブジェクトが選択されたか判断し、選択されたオブジェクトの種類により、ユーザが行った操作内容を判断することができる。なお、表示制御部６１０が生成するＵＩ画面やそのオブジェクト、これに関連付けられた操作内容については、より詳細に後述する。
【００８１】
類似度算出部６１２は、スナップショット相互の類似度を示す値（以下、「類似度値」とする。）を算出する機能手段である。類似度算出部６１２は、スナップショット格納部２４２からスナップショットを取得し、スナップショットの類似度値を算出する。本実施形態では、類似度算出部６１２は、ユーザが選択した分類条件に応じて、以下の数式２〜数式４を使用して類似度値を算出する。本実施形態では、算出された類似度値が低い程、スナップショット相互の類似度は高く、各スナップショットは類似する。
【００８２】
類似度算出部６１２は、分類条件としてスナップショットの生成時間の近似性によって分類する条件である「時間」が選択されている場合、数式２を使用して類似度値を算出する。
【００８３】
【数２】
ここで、ｔａは、第１のスナップショットＡの生成時間を示し、ｔａは、第２のスナップショットＢの生成時間を示す。本実施形態では、第１のスナップショットＡと第２のスナップショットＢとの生成時間の差分時間ｔを類似度値として使用する。
【００８４】
類似度算出部６１２は、分類条件としてスナップショットの類似性によって分類する条件である「背景」が選択されている場合、数式３を使用して類似度値を算出する。
【００８５】
【数３】
ここで、ｄは、比較すべきスナップショット間のカラーヒストグラムのユークリッド距離を示す。Ｒ，Ｇ，Ｂは、各色区間の色分布の範囲を示し、Ａ（ｒ，ｇ，ｂ）およびＢ（ｒ，ｇ，ｂ）は、第１のスナップショットＡおよび第２のスナップショットＢの色分布の範囲における画素数を示す。本実施形態では、第１のスナップショットＡと、第２のスナップショットＢとのカラーヒストグラムのユークリッド距離ｄを類似度値として使用する。
【００８６】
類似度算出部６１２は、分類条件として「時間」および「背景」が選択されている場合、数式４を使用して類似度値を算出する。
【００８７】
【数４】
ここで、ｔは、数式２で導出される差分時間を示し、ｄは、数式３で導出されるユークリッド距離を示す。μｔはｔの平均を示し、δｔはｔの標準偏差を示す。μｄはｄの平均を示し、δｄはｄの標準偏差を示す。本実施形態では、スナップショットの差分時間と、ユークリッド距離とを正規化した値の和を類似度値として使用する。
【００８８】
本実施形態では、スナップショット格納部２４２に格納されたスナップショットには、新たに保存された未だ類似度値が算出されていないスナップショットであることを示す情報がメタデータとして付加されており、類似度算出部６１２は、新たに保存されたスナップショットと、スナップショット格納部２４２に格納された他のスナップショットとの類似度値を算出する。類似度算出部６１２は、算出したスナップショットの類似度値を記憶装置６１４に格納された類似度テーブルに保存する。
【００８９】
パラメータ取得部６１６は、ＵＩ画面を用いてユーザが指定したパラメータを取得する機能手段である。表示制御部６１０は後述するクラスタリング処理で使用されるパラメータを指定するＵＩ画面上のオブジェクトが選択されると、当該パラメータをパラメータ取得部６１６に提供し、パラメータ取得部６１６は、当該パラメータを保存すべきＲＡＭやキャッシュ等の記憶装置の記憶領域（以下、「パラメータ保存領域」とする。）一時的に保存する。本実施形態では、パラメータとして、後述するクラスタリング処理の対象となるスナップショットの識別情報、分類条件および類似度値がパラメータ保存領域に保存される。
【００９０】
クラスタリング部６１８は、スナップショット格納部２４２に保存されているスナップショットをクラスタリングする機能手段である。クラスタリングとは、ユーザが指定した分類条件および類似度値に応じて、スナップショットを分類する処理である。クラスタリング部６１８は、ＵＩ画面に表示されている或るスナップショットを基準とし、記憶装置６１４に格納された類似度テーブルを参照し、ユーザが指定した分類条件および類似度値を用いてスナップショットをクラスタリングする。
【００９１】
クラスタリング部６１８は、クラスタリングの結果をＲＡＭやキャッシュ等の記憶装置の記憶領域（以下、「クラスタリング結果保存領域」とする。）に保存する。本実施形態では、クラスタリング結果保存領域には、クラスタリング処理結果として生成されたスナップショット群の識別情報と、当該スナップショット群を構成するスナップショットのスナップショット識別情報とが関連付けて保存される。そして、表示制御部６１０は、クラスタリング結果保存領域を参照し、分類されたスナップショット群毎に、当該スナップショット群を構成するスナップショットのサブネイルを、その生成時間の降順で重畳したＵＩ画面を生成することができる。
【００９２】
図７は、本実施形態の画像表示装置２００が有するアプリケーション２４０が実行する処理を示すフローチャートである。以下、図７を参照して、アプリケーション２４０が実行する処理について説明する。
【００９３】
図７の処理は、アプリケーション２４０が起動することによりステップＳ７００で開始する。ステップＳ７０１では、アプリケーション２４０の類似度算出部６１２が、スナップショット格納部２４２に格納されたスナップショットの類似度値を算出し、記憶装置６１４に格納されている類似度テーブルに登録する。ステップＳ７０２では、表示制御部６１０がクラスタリング部６１８を呼び出し、クラスタリング部６１８は、所定の分類条件に対応する類似度テーブルを参照し、特定のスナップショットを基準スナップショットとして所定の類似度値でスナップショットに対して、図１０に示すクラスタリング処理を実行する。
【００９４】
ステップＳ７０３では、表示制御部６１０が、クラスタリングしたスナップショット群を表示するＵＩ画面を生成し、ＵＩ画面に表示するスナップショット群の識別情報およびこれを構成するスナップショットの識別情報を表示情報保存領域に保存する。そして、表示制御部６１０は、当該ＵＩ画面を表示画面生成部２３６に提供して画像表示装置２００の表示部２５０に初期画面を表示させる。
【００９５】
本実施形態では、初期画面を生成時に、所定の分類条件および類似度値を使用してスナップショットをクラスタリングすることができる。このとき、クラスタリング処理において類似度の判断の基準となるスナップショット（以下、「基準スナップショット」とする。）として任意のスナップショットを採用することができる。本実施形態では、スナップショット識別情報を参照し、生成時間が最新のスナップショットを基準スナップショットとする。
【００９６】
ステップＳ７０４では、表示制御部６１０は、タッチパネル制御部２３２から接触位置座標を受信したか否か判断する。接触位置座標を受信していないと判断した場合には（ｎｏ）、ステップＳ７０４の処理を反復させる。一方、接触位置座標を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ７０５に分岐させる。ステップＳ７０５では、表示制御部６１０は、接触位置座標を使用して、ＵＩ画面を構成するオブジェクトが選択されたか否か判断する。オブジェクトが選択されていないと判断した場合には（ｎｏ）、処理をステップＳ７０４に分岐させる。一方、オブジェクトが選択されたと判断した場合には（ｙｅｓ）、処理をステップＳ７０６に分岐させる。
【００９７】
ステップＳ７０６では、表示制御部６１０は、選択されたオブジェクトの種類からユーザがＵＩ画面を用いて行った操作内容を判断する。操作内容がスナップショットのスクロール指示であると判断した場合、処理をステップＳ７０７に分岐させる。ステップＳ７０７では、表示制御部６１０は、スクロール指示に応じたＵＩ画面を生成し、ＵＩ画面に表示するスナップショット群の識別情報および／またはスナップショットの識別情報をこれらの配置情報と共に、表示情報記憶領域に保存する。そして、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、処理をステップＳ７０４に戻す。
【００９８】
ステップＳ７０６の判定で、操作内容がスナップショットの拡大表示の指示であると判断した場合、処理をステップＳ７０８に分岐させる。本実施形態では、同一のスナップショットが短時間に連続して選択されたときに、当該スナップショットの拡大表示が指示されていると判断する。具体的には、ステップＳ７０４で同一のスナップショットの接触位置座標を所定の時間内に２つ受信した場合には、当該スナップショットの拡大表示が指示されていると判断することができる。ステップＳ７０８では、表示制御部６１０は、ユーザが選択したスナップショットを拡大表示したＵＩ画面を生成し、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、処理をステップＳ７０４に戻す。
【００９９】
ステップＳ７０６の判定で、操作内容がスナップショット群の選択であると判断した場合、処理をステップＳ７０９に分岐させる。ステップＳ７０９では、表示制御部６１０は、選択されたオブジェクトの種類（例えば、画面左側のスナップショット群を表示するオブジェクト、画面中央のスナップショット群を表示するオブジェクト、画面右側のスナップショット群を表示するオブジェクト）からいずれのスナップショット群またはスナップショットが選択されたか否か判断し、ユーザが選択したスナップショット群またはスナップショットが選択されている状態のＵＩ画面を生成する。そして、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新する。ステップＳ７１０では、表示制御部６１０は、表示情報保存領域を参照して、スナップショット群の配置情報から当該選択されたスナップショット群またはスナップショットの識別情報を特定し、ユーザが選択したスナップショット群またはスナップショットの識別情報として、表示情報保存領域に保存し、処理をステップＳ７０４に戻す。
【０１００】
ステップＳ７０６の判定で、操作内容が分類条件の選択または類似度値の変更であると判断した場合、処理をステップＳ７１１に分岐させる。ステップＳ７１１では、表示制御部６１０は、当該分類条件および類似度値に基づいて、ＵＩ画面に表示されているスナップショットを変更するスナップショット表示変更処理を実行し、処理をステップＳ７０４に戻す。なお、スナップショット表示変更処理については、図８を参照して詳細に説明する。
【０１０１】
ステップＳ７０６の判定で、操作内容がアプリケーション２４０の終了指示であると判断した場合、処理をステップＳ７１２に分岐させ、アプリケーション２４０が終了する。
【０１０２】
図８は、本実施形態の画像表示装置２００が有するアプリケーション２４０が実行するスナップショット表示変更処理を示すフローチャートである。以下、図８を参照してスナップショット表示変更処理について説明する。
【０１０３】
図８の処理は、ステップＳ８００から開始し、ユーザの行った操作内容が分類条件の選択である場合、処理をステップＳ８０１に分岐させる。一方、ユーザがした操作内容が類似度値の変更である場合、処理をステップＳ８０８に分岐させる。
【０１０４】
ステップＳ８０１では、表示制御部６１０は、ユーザが指定した分類条件（すなわち、時間、背景、または時間および背景）のオブジェクトが選択されている状態のＵＩ画面を生成する。ステップＳ８０２では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新する。ステップＳ８０３では、表示制御部６１０は、クラスタリング対象であるスナップショット格納部２４２に保存されているスナップショットの識別情報、ＵＩ画面で指定された分類条件および類似度値をパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらの情報をパラメータ保存領域に一時的に保存する。
【０１０５】
ステップＳ８０４では、クラスタリング部６１８は、表示情報保存領域を参照し、基準スナップショットを特定する。本実施形態では、ＵＩ画面に表示されているスナップショットのうちＵＩ画面の中央最前面に表示されているスナップショットを基準スナップショットとすることができる。他の実施形態では、ＵＩ画面に表示されたスナップショット群の中からユーザが指定したスナップショットを基準スナップショットとしてもよい。
【０１０６】
ステップＳ８０５では、クラスタリング部６１８は、スナップショット格納部２４２に保存されているスナップショットについて、図１０を参照して説明するクラスタリング処理を実行する。ステップＳ８０６では、表示制御部６１０は、クラスタリング処理の結果を反映したＵＩ画面を生成し、ＵＩ画面上に表示するスナップショット群の識別情報および／またはスナップショットの識別情報をこれらの配置情報と共に、表示情報記憶領域に保存する。ステップＳ８０７では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、ステップＳ８１９で処理が終了する。
【０１０７】
ステップＳ８０８では、表示制御部６１０は、ユーザが指定した位置に類似度値を指定するオブジェクトが表示されている状態のＵＩ画面を生成する。ステップＳ８０９では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新する。ステップＳ８１０では、表示制御部６１０は、表示情報記憶領域を参照し、ＵＩ画面上のスナップショット群が選択されているか判断する。ＵＩ画面上のスナップショット群が選択されていると判断した場合には（ｙｅｓ）、処理をステップＳ８１１に分岐させる。
【０１０８】
ステップＳ８１１では、表示制御部６１０は、クラスタリング対象であるスナップショットのスナップショット識別情報、指定された分類条件および類似度値をパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらの情報をパラメータ保存領域に一時的に保存する。本実施形態では、ステップＳ８１０で選択されていると判断したスナップショット群を構成するスナップショットをクラスタリング処理の対象とする。
【０１０９】
ステップＳ８１２では、選択されたスナップショット群の中から基準スナップショットを特定する。本実施形態では、当該スナップショット群のうちＵＩ画面の最前面に表示されたスナップショットを基準スナップショットとすることができる。他の実施形態では、当該選択されたスナップショット群の中からユーザが指定したスナップショットを基準スナップショットとしてもよい。
【０１１０】
ステップＳ８１３では、クラスタリング部６１８が、ＵＩ画面上で選択されているスナップショット群に対して、図１０に示すクラスタリング処理を実行する。
【０１１１】
一方、ステップＳ８１０の判定でＵＩ画面上のスナップショット群が選択されていないと判断した場合には（ｎｏ）、処理をステップＳ８１４に分岐させる。ステップＳ８１４では、表示制御部６１０は、クラスタリング対象であるスナップショット格納部２４２に保存されているスナップショットの識別情報、ＵＩ画面で指定された分類条件および類似度値をパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらの情報をパラメータ保存領域に一時的に保存する。
【０１１２】
ステップＳ８１５では、ＵＩ画面に表示されたスナップショット群の中から基準スナップショットを特定する。本実施形態では、ＵＩ画面の中央最前面に表示されたスナップショットを基準スナップショットとすることができる。他の実施形態では、ＵＩ画面に表示されたスナップショット群の中からユーザが指定したスナップショットを基準スナップショットとしてもよい。
【０１１３】
ステップＳ８１６では、クラスタリング部６１８は、スナップショット格納部２４２に保存されているスナップショットについて、図１０に示すクラスタリング処理を実行する。ステップＳ８１７では、表示制御部６１０は、クラスタリング処理の結果を反映したＵＩ画面を生成し、ＵＩ画面上に表示するスナップショット群の識別情報および／またはスナップショットの識別情報をこれらの配置情報と共に、表示情報記憶領域に保存する。ステップＳ８１８では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、ステップＳ８１９で処理が終了する。
【０１１４】
図９は、本実施形態のアプリケーションが使用する類似度テーブル９００を示す。本実施形態では、スナップショット格納部２４２に保存されているスナップショットに対して、上記数式２〜数式４を使用して算出した類似度値が類似度テーブルにされ、分類条件の種別に対応する類似度テーブル、すなわち、時間用の類似度テーブル、背景用の類似テーブル、時間および背景用の類似テーブルが使用される。
【０１１５】
類似度テーブル９００では、スナップショット格納部２４２に保存されたスナップショットのスナップショット識別情報と、スナップショット相互の類似度値とが登録される。例えば、スナップショット識別情報「2011.1.12.10:02:42.bmp」が示すスナップショットと、スナップショット識別情報「2011.1.12.10:02:43.bmp」が示すスナップショットとの類似度値は、「０．３」である。
【０１１６】
アプリケーション２４０は、基準スナップショットと、ユーザがＵＩ画面で指定した類似度値と、類似度テーブル９００に登録されている類似度値とを使用して、スナップショットをクラスタリングする。具体的には、スナップショット識別情報「2011.1.12.10:02:45.bmp」が示すスナップショットを基準とし、ユーザが指定した類似度値が「１．０」である場合、アプリケーション２４０は、先ず類似度値が「０」以上「１．０」未満の範囲にあるスナップショットを抽出する。図９に示す実施形態では、スナップショット識別情報「2011.1.12.10:02:42.bmp」および「2011.1.12.10:02:43.bmp」が示すスナップショットの類似度値が、当該範囲に含まれるため、これらのスナップショットが同一のクラスタに分類される。
【０１１７】
次いで、アプリケーション２４０は、類似度値が「１．０」以上「２．０」未満の範囲にあるスナップショットを抽出する。図９に示す実施形態では、当該範囲に含まれるスナップショットが存在しないため、アプリケーション２４０は、次の類似度値の範囲である「２．０」以上「３．０」未満の範囲についてクラスタリングを行う。図９に示す実施形態では、スナップショット識別情報「2011.1.12.10:02:44.bmp」が示すスナップショットの類似度値が、上記範囲に含まれるため、当該スナップショットが同一のクラスタに分類される。アプリケーション２４０は、クラスタリングの対象のスナップショットが総て分類されるまで上述した処理を繰り返し実行し、スナップショットをクラスタリングする。
【０１１８】
図９に示す実施形態では、スナップショット識別情報として、スナップショットが保存された時刻情報とスナップショットの保存形式との結合を使用しているが、他の実施形態では、他の数字列、文字列および／またはこれらの結合を使用してもよい。
【０１１９】
図１０は、本実施形態の画像表示装置２００が有するアプリケーション２４０が実行するスナップショットのクラスタリング処理を示すフローチャートである。以下、図１０を参照してクラスタリング処理について説明する。
【０１２０】
図１０の処理は、ステップＳ１０００から開始し、ステップＳ１００１でクラスタリング部６１８が、パラメータ保存領域を参照し、分類条件の種類を判断する。分類条件が「時間」であると判断した場合、処理をステップＳ１００２に分岐させる。
【０１２１】
ステップＳ１００２では、クラスタリング部６１８は、時間用の類似度テーブルを参照し、パラメータ保存領域に格納されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１２２】
ステップＳ１００３では、クラスタリング部６１８は、パラメータ保存領域に保存されたクラスタリング対象のスナップショットのスナップショット識別情報と、クラスタリング結果保存領域に保存された既にクラスタリングされたスナップショットのスナップショット識別情報とを使用して、クラスタリング対象のスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１０１１に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１００４に分岐させる。
【０１２３】
ステップＳ１００４では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１００２でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１００３に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１００４の処理を反復させる。
【０１２４】
ステップＳ１００１の判定で分類条件が「背景」であると判断した場合、処理をステップＳ１００５に分岐させる。ステップＳ１００５では、クラスタリング部６１８は、背景用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショットの識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１２５】
ステップＳ１００６では、クラスタリング部６１８は、ステップＳ１００３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１０１１に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１００７に分岐させる。
【０１２６】
ステップＳ１００７では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１００５でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１００６に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１００７の処理を反復させる。
【０１２７】
ステップＳ１００１の判定で分類条件が「時間」および「背景」であると判断した場合、処理をステップＳ１００８に分岐させる。ステップＳ１００８では、クラスタリング部６１８は、時間および背景用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１２８】
ステップＳ１００９では、クラスタリング部６１８は、ステップＳ１００３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１０１１に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１０１０に分岐させる。
【０１２９】
ステップＳ１０１０では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１００８でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間および背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１００９に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１０１０の処理を反復させる。
【０１３０】
図１１は、本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の一実施形態を示す図である。図１１に示すＵＩ画面１１００では、ＵＩ画面を構成する種々のオブジェクトが配置される。
【０１３１】
オブジェクト１１１０，１１１２，１１１４は、クラスタリング処理によって分類されたスナップショット群またはスナップショットである。当該オブジェクトは、当該スナップショット群を構成するスナップショットのサブネイルが重畳して形成される。本実施形態では、スナップショット群は、時系列に配列して表示されると共に、スナップショットのサブネイルは、その生成時間の降順で重畳表示される。この場合、アプリケーション２４０は、各スナップショット群の最前面に配置される最新のスナップショットの生成時間を比較し、スナップショット群を時系列表示することができる。他の実施形態では、スナップショット群内のスナップショットのサブネイルを生成時間の昇順で表示してもよい。さらに他の実施形態では、スナップショットの類似度順でサブネイルを表示してもよい。
【０１３２】
オブジェクト１１１６，１１１８は、ＵＩ画面１１００に表示されたスナップショット群またはスナップショットをスクロールさせるオブジェクトである。当該オブジェクトが選択されると、その時点でＵＩ画面１１００に表示されていない他のスナップショット群またはスナップショットが表示される。
【０１３３】
オブジェクト１１２０，１１２２は、クラスタリング処理で使用する分類条件を指定するオブジェクトである。オブジェクト１１２０は、分類条件「時間」を選択するチェックボックスであり、オブジェクト１１２２は、分類条件「背景」を選択するチェックボックスである。本実施形態では、ユーザがオブジェクト１１２０，１１２２を選択すると、これらのチェックボックスにチェックマークが表示される。他の実施形態では、ユーザが選択したチェックボックスの表示色を変更して、選択の有無を明示してもよい。
【０１３４】
オブジェクト１１２４は、クラスタリング処理で使用する類似度値を指定するオブジェクトである。オブジェクト１１２４は、スライドバー１１２６に沿って左右に移動表示させることができる。スライドバー１１２６には、その位置座標に関連付けて類似度値が割り当てられており、ユーザが触れたスライドバー１１２６上の位置座標に対応する類似度値を、指定された類似度値とすることができる。
【０１３５】
ＵＩ画面１１００では、スライドバー１１２６の左側を指定するとクラスタリングの精度が細かくなり、右側を指定すると精度が粗くなるように構成される。他の実施形態では、精度の指定方法の左右を反対に構成してもよい。ユーザは、オブジェクト１１２４およびスライドバー１１２６を使用することにより、スナップショットのクラスタリングの精度や粒度を指定することができる。
【０１３６】
本実施形態のアプリケーション２４０は、クラスタリングの精度を最細に指定された場合、オブジェクト１１１０，１１１２，１１１４が１のスナップショットで構成されるようにＵＩ画面１１００を生成する。一方、クラスタリングの精度を最細に指定された場合、アプリケーション２４０は、総てのスナップショットを１のスナップショット群とするオブジェクト１１１２が表示されるＵＩ画面１１００を生成する。
【０１３７】
図１２は、本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の他の実施形態を示す図である。図１２に示すＵＩ画面１２００では、図１１に示すＵＩ画面１１００と同様に、ＵＩ画面を構成する種々のオブジェクトが配置される。なお、オブジェクト１２１０〜１２１８は、ＵＩ画面１１００に含まれるオブジェクト１１１０〜１１１８と同様であるため、以下、説明を省略する。
【０１３８】
オブジェクト１２２０は、クラスタリング処理で使用する第１の分類条件を指定するオブジェクトである。オブジェクト１２２０は、ドロップダウンリストで構成されている。オブジェクト１２２０には、分類条件として「時間」または「背景」が表示され、ユーザが選択的に分類条件を指定することができる。
【０１３９】
オブジェクト１２２４は、第１の分類条件に対応する類似度値を指定するオブジェクトである。オブジェクト１２２４は、図１１に示す実施形態と同様に、スライドバー１２２６に沿って左右に移動表示させることができ、ユーザが触れたスライドバー１２２６上の位置座標に対応する類似度値を、指定された類似度値とすることができる。
【０１４０】
オブジェクト１２２２は、クラスタリング処理で使用する第２の分類条件を指定するオブジェクトである。オブジェクト１２２２は、ドロップダウンリストで構成されている。オブジェクト１２２２には、分類条件として「時間」、「背景」または「×」が表示され、ユーザが選択的に分類条件を指定し、または未指定とすることができる。
【０１４１】
オブジェクト１２２８は、第２の分類条件に対応する類似度値を指定するオブジェクトである。オブジェクト１２２８は、図１１に示す実施形態と同様に、スライドバー１２３０に沿って左右に移動表示させることができ、ユーザが触れたスライドバー１２３０上の位置座標に対応する類似度値を、指定された類似度値とすることができる。
【０１４２】
本実施形態では、表示制御部６１０は、第１の分類条件および類似度値と、第２の分類条件および類似度値とをパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらのパラメータをパラメータ記憶領域に一時的に保存する。クラスタリング部６１８は、パラメータ記憶領域から、第１の分類条件および類似度値と、第２の分類条件および類似度値とを取得し、第１の分類条件を優先してスナップショットを分類する。
【０１４３】
図１３は、図１２に示すＵＩ画面を生成するアプリケーション２４０が実行するクラスタリング処理の他の実施形態を示すフローチャートである。以下、図１３を参照してクラスタリング処理の他の実施形態について説明する。
【０１４４】
図１３の処理は、ステップＳ１３００から開始し、ステップＳ１３０１でクラスタリング部６１８が、パラメータ保存領域を参照し、第１の分類条件を判断する。第１の分類条件が「時間」であると判断した場合、処理をステップＳ１３０２に分岐させる。一方、第１の分類条件が「背景」であると判断した場合、処理をステップＳ１３０９に分岐させる。
【０１４５】
ステップＳ１３０２では、クラスタリング部６１８は、時間用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１４６】
ステップＳ１３０３では、クラスタリング部６１８は、パラメータ保存領域に保存されたクラスタリング対象のスナップショットのスナップショット識別情報と、クラスタリング結果保存領域に保存された既にクラスタリングされたスナップショットのスナップショット識別情報とを使用して、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。
【０１４７】
総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３０４に分岐させる。ステップＳ１３０４では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３０２でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３０３に戻す。クラスタリング部６１８は、クラスタリング対象の総てのスナップショットが分類されるまで、ステップＳ１３０４の処理を反復させる。
【０１４８】
一方、ステップＳ１３０３の判定で、総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３０５に分岐させる。ステップＳ１３０５では、クラスタリング部６１８は、パラメータ保存領域を参照し、第２の分類条件を判断する。第２の分類条件が「時間」または「無し」であると判断した場合、処理をステップＳ１３１６に分岐させて終了させる。一方、第２の分類条件が「背景」であると判断した場合、処理をステップＳ１３０６に分岐させる。
【０１４９】
ステップＳ１３０６では、クラスタリング部６１８は、背景用の類似度テーブルを参照し、上記ステップＳ１３０２およびステップＳ１３０４の処理でクラスタリングしたスナップショット群について、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１５０】
ステップＳ１３０７では、クラスタリング部６１８は、ステップＳ１３０３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３１６に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３０８に分岐させる。
【０１５１】
ステップＳ１３０８では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３０６でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だ分類条件「背景」でクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類して、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３０７に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１３０８の処理を反復させる。
【０１５２】
ステップＳ１３０９では、クラスタリング部６１８は、背景用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１５３】
ステップＳ１３１０では、クラスタリング部６１８は、ステップＳ１３０３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３１１に分岐させる。ステップＳ１３１１では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３０９でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３１０に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１３１１の処理を反復させる。
【０１５４】
一方、ステップＳ１３１０の判定で、スナップショットが総て分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３１２に分岐させる。ステップＳ１３１２では、クラスタリング部６１８は、パラメータ保存領域を参照し、第２の分類条件を判断する。第２の分類条件が「背景」または「無し」であると判断した場合、処理をステップＳ１３１６に分岐させて終了させる。一方、第２の分類条件が「時間」であると判断した場合、処理をステップＳ１３１３に分岐させる。
【０１５５】
ステップＳ１３１３では、クラスタリング部６１８は、時間用の類似度テーブルを参照し、クラスタリング結果保存領域を参照し、上記ステップＳ１３０９およびステップＳ１３１１の処理で分類したスナップショット群について、パラメータ保存領域に保存された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１５６】
ステップＳ１３１４では、クラスタリング部６１８は、ステップＳ１３０３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。スナップショットが総て分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３１５に分岐させる。
【０１５７】
ステップＳ１３１５では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３１３でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だ分類条件「時間」でクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３１４に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１３１５の処理を反復させる。
【０１５８】
一方、ステップＳ１３１４の判定で、総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３１６に分岐させて終了させる。
【０１５９】
本実施形態では、一方の分類条件でクラスタリングした総てのスナップショット群について、他方の分類条件で追加的にクラスタリングを行う。他の実施形態では、既にクラスタリングされたスナップショット群のうちのいずれかについて、再度、クラスタリングを行うようにしてもよい。
【０１６０】
本実施形態では、双方の分類条件でクラスタリングが実行された場合、アプリケーション２４０は、追従的に実行されたクラスタリングの結果を使用してＵＩ画面を生成する。これにより、双方の分類条件を考慮したクラスタリングに基づいて、ＵＩ画面上にスナップショット群を表示させることができる。
【０１６１】
図１４は、本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面のさらに他の実施形態を示す図である。図１４に示すＵＩ画面１４００では、図１１に示すＵＩ画面１１００と同様に、ＵＩ画面を構成する種々のオブジェクトが配置される。なお、オブジェクト１４１０〜１４２６は、ＵＩ画面１１００に含まれるオブジェクト１１１０〜１１２６と同様であるため、以下、説明を省略する。
【０１６２】
オブジェクト１４２８は、ＵＩ画面上に表示すべきスナップショット群の配列順序を選択的に指定可能なオブジェクトである。オブジェクト１４２８は、スナップショット群の配列順序として、時系列および類似度順を選択することができる。本実施形態のアプリケーション２４０の表示制御部６１０は、オブジェクト１４２８で指定されたスナップショット群の配列順序に従い、クラスタリングされたスナップショット群を時系列または類似度順で配列したＵＩ画面を生成する。このとき、表示制御部６１０は、各スナップショット群の最前面に配置すべきスナップショット（例えば、同一スナップショット群のうち生成時間が最新のスナップショットや最古のスナップショット、類似度値が最大のスナップショットや類似度値が最小のスナップショットなど）の生成時間または類似度値を比較して、スナップショット群を時系列順または類似度順で表示することができる。
【０１６３】
本実施形態では、ユーザが、クラスタリングされたスナップショット群の配列順序を自由に選択することができるため、スナップショットの検索容易性を向上させることができる。
【０１６４】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１６５】
１００…画像表示システム、１１０…画像表示装置、１１２…表示部、１１４…操作ボタン、１１６…操作ボタン、１１８…映像フレーム入力部、１２０…ユーザＰＣ、１２２…ケーブル
【先行技術文献】
【特許文献】
【０１６６】
【特許文献１】特開２００８−３３３９３号公報
【技術分野】
【０００１】
本発明は、任意の画像を表示画面に表示させる画像表示装置に関し、より詳細には、ユーザが描画した画像を表示画面に表示させる画像表示装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、その上にユーザが文字や数字、図形等の描画画像を書き込み可能な電子黒板が利用されている。
【０００３】
このような電子黒板として、現在、スマートテクノロジーズ社のＳｍａｒｔＢｏａｒｄ、日立ソフトウェアエンジニアリング社のＳｔａｒＢｏａｒｄ（登録商標）およびパイオニア社のサイバーカンファレンス（登録商標）等が提供されている。ユーザは、これらの電子黒板上で様々な画像を表示させて、文字や図形等を重畳して書き込むことができる。
【０００４】
また、表示された画像をユーザが事後的に閲覧可能な電子黒板も提案されている。例えば、特許文献１は、ユーザが描画した描画画像が縦書きであるか、横書きであるか、またはそれ以外のタイプであるか判断し、そのタイプ毎に代表的な画面を生成して表示する装置を開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示する装置は、描画画像の書字方向によってタイプを判別して代表的な描画画像を表示するだけであり、ユーザが指定した画像相互の類似度によって閲覧すべき画像を選択的に表示することができない。
【０００６】
本発明は上記の課題を解決するものであり、閲覧すべき画像をユーザが指定する画像相互の類似度によって選択的に表示可能な画像表示装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像表示装置は、表示画面に表示すべき映像フレームと描画画像の構成情報とが関連付けて登録されるデータベースを参照して、映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を表示装置に表示すると共に、表示装置に表示された表示画像をその類似度に応じて事後的に表示装置に表示する。具体的には、画像表示装置は、表示画像相互の類似度が登録されたデータテーブルを参照して、ユーザが指定した類似度に応じて表示画像を分類し、分類された表示画像を含むユーザインタフェース画面を表示する。これにより、既に画像表示装置に表示された表示画像を、ユーザが指定した類似度に応じて分類して表示することができる。
【０００８】
本発明によれば、閲覧すべき画像をユーザが指定した画像相互の類似度によって選択的に表示可能な方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像表示システムを示した図。
【図２】本実施形態の画像表示装置の機能構成を示す図。
【図３】本実施形態の画像表示装置が実行する処理を示すフローチャート。
【図４】本実施形態の画像表示装置の使用状態を示す図。
【図５】本実施形態の画像表示装置が使用するスナップショット履歴情報テーブルを示す図。
【図６】本実施形態の画像表示装置が有するアプリケーションの機能構成を示す図。
【図７】本実施形態の画像表示装置が有するアプリケーションが実行する処理を示すフローチャート。
【図８】本実施形態の画像表示装置が有するアプリケーションが実行するスナップショット表示変更処理を示すフローチャート。
【図９】本実施形態のアプリケーションが使用する類似度テーブルを示す図。
【図１０】本実施形態の画像表示装置が有するアプリケーションが実行するスナップショットのクラスタリング処理を示すフローチャート。
【図１１】本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の一実施形態を示す図。
【図１２】本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の他の実施形態を示す図。
【図１３】図１２に示すＵＩ画面を生成するアプリケーションが実行するクラスタリング処理の他の実施形態を示すフローチャート。
【図１４】本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面のさらに他の実施形態を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１１】
図１は、本実施形態の画像表示システム１００を示す。画像表示システム１００は、画像表示装置１１０と、ユーザＰＣ１２０とを含む。
【００１２】
画像表示装置１１０は、ユーザＰＣ１２０から受信した背景画像である映像フレームを表示すると共に、ユーザが描画した文字や記号、図形等を含む描画画像を表示させる装置である。画像表示装置１１０は、表示部１１２と、操作ボタン１１４，１１６と、映像フレーム入力部１１８とを含んで構成される。
【００１３】
表示部１１２は、背景画像および描画画像を表示する機能手段である。また、表示部１１２は、その表面にタッチパネルが設置されており、タッチパネルを構成する接触位置センサによりユーザの接触位置を検出することができる。
【００１４】
操作ボタン１１４，１１６は、画像表示装置１１０の動作モードの切り替えを指示する機能手段である。なお、画像表示装置１１０の動作モードの切り替えについては、より詳細に後述する。
【００１５】
映像フレーム入力部１１８は、ユーザＰＣ１２０から表示部１１２に表示される背景画像である映像フレームを受信する機能手段である。本実施形態では、映像フレーム入力部としてＶＧＡ（Video Graphics Array）端子により構成されるＶＧＡ入力コネクタを採用することができ、ユーザＰＣ１２０からＶＧＡケーブル等のケーブル１２２を介してＶＧＡ信号を受信し、画像表示装置１１０に含まれるコントローラ（図示せず）にＶＧＡ信号を供給する。他の実施形態では、映像フレーム入力部１１８は、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１２０から画像データを受信してもよい。
【００１６】
画像表示装置１１０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサなどのプロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。また、画像表示装置１１０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像表示装置上に実現する。
【００１７】
本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００１８】
ユーザＰＣ１２０は、画像表示装置１１０に背景画像である映像フレームを提供する映像フレーム提供装置である。図１に示す実施形態では、ユーザＰＣとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型のパーソナルコンピュータやＰＤＡ等の画像データを供給可能な情報処置装置を採用することができる。ユーザＰＣ１２０は、背景画像を出力するインタフェースを備えており、その表示画面に表示されている表示画像を画像表示装置１１０に供給する。本実施形態では、ユーザＰＣ１２０は、インタフェースとしてＶＧＡ出力コネクタを備えており、表示画像をＶＧＡ信号として画像表示装置１１０に供給することができる。他の実施形態では、ユーザＰＣ１２０は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。
【００１９】
図２は、本実施形態の画像表示装置２００の機能構成を示す図である。以下、図２を参照して、画像表示装置２００の機能構成について説明する。
【００２０】
画像表示装置２００は、コントローラ２０２と、表示部２５０と、タッチパネル２６０とを含んで構成される。コントローラ２０２は、ユーザＰＣ２７０から受信した背景画像と、タッチパネル２６０を介して入力された描画画像とを処理する機能手段である。コントローラ２０２は、映像フレーム分配部２１０と、表示出力制御部２１２と、表示制御部２１４とを含んで構成される。
【００２１】
映像フレーム分配部２１０は、ユーザＰＣ２７０から受信した表示部２５０に表示すべき映像フレームを取得し、表示出力制御部２１２または映像フレーム取得部２１６に分配する機能手段である。本実施形態では、映像フレーム分配部２１０は、操作ボタンにより指定可能な動作モードに応じて、ＶＧＡ信号等のアナログ信号で構成された映像フレームを分配する。具体的には、画像表示装置２００の動作モードが、第１の状態である映像フレーム表示モードの場合には、映像フレーム分配部２１０は、映像フレームを表示出力制御部２１２に提供する。一方、第２の状態である描画画像表示モードが指定されている場合には、映像フレーム分配部２１０は、映像フレームを映像フレーム取得部２１６に提供する。
【００２２】
表示出力制御部２１２は、モード切替制御部２３８の要求に応じて、表示制御部２１４に対して映像フレームを選択的に出力する機能手段である。本実施形態では、表示出力制御部２１２は、２入力１出力のトグル動作スイッチ回路によって構成することができる。表示出力制御部２１２は、第１の状態である映像フレーム表示モードの場合には、映像フレーム分配部２１０から受信した映像フレームを表示制御部２１４に提供し、第２の状態である描画画像表示モードが指定されている場合には、表示画像生成部２３６から受信した映像フレームを表示制御部２１４に提供する。
【００２３】
表示制御部２１４は、表示出力制御部２１２から受信した映像フレームやアプリケーション２４０が生成するユーザインタフェース（以下、「ＵＩ」とする。）を表示部２５０に表示させる機能手段である。表示制御部２１４は、表示出力制御部２１２から受信した映像フレームやＵＩを構成するアナログ信号を表示部２５０に送付して映像フレームを表示させる。
【００２４】
また、コントローラ２０２は、映像フレーム取得部２１６と、スナップショット情報格納部２１８と、動的表示制御部２２０とを含んで構成される。
【００２５】
映像フレーム取得部２１６は、第２の状態である描画画像表示モードが指定されている場合に、映像フレーム分配部２１０から取得した映像フレームをスナップショット情報格納部２１８に順次格納する機能手段である。映像フレーム取得部２１６は、ＶＧＡ信号等のアナログ信号で構成された映像フレームをデジタルの映像フレームにＡ／Ｄ変換して、スナップショット情報格納部２１８に格納する。また、映像フレーム取得部２１６は、他の機能手段の要求に応じて、スナップショット情報格納部２１８から映像フレームを取得して提供する。
【００２６】
スナップショット情報格納部２１８は、映像フレームおよび描画画像のスナップショット情報である最新の映像フレームおよび最新の描画画像を構成する情報（以下、描画画像構成情報として参照する。）が格納される記憶手段である。スナップショット情報格納部２１８には、ユーザＰＣ２７０から受信した表示部２５０に表示すべき最新の映像フレームが順次保存される。また、スナップショット情報格納部２１８には、後述する描画処理部により、タッチパネルを使用してユーザが描画した最新の描画画像構成情報が格納される。
【００２７】
動的表示制御部２２０は、第２の状態である描画画像表示モードが指定されている場合に、表示部２５０に表示されている映像フレームと、ユーザがタッチパネル２６０を使用して表示部２５０に描画した描画画像とを関連付ける機能手段である。動的表示制御部２２０は、映像フレーム管理部２２２と、映像フレーム判別部２２６と、映像フレームバッファメモリ２２４と、スナップショット履歴情報処理部２２８と、スナップショット履歴情報データベース２３０とを含んで構成される。
【００２８】
映像フレーム管理部２２２は、ユーザＰＣ２７０から受信した映像フレームを取得すると共に、動的表示制御部２２０に含まれる他の機能手段の要求に応じて、取得した映像フレームを提供し、または映像フレームバッファメモリ２２４に格納する機能手段である。映像フレーム管理部２２２は、定期的に映像フレーム取得部２１６にｌｏａｄ要求を発行して、スナップショット情報格納部２１８に格納された最新の映像フレームを取得し、ＲＡＭやレジスタ等の記憶装置（図示せず）に一時的に保存する。また、映像フレーム管理部２２２は、スナップショット情報格納部２１８から取得した映像フレームを固有に識別する情報である映像フレーム識別情報を生成する。本実施形態では、１／３０秒毎に映像フレームを取得するが、他の実施形態では、任意の間隔で映像フレームを取得してもよい。
【００２９】
映像フレームバッファメモリ２２４は、映像フレーム管理部２２２がスナップショット情報格納部２１８から取得した映像フレームが格納される記憶手段である。映像フレームバッファメモリ２２４には、スナップショット情報格納部２１８から定期的に取得した映像フレームが順次格納される。
【００３０】
映像フレーム判別部２２６は、映像フレーム取得部２１６から取得した連続する２の映像フレームの同一性を判断する機能手段である。すなわち、映像フレーム判別部２２６は、ユーザＰＣ２７０から新しい映像フレームを受信したか否か判断する。
【００３１】
本実施形態では、映像フレーム判別部２２６は、これらの映像フレームに含まれる１以上の特定の領域を参照領域とし、双方の映像フレームに含まれる参照領域を比較する。比較の結果、参照領域が同一であれば、これらの映像フレームが同一であると判断し、参照領域が相違すれば、これらの映像フレームが相違すると判断する。参照領域を比較する場合、映像フレーム判別部２２６は、双方の映像フレームの参照領域の画素値の合計値を算出し、対応する参照領域の画素値の合計値を比較して、参照領域が同一であるか否か判別することができる。参照領域の画素値の合計値の算出には、参照領域の積分画像を使用することができる。
【００３２】
本実施形態では、下記数式１を使用して、映像フレームの同一性を判別することができる。ここで、Ｒｋは、第１の映像フレームの参照領域ｋの画素値の合計値を示し、Ｓｋは、第２の映像フレームの参照領域ｋの画素値の合計値を示す。また、Ｎは参照領域の数を示す。
【００３３】
【数１】
【００３４】
上記数式１の条件を満たす場合には、第１の映像フレームと第２の映像フレームは同一であると判断することができる。
【００３５】
また、他の実施形態では、映像フレーム判別部２２６は、双方の映像フレーム全体の画素値の合計値を算出して、これらの映像フレームが同一であるか否か判断することができる。
【００３６】
映像フレーム判別部２２６は、上述した判別処理の結果、連続する２の映像フレームが相違すると判断した場合、スナップショット履歴情報処理部２２８に対して、ユーザＰＣ２７０から新たな映像フレームを受信した旨の通知をする。
【００３７】
スナップショット履歴情報処理部２２８は、ユーザＰＣ２７０から受信した映像フレームと描画画像とを関連付けて、スナップショット履歴情報データベース２３０のスナップショット履歴情報テーブルに登録する機能手段である。スナップショット履歴情報処理部２２８は、映像フレーム判別部２２６がユーザＰＣ２７０から新たな映像フレームを受信したと判断した場合、スナップショット情報格納部２１８から最新の描画画像構成情報を取得し、当該描画画像構成情報と映像フレーム管理部２２２が取得した映像フレームとを関連付け、スナップショット履歴情報テーブルに保存する。
【００３８】
スナップショット履歴情報データベース２３０は、スナップショット情報の履歴情報であるスナップショット履歴情報を登録するスナップショット履歴情報テーブルが格納される記憶手段である。スナップショット履歴情報データベース２３０は、スナップショット履歴情報処理部２２８の要求に応じて、そのスナップショット履歴情報テーブルのデータ内容が変更される。なお、スナップショット履歴情報テーブルについては、図５を参照して登録される情報と共に後述する。
【００３９】
さらに、コントローラ２０２は、タッチパネル制御部２３２と、描画処理部２３４と、表示画像生成部２３６と、モード切替制御部２３８と、アプリケーション２４０と、スナップショット格納部２４２とを含む。
【００４０】
タッチパネル制御部２３２は、タッチパネル２６０を制御し、描画画像構成情報を取得する機能手段である。タッチパネル制御部２３２は、第２の状態である描画画像表示モードが指定されている場合に、タッチパネル２６０を駆動し、その接触位置座標を取得して描画処理部２３４またはアプリケーション２４０に提供する。
【００４１】
本実施形態では、タッチパネル制御部２３２として、タッチパネルを制御可能なデバイスドライバを採用することができる。タッチパネル制御部２３２は、描画画像を構成する線分の太さや色等の描画画像属性情報を指定可能なユーザインタフェースを表示部２５０に表示可能である。タッチパネル制御部２３２は、アプリケーション２４０が起動していない場合、接触位置座標および描画画像属性情報を描画画像構成情報として描画処理部２３４に提供する。
【００４２】
一方、アプリケーション２４０が起動している場合、タッチパネル制御部２３２は、接触位置座標をアプリケーション２４０に送信する。本実施形態では、アプリケーション２４０の起動時または終了時に、アプリケーション２４０の起動通知または終了通知をタッチパネル制御部２３２に送信する。表示画像生成部２３６は、これらの通知を受信することによってアプリケーション２４０が起動しているか否か判断することができる。
【００４３】
描画処理部２３４は、第２の状態である描画画像表示モードが指定されている場合に、描画画像構成情報をスナップショット情報格納部２１８に保存する機能手段である。描画処理部２３４は、タッチパネル制御部２３２から描画画像構成情報を受信すると、順次、スナップショット情報格納部２１８に保存する。これにより、スナップショット情報格納部２１８には、最新の描画画像構成情報が格納される。
【００４４】
表示画像生成部２３６は、第２の状態である描画画像表示モードが指定されている場合に、表示部２５０に表示すべき画像（以下、「表示画像」とする。）を生成する機能手段である。表示画像生成部２３６は、アプリケーション２４０が起動していない場合、定期的にスナップショット情報格納部２１８から最新の映像フレームおよび描画画像構成情報を取得し、描画画像構成情報から描画画像を生成し、当該映像フレームと合成して表示画像を生成する。
【００４５】
より詳細には、表示画像生成部２３６は、最新の映像フレームに対し、描画画像構成情報に含まれる各接触位置座標が示す座標位置の画素値を、描画画像属性情報が示す色に応じた画素値に変更することにより描画画像を生成することができる。また、線分の太さが指定されている場合には、接触位置座標が示す座標位置を中心とした所定の範囲を、描画画像属性情報が示す色に応じた画素値に変更して描画画像を生成することができる。当該所定の範囲は、線分の太さに応じて予め設定することができる。
【００４６】
本実施形態では、アプリケーション２４０の起動時または終了時に、アプリケーション２４０の起動通知または終了通知を表示画像生成部２３６にも送信する。表示画像生成部２３６は、これらの通知を受信することによってアプリケーション２４０が起動しているか否か判断することができる。
【００４７】
表示画像生成部２３６は、表示画像を生成すると、当該表示画像をスナップショットとしてスナップショット格納部２４２に保存すると共に、当該表示画像をアナログ信号に変換して表示出力制御部２１２に提供し、当該表示画像が表示部２５０に表示される。このとき、表示画像生成部２３６は、当該スナップショットを固有に識別可能な情報であるスナップショット識別情報を、メタデータとしてスナップショットに付加して保存する。本実施形態では、スナップショットの生成時間とスナップショットのデータ保存形式との結合をスナップショット識別情報として使用する。
【００４８】
本実施形態では、表示画像生成部２３６は、映像フレーム管理部２２２が映像フレームを取得する間隔と同等またはそれよりも短い間隔で表示画像を生成し、表示部２５０に表示させることが好適である。
【００４９】
また、表示画像生成部２３６は、アプリケーション２４０が起動している場合、アプリケーション２４０から受信したＵＩ画面を形成するデジタル信号をアナログ信号に変換して表示画像を生成し、表示出力制御部２１２に提供する。
【００５０】
モード切替制御部２３８は、画像表示装置２００の動作モードの切替制御を行う機能手段である。モード切替制御部２３８は、ユーザが押下した操作ボタンの種別に応じて、または映像フレーム判別部２２６の命令に応じて動作モードを切り替える。本実施形態では、操作ボタン「Ａ」が押下された場合には、モード切替制御部２３８は、画像表示装置２００の動作モードを第１の状態である映像フレーム表示モードに切り替え、操作ボタン「Ｂ」が押下された場合には、画像表示装置２００の動作モードを第２の状態である描画画像表示モードに切り替える。
【００５１】
具体的には、第１の状態が指定された場合には、モード切替制御部２３８は、表示出力制御部２１２に対して、映像フレームを受信する入力端子に切り替える旨の命令を送付して表示出力制御部２１２の入力端子を切り替えさせる。また、モード切替制御部２３８は、描画処理部２３４に対して、描画処理部２３４を停止（Ｄｉｓａｂｌｅ）する旨の命令を送付して、描画処理部２３４をＤｉｓａｂｌｅ状態にする。
【００５２】
一方、第２の状態が指定された場合には、モード切替制御部２３８は、表示出力制御部２１２に対して、描画画像を含む表示画像を受信する入力端子に切り替える旨の命令を送付して表示出力制御部２１２の入力端子を切り替えさせる。また、モード切替制御部２３８は、描画処理部２３４に対して、描画処理部２３４を起動（Ｅｎａｂｌｅ）する旨の命令を送付して、描画処理部２３４をＥｎａｂｌｅ状態またはＤｉｓａｂｌｅ状態にする。
【００５３】
アプリケーション２４０は、スナップショットをユーザが指定した類似度によって分類して表示部２５０に表示するアプリケーションプログラムである。アプリケーション２４０が有する機能手段については、図６を参照して詳細に説明する。
【００５４】
図３は、本実施形態の画像表示装置が、第２の状態である描画画像表示モードが指定されたときに実行する処理を示すフローチャートである。以下、図３を参照して、描画画像表示モードが指定されたときに画像表示装置２００が実行する処理について説明する。
【００５５】
図３の処理は、ステップＳ３００で開始し、ステップＳ３０１では、映像フレーム管理部２２２が、ユーザＰＣ２７０から映像フレームを受信したか否か判断する。本実施形態では、映像フレームの受信の有無は、映像フレーム取得部２１６が映像フレームを取得したときに、映像フレームの取得の有無を示す専用レジスタの値を、映像フレームを取得したことを示す値に変更し、映像フレーム取得部２１６が当該専用レジスタの値を参照することにより判断できる。また、映像フレーム取得部２１６は、一定時間映像フレームを取得しない場合には、当該専用レジスタの値を、映像フレームを取得していないことを示す値に変更する。
【００５６】
ステップＳ３０１で映像フレームが入力されていないと判断した場合には（ｎｏ）、ステップＳ３０１の処理を反復させる。一方、映像フレームが入力されていると判断した場合には（ｙｅｓ）、処理をステップＳ３０２に分岐させる。ステップＳ３０２では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルと、映像フレームの存否を示す割り込みフラグとを初期化する。本実施形態では、割り込みフラグを、映像フレームが存在することを示す値に設定することで初期化する。本実施形態では、初期値として「ｔｒｕｅ」を使用する。
【００５７】
ステップＳ３０２の処理が実行されると、次いで、ステップＳ３０３の処理およびステップＳ３１７の処理が実行される。
【００５８】
ステップＳ３１７では、映像フレーム管理部２２２が、ユーザＰＣ２７０から別の映像フレームを受信したか否か判断し、別の映像フレームを受信した場合には（ｙｅｓ）、ステップＳ３１７の処理を反復させる。一方、別の映像フレームを受信していない場合には（ｎｏ）、処理をステップＳ３１８に分岐させ、割り込みフラグを、映像フレームを受信していないことを示す値に設定し、ステップＳ３１９で処理が終了する。本実施形態では、映像フレームを受信していないことを示す値として「Ｆａｌｓｅ」を使用する。
【００５９】
ステップＳ３０３では、映像フレーム管理部２２２は、映像フレームバッファメモリ２２４と、当該映像フレームバッファメモリ２２４に格納される映像フレームの映像フレーム識別情報が代入される映像フレーム格納変数とを初期化する。ステップＳ３０４では、映像フレーム管理部２２２は、割り込みフラグが初期値「ｔｒｕｅ」であるか否か、すなわち、映像フレームを受信しているか否か判断する。割り込みフラグが初期値「ｔｒｕｅ」でない場合には（ｎｏ）、処理をステップＳ３０８に分岐させる。ステップＳ３０８では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルの内容を、ログやジャーナル等として不揮発性の記憶装置に保存し、ステップＳ３１９で処理が終了する。
【００６０】
一方、割り込みフラグが初期値「ｔｒｕｅ」である場合には（ｙｅｓ）、処理をステップＳ３０５に分岐させ、ステップＳ３０５では、映像フレーム管理部２２２は、所定時間が経過したか否か判断する。所定時間が経過していない場合には（ｎｏ）、ステップＳ３０５の処理を反復させる。一方、所定時間が経過した場合には（ｙｅｓ）、処理をステップＳ３０６に分岐させる。
【００６１】
本実施形態では、ハードウェアタイマまたはソフトウェアタイマーを用いて時間を計測することができる。例えば、ステップＳ３０４で割り込みフラグが初期値「ｔｒｕｅ」であると判断したときにタイマーに時間計測を開始させ、ステップＳ３０５においてタイマーの計測時間を取得することにより、所定時間（例えば、１／３０秒等）が経過したか否か判断することができる。
【００６２】
ステップＳ３０６では、映像フレーム管理部２２２は、映像フレーム取得部２１６を介してスナップショット情報格納部２１８から最新の映像フレームを取得し、その映像フレーム識別情報を映像フレーム格納変数に代入する。ステップＳ３０７では、映像フレーム判別部２２６が、映像フレームバッファメモリ２２４に既に格納されている映像フレームのうち最後に格納された映像フレーム（以下、直前の映像フレームとして参照する。）と、ステップＳ３０６で映像フレーム格納変数に格納された映像フレーム識別情報が示す映像フレームとが同一であるか否か判断する。ステップＳ３０７の判定で映像フレームが同一であると判断した場合には（ｙｅｓ）、処理をステップＳ３０４に分岐させ、一方、映像フレームが相違すると判断した場合には（ｎｏ）、処理をステップＳ３０９に分岐させる。
【００６３】
ステップＳ３０９では、映像フレーム判別部２２６は、映像フレーム管理部２２２を介して、映像フレーム格納変数が示す映像フレーム識別情報と当該映像フレーム識別情報が示す映像フレームとを映像フレームバッファメモリ２２４に追加する。ステップＳ３１０では、スナップショット履歴情報処理部２２８が、スナップショット履歴情報データベース２３０内のスナップショット履歴情報テーブルを参照し、映像フレーム格納変数に代入された映像フレーム識別情報が示す最新の映像フレームと同一の映像フレームが存在するか否か判断する。
【００６４】
本実施形態では、スナップショット履歴情報処理部２２８は、映像フレーム判別部２２６が実行する映像フレームの同一性の判別方法を採用することができ、スナップショット履歴情報テーブルに登録された映像フレーム識別情報が示す映像フレームを映像フレームバッファメモリ２２４から順次取得し、当該方法を用いて最新の映像フレームと比較をする。また、他の実施形態では、スナップショット履歴情報処理部２２８が、映像フレーム判別部２２６に対して映像フレームの同一性を判別させることもでき、映像フレーム判別部２２６は、スナップショット履歴情報テーブルに登録された映像フレーム識別情報が示す映像フレームを映像フレームバッファメモリ２２４から順次取得して、最新の映像フレームと比較をする。
【００６５】
ステップＳ３１０の判定で映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在しないと判断した場合には（ｎｏ）、処理をステップＳ３１１に分岐させる。ステップＳ３１１では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８に描画画像構成情報が保存されているか否か判断する。描画画像構成情報が保存されていない場合には（ｎｏ）、処理をステップＳ３１４に分岐させる。一方、描画画像構成情報が保存されている場合には（ｙｅｓ）、処理をステップＳ３１２に分岐させる。
【００６６】
ステップＳ３１２では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８から最新の描画画像構成情報を取得し、映像フレーム格納変数が示す映像フレーム識別情報と関連付けてスナップショット履歴情報テーブルに登録する。ステップＳ３１３では、スナップショット履歴情報処理部２２８は、スナップショット情報格納部２１８に保存されている描画画像構成情報を削除する。
【００６７】
ステップＳ３１４では、スナップショット履歴情報処理部２２８は、モード切替制御部２３８に対して画像表示装置の動作モードを第１の状態に切り替える旨の命令を送信し、モード切替制御部２３８が動作モードを切り替える。ステップＳ３１４の処理が終了すると、ステップＳ３０４の処理が実行される。
【００６８】
一方、ステップＳ３１０の判定で映像フレーム格納変数が示す映像フレームと同一の映像フレームが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ３１５に分岐させる。ステップＳ３１５では、スナップショット履歴情報処理部２２８は、スナップショット履歴情報テーブルを参照して、ステップＳ３１０で同一と判断した映像フレームに関連付けられた描画画像構成情報を取得し、スナップショット情報格納部２１８に保存する。これにより、過去に画像表示装置に表示された背景画像が再び表示された場合、その背景画像に関連付けられた描画画像を当該背景画像と共に再度表示することができる。
【００６９】
ステップＳ３１６では、スナップショット履歴情報処理部２２８は、モード切替制御部２３８に対して画像表示装置の動作モードを第２の状態に切り替える旨の命令を送信し、モード切替制御部２３８が動作モードを切り替える。ステップＳ３１６の処理が終了すると、ステップＳ３０４の処理が実行される。
【００７０】
図４は、本実施形態の画像表示装置の使用状態を示す図である。画像表示装置４００の表示部には、ＰＣ４２０に表示された映像フレーム４２２と同一の映像フレーム４１０と、ユーザが描いた描画画像４１２とが重畳して表示されている。本実施形態では、描画画像４１２の接触位置座標は、画像表示装置４２０の表示部の左上点を原点とする座標値として与えられる。
【００７１】
図５は、本実施形態の画像表示装置が使用するスナップショット履歴情報テーブル５００を示す。スナップショット履歴情報テーブル５００は、登録時間５１０と、映像フレーム識別情報５１２と、描画画像構成情報５１４とが関連付けて登録される。
【００７２】
登録時間５１０は、スナップショット情報がスナップショット履歴情報データベース２３０に登録された時間である。図５に示す実施形態では、スナップショット情報が西暦の日付で秒単位まで表されている。他の実施形態では、和暦を用いて登録時間を表してもよく、またミリ秒単位で表してもよい。
【００７３】
映像フレーム識別情報５１２は、画像表示装置が受信した映像フレームを固有に識別可能な情報である。図５に示す実施形態では、映像フレーム識別情報として、数字列および映像フレームの保存形式を示す文字列の結合を使用しているが、他の実施形態では、他の数字列、文字列および／またはこれらの結合を使用してもよい。
【００７４】
描画画像構成情報５１４は、ユーザがタッチパネルを使用して描いた描画画像を構成する情報である。描画画像構成情報は、ユーザがタッチパネルに接触した位置を示す情報を含んでおり、画像表示装置の表示部上の座標値を使用して表すことができる。図５に示す実施形態では、描画画像構成情報として描画画像を表示すべき座標値のみが示されているが、他の実施形態では、座標値に加えて、描画画像の表示色や線分の太さ等の描画画像の属性情報を映像フレーム識別情報と関連付けて登録してもよい。
【００７５】
図６は、本実施形態の画像表示装置２００が有するアプリケーション２４０の機能構成を示す図である。以下、図６を参照して、アプリケーション２４０の機能構成について説明する。
【００７６】
アプリケーション２４０は、表示制御部６１０と、類似度算出部６１２と、記憶装置６１４と、パラメータ取得部６１６と、クラスタリング部６１８とを含んで構成される。
【００７７】
表示制御部６１０は、ユーザが既に表示された表示画像であるスナップショットを選択的に表示するＵＩ画面を生成して表示部２５０に表示させる。表示制御部６１０は、ＵＩ画面を生成する場合、実際にＵＩ画面に表示されるスナップショット群やスナップショットに関する情報（以下、「表示情報」とする。）を、ＲＡＭやキャッシュ等の記憶装置の記憶領域（以下、「表示情報保存領域」とする。）に保存する。
【００７８】
本実施形態の表示情報保存領域には、（１）ＵＩ画面のオブジェクトとして表示されるスナップショット群の識別情報やスナップショットの識別情報、（２）ユーザが選択したスナップショット群の識別情報またはスナップショットの識別情報、（３）ＵＩ画面上に表示されるスナップショット群またはスナップショットの配置情報（例えば、左側、中央、右側等の配置情報）、（４）スナップショット群の最前面に表示されるスナップショットの識別情報が保存される。
【００７９】
表示制御部６１０は、ユーザがＵＩ画面上でタッチパネルに接触することによって生成された接触位置座標をタッチパネル制御部２３２から取得し、当該接触位置座標を用いて、ユーザがＵＩ画面で行った操作内容を判断することができる。表示制御部６１０は、ユーザの操作内容に応じて、後述する各種処理を実行する。
【００８０】
本実施形態では、ＵＩ画面は種々のオブジェクトで構成されており、表示制御部６１０は、各オブジェクトが有する座標領域と接触位置座標とを比較し、当該接触位置座標がオブジェクトの座標領域に含まれるか否か判断することにより、いずれのオブジェクトが選択されたか判断し、選択されたオブジェクトの種類により、ユーザが行った操作内容を判断することができる。なお、表示制御部６１０が生成するＵＩ画面やそのオブジェクト、これに関連付けられた操作内容については、より詳細に後述する。
【００８１】
類似度算出部６１２は、スナップショット相互の類似度を示す値（以下、「類似度値」とする。）を算出する機能手段である。類似度算出部６１２は、スナップショット格納部２４２からスナップショットを取得し、スナップショットの類似度値を算出する。本実施形態では、類似度算出部６１２は、ユーザが選択した分類条件に応じて、以下の数式２〜数式４を使用して類似度値を算出する。本実施形態では、算出された類似度値が低い程、スナップショット相互の類似度は高く、各スナップショットは類似する。
【００８２】
類似度算出部６１２は、分類条件としてスナップショットの生成時間の近似性によって分類する条件である「時間」が選択されている場合、数式２を使用して類似度値を算出する。
【００８３】
【数２】
ここで、ｔａは、第１のスナップショットＡの生成時間を示し、ｔａは、第２のスナップショットＢの生成時間を示す。本実施形態では、第１のスナップショットＡと第２のスナップショットＢとの生成時間の差分時間ｔを類似度値として使用する。
【００８４】
類似度算出部６１２は、分類条件としてスナップショットの類似性によって分類する条件である「背景」が選択されている場合、数式３を使用して類似度値を算出する。
【００８５】
【数３】
ここで、ｄは、比較すべきスナップショット間のカラーヒストグラムのユークリッド距離を示す。Ｒ，Ｇ，Ｂは、各色区間の色分布の範囲を示し、Ａ（ｒ，ｇ，ｂ）およびＢ（ｒ，ｇ，ｂ）は、第１のスナップショットＡおよび第２のスナップショットＢの色分布の範囲における画素数を示す。本実施形態では、第１のスナップショットＡと、第２のスナップショットＢとのカラーヒストグラムのユークリッド距離ｄを類似度値として使用する。
【００８６】
類似度算出部６１２は、分類条件として「時間」および「背景」が選択されている場合、数式４を使用して類似度値を算出する。
【００８７】
【数４】
ここで、ｔは、数式２で導出される差分時間を示し、ｄは、数式３で導出されるユークリッド距離を示す。μｔはｔの平均を示し、δｔはｔの標準偏差を示す。μｄはｄの平均を示し、δｄはｄの標準偏差を示す。本実施形態では、スナップショットの差分時間と、ユークリッド距離とを正規化した値の和を類似度値として使用する。
【００８８】
本実施形態では、スナップショット格納部２４２に格納されたスナップショットには、新たに保存された未だ類似度値が算出されていないスナップショットであることを示す情報がメタデータとして付加されており、類似度算出部６１２は、新たに保存されたスナップショットと、スナップショット格納部２４２に格納された他のスナップショットとの類似度値を算出する。類似度算出部６１２は、算出したスナップショットの類似度値を記憶装置６１４に格納された類似度テーブルに保存する。
【００８９】
パラメータ取得部６１６は、ＵＩ画面を用いてユーザが指定したパラメータを取得する機能手段である。表示制御部６１０は後述するクラスタリング処理で使用されるパラメータを指定するＵＩ画面上のオブジェクトが選択されると、当該パラメータをパラメータ取得部６１６に提供し、パラメータ取得部６１６は、当該パラメータを保存すべきＲＡＭやキャッシュ等の記憶装置の記憶領域（以下、「パラメータ保存領域」とする。）一時的に保存する。本実施形態では、パラメータとして、後述するクラスタリング処理の対象となるスナップショットの識別情報、分類条件および類似度値がパラメータ保存領域に保存される。
【００９０】
クラスタリング部６１８は、スナップショット格納部２４２に保存されているスナップショットをクラスタリングする機能手段である。クラスタリングとは、ユーザが指定した分類条件および類似度値に応じて、スナップショットを分類する処理である。クラスタリング部６１８は、ＵＩ画面に表示されている或るスナップショットを基準とし、記憶装置６１４に格納された類似度テーブルを参照し、ユーザが指定した分類条件および類似度値を用いてスナップショットをクラスタリングする。
【００９１】
クラスタリング部６１８は、クラスタリングの結果をＲＡＭやキャッシュ等の記憶装置の記憶領域（以下、「クラスタリング結果保存領域」とする。）に保存する。本実施形態では、クラスタリング結果保存領域には、クラスタリング処理結果として生成されたスナップショット群の識別情報と、当該スナップショット群を構成するスナップショットのスナップショット識別情報とが関連付けて保存される。そして、表示制御部６１０は、クラスタリング結果保存領域を参照し、分類されたスナップショット群毎に、当該スナップショット群を構成するスナップショットのサブネイルを、その生成時間の降順で重畳したＵＩ画面を生成することができる。
【００９２】
図７は、本実施形態の画像表示装置２００が有するアプリケーション２４０が実行する処理を示すフローチャートである。以下、図７を参照して、アプリケーション２４０が実行する処理について説明する。
【００９３】
図７の処理は、アプリケーション２４０が起動することによりステップＳ７００で開始する。ステップＳ７０１では、アプリケーション２４０の類似度算出部６１２が、スナップショット格納部２４２に格納されたスナップショットの類似度値を算出し、記憶装置６１４に格納されている類似度テーブルに登録する。ステップＳ７０２では、表示制御部６１０がクラスタリング部６１８を呼び出し、クラスタリング部６１８は、所定の分類条件に対応する類似度テーブルを参照し、特定のスナップショットを基準スナップショットとして所定の類似度値でスナップショットに対して、図１０に示すクラスタリング処理を実行する。
【００９４】
ステップＳ７０３では、表示制御部６１０が、クラスタリングしたスナップショット群を表示するＵＩ画面を生成し、ＵＩ画面に表示するスナップショット群の識別情報およびこれを構成するスナップショットの識別情報を表示情報保存領域に保存する。そして、表示制御部６１０は、当該ＵＩ画面を表示画面生成部２３６に提供して画像表示装置２００の表示部２５０に初期画面を表示させる。
【００９５】
本実施形態では、初期画面を生成時に、所定の分類条件および類似度値を使用してスナップショットをクラスタリングすることができる。このとき、クラスタリング処理において類似度の判断の基準となるスナップショット（以下、「基準スナップショット」とする。）として任意のスナップショットを採用することができる。本実施形態では、スナップショット識別情報を参照し、生成時間が最新のスナップショットを基準スナップショットとする。
【００９６】
ステップＳ７０４では、表示制御部６１０は、タッチパネル制御部２３２から接触位置座標を受信したか否か判断する。接触位置座標を受信していないと判断した場合には（ｎｏ）、ステップＳ７０４の処理を反復させる。一方、接触位置座標を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ７０５に分岐させる。ステップＳ７０５では、表示制御部６１０は、接触位置座標を使用して、ＵＩ画面を構成するオブジェクトが選択されたか否か判断する。オブジェクトが選択されていないと判断した場合には（ｎｏ）、処理をステップＳ７０４に分岐させる。一方、オブジェクトが選択されたと判断した場合には（ｙｅｓ）、処理をステップＳ７０６に分岐させる。
【００９７】
ステップＳ７０６では、表示制御部６１０は、選択されたオブジェクトの種類からユーザがＵＩ画面を用いて行った操作内容を判断する。操作内容がスナップショットのスクロール指示であると判断した場合、処理をステップＳ７０７に分岐させる。ステップＳ７０７では、表示制御部６１０は、スクロール指示に応じたＵＩ画面を生成し、ＵＩ画面に表示するスナップショット群の識別情報および／またはスナップショットの識別情報をこれらの配置情報と共に、表示情報記憶領域に保存する。そして、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、処理をステップＳ７０４に戻す。
【００９８】
ステップＳ７０６の判定で、操作内容がスナップショットの拡大表示の指示であると判断した場合、処理をステップＳ７０８に分岐させる。本実施形態では、同一のスナップショットが短時間に連続して選択されたときに、当該スナップショットの拡大表示が指示されていると判断する。具体的には、ステップＳ７０４で同一のスナップショットの接触位置座標を所定の時間内に２つ受信した場合には、当該スナップショットの拡大表示が指示されていると判断することができる。ステップＳ７０８では、表示制御部６１０は、ユーザが選択したスナップショットを拡大表示したＵＩ画面を生成し、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、処理をステップＳ７０４に戻す。
【００９９】
ステップＳ７０６の判定で、操作内容がスナップショット群の選択であると判断した場合、処理をステップＳ７０９に分岐させる。ステップＳ７０９では、表示制御部６１０は、選択されたオブジェクトの種類（例えば、画面左側のスナップショット群を表示するオブジェクト、画面中央のスナップショット群を表示するオブジェクト、画面右側のスナップショット群を表示するオブジェクト）からいずれのスナップショット群またはスナップショットが選択されたか否か判断し、ユーザが選択したスナップショット群またはスナップショットが選択されている状態のＵＩ画面を生成する。そして、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新する。ステップＳ７１０では、表示制御部６１０は、表示情報保存領域を参照して、スナップショット群の配置情報から当該選択されたスナップショット群またはスナップショットの識別情報を特定し、ユーザが選択したスナップショット群またはスナップショットの識別情報として、表示情報保存領域に保存し、処理をステップＳ７０４に戻す。
【０１００】
ステップＳ７０６の判定で、操作内容が分類条件の選択または類似度値の変更であると判断した場合、処理をステップＳ７１１に分岐させる。ステップＳ７１１では、表示制御部６１０は、当該分類条件および類似度値に基づいて、ＵＩ画面に表示されているスナップショットを変更するスナップショット表示変更処理を実行し、処理をステップＳ７０４に戻す。なお、スナップショット表示変更処理については、図８を参照して詳細に説明する。
【０１０１】
ステップＳ７０６の判定で、操作内容がアプリケーション２４０の終了指示であると判断した場合、処理をステップＳ７１２に分岐させ、アプリケーション２４０が終了する。
【０１０２】
図８は、本実施形態の画像表示装置２００が有するアプリケーション２４０が実行するスナップショット表示変更処理を示すフローチャートである。以下、図８を参照してスナップショット表示変更処理について説明する。
【０１０３】
図８の処理は、ステップＳ８００から開始し、ユーザの行った操作内容が分類条件の選択である場合、処理をステップＳ８０１に分岐させる。一方、ユーザがした操作内容が類似度値の変更である場合、処理をステップＳ８０８に分岐させる。
【０１０４】
ステップＳ８０１では、表示制御部６１０は、ユーザが指定した分類条件（すなわち、時間、背景、または時間および背景）のオブジェクトが選択されている状態のＵＩ画面を生成する。ステップＳ８０２では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新する。ステップＳ８０３では、表示制御部６１０は、クラスタリング対象であるスナップショット格納部２４２に保存されているスナップショットの識別情報、ＵＩ画面で指定された分類条件および類似度値をパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらの情報をパラメータ保存領域に一時的に保存する。
【０１０５】
ステップＳ８０４では、クラスタリング部６１８は、表示情報保存領域を参照し、基準スナップショットを特定する。本実施形態では、ＵＩ画面に表示されているスナップショットのうちＵＩ画面の中央最前面に表示されているスナップショットを基準スナップショットとすることができる。他の実施形態では、ＵＩ画面に表示されたスナップショット群の中からユーザが指定したスナップショットを基準スナップショットとしてもよい。
【０１０６】
ステップＳ８０５では、クラスタリング部６１８は、スナップショット格納部２４２に保存されているスナップショットについて、図１０を参照して説明するクラスタリング処理を実行する。ステップＳ８０６では、表示制御部６１０は、クラスタリング処理の結果を反映したＵＩ画面を生成し、ＵＩ画面上に表示するスナップショット群の識別情報および／またはスナップショットの識別情報をこれらの配置情報と共に、表示情報記憶領域に保存する。ステップＳ８０７では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、ステップＳ８１９で処理が終了する。
【０１０７】
ステップＳ８０８では、表示制御部６１０は、ユーザが指定した位置に類似度値を指定するオブジェクトが表示されている状態のＵＩ画面を生成する。ステップＳ８０９では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新する。ステップＳ８１０では、表示制御部６１０は、表示情報記憶領域を参照し、ＵＩ画面上のスナップショット群が選択されているか判断する。ＵＩ画面上のスナップショット群が選択されていると判断した場合には（ｙｅｓ）、処理をステップＳ８１１に分岐させる。
【０１０８】
ステップＳ８１１では、表示制御部６１０は、クラスタリング対象であるスナップショットのスナップショット識別情報、指定された分類条件および類似度値をパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらの情報をパラメータ保存領域に一時的に保存する。本実施形態では、ステップＳ８１０で選択されていると判断したスナップショット群を構成するスナップショットをクラスタリング処理の対象とする。
【０１０９】
ステップＳ８１２では、選択されたスナップショット群の中から基準スナップショットを特定する。本実施形態では、当該スナップショット群のうちＵＩ画面の最前面に表示されたスナップショットを基準スナップショットとすることができる。他の実施形態では、当該選択されたスナップショット群の中からユーザが指定したスナップショットを基準スナップショットとしてもよい。
【０１１０】
ステップＳ８１３では、クラスタリング部６１８が、ＵＩ画面上で選択されているスナップショット群に対して、図１０に示すクラスタリング処理を実行する。
【０１１１】
一方、ステップＳ８１０の判定でＵＩ画面上のスナップショット群が選択されていないと判断した場合には（ｎｏ）、処理をステップＳ８１４に分岐させる。ステップＳ８１４では、表示制御部６１０は、クラスタリング対象であるスナップショット格納部２４２に保存されているスナップショットの識別情報、ＵＩ画面で指定された分類条件および類似度値をパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらの情報をパラメータ保存領域に一時的に保存する。
【０１１２】
ステップＳ８１５では、ＵＩ画面に表示されたスナップショット群の中から基準スナップショットを特定する。本実施形態では、ＵＩ画面の中央最前面に表示されたスナップショットを基準スナップショットとすることができる。他の実施形態では、ＵＩ画面に表示されたスナップショット群の中からユーザが指定したスナップショットを基準スナップショットとしてもよい。
【０１１３】
ステップＳ８１６では、クラスタリング部６１８は、スナップショット格納部２４２に保存されているスナップショットについて、図１０に示すクラスタリング処理を実行する。ステップＳ８１７では、表示制御部６１０は、クラスタリング処理の結果を反映したＵＩ画面を生成し、ＵＩ画面上に表示するスナップショット群の識別情報および／またはスナップショットの識別情報をこれらの配置情報と共に、表示情報記憶領域に保存する。ステップＳ８１８では、表示制御部６１０は、当該ＵＩ画面を表示画像生成部２３６に提供して表示部２５０の表示画面を更新し、ステップＳ８１９で処理が終了する。
【０１１４】
図９は、本実施形態のアプリケーションが使用する類似度テーブル９００を示す。本実施形態では、スナップショット格納部２４２に保存されているスナップショットに対して、上記数式２〜数式４を使用して算出した類似度値が類似度テーブルにされ、分類条件の種別に対応する類似度テーブル、すなわち、時間用の類似度テーブル、背景用の類似テーブル、時間および背景用の類似テーブルが使用される。
【０１１５】
類似度テーブル９００では、スナップショット格納部２４２に保存されたスナップショットのスナップショット識別情報と、スナップショット相互の類似度値とが登録される。例えば、スナップショット識別情報「2011.1.12.10:02:42.bmp」が示すスナップショットと、スナップショット識別情報「2011.1.12.10:02:43.bmp」が示すスナップショットとの類似度値は、「０．３」である。
【０１１６】
アプリケーション２４０は、基準スナップショットと、ユーザがＵＩ画面で指定した類似度値と、類似度テーブル９００に登録されている類似度値とを使用して、スナップショットをクラスタリングする。具体的には、スナップショット識別情報「2011.1.12.10:02:45.bmp」が示すスナップショットを基準とし、ユーザが指定した類似度値が「１．０」である場合、アプリケーション２４０は、先ず類似度値が「０」以上「１．０」未満の範囲にあるスナップショットを抽出する。図９に示す実施形態では、スナップショット識別情報「2011.1.12.10:02:42.bmp」および「2011.1.12.10:02:43.bmp」が示すスナップショットの類似度値が、当該範囲に含まれるため、これらのスナップショットが同一のクラスタに分類される。
【０１１７】
次いで、アプリケーション２４０は、類似度値が「１．０」以上「２．０」未満の範囲にあるスナップショットを抽出する。図９に示す実施形態では、当該範囲に含まれるスナップショットが存在しないため、アプリケーション２４０は、次の類似度値の範囲である「２．０」以上「３．０」未満の範囲についてクラスタリングを行う。図９に示す実施形態では、スナップショット識別情報「2011.1.12.10:02:44.bmp」が示すスナップショットの類似度値が、上記範囲に含まれるため、当該スナップショットが同一のクラスタに分類される。アプリケーション２４０は、クラスタリングの対象のスナップショットが総て分類されるまで上述した処理を繰り返し実行し、スナップショットをクラスタリングする。
【０１１８】
図９に示す実施形態では、スナップショット識別情報として、スナップショットが保存された時刻情報とスナップショットの保存形式との結合を使用しているが、他の実施形態では、他の数字列、文字列および／またはこれらの結合を使用してもよい。
【０１１９】
図１０は、本実施形態の画像表示装置２００が有するアプリケーション２４０が実行するスナップショットのクラスタリング処理を示すフローチャートである。以下、図１０を参照してクラスタリング処理について説明する。
【０１２０】
図１０の処理は、ステップＳ１０００から開始し、ステップＳ１００１でクラスタリング部６１８が、パラメータ保存領域を参照し、分類条件の種類を判断する。分類条件が「時間」であると判断した場合、処理をステップＳ１００２に分岐させる。
【０１２１】
ステップＳ１００２では、クラスタリング部６１８は、時間用の類似度テーブルを参照し、パラメータ保存領域に格納されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１２２】
ステップＳ１００３では、クラスタリング部６１８は、パラメータ保存領域に保存されたクラスタリング対象のスナップショットのスナップショット識別情報と、クラスタリング結果保存領域に保存された既にクラスタリングされたスナップショットのスナップショット識別情報とを使用して、クラスタリング対象のスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１０１１に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１００４に分岐させる。
【０１２３】
ステップＳ１００４では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１００２でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１００３に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１００４の処理を反復させる。
【０１２４】
ステップＳ１００１の判定で分類条件が「背景」であると判断した場合、処理をステップＳ１００５に分岐させる。ステップＳ１００５では、クラスタリング部６１８は、背景用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショットの識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１２５】
ステップＳ１００６では、クラスタリング部６１８は、ステップＳ１００３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１０１１に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１００７に分岐させる。
【０１２６】
ステップＳ１００７では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１００５でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１００６に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１００７の処理を反復させる。
【０１２７】
ステップＳ１００１の判定で分類条件が「時間」および「背景」であると判断した場合、処理をステップＳ１００８に分岐させる。ステップＳ１００８では、クラスタリング部６１８は、時間および背景用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１２８】
ステップＳ１００９では、クラスタリング部６１８は、ステップＳ１００３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１０１１に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１０１０に分岐させる。
【０１２９】
ステップＳ１０１０では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１００８でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間および背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１００９に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１０１０の処理を反復させる。
【０１３０】
図１１は、本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の一実施形態を示す図である。図１１に示すＵＩ画面１１００では、ＵＩ画面を構成する種々のオブジェクトが配置される。
【０１３１】
オブジェクト１１１０，１１１２，１１１４は、クラスタリング処理によって分類されたスナップショット群またはスナップショットである。当該オブジェクトは、当該スナップショット群を構成するスナップショットのサブネイルが重畳して形成される。本実施形態では、スナップショット群は、時系列に配列して表示されると共に、スナップショットのサブネイルは、その生成時間の降順で重畳表示される。この場合、アプリケーション２４０は、各スナップショット群の最前面に配置される最新のスナップショットの生成時間を比較し、スナップショット群を時系列表示することができる。他の実施形態では、スナップショット群内のスナップショットのサブネイルを生成時間の昇順で表示してもよい。さらに他の実施形態では、スナップショットの類似度順でサブネイルを表示してもよい。
【０１３２】
オブジェクト１１１６，１１１８は、ＵＩ画面１１００に表示されたスナップショット群またはスナップショットをスクロールさせるオブジェクトである。当該オブジェクトが選択されると、その時点でＵＩ画面１１００に表示されていない他のスナップショット群またはスナップショットが表示される。
【０１３３】
オブジェクト１１２０，１１２２は、クラスタリング処理で使用する分類条件を指定するオブジェクトである。オブジェクト１１２０は、分類条件「時間」を選択するチェックボックスであり、オブジェクト１１２２は、分類条件「背景」を選択するチェックボックスである。本実施形態では、ユーザがオブジェクト１１２０，１１２２を選択すると、これらのチェックボックスにチェックマークが表示される。他の実施形態では、ユーザが選択したチェックボックスの表示色を変更して、選択の有無を明示してもよい。
【０１３４】
オブジェクト１１２４は、クラスタリング処理で使用する類似度値を指定するオブジェクトである。オブジェクト１１２４は、スライドバー１１２６に沿って左右に移動表示させることができる。スライドバー１１２６には、その位置座標に関連付けて類似度値が割り当てられており、ユーザが触れたスライドバー１１２６上の位置座標に対応する類似度値を、指定された類似度値とすることができる。
【０１３５】
ＵＩ画面１１００では、スライドバー１１２６の左側を指定するとクラスタリングの精度が細かくなり、右側を指定すると精度が粗くなるように構成される。他の実施形態では、精度の指定方法の左右を反対に構成してもよい。ユーザは、オブジェクト１１２４およびスライドバー１１２６を使用することにより、スナップショットのクラスタリングの精度や粒度を指定することができる。
【０１３６】
本実施形態のアプリケーション２４０は、クラスタリングの精度を最細に指定された場合、オブジェクト１１１０，１１１２，１１１４が１のスナップショットで構成されるようにＵＩ画面１１００を生成する。一方、クラスタリングの精度を最細に指定された場合、アプリケーション２４０は、総てのスナップショットを１のスナップショット群とするオブジェクト１１１２が表示されるＵＩ画面１１００を生成する。
【０１３７】
図１２は、本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面の他の実施形態を示す図である。図１２に示すＵＩ画面１２００では、図１１に示すＵＩ画面１１００と同様に、ＵＩ画面を構成する種々のオブジェクトが配置される。なお、オブジェクト１２１０〜１２１８は、ＵＩ画面１１００に含まれるオブジェクト１１１０〜１１１８と同様であるため、以下、説明を省略する。
【０１３８】
オブジェクト１２２０は、クラスタリング処理で使用する第１の分類条件を指定するオブジェクトである。オブジェクト１２２０は、ドロップダウンリストで構成されている。オブジェクト１２２０には、分類条件として「時間」または「背景」が表示され、ユーザが選択的に分類条件を指定することができる。
【０１３９】
オブジェクト１２２４は、第１の分類条件に対応する類似度値を指定するオブジェクトである。オブジェクト１２２４は、図１１に示す実施形態と同様に、スライドバー１２２６に沿って左右に移動表示させることができ、ユーザが触れたスライドバー１２２６上の位置座標に対応する類似度値を、指定された類似度値とすることができる。
【０１４０】
オブジェクト１２２２は、クラスタリング処理で使用する第２の分類条件を指定するオブジェクトである。オブジェクト１２２２は、ドロップダウンリストで構成されている。オブジェクト１２２２には、分類条件として「時間」、「背景」または「×」が表示され、ユーザが選択的に分類条件を指定し、または未指定とすることができる。
【０１４１】
オブジェクト１２２８は、第２の分類条件に対応する類似度値を指定するオブジェクトである。オブジェクト１２２８は、図１１に示す実施形態と同様に、スライドバー１２３０に沿って左右に移動表示させることができ、ユーザが触れたスライドバー１２３０上の位置座標に対応する類似度値を、指定された類似度値とすることができる。
【０１４２】
本実施形態では、表示制御部６１０は、第１の分類条件および類似度値と、第２の分類条件および類似度値とをパラメータ取得部６１６に提供し、パラメータ取得部６１６は、これらのパラメータをパラメータ記憶領域に一時的に保存する。クラスタリング部６１８は、パラメータ記憶領域から、第１の分類条件および類似度値と、第２の分類条件および類似度値とを取得し、第１の分類条件を優先してスナップショットを分類する。
【０１４３】
図１３は、図１２に示すＵＩ画面を生成するアプリケーション２４０が実行するクラスタリング処理の他の実施形態を示すフローチャートである。以下、図１３を参照してクラスタリング処理の他の実施形態について説明する。
【０１４４】
図１３の処理は、ステップＳ１３００から開始し、ステップＳ１３０１でクラスタリング部６１８が、パラメータ保存領域を参照し、第１の分類条件を判断する。第１の分類条件が「時間」であると判断した場合、処理をステップＳ１３０２に分岐させる。一方、第１の分類条件が「背景」であると判断した場合、処理をステップＳ１３０９に分岐させる。
【０１４５】
ステップＳ１３０２では、クラスタリング部６１８は、時間用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１４６】
ステップＳ１３０３では、クラスタリング部６１８は、パラメータ保存領域に保存されたクラスタリング対象のスナップショットのスナップショット識別情報と、クラスタリング結果保存領域に保存された既にクラスタリングされたスナップショットのスナップショット識別情報とを使用して、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。
【０１４７】
総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３０４に分岐させる。ステップＳ１３０４では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３０２でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３０３に戻す。クラスタリング部６１８は、クラスタリング対象の総てのスナップショットが分類されるまで、ステップＳ１３０４の処理を反復させる。
【０１４８】
一方、ステップＳ１３０３の判定で、総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３０５に分岐させる。ステップＳ１３０５では、クラスタリング部６１８は、パラメータ保存領域を参照し、第２の分類条件を判断する。第２の分類条件が「時間」または「無し」であると判断した場合、処理をステップＳ１３１６に分岐させて終了させる。一方、第２の分類条件が「背景」であると判断した場合、処理をステップＳ１３０６に分岐させる。
【０１４９】
ステップＳ１３０６では、クラスタリング部６１８は、背景用の類似度テーブルを参照し、上記ステップＳ１３０２およびステップＳ１３０４の処理でクラスタリングしたスナップショット群について、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１５０】
ステップＳ１３０７では、クラスタリング部６１８は、ステップＳ１３０３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３１６に分岐させて終了させる。一方、総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３０８に分岐させる。
【０１５１】
ステップＳ１３０８では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３０６でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だ分類条件「背景」でクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類して、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３０７に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１３０８の処理を反復させる。
【０１５２】
ステップＳ１３０９では、クラスタリング部６１８は、背景用の類似度テーブルを参照し、パラメータ保存領域に保存されたスナップショット識別情報および類似度値を使用して、クラスタリング対象のスナップショットについて、ＵＩ画面で指定された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１５３】
ステップＳ１３１０では、クラスタリング部６１８は、ステップＳ１３０３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。総てのスナップショットが分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３１１に分岐させる。ステップＳ１３１１では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３０９でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、背景用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３１０に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１３１１の処理を反復させる。
【０１５４】
一方、ステップＳ１３１０の判定で、スナップショットが総て分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３１２に分岐させる。ステップＳ１３１２では、クラスタリング部６１８は、パラメータ保存領域を参照し、第２の分類条件を判断する。第２の分類条件が「背景」または「無し」であると判断した場合、処理をステップＳ１３１６に分岐させて終了させる。一方、第２の分類条件が「時間」であると判断した場合、処理をステップＳ１３１３に分岐させる。
【０１５５】
ステップＳ１３１３では、クラスタリング部６１８は、時間用の類似度テーブルを参照し、クラスタリング結果保存領域を参照し、上記ステップＳ１３０９およびステップＳ１３１１の処理で分類したスナップショット群について、パラメータ保存領域に保存された類似度値に基づく類似度値範囲にあるスナップショットを生成時間順に分類する。そして、分類されたスナップショット群の識別情報および当該スナップショット群を構成するスナップショットのスナップショット識別情報をクラスタリング結果保存領域に保存する。
【０１５６】
ステップＳ１３１４では、クラスタリング部６１８は、ステップＳ１３０３と同様に、クラスタリング対象であるスナップショットが総て分類されたか否か判断する。スナップショットが総て分類されていないと判断した場合には（ｎｏ）、処理をステップＳ１３１５に分岐させる。
【０１５７】
ステップＳ１３１５では、クラスタリング部６１８は、パラメータ保存領域に保存されたスナップショット識別情報と、ステップＳ１３１３でクラスタリング結果保存領域に保存されたスナップショット識別情報とを使用して、未だ分類条件「時間」でクラスタリングしていないスナップショットを判断する。そして、クラスタリング部６１８は、時間用の類似度テーブルを参照し、当該スナップショットについて、パラメータ保存領域に保存された類似度値に基づく別の類似度値範囲にあるスナップショットを生成時間順に分類し、その結果をクラスタリング結果保存領域に保存し、処理をステップＳ１３１４に戻す。クラスタリング部６１８は、クラスタリング対象のスナップショットが総て分類されるまで、ステップＳ１３１５の処理を反復させる。
【０１５８】
一方、ステップＳ１３１４の判定で、総てのスナップショットが分類されたと判断した場合には（ｙｅｓ）、処理をステップＳ１３１６に分岐させて終了させる。
【０１５９】
本実施形態では、一方の分類条件でクラスタリングした総てのスナップショット群について、他方の分類条件で追加的にクラスタリングを行う。他の実施形態では、既にクラスタリングされたスナップショット群のうちのいずれかについて、再度、クラスタリングを行うようにしてもよい。
【０１６０】
本実施形態では、双方の分類条件でクラスタリングが実行された場合、アプリケーション２４０は、追従的に実行されたクラスタリングの結果を使用してＵＩ画面を生成する。これにより、双方の分類条件を考慮したクラスタリングに基づいて、ＵＩ画面上にスナップショット群を表示させることができる。
【０１６１】
図１４は、本実施形態のアプリケーションが画像表示装置に表示するＵＩ画面のさらに他の実施形態を示す図である。図１４に示すＵＩ画面１４００では、図１１に示すＵＩ画面１１００と同様に、ＵＩ画面を構成する種々のオブジェクトが配置される。なお、オブジェクト１４１０〜１４２６は、ＵＩ画面１１００に含まれるオブジェクト１１１０〜１１２６と同様であるため、以下、説明を省略する。
【０１６２】
オブジェクト１４２８は、ＵＩ画面上に表示すべきスナップショット群の配列順序を選択的に指定可能なオブジェクトである。オブジェクト１４２８は、スナップショット群の配列順序として、時系列および類似度順を選択することができる。本実施形態のアプリケーション２４０の表示制御部６１０は、オブジェクト１４２８で指定されたスナップショット群の配列順序に従い、クラスタリングされたスナップショット群を時系列または類似度順で配列したＵＩ画面を生成する。このとき、表示制御部６１０は、各スナップショット群の最前面に配置すべきスナップショット（例えば、同一スナップショット群のうち生成時間が最新のスナップショットや最古のスナップショット、類似度値が最大のスナップショットや類似度値が最小のスナップショットなど）の生成時間または類似度値を比較して、スナップショット群を時系列順または類似度順で表示することができる。
【０１６３】
本実施形態では、ユーザが、クラスタリングされたスナップショット群の配列順序を自由に選択することができるため、スナップショットの検索容易性を向上させることができる。
【０１６４】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【０１６５】
１００…画像表示システム、１１０…画像表示装置、１１２…表示部、１１４…操作ボタン、１１６…操作ボタン、１１８…映像フレーム入力部、１２０…ユーザＰＣ、１２２…ケーブル
【先行技術文献】
【特許文献】
【０１６６】
【特許文献１】特開２００８−３３３９３号公報
【特許請求の範囲】
【請求項１】
映像フレームを表示する画像表示装置であって、前記画像表示装置は、
映像フレームを提供する映像フレーム提供装置から映像フレームを受信する手段と、
前記映像フレームを表示する表示手段と、
前記映像フレームに重畳して描画される描画画像の構成情報である前記表示手段上の接触位置を検出するタッチパネルと、
前記表示手段に表示すべき映像フレームと、前記描画画像の構成情報とが関連付けて登録されるデータベースと、
前記データベースを参照して、前記映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を前記表示手段に表示する手段と、
前記表示手段に表示された表示画像を類似度に応じて事後的に前記表示手段に表示する手段と
を含む、画像表示装置。
【請求項２】
前記表示画像を格納する手段と、
前記表示画像相互の類似度を算出してデータテーブルに登録する手段と、
前記表示画像を閲覧可能なユーザインタフェース画面を前記表示手段に表示する手段と、
前記データテーブルを参照して、ユーザが指定した類似度に応じて前記表示画像を分類するクラスタリング手段とを含み、
前記ユーザインタフェース画面を表示する手段は、分類された表示画像を表示する、請求項１に記載の画像表示装置。
【請求項３】
前記クラスタリング手段は、表示画像の分類条件に従って前記表示画像を分類し、
前記分類条件は、前記表示画像の生成時間の近似性によって分類する条件、前記表示画像の類似性によって分類する条件、およびこれら双方によって分類する条件を含む、請求項１または２に記載の画像表示装置。
【請求項４】
前記ユーザインタフェース画面は、前記分類条件および前記類似度が指定可能である、請求項３に記載の画像表示装置。
【請求項５】
前記クラスタリング手段は、表示画像の分類条件に従って前記表示画像を分類し、
前記分類条件は、前記表示画像の生成時間の近似性によって分類する条件および前記表示画像の類似性によって分類する条件を含む、請求項１または２に記載の画像表示装置。
【請求項６】
前記ユーザインタフェース画面は、第１の分類条件および第２の分類条件と、前記第１の分類条件の類似度および前記第２の分類条件の類似度とが指定可能であり、
前記クラスタリング手段は、前記第１の分類条件を優先して前記表示画像を分類する、請求項５に記載の画像表示装置。
【請求項７】
前記ユーザインタフェース画面を表示する手段は、前記分類された表示画像を類似度順または時系列で表示する、請求項１〜４のいずれか１項に記載の画像表示装置。
【請求項８】
前記ユーザインタフェース画面は、前記表示画像の配列順序を指定可能である、請求項７に記載の画像表示装置。
【請求項９】
映像フレームを表示する画像表示装置が実行する方法であって、前記方法は、前記画像表示装置が、
映像フレームを提供する映像フレーム提供装置から映像フレームを受信するステップと、
前記画像表示装置の表示手段に表示すべき映像フレームと、前記映像フレームに重畳して描画すべき描画画像の構成情報とが関連付けて登録されたデータベースを参照して、前記映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を前記表示手段に表示するステップと、
前記表示手段に表示された表示画像を類似度に応じて事後的に前記表示手段に表示するステップと
を含む、方法。
【請求項１０】
前記方法は、前記画像表示装置が、
前記表示画像相互の類似度を算出してデータテーブルに登録するステップと、
前記表示画像を閲覧可能なユーザインタフェース画面を前記表示手段に表示するステップと、
前記データテーブルを参照して、ユーザが指定した類似度に応じて前記表示画像を分類するステップと、
分類された表示画像を表示するステップと
をさらに含む、請求項９に記載の方法。
【請求項１１】
画像表示装置に対して、請求項９または１０に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項１２】
請求項１１に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【請求項１】
映像フレームを表示する画像表示装置であって、前記画像表示装置は、
映像フレームを提供する映像フレーム提供装置から映像フレームを受信する手段と、
前記映像フレームを表示する表示手段と、
前記映像フレームに重畳して描画される描画画像の構成情報である前記表示手段上の接触位置を検出するタッチパネルと、
前記表示手段に表示すべき映像フレームと、前記描画画像の構成情報とが関連付けて登録されるデータベースと、
前記データベースを参照して、前記映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を前記表示手段に表示する手段と、
前記表示手段に表示された表示画像を類似度に応じて事後的に前記表示手段に表示する手段と
を含む、画像表示装置。
【請求項２】
前記表示画像を格納する手段と、
前記表示画像相互の類似度を算出してデータテーブルに登録する手段と、
前記表示画像を閲覧可能なユーザインタフェース画面を前記表示手段に表示する手段と、
前記データテーブルを参照して、ユーザが指定した類似度に応じて前記表示画像を分類するクラスタリング手段とを含み、
前記ユーザインタフェース画面を表示する手段は、分類された表示画像を表示する、請求項１に記載の画像表示装置。
【請求項３】
前記クラスタリング手段は、表示画像の分類条件に従って前記表示画像を分類し、
前記分類条件は、前記表示画像の生成時間の近似性によって分類する条件、前記表示画像の類似性によって分類する条件、およびこれら双方によって分類する条件を含む、請求項１または２に記載の画像表示装置。
【請求項４】
前記ユーザインタフェース画面は、前記分類条件および前記類似度が指定可能である、請求項３に記載の画像表示装置。
【請求項５】
前記クラスタリング手段は、表示画像の分類条件に従って前記表示画像を分類し、
前記分類条件は、前記表示画像の生成時間の近似性によって分類する条件および前記表示画像の類似性によって分類する条件を含む、請求項１または２に記載の画像表示装置。
【請求項６】
前記ユーザインタフェース画面は、第１の分類条件および第２の分類条件と、前記第１の分類条件の類似度および前記第２の分類条件の類似度とが指定可能であり、
前記クラスタリング手段は、前記第１の分類条件を優先して前記表示画像を分類する、請求項５に記載の画像表示装置。
【請求項７】
前記ユーザインタフェース画面を表示する手段は、前記分類された表示画像を類似度順または時系列で表示する、請求項１〜４のいずれか１項に記載の画像表示装置。
【請求項８】
前記ユーザインタフェース画面は、前記表示画像の配列順序を指定可能である、請求項７に記載の画像表示装置。
【請求項９】
映像フレームを表示する画像表示装置が実行する方法であって、前記方法は、前記画像表示装置が、
映像フレームを提供する映像フレーム提供装置から映像フレームを受信するステップと、
前記画像表示装置の表示手段に表示すべき映像フレームと、前記映像フレームに重畳して描画すべき描画画像の構成情報とが関連付けて登録されたデータベースを参照して、前記映像フレーム提供装置から受信した映像フレームと同一の映像フレームに関連付けられた描画画像の構成情報を使用して構成される描画画像を前記表示手段に表示するステップと、
前記表示手段に表示された表示画像を類似度に応じて事後的に前記表示手段に表示するステップと
を含む、方法。
【請求項１０】
前記方法は、前記画像表示装置が、
前記表示画像相互の類似度を算出してデータテーブルに登録するステップと、
前記表示画像を閲覧可能なユーザインタフェース画面を前記表示手段に表示するステップと、
前記データテーブルを参照して、ユーザが指定した類似度に応じて前記表示画像を分類するステップと、
分類された表示画像を表示するステップと
をさらに含む、請求項９に記載の方法。
【請求項１１】
画像表示装置に対して、請求項９または１０に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項１２】
請求項１１に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１６８４５０（Ｐ２０１２−１６８４５０Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−３０９４９（Ｐ２０１１−３０９４９）
【出願日】平成２３年２月１６日（２０１１．２．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１６日（２０１１．２．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]