画像処理装置、画像処理方法、及び、プログラム
【課題】１つのコンテンツ内の複数箇所を同時に視聴する。
【解決手段】コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップが表示され、セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する動画セグメントが再生される。コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われたセグメント代表画像に対応する動画セグメントである他の動画セグメントが再生される。本技術は、例えば、コンテンツを再生する装置等に適用できる。
【解決手段】コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップが表示され、セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する動画セグメントが再生される。コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われたセグメント代表画像に対応する動画セグメントである他の動画セグメントが再生される。本技術は、例えば、コンテンツを再生する装置等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、１つのコンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、ユーザが同時に視聴することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、ユーザが、動画のコンテンツ内の興味のあるシーンを視聴するには、ユーザが、そのシーンの再生を指示すること、つまり、再生の対象となるシーン（の位置）を指示することが必要である。
【０００３】
ユーザが、再生の対象となるシーンを指示するには、コンテンツに含まれるシーンの概要を把握している必要がある。
【０００４】
ユーザがコンテンツに含まれるシーンの概要を把握する手法としては、コンテンツのサムネイルを表示する方法がある。
【０００５】
コンテンツのサムネイルを表示する方法としては、例えば、コマーシャルと本編との切り替わりや、画像に映る人物や物体の切り替わり等を、シーンチェンジとして検出し、そのシーンチェンジの直後のフレームを縮小したサムネイルを生成して表示する方法がある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2008-312183号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンテンツの一部のフレームのサムネイルを、フィルムロール状に表示し、サムネイルをクリックすると、そのサムネイルに対応するフレームから再生を開始する動画管理アプリケーションがある。
【０００８】
かかる動画管理アプリケーションによれば、ユーザは、サムネイルを見て、そのサムネイルに対応するフレーム等から始まるシーンの概要を把握し、興味のあるシーンのサムネイルをクリックすることで、そのシーンを視聴することができる。
【０００９】
ところで、以上のような動画アプリケーションにおいて、ユーザが、あるサムネイルAをクリックすることにより、そのサムネイルAに対応する（フレームから始まる）シーンが再生されている最中に、ユーザが、他のサムネイルBを見て、そのサムネイルBに対応するシーンに興味を持ち、そのシーンを視聴しようとして、サムネイルBをクリックした場合、それまで行われていた、サムネイルAに対応するシーンの再生が中止され、サムネイルBに対応するシーンの再生が開始される。
【００１０】
したがって、ユーザが、フィルムロール状に表示されたサムネイルを見て、複数としての、例えば、２つのサムネイルA及びBそれぞれに対応するシーンに興味を持った場合であっても、その２つのサムネイルA及びBそれぞれに対応するシーンを、同時に視聴することが困難であった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、１つ又は複数のコンテンツ内の複数箇所を、ユーザが同時に視聴することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の画像処理装置、又は、プログラムは、コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部とを備え、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１３】
本技術の一側面の画像処理方法は、コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御するステップを含み、前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理方法である。
【００１４】
以上のような一側面においては、コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップが、表示装置に表示される。そして、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントが再生される。コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントが再生される。
【００１５】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術の一側面によれば、１つのコンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、ユーザが同時に視聴することができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】画像処理装置のブラウジング処理を説明するフローチャートである。
【図３】セグメントマップ生成部１４の構成例を示すブロック図である。
【図４】クラスタリング部２１の構成例を示すブロック図である。
【図５】クラスタリングモデル学習部３１の構成例を示すブロック図である。
【図６】クラスタ判定部３３の構成例を示すブロック図である。
【図７】マップ生成部２４の構成例を示すブロック図である。
【図８】マップ描画部６４で描画されるモデルマップの例を示す図である。
【図９】セグメントマップ生成部１４のセグメントマップ生成処理の概要を説明する図である。
【図１０】セグメントマップ生成部１４で生成されるセグメントマップの例を示す図である。
【図１１】状態の重要度を求める方法を説明する図である。
【図１２】セグメントマップ生成部１４が行うセグメントマップ生成処理を説明するフローチャートである。
【図１３】タイル画像が重畳されたセグメントマップの表示例を示す図である。
【図１４】タイル画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【図１５】固定タイル画像の表示例を示す図である。
【図１６】固定タイル画像の詳細を示す図である。
【図１７】注目代表画像の強調表示の表示例を示す図である。
【図１８】タイムライン画像の表示例を示す図である。
【図１９】タイムライン画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【図２０】タイムライン画像に配置される構成画像としてのセグメント代表画像のスクロールの表示例を示す図である。
【図２１】再生制御部１５において再生された動画セグメントの画像の表示例を示す図である。
【図２２】再生ウインドウの表示例を示す図である。
【図２３】お気に入り情報記憶部１３にお気に入り情報が記憶されている場合の、セグメントマップの表示例を示す図である。
【図２４】セグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより行われる動画セグメントの再生を説明する図である。
【図２５】表示モードの移行と各表示モードで行われる処理を説明する図である。
【図２６】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
［本技術を適用した画像処理装置の一実施の形態］
【００２０】
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２１】
図１において、画像処理装置は、コンテンツ記憶部１１、操作イベント処理部１２、お気に入り情報記憶部１３、セグメントマップ生成部１４、再生制御部１５、表示制御部１６、及び、表示部１７から構成される。
【００２２】
コンテンツ記憶部１１は、例えば、テレビジョン放送の番組等のコンテンツを記憶（記録）する。コンテンツ記憶部１１に記憶されたコンテンツは、例えば、ユーザの操作に応じて再生される。
【００２３】
操作イベント処理部１２は、ユーザの操作に応じたイベント（操作イベント）を発生し、その操作イベントに応じて、画像処理装置を構成する各ブロックの制御等の各種の処理を行う。
【００２４】
ここで、ユーザの操作（操作イベント）としては、マウスやタッチパネル等のポインティングデバイスの操作である（シングル）クリックや、ダブルクリック、タップ、ダブルタップ等がある。また、操作イベント処理部１２が発生する操作イベントには、例えば、マウスに従って移動するカーソルの位置や、タッチパネル上のタッチがされている位置等の情報が含まれる。
【００２５】
お気に入り情報記憶部１３は、操作イベント処理部１２の制御に従って、後述するように、ユーザが興味のある（お気に入りの）動画セグメントがクラスタリングされるクラスタに関する情報等を、お気に入り情報として記憶する。
【００２６】
セグメントマップ生成部１４は、操作イベント処理部１２の制御等に従い、コンテンツ記憶部１１に記憶されたコンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる動画セグメントを代表する画像であるセグメント代表画像を配置した２次元又は３次元のマップであるセグメントマップを生成し、表示制御部１６に供給する。
【００２７】
再生制御部１５は、操作イベント処理部１２の制御に従い、コンテンツ記憶部１１に記憶されたコンテンツの再生を制御する。
【００２８】
すなわち、再生制御部１５は、例えば、セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する動画セグメントの再生を制御する。
【００２９】
具体的には、再生制御部１５は、コンテンツ記憶部１１に記憶されたコンテンツの一部である動画セグメントを読み出し、デコード等の必要な処理を行って、動画セグメントの画像と音声（のデータ）を得る。そして、再生制御部１５は、動画セグメントの画像を、表示制御部１６に供給するとともに、動画セグメントの音声を、図示せぬスピーカに供給して出力させる。
【００３０】
表示制御部１６は、再生制御部１５から供給される動画セグメントの画像、及び、セグメントマップ生成部１４から供給されるセグメントマップ等を、表示部１７に表示させる表示制御を行う。
【００３１】
なお、表示制御部１６は、お気に入り情報記憶部１３に記憶されたお気に入り情報に応じて、セグメントマップの表示を制御する。
【００３２】
表示部１７は、液晶パネルや有機EL(Electro Luminescence)等で構成され、表示制御部１６の制御に従って、画像を表示する。
【００３３】
図２は、図１の画像処理装置が行う処理（ブラウジング処理）を説明するフローチャートである。
【００３４】
ユーザが、コンテンツを再生するように指示する操作を行うと、ステップＳ１１において、操作イベント処理部１２は、再生の指示があったコンテンツを、再生の対象とするコンテンツである再生対象コンテンツとして選択し、その再生対象コンテンツのセグメントマップを生成するように、セグメントマップ生成部１４を制御して、処理は、ステップＳ１２に進む。
【００３５】
ステップＳ１２では、セグメントマップ生成部１４は、コンテンツ記憶部１１から再生対象コンテンツを読み出し、その再生対象コンテンツのセグメントマップを生成するセグメントマップ生成処理を行う。
【００３６】
すなわち、セグメントマップ生成部１４は、再生対象コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分し、各動画セグメントを代表する画像であるセグメント代表画像を配置（表示）した２次元又は３次元のマップであるセグメントマップを生成する。
【００３７】
そして、セグメントマップ生成部１４は、再生対象コンテンツのセグメントマップを、表示制御部１６に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【００３８】
なお、コンテンツのセグメントマップは、そのコンテンツがコンテンツ記憶部１１に記憶された後の任意のタイミングで、あらかじめ生成し、コンテンツ記憶部１１に記憶しておくことができる。この場合、ステップＳ１２では、コンテンツ記憶部１１から、再生対象コンテンツのコンテンツマップを読み出すだけでよい。
【００３９】
ステップＳ１３では、表示制御部１６は、セグメントマップ生成部１４からの再生対象コンテンツのセグメントマップを、表示部１７に表示して、処理は、ステップＳ１４に進む。
【００４０】
ステップＳ１４では、ユーザの操作、すなわち、操作イベント処理部１２で発生する操作イベントに応じて、再生制御部１５が再生対象コンテンツの再生制御を行うとともに、表示制御部１６がセグメントマップの表示制御を行う。
【００４１】
その後、ユーザが、ブラウジング処理を終了するように、操作を行うと（ブラウジング処理を終了することを要求する操作イベントが発生すると）、画像処理装置は、ブラウジング処理を終了する。
【００４２】
ここで、ステップＳ１４において、表示制御部１６が行うセグメントマップの表示制御としては、ユーザがカーソルや指によって指示する、セグメントマップが表示された表示部１７の表示画面上の位置である指示位置に応じて行われる、後述するタイル画像の表示や、強調表示、その他、セグメントマップの表示モードの設定（変更）等がある。
【００４３】
また、ステップＳ１４において、再生制御部１５が行う再生対象コンテンツの再生制御としては、例えば、再生対象コンテンツの複数の動画セグメントを並列に再生する制御等がある。
【００４４】
すなわち、ユーザは、表示部１７に表示された再生対象コンテンツのセグメントマップのセグメント代表画像に対する、ダブルクリックやダブルタップを、そのセグメント代表画像に対応する動画セグメントの再生を要求する再生操作として行うことができる。
【００４５】
再生制御部１５は、コンテンツ記憶部１１に記憶された再生対象コンテンツのある動画セグメント#Aの再生中に、すなわち、動画セグメント#Aの画像が、表示部１７に表示されている最中に、再生対象コンテンツの、他の動画セグメント#Bのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメント#Aの再生を維持したまま、再生操作が行われたセグメント代表画像に対応する動画セグメント#Bの再生を開始し、その動画セグメント#Bの画像を、表示制御部１６に供給する。
【００４６】
したがって、ステップＳ１４の再生制御によれば、ユーザは、１つの再生対象コンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を同時に視聴することができる。
【００４７】
［セグメントマップ生成部１４の構成例］
【００４８】
図３は、図１のセグメントマップ生成部１４の構成例を示すブロック図である。
【００４９】
図３において、セグメントマップ生成部１４は、クラスタリング部２１、セグメント区分部２２、セグメント代表画像生成部２３、及び、マップ生成部２４を有する。
【００５０】
クラスタリング部２１には、コンテンツ記憶部１１（図１）から、再生対象コンテンツが供給される。
【００５１】
クラスタリング部２１は、コンテンツ記憶部１１からの再生対象コンテンツの各フレームを、例えば、あらかじめ定められた複数のクラスタのうちのいずれかのクラスタにクラスタリングし、そのクラスタリング結果を表すクラスタ情報を、セグメント区分部２２に供給（出力）する。
【００５２】
ここで、クラスタ情報には、再生対象コンテンツの各フレームが属するクラスタを特定する情報（例えば、クラスタを表すユニークな番号等）が、少なくとも含まれる。
【００５３】
セグメント区分部２２は、クラスタリング部２１でクラスタリングされ得る複数のクラスタそれぞれについて、そのクラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分する。
【００５４】
すなわち、セグメント区分部２２は、クラスタリング部２１でクラスタリングされ得る複数のクラスタそれぞれを、順次、注目する注目クラスタに選択し、クラスタリング部２１からのクラスタ情報に基づいて、注目クラスタに属する、再生対象コンテンツのフレームを認識する。
【００５５】
さらに、セグメント区分部２２は、注目クラスタに属するフレームを、時系列に並べたときに、時間的に連続する１フレーム以上のフレームの集まりを、１動画セグメントとして、動画セグメントに区分する。
【００５６】
したがって、例えば、いま、再生対象コンテンツの先頭からt1番目のフレームt1から連続するn1（枚の）フレームと、再生対象コンテンツの先頭からt2（>t1+n1）番目のフレームt2から連続するn2（枚の）フレームとが、注目クラスタに属する場合、セグメント区分部２２では、注目クラスタに属するn1+n2フレームが、再生対象コンテンツのフレームt1から連続するn1フレームを有する動画セグメントと、再生対象コンテンツのフレームt2から連続するn2フレームを有する動画セグメントとに区分される。
【００５７】
そして、セグメント区分部２２は、注目クラスタに属するフレームから得られた動画セグメントを、注目クラスタに属する動画セグメントとして、その動画セグメントを表すセグメント情報を、セグメント代表画像生成部２３に供給する。
【００５８】
ここで、セグメント情報には、動画セグメントが有するフレームを特定するフレーム情報（例えば、再生対象コンテンツの先頭から何番目のフレームであるかを表す番号）と、動画セグメント（ひいては、動画セグメントが有するフレーム）が属するクラスタを表すクラスタ情報とが、少なくとも含まれる。
【００５９】
セグメント代表画像生成部２３には、セグメント区分部２２から、再生対象コンテンツの各動画セグメントのセグメント情報が供給される他、コンテンツ記憶部１１から、再生対象コンテンツが供給される。
【００６０】
セグメント代表画像生成部２３は、再生対象コンテンツの各動画セグメントについて、動画セグメントを代表するセグメント代表画像を生成する。
【００６１】
すなわち、セグメント代表画像生成部２３は、セグメント区分部２２からのセグメント情報に基づいて、再生対象コンテンツのすべての動画セグメントを認識し、順次、注目する注目動画セグメントに選択する。
【００６２】
さらに、セグメント代表画像生成部２３は、セグメント区分部２２からのセグメント情報に基づいて、注目動画セグメントが有するフレームを認識し、コンテンツ記憶部１１からの、注目動画セグメントが有するフレームを用いて、注目動画セグメント（の内容）を表すセグメント代表画像を生成する。
【００６３】
そして、セグメント代表画像生成部２３は、注目動画セグメントのセグメント代表画像を、注目動画セグメントのセグメント情報とともに、マップ生成部２４に供給する。
【００６４】
ここで、動画セグメントのセグメント代表画像としては、例えば、動画セグメントの、例えば、先頭のフレーム等の所定のフレームを縮小したサムネイルを採用することができる。
【００６５】
また、動画セグメントのセグメント代表画像としては、動画セグメントが有するフレームのうちの、例えば、複数フレームを縮小した画像をアニメーション（動画）で表示するアニメーションGIF等の画像を採用することができる。
【００６６】
マップ生成部２４は、セグメント代表画像生成部２３からの再生対象コンテンツの動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを生成し、表示制御部１６（図１）に供給する。
【００６７】
［クラスタリング部２１の構成例］
【００６８】
図４は、図３のクラスタリング部２１の構成例を示すブロック図である。
【００６９】
図４において、クラスタリング部２１は、クラスタリングモデル学習部３１、クラスタリングモデル記憶部３２、及び、クラスタ判定部３３を有する。
【００７０】
クラスタリングモデル学習部３１は、コンテンツの各フレームをクラスタリングするのに用いるモデルであるクラスタリングモデルの学習を行い、クラスタリングモデル記憶部３２に供給する。
【００７１】
なお、クラスタリングモデルとしては、例えば、状態と状態遷移とを有する状態遷移モデルを採用することができる。
【００７２】
クラスタリングモデルとなる状態遷移モデルとしては、例えば、HMM等を採用することができる。
【００７３】
クラスタリングモデル学習部３１は、例えば、コンテンツ記憶部１１等に記憶されたコンテンツの中から、所定のカテゴリに属する１以上のコンテンツを、学習用コンテンツとして選択し、学習用コンテンツを、カテゴリごとに分類する。
【００７４】
ここで、所定のカテゴリに属するコンテンツとは、例えば、ジャンルが同一の番組や、連続番組、毎週又は毎日その他周期的に放送される番組（タイトルが同一の番組）等の、コンテンツに潜む、コンテンツの構造が共通するコンテンツを意味する。
【００７５】
ジャンルとしては、例えば、スポーツ番組やニュース番組等といった、いわば大まかな分類を採用することもできるが、例えば、サッカーの試合の番組や野球の試合の番組等といった、いわば細かい分類であることが望ましい。
【００７６】
また、例えば、サッカーの試合の番組であれば、チャンネル（放送局）が異なるごとに、異なるカテゴリに属するコンテンツに分類することもできる。
【００７７】
なお、コンテンツのカテゴリとして、どのようなカテゴリを採用するかは、例えば、図１の画像処理装置に、あらかじめ設定されていることとする。
【００７８】
また、コンテンツ記憶部１１に記憶されたコンテンツのカテゴリは、例えば、テレビジョン放送で番組とともに送信されてくる、番組のタイトルやジャンル等のメタデータや、インターネット上のサイトが提供する番組の情報等から認識することができる。
【００７９】
クラスタリングモデル学習部３１は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、そのカテゴリのクラスタリングモデルの学習を行い、カテゴリごとのクラスタリングモデルを生成（獲得）する。
【００８０】
すなわち、クラスタリングモデルとして、例えば、HMMを採用する場合には、クラスタリングモデル学習部３１は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、クラスタリングモデルとしてのHMMの学習を行う。
【００８１】
なお、クラスタリングモデル学習部３１では、コンテンツ記憶部１１に記憶されたコンテンツの他、例えば、インターネット上のサイト等の外部のコンテンツを、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習を行うことができる。
【００８２】
クラスタリングモデル記憶部３２は、クラスタリングモデル学習部３１等で生成される、カテゴリごとのクラスタリングモデルを記憶する。
【００８３】
ここで、クラスタリングモデルの学習は、例えば、インターネット上のサイト等で行うことができ、クラスタリングモデル記憶部３２は、そのサイトから、クラスタリングモデルをダウンロード（取得）して記憶することができる。
【００８４】
この場合、クラスタリング部２１は、クラスタリングモデル学習部３１を設けずに構成することができる。
【００８５】
クラスタ判定部３３は、クラスタリングモデル記憶部３２に記憶されたクラスタリングモデルを用いて、コンテンツ記憶部１１から供給される再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタ情報を、セグメント区分部２２に供給（出力）する。
【００８６】
［クラスタリングモデル学習部３１の構成例］
【００８７】
図５は、図４のクラスタリングモデル学習部３１の構成例を示すブロック図である。
【００８８】
クラスタリングモデル学習部３１は、例えば、状態が遷移する状態遷移確率と、状態から、所定の観測値が観測される観測尤度とで規定される状態遷移モデルの１つであるHMM(Hidden Marcov Model)をクラスタリングモデルとして、そのクラスタリングモデルの学習に用いるコンテンツである学習用コンテンツの各フレームの特徴量を抽出する。さらに、クラスタリングモデル学習部３１は、学習用コンテンツの各フレームの特徴量（時系列の特徴量）を用いて、HMMの学習を行う。
【００８９】
すなわち、クラスタリングモデル学習部３１は、学習用コンテンツ選択部４１、特徴量抽出部４２、特徴量記憶部４３、及び、学習部４４から構成される。
【００９０】
学習用コンテンツ選択部４１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、HMMの学習に用いるコンテンツを、学習用コンテンツとして選択し、特徴量抽出部４２に供給する。
【００９１】
特徴量抽出部４２は、学習用コンテンツ選択部４１からの学習用コンテンツの各フレームの特徴量（ベクトル）を抽出して、特徴量記憶部４３に供給する。
【００９２】
ここで、フレーム#fの特徴量としては、例えば、GIST等のフレーム#fの画像の特徴量や、MFCC(Mel Frequency Cepstrum Coefficient)等のフレーム#fを含む複数フレームの区間の音声の特徴量、フレーム#f内の人全体、又は、顔の位置を表す位置情報、それらのうちの複数の組み合わせ等を採用することができる。
【００９３】
特徴量記憶部４３は、特徴量抽出部４２から供給される学習用コンテンツの各フレームの特徴量を時系列に記憶する。
【００９４】
学習部４４は、特徴量記憶部４３に記憶された学習用コンテンツの各フレームの特徴量を、カテゴリごとに用いて、HMMの学習を、カテゴリごとに行う。さらに、学習部４４は、学習後のHMMを、クラスタリングモデルとして、そのHMMの学習に用いた学習用コンテンツのカテゴリと対応付けて、クラスタリングモデル記憶部３２に供給する。
【００９５】
ここで、HMMは、状態siの初期確率πi、状態遷移確率aij、及び、状態siから、所定の観測値oが観測される観測尤度bi(o)で規定される。i及びjは、HMMの状態を表すインデクスであり、HMMの状態の数がN個である場合には、1ないしNの範囲の整数をとる。
【００９６】
初期確率πiは、状態siが、初期の状態（最初の状態）である確率を表し、状態遷移確率aijは、状態siから状態sjに遷移する確率を表す。
【００９７】
観測尤度bi(o)は、状態siへの状態遷移時に、状態siから観測値oが観測される尤度（確率）を表す。観測尤度bi(o)としては、観測値oが離散値である場合には、確率となる値（離散値）が用いられ、観測値oが連続値である場合には、確率分布関数が用いられる。確率分布関数としては、例えば、平均値（平均ベクトル）と分散（共分散行列）とで定義されるガウス分布等を採用することができる。
【００９８】
ここで、観測値oが離散値のHMMを、離散HMMともいい、離散値oが連続値のHMMを、連続HMMともいう。
【００９９】
HMMの学習は、例えば、EMアルゴリズムを利用した統計学習法であるBaum-Welchアルゴリズムによって行うことができる。
【０１００】
クラスタリングモデルとしてのHMMによれば、学習用コンテンツに潜む、コンテンツの構造（例えば、番組構成や、カメラワーク等が作り出す構造）が自己組織的に獲得される。
【０１０１】
その結果、クラスタリングモデルとしてのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
【０１０２】
そして、HMMの状態は、特徴量空間（特徴量抽出部４２で抽出される特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
【０１０３】
ここで、例えば、学習用コンテンツがクイズ番組であり、大雑把には、クイズの出題、ヒントの提示、出演者による解答、正解発表、という流れを、番組の基本的な流れとして、この基本的な流れの繰り返しによって、番組が進行していくこととすると、番組の基本的な流れが、コンテンツの構造に相当し、その流れ（構造）を構成する、クイズの出題、ヒントの提示、出演者による解答、正解発表のそれぞれが、コンテンツの構造の要素に相当する。
【０１０４】
また、例えば、クイズの出題から、ヒントの提示への進行等が、コンテンツの構造の要素どうしの間での、時間的な遷移に相当する。
【０１０５】
なお、HMMの観測値oとしては、フレームから抽出された特徴量そのものを用いることもできるし、フレームから抽出された特徴量を離散化した離散値を用いることもできる。
【０１０６】
フレームから抽出された特徴量そのものを、HMMの観測値oとして用いる場合には、観測値oである特徴量が連続値であり、学習部４４では、連続HMMの学習の結果られる連続HMMが、クラスタリングモデルとして求められる。
【０１０７】
一方、フレームから抽出された特徴量を離散化した離散値を、HMMの観測値oとして用いる場合には、学習部４４では、HMMの学習の前に、フレームから抽出された特徴量を離散化する必要がある。
【０１０８】
フレームから抽出された特徴量（ベクトル）を離散化する方法としては、例えば、ベクトル量子化がある。
【０１０９】
ベクトル量子化では、特徴量空間内の有限個のセントロイドベクトルと、そのセントロイドベクトルを表すコード（シンボル）とが対応付けられたコードブックを参照して、フレームから抽出された連続値の特徴量が、その特徴量との（ユークリッド）距離が最も近いセントロイドベクトルを表すコードに変換（離散化）される。
【０１１０】
また、ベクトル量子化に用いられるコードブックは、例えば、コンテンツ記憶部１１に記憶されたコンテンツ等を、カテゴリごとに用いて、k-means法等により求めることができる。
【０１１１】
この場合、学習部４４では、学習用コンテンツの各フレームから抽出された特徴量が、その学習用コンテンツのカテゴリのコードブックを参照してベクトル量子化される。さらに、学習部４４では、ベクトル量子化の結果得られる、学習用コンテンツの各フレームから抽出された特徴量のコードを用いて、離散HMMの学習が行われ、その結果得られる離散HMMと、特徴量のベクトル量子化に用いられたコードブックとが、クラスタリングモデルとして求められる。
【０１１２】
なお、学習部４４では、その他、上述のベクトル量子化に用いるコードブック（だけ）を、クラスタリングモデルとして求めることができる。
【０１１３】
この場合、クラスタ判定部３３（図４）では、再生対象コンテンツの各フレームから抽出される特徴量が、クラスタリングモデルとしてのコードブックを用いて（参照して）ベクトル量子化され、その結果得られるコードが、フレームのクラスタリング結果（フレームのクラスタ）を表すクラスタ情報として出力される。
【０１１４】
［クラスタ判定部３３の構成例］
【０１１５】
図６は、図４のクラスタリング部２１のクラスタ判定部３３の構成例を示すブロック図である。
【０１１６】
クラスタ判定部３３は、コンテンツ選択部５１、モデル選択部５２、特徴量抽出部５３、及び、最尤状態系列推定部５４から構成される。
【０１１７】
コンテンツ選択部５１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、再生対象コンテンツを選択し、特徴量抽出部５３に供給する。
【０１１８】
また、コンテンツ選択部５１は、再生対象コンテンツのカテゴリを認識し、モデル選択部５２に供給する。
【０１１９】
モデル選択部５２は、クラスタリングモデル記憶部３２に記憶されたクラスタリングモデルの中から、コンテンツ選択部５１からの、再生対象コンテンツのカテゴリと一致するカテゴリのクラスタリングモデル（再生対象コンテンツのカテゴリに対応付けられたクラスタリングモデル）を、注目モデルに選択する。
【０１２０】
そして、モデル選択部５２は、注目モデルを、最尤状態系列推定部５４に供給する。
【０１２１】
特徴量抽出部５３は、コンテンツ選択部５１から供給される再生対象コンテンツの各フレームの特徴量を、図５の特徴量抽出部４２と同様にして抽出し、再生対象コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部５４に供給する。
【０１２２】
最尤状態系列推定部５４は、例えば、Viterbiアルゴリズムに従い、モデル選択部５２からの注目モデルとしてのHMMにおいて、特徴量抽出部５３からの再生対象コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（いわゆるビタビパスを構成する状態の系列）を推定する。
【０１２３】
そして、最尤状態系列推定部５４は、注目モデルとしてのHMMにおいて、再生対象コンテンツの各フレームの特徴量が観測される場合の最尤状態系列（以下、再生対象コンテンツに対する注目モデルの最尤状態系列ともいう）を構成する状態のインデクス（以下、状態ID(Identification)ともいう）を、再生対象コンテンツの各フレームをクラスタリングしたクラスタリング結果を表すクラスタ情報として、セグメント区分部２２（図３）に供給する。
【０１２４】
ここで、注目モデルにおいて、再生対象コンテンツの特徴量が観測される場合の最尤状態系列（再生対象コンテンツに対する注目モデルの最尤状態系列）の先頭を基準とする時刻tの状態（最尤状態系列を構成する、先頭からt番目の状態）を、s(t)と表すとともに、再生対象コンテンツのフレーム数を、Tと表すこととする。
【０１２５】
この場合、再生対象コンテンツに対する注目モデルの最尤状態系列は、T個の状態s(1)，S(2)，・・・，s(T)の系列であり、そのうちのt番目の状態（時刻tの状態）s(t)は、再生対象コンテンツの時刻tのフレーム（フレームt）に対応する。
【０１２６】
また、注目モデルの状態の総数をNと表すこととすると、時刻tの状態s(t)は、N個の状態s1，s2，・・・，sNのうちのいずれかである。
【０１２７】
いま、再生対象コンテンツに対する注目モデルの最尤状態系列の時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
【０１２８】
再生対象コンテンツに対する注目モデルの最尤状態系列の実体は、再生対象コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。
【０１２９】
以上のような、再生対象コンテンツに対する注目モデルの最尤状態系列は、再生対象コンテンツが、注目モデル上において、どのような状態遷移を起こすかを表現する。
【０１３０】
また、再生対象コンテンツに対する注目モデルの最尤状態系列において、上述したように、時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
【０１３１】
したがって、注目モデルのN個の状態それぞれを、クラスタとみなすことにより、時刻tのフレームは、注目モデルのN個の状態のうちの、最尤状態系列の、時刻tの状態s(t)であるi番目の状態siに対応するクラスタにクラスタリングされており、再生対象コンテンツに対する注目モデルの最尤状態系列の推定では、再生対象コンテンツの各フレームが属するクラスタが判定されている、ということができる。
【０１３２】
なお、クラスタリングモデルが、連続HMMである場合には、最尤状態系列推定部５４は、Viterbiアルゴリズムに従い、クラスタリングモデルとしての連続HMMにおいて、特徴量抽出部５３からの再生対象コンテンツの各フレームの特徴量が観測される最尤状態系列を推定し、その最尤状態系列を構成する状態（の状態ID）を、各フレームのクラスタ情報として、セグメント区分部２２（図３）に供給する。
【０１３３】
また、クラスタリングモデルが、離散HMMと、コードブックである場合、最尤状態系列推定部５４は、特徴量抽出部５３からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデルとしてのコードブックを用いてベクトル量子化する。さらに、最尤状態系列推定部５４は、Viterbiアルゴリズムに従い、クラスタリングモデルとしての離散HMMにおいて、再生対象コンテンツの各フレームの特徴量のベクトル量子化によって得られるコードが観測される最尤状態系列を推定し、その最尤状態系列を構成する状態（の状態ID）を、各フレームのクラスタ情報として、セグメント区分部２２に供給する。
【０１３４】
また、クラスタリングモデルが、コードブック（のみ）である場合、最尤状態系列推定部５４は、特徴量抽出部５３からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデルとしてのコードブックを用いてベクトル量子化し、そのベクトル量子化によって得られるコードを、各フレームのクラスタ情報として、セグメント区分部２２に供給する。
【０１３５】
図３のセグメント区分部２２では、以上のようにして、クラスタ判定部３３（の最尤状態系列推定部５４）から供給されるクラスタ情報に基づいて、各クラスタに属する、再生対象コンテンツのフレームが認識され、各クラスタについて、そのクラスタに属するフレームを、時系列に並べたときに、時間的に連続する１フレーム以上のフレームの集まりが、１動画セグメントとして、動画セグメントに区分される。
【０１３６】
［マップ生成部２４の構成例］
【０１３７】
図７は、図３のマップ生成部２４の構成例を示すブロック図である。
【０１３８】
マップ生成部２４は、クラスタ代表画像選択部６１、状態間距離算出部６２、座標算出部６３、及び、マップ描画部６４から構成される。
【０１３９】
クラスタ代表画像選択部６１には、セグメント代表画像生成部２３（図３）からのセグメント代表画像が供給される。
【０１４０】
クラスタ代表画像選択部６１は、（注目モデルとしてのHMMの各状態に対応する）各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタを代表するクラスタ代表画像を選択する。
【０１４１】
そして、クラスタ代表画像選択部６１は、各クラスタに属する（動画セグメントの）セグメント代表画像を、クラスタ代表画像に選択されたセグメント代表画像を表すフラグとともに、マップ描画部６４に供給する。
【０１４２】
ここで、クラスタ代表画像選択部６１は、クラスタに、１つのセグメント代表画像のみが属する場合、そのセグメント代表画像を、クラスタ代表画像に選択する。
【０１４３】
また、クラスタ代表画像選択部６１は、クラスタに、複数のセグメント代表画像が属する場合、例えば、その複数のセグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像や、再生時刻が最も早い動画セグメントのセグメント代表画像等の複数のセグメント代表画像のうちの１つを、クラスタ代表画像に選択する。
【０１４４】
状態間距離算出部６２には、クラスタリング部２１（図３）において、再生対象コンテンツのクラスタリングに用いられた注目モデルとしてのHMM（クラスタリングモデル）が供給される。
【０１４５】
状態間距離算出部６２は、注目モデルとしてのHMMの１つの状態siから他の１つの状態sjへの状態間距離dij*を、１つの状態siから他の１つの状態sjへの状態遷移確率aijに基づいて求める。そして、状態間距離算出部６２は、注目モデルとしてのHMMのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij*を求めると、その状態間距離dij*をコンポーネントとするN行N列の行列（状態間距離行列）を、座標算出部６３に供給する。
【０１４６】
ここで、状態間距離算出部６２は、例えば、状態遷移確率aijが所定の閾値（例えば、(1/N)×10-2）より大である場合、状態間距離dij*を、例えば、0.1（小さい値）とし、状態遷移確率aijが所定の閾値以下である場合、状態間距離dij*を、例えば、1.0（大きい値）とする。
【０１４７】
座標算出部６３は、注目モデルのN個の状態s1ないしsNが配置される２次元又は３次元のマップ（注目モデルとしてのHMMを２次元平面又は３次元空間に投射したマップ）であるモデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離算出部６２からの状態間距離行列の状態間距離dij*との誤差が小さくなるように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。
【０１４８】
すなわち、座標算出部６３は、ユークリッド距離dijと、状態間距離dij*との統計的な誤差に比例するSammon Mapのエラー関数Eを最小にするように、状態座標Yiを求める。
【０１４９】
ここで、Sammon Mapは、多次元尺度法の１つであり、その詳細は、例えば、J. W. Sammon, JR., "A Nonlinear Mapping for Data Structure Analysis", IEEE Transactions on Computers, vol. C-18, No. 5, May 1969に記載されている。
【０１５０】
Sammon Mapでは、例えば、式（１）のエラー関数Eを最小にするように、例えば、２次元のマップであるモデルマップ上の状態座標Yi=(xi,yi)が求められる。
【０１５１】
E＝１／（Σdij）×Σ（（dij*−dij）2／dij*） ・・・（１）
【０１５２】
ここで、式（１）において、Σは、式i<jを満たすインデクスi及びjを、1ないしNの範囲の整数に変えて、サメーションをとることを表す。
【０１５３】
dij*は、状態間距離行列の第i行第j列の要素を表し、状態siから状態sjへの状態間距離を表す。dijは、モデルマップ上の、状態siの位置の座標（状態座標）Yi=(xi,yi)と、状態sjの位置の座標Yjとの間のユークリッド距離を表す。
【０１５４】
なお、状態座標Yi=(xi,yi)のxi及びyiは、それぞれ、２次元のモデルマップ上の状態座標Yiのx座標及びy座標を表す。モデルマップとして、３次元のマップを採用する場合、状態座標Yiは、x座標、y座標、及び、z座標を有する３次元の座標になる。
【０１５５】
座標算出部６３は、式（１）のエラー関数Eが最小になるように、状態座標Yi(i=1,2,・・・,N)を、勾配法の反復適用により求め、マップ描画部６４に供給する。
【０１５６】
マップ描画部６４は、座標算出部６３からの状態座標Yiの位置に、対応する状態si（の画像）を配置し、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を、内蔵するメモリ（図示せず）に描画することで、注目モデルとしてのHMMを、２次元（や３次元）のモデルマップ（のグラフィクス）に変換する。
【０１５７】
そして、マップ描画部６４は、モデルマップ上の状態siの位置に、クラスタ代表画像選択部６１からのセグメント代表画像のうちの、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を描画する。
【０１５８】
これにより、マップ描画部６４は、モデルマップ上の各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されたマップであるセグメントマップを生成する。
【０１５９】
さらに、マップ描画部６４は、セグメントマップの各状態に、その状態に対応するクラスタに属する（フレームからなる動画セグメントの）セグメント代表画像を対応付け、その結果得られるセグメントマップを、表示制御部１６（図１）に供給する。
【０１６０】
なお、モデルマップは、HMM等のクラスタリングモデルの構造を、状態に対応するノードと状態遷移に対応するエッジとによって可視化した２次元（や３次元）のネットワーク（グラフ）表現であるということができる。HMM等のクラスタリングモデルを、そのようなネットワーク表現としてのモデルマップに変換（投射）する方法としては、Sammon Mapの他、任意の多次元尺度法を採用することができる。
【０１６１】
また、クラスタリングモデルが、コードブック（のみ）である場合には、そのクラスタリングモデルとしてのコードブックは、各コードベクトルに対応する各クラスタ（各コードベクトルを表す各コードに対応する各クラスタ）について、再生対象コンテンツを用い、その再生対象コンテンツにおいて、時系列のフレームが属するクラスタが遷移（変化）する遷移回数（各クラスタから各クラスタに、フレームが属するクラスタが遷移する回数）をカウントし、コードベクトルに対応するクラスタを、HMMの状態とみなすとともに、各クラスタの遷移回数に対応する確率を、HMMの状態遷移確率とみなすことで、Sammon Map等の多次元尺度法により、２次元や３次元のマップであるモデルマップに変換することができる。
【０１６２】
ここで、クラスタの遷移回数に対応する確率としては、例えば、そのクラスタから、各クラスタへの遷移回数のうちの、閾値以下の遷移回数を0.0に変換し、さらに、総和が1.0になるように、遷移回数を正規化した値を採用することができる。
【０１６３】
また、各クラスタから（各クラスタへ）の遷移回数は、再生対象コンテンツを用いて求める他、コードブックを求めるときに用いられたすべてのコンテンツを用いて求めることができる。
【０１６４】
［モデルマップ］
【０１６５】
図８は、図７のマップ描画部６４で描画されるモデルマップの例を示す図である。
【０１６６】
図８のモデルマップにおいて、点は、クラスタリングモデル（注目モデル）としてのHMMの状態を表し、点どうしを結ぶ線分は、状態遷移を表す。
【０１６７】
モデルマップ描画部６４は、上述したように、座標算出部６３で求められる状態座標Yiの位置に、対応する状態si（の画像（図８では、点））を描画する。
【０１６８】
さらに、マップ描画部６４は、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。すなわち、マップ描画部６４は、状態siから他の状態sjへの状態遷移確率が、所定の閾値より大である場合に、それらの状態siとsjとの間を結ぶ線分を描画する。
【０１６９】
マップ描画部６４は、以上のようにして、注目モデルとしてのHMMの構造を可視化した２次元（又は３次元）のネットワーク表現であるモデルマップを描画する。
【０１７０】
なお、図７の座標算出部６３において、式（１）のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態（を表す点）は、モデルマップ上に、円状に配置され、モデルマップの円周付近（外側）（外縁）に、状態が密集し、状態の配置が見にくくなって、いわば、可視性が損なわれることがある。
【０１７１】
そこで、図７の座標算出部６３では、式（１）のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。
【０１７２】
すなわち、座標算出部６３では、ユークリッド距離dijが、所定の閾値THd（例えば、THd=1.0等）より大であるかどうかを判定する。
【０１７３】
そして、ユークリッド距離dijが、所定の閾値THdより大でない場合には、座標算出部６３は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用いる。
【０１７４】
一方、ユークリッド距離dijが、所定の閾値THdより大である場合には、座標算出部６３は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dij*を用いる（dij＝dij*とする）（ユークリッド距離dijを、状態間距離dij*に等しい距離とする）。
【０１７５】
この場合、モデルマップにおいて、ユークリッド距離dijが、ある程度近い（閾値THdより大でない）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、ユークリッド距離dijと状態間距離dij*とが一致するように（ユークリッド距離dijが状態間距離dij*に近づくように）変更される。
【０１７６】
一方、モデルマップにおいて、ユークリッド距離dijが、ある程度遠い（閾値THdより大の）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、変更されない。
【０１７７】
その結果、ユークリッド距離dijが、ある程度遠い２つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、モデルマップの円周（外縁）付近に、状態が密集することを防止し、ひいては、可視性が損なわれることを防止することができる。
【０１７８】
図８のモデルマップについては、以上のようにして、モデルマップの円周（外縁）付近に、状態が密集することが防止されている。
【０１７９】
［セグメントマップ生成部１４の処理］
【０１８０】
図９は、図３のセグメントマップ生成部１４の処理（セグメントマップ生成処理）の概要を説明する図である。
【０１８１】
セグメントマップ生成部１４では、クラスタリング部２１において、コンテンツ記憶部１１に記憶された再生対象コンテンツの各フレームf1,f2,・・・について、特徴量が抽出される。
【０１８２】
そして、クラスタリング部２１では、各フレームf1,f2,・・・の特徴量と、クラスタリングモデルとしてのHMMを用いて、各フレームf1,f2,・・・がクラスタリングされ、各フレームf1,f2,・・・が属するクラスタを表すクラスタ情報としての、例えば、フレームf1,f2,・・・の特徴量の時系列が観測される最尤状態系列を構成するHMMの状態のインデクスである状態IDの系列が、セグメント区分部２２に供給される。
【０１８３】
図９では、再生対象コンテンツのフレームf1及びf2が、状態IDが3の状態に対応するクラスタに、フレームf3が、状態IDが2の状態に対応するクラスタに、フレームf4が、状態IDが3の状態に対応するクラスタに、フレームf5が、状態IDが5の状態に対応するクラスタに、フレームf6,f7,f8・・・が、状態IDが4の状態に対応するクラスタに、それぞれクラスタリングされている。
【０１８４】
セグメント区分部２２（図３）は、各クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分する。
【０１８５】
したがって、セグメント区分部２２では、クラスタリング部２１からのクラスタ情報としての状態IDの系列を、先頭からシーケンシャルに注目していった場合に、注目している状態IDが、直前の状態IDに一致している場合には、注目している状態IDに対応するフレームは、直前の状態IDに対応するフレームを含む動画セグメントに含められる。
【０１８６】
そして、注目している状態IDが、直前の状態IDに一致していない場合には、直前の状態IDに対応するフレームまでが、１つの動画セグメントに区分され、注目している状態IDに対応するフレームからは、新たな動画セグメントに区分される。
【０１８７】
図９では、状態IDが3の状態に対応するクラスタに属する、連続するフレームf1及びf2、状態IDが2の状態に対応するクラスタに属するフレームf3、状態IDが3の状態に対応するクラスタに属するフレームf4、状態IDが5の状態に対応するクラスタに属するフレームf5、及び、状態IDが4の状態に対応するクラスタに属する、連続するフレームf6,f7,f8・・・が、それぞれ、動画セグメントに区分されている。
【０１８８】
セグメント区分部２２は、以上のような動画セグメント（のセグメント情報としての、動画セグメントが有するフレームを特定するフレーム情報と、動画セグメント（のフレーム）が属するクラスタを表すクラスタ情報）を、セグメント代表画像生成部２３に供給する。
【０１８９】
セグメント代表画像生成部２３（図３）は、例えば、上述したように、セグメント区分部２２からの動画セグメントについて、その動画セグメントを代表するセグメント代表画像として、その動画セグメントの先頭のフレームを縮小したサムネイルを生成し、マップ生成部２４に供給する。
【０１９０】
ここで、状態IDが値iの状態を状態#iとも記載することとすると、図９において、状態#3に対応するクラスタに属する、連続するフレームf1及びf2を有する動画セグメントについては、先頭のフレームf1のサムネイルが、セグメント代表画像として生成される。
【０１９１】
また、状態#2に対応するクラスタに属するフレームf3を有する動画セグメントについては、先頭のフレームf3のサムネイルが、状態#3に対応するクラスタに属するフレームf4を有する動画セグメントについては、先頭のフレームf4のサムネイルが、状態#5に対応するクラスタに属するフレームf5を有する動画セグメントについては、先頭のフレームf5のサムネイルが、状態#4に対応するクラスタに属する、連続するフレームf6,f7,f8・・・を有する動画セグメントについては、先頭のフレームf6のサムネイルが、それぞれ、セグメント代表画像として生成される。
【０１９２】
マップ生成部２４（図３）では、各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタ（に対応する状態）を代表するクラスタ代表画像が選択される。
【０１９３】
また、マップ生成部２４では、注目モデルとしてのHMMが、モデルマップに変換されるとともに、モデルマップ上の各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されたセグメントマップが生成される。
【０１９４】
そして、マップ生成部２４では、セグメントマップの各状態に、その状態に対応するクラスタに属する動画セグメントのすべてのセグメント代表画像が対応付けられる。
【０１９５】
図９では、状態#3に対応するクラスタに属する、連続するフレームf1及びf2を有する動画セグメントのセグメント代表画像であるフレームf1のサムネイルが、状態#3に、状態#2に対応するクラスタに属するフレームf3を有する動画セグメントのセグメント代表画像であるフレームf3のサムネイルが、状態#2に、状態#3に対応するクラスタに属するフレームf4を有する動画セグメントのセグメント代表画像であるフレームf4のサムネイルが、状態#3に、状態#5に対応するクラスタに属するフレームf5を有する動画セグメントのセグメント代表画像であるフレームf5のサムネイルが、状態#5に、状態#4に対応するクラスタに属する、連続するフレームf6,f7,f8・・・を有する動画セグメントのセグメント代表画像であるフレームf6のサムネイルが、状態#4に、それぞれ対応付けられている。
【０１９６】
図１０は、セグメントマップ生成部１４（図３）で生成されるセグメントマップの例を示す図である。
【０１９７】
セグメントマップにおいては、図８のモデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されている。
【０１９８】
所定のカテゴリのコンテンツとしての、例えば、毎日、又は、毎週放送されているニュースのテレビジョン放送番組（ニュース番組）の２回以上の放送分のうちの、最新の放送分のニュース番組を除く、過去の放送分のニュース番組を、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習を行い、最新の放送分のニュース番組を、再生対象コンテンツとして、セグメントマップ生成部１４に与えることにより、図１０に示したようなセグメントマップが生成される。
【０１９９】
以上のように、セグメントマップは、モデルマップ（図８）に、（クラスタ代表画像に選択された）セグメント代表画像を配置した、モデルマップを、いわばベースとするマップである。
【０２００】
モデルマップは、学習後のHMMを、多次元尺度法により２次元平面に投射したマップであり、かかるモデルマップによれば、見た目の特徴等が似ており、かつ、時間前後関係が近接するシーン（フレーム）がクラスタリングされるクラスタ群が、２次元表現上での遷移可能な近傍状態群として表現される。
【０２０１】
そして、そのようなモデルマップをベースとするセグメントマップによれば、例えば、再生対象コンテンツとしてのニュース番組のキャスタが映っているシーン（フレーム、ひいては、動画セグメント）が、ある状態（に対応するクラスタ）にクラスタリングされて集まり、そのようなシーンから遷移する、例えば、スポーツコーナの各シーンや、明日の天気予報のシーン群等が、それぞれ、他の状態にクラスタリングされて集まる、という形で、番組のシーン構成が、２次元の地図として表現される。
【０２０２】
したがって、セグメントマップは、再生対象コンテンツの、いわばシーン地図である、ということができ、ユーザに、再生対象コンテンツを俯瞰させることができる可視化の有効な手段として機能する。
【０２０３】
なお、図１０では、（クラスタ代表画像に選択された）セグメント代表画像が配置されていない状態が存在する。セグメント代表画像が配置されていない状態の存在は、その状態（に対応するクラスタ）にクラスタリングされる再生対象コンテンツのフレームがなかったことを表す。
【０２０４】
ところで、セグメントマップの各状態に配置されるセグメント代表画像のサイズは、状態ごとに異なるサイズにすることもできるし、状態によらず一定のサイズにすることもできる。
【０２０５】
セグメントマップの各状態に配置されるセグメント代表画像のサイズを、状態ごとに異なるサイズにする場合には、マップ描画部６４（図７）において、例えば、各状態について、重要度を求め、その重要度に対応するサイズで、セグメント代表画像を、セグメントマップ（モデルマップ）上に配置することができる。
【０２０６】
図１１は、状態の重要度を求める方法を説明する図である。
【０２０７】
マップ描画部６４は、モデルマップの各状態（クラスタリングモデルとしてのHMMの各状態）について、その状態が、再生対象コンテンツ全体内で、どの程度重要なシーンを表現しているのか（どの程度重要なシーンがクラスタリングされるクラスタに対応する状態であるのか）を表す指標DoI(Degree of Importance)を、重要度として求める。
【０２０８】
いま、状態siの重要度を、DoI(i)と表すとともに、状態si（に対応するクラスタ）にクラスタリングされた再生対象コンテンツの動画セグメントのうちの、k番目の動画セグメントの長さ（フレーム数）であるセグメント長を、LEN(k)と表すこととすると、マップ描画部６４は、式DoI(i)＝max{LEN(k)}に従って、状態siの重要度DoI(i)を求める。
【０２０９】
なお、max{LEN(k)}は、状態siにクラスタリングされた再生対象コンテンツの動画セグメントの数をKで表すこととすると、LEN(1),LEN(2),・・・,LEN(K)の中の最大値、つまり、状態siにクラスタリングされた再生対象コンテンツの動画セグメントの最大のフレーム数を表す。
【０２１０】
マップ描画部６４は、各状態siの重要度DoI(i)を求めると、すべての状態s1,s2,・・・,sNの重要度DoI(1),DoI(2),・・・,DoI(N)の平均値DoIAV＝(DoI(1),DoI(2),・・・,DoI(N))/Nを求める。
【０２１１】
さらに、マップ描画部６４は、重要度DoIを引数として、セグメント代表画像のサイズを決定するための係数であるサイズ係数αを求める関数である係数関数α＝f(DoI)を、重要度の平均値DoIAVを用いて求める。
【０２１２】
ここで、係数関数α＝f(DoI)は、例えば、図１１に示すように、引数である重要度DoIが、0から重要度の平均値DoIAVまでの範囲では、引数である重要度DoIに比例して増加し、引数である重要度DoIが0のときに、α＝0となり、引数である重要度DoIがDoIAVのときに、α＝1.0となる関数であり、かつ、引数である重要度DoIが、重要度の平均値DoIAVを超える範囲では、α＝1.0の一定値となる関数である。
【０２１３】
マップ描画部６４は、重要度の平均値DoIAVを用いて、係数関数α＝f(DoI)を求めると、各状態siについて、サイズ係数α＝f(DoI(i))を求め、そのサイズ係数α＝f(DoI(i))を、あらかじめ設定されたセグメント代表画像のサイズである標準サイズに乗算することにより、セグメントマップに配置するセグメント代表画像のサイズを求め、そのサイズで、（クラスタ代表画像に選択された）セグメント代表画像を、セグメントマップに配置する。
【０２１４】
以上のように、状態の重要度に対応するサイズで、セグメント代表画像を、セグメントマップ上に配置することにより、セグメントマップでは、図１０に示したように、重要度が大きい状態にクラスタリングされたセグメント代表画像ほど、大きいサイズで表示される。
【０２１５】
したがって、ユーザは、セグメントマップを見ることで、重要度が大きい状態にクラスタリングされている動画セグメント、ひいては、再生対象コンテンツにおいて重要なシーンを、迅速に認識することができる。
【０２１６】
図１２は、セグメントマップ生成部１４（図３）が、図２のステップＳ１２で行うセグメントマップ生成処理を説明するフローチャートである。
【０２１７】
ステップＳ２１では、クラスタリング部２１（図３）が、再生対象コンテンツの各フレームをクラスタリングして、処理は、ステップＳ２２に進む。
【０２１８】
すなわち、クラスタリング部２１では、クラスタ判定部３３（図４）が、再生対象コンテンツの各フレームの特徴量を抽出する。
【０２１９】
さらに、クラスタ判定部３３は、クラスタリングモデル記憶部３２（図４）に記憶されたクラスタリングモデルとしてのHMMのうちの、再生対象コンテンツと同一のカテゴリのHMMを、注目モデルに選択する。
【０２２０】
そして、クラスタ判定部３３は、注目モデルとしてのHMMにおいて、再生対象コンテンツの各フレームの特徴量の時系列が観測される最尤状態系列を推定し、その最尤状態系列（を構成するHMMの状態のインデクスである状態IDの系列）を、再生対象コンテンツの各フレームのクラスタリング結果を表すクラスタ情報として、セグメント区分部２２に供給する。
【０２２１】
ステップＳ２２では、セグメント区分部２２（図３）が、クラスタリング部２１（のクラスタ判定部３３）からのクラスタ情報に基づいて、各クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分する。
【０２２２】
そして、セグメント区分部２２は、再生対象コンテンツの各動画セグメントについて、その動画セグメントを表すセグメント情報を、セグメント代表画像生成部２３に供給して、処理は、ステップＳ２２からステップＳ２３に進む。
【０２２３】
ステップＳ２３では、セグメント代表画像生成部２３（図３）は、再生対象コンテンツの各動画セグメントについて、セグメント区分部２２からのセグメント情報に基づいて認識される、動画セグメントを構成するフレームを用いて、その動画セグメントを代表するセグメント代表画像を生成する。
【０２２４】
そして、セグメント代表画像生成部２３は、各動画セグメントのセグメント代表画像を、マップ生成部２４に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
【０２２５】
ステップＳ２４では、マップ生成部２４（図３）は、セグメント代表画像生成部２３からのセグメント代表画像を用いて、セグメントマップを生成し、表示制御部１６に供給して、セグメントマップ生成処理が終了する。
【０２２６】
すなわち、マップ生成部２４では、状態間距離算出部６２（図７）が、注目モデルとしてのHMMの１つの状態siから他の１つの状態sjへの状態間距離dij*を、状態遷移確率aijに基づいて求め、その状態間距離dij*をコンポーネントとするN行N列の行列である状態間距離行列を算出して、座標算出部６３に供給する。
【０２２７】
座標算出部６３（図７）は、Sammon Map等の多次元尺度法に従い、状態間距離算出部６２からの状態間距離行列を用いて、例えば、上述の式（１）のエラー関数Eを最小にするように、注目モデルとしてのHMMの各状態siのモデルマップ上の座標Yi=(xi,yi)を求め、マップ描画部６４に供給する。
【０２２８】
マップ描画部６４（図７）は、座標算出部６３からの座標Yiの位置に、対応する状態si（の画像）を配置し、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画することで、注目モデルとしてのHMMを、２次元のモデルマップ（のグラフィクス）に変換する。
【０２２９】
また、マップ生成部２４において、クラスタ代表画像選択部６１（図７）は、（注目モデルとしてのHMMの各状態に対応する）各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタを代表するクラスタ代表画像を選択する。
【０２３０】
そして、クラスタ代表画像選択部６１は、各クラスタに属するセグメント代表画像を、クラスタ代表画像に選択されたセグメント代表画像を表すフラグとともに、マップ描画部６４に供給する。
【０２３１】
マップ描画部６４（図７）は、モデルマップ（セグメントマップ）の各状態について、その状態に対応するクラスタに属するセグメント代表画像を、クラスタ代表画像選択部６１からのセグメント代表画像から抽出し、そのセグメント代表画像が属する（クラスタに対応する）状態に対応付ける。
【０２３２】
また、マップ描画部６４は、モデルマップの各状態の重要度DoIを、例えば、図１１で説明したようにして求める。
【０２３３】
そして、マップ描画部６４は、モデルマップ上の各状態siについて、状態siに対応付けられているセグメント代表画像のうちの、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を、状態siの位置に描画することで、セグメントマップを生成する。
【０２３４】
なお、マップ描画部６４は、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を描画するにあたり、状態siの重要度DoI(i)に対応するサイズで、セグメント代表画像を描画する。
【０２３５】
以上のようなセグメントマップ生成処理によって得られるセグメントマップは、セグメントマップ生成部１４から表示制御部１６（図１）に供給される。
【０２３６】
そして、表示制御部１６では、セグメントマップが、表示部１７に表示される。
【０２３７】
セグメントマップが、表示部１７に表示された後、表示制御部１６では、図２のステップＳ１４で説明したように、ユーザの操作（操作イベント処理部１２（図１）で発生する操作イベント）に応じて、セグメントマップの表示制御が行われる。
【０２３８】
［表示制御部１６によるセグメントマップ等の表示制御］
【０２３９】
表示制御部１６がセグメントマップの表示の表示制御を行うときの表示モード（セグメントマップの表示時の表示制御部１６の内部状態）としては、レイヤ０モード、レイヤ１モード、及び、レイヤ２モードの３つのモードがある。
【０２４０】
表示制御部１６は、セグメントマップ生成部１４からセグメントマップが供給されると、表示モードをレイヤ０モードにして、セグメントマップを表示部１７に表示する（表示させる）。
【０２４１】
レイヤ０モードでは、表示部１７において、セグメントマップは、例えば、図１０に示したように表示される。
【０２４２】
図１３は、レイヤ０モードにおいて、ユーザが、表示部１７の表示画面上の位置を指示したときのセグメントマップの表示例を示す図である。
【０２４３】
ここで、以下では、説明を分かりやすくするために、ユーザが操作を行う操作手段として、例えば、マウスを採用し、操作イベント処理部１２（図１）では、マウスの（シングル）クリックや、ダブルクリック、（マウス）カーソルの移動等の操作イベントが発生されることとする。
【０２４４】
また、操作イベントには、カーソルの位置の情報が含まれることとする。
【０２４５】
なお、ユーザが操作を行う操作手段としては、マウスの他、タッチパネルその他のポインティングデバイス等を採用することができる。操作手段として、タッチパネルを採用する場合、マウスのタップ、及び、ダブルタップは、例えば、それぞれ、マウスのクリック、及び、ダブルクリックに対応させることができる。
【０２４６】
さらに、マウスでのカーソルの移動は、例えば、指等をタッチパネルにタッチした状態で、その指を移動させることに対応させることができる。なお、タッチパネルが、指等の近接を検出することができる場合には、マウスでのカーソルの移動は、例えば、タッチパネルに近接した指を移動させることに対応させることができる。
【０２４７】
レイヤ０モードでは、表示制御部１６は、マウスの操作に従って移動するカーソルの位置を、ユーザが指示する指示位置とし、その指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、注目状態（に対応するクラスタ）に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を、セグメントマップに重畳する形で、表示部１７に表示する。
【０２４８】
図１３は、タイル画像が重畳されたセグメントマップの表示例を示す図である。
【０２４９】
レイヤ０モードにおいて、表示制御部１６は、ユーザの指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、その注目状態の位置と、指示位置との距離が閾値以下である場合には、注目状態に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を生成し、セグメントマップに重畳して表示する。
【０２５０】
ここで、タイル画像においては、注目状態に対応付けられたセグメント代表画像が、例えば、時系列に、左から右、及び、上から下方向に、タイル状（格子状）に並ぶように配置される。
【０２５１】
図１４は、以上のようにタイル画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【０２５２】
図１４の処理は、例えば、カーソルが移動されたとき等の不定期のタイミングで、又は、周期的なタイミングで開始される。
【０２５３】
ステップＳ４１において、表示制御部１６は、セグメントマップの状態のうちの、ユーザの指示位置であるカーソルの位置に最も近い状態を、注目状態に選択して、処理は、ステップＳ４２に進む。
【０２５４】
ステップＳ４２では、表示制御部１６は、ユーザの指示位置であるカーソルの位置から注目状態の位置までの距離（以下、カーソル間距離ともいう）が、閾値以下であるかどうかを判定する。
【０２５５】
ステップＳ４２において、カーソル間距離が、閾値以下でないと判定された場合、すなわち、カーソルが、例えば、表示部１７の表示画面の端部等の、セグメントマップのいずれの状態からも離れた位置にある場合、表示制御部１６は、ステップＳ４３及びＳ４４をスキップして、処理を終了する。
【０２５６】
なお、カーソル間距離が、閾値以下でない場合に、表示部１７に、タイル画像が表示されているときには、表示制御部１６は、そのタイル画像を消去する。
【０２５７】
一方、ステップＳ４２において、カーソル間距離が、閾値以下であると判定された場合、処理は、ステップＳ４３に進み、表示制御部１６は、注目状態に対応付けられたセグメント代表画像を、時系列順に並べた一覧の画像であるタイル画像を生成して、処理は、ステップＳ４４に進む。
【０２５８】
ここで、表示制御部４３は、タイル画像を表示する表示エリアのサイズを、注目状態に対応付けられたセグメント代表画像の数に応じて設定する。
【０２５９】
すなわち、表示制御部４３は、タイル画像を表示する表示エリアのサイズについて、あらかじめ決められている最小のサイズから最大のサイズまでの範囲において、注目状態に対応付けられたセグメント代表画像の数が多くなるほど、サイズが大になるように、タイル画像を表示する表示エリアのサイズを設定する。
【０２６０】
以下、注目状態に対応付けられたセグメント代表画像の数に応じて設定された表示エリアのサイズを、設定サイズともいう。
【０２６１】
表示制御部４３は、設定サイズの表示エリアに表示されるタイル画像内に、注目状態に対応付けられたセグメント代表画像すべてを配置することができるように、タイル画像の横と縦のそれぞれに配置するセグメント代表画像の数と、タイル画像に配置するセグメント代表画像のサイズとを決定する。
【０２６２】
なお、最大の表示エリアに表示されるタイル画像内に配置することができるセグメント代表画像の数の最大値NUMmax（、及び、そのセグメント代表画像のサイズの最小値）は、あらかじめ決められており、注目状態に対応付けられているセグメント代表画像の数が、最大値NUMmaxを超える場合には、タイル画像に配置されるセグメント代表画像の数は、最大値NUMmaxに制限される。すなわち、注目状態に対応付けられているセグメント代表画像のうちの、例えば、時系列順で、最大値NUMmaxに等しい数のセグメント代表画像が、タイル画像に配置される。
【０２６３】
ステップＳ４４では、表示制御部１４は、注目状態に対応付けられたセグメント代表画像を並べたタイル画像を、セグメントマップの注目状態の近傍に重畳する形で表示して、処理を終了する。
【０２６４】
なお、カーソル間距離が、閾値以下である場合に、表示部１７に、注目状態のタイル画像（注目状態に対応付けられたセグメント代表画像を並べたタイル画像）が、既に表示されているときには、表示制御部１６は、ステップＳ４３及びＳ４４をスキップし、既に表示されているタイル画像の表示を、そのまま維持する。
【０２６５】
また、カーソル間距離が、閾値以下である場合に、表示部１７に、注目状態以外の状態のタイル画像が表示されているときには、表示制御部１６は、そのタイル画像を消去する。
【０２６６】
以上のように、レイヤ０モードでは、ユーザの指示位置に最も近いセグメントマップ上の状態（注目状態）に対応付けられたセグメント代表画像の一覧の画像であるタイル画像が表示されるので、ユーザは、カーソルを、所望の状態の位置付近に移動するだけで、その所望の状態に対応付けられたセグメント代表画像の一覧を確認し、ひいては、その所望の状態（に対応するクラスタ）にクラスタリングされているシーンを把握することができる。
【０２６７】
ここで、上述の場合には、ユーザの指示位置に最も近いセグメントマップ上の状態（注目状態）に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を表示することとしたが、タイル画像の表示に代えて、注目状態の位置に表示されている（クラスタ代表画像に選択された）セグメント代表画像の強調表示を行うことができる。
【０２６８】
セグメント代表画像の強調表示を行う方法としては、例えば、セグメント代表画像のサイズを大きくする方法や、セグメント代表画像の周囲を囲む赤枠を表示する方法等を採用することができる。
【０２６９】
なお、タイル画像の表示、及び、注目状態の位置に表示されているセグメント代表画像の強調表示のうちのいずれを行うかは、ユーザの操作に応じて設定することができる。
【０２７０】
以下では、タイル画像の表示が行われることとする。
【０２７１】
レイヤ０モードにおいて、タイル画像が表示されているときに、ユーザが、あらかじめ決められた所定の操作としての、例えば、マウスの（シングル）クリックを行うと、表示制御部１６は、表示モードを、レイヤ０モードから、レイヤ１モードに移行（変更）（設定）する。
【０２７２】
レイヤ１モードでは、表示制御部１６は、タイル画像の表示を固定（ロック）する。
【０２７３】
すなわち、レイヤ０モードでは、ユーザがカーソルを移動させると、移動後のカーソルに最も近い状態に対応付けられたセグメント代表画像が時系列に配置されたタイル画像が表示されるため、カーソルの移動によって、カーソルに最も近い状態が変化すると、タイル画像も変化する。
【０２７４】
そのような、タイル画像が表示されるレイヤ０モードにおいて、タイル画像が表示されているときに、クリックが行われると、表示制御部１６は、表示モードを、レイヤ０モードから、レイヤ１モードに移行し、そのとき表示されていたタイル画像の表示が維持されるように、タイル画像の表示を固定する。
【０２７５】
ここで、レイヤ１モードにおいて、表示が固定されたタイル画像を、固定タイル画像ともいう。
【０２７６】
図１５は、固定タイル画像の表示例を示す図である。
【０２７７】
固定タイル画像は、レイヤ０モードにおいてクリックが行われる直前に表示されていたタイル画像、すなわち、レイヤ０モードにおいてクリックが行われたときのカーソルの位置に最も近い位置の状態である注目状態に対応付けられたセグメント代表画像が配置されたタイル画像を含む画像であり、レイヤ１モードにおいて、固定タイル画像が表示された後は、カーソルが移動しても（ユーザの指示位置が変化しても）、固定タイル画像の表示は、そのまま維持される。
【０２７８】
図１６は、固定タイル画像の詳細を示す図である。
【０２７９】
固定タイル画像においては、下部に、レイヤ０モードにおいてクリックが行われる直前に表示されていたタイル画像が配置され、その上部に、ヘッダ部が配置されている。
【０２８０】
ヘッダ部には、ブックマークボタン、保存ボタン、時計マーク、及び、タイムラインバーが配置される。
【０２８１】
ブックマークボタンは、注目状態、すなわち、固定タイル画像の下部のタイル画像に配置されたセグメント代表画像が対応付けられた状態を、ユーザがお気に入りのシーンがクラスタリングされるお気に入りの状態として、仮登録するときに操作（例えば、クリック）される。
【０２８２】
ブックマークボタンが操作されると、注目状態は、お気に入りの状態として仮登録され、再度、ブックマークボタンが操作されると、注目状態の仮登録が解除される。
【０２８３】
保存ボタンは、お気に入りの状態の仮登録を、本登録するときに操作（例えば、クリック）される。
【０２８４】
保存ボタンが操作されたときに、注目状態が、お気に入りの状態として仮登録されていれば、注目状態が、お気に入り状態として本登録される。また、例えば、注目状態が、既に、お気に入り状態として本登録されている場合に、保存ボタンが操作されると、注目状態の本登録が解除される。
【０２８５】
ここで、以上のように、保存ボタンが操作されたときに、注目状態が、お気に入りの状態として仮登録されていると、注目状態が、お気に入りの状態として本登録されるので、注目状態が、お気に入りの状態として仮登録されている場合の、保存ボタンの操作は、注目状態の本登録を要求する操作であり、以下、お気に入り操作ともいう。
【０２８６】
お気に入り操作に応じて行われる本登録では、操作イベント処理部１２（図１）において、ユーザを識別するユーザIDに対応付けて、再生対象コンテンツのセグメントマップのベースとなったモデルマップの生成に用いられた注目モデルとしてのHMMを識別するモデルIDと、お気に入りの状態として本登録する状態（クラスタ）を識別する状態IDとが、お気に入り情報として、お気に入り情報記憶部１３に記憶される。
【０２８７】
なお、ユーザIDは、ユーザが、図１の画像処理装置を使用するときに、ユーザによって入力されることとする。
【０２８８】
また、クラスタリングモデルとしてのHMMには、クラスタリングモデル学習部３１において、学習後に、そのHMMを識別するためのモデルIDが割り当てられることとする。
【０２８９】
時計マークは、例えば、再生対象コンテンツの先頭から最後までの再生時間を、時計の針の1周の時間（0分から60分までの1時間）に割り当て、タイル画像に配置されているセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目している注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示するアイコンである。
【０２９０】
図１６では、注目代表画像が存在しない（選択されていない）ため、時計マークは、再生対象コンテンツの先頭のタイミングを表す0分を表示している。
【０２９１】
タイムラインバーは、横長のバーであり、再生対象コンテンツの先頭から最後までの再生時間を、タイムラインバーの左端から右端までに割り当て、タイル画像に配置されているセグメント代表画像それぞれに対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する時刻（位置）を表す。
【０２９２】
図１６のタイムラインバーにおいて、斜線を付してある部分が、タイル画像に配置されているセグメント代表画像それぞれに対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する時刻を表す。
【０２９３】
レイヤ１モードでは、表示制御部１６は、マウスの操作に従って移動するカーソルの位置を、ユーザが指示する指示位置として、固定タイル画像（のタイル画像）に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、指示位置（カーソルの位置）に最も近いセグメント代表画像を、注目する注目代表画像として、その注目代表画像を強調表示する。
【０２９４】
図１７は、注目代表画像の強調表示の表示例を示す図である。
【０２９５】
レイヤ１モードでは、表示制御部１６は、固定タイル画像に配置されたセグメント代表画像のうちの、ユーザの指示位置に最も近いセグメント代表画像を、注目代表画像に選択し、その注目代表画像を、固定タイル画像とは別に強調表示する。
【０２９６】
注目代表画像の強調表示では、注目代表画像を、例えば、固定タイル画像に配置されているサイズの2倍のサイズ等の大きなサイズで表示することや、注目代表画像を、赤枠で囲んで表示することができる。
【０２９７】
図１７では、注目代表画像が、固定タイル画像に配置されているサイズよりも大きなサイズで表示されることにより、強調表示されている。
【０２９８】
なお、レイヤ１モードでは、表示制御部１６は、例えば、ユーザの指示位置が、固定タイル画像上にある場合にのみ、その指示位置に最も近いセグメント代表画像を、注目代表画像に選択する。
【０２９９】
したがって、ユーザの指示位置（カーソル）が、固定タイル画像上にない場合には、固定タイル画像に配置されているセグメント代表画像のいずれも、注目代表画像には選択されない。
【０３００】
また、図１７では、固定タイル画像に配置されたセグメント代表画像のうちの、ユーザの指示位置に最も近いセグメント代表画像が、注目代表画像に選択されており、そのため、時計マークは、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示している。
【０３０１】
さらに、図１７では、ユーザが、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを認識することができるように、タイムラインバーにおいて、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する部分（黒塗りの部分）が、他の部分と異なる表示になっている。
【０３０２】
レイヤ１モードにおいて、注目代表画像が選択されているときに、ユーザが、あらかじめ決められた所定の操作としての、例えば、マウスの（シングル）クリックを行うと、表示制御部１６は、表示モードを、レイヤ１モードから、レイヤ２モードに移行する。
【０３０３】
レイヤ２モードでは、表示制御部１６は、固定タイル画像に代えて、又は、固定タイル画像に重畳して、タイムライン画像を表示する。
【０３０４】
すなわち、レイヤ１モードでは、ユーザが、固定タイル画像上においてカーソルを移動させると、移動後のカーソルに最も近いセグメント代表画像が、注目代表画像に選択され、注目画像が強調表示されるが、注目代表画像が選択されているときに、クリックが行われると、表示制御部１６は、表示モードを、レイヤ１モードから、レイヤ２モードに移行し、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、注目画像を中心として、時系列に配置したタイムライン画像を生成し、表示部１７に表示する。
【０３０５】
図１８は、タイムライン画像の表示例を示す図である。
【０３０６】
レイヤ１モードにおいて、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちのいずれかのセグメント代表画像が、注目代表画像に選択されているときに、クリックが行われると、表示制御部１６は、表示モードを、レイヤ１モードから、レイヤ２モードに移行し、固定タイル画像に配置されたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、タイムライン画像を構成する構成画像として選択する。
【０３０７】
そして、表示制御部１６は、構成画像を、例えば、左から右に、時系列順に並べて配置したタイムライン画像を生成し、表示部１７に表示する。
【０３０８】
図１８では、注目代表画像と、その注目代表画像の時間的に前に続く（過去側の）3枚のセグメント代表画像、及び、注目代表画像の時間的に後に続く（未来側の）3枚のセグメント代表画像との、合計で、7枚のセグメント代表画像が、構成画像として選択されている。
【０３０９】
そして、7枚の構成画像を、左から右に、時系列順に並べて配置することによって、タイムライン画像が構成されている。
【０３１０】
以上のように、タイムライン画像においては、構成画像としての、固定タイル画像に配置されたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像が、時系列順に配置されるので、注目代表画像は、タイムライン画像の中央部分に配置される。
【０３１１】
タイムライン画像においては、構成画像としての7枚のセグメント代表画像を、すべて、同一のサイズで配置することもできるし、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置することもできる。
【０３１２】
図１８のタイムライン画像では、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置されている。
【０３１３】
また、タイムライン画像においては、図１８に示すように、その上部に、固定タイル画像（図１６）のヘッダ部に配置されるのと同様の時計マークとタイムラインバーを配置することができる。
【０３１４】
ここで、図１８では、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目代表画像を中心とする時系列に7枚のセグメント代表画像を、タイムライン画像の構成画像として採用することとしたが、タイムライン画像の構成画像は、7枚に限定されるものではない。
【０３１５】
図１９は、タイムライン画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【０３１６】
レイヤ１モードにおいて、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちのいずれかのセグメント代表画像が、注目代表画像に選択されているときに、所定の操作としてのクリックが行われると、表示モードがレイヤ１モードからレイヤ２モードとなって、図１９の処理が開始される。
【０３１７】
ステップＳ５１において、表示制御部１６は、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像（過去側に並ぶ所定の数のセグメント代表画像、及び、未来側に並ぶ所定の数のセグメント代表画像）とを、タイムライン画像を構成する構成画像として選択して、処理は、ステップＳ５２に進む。
【０３１８】
ステップＳ５２では、表示制御部１６は、構成画像を、左から右に、時系列順に並べて配置したタイムライン画像を生成して、処理は、ステップＳ５３に進む。
【０３１９】
ここで、構成画像を、左から右に、時系列順に並べて配置したタイムライン画像は、構成画像のうちの、注目代表画像を中心として、その注目代表画像よりも（動画セグメントが）過去側の構成画像としてのセグメント代表画像が、時系列順に左側に配置されるとともに、注目代表画像よりも未来側の構成画像としてのセグメント代表画像が、時系列順に右側に配置された画像となる。
【０３２０】
また、表示制御部１６は、構成画像を配置するときに、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置する。
【０３２１】
ステップＳ５３では、表示制御部１６は、タイムライン画像を、セグメントマップの注目状態の近傍に表示して、処理を終了する。
【０３２２】
以上のようにして、レイヤ２モードでは、タイムライン画像が、図１８に示したように表示される。
【０３２３】
なお、タイムライン画像については、固定タイル画像に配置されたセグメント代表画像、すなわち、注目状態に対応付けられたセグメント代表画像の中から、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、構成画像として選択する他、例えば、再生対象コンテンツを構成する動画セグメントのすべてのセグメント代表画像の中から、注目代表画像と、注目代表画像に対応する動画セグメントの前後に続く所定の数の動画セグメントそれぞれのセグメント代表画像（注目状態に対応付けられたセグメント代表画像に限られない）とを、構成画像として選択することができる。
【０３２４】
以下では、注目状態に対応付けられたセグメント代表画像の中から、タイムライン画像の構成画像が選択されることとする。
【０３２５】
表示制御部１６がレイヤ２モードにおいて表示するタイムライン画像に配置される構成画像としてのセグメント代表画像は、ユーザの操作に応じてスクロールすることができる。
【０３２６】
図２０は、タイムライン画像に配置される構成画像としてのセグメント代表画像のスクロールの表示例を示す図である。
【０３２７】
表示制御部１６において、タイムライン画像の左端側の一部のエリアは、過去側へのスクロールを指示する過去スクロールエリア（図示せず）に設定されており、タイムライン画像の右端側の一部のエリアは、未来側へのスクロールを指示する未来スクロールエリア（図示せず）に設定されている。
【０３２８】
ここで、タイムライン画像に設定された過去スクロールエリア、及び、未来スクロールエリアの両方、又は、一方を、以下、単に、スクロールエリアともいう
【０３２９】
表示制御部１６は、レイヤ２モードにおいて、ユーザの指示位置であるカーソルの位置が、タイムライン画像上に設定されたスクロールエリア内である場合、スクロールを行うことを、ユーザに報知するためのスクロールマークを表示し、タイムライン画像に配置される構成画像としてのセグメント代表画像をスクロールする。
【０３３０】
図２０では、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置しており、過去側へのスクロールを行うことを表すスクロールマークが、タイムライン画像の左端に表示されている。
【０３３１】
この場合、表示制御部１６は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、注目代表画像に隣接する過去側のセグメント代表画像を、タイムライン画像の中央部分に配置すべき中央画像とし、その中央画像と、中央画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像を、構成画像として新たに選択する。
【０３３２】
そして、表示制御部１６は、タイムライン画像に、いま表示されている構成画像に代えて、新たに選択した構成画像を、時系列に配置する。
【０３３３】
その結果、タイムライン画像を構成する構成画像は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、注目代表画像に隣接する過去側のセグメント代表画像を中心とする時系列の7枚のセグメント代表画像になり、過去側に、1枚のセグメント代表画像分だけ過去側にスクロールされる。
【０３３４】
ここで、過去側へのスクロールの方向は、図２０に矢印で示すように、左から右方向になる（タイムライン画像を構成する構成画像が、左から右方向にずれる）。
【０３３５】
以上のように、スクロールが行われた後、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置したままになっていると、表示制御部１６は、スクロールマークの表示を維持し、さらに、注目状態に対応付けられた時系列のセグメント代表画像のうちの、中央画像に隣接する過去側のセグメント代表画像を、新たな中央画像とし、その新たな中央画像と、新たな中央画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像を、構成画像として新たに選択する。
【０３３６】
そして、表示制御部１６は、タイムライン画像に、いま表示されている構成画像に代えて、新たに選択した構成画像を、時系列に配置する。
【０３３７】
その結果、タイムライン画像を構成する構成画像は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、前回の中央画像に隣接する過去側のセグメント代表画像を中心とする時系列の7枚のセグメント代表画像になり、過去側に、さらに、1枚のセグメント代表画像分だけ過去側にスクロールされる。
【０３３８】
以下、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置している限り、同様の処理が行われ、タイムライン画像の過去側へのスクロールが続行される。
【０３３９】
なお、図示していないが、カーソルが、タイムライン画像上に設定された右端側の未来スクロールエリア内に位置している場合には、未来側へのスクロールを行うことを表すスクロールマークが、タイムライン画像の右端に表示され、タイムライン画像が、未来側（スクロールの方向としては、右から左方向）にスクロールされる。
【０３４０】
したがって、レイヤ２モードでは、ユーザは、タイムライン画像上のスクロールエリア（過去スクロールエリア、未来スクロールエリア）に、カーソルを移動するだけで、タイムライン画像をスクロールすることができ、その結果、所望の動画セグメント（のセグメント代表画像）を、容易に探し出すことができる。
【０３４１】
［再生制御部１５による動画セグメントの再生制御］
【０３４２】
表示モードが、レイヤ０モード、レイヤ１モード、及び、レイヤ２モードのうちのいずれであっても、再生制御部１５は、動画セグメントの再生を要求する再生操作としての、例えば、その動画セグメントのセグメント代表画像に対するダブルクリックが行われると、ダブルクリック（再生操作）が行われたセグメント代表画像に対応する動画セグメントを、コンテンツ記憶部１１から再生する。
【０３４３】
再生制御部１５において再生された動画セグメントの画像は、表示制御部１６に供給され、表示部１７に表示される。
【０３４４】
図２１は、再生制御部１５において再生された動画セグメントの画像の表示例を示す図である。
【０３４５】
図２１においては、セグメントマップを表示するマップウインドウと、動画セグメントの画像を表示する再生ウインドウ#1，#2、及び、#3とがオープンしている。
【０３４６】
図２１では、レイヤ０モードにおいて、まず、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像（クラスタ代表画像に選択されたセグメント代表画像）#1がダブルクリックされ、再生制御部１５において、そのダブルクリックに応じて、セグメント代表画像#1に対応する動画セグメント#1の再生が開始されて、動画セグメント#1の画像が、再生ウインドウ#1に表示されている。
【０３４７】
さらに、図２１では、セグメント代表画像#1に対応する動画セグメント#1の再生中に、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像#2がダブルクリックされ、再生制御部１５において、そのダブルクリックに応じて、セグメント代表画像#2に対応する動画セグメント#2の再生が開始されて、動画セグメント#2の画像が、再生ウインドウ#2に表示されている。
【０３４８】
その後、図２１では、セグメント代表画像#1及び#2それぞれに対応する動画セグメント#1及び#2の再生中に、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像#3がダブルクリックされ、再生制御部１５において、そのダブルクリックに応じて、セグメント代表画像#3に対応する動画セグメント#3の再生が開始されて、動画セグメント#3の画像が、再生ウインドウ#3に表示されている。
【０３４９】
以上のように、再生制御部１５では、再生対象コンテンツのセグメント代表画像に対して、再生操作としてのダブルクリックが行われると、そのダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する再生制御が行われる。
【０３５０】
そして、再生制御部１５では、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する際に、他の動画セグメントの再生が行われているときには、その既に行われている他の動画セグメントの再生を維持したまま、ダブルクリックがされたセグメント代表画像に対応する動画セグメントが再生される。
【０３５１】
したがって、ユーザは、１つのコンテンツである再生対象コンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、同時に視聴することができる。
【０３５２】
なお、再生が行われている動画セグメント（以下、再生動画セグメントともいう）の画像は、再生ウインドウをオープンして、その再生ウインドウに表示する他、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍に、セグメント代表画像の標準サイズよりも大きいサイズ等で表示することができる。
【０３５３】
再生動画セグメントの画像を、再生ウインドウに表示するか、又は、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍に表示するかは、例えば、ユーザの操作に応じて設定することができる。
【０３５４】
また、再生動画セグメントの画像は、再生ウインドウと、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍との両方に表示することができる。
【０３５５】
さらに、再生動画セグメントの画像を再生ウインドウに表示する場合には、再生ウインドウと、その再生ウインドウに画像が表示されている再生動画セグメント（のセグメント代表画像）が対応付けられている状態の近傍に表示されているセグメント代表画像とに、例えば、同一の装飾を施すことができる。
【０３５６】
図１８では、再生ウインドウ#1と、その再生ウインドウ#1に画像が表示されている動画セグメント#1が対応付けられている状態の近傍に表示されているセグメント代表画像#1とに、同一の装飾としての、左上がりの斜線の模様が、画像を囲む枠に施されている。
【０３５７】
さらに、図１８では、再生ウインドウ#2と、その再生ウインドウ#2に画像が表示されている動画セグメント#2が対応付けられている状態の近傍に表示されているセグメント代表画像#2とに、同一の装飾としての、右上がりの斜線の模様が、画像を囲む枠に施されており、再生ウインドウ#3と、その再生ウインドウ#3に画像が表示されている動画セグメント#3が対応付けられている状態の近傍に表示されているセグメント代表画像#3とに、同一の装飾としての、横線の模様が、画像を囲む枠に施されている。
【０３５８】
この場合、ユーザは、再生ウインドウに画像が表示されている動画セグメント（のセグメント代表画像）が対応付けられている状態を、即座に認識することができる。
【０３５９】
なお、再生動画セグメントの画像を再生ウインドウに表示する場合、再生ウインドウは、セグメント代表画像に対して、再生操作としてのダブルクリックが行われるたびにオープンされ、そのオープンされたウインドウに、ダブルクリックがされたセグメント代表画像に対応する動画セグメントの画像が表示される。
【０３６０】
セグメント代表画像に対するダブルクリックが行われ、そのセグメント代表画像に対応する動画セグメントの画像を表示するための再生ウインドウがオープンされた直後は、その再生ウインドウ（のみ）が、いわゆるアクティブウインドウになる。
【０３６１】
また、複数の再生ウインドウが既にオープンしている場合には、その複数の再生ウインドウの中で、最後にアクティブウインドウになった再生ウインドウに画像が表示されている動画セグメントの音声が出力され、他の再生ウインドウに画像が表示されている動画セグメントの音声は、ミュートされる。
【０３６２】
ここで、再生制御部１５では、表示モードが、レイヤ０モード、レイヤ１モード、及び、レイヤ２モードのいずれの場合であっても、セグメント代表画像に対するダブルクリックが行われたときには、そのセグメント代表画像に対応する動画セグメントの再生が行われる。
【０３６３】
また、動画セグメントの再生は、セグメントマップ上のセグメント代表画像の他、レイヤ１モードで表示される固定タイル画像に配置されたセグメント代表画像（図１５）や、強調表示されるセグメント代表画像（図１７）、レイヤモード２で表示されるタイムライン画像に配置されたセグメント代表画像（図１８、図２０）がダブルクリックされた場合も、行われる。
【０３６４】
したがって、ユーザは、表示モードにかかわらず、セグメント代表画像をダブルクリックするという、いわば統一した操作を行うだけで、そのセグメント代表画像に対応する動画セグメントを視聴することができる。
【０３６５】
図２２は、再生ウインドウの表示例を示す図である。
【０３６６】
再生ウインドウの大部分は、動画セグメントの画像が表示される表示エリアになっている。そして、表示エリアの上部には、時計マーク、タイムラインバー、及び、スピーカアイコンが配置されている。
【０３６７】
時計マーク、及び、タイムラインバーは、図１６の時計マーク、及び、タイムラインバーと同様である。
【０３６８】
但し、再生ウインドウの時計マークは、再生ウインドウに画像が表示されている動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示する。
【０３６９】
また、再生ウインドウのタイムラインバーでは、再生ウインドウに画像が表示されている動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する部分（斜線を付してある部分）が、他の部分と異なる表示になっている。
【０３７０】
スピーカアイコンは、表示エリアに画像が表示されている動画セグメントの音声のミュートのオンとオフとを提示するアイコンであり、アクティブな再生ウインドウでは、スピーカの表示になり、アクティブでない再生ウインドウでは、スピーカにバツ印が付された表示になる。
【０３７１】
図２３は、お気に入り情報記憶部１３にお気に入り情報が記憶（登録）されている場合の、レイヤ０モードのセグメントマップの表示例を示す図である。
【０３７２】
図１６で説明したように、レイヤ１モードにおいて、ユーザがお気に入り操作を行うと、すなわち、注目状態が、お気に入りの状態として仮登録されている場合に、保存ボタンの操作を行うと、操作イベント処理部１２（図１）では、（お気に入り操作を行った）ユーザを識別するユーザIDに対応付けて、再生対象コンテンツのセグメントマップのベースのモデルマップの生成に用いられた注目モデルとしてのHMMを識別するモデルIDと、お気に入りの状態として本登録する状態を識別する状態IDとが、お気に入り情報として、お気に入り情報記憶部１３（図１）に記憶（登録）される。
【０３７３】
ここで、お気に入り情報記憶部１３にお気に入り情報として状態IDが記憶された状態を、登録状態ともいう。
【０３７４】
ユーザが、図１の画像処理装置の使用時に、ユーザIDを入力し、そのユーザIDが、お気に入り情報（の一部）として、お気に入り情報記憶部１３に記憶されている場合、表示制御部１６（図１）は、お気に入り情報記憶部１３から、画像処理装置を使用するユーザ（以下、使用ユーザともいう）のユーザIDに対応付けられたモデルIDと状態IDとを読み出す。
【０３７５】
さらに、表示制御部１６は、再生対象コンテンツのセグメントマップの生成に用いられたクラスタリングモデルとしてのHMMが、使用ユーザのユーザIDに対応付けられたモデルIDによって識別されるHMMである場合、つまり、使用ユーザのユーザIDに対応付けられたモデルIDによって識別されるHMMを用いて、再生対象コンテンツのセグメントマップが生成された場合には、そのセグメントマップの、使用ユーザのユーザIDに対応付けられた状態IDによって識別される状態である登録状態に対応付けられた（クラスタ代表画像に選択された）セグメント代表画像を強調表示する。
【０３７６】
図２３では、セグメントマップの登録状態に対応付けられたセグメント代表画像が、枠で囲まれることにより強調表示されている。
【０３７７】
ここで、セグメントマップ生成部１４では、例えば、毎日等の定期的に放送されるニュース番組のセグメントマップの生成には、同一のHMMが用いられる。この同一のHMM、すなわち、定期的に放送されるあるニュース番組のセグメントマップの生成に用いられるHMMを、ニュース用HMMということとする。
【０３７８】
いま、使用ユーザが、ある日のニュース番組のセグメントマップを見て、お気に入り操作を行い、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられた状態を、登録状態として、その登録状態の状態IDが、ニュース用HMMのモデルIDとともに、使用ユーザのユーザIDと対応付けられて、お気に入り情報として、お気に入り情報記憶部１３（図１）に記憶されたとする。
【０３７９】
この場合、使用ユーザが、後日、その日に放送された最新のニュース番組を、再生対象コンテンツとして選択すると、セグメントマップ生成部１４では、ニュース用HMMを用いて、再生対象コンテンツである最新のニュース番組のセグメントマップが生成される。
【０３８０】
そして、表示制御部１６では、ニュース用HMMの登録状態が、お気に入り情報記憶部１３に記憶されたお気に入り情報から認識され、そのニュース用HMMを用いて生成された、最新のニュース番組のセグメントマップの登録状態に対応付けられたセグメント代表画像が強調表示される。
【０３８１】
したがって、ユーザが、例えば、過去に放送されたニュース番組のセグメントマップを見て、お気に入り操作を行い、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられた状態を、登録状態としておくことにより、その後に放送されるニュース番組のセグメントマップでは、登録状態に対応付けられたセグメント代表画像が強調表示されるので、興味を持ったシーンとしての動画セグメント（のセグメント代表画像）が対応付けられている状態（登録状態）を、一目で認識することができる。
【０３８２】
さらに、再生制御部１５では、セグメント代表画像をダブルクリックするだけで、そのセグメント代表画像に対応する動画セグメントが再生されるので、ユーザは、その後に放送されるニュース番組のセグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより、容易に、興味を持ったシーン、つまり、登録状態に対応付けられたセグメント代表画像に対応する動画セグメントを視聴することができる。
【０３８３】
すなわち、ユーザが、ある日に放送されたニュース番組のセグメントマップを見て、お気に入り操作を行い、例えば、スポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が対応付けられた（1以上の）状態を、登録状態としておくことにより、その後に放送されるニュース番組のセグメントマップ（レイヤ０モードのセグメントマップ）では、登録状態に対応付けられたセグメント代表画像、つまり、スポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が強調表示されるので、ユーザは、その後に放送されるニュース番組については、スポーツコーナのシーンだけを、容易に視聴することができる。
【０３８４】
図２４は、セグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより行われる動画セグメントの再生を説明する図である。
【０３８５】
図２４では、ユーザが、レイヤ０モードのセグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックし、そのダブルクリックに応じて、動画セグメントの再生が開始されるとともに、再生ウインドウがオープンされ、再生ウインドウに、再生が開始された動画セグメントの動画が表示されている。
【０３８６】
ここで、セグメントマップ（の生成に用いられたクラスタリングモデルとしてのHMM）の状態のいずれかが、登録状態になっている場合には、再生制御部１５（図１）では、セグメントマップにおいて強調表示されているセグメント代表画像（いずれかの登録状態に対応付けられているセグメント代表画像）がダブルクリックされたときに、そのセグメント代表画像に対応する動画セグメントだけを再生するのではなく、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生することができる。
【０３８７】
この場合、使用ユーザは、例えば、ニュース番組のスポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が対応付けられたすべて状態を、登録状態としておくことにより、ニュース番組のセグメントマップのいずれかの登録状態に対応付けられたセグメント代表画像（強調表示されたセグメント代表画像）をダブルクリックするだけで、再生制御部１５では、ニュース番組のスポーツコーナのシーンが映っている動画セグメント（登録状態に対応付けられたセグメント代表画像に対応する動画セグメント）だけが、時系列に再生され、結果として、スポーツコーナだけのダイジェスト再生、つまり、スポーツコーナのシーンが映っている時系列の動画セグメントの頭出し再生が行われる。
【０３８８】
ここで、登録状態（の状態ID）は、ユーザIDに対応付けられ、お気に入り情報として、お気に入り情報記憶部１３（図１）に記憶されるので、ユーザごとに記憶しておくことができる。
【０３８９】
したがって、再生制御部１５が、いずれかの登録状態に対応付けられているセグメント代表画像がダブルクリックされた場合に、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生するときには、ユーザごとに、そのユーザが興味のあるシーンを再生する、ユーザごとのハイライト再生（ハイライト再生の個人化）を実現することができる。
【０３９０】
なお、セグメントマップの状態のいずれかが、登録状態になっている場合において、セグメントマップにおいて強調表示されているセグメント代表画像（いずれかの登録状態に対応付けられているセグメント代表画像）がダブルクリックされたときに、そのセグメント代表画像に対応する動画セグメントだけを再生するか、又は、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生するかは、ユーザの操作に応じて設定することができる。
【０３９１】
以上のように、図１の画像処理装置では、動画のコンテンツを、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習が行われ、その学習後のHMMを、２次元平面に投射することで、コンテンツのシーン構造をグラフで表現するモデルマップが生成される。
【０３９２】
一方、再生対象コンテンツの各フレームが、学習後のHMMを用いてクラスタリングされ、各クラスタに属するフレームが、動画セグメントとしての１以上の連続するフレームに区分される。
【０３９３】
そして、モデルマップ上のHMMの各状態の位置に、その状態に対応するクラスタに属する（フレームで構成される）動画セグメントを代表するセグメント代表画像が配置されたセグメントマップが生成される。
【０３９４】
したがって、ユーザは、セグメントマップを見ることで、再生対象コンテンツを俯瞰することができる。
【０３９５】
また、図１の画像処理装置では、セグメントマップ等に配置されたセグメント代表画像がダブルクリックされると、そのセグメント代表画像に対応する動画セグメント（そのセグメント代表画像が代表する動画セグメント）が再生されるので、ユーザは、例えば、セグメントマップによって、所望のシーンのセグメント代表画像を、容易に見つけ出し、そのシーンが映った動画セグメントに、迅速にアクセスする（所望のシーンを視聴する）ことができる。
【０３９６】
以上のように、図１の画像処理装置によれば、再生対象コンテンツを俯瞰し、所望のシーンに効率的にアクセスすることができる特徴を持った新しいブラウジング方法を実現することができる。
【０３９７】
また、図１の画像処理装置では、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する際に、他の動画セグメントの再生が行われているときには、その既に行われている他の動画セグメントの再生を維持したまま、ダブルクリックがされたセグメント代表画像に対応する動画セグメントが再生される。
【０３９８】
したがって、図１の画像処理装置によれば、家族等の複数人の各自が、同一のコンテンツの、各自が興味がある異なる箇所を、同時に視聴することができ、また、デジタルネイティブ世代が得意な、いわゆる「ながら視聴」や「見ながらザッピング」に適したコンテンツ再生手段を提供することができる。
【０３９９】
［表示モードの移行と、各表示モードで行われる処理］
【０４００】
図２５は、表示モードの移行と各表示モードで行われる処理を説明する図である。
【０４０１】
表示制御部１６は、セグメントマップ生成部１４から再生対象コンテンツのセグメントマップが供給されると、ステップＳ１０１において、表示モードをレイヤ０モードにして、セグメントマップ（が表示されたマップウインドウ）を、表示部１７に表示する。
【０４０２】
なお、ステップＳ１０１のレイヤ０モードでは、タイル画像（図１３）は表示されず、図１０に示したように、セグメントマップだけが表示される。
【０４０３】
ステップＳ１０１の、タイル画像が表示されていないレイヤ０モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１０２に移行し、表示制御部１６は、再生ウインドウがオープンされていれば、すべての再生ウインドウを、セグメントマップが表示されたマップウインドウよりも前面側に表示する。
【０４０４】
また、ステップＳ１０１の、タイル画像が表示されていないレイヤ０モードになってから、所定の時間が経過すると、処理は、ステップＳ１０３に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近いセグメントマップ上の状態との距離（カーソル間距離）が、閾値以内であるかどうかを判定する。
【０４０５】
ここで、図２５において、点線の矢印は、矢印の始点側のステップが行われてから（になってから）、所定の時間が経過すると、矢印の終点側のステップに移行することを表す。
【０４０６】
ステップＳ１０３において、カーソル間距離が、閾値以内でないと判定された場合、処理は、ステップＳ１０１に移行する。そして、所定の時間が経過すると、処理は、ステップＳ１０１からステップＳ１０３に移行し、以下、同様の処理が繰り返される。
【０４０７】
一方、ステップＳ１０３において、カーソル間距離が、閾値以内であると判定された場合、処理は、ステップＳ１０４に移行し、表示制御部１６は、指示位置に最も近いセグメントマップ上の状態である注目状態に対応付けられたセグメント代表画像を時系列順に並べたタイル画像を生成し、図１３に示したように、セグメントマップの注目状態の近傍に重畳する形で表示する。
【０４０８】
以上のように、ステップＳ１０４では、レイヤ０モードにおいて、タイル画像が表示されるが、このように、ステップＳ１０４の、タイル画像が表示されたレイヤ０モードになってから、所定の時間が経過すると、処理は、ステップＳ１０３に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近いセグメントマップ上の状態との距離であるカーソル間距離が、閾値以内であるかどうかを判定する。
【０４０９】
ステップＳ１０３において、カーソル間距離が、閾値以内でないと判定された場合、処理は、ステップＳ１０１に移行し、タイル画像は消去され、タイル画像が表示されていないレイヤ０モードになる。
【０４１０】
また、ステップＳ１０３において、カーソル間距離が、閾値以内であると判定された場合、処理は、ステップＳ１０４に移行し、表示制御部１６は、上述したように、指示位置に最も近いセグメントマップ上の状態である注目状態に対応付けられたセグメント代表画像を時系列順に並べたタイル画像を生成し、図１３に示したように、セグメントマップの注目状態の近傍に重畳する形で表示する。
【０４１１】
また、ステップＳ１０４の、タイル画像が表示されたレイヤ０モード（図１３）において、ダブルクリックが行われると、処理は、ステップＳ１０５に移行し、再生制御部１５は、動画セグメントを再生する動画セグメント再生処理を行う。
【０４１２】
すなわち、ステップＳ１０５の動画セグメント再生処理では、再生制御部１５は、ダブルクリックが行われたときのユーザの指示位置（ダブルクリックがされた位置）に最も近いセグメント代表画像に対応する動画セグメントを再生する。
【０４１３】
なお、指示位置に最も近いセグメント代表画像が、セグメントマップ（の生成に用いられたHMM）の登録状態に対応付けられたセグメント代表画像である場合、すなわち、セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合、再生制御部１５は、図２４で説明したように、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う。
【０４１４】
ステップＳ１０４の、タイル画像が表示されたレイヤ０モード（図１３）において、シングルクリックが行われると、処理は、ステップＳ１０６に移行し、表示制御部１６は、表示モードをレイヤ０モードからレイヤ１モードに移行して、図１５に示したように、直前に表示されていたタイル画像を固定した固定タイル画像を表示する。
【０４１５】
なお、ステップＳ１０６のレイヤ１モードでは、図１５に示したように、固定タイル画像に配置されたセグメント代表画像の強調表示は行われない。
【０４１６】
ステップＳ１０６の、強調表示なしのレイヤ１モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１０７に移行し、ステップＳ１０５と同様に、再生制御部１５は、動画セグメント再生処理を行う。
【０４１７】
すなわち、再生制御部１５は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する（セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う）。
【０４１８】
ステップＳ１０６の、強調表示なしのレイヤ１モードになってから、所定の時間が経過すると、処理は、ステップＳ１０８に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近い固定タイル画像（図１５）に配置されたセグメント代表画像との距離が、閾値以内であるかどうかを判定する。
【０４１９】
ステップＳ１０８において、指示位置と、その指示位置に最も近い固定タイル画像に配置されたセグメント代表画像との距離が、閾値以内でないと判定された場合、処理は、ステップＳ１０９に移行し、表示制御部１６は、指示位置が、固定タイル画像上にない、すなわち、指示位置が、固定タイル画像が表示されているエリア外に移動したかどうかを判定する。
【０４２０】
ステップＳ１０９において、指示位置が、固定タイル画像（図１５）上にあると判定された場合、処理は、ステップＳ１０６に移行する。そして、所定の時間が経過すると、処理は、ステップＳ１０６からステップＳ１０８に移行し、以下、同様の処理が繰り返される。
【０４２１】
また、ステップＳ１０９において、指示位置が、固定タイル画像（図１５）上にないと判定された場合、処理は、ステップＳ１０１に移行し、表示制御部１６は、表示モードを、レイヤ１モードからレイヤ０モードに移行する。
【０４２２】
ステップＳ１０１のレイヤ０モードでは、図１０に示したように、タイル画像は表示されず、セグメントマップだけが表示される。
【０４２３】
なお、ステップＳ１０１のレイヤ０モードに移行する直前のレイヤ１モードにおいて表示された固定タイル画像（図１５）は、レイヤ１モードからレイヤ０モードの移行時に消去される。
【０４２４】
一方、ステップＳ１０８において、指示位置と、その指示位置に最も近い固定タイル画像に配置されたセグメント代表画像との距離が、閾値以内であると判定された場合、処理は、ステップＳ１１０に移行し、表示制御部１６は、図１７に示したように、指示位置に最も近い固定タイル画像に配置されたセグメント代表画像である注目代表画像を強調表示する。
【０４２５】
以上のように、ステップＳ１１０では、レイヤ１モードにおいて、固定タイル画像に配置されたセグメント代表画像のうちの、指示位置に最も近いセグメント代表画像を、注目代表画像として強調表示が行われる。
【０４２６】
そして、そのようなステップＳ１１０の、強調表示ありのレイヤ１モード（強調表示が行われるレイヤ１モード）になってから、所定の時間が経過すると、処理は、ステップＳ１０８に移行し、以下、同様処理が繰り返される。
【０４２７】
また、ステップＳ１１０の、強調表示ありのレイヤ１モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１１１に移行し、ステップＳ１０５と同様に、再生制御部１５は、動画セグメント再生処理を行う。
【０４２８】
すなわち、再生制御部１５は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する（セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う）。
【０４２９】
ステップＳ１１０の、強調表示ありのレイヤ１モード（図１７）において、シングルクリックが行われると、処理は、ステップＳ１１２に移行し、表示制御部１６は、表示モードをレイヤ１モードからレイヤ２モードに移行して、図１８に示したように、直前に強調表示されていたセグメント代表画像を中心とする複数のセグメント代表画像を時系列に配置したタイムライン画像を表示する。
【０４３０】
ステップＳ１１２のレイヤ２モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１１３に移行し、ステップＳ１０５と同様に、再生制御部１５は、動画セグメント再生処理を行う。
【０４３１】
すなわち、再生制御部１５は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する（セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う）。
【０４３２】
ステップＳ１１２のレイヤ２モード（図１８）になってから、所定の時間が経過すると、処理は、ステップＳ１１４に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置が、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置しているかどうかを判定する。
【０４３３】
ステップＳ１１４において、指示位置が、過去スクロールエリア内に位置していると判定された場合、処理は、ステップＳ１１５に進み、表示制御部１６は、より過去側のセグメント代表画像が表示されるように、タイムライン画像を、図２０に矢印で示したようにスクロールして、処理は、ステップＳ１１２に移行する。
【０４３４】
また、ステップＳ１１４において、指示位置が、過去スクロールエリア内に位置していないと判定された場合、処理は、ステップＳ１１６に移行し、表示制御部１６は、指示位置が移動し、指示位置が、タイムライン画像上に設定された右端側の未来スクロールエリア内に位置しているかどうかを判定する。
【０４３５】
ステップＳ１１６において、指示位置が、未来スクロールエリア内に位置していると判定された場合、処理は、ステップＳ１１７に進み、表示制御部１６は、より未来側のセグメント代表画像が表示されるように、タイムライン画像をスクロールして、処理は、ステップＳ１１２に移行する。
【０４３６】
また、ステップＳ１１６において、指示位置が、未来スクロールエリア内に位置していないと判定された場合、すなわち、指示位置が、過去スクロールエリア、及び、未来スクロールエリアのいずれにも位置していない場合、処理は、ステップＳ１１８に移行し、表示制御部１６は、指示位置が、タイムライン画像（図１８、図２０）上にない、すなわち、指示位置が、タイムライン画像が表示されているエリア外に移動したかどうかを判定する。
【０４３７】
ステップＳ１１８において、指示位置が、タイムライン画像（図１８、図２０）上にあると判定された場合、処理は、ステップＳ１１２に移行する。そして、所定の時間が経過すると、処理は、ステップＳ１１２からステップＳ１１４に移行する。
【０４３８】
また、ステップＳ１１８において、指示位置が、タイムライン画像上にないと判定された場合、処理は、ステップＳ１０１に移行し、表示制御部１６は、表示モードを、レイヤ２モードからレイヤ０モードに移行する。
【０４３９】
ステップＳ１０１のレイヤ０モードでは、図１０に示したように、タイル画像は表示されず、セグメントマップだけが表示される。
【０４４０】
なお、ステップＳ１０１のレイヤ０モードに移行する直前のレイヤ２モードにおいて表示されたタイムライン画像（図１８、図２０）は、レイヤ２モードからレイヤ０モードの移行時に消去される。
【０４４１】
［本技術を適用したコンピュータの説明］
【０４４２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４４３】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４４４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０４４５】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０４４６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０４４７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０４４８】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０４４９】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０４５０】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０４５１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０４５２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４５３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４５４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４５５】
すなわち、図１の画像処理装置において、例えば、お気に入り情報記憶部１３やセグメントマップ生成部１４は、サーバ側に設け、残りのコンテンツ記憶部１１、操作イベント処理部１２、再生制御部１５、表示制御部１６、及び、表示部１７は、クライアント側に設けることができる。
【０４５６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４５７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４５８】
すなわち、図１の画像処理装置において、セグメントマップ生成部１４の一部の処理は、サーバ側で行い、残りの処理は、クライアント側で行うことができる。
【０４５９】
なお、本技術は、以下のような構成をとることができる。
【０４６０】
［１］
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
を備え、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理装置。
［２］
前記セグメントマップを生成するマップ生成部と、
コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング部と、
前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである前記動画セグメントに区分するセグメント区分部と、
前記動画セグメントを代表するセグメント代表画像を生成するセグメント代表画像生成部と
をさらに備え、
前記マップ生成部は、
前記複数のクラスタそれぞれについて、前記クラスタに、そのクラスタに属する動画セグメントのセグメント代表画像を対応付け、前記クラスタに対応付けられたセグメント代表画像から、そのクラスタを代表するクラスタ代表画像を選択し、
前記クラスタ代表画像に選択された前記セグメント代表画像を、前記セグメントマップに配置する
［１］に記載の画像処理装置。
［３］
前記クラスタリング部は、
状態と状態遷移とを有する状態遷移モデルを用い、前記コンテンツのフレームの時系列の特徴量が観測される最尤状態系列を求め、
前記コンテンツの各フレームを、前記最尤状態系列において、そのフレームの特徴量が観測される状態に対応するクラスタにクラスタリングする
［２］に記載の画像処理装置。
［４］
前記マップ生成部は、
前記状態遷移モデルを２次元平面又は３次元空間に投射したマップであるモデルマップを生成し、
前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を配置することで、前記セグメントマップを生成する
［３］に記載の画像処理装置。
［５］
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像、又は、再生時刻が最も早い動画セグメントのセグメント代表画像を、前記クラスタ代表画像に選択する
［４］に記載の画像処理装置。
［６］
前記マップ生成部は、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を、その状態の重要度に対応するサイズで配置する
［４］又は［５］に記載の画像処理装置。
［７］
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントの最大のフレーム数を、前記状態の重要度として求める
［６］に記載の画像処理装置。
［８］
前記状態を登録することを要求するユーザのお気に入り操作に応じて、前記状態を、登録状態として記憶する記憶部をさらに備え、
前記表示制御部は、前記セグメントマップの、前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像を強調表示する
［４］ないし［７］のいずれかに記載の画像処理装置。
［９］
前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、前記記憶部に記憶されたすべての登録状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントを、時系列に再生する
［８］に記載の画像処理装置。
［１０］
前記表示制御部は、ユーザが指示する指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、前記注目状態に対応するクラスタに対応付けられた前記セグメント代表画像の一覧の画像であるタイル画像を、前記表示装置に表示する表示制御を行う
［４］ないし［９］のいずれかに記載の画像処理装置。
［１１］
前記表示制御部は、前記タイル画像の前記セグメント代表画像のうちの、前記指示位置に最も近い前記セグメント代表画像を、注目する注目画像として、前記注目画像を強調表示する
［１０］に記載の画像処理装置。
［１２］
前記表示制御部は、ユーザの所定の操作に応じて、前記注目状態に対応付けられた前記セグメント代表画像のうちの、前記注目画像と、前記注目画像の前後に続く所定の数の前記セグメント代表画像とを、前記注目画像を中心として、時系列に配置したタイムライン画像を、前記表示装置に表示する表示制御を行う
［１１］に記載の画像処理装置。
［１３］
前記表示制御部は、ユーザの操作に応じて、前記タイムライン画像に配置される前記セグメント代表画像をスクロールする
［１２］に記載の画像処理装置。
［１４］
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する
ステップを含み、
前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理方法。
［１５］
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
して、コンピュータを機能させるためのプログラムであり、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
プログラム。
【符号の説明】
【０４６１】
１１ コンテンツ記憶部， １２ 操作イベント処理部， １３ お気に入り情報記憶部， １４ セグメントマップ生成部， １５ 再生制御部， １６ 表示制御部， １７ 表示部， ２１ クラスタリング部， ２２ セグメント区分部， ２３ セグメント代表画像生成部， ２４ マップ生成部， ３１ クラスタリングモデル学習部， ３２ クラスタリングモデル記憶部， ３３ クラスタ判定部， ４１ 学習用コンテンツ選択部， ４２ 特徴量抽出部， ４３ 特徴量記憶部， ４４ 学習部， ５１ コンテンツ選択部， ５２ モデル選択部， ５３ 特徴量抽出部， ５４ 最尤状態系列推定部， ６１ クラスタ代表画像選択部， ６２ 状態間距離算出部， ６３ 座標算出部， ６４ マップ描画部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、１つのコンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、ユーザが同時に視聴することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、ユーザが、動画のコンテンツ内の興味のあるシーンを視聴するには、ユーザが、そのシーンの再生を指示すること、つまり、再生の対象となるシーン（の位置）を指示することが必要である。
【０００３】
ユーザが、再生の対象となるシーンを指示するには、コンテンツに含まれるシーンの概要を把握している必要がある。
【０００４】
ユーザがコンテンツに含まれるシーンの概要を把握する手法としては、コンテンツのサムネイルを表示する方法がある。
【０００５】
コンテンツのサムネイルを表示する方法としては、例えば、コマーシャルと本編との切り替わりや、画像に映る人物や物体の切り替わり等を、シーンチェンジとして検出し、そのシーンチェンジの直後のフレームを縮小したサムネイルを生成して表示する方法がある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2008-312183号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンテンツの一部のフレームのサムネイルを、フィルムロール状に表示し、サムネイルをクリックすると、そのサムネイルに対応するフレームから再生を開始する動画管理アプリケーションがある。
【０００８】
かかる動画管理アプリケーションによれば、ユーザは、サムネイルを見て、そのサムネイルに対応するフレーム等から始まるシーンの概要を把握し、興味のあるシーンのサムネイルをクリックすることで、そのシーンを視聴することができる。
【０００９】
ところで、以上のような動画アプリケーションにおいて、ユーザが、あるサムネイルAをクリックすることにより、そのサムネイルAに対応する（フレームから始まる）シーンが再生されている最中に、ユーザが、他のサムネイルBを見て、そのサムネイルBに対応するシーンに興味を持ち、そのシーンを視聴しようとして、サムネイルBをクリックした場合、それまで行われていた、サムネイルAに対応するシーンの再生が中止され、サムネイルBに対応するシーンの再生が開始される。
【００１０】
したがって、ユーザが、フィルムロール状に表示されたサムネイルを見て、複数としての、例えば、２つのサムネイルA及びBそれぞれに対応するシーンに興味を持った場合であっても、その２つのサムネイルA及びBそれぞれに対応するシーンを、同時に視聴することが困難であった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、１つ又は複数のコンテンツ内の複数箇所を、ユーザが同時に視聴することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の画像処理装置、又は、プログラムは、コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部とを備え、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１３】
本技術の一側面の画像処理方法は、コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御するステップを含み、前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理方法である。
【００１４】
以上のような一側面においては、コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップが、表示装置に表示される。そして、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントが再生される。コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントが再生される。
【００１５】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術の一側面によれば、１つのコンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、ユーザが同時に視聴することができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】画像処理装置のブラウジング処理を説明するフローチャートである。
【図３】セグメントマップ生成部１４の構成例を示すブロック図である。
【図４】クラスタリング部２１の構成例を示すブロック図である。
【図５】クラスタリングモデル学習部３１の構成例を示すブロック図である。
【図６】クラスタ判定部３３の構成例を示すブロック図である。
【図７】マップ生成部２４の構成例を示すブロック図である。
【図８】マップ描画部６４で描画されるモデルマップの例を示す図である。
【図９】セグメントマップ生成部１４のセグメントマップ生成処理の概要を説明する図である。
【図１０】セグメントマップ生成部１４で生成されるセグメントマップの例を示す図である。
【図１１】状態の重要度を求める方法を説明する図である。
【図１２】セグメントマップ生成部１４が行うセグメントマップ生成処理を説明するフローチャートである。
【図１３】タイル画像が重畳されたセグメントマップの表示例を示す図である。
【図１４】タイル画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【図１５】固定タイル画像の表示例を示す図である。
【図１６】固定タイル画像の詳細を示す図である。
【図１７】注目代表画像の強調表示の表示例を示す図である。
【図１８】タイムライン画像の表示例を示す図である。
【図１９】タイムライン画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【図２０】タイムライン画像に配置される構成画像としてのセグメント代表画像のスクロールの表示例を示す図である。
【図２１】再生制御部１５において再生された動画セグメントの画像の表示例を示す図である。
【図２２】再生ウインドウの表示例を示す図である。
【図２３】お気に入り情報記憶部１３にお気に入り情報が記憶されている場合の、セグメントマップの表示例を示す図である。
【図２４】セグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより行われる動画セグメントの再生を説明する図である。
【図２５】表示モードの移行と各表示モードで行われる処理を説明する図である。
【図２６】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
［本技術を適用した画像処理装置の一実施の形態］
【００２０】
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２１】
図１において、画像処理装置は、コンテンツ記憶部１１、操作イベント処理部１２、お気に入り情報記憶部１３、セグメントマップ生成部１４、再生制御部１５、表示制御部１６、及び、表示部１７から構成される。
【００２２】
コンテンツ記憶部１１は、例えば、テレビジョン放送の番組等のコンテンツを記憶（記録）する。コンテンツ記憶部１１に記憶されたコンテンツは、例えば、ユーザの操作に応じて再生される。
【００２３】
操作イベント処理部１２は、ユーザの操作に応じたイベント（操作イベント）を発生し、その操作イベントに応じて、画像処理装置を構成する各ブロックの制御等の各種の処理を行う。
【００２４】
ここで、ユーザの操作（操作イベント）としては、マウスやタッチパネル等のポインティングデバイスの操作である（シングル）クリックや、ダブルクリック、タップ、ダブルタップ等がある。また、操作イベント処理部１２が発生する操作イベントには、例えば、マウスに従って移動するカーソルの位置や、タッチパネル上のタッチがされている位置等の情報が含まれる。
【００２５】
お気に入り情報記憶部１３は、操作イベント処理部１２の制御に従って、後述するように、ユーザが興味のある（お気に入りの）動画セグメントがクラスタリングされるクラスタに関する情報等を、お気に入り情報として記憶する。
【００２６】
セグメントマップ生成部１４は、操作イベント処理部１２の制御等に従い、コンテンツ記憶部１１に記憶されたコンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる動画セグメントを代表する画像であるセグメント代表画像を配置した２次元又は３次元のマップであるセグメントマップを生成し、表示制御部１６に供給する。
【００２７】
再生制御部１５は、操作イベント処理部１２の制御に従い、コンテンツ記憶部１１に記憶されたコンテンツの再生を制御する。
【００２８】
すなわち、再生制御部１５は、例えば、セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する動画セグメントの再生を制御する。
【００２９】
具体的には、再生制御部１５は、コンテンツ記憶部１１に記憶されたコンテンツの一部である動画セグメントを読み出し、デコード等の必要な処理を行って、動画セグメントの画像と音声（のデータ）を得る。そして、再生制御部１５は、動画セグメントの画像を、表示制御部１６に供給するとともに、動画セグメントの音声を、図示せぬスピーカに供給して出力させる。
【００３０】
表示制御部１６は、再生制御部１５から供給される動画セグメントの画像、及び、セグメントマップ生成部１４から供給されるセグメントマップ等を、表示部１７に表示させる表示制御を行う。
【００３１】
なお、表示制御部１６は、お気に入り情報記憶部１３に記憶されたお気に入り情報に応じて、セグメントマップの表示を制御する。
【００３２】
表示部１７は、液晶パネルや有機EL(Electro Luminescence)等で構成され、表示制御部１６の制御に従って、画像を表示する。
【００３３】
図２は、図１の画像処理装置が行う処理（ブラウジング処理）を説明するフローチャートである。
【００３４】
ユーザが、コンテンツを再生するように指示する操作を行うと、ステップＳ１１において、操作イベント処理部１２は、再生の指示があったコンテンツを、再生の対象とするコンテンツである再生対象コンテンツとして選択し、その再生対象コンテンツのセグメントマップを生成するように、セグメントマップ生成部１４を制御して、処理は、ステップＳ１２に進む。
【００３５】
ステップＳ１２では、セグメントマップ生成部１４は、コンテンツ記憶部１１から再生対象コンテンツを読み出し、その再生対象コンテンツのセグメントマップを生成するセグメントマップ生成処理を行う。
【００３６】
すなわち、セグメントマップ生成部１４は、再生対象コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分し、各動画セグメントを代表する画像であるセグメント代表画像を配置（表示）した２次元又は３次元のマップであるセグメントマップを生成する。
【００３７】
そして、セグメントマップ生成部１４は、再生対象コンテンツのセグメントマップを、表示制御部１６に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【００３８】
なお、コンテンツのセグメントマップは、そのコンテンツがコンテンツ記憶部１１に記憶された後の任意のタイミングで、あらかじめ生成し、コンテンツ記憶部１１に記憶しておくことができる。この場合、ステップＳ１２では、コンテンツ記憶部１１から、再生対象コンテンツのコンテンツマップを読み出すだけでよい。
【００３９】
ステップＳ１３では、表示制御部１６は、セグメントマップ生成部１４からの再生対象コンテンツのセグメントマップを、表示部１７に表示して、処理は、ステップＳ１４に進む。
【００４０】
ステップＳ１４では、ユーザの操作、すなわち、操作イベント処理部１２で発生する操作イベントに応じて、再生制御部１５が再生対象コンテンツの再生制御を行うとともに、表示制御部１６がセグメントマップの表示制御を行う。
【００４１】
その後、ユーザが、ブラウジング処理を終了するように、操作を行うと（ブラウジング処理を終了することを要求する操作イベントが発生すると）、画像処理装置は、ブラウジング処理を終了する。
【００４２】
ここで、ステップＳ１４において、表示制御部１６が行うセグメントマップの表示制御としては、ユーザがカーソルや指によって指示する、セグメントマップが表示された表示部１７の表示画面上の位置である指示位置に応じて行われる、後述するタイル画像の表示や、強調表示、その他、セグメントマップの表示モードの設定（変更）等がある。
【００４３】
また、ステップＳ１４において、再生制御部１５が行う再生対象コンテンツの再生制御としては、例えば、再生対象コンテンツの複数の動画セグメントを並列に再生する制御等がある。
【００４４】
すなわち、ユーザは、表示部１７に表示された再生対象コンテンツのセグメントマップのセグメント代表画像に対する、ダブルクリックやダブルタップを、そのセグメント代表画像に対応する動画セグメントの再生を要求する再生操作として行うことができる。
【００４５】
再生制御部１５は、コンテンツ記憶部１１に記憶された再生対象コンテンツのある動画セグメント#Aの再生中に、すなわち、動画セグメント#Aの画像が、表示部１７に表示されている最中に、再生対象コンテンツの、他の動画セグメント#Bのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメント#Aの再生を維持したまま、再生操作が行われたセグメント代表画像に対応する動画セグメント#Bの再生を開始し、その動画セグメント#Bの画像を、表示制御部１６に供給する。
【００４６】
したがって、ステップＳ１４の再生制御によれば、ユーザは、１つの再生対象コンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を同時に視聴することができる。
【００４７】
［セグメントマップ生成部１４の構成例］
【００４８】
図３は、図１のセグメントマップ生成部１４の構成例を示すブロック図である。
【００４９】
図３において、セグメントマップ生成部１４は、クラスタリング部２１、セグメント区分部２２、セグメント代表画像生成部２３、及び、マップ生成部２４を有する。
【００５０】
クラスタリング部２１には、コンテンツ記憶部１１（図１）から、再生対象コンテンツが供給される。
【００５１】
クラスタリング部２１は、コンテンツ記憶部１１からの再生対象コンテンツの各フレームを、例えば、あらかじめ定められた複数のクラスタのうちのいずれかのクラスタにクラスタリングし、そのクラスタリング結果を表すクラスタ情報を、セグメント区分部２２に供給（出力）する。
【００５２】
ここで、クラスタ情報には、再生対象コンテンツの各フレームが属するクラスタを特定する情報（例えば、クラスタを表すユニークな番号等）が、少なくとも含まれる。
【００５３】
セグメント区分部２２は、クラスタリング部２１でクラスタリングされ得る複数のクラスタそれぞれについて、そのクラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分する。
【００５４】
すなわち、セグメント区分部２２は、クラスタリング部２１でクラスタリングされ得る複数のクラスタそれぞれを、順次、注目する注目クラスタに選択し、クラスタリング部２１からのクラスタ情報に基づいて、注目クラスタに属する、再生対象コンテンツのフレームを認識する。
【００５５】
さらに、セグメント区分部２２は、注目クラスタに属するフレームを、時系列に並べたときに、時間的に連続する１フレーム以上のフレームの集まりを、１動画セグメントとして、動画セグメントに区分する。
【００５６】
したがって、例えば、いま、再生対象コンテンツの先頭からt1番目のフレームt1から連続するn1（枚の）フレームと、再生対象コンテンツの先頭からt2（>t1+n1）番目のフレームt2から連続するn2（枚の）フレームとが、注目クラスタに属する場合、セグメント区分部２２では、注目クラスタに属するn1+n2フレームが、再生対象コンテンツのフレームt1から連続するn1フレームを有する動画セグメントと、再生対象コンテンツのフレームt2から連続するn2フレームを有する動画セグメントとに区分される。
【００５７】
そして、セグメント区分部２２は、注目クラスタに属するフレームから得られた動画セグメントを、注目クラスタに属する動画セグメントとして、その動画セグメントを表すセグメント情報を、セグメント代表画像生成部２３に供給する。
【００５８】
ここで、セグメント情報には、動画セグメントが有するフレームを特定するフレーム情報（例えば、再生対象コンテンツの先頭から何番目のフレームであるかを表す番号）と、動画セグメント（ひいては、動画セグメントが有するフレーム）が属するクラスタを表すクラスタ情報とが、少なくとも含まれる。
【００５９】
セグメント代表画像生成部２３には、セグメント区分部２２から、再生対象コンテンツの各動画セグメントのセグメント情報が供給される他、コンテンツ記憶部１１から、再生対象コンテンツが供給される。
【００６０】
セグメント代表画像生成部２３は、再生対象コンテンツの各動画セグメントについて、動画セグメントを代表するセグメント代表画像を生成する。
【００６１】
すなわち、セグメント代表画像生成部２３は、セグメント区分部２２からのセグメント情報に基づいて、再生対象コンテンツのすべての動画セグメントを認識し、順次、注目する注目動画セグメントに選択する。
【００６２】
さらに、セグメント代表画像生成部２３は、セグメント区分部２２からのセグメント情報に基づいて、注目動画セグメントが有するフレームを認識し、コンテンツ記憶部１１からの、注目動画セグメントが有するフレームを用いて、注目動画セグメント（の内容）を表すセグメント代表画像を生成する。
【００６３】
そして、セグメント代表画像生成部２３は、注目動画セグメントのセグメント代表画像を、注目動画セグメントのセグメント情報とともに、マップ生成部２４に供給する。
【００６４】
ここで、動画セグメントのセグメント代表画像としては、例えば、動画セグメントの、例えば、先頭のフレーム等の所定のフレームを縮小したサムネイルを採用することができる。
【００６５】
また、動画セグメントのセグメント代表画像としては、動画セグメントが有するフレームのうちの、例えば、複数フレームを縮小した画像をアニメーション（動画）で表示するアニメーションGIF等の画像を採用することができる。
【００６６】
マップ生成部２４は、セグメント代表画像生成部２３からの再生対象コンテンツの動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを生成し、表示制御部１６（図１）に供給する。
【００６７】
［クラスタリング部２１の構成例］
【００６８】
図４は、図３のクラスタリング部２１の構成例を示すブロック図である。
【００６９】
図４において、クラスタリング部２１は、クラスタリングモデル学習部３１、クラスタリングモデル記憶部３２、及び、クラスタ判定部３３を有する。
【００７０】
クラスタリングモデル学習部３１は、コンテンツの各フレームをクラスタリングするのに用いるモデルであるクラスタリングモデルの学習を行い、クラスタリングモデル記憶部３２に供給する。
【００７１】
なお、クラスタリングモデルとしては、例えば、状態と状態遷移とを有する状態遷移モデルを採用することができる。
【００７２】
クラスタリングモデルとなる状態遷移モデルとしては、例えば、HMM等を採用することができる。
【００７３】
クラスタリングモデル学習部３１は、例えば、コンテンツ記憶部１１等に記憶されたコンテンツの中から、所定のカテゴリに属する１以上のコンテンツを、学習用コンテンツとして選択し、学習用コンテンツを、カテゴリごとに分類する。
【００７４】
ここで、所定のカテゴリに属するコンテンツとは、例えば、ジャンルが同一の番組や、連続番組、毎週又は毎日その他周期的に放送される番組（タイトルが同一の番組）等の、コンテンツに潜む、コンテンツの構造が共通するコンテンツを意味する。
【００７５】
ジャンルとしては、例えば、スポーツ番組やニュース番組等といった、いわば大まかな分類を採用することもできるが、例えば、サッカーの試合の番組や野球の試合の番組等といった、いわば細かい分類であることが望ましい。
【００７６】
また、例えば、サッカーの試合の番組であれば、チャンネル（放送局）が異なるごとに、異なるカテゴリに属するコンテンツに分類することもできる。
【００７７】
なお、コンテンツのカテゴリとして、どのようなカテゴリを採用するかは、例えば、図１の画像処理装置に、あらかじめ設定されていることとする。
【００７８】
また、コンテンツ記憶部１１に記憶されたコンテンツのカテゴリは、例えば、テレビジョン放送で番組とともに送信されてくる、番組のタイトルやジャンル等のメタデータや、インターネット上のサイトが提供する番組の情報等から認識することができる。
【００７９】
クラスタリングモデル学習部３１は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、そのカテゴリのクラスタリングモデルの学習を行い、カテゴリごとのクラスタリングモデルを生成（獲得）する。
【００８０】
すなわち、クラスタリングモデルとして、例えば、HMMを採用する場合には、クラスタリングモデル学習部３１は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、クラスタリングモデルとしてのHMMの学習を行う。
【００８１】
なお、クラスタリングモデル学習部３１では、コンテンツ記憶部１１に記憶されたコンテンツの他、例えば、インターネット上のサイト等の外部のコンテンツを、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習を行うことができる。
【００８２】
クラスタリングモデル記憶部３２は、クラスタリングモデル学習部３１等で生成される、カテゴリごとのクラスタリングモデルを記憶する。
【００８３】
ここで、クラスタリングモデルの学習は、例えば、インターネット上のサイト等で行うことができ、クラスタリングモデル記憶部３２は、そのサイトから、クラスタリングモデルをダウンロード（取得）して記憶することができる。
【００８４】
この場合、クラスタリング部２１は、クラスタリングモデル学習部３１を設けずに構成することができる。
【００８５】
クラスタ判定部３３は、クラスタリングモデル記憶部３２に記憶されたクラスタリングモデルを用いて、コンテンツ記憶部１１から供給される再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタ情報を、セグメント区分部２２に供給（出力）する。
【００８６】
［クラスタリングモデル学習部３１の構成例］
【００８７】
図５は、図４のクラスタリングモデル学習部３１の構成例を示すブロック図である。
【００８８】
クラスタリングモデル学習部３１は、例えば、状態が遷移する状態遷移確率と、状態から、所定の観測値が観測される観測尤度とで規定される状態遷移モデルの１つであるHMM(Hidden Marcov Model)をクラスタリングモデルとして、そのクラスタリングモデルの学習に用いるコンテンツである学習用コンテンツの各フレームの特徴量を抽出する。さらに、クラスタリングモデル学習部３１は、学習用コンテンツの各フレームの特徴量（時系列の特徴量）を用いて、HMMの学習を行う。
【００８９】
すなわち、クラスタリングモデル学習部３１は、学習用コンテンツ選択部４１、特徴量抽出部４２、特徴量記憶部４３、及び、学習部４４から構成される。
【００９０】
学習用コンテンツ選択部４１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、HMMの学習に用いるコンテンツを、学習用コンテンツとして選択し、特徴量抽出部４２に供給する。
【００９１】
特徴量抽出部４２は、学習用コンテンツ選択部４１からの学習用コンテンツの各フレームの特徴量（ベクトル）を抽出して、特徴量記憶部４３に供給する。
【００９２】
ここで、フレーム#fの特徴量としては、例えば、GIST等のフレーム#fの画像の特徴量や、MFCC(Mel Frequency Cepstrum Coefficient)等のフレーム#fを含む複数フレームの区間の音声の特徴量、フレーム#f内の人全体、又は、顔の位置を表す位置情報、それらのうちの複数の組み合わせ等を採用することができる。
【００９３】
特徴量記憶部４３は、特徴量抽出部４２から供給される学習用コンテンツの各フレームの特徴量を時系列に記憶する。
【００９４】
学習部４４は、特徴量記憶部４３に記憶された学習用コンテンツの各フレームの特徴量を、カテゴリごとに用いて、HMMの学習を、カテゴリごとに行う。さらに、学習部４４は、学習後のHMMを、クラスタリングモデルとして、そのHMMの学習に用いた学習用コンテンツのカテゴリと対応付けて、クラスタリングモデル記憶部３２に供給する。
【００９５】
ここで、HMMは、状態siの初期確率πi、状態遷移確率aij、及び、状態siから、所定の観測値oが観測される観測尤度bi(o)で規定される。i及びjは、HMMの状態を表すインデクスであり、HMMの状態の数がN個である場合には、1ないしNの範囲の整数をとる。
【００９６】
初期確率πiは、状態siが、初期の状態（最初の状態）である確率を表し、状態遷移確率aijは、状態siから状態sjに遷移する確率を表す。
【００９７】
観測尤度bi(o)は、状態siへの状態遷移時に、状態siから観測値oが観測される尤度（確率）を表す。観測尤度bi(o)としては、観測値oが離散値である場合には、確率となる値（離散値）が用いられ、観測値oが連続値である場合には、確率分布関数が用いられる。確率分布関数としては、例えば、平均値（平均ベクトル）と分散（共分散行列）とで定義されるガウス分布等を採用することができる。
【００９８】
ここで、観測値oが離散値のHMMを、離散HMMともいい、離散値oが連続値のHMMを、連続HMMともいう。
【００９９】
HMMの学習は、例えば、EMアルゴリズムを利用した統計学習法であるBaum-Welchアルゴリズムによって行うことができる。
【０１００】
クラスタリングモデルとしてのHMMによれば、学習用コンテンツに潜む、コンテンツの構造（例えば、番組構成や、カメラワーク等が作り出す構造）が自己組織的に獲得される。
【０１０１】
その結果、クラスタリングモデルとしてのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
【０１０２】
そして、HMMの状態は、特徴量空間（特徴量抽出部４２で抽出される特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
【０１０３】
ここで、例えば、学習用コンテンツがクイズ番組であり、大雑把には、クイズの出題、ヒントの提示、出演者による解答、正解発表、という流れを、番組の基本的な流れとして、この基本的な流れの繰り返しによって、番組が進行していくこととすると、番組の基本的な流れが、コンテンツの構造に相当し、その流れ（構造）を構成する、クイズの出題、ヒントの提示、出演者による解答、正解発表のそれぞれが、コンテンツの構造の要素に相当する。
【０１０４】
また、例えば、クイズの出題から、ヒントの提示への進行等が、コンテンツの構造の要素どうしの間での、時間的な遷移に相当する。
【０１０５】
なお、HMMの観測値oとしては、フレームから抽出された特徴量そのものを用いることもできるし、フレームから抽出された特徴量を離散化した離散値を用いることもできる。
【０１０６】
フレームから抽出された特徴量そのものを、HMMの観測値oとして用いる場合には、観測値oである特徴量が連続値であり、学習部４４では、連続HMMの学習の結果られる連続HMMが、クラスタリングモデルとして求められる。
【０１０７】
一方、フレームから抽出された特徴量を離散化した離散値を、HMMの観測値oとして用いる場合には、学習部４４では、HMMの学習の前に、フレームから抽出された特徴量を離散化する必要がある。
【０１０８】
フレームから抽出された特徴量（ベクトル）を離散化する方法としては、例えば、ベクトル量子化がある。
【０１０９】
ベクトル量子化では、特徴量空間内の有限個のセントロイドベクトルと、そのセントロイドベクトルを表すコード（シンボル）とが対応付けられたコードブックを参照して、フレームから抽出された連続値の特徴量が、その特徴量との（ユークリッド）距離が最も近いセントロイドベクトルを表すコードに変換（離散化）される。
【０１１０】
また、ベクトル量子化に用いられるコードブックは、例えば、コンテンツ記憶部１１に記憶されたコンテンツ等を、カテゴリごとに用いて、k-means法等により求めることができる。
【０１１１】
この場合、学習部４４では、学習用コンテンツの各フレームから抽出された特徴量が、その学習用コンテンツのカテゴリのコードブックを参照してベクトル量子化される。さらに、学習部４４では、ベクトル量子化の結果得られる、学習用コンテンツの各フレームから抽出された特徴量のコードを用いて、離散HMMの学習が行われ、その結果得られる離散HMMと、特徴量のベクトル量子化に用いられたコードブックとが、クラスタリングモデルとして求められる。
【０１１２】
なお、学習部４４では、その他、上述のベクトル量子化に用いるコードブック（だけ）を、クラスタリングモデルとして求めることができる。
【０１１３】
この場合、クラスタ判定部３３（図４）では、再生対象コンテンツの各フレームから抽出される特徴量が、クラスタリングモデルとしてのコードブックを用いて（参照して）ベクトル量子化され、その結果得られるコードが、フレームのクラスタリング結果（フレームのクラスタ）を表すクラスタ情報として出力される。
【０１１４】
［クラスタ判定部３３の構成例］
【０１１５】
図６は、図４のクラスタリング部２１のクラスタ判定部３３の構成例を示すブロック図である。
【０１１６】
クラスタ判定部３３は、コンテンツ選択部５１、モデル選択部５２、特徴量抽出部５３、及び、最尤状態系列推定部５４から構成される。
【０１１７】
コンテンツ選択部５１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、再生対象コンテンツを選択し、特徴量抽出部５３に供給する。
【０１１８】
また、コンテンツ選択部５１は、再生対象コンテンツのカテゴリを認識し、モデル選択部５２に供給する。
【０１１９】
モデル選択部５２は、クラスタリングモデル記憶部３２に記憶されたクラスタリングモデルの中から、コンテンツ選択部５１からの、再生対象コンテンツのカテゴリと一致するカテゴリのクラスタリングモデル（再生対象コンテンツのカテゴリに対応付けられたクラスタリングモデル）を、注目モデルに選択する。
【０１２０】
そして、モデル選択部５２は、注目モデルを、最尤状態系列推定部５４に供給する。
【０１２１】
特徴量抽出部５３は、コンテンツ選択部５１から供給される再生対象コンテンツの各フレームの特徴量を、図５の特徴量抽出部４２と同様にして抽出し、再生対象コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部５４に供給する。
【０１２２】
最尤状態系列推定部５４は、例えば、Viterbiアルゴリズムに従い、モデル選択部５２からの注目モデルとしてのHMMにおいて、特徴量抽出部５３からの再生対象コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（いわゆるビタビパスを構成する状態の系列）を推定する。
【０１２３】
そして、最尤状態系列推定部５４は、注目モデルとしてのHMMにおいて、再生対象コンテンツの各フレームの特徴量が観測される場合の最尤状態系列（以下、再生対象コンテンツに対する注目モデルの最尤状態系列ともいう）を構成する状態のインデクス（以下、状態ID(Identification)ともいう）を、再生対象コンテンツの各フレームをクラスタリングしたクラスタリング結果を表すクラスタ情報として、セグメント区分部２２（図３）に供給する。
【０１２４】
ここで、注目モデルにおいて、再生対象コンテンツの特徴量が観測される場合の最尤状態系列（再生対象コンテンツに対する注目モデルの最尤状態系列）の先頭を基準とする時刻tの状態（最尤状態系列を構成する、先頭からt番目の状態）を、s(t)と表すとともに、再生対象コンテンツのフレーム数を、Tと表すこととする。
【０１２５】
この場合、再生対象コンテンツに対する注目モデルの最尤状態系列は、T個の状態s(1)，S(2)，・・・，s(T)の系列であり、そのうちのt番目の状態（時刻tの状態）s(t)は、再生対象コンテンツの時刻tのフレーム（フレームt）に対応する。
【０１２６】
また、注目モデルの状態の総数をNと表すこととすると、時刻tの状態s(t)は、N個の状態s1，s2，・・・，sNのうちのいずれかである。
【０１２７】
いま、再生対象コンテンツに対する注目モデルの最尤状態系列の時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
【０１２８】
再生対象コンテンツに対する注目モデルの最尤状態系列の実体は、再生対象コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。
【０１２９】
以上のような、再生対象コンテンツに対する注目モデルの最尤状態系列は、再生対象コンテンツが、注目モデル上において、どのような状態遷移を起こすかを表現する。
【０１３０】
また、再生対象コンテンツに対する注目モデルの最尤状態系列において、上述したように、時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
【０１３１】
したがって、注目モデルのN個の状態それぞれを、クラスタとみなすことにより、時刻tのフレームは、注目モデルのN個の状態のうちの、最尤状態系列の、時刻tの状態s(t)であるi番目の状態siに対応するクラスタにクラスタリングされており、再生対象コンテンツに対する注目モデルの最尤状態系列の推定では、再生対象コンテンツの各フレームが属するクラスタが判定されている、ということができる。
【０１３２】
なお、クラスタリングモデルが、連続HMMである場合には、最尤状態系列推定部５４は、Viterbiアルゴリズムに従い、クラスタリングモデルとしての連続HMMにおいて、特徴量抽出部５３からの再生対象コンテンツの各フレームの特徴量が観測される最尤状態系列を推定し、その最尤状態系列を構成する状態（の状態ID）を、各フレームのクラスタ情報として、セグメント区分部２２（図３）に供給する。
【０１３３】
また、クラスタリングモデルが、離散HMMと、コードブックである場合、最尤状態系列推定部５４は、特徴量抽出部５３からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデルとしてのコードブックを用いてベクトル量子化する。さらに、最尤状態系列推定部５４は、Viterbiアルゴリズムに従い、クラスタリングモデルとしての離散HMMにおいて、再生対象コンテンツの各フレームの特徴量のベクトル量子化によって得られるコードが観測される最尤状態系列を推定し、その最尤状態系列を構成する状態（の状態ID）を、各フレームのクラスタ情報として、セグメント区分部２２に供給する。
【０１３４】
また、クラスタリングモデルが、コードブック（のみ）である場合、最尤状態系列推定部５４は、特徴量抽出部５３からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデルとしてのコードブックを用いてベクトル量子化し、そのベクトル量子化によって得られるコードを、各フレームのクラスタ情報として、セグメント区分部２２に供給する。
【０１３５】
図３のセグメント区分部２２では、以上のようにして、クラスタ判定部３３（の最尤状態系列推定部５４）から供給されるクラスタ情報に基づいて、各クラスタに属する、再生対象コンテンツのフレームが認識され、各クラスタについて、そのクラスタに属するフレームを、時系列に並べたときに、時間的に連続する１フレーム以上のフレームの集まりが、１動画セグメントとして、動画セグメントに区分される。
【０１３６】
［マップ生成部２４の構成例］
【０１３７】
図７は、図３のマップ生成部２４の構成例を示すブロック図である。
【０１３８】
マップ生成部２４は、クラスタ代表画像選択部６１、状態間距離算出部６２、座標算出部６３、及び、マップ描画部６４から構成される。
【０１３９】
クラスタ代表画像選択部６１には、セグメント代表画像生成部２３（図３）からのセグメント代表画像が供給される。
【０１４０】
クラスタ代表画像選択部６１は、（注目モデルとしてのHMMの各状態に対応する）各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタを代表するクラスタ代表画像を選択する。
【０１４１】
そして、クラスタ代表画像選択部６１は、各クラスタに属する（動画セグメントの）セグメント代表画像を、クラスタ代表画像に選択されたセグメント代表画像を表すフラグとともに、マップ描画部６４に供給する。
【０１４２】
ここで、クラスタ代表画像選択部６１は、クラスタに、１つのセグメント代表画像のみが属する場合、そのセグメント代表画像を、クラスタ代表画像に選択する。
【０１４３】
また、クラスタ代表画像選択部６１は、クラスタに、複数のセグメント代表画像が属する場合、例えば、その複数のセグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像や、再生時刻が最も早い動画セグメントのセグメント代表画像等の複数のセグメント代表画像のうちの１つを、クラスタ代表画像に選択する。
【０１４４】
状態間距離算出部６２には、クラスタリング部２１（図３）において、再生対象コンテンツのクラスタリングに用いられた注目モデルとしてのHMM（クラスタリングモデル）が供給される。
【０１４５】
状態間距離算出部６２は、注目モデルとしてのHMMの１つの状態siから他の１つの状態sjへの状態間距離dij*を、１つの状態siから他の１つの状態sjへの状態遷移確率aijに基づいて求める。そして、状態間距離算出部６２は、注目モデルとしてのHMMのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij*を求めると、その状態間距離dij*をコンポーネントとするN行N列の行列（状態間距離行列）を、座標算出部６３に供給する。
【０１４６】
ここで、状態間距離算出部６２は、例えば、状態遷移確率aijが所定の閾値（例えば、(1/N)×10-2）より大である場合、状態間距離dij*を、例えば、0.1（小さい値）とし、状態遷移確率aijが所定の閾値以下である場合、状態間距離dij*を、例えば、1.0（大きい値）とする。
【０１４７】
座標算出部６３は、注目モデルのN個の状態s1ないしsNが配置される２次元又は３次元のマップ（注目モデルとしてのHMMを２次元平面又は３次元空間に投射したマップ）であるモデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離算出部６２からの状態間距離行列の状態間距離dij*との誤差が小さくなるように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。
【０１４８】
すなわち、座標算出部６３は、ユークリッド距離dijと、状態間距離dij*との統計的な誤差に比例するSammon Mapのエラー関数Eを最小にするように、状態座標Yiを求める。
【０１４９】
ここで、Sammon Mapは、多次元尺度法の１つであり、その詳細は、例えば、J. W. Sammon, JR., "A Nonlinear Mapping for Data Structure Analysis", IEEE Transactions on Computers, vol. C-18, No. 5, May 1969に記載されている。
【０１５０】
Sammon Mapでは、例えば、式（１）のエラー関数Eを最小にするように、例えば、２次元のマップであるモデルマップ上の状態座標Yi=(xi,yi)が求められる。
【０１５１】
E＝１／（Σdij）×Σ（（dij*−dij）2／dij*） ・・・（１）
【０１５２】
ここで、式（１）において、Σは、式i<jを満たすインデクスi及びjを、1ないしNの範囲の整数に変えて、サメーションをとることを表す。
【０１５３】
dij*は、状態間距離行列の第i行第j列の要素を表し、状態siから状態sjへの状態間距離を表す。dijは、モデルマップ上の、状態siの位置の座標（状態座標）Yi=(xi,yi)と、状態sjの位置の座標Yjとの間のユークリッド距離を表す。
【０１５４】
なお、状態座標Yi=(xi,yi)のxi及びyiは、それぞれ、２次元のモデルマップ上の状態座標Yiのx座標及びy座標を表す。モデルマップとして、３次元のマップを採用する場合、状態座標Yiは、x座標、y座標、及び、z座標を有する３次元の座標になる。
【０１５５】
座標算出部６３は、式（１）のエラー関数Eが最小になるように、状態座標Yi(i=1,2,・・・,N)を、勾配法の反復適用により求め、マップ描画部６４に供給する。
【０１５６】
マップ描画部６４は、座標算出部６３からの状態座標Yiの位置に、対応する状態si（の画像）を配置し、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を、内蔵するメモリ（図示せず）に描画することで、注目モデルとしてのHMMを、２次元（や３次元）のモデルマップ（のグラフィクス）に変換する。
【０１５７】
そして、マップ描画部６４は、モデルマップ上の状態siの位置に、クラスタ代表画像選択部６１からのセグメント代表画像のうちの、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を描画する。
【０１５８】
これにより、マップ描画部６４は、モデルマップ上の各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されたマップであるセグメントマップを生成する。
【０１５９】
さらに、マップ描画部６４は、セグメントマップの各状態に、その状態に対応するクラスタに属する（フレームからなる動画セグメントの）セグメント代表画像を対応付け、その結果得られるセグメントマップを、表示制御部１６（図１）に供給する。
【０１６０】
なお、モデルマップは、HMM等のクラスタリングモデルの構造を、状態に対応するノードと状態遷移に対応するエッジとによって可視化した２次元（や３次元）のネットワーク（グラフ）表現であるということができる。HMM等のクラスタリングモデルを、そのようなネットワーク表現としてのモデルマップに変換（投射）する方法としては、Sammon Mapの他、任意の多次元尺度法を採用することができる。
【０１６１】
また、クラスタリングモデルが、コードブック（のみ）である場合には、そのクラスタリングモデルとしてのコードブックは、各コードベクトルに対応する各クラスタ（各コードベクトルを表す各コードに対応する各クラスタ）について、再生対象コンテンツを用い、その再生対象コンテンツにおいて、時系列のフレームが属するクラスタが遷移（変化）する遷移回数（各クラスタから各クラスタに、フレームが属するクラスタが遷移する回数）をカウントし、コードベクトルに対応するクラスタを、HMMの状態とみなすとともに、各クラスタの遷移回数に対応する確率を、HMMの状態遷移確率とみなすことで、Sammon Map等の多次元尺度法により、２次元や３次元のマップであるモデルマップに変換することができる。
【０１６２】
ここで、クラスタの遷移回数に対応する確率としては、例えば、そのクラスタから、各クラスタへの遷移回数のうちの、閾値以下の遷移回数を0.0に変換し、さらに、総和が1.0になるように、遷移回数を正規化した値を採用することができる。
【０１６３】
また、各クラスタから（各クラスタへ）の遷移回数は、再生対象コンテンツを用いて求める他、コードブックを求めるときに用いられたすべてのコンテンツを用いて求めることができる。
【０１６４】
［モデルマップ］
【０１６５】
図８は、図７のマップ描画部６４で描画されるモデルマップの例を示す図である。
【０１６６】
図８のモデルマップにおいて、点は、クラスタリングモデル（注目モデル）としてのHMMの状態を表し、点どうしを結ぶ線分は、状態遷移を表す。
【０１６７】
モデルマップ描画部６４は、上述したように、座標算出部６３で求められる状態座標Yiの位置に、対応する状態si（の画像（図８では、点））を描画する。
【０１６８】
さらに、マップ描画部６４は、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。すなわち、マップ描画部６４は、状態siから他の状態sjへの状態遷移確率が、所定の閾値より大である場合に、それらの状態siとsjとの間を結ぶ線分を描画する。
【０１６９】
マップ描画部６４は、以上のようにして、注目モデルとしてのHMMの構造を可視化した２次元（又は３次元）のネットワーク表現であるモデルマップを描画する。
【０１７０】
なお、図７の座標算出部６３において、式（１）のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態（を表す点）は、モデルマップ上に、円状に配置され、モデルマップの円周付近（外側）（外縁）に、状態が密集し、状態の配置が見にくくなって、いわば、可視性が損なわれることがある。
【０１７１】
そこで、図７の座標算出部６３では、式（１）のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。
【０１７２】
すなわち、座標算出部６３では、ユークリッド距離dijが、所定の閾値THd（例えば、THd=1.0等）より大であるかどうかを判定する。
【０１７３】
そして、ユークリッド距離dijが、所定の閾値THdより大でない場合には、座標算出部６３は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用いる。
【０１７４】
一方、ユークリッド距離dijが、所定の閾値THdより大である場合には、座標算出部６３は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dij*を用いる（dij＝dij*とする）（ユークリッド距離dijを、状態間距離dij*に等しい距離とする）。
【０１７５】
この場合、モデルマップにおいて、ユークリッド距離dijが、ある程度近い（閾値THdより大でない）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、ユークリッド距離dijと状態間距離dij*とが一致するように（ユークリッド距離dijが状態間距離dij*に近づくように）変更される。
【０１７６】
一方、モデルマップにおいて、ユークリッド距離dijが、ある程度遠い（閾値THdより大の）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、変更されない。
【０１７７】
その結果、ユークリッド距離dijが、ある程度遠い２つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、モデルマップの円周（外縁）付近に、状態が密集することを防止し、ひいては、可視性が損なわれることを防止することができる。
【０１７８】
図８のモデルマップについては、以上のようにして、モデルマップの円周（外縁）付近に、状態が密集することが防止されている。
【０１７９】
［セグメントマップ生成部１４の処理］
【０１８０】
図９は、図３のセグメントマップ生成部１４の処理（セグメントマップ生成処理）の概要を説明する図である。
【０１８１】
セグメントマップ生成部１４では、クラスタリング部２１において、コンテンツ記憶部１１に記憶された再生対象コンテンツの各フレームf1,f2,・・・について、特徴量が抽出される。
【０１８２】
そして、クラスタリング部２１では、各フレームf1,f2,・・・の特徴量と、クラスタリングモデルとしてのHMMを用いて、各フレームf1,f2,・・・がクラスタリングされ、各フレームf1,f2,・・・が属するクラスタを表すクラスタ情報としての、例えば、フレームf1,f2,・・・の特徴量の時系列が観測される最尤状態系列を構成するHMMの状態のインデクスである状態IDの系列が、セグメント区分部２２に供給される。
【０１８３】
図９では、再生対象コンテンツのフレームf1及びf2が、状態IDが3の状態に対応するクラスタに、フレームf3が、状態IDが2の状態に対応するクラスタに、フレームf4が、状態IDが3の状態に対応するクラスタに、フレームf5が、状態IDが5の状態に対応するクラスタに、フレームf6,f7,f8・・・が、状態IDが4の状態に対応するクラスタに、それぞれクラスタリングされている。
【０１８４】
セグメント区分部２２（図３）は、各クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分する。
【０１８５】
したがって、セグメント区分部２２では、クラスタリング部２１からのクラスタ情報としての状態IDの系列を、先頭からシーケンシャルに注目していった場合に、注目している状態IDが、直前の状態IDに一致している場合には、注目している状態IDに対応するフレームは、直前の状態IDに対応するフレームを含む動画セグメントに含められる。
【０１８６】
そして、注目している状態IDが、直前の状態IDに一致していない場合には、直前の状態IDに対応するフレームまでが、１つの動画セグメントに区分され、注目している状態IDに対応するフレームからは、新たな動画セグメントに区分される。
【０１８７】
図９では、状態IDが3の状態に対応するクラスタに属する、連続するフレームf1及びf2、状態IDが2の状態に対応するクラスタに属するフレームf3、状態IDが3の状態に対応するクラスタに属するフレームf4、状態IDが5の状態に対応するクラスタに属するフレームf5、及び、状態IDが4の状態に対応するクラスタに属する、連続するフレームf6,f7,f8・・・が、それぞれ、動画セグメントに区分されている。
【０１８８】
セグメント区分部２２は、以上のような動画セグメント（のセグメント情報としての、動画セグメントが有するフレームを特定するフレーム情報と、動画セグメント（のフレーム）が属するクラスタを表すクラスタ情報）を、セグメント代表画像生成部２３に供給する。
【０１８９】
セグメント代表画像生成部２３（図３）は、例えば、上述したように、セグメント区分部２２からの動画セグメントについて、その動画セグメントを代表するセグメント代表画像として、その動画セグメントの先頭のフレームを縮小したサムネイルを生成し、マップ生成部２４に供給する。
【０１９０】
ここで、状態IDが値iの状態を状態#iとも記載することとすると、図９において、状態#3に対応するクラスタに属する、連続するフレームf1及びf2を有する動画セグメントについては、先頭のフレームf1のサムネイルが、セグメント代表画像として生成される。
【０１９１】
また、状態#2に対応するクラスタに属するフレームf3を有する動画セグメントについては、先頭のフレームf3のサムネイルが、状態#3に対応するクラスタに属するフレームf4を有する動画セグメントについては、先頭のフレームf4のサムネイルが、状態#5に対応するクラスタに属するフレームf5を有する動画セグメントについては、先頭のフレームf5のサムネイルが、状態#4に対応するクラスタに属する、連続するフレームf6,f7,f8・・・を有する動画セグメントについては、先頭のフレームf6のサムネイルが、それぞれ、セグメント代表画像として生成される。
【０１９２】
マップ生成部２４（図３）では、各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタ（に対応する状態）を代表するクラスタ代表画像が選択される。
【０１９３】
また、マップ生成部２４では、注目モデルとしてのHMMが、モデルマップに変換されるとともに、モデルマップ上の各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されたセグメントマップが生成される。
【０１９４】
そして、マップ生成部２４では、セグメントマップの各状態に、その状態に対応するクラスタに属する動画セグメントのすべてのセグメント代表画像が対応付けられる。
【０１９５】
図９では、状態#3に対応するクラスタに属する、連続するフレームf1及びf2を有する動画セグメントのセグメント代表画像であるフレームf1のサムネイルが、状態#3に、状態#2に対応するクラスタに属するフレームf3を有する動画セグメントのセグメント代表画像であるフレームf3のサムネイルが、状態#2に、状態#3に対応するクラスタに属するフレームf4を有する動画セグメントのセグメント代表画像であるフレームf4のサムネイルが、状態#3に、状態#5に対応するクラスタに属するフレームf5を有する動画セグメントのセグメント代表画像であるフレームf5のサムネイルが、状態#5に、状態#4に対応するクラスタに属する、連続するフレームf6,f7,f8・・・を有する動画セグメントのセグメント代表画像であるフレームf6のサムネイルが、状態#4に、それぞれ対応付けられている。
【０１９６】
図１０は、セグメントマップ生成部１４（図３）で生成されるセグメントマップの例を示す図である。
【０１９７】
セグメントマップにおいては、図８のモデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されている。
【０１９８】
所定のカテゴリのコンテンツとしての、例えば、毎日、又は、毎週放送されているニュースのテレビジョン放送番組（ニュース番組）の２回以上の放送分のうちの、最新の放送分のニュース番組を除く、過去の放送分のニュース番組を、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習を行い、最新の放送分のニュース番組を、再生対象コンテンツとして、セグメントマップ生成部１４に与えることにより、図１０に示したようなセグメントマップが生成される。
【０１９９】
以上のように、セグメントマップは、モデルマップ（図８）に、（クラスタ代表画像に選択された）セグメント代表画像を配置した、モデルマップを、いわばベースとするマップである。
【０２００】
モデルマップは、学習後のHMMを、多次元尺度法により２次元平面に投射したマップであり、かかるモデルマップによれば、見た目の特徴等が似ており、かつ、時間前後関係が近接するシーン（フレーム）がクラスタリングされるクラスタ群が、２次元表現上での遷移可能な近傍状態群として表現される。
【０２０１】
そして、そのようなモデルマップをベースとするセグメントマップによれば、例えば、再生対象コンテンツとしてのニュース番組のキャスタが映っているシーン（フレーム、ひいては、動画セグメント）が、ある状態（に対応するクラスタ）にクラスタリングされて集まり、そのようなシーンから遷移する、例えば、スポーツコーナの各シーンや、明日の天気予報のシーン群等が、それぞれ、他の状態にクラスタリングされて集まる、という形で、番組のシーン構成が、２次元の地図として表現される。
【０２０２】
したがって、セグメントマップは、再生対象コンテンツの、いわばシーン地図である、ということができ、ユーザに、再生対象コンテンツを俯瞰させることができる可視化の有効な手段として機能する。
【０２０３】
なお、図１０では、（クラスタ代表画像に選択された）セグメント代表画像が配置されていない状態が存在する。セグメント代表画像が配置されていない状態の存在は、その状態（に対応するクラスタ）にクラスタリングされる再生対象コンテンツのフレームがなかったことを表す。
【０２０４】
ところで、セグメントマップの各状態に配置されるセグメント代表画像のサイズは、状態ごとに異なるサイズにすることもできるし、状態によらず一定のサイズにすることもできる。
【０２０５】
セグメントマップの各状態に配置されるセグメント代表画像のサイズを、状態ごとに異なるサイズにする場合には、マップ描画部６４（図７）において、例えば、各状態について、重要度を求め、その重要度に対応するサイズで、セグメント代表画像を、セグメントマップ（モデルマップ）上に配置することができる。
【０２０６】
図１１は、状態の重要度を求める方法を説明する図である。
【０２０７】
マップ描画部６４は、モデルマップの各状態（クラスタリングモデルとしてのHMMの各状態）について、その状態が、再生対象コンテンツ全体内で、どの程度重要なシーンを表現しているのか（どの程度重要なシーンがクラスタリングされるクラスタに対応する状態であるのか）を表す指標DoI(Degree of Importance)を、重要度として求める。
【０２０８】
いま、状態siの重要度を、DoI(i)と表すとともに、状態si（に対応するクラスタ）にクラスタリングされた再生対象コンテンツの動画セグメントのうちの、k番目の動画セグメントの長さ（フレーム数）であるセグメント長を、LEN(k)と表すこととすると、マップ描画部６４は、式DoI(i)＝max{LEN(k)}に従って、状態siの重要度DoI(i)を求める。
【０２０９】
なお、max{LEN(k)}は、状態siにクラスタリングされた再生対象コンテンツの動画セグメントの数をKで表すこととすると、LEN(1),LEN(2),・・・,LEN(K)の中の最大値、つまり、状態siにクラスタリングされた再生対象コンテンツの動画セグメントの最大のフレーム数を表す。
【０２１０】
マップ描画部６４は、各状態siの重要度DoI(i)を求めると、すべての状態s1,s2,・・・,sNの重要度DoI(1),DoI(2),・・・,DoI(N)の平均値DoIAV＝(DoI(1),DoI(2),・・・,DoI(N))/Nを求める。
【０２１１】
さらに、マップ描画部６４は、重要度DoIを引数として、セグメント代表画像のサイズを決定するための係数であるサイズ係数αを求める関数である係数関数α＝f(DoI)を、重要度の平均値DoIAVを用いて求める。
【０２１２】
ここで、係数関数α＝f(DoI)は、例えば、図１１に示すように、引数である重要度DoIが、0から重要度の平均値DoIAVまでの範囲では、引数である重要度DoIに比例して増加し、引数である重要度DoIが0のときに、α＝0となり、引数である重要度DoIがDoIAVのときに、α＝1.0となる関数であり、かつ、引数である重要度DoIが、重要度の平均値DoIAVを超える範囲では、α＝1.0の一定値となる関数である。
【０２１３】
マップ描画部６４は、重要度の平均値DoIAVを用いて、係数関数α＝f(DoI)を求めると、各状態siについて、サイズ係数α＝f(DoI(i))を求め、そのサイズ係数α＝f(DoI(i))を、あらかじめ設定されたセグメント代表画像のサイズである標準サイズに乗算することにより、セグメントマップに配置するセグメント代表画像のサイズを求め、そのサイズで、（クラスタ代表画像に選択された）セグメント代表画像を、セグメントマップに配置する。
【０２１４】
以上のように、状態の重要度に対応するサイズで、セグメント代表画像を、セグメントマップ上に配置することにより、セグメントマップでは、図１０に示したように、重要度が大きい状態にクラスタリングされたセグメント代表画像ほど、大きいサイズで表示される。
【０２１５】
したがって、ユーザは、セグメントマップを見ることで、重要度が大きい状態にクラスタリングされている動画セグメント、ひいては、再生対象コンテンツにおいて重要なシーンを、迅速に認識することができる。
【０２１６】
図１２は、セグメントマップ生成部１４（図３）が、図２のステップＳ１２で行うセグメントマップ生成処理を説明するフローチャートである。
【０２１７】
ステップＳ２１では、クラスタリング部２１（図３）が、再生対象コンテンツの各フレームをクラスタリングして、処理は、ステップＳ２２に進む。
【０２１８】
すなわち、クラスタリング部２１では、クラスタ判定部３３（図４）が、再生対象コンテンツの各フレームの特徴量を抽出する。
【０２１９】
さらに、クラスタ判定部３３は、クラスタリングモデル記憶部３２（図４）に記憶されたクラスタリングモデルとしてのHMMのうちの、再生対象コンテンツと同一のカテゴリのHMMを、注目モデルに選択する。
【０２２０】
そして、クラスタ判定部３３は、注目モデルとしてのHMMにおいて、再生対象コンテンツの各フレームの特徴量の時系列が観測される最尤状態系列を推定し、その最尤状態系列（を構成するHMMの状態のインデクスである状態IDの系列）を、再生対象コンテンツの各フレームのクラスタリング結果を表すクラスタ情報として、セグメント区分部２２に供給する。
【０２２１】
ステップＳ２２では、セグメント区分部２２（図３）が、クラスタリング部２１（のクラスタ判定部３３）からのクラスタ情報に基づいて、各クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分する。
【０２２２】
そして、セグメント区分部２２は、再生対象コンテンツの各動画セグメントについて、その動画セグメントを表すセグメント情報を、セグメント代表画像生成部２３に供給して、処理は、ステップＳ２２からステップＳ２３に進む。
【０２２３】
ステップＳ２３では、セグメント代表画像生成部２３（図３）は、再生対象コンテンツの各動画セグメントについて、セグメント区分部２２からのセグメント情報に基づいて認識される、動画セグメントを構成するフレームを用いて、その動画セグメントを代表するセグメント代表画像を生成する。
【０２２４】
そして、セグメント代表画像生成部２３は、各動画セグメントのセグメント代表画像を、マップ生成部２４に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
【０２２５】
ステップＳ２４では、マップ生成部２４（図３）は、セグメント代表画像生成部２３からのセグメント代表画像を用いて、セグメントマップを生成し、表示制御部１６に供給して、セグメントマップ生成処理が終了する。
【０２２６】
すなわち、マップ生成部２４では、状態間距離算出部６２（図７）が、注目モデルとしてのHMMの１つの状態siから他の１つの状態sjへの状態間距離dij*を、状態遷移確率aijに基づいて求め、その状態間距離dij*をコンポーネントとするN行N列の行列である状態間距離行列を算出して、座標算出部６３に供給する。
【０２２７】
座標算出部６３（図７）は、Sammon Map等の多次元尺度法に従い、状態間距離算出部６２からの状態間距離行列を用いて、例えば、上述の式（１）のエラー関数Eを最小にするように、注目モデルとしてのHMMの各状態siのモデルマップ上の座標Yi=(xi,yi)を求め、マップ描画部６４に供給する。
【０２２８】
マップ描画部６４（図７）は、座標算出部６３からの座標Yiの位置に、対応する状態si（の画像）を配置し、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画することで、注目モデルとしてのHMMを、２次元のモデルマップ（のグラフィクス）に変換する。
【０２２９】
また、マップ生成部２４において、クラスタ代表画像選択部６１（図７）は、（注目モデルとしてのHMMの各状態に対応する）各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタを代表するクラスタ代表画像を選択する。
【０２３０】
そして、クラスタ代表画像選択部６１は、各クラスタに属するセグメント代表画像を、クラスタ代表画像に選択されたセグメント代表画像を表すフラグとともに、マップ描画部６４に供給する。
【０２３１】
マップ描画部６４（図７）は、モデルマップ（セグメントマップ）の各状態について、その状態に対応するクラスタに属するセグメント代表画像を、クラスタ代表画像選択部６１からのセグメント代表画像から抽出し、そのセグメント代表画像が属する（クラスタに対応する）状態に対応付ける。
【０２３２】
また、マップ描画部６４は、モデルマップの各状態の重要度DoIを、例えば、図１１で説明したようにして求める。
【０２３３】
そして、マップ描画部６４は、モデルマップ上の各状態siについて、状態siに対応付けられているセグメント代表画像のうちの、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を、状態siの位置に描画することで、セグメントマップを生成する。
【０２３４】
なお、マップ描画部６４は、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を描画するにあたり、状態siの重要度DoI(i)に対応するサイズで、セグメント代表画像を描画する。
【０２３５】
以上のようなセグメントマップ生成処理によって得られるセグメントマップは、セグメントマップ生成部１４から表示制御部１６（図１）に供給される。
【０２３６】
そして、表示制御部１６では、セグメントマップが、表示部１７に表示される。
【０２３７】
セグメントマップが、表示部１７に表示された後、表示制御部１６では、図２のステップＳ１４で説明したように、ユーザの操作（操作イベント処理部１２（図１）で発生する操作イベント）に応じて、セグメントマップの表示制御が行われる。
【０２３８】
［表示制御部１６によるセグメントマップ等の表示制御］
【０２３９】
表示制御部１６がセグメントマップの表示の表示制御を行うときの表示モード（セグメントマップの表示時の表示制御部１６の内部状態）としては、レイヤ０モード、レイヤ１モード、及び、レイヤ２モードの３つのモードがある。
【０２４０】
表示制御部１６は、セグメントマップ生成部１４からセグメントマップが供給されると、表示モードをレイヤ０モードにして、セグメントマップを表示部１７に表示する（表示させる）。
【０２４１】
レイヤ０モードでは、表示部１７において、セグメントマップは、例えば、図１０に示したように表示される。
【０２４２】
図１３は、レイヤ０モードにおいて、ユーザが、表示部１７の表示画面上の位置を指示したときのセグメントマップの表示例を示す図である。
【０２４３】
ここで、以下では、説明を分かりやすくするために、ユーザが操作を行う操作手段として、例えば、マウスを採用し、操作イベント処理部１２（図１）では、マウスの（シングル）クリックや、ダブルクリック、（マウス）カーソルの移動等の操作イベントが発生されることとする。
【０２４４】
また、操作イベントには、カーソルの位置の情報が含まれることとする。
【０２４５】
なお、ユーザが操作を行う操作手段としては、マウスの他、タッチパネルその他のポインティングデバイス等を採用することができる。操作手段として、タッチパネルを採用する場合、マウスのタップ、及び、ダブルタップは、例えば、それぞれ、マウスのクリック、及び、ダブルクリックに対応させることができる。
【０２４６】
さらに、マウスでのカーソルの移動は、例えば、指等をタッチパネルにタッチした状態で、その指を移動させることに対応させることができる。なお、タッチパネルが、指等の近接を検出することができる場合には、マウスでのカーソルの移動は、例えば、タッチパネルに近接した指を移動させることに対応させることができる。
【０２４７】
レイヤ０モードでは、表示制御部１６は、マウスの操作に従って移動するカーソルの位置を、ユーザが指示する指示位置とし、その指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、注目状態（に対応するクラスタ）に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を、セグメントマップに重畳する形で、表示部１７に表示する。
【０２４８】
図１３は、タイル画像が重畳されたセグメントマップの表示例を示す図である。
【０２４９】
レイヤ０モードにおいて、表示制御部１６は、ユーザの指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、その注目状態の位置と、指示位置との距離が閾値以下である場合には、注目状態に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を生成し、セグメントマップに重畳して表示する。
【０２５０】
ここで、タイル画像においては、注目状態に対応付けられたセグメント代表画像が、例えば、時系列に、左から右、及び、上から下方向に、タイル状（格子状）に並ぶように配置される。
【０２５１】
図１４は、以上のようにタイル画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【０２５２】
図１４の処理は、例えば、カーソルが移動されたとき等の不定期のタイミングで、又は、周期的なタイミングで開始される。
【０２５３】
ステップＳ４１において、表示制御部１６は、セグメントマップの状態のうちの、ユーザの指示位置であるカーソルの位置に最も近い状態を、注目状態に選択して、処理は、ステップＳ４２に進む。
【０２５４】
ステップＳ４２では、表示制御部１６は、ユーザの指示位置であるカーソルの位置から注目状態の位置までの距離（以下、カーソル間距離ともいう）が、閾値以下であるかどうかを判定する。
【０２５５】
ステップＳ４２において、カーソル間距離が、閾値以下でないと判定された場合、すなわち、カーソルが、例えば、表示部１７の表示画面の端部等の、セグメントマップのいずれの状態からも離れた位置にある場合、表示制御部１６は、ステップＳ４３及びＳ４４をスキップして、処理を終了する。
【０２５６】
なお、カーソル間距離が、閾値以下でない場合に、表示部１７に、タイル画像が表示されているときには、表示制御部１６は、そのタイル画像を消去する。
【０２５７】
一方、ステップＳ４２において、カーソル間距離が、閾値以下であると判定された場合、処理は、ステップＳ４３に進み、表示制御部１６は、注目状態に対応付けられたセグメント代表画像を、時系列順に並べた一覧の画像であるタイル画像を生成して、処理は、ステップＳ４４に進む。
【０２５８】
ここで、表示制御部４３は、タイル画像を表示する表示エリアのサイズを、注目状態に対応付けられたセグメント代表画像の数に応じて設定する。
【０２５９】
すなわち、表示制御部４３は、タイル画像を表示する表示エリアのサイズについて、あらかじめ決められている最小のサイズから最大のサイズまでの範囲において、注目状態に対応付けられたセグメント代表画像の数が多くなるほど、サイズが大になるように、タイル画像を表示する表示エリアのサイズを設定する。
【０２６０】
以下、注目状態に対応付けられたセグメント代表画像の数に応じて設定された表示エリアのサイズを、設定サイズともいう。
【０２６１】
表示制御部４３は、設定サイズの表示エリアに表示されるタイル画像内に、注目状態に対応付けられたセグメント代表画像すべてを配置することができるように、タイル画像の横と縦のそれぞれに配置するセグメント代表画像の数と、タイル画像に配置するセグメント代表画像のサイズとを決定する。
【０２６２】
なお、最大の表示エリアに表示されるタイル画像内に配置することができるセグメント代表画像の数の最大値NUMmax（、及び、そのセグメント代表画像のサイズの最小値）は、あらかじめ決められており、注目状態に対応付けられているセグメント代表画像の数が、最大値NUMmaxを超える場合には、タイル画像に配置されるセグメント代表画像の数は、最大値NUMmaxに制限される。すなわち、注目状態に対応付けられているセグメント代表画像のうちの、例えば、時系列順で、最大値NUMmaxに等しい数のセグメント代表画像が、タイル画像に配置される。
【０２６３】
ステップＳ４４では、表示制御部１４は、注目状態に対応付けられたセグメント代表画像を並べたタイル画像を、セグメントマップの注目状態の近傍に重畳する形で表示して、処理を終了する。
【０２６４】
なお、カーソル間距離が、閾値以下である場合に、表示部１７に、注目状態のタイル画像（注目状態に対応付けられたセグメント代表画像を並べたタイル画像）が、既に表示されているときには、表示制御部１６は、ステップＳ４３及びＳ４４をスキップし、既に表示されているタイル画像の表示を、そのまま維持する。
【０２６５】
また、カーソル間距離が、閾値以下である場合に、表示部１７に、注目状態以外の状態のタイル画像が表示されているときには、表示制御部１６は、そのタイル画像を消去する。
【０２６６】
以上のように、レイヤ０モードでは、ユーザの指示位置に最も近いセグメントマップ上の状態（注目状態）に対応付けられたセグメント代表画像の一覧の画像であるタイル画像が表示されるので、ユーザは、カーソルを、所望の状態の位置付近に移動するだけで、その所望の状態に対応付けられたセグメント代表画像の一覧を確認し、ひいては、その所望の状態（に対応するクラスタ）にクラスタリングされているシーンを把握することができる。
【０２６７】
ここで、上述の場合には、ユーザの指示位置に最も近いセグメントマップ上の状態（注目状態）に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を表示することとしたが、タイル画像の表示に代えて、注目状態の位置に表示されている（クラスタ代表画像に選択された）セグメント代表画像の強調表示を行うことができる。
【０２６８】
セグメント代表画像の強調表示を行う方法としては、例えば、セグメント代表画像のサイズを大きくする方法や、セグメント代表画像の周囲を囲む赤枠を表示する方法等を採用することができる。
【０２６９】
なお、タイル画像の表示、及び、注目状態の位置に表示されているセグメント代表画像の強調表示のうちのいずれを行うかは、ユーザの操作に応じて設定することができる。
【０２７０】
以下では、タイル画像の表示が行われることとする。
【０２７１】
レイヤ０モードにおいて、タイル画像が表示されているときに、ユーザが、あらかじめ決められた所定の操作としての、例えば、マウスの（シングル）クリックを行うと、表示制御部１６は、表示モードを、レイヤ０モードから、レイヤ１モードに移行（変更）（設定）する。
【０２７２】
レイヤ１モードでは、表示制御部１６は、タイル画像の表示を固定（ロック）する。
【０２７３】
すなわち、レイヤ０モードでは、ユーザがカーソルを移動させると、移動後のカーソルに最も近い状態に対応付けられたセグメント代表画像が時系列に配置されたタイル画像が表示されるため、カーソルの移動によって、カーソルに最も近い状態が変化すると、タイル画像も変化する。
【０２７４】
そのような、タイル画像が表示されるレイヤ０モードにおいて、タイル画像が表示されているときに、クリックが行われると、表示制御部１６は、表示モードを、レイヤ０モードから、レイヤ１モードに移行し、そのとき表示されていたタイル画像の表示が維持されるように、タイル画像の表示を固定する。
【０２７５】
ここで、レイヤ１モードにおいて、表示が固定されたタイル画像を、固定タイル画像ともいう。
【０２７６】
図１５は、固定タイル画像の表示例を示す図である。
【０２７７】
固定タイル画像は、レイヤ０モードにおいてクリックが行われる直前に表示されていたタイル画像、すなわち、レイヤ０モードにおいてクリックが行われたときのカーソルの位置に最も近い位置の状態である注目状態に対応付けられたセグメント代表画像が配置されたタイル画像を含む画像であり、レイヤ１モードにおいて、固定タイル画像が表示された後は、カーソルが移動しても（ユーザの指示位置が変化しても）、固定タイル画像の表示は、そのまま維持される。
【０２７８】
図１６は、固定タイル画像の詳細を示す図である。
【０２７９】
固定タイル画像においては、下部に、レイヤ０モードにおいてクリックが行われる直前に表示されていたタイル画像が配置され、その上部に、ヘッダ部が配置されている。
【０２８０】
ヘッダ部には、ブックマークボタン、保存ボタン、時計マーク、及び、タイムラインバーが配置される。
【０２８１】
ブックマークボタンは、注目状態、すなわち、固定タイル画像の下部のタイル画像に配置されたセグメント代表画像が対応付けられた状態を、ユーザがお気に入りのシーンがクラスタリングされるお気に入りの状態として、仮登録するときに操作（例えば、クリック）される。
【０２８２】
ブックマークボタンが操作されると、注目状態は、お気に入りの状態として仮登録され、再度、ブックマークボタンが操作されると、注目状態の仮登録が解除される。
【０２８３】
保存ボタンは、お気に入りの状態の仮登録を、本登録するときに操作（例えば、クリック）される。
【０２８４】
保存ボタンが操作されたときに、注目状態が、お気に入りの状態として仮登録されていれば、注目状態が、お気に入り状態として本登録される。また、例えば、注目状態が、既に、お気に入り状態として本登録されている場合に、保存ボタンが操作されると、注目状態の本登録が解除される。
【０２８５】
ここで、以上のように、保存ボタンが操作されたときに、注目状態が、お気に入りの状態として仮登録されていると、注目状態が、お気に入りの状態として本登録されるので、注目状態が、お気に入りの状態として仮登録されている場合の、保存ボタンの操作は、注目状態の本登録を要求する操作であり、以下、お気に入り操作ともいう。
【０２８６】
お気に入り操作に応じて行われる本登録では、操作イベント処理部１２（図１）において、ユーザを識別するユーザIDに対応付けて、再生対象コンテンツのセグメントマップのベースとなったモデルマップの生成に用いられた注目モデルとしてのHMMを識別するモデルIDと、お気に入りの状態として本登録する状態（クラスタ）を識別する状態IDとが、お気に入り情報として、お気に入り情報記憶部１３に記憶される。
【０２８７】
なお、ユーザIDは、ユーザが、図１の画像処理装置を使用するときに、ユーザによって入力されることとする。
【０２８８】
また、クラスタリングモデルとしてのHMMには、クラスタリングモデル学習部３１において、学習後に、そのHMMを識別するためのモデルIDが割り当てられることとする。
【０２８９】
時計マークは、例えば、再生対象コンテンツの先頭から最後までの再生時間を、時計の針の1周の時間（0分から60分までの1時間）に割り当て、タイル画像に配置されているセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目している注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示するアイコンである。
【０２９０】
図１６では、注目代表画像が存在しない（選択されていない）ため、時計マークは、再生対象コンテンツの先頭のタイミングを表す0分を表示している。
【０２９１】
タイムラインバーは、横長のバーであり、再生対象コンテンツの先頭から最後までの再生時間を、タイムラインバーの左端から右端までに割り当て、タイル画像に配置されているセグメント代表画像それぞれに対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する時刻（位置）を表す。
【０２９２】
図１６のタイムラインバーにおいて、斜線を付してある部分が、タイル画像に配置されているセグメント代表画像それぞれに対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する時刻を表す。
【０２９３】
レイヤ１モードでは、表示制御部１６は、マウスの操作に従って移動するカーソルの位置を、ユーザが指示する指示位置として、固定タイル画像（のタイル画像）に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、指示位置（カーソルの位置）に最も近いセグメント代表画像を、注目する注目代表画像として、その注目代表画像を強調表示する。
【０２９４】
図１７は、注目代表画像の強調表示の表示例を示す図である。
【０２９５】
レイヤ１モードでは、表示制御部１６は、固定タイル画像に配置されたセグメント代表画像のうちの、ユーザの指示位置に最も近いセグメント代表画像を、注目代表画像に選択し、その注目代表画像を、固定タイル画像とは別に強調表示する。
【０２９６】
注目代表画像の強調表示では、注目代表画像を、例えば、固定タイル画像に配置されているサイズの2倍のサイズ等の大きなサイズで表示することや、注目代表画像を、赤枠で囲んで表示することができる。
【０２９７】
図１７では、注目代表画像が、固定タイル画像に配置されているサイズよりも大きなサイズで表示されることにより、強調表示されている。
【０２９８】
なお、レイヤ１モードでは、表示制御部１６は、例えば、ユーザの指示位置が、固定タイル画像上にある場合にのみ、その指示位置に最も近いセグメント代表画像を、注目代表画像に選択する。
【０２９９】
したがって、ユーザの指示位置（カーソル）が、固定タイル画像上にない場合には、固定タイル画像に配置されているセグメント代表画像のいずれも、注目代表画像には選択されない。
【０３００】
また、図１７では、固定タイル画像に配置されたセグメント代表画像のうちの、ユーザの指示位置に最も近いセグメント代表画像が、注目代表画像に選択されており、そのため、時計マークは、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示している。
【０３０１】
さらに、図１７では、ユーザが、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを認識することができるように、タイムラインバーにおいて、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する部分（黒塗りの部分）が、他の部分と異なる表示になっている。
【０３０２】
レイヤ１モードにおいて、注目代表画像が選択されているときに、ユーザが、あらかじめ決められた所定の操作としての、例えば、マウスの（シングル）クリックを行うと、表示制御部１６は、表示モードを、レイヤ１モードから、レイヤ２モードに移行する。
【０３０３】
レイヤ２モードでは、表示制御部１６は、固定タイル画像に代えて、又は、固定タイル画像に重畳して、タイムライン画像を表示する。
【０３０４】
すなわち、レイヤ１モードでは、ユーザが、固定タイル画像上においてカーソルを移動させると、移動後のカーソルに最も近いセグメント代表画像が、注目代表画像に選択され、注目画像が強調表示されるが、注目代表画像が選択されているときに、クリックが行われると、表示制御部１６は、表示モードを、レイヤ１モードから、レイヤ２モードに移行し、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、注目画像を中心として、時系列に配置したタイムライン画像を生成し、表示部１７に表示する。
【０３０５】
図１８は、タイムライン画像の表示例を示す図である。
【０３０６】
レイヤ１モードにおいて、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちのいずれかのセグメント代表画像が、注目代表画像に選択されているときに、クリックが行われると、表示制御部１６は、表示モードを、レイヤ１モードから、レイヤ２モードに移行し、固定タイル画像に配置されたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、タイムライン画像を構成する構成画像として選択する。
【０３０７】
そして、表示制御部１６は、構成画像を、例えば、左から右に、時系列順に並べて配置したタイムライン画像を生成し、表示部１７に表示する。
【０３０８】
図１８では、注目代表画像と、その注目代表画像の時間的に前に続く（過去側の）3枚のセグメント代表画像、及び、注目代表画像の時間的に後に続く（未来側の）3枚のセグメント代表画像との、合計で、7枚のセグメント代表画像が、構成画像として選択されている。
【０３０９】
そして、7枚の構成画像を、左から右に、時系列順に並べて配置することによって、タイムライン画像が構成されている。
【０３１０】
以上のように、タイムライン画像においては、構成画像としての、固定タイル画像に配置されたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像が、時系列順に配置されるので、注目代表画像は、タイムライン画像の中央部分に配置される。
【０３１１】
タイムライン画像においては、構成画像としての7枚のセグメント代表画像を、すべて、同一のサイズで配置することもできるし、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置することもできる。
【０３１２】
図１８のタイムライン画像では、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置されている。
【０３１３】
また、タイムライン画像においては、図１８に示すように、その上部に、固定タイル画像（図１６）のヘッダ部に配置されるのと同様の時計マークとタイムラインバーを配置することができる。
【０３１４】
ここで、図１８では、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目代表画像を中心とする時系列に7枚のセグメント代表画像を、タイムライン画像の構成画像として採用することとしたが、タイムライン画像の構成画像は、7枚に限定されるものではない。
【０３１５】
図１９は、タイムライン画像が表示されるときの表示制御部１６の表示制御の処理を説明するフローチャートである。
【０３１６】
レイヤ１モードにおいて、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちのいずれかのセグメント代表画像が、注目代表画像に選択されているときに、所定の操作としてのクリックが行われると、表示モードがレイヤ１モードからレイヤ２モードとなって、図１９の処理が開始される。
【０３１７】
ステップＳ５１において、表示制御部１６は、固定タイル画像に配置されたセグメント代表画像（注目状態に対応付けられたセグメント代表画像）のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像（過去側に並ぶ所定の数のセグメント代表画像、及び、未来側に並ぶ所定の数のセグメント代表画像）とを、タイムライン画像を構成する構成画像として選択して、処理は、ステップＳ５２に進む。
【０３１８】
ステップＳ５２では、表示制御部１６は、構成画像を、左から右に、時系列順に並べて配置したタイムライン画像を生成して、処理は、ステップＳ５３に進む。
【０３１９】
ここで、構成画像を、左から右に、時系列順に並べて配置したタイムライン画像は、構成画像のうちの、注目代表画像を中心として、その注目代表画像よりも（動画セグメントが）過去側の構成画像としてのセグメント代表画像が、時系列順に左側に配置されるとともに、注目代表画像よりも未来側の構成画像としてのセグメント代表画像が、時系列順に右側に配置された画像となる。
【０３２０】
また、表示制御部１６は、構成画像を配置するときに、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置する。
【０３２１】
ステップＳ５３では、表示制御部１６は、タイムライン画像を、セグメントマップの注目状態の近傍に表示して、処理を終了する。
【０３２２】
以上のようにして、レイヤ２モードでは、タイムライン画像が、図１８に示したように表示される。
【０３２３】
なお、タイムライン画像については、固定タイル画像に配置されたセグメント代表画像、すなわち、注目状態に対応付けられたセグメント代表画像の中から、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、構成画像として選択する他、例えば、再生対象コンテンツを構成する動画セグメントのすべてのセグメント代表画像の中から、注目代表画像と、注目代表画像に対応する動画セグメントの前後に続く所定の数の動画セグメントそれぞれのセグメント代表画像（注目状態に対応付けられたセグメント代表画像に限られない）とを、構成画像として選択することができる。
【０３２４】
以下では、注目状態に対応付けられたセグメント代表画像の中から、タイムライン画像の構成画像が選択されることとする。
【０３２５】
表示制御部１６がレイヤ２モードにおいて表示するタイムライン画像に配置される構成画像としてのセグメント代表画像は、ユーザの操作に応じてスクロールすることができる。
【０３２６】
図２０は、タイムライン画像に配置される構成画像としてのセグメント代表画像のスクロールの表示例を示す図である。
【０３２７】
表示制御部１６において、タイムライン画像の左端側の一部のエリアは、過去側へのスクロールを指示する過去スクロールエリア（図示せず）に設定されており、タイムライン画像の右端側の一部のエリアは、未来側へのスクロールを指示する未来スクロールエリア（図示せず）に設定されている。
【０３２８】
ここで、タイムライン画像に設定された過去スクロールエリア、及び、未来スクロールエリアの両方、又は、一方を、以下、単に、スクロールエリアともいう
【０３２９】
表示制御部１６は、レイヤ２モードにおいて、ユーザの指示位置であるカーソルの位置が、タイムライン画像上に設定されたスクロールエリア内である場合、スクロールを行うことを、ユーザに報知するためのスクロールマークを表示し、タイムライン画像に配置される構成画像としてのセグメント代表画像をスクロールする。
【０３３０】
図２０では、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置しており、過去側へのスクロールを行うことを表すスクロールマークが、タイムライン画像の左端に表示されている。
【０３３１】
この場合、表示制御部１６は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、注目代表画像に隣接する過去側のセグメント代表画像を、タイムライン画像の中央部分に配置すべき中央画像とし、その中央画像と、中央画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像を、構成画像として新たに選択する。
【０３３２】
そして、表示制御部１６は、タイムライン画像に、いま表示されている構成画像に代えて、新たに選択した構成画像を、時系列に配置する。
【０３３３】
その結果、タイムライン画像を構成する構成画像は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、注目代表画像に隣接する過去側のセグメント代表画像を中心とする時系列の7枚のセグメント代表画像になり、過去側に、1枚のセグメント代表画像分だけ過去側にスクロールされる。
【０３３４】
ここで、過去側へのスクロールの方向は、図２０に矢印で示すように、左から右方向になる（タイムライン画像を構成する構成画像が、左から右方向にずれる）。
【０３３５】
以上のように、スクロールが行われた後、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置したままになっていると、表示制御部１６は、スクロールマークの表示を維持し、さらに、注目状態に対応付けられた時系列のセグメント代表画像のうちの、中央画像に隣接する過去側のセグメント代表画像を、新たな中央画像とし、その新たな中央画像と、新たな中央画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像を、構成画像として新たに選択する。
【０３３６】
そして、表示制御部１６は、タイムライン画像に、いま表示されている構成画像に代えて、新たに選択した構成画像を、時系列に配置する。
【０３３７】
その結果、タイムライン画像を構成する構成画像は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、前回の中央画像に隣接する過去側のセグメント代表画像を中心とする時系列の7枚のセグメント代表画像になり、過去側に、さらに、1枚のセグメント代表画像分だけ過去側にスクロールされる。
【０３３８】
以下、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置している限り、同様の処理が行われ、タイムライン画像の過去側へのスクロールが続行される。
【０３３９】
なお、図示していないが、カーソルが、タイムライン画像上に設定された右端側の未来スクロールエリア内に位置している場合には、未来側へのスクロールを行うことを表すスクロールマークが、タイムライン画像の右端に表示され、タイムライン画像が、未来側（スクロールの方向としては、右から左方向）にスクロールされる。
【０３４０】
したがって、レイヤ２モードでは、ユーザは、タイムライン画像上のスクロールエリア（過去スクロールエリア、未来スクロールエリア）に、カーソルを移動するだけで、タイムライン画像をスクロールすることができ、その結果、所望の動画セグメント（のセグメント代表画像）を、容易に探し出すことができる。
【０３４１】
［再生制御部１５による動画セグメントの再生制御］
【０３４２】
表示モードが、レイヤ０モード、レイヤ１モード、及び、レイヤ２モードのうちのいずれであっても、再生制御部１５は、動画セグメントの再生を要求する再生操作としての、例えば、その動画セグメントのセグメント代表画像に対するダブルクリックが行われると、ダブルクリック（再生操作）が行われたセグメント代表画像に対応する動画セグメントを、コンテンツ記憶部１１から再生する。
【０３４３】
再生制御部１５において再生された動画セグメントの画像は、表示制御部１６に供給され、表示部１７に表示される。
【０３４４】
図２１は、再生制御部１５において再生された動画セグメントの画像の表示例を示す図である。
【０３４５】
図２１においては、セグメントマップを表示するマップウインドウと、動画セグメントの画像を表示する再生ウインドウ#1，#2、及び、#3とがオープンしている。
【０３４６】
図２１では、レイヤ０モードにおいて、まず、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像（クラスタ代表画像に選択されたセグメント代表画像）#1がダブルクリックされ、再生制御部１５において、そのダブルクリックに応じて、セグメント代表画像#1に対応する動画セグメント#1の再生が開始されて、動画セグメント#1の画像が、再生ウインドウ#1に表示されている。
【０３４７】
さらに、図２１では、セグメント代表画像#1に対応する動画セグメント#1の再生中に、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像#2がダブルクリックされ、再生制御部１５において、そのダブルクリックに応じて、セグメント代表画像#2に対応する動画セグメント#2の再生が開始されて、動画セグメント#2の画像が、再生ウインドウ#2に表示されている。
【０３４８】
その後、図２１では、セグメント代表画像#1及び#2それぞれに対応する動画セグメント#1及び#2の再生中に、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像#3がダブルクリックされ、再生制御部１５において、そのダブルクリックに応じて、セグメント代表画像#3に対応する動画セグメント#3の再生が開始されて、動画セグメント#3の画像が、再生ウインドウ#3に表示されている。
【０３４９】
以上のように、再生制御部１５では、再生対象コンテンツのセグメント代表画像に対して、再生操作としてのダブルクリックが行われると、そのダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する再生制御が行われる。
【０３５０】
そして、再生制御部１５では、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する際に、他の動画セグメントの再生が行われているときには、その既に行われている他の動画セグメントの再生を維持したまま、ダブルクリックがされたセグメント代表画像に対応する動画セグメントが再生される。
【０３５１】
したがって、ユーザは、１つのコンテンツである再生対象コンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、同時に視聴することができる。
【０３５２】
なお、再生が行われている動画セグメント（以下、再生動画セグメントともいう）の画像は、再生ウインドウをオープンして、その再生ウインドウに表示する他、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍に、セグメント代表画像の標準サイズよりも大きいサイズ等で表示することができる。
【０３５３】
再生動画セグメントの画像を、再生ウインドウに表示するか、又は、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍に表示するかは、例えば、ユーザの操作に応じて設定することができる。
【０３５４】
また、再生動画セグメントの画像は、再生ウインドウと、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍との両方に表示することができる。
【０３５５】
さらに、再生動画セグメントの画像を再生ウインドウに表示する場合には、再生ウインドウと、その再生ウインドウに画像が表示されている再生動画セグメント（のセグメント代表画像）が対応付けられている状態の近傍に表示されているセグメント代表画像とに、例えば、同一の装飾を施すことができる。
【０３５６】
図１８では、再生ウインドウ#1と、その再生ウインドウ#1に画像が表示されている動画セグメント#1が対応付けられている状態の近傍に表示されているセグメント代表画像#1とに、同一の装飾としての、左上がりの斜線の模様が、画像を囲む枠に施されている。
【０３５７】
さらに、図１８では、再生ウインドウ#2と、その再生ウインドウ#2に画像が表示されている動画セグメント#2が対応付けられている状態の近傍に表示されているセグメント代表画像#2とに、同一の装飾としての、右上がりの斜線の模様が、画像を囲む枠に施されており、再生ウインドウ#3と、その再生ウインドウ#3に画像が表示されている動画セグメント#3が対応付けられている状態の近傍に表示されているセグメント代表画像#3とに、同一の装飾としての、横線の模様が、画像を囲む枠に施されている。
【０３５８】
この場合、ユーザは、再生ウインドウに画像が表示されている動画セグメント（のセグメント代表画像）が対応付けられている状態を、即座に認識することができる。
【０３５９】
なお、再生動画セグメントの画像を再生ウインドウに表示する場合、再生ウインドウは、セグメント代表画像に対して、再生操作としてのダブルクリックが行われるたびにオープンされ、そのオープンされたウインドウに、ダブルクリックがされたセグメント代表画像に対応する動画セグメントの画像が表示される。
【０３６０】
セグメント代表画像に対するダブルクリックが行われ、そのセグメント代表画像に対応する動画セグメントの画像を表示するための再生ウインドウがオープンされた直後は、その再生ウインドウ（のみ）が、いわゆるアクティブウインドウになる。
【０３６１】
また、複数の再生ウインドウが既にオープンしている場合には、その複数の再生ウインドウの中で、最後にアクティブウインドウになった再生ウインドウに画像が表示されている動画セグメントの音声が出力され、他の再生ウインドウに画像が表示されている動画セグメントの音声は、ミュートされる。
【０３６２】
ここで、再生制御部１５では、表示モードが、レイヤ０モード、レイヤ１モード、及び、レイヤ２モードのいずれの場合であっても、セグメント代表画像に対するダブルクリックが行われたときには、そのセグメント代表画像に対応する動画セグメントの再生が行われる。
【０３６３】
また、動画セグメントの再生は、セグメントマップ上のセグメント代表画像の他、レイヤ１モードで表示される固定タイル画像に配置されたセグメント代表画像（図１５）や、強調表示されるセグメント代表画像（図１７）、レイヤモード２で表示されるタイムライン画像に配置されたセグメント代表画像（図１８、図２０）がダブルクリックされた場合も、行われる。
【０３６４】
したがって、ユーザは、表示モードにかかわらず、セグメント代表画像をダブルクリックするという、いわば統一した操作を行うだけで、そのセグメント代表画像に対応する動画セグメントを視聴することができる。
【０３６５】
図２２は、再生ウインドウの表示例を示す図である。
【０３６６】
再生ウインドウの大部分は、動画セグメントの画像が表示される表示エリアになっている。そして、表示エリアの上部には、時計マーク、タイムラインバー、及び、スピーカアイコンが配置されている。
【０３６７】
時計マーク、及び、タイムラインバーは、図１６の時計マーク、及び、タイムラインバーと同様である。
【０３６８】
但し、再生ウインドウの時計マークは、再生ウインドウに画像が表示されている動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示する。
【０３６９】
また、再生ウインドウのタイムラインバーでは、再生ウインドウに画像が表示されている動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する部分（斜線を付してある部分）が、他の部分と異なる表示になっている。
【０３７０】
スピーカアイコンは、表示エリアに画像が表示されている動画セグメントの音声のミュートのオンとオフとを提示するアイコンであり、アクティブな再生ウインドウでは、スピーカの表示になり、アクティブでない再生ウインドウでは、スピーカにバツ印が付された表示になる。
【０３７１】
図２３は、お気に入り情報記憶部１３にお気に入り情報が記憶（登録）されている場合の、レイヤ０モードのセグメントマップの表示例を示す図である。
【０３７２】
図１６で説明したように、レイヤ１モードにおいて、ユーザがお気に入り操作を行うと、すなわち、注目状態が、お気に入りの状態として仮登録されている場合に、保存ボタンの操作を行うと、操作イベント処理部１２（図１）では、（お気に入り操作を行った）ユーザを識別するユーザIDに対応付けて、再生対象コンテンツのセグメントマップのベースのモデルマップの生成に用いられた注目モデルとしてのHMMを識別するモデルIDと、お気に入りの状態として本登録する状態を識別する状態IDとが、お気に入り情報として、お気に入り情報記憶部１３（図１）に記憶（登録）される。
【０３７３】
ここで、お気に入り情報記憶部１３にお気に入り情報として状態IDが記憶された状態を、登録状態ともいう。
【０３７４】
ユーザが、図１の画像処理装置の使用時に、ユーザIDを入力し、そのユーザIDが、お気に入り情報（の一部）として、お気に入り情報記憶部１３に記憶されている場合、表示制御部１６（図１）は、お気に入り情報記憶部１３から、画像処理装置を使用するユーザ（以下、使用ユーザともいう）のユーザIDに対応付けられたモデルIDと状態IDとを読み出す。
【０３７５】
さらに、表示制御部１６は、再生対象コンテンツのセグメントマップの生成に用いられたクラスタリングモデルとしてのHMMが、使用ユーザのユーザIDに対応付けられたモデルIDによって識別されるHMMである場合、つまり、使用ユーザのユーザIDに対応付けられたモデルIDによって識別されるHMMを用いて、再生対象コンテンツのセグメントマップが生成された場合には、そのセグメントマップの、使用ユーザのユーザIDに対応付けられた状態IDによって識別される状態である登録状態に対応付けられた（クラスタ代表画像に選択された）セグメント代表画像を強調表示する。
【０３７６】
図２３では、セグメントマップの登録状態に対応付けられたセグメント代表画像が、枠で囲まれることにより強調表示されている。
【０３７７】
ここで、セグメントマップ生成部１４では、例えば、毎日等の定期的に放送されるニュース番組のセグメントマップの生成には、同一のHMMが用いられる。この同一のHMM、すなわち、定期的に放送されるあるニュース番組のセグメントマップの生成に用いられるHMMを、ニュース用HMMということとする。
【０３７８】
いま、使用ユーザが、ある日のニュース番組のセグメントマップを見て、お気に入り操作を行い、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられた状態を、登録状態として、その登録状態の状態IDが、ニュース用HMMのモデルIDとともに、使用ユーザのユーザIDと対応付けられて、お気に入り情報として、お気に入り情報記憶部１３（図１）に記憶されたとする。
【０３７９】
この場合、使用ユーザが、後日、その日に放送された最新のニュース番組を、再生対象コンテンツとして選択すると、セグメントマップ生成部１４では、ニュース用HMMを用いて、再生対象コンテンツである最新のニュース番組のセグメントマップが生成される。
【０３８０】
そして、表示制御部１６では、ニュース用HMMの登録状態が、お気に入り情報記憶部１３に記憶されたお気に入り情報から認識され、そのニュース用HMMを用いて生成された、最新のニュース番組のセグメントマップの登録状態に対応付けられたセグメント代表画像が強調表示される。
【０３８１】
したがって、ユーザが、例えば、過去に放送されたニュース番組のセグメントマップを見て、お気に入り操作を行い、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられた状態を、登録状態としておくことにより、その後に放送されるニュース番組のセグメントマップでは、登録状態に対応付けられたセグメント代表画像が強調表示されるので、興味を持ったシーンとしての動画セグメント（のセグメント代表画像）が対応付けられている状態（登録状態）を、一目で認識することができる。
【０３８２】
さらに、再生制御部１５では、セグメント代表画像をダブルクリックするだけで、そのセグメント代表画像に対応する動画セグメントが再生されるので、ユーザは、その後に放送されるニュース番組のセグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより、容易に、興味を持ったシーン、つまり、登録状態に対応付けられたセグメント代表画像に対応する動画セグメントを視聴することができる。
【０３８３】
すなわち、ユーザが、ある日に放送されたニュース番組のセグメントマップを見て、お気に入り操作を行い、例えば、スポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が対応付けられた（1以上の）状態を、登録状態としておくことにより、その後に放送されるニュース番組のセグメントマップ（レイヤ０モードのセグメントマップ）では、登録状態に対応付けられたセグメント代表画像、つまり、スポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が強調表示されるので、ユーザは、その後に放送されるニュース番組については、スポーツコーナのシーンだけを、容易に視聴することができる。
【０３８４】
図２４は、セグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより行われる動画セグメントの再生を説明する図である。
【０３８５】
図２４では、ユーザが、レイヤ０モードのセグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックし、そのダブルクリックに応じて、動画セグメントの再生が開始されるとともに、再生ウインドウがオープンされ、再生ウインドウに、再生が開始された動画セグメントの動画が表示されている。
【０３８６】
ここで、セグメントマップ（の生成に用いられたクラスタリングモデルとしてのHMM）の状態のいずれかが、登録状態になっている場合には、再生制御部１５（図１）では、セグメントマップにおいて強調表示されているセグメント代表画像（いずれかの登録状態に対応付けられているセグメント代表画像）がダブルクリックされたときに、そのセグメント代表画像に対応する動画セグメントだけを再生するのではなく、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生することができる。
【０３８７】
この場合、使用ユーザは、例えば、ニュース番組のスポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が対応付けられたすべて状態を、登録状態としておくことにより、ニュース番組のセグメントマップのいずれかの登録状態に対応付けられたセグメント代表画像（強調表示されたセグメント代表画像）をダブルクリックするだけで、再生制御部１５では、ニュース番組のスポーツコーナのシーンが映っている動画セグメント（登録状態に対応付けられたセグメント代表画像に対応する動画セグメント）だけが、時系列に再生され、結果として、スポーツコーナだけのダイジェスト再生、つまり、スポーツコーナのシーンが映っている時系列の動画セグメントの頭出し再生が行われる。
【０３８８】
ここで、登録状態（の状態ID）は、ユーザIDに対応付けられ、お気に入り情報として、お気に入り情報記憶部１３（図１）に記憶されるので、ユーザごとに記憶しておくことができる。
【０３８９】
したがって、再生制御部１５が、いずれかの登録状態に対応付けられているセグメント代表画像がダブルクリックされた場合に、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生するときには、ユーザごとに、そのユーザが興味のあるシーンを再生する、ユーザごとのハイライト再生（ハイライト再生の個人化）を実現することができる。
【０３９０】
なお、セグメントマップの状態のいずれかが、登録状態になっている場合において、セグメントマップにおいて強調表示されているセグメント代表画像（いずれかの登録状態に対応付けられているセグメント代表画像）がダブルクリックされたときに、そのセグメント代表画像に対応する動画セグメントだけを再生するか、又は、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生するかは、ユーザの操作に応じて設定することができる。
【０３９１】
以上のように、図１の画像処理装置では、動画のコンテンツを、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習が行われ、その学習後のHMMを、２次元平面に投射することで、コンテンツのシーン構造をグラフで表現するモデルマップが生成される。
【０３９２】
一方、再生対象コンテンツの各フレームが、学習後のHMMを用いてクラスタリングされ、各クラスタに属するフレームが、動画セグメントとしての１以上の連続するフレームに区分される。
【０３９３】
そして、モデルマップ上のHMMの各状態の位置に、その状態に対応するクラスタに属する（フレームで構成される）動画セグメントを代表するセグメント代表画像が配置されたセグメントマップが生成される。
【０３９４】
したがって、ユーザは、セグメントマップを見ることで、再生対象コンテンツを俯瞰することができる。
【０３９５】
また、図１の画像処理装置では、セグメントマップ等に配置されたセグメント代表画像がダブルクリックされると、そのセグメント代表画像に対応する動画セグメント（そのセグメント代表画像が代表する動画セグメント）が再生されるので、ユーザは、例えば、セグメントマップによって、所望のシーンのセグメント代表画像を、容易に見つけ出し、そのシーンが映った動画セグメントに、迅速にアクセスする（所望のシーンを視聴する）ことができる。
【０３９６】
以上のように、図１の画像処理装置によれば、再生対象コンテンツを俯瞰し、所望のシーンに効率的にアクセスすることができる特徴を持った新しいブラウジング方法を実現することができる。
【０３９７】
また、図１の画像処理装置では、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する際に、他の動画セグメントの再生が行われているときには、その既に行われている他の動画セグメントの再生を維持したまま、ダブルクリックがされたセグメント代表画像に対応する動画セグメントが再生される。
【０３９８】
したがって、図１の画像処理装置によれば、家族等の複数人の各自が、同一のコンテンツの、各自が興味がある異なる箇所を、同時に視聴することができ、また、デジタルネイティブ世代が得意な、いわゆる「ながら視聴」や「見ながらザッピング」に適したコンテンツ再生手段を提供することができる。
【０３９９】
［表示モードの移行と、各表示モードで行われる処理］
【０４００】
図２５は、表示モードの移行と各表示モードで行われる処理を説明する図である。
【０４０１】
表示制御部１６は、セグメントマップ生成部１４から再生対象コンテンツのセグメントマップが供給されると、ステップＳ１０１において、表示モードをレイヤ０モードにして、セグメントマップ（が表示されたマップウインドウ）を、表示部１７に表示する。
【０４０２】
なお、ステップＳ１０１のレイヤ０モードでは、タイル画像（図１３）は表示されず、図１０に示したように、セグメントマップだけが表示される。
【０４０３】
ステップＳ１０１の、タイル画像が表示されていないレイヤ０モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１０２に移行し、表示制御部１６は、再生ウインドウがオープンされていれば、すべての再生ウインドウを、セグメントマップが表示されたマップウインドウよりも前面側に表示する。
【０４０４】
また、ステップＳ１０１の、タイル画像が表示されていないレイヤ０モードになってから、所定の時間が経過すると、処理は、ステップＳ１０３に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近いセグメントマップ上の状態との距離（カーソル間距離）が、閾値以内であるかどうかを判定する。
【０４０５】
ここで、図２５において、点線の矢印は、矢印の始点側のステップが行われてから（になってから）、所定の時間が経過すると、矢印の終点側のステップに移行することを表す。
【０４０６】
ステップＳ１０３において、カーソル間距離が、閾値以内でないと判定された場合、処理は、ステップＳ１０１に移行する。そして、所定の時間が経過すると、処理は、ステップＳ１０１からステップＳ１０３に移行し、以下、同様の処理が繰り返される。
【０４０７】
一方、ステップＳ１０３において、カーソル間距離が、閾値以内であると判定された場合、処理は、ステップＳ１０４に移行し、表示制御部１６は、指示位置に最も近いセグメントマップ上の状態である注目状態に対応付けられたセグメント代表画像を時系列順に並べたタイル画像を生成し、図１３に示したように、セグメントマップの注目状態の近傍に重畳する形で表示する。
【０４０８】
以上のように、ステップＳ１０４では、レイヤ０モードにおいて、タイル画像が表示されるが、このように、ステップＳ１０４の、タイル画像が表示されたレイヤ０モードになってから、所定の時間が経過すると、処理は、ステップＳ１０３に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近いセグメントマップ上の状態との距離であるカーソル間距離が、閾値以内であるかどうかを判定する。
【０４０９】
ステップＳ１０３において、カーソル間距離が、閾値以内でないと判定された場合、処理は、ステップＳ１０１に移行し、タイル画像は消去され、タイル画像が表示されていないレイヤ０モードになる。
【０４１０】
また、ステップＳ１０３において、カーソル間距離が、閾値以内であると判定された場合、処理は、ステップＳ１０４に移行し、表示制御部１６は、上述したように、指示位置に最も近いセグメントマップ上の状態である注目状態に対応付けられたセグメント代表画像を時系列順に並べたタイル画像を生成し、図１３に示したように、セグメントマップの注目状態の近傍に重畳する形で表示する。
【０４１１】
また、ステップＳ１０４の、タイル画像が表示されたレイヤ０モード（図１３）において、ダブルクリックが行われると、処理は、ステップＳ１０５に移行し、再生制御部１５は、動画セグメントを再生する動画セグメント再生処理を行う。
【０４１２】
すなわち、ステップＳ１０５の動画セグメント再生処理では、再生制御部１５は、ダブルクリックが行われたときのユーザの指示位置（ダブルクリックがされた位置）に最も近いセグメント代表画像に対応する動画セグメントを再生する。
【０４１３】
なお、指示位置に最も近いセグメント代表画像が、セグメントマップ（の生成に用いられたHMM）の登録状態に対応付けられたセグメント代表画像である場合、すなわち、セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合、再生制御部１５は、図２４で説明したように、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う。
【０４１４】
ステップＳ１０４の、タイル画像が表示されたレイヤ０モード（図１３）において、シングルクリックが行われると、処理は、ステップＳ１０６に移行し、表示制御部１６は、表示モードをレイヤ０モードからレイヤ１モードに移行して、図１５に示したように、直前に表示されていたタイル画像を固定した固定タイル画像を表示する。
【０４１５】
なお、ステップＳ１０６のレイヤ１モードでは、図１５に示したように、固定タイル画像に配置されたセグメント代表画像の強調表示は行われない。
【０４１６】
ステップＳ１０６の、強調表示なしのレイヤ１モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１０７に移行し、ステップＳ１０５と同様に、再生制御部１５は、動画セグメント再生処理を行う。
【０４１７】
すなわち、再生制御部１５は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する（セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う）。
【０４１８】
ステップＳ１０６の、強調表示なしのレイヤ１モードになってから、所定の時間が経過すると、処理は、ステップＳ１０８に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近い固定タイル画像（図１５）に配置されたセグメント代表画像との距離が、閾値以内であるかどうかを判定する。
【０４１９】
ステップＳ１０８において、指示位置と、その指示位置に最も近い固定タイル画像に配置されたセグメント代表画像との距離が、閾値以内でないと判定された場合、処理は、ステップＳ１０９に移行し、表示制御部１６は、指示位置が、固定タイル画像上にない、すなわち、指示位置が、固定タイル画像が表示されているエリア外に移動したかどうかを判定する。
【０４２０】
ステップＳ１０９において、指示位置が、固定タイル画像（図１５）上にあると判定された場合、処理は、ステップＳ１０６に移行する。そして、所定の時間が経過すると、処理は、ステップＳ１０６からステップＳ１０８に移行し、以下、同様の処理が繰り返される。
【０４２１】
また、ステップＳ１０９において、指示位置が、固定タイル画像（図１５）上にないと判定された場合、処理は、ステップＳ１０１に移行し、表示制御部１６は、表示モードを、レイヤ１モードからレイヤ０モードに移行する。
【０４２２】
ステップＳ１０１のレイヤ０モードでは、図１０に示したように、タイル画像は表示されず、セグメントマップだけが表示される。
【０４２３】
なお、ステップＳ１０１のレイヤ０モードに移行する直前のレイヤ１モードにおいて表示された固定タイル画像（図１５）は、レイヤ１モードからレイヤ０モードの移行時に消去される。
【０４２４】
一方、ステップＳ１０８において、指示位置と、その指示位置に最も近い固定タイル画像に配置されたセグメント代表画像との距離が、閾値以内であると判定された場合、処理は、ステップＳ１１０に移行し、表示制御部１６は、図１７に示したように、指示位置に最も近い固定タイル画像に配置されたセグメント代表画像である注目代表画像を強調表示する。
【０４２５】
以上のように、ステップＳ１１０では、レイヤ１モードにおいて、固定タイル画像に配置されたセグメント代表画像のうちの、指示位置に最も近いセグメント代表画像を、注目代表画像として強調表示が行われる。
【０４２６】
そして、そのようなステップＳ１１０の、強調表示ありのレイヤ１モード（強調表示が行われるレイヤ１モード）になってから、所定の時間が経過すると、処理は、ステップＳ１０８に移行し、以下、同様処理が繰り返される。
【０４２７】
また、ステップＳ１１０の、強調表示ありのレイヤ１モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１１１に移行し、ステップＳ１０５と同様に、再生制御部１５は、動画セグメント再生処理を行う。
【０４２８】
すなわち、再生制御部１５は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する（セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う）。
【０４２９】
ステップＳ１１０の、強調表示ありのレイヤ１モード（図１７）において、シングルクリックが行われると、処理は、ステップＳ１１２に移行し、表示制御部１６は、表示モードをレイヤ１モードからレイヤ２モードに移行して、図１８に示したように、直前に強調表示されていたセグメント代表画像を中心とする複数のセグメント代表画像を時系列に配置したタイムライン画像を表示する。
【０４３０】
ステップＳ１１２のレイヤ２モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップＳ１１３に移行し、ステップＳ１０５と同様に、再生制御部１５は、動画セグメント再生処理を行う。
【０４３１】
すなわち、再生制御部１５は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する（セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う）。
【０４３２】
ステップＳ１１２のレイヤ２モード（図１８）になってから、所定の時間が経過すると、処理は、ステップＳ１１４に移行し、表示制御部１６は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置が、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置しているかどうかを判定する。
【０４３３】
ステップＳ１１４において、指示位置が、過去スクロールエリア内に位置していると判定された場合、処理は、ステップＳ１１５に進み、表示制御部１６は、より過去側のセグメント代表画像が表示されるように、タイムライン画像を、図２０に矢印で示したようにスクロールして、処理は、ステップＳ１１２に移行する。
【０４３４】
また、ステップＳ１１４において、指示位置が、過去スクロールエリア内に位置していないと判定された場合、処理は、ステップＳ１１６に移行し、表示制御部１６は、指示位置が移動し、指示位置が、タイムライン画像上に設定された右端側の未来スクロールエリア内に位置しているかどうかを判定する。
【０４３５】
ステップＳ１１６において、指示位置が、未来スクロールエリア内に位置していると判定された場合、処理は、ステップＳ１１７に進み、表示制御部１６は、より未来側のセグメント代表画像が表示されるように、タイムライン画像をスクロールして、処理は、ステップＳ１１２に移行する。
【０４３６】
また、ステップＳ１１６において、指示位置が、未来スクロールエリア内に位置していないと判定された場合、すなわち、指示位置が、過去スクロールエリア、及び、未来スクロールエリアのいずれにも位置していない場合、処理は、ステップＳ１１８に移行し、表示制御部１６は、指示位置が、タイムライン画像（図１８、図２０）上にない、すなわち、指示位置が、タイムライン画像が表示されているエリア外に移動したかどうかを判定する。
【０４３７】
ステップＳ１１８において、指示位置が、タイムライン画像（図１８、図２０）上にあると判定された場合、処理は、ステップＳ１１２に移行する。そして、所定の時間が経過すると、処理は、ステップＳ１１２からステップＳ１１４に移行する。
【０４３８】
また、ステップＳ１１８において、指示位置が、タイムライン画像上にないと判定された場合、処理は、ステップＳ１０１に移行し、表示制御部１６は、表示モードを、レイヤ２モードからレイヤ０モードに移行する。
【０４３９】
ステップＳ１０１のレイヤ０モードでは、図１０に示したように、タイル画像は表示されず、セグメントマップだけが表示される。
【０４４０】
なお、ステップＳ１０１のレイヤ０モードに移行する直前のレイヤ２モードにおいて表示されたタイムライン画像（図１８、図２０）は、レイヤ２モードからレイヤ０モードの移行時に消去される。
【０４４１】
［本技術を適用したコンピュータの説明］
【０４４２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４４３】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４４４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０４４５】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０４４６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０４４７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０４４８】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０４４９】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０４５０】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０４５１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０４５２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４５３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４５４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４５５】
すなわち、図１の画像処理装置において、例えば、お気に入り情報記憶部１３やセグメントマップ生成部１４は、サーバ側に設け、残りのコンテンツ記憶部１１、操作イベント処理部１２、再生制御部１５、表示制御部１６、及び、表示部１７は、クライアント側に設けることができる。
【０４５６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４５７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４５８】
すなわち、図１の画像処理装置において、セグメントマップ生成部１４の一部の処理は、サーバ側で行い、残りの処理は、クライアント側で行うことができる。
【０４５９】
なお、本技術は、以下のような構成をとることができる。
【０４６０】
［１］
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
を備え、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理装置。
［２］
前記セグメントマップを生成するマップ生成部と、
コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング部と、
前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである前記動画セグメントに区分するセグメント区分部と、
前記動画セグメントを代表するセグメント代表画像を生成するセグメント代表画像生成部と
をさらに備え、
前記マップ生成部は、
前記複数のクラスタそれぞれについて、前記クラスタに、そのクラスタに属する動画セグメントのセグメント代表画像を対応付け、前記クラスタに対応付けられたセグメント代表画像から、そのクラスタを代表するクラスタ代表画像を選択し、
前記クラスタ代表画像に選択された前記セグメント代表画像を、前記セグメントマップに配置する
［１］に記載の画像処理装置。
［３］
前記クラスタリング部は、
状態と状態遷移とを有する状態遷移モデルを用い、前記コンテンツのフレームの時系列の特徴量が観測される最尤状態系列を求め、
前記コンテンツの各フレームを、前記最尤状態系列において、そのフレームの特徴量が観測される状態に対応するクラスタにクラスタリングする
［２］に記載の画像処理装置。
［４］
前記マップ生成部は、
前記状態遷移モデルを２次元平面又は３次元空間に投射したマップであるモデルマップを生成し、
前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を配置することで、前記セグメントマップを生成する
［３］に記載の画像処理装置。
［５］
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像、又は、再生時刻が最も早い動画セグメントのセグメント代表画像を、前記クラスタ代表画像に選択する
［４］に記載の画像処理装置。
［６］
前記マップ生成部は、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を、その状態の重要度に対応するサイズで配置する
［４］又は［５］に記載の画像処理装置。
［７］
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントの最大のフレーム数を、前記状態の重要度として求める
［６］に記載の画像処理装置。
［８］
前記状態を登録することを要求するユーザのお気に入り操作に応じて、前記状態を、登録状態として記憶する記憶部をさらに備え、
前記表示制御部は、前記セグメントマップの、前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像を強調表示する
［４］ないし［７］のいずれかに記載の画像処理装置。
［９］
前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、前記記憶部に記憶されたすべての登録状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントを、時系列に再生する
［８］に記載の画像処理装置。
［１０］
前記表示制御部は、ユーザが指示する指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、前記注目状態に対応するクラスタに対応付けられた前記セグメント代表画像の一覧の画像であるタイル画像を、前記表示装置に表示する表示制御を行う
［４］ないし［９］のいずれかに記載の画像処理装置。
［１１］
前記表示制御部は、前記タイル画像の前記セグメント代表画像のうちの、前記指示位置に最も近い前記セグメント代表画像を、注目する注目画像として、前記注目画像を強調表示する
［１０］に記載の画像処理装置。
［１２］
前記表示制御部は、ユーザの所定の操作に応じて、前記注目状態に対応付けられた前記セグメント代表画像のうちの、前記注目画像と、前記注目画像の前後に続く所定の数の前記セグメント代表画像とを、前記注目画像を中心として、時系列に配置したタイムライン画像を、前記表示装置に表示する表示制御を行う
［１１］に記載の画像処理装置。
［１３］
前記表示制御部は、ユーザの操作に応じて、前記タイムライン画像に配置される前記セグメント代表画像をスクロールする
［１２］に記載の画像処理装置。
［１４］
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する
ステップを含み、
前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理方法。
［１５］
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
して、コンピュータを機能させるためのプログラムであり、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
プログラム。
【符号の説明】
【０４６１】
１１ コンテンツ記憶部， １２ 操作イベント処理部， １３ お気に入り情報記憶部， １４ セグメントマップ生成部， １５ 再生制御部， １６ 表示制御部， １７ 表示部， ２１ クラスタリング部， ２２ セグメント区分部， ２３ セグメント代表画像生成部， ２４ マップ生成部， ３１ クラスタリングモデル学習部， ３２ クラスタリングモデル記憶部， ３３ クラスタ判定部， ４１ 学習用コンテンツ選択部， ４２ 特徴量抽出部， ４３ 特徴量記憶部， ４４ 学習部， ５１ コンテンツ選択部， ５２ モデル選択部， ５３ 特徴量抽出部， ５４ 最尤状態系列推定部， ６１ クラスタ代表画像選択部， ６２ 状態間距離算出部， ６３ 座標算出部， ６４ マップ描画部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
を備え、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理装置。
【請求項２】
前記セグメントマップを生成するマップ生成部と、
コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング部と、
前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである前記動画セグメントに区分するセグメント区分部と、
前記動画セグメントを代表するセグメント代表画像を生成するセグメント代表画像生成部と
をさらに備え、
前記マップ生成部は、
前記複数のクラスタそれぞれについて、前記クラスタに、そのクラスタに属する動画セグメントのセグメント代表画像を対応付け、前記クラスタに対応付けられたセグメント代表画像から、そのクラスタを代表するクラスタ代表画像を選択し、
前記クラスタ代表画像に選択された前記セグメント代表画像を、前記セグメントマップに配置する
請求項１に記載の画像処理装置。
【請求項３】
前記クラスタリング部は、
状態と状態遷移とを有する状態遷移モデルを用い、前記コンテンツのフレームの時系列の特徴量が観測される最尤状態系列を求め、
前記コンテンツの各フレームを、前記最尤状態系列において、そのフレームの特徴量が観測される状態に対応するクラスタにクラスタリングする
請求項２に記載の画像処理装置。
【請求項４】
前記マップ生成部は、
前記状態遷移モデルを２次元平面又は３次元空間に投射したマップであるモデルマップを生成し、
前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を配置することで、前記セグメントマップを生成する
請求項３に記載の画像処理装置。
【請求項５】
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像、又は、再生時刻が最も早い動画セグメントのセグメント代表画像を、前記クラスタ代表画像に選択する
請求項４に記載の画像処理装置。
【請求項６】
前記マップ生成部は、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を、その状態の重要度に対応するサイズで配置する
請求項４に記載の画像処理装置。
【請求項７】
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントの最大のフレーム数を、前記状態の重要度として求める
請求項６に記載の画像処理装置。
【請求項８】
前記状態を登録することを要求するユーザのお気に入り操作に応じて、前記状態を、登録状態として記憶する記憶部をさらに備え、
前記表示制御部は、前記セグメントマップの、前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像を強調表示する
請求項４に記載の画像処理装置。
【請求項９】
前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、前記記憶部に記憶されたすべての登録状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントを、時系列に再生する
請求項８に記載の画像処理装置。
【請求項１０】
前記表示制御部は、ユーザが指示する指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、前記注目状態に対応するクラスタに対応付けられた前記セグメント代表画像の一覧の画像であるタイル画像を、前記表示装置に表示する表示制御を行う
請求項４に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記タイル画像の前記セグメント代表画像のうちの、前記指示位置に最も近い前記セグメント代表画像を、注目する注目画像として、前記注目画像を強調表示する
請求項１０に記載の画像処理装置。
【請求項１２】
前記表示制御部は、ユーザの所定の操作に応じて、前記注目状態に対応付けられた前記セグメント代表画像のうちの、前記注目画像と、前記注目画像の前後に続く所定の数の前記セグメント代表画像とを、前記注目画像を中心として、時系列に配置したタイムライン画像を、前記表示装置に表示する表示制御を行う
請求項１１に記載の画像処理装置。
【請求項１３】
前記表示制御部は、ユーザの操作に応じて、前記タイムライン画像に配置される前記セグメント代表画像をスクロールする
請求項１２に記載の画像処理装置。
【請求項１４】
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する
ステップを含み、
前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理方法。
【請求項１５】
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
して、コンピュータを機能させるためのプログラムであり、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
プログラム。
【請求項１】
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
を備え、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理装置。
【請求項２】
前記セグメントマップを生成するマップ生成部と、
コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング部と、
前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりである前記動画セグメントに区分するセグメント区分部と、
前記動画セグメントを代表するセグメント代表画像を生成するセグメント代表画像生成部と
をさらに備え、
前記マップ生成部は、
前記複数のクラスタそれぞれについて、前記クラスタに、そのクラスタに属する動画セグメントのセグメント代表画像を対応付け、前記クラスタに対応付けられたセグメント代表画像から、そのクラスタを代表するクラスタ代表画像を選択し、
前記クラスタ代表画像に選択された前記セグメント代表画像を、前記セグメントマップに配置する
請求項１に記載の画像処理装置。
【請求項３】
前記クラスタリング部は、
状態と状態遷移とを有する状態遷移モデルを用い、前記コンテンツのフレームの時系列の特徴量が観測される最尤状態系列を求め、
前記コンテンツの各フレームを、前記最尤状態系列において、そのフレームの特徴量が観測される状態に対応するクラスタにクラスタリングする
請求項２に記載の画像処理装置。
【請求項４】
前記マップ生成部は、
前記状態遷移モデルを２次元平面又は３次元空間に投射したマップであるモデルマップを生成し、
前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を配置することで、前記セグメントマップを生成する
請求項３に記載の画像処理装置。
【請求項５】
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像、又は、再生時刻が最も早い動画セグメントのセグメント代表画像を、前記クラスタ代表画像に選択する
請求項４に記載の画像処理装置。
【請求項６】
前記マップ生成部は、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を、その状態の重要度に対応するサイズで配置する
請求項４に記載の画像処理装置。
【請求項７】
前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントの最大のフレーム数を、前記状態の重要度として求める
請求項６に記載の画像処理装置。
【請求項８】
前記状態を登録することを要求するユーザのお気に入り操作に応じて、前記状態を、登録状態として記憶する記憶部をさらに備え、
前記表示制御部は、前記セグメントマップの、前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像を強調表示する
請求項４に記載の画像処理装置。
【請求項９】
前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、前記記憶部に記憶されたすべての登録状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントを、時系列に再生する
請求項８に記載の画像処理装置。
【請求項１０】
前記表示制御部は、ユーザが指示する指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、前記注目状態に対応するクラスタに対応付けられた前記セグメント代表画像の一覧の画像であるタイル画像を、前記表示装置に表示する表示制御を行う
請求項４に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記タイル画像の前記セグメント代表画像のうちの、前記指示位置に最も近い前記セグメント代表画像を、注目する注目画像として、前記注目画像を強調表示する
請求項１０に記載の画像処理装置。
【請求項１２】
前記表示制御部は、ユーザの所定の操作に応じて、前記注目状態に対応付けられた前記セグメント代表画像のうちの、前記注目画像と、前記注目画像の前後に続く所定の数の前記セグメント代表画像とを、前記注目画像を中心として、時系列に配置したタイムライン画像を、前記表示装置に表示する表示制御を行う
請求項１１に記載の画像処理装置。
【請求項１３】
前記表示制御部は、ユーザの操作に応じて、前記タイムライン画像に配置される前記セグメント代表画像をスクロールする
請求項１２に記載の画像処理装置。
【請求項１４】
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する
ステップを含み、
前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
画像処理方法。
【請求項１５】
コンテンツを、時間的に連続する１フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、
前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部と
して、コンピュータを機能させるためのプログラムであり、
コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−９０１１９（Ｐ２０１３−９０１１９Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２８５３８（Ｐ２０１１−２２８５３８）
【出願日】平成２３年１０月１８日（２０１１．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１８日（２０１１．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]