画像再生装置、画像再生方法および画像再生プログラム
【課題】動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握する。
【解決手段】複数の画像を表示部に表示させる出力合成部１３８と、複数の画像から選択された選択画像を取得する取得部１３３と、選択画像が拡大又は移動により変更された後、選択画像以外の画像であって画面に表示されている画像における再生速度を、選択画像が変更される前より低くする処理負荷制御部１３４と、を備える。
【解決手段】複数の画像を表示部に表示させる出力合成部１３８と、複数の画像から選択された選択画像を取得する取得部１３３と、選択画像が拡大又は移動により変更された後、選択画像以外の画像であって画面に表示されている画像における再生速度を、選択画像が変更される前より低くする処理負荷制御部１３４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置、画像再生方法および画像再生プログラムに関する。
【背景技術】
【０００２】
動画像コンテンツの視聴形態の一つに、録画すなわち保存した動画像の視聴がある。
保存された動画像コンテンツを視聴する場合においては、ユーザは所望の再生位置からの再生を行うことができる。操作者（以下、「ユーザ」と言う。）が所望の再生位置を探す方法としては、例えばリモコンを用いて画面上に表示された操作ボタンまたはシークバー等の操作パネルを操作して再生位置を探す方法とか、動画データを先頭から早送りしたり、一定時間の時間送り操作をして再生位置を探す方法とか、シーン確認のために通常通り再生することでシーケンシャル検索を行う方法とか、がある。
【０００３】
また、ユーザが所望の再生位置からの再生を行う別の方法として、特定のシーンを代表する複数の画像サムネイルまたは動画サムネイルを時系列に画面上に配置し、ユーザに選択させることでユーザの所望のシーンからの再生を実現する方法がある。
ここで、サムネイルとは、多数の画像または動画を一覧表示する表示形態のことである。サムネイルは、コンテンツ全体の内容を直感的かつ短時間に理解できるため、特定のシーンの検索する際に有益である。
【０００４】
ただし、各シーンの先頭シーン一枚のサムネイルでは、ユーザにはシーンの内容を推定できない可能性がある。したがって、サムネイルは、静止画であるよりも動画である方が、ユーザが理解しやすい。
【０００５】
特許文献１には、動画像ストリーム復号装置において、動画サムネイルの表示サイズに応じて逆直交変換における演算サイズを適応的に変更し、表示サイズに最も近い解像度で動画像ストリームを復号するため、通常のデコーダと比べて処理量およびメモリ使用量を低減することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１６７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１における動画像ストリーム復号装置は、動画サムネイルの表示サイズが大きくなるほど、逆直交変換における演算サイズが大きくなり、その結果、処理量が大きくなる。
特に処理能力の十分でない画像再生装置において、動画サムネイルの表示サイズを拡大する場合や動画サムネイルを移動する場合には、処理量増加に伴う遅延や操作性の悪化を招き、ユーザは動画の内容を効率的に把握することができないという問題がある。
【０００８】
そこで本発明は、上記問題に鑑みてなされたものであり、動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握することを可能とする画像再生装置、画像再生方法および画像再生プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
（１）本発明の画像再生装置は前記事情に鑑みなされたもので、複数の画像を表示部に表示させる出力合成部と、前記複数の画像から選択された選択画像を取得する取得部と、前記選択画像が拡大あるいは移動またはその双方により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御部と、を備えることを特徴とする。
【００１０】
（２）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更されているときに、前記選択画像の前記再生速度を、前記選択画像が変更される前より低くすることを特徴とする。
【００１１】
（３）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の画像における再生速度を前記選択画像における再生速度よりも低くすることを特徴とする。
【００１２】
（４）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の画像よりも前記再生速度を高くすることを特徴とする。
【００１３】
（５）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くすることを特徴とする。
【００１４】
（６）上記に記載の画像再生装置において、画像の再生速度を記憶する記憶部と、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を前記記憶部に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、前記記憶部から前記画像の再生速度を読み出し、変更前に戻した後に表示画面に表示されている画像の再生速度を該読み出した再生速度にすることを特徴とする。
【００１５】
（７）本発明の画像再生方法は、複数の画像を表示部に表示させる出力合成手順と、前記複数の画像から選択された選択画像を取得する取得手順と、前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御手順と、を有することを特徴とする。
【００１６】
（８）本発明の画像再生プログラムは、コンピュータに、複数の画像を表示部に表示させる出力合成ステップと、前記複数の画像から選択された選択画像を取得する取得ステップと、前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御ステップと、を実行させるための画像再生プログラムである。
【発明の効果】
【００１７】
本発明によれば、動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態における画像再生装置の構成を示す概略ブロック図である。
【図２】記憶部に記憶されている再生プロパティデータの構成例を示すものである。
【図３】第１の実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図４】第１の実施形態における分割された各シーンのループ区間で、分割する各区間は、前後のシーンの再生終端位置と再生開始位置である時の分割例を表す図である。
【図５】第１の実施形態における分割された各シーンのループ区間で、重複や再生されない区間を考慮せずに任意の再生区間を指定した時の分割例を表す図である。
【図６】第１の実施形態における各再生モードの出力フレームとそのタイミングを表した模式図である。
【図７】第１の実施形態の負荷限定動画サムネイル表示の表示例を示す図である。
【図８】選択操作が行われた際に最終的に表示されるレイアウトを示した図である。
【図９】図７の表示形態から図８の表示形態への遷移における動画サムネイルのアニメーション処理の例を表す図である。
【図１０】第１の実施形態における通常時の処理負荷制御部の再生モード切替方式と、拡大または移動時の処理負荷制御部の再生モード切替方式と、拡大または移動開始時の再生モード遷移を示す図である。
【図１１】第１の実施形態において、拡大および移動する際の制御部の処理の一例を示すフローチャートである。
【図１２】第１の実施形態において、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の縮小および移動する際の制御部の処理の一例を示すフローチャートである。
【図１３】第２の実施形態における画像再生装置の構成を示す概略ブロック図である。
【図１４】第２の実施形態における負荷限定動画サムネイル表示の表示例を示す図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。本実施形態において、画像の再生速度を低くすることにより得られる画像は、動画だけでなく、静止画像（例えば、一時停止状態の画像）を含むものとする。ここで画像の再生速度は、その画像において、予め決められた単位時間（例えば、１秒）あたりに切り替わる静止画像の数である。よって、画像の再生速度を低くした結果、その画像の再生速度が０になる場合に得られる画像は、静止画像である。
また、画像の再生速度を高くする前の元画像は、動画だけでなく、静止画像（例えば、一時停止状態の元画像）を含むものとする。
【００２０】
図１は、第１の実施形態における画像再生装置１００の構成を示す概略ブロック図である。
画像再生装置１００は、記憶部１１０と、入力部１２０と、表示処理部１３０と、表示部１４０と、音声出力部１５０と、を備える。
【００２１】
記憶部１１０には、再生の対象となる動画像符号化データと、表示形態に関するレイアウトと、表示内容に関する情報を含む再生プロパティデータと、を記憶している。
表示形態に必要な情報には、再生対象となる動画ファイルを指定するための動画像データパス、再生区間情報、表示位置指定情報および表示テキスト情報が含まれる。
【００２２】
入力部１２０は、動画サムネイルの選択（以下、選択された動画サムネイルを「選択画像」と言う。）を受け付け、その選択画像を示す選択画像情報を表示処理部１３０へ出力する。
また、入力部１２０は、拡大された選択画像（以下、「拡大選択画像」と言う。）の選択を解除する指示を受け付け、受け付けた拡大選択画像の選択を解除する指示を表示処理部１３０へ出力する。
【００２３】
表示処理部１３０は、複数（例えば、９個）の動画サムネイルを含む或る映像を、表示部１４０に出力する。
次に、選択画像の拡大について説明をする。
表示処理部１３０は、入力部１２０から選択画像の情報を受け取った場合、その選択画像の情報が示す選択画像が拡大遷移中でないか否か判定する。拡大遷移とは、選択画像像を拡大する操作の過程を言い、この過程を経て選択画像は拡大される。
表示処理部１３０は、選択画像が拡大遷移中でない場合、以下の処理を行う。
【００２４】
表示処理部１３０は、その時点での再生モードを選択画像の拡大前の再生モードＭＤとして記憶部１１０に記憶させる。再生モードの種類については、後述する。
そして、表示処理部１３０は、再生モードの切替方式を、選択画像が拡大または移動するときの再生モード切替方式（以下、拡大または変更時の切替方式と称す）に変更するとともに、再生モードをその時点よりも低い負荷の再生モードに変更することにより、入力部１２０から入力された選択画像情報が示す選択画像の再生速度をその時点の再生速度より低くし、その選択画像の拡大遷移を開始する。
【００２５】
そして、表示処理部１３０は、拡大遷移が終了した場合、拡大選択画像の再生モードをその時点よりも高い負荷の再生モードに変更することにより、選択画像の再生速度をその時点の再生速度より高く設定する。具体的には、例えば、表示処理部１３０は、拡大遷移が終了した場合、拡大選択画像の再生モードを通常モードに変更する。そして、表示処理部１３０は、選択画像以外の一つまたは複数の動画サムネイルを一時停止させ、拡大選択画像の再生を再開する。また、表示処理部１３０は、選択画像の音声を示す音声信号を音声出力部１５０へ出力する。
【００２６】
また、表示処理部１３０は、入力部１２０から拡大選択画像の選択を解除する指示を受け取った場合、すなわち変更された後の選択画像を変更前に戻す指示を取得した場合、拡大選択画像の再生を一時停止する。そして、表示処理部１３０は、拡大された選択画像の音声出力を一時停止する。そして、表示処理部１３０は、再生モードの切替方式を、通常時の再生モード切替方式に変更する。
【００２７】
表示処理部１３０は、記憶部１１０から選択画像の拡大前の再生モードＭＤを読み出し、読み出した再生モードをその時点の再生モードに設定する。
これにより、表示処理部１３０は、表示部１４０に表示されている全ての動画サムネイルを選択画像の拡大前の再生速度で再生することができる。選択画像の拡大前の再生速度は、各動画サムネイルの定常状態における再生速度であるので、表示処理部１３０は、各動画サムネイルを最適な再生速度で再生できる。その結果、表示処理部１３０は、処理負荷増大に伴う遅延を生じることなく、各動画サムネイルの再生を再開することができる。
【００２８】
そして、表示処理部１３０は、拡大選択画像の縮小遷移を開始する。表示処理部１３０は、縮小遷移が終了した場合、全動画サムネイルの再生を再開したか否か判定する。
ここで、各動画サムネイルの再生順番は、予め決められているものとし、再生順番が一番目の動画サムネイルを最初の動画サムネイルと称す。表示処理部１３０は、全動画サムネイルの再生を再開していない場合、最初の動画サムネイルを再生したかどうか判定する。最初の動画サムネイルを再生していない場合、表示処理部１３０は、最初の動画サムネイルの再生を再開する。表示処理部１３０は、最初の動画サムネイルの再生を再開した場合、予め決められた時間経過後、次の順番の動画サムネイルの再生を再開する。以下、表示処理部１３０は、順次動画サムネイルの再生を再開し、全ての動画サムネイルの再生を再開させる。
【００２９】
表示部１４０は、表示処理部１３０から入力された出力動画像を表示する。具体的には、選択画像が拡大又は移動により変更される前には、表示部１４０は、複数（例えば、９個）の動画サムネイルを含む映像を表示する。
また、選択画像が拡大遷移中のときには、表示部１４０は、拡大遷移中の選択画像と選択画像以外の動画サムネイルとを含む映像を表示する。
【００３０】
また、選択画像の拡大遷移が終了した後には、表示部１４０は、拡大選択画像と一時停止中の選択画像以外の動画サムネイルとを含む映像を表示する。
また、拡大選択画像の縮小遷移中のときには、表示部１４０は、縮小遷移中であって一時停止中の選択画像と一時停止中の選択画像以外の動画サムネイルとを含む映像を表示する。
【００３１】
音声出力部１５０は、表示処理部１３０から入力された選択画像の音声を示す音声信号に基づいて、選択画像の音声を外部へ出力する。
【００３２】
図２は記憶部１１０に記憶されている再生プロパティデータの構成例を示すものである。同図において、属性、情報種別およびその情報により決定される情報を示す決定情報の組が示されている。ここで、再生プロパティデータは、再生対象となる動画像ストリームデータ毎に作成される。
再生プロパティデータは再生対象となる動画像データ全体に関する情報であるコンテンツ情報を一つ持ち、分割する各シーンの表示に際して必要な情報である分割シーン情報をシーンの動画像表示数に応じて持つ。例えば、９個のシーンに分割して再生を行う場合、９個の分割シーン情報を持つ。この点は、図７を参照して後述する。
【００３３】
コンテンツ情報には、動画像データパスの他に、コンテンツタイトルおよびコンテンツ解説情報が含まれる。表示処理部１３０は、コンテンツ全体に関する情報を表示させたい場合にコンテンツ情報を表示テキスト情報として利用することができる。また、コンテンツ情報は、動画表示数に関する情報を必要に応じて含む。
【００３４】
分割シーン情報には、対象となる分割シーン毎の個別のシーンＩＤが含まれる。表示処理部１３０は、シーンＩＤから表示位置指定情報を得ることができる。これは、特定のシーンＩＤに対して、特定の表示位置を割り当てることで、任意の分割シーンを、レイアウト上で対応する表示位置へ割り当てるための表示位置指定情報とすることができる。
【００３５】
また、再生開始位置および再生終端位置によって、再生区間情報を決定することができる。ここで、分割シーン情報はシーンの動画像表示数だけ存在するので再生区間情報には動画像表示数だけの再生区間が含まれる。
さらに、各分割シーン情報には、必要に応じてシーンキャプションおよびシーン説明が含まれる。表示処理部１３０は、各シーンに関する情報を表示させたい場合に表示テキスト情報として利用することができる。
【００３６】
図３は、第１の実施形態における表示処理部１３０の論理的な構成を示す概略ブロック図である。表示処理部１３０は、ストリーム制御部１３１と、多重化分離部１３２と、取得部１３３と、処理負荷制御部１３４と、復号処理部１３５と、配置決定部１３６と、テキストデータ処理部１３７と、出力合成部１３８と、を備える。
【００３７】
ストリーム制御部１３１は、記憶部１１０から動画像データパスと再生区間情報とを読出し、読み出した動画像データパスと再生区間情報とから、再生の対象とする動画像符号化データ内の再生区間毎の符号化データを呼び出し、呼び出した符号化データを多重化分離部１３２に出力する。
これにより、ストリーム制御部１３１は、再生する動画像ストリームを制御する。
【００３８】
ストリーム制御部１３１は、対象となる符号化データ再生位置が再生区間の終端である場合に、再生位置を符号化データの先頭とすることで、動画像符号化データ内の分割された区間をループするように、すなわち繰返し再生するように制御を行う。
【００３９】
多重化分離部１３２は、ストリーム制御部１３１から入力された符号化データを取得し、必要な情報を復号処理部１３５に出力する。具体的には、例えば、ＭＰＥＧ等に代表される一般的な動画像データに対しては、多重化分離部１３２は、符号化データと動きベクトルおよび符号化モードとを復号処理部１３５に出力する。
【００４０】
取得部１３３は、複数の動画サムネイルから選択された選択画像を取得する。具体的には、入力部１２０から入力された選択画像情報を取得し、選択画像情報を処理負荷制御部１３４へ出力する。また、取得部１３３は、入力部１２０から入力された拡大選択画像を縮小する指示を処理負荷制御部１３４へ出力する。
【００４１】
処理負荷制御部１３４は、取得部１３３から選択画像情報または拡大選択画像を縮小する指示が入力された場合、復号処理部１３５における復号処理に係る処理量に応じて、その処理負荷を制御する。具体的には、例えば、処理負荷制御部１３４は、処理負荷が高い、あるいは処理遅延が生じる場合に復号するフレームを限定する。
【００４２】
復号処理部１３５は、多重化分離部１３２から入力された符号化データを可変長復号に利用し、動きベクトルおよび符号化モードを動き予測に利用することで、復号処理を行い、単一フレームを生成する。そして、復号処理部１３５は、Ｎ個（Ｎは正の整数で、例えば９個）のシーンに分割された符号化データを、並列に復号処理し、複数シーンの区間映像出力を生成する。
復号処理部１３５は、生成した複数シーンの区間映像出力（例えば、映像出力１からＮ）を出力合成部１３８へ出力する。これにより、表示部１４０は、同時に複数シーンの表示を行うことができる。
【００４３】
配置決定部１３６は、記憶部１１０から再生プロパティデータ内の表示位置指定情報を読み出し、予め決められた各映像出力のサイズおよび配置に関する情報を取得し、その配置レイアウトを決定する。そして、配置決定部１３６は、決定した配置レイアウトを出力合成部１３８へ出力する。
【００４４】
テキストデータ処理部１３７は、記憶部１１０から再生プロパティデータ内の表示テキスト情報を読み出し、表示テキスト情報から得られる各シーンの映像出力におけるキャプションテキスト情報とシーンの説明を含む説明テキスト情報とを含むテキスト情報を出力合成部１３８へ出力する。
【００４５】
出力合成部１３８は、復号処理部１３５から入力された複数シーンの区間映像出力に対して、配置決定部１３６から入力された配置レイアウトに従って負荷限定動画サムネイル表示を行う。そして、出力合成部１３８は、テキストデータ処理部１３７から入力されたテキスト情報を配置、合成し、最終的な出力動画像を得る。出力合成部１３８は、出力動画像を表示部１４０に出力する。
【００４６】
これにより、出力合成部１３８は、配置決定部１３６によって決定されるテキスト情報の配置情報に従って、テキスト情報を配置することで、所望のレイアウトへのテキストの配置を得ることができる。
以上により、表示処理部１３０は、限られた処理量の中で、指定した区間である各シーンの動画像をサムネイルとして表示し、付随するキャプションテキスト情報、説明テキスト情報を同時に出力することができる。
【００４７】
図４は、第１の実施形態における分割された各シーンのループ区間、すなわち繰り返し区間で、分割する各区間は、前後のシーンの再生終端位置と再生開始位置である時の分割例を表す図である。同図における動画像符号化データは、シーン１の符号化データからシーン９の符号化データまで連続していることが示されている。
ストリーム制御部１３１は、図３のように、分割する各区間は、前後のシーンの再生終端位置を再生開始位置とすることで、指定するシーンが重複したり、再生されない区間が生じたりしないような指定をしてもよい。
【００４８】
図５は、第１の実施形態における分割された各シーンのループ区間で、重複や再生されない区間を考慮せずに任意の再生区間を指定した時の分割例を表す図である。図５において、シーン１の符号化データ１とシーン２の符号化データ２とに重複が存在することが示されている。また、シーン２の符号化データ２とシーン３の符号化データ３との間に隙間があることが示されている。また、シーン５の符号化データ５とシーン６の符号化データ６との間は連続していることが示されている。
ストリーム制御部１３１は、図５のように、重複や再生されない区間を考慮せずに任意の再生区間を指定してもよい。
【００４９】
＜処理負荷制御部１３４の処理の詳細＞
続いて、処理負荷制御部１３４の負荷制御の処理の詳細について説明する。
処理負荷制御部１３４は、通常再生モード、スロー再生モード、復号フレーム限定モード、一時停止モードの４つの制御方法を選択的に利用する。
【００５０】
図６は、第１の実施形態における各再生モードの出力フレームとそのタイミングを表した模式図である。図６（а）は通常再生モードの模式図である。同図に置いて、全てのフレームの画像が時間軸に沿って並んでおり、各フレームの表示タイミングが示されている。
通常再生モードにおいて、復号処理部１３５において遅延がない場合に、復号処理部１３５は、実時間で全てのフレームを復号し、再生する。通常再生モードでは、処理負荷制御部１３４は、例えば毎秒３０枚のフレーム画像を表示すべき動画像データに対して、全てのフレーム画像を復号させ、表示を行わせる。
【００５１】
図６（ｂ）は、スロー再生モードの模式図である。同図において、図６（ａ）に比べてフレーム間隔が２倍に広がったフレームが時間軸に沿って並んでおり、フレームレートを半分にしたもの、すなわち２倍スローの時の各フレームの表示タイミングが示されている。
スロー再生モードでは、復号処理部１３５は、予め決められた単位時間当たりに復号するフレームを制限し、通常再生速度よりも低いフレームレートで再生を行い、処理量を低減する。スロー再生モードでは、表示処理部１３０は、全てのフレームについて復号処理と表示を行うが、図５（a）に示す通常再生モードの各フレームの本来表示すべき時間（以下、タイムスタンプと称す）を変更し、フレームレートを変更する。
【００５２】
図６（ｃ）は、復号フレーム限定再生モードを表す模式図である。同図において、図６（ａ）の一部のフレームのみが時間軸に沿って並んでおり、その一部のフレームの表示タイミングが示されている。
復号フレーム限定再生モードは、本来表示すべき各フレームのうち、一部のフレームのみを復号し、表示するモードである。例えば、表示処理部１３０は、ＭＰＥＧで符号化された画像データを復号する際にはＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）またはＩフレームおよびＰフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）、あるいはＨ．２６４／ＡＶＣ規格においてはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレームのみを復号し、表示する。これにより、表示処理部１３０は、処理量を低減することができる。この時、復号されたフレームは、本来表示すべき時間に、表示を行えばよい。
【００５３】
図６（ｄ）は、一時停止モードを表す模式図である。同図に置いて、同一のフレーのム画像が静止画として表示されることが示されている。一時停止モードは、再生中のある時点で動画像データの復号を行わず、一時停止状態で静止画として表示を行うものであり、復号処理部１３５は、復号処理を行わない。
処理負荷制御部１３４は、前述のそれぞれの再生モードの全てあるいは一部の間で、遅延量に応じて再生モードを変更する。
【００５４】
また、処理負荷制御部１３４によって各再生モードで再生を行う際にも、全てのモードでループ再生を行う必要があり、フレーム限定再生モードでは、ＩＤＲフレームまたはＩフレームのみが出力される。
この場合、復号処理部１３５は、指定されている再生開始位置以後の最初のＩＤＲフレームまたはＩフレームから出力を開始すると同時にタイマーをスタートさせ、以後の出力されるフレームのみにおいて出力時刻とタイマーの時間比較を行い、予定した再生終端位置を過ぎていた場合に、再生開始位置にシークすることでループ処理を実現する。
【００５５】
本実施形態のように、複数の符号化データを並列に処理し、同時に動画像のサムネイルとして表示を行う場合に、処理負荷の制御を行いながら、全ての動画を再生するような表示形態を負荷限定動画サムネイル表示と呼ぶ。
【００５６】
次に、図７〜図９を用いて、特定区間の複数分割シーンの負荷限定動画サムネイル表示に対して、動画像サムネイルを９個のシーンに分割して表示する場合の動作例について説明する
図７は、第１の実施形態の負荷限定動画サムネイル表示の表示例を示す図である。
図７における表示例は、指定した動画像ストリームを９個のシーンに分割し、各分割シーン情報にシーンキャプションを持つ場合の例である。
【００５７】
図８は、選択操作が行われた際に最終的に表示されるレイアウトを示した図である。
同図において、図７の画面左上のサムネイル動画（シーン１）が中央に拡大された状態で、動画像として表示されている。それ以外のサムネイルは、一時停止状態となっており、静止画として、部分的に表示されている。
なお、ユーザにおける選択操作は、表示部１４０の表示面がタッチパネルで、入力部１２０がタッチパネルであったときは、対象動画像領域のタッチ操作でもよいし、また、ポインタ操作でもよい。
【００５８】
図７の表示形態から図８の表示形態への遷移は、表示処理部１３０により、一定時間をかけて、動画像の再生（以下、アニメーションとも称す）を伴いながら行われる。
【００５９】
図９は、図７の表示形態から図８の表示形態への遷移における動画サムネイルのアニメーション処理の例を表す図である。
図７で示される表示形態から図８で示される表示形態へ遷移する際は、選択したサムネイルは、移動を伴いながら、拡大処理を行う必要がある。
また、操作者が選択した動画像の拡大再生を終了して、図８の表示形態から図７の表示形態へ遷移する場合、表示処理部１３０は、移動を伴って縮小処理を行う。
表示処理部１３０は、このような遷移を所定の時間（例えば、１秒間）かけて行うことで、選択画像が選択されたこと、または選択画像の選択が終了したこと、をユーザに対し分かりやすく提示することができる。
【００６０】
全動画サムネイルを再生しながら選択画像を拡大または移動するのは、急激な処理負荷の増加となるため、遅延のない動画の再生が実現できないおそれがある。
そのため、選択画像を拡大または移動しているときに、選択画像を遅延なく再生できるように、処理負荷制御部１３４は、以下の処理を行う。
【００６１】
図１０は、第１の実施形態における通常時の処理負荷制御部１３４の再生モード切替方式と、拡大または移動時の処理負荷制御部１３４の再生モード切替方式と、拡大または移動開始時の再生モード遷移を示す図である。
同図において、負荷限定動画サムネイル表示を行う際に、通常時の再生モード切替方式９０１として、通常再生モード９０２と、スロー再生モード９０３と、復号フレーム限定再生モード９０４の三つの再生モードを有することが示されている。
処理負荷制御部１３４は、通常時に、上記三つの再生モードの間で再生モードを変更する。
【００６２】
また、同図において、拡大または移動時の再生モード切替方式９０５として、通常再生モード９０６と、スロー再生モード９０７と、復号フレーム限定再生モード９０８と、一時停止モードの四つの再生モードを有することが示されている。
処理負荷制御部１３４は、選択画像の拡大または移動時に、上記四つの再生モードの間で再生モードを変更する。各モードの遷移条件は、通常時の処理負荷制御部１３４における遷移条件と同等である。但し、復号フレーム再生モード時に遅延が生じる場合は、処理負荷制御部１３４は、再生モードを一時停止モードに変更する。
【００６３】
通常時において、処理負荷制御部１３４は、初期状態として通常再生モード９０２をとる。処理負荷制御部１３４は、通常再生モード９０２に従って、再生開始処理を実行した時から映像を本来表示すべき時刻（タイムスタンプ）と、再生開始処理を実行した時から経過した時間（経過時間）との比較を行い、経過時間からタイムスタンプを減算した遅延量を算出する。本来は、遅延が生じないように復号、表示処理を行うが、十分な処理リソースが確保できず、遅延が生じる場合には、処理負荷制御部１３４は、スロー再生モード９０３へ遷移する。
【００６４】
処理負荷制御部１３４がスロー再生モード９０３へ遷移した結果、変更されたタイムスタンプを用いて、遅延が生じない場合は、スロー再生モード９０３を継続し、それでも遅延が生じる場合はさらに処理量が削減できる復号フレーム限定再生モード９０４へ遷移する。ここで、通常時には、処理負荷制御部１３４は一時停止モードへの遷移を行わない。
これにより、処理負荷制御部１３４は、全ての動画サムネイルをできるだけ動画として動かす。また、十分な処理リソースが確保できた場合は、処理負荷制御部１３４は、逆の遷移を行うことにより、よりスムーズな再生を試みる。
【００６５】
ここでは、図６に示されるように、スロー再生モードの方が復号フレーム限定モードよりも高いフレームレートで再生され、処理量もより高いものとして説明を行ったが、これに限ったものではない。スロー倍率を上げてよりフレームレートの低いスロー再生モード９０３にしたり、復号フレーム限定再生モード９０４における復号フレームをより多くしたりすることで、スロー再生モード９０３と復号フレーム限定再生モード９０４の遷移を逆にすることも可能である。これは、スロー再生モード時９０３のフレームレートと復復号フレーム限定再生モード９０４時の復号フレームの条件から予め決定しておけばよい。
【００６６】
このように、処理負荷制御部１３４は、高処理負荷によって生じる遅延によってモード遷移を行い、最終的には、処理リソースの範囲内でなるべく遅延を起こさないような再生モードを定常状態に持つ。
【００６７】
選択画像の拡大または移動を開始する前に、処理負荷制御部１３４は、通常時の再生モードの遷移９０１から選択画像の拡大または移動時の再生モードの遷移９０５に変更する。その際、処理負荷制御部１３４は、現時点の再生モードよりも再生速度が低いモードへ遷移する。例えば、処理負荷制御部１３４は、現時点の再生モードが通常再生モード９０２の場合、再生モードをスロー再生モード９０７へ変更する。また、例えば、処理負荷制御部１３４は、現時点の再生モードがスロー再生モード９０３の場合、再生モードを復号フレーム限定再生モード９０８へ変更する。また、例えば、処理負荷制御部１３４は、現時点の再生モードが復号フレーム限定再生モード９０４の場合、再生モードを一時停止モード９０９へ変更する。これにより、処理負荷制御部１３４は、時の復号処理にかかる処理負荷を低減し、スムーズなアニメーションを実現することができる。
【００６８】
換言すれば、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、前記選択画像において単位時間当たりに切り替わる静止画の数を示す再生速度を、変更する前より低くする。
また、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、前記選択画像以外の動画であって画面に表示されている動画の再生速度を、変更する前より低くする。なお、全ての動画が止まっていてもよい。
【００６９】
なお、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、選択画像の再生モードを、選択画像以外の再生モードより再生速度が高いモードにしてもよい。例えば、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、選択画像の再生モードをスロー再生モード９０７とし、選択画像以外の再生モードを復号フレーム限定再生モード９０８としてもよい。
【００７０】
すなわち、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、選択画像において、それ以外の動画よりも再生速度を高くしてもよい。
これにより、処理負荷制御部１３４は、選択画像を選択または移動中になるべく再生させ、選択画像以外の動画は再生速度落とすことができるので、処理負荷を軽減しつつ、選択画像の視認性を向上させることができる。
【００７１】
処理負荷制御部１３４は、選択画像を拡大させた後に、拡大選択画像を大きな画像領域を有して再生する場合、選択拡大動画の再生モードを通常再生モード９０６にし、選択画像以外の動画をスロー再生モード９０７または複合フレーム限定再生モードまたは一時停止モードにする。すなわち、処理負荷制御部１３４は、拡大選択画像はフレーム落ちや遅延無く再生するようにし、それ以外の動画は遅延が生じないように、通常より低い再生速度で再生する。なお、それ以外の動画は止まっていてもよい。
【００７２】
これにより、処理負荷制御部１３４は、選択画像が拡大または移動により変更した後に、変更した後の選択画像をそれ以外の動画よりも高い再生速度で再生する。
また、処理負荷制御部１３４は、選択画像が拡大または移動により変更した後に、拡大または移動により変更しているときより高い再生速度で変更した後の選択画像を再生する。
【００７３】
図１１は、第１の実施形態において、拡大および移動する際の表示処理部１３０の処理の一例を示すフローチャートである。まず、表示処理部１３０は、特定の動画サムネイルである選択画像がユーザによって選択されたことを検出する（ステップＳ１０１）。次に、表示処理部１３０は、選択画像が拡大遷移中でないか否か判定する（ステップＳ１０２）。選択画像が拡大遷移中の場合、表示処理部１３０は、ステップＳ１０６の処理に進む。
【００７４】
選択画像が拡大遷移中でない場合（ステップＳ１０２ ＹＥＳ）、表示処理部１３０は、その時点の再生モードを選択画像の拡大前の再生モードＭＤとして記憶部１１０に記憶させる（ステップＳ１０３）。次に、表示処理部１３０は、再生モードの切替方式を通常時の再生モードの切替方式９０１から拡大または移動時の切替方式９０５に変更し、画面に表示されている全ての動画サムネイルの再生モードをその時点より低い負荷の再生モードに変更する（ステップＳ１０４）。次に、表示処理部１３０は、選択画像の拡大遷移を開始する（ステップＳ１０５）。
【００７５】
次に、表示処理部１３０は、拡大遷移が終了したか否か判定する（ステップＳ１０６）。拡大遷移が終了していない場合（ステップＳ１０６ ＮＯ）、ステップＳ１０６の処理に戻る。一方、拡大遷移が終了した場合（ステップＳ１０６ ＹＥＳ）、表示処理部１３０は、拡大選択画像の再生モードを通常モードに変更する（ステップＳ１０７）。次に、表示処理部１３０は、拡大選択画像以外の動画サムネイルを一時停止する（ステップＳ１０８）。次に、表示処理部１３０は、拡大選択画像の再生を通常モード９０６で再開する（ステップＳ１０９）。次に、表示処理部１３０は音声出力を開始させる（ステップＳ１１０）。これにより表示処理部１３０は、図７のように、選択した選択画像のみが拡大された状態で通常のフレームレートで再生し、それ以外の動画サムネイルは一時停止した状態で静止画を提示する。以上で、本フローチャートの処理を終了する。
【００７６】
以上、表示処理部１３０は、ユーザが選択した動画サムネイルである選択画像を動画の再生を伴って拡大および移動をし、拡大および移動により得られた拡大選択画像のみを再生し、拡大選択画像以外の動画サムネイルを一時停止させる。これにより、画像再生装置１００は、処理量を抑えつつ、選択画像のみを見やすい形で拡大再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【００７７】
また、表示処理部１３０は、負荷限定動画サムネイル表示において選択されていた再生モードを選択画像の拡大前の再生モードＭＤとして記憶部１１０に保存する。これによって、次に、負荷限定動画サムネイル表示に戻った際に、表示処理部１３０は、再生モードを記憶部１１０から選択画像の拡大前の再生モードＭＤを読み出し、読み出した選択画像の拡大前の再生モードＭＤで動画サムネイルの再生を再開できる。選択画像の拡大前の再生速度は、各動画サムネイルの定常状態における再生速度であるので、表示処理部１３０は、最適な再生モードで動画サムネイルの再生を再開することができる。その結果、表示処理部１３０は、処理負荷増大に伴う遅延を生じることなく再生を再開できる。
【００７８】
なお、表示処理部１３０は、拡大又は移動しているときに、画面に表示されている全ての動画サムネイルの再生速度を拡大及び移動前より低くしたが、画面に表示されている全ての動画サムネイルの再生が停止されていてもよい。これにより、表示処理部１３０は、処理負荷を軽減することができるので、遅延無く選択画像を拡大又は移動することができる。
【００７９】
また、表示処理部１３０は、拡大又は移動後に、拡大又は移動により得られた拡大選択画像を通常のフレームレートで再生したが、これに限らず、通常のフレームレートより低いフレームレートで再生してもよい。これにより、表示処理部１３０は、拡大又は移動後に、処理負荷を軽減することができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
【００８０】
また、表示処理部１３０は、拡大又は移動後に、拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、処理負荷に余裕がある場合には、通常の再生速度以下の再生速度で再生してもよい。これにより、表示処理部１３０は、拡大又は移動後でも、拡大選択画像以外の動画サムネイルを再生できるので、選択画像以外の動画サムネイルを効率的に把握し、ユーザの目的とする映像シーンを容易に選び出す事ができる。
【００８１】
また、表示処理部１３０は、拡大又は移動後に、拡大選択画像を通常レートで再生し拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、拡大選択画像を拡大選択画像以外の動画サムネイルより高い再生速度で再生してもよい。これにより、表示処理部１３０は、拡大又は移動後に、処理負荷を下げることができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
【００８２】
また、表示処理部１３０は、拡大又は移動後に、拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、拡大選択画像以外の動画サムネイルを構成する画素の輝度値を下げてもよいし、拡大選択画像以外の動画サムネイルの解像度を下げてもよいし、拡大選択画像以外の動画サムネイルを表示させないようにしてもよい。
これにより、表示処理部１３０は、拡大又は移動後に、処理負荷を下げることができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
【００８３】
次に、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の処理フローについて説明する。
図１２は、第１の実施形態において、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の縮小および移動する際の表示処理部１３０の処理の一例を示すフローチャートである。
【００８４】
まず、表示処理部１３０は、拡大選択画像の選択を解除する指示を取得した場合、拡大再生を行っている拡大選択画像を一時停止させる（ステップＳ２０１）。次に、表示処理部１３０は、音声出力を終了させる（ステップＳ２０２）。次に、表示処理部１３０は、負荷再生となるよう通常時の切替方式９０１に変更する（ステップＳ２０３）。次に、拡大開始時に記憶部１１０に記憶した選択画像の拡大前の再生モードＭＤを読み出し、各動画サムネイルの再生モードを読み出した選択画像の拡大前の再生モードＭＤに設定する（ステップＳ２０４）。
【００８５】
次に、表示処理部１３０は、拡大選択画像の縮小遷移を開始し、負荷限定動画サムネイル表示レイアウトへの遷移を行う（ステップＳ２０５）。縮小および移動が完了した時、全ての動画像ストリームは一時停止した状態である。
次に、表示処理部１３０は、縮小遷移が終了したか否か判定する（ステップＳ２０６）。縮小遷移が終了していない場合、表示処理部１３０は、ステップＳ２０６の処理に戻る。一方、縮小遷移が終了した場合、表示処理部１３０は、全動画サムネイルを再開したか否か判定する（ステップＳ２０７）。
【００８６】
全動画サムネイルを再開していない場合（ステップＳ２０７ ＮＯ）、表示処理部１３０は、次に再生を再開する動画サムネイルが予め決められた最初の動画サムネイルであるか否か判定する（ステップＳ２０８）。次に再生を再開する動画サムネイルが最初の動画サムネイルである場合（ステップＳ２０８ ＹＥＳ）、最初の動画サムネイルの再生を再開し（ステップＳ２０９）、ステップＳ２０７の処理に戻る。
【００８７】
一方、次に再生を再開する動画サムネイルが最初の動画サムネイルでない場合（ステップＳ２０８ ＮＯ）、すなわち少なくとも一つ以上の動画サムネイルの再生の再開処理が行われていた場合には、表示処理部１３０は、予め決められた所定時間待機する（ステップＳ２１０）。次に、表示処理部１３０は、次の動画サムネイルの再生を再開し（ステップＳ２１１）、ステップＳ２０７の処理に戻る。
ステップＳ２０７において、全動画サムネイルを再開した場合（ステップＳ２０７ ＹＥＳ）、表示処理部１３０はその処理を終了する。以上で、本フローチャートの処理を終了する。
【００８８】
以上、表示処理部１３０は、拡大開始時に記憶部１１０に記憶した再生モードを読み出し、読み出した再生モードで各動画サムネイルの再生モードを設定することにより、通常時の定常状態の再生モードで動画サムネイルの再生を再開できる。このため、表示処理部１３０は、遅延なく再生の再開を行うことができる。
【００８９】
なお、再生モードを各動画サムネイルに設定しない場合は、通常通り、初期状態として通常再生モードを持つ構成にすればよい。
【００９０】
また、表示処理部１３０は、縮小および移動の終了後、一定時間間隔で順次、動画サムネイルを再生させる。そして、表示処理部１３０は、再開処理を全ての動画像ストリームの再開が完了するまで繰り返し行い、全動画サムネイルの再生を再開させる。
これによれば、表示処理部１３０は順次動画サムネイルの再生の再開処理を行うことにより、急激に処理負荷が高くなることを防ぎ、再生開始処理に遅延が生じることを防止することができる。すなわち、表示処理部１３０は、再開処理を一定時間間隔で順次行うことで、瞬間的な処理リソースを抑えることができ、遅延なく動画サムネイルの再生を再開することができる。
【００９１】
以上、本実施形態の画像再生装置１００は、同時に複数シーンの動画サムネイルを限られた処理量の中で視聴可能とすることができる。
また、本実施形態の画像再生装置１００は、より最適なシーン区間を提示し、それに合わせて適切なシーンのキャプションおよび説明を提示するので、ユーザは各シーンの内容をより簡単に理解できる。
【００９２】
また、本実施形態の画像再生装置１００は、特定区間の映像の選択時にはアニメーションを伴う拡大処理を行い、その際に他の映像を一時停止し、処理量の低減を図る。これにより、ユーザは、特定区間の映像の内容をより詳細に把握することができる。
また、本実施形態の画像再生装置１００は、複数の動画サムネイルの再生を再開する時の処理負荷を分散するので、遅延なく動画サムネイルの再生の再開を実現することができる。
【００９３】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。第２の実施形態における画像再生装置１００ｂは、用意された複数のレイアウト構成を用いて、動画像の分割表示数に応じたレイアウトでサムネイルを表示する。
【００９４】
図１３は、第２の実施形態における画像再生装置１００ｂの構成を示す概略ブロック図である。図１の画像再生装置１００に比べて、図１３の画像再生装置１００ｂは、記憶部１１０が記憶部１１０ｂに変更され、表示処理部１３０が表示処理部１３０ｂに変更されたものになっている。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【００９５】
第２の実施形態の画像再生装置１００ｂの基本的な構成および実施形態については、第１の実施形態の画像再生装置１００と同一であり、差異のある部分についてのみ記述する。
第２の実施形態の画像再生装置１００ｂは、動画像の提供者またはコンテンツの作成者が入力した動画像データ、再生プロパティデータおよび動画像表示数に基づいて、入力された動画像表示数で、各シーンの動画サムネイルを同時に表示する。
【００９６】
第２の実施形態における画像再生装置１００ｂは、例えば、２乃至９シーンに分割した表示内容に対応する。
記憶部１１０ｂには、再生プロパティデータ中の動画像表示数と各映像出力のサイズおよび配置に関する情報とが関連付けられて記憶されている。
入力部１２０は、動画像表示数の指定を受け付け、受け付けた動画像表示数を表示処理部１３０ｂに出力する。
【００９７】
表示処理部１３０ｂは、入力部１２０により入力された動画像表示数によってレイアウトを決定し、決定したレイアウトにより動画サムネイルを表示する。具体的には、表示処理部１３０ｂの配置決定部１３６は、入力部１２０から入力された動画像表示数が６の場合、再生プロパティデータ中の動画像表示数に６に対応する動画像表示数各映像出力のサイズおよび配置に関する情報を取得し、６シーンに分割された表示レイアウトを決定する。そして、配置決定部１３６は、決定した６シーンに分割された表示レイアウトを出力合成部１３８へ出力する。これにより、表示処理部１３０ｂは、６シーンに分割された表示レイアウトで動画サムネイルを表示する。
【００９８】
図１４は、第２の実施形態における負荷限定動画サムネイル表示の表示例を示す図である。同図における表示例は、指定した動画像サムネイルを６個のシーンに分割し、各分割シーン情報にシーンキャプションを持つ場合の例である。同図において、コンテンツタイトル、コンテンツ解説、６個のシーンキャプションおよび各シーンキャプションに対応するシーン説明が示されている。ここで、シーン説明の表示領域内でスクロール操作することにより、シーン説明がシーン説明の表示領域内で表示しきれない場合でも、シーン説明を最後まで閲覧可能である。
【００９９】
図１４で示した表示例のように、表示処理部１３０は、再生プロパティデータ内のコンテンツ情報であるコンテンツタイトルやコンテンツ解説、分割シーン情報であるシーンキャプションやシーン説明に対しても、動画像表示数によって予め決められたレイアウトに従って表示部１４０に表示させる。
【０１００】
ただし、これらの表示文字列は、必ずしも必要ではなく、プロパティデータ内にその記述がない場合には、表示処理部１３０ｂは、空白になるか、所定の文字列出力を行う。逆に、記述がなされていても、予め定められたレイアウト上に配置できない場合には表示処理部１３０ｂは、表示文字列を表示しない。
【０１０１】
ここで、例えば、予め定められたレイアウトが確保したシーン説明等のテキスト領域は再生プロパティデータに記述されたテキストを表示するのに十分な領域でないことがあるが、表示処理部１３０ｂは、テキスト領域内のスクロールによってシーン説明を最後まで表示することができるので、そのテキスト領域内に一度に表示しきれない場合でも問題は生じないため、特にその文字数は制限されない。
【０１０２】
また、第１の実施形態における画像再生装置１００と同様、第２の実施形態における画像再生装置１００ｂは、操作者の選択した動画サムネイルに対して、スムーズなアニメーションを伴って拡大および移動をし、その後、選択シーン動画像ストリームのみの再生を行う。
また、第２の実施形態における画像再生装置１００ｂは、再生していた拡大選択画像を再生しながら縮小および移動し、負荷限定動画サムネイル表示へ遷移させる。
【０１０３】
以上によって、第２の実施形態における画像再生装置１００ｂは、入力された動画像表示数に従ってレイアウトを決定し、入力された対象動画像データと再生プロパティデータとに基づいて、その決定したレイアウトで動画サムネイルの再生を行う。
これにより、コンテンツの制作者が対象動画像データと再生プロパティデータとを用意し、動画像表示数を指定するだけで、簡単に所望の動画像表示数で動画サムネイルを表示することができる。
【０１０４】
＜効果＞
本発明の各実施形態における画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更された後、選択画像以外の動画であって画面に表示されている動画の再生速度を、選択画像が変更される前より低くする。これにより、画像再生装置（１００、１００ｂ）は、処理量増加に伴う遅延や操作性の悪化を招くことなく、選択画像を拡大あるいは移動またはその双方により変更することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０５】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更されているときに、選択画像の前記再生速度を、選択画像が変更される前より低くする。これにより、画像再生装置１００は、処理量増加に伴う遅延や操作性の悪化を招くことなく、選択画像を拡大あるいは移動またはその双方により変更することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０６】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の動画における再生速度を前記選択画像における再生速度よりも低くする。これにより、画像再生装置１００は、選択画像を拡大、縮小、移動、拡大及び移動または縮小及び移動により変更しているときに、選択画像を選択画像以外の動画より優先して再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０７】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の動画よりも前記再生速度を高くする。これにより、画像再生装置（１００、１００ｂ）は、選択画像を拡大あるいは移動またはその双方により変更した後に、変更した後の選択画像をそれ以外の動画より優先して再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０８】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くする。これにより、画像再生装置１００は、拡大あるいは移動またはその双方により変更した後に、変更した後の選択画像の再生速度が高くする。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０９】
また、画像再生装置（１００、１００ｂ）は、の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を記憶部１１０に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、記憶部１１０から動画の再生速度を読み出し、変更前に戻した後に表示画面に表示されている動画の再生速度を該読み出した再生速度にする。
これにより、選択画像の拡大あるいは移動またはその双方前の再生速度は定常状態の再生速度であるので、処理負荷制御部１３４は、各動画を最適な再生速度で再生させることができる。その結果、処理負荷制御部１３４は、処理負荷増大に伴う遅延を生じることなく、各動画サムネイルの再生を再開させることができる。
【０１１０】
また、本実施形態の画像再生装置（１００、１００ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像再生装置（１００、１００ｂ）に係る上述した種々の処理を行ってもよい。
【０１１１】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１３】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要指示を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１４】
１００、１００ｂ 画像再生装置
１１０、１１０ｂ 記憶部
１２０ 入力部
１３０、１３０ｂ 表示処理部
１３１ ストリーム制御部
１３２ 多重化分離部
１３３ 取得部
１３４ 処理負荷制御部
１３５ 復号処理部
１３６ 配置決定部
１３７ テキストデータ処理部
１３８ 出力合成部
１４０ 表示部
１５０ 音声出力部
【技術分野】
【０００１】
本発明は、画像再生装置、画像再生方法および画像再生プログラムに関する。
【背景技術】
【０００２】
動画像コンテンツの視聴形態の一つに、録画すなわち保存した動画像の視聴がある。
保存された動画像コンテンツを視聴する場合においては、ユーザは所望の再生位置からの再生を行うことができる。操作者（以下、「ユーザ」と言う。）が所望の再生位置を探す方法としては、例えばリモコンを用いて画面上に表示された操作ボタンまたはシークバー等の操作パネルを操作して再生位置を探す方法とか、動画データを先頭から早送りしたり、一定時間の時間送り操作をして再生位置を探す方法とか、シーン確認のために通常通り再生することでシーケンシャル検索を行う方法とか、がある。
【０００３】
また、ユーザが所望の再生位置からの再生を行う別の方法として、特定のシーンを代表する複数の画像サムネイルまたは動画サムネイルを時系列に画面上に配置し、ユーザに選択させることでユーザの所望のシーンからの再生を実現する方法がある。
ここで、サムネイルとは、多数の画像または動画を一覧表示する表示形態のことである。サムネイルは、コンテンツ全体の内容を直感的かつ短時間に理解できるため、特定のシーンの検索する際に有益である。
【０００４】
ただし、各シーンの先頭シーン一枚のサムネイルでは、ユーザにはシーンの内容を推定できない可能性がある。したがって、サムネイルは、静止画であるよりも動画である方が、ユーザが理解しやすい。
【０００５】
特許文献１には、動画像ストリーム復号装置において、動画サムネイルの表示サイズに応じて逆直交変換における演算サイズを適応的に変更し、表示サイズに最も近い解像度で動画像ストリームを復号するため、通常のデコーダと比べて処理量およびメモリ使用量を低減することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１６７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１における動画像ストリーム復号装置は、動画サムネイルの表示サイズが大きくなるほど、逆直交変換における演算サイズが大きくなり、その結果、処理量が大きくなる。
特に処理能力の十分でない画像再生装置において、動画サムネイルの表示サイズを拡大する場合や動画サムネイルを移動する場合には、処理量増加に伴う遅延や操作性の悪化を招き、ユーザは動画の内容を効率的に把握することができないという問題がある。
【０００８】
そこで本発明は、上記問題に鑑みてなされたものであり、動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握することを可能とする画像再生装置、画像再生方法および画像再生プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
（１）本発明の画像再生装置は前記事情に鑑みなされたもので、複数の画像を表示部に表示させる出力合成部と、前記複数の画像から選択された選択画像を取得する取得部と、前記選択画像が拡大あるいは移動またはその双方により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御部と、を備えることを特徴とする。
【００１０】
（２）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更されているときに、前記選択画像の前記再生速度を、前記選択画像が変更される前より低くすることを特徴とする。
【００１１】
（３）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の画像における再生速度を前記選択画像における再生速度よりも低くすることを特徴とする。
【００１２】
（４）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の画像よりも前記再生速度を高くすることを特徴とする。
【００１３】
（５）上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くすることを特徴とする。
【００１４】
（６）上記に記載の画像再生装置において、画像の再生速度を記憶する記憶部と、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を前記記憶部に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、前記記憶部から前記画像の再生速度を読み出し、変更前に戻した後に表示画面に表示されている画像の再生速度を該読み出した再生速度にすることを特徴とする。
【００１５】
（７）本発明の画像再生方法は、複数の画像を表示部に表示させる出力合成手順と、前記複数の画像から選択された選択画像を取得する取得手順と、前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御手順と、を有することを特徴とする。
【００１６】
（８）本発明の画像再生プログラムは、コンピュータに、複数の画像を表示部に表示させる出力合成ステップと、前記複数の画像から選択された選択画像を取得する取得ステップと、前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御ステップと、を実行させるための画像再生プログラムである。
【発明の効果】
【００１７】
本発明によれば、動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態における画像再生装置の構成を示す概略ブロック図である。
【図２】記憶部に記憶されている再生プロパティデータの構成例を示すものである。
【図３】第１の実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図４】第１の実施形態における分割された各シーンのループ区間で、分割する各区間は、前後のシーンの再生終端位置と再生開始位置である時の分割例を表す図である。
【図５】第１の実施形態における分割された各シーンのループ区間で、重複や再生されない区間を考慮せずに任意の再生区間を指定した時の分割例を表す図である。
【図６】第１の実施形態における各再生モードの出力フレームとそのタイミングを表した模式図である。
【図７】第１の実施形態の負荷限定動画サムネイル表示の表示例を示す図である。
【図８】選択操作が行われた際に最終的に表示されるレイアウトを示した図である。
【図９】図７の表示形態から図８の表示形態への遷移における動画サムネイルのアニメーション処理の例を表す図である。
【図１０】第１の実施形態における通常時の処理負荷制御部の再生モード切替方式と、拡大または移動時の処理負荷制御部の再生モード切替方式と、拡大または移動開始時の再生モード遷移を示す図である。
【図１１】第１の実施形態において、拡大および移動する際の制御部の処理の一例を示すフローチャートである。
【図１２】第１の実施形態において、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の縮小および移動する際の制御部の処理の一例を示すフローチャートである。
【図１３】第２の実施形態における画像再生装置の構成を示す概略ブロック図である。
【図１４】第２の実施形態における負荷限定動画サムネイル表示の表示例を示す図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。本実施形態において、画像の再生速度を低くすることにより得られる画像は、動画だけでなく、静止画像（例えば、一時停止状態の画像）を含むものとする。ここで画像の再生速度は、その画像において、予め決められた単位時間（例えば、１秒）あたりに切り替わる静止画像の数である。よって、画像の再生速度を低くした結果、その画像の再生速度が０になる場合に得られる画像は、静止画像である。
また、画像の再生速度を高くする前の元画像は、動画だけでなく、静止画像（例えば、一時停止状態の元画像）を含むものとする。
【００２０】
図１は、第１の実施形態における画像再生装置１００の構成を示す概略ブロック図である。
画像再生装置１００は、記憶部１１０と、入力部１２０と、表示処理部１３０と、表示部１４０と、音声出力部１５０と、を備える。
【００２１】
記憶部１１０には、再生の対象となる動画像符号化データと、表示形態に関するレイアウトと、表示内容に関する情報を含む再生プロパティデータと、を記憶している。
表示形態に必要な情報には、再生対象となる動画ファイルを指定するための動画像データパス、再生区間情報、表示位置指定情報および表示テキスト情報が含まれる。
【００２２】
入力部１２０は、動画サムネイルの選択（以下、選択された動画サムネイルを「選択画像」と言う。）を受け付け、その選択画像を示す選択画像情報を表示処理部１３０へ出力する。
また、入力部１２０は、拡大された選択画像（以下、「拡大選択画像」と言う。）の選択を解除する指示を受け付け、受け付けた拡大選択画像の選択を解除する指示を表示処理部１３０へ出力する。
【００２３】
表示処理部１３０は、複数（例えば、９個）の動画サムネイルを含む或る映像を、表示部１４０に出力する。
次に、選択画像の拡大について説明をする。
表示処理部１３０は、入力部１２０から選択画像の情報を受け取った場合、その選択画像の情報が示す選択画像が拡大遷移中でないか否か判定する。拡大遷移とは、選択画像像を拡大する操作の過程を言い、この過程を経て選択画像は拡大される。
表示処理部１３０は、選択画像が拡大遷移中でない場合、以下の処理を行う。
【００２４】
表示処理部１３０は、その時点での再生モードを選択画像の拡大前の再生モードＭＤとして記憶部１１０に記憶させる。再生モードの種類については、後述する。
そして、表示処理部１３０は、再生モードの切替方式を、選択画像が拡大または移動するときの再生モード切替方式（以下、拡大または変更時の切替方式と称す）に変更するとともに、再生モードをその時点よりも低い負荷の再生モードに変更することにより、入力部１２０から入力された選択画像情報が示す選択画像の再生速度をその時点の再生速度より低くし、その選択画像の拡大遷移を開始する。
【００２５】
そして、表示処理部１３０は、拡大遷移が終了した場合、拡大選択画像の再生モードをその時点よりも高い負荷の再生モードに変更することにより、選択画像の再生速度をその時点の再生速度より高く設定する。具体的には、例えば、表示処理部１３０は、拡大遷移が終了した場合、拡大選択画像の再生モードを通常モードに変更する。そして、表示処理部１３０は、選択画像以外の一つまたは複数の動画サムネイルを一時停止させ、拡大選択画像の再生を再開する。また、表示処理部１３０は、選択画像の音声を示す音声信号を音声出力部１５０へ出力する。
【００２６】
また、表示処理部１３０は、入力部１２０から拡大選択画像の選択を解除する指示を受け取った場合、すなわち変更された後の選択画像を変更前に戻す指示を取得した場合、拡大選択画像の再生を一時停止する。そして、表示処理部１３０は、拡大された選択画像の音声出力を一時停止する。そして、表示処理部１３０は、再生モードの切替方式を、通常時の再生モード切替方式に変更する。
【００２７】
表示処理部１３０は、記憶部１１０から選択画像の拡大前の再生モードＭＤを読み出し、読み出した再生モードをその時点の再生モードに設定する。
これにより、表示処理部１３０は、表示部１４０に表示されている全ての動画サムネイルを選択画像の拡大前の再生速度で再生することができる。選択画像の拡大前の再生速度は、各動画サムネイルの定常状態における再生速度であるので、表示処理部１３０は、各動画サムネイルを最適な再生速度で再生できる。その結果、表示処理部１３０は、処理負荷増大に伴う遅延を生じることなく、各動画サムネイルの再生を再開することができる。
【００２８】
そして、表示処理部１３０は、拡大選択画像の縮小遷移を開始する。表示処理部１３０は、縮小遷移が終了した場合、全動画サムネイルの再生を再開したか否か判定する。
ここで、各動画サムネイルの再生順番は、予め決められているものとし、再生順番が一番目の動画サムネイルを最初の動画サムネイルと称す。表示処理部１３０は、全動画サムネイルの再生を再開していない場合、最初の動画サムネイルを再生したかどうか判定する。最初の動画サムネイルを再生していない場合、表示処理部１３０は、最初の動画サムネイルの再生を再開する。表示処理部１３０は、最初の動画サムネイルの再生を再開した場合、予め決められた時間経過後、次の順番の動画サムネイルの再生を再開する。以下、表示処理部１３０は、順次動画サムネイルの再生を再開し、全ての動画サムネイルの再生を再開させる。
【００２９】
表示部１４０は、表示処理部１３０から入力された出力動画像を表示する。具体的には、選択画像が拡大又は移動により変更される前には、表示部１４０は、複数（例えば、９個）の動画サムネイルを含む映像を表示する。
また、選択画像が拡大遷移中のときには、表示部１４０は、拡大遷移中の選択画像と選択画像以外の動画サムネイルとを含む映像を表示する。
【００３０】
また、選択画像の拡大遷移が終了した後には、表示部１４０は、拡大選択画像と一時停止中の選択画像以外の動画サムネイルとを含む映像を表示する。
また、拡大選択画像の縮小遷移中のときには、表示部１４０は、縮小遷移中であって一時停止中の選択画像と一時停止中の選択画像以外の動画サムネイルとを含む映像を表示する。
【００３１】
音声出力部１５０は、表示処理部１３０から入力された選択画像の音声を示す音声信号に基づいて、選択画像の音声を外部へ出力する。
【００３２】
図２は記憶部１１０に記憶されている再生プロパティデータの構成例を示すものである。同図において、属性、情報種別およびその情報により決定される情報を示す決定情報の組が示されている。ここで、再生プロパティデータは、再生対象となる動画像ストリームデータ毎に作成される。
再生プロパティデータは再生対象となる動画像データ全体に関する情報であるコンテンツ情報を一つ持ち、分割する各シーンの表示に際して必要な情報である分割シーン情報をシーンの動画像表示数に応じて持つ。例えば、９個のシーンに分割して再生を行う場合、９個の分割シーン情報を持つ。この点は、図７を参照して後述する。
【００３３】
コンテンツ情報には、動画像データパスの他に、コンテンツタイトルおよびコンテンツ解説情報が含まれる。表示処理部１３０は、コンテンツ全体に関する情報を表示させたい場合にコンテンツ情報を表示テキスト情報として利用することができる。また、コンテンツ情報は、動画表示数に関する情報を必要に応じて含む。
【００３４】
分割シーン情報には、対象となる分割シーン毎の個別のシーンＩＤが含まれる。表示処理部１３０は、シーンＩＤから表示位置指定情報を得ることができる。これは、特定のシーンＩＤに対して、特定の表示位置を割り当てることで、任意の分割シーンを、レイアウト上で対応する表示位置へ割り当てるための表示位置指定情報とすることができる。
【００３５】
また、再生開始位置および再生終端位置によって、再生区間情報を決定することができる。ここで、分割シーン情報はシーンの動画像表示数だけ存在するので再生区間情報には動画像表示数だけの再生区間が含まれる。
さらに、各分割シーン情報には、必要に応じてシーンキャプションおよびシーン説明が含まれる。表示処理部１３０は、各シーンに関する情報を表示させたい場合に表示テキスト情報として利用することができる。
【００３６】
図３は、第１の実施形態における表示処理部１３０の論理的な構成を示す概略ブロック図である。表示処理部１３０は、ストリーム制御部１３１と、多重化分離部１３２と、取得部１３３と、処理負荷制御部１３４と、復号処理部１３５と、配置決定部１３６と、テキストデータ処理部１３７と、出力合成部１３８と、を備える。
【００３７】
ストリーム制御部１３１は、記憶部１１０から動画像データパスと再生区間情報とを読出し、読み出した動画像データパスと再生区間情報とから、再生の対象とする動画像符号化データ内の再生区間毎の符号化データを呼び出し、呼び出した符号化データを多重化分離部１３２に出力する。
これにより、ストリーム制御部１３１は、再生する動画像ストリームを制御する。
【００３８】
ストリーム制御部１３１は、対象となる符号化データ再生位置が再生区間の終端である場合に、再生位置を符号化データの先頭とすることで、動画像符号化データ内の分割された区間をループするように、すなわち繰返し再生するように制御を行う。
【００３９】
多重化分離部１３２は、ストリーム制御部１３１から入力された符号化データを取得し、必要な情報を復号処理部１３５に出力する。具体的には、例えば、ＭＰＥＧ等に代表される一般的な動画像データに対しては、多重化分離部１３２は、符号化データと動きベクトルおよび符号化モードとを復号処理部１３５に出力する。
【００４０】
取得部１３３は、複数の動画サムネイルから選択された選択画像を取得する。具体的には、入力部１２０から入力された選択画像情報を取得し、選択画像情報を処理負荷制御部１３４へ出力する。また、取得部１３３は、入力部１２０から入力された拡大選択画像を縮小する指示を処理負荷制御部１３４へ出力する。
【００４１】
処理負荷制御部１３４は、取得部１３３から選択画像情報または拡大選択画像を縮小する指示が入力された場合、復号処理部１３５における復号処理に係る処理量に応じて、その処理負荷を制御する。具体的には、例えば、処理負荷制御部１３４は、処理負荷が高い、あるいは処理遅延が生じる場合に復号するフレームを限定する。
【００４２】
復号処理部１３５は、多重化分離部１３２から入力された符号化データを可変長復号に利用し、動きベクトルおよび符号化モードを動き予測に利用することで、復号処理を行い、単一フレームを生成する。そして、復号処理部１３５は、Ｎ個（Ｎは正の整数で、例えば９個）のシーンに分割された符号化データを、並列に復号処理し、複数シーンの区間映像出力を生成する。
復号処理部１３５は、生成した複数シーンの区間映像出力（例えば、映像出力１からＮ）を出力合成部１３８へ出力する。これにより、表示部１４０は、同時に複数シーンの表示を行うことができる。
【００４３】
配置決定部１３６は、記憶部１１０から再生プロパティデータ内の表示位置指定情報を読み出し、予め決められた各映像出力のサイズおよび配置に関する情報を取得し、その配置レイアウトを決定する。そして、配置決定部１３６は、決定した配置レイアウトを出力合成部１３８へ出力する。
【００４４】
テキストデータ処理部１３７は、記憶部１１０から再生プロパティデータ内の表示テキスト情報を読み出し、表示テキスト情報から得られる各シーンの映像出力におけるキャプションテキスト情報とシーンの説明を含む説明テキスト情報とを含むテキスト情報を出力合成部１３８へ出力する。
【００４５】
出力合成部１３８は、復号処理部１３５から入力された複数シーンの区間映像出力に対して、配置決定部１３６から入力された配置レイアウトに従って負荷限定動画サムネイル表示を行う。そして、出力合成部１３８は、テキストデータ処理部１３７から入力されたテキスト情報を配置、合成し、最終的な出力動画像を得る。出力合成部１３８は、出力動画像を表示部１４０に出力する。
【００４６】
これにより、出力合成部１３８は、配置決定部１３６によって決定されるテキスト情報の配置情報に従って、テキスト情報を配置することで、所望のレイアウトへのテキストの配置を得ることができる。
以上により、表示処理部１３０は、限られた処理量の中で、指定した区間である各シーンの動画像をサムネイルとして表示し、付随するキャプションテキスト情報、説明テキスト情報を同時に出力することができる。
【００４７】
図４は、第１の実施形態における分割された各シーンのループ区間、すなわち繰り返し区間で、分割する各区間は、前後のシーンの再生終端位置と再生開始位置である時の分割例を表す図である。同図における動画像符号化データは、シーン１の符号化データからシーン９の符号化データまで連続していることが示されている。
ストリーム制御部１３１は、図３のように、分割する各区間は、前後のシーンの再生終端位置を再生開始位置とすることで、指定するシーンが重複したり、再生されない区間が生じたりしないような指定をしてもよい。
【００４８】
図５は、第１の実施形態における分割された各シーンのループ区間で、重複や再生されない区間を考慮せずに任意の再生区間を指定した時の分割例を表す図である。図５において、シーン１の符号化データ１とシーン２の符号化データ２とに重複が存在することが示されている。また、シーン２の符号化データ２とシーン３の符号化データ３との間に隙間があることが示されている。また、シーン５の符号化データ５とシーン６の符号化データ６との間は連続していることが示されている。
ストリーム制御部１３１は、図５のように、重複や再生されない区間を考慮せずに任意の再生区間を指定してもよい。
【００４９】
＜処理負荷制御部１３４の処理の詳細＞
続いて、処理負荷制御部１３４の負荷制御の処理の詳細について説明する。
処理負荷制御部１３４は、通常再生モード、スロー再生モード、復号フレーム限定モード、一時停止モードの４つの制御方法を選択的に利用する。
【００５０】
図６は、第１の実施形態における各再生モードの出力フレームとそのタイミングを表した模式図である。図６（а）は通常再生モードの模式図である。同図に置いて、全てのフレームの画像が時間軸に沿って並んでおり、各フレームの表示タイミングが示されている。
通常再生モードにおいて、復号処理部１３５において遅延がない場合に、復号処理部１３５は、実時間で全てのフレームを復号し、再生する。通常再生モードでは、処理負荷制御部１３４は、例えば毎秒３０枚のフレーム画像を表示すべき動画像データに対して、全てのフレーム画像を復号させ、表示を行わせる。
【００５１】
図６（ｂ）は、スロー再生モードの模式図である。同図において、図６（ａ）に比べてフレーム間隔が２倍に広がったフレームが時間軸に沿って並んでおり、フレームレートを半分にしたもの、すなわち２倍スローの時の各フレームの表示タイミングが示されている。
スロー再生モードでは、復号処理部１３５は、予め決められた単位時間当たりに復号するフレームを制限し、通常再生速度よりも低いフレームレートで再生を行い、処理量を低減する。スロー再生モードでは、表示処理部１３０は、全てのフレームについて復号処理と表示を行うが、図５（a）に示す通常再生モードの各フレームの本来表示すべき時間（以下、タイムスタンプと称す）を変更し、フレームレートを変更する。
【００５２】
図６（ｃ）は、復号フレーム限定再生モードを表す模式図である。同図において、図６（ａ）の一部のフレームのみが時間軸に沿って並んでおり、その一部のフレームの表示タイミングが示されている。
復号フレーム限定再生モードは、本来表示すべき各フレームのうち、一部のフレームのみを復号し、表示するモードである。例えば、表示処理部１３０は、ＭＰＥＧで符号化された画像データを復号する際にはＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）またはＩフレームおよびＰフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）、あるいはＨ．２６４／ＡＶＣ規格においてはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレームのみを復号し、表示する。これにより、表示処理部１３０は、処理量を低減することができる。この時、復号されたフレームは、本来表示すべき時間に、表示を行えばよい。
【００５３】
図６（ｄ）は、一時停止モードを表す模式図である。同図に置いて、同一のフレーのム画像が静止画として表示されることが示されている。一時停止モードは、再生中のある時点で動画像データの復号を行わず、一時停止状態で静止画として表示を行うものであり、復号処理部１３５は、復号処理を行わない。
処理負荷制御部１３４は、前述のそれぞれの再生モードの全てあるいは一部の間で、遅延量に応じて再生モードを変更する。
【００５４】
また、処理負荷制御部１３４によって各再生モードで再生を行う際にも、全てのモードでループ再生を行う必要があり、フレーム限定再生モードでは、ＩＤＲフレームまたはＩフレームのみが出力される。
この場合、復号処理部１３５は、指定されている再生開始位置以後の最初のＩＤＲフレームまたはＩフレームから出力を開始すると同時にタイマーをスタートさせ、以後の出力されるフレームのみにおいて出力時刻とタイマーの時間比較を行い、予定した再生終端位置を過ぎていた場合に、再生開始位置にシークすることでループ処理を実現する。
【００５５】
本実施形態のように、複数の符号化データを並列に処理し、同時に動画像のサムネイルとして表示を行う場合に、処理負荷の制御を行いながら、全ての動画を再生するような表示形態を負荷限定動画サムネイル表示と呼ぶ。
【００５６】
次に、図７〜図９を用いて、特定区間の複数分割シーンの負荷限定動画サムネイル表示に対して、動画像サムネイルを９個のシーンに分割して表示する場合の動作例について説明する
図７は、第１の実施形態の負荷限定動画サムネイル表示の表示例を示す図である。
図７における表示例は、指定した動画像ストリームを９個のシーンに分割し、各分割シーン情報にシーンキャプションを持つ場合の例である。
【００５７】
図８は、選択操作が行われた際に最終的に表示されるレイアウトを示した図である。
同図において、図７の画面左上のサムネイル動画（シーン１）が中央に拡大された状態で、動画像として表示されている。それ以外のサムネイルは、一時停止状態となっており、静止画として、部分的に表示されている。
なお、ユーザにおける選択操作は、表示部１４０の表示面がタッチパネルで、入力部１２０がタッチパネルであったときは、対象動画像領域のタッチ操作でもよいし、また、ポインタ操作でもよい。
【００５８】
図７の表示形態から図８の表示形態への遷移は、表示処理部１３０により、一定時間をかけて、動画像の再生（以下、アニメーションとも称す）を伴いながら行われる。
【００５９】
図９は、図７の表示形態から図８の表示形態への遷移における動画サムネイルのアニメーション処理の例を表す図である。
図７で示される表示形態から図８で示される表示形態へ遷移する際は、選択したサムネイルは、移動を伴いながら、拡大処理を行う必要がある。
また、操作者が選択した動画像の拡大再生を終了して、図８の表示形態から図７の表示形態へ遷移する場合、表示処理部１３０は、移動を伴って縮小処理を行う。
表示処理部１３０は、このような遷移を所定の時間（例えば、１秒間）かけて行うことで、選択画像が選択されたこと、または選択画像の選択が終了したこと、をユーザに対し分かりやすく提示することができる。
【００６０】
全動画サムネイルを再生しながら選択画像を拡大または移動するのは、急激な処理負荷の増加となるため、遅延のない動画の再生が実現できないおそれがある。
そのため、選択画像を拡大または移動しているときに、選択画像を遅延なく再生できるように、処理負荷制御部１３４は、以下の処理を行う。
【００６１】
図１０は、第１の実施形態における通常時の処理負荷制御部１３４の再生モード切替方式と、拡大または移動時の処理負荷制御部１３４の再生モード切替方式と、拡大または移動開始時の再生モード遷移を示す図である。
同図において、負荷限定動画サムネイル表示を行う際に、通常時の再生モード切替方式９０１として、通常再生モード９０２と、スロー再生モード９０３と、復号フレーム限定再生モード９０４の三つの再生モードを有することが示されている。
処理負荷制御部１３４は、通常時に、上記三つの再生モードの間で再生モードを変更する。
【００６２】
また、同図において、拡大または移動時の再生モード切替方式９０５として、通常再生モード９０６と、スロー再生モード９０７と、復号フレーム限定再生モード９０８と、一時停止モードの四つの再生モードを有することが示されている。
処理負荷制御部１３４は、選択画像の拡大または移動時に、上記四つの再生モードの間で再生モードを変更する。各モードの遷移条件は、通常時の処理負荷制御部１３４における遷移条件と同等である。但し、復号フレーム再生モード時に遅延が生じる場合は、処理負荷制御部１３４は、再生モードを一時停止モードに変更する。
【００６３】
通常時において、処理負荷制御部１３４は、初期状態として通常再生モード９０２をとる。処理負荷制御部１３４は、通常再生モード９０２に従って、再生開始処理を実行した時から映像を本来表示すべき時刻（タイムスタンプ）と、再生開始処理を実行した時から経過した時間（経過時間）との比較を行い、経過時間からタイムスタンプを減算した遅延量を算出する。本来は、遅延が生じないように復号、表示処理を行うが、十分な処理リソースが確保できず、遅延が生じる場合には、処理負荷制御部１３４は、スロー再生モード９０３へ遷移する。
【００６４】
処理負荷制御部１３４がスロー再生モード９０３へ遷移した結果、変更されたタイムスタンプを用いて、遅延が生じない場合は、スロー再生モード９０３を継続し、それでも遅延が生じる場合はさらに処理量が削減できる復号フレーム限定再生モード９０４へ遷移する。ここで、通常時には、処理負荷制御部１３４は一時停止モードへの遷移を行わない。
これにより、処理負荷制御部１３４は、全ての動画サムネイルをできるだけ動画として動かす。また、十分な処理リソースが確保できた場合は、処理負荷制御部１３４は、逆の遷移を行うことにより、よりスムーズな再生を試みる。
【００６５】
ここでは、図６に示されるように、スロー再生モードの方が復号フレーム限定モードよりも高いフレームレートで再生され、処理量もより高いものとして説明を行ったが、これに限ったものではない。スロー倍率を上げてよりフレームレートの低いスロー再生モード９０３にしたり、復号フレーム限定再生モード９０４における復号フレームをより多くしたりすることで、スロー再生モード９０３と復号フレーム限定再生モード９０４の遷移を逆にすることも可能である。これは、スロー再生モード時９０３のフレームレートと復復号フレーム限定再生モード９０４時の復号フレームの条件から予め決定しておけばよい。
【００６６】
このように、処理負荷制御部１３４は、高処理負荷によって生じる遅延によってモード遷移を行い、最終的には、処理リソースの範囲内でなるべく遅延を起こさないような再生モードを定常状態に持つ。
【００６７】
選択画像の拡大または移動を開始する前に、処理負荷制御部１３４は、通常時の再生モードの遷移９０１から選択画像の拡大または移動時の再生モードの遷移９０５に変更する。その際、処理負荷制御部１３４は、現時点の再生モードよりも再生速度が低いモードへ遷移する。例えば、処理負荷制御部１３４は、現時点の再生モードが通常再生モード９０２の場合、再生モードをスロー再生モード９０７へ変更する。また、例えば、処理負荷制御部１３４は、現時点の再生モードがスロー再生モード９０３の場合、再生モードを復号フレーム限定再生モード９０８へ変更する。また、例えば、処理負荷制御部１３４は、現時点の再生モードが復号フレーム限定再生モード９０４の場合、再生モードを一時停止モード９０９へ変更する。これにより、処理負荷制御部１３４は、時の復号処理にかかる処理負荷を低減し、スムーズなアニメーションを実現することができる。
【００６８】
換言すれば、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、前記選択画像において単位時間当たりに切り替わる静止画の数を示す再生速度を、変更する前より低くする。
また、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、前記選択画像以外の動画であって画面に表示されている動画の再生速度を、変更する前より低くする。なお、全ての動画が止まっていてもよい。
【００６９】
なお、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、選択画像の再生モードを、選択画像以外の再生モードより再生速度が高いモードにしてもよい。例えば、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、選択画像の再生モードをスロー再生モード９０７とし、選択画像以外の再生モードを復号フレーム限定再生モード９０８としてもよい。
【００７０】
すなわち、処理負荷制御部１３４は、選択画像が拡大または移動により変更しているときに、選択画像において、それ以外の動画よりも再生速度を高くしてもよい。
これにより、処理負荷制御部１３４は、選択画像を選択または移動中になるべく再生させ、選択画像以外の動画は再生速度落とすことができるので、処理負荷を軽減しつつ、選択画像の視認性を向上させることができる。
【００７１】
処理負荷制御部１３４は、選択画像を拡大させた後に、拡大選択画像を大きな画像領域を有して再生する場合、選択拡大動画の再生モードを通常再生モード９０６にし、選択画像以外の動画をスロー再生モード９０７または複合フレーム限定再生モードまたは一時停止モードにする。すなわち、処理負荷制御部１３４は、拡大選択画像はフレーム落ちや遅延無く再生するようにし、それ以外の動画は遅延が生じないように、通常より低い再生速度で再生する。なお、それ以外の動画は止まっていてもよい。
【００７２】
これにより、処理負荷制御部１３４は、選択画像が拡大または移動により変更した後に、変更した後の選択画像をそれ以外の動画よりも高い再生速度で再生する。
また、処理負荷制御部１３４は、選択画像が拡大または移動により変更した後に、拡大または移動により変更しているときより高い再生速度で変更した後の選択画像を再生する。
【００７３】
図１１は、第１の実施形態において、拡大および移動する際の表示処理部１３０の処理の一例を示すフローチャートである。まず、表示処理部１３０は、特定の動画サムネイルである選択画像がユーザによって選択されたことを検出する（ステップＳ１０１）。次に、表示処理部１３０は、選択画像が拡大遷移中でないか否か判定する（ステップＳ１０２）。選択画像が拡大遷移中の場合、表示処理部１３０は、ステップＳ１０６の処理に進む。
【００７４】
選択画像が拡大遷移中でない場合（ステップＳ１０２ ＹＥＳ）、表示処理部１３０は、その時点の再生モードを選択画像の拡大前の再生モードＭＤとして記憶部１１０に記憶させる（ステップＳ１０３）。次に、表示処理部１３０は、再生モードの切替方式を通常時の再生モードの切替方式９０１から拡大または移動時の切替方式９０５に変更し、画面に表示されている全ての動画サムネイルの再生モードをその時点より低い負荷の再生モードに変更する（ステップＳ１０４）。次に、表示処理部１３０は、選択画像の拡大遷移を開始する（ステップＳ１０５）。
【００７５】
次に、表示処理部１３０は、拡大遷移が終了したか否か判定する（ステップＳ１０６）。拡大遷移が終了していない場合（ステップＳ１０６ ＮＯ）、ステップＳ１０６の処理に戻る。一方、拡大遷移が終了した場合（ステップＳ１０６ ＹＥＳ）、表示処理部１３０は、拡大選択画像の再生モードを通常モードに変更する（ステップＳ１０７）。次に、表示処理部１３０は、拡大選択画像以外の動画サムネイルを一時停止する（ステップＳ１０８）。次に、表示処理部１３０は、拡大選択画像の再生を通常モード９０６で再開する（ステップＳ１０９）。次に、表示処理部１３０は音声出力を開始させる（ステップＳ１１０）。これにより表示処理部１３０は、図７のように、選択した選択画像のみが拡大された状態で通常のフレームレートで再生し、それ以外の動画サムネイルは一時停止した状態で静止画を提示する。以上で、本フローチャートの処理を終了する。
【００７６】
以上、表示処理部１３０は、ユーザが選択した動画サムネイルである選択画像を動画の再生を伴って拡大および移動をし、拡大および移動により得られた拡大選択画像のみを再生し、拡大選択画像以外の動画サムネイルを一時停止させる。これにより、画像再生装置１００は、処理量を抑えつつ、選択画像のみを見やすい形で拡大再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【００７７】
また、表示処理部１３０は、負荷限定動画サムネイル表示において選択されていた再生モードを選択画像の拡大前の再生モードＭＤとして記憶部１１０に保存する。これによって、次に、負荷限定動画サムネイル表示に戻った際に、表示処理部１３０は、再生モードを記憶部１１０から選択画像の拡大前の再生モードＭＤを読み出し、読み出した選択画像の拡大前の再生モードＭＤで動画サムネイルの再生を再開できる。選択画像の拡大前の再生速度は、各動画サムネイルの定常状態における再生速度であるので、表示処理部１３０は、最適な再生モードで動画サムネイルの再生を再開することができる。その結果、表示処理部１３０は、処理負荷増大に伴う遅延を生じることなく再生を再開できる。
【００７８】
なお、表示処理部１３０は、拡大又は移動しているときに、画面に表示されている全ての動画サムネイルの再生速度を拡大及び移動前より低くしたが、画面に表示されている全ての動画サムネイルの再生が停止されていてもよい。これにより、表示処理部１３０は、処理負荷を軽減することができるので、遅延無く選択画像を拡大又は移動することができる。
【００７９】
また、表示処理部１３０は、拡大又は移動後に、拡大又は移動により得られた拡大選択画像を通常のフレームレートで再生したが、これに限らず、通常のフレームレートより低いフレームレートで再生してもよい。これにより、表示処理部１３０は、拡大又は移動後に、処理負荷を軽減することができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
【００８０】
また、表示処理部１３０は、拡大又は移動後に、拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、処理負荷に余裕がある場合には、通常の再生速度以下の再生速度で再生してもよい。これにより、表示処理部１３０は、拡大又は移動後でも、拡大選択画像以外の動画サムネイルを再生できるので、選択画像以外の動画サムネイルを効率的に把握し、ユーザの目的とする映像シーンを容易に選び出す事ができる。
【００８１】
また、表示処理部１３０は、拡大又は移動後に、拡大選択画像を通常レートで再生し拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、拡大選択画像を拡大選択画像以外の動画サムネイルより高い再生速度で再生してもよい。これにより、表示処理部１３０は、拡大又は移動後に、処理負荷を下げることができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
【００８２】
また、表示処理部１３０は、拡大又は移動後に、拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、拡大選択画像以外の動画サムネイルを構成する画素の輝度値を下げてもよいし、拡大選択画像以外の動画サムネイルの解像度を下げてもよいし、拡大選択画像以外の動画サムネイルを表示させないようにしてもよい。
これにより、表示処理部１３０は、拡大又は移動後に、処理負荷を下げることができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
【００８３】
次に、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の処理フローについて説明する。
図１２は、第１の実施形態において、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の縮小および移動する際の表示処理部１３０の処理の一例を示すフローチャートである。
【００８４】
まず、表示処理部１３０は、拡大選択画像の選択を解除する指示を取得した場合、拡大再生を行っている拡大選択画像を一時停止させる（ステップＳ２０１）。次に、表示処理部１３０は、音声出力を終了させる（ステップＳ２０２）。次に、表示処理部１３０は、負荷再生となるよう通常時の切替方式９０１に変更する（ステップＳ２０３）。次に、拡大開始時に記憶部１１０に記憶した選択画像の拡大前の再生モードＭＤを読み出し、各動画サムネイルの再生モードを読み出した選択画像の拡大前の再生モードＭＤに設定する（ステップＳ２０４）。
【００８５】
次に、表示処理部１３０は、拡大選択画像の縮小遷移を開始し、負荷限定動画サムネイル表示レイアウトへの遷移を行う（ステップＳ２０５）。縮小および移動が完了した時、全ての動画像ストリームは一時停止した状態である。
次に、表示処理部１３０は、縮小遷移が終了したか否か判定する（ステップＳ２０６）。縮小遷移が終了していない場合、表示処理部１３０は、ステップＳ２０６の処理に戻る。一方、縮小遷移が終了した場合、表示処理部１３０は、全動画サムネイルを再開したか否か判定する（ステップＳ２０７）。
【００８６】
全動画サムネイルを再開していない場合（ステップＳ２０７ ＮＯ）、表示処理部１３０は、次に再生を再開する動画サムネイルが予め決められた最初の動画サムネイルであるか否か判定する（ステップＳ２０８）。次に再生を再開する動画サムネイルが最初の動画サムネイルである場合（ステップＳ２０８ ＹＥＳ）、最初の動画サムネイルの再生を再開し（ステップＳ２０９）、ステップＳ２０７の処理に戻る。
【００８７】
一方、次に再生を再開する動画サムネイルが最初の動画サムネイルでない場合（ステップＳ２０８ ＮＯ）、すなわち少なくとも一つ以上の動画サムネイルの再生の再開処理が行われていた場合には、表示処理部１３０は、予め決められた所定時間待機する（ステップＳ２１０）。次に、表示処理部１３０は、次の動画サムネイルの再生を再開し（ステップＳ２１１）、ステップＳ２０７の処理に戻る。
ステップＳ２０７において、全動画サムネイルを再開した場合（ステップＳ２０７ ＹＥＳ）、表示処理部１３０はその処理を終了する。以上で、本フローチャートの処理を終了する。
【００８８】
以上、表示処理部１３０は、拡大開始時に記憶部１１０に記憶した再生モードを読み出し、読み出した再生モードで各動画サムネイルの再生モードを設定することにより、通常時の定常状態の再生モードで動画サムネイルの再生を再開できる。このため、表示処理部１３０は、遅延なく再生の再開を行うことができる。
【００８９】
なお、再生モードを各動画サムネイルに設定しない場合は、通常通り、初期状態として通常再生モードを持つ構成にすればよい。
【００９０】
また、表示処理部１３０は、縮小および移動の終了後、一定時間間隔で順次、動画サムネイルを再生させる。そして、表示処理部１３０は、再開処理を全ての動画像ストリームの再開が完了するまで繰り返し行い、全動画サムネイルの再生を再開させる。
これによれば、表示処理部１３０は順次動画サムネイルの再生の再開処理を行うことにより、急激に処理負荷が高くなることを防ぎ、再生開始処理に遅延が生じることを防止することができる。すなわち、表示処理部１３０は、再開処理を一定時間間隔で順次行うことで、瞬間的な処理リソースを抑えることができ、遅延なく動画サムネイルの再生を再開することができる。
【００９１】
以上、本実施形態の画像再生装置１００は、同時に複数シーンの動画サムネイルを限られた処理量の中で視聴可能とすることができる。
また、本実施形態の画像再生装置１００は、より最適なシーン区間を提示し、それに合わせて適切なシーンのキャプションおよび説明を提示するので、ユーザは各シーンの内容をより簡単に理解できる。
【００９２】
また、本実施形態の画像再生装置１００は、特定区間の映像の選択時にはアニメーションを伴う拡大処理を行い、その際に他の映像を一時停止し、処理量の低減を図る。これにより、ユーザは、特定区間の映像の内容をより詳細に把握することができる。
また、本実施形態の画像再生装置１００は、複数の動画サムネイルの再生を再開する時の処理負荷を分散するので、遅延なく動画サムネイルの再生の再開を実現することができる。
【００９３】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。第２の実施形態における画像再生装置１００ｂは、用意された複数のレイアウト構成を用いて、動画像の分割表示数に応じたレイアウトでサムネイルを表示する。
【００９４】
図１３は、第２の実施形態における画像再生装置１００ｂの構成を示す概略ブロック図である。図１の画像再生装置１００に比べて、図１３の画像再生装置１００ｂは、記憶部１１０が記憶部１１０ｂに変更され、表示処理部１３０が表示処理部１３０ｂに変更されたものになっている。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【００９５】
第２の実施形態の画像再生装置１００ｂの基本的な構成および実施形態については、第１の実施形態の画像再生装置１００と同一であり、差異のある部分についてのみ記述する。
第２の実施形態の画像再生装置１００ｂは、動画像の提供者またはコンテンツの作成者が入力した動画像データ、再生プロパティデータおよび動画像表示数に基づいて、入力された動画像表示数で、各シーンの動画サムネイルを同時に表示する。
【００９６】
第２の実施形態における画像再生装置１００ｂは、例えば、２乃至９シーンに分割した表示内容に対応する。
記憶部１１０ｂには、再生プロパティデータ中の動画像表示数と各映像出力のサイズおよび配置に関する情報とが関連付けられて記憶されている。
入力部１２０は、動画像表示数の指定を受け付け、受け付けた動画像表示数を表示処理部１３０ｂに出力する。
【００９７】
表示処理部１３０ｂは、入力部１２０により入力された動画像表示数によってレイアウトを決定し、決定したレイアウトにより動画サムネイルを表示する。具体的には、表示処理部１３０ｂの配置決定部１３６は、入力部１２０から入力された動画像表示数が６の場合、再生プロパティデータ中の動画像表示数に６に対応する動画像表示数各映像出力のサイズおよび配置に関する情報を取得し、６シーンに分割された表示レイアウトを決定する。そして、配置決定部１３６は、決定した６シーンに分割された表示レイアウトを出力合成部１３８へ出力する。これにより、表示処理部１３０ｂは、６シーンに分割された表示レイアウトで動画サムネイルを表示する。
【００９８】
図１４は、第２の実施形態における負荷限定動画サムネイル表示の表示例を示す図である。同図における表示例は、指定した動画像サムネイルを６個のシーンに分割し、各分割シーン情報にシーンキャプションを持つ場合の例である。同図において、コンテンツタイトル、コンテンツ解説、６個のシーンキャプションおよび各シーンキャプションに対応するシーン説明が示されている。ここで、シーン説明の表示領域内でスクロール操作することにより、シーン説明がシーン説明の表示領域内で表示しきれない場合でも、シーン説明を最後まで閲覧可能である。
【００９９】
図１４で示した表示例のように、表示処理部１３０は、再生プロパティデータ内のコンテンツ情報であるコンテンツタイトルやコンテンツ解説、分割シーン情報であるシーンキャプションやシーン説明に対しても、動画像表示数によって予め決められたレイアウトに従って表示部１４０に表示させる。
【０１００】
ただし、これらの表示文字列は、必ずしも必要ではなく、プロパティデータ内にその記述がない場合には、表示処理部１３０ｂは、空白になるか、所定の文字列出力を行う。逆に、記述がなされていても、予め定められたレイアウト上に配置できない場合には表示処理部１３０ｂは、表示文字列を表示しない。
【０１０１】
ここで、例えば、予め定められたレイアウトが確保したシーン説明等のテキスト領域は再生プロパティデータに記述されたテキストを表示するのに十分な領域でないことがあるが、表示処理部１３０ｂは、テキスト領域内のスクロールによってシーン説明を最後まで表示することができるので、そのテキスト領域内に一度に表示しきれない場合でも問題は生じないため、特にその文字数は制限されない。
【０１０２】
また、第１の実施形態における画像再生装置１００と同様、第２の実施形態における画像再生装置１００ｂは、操作者の選択した動画サムネイルに対して、スムーズなアニメーションを伴って拡大および移動をし、その後、選択シーン動画像ストリームのみの再生を行う。
また、第２の実施形態における画像再生装置１００ｂは、再生していた拡大選択画像を再生しながら縮小および移動し、負荷限定動画サムネイル表示へ遷移させる。
【０１０３】
以上によって、第２の実施形態における画像再生装置１００ｂは、入力された動画像表示数に従ってレイアウトを決定し、入力された対象動画像データと再生プロパティデータとに基づいて、その決定したレイアウトで動画サムネイルの再生を行う。
これにより、コンテンツの制作者が対象動画像データと再生プロパティデータとを用意し、動画像表示数を指定するだけで、簡単に所望の動画像表示数で動画サムネイルを表示することができる。
【０１０４】
＜効果＞
本発明の各実施形態における画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更された後、選択画像以外の動画であって画面に表示されている動画の再生速度を、選択画像が変更される前より低くする。これにより、画像再生装置（１００、１００ｂ）は、処理量増加に伴う遅延や操作性の悪化を招くことなく、選択画像を拡大あるいは移動またはその双方により変更することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０５】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更されているときに、選択画像の前記再生速度を、選択画像が変更される前より低くする。これにより、画像再生装置１００は、処理量増加に伴う遅延や操作性の悪化を招くことなく、選択画像を拡大あるいは移動またはその双方により変更することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０６】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の動画における再生速度を前記選択画像における再生速度よりも低くする。これにより、画像再生装置１００は、選択画像を拡大、縮小、移動、拡大及び移動または縮小及び移動により変更しているときに、選択画像を選択画像以外の動画より優先して再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０７】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の動画よりも前記再生速度を高くする。これにより、画像再生装置（１００、１００ｂ）は、選択画像を拡大あるいは移動またはその双方により変更した後に、変更した後の選択画像をそれ以外の動画より優先して再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０８】
また、画像再生装置（１００、１００ｂ）の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くする。これにより、画像再生装置１００は、拡大あるいは移動またはその双方により変更した後に、変更した後の選択画像の再生速度が高くする。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
【０１０９】
また、画像再生装置（１００、１００ｂ）は、の処理負荷制御部１３４は、選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を記憶部１１０に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、記憶部１１０から動画の再生速度を読み出し、変更前に戻した後に表示画面に表示されている動画の再生速度を該読み出した再生速度にする。
これにより、選択画像の拡大あるいは移動またはその双方前の再生速度は定常状態の再生速度であるので、処理負荷制御部１３４は、各動画を最適な再生速度で再生させることができる。その結果、処理負荷制御部１３４は、処理負荷増大に伴う遅延を生じることなく、各動画サムネイルの再生を再開させることができる。
【０１１０】
また、本実施形態の画像再生装置（１００、１００ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像再生装置（１００、１００ｂ）に係る上述した種々の処理を行ってもよい。
【０１１１】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１３】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要指示を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１４】
１００、１００ｂ 画像再生装置
１１０、１１０ｂ 記憶部
１２０ 入力部
１３０、１３０ｂ 表示処理部
１３１ ストリーム制御部
１３２ 多重化分離部
１３３ 取得部
１３４ 処理負荷制御部
１３５ 復号処理部
１３６ 配置決定部
１３７ テキストデータ処理部
１３８ 出力合成部
１４０ 表示部
１５０ 音声出力部
【特許請求の範囲】
【請求項１】
複数の画像を表示部に表示させる出力合成部と、
前記複数の画像から選択された選択画像を取得する取得部と、
前記選択画像が拡大あるいは移動またはその双方により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御部と、
を備えることを特徴とする画像再生装置。
【請求項２】
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更されているときに、前記選択画像の前記再生速度を、前記選択画像が変更される前より低くすることを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記処理負荷制御部は、前記選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の画像における再生速度を前記選択画像における再生速度よりも低くすることを特徴とする請求項１または請求項２に記載の画像再生装置。
【請求項４】
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の画像よりも前記再生速度を高くすることを特徴とする請求項１から請求項３のいずれか一項に記載の画像再生装置。
【請求項５】
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くすることを特徴とする請求項１から請求項４のいずれか一項に記載の画像再生装置。
【請求項６】
画像の再生速度を記憶する記憶部と、
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を前記記憶部に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、前記記憶部から前記画像の再生速度を読み出し、変更前に戻した後に表示画面に表示されている画像の再生速度を該読み出した再生速度にすることを特徴とする請求項１から請求項５のいずれか一項に記載の画像再生装置。
【請求項７】
複数の画像を表示部に表示させる出力合成手順と、
前記複数の画像から選択された選択画像を取得する取得手順と、
前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御手順と、
を有することを特徴とする画像再生方法。
【請求項８】
コンピュータに、
複数の画像を表示部に表示させる出力合成ステップと、
前記複数の画像から選択された選択画像を取得する取得ステップと、
前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御ステップと、
を実行させるための画像再生プログラム。
【請求項１】
複数の画像を表示部に表示させる出力合成部と、
前記複数の画像から選択された選択画像を取得する取得部と、
前記選択画像が拡大あるいは移動またはその双方により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御部と、
を備えることを特徴とする画像再生装置。
【請求項２】
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更されているときに、前記選択画像の前記再生速度を、前記選択画像が変更される前より低くすることを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記処理負荷制御部は、前記選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の画像における再生速度を前記選択画像における再生速度よりも低くすることを特徴とする請求項１または請求項２に記載の画像再生装置。
【請求項４】
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の画像よりも前記再生速度を高くすることを特徴とする請求項１から請求項３のいずれか一項に記載の画像再生装置。
【請求項５】
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くすることを特徴とする請求項１から請求項４のいずれか一項に記載の画像再生装置。
【請求項６】
画像の再生速度を記憶する記憶部と、
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を前記記憶部に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、前記記憶部から前記画像の再生速度を読み出し、変更前に戻した後に表示画面に表示されている画像の再生速度を該読み出した再生速度にすることを特徴とする請求項１から請求項５のいずれか一項に記載の画像再生装置。
【請求項７】
複数の画像を表示部に表示させる出力合成手順と、
前記複数の画像から選択された選択画像を取得する取得手順と、
前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御手順と、
を有することを特徴とする画像再生方法。
【請求項８】
コンピュータに、
複数の画像を表示部に表示させる出力合成ステップと、
前記複数の画像から選択された選択画像を取得する取得ステップと、
前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御ステップと、
を実行させるための画像再生プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−４６３５７（Ｐ２０１３−４６３５７Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４８７３（Ｐ２０１１−１８４８７３）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]