画像データ処理装置
【課題】高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性を向上させること。
【解決手段】ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、予め指定された枚数の画像を前記出力画像から再生順方向と、再生逆方向の画像とをビデオデコーダ部から受信、画像一覧として出力する映像出力制御部を具備する画像データ処理装置により、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上できる。
【解決手段】ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、予め指定された枚数の画像を前記出力画像から再生順方向と、再生逆方向の画像とをビデオデコーダ部から受信、画像一覧として出力する映像出力制御部を具備する画像データ処理装置により、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ方式の動画像圧縮技術には、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測により符号化された符号化データの復号の際には、当該フレームの符号化データのみならず、予め復号化された当該フレームの過去または、未来の復号化データが必要である。
【０００３】
符号化データには、当該フレームの符号化データのみで復号が可能なＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、当該フレームの符号化データと以前に復号化された過去のＩピクチャまたはＰピクチャから復号が可能なＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｕｔｒｅ）、当該フレームの符号化データと以前に復号化された過去および未来のＩピクチャまたはＰピクチャから復号が可能なＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の３種類がある。
【０００４】
Ｂピクチャは復号化の際、未来のデータを必要とするため符号化する場合には順を入れ替えて符号化する。ＩピクチャとＰピクチャは未来のデータを必要としないため符号化する場合には順を入れ替えず符号化する。
【０００５】
ＭＰＥＧ方式における高速再生では、画像の表示間隔を短くし、再生速度と処理性能によってはＢピクチャを破棄して表示または、Ｂピクチャ及び、Ｐピクチャを破棄して表示する方法が一般的である。
【０００６】
このような高速再生において、ユーザの主な場面探索方法は、高速再生中の表示画像を目視し、ユーザの任意の操作タイミングで再生を開始する方法である。しかし、所望の画像を発見してから操作した場合は、実際の操作と画像データ処理装置の処理の差分により、所望の画像から行き過ぎて高速再生を停止し、行き過ぎることを見越して早めに操作した場合は、所望の画像より高速再生の停止が早すぎる傾向にある。また、高速再生の停止と再開を繰り返すことでようやく所望の画像に到達することもある。
【０００７】
従来の画像データ処理装置において、高速再生中に復号し、表示した画像を保持し、高速再生を停止したときに、保持していた表示中の画像とそれ以前の画像を一覧表示し、一覧表示した画像のうち、ユーザが選択した画像から再生できるようにすることで、ユーザが所望する画像から行き過ぎた画像で停止した場合における場面探索の利便性を向上させる方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３３８４１号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の画像データ処理装置においては、高速再生による場面探索で、ユーザの所望する画像より高速再生の停止が遅い場合の利便性向上に対応しているが、高速再生の停止が早い場合の利便性向上には対応できていない、という課題があった。
【００１０】
本発明は、高速再生を停止したときに出力中の画像と、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示することで、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する画像データ処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様において、画像データ処理装置は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、予め指定された枚数の画像を前記出力画像から再生順方向と、再生逆方向の画像とをビデオデコーダ部から受信、画像一覧として出力する映像出力制御部を具備する画像データ処理装置である。
【００１２】
かかる構成により、出力画像から予め指定された枚数の再生順方向および再生逆方向の画像を画像一覧として出力するので、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１３】
また、本発明の第２の態様において、画像データ処理装置は、第１の態様に対して、前記映像出力制御部は、前記画像一覧からユーザが指定した画像を開始点として、通常再生、高速再生または、コマ送りの開始を制御する機能を有する画像データ処理装置である。
【００１４】
かかる構成により、画像一覧からユーザが指定した画像を開始点として、通常再生、高速再生または、コマ送りを開始するので、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１５】
また、本発明の第３の態様において、画像データ処理装置は、第１の態様に対して、前記映像出力制御部は、画像一覧を出力するとき、予め指定された枚数の画像を間引いて画像一覧として出力する機能を有する画像データ処理装置である。
【００１６】
かかる構成により、予め指定された枚数の画像を間引いて画像一覧として出力するので、動画像データの時間軸上で探索対象の画像をより広い範囲を表示でき、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１７】
また、本発明の第４の態様において、画像データ処理装置は、第１の態様に対して、高速再生で出力対象となる画像を予め指定された枚数だけ復号、保持してから高速再生を開始し、予め指定された枚数だけ画像を出力したとき、保持している出力済みの画像の中で、最も古い画像を破棄し、高速再生を停止したとき、保持している画像の情報を前記映像出力制御部に送信するビデオデコーダ部を具備する画像データ処理装置である。
【００１８】
かかる構成により、予め指定された枚数だけ画像を出力したとき、保持している出力済みの画像の中で、最も古い画像を破棄するので、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１９】
また、本発明の第５の態様において、本発明の画像データ処理装置は、高速再生で出力対象となる画像を高速再生するためのビデオデコーダ部と、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像及び出力画像から、所定の枚数の再生順方向及び再生逆方向の画像を前記ビデオデコーダ部から受信し、画像一覧として出力する映像出力制御部と、を備え、前記ビデオデコーダ部は、高速再生中、出力対象画像を保持し、当該出力対象画像を出力タイミングにあわせ出力し、所定の枚数だけ出力すると、保持している出力済みの画像の中で最も古い画像を破棄し、高速再生を停止すると、保持している画像の情報を前記映像出力制御部に出力する出力部と、前記出力部とは非同期で動作し、出力対象画像を復号するデコーダ部と、を有する。
【００２０】
かかる構成により、十分なデコード性能を持ったデコーダ部が高速再生中にデコード画像を保持することで、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【発明の効果】
【００２１】
本発明に係る画像データ処理装置によれば、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上させることができる。
【図面の簡単な説明】
【００２２】
【図１】実施の形態１による画像データ処理装置１の構成を示すブロック図
【図２】実施の形態１によるビデオデコーダ部１６のフローチャート
【図３】実施の形態１による字幕デコーダ部１７のフローチャート
【図４】実施の形態１によるオーディオデコーダ部１５のフローチャート
【図５】実施の形態１による映像出力制御部１８のフローチャート
【図６】実施の形態１による高速再生の方法を説明するための図
【図７】高速再生開始から停止までの映像出力制御部１８の動作を説明するための図
【図８】実施の形態１による映像制御部１８の一覧表示を説明するための図
【図９】実施の形態１の変形例１によるデコーダ部１６０Ａのフローチャート
【図１０】実施の形態１の変形例１による出力部１６１Ａのフローチャート
【図１１】実施の形態１の変形例２による映像制御部１８Ａの一覧表示を説明するための図
【図１２】実施の形態１の変形例２による映像制御部１８Ａの一覧表示を説明するための図
【発明を実施するための形態】
【００２３】
以下、実施の形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２４】
（実施の形態１）
本発明の実施の形態１において、高速再生開始時に予め復号した画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示する方法について説明する。
【００２５】
実施の形態１に係る画像データ処理装置１は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力することができ、通常のＡＶ再生だけでなく字幕再生や、早送り、早戻しといった高速再生、コマ送り等も可能である画像データ処理装置である。
【００２６】
ＭＰＥＧ方式とは、ＭＰＥＧ２、ＭＰＥＧ４−ＳＰ、ＭＰＥＧ４−ＡＶＣなどＭＰＥＧ全般が対象である。
【００２７】
図１を参照して、実施の形態１における画像データ処理装置１の構成について説明する。図１は、本実施の形態における画像データ処理装置１のブロック図である。図１に示す画像データ処理装置１は、スピーカ２と、表示デバイス３と、ディスク４やメモリカード５の記録媒体に記録されたデータの入力を制御する入力制御部１０と、メモリ１１と、ＣＰＵ１２と、ユーザインターフェース１３と、多重分離部１４と、オーディオデコーダ部１５、ビデオデコーダ部１６、字幕デコーダ部１７、映像出力制御部１８、とを備える。
【００２８】
ディスク４やメモリカード５に記録されたデータには、画像データ処理装置１で出力可能な、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータが含まれる他、音声データや字幕データも含まれる。
【００２９】
入力制御部１０は、ＣＰＵ１２の制御により、ディスク４やメモリカード５に記録されたデータの入力を制御する。入力制御部１０は、ディスク４やメモリカード５から入力されたデータをメモリ１１に出力する。
【００３０】
多重分離部１４は、ＣＰＵ１２の制御により、メモリ１１から出力されたデータを、オーディオデータ、ＭＰＥＧ方式で符号化された動画像データ（以下、ＭＰＥＧ動画像データと称する）、字幕データに分離する。多重分離部１４は、分離されたオーディオデータをオーディオデコーダ部１５に、動画像データをビデオデコーダ部１６に、字幕データを字幕デコーダ部１７に、それぞれ出力する。
【００３１】
ビデオデコーダ部１６は、デコーダ部１６０と、出力部１６１から構成される。デコーダ部１６０は、高速再生で出力対象となるＭＰＥＧ動画像データを構成する画像を「予め指定された枚数」だけ復号、保持してから高速再生を開始し、「予め指定された枚数」だけ画像を映像出力制御部１８へ出力したとき、保持している出力済みの画像の中で、「最も古い画像」を破棄する。デコーダ部１６０は、高速再生を停止したとき、その時点でデコーダ部１６０が保持している画像の情報を、出力部１６１から映像出力制御部１８に出力する。
【００３２】
ここで、「予め指定された枚数」とは、画像データ処理装置が１内部に持つ設定記憶部に固有で保持する値でも、ユーザがユーザインターフェース１３を介して予め設定する値でも良い。また、再生順方向の枚数、再生逆方向の枚数、それぞれに対して別々の値を、ユーザがユーザインターフェース１３を介して予め指定しても良い。
【００３３】
ここで、「最も古い画像」とは、早送りの場合、時間情報が最も古い先頭方向の画像を指し、早戻しの場合、時間情報が最も新しい終端方向の画像を指す。
【００３４】
デコーダ部１６０は出力対象画像を復号したとき、出力対象画像の時間情報を、出力部１６１からオーディオデコーダ部１５と字幕デコーダ部１７とに出力する。デコーダ部１６０は出力済み画像を破棄したとき、破棄画像の時間情報を、出力部１６１からオーディオデコーダ部１５と字幕デコーダ部１７とに出力する。
【００３５】
デコーダ部１６０は、出力対象画像を、再生速度、1枚あたりの表示時間、デコーダ性能等から判定する。
【００３６】
映像出力制御部１８は、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、出力画像から「予め指定された枚数」の再生順方向および再生逆方向の画像とを、ビデオデコーダ部１６から受けて、表示デバイス３へ画像一覧として出力する。このとき、映像出力制御部１８は、画像一覧に出力される画像に対応する音声認識データ及び字幕データを、それぞれオーディオデコーダ部１５と字幕デコーダ部１７とから受信する。
【００３７】
高速再生の再生方向は、早送り、早戻しのどちらの方向でも実施可能である。再生順方向とは、早送りなら、動画像データの終端方向を、早戻しなら動画像データの先頭方向を指し、再生逆方向とは、早送りなら、動画像データの先頭方向を、早戻しなら動画像データの終端方向を指す。
【００３８】
映像出力制御部１８は、画像一覧を表示デバイス３に表示中、ユーザからユーザインターフェース１３を介して、音声認識データ表示への切り替えを要求された場合、画像一覧を各画像と画像に対応した音声認識データとの合成表示に切り替える。
【００３９】
ここで、音声認識データとは、オーディオデコーダ部１５の音声認識部１５０が、音声データを復号し、音声認識処理して得られる文字列情報である。
【００４０】
また、合成表示の実施方法は、画像と文字列が被る形で表示しても、画像と文字列の関連がわかる程度に被らない形で表示してもよい。画像の出力、表示とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。
【００４１】
同様に、映像出力制御部１８は、画像一覧を表示デバイス３に表示中、ユーザからユーザインターフェース１３を介して、字幕データ表示の切り替えを要求された場合、画像一覧を各画像と画像に対応した字幕データとの合成表示に切り替える。さらに、映像出力制御部１８は、画像一覧を表示デバイス３に表示中、ユーザからユーザインターフェース１３を介して、時間表示の切り替えを要求されたとき、画像一覧を各画像と画像に対応した時間情報との合成表示に切り替える。
【００４２】
また、映像出力制御部１８は、ユーザがユーザインタフェース１３を介して指定した画像を開始点として、通常再生、高速再生または、コマ送りを開始する。
【００４３】
映像出力制御部１８は、ディスプレイ等の出力デバイス３を含んでも良い。映像出力制御部１８は、出力デバイス３のドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４４】
オーディオデコーダ部１５は、音声認識部１５０と、デコーダ部１５１と、出力部１５２とから構成される。デコーダ部１５１がデコーダ部１６０から出力対象画像の時間情報を受信すると、時間情報を基準に予め指定された範囲の時間だけ音声データを復号し、音声認識部１５０が復号した音声データを音声認識処理し、音声認識データの作成と保持する。そして、音声認識部１５０は、デコーダ部１６０から破棄画像の時間情報を受信すると、破棄画像の時間情報に対応する音声認識データを破棄し、高速再生を停止すると、保持している音声認識データの情報を、出力部１５２を介して、映像出力制御部１８に出力するする。
【００４５】
字幕デコーダ部１７は、デコーダ部１６０から出力対象画像の時間情報を受信すると、時間情報を基準に、予め指定された範囲の時間だけ字幕データの復号と保持する。そして、字幕デコーダ部１７は、破棄画像の時間情報を受信すると、破棄画像の時間情報に対応した字幕データを破棄し、高速再生を停止すると、保持している字幕データの情報を映像出力制御部１８に送信する。
【００４６】
映像出力制御部１８、ビデオデコーダ部１６、オーディオデコーダ部１５、字幕デコーダ部１７は、通常、ＭＰＵやメモリ等から実現され得る。字幕デコーダ部１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
次に、画像データ処理装置１の動作について図２〜図５に示すフローチャートを用いて説明する。図２に示すフローチャートは、ビデオデコーダ部１６の動作を示し、図３に示すフローチャートは、字幕デコーダ部１７の動作を示し、図４に示すフローチャートは、オーディオデコーダ部１５の動作を示し、図５に示すフローチャートは、映像出力制御部１８の動作を示す。
【００４８】
ここで、図２を参照して、ビデオデコーダ部１６のデコーダ部１６０の動作を説明する。図２に示すフローチャートのステップは、ステップＳ００１からＳ０１２で構成される。
【００４９】
（ステップＳ００１）
デコーダ部１６０は、高速再生中の場合、停止要求があるかどうかを判定する。
【００５０】
（ステップＳ００２）
デコーダ部１６０は、ステップＳ００１の判定で高速再生の継続を判定したとき、動画像データのフレームヘッダを検索し、発見した動画像データのフレームヘッダの解析を行う。
【００５１】
（ステップＳ００３）
デコーダ部１６０は、ステップＳ００２の解析結果から、発見した画像が高速再生で出力対象の画像であるかどうかを判定する。
【００５２】
（ステップＳ００４）
デコーダ部１６０は、ステップＳ００３の判定で出力対象外と判定したとき、対象画像のデータを破棄して、ステップＳ００１に戻る。
【００５３】
（ステップＳ００５）
デコーダ部１６０は、ステップＳ００３の判定で出力対象と判定したとき、対象画像のデコード処理と、デコード画像の蓄積を行う。
【００５４】
（ステップＳ００６）
デコーダ部１６０は、ステップＳ００５のデコードで得られた時間情報を、出力部１６１からオーディオデコーダ部１５、字幕デコーダ部１７に出力する。
【００５５】
（ステップＳ００７）
デコーダ部１６０は、蓄積されたデコード画像の枚数を判定する。判定条件は、枚数が予め指定された再生順方向枚数（以降ｎとする）＋１以上であるかどうかである。ｎ＋１未満ならステップＳ００１に戻り、ｎ＋１以上ならステップＳ００８の処理を行う。
【００５６】
（ステップＳ００８）
デコーダ部１６０は、最も古い未出力のデコード画像を、再生速度や画像の時間情報等の応じた時間だけ出力する。最も古いとは、早送りの場合、時間情報が最も古い先頭方向の画像、早戻しの場合、時間情報が最も新しい終端方向の画像である。
【００５７】
（ステップＳ００９）
デコーダ部１６０は、表示デバイス３に表示中されている画像を除き、出力済みのデコード画像の枚数を判定する。判定条件は、枚数が予め指定された再生逆方向枚数（以降ｍとする）＋１以上であるかどうかである。ｍ＋１未満ならステップＳ００１に戻り、ｍ＋１以上ならステップＳ０１０の処理を行う。
【００５８】
（ステップＳ０１０）
デコーダ部１６０は、最も古い出力済みのデコード画像を破棄する。
【００５９】
（ステップＳ０１１）
デコーダ部１６０は、ステップＳ０１０で破棄したデコード画像の時間情報を、出力部１６１からオーディオデコーダ部１５、字幕デコーダ部１７に出力する。ステップＳ００１に戻る。
【００６０】
（ステップＳ０１２）
デコーダ部１６０は、ステップＳ００１で高速再生の停止要求があった場合に処理する。デコーダ部１６０は、ビデオデコーダ部１６が保持している最大ｎ＋ｍ＋１枚のデコード画像の情報を、出力部１６１から映像出力制御部１８に出力する。
【００６１】
なお、図２に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００６２】
ここで、図３を参照して、字幕デコーダ部１７の動作を説明する。図３に示すフローチャートのステップは、ステップＳ１０１からＳ１０６で構成される。
【００６３】
（ステップＳ１０１）
字幕デコーダ部１７は、高速再生中の場合、停止要求があるかどうかを判定する。
【００６４】
（ステップＳ１０２）
字幕デコーダ部１７は、ステップＳ１０１で高速再生の継続と判定すると、ビデオデコーダ部１６からデコード画像の時間情報を受信しているかどうかを判定する。字幕デコーダ部１７は、デコード画像の時間情報を受信していればステップＳ１０３の処理を、デコード画像の時間情報を受信していなければステップＳ１０４の処理を行う。
【００６５】
（ステップＳ１０３）
字幕デコーダ部１７は、デコード画像の時間情報を、受信したデコード画像の時間情報（以降Ｔとする）から予め指定された時間（以降Ｔ１とする）を引いた時間の範囲（Ｔ−Ｔ１からＴまで）にある字幕データを検索、デコード、蓄積する。
【００６６】
（ステップＳ１０４）
字幕デコーダ部１７は、ビデオデコーダ部１６から破棄したデコード画像の時間情報を受信しているかどうかを判定する。字幕デコーダ部１７は、破棄したデコード画像の時間情報を受信していればステップＳ１０５の処理を、破棄したデコード画像の時間情報を受信していなければステップＳ１０１に戻る。
【００６７】
（ステップＳ１０５）
字幕デコーダ部１７は、受信したデコード画像の時間情報に対応した字幕データを破棄する。
【００６８】
（ステップＳ１０６）
字幕デコーダ部１７は、ステップＳ１０１で高速再生の停止要求があった場合に処理する。字幕デコーダ部１７が保持している字幕データの情報を映像出力制御部１８に出力する。
【００６９】
なお、図３に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００７０】
ここで、図４を参照して、オーディオデコーダ部１５の動作を説明する。図４に示すフローチャートのステップは、ステップＳ２０１からＳ２０７で構成される。
【００７１】
（ステップＳ２０１）
音声認識部１５０は、高速再生中の場合、停止要求があるかどうかを判定する。
【００７２】
（ステップＳ２０２）
音声認識部１５０は、ステップＳ２０１で高速再生の継続を判定すると、音声認識部１５０は、ビデオデコーダ部１６からデコード画像の時間情報を受信しているかどうかを判定する。音声認識部１５０は、デコード画像の時間情報を受信していればステップＳ２０３の処理を、デコード画像の時間情報を受信していなければステップＳ２０５の処理を行う。
【００７３】
（ステップＳ２０３）
デコーダ部１５１は、受信したデコード画像の時間情報から予め指定された時間（以下Ｔ２、Ｔ３とする）の範囲（Ｔ−Ｔ２からＴ＋Ｔ３まで）のオーディオデータを検索、デコードする。
【００７４】
（ステップＳ２０４）
音声認識部１５０は、ステップＳ２０３でデコードしたオーディオデータの音声認識処理をし、音声認識データを蓄積する。
【００７５】
（ステップＳ２０５）
音声認識部１５０は、ビデオデコーダ部１６から破棄したデコード画像の時間情報を受信しているかどうかを判定する。音声認識部１５０は、破棄したデコード画像の時間情報を受信していればステップＳ２０６の処理を、音声認識部１５０が破棄したデコード画像の時間情報を受信していなければステップＳ２０１に戻る。
【００７６】
（ステップＳ２０６）
音声認識部１５０は、受信したデコード画像の時間情報に対応した音声認識データを破棄する。
【００７７】
（ステップＳ２０７）
音声認識部１５０は、ステップＳ２０１で高速再生の停止要求があった場合に処理する。音声認識部１５０は、オーディオデコーダ部１５が保持している音声認識データの情報を、出力部１５２を介して、映像出力制御部１８に出力する。
【００７８】
なお、図４に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００７９】
ここで、図５を参照して、映像出力制御部１８の動作を説明する。図５に示すフローチャートのステップは、ステップＳ３０１からＳ３１４で構成される。
【００８０】
（ステップＳ３０１）
映像出力制御部１８は、高速再生中の場合、停止要求があるかどうかを判定する。
【００８１】
（ステップＳ３０２）
映像出力制御部１８は、ステップＳ３０１の判定で高速再生の継続を判定すると、映像出力制御部１８は、ビデオデコーダ部１６からデコード画像を受信しているかどうかを判定する。映像出力制御部１８は、デコード画像を受信していればステップＳ３０３の処理を行う。映像出力制御部１８がデコード画像を受信していなければステップＳ３０１に戻る。
【００８２】
（ステップＳ３０３）
映像出力制御部１８は、受信したデコード画像で、表示デバイス３の画像一覧に表示されている画面を更新する。そして、ステップＳ３０１に戻る。
【００８３】
（ステップＳ３０４）
映像出力制御部１８は、ステップＳ３０１で高速再生の停止要求があった場合に処理する。映像出力制御部１８は、オーディオデコーダ部１５、ビデオデコーダ部１６、字幕デコーダ部１７からそれぞれ音声認識データ、デコード画像、字幕データの情報を受信するのを待つ。
【００８４】
（ステップＳ３０５）
映像出力制御部１８は、ステップＳ３０４の受信待ち完了後、デコード画像の出力画面への一覧表示をする。
【００８５】
（ステップＳ３０６）
映像出力制御部１８は、字幕表示の切り替え要求があるかどうかを判定する。
【００８６】
（ステップＳ３０７）
映像出力制御部１８は、ステップＳ３０６で字幕表示の切り替え要求があると判定すると、映像出力制御部１８は、一覧表示中の各画像と画像に対応した字幕データを、合成表示ＯＮであれば合成して表示デバイス３に表示し、合成表示ＯＦＦであれば表示デバイス３に画像のみ表示するようにする。
【００８７】
（ステップＳ３０８）
映像出力制御部１８は、音声認識データ表示の切り替え要求があるかどうかを判定する。
【００８８】
（ステップＳ３０９）
映像出力制御部１８は、ステップＳ３０８で音声認識データ表示の切り替え要求があると判定すると、映像出力制御部１８は、一覧表示中の各画像と画像に対応した音声認識データを、合成表示ＯＮであれば合成して表示デバイス３に表示し、合成表示ＯＦＦであれば画像のみを表示デバイス３に表示する。
【００８９】
（ステップＳ３１０）
映像出力制御部１８は、時間情報データ表示の切り替え要求があるかどうかを判定する。
【００９０】
（ステップＳ３１１）
映像出力制御部１８は、ステップＳ３１０で時間情報データ表示の切り替え要求があると判定すると、映像出力制御部１８は、表示デバイス３に表示されている画像一覧の各画像と各画像に対応した時間情報データとを、合成表示ＯＮであれば合成して表示デバイス３に表示し、合成表示ＯＦＦであれば画像のみを表示デバイス３に表示する。
【００９１】
（ステップＳ３１２）
映像出力制御部１８は、再生開始の要求があるかどうかを判定する。要求がない場合、ステップＳ３０６に戻る。
【００９２】
（ステップＳ３１３）
映像出力制御部１８は、ステップＳ３１２で通常再生の開始を判定すると、映像出力制御部１８は、選択されている画像から通常再生を開始する。
【００９３】
（ステップＳ３１４）
映像出力制御部１８は、ステップＳ３１２で高速再生の開始を判定すると、選択されている画像から高速再生を開始する。
【００９４】
なお、図５に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００９５】
以下、本実施の形態に係る画像データ処理装置１の具体的な動作について、図６〜図８を用いて説明する。
【００９６】
図６は、高速再生時の画像データ処理装置１の具体的な動作を説明するための図である。図中の矢印は再生方向を示す。図６に示すようにＩ１〜Ｉ１０で構成されるＩピクチャのみを出力して早送りを行う高速再生の場合、ビデオデコーダ部１６は、Ｐピクチャ（図中では、Ｐ１、Ｐ２のみ示す）、Ｂピクチャ（図中、Ｂ１〜Ｂ４のみ示す）のデコードをせず破棄、Ｉ１〜Ｉ１０で構成されるＩピクチャをデコードする。そして、ビデオデコーダ部１６は、指定された速度に応じた出力時間だけ、「予め指定された枚数」の画像を表示デバイス３に出力する。例えば１０倍速でＩピクチャの間隔が１秒毎であれば出力時間は１００ｍｓとなる。
【００９７】
図７は、高速再生を開始してから停止するまでの画像データ処理装置１の動作を説明するための図である。ユーザは、ユーザインターフェース１３を介して、再生順方向枚数ｎと再生逆方向枚数ｍを設定することができる。本例ではｎ＝４、ｍ＝４と設定する。
【００９８】
図７において、画像データ処理装置１は、再生方向に向けて１２枚の画像（ＩピクチャーＩ１〜Ｉ１２に対応）を処理するものとする。また、図７の縦軸は時間を示し、矢印の向きに時間が進んでいるものとする。
【００９９】
図７に示すように、高速再生開始時、映像出力制御部１８は、ｎ＋１の５枚のデコード済みの画像を蓄積する。高速再生直後、画像（ＩピクチャーＩ１に対応）が映像出力制御部１８から表示デバイス３に出力され、映像出力制御部１８には、未出力のデコード画像（ＩピクチャーＩ２〜Ｉ４に対応）が蓄積される。
【０１００】
高速再生中、映像出力制御部１８に出力済みの画像（ＩピクチャーＩ１〜Ｉ４に対応）がｍ＋１の５枚以上蓄積されると、映像出力制御部１８は、表示デバイス３に表示中の画像（ＩピクチャーＩ１〜Ｉ５に対応）から一番遠い、先頭方向の画像（ＩピクチャーＩ１に対応）を削除する。
【０１０１】
高速再生停止時、ビデオデコーダ部１６が保持しているｎ＋ｍ＋１の９枚の画像の情報を映像出力制御部１８に出力し、画像情報を受信した映像出力制御部１８は、デコード画像を画像一覧として表示デバイス３で表示する。
【０１０２】
ここで、図８を参照して、画像一覧としてデコード画像を表示デバイス３に表示する例を説明する。図８は、画像一覧の表示例を示す図である。
【０１０３】
高速再生停止時、表示デバイス３に表示されている画像（ＩピクチャーＩ７に対応）が、表示デバイス３の中心に表示されている。そして、表示デバイス３の左上に向かって動画の先頭方向の画像を、右下に向かって動画の終端方向の画像を表示している。
【０１０４】
図８に示す表示例では、各画像の左上に時間情報（例えば、０：１２：２０）を合成表示し、各画像の下に字幕データ（例えば、ｇｇｇ ｇｇｇ）を合成表示している。ただし、音声認識データは表示していない。ユーザは、ユーザインテーフェース１３を介して、画像を選択して、時間情報、字幕データ、音声認識データをそれぞれについて、合成表示する。
【０１０５】
各データの表示選択は、例えば、地上デジタル放送に対応したリモコンであれば、各色のボタンの押下で選択できる。パーソナルコンピュータ上のソフトであれば、別途用意されたチェックボックス等で選択できる。
【０１０６】
以上、本実施の形態に係る画像データ処理装置１によれば、高速再生開始時に予め復号した画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示できる。これにより、ユーザの場面探索の利便性を向上することができる。また、音声認識データ、字幕データ、時間情報の合成表示により判断材料が増えるため、場面探索の利便性を向上することができる。
【０１０７】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。
【０１０８】
（変形例１）
ここで、実施の形態１の変形例１である画像データ処理装置１Ａにおいて、十分なデコード性能を持ったデコーダが高速再生中にデコード画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示する方法について説明する。
【０１０９】
変形例１では、デコーダ部１６０Ａと出力部１６１Ａとで構成されるビデオデコーダ部１６Ａの動作が、実施の形態１におけるビデオデコーダ部１６の動作と異なる。それ以外の構成は、実施の形態１と同じ機能を有するため、同じ参照番号を付記し、その詳細な説明を省略する。
【０１１０】
変形例１では、ビデオデコーダ部１６Ａは、高速再生中、出力対象画像を保持し、出力対象画像を出力タイミングにあわせ出力し、予め指定された枚数だけ出力したとき、保持している出力済みの画像の中で最も古い画像を破棄し、高速再生を停止したとき、予め指定された枚数だけ保持するまで待ち、保持している場合、保持画像の情報を映像出力制御部１８に送信する出力部１６１Ａと、出力部とは非同期で動作し出力対象画像を復号するデコーダ部１６０Ａを有する。デコーダ部１６０Ａは、高速再生における1枚あたりの表示時間より十分に速いデコード性能を持っている方が好ましい。
【０１１１】
ビデオデコーダ部１６Ａは、通常、ＭＰＵやメモリ等から実現され得る。ビデオデコーダ部１６Ａの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１１２】
次に、実施の形態１の変形例である画像データ処理装置１Ａの動作について、図９、１０のフローチャートを用いて説明する。図９に示すステップＳ４０１からＳ４０６はビデオデコーダ部１６Ａ内のデコーダ部１６０Ａの動作である。
【０１１３】
（ステップＳ４０１）
デコーダ部１６０Ａは、高速再生中の場合、停止要求があるかどうかを判定する。
【０１１４】
（ステップＳ４０２）
デコーダ部１６０Ａは、ステップＳ４０１の判定で高速再生の継続を判定したとき、動画像データのフレームヘッダを検索し、発見した符号化されている画像データのフレームヘッダの解析を行う。
【０１１５】
（ステップＳ４０３）
デコーダ部１６０Ａは、ステップＳ４０２の解析結果から、発見した画像が高速再生で出力対象の画像であるかどうかを判定する。
【０１１６】
（ステップＳ４０４）
デコーダ部１６０Ａは、ステップＳ４０３の判定で出力対象外と判定したとき、対象画像のデータを破棄して、ステップＳ４０１に戻る。
【０１１７】
（ステップＳ４０５）
デコーダ部１６０Ａは、ステップＳ４０３の判定で出力対象と判定したとき、対象画像のデコード処理と、デコード画像の蓄積を行う。
【０１１８】
（ステップＳ４０６）
デコーダ部１６０Ａは、ステップＳ４０５のデコードで得られた時間情報を、オーディオデコーダ部１５、字幕デコーダ部１７に送信し、ステップＳ４０１に戻る。
【０１１９】
図１０に示すステップＳ４１０からＳ４１８はビデオデコーダ部１６内の出力部１６１Ａの動作である。
【０１２０】
（ステップＳ４１０）
出力部１６１Ａは、高速再生中の場合、停止要求があるかどうかを判定する。
【０１２１】
（ステップＳ４１１）
出力部１６１Ａは、ステップＳ４１０の判定で高速再生の継続を判定したとき、デコーダ部１６０がデコードした画像があるかどうか判定する。デコード画像がなければ、ステップＳ４１０に戻る。
【０１２２】
（ステップＳ４１２）
出力部１６１Ａは、ステップＳ４１１の判定でデコード画像があると判定したとき、デコード画像が高速再生での出力タイミングになっているかどうか判定する。出力タイミングでなければ、ステップＳ４１０に戻る。
【０１２３】
（ステップＳ４１３）
出力部１６１Ａは、ステップＳ４１２の判定で出力タイミングになっていれば、高速再生の速度等から算出された出力時間だけデコード画像を出力する。
【０１２４】
（ステップＳ４１４）
出力部１６１Ａは、表示中を除く、出力済みのデコード画像の枚数を判定する。判定条件は、枚数が予め指定された再生逆方向枚数（以降ｍとする）＋１以上であるかどうかである。ｍ＋１未満ならステップＳ４１０に戻り、ｍ＋１以上ならステップＳ４１５の処理を行う。
【０１２５】
（ステップＳ４１５）
出力部１６１Ａは、最も古い出力済みのデコード画像を破棄する。
【０１２６】
（ステップＳ４１６）
出力部１６１Ａは、ステップＳ４１５で破棄したデコード画像の時間情報を、オーディオデコーダ部１５、字幕デコーダ部１７に送信する。ステップＳ４１０に戻る。
【０１２７】
（ステップＳ４１７）
出力部１６１Ａは、ステップＳ４１０で高速再生の停止要求があった場合に処理する。出力していないデコード画像の枚数を判定し、枚数が予め指定された再生順方向枚数（以降ｎとする）未満なら、本ステップを繰り返し、ｎ枚以上ならステップＳ４１８の処理を行う。
【０１２８】
（ステップＳ４１８）
出力部１６１Ａは、保持しているデコード画像の情報を映像出力制御部１８に送信する。
【０１２９】
なお、図９、１０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１３０】
以下、本実施の形態における画像データ処理装置１の具体的な動作について説明する。ユーザはユーザインターフェース１３を利用して、再生順方向枚数ｎと再生逆方向枚数ｍを設定することができる。本例ではｎ＝４、ｍ＝４と設定する。
【０１３１】
ビデオデコーダ部１６Ａ内のデコーダ部１６０Ａは、高速再生開始後、Ｉピクチャのみを出力する早送りである場合、Ｉピクチャの検索とデコード処理を出力部１６１Ａとは非同期で、処理性能に応じて行う。高速再生中、デコード画像がｎ＋ｍ＋１の９枚の画像を蓄積したとき、Ｉピクチャの検索とデコード処理を停止し、出力部１６１Ａのデコード画像の破棄を検出したとき、処理を再開する。
【０１３２】
ビデオデコーダ部１６Ａ内の出力部１６１Ａは、高速再生中、デコーダ部１６０がデコードした画像があれば出力する。出力済みの画像がｍ＋１の５枚以上蓄積されると表示中の画像から一番遠い、先頭方向の画像を削除する。高速再生を停止したとき、未出力のデコード画像ｎの４枚以上になるまで待ち、４枚以上になれば画像の情報を映像出力制御部１８に送信し、受信した映像出力制御部１８はデコード画像を一覧表示する。
【０１３３】
以上、本実施の形態によれば、十分なデコード性能を持ったデコーダが高速再生中にデコード画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示できる。これにより、ユーザの場面探索の利便性を向上することができる。また、音声認識データ、字幕データ、時間情報の合成表示により、場面探索の際の判断材料を増えるため、場面探索の利便性を向上することができる。
【０１３４】
（変形例２）
実施の形態１の変形例２である画像データ処理装置１Ｂにおいて、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧表示する際、動画像データの時間軸上で、より広い範囲を表示する方法について説明する。
【０１３５】
変形例２では、映像出力制御部１８Ａ及びＣＰＵ１２Ａの動作が、実施の形態１における映像出力制御部１８及びＣＰＵ１２の動作と異なる。それ以外の構成は、実施の形態１と同じ機能を有するため、同じ参照番号を付記し、その詳細な説明を省略する。
【０１３６】
映像出力制御部１８Ａは、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、出力画像から予め指定された枚数の再生順方向および再生逆方向の画像とをビデオデコーダ部１６から受信し、予め指定された枚数の画像を間引いて画像一覧として出力する。
【０１３７】
以下、変形例２における画像データ処理装置１Ｂの具体的な動作について、図１１を用いて説明する。ユーザはユーザインターフェース１３を利用して、再生順方向枚数ｎと再生逆方向枚数ｍの設定及び、デコード画像の一覧表示方法を設定することができる。本例ではｎ＝４、ｍ＝４と設定し、デコード画像の一覧表示方法を、高速再生停止時の出力画像から動画像データの時間軸が離れるに従って間引く枚数を０枚、１枚、２枚と増加させていくように設定する。
【０１３８】
ＣＰＵ１２Ａは、ｎ、ｍの値と間引き方法からビデオデコーダ部１６に対して、デコード画像の蓄積枚数を設定する。本実施の形態では、再生順方向になる未出力の画像を１０枚、再生逆方向になる出力済みの画像を１０枚と設定する。
【０１３９】
ビデオデコーダ部１６は、高速再生を停止したとき、出力中のデコード画像を含めた１０＋１０＋１の２１枚の画像の情報を映像出力制御部１８に送信する。映像出力制御部１８Ａは、図１１のように出力中の画像から動画像データの時間軸上で離れるに従って０枚、１枚、２枚、３枚と間引いて一覧表示する。
【０１４０】
以上、変形例２によれば、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧表示する際、動画像データの時間軸上で、より広い範囲を表示できる。また、本実施の形態によれば、図１２のように１枚毎や、２枚毎のように間引く画像の枚数を一定枚数にして一覧表示することができる。
【０１４１】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１４２】
以上のように、本発明にかかる画像データ処理装置は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータの高速再生において、高速再生を停止したときに出力中の画像と、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示することで、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合にユーザの場面探索の利便性が向上するという効果を有し、ＤＶＤやＢＤなどの光ディスク、ＨＤＤやＳＤなどのストレージデバイス、レコーダや携帯端末などの機器に記録された動画の再生等として有用である。
【符号の説明】
【０１４３】
１、１Ａ、１Ｂ 画像データ処理装置
２ スピーカ
３ 表示デバイス
４ ディスク
５ メモリカード
１０ 入力制御部
１１ メモリ
１２ ＣＰＵ
１３ ユーザインターフェース
１４ 多重分離部
１５ オーディオデコーダ部
１６、１６Ａ ビデオデコーダ部
１７ 字幕デコーダ部
１８、１８Ａ 映像出力制御部
１５０ 音声認識部
１５１ デコーダ部
１５２ 出力部
１６０、１６０Ａ デコーダ部
１６１、１６１Ａ 出力部
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ方式の動画像圧縮技術には、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測により符号化された符号化データの復号の際には、当該フレームの符号化データのみならず、予め復号化された当該フレームの過去または、未来の復号化データが必要である。
【０００３】
符号化データには、当該フレームの符号化データのみで復号が可能なＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、当該フレームの符号化データと以前に復号化された過去のＩピクチャまたはＰピクチャから復号が可能なＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｕｔｒｅ）、当該フレームの符号化データと以前に復号化された過去および未来のＩピクチャまたはＰピクチャから復号が可能なＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の３種類がある。
【０００４】
Ｂピクチャは復号化の際、未来のデータを必要とするため符号化する場合には順を入れ替えて符号化する。ＩピクチャとＰピクチャは未来のデータを必要としないため符号化する場合には順を入れ替えず符号化する。
【０００５】
ＭＰＥＧ方式における高速再生では、画像の表示間隔を短くし、再生速度と処理性能によってはＢピクチャを破棄して表示または、Ｂピクチャ及び、Ｐピクチャを破棄して表示する方法が一般的である。
【０００６】
このような高速再生において、ユーザの主な場面探索方法は、高速再生中の表示画像を目視し、ユーザの任意の操作タイミングで再生を開始する方法である。しかし、所望の画像を発見してから操作した場合は、実際の操作と画像データ処理装置の処理の差分により、所望の画像から行き過ぎて高速再生を停止し、行き過ぎることを見越して早めに操作した場合は、所望の画像より高速再生の停止が早すぎる傾向にある。また、高速再生の停止と再開を繰り返すことでようやく所望の画像に到達することもある。
【０００７】
従来の画像データ処理装置において、高速再生中に復号し、表示した画像を保持し、高速再生を停止したときに、保持していた表示中の画像とそれ以前の画像を一覧表示し、一覧表示した画像のうち、ユーザが選択した画像から再生できるようにすることで、ユーザが所望する画像から行き過ぎた画像で停止した場合における場面探索の利便性を向上させる方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３３８４１号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の画像データ処理装置においては、高速再生による場面探索で、ユーザの所望する画像より高速再生の停止が遅い場合の利便性向上に対応しているが、高速再生の停止が早い場合の利便性向上には対応できていない、という課題があった。
【００１０】
本発明は、高速再生を停止したときに出力中の画像と、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示することで、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する画像データ処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様において、画像データ処理装置は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、予め指定された枚数の画像を前記出力画像から再生順方向と、再生逆方向の画像とをビデオデコーダ部から受信、画像一覧として出力する映像出力制御部を具備する画像データ処理装置である。
【００１２】
かかる構成により、出力画像から予め指定された枚数の再生順方向および再生逆方向の画像を画像一覧として出力するので、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１３】
また、本発明の第２の態様において、画像データ処理装置は、第１の態様に対して、前記映像出力制御部は、前記画像一覧からユーザが指定した画像を開始点として、通常再生、高速再生または、コマ送りの開始を制御する機能を有する画像データ処理装置である。
【００１４】
かかる構成により、画像一覧からユーザが指定した画像を開始点として、通常再生、高速再生または、コマ送りを開始するので、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１５】
また、本発明の第３の態様において、画像データ処理装置は、第１の態様に対して、前記映像出力制御部は、画像一覧を出力するとき、予め指定された枚数の画像を間引いて画像一覧として出力する機能を有する画像データ処理装置である。
【００１６】
かかる構成により、予め指定された枚数の画像を間引いて画像一覧として出力するので、動画像データの時間軸上で探索対象の画像をより広い範囲を表示でき、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１７】
また、本発明の第４の態様において、画像データ処理装置は、第１の態様に対して、高速再生で出力対象となる画像を予め指定された枚数だけ復号、保持してから高速再生を開始し、予め指定された枚数だけ画像を出力したとき、保持している出力済みの画像の中で、最も古い画像を破棄し、高速再生を停止したとき、保持している画像の情報を前記映像出力制御部に送信するビデオデコーダ部を具備する画像データ処理装置である。
【００１８】
かかる構成により、予め指定された枚数だけ画像を出力したとき、保持している出力済みの画像の中で、最も古い画像を破棄するので、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【００１９】
また、本発明の第５の態様において、本発明の画像データ処理装置は、高速再生で出力対象となる画像を高速再生するためのビデオデコーダ部と、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像及び出力画像から、所定の枚数の再生順方向及び再生逆方向の画像を前記ビデオデコーダ部から受信し、画像一覧として出力する映像出力制御部と、を備え、前記ビデオデコーダ部は、高速再生中、出力対象画像を保持し、当該出力対象画像を出力タイミングにあわせ出力し、所定の枚数だけ出力すると、保持している出力済みの画像の中で最も古い画像を破棄し、高速再生を停止すると、保持している画像の情報を前記映像出力制御部に出力する出力部と、前記出力部とは非同期で動作し、出力対象画像を復号するデコーダ部と、を有する。
【００２０】
かかる構成により、十分なデコード性能を持ったデコーダ部が高速再生中にデコード画像を保持することで、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上する。
【発明の効果】
【００２１】
本発明に係る画像データ処理装置によれば、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合におけるユーザの場面探索の利便性が向上させることができる。
【図面の簡単な説明】
【００２２】
【図１】実施の形態１による画像データ処理装置１の構成を示すブロック図
【図２】実施の形態１によるビデオデコーダ部１６のフローチャート
【図３】実施の形態１による字幕デコーダ部１７のフローチャート
【図４】実施の形態１によるオーディオデコーダ部１５のフローチャート
【図５】実施の形態１による映像出力制御部１８のフローチャート
【図６】実施の形態１による高速再生の方法を説明するための図
【図７】高速再生開始から停止までの映像出力制御部１８の動作を説明するための図
【図８】実施の形態１による映像制御部１８の一覧表示を説明するための図
【図９】実施の形態１の変形例１によるデコーダ部１６０Ａのフローチャート
【図１０】実施の形態１の変形例１による出力部１６１Ａのフローチャート
【図１１】実施の形態１の変形例２による映像制御部１８Ａの一覧表示を説明するための図
【図１２】実施の形態１の変形例２による映像制御部１８Ａの一覧表示を説明するための図
【発明を実施するための形態】
【００２３】
以下、実施の形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２４】
（実施の形態１）
本発明の実施の形態１において、高速再生開始時に予め復号した画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示する方法について説明する。
【００２５】
実施の形態１に係る画像データ処理装置１は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力することができ、通常のＡＶ再生だけでなく字幕再生や、早送り、早戻しといった高速再生、コマ送り等も可能である画像データ処理装置である。
【００２６】
ＭＰＥＧ方式とは、ＭＰＥＧ２、ＭＰＥＧ４−ＳＰ、ＭＰＥＧ４−ＡＶＣなどＭＰＥＧ全般が対象である。
【００２７】
図１を参照して、実施の形態１における画像データ処理装置１の構成について説明する。図１は、本実施の形態における画像データ処理装置１のブロック図である。図１に示す画像データ処理装置１は、スピーカ２と、表示デバイス３と、ディスク４やメモリカード５の記録媒体に記録されたデータの入力を制御する入力制御部１０と、メモリ１１と、ＣＰＵ１２と、ユーザインターフェース１３と、多重分離部１４と、オーディオデコーダ部１５、ビデオデコーダ部１６、字幕デコーダ部１７、映像出力制御部１８、とを備える。
【００２８】
ディスク４やメモリカード５に記録されたデータには、画像データ処理装置１で出力可能な、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータが含まれる他、音声データや字幕データも含まれる。
【００２９】
入力制御部１０は、ＣＰＵ１２の制御により、ディスク４やメモリカード５に記録されたデータの入力を制御する。入力制御部１０は、ディスク４やメモリカード５から入力されたデータをメモリ１１に出力する。
【００３０】
多重分離部１４は、ＣＰＵ１２の制御により、メモリ１１から出力されたデータを、オーディオデータ、ＭＰＥＧ方式で符号化された動画像データ（以下、ＭＰＥＧ動画像データと称する）、字幕データに分離する。多重分離部１４は、分離されたオーディオデータをオーディオデコーダ部１５に、動画像データをビデオデコーダ部１６に、字幕データを字幕デコーダ部１７に、それぞれ出力する。
【００３１】
ビデオデコーダ部１６は、デコーダ部１６０と、出力部１６１から構成される。デコーダ部１６０は、高速再生で出力対象となるＭＰＥＧ動画像データを構成する画像を「予め指定された枚数」だけ復号、保持してから高速再生を開始し、「予め指定された枚数」だけ画像を映像出力制御部１８へ出力したとき、保持している出力済みの画像の中で、「最も古い画像」を破棄する。デコーダ部１６０は、高速再生を停止したとき、その時点でデコーダ部１６０が保持している画像の情報を、出力部１６１から映像出力制御部１８に出力する。
【００３２】
ここで、「予め指定された枚数」とは、画像データ処理装置が１内部に持つ設定記憶部に固有で保持する値でも、ユーザがユーザインターフェース１３を介して予め設定する値でも良い。また、再生順方向の枚数、再生逆方向の枚数、それぞれに対して別々の値を、ユーザがユーザインターフェース１３を介して予め指定しても良い。
【００３３】
ここで、「最も古い画像」とは、早送りの場合、時間情報が最も古い先頭方向の画像を指し、早戻しの場合、時間情報が最も新しい終端方向の画像を指す。
【００３４】
デコーダ部１６０は出力対象画像を復号したとき、出力対象画像の時間情報を、出力部１６１からオーディオデコーダ部１５と字幕デコーダ部１７とに出力する。デコーダ部１６０は出力済み画像を破棄したとき、破棄画像の時間情報を、出力部１６１からオーディオデコーダ部１５と字幕デコーダ部１７とに出力する。
【００３５】
デコーダ部１６０は、出力対象画像を、再生速度、1枚あたりの表示時間、デコーダ性能等から判定する。
【００３６】
映像出力制御部１８は、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、出力画像から「予め指定された枚数」の再生順方向および再生逆方向の画像とを、ビデオデコーダ部１６から受けて、表示デバイス３へ画像一覧として出力する。このとき、映像出力制御部１８は、画像一覧に出力される画像に対応する音声認識データ及び字幕データを、それぞれオーディオデコーダ部１５と字幕デコーダ部１７とから受信する。
【００３７】
高速再生の再生方向は、早送り、早戻しのどちらの方向でも実施可能である。再生順方向とは、早送りなら、動画像データの終端方向を、早戻しなら動画像データの先頭方向を指し、再生逆方向とは、早送りなら、動画像データの先頭方向を、早戻しなら動画像データの終端方向を指す。
【００３８】
映像出力制御部１８は、画像一覧を表示デバイス３に表示中、ユーザからユーザインターフェース１３を介して、音声認識データ表示への切り替えを要求された場合、画像一覧を各画像と画像に対応した音声認識データとの合成表示に切り替える。
【００３９】
ここで、音声認識データとは、オーディオデコーダ部１５の音声認識部１５０が、音声データを復号し、音声認識処理して得られる文字列情報である。
【００４０】
また、合成表示の実施方法は、画像と文字列が被る形で表示しても、画像と文字列の関連がわかる程度に被らない形で表示してもよい。画像の出力、表示とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。
【００４１】
同様に、映像出力制御部１８は、画像一覧を表示デバイス３に表示中、ユーザからユーザインターフェース１３を介して、字幕データ表示の切り替えを要求された場合、画像一覧を各画像と画像に対応した字幕データとの合成表示に切り替える。さらに、映像出力制御部１８は、画像一覧を表示デバイス３に表示中、ユーザからユーザインターフェース１３を介して、時間表示の切り替えを要求されたとき、画像一覧を各画像と画像に対応した時間情報との合成表示に切り替える。
【００４２】
また、映像出力制御部１８は、ユーザがユーザインタフェース１３を介して指定した画像を開始点として、通常再生、高速再生または、コマ送りを開始する。
【００４３】
映像出力制御部１８は、ディスプレイ等の出力デバイス３を含んでも良い。映像出力制御部１８は、出力デバイス３のドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４４】
オーディオデコーダ部１５は、音声認識部１５０と、デコーダ部１５１と、出力部１５２とから構成される。デコーダ部１５１がデコーダ部１６０から出力対象画像の時間情報を受信すると、時間情報を基準に予め指定された範囲の時間だけ音声データを復号し、音声認識部１５０が復号した音声データを音声認識処理し、音声認識データの作成と保持する。そして、音声認識部１５０は、デコーダ部１６０から破棄画像の時間情報を受信すると、破棄画像の時間情報に対応する音声認識データを破棄し、高速再生を停止すると、保持している音声認識データの情報を、出力部１５２を介して、映像出力制御部１８に出力するする。
【００４５】
字幕デコーダ部１７は、デコーダ部１６０から出力対象画像の時間情報を受信すると、時間情報を基準に、予め指定された範囲の時間だけ字幕データの復号と保持する。そして、字幕デコーダ部１７は、破棄画像の時間情報を受信すると、破棄画像の時間情報に対応した字幕データを破棄し、高速再生を停止すると、保持している字幕データの情報を映像出力制御部１８に送信する。
【００４６】
映像出力制御部１８、ビデオデコーダ部１６、オーディオデコーダ部１５、字幕デコーダ部１７は、通常、ＭＰＵやメモリ等から実現され得る。字幕デコーダ部１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
次に、画像データ処理装置１の動作について図２〜図５に示すフローチャートを用いて説明する。図２に示すフローチャートは、ビデオデコーダ部１６の動作を示し、図３に示すフローチャートは、字幕デコーダ部１７の動作を示し、図４に示すフローチャートは、オーディオデコーダ部１５の動作を示し、図５に示すフローチャートは、映像出力制御部１８の動作を示す。
【００４８】
ここで、図２を参照して、ビデオデコーダ部１６のデコーダ部１６０の動作を説明する。図２に示すフローチャートのステップは、ステップＳ００１からＳ０１２で構成される。
【００４９】
（ステップＳ００１）
デコーダ部１６０は、高速再生中の場合、停止要求があるかどうかを判定する。
【００５０】
（ステップＳ００２）
デコーダ部１６０は、ステップＳ００１の判定で高速再生の継続を判定したとき、動画像データのフレームヘッダを検索し、発見した動画像データのフレームヘッダの解析を行う。
【００５１】
（ステップＳ００３）
デコーダ部１６０は、ステップＳ００２の解析結果から、発見した画像が高速再生で出力対象の画像であるかどうかを判定する。
【００５２】
（ステップＳ００４）
デコーダ部１６０は、ステップＳ００３の判定で出力対象外と判定したとき、対象画像のデータを破棄して、ステップＳ００１に戻る。
【００５３】
（ステップＳ００５）
デコーダ部１６０は、ステップＳ００３の判定で出力対象と判定したとき、対象画像のデコード処理と、デコード画像の蓄積を行う。
【００５４】
（ステップＳ００６）
デコーダ部１６０は、ステップＳ００５のデコードで得られた時間情報を、出力部１６１からオーディオデコーダ部１５、字幕デコーダ部１７に出力する。
【００５５】
（ステップＳ００７）
デコーダ部１６０は、蓄積されたデコード画像の枚数を判定する。判定条件は、枚数が予め指定された再生順方向枚数（以降ｎとする）＋１以上であるかどうかである。ｎ＋１未満ならステップＳ００１に戻り、ｎ＋１以上ならステップＳ００８の処理を行う。
【００５６】
（ステップＳ００８）
デコーダ部１６０は、最も古い未出力のデコード画像を、再生速度や画像の時間情報等の応じた時間だけ出力する。最も古いとは、早送りの場合、時間情報が最も古い先頭方向の画像、早戻しの場合、時間情報が最も新しい終端方向の画像である。
【００５７】
（ステップＳ００９）
デコーダ部１６０は、表示デバイス３に表示中されている画像を除き、出力済みのデコード画像の枚数を判定する。判定条件は、枚数が予め指定された再生逆方向枚数（以降ｍとする）＋１以上であるかどうかである。ｍ＋１未満ならステップＳ００１に戻り、ｍ＋１以上ならステップＳ０１０の処理を行う。
【００５８】
（ステップＳ０１０）
デコーダ部１６０は、最も古い出力済みのデコード画像を破棄する。
【００５９】
（ステップＳ０１１）
デコーダ部１６０は、ステップＳ０１０で破棄したデコード画像の時間情報を、出力部１６１からオーディオデコーダ部１５、字幕デコーダ部１７に出力する。ステップＳ００１に戻る。
【００６０】
（ステップＳ０１２）
デコーダ部１６０は、ステップＳ００１で高速再生の停止要求があった場合に処理する。デコーダ部１６０は、ビデオデコーダ部１６が保持している最大ｎ＋ｍ＋１枚のデコード画像の情報を、出力部１６１から映像出力制御部１８に出力する。
【００６１】
なお、図２に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００６２】
ここで、図３を参照して、字幕デコーダ部１７の動作を説明する。図３に示すフローチャートのステップは、ステップＳ１０１からＳ１０６で構成される。
【００６３】
（ステップＳ１０１）
字幕デコーダ部１７は、高速再生中の場合、停止要求があるかどうかを判定する。
【００６４】
（ステップＳ１０２）
字幕デコーダ部１７は、ステップＳ１０１で高速再生の継続と判定すると、ビデオデコーダ部１６からデコード画像の時間情報を受信しているかどうかを判定する。字幕デコーダ部１７は、デコード画像の時間情報を受信していればステップＳ１０３の処理を、デコード画像の時間情報を受信していなければステップＳ１０４の処理を行う。
【００６５】
（ステップＳ１０３）
字幕デコーダ部１７は、デコード画像の時間情報を、受信したデコード画像の時間情報（以降Ｔとする）から予め指定された時間（以降Ｔ１とする）を引いた時間の範囲（Ｔ−Ｔ１からＴまで）にある字幕データを検索、デコード、蓄積する。
【００６６】
（ステップＳ１０４）
字幕デコーダ部１７は、ビデオデコーダ部１６から破棄したデコード画像の時間情報を受信しているかどうかを判定する。字幕デコーダ部１７は、破棄したデコード画像の時間情報を受信していればステップＳ１０５の処理を、破棄したデコード画像の時間情報を受信していなければステップＳ１０１に戻る。
【００６７】
（ステップＳ１０５）
字幕デコーダ部１７は、受信したデコード画像の時間情報に対応した字幕データを破棄する。
【００６８】
（ステップＳ１０６）
字幕デコーダ部１７は、ステップＳ１０１で高速再生の停止要求があった場合に処理する。字幕デコーダ部１７が保持している字幕データの情報を映像出力制御部１８に出力する。
【００６９】
なお、図３に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００７０】
ここで、図４を参照して、オーディオデコーダ部１５の動作を説明する。図４に示すフローチャートのステップは、ステップＳ２０１からＳ２０７で構成される。
【００７１】
（ステップＳ２０１）
音声認識部１５０は、高速再生中の場合、停止要求があるかどうかを判定する。
【００７２】
（ステップＳ２０２）
音声認識部１５０は、ステップＳ２０１で高速再生の継続を判定すると、音声認識部１５０は、ビデオデコーダ部１６からデコード画像の時間情報を受信しているかどうかを判定する。音声認識部１５０は、デコード画像の時間情報を受信していればステップＳ２０３の処理を、デコード画像の時間情報を受信していなければステップＳ２０５の処理を行う。
【００７３】
（ステップＳ２０３）
デコーダ部１５１は、受信したデコード画像の時間情報から予め指定された時間（以下Ｔ２、Ｔ３とする）の範囲（Ｔ−Ｔ２からＴ＋Ｔ３まで）のオーディオデータを検索、デコードする。
【００７４】
（ステップＳ２０４）
音声認識部１５０は、ステップＳ２０３でデコードしたオーディオデータの音声認識処理をし、音声認識データを蓄積する。
【００７５】
（ステップＳ２０５）
音声認識部１５０は、ビデオデコーダ部１６から破棄したデコード画像の時間情報を受信しているかどうかを判定する。音声認識部１５０は、破棄したデコード画像の時間情報を受信していればステップＳ２０６の処理を、音声認識部１５０が破棄したデコード画像の時間情報を受信していなければステップＳ２０１に戻る。
【００７６】
（ステップＳ２０６）
音声認識部１５０は、受信したデコード画像の時間情報に対応した音声認識データを破棄する。
【００７７】
（ステップＳ２０７）
音声認識部１５０は、ステップＳ２０１で高速再生の停止要求があった場合に処理する。音声認識部１５０は、オーディオデコーダ部１５が保持している音声認識データの情報を、出力部１５２を介して、映像出力制御部１８に出力する。
【００７８】
なお、図４に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００７９】
ここで、図５を参照して、映像出力制御部１８の動作を説明する。図５に示すフローチャートのステップは、ステップＳ３０１からＳ３１４で構成される。
【００８０】
（ステップＳ３０１）
映像出力制御部１８は、高速再生中の場合、停止要求があるかどうかを判定する。
【００８１】
（ステップＳ３０２）
映像出力制御部１８は、ステップＳ３０１の判定で高速再生の継続を判定すると、映像出力制御部１８は、ビデオデコーダ部１６からデコード画像を受信しているかどうかを判定する。映像出力制御部１８は、デコード画像を受信していればステップＳ３０３の処理を行う。映像出力制御部１８がデコード画像を受信していなければステップＳ３０１に戻る。
【００８２】
（ステップＳ３０３）
映像出力制御部１８は、受信したデコード画像で、表示デバイス３の画像一覧に表示されている画面を更新する。そして、ステップＳ３０１に戻る。
【００８３】
（ステップＳ３０４）
映像出力制御部１８は、ステップＳ３０１で高速再生の停止要求があった場合に処理する。映像出力制御部１８は、オーディオデコーダ部１５、ビデオデコーダ部１６、字幕デコーダ部１７からそれぞれ音声認識データ、デコード画像、字幕データの情報を受信するのを待つ。
【００８４】
（ステップＳ３０５）
映像出力制御部１８は、ステップＳ３０４の受信待ち完了後、デコード画像の出力画面への一覧表示をする。
【００８５】
（ステップＳ３０６）
映像出力制御部１８は、字幕表示の切り替え要求があるかどうかを判定する。
【００８６】
（ステップＳ３０７）
映像出力制御部１８は、ステップＳ３０６で字幕表示の切り替え要求があると判定すると、映像出力制御部１８は、一覧表示中の各画像と画像に対応した字幕データを、合成表示ＯＮであれば合成して表示デバイス３に表示し、合成表示ＯＦＦであれば表示デバイス３に画像のみ表示するようにする。
【００８７】
（ステップＳ３０８）
映像出力制御部１８は、音声認識データ表示の切り替え要求があるかどうかを判定する。
【００８８】
（ステップＳ３０９）
映像出力制御部１８は、ステップＳ３０８で音声認識データ表示の切り替え要求があると判定すると、映像出力制御部１８は、一覧表示中の各画像と画像に対応した音声認識データを、合成表示ＯＮであれば合成して表示デバイス３に表示し、合成表示ＯＦＦであれば画像のみを表示デバイス３に表示する。
【００８９】
（ステップＳ３１０）
映像出力制御部１８は、時間情報データ表示の切り替え要求があるかどうかを判定する。
【００９０】
（ステップＳ３１１）
映像出力制御部１８は、ステップＳ３１０で時間情報データ表示の切り替え要求があると判定すると、映像出力制御部１８は、表示デバイス３に表示されている画像一覧の各画像と各画像に対応した時間情報データとを、合成表示ＯＮであれば合成して表示デバイス３に表示し、合成表示ＯＦＦであれば画像のみを表示デバイス３に表示する。
【００９１】
（ステップＳ３１２）
映像出力制御部１８は、再生開始の要求があるかどうかを判定する。要求がない場合、ステップＳ３０６に戻る。
【００９２】
（ステップＳ３１３）
映像出力制御部１８は、ステップＳ３１２で通常再生の開始を判定すると、映像出力制御部１８は、選択されている画像から通常再生を開始する。
【００９３】
（ステップＳ３１４）
映像出力制御部１８は、ステップＳ３１２で高速再生の開始を判定すると、選択されている画像から高速再生を開始する。
【００９４】
なお、図５に示すフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００９５】
以下、本実施の形態に係る画像データ処理装置１の具体的な動作について、図６〜図８を用いて説明する。
【００９６】
図６は、高速再生時の画像データ処理装置１の具体的な動作を説明するための図である。図中の矢印は再生方向を示す。図６に示すようにＩ１〜Ｉ１０で構成されるＩピクチャのみを出力して早送りを行う高速再生の場合、ビデオデコーダ部１６は、Ｐピクチャ（図中では、Ｐ１、Ｐ２のみ示す）、Ｂピクチャ（図中、Ｂ１〜Ｂ４のみ示す）のデコードをせず破棄、Ｉ１〜Ｉ１０で構成されるＩピクチャをデコードする。そして、ビデオデコーダ部１６は、指定された速度に応じた出力時間だけ、「予め指定された枚数」の画像を表示デバイス３に出力する。例えば１０倍速でＩピクチャの間隔が１秒毎であれば出力時間は１００ｍｓとなる。
【００９７】
図７は、高速再生を開始してから停止するまでの画像データ処理装置１の動作を説明するための図である。ユーザは、ユーザインターフェース１３を介して、再生順方向枚数ｎと再生逆方向枚数ｍを設定することができる。本例ではｎ＝４、ｍ＝４と設定する。
【００９８】
図７において、画像データ処理装置１は、再生方向に向けて１２枚の画像（ＩピクチャーＩ１〜Ｉ１２に対応）を処理するものとする。また、図７の縦軸は時間を示し、矢印の向きに時間が進んでいるものとする。
【００９９】
図７に示すように、高速再生開始時、映像出力制御部１８は、ｎ＋１の５枚のデコード済みの画像を蓄積する。高速再生直後、画像（ＩピクチャーＩ１に対応）が映像出力制御部１８から表示デバイス３に出力され、映像出力制御部１８には、未出力のデコード画像（ＩピクチャーＩ２〜Ｉ４に対応）が蓄積される。
【０１００】
高速再生中、映像出力制御部１８に出力済みの画像（ＩピクチャーＩ１〜Ｉ４に対応）がｍ＋１の５枚以上蓄積されると、映像出力制御部１８は、表示デバイス３に表示中の画像（ＩピクチャーＩ１〜Ｉ５に対応）から一番遠い、先頭方向の画像（ＩピクチャーＩ１に対応）を削除する。
【０１０１】
高速再生停止時、ビデオデコーダ部１６が保持しているｎ＋ｍ＋１の９枚の画像の情報を映像出力制御部１８に出力し、画像情報を受信した映像出力制御部１８は、デコード画像を画像一覧として表示デバイス３で表示する。
【０１０２】
ここで、図８を参照して、画像一覧としてデコード画像を表示デバイス３に表示する例を説明する。図８は、画像一覧の表示例を示す図である。
【０１０３】
高速再生停止時、表示デバイス３に表示されている画像（ＩピクチャーＩ７に対応）が、表示デバイス３の中心に表示されている。そして、表示デバイス３の左上に向かって動画の先頭方向の画像を、右下に向かって動画の終端方向の画像を表示している。
【０１０４】
図８に示す表示例では、各画像の左上に時間情報（例えば、０：１２：２０）を合成表示し、各画像の下に字幕データ（例えば、ｇｇｇ ｇｇｇ）を合成表示している。ただし、音声認識データは表示していない。ユーザは、ユーザインテーフェース１３を介して、画像を選択して、時間情報、字幕データ、音声認識データをそれぞれについて、合成表示する。
【０１０５】
各データの表示選択は、例えば、地上デジタル放送に対応したリモコンであれば、各色のボタンの押下で選択できる。パーソナルコンピュータ上のソフトであれば、別途用意されたチェックボックス等で選択できる。
【０１０６】
以上、本実施の形態に係る画像データ処理装置１によれば、高速再生開始時に予め復号した画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示できる。これにより、ユーザの場面探索の利便性を向上することができる。また、音声認識データ、字幕データ、時間情報の合成表示により判断材料が増えるため、場面探索の利便性を向上することができる。
【０１０７】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。
【０１０８】
（変形例１）
ここで、実施の形態１の変形例１である画像データ処理装置１Ａにおいて、十分なデコード性能を持ったデコーダが高速再生中にデコード画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示する方法について説明する。
【０１０９】
変形例１では、デコーダ部１６０Ａと出力部１６１Ａとで構成されるビデオデコーダ部１６Ａの動作が、実施の形態１におけるビデオデコーダ部１６の動作と異なる。それ以外の構成は、実施の形態１と同じ機能を有するため、同じ参照番号を付記し、その詳細な説明を省略する。
【０１１０】
変形例１では、ビデオデコーダ部１６Ａは、高速再生中、出力対象画像を保持し、出力対象画像を出力タイミングにあわせ出力し、予め指定された枚数だけ出力したとき、保持している出力済みの画像の中で最も古い画像を破棄し、高速再生を停止したとき、予め指定された枚数だけ保持するまで待ち、保持している場合、保持画像の情報を映像出力制御部１８に送信する出力部１６１Ａと、出力部とは非同期で動作し出力対象画像を復号するデコーダ部１６０Ａを有する。デコーダ部１６０Ａは、高速再生における1枚あたりの表示時間より十分に速いデコード性能を持っている方が好ましい。
【０１１１】
ビデオデコーダ部１６Ａは、通常、ＭＰＵやメモリ等から実現され得る。ビデオデコーダ部１６Ａの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１１２】
次に、実施の形態１の変形例である画像データ処理装置１Ａの動作について、図９、１０のフローチャートを用いて説明する。図９に示すステップＳ４０１からＳ４０６はビデオデコーダ部１６Ａ内のデコーダ部１６０Ａの動作である。
【０１１３】
（ステップＳ４０１）
デコーダ部１６０Ａは、高速再生中の場合、停止要求があるかどうかを判定する。
【０１１４】
（ステップＳ４０２）
デコーダ部１６０Ａは、ステップＳ４０１の判定で高速再生の継続を判定したとき、動画像データのフレームヘッダを検索し、発見した符号化されている画像データのフレームヘッダの解析を行う。
【０１１５】
（ステップＳ４０３）
デコーダ部１６０Ａは、ステップＳ４０２の解析結果から、発見した画像が高速再生で出力対象の画像であるかどうかを判定する。
【０１１６】
（ステップＳ４０４）
デコーダ部１６０Ａは、ステップＳ４０３の判定で出力対象外と判定したとき、対象画像のデータを破棄して、ステップＳ４０１に戻る。
【０１１７】
（ステップＳ４０５）
デコーダ部１６０Ａは、ステップＳ４０３の判定で出力対象と判定したとき、対象画像のデコード処理と、デコード画像の蓄積を行う。
【０１１８】
（ステップＳ４０６）
デコーダ部１６０Ａは、ステップＳ４０５のデコードで得られた時間情報を、オーディオデコーダ部１５、字幕デコーダ部１７に送信し、ステップＳ４０１に戻る。
【０１１９】
図１０に示すステップＳ４１０からＳ４１８はビデオデコーダ部１６内の出力部１６１Ａの動作である。
【０１２０】
（ステップＳ４１０）
出力部１６１Ａは、高速再生中の場合、停止要求があるかどうかを判定する。
【０１２１】
（ステップＳ４１１）
出力部１６１Ａは、ステップＳ４１０の判定で高速再生の継続を判定したとき、デコーダ部１６０がデコードした画像があるかどうか判定する。デコード画像がなければ、ステップＳ４１０に戻る。
【０１２２】
（ステップＳ４１２）
出力部１６１Ａは、ステップＳ４１１の判定でデコード画像があると判定したとき、デコード画像が高速再生での出力タイミングになっているかどうか判定する。出力タイミングでなければ、ステップＳ４１０に戻る。
【０１２３】
（ステップＳ４１３）
出力部１６１Ａは、ステップＳ４１２の判定で出力タイミングになっていれば、高速再生の速度等から算出された出力時間だけデコード画像を出力する。
【０１２４】
（ステップＳ４１４）
出力部１６１Ａは、表示中を除く、出力済みのデコード画像の枚数を判定する。判定条件は、枚数が予め指定された再生逆方向枚数（以降ｍとする）＋１以上であるかどうかである。ｍ＋１未満ならステップＳ４１０に戻り、ｍ＋１以上ならステップＳ４１５の処理を行う。
【０１２５】
（ステップＳ４１５）
出力部１６１Ａは、最も古い出力済みのデコード画像を破棄する。
【０１２６】
（ステップＳ４１６）
出力部１６１Ａは、ステップＳ４１５で破棄したデコード画像の時間情報を、オーディオデコーダ部１５、字幕デコーダ部１７に送信する。ステップＳ４１０に戻る。
【０１２７】
（ステップＳ４１７）
出力部１６１Ａは、ステップＳ４１０で高速再生の停止要求があった場合に処理する。出力していないデコード画像の枚数を判定し、枚数が予め指定された再生順方向枚数（以降ｎとする）未満なら、本ステップを繰り返し、ｎ枚以上ならステップＳ４１８の処理を行う。
【０１２８】
（ステップＳ４１８）
出力部１６１Ａは、保持しているデコード画像の情報を映像出力制御部１８に送信する。
【０１２９】
なお、図９、１０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１３０】
以下、本実施の形態における画像データ処理装置１の具体的な動作について説明する。ユーザはユーザインターフェース１３を利用して、再生順方向枚数ｎと再生逆方向枚数ｍを設定することができる。本例ではｎ＝４、ｍ＝４と設定する。
【０１３１】
ビデオデコーダ部１６Ａ内のデコーダ部１６０Ａは、高速再生開始後、Ｉピクチャのみを出力する早送りである場合、Ｉピクチャの検索とデコード処理を出力部１６１Ａとは非同期で、処理性能に応じて行う。高速再生中、デコード画像がｎ＋ｍ＋１の９枚の画像を蓄積したとき、Ｉピクチャの検索とデコード処理を停止し、出力部１６１Ａのデコード画像の破棄を検出したとき、処理を再開する。
【０１３２】
ビデオデコーダ部１６Ａ内の出力部１６１Ａは、高速再生中、デコーダ部１６０がデコードした画像があれば出力する。出力済みの画像がｍ＋１の５枚以上蓄積されると表示中の画像から一番遠い、先頭方向の画像を削除する。高速再生を停止したとき、未出力のデコード画像ｎの４枚以上になるまで待ち、４枚以上になれば画像の情報を映像出力制御部１８に送信し、受信した映像出力制御部１８はデコード画像を一覧表示する。
【０１３３】
以上、本実施の形態によれば、十分なデコード性能を持ったデコーダが高速再生中にデコード画像を保持することで、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示できる。これにより、ユーザの場面探索の利便性を向上することができる。また、音声認識データ、字幕データ、時間情報の合成表示により、場面探索の際の判断材料を増えるため、場面探索の利便性を向上することができる。
【０１３４】
（変形例２）
実施の形態１の変形例２である画像データ処理装置１Ｂにおいて、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧表示する際、動画像データの時間軸上で、より広い範囲を表示する方法について説明する。
【０１３５】
変形例２では、映像出力制御部１８Ａ及びＣＰＵ１２Ａの動作が、実施の形態１における映像出力制御部１８及びＣＰＵ１２の動作と異なる。それ以外の構成は、実施の形態１と同じ機能を有するため、同じ参照番号を付記し、その詳細な説明を省略する。
【０１３６】
映像出力制御部１８Ａは、高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、出力画像から予め指定された枚数の再生順方向および再生逆方向の画像とをビデオデコーダ部１６から受信し、予め指定された枚数の画像を間引いて画像一覧として出力する。
【０１３７】
以下、変形例２における画像データ処理装置１Ｂの具体的な動作について、図１１を用いて説明する。ユーザはユーザインターフェース１３を利用して、再生順方向枚数ｎと再生逆方向枚数ｍの設定及び、デコード画像の一覧表示方法を設定することができる。本例ではｎ＝４、ｍ＝４と設定し、デコード画像の一覧表示方法を、高速再生停止時の出力画像から動画像データの時間軸が離れるに従って間引く枚数を０枚、１枚、２枚と増加させていくように設定する。
【０１３８】
ＣＰＵ１２Ａは、ｎ、ｍの値と間引き方法からビデオデコーダ部１６に対して、デコード画像の蓄積枚数を設定する。本実施の形態では、再生順方向になる未出力の画像を１０枚、再生逆方向になる出力済みの画像を１０枚と設定する。
【０１３９】
ビデオデコーダ部１６は、高速再生を停止したとき、出力中のデコード画像を含めた１０＋１０＋１の２１枚の画像の情報を映像出力制御部１８に送信する。映像出力制御部１８Ａは、図１１のように出力中の画像から動画像データの時間軸上で離れるに従って０枚、１枚、２枚、３枚と間引いて一覧表示する。
【０１４０】
以上、変形例２によれば、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧表示する際、動画像データの時間軸上で、より広い範囲を表示できる。また、本実施の形態によれば、図１２のように１枚毎や、２枚毎のように間引く画像の枚数を一定枚数にして一覧表示することができる。
【０１４１】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１４２】
以上のように、本発明にかかる画像データ処理装置は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータの高速再生において、高速再生を停止したときに出力中の画像と、高速再生停止以前に出力した画像と、停止以降に出力する予定の画像を一覧として表示することで、高速再生の停止がユーザの所望する画像より遅い場合と、早い場合にユーザの場面探索の利便性が向上するという効果を有し、ＤＶＤやＢＤなどの光ディスク、ＨＤＤやＳＤなどのストレージデバイス、レコーダや携帯端末などの機器に記録された動画の再生等として有用である。
【符号の説明】
【０１４３】
１、１Ａ、１Ｂ 画像データ処理装置
２ スピーカ
３ 表示デバイス
４ ディスク
５ メモリカード
１０ 入力制御部
１１ メモリ
１２ ＣＰＵ
１３ ユーザインターフェース
１４ 多重分離部
１５ オーディオデコーダ部
１６、１６Ａ ビデオデコーダ部
１７ 字幕デコーダ部
１８、１８Ａ 映像出力制御部
１５０ 音声認識部
１５１ デコーダ部
１５２ 出力部
１６０、１６０Ａ デコーダ部
１６１、１６１Ａ 出力部
【特許請求の範囲】
【請求項１】
ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、
高速再生で出力対象となる画像を予め指定された枚数だけ復号、保持してから高速再生を開始するビデオデコーダ部と、
高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、出力画像から予め指定された枚数の再生順方向および再生逆方向の画像とを前記ビデオデコーダ部から受信し、画像一覧として出力する映像出力制御部と、を具備する画像データ処理装置。
【請求項２】
前記映像出力制御部は、前記画像一覧からユーザが指定した画像を開始点として、通常再生、高速再生または、コマ送りの開始を制御する機能を有する請求項１に記載の画像データ処理装置。
【請求項３】
前記映像出力制御部は、画像一覧を出力するとき、予め指定された枚数の画像を間引いて画像一覧として出力する機能を有する請求項１に記載の画像データ処理装置。
【請求項４】
前記ビデオデコーダ部は、予め指定された枚数だけ画像を出力したとき、保持している出力済みの画像の中で、最も古い画像を破棄し、高速再生を停止したとき、保持している画像の情報を前記映像出力制御部に送信する請求項１に記載の画像データ処理装置。
【請求項５】
ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、
高速再生で出力対象となる画像を高速再生するためのビデオデコーダ部と、
高速再生停止後、高速再生の停止指示を受けた時点で出力している画像及び出力画像から、所定の枚数の再生順方向及び再生逆方向の画像を前記ビデオデコーダ部から受信し、画像一覧として出力する映像出力制御部と、を備え、
前記ビデオデコーダ部は、
高速再生中、出力対象画像を保持し、当該出力対象画像を出力タイミングにあわせ出力し、所定の枚数だけ出力すると、保持している出力済みの画像の中で最も古い画像を破棄し、
高速再生を停止すると、保持している画像の情報を前記映像出力制御部に出力する出力部と、
前記出力部とは非同期で動作し、出力対象画像を復号するデコーダ部と、を有する、画像データ処理装置。
【請求項１】
ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、
高速再生で出力対象となる画像を予め指定された枚数だけ復号、保持してから高速再生を開始するビデオデコーダ部と、
高速再生停止後、高速再生の停止指示を受けた時点で出力している画像と、出力画像から予め指定された枚数の再生順方向および再生逆方向の画像とを前記ビデオデコーダ部から受信し、画像一覧として出力する映像出力制御部と、を具備する画像データ処理装置。
【請求項２】
前記映像出力制御部は、前記画像一覧からユーザが指定した画像を開始点として、通常再生、高速再生または、コマ送りの開始を制御する機能を有する請求項１に記載の画像データ処理装置。
【請求項３】
前記映像出力制御部は、画像一覧を出力するとき、予め指定された枚数の画像を間引いて画像一覧として出力する機能を有する請求項１に記載の画像データ処理装置。
【請求項４】
前記ビデオデコーダ部は、予め指定された枚数だけ画像を出力したとき、保持している出力済みの画像の中で、最も古い画像を破棄し、高速再生を停止したとき、保持している画像の情報を前記映像出力制御部に送信する請求項１に記載の画像データ処理装置。
【請求項５】
ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する画像データ処理装置であって、
高速再生で出力対象となる画像を高速再生するためのビデオデコーダ部と、
高速再生停止後、高速再生の停止指示を受けた時点で出力している画像及び出力画像から、所定の枚数の再生順方向及び再生逆方向の画像を前記ビデオデコーダ部から受信し、画像一覧として出力する映像出力制御部と、を備え、
前記ビデオデコーダ部は、
高速再生中、出力対象画像を保持し、当該出力対象画像を出力タイミングにあわせ出力し、所定の枚数だけ出力すると、保持している出力済みの画像の中で最も古い画像を破棄し、
高速再生を停止すると、保持している画像の情報を前記映像出力制御部に出力する出力部と、
前記出力部とは非同期で動作し、出力対象画像を復号するデコーダ部と、を有する、画像データ処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−３５４４７（Ｐ２０１１−３５４４７Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７６７０９（Ｐ２００９−１７６７０９）
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]