再生装置および再生方法
【課題】符号化データから再構成された同期フレームの早送り再生または巻き戻し再生時の画質を向上させ、その再構成のための復号処理の負荷を軽減させる。
【解決手段】再生装置１は、指定速度に基づいて、データ蓄積部１０から読み出された圧縮符号化データから再構成されるべきフレーム群を仮候補フレーム群として選択する仮候補フレーム選択部１１０と、同期フレームに相当する仮候補フレームを候補フレームとして設定し、非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部１１１とを備える。
【解決手段】再生装置１は、指定速度に基づいて、データ蓄積部１０から読み出された圧縮符号化データから再構成されるべきフレーム群を仮候補フレーム群として選択する仮候補フレーム選択部１１０と、同期フレームに相当する仮候補フレームを候補フレームとして設定し、非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部１１１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化データを復号し、その復号データを指定速度で再生する技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式では、フレーム内符号化とフレーム間予測符号化とを併用するのが一般的である。フレーム内符号化では、各画像フレームは他の画像フレームを使用せずに符号化される。たとえば、ＭＰＥＧ（Moving Picture Experts Group）方式では、各画像フレームを複数のマクロブロックに分割し、各マクロブロックに、直交変換（たとえば、離散コサイン変換：ＤＣＴ）、量子化およびエントロピー符号化を順に施して符号化データが生成される。フレーム内符号化の対象（以下「同期フレーム」と呼ぶ。）は、一連の画像フレームの中から周期的にあるいはビットレートに応じて適応的に選択される。
【０００３】
同期フレームと同期フレームとの間に位置する画像フレーム（以下「非同期フレーム」と呼ぶ。）は、フレーム間予測符号化により圧縮される。フレーム間予測符号化では、ある非同期フレームを符号化するために、この非同期フレームに対して時間的に前方、後方または双方向に隣接する少なくとも１つの画像フレームを使用する必要がある。ＭＰＥＧ方式では、これら隣接する画像フレームから、符号化対象の非同期フレームを予測して予測フレームを生成し、この予測フレームと符号化対象の非同期フレームとの間の差分フレームを生成する。そして、この差分フレームを複数のマクロブロックに分割し、各マクロブロックに直交変換、量子化およびエントロピー符号化を順に施すことにより符号化データが生成される。
【０００４】
よって、フレーム間予測符号化により生成された符号化データを復号して元の非同期フレームを再構成するには、他の画像フレームの再構成を待たねばならないので、非同期フレーム再構成用の復号処理にかかる負荷は、同期フレーム再構成用の復号処理のそれと比べると大きい。それ故、動画像の早送り再生または巻き戻し再生を行うときは、非同期フレームを再構成せずに、同期フレームのみを再構成し、この再構成された同期フレームのみを再生することで早送り再生または巻き戻し再生を効率的に実行し、処理負荷の軽減を図ることができる。この種の再生技術は、たとえば、特許文献１（特開平５−３４４４９４号公報）および特許文献２（特開２００３−８７７３２号公報）に開示されている。
【０００５】
特許文献１と特許文献２に開示される再生技術では、早送り再生または巻き戻し再生時に、非同期フレーム（ＢピクチャやＰピクチャ）の代わりに、当該非同期フレームに対して時間的に前方または直近の同期フレーム（Ｉピクチャ）が再構成される。
【特許文献１】特開平５−３４４４９４号公報
【特許文献２】特開２００３−８７７３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術には動画像の再生画質が低いという問題がある。携帯電話機などの移動通信端末においても、通信ネットワークを通じてダウンロードされた動画像や記録媒体から読み出された動画像を早送り再生する機能が求められている。実装上の制約から携帯電話機などの移動通信端末の画像処理能力は低いので、特許文献１や特許文献２の再生技術を移動通信端末に適用することは、処理速度の向上と処理負荷の軽減の観点からは、好ましい。しかしながら、近年の携帯電話機には高精細な表示装置が搭載されており、この表示装置に低画質の動画像が表示されると、画質の粗さが目立つという問題がある。
【０００７】
本発明は上記に鑑みてなされたものであり、符号化データから再構成された同期フレームの早送り再生または巻き戻し再生時の画質を向上させ、しかもその再構成のための復号処理の負荷を軽減させ得る再生装置および再生方法を提供するものである。
【課題を解決するための手段】
【０００８】
本発明によれば、データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生装置が提供される。この再生装置は、前記圧縮符号化データを記憶するデータ蓄積部と、前記指定速度に基づいて、前記データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択する仮候補フレーム選択部と、前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部と、前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレーム群のみを再構成する復号部と、当該再構成された候補フレーム群を前記指定速度で再生するフレーム再生部と、を備えたものである。
【０００９】
また、本発明によれば、データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生方法が提供される。この再生方法は、前記指定速度に基づいて、データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択するステップと、前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定するステップと、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定するステップと、前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成するステップと、当該再構成された候補フレームを前記指定速度で再生するステップと、を備えたものである。
【発明の効果】
【００１０】
上記の通り、本発明による再生装置および再生方法は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する。このような候補フレームのみが選択的に再構成されるので、その再生画質は、従来技術のそれと比べると視覚的に自然である。
【００１１】
また、本発明による再生装置および再生方法は、非同期フレームに相当する仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとして設定せず、時間的に後方（過去）の同期フレームを候補フレームとして設定する。仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとする場合よりも、時間的に後方（過去）の同期フレームを候補フレームとして設定する場合の方が、スムーズで効率的な処理が可能となる。また、仮候補フレームに直近の同期フレームを候補フレームとするだけでは、当該仮候補フレームに対して時間的に双方向（未来及び過去）の同期フレームを参照する必要があり、処理が複雑化する。
【００１２】
したがって、本発明による再生装置および再生方法は、再生画質の向上と復号処理の負荷軽減との両立を可能にするものである。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る実施の形態を図面を参照しつつ説明する。
【００１４】
図１は、本発明に係る一実施形態の再生装置１の概略構成を示す機能ブロック図である。この再生装置１は、データ蓄積部１０、再構成フレーム決定部１１、デコーダ（復号部）１２、再生部１３およびコントローラ（再生制御部）１４を備えている。この再生装置１には、圧縮符号化データを含む符号化ビットストリームＢＳが入力される。圧縮符号化データは、データ信号を構成する一連のフレーム（画像フレームまたは音声フレーム）のうちの同期フレームをフレーム内符号化し、当該一連のフレームのうちの非同期フレームをフレーム間予測符号化することにより生成されたものである。画像フレームの場合、符号化ビットストリームＢＳの生成のための符号化方式として、たとえばＨ．２６４（ＭＰＥＧ４ ＡＶＣ）やＭＰＥＧ−２を使用すればよいが、特に制限されるものではない。
【００１５】
データ蓄積部１０には、符号化ビットストリームＢＳが記憶されている。データ蓄積部１０は、たとえば、光ディスクやハードディスクなどの記録媒体と、この記録媒体を駆動する駆動制御装置とで構成される。デコーダ１２は、データ蓄積部１０から読み出された符号化ビットストリームＢＳを復号して一連のフレームを再構成し、これら再構成されたフレームからなるフレーム信号ＦＤを出力する。再生部１３は、デコーダ１２から転送されたフレーム信号ＦＤを再生する。フレーム信号ＦＤが画像フレームからなる場合、再生部１３は、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置であり、フレーム信号ＦＤが音声フレームからなる場合、再生部１３は、スピーカ（図示せず）を備えた音声再生装置であればよい。
【００１６】
コントローラ１４は、再構成フレーム決定部１１、デコーダ１２および再生部１３の動作を制御し、これによりフレーム信号ＦＤの再生速度を制御する機能を有する。ユーザは、入力装置１５を操作して再生速度の倍率を表すデータをコントローラ１４に入力して再生速度を指定できる。再生速度の倍率として、２倍速や５倍速のように順方向の再生速度（早送り速度）に対応する倍率、あるいは、逆方向の再生速度（巻き戻し速度）に対応する倍率を許容範囲内で指定することが可能である。コントローラ１４は、このように指定された倍率のデータを仮候補フレーム選択部１１０に与える。なお、倍率のデータを仮候補フレーム選択部１１０に与える代わりに、当該倍率に対応する再生速度のデータを仮候補フレーム選択部１１０に与えてもよい。
【００１７】
再構成フレーム決定部１１は、仮候補フレーム選択部１１０と候補フレーム決定部１１１を含む。仮候補フレーム選択部１１０は、指定された倍率（再生速度）に基づいて、データ蓄積部１０から読み出された符号化ビットストリームから再構成されるべきフレーム群を仮候補フレーム群として選択する。たとえば、一連のフレームＦ１，Ｆ２，…，ＦＮの中から周期的に仮候補フレームＦ１，Ｆ１０，Ｆ２０，…を選択してもよいし、あるいは、Ｎ個のフレームＦ１，Ｆ２，…，ＦＮの中から適応的に仮候補フレームＦ１，Ｆ３，Ｆ１０，…を選択してもよい。
【００１８】
候補フレーム決定部１１１は、仮候補フレーム群に基づいて、同期フレームのみからなる候補フレーム群を指定する。具体的には、候補フレーム決定部１１１は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームをそのまま候補フレームとして設定する。一方、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームについては、候補フレーム決定部１１１は、この仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する。ここで、ＭＰＥＧ方式で規定されるＰＴＳ（Presentation Time Stamp）といったタイムスタンプ情報が、各フレームについて設定され、符号化ビットストリームＢＳの中に多重化されている。候補フレーム決定部１１１は、このタイムスタンプ情報に基づいて各フレームの時間軸上の位置を把握することができる。このように設定された候補フレーム群を特定するデータは、デコーダ１２に供給される。
【００１９】
候補フレーム群のうち２以上の候補フレームの時間軸上の位置が重複する場合がある。かかる場合、候補フレーム決定部１１１は、これら２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除する機能を有する。たとえば、同一の同期フレームＦ２３，Ｆ２３が候補フレームとして設定された場合、一方の候補フレームＦ２３の設定が解除される。
【００２０】
デコーダ１２は、データ蓄積部１０から転送された符号化ビットストリームを復号して候補フレーム群のみを再構成し、再構成された候補フレーム群からなるフレーム信号ＦＤを再生部１３に出力する。再生部１３は、デコーダ１２から転送されたフレーム信号ＦＤを再生する。
【００２１】
上記再生装置１の動作を図２〜図５を参照しつつ以下に説明する。図２は、再構成フレーム決定部１１による処理手順を概略的に示すフローチャートである。また、図３、図４および図５は、この処理手順を説明するための図である。
【００２２】
図３は、通常再生時に再構成されるべき一連のフレームを表示時間順に示している。説明の便宜上、フレームにはそれぞれフレーム番号「１」，「２」，…が付されている。また、ハッチングが施されたフレームは同期フレームを、その他のフレームは非同期フレームを表している。図３では、フレーム番号「１」，「１１」，「１９」，「２４」，「４０」を持つフレームが同期フレームである。
【００２３】
仮候補フレーム選択部１１０は、指定された倍率（再生速度）に基づいて、図３に示した一連のフレームの中から仮候補フレームを選択する（ステップＳ１０）。図３を参照すると、仮候補フレームとして、フレーム番号「１」，「１４」，「２４」，「３２」，「４４」，「５０」を持つフレームＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６が順次選択される。
【００２４】
次に、候補フレーム決定部１１１は、仮候補フレームＳｘが同期フレームであるか否かを判定する（ステップＳ１１）。各フレームが同期フレームであるか否かを示す情報は、符号化ビットストリームＢＳの中に多重化されているので、候補フレーム決定部１１１は、符号化ビットストリームＢＳから分離されたヘッダデータを解析して、仮候補フレームＳｘが同期フレームであるか否かを判定できる。仮候補フレームＳｘが同期フレームである場合（ステップＳ１１のＹＥＳ）、候補フレーム決定部１１１は、当該仮候補フレームＳｘをそのまま候補フレームＤｘとして設定する（ステップＳ１３）。一方、仮候補フレームＳｘが同期フレームではなく、非同期フレームである場合は（ステップＳ１１のＮＯ）、仮候補フレームＳｘに対して時間的に後方かつ直近の同期フレームを候補フレームＤｘとして設定する（ステップＳ１２）。
【００２５】
図３を参照すると、仮候補フレームＣ１については、候補フレーム決定部１１１は、仮候補フレームＣ１を同期フレームであると判定し（ステップＳ１１のＹＥＳ）、図４に示されるように、この仮候補フレームＣ１を候補フレームＤ１として設定する（ステップＳ１３）。一方、仮候補フレームＣ２については、候補フレーム決定部１１１は、仮候補フレームＣ２を非同期フレームであると判定し（ステップＳ１１のＮＯ）、図４に示されるように、この仮候補フレームＣ２に対して時間的に後方かつ直近の、フレーム番号「１１」を持つ同期フレームを候補フレームＤ２として設定する（ステップＳ１２）。
【００２６】
その後、候補フレーム決定部１１１は、各候補フレームの時間軸上の位置が他の候補フレームの位置と重複するか否かを判定する（ステップＳ１４）。ある候補フレームの位置が他の候補フレームの位置と重複する場合（ステップＳ１４のＹＥＳ）、当該候補フレームの設定が解除される（ステップＳ１５）。たとえば、図４を参照すると、候補フレームＤ３，Ｄ４は同一の同期フレームに相当するので、候補フレームＤ４の設定が解除される（ステップＳ１５）。また、候補フレームＤ５，Ｄ６は同一の同期フレームに相当するので、候補フレームＤ６の設定が解除されることとなる（ステップＳ１５）。この結果、図５に示されるように、候補フレームＤ１，Ｄ２，Ｄ３，Ｄ５と同期フレームとは一対一に対応する。このように設定された候補フレームを特定するデータは、デコーダ１２に与えられる。
【００２７】
その後、候補フレーム決定部１１１は、コントローラ１４による指令に応じて、以上の処理を終了するか（ステップＳ１６のＹＥＳ）、あるいは、処理を続行して処理手順をステップＳ１０に戻す（ステップＳ１６のＮＯ）。候補フレームの設定は、フレーム単位で行われてもよいし、あるいは、所定数のフレームからなるグループ単位で行われてもよい。
【００２８】
上記再生装置１が奏する効果は以下の通りである。上記の通り、候補フレーム決定部１１１は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームを候補フレームとして設定し（ステップＳ１３）、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームに対しては時間的に後方かつ直近の同期フレームを候補フレームとして設定する（ステップＳ１２）。デコーダ１２は、このように設定された候補フレーム群のみを選択的に再構成するので、視覚的に自然な再生画質を得ることができる。
【００２９】
また、候補フレーム決定部１１１は、非同期フレームに相当する仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとして設定せず、時間的に後方（過去）かつ直近の同期フレームを候補フレームとして設定する（ステップＳ１２）。それ故、従来技術と比べると処理時間の短縮化が可能であり、スムーズな処理が可能である。したがって、早送り再生または巻き戻し再生時の再生画質の向上と復号処理の負荷軽減との両立が可能となる。このような再生装置１は、比較的低い画像処理能力しか持たない携帯電話機などの移動通信端末に適用されることで効果を発揮する。
【００３０】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、上記実施形態では、再構成フレーム決定部１１は、ＣＰＵで実行されるコンピュータ・プログラム（またはプログラムコード）により実現できるものであるが、この代わりに、再構成フレーム決定部１１の全部または一部がハードウェアにより実現されてもよい。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る一実施形態の再生装置の概略構成を示す機能ブロック図である。
【図２】再構成フレーム決定部による処理手順を概略的に示すフローチャートである。
【図３】再構成フレーム決定部による処理手順を説明するための図である。
【図４】再構成フレーム決定部による処理手順を説明するための図である。
【図５】再構成フレーム決定部による処理手順を説明するための図である。
【符号の説明】
【００３２】
１ 再生装置
１０ データ蓄積部
１１ 再構成フレーム決定部
１１０ 仮候補フレーム選択部
１１１ 候補フレーム決定部
１２ デコーダ（復号部）
１３ 再生部
１４ コントローラ
１５ 入力装置
【技術分野】
【０００１】
本発明は、圧縮符号化データを復号し、その復号データを指定速度で再生する技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式では、フレーム内符号化とフレーム間予測符号化とを併用するのが一般的である。フレーム内符号化では、各画像フレームは他の画像フレームを使用せずに符号化される。たとえば、ＭＰＥＧ（Moving Picture Experts Group）方式では、各画像フレームを複数のマクロブロックに分割し、各マクロブロックに、直交変換（たとえば、離散コサイン変換：ＤＣＴ）、量子化およびエントロピー符号化を順に施して符号化データが生成される。フレーム内符号化の対象（以下「同期フレーム」と呼ぶ。）は、一連の画像フレームの中から周期的にあるいはビットレートに応じて適応的に選択される。
【０００３】
同期フレームと同期フレームとの間に位置する画像フレーム（以下「非同期フレーム」と呼ぶ。）は、フレーム間予測符号化により圧縮される。フレーム間予測符号化では、ある非同期フレームを符号化するために、この非同期フレームに対して時間的に前方、後方または双方向に隣接する少なくとも１つの画像フレームを使用する必要がある。ＭＰＥＧ方式では、これら隣接する画像フレームから、符号化対象の非同期フレームを予測して予測フレームを生成し、この予測フレームと符号化対象の非同期フレームとの間の差分フレームを生成する。そして、この差分フレームを複数のマクロブロックに分割し、各マクロブロックに直交変換、量子化およびエントロピー符号化を順に施すことにより符号化データが生成される。
【０００４】
よって、フレーム間予測符号化により生成された符号化データを復号して元の非同期フレームを再構成するには、他の画像フレームの再構成を待たねばならないので、非同期フレーム再構成用の復号処理にかかる負荷は、同期フレーム再構成用の復号処理のそれと比べると大きい。それ故、動画像の早送り再生または巻き戻し再生を行うときは、非同期フレームを再構成せずに、同期フレームのみを再構成し、この再構成された同期フレームのみを再生することで早送り再生または巻き戻し再生を効率的に実行し、処理負荷の軽減を図ることができる。この種の再生技術は、たとえば、特許文献１（特開平５−３４４４９４号公報）および特許文献２（特開２００３−８７７３２号公報）に開示されている。
【０００５】
特許文献１と特許文献２に開示される再生技術では、早送り再生または巻き戻し再生時に、非同期フレーム（ＢピクチャやＰピクチャ）の代わりに、当該非同期フレームに対して時間的に前方または直近の同期フレーム（Ｉピクチャ）が再構成される。
【特許文献１】特開平５−３４４４９４号公報
【特許文献２】特開２００３−８７７３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術には動画像の再生画質が低いという問題がある。携帯電話機などの移動通信端末においても、通信ネットワークを通じてダウンロードされた動画像や記録媒体から読み出された動画像を早送り再生する機能が求められている。実装上の制約から携帯電話機などの移動通信端末の画像処理能力は低いので、特許文献１や特許文献２の再生技術を移動通信端末に適用することは、処理速度の向上と処理負荷の軽減の観点からは、好ましい。しかしながら、近年の携帯電話機には高精細な表示装置が搭載されており、この表示装置に低画質の動画像が表示されると、画質の粗さが目立つという問題がある。
【０００７】
本発明は上記に鑑みてなされたものであり、符号化データから再構成された同期フレームの早送り再生または巻き戻し再生時の画質を向上させ、しかもその再構成のための復号処理の負荷を軽減させ得る再生装置および再生方法を提供するものである。
【課題を解決するための手段】
【０００８】
本発明によれば、データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生装置が提供される。この再生装置は、前記圧縮符号化データを記憶するデータ蓄積部と、前記指定速度に基づいて、前記データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択する仮候補フレーム選択部と、前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部と、前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレーム群のみを再構成する復号部と、当該再構成された候補フレーム群を前記指定速度で再生するフレーム再生部と、を備えたものである。
【０００９】
また、本発明によれば、データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生方法が提供される。この再生方法は、前記指定速度に基づいて、データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択するステップと、前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定するステップと、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定するステップと、前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成するステップと、当該再構成された候補フレームを前記指定速度で再生するステップと、を備えたものである。
【発明の効果】
【００１０】
上記の通り、本発明による再生装置および再生方法は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する。このような候補フレームのみが選択的に再構成されるので、その再生画質は、従来技術のそれと比べると視覚的に自然である。
【００１１】
また、本発明による再生装置および再生方法は、非同期フレームに相当する仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとして設定せず、時間的に後方（過去）の同期フレームを候補フレームとして設定する。仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとする場合よりも、時間的に後方（過去）の同期フレームを候補フレームとして設定する場合の方が、スムーズで効率的な処理が可能となる。また、仮候補フレームに直近の同期フレームを候補フレームとするだけでは、当該仮候補フレームに対して時間的に双方向（未来及び過去）の同期フレームを参照する必要があり、処理が複雑化する。
【００１２】
したがって、本発明による再生装置および再生方法は、再生画質の向上と復号処理の負荷軽減との両立を可能にするものである。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る実施の形態を図面を参照しつつ説明する。
【００１４】
図１は、本発明に係る一実施形態の再生装置１の概略構成を示す機能ブロック図である。この再生装置１は、データ蓄積部１０、再構成フレーム決定部１１、デコーダ（復号部）１２、再生部１３およびコントローラ（再生制御部）１４を備えている。この再生装置１には、圧縮符号化データを含む符号化ビットストリームＢＳが入力される。圧縮符号化データは、データ信号を構成する一連のフレーム（画像フレームまたは音声フレーム）のうちの同期フレームをフレーム内符号化し、当該一連のフレームのうちの非同期フレームをフレーム間予測符号化することにより生成されたものである。画像フレームの場合、符号化ビットストリームＢＳの生成のための符号化方式として、たとえばＨ．２６４（ＭＰＥＧ４ ＡＶＣ）やＭＰＥＧ−２を使用すればよいが、特に制限されるものではない。
【００１５】
データ蓄積部１０には、符号化ビットストリームＢＳが記憶されている。データ蓄積部１０は、たとえば、光ディスクやハードディスクなどの記録媒体と、この記録媒体を駆動する駆動制御装置とで構成される。デコーダ１２は、データ蓄積部１０から読み出された符号化ビットストリームＢＳを復号して一連のフレームを再構成し、これら再構成されたフレームからなるフレーム信号ＦＤを出力する。再生部１３は、デコーダ１２から転送されたフレーム信号ＦＤを再生する。フレーム信号ＦＤが画像フレームからなる場合、再生部１３は、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置であり、フレーム信号ＦＤが音声フレームからなる場合、再生部１３は、スピーカ（図示せず）を備えた音声再生装置であればよい。
【００１６】
コントローラ１４は、再構成フレーム決定部１１、デコーダ１２および再生部１３の動作を制御し、これによりフレーム信号ＦＤの再生速度を制御する機能を有する。ユーザは、入力装置１５を操作して再生速度の倍率を表すデータをコントローラ１４に入力して再生速度を指定できる。再生速度の倍率として、２倍速や５倍速のように順方向の再生速度（早送り速度）に対応する倍率、あるいは、逆方向の再生速度（巻き戻し速度）に対応する倍率を許容範囲内で指定することが可能である。コントローラ１４は、このように指定された倍率のデータを仮候補フレーム選択部１１０に与える。なお、倍率のデータを仮候補フレーム選択部１１０に与える代わりに、当該倍率に対応する再生速度のデータを仮候補フレーム選択部１１０に与えてもよい。
【００１７】
再構成フレーム決定部１１は、仮候補フレーム選択部１１０と候補フレーム決定部１１１を含む。仮候補フレーム選択部１１０は、指定された倍率（再生速度）に基づいて、データ蓄積部１０から読み出された符号化ビットストリームから再構成されるべきフレーム群を仮候補フレーム群として選択する。たとえば、一連のフレームＦ１，Ｆ２，…，ＦＮの中から周期的に仮候補フレームＦ１，Ｆ１０，Ｆ２０，…を選択してもよいし、あるいは、Ｎ個のフレームＦ１，Ｆ２，…，ＦＮの中から適応的に仮候補フレームＦ１，Ｆ３，Ｆ１０，…を選択してもよい。
【００１８】
候補フレーム決定部１１１は、仮候補フレーム群に基づいて、同期フレームのみからなる候補フレーム群を指定する。具体的には、候補フレーム決定部１１１は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームをそのまま候補フレームとして設定する。一方、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームについては、候補フレーム決定部１１１は、この仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する。ここで、ＭＰＥＧ方式で規定されるＰＴＳ（Presentation Time Stamp）といったタイムスタンプ情報が、各フレームについて設定され、符号化ビットストリームＢＳの中に多重化されている。候補フレーム決定部１１１は、このタイムスタンプ情報に基づいて各フレームの時間軸上の位置を把握することができる。このように設定された候補フレーム群を特定するデータは、デコーダ１２に供給される。
【００１９】
候補フレーム群のうち２以上の候補フレームの時間軸上の位置が重複する場合がある。かかる場合、候補フレーム決定部１１１は、これら２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除する機能を有する。たとえば、同一の同期フレームＦ２３，Ｆ２３が候補フレームとして設定された場合、一方の候補フレームＦ２３の設定が解除される。
【００２０】
デコーダ１２は、データ蓄積部１０から転送された符号化ビットストリームを復号して候補フレーム群のみを再構成し、再構成された候補フレーム群からなるフレーム信号ＦＤを再生部１３に出力する。再生部１３は、デコーダ１２から転送されたフレーム信号ＦＤを再生する。
【００２１】
上記再生装置１の動作を図２〜図５を参照しつつ以下に説明する。図２は、再構成フレーム決定部１１による処理手順を概略的に示すフローチャートである。また、図３、図４および図５は、この処理手順を説明するための図である。
【００２２】
図３は、通常再生時に再構成されるべき一連のフレームを表示時間順に示している。説明の便宜上、フレームにはそれぞれフレーム番号「１」，「２」，…が付されている。また、ハッチングが施されたフレームは同期フレームを、その他のフレームは非同期フレームを表している。図３では、フレーム番号「１」，「１１」，「１９」，「２４」，「４０」を持つフレームが同期フレームである。
【００２３】
仮候補フレーム選択部１１０は、指定された倍率（再生速度）に基づいて、図３に示した一連のフレームの中から仮候補フレームを選択する（ステップＳ１０）。図３を参照すると、仮候補フレームとして、フレーム番号「１」，「１４」，「２４」，「３２」，「４４」，「５０」を持つフレームＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６が順次選択される。
【００２４】
次に、候補フレーム決定部１１１は、仮候補フレームＳｘが同期フレームであるか否かを判定する（ステップＳ１１）。各フレームが同期フレームであるか否かを示す情報は、符号化ビットストリームＢＳの中に多重化されているので、候補フレーム決定部１１１は、符号化ビットストリームＢＳから分離されたヘッダデータを解析して、仮候補フレームＳｘが同期フレームであるか否かを判定できる。仮候補フレームＳｘが同期フレームである場合（ステップＳ１１のＹＥＳ）、候補フレーム決定部１１１は、当該仮候補フレームＳｘをそのまま候補フレームＤｘとして設定する（ステップＳ１３）。一方、仮候補フレームＳｘが同期フレームではなく、非同期フレームである場合は（ステップＳ１１のＮＯ）、仮候補フレームＳｘに対して時間的に後方かつ直近の同期フレームを候補フレームＤｘとして設定する（ステップＳ１２）。
【００２５】
図３を参照すると、仮候補フレームＣ１については、候補フレーム決定部１１１は、仮候補フレームＣ１を同期フレームであると判定し（ステップＳ１１のＹＥＳ）、図４に示されるように、この仮候補フレームＣ１を候補フレームＤ１として設定する（ステップＳ１３）。一方、仮候補フレームＣ２については、候補フレーム決定部１１１は、仮候補フレームＣ２を非同期フレームであると判定し（ステップＳ１１のＮＯ）、図４に示されるように、この仮候補フレームＣ２に対して時間的に後方かつ直近の、フレーム番号「１１」を持つ同期フレームを候補フレームＤ２として設定する（ステップＳ１２）。
【００２６】
その後、候補フレーム決定部１１１は、各候補フレームの時間軸上の位置が他の候補フレームの位置と重複するか否かを判定する（ステップＳ１４）。ある候補フレームの位置が他の候補フレームの位置と重複する場合（ステップＳ１４のＹＥＳ）、当該候補フレームの設定が解除される（ステップＳ１５）。たとえば、図４を参照すると、候補フレームＤ３，Ｄ４は同一の同期フレームに相当するので、候補フレームＤ４の設定が解除される（ステップＳ１５）。また、候補フレームＤ５，Ｄ６は同一の同期フレームに相当するので、候補フレームＤ６の設定が解除されることとなる（ステップＳ１５）。この結果、図５に示されるように、候補フレームＤ１，Ｄ２，Ｄ３，Ｄ５と同期フレームとは一対一に対応する。このように設定された候補フレームを特定するデータは、デコーダ１２に与えられる。
【００２７】
その後、候補フレーム決定部１１１は、コントローラ１４による指令に応じて、以上の処理を終了するか（ステップＳ１６のＹＥＳ）、あるいは、処理を続行して処理手順をステップＳ１０に戻す（ステップＳ１６のＮＯ）。候補フレームの設定は、フレーム単位で行われてもよいし、あるいは、所定数のフレームからなるグループ単位で行われてもよい。
【００２８】
上記再生装置１が奏する効果は以下の通りである。上記の通り、候補フレーム決定部１１１は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームを候補フレームとして設定し（ステップＳ１３）、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームに対しては時間的に後方かつ直近の同期フレームを候補フレームとして設定する（ステップＳ１２）。デコーダ１２は、このように設定された候補フレーム群のみを選択的に再構成するので、視覚的に自然な再生画質を得ることができる。
【００２９】
また、候補フレーム決定部１１１は、非同期フレームに相当する仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとして設定せず、時間的に後方（過去）かつ直近の同期フレームを候補フレームとして設定する（ステップＳ１２）。それ故、従来技術と比べると処理時間の短縮化が可能であり、スムーズな処理が可能である。したがって、早送り再生または巻き戻し再生時の再生画質の向上と復号処理の負荷軽減との両立が可能となる。このような再生装置１は、比較的低い画像処理能力しか持たない携帯電話機などの移動通信端末に適用されることで効果を発揮する。
【００３０】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、上記実施形態では、再構成フレーム決定部１１は、ＣＰＵで実行されるコンピュータ・プログラム（またはプログラムコード）により実現できるものであるが、この代わりに、再構成フレーム決定部１１の全部または一部がハードウェアにより実現されてもよい。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る一実施形態の再生装置の概略構成を示す機能ブロック図である。
【図２】再構成フレーム決定部による処理手順を概略的に示すフローチャートである。
【図３】再構成フレーム決定部による処理手順を説明するための図である。
【図４】再構成フレーム決定部による処理手順を説明するための図である。
【図５】再構成フレーム決定部による処理手順を説明するための図である。
【符号の説明】
【００３２】
１ 再生装置
１０ データ蓄積部
１１ 再構成フレーム決定部
１１０ 仮候補フレーム選択部
１１１ 候補フレーム決定部
１２ デコーダ（復号部）
１３ 再生部
１４ コントローラ
１５ 入力装置
【特許請求の範囲】
【請求項１】
データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生装置であって、
前記圧縮符号化データを記憶するデータ蓄積部と、
前記指定速度に基づいて、前記データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択する仮候補フレーム選択部と、
前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部と、
前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成する復号部と、
当該再構成された候補フレームを前記指定速度で再生するフレーム再生部と、
を備える再生装置。
【請求項２】
請求項１記載の再生装置であって、前記候補フレーム決定部は、前記候補フレームのうち２以上の候補フレームの時間軸上の位置が重複したとき、当該２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除する、再生装置。
【請求項３】
請求項２記載の再生装置であって、前記時間軸上の位置は、前記各フレームに付されたタイムスタンプ情報により規定される、再生装置。
【請求項４】
請求項１から３のうちのいずれか１項に記載の再生装置であって、前記指定速度は早送り速度である、再生装置。
【請求項５】
請求項１から３のうちのいずれか１項に記載の再生装置であって、前記指定速度は巻き戻し速度である、再生装置。
【請求項６】
請求項１から５のうちのいずれか１項に記載の再生装置であって、前記フレームは画像フレームである、再生装置。
【請求項７】
請求項１から６のうちのいずれか１項に記載の再生装置であって、前記フレームは音声フレームである、再生装置。
【請求項８】
データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生方法であって、
前記指定速度に基づいて、データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択するステップと、
前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定するステップと、
前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定するステップと、
前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成するステップと、
当該再構成された候補フレームを前記指定速度で再生するステップと、
を備える再生方法。
【請求項９】
請求項８記載の再生方法であって、前記候補フレームのうち２以上の候補フレームの時間軸上の位置が重複したとき、当該２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除するステップを更に備える、再生方法。
【請求項１】
データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生装置であって、
前記圧縮符号化データを記憶するデータ蓄積部と、
前記指定速度に基づいて、前記データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択する仮候補フレーム選択部と、
前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部と、
前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成する復号部と、
当該再構成された候補フレームを前記指定速度で再生するフレーム再生部と、
を備える再生装置。
【請求項２】
請求項１記載の再生装置であって、前記候補フレーム決定部は、前記候補フレームのうち２以上の候補フレームの時間軸上の位置が重複したとき、当該２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除する、再生装置。
【請求項３】
請求項２記載の再生装置であって、前記時間軸上の位置は、前記各フレームに付されたタイムスタンプ情報により規定される、再生装置。
【請求項４】
請求項１から３のうちのいずれか１項に記載の再生装置であって、前記指定速度は早送り速度である、再生装置。
【請求項５】
請求項１から３のうちのいずれか１項に記載の再生装置であって、前記指定速度は巻き戻し速度である、再生装置。
【請求項６】
請求項１から５のうちのいずれか１項に記載の再生装置であって、前記フレームは画像フレームである、再生装置。
【請求項７】
請求項１から６のうちのいずれか１項に記載の再生装置であって、前記フレームは音声フレームである、再生装置。
【請求項８】
データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生方法であって、
前記指定速度に基づいて、データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択するステップと、
前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定するステップと、
前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定するステップと、
前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成するステップと、
当該再構成された候補フレームを前記指定速度で再生するステップと、
を備える再生方法。
【請求項９】
請求項８記載の再生方法であって、前記候補フレームのうち２以上の候補フレームの時間軸上の位置が重複したとき、当該２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除するステップを更に備える、再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−２１８６７５（Ｐ２００９−２１８６７５Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−５７６８４（Ｐ２００８−５７６８４）
【出願日】平成２０年３月７日（２００８．３．７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月７日（２００８．３．７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]