オーディオ・ビデオ復号装置およびオーディオ・ビデオ復号方法
【課題】オーディオとビデオとの同期ずれの発生を抑制することができるようにしたオーディオ・ビデオ復号装置を提供する。
【解決手段】ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満のときは、次フレームの一部分については、通常デコード処理を簡略化した簡易デコード処理（色差処理の省略、輝度のＡＣ成分処理の省略、輝度のＤＣ成分処理の省略など）を行う。
【解決手段】ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満のときは、次フレームの一部分については、通常デコード処理を簡略化した簡易デコード処理（色差処理の省略、輝度のＡＣ成分処理の省略、輝度のＤＣ成分処理の省略など）を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮オーディオ・ビデオ・ストリームを復号するオーディオ・ビデオ復号装置およびオーディオ・ビデオ復号方法に関する。
【背景技術】
【０００２】
図５は従来のオーディオ・ビデオ復号装置の一例の概略的構成図である。このオーディオ・ビデオ復号装置は、アナログ・オーディオ信号をＡＤ変換したオーディオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮オーディオ・ストリームと、アナログ・ビデオ信号をＡＤ変換したビデオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮ビデオ・ストリームとを多重化してなる圧縮オーディオ・ビデオ・ストリームをデコードするものである。
【０００３】
図５中、１は放送メディアや通信メディアや蓄積メディア等から得られる圧縮オーディオ・ビデオ・ストリームを圧縮オーディオ・ストリームと圧縮ビデオ・ストリームとに分離する分離手段である。
【０００４】
２は分離手段１が出力する圧縮オーディオ・ストリームを一時的に格納するためのオーディオ・ストリーム・バッファ、３はオーディオ・ストリーム・バッファ２から読み出された圧縮オーディオ・ストリームをデコードするオーディオ・デコーダである。
【０００５】
４はオーディオ・デコーダ３が出力する再生されたオーディオ・データを一時的に格納するためのＰＣＭバッファ、５はＰＣＭバッファ４内のオーディオ・データを外部に出力するためのオーディオ・データ出力手段であり、分離手段１によって抽出されたオーディオ出力時刻情報に基づいて出力タイミングを決定するものである。
【０００６】
６は分離手段１が出力する圧縮ビデオ・ストリームを一時的に格納するためのビデオ・ストリーム・バッファ、７はビデオ・ストリーム・バッファ６から読み出された圧縮ビデオ・ストリームをデコードするビデオ・デコーダであり、分離手段１によって抽出されたビデオ出力時刻情報に基づいて出力タイミングを決定する。
【０００７】
８〜１１はビデオ・デコーダ７が出力する再生されたビデオ・データをフレーム単位で一時的に格納するためのフレーム・バッファ、１２はフレーム・バッファ８〜１１内のビデオ・データを外部に出力するためのビデオ・データ出力手段である。
【特許文献１】特開２００１−１２８１７１号公報
【特許文献２】特開平９−３１１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図５に示す従来のオーディオ・ビデオ復号装置においては、オーディオ出力とビデオ出力との同期は、分離手段１から抽出されるオーディオ出力時刻情報とビデオ出力時刻情報に基づいて行われるが、ビデオ・デコーダ７が処理の重いフレームをデコードする場合や、ＣＰＵがビデオ・デコーダ７として機能する場合において、ＣＰＵがマルチタスク環境下で動作する場合には、オーディオに対してビデオのデコードが遅れ、オーディオとビデオとの同期ずれが発生してしまう場合がある。
【０００９】
このような場合、たとえば、コマ落ち処理を行い、オーディオとビデオとの同期ずれがなくなるまでの間、静止画を表示するということが行われるが、このような処理を行うと、ユーザにとっては、シーン（場面）の変化が分からないものになってしまうという問題点があった。
【００１０】
本発明は、かかる点に鑑み、オーディオとビデオとの同期ずれの発生を抑制することができるようにしたオーディオ・ビデオ復号装置およびオーディオ・ビデオ復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のオーディオ・ビデオ復号装置は、圧縮オーディオ・ビデオ・ストリームから分離された圧縮ビデオ・ストリームをデコードするビデオ・デコーダと、前記ビデオ・デコーダが出力するビデオ・データをフレーム単位で格納する複数のフレーム・バッファと、前記ビデオ・デコーダが次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行うように前記ビデオ・デコーダを制御するビデオ・デコーダ制御手段とを有するものである。
【００１２】
本発明のオーディオ・ビデオ復号方法は、圧縮オーディオ・ビデオ・ストリームから圧縮ビデオ・ストリームを分離し、前記圧縮ビデオ・ストリームをデコードする処理と、前記圧縮ビデオ・ストリームをデコードしたビデオ・データを複数のフレーム・バッファにフレーム単位で格納する処理と、次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行うものである。
【発明の効果】
【００１３】
本発明によれば、次フレームのデコードを開始する際に、複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理が行われるので、次フレームのデコード処理時間を短くすることができ、複数のフレーム・バッファ内に未表示フレームがなくなるという事態を抑制し、オーディオとビデオとの同期ずれが発生することを抑制することができる。
【００１４】
しかも、本発明によれば、簡易デコード処理は、フレームの一部分について行われるので、コマ落ち処理をして静止画を表示する場合のようにシーンの変化が分からないものになるという事態を回避することができる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明のオーディオ・ビデオ復号装置の一実施形態の概略的構成図である。本発明のオーディオ・ビデオ復号装置の一実施形態は、図５に示す従来のオーディオ・ビデオ復号装置と同様に、アナログ・オーディオ信号をＡＤ変換したオーディオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮オーディオ・ストリームと、アナログ・ビデオ信号をＡＤ変換したビデオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮ビデオ・ストリームとを多重化してなる圧縮オーディオ・ビデオ・ストリームをデコードするものである。
【００１６】
図１中、２１は放送メディアや通信メディアや蓄積メディア等から得られる圧縮オーディオ・ビデオ・ストリームを圧縮オーディオ・ストリームと圧縮ビデオ・ストリームとに分離する分離手段である。
【００１７】
２２は分離手段２１が出力する圧縮オーディオ・ストリームを一時的に格納するためのオーディオ・ストリーム・バッファ、２３はオーディオ・ストリーム・バッファ２２から読み出された圧縮オーディオ・ストリームを所定規格（たとえば、ＭＰＥＧ２規格）に従ってデコードするオーディオ・デコーダである。
【００１８】
２４はオーディオ・デコーダ２３が出力する再生されたオーディオ・データを一時的に格納するためのＰＣＭバッファ、２５はＰＣＭバッファ２４内のオーディオ・データを外部に出力するためのオーディオ・データ出力手段である。
【００１９】
２６は分離手段２１が出力する圧縮ビデオ・ストリームを一時的に格納するためのビデオ・ストリーム・バッファ、２７はビデオ・ストリーム・バッファ２６から読み出された圧縮ビデオ・ストリームを入力して所定規格（たとえば、ＭＰＥＧ２規格）に従った通常のデコード処理又は後述する通常のデコード処理を簡略化した簡易デコード処理を行うビデオ・デコーダである。
【００２０】
２８〜３１はビデオ・デコーダ２７が出力する再生されたビデオ・データをフレーム単位で一時的に格納するためのフレーム・バッファ、３２はフレーム・バッファ２８〜３１内のビデオ・データを外部に出力するためのビデオ・データ出力手段、３３はビデオ・デコーダ制御手段である。
【００２１】
ビデオ・デコーダ制御手段３３は、フレーム・バッファ２８〜３１の使用状況を監視し、フレーム・バッファ２８〜３１の使用状況を示す２ビット構成のデコード・モード信号ＭＯＤＥを生成し、このデコード・モード信号ＭＯＤＥをビデオ・デコーダ２７に与えることにより、ビデオ・デコーダ２７のデコード動作を制御するものである。
【００２２】
本発明のオーディオ・ビデオ復号装置の一実施形態においては、ビデオ・デコーダ２７は、各フレームのデコード処理を開始する際に、ビデオ・デコーダ制御手段３３から与えられているデコード・モード信号ＭＯＤＥを参照し、各フレームについて、この時のデコード・モード信号ＭＯＤＥの値に基づいたデコード処理を行うものとされる。
【００２３】
図２はビデオ・デコーダ制御手段３３の概略的構成図である。ビデオ・デコーダ制御手段３３は、第１のカウンタ３４と、第２のカウンタ３５と、デコード・モード信号生成手段３６を備えている。
【００２４】
第１のカウンタ３４は、フレーム・バッファ２８〜３１内の未表示フレーム数（未表示フレームの全画素データを格納しているフレーム・バッファ数）をカウントするものである。
【００２５】
第２のカウンタ３５は、フレーム・バッファ２８〜３１中、デコード出力のためのライトが行われているフレーム・バッファのライト・ポインタの位置から、このフレーム・バッファのライト済画素数をカウントするものである。
【００２６】
デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値と第２のカウンタ３５のカウント値を入力してデコード・モード信号ＭＯＤＥを生成するものであり、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が予め定められている閾値である２以上の場合には、デコード・モード信号ＭＯＤＥを“００”とする。
【００２７】
たとえば、図３（Ａ）は、フレーム・バッファ２８、２９が未表示フレームを格納し、フレーム・バッファ３０がデコード出力のためのライト動作実行中の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“００”とされる。
【００２８】
また、デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が閾値２未満であり、かつ、第２のカウンタ３５のカウント値（デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数）が、たとえば、２／３フレーム分以上の値である場合には、デコード・モード信号ＭＯＤＥを“０１”とする。
【００２９】
たとえば、図３（Ｂ）は、フレーム・バッファ２８が未表示フレームを格納し、フレーム・バッファ２９がデコード出力のためのライト動作実行中であり、フレーム・バッファ２９のライト済画素数が２／３フレーム分以上の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“０１”とされる。
【００３０】
また、デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が閾値２未満であり、かつ、第２のカウンタ３５のカウント値（デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数）が、たとえば、２／３フレーム分未満かつ１／３フレーム分以上の値である場合には、デコード・モード信号ＭＯＤＥを“１０”とする。
【００３１】
たとえば、図３（Ｃ）は、フレーム・バッファ２８が未表示フレームを格納し、フレーム・バッファ２９がデコード出力のためのライト動作実行中であり、フレーム・バッファ２９のライト済画素数が２／３フレーム分未満かつ１／３フレーム分以上の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“１０”とされる。
【００３２】
また、デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が閾値２未満であり、かつ、第２のカウンタ３５のカウント値（デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数）が、たとえば、１／３フレーム分未満の値である場合には、デコード・モード信号ＭＯＤＥを“１１”とする。
【００３３】
たとえば、図３（Ｄ）は、フレーム・バッファ２８が未表示フレームを格納し、フレーム・バッファ２９がデコード出力のためのライト動作実行中であり、フレーム・バッファ２９のライト済画素数が１／３フレーム分未満の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“１１”とされる。
【００３４】
なお、本発明のオーディオ・ビデオ復号装置の一実施形態では、ビデオ・デコーダ２７が最初のフレームのデコードを開始し、フレーム・バッファ２８〜３１中のいずれかのフレーム・バッファから、表示のための最初のフレームのビデオ・データが出力されるまでは、デコード・モード信号ＭＯＤＥは“００”とされる。
【００３５】
図４はビデオ・デコーダ２７が行うデコード処理を説明するための図であり、（Ａ）はデコード・モード信号ＭＯＤＥ＝“００”の場合、（Ｂ）はデコード・モード信号ＭＯＤＥ＝“０１”の場合、（Ｃ）はデコード・モード信号ＭＯＤＥ＝“１０”の場合、（Ｄ）および（Ｅ）はデコード・モード信号ＭＯＤＥ＝“１１”の場合である。
【００３６】
すなわち、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“００”の場合には、図４（Ａ）に示すように、フレーム３７の全面について所定規格（たとえば、ＭＰＥＧ２規格）に従った通常のデコード処理を行うように制御される。
【００３７】
また、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“０１”の場合には、たとえば、図４（Ｂ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９については、色差処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常のデコード処理を行うように制御される。
【００３８】
また、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“１０”の場合には、たとえば、図４（Ｃ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９については、輝度のＡＣ成分処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理を行うように制御される。
【００３９】
また、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“１１”の場合には、たとえば、図４（Ｄ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９については、輝度のＡＣ成分およびＤＣ成分の処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理を行うように制御される。
【００４０】
なお、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“１１”の場合には、たとえば、図４（Ｅ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９および上下端の一定領域（たとえば、横方向の一列又は二列のマクロブロック）４０、４１については、輝度のＡＣ成分の処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理を行うように制御されるようにしても良い。
【００４１】
このように構成された本発明のオーディオ・ビデオ復号装置の一実施形態においては、本発明のオーディオ・ビデオ復号方法の一実施形態が実行される。すなわち、圧縮オーディオ・ビデオ・ストリームは、分離手段２１により圧縮オーディオ・ストリームと圧縮ビデオ・ストリームに分離される。
【００４２】
分離手段２１から出力される圧縮オーディオ・ストリームは、オーディオ・ストリーム・バッファ２２を介してオーディオ・デコーダ２３に与えられ、オーディオ・デコーダ２３でデコードされる。そして、オーディオ・デコーダ２３から出力される再生オーディオ・データは、ＰＣＭバッファ２４を介してオーディオ・データ出力手段２５により外部に出力される。
【００４３】
また、分離手段２１から出力される圧縮ビデオ・ストリームは、ビデオ・ストリーム・バッファ２６を介してビデオ・デコーダ２７に与えられ、ビデオ・デコーダ２７でデコードされる。そして、ビデオ・デコーダ２７から出力される再生ビデオ・データは、フレーム・バッファ２８〜３１を介してビデオ・データ出力手段３２により外部に出力される。
【００４４】
また、本発明のオーディオ・ビデオ復号装置の一実施形態においては、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚以上の場合は、次フレームの全面について所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４５】
また、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満で、かつ、デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数が２／３フレーム分以上の場合は、次フレームの左右端の一定領域については、色差処理を省略する簡易デコード処理が行われ、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４６】
また、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満で、かつ、デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数が２／３フレーム分未満かつ１／３フレーム分以上の場合は、次フレームの左右端の一定領域については、輝度のＡＣ成分処理を省略する簡易デコード処理が行われ、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４７】
また、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満で、かつ、デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数が１／３フレーム分未満の場合は、次フレームの左右端の一定領域については、輝度のＡＣ成分およびＤＣ成分の処理を省略する簡易デコード処理が行われ、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４８】
以上のように、本発明の一実施形態によれば、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満のときは、次フレームの一部分については、簡易デコード処理を行うようにしているので、次フレームのデコード処理時間を短縮することができ、フレーム・バッファ２８〜３１内に未表示フレームがなくなるという事態を抑制し、オーディオとビデオとの同期ずれが発生することを抑制することができる。
【００４９】
しかも、本発明の一実施形態によれば、簡易デコード処理は、フレームの左右端の一定領域について行われるので、コマ落ち処理をして静止画を表示する場合のようにシーンの変化が分からないものになるという事態を回避することができる。
【図面の簡単な説明】
【００５０】
【図１】本発明のオーディオ・ビデオ復号装置の一実施形態の概略的構成図である。
【図２】本発明のオーディオ・ビデオ復号装置の一実施形態が備えるビデオ・デコーダ制御手段の概略的構成図である。
【図３】本発明のオーディオ・ビデオ復号装置の一実施形態が備えるビデオ・デコーダ制御手段内のデコード・モード信号生成手段の動作を説明するための図である。
【図４】本発明のオーディオ・ビデオ復号装置の一実施形態が備えるビデオ・デコーダが行うデコード処理を説明するための図である。
【図５】従来のオーディオ・ビデオ復号装置の一例の概略的構成図である。
【符号の説明】
【００５１】
１…分離手段
２…オーディオ・ストリーム・バッファ
３…オーディオ・デコーダ
４…ＰＣＭバッファ
５…オーディオ・データ出力手段
６…ビデオ・ストリーム・バッファ
７…ビデオ・デコーダ
８〜１１…フレーム・バッファ
１２…ビデオ・データ出力手段
２１…分離手段
２２…オーディオ・ストリーム・バッファ
２３…オーディオ・デコーダ
２４…ＰＣＭバッファ
２５…オーディオ・データ出力手段
２６…ビデオ・ストリーム・バッファ
２７…ビデオ・デコーダ
２８〜３１…フレーム・バッファ
３２…ビデオ・データ出力手段
３３…ビデオ・デコーダ制御手段
３４…第１のカウンタ
３５…第２のカウンタ
３６…デコード・モード信号生成手段
３７…フレーム
３８〜４１…フレーム内の一定領域
【技術分野】
【０００１】
本発明は、圧縮オーディオ・ビデオ・ストリームを復号するオーディオ・ビデオ復号装置およびオーディオ・ビデオ復号方法に関する。
【背景技術】
【０００２】
図５は従来のオーディオ・ビデオ復号装置の一例の概略的構成図である。このオーディオ・ビデオ復号装置は、アナログ・オーディオ信号をＡＤ変換したオーディオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮オーディオ・ストリームと、アナログ・ビデオ信号をＡＤ変換したビデオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮ビデオ・ストリームとを多重化してなる圧縮オーディオ・ビデオ・ストリームをデコードするものである。
【０００３】
図５中、１は放送メディアや通信メディアや蓄積メディア等から得られる圧縮オーディオ・ビデオ・ストリームを圧縮オーディオ・ストリームと圧縮ビデオ・ストリームとに分離する分離手段である。
【０００４】
２は分離手段１が出力する圧縮オーディオ・ストリームを一時的に格納するためのオーディオ・ストリーム・バッファ、３はオーディオ・ストリーム・バッファ２から読み出された圧縮オーディオ・ストリームをデコードするオーディオ・デコーダである。
【０００５】
４はオーディオ・デコーダ３が出力する再生されたオーディオ・データを一時的に格納するためのＰＣＭバッファ、５はＰＣＭバッファ４内のオーディオ・データを外部に出力するためのオーディオ・データ出力手段であり、分離手段１によって抽出されたオーディオ出力時刻情報に基づいて出力タイミングを決定するものである。
【０００６】
６は分離手段１が出力する圧縮ビデオ・ストリームを一時的に格納するためのビデオ・ストリーム・バッファ、７はビデオ・ストリーム・バッファ６から読み出された圧縮ビデオ・ストリームをデコードするビデオ・デコーダであり、分離手段１によって抽出されたビデオ出力時刻情報に基づいて出力タイミングを決定する。
【０００７】
８〜１１はビデオ・デコーダ７が出力する再生されたビデオ・データをフレーム単位で一時的に格納するためのフレーム・バッファ、１２はフレーム・バッファ８〜１１内のビデオ・データを外部に出力するためのビデオ・データ出力手段である。
【特許文献１】特開２００１−１２８１７１号公報
【特許文献２】特開平９−３１１６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図５に示す従来のオーディオ・ビデオ復号装置においては、オーディオ出力とビデオ出力との同期は、分離手段１から抽出されるオーディオ出力時刻情報とビデオ出力時刻情報に基づいて行われるが、ビデオ・デコーダ７が処理の重いフレームをデコードする場合や、ＣＰＵがビデオ・デコーダ７として機能する場合において、ＣＰＵがマルチタスク環境下で動作する場合には、オーディオに対してビデオのデコードが遅れ、オーディオとビデオとの同期ずれが発生してしまう場合がある。
【０００９】
このような場合、たとえば、コマ落ち処理を行い、オーディオとビデオとの同期ずれがなくなるまでの間、静止画を表示するということが行われるが、このような処理を行うと、ユーザにとっては、シーン（場面）の変化が分からないものになってしまうという問題点があった。
【００１０】
本発明は、かかる点に鑑み、オーディオとビデオとの同期ずれの発生を抑制することができるようにしたオーディオ・ビデオ復号装置およびオーディオ・ビデオ復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のオーディオ・ビデオ復号装置は、圧縮オーディオ・ビデオ・ストリームから分離された圧縮ビデオ・ストリームをデコードするビデオ・デコーダと、前記ビデオ・デコーダが出力するビデオ・データをフレーム単位で格納する複数のフレーム・バッファと、前記ビデオ・デコーダが次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行うように前記ビデオ・デコーダを制御するビデオ・デコーダ制御手段とを有するものである。
【００１２】
本発明のオーディオ・ビデオ復号方法は、圧縮オーディオ・ビデオ・ストリームから圧縮ビデオ・ストリームを分離し、前記圧縮ビデオ・ストリームをデコードする処理と、前記圧縮ビデオ・ストリームをデコードしたビデオ・データを複数のフレーム・バッファにフレーム単位で格納する処理と、次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行うものである。
【発明の効果】
【００１３】
本発明によれば、次フレームのデコードを開始する際に、複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理が行われるので、次フレームのデコード処理時間を短くすることができ、複数のフレーム・バッファ内に未表示フレームがなくなるという事態を抑制し、オーディオとビデオとの同期ずれが発生することを抑制することができる。
【００１４】
しかも、本発明によれば、簡易デコード処理は、フレームの一部分について行われるので、コマ落ち処理をして静止画を表示する場合のようにシーンの変化が分からないものになるという事態を回避することができる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明のオーディオ・ビデオ復号装置の一実施形態の概略的構成図である。本発明のオーディオ・ビデオ復号装置の一実施形態は、図５に示す従来のオーディオ・ビデオ復号装置と同様に、アナログ・オーディオ信号をＡＤ変換したオーディオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮オーディオ・ストリームと、アナログ・ビデオ信号をＡＤ変換したビデオ・データを所定規格（たとえば、ＭＰＥＧ２規格）で圧縮した圧縮ビデオ・ストリームとを多重化してなる圧縮オーディオ・ビデオ・ストリームをデコードするものである。
【００１６】
図１中、２１は放送メディアや通信メディアや蓄積メディア等から得られる圧縮オーディオ・ビデオ・ストリームを圧縮オーディオ・ストリームと圧縮ビデオ・ストリームとに分離する分離手段である。
【００１７】
２２は分離手段２１が出力する圧縮オーディオ・ストリームを一時的に格納するためのオーディオ・ストリーム・バッファ、２３はオーディオ・ストリーム・バッファ２２から読み出された圧縮オーディオ・ストリームを所定規格（たとえば、ＭＰＥＧ２規格）に従ってデコードするオーディオ・デコーダである。
【００１８】
２４はオーディオ・デコーダ２３が出力する再生されたオーディオ・データを一時的に格納するためのＰＣＭバッファ、２５はＰＣＭバッファ２４内のオーディオ・データを外部に出力するためのオーディオ・データ出力手段である。
【００１９】
２６は分離手段２１が出力する圧縮ビデオ・ストリームを一時的に格納するためのビデオ・ストリーム・バッファ、２７はビデオ・ストリーム・バッファ２６から読み出された圧縮ビデオ・ストリームを入力して所定規格（たとえば、ＭＰＥＧ２規格）に従った通常のデコード処理又は後述する通常のデコード処理を簡略化した簡易デコード処理を行うビデオ・デコーダである。
【００２０】
２８〜３１はビデオ・デコーダ２７が出力する再生されたビデオ・データをフレーム単位で一時的に格納するためのフレーム・バッファ、３２はフレーム・バッファ２８〜３１内のビデオ・データを外部に出力するためのビデオ・データ出力手段、３３はビデオ・デコーダ制御手段である。
【００２１】
ビデオ・デコーダ制御手段３３は、フレーム・バッファ２８〜３１の使用状況を監視し、フレーム・バッファ２８〜３１の使用状況を示す２ビット構成のデコード・モード信号ＭＯＤＥを生成し、このデコード・モード信号ＭＯＤＥをビデオ・デコーダ２７に与えることにより、ビデオ・デコーダ２７のデコード動作を制御するものである。
【００２２】
本発明のオーディオ・ビデオ復号装置の一実施形態においては、ビデオ・デコーダ２７は、各フレームのデコード処理を開始する際に、ビデオ・デコーダ制御手段３３から与えられているデコード・モード信号ＭＯＤＥを参照し、各フレームについて、この時のデコード・モード信号ＭＯＤＥの値に基づいたデコード処理を行うものとされる。
【００２３】
図２はビデオ・デコーダ制御手段３３の概略的構成図である。ビデオ・デコーダ制御手段３３は、第１のカウンタ３４と、第２のカウンタ３５と、デコード・モード信号生成手段３６を備えている。
【００２４】
第１のカウンタ３４は、フレーム・バッファ２８〜３１内の未表示フレーム数（未表示フレームの全画素データを格納しているフレーム・バッファ数）をカウントするものである。
【００２５】
第２のカウンタ３５は、フレーム・バッファ２８〜３１中、デコード出力のためのライトが行われているフレーム・バッファのライト・ポインタの位置から、このフレーム・バッファのライト済画素数をカウントするものである。
【００２６】
デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値と第２のカウンタ３５のカウント値を入力してデコード・モード信号ＭＯＤＥを生成するものであり、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が予め定められている閾値である２以上の場合には、デコード・モード信号ＭＯＤＥを“００”とする。
【００２７】
たとえば、図３（Ａ）は、フレーム・バッファ２８、２９が未表示フレームを格納し、フレーム・バッファ３０がデコード出力のためのライト動作実行中の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“００”とされる。
【００２８】
また、デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が閾値２未満であり、かつ、第２のカウンタ３５のカウント値（デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数）が、たとえば、２／３フレーム分以上の値である場合には、デコード・モード信号ＭＯＤＥを“０１”とする。
【００２９】
たとえば、図３（Ｂ）は、フレーム・バッファ２８が未表示フレームを格納し、フレーム・バッファ２９がデコード出力のためのライト動作実行中であり、フレーム・バッファ２９のライト済画素数が２／３フレーム分以上の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“０１”とされる。
【００３０】
また、デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が閾値２未満であり、かつ、第２のカウンタ３５のカウント値（デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数）が、たとえば、２／３フレーム分未満かつ１／３フレーム分以上の値である場合には、デコード・モード信号ＭＯＤＥを“１０”とする。
【００３１】
たとえば、図３（Ｃ）は、フレーム・バッファ２８が未表示フレームを格納し、フレーム・バッファ２９がデコード出力のためのライト動作実行中であり、フレーム・バッファ２９のライト済画素数が２／３フレーム分未満かつ１／３フレーム分以上の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“１０”とされる。
【００３２】
また、デコード・モード信号生成手段３６は、第１のカウンタ３４のカウント値（フレーム・バッファ２８〜３１内の未表示フレーム数）が閾値２未満であり、かつ、第２のカウンタ３５のカウント値（デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数）が、たとえば、１／３フレーム分未満の値である場合には、デコード・モード信号ＭＯＤＥを“１１”とする。
【００３３】
たとえば、図３（Ｄ）は、フレーム・バッファ２８が未表示フレームを格納し、フレーム・バッファ２９がデコード出力のためのライト動作実行中であり、フレーム・バッファ２９のライト済画素数が１／３フレーム分未満の場合を示しているが、この場合には、デコード・モード信号ＭＯＤＥは“１１”とされる。
【００３４】
なお、本発明のオーディオ・ビデオ復号装置の一実施形態では、ビデオ・デコーダ２７が最初のフレームのデコードを開始し、フレーム・バッファ２８〜３１中のいずれかのフレーム・バッファから、表示のための最初のフレームのビデオ・データが出力されるまでは、デコード・モード信号ＭＯＤＥは“００”とされる。
【００３５】
図４はビデオ・デコーダ２７が行うデコード処理を説明するための図であり、（Ａ）はデコード・モード信号ＭＯＤＥ＝“００”の場合、（Ｂ）はデコード・モード信号ＭＯＤＥ＝“０１”の場合、（Ｃ）はデコード・モード信号ＭＯＤＥ＝“１０”の場合、（Ｄ）および（Ｅ）はデコード・モード信号ＭＯＤＥ＝“１１”の場合である。
【００３６】
すなわち、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“００”の場合には、図４（Ａ）に示すように、フレーム３７の全面について所定規格（たとえば、ＭＰＥＧ２規格）に従った通常のデコード処理を行うように制御される。
【００３７】
また、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“０１”の場合には、たとえば、図４（Ｂ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９については、色差処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常のデコード処理を行うように制御される。
【００３８】
また、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“１０”の場合には、たとえば、図４（Ｃ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９については、輝度のＡＣ成分処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理を行うように制御される。
【００３９】
また、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“１１”の場合には、たとえば、図４（Ｄ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９については、輝度のＡＣ成分およびＤＣ成分の処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理を行うように制御される。
【００４０】
なお、ビデオ・デコーダ２７は、フレーム３７のデコード処理を開始する際に参照したデコード・モード信号ＭＯＤＥが“１１”の場合には、たとえば、図４（Ｅ）に示すように、フレーム３７の左右端の一定領域（たとえば、縦方向の一列又は二列のマクロブロック）３８、３９および上下端の一定領域（たとえば、横方向の一列又は二列のマクロブロック）４０、４１については、輝度のＡＣ成分の処理を省略するデコード処理を行い、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理を行うように制御されるようにしても良い。
【００４１】
このように構成された本発明のオーディオ・ビデオ復号装置の一実施形態においては、本発明のオーディオ・ビデオ復号方法の一実施形態が実行される。すなわち、圧縮オーディオ・ビデオ・ストリームは、分離手段２１により圧縮オーディオ・ストリームと圧縮ビデオ・ストリームに分離される。
【００４２】
分離手段２１から出力される圧縮オーディオ・ストリームは、オーディオ・ストリーム・バッファ２２を介してオーディオ・デコーダ２３に与えられ、オーディオ・デコーダ２３でデコードされる。そして、オーディオ・デコーダ２３から出力される再生オーディオ・データは、ＰＣＭバッファ２４を介してオーディオ・データ出力手段２５により外部に出力される。
【００４３】
また、分離手段２１から出力される圧縮ビデオ・ストリームは、ビデオ・ストリーム・バッファ２６を介してビデオ・デコーダ２７に与えられ、ビデオ・デコーダ２７でデコードされる。そして、ビデオ・デコーダ２７から出力される再生ビデオ・データは、フレーム・バッファ２８〜３１を介してビデオ・データ出力手段３２により外部に出力される。
【００４４】
また、本発明のオーディオ・ビデオ復号装置の一実施形態においては、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚以上の場合は、次フレームの全面について所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４５】
また、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満で、かつ、デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数が２／３フレーム分以上の場合は、次フレームの左右端の一定領域については、色差処理を省略する簡易デコード処理が行われ、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４６】
また、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満で、かつ、デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数が２／３フレーム分未満かつ１／３フレーム分以上の場合は、次フレームの左右端の一定領域については、輝度のＡＣ成分処理を省略する簡易デコード処理が行われ、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４７】
また、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満で、かつ、デコード出力のためのライト動作実行中のフレーム・バッファのライト済画素数が１／３フレーム分未満の場合は、次フレームの左右端の一定領域については、輝度のＡＣ成分およびＤＣ成分の処理を省略する簡易デコード処理が行われ、その他の領域については、所定規格（たとえば、ＭＰＥＧ２規格）に従った通常デコード処理が行われる。
【００４８】
以上のように、本発明の一実施形態によれば、ビデオ・デコーダ２７が次フレームのデコードを開始する際に、フレーム・バッファ２８〜３１内の未表示フレーム数が２枚未満のときは、次フレームの一部分については、簡易デコード処理を行うようにしているので、次フレームのデコード処理時間を短縮することができ、フレーム・バッファ２８〜３１内に未表示フレームがなくなるという事態を抑制し、オーディオとビデオとの同期ずれが発生することを抑制することができる。
【００４９】
しかも、本発明の一実施形態によれば、簡易デコード処理は、フレームの左右端の一定領域について行われるので、コマ落ち処理をして静止画を表示する場合のようにシーンの変化が分からないものになるという事態を回避することができる。
【図面の簡単な説明】
【００５０】
【図１】本発明のオーディオ・ビデオ復号装置の一実施形態の概略的構成図である。
【図２】本発明のオーディオ・ビデオ復号装置の一実施形態が備えるビデオ・デコーダ制御手段の概略的構成図である。
【図３】本発明のオーディオ・ビデオ復号装置の一実施形態が備えるビデオ・デコーダ制御手段内のデコード・モード信号生成手段の動作を説明するための図である。
【図４】本発明のオーディオ・ビデオ復号装置の一実施形態が備えるビデオ・デコーダが行うデコード処理を説明するための図である。
【図５】従来のオーディオ・ビデオ復号装置の一例の概略的構成図である。
【符号の説明】
【００５１】
１…分離手段
２…オーディオ・ストリーム・バッファ
３…オーディオ・デコーダ
４…ＰＣＭバッファ
５…オーディオ・データ出力手段
６…ビデオ・ストリーム・バッファ
７…ビデオ・デコーダ
８〜１１…フレーム・バッファ
１２…ビデオ・データ出力手段
２１…分離手段
２２…オーディオ・ストリーム・バッファ
２３…オーディオ・デコーダ
２４…ＰＣＭバッファ
２５…オーディオ・データ出力手段
２６…ビデオ・ストリーム・バッファ
２７…ビデオ・デコーダ
２８〜３１…フレーム・バッファ
３２…ビデオ・データ出力手段
３３…ビデオ・デコーダ制御手段
３４…第１のカウンタ
３５…第２のカウンタ
３６…デコード・モード信号生成手段
３７…フレーム
３８〜４１…フレーム内の一定領域
【特許請求の範囲】
【請求項１】
圧縮オーディオ・ビデオ・ストリームから分離された圧縮ビデオ・ストリームをデコードするビデオ・デコーダと、
前記ビデオ・デコーダが出力するビデオ・データをフレーム単位で格納する複数のフレーム・バッファと、
前記ビデオ・デコーダが次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行うように前記ビデオ・デコーダを制御するビデオ・デコーダ制御手段と
を有することを特徴とするオーディオ・ビデオ復号装置。
【請求項２】
前記ビデオ・デコーダ制御手段は、
前記未表示フレーム数をカウントする第１のカウンタと、
前記複数のフレーム・バッファのうち、デコード出力によるライトが行われているフレーム・バッファのライト済画素数をカウントする第２のカウンタと、
前記未表示フレーム数が前記閾値以上のときは、前記通常デコード処理を行うことを前記ビデオ・デコーダに指示し、前記未表示フレーム数が前記閾値未満のときは、前記簡易デコード処理として、前記ライト済画素数に応じた簡易デコード処理を行うことを前記ビデオ・デコーダに指示するデコード・モード信号を生成するデコード・モード信号生成手段と
を有することを特徴とする請求項１に記載のオーディオ・ビデオ復号装置。
【請求項３】
前記ライト済画素数に応じた簡易デコード処理は、
前記ライト済画素数が第１の所定数以上のときは、前記次フレームの左右端の一定領域の色差処理を省略したデコード処理であり、
前記ライト済画素数が第１の所定数未満、かつ、第２の所定数以上のときは、前記次フレームの左右端の一定領域の輝度のＡＣ成分処理を省略したデコード処理であり、
前記ライト済画素数が第２の所定数未満のときは、前記次フレームの左右端の一定領域の輝度のＡＣ成分処理およびＤＣ成分処理を省略した処理、又は、前記次フレームの左右端および上下端の一定領域の輝度のＡＣ成分処理を省略したデコード処理であること
を特徴とする請求項２に記載のオーディオ・ビデオ復号装置。
【請求項４】
圧縮オーディオ・ビデオ・ストリームから圧縮ビデオ・ストリームを分離し、前記圧縮ビデオ・ストリームをデコードする処理と、
前記圧縮ビデオ・ストリームをデコードしたビデオ・データを複数のフレーム・バッファにフレーム単位で格納する処理と、
次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行う
ことを特徴とするオーディオ・ビデオ復号方法。
【請求項１】
圧縮オーディオ・ビデオ・ストリームから分離された圧縮ビデオ・ストリームをデコードするビデオ・デコーダと、
前記ビデオ・デコーダが出力するビデオ・データをフレーム単位で格納する複数のフレーム・バッファと、
前記ビデオ・デコーダが次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行うように前記ビデオ・デコーダを制御するビデオ・デコーダ制御手段と
を有することを特徴とするオーディオ・ビデオ復号装置。
【請求項２】
前記ビデオ・デコーダ制御手段は、
前記未表示フレーム数をカウントする第１のカウンタと、
前記複数のフレーム・バッファのうち、デコード出力によるライトが行われているフレーム・バッファのライト済画素数をカウントする第２のカウンタと、
前記未表示フレーム数が前記閾値以上のときは、前記通常デコード処理を行うことを前記ビデオ・デコーダに指示し、前記未表示フレーム数が前記閾値未満のときは、前記簡易デコード処理として、前記ライト済画素数に応じた簡易デコード処理を行うことを前記ビデオ・デコーダに指示するデコード・モード信号を生成するデコード・モード信号生成手段と
を有することを特徴とする請求項１に記載のオーディオ・ビデオ復号装置。
【請求項３】
前記ライト済画素数に応じた簡易デコード処理は、
前記ライト済画素数が第１の所定数以上のときは、前記次フレームの左右端の一定領域の色差処理を省略したデコード処理であり、
前記ライト済画素数が第１の所定数未満、かつ、第２の所定数以上のときは、前記次フレームの左右端の一定領域の輝度のＡＣ成分処理を省略したデコード処理であり、
前記ライト済画素数が第２の所定数未満のときは、前記次フレームの左右端の一定領域の輝度のＡＣ成分処理およびＤＣ成分処理を省略した処理、又は、前記次フレームの左右端および上下端の一定領域の輝度のＡＣ成分処理を省略したデコード処理であること
を特徴とする請求項２に記載のオーディオ・ビデオ復号装置。
【請求項４】
圧縮オーディオ・ビデオ・ストリームから圧縮ビデオ・ストリームを分離し、前記圧縮ビデオ・ストリームをデコードする処理と、
前記圧縮ビデオ・ストリームをデコードしたビデオ・データを複数のフレーム・バッファにフレーム単位で格納する処理と、
次フレームのデコードを開始する際に、前記複数のフレーム・バッファ内の未表示フレーム数が閾値未満のときは、前記次フレームの一部分については通常デコード処理を簡略化した簡易デコード処理を行う
ことを特徴とするオーディオ・ビデオ復号方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−３０１３９２（Ｐ２００８−３０１３９２Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４７７９８（Ｐ２００７−１４７７９８）
【出願日】平成１９年６月４日（２００７．６．４）
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年６月４日（２００７．６．４）
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]