映像音声同期検出装置、および検証機能付き映像音声再生システム
【課題】映像音声同期検出装置により、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価する。
【解決手段】出力タイミング部１２２は、映像データ復号部１１２が所定の復号映像データを出力する映像データ出力タイミング、および音声データ復号部１１３が所定の復号音声データを出力する音声データ出力タイミングを検出する。再生基準時刻取得部１２５は、符号化映像データまたは符号化音声データに含まれる再生時刻情報に基づいて、上記所定の１画像の復号映像データが出力されるべき映像再生基準時刻と上記所定の連続音声データが出力されるべき音声再生基準時刻とを取得する。算出部１２６は、映像データ出力タイミングと音声データ出力タイミングとの間隔である映像音声出力間隔と、映像再生基準時刻と音声再生基準時刻との基準間隔との差を同期ずれ時間として算出する。
【解決手段】出力タイミング部１２２は、映像データ復号部１１２が所定の復号映像データを出力する映像データ出力タイミング、および音声データ復号部１１３が所定の復号音声データを出力する音声データ出力タイミングを検出する。再生基準時刻取得部１２５は、符号化映像データまたは符号化音声データに含まれる再生時刻情報に基づいて、上記所定の１画像の復号映像データが出力されるべき映像再生基準時刻と上記所定の連続音声データが出力されるべき音声再生基準時刻とを取得する。算出部１２６は、映像データ出力タイミングと音声データ出力タイミングとの間隔である映像音声出力間隔と、映像再生基準時刻と音声再生基準時刻との基準間隔との差を同期ずれ時間として算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された映像データと音声データを復号し、復号した映像データと音声データを再生時刻情報を用いて同期させて出力する装置の同期動作を、出力される映像データと音声データの同期を測定することによって検証する技術に関するものである。
【背景技術】
【０００２】
従来、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格等を適用し、別々に圧縮し、多重化して映像データおよび音声データを伝送したり記憶媒体に記録する技術が知られている。このような技術を用いて伝送または記録された多重化圧縮データは、再生装置に入力され、多重分離される。そして、分離された映像データと音声データがそれぞれ伸長されて再生される。このようないわゆるコーデックシステムにおいては、多重化する際に、映像データと音声データに、それぞれ各所定単位のデータの再生時刻を示すタイムスタンプと呼ばれる再生時刻情報が埋め込まれる。そして、再生装置がそのタイムスタンプに基づくタイミングで映像データと音声データとを再生する。
【０００３】
ここで、再生装置が正常にタイムスタンプに基づくタイミングで映像データと音声データを再生しているかを検証する方法として、再生される映像と音声が同期しているか、例えば、人間が話す時の唇の動きと声が同期しているかを人間が観察することによって検証する方法がある。
【０００４】
ところが、このように人間が観察して検証する方法には、定量的な評価ができないという問題がある。そこで、再生装置が映像データと音声データをタイムスタンプにどの程度忠実なタイミングで再生しているかを定量的に評価できるようにするＡＶ同期検出装置が特許文献１に提案されている。
【０００５】
同文献の図１に示されるＡＶ同期検出装置において、映像信号発生手段１は、フレーム番号に対応した時刻が画面右下にスーパーインポーズされた映像の映像データを発生する。一方、タイムコード発生手段３は、ＬＴＣ（Ｌｏｎｇｉｔｕｄｉｎａｌ Ｔｉｍｅ Ｃｏｄｅ）信号を使用してタイムコードを発生する。そして、表示装置１０に表示される映像の画面右下にスーパーインポーズされた時刻と、タイムコード読取手段１２に表示されるタイムコードとが比較される。この比較により、タイムスタンプで示される再生タイミングと実際に再生されるタイミングの時間差を算出することができる。つまり、再生装置が映像データと音声データをタイムスタンプにどの程度忠実なタイミングで再生しているかを定量的に評価できる。
【特許文献１】特開平８−１７２５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来のＡＶ同期検出装置による検証方法では、時刻情報が付された状態で再生される映像データと音声データを用いてしか評価できない。したがって、映像信号発生手段１やタイムコード発生手段３等の、時刻情報が付された状態で再生される映像データと音声データを生成するための特別な装置が必要となっていた。また、タイムコード読取手段１２等の、再生される音声データから時刻情報を読み取るための装置も必要となっていた。
【０００７】
本発明は、上記の点に鑑み、映像音声同期検出装置により、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価できるようにする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１の発明は、
符号化映像データおよび符号化音声データを復号し、復号映像データと復号音声データとを同期させて出力する映像音声再生装置の同期動作を検証するための映像音声同期検出装置であって、
上記映像音声再生装置が所定の１画像の復号映像データを出力する映像データ出力タイミング、および上記映像音声再生装置が所定単位時間連続する所定の連続復号音声データを出力する音声データ出力タイミングを検出する出力タイミング検出部と、
上記符号化映像データまたは符号化音声データに含まれる再生時刻情報に基づいて、上記所定の１画像の復号映像データが出力されるべき映像再生基準時刻と上記所定の連続音声データが出力されるべき音声再生基準時刻とを取得する再生基準時刻取得部と、
上記映像データ出力タイミングと上記音声データ出力タイミングとの間隔である映像音声出力間隔と、上記映像再生基準時刻と上記音声再生基準時刻との基準間隔との差を同期ずれ時間として算出する算出部と、
を備えたことを特徴とする。
【０００９】
これにより、映像データ出力タイミングと音声データ出力タイミングとの差である映像音声出力間隔と映像再生基準時刻と音声再生基準時刻との差である基準間隔との差を同期ずれ時間として算出することにより、映像データと音声データとの同期を定量的に評価できる。
【００１０】
請求項２の発明は、
請求項１の映像音声同期検出装置であって、
上記出力タイミング検出部は、
上記所定の１画像の復号映像データに対応する照合対象映像データを、上記映像音声再生装置が順次出力する各復号映像データと照合し、上記照合対象映像データと一致する復号映像データを検出する映像データ照合部と、
上記所定単位時間連続する所定の連続復号音声データに対応する照合対象音声データを、上記映像音声再生装置が順次出力する各復号音声データと照合し、上記照合対象音声データと一致する復号音声データを検出する音声データ照合部と、
を備え、
上記照合対象映像データに一致する復号映像データが出力されたタイミングを上記映像データ出力タイミングとして検出し、
上記照合対象音声データに一致する復号音声データが出力されたタイミングを上記音声データ出力タイミングとして検出するようになっていることを特徴とする。
【００１１】
これにより、同期ずれを評価する対象の復号映像データと復号音声データを、照合によって特定し、検出できる。
【００１２】
請求項３の発明は、
請求項２の映像音声同期検出装置であって、
上記映像データ照合部は、複数画像の照合対象映像データについて、順次、それぞれと一致する復号映像データを検出し、上記算出部は、上記一致が検出された各復号映像データについての上記同期ずれ時間を算出することを特徴とする。
【００１３】
これにより、複数画像の映像データについて音声データとの同期ずれが評価されるので、複数画像の映像データを再生している途中に生じる同期ずれも評価でき、同期ずれが生じた画像を特定することもできる。
【００１４】
請求項４の発明は、
請求項３の映像音声同期検出装置であって、
上記映像データ照合部は、
各照合対象映像データについて一致する復号映像データが検出された後、次の照合対象映像データについて一致する復号映像データが検出されるまでの照合回数をカウントする画像数カウンタを備え、
上記算出部は、
各照合対象映像データに一致する復号映像データが出力されるごとに、前回一致した復号映像データが出力された際の上記映像音声出力間隔に、上記画像数カウンタの値と１画像の出力時間との積を加算した値を、上記各照合対象映像データに一致する復号映像データについての映像音声出力間隔として求めることを特徴とする。
【００１５】
これにより、各照合対象映像データに一致する復号映像データと所定の復号音声データとの差が順次、映像音声出力間隔として求められる。
【００１６】
請求項５の発明は、
請求項２の映像音声同期検出装置であって、
上記音声データ照合部は、複数組の照合対象復号音声データについて、順次、それぞれと一致する復号音声データを検出し、上記算出部は、上記一致が検出された各復号音声データについての上記同期ずれ時間を算出するようになっていることを特徴とする。
【００１７】
これにより、複数組の所定単位時間連続する音声データについて映像データとの同期ずれが評価されるので、複数組の所定単位時間連続する音声データを再生している途中に生じる同期ずれも評価でき、同期ずれが生じた音声データを特定することもできる。
【００１８】
請求項６の発明は、
上記音声データ照合部は、
各照合対象復号音声データについて一致する復号音声データが検出された後、次の照合対象復号音声データについて一致する復号音声データが検出されるまでの照合回数をカウントする組数カウンタを備え、
上記算出部は、
各照合対象音声データに一致する復号音声データが出力されるごとに、前回一致した復号音声データが出力された際の上記映像音声出力間隔に、上記組数カウンタの値と１組の所定単位時間連続する連続復号音声データの出力時間との積を加算した値を、上記各照合対象音声データに一致する復号音声データについての映像音声出力間隔として求めることを特徴とする。
【００１９】
これにより、各照合対象音声データに一致する復号音声データと所定の復号映像データとの差が順次、映像音声出力間隔として求められる。
【００２０】
請求項７の発明は、
請求項１の映像音声同期検出装置であって、
上記算出部は、
上記映像データ出力タイミングと上記音声データ出力タイミングのうち早い方のタイミングで時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を上記映像音声出力間隔として出力するカウンタを備えたことを特徴とする。
【００２１】
請求項８の発明は、
請求項１の映像音声同期検出装置であって、
上記算出部は、
所定のタイミングで時間経過に応じた値のカウントを開始し、上記映像データ出力タイミングでカウント値を出力する映像データ出力タイミングカウンタと、
上記所定のタイミングで時間経過に応じた値のカウントを開始し、上記音声データ出力タイミングでカウント値を出力する音声データ出力タイミングカウンタと、
上記映像データ出力タイミングカウンタによって出力されるカウント値と上記音声データ出力タイミングカウンタによって出力されるカウント値との差を上記映像音声出力間隔として出力する映像音声出力間隔算出部と、
を備えたことを特徴とする。
【００２２】
これらにより、カウンタを用いることにより、映像音声出力間隔を容易に算出できる。
【００２３】
請求項９の発明は、
請求項１の映像音声同期検出装置であって、
さらに、上記同期ずれ時間を所定の閾値と比較する判定部を備えたことを特徴とする。
【００２４】
これにより、算出された同期ずれ時間を、あらかじめ自由に設定された閾値と比較することによって映像データと音声データとの同期を評価できる。
【００２５】
請求項１０の発明は、
請求項１の映像音声同期検出装置と、
映像音声再生装置と、
を有する検証機能付き映像音声再生システムであって、
上記映像音声再生装置は、
符号化多重データを符号化映像データと符号化音声データとに分離する多重分離部と、
上記符号化映像データを復号する映像データ復号部と、
上記符号化音声データを復号する音声データ復号部と、
を備え、
復号された復号映像データと復号音声データとを同期させて出力する一方、
上記映像音声同期検出装置は、
上記復号映像データと上記復号音声データとの同期ずれ時間を検出することを特徴とする。
【００２６】
これにより、映像音声再生装置の同期動作が、映像音声同期検出装置により検証される。
【００２７】
請求項１１の発明は、
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、処理時間が互いに異なる複数種類の復号処理を行う機能を有し、上記映像データ出力タイミングが遅いことにより上記同期ずれ時間が所定の閾値より大きい場合の方が、小さい場合よりも処理時間の短い復号処理を行うように構成されていることを特徴とする。
【００２８】
請求項１２の発明は、
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、１画像あたりの画素数を増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする。
【００２９】
請求項１３の発明は、
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、復号映像データのビットレートを増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする。
【００３０】
請求項１４の発明は、
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、上記映像データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号映像データを遅らせて出力させ、上記音声データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号音声データを遅らせて出力させるように構成されていることを特徴とする。
【００３１】
これらにより、映像音声再生装置が出力する復号映像データと復号音声データとの同期ずれ時間が、映像音声同期検出装置によって評価され、同期ずれ時間が所定の閾値を超えている場合は、同期ずれが低減されるように映像音声同期検出装置が映像音声再生装置が制御される。
【発明の効果】
【００３２】
映像音声同期検出装置により、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価できる。したがって、時刻情報が付された状態で再生される評価用の映像データと音声データを生成する特別な装置を備えることなく、再生装置が映像データと音声データをタイムスタンプにどの程度忠実なタイミングで再生しているかを評価できる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００３４】
《発明の実施形態１》
図１は、本発明の実施形態１に係るコーデックシステムの構成を示すブロック図である。
【００３５】
実施形態１に係るコーデックシステムでは、映像音声符号化多重装置１００が出力する符号化多重データが、記憶媒体１３０に記憶され、検証機能付き映像音声再生装置１１０で再生されるようになっている。検証機能付き映像音声再生装置１１０（検証機能付き映像音声再生システム）は、再生される復号映像データと復号音声データの同期を検出する映像音声同期検出装置１２０を備えている。
【００３６】
映像音声符号化多重装置１００は、映像データ発生部１０１、映像データ符号化部１０２、音声データ発生部１０３、音声データ符号化部１０４、および多重化部１０５を備えている。
【００３７】
映像データ発生部１０１は、映像データを生成するようになっている。映像データ発生部１０１としては、例えば、ビデオカメラが用いられる。
【００３８】
映像データ符号化部１０２は、映像データ発生部１０１によって生成された映像データを符号化するようになっている。ここで行われる符号化は、映像データを圧縮する符号化等である。
【００３９】
音声データ発生部１０３は、音声データを生成するようになっている。音声データ発生部１０３としては、例えば、マイクが用いられる。
【００４０】
音声データ符号化部１０４は、音声データ発生部１０３によって生成された音声データを符号化するようになっている。ここで行われる符号化は、音声データを圧縮する符号化等である。
【００４１】
多重化部１０５は、映像データ符号化部１０２によって符号化された符号化映像データにタイムスタンプ等の映像再生時刻情報を付加し、音声データ符号化部１０４によって符号化された符号化音声データにタイムスタンプ等の音声再生時刻情報を付加するようになっている。そして、再生時刻情報が付加された符号化映像データと符号化音声データとを、１つの通信回線または伝送チャネルで送信できるデータに多重化（合成）するようになっている。
【００４２】
検証機能付き映像音声再生装置１１０は、多重分離部１１１、映像データ復号部１１２、音声データ復号部１１３、および映像音声同期検出装置１２０を備えている。
【００４３】
多重分離部１１１は、多重化部１０５によって多重化された符号化多重データを符号化映像データと符号化音声データとに分離して出力するようになっている。
【００４４】
映像データ復号部１１２は、多重分離部１１１によって出力された符号化映像データを復号し、符号化映像データに付された映像再生時刻情報に基づくタイミングで出力するようになっている。ここで行われる復号は、圧縮された符号化映像データを伸長する復号等である。映像データ復号部１１２には、後述する判定部１２７から判定信号が入力されるようになっており、判定信号の値が“１”の時、判定信号の値が“０”の時よりも１画像あたりの画素数を少なくしたりビットレートを減らす等して、処理時間の短い復号処理を行うようになっている。
【００４５】
音声データ復号部１１３は、多重分離部１１１によって出力された符号化音声データを復号し、符号化音声データに付された音声再生時刻情報に基づくタイミングで出力するようになっている。ここで行われる復号は、圧縮された符号化音声データを伸長する復号等である。
【００４６】
映像音声同期検出装置１２０は、記録部１２１、出力タイミング検出部１２２、再生基準時刻取得部１２５、算出部１２６、および判定部１２７を備えている。
【００４７】
記録部１２１は、映像データ復号部１１２および音声データ復号部１１３からそれぞれ出力される復号映像データと復号音声データとを記録するようになっている。そして、記録した復号映像データと復号音声データとを、映像データ復号部１１２および音声データ復号部１１３からそれぞれが出力されるのと同じ速度と順序で出力するようになっている。記録部１２１は、例えば、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）データ用のハードディスク、メモリ、またはビデオテープで構成される。
【００４８】
出力タイミング検出部１２２は、図２に示すように、映像データ照合部１２２ａと音声データ照合部１２２ｂとを備えている。映像データ照合部１２２ａは、照合対象映像データ１２３を、記録部１２１から順次出力される復号映像データと１画像毎に比較照合し、照合対象映像データ１２３と一致する復号映像データを検出するようになっている。そして、照合対象映像データ１２３と一致する復号映像データを検出したタイミングを映像データ出力タイミングとして出力するようになっている。
【００４９】
音声データ照合部１２２ｂは、照合対象音声データ１２４を、記録部１２１から順次出力される復号音声データと所定単位時間連続する復号音声データ毎に比較照合し、照合対象音声データ１２４と一致する復号音声データを検出するようになっている。そして、照合対象音声データ１２４と一致する復号音声データを検出したタイミングを音声データ出力タイミングとして出力するようになっている。
【００５０】
照合対象映像データ１２３は複数画像分記憶されており、一致する復号映像データが検出されると、比較照合される照合対象映像データ１２３が、次の新たな照合対象映像データ１２３に切り換えられるようになっている。同様に、照合対象音声データ１２４は複数組の所定単位時間連続する復号音声データ分記憶されており、一致する復号音声データが検出されると、比較照合される照合対象音声データ１２４が、次の新たな照合対象音声データ１２４に切り換えられるようになっている。
【００５１】
再生基準時刻取得部１２５は、１画像の符号化映像データ毎に、各符号化映像データに含まれる映像再生時刻情報を読み取り、後述する算出部１２６のカウンタ１２６ａで時間経過に応じてカウントされる値と単位を揃えるように換算した映像再生基準時刻を求めて記憶するようになっている。さらに、所定単位の連続する符号化音声データ毎に、各符号化音声データに含まれる音声再生時刻情報を読み取り、各符号化音声データが音声データ復号部１１３から復号音声データとして出力されるべき音声再生基準時刻を取得し、記憶するようになっている。例えば、２７ＭＨｚのクロックでカウントされた値が再生時刻情報として用いられるＭＰＥＧ２システムの場合であって、後述する算出部１２６のカウンタ１２６ａにおいて、映像データ出力タイミングと音声データ出力タイミングとの間隔が９ＭＨｚのクロックでカウントされる場合、映像再生基準時刻と音声再生基準時刻は、映像再生時刻情報と音声再生時刻情報をそれぞれ１／３倍して求められる。
【００５２】
算出部１２６は、所定の１画像の映像データの映像データ出力タイミングと所定単位時間連続する所定の音声データ出力タイミングとの間隔である映像音声出力間隔と、上記所定の１画像の映像データの映像再生基準時刻と上記所定の音声データの音声再生基準時刻との基準間隔との差を同期ずれ時間として算出するようになっている。具体的な構成としては、例えば、図３に示すように、カウンタ１２６ａ、映像音声再生基準間隔算出部１２６ｂ、および同期ずれ時間算出部１２６ｃを備えている。
【００５３】
カウンタ１２６ａは、映像データ出力タイミングと音声データ出力タイミングのうち早い方のタイミングでカウント値をリセットすると同時に、時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を映像音声出力間隔として出力するようになっている。
【００５４】
映像音声再生基準間隔算出部１２６ｂは、映像再生基準時刻と音声再生基準時刻との差を算出し、映像再生基準時刻と音声再生基準時刻との基準間隔として出力するようになっている。
【００５５】
同期ずれ時間算出部１２６ｃは、映像音声出力間隔と基準間隔との差を同期ずれ時間として算出するようになっている。
【００５６】
判定部１２７は、算出部１２６によって出力される同期ずれ時間を所定の閾値と比較し、同期ずれ時間が所定の閾値より小さい場合は判定信号として“０”を出力し、同期ずれ時間が所定の閾値より大きい場合は判定信号として“１”を出力するようになっている。
【００５７】
記憶媒体１３０は、映像音声符号化多重装置１００の多重化部１０５によって出力された符号化多重データを記憶するようになっている。
【００５８】
−動作−
次に、上記のように構成されたコーデックシステムにおける各部の動作について説明する。
【００５９】
まず、映像データ発生部１０１が映像データを生成すると、生成された映像データは映像データ符号化部１０２によって符号化される。一方、音声データ発生部１０３が音声データを生成すると、生成された音声データは音声データ符号化部１０４によって符号化される。そして、符号化された符号化映像データと符号化音声データは、多重化部１０５によって、それぞれに再生時刻情報が付加されて多重化され、符号化多重データとして記憶媒体１３０に記憶される。
【００６０】
記憶媒体１３０に記憶された符号化多重データは、多重分離部１１１で符号化映像データと符号化音声データとに分離される。分離された符号化映像データは映像データ復号部１１２で復号され、分離された符号化音声データは音声データ復号部１１３で復号される。復号された復号映像データは、復号される前の符号化映像データに付されていた映像再生時刻情報に基づくタイミングで記録部１２１に出力される。同様に、復号された復号音声データは、復号される前の符号化音声データに付されていた音声再生時刻情報に基づくタイミングで記録部１２１に出力される。
【００６１】
記録部１２１は、映像データ復号部１１２から出力される復号映像データ、および音声データ復号部１１３から出力される復号音声データを記録し、映像データ復号部１１２および音声データ復号部１１３からそれぞれが出力されたのと同じ速度と順序で、出力タイミング検出部１２２へ出力する。
【００６２】
一方、再生基準時刻取得部１２５は、１画像の符号化映像データ毎に、符号化映像データに含まれる映像再生時刻情報を読み取り、各符号化映像データが復号された後に映像データ復号部１１２から復号映像データとして出力されるべき映像再生基準時刻を取得し、記憶する。さらに、所定単位時間連続する符号化音声データ毎に、各符号化音声データに含まれる音声再生時刻情報を読み取り、各符号化音声データが復号された後に音声データ復号部１１３から復号音声データとして出力されるべき音声再生基準時刻を取得し、記憶する。
【００６３】
以下、出力タイミング検出部１２２、および算出部１２６の動作については、まず、先頭の復号映像データと先頭の復号音声データについて出力タイミングが検出され、再生基準時刻と比較される場合について説明する。
【００６４】
記録部１２１から出力される復号映像データは出力タイミング検出部１２２に入力される。出力タイミング検出部１２２に入力された復号映像データは、１画像毎に、映像データ照合部１２２ａで、先頭の１画像の復号映像データを示す照合対象映像データ１２３と比較照合される。映像データ照合部１２２ａは、その照合対象映像データ１２３と一致する復号映像データを検出する。そして、照合対象映像データ１２３と一致する復号映像データを検出したタイミングを映像データ出力タイミングとして検出する。そして、照合対象映像データ１２３と一致する復号映像データが検出された後、比較照合される照合対象映像データ１２３は、２画像目の復号映像データを示す照合対象映像データ１２３になる。
【００６５】
同様に、記録部１２１から出力される復号音声データは出力タイミング検出部１２２に入力される。出力タイミング検出部１２２に入力された復号音声データは、所定単位時間連続する復号音声データ毎に、音声データ照合部１２２ｂで、先頭の所定単位時間連続する連続復号音声データを示す照合対象音声データ１２４と比較照合される。音声データ照合部１２２ｂは、その照合対象音声データ１２４と一致する復号音声データを検出する。そして、照合対象音声データ１２４と一致する復号音声データを検出したタイミングを音声データ出力タイミングとして検出する。そして、照合対象音声データ１２４と一致する復号音声データが検出された後、比較照合される照合対象音声データ１２４は、２組目の所定単位時間連続する連続復号音声データを示す照合対象音声データ１２４になる。
【００６６】
映像データ照合部１２２ａで検出された先頭の１画像の復号映像データの映像データ出力タイミング、および音声データ照合部１２２ｂで検出された先頭の所定単位時間連続する復号音声データの音声データ出力タイミングで、検出信号が算出部１２６のカウンタ１２６ａに入力される。そして、カウンタ１２６ａは、上記映像データ出力タイミングと上記音声データ出力タイミングのうち早い方のタイミングで、リセットされるとともに時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を先頭の映像および音声の映像音声出力間隔として出力する。
【００６７】
一方、再生基準時刻取得部１２５に記憶された映像再生基準時刻、および音声再生基準時刻のうち、先頭の１画像の符号化映像データに含まれていた映像再生基準時刻と先頭の所定単位時間連続する符号化音声データに含まれていた音声再生基準時刻とが算出部１２６の映像音声再生基準間隔算出部１２６ｂに入力される。そして、映像音声再生基準間隔算出部１２６ｂは、上記映像再生基準時刻と上記音声再生基準時刻との差を算出し、先頭の映像再生基準時刻と先頭の音声再生基準時刻との基準間隔として出力する。
【００６８】
先頭の映像および音声の映像音声出力間隔と基準間隔とは、同期ずれ時間算出部１２６ｃに入力される。そして、同期ずれ時間算出部１２６ｃによって、上記映像音声出力間隔と上記基準間隔との差が同期ずれ時間として算出される。このように、再生装置が正常に映像データと音声データとを同期させているかどうかが定量的に評価される。
【００６９】
出力タイミング検出部１２２、および算出部１２６の上記のような動作が、比較照合される照合対象映像データ１２３と照合対象音声データ１２４とがそれぞれ切り替わることによって、次には２画像目の復号映像データと２組目の所定単位時間連続する連続復号音声データについて行われ、その次には３画像目の復号映像データと３組目の所定単位時間連続する連続復号音声データについて行われ、それ以降も繰り返される。このように、映像データと音声データとが同期しているかどうかが、複数画像の復号映像データおよび複数組の所定単位時間連続する連続復号音声データのそれぞれについて評価される。
【００７０】
判定部１２７は、算出部１２６によって出力される同期ずれ時間を所定の閾値と比較し、同期ずれ時間が所定の閾値より小さい場合は判定信号として“０”を出力し、同期ずれ時間が所定の閾値より大きい場合は判定信号として“１”を出力する。
【００７１】
映像データ復号部１１２は、判定信号の値が“１”の時、判定信号の値が“０”の時よりも１画像あたりの画素数を少なくしたりビットレートを減らす等して、処理時間の短い復号処理を行う。このように、映像音声同期検出装置１２０により、検証機能付き映像音声再生装置１１０に生じる映像データと音声データとの同期ずれが、解消または低減される。
【００７２】
本実施形態において、記録部１２１は、映像データ復号部１１２が出力するのと同じ速度で復号映像データを出力するので、照合対象映像データ１２３と一致する復号映像データが検出されたタイミングが、照合対象映像データ１２３と一致する復号映像データが映像データ復号部１１２から出力されたタイミングとして扱われている。音声データについても同様である。しかし、必ずしも記録部１２１は、データを記録する速度とデータを読み出す速度が等しくなるように構成されなくてもよい。算出部１２６のカウンタ１２６ａにおいて、記録部１２１における記録速度と読み出し速度の比に応じたクロックで、再生基準時刻取得部１２５で算出される基準間隔と同じ時間単位の映像音声出力間隔が得られればよい。
【００７３】
また、復号映像データが映像データ復号部１１２から出力されたタイミングや復号音声データが音声データ復号部１１３から出力されたタイミング、すなわち映像データ出力タイミングや音声データ出力タイミングは、必ずしも、記録部１２１から復号映像データや復号音声データが出力されたタイミングを検出することにより検出されなくてもよい。例えば、記録部１２１が、復号映像データや復号音声データに、それぞれの映像データ出力タイミングや音声データ出力タイミングをタイムスタンプとして付して記録するようになっていた場合、それらのタイムスタンプを読み出すことによって検出してもよい。
【００７４】
また、本実施形態では、再生基準時刻取得部１２５において、各映像再生基準時刻と各音声再生基準時刻が取得される際に、再生基準時刻の時間単位を、算出部１２６において求められる映像音声出力間隔と合わせるようにしていたが、時間単位が合わせられるのは必ずしも再生基準時刻取得部１２５でなくてもよい。算出部１２６で、再生基準時刻の基準間隔と映像音声出力間隔との差を算出する際に、基準間隔と映像音声出力間隔の時間単位が同じになっていればよい。したがって、例えば、再生基準時刻取得部１２５では、映像再生時刻情報と音声再生時刻情報がそのまま記憶され、算出部１２６の映像音声再生基準間隔算出部１２６ｂにおいてそれらの差が算出され、その算出された差が映像音声出力間隔と同じ時間単位となるように換算されるようになっていてもよい。
【００７５】
《発明の実施形態１の変形例》
実施形態１の映像音声同期検出装置１２０は、算出部１２６に代えて、図４に示す算出部２２６を備えてもよい。
【００７６】
算出部２２６は、算出部１２６のカウンタ１２６ａに代えて、映像データ出力タイミングカウンタ２２６ａ、音声データ出力タイミングカウンタ２２６ｂ、および映像音声出力間隔算出部２２６ｃを備えている。
【００７７】
映像データ出力タイミングカウンタ２２６ａは、所定のタイミングでカウント値をリセットするとともに時間経過に応じた値のカウントを開始し、映像データ出力タイミングでカウント値を出力するようになっている。
【００７８】
音声データ出力タイミングカウンタ２２６ｂは、映像データ出力タイミングカウンタ２２６ａがカウントを開始するのと同じ所定のタイミングでカウント値をリセットするとともに時間経過に応じた値のカウントを開始し、音声データ出力タイミングでカウント値を出力するようになっている。
【００７９】
映像音声出力間隔算出部２２６ｃは、映像データ出力タイミングカウンタ２２６ａによって出力されるカウント値と音声データ出力タイミングカウンタ２２６ｂによって出力されるカウント値との差を映像音声出力間隔として出力するようになっている。
【００８０】
−動作−
映像データ照合部１２２ａと音声データ照合部１２２ｂとが同時に照合動作を開始し、その照合動作の開始と同時に映像データ出力タイミングカウンタ２２６ａと音声データ出力タイミングカウンタ２２６ｂがカウントを開始する場合の算出部２２６の動作を例として説明する。
【００８１】
映像データ照合部１２２ａと音声データ照合部１２２ｂとが照合動作を開始すると、同時に映像データ出力タイミングカウンタ２２６ａと音声データ出力タイミングカウンタ２２６ｂがリセットされるとともに、時間経過に応じた値のカウントを開始する。映像データ出力タイミングカウンタ２２６ａは、映像データ出力タイミングでカウント値を出力する。音声データ出力タイミングカウンタ２２６ｂは、音声データ出力タイミングでカウント値を出力する。そして、映像音声出力間隔算出部２２６ｃは、映像データ出力タイミングカウンタ２２６ａによって出力されたカウント値と音声データ出力タイミングカウンタ２２６ｂによって出力されたカウント値との差を映像音声出力間隔として同期ずれ時間算出部１２６ｃに出力する。
【００８２】
《発明の実施形態２》
実施形態２のコーデックシステムは、実施形態１のコーデックシステムの出力タイミング検出部１２２と算出部１２６に代えて、図５に示すような出力タイミング検出部１２２と算出部３２６を備えている。
【００８３】
本実施形態の映像データ照合部１２２ａは、実施形態１の映像データ照合部１２２ａの機能に加え、算出部３２６の不一致画像数カウンタ３２６ａに対し、照合対象映像データ１２３と記録部１２１から順次出力される各画像の復号映像データとが一致したことを示す信号、および不一致であったことを示す信号を不一致画像数カウンタ３２６ａに出力する機能を有している。
【００８４】
本実施形態において、音声データ照合部１２２ｂは、先頭の所定単位時間連続する連続復号音声データを示す照合対象音声データ１２４についての比較照合しか行わず、先頭の所定単位時間連続する復号音声データの音声データ出力タイミングを検出したあとは、他の検出を行わないようになっている。
【００８５】
算出部３２６は、カウンタ１２６ａ、不一致画像数カウンタ３２６ａ、出力時刻情報算出部３２６ｂ、映像音声再生基準間隔算出部３２６ｃ、および同期ずれ時間算出部３２６ｄを備えている。
【００８６】
不一致画像数カウンタ３２６ａは、映像データ照合部１２２ａから不一致を示す信号が入力されると、保持する値に１を加算するようになっている。また、不一致画像数カウンタ３２６ａの値は、映像データ照合部１２２ａから一致を示す信号が入力されると、出力時刻情報算出部３２６ｂに出力され、０にリセットされる。不一致は、例えば、伝送経路上の問題から映像データ復号部１１２に対する符号化映像データの供給が遅れ、所定の１画像の復号映像データが再生時刻情報に示されるタイミングで出力されるのに間に合わず、上記再生時刻情報に示されるタイミングで前の画像の復号映像データがそのまま出力されることによって生じる。
【００８７】
出力時刻情報算出部３２６ｂは、まず、カウンタ１２６ａから出力される先頭の１画像の復号映像データの映像データ出力タイミングと先頭の所定単位時間連続する復号音声データの音声データ出力タイミング（以下、先頭音声データ出力タイミング）との映像音声出力間隔を記憶するようになっている。そして２画像目以降の照合対象映像データ１２３と一致する復号映像データが検出される毎に、記憶されている映像音声出力間隔に、リセットされる前の不一致画像数カウンタ３２６ａの値に１を加算した値と１画像あたりの出力時間との積を加算し、新たな映像音声出力間隔として記憶するようになっている。
【００８８】
すなわち、ｎ番目の画像の復号映像データの映像データ出力タイミングと先頭音声データ出力タイミングとの映像音声出力間隔は以下の式によって算出される。
【００８９】
｛（ｎ番目の画像の復号映像データの映像データ出力タイミング）−（先頭音声データ出力タイミング）｝
＝｛（ｎ−１番目の画像の復号映像データの映像データ出力タイミング）−（先頭音声データ出力タイミング）｝
＋１画像あたりの出力時間×｛（不一致画像数カウンタ３２６ａの値）＋１｝
映像音声再生基準間隔算出部３２６ｃは、再生基準時刻取得部１２５から出力される先頭の１画像の符号化映像データに含まれていた映像再生基準時刻と先頭の所定単位時間連続する符号化音声データに含まれていた音声再生基準時刻（以下、先頭音声再生基準時刻）の基準間隔を算出するようになっている。そして、２番目以降の各画像の符号化映像データについても、それぞれに含まれる映像再生基準時刻と先頭の音声の音声再生基準時刻との基準間隔を算出するようになっている。
【００９０】
同期ずれ時間算出部３２６ｄは、記憶された映像音声出力間隔とそれに対応する基準間隔との差を同期ずれ時間として算出し、出力するようになっている。同期ずれ時間として算出される値を以下の式に示す。
【００９１】
同期ずれ時間＝｛（ｎ番目の画像の復号映像データの映像データ出力タイミング）−（先頭音声データ出力タイミング）｝−｛（ｎ番目の画像の映像再生基準時刻）−（先頭音声再生基準時刻）｝
【００９２】
−動作−
次に、上記のように構成された本実施形態の出力タイミング検出部１２２と算出部３２６の動作について説明する。
【００９３】
まず、映像データ照合部１２２ａが先頭の１画像の復号映像データの映像データ出力タイミングを検出し、音声データ照合部１２２ｂが先頭の所定単位時間連続する復号音声データの音声データ出力タイミングを検出し、同期ずれ時間を算出する動作は、実施形態１と同様である。
【００９４】
映像データ照合部１２２ａが先頭の画像の照合対象映像データ１２３と一致する復号映像データを検出してからの各部の動作について説明する。
【００９５】
映像データ照合部１２２ａが先頭の画像の照合対象映像データ１２３と一致する復号映像データを検出すると、不一致画像数カウンタ３２６ａの値は０にリセットされる。また、照合される照合対象映像データ１２３が２画像目の復号映像データを示す照合対象映像データ１２３になる。そして、映像データ照合部１２２ａは、２画像目の復号映像データを示す照合対象映像データ１２３を、入力される復号映像データと１画像毎に比較照合する。不一致の場合は、不一致画像数カウンタ３２６ａの保持する値に１加算される。一致すると、不一致画像数カウンタ３２６ａの保持する値が出力時刻情報算出部３２６ｂに出力され、０にリセットされる。
【００９６】
２画像目の復号映像データを示す照合対象映像データ１２３と復号映像データとの一致が検出されると、出力時刻情報算出部３２６ｂは、その時記憶されている先頭の映像および音声の映像音声出力間隔に、リセットされる前の不一致画像数カウンタ３２６ａの値に１を加算した値と１画像あたりの出力時間との積を加算した値を、新たな映像音声出力間隔として記憶する。
【００９７】
一方、映像音声再生基準間隔算出部３２６ｃは、２画像目の映像再生基準時刻と先頭の音声の音声再生基準時刻との差を基準間隔として算出する。
【００９８】
そして、同期ずれ時間算出部３２６ｄは、出力時刻情報算出部３２６ｂに記憶されている２画像目の復号映像データの映像データ出力タイミングと先頭音声データ出力タイミングとの差である映像音声出力間隔と２画像目の映像再生基準時刻と先頭の音声の音声再生基準時刻との差である基準間隔との差を同期ずれ時間として算出する。
【００９９】
上記のような動作が、３画像目の復号映像データ以降についても繰り返される。
【０１００】
なお、本実施形態の不一致画像数カウンタ３２６ａに代えて、各照合対象映像データ１２３について一致する復号映像データが検出された後、次の照合対象映像データ１２３について一致する復号映像データが検出されるまでの照合回数、すなわち各照合対象映像データ１２３についての照合回数をカウントするカウンタを備え、出力時刻情報算出部３２６ｂは、記憶されている映像音声出力間隔に、カウンタの値と１画像あたりの出力時間との積を加算した値を、新たな映像音声出力間隔として記憶するようにしてもよい。
【０１０１】
《その他の実施形態》
本発明は、データの符号化および復号が、上記各実施形態のように記憶媒体１３０にデータを記憶させるために行われる場合に限らず、データを所定の伝送経路で伝送するために行われる場合等にも適用できる。
【０１０２】
上記実施形態において、照合対象映像データ１２３は複数画像分記憶され、照合対象音声データ１２４は複数組の所定単位時間連続する復号音声データ分記憶される構成であったが、必ずしも一連の映像データや音声データについての同期検出動作の開始時に、一連のすべての照合対象映像データ１２３や照合対象音声データ１２４が記憶されている必要はない。例えば、映像データ復号部１１２や音声データ復号部１１３から順次入力されるようにしてもよい。
【０１０３】
また、実施形態２では、先頭の復号音声データの音声データ出力タイミングと各復号映像データの映像データ出力タイミングとの映像音声出力間隔とそれに対応する基準間隔との差が同期ずれ時間として順次算出されるようになっていたが、逆に、先頭の復号映像データの映像データ出力タイミングと各復号音声データの音声データ出力タイミングとの映像音声出力間隔とそれに対応する基準間隔との差が同期ずれ時間として順次算出されるように構成してもよい。
【０１０４】
また、上記実施形態では、判定信号の値が“１”の時、判定信号の値が“０”の時よりも１画像あたりの画素数を少なくしたりビットレートを減らす等して、処理時間の短い復号処理を行うことにより、映像データと音声データとの同期ずれを解消または低減するようになっていたが、同期ずれを低減する方法はこれに限らない。例えば、映像データ出力タイミングが早いことにより同期ずれ時間が大きくなっている場合は、復号映像データを映像データ復号部１１２が遅らせて出力し、音声データ出力タイミングが早いことにより同期ずれ時間が大きくなっている場合は、復号音声データを音声データ復号部１１３が遅らせて出力するようにしてもよい。
【０１０５】
また、上記実施形態において、映像再生時刻情報と音声再生時刻情報が、多重分離部１１１から出力される符号化映像データと符号化音声データとから読み取られるようになっていたが、再生基準時刻取得部１２５が映像再生時刻情報と音声再生時刻情報を得る方法はこれに限らない。例えば、多重化部１０５が、付加する映像再生時刻情報と音声再生時刻情報とを再生基準時刻取得部１２５に出力し、記録させるようにしてもよい。
【０１０６】
また、上記実施形態において、算出部は、｜映像データ出力タイミング−音声データ出力タイミング｜−｜映像再生基準時刻−音声再生基準時刻｜という順序の演算が行われて同期ずれ時間が算出されるように構成されていたが、｜映像データ出力タイミング−映像再生基準時刻｜−｜音声データ出力タイミング−音声再生基準時刻｜という順序の演算が行われて同期ずれ時間が算出されるように構成されてもよい。
【産業上の利用可能性】
【０１０７】
本発明に係る映像音声同期検出装置、および検証機能付き映像音声再生システムは、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価できるという効果を有し、例えば、符号化された映像データと音声データを復号し、復号した映像データと音声データを再生時刻情報を用いて同期させて出力する装置の同期動作を、出力される映像データと音声データの同期を測定することによって検証する技術等として有用である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施形態１に係るコーデックシステムの構成を示すブロック図である。
【図２】本発明の実施形態１に係る出力タイミング検出部１２２の構成を示すブロック図である。
【図３】本発明の実施形態１に係る算出部１２６の構成を示すブロック図である。
【図４】本発明の実施形態１の変形例に係る算出部１２６の構成を示すブロック図である。
【図５】本発明の実施形態２に係る出力タイミング検出部１２２と算出部３２６との構成を示すブロック図である。
【符号の説明】
【０１０９】
１００ 映像音声符号化多重装置
１０１ 映像データ発生部
１０２ 映像データ符号化部
１０３ 音声データ発生部
１０４ 音声データ符号化部
１０５ 多重化部
１１０ 検証機能付き映像音声再生装置
１１１ 多重分離部
１１２ 映像データ復号部
１１３ 音声データ復号部
１２０ 映像音声同期検出装置
１２１ 記録部
１２２ 出力タイミング検出部
１２２ａ 映像データ照合部
１２２ｂ 音声データ照合部
１２３ 照合対象映像データ
１２４ 照合対象音声データ
１２５ 再生基準時刻取得部
１２６ 算出部
１２６ａ カウンタ
１２６ｂ 映像音声再生基準間隔算出部
１２６ｃ 同期ずれ時間算出部
１２７ 判定部
１３０ 記憶媒体
２２６ 算出部
２２６ａ 映像データ出力タイミングカウンタ
２２６ｂ 音声データ出力タイミングカウンタ
２２６ｃ 映像音声出力間隔算出部
３２６ 算出部
３２６ａ 不一致画像数カウンタ
３２６ｂ 出力時刻情報算出部
３２６ｃ 映像音声再生基準間隔算出部
３２６ｄ 同期ずれ時間算出部
【技術分野】
【０００１】
本発明は、符号化された映像データと音声データを復号し、復号した映像データと音声データを再生時刻情報を用いて同期させて出力する装置の同期動作を、出力される映像データと音声データの同期を測定することによって検証する技術に関するものである。
【背景技術】
【０００２】
従来、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格等を適用し、別々に圧縮し、多重化して映像データおよび音声データを伝送したり記憶媒体に記録する技術が知られている。このような技術を用いて伝送または記録された多重化圧縮データは、再生装置に入力され、多重分離される。そして、分離された映像データと音声データがそれぞれ伸長されて再生される。このようないわゆるコーデックシステムにおいては、多重化する際に、映像データと音声データに、それぞれ各所定単位のデータの再生時刻を示すタイムスタンプと呼ばれる再生時刻情報が埋め込まれる。そして、再生装置がそのタイムスタンプに基づくタイミングで映像データと音声データとを再生する。
【０００３】
ここで、再生装置が正常にタイムスタンプに基づくタイミングで映像データと音声データを再生しているかを検証する方法として、再生される映像と音声が同期しているか、例えば、人間が話す時の唇の動きと声が同期しているかを人間が観察することによって検証する方法がある。
【０００４】
ところが、このように人間が観察して検証する方法には、定量的な評価ができないという問題がある。そこで、再生装置が映像データと音声データをタイムスタンプにどの程度忠実なタイミングで再生しているかを定量的に評価できるようにするＡＶ同期検出装置が特許文献１に提案されている。
【０００５】
同文献の図１に示されるＡＶ同期検出装置において、映像信号発生手段１は、フレーム番号に対応した時刻が画面右下にスーパーインポーズされた映像の映像データを発生する。一方、タイムコード発生手段３は、ＬＴＣ（Ｌｏｎｇｉｔｕｄｉｎａｌ Ｔｉｍｅ Ｃｏｄｅ）信号を使用してタイムコードを発生する。そして、表示装置１０に表示される映像の画面右下にスーパーインポーズされた時刻と、タイムコード読取手段１２に表示されるタイムコードとが比較される。この比較により、タイムスタンプで示される再生タイミングと実際に再生されるタイミングの時間差を算出することができる。つまり、再生装置が映像データと音声データをタイムスタンプにどの程度忠実なタイミングで再生しているかを定量的に評価できる。
【特許文献１】特開平８−１７２５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来のＡＶ同期検出装置による検証方法では、時刻情報が付された状態で再生される映像データと音声データを用いてしか評価できない。したがって、映像信号発生手段１やタイムコード発生手段３等の、時刻情報が付された状態で再生される映像データと音声データを生成するための特別な装置が必要となっていた。また、タイムコード読取手段１２等の、再生される音声データから時刻情報を読み取るための装置も必要となっていた。
【０００７】
本発明は、上記の点に鑑み、映像音声同期検出装置により、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価できるようにする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１の発明は、
符号化映像データおよび符号化音声データを復号し、復号映像データと復号音声データとを同期させて出力する映像音声再生装置の同期動作を検証するための映像音声同期検出装置であって、
上記映像音声再生装置が所定の１画像の復号映像データを出力する映像データ出力タイミング、および上記映像音声再生装置が所定単位時間連続する所定の連続復号音声データを出力する音声データ出力タイミングを検出する出力タイミング検出部と、
上記符号化映像データまたは符号化音声データに含まれる再生時刻情報に基づいて、上記所定の１画像の復号映像データが出力されるべき映像再生基準時刻と上記所定の連続音声データが出力されるべき音声再生基準時刻とを取得する再生基準時刻取得部と、
上記映像データ出力タイミングと上記音声データ出力タイミングとの間隔である映像音声出力間隔と、上記映像再生基準時刻と上記音声再生基準時刻との基準間隔との差を同期ずれ時間として算出する算出部と、
を備えたことを特徴とする。
【０００９】
これにより、映像データ出力タイミングと音声データ出力タイミングとの差である映像音声出力間隔と映像再生基準時刻と音声再生基準時刻との差である基準間隔との差を同期ずれ時間として算出することにより、映像データと音声データとの同期を定量的に評価できる。
【００１０】
請求項２の発明は、
請求項１の映像音声同期検出装置であって、
上記出力タイミング検出部は、
上記所定の１画像の復号映像データに対応する照合対象映像データを、上記映像音声再生装置が順次出力する各復号映像データと照合し、上記照合対象映像データと一致する復号映像データを検出する映像データ照合部と、
上記所定単位時間連続する所定の連続復号音声データに対応する照合対象音声データを、上記映像音声再生装置が順次出力する各復号音声データと照合し、上記照合対象音声データと一致する復号音声データを検出する音声データ照合部と、
を備え、
上記照合対象映像データに一致する復号映像データが出力されたタイミングを上記映像データ出力タイミングとして検出し、
上記照合対象音声データに一致する復号音声データが出力されたタイミングを上記音声データ出力タイミングとして検出するようになっていることを特徴とする。
【００１１】
これにより、同期ずれを評価する対象の復号映像データと復号音声データを、照合によって特定し、検出できる。
【００１２】
請求項３の発明は、
請求項２の映像音声同期検出装置であって、
上記映像データ照合部は、複数画像の照合対象映像データについて、順次、それぞれと一致する復号映像データを検出し、上記算出部は、上記一致が検出された各復号映像データについての上記同期ずれ時間を算出することを特徴とする。
【００１３】
これにより、複数画像の映像データについて音声データとの同期ずれが評価されるので、複数画像の映像データを再生している途中に生じる同期ずれも評価でき、同期ずれが生じた画像を特定することもできる。
【００１４】
請求項４の発明は、
請求項３の映像音声同期検出装置であって、
上記映像データ照合部は、
各照合対象映像データについて一致する復号映像データが検出された後、次の照合対象映像データについて一致する復号映像データが検出されるまでの照合回数をカウントする画像数カウンタを備え、
上記算出部は、
各照合対象映像データに一致する復号映像データが出力されるごとに、前回一致した復号映像データが出力された際の上記映像音声出力間隔に、上記画像数カウンタの値と１画像の出力時間との積を加算した値を、上記各照合対象映像データに一致する復号映像データについての映像音声出力間隔として求めることを特徴とする。
【００１５】
これにより、各照合対象映像データに一致する復号映像データと所定の復号音声データとの差が順次、映像音声出力間隔として求められる。
【００１６】
請求項５の発明は、
請求項２の映像音声同期検出装置であって、
上記音声データ照合部は、複数組の照合対象復号音声データについて、順次、それぞれと一致する復号音声データを検出し、上記算出部は、上記一致が検出された各復号音声データについての上記同期ずれ時間を算出するようになっていることを特徴とする。
【００１７】
これにより、複数組の所定単位時間連続する音声データについて映像データとの同期ずれが評価されるので、複数組の所定単位時間連続する音声データを再生している途中に生じる同期ずれも評価でき、同期ずれが生じた音声データを特定することもできる。
【００１８】
請求項６の発明は、
上記音声データ照合部は、
各照合対象復号音声データについて一致する復号音声データが検出された後、次の照合対象復号音声データについて一致する復号音声データが検出されるまでの照合回数をカウントする組数カウンタを備え、
上記算出部は、
各照合対象音声データに一致する復号音声データが出力されるごとに、前回一致した復号音声データが出力された際の上記映像音声出力間隔に、上記組数カウンタの値と１組の所定単位時間連続する連続復号音声データの出力時間との積を加算した値を、上記各照合対象音声データに一致する復号音声データについての映像音声出力間隔として求めることを特徴とする。
【００１９】
これにより、各照合対象音声データに一致する復号音声データと所定の復号映像データとの差が順次、映像音声出力間隔として求められる。
【００２０】
請求項７の発明は、
請求項１の映像音声同期検出装置であって、
上記算出部は、
上記映像データ出力タイミングと上記音声データ出力タイミングのうち早い方のタイミングで時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を上記映像音声出力間隔として出力するカウンタを備えたことを特徴とする。
【００２１】
請求項８の発明は、
請求項１の映像音声同期検出装置であって、
上記算出部は、
所定のタイミングで時間経過に応じた値のカウントを開始し、上記映像データ出力タイミングでカウント値を出力する映像データ出力タイミングカウンタと、
上記所定のタイミングで時間経過に応じた値のカウントを開始し、上記音声データ出力タイミングでカウント値を出力する音声データ出力タイミングカウンタと、
上記映像データ出力タイミングカウンタによって出力されるカウント値と上記音声データ出力タイミングカウンタによって出力されるカウント値との差を上記映像音声出力間隔として出力する映像音声出力間隔算出部と、
を備えたことを特徴とする。
【００２２】
これらにより、カウンタを用いることにより、映像音声出力間隔を容易に算出できる。
【００２３】
請求項９の発明は、
請求項１の映像音声同期検出装置であって、
さらに、上記同期ずれ時間を所定の閾値と比較する判定部を備えたことを特徴とする。
【００２４】
これにより、算出された同期ずれ時間を、あらかじめ自由に設定された閾値と比較することによって映像データと音声データとの同期を評価できる。
【００２５】
請求項１０の発明は、
請求項１の映像音声同期検出装置と、
映像音声再生装置と、
を有する検証機能付き映像音声再生システムであって、
上記映像音声再生装置は、
符号化多重データを符号化映像データと符号化音声データとに分離する多重分離部と、
上記符号化映像データを復号する映像データ復号部と、
上記符号化音声データを復号する音声データ復号部と、
を備え、
復号された復号映像データと復号音声データとを同期させて出力する一方、
上記映像音声同期検出装置は、
上記復号映像データと上記復号音声データとの同期ずれ時間を検出することを特徴とする。
【００２６】
これにより、映像音声再生装置の同期動作が、映像音声同期検出装置により検証される。
【００２７】
請求項１１の発明は、
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、処理時間が互いに異なる複数種類の復号処理を行う機能を有し、上記映像データ出力タイミングが遅いことにより上記同期ずれ時間が所定の閾値より大きい場合の方が、小さい場合よりも処理時間の短い復号処理を行うように構成されていることを特徴とする。
【００２８】
請求項１２の発明は、
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、１画像あたりの画素数を増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする。
【００２９】
請求項１３の発明は、
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、復号映像データのビットレートを増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする。
【００３０】
請求項１４の発明は、
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、上記映像データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号映像データを遅らせて出力させ、上記音声データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号音声データを遅らせて出力させるように構成されていることを特徴とする。
【００３１】
これらにより、映像音声再生装置が出力する復号映像データと復号音声データとの同期ずれ時間が、映像音声同期検出装置によって評価され、同期ずれ時間が所定の閾値を超えている場合は、同期ずれが低減されるように映像音声同期検出装置が映像音声再生装置が制御される。
【発明の効果】
【００３２】
映像音声同期検出装置により、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価できる。したがって、時刻情報が付された状態で再生される評価用の映像データと音声データを生成する特別な装置を備えることなく、再生装置が映像データと音声データをタイムスタンプにどの程度忠実なタイミングで再生しているかを評価できる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００３４】
《発明の実施形態１》
図１は、本発明の実施形態１に係るコーデックシステムの構成を示すブロック図である。
【００３５】
実施形態１に係るコーデックシステムでは、映像音声符号化多重装置１００が出力する符号化多重データが、記憶媒体１３０に記憶され、検証機能付き映像音声再生装置１１０で再生されるようになっている。検証機能付き映像音声再生装置１１０（検証機能付き映像音声再生システム）は、再生される復号映像データと復号音声データの同期を検出する映像音声同期検出装置１２０を備えている。
【００３６】
映像音声符号化多重装置１００は、映像データ発生部１０１、映像データ符号化部１０２、音声データ発生部１０３、音声データ符号化部１０４、および多重化部１０５を備えている。
【００３７】
映像データ発生部１０１は、映像データを生成するようになっている。映像データ発生部１０１としては、例えば、ビデオカメラが用いられる。
【００３８】
映像データ符号化部１０２は、映像データ発生部１０１によって生成された映像データを符号化するようになっている。ここで行われる符号化は、映像データを圧縮する符号化等である。
【００３９】
音声データ発生部１０３は、音声データを生成するようになっている。音声データ発生部１０３としては、例えば、マイクが用いられる。
【００４０】
音声データ符号化部１０４は、音声データ発生部１０３によって生成された音声データを符号化するようになっている。ここで行われる符号化は、音声データを圧縮する符号化等である。
【００４１】
多重化部１０５は、映像データ符号化部１０２によって符号化された符号化映像データにタイムスタンプ等の映像再生時刻情報を付加し、音声データ符号化部１０４によって符号化された符号化音声データにタイムスタンプ等の音声再生時刻情報を付加するようになっている。そして、再生時刻情報が付加された符号化映像データと符号化音声データとを、１つの通信回線または伝送チャネルで送信できるデータに多重化（合成）するようになっている。
【００４２】
検証機能付き映像音声再生装置１１０は、多重分離部１１１、映像データ復号部１１２、音声データ復号部１１３、および映像音声同期検出装置１２０を備えている。
【００４３】
多重分離部１１１は、多重化部１０５によって多重化された符号化多重データを符号化映像データと符号化音声データとに分離して出力するようになっている。
【００４４】
映像データ復号部１１２は、多重分離部１１１によって出力された符号化映像データを復号し、符号化映像データに付された映像再生時刻情報に基づくタイミングで出力するようになっている。ここで行われる復号は、圧縮された符号化映像データを伸長する復号等である。映像データ復号部１１２には、後述する判定部１２７から判定信号が入力されるようになっており、判定信号の値が“１”の時、判定信号の値が“０”の時よりも１画像あたりの画素数を少なくしたりビットレートを減らす等して、処理時間の短い復号処理を行うようになっている。
【００４５】
音声データ復号部１１３は、多重分離部１１１によって出力された符号化音声データを復号し、符号化音声データに付された音声再生時刻情報に基づくタイミングで出力するようになっている。ここで行われる復号は、圧縮された符号化音声データを伸長する復号等である。
【００４６】
映像音声同期検出装置１２０は、記録部１２１、出力タイミング検出部１２２、再生基準時刻取得部１２５、算出部１２６、および判定部１２７を備えている。
【００４７】
記録部１２１は、映像データ復号部１１２および音声データ復号部１１３からそれぞれ出力される復号映像データと復号音声データとを記録するようになっている。そして、記録した復号映像データと復号音声データとを、映像データ復号部１１２および音声データ復号部１１３からそれぞれが出力されるのと同じ速度と順序で出力するようになっている。記録部１２１は、例えば、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）データ用のハードディスク、メモリ、またはビデオテープで構成される。
【００４８】
出力タイミング検出部１２２は、図２に示すように、映像データ照合部１２２ａと音声データ照合部１２２ｂとを備えている。映像データ照合部１２２ａは、照合対象映像データ１２３を、記録部１２１から順次出力される復号映像データと１画像毎に比較照合し、照合対象映像データ１２３と一致する復号映像データを検出するようになっている。そして、照合対象映像データ１２３と一致する復号映像データを検出したタイミングを映像データ出力タイミングとして出力するようになっている。
【００４９】
音声データ照合部１２２ｂは、照合対象音声データ１２４を、記録部１２１から順次出力される復号音声データと所定単位時間連続する復号音声データ毎に比較照合し、照合対象音声データ１２４と一致する復号音声データを検出するようになっている。そして、照合対象音声データ１２４と一致する復号音声データを検出したタイミングを音声データ出力タイミングとして出力するようになっている。
【００５０】
照合対象映像データ１２３は複数画像分記憶されており、一致する復号映像データが検出されると、比較照合される照合対象映像データ１２３が、次の新たな照合対象映像データ１２３に切り換えられるようになっている。同様に、照合対象音声データ１２４は複数組の所定単位時間連続する復号音声データ分記憶されており、一致する復号音声データが検出されると、比較照合される照合対象音声データ１２４が、次の新たな照合対象音声データ１２４に切り換えられるようになっている。
【００５１】
再生基準時刻取得部１２５は、１画像の符号化映像データ毎に、各符号化映像データに含まれる映像再生時刻情報を読み取り、後述する算出部１２６のカウンタ１２６ａで時間経過に応じてカウントされる値と単位を揃えるように換算した映像再生基準時刻を求めて記憶するようになっている。さらに、所定単位の連続する符号化音声データ毎に、各符号化音声データに含まれる音声再生時刻情報を読み取り、各符号化音声データが音声データ復号部１１３から復号音声データとして出力されるべき音声再生基準時刻を取得し、記憶するようになっている。例えば、２７ＭＨｚのクロックでカウントされた値が再生時刻情報として用いられるＭＰＥＧ２システムの場合であって、後述する算出部１２６のカウンタ１２６ａにおいて、映像データ出力タイミングと音声データ出力タイミングとの間隔が９ＭＨｚのクロックでカウントされる場合、映像再生基準時刻と音声再生基準時刻は、映像再生時刻情報と音声再生時刻情報をそれぞれ１／３倍して求められる。
【００５２】
算出部１２６は、所定の１画像の映像データの映像データ出力タイミングと所定単位時間連続する所定の音声データ出力タイミングとの間隔である映像音声出力間隔と、上記所定の１画像の映像データの映像再生基準時刻と上記所定の音声データの音声再生基準時刻との基準間隔との差を同期ずれ時間として算出するようになっている。具体的な構成としては、例えば、図３に示すように、カウンタ１２６ａ、映像音声再生基準間隔算出部１２６ｂ、および同期ずれ時間算出部１２６ｃを備えている。
【００５３】
カウンタ１２６ａは、映像データ出力タイミングと音声データ出力タイミングのうち早い方のタイミングでカウント値をリセットすると同時に、時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を映像音声出力間隔として出力するようになっている。
【００５４】
映像音声再生基準間隔算出部１２６ｂは、映像再生基準時刻と音声再生基準時刻との差を算出し、映像再生基準時刻と音声再生基準時刻との基準間隔として出力するようになっている。
【００５５】
同期ずれ時間算出部１２６ｃは、映像音声出力間隔と基準間隔との差を同期ずれ時間として算出するようになっている。
【００５６】
判定部１２７は、算出部１２６によって出力される同期ずれ時間を所定の閾値と比較し、同期ずれ時間が所定の閾値より小さい場合は判定信号として“０”を出力し、同期ずれ時間が所定の閾値より大きい場合は判定信号として“１”を出力するようになっている。
【００５７】
記憶媒体１３０は、映像音声符号化多重装置１００の多重化部１０５によって出力された符号化多重データを記憶するようになっている。
【００５８】
−動作−
次に、上記のように構成されたコーデックシステムにおける各部の動作について説明する。
【００５９】
まず、映像データ発生部１０１が映像データを生成すると、生成された映像データは映像データ符号化部１０２によって符号化される。一方、音声データ発生部１０３が音声データを生成すると、生成された音声データは音声データ符号化部１０４によって符号化される。そして、符号化された符号化映像データと符号化音声データは、多重化部１０５によって、それぞれに再生時刻情報が付加されて多重化され、符号化多重データとして記憶媒体１３０に記憶される。
【００６０】
記憶媒体１３０に記憶された符号化多重データは、多重分離部１１１で符号化映像データと符号化音声データとに分離される。分離された符号化映像データは映像データ復号部１１２で復号され、分離された符号化音声データは音声データ復号部１１３で復号される。復号された復号映像データは、復号される前の符号化映像データに付されていた映像再生時刻情報に基づくタイミングで記録部１２１に出力される。同様に、復号された復号音声データは、復号される前の符号化音声データに付されていた音声再生時刻情報に基づくタイミングで記録部１２１に出力される。
【００６１】
記録部１２１は、映像データ復号部１１２から出力される復号映像データ、および音声データ復号部１１３から出力される復号音声データを記録し、映像データ復号部１１２および音声データ復号部１１３からそれぞれが出力されたのと同じ速度と順序で、出力タイミング検出部１２２へ出力する。
【００６２】
一方、再生基準時刻取得部１２５は、１画像の符号化映像データ毎に、符号化映像データに含まれる映像再生時刻情報を読み取り、各符号化映像データが復号された後に映像データ復号部１１２から復号映像データとして出力されるべき映像再生基準時刻を取得し、記憶する。さらに、所定単位時間連続する符号化音声データ毎に、各符号化音声データに含まれる音声再生時刻情報を読み取り、各符号化音声データが復号された後に音声データ復号部１１３から復号音声データとして出力されるべき音声再生基準時刻を取得し、記憶する。
【００６３】
以下、出力タイミング検出部１２２、および算出部１２６の動作については、まず、先頭の復号映像データと先頭の復号音声データについて出力タイミングが検出され、再生基準時刻と比較される場合について説明する。
【００６４】
記録部１２１から出力される復号映像データは出力タイミング検出部１２２に入力される。出力タイミング検出部１２２に入力された復号映像データは、１画像毎に、映像データ照合部１２２ａで、先頭の１画像の復号映像データを示す照合対象映像データ１２３と比較照合される。映像データ照合部１２２ａは、その照合対象映像データ１２３と一致する復号映像データを検出する。そして、照合対象映像データ１２３と一致する復号映像データを検出したタイミングを映像データ出力タイミングとして検出する。そして、照合対象映像データ１２３と一致する復号映像データが検出された後、比較照合される照合対象映像データ１２３は、２画像目の復号映像データを示す照合対象映像データ１２３になる。
【００６５】
同様に、記録部１２１から出力される復号音声データは出力タイミング検出部１２２に入力される。出力タイミング検出部１２２に入力された復号音声データは、所定単位時間連続する復号音声データ毎に、音声データ照合部１２２ｂで、先頭の所定単位時間連続する連続復号音声データを示す照合対象音声データ１２４と比較照合される。音声データ照合部１２２ｂは、その照合対象音声データ１２４と一致する復号音声データを検出する。そして、照合対象音声データ１２４と一致する復号音声データを検出したタイミングを音声データ出力タイミングとして検出する。そして、照合対象音声データ１２４と一致する復号音声データが検出された後、比較照合される照合対象音声データ１２４は、２組目の所定単位時間連続する連続復号音声データを示す照合対象音声データ１２４になる。
【００６６】
映像データ照合部１２２ａで検出された先頭の１画像の復号映像データの映像データ出力タイミング、および音声データ照合部１２２ｂで検出された先頭の所定単位時間連続する復号音声データの音声データ出力タイミングで、検出信号が算出部１２６のカウンタ１２６ａに入力される。そして、カウンタ１２６ａは、上記映像データ出力タイミングと上記音声データ出力タイミングのうち早い方のタイミングで、リセットされるとともに時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を先頭の映像および音声の映像音声出力間隔として出力する。
【００６７】
一方、再生基準時刻取得部１２５に記憶された映像再生基準時刻、および音声再生基準時刻のうち、先頭の１画像の符号化映像データに含まれていた映像再生基準時刻と先頭の所定単位時間連続する符号化音声データに含まれていた音声再生基準時刻とが算出部１２６の映像音声再生基準間隔算出部１２６ｂに入力される。そして、映像音声再生基準間隔算出部１２６ｂは、上記映像再生基準時刻と上記音声再生基準時刻との差を算出し、先頭の映像再生基準時刻と先頭の音声再生基準時刻との基準間隔として出力する。
【００６８】
先頭の映像および音声の映像音声出力間隔と基準間隔とは、同期ずれ時間算出部１２６ｃに入力される。そして、同期ずれ時間算出部１２６ｃによって、上記映像音声出力間隔と上記基準間隔との差が同期ずれ時間として算出される。このように、再生装置が正常に映像データと音声データとを同期させているかどうかが定量的に評価される。
【００６９】
出力タイミング検出部１２２、および算出部１２６の上記のような動作が、比較照合される照合対象映像データ１２３と照合対象音声データ１２４とがそれぞれ切り替わることによって、次には２画像目の復号映像データと２組目の所定単位時間連続する連続復号音声データについて行われ、その次には３画像目の復号映像データと３組目の所定単位時間連続する連続復号音声データについて行われ、それ以降も繰り返される。このように、映像データと音声データとが同期しているかどうかが、複数画像の復号映像データおよび複数組の所定単位時間連続する連続復号音声データのそれぞれについて評価される。
【００７０】
判定部１２７は、算出部１２６によって出力される同期ずれ時間を所定の閾値と比較し、同期ずれ時間が所定の閾値より小さい場合は判定信号として“０”を出力し、同期ずれ時間が所定の閾値より大きい場合は判定信号として“１”を出力する。
【００７１】
映像データ復号部１１２は、判定信号の値が“１”の時、判定信号の値が“０”の時よりも１画像あたりの画素数を少なくしたりビットレートを減らす等して、処理時間の短い復号処理を行う。このように、映像音声同期検出装置１２０により、検証機能付き映像音声再生装置１１０に生じる映像データと音声データとの同期ずれが、解消または低減される。
【００７２】
本実施形態において、記録部１２１は、映像データ復号部１１２が出力するのと同じ速度で復号映像データを出力するので、照合対象映像データ１２３と一致する復号映像データが検出されたタイミングが、照合対象映像データ１２３と一致する復号映像データが映像データ復号部１１２から出力されたタイミングとして扱われている。音声データについても同様である。しかし、必ずしも記録部１２１は、データを記録する速度とデータを読み出す速度が等しくなるように構成されなくてもよい。算出部１２６のカウンタ１２６ａにおいて、記録部１２１における記録速度と読み出し速度の比に応じたクロックで、再生基準時刻取得部１２５で算出される基準間隔と同じ時間単位の映像音声出力間隔が得られればよい。
【００７３】
また、復号映像データが映像データ復号部１１２から出力されたタイミングや復号音声データが音声データ復号部１１３から出力されたタイミング、すなわち映像データ出力タイミングや音声データ出力タイミングは、必ずしも、記録部１２１から復号映像データや復号音声データが出力されたタイミングを検出することにより検出されなくてもよい。例えば、記録部１２１が、復号映像データや復号音声データに、それぞれの映像データ出力タイミングや音声データ出力タイミングをタイムスタンプとして付して記録するようになっていた場合、それらのタイムスタンプを読み出すことによって検出してもよい。
【００７４】
また、本実施形態では、再生基準時刻取得部１２５において、各映像再生基準時刻と各音声再生基準時刻が取得される際に、再生基準時刻の時間単位を、算出部１２６において求められる映像音声出力間隔と合わせるようにしていたが、時間単位が合わせられるのは必ずしも再生基準時刻取得部１２５でなくてもよい。算出部１２６で、再生基準時刻の基準間隔と映像音声出力間隔との差を算出する際に、基準間隔と映像音声出力間隔の時間単位が同じになっていればよい。したがって、例えば、再生基準時刻取得部１２５では、映像再生時刻情報と音声再生時刻情報がそのまま記憶され、算出部１２６の映像音声再生基準間隔算出部１２６ｂにおいてそれらの差が算出され、その算出された差が映像音声出力間隔と同じ時間単位となるように換算されるようになっていてもよい。
【００７５】
《発明の実施形態１の変形例》
実施形態１の映像音声同期検出装置１２０は、算出部１２６に代えて、図４に示す算出部２２６を備えてもよい。
【００７６】
算出部２２６は、算出部１２６のカウンタ１２６ａに代えて、映像データ出力タイミングカウンタ２２６ａ、音声データ出力タイミングカウンタ２２６ｂ、および映像音声出力間隔算出部２２６ｃを備えている。
【００７７】
映像データ出力タイミングカウンタ２２６ａは、所定のタイミングでカウント値をリセットするとともに時間経過に応じた値のカウントを開始し、映像データ出力タイミングでカウント値を出力するようになっている。
【００７８】
音声データ出力タイミングカウンタ２２６ｂは、映像データ出力タイミングカウンタ２２６ａがカウントを開始するのと同じ所定のタイミングでカウント値をリセットするとともに時間経過に応じた値のカウントを開始し、音声データ出力タイミングでカウント値を出力するようになっている。
【００７９】
映像音声出力間隔算出部２２６ｃは、映像データ出力タイミングカウンタ２２６ａによって出力されるカウント値と音声データ出力タイミングカウンタ２２６ｂによって出力されるカウント値との差を映像音声出力間隔として出力するようになっている。
【００８０】
−動作−
映像データ照合部１２２ａと音声データ照合部１２２ｂとが同時に照合動作を開始し、その照合動作の開始と同時に映像データ出力タイミングカウンタ２２６ａと音声データ出力タイミングカウンタ２２６ｂがカウントを開始する場合の算出部２２６の動作を例として説明する。
【００８１】
映像データ照合部１２２ａと音声データ照合部１２２ｂとが照合動作を開始すると、同時に映像データ出力タイミングカウンタ２２６ａと音声データ出力タイミングカウンタ２２６ｂがリセットされるとともに、時間経過に応じた値のカウントを開始する。映像データ出力タイミングカウンタ２２６ａは、映像データ出力タイミングでカウント値を出力する。音声データ出力タイミングカウンタ２２６ｂは、音声データ出力タイミングでカウント値を出力する。そして、映像音声出力間隔算出部２２６ｃは、映像データ出力タイミングカウンタ２２６ａによって出力されたカウント値と音声データ出力タイミングカウンタ２２６ｂによって出力されたカウント値との差を映像音声出力間隔として同期ずれ時間算出部１２６ｃに出力する。
【００８２】
《発明の実施形態２》
実施形態２のコーデックシステムは、実施形態１のコーデックシステムの出力タイミング検出部１２２と算出部１２６に代えて、図５に示すような出力タイミング検出部１２２と算出部３２６を備えている。
【００８３】
本実施形態の映像データ照合部１２２ａは、実施形態１の映像データ照合部１２２ａの機能に加え、算出部３２６の不一致画像数カウンタ３２６ａに対し、照合対象映像データ１２３と記録部１２１から順次出力される各画像の復号映像データとが一致したことを示す信号、および不一致であったことを示す信号を不一致画像数カウンタ３２６ａに出力する機能を有している。
【００８４】
本実施形態において、音声データ照合部１２２ｂは、先頭の所定単位時間連続する連続復号音声データを示す照合対象音声データ１２４についての比較照合しか行わず、先頭の所定単位時間連続する復号音声データの音声データ出力タイミングを検出したあとは、他の検出を行わないようになっている。
【００８５】
算出部３２６は、カウンタ１２６ａ、不一致画像数カウンタ３２６ａ、出力時刻情報算出部３２６ｂ、映像音声再生基準間隔算出部３２６ｃ、および同期ずれ時間算出部３２６ｄを備えている。
【００８６】
不一致画像数カウンタ３２６ａは、映像データ照合部１２２ａから不一致を示す信号が入力されると、保持する値に１を加算するようになっている。また、不一致画像数カウンタ３２６ａの値は、映像データ照合部１２２ａから一致を示す信号が入力されると、出力時刻情報算出部３２６ｂに出力され、０にリセットされる。不一致は、例えば、伝送経路上の問題から映像データ復号部１１２に対する符号化映像データの供給が遅れ、所定の１画像の復号映像データが再生時刻情報に示されるタイミングで出力されるのに間に合わず、上記再生時刻情報に示されるタイミングで前の画像の復号映像データがそのまま出力されることによって生じる。
【００８７】
出力時刻情報算出部３２６ｂは、まず、カウンタ１２６ａから出力される先頭の１画像の復号映像データの映像データ出力タイミングと先頭の所定単位時間連続する復号音声データの音声データ出力タイミング（以下、先頭音声データ出力タイミング）との映像音声出力間隔を記憶するようになっている。そして２画像目以降の照合対象映像データ１２３と一致する復号映像データが検出される毎に、記憶されている映像音声出力間隔に、リセットされる前の不一致画像数カウンタ３２６ａの値に１を加算した値と１画像あたりの出力時間との積を加算し、新たな映像音声出力間隔として記憶するようになっている。
【００８８】
すなわち、ｎ番目の画像の復号映像データの映像データ出力タイミングと先頭音声データ出力タイミングとの映像音声出力間隔は以下の式によって算出される。
【００８９】
｛（ｎ番目の画像の復号映像データの映像データ出力タイミング）−（先頭音声データ出力タイミング）｝
＝｛（ｎ−１番目の画像の復号映像データの映像データ出力タイミング）−（先頭音声データ出力タイミング）｝
＋１画像あたりの出力時間×｛（不一致画像数カウンタ３２６ａの値）＋１｝
映像音声再生基準間隔算出部３２６ｃは、再生基準時刻取得部１２５から出力される先頭の１画像の符号化映像データに含まれていた映像再生基準時刻と先頭の所定単位時間連続する符号化音声データに含まれていた音声再生基準時刻（以下、先頭音声再生基準時刻）の基準間隔を算出するようになっている。そして、２番目以降の各画像の符号化映像データについても、それぞれに含まれる映像再生基準時刻と先頭の音声の音声再生基準時刻との基準間隔を算出するようになっている。
【００９０】
同期ずれ時間算出部３２６ｄは、記憶された映像音声出力間隔とそれに対応する基準間隔との差を同期ずれ時間として算出し、出力するようになっている。同期ずれ時間として算出される値を以下の式に示す。
【００９１】
同期ずれ時間＝｛（ｎ番目の画像の復号映像データの映像データ出力タイミング）−（先頭音声データ出力タイミング）｝−｛（ｎ番目の画像の映像再生基準時刻）−（先頭音声再生基準時刻）｝
【００９２】
−動作−
次に、上記のように構成された本実施形態の出力タイミング検出部１２２と算出部３２６の動作について説明する。
【００９３】
まず、映像データ照合部１２２ａが先頭の１画像の復号映像データの映像データ出力タイミングを検出し、音声データ照合部１２２ｂが先頭の所定単位時間連続する復号音声データの音声データ出力タイミングを検出し、同期ずれ時間を算出する動作は、実施形態１と同様である。
【００９４】
映像データ照合部１２２ａが先頭の画像の照合対象映像データ１２３と一致する復号映像データを検出してからの各部の動作について説明する。
【００９５】
映像データ照合部１２２ａが先頭の画像の照合対象映像データ１２３と一致する復号映像データを検出すると、不一致画像数カウンタ３２６ａの値は０にリセットされる。また、照合される照合対象映像データ１２３が２画像目の復号映像データを示す照合対象映像データ１２３になる。そして、映像データ照合部１２２ａは、２画像目の復号映像データを示す照合対象映像データ１２３を、入力される復号映像データと１画像毎に比較照合する。不一致の場合は、不一致画像数カウンタ３２６ａの保持する値に１加算される。一致すると、不一致画像数カウンタ３２６ａの保持する値が出力時刻情報算出部３２６ｂに出力され、０にリセットされる。
【００９６】
２画像目の復号映像データを示す照合対象映像データ１２３と復号映像データとの一致が検出されると、出力時刻情報算出部３２６ｂは、その時記憶されている先頭の映像および音声の映像音声出力間隔に、リセットされる前の不一致画像数カウンタ３２６ａの値に１を加算した値と１画像あたりの出力時間との積を加算した値を、新たな映像音声出力間隔として記憶する。
【００９７】
一方、映像音声再生基準間隔算出部３２６ｃは、２画像目の映像再生基準時刻と先頭の音声の音声再生基準時刻との差を基準間隔として算出する。
【００９８】
そして、同期ずれ時間算出部３２６ｄは、出力時刻情報算出部３２６ｂに記憶されている２画像目の復号映像データの映像データ出力タイミングと先頭音声データ出力タイミングとの差である映像音声出力間隔と２画像目の映像再生基準時刻と先頭の音声の音声再生基準時刻との差である基準間隔との差を同期ずれ時間として算出する。
【００９９】
上記のような動作が、３画像目の復号映像データ以降についても繰り返される。
【０１００】
なお、本実施形態の不一致画像数カウンタ３２６ａに代えて、各照合対象映像データ１２３について一致する復号映像データが検出された後、次の照合対象映像データ１２３について一致する復号映像データが検出されるまでの照合回数、すなわち各照合対象映像データ１２３についての照合回数をカウントするカウンタを備え、出力時刻情報算出部３２６ｂは、記憶されている映像音声出力間隔に、カウンタの値と１画像あたりの出力時間との積を加算した値を、新たな映像音声出力間隔として記憶するようにしてもよい。
【０１０１】
《その他の実施形態》
本発明は、データの符号化および復号が、上記各実施形態のように記憶媒体１３０にデータを記憶させるために行われる場合に限らず、データを所定の伝送経路で伝送するために行われる場合等にも適用できる。
【０１０２】
上記実施形態において、照合対象映像データ１２３は複数画像分記憶され、照合対象音声データ１２４は複数組の所定単位時間連続する復号音声データ分記憶される構成であったが、必ずしも一連の映像データや音声データについての同期検出動作の開始時に、一連のすべての照合対象映像データ１２３や照合対象音声データ１２４が記憶されている必要はない。例えば、映像データ復号部１１２や音声データ復号部１１３から順次入力されるようにしてもよい。
【０１０３】
また、実施形態２では、先頭の復号音声データの音声データ出力タイミングと各復号映像データの映像データ出力タイミングとの映像音声出力間隔とそれに対応する基準間隔との差が同期ずれ時間として順次算出されるようになっていたが、逆に、先頭の復号映像データの映像データ出力タイミングと各復号音声データの音声データ出力タイミングとの映像音声出力間隔とそれに対応する基準間隔との差が同期ずれ時間として順次算出されるように構成してもよい。
【０１０４】
また、上記実施形態では、判定信号の値が“１”の時、判定信号の値が“０”の時よりも１画像あたりの画素数を少なくしたりビットレートを減らす等して、処理時間の短い復号処理を行うことにより、映像データと音声データとの同期ずれを解消または低減するようになっていたが、同期ずれを低減する方法はこれに限らない。例えば、映像データ出力タイミングが早いことにより同期ずれ時間が大きくなっている場合は、復号映像データを映像データ復号部１１２が遅らせて出力し、音声データ出力タイミングが早いことにより同期ずれ時間が大きくなっている場合は、復号音声データを音声データ復号部１１３が遅らせて出力するようにしてもよい。
【０１０５】
また、上記実施形態において、映像再生時刻情報と音声再生時刻情報が、多重分離部１１１から出力される符号化映像データと符号化音声データとから読み取られるようになっていたが、再生基準時刻取得部１２５が映像再生時刻情報と音声再生時刻情報を得る方法はこれに限らない。例えば、多重化部１０５が、付加する映像再生時刻情報と音声再生時刻情報とを再生基準時刻取得部１２５に出力し、記録させるようにしてもよい。
【０１０６】
また、上記実施形態において、算出部は、｜映像データ出力タイミング−音声データ出力タイミング｜−｜映像再生基準時刻−音声再生基準時刻｜という順序の演算が行われて同期ずれ時間が算出されるように構成されていたが、｜映像データ出力タイミング−映像再生基準時刻｜−｜音声データ出力タイミング−音声再生基準時刻｜という順序の演算が行われて同期ずれ時間が算出されるように構成されてもよい。
【産業上の利用可能性】
【０１０７】
本発明に係る映像音声同期検出装置、および検証機能付き映像音声再生システムは、再生時に時刻情報が付かない映像データと音声データを用いて再生装置を評価できるという効果を有し、例えば、符号化された映像データと音声データを復号し、復号した映像データと音声データを再生時刻情報を用いて同期させて出力する装置の同期動作を、出力される映像データと音声データの同期を測定することによって検証する技術等として有用である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施形態１に係るコーデックシステムの構成を示すブロック図である。
【図２】本発明の実施形態１に係る出力タイミング検出部１２２の構成を示すブロック図である。
【図３】本発明の実施形態１に係る算出部１２６の構成を示すブロック図である。
【図４】本発明の実施形態１の変形例に係る算出部１２６の構成を示すブロック図である。
【図５】本発明の実施形態２に係る出力タイミング検出部１２２と算出部３２６との構成を示すブロック図である。
【符号の説明】
【０１０９】
１００ 映像音声符号化多重装置
１０１ 映像データ発生部
１０２ 映像データ符号化部
１０３ 音声データ発生部
１０４ 音声データ符号化部
１０５ 多重化部
１１０ 検証機能付き映像音声再生装置
１１１ 多重分離部
１１２ 映像データ復号部
１１３ 音声データ復号部
１２０ 映像音声同期検出装置
１２１ 記録部
１２２ 出力タイミング検出部
１２２ａ 映像データ照合部
１２２ｂ 音声データ照合部
１２３ 照合対象映像データ
１２４ 照合対象音声データ
１２５ 再生基準時刻取得部
１２６ 算出部
１２６ａ カウンタ
１２６ｂ 映像音声再生基準間隔算出部
１２６ｃ 同期ずれ時間算出部
１２７ 判定部
１３０ 記憶媒体
２２６ 算出部
２２６ａ 映像データ出力タイミングカウンタ
２２６ｂ 音声データ出力タイミングカウンタ
２２６ｃ 映像音声出力間隔算出部
３２６ 算出部
３２６ａ 不一致画像数カウンタ
３２６ｂ 出力時刻情報算出部
３２６ｃ 映像音声再生基準間隔算出部
３２６ｄ 同期ずれ時間算出部
【特許請求の範囲】
【請求項１】
符号化映像データおよび符号化音声データを復号し、復号映像データと復号音声データとを同期させて出力する映像音声再生装置の同期動作を検証するための映像音声同期検出装置であって、
上記映像音声再生装置が所定の１画像の復号映像データを出力する映像データ出力タイミング、および上記映像音声再生装置が所定単位時間連続する所定の連続復号音声データを出力する音声データ出力タイミングを検出する出力タイミング検出部と、
上記符号化映像データまたは符号化音声データに含まれる再生時刻情報に基づいて、上記所定の１画像の復号映像データが出力されるべき映像再生基準時刻と上記所定の連続音声データが出力されるべき音声再生基準時刻とを取得する再生基準時刻取得部と、
上記映像データ出力タイミングと上記音声データ出力タイミングとの間隔である映像音声出力間隔と、上記映像再生基準時刻と上記音声再生基準時刻との基準間隔との差を同期ずれ時間として算出する算出部と、
を備えたことを特徴とする映像音声同期検出装置。
【請求項２】
請求項１の映像音声同期検出装置であって、
上記出力タイミング検出部は、
上記所定の１画像の復号映像データに対応する照合対象映像データを、上記映像音声再生装置が順次出力する各復号映像データと照合し、上記照合対象映像データと一致する復号映像データを検出する映像データ照合部と、
上記所定単位時間連続する所定の連続復号音声データに対応する照合対象音声データを、上記映像音声再生装置が順次出力する各復号音声データと照合し、上記照合対象音声データと一致する復号音声データを検出する音声データ照合部と、
を備え、
上記照合対象映像データに一致する復号映像データが出力されたタイミングを上記映像データ出力タイミングとして検出し、
上記照合対象音声データに一致する復号音声データが出力されたタイミングを上記音声データ出力タイミングとして検出するようになっていることを特徴とする映像音声同期検出装置。
【請求項３】
請求項２の映像音声同期検出装置であって、
上記映像データ照合部は、複数画像の照合対象映像データについて、順次、それぞれと一致する復号映像データを検出し、上記算出部は、上記一致が検出された各復号映像データについての上記同期ずれ時間を算出することを特徴とする映像音声同期検出装置。
【請求項４】
請求項３の映像音声同期検出装置であって、
上記映像データ照合部は、
各照合対象映像データについて一致する復号映像データが検出された後、次の照合対象映像データについて一致する復号映像データが検出されるまでの照合回数をカウントする画像数カウンタを備え、
上記算出部は、
各照合対象映像データに一致する復号映像データが出力されるごとに、前回一致した復号映像データが出力された際の上記映像音声出力間隔に、上記画像数カウンタの値と１画像の出力時間との積を加算した値を、上記各照合対象映像データに一致する復号映像データについての映像音声出力間隔として求めることを特徴とする映像音声同期検出装置。
【請求項５】
請求項２の映像音声同期検出装置であって、
上記音声データ照合部は、複数組の照合対象復号音声データについて、順次、それぞれと一致する復号音声データを検出し、上記算出部は、上記一致が検出された各復号音声データについての上記同期ずれ時間を算出するようになっていることを特徴とする映像音声同期検出装置。
【請求項６】
請求項５の映像音声同期検出装置であって、
上記音声データ照合部は、
各照合対象復号音声データについて一致する復号音声データが検出された後、次の照合対象復号音声データについて一致する復号音声データが検出されるまでの照合回数をカウントする組数カウンタを備え、
上記算出部は、
各照合対象音声データに一致する復号音声データが出力されるごとに、前回一致した復号音声データが出力された際の上記映像音声出力間隔に、上記組数カウンタの値と１組の所定単位時間連続する連続復号音声データの出力時間との積を加算した値を、上記各照合対象音声データに一致する復号音声データについての映像音声出力間隔として求めることを特徴とする映像音声同期検出装置。
【請求項７】
請求項１の映像音声同期検出装置であって、
上記算出部は、
上記映像データ出力タイミングと上記音声データ出力タイミングのうち早い方のタイミングで時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を上記映像音声出力間隔として出力するカウンタを備えたことを特徴とする映像音声同期検出装置。
【請求項８】
請求項１の映像音声同期検出装置であって、
上記算出部は、
所定のタイミングで時間経過に応じた値のカウントを開始し、上記映像データ出力タイミングでカウント値を出力する映像データ出力タイミングカウンタと、
上記所定のタイミングで時間経過に応じた値のカウントを開始し、上記音声データ出力タイミングでカウント値を出力する音声データ出力タイミングカウンタと、
上記映像データ出力タイミングカウンタによって出力されるカウント値と上記音声データ出力タイミングカウンタによって出力されるカウント値との差を上記映像音声出力間隔として出力する映像音声出力間隔算出部と、
を備えたことを特徴とする映像音声同期検出装置。
【請求項９】
請求項１の映像音声同期検出装置であって、
さらに、上記同期ずれ時間を所定の閾値と比較する判定部を備えたことを特徴とする映像音声同期検出装置。
【請求項１０】
請求項１の映像音声同期検出装置と、
映像音声再生装置と、
を有する検証機能付き映像音声再生システムであって、
上記映像音声再生装置は、
符号化多重データを符号化映像データと符号化音声データとに分離する多重分離部と、
上記符号化映像データを復号する映像データ復号部と、
上記符号化音声データを復号する音声データ復号部と、
を備え、
復号された復号映像データと復号音声データとを同期させて出力する一方、
上記映像音声同期検出装置は、
上記復号映像データと上記復号音声データとの同期ずれ時間を検出することを特徴とする検証機能付き映像音声再生システム。
【請求項１１】
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、処理時間が互いに異なる複数種類の復号処理を行う機能を有し、上記映像データ出力タイミングが遅いことにより上記同期ずれ時間が所定の閾値より大きい場合の方が、小さい場合よりも処理時間の短い復号処理を行うように構成されていることを特徴とする検証機能付き映像音声再生システム。
【請求項１２】
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、１画像あたりの画素数を増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする検証機能付き映像音声再生システム。
【請求項１３】
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、復号映像データのビットレートを増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする検証機能付き映像音声再生システム。
【請求項１４】
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、上記映像データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号映像データを遅らせて出力させ、上記音声データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号音声データを遅らせて出力させるように構成されていることを特徴とする検証機能付き映像音声再生システム。
【請求項１】
符号化映像データおよび符号化音声データを復号し、復号映像データと復号音声データとを同期させて出力する映像音声再生装置の同期動作を検証するための映像音声同期検出装置であって、
上記映像音声再生装置が所定の１画像の復号映像データを出力する映像データ出力タイミング、および上記映像音声再生装置が所定単位時間連続する所定の連続復号音声データを出力する音声データ出力タイミングを検出する出力タイミング検出部と、
上記符号化映像データまたは符号化音声データに含まれる再生時刻情報に基づいて、上記所定の１画像の復号映像データが出力されるべき映像再生基準時刻と上記所定の連続音声データが出力されるべき音声再生基準時刻とを取得する再生基準時刻取得部と、
上記映像データ出力タイミングと上記音声データ出力タイミングとの間隔である映像音声出力間隔と、上記映像再生基準時刻と上記音声再生基準時刻との基準間隔との差を同期ずれ時間として算出する算出部と、
を備えたことを特徴とする映像音声同期検出装置。
【請求項２】
請求項１の映像音声同期検出装置であって、
上記出力タイミング検出部は、
上記所定の１画像の復号映像データに対応する照合対象映像データを、上記映像音声再生装置が順次出力する各復号映像データと照合し、上記照合対象映像データと一致する復号映像データを検出する映像データ照合部と、
上記所定単位時間連続する所定の連続復号音声データに対応する照合対象音声データを、上記映像音声再生装置が順次出力する各復号音声データと照合し、上記照合対象音声データと一致する復号音声データを検出する音声データ照合部と、
を備え、
上記照合対象映像データに一致する復号映像データが出力されたタイミングを上記映像データ出力タイミングとして検出し、
上記照合対象音声データに一致する復号音声データが出力されたタイミングを上記音声データ出力タイミングとして検出するようになっていることを特徴とする映像音声同期検出装置。
【請求項３】
請求項２の映像音声同期検出装置であって、
上記映像データ照合部は、複数画像の照合対象映像データについて、順次、それぞれと一致する復号映像データを検出し、上記算出部は、上記一致が検出された各復号映像データについての上記同期ずれ時間を算出することを特徴とする映像音声同期検出装置。
【請求項４】
請求項３の映像音声同期検出装置であって、
上記映像データ照合部は、
各照合対象映像データについて一致する復号映像データが検出された後、次の照合対象映像データについて一致する復号映像データが検出されるまでの照合回数をカウントする画像数カウンタを備え、
上記算出部は、
各照合対象映像データに一致する復号映像データが出力されるごとに、前回一致した復号映像データが出力された際の上記映像音声出力間隔に、上記画像数カウンタの値と１画像の出力時間との積を加算した値を、上記各照合対象映像データに一致する復号映像データについての映像音声出力間隔として求めることを特徴とする映像音声同期検出装置。
【請求項５】
請求項２の映像音声同期検出装置であって、
上記音声データ照合部は、複数組の照合対象復号音声データについて、順次、それぞれと一致する復号音声データを検出し、上記算出部は、上記一致が検出された各復号音声データについての上記同期ずれ時間を算出するようになっていることを特徴とする映像音声同期検出装置。
【請求項６】
請求項５の映像音声同期検出装置であって、
上記音声データ照合部は、
各照合対象復号音声データについて一致する復号音声データが検出された後、次の照合対象復号音声データについて一致する復号音声データが検出されるまでの照合回数をカウントする組数カウンタを備え、
上記算出部は、
各照合対象音声データに一致する復号音声データが出力されるごとに、前回一致した復号音声データが出力された際の上記映像音声出力間隔に、上記組数カウンタの値と１組の所定単位時間連続する連続復号音声データの出力時間との積を加算した値を、上記各照合対象音声データに一致する復号音声データについての映像音声出力間隔として求めることを特徴とする映像音声同期検出装置。
【請求項７】
請求項１の映像音声同期検出装置であって、
上記算出部は、
上記映像データ出力タイミングと上記音声データ出力タイミングのうち早い方のタイミングで時間経過に応じた値のカウントを開始し、もう一方のタイミングでのカウント値を上記映像音声出力間隔として出力するカウンタを備えたことを特徴とする映像音声同期検出装置。
【請求項８】
請求項１の映像音声同期検出装置であって、
上記算出部は、
所定のタイミングで時間経過に応じた値のカウントを開始し、上記映像データ出力タイミングでカウント値を出力する映像データ出力タイミングカウンタと、
上記所定のタイミングで時間経過に応じた値のカウントを開始し、上記音声データ出力タイミングでカウント値を出力する音声データ出力タイミングカウンタと、
上記映像データ出力タイミングカウンタによって出力されるカウント値と上記音声データ出力タイミングカウンタによって出力されるカウント値との差を上記映像音声出力間隔として出力する映像音声出力間隔算出部と、
を備えたことを特徴とする映像音声同期検出装置。
【請求項９】
請求項１の映像音声同期検出装置であって、
さらに、上記同期ずれ時間を所定の閾値と比較する判定部を備えたことを特徴とする映像音声同期検出装置。
【請求項１０】
請求項１の映像音声同期検出装置と、
映像音声再生装置と、
を有する検証機能付き映像音声再生システムであって、
上記映像音声再生装置は、
符号化多重データを符号化映像データと符号化音声データとに分離する多重分離部と、
上記符号化映像データを復号する映像データ復号部と、
上記符号化音声データを復号する音声データ復号部と、
を備え、
復号された復号映像データと復号音声データとを同期させて出力する一方、
上記映像音声同期検出装置は、
上記復号映像データと上記復号音声データとの同期ずれ時間を検出することを特徴とする検証機能付き映像音声再生システム。
【請求項１１】
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、処理時間が互いに異なる複数種類の復号処理を行う機能を有し、上記映像データ出力タイミングが遅いことにより上記同期ずれ時間が所定の閾値より大きい場合の方が、小さい場合よりも処理時間の短い復号処理を行うように構成されていることを特徴とする検証機能付き映像音声再生システム。
【請求項１２】
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、１画像あたりの画素数を増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする検証機能付き映像音声再生システム。
【請求項１３】
請求項１１の検証機能付き映像音声再生システムであって、
上記映像データ復号部は、復号映像データのビットレートを増減させることによって、上記処理時間が互いに異なる複数種類の復号処理を行うことを特徴とする検証機能付き映像音声再生システム。
【請求項１４】
請求項１０の検証機能付き映像音声再生システムであって、
上記同期ずれ時間を所定の閾値と比較する判定部を備え、
上記映像データ復号部は、上記映像データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号映像データを遅らせて出力させ、上記音声データ出力タイミングが早いことにより上記同期ずれ時間が所定の閾値より大きい場合、上記復号音声データを遅らせて出力させるように構成されていることを特徴とする検証機能付き映像音声再生システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−３０６１１０（Ｐ２００７−３０６１１０Ａ）
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願番号】特願２００６−１３０１３９（Ｐ２００６−１３０１３９）
【出願日】平成１８年５月９日（２００６．５．９）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年１１月２２日（２００７．１１．２２）
【国際特許分類】
【出願日】平成１８年５月９日（２００６．５．９）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]