リップシンク評価装置、及びリップシンク調整装置
【課題】 伝送路１０６に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を客観的に、定量的に、且つ、時系列的に把握できるリップシンク評価装置を取得する。
【解決手段】 マーカ挿入部１５２は、伝送路１０６に入力されるビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入し、時間差測定部１５３は、伝送路１０６から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路１０６中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する。
【解決手段】 マーカ挿入部１５２は、伝送路１０６に入力されるビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入し、時間差測定部１５３は、伝送路１０６から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路１０６中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送路に入力される、出力同時性が要求されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置、及び該時間差を調整するリップシンク調整装置に関する。
【背景技術】
【０００２】
ビデオデータ、及びオーディオデータからなる実時間ＡＶ信号を、伝送路（例えばインターネット網）や、信号処理回路を経由してビデオモニタ等に出力すると、本来同時に出力されなければならない筈である両データが、伝送路や信号処理回路の特性に起因し、時間差を持って出力されることがある。かかる場合には、両データの時間差を検出し、該時間差を調整し、両データの同時性（以後の説明では両データの同時性をリップシンクと記す）を確保する必要がある。かかるリップシンクを検出するリップシンク評価装置が市販されている（非特許文献１参照）。
【０００３】
上記市販されているリップシンク評価装置の時間差測定原理について以下に説明する。
図７は、従来技術の動作説明図である。
図に示すビデオ画面３００は、上記装置がテスト用の実時間ＡＶ信号を所定の伝送路に入力した場合に於けるビデオデータとオーディオデータとの出力側における時間差計測用の画面である。図に示すように、ビデオ画面３００上には、固定された４本の縦長のパルスバー３０１と、矢印方向へ等速度で移動する１本の縦長のクロスバー３０２が表示される。ビデオデータとオーディオデータ間に出力の同時性がある場合にはクロスバー３０２が、パルスバー３０１の上を通過する時に、オーディオデータがオペレータによって聴取される。一方、出力の同時性が無い場合には、オペレータによってオーディオデータが聴取されたときにクロスバー３０２はパルスバー３０１から離れている。この時のクロスバー３０２とパルスバー３０１との距離が、ビデオデータとオーディオデータとの間に発生した時間差を表すことになる。
【０００４】
従って、評価対象システムの入力側から実時間ＡＶ信号を入力し、該評価対象システムの出力側で、オペレータがオーディオデータを聴取しながら、上記ビデオ画面３００を観測することによって、評価対象システム中に於ける上記時間差を目視によって検出することが可能であった。更に、オペレータが時間差を目視しながら評価対象システムを手動で調整し、実時間ＡＶ信号の同時性を確保することも可能であった。
【特許文献１】特開平１０−２８５４８３
【非特許文献１】ｈｔｔｐ：／／ｗｗｗ．ｓｈｉｂａｓｏｋｕ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔｓ／ａｖｃ／ｐｓｌｌａｋ．ｈｔｍｌ
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上説明した従来技術では、オペレータの主観評価によってリップシンクのずれを確認するため、異なるオペレータ間での個人差が無視出来なかった。また、リップシンクのずれを定量的に把握することが困難であった。更に、リップシンクの確認は、数秒周期で行われていたため、短時間内にリップシンクのずれ量が変化する場合には対応できなかった。上記従来技術には、このような解決すべき課題が残されていた。
【課題を解決するための手段】
【０００６】
本発明は、伝送路または信号処理手段に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置であって、上記伝送路または信号処理手段に入力される上記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、上記伝送路または信号処理手段から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、上記伝送路または信号処理手段中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する時間差計測部とを備えることを主要な特徴とする。
【発明の効果】
【０００７】
本発明によるリップシンク評価装置によれば、送信側に於いて、マーカ挿入部がビデオデータ及びオーディオデータのそれぞれに入力時刻を特定可能なマーカデータを挿入し、受信側では時間差計測部が上記マーカデータを検出し、上記伝送路または信号処理手段中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出するのでリップシンクのずれ量を客観的に求めることが可能になる。その結果、従来の方法とは異なり，ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握できるという効果を得る。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の最良の実施形態について説明する。
【実施例１】
【０００９】
図１は、実施例１のリップシンク評価システムのシステム構成図である。
図に示すように本実施例のリップシンク評価システム１００は、評価対象システム１０１と、リップシンク評価装置１５１とを含む。
評価対象システム１０１は、ＡＶ入力部１０２と、符号化送信部１０３と、受信復号部１０４と、ＡＶモニタ１０５と、伝送路１０６とを備え、リップシンク評価装置１５１は、マーカ挿入部１５２と、時間差測定部１５３とを備える。以下にＡＶデータの生成からリップシンクの評価まで、ＡＶデータの流れに沿って、上記各部分の構成と機能とを合わせて説明し、実施例１のリップシンク評価システムの内容を明らかにする。
【００１０】
ＡＶ入力部１０２は、ビデオカメラ及びマイクロフォン、又はＤＶＤプレーヤー等を内蔵し、ビデオデータ及びオーディオデータからなるＡＶデータ（１）を生成し、符号化送信部１０３とマーカ挿入部１５２へ送出する部分である。一例としてビデオデータは、ビデオカメラまたはＤＶＤプレーヤーを介して、画像サイズが７２０×４８０（画素）で、フレームレートが２９．９７Ｈｚ、Ｙ、Ｃｂ、Ｃｒが４対２対２形式（１画素あたり１６ビット）のディジタルデータとして生成される。又、オーディオデータは、マイクやＤＶＤプレーヤーを介して、一例としてサンプリング周波数が４８ＫＨｚ、２チャンネル、量子化１６ビット／チャネルのディジタルデータとして生成される。このビデオデータとオーディオデータとは多重化され、ＡＶデータ（１）として通常は符号化送信部１０３へ送出される。但し、評価対象システム１０１と、リップシンク評価装置１５１とを結合して利用する場合には、ＡＶデータ（１）は、ＡＶ入力部１０２からマーカ挿入部１５２を経由して符号化送信部１０３へ送出され、直接符号化送信部１０３へ送出されることは無くなる。
【００１１】
符号化送信部１０３は、ＡＶ入力部１０２からＡＶデータ（１）を受入れ、又は、マーカ挿入部１５２からＡＶデータ（２）を受入れて、符号化し、更に符号化データを蓄積し、伝送路１０６に対応する伝送パケット１０７を構成し、伝送路１０６を介して受信復号部１０４へ送信する部分である。
【００１２】
マーカ挿入部１５２は、ＡＶ入力部１０２からＡＶデータ（１）を受入れてビデオデータとオーディオデータに分離し、それぞれのデータに送信側の出力タイミング（出力時刻）を特定可能なタイムマーカを挿入し、更に、両データを多重化し、ＡＶデータ（２）として符号化送信部１０３へ送出する部分である。以下にマーカ挿入部１５２が、ビデオデータ、及びオーディオデータに対してタイムマーカを挿入する機能について、それぞれの説明図を用いて説明する。最初にビデオマーカデータについて説明し、続いてオーディオマーカデータについて説明する。
【００１３】
図２は、ビデオマーカデータの説明図である。
この図は、画像サイズが７２０×４８０（画素）、フレームレートが２９．９７Ｈｚのフレーム中におけるビデオマーカデータが含まれる位置と、そのビデオマーカデータの構成を示す図である。図に示すように、画像サイズが７２０×４８０（画素）のビデオフレームは、有効ビデオ領域１５２−１と、マーカ領域１５２−２とに分割される。本発明では、オーバースキャン方式を採用し、マーカ領域１５２−２は、一般的なビデオモニタでは表示されない領域に配置される。このマーカ領域１５２−２にビデオマーカデータ１５２−３が表示される。ビデオマーカデータ１５２−３は、マーカ挿入部１５２（図１）がＡＶ入力部１０２からＡＶデータ（１）を受入れると、１／２９．９７秒毎に生成される。一例として７２０×８（画素）で構成される。以後の説明では、縦方向の画素数をライン数（縦方向の画素数＝ライン数）で表示する。
【００１４】
図に示すようにビデオマーカデータ１５２−３は、左右ほぼ中央の２４０画素に、同期パターン１５２−３ａと、マーカビット列１５２−３ｂとを挿入し、その他の領域には、黒パターン１５２−３ｃを挿入する。同期パターン１５２−３ａは、８画素分の白パターンと右側（図中）に隣接する８画素分の黒パターンとによって構成される。マーカビット列１５２−３ｂは、８画素分の白パターン、または黒パターンによって各々８ビットのビット値（一例として白が１、黒が０）が表現される。
【００１５】
ビデオマーカデータ１５２−３には、３つのマーカビット列１５２−３ｂ（合計２４ビット）によって表現される送信タイミング（送信時刻）が挿入される。この送信タイミングは、一例として１／２９．９７秒周期で送信されるビデオフレームのフレーム番号Ｆｎによって特定される。このビデオフレームのフレーム番号Ｆｎは上記８ライン同一番号に固定され、フレーム毎にインクリメントされる。出力側では、受信したビデオデータからこのフレーム番号Ｆｎを取得することによって、そのビデオフレームが入力側から送信された時刻（送信タイミング）を特定し、その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得することが可能になる。
【００１６】
又、マーカ挿入部１５２（図１）は、２チャンネルのオーディオデータを受入れると、一方のチャンネルのオーディオデータを破棄し、そこに以下に説明するオーディオマーカデータを上書きしてマーカチャネルを生成する。
【００１７】
図３は、オーディオマーカデータの説明図である。
この図は、オーディオマーカデータの構成を示す図である。図に示すように、オーディオマーカデータ１５２−５は、０．４ｍｓ幅を有する２４ビットから構成される。各ビットのデータ値は以下の定義に基いて設定される。
定義（１）
０．４ｍｓ周期の各ビットの境界で必ず極性を反転させることとする。
定義（２）
ビット値が１の場合に限って、上記０．４ｍｓ周期の各ビットの中央でも反転させることとする。ビット値が０の場合は、定義（１）のみが適用され定義（２）は適用されない。
【００１８】
上記定義に基づいて、図３（ａ）のデータ値を信号レベル（Ｈ、Ｌ）で表すと図３（ｂ）のように表される。図３（ｂ）に示すように０．４ｍｓ周期の各ビットの境界で必ず極性が反転されている（定義１）。更に、ビット値が１の場合には、ビットの中央（０．２ｍｓ）で極性が反転されている（定義２）。
【００１９】
マーカ挿入部１５２（図１）がＡＶ入力部１０２からＡＶデータ（１）を受入れると、１／２９．９７秒毎に１オーディオフレームが上記定義に基づいて生成される。２４ビットのオーディオマーカデータ１５２−５は、１オーディオフレームの中に挿入される。オーディオマーカデータ１５２−５は、一例として、そのオーディオフレームのフレーム番号ｆｎを表している。このフレーム番号ｆｎは、１／２９．９７秒経過毎にインクリメントされる。
【００２０】
従って、出力側では、受信したオーディオデータからこのフレーム番号ｆｎを取得することによって、そのオーディオフレームが入力側から送信された時刻（送信タイミング）を特定出来ることになる。即ち、０．４ｍｓ毎のデータ変化点を検出し、その０．４ｍｓの中間に別のデータ変化点が検出されればデータ値１を認識できるのでフレーム番号ｆｎを読み出すことが可能になる。その結果、出力側では、受信したオーディオデータからこのフレーム番号ｆｎを取得することによって、そのオーディオフレームが入力側から送信された時刻（送信タイミング）を特定し、その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得することが可能になる。
【００２１】
上記のように構成されたビデオマーカデータ１５２−３（図２）が挿入されたビデオデータと、上記のように構成されたオーディオマーカデータ１５２−５（図２）が挿入されたオーディオデータは、マーカ挿入部１５２（図１）によって多重化されＡＶデータ（２）として符号化送信部１０３（図１）へ送出される。符号化送信部１０３（図１）は、上記のように、このＡＶデータ（１）、又はＡＶデータ（２）を符号化し、更に符号化データを蓄積し、伝送パケット１０７を構成し、伝送路１０６を介して受信復号部１０４へ送信することになる。
【００２２】
図１に戻って、受信復号部１０４は、伝送路１０６を介して符号化送信部１０３から伝送パケット１０７を受信してＡＶデータ（３）に復号化し、ＡＶモニタ１０５と、時間差測定部１５３へＡＶデータ（３）を送出する部分である。ＡＶモニタ１０５は、ＡＶデータ（３）を受入れて所定の目的に供する部分である。伝送路１０６は、例えばインターネット網などのようにＡＶデータを伝送可能なネットワークである。
【００２３】
時間差測定部１５３は、受信復号部１０４からＡＶデータ（３）を受入れてビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路１０６中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から時間差データを算出して出力する部分である。時間差測定部１５３の詳細な構成とその機能について以下に説明する。
【００２４】
図４は、時間差測定部の構成図である。
図に示すように時間差測定部１５３は、ビデオキャプチャ部１５３−１と、ビデオマーカ読出部１５３−２と、オーディオキャプチャ部１５３−３と、オーディオマーカ読出部１５３−４と、時間差計算部１５３−５と、時間差出力部１５３−６とを有する。
【００２５】
ビデオキャプチャ部１５３−１は、ＡＶデータ（３）を受入れて、ビデオデータを取得し、ビデオマーカ読出部１５３−２へ出力する部分である。ビデオマーカ読出部１５３−２は、ビデオキャプチャ部１５３−１からビデオデータを受入れて、ビデオマーカデータ１５２−３（図２）を読み出して時間差計算部１５３−５へ送出する部分である。
【００２６】
オーディオキャプチャ部１５３−３は、ＡＶデータ（３）を受入れて、オーディオデータを取得し、オーディオマーカ読出部１５３−４へ出力する部分である。オーディオマーカ読出部１５３−４は、オーディオキャプチャ部１５３−３からオーディオデータを受入れて、オーディオマーカデータ１５２−５（図３）を読み出して時間差計算部１５３−５へ送出する部分である。
【００２７】
時間差計算部１５３−５は、ビデオマーカ読出部１５３−２からビデオマーカを、オーディオマーカ読出部１５３−４からオーディオマーカを、それぞれ同時に受入れて時間差を算出し、時間差データを時間差出力部１５３−６へ出力する部分である。時間差計算部１５３−５は、ビデオマーカに挿入されているビデオフレーム番号Ｆｘからそのビデオフレームが伝送路１０６（図１）へ送信された時刻を特定する。その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得する。又、オーディオマーカに挿入されているオーディオフレーム番号ｆｙからそのオーディオフレームが伝送路１０６（図１）へ送信された時刻を特定する。その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得する。このようにして取得されたビデオデータの伝搬時間とオーディオデータの伝搬時間から時間差を取得し、時間差出力部１５３−６へ時間差データを送出する。
【００２８】
時間差出力部１５３−６は、時間差計算部１５３−５から時間差データを受入れて蓄積すると共に、図示しないモニタに表示する部分である。その表示について以下に説明する。
図５は、時間差出力部の動作説明図である。
図は、Ｘ軸方向に測定開始からの経過時間を表し、Ｙ軸方向に、時間差出力部１５３−６（図４）から受入れたビデオデータとオーディオデータとの時間差を表している。図に示すように、本実施例によれば、ビデオデータとオーディオデータとの時間差を時系列的に表すことが可能であることが分かる。この図では一例としてリップシンクのずれ量の時系列変化を折線グラフで表している。
【００２９】
以上説明したように、本実施例によるリップシンク評価システムによれば、送信側に於いて、マーカ挿入部がビデオデータ及びオーディオデータのそれぞれに入力時刻を特定可能なマーカデータを挿入し、受信側では時間差計測部が上記マーカデータを検出し、上記伝送路中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出するのでリップシンクのずれ量を客観的に求めることが可能になる。その結果、従来の方法とは異なり、ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握できるという効果を得る。
【００３０】
尚、上記説明では、フレーム番号をマーカデータとして挿入することとして説明したが、本発明は、この例に限定されるものではない。即ち、フレームの送信時刻を特定出来るデータであれば如何なるデータであってもかまわない。例えば再生予定時刻をマーカデータとして挿入しても良い。また、上記説明では、伝送路に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差のみに限定して説明したが、本発明は、この例に限定されるものではない。例えば、信号処理回路中においても同時に入力されるビデオデータ及びオーディオデータ間に出力時に於ける時間差が発生する場合もある。かかる場合にも本発明は有効に適用可能である。
【実施例２】
【００３１】
上記実施例１によって、ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握することが可能になった。本実施例では、実施例１で把握したリップシンクのずれ量をＡＶ入力部に帰還して、出力側におけるビデオデータとオーディオデータとの同時性を図ることとする。
【００３２】
図６は、実施例２のリップシンク評価システムのシステム構成図である。
図に示すように本実施例のリップシンク評価システム２００は、評価対象システム２０１と、リップシンク調整装置２５１とを含む。
評価対象システム２０１は、ＡＶ入力部２０２と、符号化送信部１０３と、受信復号部１０４と、ＡＶモニタ１０５と、伝送路１０６とを備え、リップシンク調整装置２５１は、マーカ挿入部１５２と、時間差測定部２５２と、リップシンク調整部２５３と、伝送路２５４とを備える。以下に実施例１との相違部分のみについて詳細に説明する。実施例１と同様の部分については、実施例１と同一の符号を付して説明を省略する。
【００３３】
ＡＶ入力部２０２は、ビデオカメラ及びマイクロフォン、又はＤＶＤプレーヤー等を内蔵し、ビデオデータ及びオーディオデータからなるＡＶデータ（１）を生成し、符号化送信部１０３とマーカ挿入部１５２へ送出する部分である。一例としてビデオデータは、ビデオカメラまたはＤＶＤプレーヤーを介して、画像サイズが７２０×４８０（画素）で、フレームレートが２９．９７Ｈｚ、Ｙ、Ｃｂ、Ｃｒが４対２対２形式（１画素あたり１６ビット）のディジタルデータとして生成される。又、オーディオデータは、マイクやＤＶＤプレーヤーを介して、一例としてサンプリング周波数が４８ＫＨｚ、２チャンネル、量子化１６ビット／チャネルのディジタルデータとして生成される。このビデオデータとオーディオデータとは多重化され、ＡＶデータ（１）として符号化送信部１０３、及びマーカ挿入部１５２へ送出される。更に、本実施例では、リップシンク調整部２５３から調整データ（Ｔｓ）を受入れて、出力側におけるビデオデータとオーディオデータとの同時性を図るべく、ビデオデータとオーディオデータとの出力タイミングを調整する部分である。
【００３４】
時間差測定部２５２は、受信復号部１０４からＡＶデータ（３）を受入れてビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路１０６中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から時間差データ（Ｔｄ）を算出して出力する部分である。更に、本実施例では、算出した時間差データ（Ｔｄ）をリップシンク調整部２５３へ送信する部分である。
【００３５】
リップシンク調整部２５３は、時間差測定部２５２から伝送路２５４を介して時間差データ（Ｔｓ）を受信し、ビデオデータがオーディオデータより進んでいる場合、ビデオデータの出力を遅らせるように、ビデオデータがオーディオデータより送れている場合、オーディオデータの出力を遅らせるように、調整データ（Ｔｓ）をＡＶ入力部２０２へ送出する部分である。尚、上記伝送路２５４は、例えばインターネット網などのようにＡＶデータを伝送可能なネットワークであれば良く、伝送路１０６を共用しても良い。
【００３６】
以上説明したように、本実施例では、実施例１で説明したリップシンク評価装置１５１（図１）に対して、該リップシンク評価装置１５１（図１）から時間差データ（Ｔｄ）を受入れて、ビデオデータ及びオーディオデータの同時性を確保すべく、上記時間差に基づいて伝送路１０６へのビデオデータ及びオーディオデータそれぞれの入力タイミングを変更させるリップシンク調整部２５３を追加し、更に、上記実施例１のＡＶ入力部１０２（図１）の機能に、上記リップシンク調整部２５３から調整データ（Ｔｓ）を受入れて、出力側におけるビデオデータとオーディオデータとの同時性を図るべく、ビデオデータとオーディオデータとの出力タイミングを調整する機能を追加することによって自動的にリップシンクが確保されるリップシンク調整装置を得ることが出来るという効果を得る。
【産業上の利用可能性】
【００３７】
上記実施例では、ＡＶデータを伝送路を介して伝送する場合に限定して説明したが、本発明はこの例に限定されるものではない。例えば、評価対象システムが伝送路を持たず、任意の信号処理回路を経由してＡＶデータを出力する場合に、上記信号処理回路を経由する前に、ＡＶデータにマーカデータを挿入し、信号処理回路から出力されるＡＶデータを上記実施例と同様に時間差測定部に入力することによって、評価対象システムのリップシンク特性を確認することが出来る。
【００３８】
又、上記実施例では、ビデオ画面上にマーカ挿入位置、ビデオマーカデータのフォーマットなどについて詳細に説明したが、ビデオデータに基づいてビデオフレーム毎の送信時刻（または再生予定時刻）を特定出来るものであれば他の任意のフォーマットにてビデオマーカデータを定義しても良い。又、上記実施例では、オーディオマーカデータをオーディオデータとして表現する方法として、隣接するマーカビット間の時間間隔、マーカビットの値（０、１）毎の波形表現，隣接するマーカデータ間の時間間隔、等について具体的に規定したが、本発明はこの例に限定されるものではない。オーディオデータに基づいてビデオフレーム毎の送信時刻（または再生予定時刻）を特定できるものであれば他の任意のフォーマットであっても良い。
【００３９】
又、上記実施例では、一つのオーディオチャネルをオーディオマーカデータ専用に利用する場合について説明したが、本発明はこの例に限定されるものでは無い。例えば、オーディオデータの可聴領域または不可聴領域にオーディオマーカデータを挿入しても上記実施例と同様の効果をえることができる。可聴領域を利用する場合には、例えば、マーカ挿入部を高音域（２０ＫＨｚ前後）の正弦波ノイズをオーディオデータに重畳し、オーディオマーカデータ値に応じて、該ノイズの位相を変化させるように構成し、時間差測定部を該ノイズの位相を検出してオーディオマーカに変換するように構成することも出来る。
【００４０】
又、不可聴領域を利用する場合の例としては、マーカ挿入部を、オーディオマーカデータを従来公知の電子透かし方法により、オーディオデータに埋め込むように構成し、時間差測定部を、該電子透かし情報を検出してオーディオマーカデータに変換するように構成しても良い。又、時間差測定部でのマーカ検出精度を高めるため、マーカとして挿入する情報として、再び、現在の再生予告時刻またはコンテンツ終了までの残り時間数を追加で挿入してもよい。この場合には、マーカデータが冗長に構成されているため、時間差測定部にてマーカ検出結果に異常が合った場合、他の冗長データより、異常か否かを判断し、その値を補正させることが可能である。
【図面の簡単な説明】
【００４１】
【図１】実施例１のリップシンク評価システムのシステム構成図である。
【図２】ビデオマーカデータの説明図である。
【図３】オーディオマーカデータの説明図である。
【図４】時間差測定部の構成図である。
【図５】時間差出力部の動作説明図である。
【図６】実施例２のリップシンク評価システムのシステム構成図である。
【図７】従来技術の動作説明図である。
【符号の説明】
【００４２】
１００ リップシンク評価システム
１０１ 評価対象システム
１０２ ＡＶ入力部
１０３ 符号化送信部
１０４ 受信復号部
１０５ ＡＶモニタ
１０６ 伝送路
１０７ 伝送パケット
１５１ リップシンク評価装置
１５２ マーカ挿入部
１５３ 時間差測定部
ＡＶデータ（１） ビデオデータ及びオーディオデータの多重化信号
ＡＶデータ（２） ビデオデータ及びオーディオデータの多重化信号
ＡＶデータ（３） ビデオデータ及びオーディオデータの多重化信号
ＡＶデータ（４） ビデオデータ及びオーディオデータの多重化信号
【技術分野】
【０００１】
本発明は、伝送路に入力される、出力同時性が要求されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置、及び該時間差を調整するリップシンク調整装置に関する。
【背景技術】
【０００２】
ビデオデータ、及びオーディオデータからなる実時間ＡＶ信号を、伝送路（例えばインターネット網）や、信号処理回路を経由してビデオモニタ等に出力すると、本来同時に出力されなければならない筈である両データが、伝送路や信号処理回路の特性に起因し、時間差を持って出力されることがある。かかる場合には、両データの時間差を検出し、該時間差を調整し、両データの同時性（以後の説明では両データの同時性をリップシンクと記す）を確保する必要がある。かかるリップシンクを検出するリップシンク評価装置が市販されている（非特許文献１参照）。
【０００３】
上記市販されているリップシンク評価装置の時間差測定原理について以下に説明する。
図７は、従来技術の動作説明図である。
図に示すビデオ画面３００は、上記装置がテスト用の実時間ＡＶ信号を所定の伝送路に入力した場合に於けるビデオデータとオーディオデータとの出力側における時間差計測用の画面である。図に示すように、ビデオ画面３００上には、固定された４本の縦長のパルスバー３０１と、矢印方向へ等速度で移動する１本の縦長のクロスバー３０２が表示される。ビデオデータとオーディオデータ間に出力の同時性がある場合にはクロスバー３０２が、パルスバー３０１の上を通過する時に、オーディオデータがオペレータによって聴取される。一方、出力の同時性が無い場合には、オペレータによってオーディオデータが聴取されたときにクロスバー３０２はパルスバー３０１から離れている。この時のクロスバー３０２とパルスバー３０１との距離が、ビデオデータとオーディオデータとの間に発生した時間差を表すことになる。
【０００４】
従って、評価対象システムの入力側から実時間ＡＶ信号を入力し、該評価対象システムの出力側で、オペレータがオーディオデータを聴取しながら、上記ビデオ画面３００を観測することによって、評価対象システム中に於ける上記時間差を目視によって検出することが可能であった。更に、オペレータが時間差を目視しながら評価対象システムを手動で調整し、実時間ＡＶ信号の同時性を確保することも可能であった。
【特許文献１】特開平１０−２８５４８３
【非特許文献１】ｈｔｔｐ：／／ｗｗｗ．ｓｈｉｂａｓｏｋｕ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔｓ／ａｖｃ／ｐｓｌｌａｋ．ｈｔｍｌ
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上説明した従来技術では、オペレータの主観評価によってリップシンクのずれを確認するため、異なるオペレータ間での個人差が無視出来なかった。また、リップシンクのずれを定量的に把握することが困難であった。更に、リップシンクの確認は、数秒周期で行われていたため、短時間内にリップシンクのずれ量が変化する場合には対応できなかった。上記従来技術には、このような解決すべき課題が残されていた。
【課題を解決するための手段】
【０００６】
本発明は、伝送路または信号処理手段に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置であって、上記伝送路または信号処理手段に入力される上記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、上記伝送路または信号処理手段から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、上記伝送路または信号処理手段中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する時間差計測部とを備えることを主要な特徴とする。
【発明の効果】
【０００７】
本発明によるリップシンク評価装置によれば、送信側に於いて、マーカ挿入部がビデオデータ及びオーディオデータのそれぞれに入力時刻を特定可能なマーカデータを挿入し、受信側では時間差計測部が上記マーカデータを検出し、上記伝送路または信号処理手段中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出するのでリップシンクのずれ量を客観的に求めることが可能になる。その結果、従来の方法とは異なり，ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握できるという効果を得る。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の最良の実施形態について説明する。
【実施例１】
【０００９】
図１は、実施例１のリップシンク評価システムのシステム構成図である。
図に示すように本実施例のリップシンク評価システム１００は、評価対象システム１０１と、リップシンク評価装置１５１とを含む。
評価対象システム１０１は、ＡＶ入力部１０２と、符号化送信部１０３と、受信復号部１０４と、ＡＶモニタ１０５と、伝送路１０６とを備え、リップシンク評価装置１５１は、マーカ挿入部１５２と、時間差測定部１５３とを備える。以下にＡＶデータの生成からリップシンクの評価まで、ＡＶデータの流れに沿って、上記各部分の構成と機能とを合わせて説明し、実施例１のリップシンク評価システムの内容を明らかにする。
【００１０】
ＡＶ入力部１０２は、ビデオカメラ及びマイクロフォン、又はＤＶＤプレーヤー等を内蔵し、ビデオデータ及びオーディオデータからなるＡＶデータ（１）を生成し、符号化送信部１０３とマーカ挿入部１５２へ送出する部分である。一例としてビデオデータは、ビデオカメラまたはＤＶＤプレーヤーを介して、画像サイズが７２０×４８０（画素）で、フレームレートが２９．９７Ｈｚ、Ｙ、Ｃｂ、Ｃｒが４対２対２形式（１画素あたり１６ビット）のディジタルデータとして生成される。又、オーディオデータは、マイクやＤＶＤプレーヤーを介して、一例としてサンプリング周波数が４８ＫＨｚ、２チャンネル、量子化１６ビット／チャネルのディジタルデータとして生成される。このビデオデータとオーディオデータとは多重化され、ＡＶデータ（１）として通常は符号化送信部１０３へ送出される。但し、評価対象システム１０１と、リップシンク評価装置１５１とを結合して利用する場合には、ＡＶデータ（１）は、ＡＶ入力部１０２からマーカ挿入部１５２を経由して符号化送信部１０３へ送出され、直接符号化送信部１０３へ送出されることは無くなる。
【００１１】
符号化送信部１０３は、ＡＶ入力部１０２からＡＶデータ（１）を受入れ、又は、マーカ挿入部１５２からＡＶデータ（２）を受入れて、符号化し、更に符号化データを蓄積し、伝送路１０６に対応する伝送パケット１０７を構成し、伝送路１０６を介して受信復号部１０４へ送信する部分である。
【００１２】
マーカ挿入部１５２は、ＡＶ入力部１０２からＡＶデータ（１）を受入れてビデオデータとオーディオデータに分離し、それぞれのデータに送信側の出力タイミング（出力時刻）を特定可能なタイムマーカを挿入し、更に、両データを多重化し、ＡＶデータ（２）として符号化送信部１０３へ送出する部分である。以下にマーカ挿入部１５２が、ビデオデータ、及びオーディオデータに対してタイムマーカを挿入する機能について、それぞれの説明図を用いて説明する。最初にビデオマーカデータについて説明し、続いてオーディオマーカデータについて説明する。
【００１３】
図２は、ビデオマーカデータの説明図である。
この図は、画像サイズが７２０×４８０（画素）、フレームレートが２９．９７Ｈｚのフレーム中におけるビデオマーカデータが含まれる位置と、そのビデオマーカデータの構成を示す図である。図に示すように、画像サイズが７２０×４８０（画素）のビデオフレームは、有効ビデオ領域１５２−１と、マーカ領域１５２−２とに分割される。本発明では、オーバースキャン方式を採用し、マーカ領域１５２−２は、一般的なビデオモニタでは表示されない領域に配置される。このマーカ領域１５２−２にビデオマーカデータ１５２−３が表示される。ビデオマーカデータ１５２−３は、マーカ挿入部１５２（図１）がＡＶ入力部１０２からＡＶデータ（１）を受入れると、１／２９．９７秒毎に生成される。一例として７２０×８（画素）で構成される。以後の説明では、縦方向の画素数をライン数（縦方向の画素数＝ライン数）で表示する。
【００１４】
図に示すようにビデオマーカデータ１５２−３は、左右ほぼ中央の２４０画素に、同期パターン１５２−３ａと、マーカビット列１５２−３ｂとを挿入し、その他の領域には、黒パターン１５２−３ｃを挿入する。同期パターン１５２−３ａは、８画素分の白パターンと右側（図中）に隣接する８画素分の黒パターンとによって構成される。マーカビット列１５２−３ｂは、８画素分の白パターン、または黒パターンによって各々８ビットのビット値（一例として白が１、黒が０）が表現される。
【００１５】
ビデオマーカデータ１５２−３には、３つのマーカビット列１５２−３ｂ（合計２４ビット）によって表現される送信タイミング（送信時刻）が挿入される。この送信タイミングは、一例として１／２９．９７秒周期で送信されるビデオフレームのフレーム番号Ｆｎによって特定される。このビデオフレームのフレーム番号Ｆｎは上記８ライン同一番号に固定され、フレーム毎にインクリメントされる。出力側では、受信したビデオデータからこのフレーム番号Ｆｎを取得することによって、そのビデオフレームが入力側から送信された時刻（送信タイミング）を特定し、その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得することが可能になる。
【００１６】
又、マーカ挿入部１５２（図１）は、２チャンネルのオーディオデータを受入れると、一方のチャンネルのオーディオデータを破棄し、そこに以下に説明するオーディオマーカデータを上書きしてマーカチャネルを生成する。
【００１７】
図３は、オーディオマーカデータの説明図である。
この図は、オーディオマーカデータの構成を示す図である。図に示すように、オーディオマーカデータ１５２−５は、０．４ｍｓ幅を有する２４ビットから構成される。各ビットのデータ値は以下の定義に基いて設定される。
定義（１）
０．４ｍｓ周期の各ビットの境界で必ず極性を反転させることとする。
定義（２）
ビット値が１の場合に限って、上記０．４ｍｓ周期の各ビットの中央でも反転させることとする。ビット値が０の場合は、定義（１）のみが適用され定義（２）は適用されない。
【００１８】
上記定義に基づいて、図３（ａ）のデータ値を信号レベル（Ｈ、Ｌ）で表すと図３（ｂ）のように表される。図３（ｂ）に示すように０．４ｍｓ周期の各ビットの境界で必ず極性が反転されている（定義１）。更に、ビット値が１の場合には、ビットの中央（０．２ｍｓ）で極性が反転されている（定義２）。
【００１９】
マーカ挿入部１５２（図１）がＡＶ入力部１０２からＡＶデータ（１）を受入れると、１／２９．９７秒毎に１オーディオフレームが上記定義に基づいて生成される。２４ビットのオーディオマーカデータ１５２−５は、１オーディオフレームの中に挿入される。オーディオマーカデータ１５２−５は、一例として、そのオーディオフレームのフレーム番号ｆｎを表している。このフレーム番号ｆｎは、１／２９．９７秒経過毎にインクリメントされる。
【００２０】
従って、出力側では、受信したオーディオデータからこのフレーム番号ｆｎを取得することによって、そのオーディオフレームが入力側から送信された時刻（送信タイミング）を特定出来ることになる。即ち、０．４ｍｓ毎のデータ変化点を検出し、その０．４ｍｓの中間に別のデータ変化点が検出されればデータ値１を認識できるのでフレーム番号ｆｎを読み出すことが可能になる。その結果、出力側では、受信したオーディオデータからこのフレーム番号ｆｎを取得することによって、そのオーディオフレームが入力側から送信された時刻（送信タイミング）を特定し、その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得することが可能になる。
【００２１】
上記のように構成されたビデオマーカデータ１５２−３（図２）が挿入されたビデオデータと、上記のように構成されたオーディオマーカデータ１５２−５（図２）が挿入されたオーディオデータは、マーカ挿入部１５２（図１）によって多重化されＡＶデータ（２）として符号化送信部１０３（図１）へ送出される。符号化送信部１０３（図１）は、上記のように、このＡＶデータ（１）、又はＡＶデータ（２）を符号化し、更に符号化データを蓄積し、伝送パケット１０７を構成し、伝送路１０６を介して受信復号部１０４へ送信することになる。
【００２２】
図１に戻って、受信復号部１０４は、伝送路１０６を介して符号化送信部１０３から伝送パケット１０７を受信してＡＶデータ（３）に復号化し、ＡＶモニタ１０５と、時間差測定部１５３へＡＶデータ（３）を送出する部分である。ＡＶモニタ１０５は、ＡＶデータ（３）を受入れて所定の目的に供する部分である。伝送路１０６は、例えばインターネット網などのようにＡＶデータを伝送可能なネットワークである。
【００２３】
時間差測定部１５３は、受信復号部１０４からＡＶデータ（３）を受入れてビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路１０６中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から時間差データを算出して出力する部分である。時間差測定部１５３の詳細な構成とその機能について以下に説明する。
【００２４】
図４は、時間差測定部の構成図である。
図に示すように時間差測定部１５３は、ビデオキャプチャ部１５３−１と、ビデオマーカ読出部１５３−２と、オーディオキャプチャ部１５３−３と、オーディオマーカ読出部１５３−４と、時間差計算部１５３−５と、時間差出力部１５３−６とを有する。
【００２５】
ビデオキャプチャ部１５３−１は、ＡＶデータ（３）を受入れて、ビデオデータを取得し、ビデオマーカ読出部１５３−２へ出力する部分である。ビデオマーカ読出部１５３−２は、ビデオキャプチャ部１５３−１からビデオデータを受入れて、ビデオマーカデータ１５２−３（図２）を読み出して時間差計算部１５３−５へ送出する部分である。
【００２６】
オーディオキャプチャ部１５３−３は、ＡＶデータ（３）を受入れて、オーディオデータを取得し、オーディオマーカ読出部１５３−４へ出力する部分である。オーディオマーカ読出部１５３−４は、オーディオキャプチャ部１５３−３からオーディオデータを受入れて、オーディオマーカデータ１５２−５（図３）を読み出して時間差計算部１５３−５へ送出する部分である。
【００２７】
時間差計算部１５３−５は、ビデオマーカ読出部１５３−２からビデオマーカを、オーディオマーカ読出部１５３−４からオーディオマーカを、それぞれ同時に受入れて時間差を算出し、時間差データを時間差出力部１５３−６へ出力する部分である。時間差計算部１５３−５は、ビデオマーカに挿入されているビデオフレーム番号Ｆｘからそのビデオフレームが伝送路１０６（図１）へ送信された時刻を特定する。その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得する。又、オーディオマーカに挿入されているオーディオフレーム番号ｆｙからそのオーディオフレームが伝送路１０６（図１）へ送信された時刻を特定する。その送信時刻と出力側での出力時刻とから伝送路１０６（図１）中における伝搬時間を取得する。このようにして取得されたビデオデータの伝搬時間とオーディオデータの伝搬時間から時間差を取得し、時間差出力部１５３−６へ時間差データを送出する。
【００２８】
時間差出力部１５３−６は、時間差計算部１５３−５から時間差データを受入れて蓄積すると共に、図示しないモニタに表示する部分である。その表示について以下に説明する。
図５は、時間差出力部の動作説明図である。
図は、Ｘ軸方向に測定開始からの経過時間を表し、Ｙ軸方向に、時間差出力部１５３−６（図４）から受入れたビデオデータとオーディオデータとの時間差を表している。図に示すように、本実施例によれば、ビデオデータとオーディオデータとの時間差を時系列的に表すことが可能であることが分かる。この図では一例としてリップシンクのずれ量の時系列変化を折線グラフで表している。
【００２９】
以上説明したように、本実施例によるリップシンク評価システムによれば、送信側に於いて、マーカ挿入部がビデオデータ及びオーディオデータのそれぞれに入力時刻を特定可能なマーカデータを挿入し、受信側では時間差計測部が上記マーカデータを検出し、上記伝送路中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出するのでリップシンクのずれ量を客観的に求めることが可能になる。その結果、従来の方法とは異なり、ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握できるという効果を得る。
【００３０】
尚、上記説明では、フレーム番号をマーカデータとして挿入することとして説明したが、本発明は、この例に限定されるものではない。即ち、フレームの送信時刻を特定出来るデータであれば如何なるデータであってもかまわない。例えば再生予定時刻をマーカデータとして挿入しても良い。また、上記説明では、伝送路に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差のみに限定して説明したが、本発明は、この例に限定されるものではない。例えば、信号処理回路中においても同時に入力されるビデオデータ及びオーディオデータ間に出力時に於ける時間差が発生する場合もある。かかる場合にも本発明は有効に適用可能である。
【実施例２】
【００３１】
上記実施例１によって、ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握することが可能になった。本実施例では、実施例１で把握したリップシンクのずれ量をＡＶ入力部に帰還して、出力側におけるビデオデータとオーディオデータとの同時性を図ることとする。
【００３２】
図６は、実施例２のリップシンク評価システムのシステム構成図である。
図に示すように本実施例のリップシンク評価システム２００は、評価対象システム２０１と、リップシンク調整装置２５１とを含む。
評価対象システム２０１は、ＡＶ入力部２０２と、符号化送信部１０３と、受信復号部１０４と、ＡＶモニタ１０５と、伝送路１０６とを備え、リップシンク調整装置２５１は、マーカ挿入部１５２と、時間差測定部２５２と、リップシンク調整部２５３と、伝送路２５４とを備える。以下に実施例１との相違部分のみについて詳細に説明する。実施例１と同様の部分については、実施例１と同一の符号を付して説明を省略する。
【００３３】
ＡＶ入力部２０２は、ビデオカメラ及びマイクロフォン、又はＤＶＤプレーヤー等を内蔵し、ビデオデータ及びオーディオデータからなるＡＶデータ（１）を生成し、符号化送信部１０３とマーカ挿入部１５２へ送出する部分である。一例としてビデオデータは、ビデオカメラまたはＤＶＤプレーヤーを介して、画像サイズが７２０×４８０（画素）で、フレームレートが２９．９７Ｈｚ、Ｙ、Ｃｂ、Ｃｒが４対２対２形式（１画素あたり１６ビット）のディジタルデータとして生成される。又、オーディオデータは、マイクやＤＶＤプレーヤーを介して、一例としてサンプリング周波数が４８ＫＨｚ、２チャンネル、量子化１６ビット／チャネルのディジタルデータとして生成される。このビデオデータとオーディオデータとは多重化され、ＡＶデータ（１）として符号化送信部１０３、及びマーカ挿入部１５２へ送出される。更に、本実施例では、リップシンク調整部２５３から調整データ（Ｔｓ）を受入れて、出力側におけるビデオデータとオーディオデータとの同時性を図るべく、ビデオデータとオーディオデータとの出力タイミングを調整する部分である。
【００３４】
時間差測定部２５２は、受信復号部１０４からＡＶデータ（３）を受入れてビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路１０６中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から時間差データ（Ｔｄ）を算出して出力する部分である。更に、本実施例では、算出した時間差データ（Ｔｄ）をリップシンク調整部２５３へ送信する部分である。
【００３５】
リップシンク調整部２５３は、時間差測定部２５２から伝送路２５４を介して時間差データ（Ｔｓ）を受信し、ビデオデータがオーディオデータより進んでいる場合、ビデオデータの出力を遅らせるように、ビデオデータがオーディオデータより送れている場合、オーディオデータの出力を遅らせるように、調整データ（Ｔｓ）をＡＶ入力部２０２へ送出する部分である。尚、上記伝送路２５４は、例えばインターネット網などのようにＡＶデータを伝送可能なネットワークであれば良く、伝送路１０６を共用しても良い。
【００３６】
以上説明したように、本実施例では、実施例１で説明したリップシンク評価装置１５１（図１）に対して、該リップシンク評価装置１５１（図１）から時間差データ（Ｔｄ）を受入れて、ビデオデータ及びオーディオデータの同時性を確保すべく、上記時間差に基づいて伝送路１０６へのビデオデータ及びオーディオデータそれぞれの入力タイミングを変更させるリップシンク調整部２５３を追加し、更に、上記実施例１のＡＶ入力部１０２（図１）の機能に、上記リップシンク調整部２５３から調整データ（Ｔｓ）を受入れて、出力側におけるビデオデータとオーディオデータとの同時性を図るべく、ビデオデータとオーディオデータとの出力タイミングを調整する機能を追加することによって自動的にリップシンクが確保されるリップシンク調整装置を得ることが出来るという効果を得る。
【産業上の利用可能性】
【００３７】
上記実施例では、ＡＶデータを伝送路を介して伝送する場合に限定して説明したが、本発明はこの例に限定されるものではない。例えば、評価対象システムが伝送路を持たず、任意の信号処理回路を経由してＡＶデータを出力する場合に、上記信号処理回路を経由する前に、ＡＶデータにマーカデータを挿入し、信号処理回路から出力されるＡＶデータを上記実施例と同様に時間差測定部に入力することによって、評価対象システムのリップシンク特性を確認することが出来る。
【００３８】
又、上記実施例では、ビデオ画面上にマーカ挿入位置、ビデオマーカデータのフォーマットなどについて詳細に説明したが、ビデオデータに基づいてビデオフレーム毎の送信時刻（または再生予定時刻）を特定出来るものであれば他の任意のフォーマットにてビデオマーカデータを定義しても良い。又、上記実施例では、オーディオマーカデータをオーディオデータとして表現する方法として、隣接するマーカビット間の時間間隔、マーカビットの値（０、１）毎の波形表現，隣接するマーカデータ間の時間間隔、等について具体的に規定したが、本発明はこの例に限定されるものではない。オーディオデータに基づいてビデオフレーム毎の送信時刻（または再生予定時刻）を特定できるものであれば他の任意のフォーマットであっても良い。
【００３９】
又、上記実施例では、一つのオーディオチャネルをオーディオマーカデータ専用に利用する場合について説明したが、本発明はこの例に限定されるものでは無い。例えば、オーディオデータの可聴領域または不可聴領域にオーディオマーカデータを挿入しても上記実施例と同様の効果をえることができる。可聴領域を利用する場合には、例えば、マーカ挿入部を高音域（２０ＫＨｚ前後）の正弦波ノイズをオーディオデータに重畳し、オーディオマーカデータ値に応じて、該ノイズの位相を変化させるように構成し、時間差測定部を該ノイズの位相を検出してオーディオマーカに変換するように構成することも出来る。
【００４０】
又、不可聴領域を利用する場合の例としては、マーカ挿入部を、オーディオマーカデータを従来公知の電子透かし方法により、オーディオデータに埋め込むように構成し、時間差測定部を、該電子透かし情報を検出してオーディオマーカデータに変換するように構成しても良い。又、時間差測定部でのマーカ検出精度を高めるため、マーカとして挿入する情報として、再び、現在の再生予告時刻またはコンテンツ終了までの残り時間数を追加で挿入してもよい。この場合には、マーカデータが冗長に構成されているため、時間差測定部にてマーカ検出結果に異常が合った場合、他の冗長データより、異常か否かを判断し、その値を補正させることが可能である。
【図面の簡単な説明】
【００４１】
【図１】実施例１のリップシンク評価システムのシステム構成図である。
【図２】ビデオマーカデータの説明図である。
【図３】オーディオマーカデータの説明図である。
【図４】時間差測定部の構成図である。
【図５】時間差出力部の動作説明図である。
【図６】実施例２のリップシンク評価システムのシステム構成図である。
【図７】従来技術の動作説明図である。
【符号の説明】
【００４２】
１００ リップシンク評価システム
１０１ 評価対象システム
１０２ ＡＶ入力部
１０３ 符号化送信部
１０４ 受信復号部
１０５ ＡＶモニタ
１０６ 伝送路
１０７ 伝送パケット
１５１ リップシンク評価装置
１５２ マーカ挿入部
１５３ 時間差測定部
ＡＶデータ（１） ビデオデータ及びオーディオデータの多重化信号
ＡＶデータ（２） ビデオデータ及びオーディオデータの多重化信号
ＡＶデータ（３） ビデオデータ及びオーディオデータの多重化信号
ＡＶデータ（４） ビデオデータ及びオーディオデータの多重化信号
【特許請求の範囲】
【請求項１】
伝送路または信号処理手段に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置であって、
前記伝送路または信号処理手段に入力される前記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、
前記伝送路または信号処理手段から出力される前記ビデオデータ及びオーディオデータのそれぞれから前記マーカデータを検出し、前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から前記時間差を算出する時間差計測部とを備えることを特徴とするリップシンク評価装置。
【請求項２】
前記マーカデータは、
前記ビデオデータ及びオーディオデータそれぞれのフレーム番号であることを特徴とする請求項１に記載のリップシンク評価装置。
【請求項３】
前記ビデオデータに挿入されるマーカデータは、
オーバースキャン方式の非可視領域に挿入され、
前記オーディオデータに挿入されるマーカデータは、
オーディオデータの特定チャネルに挿入されることを特徴とする請求項１又は請求項２に記載のリップシンク評価装置。
【請求項４】
前記時間差計測部は、
前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を時系列的に計測し、該それぞれの伝搬時間から前記時間差を時系列的に算出することを特徴とする請求項１に記載のリップシンク評価装置。
【請求項５】
伝送路または信号処理手段から出力されるビデオデータ及びオーディオデータの同時性を確保するリップシンク調整装置であって、
前記伝送路または信号処理手段に入力される前記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、
前記伝送路または信号処理手段から出力される前記ビデオデータ及びオーディオデータのそれぞれから前記マーカデータを検出し、前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から前記時間差を算出する時間差計測部と、
前記時間差計測部から前記時間差を受入れて、前記同時性を確保すべく、前記伝送路または信号処理手段への前記ビデオデータ及びオーディオデータそれぞれの入力タイミングを前記時間差に基づいて変更させるリップシンク調整部とを供えることを特徴とするリップシンク調整装置。
【請求項６】
前記マーカデータは、
前記ビデオデータ及びオーディオデータそれぞれのフレーム番号であることを特徴とする請求項５に記載のリップシンク調整装置。
【請求項７】
前記ビデオデータに挿入されるマーカデータは、
オーバースキャン方式の非可視領域に挿入され、
前記オーディオデータに挿入されるマーカデータは、
オーディオデータの特定チャネルに挿入されることを特徴とする請求項５又は請求項６に記載のリップシンク調整装置。
【請求項８】
前記時間差計測部は、
前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を時系列的に計測し、該それぞれの伝搬時間から前記時間差を時系列的に算出することを特徴とする請求項５に記載のリップシンク調整装置。
【請求項１】
伝送路または信号処理手段に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置であって、
前記伝送路または信号処理手段に入力される前記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、
前記伝送路または信号処理手段から出力される前記ビデオデータ及びオーディオデータのそれぞれから前記マーカデータを検出し、前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から前記時間差を算出する時間差計測部とを備えることを特徴とするリップシンク評価装置。
【請求項２】
前記マーカデータは、
前記ビデオデータ及びオーディオデータそれぞれのフレーム番号であることを特徴とする請求項１に記載のリップシンク評価装置。
【請求項３】
前記ビデオデータに挿入されるマーカデータは、
オーバースキャン方式の非可視領域に挿入され、
前記オーディオデータに挿入されるマーカデータは、
オーディオデータの特定チャネルに挿入されることを特徴とする請求項１又は請求項２に記載のリップシンク評価装置。
【請求項４】
前記時間差計測部は、
前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を時系列的に計測し、該それぞれの伝搬時間から前記時間差を時系列的に算出することを特徴とする請求項１に記載のリップシンク評価装置。
【請求項５】
伝送路または信号処理手段から出力されるビデオデータ及びオーディオデータの同時性を確保するリップシンク調整装置であって、
前記伝送路または信号処理手段に入力される前記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、
前記伝送路または信号処理手段から出力される前記ビデオデータ及びオーディオデータのそれぞれから前記マーカデータを検出し、前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から前記時間差を算出する時間差計測部と、
前記時間差計測部から前記時間差を受入れて、前記同時性を確保すべく、前記伝送路または信号処理手段への前記ビデオデータ及びオーディオデータそれぞれの入力タイミングを前記時間差に基づいて変更させるリップシンク調整部とを供えることを特徴とするリップシンク調整装置。
【請求項６】
前記マーカデータは、
前記ビデオデータ及びオーディオデータそれぞれのフレーム番号であることを特徴とする請求項５に記載のリップシンク調整装置。
【請求項７】
前記ビデオデータに挿入されるマーカデータは、
オーバースキャン方式の非可視領域に挿入され、
前記オーディオデータに挿入されるマーカデータは、
オーディオデータの特定チャネルに挿入されることを特徴とする請求項５又は請求項６に記載のリップシンク調整装置。
【請求項８】
前記時間差計測部は、
前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を時系列的に計測し、該それぞれの伝搬時間から前記時間差を時系列的に算出することを特徴とする請求項５に記載のリップシンク調整装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−３１２１９２（Ｐ２００７−３１２１９２Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１４０２１７（Ｐ２００６−１４０２１７）
【出願日】平成１８年５月１９日（２００６．５．１９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月１９日（２００６．５．１９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]