映像音声記録再生装置及び映像音声再生方法
【課題】映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供する。
【解決手段】記録媒体１１にフレーム単位で別々に記録される映像データ及び音声データが映像読出し部１２及び音声読出し部１３によりそれぞれ読み出される。制御部１８は、読み出された映像データが映像バッファ１７へ到達する際のカウント値と、読み出された音声データが音声バッファ１１２へ到達する際のカウント値とを保持部１１５に保持する。そして、制御部１８は、保持部１１５に保持したカウント値に基づいてバッファ１７，１１２それぞれの遅延時間を決定するようにしている。これにより、フレーム単位でバッファ１７，１１２の遅延時間を調整することが可能となる。
【解決手段】記録媒体１１にフレーム単位で別々に記録される映像データ及び音声データが映像読出し部１２及び音声読出し部１３によりそれぞれ読み出される。制御部１８は、読み出された映像データが映像バッファ１７へ到達する際のカウント値と、読み出された音声データが音声バッファ１１２へ到達する際のカウント値とを保持部１１５に保持する。そして、制御部１８は、保持部１１５に保持したカウント値に基づいてバッファ１７，１１２それぞれの遅延時間を決定するようにしている。これにより、フレーム単位でバッファ１７，１１２の遅延時間を調整することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データと音声データとを同期させて再生する映像音声記録再生装置及び映像音声再生方法に関する。
【背景技術】
【０００２】
ビデオレコーダのような映像と音声とを再生するシステムでは、ユーザに対して映像と音声とを収録した時点のタイミングで同期させて提示する必要がある。同期がずれると、例えばニュースの場面ではアナウンサーの口の動きと音声とが合わない状態となり（リップシンクずれ現象）、違和感を感じることとなる。
【０００３】
従来は、このような状況を防ぐために、タイムスタンプと呼ばれるユーザに提示すべき時刻情報を映像と音声とに付加し、それを参照して同期させる方式が取られていた。しかし、このためには映像と音声とを時間多重してリファレンスクロックと呼ばれる基準時刻情報を付加する等、複雑な保存形式をとる必要がある。また、業務用途で用いられる保存形式では映像と音声とを別々にフレーム単位で管理しているため、タイムスタンプ方式で同期を取る事が難しい。
【０００４】
なお、タイムスタンプを付加せずとも、映像データと音声データとの同期制御を行う発明が提案されている（例えば、特許文献１参照）。しかし、この発明は、映像データと音声データとが符号化多重されたデータを再生する場合に対応しており、映像データと音声データとが別々に管理される形式には対応していない。
【特許文献１】特開平８−６３８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上のように、従来の映像音声記録再生装置では、映像データと音声データとが別々にフレーム単位で管理されている場合、タイムスタンプ方式により両データを同期させて出力することは困難であった。
【０００６】
そこで、本発明の目的は、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る映像音声記録再生装置は、映像素材の映像データと音声データとを別々に記録する記録手段と、前記記録手段から前記映像データを指示に従って読み出す映像読出し手段と、前記読み出された映像データを復号化する映像復号化手段と、前記復号化された映像データを指定された第１の遅延時間だけ保持して出力する映像バッファ手段と、前記記録手段から前記音声データを指示に従って読み出す音声読出し手段と、前記読み出された音声データを復号化する音声復号化手段と、前記復号化された音声データを指定された第２の遅延時間だけ保持して出力する音声バッファ手段と、外部から入力される外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成するカウント手段と、前記外部同期信号に従って前記映像読出し手段に前記映像データを読み出させると共に前記音声読出し手段に前記音声データを読み出させ、前記映像バッファ手段及び前記音声バッファ手段に対して第１及び第２の遅延時間を指定する制御手段とを具備し、前記制御手段は、前記映像バッファ手段及び前記音声バッファ手段のうち、先にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、前記映像バッファ手段及び前記音声バッファ手段のうち、後にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、前記データが先に入力されたバッファ手段の遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から算出し、前記データが後に入力されたバッファ手段の遅延時間を前記ジッタ吸収時間から算出することで前記第１及び第２の遅延時間を指定することを特徴とする。
【０００８】
また、本発明に係る映像音声再生方法は、映像素材の映像データと音声データとを別々に記録する記録手段から、外部から入力される外部同期信号に従って前記映像データ及び前記音声データを読み出し、前記外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成し、前記映像データを保持する映像バッファ手段及び前記音声データを保持する音声バッファ手段のうち、前記読み出されたデータが先に入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、前記映像バッファ手段及び前記音声バッファ手段のうち、前記読み出されたデータが後に入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、前記データが先に入力されたバッファ手段が当該データを遅延させる遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から第１の遅延時間として算出し、前記データが後に入力されたバッファ手段が当該データを遅延させる遅延時間を前記ジッタ吸収時間から第２の遅延時間として算出することを特徴とする。
【０００９】
上記構成による映像音声記録再生装置及び映像音声再生方法では、記録手段に別々に記録される映像データ及び音声データが映像読出し手段及び音声読出し手段によりそれぞれ読み出される。制御手段は、読み出された映像データが映像バッファ手段へ到達する際のカウント値と、読み出された音声データが音声バッファ１１２へ到達する際のカウント値とを保持する。そして、制御手段は、保持したカウント値に基づいて映像及び音声バッファ手段それぞれの遅延時間を決定するようにしている。これにより、映像データ及び音声データが別々に記録されている場合であっても、映像及び音声バッファ手段の遅延時間を調整することが可能となる。
【発明の効果】
【００１０】
本発明によれば、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明に係る映像音声記録再生装置の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る映像音声記録再生装置１０の概観図である。図１における映像音声記録再生装置１０には、カメラ２０及びマイク２１が接続される。カメラ２０により撮像された映像及びマイク２１により収録された音声は、映像音声記録再生装置１０に取り込まれる。取り込まれた映像及び音声は、同期信号発生器３０からの外部同期信号に従いフレーム単位で別々に記録媒体１１に記録される。また、映像音声記録再生装置１０には、モニタ装置４０及びアンプ４１を介してスピーカー４２が接続される。記録媒体１１に記録された映像及び音声は、外部同期信号に従って再生され、再生された映像はモニタ装置４０に表示され、再生された音声はアンプ４１で増幅され、スピーカー４２から出力される。
【００１２】
図２は、本発明の一実施形態に係る映像音声記録再生装置１０の機能構成を示すブロック図である。図２において、記録媒体１１に記録される映像素材の映像データと音声データとは、映像読出し部１２及び音声読出し部１３によりそれぞれ読み出される。
【００１３】
映像読出し部１２により読み出された映像データは、映像デコーダ１４でデコードされ、映像特殊効果付加部１５及び切替部１６へ出力される。映像特殊効果付加部１５は、受け取った映像データに特殊効果を付加して切替部１６へ供給する。ここで、映像データにおける特殊効果とは、文字スーパー重畳や拡大、縮小、回転などといったものである。
【００１４】
図３は、切替部１６の構成を示す模式図である。端末Ａは映像特殊効果付加部１５と接続し、端末Ｂはオフとなっており、端末Ｃは映像デコーダ１４と接続し、端末Ｄは映像バッファ１７と接続する。切替部１６は、制御部１８の指示に従い端末Ａ〜Ｃを切り替えて映像データを映像バッファ１７へ導出する。
【００１５】
映像バッファ１７は、映像データの入力が開始されると、その旨を制御部１８へ通知する。また、映像バッファ１７は、制御部１８が指定する遅延時間だけ映像データの出力を遅延したのち、この映像データを出力する。
【００１６】
上記音声読出し部１３により読み出された音声データは、音声デコーダ１９でデコードされ、音声特殊効果付加部１１０及び切替部１１１へ出力される。音声特殊効果付加部１１０は、受け取った音声データに特殊効果を付加して切替部１１１へ供給する。
【００１７】
切替部１１１は、切替部１６と同様の構成をしており、制御部１８の指示に従い端末Ａ〜Ｃを切り替えて音声データを音声バッファ１１２へ導出する。
【００１８】
音声バッファ１１２は、音声データの入力が開始されると、その旨を制御部１８へ通知する。また、音声バッファ１１２は、制御部１８が指定する遅延時間だけ音声データの出力を遅延したのち、この音声データを出力する。
【００１９】
ジッタ吸収部１１３は、外部同期信号を受け取り、外部同期信号に含まれるジッタを時間的に平滑化して急激な変化を抑える。ジッタ吸収部１１３は、ジッタを吸収した外部同期信号を制御部１８及びフレームカウンタ１１４へ供給する。また、ジッタ吸収部１１３は、吸収しきれなかったジッタの量をジッタ量として制御部１８へ通知する。フレームカウンタ１１４は、外部同期信号をカウントして映像素材のフレーム相当のカウント値を生成する。
【００２０】
制御部１８は、マイクロプロッセッサ等のＣＰＵ（Central Processing Unit）から成り、映像音声記録再生装置１０における諸制御を行う。
【００２１】
制御部１８は、外部から再生指示がある場合、映像読出し部１２及び音声読出し部１３に映像データ及び音声データを同時に読み出させる。
【００２２】
また、制御部１８は、映像バッファ１７及び音声バッファ１１２からの通知があるか否かを監視する。制御部１８は、映像バッファ１７及び音声バッファ１１２からの通知を受けると、これらの通知を受け取る度にフレームカウンタ１１４のカウント値を保持部１１５に保持する。制御部１８は、先に入力が開始されたバッファから通知を受けた際のカウント値及び後に入力が開始されたバッファから通知を受けた際のカウント値とから映像と音声との到着時刻の差分時間Ｔｄを算出する。
【００２３】
また、制御部１８は、映像読出し部１２のジッタ量、映像デコーダ１４のジッタ量、映像特殊効果付加部１５のジッタ量及びジッタ吸収部１１３からのジッタ量とから映像バッファ１７のジッタ吸収時間Ｔｖを算出する。また、制御部１８は、音声読出し部１３のジッタ量、音声デコーダ１９のジッタ量、音声特殊効果付加部１１０のジッタ量及びジッタ吸収部１１３からのジッタ量とから音声バッファ１１２のジッタ吸収時間Ｔａを算出する。そして、制御部１８は、ジッタ吸収時間Ｔｖ，Ｔａのうち大きい方の値をＴｊｉｔとする。なお、ジッタ吸収時間を算出する際の読出し部１２，１３のジッタ量、デコーダ１４，１９のジッタ量及び特殊効果付加部１５，１１０のジッタ量は、装置の設計時に予め見積もられるジッタ量である。
【００２４】
そして、制御部１８は、先にデータの入力を開始したバッファに対して、ジッタ吸収時間Ｔｊｉｔに映像と音声との到着時刻の差分時間Ｔｄを加えた時間を遅延時間として指定する。また、制御部１８は、後にデータの入力を開始したバッファに対して、ジッタ吸収時間Ｔｊｉｔを遅延時間として指定する。
【００２５】
また、制御部１８は、映像音声記録再生装置に対して特殊効果をデータに付加する旨の指示又はデータへの特殊効果の付加を停止する旨の指示が入力された場合、バッファ１７，１１２へ導出されるデータのフレーム順序を維持するように切替部１６，１１１を切替制御する。
【００２６】
また、制御部１８は、映像音声記録再生装置に対して早送り又は逆再生を含む特殊再生が指示された場合、算出したジッタ吸収時間Ｔｊｉｔよりも少ない時間のジッタ吸収時間を用いてバッファ１７，１１２の遅延時間を決定する。
【００２７】
さらに、制御部１８は、映像音声記録再生装置に対してバッファ１７，１１２からのデータの出力を遅らせる旨の指示が入力された場合、読出し部１２，１３に記録媒体１１に記録されたデータを指示されたフレーム数分だけ重複して読み出させる。
【００２８】
例えば、モニタ装置４０に表示される映像が、スピーカー４２から出力される音声に対して早い場合、ユーザは映像データの出力を２フレーム分遅らせる旨の指示を映像音声記録再生装置１０へ入力する。制御部１８は、この指示を受けると、映像読出し部１２に映像データを２フレーム分だけ重複して読み出させる。これにより、映像バッファ１７から出力される映像データが音声データと比較して２フレーム分だけ遅れ、モニタ装置４０に表示される映像とスピーカー４２から出力される音声とが同期するようになる。
【００２９】
次に、上記構成における映像音声記録再生装置の処理動作について説明する。図４は、本発明の一実施形態に係る制御部１８による処理動作を示すフローチャートである。なお、ここでは、音声データの音声バッファ１１２への入力が開始されるよりも先に、映像データの映像バッファ１７への入力が開始される場合を説明する。
【００３０】
まず、制御部１８は、外部から再生指示を受けると、映像データ及び音声データを同時に読み出すよう映像読出し部１２及び音声読出し部１３へ指示を出す（ステップ４ａ）。
【００３１】
続いて、制御部１８は、先にデータの入力が開始されたバッファからの通知があるか否かを判断する（ステップ４ｂ）。制御部１８は、映像バッファ１７からの通知を受けると（ステップ４ｂのＹｅｓ）、そのときのフレームカウンタ１１４のカウント値Ｎｖを保持する（ステップ４ｃ）。
【００３２】
制御部１８は、後にデータの入力が開始されたバッファからの通知があるか否かを判断する（ステップ４ｄ）。制御部１８は、音声バッファ１１２からの通知を受けると（ステップ４ｄのＹｅｓ）、そのときのフレームカウンタ１１４のカウント値Ｎａを保持部１１５に保持する（ステップ４ｅ）。
【００３３】
制御部１８は、ジッタ吸収部１１３からのジッタ量を用いてジッタ吸収時間Ｔｊｉｔを算出すると共に、カウント値Ｎｖとカウント値Ｎｓとの差分から映像と音声との到着時刻の差分時間Ｔｄを算出する（ステップ４ｆ）。制御部１８は、ジッタ吸収時間Ｔｊｉｔと差分時間Ｔｄが算出されると、映像バッファ１７にジッタ吸収時間Ｔｊｉｔ＋差分時間Ｔｄを遅延時間として指定すると共に、音声バッファ１１２にジッタ吸収時間Ｔｊｉｔを遅延時間として指定し（ステップ４ｇ）、処理を終了する。
【００３４】
図５〜７は、制御部１８による切替部１６，１１１の切替制御を説明する模式図である。なお、ここでは、映像データに対する特殊効果の付加を例に説明する。また、本説明では、映像データに特殊効果を付加することに２フレーム分の処理遅延が発生すると仮定する。
【００３５】
図５は、映像データに特殊効果を付加する際の切替制御を示す。まず、切替部１６は、映像デコーダ１４からの映像データを映像バッファ１７へ導出する。
【００３６】
映像読出し部１２がフレーム１の映像データを読み出した時点で、映像音声記録再生装置に対して特殊効果を映像データに付加する旨の指示が入力された場合、制御部１８は、映像読出し部１２及び映像デコーダ１４へフレーム２〜５の映像データを倍速で処理するように指示を出す。なお、このときの処理速度の増幅倍数及び増幅した処理速度での処理フレーム数は、特殊効果の付加による処理遅延量によって決定される。映像デコーダ１４で倍速処理された映像データは映像バッファ１７に保持され、１倍の出力速度で出力される。このため、映像バッファ１７における遅延量は一時的に上昇する。
【００３７】
フレーム５の映像データが映像バッファ１７に導出されると、制御部１８は、切替部１６の接続をＢ端子に切り替え、信号の導出をオフにする。この間、映像バッファ１７への映像データの供給が停止する。一方、映像バッファ１７からは、通常の出力速度で映像データが出力されるため、映像バッファ１７の遅延量は減少し、元の量に戻る。
【００３８】
制御部１８は、切替部１６の接続をＢ端子に切り替えて２フレームが経過すると、切替部１６の接続をＡ端子に切り替える。これにより、フレーム５を境に、特殊効果が付加されたフレーム６’の映像データが映像バッファ１７に導出されることとなる。
【００３９】
このようにすることで、特殊効果が付加された映像データの出力に切り替える場合であっても、映像バッファ１７へ、映像データをそのフレーム構成を乱さずに導出することが可能となる。
【００４０】
図６及び図７は、映像データへの特殊効果の付加を停止する際の切替制御を示す。図６では、映像読出し部１２及び映像デコーダ１４の処理速度を１倍未満に変更する際の切替制御を示す。まず、切替部１６は、映像特殊効果付加部１５からの映像データを映像バッファ１７へ導出する。
【００４１】
映像読出し部１２がフレーム６の映像データを読み出した時点で、映像音声記録再生装置に対して映像データへの特殊効果の付加を停止する旨の指示が入力された場合、制御部１８は、映像読出し部１２及び映像デコーダ１４へフレーム７，８の映像データを１／２倍で処理するように指示を出す。なお、このときの処理速度の減衰倍数及び減衰した処理速度での処理フレーム数は、特殊効果の付加による処理遅延量によって決まる。
【００４２】
フレーム７’の映像データが映像バッファ１７に導出されると、制御部１８は、切替部１６の接続をＣ端子に切り替える。これにより、フレーム７’を境に、特殊効果が付加されていないフレーム８の映像データが映像バッファ１７に導出されることとなる。
【００４３】
図７では、映像読出し部１２の読出し動作を停止する際の切替制御を示す。まず、切替部１６は、映像特殊効果付加部１５からの映像データを映像バッファ１７へ導出する。
【００４４】
映像読出し部１２がフレーム７の映像データを読み出した時点で、映像音声記録再生装置に対して映像データへの特殊効果の付加を停止する旨の指示が入力された場合、制御部１８は、映像読出し部１２へ読出し動作を停止するように指示を出す。
【００４５】
制御部１８は、映像読出し部１２の読出し動作を停止させてから２フレームが経過すると、読出し動作を再開させると共に、切替部１６の接続を端子Ｃに切り替える。なお、このとき読出し動作を停止するフレーム数は、特殊効果の付加による処理遅延量によって決まる。これにより、フレーム７’を境に、特殊効果が付加されていないフレーム８の映像データが映像バッファ１７に導出されることとなる。
【００４６】
このようにすることで、映像データへの特殊効果の付加を停止した場合であっても、映像バッファ１７へ、映像データをそのフレーム構成を乱さずに導出することが可能となる。
【００４７】
以上のように、上記一実施形態では、映像データが映像バッファ１７に到達する際のカウント値と、音声データが音声バッファ１１２に到達する際のカウント値とから、映像データと音声データとの到達時間の差分を算出する。そして、先にデータが到達したバッファには、この差分時間とジッタ吸収時間との和をバッファの遅延時間とし、後にデータが到達したバッファには、ジッタ吸収時間をバッファの遅延時間とするようにしている。これにより、映像データと音声データとが別々に記録されている場合であっても、フレーム単位でバッファ１７，１１２の遅延時間を調整することが可能となる。
【００４８】
したがって、本発明によれば、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、タイムスタンプ等の複雑な処理を行わずに、両データを同期させて出力することが可能な映像音声記録再生装置を提供することができる。
【００４９】
また、上記一実施形態では、ジッタ吸収部１１３で吸収できなかったジッタ量を参照してジッタ吸収時間Ｔｊｉｔを算出するようにしている。従来では、外部同期信号のジッタをシステム全体で見積もり、システム全体のジッタ量を用いてジッタ吸収時間を算出していたため、バッファの遅延時間は無駄に大きなものとなっていた。これに対し、本発明に係る映像音声記録再生装置では、ジッタ吸収部１１３で吸収できなかったジッタ量を参照してジッタ吸収時間を算出することにより、バッファ１７，１１２に対して必要最低限な遅延時間を設定できるようになっている。したがって、本発明に係る映像音声記録再生装置は、再生処理等の実行処理に対する操作レスポンスを向上することができる。
【００５０】
また、上記一実施形態では、データに特殊効果を付加する際には、読出し部１２，１３及びデコーダ１４，１９の処理速度を所定期間だけ増幅させ、バッファ１７，１１２へ導出されるデータのフレーム構造が乱れないように切替部１６，１１１を切り替えるようにしている。また、データへの特殊効果の付加を停止する際には、読出し部１２，１３及びデコーダ１４，１９の処理速度を所定期間だけ減衰／停止させ、バッファ１７，１１２へ導出されるデータのフレーム構造が乱れないように切替部１６，１１１を切り替えるようにしている。これにより、データに特殊効果を付加する場合及びデータへの特殊効果の付加を停止する場合であっても、映像と音声の同期を維持したまま再生を継続することができる。したがって、特殊効果を追加した場合であっても、映像と音声との同期を再度取り直す必要がなく、再生を継続したままで特殊効果のオン／オフの効果を確認することができる。
【００５１】
また、読出し部１２，１３及びデコーダ１４，１９の処理速度を操作することにより、定常状態におけるバッファ１７，１１２の遅延量を一定値に維持することが可能となる。したがって、本発明に係る映像音声記録再生装置は、外部同期信号のジッタに対して映像データ及び音声データの出力が安定することになる。
【００５２】
また、上記一実施形態では、映像音声記録再生装置に対して早送り又は逆再生を含む特殊再生が指示された場合、算出したジッタ吸収時間Ｔｊｉｔよりも少ない時間のジッタ吸収時間を用いてバッファ１７，１１２の遅延時間が決定される。特殊再生の利用時間は、通常再生の利用時間と比較して短時間であると想定できる。そのため、特殊再生では、リップシンクを保つことが必ずしも必要でない。そこで、本発明に係る映像音声記録再生装置は、特殊再生時には、算出値よりも小さいジッタ吸収時間を用いてバッファ１７，１１２の遅延時間を決定することで、特殊再生時における操作レスポンスの向上を実現している。
【００５３】
さらに、上記一実施形態では、映像音声記録再生装置に対してバッファ１７，１１２からのデータの出力を遅らせる旨の指示が入力された場合、読出し部１２，１３に記録媒体１１に記録されたデータを指示されたフレーム数分だけ重複して読み出させるようにしている。これにより、バッファ１７，１１２の遅延時間を個別に動的に調整する事が可能である。したがって、モニタ装置４０とスピーカー４２とが固有の遅延量を有しており、モニタ装置４０に表示される映像とスピーカー４２から出力される音声とが同期していない場合であっても、映像又は音声のバッファ１７，１１２からの出力を意図的にずらすことにより、モニタ装置４０に表示される映像とスピーカー４２から出力される音声とを同期させることができる。
【００５４】
なお、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、映像データに対して特殊効果をオン／オフする例について説明したが、音声データに対する特殊効果のオン／オフであっても同様に実施可能である。
【００５５】
また、上記実施形態では、音声データの音声バッファ１１２への入力が開始されるよりも先に、映像データの映像バッファ１７への入力が開始される例を説明したが、映像データの映像バッファ１７への入力が開始されるよりも先に、音声データの音声バッファ１１２への入力が開始される場合であっても同様に実施可能である。
【００５６】
さらに、本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態に係る映像音声記録再生装置の概観図である。
【図２】図１の映像音声記録再生装置の機能構成を示すブロック図である。
【図３】図２の切替部の構成を示す図である。
【図４】図２の制御部による処理動作を示すフローチャートである。
【図５】図２の制御部による切替部の切替制御を説明する図である。
【図６】図２の制御部による切替部の切替制御を説明する図である。
【図７】図２の制御部による切替部の切替制御を説明する図である。
【符号の説明】
【００５８】
１０…映像音声記録再生装置
１１…記録媒体
１２…映像読出し部
１３…音声読出し部
１４…映像デコーダ
１５…映像特殊効果付加部
１６…切替部
１７…映像バッファ
１８…制御部
１９…音声デコーダ
１１０…音声特殊効果付加部
１１１…切替部
１１２…音声バッファ
１１３…ジッタ吸収部
１１４…フレームカウンタ
１１５…保持部
２０…カメラ
２１…マイク
３０…同期信号発生器
４０…モニタ装置
４１…アンプ
４２…スピーカー
【技術分野】
【０００１】
本発明は、映像データと音声データとを同期させて再生する映像音声記録再生装置及び映像音声再生方法に関する。
【背景技術】
【０００２】
ビデオレコーダのような映像と音声とを再生するシステムでは、ユーザに対して映像と音声とを収録した時点のタイミングで同期させて提示する必要がある。同期がずれると、例えばニュースの場面ではアナウンサーの口の動きと音声とが合わない状態となり（リップシンクずれ現象）、違和感を感じることとなる。
【０００３】
従来は、このような状況を防ぐために、タイムスタンプと呼ばれるユーザに提示すべき時刻情報を映像と音声とに付加し、それを参照して同期させる方式が取られていた。しかし、このためには映像と音声とを時間多重してリファレンスクロックと呼ばれる基準時刻情報を付加する等、複雑な保存形式をとる必要がある。また、業務用途で用いられる保存形式では映像と音声とを別々にフレーム単位で管理しているため、タイムスタンプ方式で同期を取る事が難しい。
【０００４】
なお、タイムスタンプを付加せずとも、映像データと音声データとの同期制御を行う発明が提案されている（例えば、特許文献１参照）。しかし、この発明は、映像データと音声データとが符号化多重されたデータを再生する場合に対応しており、映像データと音声データとが別々に管理される形式には対応していない。
【特許文献１】特開平８−６３８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上のように、従来の映像音声記録再生装置では、映像データと音声データとが別々にフレーム単位で管理されている場合、タイムスタンプ方式により両データを同期させて出力することは困難であった。
【０００６】
そこで、本発明の目的は、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る映像音声記録再生装置は、映像素材の映像データと音声データとを別々に記録する記録手段と、前記記録手段から前記映像データを指示に従って読み出す映像読出し手段と、前記読み出された映像データを復号化する映像復号化手段と、前記復号化された映像データを指定された第１の遅延時間だけ保持して出力する映像バッファ手段と、前記記録手段から前記音声データを指示に従って読み出す音声読出し手段と、前記読み出された音声データを復号化する音声復号化手段と、前記復号化された音声データを指定された第２の遅延時間だけ保持して出力する音声バッファ手段と、外部から入力される外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成するカウント手段と、前記外部同期信号に従って前記映像読出し手段に前記映像データを読み出させると共に前記音声読出し手段に前記音声データを読み出させ、前記映像バッファ手段及び前記音声バッファ手段に対して第１及び第２の遅延時間を指定する制御手段とを具備し、前記制御手段は、前記映像バッファ手段及び前記音声バッファ手段のうち、先にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、前記映像バッファ手段及び前記音声バッファ手段のうち、後にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、前記データが先に入力されたバッファ手段の遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から算出し、前記データが後に入力されたバッファ手段の遅延時間を前記ジッタ吸収時間から算出することで前記第１及び第２の遅延時間を指定することを特徴とする。
【０００８】
また、本発明に係る映像音声再生方法は、映像素材の映像データと音声データとを別々に記録する記録手段から、外部から入力される外部同期信号に従って前記映像データ及び前記音声データを読み出し、前記外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成し、前記映像データを保持する映像バッファ手段及び前記音声データを保持する音声バッファ手段のうち、前記読み出されたデータが先に入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、前記映像バッファ手段及び前記音声バッファ手段のうち、前記読み出されたデータが後に入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、前記データが先に入力されたバッファ手段が当該データを遅延させる遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から第１の遅延時間として算出し、前記データが後に入力されたバッファ手段が当該データを遅延させる遅延時間を前記ジッタ吸収時間から第２の遅延時間として算出することを特徴とする。
【０００９】
上記構成による映像音声記録再生装置及び映像音声再生方法では、記録手段に別々に記録される映像データ及び音声データが映像読出し手段及び音声読出し手段によりそれぞれ読み出される。制御手段は、読み出された映像データが映像バッファ手段へ到達する際のカウント値と、読み出された音声データが音声バッファ１１２へ到達する際のカウント値とを保持する。そして、制御手段は、保持したカウント値に基づいて映像及び音声バッファ手段それぞれの遅延時間を決定するようにしている。これにより、映像データ及び音声データが別々に記録されている場合であっても、映像及び音声バッファ手段の遅延時間を調整することが可能となる。
【発明の効果】
【００１０】
本発明によれば、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、両データを同期させて出力することが可能な映像音声記録再生装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明に係る映像音声記録再生装置の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る映像音声記録再生装置１０の概観図である。図１における映像音声記録再生装置１０には、カメラ２０及びマイク２１が接続される。カメラ２０により撮像された映像及びマイク２１により収録された音声は、映像音声記録再生装置１０に取り込まれる。取り込まれた映像及び音声は、同期信号発生器３０からの外部同期信号に従いフレーム単位で別々に記録媒体１１に記録される。また、映像音声記録再生装置１０には、モニタ装置４０及びアンプ４１を介してスピーカー４２が接続される。記録媒体１１に記録された映像及び音声は、外部同期信号に従って再生され、再生された映像はモニタ装置４０に表示され、再生された音声はアンプ４１で増幅され、スピーカー４２から出力される。
【００１２】
図２は、本発明の一実施形態に係る映像音声記録再生装置１０の機能構成を示すブロック図である。図２において、記録媒体１１に記録される映像素材の映像データと音声データとは、映像読出し部１２及び音声読出し部１３によりそれぞれ読み出される。
【００１３】
映像読出し部１２により読み出された映像データは、映像デコーダ１４でデコードされ、映像特殊効果付加部１５及び切替部１６へ出力される。映像特殊効果付加部１５は、受け取った映像データに特殊効果を付加して切替部１６へ供給する。ここで、映像データにおける特殊効果とは、文字スーパー重畳や拡大、縮小、回転などといったものである。
【００１４】
図３は、切替部１６の構成を示す模式図である。端末Ａは映像特殊効果付加部１５と接続し、端末Ｂはオフとなっており、端末Ｃは映像デコーダ１４と接続し、端末Ｄは映像バッファ１７と接続する。切替部１６は、制御部１８の指示に従い端末Ａ〜Ｃを切り替えて映像データを映像バッファ１７へ導出する。
【００１５】
映像バッファ１７は、映像データの入力が開始されると、その旨を制御部１８へ通知する。また、映像バッファ１７は、制御部１８が指定する遅延時間だけ映像データの出力を遅延したのち、この映像データを出力する。
【００１６】
上記音声読出し部１３により読み出された音声データは、音声デコーダ１９でデコードされ、音声特殊効果付加部１１０及び切替部１１１へ出力される。音声特殊効果付加部１１０は、受け取った音声データに特殊効果を付加して切替部１１１へ供給する。
【００１７】
切替部１１１は、切替部１６と同様の構成をしており、制御部１８の指示に従い端末Ａ〜Ｃを切り替えて音声データを音声バッファ１１２へ導出する。
【００１８】
音声バッファ１１２は、音声データの入力が開始されると、その旨を制御部１８へ通知する。また、音声バッファ１１２は、制御部１８が指定する遅延時間だけ音声データの出力を遅延したのち、この音声データを出力する。
【００１９】
ジッタ吸収部１１３は、外部同期信号を受け取り、外部同期信号に含まれるジッタを時間的に平滑化して急激な変化を抑える。ジッタ吸収部１１３は、ジッタを吸収した外部同期信号を制御部１８及びフレームカウンタ１１４へ供給する。また、ジッタ吸収部１１３は、吸収しきれなかったジッタの量をジッタ量として制御部１８へ通知する。フレームカウンタ１１４は、外部同期信号をカウントして映像素材のフレーム相当のカウント値を生成する。
【００２０】
制御部１８は、マイクロプロッセッサ等のＣＰＵ（Central Processing Unit）から成り、映像音声記録再生装置１０における諸制御を行う。
【００２１】
制御部１８は、外部から再生指示がある場合、映像読出し部１２及び音声読出し部１３に映像データ及び音声データを同時に読み出させる。
【００２２】
また、制御部１８は、映像バッファ１７及び音声バッファ１１２からの通知があるか否かを監視する。制御部１８は、映像バッファ１７及び音声バッファ１１２からの通知を受けると、これらの通知を受け取る度にフレームカウンタ１１４のカウント値を保持部１１５に保持する。制御部１８は、先に入力が開始されたバッファから通知を受けた際のカウント値及び後に入力が開始されたバッファから通知を受けた際のカウント値とから映像と音声との到着時刻の差分時間Ｔｄを算出する。
【００２３】
また、制御部１８は、映像読出し部１２のジッタ量、映像デコーダ１４のジッタ量、映像特殊効果付加部１５のジッタ量及びジッタ吸収部１１３からのジッタ量とから映像バッファ１７のジッタ吸収時間Ｔｖを算出する。また、制御部１８は、音声読出し部１３のジッタ量、音声デコーダ１９のジッタ量、音声特殊効果付加部１１０のジッタ量及びジッタ吸収部１１３からのジッタ量とから音声バッファ１１２のジッタ吸収時間Ｔａを算出する。そして、制御部１８は、ジッタ吸収時間Ｔｖ，Ｔａのうち大きい方の値をＴｊｉｔとする。なお、ジッタ吸収時間を算出する際の読出し部１２，１３のジッタ量、デコーダ１４，１９のジッタ量及び特殊効果付加部１５，１１０のジッタ量は、装置の設計時に予め見積もられるジッタ量である。
【００２４】
そして、制御部１８は、先にデータの入力を開始したバッファに対して、ジッタ吸収時間Ｔｊｉｔに映像と音声との到着時刻の差分時間Ｔｄを加えた時間を遅延時間として指定する。また、制御部１８は、後にデータの入力を開始したバッファに対して、ジッタ吸収時間Ｔｊｉｔを遅延時間として指定する。
【００２５】
また、制御部１８は、映像音声記録再生装置に対して特殊効果をデータに付加する旨の指示又はデータへの特殊効果の付加を停止する旨の指示が入力された場合、バッファ１７，１１２へ導出されるデータのフレーム順序を維持するように切替部１６，１１１を切替制御する。
【００２６】
また、制御部１８は、映像音声記録再生装置に対して早送り又は逆再生を含む特殊再生が指示された場合、算出したジッタ吸収時間Ｔｊｉｔよりも少ない時間のジッタ吸収時間を用いてバッファ１７，１１２の遅延時間を決定する。
【００２７】
さらに、制御部１８は、映像音声記録再生装置に対してバッファ１７，１１２からのデータの出力を遅らせる旨の指示が入力された場合、読出し部１２，１３に記録媒体１１に記録されたデータを指示されたフレーム数分だけ重複して読み出させる。
【００２８】
例えば、モニタ装置４０に表示される映像が、スピーカー４２から出力される音声に対して早い場合、ユーザは映像データの出力を２フレーム分遅らせる旨の指示を映像音声記録再生装置１０へ入力する。制御部１８は、この指示を受けると、映像読出し部１２に映像データを２フレーム分だけ重複して読み出させる。これにより、映像バッファ１７から出力される映像データが音声データと比較して２フレーム分だけ遅れ、モニタ装置４０に表示される映像とスピーカー４２から出力される音声とが同期するようになる。
【００２９】
次に、上記構成における映像音声記録再生装置の処理動作について説明する。図４は、本発明の一実施形態に係る制御部１８による処理動作を示すフローチャートである。なお、ここでは、音声データの音声バッファ１１２への入力が開始されるよりも先に、映像データの映像バッファ１７への入力が開始される場合を説明する。
【００３０】
まず、制御部１８は、外部から再生指示を受けると、映像データ及び音声データを同時に読み出すよう映像読出し部１２及び音声読出し部１３へ指示を出す（ステップ４ａ）。
【００３１】
続いて、制御部１８は、先にデータの入力が開始されたバッファからの通知があるか否かを判断する（ステップ４ｂ）。制御部１８は、映像バッファ１７からの通知を受けると（ステップ４ｂのＹｅｓ）、そのときのフレームカウンタ１１４のカウント値Ｎｖを保持する（ステップ４ｃ）。
【００３２】
制御部１８は、後にデータの入力が開始されたバッファからの通知があるか否かを判断する（ステップ４ｄ）。制御部１８は、音声バッファ１１２からの通知を受けると（ステップ４ｄのＹｅｓ）、そのときのフレームカウンタ１１４のカウント値Ｎａを保持部１１５に保持する（ステップ４ｅ）。
【００３３】
制御部１８は、ジッタ吸収部１１３からのジッタ量を用いてジッタ吸収時間Ｔｊｉｔを算出すると共に、カウント値Ｎｖとカウント値Ｎｓとの差分から映像と音声との到着時刻の差分時間Ｔｄを算出する（ステップ４ｆ）。制御部１８は、ジッタ吸収時間Ｔｊｉｔと差分時間Ｔｄが算出されると、映像バッファ１７にジッタ吸収時間Ｔｊｉｔ＋差分時間Ｔｄを遅延時間として指定すると共に、音声バッファ１１２にジッタ吸収時間Ｔｊｉｔを遅延時間として指定し（ステップ４ｇ）、処理を終了する。
【００３４】
図５〜７は、制御部１８による切替部１６，１１１の切替制御を説明する模式図である。なお、ここでは、映像データに対する特殊効果の付加を例に説明する。また、本説明では、映像データに特殊効果を付加することに２フレーム分の処理遅延が発生すると仮定する。
【００３５】
図５は、映像データに特殊効果を付加する際の切替制御を示す。まず、切替部１６は、映像デコーダ１４からの映像データを映像バッファ１７へ導出する。
【００３６】
映像読出し部１２がフレーム１の映像データを読み出した時点で、映像音声記録再生装置に対して特殊効果を映像データに付加する旨の指示が入力された場合、制御部１８は、映像読出し部１２及び映像デコーダ１４へフレーム２〜５の映像データを倍速で処理するように指示を出す。なお、このときの処理速度の増幅倍数及び増幅した処理速度での処理フレーム数は、特殊効果の付加による処理遅延量によって決定される。映像デコーダ１４で倍速処理された映像データは映像バッファ１７に保持され、１倍の出力速度で出力される。このため、映像バッファ１７における遅延量は一時的に上昇する。
【００３７】
フレーム５の映像データが映像バッファ１７に導出されると、制御部１８は、切替部１６の接続をＢ端子に切り替え、信号の導出をオフにする。この間、映像バッファ１７への映像データの供給が停止する。一方、映像バッファ１７からは、通常の出力速度で映像データが出力されるため、映像バッファ１７の遅延量は減少し、元の量に戻る。
【００３８】
制御部１８は、切替部１６の接続をＢ端子に切り替えて２フレームが経過すると、切替部１６の接続をＡ端子に切り替える。これにより、フレーム５を境に、特殊効果が付加されたフレーム６’の映像データが映像バッファ１７に導出されることとなる。
【００３９】
このようにすることで、特殊効果が付加された映像データの出力に切り替える場合であっても、映像バッファ１７へ、映像データをそのフレーム構成を乱さずに導出することが可能となる。
【００４０】
図６及び図７は、映像データへの特殊効果の付加を停止する際の切替制御を示す。図６では、映像読出し部１２及び映像デコーダ１４の処理速度を１倍未満に変更する際の切替制御を示す。まず、切替部１６は、映像特殊効果付加部１５からの映像データを映像バッファ１７へ導出する。
【００４１】
映像読出し部１２がフレーム６の映像データを読み出した時点で、映像音声記録再生装置に対して映像データへの特殊効果の付加を停止する旨の指示が入力された場合、制御部１８は、映像読出し部１２及び映像デコーダ１４へフレーム７，８の映像データを１／２倍で処理するように指示を出す。なお、このときの処理速度の減衰倍数及び減衰した処理速度での処理フレーム数は、特殊効果の付加による処理遅延量によって決まる。
【００４２】
フレーム７’の映像データが映像バッファ１７に導出されると、制御部１８は、切替部１６の接続をＣ端子に切り替える。これにより、フレーム７’を境に、特殊効果が付加されていないフレーム８の映像データが映像バッファ１７に導出されることとなる。
【００４３】
図７では、映像読出し部１２の読出し動作を停止する際の切替制御を示す。まず、切替部１６は、映像特殊効果付加部１５からの映像データを映像バッファ１７へ導出する。
【００４４】
映像読出し部１２がフレーム７の映像データを読み出した時点で、映像音声記録再生装置に対して映像データへの特殊効果の付加を停止する旨の指示が入力された場合、制御部１８は、映像読出し部１２へ読出し動作を停止するように指示を出す。
【００４５】
制御部１８は、映像読出し部１２の読出し動作を停止させてから２フレームが経過すると、読出し動作を再開させると共に、切替部１６の接続を端子Ｃに切り替える。なお、このとき読出し動作を停止するフレーム数は、特殊効果の付加による処理遅延量によって決まる。これにより、フレーム７’を境に、特殊効果が付加されていないフレーム８の映像データが映像バッファ１７に導出されることとなる。
【００４６】
このようにすることで、映像データへの特殊効果の付加を停止した場合であっても、映像バッファ１７へ、映像データをそのフレーム構成を乱さずに導出することが可能となる。
【００４７】
以上のように、上記一実施形態では、映像データが映像バッファ１７に到達する際のカウント値と、音声データが音声バッファ１１２に到達する際のカウント値とから、映像データと音声データとの到達時間の差分を算出する。そして、先にデータが到達したバッファには、この差分時間とジッタ吸収時間との和をバッファの遅延時間とし、後にデータが到達したバッファには、ジッタ吸収時間をバッファの遅延時間とするようにしている。これにより、映像データと音声データとが別々に記録されている場合であっても、フレーム単位でバッファ１７，１１２の遅延時間を調整することが可能となる。
【００４８】
したがって、本発明によれば、映像データと音声データとがフレーム単位で別々に管理されている場合であっても、タイムスタンプ等の複雑な処理を行わずに、両データを同期させて出力することが可能な映像音声記録再生装置を提供することができる。
【００４９】
また、上記一実施形態では、ジッタ吸収部１１３で吸収できなかったジッタ量を参照してジッタ吸収時間Ｔｊｉｔを算出するようにしている。従来では、外部同期信号のジッタをシステム全体で見積もり、システム全体のジッタ量を用いてジッタ吸収時間を算出していたため、バッファの遅延時間は無駄に大きなものとなっていた。これに対し、本発明に係る映像音声記録再生装置では、ジッタ吸収部１１３で吸収できなかったジッタ量を参照してジッタ吸収時間を算出することにより、バッファ１７，１１２に対して必要最低限な遅延時間を設定できるようになっている。したがって、本発明に係る映像音声記録再生装置は、再生処理等の実行処理に対する操作レスポンスを向上することができる。
【００５０】
また、上記一実施形態では、データに特殊効果を付加する際には、読出し部１２，１３及びデコーダ１４，１９の処理速度を所定期間だけ増幅させ、バッファ１７，１１２へ導出されるデータのフレーム構造が乱れないように切替部１６，１１１を切り替えるようにしている。また、データへの特殊効果の付加を停止する際には、読出し部１２，１３及びデコーダ１４，１９の処理速度を所定期間だけ減衰／停止させ、バッファ１７，１１２へ導出されるデータのフレーム構造が乱れないように切替部１６，１１１を切り替えるようにしている。これにより、データに特殊効果を付加する場合及びデータへの特殊効果の付加を停止する場合であっても、映像と音声の同期を維持したまま再生を継続することができる。したがって、特殊効果を追加した場合であっても、映像と音声との同期を再度取り直す必要がなく、再生を継続したままで特殊効果のオン／オフの効果を確認することができる。
【００５１】
また、読出し部１２，１３及びデコーダ１４，１９の処理速度を操作することにより、定常状態におけるバッファ１７，１１２の遅延量を一定値に維持することが可能となる。したがって、本発明に係る映像音声記録再生装置は、外部同期信号のジッタに対して映像データ及び音声データの出力が安定することになる。
【００５２】
また、上記一実施形態では、映像音声記録再生装置に対して早送り又は逆再生を含む特殊再生が指示された場合、算出したジッタ吸収時間Ｔｊｉｔよりも少ない時間のジッタ吸収時間を用いてバッファ１７，１１２の遅延時間が決定される。特殊再生の利用時間は、通常再生の利用時間と比較して短時間であると想定できる。そのため、特殊再生では、リップシンクを保つことが必ずしも必要でない。そこで、本発明に係る映像音声記録再生装置は、特殊再生時には、算出値よりも小さいジッタ吸収時間を用いてバッファ１７，１１２の遅延時間を決定することで、特殊再生時における操作レスポンスの向上を実現している。
【００５３】
さらに、上記一実施形態では、映像音声記録再生装置に対してバッファ１７，１１２からのデータの出力を遅らせる旨の指示が入力された場合、読出し部１２，１３に記録媒体１１に記録されたデータを指示されたフレーム数分だけ重複して読み出させるようにしている。これにより、バッファ１７，１１２の遅延時間を個別に動的に調整する事が可能である。したがって、モニタ装置４０とスピーカー４２とが固有の遅延量を有しており、モニタ装置４０に表示される映像とスピーカー４２から出力される音声とが同期していない場合であっても、映像又は音声のバッファ１７，１１２からの出力を意図的にずらすことにより、モニタ装置４０に表示される映像とスピーカー４２から出力される音声とを同期させることができる。
【００５４】
なお、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、映像データに対して特殊効果をオン／オフする例について説明したが、音声データに対する特殊効果のオン／オフであっても同様に実施可能である。
【００５５】
また、上記実施形態では、音声データの音声バッファ１１２への入力が開始されるよりも先に、映像データの映像バッファ１７への入力が開始される例を説明したが、映像データの映像バッファ１７への入力が開始されるよりも先に、音声データの音声バッファ１１２への入力が開始される場合であっても同様に実施可能である。
【００５６】
さらに、本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態に係る映像音声記録再生装置の概観図である。
【図２】図１の映像音声記録再生装置の機能構成を示すブロック図である。
【図３】図２の切替部の構成を示す図である。
【図４】図２の制御部による処理動作を示すフローチャートである。
【図５】図２の制御部による切替部の切替制御を説明する図である。
【図６】図２の制御部による切替部の切替制御を説明する図である。
【図７】図２の制御部による切替部の切替制御を説明する図である。
【符号の説明】
【００５８】
１０…映像音声記録再生装置
１１…記録媒体
１２…映像読出し部
１３…音声読出し部
１４…映像デコーダ
１５…映像特殊効果付加部
１６…切替部
１７…映像バッファ
１８…制御部
１９…音声デコーダ
１１０…音声特殊効果付加部
１１１…切替部
１１２…音声バッファ
１１３…ジッタ吸収部
１１４…フレームカウンタ
１１５…保持部
２０…カメラ
２１…マイク
３０…同期信号発生器
４０…モニタ装置
４１…アンプ
４２…スピーカー
【特許請求の範囲】
【請求項１】
映像素材の映像データと音声データとを別々に記録する記録手段と、
前記記録手段から前記映像データを指示に従って読み出す映像読出し手段と、
前記読み出された映像データを復号化する映像復号化手段と、
前記復号化された映像データを指定された第１の遅延時間だけ保持して出力する映像バッファ手段と、
前記記録手段から前記音声データを指示に従って読み出す音声読出し手段と、
前記読み出された音声データを復号化する音声復号化手段と、
前記復号化された音声データを指定された第２の遅延時間だけ保持して出力する音声バッファ手段と、
外部から入力される外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成するカウント手段と、
前記外部同期信号に従って前記映像読出し手段に前記映像データを読み出させると共に前記音声読出し手段に前記音声データを読み出させ、前記映像バッファ手段及び前記音声バッファ手段に対して第１及び第２の遅延時間を指定する制御手段と
を具備し、
前記制御手段は、
前記映像バッファ手段及び前記音声バッファ手段のうち、先にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、
前記映像バッファ手段及び前記音声バッファ手段のうち、後にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、
前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、
前記データが先に入力されたバッファ手段の遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から算出し、前記データが後に入力されたバッファ手段の遅延時間を前記ジッタ吸収時間から算出することで前記第１及び第２の遅延時間を指定することを特徴とする映像音声記録再生装置。
【請求項２】
早送り又は逆再生を含む特殊再生が指示された場合、
前記制御手段は、前記ジッタ吸収時間を、標準再生時のジッタ吸収時間よりも低減させて前記第１及び第２の遅延時間を指定することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項３】
前記ジッタ吸収時間が、前記記録手段に記録されるデータの読み出しから当該データが前記バッファ手段へ到達するまでのジッタ量及び前記外部同期信号のジッタ量を吸収するための時間である場合、
前記外部同期信号のジッタ量を吸収するものであり、吸収できない場合は吸収できないジッタ量を前記制御手段に通知するジッタ吸収手段をさらに具備し、
前記制御手段は、前記通知されたジッタ量を参照して前記ジッタ吸収時間を算出することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項４】
前記復号化された映像データに対して特殊効果を付加する映像特殊効果付加手段と、
前記映像復号化手段からの映像データ及び映像特殊効果付加手段からの映像データを受け取り、前記制御手段からの指示に従って前記受け取った映像データを導出する第１の切替手段と
をさらに具備し、
前記制御手段は、前記第１の切替手段を切替制御することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項５】
前記映像及び音声バッファ手段から各データが出力されている際に前記映像データに対して前記特殊効果の付加が指示される場合、
前記制御手段は、前記特殊効果の付加により発生する予め設定された遅延フレームに応じて前記映像読出し手段及び前記映像復号化手段の処理速度を指定フレーム数の間だけ早め、前記第１の切替手段を切替制御して前記特殊効果の付加による遅延フレームを相殺することを特徴とする請求項４記載の映像音声記録再生装置。
【請求項６】
前記映像及び音声バッファ手段から各データが出力されている際に前記映像データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記映像読出し手段及び前記映像復号化手段の処理速度を指定フレーム数の間だけ遅め、前記第１の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項４記載の映像音声記録再生装置。
【請求項７】
前記映像及び音声バッファ手段から各データが出力されている際に前記映像データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記映像読出し手段を指定フレーム数の間だけ停止させ、前記第１の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項４記載の映像音声記録再生装置。
【請求項８】
前記映像データの出力を指定フレーム数分だけ遅延させる指示がある場合、
前記制御手段は、前記映像読出し手段に前記指定フレーム数分だけ同一の映像データを重複して読み出させることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項９】
前記復号化された音声データに対して特殊効果を付加する音声特殊効果付加手段と、
前記音声復号化手段からの音声データ及び音声特殊効果付加手段からの音声データを受け取り、前記制御手段からの指示に従って前記受け取った音声データを導出する第２の切替手段と
をさらに具備し、
前記制御手段は、前記第２の切替手段を切替制御することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１０】
前記映像及び音声バッファ手段から各データが出力されている際に前記音声データに対して前記特殊効果の付加が指示される場合、
前記制御手段は、前記特殊効果の付加により発生する予め設定された遅延フレームに応じて前記音声読出し手段及び前記音声復号化手段の処理速度を指定フレーム数の間だけ早め、前記第２の切替手段を切替制御して前記特殊効果の付加による遅延フレームを相殺することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１１】
前記映像及び音声バッファ手段から各データが出力されている際に前記音声データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記音声読出し手段及び前記音声復号化手段の処理速度を指定フレーム数の間だけ遅め、前記第２の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１２】
前記映像及び音声バッファ手段から各データが出力されている際に前記音声データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記音声読出し手段を指定フレーム数の間だけ停止させ、前記第２の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１３】
前記音声データの出力を指定フレーム数分だけ遅延させる指示がある場合、
前記制御手段は、前記音声読出し手段に前記指定フレーム数分だけ同一の音声データを重複して読み出させることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１４】
映像素材の映像データと音声データとを別々に記録する記録手段から、外部から入力される外部同期信号に従って前記映像データ及び前記音声データを読み出し、
前記外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成し、
前記映像データを保持する映像バッファ手段及び前記音声データを保持する音声バッファ手段のうち、前記読み出されたデータが先に入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、
前記映像バッファ手段及び前記音声バッファ手段のうち、前記読み出されたデータが後に入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、
前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、
前記データが先に入力されたバッファ手段が当該データを遅延させる遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から第１の遅延時間として算出し、
前記データが後に入力されたバッファ手段が当該データを遅延させる遅延時間を前記ジッタ吸収時間から第２の遅延時間として算出することを特徴とする映像音声再生方法。
【請求項１５】
早送り又は逆再生を含む特殊再生が指示された場合、
前記ジッタ吸収時間を、標準再生時のジッタ吸収時間よりも低減させて前記第１及び第２の遅延時間を算出することを特徴とする請求項１４記載の映像音声再生方法。
【請求項１６】
前記ジッタ吸収時間が、前記記録手段に記録されるデータの読み出しから当該データが前記バッファ手段へ到達するまでのジッタ量及び前記外部同期信号のジッタ量を吸収するための時間である場合、
前記外部同期信号のジッタを吸収し、吸収できないときは当該吸収できないジッタ量を参照して前記ジッタ吸収時間を算出することを特徴とする請求項１４記載の映像音声再生方法。
【請求項１】
映像素材の映像データと音声データとを別々に記録する記録手段と、
前記記録手段から前記映像データを指示に従って読み出す映像読出し手段と、
前記読み出された映像データを復号化する映像復号化手段と、
前記復号化された映像データを指定された第１の遅延時間だけ保持して出力する映像バッファ手段と、
前記記録手段から前記音声データを指示に従って読み出す音声読出し手段と、
前記読み出された音声データを復号化する音声復号化手段と、
前記復号化された音声データを指定された第２の遅延時間だけ保持して出力する音声バッファ手段と、
外部から入力される外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成するカウント手段と、
前記外部同期信号に従って前記映像読出し手段に前記映像データを読み出させると共に前記音声読出し手段に前記音声データを読み出させ、前記映像バッファ手段及び前記音声バッファ手段に対して第１及び第２の遅延時間を指定する制御手段と
を具備し、
前記制御手段は、
前記映像バッファ手段及び前記音声バッファ手段のうち、先にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、
前記映像バッファ手段及び前記音声バッファ手段のうち、後にデータが入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、
前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、
前記データが先に入力されたバッファ手段の遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から算出し、前記データが後に入力されたバッファ手段の遅延時間を前記ジッタ吸収時間から算出することで前記第１及び第２の遅延時間を指定することを特徴とする映像音声記録再生装置。
【請求項２】
早送り又は逆再生を含む特殊再生が指示された場合、
前記制御手段は、前記ジッタ吸収時間を、標準再生時のジッタ吸収時間よりも低減させて前記第１及び第２の遅延時間を指定することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項３】
前記ジッタ吸収時間が、前記記録手段に記録されるデータの読み出しから当該データが前記バッファ手段へ到達するまでのジッタ量及び前記外部同期信号のジッタ量を吸収するための時間である場合、
前記外部同期信号のジッタ量を吸収するものであり、吸収できない場合は吸収できないジッタ量を前記制御手段に通知するジッタ吸収手段をさらに具備し、
前記制御手段は、前記通知されたジッタ量を参照して前記ジッタ吸収時間を算出することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項４】
前記復号化された映像データに対して特殊効果を付加する映像特殊効果付加手段と、
前記映像復号化手段からの映像データ及び映像特殊効果付加手段からの映像データを受け取り、前記制御手段からの指示に従って前記受け取った映像データを導出する第１の切替手段と
をさらに具備し、
前記制御手段は、前記第１の切替手段を切替制御することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項５】
前記映像及び音声バッファ手段から各データが出力されている際に前記映像データに対して前記特殊効果の付加が指示される場合、
前記制御手段は、前記特殊効果の付加により発生する予め設定された遅延フレームに応じて前記映像読出し手段及び前記映像復号化手段の処理速度を指定フレーム数の間だけ早め、前記第１の切替手段を切替制御して前記特殊効果の付加による遅延フレームを相殺することを特徴とする請求項４記載の映像音声記録再生装置。
【請求項６】
前記映像及び音声バッファ手段から各データが出力されている際に前記映像データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記映像読出し手段及び前記映像復号化手段の処理速度を指定フレーム数の間だけ遅め、前記第１の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項４記載の映像音声記録再生装置。
【請求項７】
前記映像及び音声バッファ手段から各データが出力されている際に前記映像データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記映像読出し手段を指定フレーム数の間だけ停止させ、前記第１の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項４記載の映像音声記録再生装置。
【請求項８】
前記映像データの出力を指定フレーム数分だけ遅延させる指示がある場合、
前記制御手段は、前記映像読出し手段に前記指定フレーム数分だけ同一の映像データを重複して読み出させることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項９】
前記復号化された音声データに対して特殊効果を付加する音声特殊効果付加手段と、
前記音声復号化手段からの音声データ及び音声特殊効果付加手段からの音声データを受け取り、前記制御手段からの指示に従って前記受け取った音声データを導出する第２の切替手段と
をさらに具備し、
前記制御手段は、前記第２の切替手段を切替制御することを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１０】
前記映像及び音声バッファ手段から各データが出力されている際に前記音声データに対して前記特殊効果の付加が指示される場合、
前記制御手段は、前記特殊効果の付加により発生する予め設定された遅延フレームに応じて前記音声読出し手段及び前記音声復号化手段の処理速度を指定フレーム数の間だけ早め、前記第２の切替手段を切替制御して前記特殊効果の付加による遅延フレームを相殺することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１１】
前記映像及び音声バッファ手段から各データが出力されている際に前記音声データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記音声読出し手段及び前記音声復号化手段の処理速度を指定フレーム数の間だけ遅め、前記第２の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１２】
前記映像及び音声バッファ手段から各データが出力されている際に前記音声データにおける前記特殊効果の付加の停止が指示される場合、
前記制御手段は、前記特殊効果の付加により発生していた予め設定された遅延フレームに応じて前記音声読出し手段を指定フレーム数の間だけ停止させ、前記第２の切替手段を切替制御して前記遅延フレームを相殺することを特徴とする請求項９記載の映像音声記録再生装置。
【請求項１３】
前記音声データの出力を指定フレーム数分だけ遅延させる指示がある場合、
前記制御手段は、前記音声読出し手段に前記指定フレーム数分だけ同一の音声データを重複して読み出させることを特徴とする請求項１記載の映像音声記録再生装置。
【請求項１４】
映像素材の映像データと音声データとを別々に記録する記録手段から、外部から入力される外部同期信号に従って前記映像データ及び前記音声データを読み出し、
前記外部同期信号をカウントして前記映像素材のフレーム相当のカウント値を生成し、
前記映像データを保持する映像バッファ手段及び前記音声データを保持する音声バッファ手段のうち、前記読み出されたデータが先に入力されたバッファ手段のデータ入力開始時の前記カウント値を第１のカウント値として保持し、
前記映像バッファ手段及び前記音声バッファ手段のうち、前記読み出されたデータが後に入力されたバッファ手段のデータ入力開始時の前記カウント値を第２のカウント値として保持し、
前記第１のカウント値と前記第２のカウント値とからデータ入力が開始される差分時間を算出し、
前記データが先に入力されたバッファ手段が当該データを遅延させる遅延時間を、前記差分時間と、前記映像バッファ手段及び前記音声バッファ手段でデータ伝送過程におけるジッタ量を吸収するためのジッタ吸収時間との和から第１の遅延時間として算出し、
前記データが後に入力されたバッファ手段が当該データを遅延させる遅延時間を前記ジッタ吸収時間から第２の遅延時間として算出することを特徴とする映像音声再生方法。
【請求項１５】
早送り又は逆再生を含む特殊再生が指示された場合、
前記ジッタ吸収時間を、標準再生時のジッタ吸収時間よりも低減させて前記第１及び第２の遅延時間を算出することを特徴とする請求項１４記載の映像音声再生方法。
【請求項１６】
前記ジッタ吸収時間が、前記記録手段に記録されるデータの読み出しから当該データが前記バッファ手段へ到達するまでのジッタ量及び前記外部同期信号のジッタ量を吸収するための時間である場合、
前記外部同期信号のジッタを吸収し、吸収できないときは当該吸収できないジッタ量を参照して前記ジッタ吸収時間を算出することを特徴とする請求項１４記載の映像音声再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−７４５５８（Ｐ２０１０−７４５５８Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３９９７７（Ｐ２００８−２３９９７７）
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]