オーディオ同期装置、オーディオ同期方法
【課題】マルチ・ストリームの同期を正確に行うこと
【解決手段】アプリケーションは、第１のストリームと第２のストリームとを同期させるためのタグを生成し、タグを第２のストリームに付加する。タグ処理部１０３はアプリケーションから入力されたタグを第１のストリームのタイムスタンプに基づいて第１のストリームに付加する。ミキサーＢ５０は、第１のストリームに付加されたタグと、第２のストリームに付加されたタグとを比較する。タグの値が一致する場合、ミキサーＢ５０は第１のストリームと第２のストリームとをミキシングして出力する。タグの値が一致しない場合、ミキサーＢ５０は前記第１のストリームを出力する。
【解決手段】アプリケーションは、第１のストリームと第２のストリームとを同期させるためのタグを生成し、タグを第２のストリームに付加する。タグ処理部１０３はアプリケーションから入力されたタグを第１のストリームのタイムスタンプに基づいて第１のストリームに付加する。ミキサーＢ５０は、第１のストリームに付加されたタグと、第２のストリームに付加されたタグとを比較する。タグの値が一致する場合、ミキサーＢ５０は第１のストリームと第２のストリームとをミキシングして出力する。タグの値が一致しない場合、ミキサーＢ５０は前記第１のストリームを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ同期装置、オーディオ同期方法に関し、特にマルチ・ストリームに関するオーディオ同期装置、オーディオ同期方法に関する。
【背景技術】
【０００２】
現在、従来のＤＶＤから次世代のブルーレイ・ディスク（BD: Blu-ray Disc）へと市場が急速に移行している。ブルーレイ・ディスクの規格には、複数のオーディオ・ストリーム（以降 マルチ・ストリームとも記載する。）が規定されている。ブルーレイ・ディスクの入力ストリームは、主にムービー・サウンド・トラックを受け持つプライマリー・オーディオ・ストリームと、ピクチャー・イン・ピクチャーのディレクターズ・コメントなどを受け持つセカンダリー・オーディオ・ストリームと、クリック音に代表される効果音を受け持つインタラクティブ・オーディオ・ストリームと、から構成される。近年、プライマリー・オーディオ・ストリームやセカンダリー・オーディオ・ストリームだけでなく、インタラクティブ・オーディオ・ストリームを利用したブルーレイ・ディスクのコンテンツが多く販売されている。そのため、インタラクティブ・オーディオ・ストリームの使用方法は多様化してきている。
【０００３】
マルチ・ストリームはミキシングされた上で利用される。特許文献１は、マルチ・ストリームをミキシングする技術を開示している。図６の構成図は、特許文献１に記載のオーディオデータミキシング装置の構成を示す図である。特許文献１に記載オーディオデータミキシング装置は、デコードとミキシングとをそれぞれ行うために、一対のオーディオ・デコーダＤ１ ３２０ａ及びＤ２ ３２０ｂと、一対のオーディオ・ミキサーＭ１ ３３０ａ及びＭ２ ３３０ｂとを含む。このオーディオデータミキシング装置は、プライマリー・オーディオ・ストリームと、セカンダリー・オーディオ・ストリームと、をミキシングパラメータＰ１、及びＰ２に基づいてミキシングする。その後、ミキシングされたデータとインタラクティブ・オーディオ・ストリームとをミキシングパラメータＰ３に基づいてミキシングする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５４７１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のオーディオデータミキシング装置では、インタラクティブ・オーディオ・ストリームと、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとのミキシングデータと、が正確に同期できないという問題がある。以下に詳細を記載する。
【０００６】
特許文献１に記載のオーディオデータミキシング装置は、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとを、パケット化エレメンタリー・ストリーム（PES: Packetized Elementary Stream）内にあるタイムスタンプに基づいて同期する。パケット化エレメンタリー・ストリームとは、ストリームデータを適当な大きさのデータに分割し、パケット化したものである。その後、オーディオデータミキシング装置は、同期化されたストリームに対し、デコード処理を行い、ＬＰＣＭ（Linear Pulse Code Modulation）データに変換する。続いて、オーディオデータミキシング装置は、ミキシングされたＬＰＣＭデータと、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータと、をミキシングする。このとき、ＬＰＣＭデータにはタイムスタンプ情報が存在しないが、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームと、はすでに同期させているため、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとを同期させた状態でミキシングすることができる。さらに、ミキシングされたＬＰＣＭデータと、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータとをミキシングする必要がある。しかし、ＬＰＣＭデータ内には、タイムスタンプ情報がないため、オーディオデータミキシング装置は、ミキシングされたＬＰＣＭデータと、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータとを同期することができない。
【０００７】
ここで、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとのミキシング処理等に要する時間を予測しておき、予測遅延時間と上位アプリケーションの制御に基づき、インタラクティブ・オーディオ・ストリームとのミキシング処理を行うことも考えられる。しかしながら、この場合でも、特許文献１に記載のオーディオデータミキシング装置では問題が生じる。上位アプリケーションは、プライマリー・オーディオ・ストリームのタイムスタンプを確認し、インタラクティブ・オーディオ・ストリームと同期させる時間に、処理遅延時間を加算して、インタラクティブ・オーディオ・ストリームを再生するタイミングを決定する。処理遅延時間とは、プライマリー・オーディオ・ストリームのデータ入力処理、デコード処理、及び出力処理と、セカンダリー・オーディオ・ストリームのデータ入力処理、デコード処理、及び出力処理と、ミキサーのミキシング時間等とを指す。しかし、各処理時間は一定ではないため、上位アプリケーションはインタラクティブ・オーディオ・ストリームを正確に同期させることができない。
【課題を解決するための手段】
【０００８】
本発明にかかるオーディオ同期方法の一態様は、第１のストリームと第２のストリームとを同期させるためにＬＰＣＭ（Linear Pulse Code Modulation）データに付加できるタグを生成するステップと、前記タグを前記第２のストリームに付加するステップと、前記タグが付加された第２のストリームと同じタイミングで再生すべき第１のストリームに前記タグを付加するステップと、前記第１のストリームに付加されたタグと、前記第２のストリームに付加されたタグとを比較して、一致した場合に前記第１のストリームと前記第２のストリームとをミキシングして出力するステップと、を備えるものである。
【０００９】
本発明にかかるオーディオ同期方法により、第１のストリームと第２のストリームが同期する場合、同じタグを持つことになるため、タグに基づいてストリームをミキシングすることでマルチ・ストリームを正確に同期させることができる。
【発明の効果】
【００１０】
本発明により、マルチ・ストリームの同期を正確に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかるオーディオ同期システムの構成図である。
【図２】実施の形態１にかかるオーディオ同期装置の構成図である。
【図３】実施の形態１にかかるオーディオ同期方法のフローチャートである。
【図４】実施の形態１にかかるオーディオ同期方法のフローチャートである。
【図５】実施の形態１にかかるタグが付されたＬＰＣＭデータの図である。
【図６】従来のオーディオ同期装置の構成図である。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
図１の構成図は、本実施の形態にかかるオーディオ同期システム１００を示す。オーディオ同期システム１００は、オーディオ同期装置１と、オーディオ同期装置１を制御する上位アプリケーション２とを備える。オーディオ同期装置１と、上位アプリケーション２は、光学ヘッド等から読み込まれたＢＤ（ブルーレイ・ディスク）３のデータを入力とする。ＢＤ（ブルーレイ・ディスク）３のデータは、オーディオ同期装置１に入力される際に、プライマリー・オーディオ・ストリームと、セカンダリー・オーディオ・ストリームと、インタラクティブ・オーディオ・ストリームと、に分離されて入力される。
【００１３】
上位アプリケーション２は、プライマリー・オーディオ・ストリーム、及びセカンダリー・オーディオ・ストリームの再生タイミングを制御する。上位アプリケーション２は、プライマリー・オーディオ・ストリーム、及びセカンダリー・オーディオ・ストリームのタイムスタンプ情報を取得することが可能である。さらに、上位アプリケーション２は、インタラクティブ・オーディオ・ストリームの再生タイミングの制御と、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータの設定と、を行う。上位アプリケーションによるインタラクティブ・オーディオ・ストリームの再生タイミングの制御については、動作説明において、その都度説明を行う。
【００１４】
図２の構成図は、本実施の形態にかかるオーディオ同期装置１を示す図である。オーディオ同期装置１は、プライマリー・オーディオ処理部１０と、セカンダリー・オーディオ処理部２０と、インタラクティブ・オーディオ処理部３０と、ミキサーＡ４０と、ミキサーＢ５０とを備える。
【００１５】
プライマリー・オーディオ処理部１０は、バッファ１０１と、デコーダ１０２と、タグ付加処理部１０３と、を備える。プライマリー・オーディオ処理部１０は、パケット化エレメンタリー・ストリームを入力とする。バッファ１０１は、入力されたパケット化エレメンタリー・ストリームを一時的に格納する記憶装置である。
【００１６】
デコーダ１０２は、バッファ１０１から入力されたパケット化・エレメンタリー・ストリームをデコード処理し、ＬＰＣＭデータ（以降では、プライマリー・オーディオＬＰＣＭデータと記載する。）に変換する。デコーダ１０２はデコード処理したプライマリー・オーディオＬＰＣＭデータをタグ付加処理部１０３へ出力する。同時に、デコーダ１０２は、デコード時にパケット化・エレメンタリー・ストリーム内のタイムスタンプを抽出し、抽出したタイムスタンプをタグ付加処理部１０３へ出力する。
【００１７】
タグ付加処理部１０３は、デコーダ１０２からのプライマリー・オーディオＬＰＣＭデータと、タイムスタンプと、上位アプリケーション２からのタイムスタンプと、タグと、を入力とする。
【００１８】
タグ付加処理部１０３は、上位アプリケーション２から入力されたタイムスタンプとデコーダ１０２から入力されたタイムスタンプとを比較する。両者が一致した場合、タグ付加処理部１０３は、上位アプリケーション２から入力されたタイムスタンプに対応するタグをプライマリー・オーディオＬＰＣＭデータに付加し、ミキサーＡ４０へ出力する。両者が一致しない場合、タグ付加処理部１０３は、プライマリー・オーディオＬＰＣＭデータをそのままミキサーＡ４０へ出力する。
【００１９】
セカンダリー・オーディオ処理部２０は、バッファ２０１と、デコーダ２０２と、を備える。セカンダリー・オーディオ処理部２０は、パケット化エレメンタリー・ストリームを入力とする。バッファ２０１は、入力されたパケット化エレメンタリー・ストリームを一時的に格納する記憶装置である。
【００２０】
デコーダ２０２は、バッファ２０１からのパケット化エレメンタリー・ストリームを入力とする。デコーダ２０２は、入力されたパケット化・エレメンタリー・ストリームをデコード処理し、ＬＰＣＭデータ（以降では、セカンダリー・オーディオＬＰＣＭデータと記載する。）に変換する。デコーダ２０２は、セカンダリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。同時に、デコーダ２０２は、デコード時に、パケット化・エレメンタリー・ストリーム内のメタデータを抽出し、メタデータ内に規定されているプライマリー・オーディオ・ストリームの利得値とセカンダリー・オーディオ・ストリームの利得値とをミキサーＡ４０へ出力する。
【００２１】
インタラクティブ・オーディオ処理部３０は、バッファ３０１を備える。上位アプリケーション２は、インタラクティブ・オーディオ処理部３０にインタラクティブ・オーディオＬＰＣＭデータを入力する。このとき、インタラクティブ・オーディオＬＰＣＭデータには、再生タイミングを指示するタグが付加されている。バッファ３０１は、入力されたインタラクティブ・オーディオＬＰＣＭデータを格納する。
【００２２】
ミキサーＡ４０は、上位アプリケーションから入力される利得値と、セカンダリー・オーディオ・ストリームに含まれるプライマリー・オーディオ・ストリームの利得値と、に基づいて、タグ付加処理部１０３から入力されるプライマリー・オーディオＬＰＣＭデータの利得を調整する。また、ミキサーＡ４０は、上位アプリケーション２から入力される利得値と、セカンダリー・オーディオ・ストリームに含まれるセカンダリー・オーディオ・ストリームの利得値とを基に、セカンダリー・オーディオＬＰＣＭデータの利得を調整する。
【００２３】
ミキサーＡ４０は、利得調整を行ったプライマリー・オーディオＬＰＣＭデータと、利得調整を行ったセカンダリー・オーディオＬＰＣＭデータと、をミキシングする。ミキサーＡ４０は、ミキシングしたＬＰＣＭデータをミキサーＢ５０内のタグ分離処理部５０１へ出力する。
【００２４】
ミキサーＢ５０は、タグ分離処理部５０１と、インタラクティブ・オーディオ同期処理部５０２と、ミキシング処理部５０３と、を備える。タグ分離処理部５０１は、ミキサーＡ４０から入力されたＬＰＣＭデータにタグが付加されているか否かを判定する。タグが付加されている場合、タグ分離処理部５０１は、タグとＬＰＣＭデータに分離する。タグ分離処理部５０１は、分離したタグをインタラクティブ・オーディオ同期処理部５０２へ出力する。また、タグ分離処理部５０１は、分離したＬＰＣＭデータをミキシング処理部５０３へ出力する。
【００２５】
インタラクティブ・オーディオ同期処理部５０２は、タグ分離処理部５０１と同様に、バッファ３０１から入力されたインタラクティブ・オーディオＬＰＣＭデータをタグとＬＰＣＭデータとに分離する。続いて、インタラクティブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータから分離したタグと、タグ分離処理部５０１から入力されたタグとを比較する。タグの値が一致した場合、インタラクティブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータをミキシング処理部５０３へ出力する。
【００２６】
ミキシング処理部５０３は、上位アプリケーション２から入力された利得値に基づいて、インタラクティブ・オーディオ同期処理部５０２から入力されたインタラクティブ・オーディオＬＰＣＭデータの利得を調整する。続いて、ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータと、利得が調整されたインタラクティブ・オーディオＬＰＣＭデータと、をミキシングする。ミキシング処理部５０３は、ミキシングしたＬＰＣＭデータを後段の回路に出力する。
【００２７】
続いて、ＬＰＣＭデータに付加するタグについて説明する。マイコンやＤＳＰ（Digital Signal Processor）において、３２ビット単位でのデータ処理が主流となっている。一方、ブルーレイ・ディスク規格に規定されているタイムスタンプのサイズは３３ビットである。そのため、例えば２４ビットのデータ領域を持つＬＰＣＭデータとブルーレイ規格に定められたタイムスタンプとを組み合わせた場合、３２ビット以下とすることができない。しかし、タイムスタンプに対応する任意のビット数のタグを設定することで、３２ビット以下とすることができる。すなわち、２４ビットＬＰＣＭデータの空き領域である８ビットの空きフィールドにタグを付与することにより、３２ビット以下のデータとすることができる。図３は、タグの付加されたＬＰＣＭデータの一例を示す。図３に示すように、タグと、タグを付加したＬＰＣＭデータの合計サイズを３２ビット以下とすることで、マイコンやＤＳＰにおいて、高速な処理が可能となる。なお、ＬＰＣＭデータに付加するタグのサイズや、ＬＰＣＭデータのデータサイズは上述のものに限られない。
【００２８】
上位アプリケーション２は、インタラクティブ・オーディオＬＰＣＭデータを再生するタイミングを指示するタグを生成し、このタグをインタラクティブ・オーディオＬＰＣＭデータに埋め込んでおく。同時に、上位アプリケーション２は、再生するタイミングを表すタイムスタンプとともに、タグをタグ付加処理部１０３に入力する。そして、タグ付加処理部１０３において、タイムスタンプが一致するパケットにタグが付加される。これにより、同じタイミングで再生されるべき、インタラクティブ・オーディオＬＰＣＭデータとプライマリー・オーディオＬＰＣＭデータとには、同じタグが付加される。
【００２９】
次に、本実施の形態のオーディオ・ストリーム同期方法の処理手順を説明する。図４及び図５は、本実施の形態のオーディオ・ストリーム同期方法の処理を示すフローチャートである。
【００３０】
プライマリー・オーディオ処理部１０内のデコーダ１０２は、バッファ１０１からパケット化エレメンタリー・ストリームを取得する（Ｓ１００）。デコーダ１０２はパケット化エレメンタリー・ストリームのデコード処理を行う。デコーダ１０２は、デコード処理により、パケット化・エレメンタリー・ストリームをプライマリー・オーディオＬＰＣＭデータに変換する（Ｓ１０１）。デコーダ１０２は、変換したプライマリー・オーディオＬＰＣＭデータをタグ付加処理部１０３へ出力する。デコーダ１０２はパケット化エレメンタリー・ストリームのタイムスタンプを抽出する（Ｓ１０２）。デコーダ１０２は、抽出したタイムスタンプをタグ付加処理部１０３へ出力する。
【００３１】
この例では、プライマリー・オーディオＬＰＣＭデータへの変換処理（Ｓ１０１）の後に、タイムスタンプの抽出処理（Ｓ１０２）を行ったが、これに限らず、タイムスタンプの抽出処理（Ｓ１０２）の後に、プライマリー・オーディオＬＰＣＭデータへの変換処理（Ｓ１０１）を実行するようにしてもよい。さらにプライマリー・オーディオＬＰＣＭデータへの変換処理（Ｓ１０１）とタイムスタンプの抽出処理（Ｓ１０２）を同時に実行してもよい。
【００３２】
プライマリー・オーディオ・ストリームとインタラクティブ・オーディオ・ストリームを同期させる場合、上位アプリケーション２は、同期するタイミングを示すタイムスタンプと、タイムスタンプに対応するタグとをタグ付加処理部１０３へ入力する（Ｓ１０３）。
【００３３】
タグ付加処理部１０４は、上位アプリケーション２から入力されたタイムスタンプと、デコーダ１０２から入力されたタイムスタンプとを比較する（Ｓ１０４）。タイムスタンプ同士が一致しない場合（Ｓ１０４：Ｎｏ）、タグ付加処理部１０４は、デコーダ１０２から入力されたプライマリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。
【００３４】
一方、タイムスタンプ同士が一致した場合（Ｓ１０４：Ｙｅｓ）、タグ付加処理部１０３は、上位アプリケーション２から入力されたタイムスタンプに対応するタグを、プライマリー・オーディオＬＰＣＭデータに付加する（Ｓ１０５）。その後、タグを付加したプライマリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。
【００３５】
また一方、セカンダリー・オーディオ処理部２０内のデコーダ２０２は、バッファ２０１からパケット化エレメンタリー・ストリームを取得する（Ｓ１０６）。デコーダ２０２は、デコード処理により、パケット化・エレメンタリー・ストリームをセカンダリー・オーディオＬＰＣＭデータに変換する（Ｓ１０７）。デコーダ２０２は、変換したセカンダリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。デコーダ２０２は、入力されたパケット化エレメンタリー・ストリームからメタデータを抽出し、メタデータ内のプライマリー・オーディオ・ストリームの利得値とセカンダリー・オーディオ・ストリームの利得値とをミキサーＡ４０へ出力する（Ｓ１０８）。
【００３６】
この例では、プライマリー・オーディオ処理部１０内での処理（Ｓ１００〜Ｓ１０５）の後に、セカンダリー・オーディオ処理部２０内での処理（Ｓ１０６〜Ｓ１０８）を行ったが、これに限らず、セカンダリー・オーディオ処理部２０内での処理（Ｓ１０６〜Ｓ１０８）の後に、プライマリー・オーディオ処理部１０内での処理（Ｓ１００〜Ｓ１０５）を実行するようにしてもよい。さらに、プライマリー・オーディオ処理部１０内での処理（Ｓ１００〜Ｓ１０５）とセカンダリー・オーディオ処理部２０内での処理（Ｓ１０６〜Ｓ１０８）を同時に実行してもよい。
【００３７】
ミキサーＡ４０は、上位アプリケーション２から入力されたプライマリー・オーディオ・ストリームの利得値とデコーダ２０２から入力された利得値とに基づいて、タグ付加処理部１０３から入力されたプライマリー・オーディオＬＰＣＭデータの利得を調整する（Ｓ１０９）。
【００３８】
ミキサーＡ４０は、上位アプリケーション２から入力されたセカンダリー・オーディオ・ストリームの利得値とデコーダ２０２から入力された利得値とに基づいて、デコーダ２０２から入力されたセカンダリー・オーディオＬＰＣＭデータの利得を調整する（Ｓ１１０）。なお、Ｓ１０９の処理とＳ１１０の処理は、必ずしもこの順序で行われる必要はなく、処理順序が異なってもよい。また、これらの処理は同時に行われてもよい。
【００３９】
ミキサーＡ４０は利得の調整されたプライマリー・オーディオＬＰＣＭデータと、利得の調整されたセカンダリー・オーディオＬＰＣＭデータと、をミキシングする（Ｓ１１１）。ミキサーＡ４０は、ミキシングしたＬＰＣＭデータをミキサーＢ５０内のタグ分離処理部５０１へ出力する。
【００４０】
タグ分離処理部５０１は、入力されたＬＰＣＭデータからタグを分離し、ＬＰＣＭデータのみとタグとに分割する（Ｓ１１２）。タグ分離処理部５０１は、ＬＰＣＭデータをミキシング処理部５０３へ出力する。また、タグ分離処理部５０１は、タグをインタラクティブ・オーディオ同期処理部５０２へ出力する。タグ分離処理部５０１は、入力されたＬＰＣＭデータにタグが付加されていない場合であっても、ＬＰＣＭデータを必ずミキシング処理部５０３へ出力する。
【００４１】
ここで、プライマリー・オーディオ・ストリームとインタラクティブ・オーディオ・ストリームを同期させる場合、上位アプリケーション２は、前述のように同期するタイミングを示すタイムスタンプに対応するタグをタグ付加処理部１０３に入力するが、同じ値を持つタグをインタラクティブ・オーディオＬＰＣＭデータにも付加する。インタラクティブ・ＬＰＣＭデータはバッファ３０１に格納される。バッファ３０１は、インタラクティブ・オーディオ同期処理部５０２へインタラクティブ・オーディオＬＰＣＭデータを出力する。
【００４２】
インタラクティブ・オーディオ同期処理部５０２は、バッファ３０１から入力されたインタラクティブ・オーディオＬＰＣＭデータからタグを分離し（Ｓ１１３）、インタラクティブ・オーディオＬＰＣＭデータのみとタグとに分割する。
【００４３】
インタラクディブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータにタグが付加されているか否かを判定する（Ｓ１１４）。タグが付加されていなかった場合（Ｓ１１４：Ｎｏ）、後述のインタラクティブ・オーディオＬＰＣＭデータの出力処理（Ｓ１１７）に移行する。
【００４４】
インタラクティブ・オーディオＬＰＣＭデータにタグが付加されていた場合（Ｓ１１４：Ｙｅｓ）、インタラクディブ・オーディオ同期処理部５０２は、タグ分離処理部５０１からタグが入力されているか否かを判定する（Ｓ１１５）。タグ分離処理部５０１からタグが入力されていない場合（Ｓ１１５：Ｎｏ）、インタラクディブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータをミキシング処理部５０３へ出力しない。この場合、ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータのみを後段回路に出力する（Ｓ１２１）。
【００４５】
一方、タグ分離処理部５０１からタグが入力されている場合（Ｓ１１５：Ｙｅｓ）、インタラクディブ・オーディオ同期処理部５０２は、タグ分離処理部５０１から入力されたタグの値と、インタラクティブ・オーディオＬＰＣＭデータのタグの値とが一致するか否かを判定する（Ｓ１１６）。
【００４６】
タグ分離処理部５０１から入力されたタグの値と、インタラクティブ・オーディオＬＰＣＭデータのタグの値とが一致しない場合（Ｓ１１６：Ｎｏ）、ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータのみを後段回路に出力する（Ｓ１２１）。
【００４７】
タグ分離処理部５０１から入力されたタグの値と、インタラクティブ・オーディオＬＰＣＭデータのタグの値と、が一致する場合（Ｓ１１６：Ｙｅｓ）、インタラクティブ・オーディオ同期処理部５０２は、ミキシング処理部５０３へインタラクディブ・オーディオＬＰＣＭデータを出力する（Ｓ１１７）。
【００４８】
ミキシング処理部５０３は、上位アプリケーション２から入力された利得値に基づいて、インタラクティブ・オーディオ同期処理部５０２から入力されたインタラクティブＬＰＣＭデータの利得を調整する（Ｓ１１８）。ミキシング処理部５０３は、タグ分離処理部５０１からタグが分離されたＬＰＣＭデータの入力を受け付ける（Ｓ１１９）。
【００４９】
ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータと、利得調整をされたインタラクティブＬＰＣＭデータとをミキシングする。ミキシング処理部５０３は、ミキシングしたＬＰＣＭデータを後段回路に出力する。
【００５０】
上記の処理（Ｓ１００〜Ｓ１２１）の後、入力データがあるか否かを判定し、入力データがない場合、処理を終了する。入力データがある場合、Ｓ１００へ戻り、処理を継続する（Ｓ１２２）。
【００５１】
上記一連の処理により、本実施の形態にかかるオーディオ同期装置は、再生タイミングを指示するタグに基づいて、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームのミキシングデータと、インタラクティブ・オーディオ・ストリームと、ミキシングすることができる。このため、インタラクティブ・オーディオ・ストリームを正確なタイミングで再生することが可能となる。
【００５２】
ストリームデータの再生タイミングを同期させる場合にはタイムスタンプを用いることが一般的であるが、ブルーレイ・ディスクのＬＰＣＭデータには、タイムスタンプを埋め込むことが困難であり、マルチ・ストリームの同期を正確にとることができなかった。この点、本発明では、デコーダが復号化に加えて、ストリームデータのタイムスタンプを抽出し、そのタイムスタンプに基づいて、プライマリー・オーディオ・ストリームにタグを付加している。同様に、上位アプリケーションは、インタラクティブ・オーディオ・ストリームに対してもタグを付加している。ストリームデータにタグを設定することにより、インタラクティブ・オーディオを含むすべてのマルチ・ストリーム間で同期をとることができる。
【００５３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５４】
１０ プライマリー・オーディオ処理部
２０ セカンダリー・オーディオ処理部
３０ インタラクティブ・オーディオ処理部
４０ ミキサーＡ
５０ ミキサーＢ
１０１ バッファ
１０２ デコーダ
１０３ タグ付加処理部
２０１ バッファ
２０２ デコーダ
３０１ バッファ
５０１ タグ分離処理部
５０２ インタラクティブ・オーディオ同期処理部
５０３ ミキシング処理部
【技術分野】
【０００１】
本発明はオーディオ同期装置、オーディオ同期方法に関し、特にマルチ・ストリームに関するオーディオ同期装置、オーディオ同期方法に関する。
【背景技術】
【０００２】
現在、従来のＤＶＤから次世代のブルーレイ・ディスク（BD: Blu-ray Disc）へと市場が急速に移行している。ブルーレイ・ディスクの規格には、複数のオーディオ・ストリーム（以降 マルチ・ストリームとも記載する。）が規定されている。ブルーレイ・ディスクの入力ストリームは、主にムービー・サウンド・トラックを受け持つプライマリー・オーディオ・ストリームと、ピクチャー・イン・ピクチャーのディレクターズ・コメントなどを受け持つセカンダリー・オーディオ・ストリームと、クリック音に代表される効果音を受け持つインタラクティブ・オーディオ・ストリームと、から構成される。近年、プライマリー・オーディオ・ストリームやセカンダリー・オーディオ・ストリームだけでなく、インタラクティブ・オーディオ・ストリームを利用したブルーレイ・ディスクのコンテンツが多く販売されている。そのため、インタラクティブ・オーディオ・ストリームの使用方法は多様化してきている。
【０００３】
マルチ・ストリームはミキシングされた上で利用される。特許文献１は、マルチ・ストリームをミキシングする技術を開示している。図６の構成図は、特許文献１に記載のオーディオデータミキシング装置の構成を示す図である。特許文献１に記載オーディオデータミキシング装置は、デコードとミキシングとをそれぞれ行うために、一対のオーディオ・デコーダＤ１ ３２０ａ及びＤ２ ３２０ｂと、一対のオーディオ・ミキサーＭ１ ３３０ａ及びＭ２ ３３０ｂとを含む。このオーディオデータミキシング装置は、プライマリー・オーディオ・ストリームと、セカンダリー・オーディオ・ストリームと、をミキシングパラメータＰ１、及びＰ２に基づいてミキシングする。その後、ミキシングされたデータとインタラクティブ・オーディオ・ストリームとをミキシングパラメータＰ３に基づいてミキシングする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５４７１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のオーディオデータミキシング装置では、インタラクティブ・オーディオ・ストリームと、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとのミキシングデータと、が正確に同期できないという問題がある。以下に詳細を記載する。
【０００６】
特許文献１に記載のオーディオデータミキシング装置は、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとを、パケット化エレメンタリー・ストリーム（PES: Packetized Elementary Stream）内にあるタイムスタンプに基づいて同期する。パケット化エレメンタリー・ストリームとは、ストリームデータを適当な大きさのデータに分割し、パケット化したものである。その後、オーディオデータミキシング装置は、同期化されたストリームに対し、デコード処理を行い、ＬＰＣＭ（Linear Pulse Code Modulation）データに変換する。続いて、オーディオデータミキシング装置は、ミキシングされたＬＰＣＭデータと、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータと、をミキシングする。このとき、ＬＰＣＭデータにはタイムスタンプ情報が存在しないが、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームと、はすでに同期させているため、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとを同期させた状態でミキシングすることができる。さらに、ミキシングされたＬＰＣＭデータと、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータとをミキシングする必要がある。しかし、ＬＰＣＭデータ内には、タイムスタンプ情報がないため、オーディオデータミキシング装置は、ミキシングされたＬＰＣＭデータと、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータとを同期することができない。
【０００７】
ここで、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームとのミキシング処理等に要する時間を予測しておき、予測遅延時間と上位アプリケーションの制御に基づき、インタラクティブ・オーディオ・ストリームとのミキシング処理を行うことも考えられる。しかしながら、この場合でも、特許文献１に記載のオーディオデータミキシング装置では問題が生じる。上位アプリケーションは、プライマリー・オーディオ・ストリームのタイムスタンプを確認し、インタラクティブ・オーディオ・ストリームと同期させる時間に、処理遅延時間を加算して、インタラクティブ・オーディオ・ストリームを再生するタイミングを決定する。処理遅延時間とは、プライマリー・オーディオ・ストリームのデータ入力処理、デコード処理、及び出力処理と、セカンダリー・オーディオ・ストリームのデータ入力処理、デコード処理、及び出力処理と、ミキサーのミキシング時間等とを指す。しかし、各処理時間は一定ではないため、上位アプリケーションはインタラクティブ・オーディオ・ストリームを正確に同期させることができない。
【課題を解決するための手段】
【０００８】
本発明にかかるオーディオ同期方法の一態様は、第１のストリームと第２のストリームとを同期させるためにＬＰＣＭ（Linear Pulse Code Modulation）データに付加できるタグを生成するステップと、前記タグを前記第２のストリームに付加するステップと、前記タグが付加された第２のストリームと同じタイミングで再生すべき第１のストリームに前記タグを付加するステップと、前記第１のストリームに付加されたタグと、前記第２のストリームに付加されたタグとを比較して、一致した場合に前記第１のストリームと前記第２のストリームとをミキシングして出力するステップと、を備えるものである。
【０００９】
本発明にかかるオーディオ同期方法により、第１のストリームと第２のストリームが同期する場合、同じタグを持つことになるため、タグに基づいてストリームをミキシングすることでマルチ・ストリームを正確に同期させることができる。
【発明の効果】
【００１０】
本発明により、マルチ・ストリームの同期を正確に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかるオーディオ同期システムの構成図である。
【図２】実施の形態１にかかるオーディオ同期装置の構成図である。
【図３】実施の形態１にかかるオーディオ同期方法のフローチャートである。
【図４】実施の形態１にかかるオーディオ同期方法のフローチャートである。
【図５】実施の形態１にかかるタグが付されたＬＰＣＭデータの図である。
【図６】従来のオーディオ同期装置の構成図である。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
図１の構成図は、本実施の形態にかかるオーディオ同期システム１００を示す。オーディオ同期システム１００は、オーディオ同期装置１と、オーディオ同期装置１を制御する上位アプリケーション２とを備える。オーディオ同期装置１と、上位アプリケーション２は、光学ヘッド等から読み込まれたＢＤ（ブルーレイ・ディスク）３のデータを入力とする。ＢＤ（ブルーレイ・ディスク）３のデータは、オーディオ同期装置１に入力される際に、プライマリー・オーディオ・ストリームと、セカンダリー・オーディオ・ストリームと、インタラクティブ・オーディオ・ストリームと、に分離されて入力される。
【００１３】
上位アプリケーション２は、プライマリー・オーディオ・ストリーム、及びセカンダリー・オーディオ・ストリームの再生タイミングを制御する。上位アプリケーション２は、プライマリー・オーディオ・ストリーム、及びセカンダリー・オーディオ・ストリームのタイムスタンプ情報を取得することが可能である。さらに、上位アプリケーション２は、インタラクティブ・オーディオ・ストリームの再生タイミングの制御と、インタラクティブ・オーディオ・ストリームのＬＰＣＭデータの設定と、を行う。上位アプリケーションによるインタラクティブ・オーディオ・ストリームの再生タイミングの制御については、動作説明において、その都度説明を行う。
【００１４】
図２の構成図は、本実施の形態にかかるオーディオ同期装置１を示す図である。オーディオ同期装置１は、プライマリー・オーディオ処理部１０と、セカンダリー・オーディオ処理部２０と、インタラクティブ・オーディオ処理部３０と、ミキサーＡ４０と、ミキサーＢ５０とを備える。
【００１５】
プライマリー・オーディオ処理部１０は、バッファ１０１と、デコーダ１０２と、タグ付加処理部１０３と、を備える。プライマリー・オーディオ処理部１０は、パケット化エレメンタリー・ストリームを入力とする。バッファ１０１は、入力されたパケット化エレメンタリー・ストリームを一時的に格納する記憶装置である。
【００１６】
デコーダ１０２は、バッファ１０１から入力されたパケット化・エレメンタリー・ストリームをデコード処理し、ＬＰＣＭデータ（以降では、プライマリー・オーディオＬＰＣＭデータと記載する。）に変換する。デコーダ１０２はデコード処理したプライマリー・オーディオＬＰＣＭデータをタグ付加処理部１０３へ出力する。同時に、デコーダ１０２は、デコード時にパケット化・エレメンタリー・ストリーム内のタイムスタンプを抽出し、抽出したタイムスタンプをタグ付加処理部１０３へ出力する。
【００１７】
タグ付加処理部１０３は、デコーダ１０２からのプライマリー・オーディオＬＰＣＭデータと、タイムスタンプと、上位アプリケーション２からのタイムスタンプと、タグと、を入力とする。
【００１８】
タグ付加処理部１０３は、上位アプリケーション２から入力されたタイムスタンプとデコーダ１０２から入力されたタイムスタンプとを比較する。両者が一致した場合、タグ付加処理部１０３は、上位アプリケーション２から入力されたタイムスタンプに対応するタグをプライマリー・オーディオＬＰＣＭデータに付加し、ミキサーＡ４０へ出力する。両者が一致しない場合、タグ付加処理部１０３は、プライマリー・オーディオＬＰＣＭデータをそのままミキサーＡ４０へ出力する。
【００１９】
セカンダリー・オーディオ処理部２０は、バッファ２０１と、デコーダ２０２と、を備える。セカンダリー・オーディオ処理部２０は、パケット化エレメンタリー・ストリームを入力とする。バッファ２０１は、入力されたパケット化エレメンタリー・ストリームを一時的に格納する記憶装置である。
【００２０】
デコーダ２０２は、バッファ２０１からのパケット化エレメンタリー・ストリームを入力とする。デコーダ２０２は、入力されたパケット化・エレメンタリー・ストリームをデコード処理し、ＬＰＣＭデータ（以降では、セカンダリー・オーディオＬＰＣＭデータと記載する。）に変換する。デコーダ２０２は、セカンダリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。同時に、デコーダ２０２は、デコード時に、パケット化・エレメンタリー・ストリーム内のメタデータを抽出し、メタデータ内に規定されているプライマリー・オーディオ・ストリームの利得値とセカンダリー・オーディオ・ストリームの利得値とをミキサーＡ４０へ出力する。
【００２１】
インタラクティブ・オーディオ処理部３０は、バッファ３０１を備える。上位アプリケーション２は、インタラクティブ・オーディオ処理部３０にインタラクティブ・オーディオＬＰＣＭデータを入力する。このとき、インタラクティブ・オーディオＬＰＣＭデータには、再生タイミングを指示するタグが付加されている。バッファ３０１は、入力されたインタラクティブ・オーディオＬＰＣＭデータを格納する。
【００２２】
ミキサーＡ４０は、上位アプリケーションから入力される利得値と、セカンダリー・オーディオ・ストリームに含まれるプライマリー・オーディオ・ストリームの利得値と、に基づいて、タグ付加処理部１０３から入力されるプライマリー・オーディオＬＰＣＭデータの利得を調整する。また、ミキサーＡ４０は、上位アプリケーション２から入力される利得値と、セカンダリー・オーディオ・ストリームに含まれるセカンダリー・オーディオ・ストリームの利得値とを基に、セカンダリー・オーディオＬＰＣＭデータの利得を調整する。
【００２３】
ミキサーＡ４０は、利得調整を行ったプライマリー・オーディオＬＰＣＭデータと、利得調整を行ったセカンダリー・オーディオＬＰＣＭデータと、をミキシングする。ミキサーＡ４０は、ミキシングしたＬＰＣＭデータをミキサーＢ５０内のタグ分離処理部５０１へ出力する。
【００２４】
ミキサーＢ５０は、タグ分離処理部５０１と、インタラクティブ・オーディオ同期処理部５０２と、ミキシング処理部５０３と、を備える。タグ分離処理部５０１は、ミキサーＡ４０から入力されたＬＰＣＭデータにタグが付加されているか否かを判定する。タグが付加されている場合、タグ分離処理部５０１は、タグとＬＰＣＭデータに分離する。タグ分離処理部５０１は、分離したタグをインタラクティブ・オーディオ同期処理部５０２へ出力する。また、タグ分離処理部５０１は、分離したＬＰＣＭデータをミキシング処理部５０３へ出力する。
【００２５】
インタラクティブ・オーディオ同期処理部５０２は、タグ分離処理部５０１と同様に、バッファ３０１から入力されたインタラクティブ・オーディオＬＰＣＭデータをタグとＬＰＣＭデータとに分離する。続いて、インタラクティブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータから分離したタグと、タグ分離処理部５０１から入力されたタグとを比較する。タグの値が一致した場合、インタラクティブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータをミキシング処理部５０３へ出力する。
【００２６】
ミキシング処理部５０３は、上位アプリケーション２から入力された利得値に基づいて、インタラクティブ・オーディオ同期処理部５０２から入力されたインタラクティブ・オーディオＬＰＣＭデータの利得を調整する。続いて、ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータと、利得が調整されたインタラクティブ・オーディオＬＰＣＭデータと、をミキシングする。ミキシング処理部５０３は、ミキシングしたＬＰＣＭデータを後段の回路に出力する。
【００２７】
続いて、ＬＰＣＭデータに付加するタグについて説明する。マイコンやＤＳＰ（Digital Signal Processor）において、３２ビット単位でのデータ処理が主流となっている。一方、ブルーレイ・ディスク規格に規定されているタイムスタンプのサイズは３３ビットである。そのため、例えば２４ビットのデータ領域を持つＬＰＣＭデータとブルーレイ規格に定められたタイムスタンプとを組み合わせた場合、３２ビット以下とすることができない。しかし、タイムスタンプに対応する任意のビット数のタグを設定することで、３２ビット以下とすることができる。すなわち、２４ビットＬＰＣＭデータの空き領域である８ビットの空きフィールドにタグを付与することにより、３２ビット以下のデータとすることができる。図３は、タグの付加されたＬＰＣＭデータの一例を示す。図３に示すように、タグと、タグを付加したＬＰＣＭデータの合計サイズを３２ビット以下とすることで、マイコンやＤＳＰにおいて、高速な処理が可能となる。なお、ＬＰＣＭデータに付加するタグのサイズや、ＬＰＣＭデータのデータサイズは上述のものに限られない。
【００２８】
上位アプリケーション２は、インタラクティブ・オーディオＬＰＣＭデータを再生するタイミングを指示するタグを生成し、このタグをインタラクティブ・オーディオＬＰＣＭデータに埋め込んでおく。同時に、上位アプリケーション２は、再生するタイミングを表すタイムスタンプとともに、タグをタグ付加処理部１０３に入力する。そして、タグ付加処理部１０３において、タイムスタンプが一致するパケットにタグが付加される。これにより、同じタイミングで再生されるべき、インタラクティブ・オーディオＬＰＣＭデータとプライマリー・オーディオＬＰＣＭデータとには、同じタグが付加される。
【００２９】
次に、本実施の形態のオーディオ・ストリーム同期方法の処理手順を説明する。図４及び図５は、本実施の形態のオーディオ・ストリーム同期方法の処理を示すフローチャートである。
【００３０】
プライマリー・オーディオ処理部１０内のデコーダ１０２は、バッファ１０１からパケット化エレメンタリー・ストリームを取得する（Ｓ１００）。デコーダ１０２はパケット化エレメンタリー・ストリームのデコード処理を行う。デコーダ１０２は、デコード処理により、パケット化・エレメンタリー・ストリームをプライマリー・オーディオＬＰＣＭデータに変換する（Ｓ１０１）。デコーダ１０２は、変換したプライマリー・オーディオＬＰＣＭデータをタグ付加処理部１０３へ出力する。デコーダ１０２はパケット化エレメンタリー・ストリームのタイムスタンプを抽出する（Ｓ１０２）。デコーダ１０２は、抽出したタイムスタンプをタグ付加処理部１０３へ出力する。
【００３１】
この例では、プライマリー・オーディオＬＰＣＭデータへの変換処理（Ｓ１０１）の後に、タイムスタンプの抽出処理（Ｓ１０２）を行ったが、これに限らず、タイムスタンプの抽出処理（Ｓ１０２）の後に、プライマリー・オーディオＬＰＣＭデータへの変換処理（Ｓ１０１）を実行するようにしてもよい。さらにプライマリー・オーディオＬＰＣＭデータへの変換処理（Ｓ１０１）とタイムスタンプの抽出処理（Ｓ１０２）を同時に実行してもよい。
【００３２】
プライマリー・オーディオ・ストリームとインタラクティブ・オーディオ・ストリームを同期させる場合、上位アプリケーション２は、同期するタイミングを示すタイムスタンプと、タイムスタンプに対応するタグとをタグ付加処理部１０３へ入力する（Ｓ１０３）。
【００３３】
タグ付加処理部１０４は、上位アプリケーション２から入力されたタイムスタンプと、デコーダ１０２から入力されたタイムスタンプとを比較する（Ｓ１０４）。タイムスタンプ同士が一致しない場合（Ｓ１０４：Ｎｏ）、タグ付加処理部１０４は、デコーダ１０２から入力されたプライマリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。
【００３４】
一方、タイムスタンプ同士が一致した場合（Ｓ１０４：Ｙｅｓ）、タグ付加処理部１０３は、上位アプリケーション２から入力されたタイムスタンプに対応するタグを、プライマリー・オーディオＬＰＣＭデータに付加する（Ｓ１０５）。その後、タグを付加したプライマリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。
【００３５】
また一方、セカンダリー・オーディオ処理部２０内のデコーダ２０２は、バッファ２０１からパケット化エレメンタリー・ストリームを取得する（Ｓ１０６）。デコーダ２０２は、デコード処理により、パケット化・エレメンタリー・ストリームをセカンダリー・オーディオＬＰＣＭデータに変換する（Ｓ１０７）。デコーダ２０２は、変換したセカンダリー・オーディオＬＰＣＭデータをミキサーＡ４０へ出力する。デコーダ２０２は、入力されたパケット化エレメンタリー・ストリームからメタデータを抽出し、メタデータ内のプライマリー・オーディオ・ストリームの利得値とセカンダリー・オーディオ・ストリームの利得値とをミキサーＡ４０へ出力する（Ｓ１０８）。
【００３６】
この例では、プライマリー・オーディオ処理部１０内での処理（Ｓ１００〜Ｓ１０５）の後に、セカンダリー・オーディオ処理部２０内での処理（Ｓ１０６〜Ｓ１０８）を行ったが、これに限らず、セカンダリー・オーディオ処理部２０内での処理（Ｓ１０６〜Ｓ１０８）の後に、プライマリー・オーディオ処理部１０内での処理（Ｓ１００〜Ｓ１０５）を実行するようにしてもよい。さらに、プライマリー・オーディオ処理部１０内での処理（Ｓ１００〜Ｓ１０５）とセカンダリー・オーディオ処理部２０内での処理（Ｓ１０６〜Ｓ１０８）を同時に実行してもよい。
【００３７】
ミキサーＡ４０は、上位アプリケーション２から入力されたプライマリー・オーディオ・ストリームの利得値とデコーダ２０２から入力された利得値とに基づいて、タグ付加処理部１０３から入力されたプライマリー・オーディオＬＰＣＭデータの利得を調整する（Ｓ１０９）。
【００３８】
ミキサーＡ４０は、上位アプリケーション２から入力されたセカンダリー・オーディオ・ストリームの利得値とデコーダ２０２から入力された利得値とに基づいて、デコーダ２０２から入力されたセカンダリー・オーディオＬＰＣＭデータの利得を調整する（Ｓ１１０）。なお、Ｓ１０９の処理とＳ１１０の処理は、必ずしもこの順序で行われる必要はなく、処理順序が異なってもよい。また、これらの処理は同時に行われてもよい。
【００３９】
ミキサーＡ４０は利得の調整されたプライマリー・オーディオＬＰＣＭデータと、利得の調整されたセカンダリー・オーディオＬＰＣＭデータと、をミキシングする（Ｓ１１１）。ミキサーＡ４０は、ミキシングしたＬＰＣＭデータをミキサーＢ５０内のタグ分離処理部５０１へ出力する。
【００４０】
タグ分離処理部５０１は、入力されたＬＰＣＭデータからタグを分離し、ＬＰＣＭデータのみとタグとに分割する（Ｓ１１２）。タグ分離処理部５０１は、ＬＰＣＭデータをミキシング処理部５０３へ出力する。また、タグ分離処理部５０１は、タグをインタラクティブ・オーディオ同期処理部５０２へ出力する。タグ分離処理部５０１は、入力されたＬＰＣＭデータにタグが付加されていない場合であっても、ＬＰＣＭデータを必ずミキシング処理部５０３へ出力する。
【００４１】
ここで、プライマリー・オーディオ・ストリームとインタラクティブ・オーディオ・ストリームを同期させる場合、上位アプリケーション２は、前述のように同期するタイミングを示すタイムスタンプに対応するタグをタグ付加処理部１０３に入力するが、同じ値を持つタグをインタラクティブ・オーディオＬＰＣＭデータにも付加する。インタラクティブ・ＬＰＣＭデータはバッファ３０１に格納される。バッファ３０１は、インタラクティブ・オーディオ同期処理部５０２へインタラクティブ・オーディオＬＰＣＭデータを出力する。
【００４２】
インタラクティブ・オーディオ同期処理部５０２は、バッファ３０１から入力されたインタラクティブ・オーディオＬＰＣＭデータからタグを分離し（Ｓ１１３）、インタラクティブ・オーディオＬＰＣＭデータのみとタグとに分割する。
【００４３】
インタラクディブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータにタグが付加されているか否かを判定する（Ｓ１１４）。タグが付加されていなかった場合（Ｓ１１４：Ｎｏ）、後述のインタラクティブ・オーディオＬＰＣＭデータの出力処理（Ｓ１１７）に移行する。
【００４４】
インタラクティブ・オーディオＬＰＣＭデータにタグが付加されていた場合（Ｓ１１４：Ｙｅｓ）、インタラクディブ・オーディオ同期処理部５０２は、タグ分離処理部５０１からタグが入力されているか否かを判定する（Ｓ１１５）。タグ分離処理部５０１からタグが入力されていない場合（Ｓ１１５：Ｎｏ）、インタラクディブ・オーディオ同期処理部５０２は、インタラクティブ・オーディオＬＰＣＭデータをミキシング処理部５０３へ出力しない。この場合、ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータのみを後段回路に出力する（Ｓ１２１）。
【００４５】
一方、タグ分離処理部５０１からタグが入力されている場合（Ｓ１１５：Ｙｅｓ）、インタラクディブ・オーディオ同期処理部５０２は、タグ分離処理部５０１から入力されたタグの値と、インタラクティブ・オーディオＬＰＣＭデータのタグの値とが一致するか否かを判定する（Ｓ１１６）。
【００４６】
タグ分離処理部５０１から入力されたタグの値と、インタラクティブ・オーディオＬＰＣＭデータのタグの値とが一致しない場合（Ｓ１１６：Ｎｏ）、ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータのみを後段回路に出力する（Ｓ１２１）。
【００４７】
タグ分離処理部５０１から入力されたタグの値と、インタラクティブ・オーディオＬＰＣＭデータのタグの値と、が一致する場合（Ｓ１１６：Ｙｅｓ）、インタラクティブ・オーディオ同期処理部５０２は、ミキシング処理部５０３へインタラクディブ・オーディオＬＰＣＭデータを出力する（Ｓ１１７）。
【００４８】
ミキシング処理部５０３は、上位アプリケーション２から入力された利得値に基づいて、インタラクティブ・オーディオ同期処理部５０２から入力されたインタラクティブＬＰＣＭデータの利得を調整する（Ｓ１１８）。ミキシング処理部５０３は、タグ分離処理部５０１からタグが分離されたＬＰＣＭデータの入力を受け付ける（Ｓ１１９）。
【００４９】
ミキシング処理部５０３は、タグ分離処理部５０１から入力されたＬＰＣＭデータと、利得調整をされたインタラクティブＬＰＣＭデータとをミキシングする。ミキシング処理部５０３は、ミキシングしたＬＰＣＭデータを後段回路に出力する。
【００５０】
上記の処理（Ｓ１００〜Ｓ１２１）の後、入力データがあるか否かを判定し、入力データがない場合、処理を終了する。入力データがある場合、Ｓ１００へ戻り、処理を継続する（Ｓ１２２）。
【００５１】
上記一連の処理により、本実施の形態にかかるオーディオ同期装置は、再生タイミングを指示するタグに基づいて、プライマリー・オーディオ・ストリームとセカンダリー・オーディオ・ストリームのミキシングデータと、インタラクティブ・オーディオ・ストリームと、ミキシングすることができる。このため、インタラクティブ・オーディオ・ストリームを正確なタイミングで再生することが可能となる。
【００５２】
ストリームデータの再生タイミングを同期させる場合にはタイムスタンプを用いることが一般的であるが、ブルーレイ・ディスクのＬＰＣＭデータには、タイムスタンプを埋め込むことが困難であり、マルチ・ストリームの同期を正確にとることができなかった。この点、本発明では、デコーダが復号化に加えて、ストリームデータのタイムスタンプを抽出し、そのタイムスタンプに基づいて、プライマリー・オーディオ・ストリームにタグを付加している。同様に、上位アプリケーションは、インタラクティブ・オーディオ・ストリームに対してもタグを付加している。ストリームデータにタグを設定することにより、インタラクティブ・オーディオを含むすべてのマルチ・ストリーム間で同期をとることができる。
【００５３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５４】
１０ プライマリー・オーディオ処理部
２０ セカンダリー・オーディオ処理部
３０ インタラクティブ・オーディオ処理部
４０ ミキサーＡ
５０ ミキサーＢ
１０１ バッファ
１０２ デコーダ
１０３ タグ付加処理部
２０１ バッファ
２０２ デコーダ
３０１ バッファ
５０１ タグ分離処理部
５０２ インタラクティブ・オーディオ同期処理部
５０３ ミキシング処理部
【特許請求の範囲】
【請求項１】
第１のストリームと第２のストリームとを同期させるためにＬＰＣＭ（Linear Pulse Code Modulation）データに付加できる第１のタグと第２のタグとを生成するステップと、
前記第２のタグを前記第２のストリームに付加するステップと、
前記第１のストリームに、前記第１のストリームのタイムスタンプに基づいて前記第１のタグを付加するステップと、
前記第１のストリームに付加された第１のタグと、前記第２のストリームに付加された第２のタグとを比較して、一致した場合に前記第１のストリームと前記第２のストリームとをミキシングして出力するステップと、を備えるオーディオ同期方法。
【請求項２】
前記第１のストリームは、プライマリー・オーディオのストリームデータ、セカンダリー・オーディオのストリームデータ、または、プライマリー・オーディオのストリームデータとセカンダリー・オーディオのストリームデータとをミキシングしたストリームデータであり、前記第２のストリームは、インタラクティブ・オーディオのストリームデータであることを特徴とする請求項１に記載のオーディオ同期方法。
【請求項３】
前記第１のタグ、及び第２のタグのデータは８ビット以下であり、前記タグを付加されるストリームのデータは２４ビットであることを特徴とする請求項１または請求項２に記載のオーディオ同期方法。
【請求項４】
第１のストリームと、第２のストリームとを同期処理するオーディオ同期装置であって、
前記第１のストリームと第１のタグが入力され、前記第１のストリームのタイムスタンプに基づいて前記第１のストリームに前記第１のタグを付加して出力するタグ付加処理部と、
前記第１のタグが付加された第１のストリームと前記第２のストリームが入力され、前記第１のタグと、前記第２のストリームに含まれる第２のタグとが一致する場合に前記第１のストリームと前記第２のストリームとをミキシングするミキサーと、を備えるオーディオ同期装置。
【請求項５】
前記ミキサーは、前記第１のストリームに付加された第１のタグを抽出するタグ分離処理部と、
前記第１のストリームに付加された第１のタグと、前記第２のストリームに付加された第２のタグとを比較するオーディオ同期処理部と、
前記オーディオ同期処理部による比較に基づき、タグが一致する場合に前記第１のストリームと前記第２のストリームとをミキシングして出力するミキシング処理部と、を備える請求項４に記載のオーディオ同期装置。
【請求項６】
前記第１のストリームは、プライマリー・オーディオのストリームデータ、セカンダリー・オーディオのストリームデータ、または、プライマリー・オーディオのストリームデータとセカンダリー・オーディオのストリームデータとをミキシングしたストリームデータであり、前記第２のストリームは、インタラクティブ・オーディオのストリームデータであることを特徴とする請求項４または請求項５に記載のオーディオ同期装置。
【請求項７】
前記第１のタグ、及び第２のタグのデータは８ビット以下であり、前記タグを付加されるストリームのデータは２４ビットであることを特徴とする請求項４から請求項６のいずれかの一に記載のオーディオ同期装置。
【請求項８】
前記第１のストリームから前記タイムスタンプを抽出するデコーダを備える、請求項４から請求項７のいずれかの一に記載のオーディオ同期装置。
【請求項９】
請求項４から請求項８のいずれかの一に記載のオーディオ同期装置と、
前記第１のストリームと前記第２のストリームとを同期させるための前記第１のタグと前記第２のタグと、を生成し、前記第２のタグを前記第２のストリームに付加するとともに、前記第１のタグの再生タイミングを示すタイムスタンプと、前記第１のタグとを前記オーディオ同期装置に出力する上位アプリケーションと、を備えるオーディオ同期システム。
【請求項１】
第１のストリームと第２のストリームとを同期させるためにＬＰＣＭ（Linear Pulse Code Modulation）データに付加できる第１のタグと第２のタグとを生成するステップと、
前記第２のタグを前記第２のストリームに付加するステップと、
前記第１のストリームに、前記第１のストリームのタイムスタンプに基づいて前記第１のタグを付加するステップと、
前記第１のストリームに付加された第１のタグと、前記第２のストリームに付加された第２のタグとを比較して、一致した場合に前記第１のストリームと前記第２のストリームとをミキシングして出力するステップと、を備えるオーディオ同期方法。
【請求項２】
前記第１のストリームは、プライマリー・オーディオのストリームデータ、セカンダリー・オーディオのストリームデータ、または、プライマリー・オーディオのストリームデータとセカンダリー・オーディオのストリームデータとをミキシングしたストリームデータであり、前記第２のストリームは、インタラクティブ・オーディオのストリームデータであることを特徴とする請求項１に記載のオーディオ同期方法。
【請求項３】
前記第１のタグ、及び第２のタグのデータは８ビット以下であり、前記タグを付加されるストリームのデータは２４ビットであることを特徴とする請求項１または請求項２に記載のオーディオ同期方法。
【請求項４】
第１のストリームと、第２のストリームとを同期処理するオーディオ同期装置であって、
前記第１のストリームと第１のタグが入力され、前記第１のストリームのタイムスタンプに基づいて前記第１のストリームに前記第１のタグを付加して出力するタグ付加処理部と、
前記第１のタグが付加された第１のストリームと前記第２のストリームが入力され、前記第１のタグと、前記第２のストリームに含まれる第２のタグとが一致する場合に前記第１のストリームと前記第２のストリームとをミキシングするミキサーと、を備えるオーディオ同期装置。
【請求項５】
前記ミキサーは、前記第１のストリームに付加された第１のタグを抽出するタグ分離処理部と、
前記第１のストリームに付加された第１のタグと、前記第２のストリームに付加された第２のタグとを比較するオーディオ同期処理部と、
前記オーディオ同期処理部による比較に基づき、タグが一致する場合に前記第１のストリームと前記第２のストリームとをミキシングして出力するミキシング処理部と、を備える請求項４に記載のオーディオ同期装置。
【請求項６】
前記第１のストリームは、プライマリー・オーディオのストリームデータ、セカンダリー・オーディオのストリームデータ、または、プライマリー・オーディオのストリームデータとセカンダリー・オーディオのストリームデータとをミキシングしたストリームデータであり、前記第２のストリームは、インタラクティブ・オーディオのストリームデータであることを特徴とする請求項４または請求項５に記載のオーディオ同期装置。
【請求項７】
前記第１のタグ、及び第２のタグのデータは８ビット以下であり、前記タグを付加されるストリームのデータは２４ビットであることを特徴とする請求項４から請求項６のいずれかの一に記載のオーディオ同期装置。
【請求項８】
前記第１のストリームから前記タイムスタンプを抽出するデコーダを備える、請求項４から請求項７のいずれかの一に記載のオーディオ同期装置。
【請求項９】
請求項４から請求項８のいずれかの一に記載のオーディオ同期装置と、
前記第１のストリームと前記第２のストリームとを同期させるための前記第１のタグと前記第２のタグと、を生成し、前記第２のタグを前記第２のストリームに付加するとともに、前記第１のタグの再生タイミングを示すタイムスタンプと、前記第１のタグとを前記オーディオ同期装置に出力する上位アプリケーションと、を備えるオーディオ同期システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−８８４７（Ｐ２０１１−８８４７Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１４９６０８（Ｐ２００９−１４９６０８）
【出願日】平成２１年６月２４日（２００９．６．２４）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２４日（２００９．６．２４）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]