音声再生装置
本発明は、複数のデジタルの音声信号を同期させて再生する音声再生装置を提供する。 音声再生装置は、一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接するオーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、複数の音声信号を同期させる同期設定部１１と、上記時間軸の上に割り当てられた複数のオーディオ再生時刻情報を利用して、複数の音声信号を合成する音声合成部６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化されたデジタルの音声信号を再生する音声再生装置に関する。
【背景技術】
【０００２】
近年、ＣＤ−ＲＯＭや、ＤＶＤ−ＲＯＭ、ハードディスク等の各種記録媒体に圧縮されて記録されたデジタルのオーディオ信号及びビデオ信号を読み取って伸張し、伸張した信号を、自らに接続されているディスプレイ及びスピーカ等を通じて再生する再生装置が広く普及してきている。
【０００３】
また、ＢＳデジタル放送、ＣＳデジタル放送、地上デジタル放送等の圧縮されたデジタルのオーディオ信号及びビデオ信号を、記録して再生する装置も普及してきた。
【０００４】
オーディオ信号及びビデオ信号をデジタル信号に符号化して圧縮し、その後にその信号を復号するための既知の規格として、ＭＰＥＧが知られている。ＭＰＥＧでは、多重化されて圧縮符号化されたオーディオ信号とビデオ信号とをデコードした後にオーディオ信号とビデオ信号とを同期させて再生するために、オーディオ信号及びビデオ信号それぞれは、符号時に、信号の再生及び表示を実行する時刻の情報（以下、「時刻情報」という。）が付加されて圧縮される。これにより、圧縮符号化されたデジタルのオーディオ信号及びビデオ信号を伸張する場合、再生装置は、自身が有するシステム時刻基準参照値を基準にし、時刻情報を参照してオーディオ信号とビデオ信号とを同期させながら再生する。
【０００５】
以下に、従来の再生方法について説明する。なお、出願人は、特許文献１に開示されている画像及び音声の再生方法を認識しており、本発明の課題を明確にするために、特許文献１に開示されている再生方法を従来例として簡単に説明する。その方法では、撮影時のアングルが異なる第１及び第２の画像を再生するために、各々のアングルに対応するビデオ信号を別々の動画像復号手段に入力して復号し、別々に復号された画像を結合して一つの画面に表示する。オーディオ信号についても、同様にして、複数のオーディオ信号を別々の音声復号手段で同時に復号して再生する。
【０００６】
以下に、従来の音声の再生方法について図１を用いて説明する。図１は、その再生方法を行なうデュアルオーディオデコーダ１８３の構成を示すブロック図である。図１を参照して、デュアルオーディオデコーダ１８３の具体的な構成を説明する。デュアルオーディオデコーダ１８３には、第１のオーディオデコーダ１８３ａ及び第２のオーディオデコーダ１８３ｂと、第１の音声選択回路１８３ｃ及び第２の音声選択回路１８３ｄとが設けられている。例えば、日本語と英語の２つのオーディオ信号を同時に再生する場合、日本語音声の信号である第１のオーディオ信号は第１のオーディオデコーダ１８３ａに入力され、そこでデコードされる。それと同時に、英語音声の信号である第２のオーディオ信号は第２のオーディオデコーダ１８３ｂに入力され、そこでデコードされる。
【０００７】
これらデコードされた第１及び第２のオーディオ信号は、第１の音声選択回路１８３ｃ及び第２の音声選択回路１８３ｄによって処理される。例えば、音声の出力チャンネルが左右１チャンネルずつである場合、第１及び第２のオーディオ信号は、それぞれがモノラルで１チャンネルずつ出力するように処理される。又は、第１及び第２の何れか一方のみのオーディオ信号が２チャンネルステレオで出力するように処理される。また、音声の出力チャンネルが左右１チャンネルずつよりも多い場合、第１及び第２のオーディオ信号は、ステレオとモノラルの組み合わせ等で出力するように処理される。
【０００８】
更に、ドルビーデジタル方式の５＋１チャンネル構成のオーディオデータについては、第１の音声選択回路１８３ｃ及び第２の音声選択回路１８３ｄは、出力可能な５＋１チャンネルに対して、ステレオ２チャンネルずつを出力したり、一方のオーディオデータの５＋１チャンネルのみを選択して出力したりすることができる。
【特許文献１】特開平１０−１４５７３５号公報（第１０−１１頁、第４図、第８図、第９図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１は、複数のアングルからのデータを、複数の動画像復号手段で復号し、それらを映像データ結合手段によって結合して表示する方法について説明している。また、特許文献１は、動画データに言語の異なる複数の音声データが付加されている場合、各々の音声データを複数の音声復号手段で復号し、各々を混合して再生する方法、及び何れかを選択して再生する方法について説明している。
【００１０】
しかしながら、特許文献１では、２種類のデータを混合するための詳細な実現手段や、再生の同期を確立する手段については、具体的に述べられていない。音声だけに限定しても、再生する２種類の音声データのサンプリングレートが異なっていた場合の混合方法や、各音声データの混合比、サラウンド音声とステレオ音声とのようにチャンネル数の異なる音声データの混合方法、混合区間、各々の音声データの同期の合わせ方について、何ら説明が無い。
【００１１】
例えば、再生しようとする音声がＤＶＤのマルチ音声であったとしても、第１音声がドルビーデジタル方式で圧縮符号化され、第２音声がリニアＰＣＭで符号化されている場合、第１音声をサンプリングレート４８ＫＨｚで５．１ｃｈのサラウンド音声で、第２音声を９６ＫＨｚで２ｃｈのステレオ音声で混合するためには、どちらかのサンプリングレートに一致させる処理や、混合する先を設定するための処理が必要である。
【００１２】
何れにしても、複数のデジタルの音声信号を合成して再生する場合、複数の音声信号を同期させて再生する必要があるが、これまでは、それを実現する手段が存在しない。
【００１３】
本発明は、上記課題を考慮し、複数のデジタルの音声信号を同期させて再生する音声再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
第１の本発明の音声再生装置は、音声信号を再生して出力する装置であって、一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期手段と、前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成手段とを備える。このように、本発明の音声再生装置は、一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を割り当てるので、複数のデジタルの音声信号を同期させて再生することができる。
【００１５】
第２の本発明の音声再生装置は、前記時間軸が、前記複数の音声信号のうちの何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸であって、前記同期手段が、前記何れか一つの音声信号の前記オーディオ再生時刻情報によって特定される時間軸の上に、他の音声信号の前記複数のオーディオ再生時刻情報を割り当てる、装置である。このように、他の音声信号のオーディオ再生時刻情報を、主なる音声信号のオーディオ再生時刻情報に合わせることにより、複数の音声を同期させることができる。
【００１６】
第３の本発明の音声再生装置は、前記時間軸が、可変速再生されている前記何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸である、装置である。これは、可変速再生の場合においても、可変速再生されている音声信号のオーディオ再生時刻情報を利用してデコードすることにより、複数の音声信号を同期させることができるという作用を有する。
【００１７】
第４の本発明の音声再生装置は、前記複数の音声信号はビデオ信号と多重化されており、前記時間軸が、前記ビデオ信号の複数のビデオ再生時刻情報によって特定される時間軸であって、前記同期手段が、前記ビデオ再生時刻情報によって特定される時間軸の上に、前記複数の音声信号それぞれの前記複数のオーディオ再生時刻情報を割り当てる、装置である。これは、再生映像の出力に合わせて、音声同期をはかるという作用を有する。
【００１８】
第５の本発明の音声再生装置は、前記時間軸が、可変速再生されている前記ビデオ信号のビデオ再生時刻情報によって特定される時間軸である、装置である。これは、スキップ再生した映像出力に合わせて、スキップ時点での再生映像に対して音声同期をはかるという作用を有する。
【００１９】
第６の本発明の音声再生装置は、前記時間軸が、可変速しているシステム時刻基準参照信号によって特定される時間軸である、装置である。これは、システム全体の基準となるシステム時刻基準参照信号を可変とすることで、映像と音声の同期をはかるという作用を有する。
【００２０】
第７の本発明の音声再生装置は、更に、前記複数の音声信号のうちの何れか一つの音声信号のサンプリングレートに合わせて、他の音声信号のサンプリングレートを変換するサンプリングレート変換手段を備え、前記合成手段は、前記何れか一つの音声信号と、前記サンプリングレート変換手段によって変換された前記他の音声信号とを合成する、装置である。これにより、複数の音声を一つの音声のサンプリングレートに合わせた再生が可能となる。コンテンツそのものに主音声か、コメンタリ等の副音声かの種別が記録されている場合、例えば主音声のサンプリングレートに合わせて複数の音声を再生すれば、コメンタリ等の副音声の有り無しにかかわらず、ユーザは、一定のサンプリングレートで複数の音声を聞き取ることができる。
【００２１】
第８の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、連続した音声再生区間が最も長い音声信号である、装置である。コメンタリ等の副音声は特定のシーンの解説等、主音声を補助する目的で挿入される場合があり、主音声に対して音声再生区間が短いことが想定される。そのため、再生区間が長い方を選択すれば、途中でのサンプリングレートを変更する回数を減少させることができる。
【００２２】
第９の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、音声再生区間の間欠が最も少ない音声信号である、装置である。例えば、音声再生区間の間欠が最も少ない音声信号を主として、シーンごとに間欠したコメンタリ再生区間をもつ音声を再生する場合、間欠した音声信号のサンプリングレートを、間欠が最も少ない音声信号（間欠がない音声信号を含む）に合わせるようにレート変換すれば、途中でのサンプリングレートを変更する回数を減少させることができる。
【００２３】
第１０の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も高いサンプリングレートを有する音声信号である、装置である。これは、高音質の音声はそのままとして、他の音声のアップサンプリングを行ない、音質をできるだけ保つという作用を有する。
【００２４】
第１１の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も低いサンプリングレートを有する音声信号である、装置である。これは、音声出力のための伝送帯域が限られている場合等、低いサンプリングレートにあわせて変換することで、音声を伝送するデータ量を減らす作用を有する。
【００２５】
第１２の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、サンプリングレートが変わらない音声信号である、装置である。途中でサンプリングレートが変更されると、レート再生の変化点において、音声ミュートが必要な場合がある。これは、レート変更されないほうを主として選択し、音声の連続再生を保つという作用を有する。
【００２６】
第１３の本発明の音声再生装置は、更に、前記複数の音声信号のうちの何れか一つの音声信号に他の音声信号を加算することにより前記複数の音声信号を合成する場合、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号を加算する部分のみ減ずる出力レベル調整手段を備える。これにより、加算される側の音声を強調して聞くことができる。例えば、合成した解説音声を注意深く聞きたいとき等、解説音声の再生音声レベルを高くし、主音声の再生音声レベルを減じるという作用を有する。
【００２７】
第１４の本発明の音声再生装置は、前記出力レベル調整手段は、前記何れか一つの音声信号に対して前記他の音声信号を合成する場合であって、利用者によって前記他の音声信号の再生出力レベルをより大きく設定されたとき、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号の再生出力レベルの増加分減じる、装置である。これは、一方を増加させながら、他方をそのままの音量で加算すると、加算音声の一部にて、音声クリッピング等の音声ひずみが発生し、非常に聞きにくい音声となることを防ぐという作用がある。
【００２８】
第１５の本発明の音声再生装置は、更に、前記複数の音声信号のうちの何れか一つの音声信号の再生信号チャンネル数に合わせて、他の音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える。これは、互いの再生信号の再生チャンネル数が異なっても、音声ひずみを起こすことなく、特定の音声信号のチャンネルへの加算を実現するという作用を有する。
【００２９】
第１６の本発明の音声再生装置は、更に、前記音声再生装置に接続される音声出力装置のチャンネル数に合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える。これは、利用者の音声出力装置のチャンネル数（例えば、スピーカ接続数）に合わせて、再生信号チャンネル数を統合又は分配を行ない、音声合成をはかる。
【００３０】
第１７の本発明の音声再生装置は、前記統合分配手段は、利用者による前記音声出力装置の音声出力指定チャンネルに合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する、装置である。これは、利用者の音声出力装置のうち、再生をしたいチャンネル数（例えば、スピーカ接続数）に合わせて、再生信号チャンネル数を統合又は分配し、合成をはかる。
【００３１】
また、本発明は、本発明の音声再生装置の特徴的な構成手段をステップとする音声再生方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現することもできる。プログラムは、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。
【発明の効果】
【００３２】
本発明は、複数のデジタルの音声信号を同期させて再生する音声再生装置を提供することができる。つまり、本発明の音声再生装置は、サンプリングレートや、符号化方式が異なる複数の音声信号の混合、及び可変速度再生における複数の音声信号の同期再生を実行することができる。
【図面の簡単な説明】
【００３３】
【図１】図１は、従来の音声再生方法を行なうデュアルオーディオデコーダの構成図である。
【図２】図２は、実施の形態１における画像音声再生装置の構成を表すブロック図である。
【図３】図３は、実施の形態１における映像と音声の同期再生方法を示す流れ図である。
【図４】図４は、実施の形態における音声再生データの格納方法を説明するための図である。
【図５】図５は、実施の形態における複数の画像を重ねた例を示す図である。
【図６】図６は、実施の形態における本編の映像及びコメンタリ映像が映し出される時間的な関係の一例を示す図である。
【図７】図７は、実施の形態１及び４における、本編の映像に対してコメンタリ映像を重ねる画像再生装置の構成を示すブロック図である。
【図８】図８は、各実施の形態における主音声と副音声とを重ねる音声再生装置の構成図である。
【図９】図９は、主音声のオーディオ再生時刻情報と副音声のオーディオ再生時刻情報との関係を示す図である。
【図１０】図１０は、主音声及び副音声の音声ストリームに、オーディオ再生時刻情報が付加されている様子を示す図である。
【図１１】図１１は、実施の形態１における音声加算方法を説明するための加算出力部の構成例を示す図である。
【図１２】図１２は、実施の形態１の音声再生装置と外部接続機器との接続を説明するための図である。
【図１３】図１３は、音声の統合を説明するための図である。
【図１４】図１４は、音声の分配を説明するための図である。
【図１５】図１５は、実施の形態１の音声再生装置と外部接続機器との接続を説明するための図である。
【図１６】図１６は、主音声が終了した後でも副音声がまだ終了していない様子を示す図である。
【図１７】図１７は、効果音が主音声に合成される様子を示す図である。
【図１８】図１８は、音声信号の合成及び統合を説明するための図である。
【図１９】図１９は、複数の音声信号が記録されているＤＶＤを示す図である。
【図２０】図２０は、実施の形態２における、可変速度処理の前又は後で主音声に副音声を加算して音声合成する処理を示す流れ図である。
【図２１】図２１は、実施の形態２及び３におけるオーディオ出力処理部により可変速制御を行なう方法を説明するためのブロック図である。
【図２２】図２２は、実施の形態２のオーディオ可変速処理の原理を説明するための図である。
【図２３】図２３は、実施の形態４における複数映像の同期再生方法を示す流れ図である。
【符号の説明】
【００３４】
１ 入力部
２ オーディオバッファ部Ａ
３ オーディオバッファ部Ｂ
４ オーディオデコーダ部Ａ
５ オーディオデコーダ部Ｂ
６ 音声合成部
７ レート変換部
８ 加算比処理部Ａ
９ 加算比処理部Ｂ
１０ 加算出力部
【発明を実施するための最良の形態】
【００３５】
以下に、本発明を実施するための最良の形態について、図面を用いて説明する。
（実施の形態１）
はじめに、実施の形態１における画像音声再生装置の構成を示すブロック図である図２を主として参照しながら、実施の形態１の画像音声再生装置の構成、並びに、画像再生方法及び音声再生方法について説明する。なお、本発明は複数のデジタルの音声信号を同期させて再生する技術に関する発明であるが、その技術を詳細に説明する前に、ビデオ信号とオーディオ信号とが多重化された信号を再生する技術について説明する。
【００３６】
図２は実施の形態１における画像音声再生装置の構成を示すブロック図である。実施の形態１における画像音声再生装置は、ビデオ信号とオーディオ信号とが多重化された信号を再生する装置であって、図２に示すように、入力部１と、ビデオバッファ部Ａ１０２と、ビデオバッファ部Ｂ１０３と、ビデオデコード部Ａ１０４と、ビデオデコード部Ｂ１０５と、画像合成部１０６と、オーディオバッファ部Ａ２と、オーディオバッファ部Ｂ３と、オーディオデコード部Ａ４と、オーディオデコード部Ｂ５と、音声合成部６とで構成されている。
【００３７】
ビデオバッファ部Ａ１０２、ビデオバッファ部Ｂ１０３、ビデオデコード部Ａ１０４、ビデオデコード部Ｂ１０５、及び画像合成部１０６は、ビデオ信号を処理する構成部である。オーディオバッファ部Ａ２、オーディオバッファ部Ｂ３、オーディオデコード部Ａ４、オーディオデコード部Ｂ５、及び音声合成部６は、オーディオ信号を処理する構成部である。
【００３８】
入力部１は、各種符号化方式で符号化されたコンテンツや、デジタル放送等の圧縮符号化されたデジタルのオーディオ信号及びビデオ信号を格納する光ディスク等のデータ記録装置等（図示せず）からの、多重化されているオーディオ信号及びビデオ信号の供給を受ける構成部である。また、入力部１は、多重化されているオーディオ信号及びビデオ信号を、ビデオ信号とオーディオ信号とに分離し、ビデオ信号からビデオ再生時刻情報を抽出し、オーディオ信号からオーディオ再生時刻情報を抽出する。実施の形態１では、入力部１へ入力されるビデオ信号及びオーディオ信号は、それぞれ２チャンネルの信号であると仮定する。したがって、入力部１は、多重化されているオーディオ信号及びビデオ信号を、チャンネル毎にビデオ信号とオーディオ信号とに分離する。
【００３９】
次に、ビデオ信号を処理する、ビデオバッファ部Ａ１０２、ビデオバッファ部Ｂ１０３、ビデオデコード部Ａ１０４、ビデオデコード部Ｂ１０５、及び画像合成部１０６それぞれについて説明する。
【００４０】
ビデオバッファ部Ａ１０２は、入力部１によって分離された第１のチャンネルのビデオ信号を格納する構成部である。ビデオバッファ部Ａ１０２は、第１のチャンネルのビデオ信号のうちのビデオ再生時刻情報を格納するビデオ再生時刻情報管理部Ａ１２１と、第１のチャンネルのビデオ信号のうちの圧縮されたビデオデータを格納する圧縮ビデオバッファ部Ａ１２２とで構成されている。ビデオ再生時刻情報管理部Ａ１２１は、第１のチャンネルの圧縮ビデオデータとビデオ再生時刻情報とを関連付けるテーブルを有している。
【００４１】
ビデオバッファ部Ｂ１０３は、入力部１によって分離された第２のチャンネルのビデオ信号を格納する構成部である。ビデオバッファ部Ｂ１０３は、第２のチャンネルのビデオ信号のうちのビデオ再生時刻情報を格納するビデオ再生時刻情報管理部Ｂ１３１と、第２のチャンネルのビデオ信号のうちの圧縮されたビデオデータを格納する圧縮ビデオバッファ部Ｂ１３２とで構成されている。ビデオ再生時刻情報管理部Ｂ１３１は、第２のチャンネルの圧縮ビデオデータとビデオ再生時刻情報とを関連付けるテーブルを有している。
【００４２】
ビデオデコード部Ａ１０４は、圧縮ビデオバッファ部Ａ１２２に格納されている第１のチャンネルの圧縮ビデオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮ビデオデータを、ビデオ再生時刻情報管理部Ａ１２１に格納されているビデオ再生時刻情報に従って伸張する構成部である。ビデオデコード部Ａ１０４は、伸張したビデオデータを格納するフレームバッファ部Ａ１４１を有している。
【００４３】
ビデオデコード部Ｂ１０５は、圧縮ビデオバッファ部Ｂ１３２に格納されている第２のチャンネルの圧縮ビデオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮ビデオデータを、ビデオ再生時刻情報管理部Ｂ１３１に格納されているビデオ再生時刻情報に従って伸張する構成部である。ビデオデコード部Ｂ１０５は、伸張したビデオデータを格納するフレームバッファ部Ｂ１５１を有している。
【００４４】
画像合成部１０６は、ビデオデコード部Ａ１０４及びビデオデコード部Ｂ１０５によって伸張された各ビデオデータを合成して外部の表示部に出力する構成部である。
【００４５】
次に、オーディオ信号を処理する、オーディオバッファ部Ａ２、オーディオバッファ部Ｂ３、オーディオデコード部Ａ４、オーディオデコード部Ｂ５、及び音声合成部６それぞれについて説明する。
【００４６】
オーディオバッファ部Ａ２は、入力部１によって分離された第１のチャンネルのオーディオ信号を格納する構成部である。オーディオバッファ部Ａ２は、第１のチャンネルのオーディオ信号のうちの圧縮されたオーディオデータを格納する圧縮オーディオバッファ部Ａ２１と、第１のチャンネルのオーディオ信号のうちのオーディオ再生時刻情報を格納するオーディオ再生時刻情報管理部Ａ２２とで構成されている。オーディオ再生時刻情報管理部Ａ２２は、第１のチャンネルの圧縮オーディオデータとオーディオ再生時刻情報とを関連付けるテーブルを有している。
【００４７】
オーディオバッファ部Ｂ３は、入力部１によって分離された第２のチャンネルのオーディオ信号を格納する構成部である。オーディオバッファ部Ｂ３は、第２のチャンネルのオーディオ信号のうちの圧縮されたオーディオデータを格納する圧縮オーディオバッファ部Ｂ３１と、第２のチャンネルのオーディオ信号のうちのオーディオ再生時刻情報を格納するオーディオ再生時刻情報管理部Ｂ３２とで構成されている。オーディオ再生時刻情報管理部Ｂ３２は、第２のチャンネルの圧縮オーディオデータとオーディオ再生時刻情報とを関連付けるテーブルを有している。
【００４８】
オーディオデコード部Ａ４は、圧縮オーディオバッファ部Ａ２１に格納されている第１のチャンネルの圧縮オーディオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮オーディオデータを、オーディオ再生時刻情報管理部Ａ２２に格納されているオーディオ再生時刻情報に従って伸張する構成部である。オーディオデコード部Ａ４は、伸張したオーディオデータを格納するＰＣＭバッファ部Ａ４１を有している。
【００４９】
オーディオデコード部Ｂ５は、圧縮オーディオバッファ部Ｂ３１に格納されている第２のチャンネルの圧縮オーディオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮オーディオデータを、オーディオ再生時刻情報管理部Ｂ３２に格納されているオーディオ再生時刻情報に従って伸張する構成部である。オーディオデコード部Ｂ５は、伸張したオーディオデータを格納するＰＣＭバッファ部Ｂ５１を有している。
【００５０】
音声合成部６は、オーディオデコード部Ａ４及びオーディオデコード部Ｂ５によって伸張された各オーディオデータを合成して外部のスピーカに出力する構成部である。
【００５１】
ＭＰＥＧでは、ビデオデータとオーディオデータとを同期させて出力するために、ビデオ信号及びオーディオ信号には、アクセスユニットと呼ばれる復号及び再生の単位毎（ビデオデータの場合は１フレーム毎、オーディオデータの場合は１オーディオフレーム毎）に、その単位をいつ復号及び再生すべきかを示すタイムスタンプ情報が付加されている。このタイムスタンプ情報は、Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（ＰＴＳ）と呼ばれ、ビデオ用は、Ｖｉｄｅｏ ＰＴＳ（以下、「ＶＰＴＳ」という。）と呼ばれ、オーディオ用は、Ａｕｄｉｏ ＰＴＳ（以下、「ＡＰＴＳ」という。）と呼ばれている。それらは、各ビデオフレーム及び各オーディオフレームの出力の時刻管理情報を表している。
【００５２】
画像音声再生装置には、図２には図示していないがシステム基準参照部が設けられている。システム基準参照部は、ＭＰＥＧシステムの基準復号器内部のシステム時刻基準Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ（ＳＴＣ）を発生する構成部である。システム基準参照部は、システム時刻基準ＳＴＣを作成するために、ＤＶＤ等で使用されるプログラムストリーム（ＰＳ）で用いられるＳｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（ＳＣＲ：システム時刻基準参照値）、又は、ＢＳデジタル放送で使用されるトランスポートストリーム（ＴＳ）で用いられるＰｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（ＰＣＲ：プログラム時刻基準参照値）を用いる。システム基準参照部は、各ストリームの最終バイトの到着時（読み込み時）に、ＳＣＲ又はＰＣＲが示す値と同一の値をシステム時刻基準ＳＴＣに設定することによって、基準時刻を設定する。
【００５３】
なお、画像音声再生装置に位相ロックループ（ＰＬＬ）回路を設けるとともに、上記のシステム時刻基準ＳＴＣの値の設定と、ＰＬＬ回路とを組み合わせることとにより、画像音声再生装置は、基準時刻用システムクロックとクロックの周波数が完全に一致したシステム時刻基準ＳＴＣを持つことができる。システム時刻基準ＳＴＣのシステムクロックは２７ＭＨｚで構成される。システム時刻基準ＳＴＣをカウンタ等により分周することにより、各ＰＴＳ（９０ＫＨｚ周期）が参照される。ビデオデコード部Ａ１０４、ビデオデコード部Ｂ１０５、オーディオデコード部Ａ４、及びオーディオデコード部Ｂ５の各デコーダは、システム時刻基準ＳＴＣが、ビデオデータの場合はビデオ再生時刻情報ＶＰＴＳと一致したときに、オーディオデータの場合はオーディオ再生時刻情報ＡＰＴＳと一致したときに、それぞれのアクセスユニットを出力する。システム時刻基準ＳＴＣの精度は９０ＫＨｚである。従って、この９０ＫＨｚの精度の範囲内で、システム時刻基準ＳＴＣとビデオ再生時刻情報ＶＰＴＳ及びオーディオ再生時刻情報ＡＰＴＳとの同期をとるように、各デコーダが各再生単位を再生すれば、ＡＶ同期のとれた出力が行なわれる。
【００５４】
図３は、ＡＶ同期処理の流れ図である。ここでは説明の簡単化のために、１つのチャンネルのビデオのストリームとオーディオのストリームとが多重化された場合を想定する（２つのチャンネルのビデオのストリームとオーディオのストリームとが多重化された場合は後で説明する）。
【００５５】
ステップ３０１及びステップ３０２において、入力部１は、データ記録装置等から入力された符号化データを、圧縮ビデオデータと、ビデオ再生時刻情報ＶＰＴＳと、圧縮オーディオデータと、オーディオ再生時刻情報ＡＰＴＳとに分離する。
【００５６】
圧縮ビデオバッファ部Ａ１２２は圧縮ビデオデータを格納し、ビデオ再生時刻情報管理部Ａ１２１はビデオ再生時刻情報ＶＰＴＳを格納する（ステップ３０１）。その際、ビデオ再生時刻情報管理部Ａ１２１は、圧縮ビデオバッファ部Ａ１２２における各圧縮ビデオデータのアドレスとともに、ビデオ再生時刻情報ＶＰＴＳを格納する。
【００５７】
圧縮オーディオバッファ部Ａ２１は圧縮オーディオデータを格納し、オーディオ再生時刻情報管理部Ａ２２はオーディオ再生時刻情報ＡＰＴＳを格納する（ステップ３０２）。その際、オーディオ再生時刻情報管理部Ａ２２は、図４に示すように、オーディオ再生時刻情報ＡＰＴＳを、スロットという単位で分割し、圧縮オーディオバッファ部Ａ２１における各オーディオデータのアドレスとともに格納する。従って、オーディオ再生時刻情報管理部Ａ２２には、オーディオ再生時刻情報ＡＰＴＳの値と、それに関連する圧縮オーディオデータが格納されているアドレスのポインタとが格納される。
【００５８】
なお、ステップ３０１及びステップ３０２は、ビデオ信号及びオーディオ信号の入力部１への入力の先後に応じて順序が適宜変更される。
【００５９】
圧縮オーディオバッファ部Ａ２１は、データを書き込んだ最終点まで最新の書き込み位置が移動するライトポインタを有している。また、圧縮オーディオバッファ部Ａ２１は、圧縮オーディオデータの読み出し位置を特定するリードポインタをも有しており、オーディオデコード部Ａ４によって圧縮オーディオデータが読み出されることにより、リードポインタの位置を更新する。また、圧縮オーディオバッファ部Ａ２１は、最終アドレスまでデータを書き込んでいけば、最初のアドレスまで書き込み位置がもどるリング状の記憶部である。従って、データが読み出された位置まで、次のデータを書き込むことが可能となり、入力部１によって、ライトポインタがリードポインタを追い越さないようにしながら、圧縮オーディオデータの書き込みが管理される。
【００６０】
次に、ビデオデコード部Ａ１０４は、圧縮ビデオバッファ部Ａ１２２から圧縮ビデオデータを取得し、ビデオ再生時刻情報管理部Ａ１２１からビデオ再生時刻情報ＶＰＴＳを取得する（ステップ３０３）。オーディオデコード部Ａ４は、圧縮オーディオバッファ部Ａ２１から圧縮オーディオデータを取得し、オーディオ再生時刻情報管理部Ａ２２からオーディオ再生時刻情報ＡＰＴＳを取得する（ステップ３０４）。
【００６１】
そして、ビデオデコード部Ａ１０４は、ビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣに達する前に、ビデオデコードを実施し、デコードデータをフレームバッファ部Ａ１４１に格納する（ステップ３０５）。同様に、オーディオデコード部Ａ４は、オーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣに達する前に、オーディオデコードを実施し、デコードデータをＰＣＭバッファ部Ａ４１に格納する（ステップ３０６）。なお、ビデオデコード部Ａ１０４及びオーディオデコード部Ａ４は、各データをデコードするが、デコード後直ちにデコードデータを出力するわけではない。
【００６２】
次に、オーディオデコード部Ａ４は、システム時刻基準ＳＴＣを参照し、オーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣと一致した時点で、又はオーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣを超過した時点で、そのオーディオ再生時刻情報ＡＰＴＳに関連するオーディオデコードデータを、ＰＣＭバッファ部Ａ４１から出力させる（ステップ３０７）。
【００６３】
更に、ビデオデコード部Ａ１０４は、システム時刻基準ＳＴＣを参照し、ビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣと一致した時点で、又はビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣを超過した時点で、そのビデオ再生時刻情報ＶＰＴＳに関連するビデオデコードデータを、フレームバッファ部Ａ１４１から出力させる（ステップ３０８）。
【００６４】
なお、画像音声再生装置は、光出力端子からドルビーデジタル等のストリームをそのまま出力してもよい。この場合、ストリームはストリームバッファ（図示せず）に一旦蓄えられ、オーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣと一致又は超過した時点で、そのオーディオ再生時刻情報ＡＰＴＳに関連するオーディオデコードデータは出力される。
【００６５】
さて、入力されるデータの終了又は、ユーザによる再生の停止が指示されれば（ステップ３０９でＹｅｓ）、画像音声再生装置はデコードを終了する。他方、入力されるデータがあって、ユーザによる再生の停止が指示されなければ（ステップ３０９でＮｏ）、圧縮ビデオバッファ部Ａ１２２が圧縮ビデオデータを格納し、ビデオ再生時刻情報管理部Ａ１２１がビデオ再生時刻情報ＶＰＴＳを格納するビデオ信号格納ステップ（ステップ３０１）に戻る。
【００６６】
上述したように、画像音声再生装置は、システム時刻基準ＳＴＣに対して、ビデオ再生時刻情報ＶＰＴＳ及びオーディオ再生時刻情報ＡＰＴＳを同期させて、ビデオデコードデータ及びオーディオデコードデータを出力する。特に、ビデオ再生時刻情報ＶＰＴＳが、オーディオ再生時刻情報ＡＰＴＳに対して、５０ミリ秒先行する時から、３０ミリ秒遅延する時までの間に、対応するビデオデコードデータとオーディオデコードデータとが出力されれば、リップシンクのずれは気にならない程度となる。
【００６７】
ここまでは、オーディオとビデオとが各々１つのチャンネルのストリームである場合の同期再生の方法を説明してきた。次に、オーディオ及びビデオが各々２つのチャンネルである場合のストリームの同期再生の方法について説明する。
【００６８】
ここでは、図５に示すように、同一画面上において、通常の再生映像である本編の映像の上に、コンテンツ作成者のコメンタリ映像を子画面で重ねるとともに、本編の映像に対応する音声（以下、「主音声」という。）に、コメンタリ映像に対応する音声（以下、「副音声」という。）を重ねる場面を想定する。なお、コメンタリ映像は本編の映像を解説するための映像であって、例えば本編の映像として風景が映し出されているとき、解説者がその風景の地名等を解説する映像がコメンタリ映像である。また、副音声は、コメンタリ映像が映し出されているときに出力される本編の映像を解説する音声であって、コメンタリ映像に付随して出力される。
【００６９】
次に、図６を用いて、本編の映像及びコメンタリ映像が映し出される時間的な関係を説明する。図６は、本編の映像及びコメンタリ映像が映し出される時間的な関係の一例を示す図である。図６に示すように、例えば、本編の映像は番組の最初から最後まで通して映し出され、コメンタリ映像は、番組の途中で、番組の長さよりも短い所定の期間、複数回映し出される。また、副音声は、上述したようにコメンタリ映像が映し出されているときに出力される。なお、コメンタリ映像が映し出される時間は、本編の映像が映し出される時間より長い場合もある。また、副音声が出力される時間は、主音声が出力される時間より長い場合もある。
【００７０】
以下に、本編の映像及び主音声に対してコメンタリ映像及び副音声を重ねる方法について説明する。
【００７１】
まず、本編の映像に対してコメンタリ映像を重ねる方法について、図７を用いて説明する。図７は、本編の映像に対してコメンタリ映像を重ねる画像再生装置の構成を示すブロック図である。
【００７２】
ビデオデコード部Ａ１０４は本編の映像のビデオデータをデコードし、ビデオデコード部Ｂ１０５はコメンタリ映像のビデオデータをデコードする。ビデオデコード部Ａ１０４及びビデオデコード部Ｂ１０５によってデコードされた各デコードデータの同期は、それぞれのビデオストリーム内にあるビデオ再生時刻情報ＶＰＴＳ等によって管理される。各々のビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣと一致したときに、ビデオデコード部Ａ１０４によって得られたデコードデータと、ビデオデコード部Ｂ１０５によって得られたデコードデータとを出力させれば、それら各デコードデータを同期させて出力させることができる。
【００７３】
しかしながら、コメンタリ映像の種類によっては、本編の映像とコメンタリ映像との同期を工夫してとらなければならない場合がある。例えば、本編の映像とコメンタリ映像との一方が映画素材から得られた、１秒間に２４コマ存在する映像であって、他方が１秒間に３０コマ存在する映像である場合である。これをＮＴＳＣ方式の受像機に映し出す場合、画像処理部１６０は、映画素材から得られた映像を１秒間に３０コマ存在するようにフォーマット変換した後に、２つの画像の一方又は双方を拡大したり縮小したりする。その後、フレーム同期部１６２は、２つの画像のフレーム同期を行なう。合成出力部１６１は、一方の画像に他方の画像を重ねて２つの画像を出力する。これにより、本編の映像及びコメンタリ映像は、同期がとられた上で重ね合わされて表示される。
【００７４】
上述したように、本編の映像に対しては主音声が存在し、コメンタリ映像に対しては副音声が存在するので、本編の映像に対してコメンタリ映像を重ねる際、主音声に対して副音声を重ねる必要がある。次に、主音声と副音声とを重ねる音声再生装置について図８を用いて説明する。
【００７５】
図８は、主音声と副音声とを重ねる音声再生装置の構成を示すブロック図である。
図８に示す音声再生装置では、入力部１が、主音声の圧縮オーディオデータ及びオーディオ再生時刻情報ＡＰＴＳをオーディオバッファ部Ａ２に格納し、副音声の圧縮オーディオデータ及びオーディオ再生時刻情報ＡＰＴＳをオーディオバッファ部Ｂ３に格納する。
【００７６】
同期設定部１１は、図９に示すように、主音声の各オーディオ再生時刻情報ＡＰＴＳによって特定される時間軸Ｔの上に、副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。主音声の各オーディオ再生時刻情報ＡＰＴＳは、“Ｍ００”，“Ｍ１１”，“Ｍ２０”，“Ｍ２９”，“Ｍ４０”，及び“Ｍ５２”，・・・が付されている各ブロックである。すなわち、同期設定部１１は、時間軸Ｔの上に、“Ｓ００”，“Ｓ０９”，“Ｓ２０”，“Ｓ３１”，又は“Ｓ４０”，・・・が付されているブロックで示されている副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。その際、同期設定部１１は、副音声の隣接するオーディオ再生時刻情報ＡＰＴＳそれぞれの値の差を保持して、時間軸Ｔの上に副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。
【００７７】
図９の例では、主音声の先頭のオーディオ再生時刻情報ＡＰＴＳ“Ｍ００”と、副音声の先頭のオーディオ再生時刻情報ＡＰＴＳ“Ｓ００”との差が値“１１”である。そのため、同期設定部１１は、副音声の各オーディオ再生時刻情報ＡＰＴＳの値に値“１１”を加えた値に、副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。例えば、副音声のオーディオ再生時刻情報“Ｓ０９”を時間軸Ｔの上に割り当てる場合、同期設定部１１は、その値“０９”に差の値“１１”を加えた値、すなわち値“Ｍ２０”に、オーディオ再生時刻情報“Ｓ０９”を割り当てる。これにより、副音声の各オーディオ再生時刻情報ＡＰＴＳは、副音声の隣接するオーディオ再生時刻情報ＡＰＴＳそれぞれの値の差が保持された状態で、時間軸Ｔの上に割り当てられる。その結果、後述するように、オーディオ再生時刻情報ＡＰＴＳを利用して主音声及び副音声が再生されると、主音声及び副音声は同期して再生される。
【００７８】
同期設定部１１の動作が終了すると、オーディオデコード部Ａ４は、オーディオバッファ部Ａ２に格納された主音声の圧縮オーディオデータをデコードし、オーディオ再生時刻情報ＡＰＴＳを参照することにより、システム時刻基準ＳＴＣに同期した時間に音声を再生する。他方、オーディオデコード部Ｂ５は、オーディオバッファ部Ｂ３に格納された副音声の圧縮オーディオデータをデコードし、オーディオ再生時刻情報ＡＰＴＳを参照することにより、システム時刻基準ＳＴＣに同期した時間に音声を再生する。これにより、主音声と副音声とは同期して再生される。
【００７９】
なお、図９の例では、主音声の先頭のオーディオ再生時刻情報“Ｍ００”と、副音声の先頭のオーディオ再生時刻情報“Ｓ００”との差は値“１１”であるが、その差は、例えばストリームのヘッダに記録されており、コメンタリ映像（副音声）の開始時刻が予め指定されることによって生じる。上記差は“０”でもよい。すなわち、主音声と副音声とが同時にスタートしてもよい。また、ユーザのリモコン操作等により副音声の起動開始時刻が設定された場合、上記差は、起動開始時刻時点での主音声の再生時刻情報と主音声の再生時刻情報との差となる。
【００８０】
次に、以下の場合を考える。一つの記録媒体（ディスク等）に、主音声及び副音声の圧縮オーディオ符号化データからなる音声ストリームが格納されており、主音声及び副音声を識別するフラグ情報が、各オーディオストリームのビットストリームのヘッダ情報内に格納されている。また、主音声フラグを有する音声ストリームが３種類存在し、副音声フラグを有する音声ストリームが１種類存在する。主音声は、ドルビーデジタル５．１ｃｈの日本語音声、ドルビーデジタル５．１ｃｈの英語音声、リニアＰＣＭ２ｃｈ音声の中から選択されて再生される。副音声については、作者の解説用ドルビーデジタル２ｃｈの英語音声が再生される。各々の音声ストリームには、オーディオ再生時刻情報ＡＰＴＳが格納されている。利用者は、主音声を選択するとともに、副音声の混合再生というメニューを選択することによって、主音声及び副音声の同時再生時の音声を選択する。
【００８１】
なお、主音声が英語、副音声が日本語、フランス語、及びドイツ語の何れかであり、副音声が複数存在する場合を想定することができるし、主音声及び副音声の両者が複数存在する場合も想定することができる。
【００８２】
何れにしても、利用者が再生させる音声を選択する。映画等のコンテンツを再生させる場合、映画のシーンを再生する主音声を識別する識別子と、映画作成者の作成上の工夫点を解説したような副音声を識別する識別子とを、コンテンツに予め付与しておき、主音声と副音声とを区別し、かつ両者を同期させて再生することができるようにしておく。これにより、利用者は、主音声と副音声とを同期させて再生することができる。
【００８３】
図１０に、主音声が１ｃｈであり、副音声が３ｃｈである場合の、各々の音声ストリームに、オーディオ再生時刻情報ＡＰＴＳが付加されている様子を示す。副音声は、例えば、英語音声、日本語音声、及び韓国語音声の音声ストリームである。図１０に示すように、各音声ストリームにオーディオ再生時刻情報ＡＰＴＳが格納されているので、上述した同期設定部１１の動作によって、何れの副音声も主音声と同期させて再生することができる。
【００８４】
ところで、複数のオーディオデータをデコードする際、主音声と副音声とのオーディオ符号化方式の違いにより、各データのオーディオフレームサイズが異なる場合がある。しかしながら、各々のオーディオストリームにオーディオ再生時刻情報ＡＰＴＳが付いていれば、システム時刻基準ＳＴＣと各オーディオ再生時刻情報ＡＰＴＳとを利用することにより、主音声と副音声とを同期させて再生することができる。複数のオーディオデコード部が処理の独立性を持つような構成であれば、符号化方式の違いによるオーディオフレーム処理単位が異なっても、各々のオーディオストリームを、各々のオーディオ再生時刻情報ＡＰＴＳに従って同期させて再生することができる。
【００８５】
また、主音声のサンプリングレートと副音声のサンプリングレートとが異なる場合がある。このような場合、レート変換部７は、一方の再生音声信号のサンプリングレートを、他方の再生音声信号のサンプリングレートに合わせて変換する。これにより、主音声及び副音声を、サンプリングレートを合わせて再生することが可能となる。コンテンツそのものに主音声か、コメンタリ等の副音声かの種別が記録されている場合、レート変換部７は、副音声のサンプリングレートを、主音声のサンプリングレートに合わせる。これにより、コメンタリ音声の有り無しにかかわらず、一定のサンプリングレートで主音声及び副音声は再生されるので、ユーザは違和感なく主音声及び副音声を聞くことができる。
【００８６】
サンプリングレート変換の方法としては、デジタル音声をアナログ音声に変換するＤＡコンバータと、その逆の動作を行なうＡＤコンバータとを利用し、デジタル音声を一旦アナログ音声に戻して変換する方法がある。また、サンプリングレートコンバータなる半導体回路を用いることにより所望したサンプリングレートに変換する方法や、互いのサンプリングレートが倍数関係の時に適用しやすい、間引きや、補間によってレート変換音声を生成する方法等がある。
【００８７】
次に、主音声及び副音声の識別子が記録されていない場合等における主となるサンプリングレートを有する音声信号の選択方法について説明する。この主となるサンプリングレートを有する音声信号の選択方法として、連続した音声再生区間がより長い音声信号を選択し、連続した音声再生区間が短い方の音声信号のサンプリングレートを、長い方のサンプリングレートに合わせる方法がある。図６に示すように、コメンタリとして、特定のシーンの解説等、主音声を補助するような目的で副音声が挿入される場合、副音声は主音声に比べて音声再生区間が短い。そこで、再生区間が長い方を、主となるサンプリングレートを有する音声信号として選択し、再生区間が短い方のサンプリングレートを、選択した音声信号のサンプリングレートに合わせて変換する。また、副音声は、図６に示すように、特定のシーンのみが再生される等、再生がストーリの途中から始まり、途中で終了する場合もある。音声再生区間が長い方を主となるサンプリングレートを有する音声信号として選択すれば、同じサンプリングレートの音声が再生される時間が長くなり、ユーザが違和感を持つ時間が短くなるので都合がよい。
【００８８】
別の選択方法として、一つの音声信号を選択するときに、間欠した音声再生区間が無い方の音声信号を選択し、間欠した音声再生区間を持つ方の音声信号のサンプリングレートを、間欠した音声再生区間が無い方の音声信号のサンプリングレートに合わせる。シーン毎に間欠したコメンタリ再生区間を持つ音声信号を再生する場合等、間欠した音声再生区間を有する音声信号のサンプリングレートを、間欠していない方に合わせるように変換する。
【００８９】
また別の選択方法として、一つの音声信号を選択するときに、より高いサンプリングレートを有する音声信号を選択し、低いサンプリングレートを有する音声信号のサンプリングレートを、高いサンプリングレートに合わせて変換する。つまり、高音質の音声信号はそのままとして、他の音声信号のアップサンプリング等を行なうことでレート変換を行ない、合成する。この場合、２つの音声信号のサンプリングレート比は、一方が他方の倍数の関係であれば、レート変換した後で音声合成する回路を簡略化することができる。例えば、一方の音声信号のサンプリングレートが９６ＫＨｚであって、他方の音声信号のサンプリングレートが４８ＫＨｚである場合や、一方が４８ＫＨｚであって、他方が２４ＫＨｚである場合等であれば、周波数補間した音声信号データをそのまま加算することができるため合成しやすい。
【００９０】
逆に、一つの音声信号を選択するときに、より低いサンプリングレートを有する音声信号を選択し、高いサンプリングレートを有する音声信号のサンプリングレートを、低いサンプリングレートに合わせて変換してもよい。音声出力のための伝送帯域が限られている場合や、高音質の再生音声が必要とされない場合等にこの方法を用いる。例えば、特定伝送路を使って音声データを伝送する場合等を想定すると、低いサンプリングレートに合わせて変換することで、音声データの伝送量を減らす効果が見込まれる。この場合も、２つの音声信号のサンプリングレート比は、一方が他方の倍数の関係であれば、レート変換した後で音声合成する回路を簡略化することができる。例えば、一方の音声信号のサンプリングレートが９６ＫＨｚであって、他方の音声信号のサンプリングレートが４８ＫＨｚである場合や、一方が４８ＫＨｚであって、他方が２４ＫＨｚである場合等であれば、周波数間引きした音声信号データをそのまま加算することができるため合成しやすい。
【００９１】
また、一つの音声信号を選択するときに、途中でサンプリングレートが変更されない連続した音声再生区間からなる音声信号を選択し、途中でサンプリングレートが変更される方の音声信号のサンプリングレートを、変更されない方のサンプリングレートに合わせて変換する。複数のコメンタリがあったり、また、主音声においてもときどきサンプリングレートが変更されたりする場合に、この方法を用いる。圧縮オーディオデータのデコード時においては、サンプリングレートの変化点において、音声ミュートが必要な場合がある。従って、レート変更されない方の音声信号を主として選択しておく方が、音声をミュートする区間が少なくなり、音声の連続再生を実現しやすい。
【００９２】
途中で再生コンテンツの符号化方式が変更されることや、サンプリングレートが変更された場合のオーディオデコード部の構成によっては、デコードする符号化方式プログラムやハードウェアの演算回路の設定を変更しなければならない場合がある。このような場合、オーディオデコード部の初期化処理とともに、それと対の圧縮オーディオバッファ部に格納されている圧縮オーディオデータや、リードポインタ、ライトポインタ等の情報もクリアする必要がある。圧縮オーディオバッファ部だけでなく、オーディオ再生時刻情報管理部のオーディオ再生時刻情報ＡＰＴＳ及び格納アドレスポインタの情報も消去する必要がある。このオーディオバッファ情報のクリアは、符号化方式やサンプリングレートが変更される方のみでよい。変更されない方は、連続して圧縮オーディオデータのデコードと再生とを続けることによって、利用者は切換を意識することなく、音声の再生を楽しむことができる。
【００９３】
これらレート変換部７によりサンプリングレート変換されたオーディオデータを加算するために、加算比処理部Ａ８及び加算比処理部Ｂ９は再生出力レベルを変更する。例えば、記録媒体等に、主音声に対するコメンタリ等の副音声の加算比を示す加算比情報が、各オーディオストリーム又は、コメンタリ等の副音声のストリームのヘッダ情報内に格納されている。加算比処理部Ａ８及び加算比処理部Ｂ９は、コメンタリ等の副音声を主音声に合成する場合、その加算比情報に従った値で、主音声及び副音声の一方又は双方に加算比を掛け合わせた上で主音声と副音声とを合成する。例えば、加算比処理部Ａ８及び加算比処理部Ｂ９は、主音声及び副音声の双方を、元音声の０．７倍等に出力レベルを下げて加算する。
【００９４】
通常、加算比情報に従い、各音声に加算比を掛け合わせた音声での再生が行なわれるが、コメンタリ等の副音声を強調したい場合がある。
【００９５】
第１の手法として、別々にデコードされた音声から、任意の一つの音声に対し他方の音声を合成する場合、前記任意の一つの音声の再生出力レベルを、他方の音声を合成する部分のみ減じて両音声を合成し、他方の音声を合成しない部分では、前記任意の一つの音声の再生出力レベルを減じない。例えば、再生出力レベルを一定値“１”とし、２つの音声を合成する場合、加算される側の音声の再生出力レベルを一定値“１”から“０．６”に減じ、加算する側の音声の再生出力レベルを“０．４”にし、全体の再生出力レベルを一定値“１”に保つ。この場合、加算される側の音声を強調して聞くことができる。例えば、合成しようとする音声がコメンタリ音声である場合、解説を注意深く聞きたいとき等、解説音声の再生音声レベルを高くし、主音声の再生音声レベルを減じる。
【００９６】
第２の手法として、利用者が、再生音声レベルを、規定値より高くしたり低くしたりと、任意に設定したい場合に対応し、任意の一つの元の音声に対し他方の音声を合成する部分で、利用者の意図で前記他方の音声レベルがより高く設定された場合、前記任意の一つの元の音声出力レベルを他方の増加分に応じて減じる。なぜならば、他方を増加させながら、一方をそのままの音量で加算すると、加算後の音声の一部において、再生ダイナミックレンジを超える信号成分が生じ、クリッピング等の音声ひずみが発生し、非常に聞きとりにくい音声となってしまう恐れがあるためである。逆に、副音声の出力レベルを低くした場合、相対的に主音声の加算比を上げればよい。
【００９７】
レート変換部７がサンプリングレート変換し、加算比処理部Ａ８及び加算比処理部Ｂ９が加算比の処理を行なうと、加算出力部１０は音声を合成する。その場合、各々の音声の再生チャンネル数が異なる場合がある。図１１に、加算出力部１０の構成例を示す（図の簡単化のためレート変換部７を省略している。）。前記任意の一つの音声の再生信号チャンネル数に合わせて、加算比処理が行なわれた後、加算出力部１０は、他方の音声の再生信号のチャンネル数を統合又は分配して合成する。
【００９８】
例えば、主音声に対するコメンタリ等の副音声の加算チャンネル情報を、各オーディオストリーム又は、コメンタリ側のストリームのヘッダ情報内に格納して、それを記録媒体等に記録しておく。加算出力部１０は、コメンタリ等の副音声を、主音声に合成する場合、その加算チャンネル情報に従った値で、音声を合成する。例えば、加算出力部１０は、副音声を主音声のセンターチャンネルに合成する。
【００９９】
加算チャンネル情報としては、各加算チャンネルのミキシングレベルやチャンネルマッピング、特定チャンネルへ加算制限情報等の加算チャンネル情報や、サンプリングレート、各チャンネルのサンプリングビット数、圧縮ストリームのデータレート等を想定することができる。更に、加算チャンネル情報とともに加算音量係数テーブル等の詳細な加算比情報があれば、副音声は、主音声のフロントライトチャンネルに、０．７倍等に出力レベルを下げて加算、フロントレフトチャンネルに、０．７倍等に出力レベルを下げて加算される。
【０１００】
更に、加算チャンネル情報が、複数のパターンから選択することができるような情報を有する場合では例えば、オーディオデコード部Ａ４によって再生された音声が５．１ｃｈであって、オーディオデコード部Ｂ５によって再生された音声がモノラル１ｃｈであった場合、オーディオデコード部Ｂ５によって再生された音声の加算先として、（第１）センターチャンネルのみ、（第２）フロントライトチャンネルとフロントレフトの２チャンネル、（第３）センターチャンネルとサブウーハチャンネル、（第４）フロントのライトとレフト及ぶサブウーハチャンネル等の選択枝を利用者に示すインタフェースを設けておき、加算先を利用者に選択してもらう。これにより、利用者の希望に応じたチャンネルへの加算比で、各チャンネルの出力ゲインを変更した後で、指定チャンネルの合成を実現することができる。もちろん主音声と副音声とが同じチャンネル数で、利用者から加算チャンネル先の指定が無い場合、各々のチャンネルを加算すればよい。また、利用者の要望により、加算するチャンネルのある副音声の音量を増やす等の変更をしたいときは、主音声がクリッピングしないようにミキシングレベルを調節しなければならない。この場合、加算チャンネルの主音声のゲインを減らす等の変更だけでなく、他の主音声チャンネルとのバランスも考慮し、必要に応じて他チャンネルの加算比を変更する。副音声の音量を上げれば、主音声の音量を下げ、副音声の音量を下げれば、主音声の音量を上げるために、利用者の要望で加算比を柔軟に設定できることが望ましい。
【０１０１】
従来例の特許文献１においても、再生チャンネルが異なる場合の同時再生について若干説明がある。第１の音声をモノラルとしてフロントライトへ、第２の音声をモノラルとしてフロントレフトへと１チャンネルずつ出すこと、又は第１と第２とのいずれか一方の音声をステレオ２ｃｈで出力することについて説明がある。また５．１ｃｈの場合は、第１の音声をステレオ２ｃｈ、第２の音声をステレオ２ｃｈで出す設定、又は第１と第２とのいずれか一方の音声を５．１ｃｈで出力することについて説明があるが、これらは、第１の音声と第２の音声とを合成して出すのではなく、同時に別々のスピーカから出す場合についての説明である。複数の音声を同一のスピーカからの音声に合成して出す方法については詳しく説明が無い。また、複数の音声の同期方法についても詳しく説明されていない。
【０１０２】
また本発明では、コメンタリ等の副音声のチャンネル数が、主音声のチャンネル数より多い場合、複数のチャンネルを主音声のどのチャンネルに統合するか等を設定する選択枝を利用者に示し、利用者から選択を受け付け、その選択に基づいて加算部においてクリッピングすることなく音声の加算を実行する加算比を設定する。加算比の設定は、まず、クリッピングするチャンネルを、クリッピングすることのない値に設定した後で、他のチャンネルの加算比を、加算比を設定したチャンネルとの出力相対レベルに応じて再度設定すること等で実現する。もちろん、利用者がチャンネル毎の加算比を設定するような構成を設けておいてもよい。従って、各々の加算比処理部は、再生チャンネル数に応じて加算する。
【０１０３】
加算値の変更に当たっては、利用者の指示により行なう場合、再生を一時停止し、音声をミュートして、加算係数を変更する等の処理を行なえば、変更途中に異音等が発生することなく、加算値の変更を実現することができる。デコード音声に対して、加算比を掛け合わせ、合成して出力するまでにクリッピングを検出する検出部を設けておけば、加算比処理部Ａ８及び加算比処理部Ｂ９が加算値を自動的に変更することにより、加算比を再度変更し、クリッピングが起こらないように合成しなおし、異音の発生を防ぐことができる。また、上記検出部がクリッピングする時点をみつけた場合に対応して、音声出力レベルが徐々に小さくなりクリッピングすることがないレベルとなるように、加算係数を変更させる処理部を設けておく。これにより、異音の出力が連続してなされないような装置とすることができる。
【０１０４】
更に、音声の合成は音声再生装置に接続される外部の接続機器の構成に左右される場合がある。例えば図１２に示す外部音響装置９２が音声再生装置に接続される場合を想定する。外部音響装置９２の構成によっては、元の再生コンテンツが、５．１ｃｈを有する場合でも、接続スピーカが３チャンネルしかない場合がある。このような場合、外部音響装置９２のチャンネル数に合わせて、前記任意の一つの音声信号のチャンネル数を統合又は分配し、かつ他方の音声信号のチャンネル数を統合又は分配して合成する。
【０１０５】
また、再生出力するチャンネル数を、利用者が変更する場合がある。このような場合、外部音響装置９２や、音声再生装置内の出力部の設定から利用者による音声出力指定チャンネルに合わせて、前記任意の一つの音声の再生信号チャンネル数を統合又は分配し、かつ他方の音声の再生信号のチャンネル数を統合又は分配し合成する構成をとれば、利用者が音声出力の全部又は一部を設定することで、自動的に加算比処理に必要な加算値を、音声再生装置は設定することができる。
【０１０６】
ここで、主音声の再生コンテンツが５．１ｃｈであって、副音声の再生コンテンツが２ｃｈであり、接続スピーカが３チャンネルしかない場合の音声の統合の一例について、図１３を用いて説明する。上記統合の一例では、図１３に示すように、主音声のＬチャンネルに、主音声のＳＬチャンネルと、副音声のＦＬチャンネルとを加算した上で、第１スピーカから出力させる。また、主音声のＲチャンネルに、主音声のＳＲチャンネルと、副音声のＦＲチャンネルとを加算した上で、第２スピーカから出力させる。更に、主音声のＣチャンネルに、主音声のＳＬチャンネルと、主音声のＳＲチャンネルとを加算した上で、第３スピーカから出力させる。又は、主音声のＬチャンネルは、第１スピーカから出力させる。また、主音声のＲチャンネルは、第２スピーカから出力させる。更に、主音声のＣチャンネルに、副音声のＦＬチャンネルと、副音声のＦＲチャンネルとを加算した上で、第３スピーカから出力させる。
【０１０７】
また、副音声を加算するチャンネルを時間的に変化させても良い。例えば副音声のいずれかのチャンネル若しくは双方のチャンネルを、最初は主音声のＬチャンネルのみに加算し、次に主音声のＬチャンネルと主音声のＣチャンネルに加算し、次に主音声のＣチャンネルのみに加算し、次に主音声のＣチャンネルと主音声のＲチャンネルに加算し、最後に主音声のＲチャンネルのみに加算するというように、時間の経過とともに加算するチャンネルを変化させることもできる。このようにすると、加算音声が視聴者の左方向から右方向へ空間的に移動するように聞こえることとなる。
【０１０８】
次に、主音声及び副音声の再生コンテンツがそれぞれ２ｃｈであって、接続スピーカが６チャンネルある場合の音声の分配の一例について、図１４を用いて説明する。上記分配の一例では、図１４に示すように、主音声のＬチャンネル及びＲチャンネルを変換器で６チャンネルに変換した後で、（１）変換後の主音声のＦＬチャンネルに副音声のＬチャンネルを加算した上で第１スピーカから出力させ、（２）変換後の主音声のＦＲチャンネルに副音声のＲチャンネルを加算した上で第２スピーカから出力させ、（３）変換後の主音声のＳＬチャンネルに副音声のＬチャンネルを加算した上で第３スピーカから出力させ、（４）変換後の主音声のＳＲチャンネルに副音声のＲチャンネルを加算した上で第４スピーカから出力させ、（５）変換後の主音声のＣチャンネルを第５スピーカから出力させ、（６）変換後の主音声のＳＵＢチャンネルを加算した上で第６スピーカから出力させる。
【０１０９】
更に、図１２に示すように、音声再生装置に外部映像機器９１や、外部音響機器９２を接続し、音声再生装置が、外部接続機器の機器ＩＤ等、相手側機器を特定する情報を認識することによって、出力可能なスピーカの数の情報を獲得し、主音声と副音声とを合成するチャンネルの設定情報の獲得や、可変速度再生の際の各出力処理の前後加算の選択を設定するような構成であれば、更に利便性が高まる。
【０１１０】
例えば、音声再生装置が、相手側出力機器の機器種別を知るＩＤ番号等を受け取り、各種設定条件を、本体内又は条件設定用のメモリカード内のテーブルを参照し、設定を行なうような構成をとれば、音声再生装置に対する利用者の操作をともなわずとも、出力可能なチャンネルの数に応じて主音声と副音声とを合成させることが可能である。
【０１１１】
相手機器の情報を得るために、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ（ＨＤＭＩ）とよばれる仕様等で機器を接続する。図１５に、ＨＤＭＩで接続される２つの機器の構成を示す。図１５では、ソース側の機器８１と、シンク側の機器８２と、ＡＶデータ８６を送る送信機８３と、ＡＶデータを受ける受信機８４と、電源オンやチャンネル制御といったコマンドを送るコマンドライン８８と、機器固有情報をやりとりするライン８７と、機器固有情報を格納するＲＯＭ８５とが表示されている。ＨＤＭＩでは、ソース側の機器８１とシンク側の機器８２とが互いに接続可能であると認証手続きを行なうことにより、ソース側の機器８１は、シンク側の機器８２へ、適切なＡＶデータフォーマットでＡＶデータを送る。そのときに機器固有の情報データを送る。ソース側の機器８１である音声再生装置は、この方法により外部映像機器９１や外部音響機器９２の機器固有情報を獲得すれば、合成チャンネル数の制限や、合成画像フォーマットの制限情報等を獲得し、設定を変更することができる。これら獲得した情報は、音声再生装置がデフォルト設定値として保存しておく構成にしておけば、機器接続が変わらない限りいつも同じ状態でのＡＶ鑑賞を行なうことができる。接続機器ＩＤ等の変更があれば、その都度相手機器側の情報を受け、設定を変更すればよい。
【０１１２】
主音声と副音声等との合成出力は、各ＰＣＭバッファに入ったＰＣＭデータを合成し出力することにより行なわれる。このＰＣＭデータを音声再生装置に内蔵されるオーディオＤＡＣから、又は、ＩＥＣ６０９５８等のデジタルオーディオインタフェース規格に対応した光デジタルケーブルから出力することで、ＰＣＭデータを外部音響機器９２に伝送して再生することができる。更に、主音声と副音声とを合成して作成したＰＣＭデータを、オーディオ符号化を施すことにより、ドルビーデジタル方式等のデジタル符号化データに変換し、光デジタルケーブルや、ＨＤＭＩケーブル等で圧縮符号化ストリームのＩＥＣ６１９３７規格等のオーディオデジタルインタフェース規格により、外部接続機器へ出力してもよい。
【０１１３】
これらの外部接続機器としては、ＴＶ等のモニタ出力機器や、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプ等のインタフェース機器、携帯型出力機器、車載用ＡＶ再生機器等が想定される。
【０１１４】
加算出力部１０は、各々の加算比処理部で加算比処理されたオーディオデータを同一のサンプリングレートで、音声クリッピングを起こすことなく音声出力を行なう。更に、サンプリングレートを変換するときや、加算比を変更するとき等に、音声の連続性が保てないときは、音声のミュート処理を施す等の処理も分担する。
【０１１５】
音声合成部６は、図８に示すように、レート変換部７と、加算比処理部Ａ８と、加算比処理部Ｂ９と、加算出力部１０とにより構成される。レート変換部７はオーディオデコード部Ｂ５側のみにある場合を説明したが、レート変換部７は、オーディオデコード部Ａ４側に、又は、オーディオデコード部Ａ４側及びオーディオデコード部Ｂ５側にあってもよい。また、２つの音声を合成する場合を説明したが、３つ以上の圧縮オーディオデータをデコードする各々のデコード部を有し、合成する構成も可能である。
【０１１６】
また、システム全体の基準となるシステム時刻基準自体を可変とし、システム時刻基準参照信号の基準値の更新を可変とするように構成すれば、基準値情報を元として同期再生する複数の音声信号のオーディオ再生時刻情報を合わせてデコードすることにより、互いの同期をとることもできる。
【０１１７】
副音声用の圧縮オーディオデータの符号化データストリームは、一つの記録媒体から提供されるものに限らず、ネットワークで接続された機器から入力される場合もある。また、主音声が記録されている記録媒体とは別の記録媒体から提供される場合もある。両方がネットワークを介して接続された外部機器からダウンロードされて再生される場合もある。また、機器固有の半導体やハードディスク装置等の記録装置に予め記録しておく、又は初期設定として記録されている場合もある。何れにしても、主音声と副音声の同期再生を確保するために、互いの音声再生時刻情報が関連づけられていれば、同期再生が可能である。関連していなければ、同時に再生することはあっても、再生時刻情報をあわせて再生する必要はない。
【０１１８】
また、入力されるストリームは、ＤＶＤのような記録媒体に記録されているストリームや、デジタル放送信号を受信して記録したストリームだけとは限らない。外部からのアナログ信号をデジタル符号化しエンコードしたストリームでもよい。エンコード時において、オーディオ再生時刻情報ＡＰＴＳやビデオ再生時刻情報ＶＰＴＳをつけることにより、再生時にＡＶ同期がはかれるようになる。また、もともとの再生音声に同期した別のオーディオストリームをエンコードしオーディオ再生時刻情報を、もとあったオーディオストリームのオーディオ再生時刻情報を参照して付加することによって、アフレコ再生を実現するシステムを構成することができる。
【０１１９】
また、図６では、コメンタリ映像は、本編の映像の長さよりも短い所定の期間、複数回映し出される。しかしながら、コメンタリ映像は、図１６に示すように、本編の映像の途中から開始し、本編の映像が終了した後でもまだ終了していない場合もある。それに伴って、副音声は主音声が終了しても終了しない（図１６の“ＳＢ”部分参照）。その場合、本編の映像が終了するまでは、副音声は、主音声のオーディオ再生時刻情報ＡＰＴＳに従って、主音声と同期して再生される。主音声が終了すると、副音声は、（１）システム時刻基準ＳＴＣに従って再生されてもよいし、（２）主音声が終了した後の、主音声のオーディオ再生時刻情報ＡＰＴＳを予測し、予測された主音声のオーディオ再生時刻情報ＡＰＴＳに従って再生されてもよいし、又は（３）副音声のオーディオ再生時刻情報ＡＰＴＳに従って再生されてもよい。また、本編の映像が終了すると、コメンタリ映像は拡大して表示されてもよい。
【０１２０】
また、図１７に示すように、効果音（例えば、ブザー音）が主音声に合成されてもよい。効果音の信号にオーディオ再生時刻情報ＡＰＴＳが含まれている場合、効果音は、副音声として処理され、そのオーディオ再生時刻情報ＡＰＴＳが利用されることにより、効果音は主音声及び副音声と同期して再生されてもよい。効果音の信号にオーディオ再生時刻情報ＡＰＴＳが含まれていない場合、効果音の再生開始時刻に該当する主音声側の再生時刻情報ＡＰＴＳを、効果音のオーディオ再生時刻情報と定義すれば、同様に同期再生が可能となる。
【０１２１】
また、図１８に示すように、６ｃｈの主音声に、２ｃｈの副音声を合成する場合、（１）副音声のフロントレフト（ＦＬ）ｃｈの信号を、主音声のレフト（Ｌ）ｃｈの信号とセンター（Ｃ）ｃｈの信号とに加算し、（２）副音声のフロントライト（ＦＲ）ｃｈの信号を、主音声のライト（Ｒ）ｃｈの信号とセンター（Ｃ）ｃｈの信号とに加算する。これにより、主音声と副音声のチャンネル数が異なっても、主音声と副音声とは合成される。この合成時点での音声信号は５．１ｃｈの信号である。この５．１ｃｈの音声信号を、出力スピーカの制限等により３ｃｈに統合しなければならない場合、つまり“ＴＬ”，“ＴＲ”，及び“ＴＣ”の３ｃｈで出力する場合、主音声の信号は、例えば、合成音声の“Ｌ”と“ＳＬ”が統合音声の“ＴＬ”に、合成音声の“Ｒ”と“ＳＲ”が統合音声の“ＴＲ”に、合成音声の“Ｃ”と“ＳＵＢ”が統合音声の“ＴＣ”の３ｃｈに統合される。
【０１２２】
更に、合成することができる複数の音声信号がＤＶＤに記録されている場合、図１９に示すように、ＤＶＤ５００には、複数の音声データ５０１と、付属データ５０１とが記録されてもよい。付属データは、各音声信号の、チャンネル数、符号化方式、サンプリングレート、音声再生区間等を特定する情報である。また、付属データは、加算比情報や、加算チャンネル情報を含んでもよい。また、副音声の開始時間を特定する情報を含んでもよい。これにより、音声再生装置は複数の音声を合成したり、統合することを容易に行なうことができる。
【０１２３】
音声データ５０１と付属データ５０２とは、ネットワークからダウンロードされて、装置内のハードディスク等の記憶部に格納された場合も、上記と同様に、複数の音声信号を合成し再生することができる。
【０１２４】
（実施の形態２）
実施の形態２における音声再生装置の構成を示すブロック図である図８を主として参照しながら、実施の形態２の音声再生装置の構成及び音声再生方法について説明する。
【０１２５】
実施の形態１では、システム時刻基準ＳＴＣを基準として複数の音声と複数の映像のＡＶ同期を実現する方法について説明してきた。実施の形態２では、ＡＶ同期の方法として、音声再生装置は、入力された圧縮オーディオデータから複数の音声信号を分離し、各々のオーディオ再生時刻情報を読み出し、一方の音声信号のオーディオ再生時刻情報を元に主なる音声信号のデコードを実施し、他方の音声信号のオーディオ再生時刻情報を前記主なる音声信号のオーディオ再生時刻情報に合わせてデコードすることにより、互いの同期をとる。
【０１２６】
これまでは、通常再生速度での音声合成と、同期方法について説明してきたが、高速再生（例えば２倍速再生）等の可変速度再生のときの音声合成と、同期方法について、以下に説明する。
【０１２７】
オーディオデコーダが通常再生速度処理以上の処理能力を有するときで、かつ可変速度による音声出力再生処理を行なう能力を有するときには、一方の音声信号のオーディオデコードを可変速度処理した再生時のオーディオ再生時刻情報を元として、他方の音声信号のオーディオ再生時刻情報を元のオーディオ再生時刻情報に合わせてデコードすることにより、互いの同期をとることができる。
【０１２８】
図２０は、オーディオデコード処理後、可変速度処理の前と後のどちらで主音声に副音声を加算するのかを選択して音声合成して再生する処理の流れを示す図である。ステップ３０６で、オーディオデコードした結果をＰＣＭバッファ部へ格納する。ステップ３３１で、オーディオ合成処理の前後どちらかを選択する。判断基準は後で説明する。
【０１２９】
オーディオ合成処理の前を選択した場合（ステップ３３１でＹｅｓ）、ステップ３３２で、主音声のオーディオ再生時刻情報とコメンタリ副音声のオーディオ再生時刻情報とが一致（許容出力時刻差以内で例えば数十ｍｓ以内で一致）すれば、コメンタリ等の副音声を主音声に加算し、ステップ３３３で、オーディオ可変速処理を行なう。他方、オーディオ合成処理の後を選択した場合（ステップ３３１でＮｏ）、ステップ３３４で、主音声をオーディオ可変速処理した後に、ステップ３３５で副音声を主音声に加算する。ステップ３０７で、主音声に副音声を加算した音声を、ビデオの出力と同期を合わせて出力する。
【０１３０】
図２１は、実施の形態２のオーディオ出力処理部６１の可変速制御を行なう方法を説明するためのブロック図であり、図２２に示す再生速度変換機能を行なう時の可変速制御の例を以下に詳しく説明する。
【０１３１】
図２１で、ＰＣＭバッファ部Ａ４１からの音声信号は可変速処理部６２へ入力され、以下に説明する可変速処理が実施される。その後、音声信号は一旦出力バッファ部６３へ格納され、音声合成部６へ出力される。
【０１３２】
可変速度再生の実現方法には、幾種類かの方法がある。第１に、通常速度再生と、スキップ再生とを繰り返す方法、第２に実際に高速にデコード処理する方法である。
【０１３３】
まず、第１の通常再生とスキップ再生とを繰り返す方法について説明する。基本的には、読み出し位置をスキップした部分をカットし、スキップされなかった部分の再生のみを行なうスキップ再生処理である。例えば２倍速度再生を実施する場合、オーディオフレームを全て再生するのではなく、オーディオ出力部内の可変速処理部６２において、オーディオ出力処理変換後に再生時間が半分になるように特定のオーディオフレームをスキップして再生したオーディオデータを作成し、出力バッファ部６３へ格納する。そして、再生するオーディオフレームの部分に該当するオーディオ再生時刻情報ＡＰＴＳ値を取得する。
【０１３４】
他方、ビデオ出力部では、同期情報を獲得し、該当するオーディオ再生時刻情報ＡＰＴＳに対応するビデオを出力するために、特定のフレームの表示をスキップしてＡＶ同期を行なう。つまり、オーディオフレーム処理単位でスキップ再生したときのオーディオ再生時刻情報ＡＰＴＳに同期したビデオ表示を実施することによって、可変速再生時のＡＶ同期をはかる。
【０１３５】
また別の方法として、入力部１で予めスキップして読み出す方法もある。入力部１へは、スキップした後のストリームしか入力されないので、入力されたストリームから、システム時刻基準ＳＴＣ等のシステム基準時刻情報や、オーディオ再生時刻情報ＡＰＴＳ、ビデオ再生時刻情報ＶＰＴＳを読みとることで同期を実現する。これは通常再生のＡＶ同期方法と同じである。ただし、０．５秒から数秒程度再生した後で、またスキップを行なうことで、全体として高速な再生を実現する。
【０１３６】
次に、可変速処理を行なうために、オーディオデコード処理を通常再生速度処理以上の処理能力により行なう場合について説明する。他方のデコード音声を、前記オーディオデコード処理後に加算した上で、前記可変速処理を施すことができる。例えば、コメンタリ等の副音声を主音声に加算した後で、オーディオ出力処理部６１で可変速処理を施すため、加算された音声もデコード音声の可変速処理と同期させた音声出力が可能である。
【０１３７】
他方、副音声を、前記可変速処理後に主音声に加算することもできる。オーディオ出力処理部６１で可変速処理を施した後に、副音声を主音声に加算するため、デコード音声が可変速処理されても、加算された副音声は通常速度音声で加算を行なうことができる。
【０１３８】
まず、高速デコード処理時における同期再生方法について説明する。入力部１が、通常再生に必要な入力速度以上のデータを取り込んで、ビデオストリームとオーディオストリームとに分割した後、各々のバッファ部へストリームを格納する。これにより、複数のビデオデコード部及び複数のオーディオデコード部が起動する。各々のデコーダは、通常の再生速度以上の高速で（再生速度によらず、与えられている資源を有効に活用し）、デコードを実施し、各フレームバッファ部、各ＰＣＭバッファ部にデコード結果を格納する。
【０１３９】
可変速処理を行なうために、オーディオデコード処理能力は通常再生速度処理以上の処理能力が必要となる。例えば１．３倍ぐらいの再生速度を保つためには、再生速度より若干高い１．５倍程度のデコード処理能力があることが望ましい。これは単にデコード処理性能だけでなく、再生メディアからの読み出し処理性能や、転送処理性能についても同様の能力が必要である。
【０１４０】
デコードを高速にすすめ、ＰＣＭバッファ等に保管されたオーディオデータは、次のように処理される。図２２において、上側は可変速処理前の通常速度による再生のデータを示しており、下側は可変速処理後の高速再生のデータを示している。上側は、６オーディオフレーム（１オーディオフレームは、１０数ｍｓ程度）をＴ１の時間で通常再生する場合を示している。他方、下側は１つ目と２つ目のオーディオフレームの再生を重ねて行ない、結果としてＴ１の６分の５の時間であるＴ２の時間で６オーディオフレームを再生した場合を示している。圧縮比を、処理後の時間長を処理前の時間長で割算した値と定義すると、速度比は、圧縮比の逆数となる。従ってここでは、５分の６倍（１．２倍）での高速再生となる。
【０１４１】
このとき重なっているオーディオフレーム再生の一方をフェードアウトさせながら、一方をフェードインすることで重ね合わせを実現する。両者は通常再生速度での重ね合わせとする。そのほかの重ならないオーディオフレームにおいては、通常速度再生となる。高速再生といっても、全てが通常再生速度での再生であるので、原音のピッチが変わることはない。そのため、自然な音声を聞き取ることができように可変速再生を実現することができる。
【０１４２】
主音声と副音声との間でオーディオ符号化方式やサンプリングレートが異なる等によりオーディオフレームサイズが異なる場合がある。可変速再生時においては、オーディオフレームサイズが異なる場合、両者の同期をきっちりととる必要はない。双方が同一の速度比を持ち、ある区切りのよい一定再生時間の間で同期をとれるように再生すれば、結果として両者の同期をはかることができる。
【０１４３】
このようなオーディオ出力処理部６１での可変速制御を実施するとともに、別のデコード音声を、前記オーディオデコード処理後に加算した上で、前記可変速処理を施すか、別のデコード音声を、前記可変速処理後に加算処理を施すかを選択する手段を設けておけば、加算したデータ音声も、元の原音と相違ない音程で再生することが可能である。
【０１４４】
なお、主再生音声と副音声との同期については先に説明したとおりである。加算前に同期をとる場合、もともと全オーディオフレームに対して算出されるＰＴＳをもとに、別音声のＰＴＳを参照して加算すればよい。他方可変速後、付加音加算する場合、オーディオフレームの重なり部分のＰＴＳは、重なっているどちらのオーディオフレームのＰＴＳを有効にするのかという規則を予め定めておけばよい。
【０１４５】
また、副音声側にオーディオ再生時刻情報が全くないストリームが提供された場合、又は再生時刻情報を無視して同時に再生する場合、基本的に、主音声との同期関係がないので、音声再生装置は、現行再生されている主音声に対して、再生の連続性が保たれるように再生すればよい。このときのサンプリングレート変換、加算値変換、出力チャンネル変更等は、先の実施の形態と同様な方法で実施すればよい。
【０１４６】
本実施の形態２のように、特にオーディオの可変速再生においては、オーディオの再生基準時刻であるオーディオ再生時刻情報ＡＰＴＳを用いれば、ＡＶ同期再生が容易である。
【０１４７】
更に、複数映像や音声の同期に関しては、再生合成のための加算の選択手段として、再生ストリームのコンテンツ内容を判断する判断部を設けておく。前記判断部により得られる結果により、再生時に、データから抜き出した音声情報を加算するタイミングとして、オーディオ出力処理の前と後のどちらかを選択し、又はデータから抜き出したテキストもしくは文字情報を加算するタイミングとして、ビデオ出力処理の前と後のどちらかを選択して再生することができる。
【０１４８】
例えば、カラオケの字幕のようにオーディオ及びビデオに同期した各出力処理を施す方がいいか、それとも緊急臨時放送のように（同期性なしで）各出力処理を施した後で文字情報を出す方がいいか、再生コンテンツの内容に従って選択することができる。
【０１４９】
加算の選択部として、利用者による指示内容からコンテンツの再生処理内容を選択する選択部を設けておく。前記選択部により得られる結果により、データから抜き出した音声情報を加算するタイミングとして、オーディオ出力処理の前と後のどちらかを選択し、又はデータから抜き出したテキストもしくは文字情報を加算するタイミングとして、ビデオ出力処理の前と後のどちらかを選択して再生することができる。
【０１５０】
例えば、可変速処理の前に音声情報と文字情報とを加算させるのか、可変速処理の後に音声情報と文字情報とを加算させるのかといった、利用者の指示に従った加算が選択できる。
【０１５１】
加算を行なうタイミングを決定するために、再生するストリームのコンテンツ内容及び利用者による使用用途を判断する判断部を設けておく。前記判断部により得られる結果により、再生時に、データから抜き出した音声情報を加算するタイミングとして、オーディオ出力処理の前と後のどちらかを選択し、又はデータから抜き出したテキストもしくは文字情報を加算するタイミングとして、ビデオ出力処理の前と後のどちらかを選択して再生することができる。
【０１５２】
例えば、カラオケコンテンツであっても利用者の指示で、可変速処理では、可変速処理の前に音声情報と文字情報とを加算させるが、音程のみを変化させる音程変化処理では、音程変化処理の後に音声情報と文字情報とを加算させるといった、コンテンツ内容に加えて利用者の指示内容を加味して各出力処理の前後への加算を選択できる。
【０１５３】
（実施の形態３）
実施の形態３における音声再生装置の構成を示すブロック図である図８と、可変速制御を行なうオーディオ出力処理部の構成を示す図２１を主として参照しながら、実施の形態３の音声再生装置の構成、及び音声再生方法について説明する。
【０１５４】
オーディオ出力処理部６１は、可変速再生処理を行なうと限定するものではない。例えばデコードした音声の音の高さを変える処理を行なってもよい。デジタル放送信号を受信して記録し、少なくともオーディオが符号化されたストリームを、時刻同期を確保しながら再生する際に、オーディオデコード処理後、データから抜き出した音声情報を同期情報によりオーディオ合成処理の前と後のどちらかを選択して加算し再生する。そうすると、例えば、副音声を主音声に加算した後で、オーディオ出力処理で元音声の音程の高低を変化させるか、オーディオ合成処理で元の主音声の音程の高低を変化させた後で副音声を加算するかで、加算された音声情報の出力のさせ方を変えることができる。
【０１５５】
また、オーディオ出力処理部６１は、そのほかに各種サラウンド効果を加えた音響効果処理を実施することもできる。副音声を加えた後で、サラウンド効果を実施するか、サラウンド効果を加えた後で副音声を加えるかを変えることができる。結果として、副音声の広がり感や、出力スピーカ先を変更することができる。そのほかに、映像処理と音響処理との間の同期処理遅延を考慮した遅延設定効果等がオーディオ出力処理部６１によって行なわれてもよい。接続した映像機器と音響機器の出力遅延を、音声再生装置で設定することができるように構成した場合、遅延を施す前に副音声を加えるか、遅延後に副音声を加えるかを設定することができる。
【０１５６】
（実施の形態４）
実施の形態４における画像再生装置及び音声再生装置の構成を示すブロック図である図７及び図８と、実施の形態４における複数映像の同期再生方法を示した流れ図である図２３とを主として参照しながら、実施の形態４の画像再生装置及び音声再生装置の構成、並びに画像再生方法及び音声再生方法について説明する。
【０１５７】
これまでは、オーディオ再生時刻情報ＡＰＴＳをもとに、複数の音声信号の同期を合わせる方法について説明してきた。以下に、ビデオ再生時刻情報ＶＰＴＳをもとに、複数の音声信号の同期を合わせる方法について説明する。
【０１５８】
これは、各々の音声信号のオーディオ再生時刻情報を、主ビデオ信号のビデオ再生時刻情報に合わせてデコードすることにより、互いの同期をとるものである。図２３は、ビデオデコード部Ａ１０４がデコード処理を行なった後、ビデオデコード部Ｂ１０５がデコード後の画像情報を同期情報によりビデオ出力処理の前と後のどちらかを選択して画像合成して再生する処理を示す流れ図である。ステップ３０５で、ビデオデコードした結果をフレームバッファ部Ａ１４１へ格納する。ステップ３５１で、ビデオ合成後にスキップか、合成前にスキップかどちらかを選択する。
【０１５９】
合成後にスキップする場合（ステップ３５１でＹｅｓ）、ビデオデコード部Ｂ１０５がデコードした結果をフレームバッファ部Ｂ１５１へ格納する（ステップ４０５）。そして、ステップ３５２で、ビデオデコード部Ａ１０４の再生時刻情報と、ビデオデコード部Ｂ１０５の再生時刻情報とが一致（許容出力時刻差以内で例えば３３ｍｓ以内で一致）すれば、デコード画像を重ね合わせた後、ステップ３５３で、画像スキップ出力処理を行なう。
【０１６０】
他方、合成前にスキップする場合（ステップ３５１でＮｏ）、ステップ３５４で、画像スキップ処理でスキップした後に、ステップ３５５でビデオデコード部Ａ１０４の再生時刻情報に合わせたビデオデコード部Ｂ１０５の再生時刻情報のデコード画像を重ね合わせる。そして、ステップ３０８で、オーディオの出力と同期を合わせて画像を出力する。
【０１６１】
従って、一方のビデオデコード処理後、他方のビデオデコード時の同期情報によりビデオ出力処理の前と後のどちらかを選択して画像合成して再生する。例えば、他方の画像をデコード画像に加算した後で、画像スキップ出力処理で一方の画像と他方の画像とを同期させて出力するか、画像スキップ処理でスキップした後に他方のデコード画像を加算するかで、加算された画像の出力のさせ方を変えることができる。
【０１６２】
また、図２３に示す処理とは異なり、ビデオ合成処理の前か後かを判定した後で、一旦ビデオスキップ処理を施し、表示するビデオ再生時刻情報ＶＰＴＳに合致する映像に他方のデコード画像を加算してよい。つまり、ビデオ合成処理前の時刻情報が一致する加算は、ビデオスキップ処理を施し、表示するビデオのビデオ再生時刻情報ＶＰＴＳと、再生時刻情報が一致するデコード画像のみを選別して加算し、表示する。他方、ビデオ合成処理後の時刻情報に一致する加算は、ビデオスキップ処理を実施した後で、表示されているビデオのビデオ再生時刻情報ＶＰＴＳには依存せず、デコード画像を加算して表示する。この場合、ビデオスキップ処理を施した後、表示される一方のビデオデコード再生時刻情報とは関係なしに、他方のビデオデコードの再生映像を重ね合わせるといった、処理を施すこともできる。
【０１６３】
このスキップ処理は、Ｉピクチャのみを再生し、ＰピクチャやＢピクチャをスキップ処理する高速Ｉ再生や、ＢピクチャのみをスキップするＩＰ再生等が相当する。これらは、入力部１でＢピクチャのデータを捨ててしまうか、又はデコードした後で捨ててしまうか等により、Ｂピクチャを再生させない。そのため、Ｂピクチャの画像再生用の再生時刻情報は不要となる。従って、スキップ等を伴う高速再生時においては、最終的に出力する画像の再生時刻情報が有効となる。
【０１６４】
各フレームバッファ部からの出力を、画像合成部１０６で加算した後、加算結果をビデオ出力する。スキップ処理において、出力するビデオフレームのビデオ再生時刻情報ＶＰＴＳに対応するコメンタリ等の副画像データがないときには、加算処理を行なうことなく、次のデータの同期にあったフレーム出力時刻まで待つ。ＮＴＳＣ方式の場合、１秒間に約３０枚の画像を出力するので、各々のＰＴＳの時刻差は３３ｍｓ程度である。ビデオ再生時刻情報ＶＰＴＳを基準とする場合、プラスマイナス１６．５ｍｓ以内であれば、同期していると判断して画像等を重ねる処理をすればよい。なお、主オーディオデータとコメンタリ等の副音声のＰＣＭバッファ部の音声合成も同じ原理で同期をはかればよい。こちらは１オーディオフレーム単位１０数ｍｓ（オーディオ圧縮方式の差により数ｍｓから数十ｍｓ）精度以内の差であれば同期していると判断し、合成音を生成すればよい。
【０１６５】
なお、同期に必要な映像又は音声の時刻情報が無い場合、現在出画又は出音しているＰＴＳ値を参照し、そのＰＴＳ値を再生時刻情報に換算し、ビデオデータとオーディオデータとを同期させる時間として設定すれば、通常の同期再生と同じ方法により、データ合成を行なうことができる。
【０１６６】
ここで、録画番組を編集したとき等、映像を主体としてシームレスに編集した場合を想定する。この場合、編集後の映像は途切れなくつながるが、音声は途切れている場合が多い。これはＭＰＥＧによる編集の特徴であるが、映像と音声とが全く同じ方式で同時に符合化されていないことによる。従って、映像を主体とすれば、音声の連続性が保てないし、音声を主体とすれば映像の連続性が保てない。そこで、映像を主体としたシームレス再生時には、ビデオ再生時刻情報ＶＰＴＳをもととして、そのビデオ再生時刻情報ＶＰＴＳに、対応するオーディオ再生時刻情報ＡＰＴＳを合わせるように音声再生をして、同期をかけることが望ましい。
【０１６７】
他方、音声を主体としてシームレスに編集する場合のシームレス再生時は、オーディオ再生時刻情報ＡＰＴＳをもととして、そのオーディオ再生時刻情報ＡＰＴＳに、対応するビデオ再生時刻情報ＶＰＴＳを持つ画像の再生を合わせるように同期をかけることが望ましい。
【０１６８】
シームレス再生時において、両者の連続性をできるだけ保つようにシームレス再生するためには、以下のような方法がある。まず、映像を主体としてシームレス編集をする。接続点の前の映像に対する音声の再生を、一方のオーディオデコード部Ａ４にて、シームレス接続点の前の最後の再生時刻まで行なう。次に、別のオーディオデコード部Ｂ５にて、次のシームレス接続点の最初の画像の再生時刻に対応するオーディオでデコードを行なって、同期する時刻の出音ができるように準備しておく。そして、映像のシームレス再生のビデオ再生時刻情報に従って、両方のデコード音声を切り替えるように再生すればよい。必要に応じて音声についてはフェード処理を施す方が、接続点前後の位相の違いによる異音が発生しにくい。このシームレス再生時においては、主音声のみの連続再生を重んじる場合、副音声の合成は禁止し副音声用のオーディオデコード処理を停止するような構成をとれば、複数のオーディオデコード部を、主音声のシームレス再生のために使用することができる。３つオーディオデコード部を設けておけば、１つは副音声のデコード用に確保しておき、他は主音声のデコード用及びシームレス処理用として使用することができる。更にもう一つオーディオデコード部があれば、副音声もシームレス用に確保し、副音声もシームレス再生が可能となる。
【０１６９】
他方、ビデオデコード後に画像合成部１０６にて画像を合成するときに、画像処理部１６０を設ければ、デコード後に合成画面拡大縮小等の出力サイズ変換を設定した場合、子画面を合成する場合、縮小してから子画面を合成するのか、特定部分を切り出して拡大するのかといった選択が可能となる。元画面の部分拡大や縮小等の選択も可能となる。ほかにも、出力テレビモニタにあわせた高解像から低解像への変換又はその逆の解像度フォーマット変換（４８０Ｉの標準解像度から１０８０Ｉの高画質解像度への変換等）、レターボックスとサイドパネルの出力フォーマット変換、ＮＴＳＣ方式とＰＡＬ方式との間の周波数フォーマット変換等の各種のフォーマット変換、インターレース画質からプログレッシブ画質へのＩＰ変換等を実施することが想定される。これらの順序は、必ずしもこの例のとおりとは限らない。また、フォーマット変換についても、複数のフォーマット変換（解像度フォーマットと出力フォーマット等）を同時に行なうこともある。なお、２つの画像を合成する場合、一方がＮＴＳＣ方式の画像で他方がＰＡＬ方式の画像であるとか、一方が標準画質の画像で他方が高画質の画像であるとき等においては、両者のフォーマットを予め合わせておくと合成しやすい。
【０１７０】
また、これらの重ね合わせた画像は、その画像に対して利用者の操作を助けるＧＵＩ画面等を貼り付けて表示するため、ＧＵＩ画面のメニュー配置に適した画面サイズでの合成が望まれる場合もある。例えば、背景画面に主映像を表示させ、それに子画面でコメンタリ映像を重ね、その上に各種画面設定用の透過メニュー画面を重ねる等の構成をとれば、設定メニューに従った画像効果を利用者が確認しやすい。
【０１７１】
また、米国の放送方式では字幕は、クローズドキャプション信号と呼ばれ、利用者のリモコン操作により、表示と非表示とを切り替えることが仕様で定められている。従って本発明の実施の形態に適用した場合、利用者の指示による、各出力処理の加算の選択と、表示の選択とが望まれる。更に、字幕文字等を、縦方向や横方向にスクロールするとか、ワイプを行なう等の各種表示効果を伴う場合においても、各種出力処理の前後を選択できるようにしてあれば、早送り時においても、重要な情報を見逃してしまう、又は、字幕が全部表示確認されないと次の画面の表示にうつれないといったまどろっこしさが解消される。このような字幕や、字幕の類似例として、米国のクローズドキャプションだけでなく、欧州のテレテキスト等が存在する。
【０１７２】
更に、衛星デジタル放送のデータ放送から、字幕データと音声データとの再生の選択を別々に行なえるようにすると、例えば、データ放送中のストリームデータから抜き出した音声情報はオーディオ出力処理の前に加算し、文字情報はビデオ出力処理の後で加算する等各々の情報毎に別々に加算できるような設定が可能となる。
【０１７３】
これらの各ストリームの再生コンテンツ種別や内容を判断する判断部を設けておけば、再生時に、データから抜き出した音声情報を、前記判断部によって得られた結果により、オーディオ出力処理の前又は後を選択して再生し、又はデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後を選択して再生することができる。よって、入力又は再生媒体を特定せず、同じ再生方法にて対応できる。
【０１７４】
オーディオ及びビデオ出力処理の機能別に、加算の前後の選択ができるように構成すれば、画面拡大後、子画面を追加して、可変速処理を施すといった複数出力処理にも対応することができる。
【０１７５】
また、副音声以外に、ブザー等の付加音、複数の記録音声を加算するためのアフレコ音声、伴奏音にカラオケ等のマイクエコーを加算するマイクエコー音声も、オーディオ出力処理の前又は後を選択して加算することができる構成をとれば、上記と同じ効果が得られる。他方、子画面以外に、字幕や文字スーパ、個人で編集時に挿入したい文字や図形等も、ビデオ出力処理の前又は後を選択して加算することができる構成をとることで、同様な効果が得られる。これは、専用のオーディオ演算素子やデジタルシグナルプロセッサ（ＤＳＰ）を搭載すること、又は高性能のＣＰＵを用いることで実現することができる。
【０１７６】
なお、入力データは、外部から入力されるデータ、外部記録媒体から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【０１７７】
今までは、入力部１が、入力データをビデオ信号とオーディオ信号とに分離する場合について説明してきた。しかし、ビデオ信号とオーディオ信号は予め分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報を入力とし、各々の再生時刻情報を利用して、圧縮ビデオデータと圧縮オーディオデータとを同期させて再生することができる構成であれば、本発明の音声再生方法を実施する音声再生装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、ＡＶ及びデータの混合ファイルと、ＡＶデータ独立のファイルとのどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、ファイル上のデータ情報を互いに関連づけた同期をとって再生する場合全てに適応される。
【０１７８】
このデータ再生方法及び、装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、ＤＶＤプレーヤ又はＤＶＤレコーダ、ＶＣＤの関連機器、ハードディスクレコーダ、パーソナルコンピュータ等がある。本発明の音声再生方法によるＡＶ再生プログラムを作成しておくことにより、パーソナルコンピュータ等へ、外部からの動作プログラムをロードして、音声又は画像を合成しながらＡＶ同期実行動作させることができる。
【０１７９】
なお、図２に示す各構成部の一部又は全部は一つの集積回路（集積チップ）で実現されてもよい。また、図７に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。また、図８に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。また、図１２に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。更に、図２１に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。
【産業上の利用可能性】
【０１８０】
本発明における音声再生方法及び音声再生装置は、符号化されたデジタルの複数の音声信号の同期信号を元に、符号化方式が異なってもサンプリングレートを変換する等、複数の音声信号を混合させるための手段を用いることによって、主音声及び主映像の再生を止めることなく、主音声及び主映像の内容を補足するコメンタリ等の副音声や副映像の挿入再生といった用途に使用することができる。
【技術分野】
【０００１】
本発明は、圧縮符号化されたデジタルの音声信号を再生する音声再生装置に関する。
【背景技術】
【０００２】
近年、ＣＤ−ＲＯＭや、ＤＶＤ−ＲＯＭ、ハードディスク等の各種記録媒体に圧縮されて記録されたデジタルのオーディオ信号及びビデオ信号を読み取って伸張し、伸張した信号を、自らに接続されているディスプレイ及びスピーカ等を通じて再生する再生装置が広く普及してきている。
【０００３】
また、ＢＳデジタル放送、ＣＳデジタル放送、地上デジタル放送等の圧縮されたデジタルのオーディオ信号及びビデオ信号を、記録して再生する装置も普及してきた。
【０００４】
オーディオ信号及びビデオ信号をデジタル信号に符号化して圧縮し、その後にその信号を復号するための既知の規格として、ＭＰＥＧが知られている。ＭＰＥＧでは、多重化されて圧縮符号化されたオーディオ信号とビデオ信号とをデコードした後にオーディオ信号とビデオ信号とを同期させて再生するために、オーディオ信号及びビデオ信号それぞれは、符号時に、信号の再生及び表示を実行する時刻の情報（以下、「時刻情報」という。）が付加されて圧縮される。これにより、圧縮符号化されたデジタルのオーディオ信号及びビデオ信号を伸張する場合、再生装置は、自身が有するシステム時刻基準参照値を基準にし、時刻情報を参照してオーディオ信号とビデオ信号とを同期させながら再生する。
【０００５】
以下に、従来の再生方法について説明する。なお、出願人は、特許文献１に開示されている画像及び音声の再生方法を認識しており、本発明の課題を明確にするために、特許文献１に開示されている再生方法を従来例として簡単に説明する。その方法では、撮影時のアングルが異なる第１及び第２の画像を再生するために、各々のアングルに対応するビデオ信号を別々の動画像復号手段に入力して復号し、別々に復号された画像を結合して一つの画面に表示する。オーディオ信号についても、同様にして、複数のオーディオ信号を別々の音声復号手段で同時に復号して再生する。
【０００６】
以下に、従来の音声の再生方法について図１を用いて説明する。図１は、その再生方法を行なうデュアルオーディオデコーダ１８３の構成を示すブロック図である。図１を参照して、デュアルオーディオデコーダ１８３の具体的な構成を説明する。デュアルオーディオデコーダ１８３には、第１のオーディオデコーダ１８３ａ及び第２のオーディオデコーダ１８３ｂと、第１の音声選択回路１８３ｃ及び第２の音声選択回路１８３ｄとが設けられている。例えば、日本語と英語の２つのオーディオ信号を同時に再生する場合、日本語音声の信号である第１のオーディオ信号は第１のオーディオデコーダ１８３ａに入力され、そこでデコードされる。それと同時に、英語音声の信号である第２のオーディオ信号は第２のオーディオデコーダ１８３ｂに入力され、そこでデコードされる。
【０００７】
これらデコードされた第１及び第２のオーディオ信号は、第１の音声選択回路１８３ｃ及び第２の音声選択回路１８３ｄによって処理される。例えば、音声の出力チャンネルが左右１チャンネルずつである場合、第１及び第２のオーディオ信号は、それぞれがモノラルで１チャンネルずつ出力するように処理される。又は、第１及び第２の何れか一方のみのオーディオ信号が２チャンネルステレオで出力するように処理される。また、音声の出力チャンネルが左右１チャンネルずつよりも多い場合、第１及び第２のオーディオ信号は、ステレオとモノラルの組み合わせ等で出力するように処理される。
【０００８】
更に、ドルビーデジタル方式の５＋１チャンネル構成のオーディオデータについては、第１の音声選択回路１８３ｃ及び第２の音声選択回路１８３ｄは、出力可能な５＋１チャンネルに対して、ステレオ２チャンネルずつを出力したり、一方のオーディオデータの５＋１チャンネルのみを選択して出力したりすることができる。
【特許文献１】特開平１０−１４５７３５号公報（第１０−１１頁、第４図、第８図、第９図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１は、複数のアングルからのデータを、複数の動画像復号手段で復号し、それらを映像データ結合手段によって結合して表示する方法について説明している。また、特許文献１は、動画データに言語の異なる複数の音声データが付加されている場合、各々の音声データを複数の音声復号手段で復号し、各々を混合して再生する方法、及び何れかを選択して再生する方法について説明している。
【００１０】
しかしながら、特許文献１では、２種類のデータを混合するための詳細な実現手段や、再生の同期を確立する手段については、具体的に述べられていない。音声だけに限定しても、再生する２種類の音声データのサンプリングレートが異なっていた場合の混合方法や、各音声データの混合比、サラウンド音声とステレオ音声とのようにチャンネル数の異なる音声データの混合方法、混合区間、各々の音声データの同期の合わせ方について、何ら説明が無い。
【００１１】
例えば、再生しようとする音声がＤＶＤのマルチ音声であったとしても、第１音声がドルビーデジタル方式で圧縮符号化され、第２音声がリニアＰＣＭで符号化されている場合、第１音声をサンプリングレート４８ＫＨｚで５．１ｃｈのサラウンド音声で、第２音声を９６ＫＨｚで２ｃｈのステレオ音声で混合するためには、どちらかのサンプリングレートに一致させる処理や、混合する先を設定するための処理が必要である。
【００１２】
何れにしても、複数のデジタルの音声信号を合成して再生する場合、複数の音声信号を同期させて再生する必要があるが、これまでは、それを実現する手段が存在しない。
【００１３】
本発明は、上記課題を考慮し、複数のデジタルの音声信号を同期させて再生する音声再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
第１の本発明の音声再生装置は、音声信号を再生して出力する装置であって、一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期手段と、前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成手段とを備える。このように、本発明の音声再生装置は、一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を割り当てるので、複数のデジタルの音声信号を同期させて再生することができる。
【００１５】
第２の本発明の音声再生装置は、前記時間軸が、前記複数の音声信号のうちの何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸であって、前記同期手段が、前記何れか一つの音声信号の前記オーディオ再生時刻情報によって特定される時間軸の上に、他の音声信号の前記複数のオーディオ再生時刻情報を割り当てる、装置である。このように、他の音声信号のオーディオ再生時刻情報を、主なる音声信号のオーディオ再生時刻情報に合わせることにより、複数の音声を同期させることができる。
【００１６】
第３の本発明の音声再生装置は、前記時間軸が、可変速再生されている前記何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸である、装置である。これは、可変速再生の場合においても、可変速再生されている音声信号のオーディオ再生時刻情報を利用してデコードすることにより、複数の音声信号を同期させることができるという作用を有する。
【００１７】
第４の本発明の音声再生装置は、前記複数の音声信号はビデオ信号と多重化されており、前記時間軸が、前記ビデオ信号の複数のビデオ再生時刻情報によって特定される時間軸であって、前記同期手段が、前記ビデオ再生時刻情報によって特定される時間軸の上に、前記複数の音声信号それぞれの前記複数のオーディオ再生時刻情報を割り当てる、装置である。これは、再生映像の出力に合わせて、音声同期をはかるという作用を有する。
【００１８】
第５の本発明の音声再生装置は、前記時間軸が、可変速再生されている前記ビデオ信号のビデオ再生時刻情報によって特定される時間軸である、装置である。これは、スキップ再生した映像出力に合わせて、スキップ時点での再生映像に対して音声同期をはかるという作用を有する。
【００１９】
第６の本発明の音声再生装置は、前記時間軸が、可変速しているシステム時刻基準参照信号によって特定される時間軸である、装置である。これは、システム全体の基準となるシステム時刻基準参照信号を可変とすることで、映像と音声の同期をはかるという作用を有する。
【００２０】
第７の本発明の音声再生装置は、更に、前記複数の音声信号のうちの何れか一つの音声信号のサンプリングレートに合わせて、他の音声信号のサンプリングレートを変換するサンプリングレート変換手段を備え、前記合成手段は、前記何れか一つの音声信号と、前記サンプリングレート変換手段によって変換された前記他の音声信号とを合成する、装置である。これにより、複数の音声を一つの音声のサンプリングレートに合わせた再生が可能となる。コンテンツそのものに主音声か、コメンタリ等の副音声かの種別が記録されている場合、例えば主音声のサンプリングレートに合わせて複数の音声を再生すれば、コメンタリ等の副音声の有り無しにかかわらず、ユーザは、一定のサンプリングレートで複数の音声を聞き取ることができる。
【００２１】
第８の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、連続した音声再生区間が最も長い音声信号である、装置である。コメンタリ等の副音声は特定のシーンの解説等、主音声を補助する目的で挿入される場合があり、主音声に対して音声再生区間が短いことが想定される。そのため、再生区間が長い方を選択すれば、途中でのサンプリングレートを変更する回数を減少させることができる。
【００２２】
第９の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、音声再生区間の間欠が最も少ない音声信号である、装置である。例えば、音声再生区間の間欠が最も少ない音声信号を主として、シーンごとに間欠したコメンタリ再生区間をもつ音声を再生する場合、間欠した音声信号のサンプリングレートを、間欠が最も少ない音声信号（間欠がない音声信号を含む）に合わせるようにレート変換すれば、途中でのサンプリングレートを変更する回数を減少させることができる。
【００２３】
第１０の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も高いサンプリングレートを有する音声信号である、装置である。これは、高音質の音声はそのままとして、他の音声のアップサンプリングを行ない、音質をできるだけ保つという作用を有する。
【００２４】
第１１の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も低いサンプリングレートを有する音声信号である、装置である。これは、音声出力のための伝送帯域が限られている場合等、低いサンプリングレートにあわせて変換することで、音声を伝送するデータ量を減らす作用を有する。
【００２５】
第１２の本発明の音声再生装置は、前記何れか一つの音声信号は、前記複数の音声信号のうちの、サンプリングレートが変わらない音声信号である、装置である。途中でサンプリングレートが変更されると、レート再生の変化点において、音声ミュートが必要な場合がある。これは、レート変更されないほうを主として選択し、音声の連続再生を保つという作用を有する。
【００２６】
第１３の本発明の音声再生装置は、更に、前記複数の音声信号のうちの何れか一つの音声信号に他の音声信号を加算することにより前記複数の音声信号を合成する場合、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号を加算する部分のみ減ずる出力レベル調整手段を備える。これにより、加算される側の音声を強調して聞くことができる。例えば、合成した解説音声を注意深く聞きたいとき等、解説音声の再生音声レベルを高くし、主音声の再生音声レベルを減じるという作用を有する。
【００２７】
第１４の本発明の音声再生装置は、前記出力レベル調整手段は、前記何れか一つの音声信号に対して前記他の音声信号を合成する場合であって、利用者によって前記他の音声信号の再生出力レベルをより大きく設定されたとき、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号の再生出力レベルの増加分減じる、装置である。これは、一方を増加させながら、他方をそのままの音量で加算すると、加算音声の一部にて、音声クリッピング等の音声ひずみが発生し、非常に聞きにくい音声となることを防ぐという作用がある。
【００２８】
第１５の本発明の音声再生装置は、更に、前記複数の音声信号のうちの何れか一つの音声信号の再生信号チャンネル数に合わせて、他の音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える。これは、互いの再生信号の再生チャンネル数が異なっても、音声ひずみを起こすことなく、特定の音声信号のチャンネルへの加算を実現するという作用を有する。
【００２９】
第１６の本発明の音声再生装置は、更に、前記音声再生装置に接続される音声出力装置のチャンネル数に合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える。これは、利用者の音声出力装置のチャンネル数（例えば、スピーカ接続数）に合わせて、再生信号チャンネル数を統合又は分配を行ない、音声合成をはかる。
【００３０】
第１７の本発明の音声再生装置は、前記統合分配手段は、利用者による前記音声出力装置の音声出力指定チャンネルに合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する、装置である。これは、利用者の音声出力装置のうち、再生をしたいチャンネル数（例えば、スピーカ接続数）に合わせて、再生信号チャンネル数を統合又は分配し、合成をはかる。
【００３１】
また、本発明は、本発明の音声再生装置の特徴的な構成手段をステップとする音声再生方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現することもできる。プログラムは、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。
【発明の効果】
【００３２】
本発明は、複数のデジタルの音声信号を同期させて再生する音声再生装置を提供することができる。つまり、本発明の音声再生装置は、サンプリングレートや、符号化方式が異なる複数の音声信号の混合、及び可変速度再生における複数の音声信号の同期再生を実行することができる。
【図面の簡単な説明】
【００３３】
【図１】図１は、従来の音声再生方法を行なうデュアルオーディオデコーダの構成図である。
【図２】図２は、実施の形態１における画像音声再生装置の構成を表すブロック図である。
【図３】図３は、実施の形態１における映像と音声の同期再生方法を示す流れ図である。
【図４】図４は、実施の形態における音声再生データの格納方法を説明するための図である。
【図５】図５は、実施の形態における複数の画像を重ねた例を示す図である。
【図６】図６は、実施の形態における本編の映像及びコメンタリ映像が映し出される時間的な関係の一例を示す図である。
【図７】図７は、実施の形態１及び４における、本編の映像に対してコメンタリ映像を重ねる画像再生装置の構成を示すブロック図である。
【図８】図８は、各実施の形態における主音声と副音声とを重ねる音声再生装置の構成図である。
【図９】図９は、主音声のオーディオ再生時刻情報と副音声のオーディオ再生時刻情報との関係を示す図である。
【図１０】図１０は、主音声及び副音声の音声ストリームに、オーディオ再生時刻情報が付加されている様子を示す図である。
【図１１】図１１は、実施の形態１における音声加算方法を説明するための加算出力部の構成例を示す図である。
【図１２】図１２は、実施の形態１の音声再生装置と外部接続機器との接続を説明するための図である。
【図１３】図１３は、音声の統合を説明するための図である。
【図１４】図１４は、音声の分配を説明するための図である。
【図１５】図１５は、実施の形態１の音声再生装置と外部接続機器との接続を説明するための図である。
【図１６】図１６は、主音声が終了した後でも副音声がまだ終了していない様子を示す図である。
【図１７】図１７は、効果音が主音声に合成される様子を示す図である。
【図１８】図１８は、音声信号の合成及び統合を説明するための図である。
【図１９】図１９は、複数の音声信号が記録されているＤＶＤを示す図である。
【図２０】図２０は、実施の形態２における、可変速度処理の前又は後で主音声に副音声を加算して音声合成する処理を示す流れ図である。
【図２１】図２１は、実施の形態２及び３におけるオーディオ出力処理部により可変速制御を行なう方法を説明するためのブロック図である。
【図２２】図２２は、実施の形態２のオーディオ可変速処理の原理を説明するための図である。
【図２３】図２３は、実施の形態４における複数映像の同期再生方法を示す流れ図である。
【符号の説明】
【００３４】
１ 入力部
２ オーディオバッファ部Ａ
３ オーディオバッファ部Ｂ
４ オーディオデコーダ部Ａ
５ オーディオデコーダ部Ｂ
６ 音声合成部
７ レート変換部
８ 加算比処理部Ａ
９ 加算比処理部Ｂ
１０ 加算出力部
【発明を実施するための最良の形態】
【００３５】
以下に、本発明を実施するための最良の形態について、図面を用いて説明する。
（実施の形態１）
はじめに、実施の形態１における画像音声再生装置の構成を示すブロック図である図２を主として参照しながら、実施の形態１の画像音声再生装置の構成、並びに、画像再生方法及び音声再生方法について説明する。なお、本発明は複数のデジタルの音声信号を同期させて再生する技術に関する発明であるが、その技術を詳細に説明する前に、ビデオ信号とオーディオ信号とが多重化された信号を再生する技術について説明する。
【００３６】
図２は実施の形態１における画像音声再生装置の構成を示すブロック図である。実施の形態１における画像音声再生装置は、ビデオ信号とオーディオ信号とが多重化された信号を再生する装置であって、図２に示すように、入力部１と、ビデオバッファ部Ａ１０２と、ビデオバッファ部Ｂ１０３と、ビデオデコード部Ａ１０４と、ビデオデコード部Ｂ１０５と、画像合成部１０６と、オーディオバッファ部Ａ２と、オーディオバッファ部Ｂ３と、オーディオデコード部Ａ４と、オーディオデコード部Ｂ５と、音声合成部６とで構成されている。
【００３７】
ビデオバッファ部Ａ１０２、ビデオバッファ部Ｂ１０３、ビデオデコード部Ａ１０４、ビデオデコード部Ｂ１０５、及び画像合成部１０６は、ビデオ信号を処理する構成部である。オーディオバッファ部Ａ２、オーディオバッファ部Ｂ３、オーディオデコード部Ａ４、オーディオデコード部Ｂ５、及び音声合成部６は、オーディオ信号を処理する構成部である。
【００３８】
入力部１は、各種符号化方式で符号化されたコンテンツや、デジタル放送等の圧縮符号化されたデジタルのオーディオ信号及びビデオ信号を格納する光ディスク等のデータ記録装置等（図示せず）からの、多重化されているオーディオ信号及びビデオ信号の供給を受ける構成部である。また、入力部１は、多重化されているオーディオ信号及びビデオ信号を、ビデオ信号とオーディオ信号とに分離し、ビデオ信号からビデオ再生時刻情報を抽出し、オーディオ信号からオーディオ再生時刻情報を抽出する。実施の形態１では、入力部１へ入力されるビデオ信号及びオーディオ信号は、それぞれ２チャンネルの信号であると仮定する。したがって、入力部１は、多重化されているオーディオ信号及びビデオ信号を、チャンネル毎にビデオ信号とオーディオ信号とに分離する。
【００３９】
次に、ビデオ信号を処理する、ビデオバッファ部Ａ１０２、ビデオバッファ部Ｂ１０３、ビデオデコード部Ａ１０４、ビデオデコード部Ｂ１０５、及び画像合成部１０６それぞれについて説明する。
【００４０】
ビデオバッファ部Ａ１０２は、入力部１によって分離された第１のチャンネルのビデオ信号を格納する構成部である。ビデオバッファ部Ａ１０２は、第１のチャンネルのビデオ信号のうちのビデオ再生時刻情報を格納するビデオ再生時刻情報管理部Ａ１２１と、第１のチャンネルのビデオ信号のうちの圧縮されたビデオデータを格納する圧縮ビデオバッファ部Ａ１２２とで構成されている。ビデオ再生時刻情報管理部Ａ１２１は、第１のチャンネルの圧縮ビデオデータとビデオ再生時刻情報とを関連付けるテーブルを有している。
【００４１】
ビデオバッファ部Ｂ１０３は、入力部１によって分離された第２のチャンネルのビデオ信号を格納する構成部である。ビデオバッファ部Ｂ１０３は、第２のチャンネルのビデオ信号のうちのビデオ再生時刻情報を格納するビデオ再生時刻情報管理部Ｂ１３１と、第２のチャンネルのビデオ信号のうちの圧縮されたビデオデータを格納する圧縮ビデオバッファ部Ｂ１３２とで構成されている。ビデオ再生時刻情報管理部Ｂ１３１は、第２のチャンネルの圧縮ビデオデータとビデオ再生時刻情報とを関連付けるテーブルを有している。
【００４２】
ビデオデコード部Ａ１０４は、圧縮ビデオバッファ部Ａ１２２に格納されている第１のチャンネルの圧縮ビデオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮ビデオデータを、ビデオ再生時刻情報管理部Ａ１２１に格納されているビデオ再生時刻情報に従って伸張する構成部である。ビデオデコード部Ａ１０４は、伸張したビデオデータを格納するフレームバッファ部Ａ１４１を有している。
【００４３】
ビデオデコード部Ｂ１０５は、圧縮ビデオバッファ部Ｂ１３２に格納されている第２のチャンネルの圧縮ビデオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮ビデオデータを、ビデオ再生時刻情報管理部Ｂ１３１に格納されているビデオ再生時刻情報に従って伸張する構成部である。ビデオデコード部Ｂ１０５は、伸張したビデオデータを格納するフレームバッファ部Ｂ１５１を有している。
【００４４】
画像合成部１０６は、ビデオデコード部Ａ１０４及びビデオデコード部Ｂ１０５によって伸張された各ビデオデータを合成して外部の表示部に出力する構成部である。
【００４５】
次に、オーディオ信号を処理する、オーディオバッファ部Ａ２、オーディオバッファ部Ｂ３、オーディオデコード部Ａ４、オーディオデコード部Ｂ５、及び音声合成部６それぞれについて説明する。
【００４６】
オーディオバッファ部Ａ２は、入力部１によって分離された第１のチャンネルのオーディオ信号を格納する構成部である。オーディオバッファ部Ａ２は、第１のチャンネルのオーディオ信号のうちの圧縮されたオーディオデータを格納する圧縮オーディオバッファ部Ａ２１と、第１のチャンネルのオーディオ信号のうちのオーディオ再生時刻情報を格納するオーディオ再生時刻情報管理部Ａ２２とで構成されている。オーディオ再生時刻情報管理部Ａ２２は、第１のチャンネルの圧縮オーディオデータとオーディオ再生時刻情報とを関連付けるテーブルを有している。
【００４７】
オーディオバッファ部Ｂ３は、入力部１によって分離された第２のチャンネルのオーディオ信号を格納する構成部である。オーディオバッファ部Ｂ３は、第２のチャンネルのオーディオ信号のうちの圧縮されたオーディオデータを格納する圧縮オーディオバッファ部Ｂ３１と、第２のチャンネルのオーディオ信号のうちのオーディオ再生時刻情報を格納するオーディオ再生時刻情報管理部Ｂ３２とで構成されている。オーディオ再生時刻情報管理部Ｂ３２は、第２のチャンネルの圧縮オーディオデータとオーディオ再生時刻情報とを関連付けるテーブルを有している。
【００４８】
オーディオデコード部Ａ４は、圧縮オーディオバッファ部Ａ２１に格納されている第１のチャンネルの圧縮オーディオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮オーディオデータを、オーディオ再生時刻情報管理部Ａ２２に格納されているオーディオ再生時刻情報に従って伸張する構成部である。オーディオデコード部Ａ４は、伸張したオーディオデータを格納するＰＣＭバッファ部Ａ４１を有している。
【００４９】
オーディオデコード部Ｂ５は、圧縮オーディオバッファ部Ｂ３１に格納されている第２のチャンネルの圧縮オーディオデータの属性情報（ビデオヘッダ情報）を解析し、圧縮オーディオデータを、オーディオ再生時刻情報管理部Ｂ３２に格納されているオーディオ再生時刻情報に従って伸張する構成部である。オーディオデコード部Ｂ５は、伸張したオーディオデータを格納するＰＣＭバッファ部Ｂ５１を有している。
【００５０】
音声合成部６は、オーディオデコード部Ａ４及びオーディオデコード部Ｂ５によって伸張された各オーディオデータを合成して外部のスピーカに出力する構成部である。
【００５１】
ＭＰＥＧでは、ビデオデータとオーディオデータとを同期させて出力するために、ビデオ信号及びオーディオ信号には、アクセスユニットと呼ばれる復号及び再生の単位毎（ビデオデータの場合は１フレーム毎、オーディオデータの場合は１オーディオフレーム毎）に、その単位をいつ復号及び再生すべきかを示すタイムスタンプ情報が付加されている。このタイムスタンプ情報は、Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（ＰＴＳ）と呼ばれ、ビデオ用は、Ｖｉｄｅｏ ＰＴＳ（以下、「ＶＰＴＳ」という。）と呼ばれ、オーディオ用は、Ａｕｄｉｏ ＰＴＳ（以下、「ＡＰＴＳ」という。）と呼ばれている。それらは、各ビデオフレーム及び各オーディオフレームの出力の時刻管理情報を表している。
【００５２】
画像音声再生装置には、図２には図示していないがシステム基準参照部が設けられている。システム基準参照部は、ＭＰＥＧシステムの基準復号器内部のシステム時刻基準Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ（ＳＴＣ）を発生する構成部である。システム基準参照部は、システム時刻基準ＳＴＣを作成するために、ＤＶＤ等で使用されるプログラムストリーム（ＰＳ）で用いられるＳｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（ＳＣＲ：システム時刻基準参照値）、又は、ＢＳデジタル放送で使用されるトランスポートストリーム（ＴＳ）で用いられるＰｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（ＰＣＲ：プログラム時刻基準参照値）を用いる。システム基準参照部は、各ストリームの最終バイトの到着時（読み込み時）に、ＳＣＲ又はＰＣＲが示す値と同一の値をシステム時刻基準ＳＴＣに設定することによって、基準時刻を設定する。
【００５３】
なお、画像音声再生装置に位相ロックループ（ＰＬＬ）回路を設けるとともに、上記のシステム時刻基準ＳＴＣの値の設定と、ＰＬＬ回路とを組み合わせることとにより、画像音声再生装置は、基準時刻用システムクロックとクロックの周波数が完全に一致したシステム時刻基準ＳＴＣを持つことができる。システム時刻基準ＳＴＣのシステムクロックは２７ＭＨｚで構成される。システム時刻基準ＳＴＣをカウンタ等により分周することにより、各ＰＴＳ（９０ＫＨｚ周期）が参照される。ビデオデコード部Ａ１０４、ビデオデコード部Ｂ１０５、オーディオデコード部Ａ４、及びオーディオデコード部Ｂ５の各デコーダは、システム時刻基準ＳＴＣが、ビデオデータの場合はビデオ再生時刻情報ＶＰＴＳと一致したときに、オーディオデータの場合はオーディオ再生時刻情報ＡＰＴＳと一致したときに、それぞれのアクセスユニットを出力する。システム時刻基準ＳＴＣの精度は９０ＫＨｚである。従って、この９０ＫＨｚの精度の範囲内で、システム時刻基準ＳＴＣとビデオ再生時刻情報ＶＰＴＳ及びオーディオ再生時刻情報ＡＰＴＳとの同期をとるように、各デコーダが各再生単位を再生すれば、ＡＶ同期のとれた出力が行なわれる。
【００５４】
図３は、ＡＶ同期処理の流れ図である。ここでは説明の簡単化のために、１つのチャンネルのビデオのストリームとオーディオのストリームとが多重化された場合を想定する（２つのチャンネルのビデオのストリームとオーディオのストリームとが多重化された場合は後で説明する）。
【００５５】
ステップ３０１及びステップ３０２において、入力部１は、データ記録装置等から入力された符号化データを、圧縮ビデオデータと、ビデオ再生時刻情報ＶＰＴＳと、圧縮オーディオデータと、オーディオ再生時刻情報ＡＰＴＳとに分離する。
【００５６】
圧縮ビデオバッファ部Ａ１２２は圧縮ビデオデータを格納し、ビデオ再生時刻情報管理部Ａ１２１はビデオ再生時刻情報ＶＰＴＳを格納する（ステップ３０１）。その際、ビデオ再生時刻情報管理部Ａ１２１は、圧縮ビデオバッファ部Ａ１２２における各圧縮ビデオデータのアドレスとともに、ビデオ再生時刻情報ＶＰＴＳを格納する。
【００５７】
圧縮オーディオバッファ部Ａ２１は圧縮オーディオデータを格納し、オーディオ再生時刻情報管理部Ａ２２はオーディオ再生時刻情報ＡＰＴＳを格納する（ステップ３０２）。その際、オーディオ再生時刻情報管理部Ａ２２は、図４に示すように、オーディオ再生時刻情報ＡＰＴＳを、スロットという単位で分割し、圧縮オーディオバッファ部Ａ２１における各オーディオデータのアドレスとともに格納する。従って、オーディオ再生時刻情報管理部Ａ２２には、オーディオ再生時刻情報ＡＰＴＳの値と、それに関連する圧縮オーディオデータが格納されているアドレスのポインタとが格納される。
【００５８】
なお、ステップ３０１及びステップ３０２は、ビデオ信号及びオーディオ信号の入力部１への入力の先後に応じて順序が適宜変更される。
【００５９】
圧縮オーディオバッファ部Ａ２１は、データを書き込んだ最終点まで最新の書き込み位置が移動するライトポインタを有している。また、圧縮オーディオバッファ部Ａ２１は、圧縮オーディオデータの読み出し位置を特定するリードポインタをも有しており、オーディオデコード部Ａ４によって圧縮オーディオデータが読み出されることにより、リードポインタの位置を更新する。また、圧縮オーディオバッファ部Ａ２１は、最終アドレスまでデータを書き込んでいけば、最初のアドレスまで書き込み位置がもどるリング状の記憶部である。従って、データが読み出された位置まで、次のデータを書き込むことが可能となり、入力部１によって、ライトポインタがリードポインタを追い越さないようにしながら、圧縮オーディオデータの書き込みが管理される。
【００６０】
次に、ビデオデコード部Ａ１０４は、圧縮ビデオバッファ部Ａ１２２から圧縮ビデオデータを取得し、ビデオ再生時刻情報管理部Ａ１２１からビデオ再生時刻情報ＶＰＴＳを取得する（ステップ３０３）。オーディオデコード部Ａ４は、圧縮オーディオバッファ部Ａ２１から圧縮オーディオデータを取得し、オーディオ再生時刻情報管理部Ａ２２からオーディオ再生時刻情報ＡＰＴＳを取得する（ステップ３０４）。
【００６１】
そして、ビデオデコード部Ａ１０４は、ビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣに達する前に、ビデオデコードを実施し、デコードデータをフレームバッファ部Ａ１４１に格納する（ステップ３０５）。同様に、オーディオデコード部Ａ４は、オーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣに達する前に、オーディオデコードを実施し、デコードデータをＰＣＭバッファ部Ａ４１に格納する（ステップ３０６）。なお、ビデオデコード部Ａ１０４及びオーディオデコード部Ａ４は、各データをデコードするが、デコード後直ちにデコードデータを出力するわけではない。
【００６２】
次に、オーディオデコード部Ａ４は、システム時刻基準ＳＴＣを参照し、オーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣと一致した時点で、又はオーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣを超過した時点で、そのオーディオ再生時刻情報ＡＰＴＳに関連するオーディオデコードデータを、ＰＣＭバッファ部Ａ４１から出力させる（ステップ３０７）。
【００６３】
更に、ビデオデコード部Ａ１０４は、システム時刻基準ＳＴＣを参照し、ビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣと一致した時点で、又はビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣを超過した時点で、そのビデオ再生時刻情報ＶＰＴＳに関連するビデオデコードデータを、フレームバッファ部Ａ１４１から出力させる（ステップ３０８）。
【００６４】
なお、画像音声再生装置は、光出力端子からドルビーデジタル等のストリームをそのまま出力してもよい。この場合、ストリームはストリームバッファ（図示せず）に一旦蓄えられ、オーディオ再生時刻情報ＡＰＴＳがシステム時刻基準ＳＴＣと一致又は超過した時点で、そのオーディオ再生時刻情報ＡＰＴＳに関連するオーディオデコードデータは出力される。
【００６５】
さて、入力されるデータの終了又は、ユーザによる再生の停止が指示されれば（ステップ３０９でＹｅｓ）、画像音声再生装置はデコードを終了する。他方、入力されるデータがあって、ユーザによる再生の停止が指示されなければ（ステップ３０９でＮｏ）、圧縮ビデオバッファ部Ａ１２２が圧縮ビデオデータを格納し、ビデオ再生時刻情報管理部Ａ１２１がビデオ再生時刻情報ＶＰＴＳを格納するビデオ信号格納ステップ（ステップ３０１）に戻る。
【００６６】
上述したように、画像音声再生装置は、システム時刻基準ＳＴＣに対して、ビデオ再生時刻情報ＶＰＴＳ及びオーディオ再生時刻情報ＡＰＴＳを同期させて、ビデオデコードデータ及びオーディオデコードデータを出力する。特に、ビデオ再生時刻情報ＶＰＴＳが、オーディオ再生時刻情報ＡＰＴＳに対して、５０ミリ秒先行する時から、３０ミリ秒遅延する時までの間に、対応するビデオデコードデータとオーディオデコードデータとが出力されれば、リップシンクのずれは気にならない程度となる。
【００６７】
ここまでは、オーディオとビデオとが各々１つのチャンネルのストリームである場合の同期再生の方法を説明してきた。次に、オーディオ及びビデオが各々２つのチャンネルである場合のストリームの同期再生の方法について説明する。
【００６８】
ここでは、図５に示すように、同一画面上において、通常の再生映像である本編の映像の上に、コンテンツ作成者のコメンタリ映像を子画面で重ねるとともに、本編の映像に対応する音声（以下、「主音声」という。）に、コメンタリ映像に対応する音声（以下、「副音声」という。）を重ねる場面を想定する。なお、コメンタリ映像は本編の映像を解説するための映像であって、例えば本編の映像として風景が映し出されているとき、解説者がその風景の地名等を解説する映像がコメンタリ映像である。また、副音声は、コメンタリ映像が映し出されているときに出力される本編の映像を解説する音声であって、コメンタリ映像に付随して出力される。
【００６９】
次に、図６を用いて、本編の映像及びコメンタリ映像が映し出される時間的な関係を説明する。図６は、本編の映像及びコメンタリ映像が映し出される時間的な関係の一例を示す図である。図６に示すように、例えば、本編の映像は番組の最初から最後まで通して映し出され、コメンタリ映像は、番組の途中で、番組の長さよりも短い所定の期間、複数回映し出される。また、副音声は、上述したようにコメンタリ映像が映し出されているときに出力される。なお、コメンタリ映像が映し出される時間は、本編の映像が映し出される時間より長い場合もある。また、副音声が出力される時間は、主音声が出力される時間より長い場合もある。
【００７０】
以下に、本編の映像及び主音声に対してコメンタリ映像及び副音声を重ねる方法について説明する。
【００７１】
まず、本編の映像に対してコメンタリ映像を重ねる方法について、図７を用いて説明する。図７は、本編の映像に対してコメンタリ映像を重ねる画像再生装置の構成を示すブロック図である。
【００７２】
ビデオデコード部Ａ１０４は本編の映像のビデオデータをデコードし、ビデオデコード部Ｂ１０５はコメンタリ映像のビデオデータをデコードする。ビデオデコード部Ａ１０４及びビデオデコード部Ｂ１０５によってデコードされた各デコードデータの同期は、それぞれのビデオストリーム内にあるビデオ再生時刻情報ＶＰＴＳ等によって管理される。各々のビデオ再生時刻情報ＶＰＴＳがシステム時刻基準ＳＴＣと一致したときに、ビデオデコード部Ａ１０４によって得られたデコードデータと、ビデオデコード部Ｂ１０５によって得られたデコードデータとを出力させれば、それら各デコードデータを同期させて出力させることができる。
【００７３】
しかしながら、コメンタリ映像の種類によっては、本編の映像とコメンタリ映像との同期を工夫してとらなければならない場合がある。例えば、本編の映像とコメンタリ映像との一方が映画素材から得られた、１秒間に２４コマ存在する映像であって、他方が１秒間に３０コマ存在する映像である場合である。これをＮＴＳＣ方式の受像機に映し出す場合、画像処理部１６０は、映画素材から得られた映像を１秒間に３０コマ存在するようにフォーマット変換した後に、２つの画像の一方又は双方を拡大したり縮小したりする。その後、フレーム同期部１６２は、２つの画像のフレーム同期を行なう。合成出力部１６１は、一方の画像に他方の画像を重ねて２つの画像を出力する。これにより、本編の映像及びコメンタリ映像は、同期がとられた上で重ね合わされて表示される。
【００７４】
上述したように、本編の映像に対しては主音声が存在し、コメンタリ映像に対しては副音声が存在するので、本編の映像に対してコメンタリ映像を重ねる際、主音声に対して副音声を重ねる必要がある。次に、主音声と副音声とを重ねる音声再生装置について図８を用いて説明する。
【００７５】
図８は、主音声と副音声とを重ねる音声再生装置の構成を示すブロック図である。
図８に示す音声再生装置では、入力部１が、主音声の圧縮オーディオデータ及びオーディオ再生時刻情報ＡＰＴＳをオーディオバッファ部Ａ２に格納し、副音声の圧縮オーディオデータ及びオーディオ再生時刻情報ＡＰＴＳをオーディオバッファ部Ｂ３に格納する。
【００７６】
同期設定部１１は、図９に示すように、主音声の各オーディオ再生時刻情報ＡＰＴＳによって特定される時間軸Ｔの上に、副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。主音声の各オーディオ再生時刻情報ＡＰＴＳは、“Ｍ００”，“Ｍ１１”，“Ｍ２０”，“Ｍ２９”，“Ｍ４０”，及び“Ｍ５２”，・・・が付されている各ブロックである。すなわち、同期設定部１１は、時間軸Ｔの上に、“Ｓ００”，“Ｓ０９”，“Ｓ２０”，“Ｓ３１”，又は“Ｓ４０”，・・・が付されているブロックで示されている副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。その際、同期設定部１１は、副音声の隣接するオーディオ再生時刻情報ＡＰＴＳそれぞれの値の差を保持して、時間軸Ｔの上に副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。
【００７７】
図９の例では、主音声の先頭のオーディオ再生時刻情報ＡＰＴＳ“Ｍ００”と、副音声の先頭のオーディオ再生時刻情報ＡＰＴＳ“Ｓ００”との差が値“１１”である。そのため、同期設定部１１は、副音声の各オーディオ再生時刻情報ＡＰＴＳの値に値“１１”を加えた値に、副音声の各オーディオ再生時刻情報ＡＰＴＳを割り当てる。例えば、副音声のオーディオ再生時刻情報“Ｓ０９”を時間軸Ｔの上に割り当てる場合、同期設定部１１は、その値“０９”に差の値“１１”を加えた値、すなわち値“Ｍ２０”に、オーディオ再生時刻情報“Ｓ０９”を割り当てる。これにより、副音声の各オーディオ再生時刻情報ＡＰＴＳは、副音声の隣接するオーディオ再生時刻情報ＡＰＴＳそれぞれの値の差が保持された状態で、時間軸Ｔの上に割り当てられる。その結果、後述するように、オーディオ再生時刻情報ＡＰＴＳを利用して主音声及び副音声が再生されると、主音声及び副音声は同期して再生される。
【００７８】
同期設定部１１の動作が終了すると、オーディオデコード部Ａ４は、オーディオバッファ部Ａ２に格納された主音声の圧縮オーディオデータをデコードし、オーディオ再生時刻情報ＡＰＴＳを参照することにより、システム時刻基準ＳＴＣに同期した時間に音声を再生する。他方、オーディオデコード部Ｂ５は、オーディオバッファ部Ｂ３に格納された副音声の圧縮オーディオデータをデコードし、オーディオ再生時刻情報ＡＰＴＳを参照することにより、システム時刻基準ＳＴＣに同期した時間に音声を再生する。これにより、主音声と副音声とは同期して再生される。
【００７９】
なお、図９の例では、主音声の先頭のオーディオ再生時刻情報“Ｍ００”と、副音声の先頭のオーディオ再生時刻情報“Ｓ００”との差は値“１１”であるが、その差は、例えばストリームのヘッダに記録されており、コメンタリ映像（副音声）の開始時刻が予め指定されることによって生じる。上記差は“０”でもよい。すなわち、主音声と副音声とが同時にスタートしてもよい。また、ユーザのリモコン操作等により副音声の起動開始時刻が設定された場合、上記差は、起動開始時刻時点での主音声の再生時刻情報と主音声の再生時刻情報との差となる。
【００８０】
次に、以下の場合を考える。一つの記録媒体（ディスク等）に、主音声及び副音声の圧縮オーディオ符号化データからなる音声ストリームが格納されており、主音声及び副音声を識別するフラグ情報が、各オーディオストリームのビットストリームのヘッダ情報内に格納されている。また、主音声フラグを有する音声ストリームが３種類存在し、副音声フラグを有する音声ストリームが１種類存在する。主音声は、ドルビーデジタル５．１ｃｈの日本語音声、ドルビーデジタル５．１ｃｈの英語音声、リニアＰＣＭ２ｃｈ音声の中から選択されて再生される。副音声については、作者の解説用ドルビーデジタル２ｃｈの英語音声が再生される。各々の音声ストリームには、オーディオ再生時刻情報ＡＰＴＳが格納されている。利用者は、主音声を選択するとともに、副音声の混合再生というメニューを選択することによって、主音声及び副音声の同時再生時の音声を選択する。
【００８１】
なお、主音声が英語、副音声が日本語、フランス語、及びドイツ語の何れかであり、副音声が複数存在する場合を想定することができるし、主音声及び副音声の両者が複数存在する場合も想定することができる。
【００８２】
何れにしても、利用者が再生させる音声を選択する。映画等のコンテンツを再生させる場合、映画のシーンを再生する主音声を識別する識別子と、映画作成者の作成上の工夫点を解説したような副音声を識別する識別子とを、コンテンツに予め付与しておき、主音声と副音声とを区別し、かつ両者を同期させて再生することができるようにしておく。これにより、利用者は、主音声と副音声とを同期させて再生することができる。
【００８３】
図１０に、主音声が１ｃｈであり、副音声が３ｃｈである場合の、各々の音声ストリームに、オーディオ再生時刻情報ＡＰＴＳが付加されている様子を示す。副音声は、例えば、英語音声、日本語音声、及び韓国語音声の音声ストリームである。図１０に示すように、各音声ストリームにオーディオ再生時刻情報ＡＰＴＳが格納されているので、上述した同期設定部１１の動作によって、何れの副音声も主音声と同期させて再生することができる。
【００８４】
ところで、複数のオーディオデータをデコードする際、主音声と副音声とのオーディオ符号化方式の違いにより、各データのオーディオフレームサイズが異なる場合がある。しかしながら、各々のオーディオストリームにオーディオ再生時刻情報ＡＰＴＳが付いていれば、システム時刻基準ＳＴＣと各オーディオ再生時刻情報ＡＰＴＳとを利用することにより、主音声と副音声とを同期させて再生することができる。複数のオーディオデコード部が処理の独立性を持つような構成であれば、符号化方式の違いによるオーディオフレーム処理単位が異なっても、各々のオーディオストリームを、各々のオーディオ再生時刻情報ＡＰＴＳに従って同期させて再生することができる。
【００８５】
また、主音声のサンプリングレートと副音声のサンプリングレートとが異なる場合がある。このような場合、レート変換部７は、一方の再生音声信号のサンプリングレートを、他方の再生音声信号のサンプリングレートに合わせて変換する。これにより、主音声及び副音声を、サンプリングレートを合わせて再生することが可能となる。コンテンツそのものに主音声か、コメンタリ等の副音声かの種別が記録されている場合、レート変換部７は、副音声のサンプリングレートを、主音声のサンプリングレートに合わせる。これにより、コメンタリ音声の有り無しにかかわらず、一定のサンプリングレートで主音声及び副音声は再生されるので、ユーザは違和感なく主音声及び副音声を聞くことができる。
【００８６】
サンプリングレート変換の方法としては、デジタル音声をアナログ音声に変換するＤＡコンバータと、その逆の動作を行なうＡＤコンバータとを利用し、デジタル音声を一旦アナログ音声に戻して変換する方法がある。また、サンプリングレートコンバータなる半導体回路を用いることにより所望したサンプリングレートに変換する方法や、互いのサンプリングレートが倍数関係の時に適用しやすい、間引きや、補間によってレート変換音声を生成する方法等がある。
【００８７】
次に、主音声及び副音声の識別子が記録されていない場合等における主となるサンプリングレートを有する音声信号の選択方法について説明する。この主となるサンプリングレートを有する音声信号の選択方法として、連続した音声再生区間がより長い音声信号を選択し、連続した音声再生区間が短い方の音声信号のサンプリングレートを、長い方のサンプリングレートに合わせる方法がある。図６に示すように、コメンタリとして、特定のシーンの解説等、主音声を補助するような目的で副音声が挿入される場合、副音声は主音声に比べて音声再生区間が短い。そこで、再生区間が長い方を、主となるサンプリングレートを有する音声信号として選択し、再生区間が短い方のサンプリングレートを、選択した音声信号のサンプリングレートに合わせて変換する。また、副音声は、図６に示すように、特定のシーンのみが再生される等、再生がストーリの途中から始まり、途中で終了する場合もある。音声再生区間が長い方を主となるサンプリングレートを有する音声信号として選択すれば、同じサンプリングレートの音声が再生される時間が長くなり、ユーザが違和感を持つ時間が短くなるので都合がよい。
【００８８】
別の選択方法として、一つの音声信号を選択するときに、間欠した音声再生区間が無い方の音声信号を選択し、間欠した音声再生区間を持つ方の音声信号のサンプリングレートを、間欠した音声再生区間が無い方の音声信号のサンプリングレートに合わせる。シーン毎に間欠したコメンタリ再生区間を持つ音声信号を再生する場合等、間欠した音声再生区間を有する音声信号のサンプリングレートを、間欠していない方に合わせるように変換する。
【００８９】
また別の選択方法として、一つの音声信号を選択するときに、より高いサンプリングレートを有する音声信号を選択し、低いサンプリングレートを有する音声信号のサンプリングレートを、高いサンプリングレートに合わせて変換する。つまり、高音質の音声信号はそのままとして、他の音声信号のアップサンプリング等を行なうことでレート変換を行ない、合成する。この場合、２つの音声信号のサンプリングレート比は、一方が他方の倍数の関係であれば、レート変換した後で音声合成する回路を簡略化することができる。例えば、一方の音声信号のサンプリングレートが９６ＫＨｚであって、他方の音声信号のサンプリングレートが４８ＫＨｚである場合や、一方が４８ＫＨｚであって、他方が２４ＫＨｚである場合等であれば、周波数補間した音声信号データをそのまま加算することができるため合成しやすい。
【００９０】
逆に、一つの音声信号を選択するときに、より低いサンプリングレートを有する音声信号を選択し、高いサンプリングレートを有する音声信号のサンプリングレートを、低いサンプリングレートに合わせて変換してもよい。音声出力のための伝送帯域が限られている場合や、高音質の再生音声が必要とされない場合等にこの方法を用いる。例えば、特定伝送路を使って音声データを伝送する場合等を想定すると、低いサンプリングレートに合わせて変換することで、音声データの伝送量を減らす効果が見込まれる。この場合も、２つの音声信号のサンプリングレート比は、一方が他方の倍数の関係であれば、レート変換した後で音声合成する回路を簡略化することができる。例えば、一方の音声信号のサンプリングレートが９６ＫＨｚであって、他方の音声信号のサンプリングレートが４８ＫＨｚである場合や、一方が４８ＫＨｚであって、他方が２４ＫＨｚである場合等であれば、周波数間引きした音声信号データをそのまま加算することができるため合成しやすい。
【００９１】
また、一つの音声信号を選択するときに、途中でサンプリングレートが変更されない連続した音声再生区間からなる音声信号を選択し、途中でサンプリングレートが変更される方の音声信号のサンプリングレートを、変更されない方のサンプリングレートに合わせて変換する。複数のコメンタリがあったり、また、主音声においてもときどきサンプリングレートが変更されたりする場合に、この方法を用いる。圧縮オーディオデータのデコード時においては、サンプリングレートの変化点において、音声ミュートが必要な場合がある。従って、レート変更されない方の音声信号を主として選択しておく方が、音声をミュートする区間が少なくなり、音声の連続再生を実現しやすい。
【００９２】
途中で再生コンテンツの符号化方式が変更されることや、サンプリングレートが変更された場合のオーディオデコード部の構成によっては、デコードする符号化方式プログラムやハードウェアの演算回路の設定を変更しなければならない場合がある。このような場合、オーディオデコード部の初期化処理とともに、それと対の圧縮オーディオバッファ部に格納されている圧縮オーディオデータや、リードポインタ、ライトポインタ等の情報もクリアする必要がある。圧縮オーディオバッファ部だけでなく、オーディオ再生時刻情報管理部のオーディオ再生時刻情報ＡＰＴＳ及び格納アドレスポインタの情報も消去する必要がある。このオーディオバッファ情報のクリアは、符号化方式やサンプリングレートが変更される方のみでよい。変更されない方は、連続して圧縮オーディオデータのデコードと再生とを続けることによって、利用者は切換を意識することなく、音声の再生を楽しむことができる。
【００９３】
これらレート変換部７によりサンプリングレート変換されたオーディオデータを加算するために、加算比処理部Ａ８及び加算比処理部Ｂ９は再生出力レベルを変更する。例えば、記録媒体等に、主音声に対するコメンタリ等の副音声の加算比を示す加算比情報が、各オーディオストリーム又は、コメンタリ等の副音声のストリームのヘッダ情報内に格納されている。加算比処理部Ａ８及び加算比処理部Ｂ９は、コメンタリ等の副音声を主音声に合成する場合、その加算比情報に従った値で、主音声及び副音声の一方又は双方に加算比を掛け合わせた上で主音声と副音声とを合成する。例えば、加算比処理部Ａ８及び加算比処理部Ｂ９は、主音声及び副音声の双方を、元音声の０．７倍等に出力レベルを下げて加算する。
【００９４】
通常、加算比情報に従い、各音声に加算比を掛け合わせた音声での再生が行なわれるが、コメンタリ等の副音声を強調したい場合がある。
【００９５】
第１の手法として、別々にデコードされた音声から、任意の一つの音声に対し他方の音声を合成する場合、前記任意の一つの音声の再生出力レベルを、他方の音声を合成する部分のみ減じて両音声を合成し、他方の音声を合成しない部分では、前記任意の一つの音声の再生出力レベルを減じない。例えば、再生出力レベルを一定値“１”とし、２つの音声を合成する場合、加算される側の音声の再生出力レベルを一定値“１”から“０．６”に減じ、加算する側の音声の再生出力レベルを“０．４”にし、全体の再生出力レベルを一定値“１”に保つ。この場合、加算される側の音声を強調して聞くことができる。例えば、合成しようとする音声がコメンタリ音声である場合、解説を注意深く聞きたいとき等、解説音声の再生音声レベルを高くし、主音声の再生音声レベルを減じる。
【００９６】
第２の手法として、利用者が、再生音声レベルを、規定値より高くしたり低くしたりと、任意に設定したい場合に対応し、任意の一つの元の音声に対し他方の音声を合成する部分で、利用者の意図で前記他方の音声レベルがより高く設定された場合、前記任意の一つの元の音声出力レベルを他方の増加分に応じて減じる。なぜならば、他方を増加させながら、一方をそのままの音量で加算すると、加算後の音声の一部において、再生ダイナミックレンジを超える信号成分が生じ、クリッピング等の音声ひずみが発生し、非常に聞きとりにくい音声となってしまう恐れがあるためである。逆に、副音声の出力レベルを低くした場合、相対的に主音声の加算比を上げればよい。
【００９７】
レート変換部７がサンプリングレート変換し、加算比処理部Ａ８及び加算比処理部Ｂ９が加算比の処理を行なうと、加算出力部１０は音声を合成する。その場合、各々の音声の再生チャンネル数が異なる場合がある。図１１に、加算出力部１０の構成例を示す（図の簡単化のためレート変換部７を省略している。）。前記任意の一つの音声の再生信号チャンネル数に合わせて、加算比処理が行なわれた後、加算出力部１０は、他方の音声の再生信号のチャンネル数を統合又は分配して合成する。
【００９８】
例えば、主音声に対するコメンタリ等の副音声の加算チャンネル情報を、各オーディオストリーム又は、コメンタリ側のストリームのヘッダ情報内に格納して、それを記録媒体等に記録しておく。加算出力部１０は、コメンタリ等の副音声を、主音声に合成する場合、その加算チャンネル情報に従った値で、音声を合成する。例えば、加算出力部１０は、副音声を主音声のセンターチャンネルに合成する。
【００９９】
加算チャンネル情報としては、各加算チャンネルのミキシングレベルやチャンネルマッピング、特定チャンネルへ加算制限情報等の加算チャンネル情報や、サンプリングレート、各チャンネルのサンプリングビット数、圧縮ストリームのデータレート等を想定することができる。更に、加算チャンネル情報とともに加算音量係数テーブル等の詳細な加算比情報があれば、副音声は、主音声のフロントライトチャンネルに、０．７倍等に出力レベルを下げて加算、フロントレフトチャンネルに、０．７倍等に出力レベルを下げて加算される。
【０１００】
更に、加算チャンネル情報が、複数のパターンから選択することができるような情報を有する場合では例えば、オーディオデコード部Ａ４によって再生された音声が５．１ｃｈであって、オーディオデコード部Ｂ５によって再生された音声がモノラル１ｃｈであった場合、オーディオデコード部Ｂ５によって再生された音声の加算先として、（第１）センターチャンネルのみ、（第２）フロントライトチャンネルとフロントレフトの２チャンネル、（第３）センターチャンネルとサブウーハチャンネル、（第４）フロントのライトとレフト及ぶサブウーハチャンネル等の選択枝を利用者に示すインタフェースを設けておき、加算先を利用者に選択してもらう。これにより、利用者の希望に応じたチャンネルへの加算比で、各チャンネルの出力ゲインを変更した後で、指定チャンネルの合成を実現することができる。もちろん主音声と副音声とが同じチャンネル数で、利用者から加算チャンネル先の指定が無い場合、各々のチャンネルを加算すればよい。また、利用者の要望により、加算するチャンネルのある副音声の音量を増やす等の変更をしたいときは、主音声がクリッピングしないようにミキシングレベルを調節しなければならない。この場合、加算チャンネルの主音声のゲインを減らす等の変更だけでなく、他の主音声チャンネルとのバランスも考慮し、必要に応じて他チャンネルの加算比を変更する。副音声の音量を上げれば、主音声の音量を下げ、副音声の音量を下げれば、主音声の音量を上げるために、利用者の要望で加算比を柔軟に設定できることが望ましい。
【０１０１】
従来例の特許文献１においても、再生チャンネルが異なる場合の同時再生について若干説明がある。第１の音声をモノラルとしてフロントライトへ、第２の音声をモノラルとしてフロントレフトへと１チャンネルずつ出すこと、又は第１と第２とのいずれか一方の音声をステレオ２ｃｈで出力することについて説明がある。また５．１ｃｈの場合は、第１の音声をステレオ２ｃｈ、第２の音声をステレオ２ｃｈで出す設定、又は第１と第２とのいずれか一方の音声を５．１ｃｈで出力することについて説明があるが、これらは、第１の音声と第２の音声とを合成して出すのではなく、同時に別々のスピーカから出す場合についての説明である。複数の音声を同一のスピーカからの音声に合成して出す方法については詳しく説明が無い。また、複数の音声の同期方法についても詳しく説明されていない。
【０１０２】
また本発明では、コメンタリ等の副音声のチャンネル数が、主音声のチャンネル数より多い場合、複数のチャンネルを主音声のどのチャンネルに統合するか等を設定する選択枝を利用者に示し、利用者から選択を受け付け、その選択に基づいて加算部においてクリッピングすることなく音声の加算を実行する加算比を設定する。加算比の設定は、まず、クリッピングするチャンネルを、クリッピングすることのない値に設定した後で、他のチャンネルの加算比を、加算比を設定したチャンネルとの出力相対レベルに応じて再度設定すること等で実現する。もちろん、利用者がチャンネル毎の加算比を設定するような構成を設けておいてもよい。従って、各々の加算比処理部は、再生チャンネル数に応じて加算する。
【０１０３】
加算値の変更に当たっては、利用者の指示により行なう場合、再生を一時停止し、音声をミュートして、加算係数を変更する等の処理を行なえば、変更途中に異音等が発生することなく、加算値の変更を実現することができる。デコード音声に対して、加算比を掛け合わせ、合成して出力するまでにクリッピングを検出する検出部を設けておけば、加算比処理部Ａ８及び加算比処理部Ｂ９が加算値を自動的に変更することにより、加算比を再度変更し、クリッピングが起こらないように合成しなおし、異音の発生を防ぐことができる。また、上記検出部がクリッピングする時点をみつけた場合に対応して、音声出力レベルが徐々に小さくなりクリッピングすることがないレベルとなるように、加算係数を変更させる処理部を設けておく。これにより、異音の出力が連続してなされないような装置とすることができる。
【０１０４】
更に、音声の合成は音声再生装置に接続される外部の接続機器の構成に左右される場合がある。例えば図１２に示す外部音響装置９２が音声再生装置に接続される場合を想定する。外部音響装置９２の構成によっては、元の再生コンテンツが、５．１ｃｈを有する場合でも、接続スピーカが３チャンネルしかない場合がある。このような場合、外部音響装置９２のチャンネル数に合わせて、前記任意の一つの音声信号のチャンネル数を統合又は分配し、かつ他方の音声信号のチャンネル数を統合又は分配して合成する。
【０１０５】
また、再生出力するチャンネル数を、利用者が変更する場合がある。このような場合、外部音響装置９２や、音声再生装置内の出力部の設定から利用者による音声出力指定チャンネルに合わせて、前記任意の一つの音声の再生信号チャンネル数を統合又は分配し、かつ他方の音声の再生信号のチャンネル数を統合又は分配し合成する構成をとれば、利用者が音声出力の全部又は一部を設定することで、自動的に加算比処理に必要な加算値を、音声再生装置は設定することができる。
【０１０６】
ここで、主音声の再生コンテンツが５．１ｃｈであって、副音声の再生コンテンツが２ｃｈであり、接続スピーカが３チャンネルしかない場合の音声の統合の一例について、図１３を用いて説明する。上記統合の一例では、図１３に示すように、主音声のＬチャンネルに、主音声のＳＬチャンネルと、副音声のＦＬチャンネルとを加算した上で、第１スピーカから出力させる。また、主音声のＲチャンネルに、主音声のＳＲチャンネルと、副音声のＦＲチャンネルとを加算した上で、第２スピーカから出力させる。更に、主音声のＣチャンネルに、主音声のＳＬチャンネルと、主音声のＳＲチャンネルとを加算した上で、第３スピーカから出力させる。又は、主音声のＬチャンネルは、第１スピーカから出力させる。また、主音声のＲチャンネルは、第２スピーカから出力させる。更に、主音声のＣチャンネルに、副音声のＦＬチャンネルと、副音声のＦＲチャンネルとを加算した上で、第３スピーカから出力させる。
【０１０７】
また、副音声を加算するチャンネルを時間的に変化させても良い。例えば副音声のいずれかのチャンネル若しくは双方のチャンネルを、最初は主音声のＬチャンネルのみに加算し、次に主音声のＬチャンネルと主音声のＣチャンネルに加算し、次に主音声のＣチャンネルのみに加算し、次に主音声のＣチャンネルと主音声のＲチャンネルに加算し、最後に主音声のＲチャンネルのみに加算するというように、時間の経過とともに加算するチャンネルを変化させることもできる。このようにすると、加算音声が視聴者の左方向から右方向へ空間的に移動するように聞こえることとなる。
【０１０８】
次に、主音声及び副音声の再生コンテンツがそれぞれ２ｃｈであって、接続スピーカが６チャンネルある場合の音声の分配の一例について、図１４を用いて説明する。上記分配の一例では、図１４に示すように、主音声のＬチャンネル及びＲチャンネルを変換器で６チャンネルに変換した後で、（１）変換後の主音声のＦＬチャンネルに副音声のＬチャンネルを加算した上で第１スピーカから出力させ、（２）変換後の主音声のＦＲチャンネルに副音声のＲチャンネルを加算した上で第２スピーカから出力させ、（３）変換後の主音声のＳＬチャンネルに副音声のＬチャンネルを加算した上で第３スピーカから出力させ、（４）変換後の主音声のＳＲチャンネルに副音声のＲチャンネルを加算した上で第４スピーカから出力させ、（５）変換後の主音声のＣチャンネルを第５スピーカから出力させ、（６）変換後の主音声のＳＵＢチャンネルを加算した上で第６スピーカから出力させる。
【０１０９】
更に、図１２に示すように、音声再生装置に外部映像機器９１や、外部音響機器９２を接続し、音声再生装置が、外部接続機器の機器ＩＤ等、相手側機器を特定する情報を認識することによって、出力可能なスピーカの数の情報を獲得し、主音声と副音声とを合成するチャンネルの設定情報の獲得や、可変速度再生の際の各出力処理の前後加算の選択を設定するような構成であれば、更に利便性が高まる。
【０１１０】
例えば、音声再生装置が、相手側出力機器の機器種別を知るＩＤ番号等を受け取り、各種設定条件を、本体内又は条件設定用のメモリカード内のテーブルを参照し、設定を行なうような構成をとれば、音声再生装置に対する利用者の操作をともなわずとも、出力可能なチャンネルの数に応じて主音声と副音声とを合成させることが可能である。
【０１１１】
相手機器の情報を得るために、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ（ＨＤＭＩ）とよばれる仕様等で機器を接続する。図１５に、ＨＤＭＩで接続される２つの機器の構成を示す。図１５では、ソース側の機器８１と、シンク側の機器８２と、ＡＶデータ８６を送る送信機８３と、ＡＶデータを受ける受信機８４と、電源オンやチャンネル制御といったコマンドを送るコマンドライン８８と、機器固有情報をやりとりするライン８７と、機器固有情報を格納するＲＯＭ８５とが表示されている。ＨＤＭＩでは、ソース側の機器８１とシンク側の機器８２とが互いに接続可能であると認証手続きを行なうことにより、ソース側の機器８１は、シンク側の機器８２へ、適切なＡＶデータフォーマットでＡＶデータを送る。そのときに機器固有の情報データを送る。ソース側の機器８１である音声再生装置は、この方法により外部映像機器９１や外部音響機器９２の機器固有情報を獲得すれば、合成チャンネル数の制限や、合成画像フォーマットの制限情報等を獲得し、設定を変更することができる。これら獲得した情報は、音声再生装置がデフォルト設定値として保存しておく構成にしておけば、機器接続が変わらない限りいつも同じ状態でのＡＶ鑑賞を行なうことができる。接続機器ＩＤ等の変更があれば、その都度相手機器側の情報を受け、設定を変更すればよい。
【０１１２】
主音声と副音声等との合成出力は、各ＰＣＭバッファに入ったＰＣＭデータを合成し出力することにより行なわれる。このＰＣＭデータを音声再生装置に内蔵されるオーディオＤＡＣから、又は、ＩＥＣ６０９５８等のデジタルオーディオインタフェース規格に対応した光デジタルケーブルから出力することで、ＰＣＭデータを外部音響機器９２に伝送して再生することができる。更に、主音声と副音声とを合成して作成したＰＣＭデータを、オーディオ符号化を施すことにより、ドルビーデジタル方式等のデジタル符号化データに変換し、光デジタルケーブルや、ＨＤＭＩケーブル等で圧縮符号化ストリームのＩＥＣ６１９３７規格等のオーディオデジタルインタフェース規格により、外部接続機器へ出力してもよい。
【０１１３】
これらの外部接続機器としては、ＴＶ等のモニタ出力機器や、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプ等のインタフェース機器、携帯型出力機器、車載用ＡＶ再生機器等が想定される。
【０１１４】
加算出力部１０は、各々の加算比処理部で加算比処理されたオーディオデータを同一のサンプリングレートで、音声クリッピングを起こすことなく音声出力を行なう。更に、サンプリングレートを変換するときや、加算比を変更するとき等に、音声の連続性が保てないときは、音声のミュート処理を施す等の処理も分担する。
【０１１５】
音声合成部６は、図８に示すように、レート変換部７と、加算比処理部Ａ８と、加算比処理部Ｂ９と、加算出力部１０とにより構成される。レート変換部７はオーディオデコード部Ｂ５側のみにある場合を説明したが、レート変換部７は、オーディオデコード部Ａ４側に、又は、オーディオデコード部Ａ４側及びオーディオデコード部Ｂ５側にあってもよい。また、２つの音声を合成する場合を説明したが、３つ以上の圧縮オーディオデータをデコードする各々のデコード部を有し、合成する構成も可能である。
【０１１６】
また、システム全体の基準となるシステム時刻基準自体を可変とし、システム時刻基準参照信号の基準値の更新を可変とするように構成すれば、基準値情報を元として同期再生する複数の音声信号のオーディオ再生時刻情報を合わせてデコードすることにより、互いの同期をとることもできる。
【０１１７】
副音声用の圧縮オーディオデータの符号化データストリームは、一つの記録媒体から提供されるものに限らず、ネットワークで接続された機器から入力される場合もある。また、主音声が記録されている記録媒体とは別の記録媒体から提供される場合もある。両方がネットワークを介して接続された外部機器からダウンロードされて再生される場合もある。また、機器固有の半導体やハードディスク装置等の記録装置に予め記録しておく、又は初期設定として記録されている場合もある。何れにしても、主音声と副音声の同期再生を確保するために、互いの音声再生時刻情報が関連づけられていれば、同期再生が可能である。関連していなければ、同時に再生することはあっても、再生時刻情報をあわせて再生する必要はない。
【０１１８】
また、入力されるストリームは、ＤＶＤのような記録媒体に記録されているストリームや、デジタル放送信号を受信して記録したストリームだけとは限らない。外部からのアナログ信号をデジタル符号化しエンコードしたストリームでもよい。エンコード時において、オーディオ再生時刻情報ＡＰＴＳやビデオ再生時刻情報ＶＰＴＳをつけることにより、再生時にＡＶ同期がはかれるようになる。また、もともとの再生音声に同期した別のオーディオストリームをエンコードしオーディオ再生時刻情報を、もとあったオーディオストリームのオーディオ再生時刻情報を参照して付加することによって、アフレコ再生を実現するシステムを構成することができる。
【０１１９】
また、図６では、コメンタリ映像は、本編の映像の長さよりも短い所定の期間、複数回映し出される。しかしながら、コメンタリ映像は、図１６に示すように、本編の映像の途中から開始し、本編の映像が終了した後でもまだ終了していない場合もある。それに伴って、副音声は主音声が終了しても終了しない（図１６の“ＳＢ”部分参照）。その場合、本編の映像が終了するまでは、副音声は、主音声のオーディオ再生時刻情報ＡＰＴＳに従って、主音声と同期して再生される。主音声が終了すると、副音声は、（１）システム時刻基準ＳＴＣに従って再生されてもよいし、（２）主音声が終了した後の、主音声のオーディオ再生時刻情報ＡＰＴＳを予測し、予測された主音声のオーディオ再生時刻情報ＡＰＴＳに従って再生されてもよいし、又は（３）副音声のオーディオ再生時刻情報ＡＰＴＳに従って再生されてもよい。また、本編の映像が終了すると、コメンタリ映像は拡大して表示されてもよい。
【０１２０】
また、図１７に示すように、効果音（例えば、ブザー音）が主音声に合成されてもよい。効果音の信号にオーディオ再生時刻情報ＡＰＴＳが含まれている場合、効果音は、副音声として処理され、そのオーディオ再生時刻情報ＡＰＴＳが利用されることにより、効果音は主音声及び副音声と同期して再生されてもよい。効果音の信号にオーディオ再生時刻情報ＡＰＴＳが含まれていない場合、効果音の再生開始時刻に該当する主音声側の再生時刻情報ＡＰＴＳを、効果音のオーディオ再生時刻情報と定義すれば、同様に同期再生が可能となる。
【０１２１】
また、図１８に示すように、６ｃｈの主音声に、２ｃｈの副音声を合成する場合、（１）副音声のフロントレフト（ＦＬ）ｃｈの信号を、主音声のレフト（Ｌ）ｃｈの信号とセンター（Ｃ）ｃｈの信号とに加算し、（２）副音声のフロントライト（ＦＲ）ｃｈの信号を、主音声のライト（Ｒ）ｃｈの信号とセンター（Ｃ）ｃｈの信号とに加算する。これにより、主音声と副音声のチャンネル数が異なっても、主音声と副音声とは合成される。この合成時点での音声信号は５．１ｃｈの信号である。この５．１ｃｈの音声信号を、出力スピーカの制限等により３ｃｈに統合しなければならない場合、つまり“ＴＬ”，“ＴＲ”，及び“ＴＣ”の３ｃｈで出力する場合、主音声の信号は、例えば、合成音声の“Ｌ”と“ＳＬ”が統合音声の“ＴＬ”に、合成音声の“Ｒ”と“ＳＲ”が統合音声の“ＴＲ”に、合成音声の“Ｃ”と“ＳＵＢ”が統合音声の“ＴＣ”の３ｃｈに統合される。
【０１２２】
更に、合成することができる複数の音声信号がＤＶＤに記録されている場合、図１９に示すように、ＤＶＤ５００には、複数の音声データ５０１と、付属データ５０１とが記録されてもよい。付属データは、各音声信号の、チャンネル数、符号化方式、サンプリングレート、音声再生区間等を特定する情報である。また、付属データは、加算比情報や、加算チャンネル情報を含んでもよい。また、副音声の開始時間を特定する情報を含んでもよい。これにより、音声再生装置は複数の音声を合成したり、統合することを容易に行なうことができる。
【０１２３】
音声データ５０１と付属データ５０２とは、ネットワークからダウンロードされて、装置内のハードディスク等の記憶部に格納された場合も、上記と同様に、複数の音声信号を合成し再生することができる。
【０１２４】
（実施の形態２）
実施の形態２における音声再生装置の構成を示すブロック図である図８を主として参照しながら、実施の形態２の音声再生装置の構成及び音声再生方法について説明する。
【０１２５】
実施の形態１では、システム時刻基準ＳＴＣを基準として複数の音声と複数の映像のＡＶ同期を実現する方法について説明してきた。実施の形態２では、ＡＶ同期の方法として、音声再生装置は、入力された圧縮オーディオデータから複数の音声信号を分離し、各々のオーディオ再生時刻情報を読み出し、一方の音声信号のオーディオ再生時刻情報を元に主なる音声信号のデコードを実施し、他方の音声信号のオーディオ再生時刻情報を前記主なる音声信号のオーディオ再生時刻情報に合わせてデコードすることにより、互いの同期をとる。
【０１２６】
これまでは、通常再生速度での音声合成と、同期方法について説明してきたが、高速再生（例えば２倍速再生）等の可変速度再生のときの音声合成と、同期方法について、以下に説明する。
【０１２７】
オーディオデコーダが通常再生速度処理以上の処理能力を有するときで、かつ可変速度による音声出力再生処理を行なう能力を有するときには、一方の音声信号のオーディオデコードを可変速度処理した再生時のオーディオ再生時刻情報を元として、他方の音声信号のオーディオ再生時刻情報を元のオーディオ再生時刻情報に合わせてデコードすることにより、互いの同期をとることができる。
【０１２８】
図２０は、オーディオデコード処理後、可変速度処理の前と後のどちらで主音声に副音声を加算するのかを選択して音声合成して再生する処理の流れを示す図である。ステップ３０６で、オーディオデコードした結果をＰＣＭバッファ部へ格納する。ステップ３３１で、オーディオ合成処理の前後どちらかを選択する。判断基準は後で説明する。
【０１２９】
オーディオ合成処理の前を選択した場合（ステップ３３１でＹｅｓ）、ステップ３３２で、主音声のオーディオ再生時刻情報とコメンタリ副音声のオーディオ再生時刻情報とが一致（許容出力時刻差以内で例えば数十ｍｓ以内で一致）すれば、コメンタリ等の副音声を主音声に加算し、ステップ３３３で、オーディオ可変速処理を行なう。他方、オーディオ合成処理の後を選択した場合（ステップ３３１でＮｏ）、ステップ３３４で、主音声をオーディオ可変速処理した後に、ステップ３３５で副音声を主音声に加算する。ステップ３０７で、主音声に副音声を加算した音声を、ビデオの出力と同期を合わせて出力する。
【０１３０】
図２１は、実施の形態２のオーディオ出力処理部６１の可変速制御を行なう方法を説明するためのブロック図であり、図２２に示す再生速度変換機能を行なう時の可変速制御の例を以下に詳しく説明する。
【０１３１】
図２１で、ＰＣＭバッファ部Ａ４１からの音声信号は可変速処理部６２へ入力され、以下に説明する可変速処理が実施される。その後、音声信号は一旦出力バッファ部６３へ格納され、音声合成部６へ出力される。
【０１３２】
可変速度再生の実現方法には、幾種類かの方法がある。第１に、通常速度再生と、スキップ再生とを繰り返す方法、第２に実際に高速にデコード処理する方法である。
【０１３３】
まず、第１の通常再生とスキップ再生とを繰り返す方法について説明する。基本的には、読み出し位置をスキップした部分をカットし、スキップされなかった部分の再生のみを行なうスキップ再生処理である。例えば２倍速度再生を実施する場合、オーディオフレームを全て再生するのではなく、オーディオ出力部内の可変速処理部６２において、オーディオ出力処理変換後に再生時間が半分になるように特定のオーディオフレームをスキップして再生したオーディオデータを作成し、出力バッファ部６３へ格納する。そして、再生するオーディオフレームの部分に該当するオーディオ再生時刻情報ＡＰＴＳ値を取得する。
【０１３４】
他方、ビデオ出力部では、同期情報を獲得し、該当するオーディオ再生時刻情報ＡＰＴＳに対応するビデオを出力するために、特定のフレームの表示をスキップしてＡＶ同期を行なう。つまり、オーディオフレーム処理単位でスキップ再生したときのオーディオ再生時刻情報ＡＰＴＳに同期したビデオ表示を実施することによって、可変速再生時のＡＶ同期をはかる。
【０１３５】
また別の方法として、入力部１で予めスキップして読み出す方法もある。入力部１へは、スキップした後のストリームしか入力されないので、入力されたストリームから、システム時刻基準ＳＴＣ等のシステム基準時刻情報や、オーディオ再生時刻情報ＡＰＴＳ、ビデオ再生時刻情報ＶＰＴＳを読みとることで同期を実現する。これは通常再生のＡＶ同期方法と同じである。ただし、０．５秒から数秒程度再生した後で、またスキップを行なうことで、全体として高速な再生を実現する。
【０１３６】
次に、可変速処理を行なうために、オーディオデコード処理を通常再生速度処理以上の処理能力により行なう場合について説明する。他方のデコード音声を、前記オーディオデコード処理後に加算した上で、前記可変速処理を施すことができる。例えば、コメンタリ等の副音声を主音声に加算した後で、オーディオ出力処理部６１で可変速処理を施すため、加算された音声もデコード音声の可変速処理と同期させた音声出力が可能である。
【０１３７】
他方、副音声を、前記可変速処理後に主音声に加算することもできる。オーディオ出力処理部６１で可変速処理を施した後に、副音声を主音声に加算するため、デコード音声が可変速処理されても、加算された副音声は通常速度音声で加算を行なうことができる。
【０１３８】
まず、高速デコード処理時における同期再生方法について説明する。入力部１が、通常再生に必要な入力速度以上のデータを取り込んで、ビデオストリームとオーディオストリームとに分割した後、各々のバッファ部へストリームを格納する。これにより、複数のビデオデコード部及び複数のオーディオデコード部が起動する。各々のデコーダは、通常の再生速度以上の高速で（再生速度によらず、与えられている資源を有効に活用し）、デコードを実施し、各フレームバッファ部、各ＰＣＭバッファ部にデコード結果を格納する。
【０１３９】
可変速処理を行なうために、オーディオデコード処理能力は通常再生速度処理以上の処理能力が必要となる。例えば１．３倍ぐらいの再生速度を保つためには、再生速度より若干高い１．５倍程度のデコード処理能力があることが望ましい。これは単にデコード処理性能だけでなく、再生メディアからの読み出し処理性能や、転送処理性能についても同様の能力が必要である。
【０１４０】
デコードを高速にすすめ、ＰＣＭバッファ等に保管されたオーディオデータは、次のように処理される。図２２において、上側は可変速処理前の通常速度による再生のデータを示しており、下側は可変速処理後の高速再生のデータを示している。上側は、６オーディオフレーム（１オーディオフレームは、１０数ｍｓ程度）をＴ１の時間で通常再生する場合を示している。他方、下側は１つ目と２つ目のオーディオフレームの再生を重ねて行ない、結果としてＴ１の６分の５の時間であるＴ２の時間で６オーディオフレームを再生した場合を示している。圧縮比を、処理後の時間長を処理前の時間長で割算した値と定義すると、速度比は、圧縮比の逆数となる。従ってここでは、５分の６倍（１．２倍）での高速再生となる。
【０１４１】
このとき重なっているオーディオフレーム再生の一方をフェードアウトさせながら、一方をフェードインすることで重ね合わせを実現する。両者は通常再生速度での重ね合わせとする。そのほかの重ならないオーディオフレームにおいては、通常速度再生となる。高速再生といっても、全てが通常再生速度での再生であるので、原音のピッチが変わることはない。そのため、自然な音声を聞き取ることができように可変速再生を実現することができる。
【０１４２】
主音声と副音声との間でオーディオ符号化方式やサンプリングレートが異なる等によりオーディオフレームサイズが異なる場合がある。可変速再生時においては、オーディオフレームサイズが異なる場合、両者の同期をきっちりととる必要はない。双方が同一の速度比を持ち、ある区切りのよい一定再生時間の間で同期をとれるように再生すれば、結果として両者の同期をはかることができる。
【０１４３】
このようなオーディオ出力処理部６１での可変速制御を実施するとともに、別のデコード音声を、前記オーディオデコード処理後に加算した上で、前記可変速処理を施すか、別のデコード音声を、前記可変速処理後に加算処理を施すかを選択する手段を設けておけば、加算したデータ音声も、元の原音と相違ない音程で再生することが可能である。
【０１４４】
なお、主再生音声と副音声との同期については先に説明したとおりである。加算前に同期をとる場合、もともと全オーディオフレームに対して算出されるＰＴＳをもとに、別音声のＰＴＳを参照して加算すればよい。他方可変速後、付加音加算する場合、オーディオフレームの重なり部分のＰＴＳは、重なっているどちらのオーディオフレームのＰＴＳを有効にするのかという規則を予め定めておけばよい。
【０１４５】
また、副音声側にオーディオ再生時刻情報が全くないストリームが提供された場合、又は再生時刻情報を無視して同時に再生する場合、基本的に、主音声との同期関係がないので、音声再生装置は、現行再生されている主音声に対して、再生の連続性が保たれるように再生すればよい。このときのサンプリングレート変換、加算値変換、出力チャンネル変更等は、先の実施の形態と同様な方法で実施すればよい。
【０１４６】
本実施の形態２のように、特にオーディオの可変速再生においては、オーディオの再生基準時刻であるオーディオ再生時刻情報ＡＰＴＳを用いれば、ＡＶ同期再生が容易である。
【０１４７】
更に、複数映像や音声の同期に関しては、再生合成のための加算の選択手段として、再生ストリームのコンテンツ内容を判断する判断部を設けておく。前記判断部により得られる結果により、再生時に、データから抜き出した音声情報を加算するタイミングとして、オーディオ出力処理の前と後のどちらかを選択し、又はデータから抜き出したテキストもしくは文字情報を加算するタイミングとして、ビデオ出力処理の前と後のどちらかを選択して再生することができる。
【０１４８】
例えば、カラオケの字幕のようにオーディオ及びビデオに同期した各出力処理を施す方がいいか、それとも緊急臨時放送のように（同期性なしで）各出力処理を施した後で文字情報を出す方がいいか、再生コンテンツの内容に従って選択することができる。
【０１４９】
加算の選択部として、利用者による指示内容からコンテンツの再生処理内容を選択する選択部を設けておく。前記選択部により得られる結果により、データから抜き出した音声情報を加算するタイミングとして、オーディオ出力処理の前と後のどちらかを選択し、又はデータから抜き出したテキストもしくは文字情報を加算するタイミングとして、ビデオ出力処理の前と後のどちらかを選択して再生することができる。
【０１５０】
例えば、可変速処理の前に音声情報と文字情報とを加算させるのか、可変速処理の後に音声情報と文字情報とを加算させるのかといった、利用者の指示に従った加算が選択できる。
【０１５１】
加算を行なうタイミングを決定するために、再生するストリームのコンテンツ内容及び利用者による使用用途を判断する判断部を設けておく。前記判断部により得られる結果により、再生時に、データから抜き出した音声情報を加算するタイミングとして、オーディオ出力処理の前と後のどちらかを選択し、又はデータから抜き出したテキストもしくは文字情報を加算するタイミングとして、ビデオ出力処理の前と後のどちらかを選択して再生することができる。
【０１５２】
例えば、カラオケコンテンツであっても利用者の指示で、可変速処理では、可変速処理の前に音声情報と文字情報とを加算させるが、音程のみを変化させる音程変化処理では、音程変化処理の後に音声情報と文字情報とを加算させるといった、コンテンツ内容に加えて利用者の指示内容を加味して各出力処理の前後への加算を選択できる。
【０１５３】
（実施の形態３）
実施の形態３における音声再生装置の構成を示すブロック図である図８と、可変速制御を行なうオーディオ出力処理部の構成を示す図２１を主として参照しながら、実施の形態３の音声再生装置の構成、及び音声再生方法について説明する。
【０１５４】
オーディオ出力処理部６１は、可変速再生処理を行なうと限定するものではない。例えばデコードした音声の音の高さを変える処理を行なってもよい。デジタル放送信号を受信して記録し、少なくともオーディオが符号化されたストリームを、時刻同期を確保しながら再生する際に、オーディオデコード処理後、データから抜き出した音声情報を同期情報によりオーディオ合成処理の前と後のどちらかを選択して加算し再生する。そうすると、例えば、副音声を主音声に加算した後で、オーディオ出力処理で元音声の音程の高低を変化させるか、オーディオ合成処理で元の主音声の音程の高低を変化させた後で副音声を加算するかで、加算された音声情報の出力のさせ方を変えることができる。
【０１５５】
また、オーディオ出力処理部６１は、そのほかに各種サラウンド効果を加えた音響効果処理を実施することもできる。副音声を加えた後で、サラウンド効果を実施するか、サラウンド効果を加えた後で副音声を加えるかを変えることができる。結果として、副音声の広がり感や、出力スピーカ先を変更することができる。そのほかに、映像処理と音響処理との間の同期処理遅延を考慮した遅延設定効果等がオーディオ出力処理部６１によって行なわれてもよい。接続した映像機器と音響機器の出力遅延を、音声再生装置で設定することができるように構成した場合、遅延を施す前に副音声を加えるか、遅延後に副音声を加えるかを設定することができる。
【０１５６】
（実施の形態４）
実施の形態４における画像再生装置及び音声再生装置の構成を示すブロック図である図７及び図８と、実施の形態４における複数映像の同期再生方法を示した流れ図である図２３とを主として参照しながら、実施の形態４の画像再生装置及び音声再生装置の構成、並びに画像再生方法及び音声再生方法について説明する。
【０１５７】
これまでは、オーディオ再生時刻情報ＡＰＴＳをもとに、複数の音声信号の同期を合わせる方法について説明してきた。以下に、ビデオ再生時刻情報ＶＰＴＳをもとに、複数の音声信号の同期を合わせる方法について説明する。
【０１５８】
これは、各々の音声信号のオーディオ再生時刻情報を、主ビデオ信号のビデオ再生時刻情報に合わせてデコードすることにより、互いの同期をとるものである。図２３は、ビデオデコード部Ａ１０４がデコード処理を行なった後、ビデオデコード部Ｂ１０５がデコード後の画像情報を同期情報によりビデオ出力処理の前と後のどちらかを選択して画像合成して再生する処理を示す流れ図である。ステップ３０５で、ビデオデコードした結果をフレームバッファ部Ａ１４１へ格納する。ステップ３５１で、ビデオ合成後にスキップか、合成前にスキップかどちらかを選択する。
【０１５９】
合成後にスキップする場合（ステップ３５１でＹｅｓ）、ビデオデコード部Ｂ１０５がデコードした結果をフレームバッファ部Ｂ１５１へ格納する（ステップ４０５）。そして、ステップ３５２で、ビデオデコード部Ａ１０４の再生時刻情報と、ビデオデコード部Ｂ１０５の再生時刻情報とが一致（許容出力時刻差以内で例えば３３ｍｓ以内で一致）すれば、デコード画像を重ね合わせた後、ステップ３５３で、画像スキップ出力処理を行なう。
【０１６０】
他方、合成前にスキップする場合（ステップ３５１でＮｏ）、ステップ３５４で、画像スキップ処理でスキップした後に、ステップ３５５でビデオデコード部Ａ１０４の再生時刻情報に合わせたビデオデコード部Ｂ１０５の再生時刻情報のデコード画像を重ね合わせる。そして、ステップ３０８で、オーディオの出力と同期を合わせて画像を出力する。
【０１６１】
従って、一方のビデオデコード処理後、他方のビデオデコード時の同期情報によりビデオ出力処理の前と後のどちらかを選択して画像合成して再生する。例えば、他方の画像をデコード画像に加算した後で、画像スキップ出力処理で一方の画像と他方の画像とを同期させて出力するか、画像スキップ処理でスキップした後に他方のデコード画像を加算するかで、加算された画像の出力のさせ方を変えることができる。
【０１６２】
また、図２３に示す処理とは異なり、ビデオ合成処理の前か後かを判定した後で、一旦ビデオスキップ処理を施し、表示するビデオ再生時刻情報ＶＰＴＳに合致する映像に他方のデコード画像を加算してよい。つまり、ビデオ合成処理前の時刻情報が一致する加算は、ビデオスキップ処理を施し、表示するビデオのビデオ再生時刻情報ＶＰＴＳと、再生時刻情報が一致するデコード画像のみを選別して加算し、表示する。他方、ビデオ合成処理後の時刻情報に一致する加算は、ビデオスキップ処理を実施した後で、表示されているビデオのビデオ再生時刻情報ＶＰＴＳには依存せず、デコード画像を加算して表示する。この場合、ビデオスキップ処理を施した後、表示される一方のビデオデコード再生時刻情報とは関係なしに、他方のビデオデコードの再生映像を重ね合わせるといった、処理を施すこともできる。
【０１６３】
このスキップ処理は、Ｉピクチャのみを再生し、ＰピクチャやＢピクチャをスキップ処理する高速Ｉ再生や、ＢピクチャのみをスキップするＩＰ再生等が相当する。これらは、入力部１でＢピクチャのデータを捨ててしまうか、又はデコードした後で捨ててしまうか等により、Ｂピクチャを再生させない。そのため、Ｂピクチャの画像再生用の再生時刻情報は不要となる。従って、スキップ等を伴う高速再生時においては、最終的に出力する画像の再生時刻情報が有効となる。
【０１６４】
各フレームバッファ部からの出力を、画像合成部１０６で加算した後、加算結果をビデオ出力する。スキップ処理において、出力するビデオフレームのビデオ再生時刻情報ＶＰＴＳに対応するコメンタリ等の副画像データがないときには、加算処理を行なうことなく、次のデータの同期にあったフレーム出力時刻まで待つ。ＮＴＳＣ方式の場合、１秒間に約３０枚の画像を出力するので、各々のＰＴＳの時刻差は３３ｍｓ程度である。ビデオ再生時刻情報ＶＰＴＳを基準とする場合、プラスマイナス１６．５ｍｓ以内であれば、同期していると判断して画像等を重ねる処理をすればよい。なお、主オーディオデータとコメンタリ等の副音声のＰＣＭバッファ部の音声合成も同じ原理で同期をはかればよい。こちらは１オーディオフレーム単位１０数ｍｓ（オーディオ圧縮方式の差により数ｍｓから数十ｍｓ）精度以内の差であれば同期していると判断し、合成音を生成すればよい。
【０１６５】
なお、同期に必要な映像又は音声の時刻情報が無い場合、現在出画又は出音しているＰＴＳ値を参照し、そのＰＴＳ値を再生時刻情報に換算し、ビデオデータとオーディオデータとを同期させる時間として設定すれば、通常の同期再生と同じ方法により、データ合成を行なうことができる。
【０１６６】
ここで、録画番組を編集したとき等、映像を主体としてシームレスに編集した場合を想定する。この場合、編集後の映像は途切れなくつながるが、音声は途切れている場合が多い。これはＭＰＥＧによる編集の特徴であるが、映像と音声とが全く同じ方式で同時に符合化されていないことによる。従って、映像を主体とすれば、音声の連続性が保てないし、音声を主体とすれば映像の連続性が保てない。そこで、映像を主体としたシームレス再生時には、ビデオ再生時刻情報ＶＰＴＳをもととして、そのビデオ再生時刻情報ＶＰＴＳに、対応するオーディオ再生時刻情報ＡＰＴＳを合わせるように音声再生をして、同期をかけることが望ましい。
【０１６７】
他方、音声を主体としてシームレスに編集する場合のシームレス再生時は、オーディオ再生時刻情報ＡＰＴＳをもととして、そのオーディオ再生時刻情報ＡＰＴＳに、対応するビデオ再生時刻情報ＶＰＴＳを持つ画像の再生を合わせるように同期をかけることが望ましい。
【０１６８】
シームレス再生時において、両者の連続性をできるだけ保つようにシームレス再生するためには、以下のような方法がある。まず、映像を主体としてシームレス編集をする。接続点の前の映像に対する音声の再生を、一方のオーディオデコード部Ａ４にて、シームレス接続点の前の最後の再生時刻まで行なう。次に、別のオーディオデコード部Ｂ５にて、次のシームレス接続点の最初の画像の再生時刻に対応するオーディオでデコードを行なって、同期する時刻の出音ができるように準備しておく。そして、映像のシームレス再生のビデオ再生時刻情報に従って、両方のデコード音声を切り替えるように再生すればよい。必要に応じて音声についてはフェード処理を施す方が、接続点前後の位相の違いによる異音が発生しにくい。このシームレス再生時においては、主音声のみの連続再生を重んじる場合、副音声の合成は禁止し副音声用のオーディオデコード処理を停止するような構成をとれば、複数のオーディオデコード部を、主音声のシームレス再生のために使用することができる。３つオーディオデコード部を設けておけば、１つは副音声のデコード用に確保しておき、他は主音声のデコード用及びシームレス処理用として使用することができる。更にもう一つオーディオデコード部があれば、副音声もシームレス用に確保し、副音声もシームレス再生が可能となる。
【０１６９】
他方、ビデオデコード後に画像合成部１０６にて画像を合成するときに、画像処理部１６０を設ければ、デコード後に合成画面拡大縮小等の出力サイズ変換を設定した場合、子画面を合成する場合、縮小してから子画面を合成するのか、特定部分を切り出して拡大するのかといった選択が可能となる。元画面の部分拡大や縮小等の選択も可能となる。ほかにも、出力テレビモニタにあわせた高解像から低解像への変換又はその逆の解像度フォーマット変換（４８０Ｉの標準解像度から１０８０Ｉの高画質解像度への変換等）、レターボックスとサイドパネルの出力フォーマット変換、ＮＴＳＣ方式とＰＡＬ方式との間の周波数フォーマット変換等の各種のフォーマット変換、インターレース画質からプログレッシブ画質へのＩＰ変換等を実施することが想定される。これらの順序は、必ずしもこの例のとおりとは限らない。また、フォーマット変換についても、複数のフォーマット変換（解像度フォーマットと出力フォーマット等）を同時に行なうこともある。なお、２つの画像を合成する場合、一方がＮＴＳＣ方式の画像で他方がＰＡＬ方式の画像であるとか、一方が標準画質の画像で他方が高画質の画像であるとき等においては、両者のフォーマットを予め合わせておくと合成しやすい。
【０１７０】
また、これらの重ね合わせた画像は、その画像に対して利用者の操作を助けるＧＵＩ画面等を貼り付けて表示するため、ＧＵＩ画面のメニュー配置に適した画面サイズでの合成が望まれる場合もある。例えば、背景画面に主映像を表示させ、それに子画面でコメンタリ映像を重ね、その上に各種画面設定用の透過メニュー画面を重ねる等の構成をとれば、設定メニューに従った画像効果を利用者が確認しやすい。
【０１７１】
また、米国の放送方式では字幕は、クローズドキャプション信号と呼ばれ、利用者のリモコン操作により、表示と非表示とを切り替えることが仕様で定められている。従って本発明の実施の形態に適用した場合、利用者の指示による、各出力処理の加算の選択と、表示の選択とが望まれる。更に、字幕文字等を、縦方向や横方向にスクロールするとか、ワイプを行なう等の各種表示効果を伴う場合においても、各種出力処理の前後を選択できるようにしてあれば、早送り時においても、重要な情報を見逃してしまう、又は、字幕が全部表示確認されないと次の画面の表示にうつれないといったまどろっこしさが解消される。このような字幕や、字幕の類似例として、米国のクローズドキャプションだけでなく、欧州のテレテキスト等が存在する。
【０１７２】
更に、衛星デジタル放送のデータ放送から、字幕データと音声データとの再生の選択を別々に行なえるようにすると、例えば、データ放送中のストリームデータから抜き出した音声情報はオーディオ出力処理の前に加算し、文字情報はビデオ出力処理の後で加算する等各々の情報毎に別々に加算できるような設定が可能となる。
【０１７３】
これらの各ストリームの再生コンテンツ種別や内容を判断する判断部を設けておけば、再生時に、データから抜き出した音声情報を、前記判断部によって得られた結果により、オーディオ出力処理の前又は後を選択して再生し、又はデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後を選択して再生することができる。よって、入力又は再生媒体を特定せず、同じ再生方法にて対応できる。
【０１７４】
オーディオ及びビデオ出力処理の機能別に、加算の前後の選択ができるように構成すれば、画面拡大後、子画面を追加して、可変速処理を施すといった複数出力処理にも対応することができる。
【０１７５】
また、副音声以外に、ブザー等の付加音、複数の記録音声を加算するためのアフレコ音声、伴奏音にカラオケ等のマイクエコーを加算するマイクエコー音声も、オーディオ出力処理の前又は後を選択して加算することができる構成をとれば、上記と同じ効果が得られる。他方、子画面以外に、字幕や文字スーパ、個人で編集時に挿入したい文字や図形等も、ビデオ出力処理の前又は後を選択して加算することができる構成をとることで、同様な効果が得られる。これは、専用のオーディオ演算素子やデジタルシグナルプロセッサ（ＤＳＰ）を搭載すること、又は高性能のＣＰＵを用いることで実現することができる。
【０１７６】
なお、入力データは、外部から入力されるデータ、外部記録媒体から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【０１７７】
今までは、入力部１が、入力データをビデオ信号とオーディオ信号とに分離する場合について説明してきた。しかし、ビデオ信号とオーディオ信号は予め分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報を入力とし、各々の再生時刻情報を利用して、圧縮ビデオデータと圧縮オーディオデータとを同期させて再生することができる構成であれば、本発明の音声再生方法を実施する音声再生装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、ＡＶ及びデータの混合ファイルと、ＡＶデータ独立のファイルとのどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、ファイル上のデータ情報を互いに関連づけた同期をとって再生する場合全てに適応される。
【０１７８】
このデータ再生方法及び、装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、ＤＶＤプレーヤ又はＤＶＤレコーダ、ＶＣＤの関連機器、ハードディスクレコーダ、パーソナルコンピュータ等がある。本発明の音声再生方法によるＡＶ再生プログラムを作成しておくことにより、パーソナルコンピュータ等へ、外部からの動作プログラムをロードして、音声又は画像を合成しながらＡＶ同期実行動作させることができる。
【０１７９】
なお、図２に示す各構成部の一部又は全部は一つの集積回路（集積チップ）で実現されてもよい。また、図７に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。また、図８に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。また、図１２に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。更に、図２１に示す各構成部の一部又は全部も一つの集積回路（集積チップ）で実現されてもよい。
【産業上の利用可能性】
【０１８０】
本発明における音声再生方法及び音声再生装置は、符号化されたデジタルの複数の音声信号の同期信号を元に、符号化方式が異なってもサンプリングレートを変換する等、複数の音声信号を混合させるための手段を用いることによって、主音声及び主映像の再生を止めることなく、主音声及び主映像の内容を補足するコメンタリ等の副音声や副映像の挿入再生といった用途に使用することができる。
【特許請求の範囲】
【請求項１】
音声信号を再生して出力する音声再生装置であって、
一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期手段と、
前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成手段と
を備える音声再生装置。
【請求項２】
前記時間軸は、前記複数の音声信号のうちの何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸であって、
前記同期手段は、前記何れか一つの音声信号の前記オーディオ再生時刻情報によって特定される時間軸の上に、他の音声信号の前記複数のオーディオ再生時刻情報を割り当てる
請求項１記載の音声再生装置。
【請求項３】
前記時間軸は、可変速再生されている前記何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸である
請求項２記載の音声再生装置。
【請求項４】
前記複数の音声信号はビデオ信号と多重化されており、
前記時間軸は、前記ビデオ信号の複数のビデオ再生時刻情報によって特定される時間軸であって、
前記同期手段は、前記ビデオ再生時刻情報によって特定される時間軸の上に、前記複数の音声信号それぞれの前記複数のオーディオ再生時刻情報を割り当てる
請求項１記載の音声再生装置。
【請求項５】
前記時間軸は、可変速再生されている前記ビデオ信号のビデオ再生時刻情報によって特定される時間軸である
請求項４記載の音声再生装置。
【請求項６】
前記時間軸は、可変速しているシステム時刻基準参照信号によって特定される時間軸である
請求項１記載の音声再生装置。
【請求項７】
更に、
前記複数の音声信号のうちの何れか一つの音声信号のサンプリングレートに合わせて、他の音声信号のサンプリングレートを変換するサンプリングレート変換手段を備え、
前記合成手段は、前記何れか一つの音声信号と、前記サンプリングレート変換手段によって変換された前記他の音声信号とを合成する
請求項１記載の音声再生装置。
【請求項８】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、連続した音声再生区間が最も長い音声信号である
請求項７記載の音声再生装置。
【請求項９】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、音声再生区間の間欠が最も少ない音声信号である
請求項７記載の音声再生装置。
【請求項１０】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も高いサンプリングレートを有する音声信号である
請求項７記載の音声再生装置。
【請求項１１】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も低いサンプリングレートを有する音声信号である
請求項７記載の音声再生装置。
【請求項１２】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、サンプリングレートが変わらない音声信号である
請求項７記載の音声再生装置。
【請求項１３】
更に、
前記複数の音声信号のうちの何れか一つの音声信号に他の音声信号を加算することにより前記複数の音声信号を合成する場合、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号を加算する部分のみ減ずる出力レベル調整手段を備える
請求項１記載の音声再生装置。
【請求項１４】
前記出力レベル調整手段は、前記何れか一つの音声信号に対して前記他の音声信号を合成する場合であって、利用者によって前記他の音声信号の再生出力レベルをより大きく設定されたとき、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号の再生出力レベルの増加分減じる
請求項１３記載の音声再生装置。
【請求項１５】
更に、
前記複数の音声信号のうちの何れか一つの音声信号の再生信号チャンネル数に合わせて、他の音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える
請求項１記載の音声再生装置。
【請求項１６】
更に、
前記音声再生装置に接続される音声出力装置のチャンネル数に合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える
請求項１記載の音声再生装置。
【請求項１７】
前記統合分配手段は、利用者による前記音声出力装置の音声出力指定チャンネルに合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する
請求項１６記載の音声再生装置。
【請求項１８】
音声信号を再生して出力する音声再生方法であって、
一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期ステップと、
前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成ステップと
を含む音声再生方法。
【請求項１９】
音声信号を再生して出力するためのプログラムであって、
一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期ステップと、
前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
音声信号を再生して出力する音声再生装置であって、
一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期手段と、
前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成手段と
を備える音声再生装置。
【請求項２】
前記時間軸は、前記複数の音声信号のうちの何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸であって、
前記同期手段は、前記何れか一つの音声信号の前記オーディオ再生時刻情報によって特定される時間軸の上に、他の音声信号の前記複数のオーディオ再生時刻情報を割り当てる
請求項１記載の音声再生装置。
【請求項３】
前記時間軸は、可変速再生されている前記何れか一つの音声信号の複数の前記オーディオ再生時刻情報によって特定される時間軸である
請求項２記載の音声再生装置。
【請求項４】
前記複数の音声信号はビデオ信号と多重化されており、
前記時間軸は、前記ビデオ信号の複数のビデオ再生時刻情報によって特定される時間軸であって、
前記同期手段は、前記ビデオ再生時刻情報によって特定される時間軸の上に、前記複数の音声信号それぞれの前記複数のオーディオ再生時刻情報を割り当てる
請求項１記載の音声再生装置。
【請求項５】
前記時間軸は、可変速再生されている前記ビデオ信号のビデオ再生時刻情報によって特定される時間軸である
請求項４記載の音声再生装置。
【請求項６】
前記時間軸は、可変速しているシステム時刻基準参照信号によって特定される時間軸である
請求項１記載の音声再生装置。
【請求項７】
更に、
前記複数の音声信号のうちの何れか一つの音声信号のサンプリングレートに合わせて、他の音声信号のサンプリングレートを変換するサンプリングレート変換手段を備え、
前記合成手段は、前記何れか一つの音声信号と、前記サンプリングレート変換手段によって変換された前記他の音声信号とを合成する
請求項１記載の音声再生装置。
【請求項８】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、連続した音声再生区間が最も長い音声信号である
請求項７記載の音声再生装置。
【請求項９】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、音声再生区間の間欠が最も少ない音声信号である
請求項７記載の音声再生装置。
【請求項１０】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も高いサンプリングレートを有する音声信号である
請求項７記載の音声再生装置。
【請求項１１】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、最も低いサンプリングレートを有する音声信号である
請求項７記載の音声再生装置。
【請求項１２】
前記何れか一つの音声信号は、前記複数の音声信号のうちの、サンプリングレートが変わらない音声信号である
請求項７記載の音声再生装置。
【請求項１３】
更に、
前記複数の音声信号のうちの何れか一つの音声信号に他の音声信号を加算することにより前記複数の音声信号を合成する場合、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号を加算する部分のみ減ずる出力レベル調整手段を備える
請求項１記載の音声再生装置。
【請求項１４】
前記出力レベル調整手段は、前記何れか一つの音声信号に対して前記他の音声信号を合成する場合であって、利用者によって前記他の音声信号の再生出力レベルをより大きく設定されたとき、前記何れか一つの音声信号の再生出力レベルを、前記他の音声信号の再生出力レベルの増加分減じる
請求項１３記載の音声再生装置。
【請求項１５】
更に、
前記複数の音声信号のうちの何れか一つの音声信号の再生信号チャンネル数に合わせて、他の音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える
請求項１記載の音声再生装置。
【請求項１６】
更に、
前記音声再生装置に接続される音声出力装置のチャンネル数に合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する統合分配手段を備える
請求項１記載の音声再生装置。
【請求項１７】
前記統合分配手段は、利用者による前記音声出力装置の音声出力指定チャンネルに合わせて、各前記音声信号の再生信号チャンネル数を統合又は分配する
請求項１６記載の音声再生装置。
【請求項１８】
音声信号を再生して出力する音声再生方法であって、
一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期ステップと、
前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成ステップと
を含む音声再生方法。
【請求項１９】
音声信号を再生して出力するためのプログラムであって、
一つの時間軸の上に、複数の音声信号それぞれの複数のオーディオ再生時刻情報を、音声信号毎に隣接する前記オーディオ再生時刻情報それぞれが示す再生時刻の差を保持した状態で割り当てることにより、前記複数の音声信号を同期させる同期ステップと、
前記時間軸の上に割り当てられた複数の前記オーディオ再生時刻情報を利用して、前記複数の音声信号を合成する合成ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【国際公開番号】ＷＯ２００５／０９８８５４
【国際公開日】平成１７年１０月２０日（２００５．１０．２０）
【発行日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願番号】特願２００６−５１２０９２（Ｐ２００６−５１２０９２）
【国際出願番号】ＰＣＴ／ＪＰ２００５／００６６８５
【国際出願日】平成１７年４月５日（２００５．４．５）
【特許番号】特許第３８９２４７８号（Ｐ３８９２４７８）
【特許公報発行日】平成１９年３月１４日（２００７．３．１４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【国際公開日】平成１７年１０月２０日（２００５．１０．２０）
【発行日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００５／００６６８５
【国際出願日】平成１７年４月５日（２００５．４．５）
【特許番号】特許第３８９２４７８号（Ｐ３８９２４７８）
【特許公報発行日】平成１９年３月１４日（２００７．３．１４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]