音声ミキシングのカスタマイズ方法およびその装置
【課題】 メイン音声とサブ音声のミキシングバランスを視聴者（ユーザ）の求めに応じて調整できるようにする。
【解決手段】 この音声ミキシングのカスタマイズ方法では、メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する。この方法では、メイン音声ストリームとサブ音声ストリームの両方がデコードされているときに（Ｓ０１Ｙ）、メイン音声ストリームのデコードにより得られるメイン音声とサブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知する（Ｓ０６Ｙ）。そして、デコードされたメイン音声とデコードされたサブ音声とのミキシングバランスを変える操作があったときは（Ｓ１８ＹまたはＳ２０Ｙ）、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定されたミキシングバランスでもって、デコードされたメイン音声と前記デコードされたサブ音声を出力する。
【解決手段】 この音声ミキシングのカスタマイズ方法では、メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する。この方法では、メイン音声ストリームとサブ音声ストリームの両方がデコードされているときに（Ｓ０１Ｙ）、メイン音声ストリームのデコードにより得られるメイン音声とサブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知する（Ｓ０６Ｙ）。そして、デコードされたメイン音声とデコードされたサブ音声とのミキシングバランスを変える操作があったときは（Ｓ１８ＹまたはＳ２０Ｙ）、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定されたミキシングバランスでもって、デコードされたメイン音声と前記デコードされたサブ音声を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声ミキシングのカスタマイズ方法およびその装置に関する。特に、ＨＤ＿ＤＶＤビデオのようにメイン音声とサブ音声を個別に自由に含むことのできるデジタルＡＶコンテンツのメディアを再生する場合における、音声ミキシングのカスタマイズ方法およびその装置に関する。
【背景技術】
【０００２】
メイン音声と背景音声をミキシングする装置の例として、特許文献１に開示された音声ミキシング装置がある。また、メインオーディオデータとサブオーディオデータを含む動画像ストリームを処理する装置の例として、特許文献２に開示された再生装置がある。
【特許文献１】特開平7-85586号公報。
【特許文献２】特2006-191239号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１では、メイン音声信号及び背景音声信号は、ミキシング回路において各調整器を介して加算器に供給されてミキシングされる。特許文献２は、オーディオデコーダ回路によりデコードされた第１のオーディオデータと第２のオーディオデータをミキシングして出力するミキサ回路を有している。
【０００４】
特許文献１には音声のミキシング調整が開示され、特許文献２にはＨＤ＿ＤＶＤでメイン音声とサブ音声をミキシングして再生する装置が開示されている。しかしながら、音声ミキシング調整がコンテンツに依存する場合、音声ミキシング調整の可否をユーザが知ることができないという問題がある。
【０００５】
たとえばＨＤ＿ＤＶＤビデオディスクに記録されたメイン音声とサブ音声を再生する場合、メイン音声とサブ音声のミキシングバランスを調整する情報の有無は、コンテンツの作り手次第である。メイン音声とサブ音声のミキシングバランスを調整する情報のないコンテンツの場合、個々の視聴者（ユーザ）にとって、個々の再生機器がデフォルトで再生するメイン音声とサブ音声のミキシングバランスが最適とは限らなかった。すなわち、コンテンツプロバイダが適正バランスであると想定していても、視聴者の聴感や好みは千差万別なので、人によってはメイン音声に対してサブ音声がうるさすぎると感じたり、逆にサブ音声が聞き取りにくいと感じたりすることは、ままある。
【０００６】
この発明の課題の１つは、メイン音声とサブ音声のミキシングバランスを調整する情報のないコンテンツの場合でも視聴者（ユーザ）の求めに応じたミキシングバランスを実現できるようにすることである。
【課題を解決するための手段】
【０００７】
この発明の一実施の形態に係る音声ミキシングのカスタマイズ方法では、たとえばＭＰＥＧプログラムストリームを構成するエレメンタリストリームに対応するメイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する。この方法では、前記メイン音声ストリームと前記サブ音声ストリームの両方がデコードされているときに、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを（画像および／または音声で）通知する。そして、デコードされた前記メイン音声とデコードされた前記サブ音声とのミキシングバランスを変える操作（リモコン等を用いたユーザ操作）があったときは、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を出力する。
【発明の効果】
【０００８】
メイン音声とサブ音声のミキシングバランスを調整する情報のないコンテンツの場合でも視聴者（ユーザ）の求めに応じたミキシングバランスを実現できる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照してこの発明の種々な実施の形態を説明する。最初に、この実施の形態に関係する幾つかの用語について述べておく。
【００１０】
Track（トラック）…タイトル（記録内容の１単位）の再生中に選択される再生オブジェクト内のエレメンタリストリームに対する論理的な存在で、映像用のVideo Track、音声用のAudio Track等がある。
Main Audio stream（メイン音声ストリーム）…Main Audio decoder（メイン音声デコード部）でデコードされるべきオーディオストリームで、Audio Trackに存在する。
Sub Audio stream（サブ音声ストリーム）…Sub Audio decoder（サブ音声デコード部）でデコードされるべきオーディオストリームで、Audio Trackに存在する。
Primary Audio Video（プライマリオーディオビデオ）…Main Video、Main Audio、Sub Video、Sub Audio、Subpicture（副映像）等の再生ストリームを提供するものをいう。
Primary Video Set（プライマリビデオセット）…Primary Audio Videoを格納するフォーマットであり、Primary Video Setのデータ構造はVideo Title Set Information（ＶＴＳＩ）、Time Map（ＴＭＡＰ）、Primary Enhanced Video Object（Ｐ−ＥＶＯＢ）等からなるAdvanced VTS（アドバンスドビデオタイトルセット）に準拠している。（Advanced VTSについては図６の説明参照。）
Secondary Video Set（セカンダリビデオセット）…Secondary Video Setは３種類の再生オブジェクト（Substitute Audio Video、Substitute Audio、Secondary Audio Video）を保持できるもので、ディスク、ネットワークサーバ、Persistent Storage（永続性のある記憶装置）、再生装置内のファイルキャッシュ等から供給される。Secondary Video SetはAdvanced VTSを簡略化したデータ構造をもち、Time Map（ＴＭＡＰ）、Secondary Enhanced Video Object（Ｓ−ＥＶＯＢ）等からなる。
【００１１】
Enhanced Video Object（ＥＶＯＢ）…エレメンタリストリームのグループで構成されるＭＰＥＧプログラムストリームであり、Primary Enhanced Video Object（Ｐ−ＥＶＯＢ）とSecondary Enhanced Video Object（Ｓ−ＥＶＯＢ）が存在する。
【００１２】
Audio Parameters（オーディオパラメータ）…システムパラメータの一部に含まれ、各再生機器の音声出力レベル（音量）のデフォルト設定に利用できるパラメータを含む。具体的には、Audio Parametersは、Volume of Main Audio for Output（出力されるメイン音声の音量）、Gain Value for Left Channel of Sub Audio mixing down into Output（出力にミックスされるサブ音声の左チャネルゲイン値）、Gain Value for Right Channel of Sub Audio mixing down into Output（出力にミックスされるサブ音声の右チャネルゲイン値）、Gain Value for Left Channel of Effect Audio mixing down into Output（出力にミックスされる効果音の左チャネルゲイン値）、Gain Value for Right Channel of Effect Audio mixing down into Output（出力にミックスされる効果音の右チャネルゲイン値）などを含む。このAudio Parametersに対応する情報は以下に述べるディスク１に格納可能となっている。
【００１３】
図６は、Enhanced Video Object（ＥＶＯＢ）が記録されているディスクのデータ構造の一例を示す。図６（ａ）のディスク１は、図６（ｂ）に示すように、その内周側からリードイン領域１０とボリューム／ファイル構造情報領域１１とデータ領域１２とリードアウト領域１３を持つ。ディスク１のボリュームスペースは、図６（ｃ）に示すように、ボリューム／ファイル構造情報領域１１とデータ領域１２を含んで構成される。このデータ領域１２は、ＨＤ＿ＤＶＤビデオ領域１４および、適宜その他の領域（ＨＤ＿ＤＶＤビデオ以外の情報記録に使用できる領域）１５を含んで構成される。ＨＤ＿ＤＶＤビデオ領域１４は、標準コンテント領域２０およびアドバンスドコンテント領域２１を含んでいる。標準コンテント領域２０に記録される標準コンテント（Standard Content）は、ナビゲーションデータとディスク上のビデオオブジェクトで構成され、これは従来のＤＶＤビデオ規格第１．１版を拡張したものである。
【００１４】
アドバンスドコンテント領域２１には、図６（ｄ）に示すように、アドバンスドビデオタイトルセット（Advanced VTS）５０およびアドバンスドコンテント（Advanced Content）６０を記録できるようになっている。
【００１５】
アドバンスドビデオタイトルセット５０は、図６（ｅ）に示すように、制御データ（ビデオタイトルセット情報ＶＴＳＩ）と、タイムマップ情報（ＶＴＳ＿ＴＭＡＰ）と、タイトル用の拡張ビデオオブジェクトセット（ＶＴＳＴＴ＿ＥＶＯＢＳ）を含む。アドバンスドビデオタイトルセット５０は、適宜、ＶＴＳＩおよびＶＴＳ＿ＴＭＡＰのバックアップファイルを含むことができるように構成されている。なお、図示しないが、タイムマップ情報（ＶＴＳ＿ＴＭＡＰ）は１以上のタイムマップ（ＴＭＡＰ）のファイルを含むことができ、タイトル用の拡張ビデオオブジェクトセット（ＶＴＳＴＴ＿ＥＶＯＢＳ）は１以上の拡張ビデオオブジェクト（ＥＶＯＢ）を含むことができるようになっている。
【００１６】
後述するメイン音声およびサブ音声のストリームは、図６（ｅ）（ｆ）に示すように、メイン音声用のオーディオパック（図示せず）およびサブ音声用のオーディオパック（図示せず）を用いて、拡張ビデオオブジェクトセット（ＶＴＳＴＴ＿ＥＶＯＢＳ）内に記録される。
【００１７】
図１は、この発明の一実施の形態に係る再生装置の構成を説明するブロック図である。同図において、再生装置（ＨＤ＿ＤＶＤプレーヤ）１００は、ディスク１のコンテンツ（Ｐ−ＥＳＯＢ／Ｓ−ＥＳＯＢ）を再生し、所定の処理をして得た音声および映像をスピーカ２００およびモニタＴＶ４００に出力するように構成されている。
【００１８】
ディスクドライブ／データ入力部１０２は、ディスク１よりコンテンツ（Ｐ−ＥＳＯＢ／Ｓ−ＥＳＯＢ）を読み込み、コンテンツの種類に応じて、メイン音声デコード部１０３、サブ音声デコード部１０４、ＨＤ＿ＤＶＤ制御部１０５、メインビデオ部デコード１０６、サブビデオデコード部１０７に送信する。ここで、ＨＤ＿ＤＶＤ制御部１０５は、オーディオパラメータ等を含むシステムパラメータメモリ１０５ａを内蔵している。
【００１９】
音声ミキシング部１０８は、メイン音声デコード部１０３やサブ音声デコード部１０４から送られてきた音声データを合成（mixing down）する装置である。合成された音声データは音声出力部１１０を介して図示しないオーディオアンプに送られる。このアンプでスピーカ２００を駆動することにより、合成された音声データに対応する音が出力される。
【００２０】
ＧＵＩ表示制御部（On-Screen Display control部）／音声合成部１１６は、ＨＤ＿ＤＶＤ制御部１０５やメイン／サブ音声ミキシング調整部１１１などからの要請に応じて、メッセージやグラフィカルユーザインターフェース（ＧＵＩ）などのイメージデータを作成する機能を持つ。さらに、ＧＵＩ表示制御部／音声合成部１１６は、作成するメッセージに対応する内容の音声を適宜合成する機能も持つ。なお、メイン／サブ音声ミキシング調整部１１１は、ユーザが変更したメイン音声／サブ音声のミキシング情報（個々の音声の音量情報を主とし、適宜、メイン音声に対するサブ音声の位相情報を含むこともできる）を記憶するミキシング係数メモリ１１１ａを内蔵している。
【００２１】
ビデオブレンド部１０９は、メインビデオ部デコード部１０６やサブビデオデコード部１０７から送られてきたビデオデータを合成する装置である。ビデオブレンド部１０９はさらに、メインビデオ部デコード部１０６およびサブビデオデコード部１０７から送られてきたビデオデータの合成データにＧＵＩ表示制御部／音声合成部１１６で作成されたイメージデータを合成する処理も行う。最終的に合成されたビデオデータは、ビデオ出力部１１２を通して、モニタ４００に表示される。
【００２２】
ＨＤ＿ＤＶＤ制御部１０５はＨＤ＿ＤＶＤ再生を制御するものであり、データ入力部１０２から取り出したコンテンツのコンテンツ情報に応じた再生を行う。リモコン３００は、再生や停止、早送り／早戻し、スキップなどのユーザ操作をプレーヤ１００に対して指示する。なお、図１の構成ブロック１０５、１１１、１１６の機能は、マイクロコンピュータ（ＭＰＵ）のファームウエアにより実現できる。
【００２３】
図１のシステム構成における、メイン音声とサブ音声のミキシングバランスのカスタマイズ処理を、図２を参照して説明する。ユーザがなにもしないときは（Ｓ１００Ｙ）、図１の再生装置１００はメモリ１０５ａ内のオーディオパラメータにより設定されるデフォルトのミキシングバランスで、メイン音声とサブ音声を再生する（Ｓ１０１）。視聴者（装置ユーザ）がこのデフォルトのミキシングバランスを好まないときは（Ｓ１００Ｎ）、リモコン３００に設けられたミキシング調整開始ボタン（図３の３００ｂ）を押すことにより、ミキシングバランスをユーザがカスタマイズする処理に入る。
【００２４】
すなわち、図１の装置１００は、メイン／サブ音声ミキシング調整部１１１を具備している。このメイン／サブ音声ミキシング調整部１１１は、ディスク１の再生開始後、メイン音声デコード部１０３とサブ音声デコード部１０４に音声ストリームが入力されメイン音声とサブ音声の両方がデコードされているか否かを判定する（Ｓ０１）。メイン音声デコード部１０３とサブ音声デコード部１０４の両方で音声がデコードされていないと判定した場合（Ｓ０１Ｎ）、ミキシング調整可能メッセージ（図３の４０１ａ）が表示中か否かを判定する（Ｓ０２）。ミキシング調整可能メッセージが表示中であると判定した場合は（Ｓ０２Ｙ）、ミキシング調整可能メッセージを消去し（Ｓ０３）、再生終了でなければ（Ｓ１０２Ｎ）Ｓ０１の処理に戻る。ミキシング調整可能メッセージが表示中でないと判定した場合は（Ｓ０２Ｎ）、ミキシング調整ＧＵＩが表示中か否かを判定する（Ｓ０４）。ミキシング調整ＧＵＩが表示中であると判定した場合は（Ｓ０４Ｙ）、ミキシング調整ＧＵＩを消去し（Ｓ０５）、再生終了でなければ（Ｓ１０２Ｎ）Ｓ０１の処理に戻る。ミキシング調整ＧＵＩが表示中でないと判定した場合（Ｓ０４Ｎ）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２５】
メイン音声デコード部１０３とサブ音声デコード部１０４の両方でメイン音声とサブ音声がデコードされていると判定した場合は（Ｓ０１Ｙ）、ミキシング調整ＧＵＩが表示中か否か（および／またはミキシング調整可能な旨を告げる音声案内を出力中であるか否か）を判定する（Ｓ０６）。ミキシング調整ＧＵＩが表示中でない（および／または音声案内の出力中でない）と判定した場合は（Ｓ０６Ｎ）、ミキシング調整可能メッセージが表示中か否か（および／または音声案内の出力中か否か）を判定する（Ｓ０７）。ミキシング調整可能メッセージが表示中でない（および／または音声案内の出力中でない）と判断した場合は（Ｓ０７Ｎ）、ミキシング調整可能メッセージを表示し（および／またはそのメッセージを音声案内し）（Ｓ０８）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２６】
ミキシング調整可能メッセージが表示中である（および／または音声案内の出力中である）と判定した場合は（Ｓ０７Ｙ）、ユーザ操作によりミキシング調整開始が指定されたか否かを判定する（Ｓ０９）。この「ミキシング調整開始指定」は、リモコン３００のミキシング調整開始ボタン３００ｂ（図３）を押す（オンする）ことにより行うことができる。
【００２７】
ミキシング調整開始が指定されたと判断した場合は（Ｓ０９Ｙ）、ミキシング調整ＧＵＩ（図４または図５）を表示し（Ｓ１０）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。ミキシング調整開始が指定されていないと判断した場合（Ｓ０９Ｎ）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２８】
ミキシング調整ＧＵＩが表示中（および／または音声案内出力中）であると判断した場合は（Ｓ０６Ｙ）、ユーザ操作（図４または図５のリモコンボタン３００ｂ＊のオン）によりミキシング調整ＧＵＩの消去（および／または音声案内の停止）が指定されたか否かを判定する（Ｓ１１）。ミキシング調整ＧＵＩの消去（および／または音声案内の停止）が指定されたと判定した場合は（Ｓ１１Ｙ）、ミキシング調整ＧＵＩを消去し（および／または音声案内を停止し）（Ｓ１２）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２９】
ミキシング調整ＧＵＩの消去（および／または音声案内の停止）が指定されていないと判定した場合は（Ｓ１１Ｎ）、ユーザ操作によりリモコン３００の右ボタン（図４または図５のリモコンボタン３００ｄ）が押されたか否かを判定する（Ｓ１８）。右ボタン３００ｄが押されたと判定した場合は（Ｓ１８Ｙ）、メイン／サブ音声のミキシング係数をサブ側に１つ進め（Ｓ１９）、Ｓ２２に飛ぶ。右ボタン３００ｄが押されていないと判定した場合（Ｓ１８Ｎ）、ユーザ操作により左ボタン（図４または図５のリモコンボタン３００ｃ）が押されたか否かを判定する（Ｓ２０）。左ボタン３００ｃが押されたと判定した場合は（Ｓ２０Ｙ）、メイン／サブ音声のミキシング係数をメイン側に１つ進め（Ｓ２１）、Ｓ２２に飛ぶ。左ボタン３００ｃが押されていないと判定した場合は（Ｓ２０Ｎ）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００３０】
Ｓ２２では、ミキシング係数に従いミキシング調整ＧＵＩの表示を更新する（図４の例では、ミキシングバランスポイントを示すダイヤマークの表示位置を変える）。（および／またはＳ２２において、メイン音声とサブ音声のミキシングバランスポイントが、メインよりに＋Ｍステップ変わったとかサブよりに＋Ｎステップ変わったといったように音声案内の内容を更新する）。その後、更新されたミキシング係数に従い音声ミキシング部１０８を制御し、メイン音声デコード部１０３からのメイン音声データとサブ音声デコード部１０４からのサブ音声データを合成し（Ｓ２３）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００３１】
なお、上記の一実施の形態では、Ｓ１００の処理がない場合はメイン音声とサブ音声の両方がデコードされていると無条件にミキシング調整可能メッセージを表示し音声のミキシング調整ができるようになるが、Ｓ１００のノー・イエスにより音声ミキシング調整処理のOn／Offを指定できるようにすることで、図３のミキシング調整可能メッセージ４０１ａを表示しないようにすることもできる。
【００３２】
図３は、この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能メッセージ」の表示例を説明する図である。ここでは、リモコン３００のＧＵＩ画像３００ａ（ミキシング調整開始ボタン３００ｂを含む）と、メインビデオ画像の右上にＯＳＤ表示される「Main/Sub音声調整が可能です」というメッセージ４０１ａが例示されている。ユーザは、メッセージ４０１ａ（および／またはそのメッセージに対応する音声案内）から、現在再生中のメイン音声とサブ音声のバランスを変更できることを知ることができる。バランスを変えたいと考えたユーザが、手元のリモコン３００を操作して、ＧＵＩ上のボタン３００ｂに相当するリモコンボタンを押すと、図４のミキシングバランス調整画像４０１ｂが画面４００ｂに表示され、あるいは図５の音声レベルバーグラフ４０１ｃ、４０２ｃが画面４００ｃに表示される。
【００３３】
図４は、この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能ＧＵＩ」の表示例を説明する図である。この例では、ユーザの手元にあるリモコン３００のカーソル操作（左ボタン３００ｂと右ボタン３００ｄ）により、相対的にメイン音声の音量を上げるかサブ音声の音量を上げるかのバランス調整を行うことができる。
【００３４】
図５は、この発明の一実施の形態に係る音声ミキシング処理における「メイン／サブの個別調整」を行う表示例を説明する図である。この例では、カーソル３００ｅでメイン音声を選び、カーソル３００ｃと３００ｄでメイン音声の音量を増減させる調整ができる。また、カーソル３００ｆでサブ音声を選び、カーソル３００ｃと３００ｄでサブ音声の音量を増減させる調整ができる。このような方法でも、メイン音声とサブ音声との間のミキシングバランスを調整することができる。
【００３５】
なお、ユーザが複数のミキシングバランス調整結果を設定した場合は、その結果えられる複数のミキシング係数を図１のミキシング係数メモリ１１１ａに保存し、後に（図２のＳ１００Ｎ以降の任意の処理時点において）ユーザが好みのミキシング係数を即座に選ぶ（たとえばリモコン３００の図示しない番号キーでダイレクトに所望のミキシング係数を選ぶ）ように構成することもできる。
【００３６】
＜一実施の形態に係る装置構成のまとめ＞
１．メイン音声デコード部１０３に音声ストリームが入力され、デコードしていることを検出する手段を持つ；
２．サブ音声デコード部１０４に音声ストリームが入力され、デコードしていることを検出する手段を持；
３．メイン／サブ音声ミキシング調整部１１１は、１と２の手段を用いて、メイン音声とサブ音声の両方の音声がデコードされていることを判定する手段を持つ；
４．メイン／サブ音声ミキシング調整部１１１は、メイン音声とサブ音声の両方の音声がデコードされていると判断した場合、メイン音声とサブ音声のミキシングが可能であることをメッセージ表示する手段を持つ；
５．メイン／サブ音声ミキシング調整部１１１は、４でメッセージが表示されている状態の時、メイン音声とサブ音声のミキシング調整の開始を選択する手段を持つ；
６．メイン／サブ音声ミキシング調整部１１１は、５でメイン音声とサブ音声のミキシング調整の開始が選択された後、メイン音声とサブ音声のミキシング調整を行う設定手段を持つ；
７．メイン／サブ音声ミキシング調整部１１１は、５で設定されたメイン音声とサブ音声のミキシング係数を記憶する手段を持つ；
８．メイン／サブ音声ミキシング調整部１１１は、６で記憶したメイン音声とサブ音声のミキシング係数をもとに、音声ミキシング部１０８を制御し、メイン音声とサブ音声のミキシングを調整する手段を持つ。
【００３７】
＜実施の形態と発明との対応例＞
（１）メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する音声ミキシングのカスタマイズ方法において、前記メイン音声ストリームと前記サブ音声ストリームの両方がデコードされているときに（Ｓ０１Ｙ）、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知（画像および／または音声で）する（Ｓ０６Ｙ）。そして、デコードされた前記メイン音声とデコードされた前記サブ音声とのミキシングバランスを変える操作があったときは（Ｓ１８ＹまたはＳ２０Ｙ）、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を出力する。
【００３８】
（２）前記通知はグラフィカルユーザインターフェース（図３〜図５）を介して行われ、このグラフィカルユーザインターフェースにおいて、前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示（図３の４０１ａ）が行われ（Ｓ０８）、あるいは前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示（図４の４０１ｂ）が行われ（Ｓ１０）、あるいは前記メイン音声の大きさに対応した変化をするメイン音声画面表示（図５の４０１ｃ）と前記サブ音声の大きさに対応した変化をするサブ音声画面表示（図５の４０２ｃ）が行われる（Ｓ１０）。
【００３９】
（３）メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する音声ストリーム処理装置（図１）は、前記メイン音声ストリームをデコードするメイン音声デコード手段（１０３）と、前記サブ音声ストリームをデコードするサブ音声デコード手段（１０４）と、前記メイン音声デコード手段（１０３）でデコードされたメイン音声と前記サブ音声デコード手段（１０４）でデコードされたサブ音声とをミキシングする音声ミキシング手段（１０８）と、前記メイン音声デコード手段（１０３）および前記サブ音声デコード手段（１０４）の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることを検知するデコード状態検知手段（１１１のファームウエア：Ｓ０１）と、前記メイン音声デコード手段（１０３）および前記サブ音声デコード手段（１０４）の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることが前記デコード状態検知手段（１１１）により検知されたら（Ｓ０１Ｙ）、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知（画像および／または音声で）するミキシング調整可能通知手段（１１５のファームウエア：Ｓ０６Ｙ）と、前記メイン音声デコード手段（１０３）によりデコードされた前記メイン音声と前記サブ音声デコード手段（１０４）によりデコードされた前記サブ音声とのミキシングバランスを変える操作を行うメイン／サブ音声ミキシング調整手段（１１１のファームウエア：Ｓ１８〜Ｓ２１）とを備ている。この装置は、前記メイン／サブ音声ミキシング調整手段（１１１）により前記ミキシングバランスを変える操作があったときは（Ｓ１８ＹまたはＳ２０Ｙ）、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を前記音声ミキシング手段（１０８）から提供するように構成されている。
【００４０】
（４）前記音声ストリーム処理装置（図１）は、前記通知を行うグラフィカルユーザインターフェース（図３〜図５）を提供する表示制御手段（１１６のファームウエア：Ｓ０６〜Ｓ１０）をさらに具備できる。この表示制御手段により制御されたビデオ出力により、前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示（図３の４０１ａ）が行われ（Ｓ０８）、あるいは前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示（図４の４０１ｂ）が行われ（Ｓ１０）、あるいは前記メイン音声の大きさに対応した変化をするメイン音声画面表示（図５の４０１ｃ）と前記サブ音声の大きさに対応した変化をするサブ音声画面表示（図５の４０２ｃ）が行われる（Ｓ１０）。
【００４１】
（５）前記メイン音声ストリームおよび前記サブ音声ストリームはＭＰＥＧプログラムストリームを構成するエレメンタリストリームに対応させることができる。前記音声ストリーム処理装置（図１）は、このエレメンタリストリームを用いてオーディオおよびビデオのコンテンツ（ＨＤ＿ＤＶＤコンテンツ）が記録された光ディスクを再生するディスクドライブ（１０２）と、前記オーディオおよびビデオのコンテンツに含まれるビデオデータのストリームをデコードするビデオデコード手段（１０６、１０７）と、前記ビデオデコード手段（１０６、１０７）でデコードされたビデオデータと前記ミキシング調整可能通知手段（１１５）による通知内容に対応する画像データとをブレンドするビデオブレンド手段（１０９）と、前記ビデオブレンド手段（１０９）でブレンドされたビデオデータを画像表示装置（４００）に出力するビデオ出力手段（１１２）とをさらに具備することができる。
【００４２】
この発明の一実施の形態により、メイン音声とサブ音声のミキシングバランスを調整する情報がないコンテンツの場合でも、メイン音声とサブ音声のミキシングバランスを視聴者（ユーザ）毎にカスタマイズすることが出来るようになり、視聴者に適した音声再生が可能となる。
【００４３】
なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００４４】
【図１】この発明の一実施の形態に係る再生装置を説明する図。
【図２】この発明の一実施の形態に係る音声ミキシング処理手順を説明する図。
【図３】この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能メッセージ」の表示例を説明する図。
【図４】この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能ＧＵＩ」の表示例を説明する図。
【図５】この発明の一実施の形態に係る音声ミキシング処理における「メイン／サブの個別調整」を行う表示例を説明する図。
【図６】図１の再生装置で再生されるディスクのデータ構造の一例を説明する図。
【符号の説明】
【００４５】
１…情報記録媒体（ＨＤ＿ＤＶＤビデオ等の光ディスク）；１０２…ディスクドライブ／データ入力部；１０３…メイン音声デコード部；１０４…サブ音声デコード部；１０５…ＨＤ＿ＤＶＤ制御部（ＭＰＵ）；１０５ａ…システムパラメータメモリ；１０６…メインビデオデコード部；１０７…サブビデオデコード部；１０８…音声ミキシング部；１０９…ビデオブレンド部；１１０…音声出力部；１１１…メイン／サブ音声ミキシング調整部（ＭＰＵ）；１１１ａ…ミキシング係数メモリ；１１２…ビデオ出力部；１１６…ＧＵＩ表示制御部（ＯＳＤ部）／音声合成部；２００…スピーカ；３００…リモコン；４００…画像表示装置（モニタＴＶ）。
【技術分野】
【０００１】
この発明は、音声ミキシングのカスタマイズ方法およびその装置に関する。特に、ＨＤ＿ＤＶＤビデオのようにメイン音声とサブ音声を個別に自由に含むことのできるデジタルＡＶコンテンツのメディアを再生する場合における、音声ミキシングのカスタマイズ方法およびその装置に関する。
【背景技術】
【０００２】
メイン音声と背景音声をミキシングする装置の例として、特許文献１に開示された音声ミキシング装置がある。また、メインオーディオデータとサブオーディオデータを含む動画像ストリームを処理する装置の例として、特許文献２に開示された再生装置がある。
【特許文献１】特開平7-85586号公報。
【特許文献２】特2006-191239号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１では、メイン音声信号及び背景音声信号は、ミキシング回路において各調整器を介して加算器に供給されてミキシングされる。特許文献２は、オーディオデコーダ回路によりデコードされた第１のオーディオデータと第２のオーディオデータをミキシングして出力するミキサ回路を有している。
【０００４】
特許文献１には音声のミキシング調整が開示され、特許文献２にはＨＤ＿ＤＶＤでメイン音声とサブ音声をミキシングして再生する装置が開示されている。しかしながら、音声ミキシング調整がコンテンツに依存する場合、音声ミキシング調整の可否をユーザが知ることができないという問題がある。
【０００５】
たとえばＨＤ＿ＤＶＤビデオディスクに記録されたメイン音声とサブ音声を再生する場合、メイン音声とサブ音声のミキシングバランスを調整する情報の有無は、コンテンツの作り手次第である。メイン音声とサブ音声のミキシングバランスを調整する情報のないコンテンツの場合、個々の視聴者（ユーザ）にとって、個々の再生機器がデフォルトで再生するメイン音声とサブ音声のミキシングバランスが最適とは限らなかった。すなわち、コンテンツプロバイダが適正バランスであると想定していても、視聴者の聴感や好みは千差万別なので、人によってはメイン音声に対してサブ音声がうるさすぎると感じたり、逆にサブ音声が聞き取りにくいと感じたりすることは、ままある。
【０００６】
この発明の課題の１つは、メイン音声とサブ音声のミキシングバランスを調整する情報のないコンテンツの場合でも視聴者（ユーザ）の求めに応じたミキシングバランスを実現できるようにすることである。
【課題を解決するための手段】
【０００７】
この発明の一実施の形態に係る音声ミキシングのカスタマイズ方法では、たとえばＭＰＥＧプログラムストリームを構成するエレメンタリストリームに対応するメイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する。この方法では、前記メイン音声ストリームと前記サブ音声ストリームの両方がデコードされているときに、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを（画像および／または音声で）通知する。そして、デコードされた前記メイン音声とデコードされた前記サブ音声とのミキシングバランスを変える操作（リモコン等を用いたユーザ操作）があったときは、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を出力する。
【発明の効果】
【０００８】
メイン音声とサブ音声のミキシングバランスを調整する情報のないコンテンツの場合でも視聴者（ユーザ）の求めに応じたミキシングバランスを実現できる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照してこの発明の種々な実施の形態を説明する。最初に、この実施の形態に関係する幾つかの用語について述べておく。
【００１０】
Track（トラック）…タイトル（記録内容の１単位）の再生中に選択される再生オブジェクト内のエレメンタリストリームに対する論理的な存在で、映像用のVideo Track、音声用のAudio Track等がある。
Main Audio stream（メイン音声ストリーム）…Main Audio decoder（メイン音声デコード部）でデコードされるべきオーディオストリームで、Audio Trackに存在する。
Sub Audio stream（サブ音声ストリーム）…Sub Audio decoder（サブ音声デコード部）でデコードされるべきオーディオストリームで、Audio Trackに存在する。
Primary Audio Video（プライマリオーディオビデオ）…Main Video、Main Audio、Sub Video、Sub Audio、Subpicture（副映像）等の再生ストリームを提供するものをいう。
Primary Video Set（プライマリビデオセット）…Primary Audio Videoを格納するフォーマットであり、Primary Video Setのデータ構造はVideo Title Set Information（ＶＴＳＩ）、Time Map（ＴＭＡＰ）、Primary Enhanced Video Object（Ｐ−ＥＶＯＢ）等からなるAdvanced VTS（アドバンスドビデオタイトルセット）に準拠している。（Advanced VTSについては図６の説明参照。）
Secondary Video Set（セカンダリビデオセット）…Secondary Video Setは３種類の再生オブジェクト（Substitute Audio Video、Substitute Audio、Secondary Audio Video）を保持できるもので、ディスク、ネットワークサーバ、Persistent Storage（永続性のある記憶装置）、再生装置内のファイルキャッシュ等から供給される。Secondary Video SetはAdvanced VTSを簡略化したデータ構造をもち、Time Map（ＴＭＡＰ）、Secondary Enhanced Video Object（Ｓ−ＥＶＯＢ）等からなる。
【００１１】
Enhanced Video Object（ＥＶＯＢ）…エレメンタリストリームのグループで構成されるＭＰＥＧプログラムストリームであり、Primary Enhanced Video Object（Ｐ−ＥＶＯＢ）とSecondary Enhanced Video Object（Ｓ−ＥＶＯＢ）が存在する。
【００１２】
Audio Parameters（オーディオパラメータ）…システムパラメータの一部に含まれ、各再生機器の音声出力レベル（音量）のデフォルト設定に利用できるパラメータを含む。具体的には、Audio Parametersは、Volume of Main Audio for Output（出力されるメイン音声の音量）、Gain Value for Left Channel of Sub Audio mixing down into Output（出力にミックスされるサブ音声の左チャネルゲイン値）、Gain Value for Right Channel of Sub Audio mixing down into Output（出力にミックスされるサブ音声の右チャネルゲイン値）、Gain Value for Left Channel of Effect Audio mixing down into Output（出力にミックスされる効果音の左チャネルゲイン値）、Gain Value for Right Channel of Effect Audio mixing down into Output（出力にミックスされる効果音の右チャネルゲイン値）などを含む。このAudio Parametersに対応する情報は以下に述べるディスク１に格納可能となっている。
【００１３】
図６は、Enhanced Video Object（ＥＶＯＢ）が記録されているディスクのデータ構造の一例を示す。図６（ａ）のディスク１は、図６（ｂ）に示すように、その内周側からリードイン領域１０とボリューム／ファイル構造情報領域１１とデータ領域１２とリードアウト領域１３を持つ。ディスク１のボリュームスペースは、図６（ｃ）に示すように、ボリューム／ファイル構造情報領域１１とデータ領域１２を含んで構成される。このデータ領域１２は、ＨＤ＿ＤＶＤビデオ領域１４および、適宜その他の領域（ＨＤ＿ＤＶＤビデオ以外の情報記録に使用できる領域）１５を含んで構成される。ＨＤ＿ＤＶＤビデオ領域１４は、標準コンテント領域２０およびアドバンスドコンテント領域２１を含んでいる。標準コンテント領域２０に記録される標準コンテント（Standard Content）は、ナビゲーションデータとディスク上のビデオオブジェクトで構成され、これは従来のＤＶＤビデオ規格第１．１版を拡張したものである。
【００１４】
アドバンスドコンテント領域２１には、図６（ｄ）に示すように、アドバンスドビデオタイトルセット（Advanced VTS）５０およびアドバンスドコンテント（Advanced Content）６０を記録できるようになっている。
【００１５】
アドバンスドビデオタイトルセット５０は、図６（ｅ）に示すように、制御データ（ビデオタイトルセット情報ＶＴＳＩ）と、タイムマップ情報（ＶＴＳ＿ＴＭＡＰ）と、タイトル用の拡張ビデオオブジェクトセット（ＶＴＳＴＴ＿ＥＶＯＢＳ）を含む。アドバンスドビデオタイトルセット５０は、適宜、ＶＴＳＩおよびＶＴＳ＿ＴＭＡＰのバックアップファイルを含むことができるように構成されている。なお、図示しないが、タイムマップ情報（ＶＴＳ＿ＴＭＡＰ）は１以上のタイムマップ（ＴＭＡＰ）のファイルを含むことができ、タイトル用の拡張ビデオオブジェクトセット（ＶＴＳＴＴ＿ＥＶＯＢＳ）は１以上の拡張ビデオオブジェクト（ＥＶＯＢ）を含むことができるようになっている。
【００１６】
後述するメイン音声およびサブ音声のストリームは、図６（ｅ）（ｆ）に示すように、メイン音声用のオーディオパック（図示せず）およびサブ音声用のオーディオパック（図示せず）を用いて、拡張ビデオオブジェクトセット（ＶＴＳＴＴ＿ＥＶＯＢＳ）内に記録される。
【００１７】
図１は、この発明の一実施の形態に係る再生装置の構成を説明するブロック図である。同図において、再生装置（ＨＤ＿ＤＶＤプレーヤ）１００は、ディスク１のコンテンツ（Ｐ−ＥＳＯＢ／Ｓ−ＥＳＯＢ）を再生し、所定の処理をして得た音声および映像をスピーカ２００およびモニタＴＶ４００に出力するように構成されている。
【００１８】
ディスクドライブ／データ入力部１０２は、ディスク１よりコンテンツ（Ｐ−ＥＳＯＢ／Ｓ−ＥＳＯＢ）を読み込み、コンテンツの種類に応じて、メイン音声デコード部１０３、サブ音声デコード部１０４、ＨＤ＿ＤＶＤ制御部１０５、メインビデオ部デコード１０６、サブビデオデコード部１０７に送信する。ここで、ＨＤ＿ＤＶＤ制御部１０５は、オーディオパラメータ等を含むシステムパラメータメモリ１０５ａを内蔵している。
【００１９】
音声ミキシング部１０８は、メイン音声デコード部１０３やサブ音声デコード部１０４から送られてきた音声データを合成（mixing down）する装置である。合成された音声データは音声出力部１１０を介して図示しないオーディオアンプに送られる。このアンプでスピーカ２００を駆動することにより、合成された音声データに対応する音が出力される。
【００２０】
ＧＵＩ表示制御部（On-Screen Display control部）／音声合成部１１６は、ＨＤ＿ＤＶＤ制御部１０５やメイン／サブ音声ミキシング調整部１１１などからの要請に応じて、メッセージやグラフィカルユーザインターフェース（ＧＵＩ）などのイメージデータを作成する機能を持つ。さらに、ＧＵＩ表示制御部／音声合成部１１６は、作成するメッセージに対応する内容の音声を適宜合成する機能も持つ。なお、メイン／サブ音声ミキシング調整部１１１は、ユーザが変更したメイン音声／サブ音声のミキシング情報（個々の音声の音量情報を主とし、適宜、メイン音声に対するサブ音声の位相情報を含むこともできる）を記憶するミキシング係数メモリ１１１ａを内蔵している。
【００２１】
ビデオブレンド部１０９は、メインビデオ部デコード部１０６やサブビデオデコード部１０７から送られてきたビデオデータを合成する装置である。ビデオブレンド部１０９はさらに、メインビデオ部デコード部１０６およびサブビデオデコード部１０７から送られてきたビデオデータの合成データにＧＵＩ表示制御部／音声合成部１１６で作成されたイメージデータを合成する処理も行う。最終的に合成されたビデオデータは、ビデオ出力部１１２を通して、モニタ４００に表示される。
【００２２】
ＨＤ＿ＤＶＤ制御部１０５はＨＤ＿ＤＶＤ再生を制御するものであり、データ入力部１０２から取り出したコンテンツのコンテンツ情報に応じた再生を行う。リモコン３００は、再生や停止、早送り／早戻し、スキップなどのユーザ操作をプレーヤ１００に対して指示する。なお、図１の構成ブロック１０５、１１１、１１６の機能は、マイクロコンピュータ（ＭＰＵ）のファームウエアにより実現できる。
【００２３】
図１のシステム構成における、メイン音声とサブ音声のミキシングバランスのカスタマイズ処理を、図２を参照して説明する。ユーザがなにもしないときは（Ｓ１００Ｙ）、図１の再生装置１００はメモリ１０５ａ内のオーディオパラメータにより設定されるデフォルトのミキシングバランスで、メイン音声とサブ音声を再生する（Ｓ１０１）。視聴者（装置ユーザ）がこのデフォルトのミキシングバランスを好まないときは（Ｓ１００Ｎ）、リモコン３００に設けられたミキシング調整開始ボタン（図３の３００ｂ）を押すことにより、ミキシングバランスをユーザがカスタマイズする処理に入る。
【００２４】
すなわち、図１の装置１００は、メイン／サブ音声ミキシング調整部１１１を具備している。このメイン／サブ音声ミキシング調整部１１１は、ディスク１の再生開始後、メイン音声デコード部１０３とサブ音声デコード部１０４に音声ストリームが入力されメイン音声とサブ音声の両方がデコードされているか否かを判定する（Ｓ０１）。メイン音声デコード部１０３とサブ音声デコード部１０４の両方で音声がデコードされていないと判定した場合（Ｓ０１Ｎ）、ミキシング調整可能メッセージ（図３の４０１ａ）が表示中か否かを判定する（Ｓ０２）。ミキシング調整可能メッセージが表示中であると判定した場合は（Ｓ０２Ｙ）、ミキシング調整可能メッセージを消去し（Ｓ０３）、再生終了でなければ（Ｓ１０２Ｎ）Ｓ０１の処理に戻る。ミキシング調整可能メッセージが表示中でないと判定した場合は（Ｓ０２Ｎ）、ミキシング調整ＧＵＩが表示中か否かを判定する（Ｓ０４）。ミキシング調整ＧＵＩが表示中であると判定した場合は（Ｓ０４Ｙ）、ミキシング調整ＧＵＩを消去し（Ｓ０５）、再生終了でなければ（Ｓ１０２Ｎ）Ｓ０１の処理に戻る。ミキシング調整ＧＵＩが表示中でないと判定した場合（Ｓ０４Ｎ）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２５】
メイン音声デコード部１０３とサブ音声デコード部１０４の両方でメイン音声とサブ音声がデコードされていると判定した場合は（Ｓ０１Ｙ）、ミキシング調整ＧＵＩが表示中か否か（および／またはミキシング調整可能な旨を告げる音声案内を出力中であるか否か）を判定する（Ｓ０６）。ミキシング調整ＧＵＩが表示中でない（および／または音声案内の出力中でない）と判定した場合は（Ｓ０６Ｎ）、ミキシング調整可能メッセージが表示中か否か（および／または音声案内の出力中か否か）を判定する（Ｓ０７）。ミキシング調整可能メッセージが表示中でない（および／または音声案内の出力中でない）と判断した場合は（Ｓ０７Ｎ）、ミキシング調整可能メッセージを表示し（および／またはそのメッセージを音声案内し）（Ｓ０８）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２６】
ミキシング調整可能メッセージが表示中である（および／または音声案内の出力中である）と判定した場合は（Ｓ０７Ｙ）、ユーザ操作によりミキシング調整開始が指定されたか否かを判定する（Ｓ０９）。この「ミキシング調整開始指定」は、リモコン３００のミキシング調整開始ボタン３００ｂ（図３）を押す（オンする）ことにより行うことができる。
【００２７】
ミキシング調整開始が指定されたと判断した場合は（Ｓ０９Ｙ）、ミキシング調整ＧＵＩ（図４または図５）を表示し（Ｓ１０）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。ミキシング調整開始が指定されていないと判断した場合（Ｓ０９Ｎ）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２８】
ミキシング調整ＧＵＩが表示中（および／または音声案内出力中）であると判断した場合は（Ｓ０６Ｙ）、ユーザ操作（図４または図５のリモコンボタン３００ｂ＊のオン）によりミキシング調整ＧＵＩの消去（および／または音声案内の停止）が指定されたか否かを判定する（Ｓ１１）。ミキシング調整ＧＵＩの消去（および／または音声案内の停止）が指定されたと判定した場合は（Ｓ１１Ｙ）、ミキシング調整ＧＵＩを消去し（および／または音声案内を停止し）（Ｓ１２）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００２９】
ミキシング調整ＧＵＩの消去（および／または音声案内の停止）が指定されていないと判定した場合は（Ｓ１１Ｎ）、ユーザ操作によりリモコン３００の右ボタン（図４または図５のリモコンボタン３００ｄ）が押されたか否かを判定する（Ｓ１８）。右ボタン３００ｄが押されたと判定した場合は（Ｓ１８Ｙ）、メイン／サブ音声のミキシング係数をサブ側に１つ進め（Ｓ１９）、Ｓ２２に飛ぶ。右ボタン３００ｄが押されていないと判定した場合（Ｓ１８Ｎ）、ユーザ操作により左ボタン（図４または図５のリモコンボタン３００ｃ）が押されたか否かを判定する（Ｓ２０）。左ボタン３００ｃが押されたと判定した場合は（Ｓ２０Ｙ）、メイン／サブ音声のミキシング係数をメイン側に１つ進め（Ｓ２１）、Ｓ２２に飛ぶ。左ボタン３００ｃが押されていないと判定した場合は（Ｓ２０Ｎ）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００３０】
Ｓ２２では、ミキシング係数に従いミキシング調整ＧＵＩの表示を更新する（図４の例では、ミキシングバランスポイントを示すダイヤマークの表示位置を変える）。（および／またはＳ２２において、メイン音声とサブ音声のミキシングバランスポイントが、メインよりに＋Ｍステップ変わったとかサブよりに＋Ｎステップ変わったといったように音声案内の内容を更新する）。その後、更新されたミキシング係数に従い音声ミキシング部１０８を制御し、メイン音声デコード部１０３からのメイン音声データとサブ音声デコード部１０４からのサブ音声データを合成し（Ｓ２３）、再生終了でなければ（Ｓ１０２Ｎ）、Ｓ０１の処理に戻る。
【００３１】
なお、上記の一実施の形態では、Ｓ１００の処理がない場合はメイン音声とサブ音声の両方がデコードされていると無条件にミキシング調整可能メッセージを表示し音声のミキシング調整ができるようになるが、Ｓ１００のノー・イエスにより音声ミキシング調整処理のOn／Offを指定できるようにすることで、図３のミキシング調整可能メッセージ４０１ａを表示しないようにすることもできる。
【００３２】
図３は、この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能メッセージ」の表示例を説明する図である。ここでは、リモコン３００のＧＵＩ画像３００ａ（ミキシング調整開始ボタン３００ｂを含む）と、メインビデオ画像の右上にＯＳＤ表示される「Main/Sub音声調整が可能です」というメッセージ４０１ａが例示されている。ユーザは、メッセージ４０１ａ（および／またはそのメッセージに対応する音声案内）から、現在再生中のメイン音声とサブ音声のバランスを変更できることを知ることができる。バランスを変えたいと考えたユーザが、手元のリモコン３００を操作して、ＧＵＩ上のボタン３００ｂに相当するリモコンボタンを押すと、図４のミキシングバランス調整画像４０１ｂが画面４００ｂに表示され、あるいは図５の音声レベルバーグラフ４０１ｃ、４０２ｃが画面４００ｃに表示される。
【００３３】
図４は、この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能ＧＵＩ」の表示例を説明する図である。この例では、ユーザの手元にあるリモコン３００のカーソル操作（左ボタン３００ｂと右ボタン３００ｄ）により、相対的にメイン音声の音量を上げるかサブ音声の音量を上げるかのバランス調整を行うことができる。
【００３４】
図５は、この発明の一実施の形態に係る音声ミキシング処理における「メイン／サブの個別調整」を行う表示例を説明する図である。この例では、カーソル３００ｅでメイン音声を選び、カーソル３００ｃと３００ｄでメイン音声の音量を増減させる調整ができる。また、カーソル３００ｆでサブ音声を選び、カーソル３００ｃと３００ｄでサブ音声の音量を増減させる調整ができる。このような方法でも、メイン音声とサブ音声との間のミキシングバランスを調整することができる。
【００３５】
なお、ユーザが複数のミキシングバランス調整結果を設定した場合は、その結果えられる複数のミキシング係数を図１のミキシング係数メモリ１１１ａに保存し、後に（図２のＳ１００Ｎ以降の任意の処理時点において）ユーザが好みのミキシング係数を即座に選ぶ（たとえばリモコン３００の図示しない番号キーでダイレクトに所望のミキシング係数を選ぶ）ように構成することもできる。
【００３６】
＜一実施の形態に係る装置構成のまとめ＞
１．メイン音声デコード部１０３に音声ストリームが入力され、デコードしていることを検出する手段を持つ；
２．サブ音声デコード部１０４に音声ストリームが入力され、デコードしていることを検出する手段を持；
３．メイン／サブ音声ミキシング調整部１１１は、１と２の手段を用いて、メイン音声とサブ音声の両方の音声がデコードされていることを判定する手段を持つ；
４．メイン／サブ音声ミキシング調整部１１１は、メイン音声とサブ音声の両方の音声がデコードされていると判断した場合、メイン音声とサブ音声のミキシングが可能であることをメッセージ表示する手段を持つ；
５．メイン／サブ音声ミキシング調整部１１１は、４でメッセージが表示されている状態の時、メイン音声とサブ音声のミキシング調整の開始を選択する手段を持つ；
６．メイン／サブ音声ミキシング調整部１１１は、５でメイン音声とサブ音声のミキシング調整の開始が選択された後、メイン音声とサブ音声のミキシング調整を行う設定手段を持つ；
７．メイン／サブ音声ミキシング調整部１１１は、５で設定されたメイン音声とサブ音声のミキシング係数を記憶する手段を持つ；
８．メイン／サブ音声ミキシング調整部１１１は、６で記憶したメイン音声とサブ音声のミキシング係数をもとに、音声ミキシング部１０８を制御し、メイン音声とサブ音声のミキシングを調整する手段を持つ。
【００３７】
＜実施の形態と発明との対応例＞
（１）メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する音声ミキシングのカスタマイズ方法において、前記メイン音声ストリームと前記サブ音声ストリームの両方がデコードされているときに（Ｓ０１Ｙ）、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知（画像および／または音声で）する（Ｓ０６Ｙ）。そして、デコードされた前記メイン音声とデコードされた前記サブ音声とのミキシングバランスを変える操作があったときは（Ｓ１８ＹまたはＳ２０Ｙ）、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を出力する。
【００３８】
（２）前記通知はグラフィカルユーザインターフェース（図３〜図５）を介して行われ、このグラフィカルユーザインターフェースにおいて、前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示（図３の４０１ａ）が行われ（Ｓ０８）、あるいは前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示（図４の４０１ｂ）が行われ（Ｓ１０）、あるいは前記メイン音声の大きさに対応した変化をするメイン音声画面表示（図５の４０１ｃ）と前記サブ音声の大きさに対応した変化をするサブ音声画面表示（図５の４０２ｃ）が行われる（Ｓ１０）。
【００３９】
（３）メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する音声ストリーム処理装置（図１）は、前記メイン音声ストリームをデコードするメイン音声デコード手段（１０３）と、前記サブ音声ストリームをデコードするサブ音声デコード手段（１０４）と、前記メイン音声デコード手段（１０３）でデコードされたメイン音声と前記サブ音声デコード手段（１０４）でデコードされたサブ音声とをミキシングする音声ミキシング手段（１０８）と、前記メイン音声デコード手段（１０３）および前記サブ音声デコード手段（１０４）の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることを検知するデコード状態検知手段（１１１のファームウエア：Ｓ０１）と、前記メイン音声デコード手段（１０３）および前記サブ音声デコード手段（１０４）の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることが前記デコード状態検知手段（１１１）により検知されたら（Ｓ０１Ｙ）、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知（画像および／または音声で）するミキシング調整可能通知手段（１１５のファームウエア：Ｓ０６Ｙ）と、前記メイン音声デコード手段（１０３）によりデコードされた前記メイン音声と前記サブ音声デコード手段（１０４）によりデコードされた前記サブ音声とのミキシングバランスを変える操作を行うメイン／サブ音声ミキシング調整手段（１１１のファームウエア：Ｓ１８〜Ｓ２１）とを備ている。この装置は、前記メイン／サブ音声ミキシング調整手段（１１１）により前記ミキシングバランスを変える操作があったときは（Ｓ１８ＹまたはＳ２０Ｙ）、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を前記音声ミキシング手段（１０８）から提供するように構成されている。
【００４０】
（４）前記音声ストリーム処理装置（図１）は、前記通知を行うグラフィカルユーザインターフェース（図３〜図５）を提供する表示制御手段（１１６のファームウエア：Ｓ０６〜Ｓ１０）をさらに具備できる。この表示制御手段により制御されたビデオ出力により、前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示（図３の４０１ａ）が行われ（Ｓ０８）、あるいは前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示（図４の４０１ｂ）が行われ（Ｓ１０）、あるいは前記メイン音声の大きさに対応した変化をするメイン音声画面表示（図５の４０１ｃ）と前記サブ音声の大きさに対応した変化をするサブ音声画面表示（図５の４０２ｃ）が行われる（Ｓ１０）。
【００４１】
（５）前記メイン音声ストリームおよび前記サブ音声ストリームはＭＰＥＧプログラムストリームを構成するエレメンタリストリームに対応させることができる。前記音声ストリーム処理装置（図１）は、このエレメンタリストリームを用いてオーディオおよびビデオのコンテンツ（ＨＤ＿ＤＶＤコンテンツ）が記録された光ディスクを再生するディスクドライブ（１０２）と、前記オーディオおよびビデオのコンテンツに含まれるビデオデータのストリームをデコードするビデオデコード手段（１０６、１０７）と、前記ビデオデコード手段（１０６、１０７）でデコードされたビデオデータと前記ミキシング調整可能通知手段（１１５）による通知内容に対応する画像データとをブレンドするビデオブレンド手段（１０９）と、前記ビデオブレンド手段（１０９）でブレンドされたビデオデータを画像表示装置（４００）に出力するビデオ出力手段（１１２）とをさらに具備することができる。
【００４２】
この発明の一実施の形態により、メイン音声とサブ音声のミキシングバランスを調整する情報がないコンテンツの場合でも、メイン音声とサブ音声のミキシングバランスを視聴者（ユーザ）毎にカスタマイズすることが出来るようになり、視聴者に適した音声再生が可能となる。
【００４３】
なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００４４】
【図１】この発明の一実施の形態に係る再生装置を説明する図。
【図２】この発明の一実施の形態に係る音声ミキシング処理手順を説明する図。
【図３】この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能メッセージ」の表示例を説明する図。
【図４】この発明の一実施の形態に係る音声ミキシング処理における「ミキシング調整可能ＧＵＩ」の表示例を説明する図。
【図５】この発明の一実施の形態に係る音声ミキシング処理における「メイン／サブの個別調整」を行う表示例を説明する図。
【図６】図１の再生装置で再生されるディスクのデータ構造の一例を説明する図。
【符号の説明】
【００４５】
１…情報記録媒体（ＨＤ＿ＤＶＤビデオ等の光ディスク）；１０２…ディスクドライブ／データ入力部；１０３…メイン音声デコード部；１０４…サブ音声デコード部；１０５…ＨＤ＿ＤＶＤ制御部（ＭＰＵ）；１０５ａ…システムパラメータメモリ；１０６…メインビデオデコード部；１０７…サブビデオデコード部；１０８…音声ミキシング部；１０９…ビデオブレンド部；１１０…音声出力部；１１１…メイン／サブ音声ミキシング調整部（ＭＰＵ）；１１１ａ…ミキシング係数メモリ；１１２…ビデオ出力部；１１６…ＧＵＩ表示制御部（ＯＳＤ部）／音声合成部；２００…スピーカ；３００…リモコン；４００…画像表示装置（モニタＴＶ）。
【特許請求の範囲】
【請求項１】
メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する方法であって、前記メイン音声ストリームと前記サブ音声ストリームの両方がデコードされているときに、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知し、デコードされた前記メイン音声とデコードされた前記サブ音声とのミキシングバランスを変える操作があったときは、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって前記デコードされたメイン音声と前記デコードされたサブ音声を出力する音声ミキシングのカスタマイズ方法。
【請求項２】
前記通知はグラフィカルユーザインターフェースを介して行われ、このグラフィカルユーザインターフェースにおいて、
前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示が行われ、あるいは
前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示が行われ、あるいは
前記メイン音声の大きさに対応した変化をするメイン音声画面表示と前記サブ音声の大きさに対応した変化をするサブ音声画面表示が行われる請求項１に記載の方法。
【請求項３】
メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する装置であって、
前記メイン音声ストリームをデコードするメイン音声デコード手段と、
前記サブ音声ストリームをデコードするサブ音声デコード手段と、
前記メイン音声デコード手段でデコードされたメイン音声と前記サブ音声デコード手段でデコードされたサブ音声とをミキシングする音声ミキシング手段と、
前記メイン音声デコード手段および前記サブ音声デコード手段の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることを検知するデコード状態検知手段と、
前記メイン音声デコード手段および前記サブ音声デコード手段の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることが前記デコード状態検知手段により検知されたら、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知するミキシング調整可能通知手段と、
前記メイン音声デコード手段によりデコードされた前記メイン音声と前記サブ音声デコード手段によりデコードされた前記サブ音声とのミキシングバランスを変える操作を行うメイン／サブ音声ミキシング調整手段とを備え、
前記メイン／サブ音声ミキシング調整手段により前記ミキシングバランスを変える操作があったときは、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を前記音声ミキシング手段から提供するように構成した音声ストリーム処理装置。
【請求項４】
前記通知を行うグラフィカルユーザインターフェースを提供する表示制御手段をさらに具備し、この表示制御手段により制御されたビデオ出力により、
前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示が行われ、あるいは
前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示が行われ、あるいは
前記メイン音声の大きさに対応した変化をするメイン音声画面表示と前記サブ音声の大きさに対応した変化をするサブ音声画面表示が行われるように構成した請求項３に記載の装置。
【請求項５】
前記メイン音声ストリームおよび前記サブ音声ストリームはＭＰＥＧプログラムストリームを構成するエレメンタリストリームに対応し、このエレメンタリストリームを用いてオーディオおよびビデオのコンテンツが記録された光ディスクを再生するディスクドライブと、
前記オーディオおよびビデオのコンテンツに含まれるビデオデータのストリームをデコードするビデオデコード手段と、
前記ビデオデコード手段でデコードされたビデオデータと前記ミキシング調整可能通知手段による通知内容に対応する画像データとをブレンドするビデオブレンド手段と、
前記ビデオブレンド手段でブレンドされたビデオデータを画像表示装置に出力するビデオ出力手段とをさらに具備した請求項３または請求項４に記載の装置。
【請求項１】
メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する方法であって、前記メイン音声ストリームと前記サブ音声ストリームの両方がデコードされているときに、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知し、デコードされた前記メイン音声とデコードされた前記サブ音声とのミキシングバランスを変える操作があったときは、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって前記デコードされたメイン音声と前記デコードされたサブ音声を出力する音声ミキシングのカスタマイズ方法。
【請求項２】
前記通知はグラフィカルユーザインターフェースを介して行われ、このグラフィカルユーザインターフェースにおいて、
前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示が行われ、あるいは
前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示が行われ、あるいは
前記メイン音声の大きさに対応した変化をするメイン音声画面表示と前記サブ音声の大きさに対応した変化をするサブ音声画面表示が行われる請求項１に記載の方法。
【請求項３】
メイン音声ストリームとサブ音声ストリームをデコードし、デコードしたメイン音声とサブ音声をミキシングして出力する装置であって、
前記メイン音声ストリームをデコードするメイン音声デコード手段と、
前記サブ音声ストリームをデコードするサブ音声デコード手段と、
前記メイン音声デコード手段でデコードされたメイン音声と前記サブ音声デコード手段でデコードされたサブ音声とをミキシングする音声ミキシング手段と、
前記メイン音声デコード手段および前記サブ音声デコード手段の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることを検知するデコード状態検知手段と、
前記メイン音声デコード手段および前記サブ音声デコード手段の両方で前記メイン音声ストリームと前記サブ音声ストリームのデコードが行われていることが前記デコード状態検知手段により検知されたら、前記メイン音声ストリームのデコードにより得られるメイン音声と前記サブ音声ストリームのデコードにより得られるサブ音声とのミキシング調整が可能であることを通知するミキシング調整可能通知手段と、
前記メイン音声デコード手段によりデコードされた前記メイン音声と前記サブ音声デコード手段によりデコードされた前記サブ音声とのミキシングバランスを変える操作を行うメイン／サブ音声ミキシング調整手段とを備え、
前記メイン／サブ音声ミキシング調整手段により前記ミキシングバランスを変える操作があったときは、この操作に従いミキシング係数を更新し、更新されたミキシング係数にしたがって設定された前記ミキシングバランスでもって、前記デコードされたメイン音声と前記デコードされたサブ音声を前記音声ミキシング手段から提供するように構成した音声ストリーム処理装置。
【請求項４】
前記通知を行うグラフィカルユーザインターフェースを提供する表示制御手段をさらに具備し、この表示制御手段により制御されたビデオ出力により、
前記メイン音声と前記サブ音声とのミキシング調整が可能である旨の通知画面表示が行われ、あるいは
前記メイン音声と前記サブ音声とのミキシングバランスに対応した変化をするミキシングバランス画面表示が行われ、あるいは
前記メイン音声の大きさに対応した変化をするメイン音声画面表示と前記サブ音声の大きさに対応した変化をするサブ音声画面表示が行われるように構成した請求項３に記載の装置。
【請求項５】
前記メイン音声ストリームおよび前記サブ音声ストリームはＭＰＥＧプログラムストリームを構成するエレメンタリストリームに対応し、このエレメンタリストリームを用いてオーディオおよびビデオのコンテンツが記録された光ディスクを再生するディスクドライブと、
前記オーディオおよびビデオのコンテンツに含まれるビデオデータのストリームをデコードするビデオデコード手段と、
前記ビデオデコード手段でデコードされたビデオデータと前記ミキシング調整可能通知手段による通知内容に対応する画像データとをブレンドするビデオブレンド手段と、
前記ビデオブレンド手段でブレンドされたビデオデータを画像表示装置に出力するビデオ出力手段とをさらに具備した請求項３または請求項４に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１５８８５（Ｐ２００９−１５８８５Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７３０３４（Ｐ２００７−１７３０３４）
【出願日】平成１９年６月２９日（２００７．６．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年６月２９日（２００７．６．２９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]