ストリーム処理装置
【課題】マルチストリームのストリーム処理装置において、同時に処理するストリーム数が増加しても、音声処理手段の演算処理能力の範囲内に演算量が収まるように、各ストリームに対する音声処理を選択する。
【解決手段】マルチストリームのトランスポートストリームを受信して音声データと番組付随情報とを抽出するトランスポートストリームデコーダと、音声データを同時に復号するデコード手段と、デコード手段が復号した音声データに対して音声チャンネルの拡張及びデジタルフィルタ演算処理を含む音響効果の演算を行う音声処理手段と、デコード手段の単位時間あたりの演算量を測定する演算量測定部と、番組付随情報と演算量測定部で測定した演算量に応じて、音声処理手段の処理能力を超えないように、マルチストリームのそれぞれのストリームに対して、音声処理手段における処理を切り替えるように制御する制御手段とを備える。
【解決手段】マルチストリームのトランスポートストリームを受信して音声データと番組付随情報とを抽出するトランスポートストリームデコーダと、音声データを同時に復号するデコード手段と、デコード手段が復号した音声データに対して音声チャンネルの拡張及びデジタルフィルタ演算処理を含む音響効果の演算を行う音声処理手段と、デコード手段の単位時間あたりの演算量を測定する演算量測定部と、番組付随情報と演算量測定部で測定した演算量に応じて、音声処理手段の処理能力を超えないように、マルチストリームのそれぞれのストリームに対して、音声処理手段における処理を切り替えるように制御する制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送等の技術分野において、圧縮符号化された映像信号のビットストリームを復号し、復号された映像信号を表示するストリーム処理装置に関する。特に複数のチャンネルの映像を復号して同時に表示するストリーム処理装置に関する。
【背景技術】
【０００２】
デジタル放送では、映像音声データはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方式によって圧縮符号化され、複数のチャンネルの映像が多重化されて配信されている。デジタル放送受信機は、多重化されたビットストリームを受信すると、ビットストリームのうち受信するように指定されたチャンネルの映像ストリームおよび音声ストリームを分離し、これらを復号して出力する。
【０００３】
近年のテレビ受信機の多くは、複数のチャンネルの符号化データを同時に復号し、それら複数の映像ストリームを同時に表示することが可能である。例えば特許文献１では、複数のデコーダを用いて、複数のビットストリームを同時に復号させる装置が開示されている。
【０００４】
従来、複数のストリームを同時にテレビに表示させる際には、画面を右画面と左画面や、親画面と子画面のように、画面を２つに分割した２画面形式で表示され、これらを視聴することが主流であった。しかし近年、２つのストリームに含まれる映像を交互に表示し、交互に表示される映像の一つのストリームに同期して開閉するシャッター方式のメガネ等を使用して、複数のユーザーが同じコンテンツ、または、異なるコンテンツを全画面で同時に視聴する方法が提案されている。今後、さらに３本以上の映像ストリームを、複数のユーザーが全画面で同時視聴可能な環境が提供されることが考えられる。
【０００５】
一方で、複数のストリームの映像処理や音声処理を同時に行う場合には、ＣＰＵの演算量やメモリバンド幅など、受信機の処理負荷が増大する。特に音声処理を全てソフトウェアで行う場合には、ストリームの同時処理本数が増えると音声処理におけるＣＰＵの処理負荷も比例して高くなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−９３１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
デジタル放送等を受信して再生するストリーム処理装置において、同時に処理するストリームの本数が増加すると、映像処理や音声処理等の演算処理が増加して、ＣＰＵ処理能力などの性能不足が発生する。
【０００８】
ユーザーが複数のストリームに対して、各演算処理の配分を細かく設定することによってＣＰＵ能力の効果的な配分が可能だが、ストリームの同時処理本数が増え、ストリームに対する処理に応じて機能が複雑になるとユーザーの負担が増加する。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明のストリーム処理装置は、マルチストリームのトランスポートストリームを受信して音声データと番組付随情報とを抽出するトランスポートストリームデコーダと、前記音声データを同時に復号するデコード手段と、前記デコード手段が復号した音声データに対して音声チャンネルの拡張及びデジタルフィルタ演算処理を含む音響効果の演算を行う音声処理手段と、前記デコード手段の単位時間あたりの演算量を測定する演算量測定部と、前記番組付随情報と前記演算量測定部で測定した演算量に応じて、前記音声処理手段の処理能力を超えないように、前記マルチストリームのそれぞれのストリームに対して、前記音声処理手段における音響処理を切り替えるように制御する制御手段とを備える。
【発明の効果】
【００１０】
本発明のストリーム処理装置は、同時に処理するストリーム本数が増加して、ストリーム処理装置におけるＣＰＵの処理能力が限界を超える場合に、番組情報やユーザーの情報等を用いて音響処理性能の割り当てを行い、ユーザーに対してより高い臨場感を提供可能とする。
【００１１】
例えば、同時視聴している映像ストリームの番組種別（例えば、ニュース、スポーツ、コンサート、映画など）に応じて、各ストリームの音響処理性能を効果的に割り当てることが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１におけるストリーム処理装置の構成図
【図２】実施の形態１における音声チャンネル拡張部とデジタルフィルタ演算部の構成図
【図３】重複保持法の演算内容の概念図
【図４】番組ジャンルとフィルタ処理との関係図
【図５】音声チャンネル拡張部の構成図
【図６】デジタルフィルタ演算部の動作のフローチャート
【図７】サラウンドモードに要するフィルタタップ数と演算量の関係図
【図８】フィルタタップ数とフィルタの周波数特性の関係図
【図９】実施の形態１におけるマルチストリーム処理におけるサラウンドモードの選択例を示す図
【図１０】実施の形態２におけるストリーム処理装置の構成図
【図１１】実施の形態２における音声出力部と音声増幅部の構成図
【図１２】実施の形態２における視聴位置を表す図
【図１３】実施の形態２における視聴位置とサラウンドモードの選択例を示す図
【発明を実施するための形態】
【００１３】
（実施の形態１）
図１は、実施の形態１におけるストリーム処理装置の構成図である。
【００１４】
実施の形態１におけるストリーム処理装置は、チューナー部１０１、トランスポートデコーダ部１０２、番組情報取得部１０３、ＡＶデコーダ部１０４、フレームメモリＡ１０５、音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７、音声出力部１０９、フレームメモリＶ１１０、映像出力部１１１、演算量測定部１１２、ＣＰＵ１１３で構成される。
【００１５】
以下、図１を用いて説明する。
【００１６】
チューナー部１０１は、アンテナ等で受信されたデジタル放送信号（ＩＦ）を入力し、復調し、トランスポートストリーム（ＴＳ）として出力する。
【００１７】
トランスポートデコーダ部１０２は、チューナー部１０１の出力したトランスポートストリームを受けて、トランスポートストリーム中に含まれるＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）からトランスポートストリームパケットの解析を行う。そして、トランスポートストリームに多重化されたデータから、目的の番組の映像、音声の各ＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を分離し、音声ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）（ＡＰ）と映像ＰＥＳ（ＶＰ）とを出力する。
【００１８】
番組情報取得部１０３は、トランスポートストリームに含まれるＰＳＩ／ＳＩを抽出する。ＰＳＩ／ＳＩに含まれるＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）には放送番組の名称、ジャンル、放送日、放送内容、放送開始時間、放送継続時間などの情報が含まれる。
【００１９】
ＡＶデコーダ部１０４は、ＣＰＵ１１３から指示される制御信号（ＡＶＤ）を受けて、音声ＰＥＳに含まれている、圧縮された音声符号化信号の復号と、映像ＰＥＳに含まれている映像符号化信号の復号を行う。ＡＶデコーダ部１０４において、圧縮された音声符号化信号は、ステレオ音声信号、または５．１ｃｈ〜７．１ｃｈのマルチチャンネルの音声信号へ復号されて、音声信号（ＡＯ１）として出力される。
【００２０】
マルチチャンネル音声信号の５．１ｃｈは、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）で採用されている方式で、それぞれセンタースピーカー、フロント・レフトスピーカー、フロント・ライトスピーカー、リア・レフトスピーカー、リア・ライトスピーカー、サブウーファーの音声信号に対応する。
【００２１】
マルチチャンネル音声信号の６．１ｃｈ、７，１ｃｈはＤｏｌｂｙ／ｄｔｓで提唱されるサラウンド方式で、さらにバック・レフトスピーカー、バック・ライトスピーカーが加わり高い臨場感と包囲感を高めた方式である。
【００２２】
ＡＶデコーダ部１０４において、映像符号化信号は復号されて、映像信号ＶＯ１として出力される。ＡＶデコーダ部１０４は、ＣＰＵ１１３の制御信号ＡＶＤによって、２本以上の複数の映像ストリームを時分割で復号することにより、複数本のストリームを同時処理することが可能である。
【００２３】
フレームメモリＡ１０５は、ＡＶデコーダ部１０４から出力された音声信号（ＡＯ１）を受けて、バッファリングを行い、音声信号ＡＯ２として出力する。
【００２４】
音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２に対して、必要に応じて、マルチチャンネルの音声信号への拡張を行い、デジタルフィルタ演算部１０７に対して音声信号ＡＯ３として出力する。このマルチチャンネルの音声信号への拡張は、入力された音声信号ＡＯ２が２ｃｈの場合に、仮想的なサラウンドスピーカから音声出力されたように効果を付加する。
【００２５】
例えば、音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２がステレオ音声信号である場合に、Ｌ／Ｒの２ｃｈの音声信号から５．１ｃｈ、または７．１ｃｈのマルチチャンネル音声信号への拡張処理を行う。また、音声チャンネル拡張部１０６は、必要に応じてフロント・レフトとフロント・ライトの２ｃｈの信号成分から、仮想的にセンター、リア・レフト、リア・ライト、バック・レフト、バック・ライトの信号成分を生成する。
【００２６】
また音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２がステレオ音声信号の場合には、デジタルフィルタ演算部１０７で演算を行わずに、そのまま音声出力部１０９へ渡す信号経路を持つ。
【００２７】
デジタルフィルタ演算部１０７は、音声チャンネル拡張部１０６からの出力である音声信号ＡＯ３に対して、音響効果を得るためのデジタルフィルタ演算を行う。この処理は、専用のＤＳＰやハードウエアを用いてもよく、またソフトエアプログラムとそのソフトエアプログラムを実行するＣＰＵを用いて構成しても構わない。
【００２８】
デジタルフィルタは、一般的に音を任意の位置に定位させるＡＶシアターシステムや音響再生システムや、音に反射音を付加して拡がり感を持たせる音響再生システムや映像再生システム等で多く使用されている。デジタルフィルタの構成は、フィードバック部を有するＩＩＲフィルタと、フィードバック部を持たないＦＩＲフィルタとに分類される。ＦＩＲフィルタは安定性と位相歪のない特性により映像音響機器の分野で広く用いられており、本実施の形態１によるストリーム処理装置でもＦＩＲフィルタを用いる。
【００２９】
また、デジタルフィルタの演算は時間領域の処理ではなく周波数領域での処理を行うと、ベクトルの積算になり、単位時間辺りの演算回数（乗算／加減算）が少なくなることが知られている。よってデジタルフィルタ演算部１０７は、フーリエ変換を用いて周波数領域での演算を行い、その積を逆高速フーリエ変換（ＩＦＦＴ）し、時間領域に戻し、音声信号ＡＯ４を出力する。
【００３０】
音声出力部１０９は、入力されるストリームが複数の場合には、出力端子に出力する音声信号を選択し、Ｄ／Ａ変換処理等を行ってアナログ音声信号ＡＯＵＴを出力する。
【００３１】
演算量測定部１１２は、ＡＶデコーダ部１０４の処理内容に応じて、ストリーム処理の単位時間あたりの演算量を計算する。ＡＶデコーダ部１０４の演算量は、ＭＰＥＧ２やＨ．２６４等のように圧縮符号化の種類や、１０８０ｉや７２０ｐなどの映像フォーマットによって異なるが、本実施の形態１では同時に処理するストリームの本数で負荷を判断する。
【００３２】
ＣＰＵ１１３は、番組情報取得部１０３の出力ＳＩ２と、演算量測定部１１２の出力ＣＯＮＴとを受けてサラウンド処理の種類を判断し、音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７とに、サラウンド処理の種類を通知する制御信号（サラウンドモード信号）ＳＭＯＤＥを出力する。
【００３３】
フレームメモリＶ１１０はＡＶデコーダ部１０４にて出力された映像信号を一旦蓄積し、音声出力部１０９から出力される音声信号と同期をとるように調整してから、映像出力部１１１で画面などに映像として出力する。
【００３４】
続いて本実施の形態１における動作例を説明する。
【００３５】
実施の形態１におけるストリーム処理装置において、トランスポートストリームから映像、音声信号を復号するまでの一連の処理、および放送で多重されるトランスポートデコーダから、番組情報ＳＩ／ＰＳＩを抽出する技術は一般的に知られている技術であるため、その動作説明は省略する。
【００３６】
ＣＰＵ１１３は、入力ストリームに対して、ＳＩに含まれる番組情報（番組のジャンル）を解析し、音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７におけるサラウンド処理の演算内容を決定する。例えば、映像ストリームＡと映像ストリームＢの２ｃｈのストリームを同時に復号する場合、ＣＰＵ１１３は映像ストリームＡと映像ストリームＢの２つの番組情報を、番組情報取得部１０３より入手して解析を行い、映像ストリームＡとＢのそれぞれに対する、音声チャンネル拡張部１０６による音声信号の拡張処理と、デジタルフィルタ演算部１０７におけるサラウンド処理の方式を決定し、制御信号ＳＭＯＤＥとして音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７とに対して出力する。
【００３７】
以下、図２を用いてサラウンド処理の動作内容について説明する。
【００３８】
図２は、図１で示した音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７の構成例を示した図である。
【００３９】
デジタルフィルタ演算部１０７は、フーリエ変換部２０１、畳み込み演算部２０２、逆フーリエ変換部２０３とで構成される。
【００４０】
フーリエ変換部２０１は、時間領域で表された音声信号ＡＯ３を入力し、時間領域の信号をある定められた時間窓毎に高速フーリエ変換処理（ＦＦＴ）を行うことによって周波数領域に変換し、音声信号ベクトルＦＡ１を出力する。この処理の際に、フーリエ変換部２０１は、フロントチャンネル（フロント・レフト、フロント・ライト）に対してＦＦＴの処理を行い、次にＣＰＵからの指示に応じてリアチャンネル（リア・レフト、リア・ライト）とバックチャンネル（バック・ライト、バック・レフト）に対してＦＦＴの処理を行い、周波数領域の信号を得る。
【００４１】
畳み込み演算部２０２、逆フーリエ変換部２０３も同様に、ＣＰＵ１１３からの指示に応じてフロントチャンネル、およびリアチャンネル、バックチャンネルに対して畳み込み演算と逆フーリエ変換とを行う。
【００４２】
フーリエ変換処理、および畳み込み処理は、一般的に重複保持法と重複加算法などが知られているが、本実施の形態１では、重複保持法を用いる。
【００４３】
以下に重複保持法の演算内容について、図３を用いて説明する。
【００４４】
図３は、入力信号系列ｘにフィルタ係数ｈを畳み込み、出力信号系列ｙを求める場合の処理の流れを示した図である。ＦＦＴ処理は、入力音声信号に対してフーリエ変換するＦＦＴ＿Ａと、フィルタ係数に対してフーリエ変換処理するＦＦＴ＿Ｂとで構成される。
【００４５】
図３の中で時間窓Ｗｎ−１は、現在処理を行っている時間窓Ｗｎの一つ前の時間窓であり、時間窓Ｗｎ＋１は、次の時間窓である。時間窓Ｗｎ−１、Ｗｎ、Ｗｎ＋１は、同じ窓長を持ち、互いに係数長Ｌサンプルだけ重なり合うように設定される。現在の時間窓Ｗｎの窓長をＮサンプル、係数長をＬサンプル、データの更新長をＭサンプルとすると、Ｎ＝Ｌ＋Ｍの関係が成り立つ。
【００４６】
入力信号系列ｘのうち、直前の時間窓Ｗｎ−１で使用したデータの後ろからＬサンプル取り、現在の時間窓Ｗｎのデータの後ろからＭサンプルのデータを取り、長さＮの実数信号系列としたものをＦＦＴ＿Ａに入力する。ＦＦＴ＿Ａの虚数入力は０のみのデータ（Ｎサンプル）が入力される。そして、ＦＦＴ＿Ａにより、ＦＦＴ処理を行うと長さＮのデータベクトルＸ（複素数、周波数領域）が出力される。
【００４７】
フィルタ係数ｈについては、長さＬの係数を前詰めし、後ろに長さＭのゼロを付加し、長さＮの時間領域の実数係数を作る。フィルタ係数ｈの実数系列は、ＦＦＴ＿Ｂの実数入力Ｂ０１に入力され、ＦＦＴ＿Ｂの虚数入力は、０のみのデータ（Ｎサンプル）が虚数入力に入力される。この実数係数に対し、ＦＦＴ＿Ｂにより、窓長ＮのＦＦＴを行うと、長さＮの係数ベクトルＨ（複素数、周波数領域）が出力される。
【００４８】
次に、複素乗算部ＭＵＬＴは、係数ベクトルＨとデータベクトルＸとについて、要素毎に複素乗算を行う。
【００４９】
すなわち、係数ベクトルＨをＨ＝［Ｈ（１），Ｈ（２），…，Ｈ（Ｎ）］とし、データベクトルＸをＸ＝［Ｘ（１），Ｘ（２），…，Ｘ（Ｎ）］としたとき、複素乗算部ＭＵＬＴは、複素乗算結果Ｙが（数１）となるように演算を行い、この演算結果をＩＦＦＴへ出力する。
【００５０】
【数１】
【００５１】
ＩＦＦＴ部は、演算結果Ｙに対して、窓長Ｎの逆フーリエ変換（ＩＦＦＴ）を行い時間領域に戻し、出力信号系列ｙを出力する。なお、ＩＦＦＴの虚数出力は使用しない。
【００５２】
求められた出力信号系列ｙのうち、先頭のＬサンプルは、循環畳み込みの影響を受けているため廃棄する。残ったＭサンプルの信号データが、求める出力信号系列ｙとされる。
【００５３】
以上が、重複保持法におけるＦＦＴ処理、および畳み込み処理であり、デジタルフィルタ演算部１０７は上記の一連の信号処理を行い、音声信号（ＡＯ４）を出力する。
【００５４】
続いてＣＰＵ１１３が、番組情報を受けてデジタルフィルタ演算部１０７を制御する動作を説明する。
【００５５】
図２において、番組情報ＳＩ２を受信したＣＰＵ１１３は、番組のジャンルを識別し、番組の種類に応じてフィルタ処理の種類を決定し、音声チャンネル拡張部１０６へ制御信号ＳＭＯＤＥを出力する。ＣＰＵ１１３が決定する番組ジャンルとフィルタ処理の関係の例を図４に示す。
【００５６】
図４において、番組のジャンルをニュース、バラエティなど１０種類に区分し、それぞれの番組の特徴に応じてサラウンドのモードを「ノーマル」、「サラウンドタイプ１」、「サラウンドタイプ２」、「サラウンドタイプ３」の４種類に分類している。サラウンドモードは、入力ストリームに対して、音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７の処理内容、およびフィルタ係数１０８を決定する。
【００５７】
以下、図４に示したサラウンドモードの処理内容について説明する。
【００５８】
サラウンドモードのノーマルは、入力音声信号に対して、フィルタ処理を行わずに音声出力するモードである。サラウンドモードのノーマルでは、音声信号は、デジタルフィルタ演算部１０７を通らずに、音声チャンネル拡張部１０６から音声出力部１０９へと出力される。本モードは２ｃｈで再生するためサラウンドチャンネルによる臨場感は得られないが、フィルタ演算が無いので処理の負荷が軽減される。本モードに適する番組は、臨場感よりも情報の取得を目的としたニュースや情報番組等が考えられる。
【００５９】
サラウンドモードのサラウンドタイプ１は、２ｃｈのステレオ音声に対して、５．１ｃｈへの音声チャンネルの拡張を行い、フィルタの畳み込み演算をフロントチャンネル、リアチャンネルに対して、それぞれ５１２タップを用いて処理を行うモードである。ステレオ入力に対して、５．１ｃｈへの拡張を行うため、サラウンド感が得られるようになる。
【００６０】
サラウンドモードのサラウンドタイプ２は、２ｃｈのステレオ音声に対して、５．１ｃｈへの音声チャンネル拡張を行い、デジタルフィルタの畳み込み演算を、フロントチャンネル、リアチャンネルに対して１０２４タップを用いて演算するモードである。サラウンドタイプ１に比べて、音声処理に演算資源を使用するが、より強い広がり感が得られるようになる。ステレオ音声ではあるがコンサートのようなサラウンド処理の効果的なコンテンツに適する。
【００６１】
サラウンドモードのサラウンドタイプ３は、５．１ｃｈのステレオ音声に対して、７．１ｃｈへの音声チャンネル拡張を行い、デジタルフィルタの畳み込み演算を、フロントチャンネル、リアチャンネル、バックチャンネルに対して１０２４タップを用いて処理を行う。本モードはバックチャンネルが加わるため、さらに強い広がり感が得られる。５．１ｃｈの映画やオーケストラ等の収録された音楽コンテンツが考えられる。
【００６２】
実施の形態１では、各サラウンドモードに適した４種類のフィルタ係数をメモリに格納し、畳み込み演算部２０２は、指定されたサラウンドモードに対応するタップ数のフィルタ係数を使用してフィルタ演算を行う。
【００６３】
次に図４の各サラウンドモードにおける音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７の動作について、図５、図６を用いて説明する。
【００６４】
図５は、音声チャンネル拡張部１０６の構成例を示した図である。サラウンドモードがノーマルの場合、音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２を受けて、信号処理を行わずに音声信号ＡＯ２＿１を音声出力部１０９へ出力する。
【００６５】
サラウンドモードがサラウンドタイプ１、またはサラウンドタイプ２の場合、音声チャンネル拡張部１０６は入力された音声信号ＡＯ２を受けて、音声信号ＡＯ２＿２の経路を通り、２ｃｈ入力信号（ＬＦ＿ｉｎ、ＲＦ＿ｉｎ）から５ｃｈ（ＬＦ＿ｏｕｔ、ＬＳ＿ｏｕｔ、ＣＦ＿ｏｕｔ、ＲＳ＿ｏｕｔ、ＲＦ＿ｏｕｔ）への拡張処理を行う。実施の形態１では、（数２）のようなマトリクス演算を行う。
【００６６】
【数２】
【００６７】
サラウンドモードがサラウンドタイプ３の場合には、入力された５．１ｃｈの音声信号ＡＯ２に対して、さらに、ＡＯ２＿３の経路で示す、（数３）で示すバックチャンネル信号を生成する。
【００６８】
【数３】
【００６９】
（数３）においてＤｅｌａｙは、５１２サンプル分の時間遅延を意味する。上記の処理によって本モードでは、５．１ｃｈを７.１ｃｈの音声信号に拡張して出力する。
【００７０】
図６は、デジタルフィルタ演算部１０７の動作内容についてのフローチャートである。
【００７１】
サラウンドモードがノーマルの場合、音声チャンネル拡張部１０６の出力はデジタルフィルタ演算部１０７を介さずに音声出力部１０９へ直接入力されるため、デジタルフィルタ演算部１０７は演算を行わずにそのまま終了する（Ｓ１１でＹへ進む）。
【００７２】
サラウンドモードがノーマル以外の場合には、デジタルフィルタのタップ数を決定する（Ｓ１２）。サラウンドモードがサラウンドタイプ１の場合には、デジタルフィルタのタップ数を５１２タップに設定する。サラウンドモードがサラウンドタイプ２の場合には、デジタルフィルタのタップ数を１０２４タップに設定する。サラウンドモードがサラウンドタイプ３の場合には、デジタルフィルタのタップ数を１０２４タップに設定する。
【００７３】
続いて、フロントチャンネルの音声信号に対してＦＦＴを行い（Ｓ１３）、リアチャンネルの音声信号に対してＦＦＴを行う（Ｓ１４）。
【００７４】
続いて、サラウンドモードがサラウンドタイプ３であるか否かを判断する（Ｓ１５）。サラウンドモードがサラウンドタイプ３である場合には、バックチャンネルの音声信号に対してＦＦＴを行う（Ｓ１５でＹへ進み、Ｓ１６）。サラウンドタイプ３でない場合には、Ｓ１７へ進む（Ｓ１５でＮへ進む）。
【００７５】
続いてフロントチャンネルのＦＦＴの出力結果に対してフロントチャンネルの畳み込みを行う（Ｓ１７）。
【００７６】
さらに、リアチャンネルのＦＦＴの出力結果に対してリアチャンネルの畳み込みを行う（Ｓ１８）。
【００７７】
さらに、サラウンドモードがサラウンドタイプ３であるか否かを判断する（Ｓ１９）。サラウンドモードがサラウンドタイプ３の場合には、バックチャンネルのＦＦＴの出力結果に対してバックチャンネルの畳み込みを行う（Ｓ２０）。サラウンドタイプ３でない場合には、Ｓ１９でＮへ進む。
【００７８】
そして、各チャンネルに対して逆ＦＦＴを行う（Ｓ２１）。
【００７９】
なお、各チャンネルに対して、ＦＦＴ、畳み込み、逆ＦＦＴの処理を順番に行えばよいため図６に示したフロー以外にも、異なる順番で行ってもよい。例えば、リアチャンネル、フロントチャンネルの順に行ってもよく、フロントチャンネルのＦＦＴ、畳み込み、逆ＦＦＴと手順を進めてから、リアチャンネルのＦＦＴ、畳み込み、逆ＦＦＴと手順を進めても構わない。また、各チャンネルの処理を並列に実施しても構わない。
【００８０】
次に、それぞれのサラウンドモードに要するフィルタタップ数と演算量について図７に示す。
【００８１】
サラウンド処理における演算量は、フーリエ変換および畳み込み演算における乗算処理が支配的であり、Ｎタップの重複保持法における演算量は、約(Ｎ／２)・ｌｏｇ2Ｎであることが知られている。従って、５１２タップのＦＦＴの演算回数は２３０４回であり、フロントチャンネルとリアチャンネルとを合わせた演算回数は４６０８回となる。
【００８２】
また、１０２４タップのＦＦＴの演算回数は５１２０回であり、フロントチャンネルとリアチャンネルとを合わせた演算回数は１０２４０回である。さらに、フロントチャンネルとリアチャンネルとバックチャンネルとを合わせた演算回数は１５３６０回となる。
【００８３】
すなわち、サラウンドタイプ１の場合の演算量（４６０８回）をＸとおくと、サラウンドタイプ２の場合の演算量（１０２４０回）は、２．２２Ｘ、サラウンドタイプ３の場合の演算量（１５３５６回）は３．３３Ｘとなる。
【００８４】
次に、フィルタのタップ数と音質の関係について、図８を用いて説明を行う。
【００８５】
デジタルフィルタはフィルタのタップ数を増やせば、それだけ高い周波数分解能での処理ができるが、それに要する積和演算の回数もタップ数だけ必要となる。一般的にＦＩＲフィルタは、無限のタップ数を持つ場合、目的の周波数特性を得られることが知られているが、実際にハードウェアやソフトウェアで実装する場合は、有限長のタップ数でフィルタを構成する必要がある。
【００８６】
図８は、デジタルフィルタのタップ数とフィルタの周波数特性の関係を示す図であり、横軸は周波数ω、縦軸はフィルタの振幅特性のデシベル量（ｄＢ）である減衰量Ａ（ｅjω）を示している。伝達関数Ｈ（ｅjω）とおくと、Ａ（ｅjω）は（数４）のように表される。
【００８７】
【数４】
【００８８】
図８はフィルタのタップ数が異なる場合の周波数特性を示している。曲線（Ａ）はタップ数の少ないフィルタの周波数特性であり、曲線（Ｂ）はタップ数の多いフィルタの周波数特性を示している。フィルタのタップ数と周波数特性との関係を示すパラメータとして以下の３つが挙げられる。
（１）通過域 [０,ωp]
通過域とは、入力信号を通過させる周波数帯域であり、図８において通過域[０,ωp]が広いほど高い周波数を再生することができる。タップ数が多いほど通過域が広いため、多タップの方がより高い音を再生することができる。
【００８９】
曲線（Ａ）の通過域[０,ωp-A]は、曲線（Ｂ）の通過域[０,ωp-B]より狭くなっている。
（２）通過域リップルδ
デジタルフィルタは、通過域では振幅特性が許容範囲δの範囲である必要がある。このδを通過域リップルといい、通過域リップルが小さい程、ゲインの変動が無いため安定した音圧で再生できる。タップ数が多いほどリップルが小さいため、多タップフィルタの方が安定した音量で再生できる。
【００９０】
曲線（Ａ）の通過域リップルδAの範囲は、曲線（Ｂ）の通過域リップルδBの範囲より広くなっている。
（３）遷移域[ωp、ωs]
入力信号を阻止する周波数[ωs、π]を阻止域といい、通過域から阻止域の周波数の中間の周波数[ωp、ωs]を遷移域という。タップ数が多いほど、遷移域[ωp、ωs]が短く、より急峻なフィルタ特性を得ることができるため、再生信号は低雑音となる。
【００９１】
曲線（Ａ）の遷移域[ωp_A,ωs_A]は、曲線（Ｂ）の通過域[ωp_B,ωs_B]より広くなっている。
【００９２】
このように、タップ数が多い曲線（Ｂ）の方が、タップ数の少ない曲線（Ａ）よりも良好であり、タップ数が多いほど高音質で周波数変換を行うことができる。
【００９３】
続いて本実施の形態１において、２本以上のストリームを同時処理する場合の動作について説明する。
【００９４】
図９は、マルチストリーム処理におけるサラウンドモードの選択例を示す図である。図９を用いて、３ｃｈ同時復号時と、４ｃｈ同時復号時における動作例を示す。
【００９５】
ＣＰＵ１１３は、演算量測定部１１２によって、同時処理するストリーム本数を検出し、音声チャンネル拡張部１０６、およびデジタルフィルタ演算部１０７へ、制御信号ＳＭＯＤＥを出力する。
【００９６】
本実施の形態１におけるストリーム処理装置では、デジタルフィルタ演算部１０７におけるサラウンド処理の最大処理能力として、サラウンドタイプ３のストリーム２本を処理する性能を割り当てる場合を考える。この場合、デジタルフィルタ演算部１０７で処理可能なサラウンド処理は、３．３３Ｘ×２＝６．６６Ｘの演算量までが可能となる。
【００９７】
同時に処理するストリーム本数が増えると、デジタルフィルタ演算部１０７の処理負荷が高くなり最大演算量である６．６６Ｘを超えるため、サラウンド処理の割り当てを削減する必要がある。
【００９８】
図９において、入力ストリームをストリームＡ、Ｂ、Ｃ、Ｄと順に加えていくことで、同時に再生させる本数を１チャンネルから４チャンネルと増加させた場合の、各ストリームの復号処理に割り当てるサラウンドタイプについて示している。
【００９９】
ストリームＡのみの場合、または、ストリームＡとＢの２つのストリームを同時に再生させた場合には、それらに要するＦＦＴ演算量は、それぞれＸと、４．３３Ｘであり、デジタルフィルタ演算部１０７の最大処理能力の範囲内である。このため、これらの場合には、入力ストリームに適したサラウンドモード（図９において「１ｃｈ時」と示す）そのままで再生させることができる。
【０１００】
一方、ストリームＡ、Ｂ、Ｃを同時に再生させる場合には、入力ストリームで指定されたそのままのサラウンドモードで再生させるには、ＦＦＴ演算量は７．６６Ｘが必要となり、このままではデジタルフィルタ演算部１０７の最大処理能力を超えてしまう。
【０１０１】
このため、デジタルフィルタ演算部１０７においてＦＦＴ演算量を、サラウンド効果の高い番組から順に割り当てて、その総和がデジタルフィルタ演算部１０７の最大処理能力に収まる範囲となるように決定する。
【０１０２】
ストリームＡ、Ｂ、Ｃを同時に再生させる場合に、サラウンド効果が高いのは、サラウンドモードがサラウンドタイプ３であるストリームＢとストリームＣとである。そこで、これら２つに対して優先的にデジタルフィルタ演算部１０７における処理能力を割り当て、ストリームＡについてはサラウンドモードを下げ、ノーマルとすること（図９の３ｃｈのストリームＡの箇所、ハッチングで示す）で、ストリームＡ、Ｂ、Ｃの同時再生に要するＦＦＴ演算量が６．６６Ｘとなり、デジタルフィルタ演算部１０７で最大処理能力の範囲内である。
【０１０３】
また、ストリームＡ、Ｂ、Ｃ、Ｄを同時に再生させる場合にも、サラウンド効果が高いのは、サラウンドモードがサラウンドタイプ３であるストリームＢとストリームＣとである。そこで、これら２つに対して優先的にデジタルフィルタ演算部１０７における処理能力を割り当て、ストリームＡ、Ｄについてはサラウンドモードを下げ、ノーマルとすること（図９の４ｃｈのストリームＡ、Ｄの箇所、ハッチングで示す）で、ストリームＡ、Ｂ、Ｃ、Ｄの同時再生に要するＦＦＴ演算量が６．６６Ｘとなり、デジタルフィルタ演算部１０７で最大処理能力の範囲内である。
【０１０４】
本実施の形態１によれば、ストリーム処理本数が増えてデジタルフィルタ演算部１０７での処理負荷が増えた場合には、視聴している映像ストリームの番組種別（例えば、ニュース、スポーツ、コンサート、映画など）に応じて、各ストリームに対して音響処理能力を効果的に割り当てることが可能になる。
【０１０５】
（実施の形態２）
図１０は、実施の形態２におけるストリーム処理装置の構成図である。
【０１０６】
実施の形態２において、実施の形態１のストリーム処理装置と異なる箇所は、実施の形態１のストリーム処理装置に加え、さらにカメラ３０１と音声増幅部３０２とを備える。
【０１０７】
カメラ３０１は、ＣＣＤ等の撮像素子を介して映像ストリームを視聴するユーザーの映像を取り込み、映像信号ＶＩＮを出力する。ＣＰＵ１１３は、カメラ３０１の出力を受けて、映像ストリームを視聴しているユーザーの位置を検出する。
【０１０８】
音声増幅部３０２は、音声出力部１０９から出力される音声信号ＡＯ５を受けて、一定の電圧まで音声信号の増幅を行い、接続されたスピーカーをドライブするために必要なエネルギーを供給する。
【０１０９】
音声出力部１０９、および音声増幅部３０２の構成例を、図１１に示す。
【０１１０】
実施の形態２では、４本のストリームＡ、Ｂ、Ｃ、Ｄの同時再生処理を行い、４系統のスピーカーからは、互いに異なるストリームの音声を同時に出力する。
【０１１１】
音声出力部１０９は、デジタルフィルタ演算部１０７から出力された、４本のストリームＡ、Ｂ、Ｃ、Ｄの音声信号である音声信号ＡＯ５＿Ａ、ＡＯ５＿Ｂ、ＡＯ５＿Ｃ、ＡＯ５＿Ｄを入力すると同時に、ＣＰＵ１１３から送信された制御信号ＣＯＮＴ２の指示を受ける。そして、各スピーカーに対して出力するストリームＡ、Ｂ、Ｃ、Ｄを決定し、音声増幅部３０２に対してそれぞれのストリームに対応する音声信号ＡＯ６＿Ａ、ＡＯ６＿Ｂ、ＡＯ６＿Ｃ、ＡＯ６＿Ｄを出力する。
【０１１２】
音声増幅部３０２は、これら４本の音声信号を受けて、接続されたスピーカーをドライブするために必要なエネルギーまで音声信号を増幅し、音声信号ＡＯ７＿Ａ、ＡＯ７＿Ｂ、ＡＯ７＿Ｃ、ＡＯ７＿Ｄとして出力する。
【０１１３】
以下に実施の形態２における動作例を説明する。
【０１１４】
実施の形態２において、４本のストリームの音声信号を同時に出力するストリーム再生処理装置を例に説明する。複数の映像ストリームを複数のユーザーが同時に視聴を行う場合に、出力される音声はスピーカーと、ヘッドホンとが同時に使用される。実施の形態２において、１本のストリームは７．１ｃｈスピーカーに出力し、その他３本のストリームは２ｃｈヘッドホンに出力するものとする。
【０１１５】
このときに表示される映像信号は、画面を分割して同時に視聴する形態でも構わないし、４つの映像ストリームが順次表示され、それらの表示に同期したシャッター付きメガネを用いて視聴する形態でも構わない。後者の場合には、映像表示の垂直同期周波数を高速化して、４つのメガネのシャッターを４つのストリームのいずれかが表示されている際にシャッターが開放されるように連動させるように構成することができる。各メガネと、表示するストリームとは、図示しない対応付け手段により割り当てるものとする。
【０１１６】
この場合、ヘッドホンを使用しているユーザーについては、視聴位置によって得られる音響効果は変化しないが、スピーカーを使用しているユーザーが得られる音響効果は、視聴位置によって異なることが想定される。
【０１１７】
ＣＰＵ１１３は、５．１ｃｈスピーカーへの入力が、４本のストリームＡ〜Ｄのいずれかを判断する。さらに、カメラ３０１により撮影した情報から、５．１ｃｈスピーカシステムに出力されているストリームを視聴しているユーザー位置の検出を行う。ユーザー位置の検出は、ユーザーの頭の位置とヘッドホンの装着の有無を画像から識別することにより行う。この際に、ヘッドホンを装着していないユーザーが、５．１ｃｈスピーカから出力されたストリームを視聴していると判断し、このユーザーの位置を検出する。ユーザーを特定する際に、リモコン等の装置を用いて、スピーカーを使用しているユーザーの情報をユーザーが入力するようにしても構わない。
【０１１８】
例えば、５．１スピーカーシステムに出力するストリームが、ストリームＣであった場合には、ＣＰＵ１１３はストリームＣを視聴しているユーザーの視聴位置情報を用いてサラウンドモードの選択を行う。一方、ストリームＡ、Ｂ、Ｄは２ｃｈヘッドホンに出力するため、５．１ｃｈ等へのサラウンド拡張を行っても効果がないと判断し、サラウンドモードをノーマルに固定する。
【０１１９】
以下に、５．１スピーカーシステムを視聴しているユーザーの位置とサラウンド処理の決定の説明を行う。
【０１２０】
５．１スピーカーシステムからの出力を聴いているユーザーの位置が、画面中央の場合（センター）、画面中央に対して左より（レフト）、または右より（ライト）、位置検出不可（圏外）の４種類のいずれかの識別を行う。
【０１２１】
図１２は、ユーザーの視聴位置の概念を示す図である。
【０１２２】
図１２において、テレビ１３０１と、サラウンドスピーカ１３０２、１３０３とからストリーム処理装置が構成されている。ユーザーは、ストリーム再生装置により構成されるサラウンド空間について、１３１１〜１３１５のような位置で視聴することができる。テレビ１３０１の画面の中央部に相当する位置がセンター１３１１である。画面中央に対して左よりの位置がレフト１３１２である。また、画面中央に対して右よりの位置がライト１３１３である。センター１３１１の位置はサラウンド感が高く、レフト１３１２やライト１３１３の位置はややサラウンド感が低いものの比較的サラウンド感が感じられる位置であるとし、それよりも離れた位置が圏外１３１４、１３１５に相当する。
【０１２３】
このような状況で、ユーザーの位置がレフト１３１２、ライト１３１３、圏外１３１４、１３１５の場合には、音響処理に対するサラウンド処理の演算量を削減するようにする。
【０１２４】
図１３には、入力ストリームＣが映画５．１ｃｈの場合の動作を示したものである。音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７の処理内容を決めるサラウンドモードは実施の形態１と同じであるため説明を省略する。
【０１２５】
図１３に示したように、ユーザーの視聴位置がセンターの場合には、サラウンドモードしてサラウンドタイプ３を選択し、フロントチャンネル、リアチャンネル、バックチャンネルに対して１０２４タップを用いてフィルタ処理を行う。
【０１２６】
ユーザーの視聴位置がレフトまたはライトの場合には、センター位置に比べて音場の臨場感が乏しく、サラウンド処理を簡易化してもユーザーが識別しにくいため、サラウンドモードはサラウンドタイプ２に変更して演算量を削減することができる。
【０１２７】
視聴位置が圏外の場合は、音響効果が得られるエリアから外れている場合、またはカメラからユーザーが識別できない場合であり、正常な音響効果が得られないと判断して、演算量を最大限に削減し、サラウンドモードをノーマルに変更する。
【０１２８】
以上のように、実施の形態２によれば、ユーザーの位置情報、および視聴しているスピーカーシステムの種別に応じて、サラウンド処理性能を削減する制御が実現可能になる。デジタルフィルタ演算部１０７の処理をＣＰＵを用いて行っている場合などには、適正な音響処理範囲内に押さえることで、その余った処理能力を他の処理に割り当てることが可能になる。
【産業上の利用可能性】
【０１２９】
本発明のストリーム処理装置は、マルチストリームの音声信号を再生する際に、各ストリームのデジタルフィルタ処理の演算量を番組情報などに応じて適切に調整することにより、デジタルフィルタ演算部の処理能力の範囲内で処理ができるため、特にサラウンドストリームのマルチストリームの再生に有用である。
【符号の説明】
【０１３０】
１０１ チューナー部
１０２ トランスポートデコーダ部
１０３ 番組情報取得部
１０４ ＡＶデコーダ部
１０５ フレームメモリＡ
１０６ 音声チャンネル拡張部
１０７ デジタルフィルタ演算部
１０９ 音声出力部
１１０ フレームメモリＶ
１１１ 映像出力部
１１２ 演算量測定部
１１３ ＣＰＵ
【技術分野】
【０００１】
本発明は、デジタル放送等の技術分野において、圧縮符号化された映像信号のビットストリームを復号し、復号された映像信号を表示するストリーム処理装置に関する。特に複数のチャンネルの映像を復号して同時に表示するストリーム処理装置に関する。
【背景技術】
【０００２】
デジタル放送では、映像音声データはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方式によって圧縮符号化され、複数のチャンネルの映像が多重化されて配信されている。デジタル放送受信機は、多重化されたビットストリームを受信すると、ビットストリームのうち受信するように指定されたチャンネルの映像ストリームおよび音声ストリームを分離し、これらを復号して出力する。
【０００３】
近年のテレビ受信機の多くは、複数のチャンネルの符号化データを同時に復号し、それら複数の映像ストリームを同時に表示することが可能である。例えば特許文献１では、複数のデコーダを用いて、複数のビットストリームを同時に復号させる装置が開示されている。
【０００４】
従来、複数のストリームを同時にテレビに表示させる際には、画面を右画面と左画面や、親画面と子画面のように、画面を２つに分割した２画面形式で表示され、これらを視聴することが主流であった。しかし近年、２つのストリームに含まれる映像を交互に表示し、交互に表示される映像の一つのストリームに同期して開閉するシャッター方式のメガネ等を使用して、複数のユーザーが同じコンテンツ、または、異なるコンテンツを全画面で同時に視聴する方法が提案されている。今後、さらに３本以上の映像ストリームを、複数のユーザーが全画面で同時視聴可能な環境が提供されることが考えられる。
【０００５】
一方で、複数のストリームの映像処理や音声処理を同時に行う場合には、ＣＰＵの演算量やメモリバンド幅など、受信機の処理負荷が増大する。特に音声処理を全てソフトウェアで行う場合には、ストリームの同時処理本数が増えると音声処理におけるＣＰＵの処理負荷も比例して高くなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−９３１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
デジタル放送等を受信して再生するストリーム処理装置において、同時に処理するストリームの本数が増加すると、映像処理や音声処理等の演算処理が増加して、ＣＰＵ処理能力などの性能不足が発生する。
【０００８】
ユーザーが複数のストリームに対して、各演算処理の配分を細かく設定することによってＣＰＵ能力の効果的な配分が可能だが、ストリームの同時処理本数が増え、ストリームに対する処理に応じて機能が複雑になるとユーザーの負担が増加する。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明のストリーム処理装置は、マルチストリームのトランスポートストリームを受信して音声データと番組付随情報とを抽出するトランスポートストリームデコーダと、前記音声データを同時に復号するデコード手段と、前記デコード手段が復号した音声データに対して音声チャンネルの拡張及びデジタルフィルタ演算処理を含む音響効果の演算を行う音声処理手段と、前記デコード手段の単位時間あたりの演算量を測定する演算量測定部と、前記番組付随情報と前記演算量測定部で測定した演算量に応じて、前記音声処理手段の処理能力を超えないように、前記マルチストリームのそれぞれのストリームに対して、前記音声処理手段における音響処理を切り替えるように制御する制御手段とを備える。
【発明の効果】
【００１０】
本発明のストリーム処理装置は、同時に処理するストリーム本数が増加して、ストリーム処理装置におけるＣＰＵの処理能力が限界を超える場合に、番組情報やユーザーの情報等を用いて音響処理性能の割り当てを行い、ユーザーに対してより高い臨場感を提供可能とする。
【００１１】
例えば、同時視聴している映像ストリームの番組種別（例えば、ニュース、スポーツ、コンサート、映画など）に応じて、各ストリームの音響処理性能を効果的に割り当てることが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１におけるストリーム処理装置の構成図
【図２】実施の形態１における音声チャンネル拡張部とデジタルフィルタ演算部の構成図
【図３】重複保持法の演算内容の概念図
【図４】番組ジャンルとフィルタ処理との関係図
【図５】音声チャンネル拡張部の構成図
【図６】デジタルフィルタ演算部の動作のフローチャート
【図７】サラウンドモードに要するフィルタタップ数と演算量の関係図
【図８】フィルタタップ数とフィルタの周波数特性の関係図
【図９】実施の形態１におけるマルチストリーム処理におけるサラウンドモードの選択例を示す図
【図１０】実施の形態２におけるストリーム処理装置の構成図
【図１１】実施の形態２における音声出力部と音声増幅部の構成図
【図１２】実施の形態２における視聴位置を表す図
【図１３】実施の形態２における視聴位置とサラウンドモードの選択例を示す図
【発明を実施するための形態】
【００１３】
（実施の形態１）
図１は、実施の形態１におけるストリーム処理装置の構成図である。
【００１４】
実施の形態１におけるストリーム処理装置は、チューナー部１０１、トランスポートデコーダ部１０２、番組情報取得部１０３、ＡＶデコーダ部１０４、フレームメモリＡ１０５、音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７、音声出力部１０９、フレームメモリＶ１１０、映像出力部１１１、演算量測定部１１２、ＣＰＵ１１３で構成される。
【００１５】
以下、図１を用いて説明する。
【００１６】
チューナー部１０１は、アンテナ等で受信されたデジタル放送信号（ＩＦ）を入力し、復調し、トランスポートストリーム（ＴＳ）として出力する。
【００１７】
トランスポートデコーダ部１０２は、チューナー部１０１の出力したトランスポートストリームを受けて、トランスポートストリーム中に含まれるＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）からトランスポートストリームパケットの解析を行う。そして、トランスポートストリームに多重化されたデータから、目的の番組の映像、音声の各ＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を分離し、音声ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）（ＡＰ）と映像ＰＥＳ（ＶＰ）とを出力する。
【００１８】
番組情報取得部１０３は、トランスポートストリームに含まれるＰＳＩ／ＳＩを抽出する。ＰＳＩ／ＳＩに含まれるＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）には放送番組の名称、ジャンル、放送日、放送内容、放送開始時間、放送継続時間などの情報が含まれる。
【００１９】
ＡＶデコーダ部１０４は、ＣＰＵ１１３から指示される制御信号（ＡＶＤ）を受けて、音声ＰＥＳに含まれている、圧縮された音声符号化信号の復号と、映像ＰＥＳに含まれている映像符号化信号の復号を行う。ＡＶデコーダ部１０４において、圧縮された音声符号化信号は、ステレオ音声信号、または５．１ｃｈ〜７．１ｃｈのマルチチャンネルの音声信号へ復号されて、音声信号（ＡＯ１）として出力される。
【００２０】
マルチチャンネル音声信号の５．１ｃｈは、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）で採用されている方式で、それぞれセンタースピーカー、フロント・レフトスピーカー、フロント・ライトスピーカー、リア・レフトスピーカー、リア・ライトスピーカー、サブウーファーの音声信号に対応する。
【００２１】
マルチチャンネル音声信号の６．１ｃｈ、７，１ｃｈはＤｏｌｂｙ／ｄｔｓで提唱されるサラウンド方式で、さらにバック・レフトスピーカー、バック・ライトスピーカーが加わり高い臨場感と包囲感を高めた方式である。
【００２２】
ＡＶデコーダ部１０４において、映像符号化信号は復号されて、映像信号ＶＯ１として出力される。ＡＶデコーダ部１０４は、ＣＰＵ１１３の制御信号ＡＶＤによって、２本以上の複数の映像ストリームを時分割で復号することにより、複数本のストリームを同時処理することが可能である。
【００２３】
フレームメモリＡ１０５は、ＡＶデコーダ部１０４から出力された音声信号（ＡＯ１）を受けて、バッファリングを行い、音声信号ＡＯ２として出力する。
【００２４】
音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２に対して、必要に応じて、マルチチャンネルの音声信号への拡張を行い、デジタルフィルタ演算部１０７に対して音声信号ＡＯ３として出力する。このマルチチャンネルの音声信号への拡張は、入力された音声信号ＡＯ２が２ｃｈの場合に、仮想的なサラウンドスピーカから音声出力されたように効果を付加する。
【００２５】
例えば、音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２がステレオ音声信号である場合に、Ｌ／Ｒの２ｃｈの音声信号から５．１ｃｈ、または７．１ｃｈのマルチチャンネル音声信号への拡張処理を行う。また、音声チャンネル拡張部１０６は、必要に応じてフロント・レフトとフロント・ライトの２ｃｈの信号成分から、仮想的にセンター、リア・レフト、リア・ライト、バック・レフト、バック・ライトの信号成分を生成する。
【００２６】
また音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２がステレオ音声信号の場合には、デジタルフィルタ演算部１０７で演算を行わずに、そのまま音声出力部１０９へ渡す信号経路を持つ。
【００２７】
デジタルフィルタ演算部１０７は、音声チャンネル拡張部１０６からの出力である音声信号ＡＯ３に対して、音響効果を得るためのデジタルフィルタ演算を行う。この処理は、専用のＤＳＰやハードウエアを用いてもよく、またソフトエアプログラムとそのソフトエアプログラムを実行するＣＰＵを用いて構成しても構わない。
【００２８】
デジタルフィルタは、一般的に音を任意の位置に定位させるＡＶシアターシステムや音響再生システムや、音に反射音を付加して拡がり感を持たせる音響再生システムや映像再生システム等で多く使用されている。デジタルフィルタの構成は、フィードバック部を有するＩＩＲフィルタと、フィードバック部を持たないＦＩＲフィルタとに分類される。ＦＩＲフィルタは安定性と位相歪のない特性により映像音響機器の分野で広く用いられており、本実施の形態１によるストリーム処理装置でもＦＩＲフィルタを用いる。
【００２９】
また、デジタルフィルタの演算は時間領域の処理ではなく周波数領域での処理を行うと、ベクトルの積算になり、単位時間辺りの演算回数（乗算／加減算）が少なくなることが知られている。よってデジタルフィルタ演算部１０７は、フーリエ変換を用いて周波数領域での演算を行い、その積を逆高速フーリエ変換（ＩＦＦＴ）し、時間領域に戻し、音声信号ＡＯ４を出力する。
【００３０】
音声出力部１０９は、入力されるストリームが複数の場合には、出力端子に出力する音声信号を選択し、Ｄ／Ａ変換処理等を行ってアナログ音声信号ＡＯＵＴを出力する。
【００３１】
演算量測定部１１２は、ＡＶデコーダ部１０４の処理内容に応じて、ストリーム処理の単位時間あたりの演算量を計算する。ＡＶデコーダ部１０４の演算量は、ＭＰＥＧ２やＨ．２６４等のように圧縮符号化の種類や、１０８０ｉや７２０ｐなどの映像フォーマットによって異なるが、本実施の形態１では同時に処理するストリームの本数で負荷を判断する。
【００３２】
ＣＰＵ１１３は、番組情報取得部１０３の出力ＳＩ２と、演算量測定部１１２の出力ＣＯＮＴとを受けてサラウンド処理の種類を判断し、音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７とに、サラウンド処理の種類を通知する制御信号（サラウンドモード信号）ＳＭＯＤＥを出力する。
【００３３】
フレームメモリＶ１１０はＡＶデコーダ部１０４にて出力された映像信号を一旦蓄積し、音声出力部１０９から出力される音声信号と同期をとるように調整してから、映像出力部１１１で画面などに映像として出力する。
【００３４】
続いて本実施の形態１における動作例を説明する。
【００３５】
実施の形態１におけるストリーム処理装置において、トランスポートストリームから映像、音声信号を復号するまでの一連の処理、および放送で多重されるトランスポートデコーダから、番組情報ＳＩ／ＰＳＩを抽出する技術は一般的に知られている技術であるため、その動作説明は省略する。
【００３６】
ＣＰＵ１１３は、入力ストリームに対して、ＳＩに含まれる番組情報（番組のジャンル）を解析し、音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７におけるサラウンド処理の演算内容を決定する。例えば、映像ストリームＡと映像ストリームＢの２ｃｈのストリームを同時に復号する場合、ＣＰＵ１１３は映像ストリームＡと映像ストリームＢの２つの番組情報を、番組情報取得部１０３より入手して解析を行い、映像ストリームＡとＢのそれぞれに対する、音声チャンネル拡張部１０６による音声信号の拡張処理と、デジタルフィルタ演算部１０７におけるサラウンド処理の方式を決定し、制御信号ＳＭＯＤＥとして音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７とに対して出力する。
【００３７】
以下、図２を用いてサラウンド処理の動作内容について説明する。
【００３８】
図２は、図１で示した音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７の構成例を示した図である。
【００３９】
デジタルフィルタ演算部１０７は、フーリエ変換部２０１、畳み込み演算部２０２、逆フーリエ変換部２０３とで構成される。
【００４０】
フーリエ変換部２０１は、時間領域で表された音声信号ＡＯ３を入力し、時間領域の信号をある定められた時間窓毎に高速フーリエ変換処理（ＦＦＴ）を行うことによって周波数領域に変換し、音声信号ベクトルＦＡ１を出力する。この処理の際に、フーリエ変換部２０１は、フロントチャンネル（フロント・レフト、フロント・ライト）に対してＦＦＴの処理を行い、次にＣＰＵからの指示に応じてリアチャンネル（リア・レフト、リア・ライト）とバックチャンネル（バック・ライト、バック・レフト）に対してＦＦＴの処理を行い、周波数領域の信号を得る。
【００４１】
畳み込み演算部２０２、逆フーリエ変換部２０３も同様に、ＣＰＵ１１３からの指示に応じてフロントチャンネル、およびリアチャンネル、バックチャンネルに対して畳み込み演算と逆フーリエ変換とを行う。
【００４２】
フーリエ変換処理、および畳み込み処理は、一般的に重複保持法と重複加算法などが知られているが、本実施の形態１では、重複保持法を用いる。
【００４３】
以下に重複保持法の演算内容について、図３を用いて説明する。
【００４４】
図３は、入力信号系列ｘにフィルタ係数ｈを畳み込み、出力信号系列ｙを求める場合の処理の流れを示した図である。ＦＦＴ処理は、入力音声信号に対してフーリエ変換するＦＦＴ＿Ａと、フィルタ係数に対してフーリエ変換処理するＦＦＴ＿Ｂとで構成される。
【００４５】
図３の中で時間窓Ｗｎ−１は、現在処理を行っている時間窓Ｗｎの一つ前の時間窓であり、時間窓Ｗｎ＋１は、次の時間窓である。時間窓Ｗｎ−１、Ｗｎ、Ｗｎ＋１は、同じ窓長を持ち、互いに係数長Ｌサンプルだけ重なり合うように設定される。現在の時間窓Ｗｎの窓長をＮサンプル、係数長をＬサンプル、データの更新長をＭサンプルとすると、Ｎ＝Ｌ＋Ｍの関係が成り立つ。
【００４６】
入力信号系列ｘのうち、直前の時間窓Ｗｎ−１で使用したデータの後ろからＬサンプル取り、現在の時間窓Ｗｎのデータの後ろからＭサンプルのデータを取り、長さＮの実数信号系列としたものをＦＦＴ＿Ａに入力する。ＦＦＴ＿Ａの虚数入力は０のみのデータ（Ｎサンプル）が入力される。そして、ＦＦＴ＿Ａにより、ＦＦＴ処理を行うと長さＮのデータベクトルＸ（複素数、周波数領域）が出力される。
【００４７】
フィルタ係数ｈについては、長さＬの係数を前詰めし、後ろに長さＭのゼロを付加し、長さＮの時間領域の実数係数を作る。フィルタ係数ｈの実数系列は、ＦＦＴ＿Ｂの実数入力Ｂ０１に入力され、ＦＦＴ＿Ｂの虚数入力は、０のみのデータ（Ｎサンプル）が虚数入力に入力される。この実数係数に対し、ＦＦＴ＿Ｂにより、窓長ＮのＦＦＴを行うと、長さＮの係数ベクトルＨ（複素数、周波数領域）が出力される。
【００４８】
次に、複素乗算部ＭＵＬＴは、係数ベクトルＨとデータベクトルＸとについて、要素毎に複素乗算を行う。
【００４９】
すなわち、係数ベクトルＨをＨ＝［Ｈ（１），Ｈ（２），…，Ｈ（Ｎ）］とし、データベクトルＸをＸ＝［Ｘ（１），Ｘ（２），…，Ｘ（Ｎ）］としたとき、複素乗算部ＭＵＬＴは、複素乗算結果Ｙが（数１）となるように演算を行い、この演算結果をＩＦＦＴへ出力する。
【００５０】
【数１】
【００５１】
ＩＦＦＴ部は、演算結果Ｙに対して、窓長Ｎの逆フーリエ変換（ＩＦＦＴ）を行い時間領域に戻し、出力信号系列ｙを出力する。なお、ＩＦＦＴの虚数出力は使用しない。
【００５２】
求められた出力信号系列ｙのうち、先頭のＬサンプルは、循環畳み込みの影響を受けているため廃棄する。残ったＭサンプルの信号データが、求める出力信号系列ｙとされる。
【００５３】
以上が、重複保持法におけるＦＦＴ処理、および畳み込み処理であり、デジタルフィルタ演算部１０７は上記の一連の信号処理を行い、音声信号（ＡＯ４）を出力する。
【００５４】
続いてＣＰＵ１１３が、番組情報を受けてデジタルフィルタ演算部１０７を制御する動作を説明する。
【００５５】
図２において、番組情報ＳＩ２を受信したＣＰＵ１１３は、番組のジャンルを識別し、番組の種類に応じてフィルタ処理の種類を決定し、音声チャンネル拡張部１０６へ制御信号ＳＭＯＤＥを出力する。ＣＰＵ１１３が決定する番組ジャンルとフィルタ処理の関係の例を図４に示す。
【００５６】
図４において、番組のジャンルをニュース、バラエティなど１０種類に区分し、それぞれの番組の特徴に応じてサラウンドのモードを「ノーマル」、「サラウンドタイプ１」、「サラウンドタイプ２」、「サラウンドタイプ３」の４種類に分類している。サラウンドモードは、入力ストリームに対して、音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７の処理内容、およびフィルタ係数１０８を決定する。
【００５７】
以下、図４に示したサラウンドモードの処理内容について説明する。
【００５８】
サラウンドモードのノーマルは、入力音声信号に対して、フィルタ処理を行わずに音声出力するモードである。サラウンドモードのノーマルでは、音声信号は、デジタルフィルタ演算部１０７を通らずに、音声チャンネル拡張部１０６から音声出力部１０９へと出力される。本モードは２ｃｈで再生するためサラウンドチャンネルによる臨場感は得られないが、フィルタ演算が無いので処理の負荷が軽減される。本モードに適する番組は、臨場感よりも情報の取得を目的としたニュースや情報番組等が考えられる。
【００５９】
サラウンドモードのサラウンドタイプ１は、２ｃｈのステレオ音声に対して、５．１ｃｈへの音声チャンネルの拡張を行い、フィルタの畳み込み演算をフロントチャンネル、リアチャンネルに対して、それぞれ５１２タップを用いて処理を行うモードである。ステレオ入力に対して、５．１ｃｈへの拡張を行うため、サラウンド感が得られるようになる。
【００６０】
サラウンドモードのサラウンドタイプ２は、２ｃｈのステレオ音声に対して、５．１ｃｈへの音声チャンネル拡張を行い、デジタルフィルタの畳み込み演算を、フロントチャンネル、リアチャンネルに対して１０２４タップを用いて演算するモードである。サラウンドタイプ１に比べて、音声処理に演算資源を使用するが、より強い広がり感が得られるようになる。ステレオ音声ではあるがコンサートのようなサラウンド処理の効果的なコンテンツに適する。
【００６１】
サラウンドモードのサラウンドタイプ３は、５．１ｃｈのステレオ音声に対して、７．１ｃｈへの音声チャンネル拡張を行い、デジタルフィルタの畳み込み演算を、フロントチャンネル、リアチャンネル、バックチャンネルに対して１０２４タップを用いて処理を行う。本モードはバックチャンネルが加わるため、さらに強い広がり感が得られる。５．１ｃｈの映画やオーケストラ等の収録された音楽コンテンツが考えられる。
【００６２】
実施の形態１では、各サラウンドモードに適した４種類のフィルタ係数をメモリに格納し、畳み込み演算部２０２は、指定されたサラウンドモードに対応するタップ数のフィルタ係数を使用してフィルタ演算を行う。
【００６３】
次に図４の各サラウンドモードにおける音声チャンネル拡張部１０６とデジタルフィルタ演算部１０７の動作について、図５、図６を用いて説明する。
【００６４】
図５は、音声チャンネル拡張部１０６の構成例を示した図である。サラウンドモードがノーマルの場合、音声チャンネル拡張部１０６は、入力された音声信号ＡＯ２を受けて、信号処理を行わずに音声信号ＡＯ２＿１を音声出力部１０９へ出力する。
【００６５】
サラウンドモードがサラウンドタイプ１、またはサラウンドタイプ２の場合、音声チャンネル拡張部１０６は入力された音声信号ＡＯ２を受けて、音声信号ＡＯ２＿２の経路を通り、２ｃｈ入力信号（ＬＦ＿ｉｎ、ＲＦ＿ｉｎ）から５ｃｈ（ＬＦ＿ｏｕｔ、ＬＳ＿ｏｕｔ、ＣＦ＿ｏｕｔ、ＲＳ＿ｏｕｔ、ＲＦ＿ｏｕｔ）への拡張処理を行う。実施の形態１では、（数２）のようなマトリクス演算を行う。
【００６６】
【数２】
【００６７】
サラウンドモードがサラウンドタイプ３の場合には、入力された５．１ｃｈの音声信号ＡＯ２に対して、さらに、ＡＯ２＿３の経路で示す、（数３）で示すバックチャンネル信号を生成する。
【００６８】
【数３】
【００６９】
（数３）においてＤｅｌａｙは、５１２サンプル分の時間遅延を意味する。上記の処理によって本モードでは、５．１ｃｈを７.１ｃｈの音声信号に拡張して出力する。
【００７０】
図６は、デジタルフィルタ演算部１０７の動作内容についてのフローチャートである。
【００７１】
サラウンドモードがノーマルの場合、音声チャンネル拡張部１０６の出力はデジタルフィルタ演算部１０７を介さずに音声出力部１０９へ直接入力されるため、デジタルフィルタ演算部１０７は演算を行わずにそのまま終了する（Ｓ１１でＹへ進む）。
【００７２】
サラウンドモードがノーマル以外の場合には、デジタルフィルタのタップ数を決定する（Ｓ１２）。サラウンドモードがサラウンドタイプ１の場合には、デジタルフィルタのタップ数を５１２タップに設定する。サラウンドモードがサラウンドタイプ２の場合には、デジタルフィルタのタップ数を１０２４タップに設定する。サラウンドモードがサラウンドタイプ３の場合には、デジタルフィルタのタップ数を１０２４タップに設定する。
【００７３】
続いて、フロントチャンネルの音声信号に対してＦＦＴを行い（Ｓ１３）、リアチャンネルの音声信号に対してＦＦＴを行う（Ｓ１４）。
【００７４】
続いて、サラウンドモードがサラウンドタイプ３であるか否かを判断する（Ｓ１５）。サラウンドモードがサラウンドタイプ３である場合には、バックチャンネルの音声信号に対してＦＦＴを行う（Ｓ１５でＹへ進み、Ｓ１６）。サラウンドタイプ３でない場合には、Ｓ１７へ進む（Ｓ１５でＮへ進む）。
【００７５】
続いてフロントチャンネルのＦＦＴの出力結果に対してフロントチャンネルの畳み込みを行う（Ｓ１７）。
【００７６】
さらに、リアチャンネルのＦＦＴの出力結果に対してリアチャンネルの畳み込みを行う（Ｓ１８）。
【００７７】
さらに、サラウンドモードがサラウンドタイプ３であるか否かを判断する（Ｓ１９）。サラウンドモードがサラウンドタイプ３の場合には、バックチャンネルのＦＦＴの出力結果に対してバックチャンネルの畳み込みを行う（Ｓ２０）。サラウンドタイプ３でない場合には、Ｓ１９でＮへ進む。
【００７８】
そして、各チャンネルに対して逆ＦＦＴを行う（Ｓ２１）。
【００７９】
なお、各チャンネルに対して、ＦＦＴ、畳み込み、逆ＦＦＴの処理を順番に行えばよいため図６に示したフロー以外にも、異なる順番で行ってもよい。例えば、リアチャンネル、フロントチャンネルの順に行ってもよく、フロントチャンネルのＦＦＴ、畳み込み、逆ＦＦＴと手順を進めてから、リアチャンネルのＦＦＴ、畳み込み、逆ＦＦＴと手順を進めても構わない。また、各チャンネルの処理を並列に実施しても構わない。
【００８０】
次に、それぞれのサラウンドモードに要するフィルタタップ数と演算量について図７に示す。
【００８１】
サラウンド処理における演算量は、フーリエ変換および畳み込み演算における乗算処理が支配的であり、Ｎタップの重複保持法における演算量は、約(Ｎ／２)・ｌｏｇ2Ｎであることが知られている。従って、５１２タップのＦＦＴの演算回数は２３０４回であり、フロントチャンネルとリアチャンネルとを合わせた演算回数は４６０８回となる。
【００８２】
また、１０２４タップのＦＦＴの演算回数は５１２０回であり、フロントチャンネルとリアチャンネルとを合わせた演算回数は１０２４０回である。さらに、フロントチャンネルとリアチャンネルとバックチャンネルとを合わせた演算回数は１５３６０回となる。
【００８３】
すなわち、サラウンドタイプ１の場合の演算量（４６０８回）をＸとおくと、サラウンドタイプ２の場合の演算量（１０２４０回）は、２．２２Ｘ、サラウンドタイプ３の場合の演算量（１５３５６回）は３．３３Ｘとなる。
【００８４】
次に、フィルタのタップ数と音質の関係について、図８を用いて説明を行う。
【００８５】
デジタルフィルタはフィルタのタップ数を増やせば、それだけ高い周波数分解能での処理ができるが、それに要する積和演算の回数もタップ数だけ必要となる。一般的にＦＩＲフィルタは、無限のタップ数を持つ場合、目的の周波数特性を得られることが知られているが、実際にハードウェアやソフトウェアで実装する場合は、有限長のタップ数でフィルタを構成する必要がある。
【００８６】
図８は、デジタルフィルタのタップ数とフィルタの周波数特性の関係を示す図であり、横軸は周波数ω、縦軸はフィルタの振幅特性のデシベル量（ｄＢ）である減衰量Ａ（ｅjω）を示している。伝達関数Ｈ（ｅjω）とおくと、Ａ（ｅjω）は（数４）のように表される。
【００８７】
【数４】
【００８８】
図８はフィルタのタップ数が異なる場合の周波数特性を示している。曲線（Ａ）はタップ数の少ないフィルタの周波数特性であり、曲線（Ｂ）はタップ数の多いフィルタの周波数特性を示している。フィルタのタップ数と周波数特性との関係を示すパラメータとして以下の３つが挙げられる。
（１）通過域 [０,ωp]
通過域とは、入力信号を通過させる周波数帯域であり、図８において通過域[０,ωp]が広いほど高い周波数を再生することができる。タップ数が多いほど通過域が広いため、多タップの方がより高い音を再生することができる。
【００８９】
曲線（Ａ）の通過域[０,ωp-A]は、曲線（Ｂ）の通過域[０,ωp-B]より狭くなっている。
（２）通過域リップルδ
デジタルフィルタは、通過域では振幅特性が許容範囲δの範囲である必要がある。このδを通過域リップルといい、通過域リップルが小さい程、ゲインの変動が無いため安定した音圧で再生できる。タップ数が多いほどリップルが小さいため、多タップフィルタの方が安定した音量で再生できる。
【００９０】
曲線（Ａ）の通過域リップルδAの範囲は、曲線（Ｂ）の通過域リップルδBの範囲より広くなっている。
（３）遷移域[ωp、ωs]
入力信号を阻止する周波数[ωs、π]を阻止域といい、通過域から阻止域の周波数の中間の周波数[ωp、ωs]を遷移域という。タップ数が多いほど、遷移域[ωp、ωs]が短く、より急峻なフィルタ特性を得ることができるため、再生信号は低雑音となる。
【００９１】
曲線（Ａ）の遷移域[ωp_A,ωs_A]は、曲線（Ｂ）の通過域[ωp_B,ωs_B]より広くなっている。
【００９２】
このように、タップ数が多い曲線（Ｂ）の方が、タップ数の少ない曲線（Ａ）よりも良好であり、タップ数が多いほど高音質で周波数変換を行うことができる。
【００９３】
続いて本実施の形態１において、２本以上のストリームを同時処理する場合の動作について説明する。
【００９４】
図９は、マルチストリーム処理におけるサラウンドモードの選択例を示す図である。図９を用いて、３ｃｈ同時復号時と、４ｃｈ同時復号時における動作例を示す。
【００９５】
ＣＰＵ１１３は、演算量測定部１１２によって、同時処理するストリーム本数を検出し、音声チャンネル拡張部１０６、およびデジタルフィルタ演算部１０７へ、制御信号ＳＭＯＤＥを出力する。
【００９６】
本実施の形態１におけるストリーム処理装置では、デジタルフィルタ演算部１０７におけるサラウンド処理の最大処理能力として、サラウンドタイプ３のストリーム２本を処理する性能を割り当てる場合を考える。この場合、デジタルフィルタ演算部１０７で処理可能なサラウンド処理は、３．３３Ｘ×２＝６．６６Ｘの演算量までが可能となる。
【００９７】
同時に処理するストリーム本数が増えると、デジタルフィルタ演算部１０７の処理負荷が高くなり最大演算量である６．６６Ｘを超えるため、サラウンド処理の割り当てを削減する必要がある。
【００９８】
図９において、入力ストリームをストリームＡ、Ｂ、Ｃ、Ｄと順に加えていくことで、同時に再生させる本数を１チャンネルから４チャンネルと増加させた場合の、各ストリームの復号処理に割り当てるサラウンドタイプについて示している。
【００９９】
ストリームＡのみの場合、または、ストリームＡとＢの２つのストリームを同時に再生させた場合には、それらに要するＦＦＴ演算量は、それぞれＸと、４．３３Ｘであり、デジタルフィルタ演算部１０７の最大処理能力の範囲内である。このため、これらの場合には、入力ストリームに適したサラウンドモード（図９において「１ｃｈ時」と示す）そのままで再生させることができる。
【０１００】
一方、ストリームＡ、Ｂ、Ｃを同時に再生させる場合には、入力ストリームで指定されたそのままのサラウンドモードで再生させるには、ＦＦＴ演算量は７．６６Ｘが必要となり、このままではデジタルフィルタ演算部１０７の最大処理能力を超えてしまう。
【０１０１】
このため、デジタルフィルタ演算部１０７においてＦＦＴ演算量を、サラウンド効果の高い番組から順に割り当てて、その総和がデジタルフィルタ演算部１０７の最大処理能力に収まる範囲となるように決定する。
【０１０２】
ストリームＡ、Ｂ、Ｃを同時に再生させる場合に、サラウンド効果が高いのは、サラウンドモードがサラウンドタイプ３であるストリームＢとストリームＣとである。そこで、これら２つに対して優先的にデジタルフィルタ演算部１０７における処理能力を割り当て、ストリームＡについてはサラウンドモードを下げ、ノーマルとすること（図９の３ｃｈのストリームＡの箇所、ハッチングで示す）で、ストリームＡ、Ｂ、Ｃの同時再生に要するＦＦＴ演算量が６．６６Ｘとなり、デジタルフィルタ演算部１０７で最大処理能力の範囲内である。
【０１０３】
また、ストリームＡ、Ｂ、Ｃ、Ｄを同時に再生させる場合にも、サラウンド効果が高いのは、サラウンドモードがサラウンドタイプ３であるストリームＢとストリームＣとである。そこで、これら２つに対して優先的にデジタルフィルタ演算部１０７における処理能力を割り当て、ストリームＡ、Ｄについてはサラウンドモードを下げ、ノーマルとすること（図９の４ｃｈのストリームＡ、Ｄの箇所、ハッチングで示す）で、ストリームＡ、Ｂ、Ｃ、Ｄの同時再生に要するＦＦＴ演算量が６．６６Ｘとなり、デジタルフィルタ演算部１０７で最大処理能力の範囲内である。
【０１０４】
本実施の形態１によれば、ストリーム処理本数が増えてデジタルフィルタ演算部１０７での処理負荷が増えた場合には、視聴している映像ストリームの番組種別（例えば、ニュース、スポーツ、コンサート、映画など）に応じて、各ストリームに対して音響処理能力を効果的に割り当てることが可能になる。
【０１０５】
（実施の形態２）
図１０は、実施の形態２におけるストリーム処理装置の構成図である。
【０１０６】
実施の形態２において、実施の形態１のストリーム処理装置と異なる箇所は、実施の形態１のストリーム処理装置に加え、さらにカメラ３０１と音声増幅部３０２とを備える。
【０１０７】
カメラ３０１は、ＣＣＤ等の撮像素子を介して映像ストリームを視聴するユーザーの映像を取り込み、映像信号ＶＩＮを出力する。ＣＰＵ１１３は、カメラ３０１の出力を受けて、映像ストリームを視聴しているユーザーの位置を検出する。
【０１０８】
音声増幅部３０２は、音声出力部１０９から出力される音声信号ＡＯ５を受けて、一定の電圧まで音声信号の増幅を行い、接続されたスピーカーをドライブするために必要なエネルギーを供給する。
【０１０９】
音声出力部１０９、および音声増幅部３０２の構成例を、図１１に示す。
【０１１０】
実施の形態２では、４本のストリームＡ、Ｂ、Ｃ、Ｄの同時再生処理を行い、４系統のスピーカーからは、互いに異なるストリームの音声を同時に出力する。
【０１１１】
音声出力部１０９は、デジタルフィルタ演算部１０７から出力された、４本のストリームＡ、Ｂ、Ｃ、Ｄの音声信号である音声信号ＡＯ５＿Ａ、ＡＯ５＿Ｂ、ＡＯ５＿Ｃ、ＡＯ５＿Ｄを入力すると同時に、ＣＰＵ１１３から送信された制御信号ＣＯＮＴ２の指示を受ける。そして、各スピーカーに対して出力するストリームＡ、Ｂ、Ｃ、Ｄを決定し、音声増幅部３０２に対してそれぞれのストリームに対応する音声信号ＡＯ６＿Ａ、ＡＯ６＿Ｂ、ＡＯ６＿Ｃ、ＡＯ６＿Ｄを出力する。
【０１１２】
音声増幅部３０２は、これら４本の音声信号を受けて、接続されたスピーカーをドライブするために必要なエネルギーまで音声信号を増幅し、音声信号ＡＯ７＿Ａ、ＡＯ７＿Ｂ、ＡＯ７＿Ｃ、ＡＯ７＿Ｄとして出力する。
【０１１３】
以下に実施の形態２における動作例を説明する。
【０１１４】
実施の形態２において、４本のストリームの音声信号を同時に出力するストリーム再生処理装置を例に説明する。複数の映像ストリームを複数のユーザーが同時に視聴を行う場合に、出力される音声はスピーカーと、ヘッドホンとが同時に使用される。実施の形態２において、１本のストリームは７．１ｃｈスピーカーに出力し、その他３本のストリームは２ｃｈヘッドホンに出力するものとする。
【０１１５】
このときに表示される映像信号は、画面を分割して同時に視聴する形態でも構わないし、４つの映像ストリームが順次表示され、それらの表示に同期したシャッター付きメガネを用いて視聴する形態でも構わない。後者の場合には、映像表示の垂直同期周波数を高速化して、４つのメガネのシャッターを４つのストリームのいずれかが表示されている際にシャッターが開放されるように連動させるように構成することができる。各メガネと、表示するストリームとは、図示しない対応付け手段により割り当てるものとする。
【０１１６】
この場合、ヘッドホンを使用しているユーザーについては、視聴位置によって得られる音響効果は変化しないが、スピーカーを使用しているユーザーが得られる音響効果は、視聴位置によって異なることが想定される。
【０１１７】
ＣＰＵ１１３は、５．１ｃｈスピーカーへの入力が、４本のストリームＡ〜Ｄのいずれかを判断する。さらに、カメラ３０１により撮影した情報から、５．１ｃｈスピーカシステムに出力されているストリームを視聴しているユーザー位置の検出を行う。ユーザー位置の検出は、ユーザーの頭の位置とヘッドホンの装着の有無を画像から識別することにより行う。この際に、ヘッドホンを装着していないユーザーが、５．１ｃｈスピーカから出力されたストリームを視聴していると判断し、このユーザーの位置を検出する。ユーザーを特定する際に、リモコン等の装置を用いて、スピーカーを使用しているユーザーの情報をユーザーが入力するようにしても構わない。
【０１１８】
例えば、５．１スピーカーシステムに出力するストリームが、ストリームＣであった場合には、ＣＰＵ１１３はストリームＣを視聴しているユーザーの視聴位置情報を用いてサラウンドモードの選択を行う。一方、ストリームＡ、Ｂ、Ｄは２ｃｈヘッドホンに出力するため、５．１ｃｈ等へのサラウンド拡張を行っても効果がないと判断し、サラウンドモードをノーマルに固定する。
【０１１９】
以下に、５．１スピーカーシステムを視聴しているユーザーの位置とサラウンド処理の決定の説明を行う。
【０１２０】
５．１スピーカーシステムからの出力を聴いているユーザーの位置が、画面中央の場合（センター）、画面中央に対して左より（レフト）、または右より（ライト）、位置検出不可（圏外）の４種類のいずれかの識別を行う。
【０１２１】
図１２は、ユーザーの視聴位置の概念を示す図である。
【０１２２】
図１２において、テレビ１３０１と、サラウンドスピーカ１３０２、１３０３とからストリーム処理装置が構成されている。ユーザーは、ストリーム再生装置により構成されるサラウンド空間について、１３１１〜１３１５のような位置で視聴することができる。テレビ１３０１の画面の中央部に相当する位置がセンター１３１１である。画面中央に対して左よりの位置がレフト１３１２である。また、画面中央に対して右よりの位置がライト１３１３である。センター１３１１の位置はサラウンド感が高く、レフト１３１２やライト１３１３の位置はややサラウンド感が低いものの比較的サラウンド感が感じられる位置であるとし、それよりも離れた位置が圏外１３１４、１３１５に相当する。
【０１２３】
このような状況で、ユーザーの位置がレフト１３１２、ライト１３１３、圏外１３１４、１３１５の場合には、音響処理に対するサラウンド処理の演算量を削減するようにする。
【０１２４】
図１３には、入力ストリームＣが映画５．１ｃｈの場合の動作を示したものである。音声チャンネル拡張部１０６、デジタルフィルタ演算部１０７の処理内容を決めるサラウンドモードは実施の形態１と同じであるため説明を省略する。
【０１２５】
図１３に示したように、ユーザーの視聴位置がセンターの場合には、サラウンドモードしてサラウンドタイプ３を選択し、フロントチャンネル、リアチャンネル、バックチャンネルに対して１０２４タップを用いてフィルタ処理を行う。
【０１２６】
ユーザーの視聴位置がレフトまたはライトの場合には、センター位置に比べて音場の臨場感が乏しく、サラウンド処理を簡易化してもユーザーが識別しにくいため、サラウンドモードはサラウンドタイプ２に変更して演算量を削減することができる。
【０１２７】
視聴位置が圏外の場合は、音響効果が得られるエリアから外れている場合、またはカメラからユーザーが識別できない場合であり、正常な音響効果が得られないと判断して、演算量を最大限に削減し、サラウンドモードをノーマルに変更する。
【０１２８】
以上のように、実施の形態２によれば、ユーザーの位置情報、および視聴しているスピーカーシステムの種別に応じて、サラウンド処理性能を削減する制御が実現可能になる。デジタルフィルタ演算部１０７の処理をＣＰＵを用いて行っている場合などには、適正な音響処理範囲内に押さえることで、その余った処理能力を他の処理に割り当てることが可能になる。
【産業上の利用可能性】
【０１２９】
本発明のストリーム処理装置は、マルチストリームの音声信号を再生する際に、各ストリームのデジタルフィルタ処理の演算量を番組情報などに応じて適切に調整することにより、デジタルフィルタ演算部の処理能力の範囲内で処理ができるため、特にサラウンドストリームのマルチストリームの再生に有用である。
【符号の説明】
【０１３０】
１０１ チューナー部
１０２ トランスポートデコーダ部
１０３ 番組情報取得部
１０４ ＡＶデコーダ部
１０５ フレームメモリＡ
１０６ 音声チャンネル拡張部
１０７ デジタルフィルタ演算部
１０９ 音声出力部
１１０ フレームメモリＶ
１１１ 映像出力部
１１２ 演算量測定部
１１３ ＣＰＵ
【特許請求の範囲】
【請求項１】
マルチストリームのトランスポートストリームを受信して音声データと番組付随情報とを抽出するトランスポートストリームデコーダと、
前記音声データを同時に復号するデコード手段と、
前記デコード手段が復号した音声データに対して音声チャンネルの拡張及びデジタルフィルタ演算処理を含む音響効果の演算を行う音声処理手段と、
前記デコード手段の単位時間あたりの演算量を測定する演算量測定部と、
前記番組付随情報と前記演算量測定部で測定した演算量に応じて、前記音声処理手段の処理能力を超えないように、前記マルチストリームのそれぞれのストリームに対して、前記音声処理手段における音響処理を切り替えるように制御する制御手段とを備えることを特徴とするストリーム処理装置。
【請求項２】
前記制御手段は、
前記番組付随情報のうちの番組種別に応じた音響効果演算のタイプを複数保持し、
前記番組種別に応じた前記音響効果演算の優先度を保持し、
前記音声処理手段の処理能力が越える音響効果演算が想定される場合には、優先度の低い前記番組種別に対応するストリームに対しては、より音響効果演算が低くなる音響効果演算を選択するように、前記マルチストリームのそれぞれに対して音響効果演算を選択して、前記音声処理手段の処理能力を超えないように制御する請求項１記載のストリーム処理装置。
【請求項３】
前記音響効果演算は、前記マルチストリームのそれぞれのストリームを構成する音声信号のチャンネルに対して、ＦＦＴ演算、畳み込み演算、逆ＦＦＴ演算を順に行う処理を含むことを特徴とする請求項２記載のストリーム処理装置。
【請求項４】
さらに視聴するユーザーの位置を検出する位置識別手段を備え、
前記制御手段は、さらに、前記位置識別手段により識別した位置と、前記音声処理手段に接続されるスピーカーの種別に応じて、前記音声処理手段における音響処理を切り替えるように制御することを特徴とする請求項２記載のストリーム処理装置。
【請求項１】
マルチストリームのトランスポートストリームを受信して音声データと番組付随情報とを抽出するトランスポートストリームデコーダと、
前記音声データを同時に復号するデコード手段と、
前記デコード手段が復号した音声データに対して音声チャンネルの拡張及びデジタルフィルタ演算処理を含む音響効果の演算を行う音声処理手段と、
前記デコード手段の単位時間あたりの演算量を測定する演算量測定部と、
前記番組付随情報と前記演算量測定部で測定した演算量に応じて、前記音声処理手段の処理能力を超えないように、前記マルチストリームのそれぞれのストリームに対して、前記音声処理手段における音響処理を切り替えるように制御する制御手段とを備えることを特徴とするストリーム処理装置。
【請求項２】
前記制御手段は、
前記番組付随情報のうちの番組種別に応じた音響効果演算のタイプを複数保持し、
前記番組種別に応じた前記音響効果演算の優先度を保持し、
前記音声処理手段の処理能力が越える音響効果演算が想定される場合には、優先度の低い前記番組種別に対応するストリームに対しては、より音響効果演算が低くなる音響効果演算を選択するように、前記マルチストリームのそれぞれに対して音響効果演算を選択して、前記音声処理手段の処理能力を超えないように制御する請求項１記載のストリーム処理装置。
【請求項３】
前記音響効果演算は、前記マルチストリームのそれぞれのストリームを構成する音声信号のチャンネルに対して、ＦＦＴ演算、畳み込み演算、逆ＦＦＴ演算を順に行う処理を含むことを特徴とする請求項２記載のストリーム処理装置。
【請求項４】
さらに視聴するユーザーの位置を検出する位置識別手段を備え、
前記制御手段は、さらに、前記位置識別手段により識別した位置と、前記音声処理手段に接続されるスピーカーの種別に応じて、前記音声処理手段における音響処理を切り替えるように制御することを特徴とする請求項２記載のストリーム処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１２８８４（Ｐ２０１３−１２８８４Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４０２４（Ｐ２０１１−１４４０２４）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]