映像音声出力装置
【課題】 ＢＧＭを含んだ音声の臨場感を伴った再生技術を提供する。
【解決手段】 映像表示部と、前記映像表示部に表示される映像中において人物の顔や唇の動きを検出する検出手段と、前記検出手段が検出した前記映像中の人物の顔や唇の動きが存在する場所を示すアドレス座標に基づいて音声フィルタの特性を制御する音声処理部と、前記映像表示部に表示される映像に伴う音声信号がモノラル音声信号であるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて前記音声処理部により制御される前記音声フィルタの出力を入力とする複数のスピーカとを備えたことを特徴とする映像音声出力装置。
【解決手段】 映像表示部と、前記映像表示部に表示される映像中において人物の顔や唇の動きを検出する検出手段と、前記検出手段が検出した前記映像中の人物の顔や唇の動きが存在する場所を示すアドレス座標に基づいて音声フィルタの特性を制御する音声処理部と、前記映像表示部に表示される映像に伴う音声信号がモノラル音声信号であるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて前記音声処理部により制御される前記音声フィルタの出力を入力とする複数のスピーカとを備えたことを特徴とする映像音声出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声出力装置に係わり、特に音声の臨場感を伴った再生方法に関する。
【背景技術】
【０００２】
モノラル音声の臨場感を伴った再生方法として近年の特許文献１には、周波数スペクトルの解析結果に応じて前記各チャンネルの出力音声信号の周波数特性を制御することが記載されている。これは、単位期間に音を分離したりテンポに応じて周波数特性を変えることを内容としている。しかしながら音声源のモデルが無く性能に限界がある。
【０００３】
他方デジタルカメラ等では、人の顔や口を検出する検出技術を用いて、写真の明るさ等の補正に利用することが実用化されている。映像音声出力装置においてもこのような技術を用いて、話者の位置を検出し利用することが求められている。
【０００４】
関連して特許文献２には、映像中の話者の位置を検出し、ボリュームを制御することを特徴とする映像音声出力装置と記載されている。しかしながらＢＧＭが無い音声信号では音の臨場感を高めることができるがＢＧＭを含んだ音声信号にこの処理を行うと違和感が残るという問題があった。
【特許文献１】特開２００６−８６５５８号公報
【特許文献２】特開平１１−３１３２７２号公報（請求項１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、ＢＧＭを含んだ音声の臨場感を伴った再生技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の映像音声出力装置は、映像表示部と、前記映像表示部に表示される映像中において人物の顔や唇の動きを検出する検出手段と、前記検出手段が検出した前記映像中の人物の顔や唇の動きが存在する場所を示すアドレス座標に基づいて音声フィルタの特性を制御する音声処理部と、前記映像表示部に表示される映像に伴う音声信号がモノラル音声信号であるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて前記音声処理部により制御される前記音声フィルタの出力を入力とする複数のスピーカとを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ＢＧＭを含んだ音声の臨場感を伴った再生技術が得られる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図７を参照して説明する。
図１は、この発明の実施の形態で説明するテレビジョン放送受信装置の信号処理系を概略的に示す図である。この信号処理系を構成する各種の回路ブロックは、キャビネット１２の内部に配置されている。
【０００９】
そして、デジタルテレビジョン放送受信用のアンテナ２２で受信したデジタルテレビジョン放送信号は、入力端子２３を介してチューナ部２４に供給される。このチューナ部２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ部２４から出力された信号は、デコーダ部２５に供給されて、例えばＭＰＥＧ（moving picture experts group）２デコード処理が施された後、セレクタ２６に供給される。
【００１０】
さらに、アナログテレビジョン放送受信用のアンテナ２７で受信したアナログテレビジョン放送信号は、入力端子２８を介してチューナ部２９に供給される。このチューナ部２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ部２９から出力された信号は、Ａ／Ｄ（analog／digital）変換部３０によりデジタル化された後、上記セレクタ２６に出力される。
【００１１】
また、アナログ信号用の入力端子３１に供給されたアナログの映像及び音声信号は、Ａ／Ｄ変換部３２に供給されてデジタル化された後、上記セレクタ２６に出力される。さらに、デジタル信号用の入力端子３３に供給されたデジタルの映像及び音声信号は、そのまま上記セレクタ２６に供給される。
【００１２】
上記セレクタ２６は、４種類の入力デジタル映像及び音声信号から１つを選択して、信号処理部３４に供給している。この信号処理部３４は、入力されたデジタル映像信号に所定の信号処理を施して上記映像表示器１４での映像表示に供させている。この映像表示部１４としては、例えば、液晶ディスプレイやプラズマディスプレイ等でなるフラットパネルディスプレイが採用される。また、上記信号処理部３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化して上記スピーカ１５に出力することにより、音声再生を行なっている。
【００１３】
ここで、このテレビジョン放送受信装置１１は、上記した各種の受信動作を含む種々の動作を制御部３５によって統括的に制御されている。この制御部３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサであり、上記操作部１６や操作子２１（図２では図示せず）からの操作情報、または、上記リモートコントローラ１７から送信された操作情報を、受光部１８を介して受けることにより、その操作内容が反映されるように各部をそれぞれ制御している。
【００１４】
ここでは、制御部３５は、メモリ部３６を使用している。このメモリ部３６は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００１５】
ここで、上記制御部３５は、例としてスタンド１３内に収容されたＨＤＤ（ハードディスクドライブ）ユニット２０と接続されている。この場合、制御部３５からＨＤＤユニット２０に電源電力及び制御信号の供給を行なうライン３７は、接続部３８を介して制御部２６とＨＤＤユニット２０とを接続している。
【００１６】
また、制御部３５とＨＤＤユニット２０との間でデジタル映像及び音声信号を授受するライン３９は、接続部４０を介して制御部３５とＨＤＤユニット２０とを接続している。すなわち、制御部３５とＨＤＤユニット２０との間でのデジタル映像及び音声信号の伝送は、電源及び制御信号とによって行なわれる。
【００１７】
そして、上記テレビジョン放送受信装置は、セレクタ２６で選択されたデジタルの
映像及び音声信号を、ＨＤＤユニット２０により記録することができるとともに、ＨＤＤユニット２０に記録されたデジタルの映像及び音声信号を再生し、視聴に供させることができる。
【００１８】
図２は本実施形態要部の概略ブロック図である。
映像処理ブロック１０１に入力された映像信号は顔センシング技術により唇の動きを検出し、この唇の動きが画面上のどこの位置で検出されたかを示すアドレス座標１０２を出力する。また音声処理ブロック１０３に入力された音声信号はアドレス座標１０２の値に応じてフィルタの特性を変化させ４つのスピーカ群からなるスピーカ１０４より音声を出力することでモノラル音声でも臨場感を高めることができる。映像処理ブロック１０１、アドレス座標１０２、音声処理ブロック１０３は、信号処理部３４内に在り、またスピーカ１０４はスピーカ１５に相当する。
【００１９】
図３は本実施形態の音声処理の一例を示すブロック図であり、このブロック図では入力音声信号がモノラルであれば画面に表示されている顔（唇）の位置に近いスピーカから音声が出力され、入力音声信号がステレオであれば入力音声信号をスルーし通常の視聴状態に戻すシステムである。
【００２０】
以下に図３の音声信号処理について説明する。
２チャンネルの入力音声信号２０１はＬＲ音声信号比較ブロック２０２で各チャンネルの音声信号を比較しモノラルかステレオかの判定結果２０３を出力する。ＢＰＦ２０４は人の声の帯域を通過させる特性としＢＰＦ２０４を通過した信号の周波数を周波数比較２０５で音声信号の周波数を測定し、人の声と比較同定する。
【００２１】
4chノッチフィルタ２０７に入力する唇の位置を示す座標情報２０６（図２の１０２）の値に応じてノッチフィルタのＱの値を設定し周波数比較２０５で測定した周波数の値でノッチフィルタの中心周波数（f0）を設定する。
【００２２】
セレクタ２０８には音声信号２０１から入力された音声信号と4chノッチフィルタ２０７を通過した音声信号をモノラル判定信号２０３により切り替え出力しＡＭＰ２０９で増幅後、スピーカ２１０（図２の１０４）に出力する。
【００２３】
図４のテレビのスピーカは左右２個ずつ計４個のスピーカが設置され、視聴者がＴＶのＮＥＷＳ番組を見ている状態のイメージ図である。ＮＥＷＳ番組はバイリンガル方式で放送されることがあり日本語で視聴する場合はステレオ（２チャンネル）機能を持つＴＶでもモノラル音声で聞くことになるので、この番組を日本語で視聴する場合の音声信号の経路は図２の4chノッチフィルタブロックを通過する。ＮＥＷＳ番組の映像は右側の人物（Ｂ）が話しているので唇の位置は画面全体の右上に位置する。唇の位置と各スピーカの距離が長いとノッチフィルタのＱの値が高くなるようにフィルタ処理されるので各スピーカに出力される周波数特性は図４の特性になり唇の位置から遠いスピーカほど話し手の声は小さくなるので話し手の口の位置から話し手の声が聞こえるようになる。
【００２４】
図５は、実施形態に用いられる各スピーカへの出力特性曲線を示す特性図である。ＳＰ−Ｂは唇の位置に最も近いので減衰がなく、ＳＰ−Ｄ，ＳＰ−Ａ，ＳＰ−Ｃと遠くなるほど減衰が大きくなっている。
【００２５】
図６は、実施形態を説明するための音声波形の図である。図６（ａ）は人が「そう話す」と発話したときの音声波形の振幅の遷移とそのラベリング結果（ｓｏｏｈａｎａｓｕ）であり、図６（ｂ）は図６（ａ）の母音ａの定常部を拡大した波形である。図６（ｂ）のｐは声帯振動の基本ピッチであり、この逆数が基本周波数Ｆ０である。Ｆ０は数十Ｈｚから数百Ｈｚの間に分布し、情動等によって変化する。
【００２６】
図７は、音声信号の表現としての音声波形の一例である。図７（ａ）は「サ」を発声したときの音声信号の振幅の時間変化の一部を表す。摩擦子音部／ｓ／と続く過渡部、定常母部／ａ／とからなる。また図７（ｂ）は定常母部／ａ／を１０ｍｓ単位にフーリエ変換を行ったときの周波数スペクトルである。縦軸は強度であり横軸は周波数（単位はｋＨｚ）である。
【００２７】
この図は男声サンプルを示しており、（ｂ）では細かな波形で示す調波線スペクトルｗと、線形予測分析等で得られるそのスペクトルエンベロープ（包絡）ｅとを示している。スペクトルエンベロープｅからは所謂ホルマント（声道の共振）が３つ認められ、第３ホルマントＦ３は２．５ｋＨｚ近辺に位置している。なお、他の母音／ｉ／、／ｕ／などでは第３ホルマント等の位置は変わるが、２．５ｋＨｚ近辺の強度は高い。なおより支配的な第１ホルマントＦ１と第２ホルマントＦ２は１ｋＨｚ前後に位置している。
【００２８】
図５の各スピーカへの出力特性は、ホルマントの他に基本周波数Ｆ０の変化を加味して追従変化させてもよい。
（実施形態２）
本発明による実施形態２を説明する。実施形態１と共通する部分は説明を省略する。
実施形態１では、話者が１名の例を説明したが、話者は複数いてもよい。図４で左側の人（Ａ）も唇を動かしているとする。周波数スペクトル上で比較的高域の成分は子音部や過渡部を含めて話者情報を含んでいる可能性が高く、話者認識も援用して話者Ａ，話者Ｂそれぞれにスピーカ毎に設定したノッチフィルタの特性を重ね合わせて出力すればよい。なお話者認識の手段としては、唇の動きから話者が発音している子母音を同定してその結果を援用してもよい。
【００２９】
ＴＶのＮＥＷＳ番組に限らず海外映画などの音声信号はバイリンガル方式で放送されることがあり、日本語で視聴する場合はモノラル音声で聞くことになるので、ステレオで放送される番組と比較すると臨場感は劣る。本実施形態の内容による映像音声処理を行うことによりモノラル放送でもテレビ音声信号の臨場感を高めることができ、ＢＧＭが挿入されている番組でもＢＧＭの定位はフラットに聞こえ、話し手の声は話し手の位置より聞こえるようになる。
【００３０】
以上概要として、画面上の顔や唇の検出位置の座標に応じて、複数の配置されたスピーカの音声フィルタの特性を制御し、画面に合わせて音声臨場感を高めるように、モノラル音声信号を処理する。更には、音声フィルタの特性はノッチフィルタのＱを制御する。
【００３１】
この効果として、本実施形態内容による音声処理を行うことにより、ＢＧＭを含んだ音声信号でもＢＧＭの音の定位は均一に出力でき人の話し声は話者の画面上の位置に応じて音声を出力することができるため、ＢＧＭを含んだ音声信号でも違和感無く音の臨場感を高めることができる。
【００３２】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば、スピーカ群は平面上に配置された例を示したが、所謂サラウンド配置でもよい。
【００３３】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００３４】
【図１】この発明の一実施形態の信号処理系を概略的に示す図。
【図２】同実施形態の要部の概略ブロック図。
【図３】同実施形態の音声処理の一例を示すブロック図。
【図４】同実施形態の視聴者がＴＶのＮＥＷＳ番組を見ている状態のイメージ図。
【図５】同実施形態に用いられる各スピーカへの出力特性曲線を示す特性図。
【図６】同実施形態を説明するための音声波形の図その１。
【図７】同実施形態を説明するための音声波形の図その２。
【符号の説明】
【００３５】
１２…キャビネット、１４…映像表示器（映像表示部）、１５…スピーカ、１６…操作部、１８…受光部、２０…ＨＤＤユニット（記録手段）、２２…アンテナ、２３…入力端子、２４…チューナ部、２５…デコーダ部、２６…セレクタ、２７…アンテナ、２８…入力端子、２９…チューナ部、３０…Ａ／D変換部、３１…入力端子、３２…Ａ／Ｄ変換部、３３…入力端子、３４…信号処理部、３５…制御部、３５ａ…ＨＤＤ制御部、３６…メモリ部、３７…ライン、３８…接続部、３９…ライン、４０…接続部、１０１…映像処理ブロック、１０２…アドレス座標、１０３…音声処理ブロック、１０４…スピーカ、２０２…音声信号比較ブロック、２０４…ＢＰＦ、２０７…ノッチフィルタ。
【技術分野】
【０００１】
本発明は、映像音声出力装置に係わり、特に音声の臨場感を伴った再生方法に関する。
【背景技術】
【０００２】
モノラル音声の臨場感を伴った再生方法として近年の特許文献１には、周波数スペクトルの解析結果に応じて前記各チャンネルの出力音声信号の周波数特性を制御することが記載されている。これは、単位期間に音を分離したりテンポに応じて周波数特性を変えることを内容としている。しかしながら音声源のモデルが無く性能に限界がある。
【０００３】
他方デジタルカメラ等では、人の顔や口を検出する検出技術を用いて、写真の明るさ等の補正に利用することが実用化されている。映像音声出力装置においてもこのような技術を用いて、話者の位置を検出し利用することが求められている。
【０００４】
関連して特許文献２には、映像中の話者の位置を検出し、ボリュームを制御することを特徴とする映像音声出力装置と記載されている。しかしながらＢＧＭが無い音声信号では音の臨場感を高めることができるがＢＧＭを含んだ音声信号にこの処理を行うと違和感が残るという問題があった。
【特許文献１】特開２００６−８６５５８号公報
【特許文献２】特開平１１−３１３２７２号公報（請求項１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、ＢＧＭを含んだ音声の臨場感を伴った再生技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の映像音声出力装置は、映像表示部と、前記映像表示部に表示される映像中において人物の顔や唇の動きを検出する検出手段と、前記検出手段が検出した前記映像中の人物の顔や唇の動きが存在する場所を示すアドレス座標に基づいて音声フィルタの特性を制御する音声処理部と、前記映像表示部に表示される映像に伴う音声信号がモノラル音声信号であるか否かを判定する判定手段と、前記判定手段による判定結果に基づいて前記音声処理部により制御される前記音声フィルタの出力を入力とする複数のスピーカとを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ＢＧＭを含んだ音声の臨場感を伴った再生技術が得られる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図７を参照して説明する。
図１は、この発明の実施の形態で説明するテレビジョン放送受信装置の信号処理系を概略的に示す図である。この信号処理系を構成する各種の回路ブロックは、キャビネット１２の内部に配置されている。
【０００９】
そして、デジタルテレビジョン放送受信用のアンテナ２２で受信したデジタルテレビジョン放送信号は、入力端子２３を介してチューナ部２４に供給される。このチューナ部２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ部２４から出力された信号は、デコーダ部２５に供給されて、例えばＭＰＥＧ（moving picture experts group）２デコード処理が施された後、セレクタ２６に供給される。
【００１０】
さらに、アナログテレビジョン放送受信用のアンテナ２７で受信したアナログテレビジョン放送信号は、入力端子２８を介してチューナ部２９に供給される。このチューナ部２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ部２９から出力された信号は、Ａ／Ｄ（analog／digital）変換部３０によりデジタル化された後、上記セレクタ２６に出力される。
【００１１】
また、アナログ信号用の入力端子３１に供給されたアナログの映像及び音声信号は、Ａ／Ｄ変換部３２に供給されてデジタル化された後、上記セレクタ２６に出力される。さらに、デジタル信号用の入力端子３３に供給されたデジタルの映像及び音声信号は、そのまま上記セレクタ２６に供給される。
【００１２】
上記セレクタ２６は、４種類の入力デジタル映像及び音声信号から１つを選択して、信号処理部３４に供給している。この信号処理部３４は、入力されたデジタル映像信号に所定の信号処理を施して上記映像表示器１４での映像表示に供させている。この映像表示部１４としては、例えば、液晶ディスプレイやプラズマディスプレイ等でなるフラットパネルディスプレイが採用される。また、上記信号処理部３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化して上記スピーカ１５に出力することにより、音声再生を行なっている。
【００１３】
ここで、このテレビジョン放送受信装置１１は、上記した各種の受信動作を含む種々の動作を制御部３５によって統括的に制御されている。この制御部３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサであり、上記操作部１６や操作子２１（図２では図示せず）からの操作情報、または、上記リモートコントローラ１７から送信された操作情報を、受光部１８を介して受けることにより、その操作内容が反映されるように各部をそれぞれ制御している。
【００１４】
ここでは、制御部３５は、メモリ部３６を使用している。このメモリ部３６は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００１５】
ここで、上記制御部３５は、例としてスタンド１３内に収容されたＨＤＤ（ハードディスクドライブ）ユニット２０と接続されている。この場合、制御部３５からＨＤＤユニット２０に電源電力及び制御信号の供給を行なうライン３７は、接続部３８を介して制御部２６とＨＤＤユニット２０とを接続している。
【００１６】
また、制御部３５とＨＤＤユニット２０との間でデジタル映像及び音声信号を授受するライン３９は、接続部４０を介して制御部３５とＨＤＤユニット２０とを接続している。すなわち、制御部３５とＨＤＤユニット２０との間でのデジタル映像及び音声信号の伝送は、電源及び制御信号とによって行なわれる。
【００１７】
そして、上記テレビジョン放送受信装置は、セレクタ２６で選択されたデジタルの
映像及び音声信号を、ＨＤＤユニット２０により記録することができるとともに、ＨＤＤユニット２０に記録されたデジタルの映像及び音声信号を再生し、視聴に供させることができる。
【００１８】
図２は本実施形態要部の概略ブロック図である。
映像処理ブロック１０１に入力された映像信号は顔センシング技術により唇の動きを検出し、この唇の動きが画面上のどこの位置で検出されたかを示すアドレス座標１０２を出力する。また音声処理ブロック１０３に入力された音声信号はアドレス座標１０２の値に応じてフィルタの特性を変化させ４つのスピーカ群からなるスピーカ１０４より音声を出力することでモノラル音声でも臨場感を高めることができる。映像処理ブロック１０１、アドレス座標１０２、音声処理ブロック１０３は、信号処理部３４内に在り、またスピーカ１０４はスピーカ１５に相当する。
【００１９】
図３は本実施形態の音声処理の一例を示すブロック図であり、このブロック図では入力音声信号がモノラルであれば画面に表示されている顔（唇）の位置に近いスピーカから音声が出力され、入力音声信号がステレオであれば入力音声信号をスルーし通常の視聴状態に戻すシステムである。
【００２０】
以下に図３の音声信号処理について説明する。
２チャンネルの入力音声信号２０１はＬＲ音声信号比較ブロック２０２で各チャンネルの音声信号を比較しモノラルかステレオかの判定結果２０３を出力する。ＢＰＦ２０４は人の声の帯域を通過させる特性としＢＰＦ２０４を通過した信号の周波数を周波数比較２０５で音声信号の周波数を測定し、人の声と比較同定する。
【００２１】
4chノッチフィルタ２０７に入力する唇の位置を示す座標情報２０６（図２の１０２）の値に応じてノッチフィルタのＱの値を設定し周波数比較２０５で測定した周波数の値でノッチフィルタの中心周波数（f0）を設定する。
【００２２】
セレクタ２０８には音声信号２０１から入力された音声信号と4chノッチフィルタ２０７を通過した音声信号をモノラル判定信号２０３により切り替え出力しＡＭＰ２０９で増幅後、スピーカ２１０（図２の１０４）に出力する。
【００２３】
図４のテレビのスピーカは左右２個ずつ計４個のスピーカが設置され、視聴者がＴＶのＮＥＷＳ番組を見ている状態のイメージ図である。ＮＥＷＳ番組はバイリンガル方式で放送されることがあり日本語で視聴する場合はステレオ（２チャンネル）機能を持つＴＶでもモノラル音声で聞くことになるので、この番組を日本語で視聴する場合の音声信号の経路は図２の4chノッチフィルタブロックを通過する。ＮＥＷＳ番組の映像は右側の人物（Ｂ）が話しているので唇の位置は画面全体の右上に位置する。唇の位置と各スピーカの距離が長いとノッチフィルタのＱの値が高くなるようにフィルタ処理されるので各スピーカに出力される周波数特性は図４の特性になり唇の位置から遠いスピーカほど話し手の声は小さくなるので話し手の口の位置から話し手の声が聞こえるようになる。
【００２４】
図５は、実施形態に用いられる各スピーカへの出力特性曲線を示す特性図である。ＳＰ−Ｂは唇の位置に最も近いので減衰がなく、ＳＰ−Ｄ，ＳＰ−Ａ，ＳＰ−Ｃと遠くなるほど減衰が大きくなっている。
【００２５】
図６は、実施形態を説明するための音声波形の図である。図６（ａ）は人が「そう話す」と発話したときの音声波形の振幅の遷移とそのラベリング結果（ｓｏｏｈａｎａｓｕ）であり、図６（ｂ）は図６（ａ）の母音ａの定常部を拡大した波形である。図６（ｂ）のｐは声帯振動の基本ピッチであり、この逆数が基本周波数Ｆ０である。Ｆ０は数十Ｈｚから数百Ｈｚの間に分布し、情動等によって変化する。
【００２６】
図７は、音声信号の表現としての音声波形の一例である。図７（ａ）は「サ」を発声したときの音声信号の振幅の時間変化の一部を表す。摩擦子音部／ｓ／と続く過渡部、定常母部／ａ／とからなる。また図７（ｂ）は定常母部／ａ／を１０ｍｓ単位にフーリエ変換を行ったときの周波数スペクトルである。縦軸は強度であり横軸は周波数（単位はｋＨｚ）である。
【００２７】
この図は男声サンプルを示しており、（ｂ）では細かな波形で示す調波線スペクトルｗと、線形予測分析等で得られるそのスペクトルエンベロープ（包絡）ｅとを示している。スペクトルエンベロープｅからは所謂ホルマント（声道の共振）が３つ認められ、第３ホルマントＦ３は２．５ｋＨｚ近辺に位置している。なお、他の母音／ｉ／、／ｕ／などでは第３ホルマント等の位置は変わるが、２．５ｋＨｚ近辺の強度は高い。なおより支配的な第１ホルマントＦ１と第２ホルマントＦ２は１ｋＨｚ前後に位置している。
【００２８】
図５の各スピーカへの出力特性は、ホルマントの他に基本周波数Ｆ０の変化を加味して追従変化させてもよい。
（実施形態２）
本発明による実施形態２を説明する。実施形態１と共通する部分は説明を省略する。
実施形態１では、話者が１名の例を説明したが、話者は複数いてもよい。図４で左側の人（Ａ）も唇を動かしているとする。周波数スペクトル上で比較的高域の成分は子音部や過渡部を含めて話者情報を含んでいる可能性が高く、話者認識も援用して話者Ａ，話者Ｂそれぞれにスピーカ毎に設定したノッチフィルタの特性を重ね合わせて出力すればよい。なお話者認識の手段としては、唇の動きから話者が発音している子母音を同定してその結果を援用してもよい。
【００２９】
ＴＶのＮＥＷＳ番組に限らず海外映画などの音声信号はバイリンガル方式で放送されることがあり、日本語で視聴する場合はモノラル音声で聞くことになるので、ステレオで放送される番組と比較すると臨場感は劣る。本実施形態の内容による映像音声処理を行うことによりモノラル放送でもテレビ音声信号の臨場感を高めることができ、ＢＧＭが挿入されている番組でもＢＧＭの定位はフラットに聞こえ、話し手の声は話し手の位置より聞こえるようになる。
【００３０】
以上概要として、画面上の顔や唇の検出位置の座標に応じて、複数の配置されたスピーカの音声フィルタの特性を制御し、画面に合わせて音声臨場感を高めるように、モノラル音声信号を処理する。更には、音声フィルタの特性はノッチフィルタのＱを制御する。
【００３１】
この効果として、本実施形態内容による音声処理を行うことにより、ＢＧＭを含んだ音声信号でもＢＧＭの音の定位は均一に出力でき人の話し声は話者の画面上の位置に応じて音声を出力することができるため、ＢＧＭを含んだ音声信号でも違和感無く音の臨場感を高めることができる。
【００３２】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば、スピーカ群は平面上に配置された例を示したが、所謂サラウンド配置でもよい。
【００３３】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００３４】
【図１】この発明の一実施形態の信号処理系を概略的に示す図。
【図２】同実施形態の要部の概略ブロック図。
【図３】同実施形態の音声処理の一例を示すブロック図。
【図４】同実施形態の視聴者がＴＶのＮＥＷＳ番組を見ている状態のイメージ図。
【図５】同実施形態に用いられる各スピーカへの出力特性曲線を示す特性図。
【図６】同実施形態を説明するための音声波形の図その１。
【図７】同実施形態を説明するための音声波形の図その２。
【符号の説明】
【００３５】
１２…キャビネット、１４…映像表示器（映像表示部）、１５…スピーカ、１６…操作部、１８…受光部、２０…ＨＤＤユニット（記録手段）、２２…アンテナ、２３…入力端子、２４…チューナ部、２５…デコーダ部、２６…セレクタ、２７…アンテナ、２８…入力端子、２９…チューナ部、３０…Ａ／D変換部、３１…入力端子、３２…Ａ／Ｄ変換部、３３…入力端子、３４…信号処理部、３５…制御部、３５ａ…ＨＤＤ制御部、３６…メモリ部、３７…ライン、３８…接続部、３９…ライン、４０…接続部、１０１…映像処理ブロック、１０２…アドレス座標、１０３…音声処理ブロック、１０４…スピーカ、２０２…音声信号比較ブロック、２０４…ＢＰＦ、２０７…ノッチフィルタ。
【特許請求の範囲】
【請求項１】
映像表示部と、
前記映像表示部に表示される映像中において人物の顔や唇の動きを検出する検出手段と、
前記検出手段が検出した前記映像中の人物の顔や唇の動きが存在する場所を示すアドレス座標に基づいて音声フィルタの特性を制御する音声処理部と、
前記映像表示部に表示される映像に伴う音声信号がモノラル音声信号であるか否かを判定する判定手段とを
備えたことを特徴とする映像音声出力装置。
【請求項２】
前記アドレス座標に基づいて前記音声フィルタの特性としてノッチフィルタのＱ値を前記音声処理部は制御することを特徴とする請求項１に記載の映像音声出力装置。
【請求項３】
人物の声の通過帯域を分析するように構成されたＢＰＦを備え、
このＢＰＦを通過した音声信号の周波数比較を行いながら前記ノッチフィルタの中心周波数を前記音声処理部は制御することを特徴とする請求項２に記載の映像音声出力装置。
【請求項４】
前記判定手段による判定結果においてモノラル音声信号と判定された場合に前記判定手段による判定結果に基づいて前記音声処理部により制御される前記音声フィルタの出力を入力とする複数のスピーカは前記音声フィルタの出力を入力とすることを特徴とする請求項１に記載の映像音声出力装置。
【請求項１】
映像表示部と、
前記映像表示部に表示される映像中において人物の顔や唇の動きを検出する検出手段と、
前記検出手段が検出した前記映像中の人物の顔や唇の動きが存在する場所を示すアドレス座標に基づいて音声フィルタの特性を制御する音声処理部と、
前記映像表示部に表示される映像に伴う音声信号がモノラル音声信号であるか否かを判定する判定手段とを
備えたことを特徴とする映像音声出力装置。
【請求項２】
前記アドレス座標に基づいて前記音声フィルタの特性としてノッチフィルタのＱ値を前記音声処理部は制御することを特徴とする請求項１に記載の映像音声出力装置。
【請求項３】
人物の声の通過帯域を分析するように構成されたＢＰＦを備え、
このＢＰＦを通過した音声信号の周波数比較を行いながら前記ノッチフィルタの中心周波数を前記音声処理部は制御することを特徴とする請求項２に記載の映像音声出力装置。
【請求項４】
前記判定手段による判定結果においてモノラル音声信号と判定された場合に前記判定手段による判定結果に基づいて前記音声処理部により制御される前記音声フィルタの出力を入力とする複数のスピーカは前記音声フィルタの出力を入力とすることを特徴とする請求項１に記載の映像音声出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−５０７５５（Ｐ２０１０−５０７５５Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００８−２１３３５７（Ｐ２００８−２１３３５７）
【出願日】平成２０年８月２１日（２００８．８．２１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２０年８月２１日（２００８．８．２１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]