説明

音声処理装置およびその制御方法

【課題】 各種シーンの音声の鑑賞において、シーンの音声と空調装置が発する音のバランスを適切に制御することにより、臨場感を高める。
【解決手段】 音声を出力する音声処理装置であって、出力対象の音声を表す音声信号を入力する入力手段と、前記音声信号を解析し、マスキングカーブを作成する作成手段と、前記マスキングカーブに基づいて空調装置の空調音をマスキングするよう、外部の空調装置に制御信号を送信する送信手段と、前記出力対象の音声を出力する音声出力手段とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は音声信号を解析して、音声に連動して空調や照明などの環境情報を制御するための音声処理装置及び方法に関する。
【背景技術】
【0002】
近年、大型ディスプレイやサラウンドシステムなどの普及により、家庭内でも高品質の映像や音声が再生できつつある。例えば、臨場感や没入感を高める方法としては、画面の大型化、サラウンド方式の音響、空調や照明を制御する方法などがある。
従来、映像装置と連動して空調装置を制御する方法としては、特許文献1のような、映像表示装置の色相が暖色系か寒色系かによって空調機の冷暖を切り替える方法が知られている。また、音響装置と連動して空調を制御する空調制御方法として、特許文献2のような、音声信号の周波数情報に同期して温度のゆらぎパターンを変化させる等も知られている。また、特許文献3のように、デジタルオーディオ処理においてデジタルフィルタを用いたマスキング関数を生成する技術なども知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平5−87375号
【特許文献2】特開平5−157317号
【特許文献3】特開平10−107642
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来は、映像信号や音声信号に応じて空調を制御していたが、再生される音声信号が空調音の影響を受けることまでは考慮されていなかった。たとえば、静かなシーンを鑑賞している際に、空調音がシーンの臨場感や没入感を損ねてしまう問題があった。本発明は上記従来例に鑑みてなされたものであり、各種シーンの音声の鑑賞において、シーンの音声と空調装置が発する音のバランスを適切に制御することにより、臨場感を高めることを主目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の音声処理装置によれば、出力対象の音声を表す音声信号を入力する入力手段と、前記音声信号を解析し、マスキングカーブを作成する作成手段と、前記マスキングカーブに基づいて空調装置の空調音をマスキングするよう、外部の空調装置に制御信号を送信する送信手段と、前記出力対象の音声を出力する音声出力手段とを有することを特徴とする音声処理装置。
【発明の効果】
【0006】
本発明によれば、各種シーンの音声の鑑賞において、シーンの音声と空調装置が発する音のバランスを適切に制御することにより、臨場感を高めることができる。
【図面の簡単な説明】
【0007】
【図1】システム構成を示すブロック図
【図2】映像入力から映像再生と環境制御を同期して処理を行うフローチャート
【図3】入力映像の音声から空調制御情報を作成する処理を示すフローチャート
【図4】映像の音量と音量変化量と空調制御情報を示した図
【図5】空調制御情報を作成する処理を示すフローチャート
【図6】空調制御情報、照明制御情報を作成するための表
【図7】空調制御情報を作成する処理を示すフローチャート
【図8】空調音の周波数分布、映像の音声の周波数分布、空調制御情報を示した図
【発明を実施するための形態】
【0008】
<実施例1>
以下、図面を用いて本発明を具体的に説明する。図1は、本実施例を実現する音声処理装置または音声処理システムの概略を示した図である。CPU101は、システム全体の動作をコントロールし、一次記憶102に格納されたプログラムの実行などを行う。一次記憶102は、主にメモリであり、二次記憶103に記憶されたプログラムなどを読み込んで格納する。二次記憶103は、例えばハードディスクなどの記憶機器である。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータなどが、二次記憶に格納される。また、長時間記憶しなくてはならないデータなども二次記憶に格納される。本実施例では、本実施例にて説明する各種工程を制御するプログラムコードを二次記憶103に格納しておく。そして、各種工程の実行時に一次記憶102にプログラムコードを読み込み、CPU101がこのプログラムコードを利用して上記工程の実行を行う。入力デバイス104は、例えば、マウスやキーボードやマイクなどの入力機器である。この入力デバイス104により、プログラムコードに基づいて実行中の工程に割り込み信号を送ることもできる。出力デバイス105は、スピーカーを含む各種出力機器である。このスピーカーはユーザが鑑賞したいシーンの音声出力を行う代表的な例である。例えば、出力デバイス105には、映像を出力するディスプレイなども含まれる。本実施例に適用される上記音声処理装置は、外部の空調装置と連動して動作する。例えば、この音声処理装置は、入力した音声(ユーザの鑑賞対象であり、再生出力対象である音声)を解析して後述するマスキングカーブを作成した後、外部の空調装置に制御情報を送信する。これに応じて、空調装置が空調を制御することができるものとする。上記外部の空調装置とは、ユーザが上記映像と音声からなるシーンを鑑賞する部屋に設置されている空調装置であるとする。ただし空調装置の位置はこれに限らず、鑑賞される環境に影響を与える位置に設置されている空調装置であれば、これを対象に含んでも構わない。
【0009】
図2は、本実施例の音声処理装置が実行する空調制御の動作工程を示すフローチャートである。音声処理装置の電源投入もしくは空調制御モードの設定などにより、ステップS201に進む。ステップS201は、次に処理を行うべき音声信号が存在するか判断する処理を暗に含むものとする。処理すべき音声信号が存在するときには、次のステップS202へ進む。ステップS202において、処理対象となる音声信号を入力する。この音声信号は、上述した映像シーンなどに付随する音声信号であり、各種シーンに見合った内容の音声を表現しているものとする。次に、ステップS203で入力された音声を解析し、空調制御情報を作成する。ステップS204では、空調制御情報に基づいて空調装置を制御する。具体的には空調装置へ空調制御情報に相当する制御信号を送るものである。またステップS204では、装置から上記映像シーンの音声をスピーカを介して出力(再生)する。その後、ステップS205に進み、ステップS201に戻る。
【0010】
以下、ステップS203の音声解析、および空調制御情報の作成方法を、図3などを用いて説明する。
【0011】
ステップS301で音声解析の対象となる音声がある場合に、次のステップS302に進む。ステップS302では、入力された音声を解析する。図4(a)は、音声解析の結果を示す一例である。この図は3軸で表現されている。図4(a)の横軸は、周波数を表す。また、図4(a)の縦軸は、音圧レベルを表す。また、奥から手前へ向かう軸は、時間を表す。
【0012】
ステップS303では、音声のマスキング関数を作成する。ここでは、一般的に用いられているデジタルフィルタを用いたマスキングカーブの生成方法を用いる。具体的には、時間(t)の周波数マスキング関数を、図4(b)に示す。図4(b)の横軸は周波数を表す。図4(b)の縦軸は音圧を表す。ここで、周波数マスキング効果とは、「ある高さの音に対してそれより少し低い音があると、その少し低い音によって高い音が聞こえにくくなること」を言う。また、周波数(t)の時間マスキング関数を図4(c)に示す。図4(b)の横軸が周波数、図4(b)の縦軸が音圧である。時間マスキング効果とは、「大きな音の直後にある音は、その音がなくなっても0.1秒間程度はマスキングが起こってある音は聞こえなくなること」を言う。図4(c)の横軸は周波数を表す。図4(c)の縦軸は音圧を表す。図4(b)、図4(c)を時間方向と周波数軸で作成することにより、図4(d)に示すようなマスキング関数が作成できる。図4(d)の横軸は周波数を表す。図4(d)の縦軸は音圧レベルを表す。図4(d)の奥から手前への軸は時間を表す。
【0013】
次に、ステップS304で、マスキング関数から空調制御情報を作成する。空調制御情報の作成方法について、図5のフローチャートを用いて以下に説明する。まず、ステップS501で処理を開始する。次に、ステップS502で、空調強度Valueの初期値を「切」に設定する。次に、ステップS503で時間tを初期化する。次に、ステップS504でマスキング関数と空調騒音の周波数を比較する。比較方法としては図6(a)であらわされるようにある時間の音声の周波数全体と、空調の周波数全体を比較する。次に、ステップS505において、比較結果に応じたValueを決定する。Valueの決定方法は、ステップS504の全体の比較結果から図6(b)の表にしたがって決定する。
【0014】
次に、ステップS507で時間tを1進める。次に、ステップS508で再生に必要な処理したかを判断し、処理が終わればステップS509へ、終わっていない場合にはステップS504に戻る。最後に、ステップS509で処理を終了する。
【0015】
以上により、再生時間における空調変化(t)(図6(c)参照)が決定され、上述したステップS204において、音声処理装置が再生するシーンに対応する音声に同期させて空調装置(空調音)を変化させることができる。なお、上記音声と同期させて空調音を変化させるために、音声処理装置から、空調装置もしくは空調装置のリモコン機器へ制御信号を発信する。リモコン機器へ制御信号を送った場合には、リモコンが必要な制御信号に置換するなどして、更に空調装置へ制御信号を送る。以上により、再生中のシーンに対応する音声に合わせて、空調音を制御することができる。
【0016】
なお、本実施例では音声処理装置が音声解析を終了した後に音声再生を行うものとするが、音声解析が高速にできる場合および装置間の制御信号の送受信に時間が掛からない場合には、音声再生を行いつつ音声解析を行っても良いであろう。また、本実施例では、空調騒音周波数など、あらかじめ決められた値を想定しているが、ユーザが適宜の数値を設定しても構わない。また、本実施例では室温や屋外の温度など外部環境による空調制御については言及していないが、図6(c)を上限ラインとして、外部の環境に応じて空調を制御しても良い。
【0017】
<実施例2>
実施例1において、空調音が大きかったりシーンの音声が小さかったりすると、空調が駆動できない可能性がある。よって、本実施例2では、空調にあわせてシーンの音声レベルを変化させる。
【0018】
図7は、実施例2における再生音声と空調音の連動を行うための制御工程を示した図である。まず、ステップS701で処理を開始する。次に、ステップS702で、入力されたシーンに対応する音声を解析する。次に、ステップS703で、マスキング関数を作成する。ここまでの処理は実施例1と同じである。次にステップS704において、マスキング関数から空調の制御情報が作成できたかどうかを判断する。具体的には空調装置を駆動させることができれば良く、ステップS706に進む。ここであまりにも入力された音声レベルが低すぎて、空調を駆動させることができない場合(図8(a)参照)には、ステップS705にすすむ。次に、ステップS705において、映像の音声の音圧レベルを1.5倍に上げ、ステップS702に進む。ここで、あげるべき音圧レベルの時間は、マスキング関数の中で閾値よりも大きいと判断した時間である。このように、音圧レベルを上げて同様の処理を行うことで、マスキング関数を再作成し空調制御を行うことが可能になる。(図8(b)参照)なお、入力音声のうち、人の音声に近い周波数1KHz付近のみの音圧レベルを1.5倍にあげて、マスキング関数を再作成しても良い。(図8(c)参照)空調を制御する方法と音声を再生する方法については、実施例1と同一であるため、説明を省略する。以上により、音声レベルが低く空調が制御できない場合でも、映像の音声レベルを上げることにより、空調を適切に制御することができる。なお、今回は閾値よりも大きい時間の音圧レベルを上げたが、映像全体の音圧レベルを上げても良いし、音圧レベルの上げ方も任意に調整して良い。
【0019】
<変形例>
以上の実施例では空調装置を制御する例を説明したが、空調同様に他の同様の音源となる家庭用機器(換気扇、冷蔵庫、食器洗い機、洗濯機など)にも適用できるであろう。
【0020】
なお、上記各実施例では、各工程や機能を実現するソフトウェア(コンピュータプログラム)を、装置内のCPUによってプログラムを実行する処理を説明した。しかしながら、上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

【特許請求の範囲】
【請求項1】
音声を出力する音声処理装置であって、
出力対象の音声を表す音声信号を入力する入力手段と、
前記音声信号を解析し、マスキングカーブを作成する作成手段と、
前記マスキングカーブに基づいて空調装置の空調音をマスキングするよう、外部の空調装置に制御信号を送信する送信手段と、
前記出力対象の音声を出力する音声出力手段と
を有することを特徴とする音声処理装置。
【請求項2】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1に記載の音声処理装置として機能させるコンピュータプログラム。
【請求項3】
請求項2に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項4】
音声を出力する音声処理装置の制御方法であって、
入力手段により、出力対象の音声を表す音声信号を入力する工程と、
作成手段により、前記音声信号を解析して、マスキングカーブを作成する工程と、
送信手段により、前記マスキングカーブに基づいて空調装置の空調音をマスキングするよう、外部の空調装置に制御信号を送信する工程と、
音声出力手段により、前記出力対象の音声を出力する工程と
を有することを特徴とする制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−37120(P2013−37120A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−171971(P2011−171971)
【出願日】平成23年8月5日(2011.8.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】