音響処理装置、音響処理方法、および携帯電話端末
【課題】筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能な音響処理装置を提供する。
【解決手段】所定の筐体に所定の物体が衝突した際に筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプルデータ保持部１２と、周囲音を入力音響信号として入力する音響信号入力部と、入力音響信号に含まれる信号成分のうち、ノイズサンプルと略同一の特性を有する一次ノイズ成分を検出する一次ノイズ検出部１３と、入力音響信号に含まれる信号成分のうち、一次ノイズ成分の特性と近似する特性を有する二次ノイズ成分を検出する二次ノイズ検出部１５と、一次ノイズ成分および二次ノイズ成分を減衰させる一次ノイズ除去用データ生成部１４、二次ノイズ除去用データ生成部１６、音合成部１７とを備える。
【解決手段】所定の筐体に所定の物体が衝突した際に筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプルデータ保持部１２と、周囲音を入力音響信号として入力する音響信号入力部と、入力音響信号に含まれる信号成分のうち、ノイズサンプルと略同一の特性を有する一次ノイズ成分を検出する一次ノイズ検出部１３と、入力音響信号に含まれる信号成分のうち、一次ノイズ成分の特性と近似する特性を有する二次ノイズ成分を検出する二次ノイズ検出部１５と、一次ノイズ成分および二次ノイズ成分を減衰させる一次ノイズ除去用データ生成部１４、二次ノイズ除去用データ生成部１６、音合成部１７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響ノイズの除去または低減を行う音響処理装置および音響処理方法ならびに音響処理装置を搭載した携帯電話端末に関する。
【背景技術】
【０００２】
近年の携帯電話端末やデジタルカメラなどの機器には、音声や、静止画や、動画などの情報を入力してこれらの情報を所定の記録媒体に保存し、保存された情報を後で再生したり編集したりする機能が搭載されている場合が多い。
【０００３】
音声などの音響をマイクで拾って音響信号に変換し、この音響信号を録音する場合には、目的の音声以外の不要なノイズが音響信号に含まれている場合があり、録音された音声を再生する際に音声の内容が聞き取りにくくなったり、録音の品質が低下したりする場合がある。ノイズが音響（空気などの振動）としてマイクから入力された場合には、再生時にはこのノイズが除去された状態であることが望ましい。
【０００４】
このようなノイズを除去するために、例えば、デジタルカメラにおいて録音される音声データに含まれるノイズを低減するための技術が提案されている（例えば、特許文献１参照）。具体的には、デジタルカメラ自体に搭載されているフォーカス駆動用モータや、ズーム駆動用モータの駆動時に発生する音響（ノイズ）はほぼ一定であるので、このノイズ成分を音声の信号から除去するために、ノイズの音響波形を予めサンプリングし、既知信号として保存しておく。そして、録音対象の音声信号の中に既知信号の波形が現れたら、このノイズ成分を除去するように信号処理を行う。
【０００５】
一方、近年の携帯電話端末には、バイブレータ機能を有する場合が多く、例えば着信時にそれをユーザに知らせるためにバイブレータ機能により振動して筐体を振動させるようになっている。ところが、携帯電話端末を机の上などに置いたままにしている状態でバイブレータ機能により端末が振動すると、携帯電話端末の筐体と机などとの衝突が繰り返されるため、比較的大きな騒音が発生する。
【０００６】
そこで、バイブレータによる騒音の発生を防止するための技術が提案されている（例えば、特許文献２参照）。具体的には、外光を検知する光センサや、異なる物体との接触を検知する接触センサなどを端末に搭載し、所定の条件においては、騒音の発生を防止するために、バイブレータの振動強度を自動的にレベルダウンすることが開示されている。
【０００７】
【特許文献１】特開２００４−１２０２６４号公報
【特許文献２】特開２００８−５４２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、携帯電話端末の筐体には、ストラップ等を介してユーザが付加したアクセサリーなどの異物が付属されている場合が多く、この異物と携帯電話端末の筐体とが衝突することによってノイズ（異音）が発生し易い。このノイズは、音声の録音時あるいは録音を伴う動画の撮影時に音声と共に記録されることがある。
【０００９】
この場合、異物と筐体との衝突によって、筐体が振動することにより生じる音響のノイズ成分（筐体側のノイズ）については、特許文献１の技術を適用して除去することも可能である。すなわち、このノイズの音響波形を予めサンプリングし、既知信号として保存しておき、再生時や編集時に音声信号の中にこの既知信号の波形が現れたら、このノイズ成分を除去するように信号処理を行うことが可能である。
【００１０】
しかしながら、異物と筐体との衝突によって、異物自体が振動して発生する音響のノイズ成分（異物側のノイズ）については、周波数等が異物の特性に依存するために周波数や波形が一定とならず、携帯電話端末であらかじめサンプリングして保存しておくことができため、異物側のノイズを除去できない。
【００１１】
同様に、携帯電話端末が机の上などに置かれている状態で、バイブレータ機能による振動により携帯電話端末の筐体と机とが周期的に衝突を繰り返した場合には、衝突によって筐体に生じる振動による音響のノイズ成分は除去することが可能であるが、机側の振動によって生じる音響のノイズ成分は除去できない。
【００１２】
また、特許文献２の技術を採用すれば、バイブレータ機能による振動によって生じる騒音を緩和することが可能であるが、バイブレータを停止しない限り騒音を完全に除去することはできないし、更に光センサや接触センサなどを設ける必要があり、コストの増大は避けられない。
【００１３】
本発明は、上記事情に鑑みてなされたものであって、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能な音響処理装置、音響処理方法、および携帯電話端末を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の音響処理装置は、所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部と、周囲音を入力音響信号として入力する音響信号入力部と、前記入力音響信号に含まれる信号成分のうち、前記ノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出する第１音響信号検出部と、前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出する第２音響信号検出部と、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる音響信号減衰部と、を備える。
【００１５】
この音響処理装置によれば、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。具体的には、筐体に発生する音響ノイズのように、既知の波形（予めサンプリングして記録しておいた波形）と略同一の特性を有する第１のノイズ成分だけでなく、筐体の周囲の物体（例えばアクセサリー、机など）の振動によって発生する未知の波形で構成される第２のノイズ成分をも、特別なセンサを設置することなく、抑制あるいは除去することができる。例えば、筐体と物体との衝突によって筐体側に生じる振動と、物体側に生じる振動とは、同じ衝突をきっかけとして両者の振動が引き起こされるので、両者の振動の間には所定の関係がある。そこで、ノイズ成分のうち、第１のノイズ成分と所定の関係を有する（近似する）未知の波形を第２のノイズ成分として検出する。
【００１６】
また、本発明の音響処理装置は、前記第２音響信号検出部が、入力音響信号に含まれる信号成分のうち、前記第１の音響信号の信号成分以外で、前記第１の音響信号の振動開始時刻と略同時に振動を開始し、かつ、時間経過に伴って振幅が減衰する信号成分を、前記第２の音響信号の信号成分として検出する。
【００１７】
この音響処理装置によれば、筐体の周囲の物体（例えばアクセサリー、机など）の振動によって発生する未知の波形で構成される第２のノイズ成分を正しく検出することができる。筐体と物体との衝突によって筐体側及び物体側にそれぞれ振動が生じる場合には、衝突のタイミングを開始時点として、筐体側の振動及び物体側の振動がそれぞれ発生し、それ以降に再び衝突が生じない限り、それぞれの振動の振幅は時間の経過に伴って徐々に減衰することになるので、上記の条件を満たす第２のノイズ成分は、衝突によって物体側に生じた振動に相当するノイズ成分として検出することが可能である。
【００１８】
また、本発明の音響処理装置は、前記第２音響信号検出部が、前記第２の音響信号の信号成分の周波数情報を前記音響信号減衰部に通知し、前記音響信号減衰部が、前記第２音響信号検出部からの前記周波数情報に基づいて、前記第２の音響信号の信号成分が含まれる周波数帯の信号成分を減衰させるフィルタ部を備える。
【００１９】
この音響処理装置によれば、第２のノイズの信号成分が含まれる周波数帯域を識別し、第２のノイズ成分を低減することができる。
【００２０】
また、本発明の音響処理装置は、前記音響信号減衰部が、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分と周波数および振幅が略同一であり、かつ、逆位相の特性を有する減衰用信号を生成する減衰用信号生成部を備える。
【００２１】
この音響処理装置によれば、第２のノイズ成分を含む音響信号に逆位相の信号を生成し、入力音響信号に加算することにより、第２のノイズ成分を逆位相の信号によって打ち消すことができる。
【００２２】
また、本発明の音響処理装置は、前記入力音響信号を録音する音響信号録音部と、前記第１音響信号検出部が検出した前記第１の音響信号の信号成分の特性情報と、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分の特性情報と、を保持する信号特性情報保持部と、を備え、前記音響信号減衰部が、前記音響信号記録部に録音された入力音響信号を読み出し、前記信号特性情報保持部に保持された特性情報に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる。
【００２３】
この音響処理装置によれば、入力音響信号の録音の際に検出された第１のノイズ成分及び第２のノイズ成分の特性情報を保存するので、録音された音響信号を読み出して編集する際にノイズを除去することができる。
【００２４】
また、本発明の音響処理装置は、入力操作を受け付ける操作部を備え、前記操作部が、前記音響信号録音部に録音された入力音響信号における、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる時間範囲および減衰度合いの情報を前記入力操作として受け付け、前記音響信号減衰部が、前記入力操作に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を低減させる。
【００２５】
この音響処理装置によれば、録音された音響信号を読み出して編集する際に、入力操作により、ノイズを除去すべき位置やノイズの低減度合いを指定することができる。
【００２６】
また、本発明の音響処理装置は、前記筐体を振動させる振動部と、前記第１音響信号検出部が検出した第１の音響信号の信号成分および前記第２音響信号検出部が検出した第２の音響信号の信号成分が、前記振動部の振動周期と同期しているか否かを判定する同期判定部と、前記同期判定部によって同期していると判定された場合、前記振動部の振動レベルを制限する振動制御部とを備える。
【００２７】
この音響処理装置によれば、バイブレータ機能による振動によって筐体とその周囲の物体（机など）とが衝突し、この衝突を原因として第１のノイズ成分及び第２のノイズ成分が発生している場合に、振動レベルを自動的に抑制するので、第１のノイズ成分及び第２のノイズ成分を低減できる。さらに、特別なセンサを追加する必要はないので、装置のコストを低減できる。
【００２８】
また、本発明の音響処理装置は、前記所定の筐体が、当該音響処理装置の筐体であり、前記音響信号入力部が、前記筐体上に配置されている。
【００２９】
この音響処理装置によれば、マイク等の音響信号入力部が筐体上に配置されている場合には、音響ノイズの信号成分がより大きくなるが、効率的にノイズ成分の減衰処理が可能である。
【００３０】
また、本発明の携帯電話端末は、上記いずれかの音響処理装置を搭載している。
【００３１】
この携帯電話端末によれば、携帯電話端末の筐体と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。
【００３２】
また、本発明の音響処理方法は、周囲音を入力音響信号として入力するステップと、前記入力音響信号に含まれる信号成分のうち、所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部に保持されたノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出するステップと、前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出するステップと、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させるステップと、を備える。
【００３３】
この音響処理方法によれば、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。
【発明の効果】
【００３４】
本発明によれば、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。
【発明を実施するための最良の形態】
【００３５】
本発明の実施形態における音響処理装置、音響処理方法、および携帯電話端末について、図面を参照しながら以下に説明する。
【００３６】
本実施形態における音響処理装置について説明する前に、この音響処理装置が使用される環境について説明する。音響処理装置は、少なくともマイクを介して入力される音響信号（音声、音楽、その他の音など、音に関する信号を広く含む）を録音する機能を有する機器に搭載される。例えば、図６に示す例では、音声などの音響と共に動画を撮影して音響を含む動画の情報を録画する機能を有する端末（具体的にはデジタルカメラやその機能を搭載した携帯電話端末６０など）に搭載することを想定している。図６は本実施形態の音響処理装置が搭載される携帯電話端末の外観の具体例を示す正面図である。
【００３７】
図６に示す携帯電話端末６０においては、動画を録画しようとする際に、この端末６０に搭載されている撮像部（イメージセンサ：図示せず）で撮影対象の被写体６１を撮影して得られる動画像のデータと、マイク６４から入力される音響信号のデータとを時系列の情報として、所定の記録媒体上に順次記録し保存することができる。
【００３８】
図６に示す携帯電話端末６０においては、その筐体に可撓性のストラップ６２を介してアクセサリーなどの物体６３（ここでは車型の物体）が装着されているので、端末６０の筐体と物体６３とが衝突する可能性があり、この衝突によって例えば「コツン」などの不要な音響ノイズが、録画中に、携帯電話端末６０の筐体側および物体６３側の双方において発生し、これらの音響ノイズが録音対象音とともに録音されてしまうことがある。
【００３９】
本実施形態の携帯電話端末６０では、以下に具体的に説明するように、衝突によって携帯電話端末６０の筐体側に発生する機械的な振動によって生じる音響ノイズとともに、物体６３側に発生する機械的な振動によって生じる音響ノイズも除去可能であり、これらのノイズが除去された音響信号を再生可能である。
【００４０】
図１は本発明の実施形態における音響処理装置の構成例を示すブロック図である。図１に示した音響処理装置１０は、上記のような衝突によって物体側が発生する音響ノイズの成分も含めて減衰（除去または低減）させる機能を有している。この音響処理装置は、上述したように、携帯電話装置等の携帯端末装置、デジタルカメラ、デジタルビデオカメラ等に搭載される。
【００４１】
図１を参照すると、この音響処理装置１０は、音入力制御部１１、ノイズサンプルデータ保持部１２、一次ノイズ検出部１３、一次ノイズ除去用データ生成部１４、二次ノイズ検出部１５、二次ノイズ除去用データ生成部１６、音合成部１７、及び音出力制御部１８を備えている。
【００４２】
音入力制御部１１は、この装置１０の筐体に搭載されたマイクにより音声などの目的の音響（空気などの振動）を対象音として取り込み、アナログ電気信号に変換し、更にこの信号をデジタル信号に変換し、音響信号データＳＧ１１として出力する機能を有している。
【００４３】
音響信号データＳＧ１１の波形Ｗ１の具体例が図７に示されている。図７を参照すると、この波形Ｗ１には目的の対象波形Ｗ１ａの他に、２種類のノイズ成分の波形Ｗ１ｂ、Ｗ１ｃが含まれている。図８には波形Ｗ１ｂの成分だけが示してあり、図９には波形Ｗ１ｃの成分だけが示してあり、図１０には対象波形Ｗ１ａの成分だけが示してある。
【００４４】
なお、図７〜１０では、横軸は時間、縦軸は振幅を示しており、縦軸中央部の目盛り「Ｉｎｆ」は無限大（Ｉｎｆｉｎｉｔｙ）を示している。これは、後述する図１１〜図１４においても同様である。
【００４５】
図７に示したノイズ成分の波形Ｗ１ｂ、Ｗ１ｃは、装置１０の筐体と任意の物体（例えば、図６に示したようなストラップに接続された物体）との衝突によって生じるノイズを表している。波形Ｗ１ｂは筐体側の振動によって生じる成分であり、ここでは一次ノイズ成分と呼ぶ。また、波形Ｗ１ｃは物体側の振動によって生じる成分であり、ここでは二次ノイズ成分と呼ぶ。図７に示すように、一次ノイズ成分、二次ノイズ成分の各波形Ｗ１ｂ、Ｗ１ｃは、同じタイミングｔ１で振動を開始しており、図８、図９に示すように、それぞれ発生してから徐々に減衰する（振幅が時間の経過に伴って小さくなる）ような波形になっている。
【００４６】
図１に示すノイズサンプルデータ保持部１２は、予め測定したノイズサンプルのデータを保持している記憶装置である。このノイズサンプルは、一次ノイズ成分を検出するために利用可能なデータである。すなわち、任意の物体との衝突によって筐体側に発生する振動により生じる一次ノイズ成分については、概ね筐体に固有の周波数でノイズが発生するため、あらかじめノイズサンプルとして、筐体と物体とが衝突した際の筐体から発生する音響信号を測定し、保持しておく。
【００４７】
一次ノイズ検出部１３は、音入力制御部１１から出力される音響信号データＳＧ１１を処理すると共に、ノイズサンプルデータ保持部１２が保持しているデータをノイズサンプルデータＳＧ２として入力し、音響信号データＳＧ１１の中から一次ノイズ成分を検出する。ノイズサンプルデータＳＧ２の波形Ｗ２の具体例が図１１に示されている。
【００４８】
具体的には、一次ノイズ検出部１３は、音響信号データＳＧ１１に含まれている各種信号成分の中で、ノイズサンプルデータＳＧ２（波形Ｗ２）と周波数がほぼ同じで、波形の相関性が高い（略同一の特性を有する）成分を抽出し、一次ノイズデータＳＧ３として出力する。従って、抽出された一次ノイズデータＳＧ３の波形Ｗ３は波形Ｗ２（図１１参照）と同等である。なお、一次ノイズ検出部１３から出力される音響信号データＳＧ１２は入力される音響信号データＳＧ１１と同等であるが、処理にかかる時間を考慮してタイミングを少しずらしてある。
【００４９】
一次ノイズ除去用データ生成部１４は、一次ノイズ検出部１３が出力する一次ノイズデータＳＧ３から一次ノイズ除去用データＳＧ４を生成する。具体的には、一次ノイズデータＳＧ３の波形の位相を１８０度ずらして逆位相の波形を生成すると共に、振幅を調整した結果を一次ノイズ除去用データＳＧ４として出力する。一次ノイズ除去用データＳＧ４の波形Ｗ４の具体例が図１２に示されている。図１２に示す波形は図１１に示した波形と位相が逆になっている。つまり、一次ノイズ除去用データ生成部１４の機能は反転増幅器と同等である。
【００５０】
二次ノイズ検出部１５は、一次ノイズ検出部１３から出力される音響信号データＳＧ１２及び一次ノイズデータＳＧ３を入力し、音響信号データＳＧ１２の中から一次ノイズデータＳＧ３に特性が近似する二次ノイズ成分を検出する。
【００５１】
例えば、図７に示すように、一次ノイズ成分（Ｗ１ｂ）と二次ノイズ成分（Ｗ１ｃ）とは互いに同じタイミング（ｔ１）で振動を開始し、しかも図８、図９に示すようにそのタイミングから徐々に減衰する波形になっている。また、新たに一次ノイズ成分（Ｗ１ｂ）が発生しない限り、次の二次ノイズ成分（Ｗ１ｃ）も発生しない。
【００５２】
そこで、二次ノイズ検出部１５は、音響信号データＳＧ１２に含まれる各種信号成分の中で、一次ノイズ成分（Ｗ１ｂ：ＳＧ３）とは異なる成分であって、一次ノイズ成分（Ｗ１ｂ：ＳＧ３）とほぼ同じタイミング（ｔ１）で振動を開始し、そのタイミングで所定以上の音出力レベルを有し、更に次の一次ノイズ成分が発生するまでは振幅が時間の経過と共に徐々に減衰する波形の成分を二次ノイズ成分として検出し、これを二次ノイズデータＳＧ５として出力する。二次ノイズデータＳＧ５は、二次ノイズ検出部１５が検出した二次ノイズ成分のタイミングや、周波数や、振幅の減衰カーブなどを示す情報を含んでおり、二次ノイズデータＳＧ５として想定している波形Ｗ５は、図９に示した波形（図７中のＷ１ｃ）と同等である。なお、二次ノイズ検出部１５から出力される音響信号データＳＧ１３は、入力の音響信号データＳＧ１２と同等であるが、処理にかかる時間を考慮してタイミングを少しずらしてある。
【００５３】
二次ノイズ除去用データ生成部１６は、二次ノイズ検出部１５から出力される抽出された二次ノイズデータＳＧ５に基づいて二次ノイズ除去用データＳＧ６を生成する。具体的には、二次ノイズ検出部１５によって検出された前記二次ノイズ成分と発生タイミングが同一で、周波数や振幅も同等で、且つ位相が逆相の信号波形（Ｗ６）を有する信号を二次ノイズ除去用データ生成部１６が生成し、二次ノイズ除去用データＳＧ６として出力する。二次ノイズ除去用データＳＧ６の波形（Ｗ６）の具体例が図１３に示されている。
【００５４】
音合成部１７は、二次ノイズ検出部１５から出力される音響信号データＳＧ１３と、一次ノイズ除去用データ生成部１４から出力される一次ノイズ除去用データＳＧ４と、二次ノイズ除去用データ生成部１６から出力される二次ノイズ除去用データＳＧ６とを互いにタイミングを合わせて加算し、これらを合成した信号であるノイズ除去済音響信号データＳＧ８を出力する。
【００５５】
すなわち、一次ノイズ除去用データＳＧ４は音響信号データＳＧ１３に含まれている一次ノイズ成分（Ｗ１ｂ）と周波数、振幅、タイミングなどが同等であり、逆位相なので、これらを加算することにより、一次ノイズ成分を打ち消すことができる。更に、二次ノイズ除去用データＳＧ６は音響信号データＳＧ１３に含まれている二次ノイズ成分（Ｗ１ｃ）と周波数、振幅、タイミングなどが同等であり、逆位相なので、これらを加算することにより二次ノイズ成分を打ち消すことができる。
【００５６】
従って、音合成部１７から出力されるノイズ除去済音響信号データＳＧ８の波形Ｗ８は、音響信号データＳＧ１３に含まれている対象データの波形（図７のＷ１ａの成分）と同等になる。つまり、物体と筐体との衝突によって生じた一次ノイズ成分及び二次ノイズ成分を除去したデータが得られる。なお、一次ノイズ除去用データＳＧ４の波形の振幅を調整することにより、除去後に一次ノイズ成分の一部分を減衰した状態で残すこともできるし、二次ノイズ除去用データＳＧ６の波形の振幅を調整することにより、除去後に二次ノイズ成分の一部分を減衰した状態で残すこともできる。
【００５７】
音出力制御部１８は、入力されるノイズ除去済音響信号データＳＧ８を録音データ記憶部２０に記録するための録音処理を実施したり、入力されるノイズ除去済音響信号データＳＧ８や録音データ記憶部２０から読み出したノイズ削除済みの音響信号データを、図示しないスピーカなどから音響として出力するための再生処理を実施したりする。
【００５８】
図１に示した音響処理装置１０の動作に関する基本的な制御の内容が図２に示されている。図２に示す制御の内容について以下に説明する。
【００５９】
ステップＳ１１では、音入力制御部１１が、音を入力するための処理を実施する。すなわち、マイクで入力した音響を電気信号に変換すると共に、この電気信号の波形を時系列のデジタルデータに変換し、音響信号データＳＧ１１として出力する。
【００６０】
ステップＳ１２では、一次ノイズ検出部１３が、ノイズサンプルデータＳＧ２を参照しながら音響信号データＳＧ１１の中から一次ノイズ成分を検出するための処理を実施する。
【００６１】
ステップＳ１３では、一次ノイズ検出部１３が、ステップＳ１２において一次ノイズ成分を検出したか否かを識別する。一次ノイズ成分を検出しない場合はステップＳ１４に進み、検出した場合はステップＳ１５に進む。
【００６２】
ステップＳ１４では、音出力制御部１８が、音合成部１７から出力される音響信号データＳＧ８を入力して録音データ記憶部２０に保存したり、音合成部１７から出力される音響データＳＧ８もしくは録音データ記憶部２０から読み出したデータを音響として再生するための処理を実施する。
【００６３】
ステップＳ１５では、二次ノイズ検出部１５が、一次ノイズ検出部１３から出力される音響信号データＳＧ１２と一次ノイズデータＳＧ３とに基づき、二次ノイズ成分の検出処理を実施する。
【００６４】
ステップＳ１６では、二次ノイズ検出部１５が、ステップＳ１５において二次ノイズ成分を検出したか否かを識別する。二次ノイズ成分を検出しない場合はステップＳ１８に進み、検出した場合はステップＳ１７に進む。
【００６５】
ステップＳ１７では、二次ノイズ除去用データ生成部１６が、二次ノイズ検出部１５から出力される二次ノイズデータＳＧ５に基づいて、二次ノイズ除去用データＳＧ６を生成し、これを出力する。
【００６６】
ステップＳ１８では、一次ノイズ除去用データ生成部１４が、一次ノイズデータＳＧ３に基づいて、一次ノイズ除去用データＳＧ４を生成し、これを出力する。
【００６７】
ステップＳ１９では、音合成部１７が、音響信号データＳＧ１３と一次ノイズ除去用データＳＧ４と二次ノイズ除去用データＳＧ６とを加算して、これらを合成した信号をノイズ除去済音響信号データＳＧ８として出力する。つまり、一次ノイズ成分及び二次ノイズ成分を除去した結果をノイズ除去済音響信号データＳＧ８として出力する。
【００６８】
なお、一次ノイズ成分及び二次ノイズ成分が検出されない場合には、音合成部１７に入力される音響信号データＳＧ１３と同じ信号が音合成部１７からノイズ除去済音響信号データＳＧ８として出力される。
【００６９】
図１に示した音響処理装置１０の代わりに、図３に示した音響処理装置１０Ｂのように構成しても良い。図３は図１に示した音響処理装置の変形例の構成を示すブロック図である。
【００７０】
図１に示した音響処理装置１０においては、音響信号データＳＧ１３に含まれる二次ノイズ成分を打ち消すために、二次ノイズ除去用データ生成部１６が、二次ノイズ成分と逆位相の二次ノイズ除去用データＳＧ６を生成しているが、図３に示した音響処理装置１０Ｂにおいては、同等の機能を二次ノイズ帯域フィルタリング除去部１９を備えている。
【００７１】
すなわち、図３に示す二次ノイズ帯域フィルタリング除去部１９は、入力される信号（ＳＧ１３）の中から特定の周波数帯域の信号成分を除去又は低減するためのフィルタを備えており、二次ノイズ検出部１５が検出した二次ノイズ成分の情報Ｄ２に従って、二次ノイズ成分を除去し、二次ノイズ成分除去後の信号ＳＧ１４を出力する。情報Ｄ２については、検出された二次ノイズ成分の周波数やタイミングの情報が含まれている。二次ノイズ除去後データＳＧ１４の波形（Ｗ７）の具体例が図１４に示されている。
【００７２】
図３に示す音合成部１７は、信号ＳＧ１４と一次ノイズ除去用データＳＧ４とを加算してその結果をノイズ除去済音響信号データＳＧ８として出力する。従って、図３に示した音響処理装置１０Ｂにおいても、一次ノイズ成分及び二次ノイズ成分を除去することができる。
【００７３】
図１に示した音響処理装置１０及び図３に示した音響処理装置１０Ｂにおいては、音響信号を再生して出力するまでに、音響信号に含まれている一次ノイズ成分及び二次ノイズ成分を除去して、ノイズ成分を含まない音響信号を再生する。この場合、ノイズを除去するタイミングは、録音時、後述する編集時、再生時のいずれであってもよい。
【００７４】
例えば音を録音する際にノイズを除去する場合には、予め定めた条件でノイズを除去することになるので、検出された全てのノイズ成分が除去の対象になり、除去（ノイズ低減）の程度も固定される。しかし、一部のノイズ成分については、例えば音を再生する際の視聴者の臨場感を高めるためにノイズを含む方がかえって効果的である場合もあるので、それぞれの位置のノイズ成分について、除去あるいは低減するか否かや、低減する程度をユーザの入力操作により決定できる機能があると便利である。そこで、録音時にはノイズ成分を除去する前の音響信号をそのまま記録し、録音後にユーザの指示に従ってデータを編集し、必要に応じてノイズ成分を除去するようにしてもよい。
【００７５】
このような編集機能を図１に示した音響処理装置１０に搭載する場合に、音響処理装置１０が実施する制御の内容が図４に示されている。図４は図１に示した音響処理装置を用いて録音、編集及び再生を行う場合の制御例を示すフローチャートである。図４に示す制御の内容について以下に説明する。
【００７６】
ステップＳ３０では、音響処理装置１０を制御する制御部（図示せず）が、所定の操作部（複数のボタンや表示器を備える）の状態を監視してユーザからの入力操作の有無及び入力操作の内容を識別し、録音開始指示があるか否かを識別する。録音開始指示ありならステップＳ３１に進み、そうでなければステップＳ３６に進む。
【００７７】
ステップＳ３１では、制御部が、録音処理を実施する。この録音処理においては、図１に示す音合成部１７で音響信号データＳＧ１３、一次ノイズ除去用データＳＧ４、二次ノイズ除去用データＳＧ６の合成を行わずに、音出力制御部１８が、音響信号データＳＧ１３、一次ノイズ除去用データＳＧ４、二次ノイズ除去用データＳＧ６をそのまま録音データ記憶部２０に記録する。つまり、ノイズを除去する前の音響データ並びにそれに含まれるノイズに関するデータ（特性情報）を録音データ記憶部２０に保存する。
【００７８】
なお、この例では、一次ノイズ除去用データＳＧ４及び二次ノイズ除去用データＳＧ６を録音データ記憶部２０に記録する場合を想定しているが、これらの代わりに抽出された一次ノイズデータＳＧ３や抽出された二次ノイズデータＳＧ５を録音データ記憶部２０に記録するようにしても良い。
【００７９】
ステップＳ３２では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、録音終了指示があるか否かを識別する。録音終了指示ありなら、あるいは所定の終了条件を満たした場合はステップＳ３３に進み、そうでなければステップＳ３１に戻る。
【００８０】
ステップＳ３３では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、編集開始指示があるか否かを識別する。編集開始指示ありならステップＳ３４に進み、そうでなければステップＳ３６に進む。
【００８１】
ステップＳ３４では、制御部が、編集処理を実施する。この編集処理においては、録音データ記憶部２０に保存されているノイズを除去する前の音響データについて、入力操作によって指定されたノイズ削除対象領域の範囲（ノイズ削除対象の時間的な開始位置及び終了位置を含む）と、ノイズ低減レベル（例えば５０％低減）に従って、該当する範囲の一次ノイズ成分及び二次ノイズ成分を指定されたレベルで低減する。すなわち、録音データ記憶部２０に記録されている一次ノイズ除去用データＳＧ４、二次ノイズ除去用データＳＧ６を、記憶部２０に記録されている音響信号データＳＧ１３の内容に合成する（つまり、音合成部１７の動作と同様に加算する）ことにより、ノイズ成分を低減もしくは除去する。また、編集処理の際には、ユーザが編集対象のデータの範囲を選択できるように、録音データ記憶部２０に記録されている音響信号データＳＧ１３を音響として再生しながら、ユーザの入力操作（開始位置、終了位置の指定、低減レベルの指定）を検出してもよい。
【００８２】
ステップＳ３５では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、編集終了指示があるか否かを識別する。編集終了指示ありならステップＳ３７に進み、そうでなければステップＳ３４に戻る。
【００８３】
ステップＳ３７では、制御部が、ステップＳ３４の編集処理によってノイズ成分が編集された後に得られた音響信号データを編集済みのデータ（ノイズ除去済音響信号データＳＧ８に相当）として録音データ記憶部２０に保存する。
【００８４】
ステップＳ３６では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、再生指示があるか否かを識別する。再生指示ありならステップＳ３８に進み、そうでなければステップＳ３０に戻る。
【００８５】
ステップＳ３８では、制御部が、音響再生処理を実施する。この音響再生処理においては、音出力制御部１８が、録音データ記憶部２０に保存されている音響信号データＳＧ１３又は編集済みのデータを録音データ記憶部２０から取り出して、順次、音響信号のアナログ波形に変換して出力し、スピーカなどから音として出力する。
【００８６】
ステップＳ３９では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、再生終了指示があるか否かを識別する。再生終了指示ありの場合、もしくは再生対象のデータの最後尾に到達した場合にはこの処理を終了し、そうでなければステップＳ３８に戻る。
【００８７】
このように、録音時にはノイズ除去もしくは低減せずに、編集時もしくは再生時にノイズ除去等を行うことで、過剰にノイズ除去を行うことなく、所望の音響信号を再生することが可能となる。
【００８８】
ところで、音響処理装置１０を、ユーザに対して着信などを通知するために筐体を振動させるバイブレータ機能を有する携帯電話端末等の機器に搭載する場合、録音時に筐体が振動していると、この振動によって筐体とその下にある机などの物体とが衝突を繰り返し、この衝突によって発生する比較的レベルの大きい音響ノイズが録音されてしまう。このような場合には、バイブレータの駆動レベルを抑制することにより、録音される音響ノイズを更に効果的に低減可能である。ここで、図示はしないが、音響処理装置１０もしくは携帯電話端末は、筐体を振動させる振動部を備えている。
【００８９】
音響処理装置１０を搭載した携帯電話端末がバイブレータ機能による振動の制御を行う際の処理内容が図５に示されている。図５に示す処理の内容について以下に説明する。
【００９０】
ステップＳ５１では、音響処理装置１０もしくは携帯電話端末を制御する制御部（図示せず）が、端末の状態を検出し、録音（録画の場合も含む）状態か否かを識別する。録音中であればステップＳ５２に進み録音中でなければこの処理を終了する。また、録音状態か否かの識別に代わり、マナーモードのように周囲に音を出力しない設定であるか否かを識別するようにしてもよい。
【００９１】
ステップＳ５２では、制御部が、バイブレータ機能による振動制御を現在実行中か否かを識別する。振動制御実行中であればステップＳ５３に進み、実行中でなければこの処理を終了する。
【００９２】
ステップＳ５３では、制御部が、音響処理装置１０に含まれている一次ノイズ検出部１３によって一次ノイズ成分を検出したか否かを識別する。一次ノイズ成分を検出した場合はステップＳ５４に進み、検出してなければこの処理を終了する。
【００９３】
ステップＳ５４では、制御部が、音響処理装置１０に含まれている一次ノイズ検出部１３によって検出した一次ノイズ成分の振動周期と、二次ノイズ検出部１５によって検出した二次ノイズ成分の振動周期と、前記バイブレータ機能による振動周期とが、同期しているか有無を識別する。同期している場合はステップＳ５５に進み、同期していなければこの処理を終了する。
【００９４】
バイブレータ機能による振動によって、筐体と机等の物体とが衝突を繰り返すことによって生じる一次ノイズ成分及び二次ノイズ成分のタイミングについては、バイブレータ機能による振動周期と同期することになる。つまり、一定の周期Ｔでバイブレータ機能による振動を繰り返すときには、例えば図７に示す時刻ｔ１で振動が開始された１組の一次ノイズ成分（Ｗ１ｂ）及び二次ノイズ成分（Ｗ１ｃ）の振動周期が、周期Ｔと同等になるので、検出された一次ノイズ成分及び二次ノイズ成分の振動周期とバイブレータ機能による振動周期（Ｔ）とがほぼ一致するか否かを識別することにより、これらの同期の有無を検出できる。
【００９５】
ステップＳ５５では、制御部が、バイブレータ機能による振動レベルを現在よりも下げて、筐体の振動強度（振幅）を抑制する。これにより、衝突の強度が緩和され、録音中に発生する騒音が低減される。この場合、当該衝突を検出するために特別なセンサを設ける必要はない。
【００９６】
以上説明したように、図１に示した音響処理装置１０や図３に示した音響処理装置１０Ｂを用いることにより、録音時に筐体と他の物体との衝突によって生じる騒音について、波形をあらかじめサンプルとして保持することで既知信号として扱うことのできる筐体側の一次ノイズ成分だけでなく、周波数や波形が未知の物体側の二次ノイズ成分についても除去あるいは低減することができる。
【００９７】
なお、図１に示した音響処理装置１０の一次ノイズ除去用データ生成部１４、二次ノイズ除去用データ生成部１６、音合成部１７等の機能についてはデジタル信号を処理する場合を想定しているが、同等の機能をアナログ信号処理によって実現することも可能である。また、例えば入力される音響信号データＳＧ１１に二次ノイズ成分として互いに周波数が異なる複数のノイズ成分あるいはその高調波が含まれている場合には、複数の二次ノイズ除去用データ生成部１６を設け、それぞれの周波数の二次ノイズ成分を二次ノイズ検出部１５で検出し、二次ノイズ成分の周波数毎に独立した二次ノイズ除去用データ生成部１６で該当する二次ノイズ除去用データをそれぞれ生成すればよい。
【産業上の利用可能性】
【００９８】
以上のように、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能な音響処理装置および携帯電話端末等として有用である。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施形態における音響処理装置の構成例を示すブロック図である。
【図２】本発明の実施形態における音響処理装置に関するノイズ除去のための基本的な制御の内容を示すフローチャートである。
【図３】本発明の実施形態における音響処理装置の変形例の構成を示すブロック図である。
【図４】本発明の実施形態における音響処理装置を用いて、録音、編集、及び再生を行う場合の制御例を示すフローチャートである。
【図５】本発明の実施形態におけるバイブレータ機能を有する機器に音響処理装置を搭載した場合の制御例を示すフローチャートである。
【図６】本発明の実施形態における音響処理装置が搭載される端末の外観の具体例を示す正面図である。
【図７】本発明の実施形態における音響信号データＳＧ１１の波形Ｗ１の具体例を示す波形図である。
【図８】本発明の実施形態における音響信号データＳＧ１１に含まれる一次ノイズ波形Ｗ１ｂの具体例を示す波形図である。
【図９】本発明の実施形態における音響信号データＳＧ１１に含まれる二次ノイズ波形Ｗ１ｃの具体例を示す波形図である。
【図１０】本発明の実施形態における音響信号データＳＧ１１に含まれる対象波形Ｗ１ａの具体例を示す波形図である。
【図１１】本発明の実施形態におけるノイズサンプルデータＳＧ２の波形Ｗ２の具体例を示す波形図である。
【図１２】本発明の実施形態における一次ノイズ除去用データＳＧ４の波形Ｗ４の具体例を示す波形図である。
【図１３】本発明の実施形態における二次ノイズ除去用データＳＧ６の波形Ｗ６の具体例を示す波形図である。
【図１４】本発明の実施形態における二次ノイズ除去後データＳＧ１４の波形Ｗ７の具体例を示す波形図である。
【符号の説明】
【０１００】
１０，１０Ｂ 音響処理装置
１１ 音入力制御部
１２ ノイズサンプルデータ保持部
１３ 一次ノイズ検出部
１４ 一次ノイズ除去用データ生成部
１５ 二次ノイズ検出部
１６ 二次ノイズ除去用データ生成部
１７ 音合成部
１８ 音出力制御部
１９ 二次ノイズ帯域フィルタリング除去部
２０ 録音データ記憶部
ＳＧ１１，ＳＧ１２，ＳＧ１３ 音響信号データ
ＳＧ２ ノイズサンプルデータ
ＳＧ３ 抽出された一次ノイズデータ
ＳＧ４ 一次ノイズ除去用データ
ＳＧ５ 抽出された二次ノイズデータ
ＳＧ６ 二次ノイズ除去用データ
ＳＧ８ ノイズ除去済音響信号データ
Ｗ１〜Ｗ８ 波形
６０ 携帯電話端末
６１ 撮影対象の被写体
６２ ストラップ
６３ 物体
６４ マイク
【技術分野】
【０００１】
本発明は、音響ノイズの除去または低減を行う音響処理装置および音響処理方法ならびに音響処理装置を搭載した携帯電話端末に関する。
【背景技術】
【０００２】
近年の携帯電話端末やデジタルカメラなどの機器には、音声や、静止画や、動画などの情報を入力してこれらの情報を所定の記録媒体に保存し、保存された情報を後で再生したり編集したりする機能が搭載されている場合が多い。
【０００３】
音声などの音響をマイクで拾って音響信号に変換し、この音響信号を録音する場合には、目的の音声以外の不要なノイズが音響信号に含まれている場合があり、録音された音声を再生する際に音声の内容が聞き取りにくくなったり、録音の品質が低下したりする場合がある。ノイズが音響（空気などの振動）としてマイクから入力された場合には、再生時にはこのノイズが除去された状態であることが望ましい。
【０００４】
このようなノイズを除去するために、例えば、デジタルカメラにおいて録音される音声データに含まれるノイズを低減するための技術が提案されている（例えば、特許文献１参照）。具体的には、デジタルカメラ自体に搭載されているフォーカス駆動用モータや、ズーム駆動用モータの駆動時に発生する音響（ノイズ）はほぼ一定であるので、このノイズ成分を音声の信号から除去するために、ノイズの音響波形を予めサンプリングし、既知信号として保存しておく。そして、録音対象の音声信号の中に既知信号の波形が現れたら、このノイズ成分を除去するように信号処理を行う。
【０００５】
一方、近年の携帯電話端末には、バイブレータ機能を有する場合が多く、例えば着信時にそれをユーザに知らせるためにバイブレータ機能により振動して筐体を振動させるようになっている。ところが、携帯電話端末を机の上などに置いたままにしている状態でバイブレータ機能により端末が振動すると、携帯電話端末の筐体と机などとの衝突が繰り返されるため、比較的大きな騒音が発生する。
【０００６】
そこで、バイブレータによる騒音の発生を防止するための技術が提案されている（例えば、特許文献２参照）。具体的には、外光を検知する光センサや、異なる物体との接触を検知する接触センサなどを端末に搭載し、所定の条件においては、騒音の発生を防止するために、バイブレータの振動強度を自動的にレベルダウンすることが開示されている。
【０００７】
【特許文献１】特開２００４−１２０２６４号公報
【特許文献２】特開２００８−５４２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、携帯電話端末の筐体には、ストラップ等を介してユーザが付加したアクセサリーなどの異物が付属されている場合が多く、この異物と携帯電話端末の筐体とが衝突することによってノイズ（異音）が発生し易い。このノイズは、音声の録音時あるいは録音を伴う動画の撮影時に音声と共に記録されることがある。
【０００９】
この場合、異物と筐体との衝突によって、筐体が振動することにより生じる音響のノイズ成分（筐体側のノイズ）については、特許文献１の技術を適用して除去することも可能である。すなわち、このノイズの音響波形を予めサンプリングし、既知信号として保存しておき、再生時や編集時に音声信号の中にこの既知信号の波形が現れたら、このノイズ成分を除去するように信号処理を行うことが可能である。
【００１０】
しかしながら、異物と筐体との衝突によって、異物自体が振動して発生する音響のノイズ成分（異物側のノイズ）については、周波数等が異物の特性に依存するために周波数や波形が一定とならず、携帯電話端末であらかじめサンプリングして保存しておくことができため、異物側のノイズを除去できない。
【００１１】
同様に、携帯電話端末が机の上などに置かれている状態で、バイブレータ機能による振動により携帯電話端末の筐体と机とが周期的に衝突を繰り返した場合には、衝突によって筐体に生じる振動による音響のノイズ成分は除去することが可能であるが、机側の振動によって生じる音響のノイズ成分は除去できない。
【００１２】
また、特許文献２の技術を採用すれば、バイブレータ機能による振動によって生じる騒音を緩和することが可能であるが、バイブレータを停止しない限り騒音を完全に除去することはできないし、更に光センサや接触センサなどを設ける必要があり、コストの増大は避けられない。
【００１３】
本発明は、上記事情に鑑みてなされたものであって、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能な音響処理装置、音響処理方法、および携帯電話端末を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の音響処理装置は、所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部と、周囲音を入力音響信号として入力する音響信号入力部と、前記入力音響信号に含まれる信号成分のうち、前記ノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出する第１音響信号検出部と、前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出する第２音響信号検出部と、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる音響信号減衰部と、を備える。
【００１５】
この音響処理装置によれば、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。具体的には、筐体に発生する音響ノイズのように、既知の波形（予めサンプリングして記録しておいた波形）と略同一の特性を有する第１のノイズ成分だけでなく、筐体の周囲の物体（例えばアクセサリー、机など）の振動によって発生する未知の波形で構成される第２のノイズ成分をも、特別なセンサを設置することなく、抑制あるいは除去することができる。例えば、筐体と物体との衝突によって筐体側に生じる振動と、物体側に生じる振動とは、同じ衝突をきっかけとして両者の振動が引き起こされるので、両者の振動の間には所定の関係がある。そこで、ノイズ成分のうち、第１のノイズ成分と所定の関係を有する（近似する）未知の波形を第２のノイズ成分として検出する。
【００１６】
また、本発明の音響処理装置は、前記第２音響信号検出部が、入力音響信号に含まれる信号成分のうち、前記第１の音響信号の信号成分以外で、前記第１の音響信号の振動開始時刻と略同時に振動を開始し、かつ、時間経過に伴って振幅が減衰する信号成分を、前記第２の音響信号の信号成分として検出する。
【００１７】
この音響処理装置によれば、筐体の周囲の物体（例えばアクセサリー、机など）の振動によって発生する未知の波形で構成される第２のノイズ成分を正しく検出することができる。筐体と物体との衝突によって筐体側及び物体側にそれぞれ振動が生じる場合には、衝突のタイミングを開始時点として、筐体側の振動及び物体側の振動がそれぞれ発生し、それ以降に再び衝突が生じない限り、それぞれの振動の振幅は時間の経過に伴って徐々に減衰することになるので、上記の条件を満たす第２のノイズ成分は、衝突によって物体側に生じた振動に相当するノイズ成分として検出することが可能である。
【００１８】
また、本発明の音響処理装置は、前記第２音響信号検出部が、前記第２の音響信号の信号成分の周波数情報を前記音響信号減衰部に通知し、前記音響信号減衰部が、前記第２音響信号検出部からの前記周波数情報に基づいて、前記第２の音響信号の信号成分が含まれる周波数帯の信号成分を減衰させるフィルタ部を備える。
【００１９】
この音響処理装置によれば、第２のノイズの信号成分が含まれる周波数帯域を識別し、第２のノイズ成分を低減することができる。
【００２０】
また、本発明の音響処理装置は、前記音響信号減衰部が、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分と周波数および振幅が略同一であり、かつ、逆位相の特性を有する減衰用信号を生成する減衰用信号生成部を備える。
【００２１】
この音響処理装置によれば、第２のノイズ成分を含む音響信号に逆位相の信号を生成し、入力音響信号に加算することにより、第２のノイズ成分を逆位相の信号によって打ち消すことができる。
【００２２】
また、本発明の音響処理装置は、前記入力音響信号を録音する音響信号録音部と、前記第１音響信号検出部が検出した前記第１の音響信号の信号成分の特性情報と、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分の特性情報と、を保持する信号特性情報保持部と、を備え、前記音響信号減衰部が、前記音響信号記録部に録音された入力音響信号を読み出し、前記信号特性情報保持部に保持された特性情報に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる。
【００２３】
この音響処理装置によれば、入力音響信号の録音の際に検出された第１のノイズ成分及び第２のノイズ成分の特性情報を保存するので、録音された音響信号を読み出して編集する際にノイズを除去することができる。
【００２４】
また、本発明の音響処理装置は、入力操作を受け付ける操作部を備え、前記操作部が、前記音響信号録音部に録音された入力音響信号における、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる時間範囲および減衰度合いの情報を前記入力操作として受け付け、前記音響信号減衰部が、前記入力操作に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を低減させる。
【００２５】
この音響処理装置によれば、録音された音響信号を読み出して編集する際に、入力操作により、ノイズを除去すべき位置やノイズの低減度合いを指定することができる。
【００２６】
また、本発明の音響処理装置は、前記筐体を振動させる振動部と、前記第１音響信号検出部が検出した第１の音響信号の信号成分および前記第２音響信号検出部が検出した第２の音響信号の信号成分が、前記振動部の振動周期と同期しているか否かを判定する同期判定部と、前記同期判定部によって同期していると判定された場合、前記振動部の振動レベルを制限する振動制御部とを備える。
【００２７】
この音響処理装置によれば、バイブレータ機能による振動によって筐体とその周囲の物体（机など）とが衝突し、この衝突を原因として第１のノイズ成分及び第２のノイズ成分が発生している場合に、振動レベルを自動的に抑制するので、第１のノイズ成分及び第２のノイズ成分を低減できる。さらに、特別なセンサを追加する必要はないので、装置のコストを低減できる。
【００２８】
また、本発明の音響処理装置は、前記所定の筐体が、当該音響処理装置の筐体であり、前記音響信号入力部が、前記筐体上に配置されている。
【００２９】
この音響処理装置によれば、マイク等の音響信号入力部が筐体上に配置されている場合には、音響ノイズの信号成分がより大きくなるが、効率的にノイズ成分の減衰処理が可能である。
【００３０】
また、本発明の携帯電話端末は、上記いずれかの音響処理装置を搭載している。
【００３１】
この携帯電話端末によれば、携帯電話端末の筐体と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。
【００３２】
また、本発明の音響処理方法は、周囲音を入力音響信号として入力するステップと、前記入力音響信号に含まれる信号成分のうち、所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部に保持されたノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出するステップと、前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出するステップと、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させるステップと、を備える。
【００３３】
この音響処理方法によれば、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。
【発明の効果】
【００３４】
本発明によれば、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能である。
【発明を実施するための最良の形態】
【００３５】
本発明の実施形態における音響処理装置、音響処理方法、および携帯電話端末について、図面を参照しながら以下に説明する。
【００３６】
本実施形態における音響処理装置について説明する前に、この音響処理装置が使用される環境について説明する。音響処理装置は、少なくともマイクを介して入力される音響信号（音声、音楽、その他の音など、音に関する信号を広く含む）を録音する機能を有する機器に搭載される。例えば、図６に示す例では、音声などの音響と共に動画を撮影して音響を含む動画の情報を録画する機能を有する端末（具体的にはデジタルカメラやその機能を搭載した携帯電話端末６０など）に搭載することを想定している。図６は本実施形態の音響処理装置が搭載される携帯電話端末の外観の具体例を示す正面図である。
【００３７】
図６に示す携帯電話端末６０においては、動画を録画しようとする際に、この端末６０に搭載されている撮像部（イメージセンサ：図示せず）で撮影対象の被写体６１を撮影して得られる動画像のデータと、マイク６４から入力される音響信号のデータとを時系列の情報として、所定の記録媒体上に順次記録し保存することができる。
【００３８】
図６に示す携帯電話端末６０においては、その筐体に可撓性のストラップ６２を介してアクセサリーなどの物体６３（ここでは車型の物体）が装着されているので、端末６０の筐体と物体６３とが衝突する可能性があり、この衝突によって例えば「コツン」などの不要な音響ノイズが、録画中に、携帯電話端末６０の筐体側および物体６３側の双方において発生し、これらの音響ノイズが録音対象音とともに録音されてしまうことがある。
【００３９】
本実施形態の携帯電話端末６０では、以下に具体的に説明するように、衝突によって携帯電話端末６０の筐体側に発生する機械的な振動によって生じる音響ノイズとともに、物体６３側に発生する機械的な振動によって生じる音響ノイズも除去可能であり、これらのノイズが除去された音響信号を再生可能である。
【００４０】
図１は本発明の実施形態における音響処理装置の構成例を示すブロック図である。図１に示した音響処理装置１０は、上記のような衝突によって物体側が発生する音響ノイズの成分も含めて減衰（除去または低減）させる機能を有している。この音響処理装置は、上述したように、携帯電話装置等の携帯端末装置、デジタルカメラ、デジタルビデオカメラ等に搭載される。
【００４１】
図１を参照すると、この音響処理装置１０は、音入力制御部１１、ノイズサンプルデータ保持部１２、一次ノイズ検出部１３、一次ノイズ除去用データ生成部１４、二次ノイズ検出部１５、二次ノイズ除去用データ生成部１６、音合成部１７、及び音出力制御部１８を備えている。
【００４２】
音入力制御部１１は、この装置１０の筐体に搭載されたマイクにより音声などの目的の音響（空気などの振動）を対象音として取り込み、アナログ電気信号に変換し、更にこの信号をデジタル信号に変換し、音響信号データＳＧ１１として出力する機能を有している。
【００４３】
音響信号データＳＧ１１の波形Ｗ１の具体例が図７に示されている。図７を参照すると、この波形Ｗ１には目的の対象波形Ｗ１ａの他に、２種類のノイズ成分の波形Ｗ１ｂ、Ｗ１ｃが含まれている。図８には波形Ｗ１ｂの成分だけが示してあり、図９には波形Ｗ１ｃの成分だけが示してあり、図１０には対象波形Ｗ１ａの成分だけが示してある。
【００４４】
なお、図７〜１０では、横軸は時間、縦軸は振幅を示しており、縦軸中央部の目盛り「Ｉｎｆ」は無限大（Ｉｎｆｉｎｉｔｙ）を示している。これは、後述する図１１〜図１４においても同様である。
【００４５】
図７に示したノイズ成分の波形Ｗ１ｂ、Ｗ１ｃは、装置１０の筐体と任意の物体（例えば、図６に示したようなストラップに接続された物体）との衝突によって生じるノイズを表している。波形Ｗ１ｂは筐体側の振動によって生じる成分であり、ここでは一次ノイズ成分と呼ぶ。また、波形Ｗ１ｃは物体側の振動によって生じる成分であり、ここでは二次ノイズ成分と呼ぶ。図７に示すように、一次ノイズ成分、二次ノイズ成分の各波形Ｗ１ｂ、Ｗ１ｃは、同じタイミングｔ１で振動を開始しており、図８、図９に示すように、それぞれ発生してから徐々に減衰する（振幅が時間の経過に伴って小さくなる）ような波形になっている。
【００４６】
図１に示すノイズサンプルデータ保持部１２は、予め測定したノイズサンプルのデータを保持している記憶装置である。このノイズサンプルは、一次ノイズ成分を検出するために利用可能なデータである。すなわち、任意の物体との衝突によって筐体側に発生する振動により生じる一次ノイズ成分については、概ね筐体に固有の周波数でノイズが発生するため、あらかじめノイズサンプルとして、筐体と物体とが衝突した際の筐体から発生する音響信号を測定し、保持しておく。
【００４７】
一次ノイズ検出部１３は、音入力制御部１１から出力される音響信号データＳＧ１１を処理すると共に、ノイズサンプルデータ保持部１２が保持しているデータをノイズサンプルデータＳＧ２として入力し、音響信号データＳＧ１１の中から一次ノイズ成分を検出する。ノイズサンプルデータＳＧ２の波形Ｗ２の具体例が図１１に示されている。
【００４８】
具体的には、一次ノイズ検出部１３は、音響信号データＳＧ１１に含まれている各種信号成分の中で、ノイズサンプルデータＳＧ２（波形Ｗ２）と周波数がほぼ同じで、波形の相関性が高い（略同一の特性を有する）成分を抽出し、一次ノイズデータＳＧ３として出力する。従って、抽出された一次ノイズデータＳＧ３の波形Ｗ３は波形Ｗ２（図１１参照）と同等である。なお、一次ノイズ検出部１３から出力される音響信号データＳＧ１２は入力される音響信号データＳＧ１１と同等であるが、処理にかかる時間を考慮してタイミングを少しずらしてある。
【００４９】
一次ノイズ除去用データ生成部１４は、一次ノイズ検出部１３が出力する一次ノイズデータＳＧ３から一次ノイズ除去用データＳＧ４を生成する。具体的には、一次ノイズデータＳＧ３の波形の位相を１８０度ずらして逆位相の波形を生成すると共に、振幅を調整した結果を一次ノイズ除去用データＳＧ４として出力する。一次ノイズ除去用データＳＧ４の波形Ｗ４の具体例が図１２に示されている。図１２に示す波形は図１１に示した波形と位相が逆になっている。つまり、一次ノイズ除去用データ生成部１４の機能は反転増幅器と同等である。
【００５０】
二次ノイズ検出部１５は、一次ノイズ検出部１３から出力される音響信号データＳＧ１２及び一次ノイズデータＳＧ３を入力し、音響信号データＳＧ１２の中から一次ノイズデータＳＧ３に特性が近似する二次ノイズ成分を検出する。
【００５１】
例えば、図７に示すように、一次ノイズ成分（Ｗ１ｂ）と二次ノイズ成分（Ｗ１ｃ）とは互いに同じタイミング（ｔ１）で振動を開始し、しかも図８、図９に示すようにそのタイミングから徐々に減衰する波形になっている。また、新たに一次ノイズ成分（Ｗ１ｂ）が発生しない限り、次の二次ノイズ成分（Ｗ１ｃ）も発生しない。
【００５２】
そこで、二次ノイズ検出部１５は、音響信号データＳＧ１２に含まれる各種信号成分の中で、一次ノイズ成分（Ｗ１ｂ：ＳＧ３）とは異なる成分であって、一次ノイズ成分（Ｗ１ｂ：ＳＧ３）とほぼ同じタイミング（ｔ１）で振動を開始し、そのタイミングで所定以上の音出力レベルを有し、更に次の一次ノイズ成分が発生するまでは振幅が時間の経過と共に徐々に減衰する波形の成分を二次ノイズ成分として検出し、これを二次ノイズデータＳＧ５として出力する。二次ノイズデータＳＧ５は、二次ノイズ検出部１５が検出した二次ノイズ成分のタイミングや、周波数や、振幅の減衰カーブなどを示す情報を含んでおり、二次ノイズデータＳＧ５として想定している波形Ｗ５は、図９に示した波形（図７中のＷ１ｃ）と同等である。なお、二次ノイズ検出部１５から出力される音響信号データＳＧ１３は、入力の音響信号データＳＧ１２と同等であるが、処理にかかる時間を考慮してタイミングを少しずらしてある。
【００５３】
二次ノイズ除去用データ生成部１６は、二次ノイズ検出部１５から出力される抽出された二次ノイズデータＳＧ５に基づいて二次ノイズ除去用データＳＧ６を生成する。具体的には、二次ノイズ検出部１５によって検出された前記二次ノイズ成分と発生タイミングが同一で、周波数や振幅も同等で、且つ位相が逆相の信号波形（Ｗ６）を有する信号を二次ノイズ除去用データ生成部１６が生成し、二次ノイズ除去用データＳＧ６として出力する。二次ノイズ除去用データＳＧ６の波形（Ｗ６）の具体例が図１３に示されている。
【００５４】
音合成部１７は、二次ノイズ検出部１５から出力される音響信号データＳＧ１３と、一次ノイズ除去用データ生成部１４から出力される一次ノイズ除去用データＳＧ４と、二次ノイズ除去用データ生成部１６から出力される二次ノイズ除去用データＳＧ６とを互いにタイミングを合わせて加算し、これらを合成した信号であるノイズ除去済音響信号データＳＧ８を出力する。
【００５５】
すなわち、一次ノイズ除去用データＳＧ４は音響信号データＳＧ１３に含まれている一次ノイズ成分（Ｗ１ｂ）と周波数、振幅、タイミングなどが同等であり、逆位相なので、これらを加算することにより、一次ノイズ成分を打ち消すことができる。更に、二次ノイズ除去用データＳＧ６は音響信号データＳＧ１３に含まれている二次ノイズ成分（Ｗ１ｃ）と周波数、振幅、タイミングなどが同等であり、逆位相なので、これらを加算することにより二次ノイズ成分を打ち消すことができる。
【００５６】
従って、音合成部１７から出力されるノイズ除去済音響信号データＳＧ８の波形Ｗ８は、音響信号データＳＧ１３に含まれている対象データの波形（図７のＷ１ａの成分）と同等になる。つまり、物体と筐体との衝突によって生じた一次ノイズ成分及び二次ノイズ成分を除去したデータが得られる。なお、一次ノイズ除去用データＳＧ４の波形の振幅を調整することにより、除去後に一次ノイズ成分の一部分を減衰した状態で残すこともできるし、二次ノイズ除去用データＳＧ６の波形の振幅を調整することにより、除去後に二次ノイズ成分の一部分を減衰した状態で残すこともできる。
【００５７】
音出力制御部１８は、入力されるノイズ除去済音響信号データＳＧ８を録音データ記憶部２０に記録するための録音処理を実施したり、入力されるノイズ除去済音響信号データＳＧ８や録音データ記憶部２０から読み出したノイズ削除済みの音響信号データを、図示しないスピーカなどから音響として出力するための再生処理を実施したりする。
【００５８】
図１に示した音響処理装置１０の動作に関する基本的な制御の内容が図２に示されている。図２に示す制御の内容について以下に説明する。
【００５９】
ステップＳ１１では、音入力制御部１１が、音を入力するための処理を実施する。すなわち、マイクで入力した音響を電気信号に変換すると共に、この電気信号の波形を時系列のデジタルデータに変換し、音響信号データＳＧ１１として出力する。
【００６０】
ステップＳ１２では、一次ノイズ検出部１３が、ノイズサンプルデータＳＧ２を参照しながら音響信号データＳＧ１１の中から一次ノイズ成分を検出するための処理を実施する。
【００６１】
ステップＳ１３では、一次ノイズ検出部１３が、ステップＳ１２において一次ノイズ成分を検出したか否かを識別する。一次ノイズ成分を検出しない場合はステップＳ１４に進み、検出した場合はステップＳ１５に進む。
【００６２】
ステップＳ１４では、音出力制御部１８が、音合成部１７から出力される音響信号データＳＧ８を入力して録音データ記憶部２０に保存したり、音合成部１７から出力される音響データＳＧ８もしくは録音データ記憶部２０から読み出したデータを音響として再生するための処理を実施する。
【００６３】
ステップＳ１５では、二次ノイズ検出部１５が、一次ノイズ検出部１３から出力される音響信号データＳＧ１２と一次ノイズデータＳＧ３とに基づき、二次ノイズ成分の検出処理を実施する。
【００６４】
ステップＳ１６では、二次ノイズ検出部１５が、ステップＳ１５において二次ノイズ成分を検出したか否かを識別する。二次ノイズ成分を検出しない場合はステップＳ１８に進み、検出した場合はステップＳ１７に進む。
【００６５】
ステップＳ１７では、二次ノイズ除去用データ生成部１６が、二次ノイズ検出部１５から出力される二次ノイズデータＳＧ５に基づいて、二次ノイズ除去用データＳＧ６を生成し、これを出力する。
【００６６】
ステップＳ１８では、一次ノイズ除去用データ生成部１４が、一次ノイズデータＳＧ３に基づいて、一次ノイズ除去用データＳＧ４を生成し、これを出力する。
【００６７】
ステップＳ１９では、音合成部１７が、音響信号データＳＧ１３と一次ノイズ除去用データＳＧ４と二次ノイズ除去用データＳＧ６とを加算して、これらを合成した信号をノイズ除去済音響信号データＳＧ８として出力する。つまり、一次ノイズ成分及び二次ノイズ成分を除去した結果をノイズ除去済音響信号データＳＧ８として出力する。
【００６８】
なお、一次ノイズ成分及び二次ノイズ成分が検出されない場合には、音合成部１７に入力される音響信号データＳＧ１３と同じ信号が音合成部１７からノイズ除去済音響信号データＳＧ８として出力される。
【００６９】
図１に示した音響処理装置１０の代わりに、図３に示した音響処理装置１０Ｂのように構成しても良い。図３は図１に示した音響処理装置の変形例の構成を示すブロック図である。
【００７０】
図１に示した音響処理装置１０においては、音響信号データＳＧ１３に含まれる二次ノイズ成分を打ち消すために、二次ノイズ除去用データ生成部１６が、二次ノイズ成分と逆位相の二次ノイズ除去用データＳＧ６を生成しているが、図３に示した音響処理装置１０Ｂにおいては、同等の機能を二次ノイズ帯域フィルタリング除去部１９を備えている。
【００７１】
すなわち、図３に示す二次ノイズ帯域フィルタリング除去部１９は、入力される信号（ＳＧ１３）の中から特定の周波数帯域の信号成分を除去又は低減するためのフィルタを備えており、二次ノイズ検出部１５が検出した二次ノイズ成分の情報Ｄ２に従って、二次ノイズ成分を除去し、二次ノイズ成分除去後の信号ＳＧ１４を出力する。情報Ｄ２については、検出された二次ノイズ成分の周波数やタイミングの情報が含まれている。二次ノイズ除去後データＳＧ１４の波形（Ｗ７）の具体例が図１４に示されている。
【００７２】
図３に示す音合成部１７は、信号ＳＧ１４と一次ノイズ除去用データＳＧ４とを加算してその結果をノイズ除去済音響信号データＳＧ８として出力する。従って、図３に示した音響処理装置１０Ｂにおいても、一次ノイズ成分及び二次ノイズ成分を除去することができる。
【００７３】
図１に示した音響処理装置１０及び図３に示した音響処理装置１０Ｂにおいては、音響信号を再生して出力するまでに、音響信号に含まれている一次ノイズ成分及び二次ノイズ成分を除去して、ノイズ成分を含まない音響信号を再生する。この場合、ノイズを除去するタイミングは、録音時、後述する編集時、再生時のいずれであってもよい。
【００７４】
例えば音を録音する際にノイズを除去する場合には、予め定めた条件でノイズを除去することになるので、検出された全てのノイズ成分が除去の対象になり、除去（ノイズ低減）の程度も固定される。しかし、一部のノイズ成分については、例えば音を再生する際の視聴者の臨場感を高めるためにノイズを含む方がかえって効果的である場合もあるので、それぞれの位置のノイズ成分について、除去あるいは低減するか否かや、低減する程度をユーザの入力操作により決定できる機能があると便利である。そこで、録音時にはノイズ成分を除去する前の音響信号をそのまま記録し、録音後にユーザの指示に従ってデータを編集し、必要に応じてノイズ成分を除去するようにしてもよい。
【００７５】
このような編集機能を図１に示した音響処理装置１０に搭載する場合に、音響処理装置１０が実施する制御の内容が図４に示されている。図４は図１に示した音響処理装置を用いて録音、編集及び再生を行う場合の制御例を示すフローチャートである。図４に示す制御の内容について以下に説明する。
【００７６】
ステップＳ３０では、音響処理装置１０を制御する制御部（図示せず）が、所定の操作部（複数のボタンや表示器を備える）の状態を監視してユーザからの入力操作の有無及び入力操作の内容を識別し、録音開始指示があるか否かを識別する。録音開始指示ありならステップＳ３１に進み、そうでなければステップＳ３６に進む。
【００７７】
ステップＳ３１では、制御部が、録音処理を実施する。この録音処理においては、図１に示す音合成部１７で音響信号データＳＧ１３、一次ノイズ除去用データＳＧ４、二次ノイズ除去用データＳＧ６の合成を行わずに、音出力制御部１８が、音響信号データＳＧ１３、一次ノイズ除去用データＳＧ４、二次ノイズ除去用データＳＧ６をそのまま録音データ記憶部２０に記録する。つまり、ノイズを除去する前の音響データ並びにそれに含まれるノイズに関するデータ（特性情報）を録音データ記憶部２０に保存する。
【００７８】
なお、この例では、一次ノイズ除去用データＳＧ４及び二次ノイズ除去用データＳＧ６を録音データ記憶部２０に記録する場合を想定しているが、これらの代わりに抽出された一次ノイズデータＳＧ３や抽出された二次ノイズデータＳＧ５を録音データ記憶部２０に記録するようにしても良い。
【００７９】
ステップＳ３２では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、録音終了指示があるか否かを識別する。録音終了指示ありなら、あるいは所定の終了条件を満たした場合はステップＳ３３に進み、そうでなければステップＳ３１に戻る。
【００８０】
ステップＳ３３では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、編集開始指示があるか否かを識別する。編集開始指示ありならステップＳ３４に進み、そうでなければステップＳ３６に進む。
【００８１】
ステップＳ３４では、制御部が、編集処理を実施する。この編集処理においては、録音データ記憶部２０に保存されているノイズを除去する前の音響データについて、入力操作によって指定されたノイズ削除対象領域の範囲（ノイズ削除対象の時間的な開始位置及び終了位置を含む）と、ノイズ低減レベル（例えば５０％低減）に従って、該当する範囲の一次ノイズ成分及び二次ノイズ成分を指定されたレベルで低減する。すなわち、録音データ記憶部２０に記録されている一次ノイズ除去用データＳＧ４、二次ノイズ除去用データＳＧ６を、記憶部２０に記録されている音響信号データＳＧ１３の内容に合成する（つまり、音合成部１７の動作と同様に加算する）ことにより、ノイズ成分を低減もしくは除去する。また、編集処理の際には、ユーザが編集対象のデータの範囲を選択できるように、録音データ記憶部２０に記録されている音響信号データＳＧ１３を音響として再生しながら、ユーザの入力操作（開始位置、終了位置の指定、低減レベルの指定）を検出してもよい。
【００８２】
ステップＳ３５では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、編集終了指示があるか否かを識別する。編集終了指示ありならステップＳ３７に進み、そうでなければステップＳ３４に戻る。
【００８３】
ステップＳ３７では、制御部が、ステップＳ３４の編集処理によってノイズ成分が編集された後に得られた音響信号データを編集済みのデータ（ノイズ除去済音響信号データＳＧ８に相当）として録音データ記憶部２０に保存する。
【００８４】
ステップＳ３６では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、再生指示があるか否かを識別する。再生指示ありならステップＳ３８に進み、そうでなければステップＳ３０に戻る。
【００８５】
ステップＳ３８では、制御部が、音響再生処理を実施する。この音響再生処理においては、音出力制御部１８が、録音データ記憶部２０に保存されている音響信号データＳＧ１３又は編集済みのデータを録音データ記憶部２０から取り出して、順次、音響信号のアナログ波形に変換して出力し、スピーカなどから音として出力する。
【００８６】
ステップＳ３９では、制御部が、操作部の状態を監視して、ユーザからの入力操作の有無及び入力操作の内容を識別し、再生終了指示があるか否かを識別する。再生終了指示ありの場合、もしくは再生対象のデータの最後尾に到達した場合にはこの処理を終了し、そうでなければステップＳ３８に戻る。
【００８７】
このように、録音時にはノイズ除去もしくは低減せずに、編集時もしくは再生時にノイズ除去等を行うことで、過剰にノイズ除去を行うことなく、所望の音響信号を再生することが可能となる。
【００８８】
ところで、音響処理装置１０を、ユーザに対して着信などを通知するために筐体を振動させるバイブレータ機能を有する携帯電話端末等の機器に搭載する場合、録音時に筐体が振動していると、この振動によって筐体とその下にある机などの物体とが衝突を繰り返し、この衝突によって発生する比較的レベルの大きい音響ノイズが録音されてしまう。このような場合には、バイブレータの駆動レベルを抑制することにより、録音される音響ノイズを更に効果的に低減可能である。ここで、図示はしないが、音響処理装置１０もしくは携帯電話端末は、筐体を振動させる振動部を備えている。
【００８９】
音響処理装置１０を搭載した携帯電話端末がバイブレータ機能による振動の制御を行う際の処理内容が図５に示されている。図５に示す処理の内容について以下に説明する。
【００９０】
ステップＳ５１では、音響処理装置１０もしくは携帯電話端末を制御する制御部（図示せず）が、端末の状態を検出し、録音（録画の場合も含む）状態か否かを識別する。録音中であればステップＳ５２に進み録音中でなければこの処理を終了する。また、録音状態か否かの識別に代わり、マナーモードのように周囲に音を出力しない設定であるか否かを識別するようにしてもよい。
【００９１】
ステップＳ５２では、制御部が、バイブレータ機能による振動制御を現在実行中か否かを識別する。振動制御実行中であればステップＳ５３に進み、実行中でなければこの処理を終了する。
【００９２】
ステップＳ５３では、制御部が、音響処理装置１０に含まれている一次ノイズ検出部１３によって一次ノイズ成分を検出したか否かを識別する。一次ノイズ成分を検出した場合はステップＳ５４に進み、検出してなければこの処理を終了する。
【００９３】
ステップＳ５４では、制御部が、音響処理装置１０に含まれている一次ノイズ検出部１３によって検出した一次ノイズ成分の振動周期と、二次ノイズ検出部１５によって検出した二次ノイズ成分の振動周期と、前記バイブレータ機能による振動周期とが、同期しているか有無を識別する。同期している場合はステップＳ５５に進み、同期していなければこの処理を終了する。
【００９４】
バイブレータ機能による振動によって、筐体と机等の物体とが衝突を繰り返すことによって生じる一次ノイズ成分及び二次ノイズ成分のタイミングについては、バイブレータ機能による振動周期と同期することになる。つまり、一定の周期Ｔでバイブレータ機能による振動を繰り返すときには、例えば図７に示す時刻ｔ１で振動が開始された１組の一次ノイズ成分（Ｗ１ｂ）及び二次ノイズ成分（Ｗ１ｃ）の振動周期が、周期Ｔと同等になるので、検出された一次ノイズ成分及び二次ノイズ成分の振動周期とバイブレータ機能による振動周期（Ｔ）とがほぼ一致するか否かを識別することにより、これらの同期の有無を検出できる。
【００９５】
ステップＳ５５では、制御部が、バイブレータ機能による振動レベルを現在よりも下げて、筐体の振動強度（振幅）を抑制する。これにより、衝突の強度が緩和され、録音中に発生する騒音が低減される。この場合、当該衝突を検出するために特別なセンサを設ける必要はない。
【００９６】
以上説明したように、図１に示した音響処理装置１０や図３に示した音響処理装置１０Ｂを用いることにより、録音時に筐体と他の物体との衝突によって生じる騒音について、波形をあらかじめサンプルとして保持することで既知信号として扱うことのできる筐体側の一次ノイズ成分だけでなく、周波数や波形が未知の物体側の二次ノイズ成分についても除去あるいは低減することができる。
【００９７】
なお、図１に示した音響処理装置１０の一次ノイズ除去用データ生成部１４、二次ノイズ除去用データ生成部１６、音合成部１７等の機能についてはデジタル信号を処理する場合を想定しているが、同等の機能をアナログ信号処理によって実現することも可能である。また、例えば入力される音響信号データＳＧ１１に二次ノイズ成分として互いに周波数が異なる複数のノイズ成分あるいはその高調波が含まれている場合には、複数の二次ノイズ除去用データ生成部１６を設け、それぞれの周波数の二次ノイズ成分を二次ノイズ検出部１５で検出し、二次ノイズ成分の周波数毎に独立した二次ノイズ除去用データ生成部１６で該当する二次ノイズ除去用データをそれぞれ生成すればよい。
【産業上の利用可能性】
【００９８】
以上のように、筐体等と衝突する任意の物体から発生する音響ノイズを含む音響信号から、この音響ノイズを除去することが可能な音響処理装置および携帯電話端末等として有用である。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施形態における音響処理装置の構成例を示すブロック図である。
【図２】本発明の実施形態における音響処理装置に関するノイズ除去のための基本的な制御の内容を示すフローチャートである。
【図３】本発明の実施形態における音響処理装置の変形例の構成を示すブロック図である。
【図４】本発明の実施形態における音響処理装置を用いて、録音、編集、及び再生を行う場合の制御例を示すフローチャートである。
【図５】本発明の実施形態におけるバイブレータ機能を有する機器に音響処理装置を搭載した場合の制御例を示すフローチャートである。
【図６】本発明の実施形態における音響処理装置が搭載される端末の外観の具体例を示す正面図である。
【図７】本発明の実施形態における音響信号データＳＧ１１の波形Ｗ１の具体例を示す波形図である。
【図８】本発明の実施形態における音響信号データＳＧ１１に含まれる一次ノイズ波形Ｗ１ｂの具体例を示す波形図である。
【図９】本発明の実施形態における音響信号データＳＧ１１に含まれる二次ノイズ波形Ｗ１ｃの具体例を示す波形図である。
【図１０】本発明の実施形態における音響信号データＳＧ１１に含まれる対象波形Ｗ１ａの具体例を示す波形図である。
【図１１】本発明の実施形態におけるノイズサンプルデータＳＧ２の波形Ｗ２の具体例を示す波形図である。
【図１２】本発明の実施形態における一次ノイズ除去用データＳＧ４の波形Ｗ４の具体例を示す波形図である。
【図１３】本発明の実施形態における二次ノイズ除去用データＳＧ６の波形Ｗ６の具体例を示す波形図である。
【図１４】本発明の実施形態における二次ノイズ除去後データＳＧ１４の波形Ｗ７の具体例を示す波形図である。
【符号の説明】
【０１００】
１０，１０Ｂ 音響処理装置
１１ 音入力制御部
１２ ノイズサンプルデータ保持部
１３ 一次ノイズ検出部
１４ 一次ノイズ除去用データ生成部
１５ 二次ノイズ検出部
１６ 二次ノイズ除去用データ生成部
１７ 音合成部
１８ 音出力制御部
１９ 二次ノイズ帯域フィルタリング除去部
２０ 録音データ記憶部
ＳＧ１１，ＳＧ１２，ＳＧ１３ 音響信号データ
ＳＧ２ ノイズサンプルデータ
ＳＧ３ 抽出された一次ノイズデータ
ＳＧ４ 一次ノイズ除去用データ
ＳＧ５ 抽出された二次ノイズデータ
ＳＧ６ 二次ノイズ除去用データ
ＳＧ８ ノイズ除去済音響信号データ
Ｗ１〜Ｗ８ 波形
６０ 携帯電話端末
６１ 撮影対象の被写体
６２ ストラップ
６３ 物体
６４ マイク
【特許請求の範囲】
【請求項１】
所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部と、
周囲音を入力音響信号として入力する音響信号入力部と、
前記入力音響信号に含まれる信号成分のうち、前記ノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出する第１音響信号検出部と、
前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出する第２音響信号検出部と、
前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる音響信号減衰部と、
を備える音響処理装置。
【請求項２】
請求項１に記載の音響処理装置であって、
前記第２音響信号検出部は、入力音響信号に含まれる信号成分のうち、前記第１の音響信号の信号成分以外で、前記第１の音響信号の振動開始時刻と略同時に振動を開始し、かつ、時間経過に伴って振幅が減衰する信号成分を、前記第２の音響信号の信号成分として検出する
音響処理装置。
【請求項３】
請求項１または２に記載の音響処理装置であって、
前記第２音響信号検出部は、前記第２の音響信号の信号成分の周波数情報を前記音響信号減衰部に通知し、
前記音響信号減衰部は、前記第２音響信号検出部からの前記周波数情報に基づいて、前記第２の音響信号の信号成分が含まれる周波数帯の信号成分を減衰させるフィルタ部を備える
音響処理装置。
【請求項４】
請求項１または２に記載の音響処理装置であって、
前記音響信号減衰部は、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分と周波数および振幅が略同一であり、かつ、逆位相の特性を有する減衰用信号を生成する減衰用信号生成部を備える
音響処理装置。
【請求項５】
請求項１に記載の音響処理装置であって、更に、
前記入力音響信号を録音する音響信号録音部と、
前記第１音響信号検出部が検出した前記第１の音響信号の信号成分の特性情報と、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分の特性情報と、を保持する信号特性情報保持部と、
を備え、
前記音響信号減衰部は、前記音響信号記録部に録音された入力音響信号を読み出し、前記信号特性情報保持部に保持された特性情報に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる
音響処理装置。
【請求項６】
請求項５に記載の音響処理装置であって、更に、
入力操作を受け付ける操作部を備え、
前記操作部は、前記音響信号録音部に録音された入力音響信号において、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる時間範囲および減衰度合いの情報を前記入力操作として受け付け、
前記音響信号減衰部は、前記入力操作に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を低減させる
音響処理装置。
【請求項７】
請求項１に記載の音響処理装置であって、更に、
前記筐体を振動させる振動部と、
前記第１音響信号検出部が検出した第１の音響信号の信号成分および前記第２音響信号検出部が検出した第２の音響信号の信号成分が、前記振動部の振動周期と同期しているか否かを判定する同期判定部と、
前記同期判定部によって同期していると判定された場合、前記振動部の振動レベルを制限する振動制御部と
を備える音響処理装置。
【請求項８】
請求項１ないし７のいずれか１項に記載の音響処理装置であって。
前記所定の筐体は、当該音響処理装置の筐体であり、
前記音響信号入力部は、前記筐体上に配置された
音響処理装置。
【請求項９】
請求項１ないし８のいずれか１項に記載の音響処理装置を搭載した携帯電話端末。
【請求項１０】
周囲音を入力音響信号として入力するステップと、
前記入力音響信号に含まれる信号成分のうち、所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部に保持されたノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出するステップと、
前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出するステップと、
前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させるステップと、
を備える音響処理方法。
【請求項１】
所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部と、
周囲音を入力音響信号として入力する音響信号入力部と、
前記入力音響信号に含まれる信号成分のうち、前記ノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出する第１音響信号検出部と、
前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出する第２音響信号検出部と、
前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる音響信号減衰部と、
を備える音響処理装置。
【請求項２】
請求項１に記載の音響処理装置であって、
前記第２音響信号検出部は、入力音響信号に含まれる信号成分のうち、前記第１の音響信号の信号成分以外で、前記第１の音響信号の振動開始時刻と略同時に振動を開始し、かつ、時間経過に伴って振幅が減衰する信号成分を、前記第２の音響信号の信号成分として検出する
音響処理装置。
【請求項３】
請求項１または２に記載の音響処理装置であって、
前記第２音響信号検出部は、前記第２の音響信号の信号成分の周波数情報を前記音響信号減衰部に通知し、
前記音響信号減衰部は、前記第２音響信号検出部からの前記周波数情報に基づいて、前記第２の音響信号の信号成分が含まれる周波数帯の信号成分を減衰させるフィルタ部を備える
音響処理装置。
【請求項４】
請求項１または２に記載の音響処理装置であって、
前記音響信号減衰部は、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分と周波数および振幅が略同一であり、かつ、逆位相の特性を有する減衰用信号を生成する減衰用信号生成部を備える
音響処理装置。
【請求項５】
請求項１に記載の音響処理装置であって、更に、
前記入力音響信号を録音する音響信号録音部と、
前記第１音響信号検出部が検出した前記第１の音響信号の信号成分の特性情報と、前記第２音響信号検出部が検出した前記第２の音響信号の信号成分の特性情報と、を保持する信号特性情報保持部と、
を備え、
前記音響信号減衰部は、前記音響信号記録部に録音された入力音響信号を読み出し、前記信号特性情報保持部に保持された特性情報に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる
音響処理装置。
【請求項６】
請求項５に記載の音響処理装置であって、更に、
入力操作を受け付ける操作部を備え、
前記操作部は、前記音響信号録音部に録音された入力音響信号において、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させる時間範囲および減衰度合いの情報を前記入力操作として受け付け、
前記音響信号減衰部は、前記入力操作に基づいて、前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を低減させる
音響処理装置。
【請求項７】
請求項１に記載の音響処理装置であって、更に、
前記筐体を振動させる振動部と、
前記第１音響信号検出部が検出した第１の音響信号の信号成分および前記第２音響信号検出部が検出した第２の音響信号の信号成分が、前記振動部の振動周期と同期しているか否かを判定する同期判定部と、
前記同期判定部によって同期していると判定された場合、前記振動部の振動レベルを制限する振動制御部と
を備える音響処理装置。
【請求項８】
請求項１ないし７のいずれか１項に記載の音響処理装置であって。
前記所定の筐体は、当該音響処理装置の筐体であり、
前記音響信号入力部は、前記筐体上に配置された
音響処理装置。
【請求項９】
請求項１ないし８のいずれか１項に記載の音響処理装置を搭載した携帯電話端末。
【請求項１０】
周囲音を入力音響信号として入力するステップと、
前記入力音響信号に含まれる信号成分のうち、所定の筐体に所定の物体が衝突した際に前記筐体から発生する音響信号の特性をノイズサンプルとして保持するノイズサンプル保持部に保持されたノイズサンプルと略同一の特性を有する第１の音響信号の信号成分を検出するステップと、
前記入力音響信号に含まれる信号成分のうち、前記第１の音響信号の特性と近似する特性を有する第２の音響信号の信号成分を検出するステップと、
前記第１の音響信号の信号成分および前記第２の音響信号の信号成分を減衰させるステップと、
を備える音響処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−８１３６３（Ｐ２０１０−８１３６３Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４８３５２（Ｐ２００８−２４８３５２）
【出願日】平成２０年９月２６日（２００８．９．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２６日（２００８．９．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]