音分離装置、及び、それを備えたカメラユニット
【課題】近接音源からの音と遠方音源からの音とを適切に分離できる音分離装置を提供する。
【解決手段】音分離装置１５は、入力音を第１の音信号に変換する第１のマイクロホンＦＦＭと、入力音を第２の音信号に変換し、前記第１のマイクロホンと比べて距離減衰率が大きい特性を持つ第２のマイクロホンＮＦＭと、入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部１３と、を備える
【解決手段】音分離装置１５は、入力音を第１の音信号に変換する第１のマイクロホンＦＦＭと、入力音を第２の音信号に変換し、前記第１のマイクロホンと比べて距離減衰率が大きい特性を持つ第２のマイクロホンＮＦＭと、入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部１３と、を備える
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、近接音と遠方音とが混ざった混合音から近接音又は遠方音のみを分離抽出する音分離装置に関する。また、本発明は、そのような音分離装置を備えるカメラユニットに関する。
【背景技術】
【０００２】
従来、独立成分分析（ＩＣＡ；Independent Component Analysis）の技術を利用して、検出対象となる音源からの音（目的音）と、雑音源からの音とが混じり合った混合音から、目的音を分離抽出することが行われている。検出対象となる音源としては、例えば話者音声の音源が挙げられる。
【０００３】
例えば、特許文献１には、無指向性マイクロホンに混合音が入力され、単一指向性マイクロホンに検出対象音源からの音又は雑音源からの音のいずれか一方が主に入力されるように構成され、ブラインド音源分離（ＢＢＳ；Blind Source Separation）をリアルタイムで行うことを可能にする音信号処理装置が開示されている。ブラインド音源分離とは、混合音から目的音を分離するための分離行列をＩＣＡの技術を用いて最適化し、最適化された分離行列を用いて混合音の中から目的音を分離抽出する方法のことを指している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２７５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年においては、動画撮影が可能な電子機器（例えば、携帯型のビデオカメラ装置、携帯電話機、携帯型のゲーム機等）が盛んに使用されている。これらの電子機器は、一般に、動画撮影と同時に音声録音処理を行うカメラユニットを備える。このカメラユニットには、通常、被写体に焦点を合わせるためのオートフォーカス機能や、被写体の拡大率を可変させるズーム機能が備えられる。
【０００６】
オートフォーカス機能やズーム機能においては、ＤＣモータ、ステッピングモータ等を用いて、レンズ系の移動が行われる。このとき、レンズ系の移動に伴って、モータ音が発生したり、その他メカ系の動作音が発生したりする。また、カメラユニットで動画撮影が行われる場合には、常にフォーカス、ズーム処理が動作するため、モータ音や動作音が録音されてしまうことがある。また、これらの音の他にも、カメラ操作者の操作音等、不要な音が録音されてしまう場合があり、このような不要な音（ノイズ音）が極力録音されないことが望まれる。
【０００７】
この点、ノイズ音が取り除かれた目的音のみが録音されるように、例えば特許文献１に示される音信号処理装置の技術をカメラユニットに適用することが考えられる。しかしながら、上記目的で特許文献１の技術がカメラユニットに適用される場合には、次のような問題が生じる。
【０００８】
図１１は、従来技術の問題点を説明するための図で、カメラユニットに無指向性マイクロホンと単一指向性マイクロホンが搭載された場合における、各マイクロホンの指向特性を示す図である。図１１においては、カメラユニットは中心Ｏに位置する。図１１において、実線で囲まれた領域（円形の領域）ＲＲ１は無指向性マイクロホンの指向特性を示しており、全方向の音を感度良く均等に集音することを表している。また、破線で囲まれた領域（ハート型の領域）ＲＲ２は単一指向性マイクロホンの指向特性を示しており、中心Ｏに対して特定の方向（Ｃの方向）の音を感度良く集音することを表している。
【０００９】
動画撮影時においては、一般に、被写体の声等、カメラユニットから離れた位置で発生する音が目的音（検出対象の音）であり、カメラユニット近傍で発生する音（上述のモータ音、レンズ系の移動に伴う動作音、操作音等）は不要な音（ノイズ音）であることが多い。
【００１０】
単一指向性マイクロホンは、特定の方向からの音をとらえる特性を持ち、その指向性の方位に存在する音源からの音について、カメラユニットの近傍だけでなく、カメラユニットから離れた位置で発生する音も集音する。従来技術にならって、例えば単一指向性マイクロホンの指向特性の感度が得られる方向にカメラユニットのモータなどが存在するようにして雑音源からの音が主に集音されるようにした場合、同方向において遠方に存在する音についても単一指向性マイクロホンに集音される。このため、この構成では、音源分離を行ったときに、遠方音の一部がノイズ音として残留する、あるいは分離行列が収束せず分離できないといった問題があった。
【００１１】
以上の点を鑑みて、本発明の目的は、近接音源からの音と遠方音源からの音とを適切に分離できる音分離装置を提供することである。また、本発明の他の目的は、そのような音分離装置を備え、カメラユニット近傍で発生するノイズ音を除去して目的音を適切に録音できるカメラユニットを提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の音分離装置は、入力音を第１の音信号に変換する第１のマイクロホンと、入力音を第２の音信号に変換し前記第１のマイクロホンと比べて距離減衰率の大きい特性を持つ第２のマイクロホンと、入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部と、を備えることを特徴としている。
【００１３】
本構成によれば、近接音源からの音と遠方音源からの音とを適切に分離可能である。このために、本発明は、例えば、動画撮影と同時に音声録音処理を行うカメラユニット等に好適な技術である。
【００１４】
上記構成の音分離装置において、前記第２のマイクロホンは差動マイクロホンであるのが好ましく、例えば１次傾度の特性を有する差動マイクロホンが使用可能である。本構成によれば、近接音源あるいは遠方音源からの音のみを高精度で分離抽出できる音分離装置を実現できる。
【００１５】
上記構成の音分離装置において、前記第１のマイクロホンが差動マイクロホンである場合には、該差動マイクロホンは、音圧によって振動する振動板を１つのみ有する構成とするのが好ましい。本構成によれば、第１のマイクロホンの小型化を図れ、音分離装置を電子機器に実装し易くなる。
【００１６】
上記構成の音分離装置において、前記第１のマイクロホンは、無指向性のマイクロホンであることとしてもよい。本構成は、遠方音源が存在する領域として広い範囲が想定される場合に好適である。
【００１７】
上記構成の音分離装置において、前記第１のマイクロホンと前記第２のマイクロホンとが１つのパッケージで形成されているのが好ましい。本構成によれば、２つのマイクロホン間の距離を非常に近いものとできるので、目的音の分離抽出をより適切に行うことが可能になる。
【００１８】
また、上記目的を達成するために本発明のカメラユニットは、上記構成の音分離装置を備えることを特徴としている。具体的には、上記構成のカメラユニットは、被写体を撮像して撮像情報を映像信号に変換する撮像部と、前記映像信号と前記第４の音信号とを蓄積する蓄積部と、を更に備えるのが好ましい。
【００１９】
本構成では、カメラユニットによって動画撮影を行う場合に、カメラユニットの本体とその近傍とから発生するノイズ音を除去し、目的音であるカメラユニットから離れた周囲音を適切に録音することが可能である。
【００２０】
上記構成のカメラユニットにおいて、前記撮像部には、前記被写体方向からの入射光を結像するレンズ部と、前記レンズ部に含まれる可動レンズを駆動するレンズ駆動部と、が含まれ、前記音信号処理部は、前記レンズ駆動部が動作している期間に前記分離行列の最適化処理を行い、前記レンズ駆動部が動作していない期間には前記分離行列の最適化は行わない、こととしてもよい。
【００２１】
本構成によれば、カメラユニットの近傍で発生する音のうち、特にレンズ駆動部で発生する音をノイズ音として効果的に分離除去して、目的音を得ることが可能になる。
【発明の効果】
【００２２】
本発明の音分離装置によれば、近接音源からの音と遠方音源からの音とを適切に分離できる。また、本発明の音分離装置を備えるカメラユニットにおいては、カメラユニット近傍で発生するメカニカルノイズ等のノイズ音を除去して、目的音（カメラユニットから離れた周囲音）を適切に録音することが可能である。
【図面の簡単な説明】
【００２３】
【図１】本実施形態のカメラユニットの構成を示すブロック図
【図２】本実施形態のカメラユニットの構成を示す概略斜視図
【図３】本実施形態のカメラユニットが備えるニアフィールドマイクロホンの構成を示す概略図
【図４】本実施形態のカメラユニットが備えるファーフィールドマイクロホンの構成を示す概略図
【図５】音圧Ｐと音源からの距離Ｒとの関係を示すグラフ
【図６】ニアフィールドマイクロホンとファーフィールドマイクロホンの指向特性を示す図
【図７】ニアフィールドマイクロホンとファーフィールドマイクロホンの距離減衰特性を説明するためのグラフ
【図８】本実施形態のカメラユニットが備える各マイクロホンの指向特性を示す図
【図９】本実施形態の変形例を説明するための図で、ニアフィールドマイクロホンとファーフィールドマイクロホンとが１パッケージで形成された構成を示す概略断面図
【図１０】本実施形態の変形例を説明するための図で、レンズ駆動部の駆動の有無で分離行列の最適化を行うか否かを切り替えられる構成を備えた音分離装置のブロック図
【図１１】従来技術の問題点を説明するための図で、カメラユニットに無指向性マイクロホンと単一指向性マイクロホンが搭載された場合における、各マイクロホンの指向特性を示す図
【発明を実施するための形態】
【００２４】
以下、本発明の音分離装置と、それを備えたカメラユニットの実施形態について、図面を参照しながら詳細に説明する。
【００２５】
図１は、本実施形態のカメラユニットの構成を示すブロック図である。図２は、本実施形態のカメラユニットの構成を示す概略斜視図である。図１に示すように、本実施形態のカメラユニット１は、動画撮影を可能とする撮像部１１と、動画撮影時の周囲音を集音可能とする集音部１２と、集音部１２で集音した音を処理する音信号処理部１３と、撮像部１１から出力される映像信号を録画処理するとともに、音信号処理部１３から出力される音信号を録音処理する蓄積部１４と、を備える。
【００２６】
なお、集音部１２と音信号処理部１３とからなる部分１５（図１において破線で囲まれる部分）は、本発明の音分離装置の実施形態である。
【００２７】
撮像部１１には、図２に示すようにカメラユニット１の本体１０に取り付けられ、被写体方向からの入射光を結像するレンズ部１１１が備えられる。このレンズ部１１１は、単レンズで構成されてもよいし、複数のレンズ群で構成されてもよい。また、レンズ部１１１には、オートフォーカス調整やズーム調整を可能とすべく、光軸方向に移動可能な可動レンズが含まれる。
【００２８】
撮像部１１には、レンズ部１１１に含まれる可動レンズを駆動するレンズ駆動部１１２が備えられる。図２においては、レンズ駆動部１１２の一部が示されている。レンズ駆動部１１２は、例えばＤＣモータ、ステッピングモータ、超音波モータ、圧電素子等の駆動源を有する。そして、レンズ駆動部１１２は、フォーカス調整やズーム調整が行われる際に、この駆動源を駆動させ、例えば可動レンズを保持するホルダをガイドに沿って移動させる。このレンズ駆動部１１２は、図示しない制御部によって、その動作を制御される。なお、レンズ駆動部１１２の駆動時には、モータ音やホルダ移動に伴う動作音等が発生する。
【００２９】
撮像部１１には、被写体方向からの入射光がレンズ部１１１によって結像される位置に撮像面が配置され、入射光を光電変換して映像信号を出力する撮像処理部１１３が備えられる。この撮像処理部１１３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等とできる。撮像処理部１１３から出力される映像信号は、蓄積部１４の録画処理部１４１に送られて録画処理される。
【００３０】
集音部１２は、近接音源（カメラユニット１の近傍にある音源）からの音を主に集音して電気信号に変換するニアフィールドマイクロホンＮＦＭと、近接音源からの音と遠方音源（本実施形態では近接音源以外の音源が該当する）からの音との混合音を電気信号に変換するファーフィールドマイクロホンＦＦＭと、を備える。
【００３１】
ファーフィールドマイクロホンＦＦＭとしては、被写体の音を集音可能なマイクロホンを使用する。例えば、無指向性のマイクロホンを選択する。また、ニアフィールドマイクロホンＮＦＭとしては、距離減衰特性の良いマイクロホンを使用する。ニアフィールドマイクロホンＮＦＭとしては、例えば、１次傾度以上の傾度特性を持つ差動マイクロホンを使用することでき、遠方音を抑制して近接音を主に集音するものを選択することが好ましい。なお、ファーフィールドマイクロホンＦＦＭは本発明の第１のマイクロホンの一例であり、ニアフィールドマイクロホンＮＦＭは本発明の第２のマイクロホンの一例である。
【００３２】
ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとは、カメラユニット１の本体１０内に、実装基板（図示せず）に実装された状態で隣接配置されている。図２においては、これら２つのマイクロホンが本体１０内部にあるために破線表示としている。カメラユニット１の本体１０には、マイクロホンＮＦＭ、ＦＦＭに音を導入するための開口が設けられている。これらのマイクロホンをいずれの位置に配置するかは、適宜決定すればよいが、本実施形態では本体１０の前面に配置している。ここで、ニアフィールドマイクロホンＮＦＭとして使用される差動マイクロホンが、レンズ駆動部の動作音を効率的に集音できるよう、指向特性の最も感度の高い方向（主軸方向）が、レンズ駆動部の方向を向くように設置することが望ましい。
【００３３】
図３は、本実施形態のカメラユニットが備えるニアフィールドマイクロホンの一例の構成を示す概略図で、図３（ａ）は概略斜視図、図３（ｂ）は図３（ａ）のＡ−Ａ位置における断面図である。ニアフィールドマイクロホンＮＦＭは、ＭＥＭＳ（Micro Electro Mechanical System）チップ２２１及びＡＳＩＣ（Application Specific Integrated Circuit）２２２が搭載されるマイク基板２０１に、蓋体２１１が被せられた構造となっている。
【００３４】
ＭＥＭＳチップ２２１は、シリコン（Ｓｉ）を半導体プロセス技術により加工して製造されるコンデンサ型のマイクロホンチップであり、入力音圧によって変位する振動板２２１ａ及びこれに対向して配置される固定電極２２１ｂとを有する。入力音圧の変化は、振動板２２１ａと固定電極２２１ｂ間の距離を変化させ、ひいてはコンデンサ容量を変化させる。ＭＥＭＳチップ２２１は、振動板２２１ａの両面（上面と下面）に対して音圧が伝達されるように構成されており、固定電極２２１ｂは音圧によって振動しないように表面から裏面まで貫通する複数の通気孔が設けられている。また、ＡＳＩＣ２２２は、ＭＥＭＳチップ２２１のコンデンサ容量変化を電気信号（音信号）に変換する回路、及び振動板２２１ａ又は固定電極２２１ｂにバイアス電圧を印加するための電源回路等を含む集積回路である。
【００３５】
なお、本実施形態では、ＡＳＩＣ２２２がＭＥＭＳチップ２２１と別に設けられる構成としているが、ＡＳＩＣ２２２に搭載される集積回路はＭＥＭＳチップ２２１を形成するシリコン基板上にモノリシックで形成してもよい。
【００３６】
マイク基板２０１のＭＥＭＳチップ２２１及びＡＳＩＣ２２２が搭載される基板上面２０１ａには、第１の開口２０２と第２の開口２０３とが設けられている。第１の開口２０２と第２の開口２０３とは、基板内部空間２０４を介して連通している。なお、このようなマイク基板２０１は、複数枚の基板を貼り合わせて得てもよい。
【００３７】
ＭＥＭＳチップ２２１は、振動板２２１ａがマイク基板２０１と略平行になるように配置されると共に、第１の開口２０２を基板上面２０１ａ側から塞ぐように配置されている。また、マイク基板２０１の下面２０１ｂには、外部接続用の接続端子２０５が形成されている。
【００３８】
蓋体２１１の上面２１１ａには、その長手方向の一端部側に第１音孔２１２が形成され、他端部側に第２音孔２１３が形成されている。なお、本実施形態では、２つの音孔２１２、２１３を長孔形状としているが、この形状に限られる趣旨ではなく、その形状は適宜変更してよい。
【００３９】
また、蓋体２１１には、第１音孔２１２と繋がる第１空間部２１４と、第１空間部２１４とは隔離されて第２音孔２１３と繋がる第２空間部２１５と、が形成されている。この蓋体２１１は、第１空間部２１４がＭＥＭＳチップ２２１によって基板内部空間２０４と仕切られるように、マイク基板２０１に搭載されている。また、蓋体２１１は、第２空間部２１５が第２の開口２０３を介して基板内部空間２０４と連通するようにマイク基板２０１に搭載されている。
【００４０】
以上のように構成されるニアフィールドマイクロホンＮＦＭは、外部音を、第１音孔２１２から第１空間部２１４を通して振動板２２１ａの上面へと導く第１の音道Ｐ１と、外部音を、第２音孔２１３から第２空間部２１５、第２の開口２０３、基板内部空間２０４、第１の開口２０２の順に通過させて振動板２２１ａの下面へと導く第２の音道Ｐ２と、を有する構成となっている。
【００４１】
そして、ニアフィールドマイクロホンＮＦＭは、振動板２２１ａの上面に加わる音圧ｐｆと、振動板２２１ａの下面に加わる音圧ｐｂとの差によって振動板２２１ａを振動させて、入力音を電気信号（音信号）に変換するようになっている。すなわち、ニアフィールドマイクロホンＮＦＭは１次傾度の差動マイクロホンとして構成されている。なお、これに限定される趣旨ではないが、本実施形態では、音道Ｐ１と音道Ｐ２の長さをほぼ同一とし、両音道の位相差が発生しないようにしている。
【００４２】
図４は、本実施形態のカメラユニットが備えるファーフィールドマイクロホンの構成を示す概略図で、図４（ａ）は概略斜視図、図４（ｂ）は図４（ａ）のＢ−Ｂ位置における断面図である。
【００４３】
ファーフィールドマイクロホンＦＦＭは、その上面３０１ａにＭＥＭＳチップ３２１及びＡＳＩＣ３２２が搭載されるマイク基板３０１に、ＭＥＭＳチップ３２１及びＡＳＩＣ３２２を覆うように蓋体３１１が被せられた構造となっている。マイク基板３０１の下面３０１ｂには、外部接続用の接続端子３０２が形成されている。
【００４４】
蓋体３１１には、その上面３１１ａに音孔３１２が形成されるとともに、音孔３１２と繋がる空間部３１３が形成されている。このように構成されるファーフィールドマイクロホンＦＦＭは、外部音を、音孔３１２から空間部３１３を通して振動板３２１ａの上面へと導く音道Ｐを有する構成となっている。また、振動板３２１ａの下面側はマイク基板３０１ａで塞がれて、閉空間を形成している。
【００４５】
なお、ＭＥＭＳチップ３２１及びＡＳＩＣ３２２は、ニアフィールドマイクロホンＮＦＭと同様の構成のものであるので、説明は省略した。
【００４６】
ここで、ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとの特性について説明する。この説明に先立って、音波の性質について説明する。図５は、音圧Ｐと音源からの距離Ｒとの関係を示すグラフである。図５に示すように、音波は、空気等の媒質中を進行するにつれて減衰し、音圧（音波の強度・振幅）が低下する。音圧は、音源からの距離に反比例して減衰し、音圧Ｐと距離Ｒとの関係は、以下の式（１）のように表せる。なお、式（１）におけるｋは比例定数である。
Ｐ＝ｋ／Ｒ （１）
【００４７】
ファーフィールドマイクロホンＦＦＭの出力は式（１）に従い、音源からの距離に反比例した出力信号が得られる。一方、ニアフィールドマイクロホンＮＦＭにおいては、第１音孔２１２と第２音孔２１３から入力される音圧の差圧に比例する出力が得られる。図５及び図３を参照しながらニアフィールドマイクロホンＮＦＭの出力について、以下詳細に説明する。
【００４８】
ニアフィールドマイクロホンＮＦＭの第１音孔２１２と第２音孔２１３の間の距離をΔｄとする。マイクロホンを音源から近距離位置に配置した場合、例えば音源から第１音孔２１２までの距離がＲ１、音源から第２音孔２１３までの距離がＲ２となるように配置したとき、振動版３２１ａにおいて生じる差圧は（Ｐ１−Ｐ２）となる。また、マイクロホンを音源から遠距離位置に配置した場合、例えば音源から第１音孔２１２までの距離がＲ３、音源から第２音孔２１３までの距離がＲ４となるように配置したとき、振動版３２１ａにおいて生じる差圧は（Ｐ３−Ｐ４）となる。上記により、ニアフィールドマイクロホンＮＦＭの出力は、図５のグラフの傾きを求めるのと等価であり、距離Ｒで微分したのと等価な特性が得られることになる。
【００４９】
図７は、ニアフィールドマイクロホンとファーフィールドマイクロホンの距離減衰特性を説明するためのグラフで、横軸は音源からの距離Ｒを対数軸で表現したもの、縦軸はマイクロホンの振動板に加わる音圧レベル（ｄＢ）を示す。
【００５０】
ファーフィールドマイクロホンＦＦＭでは、振動板３２１ａは上面に加わる音圧によって振動するため、マイクロホンの出力レベルは１／Ｒで減衰する。一方、ニアフィールドマイクロホンＮＦＭでは、振動板２２１ａの上面及び下面に加わる音圧の差によって振動するため、マイクロホンの出力レベルはファーフィールドマイクロホンＦＦＭの特性を距離Ｒで微分した特性１／Ｒ２で減衰する。
【００５１】
図７に示すように、ニアフィールドマイクロホンＮＦＭの出力は、ファーフィールドマイクロホンＦＦＭの出力に比べて、音源からの距離に対する減衰率が大きくなる。すなわち、ファーフィールドマイクロホンＦＦＭは、ニアフィールドマイクロホンＮＦＭに比べて、マイクロホンの近傍で発生する音は効率よく集音するが、遠方の音は抑圧される。
【００５２】
ニアフィールドマイクロホンＮＦＭの近傍で発生する音の音圧は、第１音孔２１２と第２音孔２１３との間で大きく減衰し、振動板２２１ａの上面に伝達される音圧と、振動板２２１ａの下面に伝達される音圧とには、大きな差が生じる。一方、遠方に音源がある音は、第１音孔２１２と第２音孔２１３との間ではほとんど減衰せず、振動板２２１ａの上面に伝達される音圧と、振動板２２１ａの下面に伝達される音圧との音圧差は非常に小さくなる。なお、ここでは、音源から第１音孔２１２までの距離と、音源から第２音孔２１３までの距離とが異なる場合を前提としている。
【００５３】
振動板２２１ａにて受音される遠方音源からの音の音圧差は非常に小さいために、遠方音源からの音の音圧は振動板２２１ａにてほぼ打ち消される。これに対して、振動板２２１ａにて受音される近接音源の音の音圧差は大きいために、近接音源からの音の音圧は振動板２２１ａで打ち消されない。このため、振動板２２１ａの振動によって得られた信号は、近接音源からの音の信号であると見なせる。
【００５４】
図６は、ニアフィールドマイクロホンＮＦＭ及びファーフィールドマイクロホンＦＦＭの指向特性を示している。図６（ａ）はニアフィールドマイクロホンＮＦＭの指向特性を示し、図６（ｂ）はファーフィールドマイクロホンＦＦＭの指向特性を示している。図６において、図６（ａ）はニアフィールドマイクロホンＮＦＭの第１音孔２１２と第２音孔２１３を０°及び１８０°方向に配置した場合、図６（ａ）はファーフィールドマイクロホンのＦＦＭの音孔３１２を原点位置に配置した場合を表している。
【００５５】
まず、図６（ａ）に示すニアフィールドマイクロホンＮＦＭの指向特性について説明する。音源からニアフィールドマイクロホンＮＦＭまでの距離が一定であれば、音源が０°又は１８０°の方向にある時に振動板２２１ａに加わる音圧が最大となる。これは、音源から第１音孔２１２に至る距離と、音源から第２音孔２１３に距離との差が最大になるからである。
【００５６】
これに対し、音源が９０°又は２７０°の方向にある時に振動板２２１ａに加わる音圧が最小（ほぼ０）になる。これは、音源から第１音孔２１２に至る距離と、音源から第２音孔２１３に至る距離が等しくなるからである。
【００５７】
すなわち、ニアフィールドマイクロホンＮＦＭとして、１次傾度の差動マイクロホンを使用する場合、０°及び１８０°の方向から入射される音波に対して感度が高くなり、９０°及び２７０°の方向から入射される音波に対して感度が低くなる、いわゆる両指向性を示す。
【００５８】
次に、図６（ｂ）に示すファーフィールドマイクロホンＦＦＭの指向特性について説明する。音源から振動板３２１ａまでの距離が一定であれば、音源がどの方向にあっても振動板３２１ａに加わる音圧は一定となる。すなわち、ファーフィールドマイクロホンＦＦＭは、あらゆる方向から入射される音波を均等な感度で集音する無指向性を示す。
【００５９】
図１に戻って、カメラユニット１が備える音信号処理部１３について説明する。音信号処理部１３は、アナログ音声信号をデジタル音声信号に変換する第１のＡ／Ｄ変換部１３１と第２のＡ／Ｄ変換部１３２とを備える。第１のＡ／Ｄ変換部１３１は、ニアフィールドマイクロホンＮＦＭから出力される音信号（本発明の第２の音信号に該当）を所定時間間隔でサンプリングしてデジタル信号Ｙ１（ｔ）に変換する処理を行う。第２のＡ／Ｄ変換部１３２は、ファーフィールドマイクロホンＦＦＭから出力される音信号（本発明の第１の音信号に該当）を所定時間間隔でサンプリングしてデジタル信号Ｙ２（ｔ）に変換する処理を行う。
【００６０】
音信号処理部１３には、第１のＡ／Ｄ変換部１３１及び第２のＡ／Ｄ変換部１３２から時分割で出力されるデジタル信号を順次処理するＩＣＡ（独立成分分析）処理部１３３を備える。ＩＣＡの基本処理については、従来より一般的に用いられる技術を使用する。ＩＣＡ処理部１３３は、２つのＡ／Ｄ変換部１３１、１３２から入力されたデジタル音声信号をＦＦＴ（Fast Fourier Transform）処理した後、周波数領域において独立成分分析の技術を用いて分離行列を求める処理（最適化する処理）を行う。ここで、分離行列は、分離音された信号間の統計的独立性が最大化となるように逐次更新され、最適解に収束するように処理される。
【００６１】
或る時間ｔにおいて、２つの独立した音源から出力される音をＳ１（ｔ）、Ｓ２（ｔ）とする。また、これらの音源から出力される音（Ｓ１（ｔ）、Ｓ２（ｔ））を２つのマイクロホンで集音し、各マイクロホンで集音してＡ／Ｄ変換して得られた信号をそれぞれＹ１（ｔ）、Ｙ２（ｔ）とする。この場合、以下に示す式（２）が成り立つ。
【数１】
なお、Ａは２×２の混合行列である。
【００６２】
ＷがＡの逆行列であるとすると、以下の式（３）が成り立つ。
【数２】
式（３）におけるＷが分離行列であり、独立成分分析の技術を用いて、２つの音源から出力される音Ｓ１（ｔ）とＳ２（ｔ）の統計的独立性が最大化されるように分離行列Ｗの最適化が図られる。なお、本実施形態では、２つの独立した音源は、カメラユニット１の近傍にある近接音源と、カメラユニット１から離れた位置にある遠方音源（近接音源以外の音源）とが該当する。また、２つのマイクロホンは、一方がニアフィールドマイクロホンＮＦＭで、他方がファーフィールドマイクロホンＦＦＭに該当する。
【００６３】
ＩＣＡ処理部１３３は、最適化した分離行列Ｗにより、２つのマイクロホンＮＦＭ、ＦＦＭから入力された音信号（正確にはＡ／Ｄ変換等の処理が行われた後の信号）から分離信号Ｘ１（ｔ）、Ｘ２（ｔ）を分離抽出する。ここで、分離信号Ｘ１（ｔ）は、近接音源からの音（Ｓ１（ｔ））の信号として推定される信号であり、本発明の第３の音信号に該当する。また、分離信号Ｘ２（ｔ）は、遠方音源からの音（Ｓ２（ｔ））の信号として推定される信号であり、本発明の第４の音信号に該当する。
【００６４】
ＩＣＡ処理部１３３は、目的音と推定される分離信号Ｘ２（ｔ）を蓄積部１４の録音処理部１４２に出力し、ノイズ音と推定される分離信号Ｘ１（ｔ）は録音処理部１４２に出力しない。録音処理部１４２は、時分割でＩＣＡ処理部１３３から送られてくる分離信号Ｘ２（ｔ）を順次録音処理する。
【００６５】
次に、以上のように構成されるカメラユニット１のうち、音分離装置１５の作用について説明する。
【００６６】
図８は、本実施形態のカメラユニットが備える各マイクロホンの指向特性を示す図である。図８においては、カメラユニット１は中心Ｏに位置する。図８において、実線Ｒ１はファーフィールドマイクロホンＦＦＭの指向特性を示し、８の字形状の破線Ｒ２はニアフィールドマイクロホンＮＦＭの指向特性を示している。
【００６７】
上述のように、ニアフィールドマイクロホンＮＦＭはカメラユニット１の近傍（図８の中心Ｏの近傍）にある近接音源からの音を集音する機能に優れ、ファーフィールドマイクロホンＦＦＭはカメラユニット１から離れた位置にある遠方音源からの音を含めて広い範囲からの音を集音する機能に優れる。
【００６８】
ニアフィールドマイクロホンＮＦＭは、例えば、カメラユニット１の本体１０から発生する機械音（レンズ駆動部１１２によってレンズを駆動する際に発生する音等）、操作者がカメラユニット１を操作する際に発生する操作音、及び、操作者の音声といったカメラユニット１の近傍で発生する音（Ｓ１）を主として集音するように設置される。また、ファーフィールドマイクロホンＦＦＭは、先の３つの音に加えて、カメラユニット１から離れた周囲音（Ｓ２）も含んだ音を集音するように設置される。
【００６９】
このとき、ニアフィールドマイクロホンＮＦＭの出力は（ａ１・Ｓ１＋ａ２・Ｓ２）、ファーフィールドマイクロホンＦＦＭの出力は、（ａ３・Ｓ１＋ａ４・Ｓ２）と表せる。ここで、ａ１、ａ２、ａ３、ａ４は係数であり、ａ１＞＞ａ２が成り立つ。
【００７０】
ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとからの信号が入力されたＩＣＡ処理部１３３は、適宜最適化された分離行列Ｗを用いて、近接音源からの音Ｓ１と推定される音Ｘ１と、遠方音源からの音Ｓ２と推定される音Ｘ２とを分離抽出する。すなわち、本実施形態の音分離装置１５によれば、カメラユニット１の本体１０から発生する機械音、操作者の操作音、操作者の音声といった、従来、不要なノイズ音と考えられている近接音源からの音を適切に取り除いて、カメラから離れた周囲の音のみを得ることができる。
【００７１】
従来の音源分離技術は、主にマイクロホンに対して異なる方向に存在する２以上の音源を分離するために用いられており、同一方向で距離が異なって存在する音源を分離することが困難であった。これは、音源からの音が２つのマイクロホンに同位相で入ってくるめである。そのため、２以上の音源を分離するためには、集音に用いる２つのマイクロホン間距離を１０ｃｍ以上離して配置する等が必要であり、マイクロホンの配置に大きなスペースが必要であった。
【００７２】
一方、本実施形態の構成のように、距離減衰特性の異なる２つのマイクロホンを用いることにより、同一方向に距離が異なって存在する音源からの振幅差を大きく確保できるため、音源の分離が可能となる。従来、空間的な方位の違いを利用して音源を分離していたところが、距離減衰特性の異なる２つのマイクロホンを用いることで、音源をマイクロホンからの距離の違いを利用して分離することができるようになる。また、本発明の構成においては、２つのマイクロホンを同一位置に配置しても分離が可能であるため、マイクロホンサイズと同等のスペースがあれば配置できるという利点がある。
【００７３】
以上に示した実施形態は、本発明の例示にすぎない。すなわち、本発明は、以上に示した実施形態に限定されず、本発明の目的を逸脱しない範囲で、種々の変形が可能である。
【００７４】
例えば、以上に示した実施形態では、ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとが別々のパッケージからなる構成とした。しかし、ニアフィールドマイクロホンとファーフィールドマイクロホンとは、入力される音波の位相ずれが発生しないように、できる限り近接配置するのが好ましい。このため、２つのマイクロホンが１パッケージで形成されている構成を採用するのが好ましい。
【００７５】
図９は、本実施形態の変形例を説明するための図で、ニアフィールドマイクロホンとファーフィールドマイクロホンとが１パッケージで形成された構成を示す概略断面図である。なお、この変形例のマイクロホンの構成はあくまでも例示であり、種々の変更が可能であるのは言うまでもない。要は、１パッケージでニアフィールドマイクロホンの機能とファーフィールドマイクロホンの機能とが発揮できる構成であればよい。
【００７６】
図９で示す変形例のマイクロホン４００の構成は、図３に示すニアフィールドマイクロホンＮＦＭの構成とほぼ同様である。図３に示すマイクロホンの構成に、新たにＭＥＭＳチップ４０１（ＭＥＭＳチップ２２１と同じ構成を有するもの）を追加した点が異なる。なお、図９においては、図３に示すマイクロホンと重複する部分には同一の符号を付している。
【００７７】
マイクロホン４００の外部で音が生じると、第１音孔２１２から入力された音波が第１の音道Ｐ１によって第２のＭＥＭＳチップ４０１の振動板４０１ａの上面に到達し、振動板４０１ａが振動する。第２のＭＥＭＳチップ４０１の振動板４０１ａは、この上面に加わる音波によってのみ振動し、この第２のＭＥＭＳチップ４０１から出力される信号を使用すれば、本実施形態のファーフィールドマイクロホンＦＦＭと同様の機能が得られる。
【００７８】
また、マイクロホン４００の外部で音が生じると、第１音孔２１２から入力された音波が第１の音道Ｐ１によって第１のＭＥＭＳチップ２２１の振動板２２１ａの上面に到達すると共に、第２音孔２１３から入力された音波が第２の音道Ｐ２によって第１のＭＥＭＳチップ２２１の振動板２２１ａの下面に到達する。このために、第１のＭＥＭＳチップ２２１の振動板２２１ａは、上面に加わる音圧と下面に加わる音圧との音圧差によって振動する。このため、第１のＭＥＭＳチップ２２１から出力される信号を使用すれば、本実施形態のニアフィールドマイクロホンＮＦＭと同様の機能が得られる。
【００７９】
また、以上に示した実施形態では、レンズ駆動部１１２の駆動の有無にかかわらず、音分離装置１５の音信号処理部（ＩＣＡ処理部）１３は分離行列Ｗの最適化を行うように構成した。しかし、常時、分離行列Ｗの最適化を行った場合、主なノイズ源となるレンズ駆動部が動作していない状態においても分離行列Ｗの最適化の処理が行われるため、分離行列Ｗが異常な値に収束あるいは発散してしまう場合がある。これを防止するため、レンズ駆動部１１２が駆動している場合（機械音が発生している場合）に分離行列Ｗの最適化を行い、レンズ駆動部１１２が駆動していない場合（機械音が発生していない場合）には分離行列Ｗの最適化は行わないようにすることが好ましい
【００８０】
図１０は、本実施形態の変形例を説明するための図で、レンズ駆動部の駆動の有無で分離行列の最適化を行うか否かを切り替えられる構成を備えた音分離装置のブロック図である。図１０に示すように、変形例の音分離装置１７は、本実施形態の音分離装置１５のＩＣＡ処理部１３３内に、最適化オンオフ部１３４が追加された構成となっている。
【００８１】
最適化オンオフ部１３４は、カメラユニット１の制御部１８と電気的に接続されている。この制御部１８は、レンズ駆動部１１２の制御も行うものであり、レンズ駆動部１１２の駆動の有無について把握している。制御部１８からレンズ駆動部１１２を駆動させるという情報が最適化オンオフ部１３４に入力された場合には、本実施形態の場合と同様に、ＩＣＡ処理部１３３は分離行列Ｗの最適化を行いながら、音信号の分離抽出を行う。一方、制御部１８からレンズ駆動部１１２を駆動させないという情報が最適化オンオフ部１３４に入力された場合には、ＩＣＡ処理部１３３は分離行列Ｗの最適化を行わず、分離行列Ｗ値をホールドする。これにより、ＩＣＡ処理を安定に動作させることが可能である。
【００８２】
このような音分離装置１７では、近接音源からの音のうち、カメラユニット１から発生する機械音について効果的に分離抽出し、操作者の声等については分離せずに、遠方音源からの音とともに目的音として抽出されることになる。カメラユニット１で動画撮影する場合に、操作者の音は除去したくないという要望も考えられ、本変形例は、このような要望に対して好適な構成である。
【００８３】
また、以上に示した実施形態では、カメラユニット１が備えるマイクロホンＮＦＭ、ＦＦＭが、半導体製造技術を利用して形成されるＭＥＭＳマイクロホンである構成とした。しかし、本発明は、この構成に限定されるものではない。例えば、マイクロホンが、エレクトレック膜を使用したコンデンサマイクロホン（ＥＣＭ）等であっても構わない。また、カメラユニット１が備えるマイクロホンＮＦＭ、ＦＦＭは、いわゆるコンデンサ型マイクロホンに限らず、例えば、動電型（ダイナミック型）、電磁型（マグネティック型）、圧電型等のマイクロホン等でも構わない。
【００８４】
また、以上に示した実施形態では、ニアフィールドマイクロホンＮＭＦは、１つの振動板２２１ａのみを有する差動マイクロホンとして構成されている。しかし、本発明は、この構成に限られるものではない。すなわち、ニアフィールドマイクロホンは、例えば２つの振動板を有し、それぞれの振動板に基づいて出力される信号の差分を音信号として出力するタイプの差動マイクロホンであっても構わない。
【００８５】
また、以上に示した実施形態では、ニアフィールドマイクロホンＮＭＦは、１次傾度の差動マイクロホンとして構成されている。しかし、本発明は、この構成に限られるものではない。すなわち、ニアフィールドマイクロホンは、例えば２次傾度または３次傾度特性を持つ差動マイクロホンであっても構わない。
【００８６】
また、以上に示した実施形態では、ファーフィールドマイクロホンＦＦＭは無指向性マイクロホンとした。しかし、本発明は、この構成に限定されるものではない。ファーフィールドマイクロホンが、例えば単一指向性マイクロホン等の指向性マイクロホンであってもよい。例えば、カメラユニット１による動画撮影時に、集音したい音の方向が特定の方向に限られるような場合には、このような構成も有効である。
【００８７】
その他、以上においては、本発明の音分離装置がカメラユニットに適用される場合を例に説明した。しかしながら、本発明の音分離装置は、近接音源からの音と、遠方音源からの音を分離したい場合に広く適用できるものであり、その適用対象はカメラユニット以外の電子機器、たとえば携帯電話機における背景雑音の分離用途としても応用が可能である。携帯電話機に応用する場合は、ニアフィールドマイクロホンＮＭＦが話者の音声をとらえるように設置し、ファーフィールドマイクロホンＦＦＭは背景雑音を含んだ音声をとらえるように設置することにより、話者音声と背景雑音を分離することが可能である。
【産業上の利用可能性】
【００８８】
本発明は、動画撮影が可能なカメラユニットに好適である。
【符号の説明】
【００８９】
１ カメラユニット
１１ 撮像部
１４ 蓄積部
１３ 音信号処理部
１５ 音分離装置
１１１ レンズ部
１１２ レンズ駆動部
２２１ａ 振動板
ＮＦＭ ニアフィールドマイクロホン（第２のマイクロホン）
ＦＦＭ ファーフィールドマイクロホン（第１のマイクロホン）
【技術分野】
【０００１】
本発明は、近接音と遠方音とが混ざった混合音から近接音又は遠方音のみを分離抽出する音分離装置に関する。また、本発明は、そのような音分離装置を備えるカメラユニットに関する。
【背景技術】
【０００２】
従来、独立成分分析（ＩＣＡ；Independent Component Analysis）の技術を利用して、検出対象となる音源からの音（目的音）と、雑音源からの音とが混じり合った混合音から、目的音を分離抽出することが行われている。検出対象となる音源としては、例えば話者音声の音源が挙げられる。
【０００３】
例えば、特許文献１には、無指向性マイクロホンに混合音が入力され、単一指向性マイクロホンに検出対象音源からの音又は雑音源からの音のいずれか一方が主に入力されるように構成され、ブラインド音源分離（ＢＢＳ；Blind Source Separation）をリアルタイムで行うことを可能にする音信号処理装置が開示されている。ブラインド音源分離とは、混合音から目的音を分離するための分離行列をＩＣＡの技術を用いて最適化し、最適化された分離行列を用いて混合音の中から目的音を分離抽出する方法のことを指している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２７５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年においては、動画撮影が可能な電子機器（例えば、携帯型のビデオカメラ装置、携帯電話機、携帯型のゲーム機等）が盛んに使用されている。これらの電子機器は、一般に、動画撮影と同時に音声録音処理を行うカメラユニットを備える。このカメラユニットには、通常、被写体に焦点を合わせるためのオートフォーカス機能や、被写体の拡大率を可変させるズーム機能が備えられる。
【０００６】
オートフォーカス機能やズーム機能においては、ＤＣモータ、ステッピングモータ等を用いて、レンズ系の移動が行われる。このとき、レンズ系の移動に伴って、モータ音が発生したり、その他メカ系の動作音が発生したりする。また、カメラユニットで動画撮影が行われる場合には、常にフォーカス、ズーム処理が動作するため、モータ音や動作音が録音されてしまうことがある。また、これらの音の他にも、カメラ操作者の操作音等、不要な音が録音されてしまう場合があり、このような不要な音（ノイズ音）が極力録音されないことが望まれる。
【０００７】
この点、ノイズ音が取り除かれた目的音のみが録音されるように、例えば特許文献１に示される音信号処理装置の技術をカメラユニットに適用することが考えられる。しかしながら、上記目的で特許文献１の技術がカメラユニットに適用される場合には、次のような問題が生じる。
【０００８】
図１１は、従来技術の問題点を説明するための図で、カメラユニットに無指向性マイクロホンと単一指向性マイクロホンが搭載された場合における、各マイクロホンの指向特性を示す図である。図１１においては、カメラユニットは中心Ｏに位置する。図１１において、実線で囲まれた領域（円形の領域）ＲＲ１は無指向性マイクロホンの指向特性を示しており、全方向の音を感度良く均等に集音することを表している。また、破線で囲まれた領域（ハート型の領域）ＲＲ２は単一指向性マイクロホンの指向特性を示しており、中心Ｏに対して特定の方向（Ｃの方向）の音を感度良く集音することを表している。
【０００９】
動画撮影時においては、一般に、被写体の声等、カメラユニットから離れた位置で発生する音が目的音（検出対象の音）であり、カメラユニット近傍で発生する音（上述のモータ音、レンズ系の移動に伴う動作音、操作音等）は不要な音（ノイズ音）であることが多い。
【００１０】
単一指向性マイクロホンは、特定の方向からの音をとらえる特性を持ち、その指向性の方位に存在する音源からの音について、カメラユニットの近傍だけでなく、カメラユニットから離れた位置で発生する音も集音する。従来技術にならって、例えば単一指向性マイクロホンの指向特性の感度が得られる方向にカメラユニットのモータなどが存在するようにして雑音源からの音が主に集音されるようにした場合、同方向において遠方に存在する音についても単一指向性マイクロホンに集音される。このため、この構成では、音源分離を行ったときに、遠方音の一部がノイズ音として残留する、あるいは分離行列が収束せず分離できないといった問題があった。
【００１１】
以上の点を鑑みて、本発明の目的は、近接音源からの音と遠方音源からの音とを適切に分離できる音分離装置を提供することである。また、本発明の他の目的は、そのような音分離装置を備え、カメラユニット近傍で発生するノイズ音を除去して目的音を適切に録音できるカメラユニットを提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の音分離装置は、入力音を第１の音信号に変換する第１のマイクロホンと、入力音を第２の音信号に変換し前記第１のマイクロホンと比べて距離減衰率の大きい特性を持つ第２のマイクロホンと、入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部と、を備えることを特徴としている。
【００１３】
本構成によれば、近接音源からの音と遠方音源からの音とを適切に分離可能である。このために、本発明は、例えば、動画撮影と同時に音声録音処理を行うカメラユニット等に好適な技術である。
【００１４】
上記構成の音分離装置において、前記第２のマイクロホンは差動マイクロホンであるのが好ましく、例えば１次傾度の特性を有する差動マイクロホンが使用可能である。本構成によれば、近接音源あるいは遠方音源からの音のみを高精度で分離抽出できる音分離装置を実現できる。
【００１５】
上記構成の音分離装置において、前記第１のマイクロホンが差動マイクロホンである場合には、該差動マイクロホンは、音圧によって振動する振動板を１つのみ有する構成とするのが好ましい。本構成によれば、第１のマイクロホンの小型化を図れ、音分離装置を電子機器に実装し易くなる。
【００１６】
上記構成の音分離装置において、前記第１のマイクロホンは、無指向性のマイクロホンであることとしてもよい。本構成は、遠方音源が存在する領域として広い範囲が想定される場合に好適である。
【００１７】
上記構成の音分離装置において、前記第１のマイクロホンと前記第２のマイクロホンとが１つのパッケージで形成されているのが好ましい。本構成によれば、２つのマイクロホン間の距離を非常に近いものとできるので、目的音の分離抽出をより適切に行うことが可能になる。
【００１８】
また、上記目的を達成するために本発明のカメラユニットは、上記構成の音分離装置を備えることを特徴としている。具体的には、上記構成のカメラユニットは、被写体を撮像して撮像情報を映像信号に変換する撮像部と、前記映像信号と前記第４の音信号とを蓄積する蓄積部と、を更に備えるのが好ましい。
【００１９】
本構成では、カメラユニットによって動画撮影を行う場合に、カメラユニットの本体とその近傍とから発生するノイズ音を除去し、目的音であるカメラユニットから離れた周囲音を適切に録音することが可能である。
【００２０】
上記構成のカメラユニットにおいて、前記撮像部には、前記被写体方向からの入射光を結像するレンズ部と、前記レンズ部に含まれる可動レンズを駆動するレンズ駆動部と、が含まれ、前記音信号処理部は、前記レンズ駆動部が動作している期間に前記分離行列の最適化処理を行い、前記レンズ駆動部が動作していない期間には前記分離行列の最適化は行わない、こととしてもよい。
【００２１】
本構成によれば、カメラユニットの近傍で発生する音のうち、特にレンズ駆動部で発生する音をノイズ音として効果的に分離除去して、目的音を得ることが可能になる。
【発明の効果】
【００２２】
本発明の音分離装置によれば、近接音源からの音と遠方音源からの音とを適切に分離できる。また、本発明の音分離装置を備えるカメラユニットにおいては、カメラユニット近傍で発生するメカニカルノイズ等のノイズ音を除去して、目的音（カメラユニットから離れた周囲音）を適切に録音することが可能である。
【図面の簡単な説明】
【００２３】
【図１】本実施形態のカメラユニットの構成を示すブロック図
【図２】本実施形態のカメラユニットの構成を示す概略斜視図
【図３】本実施形態のカメラユニットが備えるニアフィールドマイクロホンの構成を示す概略図
【図４】本実施形態のカメラユニットが備えるファーフィールドマイクロホンの構成を示す概略図
【図５】音圧Ｐと音源からの距離Ｒとの関係を示すグラフ
【図６】ニアフィールドマイクロホンとファーフィールドマイクロホンの指向特性を示す図
【図７】ニアフィールドマイクロホンとファーフィールドマイクロホンの距離減衰特性を説明するためのグラフ
【図８】本実施形態のカメラユニットが備える各マイクロホンの指向特性を示す図
【図９】本実施形態の変形例を説明するための図で、ニアフィールドマイクロホンとファーフィールドマイクロホンとが１パッケージで形成された構成を示す概略断面図
【図１０】本実施形態の変形例を説明するための図で、レンズ駆動部の駆動の有無で分離行列の最適化を行うか否かを切り替えられる構成を備えた音分離装置のブロック図
【図１１】従来技術の問題点を説明するための図で、カメラユニットに無指向性マイクロホンと単一指向性マイクロホンが搭載された場合における、各マイクロホンの指向特性を示す図
【発明を実施するための形態】
【００２４】
以下、本発明の音分離装置と、それを備えたカメラユニットの実施形態について、図面を参照しながら詳細に説明する。
【００２５】
図１は、本実施形態のカメラユニットの構成を示すブロック図である。図２は、本実施形態のカメラユニットの構成を示す概略斜視図である。図１に示すように、本実施形態のカメラユニット１は、動画撮影を可能とする撮像部１１と、動画撮影時の周囲音を集音可能とする集音部１２と、集音部１２で集音した音を処理する音信号処理部１３と、撮像部１１から出力される映像信号を録画処理するとともに、音信号処理部１３から出力される音信号を録音処理する蓄積部１４と、を備える。
【００２６】
なお、集音部１２と音信号処理部１３とからなる部分１５（図１において破線で囲まれる部分）は、本発明の音分離装置の実施形態である。
【００２７】
撮像部１１には、図２に示すようにカメラユニット１の本体１０に取り付けられ、被写体方向からの入射光を結像するレンズ部１１１が備えられる。このレンズ部１１１は、単レンズで構成されてもよいし、複数のレンズ群で構成されてもよい。また、レンズ部１１１には、オートフォーカス調整やズーム調整を可能とすべく、光軸方向に移動可能な可動レンズが含まれる。
【００２８】
撮像部１１には、レンズ部１１１に含まれる可動レンズを駆動するレンズ駆動部１１２が備えられる。図２においては、レンズ駆動部１１２の一部が示されている。レンズ駆動部１１２は、例えばＤＣモータ、ステッピングモータ、超音波モータ、圧電素子等の駆動源を有する。そして、レンズ駆動部１１２は、フォーカス調整やズーム調整が行われる際に、この駆動源を駆動させ、例えば可動レンズを保持するホルダをガイドに沿って移動させる。このレンズ駆動部１１２は、図示しない制御部によって、その動作を制御される。なお、レンズ駆動部１１２の駆動時には、モータ音やホルダ移動に伴う動作音等が発生する。
【００２９】
撮像部１１には、被写体方向からの入射光がレンズ部１１１によって結像される位置に撮像面が配置され、入射光を光電変換して映像信号を出力する撮像処理部１１３が備えられる。この撮像処理部１１３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等とできる。撮像処理部１１３から出力される映像信号は、蓄積部１４の録画処理部１４１に送られて録画処理される。
【００３０】
集音部１２は、近接音源（カメラユニット１の近傍にある音源）からの音を主に集音して電気信号に変換するニアフィールドマイクロホンＮＦＭと、近接音源からの音と遠方音源（本実施形態では近接音源以外の音源が該当する）からの音との混合音を電気信号に変換するファーフィールドマイクロホンＦＦＭと、を備える。
【００３１】
ファーフィールドマイクロホンＦＦＭとしては、被写体の音を集音可能なマイクロホンを使用する。例えば、無指向性のマイクロホンを選択する。また、ニアフィールドマイクロホンＮＦＭとしては、距離減衰特性の良いマイクロホンを使用する。ニアフィールドマイクロホンＮＦＭとしては、例えば、１次傾度以上の傾度特性を持つ差動マイクロホンを使用することでき、遠方音を抑制して近接音を主に集音するものを選択することが好ましい。なお、ファーフィールドマイクロホンＦＦＭは本発明の第１のマイクロホンの一例であり、ニアフィールドマイクロホンＮＦＭは本発明の第２のマイクロホンの一例である。
【００３２】
ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとは、カメラユニット１の本体１０内に、実装基板（図示せず）に実装された状態で隣接配置されている。図２においては、これら２つのマイクロホンが本体１０内部にあるために破線表示としている。カメラユニット１の本体１０には、マイクロホンＮＦＭ、ＦＦＭに音を導入するための開口が設けられている。これらのマイクロホンをいずれの位置に配置するかは、適宜決定すればよいが、本実施形態では本体１０の前面に配置している。ここで、ニアフィールドマイクロホンＮＦＭとして使用される差動マイクロホンが、レンズ駆動部の動作音を効率的に集音できるよう、指向特性の最も感度の高い方向（主軸方向）が、レンズ駆動部の方向を向くように設置することが望ましい。
【００３３】
図３は、本実施形態のカメラユニットが備えるニアフィールドマイクロホンの一例の構成を示す概略図で、図３（ａ）は概略斜視図、図３（ｂ）は図３（ａ）のＡ−Ａ位置における断面図である。ニアフィールドマイクロホンＮＦＭは、ＭＥＭＳ（Micro Electro Mechanical System）チップ２２１及びＡＳＩＣ（Application Specific Integrated Circuit）２２２が搭載されるマイク基板２０１に、蓋体２１１が被せられた構造となっている。
【００３４】
ＭＥＭＳチップ２２１は、シリコン（Ｓｉ）を半導体プロセス技術により加工して製造されるコンデンサ型のマイクロホンチップであり、入力音圧によって変位する振動板２２１ａ及びこれに対向して配置される固定電極２２１ｂとを有する。入力音圧の変化は、振動板２２１ａと固定電極２２１ｂ間の距離を変化させ、ひいてはコンデンサ容量を変化させる。ＭＥＭＳチップ２２１は、振動板２２１ａの両面（上面と下面）に対して音圧が伝達されるように構成されており、固定電極２２１ｂは音圧によって振動しないように表面から裏面まで貫通する複数の通気孔が設けられている。また、ＡＳＩＣ２２２は、ＭＥＭＳチップ２２１のコンデンサ容量変化を電気信号（音信号）に変換する回路、及び振動板２２１ａ又は固定電極２２１ｂにバイアス電圧を印加するための電源回路等を含む集積回路である。
【００３５】
なお、本実施形態では、ＡＳＩＣ２２２がＭＥＭＳチップ２２１と別に設けられる構成としているが、ＡＳＩＣ２２２に搭載される集積回路はＭＥＭＳチップ２２１を形成するシリコン基板上にモノリシックで形成してもよい。
【００３６】
マイク基板２０１のＭＥＭＳチップ２２１及びＡＳＩＣ２２２が搭載される基板上面２０１ａには、第１の開口２０２と第２の開口２０３とが設けられている。第１の開口２０２と第２の開口２０３とは、基板内部空間２０４を介して連通している。なお、このようなマイク基板２０１は、複数枚の基板を貼り合わせて得てもよい。
【００３７】
ＭＥＭＳチップ２２１は、振動板２２１ａがマイク基板２０１と略平行になるように配置されると共に、第１の開口２０２を基板上面２０１ａ側から塞ぐように配置されている。また、マイク基板２０１の下面２０１ｂには、外部接続用の接続端子２０５が形成されている。
【００３８】
蓋体２１１の上面２１１ａには、その長手方向の一端部側に第１音孔２１２が形成され、他端部側に第２音孔２１３が形成されている。なお、本実施形態では、２つの音孔２１２、２１３を長孔形状としているが、この形状に限られる趣旨ではなく、その形状は適宜変更してよい。
【００３９】
また、蓋体２１１には、第１音孔２１２と繋がる第１空間部２１４と、第１空間部２１４とは隔離されて第２音孔２１３と繋がる第２空間部２１５と、が形成されている。この蓋体２１１は、第１空間部２１４がＭＥＭＳチップ２２１によって基板内部空間２０４と仕切られるように、マイク基板２０１に搭載されている。また、蓋体２１１は、第２空間部２１５が第２の開口２０３を介して基板内部空間２０４と連通するようにマイク基板２０１に搭載されている。
【００４０】
以上のように構成されるニアフィールドマイクロホンＮＦＭは、外部音を、第１音孔２１２から第１空間部２１４を通して振動板２２１ａの上面へと導く第１の音道Ｐ１と、外部音を、第２音孔２１３から第２空間部２１５、第２の開口２０３、基板内部空間２０４、第１の開口２０２の順に通過させて振動板２２１ａの下面へと導く第２の音道Ｐ２と、を有する構成となっている。
【００４１】
そして、ニアフィールドマイクロホンＮＦＭは、振動板２２１ａの上面に加わる音圧ｐｆと、振動板２２１ａの下面に加わる音圧ｐｂとの差によって振動板２２１ａを振動させて、入力音を電気信号（音信号）に変換するようになっている。すなわち、ニアフィールドマイクロホンＮＦＭは１次傾度の差動マイクロホンとして構成されている。なお、これに限定される趣旨ではないが、本実施形態では、音道Ｐ１と音道Ｐ２の長さをほぼ同一とし、両音道の位相差が発生しないようにしている。
【００４２】
図４は、本実施形態のカメラユニットが備えるファーフィールドマイクロホンの構成を示す概略図で、図４（ａ）は概略斜視図、図４（ｂ）は図４（ａ）のＢ−Ｂ位置における断面図である。
【００４３】
ファーフィールドマイクロホンＦＦＭは、その上面３０１ａにＭＥＭＳチップ３２１及びＡＳＩＣ３２２が搭載されるマイク基板３０１に、ＭＥＭＳチップ３２１及びＡＳＩＣ３２２を覆うように蓋体３１１が被せられた構造となっている。マイク基板３０１の下面３０１ｂには、外部接続用の接続端子３０２が形成されている。
【００４４】
蓋体３１１には、その上面３１１ａに音孔３１２が形成されるとともに、音孔３１２と繋がる空間部３１３が形成されている。このように構成されるファーフィールドマイクロホンＦＦＭは、外部音を、音孔３１２から空間部３１３を通して振動板３２１ａの上面へと導く音道Ｐを有する構成となっている。また、振動板３２１ａの下面側はマイク基板３０１ａで塞がれて、閉空間を形成している。
【００４５】
なお、ＭＥＭＳチップ３２１及びＡＳＩＣ３２２は、ニアフィールドマイクロホンＮＦＭと同様の構成のものであるので、説明は省略した。
【００４６】
ここで、ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとの特性について説明する。この説明に先立って、音波の性質について説明する。図５は、音圧Ｐと音源からの距離Ｒとの関係を示すグラフである。図５に示すように、音波は、空気等の媒質中を進行するにつれて減衰し、音圧（音波の強度・振幅）が低下する。音圧は、音源からの距離に反比例して減衰し、音圧Ｐと距離Ｒとの関係は、以下の式（１）のように表せる。なお、式（１）におけるｋは比例定数である。
Ｐ＝ｋ／Ｒ （１）
【００４７】
ファーフィールドマイクロホンＦＦＭの出力は式（１）に従い、音源からの距離に反比例した出力信号が得られる。一方、ニアフィールドマイクロホンＮＦＭにおいては、第１音孔２１２と第２音孔２１３から入力される音圧の差圧に比例する出力が得られる。図５及び図３を参照しながらニアフィールドマイクロホンＮＦＭの出力について、以下詳細に説明する。
【００４８】
ニアフィールドマイクロホンＮＦＭの第１音孔２１２と第２音孔２１３の間の距離をΔｄとする。マイクロホンを音源から近距離位置に配置した場合、例えば音源から第１音孔２１２までの距離がＲ１、音源から第２音孔２１３までの距離がＲ２となるように配置したとき、振動版３２１ａにおいて生じる差圧は（Ｐ１−Ｐ２）となる。また、マイクロホンを音源から遠距離位置に配置した場合、例えば音源から第１音孔２１２までの距離がＲ３、音源から第２音孔２１３までの距離がＲ４となるように配置したとき、振動版３２１ａにおいて生じる差圧は（Ｐ３−Ｐ４）となる。上記により、ニアフィールドマイクロホンＮＦＭの出力は、図５のグラフの傾きを求めるのと等価であり、距離Ｒで微分したのと等価な特性が得られることになる。
【００４９】
図７は、ニアフィールドマイクロホンとファーフィールドマイクロホンの距離減衰特性を説明するためのグラフで、横軸は音源からの距離Ｒを対数軸で表現したもの、縦軸はマイクロホンの振動板に加わる音圧レベル（ｄＢ）を示す。
【００５０】
ファーフィールドマイクロホンＦＦＭでは、振動板３２１ａは上面に加わる音圧によって振動するため、マイクロホンの出力レベルは１／Ｒで減衰する。一方、ニアフィールドマイクロホンＮＦＭでは、振動板２２１ａの上面及び下面に加わる音圧の差によって振動するため、マイクロホンの出力レベルはファーフィールドマイクロホンＦＦＭの特性を距離Ｒで微分した特性１／Ｒ２で減衰する。
【００５１】
図７に示すように、ニアフィールドマイクロホンＮＦＭの出力は、ファーフィールドマイクロホンＦＦＭの出力に比べて、音源からの距離に対する減衰率が大きくなる。すなわち、ファーフィールドマイクロホンＦＦＭは、ニアフィールドマイクロホンＮＦＭに比べて、マイクロホンの近傍で発生する音は効率よく集音するが、遠方の音は抑圧される。
【００５２】
ニアフィールドマイクロホンＮＦＭの近傍で発生する音の音圧は、第１音孔２１２と第２音孔２１３との間で大きく減衰し、振動板２２１ａの上面に伝達される音圧と、振動板２２１ａの下面に伝達される音圧とには、大きな差が生じる。一方、遠方に音源がある音は、第１音孔２１２と第２音孔２１３との間ではほとんど減衰せず、振動板２２１ａの上面に伝達される音圧と、振動板２２１ａの下面に伝達される音圧との音圧差は非常に小さくなる。なお、ここでは、音源から第１音孔２１２までの距離と、音源から第２音孔２１３までの距離とが異なる場合を前提としている。
【００５３】
振動板２２１ａにて受音される遠方音源からの音の音圧差は非常に小さいために、遠方音源からの音の音圧は振動板２２１ａにてほぼ打ち消される。これに対して、振動板２２１ａにて受音される近接音源の音の音圧差は大きいために、近接音源からの音の音圧は振動板２２１ａで打ち消されない。このため、振動板２２１ａの振動によって得られた信号は、近接音源からの音の信号であると見なせる。
【００５４】
図６は、ニアフィールドマイクロホンＮＦＭ及びファーフィールドマイクロホンＦＦＭの指向特性を示している。図６（ａ）はニアフィールドマイクロホンＮＦＭの指向特性を示し、図６（ｂ）はファーフィールドマイクロホンＦＦＭの指向特性を示している。図６において、図６（ａ）はニアフィールドマイクロホンＮＦＭの第１音孔２１２と第２音孔２１３を０°及び１８０°方向に配置した場合、図６（ａ）はファーフィールドマイクロホンのＦＦＭの音孔３１２を原点位置に配置した場合を表している。
【００５５】
まず、図６（ａ）に示すニアフィールドマイクロホンＮＦＭの指向特性について説明する。音源からニアフィールドマイクロホンＮＦＭまでの距離が一定であれば、音源が０°又は１８０°の方向にある時に振動板２２１ａに加わる音圧が最大となる。これは、音源から第１音孔２１２に至る距離と、音源から第２音孔２１３に距離との差が最大になるからである。
【００５６】
これに対し、音源が９０°又は２７０°の方向にある時に振動板２２１ａに加わる音圧が最小（ほぼ０）になる。これは、音源から第１音孔２１２に至る距離と、音源から第２音孔２１３に至る距離が等しくなるからである。
【００５７】
すなわち、ニアフィールドマイクロホンＮＦＭとして、１次傾度の差動マイクロホンを使用する場合、０°及び１８０°の方向から入射される音波に対して感度が高くなり、９０°及び２７０°の方向から入射される音波に対して感度が低くなる、いわゆる両指向性を示す。
【００５８】
次に、図６（ｂ）に示すファーフィールドマイクロホンＦＦＭの指向特性について説明する。音源から振動板３２１ａまでの距離が一定であれば、音源がどの方向にあっても振動板３２１ａに加わる音圧は一定となる。すなわち、ファーフィールドマイクロホンＦＦＭは、あらゆる方向から入射される音波を均等な感度で集音する無指向性を示す。
【００５９】
図１に戻って、カメラユニット１が備える音信号処理部１３について説明する。音信号処理部１３は、アナログ音声信号をデジタル音声信号に変換する第１のＡ／Ｄ変換部１３１と第２のＡ／Ｄ変換部１３２とを備える。第１のＡ／Ｄ変換部１３１は、ニアフィールドマイクロホンＮＦＭから出力される音信号（本発明の第２の音信号に該当）を所定時間間隔でサンプリングしてデジタル信号Ｙ１（ｔ）に変換する処理を行う。第２のＡ／Ｄ変換部１３２は、ファーフィールドマイクロホンＦＦＭから出力される音信号（本発明の第１の音信号に該当）を所定時間間隔でサンプリングしてデジタル信号Ｙ２（ｔ）に変換する処理を行う。
【００６０】
音信号処理部１３には、第１のＡ／Ｄ変換部１３１及び第２のＡ／Ｄ変換部１３２から時分割で出力されるデジタル信号を順次処理するＩＣＡ（独立成分分析）処理部１３３を備える。ＩＣＡの基本処理については、従来より一般的に用いられる技術を使用する。ＩＣＡ処理部１３３は、２つのＡ／Ｄ変換部１３１、１３２から入力されたデジタル音声信号をＦＦＴ（Fast Fourier Transform）処理した後、周波数領域において独立成分分析の技術を用いて分離行列を求める処理（最適化する処理）を行う。ここで、分離行列は、分離音された信号間の統計的独立性が最大化となるように逐次更新され、最適解に収束するように処理される。
【００６１】
或る時間ｔにおいて、２つの独立した音源から出力される音をＳ１（ｔ）、Ｓ２（ｔ）とする。また、これらの音源から出力される音（Ｓ１（ｔ）、Ｓ２（ｔ））を２つのマイクロホンで集音し、各マイクロホンで集音してＡ／Ｄ変換して得られた信号をそれぞれＹ１（ｔ）、Ｙ２（ｔ）とする。この場合、以下に示す式（２）が成り立つ。
【数１】
なお、Ａは２×２の混合行列である。
【００６２】
ＷがＡの逆行列であるとすると、以下の式（３）が成り立つ。
【数２】
式（３）におけるＷが分離行列であり、独立成分分析の技術を用いて、２つの音源から出力される音Ｓ１（ｔ）とＳ２（ｔ）の統計的独立性が最大化されるように分離行列Ｗの最適化が図られる。なお、本実施形態では、２つの独立した音源は、カメラユニット１の近傍にある近接音源と、カメラユニット１から離れた位置にある遠方音源（近接音源以外の音源）とが該当する。また、２つのマイクロホンは、一方がニアフィールドマイクロホンＮＦＭで、他方がファーフィールドマイクロホンＦＦＭに該当する。
【００６３】
ＩＣＡ処理部１３３は、最適化した分離行列Ｗにより、２つのマイクロホンＮＦＭ、ＦＦＭから入力された音信号（正確にはＡ／Ｄ変換等の処理が行われた後の信号）から分離信号Ｘ１（ｔ）、Ｘ２（ｔ）を分離抽出する。ここで、分離信号Ｘ１（ｔ）は、近接音源からの音（Ｓ１（ｔ））の信号として推定される信号であり、本発明の第３の音信号に該当する。また、分離信号Ｘ２（ｔ）は、遠方音源からの音（Ｓ２（ｔ））の信号として推定される信号であり、本発明の第４の音信号に該当する。
【００６４】
ＩＣＡ処理部１３３は、目的音と推定される分離信号Ｘ２（ｔ）を蓄積部１４の録音処理部１４２に出力し、ノイズ音と推定される分離信号Ｘ１（ｔ）は録音処理部１４２に出力しない。録音処理部１４２は、時分割でＩＣＡ処理部１３３から送られてくる分離信号Ｘ２（ｔ）を順次録音処理する。
【００６５】
次に、以上のように構成されるカメラユニット１のうち、音分離装置１５の作用について説明する。
【００６６】
図８は、本実施形態のカメラユニットが備える各マイクロホンの指向特性を示す図である。図８においては、カメラユニット１は中心Ｏに位置する。図８において、実線Ｒ１はファーフィールドマイクロホンＦＦＭの指向特性を示し、８の字形状の破線Ｒ２はニアフィールドマイクロホンＮＦＭの指向特性を示している。
【００６７】
上述のように、ニアフィールドマイクロホンＮＦＭはカメラユニット１の近傍（図８の中心Ｏの近傍）にある近接音源からの音を集音する機能に優れ、ファーフィールドマイクロホンＦＦＭはカメラユニット１から離れた位置にある遠方音源からの音を含めて広い範囲からの音を集音する機能に優れる。
【００６８】
ニアフィールドマイクロホンＮＦＭは、例えば、カメラユニット１の本体１０から発生する機械音（レンズ駆動部１１２によってレンズを駆動する際に発生する音等）、操作者がカメラユニット１を操作する際に発生する操作音、及び、操作者の音声といったカメラユニット１の近傍で発生する音（Ｓ１）を主として集音するように設置される。また、ファーフィールドマイクロホンＦＦＭは、先の３つの音に加えて、カメラユニット１から離れた周囲音（Ｓ２）も含んだ音を集音するように設置される。
【００６９】
このとき、ニアフィールドマイクロホンＮＦＭの出力は（ａ１・Ｓ１＋ａ２・Ｓ２）、ファーフィールドマイクロホンＦＦＭの出力は、（ａ３・Ｓ１＋ａ４・Ｓ２）と表せる。ここで、ａ１、ａ２、ａ３、ａ４は係数であり、ａ１＞＞ａ２が成り立つ。
【００７０】
ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとからの信号が入力されたＩＣＡ処理部１３３は、適宜最適化された分離行列Ｗを用いて、近接音源からの音Ｓ１と推定される音Ｘ１と、遠方音源からの音Ｓ２と推定される音Ｘ２とを分離抽出する。すなわち、本実施形態の音分離装置１５によれば、カメラユニット１の本体１０から発生する機械音、操作者の操作音、操作者の音声といった、従来、不要なノイズ音と考えられている近接音源からの音を適切に取り除いて、カメラから離れた周囲の音のみを得ることができる。
【００７１】
従来の音源分離技術は、主にマイクロホンに対して異なる方向に存在する２以上の音源を分離するために用いられており、同一方向で距離が異なって存在する音源を分離することが困難であった。これは、音源からの音が２つのマイクロホンに同位相で入ってくるめである。そのため、２以上の音源を分離するためには、集音に用いる２つのマイクロホン間距離を１０ｃｍ以上離して配置する等が必要であり、マイクロホンの配置に大きなスペースが必要であった。
【００７２】
一方、本実施形態の構成のように、距離減衰特性の異なる２つのマイクロホンを用いることにより、同一方向に距離が異なって存在する音源からの振幅差を大きく確保できるため、音源の分離が可能となる。従来、空間的な方位の違いを利用して音源を分離していたところが、距離減衰特性の異なる２つのマイクロホンを用いることで、音源をマイクロホンからの距離の違いを利用して分離することができるようになる。また、本発明の構成においては、２つのマイクロホンを同一位置に配置しても分離が可能であるため、マイクロホンサイズと同等のスペースがあれば配置できるという利点がある。
【００７３】
以上に示した実施形態は、本発明の例示にすぎない。すなわち、本発明は、以上に示した実施形態に限定されず、本発明の目的を逸脱しない範囲で、種々の変形が可能である。
【００７４】
例えば、以上に示した実施形態では、ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとが別々のパッケージからなる構成とした。しかし、ニアフィールドマイクロホンとファーフィールドマイクロホンとは、入力される音波の位相ずれが発生しないように、できる限り近接配置するのが好ましい。このため、２つのマイクロホンが１パッケージで形成されている構成を採用するのが好ましい。
【００７５】
図９は、本実施形態の変形例を説明するための図で、ニアフィールドマイクロホンとファーフィールドマイクロホンとが１パッケージで形成された構成を示す概略断面図である。なお、この変形例のマイクロホンの構成はあくまでも例示であり、種々の変更が可能であるのは言うまでもない。要は、１パッケージでニアフィールドマイクロホンの機能とファーフィールドマイクロホンの機能とが発揮できる構成であればよい。
【００７６】
図９で示す変形例のマイクロホン４００の構成は、図３に示すニアフィールドマイクロホンＮＦＭの構成とほぼ同様である。図３に示すマイクロホンの構成に、新たにＭＥＭＳチップ４０１（ＭＥＭＳチップ２２１と同じ構成を有するもの）を追加した点が異なる。なお、図９においては、図３に示すマイクロホンと重複する部分には同一の符号を付している。
【００７７】
マイクロホン４００の外部で音が生じると、第１音孔２１２から入力された音波が第１の音道Ｐ１によって第２のＭＥＭＳチップ４０１の振動板４０１ａの上面に到達し、振動板４０１ａが振動する。第２のＭＥＭＳチップ４０１の振動板４０１ａは、この上面に加わる音波によってのみ振動し、この第２のＭＥＭＳチップ４０１から出力される信号を使用すれば、本実施形態のファーフィールドマイクロホンＦＦＭと同様の機能が得られる。
【００７８】
また、マイクロホン４００の外部で音が生じると、第１音孔２１２から入力された音波が第１の音道Ｐ１によって第１のＭＥＭＳチップ２２１の振動板２２１ａの上面に到達すると共に、第２音孔２１３から入力された音波が第２の音道Ｐ２によって第１のＭＥＭＳチップ２２１の振動板２２１ａの下面に到達する。このために、第１のＭＥＭＳチップ２２１の振動板２２１ａは、上面に加わる音圧と下面に加わる音圧との音圧差によって振動する。このため、第１のＭＥＭＳチップ２２１から出力される信号を使用すれば、本実施形態のニアフィールドマイクロホンＮＦＭと同様の機能が得られる。
【００７９】
また、以上に示した実施形態では、レンズ駆動部１１２の駆動の有無にかかわらず、音分離装置１５の音信号処理部（ＩＣＡ処理部）１３は分離行列Ｗの最適化を行うように構成した。しかし、常時、分離行列Ｗの最適化を行った場合、主なノイズ源となるレンズ駆動部が動作していない状態においても分離行列Ｗの最適化の処理が行われるため、分離行列Ｗが異常な値に収束あるいは発散してしまう場合がある。これを防止するため、レンズ駆動部１１２が駆動している場合（機械音が発生している場合）に分離行列Ｗの最適化を行い、レンズ駆動部１１２が駆動していない場合（機械音が発生していない場合）には分離行列Ｗの最適化は行わないようにすることが好ましい
【００８０】
図１０は、本実施形態の変形例を説明するための図で、レンズ駆動部の駆動の有無で分離行列の最適化を行うか否かを切り替えられる構成を備えた音分離装置のブロック図である。図１０に示すように、変形例の音分離装置１７は、本実施形態の音分離装置１５のＩＣＡ処理部１３３内に、最適化オンオフ部１３４が追加された構成となっている。
【００８１】
最適化オンオフ部１３４は、カメラユニット１の制御部１８と電気的に接続されている。この制御部１８は、レンズ駆動部１１２の制御も行うものであり、レンズ駆動部１１２の駆動の有無について把握している。制御部１８からレンズ駆動部１１２を駆動させるという情報が最適化オンオフ部１３４に入力された場合には、本実施形態の場合と同様に、ＩＣＡ処理部１３３は分離行列Ｗの最適化を行いながら、音信号の分離抽出を行う。一方、制御部１８からレンズ駆動部１１２を駆動させないという情報が最適化オンオフ部１３４に入力された場合には、ＩＣＡ処理部１３３は分離行列Ｗの最適化を行わず、分離行列Ｗ値をホールドする。これにより、ＩＣＡ処理を安定に動作させることが可能である。
【００８２】
このような音分離装置１７では、近接音源からの音のうち、カメラユニット１から発生する機械音について効果的に分離抽出し、操作者の声等については分離せずに、遠方音源からの音とともに目的音として抽出されることになる。カメラユニット１で動画撮影する場合に、操作者の音は除去したくないという要望も考えられ、本変形例は、このような要望に対して好適な構成である。
【００８３】
また、以上に示した実施形態では、カメラユニット１が備えるマイクロホンＮＦＭ、ＦＦＭが、半導体製造技術を利用して形成されるＭＥＭＳマイクロホンである構成とした。しかし、本発明は、この構成に限定されるものではない。例えば、マイクロホンが、エレクトレック膜を使用したコンデンサマイクロホン（ＥＣＭ）等であっても構わない。また、カメラユニット１が備えるマイクロホンＮＦＭ、ＦＦＭは、いわゆるコンデンサ型マイクロホンに限らず、例えば、動電型（ダイナミック型）、電磁型（マグネティック型）、圧電型等のマイクロホン等でも構わない。
【００８４】
また、以上に示した実施形態では、ニアフィールドマイクロホンＮＭＦは、１つの振動板２２１ａのみを有する差動マイクロホンとして構成されている。しかし、本発明は、この構成に限られるものではない。すなわち、ニアフィールドマイクロホンは、例えば２つの振動板を有し、それぞれの振動板に基づいて出力される信号の差分を音信号として出力するタイプの差動マイクロホンであっても構わない。
【００８５】
また、以上に示した実施形態では、ニアフィールドマイクロホンＮＭＦは、１次傾度の差動マイクロホンとして構成されている。しかし、本発明は、この構成に限られるものではない。すなわち、ニアフィールドマイクロホンは、例えば２次傾度または３次傾度特性を持つ差動マイクロホンであっても構わない。
【００８６】
また、以上に示した実施形態では、ファーフィールドマイクロホンＦＦＭは無指向性マイクロホンとした。しかし、本発明は、この構成に限定されるものではない。ファーフィールドマイクロホンが、例えば単一指向性マイクロホン等の指向性マイクロホンであってもよい。例えば、カメラユニット１による動画撮影時に、集音したい音の方向が特定の方向に限られるような場合には、このような構成も有効である。
【００８７】
その他、以上においては、本発明の音分離装置がカメラユニットに適用される場合を例に説明した。しかしながら、本発明の音分離装置は、近接音源からの音と、遠方音源からの音を分離したい場合に広く適用できるものであり、その適用対象はカメラユニット以外の電子機器、たとえば携帯電話機における背景雑音の分離用途としても応用が可能である。携帯電話機に応用する場合は、ニアフィールドマイクロホンＮＭＦが話者の音声をとらえるように設置し、ファーフィールドマイクロホンＦＦＭは背景雑音を含んだ音声をとらえるように設置することにより、話者音声と背景雑音を分離することが可能である。
【産業上の利用可能性】
【００８８】
本発明は、動画撮影が可能なカメラユニットに好適である。
【符号の説明】
【００８９】
１ カメラユニット
１１ 撮像部
１４ 蓄積部
１３ 音信号処理部
１５ 音分離装置
１１１ レンズ部
１１２ レンズ駆動部
２２１ａ 振動板
ＮＦＭ ニアフィールドマイクロホン（第２のマイクロホン）
ＦＦＭ ファーフィールドマイクロホン（第１のマイクロホン）
【特許請求の範囲】
【請求項１】
入力音を第１の音信号に変換する第１のマイクロホンと、
入力音を第２の音信号に変換し、前記第１のマイクロホンと比べて距離減衰率が大きい特性を持つ第２のマイクロホンと、
入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部と、
を備える音分離装置。
【請求項２】
前記第２のマイクロホンは差動マイクロホンである、請求項１に記載の音分離装置。
【請求項３】
前記差動マイクロホンは１次傾度特性を持つ、請求項２に記載の音分離装置。
【請求項４】
前記差動マイクロホンは、音圧によって振動する振動板を１つのみ有する、請求項２又は３に記載の音分離装置。
【請求項５】
前記第１のマイクロホンは、無指向性のマイクロホンである、請求項１から４のいずれかに記載の音分離装置。
【請求項６】
前記第１のマイクロホンと前記第２のマイクロホンとが１つのパッケージで形成されている、請求項１から５のいずれかに記載の音分離装置。
【請求項７】
請求項１から６のいずれかに記載の音分離装置を備える、カメラユニット。
【請求項８】
被写体を撮像して撮像情報を映像信号に変換する撮像部と、
前記映像信号と前記第４の音信号とを蓄積する蓄積部と、を更に備える、請求項６に記載のカメラユニット。
【請求項９】
前記撮像部には、前記被写体方向からの入射光を結像するレンズ部と、前記レンズ部に含まれる可動レンズを駆動するレンズ駆動部と、が含まれ、
前記音信号処理部は、前記レンズ駆動部が動作している期間に前記分離行列の最適化を行い、前記レンズ駆動部が動作していない期間は前記分離行列の最適化は行わない、請求項７又は８に記載のカメラユニット。
【請求項１】
入力音を第１の音信号に変換する第１のマイクロホンと、
入力音を第２の音信号に変換し、前記第１のマイクロホンと比べて距離減衰率が大きい特性を持つ第２のマイクロホンと、
入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部と、
を備える音分離装置。
【請求項２】
前記第２のマイクロホンは差動マイクロホンである、請求項１に記載の音分離装置。
【請求項３】
前記差動マイクロホンは１次傾度特性を持つ、請求項２に記載の音分離装置。
【請求項４】
前記差動マイクロホンは、音圧によって振動する振動板を１つのみ有する、請求項２又は３に記載の音分離装置。
【請求項５】
前記第１のマイクロホンは、無指向性のマイクロホンである、請求項１から４のいずれかに記載の音分離装置。
【請求項６】
前記第１のマイクロホンと前記第２のマイクロホンとが１つのパッケージで形成されている、請求項１から５のいずれかに記載の音分離装置。
【請求項７】
請求項１から６のいずれかに記載の音分離装置を備える、カメラユニット。
【請求項８】
被写体を撮像して撮像情報を映像信号に変換する撮像部と、
前記映像信号と前記第４の音信号とを蓄積する蓄積部と、を更に備える、請求項６に記載のカメラユニット。
【請求項９】
前記撮像部には、前記被写体方向からの入射光を結像するレンズ部と、前記レンズ部に含まれる可動レンズを駆動するレンズ駆動部と、が含まれ、
前記音信号処理部は、前記レンズ駆動部が動作している期間に前記分離行列の最適化を行い、前記レンズ駆動部が動作していない期間は前記分離行列の最適化は行わない、請求項７又は８に記載のカメラユニット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３８９６４（Ｐ２０１２−２３８９６４Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５４０４（Ｐ２０１１−１０５４０４）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
[ Back to top ]