録音再生装置
【課題】録音時には音声が確実に録音されていることが容易に確認でき、再生、変換時には、所望とする指向性で確実に再生、変換できていることを容易に判断できる録音再生装置を実現する。
【解決手段】録音モードが選択されると、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３による収音が行われ、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）が記憶部３に記憶される。この際、録音状態が表示部６にグラフィカル表示されるとともに、モニタ音声が放音される。再生モードが選択されると、収音が停止され、記憶部３に記憶された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用いて再生音声データが生成される。この際、表示部６には方位毎の音声状況がグラフィカル表示されており、当該表示部６を介して指向性等を指定することで、所望の再生音声が生成される。
【解決手段】録音モードが選択されると、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３による収音が行われ、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）が記憶部３に記憶される。この際、録音状態が表示部６にグラフィカル表示されるとともに、モニタ音声が放音される。再生モードが選択されると、収音が停止され、記憶部３に記憶された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用いて再生音声データが生成される。この際、表示部６には方位毎の音声状況がグラフィカル表示されており、当該表示部６を介して指向性等を指定することで、所望の再生音声が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、話者音声等を録音するとともに、当該録音された音を再生する録音再生装置に関するものである。
【背景技術】
【０００２】
従来、録音と再生とを行う録音再生装置が各種考案されている。例えば、特許文献１に記載の録音再生装置では、複数のマイクロホンを備え、各マイクロホンの収音信号をカセットテープ等の記憶媒体に記憶する。そして、再生操作が行われた場合には、再生操作によって指定される指向性に応じて、マイクロホン毎の録音信号の合成比等を調整して、指定された指向性の音声を再生する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２９８９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の録音再生装置では、再生時にどのような指向性に設定すれば、目的音声を含む最適な音声信号になるのかを示す指標が表示されていない。このため、ユーザは選択した指向性によって目的音声を最適に再生できているかどうかを判断することが難しい。また、収音時に収音状況を確認することができないので、目的音声が再生音声に含まれていない場合等に、適正に収音されていないのか、再生時の指向性が最適でないのかを判断することが難しい。さらには、各マイクロホンの収音信号を合成し、所定の指向性の音声信号に変換して再度録音する場合にも、目的音声を含む最適な指向性の音声信号が録音されているかどうかを容易に確認することができない。
【０００５】
したがって、この発明の目的は、上述のような録音時には音声が確実に録音されていることが容易に確認でき、再生、変換時には、所望とする指向性で確実に再生、変換できていることを容易に判断できる録音再生装置を実現することにある。
【課題を解決するための手段】
【０００６】
（１）この発明の録音再生装置は、複数のマイクロホン、音声データ生成部、方向別音響情報データ生成部、記憶部、制御部、表示部、指向性音声信号生成部、および放音部を備える。複数のマイクロホンは、それぞれに異なる収音範囲から収音し、収音信号を生成する。音声データ生成部は、各収音信号を所定サンプリングタイミング毎の音声データに変換する。方向別音響情報データ生成部は、各音声データに基づいて方向別音響情報データを生成する。記憶部は、各音声データと方向別音響情報データとを記憶する。制御部は、操作入力に基づいて複数の音声信号処理モードおよび指向性を設定する。表示部は、音声データの生成状況および記憶状態を表示する。指向性音声信号生成部は、音声データに基づいて所望の指向性からなる指向性音声信号を生成する。放音部は、指向性音声信号を放音する。
【０００７】
この構成では、録音時にはマイクロホンで収音して得られる音声データが記憶されるとともに、方向別音響情報データにより録音状態が表示される。一方、再生時には、指定した指向性に応じて、音声データを指向性制御した指向性音声信号が出力される。この際、録音状態が表示されているので、再生のため情報が分かる。
【０００８】
（２）また、この発明の録音再生装置では、制御部により音声処理モードが録音モードに設定されると、指向性音声信号生成部は、前記音声データ生成部からの各音声データが記憶部に記憶されるのと並行して、各音声データに基づく信号を合成することで、制御部で指定された指向性のモニタ音声信号を生成して音声信号出力端子から出力する。方向別音響情報データ生成部は、音声データ生成部からの各音声データに基づいて方向別音響情報データとして音源到来方向データを生成して、記憶部に記憶するとともに表示部へ与える。
【０００９】
この構成では、録音モードの際に、音声データが記憶されるのに並行して、方向別音響情報データとして、より具体的に音源到来方向データが記憶されるとともに表示される。これにより、ユーザは録音状態を視覚的に容易に確認することができる。
【００１０】
（３）また、この発明の録音再生装置では、制御部により録音モードが設定されると、方向別音響情報データ生成部は、音源到来方向データとして、最も支配的な音源の到来方向が時々刻々変化するのに追従して、支配的な音源方向を強調する指向性パラメータである追尾指向性データを生成し記憶部に記憶する。
【００１１】
この構成では、録音モード時に、音源到来方向データとして、さらに具体的に追尾指向性データが記憶される。これにより、ユーザは、各時点において最も支配的に話している話者（例えば議論中に最も主張している話者等）の方向を視覚的に容易に確認することができる。
【００１２】
（４）また、この発明の録音再生装置では、制御部により音声処理モードが再生モードに設定されると、指向性音声信号生成部は、記憶部から読み出した各音声データからなる信号を合成して制御部で指定された指向性の再生音声信号を生成し、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力する。
【００１３】
この構成では、再生モード時に、ユーザが表示部と見ながら等により指定した指向性によって再生音声信号が生成されて出力される。これにより、ユーザは所望の指向性からなる再生音声信号を容易に指定して、放音または出力することができる。
【００１４】
（５）また、この発明の録音再生装置の指向性音声信号生成部は、記憶部から読み出した各音声データと追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力する。表示部は、音源到来方向データを用いて、最も支配的な音源方向を強調する指向性の再生音声信号に応じた表示を行う。
【００１５】
この構成では、再生モード時に、より具体的に、話者方向を追尾した再生音声信号が放音または出力される。これにより、ユーザは、各時点において最も支配的に話している話者（例えば議論中に主張している話者等）の声をつなげて再生することが容易にできる。
【００１６】
（６）また、この発明の録音再生装置では、制御部により音声処理モードが変換モードに設定されると、指向性音声信号生成部は、記憶部から読み出した各音声データからなる信号を合成して、制御部で指定された指向性の変換音声信号を生成し、変換音声記憶部に記憶する。
【００１７】
この構成では、変換モード時に、ユーザが表示部を見ながら等により指定した指向性によって変換音声信号が生成されて出力される。これにより、ユーザは所望の指向性からなる変換音声信号を容易に指定して、再記憶することができる。
【００１８】
（７）また、この発明の録音再生装置の指向性音声信号生成部は、記憶部から読み出した各音声データと追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、変換音声記憶部に記憶する。
【００１９】
この構成では、変換モード時に、より具体的に、話者方向を追尾しながら得たような変換音声信号が記憶される。これにより、ユーザは、各時点において最も支配的に話している話者（例えば議論中に主張している話者等）の声をつなげて記憶することが容易にできる。
【００２０】
（８）また、この発明の録音再生装置の方向別音響情報データ生成部は、音源到来方向データとして、最も支配的な音源の到来方向とその他の音源の到来方向をそれぞれ生成する。
【００２１】
この構成では、音源到来方向データとして、例えばメイン音源到来方向データ、サブ音源到来方向データ、追尾指向性データを生成する。ここで、メイン音源到来方向データは、最も支配的な（例えば音圧が高い）音源の方向によって表され、サブ音源到来方向データは、その他の音源が検出された場合、それらの音源の方向によって表される。また、追尾指向性データは、各時刻に対応した指向性を得るためのパラメータであり、例えば、最も支配的な音源のＳ／Ｎを最適にする指向性パラメータによって表される。このような追尾指向性データを録音モード時に記憶することで、再生モードまたは変換モードにおいて、上述のように指向性を自動的に変えることができ、このように自動的に指向性が変化させられた音声信号が出力される。
【００２２】
（９）また、この発明の録音再生装置の複数のマイクロホンは、それぞれの収音感度が最大となる方向が異なるとともに一点で交わる単一指向性マイクロホンである。
【００２３】
この構成は、マイクロホンの具体的構成を示すものであり、このような構成とすることで、録音再生装置に対する全周囲方向から収音できる。
【００２４】
（１０）また、この発明の録音再生装置の放音部は独立に駆動可能な複数のスピーカである。
【００２５】
この構成では、独立駆動可能な複数のスピーカを有することで、上述の各再生音をモノラル、ステレオ等の複数の態様で放音できる。
【発明の効果】
【００２６】
この発明によれば、録音モードが選択された際に所望の音声が確実に収音されていることを容易に確認することができる。さらに、再生モードが選択された際には、所望の音声を含む再生を確実に行うことができる。さらに、変換モードが選択された際には、所望の音声を含む変換音声を確実に記憶することができる。すなわち、録音、再生、音声変換録音の際に、所望の音声を外して処理していないことを容易に確認することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る放収音装置の外観図である。
【図２】本発明の実施形態の録音再生装置の主要構成を示す回路ブロック図である。
【図３】本発明の実施形態の録音再生装置で設定可能な収音指向性制御およびオプションとして設定できる項目を示す表である。
【図４】録音モード時における録音再生装置の主要構成を示す回路ブロック図である。
【図５】録音モード時の表示画面９００の一例を示す図である。
【図６】再生モード時における録音再生装置の主要構成を示す回路ブロック図である。
【図７】再生モード時の表示画面９００’の一例を示す図である。
【図８】変換モード時における録音再生装置の主要構成を示す回路ブロック図である。
【発明を実施するための形態】
【００２８】
本発明の第１の実施形態に係る録音再生装置について図を参照して説明する。録音再生装置は、図１に示す放収音装置１と、該放収音装置１に接続するパーソナルコンピュータとからなる。
【００２９】
図１（Ａ）は本実施形態に係る放収音装置１の外観斜視図であり、図１（Ｂ）は放収音装置１の正面図である。図１（Ｃ）は放収音装置１の上面図であり、図１（Ｄ）は放収音装置１の右側面側から見た側面図である。
【００３０】
放収音装置１は、直方体の筐体１０を備える。筐体１０は、図１に示すように、二つのスピーカＳＰ１，ＳＰ２、三つのマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３を備える。さらに、筐体１０は、図１に示されていないが、後述する図２に示す記憶部３、表示部６、変換音声記憶部９および操作部９１を除く回路を実現する回路モジュールを内装している。なお、表示部６を除く各部を、放収音装置１に備えるようにしてもよい。そして、放収音装置１に内装されていない各部は、前記パーソナルコンピュータ等の外部接続装置によって実現する。
【００３１】
筐体１０の正面１０Ｆには、長手方向に沿って二つのスピーカＳＰ１，ＳＰ２が配列して設置されている。この際、スピーカＳＰ１，ＳＰ２は、筐体１の正面１０Ｆに直交する方向が放音の中心方向となるように設置されている。
【００３２】
筐体１０の天面１０Ｕ上には、単一指向性を有する複数のマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３が配置されている。マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、振動面（受音面）が天面１０Ｕに直交するように配置される。マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、各振動面がマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３で囲まれる内側領域を向くように配置される。
【００３３】
これらのマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、樹脂等の剛体からなるマイク支持枠１１によって互いの相対的位置が固定される。そして、このマイク支持枠１１は、マイク枠支持部材１２によって筐体１０の天面１０Ｕに固定される。ここで、マイク枠支持部材１２は、筐体１０の天面１０Ｕに形成された支持柱と、該支持柱とマイク支持枠１１とを連結する弾性体とからなり、マイク支持枠１１は天面１０Ｕから離間して固定される。
【００３４】
次に、より具体的に、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３の配置および各マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３の指向性およびスピーカＳＰ１，ＳＰ２の指向性の関係について説明する。
【００３５】
マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、互いの振動面の成す角がそれぞれ１２０°となるように配置され、且つ可能な限り互いに振動面が近接するように配置されている。これにより、マイクロホンＭＩＣｈ１の収音感度の最大となる方向（最大収音感度方向）Ｄｍ１と、マイクロホンＭＩＣｈ２の最大収音感度方向Ｄｍ２と、マイクロホンＭＩＣｈ３の最大収音感度方向Ｄｍ３は、前記マイクによって囲まれる内側領域の中心で交わるように設定される。この際、マイクロホンＭＩＣｈ３の最大収音感度方向Ｄｍ３が、スピーカＳＰ１，ＳＰ２の放音中心方向Ｄｈ１，Ｄｈ２、すなわち筐体１０の正面１０Ｆに直交する方向と一致するように、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３が設置される。
【００３６】
このような最大感度方向Ｄｍ１，Ｄｍ２，Ｄｍ３の位置関係を設定した単一指向性のマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３を用いることで、放収音装置１の全方位に対して収音が可能になる。
【００３７】
次に、本実施形態の録音再生装置の回路構成について図を参照して説明する。
図２は、本実施形態の録音再生装置の主要構成を示す回路ブロック図である。
【００３８】
録音再生装置は、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３、スピーカＳＰ１，ＳＰ２、音声データ生成部２、記憶部３、音源到来方向検出部４、レベルデータ生成部５、表示部６、指向性音声信号合成部７、放音信号生成部８、変換音声記憶部９、制御部９０、操作部９１を備える。
【００３９】
マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、外部から収音して、それぞれにアナログ形式の収音信号Ｓｈｍ１（ｔ），Ｓｈｍ２（ｔ），Ｓｈｍ３（ｔ）を出力する。
【００４０】
音声データ生成部２は、増幅器２１１〜２１３と、アナログデジタル変換器（ＡＤＣ）２２１〜２２３を備える。増幅器２１１〜２１３には、制御部９０からマイク感度設定係数が与えられている。増幅器２１１は、当該マイク感度設定係数に応じて収音信号Ｓｈｍ１（ｔ）を増幅し、ＡＤＣ２２１は、増幅された収音信号Ｓｈｍ１（ｔ）を所定サンプリングタイムでＡ／Ｄ変換し、デジタル形式の音声データＳｈｍ１（ｎ）を生成する。増幅器２１２は、当該マイク感度設定係数に応じて収音信号Ｓｈｍ２（ｔ）を増幅し、ＡＤＣ２２２は、増幅された収音信号Ｓｈｍ２（ｔ）を所定サンプリングタイムでＡ／Ｄ変換し、デジタル形式の音声データＳｈｍ２（ｎ）を生成する。増幅器２１３は、当該マイク感度設定係数に応じて収音信号Ｓｈｍ３（ｔ）を増幅し、ＡＤＣ２２３は、増幅された収音信号Ｓｈｍ３（ｔ）を所定サンプリングタイムでＡ／Ｄ変換し、デジタル形式の音声データＳｈｍ３（ｎ）を生成する。
【００４１】
これら音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）は、記憶部３、音源到来方向検出部４、レベルデータ生成部５、指向性音声信号合成部７へ出力される。
【００４２】
音源到来方向検出部４は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用いて、予め設定された放収音装置１を基準とした水平面上の複数方位（例えば８方位）の分解能で、メイン音源到来方向とサブ音源到来方向を推定するとともに、追尾指向性データを算出する。具体的には、例えば、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用いて、水平面上の特定の方位を強調する指向性の音声信号を合成し、当該各方位に対応する方位別の指向性音声信号のパワーを比較する。音源到来方向検出部４は、当該比較結果に基づいて、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）、追尾指向性データＤｉｒＰ（ｎ）を算出する。ここで、メイン音源到来方向データＤｉｒＭ（Ｎ）は、パワーが最大となる方位別音声データに対応する方位を検出することで得られる。サブ音源到来方向データＤｉｒＳ（Ｎ）は、パワーが所定値以上となる方位別音声データに対応する方位を検出することで得られる。追尾指向性データＤｉｒＰ（ｎ）は、メイン音源到来方向データＤｉｒＭ（Ｎ）およびサブ音源到来方向データＤｉｒＳ（Ｎ）よりも、短い時間間隔（例えば音声データ生成のサンプリングタイム）でパワーが最大となる方位別音声データを取得し、当該方位別音声データに対応する方位を強調する指向性パラメータを算出することで得られる。
【００４３】
音源到来方向検出部４は、追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を記憶部３へ出力し、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を表示部６へ出力する。
【００４４】
記憶部３は、第１音声データ記憶部３１、第２音声データ記憶部３２、および第３音声データ記憶部３３を備える。また、記憶部３は、追尾指向性データ記憶部３５、メイン音源到来方向データ記憶部３６、およびサブ音源到来方向データ記憶部３７を備える。
【００４５】
第１音声データ記憶部３１は音声データＳｈｍ１（ｎ）を順次記憶し、第２音声データ記憶部３２は音声データＳｈｍ２（ｎ）を順次記憶し、第３音声データ記憶部３３は音声データＳｈｍ３（ｎ）を順次記憶する。追尾指向性データ記憶部３５は、追尾指向性データＤｉｒＰ（ｎ）を順次記憶する。メイン音源到来方向データ記憶部３６は、メイン音源到来方向データＤｉｒＭ（Ｎ）を順次記憶し、サブ音源到来方向データ記憶部３７は、サブ音源到来方向データＤｉｒＳ（Ｎ）を順次記憶する。
【００４６】
レベルデータ生成部５は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）のパワーを算出して比較し、最大パワーの対数を算出することでレベルデータＬ（ｎ）を生成して出力する。
【００４７】
また、レベルデータ生成部５は、後述する指向性音声信号合成部７から出力される再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）の合成パワーを算出し、当該合成パワーの対数をレベルデータＬ’（ｎ）として出力する。
【００４８】
レベルデータ生成部５は、レベルデータＬ（ｎ），Ｌ’（ｎ）を表示部６へ出力する。
【００４９】
表示部６は、追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）とレベルデータＬ（ｎ），Ｌ’（ｎ）とに基づいて、制御部９０から指定されるモードに応じた表示態様で表示を行う。すなわち、録音モードが指定されていれば録音モード表示を行い、再生モードが指定されていれば再生モード表示を行う。また、変換モードの際には、表示を行っても行わなくてもよく、表示を行う場合には、例えば再生モード表示を利用する。なお、表示状態は、後述するモード毎の動作説明の際に詳細に説明する。
【００５０】
指向性音声信号合成部７は、制御部９０から音声処理モードとして録音モードが設定されるとともに、詳細を後述する図３に示すような所定の指向性が設定されると、これらに基づいて、音声データ生成部２からの音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）または記憶部３から読み出された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を合成して、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）や再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）もしくは変換音声データＳＴ（ｎ）を生成する。なお、モード毎の処理については、後述のモード毎の動作説明の際に詳細に説明する。
【００５１】
放音信号生成部８は、デジタルアナログ変換器（ＤＡＣ）８１１，８１２と、アンプ８２１，８２２と、ＳＷ８３１，８３２を有する。ＤＡＣ８１１，８１２は、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）や再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）をデジタル形式からアナログ形式へ変換する。アンプ８２１，８２２は、アナログ変換されたモニタ音声信号ＭｎＲ１（ｔ），ＭｎＲ２（ｔ）や再生音声信号ＭｎＰ１（ｔ），ＭｎＰ２（ｔ）を所定増幅率で増幅する。ＳＷ８３１は、モニタ音声信号ＭｎＲ１（ｔ）や再生音声信号ＭｎＰ１（ｔ）を、設定されたモードやユーザからの操作入力に応じて、スピーカＳＰ１か音声信号出力端子Ｌｏｕｔへ出力する。ＳＷ８３２は、モニタ音声信号ＭｎＲ２（ｔ）や再生音声信号ＭｎＰ２（ｔ）を、設定されたモードやユーザからの操作入力に応じて、スピーカＳＰ２か音声信号出力端子Ｌｏｕｔへ出力する。
【００５２】
操作部９１は、ユーザからの操作入力を受け付け、操作入力信号を制御部９０へ与える。なお、操作部９１は、個別に操作子を有するものであってもよいが、後述する表示部６の表示画面９００の所定位置を選択する選択子と、当該選択子により選択された位置に基づいて操作内容を識別する識別部とにより構成する。
【００５３】
制御部９０は、録音再生装置の電源制御等の全体制御を行うとともに、操作部９１を介して受け付けたモードや指向性等を、指向性音声信号合成部７をはじめとする録音再生装置の必要な各部へ与える。
【００５４】
次に、モード毎の動作説明を行う。ここで、モードは、録音モード、再生モード、変換モードを有する。
【００５５】
録音モードは、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３で収音して、記憶部３へ記憶することをメイン処理とするモードである。再生モードは、記憶部３に記憶された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて、所望の指向性の音声信号に合成し、音声再生することをメイン処理とするモードである。さらに、変換モードは、記憶部３に記憶された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて、所望の指向性の音声信号に合成し、特定の変換音声データとして再記憶することをメイン処理とするモードである。
【００５６】
また、各モードにおいては、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて、次に示す各種の収音指向性制御（音声制御）を行うことができる。なお、図３は、本実施形態の録音再生装置で設定可能な収音指向性制御およびオプションとして設定できる項目を示す表である。
【００５７】
（Ａ）２ｃｈ前方ステレオ音声制御
２ｃｈ前方ステレオ音声制御では、放収音装置１の筐体１０の正面１０Ｆに直交する当該正面１０Ｆから外方を向く方向（スピーカＳＰ１，ＳＰ２の放音方向）を０°方向とする。そして、当該０°方向に対して水平方向に対称な左右４５°方向を最大収音感度とする単一指向性の信号をそれぞれ合成し、これら二本の指向性制御された音声データを生成する。
【００５８】
（Ｂ）２ｃｈ全周囲ステレオ音声制御
２ｃｈ全周囲ステレオ音声制御では、上述の２ｃｈ前方ステレオ音声制御と同様に、０°方向を設定し、当該０°方向に対して水平方向に対称な左右９０°方向を最大収音感度とする単一指向性の信号をそれぞれ合成する。そして、これら二本の指向性制御された音声データを生成する。
【００５９】
（Ｃ）２ｃｈヘッドホンサラウンド音声制御
２ｃｈヘッドホンサラウンド音声制御では、既知の方法を用い、ヘッドホンで聞くときに再生音が立体的に聞こえるような二つの音声データを生成する。
【００６０】
（Ｄ）音声追尾制御
音声追尾制御では、上述の追尾指向性データＤｉｒＰ（ｎ）によって得られる指向性パラメータをもとに、時々刻々指向性を制御しながら一つの音声データを生成する。
【００６１】
（Ｅ）方向固定強調指向性音声制御
方向固定強調指向性音声制御では、操作部９１によって指定された方位を強調するように指向性を制御して、一つの音声データを生成する。
【００６２】
（Ｆ）前方モノラル音声制御
前方モノラル音声制御では、上述の０°方向が最大収音感度となる指向性を設定して、一つの音声データを生成する。
【００６３】
（Ｇ）全周囲モノラル音声制御
全周囲モノラル音声制御では、各マイクロホンによって得られる信号から無指向性の信号を合成することで、放収音装置１の全周囲方向から均一に収音できるような指向性を設定して、一つの音声データを生成する。
【００６４】
（１）録音モード
図４は録音モード時における録音再生装置の主要構成を示す回路ブロック図である。なお、図４では、操作部９１と表示部６とを個別に記載しているが、以下の説明では、表示部６による表示画面２００上の所定箇所を選択することで、操作を受け付けるようにし、操作部９１として機能させている。
【００６５】
表示部６の表示による操作部９１で録音モードが操作入力されると、制御部９０は録音再生装置の各部に対して録音モードであることを指示する。
【００６６】
音声データ生成部２は、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３で収音された収音信号Ｓｈｍ１（ｔ），Ｓｈｍ２（ｔ），Ｓｈｍ３（ｔ）からそれぞれ音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を音声データ生成用サンプリングタイムに応じて順次生成し、記憶部３、音源到来方向検出部４、レベルデータ生成部５、指向性音声信号合成部７に出力する。
【００６７】
音源到来方向検出部４は、上述のように音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）から追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を生成し、記憶部３および表示部６へ出力する。
【００６８】
記憶部３は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）と、追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）とを、順次記憶する。この際、記憶部３は、それぞれのデータ同士における時間軸上の関係が識別できるように記憶する。
【００６９】
レベルデータ生成部５は、音声データ生成部２からの音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）に基づいて、録音時におけるレベルデータＬ（ｎ）を順次生成し、表示部６へ出力する。
【００７０】
指向性音声信号合成部７は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用い、制御部９０から指定される上述の（Ａ）〜（Ｇ）のいずれかの音声制御に基づいて、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）を生成する。この際、指向性音声信号合成部７は、２ｃｈ（チャンネル）の音声データを生成する場合であれば、各チャンネルへの音声信号をモニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）のそれぞれに割り当て、１ｃｈの音声データを生成する場合であれば、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）の両方に同じ音声データを割り当てるか、いずれか一方をミュートにする。
【００７１】
放音信号生成部８は、入力されたモニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）をＤ／Ａ変換する。放音信号生成部８は、アナログ変換されたこれらの信号を所定増幅率で増幅して、これらの信号を独立させた状態で音声信号出力端子Ｌｏｕｔから出力する。音声信号出力端子Ｌｏｕｔから出力される信号をヘッドホンで聞くことにより、録音されている音を聴覚的に容易に確認することができる。
【００７２】
表示部６は、録音モードが指定されると、図５に示すような表示画面９００を表示する。図５は、録音モード時の表示画面９００の一例を示す図である。なお、図５には、再生モード時に利用する各機能表示部も示されているので、ここでは、録音モード時に利用する機能表示部のみを表示処理の内容とともに説明する。
【００７３】
表示部６は、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、録音状態をタイムチャート表示部９０１に表示する。具体的には、タイムチャート表示部９０１は、放収音装置１の正面１０Ｆ方向を０°方向とし、天面１０Ｕ側から見て時計回りとなる角度で予め設定した複数の方位を縦軸に並べて表示している。さらに、タイムチャート表示部９０１は、横軸として、録音開始時点からの経過時間を設定し、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、該当する方位の横軸に帯状のメイン方位マーク（図５における格子状網掛け部）およびサブ方位マーク（図５における斜線網掛け部）を表示する。この際、同一時間においては、メイン方位マークは一つ設定され、サブ方位マークは該当するものであれば複数設定される。
【００７４】
なお、タイムチャート表示部９０１の横軸のスケールは、録音時間の経過に応じて順次変更してもよく、横軸のスケールは固定にして録音時間の経過に応じて最新の所定時間長分だけを順次表示するようにしてもよい。このようなタイムチャート表示部９０１を表示することで、視覚的に録音状態や話者方位（音源方位）をリアルタイムで容易に確認することができる。この際、メイン音源到来方向データＤｉｒＭ（Ｎ）およびサブ音源到来方向データＤｉｒＳ（Ｎ）は、音声データ生成用サンプリングタイムよりも長い間隔すなわち粗いサンプリングタイムで取得されるので、表示されるメイン方位マークおよびサブ方位マークは、突発的なノイズ等による音声データのレベルの急変に影響されにくくなり、視認しやすい表示を行うことができる。
【００７５】
また、表示部６は、順次入力されるレベルデータＬ（ｎ）に基づいて、レベル表示部９０２に、録音時のレベルを表示する。この際、レベルデータＬ（ｎ）のレベルに応じて表示を設定する。例えば、レベルデータＬ（ｎ）が高レベルの場合にはレベル表示部９０２の右端（高レベル表示側）を点灯するように表示し、レベルデータＬ（ｎ）が低レベルの場合にはレベル表示部９０２の左端（低レベル表示側）を点灯するように表示する。さらに、このようなレベル表示を行う際、表示部９００は、タイムチャート９０１のメイン方位マークの表示に同期させて、レベルを表示する。これにより、視覚的に録音中の音のレベルをリアルタイムで容易に確認することができる。
【００７６】
また、表示部６は、現在時刻表示部９０３に、録音開始からの経過時間を表示する。なお、この経過時間は、例えば制御部９０にタイマを設け、タイマのカウント値により算出することができる。
【００７７】
また、表示部６は、録音レート表示部９０７に現在のサンプリングレートを表示する。これにより、現在の音声データのサンプリングレートを視覚的に容易に確認することができる。さらに、この録音レート表示部９０７を操作することで、録音開始時にサンプリングレートを適宜設定することもできる。
【００７８】
また、表示部６は、指向性内容表示部９０９に、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）の指向性情報を表示する。これにより、モニタ音声がどのような指向性制御であるかを、視覚的に容易に確認することができる。なお、この指向性内容表示部９０９を操作することで、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）に対して上述の（Ａ）〜（Ｇ）の指向性を指定することができ、上述の指向性音声信号合成部７は、指定された指向性に応じてモニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）を合成して出力することができる。
【００７９】
（２）再生モード
図６は、再生モード時における録音再生装置の主要構成を示す回路ブロック図である。なお、図６でも、操作部９１と表示部６とを個別に記載しているが、以下の説明では、表示部６による表示画面２００上の所定箇所を選択することで、操作を受け付けるようにし、操作部９１として機能させている。
【００８０】
表示部６の表示による操作部９１により再生モードが操作入力されると、制御部９０は録音再生装置の各部に対して再生モードであることを指示する。
【００８１】
再生モードが指示されると、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３および音声データ生成部３、音源到来方向検出部４の機能は停止する。
【００８２】
記憶部３は、再生モードが指示されると、書込処理を行わず、制御部９０からの読出制御に応じて、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）と、追尾指向性データＤｉｒＰ（ｎ）とを、指向性音声信号合成部７へ出力する。また、記憶部３は、読出制御に応じてメイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を表示部６へ出力する。
【００８３】
表示部６は、記憶部３から読み出されたメイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、図７に示すような表示画面９００’を表示する。図７は、再生モード時の表示画面９００’の一例を示す図である。なお、図７は、記録された全時間の内の所定時間を拡大表示した状態を示す。
【００８４】
表示部６は、再生モード時には、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、記憶状態をタイムチャート表示部９０１’に表示する。なお、タイムチャートの縦軸および横軸の表示の基本概要は、録音モード時と同じであるので、異なる箇所のみを説明する。
【００８５】
再生モード時には、タイムチャート表示部９０１’には、初期表示状態として、記憶されている総時間に亘るメイン方位マークやサブ方位マークが表示される。この際、表示部６は、総時間表示部９０４に記憶されている総時間長を表示する。
【００８６】
これと同時に、タイムチャート表示部９０１’には、再生タイミング指定バー９２０が表示される。再生タイミング指定バー９２０は、ユーザの操作により横軸上での位置を変更することができ、再生タイミング指定バー９２０による指定タイミングから再生を行うことができる。この際、表示部６は、現在時刻表示部９０３に、再生タイミング指定バー９２０の位置に応じた時間を表示する。
【００８７】
また、タイムチャート表示部９０１’には、時間軸ズーム操作子９２１が表示され、当該時間軸ズーム操作子９２１を操作することで、例えば再生タイミング指定バー９２０を基準としてタイムチャート表示部９０１’の横軸スケールを変更することができる。
【００８８】
表示部６は、指向性内容表示部９０９に現在指定されている指向性を表示する。そして、指向性内容表示部９０９を操作することで、指向性音声信号合成部７に対して、上述の（Ａ）〜（Ｇ）の指向性を指定することができる。
【００８９】
また、表示部６は、再生停止操作表示部９０５に、再生状態であるか停止状態であるかを表示する。なお、当該再生停止操作表示部９０５の再生ボタン、停止ボタン、先頭回帰ボタンを操作することで、再生、停止、先頭への回帰を指定することができる。
【００９０】
また、表示部６は、「（Ｅ）方向固定強調指向性音声制御」が選択されると、指定された方位のタイムチャートのみを強調表示する。なお、「（Ｅ）方向固定強調指向性音声制御」が選択された状態では、各方位部分を選択することで、再生音声として指定する方位を設定することができる。
【００９１】
また、表示部６は、ヘッドホン切り替えボタン９０６を表示し、ヘッドホン出力が選択されているかどうかを表示する。なお、当該ボタンが選択されると、スピーカＳＰ１，ＳＰ２への出力ではなく、ヘッドホンへの出力を前提とする再生信号の生成を指定することができる。この際、自動的に、「（Ｃ）２ｃｈヘッドホンサラウンド音声制御」が選択されるようにしてもよい。
【００９２】
また、表示部６は、書き出しボタン９０８を表示し、当該書き出しボタン９０８が選択されたことを検出すると、制御部９０は「（３）変換モード」に移行する。
【００９３】
指向性音声信号合成部７は、表示部６を用いた操作入力により指定された指向性に基づいて、記憶部３から読み出された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて指向性合成された、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）を生成する。この際、指向性音声信号合成部７は、指定された再生開始タイミングからの再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）を生成する。
【００９４】
また、「（Ｄ）音声追尾制御」が指定されている場合には、追尾音源到来方向データＤｉｒＰ（ｎ）を読み出し、当該追尾音源到来方向データＤｉｒＰ（ｎ）に基づいて音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を指向制御し、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）を生成する。これら再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）は、レベルデータ生成部５および放音信号生成部８へ出力される。
【００９５】
なお、指向性音声信号合成部７は、２ｃｈの音声信号を合成する場合であれば、各チャンネルの音声信号を再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）のそれぞれに割り当て、１ｃｈの音声信号を合成する場合であれば、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）の両方に同じ音声データを割り当てるか、いずれか一方をミュートにする。
【００９６】
レベルデータ生成部５は、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）のパワーを算出し、当該パワーの対数をレベルデータＬ’（ｎ）として、表示部６へ出力する。表示部６は、レベルデータＬ’（ｎ）に基づいて、レベル表示部９０２に、再生時のレベルを表示する。
【００９７】
放音信号生成部８は、入力された再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）をＤ／Ａ変換する。放音信号生成部８は、アナログ変換されたこれらの信号を所定増幅率で増幅して、それぞれスピーカＳＰ１，ＳＰ２から放音させる。なお、放音信号生成部８は、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）をＤ／Ａ変換して所定増幅率で増幅した後、音声信号出力端子Ｌｏｕｔから出力することもできる。これにより、ヘッドホンを用いて所望の指向性に制御された再生音を聞くこともできる。
【００９８】
このような構成及び処理を行うことで、ユーザは所望のタイミングから所望の指向性で合成された再生音を聞くことができる。この際、表示部６を用いてタイミングおよび指向性を指定することができるので、視覚的に非常に簡単且つ直感的に、ユーザが所望とする再生音を、所望のタイミングから再生することができる。
【００９９】
（３）変換モード
図８は、変換モード時における録音再生装置の主要構成を示す回路ブロック図である。
【０１００】
上述の「（２）再生モード」において、書き出しボタン９０８が操作され、書き出し開始が指定されると、制御部９０は録音再生装置の各部に対して変換モードであることを指示する。
【０１０１】
この変換モードの場合も、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３および音声データ生成部２、音源到来方向検出部４の機能は停止する。
【０１０２】
表示部６は、書き出しボタン９０８の操作により書き出し開始が指定されると、書き出しボタン９０８、指向性設定内容表示部９０９、および再生タイミング指定バー９２０に対する入力の受付のみを許可する状態で表示される。ここで、指向性設定内容表示部９０９を操作することで、変換音声データＳＴ（ｎ）の指向性を上述の（Ａ）〜（Ｇ）のいずれかに設定することができる。また、再生タイミング指定バー９２０を操作することで、書き出し開始のタイミングを指定することができる。
【０１０３】
指向性音声信号合成部７は、表示部６を用いた操作入力により指定された指向性に基づいて、記憶部３から読み出された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて指向性合成された変換音声データＳＴ（ｎ）を生成する。この際、指向性音声信号合成部７は、再生タイミング指定バー９２０により指定された書き出し開始タイミングからの変換音声データＳＴ（ｎ）を生成する。また、「（Ｄ）音声追尾制御」が指定されている場合には、追尾指向性データＤｉｒＰ（ｎ）を読み出し、当該追尾指向性データＤｉｒＰ（ｎ）に基づいて音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて指向性合成された変換音声データＳＴ（ｎ）を生成する。
【０１０４】
変換音声記憶部９は、変換音声データＳＴ（ｎ）を順次記憶する。
【０１０５】
このような構成及び処理を行うことで、ユーザは所望のタイミングから所望の指向性で合成された変換音声を再記憶することができる。この際、表示部６を用いてタイミングおよび指向性等を指定することができるので、視覚的に非常に簡単且つ直感的に、ユーザが所望とする変換音声を、所望とするタイミングから再生することができる。
【０１０６】
以上のように、本実施形態の構成および処理を用いることで、所望の音声を録音、再生、音声変換できているかどうかを容易且つ直感的に確認することができる。
【０１０７】
なお、上述の実施形態では、モニタ音声を出力する例を示したが、モニタ音声を出力しない構成であってもよい。
【０１０８】
また、上述の実施形態では、音源到来方向を表示、記憶する例を示したが、予め設定した方向別に音響情報を表示、記憶するようにしてもよい。ここで、方向別の音響情報としては、例えば方向別のレベル情報、方向別のピッチ情報、方向別の周波数特性等を用いるとよい。
【符号の説明】
【０１０９】
１−放収音装置、２−音声データ生成部、３−記憶部、４−音源到来方向検出部、５−レベルデータ生成部、６−表示部、７−指向性音声信号合成部、８−放音信号生成部、９−変換音声記憶部、９０−制御部、９１−操作部、１０−筐体、１０Ｆ−筐体１０の正面、１０Ｕ−筐体１０の天面、１１−マイク支持枠、１２−マイク枠支持部材、９００−表示画面、９０１−タイムチャート表示部、９０２−レベル表示部、９０３−現在時刻表示部、９０４−総時間表示部、９０５−再生停止操作表示部、９０６−ヘッドホン切り替えボタン、９０７−録音レート表示部、９０８−書き出しボタン、９０９−指向性内容表示部、９２０−再生タイミング指定バー、９２１−時間軸ズーム操作子、ＳＰ１，ＳＰ２−スピーカ、ＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３−単一指向性マイクロホン
【技術分野】
【０００１】
この発明は、話者音声等を録音するとともに、当該録音された音を再生する録音再生装置に関するものである。
【背景技術】
【０００２】
従来、録音と再生とを行う録音再生装置が各種考案されている。例えば、特許文献１に記載の録音再生装置では、複数のマイクロホンを備え、各マイクロホンの収音信号をカセットテープ等の記憶媒体に記憶する。そして、再生操作が行われた場合には、再生操作によって指定される指向性に応じて、マイクロホン毎の録音信号の合成比等を調整して、指定された指向性の音声を再生する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２９８９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の録音再生装置では、再生時にどのような指向性に設定すれば、目的音声を含む最適な音声信号になるのかを示す指標が表示されていない。このため、ユーザは選択した指向性によって目的音声を最適に再生できているかどうかを判断することが難しい。また、収音時に収音状況を確認することができないので、目的音声が再生音声に含まれていない場合等に、適正に収音されていないのか、再生時の指向性が最適でないのかを判断することが難しい。さらには、各マイクロホンの収音信号を合成し、所定の指向性の音声信号に変換して再度録音する場合にも、目的音声を含む最適な指向性の音声信号が録音されているかどうかを容易に確認することができない。
【０００５】
したがって、この発明の目的は、上述のような録音時には音声が確実に録音されていることが容易に確認でき、再生、変換時には、所望とする指向性で確実に再生、変換できていることを容易に判断できる録音再生装置を実現することにある。
【課題を解決するための手段】
【０００６】
（１）この発明の録音再生装置は、複数のマイクロホン、音声データ生成部、方向別音響情報データ生成部、記憶部、制御部、表示部、指向性音声信号生成部、および放音部を備える。複数のマイクロホンは、それぞれに異なる収音範囲から収音し、収音信号を生成する。音声データ生成部は、各収音信号を所定サンプリングタイミング毎の音声データに変換する。方向別音響情報データ生成部は、各音声データに基づいて方向別音響情報データを生成する。記憶部は、各音声データと方向別音響情報データとを記憶する。制御部は、操作入力に基づいて複数の音声信号処理モードおよび指向性を設定する。表示部は、音声データの生成状況および記憶状態を表示する。指向性音声信号生成部は、音声データに基づいて所望の指向性からなる指向性音声信号を生成する。放音部は、指向性音声信号を放音する。
【０００７】
この構成では、録音時にはマイクロホンで収音して得られる音声データが記憶されるとともに、方向別音響情報データにより録音状態が表示される。一方、再生時には、指定した指向性に応じて、音声データを指向性制御した指向性音声信号が出力される。この際、録音状態が表示されているので、再生のため情報が分かる。
【０００８】
（２）また、この発明の録音再生装置では、制御部により音声処理モードが録音モードに設定されると、指向性音声信号生成部は、前記音声データ生成部からの各音声データが記憶部に記憶されるのと並行して、各音声データに基づく信号を合成することで、制御部で指定された指向性のモニタ音声信号を生成して音声信号出力端子から出力する。方向別音響情報データ生成部は、音声データ生成部からの各音声データに基づいて方向別音響情報データとして音源到来方向データを生成して、記憶部に記憶するとともに表示部へ与える。
【０００９】
この構成では、録音モードの際に、音声データが記憶されるのに並行して、方向別音響情報データとして、より具体的に音源到来方向データが記憶されるとともに表示される。これにより、ユーザは録音状態を視覚的に容易に確認することができる。
【００１０】
（３）また、この発明の録音再生装置では、制御部により録音モードが設定されると、方向別音響情報データ生成部は、音源到来方向データとして、最も支配的な音源の到来方向が時々刻々変化するのに追従して、支配的な音源方向を強調する指向性パラメータである追尾指向性データを生成し記憶部に記憶する。
【００１１】
この構成では、録音モード時に、音源到来方向データとして、さらに具体的に追尾指向性データが記憶される。これにより、ユーザは、各時点において最も支配的に話している話者（例えば議論中に最も主張している話者等）の方向を視覚的に容易に確認することができる。
【００１２】
（４）また、この発明の録音再生装置では、制御部により音声処理モードが再生モードに設定されると、指向性音声信号生成部は、記憶部から読み出した各音声データからなる信号を合成して制御部で指定された指向性の再生音声信号を生成し、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力する。
【００１３】
この構成では、再生モード時に、ユーザが表示部と見ながら等により指定した指向性によって再生音声信号が生成されて出力される。これにより、ユーザは所望の指向性からなる再生音声信号を容易に指定して、放音または出力することができる。
【００１４】
（５）また、この発明の録音再生装置の指向性音声信号生成部は、記憶部から読み出した各音声データと追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力する。表示部は、音源到来方向データを用いて、最も支配的な音源方向を強調する指向性の再生音声信号に応じた表示を行う。
【００１５】
この構成では、再生モード時に、より具体的に、話者方向を追尾した再生音声信号が放音または出力される。これにより、ユーザは、各時点において最も支配的に話している話者（例えば議論中に主張している話者等）の声をつなげて再生することが容易にできる。
【００１６】
（６）また、この発明の録音再生装置では、制御部により音声処理モードが変換モードに設定されると、指向性音声信号生成部は、記憶部から読み出した各音声データからなる信号を合成して、制御部で指定された指向性の変換音声信号を生成し、変換音声記憶部に記憶する。
【００１７】
この構成では、変換モード時に、ユーザが表示部を見ながら等により指定した指向性によって変換音声信号が生成されて出力される。これにより、ユーザは所望の指向性からなる変換音声信号を容易に指定して、再記憶することができる。
【００１８】
（７）また、この発明の録音再生装置の指向性音声信号生成部は、記憶部から読み出した各音声データと追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、変換音声記憶部に記憶する。
【００１９】
この構成では、変換モード時に、より具体的に、話者方向を追尾しながら得たような変換音声信号が記憶される。これにより、ユーザは、各時点において最も支配的に話している話者（例えば議論中に主張している話者等）の声をつなげて記憶することが容易にできる。
【００２０】
（８）また、この発明の録音再生装置の方向別音響情報データ生成部は、音源到来方向データとして、最も支配的な音源の到来方向とその他の音源の到来方向をそれぞれ生成する。
【００２１】
この構成では、音源到来方向データとして、例えばメイン音源到来方向データ、サブ音源到来方向データ、追尾指向性データを生成する。ここで、メイン音源到来方向データは、最も支配的な（例えば音圧が高い）音源の方向によって表され、サブ音源到来方向データは、その他の音源が検出された場合、それらの音源の方向によって表される。また、追尾指向性データは、各時刻に対応した指向性を得るためのパラメータであり、例えば、最も支配的な音源のＳ／Ｎを最適にする指向性パラメータによって表される。このような追尾指向性データを録音モード時に記憶することで、再生モードまたは変換モードにおいて、上述のように指向性を自動的に変えることができ、このように自動的に指向性が変化させられた音声信号が出力される。
【００２２】
（９）また、この発明の録音再生装置の複数のマイクロホンは、それぞれの収音感度が最大となる方向が異なるとともに一点で交わる単一指向性マイクロホンである。
【００２３】
この構成は、マイクロホンの具体的構成を示すものであり、このような構成とすることで、録音再生装置に対する全周囲方向から収音できる。
【００２４】
（１０）また、この発明の録音再生装置の放音部は独立に駆動可能な複数のスピーカである。
【００２５】
この構成では、独立駆動可能な複数のスピーカを有することで、上述の各再生音をモノラル、ステレオ等の複数の態様で放音できる。
【発明の効果】
【００２６】
この発明によれば、録音モードが選択された際に所望の音声が確実に収音されていることを容易に確認することができる。さらに、再生モードが選択された際には、所望の音声を含む再生を確実に行うことができる。さらに、変換モードが選択された際には、所望の音声を含む変換音声を確実に記憶することができる。すなわち、録音、再生、音声変換録音の際に、所望の音声を外して処理していないことを容易に確認することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る放収音装置の外観図である。
【図２】本発明の実施形態の録音再生装置の主要構成を示す回路ブロック図である。
【図３】本発明の実施形態の録音再生装置で設定可能な収音指向性制御およびオプションとして設定できる項目を示す表である。
【図４】録音モード時における録音再生装置の主要構成を示す回路ブロック図である。
【図５】録音モード時の表示画面９００の一例を示す図である。
【図６】再生モード時における録音再生装置の主要構成を示す回路ブロック図である。
【図７】再生モード時の表示画面９００’の一例を示す図である。
【図８】変換モード時における録音再生装置の主要構成を示す回路ブロック図である。
【発明を実施するための形態】
【００２８】
本発明の第１の実施形態に係る録音再生装置について図を参照して説明する。録音再生装置は、図１に示す放収音装置１と、該放収音装置１に接続するパーソナルコンピュータとからなる。
【００２９】
図１（Ａ）は本実施形態に係る放収音装置１の外観斜視図であり、図１（Ｂ）は放収音装置１の正面図である。図１（Ｃ）は放収音装置１の上面図であり、図１（Ｄ）は放収音装置１の右側面側から見た側面図である。
【００３０】
放収音装置１は、直方体の筐体１０を備える。筐体１０は、図１に示すように、二つのスピーカＳＰ１，ＳＰ２、三つのマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３を備える。さらに、筐体１０は、図１に示されていないが、後述する図２に示す記憶部３、表示部６、変換音声記憶部９および操作部９１を除く回路を実現する回路モジュールを内装している。なお、表示部６を除く各部を、放収音装置１に備えるようにしてもよい。そして、放収音装置１に内装されていない各部は、前記パーソナルコンピュータ等の外部接続装置によって実現する。
【００３１】
筐体１０の正面１０Ｆには、長手方向に沿って二つのスピーカＳＰ１，ＳＰ２が配列して設置されている。この際、スピーカＳＰ１，ＳＰ２は、筐体１の正面１０Ｆに直交する方向が放音の中心方向となるように設置されている。
【００３２】
筐体１０の天面１０Ｕ上には、単一指向性を有する複数のマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３が配置されている。マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、振動面（受音面）が天面１０Ｕに直交するように配置される。マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、各振動面がマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３で囲まれる内側領域を向くように配置される。
【００３３】
これらのマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、樹脂等の剛体からなるマイク支持枠１１によって互いの相対的位置が固定される。そして、このマイク支持枠１１は、マイク枠支持部材１２によって筐体１０の天面１０Ｕに固定される。ここで、マイク枠支持部材１２は、筐体１０の天面１０Ｕに形成された支持柱と、該支持柱とマイク支持枠１１とを連結する弾性体とからなり、マイク支持枠１１は天面１０Ｕから離間して固定される。
【００３４】
次に、より具体的に、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３の配置および各マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３の指向性およびスピーカＳＰ１，ＳＰ２の指向性の関係について説明する。
【００３５】
マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、互いの振動面の成す角がそれぞれ１２０°となるように配置され、且つ可能な限り互いに振動面が近接するように配置されている。これにより、マイクロホンＭＩＣｈ１の収音感度の最大となる方向（最大収音感度方向）Ｄｍ１と、マイクロホンＭＩＣｈ２の最大収音感度方向Ｄｍ２と、マイクロホンＭＩＣｈ３の最大収音感度方向Ｄｍ３は、前記マイクによって囲まれる内側領域の中心で交わるように設定される。この際、マイクロホンＭＩＣｈ３の最大収音感度方向Ｄｍ３が、スピーカＳＰ１，ＳＰ２の放音中心方向Ｄｈ１，Ｄｈ２、すなわち筐体１０の正面１０Ｆに直交する方向と一致するように、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３が設置される。
【００３６】
このような最大感度方向Ｄｍ１，Ｄｍ２，Ｄｍ３の位置関係を設定した単一指向性のマイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３を用いることで、放収音装置１の全方位に対して収音が可能になる。
【００３７】
次に、本実施形態の録音再生装置の回路構成について図を参照して説明する。
図２は、本実施形態の録音再生装置の主要構成を示す回路ブロック図である。
【００３８】
録音再生装置は、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３、スピーカＳＰ１，ＳＰ２、音声データ生成部２、記憶部３、音源到来方向検出部４、レベルデータ生成部５、表示部６、指向性音声信号合成部７、放音信号生成部８、変換音声記憶部９、制御部９０、操作部９１を備える。
【００３９】
マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３は、外部から収音して、それぞれにアナログ形式の収音信号Ｓｈｍ１（ｔ），Ｓｈｍ２（ｔ），Ｓｈｍ３（ｔ）を出力する。
【００４０】
音声データ生成部２は、増幅器２１１〜２１３と、アナログデジタル変換器（ＡＤＣ）２２１〜２２３を備える。増幅器２１１〜２１３には、制御部９０からマイク感度設定係数が与えられている。増幅器２１１は、当該マイク感度設定係数に応じて収音信号Ｓｈｍ１（ｔ）を増幅し、ＡＤＣ２２１は、増幅された収音信号Ｓｈｍ１（ｔ）を所定サンプリングタイムでＡ／Ｄ変換し、デジタル形式の音声データＳｈｍ１（ｎ）を生成する。増幅器２１２は、当該マイク感度設定係数に応じて収音信号Ｓｈｍ２（ｔ）を増幅し、ＡＤＣ２２２は、増幅された収音信号Ｓｈｍ２（ｔ）を所定サンプリングタイムでＡ／Ｄ変換し、デジタル形式の音声データＳｈｍ２（ｎ）を生成する。増幅器２１３は、当該マイク感度設定係数に応じて収音信号Ｓｈｍ３（ｔ）を増幅し、ＡＤＣ２２３は、増幅された収音信号Ｓｈｍ３（ｔ）を所定サンプリングタイムでＡ／Ｄ変換し、デジタル形式の音声データＳｈｍ３（ｎ）を生成する。
【００４１】
これら音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）は、記憶部３、音源到来方向検出部４、レベルデータ生成部５、指向性音声信号合成部７へ出力される。
【００４２】
音源到来方向検出部４は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用いて、予め設定された放収音装置１を基準とした水平面上の複数方位（例えば８方位）の分解能で、メイン音源到来方向とサブ音源到来方向を推定するとともに、追尾指向性データを算出する。具体的には、例えば、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用いて、水平面上の特定の方位を強調する指向性の音声信号を合成し、当該各方位に対応する方位別の指向性音声信号のパワーを比較する。音源到来方向検出部４は、当該比較結果に基づいて、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）、追尾指向性データＤｉｒＰ（ｎ）を算出する。ここで、メイン音源到来方向データＤｉｒＭ（Ｎ）は、パワーが最大となる方位別音声データに対応する方位を検出することで得られる。サブ音源到来方向データＤｉｒＳ（Ｎ）は、パワーが所定値以上となる方位別音声データに対応する方位を検出することで得られる。追尾指向性データＤｉｒＰ（ｎ）は、メイン音源到来方向データＤｉｒＭ（Ｎ）およびサブ音源到来方向データＤｉｒＳ（Ｎ）よりも、短い時間間隔（例えば音声データ生成のサンプリングタイム）でパワーが最大となる方位別音声データを取得し、当該方位別音声データに対応する方位を強調する指向性パラメータを算出することで得られる。
【００４３】
音源到来方向検出部４は、追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を記憶部３へ出力し、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を表示部６へ出力する。
【００４４】
記憶部３は、第１音声データ記憶部３１、第２音声データ記憶部３２、および第３音声データ記憶部３３を備える。また、記憶部３は、追尾指向性データ記憶部３５、メイン音源到来方向データ記憶部３６、およびサブ音源到来方向データ記憶部３７を備える。
【００４５】
第１音声データ記憶部３１は音声データＳｈｍ１（ｎ）を順次記憶し、第２音声データ記憶部３２は音声データＳｈｍ２（ｎ）を順次記憶し、第３音声データ記憶部３３は音声データＳｈｍ３（ｎ）を順次記憶する。追尾指向性データ記憶部３５は、追尾指向性データＤｉｒＰ（ｎ）を順次記憶する。メイン音源到来方向データ記憶部３６は、メイン音源到来方向データＤｉｒＭ（Ｎ）を順次記憶し、サブ音源到来方向データ記憶部３７は、サブ音源到来方向データＤｉｒＳ（Ｎ）を順次記憶する。
【００４６】
レベルデータ生成部５は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）のパワーを算出して比較し、最大パワーの対数を算出することでレベルデータＬ（ｎ）を生成して出力する。
【００４７】
また、レベルデータ生成部５は、後述する指向性音声信号合成部７から出力される再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）の合成パワーを算出し、当該合成パワーの対数をレベルデータＬ’（ｎ）として出力する。
【００４８】
レベルデータ生成部５は、レベルデータＬ（ｎ），Ｌ’（ｎ）を表示部６へ出力する。
【００４９】
表示部６は、追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）とレベルデータＬ（ｎ），Ｌ’（ｎ）とに基づいて、制御部９０から指定されるモードに応じた表示態様で表示を行う。すなわち、録音モードが指定されていれば録音モード表示を行い、再生モードが指定されていれば再生モード表示を行う。また、変換モードの際には、表示を行っても行わなくてもよく、表示を行う場合には、例えば再生モード表示を利用する。なお、表示状態は、後述するモード毎の動作説明の際に詳細に説明する。
【００５０】
指向性音声信号合成部７は、制御部９０から音声処理モードとして録音モードが設定されるとともに、詳細を後述する図３に示すような所定の指向性が設定されると、これらに基づいて、音声データ生成部２からの音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）または記憶部３から読み出された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を合成して、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）や再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）もしくは変換音声データＳＴ（ｎ）を生成する。なお、モード毎の処理については、後述のモード毎の動作説明の際に詳細に説明する。
【００５１】
放音信号生成部８は、デジタルアナログ変換器（ＤＡＣ）８１１，８１２と、アンプ８２１，８２２と、ＳＷ８３１，８３２を有する。ＤＡＣ８１１，８１２は、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）や再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）をデジタル形式からアナログ形式へ変換する。アンプ８２１，８２２は、アナログ変換されたモニタ音声信号ＭｎＲ１（ｔ），ＭｎＲ２（ｔ）や再生音声信号ＭｎＰ１（ｔ），ＭｎＰ２（ｔ）を所定増幅率で増幅する。ＳＷ８３１は、モニタ音声信号ＭｎＲ１（ｔ）や再生音声信号ＭｎＰ１（ｔ）を、設定されたモードやユーザからの操作入力に応じて、スピーカＳＰ１か音声信号出力端子Ｌｏｕｔへ出力する。ＳＷ８３２は、モニタ音声信号ＭｎＲ２（ｔ）や再生音声信号ＭｎＰ２（ｔ）を、設定されたモードやユーザからの操作入力に応じて、スピーカＳＰ２か音声信号出力端子Ｌｏｕｔへ出力する。
【００５２】
操作部９１は、ユーザからの操作入力を受け付け、操作入力信号を制御部９０へ与える。なお、操作部９１は、個別に操作子を有するものであってもよいが、後述する表示部６の表示画面９００の所定位置を選択する選択子と、当該選択子により選択された位置に基づいて操作内容を識別する識別部とにより構成する。
【００５３】
制御部９０は、録音再生装置の電源制御等の全体制御を行うとともに、操作部９１を介して受け付けたモードや指向性等を、指向性音声信号合成部７をはじめとする録音再生装置の必要な各部へ与える。
【００５４】
次に、モード毎の動作説明を行う。ここで、モードは、録音モード、再生モード、変換モードを有する。
【００５５】
録音モードは、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３で収音して、記憶部３へ記憶することをメイン処理とするモードである。再生モードは、記憶部３に記憶された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて、所望の指向性の音声信号に合成し、音声再生することをメイン処理とするモードである。さらに、変換モードは、記憶部３に記憶された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて、所望の指向性の音声信号に合成し、特定の変換音声データとして再記憶することをメイン処理とするモードである。
【００５６】
また、各モードにおいては、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて、次に示す各種の収音指向性制御（音声制御）を行うことができる。なお、図３は、本実施形態の録音再生装置で設定可能な収音指向性制御およびオプションとして設定できる項目を示す表である。
【００５７】
（Ａ）２ｃｈ前方ステレオ音声制御
２ｃｈ前方ステレオ音声制御では、放収音装置１の筐体１０の正面１０Ｆに直交する当該正面１０Ｆから外方を向く方向（スピーカＳＰ１，ＳＰ２の放音方向）を０°方向とする。そして、当該０°方向に対して水平方向に対称な左右４５°方向を最大収音感度とする単一指向性の信号をそれぞれ合成し、これら二本の指向性制御された音声データを生成する。
【００５８】
（Ｂ）２ｃｈ全周囲ステレオ音声制御
２ｃｈ全周囲ステレオ音声制御では、上述の２ｃｈ前方ステレオ音声制御と同様に、０°方向を設定し、当該０°方向に対して水平方向に対称な左右９０°方向を最大収音感度とする単一指向性の信号をそれぞれ合成する。そして、これら二本の指向性制御された音声データを生成する。
【００５９】
（Ｃ）２ｃｈヘッドホンサラウンド音声制御
２ｃｈヘッドホンサラウンド音声制御では、既知の方法を用い、ヘッドホンで聞くときに再生音が立体的に聞こえるような二つの音声データを生成する。
【００６０】
（Ｄ）音声追尾制御
音声追尾制御では、上述の追尾指向性データＤｉｒＰ（ｎ）によって得られる指向性パラメータをもとに、時々刻々指向性を制御しながら一つの音声データを生成する。
【００６１】
（Ｅ）方向固定強調指向性音声制御
方向固定強調指向性音声制御では、操作部９１によって指定された方位を強調するように指向性を制御して、一つの音声データを生成する。
【００６２】
（Ｆ）前方モノラル音声制御
前方モノラル音声制御では、上述の０°方向が最大収音感度となる指向性を設定して、一つの音声データを生成する。
【００６３】
（Ｇ）全周囲モノラル音声制御
全周囲モノラル音声制御では、各マイクロホンによって得られる信号から無指向性の信号を合成することで、放収音装置１の全周囲方向から均一に収音できるような指向性を設定して、一つの音声データを生成する。
【００６４】
（１）録音モード
図４は録音モード時における録音再生装置の主要構成を示す回路ブロック図である。なお、図４では、操作部９１と表示部６とを個別に記載しているが、以下の説明では、表示部６による表示画面２００上の所定箇所を選択することで、操作を受け付けるようにし、操作部９１として機能させている。
【００６５】
表示部６の表示による操作部９１で録音モードが操作入力されると、制御部９０は録音再生装置の各部に対して録音モードであることを指示する。
【００６６】
音声データ生成部２は、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３で収音された収音信号Ｓｈｍ１（ｔ），Ｓｈｍ２（ｔ），Ｓｈｍ３（ｔ）からそれぞれ音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を音声データ生成用サンプリングタイムに応じて順次生成し、記憶部３、音源到来方向検出部４、レベルデータ生成部５、指向性音声信号合成部７に出力する。
【００６７】
音源到来方向検出部４は、上述のように音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）から追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を生成し、記憶部３および表示部６へ出力する。
【００６８】
記憶部３は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）と、追尾指向性データＤｉｒＰ（ｎ）、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）とを、順次記憶する。この際、記憶部３は、それぞれのデータ同士における時間軸上の関係が識別できるように記憶する。
【００６９】
レベルデータ生成部５は、音声データ生成部２からの音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）に基づいて、録音時におけるレベルデータＬ（ｎ）を順次生成し、表示部６へ出力する。
【００７０】
指向性音声信号合成部７は、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を用い、制御部９０から指定される上述の（Ａ）〜（Ｇ）のいずれかの音声制御に基づいて、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）を生成する。この際、指向性音声信号合成部７は、２ｃｈ（チャンネル）の音声データを生成する場合であれば、各チャンネルへの音声信号をモニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）のそれぞれに割り当て、１ｃｈの音声データを生成する場合であれば、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）の両方に同じ音声データを割り当てるか、いずれか一方をミュートにする。
【００７１】
放音信号生成部８は、入力されたモニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）をＤ／Ａ変換する。放音信号生成部８は、アナログ変換されたこれらの信号を所定増幅率で増幅して、これらの信号を独立させた状態で音声信号出力端子Ｌｏｕｔから出力する。音声信号出力端子Ｌｏｕｔから出力される信号をヘッドホンで聞くことにより、録音されている音を聴覚的に容易に確認することができる。
【００７２】
表示部６は、録音モードが指定されると、図５に示すような表示画面９００を表示する。図５は、録音モード時の表示画面９００の一例を示す図である。なお、図５には、再生モード時に利用する各機能表示部も示されているので、ここでは、録音モード時に利用する機能表示部のみを表示処理の内容とともに説明する。
【００７３】
表示部６は、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、録音状態をタイムチャート表示部９０１に表示する。具体的には、タイムチャート表示部９０１は、放収音装置１の正面１０Ｆ方向を０°方向とし、天面１０Ｕ側から見て時計回りとなる角度で予め設定した複数の方位を縦軸に並べて表示している。さらに、タイムチャート表示部９０１は、横軸として、録音開始時点からの経過時間を設定し、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、該当する方位の横軸に帯状のメイン方位マーク（図５における格子状網掛け部）およびサブ方位マーク（図５における斜線網掛け部）を表示する。この際、同一時間においては、メイン方位マークは一つ設定され、サブ方位マークは該当するものであれば複数設定される。
【００７４】
なお、タイムチャート表示部９０１の横軸のスケールは、録音時間の経過に応じて順次変更してもよく、横軸のスケールは固定にして録音時間の経過に応じて最新の所定時間長分だけを順次表示するようにしてもよい。このようなタイムチャート表示部９０１を表示することで、視覚的に録音状態や話者方位（音源方位）をリアルタイムで容易に確認することができる。この際、メイン音源到来方向データＤｉｒＭ（Ｎ）およびサブ音源到来方向データＤｉｒＳ（Ｎ）は、音声データ生成用サンプリングタイムよりも長い間隔すなわち粗いサンプリングタイムで取得されるので、表示されるメイン方位マークおよびサブ方位マークは、突発的なノイズ等による音声データのレベルの急変に影響されにくくなり、視認しやすい表示を行うことができる。
【００７５】
また、表示部６は、順次入力されるレベルデータＬ（ｎ）に基づいて、レベル表示部９０２に、録音時のレベルを表示する。この際、レベルデータＬ（ｎ）のレベルに応じて表示を設定する。例えば、レベルデータＬ（ｎ）が高レベルの場合にはレベル表示部９０２の右端（高レベル表示側）を点灯するように表示し、レベルデータＬ（ｎ）が低レベルの場合にはレベル表示部９０２の左端（低レベル表示側）を点灯するように表示する。さらに、このようなレベル表示を行う際、表示部９００は、タイムチャート９０１のメイン方位マークの表示に同期させて、レベルを表示する。これにより、視覚的に録音中の音のレベルをリアルタイムで容易に確認することができる。
【００７６】
また、表示部６は、現在時刻表示部９０３に、録音開始からの経過時間を表示する。なお、この経過時間は、例えば制御部９０にタイマを設け、タイマのカウント値により算出することができる。
【００７７】
また、表示部６は、録音レート表示部９０７に現在のサンプリングレートを表示する。これにより、現在の音声データのサンプリングレートを視覚的に容易に確認することができる。さらに、この録音レート表示部９０７を操作することで、録音開始時にサンプリングレートを適宜設定することもできる。
【００７８】
また、表示部６は、指向性内容表示部９０９に、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）の指向性情報を表示する。これにより、モニタ音声がどのような指向性制御であるかを、視覚的に容易に確認することができる。なお、この指向性内容表示部９０９を操作することで、モニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）に対して上述の（Ａ）〜（Ｇ）の指向性を指定することができ、上述の指向性音声信号合成部７は、指定された指向性に応じてモニタ音声データＭｎＲ１（ｎ），ＭｎＲ２（ｎ）を合成して出力することができる。
【００７９】
（２）再生モード
図６は、再生モード時における録音再生装置の主要構成を示す回路ブロック図である。なお、図６でも、操作部９１と表示部６とを個別に記載しているが、以下の説明では、表示部６による表示画面２００上の所定箇所を選択することで、操作を受け付けるようにし、操作部９１として機能させている。
【００８０】
表示部６の表示による操作部９１により再生モードが操作入力されると、制御部９０は録音再生装置の各部に対して再生モードであることを指示する。
【００８１】
再生モードが指示されると、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３および音声データ生成部３、音源到来方向検出部４の機能は停止する。
【００８２】
記憶部３は、再生モードが指示されると、書込処理を行わず、制御部９０からの読出制御に応じて、音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）と、追尾指向性データＤｉｒＰ（ｎ）とを、指向性音声信号合成部７へ出力する。また、記憶部３は、読出制御に応じてメイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）を表示部６へ出力する。
【００８３】
表示部６は、記憶部３から読み出されたメイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、図７に示すような表示画面９００’を表示する。図７は、再生モード時の表示画面９００’の一例を示す図である。なお、図７は、記録された全時間の内の所定時間を拡大表示した状態を示す。
【００８４】
表示部６は、再生モード時には、メイン音源到来方向データＤｉｒＭ（Ｎ）、サブ音源到来方向データＤｉｒＳ（Ｎ）に基づいて、記憶状態をタイムチャート表示部９０１’に表示する。なお、タイムチャートの縦軸および横軸の表示の基本概要は、録音モード時と同じであるので、異なる箇所のみを説明する。
【００８５】
再生モード時には、タイムチャート表示部９０１’には、初期表示状態として、記憶されている総時間に亘るメイン方位マークやサブ方位マークが表示される。この際、表示部６は、総時間表示部９０４に記憶されている総時間長を表示する。
【００８６】
これと同時に、タイムチャート表示部９０１’には、再生タイミング指定バー９２０が表示される。再生タイミング指定バー９２０は、ユーザの操作により横軸上での位置を変更することができ、再生タイミング指定バー９２０による指定タイミングから再生を行うことができる。この際、表示部６は、現在時刻表示部９０３に、再生タイミング指定バー９２０の位置に応じた時間を表示する。
【００８７】
また、タイムチャート表示部９０１’には、時間軸ズーム操作子９２１が表示され、当該時間軸ズーム操作子９２１を操作することで、例えば再生タイミング指定バー９２０を基準としてタイムチャート表示部９０１’の横軸スケールを変更することができる。
【００８８】
表示部６は、指向性内容表示部９０９に現在指定されている指向性を表示する。そして、指向性内容表示部９０９を操作することで、指向性音声信号合成部７に対して、上述の（Ａ）〜（Ｇ）の指向性を指定することができる。
【００８９】
また、表示部６は、再生停止操作表示部９０５に、再生状態であるか停止状態であるかを表示する。なお、当該再生停止操作表示部９０５の再生ボタン、停止ボタン、先頭回帰ボタンを操作することで、再生、停止、先頭への回帰を指定することができる。
【００９０】
また、表示部６は、「（Ｅ）方向固定強調指向性音声制御」が選択されると、指定された方位のタイムチャートのみを強調表示する。なお、「（Ｅ）方向固定強調指向性音声制御」が選択された状態では、各方位部分を選択することで、再生音声として指定する方位を設定することができる。
【００９１】
また、表示部６は、ヘッドホン切り替えボタン９０６を表示し、ヘッドホン出力が選択されているかどうかを表示する。なお、当該ボタンが選択されると、スピーカＳＰ１，ＳＰ２への出力ではなく、ヘッドホンへの出力を前提とする再生信号の生成を指定することができる。この際、自動的に、「（Ｃ）２ｃｈヘッドホンサラウンド音声制御」が選択されるようにしてもよい。
【００９２】
また、表示部６は、書き出しボタン９０８を表示し、当該書き出しボタン９０８が選択されたことを検出すると、制御部９０は「（３）変換モード」に移行する。
【００９３】
指向性音声信号合成部７は、表示部６を用いた操作入力により指定された指向性に基づいて、記憶部３から読み出された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて指向性合成された、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）を生成する。この際、指向性音声信号合成部７は、指定された再生開始タイミングからの再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）を生成する。
【００９４】
また、「（Ｄ）音声追尾制御」が指定されている場合には、追尾音源到来方向データＤｉｒＰ（ｎ）を読み出し、当該追尾音源到来方向データＤｉｒＰ（ｎ）に基づいて音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）を指向制御し、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）を生成する。これら再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）は、レベルデータ生成部５および放音信号生成部８へ出力される。
【００９５】
なお、指向性音声信号合成部７は、２ｃｈの音声信号を合成する場合であれば、各チャンネルの音声信号を再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）のそれぞれに割り当て、１ｃｈの音声信号を合成する場合であれば、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）の両方に同じ音声データを割り当てるか、いずれか一方をミュートにする。
【００９６】
レベルデータ生成部５は、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）のパワーを算出し、当該パワーの対数をレベルデータＬ’（ｎ）として、表示部６へ出力する。表示部６は、レベルデータＬ’（ｎ）に基づいて、レベル表示部９０２に、再生時のレベルを表示する。
【００９７】
放音信号生成部８は、入力された再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）をＤ／Ａ変換する。放音信号生成部８は、アナログ変換されたこれらの信号を所定増幅率で増幅して、それぞれスピーカＳＰ１，ＳＰ２から放音させる。なお、放音信号生成部８は、再生音声データＭｎＰ１（ｎ），ＭｎＰ２（ｎ）をＤ／Ａ変換して所定増幅率で増幅した後、音声信号出力端子Ｌｏｕｔから出力することもできる。これにより、ヘッドホンを用いて所望の指向性に制御された再生音を聞くこともできる。
【００９８】
このような構成及び処理を行うことで、ユーザは所望のタイミングから所望の指向性で合成された再生音を聞くことができる。この際、表示部６を用いてタイミングおよび指向性を指定することができるので、視覚的に非常に簡単且つ直感的に、ユーザが所望とする再生音を、所望のタイミングから再生することができる。
【００９９】
（３）変換モード
図８は、変換モード時における録音再生装置の主要構成を示す回路ブロック図である。
【０１００】
上述の「（２）再生モード」において、書き出しボタン９０８が操作され、書き出し開始が指定されると、制御部９０は録音再生装置の各部に対して変換モードであることを指示する。
【０１０１】
この変換モードの場合も、マイクロホンＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３および音声データ生成部２、音源到来方向検出部４の機能は停止する。
【０１０２】
表示部６は、書き出しボタン９０８の操作により書き出し開始が指定されると、書き出しボタン９０８、指向性設定内容表示部９０９、および再生タイミング指定バー９２０に対する入力の受付のみを許可する状態で表示される。ここで、指向性設定内容表示部９０９を操作することで、変換音声データＳＴ（ｎ）の指向性を上述の（Ａ）〜（Ｇ）のいずれかに設定することができる。また、再生タイミング指定バー９２０を操作することで、書き出し開始のタイミングを指定することができる。
【０１０３】
指向性音声信号合成部７は、表示部６を用いた操作入力により指定された指向性に基づいて、記憶部３から読み出された音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて指向性合成された変換音声データＳＴ（ｎ）を生成する。この際、指向性音声信号合成部７は、再生タイミング指定バー９２０により指定された書き出し開始タイミングからの変換音声データＳＴ（ｎ）を生成する。また、「（Ｄ）音声追尾制御」が指定されている場合には、追尾指向性データＤｉｒＰ（ｎ）を読み出し、当該追尾指向性データＤｉｒＰ（ｎ）に基づいて音声データＳｈｍ１（ｎ），Ｓｈｍ２（ｎ），Ｓｈｍ３（ｎ）からなる信号を用いて指向性合成された変換音声データＳＴ（ｎ）を生成する。
【０１０４】
変換音声記憶部９は、変換音声データＳＴ（ｎ）を順次記憶する。
【０１０５】
このような構成及び処理を行うことで、ユーザは所望のタイミングから所望の指向性で合成された変換音声を再記憶することができる。この際、表示部６を用いてタイミングおよび指向性等を指定することができるので、視覚的に非常に簡単且つ直感的に、ユーザが所望とする変換音声を、所望とするタイミングから再生することができる。
【０１０６】
以上のように、本実施形態の構成および処理を用いることで、所望の音声を録音、再生、音声変換できているかどうかを容易且つ直感的に確認することができる。
【０１０７】
なお、上述の実施形態では、モニタ音声を出力する例を示したが、モニタ音声を出力しない構成であってもよい。
【０１０８】
また、上述の実施形態では、音源到来方向を表示、記憶する例を示したが、予め設定した方向別に音響情報を表示、記憶するようにしてもよい。ここで、方向別の音響情報としては、例えば方向別のレベル情報、方向別のピッチ情報、方向別の周波数特性等を用いるとよい。
【符号の説明】
【０１０９】
１−放収音装置、２−音声データ生成部、３−記憶部、４−音源到来方向検出部、５−レベルデータ生成部、６−表示部、７−指向性音声信号合成部、８−放音信号生成部、９−変換音声記憶部、９０−制御部、９１−操作部、１０−筐体、１０Ｆ−筐体１０の正面、１０Ｕ−筐体１０の天面、１１−マイク支持枠、１２−マイク枠支持部材、９００−表示画面、９０１−タイムチャート表示部、９０２−レベル表示部、９０３−現在時刻表示部、９０４−総時間表示部、９０５−再生停止操作表示部、９０６−ヘッドホン切り替えボタン、９０７−録音レート表示部、９０８−書き出しボタン、９０９−指向性内容表示部、９２０−再生タイミング指定バー、９２１−時間軸ズーム操作子、ＳＰ１，ＳＰ２−スピーカ、ＭＩＣｈ１，ＭＩＣｈ２，ＭＩＣｈ３−単一指向性マイクロホン
【特許請求の範囲】
【請求項１】
それぞれに異なる収音範囲から収音し、収音信号を生成する複数のマイクロホンと、
各収音信号を所定サンプリングタイミング毎の音声データに変換する音声データ生成部と、
各音声データに基づいて方向別音響情報データを生成する方向別音響情報データ生成部と、
前記各音声データと前記方向別音響情報データとを記憶する記憶部と、
操作入力に基づいて複数の音声信号処理モードおよび指向性を設定する制御部と、
前記音声データの生成状況および記憶状態を表示する表示部と、
前記音声データに基づいて所望の指向性からなる指向性音声信号を生成する指向性音声信号生成部と、
前記指向性音声信号を放音する放音部と、
を備えた録音再生装置。
【請求項２】
前記制御部により音声処理モードが録音モードに設定されると、
前記指向性音声信号生成部は、前記音声データ生成部からの各音声データが記憶部に記憶されるのと並行して、各音声データに基づく信号を合成することで前記制御部で指定された指向性のモニタ音声信号を生成して音声信号出力端子から出力し、
前記方向別音響情報データ生成部は、前記音声データ生成部からの各音声データに基づいて方向別音響情報データとして音源到来方向データを生成して、前記記憶部に記憶するとともに前記表示部へ与える、請求項１に記載の録音再生装置。
【請求項３】
前記方向別音響情報データ生成部は、前記音源到来方向データとして、最も支配的な音源の到来方向が時々刻々変化するのに追従して、支配的な音源方向を強調する指向性パラメータである追尾指向性データを生成し記憶部に記憶する、請求項２に記載の録音再生装置。
【請求項４】
前記制御部により音声処理モードが再生モードに設定されると、
前記指向性音声信号生成部は、前記記憶部から読み出した各音声データからなる信号を合成して前記制御部で指定された指向性の再生音声信号を生成し、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力する、請求項１に記載の録音再生装置。
【請求項５】
前記指向性音声信号生成部は、記憶部から読み出した各音声データと前記追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力し、
前記表示部は、前記音源到来方向データを用いて、前記最も支配的な音源方向を強調する指向性の再生音声信号に応じた表示を行う、請求項４に記載の録音再生装置。
【請求項６】
前記制御部により音声処理モードが変換モードに設定されると、
前記指向性音声信号生成部は、前記記憶部から読み出した各音声データからなる信号を合成して、前記制御部で指定された指向性の変換音声信号を生成し、変換音声記憶部に記憶する、請求項１に記載の録音再生装置。
【請求項７】
前記指向性音声信号生成部は、記憶部から読み出した各音声データと前記追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、変換音声記憶部に記憶する、請求項６に記載の録音再生装置。
【請求項８】
前記方向別音響情報データ生成部は、前記音源到来方向データとして、最も支配的な音源の到来方向とその他の音源の到来方向をそれぞれ生成する、請求項１または請求項２に記載の録音再生装置。
【請求項９】
前記複数のマイクロホンは、それぞれの収音感度が最大となる方向が異なるとともに一点で交わる単一指向性マイクロホンである、請求項１〜請求項８のいずれかに記載の録音再生装置。
【請求項１０】
前記放音部は独立に駆動可能な複数のスピーカである、請求項１〜請求項９のいずれかに記載の録音再生装置。
【請求項１】
それぞれに異なる収音範囲から収音し、収音信号を生成する複数のマイクロホンと、
各収音信号を所定サンプリングタイミング毎の音声データに変換する音声データ生成部と、
各音声データに基づいて方向別音響情報データを生成する方向別音響情報データ生成部と、
前記各音声データと前記方向別音響情報データとを記憶する記憶部と、
操作入力に基づいて複数の音声信号処理モードおよび指向性を設定する制御部と、
前記音声データの生成状況および記憶状態を表示する表示部と、
前記音声データに基づいて所望の指向性からなる指向性音声信号を生成する指向性音声信号生成部と、
前記指向性音声信号を放音する放音部と、
を備えた録音再生装置。
【請求項２】
前記制御部により音声処理モードが録音モードに設定されると、
前記指向性音声信号生成部は、前記音声データ生成部からの各音声データが記憶部に記憶されるのと並行して、各音声データに基づく信号を合成することで前記制御部で指定された指向性のモニタ音声信号を生成して音声信号出力端子から出力し、
前記方向別音響情報データ生成部は、前記音声データ生成部からの各音声データに基づいて方向別音響情報データとして音源到来方向データを生成して、前記記憶部に記憶するとともに前記表示部へ与える、請求項１に記載の録音再生装置。
【請求項３】
前記方向別音響情報データ生成部は、前記音源到来方向データとして、最も支配的な音源の到来方向が時々刻々変化するのに追従して、支配的な音源方向を強調する指向性パラメータである追尾指向性データを生成し記憶部に記憶する、請求項２に記載の録音再生装置。
【請求項４】
前記制御部により音声処理モードが再生モードに設定されると、
前記指向性音声信号生成部は、前記記憶部から読み出した各音声データからなる信号を合成して前記制御部で指定された指向性の再生音声信号を生成し、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力する、請求項１に記載の録音再生装置。
【請求項５】
前記指向性音声信号生成部は、記憶部から読み出した各音声データと前記追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、該再生音声信号に基づく再生音声をスピーカから放音、あるいは音声信号出力端子から出力し、
前記表示部は、前記音源到来方向データを用いて、前記最も支配的な音源方向を強調する指向性の再生音声信号に応じた表示を行う、請求項４に記載の録音再生装置。
【請求項６】
前記制御部により音声処理モードが変換モードに設定されると、
前記指向性音声信号生成部は、前記記憶部から読み出した各音声データからなる信号を合成して、前記制御部で指定された指向性の変換音声信号を生成し、変換音声記憶部に記憶する、請求項１に記載の録音再生装置。
【請求項７】
前記指向性音声信号生成部は、記憶部から読み出した各音声データと前記追尾指向性データに基づいて、最も支配的な音源方向を強調する指向性の再生音声信号を合成して、変換音声記憶部に記憶する、請求項６に記載の録音再生装置。
【請求項８】
前記方向別音響情報データ生成部は、前記音源到来方向データとして、最も支配的な音源の到来方向とその他の音源の到来方向をそれぞれ生成する、請求項１または請求項２に記載の録音再生装置。
【請求項９】
前記複数のマイクロホンは、それぞれの収音感度が最大となる方向が異なるとともに一点で交わる単一指向性マイクロホンである、請求項１〜請求項８のいずれかに記載の録音再生装置。
【請求項１０】
前記放音部は独立に駆動可能な複数のスピーカである、請求項１〜請求項９のいずれかに記載の録音再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２２０１７３（Ｐ２０１０−２２０１７３Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６７７１３（Ｐ２００９−６７７１３）
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]