音声再生装置、及びその制御方法
【課題】音声信号再生時の信号処理のための頭部伝達関数を、音声信号取得時の音声記録装置の状態に応じて変化させる。
【解決手段】本発明の音声再生装置は、とりわけ、第１取得手段で取得した１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出手段であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出手段と、前記算出手段で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得手段と、前記第２取得手段で取得した頭部伝達関数を用いて、前記第１取得手段で取得した１以上の音声信号から擬似サラウンド化された音声信号を生成する生成手段と、を備える。
【解決手段】本発明の音声再生装置は、とりわけ、第１取得手段で取得した１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出手段であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出手段と、前記算出手段で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得手段と、前記第２取得手段で取得した頭部伝達関数を用いて、前記第１取得手段で取得した１以上の音声信号から擬似サラウンド化された音声信号を生成する生成手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声再生装置、及びその制御方法に関する。
【背景技術】
【０００２】
現在、複数の無指向性マイクロフォンで取得した音声信号からステレオ音声信号を生成する技術が知られている。また、映像音声記録装置（例えば、ビデオカメラ）による映像撮影時に取得された音声信号からステレオ音声信号を生成する場合に、ズーム状態に応じて各音声信号の増幅度を変化させることにより、ステレオ音声信号の指向特性を変化させる技術が知られている。例えば特許文献１には、ズーム倍率が高い場合に、左右に配置されたマイクロフォンよりも中央前方に配置されたマイクロフォンで取得した音声信号の増幅度を大きくすることにより、前方方向の指向性を強めることが記載されている。
【０００３】
また、音声信号再生時の臨場感を高めるための技術として、擬似サラウンド音声信号処理技術が知られている。擬似サラウンド音声信号処理は一般的に、頭部伝達関数を用いた演算処理及びクロストークキャンセルにより実現される。頭部伝達関数は、音声の収音位置と音声の聴取位置との位置関係に応じて定まるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３２６９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビデオカメラのズーム状態を変化させたり、マイクロフォンの増幅度を変化させたりすることを、音声の聴取位置を仮想的に変化させることと同じことと見なすこともできるが、従来、そのような発想は存在しなかった。従って、擬似サラウンド音声信号処理のための頭部伝達関数をビデオカメラのズーム状態やマイクロフォンの増幅度に応じて変化させるという発想も従来は存在しなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、音声信号再生時の信号処理のための頭部伝達関数を、音声信号取得時の音声記録装置の状態に応じて変化させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の本発明は、１以上のマイクロフォンを含む音声入力部を備える音声記録装置が当該１以上のマイクロフォンを用いて記録した１以上の音声信号と、前記音声入力部の所定の位置を原点として一方向に延びる基準軸に対する前記１以上のマイクロフォンそれぞれの設置位置の角度と、前記音声記録装置による前記１以上の音声信号の記録時の前記１以上のマイクロフォンそれぞれの音声信号の増幅度と、を取得する第１取得手段と、前記基準軸上の基準位置を決定する決定手段と、前記第１取得手段で取得した前記１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出手段であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出手段と、前記算出手段で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得手段と、前記第２取得手段で取得した頭部伝達関数を用いて、前記第１取得手段で取得した前記１以上の音声信号から擬似サラウンド化された音声信号を生成する生成手段と、を備えることを特徴とする音声再生装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
以上の構成により、本発明によれば、音声信号再生時の信号処理のための頭部伝達関数を、音声信号取得時の音声記録装置の状態に応じて変化させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る音声再生装置２００の構成を示すブロック図
【図２】実施例１におけるマイクロフォンの配置例、仮想聴取位置、及び収音位置の例を示す図
【図３】実施例１において、音声記録装置１００内の制御部１６、及び音声再生装置２００内の制御部２５が実行する音声信号再生処理を示すフローチャート
【図４】記録されている頭部伝達関数の選択候補、及びそこからの選択を説明する図
【図５】実施例１に係る擬似サラウンド音声信号処理を説明する図
【図６】実施例２に係る音声再生装置７００の構成を示すブロック図
【図７】実施例２において、音声記録装置６００内の制御部１６、及び音声再生装置７００内の制御部２５が実行する映像音声信号再生処理を示すフローチャート
【図８】実施例２におけるマイクロフォンの配置例、仮想聴取位置、及び収音位置の例を示す図
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明を実施するための形態について説明する。
【実施例１】
【００１２】
図１は、実施例１に係る音声再生装置２００の構成を示すブロック図である。音声再生装置２００は、例えば、音声再生機能を有するパーソナルコンピューターやクレードルなどに適用可能である。音声再生装置２００は、音声記録装置１００から音声信号等を取得する。音声記録装置１００は、マイクロフォンなどを用いて音声を収音し、音源が発する音声を音声信号としてＨＤＤなどの磁気デバイスや、ＳＳＤなどの半導体デバイスなどの記録媒体に記録する。音声記録装置１００は、例えば、ＩＣレコーダやＰＤＡ、音声録音機能付携帯電話などに適用可能である。
【００１３】
以下、音声記録装置１００、及び音声再生装置２００について具体的に説明する。音声記録装置１００は、音声入力部１０、指向性処理部１１、指向性設定部１２、記録部１３、音声信号出力部１４、指向性情報送信部１５、及び制御部１６を備える。また、音声再生装置２００は、音声信号入力部２０、指向性情報受信部２１、頭部伝達関数設定部２２、音声信号処理部２３、音声再生部２４、及び制御部２５を備える。音声信号入力部２０及び指向性情報受信部２１は、第１取得手段として機能する。
【００１４】
音声入力部１０は、１以上の無指向性マイクロフォンを備え、音声記録装置１００周辺の音声を収音し、音声信号として後段の指向性処理部１１へ供給する。マイクロフォンの個数は、指向性処理部１１にて行う指向性信号処理の内容に応じて適宜決定される。一例として、図２に示すように音声入力部１０は５つのマイクロフォンを備える。各マイクロフォンは、原点から一方向（音声記録装置１００の前方方向）に延びる基準軸Ｒに対して一定の角度を持って配置される。
【００１５】
指向性処理部１１は、音声入力部１０から受信した音声信号に対して指向性信号処理（特に、各マイクロフォンから受信した音声信号の増幅処理）を行う。指向性信号処理は、指向性設定部１２から指示された指向性情報に基づいて行われる。指向性信号処理は、無指向性マイクロフォンが収音した音声信号に対し、指向性設定部１２にて設定された指向性情報に応じて所定の係数を乗算及び加算して生成して行うものとする。係数はマイクロフォンの個数や配置等から周知技術によって予め算出するものとする。
【００１６】
指向性設定部１２は、音声信号に対して指向性信号処理を行うために必要な指向性情報の設定を行う。指向性情報には、各マイクロフォンの音声信号に対する増幅度、及び指向性信号処理後の音声信号チャンネル数が含まれる。指向性設定部１２は、指向性情報を予め定められた単位時間ごとに設定し、音声信号に付随するメタ情報として記録部１３へ記録する。また、指向性情報の設定変更指示をユーザが手動で行ってもよいし、指向性設定部１２が音源に追従して自動で指向性情報の設定を変更してもよい。
【００１７】
記録部１３は、ＨＤＤなどの磁気デバイスやＳＳＤなどの半導体デバイスなどを含み、指向性処理部１１にて指向性信号処理を行った音声信号と単位時間毎の指向性情報とを記録する。
【００１８】
音声信号出力部１４は、記録部１３に記録されている音声信号を音声再生装置２００内の音声信号入力部２０へ供給する。音声信号は例えば、ＨＤＭＩ、ＩＥＥＥ１３９４、光伝送などのデジタル信号伝送、又はアナログ信号伝送などが用いて伝送される。
【００１９】
指向性情報送信部１５は、指向性設定部１２で設定され記録部１３に記録された指向性情報を、音声再生装置２００内の指向性情報受信部２１へ供給する。指向性情報は例えば、ＨＤＭＩ又はＩＥＥＥ１３９４などを用いて音声信号とともに伝送される。或いは、音声記録装置１００と音声再生装置２００とがアナログ信号伝送によって接続されている場合、メタ情報を伝送するための専用線を用いて指向性情報が伝送されてもよい。
【００２０】
制御部１６は、音声記録装置１００の動作を中央制御する。具体的には制御部１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有する。制御部１６は、ユーザが操作部（不図示）に対して行った操作に対応する操作信号に従って、音声信号記録操作、指向性情報変更操作、及び音声信号出力操作などを行うための制御信号を各構成部へ供給する。
【００２１】
次に、音声再生装置２００について説明する。音声信号入力部２０は、音声記録装置１００内の音声信号出力部１４から供給された音声信号を受信する。指向性情報受信部２１は、音声記録装置１００内の指向性情報送信部１５から供給された指向性情報を受信する。
【００２２】
頭部伝達関数設定部２２は、指向性情報受信部２１が受信した指向性情報に基づき、メモリ（不図示）に予め記録されている頭部伝達関数の中から最適な頭部伝達関数を選択し、音声信号処理部２３へ供給する。
【００２３】
音声信号処理部２３は、頭部伝達関数設定部２２から供給された頭部伝達関数を乗算することにより、擬似サラウンド音声信号処理を行う。ここで、擬似サラウンド音声信号処理にはクロストークキャンセル信号処理も含まれてもよい。擬似サラウンド音声信号処理後の音声信号は、音声再生部２４へ供給される。
【００２４】
音声再生部２４は、音声信号処理部２３から供給された音声信号を音声として出力するための増幅部とスピーカとを含む。音声再生部２４は、音声信号を増幅部で増幅したのち、スピーカから音声として出力する。
【００２５】
制御部２５は、音声再生装置２００の動作を中央制御する。制御部２５は、ユーザの操作に基づく操作信号に従って、音声信号の再生操作、及び擬似サラウンド音声信号処理設定操作などを行うための制御信号を各構成部へ供給する。
【００２６】
次に、音声記録装置１００内の制御部１６、及び音声再生装置２００内の制御部２５が実行する音声信号再生処理について、図３のフローチャートを参照して説明する。本フローチャートの処理は、制御部１６及び制御部２５が制御プログラムを実行することにより実現される。
【００２７】
Ｓ３００で、制御部２５は、ユーザからの音声再生開始指示に従い、音声記録装置１００の制御部１６へ音声信号の出力を指示する。この指示により音声信号出力部１４は、音声信号入力部２０へ音声信号を供給する。ここで、ユーザは、音声再生開始指示を音声記録装置１００に対して直接行ってもよい。音声信号入力部２０へ供給された音声信号は、後段の音声信号処理部２３へ送られる。
【００２８】
Ｓ３０１で、制御部２５は、音声記録装置１００に対して、指向性情報の出力を指示する。この指示により指向性情報送信部１５は、指向性情報受信部２１へ指向性情報を供給する。指向性情報受信部２１は指向性情報を単位時間ごとに読み込む。ここでは読み込んだ時刻tにおける指向性情報をＭ（ｔ）と表記することとする。
【００２９】
Ｓ３０２で、制御部２５は、時刻ｔにおける指向性情報Ｍ（ｔ）が直前の指向性情報Ｍ（ｔ−１）から変化したか否かを判定する。なお、ｔ＝０では直前の指向性情報が無いため、制御部２５は、「指向性情報が変化した」と判断する。指向性情報が変化した場合、処理はＳ３０３に進み、そうでない場合、処理はＳ３０６に進む。
【００３０】
Ｓ３０３で、制御部２５は、指向性情報の詳細解析を行う。指向性情報には、音声信号記録時の各マイクロフォンの増幅度、各マイクロフォンの設置位置の基準軸Ｒに対する角度、及び音声信号チャンネル数などの情報が含まれる。
【００３１】
Ｓ３０４で、制御部２５は、決定手段、算出手段、及び第２取得手段として機能し、詳細解析した指向性情報を基にメモリ（不図示）内から最適な頭部伝達関数を選択する。頭部伝達関数は、音声信号記録時に想定される指向性状態を基に予め測定又はシミュレーション等で算出したものをテーブル化し、音声再生装置２００内のメモリに保存されている。なお、頭部伝達関数は、音声再生装置２００と接続しうる音声記録装置１００における指向性制御仕様に従って測定又は算出される。
【００３２】
ここで、頭部伝達関数の選択に関する基本的な考え方を説明する。図２に示すように、基準軸Ｒに対する角度が０度であるマイクロフォン１を、基準マイクロフォンとして使用する。基準マイクロフォンの増幅度が高い場合は、より遠方の音源から音声を収音可能であるため、基準軸Ｒ上で基準マイクロフォンから離れた位置（図２においては、基準位置Ｐ）を、音声の仮想的な聴取位置（基準位置）とする。反対に、基準マイクロフォンの増幅度が低い場合は、基準軸Ｒ上で基準マイクロフォンに近い位置を、仮想的な聴取位置とする。また、基準マイクロフォン以外のマイクロフォンについては、各マイクロフォンの角度だけ基準軸Ｒから回転した方向に、増幅度に応じた距離だけ離れた位置（図２においては、位置Ａ）の音声を収音しているものと見なす。図２の例では、基準位置Ｐは、原点から距離Ｌｈｉｇｈだけ離れた基準軸Ｒ上の点である。また、位置Ａは、基準軸Ｒから角度θ２だけ回転した方向に、原点から距離Ｌｌｏｗだけ離れた点である。
【００３３】
マイクロフォン２が収音した音声は、基準位置Ｐにおいて位置Ａから聴こえる音声として認識可能なように処理される。基準位置Ｐに対する位置Ａの相対位置は、図２に示すように、角度θＡ及び距離Ｌ２によって表される。角度θＡ及び距離Ｌ２は、下記の式（１）及び式（２）に従って算出される。
【００３４】
【数１】
【００３５】
【数２】
【００３６】
頭部伝達関数の選択候補は、図４に示すように、基準位置Ｐに対する相対位置ごとにメモリ内に記録されている。基準軸の右側の各位置における頭部伝達関数については、左耳用の値と右耳用の値とが逆転するだけであるため、記録の必要がない（従って、図示も省略している）。図４において、式（１）及び式（２）に基づいて算出された角度θＡ及び距離Ｌ２に対応する位置はＨ５であり、この位置に対応して記録されている頭部伝達関数が、マイクロフォン２のための頭部伝達関数（左耳用はＨ５ＬＬ、右耳用はＨ５ＬＲ）として選択される。他のマイクロフォンについては、マイクロフォン２と同様であるため、説明を省略する。
【００３７】
図３に戻り、Ｓ３０５で、制御部２５は頭部伝達関数設定部２２に対して、Ｓ３０４で選択した頭部伝達関数を音声信号処理部２３に設定するように指示する。
【００３８】
Ｓ３０６で、生成手段としての音声信号処理部２３は、Ｓ３０５で設定された頭部伝達関数を用いて擬似サラウンド音声信号処理を実行し、擬似サラウンド化された音声信号を音声再生部２４へ出力する。
【００３９】
ここで、図５を参照して擬似サラウンド音声信号処理を説明する。時刻ｔにおける左チャンネル音声信号（基準軸Ｒの左側のマイクロフォンで取得した音声信号）をＳｉｎＬ（ｔ）とし、時刻ｔにおける右チャンネル音声信号（基準軸Ｒの右側のマイクロフォンで取得した音声信号）をＳｉｎＲ（ｔ）とする。また、時刻ｔにおける中央チャンネル（基準軸Ｒ上のマイクロフォンで取得した音声信号）をＳｉｎＣ（ｔ）とする。例えば、マイクロフォン２に対応するＳｉｎ（ｔ）に対しては、左耳用にＨ５ＬＬを、右耳用にＨ５ＬＲをそれぞれ乗じる。これにより、左耳用の出力音声信号ＳｏｕｔＬ（ｔ）及び右耳用の出力音声信号ＳｏｕｔＲ（ｔ）が得られる。また、頭部伝達関数の乗算後に、クロストークキャンセル信号処理が行われてもよい。図５には、頭部伝達関数としてＨ５ＬＬ、Ｈ５ＬＲ、Ｈ５ＲＬ、及びＨ５ＲＲを例示したが、これらは実際には、図４を参照して説明したように各マイクロフォンの角度及び増幅度に応じて変化する。
【００４０】
図３に戻り、Ｓ３０７で、制御部２５は、ユーザから音声再生停止指示を受信したか否かを判定する。音声再生停止指示を受信した場合、本フローチャートの処理は終了する。音声再生停止指示を受信していない場合、Ｓ３０８において制御部２５は再生時刻Ｔを更新し、Ｓ３０２からの処理を繰り返す。
【００４１】
以上説明したように、本実施例によれば、音声再生装置２００は、各マイクロフォンの角度及び増幅度に応じた頭部伝達関数を用いて擬似サラウンド音声信号処理を行う。これにより、ユーザは、音声再生時により高い臨場感を味わうことができる。
【実施例２】
【００４２】
実施例２では、音声記録装置としてビデオカメラなどの映像音声記録装置（映像撮影機能を持つ音声記録装置）を利用する場合について説明する。実施例１では基準軸上のマイクロフォンの増幅度を利用して基準位置を決定したが、実施例２では、映像音声記録装置による映像撮影時の被写体の位置を基準位置とする。被写体の位置は、例えば、ビデオカメラのズーム距離及びフォーカス距離に基づいて算出可能である。
【００４３】
図６は、実施例２に係る音声再生装置７００の構成を示すブロック図である。音声再生装置７００は、音声記録装置６００から音声信号等を取得する。図６において、図１と同一又は同様の機能を持つブロックには同一の符号を付し、説明を省略する。音声再生装置７００は、例えば、テレビなどに適用可能である。音声記録装置１００は、例えば、ビデオカメラなどに適用可能である。
【００４４】
音声記録装置６００内の映像入力部６７は、映像撮像部及び信号処理部を含む。映像撮像部へ入力された映像は信号処理部にて映像信号に変換され、後段の記録部１３へ供給される。また、映像入力部６７は、制御部１６の指示に応じて映像撮像部を制御する。具体的には、映像の拡大及び縮小を行うズーム制御や、被写体にフォーカスを合わせるフォーカス制御などが行われる。また、映像撮像部から被写体までの距離は、ズーム制御信号及びフォーカス制御信号の設定値に応じた値を持つテーブルとして、音声記録装置６００内のメモリ（不図示）に予め保持されている。
【００４５】
なお、実施例２において、指向性設定部１２が出力する指向性情報は、映像撮像部のズーム操作情報、及びフォーカス操作情報に基づいて決定するようにしてもよい。また、指向性情報の設定変更指示をユーザが手動で行ってもよいし、被写体に追従したズーム操作による焦点距離や、フォーカシング位置に関する情報などに基づいて、指向性設定部１２が音源に追従して自動で指向性情報の設定を変更してもよい。
【００４６】
映像信号出力部６８は、記録部１３に記録されている映像信号を音声再生装置７００へ出力する。映像信号は、例えば、ＨＤＭＩ、ＩＥＥＥ１３９４などを用いたデジタル信号伝送、又はアナログ信号伝送などによって伝送可能である。
【００４７】
音声再生装置７００内の映像信号入力部７６は、音声記録装置６００内の映像信号出力部６８から出力された映像信号を受信する。映像信号処理部７７は、映像信号入力部７６から受信した映像信号に対し、高画質処理や画角変更処理などの映像信号に関する信号処理を行う。映像信号処理部７７にて画角変更処理が行われた場合は、画角変更内容に応じて音声の指向性設定を行ってもよい。この場合、指向性情報受信部２１が受信した指向性情報ではなく、画角変更処理に応じて決定された指向性情報に基づいて頭部伝達関数を設定することとする。
【００４８】
映像再生部７８は、映像信号処理部７７から受信した映像信号を映像信号出力デバイスに表示する。この映像信号出力デバイスは、ＰＤＰ、ＬＣＤ、ＳＥＤ、有機ＥＬなどを用いたものであってよい。ここで、ＳＥＤは、Surface-Conduction Electron-emitter Displayの略語である。また、ＥＬはElectro Luminescenceの略語である。
【００４９】
次に、音声記録装置６００内の制御部１６、及び音声再生装置７００内の制御部２５が実行する映像音声信号再生処理について、図７のフローチャートを参照して説明する。本フローチャートの処理は、制御部１６及び制御部２５が制御プログラムを実行することにより実現される。図７において、図３と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。
【００５０】
Ｓ７００で、制御部２５は、ユーザからの映像音声再生開始指示に従い、音声記録装置６００の制御部１６へ映像信号及び音声信号の出力を指示する。この指示により音声信号出力部１４は、音声信号入力部２０へ音声信号を供給する。また、映像信号出力部６８は、映像信号入力部７６へ映像信号を供給する。ここで、ユーザは、映像音声再生開始指示を音声記録装置６００に対して直接行ってもよい。音声信号入力部２０へ供給された音声信号は、後段の音声信号処理部２３へ送られる。また、映像信号入力部７６へ供給された映像信号は後段の映像信号処理部７７へ送られる。
【００５１】
Ｓ７０１で、制御部２５は、音声記録装置１００に対して、指向性情報の出力を指示する。実施例１とは異なり、指向性情報には、各マイクロフォンの角度及び増幅度に加えて、映像入力部６７から被写体までの距離を示す情報（例えば、ズーム状態及びフォーカス状態を示す情報）が含まれる。この指示により指向性情報送信部１５は、指向性情報受信部２１へ指向性情報を供給する。指向性情報受信部２１は指向性情報を単位時間ごとに読み込む。ここでは読み込んだ時刻tにおける指向性情報をＭ（ｔ）と表記することとする。
【００５２】
Ｓ７０４で、制御部２５は、詳細解析した指向性情報を基にメモリ（不図示）内から最適な頭部伝達関数を選択する。図８を参照して、Ｓ７０４における選択の、図３のＳ３０４における選択と異なる部分について説明する。
【００５３】
図８に示すように、実施例２においては、基準位置Ｐ（仮想聴取位置）は、原点から距離Ｌｚｍだけ離れた基準軸Ｒ上の点である。Ｌｚｍは、映像入力部６７から被写体までの距離に対応する。例えば基準位置Ｐに対するマイクロフォン２の収音位置Ａの相対位置を表す角度θＡ及び距離Ｌ２は、前述の式（１）及び式（２）の代わりに、下記の式（３）及び式（４）によって算出される。
【００５４】
【数３】
【００５５】
【数４】
【００５６】
Ｓ７０６で、音声信号処理部２３は、Ｓ３０５で設定された頭部伝達関数を用いて擬似サラウンド音声信号処理を実行し、擬似サラウンド化された音声信号を音声再生部２４へ出力する。また、映像信号処理部７７は、映像信号を映像再生部７８へ出力する。擬似サラウンド音声信号処理は、実施例１と同様（図５参照）である。但し、実施例１ではマイクロフォン１の収音位置は常に基準位置Ｐと一致していたが、実施例２では、増幅度に応じて基準軸Ｒ上を移動する。従って、マイクロフォン１のための頭部伝達関数も、増幅度に応じて変化する。
【００５７】
Ｓ７０７で、制御部２５は、ユーザから映像音声再生停止指示を受信したか否かを判定する。映像音声再生停止指示を受信した場合、本フローチャートの処理は終了する。音声再生停止指示を受信していない場合、Ｓ３０８において制御部２５は再生時刻Ｔを更新し、Ｓ３０２からの処理を繰り返す。
【００５８】
以上説明したように、本実施例によれば、音声再生装置７００は、各マイクロフォンの角度及び増幅度、並びに被写体距離に応じた頭部伝達関数を用いて擬似サラウンド音声信号処理を行う。これにより、ユーザは、音声再生時により高い臨場感を味わうことができる。
【００５９】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、実施例１に示した音声記録装置１００及び音声再生装置２００は１つの筐体内に収まっていてもよい。また、実施例２に示す音声再生装置７００に関して、音声再生部２４と映像再生部７８とが分離して別筐体に収まっていてもよい。
【００６０】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、音声再生装置、及びその制御方法に関する。
【背景技術】
【０００２】
現在、複数の無指向性マイクロフォンで取得した音声信号からステレオ音声信号を生成する技術が知られている。また、映像音声記録装置（例えば、ビデオカメラ）による映像撮影時に取得された音声信号からステレオ音声信号を生成する場合に、ズーム状態に応じて各音声信号の増幅度を変化させることにより、ステレオ音声信号の指向特性を変化させる技術が知られている。例えば特許文献１には、ズーム倍率が高い場合に、左右に配置されたマイクロフォンよりも中央前方に配置されたマイクロフォンで取得した音声信号の増幅度を大きくすることにより、前方方向の指向性を強めることが記載されている。
【０００３】
また、音声信号再生時の臨場感を高めるための技術として、擬似サラウンド音声信号処理技術が知られている。擬似サラウンド音声信号処理は一般的に、頭部伝達関数を用いた演算処理及びクロストークキャンセルにより実現される。頭部伝達関数は、音声の収音位置と音声の聴取位置との位置関係に応じて定まるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３２６９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビデオカメラのズーム状態を変化させたり、マイクロフォンの増幅度を変化させたりすることを、音声の聴取位置を仮想的に変化させることと同じことと見なすこともできるが、従来、そのような発想は存在しなかった。従って、擬似サラウンド音声信号処理のための頭部伝達関数をビデオカメラのズーム状態やマイクロフォンの増幅度に応じて変化させるという発想も従来は存在しなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、音声信号再生時の信号処理のための頭部伝達関数を、音声信号取得時の音声記録装置の状態に応じて変化させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の本発明は、１以上のマイクロフォンを含む音声入力部を備える音声記録装置が当該１以上のマイクロフォンを用いて記録した１以上の音声信号と、前記音声入力部の所定の位置を原点として一方向に延びる基準軸に対する前記１以上のマイクロフォンそれぞれの設置位置の角度と、前記音声記録装置による前記１以上の音声信号の記録時の前記１以上のマイクロフォンそれぞれの音声信号の増幅度と、を取得する第１取得手段と、前記基準軸上の基準位置を決定する決定手段と、前記第１取得手段で取得した前記１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出手段であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出手段と、前記算出手段で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得手段と、前記第２取得手段で取得した頭部伝達関数を用いて、前記第１取得手段で取得した前記１以上の音声信号から擬似サラウンド化された音声信号を生成する生成手段と、を備えることを特徴とする音声再生装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
以上の構成により、本発明によれば、音声信号再生時の信号処理のための頭部伝達関数を、音声信号取得時の音声記録装置の状態に応じて変化させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る音声再生装置２００の構成を示すブロック図
【図２】実施例１におけるマイクロフォンの配置例、仮想聴取位置、及び収音位置の例を示す図
【図３】実施例１において、音声記録装置１００内の制御部１６、及び音声再生装置２００内の制御部２５が実行する音声信号再生処理を示すフローチャート
【図４】記録されている頭部伝達関数の選択候補、及びそこからの選択を説明する図
【図５】実施例１に係る擬似サラウンド音声信号処理を説明する図
【図６】実施例２に係る音声再生装置７００の構成を示すブロック図
【図７】実施例２において、音声記録装置６００内の制御部１６、及び音声再生装置７００内の制御部２５が実行する映像音声信号再生処理を示すフローチャート
【図８】実施例２におけるマイクロフォンの配置例、仮想聴取位置、及び収音位置の例を示す図
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明を実施するための形態について説明する。
【実施例１】
【００１２】
図１は、実施例１に係る音声再生装置２００の構成を示すブロック図である。音声再生装置２００は、例えば、音声再生機能を有するパーソナルコンピューターやクレードルなどに適用可能である。音声再生装置２００は、音声記録装置１００から音声信号等を取得する。音声記録装置１００は、マイクロフォンなどを用いて音声を収音し、音源が発する音声を音声信号としてＨＤＤなどの磁気デバイスや、ＳＳＤなどの半導体デバイスなどの記録媒体に記録する。音声記録装置１００は、例えば、ＩＣレコーダやＰＤＡ、音声録音機能付携帯電話などに適用可能である。
【００１３】
以下、音声記録装置１００、及び音声再生装置２００について具体的に説明する。音声記録装置１００は、音声入力部１０、指向性処理部１１、指向性設定部１２、記録部１３、音声信号出力部１４、指向性情報送信部１５、及び制御部１６を備える。また、音声再生装置２００は、音声信号入力部２０、指向性情報受信部２１、頭部伝達関数設定部２２、音声信号処理部２３、音声再生部２４、及び制御部２５を備える。音声信号入力部２０及び指向性情報受信部２１は、第１取得手段として機能する。
【００１４】
音声入力部１０は、１以上の無指向性マイクロフォンを備え、音声記録装置１００周辺の音声を収音し、音声信号として後段の指向性処理部１１へ供給する。マイクロフォンの個数は、指向性処理部１１にて行う指向性信号処理の内容に応じて適宜決定される。一例として、図２に示すように音声入力部１０は５つのマイクロフォンを備える。各マイクロフォンは、原点から一方向（音声記録装置１００の前方方向）に延びる基準軸Ｒに対して一定の角度を持って配置される。
【００１５】
指向性処理部１１は、音声入力部１０から受信した音声信号に対して指向性信号処理（特に、各マイクロフォンから受信した音声信号の増幅処理）を行う。指向性信号処理は、指向性設定部１２から指示された指向性情報に基づいて行われる。指向性信号処理は、無指向性マイクロフォンが収音した音声信号に対し、指向性設定部１２にて設定された指向性情報に応じて所定の係数を乗算及び加算して生成して行うものとする。係数はマイクロフォンの個数や配置等から周知技術によって予め算出するものとする。
【００１６】
指向性設定部１２は、音声信号に対して指向性信号処理を行うために必要な指向性情報の設定を行う。指向性情報には、各マイクロフォンの音声信号に対する増幅度、及び指向性信号処理後の音声信号チャンネル数が含まれる。指向性設定部１２は、指向性情報を予め定められた単位時間ごとに設定し、音声信号に付随するメタ情報として記録部１３へ記録する。また、指向性情報の設定変更指示をユーザが手動で行ってもよいし、指向性設定部１２が音源に追従して自動で指向性情報の設定を変更してもよい。
【００１７】
記録部１３は、ＨＤＤなどの磁気デバイスやＳＳＤなどの半導体デバイスなどを含み、指向性処理部１１にて指向性信号処理を行った音声信号と単位時間毎の指向性情報とを記録する。
【００１８】
音声信号出力部１４は、記録部１３に記録されている音声信号を音声再生装置２００内の音声信号入力部２０へ供給する。音声信号は例えば、ＨＤＭＩ、ＩＥＥＥ１３９４、光伝送などのデジタル信号伝送、又はアナログ信号伝送などが用いて伝送される。
【００１９】
指向性情報送信部１５は、指向性設定部１２で設定され記録部１３に記録された指向性情報を、音声再生装置２００内の指向性情報受信部２１へ供給する。指向性情報は例えば、ＨＤＭＩ又はＩＥＥＥ１３９４などを用いて音声信号とともに伝送される。或いは、音声記録装置１００と音声再生装置２００とがアナログ信号伝送によって接続されている場合、メタ情報を伝送するための専用線を用いて指向性情報が伝送されてもよい。
【００２０】
制御部１６は、音声記録装置１００の動作を中央制御する。具体的には制御部１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有する。制御部１６は、ユーザが操作部（不図示）に対して行った操作に対応する操作信号に従って、音声信号記録操作、指向性情報変更操作、及び音声信号出力操作などを行うための制御信号を各構成部へ供給する。
【００２１】
次に、音声再生装置２００について説明する。音声信号入力部２０は、音声記録装置１００内の音声信号出力部１４から供給された音声信号を受信する。指向性情報受信部２１は、音声記録装置１００内の指向性情報送信部１５から供給された指向性情報を受信する。
【００２２】
頭部伝達関数設定部２２は、指向性情報受信部２１が受信した指向性情報に基づき、メモリ（不図示）に予め記録されている頭部伝達関数の中から最適な頭部伝達関数を選択し、音声信号処理部２３へ供給する。
【００２３】
音声信号処理部２３は、頭部伝達関数設定部２２から供給された頭部伝達関数を乗算することにより、擬似サラウンド音声信号処理を行う。ここで、擬似サラウンド音声信号処理にはクロストークキャンセル信号処理も含まれてもよい。擬似サラウンド音声信号処理後の音声信号は、音声再生部２４へ供給される。
【００２４】
音声再生部２４は、音声信号処理部２３から供給された音声信号を音声として出力するための増幅部とスピーカとを含む。音声再生部２４は、音声信号を増幅部で増幅したのち、スピーカから音声として出力する。
【００２５】
制御部２５は、音声再生装置２００の動作を中央制御する。制御部２５は、ユーザの操作に基づく操作信号に従って、音声信号の再生操作、及び擬似サラウンド音声信号処理設定操作などを行うための制御信号を各構成部へ供給する。
【００２６】
次に、音声記録装置１００内の制御部１６、及び音声再生装置２００内の制御部２５が実行する音声信号再生処理について、図３のフローチャートを参照して説明する。本フローチャートの処理は、制御部１６及び制御部２５が制御プログラムを実行することにより実現される。
【００２７】
Ｓ３００で、制御部２５は、ユーザからの音声再生開始指示に従い、音声記録装置１００の制御部１６へ音声信号の出力を指示する。この指示により音声信号出力部１４は、音声信号入力部２０へ音声信号を供給する。ここで、ユーザは、音声再生開始指示を音声記録装置１００に対して直接行ってもよい。音声信号入力部２０へ供給された音声信号は、後段の音声信号処理部２３へ送られる。
【００２８】
Ｓ３０１で、制御部２５は、音声記録装置１００に対して、指向性情報の出力を指示する。この指示により指向性情報送信部１５は、指向性情報受信部２１へ指向性情報を供給する。指向性情報受信部２１は指向性情報を単位時間ごとに読み込む。ここでは読み込んだ時刻tにおける指向性情報をＭ（ｔ）と表記することとする。
【００２９】
Ｓ３０２で、制御部２５は、時刻ｔにおける指向性情報Ｍ（ｔ）が直前の指向性情報Ｍ（ｔ−１）から変化したか否かを判定する。なお、ｔ＝０では直前の指向性情報が無いため、制御部２５は、「指向性情報が変化した」と判断する。指向性情報が変化した場合、処理はＳ３０３に進み、そうでない場合、処理はＳ３０６に進む。
【００３０】
Ｓ３０３で、制御部２５は、指向性情報の詳細解析を行う。指向性情報には、音声信号記録時の各マイクロフォンの増幅度、各マイクロフォンの設置位置の基準軸Ｒに対する角度、及び音声信号チャンネル数などの情報が含まれる。
【００３１】
Ｓ３０４で、制御部２５は、決定手段、算出手段、及び第２取得手段として機能し、詳細解析した指向性情報を基にメモリ（不図示）内から最適な頭部伝達関数を選択する。頭部伝達関数は、音声信号記録時に想定される指向性状態を基に予め測定又はシミュレーション等で算出したものをテーブル化し、音声再生装置２００内のメモリに保存されている。なお、頭部伝達関数は、音声再生装置２００と接続しうる音声記録装置１００における指向性制御仕様に従って測定又は算出される。
【００３２】
ここで、頭部伝達関数の選択に関する基本的な考え方を説明する。図２に示すように、基準軸Ｒに対する角度が０度であるマイクロフォン１を、基準マイクロフォンとして使用する。基準マイクロフォンの増幅度が高い場合は、より遠方の音源から音声を収音可能であるため、基準軸Ｒ上で基準マイクロフォンから離れた位置（図２においては、基準位置Ｐ）を、音声の仮想的な聴取位置（基準位置）とする。反対に、基準マイクロフォンの増幅度が低い場合は、基準軸Ｒ上で基準マイクロフォンに近い位置を、仮想的な聴取位置とする。また、基準マイクロフォン以外のマイクロフォンについては、各マイクロフォンの角度だけ基準軸Ｒから回転した方向に、増幅度に応じた距離だけ離れた位置（図２においては、位置Ａ）の音声を収音しているものと見なす。図２の例では、基準位置Ｐは、原点から距離Ｌｈｉｇｈだけ離れた基準軸Ｒ上の点である。また、位置Ａは、基準軸Ｒから角度θ２だけ回転した方向に、原点から距離Ｌｌｏｗだけ離れた点である。
【００３３】
マイクロフォン２が収音した音声は、基準位置Ｐにおいて位置Ａから聴こえる音声として認識可能なように処理される。基準位置Ｐに対する位置Ａの相対位置は、図２に示すように、角度θＡ及び距離Ｌ２によって表される。角度θＡ及び距離Ｌ２は、下記の式（１）及び式（２）に従って算出される。
【００３４】
【数１】
【００３５】
【数２】
【００３６】
頭部伝達関数の選択候補は、図４に示すように、基準位置Ｐに対する相対位置ごとにメモリ内に記録されている。基準軸の右側の各位置における頭部伝達関数については、左耳用の値と右耳用の値とが逆転するだけであるため、記録の必要がない（従って、図示も省略している）。図４において、式（１）及び式（２）に基づいて算出された角度θＡ及び距離Ｌ２に対応する位置はＨ５であり、この位置に対応して記録されている頭部伝達関数が、マイクロフォン２のための頭部伝達関数（左耳用はＨ５ＬＬ、右耳用はＨ５ＬＲ）として選択される。他のマイクロフォンについては、マイクロフォン２と同様であるため、説明を省略する。
【００３７】
図３に戻り、Ｓ３０５で、制御部２５は頭部伝達関数設定部２２に対して、Ｓ３０４で選択した頭部伝達関数を音声信号処理部２３に設定するように指示する。
【００３８】
Ｓ３０６で、生成手段としての音声信号処理部２３は、Ｓ３０５で設定された頭部伝達関数を用いて擬似サラウンド音声信号処理を実行し、擬似サラウンド化された音声信号を音声再生部２４へ出力する。
【００３９】
ここで、図５を参照して擬似サラウンド音声信号処理を説明する。時刻ｔにおける左チャンネル音声信号（基準軸Ｒの左側のマイクロフォンで取得した音声信号）をＳｉｎＬ（ｔ）とし、時刻ｔにおける右チャンネル音声信号（基準軸Ｒの右側のマイクロフォンで取得した音声信号）をＳｉｎＲ（ｔ）とする。また、時刻ｔにおける中央チャンネル（基準軸Ｒ上のマイクロフォンで取得した音声信号）をＳｉｎＣ（ｔ）とする。例えば、マイクロフォン２に対応するＳｉｎ（ｔ）に対しては、左耳用にＨ５ＬＬを、右耳用にＨ５ＬＲをそれぞれ乗じる。これにより、左耳用の出力音声信号ＳｏｕｔＬ（ｔ）及び右耳用の出力音声信号ＳｏｕｔＲ（ｔ）が得られる。また、頭部伝達関数の乗算後に、クロストークキャンセル信号処理が行われてもよい。図５には、頭部伝達関数としてＨ５ＬＬ、Ｈ５ＬＲ、Ｈ５ＲＬ、及びＨ５ＲＲを例示したが、これらは実際には、図４を参照して説明したように各マイクロフォンの角度及び増幅度に応じて変化する。
【００４０】
図３に戻り、Ｓ３０７で、制御部２５は、ユーザから音声再生停止指示を受信したか否かを判定する。音声再生停止指示を受信した場合、本フローチャートの処理は終了する。音声再生停止指示を受信していない場合、Ｓ３０８において制御部２５は再生時刻Ｔを更新し、Ｓ３０２からの処理を繰り返す。
【００４１】
以上説明したように、本実施例によれば、音声再生装置２００は、各マイクロフォンの角度及び増幅度に応じた頭部伝達関数を用いて擬似サラウンド音声信号処理を行う。これにより、ユーザは、音声再生時により高い臨場感を味わうことができる。
【実施例２】
【００４２】
実施例２では、音声記録装置としてビデオカメラなどの映像音声記録装置（映像撮影機能を持つ音声記録装置）を利用する場合について説明する。実施例１では基準軸上のマイクロフォンの増幅度を利用して基準位置を決定したが、実施例２では、映像音声記録装置による映像撮影時の被写体の位置を基準位置とする。被写体の位置は、例えば、ビデオカメラのズーム距離及びフォーカス距離に基づいて算出可能である。
【００４３】
図６は、実施例２に係る音声再生装置７００の構成を示すブロック図である。音声再生装置７００は、音声記録装置６００から音声信号等を取得する。図６において、図１と同一又は同様の機能を持つブロックには同一の符号を付し、説明を省略する。音声再生装置７００は、例えば、テレビなどに適用可能である。音声記録装置１００は、例えば、ビデオカメラなどに適用可能である。
【００４４】
音声記録装置６００内の映像入力部６７は、映像撮像部及び信号処理部を含む。映像撮像部へ入力された映像は信号処理部にて映像信号に変換され、後段の記録部１３へ供給される。また、映像入力部６７は、制御部１６の指示に応じて映像撮像部を制御する。具体的には、映像の拡大及び縮小を行うズーム制御や、被写体にフォーカスを合わせるフォーカス制御などが行われる。また、映像撮像部から被写体までの距離は、ズーム制御信号及びフォーカス制御信号の設定値に応じた値を持つテーブルとして、音声記録装置６００内のメモリ（不図示）に予め保持されている。
【００４５】
なお、実施例２において、指向性設定部１２が出力する指向性情報は、映像撮像部のズーム操作情報、及びフォーカス操作情報に基づいて決定するようにしてもよい。また、指向性情報の設定変更指示をユーザが手動で行ってもよいし、被写体に追従したズーム操作による焦点距離や、フォーカシング位置に関する情報などに基づいて、指向性設定部１２が音源に追従して自動で指向性情報の設定を変更してもよい。
【００４６】
映像信号出力部６８は、記録部１３に記録されている映像信号を音声再生装置７００へ出力する。映像信号は、例えば、ＨＤＭＩ、ＩＥＥＥ１３９４などを用いたデジタル信号伝送、又はアナログ信号伝送などによって伝送可能である。
【００４７】
音声再生装置７００内の映像信号入力部７６は、音声記録装置６００内の映像信号出力部６８から出力された映像信号を受信する。映像信号処理部７７は、映像信号入力部７６から受信した映像信号に対し、高画質処理や画角変更処理などの映像信号に関する信号処理を行う。映像信号処理部７７にて画角変更処理が行われた場合は、画角変更内容に応じて音声の指向性設定を行ってもよい。この場合、指向性情報受信部２１が受信した指向性情報ではなく、画角変更処理に応じて決定された指向性情報に基づいて頭部伝達関数を設定することとする。
【００４８】
映像再生部７８は、映像信号処理部７７から受信した映像信号を映像信号出力デバイスに表示する。この映像信号出力デバイスは、ＰＤＰ、ＬＣＤ、ＳＥＤ、有機ＥＬなどを用いたものであってよい。ここで、ＳＥＤは、Surface-Conduction Electron-emitter Displayの略語である。また、ＥＬはElectro Luminescenceの略語である。
【００４９】
次に、音声記録装置６００内の制御部１６、及び音声再生装置７００内の制御部２５が実行する映像音声信号再生処理について、図７のフローチャートを参照して説明する。本フローチャートの処理は、制御部１６及び制御部２５が制御プログラムを実行することにより実現される。図７において、図３と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。
【００５０】
Ｓ７００で、制御部２５は、ユーザからの映像音声再生開始指示に従い、音声記録装置６００の制御部１６へ映像信号及び音声信号の出力を指示する。この指示により音声信号出力部１４は、音声信号入力部２０へ音声信号を供給する。また、映像信号出力部６８は、映像信号入力部７６へ映像信号を供給する。ここで、ユーザは、映像音声再生開始指示を音声記録装置６００に対して直接行ってもよい。音声信号入力部２０へ供給された音声信号は、後段の音声信号処理部２３へ送られる。また、映像信号入力部７６へ供給された映像信号は後段の映像信号処理部７７へ送られる。
【００５１】
Ｓ７０１で、制御部２５は、音声記録装置１００に対して、指向性情報の出力を指示する。実施例１とは異なり、指向性情報には、各マイクロフォンの角度及び増幅度に加えて、映像入力部６７から被写体までの距離を示す情報（例えば、ズーム状態及びフォーカス状態を示す情報）が含まれる。この指示により指向性情報送信部１５は、指向性情報受信部２１へ指向性情報を供給する。指向性情報受信部２１は指向性情報を単位時間ごとに読み込む。ここでは読み込んだ時刻tにおける指向性情報をＭ（ｔ）と表記することとする。
【００５２】
Ｓ７０４で、制御部２５は、詳細解析した指向性情報を基にメモリ（不図示）内から最適な頭部伝達関数を選択する。図８を参照して、Ｓ７０４における選択の、図３のＳ３０４における選択と異なる部分について説明する。
【００５３】
図８に示すように、実施例２においては、基準位置Ｐ（仮想聴取位置）は、原点から距離Ｌｚｍだけ離れた基準軸Ｒ上の点である。Ｌｚｍは、映像入力部６７から被写体までの距離に対応する。例えば基準位置Ｐに対するマイクロフォン２の収音位置Ａの相対位置を表す角度θＡ及び距離Ｌ２は、前述の式（１）及び式（２）の代わりに、下記の式（３）及び式（４）によって算出される。
【００５４】
【数３】
【００５５】
【数４】
【００５６】
Ｓ７０６で、音声信号処理部２３は、Ｓ３０５で設定された頭部伝達関数を用いて擬似サラウンド音声信号処理を実行し、擬似サラウンド化された音声信号を音声再生部２４へ出力する。また、映像信号処理部７７は、映像信号を映像再生部７８へ出力する。擬似サラウンド音声信号処理は、実施例１と同様（図５参照）である。但し、実施例１ではマイクロフォン１の収音位置は常に基準位置Ｐと一致していたが、実施例２では、増幅度に応じて基準軸Ｒ上を移動する。従って、マイクロフォン１のための頭部伝達関数も、増幅度に応じて変化する。
【００５７】
Ｓ７０７で、制御部２５は、ユーザから映像音声再生停止指示を受信したか否かを判定する。映像音声再生停止指示を受信した場合、本フローチャートの処理は終了する。音声再生停止指示を受信していない場合、Ｓ３０８において制御部２５は再生時刻Ｔを更新し、Ｓ３０２からの処理を繰り返す。
【００５８】
以上説明したように、本実施例によれば、音声再生装置７００は、各マイクロフォンの角度及び増幅度、並びに被写体距離に応じた頭部伝達関数を用いて擬似サラウンド音声信号処理を行う。これにより、ユーザは、音声再生時により高い臨場感を味わうことができる。
【００５９】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、実施例１に示した音声記録装置１００及び音声再生装置２００は１つの筐体内に収まっていてもよい。また、実施例２に示す音声再生装置７００に関して、音声再生部２４と映像再生部７８とが分離して別筐体に収まっていてもよい。
【００６０】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
１以上のマイクロフォンを含む音声入力部を備える音声記録装置が当該１以上のマイクロフォンを用いて記録した１以上の音声信号と、前記音声入力部の所定の位置を原点として一方向に延びる基準軸に対する前記１以上のマイクロフォンそれぞれの設置位置の角度と、前記音声記録装置による前記１以上の音声信号の記録時の前記１以上のマイクロフォンそれぞれの音声信号の増幅度と、を取得する第１取得手段と、
前記基準軸上の基準位置を決定する決定手段と、
前記第１取得手段で取得した前記１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出手段であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出手段と、
前記算出手段で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得手段と、
前記第２取得手段で取得した頭部伝達関数を用いて、前記第１取得手段で取得した前記１以上の音声信号から擬似サラウンド化された音声信号を生成する生成手段と、
を備えることを特徴とする音声再生装置。
【請求項２】
前記決定手段は、前記１以上のマイクロフォンのうち前記基準軸上に設置された１つのマイクロフォンの増幅度に基づいて、当該増幅度が大きいほど前記原点から遠く当該増幅度が小さいほど前記原点から近い前記基準軸上の位置を、前記基準位置として決定することを特徴とする請求項１に記載の音声再生装置。
【請求項３】
前記音声記録装置は撮像手段を備え、
前記第１取得手段は、前記音声記録装置による前記１以上の音声信号の記録時に前記撮像手段で撮像した前記基準軸上の被写体の位置を更に取得し、
前記決定手段は、前記第１取得手段で取得した前記被写体の位置を前記基準位置として決定する
ことを特徴とする請求項１に記載の音声再生装置。
【請求項４】
音声再生装置の制御方法であって、
１以上のマイクロフォンを含む音声入力部を備える音声記録装置が当該１以上のマイクロフォンを用いて記録した１以上の音声信号と、前記音声入力部の所定の位置を原点として一方向に延びる基準軸に対する前記１以上のマイクロフォンそれぞれの設置位置の角度と、前記音声記録装置による前記１以上の音声信号の記録時の前記１以上のマイクロフォンそれぞれの音声信号の増幅度と、を取得する第１取得工程と、
前記基準軸上の基準位置を決定する決定工程と、
前記第１取得工程で取得した前記１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出工程であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出工程と、
前記算出工程で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得工程と、
前記第２取得工程で取得した頭部伝達関数を用いて、前記第１取得工程で取得した前記１以上の音声信号から擬似サラウンド化された音声信号を生成する生成工程と、
を備えることを特徴とする制御方法。
【請求項１】
１以上のマイクロフォンを含む音声入力部を備える音声記録装置が当該１以上のマイクロフォンを用いて記録した１以上の音声信号と、前記音声入力部の所定の位置を原点として一方向に延びる基準軸に対する前記１以上のマイクロフォンそれぞれの設置位置の角度と、前記音声記録装置による前記１以上の音声信号の記録時の前記１以上のマイクロフォンそれぞれの音声信号の増幅度と、を取得する第１取得手段と、
前記基準軸上の基準位置を決定する決定手段と、
前記第１取得手段で取得した前記１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出手段であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出手段と、
前記算出手段で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得手段と、
前記第２取得手段で取得した頭部伝達関数を用いて、前記第１取得手段で取得した前記１以上の音声信号から擬似サラウンド化された音声信号を生成する生成手段と、
を備えることを特徴とする音声再生装置。
【請求項２】
前記決定手段は、前記１以上のマイクロフォンのうち前記基準軸上に設置された１つのマイクロフォンの増幅度に基づいて、当該増幅度が大きいほど前記原点から遠く当該増幅度が小さいほど前記原点から近い前記基準軸上の位置を、前記基準位置として決定することを特徴とする請求項１に記載の音声再生装置。
【請求項３】
前記音声記録装置は撮像手段を備え、
前記第１取得手段は、前記音声記録装置による前記１以上の音声信号の記録時に前記撮像手段で撮像した前記基準軸上の被写体の位置を更に取得し、
前記決定手段は、前記第１取得手段で取得した前記被写体の位置を前記基準位置として決定する
ことを特徴とする請求項１に記載の音声再生装置。
【請求項４】
音声再生装置の制御方法であって、
１以上のマイクロフォンを含む音声入力部を備える音声記録装置が当該１以上のマイクロフォンを用いて記録した１以上の音声信号と、前記音声入力部の所定の位置を原点として一方向に延びる基準軸に対する前記１以上のマイクロフォンそれぞれの設置位置の角度と、前記音声記録装置による前記１以上の音声信号の記録時の前記１以上のマイクロフォンそれぞれの音声信号の増幅度と、を取得する第１取得工程と、
前記基準軸上の基準位置を決定する決定工程と、
前記第１取得工程で取得した前記１以上のマイクロフォンそれぞれの角度及び増幅度に基づいて決定される前記１以上のマイクロフォンそれぞれの仮想的な収音位置の、前記基準位置に対する相対位置を算出する算出工程であって、前記仮想的な収音位置は、前記基準軸に対して前記角度を有して前記原点から延びる軸上の、前記増幅度が大きいほど前記原点から遠く前記増幅度が小さいほど前記原点から近い位置として決定される、算出工程と、
前記算出工程で算出した前記１以上のマイクロフォンそれぞれの相対位置に対応する頭部伝達関数を取得する第２取得工程と、
前記第２取得工程で取得した頭部伝達関数を用いて、前記第１取得工程で取得した前記１以上の音声信号から擬似サラウンド化された音声信号を生成する生成工程と、
を備えることを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１２００２８（Ｐ２０１１−１２００２８Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７５９３９（Ｐ２００９−２７５９３９）
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月３日（２００９．１２．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]