音声入出力装置
【課題】 ビデオカメラ等の音声入出力装置において、撮影者が音声入力装置に一番近い位置にいるため、被撮影者よりも音量が大きく記録・再生されるという問題があった。この問題をユーザーの手間やコストを掛けることなく解決すること。
【解決手段】 入力された音声データに対し、データベースとの音声認識を行い、音声認識の結果に応じてアナログアンプまたはデジタルアンプにより音量を制御する、または、音声認識の結果に応じてフィルタリング処理を行なう、または、音声認識された後、相関性算出の結果に応じて指向性制御を行なうことで音量が大きい撮影者の音声などの特定の音声に関して音量を下げることを可能とする。
【解決手段】 入力された音声データに対し、データベースとの音声認識を行い、音声認識の結果に応じてアナログアンプまたはデジタルアンプにより音量を制御する、または、音声認識の結果に応じてフィルタリング処理を行なう、または、音声認識された後、相関性算出の結果に応じて指向性制御を行なうことで音量が大きい撮影者の音声などの特定の音声に関して音量を下げることを可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマイクロホンまたは記録媒体等からの音声入力を行なう音声入力装置を備えた、音声入出力可能な装置に関するものである。
【背景技術】
【０００２】
本来、例えばビデオカメラ等の音声入出力装置において、撮影者が音声入力装置に一番近い位置にいるため、被撮影者よりも音量が大きく記録・再生されるという問題があった。この問題に対応するために、従来技術ではマイクロホン等による音声入力装置を備えた音声入出力可能な装置において、ある特定の音声の音量が大きい場合においては、決められた一定期間の音量を調節する機能を持ったものがある。（例えば、特許文献１参照。）また、撮像装置のナレーションの音量調節においては、ナレーションマイクを独立チャンネルに配置し、そのナレーション音量を通常マイクの音量調節とは独立して調節可能なものがある。（例えば、特許文献２参照。）このような技術を用いることで、従来では撮影者の音声ボリュームが大きく、被撮影者の音声ボリュームが撮影者に対して小さくなってしまうこと、または被撮影者の音声ボリュームに対して撮影者の音声ボリュームが大きくなってしまうことを回避することが可能であった。
【特許文献１】特開2003-078879号公報
【特許文献２】特開2002-171482号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来例では、ある一定期間の音量を一律で下げる（上げる）方法がとられているが、一定期間をユーザーがその都度指示しなくてはならないということがあった。また、これを改善するために別にナレーションマイクを備え、その信号を用いることで、ナレーションの音量を単独で調節できるようにしているものがあるが、専用マイクを必要とするため、コストがかかるということがあった。
【０００４】
本発明では、音声認識技術、ボリュームコントロール、フィルタリング処理、および指向性制御を利用することにより、ユーザーがその都度指示することなく、且つ、部品にかかるコストを上げることなく、特定の音声期間または特定の音声成分の音量を調節することを可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本出願にかかわる第一の発明は、音声入力手段とその音声信号を処理する信号処理手段と、信号を周波数変換・逆変換する手段と、音声認識をする手段と、相関性を算出する手段と、音量を制御する制御手段と、フィルタリング処理手段と、指向性制御手段とを備えており、入力された音声データに対し、データベースとの音声認識を行い、音声認識の結果に応じてアナログアンプまたはデジタルアンプにより音量を制御する、または、音声認識の結果に応じてフィルタリング処理を行なう、または、音声認識された後、相関性算出の結果に応じて指向性制御を行なうことで音量が大きい撮影者の音声などの特定の音声に関して、結果として音量を下げる制御を行なうことを特徴としている。
【０００６】
また、本発明の他の特徴とするところは、記録媒体から音声を読み出す入力手段とその記録媒体からの音声信号を処理する信号処理手段と、信号を周波数変換・逆変換する手段と、音声認識をする手段と、相関性を算出する手段と、音量を制御する制御手段と、フィルタリング処理手段と、指向性制御手段と、その各種信号処理が施された音声信号を出力・再生する手段を備えており、記録媒体から読み出された音声データに対しデータベースとの音声認識を行い、音声認識の結果に応じてアナログアンプまたはデジタルアンプにより音量を制御する、または、音声認識の結果に応じてフィルタリング処理を行なう、または、音声認識された後、相関性算出の結果に応じて指向性制御を行なうことで音量が大きい撮影者の音声などの特定の音声に関して、結果として音量を下げる制御を行なうことを特徴としている。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、ボタン等によりその都度指示を出すことなく、自動的に問題となる一定期間の音量をコントロールすることが可能となる。また、ナレーションマイク等の特別な音声入力装置を必要としないため、コストを上げることなく問題となる特定の音量をコントロールすることや、指向性を持たせることで特定の音量バランスをコントロールすることが可能となる。
【発明を実施するための最良の形態】
【０００８】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【０００９】
本発明の実施例として、本実施例ではビデオカメラを例に挙げ説明を行なう。図１は本発明の特徴を表す図である。また、図２に示すような構成になっても良い。同図１において１はレンズ、２はCCD、３はCDS/AGC回路、４はA/D回路、５はデジタル信号処理回路を示しており、ビデオカメラのシステムにおけるの撮像系を示している。
【００１０】
また、７，８は音声入力装置であるマイク、９は音声信号を増幅するアンプ、１０は音声信号をサンプリングしデジタル信号に変換するA/D変換、１１はデジタル変換された音声信号を処理する音声信号処理回路である。この信号処理されたデジタル音声データは５のデジタル信号処理回路に伝達され、マイコンの指示により必要に応じて信号処理を行なう。ここで、１１の音声信号処理回路は場合によっては５に示すデジタル信号処理回路に含まれた構成となることもある。
【００１１】
通常は５のデジタル信号処理回路によりフィルタリング等の信号処理された音声信号データが１２のD/A変換によりアナログ信号に変換され、１３のアンプにより適切な振幅を持ち適切なレベルとなった信号に調節され、スピーカ等の１４の音声出力装置または音声出力端子に出力される。
【００１２】
本発明においては１１の音声信号処理回路の出力が５のデジタル信号処理回路に入り、この信号に対して、６のマイクロコンピュータにて、本発明の動作の実行命令を下す。この実行命令が下された場合に、１５の音声認識回路によって音声認識を行ない、あらかじめ登録された１６のデータベース情報とマッチした場合に２０のボリュームコントロールにて音声データのボリュームをコントロールすることを特徴とする装置である。認識結果がデータベースとマッチしている場合にボリュームを下げる制御を行い、認識結果がデータベースとマッチしている時間中、ボリュームを下げた状態を維持するわけだが、急激にボリュームを下げると不自然となったり、かえって耳障りになりかねないため、徐々に制御を行なう方法も有効である。
【００１３】
より具体的には、５に示すデジタル信号処理からの音声データを１６の周波数変換回路によって周波数成分のデータに変換する。ここではフーリエ変換を用いて周波数成分情報に変換し、単に2乗演算を施すことで、パワースペクトラム情報に変換するが、例えばウェーブレット変換のように周波数ごとではなく、グルーピングされた周波数ごとのレベル分類を行うことでホルマントと同等の結果を得ることも可能であり、ここでは音声認識手段の如何は問わない。そして、例えばここでは、周波数分類されたパワースペクトラム情報からピークを持つホルマント周波数を算出し、データベースのホルマント情報との相関性を計算する。相関性の演算は、ここでは例えば２つのデータ間で内積演算を行なうことで相関データを算出する。その結果、ある一定値以上の相関性があると認識された場合に２１に示すボリュームコントロール回路によりボリュームコントロールを行なうことを特徴とする制御である。
【００１４】
フローチャートを用いて説明すると図３に示す制御フローになる。まず、Ｓ１１のステップ１で本発明の処理を行なう要求があるかを判断する。ここで結果がＮＯであった場合には繰り返し判断があるまで条件判断を行なう。また、結果がＹＥＳであった場合にＳ１２のステップ２に進む。Ｓ１２のステップ２では音声認識等に必要なフーリエ変換等の音声信号処理が行なわれ、Ｓ１３のステップ３に進む。Ｓ１３のステップ３では音声認識が行なわれ、Ｓ１４のステップ４に進む。Ｓ１４のステップ４では、音声認識処理で、データベースとどの程度相関があるかを算出し、Ｓ１５のステップ５に進む。Ｓ１５のステップ５では音声認識の相関性算出の結果がデータベースと同じ人物の音声かどうかが判断される。ここで結果がＮＯであれば、引き続きＳ１２のステップ２に進み、時間的にずれた次のデータを用いて音声信号処理が行なわれれる。また、判断結果がＹＥＳであった場合は、Ｓ１６のステップ６に進み音声のボリュームコントロールが行なわれる。これが本発明の実施例１の基本動作である。
【実施例２】
【００１５】
本発明の実施例２として、実施例１同様にビデオカメラを例に挙げ説明を行なう。実施例１と同様に音声信号処理が行なわれている音声入出力装置において、１１の音声信号処理回路の出力が５のデジタル信号処理回路に入り、この信号に対して、６のマイクロコンピュータにて、本発明の実施例２の動作の実行命令を下す。この実行命令が下された場合に、１５の音声認識回路によって音声認識を行ない、あらかじめ登録された１６のデータベース情報とマッチした場合に２１のフィルタ制御回路により、音声データにフィルタリング処理を行なうことを特徴とする装置である。
【００１６】
より具体的には、実施例１と同様に、５に示すデジタル信号処理からの音声データを１７の周波数変換回路によって周波数成分のデータに変換する。ここではフーリエ変換を用いて周波数成分情報に変換し、単に2乗演算を施すことで、パワースペクトラム情報に変換するが、例えばウェーブレット変換のように周波数ごとではなく、グルーピングされた周波数ごとのレベル分類を行うことでホルマントと同等の結果を得ることも可能であり、ここでは音声認識手段の如何は問わない。そして、例えばここでは、周波数分類されたパワースペクトラム情報からピークを持つホルマント周波数を算出し、データベースのホルマント情報との相関性を計算する。相関性の演算は、ここでは例えば２つのデータ間で内積演算を行なうことで相関データを算出する。その結果、ある一定値以上の相関性があると認識された場合に、あらかじめデータベースに登録された人の特徴を示す周波数帯のゲインを落とすフィルタを音声信号に掛けることでフィルタリングを行なうことを特徴とする制御である。
【００１７】
フローチャートを用いて説明すると図４に示す制御フローになる。まず、Ｓ２１のステップ１で本発明の処理を行なう要求があるかを判断する。ここで結果がＮＯであった場合には繰り返し判断があるまで条件判断を行なう。また、結果がＹＥＳであった場合にＳ２２のステップ２に進む。Ｓ２２のステップ２では音声認識等に必要なフーリエ変換等の音声信号処理が行なわれ、Ｓ２３のステップ３に進む。Ｓ２３のステップ３では音声認識が行なわれ、Ｓ２４のステップ４に進む。
【００１８】
Ｓ２４のステップ４では、音声認識処理でデータベースとどの程度相関があるかを算出し、Ｓ２５のステップ５に進む。Ｓ２５のステップ５では音声認識の相関性算出の結果がデータベースと同じ人物の音声かどうかが判断される。ここで結果がＮＯであれば、引き続きＳ２２のステップ２に進み、時間的にずれた次のデータを用いて音声信号処理が行なわれれる。また、判断結果がＹＥＳであった場合は、Ｓ２６のステップ６に進み音声信号に対してフィルタリング処理が行なわれる。これが本発明の実施例２の基本動作である。
【実施例３】
【００１９】
本発明の実施例３として、実施例１同様にビデオカメラを例に挙げ説明を行なう。実施例１と同様に音声信号処理が行なわれている音声入出力装置において、１１の音声信号処理回路の出力が５のデジタル信号処理回路に入り、この信号に対して、６のマイクロコンピュータにて、本発明の実施例３の動作の実行命令を下す。
【００２０】
この実行命令が下された場合に、本実施例では実施例１と同様に音声認識されるわけだが、特に複数のマイクを持った装置で、その複数の入力音声信号を用い、１７の周波数変換回路により周波数成分に変換され、更に１８に示す位相分離回路により、マイクに対してあらかじめ複数に分類された方向（角度）の音声信号情報に切り分ける。
【００２１】
この複数の方向に対する音声信号を元に複数回に分け音声認識処理が１５の音声認識回路によって行なわれる。その音声認識の結果、データベースの音声情報と同じ人の音声であると判断された場合に音声のボリュームをコントロールするわけだが、実施例１のように単に２０のボリュームコントロールによりボリュームを制御するのではなく、２１に示す指向性制御回路により指向性を制御することで実質的に登録された人物の音量バランスを変更する。
【００２２】
より具体的には、５に示すデジタル信号処理からの音声データを１７の周波数変換回路によってフーリエ変換され、周波数成分情報に変換し実数部と虚数部の成分に分けられる。ここで虚数部の情報は位相情報を示しているため、この位相情報によりあらかじめ定められたグループごとにデータ分けされる。そして分けられたデータごとに１７の周波数変換・逆変換回路によりフーリエ逆変換され、音声信号に戻される。この複数の音声データごとに１５の音声認識回路により音声認識が行なわれる。そして、この位相ごとの音声信号から音声認識された結果、データベースとの相関性をそれぞれ計算し、ある一定以上の相関性があると認識された場合に、その位相情報に従って、マイクの指向性を制御することを特徴とする制御である。マイクの指向性制御に関しては、２０のマイク指向性制御回路により、１１の音声信号処理回路、または５のデジタル信号処理回路に指示する。１１の音声信号処理回路または、５のデジタル信号処理回路では、位相ごとに分離された複数の音声データに対して、相関性の度合いに応じたボリュームコントロールを行ない、位相別データにボリュームコントロールされたデータを１９のＭＩＸ回路により１８の位相分離されたデータを合成することで、指向性制御を実現する。
【００２３】
フローチャートを用いて説明すると図５に示す制御フローになる。まず、Ｓ３１のステップ１で本発明の処理を行なう要求があるかを判断する。ここで結果がＮＯであった場合には繰り返し判断があるまで条件判断を行なう。また、結果がＹＥＳであった場合にＳ３２のステップ２に進む。Ｓ３２のステップ２では音声認識等に必要なフーリエ変換等の音声信号処理が行なわれ、Ｓ３３のステップ３に進む。Ｓ３３のステップ３ではフーリエ変換されたデータをもとに位相情報ごとに分類され、分類された情報ごとに逆フーリエ変換によって時系列の音声データに変換され、Ｓ３４のステップ４に進む。Ｓ３４のステップ４では各時系列の音声データごとに音声認識が行なわれ、Ｓ３５のステップ５に進む。Ｓ３５のステップ５では、音声認識処理でデータベースとどの程度相関があるかを算出し、Ｓ３６のステップ６に進む。Ｓ３６のステップ６では音声認識の結果がデータベースと同じ人物の音声かどうかが判断される。ここで結果が全てのデータに対してＮＯであれば、引き続きＳ３２のステップ２に進み、時間的にずれた次のデータを用いて音声信号処理が行なわれる。また、判断結果が１つ以上のデータに関してＹＥＳであった場合は、Ｓ３７のステップ７に進む。そしてＳ３７のステップ７では認識結果がＹＥＳであったデータに対して、相関性の高低に応じたボリュームコントロールを施すことで指向性の制御が行なわれる。これが本発明の実施例３の基本動作である。
【実施例４】
【００２４】
本発明の実施例４として、本実施例を実現するための構成図を図２に示す。実施例１に示した構成に対し、２３の記録媒体からの入出力を備えた装置であり、また例えば、２０のボリュームコントロール回路、２１のフィルタ処理回路、２２の指向性制御回路を５のデジタル信号処理の内部に持ち、記録媒体からの音声信号に対して、実施例１の処理を行なうことを可能とした制御である。
【００２５】
つまり、実施例１ではマイク等の音声入力手段からの音声信号に処理を施すことで実現したが、本実施例では２３の記録媒体からの音声信号に対し処理を施すことで、再生時に同等の効果を得るものである。そのため、フローチャートに関しては実施例１のフローチャートである図３と同じであり、同じフローが行なわれる。
【実施例５】
【００２６】
本発明の実施例５として、本実施例を実現するための構成図を図２に示す。実施例２に示した構成に対し、２３の記録媒体からの入出力を備えた装置であり、また例えば、２０のボリュームコントロール回路、２１のフィルタ処理回路、２２の指向性制御回路を５のデジタル信号処理の内部に持ち、記録媒体からの音声信号に対して、実施例２の処理を行なうことを可能とした制御である。
【００２７】
つまり、実施例２ではマイク等の音声入力手段からの音声信号に処理を施すことで実現したが、本実施例では２３の記録媒体からの音声信号に対し処理を施すことで、再生時に同等の効果を得るものである。そのため、フローチャートに関しては実施例２のフローチャートである図４と同じであり、同じフローが行なわれる。
【実施例６】
【００２８】
本発明の実施例６として、本実施例を実現するための構成図を図２に示す。実施例３に示した構成に対し、２３の記録媒体からの入出力を備えた装置であり、また例えば、２０のボリュームコントロール回路、２１のフィルタ処理回路、２２の指向性制御回路を５のデジタル信号処理の内部に持ち、記録媒体からの音声信号に対して、実施例３の処理を行なうことを可能とした制御である。
【００２９】
つまり、実施例３ではマイク等の音声入力手段からの音声信号に処理を施すことで実現したが、本実施例では２３の記録媒体からの音声信号に対し処理を施すことで、再生時に同等の効果を得るものである。そのため、フローチャートに関しては実施例３のフローチャートである図５と同じであり、同じフローが行なわれる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施例に係るブロック図である。
【図２】本発明の実施例に係るブロック図であり、図１と構成が異なるブロック図である。
【図３】実施例１・４の制御フローを示すフローチャートである。
【図４】実施例２・５の制御フローを示すフローチャートである。
【図５】実施例３・６の制御フローを示すフローチャートである。
【符号の説明】
【００３１】
１ レンズ
２ CCD
３ CDS/AGC回路
４ A/D変換回路
５ デジタル信号処理
６ マイクロコンピュータ
７ マイク
８ マイク
９ アンプ
１０ A/D変換回路
１１ 音声信号処理
１２ D/A変換
１３ アンプ
１４ 音声出力装置または音声出力端子
１５ 音声認識回路
１６ データベース
１７ 周波数変換・逆変換回路
１８ 位相分離回路
１９ ＭＩＸ回路
２０ ボリュームコントロール回路
２１ フィルタ処理回路
２２ 指向性制御回路
２３ 記録媒体
２４ 相関性算出回路
Ｓ１1 音声処理要求判断
Ｓ１２ 音声信号処理開始
Ｓ１３ 音声認識
Ｓ１４ 相関性算出
Ｓ１５ データベースと同じ音声であるかの条件判断
Ｓ１６ ボリュームコントロール
Ｓ２1 音声処理要求判断
Ｓ２２ 音声信号処理開始
Ｓ２３ 音声認識
Ｓ２４ 相関性算出
Ｓ２５ データベースと同じ音声であるかの条件判断
Ｓ２６ フィルタ処理
Ｓ３1 音声処理要求判断
Ｓ３２ 音声信号処理開始
Ｓ３３ 音声位相分離処理
Ｓ３４ 音声認識
Ｓ３５ 相関性算出
Ｓ３６ データベースと同じ音声であるかの条件判断
Ｓ３７ 指向性制御
【技術分野】
【０００１】
本発明はマイクロホンまたは記録媒体等からの音声入力を行なう音声入力装置を備えた、音声入出力可能な装置に関するものである。
【背景技術】
【０００２】
本来、例えばビデオカメラ等の音声入出力装置において、撮影者が音声入力装置に一番近い位置にいるため、被撮影者よりも音量が大きく記録・再生されるという問題があった。この問題に対応するために、従来技術ではマイクロホン等による音声入力装置を備えた音声入出力可能な装置において、ある特定の音声の音量が大きい場合においては、決められた一定期間の音量を調節する機能を持ったものがある。（例えば、特許文献１参照。）また、撮像装置のナレーションの音量調節においては、ナレーションマイクを独立チャンネルに配置し、そのナレーション音量を通常マイクの音量調節とは独立して調節可能なものがある。（例えば、特許文献２参照。）このような技術を用いることで、従来では撮影者の音声ボリュームが大きく、被撮影者の音声ボリュームが撮影者に対して小さくなってしまうこと、または被撮影者の音声ボリュームに対して撮影者の音声ボリュームが大きくなってしまうことを回避することが可能であった。
【特許文献１】特開2003-078879号公報
【特許文献２】特開2002-171482号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来例では、ある一定期間の音量を一律で下げる（上げる）方法がとられているが、一定期間をユーザーがその都度指示しなくてはならないということがあった。また、これを改善するために別にナレーションマイクを備え、その信号を用いることで、ナレーションの音量を単独で調節できるようにしているものがあるが、専用マイクを必要とするため、コストがかかるということがあった。
【０００４】
本発明では、音声認識技術、ボリュームコントロール、フィルタリング処理、および指向性制御を利用することにより、ユーザーがその都度指示することなく、且つ、部品にかかるコストを上げることなく、特定の音声期間または特定の音声成分の音量を調節することを可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本出願にかかわる第一の発明は、音声入力手段とその音声信号を処理する信号処理手段と、信号を周波数変換・逆変換する手段と、音声認識をする手段と、相関性を算出する手段と、音量を制御する制御手段と、フィルタリング処理手段と、指向性制御手段とを備えており、入力された音声データに対し、データベースとの音声認識を行い、音声認識の結果に応じてアナログアンプまたはデジタルアンプにより音量を制御する、または、音声認識の結果に応じてフィルタリング処理を行なう、または、音声認識された後、相関性算出の結果に応じて指向性制御を行なうことで音量が大きい撮影者の音声などの特定の音声に関して、結果として音量を下げる制御を行なうことを特徴としている。
【０００６】
また、本発明の他の特徴とするところは、記録媒体から音声を読み出す入力手段とその記録媒体からの音声信号を処理する信号処理手段と、信号を周波数変換・逆変換する手段と、音声認識をする手段と、相関性を算出する手段と、音量を制御する制御手段と、フィルタリング処理手段と、指向性制御手段と、その各種信号処理が施された音声信号を出力・再生する手段を備えており、記録媒体から読み出された音声データに対しデータベースとの音声認識を行い、音声認識の結果に応じてアナログアンプまたはデジタルアンプにより音量を制御する、または、音声認識の結果に応じてフィルタリング処理を行なう、または、音声認識された後、相関性算出の結果に応じて指向性制御を行なうことで音量が大きい撮影者の音声などの特定の音声に関して、結果として音量を下げる制御を行なうことを特徴としている。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、ボタン等によりその都度指示を出すことなく、自動的に問題となる一定期間の音量をコントロールすることが可能となる。また、ナレーションマイク等の特別な音声入力装置を必要としないため、コストを上げることなく問題となる特定の音量をコントロールすることや、指向性を持たせることで特定の音量バランスをコントロールすることが可能となる。
【発明を実施するための最良の形態】
【０００８】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【０００９】
本発明の実施例として、本実施例ではビデオカメラを例に挙げ説明を行なう。図１は本発明の特徴を表す図である。また、図２に示すような構成になっても良い。同図１において１はレンズ、２はCCD、３はCDS/AGC回路、４はA/D回路、５はデジタル信号処理回路を示しており、ビデオカメラのシステムにおけるの撮像系を示している。
【００１０】
また、７，８は音声入力装置であるマイク、９は音声信号を増幅するアンプ、１０は音声信号をサンプリングしデジタル信号に変換するA/D変換、１１はデジタル変換された音声信号を処理する音声信号処理回路である。この信号処理されたデジタル音声データは５のデジタル信号処理回路に伝達され、マイコンの指示により必要に応じて信号処理を行なう。ここで、１１の音声信号処理回路は場合によっては５に示すデジタル信号処理回路に含まれた構成となることもある。
【００１１】
通常は５のデジタル信号処理回路によりフィルタリング等の信号処理された音声信号データが１２のD/A変換によりアナログ信号に変換され、１３のアンプにより適切な振幅を持ち適切なレベルとなった信号に調節され、スピーカ等の１４の音声出力装置または音声出力端子に出力される。
【００１２】
本発明においては１１の音声信号処理回路の出力が５のデジタル信号処理回路に入り、この信号に対して、６のマイクロコンピュータにて、本発明の動作の実行命令を下す。この実行命令が下された場合に、１５の音声認識回路によって音声認識を行ない、あらかじめ登録された１６のデータベース情報とマッチした場合に２０のボリュームコントロールにて音声データのボリュームをコントロールすることを特徴とする装置である。認識結果がデータベースとマッチしている場合にボリュームを下げる制御を行い、認識結果がデータベースとマッチしている時間中、ボリュームを下げた状態を維持するわけだが、急激にボリュームを下げると不自然となったり、かえって耳障りになりかねないため、徐々に制御を行なう方法も有効である。
【００１３】
より具体的には、５に示すデジタル信号処理からの音声データを１６の周波数変換回路によって周波数成分のデータに変換する。ここではフーリエ変換を用いて周波数成分情報に変換し、単に2乗演算を施すことで、パワースペクトラム情報に変換するが、例えばウェーブレット変換のように周波数ごとではなく、グルーピングされた周波数ごとのレベル分類を行うことでホルマントと同等の結果を得ることも可能であり、ここでは音声認識手段の如何は問わない。そして、例えばここでは、周波数分類されたパワースペクトラム情報からピークを持つホルマント周波数を算出し、データベースのホルマント情報との相関性を計算する。相関性の演算は、ここでは例えば２つのデータ間で内積演算を行なうことで相関データを算出する。その結果、ある一定値以上の相関性があると認識された場合に２１に示すボリュームコントロール回路によりボリュームコントロールを行なうことを特徴とする制御である。
【００１４】
フローチャートを用いて説明すると図３に示す制御フローになる。まず、Ｓ１１のステップ１で本発明の処理を行なう要求があるかを判断する。ここで結果がＮＯであった場合には繰り返し判断があるまで条件判断を行なう。また、結果がＹＥＳであった場合にＳ１２のステップ２に進む。Ｓ１２のステップ２では音声認識等に必要なフーリエ変換等の音声信号処理が行なわれ、Ｓ１３のステップ３に進む。Ｓ１３のステップ３では音声認識が行なわれ、Ｓ１４のステップ４に進む。Ｓ１４のステップ４では、音声認識処理で、データベースとどの程度相関があるかを算出し、Ｓ１５のステップ５に進む。Ｓ１５のステップ５では音声認識の相関性算出の結果がデータベースと同じ人物の音声かどうかが判断される。ここで結果がＮＯであれば、引き続きＳ１２のステップ２に進み、時間的にずれた次のデータを用いて音声信号処理が行なわれれる。また、判断結果がＹＥＳであった場合は、Ｓ１６のステップ６に進み音声のボリュームコントロールが行なわれる。これが本発明の実施例１の基本動作である。
【実施例２】
【００１５】
本発明の実施例２として、実施例１同様にビデオカメラを例に挙げ説明を行なう。実施例１と同様に音声信号処理が行なわれている音声入出力装置において、１１の音声信号処理回路の出力が５のデジタル信号処理回路に入り、この信号に対して、６のマイクロコンピュータにて、本発明の実施例２の動作の実行命令を下す。この実行命令が下された場合に、１５の音声認識回路によって音声認識を行ない、あらかじめ登録された１６のデータベース情報とマッチした場合に２１のフィルタ制御回路により、音声データにフィルタリング処理を行なうことを特徴とする装置である。
【００１６】
より具体的には、実施例１と同様に、５に示すデジタル信号処理からの音声データを１７の周波数変換回路によって周波数成分のデータに変換する。ここではフーリエ変換を用いて周波数成分情報に変換し、単に2乗演算を施すことで、パワースペクトラム情報に変換するが、例えばウェーブレット変換のように周波数ごとではなく、グルーピングされた周波数ごとのレベル分類を行うことでホルマントと同等の結果を得ることも可能であり、ここでは音声認識手段の如何は問わない。そして、例えばここでは、周波数分類されたパワースペクトラム情報からピークを持つホルマント周波数を算出し、データベースのホルマント情報との相関性を計算する。相関性の演算は、ここでは例えば２つのデータ間で内積演算を行なうことで相関データを算出する。その結果、ある一定値以上の相関性があると認識された場合に、あらかじめデータベースに登録された人の特徴を示す周波数帯のゲインを落とすフィルタを音声信号に掛けることでフィルタリングを行なうことを特徴とする制御である。
【００１７】
フローチャートを用いて説明すると図４に示す制御フローになる。まず、Ｓ２１のステップ１で本発明の処理を行なう要求があるかを判断する。ここで結果がＮＯであった場合には繰り返し判断があるまで条件判断を行なう。また、結果がＹＥＳであった場合にＳ２２のステップ２に進む。Ｓ２２のステップ２では音声認識等に必要なフーリエ変換等の音声信号処理が行なわれ、Ｓ２３のステップ３に進む。Ｓ２３のステップ３では音声認識が行なわれ、Ｓ２４のステップ４に進む。
【００１８】
Ｓ２４のステップ４では、音声認識処理でデータベースとどの程度相関があるかを算出し、Ｓ２５のステップ５に進む。Ｓ２５のステップ５では音声認識の相関性算出の結果がデータベースと同じ人物の音声かどうかが判断される。ここで結果がＮＯであれば、引き続きＳ２２のステップ２に進み、時間的にずれた次のデータを用いて音声信号処理が行なわれれる。また、判断結果がＹＥＳであった場合は、Ｓ２６のステップ６に進み音声信号に対してフィルタリング処理が行なわれる。これが本発明の実施例２の基本動作である。
【実施例３】
【００１９】
本発明の実施例３として、実施例１同様にビデオカメラを例に挙げ説明を行なう。実施例１と同様に音声信号処理が行なわれている音声入出力装置において、１１の音声信号処理回路の出力が５のデジタル信号処理回路に入り、この信号に対して、６のマイクロコンピュータにて、本発明の実施例３の動作の実行命令を下す。
【００２０】
この実行命令が下された場合に、本実施例では実施例１と同様に音声認識されるわけだが、特に複数のマイクを持った装置で、その複数の入力音声信号を用い、１７の周波数変換回路により周波数成分に変換され、更に１８に示す位相分離回路により、マイクに対してあらかじめ複数に分類された方向（角度）の音声信号情報に切り分ける。
【００２１】
この複数の方向に対する音声信号を元に複数回に分け音声認識処理が１５の音声認識回路によって行なわれる。その音声認識の結果、データベースの音声情報と同じ人の音声であると判断された場合に音声のボリュームをコントロールするわけだが、実施例１のように単に２０のボリュームコントロールによりボリュームを制御するのではなく、２１に示す指向性制御回路により指向性を制御することで実質的に登録された人物の音量バランスを変更する。
【００２２】
より具体的には、５に示すデジタル信号処理からの音声データを１７の周波数変換回路によってフーリエ変換され、周波数成分情報に変換し実数部と虚数部の成分に分けられる。ここで虚数部の情報は位相情報を示しているため、この位相情報によりあらかじめ定められたグループごとにデータ分けされる。そして分けられたデータごとに１７の周波数変換・逆変換回路によりフーリエ逆変換され、音声信号に戻される。この複数の音声データごとに１５の音声認識回路により音声認識が行なわれる。そして、この位相ごとの音声信号から音声認識された結果、データベースとの相関性をそれぞれ計算し、ある一定以上の相関性があると認識された場合に、その位相情報に従って、マイクの指向性を制御することを特徴とする制御である。マイクの指向性制御に関しては、２０のマイク指向性制御回路により、１１の音声信号処理回路、または５のデジタル信号処理回路に指示する。１１の音声信号処理回路または、５のデジタル信号処理回路では、位相ごとに分離された複数の音声データに対して、相関性の度合いに応じたボリュームコントロールを行ない、位相別データにボリュームコントロールされたデータを１９のＭＩＸ回路により１８の位相分離されたデータを合成することで、指向性制御を実現する。
【００２３】
フローチャートを用いて説明すると図５に示す制御フローになる。まず、Ｓ３１のステップ１で本発明の処理を行なう要求があるかを判断する。ここで結果がＮＯであった場合には繰り返し判断があるまで条件判断を行なう。また、結果がＹＥＳであった場合にＳ３２のステップ２に進む。Ｓ３２のステップ２では音声認識等に必要なフーリエ変換等の音声信号処理が行なわれ、Ｓ３３のステップ３に進む。Ｓ３３のステップ３ではフーリエ変換されたデータをもとに位相情報ごとに分類され、分類された情報ごとに逆フーリエ変換によって時系列の音声データに変換され、Ｓ３４のステップ４に進む。Ｓ３４のステップ４では各時系列の音声データごとに音声認識が行なわれ、Ｓ３５のステップ５に進む。Ｓ３５のステップ５では、音声認識処理でデータベースとどの程度相関があるかを算出し、Ｓ３６のステップ６に進む。Ｓ３６のステップ６では音声認識の結果がデータベースと同じ人物の音声かどうかが判断される。ここで結果が全てのデータに対してＮＯであれば、引き続きＳ３２のステップ２に進み、時間的にずれた次のデータを用いて音声信号処理が行なわれる。また、判断結果が１つ以上のデータに関してＹＥＳであった場合は、Ｓ３７のステップ７に進む。そしてＳ３７のステップ７では認識結果がＹＥＳであったデータに対して、相関性の高低に応じたボリュームコントロールを施すことで指向性の制御が行なわれる。これが本発明の実施例３の基本動作である。
【実施例４】
【００２４】
本発明の実施例４として、本実施例を実現するための構成図を図２に示す。実施例１に示した構成に対し、２３の記録媒体からの入出力を備えた装置であり、また例えば、２０のボリュームコントロール回路、２１のフィルタ処理回路、２２の指向性制御回路を５のデジタル信号処理の内部に持ち、記録媒体からの音声信号に対して、実施例１の処理を行なうことを可能とした制御である。
【００２５】
つまり、実施例１ではマイク等の音声入力手段からの音声信号に処理を施すことで実現したが、本実施例では２３の記録媒体からの音声信号に対し処理を施すことで、再生時に同等の効果を得るものである。そのため、フローチャートに関しては実施例１のフローチャートである図３と同じであり、同じフローが行なわれる。
【実施例５】
【００２６】
本発明の実施例５として、本実施例を実現するための構成図を図２に示す。実施例２に示した構成に対し、２３の記録媒体からの入出力を備えた装置であり、また例えば、２０のボリュームコントロール回路、２１のフィルタ処理回路、２２の指向性制御回路を５のデジタル信号処理の内部に持ち、記録媒体からの音声信号に対して、実施例２の処理を行なうことを可能とした制御である。
【００２７】
つまり、実施例２ではマイク等の音声入力手段からの音声信号に処理を施すことで実現したが、本実施例では２３の記録媒体からの音声信号に対し処理を施すことで、再生時に同等の効果を得るものである。そのため、フローチャートに関しては実施例２のフローチャートである図４と同じであり、同じフローが行なわれる。
【実施例６】
【００２８】
本発明の実施例６として、本実施例を実現するための構成図を図２に示す。実施例３に示した構成に対し、２３の記録媒体からの入出力を備えた装置であり、また例えば、２０のボリュームコントロール回路、２１のフィルタ処理回路、２２の指向性制御回路を５のデジタル信号処理の内部に持ち、記録媒体からの音声信号に対して、実施例３の処理を行なうことを可能とした制御である。
【００２９】
つまり、実施例３ではマイク等の音声入力手段からの音声信号に処理を施すことで実現したが、本実施例では２３の記録媒体からの音声信号に対し処理を施すことで、再生時に同等の効果を得るものである。そのため、フローチャートに関しては実施例３のフローチャートである図５と同じであり、同じフローが行なわれる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施例に係るブロック図である。
【図２】本発明の実施例に係るブロック図であり、図１と構成が異なるブロック図である。
【図３】実施例１・４の制御フローを示すフローチャートである。
【図４】実施例２・５の制御フローを示すフローチャートである。
【図５】実施例３・６の制御フローを示すフローチャートである。
【符号の説明】
【００３１】
１ レンズ
２ CCD
３ CDS/AGC回路
４ A/D変換回路
５ デジタル信号処理
６ マイクロコンピュータ
７ マイク
８ マイク
９ アンプ
１０ A/D変換回路
１１ 音声信号処理
１２ D/A変換
１３ アンプ
１４ 音声出力装置または音声出力端子
１５ 音声認識回路
１６ データベース
１７ 周波数変換・逆変換回路
１８ 位相分離回路
１９ ＭＩＸ回路
２０ ボリュームコントロール回路
２１ フィルタ処理回路
２２ 指向性制御回路
２３ 記録媒体
２４ 相関性算出回路
Ｓ１1 音声処理要求判断
Ｓ１２ 音声信号処理開始
Ｓ１３ 音声認識
Ｓ１４ 相関性算出
Ｓ１５ データベースと同じ音声であるかの条件判断
Ｓ１６ ボリュームコントロール
Ｓ２1 音声処理要求判断
Ｓ２２ 音声信号処理開始
Ｓ２３ 音声認識
Ｓ２４ 相関性算出
Ｓ２５ データベースと同じ音声であるかの条件判断
Ｓ２６ フィルタ処理
Ｓ３1 音声処理要求判断
Ｓ３２ 音声信号処理開始
Ｓ３３ 音声位相分離処理
Ｓ３４ 音声認識
Ｓ３５ 相関性算出
Ｓ３６ データベースと同じ音声であるかの条件判断
Ｓ３７ 指向性制御
【特許請求の範囲】
【請求項１】
音声を収音するマイクロホンと
マイクロホンからの音声信号を周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声入力段の音量を調節する音量調節手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、
音声入力段の音量を調節することを特徴とする音声入出力装置。
【請求項２】
音声を収音するマイクロホンと
マイクロホンからの音声信号を周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声入力段の音声信号にフィルタリング処理を施すフィルタリング手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、
音声入力段の音声データに対しフィルタリング処理をすることを特徴とする音声入出力装置。
【請求項３】
音声を収音するマイクロホンと
マイクロホンからの音声信号を周波数変換する手段と
周波数変換されたデータから位相情報によりデータを分類する手段と
その各データを時系列信号に逆変換する手段と
各音声情報をデータベースと比較し、認識する音声認識手段と
音声認識手段により認識され、相関性を計算する手段と
それぞれの音声信号に対し音量を制御する指向性制御手段と
その指向性制御された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識され、データベースと同一音声であると判断した場合に、
音声認識結果の相関性に応じて、入力段の各位相別の音声データに対し音量を制御することで指向性を制御することを特徴とする音声入出力装置。
【請求項４】
音声を記録した媒体から音声データを取り込む手段と
その取り込まれた音声データを信号処理する音声信号処理手段と
その音声データを周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声信号の音量を調節する音量調節手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、音声出力段の音量を調節することを特徴とする音声入出力装置。
【請求項５】
音声を記録した媒体から音声データを取り込む手段と
その取り込まれた音声データを信号処理する音声信号処理手段と
その音声データを周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声信号にフィルタリング処理を施すフィルタリング手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、音声出力段の音声データに対しフィルタリング処理をすることを特徴とする音声入出力装置。
【請求項６】
音声を記録した媒体から音声データを取り込む手段と
その取り込まれた音声データを信号処理する音声信号処理手段と
その音声データを周波数変換する手段と
周波数変換されたデータから位相情報によりデータを分類する手段と
その各データを時系列信号に逆変換する手段と
さらにその各データを周波数変換する手段と
その変換された各音声情報をデータベースと比較し、認識する音声認識手段と
音声認識手段により認識され、相関性を計算する手段と
それぞれの音声信号に対し音量を制御する指向性制御手段と
その指向性制御された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識され、データベースと同一音声であると判断した場合に、音声認識結果の相関性に応じて、出力段の各位相別の音声データに対し音量を制御することで指向性を制御することを特徴とする音声入出力装置。
【請求項１】
音声を収音するマイクロホンと
マイクロホンからの音声信号を周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声入力段の音量を調節する音量調節手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、
音声入力段の音量を調節することを特徴とする音声入出力装置。
【請求項２】
音声を収音するマイクロホンと
マイクロホンからの音声信号を周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声入力段の音声信号にフィルタリング処理を施すフィルタリング手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、
音声入力段の音声データに対しフィルタリング処理をすることを特徴とする音声入出力装置。
【請求項３】
音声を収音するマイクロホンと
マイクロホンからの音声信号を周波数変換する手段と
周波数変換されたデータから位相情報によりデータを分類する手段と
その各データを時系列信号に逆変換する手段と
各音声情報をデータベースと比較し、認識する音声認識手段と
音声認識手段により認識され、相関性を計算する手段と
それぞれの音声信号に対し音量を制御する指向性制御手段と
その指向性制御された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識され、データベースと同一音声であると判断した場合に、
音声認識結果の相関性に応じて、入力段の各位相別の音声データに対し音量を制御することで指向性を制御することを特徴とする音声入出力装置。
【請求項４】
音声を記録した媒体から音声データを取り込む手段と
その取り込まれた音声データを信号処理する音声信号処理手段と
その音声データを周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声信号の音量を調節する音量調節手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、音声出力段の音量を調節することを特徴とする音声入出力装置。
【請求項５】
音声を記録した媒体から音声データを取り込む手段と
その取り込まれた音声データを信号処理する音声信号処理手段と
その音声データを周波数変換・逆変換する手段と
音声情報をデータベースと比較し、認識する音声認識手段と
音声信号にフィルタリング処理を施すフィルタリング手段と
その調節された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識された結果、データベースと同一音声であると判断した場合に、音声出力段の音声データに対しフィルタリング処理をすることを特徴とする音声入出力装置。
【請求項６】
音声を記録した媒体から音声データを取り込む手段と
その取り込まれた音声データを信号処理する音声信号処理手段と
その音声データを周波数変換する手段と
周波数変換されたデータから位相情報によりデータを分類する手段と
その各データを時系列信号に逆変換する手段と
さらにその各データを周波数変換する手段と
その変換された各音声情報をデータベースと比較し、認識する音声認識手段と
音声認識手段により認識され、相関性を計算する手段と
それぞれの音声信号に対し音量を制御する指向性制御手段と
その指向性制御された音声信号を記録または出力する手段を備えた音声入出力装置において、
音声認識手段により音声認識され、データベースと同一音声であると判断した場合に、音声認識結果の相関性に応じて、出力段の各位相別の音声データに対し音量を制御することで指向性を制御することを特徴とする音声入出力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１２２３７０（Ｐ２００９−１２２３７０Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９５７９４（Ｐ２００７−２９５７９４）
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]