説明

電子装置、ノイズ除去方法、及びプログラム

【課題】動画の撮像機能を有する電子装置において、録音される音声に、光学系の駆動音が入ることを抑制する。
【解決手段】光学系210は、駆動機構220により駆動される。駆動機構220が光学系210を駆動している間、駆動機構220からノイズ音が発生する。撮像部110は、光学系210を介して入射した光に基づいて画像データを生成する。音声データ生成部は、外部の音声を音声データに変換する。音源分離部330は、音声データを音源別に分離して音源別音声データを生成する。ノイズ除去部340は、駆動機構220を音源とした音源別音声データを音声データから除いたノイズ除去済音声データを生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画の撮像機能を有する電子装置、ノイズ除去方法、及びプログラムに関する。
【背景技術】
【0002】
近年、動画の撮像機能を有する電子機器の普及が進んでいる。このような電子機器では、光学ズームなどの光学系が搭載されているのが一般的である。
【0003】
一方、近年は、例えば特許文献1及び2に記載するように、音源分離技術の研究が進められている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−234246号公報
【特許文献2】特開2009−302983号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
動画を撮像するためには、画像データを生成して記録する録画機能とともに、音声の録音機能が必要となる。しかし、画像データの生成のための光学系は、一般的にはモータ等の駆動機構を用いて駆動される。従って、録音される音声に、光学系の駆動音が入る可能性があった。
【0006】
本発明の目的は、動画の撮像機能を有する電子装置において、録音される音声に、光学系の駆動音が入ることを抑制することにある。
【課題を解決するための手段】
【0007】
本発明によれば、光学系と、
前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、
前記光学系を駆動する駆動機構と、
外部の音声を音声データに変換する音声データ生成手段と、
前記音声データを音源別に分離して音源別音声データを生成する音源分離手段と、
前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成するノイズ除去手段と、
を備える電子装置が提供される。
【0008】
本発明によれば、光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有する電子装置におけるノイズ除去方法であって、
外部の音声を音声データに変換し、
コンピュータが、前記音声データを音源別に分離して音源別音声データを生成し、
前記コンピュータが、前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成するノイズ除去方法が提供される。
【0009】
本発明によれば、コンピュータを、電子装置が生成した音声データのノイズ除去を行う装置として機能させるためのプログラムであって、
前記電子装置は、光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有しており、
コンピュータに、
前記音声データを音源別に分離して音源別音声データを生成する機能と、
前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成する機能と、
を持たせるプログラムが提供される。
【発明の効果】
【0010】
本発明によれば、動画の撮像機能を有する電子装置において、録音される音声に、光学系の駆動音が入ることを抑制できる。
【図面の簡単な説明】
【0011】
【図1】第1の実施形態に係る電子機器の機能構成を示すブロック図である。
【図2】図1に示した電子機器の動作を示すフローチャートである。
【図3】第2の実施形態に係る電子機器の機能構成を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0013】
(第1の実施形態)
図1は、第1の実施形態に係る電子機器の機能構成を示すブロック図である。この電子機器は、光学系210、駆動機構220、撮像部110、音声データ生成部(マイク310,312及びAD変換部320)、音源分離部330、及びノイズ除去部340を備えている。光学系210は、撮像部110が生成する画像データのフォーカスを移動させるために使用され、少なくとも一つの光学レンズを有している。この光学レンズを含め、光学系210は、駆動機構220により駆動される。撮像部110は、光学系210を介して入射した光に基づいて画像データを生成する。音声データ生成部は、外部の音声を音声データに変換する。音源分離部330は、音声データを音源別に分離して音源別音声データを生成する。ノイズ除去部340は、駆動機構220を音源とした音源別音声データを音声データから除いたノイズ除去済音声データを生成する。図1に示す電子機器は、例えば撮像機能付の携帯通信端末であるが、固定式のテレビ電話システムであってもよい。以下、詳細に説明する。
【0014】
撮像部110は撮像素子を有しており、光学系210を介して入射した光を光電変換することにより、画像データを一定の時間間隔で生成する。光学系210は駆動機構220により駆動される。駆動機構220はモータ等の動力源及び動力伝達機構を有している。このため、駆動機構220が光学系210を駆動している間、駆動機構220からノイズ音が発生する。
【0015】
マイク310,312は、無指向性のマイクであり、音波をアナログの電気信号に変換する。これらアナログの電気信号は、アンプ(図示せず)によって増幅された後、AD変換部320によって、デジタルデータからなる音声データに変換される。この音声データは、ステレオ方式の音声データである。音源分離部330は、AD変換部320で生成した音声データを処理することにより、この音声データを音源別に分離して音源別音声データを生成する。この音源分離処理は、例えば、SAFIA(sound source Segregation based on estimating incident Angle of each Frequency component of Input signals Acquired by multiple microphones)方式で行われる。ただし、本実施形態で採用できる音源分離処理は、SAFIA方式には限定されない。
【0016】
ノイズ除去部340は、音源別音声データ別に音源の位置を認識することにより、音源別音声データのうち駆動機構220が音源と思われる音源を有する音声データを認識する。そしてノイズ除去部340は、駆動機構220が音源であると認識した音源別音声データを元の音声データから除去したノイズ除去済音声データを生成する。例えば音源分離処理がSAFIA方式である場合、ノイズ除去部340は、相対的に近い音源を有する音源別音声データを、駆動機構220を音源とする音源別音声データと認識する。そしてノイズ除去部340は、相対的に遠い音源を有する音源別音声データを、ノイズ除去済音声データと認識する。なお、ノイズ除去部340は、音源分離前の音声データに対し、駆動機構220を音源とする音源別音声データの逆位相の音声データを加算することにより、ノイズ除去済音声データを生成しても良い。
【0017】
符号化部350は、ノイズ除去部340が生成したノイズ除去済音声データに対して符号化処理を行う。
【0018】
そして撮像部110が生成した画像データ、及び符号化部350が符号化したノイズ除去済音声データは、動画データとしてデータ記憶部120に記憶される。
【0019】
なお、図1に示したAD変換部320、音源分離部330、ノイズ除去部340、及び符号化部350の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらのうち少なくとも音源分離部330、ノイズ除去部340、及び符号化部350は、任意のコンピュータのCPU、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【0020】
図2は、図1に示した電子装置の動作を示すフローチャートである。ユーザが録画開始の入力を行うと、撮像部110は画像データの生成を開始する。これに伴い、マイク310,312及びAD変換部320は動作を開始し、音声データの生成を開始する(ステップS10)。生成した音声データは、逐次音源分離部330に出力される。音源分離部330では、音源分離処理を逐次行う(ステップS20)。そしてノイズ除去部340は、音源別音声データのうち駆動機構220が音源と思われる音源を有する音声データを認識する(ステップS30)。そしてノイズ除去部340は、駆動機構220が音源であると認識した音源別音声データを元の音声データから除去したノイズ除去済音声データを生成する(ステップS40)。静止した音声データは、逐次画像データとともにデータ記憶部120に記憶される。
【0021】
以上、本実施形態によれば、光学系210の駆動機構220を音源としたノイズを音声データから除去することができる。特に音声分離処理としてSAFIA方式を用いた場合、相対的に近い音源を有する音源別音声データがノイズであることが明らかであるため、容易にノイズを除去したノイズ除去済音声データを得ることができる。また、マイク310,312が一般の無指向性のマイクであっても、ノイズ除去を行うことができる。
【0022】
また、駆動機構220を音源としたノイズは、比較的高音である場合が多い。ノイズを抑制する方式の一つであるアクティブノイズコントロール方式は、高音のノイズを抑制しにくいという欠点を有する。これに対して本実施形態では、音声分離技術を用いてノイズを除去しているため、駆動機構220を音源としたノイズを十分に除去することができる。
【0023】
(第2の実施形態)
図3は、第2の実施形態に係る電子装置の機能構成を示すブロック図である。本実施形態に係る電子装置は、制御部230を有している点を除いて、第1の実施形態に係る電子装置と同様の構成である。制御部230は、駆動機構220の動作を制御する。またAD変換部320は、制御部230が駆動機構220を駆動していない間は、音源分離部330及びノイズ除去部340を経由せずに符号化部350に音声データを出力する。またAD変換部320は、制御部230が駆動機構220を駆動している間は、第1の実施形態に示した処理を行う。
【0024】
制御部230は、ユーザからの入力に従って駆動機構220を制御(マニュアル制御)してもよいし、駆動機構220を介して光学系210をオートフォーカス制御してもよい。後者の場合、電子装置は、第1の実施形態に示したように、常にノイズ除去処理を行っても良い。
【0025】
本実施形態によっても、第1の実施形態と同様の効果を得ることができる。
【0026】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば上記した各実施形態に示した処理と、アクティブノイズコントロールを併用しても良い。
【符号の説明】
【0027】
110 撮像部
120 データ記憶部
210 光学系
220 駆動機構
230 制御部
310,312 マイク
320 AD変換部
330 音源分離部
340 ノイズ除去部
350 符号化部

【特許請求の範囲】
【請求項1】
光学系と、
前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、
前記光学系を駆動する駆動機構と、
外部の音声を音声データに変換する音声データ生成手段と、
前記音声データを音源別に分離して音源別音声データを生成する音源分離手段と、
前記駆動機構を音源とした前記音源別音声データを前記音声データから除いたノイズ除去済音声データを生成するノイズ除去手段と、
を備える電子装置。
【請求項2】
請求項1に記載の電子装置において、
前記音源分離手段は、SAFIA(sound source Segregation based on estimating incident Angle of each Frequency component of Input signals Acquired by multiple microphones)方式で音源分離を行う電子装置。
【請求項3】
請求項1〜3のいずれか一項に記載の電子装置において、
前記音源分離手段及び前記ノイズ除去手段は、前記駆動機構が駆動しているときに動作する電子装置。
【請求項4】
請求項1又は2に記載の電子装置において、
前記電子装置は携帯通信端末である電子装置。
【請求項5】
光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有する電子装置におけるノイズ除去方法であって、
外部の音声を音声データに変換し、
コンピュータが、前記音声データを音源別に分離して音源別音声データを生成し、
前記コンピュータが、前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成するノイズ除去方法。
【請求項6】
コンピュータを、電子装置が生成した音声データのノイズ除去を行う装置として機能させるためのプログラムであって、
前記電子装置は、光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有しており、
コンピュータに、
前記音声データを音源別に分離して音源別音声データを生成する機能と、
前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成する機能と、
を持たせるプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−173629(P2012−173629A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−37350(P2011−37350)
【出願日】平成23年2月23日(2011.2.23)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】