音データ処理装置、及び、プログラム
【課題】推定された音源の方向に誤差が生じていたとしても、ユーザにより指定された、又は自動で検出された音源の方向から補正値を算出することが可能な音データ処理装置を提供する。
【解決手段】本発明の音データ処理装置は、推定した音源の方向を映像上に描画する機能を有し、ユーザが指定した映像内の位置を基に音源の方向の補正値を算出する機能を有する。また、本発明の音データ処理装置は、顔検出機能を有し、検出された顔から音源の方向の補正値を算出する機能を有する。
【解決手段】本発明の音データ処理装置は、推定した音源の方向を映像上に描画する機能を有し、ユーザが指定した映像内の位置を基に音源の方向の補正値を算出する機能を有する。また、本発明の音データ処理装置は、顔検出機能を有し、検出された顔から音源の方向の補正値を算出する機能を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推定された音源の方向の誤差を、補正するための補正値を求めることが可能な音データ処理装置に関する。
【背景技術】
【０００２】
今日、録画機能付き機器が多数製品化されており、光学ズームや明るさ調整などの機能が盛り込まれている。特許文献１には、記録機器に複数のマイクロフォンを設けて、音源方向を推定し、個々の音源を分離抽出する手法が記載されている。この手法によれば、録画時の、目的とする音源以外の音を抑圧することで、目的とする音の明瞭度を向上することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−８４５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に開示されている記録装置において、記録装置を長期間用いると、マイクロフォンの感度低下や記録装置の筐体の歪み等で、音源の方向（音源方向）を算出する精度及び特性が変ってしまう場合がある。この場合、推定した音源の方向がずれたままでは、目的とする音源を分離抽出する性能に影響が発生すると考えられる。そこで、推定された音源方向を正しい方向に補正する仕組みが望まれる。
この発明は上記実情に鑑みてなされたものであり、音源方向を推定する機能を備える音データ処理装置において、推定した音源方向の補正を可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の観点に係る音データ処理装置は、
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段と、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段と、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする。
【０００６】
好ましくは、
前記入力手段はタッチパネルディスプレイから構成される
ことを特徴とする。
【０００７】
また、好ましくは、
前記入力手段は画面内の上下左右の方向を示す方向キーから構成される
ことを特徴とする。
【０００８】
上記目的を達成するため、本発明の第２の観点に係る音データ処理装置は、
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段と、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする。
【０００９】
好ましくは、
前記記憶手段は、前記マイクロフォンから取り込んだ複数の音データをさらに記憶し、
前記記憶手段に記憶された前記差分を用いて該音データを補正する補正手段をさらに備える
ことを特徴とする。
【００１０】
本発明の第３の観点に係るプログラムは、
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とする。
【００１１】
本発明の第４の観点に係るプログラムは、
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、推定された音源方向と正しい又は正しいと推定される音源方向との差分を求めることができる。この差分を、例えば、補正値として、撮影時又は再生時に用いれば、装置が劣化してしまったとしても、特定の角度からの音を聴こえ易くする機能や、音源方向に存在する物体に対して、カメラのフォーカスを設定する機能などの性能を維持することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る音データ処理機能を備える携帯装置のブロック図である。
【図２】本発明の実施形態に係るマイクロフォンの設置場所を表す図である。
【図３】本発明の実施形態に係るマイクロフォンと音源の角度との関係図である。
【図４】本発明の実施形態１に係る、音源方向の補正値を算出する処理のフローチャート図である。
【図５】本発明の実施形態１に係る補正値算出時に表示部に描画される映像である。
【図６】本発明の実施形態１に係る音源方向を補正するフローチャート図である。
【図７】本発明の実施形態２に係る、キー操作で音源方向の補正値を算出する処理のフローチャート図である。
【図８】本発明の実施形態３に係る自動的に音源方向の補正値を算出する処理のフローチャート図である。
【図９】本発明の実施形態３に係る、補正値算出時に表示部に描画される映像である。
【発明を実施するための形態】
【００１４】
（実施形態１）
本発明の実施形態１に係る、音データ処理機能を備える携帯電話などの携帯装置１０１について説明する。
【００１５】
本実施形態の携帯装置１０１は、図１に示すように、撮影部１０２と、マイクロフォン１０３〜１０６と、キー入力部１０７と、コーデック部１０８と、制御部１０９と、記録部１１０と、表示部１１１と、スピーカ１１２と、を備える。
【００１６】
撮影部１０２はＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成され、映像を撮影し、映像を電気信号に変換する。
【００１７】
マイクロフォン１０３〜１０６は、音を集音し、集音した音をアナログ信号に変換する。本実施形態ではマイクロフォンを４つ用いるが、これに限らず４つよりも少なくても、或いは多くてもよい。
【００１８】
撮影部１０２及びマイクロフォン１０３〜１０６の取り付け例を図２に示す。１０３〜１０６と撮影部１０２とは、撮影部１０２の光軸をＸ軸とし、Ｘ軸に互いに垂直なＹ軸とＺ軸とを定義した場合に、Ｘ軸上、Ｙ軸上、Ｚ軸上でそれぞれ位置の異なるマイクロフォンが存在するように、配置されている。即ち、マイクロフォンは、図２に示すように、撮影部１０２の設置面の異なる位置に、マイクロフォン１０３、１０４、１０６が配置され、裏面にマイクロフォン１０５が配置されている。
【００１９】
キー入力部１０７は、電源スイッチ、録音及び録画ボタン、方向キー等から構成される。キー入力部１０７は、マイクロフォン１０３〜１０６及び撮影部１０２の起動、録音・録画の開始・終了、表示部１１１に表示されたカーソルの移動等の操作入力を受け付け、受け付けた操作入力の情報を制御部１０９に送る。
【００２０】
コーデック部１０８は、撮影部１０２から取り込んだ映像やマイクロフォン１０３〜１０６から取り込んだ音を圧縮及び再生するために復号する。コーデック部１０８は、映像用のコーデック部と、音用のコーデック部とに分けてもよい。
【００２１】
制御部１０９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成され、記憶部１１０に格納されているプログラムを実行し、携帯装置１０１本来の機能を実行すると共に、音データ処理装置としての動作も実行する。例えば、マイクロフォンから取り込んだ音データに基づいて、音源方向を算出したり、図４及び図６のフローチャートが示す処理を行ったりする。
【００２２】
記録部１１０は、ＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、撮影部１０２から取り込んだ映像、マイクロフォン１０３〜１０６から取り込んだ音データ、及びマイク位置情報、算出した音源方向の情報等を格納する。また、制御部１０９が行う処理に係るプログラム等を格納する。
【００２３】
表示部１１１は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、及びドライバ等から構成され、撮影部１０２で撮影した映像及び制御部１０９が算出した音源方向に音源のマーク等を表示する。
【００２４】
また、表示部１１１は映像描画が可能なタッチパネルディスプレイから構成されてもよく、キー入力部１０７の替わりに、ユーザの操作入力を受け付けるようにしてもよい。以下、表示部１１１はタッチパネルディスプレイから構成されているとする。
【００２５】
スピーカ１１２は、増幅器、マイクロスピーカ等から構成され、制御部１０９から送られるアナログ音信号に基づいて音を出力する。
【００２６】
次に、上記の物理的構成を有する携帯装置１０１において実行される、マイクロフォンに入射した音の音源方向を推定する方法について、図３を用いて説明する。
【００２７】
まず、４つのマイクロフォンのうちの任意に２つのマイクロフォンを選択し、各マイクロフォンに入射する音の相関を求める。同一音が一方のマイクロフォンに入射してから、他方のマイクロフォンに入射するまでの時間差TimeLagを求める。例えば、任意のマイクロフォン３１０、３２０が取り込んだ音を音データ３１１、３２１とすると、音データの波形のずれにより時間差TimeLagを求めることができる。マイクロフォン３１０と３２０との距離をｄ、音速をＣとすると、マイクロフォン３１０と３２０と音源とを含む平面上で、マイクロフォン３１０と３２０とを結ぶ線に垂直な方向と音源の向きとが成す角度angleは、（１）式で表される。
angle = arcsin（Ｃ・TimeLag ／ｄ） … （１）
【００２８】
制御部１０９は、式（１）から角度angleを求め、求めたangleを、図２に示すＸ，Ｙ，Ｚ座標上の各マイクロフォンの位置に基づいて、Ｘ、Ｙ，Ｚ座標系上の向きに補正する。制御部１０９は、他のマイクロフォンの組み合わせに関しても、同様に解析することにより、特定の音源のＸ，Ｙ，Ｚ座標系上の原点からの向き（角度）を求める。このように、マイクロフォンの設置位置関係、及び、取り込んだ音同士を解析することで、三次元空間上の任意の角度からの音に対して、音源方向を検出することが可能である。また、これにより、特定の音源方向からの音を強調すること等が可能となる。
【００２９】
上記のように音源を推定する機能を備える携帯装置１０１において、長期間の使用等により、マイクロフォンの感度が低下することによってTimeLag算出精度が落ち、又、筐体が歪む等してマイクロフォンの距離ｄ等が変わってしまうと、音の入射角angleの推定に誤差が生じてしまう。
【００３０】
以下、携帯装置１０１において実行される、動画や写真の撮影時に音源方向の補正値を算出する処理について、図４のフローチャートに沿って説明する。また、音源方向を補正する際に表示部１１１に表示される映像の例を図５に示す。この例では、犬５１１から音が発せられているとする。
【００３１】
まず、図１の制御部１０９は、マイクロフォン１０３〜１０６から取り込んだ音データと式（１）を用いて、図２の三次元空間上の音源方向を算出する（ステップＳ４０１）。次に、制御部１０９は、三次元空間上の音源方向を、表示部１１１における映像上の座標に変換する（ステップＳ４０２）。制御部１０９は、表示部１１１に、撮影部１０２から取り込んだ映像と、変換した座標の位置に実線の音源マーク５１２と、を表示させる（ステップＳ４０３）。制御部１０９が複数の音源を検出した場合は、複数の音源マークを表示させる。図５の映像５１０の例では、制御部１０９は犬５１１から発せられている音の方向を正確に検出しておらず、その結果、音源マーク５１２が音源の犬５１１とは異なる位置に表示されている。
【００３２】
検出された音源方向を補正するために、ユーザが表示部１１１の音源マーク５１２に指で接触したとすると、制御部１０９はユーザによる接触操作を検出する（ステップＳ４０４；Ｙｅｓ）。接触操作の検出範囲は、音源マークが表示されている範囲内のみとしてもよいし、音源マークよりも、例えば上下左右１０ドットだけ大きな範囲内が触れられる事としてもよく、画面サイズや表示解像度に合わせて可変してもよい。
【００３３】
制御部１０９が接触操作を検出すると（ステップＳ４０４；Ｙｅｓ）、ユーザにより音源の位置の指定が開始されたことを示すために、制御部１０９は、選択された音源マーク５１２を音源マーク５２２のように点線に変更し、「音源位置補正中」のメッセージ５２３と共に表示部１１１に表示させる。音源マークの形態の変更により、ユーザが音源位置補正処理の開始を確認できればよく、実線を点線に変更する以外にも、例えば、音源マークを点滅させたり、色を変更させたりしてもよい。制御部１０９が接触操作を検出しない場合には（ステップＳ４０４；Ｎｏ）、音源方向の検出を継続する。
【００３４】
図５の映像５３０に示すように、実際に音が発生していると想定される映像上の位置に、ユーザが音源マーク５３２をスライドさせると、制御部１０９はドラッグ操作を検出する（ステップＳ４０５；Ｙｅｓ）。次に、ユーザが表示部１１１から指を離すと、制御部１０９はリリース操作を検出し（ステップＳ４０６；Ｙｅｓ）、映像５４０に示すように、「音源位置補正中」のメッセージを消去し、音源マーク５３２を元の実線に戻す（音源マーク５４２）。なお、ユーザは、最初に表示された音源マークをダブルクリックし、映像上の実際に音が発生していると想定される位置で、再度ダブルクリックをして映像上の音源の位置を指定してもよく、その他の操作でもよい。
【００３５】
次に、制御部１０９は、最初に算出した音源方向の映像上の位置（音源マーク５１２の位置）と、最終的にユーザにより設定された映像上の位置（音源マーク５４２の位置）との縦方向、及び、横方向の差を算出し（ステップＳ４０７）、その差分を補正値として記憶部１１０に記憶させる（ステップＳ４０８）。次に、制御部１０９は、撮影が継続しているか確認を行なう（ステップＳ４０９）。撮影が継続している場合は（ステップＳ４０９；Ｎｏ）、音源方向の検出を行い、撮影終了の指示を受け付けると（ステップＳ４０９；Ｙｅｓ）、補正値算出処理を終了する。
【００３６】
ここで、音源方向を検出する際（ステップＳ４０１）、音声が存在しない時間帯には、以前描画した音源マークを、描画したままにしてもよいし、消去してもよい。描画したままにする場合でも、図４のステップＳ４０４からステップＳ４０８までの処理を行い、音源方向の修正を行なってもよい。
【００３７】
次に、記憶部１１０に記憶された補正値を基に音源方向を補正する処理について、図６のフローチャートを用いて説明する。制御部１０９は、図４のステップＳ４０１及びステップＳ４０２の処理と同様に、音源方向を検出し（ステップＳ６０１）、表示部１１１の映像上の座標に変換する（ステップＳ６０２）。次に、制御部１０９は、記憶部１１０から補正値を読み出し、変換後の映像上の縦方向、及び、横方向の座標に対して、各々読み出した縦方向、及び、横方向の補正値を加え、補正値を加えた音源の位置座標から音源の角度を求める（ステップＳ６０３）。制御部１０９は、表示部１１１に、補正値が加えられた音源の位置に音源マークを表示する（ステップＳ６０４）。次に、再生が継続しているか否かの確認を行ない（ステップＳ６０５）、継続している場合は（ステップＳ６０５；Ｎｏ）音源方向の検出を行い、再生終了の指示を受け付けると（ステップＳ６０５；Ｙｅｓ）処理を終了する。
【００３８】
なお、補正値を適用し音源方向を補正する処理は、図４の音源方向を補正するフローと共に行なっても良く、その場合は、図６のステップ６０３及びステップＳ６０４の処理を、図４のステップＳ４０７とステップＳ４０８との間に実施する。
【００３９】
また、動画や写真の撮影時に、音声を発生する被写体が移動する場合には、音源マークが常に移動するので、図４のステップＳ４０４にて、音源付近への接触操作があると判断した場合には、表示部１１１に表示している映像を静止させ、撮影部から取り込んだ映像を表示しないようにしてもよい。その場合でも、図４のステップＳ４０５からステップ４０８までの処理を行い、音源方向の修正を行なう。
【００４０】
また、上記フローチャートでは、撮影時に補正値を算出しているが、動画ファイルの再生時にユーザが映像上の位置を指定し、補正値を算出するようにしてもよい。以下の実施形態でも同様とする。
【００４１】
本実施形態によれば、推定された音源方向に誤差が生じていたとしても、撮影時や再生時に音源方向を表示部に表示することで、ユーザが音源方向を表示部に接触する等の操作で容易に指定することができる。また、指定された音源方向に基づいて補正値を求めることができるので、長期間の使用により装置が劣化してしまったとしても、この補正値を撮影時又は再生時に用いることにより、特定の角度からの音を聴こえ易くする機能等を維持することができる。
【００４２】
（実施形態２）
次に、上記携帯装置１０１において、静止している映像に対しキー操作で音源方向を補正する実施形態２について説明する。
【００４３】
図７に、静止している映像に対して、キー操作で音源方向の補正値を算出する処理のフローチャートを示す。まず、制御部１０９は、実施形態１のステップＳ４０１ないしステップＳ４０３の処理と同様の処理を行う。以下、実施形態１と異なる処理のステップＳ７０４以降について説明する。
【００４４】
まず、制御部１０９は、ユーザによる方向キー押下の有無を判断し（ステップＳ７０４）、押下が無い場合は（ステップＳ７０４；Ｎｏ）、方向キー押下判断を継続する。制御部１０９が方向キー押下を検出すると（ステップＳ７０４；Ｙｅｓ）、ユーザにより音源の位置の指定が開始されたことを示すために、図５の映像５２０のように、表示部１１１に「音源位置補正中」のメッセージ５２３を表示させ、音源マーク５１２を点線に変更する（音源マーク５２２）。さらに、ユーザが押下操作を行うと、制御部１０９は押下された方向に音源マークを移動させる（ステップＳ７０５）。例えば、映像５３０に示すように、ユーザにより音源マーク５３２が移動され、Ｅｎｔｅｒキー等の決定キーが押下されたとすると、制御部１０９は押下の有りと判断する（ステップＳ７０６；Ｙｅｓ）。制御部１０９は押下が無い場合には（ステップＳ７０４；Ｎｏ）キー押下の判断を継続する。制御部１０９が決定キー押下操作を検出すると（ステップＳ７０６；Ｙｅｓ）、映像５４０に示すように、「音源位置補正中」のメッセージ５２３は消去され、音源マーク５３２が元の実線に戻る（音源マーク５４２）。
【００４５】
次に、制御部１０９は、最初に算出した音源方向の映像上の位置（音源マーク５１２の位置）と、最終的にユーザにより設定された映像上の位置（音源マーク５４２の位置）との縦方向、及び、横方向の差を算出し（ステップＳ７０７）、補正値として記憶部１１０に記憶させる（ステップＳ７０８）。次に、制御部１０９は、再生が継続しているか否かの確認を行ない（ステップＳ７０９）、継続している場合は（ステップＳ７０９；Ｎｏ）音源方向の検出を行い、撮影終了の指示を受け付けると（ステップＳ７０９；Ｙｅｓ）処理を終了する。以降は、実施形態１で説明した図６のフローチャートの処理と同様に、補正値に基づいて音源方向を補正する処理を行う。
【００４６】
また、実施形態１に示す動画の撮影時において、音源付近へのタッチ操作があると判断した場合には、表示部１１１に表示している映像を静止させ、撮影部１０２から取り込んだ映像を表示しないようにしてもよい。その場合でも、図４のステップＳ４０５からステップＳ４０８までの処理を行い、音源方向の補正を行なう。
【００４７】
本実施形態によれば、タッチパネルディスプレイ以外の表示部を備えた携帯装置１０１においても、撮影済み動画ファイルの一時停止時に音源方向の補正値を算出することができ、補正後の音源方向を用いることにより音データ処理機能の性能を維持することが可能となる。
【００４８】
（実施形態３）
次に、顔認識と音源方向認識機能を備える携帯装置１０１において、音源の位置が顔の近くに検出された場合に自動的に音源方向を補正する実施形態３について説明する。
【００４９】
図８に、動画や写真の撮影時に音源方向を補正するフローチャート図を示す。また、音源方向を補正する際に表示部１１１に表示される映像の例を図９に示す。この例では、人の顔９１１の口から音が発せられているとする。
【００５０】
まず、制御部１０９は、実施形態１のステップＳ４０１ないしステップＳ４０３の処理と同様の処理を行う。以下、実施形態１と異なる処理のステップＳ８０４以降について説明する。制御部１０９は、撮影部１０２から取り込んだ映像に対して顔の検出を行ない（ステップＳ８０４）、顔が存在する領域を示す顔領域マークを表示部１１１に表示させる（ステップＳ８０５）。例えば、制御部１０９は、図９の映像９１０に示すように、撮影部１０２から取り込んだ人の顔の映像９１１と、音源方向の画面上の位置を示す音源マーク９１２と、検出された顔領域マーク９１３と、を表示部１１１に表示させる。次に、制御部１０９は、検出された顔の中から口の場所を判定し、口の座標を検出する（ステップＳ８０６）。制御部１０９は、映像９２０に示すように、表示部１１１に口領域マーク９２３を表示させる。その際、顔が存在する領域のマークは消去してもよい。
【００５１】
次に、制御部１０９は、検出した口の座標が、算出した音源方向の画面上の位置から所定の距離内にあるかどうかを判定する（ステップＳ８０７）。例えば、口の座標が算出した音源方向の画面上の位置から１０ドット以上離れており、３０ドット以内にあるかどうかの判定を行なう。条件に満たない場合は（ステップＳ８０７；Ｎｏ）音源方向の検出を継続する（ステップＳ８０１）。この条件は、ユーザが適宜設定できるようにしてもよい。制御部１０９が口の位置が音源から所定の距離内に検出されたと判定した場合には（ステップＳ８０７；Ｙｅｓ）、まず、図９の音源マーク９２２のように音源マークを点線に変更する。次に、音源マーク９３２のように、音源マークを口の座標に移動する（ステップＳ８０８）。
【００５２】
その後、制御部１０９は、最初に算出された音源の位置（音源マーク９１２の位置）と、最終的に設定された音源の位置（口領域マーク９３２の位置）との画面上での縦方向、及び、横方向の差を算出し（ステップＳ８０９）、算出された差分を補正値として記憶部１１０に記憶させる（ステップＳ８１０）。次に、制御部１０９は、撮影が継続しているか確認を行ない（ステップＳ８１１）、継続している場合（ステップＳ８１１；Ｎｏ）は音源方向の検出を行い、撮影終了の指示を受け付けると（ステップＳ８１１；Ｙｅｓ）処理を終了する。
【００５３】
また、図８のステップＳ４０１にて複数の音源を検出した場合や、ステップＳ８０４にて複数人の顔を検出した場合には、検出した個数の音源マークや顔領域マークを表示する。その場合は、各々が一番近い、音源の画面上の位置と顔の位置の組み合わせを検出するようにしてもよい。また、表示部１１１への接触操作や、キー操作で、音源マークと顔領域のマークを、各々一つずつ選択して、音源の画面上の位置と顔の位置のペアを設定してもよい。その後は、音源の位置と顔の位置の組み合わせに対して、ステップＳ８０７からステップＳ８１０までの処理を行い、音源方向の補正値を算出する。また、図９の音源マーク９１２などは描画しなくてもよく、音源の画面上の位置を自動的に補正するのみでもよい。以降は、実施形態１で説明した図６のフローチャートの処理と同様に、補正値に基づいて音源方向を補正する処理を行う。
【００５４】
本実施形態によれば、長期間の使用により装置が劣化してしまったとしても、自動的に音源方向の補正値を求めることができ、携帯装置１０１が、特定の角度からの音を聴こえ易くする機能や、音源方向に存在する物体に対して自動的にカメラのフォーカスを設定する機能等の性能を維持することが可能となる。
【００５５】
また、上述した実施形態１ないし実施形態３に係る携帯装置１０１において、補正値は記憶部１１０に記憶されているので、動画や写真の撮影時に決定した音源方向の補正値を撮影済み動画ファイルの再生時に適用することができる。或いは、撮影済み動画ファイルの再生時に決定した音源方向の補正値を、動画や写真の撮影時に適用することもできる。
【００５６】
また、複数の撮影済み動画ファイルに対して、各々、異なる音源方向の補正値を算出し、各々のファイルに対応付けて記録しても良い。各々の撮影済み動画ファイルを再生する際は、対応付けて記録してある音源方向の補正値を読み出し、音源方向の補正を行なう。
【００５７】
また、実施形態１ないし実施形態３に係る携帯装置１０１において、音源方向の補正値は一つでもよいし、表示部１１１を数分割して、その分割した領域ごとに、補正値を設定、適用してもよい。まず、表示部１１１の画面右側、或いは、左側への指定を判定し、各々に対する補正値を保存する領域を保持する。表示部１１１の画面右側に対して決定した補正値は、画面右側に対する音源定位結果への補正に適用し、同様に、表示部１１１の画面左側に対して決定した補正値は、画面左側に対する音源定位結果への補正に適用する。画面の左右のみではなく、画面の上下で異なる補正値としてもよい。
【００５８】
また、実施形態１ないし実施形態３に係る携帯装置１０１において、補正値は映像上でのドット数以外でもよい。例えば、補正後に映像上の音源の位置を、三次元空間上に変換して、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向からの角度を求める。その後、三次元空間上の、補正前の音源方向との差を算出し、各々の軸に対する補正値として記憶する。音源の位置の補正は、三次元空間上の方向を算出後、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に対して、各々補正値を足し算する。
【００５９】
また、本発明は、携帯電話の他、電子カメラ、ムービ、ＰＤＡ、ノートパソコン、ウェアラブルパソコン、電卓、電子辞書など、音データ処理機能を備える全ての装置に用いることができる。
【符号の説明】
【００６０】
１０１…携帯装置、１０２…撮影部、１０３、１０４、１０５、１０６、３１０、３２０…マイクロフォン、１０７…キー入力部、１０８…コーデック部、１０９…制御部、１１０…記録部、１１１…表示部、１１２…スピーカ、３１１、３２１…音データ、５１０、５２０、５３０、５４０、９１０、９２０、９３０…映像、５１１…犬、５１２、５２２、５３２、５４２、９１２、９２２、９３２…音源マーク、５２３…メッセージ、９１１…人の顔、９１３…顔領域マーク、９２３…口領域マーク
【技術分野】
【０００１】
本発明は、推定された音源の方向の誤差を、補正するための補正値を求めることが可能な音データ処理装置に関する。
【背景技術】
【０００２】
今日、録画機能付き機器が多数製品化されており、光学ズームや明るさ調整などの機能が盛り込まれている。特許文献１には、記録機器に複数のマイクロフォンを設けて、音源方向を推定し、個々の音源を分離抽出する手法が記載されている。この手法によれば、録画時の、目的とする音源以外の音を抑圧することで、目的とする音の明瞭度を向上することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−８４５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に開示されている記録装置において、記録装置を長期間用いると、マイクロフォンの感度低下や記録装置の筐体の歪み等で、音源の方向（音源方向）を算出する精度及び特性が変ってしまう場合がある。この場合、推定した音源の方向がずれたままでは、目的とする音源を分離抽出する性能に影響が発生すると考えられる。そこで、推定された音源方向を正しい方向に補正する仕組みが望まれる。
この発明は上記実情に鑑みてなされたものであり、音源方向を推定する機能を備える音データ処理装置において、推定した音源方向の補正を可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の観点に係る音データ処理装置は、
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段と、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段と、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする。
【０００６】
好ましくは、
前記入力手段はタッチパネルディスプレイから構成される
ことを特徴とする。
【０００７】
また、好ましくは、
前記入力手段は画面内の上下左右の方向を示す方向キーから構成される
ことを特徴とする。
【０００８】
上記目的を達成するため、本発明の第２の観点に係る音データ処理装置は、
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段と、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする。
【０００９】
好ましくは、
前記記憶手段は、前記マイクロフォンから取り込んだ複数の音データをさらに記憶し、
前記記憶手段に記憶された前記差分を用いて該音データを補正する補正手段をさらに備える
ことを特徴とする。
【００１０】
本発明の第３の観点に係るプログラムは、
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とする。
【００１１】
本発明の第４の観点に係るプログラムは、
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、推定された音源方向と正しい又は正しいと推定される音源方向との差分を求めることができる。この差分を、例えば、補正値として、撮影時又は再生時に用いれば、装置が劣化してしまったとしても、特定の角度からの音を聴こえ易くする機能や、音源方向に存在する物体に対して、カメラのフォーカスを設定する機能などの性能を維持することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る音データ処理機能を備える携帯装置のブロック図である。
【図２】本発明の実施形態に係るマイクロフォンの設置場所を表す図である。
【図３】本発明の実施形態に係るマイクロフォンと音源の角度との関係図である。
【図４】本発明の実施形態１に係る、音源方向の補正値を算出する処理のフローチャート図である。
【図５】本発明の実施形態１に係る補正値算出時に表示部に描画される映像である。
【図６】本発明の実施形態１に係る音源方向を補正するフローチャート図である。
【図７】本発明の実施形態２に係る、キー操作で音源方向の補正値を算出する処理のフローチャート図である。
【図８】本発明の実施形態３に係る自動的に音源方向の補正値を算出する処理のフローチャート図である。
【図９】本発明の実施形態３に係る、補正値算出時に表示部に描画される映像である。
【発明を実施するための形態】
【００１４】
（実施形態１）
本発明の実施形態１に係る、音データ処理機能を備える携帯電話などの携帯装置１０１について説明する。
【００１５】
本実施形態の携帯装置１０１は、図１に示すように、撮影部１０２と、マイクロフォン１０３〜１０６と、キー入力部１０７と、コーデック部１０８と、制御部１０９と、記録部１１０と、表示部１１１と、スピーカ１１２と、を備える。
【００１６】
撮影部１０２はＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成され、映像を撮影し、映像を電気信号に変換する。
【００１７】
マイクロフォン１０３〜１０６は、音を集音し、集音した音をアナログ信号に変換する。本実施形態ではマイクロフォンを４つ用いるが、これに限らず４つよりも少なくても、或いは多くてもよい。
【００１８】
撮影部１０２及びマイクロフォン１０３〜１０６の取り付け例を図２に示す。１０３〜１０６と撮影部１０２とは、撮影部１０２の光軸をＸ軸とし、Ｘ軸に互いに垂直なＹ軸とＺ軸とを定義した場合に、Ｘ軸上、Ｙ軸上、Ｚ軸上でそれぞれ位置の異なるマイクロフォンが存在するように、配置されている。即ち、マイクロフォンは、図２に示すように、撮影部１０２の設置面の異なる位置に、マイクロフォン１０３、１０４、１０６が配置され、裏面にマイクロフォン１０５が配置されている。
【００１９】
キー入力部１０７は、電源スイッチ、録音及び録画ボタン、方向キー等から構成される。キー入力部１０７は、マイクロフォン１０３〜１０６及び撮影部１０２の起動、録音・録画の開始・終了、表示部１１１に表示されたカーソルの移動等の操作入力を受け付け、受け付けた操作入力の情報を制御部１０９に送る。
【００２０】
コーデック部１０８は、撮影部１０２から取り込んだ映像やマイクロフォン１０３〜１０６から取り込んだ音を圧縮及び再生するために復号する。コーデック部１０８は、映像用のコーデック部と、音用のコーデック部とに分けてもよい。
【００２１】
制御部１０９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成され、記憶部１１０に格納されているプログラムを実行し、携帯装置１０１本来の機能を実行すると共に、音データ処理装置としての動作も実行する。例えば、マイクロフォンから取り込んだ音データに基づいて、音源方向を算出したり、図４及び図６のフローチャートが示す処理を行ったりする。
【００２２】
記録部１１０は、ＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、撮影部１０２から取り込んだ映像、マイクロフォン１０３〜１０６から取り込んだ音データ、及びマイク位置情報、算出した音源方向の情報等を格納する。また、制御部１０９が行う処理に係るプログラム等を格納する。
【００２３】
表示部１１１は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、及びドライバ等から構成され、撮影部１０２で撮影した映像及び制御部１０９が算出した音源方向に音源のマーク等を表示する。
【００２４】
また、表示部１１１は映像描画が可能なタッチパネルディスプレイから構成されてもよく、キー入力部１０７の替わりに、ユーザの操作入力を受け付けるようにしてもよい。以下、表示部１１１はタッチパネルディスプレイから構成されているとする。
【００２５】
スピーカ１１２は、増幅器、マイクロスピーカ等から構成され、制御部１０９から送られるアナログ音信号に基づいて音を出力する。
【００２６】
次に、上記の物理的構成を有する携帯装置１０１において実行される、マイクロフォンに入射した音の音源方向を推定する方法について、図３を用いて説明する。
【００２７】
まず、４つのマイクロフォンのうちの任意に２つのマイクロフォンを選択し、各マイクロフォンに入射する音の相関を求める。同一音が一方のマイクロフォンに入射してから、他方のマイクロフォンに入射するまでの時間差TimeLagを求める。例えば、任意のマイクロフォン３１０、３２０が取り込んだ音を音データ３１１、３２１とすると、音データの波形のずれにより時間差TimeLagを求めることができる。マイクロフォン３１０と３２０との距離をｄ、音速をＣとすると、マイクロフォン３１０と３２０と音源とを含む平面上で、マイクロフォン３１０と３２０とを結ぶ線に垂直な方向と音源の向きとが成す角度angleは、（１）式で表される。
angle = arcsin（Ｃ・TimeLag ／ｄ） … （１）
【００２８】
制御部１０９は、式（１）から角度angleを求め、求めたangleを、図２に示すＸ，Ｙ，Ｚ座標上の各マイクロフォンの位置に基づいて、Ｘ、Ｙ，Ｚ座標系上の向きに補正する。制御部１０９は、他のマイクロフォンの組み合わせに関しても、同様に解析することにより、特定の音源のＸ，Ｙ，Ｚ座標系上の原点からの向き（角度）を求める。このように、マイクロフォンの設置位置関係、及び、取り込んだ音同士を解析することで、三次元空間上の任意の角度からの音に対して、音源方向を検出することが可能である。また、これにより、特定の音源方向からの音を強調すること等が可能となる。
【００２９】
上記のように音源を推定する機能を備える携帯装置１０１において、長期間の使用等により、マイクロフォンの感度が低下することによってTimeLag算出精度が落ち、又、筐体が歪む等してマイクロフォンの距離ｄ等が変わってしまうと、音の入射角angleの推定に誤差が生じてしまう。
【００３０】
以下、携帯装置１０１において実行される、動画や写真の撮影時に音源方向の補正値を算出する処理について、図４のフローチャートに沿って説明する。また、音源方向を補正する際に表示部１１１に表示される映像の例を図５に示す。この例では、犬５１１から音が発せられているとする。
【００３１】
まず、図１の制御部１０９は、マイクロフォン１０３〜１０６から取り込んだ音データと式（１）を用いて、図２の三次元空間上の音源方向を算出する（ステップＳ４０１）。次に、制御部１０９は、三次元空間上の音源方向を、表示部１１１における映像上の座標に変換する（ステップＳ４０２）。制御部１０９は、表示部１１１に、撮影部１０２から取り込んだ映像と、変換した座標の位置に実線の音源マーク５１２と、を表示させる（ステップＳ４０３）。制御部１０９が複数の音源を検出した場合は、複数の音源マークを表示させる。図５の映像５１０の例では、制御部１０９は犬５１１から発せられている音の方向を正確に検出しておらず、その結果、音源マーク５１２が音源の犬５１１とは異なる位置に表示されている。
【００３２】
検出された音源方向を補正するために、ユーザが表示部１１１の音源マーク５１２に指で接触したとすると、制御部１０９はユーザによる接触操作を検出する（ステップＳ４０４；Ｙｅｓ）。接触操作の検出範囲は、音源マークが表示されている範囲内のみとしてもよいし、音源マークよりも、例えば上下左右１０ドットだけ大きな範囲内が触れられる事としてもよく、画面サイズや表示解像度に合わせて可変してもよい。
【００３３】
制御部１０９が接触操作を検出すると（ステップＳ４０４；Ｙｅｓ）、ユーザにより音源の位置の指定が開始されたことを示すために、制御部１０９は、選択された音源マーク５１２を音源マーク５２２のように点線に変更し、「音源位置補正中」のメッセージ５２３と共に表示部１１１に表示させる。音源マークの形態の変更により、ユーザが音源位置補正処理の開始を確認できればよく、実線を点線に変更する以外にも、例えば、音源マークを点滅させたり、色を変更させたりしてもよい。制御部１０９が接触操作を検出しない場合には（ステップＳ４０４；Ｎｏ）、音源方向の検出を継続する。
【００３４】
図５の映像５３０に示すように、実際に音が発生していると想定される映像上の位置に、ユーザが音源マーク５３２をスライドさせると、制御部１０９はドラッグ操作を検出する（ステップＳ４０５；Ｙｅｓ）。次に、ユーザが表示部１１１から指を離すと、制御部１０９はリリース操作を検出し（ステップＳ４０６；Ｙｅｓ）、映像５４０に示すように、「音源位置補正中」のメッセージを消去し、音源マーク５３２を元の実線に戻す（音源マーク５４２）。なお、ユーザは、最初に表示された音源マークをダブルクリックし、映像上の実際に音が発生していると想定される位置で、再度ダブルクリックをして映像上の音源の位置を指定してもよく、その他の操作でもよい。
【００３５】
次に、制御部１０９は、最初に算出した音源方向の映像上の位置（音源マーク５１２の位置）と、最終的にユーザにより設定された映像上の位置（音源マーク５４２の位置）との縦方向、及び、横方向の差を算出し（ステップＳ４０７）、その差分を補正値として記憶部１１０に記憶させる（ステップＳ４０８）。次に、制御部１０９は、撮影が継続しているか確認を行なう（ステップＳ４０９）。撮影が継続している場合は（ステップＳ４０９；Ｎｏ）、音源方向の検出を行い、撮影終了の指示を受け付けると（ステップＳ４０９；Ｙｅｓ）、補正値算出処理を終了する。
【００３６】
ここで、音源方向を検出する際（ステップＳ４０１）、音声が存在しない時間帯には、以前描画した音源マークを、描画したままにしてもよいし、消去してもよい。描画したままにする場合でも、図４のステップＳ４０４からステップＳ４０８までの処理を行い、音源方向の修正を行なってもよい。
【００３７】
次に、記憶部１１０に記憶された補正値を基に音源方向を補正する処理について、図６のフローチャートを用いて説明する。制御部１０９は、図４のステップＳ４０１及びステップＳ４０２の処理と同様に、音源方向を検出し（ステップＳ６０１）、表示部１１１の映像上の座標に変換する（ステップＳ６０２）。次に、制御部１０９は、記憶部１１０から補正値を読み出し、変換後の映像上の縦方向、及び、横方向の座標に対して、各々読み出した縦方向、及び、横方向の補正値を加え、補正値を加えた音源の位置座標から音源の角度を求める（ステップＳ６０３）。制御部１０９は、表示部１１１に、補正値が加えられた音源の位置に音源マークを表示する（ステップＳ６０４）。次に、再生が継続しているか否かの確認を行ない（ステップＳ６０５）、継続している場合は（ステップＳ６０５；Ｎｏ）音源方向の検出を行い、再生終了の指示を受け付けると（ステップＳ６０５；Ｙｅｓ）処理を終了する。
【００３８】
なお、補正値を適用し音源方向を補正する処理は、図４の音源方向を補正するフローと共に行なっても良く、その場合は、図６のステップ６０３及びステップＳ６０４の処理を、図４のステップＳ４０７とステップＳ４０８との間に実施する。
【００３９】
また、動画や写真の撮影時に、音声を発生する被写体が移動する場合には、音源マークが常に移動するので、図４のステップＳ４０４にて、音源付近への接触操作があると判断した場合には、表示部１１１に表示している映像を静止させ、撮影部から取り込んだ映像を表示しないようにしてもよい。その場合でも、図４のステップＳ４０５からステップ４０８までの処理を行い、音源方向の修正を行なう。
【００４０】
また、上記フローチャートでは、撮影時に補正値を算出しているが、動画ファイルの再生時にユーザが映像上の位置を指定し、補正値を算出するようにしてもよい。以下の実施形態でも同様とする。
【００４１】
本実施形態によれば、推定された音源方向に誤差が生じていたとしても、撮影時や再生時に音源方向を表示部に表示することで、ユーザが音源方向を表示部に接触する等の操作で容易に指定することができる。また、指定された音源方向に基づいて補正値を求めることができるので、長期間の使用により装置が劣化してしまったとしても、この補正値を撮影時又は再生時に用いることにより、特定の角度からの音を聴こえ易くする機能等を維持することができる。
【００４２】
（実施形態２）
次に、上記携帯装置１０１において、静止している映像に対しキー操作で音源方向を補正する実施形態２について説明する。
【００４３】
図７に、静止している映像に対して、キー操作で音源方向の補正値を算出する処理のフローチャートを示す。まず、制御部１０９は、実施形態１のステップＳ４０１ないしステップＳ４０３の処理と同様の処理を行う。以下、実施形態１と異なる処理のステップＳ７０４以降について説明する。
【００４４】
まず、制御部１０９は、ユーザによる方向キー押下の有無を判断し（ステップＳ７０４）、押下が無い場合は（ステップＳ７０４；Ｎｏ）、方向キー押下判断を継続する。制御部１０９が方向キー押下を検出すると（ステップＳ７０４；Ｙｅｓ）、ユーザにより音源の位置の指定が開始されたことを示すために、図５の映像５２０のように、表示部１１１に「音源位置補正中」のメッセージ５２３を表示させ、音源マーク５１２を点線に変更する（音源マーク５２２）。さらに、ユーザが押下操作を行うと、制御部１０９は押下された方向に音源マークを移動させる（ステップＳ７０５）。例えば、映像５３０に示すように、ユーザにより音源マーク５３２が移動され、Ｅｎｔｅｒキー等の決定キーが押下されたとすると、制御部１０９は押下の有りと判断する（ステップＳ７０６；Ｙｅｓ）。制御部１０９は押下が無い場合には（ステップＳ７０４；Ｎｏ）キー押下の判断を継続する。制御部１０９が決定キー押下操作を検出すると（ステップＳ７０６；Ｙｅｓ）、映像５４０に示すように、「音源位置補正中」のメッセージ５２３は消去され、音源マーク５３２が元の実線に戻る（音源マーク５４２）。
【００４５】
次に、制御部１０９は、最初に算出した音源方向の映像上の位置（音源マーク５１２の位置）と、最終的にユーザにより設定された映像上の位置（音源マーク５４２の位置）との縦方向、及び、横方向の差を算出し（ステップＳ７０７）、補正値として記憶部１１０に記憶させる（ステップＳ７０８）。次に、制御部１０９は、再生が継続しているか否かの確認を行ない（ステップＳ７０９）、継続している場合は（ステップＳ７０９；Ｎｏ）音源方向の検出を行い、撮影終了の指示を受け付けると（ステップＳ７０９；Ｙｅｓ）処理を終了する。以降は、実施形態１で説明した図６のフローチャートの処理と同様に、補正値に基づいて音源方向を補正する処理を行う。
【００４６】
また、実施形態１に示す動画の撮影時において、音源付近へのタッチ操作があると判断した場合には、表示部１１１に表示している映像を静止させ、撮影部１０２から取り込んだ映像を表示しないようにしてもよい。その場合でも、図４のステップＳ４０５からステップＳ４０８までの処理を行い、音源方向の補正を行なう。
【００４７】
本実施形態によれば、タッチパネルディスプレイ以外の表示部を備えた携帯装置１０１においても、撮影済み動画ファイルの一時停止時に音源方向の補正値を算出することができ、補正後の音源方向を用いることにより音データ処理機能の性能を維持することが可能となる。
【００４８】
（実施形態３）
次に、顔認識と音源方向認識機能を備える携帯装置１０１において、音源の位置が顔の近くに検出された場合に自動的に音源方向を補正する実施形態３について説明する。
【００４９】
図８に、動画や写真の撮影時に音源方向を補正するフローチャート図を示す。また、音源方向を補正する際に表示部１１１に表示される映像の例を図９に示す。この例では、人の顔９１１の口から音が発せられているとする。
【００５０】
まず、制御部１０９は、実施形態１のステップＳ４０１ないしステップＳ４０３の処理と同様の処理を行う。以下、実施形態１と異なる処理のステップＳ８０４以降について説明する。制御部１０９は、撮影部１０２から取り込んだ映像に対して顔の検出を行ない（ステップＳ８０４）、顔が存在する領域を示す顔領域マークを表示部１１１に表示させる（ステップＳ８０５）。例えば、制御部１０９は、図９の映像９１０に示すように、撮影部１０２から取り込んだ人の顔の映像９１１と、音源方向の画面上の位置を示す音源マーク９１２と、検出された顔領域マーク９１３と、を表示部１１１に表示させる。次に、制御部１０９は、検出された顔の中から口の場所を判定し、口の座標を検出する（ステップＳ８０６）。制御部１０９は、映像９２０に示すように、表示部１１１に口領域マーク９２３を表示させる。その際、顔が存在する領域のマークは消去してもよい。
【００５１】
次に、制御部１０９は、検出した口の座標が、算出した音源方向の画面上の位置から所定の距離内にあるかどうかを判定する（ステップＳ８０７）。例えば、口の座標が算出した音源方向の画面上の位置から１０ドット以上離れており、３０ドット以内にあるかどうかの判定を行なう。条件に満たない場合は（ステップＳ８０７；Ｎｏ）音源方向の検出を継続する（ステップＳ８０１）。この条件は、ユーザが適宜設定できるようにしてもよい。制御部１０９が口の位置が音源から所定の距離内に検出されたと判定した場合には（ステップＳ８０７；Ｙｅｓ）、まず、図９の音源マーク９２２のように音源マークを点線に変更する。次に、音源マーク９３２のように、音源マークを口の座標に移動する（ステップＳ８０８）。
【００５２】
その後、制御部１０９は、最初に算出された音源の位置（音源マーク９１２の位置）と、最終的に設定された音源の位置（口領域マーク９３２の位置）との画面上での縦方向、及び、横方向の差を算出し（ステップＳ８０９）、算出された差分を補正値として記憶部１１０に記憶させる（ステップＳ８１０）。次に、制御部１０９は、撮影が継続しているか確認を行ない（ステップＳ８１１）、継続している場合（ステップＳ８１１；Ｎｏ）は音源方向の検出を行い、撮影終了の指示を受け付けると（ステップＳ８１１；Ｙｅｓ）処理を終了する。
【００５３】
また、図８のステップＳ４０１にて複数の音源を検出した場合や、ステップＳ８０４にて複数人の顔を検出した場合には、検出した個数の音源マークや顔領域マークを表示する。その場合は、各々が一番近い、音源の画面上の位置と顔の位置の組み合わせを検出するようにしてもよい。また、表示部１１１への接触操作や、キー操作で、音源マークと顔領域のマークを、各々一つずつ選択して、音源の画面上の位置と顔の位置のペアを設定してもよい。その後は、音源の位置と顔の位置の組み合わせに対して、ステップＳ８０７からステップＳ８１０までの処理を行い、音源方向の補正値を算出する。また、図９の音源マーク９１２などは描画しなくてもよく、音源の画面上の位置を自動的に補正するのみでもよい。以降は、実施形態１で説明した図６のフローチャートの処理と同様に、補正値に基づいて音源方向を補正する処理を行う。
【００５４】
本実施形態によれば、長期間の使用により装置が劣化してしまったとしても、自動的に音源方向の補正値を求めることができ、携帯装置１０１が、特定の角度からの音を聴こえ易くする機能や、音源方向に存在する物体に対して自動的にカメラのフォーカスを設定する機能等の性能を維持することが可能となる。
【００５５】
また、上述した実施形態１ないし実施形態３に係る携帯装置１０１において、補正値は記憶部１１０に記憶されているので、動画や写真の撮影時に決定した音源方向の補正値を撮影済み動画ファイルの再生時に適用することができる。或いは、撮影済み動画ファイルの再生時に決定した音源方向の補正値を、動画や写真の撮影時に適用することもできる。
【００５６】
また、複数の撮影済み動画ファイルに対して、各々、異なる音源方向の補正値を算出し、各々のファイルに対応付けて記録しても良い。各々の撮影済み動画ファイルを再生する際は、対応付けて記録してある音源方向の補正値を読み出し、音源方向の補正を行なう。
【００５７】
また、実施形態１ないし実施形態３に係る携帯装置１０１において、音源方向の補正値は一つでもよいし、表示部１１１を数分割して、その分割した領域ごとに、補正値を設定、適用してもよい。まず、表示部１１１の画面右側、或いは、左側への指定を判定し、各々に対する補正値を保存する領域を保持する。表示部１１１の画面右側に対して決定した補正値は、画面右側に対する音源定位結果への補正に適用し、同様に、表示部１１１の画面左側に対して決定した補正値は、画面左側に対する音源定位結果への補正に適用する。画面の左右のみではなく、画面の上下で異なる補正値としてもよい。
【００５８】
また、実施形態１ないし実施形態３に係る携帯装置１０１において、補正値は映像上でのドット数以外でもよい。例えば、補正後に映像上の音源の位置を、三次元空間上に変換して、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向からの角度を求める。その後、三次元空間上の、補正前の音源方向との差を算出し、各々の軸に対する補正値として記憶する。音源の位置の補正は、三次元空間上の方向を算出後、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に対して、各々補正値を足し算する。
【００５９】
また、本発明は、携帯電話の他、電子カメラ、ムービ、ＰＤＡ、ノートパソコン、ウェアラブルパソコン、電卓、電子辞書など、音データ処理機能を備える全ての装置に用いることができる。
【符号の説明】
【００６０】
１０１…携帯装置、１０２…撮影部、１０３、１０４、１０５、１０６、３１０、３２０…マイクロフォン、１０７…キー入力部、１０８…コーデック部、１０９…制御部、１１０…記録部、１１１…表示部、１１２…スピーカ、３１１、３２１…音データ、５１０、５２０、５３０、５４０、９１０、９２０、９３０…映像、５１１…犬、５１２、５２２、５３２、５４２、９１２、９２２、９３２…音源マーク、５２３…メッセージ、９１１…人の顔、９１３…顔領域マーク、９２３…口領域マーク
【特許請求の範囲】
【請求項１】
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段と、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段と、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項２】
前記入力手段はタッチパネルディスプレイから構成される
ことを特徴とする請求項１に記載の音データ処理装置。
【請求項３】
前記入力手段は画面内の上下左右の方向を示す方向キーから構成される
ことを特徴とする請求項１に記載の音データ処理装置。
【請求項４】
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段と、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項５】
前記記憶手段は、前記マイクロフォンから取り込んだ複数の音データをさらに記憶し、
前記記憶手段に記憶された前記差分を用いて該音データを補正する補正手段をさらに備える
ことを特徴とする請求項１又は請求項４に記載の音データ処理装置。
【請求項６】
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とするプログラム。
【請求項７】
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とするプログラム。
【請求項１】
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段と、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段と、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項２】
前記入力手段はタッチパネルディスプレイから構成される
ことを特徴とする請求項１に記載の音データ処理装置。
【請求項３】
前記入力手段は画面内の上下左右の方向を示す方向キーから構成される
ことを特徴とする請求項１に記載の音データ処理装置。
【請求項４】
複数のマイクロフォンと、
撮影手段と、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段と、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段と、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段と、
前記算出手段によって算出された差分を記憶する記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項５】
前記記憶手段は、前記マイクロフォンから取り込んだ複数の音データをさらに記憶し、
前記記憶手段に記憶された前記差分を用いて該音データを補正する補正手段をさらに備える
ことを特徴とする請求項１又は請求項４に記載の音データ処理装置。
【請求項６】
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像と、前記推定手段が推定した位置に所定のマークと、を表示する表示手段、
ユーザから、前記表示手段が表示した映像上の位置を指定する指示を受け付ける入力手段、
前記推定手段が推定した位置と、前記ユーザより指定された位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とするプログラム。
【請求項７】
複数のマイクロフォンに接続されたコンピュータを、
撮影手段、
前記マイクロフォンから取り込んだ複数の音データから音源の位置を推定する推定手段、
前記撮影手段が撮影した映像に映る人の口の位置を検出する検出手段、
前記推定手段が推定した位置と、前記人の口の位置との差分を算出する算出手段、
前記算出手段によって算出された差分を記憶する記憶手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２５１９１６（Ｐ２０１０−２５１９１６Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９７３１１（Ｐ２００９−９７３１１）
【出願日】平成２１年４月１３日（２００９．４．１３）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１３日（２００９．４．１３）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]