記録装置、再生装置及びプログラム
【課題】録画データの再生時に、雑音除去を行なっていない元の音データの再生や、雑音除去を行う角度の変更が可能な記録装置及び再生装置を提供する。
【解決手段】本発明の記録装置及び再生装置は、複数のマイクロフォンを備え、操作者が設定した映像上の座標から三次元空間上の角度を算出する機能と、各マイクロフォンの設置位置と各マイクロファンから取り込んだ音データを用いて、雑音除去を行う機能とを有する。録画時は、各マイクロフォンの設置位置や、撮影者が設定した映像上の座標などが記録できる録画ファイルフォーマットに従い録画データを記録する。再生時には、録画データと共に記録された座標、或いはユーザが指定した映像上の座標に基づいて、雑音除去を行なう。
【解決手段】本発明の記録装置及び再生装置は、複数のマイクロフォンを備え、操作者が設定した映像上の座標から三次元空間上の角度を算出する機能と、各マイクロフォンの設置位置と各マイクロファンから取り込んだ音データを用いて、雑音除去を行う機能とを有する。録画時は、各マイクロフォンの設置位置や、撮影者が設定した映像上の座標などが記録できる録画ファイルフォーマットに従い録画データを記録する。再生時には、録画データと共に記録された座標、或いはユーザが指定した映像上の座標に基づいて、雑音除去を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録媒体に記録されている音声データを再生する再生装置、音声データを記録媒体に記録する記録装置、及びそれらのプログラムに関する。
【背景技術】
【０００２】
今日、録画機能付き機器が多数製品化されており、画面光学ズームや明るさ調整など、録画時の多数の機能が盛り込まれている。録画の際には音声の録音も可能であり、目的とする被写体からの音の明瞭度を向上する機能が望まれている。
【０００３】
特許文献１には、複数のマイクロフォンで取得した音データから、個々の音源の方向を推定し、個々の音源を分離抽出する手法が記載されている。この手法を用いれば、目的とする音源以外の音を抑圧することで、特定の角度からの音の明瞭度を向上する（以降、雑音除去とする）ことが可能である。
【０００４】
また、特許文献２には、ズーム画像を撮影する際に、撮影方向以外からの音を排除して、撮影方向の狭い範囲の音に絞って集音し、周波数成分の低域成分と高域成分を強調する事で、音源の間近で聞いたときの音質を再現する手法が提案されている。
【０００５】
【特許文献１】特開２００２−８４５９０号公報
【特許文献２】特開２００４−３２８０５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１及び２に開示されている手法では録音時に、音の明瞭度が向上した音データを録音するのみである。そのため、録画データの再生時に、雑音除去を行なっていない元の音の再生や、撮影方向以外からの音等、任意の方向からの音の明瞭度を向上することなどができず、視聴者の嗜好に合った音を再生することができない。
【０００７】
この発明は、上記実情に鑑みてなされたものであり、再生時に視聴者の嗜好に合った音の再生を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係る再生装置は、
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生する再生装置であって、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段と、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段と、
前記抽出手段で抽出された前記音データを再生する再生手段と、
を備えることを特徴とする。
【０００９】
好ましくは、
前記記録媒体には、前記位置関係データと前記音データとに加えて映像データが記録されており、
前記映像データを再生する映像再生手段をさらに備え、
前記入力手段は、前記映像再生手段で再生された映像上で、抽出する音の到来方向を示す場所を示すデータを入力する、
ことを特徴とする。
【００１０】
さらに好ましくは、
前記記録媒体には、時間データと音を抽出する方向を示すデータとが対応付けられてさらに記録されており、
再生開始から経過時間を計測する計時手段をさらに備え、
前記入力手段は、前記記録媒体に記録されている方向を指定するデータを前記抽出方向データとして入力し、
前記抽出手段は、前記計測手段を用いて計測した再生開始からの経過時間が、記録されている時間データが指示する時間に達した時点で、前記時間データに対応付けて保存されていた前記音を抽出する方向を示すデータから音を抽出する方向を求め、求めた方向から前記マイクロフォンに到来した音を抽出する、
ことを特徴とする。
【００１１】
上記目的を達成するため、本発明の第２の観点に係る記録装置は、
複数のマイクロフォンと、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段と、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段と、
を備えることを特徴とする。
【００１２】
好ましくは、
前記位置関係データに基づいて、前記複数のマイクロフォンで取得した複数の音データのうちから、特定の方向からの音の音データを抽出する抽出手段を有し、
前記記録手段は、前記抽出手段により抽出された前記音データを前記記録媒体に記録する、
ことを特徴とする。
【００１３】
さらに好ましくは、
前記特定の方向を入力する入力手段を備えることを特徴とする。
【００１４】
さらに好ましくは、
前記記録手段による音データの記録開始からの経過時間を計測する計時手段と、
音を抽出する方向を示す抽出方向データを入力する入力手段と、をさらに有し、
前記記録手段は、前記音データと共に、前記入力手段により入力された前記抽出方向データと、前記抽出方向データが入力されたタイミングで前記計時手段が計時している経過時間と、を前記記録媒体に記録する、
ことを特徴とする。
【００１５】
さらに好ましくは、
撮像手段と、前記撮像手段により撮像された映像データが定義する映像を表示する表示手段とをさらに有し、
前記記録手段は前記音データに加えて前記映像データを前記記録媒体に記録し、
前記入力手段は、前記表示手段に表示された映像上の場所を指定する手段とし、指定された映像上の場所に対応する方向を示すデータを、音を抽出する方向を示す抽出方向データとする、
ことを特徴とする。
【００１６】
本発明の第３の観点に係るプログラムは、
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生するコンピュータを、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段、
前記抽出手段で抽出された前記音データを再生する再生手段、
として機能させることを特徴とする。
【００１７】
本発明の第４の観点に係るプログラムは、
複数のマイクロフォンに接続されたコンピュータを、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段、
として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、音データの再生時に、特定された方向からの音を再生する事ができ、視聴者の嗜好に合った再生を可能とする機能を提供できる。
【発明を実施するための最良の形態】
【００１９】
（実施形態１）
本発明の実施形態１に係る記録再生装置を、図１ないし図５を用いて説明する。
実施形態１の記録再生装置１０１は、録音時に雑音除去を行う機能を備える。
まず、記録再生装置１０１の物理的な構成について説明する。記録再生装置１０１は、図１に示すように、撮影部１０２、マイクロフォン１０３〜１０６、キー入力部１０７、コーデック部１０８、制御部１０９、記録部１１０、表示部１１１、スピーカ１１２を備える。
【００２０】
撮影部１０２はＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成され、映像を撮影し、映像を電気信号に変換する。
【００２１】
マイクロフォン１０３〜１０６は、音を集音し、集音した音をアナログ信号に変換する。
【００２２】
キー入力部１０７は、電源スイッチ、録音及び録画ボタン等を備え、マイクロフォン１０３〜１０６及びカメラの起動や録音及び録画の開始・終了等の操作入力を受け付け、操作情報を制御部１０９に送る。
【００２３】
コーデック部１０８は、撮影部１０２から取り込んだ映像やマイクロフォン１０３〜１０６から取り込んだ音を圧縮及び再生するために復号する。コーデック部１０８は、映像用のコーデック部と、音用のコーデック部とに分けても良い。
【００２４】
制御部１０９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成され、システム全体の動作を制御する。
【００２５】
記録部１１０は、ＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、撮影部１０２から取り込んだ映像、マイクロフォン１０３〜１０６から取り込んだ音、及びマイク位置情報等を格納する。
【００２６】
表示部１１１は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、及びドライバ等から構成され、撮影部で撮影した映像を表示する。
【００２７】
表示部１１１は映像描画が可能なタッチパネルディスプレイから構成されてもよく、キー入力部１０７の替わりに、ユーザ操作入力を受け付けるようにしてもよい。
【００２８】
スピーカ１１２は、増幅器、マイクロスピーカ等から構成され、制御部１０９から送られるアナログ音信号に基づいて音を出力する。
【００２９】
上記構成において、マイクロフォン１０３〜１０６と撮影部１０２とは、明瞭度向上のため、撮影部１０２の光軸をＸ軸とし、Ｘ軸に互いに垂直なＹ軸とＺ軸とを定義した場合に、Ｘ軸上、Ｙ軸上、Ｚ軸上でそれぞれ位置の異なるマイクロフォンが存在するように、配置されている。即ち、図２に例示するように、撮影部１０２を原点として、三次元空間上でＸ、Ｙ，Ｚ軸方向に、互いに異なる位置に配置されている。例えば、図２に示す例では、撮影部１０２の設置面の異なる位置に、マイクロフォン１０３、１０４、１０６が配置され、裏面にマイクロフォン１０５が配置されている。
【００３０】
次に、図１に示す物理的構成を有する記録再生装置１０１により実現される機能構成を、図３を用いて説明する。
図示するように、記録再生装置１０１は、入力部３０２と、音処理部３０７と、雑音除去用データ記録部３０８と、録画データ記録部３０９と、映像処理部３１０と、を機能的に備える。
【００３１】
入力部３０２は、図１のキー入力部１０７及び制御部１０９の一機能として実現され、撮影者による操作入力を受け付ける。入力部３０２は、例えば、明瞭度を向上させる音源の方向（音抽出角度範囲）を特定するための情報を入力する。音抽出角度範囲を特定する手法は任意であるが、例えば、撮影部１０２で撮影された映像を表示部１１１に表示させ、表示部１１１の画面上の位置の座標（雑音除去用座標）情報を受け付け、座標方向変換を行って抽出対象の方向と特定してもよい。
【００３２】
音処理部３０７は、図１に示すコーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込んだ音データを受け取る。音処理部３０７は、受け取った音データ及びマイクロフォン１０３〜１０６の位置関係に基づいて、音源の向き（図２で説明したＸ、Ｙ、Ｚ座標における原点から音源へのベクトルと各軸のなす角度）を算出し、算出した角度が、例えば、入力部３０２により予め設定されている音抽出角度範囲から外れる場合には、減衰させることにより雑音除去を行う。さらに、音処理部３０７は、雑音除去後の音データを、マイク位置及び雑音除去用座標と共に、録画データ記録部３０９に書き込む。
【００３３】
音処理部３０７が実施する雑音除去の手法自体は任意であるが、例えば、以下に示す手法を利用できる。まず、図４に示すように、４つのマイクロフォンのうちの任意の２つの組み合わせ（図４では、任意の２つのマイクロフォンを４１０と４２０で示す）に入射する音の相関を求めて、同一音が一方のマイクロフォンに入射してから他方のマイクロフォンに入射するまでの時間差TimeLagを求める。
マイクロフォン４１０と４２０との距離をｄ、音速をＣとすると、マイクロフォン４１０と４２０と音源とを含む平面上で、マイクロフォン４１０と４２０とを結ぶ線に垂直な方向と音源の向きとが成す角度angleは、（１）式で表される。
angle = arcsin（Ｃ・TimeLag ／ｄ） … （１）
音処理部３０７は、式（１）から角度angleを求め、求めたangleを、図２に示すＸ，Ｙ，Ｚ座標上の各マイクロフォンの位置に基づいて、Ｘ、Ｙ，Ｚ座標系上の向きに補正する。
音処理部３０７は、他のマイクロフォンの組み合わせに関しても、同様に解析することにより、音源のＸ，Ｙ，Ｚ座標系上の原点からの向き（角度）を求める。
次に、音処理部３０７は、求めた音源の方向（到来方向）が、音の明瞭度を高める範囲である音抽出範囲に入っているか否かを判別し、入っていなければ、その音を減衰させる。
【００３４】
雑音除去用データ記録部３０８は、記録部１１０に確保され、撮影部１０２とマイクロフォン１０３〜１０６の位置関係を示す情報や、入力部３０２により設定された上記音抽出角度範囲を定義するデータを予め記録する。また、音処理部３０７で求められた音源の方向を示すデータを格納する。
【００３５】
録画データ記録部３０９は、記録部１１０に確保され、雑音除去後の音データ記録部３０９ａと映像データ記録部３０９ｂとを備える。
雑音除去後の音データ記録部３０９ａは、音処理部３０７による雑音処理が完了した音データを格納する。
映像データ記録部３０９ｂは、撮影部１０２により撮影された映像データを格納する。
【００３６】
再生時には、音処理部３０７は、録画データ記録部３０９の雑音除去後の音データ記憶部３０９ａに格納されている雑音除去済の音データが読み出し、スピーカ１１２から出力する。
【００３７】
映像処理部３１０は、図１に示すコーデック部１０８と、制御部１０９と、表示部１１１と、から実現され、映像データ記録部３０９ｂに記録されている映像データを再生する。
【００３８】
次に、上述した物理的及び機能的構成を有する記録再生装置１０１の動作を説明する。
【００３９】
まず、記録再生装置１０１の録画時の動作を説明する。なお、映像を記録する動作は基本的に従来と同一であり、以下、理解を容易にするため、本実施形態に特有な雑音除去処理と雑音除去済音データを記録する処理を中心に説明する。
【００４０】
撮影者がキー入力部１０７を操作する等して、録画開始指示をすると、制御部１０９は、図５のフローチャートに示す処理を開始し、まず、撮影部１０２で撮影した映像データを録画データ記録部３０９の映像データ記録部３０９ｂに記録する処理を開始する（ステップＳ５０１）。この映像データの記録は、録画終了が指示されるまで継続される。
【００４１】
音処理部３０７は、雑音除去用データ記録部３０８に記録されているマイク位置情報、雑音除去用座標を読み出し、録画データのヘッダ領域に書き込む（ステップＳ５０２）。その後、音処理部３０７は、音データ及びマイク位置に基づいて音源の方向（角度）を算出する（ステップＳ５０３）。
続いて、音処理部３０７は、音抽出角度範囲外から到来する雑音を除去することにより、雑音除去を行う（ステップＳ５０４）。音処理部３０７は、雑音除去後の音データを録画データ記録部３０９の雑音除去後の音データ記録部３０９ａに書き込む（ステップＳ５０５）。次に、音処理部３０７は、録画の終了が指示されたか否かを判別し（ステップＳ５０６）、録画が終了していなければ（ステップＳ５０６；Ｎｏ）、ステップＳ５０３に戻り、上述の動作を繰り返す。一方、ステップＳ５０６で、録画終了が指示されたと判別された場合（ステップＳ５０６；Ｙｅｓ）、今回の録画処理を終了する。
【００４２】
以上の処理により、入力部３０２で設定された音抽出角度範囲にある音源から記録再生装置１０１に到来する音の明瞭度が向上した音データを、映像データと共に記録媒体に録音する事が可能になる。
【００４３】
一方、再生時には、この記録再生装置１０１は、録画データ記録部３０９に記録されている映像データと音データとを再生する。再生される音データは、既に、雑音除去処理済なので、明瞭な音が再生される。
【００４４】
なお、以上の説明では、ユーザが入力部３０２を介して音抽出角度範囲を指定したが、音抽出角度範囲の設定手法は任意である。例えば、撮影部１０２が撮影した画像の中央を基準として所定範囲、フォーカスポイント（ピントが合っているポイント）、顔認識機能等によって顔であると認識されたエリア等を音抽出範囲として自動的に設定する構成としてもよい。
【００４５】
（実施形態２）
上記実施形態１においては、録音時に雑音除去処理を行ったが、再生時に雑音除去を行うことも可能である。
以下、再生時に雑音除去を行う記録再生装置を実施形態２として、図６ないし図１０を用いて説明する。なお、本実施形態では、理解を容易にするため、記録再生装置を、録画機能を有する記録装置６０１と再生機能を有する再生装置７０１に分けて説明する。
実施形態１と同様に、図１に示す物理構成により、図６及び図７に示す機能構成が実現される。
【００４６】
図６に示すように、記録装置６０１は、音処理部６０７と、雑音除去用データ記録部６０８と、録画データ記録部６０９と、を機能的に備える。
【００４７】
音処理部６０７は、コーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込まれた音データを受け取る。雑音除去を行なうことなく受け取った音データをそのまま、或いは圧縮して音データを作成し、録画データ記録部６０９に書き込む。また、雑音除去を行うためのパラメータであるマイク位置や、撮影時の画像サイズ及び画角を、音データと共に、録画データ記録部６０９に書き込む。
【００４８】
雑音除去用データ記録部６０８は、記録部１１０に確保され、撮影部１０２とマイクロフォン１０３〜１０６の位置関係を示す情報を予め記録する。さらに、撮影部１０２によって計測された画像サイズ及び画角を格納する。
【００４９】
録画データ記録部６０９は、記録部１１０に確保され、マイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。その際、各マイクロフォンで取り込んだ音はそれぞれ個別に格納する。例えば、マイクロフォン１０３で取り込まれた音を音データ１、マイクロフォン１０４の音を音データ２、マイクロフォン１０５の音を音データ３、マイクロフォン１０６の音を音データ４として記録する。また、音処理部６０７によって書き込まれた、マイク位置、撮影時の画像サイズ及び画角を格納する。
さらに、撮影部１０２により撮影された映像データを格納する。
【００５０】
音処理部６０７により録画データ記録部６０９に書き込まれる録画データのファイルフォーマットを図８に示す。録画データファイルは、ヘッダ領域に、機種、マイク個数、マイクロフォンの位置、撮影時の画像サイズ、及び画角等の情報を格納する。
【００５１】
機種情報は、録画した記録装置以外の再生装置で再生する際に再生装置が録画データのファイルフォーマットに対応しているか否かの判断に利用することができる。また、機種情報によりマイクロフォンの個数及び位置情報を得ることもできる。
【００５２】
マイクロフォンの個数情報は、位置情報を格納するマイクロフォンの個数を示す。図８では“４”と設定されているので、マイクロフォン１からマイクロフォン４までの合計四つのマイク位置を記録する。
【００５３】
マイクロフォンの位置情報は、例えば、図２に示すマクロフォン１０３〜１０６の三次元空間上の位置を記録することができる。図８では、マイクロフォン１０３の位置は、マイクロフォン１の位置情報のＸ軸座標、Ｙ軸座標、Ｚ軸座標の順に記録される。同様に、マイクロフォン２の位置情報からマイクロフォン４の位置情報が記録される。また、図１７のように、カメラに対するマイクロフォンの位置を変更することが可能な場合、筐体の姿勢によりカメラ１７０２とマイクロフォン１７０３〜１７０６の位置関係は変化する。
【００５４】
さらに、撮影する映像の画像サイズ（図８では、ｘ軸：８５２ドット、ｙ軸：４８０ドット）及び撮影時の画角（図８では、水平方向画角：２６度、垂直方法画角：１６度）の情報を記録する領域がある。
【００５５】
以上の、マイク個数、マイクロフォンの位置、画像サイズ及び撮影時の画角の情報に加え、後に説明する音源の三次元空間上の角度を、雑音除去に用いるパラメータ（雑音除去用パラメータ）とする。また、ヘッダ領域の後ろに、本体領域として、映像データや音データを記録する領域がある。なお、本体領域の映像データや音データ内に、各々のデータに対するヘッダ領域が存在する場合には、その領域に雑音除去用パラメータを記録しても良い。
【００５６】
次に、上述した物理的及び機能的構成を有する記録装置６０１の動作を説明する。
撮影者がキー入力部１０７を操作する等して、録画開始指示をすると、制御部１０９は撮影部１０２で撮影した映像及びマイクロフォン１０３〜１０６によって取り込んだ音データを録画データ記録部６０９に記録する処理を開始する。まず、音処理部６０７は、雑音除去用データ記録部６０８に記録されているマイク位置情報、撮影時の画像サイズ及び画角を読み出し、録画データのヘッダ領域に書き込む。その後、音処理部６０７及び撮影部１０２より、音データ及び映像データが録画データ記録部６０９に書き込まれる。この映像データ及び音データの記録は、録画終了が指示されるまで継続され、録画終了が指示されると記録装置６０１が行う録画処理が終了する。
【００５７】
次に、再生時に雑音除去を行なう再生装置７０１の詳細を示す。図７に示すように、再生装置７０１は、入力部７０２と、音処理部７０７と、雑音除去用データ記録部７０８と、録画データ記録部６０９と、映像処理部７１０と、を機能的に備える。
【００５８】
入力部７０２は、キー入力部１０７、制御部１０９及び表示部１１１の一機能として実現され、再生時に視聴者が設定する、明瞭度を向上させる映像上の座標、すなわち雑音除去用座標を受け付け、雑音除去用データ記録部７０８に書き込む。例えば、撮影部１０２で撮影された映像を表示部１１１に表示させ、表示された映像上で任意の位置をユーザが指定する。
【００５９】
音処理部７０７は、コーデック部１０８及び制御部１０９の一機能として実現され、画像サイズ、撮影時の画角、及び雑音除去用データ記録部７０８に格納された雑音除去用座標に基づいて明瞭度を向上させたい音源の三次元空間の角度を算出し、録画データ記録部６０９に記録された音データに対して雑音除去を行う。音処理部７０７は、雑音除去後の音データを、スピーカ１１２を介して出力する。
【００６０】
雑音除去用データ記録部７０８は、記録部１１０に確保され、再生時に視聴者によって指定された、雑音除去用座標の情報を格納する。
【００６１】
映像処理部７１０は、図１に示すコーデック部１０８と、制御部１０９と、表示部１１１と、から実現され、録画データ記録部６０９に記録されている映像データを再生する。
【００６２】
次に、本実施形態に特有な処理をおこなう再生装置７０１の動作を説明する。
【００６３】
視聴者がキー入力部１０７を操作する等して、録画データ再生開始を指示すると、制御部１０９は、図９のフローチャートに示す処理を開始する。音処理部７０７は録画データ記録部６０９に記録されている雑音除去用パラメータを読み出す（ステップＳ９０１）。ここで、雑音除去用パラメータの１つである音源の三次元空間上の角度はまだ算出されていないので、初期値を“ＮＵＬＬ”とする。次に、視聴者の操作によって雑音除去用座標が設定されているかどうかの判定を行なう（ステップＳ９０２）。例えば、タッチパネル上に再生されている映像に対して、視聴者が音の明瞭度を向上したい場所をタッチすると、入力部７０２はその場所を雑音除去用座標として設定する。雑音除去用座標が設定されている場合（ステップＳ９０２；Ｙｅｓ）、音処理部７０７は、雑音除去用座標、撮影時の画像サイズ及び画角から、三次元空間上の角度を算出する（ステップＳ９０３）。
【００６４】
例えば、以下に示す方法により、音源の三次元空間の角度が求められる。
図１０に、撮影時の三次元空間と、表示部の映像との関係を示す。撮影する実際の三次元空間上をカメラの中心を原点としてＸ軸、Ｙ軸、Ｚ軸で表し、ＸＹ平面上に音源１００１がある。また、撮影した映像を、表示部の映像領域１００２（例えば、タッチパネルの映像領域）とし、図の垂直方向がｙ軸、水平方向がｘ軸とする。三次元空間上の音源１００１は、表示部の映像領域１００２上の音源１００３として映し出されており、ｘ軸方向に対して映像の中央から１００ドットだけ離れている。表示部の映像領域１００２を見ている視聴者が音源１００３に対して明瞭度を向上したい場合には、タッチパネル上の音源１００３の場所をタッチすることで、雑音除去用座標にｘ軸方向の値１００が設定される。
【００６５】
図１０において、撮影時は判明している撮影した映像の最大座標（画像サイズのｘ軸の値）をＷ、視聴者操作により指定された雑音除去用座標のｘ軸の値を１００ドット、撮影時に判明している撮影時の画角をangle_max、明瞭度を向上したい三次元空間上の角度をangleとすると、式（２）が成り立つ。
Ｗ / 2 ： 100 = tan(angle_max) ： tan(angle) … 式（２）
式（２）を変形すると、明瞭度を向上したい三次元空間上の角度angleは、式（３）で表わされる。
angle = arctan ( tan(angle_max) * 200 / Ｗ ) … 式（３）
撮影時の画角（angle_max）及び画像サイズ（Ｗ）の値は録画データのヘッダ領域に格納されているので、その値を参照することによって、angleを求めることができる。
【００６６】
三次元空間上の角度を算出（ステップＳ９０３）した後、音処理部７０７は雑音除去用パラメータを変更する（ステップＳ９０４）。さらに、音処理部７０７は、録画データ記録部６０９の全音データを読み出し（ステップＳ９０５）、音の明瞭度を向上する雑音除去を行なう（ステップＳ９０６）。上記式（３）で算出した明瞭度を向上したい三次元空間上の角度angleを、前述の式（１）のangleに代入する事で、二つのマイクから取り込んだ音データの時間差TimeLagを得る事ができる。このTimeLagだけの時間差が生じた二つの音データに対して、一方のみ、或いは、TimeLagだけずらして加算した音データを生成することにより、音の明瞭度を向上する雑音除去が可能となる。
【００６７】
音処理部７０７は、雑音除去を施した一つの音データを生成する。音処理部７０７及び映像処理部７１０は音データ及び録画された映像データを再生する（ステップＳ９０７）。再生が終了しない場合（Ｓ９０８；Ｎｏ）は、ステップＳ９０２を再度行なう。ここで、視聴者が明瞭度を向上したい場所を、一旦タッチする事で、雑音除去用座標は設定されているので、二回目以降も、ステップＳ９０３以降の処理を行うことになる。なお、視聴者が設定した座標に変更がない場合には、ステップＳ９０３及びステップＳ９０４の処理は割愛し、ステップＳ９０５から行っても良い。
【００６８】
また、ステップＳ９０２にて、雑音除去用座標の設定が一回も無い場合には、音処理部７０７は、録画データ記録部６０９の任意の音データを読み出し（例えば音データ１）（ステップＳ９０９）、その音データを再生する（ステップＳ９０７）。再生停止等の操作入力により、又は全部分を再生し終わると（ステップＳ９０８；Ｙｅｓ）、再生処理を終了する。
【００６９】
なお、動画再生中の画面には、雑音除去用座標をクリアする指示に対応した項目があり、視聴者により上記項目が選択された場合には、音処理部７０７は、雑音除去用座標をクリアし、雑音除去用座標は未設定となり、音源の三次元上の角度は初期値“ＮＵＬＬ”に戻る。雑音除去を行いながら動画再生中に、視聴者が、上記雑音除去用座標をクリアする指示に対応した項目を選択した場合、雑音除去用座標がクリアされるので、ステップＳ９０２の後は、ステップＳ９０９を実行する。
【００７０】
また、視聴者が別の明瞭度を向上したい座標を設定することも可能であり、映像上の座標から、三次元空間上の角度を算出し直し（ステップＳ９０３）、雑音除去用パラメータの変更を行う（ステップＳ９０４）ことにより、別の角度の明瞭度が向上した音データを得る事ができる。さらには、再生中に、明瞭度を向上したい映像上の座標を指定するたびに、指定した時間と、雑音除去用パラメータを雑音除去用データ記録部７０８に保存しても良い。その後、動画再生を一旦終了し、再度、最初から、或いは、途中から動画再生を行なう際、事前に保存しておいた雑音除去用パラメータを用いて雑音除去を行なっても良い。
【００７１】
以上の処理により、録画後の再生時に、視聴者が明瞭度を向上したい音の角度を指定する事ができ、視聴者の嗜好に合った再生機能を提供できる。
【００７２】
（実施形態３）
上記実施形態２においては、再生時に明瞭度を向上させたい音の位置情報を設定したが、録画時に明瞭度を向上させたい音の位置情報を設定することも可能である。実施形態３では、撮影者が設定した、映像上の座標及び時間を録画時に記録し、その設定に基づいて再生時に雑音除去を行う。実施形態３を、図１１ないし図１５を用いて説明する。なお、実施形態２と同様に、記録再生装置を、録画機能を有する記録装置１１０１と再生機能を有する再生装置１２０１に分けて説明する。
実施形態１と同様に、図１に示す物理構成により、図１１及び図１２に示す機能構成が実現される。
【００７３】
記録装置１１０１は、音処理部１１０７と、雑音除去用データ記録部１１０８と、録画データ記録部１１０９と、入力部１１１０と、を機能的に備える。
【００７４】
音処理部１１０７は、コーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込まれた音データを受け取る。雑音除去を行なうことなく受け取った音データをそのまま、或いは圧縮して音データを作成し、録画データ記録部１１０９に書き込む。また、録画開始後に雑音除去用パラメータであるマイク位置、撮影時の画像サイズ及び画角を雑音除去用データ記録部１１０８から録画データ記録部１１０９に書き込む。さらに、録画時に入力部１１０２において雑音除去用座標が設定された場合に、その設定時からの経過時間を計測し、経過時間（雑音除去設定時間）及び雑音除去用座標を録画データ記録部１１０９に書き込む。
【００７５】
雑音除去用データ記録部１１０８は、記録部１１０に確保され、撮影部１０２によって計測された、マイク位置、撮影時の画像サイズ及び画角を格納する。また入力部１１１０に入力された雑音除去用座標を格納する。
【００７６】
録画データ記録部１１０９は、記録部１１０に確保され、マイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。その際、実施形態２と同様に、各マイクロフォンで取り込んだ音はそれぞれ個別に格納する。また、マイク位置、撮影時の画像サイズ及び画角、雑音除去用座標、及び雑音除去設定時間を格納する。さらに撮影部１０２により撮影された映像データを格納する。
【００７７】
入力部１１１０は、キー入力部１０７、制御部１０９及び表示部１１１の一機能として実現され、録画時に撮影者が設定した、雑音除去用座標を受け付け、雑音除去用データ記録部１１０８に書き込む。例えば、撮影部１０２で撮影されている映像を表示部１１１に表示させ、表示された映像上で任意の位置をユーザが指定する。
【００７８】
ここで、音処理部１１０７により録画データ記録１１０９に書き込まれる録画データのファイルフォーマットを図１３に示す。実施形態２のファイルフォーマットの内容に加え、雑音除去座標及び雑音除去設定時間の情報を含む“録画時の雑音除去設定”の項目が付加される。この設定に従い、再生装置１２０１は、録画データ記録部１１０９に格納された音データに対し雑音除去を行う。撮影者が設定した映像上の座標をｘ軸及びｙ軸とする。雑音除去を行なわない場合は“なし”と設定する。以上の、マイク個数、マイクロフォンの位置、画像サイズ及び撮影時の画角、雑音除去用座標、雑音除去設定時間、及び音源の三次元空間上の角度などの情報を、雑音除去用パラメータとする。
【００７９】
次に、上述した物理的及び機能的構成を有する記録装置１１０１の動作を説明する。
【００８０】
撮影者がキー入力部１０７を操作する等して録画開始指示をすると、制御部１０９は、図１４のフローチャートに示す処理を開始し、撮影部１０２で撮影した映像データ及びマイクロフォン１０３〜１０６で取り込んだ音データを録画データ記録部１１０９に記録する処理を開始する（ステップＳ１４０１）。音処理部１１０７は録画データのヘッダ領域にマイク数及びマイク位置などを書き込む（ステップＳ１４０２）。その後、音処理部１１０７は、撮影者の操作により雑音除去用座標が変更されているか判断する（ステップＳ１４０３）。なお、録画撮影開始時の初期値としては、雑音除去処理を行わない設定とする。雑音除去用座標が変更されている場合には（ステップＳ１４０３；Ｙｅｓ）、音処理部１１０７は録画データのヘッダ領域に雑音除去用座標及び雑音除去設定時間を記録する（ステップＳ１４０４）。
【００８１】
明瞭度を向上したい映像上の座標が変更されていない場合（ステップＳ１４０３；Ｎｏ）、或いは、ヘッダ領域への書き込み（ステップＳ１４０４）終了後は、映像データ及び全てのマイクロフォンから得られた音データは録画データの本体領域に書き込まれる（ステップＳ１４０５）。その際、マイクロフォンから得られた複数の音データは、一つの連続した音データとして記録し、四つのマイクロフォンの場合は、四つの異なる音データとして記録しても良い。或いは、各々のマイクロフォンから得られた複数の音データを、３２ミリ秒などの処理単位時間毎に、順次一つの連続した音データとして記録しても良い。録画停止等の操作入力により録画が終了すると（ステップＳ１４０６；Ｙｅｓ）、録画処理を終了し、録画が終了しない場合（ステップＳ１４０６；Ｎｏ）は、ステップＳ１４０３を再度行う。
【００８２】
次に、録画時に設定された雑音除去設定に従って、再生処理を行う再生装置１２０１について説明する。図１２に示すように、再生装置１２０１は、音処理部１２０７と、録画データ記録部１１０９と、映像処理部１２１０と、を機能的に備える。
【００８３】
音処理部１２０７は、コーデック部１０８及び制御部１０９の一機能として実現され、録画データ記録部１１０９に記録された音データに対し、ヘッダに書き込まれたマイク位置、撮影時の画像サイズや画角、雑音除去用座標、及び雑音除去設定時間に基づいて、雑音除去を行う。音処理部１２０７は、雑音除去後の音データを、スピーカ１１２から出力する。
【００８４】
映像処理部１２１０は、図１に示すコーデック部１０８と、制御部１０９と、表示部１１１と、から実現され、録画データ記録部１１０９に記録されている映像データを再生する。
【００８５】
以下に上述した物理的及び機能的構成を有する再生装置１２０１の動作を説明する。
視聴者がキー入力部１０７を操作する等して、録画データ再生開始を指示すると、制御部１０９は、図１５のフローチャートに示す処理を開始する。音処理部１２０７は、録画データ内の雑音除去用パラメータを読み出し（ステップＳ１５０１）、再生時間が録画時の雑音除去設定時間（図１３の雑音除去設定１では、５秒）に達しているかどうか判断する（ステップＳ１５０２）。再生時間が雑音除去設定時間に達していない場合には（ステップＳ１５０２；Ｎｏ）、何れか一つの音データを読み出し（ステップＳ１５１０）、その音データの再生を行なう（ステップＳ１５０８）。ステップＳ１５１０では、音データ１を読み出している。
【００８６】
再生時間が雑音除去設定時間に達している場合には（ステップＳ１５０２；Ｙｅｓ）、音処理部１２０７は、雑音除去が設定されているか判断する（ステップＳ１５０３）。雑音除去が設定されている場合は（ステップＳ１５０３；Ｙｅｓ）、映像上の座標（図１３の雑音除去設定１では、ｘ軸：２００ドット、ｙ軸：１００ドット）から、三次元空間上の角度を算出し（ステップＳ１５０４）、雑音除去用パラメータを変更する（ステップＳ１５０５）。その後、録画データ内の音データを読み出し（ステップＳ１５０６）、音処理部１２０７は、雑音除去用パラメータを用いて音の明瞭度を向上する雑音除去を行なう（ステップＳ１５０８）。雑音除去後は一つの音データが生成されるので、その音データの再生を行なう（ステップＳ１５０７）。その後、再生時間の更新を行い（ステップＳ１５０９）、再生が終了しない場合（ステップＳ１５１１；Ｎｏ）は、ステップＳ１５０２の再生時間が雑音除去設定時間に達しているかどうかの判断が、継続して行なわれる。ここで、再生時間が、最初の、録画時の雑音除去設定に記録されている時間である５秒を経過した後は、雑音除去設定時間は、次の録画時の雑音除去設定に記録されている時間である１０秒とする。
【００８７】
雑音除去が設定されていない場合は（ステップＳ１５０３；Ｎｏ）、ステップＳ１５１０以降の処理を行う。再生停止等の操作入力により、又は全部分を再生し終わると（ステップＳ１５１１；Ｙｅｓ）、再生処理を終了する。
【００８８】
以上の処理により、録画時に雑音除去を行なう角度などを記録し、再生時に利用することができ、撮影者の意図が反映された再生が可能な再生機能を提供できる。
【００８９】
また、実施形態３に係る記録再生装置では、図１３のファイルフォーマット“録画時の雑音除去設定”の映像上の座標（雑音除去用座標）の替わりに、映像上の座標から算出した三次元空間上の角度としても良い。
【００９０】
上述した実施形態２及び実施形態３に係る再生装置では、録画データを再生する際、再生装置が雑音除去処理などに未対応の場合には、雑音除去に用いる情報は読み飛ばされ、映像データ及び音データ１のみが読み出され、再生可能となる。
【００９１】
（実施形態４）
実施形態４では、実施形態１ないし３とは異なり、音データや雑音除去用パラメータを、汎用的な動画ファイルフォーマットで記録された映像データとは別の領域に記録する。汎用的な動画ファイルフォーマットとは、携帯電話機の録画フォーマットの一つである３ＧＰＰ２（Third Generation Partnership Project 2）、パソコンで再生可能な動画フォーマットの一つであるＡＶＩ（Audio Video Interleave）、近年ビデオカメラに採用されつつあるＡＶＣＨＤ（Advanced Video Codec High Definition）などがあげられる。実施形態１と同様に、図１に示す物理構成により、図１６に示す機能構成が実現される。
【００９２】
記録装置１６０１は、音処理部１６０７と、雑音除去用データ記録部１６０８と、録画データ記録部１６０９と、を機能的に備える。
【００９３】
音処理部１６０７は、コーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込まれた音データを受け取る。受け取ったデータを、適宜雑音除去用データ記録部１６０８又は録画データ記録部１６０９に書き込む。例えば、音データ１と音データ２や実施形態２で説明したマイク位置などの雑音除去用パラメータは、雑音除去用データ記録部１６０８に記録し、録画データ記録部１６０９には、音データ３と音データ４のみを記録する。また、雑音除去用パラメータに基づいて音データの雑音除去を行う。
【００９４】
雑音除去用データ記録部１６０８は、記録部１１０に確保され、マイク位置、撮影時の画像サイズや画角、及びマイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。
【００９５】
録画データ記録部１６０９は、記録部１１０に確保され、マイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。また、撮影部１０２より撮影された映像データを格納する。
【００９６】
雑音除去用データ記録部１６０８内のデータは、録画データ記録部１６０９内の録画データに隣接して配置して一つの電子ファイルとして保存しても良いし、別の電子ファイルとしても良い。
【００９７】
なお、図１６で説明したデータ配置の録画データを、上述した汎用的な動画ファイルフォーマットのみ対応している再生装置で再生する場合は、汎用的な動画ファイルフォーマットで記録される、録画データ記録部１６０９内の録画データのみが読み出され、再生可能である。また、記録装置内の撮影したデータを、汎用的な動画ファイルフォーマットのみ対応している再生装置にコピーする場合、録画データ記録部１６０９内の録画データファイルのみを選択し、コピーすれば良いので、コピーする際のデータ容量を削減することも可能となる。
【００９８】
以上の機能により、撮影した動画データを、通常の再生機器で再生することが可能な再生の互換性を持ち、利用価値が高い記録装置を提供できる。
【００９９】
また、上述した実施形態１ないし実施形態４に係る記録再生装置では、図１７に示す記録再生装置１７０１のように、カメラに対するマイクロフォンの位置を変更することが可能な場合もある。したがって、本発明の記録再生装置は、筐体の姿勢検出手段を備え、筐体の各姿勢に対したマイクロフォン１７０３〜１７０６の座標テーブルを、例えば雑音除去用データ記録部に予め格納するようにしてもよい。その場合、姿勢検出手段が録画時及び再生時の筐体の姿勢を検出すると、その姿勢に対応したマイクロフォンの位置座標がテーブルを参照して求られ、音処理部によってヘッダ領域のマイクロフォン位置情報に書き込まれる。
【０１００】
また、上述した実施形態２ないし実施形態４に係る記録再生装置では、上記の雑音除去用パラメータに加えて、雑音除去を行なうためのサンプリング周波数や、雑音除去用座標から算出した角度に対する補正値、各マイクの録音性能などを記録しても良い。さらに、再生時のマシンパワー抑制や性能向上のために、録画時に検出した音源方向などを記録しても良い。
【０１０１】
また、上述の実施形態２ないし実施形態４に係る記録再生装置では、撮影中に映像のズームが行なわれる場合があり、撮影時の画角が変更になる。そこで、図８や図１３に示したファイルフォーマット中の撮影時の画角は、図１３のファイルフォーマット中の録画時の雑音除去設定の如く、映像ズームの操作が行われるたびに、録画経過時間と共に記録するようにしても良い。再生時には、再生経過時間が、映像ズームを行なった時間に達するたびに、撮影時の画角を変更して、雑音除去用パラメータを変更する。この処理により、映像のズームを行ないながら撮影した動画データを再生する場合でも、撮影者の意図、或いは、視聴者の嗜好に合った再生機能を提供できる。
【０１０２】
また、上述の実施形態２ないし実施形態３に係る記録再生装置では、各マイクロフォンで取り込んだ音をそれぞれ個別に格納するのみではなく、ＤｏｌｂｙＤｉｇｉｔａｌ（ＡＣ−３）の如く、複数の音データの圧縮、符号化を行い、一つの電子ファイルとして格納しても良い。その場合には、図９のステップＳ９０５や、図１５のステップＳ１５０６では、全音データを読み出すとあるが、上記、符号化後の一つの電子ファイルを読み出し、復号することで、符号化前の全ての音データを入手する。また、図９のステップＳ９０９や、図１５のステップＳ１５１０では、音データ１を読み出すとあるが、符号データを用いる場合には、符号化後の一つの電子ファイルを復号することで、符号化前の全ての音データを入手し、その内の一つの音データを入手する。このように、音データを格納する際に圧縮した符号化データを用いることにより、録画データのファイルサイズを小さくすることが可能となる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施形態１に係る記録再生装置の物理的構成の一例を示すブロック図である。
【図２】本発明の実施形態１に係るマイクロフォンの設置場所の一例を表す図である。
【図３】本発明の実施形態１に係る記録再生装置の機能を表す図である。
【図４】本発明の実施形態１に係る、マイクロフォンと音源の角度との関係図である。
【図５】本発明の実施形態１に係る、録画時の処理の流れを示すフローチャート図である。
【図６】本発明の実施形態２に係る記録装置の機能を表す図である。
【図７】本発明の実施形態２に係る再生装置の機能を表す図である。
【図８】本発明の実施形態２に係る、録画データのファイルフォーマットを示す図である。
【図９】本発明の実施形態２に係る、再生時の処理の流れを示すフローチャート図である。
【図１０】本発明の実施形態２に係る、撮影時の三次元空間と、表示部の映像との関係を示す図である。
【図１１】本発明の実施形態３に係る記録装置の機能を表す図である。
【図１２】本発明の実施形態３に係る再生装置の機能を表す図である。
【図１３】本発明の実施形態３に係る、録画データのファイルフォーマットを示す図である。
【図１４】本発明の実施形態３に係る、録画時の処理の流れを示すフローチャート図である。
【図１５】本発明の実施形態３に係る、再生時の処理の流れを示すフローチャート図である。
【図１６】本発明の実施形態４に係る記録装置の機能を表す図である。
【図１７】本発明の実施形態１ないし実施形態４に係るマイクロフォンの設置場所の他の例を表す図である。
【符号の説明】
【０１０４】
１０１，１７０１…記録再生装置、６０１，１１０１，１６０１…記録装置、７０１，１２０１…再生装置、１０２…撮影部、１０３，１０４，１０５，１０６，４１０，４２０，１７０３，１７０４，１７０５，１７０６…マイクロフォン、１０７…キー入力部、１０８…コーデック部、１０９…制御部、１１０…記録部、１１１…表示部、１１２…スピーカ、１７０２…カメラ、３０２，７０２，１１１０…入力部、３０７，６０７，７０７，１１０７，１２０７，１６０７…音処理部、３０８，６０８，７０８，１１０８，１６０８…雑音除去用データ記録部、３０９，６０９，１１０９，１６０９…録画データ記録部、３０９ａ…雑音除去後の音データ記録部、３０９ｂ…映像データ記録部、３１０，７１０，１２１０…映像処理部、４００，１００１…音源、４１２，４２２…音データ、１００２…表示部の映像領域、１００３…表示部の映像領域上の音源
【技術分野】
【０００１】
本発明は、記録媒体に記録されている音声データを再生する再生装置、音声データを記録媒体に記録する記録装置、及びそれらのプログラムに関する。
【背景技術】
【０００２】
今日、録画機能付き機器が多数製品化されており、画面光学ズームや明るさ調整など、録画時の多数の機能が盛り込まれている。録画の際には音声の録音も可能であり、目的とする被写体からの音の明瞭度を向上する機能が望まれている。
【０００３】
特許文献１には、複数のマイクロフォンで取得した音データから、個々の音源の方向を推定し、個々の音源を分離抽出する手法が記載されている。この手法を用いれば、目的とする音源以外の音を抑圧することで、特定の角度からの音の明瞭度を向上する（以降、雑音除去とする）ことが可能である。
【０００４】
また、特許文献２には、ズーム画像を撮影する際に、撮影方向以外からの音を排除して、撮影方向の狭い範囲の音に絞って集音し、周波数成分の低域成分と高域成分を強調する事で、音源の間近で聞いたときの音質を再現する手法が提案されている。
【０００５】
【特許文献１】特開２００２−８４５９０号公報
【特許文献２】特開２００４−３２８０５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１及び２に開示されている手法では録音時に、音の明瞭度が向上した音データを録音するのみである。そのため、録画データの再生時に、雑音除去を行なっていない元の音の再生や、撮影方向以外からの音等、任意の方向からの音の明瞭度を向上することなどができず、視聴者の嗜好に合った音を再生することができない。
【０００７】
この発明は、上記実情に鑑みてなされたものであり、再生時に視聴者の嗜好に合った音の再生を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係る再生装置は、
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生する再生装置であって、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段と、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段と、
前記抽出手段で抽出された前記音データを再生する再生手段と、
を備えることを特徴とする。
【０００９】
好ましくは、
前記記録媒体には、前記位置関係データと前記音データとに加えて映像データが記録されており、
前記映像データを再生する映像再生手段をさらに備え、
前記入力手段は、前記映像再生手段で再生された映像上で、抽出する音の到来方向を示す場所を示すデータを入力する、
ことを特徴とする。
【００１０】
さらに好ましくは、
前記記録媒体には、時間データと音を抽出する方向を示すデータとが対応付けられてさらに記録されており、
再生開始から経過時間を計測する計時手段をさらに備え、
前記入力手段は、前記記録媒体に記録されている方向を指定するデータを前記抽出方向データとして入力し、
前記抽出手段は、前記計測手段を用いて計測した再生開始からの経過時間が、記録されている時間データが指示する時間に達した時点で、前記時間データに対応付けて保存されていた前記音を抽出する方向を示すデータから音を抽出する方向を求め、求めた方向から前記マイクロフォンに到来した音を抽出する、
ことを特徴とする。
【００１１】
上記目的を達成するため、本発明の第２の観点に係る記録装置は、
複数のマイクロフォンと、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段と、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段と、
を備えることを特徴とする。
【００１２】
好ましくは、
前記位置関係データに基づいて、前記複数のマイクロフォンで取得した複数の音データのうちから、特定の方向からの音の音データを抽出する抽出手段を有し、
前記記録手段は、前記抽出手段により抽出された前記音データを前記記録媒体に記録する、
ことを特徴とする。
【００１３】
さらに好ましくは、
前記特定の方向を入力する入力手段を備えることを特徴とする。
【００１４】
さらに好ましくは、
前記記録手段による音データの記録開始からの経過時間を計測する計時手段と、
音を抽出する方向を示す抽出方向データを入力する入力手段と、をさらに有し、
前記記録手段は、前記音データと共に、前記入力手段により入力された前記抽出方向データと、前記抽出方向データが入力されたタイミングで前記計時手段が計時している経過時間と、を前記記録媒体に記録する、
ことを特徴とする。
【００１５】
さらに好ましくは、
撮像手段と、前記撮像手段により撮像された映像データが定義する映像を表示する表示手段とをさらに有し、
前記記録手段は前記音データに加えて前記映像データを前記記録媒体に記録し、
前記入力手段は、前記表示手段に表示された映像上の場所を指定する手段とし、指定された映像上の場所に対応する方向を示すデータを、音を抽出する方向を示す抽出方向データとする、
ことを特徴とする。
【００１６】
本発明の第３の観点に係るプログラムは、
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生するコンピュータを、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段、
前記抽出手段で抽出された前記音データを再生する再生手段、
として機能させることを特徴とする。
【００１７】
本発明の第４の観点に係るプログラムは、
複数のマイクロフォンに接続されたコンピュータを、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段、
として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、音データの再生時に、特定された方向からの音を再生する事ができ、視聴者の嗜好に合った再生を可能とする機能を提供できる。
【発明を実施するための最良の形態】
【００１９】
（実施形態１）
本発明の実施形態１に係る記録再生装置を、図１ないし図５を用いて説明する。
実施形態１の記録再生装置１０１は、録音時に雑音除去を行う機能を備える。
まず、記録再生装置１０１の物理的な構成について説明する。記録再生装置１０１は、図１に示すように、撮影部１０２、マイクロフォン１０３〜１０６、キー入力部１０７、コーデック部１０８、制御部１０９、記録部１１０、表示部１１１、スピーカ１１２を備える。
【００２０】
撮影部１０２はＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成され、映像を撮影し、映像を電気信号に変換する。
【００２１】
マイクロフォン１０３〜１０６は、音を集音し、集音した音をアナログ信号に変換する。
【００２２】
キー入力部１０７は、電源スイッチ、録音及び録画ボタン等を備え、マイクロフォン１０３〜１０６及びカメラの起動や録音及び録画の開始・終了等の操作入力を受け付け、操作情報を制御部１０９に送る。
【００２３】
コーデック部１０８は、撮影部１０２から取り込んだ映像やマイクロフォン１０３〜１０６から取り込んだ音を圧縮及び再生するために復号する。コーデック部１０８は、映像用のコーデック部と、音用のコーデック部とに分けても良い。
【００２４】
制御部１０９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成され、システム全体の動作を制御する。
【００２５】
記録部１１０は、ＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、撮影部１０２から取り込んだ映像、マイクロフォン１０３〜１０６から取り込んだ音、及びマイク位置情報等を格納する。
【００２６】
表示部１１１は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、及びドライバ等から構成され、撮影部で撮影した映像を表示する。
【００２７】
表示部１１１は映像描画が可能なタッチパネルディスプレイから構成されてもよく、キー入力部１０７の替わりに、ユーザ操作入力を受け付けるようにしてもよい。
【００２８】
スピーカ１１２は、増幅器、マイクロスピーカ等から構成され、制御部１０９から送られるアナログ音信号に基づいて音を出力する。
【００２９】
上記構成において、マイクロフォン１０３〜１０６と撮影部１０２とは、明瞭度向上のため、撮影部１０２の光軸をＸ軸とし、Ｘ軸に互いに垂直なＹ軸とＺ軸とを定義した場合に、Ｘ軸上、Ｙ軸上、Ｚ軸上でそれぞれ位置の異なるマイクロフォンが存在するように、配置されている。即ち、図２に例示するように、撮影部１０２を原点として、三次元空間上でＸ、Ｙ，Ｚ軸方向に、互いに異なる位置に配置されている。例えば、図２に示す例では、撮影部１０２の設置面の異なる位置に、マイクロフォン１０３、１０４、１０６が配置され、裏面にマイクロフォン１０５が配置されている。
【００３０】
次に、図１に示す物理的構成を有する記録再生装置１０１により実現される機能構成を、図３を用いて説明する。
図示するように、記録再生装置１０１は、入力部３０２と、音処理部３０７と、雑音除去用データ記録部３０８と、録画データ記録部３０９と、映像処理部３１０と、を機能的に備える。
【００３１】
入力部３０２は、図１のキー入力部１０７及び制御部１０９の一機能として実現され、撮影者による操作入力を受け付ける。入力部３０２は、例えば、明瞭度を向上させる音源の方向（音抽出角度範囲）を特定するための情報を入力する。音抽出角度範囲を特定する手法は任意であるが、例えば、撮影部１０２で撮影された映像を表示部１１１に表示させ、表示部１１１の画面上の位置の座標（雑音除去用座標）情報を受け付け、座標方向変換を行って抽出対象の方向と特定してもよい。
【００３２】
音処理部３０７は、図１に示すコーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込んだ音データを受け取る。音処理部３０７は、受け取った音データ及びマイクロフォン１０３〜１０６の位置関係に基づいて、音源の向き（図２で説明したＸ、Ｙ、Ｚ座標における原点から音源へのベクトルと各軸のなす角度）を算出し、算出した角度が、例えば、入力部３０２により予め設定されている音抽出角度範囲から外れる場合には、減衰させることにより雑音除去を行う。さらに、音処理部３０７は、雑音除去後の音データを、マイク位置及び雑音除去用座標と共に、録画データ記録部３０９に書き込む。
【００３３】
音処理部３０７が実施する雑音除去の手法自体は任意であるが、例えば、以下に示す手法を利用できる。まず、図４に示すように、４つのマイクロフォンのうちの任意の２つの組み合わせ（図４では、任意の２つのマイクロフォンを４１０と４２０で示す）に入射する音の相関を求めて、同一音が一方のマイクロフォンに入射してから他方のマイクロフォンに入射するまでの時間差TimeLagを求める。
マイクロフォン４１０と４２０との距離をｄ、音速をＣとすると、マイクロフォン４１０と４２０と音源とを含む平面上で、マイクロフォン４１０と４２０とを結ぶ線に垂直な方向と音源の向きとが成す角度angleは、（１）式で表される。
angle = arcsin（Ｃ・TimeLag ／ｄ） … （１）
音処理部３０７は、式（１）から角度angleを求め、求めたangleを、図２に示すＸ，Ｙ，Ｚ座標上の各マイクロフォンの位置に基づいて、Ｘ、Ｙ，Ｚ座標系上の向きに補正する。
音処理部３０７は、他のマイクロフォンの組み合わせに関しても、同様に解析することにより、音源のＸ，Ｙ，Ｚ座標系上の原点からの向き（角度）を求める。
次に、音処理部３０７は、求めた音源の方向（到来方向）が、音の明瞭度を高める範囲である音抽出範囲に入っているか否かを判別し、入っていなければ、その音を減衰させる。
【００３４】
雑音除去用データ記録部３０８は、記録部１１０に確保され、撮影部１０２とマイクロフォン１０３〜１０６の位置関係を示す情報や、入力部３０２により設定された上記音抽出角度範囲を定義するデータを予め記録する。また、音処理部３０７で求められた音源の方向を示すデータを格納する。
【００３５】
録画データ記録部３０９は、記録部１１０に確保され、雑音除去後の音データ記録部３０９ａと映像データ記録部３０９ｂとを備える。
雑音除去後の音データ記録部３０９ａは、音処理部３０７による雑音処理が完了した音データを格納する。
映像データ記録部３０９ｂは、撮影部１０２により撮影された映像データを格納する。
【００３６】
再生時には、音処理部３０７は、録画データ記録部３０９の雑音除去後の音データ記憶部３０９ａに格納されている雑音除去済の音データが読み出し、スピーカ１１２から出力する。
【００３７】
映像処理部３１０は、図１に示すコーデック部１０８と、制御部１０９と、表示部１１１と、から実現され、映像データ記録部３０９ｂに記録されている映像データを再生する。
【００３８】
次に、上述した物理的及び機能的構成を有する記録再生装置１０１の動作を説明する。
【００３９】
まず、記録再生装置１０１の録画時の動作を説明する。なお、映像を記録する動作は基本的に従来と同一であり、以下、理解を容易にするため、本実施形態に特有な雑音除去処理と雑音除去済音データを記録する処理を中心に説明する。
【００４０】
撮影者がキー入力部１０７を操作する等して、録画開始指示をすると、制御部１０９は、図５のフローチャートに示す処理を開始し、まず、撮影部１０２で撮影した映像データを録画データ記録部３０９の映像データ記録部３０９ｂに記録する処理を開始する（ステップＳ５０１）。この映像データの記録は、録画終了が指示されるまで継続される。
【００４１】
音処理部３０７は、雑音除去用データ記録部３０８に記録されているマイク位置情報、雑音除去用座標を読み出し、録画データのヘッダ領域に書き込む（ステップＳ５０２）。その後、音処理部３０７は、音データ及びマイク位置に基づいて音源の方向（角度）を算出する（ステップＳ５０３）。
続いて、音処理部３０７は、音抽出角度範囲外から到来する雑音を除去することにより、雑音除去を行う（ステップＳ５０４）。音処理部３０７は、雑音除去後の音データを録画データ記録部３０９の雑音除去後の音データ記録部３０９ａに書き込む（ステップＳ５０５）。次に、音処理部３０７は、録画の終了が指示されたか否かを判別し（ステップＳ５０６）、録画が終了していなければ（ステップＳ５０６；Ｎｏ）、ステップＳ５０３に戻り、上述の動作を繰り返す。一方、ステップＳ５０６で、録画終了が指示されたと判別された場合（ステップＳ５０６；Ｙｅｓ）、今回の録画処理を終了する。
【００４２】
以上の処理により、入力部３０２で設定された音抽出角度範囲にある音源から記録再生装置１０１に到来する音の明瞭度が向上した音データを、映像データと共に記録媒体に録音する事が可能になる。
【００４３】
一方、再生時には、この記録再生装置１０１は、録画データ記録部３０９に記録されている映像データと音データとを再生する。再生される音データは、既に、雑音除去処理済なので、明瞭な音が再生される。
【００４４】
なお、以上の説明では、ユーザが入力部３０２を介して音抽出角度範囲を指定したが、音抽出角度範囲の設定手法は任意である。例えば、撮影部１０２が撮影した画像の中央を基準として所定範囲、フォーカスポイント（ピントが合っているポイント）、顔認識機能等によって顔であると認識されたエリア等を音抽出範囲として自動的に設定する構成としてもよい。
【００４５】
（実施形態２）
上記実施形態１においては、録音時に雑音除去処理を行ったが、再生時に雑音除去を行うことも可能である。
以下、再生時に雑音除去を行う記録再生装置を実施形態２として、図６ないし図１０を用いて説明する。なお、本実施形態では、理解を容易にするため、記録再生装置を、録画機能を有する記録装置６０１と再生機能を有する再生装置７０１に分けて説明する。
実施形態１と同様に、図１に示す物理構成により、図６及び図７に示す機能構成が実現される。
【００４６】
図６に示すように、記録装置６０１は、音処理部６０７と、雑音除去用データ記録部６０８と、録画データ記録部６０９と、を機能的に備える。
【００４７】
音処理部６０７は、コーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込まれた音データを受け取る。雑音除去を行なうことなく受け取った音データをそのまま、或いは圧縮して音データを作成し、録画データ記録部６０９に書き込む。また、雑音除去を行うためのパラメータであるマイク位置や、撮影時の画像サイズ及び画角を、音データと共に、録画データ記録部６０９に書き込む。
【００４８】
雑音除去用データ記録部６０８は、記録部１１０に確保され、撮影部１０２とマイクロフォン１０３〜１０６の位置関係を示す情報を予め記録する。さらに、撮影部１０２によって計測された画像サイズ及び画角を格納する。
【００４９】
録画データ記録部６０９は、記録部１１０に確保され、マイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。その際、各マイクロフォンで取り込んだ音はそれぞれ個別に格納する。例えば、マイクロフォン１０３で取り込まれた音を音データ１、マイクロフォン１０４の音を音データ２、マイクロフォン１０５の音を音データ３、マイクロフォン１０６の音を音データ４として記録する。また、音処理部６０７によって書き込まれた、マイク位置、撮影時の画像サイズ及び画角を格納する。
さらに、撮影部１０２により撮影された映像データを格納する。
【００５０】
音処理部６０７により録画データ記録部６０９に書き込まれる録画データのファイルフォーマットを図８に示す。録画データファイルは、ヘッダ領域に、機種、マイク個数、マイクロフォンの位置、撮影時の画像サイズ、及び画角等の情報を格納する。
【００５１】
機種情報は、録画した記録装置以外の再生装置で再生する際に再生装置が録画データのファイルフォーマットに対応しているか否かの判断に利用することができる。また、機種情報によりマイクロフォンの個数及び位置情報を得ることもできる。
【００５２】
マイクロフォンの個数情報は、位置情報を格納するマイクロフォンの個数を示す。図８では“４”と設定されているので、マイクロフォン１からマイクロフォン４までの合計四つのマイク位置を記録する。
【００５３】
マイクロフォンの位置情報は、例えば、図２に示すマクロフォン１０３〜１０６の三次元空間上の位置を記録することができる。図８では、マイクロフォン１０３の位置は、マイクロフォン１の位置情報のＸ軸座標、Ｙ軸座標、Ｚ軸座標の順に記録される。同様に、マイクロフォン２の位置情報からマイクロフォン４の位置情報が記録される。また、図１７のように、カメラに対するマイクロフォンの位置を変更することが可能な場合、筐体の姿勢によりカメラ１７０２とマイクロフォン１７０３〜１７０６の位置関係は変化する。
【００５４】
さらに、撮影する映像の画像サイズ（図８では、ｘ軸：８５２ドット、ｙ軸：４８０ドット）及び撮影時の画角（図８では、水平方向画角：２６度、垂直方法画角：１６度）の情報を記録する領域がある。
【００５５】
以上の、マイク個数、マイクロフォンの位置、画像サイズ及び撮影時の画角の情報に加え、後に説明する音源の三次元空間上の角度を、雑音除去に用いるパラメータ（雑音除去用パラメータ）とする。また、ヘッダ領域の後ろに、本体領域として、映像データや音データを記録する領域がある。なお、本体領域の映像データや音データ内に、各々のデータに対するヘッダ領域が存在する場合には、その領域に雑音除去用パラメータを記録しても良い。
【００５６】
次に、上述した物理的及び機能的構成を有する記録装置６０１の動作を説明する。
撮影者がキー入力部１０７を操作する等して、録画開始指示をすると、制御部１０９は撮影部１０２で撮影した映像及びマイクロフォン１０３〜１０６によって取り込んだ音データを録画データ記録部６０９に記録する処理を開始する。まず、音処理部６０７は、雑音除去用データ記録部６０８に記録されているマイク位置情報、撮影時の画像サイズ及び画角を読み出し、録画データのヘッダ領域に書き込む。その後、音処理部６０７及び撮影部１０２より、音データ及び映像データが録画データ記録部６０９に書き込まれる。この映像データ及び音データの記録は、録画終了が指示されるまで継続され、録画終了が指示されると記録装置６０１が行う録画処理が終了する。
【００５７】
次に、再生時に雑音除去を行なう再生装置７０１の詳細を示す。図７に示すように、再生装置７０１は、入力部７０２と、音処理部７０７と、雑音除去用データ記録部７０８と、録画データ記録部６０９と、映像処理部７１０と、を機能的に備える。
【００５８】
入力部７０２は、キー入力部１０７、制御部１０９及び表示部１１１の一機能として実現され、再生時に視聴者が設定する、明瞭度を向上させる映像上の座標、すなわち雑音除去用座標を受け付け、雑音除去用データ記録部７０８に書き込む。例えば、撮影部１０２で撮影された映像を表示部１１１に表示させ、表示された映像上で任意の位置をユーザが指定する。
【００５９】
音処理部７０７は、コーデック部１０８及び制御部１０９の一機能として実現され、画像サイズ、撮影時の画角、及び雑音除去用データ記録部７０８に格納された雑音除去用座標に基づいて明瞭度を向上させたい音源の三次元空間の角度を算出し、録画データ記録部６０９に記録された音データに対して雑音除去を行う。音処理部７０７は、雑音除去後の音データを、スピーカ１１２を介して出力する。
【００６０】
雑音除去用データ記録部７０８は、記録部１１０に確保され、再生時に視聴者によって指定された、雑音除去用座標の情報を格納する。
【００６１】
映像処理部７１０は、図１に示すコーデック部１０８と、制御部１０９と、表示部１１１と、から実現され、録画データ記録部６０９に記録されている映像データを再生する。
【００６２】
次に、本実施形態に特有な処理をおこなう再生装置７０１の動作を説明する。
【００６３】
視聴者がキー入力部１０７を操作する等して、録画データ再生開始を指示すると、制御部１０９は、図９のフローチャートに示す処理を開始する。音処理部７０７は録画データ記録部６０９に記録されている雑音除去用パラメータを読み出す（ステップＳ９０１）。ここで、雑音除去用パラメータの１つである音源の三次元空間上の角度はまだ算出されていないので、初期値を“ＮＵＬＬ”とする。次に、視聴者の操作によって雑音除去用座標が設定されているかどうかの判定を行なう（ステップＳ９０２）。例えば、タッチパネル上に再生されている映像に対して、視聴者が音の明瞭度を向上したい場所をタッチすると、入力部７０２はその場所を雑音除去用座標として設定する。雑音除去用座標が設定されている場合（ステップＳ９０２；Ｙｅｓ）、音処理部７０７は、雑音除去用座標、撮影時の画像サイズ及び画角から、三次元空間上の角度を算出する（ステップＳ９０３）。
【００６４】
例えば、以下に示す方法により、音源の三次元空間の角度が求められる。
図１０に、撮影時の三次元空間と、表示部の映像との関係を示す。撮影する実際の三次元空間上をカメラの中心を原点としてＸ軸、Ｙ軸、Ｚ軸で表し、ＸＹ平面上に音源１００１がある。また、撮影した映像を、表示部の映像領域１００２（例えば、タッチパネルの映像領域）とし、図の垂直方向がｙ軸、水平方向がｘ軸とする。三次元空間上の音源１００１は、表示部の映像領域１００２上の音源１００３として映し出されており、ｘ軸方向に対して映像の中央から１００ドットだけ離れている。表示部の映像領域１００２を見ている視聴者が音源１００３に対して明瞭度を向上したい場合には、タッチパネル上の音源１００３の場所をタッチすることで、雑音除去用座標にｘ軸方向の値１００が設定される。
【００６５】
図１０において、撮影時は判明している撮影した映像の最大座標（画像サイズのｘ軸の値）をＷ、視聴者操作により指定された雑音除去用座標のｘ軸の値を１００ドット、撮影時に判明している撮影時の画角をangle_max、明瞭度を向上したい三次元空間上の角度をangleとすると、式（２）が成り立つ。
Ｗ / 2 ： 100 = tan(angle_max) ： tan(angle) … 式（２）
式（２）を変形すると、明瞭度を向上したい三次元空間上の角度angleは、式（３）で表わされる。
angle = arctan ( tan(angle_max) * 200 / Ｗ ) … 式（３）
撮影時の画角（angle_max）及び画像サイズ（Ｗ）の値は録画データのヘッダ領域に格納されているので、その値を参照することによって、angleを求めることができる。
【００６６】
三次元空間上の角度を算出（ステップＳ９０３）した後、音処理部７０７は雑音除去用パラメータを変更する（ステップＳ９０４）。さらに、音処理部７０７は、録画データ記録部６０９の全音データを読み出し（ステップＳ９０５）、音の明瞭度を向上する雑音除去を行なう（ステップＳ９０６）。上記式（３）で算出した明瞭度を向上したい三次元空間上の角度angleを、前述の式（１）のangleに代入する事で、二つのマイクから取り込んだ音データの時間差TimeLagを得る事ができる。このTimeLagだけの時間差が生じた二つの音データに対して、一方のみ、或いは、TimeLagだけずらして加算した音データを生成することにより、音の明瞭度を向上する雑音除去が可能となる。
【００６７】
音処理部７０７は、雑音除去を施した一つの音データを生成する。音処理部７０７及び映像処理部７１０は音データ及び録画された映像データを再生する（ステップＳ９０７）。再生が終了しない場合（Ｓ９０８；Ｎｏ）は、ステップＳ９０２を再度行なう。ここで、視聴者が明瞭度を向上したい場所を、一旦タッチする事で、雑音除去用座標は設定されているので、二回目以降も、ステップＳ９０３以降の処理を行うことになる。なお、視聴者が設定した座標に変更がない場合には、ステップＳ９０３及びステップＳ９０４の処理は割愛し、ステップＳ９０５から行っても良い。
【００６８】
また、ステップＳ９０２にて、雑音除去用座標の設定が一回も無い場合には、音処理部７０７は、録画データ記録部６０９の任意の音データを読み出し（例えば音データ１）（ステップＳ９０９）、その音データを再生する（ステップＳ９０７）。再生停止等の操作入力により、又は全部分を再生し終わると（ステップＳ９０８；Ｙｅｓ）、再生処理を終了する。
【００６９】
なお、動画再生中の画面には、雑音除去用座標をクリアする指示に対応した項目があり、視聴者により上記項目が選択された場合には、音処理部７０７は、雑音除去用座標をクリアし、雑音除去用座標は未設定となり、音源の三次元上の角度は初期値“ＮＵＬＬ”に戻る。雑音除去を行いながら動画再生中に、視聴者が、上記雑音除去用座標をクリアする指示に対応した項目を選択した場合、雑音除去用座標がクリアされるので、ステップＳ９０２の後は、ステップＳ９０９を実行する。
【００７０】
また、視聴者が別の明瞭度を向上したい座標を設定することも可能であり、映像上の座標から、三次元空間上の角度を算出し直し（ステップＳ９０３）、雑音除去用パラメータの変更を行う（ステップＳ９０４）ことにより、別の角度の明瞭度が向上した音データを得る事ができる。さらには、再生中に、明瞭度を向上したい映像上の座標を指定するたびに、指定した時間と、雑音除去用パラメータを雑音除去用データ記録部７０８に保存しても良い。その後、動画再生を一旦終了し、再度、最初から、或いは、途中から動画再生を行なう際、事前に保存しておいた雑音除去用パラメータを用いて雑音除去を行なっても良い。
【００７１】
以上の処理により、録画後の再生時に、視聴者が明瞭度を向上したい音の角度を指定する事ができ、視聴者の嗜好に合った再生機能を提供できる。
【００７２】
（実施形態３）
上記実施形態２においては、再生時に明瞭度を向上させたい音の位置情報を設定したが、録画時に明瞭度を向上させたい音の位置情報を設定することも可能である。実施形態３では、撮影者が設定した、映像上の座標及び時間を録画時に記録し、その設定に基づいて再生時に雑音除去を行う。実施形態３を、図１１ないし図１５を用いて説明する。なお、実施形態２と同様に、記録再生装置を、録画機能を有する記録装置１１０１と再生機能を有する再生装置１２０１に分けて説明する。
実施形態１と同様に、図１に示す物理構成により、図１１及び図１２に示す機能構成が実現される。
【００７３】
記録装置１１０１は、音処理部１１０７と、雑音除去用データ記録部１１０８と、録画データ記録部１１０９と、入力部１１１０と、を機能的に備える。
【００７４】
音処理部１１０７は、コーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込まれた音データを受け取る。雑音除去を行なうことなく受け取った音データをそのまま、或いは圧縮して音データを作成し、録画データ記録部１１０９に書き込む。また、録画開始後に雑音除去用パラメータであるマイク位置、撮影時の画像サイズ及び画角を雑音除去用データ記録部１１０８から録画データ記録部１１０９に書き込む。さらに、録画時に入力部１１０２において雑音除去用座標が設定された場合に、その設定時からの経過時間を計測し、経過時間（雑音除去設定時間）及び雑音除去用座標を録画データ記録部１１０９に書き込む。
【００７５】
雑音除去用データ記録部１１０８は、記録部１１０に確保され、撮影部１０２によって計測された、マイク位置、撮影時の画像サイズ及び画角を格納する。また入力部１１１０に入力された雑音除去用座標を格納する。
【００７６】
録画データ記録部１１０９は、記録部１１０に確保され、マイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。その際、実施形態２と同様に、各マイクロフォンで取り込んだ音はそれぞれ個別に格納する。また、マイク位置、撮影時の画像サイズ及び画角、雑音除去用座標、及び雑音除去設定時間を格納する。さらに撮影部１０２により撮影された映像データを格納する。
【００７７】
入力部１１１０は、キー入力部１０７、制御部１０９及び表示部１１１の一機能として実現され、録画時に撮影者が設定した、雑音除去用座標を受け付け、雑音除去用データ記録部１１０８に書き込む。例えば、撮影部１０２で撮影されている映像を表示部１１１に表示させ、表示された映像上で任意の位置をユーザが指定する。
【００７８】
ここで、音処理部１１０７により録画データ記録１１０９に書き込まれる録画データのファイルフォーマットを図１３に示す。実施形態２のファイルフォーマットの内容に加え、雑音除去座標及び雑音除去設定時間の情報を含む“録画時の雑音除去設定”の項目が付加される。この設定に従い、再生装置１２０１は、録画データ記録部１１０９に格納された音データに対し雑音除去を行う。撮影者が設定した映像上の座標をｘ軸及びｙ軸とする。雑音除去を行なわない場合は“なし”と設定する。以上の、マイク個数、マイクロフォンの位置、画像サイズ及び撮影時の画角、雑音除去用座標、雑音除去設定時間、及び音源の三次元空間上の角度などの情報を、雑音除去用パラメータとする。
【００７９】
次に、上述した物理的及び機能的構成を有する記録装置１１０１の動作を説明する。
【００８０】
撮影者がキー入力部１０７を操作する等して録画開始指示をすると、制御部１０９は、図１４のフローチャートに示す処理を開始し、撮影部１０２で撮影した映像データ及びマイクロフォン１０３〜１０６で取り込んだ音データを録画データ記録部１１０９に記録する処理を開始する（ステップＳ１４０１）。音処理部１１０７は録画データのヘッダ領域にマイク数及びマイク位置などを書き込む（ステップＳ１４０２）。その後、音処理部１１０７は、撮影者の操作により雑音除去用座標が変更されているか判断する（ステップＳ１４０３）。なお、録画撮影開始時の初期値としては、雑音除去処理を行わない設定とする。雑音除去用座標が変更されている場合には（ステップＳ１４０３；Ｙｅｓ）、音処理部１１０７は録画データのヘッダ領域に雑音除去用座標及び雑音除去設定時間を記録する（ステップＳ１４０４）。
【００８１】
明瞭度を向上したい映像上の座標が変更されていない場合（ステップＳ１４０３；Ｎｏ）、或いは、ヘッダ領域への書き込み（ステップＳ１４０４）終了後は、映像データ及び全てのマイクロフォンから得られた音データは録画データの本体領域に書き込まれる（ステップＳ１４０５）。その際、マイクロフォンから得られた複数の音データは、一つの連続した音データとして記録し、四つのマイクロフォンの場合は、四つの異なる音データとして記録しても良い。或いは、各々のマイクロフォンから得られた複数の音データを、３２ミリ秒などの処理単位時間毎に、順次一つの連続した音データとして記録しても良い。録画停止等の操作入力により録画が終了すると（ステップＳ１４０６；Ｙｅｓ）、録画処理を終了し、録画が終了しない場合（ステップＳ１４０６；Ｎｏ）は、ステップＳ１４０３を再度行う。
【００８２】
次に、録画時に設定された雑音除去設定に従って、再生処理を行う再生装置１２０１について説明する。図１２に示すように、再生装置１２０１は、音処理部１２０７と、録画データ記録部１１０９と、映像処理部１２１０と、を機能的に備える。
【００８３】
音処理部１２０７は、コーデック部１０８及び制御部１０９の一機能として実現され、録画データ記録部１１０９に記録された音データに対し、ヘッダに書き込まれたマイク位置、撮影時の画像サイズや画角、雑音除去用座標、及び雑音除去設定時間に基づいて、雑音除去を行う。音処理部１２０７は、雑音除去後の音データを、スピーカ１１２から出力する。
【００８４】
映像処理部１２１０は、図１に示すコーデック部１０８と、制御部１０９と、表示部１１１と、から実現され、録画データ記録部１１０９に記録されている映像データを再生する。
【００８５】
以下に上述した物理的及び機能的構成を有する再生装置１２０１の動作を説明する。
視聴者がキー入力部１０７を操作する等して、録画データ再生開始を指示すると、制御部１０９は、図１５のフローチャートに示す処理を開始する。音処理部１２０７は、録画データ内の雑音除去用パラメータを読み出し（ステップＳ１５０１）、再生時間が録画時の雑音除去設定時間（図１３の雑音除去設定１では、５秒）に達しているかどうか判断する（ステップＳ１５０２）。再生時間が雑音除去設定時間に達していない場合には（ステップＳ１５０２；Ｎｏ）、何れか一つの音データを読み出し（ステップＳ１５１０）、その音データの再生を行なう（ステップＳ１５０８）。ステップＳ１５１０では、音データ１を読み出している。
【００８６】
再生時間が雑音除去設定時間に達している場合には（ステップＳ１５０２；Ｙｅｓ）、音処理部１２０７は、雑音除去が設定されているか判断する（ステップＳ１５０３）。雑音除去が設定されている場合は（ステップＳ１５０３；Ｙｅｓ）、映像上の座標（図１３の雑音除去設定１では、ｘ軸：２００ドット、ｙ軸：１００ドット）から、三次元空間上の角度を算出し（ステップＳ１５０４）、雑音除去用パラメータを変更する（ステップＳ１５０５）。その後、録画データ内の音データを読み出し（ステップＳ１５０６）、音処理部１２０７は、雑音除去用パラメータを用いて音の明瞭度を向上する雑音除去を行なう（ステップＳ１５０８）。雑音除去後は一つの音データが生成されるので、その音データの再生を行なう（ステップＳ１５０７）。その後、再生時間の更新を行い（ステップＳ１５０９）、再生が終了しない場合（ステップＳ１５１１；Ｎｏ）は、ステップＳ１５０２の再生時間が雑音除去設定時間に達しているかどうかの判断が、継続して行なわれる。ここで、再生時間が、最初の、録画時の雑音除去設定に記録されている時間である５秒を経過した後は、雑音除去設定時間は、次の録画時の雑音除去設定に記録されている時間である１０秒とする。
【００８７】
雑音除去が設定されていない場合は（ステップＳ１５０３；Ｎｏ）、ステップＳ１５１０以降の処理を行う。再生停止等の操作入力により、又は全部分を再生し終わると（ステップＳ１５１１；Ｙｅｓ）、再生処理を終了する。
【００８８】
以上の処理により、録画時に雑音除去を行なう角度などを記録し、再生時に利用することができ、撮影者の意図が反映された再生が可能な再生機能を提供できる。
【００８９】
また、実施形態３に係る記録再生装置では、図１３のファイルフォーマット“録画時の雑音除去設定”の映像上の座標（雑音除去用座標）の替わりに、映像上の座標から算出した三次元空間上の角度としても良い。
【００９０】
上述した実施形態２及び実施形態３に係る再生装置では、録画データを再生する際、再生装置が雑音除去処理などに未対応の場合には、雑音除去に用いる情報は読み飛ばされ、映像データ及び音データ１のみが読み出され、再生可能となる。
【００９１】
（実施形態４）
実施形態４では、実施形態１ないし３とは異なり、音データや雑音除去用パラメータを、汎用的な動画ファイルフォーマットで記録された映像データとは別の領域に記録する。汎用的な動画ファイルフォーマットとは、携帯電話機の録画フォーマットの一つである３ＧＰＰ２（Third Generation Partnership Project 2）、パソコンで再生可能な動画フォーマットの一つであるＡＶＩ（Audio Video Interleave）、近年ビデオカメラに採用されつつあるＡＶＣＨＤ（Advanced Video Codec High Definition）などがあげられる。実施形態１と同様に、図１に示す物理構成により、図１６に示す機能構成が実現される。
【００９２】
記録装置１６０１は、音処理部１６０７と、雑音除去用データ記録部１６０８と、録画データ記録部１６０９と、を機能的に備える。
【００９３】
音処理部１６０７は、コーデック部１０８及び制御部１０９の一機能として実現され、マイクロフォン１０３〜１０６から取り込まれた音データを受け取る。受け取ったデータを、適宜雑音除去用データ記録部１６０８又は録画データ記録部１６０９に書き込む。例えば、音データ１と音データ２や実施形態２で説明したマイク位置などの雑音除去用パラメータは、雑音除去用データ記録部１６０８に記録し、録画データ記録部１６０９には、音データ３と音データ４のみを記録する。また、雑音除去用パラメータに基づいて音データの雑音除去を行う。
【００９４】
雑音除去用データ記録部１６０８は、記録部１１０に確保され、マイク位置、撮影時の画像サイズや画角、及びマイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。
【００９５】
録画データ記録部１６０９は、記録部１１０に確保され、マイクロフォン１０３〜１０６で取り込んだ音をそのまま、或いは、圧縮した音データを格納する。また、撮影部１０２より撮影された映像データを格納する。
【００９６】
雑音除去用データ記録部１６０８内のデータは、録画データ記録部１６０９内の録画データに隣接して配置して一つの電子ファイルとして保存しても良いし、別の電子ファイルとしても良い。
【００９７】
なお、図１６で説明したデータ配置の録画データを、上述した汎用的な動画ファイルフォーマットのみ対応している再生装置で再生する場合は、汎用的な動画ファイルフォーマットで記録される、録画データ記録部１６０９内の録画データのみが読み出され、再生可能である。また、記録装置内の撮影したデータを、汎用的な動画ファイルフォーマットのみ対応している再生装置にコピーする場合、録画データ記録部１６０９内の録画データファイルのみを選択し、コピーすれば良いので、コピーする際のデータ容量を削減することも可能となる。
【００９８】
以上の機能により、撮影した動画データを、通常の再生機器で再生することが可能な再生の互換性を持ち、利用価値が高い記録装置を提供できる。
【００９９】
また、上述した実施形態１ないし実施形態４に係る記録再生装置では、図１７に示す記録再生装置１７０１のように、カメラに対するマイクロフォンの位置を変更することが可能な場合もある。したがって、本発明の記録再生装置は、筐体の姿勢検出手段を備え、筐体の各姿勢に対したマイクロフォン１７０３〜１７０６の座標テーブルを、例えば雑音除去用データ記録部に予め格納するようにしてもよい。その場合、姿勢検出手段が録画時及び再生時の筐体の姿勢を検出すると、その姿勢に対応したマイクロフォンの位置座標がテーブルを参照して求られ、音処理部によってヘッダ領域のマイクロフォン位置情報に書き込まれる。
【０１００】
また、上述した実施形態２ないし実施形態４に係る記録再生装置では、上記の雑音除去用パラメータに加えて、雑音除去を行なうためのサンプリング周波数や、雑音除去用座標から算出した角度に対する補正値、各マイクの録音性能などを記録しても良い。さらに、再生時のマシンパワー抑制や性能向上のために、録画時に検出した音源方向などを記録しても良い。
【０１０１】
また、上述の実施形態２ないし実施形態４に係る記録再生装置では、撮影中に映像のズームが行なわれる場合があり、撮影時の画角が変更になる。そこで、図８や図１３に示したファイルフォーマット中の撮影時の画角は、図１３のファイルフォーマット中の録画時の雑音除去設定の如く、映像ズームの操作が行われるたびに、録画経過時間と共に記録するようにしても良い。再生時には、再生経過時間が、映像ズームを行なった時間に達するたびに、撮影時の画角を変更して、雑音除去用パラメータを変更する。この処理により、映像のズームを行ないながら撮影した動画データを再生する場合でも、撮影者の意図、或いは、視聴者の嗜好に合った再生機能を提供できる。
【０１０２】
また、上述の実施形態２ないし実施形態３に係る記録再生装置では、各マイクロフォンで取り込んだ音をそれぞれ個別に格納するのみではなく、ＤｏｌｂｙＤｉｇｉｔａｌ（ＡＣ−３）の如く、複数の音データの圧縮、符号化を行い、一つの電子ファイルとして格納しても良い。その場合には、図９のステップＳ９０５や、図１５のステップＳ１５０６では、全音データを読み出すとあるが、上記、符号化後の一つの電子ファイルを読み出し、復号することで、符号化前の全ての音データを入手する。また、図９のステップＳ９０９や、図１５のステップＳ１５１０では、音データ１を読み出すとあるが、符号データを用いる場合には、符号化後の一つの電子ファイルを復号することで、符号化前の全ての音データを入手し、その内の一つの音データを入手する。このように、音データを格納する際に圧縮した符号化データを用いることにより、録画データのファイルサイズを小さくすることが可能となる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施形態１に係る記録再生装置の物理的構成の一例を示すブロック図である。
【図２】本発明の実施形態１に係るマイクロフォンの設置場所の一例を表す図である。
【図３】本発明の実施形態１に係る記録再生装置の機能を表す図である。
【図４】本発明の実施形態１に係る、マイクロフォンと音源の角度との関係図である。
【図５】本発明の実施形態１に係る、録画時の処理の流れを示すフローチャート図である。
【図６】本発明の実施形態２に係る記録装置の機能を表す図である。
【図７】本発明の実施形態２に係る再生装置の機能を表す図である。
【図８】本発明の実施形態２に係る、録画データのファイルフォーマットを示す図である。
【図９】本発明の実施形態２に係る、再生時の処理の流れを示すフローチャート図である。
【図１０】本発明の実施形態２に係る、撮影時の三次元空間と、表示部の映像との関係を示す図である。
【図１１】本発明の実施形態３に係る記録装置の機能を表す図である。
【図１２】本発明の実施形態３に係る再生装置の機能を表す図である。
【図１３】本発明の実施形態３に係る、録画データのファイルフォーマットを示す図である。
【図１４】本発明の実施形態３に係る、録画時の処理の流れを示すフローチャート図である。
【図１５】本発明の実施形態３に係る、再生時の処理の流れを示すフローチャート図である。
【図１６】本発明の実施形態４に係る記録装置の機能を表す図である。
【図１７】本発明の実施形態１ないし実施形態４に係るマイクロフォンの設置場所の他の例を表す図である。
【符号の説明】
【０１０４】
１０１，１７０１…記録再生装置、６０１，１１０１，１６０１…記録装置、７０１，１２０１…再生装置、１０２…撮影部、１０３，１０４，１０５，１０６，４１０，４２０，１７０３，１７０４，１７０５，１７０６…マイクロフォン、１０７…キー入力部、１０８…コーデック部、１０９…制御部、１１０…記録部、１１１…表示部、１１２…スピーカ、１７０２…カメラ、３０２，７０２，１１１０…入力部、３０７，６０７，７０７，１１０７，１２０７，１６０７…音処理部、３０８，６０８，７０８，１１０８，１６０８…雑音除去用データ記録部、３０９，６０９，１１０９，１６０９…録画データ記録部、３０９ａ…雑音除去後の音データ記録部、３０９ｂ…映像データ記録部、３１０，７１０，１２１０…映像処理部、４００，１００１…音源、４１２，４２２…音データ、１００２…表示部の映像領域、１００３…表示部の映像領域上の音源
【特許請求の範囲】
【請求項１】
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生する再生装置であって、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段と、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段と、
前記抽出手段で抽出された前記音データを再生する再生手段と、
を備えることを特徴とする再生装置。
【請求項２】
請求項１に記載の再生装置において、
前記記録媒体には、前記位置関係データと前記音データとに加えて映像データが記録されており、
前記映像データを再生する映像再生手段をさらに備え、
前記入力手段は、前記映像再生手段で再生された映像上で、抽出する音の到来方向を示す場所を示すデータを入力する、
ことを特徴とする再生装置。
【請求項３】
請求項１又は２に記載の再生装置において、
前記記録媒体には、時間データと音を抽出する方向を示すデータとが対応付けられてさらに記録されており、
再生開始から経過時間を計測する計時手段をさらに備え、
前記入力手段は、前記記録媒体に記録されている方向を指定するデータを前記抽出方向データとして入力し、
前記抽出手段は、前記計測手段を用いて計測した再生開始からの経過時間が、記録されている時間データが指示する時間に達した時点で、前記時間データに対応付けて保存されていた前記音を抽出する方向を示すデータから音を抽出する方向を求め、求めた方向から前記マイクロフォンに到来した音を抽出する、
ことを特徴とする再生装置。
【請求項４】
複数のマイクロフォンと、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段と、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項５】
請求項４記載の記録装置において、
前記位置関係データに基づいて、前記複数のマイクロフォンで取得した複数の音データのうちから、特定の方向からの音の音データを抽出する抽出手段を有し、
前記記録手段は、前記抽出手段により抽出された前記音データを前記記録媒体に記録する、
ことを特徴とする記録装置。
【請求項６】
請求項５記載の記録装置において、
前記特定の方向を入力する入力手段を備えることを特徴とする記録装置。
【請求項７】
請求項４記載の記録装置において、
前記記録手段による音データの記録開始からの経過時間を計測する計時手段と、
音を抽出する方向を示す抽出方向データを入力する入力手段と、をさらに有し、
前記記録手段は、前記音データと共に、前記入力手段により入力された前記抽出方向データと、前記抽出方向データが入力されたタイミングで前記計時手段が計時している経過時間と、を前記記録媒体に記録する、
ことを特徴とする記録装置。
【請求項８】
請求項６記載の記録装置において、
撮像手段と、前記撮像手段により撮像された映像データが定義する映像を表示する表示手段とをさらに有し、
前記記録手段は前記音データに加えて前記映像データを前記記録媒体に記録し、
前記入力手段は、前記表示手段に表示された映像上の場所を指定する手段とし、指定された映像上の場所に対応する方向を示すデータを、音を抽出する方向を示す抽出方向データとする、
ことを特徴とする記録装置。
【請求項９】
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生するコンピュータを、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段、
前記抽出手段で抽出された前記音データを再生する再生手段、
として機能させることを特徴とするプログラム。
【請求項１０】
複数のマイクロフォンに接続されたコンピュータを、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段、
として機能させることを特徴とするプログラム。
【請求項１】
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生する再生装置であって、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段と、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段と、
前記抽出手段で抽出された前記音データを再生する再生手段と、
を備えることを特徴とする再生装置。
【請求項２】
請求項１に記載の再生装置において、
前記記録媒体には、前記位置関係データと前記音データとに加えて映像データが記録されており、
前記映像データを再生する映像再生手段をさらに備え、
前記入力手段は、前記映像再生手段で再生された映像上で、抽出する音の到来方向を示す場所を示すデータを入力する、
ことを特徴とする再生装置。
【請求項３】
請求項１又は２に記載の再生装置において、
前記記録媒体には、時間データと音を抽出する方向を示すデータとが対応付けられてさらに記録されており、
再生開始から経過時間を計測する計時手段をさらに備え、
前記入力手段は、前記記録媒体に記録されている方向を指定するデータを前記抽出方向データとして入力し、
前記抽出手段は、前記計測手段を用いて計測した再生開始からの経過時間が、記録されている時間データが指示する時間に達した時点で、前記時間データに対応付けて保存されていた前記音を抽出する方向を示すデータから音を抽出する方向を求め、求めた方向から前記マイクロフォンに到来した音を抽出する、
ことを特徴とする再生装置。
【請求項４】
複数のマイクロフォンと、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段と、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段と、
を備えることを特徴とする記録装置。
【請求項５】
請求項４記載の記録装置において、
前記位置関係データに基づいて、前記複数のマイクロフォンで取得した複数の音データのうちから、特定の方向からの音の音データを抽出する抽出手段を有し、
前記記録手段は、前記抽出手段により抽出された前記音データを前記記録媒体に記録する、
ことを特徴とする記録装置。
【請求項６】
請求項５記載の記録装置において、
前記特定の方向を入力する入力手段を備えることを特徴とする記録装置。
【請求項７】
請求項４記載の記録装置において、
前記記録手段による音データの記録開始からの経過時間を計測する計時手段と、
音を抽出する方向を示す抽出方向データを入力する入力手段と、をさらに有し、
前記記録手段は、前記音データと共に、前記入力手段により入力された前記抽出方向データと、前記抽出方向データが入力されたタイミングで前記計時手段が計時している経過時間と、を前記記録媒体に記録する、
ことを特徴とする記録装置。
【請求項８】
請求項６記載の記録装置において、
撮像手段と、前記撮像手段により撮像された映像データが定義する映像を表示する表示手段とをさらに有し、
前記記録手段は前記音データに加えて前記映像データを前記記録媒体に記録し、
前記入力手段は、前記表示手段に表示された映像上の場所を指定する手段とし、指定された映像上の場所に対応する方向を示すデータを、音を抽出する方向を示す抽出方向データとする、
ことを特徴とする記録装置。
【請求項９】
複数のマイクロフォンの位置関係を示す位置関係データと、前記複数のマイクロフォンで取得した音データとが記録された記録媒体から、前記音データを再生するコンピュータを、
録音時に前記マイクロフォンにより集音された音のうちの、抽出する音の到来方向を示す抽出方向データを入力する入力手段、
前記記録媒体に記録されている前記位置関係データと前記入力手段により入力された前記抽出方向データとに基づいて、前記記録媒体に記録されている前記音データのうちから、前記入力手段により入力された前記抽出方向データにより特定される方向から前記マイクロフォンに到来した音を抽出する抽出手段、
前記抽出手段で抽出された前記音データを再生する再生手段、
として機能させることを特徴とするプログラム。
【請求項１０】
複数のマイクロフォンに接続されたコンピュータを、
前記複数のマイクロフォンの位置関係を示す位置関係データを記憶する位置関係データ記憶手段、
前記位置関係データ記憶手段に記憶されている前記位置関係データと、前記複数のマイクロフォンで取得した音データと、を記録媒体に記録する記録手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−１４５５２４（Ｐ２０１０−１４５５２４Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３１９９６７（Ｐ２００８−３１９９６７）
【出願日】平成２０年１２月１６日（２００８．１２．１６）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月１６日（２００８．１２．１６）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
[ Back to top ]