音データ処理装置
【課題】可動部を有した音データ処理装置において、録音時のマイクロホンの位置が予め設定された位置と異なっても、音源分離後の音データの劣化を防ぐ。
【解決手段】音データ処理装置は、第１の筐体２０１と、第１の筐体２０１に対して相対的に位置を変更することが可能な第２の筐体２０２と、から構成される。第１の筐体２０１と第２の筐体２０２にはそれぞれマイクロホン１０２〜１０５が配置される。音データ処理装置は、第１の筐体２０１と第２の筐体２０２の位置関係を検出し、この位置関係からマイクロホン１０２〜１０５の位置関係を求め、求めた位置関係に基づいて、マイクロホン１０２〜１０５から取り込んだ音データに音源分離処理を施し、特定の音源からの音データを強調或いは減衰する。
【解決手段】音データ処理装置は、第１の筐体２０１と、第１の筐体２０１に対して相対的に位置を変更することが可能な第２の筐体２０２と、から構成される。第１の筐体２０１と第２の筐体２０２にはそれぞれマイクロホン１０２〜１０５が配置される。音データ処理装置は、第１の筐体２０１と第２の筐体２０２の位置関係を検出し、この位置関係からマイクロホン１０２〜１０５の位置関係を求め、求めた位置関係に基づいて、マイクロホン１０２〜１０５から取り込んだ音データに音源分離処理を施し、特定の音源からの音データを強調或いは減衰する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンを備える音データ処理装置に関する。
【背景技術】
【０００２】
複数のマイクロホンで音声を取り込み、特定の音声を抽出あるいは抑圧する音源分離技術が知られている（例えば、非特許文献１）。この音源分離技術は、近年では、ビデオカメラ、携帯電話、ＩＣレコーダ等の携帯機器に広く適用されている。
例えば、特許文献１には、音源分離機能を備えるビデオカメラの録音装置が開示されている。この録音装置は、ビデオカメラの被写体へのフォーカシングに同期して、マイクロホンの指向特性を被写体にフォーカシングし、被写体からの音声信号を抽出して臨場感の高い録音を可能とする。
また、特許文献２には、動画撮影時に複数マイクロホンの音声を画像と共に記録し、撮影後に、画像内に表示された音源の音に対して音源分離を行う音声データ編集装置が開示されている。
【０００３】
上記のような、音源分離の性能・解像度の保持のためには、一定数のマイクロホンが必要である。また、各マイクロホンの間隔も一定の間隔が必要な場合がある。さらに、音源の分析方向の範囲を広げるためには、マイクロホンを平面的に配置するだけでなく、立体的に配置する必要がある。しかし、ビデオカメラや、携帯電話等の携帯端末においては、マイクロホンを設置可能な部位が限られているため、複数のマイクロホンを理想的な位置に設置することは難しい。
【０００４】
そこで、可動部（例えば、ビデオカメラのモニタ部を有した筐体、折り畳みタイプやスライドタイプの携帯電話のモニタ部を有した筐体）を有する携帯端末にあっては、可動部にもマイクロホンを配置している。
【０００５】
可動部にマイクロホンを配置した場合、可動部の動きにより、マイクロホンが予定位置からずれてしまい、音源処理を適切に実行できず、音源分離処理後の音データの品質が低下する場合がある。さらに、原音声をも劣化させてしまう事態が想定される。しかし、上述した特許文献１及び２に開示されている技術は、マイクロホンの位置（マイク位置）が撮影時に変化することは考慮していない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−３０８５５３号公報
【特許文献２】特開２００８−１３１１６８号公報
【非特許文献】
【０００７】
【非特許文献１】戸上真人，天野明雄，新庄広，鴨志田亮太，“人間共生ロボットＥＭＩＥＷの聴覚機能”，人工知能学会，ｐｐ．５９−６４，２００５／１０／１４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した問題に鑑みてなされたものであり、録音時のマイクロホンの位置が予め設定された位置と異なっても、音源分離後の音データの劣化を防ぐことを目的とする。
また、本発明は、可動部にマイクロホンが設置された電子機器において、適切に音源分離処理を可能とすることを他の目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする。
【００１０】
本発明の第２の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記選択されたマイクロホンの位置関係に基づいて、前記選択されたマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする。
【００１１】
好ましくは、
前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と同じ場合に、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段をさらに備え、
前記音源分離手段は、前記複数のマイクロホンの前記位置関係が前記所定の位置関係と同じ場合に、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す、
ことを特徴とする。
【００１２】
さらに好ましくは、
前記音源分離手段により音源分離処理が施された音データを記録する手段をさらに備える、ことを特徴とする。
【００１３】
本発明の第３の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする。
【００１４】
本発明の第４の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記マイクロホン選択手段で選択した前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホン選択手段で選択した前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする。
【００１５】
好ましくは、
前記マイク位置特定情報取得手段は、前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段をさらに備え、
前記マイク位置特定情報は、前記第１の筐体と前記第２の筐体との前記位置関係を示す情報を含む、
ことを特徴とする。
【００１６】
また、好ましくは、
前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備え、
前記マイク位置特定情報は、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係を特定する情報を含む、
ことを特徴とする。
【００１７】
さらに好ましくは、
前記マイク位置特定情報は、前記マイクロホンの位置関係が変化したタイミングを特定する情報、または、録音時点でのマイクロホンの位置関係を特定する情報、を含む、
ことを特徴とする。
【００１８】
また、さらに好ましくは、
前記第１の筐体と第２の筐体との前記位置関係が前記所定の位置関係と異なる場合に警告を行う警告手段
をさらに備えることを特徴とする。
【００１９】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備えることを特徴とする。
【００２０】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備え、
音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする。
【００２１】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備えることを特徴とする。
【００２２】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備え、
音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする。
【００２３】
また、さらに好ましくは、
前記記録媒体に記録された音データ、又は、前記音源分離手段により音源分離処理が施された音データに対し音編集処理を施す音編集手段
をさらに備えることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、可動部に設置されたマイクロホンを有する携帯機器において、可動部が撮影又は録音中に動かされたとしても、音源分離後の音データの劣化を防ぐことが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態１に係る携帯装置の機能構成の一例を示すブロック図である。
【図２】（ａ）及び（ｂ）は、本発明の実施形態１に係る携帯装置の外観上の構成例を示す図である。
【図３】本発明の実施形態１に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図４】（ａ）は、マイクロホンの基準位置を示すテーブルの例であり、（ｂ）は、ヒンジ角θとφの変化とマイクロホンの位置との関係を示すテーブルの例である。
【図５】本発明の実施形態２に係る携帯装置の機能構成の一例を示すブロック図である。
【図６】本発明の実施形態２に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図７】本発明の実施形態２に係る録画データの例を示す図である。
【図８】本発明の実施形態２に係る携帯装置の再生編集処理の流れを示すフローチャート図である。
【図９】本発明の実施形態３に係る携帯装置の機能構成の一例を示すブロック図である。
【図１０】（ａ）及び（ｂ）は、本発明の実施形態３に係る携帯装置の外観上の構成例を示す図である。
【図１１】本発明の実施形態３に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図１２】（ａ）は、携帯装置９０１ａにおける、スイッチ判別信号とマイクロホンの位置との対応関係の例を示す図であり、（ｂ）は、携帯装置９０１ｂにおける、スイッチ判別信号とマイクロホンの位置との対応関係の例を示す図である。
【図１３】本発明の実施形態４に係る携帯装置の機能構成の一例を示すブロック図である。
【図１４】本発明の実施形態４に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図１５】本発明の実施形態４に係る録画データの例を示す図である。
【図１６】本発明の実施形態４に係る携帯装置の再生編集処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【００２６】
以下、音データ処理機能及び動画撮影機能を有する折り畳み型の携帯電話等の携帯装置に本発明が適用される実施の形態を説明する。また、特定の音源のみの抽出又は抑圧を行う技術を総称して音源分離処理と呼ぶ。
【００２７】
（実施形態１）
＜録画時に、可動部を有する携帯装置の姿勢を判別し、判別した姿勢に従って音源分離処理を適切に行う例＞
本実施形態では、本体部と可動部とを備える携帯装置１０１において、本体部と可動部とがなす角度に応じて、音源分離処理を適切に行い、音源分離処理を施した音データを画像と共に記憶する携帯装置１０１について説明する。
【００２８】
本実施形態の携帯装置１０１は、図１に示すように、マイクロホン１０２〜１０５と、ＡＤＣ（Analog to Digital Converter）１０６と、撮影部１０７と、入力部１０８と、角度センサ１０９と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ（Digital to Analog Converter）１１５と、スピーカ１１６と、を備える。
【００２９】
マイクロホン１０２〜１０５は、音を集音し、集音した音をアナログ信号に変換する。後述するように、マイクロホン１０２〜１０４は、本体に、マイクロホン１０５は、可動部に配置されている。
【００３０】
ＡＤＣ１０６はマイクロホン１０２〜１０５から入力された音データのアナログ信号をデジタル信号に変換し、そのデジタル信号を制御部１１０に送る。
【００３１】
撮影部１０７は、本体に設置され、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成され、映像を電気信号に変換し、映像信号を制御部１１０に送る。
【００３２】
入力部１０８は、電源スイッチや録音又は録画ボタン、映像ズーム倍率の指定、音源抽出や抑圧等の音源分離処理の効果（音源分離効果）を指定するためのボタン等から構成される。ユーザよりズーム制御や音源分離処理等の各種制御処理の指示を受け付け、その指示情報を制御部１１０に送る。
【００３３】
角度センサ１０９は、ロータリー・エンコーダ、ジャイロセンサ等から構成され、表示部１１４を備える可動部に設置される。角度センサ１０９は、本体部と可動部とのなす角度（後述するヒンジ部の角度（ヒンジ角度））を検出し、その角度情報を制御部１１０に送る。
【００３４】
制御部１１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とから構成される。制御部１１０は、記憶部１１３に格納されているプログラムを実行し、携帯装置１０１本来の機能を実行すると共に、音データ処理装置としての動作も実行し、例えば、図３のフローチャートに示す処理を実行する。
【００３５】
制御部１１０は、機能的に、音源分離処理部１１１及びマイク位置取得部１１２を有する。
【００３６】
音源分離処理部１１１はＡＤＣ１０６から送られた複数の音データに対し、入力部１０８から送られた指示に基づいて音源分離処理を施す。音源分離処理部１１１は、角度センサ１０９の検出値に基づいて、その時点におけるマイクロホン１０２〜１０５の実際の位置に基づいて、音源分離を行う。
なお、音源分離処理部１１１で行われる音源分離は、所定のデジタル信号処理に基づいた処理や、あるいはそれ以外のアルゴリズムを任意に適用可能である。
【００３７】
マイク位置取得部１１２は、可動部の位置が基準位置(例えば、図２（ｂ）においてθ=９０°、φ=０°等)でない場合に、角度センサ１０９が検出したヒンジ角度を基に、マイクロホン１０２〜１０５の位置を、幾何学的な計算で求め、音源分離処理部１１１にその情報を送る。なお、マイク位置の求め方自体は任意である。
【００３８】
記憶部１１３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、撮影部１０７から取り込んだ画像データ、音源分離処理後の音データ、マイクロホンの基準位置（可動部が基準位置にあるときのマイクロホンの位置）の情報等の音源分離処理の際に使用される諸情報（音源分離パラメータ）、及び音源分離処理部１１１から得た情報等を格納する。また、制御部１１０が行う処理に係るプログラム等を格納する。
予め記憶部１１３に記憶される音源分離パラメータは、マイクロホンの基準位置の情報と、音源分離効果に関する情報（音源の強調量、周囲音の抑圧量等）と、音源到来方向の範囲（その範囲内に位置する音源からの音を強調又は減衰する）等から構成される。例えば、音源到来方向の範囲は撮影時の映像ズームの段階と、予め対応付けて記憶されてもよい。
【００３９】
表示部１１４は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、及びドライバ等から構成され、撮影部１０７で撮影した映像や、撮影モード等の諸情報を表示する。
【００４０】
ＤＡＣ１１５は音データを出力する際に、デジタル信号をアナログ信号に変換し音出力部１１６に送る。
【００４１】
音出力部１１６は増幅器、スピーカ等から構成され、ＤＡコンバータ１１５からの信号に基づいて音を出力する。
【００４２】
次に、携帯装置１０１の機械的構成について説明する。
携帯装置１０１は、図２（ａ）、（ｂ）に例示するように、本体部２０１と、可動部２０２と、これらを連結するヒンジ部と、から構成される。
本体部２０１には、マイクロホン１０２〜１０５，撮影部１０７が固定されており、可動部２０２には、マイクロホン１０５が配置されている。
図２（ａ）は、可動部２０２が一方向に開閉する携帯装置１０１ａを、図２（ｂ）は、可動部２０２が２軸の周りを動く携帯装置１０１ｂを、それぞれ、示している。
【００４３】
図２（ａ）に示す携帯装置１０１ａにおいて、ヒンジ部は、１軸型のヒンジ機構から構成され、角度センサ１０９はヒンジ部に設置され、本体部２０１と可動部２０２がなす角度θを測定する。可動部２０２に設置されたマイクロホン１０５の位置はヒンジ角度θから求まる。
【００４４】
一方、図２（ｂ）に示す携帯装置１０１ｂにおいて、ヒンジ部は２軸型ヒンジ機構から構成される。２軸型ヒンジ機構は相互に直交する軸（回転軸ｘ、回転軸ｙ）を有し、可動部２０２は回転軸ｘ周りに回転可能であると共に回転軸ｙ周りに回転可能である。角度センサ１０９は、回転軸ｘ周りにおける本体部２０１と可動部２０２とがなす角度θと、回転軸ｙ周りにおける本体部２０１と可動部２０２とがなす角度φと、を検出する。可動部２０２に設置されたマイクロホン１０５の位置はヒンジ角度θ及びφから求まる。
【００４５】
なお、以下の説明では、理解を容易にするため、携帯装置１０１ｂに関して説明する。
【００４６】
マイクロホン１０２〜１０４は本体部２０１に配置され、マイクロホン１０５は可動部２０２に配置される。ここで、図２（ｂ）に示すように、撮影部１０７の光軸をｚ軸とし、互いに垂直なｘ軸、ｙ軸、及びｚ軸から構成される直交座標系を設定する。マイクロホン１０２〜１０５の３次元空間上の位置は、この直交座標系で定義される。マイクロホン１０５の位置及びマイクロホン１０２〜１０５の位置関係は、携帯装置１０１ｂの姿勢によって変化する。
【００４７】
以下、携帯装置１０１ｂにおいて実行される録画処理について説明する。なお、映像の撮影・保存等の一般的な撮影装置としての動作は従来と同一であるため、本実施形態に特有な音源分離処理を中心に説明する。
【００４８】
ユーザが入力部１０８に録画処理開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、録画処理開始及び音源分離処理開始の指示に応答し、図３のフローチャートに示す録画処理を開始する。
【００４９】
制御部１１０は、まず、撮影部１０７に画像の取り込みを開始させ、マイクロホン１０２〜１０５に音の取り込みを開始させる。さらに、制御部１１０は、撮影部１０７及びマイクロホン１０２〜１０５から取り込んだデータを一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【００５０】
続いて、制御部１１０は、予め記憶部１１３に記憶された音源分離パラメータをＲＡＭ等に読み出す（ステップＳ３０２）。
【００５１】
次に、制御部１１０は、角度センサ１０９から送られたヒンジ角度θとφが基準角度と同一か否か、即ち、θ＝９０°、φ＝０°であるか否かを判別する（ステップＳ３０３）。
【００５２】
ヒンジ角度θ、φが共に基準角度と同一ならば（ステップＳ３０３；Ｎｏ）、制御部１１０は、ステップＳ３０２で読み出しておいたマイクロホンの基準位置の情報を音源分離処理部１１１に送り、音源分離処理部１１１は初期マイクロホンの基準位置の情報を音源分離パラメータとして設定する（ステップＳ３１０）。
続いて、音源分離処理部１１１は音源分離パラメータを基に、ＡＤＣ１０６を介して供給されるマイクロホン１０２〜１０５からの音データに、音源分離処理を施す（ステップＳ３０７）。例えば、ユーザが指示した分離対象音源が撮影部１０７のフォーカス位置の音源、音源分離処理の効果を「抽出（強調）」であるとすると、制御部１１０は、マイクロホン１０２〜１０５からＡＣＤＣ１０６を介して供給される音データに、フォーカス位置からの音を抽出する音源分離処理を実行する。
制御部１１０は、画像データと、音源分離処理後の音データとを記憶部１１３に書き込む（ステップＳ３０８）。
【００５３】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がない場合（ステップＳ３０９；Ｎｏ）、制御部１１０は、ヒンジ角度θ、φに変更があるか否かを判別する（ステップ３１１）。
ヒンジ角度θ、φが変更された場合（ステップＳ３１１；Ｙｅｓ）、制御部１１０は、ステップＳ３０３に進み、ヒンジ角度θ、φに変更がない場合は（ステップＳ３１１；Ｎｏ）、音データに対して引き続き同一の音源分離処理を施す（ステップＳ３０７）。
【００５４】
一方、録画開始時点で、ヒンジ角度θとφの少なくも一方が基準角度でない場合（ステップＳ３０３；Ｙｅｓ）、或いは、録画開始後、可動部２０２が操作されて、ヒンジ角度θとφの少なくも一方が基準角度でなくなった場合（ステップＳ３１１；Ｙｅｓ，ステップＳ３０３；Ｙｅｓ）、制御部１１０は、可動部２０２が基準位置ではない旨を表示部１１４に表示させる（ステップＳ３０４）。例えば、撮影中の表示部１１４に“マイクの位置が動かされました。”等のメッセージを表示する。
【００５５】
次に、マイク位置取得部１１２はヒンジ角度θ、φの値に基づいて、その時点のマイクロホン１０５の位置を新たに取得する（ステップＳ３０５）。例えば、図２（ｂ）の座標系において、可動部の基準位置を、θ＝９０°、φ＝０°とし、基準位置でのマイクロホン１０５の座標を（ｘ０，ｙ０，ｚ０）と定義する。ここで、可動部が閉じた状態にある時は、θ＝０°、可動部が図２（ｂ）の状態にある時は、θ＝９０°である。可動部が、φ＝０°のままで、ｘ軸周りに移動した時のヒンジ角度θの差分を、Δθ＝θ’−θ（θ：移動前のヒンジ角度、θ’：移動後のヒンジ角度）とすると、移動後のマイクロホン１０５の座標（ｘ１，ｙ１，ｚ１）は、（ｘ０，ｙ０・ｃｏｓΔθ，ｙ０・ｓｉｎΔθ）と求まる。また、可動部が、θ＝９０°のままで、ｙ軸周りに移動したときのヒンジ角度φの差分を、Δφ＝φ’−φ（φ：移動前のヒンジ角度、φ’：移動後のヒンジ角度）とすると、移動後のマイクロホン１０５の座標（ｘ２，ｙ２，ｚ２）は、（ｘ０・ｃｏｓΔφ，ｙ０，ｘ０・ｓｉｎΔφ）と求まる。
その後、マイク位置取得部１１２は、取得した新たなマイク位置の情報を音源分離処理部１１１に送り、音源分離処理部１１１は受け付けた新たなマイク位置を音源分離パラメータとして設定する（ステップＳ３０６）。
【００５６】
音源分離処理部１１１は、設定されたマイク位置を含む音源分離パラメータに基づいて音源分離処理を行う（ステップＳ３０７）。前述の例で説明すると、撮影部１０７のフォーカス位置からの音をマイクロホン１０２〜１０５の新たな位置関係を用いて抽出する。
制御部１１０は、画像データと、音源分離処理後の音データとを記憶部１１３に書き込む（ステップＳ３０８）。
【００５７】
録画処理終了の指示を受け付けた場合は（ステップＳ３０９：Ｙｅｓ）、録画処理を終了する。
【００５８】
本実施形態によれば、可動部２０２を有する携帯装置１０１において、音源分離処理後の音データを記憶する場合に、マイクロホンが設置された可動部２０２が録画又は録音中に基準位置から動いても、角度センサ１０９の情報から可動部、マイク位置を取得し、そのマイクロホン位置を音源分離処理に適用することで、音源分離処理後のデータの品質を保ったままで録音を行うことができる。また、マイクロホンが設置された可動部が撮影中に動いても、撮影者に可動部２０２の位置が基準位置でないことを知らせることができる。
【００５９】
なお、図２（ｂ）に示す構成を例に実施形態を説明したが、図２（ａ）に示す構成の場合には、φ＝０と設定すればよい。
【００６０】
また、以上の説明においては、ヒンジ角θ或いはφが基準角度以外の場合に、ステップＳ３０５で、マイクロホン１０５の位置を演算処理で求めたが、例えば、ヒンジ角θとφについて、所定の分解能で、マイクロホン１０５の位置を予め求めておき、図４（ｂ）に示すようにテーブル化して、記憶部１１３に格納しておき、ステップＳ３０２で、このテーブルをＲＡＭ上に展開し、ステップＳ３０５では、ヒンジ角θとφをキーにこのテーブルを検索してマイクロホン１０５の位置を求めるようにしてもよい。
【００６１】
なお、本発明は、折り畳み型携帯電話に限定されるものではなく、可動部を有した録画装置、又は録音装置全般に適用できる。例えば、スライド型の携帯電話、その他複数の使用スタイルを選択できる携帯電話、ビデオカメラ、電子カメラ、ムービ、ＰＤＡ、ノートパソコン、ウェアラブルパソコン、電卓、電子辞書等に適用できる。また、アプリケーションも動画撮影や録音のみに限定されず、ＴＶ電話や通話、音声認識アプリケーション等にも適用可能である。
【００６２】
また、本実施形態では、可動部２０２が回転軸ｘ、回転軸ｙの２軸周りを可動する２軸型ヒンジを備える携帯装置について説明したが、可動する範囲はこれに限定されるものでは無い。さらに、可動部２０２が基準位置でない場合、警告の方法は、モニタへのメッセージ表示に限定されるものでは無く、筐体に設置されたランプの点滅や、筐体部分の振動、スピーカ１１６からの警告音等の方法でもよい。
【００６３】
また、本実施形態では、４つのマイクロホンを図２（ａ）及び図２（ｂ）のように配置したが、マイクロホンの数が２つ以上でかつ、マイクロホンが本体部２０１と可動部２０２のそれぞれに配置されている場合であるならば、本発明を適用可能である。
【００６４】
（実施形態２）
＜撮影後、再生編集時に音源分離を行う例＞
実施形態１においては、録画・録音時に音源分離処理を実行し、音源分離処理を施した音データを記憶部１１３に記録したが、録画・録音時には、生の音データを記録し、再生・編集時に音源分離処理を施すことも可能である。このような構成の携帯装置５０１を以下に説明する。
【００６５】
携帯装置５０１は、図５に示すように、マイクロホン１０２〜１０５と、ＡＤＣ１０６と、撮影部１０７と、入力部１０８と、角度センサ１０９と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ１１５と、スピーカ１１６と、から構成される。
制御部１１０以外は、実施形態１の携帯装置１０１と同様の機能構成を有する。また、実施形態２における携帯装置５０１の外観の構成例は図２に示すものと同様とする。以下、実施形態１と異なる機能構成を有する制御部１１０について説明する。
【００６６】
制御部１１０は、機能的に、音源分離処理部１１１と、マイク位置取得部１１２と、再生編集処理部５１１と、計時部５１２と、を有する。音源分離処理部１１１及びマイク位置取得部１１２は実施形態１と同様の機能を有する。
制御部１１０は、さらに、角度センサ１０９により計測されたヒンジ角度θ、φが変更されたか否かを判別する。そして、変更されたタイミングを表す情報とヒンジ角度θ、φを対応付けて、記憶部１１３に記憶させる。
【００６７】
再生編集処理部５１１は、記憶部１１３に記憶されている画像データや音データの再生編集や、音源分離処理部１１１が処理した音データの再生又は書き込み等を行う。例えば、再生編集処理部５１１は、記憶部１１３に記憶されている音データや音源分離処理部１１１が処理した音データに対して、特定の周波数帯域の強調や音量変換等を行う。
【００６８】
計時部５１２は、録画処理開始からの経過時間を計測する。制御部１１０は、ヒンジ角度θ、φが変更された場合に、計時部５１２が計測した経過時間を新たなヒンジ角度θ、φの情報に対応付けて記憶部１１３に記憶させる。
【００６９】
また、記憶部１１３に記憶される録画データのデータ構造の例を図７に示す。録画データは、撮影部１０７から取り込んだ画像データと、マイクロホン１０２〜１０５から取り込んだ音データと、マイクロホンの基準位置等の音源分離パラメータと、録画処理開始時の可動部のヒンジ角度、φ（可動部の角度１）と、ヒンジ角度θ、φが変更された時刻及び変更されたヒンジ角度θ、φと（可動部の角度２、・・・）、から構成される。
【００７０】
以下、携帯装置５０１が行う、録画処理の動作と、再生編集処理の動作について説明する。
【００７１】
ユーザが入力部１０８に録画処理開始の指示を入力すると、入力部１０８は録画処理開始の指示を制御部１１０に送る。制御部１１０は、録画処理開始の指示を受け付けると、図６のフローチャートに示す録画処理を開始する。
【００７２】
制御部１１０は、撮影部１０７に画像の取り込みと、マイクロホン１０２〜１０５に音の取り込みとを開始させ、撮影部１０７及びマイクロホン１０２〜１０５から取り込んだデータを一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【００７３】
続いて、制御部１１０は、マイクロホンの数とそれらの３次元空間上の基準位置とを、図７に示すように、記憶部１１３に記憶する録画データのヘッダ領域に書き込む（ステップＳ６０２）。
【００７４】
次に、制御部１１０は、角度センサ１０９から送られたヒンジ角度θ、φが、基準角度と同一か否かの判別を行う（ステップＳ３０３）。
【００７５】
ヒンジ角度θ、φが基準角度と同じならば（ステップＳ３０３；Ｎｏ）、制御部１１０は、計時部５１２が計測した経過時間と、角度センサ１０９が検出したヒンジ角度θ、φの値とを録画データのヘッダ領域に書き込む（ステップ６０５）。ここで、録画開始時には、開始時のヒンジ角度θ、φが書き込まれる（図７の例では、経過時間＝０[sec]、θ＝９０°、φ＝０°）。
【００７６】
一方、ヒンジ角度θ又はφが基準角度でない場合（ステップＳ３０３；Ｙｅｓ）、制御部１１０は、可動部２０２が基準位置ではない旨を表示部１１４に表示する（ステップＳ３０４）。そして、制御部１１０は、計時部５１２が計測した経過時間と、角度センサ１０９が検出したヒンジ角度θ、φの値とを、録画データのヘッダ領域に書き込む（ステップＳ６０５）。例えば、可動部２０２が撮影開始から８秒後に基準位置から動かされ、ヒンジ角度θが４５°になったとすると、制御部１１０は、図７に示すように、可動部２０２の位置が変更された時の経過時間（変更時間）と、新たなヒンジ角度θ、φとを録画データのヘッダに書き込む。以後、可動部２０２の位置が変更された場合は、“可動部の位置の変更３”、“可動部の位置４”…、とその都度、経過時間（変更時間）とヒンジ角度θ、φを記憶する。
【００７７】
ヘッダへの書き込みが終了すると、制御部１１０は、記憶部１１３に画像データと、音データとを書き込む（ステップＳ６０６）。
【００７８】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がなければ（Ｓ３０９；Ｎｏ）、制御部１１０は、ヒンジ角度θ、φに変更があるか否かを判別する（ステップ３１１）。ヒンジ角度θ、φに変更がある場合（ステップＳ３１１；Ｙｅｓ）、制御部１１０は、ステップＳ３０３以降の処理を繰り返す。ヒンジ角度θ、φに変更がない場合は（ステップＳ３１１；Ｎｏ）、引き続き画像データと音データとを記憶部１１３に書き込む（ステップＳ６０６）。
【００７９】
録画処理終了の指示を受け付けた場合（ステップＳ３０９；Ｙｅｓ）、録画処理を終了する。
【００８０】
このようにして、記録部１１３には、録画・録音開始後の各時点における、画像データと音データ、さらに、各マイクロホンの位置を特定し得る情報が蓄積される。
【００８１】
次に、記憶部１１３に記憶されたデータを再生、編集する動作について図８を用いて説明する。
【００８２】
ユーザが入力部１０８に、録画データの選択、再生編集の開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、指示を受け付けると、図８のフローチャートに示す処理を開始する。
【００８３】
制御部１１０は、まず、記憶部１１３に記憶された録画データを選択し、必要な情報の読み込み等を開始する（ステップＳ８０１）。続いて、制御部１１０は、録画時におけるマイクロホンの数とそれらの３次元空間上の基準位置等のパラメータを録画データのヘッダ領域から呼び出す（ステップＳ８０２）。次に、ユーザより音源分離処理を行う指示が与えられているかどうかの判別を行う（ステップＳ８０３）。
【００８４】
ユーザより音源分離指示が与えられていなければ（ステップＳ８０３；Ｎｏ）、記憶された音データを呼び出し（ステップＳ８１２）、画像データとともに、音データをそのまま再生する（ステップＳ８１０）。例えば、ユーザがデータの再生後しばらくは録音された音データをそのまま再生したい場合は、モノラル再生の場合は記憶部１１３に記憶された複数の音データの内一つを再生し、ステレオ再生の場合は、二つの音データを再生する。例えば、マイクロホン１０２〜１０５から取り込んだ音データを再生する。
【００８５】
ユーザより音源分離処理を行う指示が与えられると（ステップＳ８０３；Ｙｅｓ）、制御部１１０は、記憶部１１３に記憶された複数の音データを用いて音源分離処理を行う。まず、制御部１１０は、ユーザより指示された音源分離効果に対応した音源分離パラメータを取得する（ステップＳ８０４）。例えば、ユーザがタッチパネル等で画面内に存在する音源に接触して指定し、その音源のみを抽出する指示をした場合、制御部１１０は、その画面内に存在する音源の位置から、抽出すべき音源の到来方向の範囲等を取得する。
【００８６】
次に、制御部１１０は、再生編集中の録画データの経過時間が、可動部２０２の位置が変更された変更時間に達しているかどうかの判別を行う（ステップＳ８０５）。経過時間が変更時間に達した場合（ステップＳ８０５；Ｙｅｓ）、そのタイミングにおけるヒンジ角度θ２０３、φ２０４に基づき、マイク位置を取得する（ステップＳ８０６）。この時、ヒンジ角度θ２０３が９０°、φ２０４が０°の場合を基準位置であるとした場合に、ヒンジ角度θ２０３が９０°、φ２０４が０°であるならば、マイク位置を新たに取得する必要は無く、録画データのヘッダ領域に書き込まれている初期マイク位置を読み出せばよい。また、実施形態１と同様に、マイク位置の取得方法は、θ２０３、φ２０４の値に基づいて幾何学的な計算で求めてもよいし、図４のようなテーブルから求めるようにしてもよい。そして、制御部１１０は求めたマイク位置を音源分離処理部１１１に送り、音源分離処理部１１１は、受け付けたマイク位置を音源分離パラメータとして設定する（ステップ８０７）。
【００８７】
一方、再生編集中の録画データの経過時間が変更時間に達していない場合（ステップＳ８０５；Ｎｏ）、すでに求めたマイク位置を音源分離パラメータとして設定する（ステップＳ８１３）。
【００８８】
音源分離処理部１１１は、記憶部１１３に記憶されたマイクロホン１０２〜１０５より取り込んだ全音データを読み出す（ステップＳ８０８）。その後、音源分離処理部１１１は、音源分離パラメータを基に、複数の音データに対し音源分離を行う（ステップＳ８０９）。
【００８９】
再生編集処理部５１１は、音源分離処理後の音データを記憶された画像データとともに再生を行い、又は音源分離処理後の音データを記憶部１１３に記憶させる（ステップＳ８１０）。
【００９０】
次に、制御部１１０はユーザによる再生編集終了の指示があるか否かを判別する（ステップＳ８１１）。再生編集終了の指示を受け付けた場合（ステップＳ８１１；Ｙｅｓ）、再生編集処理を終了する。制御部１１０は、再生編集終了の指示を受け付けない場合（ステップＳ８１１；Ｎｏ）、ステップＳ８０３からの処理を繰り返す。
【００９１】
本実施形態によれば、可動部２０２を有する携帯装置１０１において、再生編集時に音源分離処理を行う場合に、可動部２０２の位置が基準位置と異なっていても、保存された経過時間とマイク位置を用いることによって、音源分離処理後の音データの品質劣化を防ぐことが可能となる。また、撮影時に、撮影者に可動部２０２の位置が基準位置でないことを知らせることができる。
【００９２】
なお、本実施形態において、録画、録音時に可動部２０２が動かされた場合に、その経過時間とヒンジ角度θ２０３、φ２０４の値を記憶する例を挙げたが、一定時間毎に逐一ヒンジ角度θ２０３、φ２０４の値を記憶してもよい。さらに、録画、録音時にθ、φの値を保存するのではなく、録画、録音の時点でθ、φの値からマイク位置を取得し、記憶部１１３にマイク位置そのものを保存してもよい。これによって、データ記憶時のファイル容量は増加するが、再生、編集時に音源分離処理を行う際のマイク位置取得処理は省けるため、計算リソースが限られていて、リアルタイム性が求められる場合等に有効である。
【００９３】
また、実施形態２では、計時部５１２は録画処理開始からの経過時間を計測したが、記憶された音データにおいて何時ヒンジ角度が変更されたかがわかればよいので、例えば日時等を計測するようにしてもよい。
【００９４】
また、実施形態２では、音源分離効果の例を任意の音源の抽出としたが、任意の音源を抑圧する場合も同様に実施可能である。さらに、任意の１点の音源だけでなく、複数の音源に対しても、抽出、抑圧の音源分離効果を指定できる。
【００９５】
また、撮影後、記憶データの編集処理を行う場合において、編集後のデータは、元の複数の音声データを上書きする場合や、別のデータ領域に記憶する方法が考えられ、それらの判断は編集時にユーザが決めることができる。元の音声データを上書きせずに残しておいた場合は、何度でも音源分離効果の編集処理が可能である。保存後の音データについて、一般的な動画再生機器で再生できる形式（例えば、ＰＣで再生可能な動画フォーマットＡＶＩ（Audio Video Interleave）やビデオカメラの録画フォーマットであるＡＶＣＨＤ（Advanced Video Codec High Definition）など）で画像データと合わせて記憶することもできる。このような一般的な動画記録形式で保存しておけば、再生機器を問わず録画データの再生が可能となる。
【００９６】
また、実施形態１で述べたものと同様に、マイクロホンが２つ以上であるならば、本実施形態は適用でき、可動部の可動方向については図２における回転軸ｘ、回転軸ｙの軸に限定されるものでは無く、さらに可動部が撮影時に所定の位置では無い旨を伝える手段も本実施形態に限定されるものではない。
【００９７】
（実施形態３）
＜可動部が所定の位置かどうかのみが判別できるスイッチ判別機構を有する携帯装置において、音源分離と同時に録画を行う例＞
実施形態１及び実施形態２では、角度センサを有している携帯装置について説明したが、コスト、デザイン等の点で、角度センサが設置できないような場合が想定される。
実施形態３では、可動部の位置が基準位置かどうかのみがわかるスイッチ判別機構を有し、録画もしくは録音時に音源分離処理を行い、音源分離処理を施した音データを記憶する携帯装置９０１について説明する。
【００９８】
携帯装置９０１は、図９に示すように、マイクロホン１０２〜１０５と、ＡＤＣ１０６と、撮影部１０７と、入力部１０８と、スイッチ判別機構９０２と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ１１５と、スピーカ１１６と、から構成される。
【００９９】
また、本実施形態の携帯装置９０１は、外観上、携帯装置９０１ａ及び携帯装置９０１ｂの２つの構成を取り得る。携帯装置９０１ａは一般的なビデオカメラや、動画撮影機能付きの携帯電話等に用いられる形態である。携帯装置９０１ａは本体部２０１と可動部２０２と、携帯装置９０１ｂは本体部２０５と可動部２０６とから構成され、可動部２０２、２０５はヒンジ機構を介して本体部２０１、２０５に設置される。携帯装置９０１ａにおいて、マイクロホン１０２、１０３、１０４は本体部２０１に、マイクロホン１０５は可動部２０２に設置される。一方、携帯装置９０１ｂにおいては、マイクロホン１０２は本体部２０５に設置され、マイクロホン１０３、１０４、１０５は可動部２０６に設置される。実施形態１と同様に、撮影部１０７を基準に直行座標系を設定し、この座標系でマイク位置を決定する。
【０１００】
以下、携帯装置９０１の特徴的な機能を提供するスイッチ判別機構９０２について説明する。
【０１０１】
スイッチ判別機構９０２は、可動部２０２、２０６の位置が基準位置か否かの判別ができる機構であり、マイクロスイッチ或いはマグネットスイッチ等から構成される。スイッチ判別機構９０２は、判別結果（スイッチ判別信号）を制御部１１０に送る。例えば、可動部２０２、２０６が基準位置にある場合は、スイッチ判別機構９０２は、制御部１１０に“１”の信号を送り、そうでない場合は“０”の信号を送る。
【０１０２】
スイッチ判別機構９０２を有する携帯装置９０１において、携帯装置９０１の姿勢が変更されると、本体部２０１、２０５と可動部２０２、２０６の位置関係を検出することができない。したがって、基準となる撮影部１０７と異なる筐体に設置されたマイクロホンのマイク位置を検出することができない。このような場合、マイク位置を検出できないマイクロホンから取り込んだ音データを用いて音源分離処理を施すと、音源分離処理後の音データの品質が低下するおそれがある。以下、上記マイクロホンから取り込んだ音データを音源分離処理に使用しない録画処理について説明する。
【０１０３】
ユーザが入力部１０８に録画処理開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、録画処理開始及び音源分離処理開始の指示を受け付けると、図１１のフローチャートに示す録画処理を開始する。
【０１０４】
制御部１１０は、まず、撮影部１０７に画像の取り込みと、マイクロホン１０２〜１０５に音の取り込みとを開始させ、一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【０１０５】
続いて、制御部１１０は、予め記憶部１１３に記憶された音源分離パラメータをＲＡＭ等に呼び出す（ステップＳ３０２）。
【０１０６】
次に、制御部１１０は、スイッチ判別機構９０２から送られたスイッチ判別信号を判別する（ステップＳ１１０３）。
【０１０７】
スイッチ判別信号が“１”の（可動部の位置が基準位置である）場合（Ｓ１１０３；Ｎｏ）、制御部１１０は、初期マイク位置を音源分離処理部１１１に送り、音源分離処理部１１１は初期マイク位置を音源分離パラメータとして設定する（ステップＳ３１０）。
【０１０８】
一方、スイッチ判別信号が“０”の（可動部の位置が基準位置でない）場合（ステップＳ１１０３；Ｙｅｓ）、制御部１１０は、可動部２０２、２０６が基準位置ではない旨を表示部１１４に表示させる（ステップＳ３０４）。例えば、撮影中の表示部１１４に“マイクの位置を基準位置にして下さい。”等のメッセージを表示する。
【０１０９】
次に、制御部１１０は、スイッチ判別機構９０２の結果に基づいて、音源分離処理に用いる音データを取り込むマイクロホンを選択する（ステップＳ１１０５）。携帯装置９０１ａにおいて、撮影部１０７を備える本体部２０１に設置されたマイクロホン１０２〜１０４は、撮影部１０７との位置関係に変更が生じずマイクロホンの基準位置のままである。一方、可動部２０２が基準位置から動かされるとマイクロホン１０５の位置が初期マイク位置からずれる。従って、スイッチ判別信号＝“１”の場合、制御部１１０はマイクロホン１０２〜１０５を選択し、スイッチ判別信号＝“０”の場合、制御部１１０はマイクロホン１０２〜１０４を選択する。
【０１１０】
また、携帯装置９０１ｂの場合には、可動部２０６が動かされても、可動部２０６に設置されたマイクロホン１０３〜１０５と撮影部１０７の位置関係に変更は生じない。一方、本体部２０５に設置されたマイクロホン１０２は、撮影部１０７との位置関係が変化するので、マイクロホンの基準位置からずれることになる。従って、スイッチ判別信号＝“１”の場合、制御部１１０はマイクロホン１０２〜１０５を選択し、スイッチ判別信号＝“０”の場合、制御部１１０はマイクロホン１０３〜１０５を選択する。
【０１１１】
さらに、制御部１１０は、選択したマイクロホンのマイク位置を求める。音源分離処理用の音データを取り込むマイクロホンは、筐体の姿勢から求まる。したがって、スイッチ判別信号とマイク位置の対応関係を、図１２（ａ）（携帯装置９０１ａの場合）又は図１２（ｂ）（携帯装置９０１ｂの場合）のようなテーブルにしておき、予め音源分離処理部１１１や、記憶部１１３に記憶させておくことができる。制御部１１０は、スイッチ判別信号の値をキーにしてマイク位置の情報を求める。
【０１１２】
制御部１１０は選択したマイクロホンとマイク位置の情報とを音源分離処理部１１１に送り、音源分離処理部１１１は選択したマイクロホンのマイク位置を音源分離パラメータとして設定する（ステップＳ１１０６）。
【０１１３】
音源分離処理部１１１は、音源分離パラメータを基に選択されたマイクロホンから取り込んだ音データに対して音源分離を行う（ステップＳ１１０７）。すなわち、携帯装置９０１ａにおいては、初期マイク位置からずれたマイクロホン１０５以外から取り込んだ音データを、携帯装置９０１ｂにおいては、初期マイク位置からずれたマイクロホン１０２以外から取り込んだ音データを、音源分離処理に用いる。これにより音源分離後の音データの品質劣化を防ぐことができる。制御部１１０は、画像データと、音源分離処理後の音データとを記憶部１１３に書き込む（ステップＳ３０８）。
【０１１４】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がない場合（ステップＳ３０９；Ｎｏ）、制御部１１０は、スイッチ判別信号に変更があるか否かを判別する（ステップＳ１１１１）。スイッチ判別信号に変更がある場合（ステップＳ１１１１；Ｙｅｓ）、ステップＳ１１０３以降の処理を繰り返す。スイッチ判別信号に変更がない場合（ステップＳ１１１１；Ｎｏ）、音データに対して引き続き音源分離処理を施し（ステップＳ１１０７）、処理後の音データを記憶部１１３に書き込む（ステップＳ３０８）。
【０１１５】
録画処理終了の指示を受け付けた場合（ステップＳ３０９；Ｙｅｓ）、録画処理を終了する。
【０１１６】
本実施形態によれば、可動部２０２、２０６を撮影中に動かしてしまっても、可動部２０２、２０６の位置が基準位置か否かのみが判別できる廉価なスイッチ判別機構を用いて、音源分離処理後の音データの品質劣化を防ぐことができる。また、モニタ上に警告等を表示し基準位置に戻すことを促すことができる。
【０１１７】
なお、本実施形態で説明した発明は、図１０に示したような外観上の構成例に限定されるものではなく、複数のマイクロホンが本体部と可動部のそれぞれに設置された情報処理装置に適用可能である。
【０１１８】
（実施形態４）
＜可動部が所定の位置かどうかのみが判別できるスイッチ判別機構を有する携帯装置において、撮影後、再生編集時に音源分離を行う例＞
実施形態４では、可動部の位置が基準位置かどうかのみがわかるスイッチ判別機構を有し、複数のマイクロホンの取り込んだ音データを記憶部に記憶し、再生編集時に音源分離処理を行う携帯装置１３０１について説明する。
【０１１９】
携帯装置１３０１は、図１３に示すように、マイクロホン１０２〜１０５と、ＡＤＣ１０６と、撮影部１０７と、入力部１０８と、スイッチ判別機構９０２と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ１１５と、スピーカ１１６と、から構成される。
制御部１１０は実施形態２と同様の機能構成を有する。
制御部１１０以外は、実施形態３の携帯装置９０１と同様の機能構成を有する。
また、携帯装置１３０１の外観上の構成は図１０に示すものと同様とする。
【０１２０】
以下、スイッチ判別機構９０２を備える携帯装置１３０１が行う録画処理について説明する。
【０１２１】
ユーザが入力部１０８に録画処理開始の指示を入力すると、入力部１０８は録画処理開始の指示を制御部１１０に送る。制御部１１０は、録画処理開始の指示を受け付けると、図１４のフローチャートに示す処理を開始する。
【０１２２】
制御部１１０は、撮影部１０７に画像の取り込みと、マイクロホン１０２〜１０５に音の取り込みとを開始させ、撮影部１０７及びマイクロホン１０２〜１０５から取り込んだデータを一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【０１２３】
続いて、制御部１１０は、マイクロホンの数とそれらの３次元空間上の基準位置とを、記憶部１１３に記憶する録画データのヘッダ領域に書き込む（ステップＳ６０２）。
【０１２４】
次に、制御部１１０はスイッチ判別機構９０２から送られたスイッチ判別信号を判別する（ステップＳ１１０３）。スイッチ判別信号が“１”の場合（ステップＳ１１０３；Ｎｏ）、計時部５１２が計測した時間とスイッチ判別信号の値“１”を、図１５のように、録画データのヘッダ領域に書き込む（ステップＳ１４０５）。
【０１２５】
一方、スイッチ判別信号が“０”の場合（ステップＳ１１０３；Ｙｅｓ）、制御部１１０は、可動部２０２、２０６が基準位置ではない旨を表示部１１４に表示させる（ステップＳ３０４）。そして、制御部１１０は、計時部５１２が計測した経過時間とスイッチ判別信号の値“０”を録画データのヘッダ領域に書き込む（ステップＳ１４０５）。例えば、可動部２０２が撮影開始から８秒後に基準位置から動かされたとすると、制御部１１０は、図１５に示すように、可動部２０２の位置が変更された時の経過時間（変更時間）と、スイッチ判別信号“０”を録画データのヘッダに書き込む。
【０１２６】
ヘッダへの書き込みが終了すると、制御部１１０は、ステップＳ１１０５と同様に、スイッチ判別信号の値に基づいて、記憶する音データを取り込んだマイクロホンを選択する（ステップＳ１４０６）。
【０１２７】
そして、制御部１１０は、画像データと、選択したマイクロホンから取り込んだ音データとを記憶部１１３に書き込む（ステップＳ１４０７）。
【０１２８】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がない場合（Ｓ３０９；Ｎｏ）、制御部１１０は、スイッチ判別信号に変更があるか否かを判別する（ステップＳ１１１１）。スイッチ判別信号に変更がある場合（ステップＳ１１１１；Ｙｅｓ）、ステップＳ１１０３以降の処理を繰り返す。スイッチ判別信号に変更がない場合（ステップＳ１１１１；Ｎｏ）、引き続き画像データと音データとを記憶部１１３に書き込む（ステップＳ１４０７）。
【０１２９】
録画処理終了の指示を受け付けた場合（ステップＳ３０９；Ｙｅｓ）、録画処理を終了する。
【０１３０】
次に、記憶部１１３に記憶されたデータを再生、編集する動作について図１６を用いて説明する。
【０１３１】
ユーザが入力部１０８に、録画データの選択、再生編集の開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、指示を受け付けると、図１６に示すフローチャートの処理を開始する。
【０１３２】
制御部１１０は、まず、記憶部１１３に記憶された録画データを選択し、必要な情報の読み込み等を開始する（ステップＳ８０１）。続いて、制御部１１０は、録画時におけるマイクロホンの数とそれらの３次元空間上の基準位置等のパラメータを録画データのヘッダ領域から呼び出す（ステップＳ８０２）。次に、ユーザより音源分離処理を行う指示が与えられているかどうかの判別を行う（ステップＳ８０３）。
【０１３３】
ユーザより音源分離指示が与えられていなければ（ステップＳ８０３；Ｎｏ）、記憶された音データを呼び出し（ステップＳ８１２）、画像データとともに、音データをそのまま再生する（ステップＳ８１０）。
【０１３４】
ユーザより音源分離処理を行う指示が与えられると（ステップＳ８０３；Ｙｅｓ）、制御部１１０は、記憶部１１３に記憶された複数の音データを用いて音源分離処理を行う。まず、ユーザより指示された音源分離処理の種類に対応した音源分離パラメータを取得する（ステップＳ８０４）。
【０１３５】
次に、制御部１１０は、再生編集中の録画データの経過時間が、可動部２０２の位置が変更された変更時間に達しているかどうかの判別を行う（ステップＳ８０５）。経過時間が変更時間に達した場合（ステップＳ８０５；Ｙｅｓ）、音源分離に悪影響を与えないマイクロホンのマイク位置を、ヘッダ領域に記録されたスイッチ判別信号と図１２（ａ）又は図１２（ｂ）のテーブルとから求める（Ｓ１６０６）。そして、音源分離処理部１１１は求めたマイク位置の情報を音源分離パラメータとして設定する（Ｓ１６０７）。
【０１３６】
一方、再生編集中の録画データの経過時間が変更時間に達していない場合（ステップＳ８０５；Ｎｏ）、すでに求めたマイク位置を音源分離パラメータとして設定する（ステップＳ８１３）。
【０１３７】
次に、選択されたマイクロホンの音データを、記憶部１１３から呼び出す（Ｓ１６０８）。その後、音源分離処理部１１１は、音源分離パラメータを基に、複数の音データに対し音源分離を行う（ステップＳ８０９）。
【０１３８】
以下、実施形態２のステップ８１０以降と同様の処理を行う。
【０１３９】
本実施形態によれば、可動部２０２及び廉価なスイッチ判別機構を有する携帯装置１３０１において、再生編集時に音源分離処理を行う場合に、可動部２０２の位置が基準位置と異なっていても、保存された経過時間とマイク位置を用いることによって、音源分離処理後の音データの品質劣化を防ぐことが可能となる。
【０１４０】
なお、本実施形態では録画時の動作において、可動部の位置にかかわらず、マイクロホン４個の音声データ全てを常に記憶したが、可動部の位置が所定の位置で無い場合、音源分離に悪影響を与えるマイクロホンの入力データは音源分離には使用しないので、記憶をしなくてもよい。これによって保存データの容量を削減することができる。
【符号の説明】
【０１４１】
１０１、１０１ａ、１０１ｂ、５０１、９０１、１３０１…携帯装置、１０２、１０３、１０４、１０５…マイクロホン、１０６…ＡＤＣ、１０７…撮影部、１０８…入力部、１０９…角度センサ、１１０…制御部、１１１…音源分離処理部、１１２…マイク位置取得部、１１３…記憶部、１１４…表示部、１１５…ＤＡＣ、１１６…スピーカ、２０１、２０５…本体部、２０２、２０６…可動部、２０３…回転軸ｘ周りに本体部と可動部がなすヒンジ角度θ、２０４…回転軸ｙ周りに本体部と可動部がなすヒンジ角度φ、５１１…再生編集処理部、５１２…計時部、９０２…スイッチ判別機構
【技術分野】
【０００１】
本発明は、複数のマイクロホンを備える音データ処理装置に関する。
【背景技術】
【０００２】
複数のマイクロホンで音声を取り込み、特定の音声を抽出あるいは抑圧する音源分離技術が知られている（例えば、非特許文献１）。この音源分離技術は、近年では、ビデオカメラ、携帯電話、ＩＣレコーダ等の携帯機器に広く適用されている。
例えば、特許文献１には、音源分離機能を備えるビデオカメラの録音装置が開示されている。この録音装置は、ビデオカメラの被写体へのフォーカシングに同期して、マイクロホンの指向特性を被写体にフォーカシングし、被写体からの音声信号を抽出して臨場感の高い録音を可能とする。
また、特許文献２には、動画撮影時に複数マイクロホンの音声を画像と共に記録し、撮影後に、画像内に表示された音源の音に対して音源分離を行う音声データ編集装置が開示されている。
【０００３】
上記のような、音源分離の性能・解像度の保持のためには、一定数のマイクロホンが必要である。また、各マイクロホンの間隔も一定の間隔が必要な場合がある。さらに、音源の分析方向の範囲を広げるためには、マイクロホンを平面的に配置するだけでなく、立体的に配置する必要がある。しかし、ビデオカメラや、携帯電話等の携帯端末においては、マイクロホンを設置可能な部位が限られているため、複数のマイクロホンを理想的な位置に設置することは難しい。
【０００４】
そこで、可動部（例えば、ビデオカメラのモニタ部を有した筐体、折り畳みタイプやスライドタイプの携帯電話のモニタ部を有した筐体）を有する携帯端末にあっては、可動部にもマイクロホンを配置している。
【０００５】
可動部にマイクロホンを配置した場合、可動部の動きにより、マイクロホンが予定位置からずれてしまい、音源処理を適切に実行できず、音源分離処理後の音データの品質が低下する場合がある。さらに、原音声をも劣化させてしまう事態が想定される。しかし、上述した特許文献１及び２に開示されている技術は、マイクロホンの位置（マイク位置）が撮影時に変化することは考慮していない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−３０８５５３号公報
【特許文献２】特開２００８−１３１１６８号公報
【非特許文献】
【０００７】
【非特許文献１】戸上真人，天野明雄，新庄広，鴨志田亮太，“人間共生ロボットＥＭＩＥＷの聴覚機能”，人工知能学会，ｐｐ．５９−６４，２００５／１０／１４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した問題に鑑みてなされたものであり、録音時のマイクロホンの位置が予め設定された位置と異なっても、音源分離後の音データの劣化を防ぐことを目的とする。
また、本発明は、可動部にマイクロホンが設置された電子機器において、適切に音源分離処理を可能とすることを他の目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする。
【００１０】
本発明の第２の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記選択されたマイクロホンの位置関係に基づいて、前記選択されたマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする。
【００１１】
好ましくは、
前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と同じ場合に、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段をさらに備え、
前記音源分離手段は、前記複数のマイクロホンの前記位置関係が前記所定の位置関係と同じ場合に、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す、
ことを特徴とする。
【００１２】
さらに好ましくは、
前記音源分離手段により音源分離処理が施された音データを記録する手段をさらに備える、ことを特徴とする。
【００１３】
本発明の第３の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする。
【００１４】
本発明の第４の観点に係る音データ処理装置は、
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記マイクロホン選択手段で選択した前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホン選択手段で選択した前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする。
【００１５】
好ましくは、
前記マイク位置特定情報取得手段は、前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段をさらに備え、
前記マイク位置特定情報は、前記第１の筐体と前記第２の筐体との前記位置関係を示す情報を含む、
ことを特徴とする。
【００１６】
また、好ましくは、
前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備え、
前記マイク位置特定情報は、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係を特定する情報を含む、
ことを特徴とする。
【００１７】
さらに好ましくは、
前記マイク位置特定情報は、前記マイクロホンの位置関係が変化したタイミングを特定する情報、または、録音時点でのマイクロホンの位置関係を特定する情報、を含む、
ことを特徴とする。
【００１８】
また、さらに好ましくは、
前記第１の筐体と第２の筐体との前記位置関係が前記所定の位置関係と異なる場合に警告を行う警告手段
をさらに備えることを特徴とする。
【００１９】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備えることを特徴とする。
【００２０】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備え、
音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする。
【００２１】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備えることを特徴とする。
【００２２】
また、さらに好ましくは、
音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備え、
音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする。
【００２３】
また、さらに好ましくは、
前記記録媒体に記録された音データ、又は、前記音源分離手段により音源分離処理が施された音データに対し音編集処理を施す音編集手段
をさらに備えることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、可動部に設置されたマイクロホンを有する携帯機器において、可動部が撮影又は録音中に動かされたとしても、音源分離後の音データの劣化を防ぐことが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態１に係る携帯装置の機能構成の一例を示すブロック図である。
【図２】（ａ）及び（ｂ）は、本発明の実施形態１に係る携帯装置の外観上の構成例を示す図である。
【図３】本発明の実施形態１に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図４】（ａ）は、マイクロホンの基準位置を示すテーブルの例であり、（ｂ）は、ヒンジ角θとφの変化とマイクロホンの位置との関係を示すテーブルの例である。
【図５】本発明の実施形態２に係る携帯装置の機能構成の一例を示すブロック図である。
【図６】本発明の実施形態２に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図７】本発明の実施形態２に係る録画データの例を示す図である。
【図８】本発明の実施形態２に係る携帯装置の再生編集処理の流れを示すフローチャート図である。
【図９】本発明の実施形態３に係る携帯装置の機能構成の一例を示すブロック図である。
【図１０】（ａ）及び（ｂ）は、本発明の実施形態３に係る携帯装置の外観上の構成例を示す図である。
【図１１】本発明の実施形態３に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図１２】（ａ）は、携帯装置９０１ａにおける、スイッチ判別信号とマイクロホンの位置との対応関係の例を示す図であり、（ｂ）は、携帯装置９０１ｂにおける、スイッチ判別信号とマイクロホンの位置との対応関係の例を示す図である。
【図１３】本発明の実施形態４に係る携帯装置の機能構成の一例を示すブロック図である。
【図１４】本発明の実施形態４に係る携帯装置の録画処理の流れを示すフローチャート図である。
【図１５】本発明の実施形態４に係る録画データの例を示す図である。
【図１６】本発明の実施形態４に係る携帯装置の再生編集処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【００２６】
以下、音データ処理機能及び動画撮影機能を有する折り畳み型の携帯電話等の携帯装置に本発明が適用される実施の形態を説明する。また、特定の音源のみの抽出又は抑圧を行う技術を総称して音源分離処理と呼ぶ。
【００２７】
（実施形態１）
＜録画時に、可動部を有する携帯装置の姿勢を判別し、判別した姿勢に従って音源分離処理を適切に行う例＞
本実施形態では、本体部と可動部とを備える携帯装置１０１において、本体部と可動部とがなす角度に応じて、音源分離処理を適切に行い、音源分離処理を施した音データを画像と共に記憶する携帯装置１０１について説明する。
【００２８】
本実施形態の携帯装置１０１は、図１に示すように、マイクロホン１０２〜１０５と、ＡＤＣ（Analog to Digital Converter）１０６と、撮影部１０７と、入力部１０８と、角度センサ１０９と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ（Digital to Analog Converter）１１５と、スピーカ１１６と、を備える。
【００２９】
マイクロホン１０２〜１０５は、音を集音し、集音した音をアナログ信号に変換する。後述するように、マイクロホン１０２〜１０４は、本体に、マイクロホン１０５は、可動部に配置されている。
【００３０】
ＡＤＣ１０６はマイクロホン１０２〜１０５から入力された音データのアナログ信号をデジタル信号に変換し、そのデジタル信号を制御部１１０に送る。
【００３１】
撮影部１０７は、本体に設置され、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成され、映像を電気信号に変換し、映像信号を制御部１１０に送る。
【００３２】
入力部１０８は、電源スイッチや録音又は録画ボタン、映像ズーム倍率の指定、音源抽出や抑圧等の音源分離処理の効果（音源分離効果）を指定するためのボタン等から構成される。ユーザよりズーム制御や音源分離処理等の各種制御処理の指示を受け付け、その指示情報を制御部１１０に送る。
【００３３】
角度センサ１０９は、ロータリー・エンコーダ、ジャイロセンサ等から構成され、表示部１１４を備える可動部に設置される。角度センサ１０９は、本体部と可動部とのなす角度（後述するヒンジ部の角度（ヒンジ角度））を検出し、その角度情報を制御部１１０に送る。
【００３４】
制御部１１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とから構成される。制御部１１０は、記憶部１１３に格納されているプログラムを実行し、携帯装置１０１本来の機能を実行すると共に、音データ処理装置としての動作も実行し、例えば、図３のフローチャートに示す処理を実行する。
【００３５】
制御部１１０は、機能的に、音源分離処理部１１１及びマイク位置取得部１１２を有する。
【００３６】
音源分離処理部１１１はＡＤＣ１０６から送られた複数の音データに対し、入力部１０８から送られた指示に基づいて音源分離処理を施す。音源分離処理部１１１は、角度センサ１０９の検出値に基づいて、その時点におけるマイクロホン１０２〜１０５の実際の位置に基づいて、音源分離を行う。
なお、音源分離処理部１１１で行われる音源分離は、所定のデジタル信号処理に基づいた処理や、あるいはそれ以外のアルゴリズムを任意に適用可能である。
【００３７】
マイク位置取得部１１２は、可動部の位置が基準位置(例えば、図２（ｂ）においてθ=９０°、φ=０°等)でない場合に、角度センサ１０９が検出したヒンジ角度を基に、マイクロホン１０２〜１０５の位置を、幾何学的な計算で求め、音源分離処理部１１１にその情報を送る。なお、マイク位置の求め方自体は任意である。
【００３８】
記憶部１１３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等から構成され、撮影部１０７から取り込んだ画像データ、音源分離処理後の音データ、マイクロホンの基準位置（可動部が基準位置にあるときのマイクロホンの位置）の情報等の音源分離処理の際に使用される諸情報（音源分離パラメータ）、及び音源分離処理部１１１から得た情報等を格納する。また、制御部１１０が行う処理に係るプログラム等を格納する。
予め記憶部１１３に記憶される音源分離パラメータは、マイクロホンの基準位置の情報と、音源分離効果に関する情報（音源の強調量、周囲音の抑圧量等）と、音源到来方向の範囲（その範囲内に位置する音源からの音を強調又は減衰する）等から構成される。例えば、音源到来方向の範囲は撮影時の映像ズームの段階と、予め対応付けて記憶されてもよい。
【００３９】
表示部１１４は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬディスプレイ（organic Electro-Luminescence display）、及びドライバ等から構成され、撮影部１０７で撮影した映像や、撮影モード等の諸情報を表示する。
【００４０】
ＤＡＣ１１５は音データを出力する際に、デジタル信号をアナログ信号に変換し音出力部１１６に送る。
【００４１】
音出力部１１６は増幅器、スピーカ等から構成され、ＤＡコンバータ１１５からの信号に基づいて音を出力する。
【００４２】
次に、携帯装置１０１の機械的構成について説明する。
携帯装置１０１は、図２（ａ）、（ｂ）に例示するように、本体部２０１と、可動部２０２と、これらを連結するヒンジ部と、から構成される。
本体部２０１には、マイクロホン１０２〜１０５，撮影部１０７が固定されており、可動部２０２には、マイクロホン１０５が配置されている。
図２（ａ）は、可動部２０２が一方向に開閉する携帯装置１０１ａを、図２（ｂ）は、可動部２０２が２軸の周りを動く携帯装置１０１ｂを、それぞれ、示している。
【００４３】
図２（ａ）に示す携帯装置１０１ａにおいて、ヒンジ部は、１軸型のヒンジ機構から構成され、角度センサ１０９はヒンジ部に設置され、本体部２０１と可動部２０２がなす角度θを測定する。可動部２０２に設置されたマイクロホン１０５の位置はヒンジ角度θから求まる。
【００４４】
一方、図２（ｂ）に示す携帯装置１０１ｂにおいて、ヒンジ部は２軸型ヒンジ機構から構成される。２軸型ヒンジ機構は相互に直交する軸（回転軸ｘ、回転軸ｙ）を有し、可動部２０２は回転軸ｘ周りに回転可能であると共に回転軸ｙ周りに回転可能である。角度センサ１０９は、回転軸ｘ周りにおける本体部２０１と可動部２０２とがなす角度θと、回転軸ｙ周りにおける本体部２０１と可動部２０２とがなす角度φと、を検出する。可動部２０２に設置されたマイクロホン１０５の位置はヒンジ角度θ及びφから求まる。
【００４５】
なお、以下の説明では、理解を容易にするため、携帯装置１０１ｂに関して説明する。
【００４６】
マイクロホン１０２〜１０４は本体部２０１に配置され、マイクロホン１０５は可動部２０２に配置される。ここで、図２（ｂ）に示すように、撮影部１０７の光軸をｚ軸とし、互いに垂直なｘ軸、ｙ軸、及びｚ軸から構成される直交座標系を設定する。マイクロホン１０２〜１０５の３次元空間上の位置は、この直交座標系で定義される。マイクロホン１０５の位置及びマイクロホン１０２〜１０５の位置関係は、携帯装置１０１ｂの姿勢によって変化する。
【００４７】
以下、携帯装置１０１ｂにおいて実行される録画処理について説明する。なお、映像の撮影・保存等の一般的な撮影装置としての動作は従来と同一であるため、本実施形態に特有な音源分離処理を中心に説明する。
【００４８】
ユーザが入力部１０８に録画処理開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、録画処理開始及び音源分離処理開始の指示に応答し、図３のフローチャートに示す録画処理を開始する。
【００４９】
制御部１１０は、まず、撮影部１０７に画像の取り込みを開始させ、マイクロホン１０２〜１０５に音の取り込みを開始させる。さらに、制御部１１０は、撮影部１０７及びマイクロホン１０２〜１０５から取り込んだデータを一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【００５０】
続いて、制御部１１０は、予め記憶部１１３に記憶された音源分離パラメータをＲＡＭ等に読み出す（ステップＳ３０２）。
【００５１】
次に、制御部１１０は、角度センサ１０９から送られたヒンジ角度θとφが基準角度と同一か否か、即ち、θ＝９０°、φ＝０°であるか否かを判別する（ステップＳ３０３）。
【００５２】
ヒンジ角度θ、φが共に基準角度と同一ならば（ステップＳ３０３；Ｎｏ）、制御部１１０は、ステップＳ３０２で読み出しておいたマイクロホンの基準位置の情報を音源分離処理部１１１に送り、音源分離処理部１１１は初期マイクロホンの基準位置の情報を音源分離パラメータとして設定する（ステップＳ３１０）。
続いて、音源分離処理部１１１は音源分離パラメータを基に、ＡＤＣ１０６を介して供給されるマイクロホン１０２〜１０５からの音データに、音源分離処理を施す（ステップＳ３０７）。例えば、ユーザが指示した分離対象音源が撮影部１０７のフォーカス位置の音源、音源分離処理の効果を「抽出（強調）」であるとすると、制御部１１０は、マイクロホン１０２〜１０５からＡＣＤＣ１０６を介して供給される音データに、フォーカス位置からの音を抽出する音源分離処理を実行する。
制御部１１０は、画像データと、音源分離処理後の音データとを記憶部１１３に書き込む（ステップＳ３０８）。
【００５３】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がない場合（ステップＳ３０９；Ｎｏ）、制御部１１０は、ヒンジ角度θ、φに変更があるか否かを判別する（ステップ３１１）。
ヒンジ角度θ、φが変更された場合（ステップＳ３１１；Ｙｅｓ）、制御部１１０は、ステップＳ３０３に進み、ヒンジ角度θ、φに変更がない場合は（ステップＳ３１１；Ｎｏ）、音データに対して引き続き同一の音源分離処理を施す（ステップＳ３０７）。
【００５４】
一方、録画開始時点で、ヒンジ角度θとφの少なくも一方が基準角度でない場合（ステップＳ３０３；Ｙｅｓ）、或いは、録画開始後、可動部２０２が操作されて、ヒンジ角度θとφの少なくも一方が基準角度でなくなった場合（ステップＳ３１１；Ｙｅｓ，ステップＳ３０３；Ｙｅｓ）、制御部１１０は、可動部２０２が基準位置ではない旨を表示部１１４に表示させる（ステップＳ３０４）。例えば、撮影中の表示部１１４に“マイクの位置が動かされました。”等のメッセージを表示する。
【００５５】
次に、マイク位置取得部１１２はヒンジ角度θ、φの値に基づいて、その時点のマイクロホン１０５の位置を新たに取得する（ステップＳ３０５）。例えば、図２（ｂ）の座標系において、可動部の基準位置を、θ＝９０°、φ＝０°とし、基準位置でのマイクロホン１０５の座標を（ｘ０，ｙ０，ｚ０）と定義する。ここで、可動部が閉じた状態にある時は、θ＝０°、可動部が図２（ｂ）の状態にある時は、θ＝９０°である。可動部が、φ＝０°のままで、ｘ軸周りに移動した時のヒンジ角度θの差分を、Δθ＝θ’−θ（θ：移動前のヒンジ角度、θ’：移動後のヒンジ角度）とすると、移動後のマイクロホン１０５の座標（ｘ１，ｙ１，ｚ１）は、（ｘ０，ｙ０・ｃｏｓΔθ，ｙ０・ｓｉｎΔθ）と求まる。また、可動部が、θ＝９０°のままで、ｙ軸周りに移動したときのヒンジ角度φの差分を、Δφ＝φ’−φ（φ：移動前のヒンジ角度、φ’：移動後のヒンジ角度）とすると、移動後のマイクロホン１０５の座標（ｘ２，ｙ２，ｚ２）は、（ｘ０・ｃｏｓΔφ，ｙ０，ｘ０・ｓｉｎΔφ）と求まる。
その後、マイク位置取得部１１２は、取得した新たなマイク位置の情報を音源分離処理部１１１に送り、音源分離処理部１１１は受け付けた新たなマイク位置を音源分離パラメータとして設定する（ステップＳ３０６）。
【００５６】
音源分離処理部１１１は、設定されたマイク位置を含む音源分離パラメータに基づいて音源分離処理を行う（ステップＳ３０７）。前述の例で説明すると、撮影部１０７のフォーカス位置からの音をマイクロホン１０２〜１０５の新たな位置関係を用いて抽出する。
制御部１１０は、画像データと、音源分離処理後の音データとを記憶部１１３に書き込む（ステップＳ３０８）。
【００５７】
録画処理終了の指示を受け付けた場合は（ステップＳ３０９：Ｙｅｓ）、録画処理を終了する。
【００５８】
本実施形態によれば、可動部２０２を有する携帯装置１０１において、音源分離処理後の音データを記憶する場合に、マイクロホンが設置された可動部２０２が録画又は録音中に基準位置から動いても、角度センサ１０９の情報から可動部、マイク位置を取得し、そのマイクロホン位置を音源分離処理に適用することで、音源分離処理後のデータの品質を保ったままで録音を行うことができる。また、マイクロホンが設置された可動部が撮影中に動いても、撮影者に可動部２０２の位置が基準位置でないことを知らせることができる。
【００５９】
なお、図２（ｂ）に示す構成を例に実施形態を説明したが、図２（ａ）に示す構成の場合には、φ＝０と設定すればよい。
【００６０】
また、以上の説明においては、ヒンジ角θ或いはφが基準角度以外の場合に、ステップＳ３０５で、マイクロホン１０５の位置を演算処理で求めたが、例えば、ヒンジ角θとφについて、所定の分解能で、マイクロホン１０５の位置を予め求めておき、図４（ｂ）に示すようにテーブル化して、記憶部１１３に格納しておき、ステップＳ３０２で、このテーブルをＲＡＭ上に展開し、ステップＳ３０５では、ヒンジ角θとφをキーにこのテーブルを検索してマイクロホン１０５の位置を求めるようにしてもよい。
【００６１】
なお、本発明は、折り畳み型携帯電話に限定されるものではなく、可動部を有した録画装置、又は録音装置全般に適用できる。例えば、スライド型の携帯電話、その他複数の使用スタイルを選択できる携帯電話、ビデオカメラ、電子カメラ、ムービ、ＰＤＡ、ノートパソコン、ウェアラブルパソコン、電卓、電子辞書等に適用できる。また、アプリケーションも動画撮影や録音のみに限定されず、ＴＶ電話や通話、音声認識アプリケーション等にも適用可能である。
【００６２】
また、本実施形態では、可動部２０２が回転軸ｘ、回転軸ｙの２軸周りを可動する２軸型ヒンジを備える携帯装置について説明したが、可動する範囲はこれに限定されるものでは無い。さらに、可動部２０２が基準位置でない場合、警告の方法は、モニタへのメッセージ表示に限定されるものでは無く、筐体に設置されたランプの点滅や、筐体部分の振動、スピーカ１１６からの警告音等の方法でもよい。
【００６３】
また、本実施形態では、４つのマイクロホンを図２（ａ）及び図２（ｂ）のように配置したが、マイクロホンの数が２つ以上でかつ、マイクロホンが本体部２０１と可動部２０２のそれぞれに配置されている場合であるならば、本発明を適用可能である。
【００６４】
（実施形態２）
＜撮影後、再生編集時に音源分離を行う例＞
実施形態１においては、録画・録音時に音源分離処理を実行し、音源分離処理を施した音データを記憶部１１３に記録したが、録画・録音時には、生の音データを記録し、再生・編集時に音源分離処理を施すことも可能である。このような構成の携帯装置５０１を以下に説明する。
【００６５】
携帯装置５０１は、図５に示すように、マイクロホン１０２〜１０５と、ＡＤＣ１０６と、撮影部１０７と、入力部１０８と、角度センサ１０９と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ１１５と、スピーカ１１６と、から構成される。
制御部１１０以外は、実施形態１の携帯装置１０１と同様の機能構成を有する。また、実施形態２における携帯装置５０１の外観の構成例は図２に示すものと同様とする。以下、実施形態１と異なる機能構成を有する制御部１１０について説明する。
【００６６】
制御部１１０は、機能的に、音源分離処理部１１１と、マイク位置取得部１１２と、再生編集処理部５１１と、計時部５１２と、を有する。音源分離処理部１１１及びマイク位置取得部１１２は実施形態１と同様の機能を有する。
制御部１１０は、さらに、角度センサ１０９により計測されたヒンジ角度θ、φが変更されたか否かを判別する。そして、変更されたタイミングを表す情報とヒンジ角度θ、φを対応付けて、記憶部１１３に記憶させる。
【００６７】
再生編集処理部５１１は、記憶部１１３に記憶されている画像データや音データの再生編集や、音源分離処理部１１１が処理した音データの再生又は書き込み等を行う。例えば、再生編集処理部５１１は、記憶部１１３に記憶されている音データや音源分離処理部１１１が処理した音データに対して、特定の周波数帯域の強調や音量変換等を行う。
【００６８】
計時部５１２は、録画処理開始からの経過時間を計測する。制御部１１０は、ヒンジ角度θ、φが変更された場合に、計時部５１２が計測した経過時間を新たなヒンジ角度θ、φの情報に対応付けて記憶部１１３に記憶させる。
【００６９】
また、記憶部１１３に記憶される録画データのデータ構造の例を図７に示す。録画データは、撮影部１０７から取り込んだ画像データと、マイクロホン１０２〜１０５から取り込んだ音データと、マイクロホンの基準位置等の音源分離パラメータと、録画処理開始時の可動部のヒンジ角度、φ（可動部の角度１）と、ヒンジ角度θ、φが変更された時刻及び変更されたヒンジ角度θ、φと（可動部の角度２、・・・）、から構成される。
【００７０】
以下、携帯装置５０１が行う、録画処理の動作と、再生編集処理の動作について説明する。
【００７１】
ユーザが入力部１０８に録画処理開始の指示を入力すると、入力部１０８は録画処理開始の指示を制御部１１０に送る。制御部１１０は、録画処理開始の指示を受け付けると、図６のフローチャートに示す録画処理を開始する。
【００７２】
制御部１１０は、撮影部１０７に画像の取り込みと、マイクロホン１０２〜１０５に音の取り込みとを開始させ、撮影部１０７及びマイクロホン１０２〜１０５から取り込んだデータを一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【００７３】
続いて、制御部１１０は、マイクロホンの数とそれらの３次元空間上の基準位置とを、図７に示すように、記憶部１１３に記憶する録画データのヘッダ領域に書き込む（ステップＳ６０２）。
【００７４】
次に、制御部１１０は、角度センサ１０９から送られたヒンジ角度θ、φが、基準角度と同一か否かの判別を行う（ステップＳ３０３）。
【００７５】
ヒンジ角度θ、φが基準角度と同じならば（ステップＳ３０３；Ｎｏ）、制御部１１０は、計時部５１２が計測した経過時間と、角度センサ１０９が検出したヒンジ角度θ、φの値とを録画データのヘッダ領域に書き込む（ステップ６０５）。ここで、録画開始時には、開始時のヒンジ角度θ、φが書き込まれる（図７の例では、経過時間＝０[sec]、θ＝９０°、φ＝０°）。
【００７６】
一方、ヒンジ角度θ又はφが基準角度でない場合（ステップＳ３０３；Ｙｅｓ）、制御部１１０は、可動部２０２が基準位置ではない旨を表示部１１４に表示する（ステップＳ３０４）。そして、制御部１１０は、計時部５１２が計測した経過時間と、角度センサ１０９が検出したヒンジ角度θ、φの値とを、録画データのヘッダ領域に書き込む（ステップＳ６０５）。例えば、可動部２０２が撮影開始から８秒後に基準位置から動かされ、ヒンジ角度θが４５°になったとすると、制御部１１０は、図７に示すように、可動部２０２の位置が変更された時の経過時間（変更時間）と、新たなヒンジ角度θ、φとを録画データのヘッダに書き込む。以後、可動部２０２の位置が変更された場合は、“可動部の位置の変更３”、“可動部の位置４”…、とその都度、経過時間（変更時間）とヒンジ角度θ、φを記憶する。
【００７７】
ヘッダへの書き込みが終了すると、制御部１１０は、記憶部１１３に画像データと、音データとを書き込む（ステップＳ６０６）。
【００７８】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がなければ（Ｓ３０９；Ｎｏ）、制御部１１０は、ヒンジ角度θ、φに変更があるか否かを判別する（ステップ３１１）。ヒンジ角度θ、φに変更がある場合（ステップＳ３１１；Ｙｅｓ）、制御部１１０は、ステップＳ３０３以降の処理を繰り返す。ヒンジ角度θ、φに変更がない場合は（ステップＳ３１１；Ｎｏ）、引き続き画像データと音データとを記憶部１１３に書き込む（ステップＳ６０６）。
【００７９】
録画処理終了の指示を受け付けた場合（ステップＳ３０９；Ｙｅｓ）、録画処理を終了する。
【００８０】
このようにして、記録部１１３には、録画・録音開始後の各時点における、画像データと音データ、さらに、各マイクロホンの位置を特定し得る情報が蓄積される。
【００８１】
次に、記憶部１１３に記憶されたデータを再生、編集する動作について図８を用いて説明する。
【００８２】
ユーザが入力部１０８に、録画データの選択、再生編集の開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、指示を受け付けると、図８のフローチャートに示す処理を開始する。
【００８３】
制御部１１０は、まず、記憶部１１３に記憶された録画データを選択し、必要な情報の読み込み等を開始する（ステップＳ８０１）。続いて、制御部１１０は、録画時におけるマイクロホンの数とそれらの３次元空間上の基準位置等のパラメータを録画データのヘッダ領域から呼び出す（ステップＳ８０２）。次に、ユーザより音源分離処理を行う指示が与えられているかどうかの判別を行う（ステップＳ８０３）。
【００８４】
ユーザより音源分離指示が与えられていなければ（ステップＳ８０３；Ｎｏ）、記憶された音データを呼び出し（ステップＳ８１２）、画像データとともに、音データをそのまま再生する（ステップＳ８１０）。例えば、ユーザがデータの再生後しばらくは録音された音データをそのまま再生したい場合は、モノラル再生の場合は記憶部１１３に記憶された複数の音データの内一つを再生し、ステレオ再生の場合は、二つの音データを再生する。例えば、マイクロホン１０２〜１０５から取り込んだ音データを再生する。
【００８５】
ユーザより音源分離処理を行う指示が与えられると（ステップＳ８０３；Ｙｅｓ）、制御部１１０は、記憶部１１３に記憶された複数の音データを用いて音源分離処理を行う。まず、制御部１１０は、ユーザより指示された音源分離効果に対応した音源分離パラメータを取得する（ステップＳ８０４）。例えば、ユーザがタッチパネル等で画面内に存在する音源に接触して指定し、その音源のみを抽出する指示をした場合、制御部１１０は、その画面内に存在する音源の位置から、抽出すべき音源の到来方向の範囲等を取得する。
【００８６】
次に、制御部１１０は、再生編集中の録画データの経過時間が、可動部２０２の位置が変更された変更時間に達しているかどうかの判別を行う（ステップＳ８０５）。経過時間が変更時間に達した場合（ステップＳ８０５；Ｙｅｓ）、そのタイミングにおけるヒンジ角度θ２０３、φ２０４に基づき、マイク位置を取得する（ステップＳ８０６）。この時、ヒンジ角度θ２０３が９０°、φ２０４が０°の場合を基準位置であるとした場合に、ヒンジ角度θ２０３が９０°、φ２０４が０°であるならば、マイク位置を新たに取得する必要は無く、録画データのヘッダ領域に書き込まれている初期マイク位置を読み出せばよい。また、実施形態１と同様に、マイク位置の取得方法は、θ２０３、φ２０４の値に基づいて幾何学的な計算で求めてもよいし、図４のようなテーブルから求めるようにしてもよい。そして、制御部１１０は求めたマイク位置を音源分離処理部１１１に送り、音源分離処理部１１１は、受け付けたマイク位置を音源分離パラメータとして設定する（ステップ８０７）。
【００８７】
一方、再生編集中の録画データの経過時間が変更時間に達していない場合（ステップＳ８０５；Ｎｏ）、すでに求めたマイク位置を音源分離パラメータとして設定する（ステップＳ８１３）。
【００８８】
音源分離処理部１１１は、記憶部１１３に記憶されたマイクロホン１０２〜１０５より取り込んだ全音データを読み出す（ステップＳ８０８）。その後、音源分離処理部１１１は、音源分離パラメータを基に、複数の音データに対し音源分離を行う（ステップＳ８０９）。
【００８９】
再生編集処理部５１１は、音源分離処理後の音データを記憶された画像データとともに再生を行い、又は音源分離処理後の音データを記憶部１１３に記憶させる（ステップＳ８１０）。
【００９０】
次に、制御部１１０はユーザによる再生編集終了の指示があるか否かを判別する（ステップＳ８１１）。再生編集終了の指示を受け付けた場合（ステップＳ８１１；Ｙｅｓ）、再生編集処理を終了する。制御部１１０は、再生編集終了の指示を受け付けない場合（ステップＳ８１１；Ｎｏ）、ステップＳ８０３からの処理を繰り返す。
【００９１】
本実施形態によれば、可動部２０２を有する携帯装置１０１において、再生編集時に音源分離処理を行う場合に、可動部２０２の位置が基準位置と異なっていても、保存された経過時間とマイク位置を用いることによって、音源分離処理後の音データの品質劣化を防ぐことが可能となる。また、撮影時に、撮影者に可動部２０２の位置が基準位置でないことを知らせることができる。
【００９２】
なお、本実施形態において、録画、録音時に可動部２０２が動かされた場合に、その経過時間とヒンジ角度θ２０３、φ２０４の値を記憶する例を挙げたが、一定時間毎に逐一ヒンジ角度θ２０３、φ２０４の値を記憶してもよい。さらに、録画、録音時にθ、φの値を保存するのではなく、録画、録音の時点でθ、φの値からマイク位置を取得し、記憶部１１３にマイク位置そのものを保存してもよい。これによって、データ記憶時のファイル容量は増加するが、再生、編集時に音源分離処理を行う際のマイク位置取得処理は省けるため、計算リソースが限られていて、リアルタイム性が求められる場合等に有効である。
【００９３】
また、実施形態２では、計時部５１２は録画処理開始からの経過時間を計測したが、記憶された音データにおいて何時ヒンジ角度が変更されたかがわかればよいので、例えば日時等を計測するようにしてもよい。
【００９４】
また、実施形態２では、音源分離効果の例を任意の音源の抽出としたが、任意の音源を抑圧する場合も同様に実施可能である。さらに、任意の１点の音源だけでなく、複数の音源に対しても、抽出、抑圧の音源分離効果を指定できる。
【００９５】
また、撮影後、記憶データの編集処理を行う場合において、編集後のデータは、元の複数の音声データを上書きする場合や、別のデータ領域に記憶する方法が考えられ、それらの判断は編集時にユーザが決めることができる。元の音声データを上書きせずに残しておいた場合は、何度でも音源分離効果の編集処理が可能である。保存後の音データについて、一般的な動画再生機器で再生できる形式（例えば、ＰＣで再生可能な動画フォーマットＡＶＩ（Audio Video Interleave）やビデオカメラの録画フォーマットであるＡＶＣＨＤ（Advanced Video Codec High Definition）など）で画像データと合わせて記憶することもできる。このような一般的な動画記録形式で保存しておけば、再生機器を問わず録画データの再生が可能となる。
【００９６】
また、実施形態１で述べたものと同様に、マイクロホンが２つ以上であるならば、本実施形態は適用でき、可動部の可動方向については図２における回転軸ｘ、回転軸ｙの軸に限定されるものでは無く、さらに可動部が撮影時に所定の位置では無い旨を伝える手段も本実施形態に限定されるものではない。
【００９７】
（実施形態３）
＜可動部が所定の位置かどうかのみが判別できるスイッチ判別機構を有する携帯装置において、音源分離と同時に録画を行う例＞
実施形態１及び実施形態２では、角度センサを有している携帯装置について説明したが、コスト、デザイン等の点で、角度センサが設置できないような場合が想定される。
実施形態３では、可動部の位置が基準位置かどうかのみがわかるスイッチ判別機構を有し、録画もしくは録音時に音源分離処理を行い、音源分離処理を施した音データを記憶する携帯装置９０１について説明する。
【００９８】
携帯装置９０１は、図９に示すように、マイクロホン１０２〜１０５と、ＡＤＣ１０６と、撮影部１０７と、入力部１０８と、スイッチ判別機構９０２と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ１１５と、スピーカ１１６と、から構成される。
【００９９】
また、本実施形態の携帯装置９０１は、外観上、携帯装置９０１ａ及び携帯装置９０１ｂの２つの構成を取り得る。携帯装置９０１ａは一般的なビデオカメラや、動画撮影機能付きの携帯電話等に用いられる形態である。携帯装置９０１ａは本体部２０１と可動部２０２と、携帯装置９０１ｂは本体部２０５と可動部２０６とから構成され、可動部２０２、２０５はヒンジ機構を介して本体部２０１、２０５に設置される。携帯装置９０１ａにおいて、マイクロホン１０２、１０３、１０４は本体部２０１に、マイクロホン１０５は可動部２０２に設置される。一方、携帯装置９０１ｂにおいては、マイクロホン１０２は本体部２０５に設置され、マイクロホン１０３、１０４、１０５は可動部２０６に設置される。実施形態１と同様に、撮影部１０７を基準に直行座標系を設定し、この座標系でマイク位置を決定する。
【０１００】
以下、携帯装置９０１の特徴的な機能を提供するスイッチ判別機構９０２について説明する。
【０１０１】
スイッチ判別機構９０２は、可動部２０２、２０６の位置が基準位置か否かの判別ができる機構であり、マイクロスイッチ或いはマグネットスイッチ等から構成される。スイッチ判別機構９０２は、判別結果（スイッチ判別信号）を制御部１１０に送る。例えば、可動部２０２、２０６が基準位置にある場合は、スイッチ判別機構９０２は、制御部１１０に“１”の信号を送り、そうでない場合は“０”の信号を送る。
【０１０２】
スイッチ判別機構９０２を有する携帯装置９０１において、携帯装置９０１の姿勢が変更されると、本体部２０１、２０５と可動部２０２、２０６の位置関係を検出することができない。したがって、基準となる撮影部１０７と異なる筐体に設置されたマイクロホンのマイク位置を検出することができない。このような場合、マイク位置を検出できないマイクロホンから取り込んだ音データを用いて音源分離処理を施すと、音源分離処理後の音データの品質が低下するおそれがある。以下、上記マイクロホンから取り込んだ音データを音源分離処理に使用しない録画処理について説明する。
【０１０３】
ユーザが入力部１０８に録画処理開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、録画処理開始及び音源分離処理開始の指示を受け付けると、図１１のフローチャートに示す録画処理を開始する。
【０１０４】
制御部１１０は、まず、撮影部１０７に画像の取り込みと、マイクロホン１０２〜１０５に音の取り込みとを開始させ、一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【０１０５】
続いて、制御部１１０は、予め記憶部１１３に記憶された音源分離パラメータをＲＡＭ等に呼び出す（ステップＳ３０２）。
【０１０６】
次に、制御部１１０は、スイッチ判別機構９０２から送られたスイッチ判別信号を判別する（ステップＳ１１０３）。
【０１０７】
スイッチ判別信号が“１”の（可動部の位置が基準位置である）場合（Ｓ１１０３；Ｎｏ）、制御部１１０は、初期マイク位置を音源分離処理部１１１に送り、音源分離処理部１１１は初期マイク位置を音源分離パラメータとして設定する（ステップＳ３１０）。
【０１０８】
一方、スイッチ判別信号が“０”の（可動部の位置が基準位置でない）場合（ステップＳ１１０３；Ｙｅｓ）、制御部１１０は、可動部２０２、２０６が基準位置ではない旨を表示部１１４に表示させる（ステップＳ３０４）。例えば、撮影中の表示部１１４に“マイクの位置を基準位置にして下さい。”等のメッセージを表示する。
【０１０９】
次に、制御部１１０は、スイッチ判別機構９０２の結果に基づいて、音源分離処理に用いる音データを取り込むマイクロホンを選択する（ステップＳ１１０５）。携帯装置９０１ａにおいて、撮影部１０７を備える本体部２０１に設置されたマイクロホン１０２〜１０４は、撮影部１０７との位置関係に変更が生じずマイクロホンの基準位置のままである。一方、可動部２０２が基準位置から動かされるとマイクロホン１０５の位置が初期マイク位置からずれる。従って、スイッチ判別信号＝“１”の場合、制御部１１０はマイクロホン１０２〜１０５を選択し、スイッチ判別信号＝“０”の場合、制御部１１０はマイクロホン１０２〜１０４を選択する。
【０１１０】
また、携帯装置９０１ｂの場合には、可動部２０６が動かされても、可動部２０６に設置されたマイクロホン１０３〜１０５と撮影部１０７の位置関係に変更は生じない。一方、本体部２０５に設置されたマイクロホン１０２は、撮影部１０７との位置関係が変化するので、マイクロホンの基準位置からずれることになる。従って、スイッチ判別信号＝“１”の場合、制御部１１０はマイクロホン１０２〜１０５を選択し、スイッチ判別信号＝“０”の場合、制御部１１０はマイクロホン１０３〜１０５を選択する。
【０１１１】
さらに、制御部１１０は、選択したマイクロホンのマイク位置を求める。音源分離処理用の音データを取り込むマイクロホンは、筐体の姿勢から求まる。したがって、スイッチ判別信号とマイク位置の対応関係を、図１２（ａ）（携帯装置９０１ａの場合）又は図１２（ｂ）（携帯装置９０１ｂの場合）のようなテーブルにしておき、予め音源分離処理部１１１や、記憶部１１３に記憶させておくことができる。制御部１１０は、スイッチ判別信号の値をキーにしてマイク位置の情報を求める。
【０１１２】
制御部１１０は選択したマイクロホンとマイク位置の情報とを音源分離処理部１１１に送り、音源分離処理部１１１は選択したマイクロホンのマイク位置を音源分離パラメータとして設定する（ステップＳ１１０６）。
【０１１３】
音源分離処理部１１１は、音源分離パラメータを基に選択されたマイクロホンから取り込んだ音データに対して音源分離を行う（ステップＳ１１０７）。すなわち、携帯装置９０１ａにおいては、初期マイク位置からずれたマイクロホン１０５以外から取り込んだ音データを、携帯装置９０１ｂにおいては、初期マイク位置からずれたマイクロホン１０２以外から取り込んだ音データを、音源分離処理に用いる。これにより音源分離後の音データの品質劣化を防ぐことができる。制御部１１０は、画像データと、音源分離処理後の音データとを記憶部１１３に書き込む（ステップＳ３０８）。
【０１１４】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がない場合（ステップＳ３０９；Ｎｏ）、制御部１１０は、スイッチ判別信号に変更があるか否かを判別する（ステップＳ１１１１）。スイッチ判別信号に変更がある場合（ステップＳ１１１１；Ｙｅｓ）、ステップＳ１１０３以降の処理を繰り返す。スイッチ判別信号に変更がない場合（ステップＳ１１１１；Ｎｏ）、音データに対して引き続き音源分離処理を施し（ステップＳ１１０７）、処理後の音データを記憶部１１３に書き込む（ステップＳ３０８）。
【０１１５】
録画処理終了の指示を受け付けた場合（ステップＳ３０９；Ｙｅｓ）、録画処理を終了する。
【０１１６】
本実施形態によれば、可動部２０２、２０６を撮影中に動かしてしまっても、可動部２０２、２０６の位置が基準位置か否かのみが判別できる廉価なスイッチ判別機構を用いて、音源分離処理後の音データの品質劣化を防ぐことができる。また、モニタ上に警告等を表示し基準位置に戻すことを促すことができる。
【０１１７】
なお、本実施形態で説明した発明は、図１０に示したような外観上の構成例に限定されるものではなく、複数のマイクロホンが本体部と可動部のそれぞれに設置された情報処理装置に適用可能である。
【０１１８】
（実施形態４）
＜可動部が所定の位置かどうかのみが判別できるスイッチ判別機構を有する携帯装置において、撮影後、再生編集時に音源分離を行う例＞
実施形態４では、可動部の位置が基準位置かどうかのみがわかるスイッチ判別機構を有し、複数のマイクロホンの取り込んだ音データを記憶部に記憶し、再生編集時に音源分離処理を行う携帯装置１３０１について説明する。
【０１１９】
携帯装置１３０１は、図１３に示すように、マイクロホン１０２〜１０５と、ＡＤＣ１０６と、撮影部１０７と、入力部１０８と、スイッチ判別機構９０２と、制御部１１０と、記憶部１１３と、表示部１１４と、ＤＡＣ１１５と、スピーカ１１６と、から構成される。
制御部１１０は実施形態２と同様の機能構成を有する。
制御部１１０以外は、実施形態３の携帯装置９０１と同様の機能構成を有する。
また、携帯装置１３０１の外観上の構成は図１０に示すものと同様とする。
【０１２０】
以下、スイッチ判別機構９０２を備える携帯装置１３０１が行う録画処理について説明する。
【０１２１】
ユーザが入力部１０８に録画処理開始の指示を入力すると、入力部１０８は録画処理開始の指示を制御部１１０に送る。制御部１１０は、録画処理開始の指示を受け付けると、図１４のフローチャートに示す処理を開始する。
【０１２２】
制御部１１０は、撮影部１０７に画像の取り込みと、マイクロホン１０２〜１０５に音の取り込みとを開始させ、撮影部１０７及びマイクロホン１０２〜１０５から取り込んだデータを一時的に制御部１１０のＲＡＭ等に記憶させる（ステップＳ３０１）。
【０１２３】
続いて、制御部１１０は、マイクロホンの数とそれらの３次元空間上の基準位置とを、記憶部１１３に記憶する録画データのヘッダ領域に書き込む（ステップＳ６０２）。
【０１２４】
次に、制御部１１０はスイッチ判別機構９０２から送られたスイッチ判別信号を判別する（ステップＳ１１０３）。スイッチ判別信号が“１”の場合（ステップＳ１１０３；Ｎｏ）、計時部５１２が計測した時間とスイッチ判別信号の値“１”を、図１５のように、録画データのヘッダ領域に書き込む（ステップＳ１４０５）。
【０１２５】
一方、スイッチ判別信号が“０”の場合（ステップＳ１１０３；Ｙｅｓ）、制御部１１０は、可動部２０２、２０６が基準位置ではない旨を表示部１１４に表示させる（ステップＳ３０４）。そして、制御部１１０は、計時部５１２が計測した経過時間とスイッチ判別信号の値“０”を録画データのヘッダ領域に書き込む（ステップＳ１４０５）。例えば、可動部２０２が撮影開始から８秒後に基準位置から動かされたとすると、制御部１１０は、図１５に示すように、可動部２０２の位置が変更された時の経過時間（変更時間）と、スイッチ判別信号“０”を録画データのヘッダに書き込む。
【０１２６】
ヘッダへの書き込みが終了すると、制御部１１０は、ステップＳ１１０５と同様に、スイッチ判別信号の値に基づいて、記憶する音データを取り込んだマイクロホンを選択する（ステップＳ１４０６）。
【０１２７】
そして、制御部１１０は、画像データと、選択したマイクロホンから取り込んだ音データとを記憶部１１３に書き込む（ステップＳ１４０７）。
【０１２８】
次に、制御部１１０は、録画処理終了の指示の有無を判別する（ステップＳ３０９）。録画処理終了の指示がない場合（Ｓ３０９；Ｎｏ）、制御部１１０は、スイッチ判別信号に変更があるか否かを判別する（ステップＳ１１１１）。スイッチ判別信号に変更がある場合（ステップＳ１１１１；Ｙｅｓ）、ステップＳ１１０３以降の処理を繰り返す。スイッチ判別信号に変更がない場合（ステップＳ１１１１；Ｎｏ）、引き続き画像データと音データとを記憶部１１３に書き込む（ステップＳ１４０７）。
【０１２９】
録画処理終了の指示を受け付けた場合（ステップＳ３０９；Ｙｅｓ）、録画処理を終了する。
【０１３０】
次に、記憶部１１３に記憶されたデータを再生、編集する動作について図１６を用いて説明する。
【０１３１】
ユーザが入力部１０８に、録画データの選択、再生編集の開始及び音源分離処理開始の指示を入力すると、入力部１０８はその指示を制御部１１０に送る。制御部１１０は、指示を受け付けると、図１６に示すフローチャートの処理を開始する。
【０１３２】
制御部１１０は、まず、記憶部１１３に記憶された録画データを選択し、必要な情報の読み込み等を開始する（ステップＳ８０１）。続いて、制御部１１０は、録画時におけるマイクロホンの数とそれらの３次元空間上の基準位置等のパラメータを録画データのヘッダ領域から呼び出す（ステップＳ８０２）。次に、ユーザより音源分離処理を行う指示が与えられているかどうかの判別を行う（ステップＳ８０３）。
【０１３３】
ユーザより音源分離指示が与えられていなければ（ステップＳ８０３；Ｎｏ）、記憶された音データを呼び出し（ステップＳ８１２）、画像データとともに、音データをそのまま再生する（ステップＳ８１０）。
【０１３４】
ユーザより音源分離処理を行う指示が与えられると（ステップＳ８０３；Ｙｅｓ）、制御部１１０は、記憶部１１３に記憶された複数の音データを用いて音源分離処理を行う。まず、ユーザより指示された音源分離処理の種類に対応した音源分離パラメータを取得する（ステップＳ８０４）。
【０１３５】
次に、制御部１１０は、再生編集中の録画データの経過時間が、可動部２０２の位置が変更された変更時間に達しているかどうかの判別を行う（ステップＳ８０５）。経過時間が変更時間に達した場合（ステップＳ８０５；Ｙｅｓ）、音源分離に悪影響を与えないマイクロホンのマイク位置を、ヘッダ領域に記録されたスイッチ判別信号と図１２（ａ）又は図１２（ｂ）のテーブルとから求める（Ｓ１６０６）。そして、音源分離処理部１１１は求めたマイク位置の情報を音源分離パラメータとして設定する（Ｓ１６０７）。
【０１３６】
一方、再生編集中の録画データの経過時間が変更時間に達していない場合（ステップＳ８０５；Ｎｏ）、すでに求めたマイク位置を音源分離パラメータとして設定する（ステップＳ８１３）。
【０１３７】
次に、選択されたマイクロホンの音データを、記憶部１１３から呼び出す（Ｓ１６０８）。その後、音源分離処理部１１１は、音源分離パラメータを基に、複数の音データに対し音源分離を行う（ステップＳ８０９）。
【０１３８】
以下、実施形態２のステップ８１０以降と同様の処理を行う。
【０１３９】
本実施形態によれば、可動部２０２及び廉価なスイッチ判別機構を有する携帯装置１３０１において、再生編集時に音源分離処理を行う場合に、可動部２０２の位置が基準位置と異なっていても、保存された経過時間とマイク位置を用いることによって、音源分離処理後の音データの品質劣化を防ぐことが可能となる。
【０１４０】
なお、本実施形態では録画時の動作において、可動部の位置にかかわらず、マイクロホン４個の音声データ全てを常に記憶したが、可動部の位置が所定の位置で無い場合、音源分離に悪影響を与えるマイクロホンの入力データは音源分離には使用しないので、記憶をしなくてもよい。これによって保存データの容量を削減することができる。
【符号の説明】
【０１４１】
１０１、１０１ａ、１０１ｂ、５０１、９０１、１３０１…携帯装置、１０２、１０３、１０４、１０５…マイクロホン、１０６…ＡＤＣ、１０７…撮影部、１０８…入力部、１０９…角度センサ、１１０…制御部、１１１…音源分離処理部、１１２…マイク位置取得部、１１３…記憶部、１１４…表示部、１１５…ＤＡＣ、１１６…スピーカ、２０１、２０５…本体部、２０２、２０６…可動部、２０３…回転軸ｘ周りに本体部と可動部がなすヒンジ角度θ、２０４…回転軸ｙ周りに本体部と可動部がなすヒンジ角度φ、５１１…再生編集処理部、５１２…計時部、９０２…スイッチ判別機構
【特許請求の範囲】
【請求項１】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする音データ処理装置。
【請求項２】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記選択されたマイクロホンの位置関係に基づいて、前記選択されたマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする音データ処理装置。
【請求項３】
前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と同じ場合に、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段をさらに備え、
前記音源分離手段は、前記複数のマイクロホンの前記位置関係が前記所定の位置関係と同じ場合に、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す、
ことを特徴とする請求項２に記載の音データ処理装置。
【請求項４】
前記音源分離手段により音源分離処理が施された音データを記録する手段をさらに備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の音データ処理装置。
【請求項５】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項６】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記マイクロホン選択手段で選択した前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホン選択手段で選択した前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項７】
前記マイク位置特定情報取得手段は、前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段をさらに備え、
前記マイク位置特定情報は、前記第１の筐体と前記第２の筐体との前記位置関係を示す情報を含む、
ことを特徴とする請求項５又は６に記載の音データ処理装置。
【請求項８】
前記マイク位置特定情報取得手段は、
前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備え、
前記マイク位置特定情報は、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係を特定する情報を含む、
ことを特徴とする請求項５又は６に記載の音データ処理装置。
【請求項９】
前記マイク位置特定情報は、前記マイクロホンの位置関係が変化したタイミングを特定する情報、または、録音時点でのマイクロホンの位置関係を特定する情報、を含む、
ことを特徴とする請求項５乃至８のうちいずれか１項に記載の音データ処理装置。
【請求項１０】
前記第１の筐体と第２の筐体との前記位置関係が前記所定の位置関係と異なる場合に警告を行う警告手段
をさらに備えることを特徴とする請求項１乃至９のうちいずれか１項に記載の音データ処理装置。
【請求項１１】
請求項５乃至９のいずれか１項に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備えることを特徴とする音データ処理装置。
【請求項１２】
請求項９に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備え、
請求項９に記載の音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする音データ処理装置。
【請求項１３】
請求項５乃至９のいずれか１項に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項１４】
請求項９に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備え、
請求項９に記載の音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする音データ処理装置。
【請求項１５】
前記記録媒体に記録された音データ、又は、前記音源分離手段により音源分離処理が施された音データに対し音編集処理を施す音編集手段
をさらに備えることを特徴とする請求項１３又は１４に記載の音データ処理装置。
【請求項１】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする音データ処理装置。
【請求項２】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記選択されたマイクロホンの位置関係に基づいて、前記選択されたマイクロホンから取り込んだ音データに音源分離処理を施す音源分離手段と、
を備えることを特徴とする音データ処理装置。
【請求項３】
前記第１の筐体と前記第２の筐体の前記位置関係が前記所定の位置関係と同じ場合に、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段をさらに備え、
前記音源分離手段は、前記複数のマイクロホンの前記位置関係が前記所定の位置関係と同じ場合に、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係に基づいて、前記複数のマイクロホンから取り込んだ音データに音源分離処理を施す、
ことを特徴とする請求項２に記載の音データ処理装置。
【請求項４】
前記音源分離手段により音源分離処理が施された音データを記録する手段をさらに備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の音データ処理装置。
【請求項５】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項６】
第１の筐体と、
第１の筐体に対して相対的に位置を変更することが可能な第２の筐体と、
前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと、
前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンと、
前記第１の筐体と前記第２の筐体との位置関係が所定の位置関係であるか否かを判別する位置判別手段と、
前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と同じ場合、前記第１及び第２の筐体に設けられたマイクロホンを選択し、前記第１の筐体と前記第２の筐体との前記位置関係が前記所定の位置関係と異なる場合、前記第１の筐体に設けられたマイクロホンを選択するマイクロホン選択手段と、
前記マイクロホン選択手段で選択した前記マイクロホンの位置関係を特定するための情報を取得するマイク位置特定情報取得手段と、
前記マイクロホン選択手段で選択した前記マイクロホンから取り込んだ音データと、前記マイク位置特定情報取得手段で取得したマイク位置特定情報とを記録媒体に記録させる記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項７】
前記マイク位置特定情報取得手段は、前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段をさらに備え、
前記マイク位置特定情報は、前記第１の筐体と前記第２の筐体との前記位置関係を示す情報を含む、
ことを特徴とする請求項５又は６に記載の音データ処理装置。
【請求項８】
前記マイク位置特定情報取得手段は、
前記第１の筐体と前記第２の筐体との前記位置関係を検出する位置検出手段と、
前記位置検出手段により検出された位置関係から、前記第１の筐体に設けられる少なくとも２つ以上のマイクロホンと前記第２の筐体に設けられる少なくとも１つ以上のマイクロホンとから構成される複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備え、
前記マイク位置特定情報は、前記マイク位置取得手段により取得された前記複数のマイクロホンの前記位置関係を特定する情報を含む、
ことを特徴とする請求項５又は６に記載の音データ処理装置。
【請求項９】
前記マイク位置特定情報は、前記マイクロホンの位置関係が変化したタイミングを特定する情報、または、録音時点でのマイクロホンの位置関係を特定する情報、を含む、
ことを特徴とする請求項５乃至８のうちいずれか１項に記載の音データ処理装置。
【請求項１０】
前記第１の筐体と第２の筐体との前記位置関係が前記所定の位置関係と異なる場合に警告を行う警告手段
をさらに備えることを特徴とする請求項１乃至９のうちいずれか１項に記載の音データ処理装置。
【請求項１１】
請求項５乃至９のいずれか１項に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備えることを特徴とする音データ処理装置。
【請求項１２】
請求項９に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離処理を施した音データを再生する再生手段と、
を備え、
請求項９に記載の音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする音データ処理装置。
【請求項１３】
請求項５乃至９のいずれか１項に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備えることを特徴とする音データ処理装置。
【請求項１４】
請求項９に記載の音データ処理装置により記録媒体に記録された音データを読み出す読み出し手段と、
前記記録媒体に記録されているマイク位置特定情報に基づいて録音時のマイクロホンの位置関係を特定するマイク位置特定手段と、
前記読み出し手段により読み出された音データに、前記マイク位置特定手段で特定されたマイクロホンの位置関係に基づいて、音源分離処理を施す音源分離手段と、
前記音源分離手段により音源分離処理が施された音データを記憶する音源分離データ記憶手段と、
を備え、
請求項９に記載の音データ処理装置により記録媒体に前記マイクロホンの位置関係が変化したタイミングを特定する情報に基づいて、前記読み出し手段により読み出した音データが、前記マイクロホンの位置関係が変化したタイミングに達することを契機として、前記位置関係から前記複数のマイクロホンの位置関係を求めるマイク位置取得手段と、
をさらに備えることを特徴とする音データ処理装置。
【請求項１５】
前記記録媒体に記録された音データ、又は、前記音源分離手段により音源分離処理が施された音データに対し音編集処理を施す音編集手段
をさらに備えることを特徴とする請求項１３又は１４に記載の音データ処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２７８９１８（Ｐ２０１０−２７８９１８Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２００９−１３１３１７（Ｐ２００９−１３１３１７）
【出願日】平成２１年５月２９日（２００９．５．２９）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２１年５月２９日（２００９．５．２９）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]