記録された音声信号の時間整合
【課題】同一音源の異なる記録からの信号を整合させるためのシステムおよび方法を提供する。
【解決手段】第１の媒体信号および第２の媒体信号を時間整合させるための方法は、前記第１および第２の媒体信号を、サンプリングレートを使用して生成されたデジタルサンプルの流れとして受け取ることと、前記第１の媒体信号と前記第２の媒体信号との間の近似不整合を決定することと、前記近似不整合に基づいた粗時間シフトを決定することと、粗シフトされた第２の信号を生成するために、前記粗時間シフトにより前記第２の媒体信号をシフトさせることと、前記第１の媒体信号と前記粗シフトされた第２の信号との間の整合時間シフトを決定することと、前記第１の媒体信号と整合された、シフトされた第２の信号を生成するために、前記粗シフトされた第２の信号を前記整合時間シフトによりシフトさせることと、を含む。
【解決手段】第１の媒体信号および第２の媒体信号を時間整合させるための方法は、前記第１および第２の媒体信号を、サンプリングレートを使用して生成されたデジタルサンプルの流れとして受け取ることと、前記第１の媒体信号と前記第２の媒体信号との間の近似不整合を決定することと、前記近似不整合に基づいた粗時間シフトを決定することと、粗シフトされた第２の信号を生成するために、前記粗時間シフトにより前記第２の媒体信号をシフトさせることと、前記第１の媒体信号と前記粗シフトされた第２の信号との間の整合時間シフトを決定することと、前記第１の媒体信号と整合された、シフトされた第２の信号を生成するために、前記粗シフトされた第２の信号を前記整合時間シフトによりシフトさせることと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は媒体ファイルを処理するためのシステムおよび方法に関し、詳細には、同一音源の異なる記録からの信号を整合させるためのシステムおよび方法に関する。
【背景技術】
【０００２】
ステージ上のシーンやパフォーマンスの音声ビデオ記録では、例えば、確実に全シーンが見えるようにするために、ステージからやや離れてビデオを記録することが行われることが多い。それ故、ビデオカメラ上のマイクロホンで良質な音声を得ることは困難になる。ビデオカメラ上のマイクロホンは、群集ノイズ、気流ノイズ、暖房換気空調／屋内ノイズ、および交通ノイズをピックアップする場合や、さらには過剰な反響や高い周波数域の吸収に影響されやすい場合がある。また、ビデオカメラ上のマイクロホンは、充分な品質のものでない場合がある。環境内のかかるノイズをピックアップする可能性を低減させるために、音声は、理想的には音源の近くに配置されるマイクロホンを使用して記録される。例えば、バンド内の各楽器のような、特定の音源上に個々のマイクロホンが配されると、ノイズの影響の受けやすさを更に減らせる場合がある。コンサートの背景では、ビデオカメラ上のマイクロホンがピックアップする音声を補強する目的で、ステージには、しばしば、ステージの床上に、またはステージ上方の天井から垂下された、局所音声ピックアップが備えられる。最終ビデオの作成においては、きわめて近接したマイクロホンから記録される音声信号が、ビデオカメラマイクロホンからの音声よりも好まれるか、または、あるいはカメラマイクロホン音声と混合されるかもしれない;ここで前記ビデオカメラマイクロホンからの音声あるいは、カメラマイクロホン音声は雰囲気ムードを最終的な混合音声に提供するために帯域通過フィルタリング、減衰および近接マイクロホンへの音声の追加により処理さる。
【０００３】
音声信号と同一シーンのビデオ信号記録との混合に関わる一つの問題は、これらの信号が内在的に非同期であるという点である。信号の混合には信号の整合（アラインメント）が必要である。例えば、対話を含むシーンでは、音声が人物の会話のビデオ描写に遅れないように、またはその逆とならないように、音声はビデオと整合されていなければならない。ハイエンドの記録システムは、タイムスタンプを行うとともに異なる音声信号を同期させるために、ＳＭＰＴＥタイムコードを使用する。かかるタイムスタンピングは、消費者レベルの器材では必ずしも利用できない。音声は、近接マイクロホンとビデオカメラ間のケーブル路または無線リンクを用いて同期されてもよい。しかしながら、記録中に同期調整するには、記録に先立つ計画と準備が必要であるが、それは行われることがないことが多い。
【０００４】
記録は、一の音声ビデオ源としてのマイクロホン付ビデオカメラと、他の一の源としての近接マイクロホンと、を用いて行われてもよい。その時、第２の音源をビデオ記録へと統合するために、編集ツールが使用できる。かかる編集ツールとしては、例えば、Ｒｏｘｉｏ Ｃｒｅａｔｅｒ（登録商標）やＳｏｎｙ Ｖｅｇａｓ（登録商標）がある。編集ツールを使用して第２音源からの音声をビデオ記録に統合するのは、しばしば、エディタが手動で音声をビデオ中に適切に整合させて配置することを要求する面倒な作業である。一旦適切に整合されても、音声は、２つの記録間のドリフトのため、たとえわずか１分間の再生後でさえ、徐々に整合していなくなる場合がある。
【０００５】
記録間のドリフトは、わずかに異なる周波数を有する異なるレコーダからの時計に起因し得る。ドリフトは、同一の正確さで絶対時間を保持しない場合がある可変ビットレートを用いたオーディオコーデックに起因してもよい。ドリフトの他の一原因は、記録されているパフォーマンス中のカメラの移動でもよい。ドリフトの影響は、近接マイクロホンとビデオカメラ音声信号が混合される場合のほうが、単一の音声信号が最終的なファイル内に保持される（即ち、近接マイクロホン信号が遠方のマイクロホン信号に取って替わる）場合よりも大きい。混合信号が時間とともに相互から一層離れてドリフトするにつれて、和はコムフィルタされて鳴り、次に反響し、次に大いに反響し、そして次には離散的なエコーを有するに至る場合がある。単一信号では、反響やエコーは問題とならない場合があるが、ビデオと音声とのリップ同期（リップシンク：訳者注）は再生中に悪化する。
【０００６】
一音源からの音声記録を、他の音源からの同一シーンのビデオまたは音声記録と整合させることの困難さを、シーンから離れて配置されたカメラからの記録と、シーンの近くに配置されたマイクロホンからの音声記録との前後関係で説明した。類似の問題は、例えば、音声が映画のセット上で記録され、対話が最終的な映画に含ませるべくスタジオ内で再録音されるときに提示される。このプロセスは、自動対話置換（ADR）と呼ばれ、対話をよりわかりやすく（雑音をより少なく、反響をより少なく）する、対話を外国語に翻訳する、または元の対話に含まれていた冒涜的発言を除去もしくは置換するために使用される。置換音声記録は、シーンのビデオ記録と同時の記録ではない場合がある。しかしながら、整合問題は、音声を元の記録されたビデオと混合するときに生成する、ただしそのビデオは本明細書の目的上、混合される記録と同一シーンであると考えて差し支えない。音声信号の整合に関わる問題は、ビデオ記録を含まないかも知れない他の用途やシナリオにおいて生成し得る。
【０００７】
整合の問題は、ストリーミングメディア信号に関しても生成し得る。媒体信号のストリーミングは遍在するようになり、整合問題が各種の用途で生成し得る。例えば、高精細度（「ＨＤ」）ラジオ局は、同一コンテントを含むアナログ伝送波とデジタル伝送波の両方を放送する。放送者は、手動でこれらの伝送波の整合を試みる（そして、時には失敗する）。受信器（即ち、聴者のラジオ受信装置）は、２つの伝送波を整合させる備えがない。天候と地形（丘陵やその他不規則な地表など）はデジタル信号喪失の原因となりうるが、かかる場合には受信器はアナログ信号の受信へと立ち戻る。
デジタル信号は強まったり弱まったりしてもよく、その結果受信器はアナログ信号とデジタル信号との間を行き来する。アナログおよびデジタル信号が整合されていない場合には、行き来する受信は不愉快な聴取経験を強要する。
【０００８】
異なる発生源を使用して同一シーンにかかる音声記録をさらに容易かつ確実に整合させる方法が必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００９】
第１の媒体信号および第２の媒体信号を時間整合させるためのおよび方法。第１および第２の媒体信号は、一音声パフォーマンスとして、または音声ビデオ記録の音声部分として、結合するために記録される音声信号でもよい。音声信号は、異なる発生源からの同一パフォーマンスの記録でもよい。システムは、共通のサンプリングレートを使用して生成されるデジタルサンプルとして音声信号を取り出す。システムは、第１および第２の信号間の当初の不整合を低減させるための少なくとも一つの粗整合機能を含む。粗整合機能は、粗シフトされた第２の信号を生成するように構成されてもよい。細密整合機能は、第１の信号および粗シフトされた第２の信号間の不整合評価を行うことにより、第１の信号および粗シフトされた第２の信号間の整合時間シフトを決定する。信号間の当初の不整合を低減させるために、またかなりの不整合が要求する処理およびメモリ資源への負荷を低減させるために、異なる粗整合機能が使用されてもよい。
【００１０】
本発明の他のデバイス、装置、システム、方法、特徴および利点は、以下の図および詳細な説明を調べてみれば当業者には明らかであろう、または明らかとなろう。全てのかかる付加的なシステム、方法、特徴および利点は本明細書の中に含まれ、本発明の範囲内にあり、添付の請求の範囲により保護されることが意図されている。
【００１１】
例えば、本願発明は以下の項目を提供する。
（項目１）
第１の媒体信号および第２の媒体信号を時間整合させるための方法であって、
上記第１および第２の媒体信号を、サンプリングレートを使用して生成されたデジタルサンプルの流れとして受け取ることと、
上記第１の媒体信号と上記第２の媒体信号との間の近似不整合を決定することと、
上記近似不整合に基づいた粗時間シフトを決定することと、
粗シフトされた第２の信号を生成するために、上記粗時間シフトにより上記第２の媒体信号をシフトさせることと、
上記第１の媒体信号と上記粗シフトされた第２の信号との間の整合時間シフトを決定することと、
上記第１の媒体信号と整合された、シフトされた第２の信号を生成するために、上記粗シフトされた第２の信号を上記整合時間シフトによりシフトさせることと、を含む方法。
（項目２）
上記整合時間シフトを決定するステップは、
上記第１の媒体信号と上記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１の媒体信号と上記第２の媒体信号の相互情報に基づく分析を実行することと、を使用することのいずれかの方法を含む、上記項目に記載の方法。
（項目３）
上記粗整合機能を使用する上記ステップは、上記粗整合機能を複数の粗整合機能から選択することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目４）
粗時間シフトを決定する上記ステップは、上記粗時間シフトが上記第１の選択された粗整合機能を使用することを決定できなかった際は、上記複数の粗整合機能の異なる粗整合機能を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目５）
上記第２の媒体信号をシフトさせる上記ステップの後に、上記粗整合機能を使用する上記ステップを実行することと、上記粗時間シフトを決定することと、第２の粗シフトされた第２の信号を生成するために、上記第２の媒体信号をシフトさせることと、をさらに含み、整合される上記信号は、上記第１の媒体信号および上記粗シフトされた第２の信号であり、上記粗整合機能を使用する上記ステップは、上記複数の粗整合機能の１つを選択する上記ステップを含む、上記項目のうちのいずれか一項に記載の方法。
（項目６）
上記粗整合機能を使用する上記ステップを反復することと、上記粗時間シフトを決定することと、粗シフトされた第２の信号をさらに生成するために、上記第２の媒体信号をシフトさせることと、をさらに含み、整合される上記信号は、上記第１の媒体信号および上記事前に粗シフトされた第２の信号であり、上記粗整合機能を使用する上記ステップは、上記複数の粗整合機能の１つを選択する上記ステップを含む、上記項目のうちのいずれか一項に記載の方法。
（項目７）
上記粗整合機能を使用する上記ステップは、
上記第１および第２の信号のそれぞれをサブサンプリング係数によってサブサンプリングすることと、
上記第１のサブサンプルされた信号と上記第２のサブサンプルされた信号との間の遅延を検出することと、を含み、
上記粗時間シフトを決定する上記ステップは、上記検出された遅延を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目８）
上記遅延を決定する上記ステップは、
上記第１および第２のサブサンプルされた信号の相互相関を実行することであって、上記粗時間シフトを決定する上記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目９）
上記粗整合機能を使用する上記ステップは、
第１および第２の信号包絡線を検出するために、上記第１および第２の信号のそれぞれを復調することと、
第１および第２のダウンサンプルされた包絡線を生成するために、上記第１および第２の信号包絡線を、ダウンサンプリング係数によってダウンサンプリングすることと、
上記第１のダウンサンプルされた包絡線と上記第２のダウンサンプルされた包絡線との間の遅延を検出することと、を含み、
上記粗時間シフトを決定する上記ステップは、上記検出された遅延を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１０）
上記遅延を決定する上記ステップは、
上記第１および第２のダウンサンプルされた包絡線の相互相関を実行することであって、上記粗時間シフトを決定する上記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１１）
上記粗整合機能を使用する上記ステップは、
上記第２の信号から信号特徴を抽出することと、
上記第１の信号から信号部分を抽出することと、
上記信号特徴を上記信号部分と比較することと、
上記信号部分が上記信号特徴と一致する場合は、上記第１の信号内の上記信号部分の開始時間への時間遅延を識別することと、
上記信号部分を第１の信号から抽出する上記ステップを反復し、上記信号部分が上記信号特徴と一致するまで、上記信号特徴を上記信号部分と比較することと、を含む、上記項目のうちのいずれか一項に記載の方法。
（項目１２）
信号特徴および信号部分を抽出する上記ステップは、上記第１および第２の信号内の音声要素を抽出することを含み、
上記信号特徴と上記信号部分を比較する上記ステップは、音声認識機能を実行することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１３）
信号特徴および信号部分を抽出する上記ステップは、上記第１および第２の信号内の信号パターンまたは意味特徴を抽出することを含み、
上記信号特徴と上記信号部分を比較する上記ステップは、パターン認識機能を実行することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１４）
上記第１および第２の媒体信号を受け取る上記ステップは、
媒体信号サイズより小さいブロックサイズを決定することと、
第１および第２の媒体信号のそれぞれを複数のブロックに分割することと、
上記粗整合機能を使用し、粗時間シフトを決定する上記ステップにおいて、上記第１および第２の媒体信号の対応するブロックを処理することと、をさらに含む、上記項目のうちのいずれか一項に記載の方法。
（項目１５）
第１および第２の媒体信号を時間整合させるためのシステムであって、
上記第１の信号と上記第２の信号との間の初期不整合を低減させるための少なくとも１つの粗整合機能であって、上記粗整合機能は、粗シフトされた第２の信号を生成するように構成された、少なくとも１つの粗整合機能と、
上記粗シフトされた第２の信号と、上記第１の信号と上記粗シフトされた第２の信号との間の上記第１の信号との間の整合時間シフトを決定するように構成された、細密整合機能と、を含むシステム。
（項目１６）
上記細密整合機能は、
上記第１の媒体信号と上記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用することにより、遅延を検出するように構成された不整合推定器を含む、上記項目に記載のシステム。
（項目１７）
上記少なくとも１つの粗整合機能は、
第１および第２のサブサンプルされた信号を生成するために、サブサンプリング係数により上記第１および第２の信号をサブサンプルするように構成された、第１および第２のサブサンプリング機能であって、上記第１および第２のサブサンプルされた信号を使用して、上記第１のサブサンプルされた信号と上記第２のサブサンプルされた信号との間の粗時間遅延を決定する、第１のサブサンプリング機能および第２のサブサンプリング機能と、
上記第２の信号を、上記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、上記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、上記項目のうちのいずれか一項に記載のシステム。
（項目１８）
上記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
上記第１および第２のサブサンプルされた信号を加え、上記合計内のノッチを検出することと、
位相接続法を実行することと、のいずれかを使用して、上記粗時間遅延を決定するように構成された不整合推定器をさらに含む、上記項目のうちのいずれか一項に記載のシステム。
（項目１９）
上記少なくとも１つの粗整合機能は、
対応する包絡線を検出するために、上記第１および第２の信号を復調するように構成された、第１および第２の包絡線復調器と、
第１および第２のダウンサンプルされた包絡線を生成するために、ダウンサンプリング係数により、上記第１および第２の包絡線をダウンサンプルするように構成された、第１および第２のダウンサンプラと、この場合、上記第１および第２のダウンサンプされた包絡線を使って、上記第１および第２のダウンサンプされた信号の間の粗時間遅延を決定し、
上記第２の信号を、上記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、上記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、上記項目のうちのいずれか一項に記載のシステム。
（項目２０）
上記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用する上記粗時間遅延を決定するように構成された、不整合推定器をさらに含む、上記項目のうちのいずれか一項に記載のシステム。
（項目２１）
上記少なくとも１つの粗整合機能は、
上記第２の信号内で比較するべき特徴を抽出するように構成された特徴抽出機能と、
上記第１の信号から上記特徴に一致するパターンまたは意味特徴を抽出するように構成された一致パターン抽出機能と、
上記一致を比較するべき上記特徴と一致させるための特徴比較器と、
上記第１の信号内のパターンに一致するために時間シフトを決定するように構成された特徴遅延比較器と、
上記第２の信号を上記時間シフトに基づく上記第１の信号と整合するように構成された、粗信号シフタと、を含む、上記項目のうちのいずれか一項に記載のシステム。
【００１２】
（摘要）
第１および第２の媒体信号を時間整合させるためのシステムおよび方法。第１および第２の媒体信号は、１つの音声性能として、または音声動画録音の音声部分として結合するために録音された、音声信号であってもよい。システムは、一般的なサンプリングレートを使用して生成された、デジタルサンプルとしての音声信号を取得する。システムは、第１の信号と第２の信号との間の初期不整合を軽減するための、少なくとも１つの粗整合機能を含む。粗整合機能は、粗シフトされた第２の信号を生成するように構成され得る。細密整合機能は、第１の信号と粗シフトされた第２の信号との間の相互相関を実行することにより、粗シフトされた第２の信号と第１の信号との間の整合時間シフトを決定する。
【図面の簡単な説明】
【００１３】
下記の説明は、以下の図を参照することによってより良く理解されるであろう。図中の構成要素は必ずしも一定の比率ではなく、それよりも本発明の原理を示すことに重点が置かれている。図では、類似の参照番号は、異なる図面にわたって対応する部分を表わす。
【図１Ａ】媒体ファイルを整合させるシステムの例の動作を示す概略図である。
【図１Ｂ】媒体ファイルを整合させるシステムの例のブロック図である。
【図２Ａ】図１Ｂに示されたシステムに使用され得る粗整合機能の例のブロック図である。
【図２Ｂ】２つの信号間の相関の結果を示すヒストグラムの例である。
【図２Ｃ】２つの信号間の相関の結果を示すヒストグラムの例である。
【図３Ａ】図１Ｂに示されたシステムに使用され得る粗整合機能の他の例のブロック図である。
【図３Ｂ】図１Ｂに示されたシステムに使用され得る粗整合機能の他の例のブロック図である。
【図４】図１Ｂに示されたシステムに使用され得る粗整合機能の他の例のブロック図である。
【図５】図５は、図１Ｂに示されたシステムに使用され得る細密整合機能の例のブロック図である。
【図６】媒体ファイルを整合させる方法の例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１Ａは、媒体ファイルを整合させるシステム１００の例の動作を示す概略図である。図１Ａのシステム１００は、マルチメディアレコーダ１０２、ステージ１０４、およびビデオカメラからの媒体ファイルをステージ１０４からの媒体ファイルと整合させる時間整合システム１０６を含む。マルチメディアレコーダ１０２は、信号レコーダ１１０、ビデオカメラ１１２、およびカメラマイクロホン１１４を含む。システム１００のマルチメディアレコーダ１０２は、ステージ１０４上のシーンまたはパフォーマンスのビデオを、マルチメディアレコーダ１０２に望ましい視野を提供する場所から記録するユーザにより操作されてもよい。選択される場所は、マルチメディアレコーダ１０２で記録される音声の品質に影響を及ぼすために、ステージ１０４の環境（１２４で）内の構造物による反響からのバックグラウンドノイズや効果に充分な、ステージ１０４からやや離れた場所でもよい。信号レコーダ１１０は、ステージ１０４上のパフォーマンスのビデオおよび音声記録を音声付きビデオファイルとして記録し、格納する。
【００１５】
一以上の近接マイクロホン１１６ａ〜ｃは、ステージ１０４上またはそのごく近くに配置されてもよい。近接マイクロホン１１６ａ〜ｃは、ステージ１０４上のパフォーマンスの所望の音声部分をピックアップするように配置されてもよい。所望の音声はミキサー１１８に伝送されてもよく、そのミキサー１１８は所望の音声の混合バージョンを音声レコーダ１２０に伝送するように構成されてもよい。ミキサー１１８は、近接マイクロホン１１６ａ〜ｃのそれぞれから受けとった音声信号を制御された仕方で結合するために使用されてもよい。音声レコーダ１２０は、所望の音声の混合バージョンを使用して、ステージ１０４上のパフォーマンスの音声部分の音声記録またはオーディオファイルを生成する。
【００１６】
一実装例では、音声付きビデオファイルは、ステージ１０４の近くの近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分からのオーディオファイルと、後処理において混合されてもよい。近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分の品質は、マルチメディアレコーダ１０２により記録される音声よりも大幅に高くかつ再生のためにより適切に処理されてもよい。近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分は、マルチメディアレコーダ１０２による音声記録に影響を及ぼしている環境条件１２４の支配を受けない場所から記録される。音声付きビデオファイルを、近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分からのオーディオファイルと混合する前に、時間整合システム１０６は、ファイルがパフォーマンスに対して同一時から始まって混合されることを確実にするために、両ファイルを整合させる。
【００１７】
何らかの形のメモリ領域内で記録された媒体ファイルが利用できるときは、時間整合システム１０６は後処理で提供されてもよいことに留意されたい。ファイルは、任意の適切な方法でアクセスされ時間整合システム１０６に入力されてもよく、その方法はファイルが格納されるメモリの種類および時間整合システム１０６が利用できるファイル入力資源に依存し得る。実施例では、時間整合システム１０６は、基本的なコンピュータシステム資源を有する任意の適切なコンピュータ制御デバイス内で作動するものであってよい。時間整合システム１０６は任意の適切なファイルアクセスシステムを含むものであってもよく、これにはＵＳＢデバイス、フラッシュドライブおよびＳＤカード等のメモリーカードのような携帯用の記憶装置に対するインタフェイス、電子テープ上に格納されるファイル用のテープドライブインタフェイス、および媒体ファイルへのアクセスに適した任意の他のタイプのファイルアクセスシステムを含む。時間整合システム１０６は、ディスプレイ、キーボード、マウス、キーパッド、ノブ、ボタン等のユーザインタフェイスデバイスを含んでもよい。整合プロセス自体のためのユーザインタフェース要件は、プロセスが大幅に自動化されるにつれて、開始、およびプロセスと基礎的なフィードバックの開始に限られうることに留意されたい。更に、時間整合システム１０６は、デスクトップ、ラップトップまたはワークステーション等の標準コンピューティングシステム上で、または時間整合に加えて他の機能を有するマルチメディア処理システム上で、作動するソフトウェア用途として実現されてもよい点も留意されたい。
【００１８】
一実装例では、記録された媒体ファイルは、任意の適切な形式のアナログ信号またはデジタル信号として提供されるものであってもよい。適切な形式の例としては、任意のＭＰＥＧ形式（例えばＭＰ３等）Ｍ４Ａ、ＭＯＶ、ＱＴＦＦ（ＱｕｉｃｋＴｉｍｅ）、ＷＭＡ、およびＷＡＶやＡＩＦＦ等の普及しているＰＣＭ形式が挙げられるが、これに限定されるものではない。時間整合システム１０６の実施例は、媒体ファイル内の任意の適切な形式のデータを受け取るように構成されていてもよいと理解されるべきである。媒体ファイル内の音声データは、サンプルされた音声信号、または記録されたままの音声のタイムラインを維持する任意の種類のデータもしくは信号、のいずれかとしてアクセスされる。音声データは、２つのリアルタイムストリームとして提供されてもよい。リアルタイムストリームは、データネットワークまたは無線放送のような任意の種類の電子的接続を通して受け取られてもよい。
【００１９】
図１Ｂは、媒体ファイルを整合させるシステムの例のブロック図である。図１Ｂのシステムは、図１Ａの時間整合システム１０６として実現されてもよい。時間整合システム１０６は、粗整合機能１６０、細密整合機能１６２および信号合成器１７０を含む。時間整合システム１０６は、整合のための第１の媒体信号１５０および第２の媒体信号１５２を受け取る。第１の媒体信号１５０は、例えば、図１Ａのマルチメディアレコーダ１０２により記録される、音声信号付きビデオファイルまたは音声付きビデオファイルの音声部分でもよい。第２の媒体信号１５２は、図１Ａの近接マイクロホン１１６ａ〜ｃによりピックアップされる音声信号を受け取るレコーダ１２０により記録されるパフォーマンスの音声部分でもよい。いかなる実施例においても、第１および第２の媒体信号１５０、１５２は、異なる発生源から記録され、再生のために結合または併合されるべき任意の２つの媒体信号であってもよい。異なる発生源から記録される２つの媒体信号は、同一パフォーマンスの記録からでもよい。一実施例では、一方の媒体信号は、再生のために他方の媒体信号の対応部分中に統合されるべき音声の一以上の部分でもよい。かかる実施は、例えば、異なる言語を使用するための音声の吹き替え、いかがわしい言葉を除去するための対話の改変、または他の類似の用途を含む。
【００２０】
第１の媒体信号１５０および第２の媒体信号１５２は、音声信号を表現するデジタルサンプルへのアクセスを可能にするとともにタイミング情報を含む情報を提供する形式のものでもよい。例えば、第１および第２の媒体信号１５０、１５２は、対応するアナログ信号のアナログ表現から変換されるデジタルサンプルのストリームでもよい。デジタルサンプルのストリームは、非圧縮の形態をとり、アナログから公知のサンプリングレートを使用して変換されるものでもよい。第１の媒体信号１５０および第２の媒体信号１５２は、圧縮されたデジタル音声信号であってもよい。しかしながら、第１および第２の媒体信号１５０、１５２は、後述するように非圧縮の形態で、またはパフォーマンスに対するタイミングを信号中で使用し維持するように処理されうると理解されるべきである。下記の説明では、第１および第２の媒体信号１５０、１５２は、公知のサンプリングレートで変換された変換アナログオーディオ信号のデジタルサンプルのストリームであると理解されるべきである。デジタルサンプルは、配列または他の適切なデータ構造として一続きで格納されてもよい。第１および第２の媒体信号１５０、１５２のそれぞれは、サンプル数（サイズ）、開始点、サンプリングレート、記録開始時間、記録終止時間、日付、および保持するのが有用である他の情報のような、各信号に関する情報を格納するためのヘッダまたは情報ブロックを含んでもよい。
【００２１】
図１Ｂを参照すると、時間整合システム１０６は、粗整合機能１６０において、第１の媒体信号１５０と第２の媒体信号１５２を受け取る。粗整合機能１６０は、媒体信号のおおよその整合を行うことにより、媒体信号の当初の不整合を低減させる。２つの媒体信号１５０、１５２は、当初は様々な程度に整合されていない場合がある。微細な尺度では、２つの音声記録は1ミリ秒未満だけシフトされてもよい。粗い尺度では、（図１Ａを参照して記載したように）もし源までの異なる距離で音声記録が行われたとすると、音波の伝播時間は数十ミリ秒または数百ミリ秒オーダーの不整合を生じさせることになろう。更になお粗い尺度では、一方の音声記録は、他方の記録の数分前に開始された場合には、何千万サンプルもの不整合が生じることになる。極めて粗い尺度では、媒体信号１５０、１５２は、短いクリップ（例えば２０秒）と長い記録（例えば１時間）である場合があり、そして、短いクリップを長い記録の中から見つける、あるいは短いクリップを長い記録の中に挿入する場所を見つけることが求められる。第１および第２の媒体信号１５０、１５２間の当初の不整合が大きければ大きいほど、これらを整合させるプロセスにおける計算負荷は大きい。
【００２２】
粗整合機能１６０は、媒体信号の一方を他方とおおよそ時間整合させる粗時間シフトを示す粗時間遅延を決定する。粗整合機能１６０は、第１または第２の媒体信号の一方を他方に対してシフトされてもよい。下記の例の説明では、諸実施例の説明のために、第２の媒体信号１５２がシフトされ、粗シフトされた第２の信号として出力される。特定の実施では、その実施の固有の要件により、いずれかの信号が他方に対してシフトされてもよい。
【００２３】
図１Ｂの粗整合機能１６０は、細密整合機能１６２への入力としての粗シフトされた第２の信号を生成する。粗シフトされた第２の信号は、信号の開始点が時間シフトされた第２の媒体信号１５２の実質的なコピーとして生成されてもよい。信号の開始点は、例えば、第２の媒体信号１５２におけるサンプル列中へのインデックスにより示されてもよい。インデックスは、デフォルトとして０または１に設定され、次に粗時間遅延に従って改変されてもよい。例えば、インデックスは、所与のサンプリングレートに基づいて粗時間遅延に等価なサンプル数だけ増やされ（または、その逆方向にシフトさせ、インデックスが信号中の第１のサンプルを示さないときは減らされ）てもよい。
【００２４】
細密整合機能１６２は、第１の媒体信号１５０と粗シフトされた第２の信号との「サンプルごとの」整合を行う。「サンプルごとの」整合は、２つの信号間の不整合の不整合評価を行い、次に決定された不整合だけ一方の信号をシフトさせることを含んでもよい。一実施例では、不整合評価は、２つの信号の相関を決定すること、および分析される時間シフトのいずれかにピークがないか決定するためにその相関の結果を分析すること、を含んでもよい。ピークが検出された場合、粗シフトされた第２の信号は、微細な時間遅延だけシフトされて、微細にシフトされた第２の信号が生成される。微細にシフトされた第２の信号は、次に信号合成器１７０内で第１の媒体信号１５０と結合されてもよい。
【００２５】
信号合成器１７０は、整合システムを使用する特定の用途に適すると考えられる任意の仕方で信号を結合するものであってもよい。図１Ａに示される例では、一方の媒体信号はマルチメディアレコーダ１０２より記録される音声付きビデオ信号であり、他方の媒体信号はパフォーマンスの音声部分である。信号合成器１７０は、マルチメディアレコーダ１０２により記録された音声を微細にシフトされた第２の信号に入れ替えることにより、または音声とビデオの双方を有する媒体信号の音声部分を単に破棄することにより、結合信号１８０を生成し得る。信号は、結合信号に雰囲気ムードを提供するために、音声とビデオの双方を有する媒体信号中の音声信号がより低い水準で付加されて混合されてもよい。信号合成器１７０は、一方の音声チャンネルに第１の媒体信号１５０を有し、他方のチャンネルに微細にシフトされた第２の信号を有するものとして結合信号１８０を生成してもよい。
【００２６】
ここでは、不整合評価は相関機能を実行するものとして、どのように不整合が決定されるのかを制限する意図なしに記載されていることに留意されたい。相関機能は「相互相関」機能でもよい、しかし、同様に、他の方法が実施されてもよい。２つの信号間の不整合を決定するために使用され得る他の方法としては、時間遅延スペクトル分析法、位相アンラッピング法、および２つの信号の相関、コヒーレンスまたは相互情報量に基づく任意の適切な分析が挙げられるが、これに限定されるものではない。不整合評価を行うために、任意の適切な時間遅延評価機能を使用してもよい。同様に、粗整合機能１６０における粗時間遅延の決定を、任意の適切な相関機能または適切な時間遅延評価機能を使用して行ってもよい。粗時間遅延は、パターンマッチ技術、または一のメディアクリップが他の一のメディアクリップ中に配置される他の類似の方法を使用して、後述するように決定されてもよい。
【００２７】
更に、ここでは、不整合の決定は、ヒストグラム中のように、相互相関の結果中に「ピーク」を同定することを含むものとして記載されている点に留意されたい。ピークは、正か負のいずれであってもよい相関値から検出されてもよい。所望のピークは相関中で最大の絶対値を有する。不整合は、相互相関の結果中の重心の算出により決定されてもよい。重心の算出では、相互相関中の各位置が、相関値の絶対値に等しい加重を使用して平均される。広く、ゆがんだピークは、重心を使用してより良く評価されてもよい。非常に強いピークは、パターン認識や他のより正確でない方法により同定されるピークに等しい重心を有するであろう。ピークは、結果を微分することにより検出されてもよく、例えば、ヒルベルト変換のような公知のアルゴリズムを使用することを含んでもよい。ここでは、用語「ピーク」は、不整合を決定するために使用される技術に関係なく、不整合評価算出結果中の不整合評価の徴候に言及するものと理解されるべきである。
【００２８】
図１Ｂの時間整合システム１０６の実施例では、用途および／または不整合の程度に応じ、異なる粗整合機能が使用されてもよい。一実施例では、媒体信号のサンプルごとの細密整合が行なわれる前に、一以上の整合粗信号整合が順次に行われてもよい。図２〜４を参照して記述される粗整合機能は、計算負荷を低減させるための信号処理プロセスを含む。次の３種類の信号処理プロセスが使用されてもよい：（１）サブサンプリング、（２）包絡線検波、および（３）特徴抽出。図２-４は、これら３つのプロセスを使用する３つの粗整合機能の例を示す。
【００２９】
図２Ａは、図１Ｂに示したシステムに使用され得る第１の粗整合機能２００の一例のブロック図である。図２Ａの第１の粗整合機能２００は、第１の媒体信号２０２ａおよび第２の媒体信号２０２ｂのブロック処理を示す。第１および第２の媒体信号２０２ａ、２０２ｂは、図１Ｂを参照して上述した媒体信号１５０、１５２に対応し得る。第１および第２の媒体信号２０２ａ、２０２ｂは、整合プロセスの前ステップにおいて整合粗信号整合を使用して部分的に整合された、粗整合された媒体信号であってもよい。
【００３０】
図２Ａは、媒体信号２０２ａ、２０２ｂをブロック２０３へと分割することを示す。媒体信号２０２ａ、２０２ｂが非常に大きなメモリ資源を必要とする場合は、より小さなブロック２０３の処理が有用なことがある。より小さなブロック２０３は、記録装置内でのドリフトに起因する潜在的な整合エラーの修正に使用されてもよい。マルチメディアレコーダ１０２や音声レコーダ１２０（図１Ａ）等の記録装置は、時間とともにドリフトしてもよく、あるものは他のものより多くドリフトし得る。２台のレコーダ（例えば、図１Ａのマルチメディアレコーダ１０２と音声レコーダ１２０など）間のドリフトの違いによって、整合におけるエラーが生じる場合がある。レコーダ間のドリフトは、２つの媒体信号２０２ａ、２０２ｂの相互相関をとり、相互相関の結果のヒストグラムを分析することにより評価されてもよい。２台のレコーダ間のドリフトの違いは、ヒストグラム中のメインピークの幅を計量することにより決定されてもよい。ドリフトは、異なるブロックにおいて実効遅延を見積もることにより決定されてもよい。実効遅延は、ドリフトのため時間とともに増加し得る。より広いピークは、複数のピークが重なりあって不鮮明になったことを示すものである。ピークの幅は、個々のブロック２０３のサイズを決定し得る。
【００３１】
ブロック２０３ａ、ｂのサイズは、可能なドリフトの最大のものの数倍よりも大きいサイズに設定されるべきである。ブロックは、各ブロックに対して不整合が算出されるように処理されてもよい。各ブロックの不整合は、各ブロックが処理されながら後続のブロックを再定義するために使用されてもよく、よって２つの媒体信号２０２ａ、２０２ｂ間のありうるドリフトを低減させる結果となる。例えば、持続長さＤサンプルの記録初めの後にＴサンプルを開始する時間ブロックＸで、Ｍサンプルの不整合が決定されたとすると、第２信号ブロック２０３ｂのブロックＸ内の信号は、Ｍサンプルだけシフトされるべきことになる（訳注：Ｔ、Ｍ、Ｄはそれぞれ個数を表す；以下同様）。第１の信号ブロック２０３ａのブロックＸ＋１は、（Ｔ＋Ｄ）サンプルから始まるように定義される；しかし、第２の信号ブロック２０３ｂのブロックＸ＋１は（Ｔ＋Ｄ＋Ｍ）サンプルから始まるように定義される。
【００３２】
図２Ｂおよび２Ｃは、ブロックのサイズが実効遅延に及ぼす影響を示すために提供するヒストグラムの例である。図２Ｂは、両信号間の固定的遅延なしで４つの異なるサイズを有するブロックに分割された２つの信号間の４つの相関の結果を示す。図２Ｂの４つの結果は、１００ミリ秒ブロック相関２５０、５００ミリ秒ブロック相関２６０、１０００ミリ秒ブロック相関２６４、および４０００ミリ秒ブロック相関２６６を含む。１００ミリ秒ブロック相関２５０は、１００ミリ秒ブロックピーク２５２を有し、５００ミリ秒ブロック相関２６０は、５００ミリ秒ブロックピーク２６２を有し、１０００ミリ秒ブロック相関２６４は、１０００ミリ秒ブロックピーク２６６を有し、４０００ミリ秒ブロック相関２６６は、４０００ミリ秒ブロックピーク２６９を有する。図２Ｂの相関２５０、２６０、２６４および２６６は、ブロックサイズが増加するにつれて、相関のピーク値（２５２、２６２、２６６、および２６９）は減少し、ピークに寄与するサンプル数がより多くなることを示す。また、ブロックサイズが増加するにつれて、ピーク周辺の領域はよりノイズが多くなる。
【００３３】
図２Ｃは、４つの異なるサイズを有するブロックに分割された２つの信号間の４つの相関の他の一グループの結果であるが、両信号間に５０ミリ秒の固定的遅延を伴う場合のものを示す。図２Ｃの４つの結果は、１００ミリ秒ブロック相関２７０、５００ミリ秒ブロック相関２７８、１０００ミリ秒ブロック相関２８０、および４０００ミリ秒ブロック相関２８６、を含む。図２Ｃに示すように相関された信号の一方は、他方から５０ミリ秒遅延させられた。１００ミリ秒ブロック相関２７０は、いかなる遅延も示さない１００ミリ秒ブロックピーク２７２を有する。５００ミリ秒ブロック相関２６０は、５００ミリ秒ブロックピーク２７９を、５０ミリ秒における２７９ａとその１０ミリ秒後におけるもう一つの２７９ｂとに有し、それぞれ固定的遅延とドリフトとを反映している。１０００ミリ秒ブロック相関２６４も、１０００ミリ秒ブロックピーク２８１を、５０ミリ秒における２８１ａとその１０ミリ秒後における２８１ｂとに有し、それぞれ固定的な５０ミリ秒の遅延とドリフトとを示している。４０００ミリ秒のブロック相関２８６は、４０００ミリ秒ブロックピーク２８７を、５０ミリ秒における２８７ａとその１０ミリ秒後における２８７ｂとに有し、後者はドリフトを示している。
【００３４】
いかなる意図的に挿入された固定的遅延もない図２Ｂに示される結果は、約１０ミリ秒の実効遅延を生じさせているドリフトを例示している。ドリフトは、全てのブロックサイズで検出できる。図２Ｃは、意図的に挿入された５０ミリ秒の遅延を有するものであるが、その結果もまた１０ミリ秒の実効遅延の原因となるドリフトを示している。
しかしながら、意図的な５０ミリ秒の遅延により、実効遅延は、下方の３つのパネル（２７８，２８０および２８６）内では検出できるが、小さな（１００ミリ秒）ブロックサイズの１００ミリ秒ブロック２７０内では検出できない。
【００３５】
図２Ａに示す媒体信号２０２ａ、２０２ｂのブロック処理は、第１の信号ブロック２０３ａに分割される第１の信号２０２ａと、第２の信号ブロック２０３ｂに分割される第２の信号２０２ｂとを示す。第１および第２の信号ブロック２０３ａ、２０３ｂは、次に、粗整合を決定するために、下記に詳述されるようなサブサンプリングを使用して処理される。実施例では、粗整合処理は、各信号からの対応する１対のブロックを用いて行われてもよい。例えば、粗整合のために、各信号からの第１のブロックが使用されてもよい。用途、信号の特徴、またはユーザの採択により選択されるパラメータに応じて、粗整合は、各信号の全てのブロックまたはいくつかのブロックを処理することにより行われてもよい。分析のため、おおよその一の最良値を決定するため、または他の所望の目的のために、複合の粗時間遅延が使用されてもよい。一旦、粗時間遅延が決定され、信号整合が近似されると、粗シフトされたブロック２１２が生成される。サンプルごとの整合のため、または信号２０２ａ、２０２ｂの細密整合のために、ブロック２３０を対応する粗シフトされたブロック２１２と細密整合させることにより、全ての第１の信号ブロック２０３ａが処理されて、微細にシフトされたブロック２２０が生成される。
【００３６】
図２Ａでは媒体信号２０２ａ、２０２ｂの分割はサブサンプリング粗整合機能に関して記載されているが、ブロックへの分割は、図２〜４に示された任意の粗信号解析器のために行ってもよい点に留意されたい。図２Ａのサブサンプリング粗整合機能は、いかなるアンチエイリアシングフィルタも必要としない点も留意されたい。というのも、折り返し成分がサブサンプルされた信号間の時間シフト検出を助ける場合があるからである。時間シフトを検出するために相関が使用される例では、折り返し成分は相関機能を助ける。図２Ａを参照すると、第１の粗整合機能２００は、媒体信号のサイズを減らすことにより計算負荷を低減させるために、媒体信号のサブサンプリングを使用する。図２Ａの第１の粗整合機能２００において、第１および第２の信号２０２ａ、２０２ｂは、対応するサブサンプラ２０４ａ、２０４ｂによりそれぞれサブサンプルされる。図２Ａの第１の粗整合機能２００は、第１および第２の信号２０２ａ、２０２ｂのそれぞれからの第１および第２の信号ブロック２０３ａ、２０３ｂを使用することにより、サブサンプリングに基づいて粗整合を行う。サブサンプラ２０４ａ、２０４ｂは、第１および第２の信号ブロック２０３ａ、２０３ｂを受け取り、あるサブサンプリング係数でサンプルを抽出するが、当該係数はその値ごとにそれぞれからサンプルが抽出されるべきことを示す整数でもよい。例えば、各サブサンプラ２０４ａ、２０４ｂは、対応する入力信号ブロック２０３ａ、２０３ｂから８番目ごとのサンプルを抽出してもよく、その場合は８というサブサンプリング係数により信号ブロック２０３ａ、２０３ｂのそれぞれのサイズを減らす。サブサンプラ２０４ａ、２０４ｂは、対応するサブサンプルされた第１および第２のブロック２０６ａ、２０６ｂを生成する。サブサンプルされた第１および第２のブロック２０６ａ、２０６ｂは、対応する第１および第２のブロックの整合のために使用され、その整合はその２ブロック間の遅延を決定する第１ステップと、その遅延に合わせて一方のブロックを他方のブロックに対してシフトさせる第２ステップとを含む。図２Ａに示す例では、第１および第２のサブサンプルされた第１および第２のブロック２０６ａ、２０６ｂは、粗不整合推定器２０８への入力信号として提供される。実施例では、粗不整合推定器２０８は、第１および第２のサブサンプルされた第１および第２のブロック２０６ａ、２０６ｂの相互相関を行う。２つの信号の相互相関は、当業者によく知られた機能であり、更なる詳細な説明は何ら必要とされない。相互相関はヒストグラムを生成してもよく、そのヒストグラムは所定の範囲内の信号間の時間遅延またはシフトに対して相互相関値をプロットするものである。ヒストグラムと、相互相関結果の分析へのその使用もまた、当業者に周知である。２つの信号間の最も高い相関を有するヒストグラム上の時間遅延は、最高水準を有し、ヒストグラム中のピークとして現れる。ピークがヒストグラム中に現れる場合、そのピークに対応する時間遅延は、ブロック２０６ａ、２０６ｂを整合させるために、ブロック２０６ａ、２０６ｂの一方のブロックが他方に対してシフトされなければならない時間に選定される。
【００３７】
粗不整合推定器２０８は、ここでは、相関結果中のピークにおけるシフトを同定することにより２つの信号ブロック２０６ａ、２０６ｂ間の遅延を決定するための相互相関機能を含むものとして記載されるが、粗不整合推定器２０８は、相互相関機能への使用に限られるべきものではない点に留意されたい。使用できる他の遅延検出機能としては、時間遅延スペクトル分析法、位相アンラッピング法、および２つの信号の相関、コヒーレンスまたは相互情報量に基づく任意の適切な分析が挙げられるが、これに限定されるものではない。粗不整合推定器２０８は、相関を行うとともにピーク検出のためにヒストグラムを分析してもよい。ピーク検出は結果を微分することを含む場合もあり、それはヒルベルト変換のような公知のアルゴリズムの使用を含んでもよい。ピーク検出のために、相関結果の適切な重心算出が使用されてもよい。
【００３８】
図２Ａの粗不整合推定器２０８によって提供される整合は、相互相関において使用されるブロック２０６ａ、２０６ｂがサブサンプルされているので、粗整合である。もしピークが図２Ａの粗不整合推定器２０８により行われる相互相関の結果として得られるヒストグラム中で検出されない場合は、整合粗信号整合が繰り返されてもよい。異なるパラメータを使用し、図２Ａの第１の粗整合機能２００を使用して整合粗信号整合が繰り返されてもよい。例えば、サブサンプラ２０４ａ、２０４ｂにより行われるサブサンプリングは、８ごとから６ごとまでのように、以前のサブサンプリング係数未満のサブサンプリング係数によりブロックをサブサンプルするものでもよい。より小さなサブサンプリング係数は、ブロックのサイズを更に減らす効果を有するであろう。あるいはまた、粗整合機能の他の一つを使用して、整合粗信号整合の他の試みが行われてもよい。
【００３９】
粗不整合推定器２０８が、ヒストグラム内の検出されたピークから粗時間シフトを決定する際、粗信号シフタ２１０は、媒体信号の１つに対応する相互相関に使用されるブロック２０６ａ、２０６ｂ上で粗信号シフトを実行するために、粗時間シフト（図２ＡにおけるΔＴｃｏａｒｓｅ）を使用する。粗信号シフタ２１０は、第１のサブサンプルされたブロック２０６ａおよび第２のサブサンプルされたブロック２０６ｂを生成するために使用されるサブサンプリング係数により、粗時間シフト、ΔＴｃｏａｒｓｅを訂正することにより、信号シフトを実行することができる。次いで訂正された粗時間シフトを使用して、入力として使用される第２の信号ブロックを、第２のサブサンプラ２０４ｂにシフトできる。第２の信号は、図２Ａに示された例ではシフトされるが、第１の信号は、特定の実施に従ってシフトされた信号であり得ることに留意されたい。信号をシフトさせる間、粗信号シフタ２１０は、例えば片方のゼロ値で１つの信号を埋め込むか、または反対側の他方の信号を切り捨てるものであり得る。
【００４０】
粗信号シフタ２１０は、対応する組の粗シフトされたブロック２１２を生成するために、第２の信号ブロック２０３ｂのすべてを処理する。次いで、粗シフトされたブロック２１２および第１の信号ブロック２０３ａは、細密シフトされたブロック２２０を生成するために、ブロック２３０上の細密整合によって処理され得る。
【００４１】
図３Ａは、図１Ｂに示されたシステムに使用され得る、第２の粗整合機能３００の例のブロック図である。図３Ａにおける第２の粗整合機能３００は、第１の音声伝送復調器３０４ａ、第２の音声伝送復調器３０４ｂ、第１のダウンサンプラ３０６ａ、第２のダウンサンプラ３０６ｂ、粗不整合推定器３１０、および粗信号シフタ３１２を含む。図３における第２の粗整合機能３００は、音声信号の包絡線を検出すること、および包絡線の相互相関を実行することによって作動する。各媒体信号２０２ａ、２０２ｂの包絡線検出は、音声伝送を復調することによって実行される。音声伝送復調器３０４ａ、３０４ｂは、例えば、ｙ（ｎ）＝（１〜α）ｙ（ｎ〜１）＋ａｂｓ（αｘ（ｎ））に従って、各信号を修正し、ローパスフィルタリングすることによって、包絡線を検出できる。
【００４２】
ダウンサンプラ３０６ａ、３０６ｂは、第１の媒体信号２０２ａおよび第２の媒体信号２０２ｂに対応する検出された包絡線を受け取り、各包絡線をダウンサンプルする。包絡線は、ＣＰＵ負荷およびメモリ要求を軽減するために、１０００までの係数をできるだけダウンサンプルされ得る。一部の信号に対して、重いダウンサンプリングは、全情報またはピッチ情報を除去することができる。この情報は、非常に律動的な通路内の有効な遅延の多数の誤評価をもたらし、整合をより困難にすることがある。ピッチ情報は、個々の遅延評価をより信頼できるものにするために、多数の（バンク当たり）包絡線検出器でカスケードされたフィルタバンクを使用して取り戻すことができる。図３Ｂは、包絡線検出およびフィルタバンクを使用する、粗整合機能３５０の例を示す。
【００４３】
図３Ｂにおける粗整合機能３５０は、整合される入力媒体信号としての、音声ファイル３５２ａおよび音声付動画ファイル３５２ｂを示す。音声ファイル３５２ａは、ローパスフィルタ３５４ａ、第１のバンドパスフィルタ３５６ａ、第２のバンドパスフィルタ３５８ａ、およびハイパスフィルタ３６０ａを有するフィルタバンクに入力される。図３Ｂに示されたように、２つのバンドパスフィルタ３５６ａ、３５８ａより多くのバンドパスフィルタが使用されてもよい。音声付動画ファイル３５２ｂは、ローパスフィルタ３５４ｂ、第１のバンドパスフィルタ３５６ｂ、第２のバンドパスフィルタ３５８ｂ、およびハイパスフィルタ３６０ｂを有する、第２のフィルタバンクに入力される。第１のフィルタバンク内のフィルタ３５４ａ、３５６ａ、３５８ａ、３６０ａは、第２のフィルタバンク内のフィルタ３５４ｂ、３５６ｂ、３５８ｂ、３６０ｂに対応する。第１のフィルタバンク内の各フィルタ３５４ａ、３５６ａ、３５８ａ、３６０ａは、対応する包絡線検出器機能３６２ａ、３６４ａ、３６６ａ、３６８ａに入力される。第１のフィルタバンク内の各フィルタ３５４ｂ、３５６ｂ、３５８ｂ、３６０ｂは、対応する包絡線検出器機能３６２ｂ、３６４ｂ、３６６ｂ、３６８ｂに入力される。
【００４４】
第１の相関器機能３７０は、包絡線検出器３６２ａでローパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６２ｂでローパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。第２の相関器機能３７２は、包絡線検出器３６４ａでバンドパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６４ｂでバンドパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。第３の相関器機能３７４は、包絡線検出器３６６ａでバンドパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６６ｂでバンドパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。第４の相関器機能３７６は、包絡線検出器３６８ａでハイパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６８ｂでハイパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。次に、第１の相関器３７０、第２の相関器３７２、第３の相関器３７４、および第４の相関器３７６で実行された相関の結果が、検出され得る信号の帯域幅を構成するピークから結果を提供するために、機能３８０を加えるヒストグラムで追加される。
【００４５】
図３Ａに戻って参照すると、ダウンサンプラ３０６ａは、ダウンサンプルされた第１の包絡線３０８ａを生成し、ダウンサンプラ３０６ｂは、ダウンサンプルされた第２の包絡線３０８ｂを生成する。第１のダウンサンプルされた包絡線３０８ａおよび第２のダウンサンプルされた包絡線３０８ｂは、相互相関機能３１０を使用して相互相関される。相互相関機能３１０は、粗時間シフト（図３ＡにおけるΔτｃｏａｒｓｅ）を生成し、粗時間シフトは、図２Ａを参照に上に説明されたように、相互相関のヒストグラムにおいて検出されたピークに基づくことができる。次いで、粗時間シフト、Δτｃｏａｒｓｅは、第１の信号２０２ａおよび第２の信号２０２ｂを整合するために、粗信号シフタ３１２によって使用され得る。粗信号シフタ３１２は、粗シフトされた第２の信号３２０を得るために、修正された粗時間シフト、Δτｃｏａｒｓｅにより、第２の信号２０２ｂを粗シフトさせることにより、信号の整合を実行できる。次に粗シフトされた第２の信号３２０は、より正確な整合を達成するために、別の粗整合機能、またはサンプル毎にシフトさせることにより細密整合に使用されることができる。
【００４６】
図４は、図１Ｂに示されたシステムに使用され得る、第３の粗整合機能ブロック４００の例のブロック図である。図４における第３の粗整合機能４００は、元の音声録音と同時に録音される必要がなかった、音声の第２のクリップとともに録音する音声内に、音声のクリップの置換が可能な適用に使用することができる。また、第２のクリップは、別のソースの録音であることができる。音声クリップのこのような置換である適用の例には、映画またはテレビの録音帯内の吹き替え、または自動対話置換（ＡＤＲ）が含まれる。別の例は、楽曲における楽器の代替の録音を使用するものである。
【００４７】
作動中、第３の粗整合機能４００は、第１の信号４０２として録音する元の音声、および第２の信号４０３として元の録音に挿入される第２のクリップを使用できる。第３の粗整合機能４００は、第２の信号４０３内の特徴またはパターンに比較され得る、第１の信号４０２内の特徴またはパターンを識別するための、第１の特徴抽出機能４０４を含む。第２の特徴抽出機能４０６を使用して、第１の特徴抽出機能４０４によって識別される特徴またはパターンに比較される、試験特徴またはパターンを識別できる。第１の特徴抽出機能４０４および第２の特徴抽出機能４０６は、入力として使用される信号４０２、４０３の型に基づいた特徴またはパターンを識別できる。特徴またはパターンは、対話を含む音声信号４０２、４０３に対する音声認識のために抽出できる。特徴またはパターンはまた、音楽を含む音声信号に対するパターン認識のためにも抽出できる。特徴抽出機能４０４、４０６のそれぞれは、特徴比較器４１２により、比較のために第１の信号を抽出された特徴４０８および第２の信号試験特徴４１０を生成する。
【００４８】
特徴比較器４１２は、比較される信号のタイプによる、公知の音声またはパターン認識機能を使用する、抽出された特徴と一致することがある。特徴抽出機能４０４、４０６、および特徴比較器４１２は、特定の用途に従って様々な方式に配置され得ることを理解されたい。特徴比較器４１２は、特徴の中の一致を識別する。２つの特徴が一致すると判定された場合は、特徴遅延推定器４１４は、一致のための時間遅延（図４におけるΔＴＭａｔｃｈ）を判定する。時間遅延は、一致した特徴の開始点に対して、元の音声録音を表す第１の信号４０２内で経過した時間であることができる。第１の信号４０２および第２の信号４０３は、異なる音源の録音から生じることができることに留意されたい。特徴遅延推定器４１４によって決定された、時間遅延に対応する２つの信号４０２、４０３の整合の解明は、２つの録音の類似に依存することがある。時間遅延、ΔＴＭａｔｃｈは、粗シフトされた第２の信号４２０を生成するために、粗信号シフタ４１６によって使用され得る。一例では、粗シフトされた第２の信号４２０は、第１の信号４０２の中に挿入され得る点を示す、時間情報を有する第２の信号４０３の複写でもよい。
【００４９】
図２、３、および４に示されたそれぞれの粗整合機能２００、３００、４００を使用して、第１および第２の媒体信号に存在し得る、実質的な不整合を削減することができる。粗整合は、２つの信号がどの程度不整合であるかに依存する、同じまたは異なる粗整合機能を毎回使用して、反復または繰り返し実行できる。２つの信号の不整合の程度は、相互相関が実行される度に決定される、時間遅延における減少を追跡することによる、例の実施内で追跡できる。信号がほぼ整合しているとき、信号は、信号を実質的に整合にもたらす細密整合機能によって処理できる。
【００５０】
図５は、図１Ｂに示されたシステムに使用され得る、細密整合機能５００の例のブロック図である。細密整合機能５００は、第１の信号５０２と第２の信号５０４との間の遅延を決定するために、細密不整合推定器５０６を含む。細密不整合推定器５０６は、細密整合時間遅延（図５におけるΔＴＦｉｎｅ）を生成し、これは、細密整合時間遅延、ΔＴＦｉｎｅにより２つの信号のうちの１つをシフトさせるために、細密信号シフタ５０８によって使用され得る。図５に示された例では、第２の信号５０４は、細密シフトされた第２の信号５２０を得るために、細密整合時間遅延、ΔＴＦｉｎｅによってシフトされ得る。信号結合器５３０は、時間整合システムを使用する特定の適用に従って、結合された信号５５０を生成するために、細密シフトされた第２の信号５２０を第１の信号５０２と結合してもよい。
【００５１】
図５における細密不整合推定器５０６は、２つの信号の相互相関を実行し、２つの信号の間の遅延を示唆するピークを有するヒストグラムとしての成果を生成するように、構成された相互相関機能を含んでもよい。また、細密不整合推定器５０６は、限定せずに、時間遅延スペクトル分析法、位相接続法、および２つの信号の相関関係、干渉性、または相互情報に基づくあらゆる適切な分析などの、遅延検出機能も含んでもよい。また、細密不整合推定器５０６は、相関関係を実行し、ピーク検出のためにヒストグラムを分析してもよい。ピーク検出はまた、微分、ヒルベルト変換、または相関関係の結果の適切な質量中心計算の使用を含んでもよい。
【００５２】
図６は、媒体ファイルを整合するための例示的方法を示すフローチャート６００である。フローチャート６００に示された例示的方法は、図１Ａを参照して上で説明された媒体ファイル１００を整合するためのシステムにおいて実行できる。該方法は、ブロック内でファイルを受け取る、またはファイルを初めに崩すことにより、媒体ファイルを処理する。各ファイルを作り上げるすべてのブロックが処理されるまで、ブロックを連続して入力することができる。
【００５３】
ステップ６０２では、信号のブロックの第１の対が処理のために入力される。該工程が続くにつれて、ステップ６０２は、処理のために信号のブロックの次の対を取得するステップを実行する。該対のブロック内の各ブロックは、整合される第１および第２の信号内で処理される次のブロックである。ステップ６０４では、相互相関がブロックの入力の対で実行され得る。最初の相互相関は、著しく不整合ではないブロックの整合に対して、時間遅延を提供できるサンプル毎の相互相関である。
【００５４】
決定ブロック６０６では、相互相関結果を分析することができる。一例では、ヒストグラムを時間遅延の範囲にわたって生成することにより、結果が分析される。ヒストグラムは、ピークをチェックされる。ピークが検出された場合は、ブロック間の不整合は、ピークで示された時間遅延によって修正され得る。ステップ６０８では、ブロックに対する時間遅延を使用して、例えば図１Ａにおいて、近接マイクロホンで録音された信号をシフトさせる。時間遅延は、決定ブロック６０６でピークによって決定された時間遅延内で、サンプルの数を決定するために使用される。サンプルの数を使用して、ステップ６０８に示されたように、信号全体をシフトさせることができる。
【００５５】
決定ブロック６０６でピークが検出されなかった場合は、ブロックの対を処理するために、別の粗整合機能を選択することができる。ステップ６０７では、次の粗整合機能のために、信号のより大きいブロックを取得できる。ステップ６１０では、サブサンプリング粗整合機能が、ブロックの対で実行される。サブサンプリング粗整合は、図２Ａを参照に上に説明されたように実行され得る。サブサンプリング係数は、推定された不整合に基づいて決定され得るか、または初期値が使用され得る。サンプルのサブサンプリング係数の数によって分離された各サンプルは、相互相関がブロックで実行される前に、並行してブロックの対から抽出される。決定ブロック６１２では、ピークを検出するために、相互相関の結果を分析する。ピークが検出された場合は、例えば、図１Ａに示された近接マイクロホンから録音されたものに対応するブロックが、検出されたピークによって示された時間遅延に対応するサンプルの数により、ステップ６１４でシフトされる。時間遅延（およびサンプルの数）は、サブサンプリング係数によって修正され得る。シフトされたブロック、および図１Ａにおいて、マルチメディアレコーダによって捕捉された、動画および音声信号の音声部分に対応するブロックは、サンプル毎の相互相関が図６のステップ６０４に示されたように実行される、細密整合機能に提供される。
【００５６】
決定ブロック６１２でピークが検出されない場合は、ブロックの対を処理するために、別の粗整合機能を選択することができる。ステップ６１５では、次の粗整合機能のために、信号のより大きいブロックを取得できる。ステップ６１６では、包絡線検出粗整合機能６１６が、ブロックの対で実行され得る。包絡線検出粗整合機能はステップ６１６で、図３を参照に上に説明されたように進めることができる。ステップ６１８では、相互相関が各ブロックの包絡線で実行される。決定ブロック６２０では、相互相関結果はピークを分析される。ピークが検出された場合は、例えば、図１Ａに示された近接マイクロホンから録音されたものに対応するブロックが、検出されたピークによって示された、時間遅延に対応するサンプルの数により、ステップ６２４でシフトされる。次いで、シフトされたブロック、および図１Ａにおいてマルチメディアレコーダによって捕捉された動画および音声信号の音声部分に対応するブロックは、細密整合を実行する前に、整合をさらに見積もるために、ステップ６１０でサブサンプリング粗整合機能に提供され得る。
【００５７】
決定ブロック６２０でピークが検出されない場合は、ブロックの対を処理するために、別の粗整合機能を選択することができる。ステップ６２１では、次の粗整合機能のために、信号のより大きいブロックを取得できる。ステップ６２２では、意味またはパターン特徴抽出粗整合機能をブロックの対で実行できる。特徴抽出粗整合機能を図４を参照に上に説明されたように実行できる。パターンまたは音声認識機能を選択された特徴で実行できる。こうした機能は、通常選択された特徴、または選択された特徴の処理された型で相互相関を実行するものである。決定ブロック６２６では、パターンまたは音声認識の結果が、ピークを検出するために試験される。ピークが検出された場合は、例えば、図１Ａに示された近接マイクロホンから録音されたものに対応するブロックが、検出されたピークによって示された時間遅延に対応するサンプルの数により、ステップ６２８でシフトされる。次いで、シフトされたブロック、および図１Ａにおいてマルチメディアレコーダによって捕捉された動画および音声信号の音声部分に対応するブロックを、細密整合を実行する前に、整合をさらに見積もるために、ステップ６１６で包絡線検出粗整合機能に提供することができる。
【００５８】
決定ブロック６２６でピークが検出されない場合は、ブロックの不整合またはブロックの他の特徴は、適切な整合をできないことがある。例えば、その録音は類似が不十分であることがある。録音は、信号の再整合を試みる前に、さらなる処理に掛けられることがある。
【００５９】
すべての粗整合機能は、信号を整合するための例示的方法に必要とされることに、留意されたい。加えて、整合機能の１つを使用してピークが検出されない場合は、異なるパラメータを使用して整合機能を反復できる。
【００６０】
図１〜６に関連して記載された１つまたは複数のプロセス、サブプロセス、またはプロセスステップは、ハードウェアおよび／またはソフトウェアによって実行され得ることは、当業者には理解され、認識されよう。プロセスがソフトウェアによって実行される場合は、ソフトウェアは、図１〜６に概略的に示された１つまたは複数の機能部品またはモジュールなどの、適切な電子処理部品またはシステム内のソフトウェアメモリ（図示せず）内に存在することがある。ソフトウェアメモリ内のソフトウェアは、論理機能（すなわち、「論理」は、デジタル回路またはソースコードなどのデジタル形式、あるいはアナログ回路またはアナログ電子、音声もしくは動画信号などのアナログソースなどのアナログ形式のいずれかで実施され得る）を実施するための実行可能な命令を順序付けた一覧を含むことができ、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行することができる他のシステムなどの、命令実行システム、装置、またはデバイスにより、あるいは命令実行システム、装置、もしくはデバイスに接続して使用するための、あらゆるコンピュータ可読媒体で選択的に具体化されることができる。本開示の背景で、「コンピュータ可読媒体」は、命令実行システム、装置、もしくはデバイスにより、または命令実行システム、装置、もしくはデバイスに関連して使用するためのプログラムを含む、記憶するまたは連通できるあらゆる手段である。コンピュータ可読媒体は、これに限定されないが、例えば選択的に、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置またはデバイスであってもよい。コンピュータ可読媒体のより具体的な例は、一覧に網羅されないが、以下のもの、すなわち、携帯用コンピュータディスケット（磁気）、ＲＡＭ（電子）、読取専用メモリ「ＲＯＭ」（電子）、消去可能読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）（電子）および携帯用コンパクトディスク読取専用メモリ「ＣＤＲＯＭ」（光学）を含むはずである。さらにコンピュータ可読媒体は、プログラムが、例えば紙または他の媒体の光学走査を介して、電子的に捕捉できるように印刷され、次いで蓄積され、解釈され、または必要な場合は別法により適切な方法で処理され、次にコンピュータメモリ内に記憶される紙または別の適切な媒体であってよいことに留意されたい。
【００６１】
実施の上の記載は、例示および説明の目的のために提示されている。上の記載は、網羅的ではなく、かつ開示されたそのままの形式に主張された発明を限定しない。修正形態および変形形態は、上記の見地から可能であり、本発明の実施から得られる。特許請求の範囲およびそれらの等価物が、本発明の範囲を定義する。
【技術分野】
【０００１】
本発明は媒体ファイルを処理するためのシステムおよび方法に関し、詳細には、同一音源の異なる記録からの信号を整合させるためのシステムおよび方法に関する。
【背景技術】
【０００２】
ステージ上のシーンやパフォーマンスの音声ビデオ記録では、例えば、確実に全シーンが見えるようにするために、ステージからやや離れてビデオを記録することが行われることが多い。それ故、ビデオカメラ上のマイクロホンで良質な音声を得ることは困難になる。ビデオカメラ上のマイクロホンは、群集ノイズ、気流ノイズ、暖房換気空調／屋内ノイズ、および交通ノイズをピックアップする場合や、さらには過剰な反響や高い周波数域の吸収に影響されやすい場合がある。また、ビデオカメラ上のマイクロホンは、充分な品質のものでない場合がある。環境内のかかるノイズをピックアップする可能性を低減させるために、音声は、理想的には音源の近くに配置されるマイクロホンを使用して記録される。例えば、バンド内の各楽器のような、特定の音源上に個々のマイクロホンが配されると、ノイズの影響の受けやすさを更に減らせる場合がある。コンサートの背景では、ビデオカメラ上のマイクロホンがピックアップする音声を補強する目的で、ステージには、しばしば、ステージの床上に、またはステージ上方の天井から垂下された、局所音声ピックアップが備えられる。最終ビデオの作成においては、きわめて近接したマイクロホンから記録される音声信号が、ビデオカメラマイクロホンからの音声よりも好まれるか、または、あるいはカメラマイクロホン音声と混合されるかもしれない;ここで前記ビデオカメラマイクロホンからの音声あるいは、カメラマイクロホン音声は雰囲気ムードを最終的な混合音声に提供するために帯域通過フィルタリング、減衰および近接マイクロホンへの音声の追加により処理さる。
【０００３】
音声信号と同一シーンのビデオ信号記録との混合に関わる一つの問題は、これらの信号が内在的に非同期であるという点である。信号の混合には信号の整合（アラインメント）が必要である。例えば、対話を含むシーンでは、音声が人物の会話のビデオ描写に遅れないように、またはその逆とならないように、音声はビデオと整合されていなければならない。ハイエンドの記録システムは、タイムスタンプを行うとともに異なる音声信号を同期させるために、ＳＭＰＴＥタイムコードを使用する。かかるタイムスタンピングは、消費者レベルの器材では必ずしも利用できない。音声は、近接マイクロホンとビデオカメラ間のケーブル路または無線リンクを用いて同期されてもよい。しかしながら、記録中に同期調整するには、記録に先立つ計画と準備が必要であるが、それは行われることがないことが多い。
【０００４】
記録は、一の音声ビデオ源としてのマイクロホン付ビデオカメラと、他の一の源としての近接マイクロホンと、を用いて行われてもよい。その時、第２の音源をビデオ記録へと統合するために、編集ツールが使用できる。かかる編集ツールとしては、例えば、Ｒｏｘｉｏ Ｃｒｅａｔｅｒ（登録商標）やＳｏｎｙ Ｖｅｇａｓ（登録商標）がある。編集ツールを使用して第２音源からの音声をビデオ記録に統合するのは、しばしば、エディタが手動で音声をビデオ中に適切に整合させて配置することを要求する面倒な作業である。一旦適切に整合されても、音声は、２つの記録間のドリフトのため、たとえわずか１分間の再生後でさえ、徐々に整合していなくなる場合がある。
【０００５】
記録間のドリフトは、わずかに異なる周波数を有する異なるレコーダからの時計に起因し得る。ドリフトは、同一の正確さで絶対時間を保持しない場合がある可変ビットレートを用いたオーディオコーデックに起因してもよい。ドリフトの他の一原因は、記録されているパフォーマンス中のカメラの移動でもよい。ドリフトの影響は、近接マイクロホンとビデオカメラ音声信号が混合される場合のほうが、単一の音声信号が最終的なファイル内に保持される（即ち、近接マイクロホン信号が遠方のマイクロホン信号に取って替わる）場合よりも大きい。混合信号が時間とともに相互から一層離れてドリフトするにつれて、和はコムフィルタされて鳴り、次に反響し、次に大いに反響し、そして次には離散的なエコーを有するに至る場合がある。単一信号では、反響やエコーは問題とならない場合があるが、ビデオと音声とのリップ同期（リップシンク：訳者注）は再生中に悪化する。
【０００６】
一音源からの音声記録を、他の音源からの同一シーンのビデオまたは音声記録と整合させることの困難さを、シーンから離れて配置されたカメラからの記録と、シーンの近くに配置されたマイクロホンからの音声記録との前後関係で説明した。類似の問題は、例えば、音声が映画のセット上で記録され、対話が最終的な映画に含ませるべくスタジオ内で再録音されるときに提示される。このプロセスは、自動対話置換（ADR）と呼ばれ、対話をよりわかりやすく（雑音をより少なく、反響をより少なく）する、対話を外国語に翻訳する、または元の対話に含まれていた冒涜的発言を除去もしくは置換するために使用される。置換音声記録は、シーンのビデオ記録と同時の記録ではない場合がある。しかしながら、整合問題は、音声を元の記録されたビデオと混合するときに生成する、ただしそのビデオは本明細書の目的上、混合される記録と同一シーンであると考えて差し支えない。音声信号の整合に関わる問題は、ビデオ記録を含まないかも知れない他の用途やシナリオにおいて生成し得る。
【０００７】
整合の問題は、ストリーミングメディア信号に関しても生成し得る。媒体信号のストリーミングは遍在するようになり、整合問題が各種の用途で生成し得る。例えば、高精細度（「ＨＤ」）ラジオ局は、同一コンテントを含むアナログ伝送波とデジタル伝送波の両方を放送する。放送者は、手動でこれらの伝送波の整合を試みる（そして、時には失敗する）。受信器（即ち、聴者のラジオ受信装置）は、２つの伝送波を整合させる備えがない。天候と地形（丘陵やその他不規則な地表など）はデジタル信号喪失の原因となりうるが、かかる場合には受信器はアナログ信号の受信へと立ち戻る。
デジタル信号は強まったり弱まったりしてもよく、その結果受信器はアナログ信号とデジタル信号との間を行き来する。アナログおよびデジタル信号が整合されていない場合には、行き来する受信は不愉快な聴取経験を強要する。
【０００８】
異なる発生源を使用して同一シーンにかかる音声記録をさらに容易かつ確実に整合させる方法が必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００９】
第１の媒体信号および第２の媒体信号を時間整合させるためのおよび方法。第１および第２の媒体信号は、一音声パフォーマンスとして、または音声ビデオ記録の音声部分として、結合するために記録される音声信号でもよい。音声信号は、異なる発生源からの同一パフォーマンスの記録でもよい。システムは、共通のサンプリングレートを使用して生成されるデジタルサンプルとして音声信号を取り出す。システムは、第１および第２の信号間の当初の不整合を低減させるための少なくとも一つの粗整合機能を含む。粗整合機能は、粗シフトされた第２の信号を生成するように構成されてもよい。細密整合機能は、第１の信号および粗シフトされた第２の信号間の不整合評価を行うことにより、第１の信号および粗シフトされた第２の信号間の整合時間シフトを決定する。信号間の当初の不整合を低減させるために、またかなりの不整合が要求する処理およびメモリ資源への負荷を低減させるために、異なる粗整合機能が使用されてもよい。
【００１０】
本発明の他のデバイス、装置、システム、方法、特徴および利点は、以下の図および詳細な説明を調べてみれば当業者には明らかであろう、または明らかとなろう。全てのかかる付加的なシステム、方法、特徴および利点は本明細書の中に含まれ、本発明の範囲内にあり、添付の請求の範囲により保護されることが意図されている。
【００１１】
例えば、本願発明は以下の項目を提供する。
（項目１）
第１の媒体信号および第２の媒体信号を時間整合させるための方法であって、
上記第１および第２の媒体信号を、サンプリングレートを使用して生成されたデジタルサンプルの流れとして受け取ることと、
上記第１の媒体信号と上記第２の媒体信号との間の近似不整合を決定することと、
上記近似不整合に基づいた粗時間シフトを決定することと、
粗シフトされた第２の信号を生成するために、上記粗時間シフトにより上記第２の媒体信号をシフトさせることと、
上記第１の媒体信号と上記粗シフトされた第２の信号との間の整合時間シフトを決定することと、
上記第１の媒体信号と整合された、シフトされた第２の信号を生成するために、上記粗シフトされた第２の信号を上記整合時間シフトによりシフトさせることと、を含む方法。
（項目２）
上記整合時間シフトを決定するステップは、
上記第１の媒体信号と上記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１の媒体信号と上記第２の媒体信号の相互情報に基づく分析を実行することと、を使用することのいずれかの方法を含む、上記項目に記載の方法。
（項目３）
上記粗整合機能を使用する上記ステップは、上記粗整合機能を複数の粗整合機能から選択することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目４）
粗時間シフトを決定する上記ステップは、上記粗時間シフトが上記第１の選択された粗整合機能を使用することを決定できなかった際は、上記複数の粗整合機能の異なる粗整合機能を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目５）
上記第２の媒体信号をシフトさせる上記ステップの後に、上記粗整合機能を使用する上記ステップを実行することと、上記粗時間シフトを決定することと、第２の粗シフトされた第２の信号を生成するために、上記第２の媒体信号をシフトさせることと、をさらに含み、整合される上記信号は、上記第１の媒体信号および上記粗シフトされた第２の信号であり、上記粗整合機能を使用する上記ステップは、上記複数の粗整合機能の１つを選択する上記ステップを含む、上記項目のうちのいずれか一項に記載の方法。
（項目６）
上記粗整合機能を使用する上記ステップを反復することと、上記粗時間シフトを決定することと、粗シフトされた第２の信号をさらに生成するために、上記第２の媒体信号をシフトさせることと、をさらに含み、整合される上記信号は、上記第１の媒体信号および上記事前に粗シフトされた第２の信号であり、上記粗整合機能を使用する上記ステップは、上記複数の粗整合機能の１つを選択する上記ステップを含む、上記項目のうちのいずれか一項に記載の方法。
（項目７）
上記粗整合機能を使用する上記ステップは、
上記第１および第２の信号のそれぞれをサブサンプリング係数によってサブサンプリングすることと、
上記第１のサブサンプルされた信号と上記第２のサブサンプルされた信号との間の遅延を検出することと、を含み、
上記粗時間シフトを決定する上記ステップは、上記検出された遅延を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目８）
上記遅延を決定する上記ステップは、
上記第１および第２のサブサンプルされた信号の相互相関を実行することであって、上記粗時間シフトを決定する上記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目９）
上記粗整合機能を使用する上記ステップは、
第１および第２の信号包絡線を検出するために、上記第１および第２の信号のそれぞれを復調することと、
第１および第２のダウンサンプルされた包絡線を生成するために、上記第１および第２の信号包絡線を、ダウンサンプリング係数によってダウンサンプリングすることと、
上記第１のダウンサンプルされた包絡線と上記第２のダウンサンプルされた包絡線との間の遅延を検出することと、を含み、
上記粗時間シフトを決定する上記ステップは、上記検出された遅延を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１０）
上記遅延を決定する上記ステップは、
上記第１および第２のダウンサンプルされた包絡線の相互相関を実行することであって、上記粗時間シフトを決定する上記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１１）
上記粗整合機能を使用する上記ステップは、
上記第２の信号から信号特徴を抽出することと、
上記第１の信号から信号部分を抽出することと、
上記信号特徴を上記信号部分と比較することと、
上記信号部分が上記信号特徴と一致する場合は、上記第１の信号内の上記信号部分の開始時間への時間遅延を識別することと、
上記信号部分を第１の信号から抽出する上記ステップを反復し、上記信号部分が上記信号特徴と一致するまで、上記信号特徴を上記信号部分と比較することと、を含む、上記項目のうちのいずれか一項に記載の方法。
（項目１２）
信号特徴および信号部分を抽出する上記ステップは、上記第１および第２の信号内の音声要素を抽出することを含み、
上記信号特徴と上記信号部分を比較する上記ステップは、音声認識機能を実行することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１３）
信号特徴および信号部分を抽出する上記ステップは、上記第１および第２の信号内の信号パターンまたは意味特徴を抽出することを含み、
上記信号特徴と上記信号部分を比較する上記ステップは、パターン認識機能を実行することを含む、上記項目のうちのいずれか一項に記載の方法。
（項目１４）
上記第１および第２の媒体信号を受け取る上記ステップは、
媒体信号サイズより小さいブロックサイズを決定することと、
第１および第２の媒体信号のそれぞれを複数のブロックに分割することと、
上記粗整合機能を使用し、粗時間シフトを決定する上記ステップにおいて、上記第１および第２の媒体信号の対応するブロックを処理することと、をさらに含む、上記項目のうちのいずれか一項に記載の方法。
（項目１５）
第１および第２の媒体信号を時間整合させるためのシステムであって、
上記第１の信号と上記第２の信号との間の初期不整合を低減させるための少なくとも１つの粗整合機能であって、上記粗整合機能は、粗シフトされた第２の信号を生成するように構成された、少なくとも１つの粗整合機能と、
上記粗シフトされた第２の信号と、上記第１の信号と上記粗シフトされた第２の信号との間の上記第１の信号との間の整合時間シフトを決定するように構成された、細密整合機能と、を含むシステム。
（項目１６）
上記細密整合機能は、
上記第１の媒体信号と上記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために上記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用することにより、遅延を検出するように構成された不整合推定器を含む、上記項目に記載のシステム。
（項目１７）
上記少なくとも１つの粗整合機能は、
第１および第２のサブサンプルされた信号を生成するために、サブサンプリング係数により上記第１および第２の信号をサブサンプルするように構成された、第１および第２のサブサンプリング機能であって、上記第１および第２のサブサンプルされた信号を使用して、上記第１のサブサンプルされた信号と上記第２のサブサンプルされた信号との間の粗時間遅延を決定する、第１のサブサンプリング機能および第２のサブサンプリング機能と、
上記第２の信号を、上記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、上記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、上記項目のうちのいずれか一項に記載のシステム。
（項目１８）
上記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
上記第１および第２のサブサンプルされた信号を加え、上記合計内のノッチを検出することと、
位相接続法を実行することと、のいずれかを使用して、上記粗時間遅延を決定するように構成された不整合推定器をさらに含む、上記項目のうちのいずれか一項に記載のシステム。
（項目１９）
上記少なくとも１つの粗整合機能は、
対応する包絡線を検出するために、上記第１および第２の信号を復調するように構成された、第１および第２の包絡線復調器と、
第１および第２のダウンサンプルされた包絡線を生成するために、ダウンサンプリング係数により、上記第１および第２の包絡線をダウンサンプルするように構成された、第１および第２のダウンサンプラと、この場合、上記第１および第２のダウンサンプされた包絡線を使って、上記第１および第２のダウンサンプされた信号の間の粗時間遅延を決定し、
上記第２の信号を、上記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、上記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、上記項目のうちのいずれか一項に記載のシステム。
（項目２０）
上記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
上記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用する上記粗時間遅延を決定するように構成された、不整合推定器をさらに含む、上記項目のうちのいずれか一項に記載のシステム。
（項目２１）
上記少なくとも１つの粗整合機能は、
上記第２の信号内で比較するべき特徴を抽出するように構成された特徴抽出機能と、
上記第１の信号から上記特徴に一致するパターンまたは意味特徴を抽出するように構成された一致パターン抽出機能と、
上記一致を比較するべき上記特徴と一致させるための特徴比較器と、
上記第１の信号内のパターンに一致するために時間シフトを決定するように構成された特徴遅延比較器と、
上記第２の信号を上記時間シフトに基づく上記第１の信号と整合するように構成された、粗信号シフタと、を含む、上記項目のうちのいずれか一項に記載のシステム。
【００１２】
（摘要）
第１および第２の媒体信号を時間整合させるためのシステムおよび方法。第１および第２の媒体信号は、１つの音声性能として、または音声動画録音の音声部分として結合するために録音された、音声信号であってもよい。システムは、一般的なサンプリングレートを使用して生成された、デジタルサンプルとしての音声信号を取得する。システムは、第１の信号と第２の信号との間の初期不整合を軽減するための、少なくとも１つの粗整合機能を含む。粗整合機能は、粗シフトされた第２の信号を生成するように構成され得る。細密整合機能は、第１の信号と粗シフトされた第２の信号との間の相互相関を実行することにより、粗シフトされた第２の信号と第１の信号との間の整合時間シフトを決定する。
【図面の簡単な説明】
【００１３】
下記の説明は、以下の図を参照することによってより良く理解されるであろう。図中の構成要素は必ずしも一定の比率ではなく、それよりも本発明の原理を示すことに重点が置かれている。図では、類似の参照番号は、異なる図面にわたって対応する部分を表わす。
【図１Ａ】媒体ファイルを整合させるシステムの例の動作を示す概略図である。
【図１Ｂ】媒体ファイルを整合させるシステムの例のブロック図である。
【図２Ａ】図１Ｂに示されたシステムに使用され得る粗整合機能の例のブロック図である。
【図２Ｂ】２つの信号間の相関の結果を示すヒストグラムの例である。
【図２Ｃ】２つの信号間の相関の結果を示すヒストグラムの例である。
【図３Ａ】図１Ｂに示されたシステムに使用され得る粗整合機能の他の例のブロック図である。
【図３Ｂ】図１Ｂに示されたシステムに使用され得る粗整合機能の他の例のブロック図である。
【図４】図１Ｂに示されたシステムに使用され得る粗整合機能の他の例のブロック図である。
【図５】図５は、図１Ｂに示されたシステムに使用され得る細密整合機能の例のブロック図である。
【図６】媒体ファイルを整合させる方法の例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１Ａは、媒体ファイルを整合させるシステム１００の例の動作を示す概略図である。図１Ａのシステム１００は、マルチメディアレコーダ１０２、ステージ１０４、およびビデオカメラからの媒体ファイルをステージ１０４からの媒体ファイルと整合させる時間整合システム１０６を含む。マルチメディアレコーダ１０２は、信号レコーダ１１０、ビデオカメラ１１２、およびカメラマイクロホン１１４を含む。システム１００のマルチメディアレコーダ１０２は、ステージ１０４上のシーンまたはパフォーマンスのビデオを、マルチメディアレコーダ１０２に望ましい視野を提供する場所から記録するユーザにより操作されてもよい。選択される場所は、マルチメディアレコーダ１０２で記録される音声の品質に影響を及ぼすために、ステージ１０４の環境（１２４で）内の構造物による反響からのバックグラウンドノイズや効果に充分な、ステージ１０４からやや離れた場所でもよい。信号レコーダ１１０は、ステージ１０４上のパフォーマンスのビデオおよび音声記録を音声付きビデオファイルとして記録し、格納する。
【００１５】
一以上の近接マイクロホン１１６ａ〜ｃは、ステージ１０４上またはそのごく近くに配置されてもよい。近接マイクロホン１１６ａ〜ｃは、ステージ１０４上のパフォーマンスの所望の音声部分をピックアップするように配置されてもよい。所望の音声はミキサー１１８に伝送されてもよく、そのミキサー１１８は所望の音声の混合バージョンを音声レコーダ１２０に伝送するように構成されてもよい。ミキサー１１８は、近接マイクロホン１１６ａ〜ｃのそれぞれから受けとった音声信号を制御された仕方で結合するために使用されてもよい。音声レコーダ１２０は、所望の音声の混合バージョンを使用して、ステージ１０４上のパフォーマンスの音声部分の音声記録またはオーディオファイルを生成する。
【００１６】
一実装例では、音声付きビデオファイルは、ステージ１０４の近くの近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分からのオーディオファイルと、後処理において混合されてもよい。近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分の品質は、マルチメディアレコーダ１０２により記録される音声よりも大幅に高くかつ再生のためにより適切に処理されてもよい。近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分は、マルチメディアレコーダ１０２による音声記録に影響を及ぼしている環境条件１２４の支配を受けない場所から記録される。音声付きビデオファイルを、近接マイクロホン１１６ａ〜ｃで記録されるパフォーマンスの音声部分からのオーディオファイルと混合する前に、時間整合システム１０６は、ファイルがパフォーマンスに対して同一時から始まって混合されることを確実にするために、両ファイルを整合させる。
【００１７】
何らかの形のメモリ領域内で記録された媒体ファイルが利用できるときは、時間整合システム１０６は後処理で提供されてもよいことに留意されたい。ファイルは、任意の適切な方法でアクセスされ時間整合システム１０６に入力されてもよく、その方法はファイルが格納されるメモリの種類および時間整合システム１０６が利用できるファイル入力資源に依存し得る。実施例では、時間整合システム１０６は、基本的なコンピュータシステム資源を有する任意の適切なコンピュータ制御デバイス内で作動するものであってよい。時間整合システム１０６は任意の適切なファイルアクセスシステムを含むものであってもよく、これにはＵＳＢデバイス、フラッシュドライブおよびＳＤカード等のメモリーカードのような携帯用の記憶装置に対するインタフェイス、電子テープ上に格納されるファイル用のテープドライブインタフェイス、および媒体ファイルへのアクセスに適した任意の他のタイプのファイルアクセスシステムを含む。時間整合システム１０６は、ディスプレイ、キーボード、マウス、キーパッド、ノブ、ボタン等のユーザインタフェイスデバイスを含んでもよい。整合プロセス自体のためのユーザインタフェース要件は、プロセスが大幅に自動化されるにつれて、開始、およびプロセスと基礎的なフィードバックの開始に限られうることに留意されたい。更に、時間整合システム１０６は、デスクトップ、ラップトップまたはワークステーション等の標準コンピューティングシステム上で、または時間整合に加えて他の機能を有するマルチメディア処理システム上で、作動するソフトウェア用途として実現されてもよい点も留意されたい。
【００１８】
一実装例では、記録された媒体ファイルは、任意の適切な形式のアナログ信号またはデジタル信号として提供されるものであってもよい。適切な形式の例としては、任意のＭＰＥＧ形式（例えばＭＰ３等）Ｍ４Ａ、ＭＯＶ、ＱＴＦＦ（ＱｕｉｃｋＴｉｍｅ）、ＷＭＡ、およびＷＡＶやＡＩＦＦ等の普及しているＰＣＭ形式が挙げられるが、これに限定されるものではない。時間整合システム１０６の実施例は、媒体ファイル内の任意の適切な形式のデータを受け取るように構成されていてもよいと理解されるべきである。媒体ファイル内の音声データは、サンプルされた音声信号、または記録されたままの音声のタイムラインを維持する任意の種類のデータもしくは信号、のいずれかとしてアクセスされる。音声データは、２つのリアルタイムストリームとして提供されてもよい。リアルタイムストリームは、データネットワークまたは無線放送のような任意の種類の電子的接続を通して受け取られてもよい。
【００１９】
図１Ｂは、媒体ファイルを整合させるシステムの例のブロック図である。図１Ｂのシステムは、図１Ａの時間整合システム１０６として実現されてもよい。時間整合システム１０６は、粗整合機能１６０、細密整合機能１６２および信号合成器１７０を含む。時間整合システム１０６は、整合のための第１の媒体信号１５０および第２の媒体信号１５２を受け取る。第１の媒体信号１５０は、例えば、図１Ａのマルチメディアレコーダ１０２により記録される、音声信号付きビデオファイルまたは音声付きビデオファイルの音声部分でもよい。第２の媒体信号１５２は、図１Ａの近接マイクロホン１１６ａ〜ｃによりピックアップされる音声信号を受け取るレコーダ１２０により記録されるパフォーマンスの音声部分でもよい。いかなる実施例においても、第１および第２の媒体信号１５０、１５２は、異なる発生源から記録され、再生のために結合または併合されるべき任意の２つの媒体信号であってもよい。異なる発生源から記録される２つの媒体信号は、同一パフォーマンスの記録からでもよい。一実施例では、一方の媒体信号は、再生のために他方の媒体信号の対応部分中に統合されるべき音声の一以上の部分でもよい。かかる実施は、例えば、異なる言語を使用するための音声の吹き替え、いかがわしい言葉を除去するための対話の改変、または他の類似の用途を含む。
【００２０】
第１の媒体信号１５０および第２の媒体信号１５２は、音声信号を表現するデジタルサンプルへのアクセスを可能にするとともにタイミング情報を含む情報を提供する形式のものでもよい。例えば、第１および第２の媒体信号１５０、１５２は、対応するアナログ信号のアナログ表現から変換されるデジタルサンプルのストリームでもよい。デジタルサンプルのストリームは、非圧縮の形態をとり、アナログから公知のサンプリングレートを使用して変換されるものでもよい。第１の媒体信号１５０および第２の媒体信号１５２は、圧縮されたデジタル音声信号であってもよい。しかしながら、第１および第２の媒体信号１５０、１５２は、後述するように非圧縮の形態で、またはパフォーマンスに対するタイミングを信号中で使用し維持するように処理されうると理解されるべきである。下記の説明では、第１および第２の媒体信号１５０、１５２は、公知のサンプリングレートで変換された変換アナログオーディオ信号のデジタルサンプルのストリームであると理解されるべきである。デジタルサンプルは、配列または他の適切なデータ構造として一続きで格納されてもよい。第１および第２の媒体信号１５０、１５２のそれぞれは、サンプル数（サイズ）、開始点、サンプリングレート、記録開始時間、記録終止時間、日付、および保持するのが有用である他の情報のような、各信号に関する情報を格納するためのヘッダまたは情報ブロックを含んでもよい。
【００２１】
図１Ｂを参照すると、時間整合システム１０６は、粗整合機能１６０において、第１の媒体信号１５０と第２の媒体信号１５２を受け取る。粗整合機能１６０は、媒体信号のおおよその整合を行うことにより、媒体信号の当初の不整合を低減させる。２つの媒体信号１５０、１５２は、当初は様々な程度に整合されていない場合がある。微細な尺度では、２つの音声記録は1ミリ秒未満だけシフトされてもよい。粗い尺度では、（図１Ａを参照して記載したように）もし源までの異なる距離で音声記録が行われたとすると、音波の伝播時間は数十ミリ秒または数百ミリ秒オーダーの不整合を生じさせることになろう。更になお粗い尺度では、一方の音声記録は、他方の記録の数分前に開始された場合には、何千万サンプルもの不整合が生じることになる。極めて粗い尺度では、媒体信号１５０、１５２は、短いクリップ（例えば２０秒）と長い記録（例えば１時間）である場合があり、そして、短いクリップを長い記録の中から見つける、あるいは短いクリップを長い記録の中に挿入する場所を見つけることが求められる。第１および第２の媒体信号１５０、１５２間の当初の不整合が大きければ大きいほど、これらを整合させるプロセスにおける計算負荷は大きい。
【００２２】
粗整合機能１６０は、媒体信号の一方を他方とおおよそ時間整合させる粗時間シフトを示す粗時間遅延を決定する。粗整合機能１６０は、第１または第２の媒体信号の一方を他方に対してシフトされてもよい。下記の例の説明では、諸実施例の説明のために、第２の媒体信号１５２がシフトされ、粗シフトされた第２の信号として出力される。特定の実施では、その実施の固有の要件により、いずれかの信号が他方に対してシフトされてもよい。
【００２３】
図１Ｂの粗整合機能１６０は、細密整合機能１６２への入力としての粗シフトされた第２の信号を生成する。粗シフトされた第２の信号は、信号の開始点が時間シフトされた第２の媒体信号１５２の実質的なコピーとして生成されてもよい。信号の開始点は、例えば、第２の媒体信号１５２におけるサンプル列中へのインデックスにより示されてもよい。インデックスは、デフォルトとして０または１に設定され、次に粗時間遅延に従って改変されてもよい。例えば、インデックスは、所与のサンプリングレートに基づいて粗時間遅延に等価なサンプル数だけ増やされ（または、その逆方向にシフトさせ、インデックスが信号中の第１のサンプルを示さないときは減らされ）てもよい。
【００２４】
細密整合機能１６２は、第１の媒体信号１５０と粗シフトされた第２の信号との「サンプルごとの」整合を行う。「サンプルごとの」整合は、２つの信号間の不整合の不整合評価を行い、次に決定された不整合だけ一方の信号をシフトさせることを含んでもよい。一実施例では、不整合評価は、２つの信号の相関を決定すること、および分析される時間シフトのいずれかにピークがないか決定するためにその相関の結果を分析すること、を含んでもよい。ピークが検出された場合、粗シフトされた第２の信号は、微細な時間遅延だけシフトされて、微細にシフトされた第２の信号が生成される。微細にシフトされた第２の信号は、次に信号合成器１７０内で第１の媒体信号１５０と結合されてもよい。
【００２５】
信号合成器１７０は、整合システムを使用する特定の用途に適すると考えられる任意の仕方で信号を結合するものであってもよい。図１Ａに示される例では、一方の媒体信号はマルチメディアレコーダ１０２より記録される音声付きビデオ信号であり、他方の媒体信号はパフォーマンスの音声部分である。信号合成器１７０は、マルチメディアレコーダ１０２により記録された音声を微細にシフトされた第２の信号に入れ替えることにより、または音声とビデオの双方を有する媒体信号の音声部分を単に破棄することにより、結合信号１８０を生成し得る。信号は、結合信号に雰囲気ムードを提供するために、音声とビデオの双方を有する媒体信号中の音声信号がより低い水準で付加されて混合されてもよい。信号合成器１７０は、一方の音声チャンネルに第１の媒体信号１５０を有し、他方のチャンネルに微細にシフトされた第２の信号を有するものとして結合信号１８０を生成してもよい。
【００２６】
ここでは、不整合評価は相関機能を実行するものとして、どのように不整合が決定されるのかを制限する意図なしに記載されていることに留意されたい。相関機能は「相互相関」機能でもよい、しかし、同様に、他の方法が実施されてもよい。２つの信号間の不整合を決定するために使用され得る他の方法としては、時間遅延スペクトル分析法、位相アンラッピング法、および２つの信号の相関、コヒーレンスまたは相互情報量に基づく任意の適切な分析が挙げられるが、これに限定されるものではない。不整合評価を行うために、任意の適切な時間遅延評価機能を使用してもよい。同様に、粗整合機能１６０における粗時間遅延の決定を、任意の適切な相関機能または適切な時間遅延評価機能を使用して行ってもよい。粗時間遅延は、パターンマッチ技術、または一のメディアクリップが他の一のメディアクリップ中に配置される他の類似の方法を使用して、後述するように決定されてもよい。
【００２７】
更に、ここでは、不整合の決定は、ヒストグラム中のように、相互相関の結果中に「ピーク」を同定することを含むものとして記載されている点に留意されたい。ピークは、正か負のいずれであってもよい相関値から検出されてもよい。所望のピークは相関中で最大の絶対値を有する。不整合は、相互相関の結果中の重心の算出により決定されてもよい。重心の算出では、相互相関中の各位置が、相関値の絶対値に等しい加重を使用して平均される。広く、ゆがんだピークは、重心を使用してより良く評価されてもよい。非常に強いピークは、パターン認識や他のより正確でない方法により同定されるピークに等しい重心を有するであろう。ピークは、結果を微分することにより検出されてもよく、例えば、ヒルベルト変換のような公知のアルゴリズムを使用することを含んでもよい。ここでは、用語「ピーク」は、不整合を決定するために使用される技術に関係なく、不整合評価算出結果中の不整合評価の徴候に言及するものと理解されるべきである。
【００２８】
図１Ｂの時間整合システム１０６の実施例では、用途および／または不整合の程度に応じ、異なる粗整合機能が使用されてもよい。一実施例では、媒体信号のサンプルごとの細密整合が行なわれる前に、一以上の整合粗信号整合が順次に行われてもよい。図２〜４を参照して記述される粗整合機能は、計算負荷を低減させるための信号処理プロセスを含む。次の３種類の信号処理プロセスが使用されてもよい：（１）サブサンプリング、（２）包絡線検波、および（３）特徴抽出。図２-４は、これら３つのプロセスを使用する３つの粗整合機能の例を示す。
【００２９】
図２Ａは、図１Ｂに示したシステムに使用され得る第１の粗整合機能２００の一例のブロック図である。図２Ａの第１の粗整合機能２００は、第１の媒体信号２０２ａおよび第２の媒体信号２０２ｂのブロック処理を示す。第１および第２の媒体信号２０２ａ、２０２ｂは、図１Ｂを参照して上述した媒体信号１５０、１５２に対応し得る。第１および第２の媒体信号２０２ａ、２０２ｂは、整合プロセスの前ステップにおいて整合粗信号整合を使用して部分的に整合された、粗整合された媒体信号であってもよい。
【００３０】
図２Ａは、媒体信号２０２ａ、２０２ｂをブロック２０３へと分割することを示す。媒体信号２０２ａ、２０２ｂが非常に大きなメモリ資源を必要とする場合は、より小さなブロック２０３の処理が有用なことがある。より小さなブロック２０３は、記録装置内でのドリフトに起因する潜在的な整合エラーの修正に使用されてもよい。マルチメディアレコーダ１０２や音声レコーダ１２０（図１Ａ）等の記録装置は、時間とともにドリフトしてもよく、あるものは他のものより多くドリフトし得る。２台のレコーダ（例えば、図１Ａのマルチメディアレコーダ１０２と音声レコーダ１２０など）間のドリフトの違いによって、整合におけるエラーが生じる場合がある。レコーダ間のドリフトは、２つの媒体信号２０２ａ、２０２ｂの相互相関をとり、相互相関の結果のヒストグラムを分析することにより評価されてもよい。２台のレコーダ間のドリフトの違いは、ヒストグラム中のメインピークの幅を計量することにより決定されてもよい。ドリフトは、異なるブロックにおいて実効遅延を見積もることにより決定されてもよい。実効遅延は、ドリフトのため時間とともに増加し得る。より広いピークは、複数のピークが重なりあって不鮮明になったことを示すものである。ピークの幅は、個々のブロック２０３のサイズを決定し得る。
【００３１】
ブロック２０３ａ、ｂのサイズは、可能なドリフトの最大のものの数倍よりも大きいサイズに設定されるべきである。ブロックは、各ブロックに対して不整合が算出されるように処理されてもよい。各ブロックの不整合は、各ブロックが処理されながら後続のブロックを再定義するために使用されてもよく、よって２つの媒体信号２０２ａ、２０２ｂ間のありうるドリフトを低減させる結果となる。例えば、持続長さＤサンプルの記録初めの後にＴサンプルを開始する時間ブロックＸで、Ｍサンプルの不整合が決定されたとすると、第２信号ブロック２０３ｂのブロックＸ内の信号は、Ｍサンプルだけシフトされるべきことになる（訳注：Ｔ、Ｍ、Ｄはそれぞれ個数を表す；以下同様）。第１の信号ブロック２０３ａのブロックＸ＋１は、（Ｔ＋Ｄ）サンプルから始まるように定義される；しかし、第２の信号ブロック２０３ｂのブロックＸ＋１は（Ｔ＋Ｄ＋Ｍ）サンプルから始まるように定義される。
【００３２】
図２Ｂおよび２Ｃは、ブロックのサイズが実効遅延に及ぼす影響を示すために提供するヒストグラムの例である。図２Ｂは、両信号間の固定的遅延なしで４つの異なるサイズを有するブロックに分割された２つの信号間の４つの相関の結果を示す。図２Ｂの４つの結果は、１００ミリ秒ブロック相関２５０、５００ミリ秒ブロック相関２６０、１０００ミリ秒ブロック相関２６４、および４０００ミリ秒ブロック相関２６６を含む。１００ミリ秒ブロック相関２５０は、１００ミリ秒ブロックピーク２５２を有し、５００ミリ秒ブロック相関２６０は、５００ミリ秒ブロックピーク２６２を有し、１０００ミリ秒ブロック相関２６４は、１０００ミリ秒ブロックピーク２６６を有し、４０００ミリ秒ブロック相関２６６は、４０００ミリ秒ブロックピーク２６９を有する。図２Ｂの相関２５０、２６０、２６４および２６６は、ブロックサイズが増加するにつれて、相関のピーク値（２５２、２６２、２６６、および２６９）は減少し、ピークに寄与するサンプル数がより多くなることを示す。また、ブロックサイズが増加するにつれて、ピーク周辺の領域はよりノイズが多くなる。
【００３３】
図２Ｃは、４つの異なるサイズを有するブロックに分割された２つの信号間の４つの相関の他の一グループの結果であるが、両信号間に５０ミリ秒の固定的遅延を伴う場合のものを示す。図２Ｃの４つの結果は、１００ミリ秒ブロック相関２７０、５００ミリ秒ブロック相関２７８、１０００ミリ秒ブロック相関２８０、および４０００ミリ秒ブロック相関２８６、を含む。図２Ｃに示すように相関された信号の一方は、他方から５０ミリ秒遅延させられた。１００ミリ秒ブロック相関２７０は、いかなる遅延も示さない１００ミリ秒ブロックピーク２７２を有する。５００ミリ秒ブロック相関２６０は、５００ミリ秒ブロックピーク２７９を、５０ミリ秒における２７９ａとその１０ミリ秒後におけるもう一つの２７９ｂとに有し、それぞれ固定的遅延とドリフトとを反映している。１０００ミリ秒ブロック相関２６４も、１０００ミリ秒ブロックピーク２８１を、５０ミリ秒における２８１ａとその１０ミリ秒後における２８１ｂとに有し、それぞれ固定的な５０ミリ秒の遅延とドリフトとを示している。４０００ミリ秒のブロック相関２８６は、４０００ミリ秒ブロックピーク２８７を、５０ミリ秒における２８７ａとその１０ミリ秒後における２８７ｂとに有し、後者はドリフトを示している。
【００３４】
いかなる意図的に挿入された固定的遅延もない図２Ｂに示される結果は、約１０ミリ秒の実効遅延を生じさせているドリフトを例示している。ドリフトは、全てのブロックサイズで検出できる。図２Ｃは、意図的に挿入された５０ミリ秒の遅延を有するものであるが、その結果もまた１０ミリ秒の実効遅延の原因となるドリフトを示している。
しかしながら、意図的な５０ミリ秒の遅延により、実効遅延は、下方の３つのパネル（２７８，２８０および２８６）内では検出できるが、小さな（１００ミリ秒）ブロックサイズの１００ミリ秒ブロック２７０内では検出できない。
【００３５】
図２Ａに示す媒体信号２０２ａ、２０２ｂのブロック処理は、第１の信号ブロック２０３ａに分割される第１の信号２０２ａと、第２の信号ブロック２０３ｂに分割される第２の信号２０２ｂとを示す。第１および第２の信号ブロック２０３ａ、２０３ｂは、次に、粗整合を決定するために、下記に詳述されるようなサブサンプリングを使用して処理される。実施例では、粗整合処理は、各信号からの対応する１対のブロックを用いて行われてもよい。例えば、粗整合のために、各信号からの第１のブロックが使用されてもよい。用途、信号の特徴、またはユーザの採択により選択されるパラメータに応じて、粗整合は、各信号の全てのブロックまたはいくつかのブロックを処理することにより行われてもよい。分析のため、おおよその一の最良値を決定するため、または他の所望の目的のために、複合の粗時間遅延が使用されてもよい。一旦、粗時間遅延が決定され、信号整合が近似されると、粗シフトされたブロック２１２が生成される。サンプルごとの整合のため、または信号２０２ａ、２０２ｂの細密整合のために、ブロック２３０を対応する粗シフトされたブロック２１２と細密整合させることにより、全ての第１の信号ブロック２０３ａが処理されて、微細にシフトされたブロック２２０が生成される。
【００３６】
図２Ａでは媒体信号２０２ａ、２０２ｂの分割はサブサンプリング粗整合機能に関して記載されているが、ブロックへの分割は、図２〜４に示された任意の粗信号解析器のために行ってもよい点に留意されたい。図２Ａのサブサンプリング粗整合機能は、いかなるアンチエイリアシングフィルタも必要としない点も留意されたい。というのも、折り返し成分がサブサンプルされた信号間の時間シフト検出を助ける場合があるからである。時間シフトを検出するために相関が使用される例では、折り返し成分は相関機能を助ける。図２Ａを参照すると、第１の粗整合機能２００は、媒体信号のサイズを減らすことにより計算負荷を低減させるために、媒体信号のサブサンプリングを使用する。図２Ａの第１の粗整合機能２００において、第１および第２の信号２０２ａ、２０２ｂは、対応するサブサンプラ２０４ａ、２０４ｂによりそれぞれサブサンプルされる。図２Ａの第１の粗整合機能２００は、第１および第２の信号２０２ａ、２０２ｂのそれぞれからの第１および第２の信号ブロック２０３ａ、２０３ｂを使用することにより、サブサンプリングに基づいて粗整合を行う。サブサンプラ２０４ａ、２０４ｂは、第１および第２の信号ブロック２０３ａ、２０３ｂを受け取り、あるサブサンプリング係数でサンプルを抽出するが、当該係数はその値ごとにそれぞれからサンプルが抽出されるべきことを示す整数でもよい。例えば、各サブサンプラ２０４ａ、２０４ｂは、対応する入力信号ブロック２０３ａ、２０３ｂから８番目ごとのサンプルを抽出してもよく、その場合は８というサブサンプリング係数により信号ブロック２０３ａ、２０３ｂのそれぞれのサイズを減らす。サブサンプラ２０４ａ、２０４ｂは、対応するサブサンプルされた第１および第２のブロック２０６ａ、２０６ｂを生成する。サブサンプルされた第１および第２のブロック２０６ａ、２０６ｂは、対応する第１および第２のブロックの整合のために使用され、その整合はその２ブロック間の遅延を決定する第１ステップと、その遅延に合わせて一方のブロックを他方のブロックに対してシフトさせる第２ステップとを含む。図２Ａに示す例では、第１および第２のサブサンプルされた第１および第２のブロック２０６ａ、２０６ｂは、粗不整合推定器２０８への入力信号として提供される。実施例では、粗不整合推定器２０８は、第１および第２のサブサンプルされた第１および第２のブロック２０６ａ、２０６ｂの相互相関を行う。２つの信号の相互相関は、当業者によく知られた機能であり、更なる詳細な説明は何ら必要とされない。相互相関はヒストグラムを生成してもよく、そのヒストグラムは所定の範囲内の信号間の時間遅延またはシフトに対して相互相関値をプロットするものである。ヒストグラムと、相互相関結果の分析へのその使用もまた、当業者に周知である。２つの信号間の最も高い相関を有するヒストグラム上の時間遅延は、最高水準を有し、ヒストグラム中のピークとして現れる。ピークがヒストグラム中に現れる場合、そのピークに対応する時間遅延は、ブロック２０６ａ、２０６ｂを整合させるために、ブロック２０６ａ、２０６ｂの一方のブロックが他方に対してシフトされなければならない時間に選定される。
【００３７】
粗不整合推定器２０８は、ここでは、相関結果中のピークにおけるシフトを同定することにより２つの信号ブロック２０６ａ、２０６ｂ間の遅延を決定するための相互相関機能を含むものとして記載されるが、粗不整合推定器２０８は、相互相関機能への使用に限られるべきものではない点に留意されたい。使用できる他の遅延検出機能としては、時間遅延スペクトル分析法、位相アンラッピング法、および２つの信号の相関、コヒーレンスまたは相互情報量に基づく任意の適切な分析が挙げられるが、これに限定されるものではない。粗不整合推定器２０８は、相関を行うとともにピーク検出のためにヒストグラムを分析してもよい。ピーク検出は結果を微分することを含む場合もあり、それはヒルベルト変換のような公知のアルゴリズムの使用を含んでもよい。ピーク検出のために、相関結果の適切な重心算出が使用されてもよい。
【００３８】
図２Ａの粗不整合推定器２０８によって提供される整合は、相互相関において使用されるブロック２０６ａ、２０６ｂがサブサンプルされているので、粗整合である。もしピークが図２Ａの粗不整合推定器２０８により行われる相互相関の結果として得られるヒストグラム中で検出されない場合は、整合粗信号整合が繰り返されてもよい。異なるパラメータを使用し、図２Ａの第１の粗整合機能２００を使用して整合粗信号整合が繰り返されてもよい。例えば、サブサンプラ２０４ａ、２０４ｂにより行われるサブサンプリングは、８ごとから６ごとまでのように、以前のサブサンプリング係数未満のサブサンプリング係数によりブロックをサブサンプルするものでもよい。より小さなサブサンプリング係数は、ブロックのサイズを更に減らす効果を有するであろう。あるいはまた、粗整合機能の他の一つを使用して、整合粗信号整合の他の試みが行われてもよい。
【００３９】
粗不整合推定器２０８が、ヒストグラム内の検出されたピークから粗時間シフトを決定する際、粗信号シフタ２１０は、媒体信号の１つに対応する相互相関に使用されるブロック２０６ａ、２０６ｂ上で粗信号シフトを実行するために、粗時間シフト（図２ＡにおけるΔＴｃｏａｒｓｅ）を使用する。粗信号シフタ２１０は、第１のサブサンプルされたブロック２０６ａおよび第２のサブサンプルされたブロック２０６ｂを生成するために使用されるサブサンプリング係数により、粗時間シフト、ΔＴｃｏａｒｓｅを訂正することにより、信号シフトを実行することができる。次いで訂正された粗時間シフトを使用して、入力として使用される第２の信号ブロックを、第２のサブサンプラ２０４ｂにシフトできる。第２の信号は、図２Ａに示された例ではシフトされるが、第１の信号は、特定の実施に従ってシフトされた信号であり得ることに留意されたい。信号をシフトさせる間、粗信号シフタ２１０は、例えば片方のゼロ値で１つの信号を埋め込むか、または反対側の他方の信号を切り捨てるものであり得る。
【００４０】
粗信号シフタ２１０は、対応する組の粗シフトされたブロック２１２を生成するために、第２の信号ブロック２０３ｂのすべてを処理する。次いで、粗シフトされたブロック２１２および第１の信号ブロック２０３ａは、細密シフトされたブロック２２０を生成するために、ブロック２３０上の細密整合によって処理され得る。
【００４１】
図３Ａは、図１Ｂに示されたシステムに使用され得る、第２の粗整合機能３００の例のブロック図である。図３Ａにおける第２の粗整合機能３００は、第１の音声伝送復調器３０４ａ、第２の音声伝送復調器３０４ｂ、第１のダウンサンプラ３０６ａ、第２のダウンサンプラ３０６ｂ、粗不整合推定器３１０、および粗信号シフタ３１２を含む。図３における第２の粗整合機能３００は、音声信号の包絡線を検出すること、および包絡線の相互相関を実行することによって作動する。各媒体信号２０２ａ、２０２ｂの包絡線検出は、音声伝送を復調することによって実行される。音声伝送復調器３０４ａ、３０４ｂは、例えば、ｙ（ｎ）＝（１〜α）ｙ（ｎ〜１）＋ａｂｓ（αｘ（ｎ））に従って、各信号を修正し、ローパスフィルタリングすることによって、包絡線を検出できる。
【００４２】
ダウンサンプラ３０６ａ、３０６ｂは、第１の媒体信号２０２ａおよび第２の媒体信号２０２ｂに対応する検出された包絡線を受け取り、各包絡線をダウンサンプルする。包絡線は、ＣＰＵ負荷およびメモリ要求を軽減するために、１０００までの係数をできるだけダウンサンプルされ得る。一部の信号に対して、重いダウンサンプリングは、全情報またはピッチ情報を除去することができる。この情報は、非常に律動的な通路内の有効な遅延の多数の誤評価をもたらし、整合をより困難にすることがある。ピッチ情報は、個々の遅延評価をより信頼できるものにするために、多数の（バンク当たり）包絡線検出器でカスケードされたフィルタバンクを使用して取り戻すことができる。図３Ｂは、包絡線検出およびフィルタバンクを使用する、粗整合機能３５０の例を示す。
【００４３】
図３Ｂにおける粗整合機能３５０は、整合される入力媒体信号としての、音声ファイル３５２ａおよび音声付動画ファイル３５２ｂを示す。音声ファイル３５２ａは、ローパスフィルタ３５４ａ、第１のバンドパスフィルタ３５６ａ、第２のバンドパスフィルタ３５８ａ、およびハイパスフィルタ３６０ａを有するフィルタバンクに入力される。図３Ｂに示されたように、２つのバンドパスフィルタ３５６ａ、３５８ａより多くのバンドパスフィルタが使用されてもよい。音声付動画ファイル３５２ｂは、ローパスフィルタ３５４ｂ、第１のバンドパスフィルタ３５６ｂ、第２のバンドパスフィルタ３５８ｂ、およびハイパスフィルタ３６０ｂを有する、第２のフィルタバンクに入力される。第１のフィルタバンク内のフィルタ３５４ａ、３５６ａ、３５８ａ、３６０ａは、第２のフィルタバンク内のフィルタ３５４ｂ、３５６ｂ、３５８ｂ、３６０ｂに対応する。第１のフィルタバンク内の各フィルタ３５４ａ、３５６ａ、３５８ａ、３６０ａは、対応する包絡線検出器機能３６２ａ、３６４ａ、３６６ａ、３６８ａに入力される。第１のフィルタバンク内の各フィルタ３５４ｂ、３５６ｂ、３５８ｂ、３６０ｂは、対応する包絡線検出器機能３６２ｂ、３６４ｂ、３６６ｂ、３６８ｂに入力される。
【００４４】
第１の相関器機能３７０は、包絡線検出器３６２ａでローパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６２ｂでローパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。第２の相関器機能３７２は、包絡線検出器３６４ａでバンドパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６４ｂでバンドパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。第３の相関器機能３７４は、包絡線検出器３６６ａでバンドパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６６ｂでバンドパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。第４の相関器機能３７６は、包絡線検出器３６８ａでハイパスフィルタされた音声信号から生成された包絡線と、包絡線検出器３６８ｂでハイパスフィルタされた音声付動画ファイル信号から生成された包絡線の相関を実行する。次に、第１の相関器３７０、第２の相関器３７２、第３の相関器３７４、および第４の相関器３７６で実行された相関の結果が、検出され得る信号の帯域幅を構成するピークから結果を提供するために、機能３８０を加えるヒストグラムで追加される。
【００４５】
図３Ａに戻って参照すると、ダウンサンプラ３０６ａは、ダウンサンプルされた第１の包絡線３０８ａを生成し、ダウンサンプラ３０６ｂは、ダウンサンプルされた第２の包絡線３０８ｂを生成する。第１のダウンサンプルされた包絡線３０８ａおよび第２のダウンサンプルされた包絡線３０８ｂは、相互相関機能３１０を使用して相互相関される。相互相関機能３１０は、粗時間シフト（図３ＡにおけるΔτｃｏａｒｓｅ）を生成し、粗時間シフトは、図２Ａを参照に上に説明されたように、相互相関のヒストグラムにおいて検出されたピークに基づくことができる。次いで、粗時間シフト、Δτｃｏａｒｓｅは、第１の信号２０２ａおよび第２の信号２０２ｂを整合するために、粗信号シフタ３１２によって使用され得る。粗信号シフタ３１２は、粗シフトされた第２の信号３２０を得るために、修正された粗時間シフト、Δτｃｏａｒｓｅにより、第２の信号２０２ｂを粗シフトさせることにより、信号の整合を実行できる。次に粗シフトされた第２の信号３２０は、より正確な整合を達成するために、別の粗整合機能、またはサンプル毎にシフトさせることにより細密整合に使用されることができる。
【００４６】
図４は、図１Ｂに示されたシステムに使用され得る、第３の粗整合機能ブロック４００の例のブロック図である。図４における第３の粗整合機能４００は、元の音声録音と同時に録音される必要がなかった、音声の第２のクリップとともに録音する音声内に、音声のクリップの置換が可能な適用に使用することができる。また、第２のクリップは、別のソースの録音であることができる。音声クリップのこのような置換である適用の例には、映画またはテレビの録音帯内の吹き替え、または自動対話置換（ＡＤＲ）が含まれる。別の例は、楽曲における楽器の代替の録音を使用するものである。
【００４７】
作動中、第３の粗整合機能４００は、第１の信号４０２として録音する元の音声、および第２の信号４０３として元の録音に挿入される第２のクリップを使用できる。第３の粗整合機能４００は、第２の信号４０３内の特徴またはパターンに比較され得る、第１の信号４０２内の特徴またはパターンを識別するための、第１の特徴抽出機能４０４を含む。第２の特徴抽出機能４０６を使用して、第１の特徴抽出機能４０４によって識別される特徴またはパターンに比較される、試験特徴またはパターンを識別できる。第１の特徴抽出機能４０４および第２の特徴抽出機能４０６は、入力として使用される信号４０２、４０３の型に基づいた特徴またはパターンを識別できる。特徴またはパターンは、対話を含む音声信号４０２、４０３に対する音声認識のために抽出できる。特徴またはパターンはまた、音楽を含む音声信号に対するパターン認識のためにも抽出できる。特徴抽出機能４０４、４０６のそれぞれは、特徴比較器４１２により、比較のために第１の信号を抽出された特徴４０８および第２の信号試験特徴４１０を生成する。
【００４８】
特徴比較器４１２は、比較される信号のタイプによる、公知の音声またはパターン認識機能を使用する、抽出された特徴と一致することがある。特徴抽出機能４０４、４０６、および特徴比較器４１２は、特定の用途に従って様々な方式に配置され得ることを理解されたい。特徴比較器４１２は、特徴の中の一致を識別する。２つの特徴が一致すると判定された場合は、特徴遅延推定器４１４は、一致のための時間遅延（図４におけるΔＴＭａｔｃｈ）を判定する。時間遅延は、一致した特徴の開始点に対して、元の音声録音を表す第１の信号４０２内で経過した時間であることができる。第１の信号４０２および第２の信号４０３は、異なる音源の録音から生じることができることに留意されたい。特徴遅延推定器４１４によって決定された、時間遅延に対応する２つの信号４０２、４０３の整合の解明は、２つの録音の類似に依存することがある。時間遅延、ΔＴＭａｔｃｈは、粗シフトされた第２の信号４２０を生成するために、粗信号シフタ４１６によって使用され得る。一例では、粗シフトされた第２の信号４２０は、第１の信号４０２の中に挿入され得る点を示す、時間情報を有する第２の信号４０３の複写でもよい。
【００４９】
図２、３、および４に示されたそれぞれの粗整合機能２００、３００、４００を使用して、第１および第２の媒体信号に存在し得る、実質的な不整合を削減することができる。粗整合は、２つの信号がどの程度不整合であるかに依存する、同じまたは異なる粗整合機能を毎回使用して、反復または繰り返し実行できる。２つの信号の不整合の程度は、相互相関が実行される度に決定される、時間遅延における減少を追跡することによる、例の実施内で追跡できる。信号がほぼ整合しているとき、信号は、信号を実質的に整合にもたらす細密整合機能によって処理できる。
【００５０】
図５は、図１Ｂに示されたシステムに使用され得る、細密整合機能５００の例のブロック図である。細密整合機能５００は、第１の信号５０２と第２の信号５０４との間の遅延を決定するために、細密不整合推定器５０６を含む。細密不整合推定器５０６は、細密整合時間遅延（図５におけるΔＴＦｉｎｅ）を生成し、これは、細密整合時間遅延、ΔＴＦｉｎｅにより２つの信号のうちの１つをシフトさせるために、細密信号シフタ５０８によって使用され得る。図５に示された例では、第２の信号５０４は、細密シフトされた第２の信号５２０を得るために、細密整合時間遅延、ΔＴＦｉｎｅによってシフトされ得る。信号結合器５３０は、時間整合システムを使用する特定の適用に従って、結合された信号５５０を生成するために、細密シフトされた第２の信号５２０を第１の信号５０２と結合してもよい。
【００５１】
図５における細密不整合推定器５０６は、２つの信号の相互相関を実行し、２つの信号の間の遅延を示唆するピークを有するヒストグラムとしての成果を生成するように、構成された相互相関機能を含んでもよい。また、細密不整合推定器５０６は、限定せずに、時間遅延スペクトル分析法、位相接続法、および２つの信号の相関関係、干渉性、または相互情報に基づくあらゆる適切な分析などの、遅延検出機能も含んでもよい。また、細密不整合推定器５０６は、相関関係を実行し、ピーク検出のためにヒストグラムを分析してもよい。ピーク検出はまた、微分、ヒルベルト変換、または相関関係の結果の適切な質量中心計算の使用を含んでもよい。
【００５２】
図６は、媒体ファイルを整合するための例示的方法を示すフローチャート６００である。フローチャート６００に示された例示的方法は、図１Ａを参照して上で説明された媒体ファイル１００を整合するためのシステムにおいて実行できる。該方法は、ブロック内でファイルを受け取る、またはファイルを初めに崩すことにより、媒体ファイルを処理する。各ファイルを作り上げるすべてのブロックが処理されるまで、ブロックを連続して入力することができる。
【００５３】
ステップ６０２では、信号のブロックの第１の対が処理のために入力される。該工程が続くにつれて、ステップ６０２は、処理のために信号のブロックの次の対を取得するステップを実行する。該対のブロック内の各ブロックは、整合される第１および第２の信号内で処理される次のブロックである。ステップ６０４では、相互相関がブロックの入力の対で実行され得る。最初の相互相関は、著しく不整合ではないブロックの整合に対して、時間遅延を提供できるサンプル毎の相互相関である。
【００５４】
決定ブロック６０６では、相互相関結果を分析することができる。一例では、ヒストグラムを時間遅延の範囲にわたって生成することにより、結果が分析される。ヒストグラムは、ピークをチェックされる。ピークが検出された場合は、ブロック間の不整合は、ピークで示された時間遅延によって修正され得る。ステップ６０８では、ブロックに対する時間遅延を使用して、例えば図１Ａにおいて、近接マイクロホンで録音された信号をシフトさせる。時間遅延は、決定ブロック６０６でピークによって決定された時間遅延内で、サンプルの数を決定するために使用される。サンプルの数を使用して、ステップ６０８に示されたように、信号全体をシフトさせることができる。
【００５５】
決定ブロック６０６でピークが検出されなかった場合は、ブロックの対を処理するために、別の粗整合機能を選択することができる。ステップ６０７では、次の粗整合機能のために、信号のより大きいブロックを取得できる。ステップ６１０では、サブサンプリング粗整合機能が、ブロックの対で実行される。サブサンプリング粗整合は、図２Ａを参照に上に説明されたように実行され得る。サブサンプリング係数は、推定された不整合に基づいて決定され得るか、または初期値が使用され得る。サンプルのサブサンプリング係数の数によって分離された各サンプルは、相互相関がブロックで実行される前に、並行してブロックの対から抽出される。決定ブロック６１２では、ピークを検出するために、相互相関の結果を分析する。ピークが検出された場合は、例えば、図１Ａに示された近接マイクロホンから録音されたものに対応するブロックが、検出されたピークによって示された時間遅延に対応するサンプルの数により、ステップ６１４でシフトされる。時間遅延（およびサンプルの数）は、サブサンプリング係数によって修正され得る。シフトされたブロック、および図１Ａにおいて、マルチメディアレコーダによって捕捉された、動画および音声信号の音声部分に対応するブロックは、サンプル毎の相互相関が図６のステップ６０４に示されたように実行される、細密整合機能に提供される。
【００５６】
決定ブロック６１２でピークが検出されない場合は、ブロックの対を処理するために、別の粗整合機能を選択することができる。ステップ６１５では、次の粗整合機能のために、信号のより大きいブロックを取得できる。ステップ６１６では、包絡線検出粗整合機能６１６が、ブロックの対で実行され得る。包絡線検出粗整合機能はステップ６１６で、図３を参照に上に説明されたように進めることができる。ステップ６１８では、相互相関が各ブロックの包絡線で実行される。決定ブロック６２０では、相互相関結果はピークを分析される。ピークが検出された場合は、例えば、図１Ａに示された近接マイクロホンから録音されたものに対応するブロックが、検出されたピークによって示された、時間遅延に対応するサンプルの数により、ステップ６２４でシフトされる。次いで、シフトされたブロック、および図１Ａにおいてマルチメディアレコーダによって捕捉された動画および音声信号の音声部分に対応するブロックは、細密整合を実行する前に、整合をさらに見積もるために、ステップ６１０でサブサンプリング粗整合機能に提供され得る。
【００５７】
決定ブロック６２０でピークが検出されない場合は、ブロックの対を処理するために、別の粗整合機能を選択することができる。ステップ６２１では、次の粗整合機能のために、信号のより大きいブロックを取得できる。ステップ６２２では、意味またはパターン特徴抽出粗整合機能をブロックの対で実行できる。特徴抽出粗整合機能を図４を参照に上に説明されたように実行できる。パターンまたは音声認識機能を選択された特徴で実行できる。こうした機能は、通常選択された特徴、または選択された特徴の処理された型で相互相関を実行するものである。決定ブロック６２６では、パターンまたは音声認識の結果が、ピークを検出するために試験される。ピークが検出された場合は、例えば、図１Ａに示された近接マイクロホンから録音されたものに対応するブロックが、検出されたピークによって示された時間遅延に対応するサンプルの数により、ステップ６２８でシフトされる。次いで、シフトされたブロック、および図１Ａにおいてマルチメディアレコーダによって捕捉された動画および音声信号の音声部分に対応するブロックを、細密整合を実行する前に、整合をさらに見積もるために、ステップ６１６で包絡線検出粗整合機能に提供することができる。
【００５８】
決定ブロック６２６でピークが検出されない場合は、ブロックの不整合またはブロックの他の特徴は、適切な整合をできないことがある。例えば、その録音は類似が不十分であることがある。録音は、信号の再整合を試みる前に、さらなる処理に掛けられることがある。
【００５９】
すべての粗整合機能は、信号を整合するための例示的方法に必要とされることに、留意されたい。加えて、整合機能の１つを使用してピークが検出されない場合は、異なるパラメータを使用して整合機能を反復できる。
【００６０】
図１〜６に関連して記載された１つまたは複数のプロセス、サブプロセス、またはプロセスステップは、ハードウェアおよび／またはソフトウェアによって実行され得ることは、当業者には理解され、認識されよう。プロセスがソフトウェアによって実行される場合は、ソフトウェアは、図１〜６に概略的に示された１つまたは複数の機能部品またはモジュールなどの、適切な電子処理部品またはシステム内のソフトウェアメモリ（図示せず）内に存在することがある。ソフトウェアメモリ内のソフトウェアは、論理機能（すなわち、「論理」は、デジタル回路またはソースコードなどのデジタル形式、あるいはアナログ回路またはアナログ電子、音声もしくは動画信号などのアナログソースなどのアナログ形式のいずれかで実施され得る）を実施するための実行可能な命令を順序付けた一覧を含むことができ、コンピュータベースのシステム、プロセッサを含むシステム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行することができる他のシステムなどの、命令実行システム、装置、またはデバイスにより、あるいは命令実行システム、装置、もしくはデバイスに接続して使用するための、あらゆるコンピュータ可読媒体で選択的に具体化されることができる。本開示の背景で、「コンピュータ可読媒体」は、命令実行システム、装置、もしくはデバイスにより、または命令実行システム、装置、もしくはデバイスに関連して使用するためのプログラムを含む、記憶するまたは連通できるあらゆる手段である。コンピュータ可読媒体は、これに限定されないが、例えば選択的に、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置またはデバイスであってもよい。コンピュータ可読媒体のより具体的な例は、一覧に網羅されないが、以下のもの、すなわち、携帯用コンピュータディスケット（磁気）、ＲＡＭ（電子）、読取専用メモリ「ＲＯＭ」（電子）、消去可能読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）（電子）および携帯用コンパクトディスク読取専用メモリ「ＣＤＲＯＭ」（光学）を含むはずである。さらにコンピュータ可読媒体は、プログラムが、例えば紙または他の媒体の光学走査を介して、電子的に捕捉できるように印刷され、次いで蓄積され、解釈され、または必要な場合は別法により適切な方法で処理され、次にコンピュータメモリ内に記憶される紙または別の適切な媒体であってよいことに留意されたい。
【００６１】
実施の上の記載は、例示および説明の目的のために提示されている。上の記載は、網羅的ではなく、かつ開示されたそのままの形式に主張された発明を限定しない。修正形態および変形形態は、上記の見地から可能であり、本発明の実施から得られる。特許請求の範囲およびそれらの等価物が、本発明の範囲を定義する。
【特許請求の範囲】
【請求項１】
第１の媒体信号および第２の媒体信号を時間整合させるための方法であって、
前記第１および第２の媒体信号を、サンプリングレートを使用して生成されたデジタルサンプルの流れとして受け取ることと、
前記第１の媒体信号と前記第２の媒体信号との間の近似不整合を決定することと、
前記近似不整合に基づいた粗時間シフトを決定することと、
粗シフトされた第２の信号を生成するために、前記粗時間シフトにより前記第２の媒体信号をシフトさせることと、
前記第１の媒体信号と前記粗シフトされた第２の信号との間の整合時間シフトを決定することと、
前記第１の媒体信号と整合された、シフトされた第２の信号を生成するために、前記粗シフトされた第２の信号を前記整合時間シフトによりシフトさせることと、を含む方法。
【請求項２】
前記整合時間シフトを決定するステップは、
前記第１の媒体信号と前記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１の媒体信号と前記第２の媒体信号の相互情報に基づく分析を実行することと、を使用することのいずれかの方法を含む、請求項１に記載の方法。
【請求項３】
前記粗整合機能を使用する前記ステップは、前記粗整合機能を複数の粗整合機能から選択することを含む、請求項１に記載の方法。
【請求項４】
粗時間シフトを決定する前記ステップは、前記粗時間シフトが前記第１の選択された粗整合機能を使用することを決定できなかった際は、前記複数の粗整合機能の異なる粗整合機能を使用することを含む、請求項３に記載の方法。
【請求項５】
前記第２の媒体信号をシフトさせる前記ステップの後に、前記粗整合機能を使用する前記ステップを実行することと、前記粗時間シフトを決定することと、第２の粗シフトされた第２の信号を生成するために、前記第２の媒体信号をシフトさせることと、をさらに含み、整合される前記信号は、前記第１の媒体信号および前記粗シフトされた第２の信号であり、前記粗整合機能を使用する前記ステップは、前記複数の粗整合機能の１つを選択する前記ステップを含む、請求項３に記載の方法。
【請求項６】
前記粗整合機能を使用する前記ステップを反復することと、前記粗時間シフトを決定することと、粗シフトされた第２の信号をさらに生成するために、前記第２の媒体信号をシフトさせることと、をさらに含み、整合される前記信号は、前記第１の媒体信号および前記事前に粗シフトされた第２の信号であり、前記粗整合機能を使用する前記ステップは、前記複数の粗整合機能の１つを選択する前記ステップを含む、請求項５に記載の方法。
【請求項７】
前記粗整合機能を使用する前記ステップは、
前記第１および第２の信号のそれぞれをサブサンプリング係数によってサブサンプリングすることと、
前記第１のサブサンプルされた信号と前記第２のサブサンプルされた信号との間の遅延を検出することと、を含み、
前記粗時間シフトを決定する前記ステップは、前記検出された遅延を使用することを含む、請求項１に記載の方法。
【請求項８】
前記遅延を決定する前記ステップは、
前記第１および第２のサブサンプルされた信号の相互相関を実行することであって、前記粗時間シフトを決定する前記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、請求項７に記載の方法。
【請求項９】
前記粗整合機能を使用する前記ステップは、
第１および第２の信号包絡線を検出するために、前記第１および第２の信号のそれぞれを復調することと、
第１および第２のダウンサンプルされた包絡線を生成するために、前記第１および第２の信号包絡線を、ダウンサンプリング係数によってダウンサンプリングすることと、
前記第１のダウンサンプルされた包絡線と前記第２のダウンサンプルされた包絡線との間の遅延を検出することと、を含み、
前記粗時間シフトを決定する前記ステップは、前記検出された遅延を使用することを含む、請求項１に記載の方法。
【請求項１０】
前記遅延を決定する前記ステップは、
前記第１および第２のダウンサンプルされた包絡線の相互相関を実行することであって、前記粗時間シフトを決定する前記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、請求項９に記載の方法。
【請求項１１】
前記粗整合機能を使用する前記ステップは、
前記第２の信号から信号特徴を抽出することと、
前記第１の信号から信号部分を抽出することと、
前記信号特徴を前記信号部分と比較することと、
前記信号部分が前記信号特徴と一致する場合は、前記第１の信号内の前記信号部分の開始時間への時間遅延を識別することと、
前記信号部分を第１の信号から抽出する前記ステップを反復し、前記信号部分が前記信号特徴と一致するまで、前記信号特徴を前記信号部分と比較することと、を含む、請求項１に記載の方法。
【請求項１２】
信号特徴および信号部分を抽出する前記ステップは、前記第１および第２の信号内の音声要素を抽出することを含み、
前記信号特徴と前記信号部分を比較する前記ステップは、音声認識機能を実行することを含む、請求項１１に記載の方法。
【請求項１３】
信号特徴および信号部分を抽出する前記ステップは、前記第１および第２の信号内の信号パターンまたは意味特徴を抽出することを含み、
前記信号特徴と前記信号部分を比較する前記ステップは、パターン認識機能を実行することを含む、請求項１１に記載の方法。
【請求項１４】
前記第１および第２の媒体信号を受け取る前記ステップは、
媒体信号サイズより小さいブロックサイズを決定することと、
第１および第２の媒体信号のそれぞれを複数のブロックに分割することと、
前記粗整合機能を使用し、粗時間シフトを決定する前記ステップにおいて、前記第１および第２の媒体信号の対応するブロックを処理することと、をさらに含む、請求項１に記載の方法。
【請求項１５】
第１および第２の媒体信号を時間整合させるためのシステムであって、
前記第１の信号と前記第２の信号との間の初期不整合を低減させるための少なくとも１つの粗整合機能であって、前記粗整合機能は、粗シフトされた第２の信号を生成するように構成された、少なくとも１つの粗整合機能と、
前記粗シフトされた第２の信号と、前記第１の信号と前記粗シフトされた第２の信号との間の前記第１の信号との間の整合時間シフトを決定するように構成された、細密整合機能と、を含むシステム。
【請求項１６】
前記細密整合機能は、
前記第１の媒体信号と前記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用することにより、遅延を検出するように構成された不整合推定器を含む、請求項１５に記載のシステム。
【請求項１７】
前記少なくとも１つの粗整合機能は、
第１および第２のサブサンプルされた信号を生成するために、サブサンプリング係数により前記第１および第２の信号をサブサンプルするように構成された、第１および第２のサブサンプリング機能であって、前記第１および第２のサブサンプルされた信号を使用して、前記第１のサブサンプルされた信号と前記第２のサブサンプルされた信号との間の粗時間遅延を決定する、第１のサブサンプリング機能および第２のサブサンプリング機能と、
前記第２の信号を、前記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、前記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、請求項１５に記載のシステム。
【請求項１８】
前記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
前記第１および第２のサブサンプルされた信号を加え、前記合計内のノッチを検出することと、
位相接続法を実行することと、のいずれかを使用して、前記粗時間遅延を決定するように構成された不整合推定器をさらに含む、請求項１７に記載のシステム。
【請求項１９】
前記少なくとも１つの粗整合機能は、
対応する包絡線を検出するために、前記第１および第２の信号を復調するように構成された、第１および第２の包絡線復調器と、
第１および第２のダウンサンプルされた包絡線を生成するために、ダウンサンプリング係数により、前記第１および第２の包絡線をダウンサンプルするように構成された、第１および第２のダウンサンプラと、この場合、前記第１および第２のダウンサンプされた包絡線を使って、前記第１および第２のダウンサンプされた信号の間の粗時間遅延を決定し、
前記第２の信号を、前記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、前記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、請求項１５に記載のシステム。
【請求項２０】
前記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用する前記粗時間遅延を決定するように構成された、不整合推定器をさらに含む、請求項１９に記載のシステム。
【請求項２１】
前記少なくとも１つの粗整合機能は、
前記第２の信号内で比較するべき特徴を抽出するように構成された特徴抽出機能と、
前記第１の信号から前記特徴に一致するパターンまたは意味特徴を抽出するように構成された一致パターン抽出機能と、
前記一致を比較するべき前記特徴と一致させるための特徴比較器と、
前記第１の信号内のパターンに一致するために時間シフトを決定するように構成された特徴遅延比較器と、
前記第２の信号を前記時間シフトに基づく前記第１の信号と整合するように構成された、粗信号シフタと、を含む、請求項１５に記載のシステム。
【請求項１】
第１の媒体信号および第２の媒体信号を時間整合させるための方法であって、
前記第１および第２の媒体信号を、サンプリングレートを使用して生成されたデジタルサンプルの流れとして受け取ることと、
前記第１の媒体信号と前記第２の媒体信号との間の近似不整合を決定することと、
前記近似不整合に基づいた粗時間シフトを決定することと、
粗シフトされた第２の信号を生成するために、前記粗時間シフトにより前記第２の媒体信号をシフトさせることと、
前記第１の媒体信号と前記粗シフトされた第２の信号との間の整合時間シフトを決定することと、
前記第１の媒体信号と整合された、シフトされた第２の信号を生成するために、前記粗シフトされた第２の信号を前記整合時間シフトによりシフトさせることと、を含む方法。
【請求項２】
前記整合時間シフトを決定するステップは、
前記第１の媒体信号と前記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１の媒体信号と前記第２の媒体信号の相互情報に基づく分析を実行することと、を使用することのいずれかの方法を含む、請求項１に記載の方法。
【請求項３】
前記粗整合機能を使用する前記ステップは、前記粗整合機能を複数の粗整合機能から選択することを含む、請求項１に記載の方法。
【請求項４】
粗時間シフトを決定する前記ステップは、前記粗時間シフトが前記第１の選択された粗整合機能を使用することを決定できなかった際は、前記複数の粗整合機能の異なる粗整合機能を使用することを含む、請求項３に記載の方法。
【請求項５】
前記第２の媒体信号をシフトさせる前記ステップの後に、前記粗整合機能を使用する前記ステップを実行することと、前記粗時間シフトを決定することと、第２の粗シフトされた第２の信号を生成するために、前記第２の媒体信号をシフトさせることと、をさらに含み、整合される前記信号は、前記第１の媒体信号および前記粗シフトされた第２の信号であり、前記粗整合機能を使用する前記ステップは、前記複数の粗整合機能の１つを選択する前記ステップを含む、請求項３に記載の方法。
【請求項６】
前記粗整合機能を使用する前記ステップを反復することと、前記粗時間シフトを決定することと、粗シフトされた第２の信号をさらに生成するために、前記第２の媒体信号をシフトさせることと、をさらに含み、整合される前記信号は、前記第１の媒体信号および前記事前に粗シフトされた第２の信号であり、前記粗整合機能を使用する前記ステップは、前記複数の粗整合機能の１つを選択する前記ステップを含む、請求項５に記載の方法。
【請求項７】
前記粗整合機能を使用する前記ステップは、
前記第１および第２の信号のそれぞれをサブサンプリング係数によってサブサンプリングすることと、
前記第１のサブサンプルされた信号と前記第２のサブサンプルされた信号との間の遅延を検出することと、を含み、
前記粗時間シフトを決定する前記ステップは、前記検出された遅延を使用することを含む、請求項１に記載の方法。
【請求項８】
前記遅延を決定する前記ステップは、
前記第１および第２のサブサンプルされた信号の相互相関を実行することであって、前記粗時間シフトを決定する前記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、請求項７に記載の方法。
【請求項９】
前記粗整合機能を使用する前記ステップは、
第１および第２の信号包絡線を検出するために、前記第１および第２の信号のそれぞれを復調することと、
第１および第２のダウンサンプルされた包絡線を生成するために、前記第１および第２の信号包絡線を、ダウンサンプリング係数によってダウンサンプリングすることと、
前記第１のダウンサンプルされた包絡線と前記第２のダウンサンプルされた包絡線との間の遅延を検出することと、を含み、
前記粗時間シフトを決定する前記ステップは、前記検出された遅延を使用することを含む、請求項１に記載の方法。
【請求項１０】
前記遅延を決定する前記ステップは、
前記第１および第２のダウンサンプルされた包絡線の相互相関を実行することであって、前記粗時間シフトを決定する前記ステップは、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することを含む、実行することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかの方法を使用することを含む、請求項９に記載の方法。
【請求項１１】
前記粗整合機能を使用する前記ステップは、
前記第２の信号から信号特徴を抽出することと、
前記第１の信号から信号部分を抽出することと、
前記信号特徴を前記信号部分と比較することと、
前記信号部分が前記信号特徴と一致する場合は、前記第１の信号内の前記信号部分の開始時間への時間遅延を識別することと、
前記信号部分を第１の信号から抽出する前記ステップを反復し、前記信号部分が前記信号特徴と一致するまで、前記信号特徴を前記信号部分と比較することと、を含む、請求項１に記載の方法。
【請求項１２】
信号特徴および信号部分を抽出する前記ステップは、前記第１および第２の信号内の音声要素を抽出することを含み、
前記信号特徴と前記信号部分を比較する前記ステップは、音声認識機能を実行することを含む、請求項１１に記載の方法。
【請求項１３】
信号特徴および信号部分を抽出する前記ステップは、前記第１および第２の信号内の信号パターンまたは意味特徴を抽出することを含み、
前記信号特徴と前記信号部分を比較する前記ステップは、パターン認識機能を実行することを含む、請求項１１に記載の方法。
【請求項１４】
前記第１および第２の媒体信号を受け取る前記ステップは、
媒体信号サイズより小さいブロックサイズを決定することと、
第１および第２の媒体信号のそれぞれを複数のブロックに分割することと、
前記粗整合機能を使用し、粗時間シフトを決定する前記ステップにおいて、前記第１および第２の媒体信号の対応するブロックを処理することと、をさらに含む、請求項１に記載の方法。
【請求項１５】
第１および第２の媒体信号を時間整合させるためのシステムであって、
前記第１の信号と前記第２の信号との間の初期不整合を低減させるための少なくとも１つの粗整合機能であって、前記粗整合機能は、粗シフトされた第２の信号を生成するように構成された、少なくとも１つの粗整合機能と、
前記粗シフトされた第２の信号と、前記第１の信号と前記粗シフトされた第２の信号との間の前記第１の信号との間の整合時間シフトを決定するように構成された、細密整合機能と、を含むシステム。
【請求項１６】
前記細密整合機能は、
前記第１の媒体信号と前記粗シフトされた第２の信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のために前記結果を微分することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用することにより、遅延を検出するように構成された不整合推定器を含む、請求項１５に記載のシステム。
【請求項１７】
前記少なくとも１つの粗整合機能は、
第１および第２のサブサンプルされた信号を生成するために、サブサンプリング係数により前記第１および第２の信号をサブサンプルするように構成された、第１および第２のサブサンプリング機能であって、前記第１および第２のサブサンプルされた信号を使用して、前記第１のサブサンプルされた信号と前記第２のサブサンプルされた信号との間の粗時間遅延を決定する、第１のサブサンプリング機能および第２のサブサンプリング機能と、
前記第２の信号を、前記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、前記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、請求項１５に記載のシステム。
【請求項１８】
前記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
前記第１および第２のサブサンプルされた信号を加え、前記合計内のノッチを検出することと、
位相接続法を実行することと、のいずれかを使用して、前記粗時間遅延を決定するように構成された不整合推定器をさらに含む、請求項１７に記載のシステム。
【請求項１９】
前記少なくとも１つの粗整合機能は、
対応する包絡線を検出するために、前記第１および第２の信号を復調するように構成された、第１および第２の包絡線復調器と、
第１および第２のダウンサンプルされた包絡線を生成するために、ダウンサンプリング係数により、前記第１および第２の包絡線をダウンサンプルするように構成された、第１および第２のダウンサンプラと、この場合、前記第１および第２のダウンサンプされた包絡線を使って、前記第１および第２のダウンサンプされた信号の間の粗時間遅延を決定し、
前記第２の信号を、前記粗時間遅延に対応するサンプルの時間シフト数シフトさせることにより、前記粗シフトされた第２の信号を生成するように構成された、粗信号シフタと、を含む、請求項１５に記載のシステム。
【請求項２０】
前記第１および第２のサブサンプルされた信号の相互相関を実行し、時間遅延の選択された範囲内の１組の相互相関結果におけるピークを識別することと、
時間遅延スペクトル分析法を実行することと、
相関関係を実行し、ピーク検出のためにヒルベルト変換を使用することと、
相関関係を実行し、ピーク検出のために重心計算を使用することと、
位相接続法を実行することと、
前記第１および第２の媒体信号の相互情報に基づく分析を実行することと、のいずれかを使用する前記粗時間遅延を決定するように構成された、不整合推定器をさらに含む、請求項１９に記載のシステム。
【請求項２１】
前記少なくとも１つの粗整合機能は、
前記第２の信号内で比較するべき特徴を抽出するように構成された特徴抽出機能と、
前記第１の信号から前記特徴に一致するパターンまたは意味特徴を抽出するように構成された一致パターン抽出機能と、
前記一致を比較するべき前記特徴と一致させるための特徴比較器と、
前記第１の信号内のパターンに一致するために時間シフトを決定するように構成された特徴遅延比較器と、
前記第２の信号を前記時間シフトに基づく前記第１の信号と整合するように構成された、粗信号シフタと、を含む、請求項１５に記載のシステム。
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８４３３４（Ｐ２０１３−８４３３４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２０７８２３（Ｐ２０１２−２０７８２３）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【出願人】（５９２０５１４５３）ハーマン インターナショナル インダストリーズ インコーポレイテッド (91)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−２０７８２３（Ｐ２０１２−２０７８２３）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【出願人】（５９２０５１４５３）ハーマン インターナショナル インダストリーズ インコーポレイテッド (91)
【Ｆターム（参考）】
[ Back to top ]