時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置および方法
時間シーケンスで適用されるフィルム情報（１１２、１１４）を有するフィルム（１１０）内の位置を決定するための装置が提供され、この装置は、フィルム情報（１１２、１１４）の基準指紋表示を記憶するためのメモリ（３２０）であって、基準指紋表示は、指紋表示の時間的コースがフィルム情報の時間的コースに依存するように形成され、さらに、時間スケールが、記憶された基準指紋表示に関連付けられる、メモリ（３２０）を備え、さらに、この装置は、フィルム（１１０）から読み込まれる部分を受信するための手段（３４０）と、読み込まれた部分からテスト指紋表示を抽出するための手段（３５０）と、比較および時間スケールに基づいてフィルム（１１０）内の位置を決定するために、テスト指紋表示と基準指紋表示とを比較するための手段（３６０）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばフィルムイベントと画像再生とを同期するために、時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置および方法に関する。
【背景技術】
【０００２】
オーディオビデオデータが、データキャリアすなわちフィルムもしくはテープに、または、送信チャネルすなわち無線もしくは電話に、固定フォーマットで記憶されると、新規のオーディオフォーマットによる拡張、または、他の同期付加サービスもしくは字幕等の画像同期付加サービスを行うことができなくなる。したがって、例えば新しいオーディオフォーマットの導入に伴って、新しいオーディオフォーマットを有する新しいデータキャリアまたはフィルムコピーを生成する必要がある。
【０００３】
図８は、例示的なフィルム１１０を示す。それぞれ「フレーム」または「ビデオフレーム」と呼ばれるビデオ情報または画像１１２等のフィルム情報と、オーディオ情報、または、複数のアナログもしくはデジタルのサウンドトラック１１４とは、再生する間、空間シーケンスまたは時間シーケンスで適用され、デジタルサウンドトラックは、デジタルの場合に「オーディオフレーム」を有する。さらに、フィルム１１０は、例えばフィルムを再生する際に用いられる送り孔１１６を有する。
【０００４】
基本的に、補足情報を同期するための方法として、２つの方法が知られている。
【０００５】
第１の方法は、映画サウンド用のＤＴＳ（デジタル・シアター・システム）等を用いて、タイムコードをデータキャリアに記憶し、または、オーディオ信号に接続される別のチャネルに記憶することである。ここでの例としては、ＤＡＢおよびｍｐ３による補助データがある。タイムコードは、ＤＴＳを用いて外部データキャリア例えばＣＤからサウンドまたは付加情報を同期して再生するために用いられる。しかしながら、この方法には、フォーマットを追加するたびに、データキャリアまたは送信チャネルにさらなるスペースが必要となるという欠点があり、このスペースは利用できない場合がある。フィルムには、例えば、アナログサウンド、ドルビー（登録商標）・デジタル、ＤＴＳ、ＳＤＤＳ（ソニー（登録商標）・ダイナミック・デジタル・サウンド）用のトラックがある。しかしながら、独自のフォーマットなので、ある拡張のタイムコードを別の拡張に利用できないようになっている。拡張の際に、互いに干渉を引き起こしてしまうことが避けられず、一例として、ＭＰ３の補助データを、付加情報および帯域幅拡張用に様々な製造業者で用いていることがあげられる。
【０００６】
第２の方法は、例えば、ＩＯＳＯＮＯ（登録商標）・システムを備えるプロトタイプ映画で用いられるように、タイムコードを記憶するためにアナログサウンドトラックの不適切な使用に基づいている。しかしながら、この方法の欠点は、アナログトラックが全てのシステムに存在するので、他のシステムと干渉する際のフォールバックソリューションとしてしばしば用いられることであり、このことは、アナログトラックを誤用すると、フォールバックの可能性を妨げてしまうことを意味している。大部分の映画に備えられているアナログトラックへの自動切り替えを行うことにより、ドルビー（登録商標）・デジタルまたはＤＴＳ用の「最新の」トラックに信号がまったくない場合に、タイムコードがアナログ信号として再生されてしまう。したがって、プロトタイプ映画では、以下で説明する純粋な波面合成再生の間、冗長なアナログ再生をマニュアルで切り替える必要があり、なぜなら、これを行わないと、タイムコードが、冗長なさらなるスピーカを介して聞こえてしまうからである。
【０００７】
音響波面合成、略してＷＦＳは、フォーマット・ドルビー（登録商標）、ＳＤＤＳまたはＤＴＳのサラウンドアプローチを超えている。ＷＦＳでは、サウンドを構成する実際の状況での空気の振動を、空間全体にわたって再生することを試みている。もとの音源の位置のマッピングがスピーカ間の線上に限定されている２つ以上のスピーカにわたって再生を行う従来のものとは逆に、波面合成とは、もとの音源に対して忠実な全音場を空間に伝達することである。このことは、仮想音源を正確に空間的に配置することができ、あたかも空間内にいるように感じられるので、音源で取り囲むことが可能であるということを意味する。映画システムでは２００個までのスピーカを用い、シアターサウンドシステムでは９００個までのスピーカを用いるシステムが、すでに実現している。
【０００８】
波面合成は、ホイヘンスの原理に基づき、つまり、波面上の各点を基本球面波の開始点として考えることができると言える。全ての基本波が干渉することにより、新しい波面が発生し、これはもとの波と全く同じものである。
【０００９】
このようなサウンドシステムは、ＩＯＳＯＮＯ（登録商標）という名称の下にフラウンホッファー・デジタルメディア技術研究所で開発され、イルメナウ映画館で用いられている。
【００１０】
したがって、イルメナウ映画館は、波面合成が２つのモードで実行されている実例といえる。
【００１１】
第１のモードでは、映画が「実際の」波面合成システムとして実行されている。第２の「不適切な」方法に関して上述したように、タイムコードが３５ｍｍフィルムのアナログトラックに記憶され、ＷＦＳサウンドがハードディスクまたはＤＶＤ等の外部媒体から再生される。
【００１２】
「互換性のある再生」である第２のモードでは、各３５ｍｍフィルムに記憶されたサウンドが、ドルビー（登録商標）・プロセッサによって、読み出されて復号化され、または、ＤＴＳもしくはＳＤＤＳを用いることもでき、必要な場合、ドルビー（登録商標）・プロセッサを自動的にアナログトラックに切り替えて、ＷＦＳを介して発生するマルチチャネル信号を仮想スピーカにマッピングする。
【００１３】
２つのモードには異なる信号経路が必要なので、アナログ信号用の読み取りヘッドから送られてくる信号を分割することを必要とし、このことが、さらに技術的労力をもたらすことになる。
【００１４】
したがって、要約すると、映画フィルムの現在のスプールに、例えば外部サウンドシステムまたは字幕システム用のさらなる同期トラックを付け加える余地はないと言える。これまで利用できるアナログおよびデジタルの全ての映画サウンドシステムでは、サウンドトラックを、フィルムのスプール上の１つもしくは複数のサウンドトラックを介して直接に得るか、またはフィルムのスプール上の製造業者固有のタイムコード信号によって得る。このことは、すでに説明した２つの周知のアプローチでは、フィルムの新しいコピーを作成する必要があり、通常膨大な費用がかかるということを意味する。ドルビー（登録商標）・デジタルおよびＳＤＤＳのようなオーディオフォーマットにより、最新のオーディオを体験できるものの、例えば、字幕またはフィルムサウンドレコーディングの外国語バージョンと同期するタイムコードはまだない。
【００１５】
このため、フランク・ジョーダン（Ｆｒａｎｋ Ｊｏｒｄａｎ）およびジェスパー・ダノウ（Ｊｅｓｐｅｒ Ｄａｎｎｏｗ）の文献「アナログ音源からのタイムコード情報の生成（Ｇｅｎｅｒａｔｉｎｇ Ｔｉｍｅｃｏｄｅ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ Ａｎａｌｏｇ Ｓｏｕｒｃｅｓ）」、第１１８回音声工学学会大会、大会論文６４７３、２００５年５月２８日〜３１日、スペイン、バルセロナには、アナログサウンドトラックに基づいてタイムコードを生成することが提案されている。この文献には、プロジェクタのアナログサウンドトラックに付けられている「Ｓｏｕｎｄｔｉｔｌｅｓ」という名称のシステムが記載されている。サウンドトラックの編集デジタルコピーと、フィルムプロジェクタのアナログ信号とに基づいて、時間情報またはタイムコードが相互相関によって決定される。システム「Ｓｏｕｎｄｔｉｔｌｅｓ」は、３つのコンポーネントから構成されている。コアモジュール「Ｓｙｎｃ Ｔｒａｃｋｅｒ」が、タイムコード信号を生成する。第２のモジュール「Ｓｙｎｃ Ｐｌａｙｅｒ」が、例えばビーマを用いて投影された字幕を生成する。第３のモジュール「Ｃｌｉｐ Ｐｌａｙｅｒ」が、ワイヤレスヘッドフォンを介して映画観客に伝えられる同期オーディオクリップを再生する。
【００１６】
前述の従来技術の欠点は、フィルム内の同期および時間決定が、その文献に記載のように、例えば１分間のサーチウインドウに限定されていることである。しかしながら、特にフィルムの初期段階では、良好な同期のための正しいウインドウを定義しまたは決定することが困難である。フィルムから読み込まれまたはサンプリングされる部分が、同期に用いられる記憶されたフィルム情報の部分内にない場合、同期がとれないままであり、または、誤った同期が起こる。この場合、映画観客は、フィルムに対してサウンドを聞かないかまたは誤ったサウンドを聞くことになる。
【００１７】
【非特許文献１】フランク・ジョーダン（Ｆｒａｎｋ Ｊｏｒｄａｎ）およびジェスパー・ダノウ（Ｊｅｓｐｅｒ Ｄａｎｎｏｗ）の文献「アナログ音源からのタイムコード情報の生成（Ｇｅｎｅｒａｔｉｎｇ Ｔｉｍｅｃｏｄｅ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ Ａｎａｌｏｇ Ｓｏｕｒｃｅｓ）」、第１１８回音声工学学会大会、大会論文６４７３、２００５年５月２８日〜３１日、スペイン、バルセロナ
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の目的は、フィルム内の位置を決定する効率的な概念を提供することである。
【課題を解決するための手段】
【００１９】
この目的は、請求項１に記載のフィルム内の位置を決定するための装置、請求項２０に記載のフィルム内の位置を決定するための方法、および請求項２１に記載のコンピュータプログラムによって達成される。
【００２０】
本発明は、フィルムの各位置が一般にこの位置に特有のフィルム情報を含むという知見に基づいており、フィルムの特徴抽出において異なる位置は、特徴の異なる特有の出現を含む。換言すれば、フィルムの異なる位置は、異なる「指紋」を含む。これらの指紋は、次々に、フィルム内の位置を決定するために用いることができる。
【００２１】
本発明によれば、時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置が提供され、この装置は、フィルム情報の基準指紋表示（ＦＡＤ、ＦＡＤ＝Ｆｉｎｇｅｒａｂｄｒｕｃｋｄａｒｓｔｅｌｌｕｎｇ＝指紋表示）を記憶するためのメモリであって、指紋表示は、指紋表示の時間的コースがフィルム情報の時間的コースに依存するように形成され、時間スケールが、記憶された基準指紋表示に関連付けられる、メモリと、フィルムから読み込まれる部分を受信するための手段と、読み込まれた部分からテスト指紋表示を抽出するための手段と、比較および時間スケールに基づいてフィルム内の位置を決定するために、テスト指紋表示と基準指紋表示とを比較するための手段とを備える。
【００２２】
フィルム内の位置を決定するための装置および方法は、フィルム自体を準備しまたは変更する必要なしに、どの時点でもフィルム内のどの位置でも決定することを可能にする。関連した時間情報、時間スケールは、フィルムの記憶されたバージョンとともに記憶される。ここでは、フィルムは、特徴抽出に対応する基準指紋表示の形式で記憶される。したがって、必要なメモリ空間、また演算パワーおよび／または位置を決定する期間も、低減することができる。
【００２３】
フィルム内の位置を決定するための装置および方法は、例えば、フィルムイベントと画像再生とを同期するフィルムイベントシステム用の制御信号を生成するための装置に用いられてもよい。フィルムイベントの例としては、オーディオサウンド、字幕および特殊効果があげられ、特殊効果としては、例えば、空気の流れ、映画館のいすの揺れ、におい、または、側壁および背壁に対する照明効果が含まれてもよい。ここでは、オーディオ結果に関して、もとのバージョンと他の言語への翻訳とを同時に再生する等の２つの異なる言語とともに、波面合成のようなデジタルサラウンドシステムの同期のように、異なるオーディオ技術が可能である。ここでは、位置を決定するための装置または方法は、特に、悪い条件下でも、最適な同期および／またはフィルム内の位置の決定を保証するように、フィルムの開始段階での同期に働くとともに、例えば、フィルム再生中の飛び越しに対して高い許容範囲をもたらす。
【００２４】
上記および以下の例で、映画ファンまたはフィルムについて述べる場合、本発明は、映画ファンが見る映画フィルムに限定されず、磁気テープまたはハードドライブのように、フィルムまたは他のデータキャリアおよびメモリ媒体に記憶されたフィルム情報であるかどうかに関わらず、一般に、フィルムまたはオーディオビジュアル信号に関する。さらに、本発明は、ビデオのない純粋なサウンドシステムに用いることができ、または、例えば、ビデオＩＤを介して、サウンドのない純粋なビデオ素材と任意のイベントとの同期のために用いることができる。
【００２５】
本発明の好適な実施の形態が添付図面を参照して以下に説明される。これらの図面としては：
図１は、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図であり、
図２ａは、相関を実行するための装置の実施の形態を示す基本ブロック図であり、
図２ｂは、相関を実行するための装置の好適な実施の形態を示す基本ブロック図であり、
図２ｃ．１は、フィルムの例示的なセクションを示す図であり、
図２ｃ．２は、第１の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、
図２ｃ．３は、第２の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、
図２ｃ．４は、第３の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、
図２ｄ．１は、フィルムの２つの例示的なセクションを示す図であり、
図２ｄ．２は、フィルムの基準サウンド信号の例示的な曲線を示す図であり、
図２ｄ．３は、フィルムのセクション用の第１の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、
図２ｄ．４は、図２ｄ．２の基準サウンド信号と図２ｄ．３のテストサウンド信号との相関からの例示的な第１の相関結果を示す図であり、
図２ｄ．５は、図２ｄ．１のフィルムの２つの例示的なセクションを示す図であり、
図２ｄ．６は、図２ｄ．２のフィルムの基準サウンド信号の例示的な曲線を示す図であり、
図２ｄ．７は、フィルムのセクション用の第２の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、
図２ｄ．８は、図２ｄ．６の基準サウンド信号と図２ｄ．７のテストサウンド信号との相関からの例示的な第２の相関結果を示す図であり、
図３ａは、指紋表示に基づくフィルム内の部分を決定するための装置の好適な実施の形態を示す基本ブロック図であり、
図３ｂ．１は、フィルムの２つのセクションを示す図であり、
図３ｂ．２は、図３ｂ．１の２つのセクション用の基準サウンド信号の例示的な曲線を示す図であり、
図４は、位置の粗く後に細かい決定に基づくフィルム内の位置を決定するための装置の好適な実施の形態を示す基本ブロック図であり、
図５ａは、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図であり、
図５ｂ．１は、フィルムの２つのセクションを示す図であり、
図５ｂ．２は、フィルムの第１のセクション用の基準サウンド信号の例示的な曲線を示す図であり、
図５ｂ．３は、フィルムの第２のセクション用のテストサウンド信号の例示的な曲線を示す図であり、
図５ｂ．４は、図５ｂ．２の基準サウンド信号と図５ｂ．３のテストサウンド信号との相関からの例示的な相関結果を示す図であり、
図６ａは、フィルムイベントシステム用の制御信号を生成するための装置およびフィルムイベントシステムを有する例示的なフィルムプロジェクションシステムを示す基本ブロック図であり、
図６ｂは、例示的なオーディオフィルムイベントシステムを有する制御信号を生成するための装置を有する例示的なフィルムプロジェクションシステムを示す基本ブロック図であり、
図７は、１つのフィルム情報に対する時間スケールの例示的な関連を示す概略図であり、
図８は、適用されたフィルム情報を有する例示的なフィルムを示す概略図である。
【００２６】
本発明または好適な実施の形態についての以下の説明では、同じ参照番号を類似のまたは同じ構成要素に用いる。
【００２７】
以下に、フィルムに適用されるサウンド信号をフィルム情報として用いる実施の形態に関して、本発明をより詳細に説明する。しかしながら、本発明はこれに限定されるものではなく、これは単に説明するためのものである。
【発明を実施するための最良の形態】
【００２８】
図１は、フィルムイベントシステム用の制御信号を生成するための装置の基本ブロック図および図８に関して説明した例示的なフィルム１１０を示し、制御信号を生成するための装置は、フィルム情報を記憶するための手段１２０と、フィルムから読み込まれるセクションを受信するための手段１４０と、読み込まれたセクションと記憶されたフィルム情報１１２、１１４とを比較するための手段１６０と、比較と時間スケールとに基づく制御信号を決定するための手段１８０とを備える。
【００２９】
記憶されたビデオ情報１１２、１１４は、それぞれ、例えば、サウンド信号もしくはオーディオ信号、画像信号もしくはビデオ信号、または、例えば開口部が開く場所、サウンドが再生される時刻もしくはフィルムを停止する時刻を決定するフィルム上に現在見られる表示を含む。記憶されたオーディオ信号および／またはビデオ信号は、例えばデジタル化された形式であり、好ましくは必要メモリを低減する圧縮形式である。
【００３０】
デジタル化された記憶装置の長所は、シンプルなことであり、特に、フィルム情報の記憶された画像の再現性にエラーがないことである。
【００３１】
従来のシステムとは逆に、上述のように、フィルムはそのままで、フィルム情報の記憶された画像は例えばフィルムを作成する際に１回だけ生成される。
【００３２】
例えば、フィルムプロジェクタ等のフィルム再生装置を介してフィルムを再生する場合、サウンドトラック１１４に含まれるサウンド信号は、受信するための手段１４０で受信され、比較するための手段１６０で編集され、例えば、所定のサンプリングレートでサンプリングされ、所定の長さまたは所定の数のサンプリングレートのセクションとして送られる。
【００３３】
手段１６０は、このフィルムから読み込まれるセクションと記憶されたフィルム情報とを比較するように形成され、比較するための手段１６０は、読み込まれたセクションと記憶された全情報とを比較するように形成できるが、好ましくは、計算労力を最小にするために、読み込まれたセクションと記憶されたフィルム情報のセクションとを比較するように形成される。比較は、例えば、相互相関を介しても、差を計算することを介しても、例えば、圧縮されたハッシュ合計を計算し、データベースでこれを検索することによって、行うことができる。比較は、サウンド信号だけに基づいて、ビデオ信号だけに基づいて、サウンド信号およびビデオ信号の比較に基づいて、そのほかに上述の特徴の評価の組み合わせに基づいて行うことができる。比較するための手段１６０の比較結果および時間スケールに基づいて、決定するための手段１８０は、制御信号１９０を決定する。フィルムイベントシステムは、制御信号１９０を介して制御され、例えば、再生フィルム１１０に時間的に同期して制御信号１９０に基づくＷＦＳサウンド信号または字幕を生成する。これにより、制御信号を生成するための装置または特に制御信号を決定するための手段１８０は、制御信号がＳＭＰＴＥ（映画テレビ技術者協会）に準拠して標準化されたＬＴＣタイムコードフォーマット（ＬＴＣ＝水平タイムコード）等の独自のまたは標準化された任意のタイムコードフォーマットであるように形成できる。
【００３４】
時間的に同期とは、フィルムイベントシステムが、制御信号１９０に基づいて、再生されたばかりのフィルムの位置の時間スケール上の時間に対応する同時イベントを生成するということを意味し、同時イベントには、時間スケール上の時間が、記憶されたフィルム情報に関連付けられる。
【００３５】
これにより、説明した実施の形態とは異なり、フィルムプロジェクタの代わりに、任意のフィルム再生装置を用いることができ、（例えばビデオ情報に基づく同期を有する）サイレントフィルム等の任意のフィルムフォーマット、アナログもしくはデジタルのサウンドトラックを有するフィルム、１本のサウンドトラックもしくは数本の並列のサウンドトラックを用いることができ、または、フィルムの代わりに、テープもしくはハードドライブ等の任意の他のメモリ媒体を用いることができ、そのフォーマットが変更できないか変更されてはいけなく、例えば将来のフィルム再生装置と互換性はあるが、他のフィルムイベントが同時に同期される必要があるもの等がある。
【００３６】
好適な実施の形態では、サウンド信号が、同期のためのフィルム情報として用いられる。これにより、フィルムから読み込まれるセクションは、テストサウンド信号を生成するために、以下にテストサンプリングレートという所定のサンプリングレートでサンプリングされ、さらに、フィルム情報はデジタル形式で記憶され、記憶されたフィルム情報は以下で基準信号といい、テストサウンド信号および基準サウンド信号は、相互相関を介して比較するための手段１６０で比較される。
【００３７】
一実施の形態では、テスト信号サンプリングレートおよび基準信号サンプリングレートは、変わらない、すなわち一定である。比較するための手段１６０は、例えば、最初に第１のテストサウンド信号および第１の基準サウンド信号に基づく第１の相関結果を生成し、１回目の時間スケールを決定し、次に第２のテストサウンド信号および第２の基準サウンド信号に基づく第２の相関結果を生成し、例えば時間差もしくは再生速度を決定するための、または、ターゲット再生速度もしくは基準再生速度と比較して速度差を決定するための２回目の時間スケールを決定するように、形成できる。このことに基づいて、決定するための手段１８０は、例えば、フィルムイベントシステムを同期するための制御信号を決定する。
【００３８】
しかしながら、一定サンプリングレートの欠点は、相関結果がテスト再生速度の変化で低下するので、時間またはフィルム内の位置を決定する精度がさらに不正確になり、同期が低下することである。この欠点は、テストサンプリングレートおよび／または基準サンプリングレートを意味するサンプリングレートを変えることによって補償できる。
【００３９】
図２は、可変再生速度で再生可能なテストサウンド信号とテストサウンド信号のデジタル的に記憶されたバージョンである基準サウンド信号との間の相関を実行するための装置の基本ブロック図を示し、相関を実行するための装置は、テスト再生速度の大きさを決定するための手段２１０と、テストサンプリングレートまたは基準サンプリングレートを変更するための手段２３０と、比較するための手段２５０とを備える。手段２３０は、テストサンプリングレートを変更するように形成される。手段２３０は、変形テスト信号２７２を生成するために、または、基準サウンド信号２７４に基づく変形基準サウンド信号を生成するように基準サンプリングレートを変更するために、テストサウンド信号２７０がサンプリングされることによって、テストサンプリングレートを変更するように形成される。さらに、変更するための手段２３０は、テストサウンド信号に関連付けられるテスト再生速度もしくは変形基準サウンド信号２７６に関連付けられる基準再生速度との間のずれが低減されるように、または、変形テストサウンド信号２７２に関連付けられるテスト再生速度と基準サウンド信号２７４に関連付けられる基準再生速度との間のずれが低減されるように、または、変形テストサウンド信号２７２に関連付けられるテスト再生速度と変形基準サウンド信号２７６に関連付けられる基準再生速度との間のずれが低減されるように、テストサンプリングレートまたは基準サンプリングレートを変更するように形成され、定期再生速度または可変再生速度の問題について、それぞれ以下により詳細に説明する。
【００４０】
変形サウンド信号２７２および基準サウンド信号２７４を比較し、または、テストサウンド信号２７０および変形基準サウンド信号２７６を比較し、または、変形テストサウンド信号２７２および変形基準サウンド信号２７６を比較するための手段２５０は、相関の結果２７８を決定するように形成される。
【００４１】
図２ａに示す相関を実行するための装置の実施の形態は、例えば図１に示すように、フィルムイベントシステムの制御信号を生成するための装置における比較するための手段１６０として用いることができる。
【００４２】
図２ｂは、テストサウンド信号および基準サウンド信号の間の相関を実行するための装置の好適な実施の形態の基本ブロック図を示す。
【００４３】
図２ｂは、テストサウンド信号２７０のデジタルバージョンである基準サウンド信号２７４を記憶するための手段２８０を示し、基準サウンド信号２７４は所定のメモリ基準再生速度およびメモリ基準サンプリングレートに基づいて以前に生成されている。
【００４４】
テストサウンド信号は、テストサウンド信号２７０を生成するために、可変テスト再生速度で再生され、テストサンプリングレートでサンプリングされる。
【００４５】
テストサウンド信号２７０のテスト再生速度の大きさを決定するための手段２１０は、テスト再生速度の大きさに基づいて、変更するための手段２３０を制御する。変更するための手段２３０は、基準またはサンプリングレートコンバータ２３２および可変サンプラ２３４を制御し、サンプリングレートコンバータ２３２は、メモリ基準再生速度およびメモリ基準サンプリングレートに基づく基準サウンド信号を、異なるメモリ基準サンプル速度および／またはメモリ基準サンプリングレートに基づく基準サウンド信号に対応する変形基準サウンド信号２７６に変換するように形成され、そして、可変サンプラ２３４は、変形テストサウンド信号２７２を生成するために、標準または基本サンプリングレートと異なる変更されたサンプリングレートでテストサウンド信号をサンプリングするように形成される。
【００４６】
図２ｂとは異なって、相関を実行するための装置は、テストサウンド信号２７０が可変サンプラ２３４を介して比較するための手段２５０に常に供給されるように形成でき、次に、可変サンプラ２３４は、可変テストサンプリングレートの１つが標準または基本サンプリングレートに対応するように形成され、さらに、可変サンプラ２３４は、基準サウンド信号２７４が基準サンプリングレートコンバータ２３２を介して比較するための手段２５０に常に供給されるように形成され、基準サンプリングレートコンバータ２３２は、基準サウンド信号２７４を変形しないように比較するための手段２５０に送り、変更するための手段２３０によってそれぞれ制御をともなうように形成される。
【００４７】
図２ｂで選択された、変形テストサウンド信号２７２と比較されるテストサウンド信号２７０と、変形基準サウンド信号２７６と比較される基準サウンド信号とを、別々に、比較するための手段２５０に供給する表現は、実施の形態または実現可能性の別のものを説明するためのものである。
【００４８】
したがって、例えば、比較するための手段２５０が変形テストサウンド信号２７２と非変形基準サウンド信号２７４とを比較するように形成される一実施の形態では、基準サンプリングレートコンバータ２３４が必要とされないか、または、図２ｂの相関を実施するための装置が基準サンプリングレートコンバータ２３２を有していない。同様に、非変形テストサウンド信号２７０と変形基準サウンド信号２７６とを比較するように形成される比較するための手段２５０は、可変サンプラ２３４を有していない。
【００４９】
さらなる実施の形態では、記憶するための手段２８０は、フィルム情報を記憶するための手段であり、時間スケールが、記憶されたフィルム情報に関連付けられ、さらに、テストサウンド信号２７０が、例えば、フィルムサウンド信号である。次に、図２ｂの相関を実行するための装置は、例えば、図１の比較するための手段１６０として用いることができる。
【００５０】
図２ｃ．１は、図１において上述したようなサウンドトラック１１４を有する例示的なフィルム１１０のセクションを示す。図２ｃ．１では、フィルム１１０の２つの位置を示し、第１の位置を位置Ｌ1と呼び、第２の位置を位置Ｌ2と呼ぶ。２つの位置Ｌ1およびＬ2は、ΔＬ＝Ｌ1−Ｌ2の長さを有するフィルム１１０上のセクションを定義する。
【００５１】
図２ｃ．２は、図２ｃ．１に示す位置Ｌ1およびＬ2の間のセクションに関連付けられるテストサウンド信号の例示的な曲線を示し、また、フィルムの位置Ｌ1が再生される時間を時間Ｔ1と呼び、フィルムの位置Ｌ2が再生される時間を時間Ｔ2と呼ぶ。時間間隔ΔＴ＝Ｔ1−Ｔ2は、それぞれのセクションの長さとフィルムの再生速度ｖとに依存する。次の式
ΔＴ＝ΔＬ／ｖ、または、
Ｔ2−Ｔ1＝（Ｌ2−Ｌ1）／ｖ
が当てはまる。
【００５２】
テストサウンド信号をサンプリングレートｆ＝１／Δｔでサンプリングする場合、Δｔはサンプル期間でありΔＴ＝ｎ・ΔＴとなり、テストサウンド信号は、ｎ＝１０として図２ｃ．２に例示的に示すように、一連のｎ＋１個のサンプルで示すことができる。
【００５３】
再生速度ｖおよびサンプリングレートｆ＝１／Δｔでフィルムを再生する場合、Ｌ1およびＬ2の間またはＴ1およびＴ2の間のフィルムのセクションは、例えばｎ個の時間間隔で分割され、または、ｎ＋１個のサンプルで表される。次の式が
ｎ＝ΔＬ／（Δｔ・ｖ）、または
ｎ＝ΔＬ・ｆ／ｖ
がそれぞれ当てはまる。
【００５４】
このことは、フィルムの所定のセクションΔＬに対するサンプル期間の数またはサンプルの数が、サンプリングレートｆに比例し、または、サンプル期間Δｔに反比例し、再生速度ｖに反比例することを意味する。換言すれば、ｎまたはサンプルの数ｎ＋１が一定である場合、一定の長さΔＬのセクションにおいて、商「ｆ／ｖ」または積「Δｔ・ｖ」が一定である必要がある。
【００５５】
その場合、最初のサンプルが等しければ、個々のサンプルは上述の条件下で等しくなる。
【００５６】
それに対応して、メモリサンプリングレートｆmemoryおよびメモリ再生速度ｖmemoryにおいて、記憶されたフィルム情報または基準サウンド信号を生成する場合、記憶されたフィルム情報のセクションまたはテストサウンド信号が、例えば、ｎmemory＋１個の基準サンプルで表され、記憶される。
【００５７】
事実を例示するために、図２ｃ．２〜図２ｃ．４は、一定サンプリングレートｆまたは一定サンプル期間Δｔと可変サンプル速度とでの位置Ｌ1およびＬ2の間のフィルムセクションの例示的なサンプルまたは記憶を示し、図２．ｃ２は、第１の再生速度ｖ1での例示的なサンプリングまたは記憶を示し、図２ｃ．３は、第２の再生速度ｖ2によるフィルムの同じセクションのサンプリングまたは記憶を示し、図２ｃ．４は、第３のサンプル速度ｖ3でのフィルムの同じセクションのサンプリングを示す。これにより、この例では、ｖ1は、ｖ2の半分であり、かつ、ｖ3の２倍であり、ｖ1＝ｖ2／２およびｖ1＝２ｖ3である。
【００５８】
図２ｃ．２〜図２ｃ．４に示す３つのサウンド信号は、全て、位置Ｌ1または対応する時間Ｔ1で同じサンプルを有している。したがって、それに対応して、図２ｃ．２〜図２ｃ．４に例示的に示すように、図２ｃ．２において記憶された画像情報または基準サウンド信号はｎ1＋１＝１１個のサンプルで表され、図２ｃ．３においてフィルムの同じセクションはｎ2＋１＝６個のサンプルで表され、図２ｃ．４においてフィルムの同じセクションはｎ3＋１＝２１個のサンプルで表される。
【００５９】
図２ｃ．２〜図２ｃ．４からわかるように、一定サンプリングレートでは、再生速度ｖの増加がサウンド信号の時間圧縮に対応し、すなわち、図２ｃ．２の再生速度ｖ1が２倍になると、図２ｃ．３に示すように、Ｔ2−Ｔ1およびｎが２分の１になり、さらに、サウンド信号の時間延長に対して再生速度ｖが遅くなり、すなわち、図２ｃ．２の再生速度ｖ1が２分の１になると、図２ｃ．４に示すように、Ｔ2−Ｔ1およびｎが２倍になる。
【００６０】
図２ｄ．１および図２ｄ．２は、単純に図２ｃ．１および図２ｃ．２に対応している。図２ｃ．１と比較して、図２ｄ．１は、フィルムおよびそれに適用されるフィルム情報に関するサーチセクションまたはサーチウインドウを定義する２つのさらなる位置を示し、サーチウインドウの第１の位置がＬ0で表され、サーチウインドウの第２の位置がＬ3で表され、位置Ｌ0および位置Ｌ3の間のセクションが位置Ｌ1およびＬ2で定義されるセクションより大きい、すなわち、ΔＬwindow＝Ｌ3−Ｌ0およびΔＬ＝Ｌ2−Ｌ1としてΔＬwindow＞ΔＬである。それに対応して、図２ｄ．２では、図２ｃ．２のほかに、所定の再生速度に基づいて位置Ｌ0に関連付けられる時間を表す時間Ｔ0と所定のサンプル再生速度に基づいて位置Ｌ3に関連付けられる時間を表す時間ｔ3とが加算されている。
【００６１】
記憶されたフィルム情報または基準サウンド信号およびさらに記憶された時間スケールの生成に関して、それぞれ、このことは、時間Ｔ0が、例えば、位置Ｌ0に関連付けられる時間スケール上の時間を定義し、時間Ｔ1が、位置Ｌ1に関連付けられる時間スケール上の時間を定義し、時間Ｔ2が、位置Ｌ2に関連付けられる時間スケール上の時間を定義し、さらに、時間ｔ3が、フィルム上の位置Ｌ3に関連付けられる時間スケール上の時間を定義しているということを意味する。
【００６２】
図２ｄ．３は、図２ｃ．２に対応している。
【００６３】
以下に、図２ｄ．２〜図２ｄ．４に関して、相関を介して２つの信号の比較の基本曲線または２つの信号を比較する場合に可変再生速度の問題を、例示的に示し説明する。
【００６４】
これにより、図２ｄ．２および図２ｄ．３に表される最適な場合では、図２ｄ．３は、フィルムまたはテストサウンド信号２７０にそれぞれ適用される現在読み込まれるフィルム情報を表し、図２ｄ．２は、記憶されたフィルム情報または基準サウンド信号をそれぞれ表し、基準サウンド信号が生成されたメモリ再生速度およびメモリサンプリングレートは、テストサウンド信号の再生速度およびテストサウンド信号のサンプリングレートにそれぞれ対応し、または、上述のように、メモリサンプリングレートｆmemoryおよびメモリ再生速度ｖmemoryの商は、テストサウンド信号のサンプリングレートｆおよびテストサウンド信号の再生速度ｖの商に対応している。その場合、基準サウンド信号またはＴ1およびＴ2によって定義される基準サウンド信号のセクションは、Ｔ1およびＴ2の間のセクションを表すテストサウンド信号に、より正確には、それらのサンプルシーケンスに、正確に対応でき、図２ｄ．４に例示的に示すように、明確な極大または相関ピークは、相関を介して得ることができる。
【００６５】
ピーク位置は、基準サウンド信号またはサーチウインドウそれぞれに関するテストサウンド信号のタイムシフトを表している。これに基づいて、記憶された時間スケールに関して、現在の時間を決定することができる。
【００６６】
図２ｄ．１〜図２ｄ．４とは逆に、図２ｄ．５〜図２ｄ．８は、図２ｄ．７に示すテストサウンド信号の再生速度が、図２ｄ．２に示すようなテストサウンド信号の再生速度に比べて遅くなっている例を示す。
【００６７】
図２ｄ．５は、図２ｄ．１に対応している。図２ｄ．６は、図２ｄ．２に対応し、このことは、図２ｄ．６が、メモリサンプリングレートｆmemoryおよびメモリサンプル速度ｖmemoryに基づく基準サウンド信号の例示的な曲線を表していることを意味している。図２ｄ．７は、図２ｄ．３または図２ｄ．６に関して変更されていないテストサンプリングレートｆに基づくがテストサウンド信号の変更され遅くされた再生速度ｖ´に基づく、テストサウンド信号の例示的な曲線または例示的なサンプルを示す。
【００６８】
考慮中の時間間隔ΔＴに関して、このことは、図２ｄ．５に示すように、遅くされた速度ｖ´での同じ時間間隔ΔＴでは、短いセクションすなわちフィルムのΔＬ´＝ｖ´・ΔＴによる短い長さΔＬ´のセクションだけが再生されるので、時間間隔Δ´後の再生されたばかりのフィルムに関しては、位置Ｌ2の前の位置Ｌ´2までになるということを意味する。これに関連付けけられる基準サウンド信号および時間スケールに関して、図２ｄ．７に示すように、時間スケールの時間Ｔ´2は、位置Ｌ´2に関連付けられる。
【００６９】
テストサウンド信号の個々のサンプルに関して、このことは、フィルムのサウンドトラックによってあらかじめ決められるテストサウンド信号の「空間」曲線が変わらないので、遅い再生速度では、ｖ´はサンプル期間Δｔまたは対応する空間サンプルセクションΔｌ´それぞれに対応するということを意味し、これはΔｌより小さいので、図２ｄ．６と比べて図２ｄ．７に示すように、テストサウンド信号のサンプルは、「空間」信号曲線に関して左に「移動する」。
【００７０】
変更された再生速度ｖ´がメモリ再生速度ｖmemoryより大きい逆の場合、逆のことが発生し、同じ時間間隔ΔＴでは、長い空間セクションΔｌが再生されるので、テストサウンド信号のサンプルは、テストサウンド信号の「空間」曲線の信号曲線上で「右」に「移動する」。
【００７１】
したがって、変更された再生速度では、メモリ再生速度より速いか遅いかに関わらず、比較の結果は、最適な条件でなくても、テストサウンド信号および基準サウンド信号がフィルムの２つの異なる空間セクションを再生するので、低下する。比較の結果は、メモリ再生速度がテスト再生速度から逸脱すればするほど、悪くなる。相関によって比較する場合、極大またはピークの量が低減し、さらに最大自体がより広くより平坦になるので、それがなくなるまでは、時間スケールに関しての時間決定は、ますます不正確になる。
【００７２】
実際の条件下では、テストサウンド信号の再生速度が、例えば、異なるフィルムプロジェクタ間で変化するだけでなく、フィルム中で変化する。したがって、正確に再調整することは、全フィルムにわたって同期を確実にとるために不可欠である。
【００７３】
したがって、同じサンプルでフィルムの同じセクションを表すために、サンプリングレートとテストサウンド信号および基準サウンド信号の再生速度との商が同じである必要があるという上述の条件による上述のように、相関を実行するための装置は、テストサウンド信号の可変再生速度の悪影響を最小限にするために、テストサウンド信号のサンプリングレートまたは基準サウンド信号のサンプリングレートを変更する。
【００７４】
メモリサンプリングレートで生成されたデジタル基準サウンド信号では、再生速度がサンプリングレート変換によって変更され、記憶された基準サウンド信号２７４は、例えば、変更された再生速度に対応するサンプリングレートで基準サウンド信号を生成するために同様に補間される。
【００７５】
図２ｄ．１〜図２ｄ．８は、簡略化した例を示し、わかりやすくするために、メモリ再生速度ｖmemoryがテストサウンド信号を生成するためのプレーヤの通常または共通の再生速度に対応しているものと仮定している。しかしながら、上述のように、フィルムの同じセクションを同じサンプルで表すことができるように、すでに説明したように、サンプリングレートｆおよび再生速度ｖの商は、基準サウンド信号およびテストサウンド信号と同じでなければならない量である。例えば、基準サウンド信号を生成する場合には、サンプリングレートを同時に２倍にする場合に、２倍の再生速度を用いることができる。
【００７６】
図２ｂの実施の形態では、決定するための手段２１０は、相関の結果２７８に基づいてテスト再生速度の大きさを決定することができる。
【００７７】
１つのアプローチでは、例えば、テストサウンド信号および基準サウンド信号の再生速度の間のずれが所定の範囲にあるかどうかを決定するために、ピークの振幅を所定の閾値と比較することによる再生速度の大きさの決定のための１つの相関結果を用いる。
【００７８】
好適な実施の形態では、異なる基準サンプリングレートに基づく少なくとも２つの異なる基準サウンド信号、または、異なる基準再生速度に対応する少なくとも２つの異なる基準サウンド信号が、それぞれ、例えば、品質評価を介して相関の結果を比較するためにテストサウンド信号と比較され、これは、周知のサンプリングレートおよび周知のメモリ再生速度に基づいて、最も似ている基準サウンド信号、したがってテストサウンド信号の再生速度の大きさを、このことからから決定するために、図５を参照してより詳細に説明する。これにより、異なる基準サウンド信号は、連続して形成することができ、テストサウンド信号と比較することができ、または、形成して同時に比較することができる。
【００７９】
特に、相関を実行するための装置の好適な実施の形態は、異なる基準サンプリングレートに基づいて、３つの基準サウンド信号を生成し、３つのサンプリングレートの媒体の基準サウンド信号は、前の比較において、品質が最もよいかテストサウンド信号と最大整合している基準サウンド信号の基準サンプリングレートに基づき、他の２つの基準サウンド信号は、それぞれ、基準サンプリングレートまたは媒体基準サウンド信号の基準サンプリングレートより高いか低い基準サンプリングレートを有している。これは、テスト再生速度の大きさを決定するための手段２１０の出力信号に基づいて、変更するための手段２３０によって制御される。したがって、基準サウンド信号の基準サンプリングレートまたは基準再生速度が、それぞれ、再生速度または基準テストサウンド信号の基準サンプリングレートに確実に適合できるようになる。
【００８０】
図３ａは、図８に示すような例示的なフィルムおよびフィルム内の位置を決定するための装置の基本ブロック図を示す。
【００８１】
図３ａに示すフィルム内の位置を決定するための装置の実施の形態は、例えば、図１に示すフィルムイベントシステムの制御信号を生成するための装置に、制御信号を決定するための手段１８０として用いることができる。
【００８２】
フィルム内の位置を決定するための装置は、フィルム情報の基準指紋表示を記憶するためのメモリ３２０であって、指紋表示の時間曲線がフィルム情報の時間曲線に依存するように指紋表示が形成され、さらに時間スケールが記憶された基準指紋表示に関連付けられる、メモリ３２０と、フィルムから読み込まれるセクションを受信するための手段３４０と、読み込まれたセクションからテスト指紋表示を抽出するための手段３５０と、比較および時間スケールに基づいてフィルム内の位置を決定するために、テスト指紋表示と基準指紋表示とを比較するための手段３６０とを備える。
【００８３】
好適な実施の形態では、指紋表示は、スペクトル平坦性の形式の表示を含み、指紋表示の時間曲線は、スペクトル平坦性の時間曲線を含む。
【００８４】
図３ｂ．１は、図８に示すように、例示的なフィルム１１０を示す。したがって、所定の再生速度でフィルムを再生する場合、例えば、時間スケールの時間Ｔ100はフィルム位置Ｌ100に、時間スケールの時間Ｔ103は位置Ｌ103に、時間スケールの時間Ｔ113は位置Ｌ113に、時間スケールの時間Ｔ116は位置Ｌ116に、それぞれ対応している。
【００８５】
一実施の形態では、フィルム情報の基準指紋表示を生成するステップでは、指紋がフィルムの特定の空間または時間部分に対してそれぞれ決定される。
【００８６】
図３ｂ．２は、例えば、位置Ｌ100〜位置Ｌ113のセクションまたは時間Ｔ100〜時間Ｔ113のセクションを含む第１のセクションと、位置Ｌ103〜位置Ｌ113のセクションまたは時間Ｔ103〜時間Ｔ116のセクションを含む第２のセクションとを示す。これらのセクションに基づいて、セクションに関連付けられる指紋は、例えば、スペクトル解析、フーリエ変換または特徴抽出の他の方法に基づいて生成される。特に好適な実施の形態では、指紋は、パワー密度スペクトルの曲線から計算されるスペクトル平坦性γx2を含むので、スペクトル平坦性の値は、各セクションに対して決定され、一連のスペクトル平坦性は、フィルム情報の時間曲線に、例えば、関連付けられた時間スケールでメモリ３２０に記憶されるサウンド信号に依存することになる。
【００８７】
セクションのサンプリングレート、長さもしくは期間、または、次の２つのセクションの間の距離は、例えば、フィルム内の位置の決定の一意性または精度に関して、要求により決定される。一般に、セクションが長くなるほど特徴の仕様が明確になり、サンプリングレートが高くなるほどおよび／または２つのセクションの間の距離が短くなるほど、フィルム内の位置は、より正確に決定することができる。サンプリングレートが高くなり、セクションが長くなり、セクション間の距離が短くなるほど、基準信号の必要メモリまたは演算パワー信号処理の必要量が高くなる。
【００８８】
スペクトル平坦性の形式の指紋表示の大きな長所は、例えば、等しいセクションのパワー密度スペクトルの完全な記憶に比べて、その必要メモリが少ないことである。好ましくは、曲線または一連のスペクトル平坦性は、それぞれ、セクションの指紋として用いられる。
【００８９】
図４ａは、図８に示すように、例示的なフィルム１１０とともに、時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置を示す。
【００９０】
図４ａに示すフィルム内の位置を決定するための装置の実施の形態は、例えば、図１に示すようなフィルムイベントシステムの制御信号を生成するための装置に、制御信号を決定するための手段１８０として用いることができる。
【００９１】
位置を決定するための装置は、時間シーケンスでフィルムに適用されるフィルム情報を記憶するためのメモリ４２０であって、時間スケールが記憶されたフィルム情報に関連付けられる、メモリ４２０と、粗い結果を得るために、第１のサンプリングレートに基づく読み込まれた部分の一連のサンプルと記憶されたフィルム情報の第１のサーチウインドウとを比較し、さらに、フィルム１１０の位置を示す細かい結果を得るために、第２のサンプリングレートに基づく読み込まれたセクションの一連のサンプルと記憶されたフィルム情報の第２のサーチウインドウとを比較するように形成される同期手段４６０であって、記憶されたフィルム情報内の第２のサーチウインドウの位置が粗い結果に依存し、第１のサーチウインドウは時間的に第２のサーチウインドウより長く、さらに、第１のサンプリングレートは第２のサンプリングレートより低い、同期手段４６０とを有する。
【００９２】
図５ａは、図８に示すような例示的なフィルム１１０とともに、フィルムイベントシステムの制御信号を生成するための装置の好適な実施の形態を示し、装置は、フィルムからそれぞれ読み込まれるオーディオ信号またはテストサウンド信号のセクションのフィルムに適用されるアナログサウンドトラックと、時間スケールを介してテストサウンド信号および基準サウンド信号を比較することによって、時間スケールが関連付けられる、以下に基準サウンド信号と呼ぶ、テストサウンド信号の記憶されたデジタルバージョンとに基づいて、制御信号を決定するように形成される。
【００９３】
図５ａは、第１のフィルムサウンドサンプラ５４２を有するフィルムイベントシステムの制御信号を生成するための装置の好適な実施の形態を示し、第１のフィルムサウンドサンプラ５４２は、第１のＡ／Ｄコンバータ５４４（Ａ／Ｄ＝アナログ／デジタル）に接続され、第１のＡ／Ｄコンバータ５４４は、第１の特徴抽出器５５２と、第１のサンプリングレートに基づく第１の基準サウンド信号との相関のための第１の手段５６２と、第２のサンプリングレートに基づく第２の基準サウンド信号との相関のための第２の手段５６４と、第３のサンプリングレートに基づく第３の基準サウンド信号との相関のための第３の手段５６６とに接続される。相関のための第１の手段５６２の入力と、相関のための第２の手段５６４の入力と、相関のための第３の手段５６６の入力とは、サンプリングレートコンバータ（ＳＲＣ）２３２の出力に接続される。
【００９４】
相関のための第１の手段５６２の出力と、相関のための第２の手段５６４の出力と、相関のための第３の手段５６６の出力とは、品質評価のための第１の手段５６８の入力に接続される。品質評価のための手段５６８は、さらに、サンプリングレートコンバータ２３２およびサンプラ選択のための手段５７０に接続され、サンプラ選択のための手段５７０の出力は、タイマ５８２の入力に接続される。タイマ５８２は、さらに、記憶されたサウンドトラックまたはサウンドトラックを記憶するための手段５２２に接続され、サウンドトラックを記憶するための手段５２２の出力は、サンプリングレートコンバータ２３２の入力に接続される。
【００９５】
第１の特徴抽出器５５２の出力は、例えば、特徴分類器および特徴データベースを有する特徴を比較するための手段５５４の入力に接続され、特徴を比較するための手段５５４の出力は、タイマ５８２の入力に接続される。
【００９６】
タイマ５８２の出力は、タイムコードデータベースを有するタイムコード生成のための手段５８４の入力に、または、タイムコードデータベースに接続され、さらに、タイムコード生成のための手段５８４の出力は、タイムコード平滑化のための手段５８６の入力に接続され、タイムコード平滑化のための手段５８６は、タイムコード５９２を出力するように形成され、さらに、タイムコード平滑化のための手段５８６の出力は、ワードクロック信号５９４を出力するように形成されるワードクロック生成器５８８の入力に接続される。
【００９７】
オプションとして、フィルムイベントシステムの制御信号を生成するための装置は、さらに、第２のＡ／Ｄコンバータ５４４´に接続される第２のフィルムサウンドサンプラ５４２´を有し、第２のＡ／Ｄコンバータ５４４´は、第２の特徴抽出器５５２´と、第１のサンプリングレートに基づく第４の基準サウンド信号との相関のための第４の手段５６２´と、第２のサンプリングレートに基づく第５の基準サウンド信号との相関のための第５の手段５６４´と、第３のサンプリングレートに基づく第６の基準サウンド信号との相関のための第６の手段５６６´とに接続される。
【００９８】
相関のための第４の手段５６２´の出力と、相関のための第５の手段５６４´の出力と、相関のための第６の手段５６６´の出力とは、品質評価のための第２の手段５６８´の入力に接続され、品質評価のための第２の手段５６８´の出力は、オフセット補償のための手段５６９に接続され、別の出力はサンプリングレートコンバータ２３２の入力に接続され、さらに、オフセット補償のための手段５６９は、サンプラ選択のための手段５７０に接続される。
【００９９】
これにより、制御信号を生成するための装置が同期のために十分な時間を有するように、主サンプラとも呼ばれる第１のフィルムサウンドサンプラ５４２が配置される。したがって、第１のフィルムサウンドサンプラ５４２は、あらかじめ遅延された信号を供給する。同期時に、相関ウインドウ幅またはテストサウンド信号のセクションの幅が加算される。フィルムのスプール上の送り孔に基づいて、あらかじめの遅延のための時間差が正確に調整できる。３秒間が第１の基準として推奨される。
【０１００】
以下に、フィルムイベントシステムの制御信号を生成するための装置の実施の形態の動作モードについてより詳細に説明すると、第１のフィルムサウンドサンプラ５４２またはその信号処理チェーンによって生成されるテストサウンド信号に基づいて原理を説明するが、第２のオプション信号処理チェーンまたは第２のフィルムサウンドサンプラ５４２´によって生成されるテストサウンド信号の信号処理は、それぞれ、第１のものに対応しているので、単にオフセット補償のための手段５６９について詳細に説明する。
【０１０１】
第１のフィルムサウンドサンプラ５４２は、フィルムのサウンドトラックからサウンド信号を読み込むか、または、フィルムのサウンドトラックからサウンド信号をサンプリングして、この信号を第１のＡ／Ｄコンバータ５４４に送り、第１のＡ／Ｄコンバータ５４４は、第１のフィルムサウンドサンプラ５４２のサンプリングレートとサウンドトラックまたはフィルム情報を読み込むフィルムの再生速度とに基づくデジタルオーディ信号またはテストサウンド信号を生成するように形成される。
【０１０２】
テストサウンド信号２７０に基づいて、１つもしくは複数の特徴が抽出され、または、テスト指紋表示が形成される。特徴抽出または指紋表示それぞれに対して、例えば、スペクトル平坦性が特徴または指紋として用いられる。次に、テスト指紋表示は、特徴または指紋表示を比較するための手段５５４によって、基準指紋表示と比較され、上述のように、指紋表示は、指紋表示の時間曲線がフィルム情報の時間曲線に依存するように形成され、時間スケールは、特徴を比較するための手段５５４に記憶される基準指紋表示に関連付けられ、比較するための手段５５４は、テスト指紋表示と基準指紋表示および時間スケールとの比較に基づいて、フィルム内の位置を決定し、または、タイムコード信号５５４Ｚを生成するように形成される。
【０１０３】
記憶された基準サウンド信号２７４に基づいて、サンプリングレートコンバータは、わずかに異なるサンプリングレートで同じ信号を生成し、すなわち並列に形成される相関のための変形基準サウンド信号を生成する。これにより、変形基準サウンド信号がもとの基準サウンド信号と同じサンプリングレートを有する場合が含まれるので、図５の説明では、以下に一般に基準サウンド信号と呼ぶ名称を用いる。
【０１０４】
換言すれば、サンプリングレートコンバータ２３２は、３つの基準サウンド信号２７６または変形基準サウンド信号２７６を生成し、第１の基準サウンド信号は、第１のサンプリングレートに基づくもので、相関のための第１の手段５６２に供給され、第２の基準サウンド信号２７６は、第２のサンプリングレートに基づくもので、相関のための第２の手段５６４に供給され、さらに、第３の基準サウンド信号２７６は、第３のサンプリングレートに基づくもので、相関のための第３の手段５６６に供給される。サンプリングレートコンバータ２３２は、わずかにステップ状の信号を、異なるサンプリングレートで、相関または相関のための手段５６２、５６４、５６６に供給し、サンプリングレートは、常に、前に測定された最大ピークに依存して、相関からのノイズ値に調整される。各相関は、このサンプリングレートの変形基準サウンド信号を受信し、さらなる相関は、１段階低いさらなるわずかに低い変形基準サウンド信号を受信し、さらに、さらなる相関は、さらに高いステップ状のサンプリングレートを受信する。これにより、サンプリングレートコンバータが、アナログサウンド信号の速度変化に対して確実に同調または同期できるようになる。
【０１０５】
好ましくは、サウンドトラックを記憶するための手段５２２およびサンプリングレートコンバータ２３２は、高速フーリエ変換（ＦＦＴ）を介して少ない労力で大きな計算ウインドウを計算するために、２nのウインドウ幅を用いるように形成される。４つ以上の相関は、サウンドチェックの際の急な飛び越しを補償するために、並列で計算することができる。相関ウインドウは、大きい相関ピークを得るために大きく選択される。１つのサンプルまたはサンプル期間で相関ピークの検出精度を得るために、入力信号またはテストサウンド信号のオーバーサンプリングを用いることができる。
【０１０６】
サウンドトラックを記憶するための手段５２２は、相関ウインドウの長さがタイマ５８２が供給したタイムコード信号５８２Ｚに依存する基準サウンド信号を出力し、相関ウインドウは、テストサウンド信号を検索するサーチウインドウである。
【０１０７】
品質評価のための第１の手段５６８は、信号の相互相関の結果または信号量において最大値検索を実行し、さらに、他のピークと相互相関とを比較した相関ピークの高さに基づいて相互相関の結果の品質に重み付けし、または、ピーク対ノイズ距離に関して個々の相関の品質を決定するように、形成される。
【０１０８】
品質評価に基づいて、最良の品質係数または品質の基準サウンド信号が決定され、最良の品質または品質係数の基準サウンド信号のピークの位置に基づいて、サーチウインドウに関するピークのシフトが、決定され、さらに、例えば、測定されて実際に有効なタイムコード間のタイムコード差として、または、相対タイムコードとして出力される。
【０１０９】
品質評価の結果に基づいて、品質評価のための第１の手段５６８は、制御信号５６８Ａを、例えば、３つの信号値「０」、「＋１」、および「−１」だけを区別するサンプリングレートコンバータ２３２に送り、例えば、「０」については、最後のサンプリングレート変換または相関それぞれのサンプリングレートが維持され、これは、媒体サンプリングレートでの変形基準サウンド信号からの相関結果が、最も高い品質のものとして決定されているからであり、「＋１」については、サンプリングレートが最後のサンプリングレート変換または相関に関して１段階増加され、これは、最も高いサンプリングレートでの変形基準サウンド信号からの相関結果が、最も高い品質のものとして決定されているからであり、さらに、「−１」については、サンプリングレートが前のサンプリングレート変換または相関に関して１段階低減され、これは、テストサウンド信号と最も低い基準サンプリングレートの変形基準サウンド信号とからの相関が最もよい相関結果または最もよいピーク対ノイズ距離を有しているからである。
【０１１０】
換言すれば、（第１の、第２のまたは第３の）サンプリングレートで最もよい相関ピークが得られていることに基づいて、サンプリングレートコンバータは、例えば、サンプリングレートデルタ値によって増加されもしくは低減され、または、それがサンプリングレート変換を実行しないように制御される。
【０１１１】
これにより、相関は、２つの主な特徴をアドレッシングするように作用する。第１に、それぞれ、相関からのタイムコード差に基づく、フィルム内の位置の決定またはフィルム内の時間の決定であり、第２に、それぞれ、最適な基準サンプリングレートまたは基準サンプリングレートの最適なサンプリングレート変換を決定するために、再生速度の大きさの決定である。ここでは、サンプリングレートの適合または適合サンプル再生速度の生成により、それぞれ、改良された相関結果を可能にするので、時間決定またはフィルム内の位置の決定を向上し、さらに、同期および予測を向上する。
【０１１２】
図５の好適な実施の形態は、信号解析を介して特定の特徴を有する信号部分を検出し、同期中にこれらを抑制し、そのため、誤った検出もしくは同期を回避し、または、時間軸のランダムな変動を回避するように実行される。
【０１１３】
このような特徴は、例えば、信号成分のラウドネスまたは信号の「問題」であり、ＳＮＲ（Ｓ／Ｎ比）、ＰＮＲ（ピーク対ノイズ）、スペクトルパワーもしくはパワー密度スペクトル、スペクトル平坦性または時間シーケンスの平均化に基づいて、信号解析または問題のある成分の検出を行うことができる。
【０１１４】
ピークノイズ値またはピークノイズ距離の閾値を下回る場合、タイムコード差は、例えば、無効であるとして検出することができる。あるいは、ピークノイズ距離が同じようないくつかのピークが決定される場合、タイムコード差は、同様に無効であるとして検出することができる。
【０１１５】
さらに、静かな信号成分すなわち小さい振幅の信号成分の相関の品質は、デジタルサンプリング中の高い量子化ノイズによる大きい信号の相関の１つより低いので、静かな信号成分は、時間軸のランダムな変動を回避するために、閾値に基づいてまたは適合可能に抑制される。さらに、信号エネルギーは、さらなる品質特徴となる。
【０１１６】
別の例は、問題を抑制するが、これは、繰り返し信号成分により曖昧性を例えば誤った同期を回避するからである。
【０１１７】
問題のある信号成分または部分は、それぞれ、例えば、現在の相関の品質とは無関係にこれらの信号成分を抑制するために、メタデータとしてさらに目立たせることができる。
【０１１８】
タイムコード生成のための手段５８４は、タイマ５８２のタイムコード信号５８２Ｚに基づいて変換するように形成され、例えば、内部または独自のタイムコードに基づいて、標準化されたタイムコードまたは標準化されたタイムコードに基づくタイムコード信号に変換することができる。
【０１１９】
タイマ５８２は、内部クロック（相関の間隔または周波数）と、粗いオーディオＩＤ指紋または指紋表示、例えば特徴決定または指紋表示からのタイムコード信号５５４Ｚと、決定された相関差、例えばサンプラ選択のための手段５７０の相関から決定されるタイムコード差信号５７０Ｚとによって制御される。タイマは、相関信号（優先順位が最も高い）、特徴決定からのタイムコードおよび内部クロック（優先順位が最も低い）の優先順位付けを実行する必要がある。
【０１２０】
タイムコード平滑化のための手段５８６は、タイムコード信号５８４Ｚを平滑化して、例えば高く飛び越すタイムコードを回避し、または、例えば、アナログサウンドの中断を補償する相関からのタイムコードがない場合に役に立つ中間値を検出するように形成される。タイムコード平滑化のための手段５８６によって生成されるタイムコード信号５９２は、好ましくは、フィルムイベントシステムを同期または制御する標準化されたタイムコードである。しかしながら、タイムコード信号５９２は、備えられているサウンド再生システムがデジタルの場合、ゆっくりと調整する位相ロックループ（ＰＬＬ）を介して対応するサンプルクロックを生成するように用いることができる。このような位相ロックループは、完成品デバイスとして市販されているので、特許の主題ではない。
【０１２１】
オプションとして、投影レンズからの時間差オフセットを行う２つ以上のフィルムサンプラが、フィルムのダメージに対する頑強性を向上するために、または、不適当な部分の同期のために用いることができる。
【０１２２】
次に、例えば、第２のフィルムサウンドサンプラ５４２´を用いることができ、これは、第２のフィルムサウンドサンプラ５４２´が従来の映画システムにすでに存在しているからである。アナログサウンドの中断は、映画フィルム上の異なる位置に適用されるフィルムサウンドサンプラ５４２、５４２´によって、ここでつなぐことができ、これは、フィルムサウンドの中断が短いと、第１のフィルムサウンドサンプラ５４２または第２のフィルムサウンドサンプラ５４２´のいずれかの少なくとも１つのサンプラが相関および関連付けられた同期のために十分な信号を提供する確率が上がるからである。
【０１２３】
さらに、オプションとして、例えば、アナログサウンド、ドルビー（登録商標）・デジタルサウンド（デコーダを含む）、ＤＴＳデジタルサウンド（ＤＴＳデコーダを含む）または異なるサウンド用の異なるサンプラとともにこれらの組み合わせが、基準サウンドトラックおよび／またはテストサウンドトラックとして用いることができる。
【０１２４】
ここでは、個々のトラックは、自動的に、または、モノラルのダウンミックスと同様に生成された時間情報のメタデータを介して、平均化、多数決または優先順位付けを用いることによって比較に用いることができる。
【０１２５】
一般に、異なるサンプラは、異なるサウンドフォーマットおよび／または時間が異なるオフセットの異なるフィルムサンプラに用いることができる。
【０１２６】
モノラルのダウンミックスを用いることは、モノラルトラックが記憶されたサウンドトラックとして用いられる場合、記憶されるニーズが例えば５チャネルを記憶することに匹敵するという長所を有する。
【０１２７】
いくつかの記憶装置、すなわち複数のサウンドトラック、すなわちダウンミックスのないことは、全てのチャネルが互いに独立して記憶されることを意味し、次に、例えば、上述のように、対応する比較または多数決は、特定のチャネル、実際のサウンドトラックおよび記憶されたサウンドトラックの対応するチャネルを用いることによって、同期を実行するために実行される必要がある。
【０１２８】
初期設定段階つまり第１の同期および同期は、フィルム投影の際またはフィルムイベントシステムの同期の際に、２つの重要な段階からのサウンド中断の後である。
【０１２９】
したがって、好適な実施の形態は、はじめに４つ以上の並列相関を計算し、つまり、同期を実行しないので、これは、異なるサンプリングレートの４つ以上の基準サウンド信号が、テストサウンド信号の正確なサンプリングレートまたはサンプル速度をできるだけ速く決定するために、テストサウンド信号で比較されまたは相関されることを意味する。ここでは、異なるサンプリングレートは、相関のひとつが最もよい信号ノイズ距離となるまで、交互にテストされる。
【０１３０】
代わりにまたはさらに、第１の特徴抽出器５５２および特徴分類のための手段５５４は、例えば相関による第２のステップで、フィルムの位置の細かい決定または細かいタイムコード決定を実行するために、データベースとともに、フィルム内の粗い位置を定義する粗い絶対タイムコード値を提供する。同期が行われるとすぐに、３つの相関は、フィルム投影中のテストサウンド信号の再生速度の変化を同期するために用いることができる。
【０１３１】
フィルム内の位置または位置に関連付けられる時間が時間スケール（タイムコード）にそれぞれ関連付けられる精度は、基準サウンド信号のサンプリングレートおよびテストサウンド信号のサンプリングレートに依存し、サンプリングレートが高くなるほど、より正確なフィルム内の位置を決定することができる。しかしながら、サンプリングレートが低いことは、サンプル数が同じであると、基準サウンド信号またはテストサウンド信号のより長いセクションを表すことができるという長所がある。したがって、好適な実施の形態は、第１のステップにおいて、低いサンプリングレートの基準サウンド信号により、フィルムの長いセクションを表示することによって、フィルム内の位置の粗い決定を決定するように形成され、テストサウンド信号は、低いサンプリングレートでサンプリングすることによって得られる。次に、第２のステップでは、フィルム内の粗い位置に基づいて、高いサンプリングレートの基準サウンド信号および高いサンプリングレートのテストサウンド信号は、フィルム内の位置の細かい決定に用いられる。
【０１３２】
換言すれば、ウインドウの長さは、相関を行う際に適合される。高い時間精度を得るために信号のオーバーサンプリングを行っている場合であっても、検索のはじめは、タイミングは長いけれども信号のサンプリングレートを低くしたウインドウが用いられるが、時間がおおよそ検出され追従される場合は、短いウインドウが用いられる。
【０１３３】
初期設定段階では、例えば、「古い」オーディオフォーマットで「互換性のある再生」は、正確な位置が決定されるまでは実行できる。
【０１３４】
同様に、「古い」オーディオフォーマットで「互換性のある再生」は、同期が明らかにとれなくなった場合、もう一度正確な位置が決定されるまで実行できる。
【０１３５】
サンプラ選択のための手段５７０およびオフセット補償のための手段５６９は、２つ以上のフィルムサウンドサンプラを用いる実施の形態の場合にだけ必要となる。したがって、例えば、サンプラ選択のための手段５７０は、品質評価５６８Ｚのための第１の手段５６８の結果もしくはタイムコード差、または、品質評価のための第２の手段５６８´の結果もしくはタイムコード差５６８Ｚ´が、フィルム内の位置またはタイムコード５８２Ｚを決定するためのタイマ５８２に送られるかどうかを決定する。第２のフィルムサウンドサンプラ５４２´が、フィルムの異なる位置でテストサウンド信号をサンプリングするので、第１のフィルムサウンドサンプラ５４２がフィルムをサンプリングする位置と第２のフィルムサウンドサンプラ５４２´がフィルムをサンプリングする位置との間の差（オフセット）が、オフセット補償のための手段５６９によって補償され、これにより、タイマ５８２は、タイムコード差５６８Ｚまたはタイムコード差５６８Ｚ´が、タイマに記憶された、最後に記憶された時間または最後に記憶されたフィルムの位置に関して選択されるかどうかに関わらず、正確なタイムコード差５７０Ｚを得る。
【０１３６】
図５ａに示す実施の形態と異なり、異なる基準サンプリングレートの異なる基準サウンド信号は、連続して生成でき、さらに、テストサウンド信号の再生速度の大きさまたは最適な基準サンプリングレートを決定するために、テストサウンド信号と比較できまたは相関できる。代わりに、４つ以上の変形基準サウンド信号は、初期段階で高速同期を行うだけでなく、フィルムのカットまたはフィルムが部分的に失われていることによるフィルムの大きな飛び越しの後で、フィルム投影中のフィルムイベントシステムをフィルム内の現在の位置により素早く同期するために、並列または連続してテストサウンド信号と比較できる。
【０１３７】
図５に示す実施の形態と異なり、フィルムイベントシステムの同期は、特徴または指紋の評価と１つまたは複数の基準画像信号についてテスト画像信号の相関とのために、フィルムの映像に基づいて実行することができる。
【０１３８】
これにより、上述のように、オーディオ信号および／またはビデオ信号の相関は、オーディオおよび／またはビデオストリームの時間空間を決定するために用いることができ、同期再生は、この時間決定によって制御することができる。
【０１３９】
代わりに、オーディオＩＤ／ビデオＩＤ（ＩＤ＝識別）の形式の未加工素材からのオーディオおよび／またはビデオ署名の決定は、任意の位置で同期を可能にするために、長いＡＶストリームの時間を粗く決定するために用いることができる。
【０１４０】
本発明の基本アプローチは、相関および他の特徴決定を介してアナログサウンドトラックを有する映画フィルムに対して同期するために、既存のアナログサウンドをさらにデジタル形式で記憶することである。制御信号を生成するための装置または同期装置の出力信号または制御信号は、それぞれ、任意のタイムコードフォーマットとすることができる。好ましくは、ＳＭＰＴＥ標準化ＬＴＣタイムコードフォーマットが用いられる。各映画フィルムに、制作の際に、データセットは、制御信号を生成するための装置または同期装置のために生成する必要がある。
【０１４１】
制作の際に、個別のデータキャリアが、制御信号を生成するための上述の手段または同期装置用の各映画フィルムに生成される。データキャリアは、例えばフィルムのスプール上に検出できるドルビー（登録商標）・ステレオフォーマット等のデジタル化されたアナログサウンドトラック、サウンドトラックに対する特徴データおよび整合するタイムコードを含む。
【０１４２】
以下に、図５ｂ．１〜図５ｂ．４を参照して、タイムコード差の例示的な決定について説明する。
【０１４３】
図５ｂ．１は、すでに図８ですでに説明したように、サウンドトラック１１４を有する例示的なフィルム１１０を示す。
【０１４４】
タイマ５８２からのタイムコード信号５８２Ｚに基づいて、基準サウンド信号２７４がサウンドトラックを記憶するための手段５２２から読み出され、変形基準サウンド信号がサンプリングレートコンバータ２３２を介して図５ｂ．２に従って生成され、これは、位置Ｌ0から位置Ｌ3までのフィルムセクション、位置Ｌ0に関連付けられる時間Ｔ0、または、位置Ｌ3に関連付けられる、対応するタイムコードおよび時間Ｔ3もしくはタイムコードを表す。
【０１４５】
図５ｂ．３は、例示的なテストサウンド信号またはテストサウンド信号のセクションを示し、これは、開始時間Ｔ1および終了時間Ｔ2によって定義され、サンプリングレートｆ＝１／Δｔに基づいて生成されたものである。
【０１４６】
図５ｂ．４は、図５ｂ．２の変形基準サウンド信号と図５ｂ．３のテストサウンド信号セクションとの相関の結果を示す。図５ｂ．２のサーチウインドウまたは変形基準サウンド信号の開始時間Ｔ0とサーチウインドウまたは基準サウンド信号の時間Ｔ1との間の時間差ΔＴ´´＝Ｔ1−Ｔ0は、タイムシフトであり、これに基づいて、タイムコード差または相対タイムコードが形成される。これにより、時間Ｔ1は、時間またはテストサウンド信号のタイムシフトとなり、ｎ＝１１個のサンプル長の基準サウンド信号のセクションは、Ｎ＝１１個のサンプル長のテストサウンド信号または基準サウンド信号およびテストサウンド信号の相関と最大限に整合し、相関結果として最大を有する。
【０１４７】
これにより、絶対時間Ｔ0または時間Ｔ1の認識は、品質評価５６８に必要でなくなり、これは、例えば、タイマ５８２が、最後の絶対時間または絶対タイムコードをそれぞれ知り、さらに、更新した絶対時間またはタイムコードを決定するために、タイムコード差５７０Ｚだけを必要とするからである。例えば、サーチウインドウを開始する時間に関するピークの位置からの差を説明することができる。図５ｂ．４では、ピークは、例えば、第１のサンプルであり、すなわち、図５ｂ．３のテストサウンド信号は、図５ｂ．２の基準サウンド信号に対して「３・Δｔ」だけシフトし、Δｔは、変形サンプリングレートに対応するサンプリング期間である。
【０１４８】
したがって、タイムコード差５７０Ｚは、例えば、値ｎ＝３からなる。ここで、テストサウンド信号の可変再生速度にそれぞれ適合された基準サウンド信号のサンプリングレートまたは再生速度の長所には利点があり、これは、Δｔが再生速度に適合されるからであり、サーチウインドウに関するフィルムの位置またはオフセットのより正確な決定が基準サウンド信号の固定サンプリングレートと比較して可能になり、これは、このサンプリングレートの倍数だけがフィルム内の位置の決定のために生成されるからである。
【０１４９】
これにより、例えば、サーチウインドウまたは基準サウンド信号の時間Ｔ0は、フィルムが前に送られているので、前の相関の時間Ｔ1と等しくなる。
【０１５０】
図６ａは、フィルムシステムの実施の形態を示し、制御信号１９０を生成するための装置１００は、フィルムイベントシステム６００に結合され、これにより、図８に示すフィルム１１０に基づく制御信号を生成するための装置１００は、フィルムイベントシステム６００を同期する制御信号１９０、例えばタイムコードを生成する。
【０１５１】
図６ｂは、制御信号１９０を生成するための装置１００と例示的なフィルムイベントシステムとして波面合成システム６１０とを有するフィルムシステムを示し、波面合成システム６１０の実施の形態は、波面合成システムを制御するための手段６２０と、波面合成オーディオ信号用のデジタルメモリ６２２と、波面合成システム用の複数のスピーカ６２４とを備える。フィルム１１０またはアナログフィルムサウンドトラック１１４に基づいて、それぞれ、制御信号を生成するための手段１００は、リップシンクロ方法でもとのアナログサウンドトラックフィルムを用いて波面合成オーディオ体験を可能にするために制御信号を生成する。
【０１５２】
波面合成システム６１０の代わりとして、当然ながら、例えばデジタルオーディオシステムまたはデジタルサラウンドオーディオシステムなどの他のオーディオシステムは、リッピシンクロ方法で制御信号を生成するための装置１００を介して同期できる。
【０１５３】
図７は、図８に示すような例示的なフィルムと、例示的なデジタル的に記憶された基準サウンド信号７２０と、時間スケールの関連とを示す。
【０１５４】
記憶されたフィルム情報または基準サウンド信号を生成する場合、それぞれ、アナログサウンド信号が、所定の再生速度および所定のサンプリングレート、例えば４４．１ｋＨｚでサンプリングされ、例えば１０ミリ秒のサウンド部分が、いわゆるオーディオフレームとして記憶され、すなわちデジタル基準サウンド信号が、メモリ上に一連のオーディオフレームとして存在する。次に、時間スケールの関連付けられた時間は、例えば、タイムコードまたは時間スケールとして昇順で０または１から番号付けされるオーディオフレームにあり、タイムコードＴＣ１は、例えば、オーディオフレームの長さが１０ミリ秒の場合に第１のオーディオフレームが０ミリ秒または１０ミリ秒のいずれかであるように、タイムコードとしてオーディオフレームの開始時間または終了時間を検出するために、図１のオーディオフレームＡＦ１に対応している。
【０１５５】
通常、タイムコードは、時間：分：秒のフレームのようなフォーマットを有し、フレームは、通常、例えば１秒ごとに２４フレームのビデオフレーム（映画フィルム）と関係付けられている。
【０１５６】
したがって、時間スケールまたはタイムコードは、複数のオーディオフレームを１つのビデオフレームに関連付けることができ、または、最小の時間スケール単位としてオーディオフレームを定義することができる。
【０１５７】
それに対応して、タイムコードまたは時間スケールは、例えば、４つのオーディオフレームＡＦ１〜ＡＦ４を含む図７のＴＣ１´を参照して、４つのオーディオフレームを１つのタイムコードに関連付けることができ、または、１つのオーディオフレームＡＦ１が関連付けられる図７のＴＣ１を参照して、１つのオーディオフレームを１つのタイムコードに関連付けることができる。これにより、オーディオフォーマットに基づいて、オーディオフレームは、時間的に重なっているオーディオ信号の部分を表すこともできる。
【０１５８】
制御信号１９０は、例えば、タイムコードとしても一連のパルスとしても形成することができ、例えば、各パルスは、時間スケール単位に対応し、フィルムイベントシステムは、フィルムに同期するために、相対タイムコードに類似のパルスを蓄積する。
【０１５９】
さらなる実施の形態は、オーディオ信号および／またはビデオ信号に透かしを埋め込み、例えば、フォールバックとしてアナログサウンド信号をさらに有し、さらに、同期する別のサービス用のタイムコードを同時に実現するアプローチを提供する。このアプローチの長所は、「わかりにくい」オーディオ信号、例えば、非常に静かなシーケンスまたはよく似た「単調な」サウンドであっても、完全なクロック修復ができることである。この変形例として、基本的に、フルセットの適切な透かし部分が、特に、正確なクロックレートを検索しまたはサンプリングレートを再調整する領域において有益である。しかしながら、このアプローチの決定的な欠点は、透かしをオーディオ信号および／またはビデオ信号に埋め込むことができるようにするために、実際のフィルムを変更し、または、フィルムの新しいバージョンもしくはコピーを作成する必要があることである。
【０１６０】
状況によっては、本発明の方法は、ハードウェアまたはソフトウエアで実施することができる。この実施は、その方法が実行されるように、プログラム可能なコンピュータシステムと情報をやりとりする、電子的に読み取り可能な制御信号を有する、デジタル記憶媒体、特に、ディスクまたはＣＤ上で実行することができる。一般に、本発明は、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み取り可能なキャリアに記憶された本発明の方法を実行するためのプログラムコードを有するコンピュータプログラム製品にも存在する。したがって、言い換えると、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現することができる。
【図面の簡単な説明】
【０１６１】
【図１】図１は、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図である。
【図２ａ】図２ａは、相関を実行するための装置の実施の形態を示す基本ブロック図である。
【図２ｂ】図２ｂは、相関を実行するための装置の好適な実施の形態を示す基本ブロック図である。
【図２ｃ】図２ｃ．１は、フィルムの例示的なセクションを示す図であり、図２ｃ．２は、第１の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、図２ｃ．３は、第２の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、図２ｃ．４は、第３の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図である。
【図２ｄ（１）】図２ｄ．１は、フィルムの２つの例示的なセクションを示す図であり、図２ｄ．２は、フィルムの基準サウンド信号の例示的な曲線を示す図であり、図２ｄ．３は、フィルムのセクション用の第１の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、図２ｄ．４は、図２ｄ．２の基準サウンド信号と図２ｄ．３のテストサウンド信号との相関からの例示的な第１の相関結果を示す図である。
【図２ｄ（２）】図２ｄ．５は、図２ｄ．１のフィルムの２つの例示的なセクションを示す図であり、図２ｄ．６は、図２ｄ．２のフィルムの基準サウンド信号の例示的な曲線を示す図であり、図２ｄ．７は、フィルムのセクション用の第２の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、図２ｄ．８は、図２ｄ．６の基準サウンド信号と図２ｄ．７のテストサウンド信号との相関からの例示的な第２の相関結果を示す図である。
【図３ａ】図３ａは、指紋表示に基づくフィルム内の部分を決定するための装置の好適な実施の形態を示す基本ブロック図である。
【図３ｂ】図３ｂ．１は、フィルムの２つのセクションを示す図であり、図３ｂ．２は、図３ｂ．１の２つのセクション用の基準サウンド信号の例示的な曲線を示す図である。
【図４】図４は、位置の粗く後に細かい決定に基づくフィルム内の位置を決定するための装置の好適な実施の形態を示す基本ブロック図である。
【図５ａ】図５ａは、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図である。
【図５ｂ】図５ｂ．１は、フィルムの２つのセクションを示す図であり、図５ｂ．２は、フィルムの第１のセクション用の基準サウンド信号の例示的な曲線を示す図であり、図５ｂ．３は、フィルムの第２のセクション用のテストサウンド信号の例示的な曲線を示す図であり、図５ｂ．４は、図５ｂ．２の基準サウンド信号と図５ｂ．３のテストサウンド信号との相関からの例示的な相関結果を示す図である。
【図６ａ】図６ａは、フィルムイベントシステム用の制御信号を生成するための装置およびフィルムイベントシステムを有する例示的なフィルムプロジェクションシステムを示す基本ブロック図である。
【図６ｂ】図６ｂは、例示的なオーディオフィルムイベントシステムを有する制御信号を生成するための装置を有する例示的なフィルムプロジェクションシステムを示す基本ブロック図である。
【図７】図７は、１つのフィルム情報に対する時間スケールの例示的な関連を示す概略図である。
【図８】図８は、適用されたフィルム情報を有する例示的なフィルムを示す概略図である。
【技術分野】
【０００１】
本発明は、例えばフィルムイベントと画像再生とを同期するために、時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置および方法に関する。
【背景技術】
【０００２】
オーディオビデオデータが、データキャリアすなわちフィルムもしくはテープに、または、送信チャネルすなわち無線もしくは電話に、固定フォーマットで記憶されると、新規のオーディオフォーマットによる拡張、または、他の同期付加サービスもしくは字幕等の画像同期付加サービスを行うことができなくなる。したがって、例えば新しいオーディオフォーマットの導入に伴って、新しいオーディオフォーマットを有する新しいデータキャリアまたはフィルムコピーを生成する必要がある。
【０００３】
図８は、例示的なフィルム１１０を示す。それぞれ「フレーム」または「ビデオフレーム」と呼ばれるビデオ情報または画像１１２等のフィルム情報と、オーディオ情報、または、複数のアナログもしくはデジタルのサウンドトラック１１４とは、再生する間、空間シーケンスまたは時間シーケンスで適用され、デジタルサウンドトラックは、デジタルの場合に「オーディオフレーム」を有する。さらに、フィルム１１０は、例えばフィルムを再生する際に用いられる送り孔１１６を有する。
【０００４】
基本的に、補足情報を同期するための方法として、２つの方法が知られている。
【０００５】
第１の方法は、映画サウンド用のＤＴＳ（デジタル・シアター・システム）等を用いて、タイムコードをデータキャリアに記憶し、または、オーディオ信号に接続される別のチャネルに記憶することである。ここでの例としては、ＤＡＢおよびｍｐ３による補助データがある。タイムコードは、ＤＴＳを用いて外部データキャリア例えばＣＤからサウンドまたは付加情報を同期して再生するために用いられる。しかしながら、この方法には、フォーマットを追加するたびに、データキャリアまたは送信チャネルにさらなるスペースが必要となるという欠点があり、このスペースは利用できない場合がある。フィルムには、例えば、アナログサウンド、ドルビー（登録商標）・デジタル、ＤＴＳ、ＳＤＤＳ（ソニー（登録商標）・ダイナミック・デジタル・サウンド）用のトラックがある。しかしながら、独自のフォーマットなので、ある拡張のタイムコードを別の拡張に利用できないようになっている。拡張の際に、互いに干渉を引き起こしてしまうことが避けられず、一例として、ＭＰ３の補助データを、付加情報および帯域幅拡張用に様々な製造業者で用いていることがあげられる。
【０００６】
第２の方法は、例えば、ＩＯＳＯＮＯ（登録商標）・システムを備えるプロトタイプ映画で用いられるように、タイムコードを記憶するためにアナログサウンドトラックの不適切な使用に基づいている。しかしながら、この方法の欠点は、アナログトラックが全てのシステムに存在するので、他のシステムと干渉する際のフォールバックソリューションとしてしばしば用いられることであり、このことは、アナログトラックを誤用すると、フォールバックの可能性を妨げてしまうことを意味している。大部分の映画に備えられているアナログトラックへの自動切り替えを行うことにより、ドルビー（登録商標）・デジタルまたはＤＴＳ用の「最新の」トラックに信号がまったくない場合に、タイムコードがアナログ信号として再生されてしまう。したがって、プロトタイプ映画では、以下で説明する純粋な波面合成再生の間、冗長なアナログ再生をマニュアルで切り替える必要があり、なぜなら、これを行わないと、タイムコードが、冗長なさらなるスピーカを介して聞こえてしまうからである。
【０００７】
音響波面合成、略してＷＦＳは、フォーマット・ドルビー（登録商標）、ＳＤＤＳまたはＤＴＳのサラウンドアプローチを超えている。ＷＦＳでは、サウンドを構成する実際の状況での空気の振動を、空間全体にわたって再生することを試みている。もとの音源の位置のマッピングがスピーカ間の線上に限定されている２つ以上のスピーカにわたって再生を行う従来のものとは逆に、波面合成とは、もとの音源に対して忠実な全音場を空間に伝達することである。このことは、仮想音源を正確に空間的に配置することができ、あたかも空間内にいるように感じられるので、音源で取り囲むことが可能であるということを意味する。映画システムでは２００個までのスピーカを用い、シアターサウンドシステムでは９００個までのスピーカを用いるシステムが、すでに実現している。
【０００８】
波面合成は、ホイヘンスの原理に基づき、つまり、波面上の各点を基本球面波の開始点として考えることができると言える。全ての基本波が干渉することにより、新しい波面が発生し、これはもとの波と全く同じものである。
【０００９】
このようなサウンドシステムは、ＩＯＳＯＮＯ（登録商標）という名称の下にフラウンホッファー・デジタルメディア技術研究所で開発され、イルメナウ映画館で用いられている。
【００１０】
したがって、イルメナウ映画館は、波面合成が２つのモードで実行されている実例といえる。
【００１１】
第１のモードでは、映画が「実際の」波面合成システムとして実行されている。第２の「不適切な」方法に関して上述したように、タイムコードが３５ｍｍフィルムのアナログトラックに記憶され、ＷＦＳサウンドがハードディスクまたはＤＶＤ等の外部媒体から再生される。
【００１２】
「互換性のある再生」である第２のモードでは、各３５ｍｍフィルムに記憶されたサウンドが、ドルビー（登録商標）・プロセッサによって、読み出されて復号化され、または、ＤＴＳもしくはＳＤＤＳを用いることもでき、必要な場合、ドルビー（登録商標）・プロセッサを自動的にアナログトラックに切り替えて、ＷＦＳを介して発生するマルチチャネル信号を仮想スピーカにマッピングする。
【００１３】
２つのモードには異なる信号経路が必要なので、アナログ信号用の読み取りヘッドから送られてくる信号を分割することを必要とし、このことが、さらに技術的労力をもたらすことになる。
【００１４】
したがって、要約すると、映画フィルムの現在のスプールに、例えば外部サウンドシステムまたは字幕システム用のさらなる同期トラックを付け加える余地はないと言える。これまで利用できるアナログおよびデジタルの全ての映画サウンドシステムでは、サウンドトラックを、フィルムのスプール上の１つもしくは複数のサウンドトラックを介して直接に得るか、またはフィルムのスプール上の製造業者固有のタイムコード信号によって得る。このことは、すでに説明した２つの周知のアプローチでは、フィルムの新しいコピーを作成する必要があり、通常膨大な費用がかかるということを意味する。ドルビー（登録商標）・デジタルおよびＳＤＤＳのようなオーディオフォーマットにより、最新のオーディオを体験できるものの、例えば、字幕またはフィルムサウンドレコーディングの外国語バージョンと同期するタイムコードはまだない。
【００１５】
このため、フランク・ジョーダン（Ｆｒａｎｋ Ｊｏｒｄａｎ）およびジェスパー・ダノウ（Ｊｅｓｐｅｒ Ｄａｎｎｏｗ）の文献「アナログ音源からのタイムコード情報の生成（Ｇｅｎｅｒａｔｉｎｇ Ｔｉｍｅｃｏｄｅ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ Ａｎａｌｏｇ Ｓｏｕｒｃｅｓ）」、第１１８回音声工学学会大会、大会論文６４７３、２００５年５月２８日〜３１日、スペイン、バルセロナには、アナログサウンドトラックに基づいてタイムコードを生成することが提案されている。この文献には、プロジェクタのアナログサウンドトラックに付けられている「Ｓｏｕｎｄｔｉｔｌｅｓ」という名称のシステムが記載されている。サウンドトラックの編集デジタルコピーと、フィルムプロジェクタのアナログ信号とに基づいて、時間情報またはタイムコードが相互相関によって決定される。システム「Ｓｏｕｎｄｔｉｔｌｅｓ」は、３つのコンポーネントから構成されている。コアモジュール「Ｓｙｎｃ Ｔｒａｃｋｅｒ」が、タイムコード信号を生成する。第２のモジュール「Ｓｙｎｃ Ｐｌａｙｅｒ」が、例えばビーマを用いて投影された字幕を生成する。第３のモジュール「Ｃｌｉｐ Ｐｌａｙｅｒ」が、ワイヤレスヘッドフォンを介して映画観客に伝えられる同期オーディオクリップを再生する。
【００１６】
前述の従来技術の欠点は、フィルム内の同期および時間決定が、その文献に記載のように、例えば１分間のサーチウインドウに限定されていることである。しかしながら、特にフィルムの初期段階では、良好な同期のための正しいウインドウを定義しまたは決定することが困難である。フィルムから読み込まれまたはサンプリングされる部分が、同期に用いられる記憶されたフィルム情報の部分内にない場合、同期がとれないままであり、または、誤った同期が起こる。この場合、映画観客は、フィルムに対してサウンドを聞かないかまたは誤ったサウンドを聞くことになる。
【００１７】
【非特許文献１】フランク・ジョーダン（Ｆｒａｎｋ Ｊｏｒｄａｎ）およびジェスパー・ダノウ（Ｊｅｓｐｅｒ Ｄａｎｎｏｗ）の文献「アナログ音源からのタイムコード情報の生成（Ｇｅｎｅｒａｔｉｎｇ Ｔｉｍｅｃｏｄｅ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ Ａｎａｌｏｇ Ｓｏｕｒｃｅｓ）」、第１１８回音声工学学会大会、大会論文６４７３、２００５年５月２８日〜３１日、スペイン、バルセロナ
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の目的は、フィルム内の位置を決定する効率的な概念を提供することである。
【課題を解決するための手段】
【００１９】
この目的は、請求項１に記載のフィルム内の位置を決定するための装置、請求項２０に記載のフィルム内の位置を決定するための方法、および請求項２１に記載のコンピュータプログラムによって達成される。
【００２０】
本発明は、フィルムの各位置が一般にこの位置に特有のフィルム情報を含むという知見に基づいており、フィルムの特徴抽出において異なる位置は、特徴の異なる特有の出現を含む。換言すれば、フィルムの異なる位置は、異なる「指紋」を含む。これらの指紋は、次々に、フィルム内の位置を決定するために用いることができる。
【００２１】
本発明によれば、時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置が提供され、この装置は、フィルム情報の基準指紋表示（ＦＡＤ、ＦＡＤ＝Ｆｉｎｇｅｒａｂｄｒｕｃｋｄａｒｓｔｅｌｌｕｎｇ＝指紋表示）を記憶するためのメモリであって、指紋表示は、指紋表示の時間的コースがフィルム情報の時間的コースに依存するように形成され、時間スケールが、記憶された基準指紋表示に関連付けられる、メモリと、フィルムから読み込まれる部分を受信するための手段と、読み込まれた部分からテスト指紋表示を抽出するための手段と、比較および時間スケールに基づいてフィルム内の位置を決定するために、テスト指紋表示と基準指紋表示とを比較するための手段とを備える。
【００２２】
フィルム内の位置を決定するための装置および方法は、フィルム自体を準備しまたは変更する必要なしに、どの時点でもフィルム内のどの位置でも決定することを可能にする。関連した時間情報、時間スケールは、フィルムの記憶されたバージョンとともに記憶される。ここでは、フィルムは、特徴抽出に対応する基準指紋表示の形式で記憶される。したがって、必要なメモリ空間、また演算パワーおよび／または位置を決定する期間も、低減することができる。
【００２３】
フィルム内の位置を決定するための装置および方法は、例えば、フィルムイベントと画像再生とを同期するフィルムイベントシステム用の制御信号を生成するための装置に用いられてもよい。フィルムイベントの例としては、オーディオサウンド、字幕および特殊効果があげられ、特殊効果としては、例えば、空気の流れ、映画館のいすの揺れ、におい、または、側壁および背壁に対する照明効果が含まれてもよい。ここでは、オーディオ結果に関して、もとのバージョンと他の言語への翻訳とを同時に再生する等の２つの異なる言語とともに、波面合成のようなデジタルサラウンドシステムの同期のように、異なるオーディオ技術が可能である。ここでは、位置を決定するための装置または方法は、特に、悪い条件下でも、最適な同期および／またはフィルム内の位置の決定を保証するように、フィルムの開始段階での同期に働くとともに、例えば、フィルム再生中の飛び越しに対して高い許容範囲をもたらす。
【００２４】
上記および以下の例で、映画ファンまたはフィルムについて述べる場合、本発明は、映画ファンが見る映画フィルムに限定されず、磁気テープまたはハードドライブのように、フィルムまたは他のデータキャリアおよびメモリ媒体に記憶されたフィルム情報であるかどうかに関わらず、一般に、フィルムまたはオーディオビジュアル信号に関する。さらに、本発明は、ビデオのない純粋なサウンドシステムに用いることができ、または、例えば、ビデオＩＤを介して、サウンドのない純粋なビデオ素材と任意のイベントとの同期のために用いることができる。
【００２５】
本発明の好適な実施の形態が添付図面を参照して以下に説明される。これらの図面としては：
図１は、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図であり、
図２ａは、相関を実行するための装置の実施の形態を示す基本ブロック図であり、
図２ｂは、相関を実行するための装置の好適な実施の形態を示す基本ブロック図であり、
図２ｃ．１は、フィルムの例示的なセクションを示す図であり、
図２ｃ．２は、第１の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、
図２ｃ．３は、第２の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、
図２ｃ．４は、第３の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、
図２ｄ．１は、フィルムの２つの例示的なセクションを示す図であり、
図２ｄ．２は、フィルムの基準サウンド信号の例示的な曲線を示す図であり、
図２ｄ．３は、フィルムのセクション用の第１の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、
図２ｄ．４は、図２ｄ．２の基準サウンド信号と図２ｄ．３のテストサウンド信号との相関からの例示的な第１の相関結果を示す図であり、
図２ｄ．５は、図２ｄ．１のフィルムの２つの例示的なセクションを示す図であり、
図２ｄ．６は、図２ｄ．２のフィルムの基準サウンド信号の例示的な曲線を示す図であり、
図２ｄ．７は、フィルムのセクション用の第２の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、
図２ｄ．８は、図２ｄ．６の基準サウンド信号と図２ｄ．７のテストサウンド信号との相関からの例示的な第２の相関結果を示す図であり、
図３ａは、指紋表示に基づくフィルム内の部分を決定するための装置の好適な実施の形態を示す基本ブロック図であり、
図３ｂ．１は、フィルムの２つのセクションを示す図であり、
図３ｂ．２は、図３ｂ．１の２つのセクション用の基準サウンド信号の例示的な曲線を示す図であり、
図４は、位置の粗く後に細かい決定に基づくフィルム内の位置を決定するための装置の好適な実施の形態を示す基本ブロック図であり、
図５ａは、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図であり、
図５ｂ．１は、フィルムの２つのセクションを示す図であり、
図５ｂ．２は、フィルムの第１のセクション用の基準サウンド信号の例示的な曲線を示す図であり、
図５ｂ．３は、フィルムの第２のセクション用のテストサウンド信号の例示的な曲線を示す図であり、
図５ｂ．４は、図５ｂ．２の基準サウンド信号と図５ｂ．３のテストサウンド信号との相関からの例示的な相関結果を示す図であり、
図６ａは、フィルムイベントシステム用の制御信号を生成するための装置およびフィルムイベントシステムを有する例示的なフィルムプロジェクションシステムを示す基本ブロック図であり、
図６ｂは、例示的なオーディオフィルムイベントシステムを有する制御信号を生成するための装置を有する例示的なフィルムプロジェクションシステムを示す基本ブロック図であり、
図７は、１つのフィルム情報に対する時間スケールの例示的な関連を示す概略図であり、
図８は、適用されたフィルム情報を有する例示的なフィルムを示す概略図である。
【００２６】
本発明または好適な実施の形態についての以下の説明では、同じ参照番号を類似のまたは同じ構成要素に用いる。
【００２７】
以下に、フィルムに適用されるサウンド信号をフィルム情報として用いる実施の形態に関して、本発明をより詳細に説明する。しかしながら、本発明はこれに限定されるものではなく、これは単に説明するためのものである。
【発明を実施するための最良の形態】
【００２８】
図１は、フィルムイベントシステム用の制御信号を生成するための装置の基本ブロック図および図８に関して説明した例示的なフィルム１１０を示し、制御信号を生成するための装置は、フィルム情報を記憶するための手段１２０と、フィルムから読み込まれるセクションを受信するための手段１４０と、読み込まれたセクションと記憶されたフィルム情報１１２、１１４とを比較するための手段１６０と、比較と時間スケールとに基づく制御信号を決定するための手段１８０とを備える。
【００２９】
記憶されたビデオ情報１１２、１１４は、それぞれ、例えば、サウンド信号もしくはオーディオ信号、画像信号もしくはビデオ信号、または、例えば開口部が開く場所、サウンドが再生される時刻もしくはフィルムを停止する時刻を決定するフィルム上に現在見られる表示を含む。記憶されたオーディオ信号および／またはビデオ信号は、例えばデジタル化された形式であり、好ましくは必要メモリを低減する圧縮形式である。
【００３０】
デジタル化された記憶装置の長所は、シンプルなことであり、特に、フィルム情報の記憶された画像の再現性にエラーがないことである。
【００３１】
従来のシステムとは逆に、上述のように、フィルムはそのままで、フィルム情報の記憶された画像は例えばフィルムを作成する際に１回だけ生成される。
【００３２】
例えば、フィルムプロジェクタ等のフィルム再生装置を介してフィルムを再生する場合、サウンドトラック１１４に含まれるサウンド信号は、受信するための手段１４０で受信され、比較するための手段１６０で編集され、例えば、所定のサンプリングレートでサンプリングされ、所定の長さまたは所定の数のサンプリングレートのセクションとして送られる。
【００３３】
手段１６０は、このフィルムから読み込まれるセクションと記憶されたフィルム情報とを比較するように形成され、比較するための手段１６０は、読み込まれたセクションと記憶された全情報とを比較するように形成できるが、好ましくは、計算労力を最小にするために、読み込まれたセクションと記憶されたフィルム情報のセクションとを比較するように形成される。比較は、例えば、相互相関を介しても、差を計算することを介しても、例えば、圧縮されたハッシュ合計を計算し、データベースでこれを検索することによって、行うことができる。比較は、サウンド信号だけに基づいて、ビデオ信号だけに基づいて、サウンド信号およびビデオ信号の比較に基づいて、そのほかに上述の特徴の評価の組み合わせに基づいて行うことができる。比較するための手段１６０の比較結果および時間スケールに基づいて、決定するための手段１８０は、制御信号１９０を決定する。フィルムイベントシステムは、制御信号１９０を介して制御され、例えば、再生フィルム１１０に時間的に同期して制御信号１９０に基づくＷＦＳサウンド信号または字幕を生成する。これにより、制御信号を生成するための装置または特に制御信号を決定するための手段１８０は、制御信号がＳＭＰＴＥ（映画テレビ技術者協会）に準拠して標準化されたＬＴＣタイムコードフォーマット（ＬＴＣ＝水平タイムコード）等の独自のまたは標準化された任意のタイムコードフォーマットであるように形成できる。
【００３４】
時間的に同期とは、フィルムイベントシステムが、制御信号１９０に基づいて、再生されたばかりのフィルムの位置の時間スケール上の時間に対応する同時イベントを生成するということを意味し、同時イベントには、時間スケール上の時間が、記憶されたフィルム情報に関連付けられる。
【００３５】
これにより、説明した実施の形態とは異なり、フィルムプロジェクタの代わりに、任意のフィルム再生装置を用いることができ、（例えばビデオ情報に基づく同期を有する）サイレントフィルム等の任意のフィルムフォーマット、アナログもしくはデジタルのサウンドトラックを有するフィルム、１本のサウンドトラックもしくは数本の並列のサウンドトラックを用いることができ、または、フィルムの代わりに、テープもしくはハードドライブ等の任意の他のメモリ媒体を用いることができ、そのフォーマットが変更できないか変更されてはいけなく、例えば将来のフィルム再生装置と互換性はあるが、他のフィルムイベントが同時に同期される必要があるもの等がある。
【００３６】
好適な実施の形態では、サウンド信号が、同期のためのフィルム情報として用いられる。これにより、フィルムから読み込まれるセクションは、テストサウンド信号を生成するために、以下にテストサンプリングレートという所定のサンプリングレートでサンプリングされ、さらに、フィルム情報はデジタル形式で記憶され、記憶されたフィルム情報は以下で基準信号といい、テストサウンド信号および基準サウンド信号は、相互相関を介して比較するための手段１６０で比較される。
【００３７】
一実施の形態では、テスト信号サンプリングレートおよび基準信号サンプリングレートは、変わらない、すなわち一定である。比較するための手段１６０は、例えば、最初に第１のテストサウンド信号および第１の基準サウンド信号に基づく第１の相関結果を生成し、１回目の時間スケールを決定し、次に第２のテストサウンド信号および第２の基準サウンド信号に基づく第２の相関結果を生成し、例えば時間差もしくは再生速度を決定するための、または、ターゲット再生速度もしくは基準再生速度と比較して速度差を決定するための２回目の時間スケールを決定するように、形成できる。このことに基づいて、決定するための手段１８０は、例えば、フィルムイベントシステムを同期するための制御信号を決定する。
【００３８】
しかしながら、一定サンプリングレートの欠点は、相関結果がテスト再生速度の変化で低下するので、時間またはフィルム内の位置を決定する精度がさらに不正確になり、同期が低下することである。この欠点は、テストサンプリングレートおよび／または基準サンプリングレートを意味するサンプリングレートを変えることによって補償できる。
【００３９】
図２は、可変再生速度で再生可能なテストサウンド信号とテストサウンド信号のデジタル的に記憶されたバージョンである基準サウンド信号との間の相関を実行するための装置の基本ブロック図を示し、相関を実行するための装置は、テスト再生速度の大きさを決定するための手段２１０と、テストサンプリングレートまたは基準サンプリングレートを変更するための手段２３０と、比較するための手段２５０とを備える。手段２３０は、テストサンプリングレートを変更するように形成される。手段２３０は、変形テスト信号２７２を生成するために、または、基準サウンド信号２７４に基づく変形基準サウンド信号を生成するように基準サンプリングレートを変更するために、テストサウンド信号２７０がサンプリングされることによって、テストサンプリングレートを変更するように形成される。さらに、変更するための手段２３０は、テストサウンド信号に関連付けられるテスト再生速度もしくは変形基準サウンド信号２７６に関連付けられる基準再生速度との間のずれが低減されるように、または、変形テストサウンド信号２７２に関連付けられるテスト再生速度と基準サウンド信号２７４に関連付けられる基準再生速度との間のずれが低減されるように、または、変形テストサウンド信号２７２に関連付けられるテスト再生速度と変形基準サウンド信号２７６に関連付けられる基準再生速度との間のずれが低減されるように、テストサンプリングレートまたは基準サンプリングレートを変更するように形成され、定期再生速度または可変再生速度の問題について、それぞれ以下により詳細に説明する。
【００４０】
変形サウンド信号２７２および基準サウンド信号２７４を比較し、または、テストサウンド信号２７０および変形基準サウンド信号２７６を比較し、または、変形テストサウンド信号２７２および変形基準サウンド信号２７６を比較するための手段２５０は、相関の結果２７８を決定するように形成される。
【００４１】
図２ａに示す相関を実行するための装置の実施の形態は、例えば図１に示すように、フィルムイベントシステムの制御信号を生成するための装置における比較するための手段１６０として用いることができる。
【００４２】
図２ｂは、テストサウンド信号および基準サウンド信号の間の相関を実行するための装置の好適な実施の形態の基本ブロック図を示す。
【００４３】
図２ｂは、テストサウンド信号２７０のデジタルバージョンである基準サウンド信号２７４を記憶するための手段２８０を示し、基準サウンド信号２７４は所定のメモリ基準再生速度およびメモリ基準サンプリングレートに基づいて以前に生成されている。
【００４４】
テストサウンド信号は、テストサウンド信号２７０を生成するために、可変テスト再生速度で再生され、テストサンプリングレートでサンプリングされる。
【００４５】
テストサウンド信号２７０のテスト再生速度の大きさを決定するための手段２１０は、テスト再生速度の大きさに基づいて、変更するための手段２３０を制御する。変更するための手段２３０は、基準またはサンプリングレートコンバータ２３２および可変サンプラ２３４を制御し、サンプリングレートコンバータ２３２は、メモリ基準再生速度およびメモリ基準サンプリングレートに基づく基準サウンド信号を、異なるメモリ基準サンプル速度および／またはメモリ基準サンプリングレートに基づく基準サウンド信号に対応する変形基準サウンド信号２７６に変換するように形成され、そして、可変サンプラ２３４は、変形テストサウンド信号２７２を生成するために、標準または基本サンプリングレートと異なる変更されたサンプリングレートでテストサウンド信号をサンプリングするように形成される。
【００４６】
図２ｂとは異なって、相関を実行するための装置は、テストサウンド信号２７０が可変サンプラ２３４を介して比較するための手段２５０に常に供給されるように形成でき、次に、可変サンプラ２３４は、可変テストサンプリングレートの１つが標準または基本サンプリングレートに対応するように形成され、さらに、可変サンプラ２３４は、基準サウンド信号２７４が基準サンプリングレートコンバータ２３２を介して比較するための手段２５０に常に供給されるように形成され、基準サンプリングレートコンバータ２３２は、基準サウンド信号２７４を変形しないように比較するための手段２５０に送り、変更するための手段２３０によってそれぞれ制御をともなうように形成される。
【００４７】
図２ｂで選択された、変形テストサウンド信号２７２と比較されるテストサウンド信号２７０と、変形基準サウンド信号２７６と比較される基準サウンド信号とを、別々に、比較するための手段２５０に供給する表現は、実施の形態または実現可能性の別のものを説明するためのものである。
【００４８】
したがって、例えば、比較するための手段２５０が変形テストサウンド信号２７２と非変形基準サウンド信号２７４とを比較するように形成される一実施の形態では、基準サンプリングレートコンバータ２３４が必要とされないか、または、図２ｂの相関を実施するための装置が基準サンプリングレートコンバータ２３２を有していない。同様に、非変形テストサウンド信号２７０と変形基準サウンド信号２７６とを比較するように形成される比較するための手段２５０は、可変サンプラ２３４を有していない。
【００４９】
さらなる実施の形態では、記憶するための手段２８０は、フィルム情報を記憶するための手段であり、時間スケールが、記憶されたフィルム情報に関連付けられ、さらに、テストサウンド信号２７０が、例えば、フィルムサウンド信号である。次に、図２ｂの相関を実行するための装置は、例えば、図１の比較するための手段１６０として用いることができる。
【００５０】
図２ｃ．１は、図１において上述したようなサウンドトラック１１４を有する例示的なフィルム１１０のセクションを示す。図２ｃ．１では、フィルム１１０の２つの位置を示し、第１の位置を位置Ｌ1と呼び、第２の位置を位置Ｌ2と呼ぶ。２つの位置Ｌ1およびＬ2は、ΔＬ＝Ｌ1−Ｌ2の長さを有するフィルム１１０上のセクションを定義する。
【００５１】
図２ｃ．２は、図２ｃ．１に示す位置Ｌ1およびＬ2の間のセクションに関連付けられるテストサウンド信号の例示的な曲線を示し、また、フィルムの位置Ｌ1が再生される時間を時間Ｔ1と呼び、フィルムの位置Ｌ2が再生される時間を時間Ｔ2と呼ぶ。時間間隔ΔＴ＝Ｔ1−Ｔ2は、それぞれのセクションの長さとフィルムの再生速度ｖとに依存する。次の式
ΔＴ＝ΔＬ／ｖ、または、
Ｔ2−Ｔ1＝（Ｌ2−Ｌ1）／ｖ
が当てはまる。
【００５２】
テストサウンド信号をサンプリングレートｆ＝１／Δｔでサンプリングする場合、Δｔはサンプル期間でありΔＴ＝ｎ・ΔＴとなり、テストサウンド信号は、ｎ＝１０として図２ｃ．２に例示的に示すように、一連のｎ＋１個のサンプルで示すことができる。
【００５３】
再生速度ｖおよびサンプリングレートｆ＝１／Δｔでフィルムを再生する場合、Ｌ1およびＬ2の間またはＴ1およびＴ2の間のフィルムのセクションは、例えばｎ個の時間間隔で分割され、または、ｎ＋１個のサンプルで表される。次の式が
ｎ＝ΔＬ／（Δｔ・ｖ）、または
ｎ＝ΔＬ・ｆ／ｖ
がそれぞれ当てはまる。
【００５４】
このことは、フィルムの所定のセクションΔＬに対するサンプル期間の数またはサンプルの数が、サンプリングレートｆに比例し、または、サンプル期間Δｔに反比例し、再生速度ｖに反比例することを意味する。換言すれば、ｎまたはサンプルの数ｎ＋１が一定である場合、一定の長さΔＬのセクションにおいて、商「ｆ／ｖ」または積「Δｔ・ｖ」が一定である必要がある。
【００５５】
その場合、最初のサンプルが等しければ、個々のサンプルは上述の条件下で等しくなる。
【００５６】
それに対応して、メモリサンプリングレートｆmemoryおよびメモリ再生速度ｖmemoryにおいて、記憶されたフィルム情報または基準サウンド信号を生成する場合、記憶されたフィルム情報のセクションまたはテストサウンド信号が、例えば、ｎmemory＋１個の基準サンプルで表され、記憶される。
【００５７】
事実を例示するために、図２ｃ．２〜図２ｃ．４は、一定サンプリングレートｆまたは一定サンプル期間Δｔと可変サンプル速度とでの位置Ｌ1およびＬ2の間のフィルムセクションの例示的なサンプルまたは記憶を示し、図２．ｃ２は、第１の再生速度ｖ1での例示的なサンプリングまたは記憶を示し、図２ｃ．３は、第２の再生速度ｖ2によるフィルムの同じセクションのサンプリングまたは記憶を示し、図２ｃ．４は、第３のサンプル速度ｖ3でのフィルムの同じセクションのサンプリングを示す。これにより、この例では、ｖ1は、ｖ2の半分であり、かつ、ｖ3の２倍であり、ｖ1＝ｖ2／２およびｖ1＝２ｖ3である。
【００５８】
図２ｃ．２〜図２ｃ．４に示す３つのサウンド信号は、全て、位置Ｌ1または対応する時間Ｔ1で同じサンプルを有している。したがって、それに対応して、図２ｃ．２〜図２ｃ．４に例示的に示すように、図２ｃ．２において記憶された画像情報または基準サウンド信号はｎ1＋１＝１１個のサンプルで表され、図２ｃ．３においてフィルムの同じセクションはｎ2＋１＝６個のサンプルで表され、図２ｃ．４においてフィルムの同じセクションはｎ3＋１＝２１個のサンプルで表される。
【００５９】
図２ｃ．２〜図２ｃ．４からわかるように、一定サンプリングレートでは、再生速度ｖの増加がサウンド信号の時間圧縮に対応し、すなわち、図２ｃ．２の再生速度ｖ1が２倍になると、図２ｃ．３に示すように、Ｔ2−Ｔ1およびｎが２分の１になり、さらに、サウンド信号の時間延長に対して再生速度ｖが遅くなり、すなわち、図２ｃ．２の再生速度ｖ1が２分の１になると、図２ｃ．４に示すように、Ｔ2−Ｔ1およびｎが２倍になる。
【００６０】
図２ｄ．１および図２ｄ．２は、単純に図２ｃ．１および図２ｃ．２に対応している。図２ｃ．１と比較して、図２ｄ．１は、フィルムおよびそれに適用されるフィルム情報に関するサーチセクションまたはサーチウインドウを定義する２つのさらなる位置を示し、サーチウインドウの第１の位置がＬ0で表され、サーチウインドウの第２の位置がＬ3で表され、位置Ｌ0および位置Ｌ3の間のセクションが位置Ｌ1およびＬ2で定義されるセクションより大きい、すなわち、ΔＬwindow＝Ｌ3−Ｌ0およびΔＬ＝Ｌ2−Ｌ1としてΔＬwindow＞ΔＬである。それに対応して、図２ｄ．２では、図２ｃ．２のほかに、所定の再生速度に基づいて位置Ｌ0に関連付けられる時間を表す時間Ｔ0と所定のサンプル再生速度に基づいて位置Ｌ3に関連付けられる時間を表す時間ｔ3とが加算されている。
【００６１】
記憶されたフィルム情報または基準サウンド信号およびさらに記憶された時間スケールの生成に関して、それぞれ、このことは、時間Ｔ0が、例えば、位置Ｌ0に関連付けられる時間スケール上の時間を定義し、時間Ｔ1が、位置Ｌ1に関連付けられる時間スケール上の時間を定義し、時間Ｔ2が、位置Ｌ2に関連付けられる時間スケール上の時間を定義し、さらに、時間ｔ3が、フィルム上の位置Ｌ3に関連付けられる時間スケール上の時間を定義しているということを意味する。
【００６２】
図２ｄ．３は、図２ｃ．２に対応している。
【００６３】
以下に、図２ｄ．２〜図２ｄ．４に関して、相関を介して２つの信号の比較の基本曲線または２つの信号を比較する場合に可変再生速度の問題を、例示的に示し説明する。
【００６４】
これにより、図２ｄ．２および図２ｄ．３に表される最適な場合では、図２ｄ．３は、フィルムまたはテストサウンド信号２７０にそれぞれ適用される現在読み込まれるフィルム情報を表し、図２ｄ．２は、記憶されたフィルム情報または基準サウンド信号をそれぞれ表し、基準サウンド信号が生成されたメモリ再生速度およびメモリサンプリングレートは、テストサウンド信号の再生速度およびテストサウンド信号のサンプリングレートにそれぞれ対応し、または、上述のように、メモリサンプリングレートｆmemoryおよびメモリ再生速度ｖmemoryの商は、テストサウンド信号のサンプリングレートｆおよびテストサウンド信号の再生速度ｖの商に対応している。その場合、基準サウンド信号またはＴ1およびＴ2によって定義される基準サウンド信号のセクションは、Ｔ1およびＴ2の間のセクションを表すテストサウンド信号に、より正確には、それらのサンプルシーケンスに、正確に対応でき、図２ｄ．４に例示的に示すように、明確な極大または相関ピークは、相関を介して得ることができる。
【００６５】
ピーク位置は、基準サウンド信号またはサーチウインドウそれぞれに関するテストサウンド信号のタイムシフトを表している。これに基づいて、記憶された時間スケールに関して、現在の時間を決定することができる。
【００６６】
図２ｄ．１〜図２ｄ．４とは逆に、図２ｄ．５〜図２ｄ．８は、図２ｄ．７に示すテストサウンド信号の再生速度が、図２ｄ．２に示すようなテストサウンド信号の再生速度に比べて遅くなっている例を示す。
【００６７】
図２ｄ．５は、図２ｄ．１に対応している。図２ｄ．６は、図２ｄ．２に対応し、このことは、図２ｄ．６が、メモリサンプリングレートｆmemoryおよびメモリサンプル速度ｖmemoryに基づく基準サウンド信号の例示的な曲線を表していることを意味している。図２ｄ．７は、図２ｄ．３または図２ｄ．６に関して変更されていないテストサンプリングレートｆに基づくがテストサウンド信号の変更され遅くされた再生速度ｖ´に基づく、テストサウンド信号の例示的な曲線または例示的なサンプルを示す。
【００６８】
考慮中の時間間隔ΔＴに関して、このことは、図２ｄ．５に示すように、遅くされた速度ｖ´での同じ時間間隔ΔＴでは、短いセクションすなわちフィルムのΔＬ´＝ｖ´・ΔＴによる短い長さΔＬ´のセクションだけが再生されるので、時間間隔Δ´後の再生されたばかりのフィルムに関しては、位置Ｌ2の前の位置Ｌ´2までになるということを意味する。これに関連付けけられる基準サウンド信号および時間スケールに関して、図２ｄ．７に示すように、時間スケールの時間Ｔ´2は、位置Ｌ´2に関連付けられる。
【００６９】
テストサウンド信号の個々のサンプルに関して、このことは、フィルムのサウンドトラックによってあらかじめ決められるテストサウンド信号の「空間」曲線が変わらないので、遅い再生速度では、ｖ´はサンプル期間Δｔまたは対応する空間サンプルセクションΔｌ´それぞれに対応するということを意味し、これはΔｌより小さいので、図２ｄ．６と比べて図２ｄ．７に示すように、テストサウンド信号のサンプルは、「空間」信号曲線に関して左に「移動する」。
【００７０】
変更された再生速度ｖ´がメモリ再生速度ｖmemoryより大きい逆の場合、逆のことが発生し、同じ時間間隔ΔＴでは、長い空間セクションΔｌが再生されるので、テストサウンド信号のサンプルは、テストサウンド信号の「空間」曲線の信号曲線上で「右」に「移動する」。
【００７１】
したがって、変更された再生速度では、メモリ再生速度より速いか遅いかに関わらず、比較の結果は、最適な条件でなくても、テストサウンド信号および基準サウンド信号がフィルムの２つの異なる空間セクションを再生するので、低下する。比較の結果は、メモリ再生速度がテスト再生速度から逸脱すればするほど、悪くなる。相関によって比較する場合、極大またはピークの量が低減し、さらに最大自体がより広くより平坦になるので、それがなくなるまでは、時間スケールに関しての時間決定は、ますます不正確になる。
【００７２】
実際の条件下では、テストサウンド信号の再生速度が、例えば、異なるフィルムプロジェクタ間で変化するだけでなく、フィルム中で変化する。したがって、正確に再調整することは、全フィルムにわたって同期を確実にとるために不可欠である。
【００７３】
したがって、同じサンプルでフィルムの同じセクションを表すために、サンプリングレートとテストサウンド信号および基準サウンド信号の再生速度との商が同じである必要があるという上述の条件による上述のように、相関を実行するための装置は、テストサウンド信号の可変再生速度の悪影響を最小限にするために、テストサウンド信号のサンプリングレートまたは基準サウンド信号のサンプリングレートを変更する。
【００７４】
メモリサンプリングレートで生成されたデジタル基準サウンド信号では、再生速度がサンプリングレート変換によって変更され、記憶された基準サウンド信号２７４は、例えば、変更された再生速度に対応するサンプリングレートで基準サウンド信号を生成するために同様に補間される。
【００７５】
図２ｄ．１〜図２ｄ．８は、簡略化した例を示し、わかりやすくするために、メモリ再生速度ｖmemoryがテストサウンド信号を生成するためのプレーヤの通常または共通の再生速度に対応しているものと仮定している。しかしながら、上述のように、フィルムの同じセクションを同じサンプルで表すことができるように、すでに説明したように、サンプリングレートｆおよび再生速度ｖの商は、基準サウンド信号およびテストサウンド信号と同じでなければならない量である。例えば、基準サウンド信号を生成する場合には、サンプリングレートを同時に２倍にする場合に、２倍の再生速度を用いることができる。
【００７６】
図２ｂの実施の形態では、決定するための手段２１０は、相関の結果２７８に基づいてテスト再生速度の大きさを決定することができる。
【００７７】
１つのアプローチでは、例えば、テストサウンド信号および基準サウンド信号の再生速度の間のずれが所定の範囲にあるかどうかを決定するために、ピークの振幅を所定の閾値と比較することによる再生速度の大きさの決定のための１つの相関結果を用いる。
【００７８】
好適な実施の形態では、異なる基準サンプリングレートに基づく少なくとも２つの異なる基準サウンド信号、または、異なる基準再生速度に対応する少なくとも２つの異なる基準サウンド信号が、それぞれ、例えば、品質評価を介して相関の結果を比較するためにテストサウンド信号と比較され、これは、周知のサンプリングレートおよび周知のメモリ再生速度に基づいて、最も似ている基準サウンド信号、したがってテストサウンド信号の再生速度の大きさを、このことからから決定するために、図５を参照してより詳細に説明する。これにより、異なる基準サウンド信号は、連続して形成することができ、テストサウンド信号と比較することができ、または、形成して同時に比較することができる。
【００７９】
特に、相関を実行するための装置の好適な実施の形態は、異なる基準サンプリングレートに基づいて、３つの基準サウンド信号を生成し、３つのサンプリングレートの媒体の基準サウンド信号は、前の比較において、品質が最もよいかテストサウンド信号と最大整合している基準サウンド信号の基準サンプリングレートに基づき、他の２つの基準サウンド信号は、それぞれ、基準サンプリングレートまたは媒体基準サウンド信号の基準サンプリングレートより高いか低い基準サンプリングレートを有している。これは、テスト再生速度の大きさを決定するための手段２１０の出力信号に基づいて、変更するための手段２３０によって制御される。したがって、基準サウンド信号の基準サンプリングレートまたは基準再生速度が、それぞれ、再生速度または基準テストサウンド信号の基準サンプリングレートに確実に適合できるようになる。
【００８０】
図３ａは、図８に示すような例示的なフィルムおよびフィルム内の位置を決定するための装置の基本ブロック図を示す。
【００８１】
図３ａに示すフィルム内の位置を決定するための装置の実施の形態は、例えば、図１に示すフィルムイベントシステムの制御信号を生成するための装置に、制御信号を決定するための手段１８０として用いることができる。
【００８２】
フィルム内の位置を決定するための装置は、フィルム情報の基準指紋表示を記憶するためのメモリ３２０であって、指紋表示の時間曲線がフィルム情報の時間曲線に依存するように指紋表示が形成され、さらに時間スケールが記憶された基準指紋表示に関連付けられる、メモリ３２０と、フィルムから読み込まれるセクションを受信するための手段３４０と、読み込まれたセクションからテスト指紋表示を抽出するための手段３５０と、比較および時間スケールに基づいてフィルム内の位置を決定するために、テスト指紋表示と基準指紋表示とを比較するための手段３６０とを備える。
【００８３】
好適な実施の形態では、指紋表示は、スペクトル平坦性の形式の表示を含み、指紋表示の時間曲線は、スペクトル平坦性の時間曲線を含む。
【００８４】
図３ｂ．１は、図８に示すように、例示的なフィルム１１０を示す。したがって、所定の再生速度でフィルムを再生する場合、例えば、時間スケールの時間Ｔ100はフィルム位置Ｌ100に、時間スケールの時間Ｔ103は位置Ｌ103に、時間スケールの時間Ｔ113は位置Ｌ113に、時間スケールの時間Ｔ116は位置Ｌ116に、それぞれ対応している。
【００８５】
一実施の形態では、フィルム情報の基準指紋表示を生成するステップでは、指紋がフィルムの特定の空間または時間部分に対してそれぞれ決定される。
【００８６】
図３ｂ．２は、例えば、位置Ｌ100〜位置Ｌ113のセクションまたは時間Ｔ100〜時間Ｔ113のセクションを含む第１のセクションと、位置Ｌ103〜位置Ｌ113のセクションまたは時間Ｔ103〜時間Ｔ116のセクションを含む第２のセクションとを示す。これらのセクションに基づいて、セクションに関連付けられる指紋は、例えば、スペクトル解析、フーリエ変換または特徴抽出の他の方法に基づいて生成される。特に好適な実施の形態では、指紋は、パワー密度スペクトルの曲線から計算されるスペクトル平坦性γx2を含むので、スペクトル平坦性の値は、各セクションに対して決定され、一連のスペクトル平坦性は、フィルム情報の時間曲線に、例えば、関連付けられた時間スケールでメモリ３２０に記憶されるサウンド信号に依存することになる。
【００８７】
セクションのサンプリングレート、長さもしくは期間、または、次の２つのセクションの間の距離は、例えば、フィルム内の位置の決定の一意性または精度に関して、要求により決定される。一般に、セクションが長くなるほど特徴の仕様が明確になり、サンプリングレートが高くなるほどおよび／または２つのセクションの間の距離が短くなるほど、フィルム内の位置は、より正確に決定することができる。サンプリングレートが高くなり、セクションが長くなり、セクション間の距離が短くなるほど、基準信号の必要メモリまたは演算パワー信号処理の必要量が高くなる。
【００８８】
スペクトル平坦性の形式の指紋表示の大きな長所は、例えば、等しいセクションのパワー密度スペクトルの完全な記憶に比べて、その必要メモリが少ないことである。好ましくは、曲線または一連のスペクトル平坦性は、それぞれ、セクションの指紋として用いられる。
【００８９】
図４ａは、図８に示すように、例示的なフィルム１１０とともに、時間シーケンスで適用されるフィルム情報を有するフィルム内の位置を決定するための装置を示す。
【００９０】
図４ａに示すフィルム内の位置を決定するための装置の実施の形態は、例えば、図１に示すようなフィルムイベントシステムの制御信号を生成するための装置に、制御信号を決定するための手段１８０として用いることができる。
【００９１】
位置を決定するための装置は、時間シーケンスでフィルムに適用されるフィルム情報を記憶するためのメモリ４２０であって、時間スケールが記憶されたフィルム情報に関連付けられる、メモリ４２０と、粗い結果を得るために、第１のサンプリングレートに基づく読み込まれた部分の一連のサンプルと記憶されたフィルム情報の第１のサーチウインドウとを比較し、さらに、フィルム１１０の位置を示す細かい結果を得るために、第２のサンプリングレートに基づく読み込まれたセクションの一連のサンプルと記憶されたフィルム情報の第２のサーチウインドウとを比較するように形成される同期手段４６０であって、記憶されたフィルム情報内の第２のサーチウインドウの位置が粗い結果に依存し、第１のサーチウインドウは時間的に第２のサーチウインドウより長く、さらに、第１のサンプリングレートは第２のサンプリングレートより低い、同期手段４６０とを有する。
【００９２】
図５ａは、図８に示すような例示的なフィルム１１０とともに、フィルムイベントシステムの制御信号を生成するための装置の好適な実施の形態を示し、装置は、フィルムからそれぞれ読み込まれるオーディオ信号またはテストサウンド信号のセクションのフィルムに適用されるアナログサウンドトラックと、時間スケールを介してテストサウンド信号および基準サウンド信号を比較することによって、時間スケールが関連付けられる、以下に基準サウンド信号と呼ぶ、テストサウンド信号の記憶されたデジタルバージョンとに基づいて、制御信号を決定するように形成される。
【００９３】
図５ａは、第１のフィルムサウンドサンプラ５４２を有するフィルムイベントシステムの制御信号を生成するための装置の好適な実施の形態を示し、第１のフィルムサウンドサンプラ５４２は、第１のＡ／Ｄコンバータ５４４（Ａ／Ｄ＝アナログ／デジタル）に接続され、第１のＡ／Ｄコンバータ５４４は、第１の特徴抽出器５５２と、第１のサンプリングレートに基づく第１の基準サウンド信号との相関のための第１の手段５６２と、第２のサンプリングレートに基づく第２の基準サウンド信号との相関のための第２の手段５６４と、第３のサンプリングレートに基づく第３の基準サウンド信号との相関のための第３の手段５６６とに接続される。相関のための第１の手段５６２の入力と、相関のための第２の手段５６４の入力と、相関のための第３の手段５６６の入力とは、サンプリングレートコンバータ（ＳＲＣ）２３２の出力に接続される。
【００９４】
相関のための第１の手段５６２の出力と、相関のための第２の手段５６４の出力と、相関のための第３の手段５６６の出力とは、品質評価のための第１の手段５６８の入力に接続される。品質評価のための手段５６８は、さらに、サンプリングレートコンバータ２３２およびサンプラ選択のための手段５７０に接続され、サンプラ選択のための手段５７０の出力は、タイマ５８２の入力に接続される。タイマ５８２は、さらに、記憶されたサウンドトラックまたはサウンドトラックを記憶するための手段５２２に接続され、サウンドトラックを記憶するための手段５２２の出力は、サンプリングレートコンバータ２３２の入力に接続される。
【００９５】
第１の特徴抽出器５５２の出力は、例えば、特徴分類器および特徴データベースを有する特徴を比較するための手段５５４の入力に接続され、特徴を比較するための手段５５４の出力は、タイマ５８２の入力に接続される。
【００９６】
タイマ５８２の出力は、タイムコードデータベースを有するタイムコード生成のための手段５８４の入力に、または、タイムコードデータベースに接続され、さらに、タイムコード生成のための手段５８４の出力は、タイムコード平滑化のための手段５８６の入力に接続され、タイムコード平滑化のための手段５８６は、タイムコード５９２を出力するように形成され、さらに、タイムコード平滑化のための手段５８６の出力は、ワードクロック信号５９４を出力するように形成されるワードクロック生成器５８８の入力に接続される。
【００９７】
オプションとして、フィルムイベントシステムの制御信号を生成するための装置は、さらに、第２のＡ／Ｄコンバータ５４４´に接続される第２のフィルムサウンドサンプラ５４２´を有し、第２のＡ／Ｄコンバータ５４４´は、第２の特徴抽出器５５２´と、第１のサンプリングレートに基づく第４の基準サウンド信号との相関のための第４の手段５６２´と、第２のサンプリングレートに基づく第５の基準サウンド信号との相関のための第５の手段５６４´と、第３のサンプリングレートに基づく第６の基準サウンド信号との相関のための第６の手段５６６´とに接続される。
【００９８】
相関のための第４の手段５６２´の出力と、相関のための第５の手段５６４´の出力と、相関のための第６の手段５６６´の出力とは、品質評価のための第２の手段５６８´の入力に接続され、品質評価のための第２の手段５６８´の出力は、オフセット補償のための手段５６９に接続され、別の出力はサンプリングレートコンバータ２３２の入力に接続され、さらに、オフセット補償のための手段５６９は、サンプラ選択のための手段５７０に接続される。
【００９９】
これにより、制御信号を生成するための装置が同期のために十分な時間を有するように、主サンプラとも呼ばれる第１のフィルムサウンドサンプラ５４２が配置される。したがって、第１のフィルムサウンドサンプラ５４２は、あらかじめ遅延された信号を供給する。同期時に、相関ウインドウ幅またはテストサウンド信号のセクションの幅が加算される。フィルムのスプール上の送り孔に基づいて、あらかじめの遅延のための時間差が正確に調整できる。３秒間が第１の基準として推奨される。
【０１００】
以下に、フィルムイベントシステムの制御信号を生成するための装置の実施の形態の動作モードについてより詳細に説明すると、第１のフィルムサウンドサンプラ５４２またはその信号処理チェーンによって生成されるテストサウンド信号に基づいて原理を説明するが、第２のオプション信号処理チェーンまたは第２のフィルムサウンドサンプラ５４２´によって生成されるテストサウンド信号の信号処理は、それぞれ、第１のものに対応しているので、単にオフセット補償のための手段５６９について詳細に説明する。
【０１０１】
第１のフィルムサウンドサンプラ５４２は、フィルムのサウンドトラックからサウンド信号を読み込むか、または、フィルムのサウンドトラックからサウンド信号をサンプリングして、この信号を第１のＡ／Ｄコンバータ５４４に送り、第１のＡ／Ｄコンバータ５４４は、第１のフィルムサウンドサンプラ５４２のサンプリングレートとサウンドトラックまたはフィルム情報を読み込むフィルムの再生速度とに基づくデジタルオーディ信号またはテストサウンド信号を生成するように形成される。
【０１０２】
テストサウンド信号２７０に基づいて、１つもしくは複数の特徴が抽出され、または、テスト指紋表示が形成される。特徴抽出または指紋表示それぞれに対して、例えば、スペクトル平坦性が特徴または指紋として用いられる。次に、テスト指紋表示は、特徴または指紋表示を比較するための手段５５４によって、基準指紋表示と比較され、上述のように、指紋表示は、指紋表示の時間曲線がフィルム情報の時間曲線に依存するように形成され、時間スケールは、特徴を比較するための手段５５４に記憶される基準指紋表示に関連付けられ、比較するための手段５５４は、テスト指紋表示と基準指紋表示および時間スケールとの比較に基づいて、フィルム内の位置を決定し、または、タイムコード信号５５４Ｚを生成するように形成される。
【０１０３】
記憶された基準サウンド信号２７４に基づいて、サンプリングレートコンバータは、わずかに異なるサンプリングレートで同じ信号を生成し、すなわち並列に形成される相関のための変形基準サウンド信号を生成する。これにより、変形基準サウンド信号がもとの基準サウンド信号と同じサンプリングレートを有する場合が含まれるので、図５の説明では、以下に一般に基準サウンド信号と呼ぶ名称を用いる。
【０１０４】
換言すれば、サンプリングレートコンバータ２３２は、３つの基準サウンド信号２７６または変形基準サウンド信号２７６を生成し、第１の基準サウンド信号は、第１のサンプリングレートに基づくもので、相関のための第１の手段５６２に供給され、第２の基準サウンド信号２７６は、第２のサンプリングレートに基づくもので、相関のための第２の手段５６４に供給され、さらに、第３の基準サウンド信号２７６は、第３のサンプリングレートに基づくもので、相関のための第３の手段５６６に供給される。サンプリングレートコンバータ２３２は、わずかにステップ状の信号を、異なるサンプリングレートで、相関または相関のための手段５６２、５６４、５６６に供給し、サンプリングレートは、常に、前に測定された最大ピークに依存して、相関からのノイズ値に調整される。各相関は、このサンプリングレートの変形基準サウンド信号を受信し、さらなる相関は、１段階低いさらなるわずかに低い変形基準サウンド信号を受信し、さらに、さらなる相関は、さらに高いステップ状のサンプリングレートを受信する。これにより、サンプリングレートコンバータが、アナログサウンド信号の速度変化に対して確実に同調または同期できるようになる。
【０１０５】
好ましくは、サウンドトラックを記憶するための手段５２２およびサンプリングレートコンバータ２３２は、高速フーリエ変換（ＦＦＴ）を介して少ない労力で大きな計算ウインドウを計算するために、２nのウインドウ幅を用いるように形成される。４つ以上の相関は、サウンドチェックの際の急な飛び越しを補償するために、並列で計算することができる。相関ウインドウは、大きい相関ピークを得るために大きく選択される。１つのサンプルまたはサンプル期間で相関ピークの検出精度を得るために、入力信号またはテストサウンド信号のオーバーサンプリングを用いることができる。
【０１０６】
サウンドトラックを記憶するための手段５２２は、相関ウインドウの長さがタイマ５８２が供給したタイムコード信号５８２Ｚに依存する基準サウンド信号を出力し、相関ウインドウは、テストサウンド信号を検索するサーチウインドウである。
【０１０７】
品質評価のための第１の手段５６８は、信号の相互相関の結果または信号量において最大値検索を実行し、さらに、他のピークと相互相関とを比較した相関ピークの高さに基づいて相互相関の結果の品質に重み付けし、または、ピーク対ノイズ距離に関して個々の相関の品質を決定するように、形成される。
【０１０８】
品質評価に基づいて、最良の品質係数または品質の基準サウンド信号が決定され、最良の品質または品質係数の基準サウンド信号のピークの位置に基づいて、サーチウインドウに関するピークのシフトが、決定され、さらに、例えば、測定されて実際に有効なタイムコード間のタイムコード差として、または、相対タイムコードとして出力される。
【０１０９】
品質評価の結果に基づいて、品質評価のための第１の手段５６８は、制御信号５６８Ａを、例えば、３つの信号値「０」、「＋１」、および「−１」だけを区別するサンプリングレートコンバータ２３２に送り、例えば、「０」については、最後のサンプリングレート変換または相関それぞれのサンプリングレートが維持され、これは、媒体サンプリングレートでの変形基準サウンド信号からの相関結果が、最も高い品質のものとして決定されているからであり、「＋１」については、サンプリングレートが最後のサンプリングレート変換または相関に関して１段階増加され、これは、最も高いサンプリングレートでの変形基準サウンド信号からの相関結果が、最も高い品質のものとして決定されているからであり、さらに、「−１」については、サンプリングレートが前のサンプリングレート変換または相関に関して１段階低減され、これは、テストサウンド信号と最も低い基準サンプリングレートの変形基準サウンド信号とからの相関が最もよい相関結果または最もよいピーク対ノイズ距離を有しているからである。
【０１１０】
換言すれば、（第１の、第２のまたは第３の）サンプリングレートで最もよい相関ピークが得られていることに基づいて、サンプリングレートコンバータは、例えば、サンプリングレートデルタ値によって増加されもしくは低減され、または、それがサンプリングレート変換を実行しないように制御される。
【０１１１】
これにより、相関は、２つの主な特徴をアドレッシングするように作用する。第１に、それぞれ、相関からのタイムコード差に基づく、フィルム内の位置の決定またはフィルム内の時間の決定であり、第２に、それぞれ、最適な基準サンプリングレートまたは基準サンプリングレートの最適なサンプリングレート変換を決定するために、再生速度の大きさの決定である。ここでは、サンプリングレートの適合または適合サンプル再生速度の生成により、それぞれ、改良された相関結果を可能にするので、時間決定またはフィルム内の位置の決定を向上し、さらに、同期および予測を向上する。
【０１１２】
図５の好適な実施の形態は、信号解析を介して特定の特徴を有する信号部分を検出し、同期中にこれらを抑制し、そのため、誤った検出もしくは同期を回避し、または、時間軸のランダムな変動を回避するように実行される。
【０１１３】
このような特徴は、例えば、信号成分のラウドネスまたは信号の「問題」であり、ＳＮＲ（Ｓ／Ｎ比）、ＰＮＲ（ピーク対ノイズ）、スペクトルパワーもしくはパワー密度スペクトル、スペクトル平坦性または時間シーケンスの平均化に基づいて、信号解析または問題のある成分の検出を行うことができる。
【０１１４】
ピークノイズ値またはピークノイズ距離の閾値を下回る場合、タイムコード差は、例えば、無効であるとして検出することができる。あるいは、ピークノイズ距離が同じようないくつかのピークが決定される場合、タイムコード差は、同様に無効であるとして検出することができる。
【０１１５】
さらに、静かな信号成分すなわち小さい振幅の信号成分の相関の品質は、デジタルサンプリング中の高い量子化ノイズによる大きい信号の相関の１つより低いので、静かな信号成分は、時間軸のランダムな変動を回避するために、閾値に基づいてまたは適合可能に抑制される。さらに、信号エネルギーは、さらなる品質特徴となる。
【０１１６】
別の例は、問題を抑制するが、これは、繰り返し信号成分により曖昧性を例えば誤った同期を回避するからである。
【０１１７】
問題のある信号成分または部分は、それぞれ、例えば、現在の相関の品質とは無関係にこれらの信号成分を抑制するために、メタデータとしてさらに目立たせることができる。
【０１１８】
タイムコード生成のための手段５８４は、タイマ５８２のタイムコード信号５８２Ｚに基づいて変換するように形成され、例えば、内部または独自のタイムコードに基づいて、標準化されたタイムコードまたは標準化されたタイムコードに基づくタイムコード信号に変換することができる。
【０１１９】
タイマ５８２は、内部クロック（相関の間隔または周波数）と、粗いオーディオＩＤ指紋または指紋表示、例えば特徴決定または指紋表示からのタイムコード信号５５４Ｚと、決定された相関差、例えばサンプラ選択のための手段５７０の相関から決定されるタイムコード差信号５７０Ｚとによって制御される。タイマは、相関信号（優先順位が最も高い）、特徴決定からのタイムコードおよび内部クロック（優先順位が最も低い）の優先順位付けを実行する必要がある。
【０１２０】
タイムコード平滑化のための手段５８６は、タイムコード信号５８４Ｚを平滑化して、例えば高く飛び越すタイムコードを回避し、または、例えば、アナログサウンドの中断を補償する相関からのタイムコードがない場合に役に立つ中間値を検出するように形成される。タイムコード平滑化のための手段５８６によって生成されるタイムコード信号５９２は、好ましくは、フィルムイベントシステムを同期または制御する標準化されたタイムコードである。しかしながら、タイムコード信号５９２は、備えられているサウンド再生システムがデジタルの場合、ゆっくりと調整する位相ロックループ（ＰＬＬ）を介して対応するサンプルクロックを生成するように用いることができる。このような位相ロックループは、完成品デバイスとして市販されているので、特許の主題ではない。
【０１２１】
オプションとして、投影レンズからの時間差オフセットを行う２つ以上のフィルムサンプラが、フィルムのダメージに対する頑強性を向上するために、または、不適当な部分の同期のために用いることができる。
【０１２２】
次に、例えば、第２のフィルムサウンドサンプラ５４２´を用いることができ、これは、第２のフィルムサウンドサンプラ５４２´が従来の映画システムにすでに存在しているからである。アナログサウンドの中断は、映画フィルム上の異なる位置に適用されるフィルムサウンドサンプラ５４２、５４２´によって、ここでつなぐことができ、これは、フィルムサウンドの中断が短いと、第１のフィルムサウンドサンプラ５４２または第２のフィルムサウンドサンプラ５４２´のいずれかの少なくとも１つのサンプラが相関および関連付けられた同期のために十分な信号を提供する確率が上がるからである。
【０１２３】
さらに、オプションとして、例えば、アナログサウンド、ドルビー（登録商標）・デジタルサウンド（デコーダを含む）、ＤＴＳデジタルサウンド（ＤＴＳデコーダを含む）または異なるサウンド用の異なるサンプラとともにこれらの組み合わせが、基準サウンドトラックおよび／またはテストサウンドトラックとして用いることができる。
【０１２４】
ここでは、個々のトラックは、自動的に、または、モノラルのダウンミックスと同様に生成された時間情報のメタデータを介して、平均化、多数決または優先順位付けを用いることによって比較に用いることができる。
【０１２５】
一般に、異なるサンプラは、異なるサウンドフォーマットおよび／または時間が異なるオフセットの異なるフィルムサンプラに用いることができる。
【０１２６】
モノラルのダウンミックスを用いることは、モノラルトラックが記憶されたサウンドトラックとして用いられる場合、記憶されるニーズが例えば５チャネルを記憶することに匹敵するという長所を有する。
【０１２７】
いくつかの記憶装置、すなわち複数のサウンドトラック、すなわちダウンミックスのないことは、全てのチャネルが互いに独立して記憶されることを意味し、次に、例えば、上述のように、対応する比較または多数決は、特定のチャネル、実際のサウンドトラックおよび記憶されたサウンドトラックの対応するチャネルを用いることによって、同期を実行するために実行される必要がある。
【０１２８】
初期設定段階つまり第１の同期および同期は、フィルム投影の際またはフィルムイベントシステムの同期の際に、２つの重要な段階からのサウンド中断の後である。
【０１２９】
したがって、好適な実施の形態は、はじめに４つ以上の並列相関を計算し、つまり、同期を実行しないので、これは、異なるサンプリングレートの４つ以上の基準サウンド信号が、テストサウンド信号の正確なサンプリングレートまたはサンプル速度をできるだけ速く決定するために、テストサウンド信号で比較されまたは相関されることを意味する。ここでは、異なるサンプリングレートは、相関のひとつが最もよい信号ノイズ距離となるまで、交互にテストされる。
【０１３０】
代わりにまたはさらに、第１の特徴抽出器５５２および特徴分類のための手段５５４は、例えば相関による第２のステップで、フィルムの位置の細かい決定または細かいタイムコード決定を実行するために、データベースとともに、フィルム内の粗い位置を定義する粗い絶対タイムコード値を提供する。同期が行われるとすぐに、３つの相関は、フィルム投影中のテストサウンド信号の再生速度の変化を同期するために用いることができる。
【０１３１】
フィルム内の位置または位置に関連付けられる時間が時間スケール（タイムコード）にそれぞれ関連付けられる精度は、基準サウンド信号のサンプリングレートおよびテストサウンド信号のサンプリングレートに依存し、サンプリングレートが高くなるほど、より正確なフィルム内の位置を決定することができる。しかしながら、サンプリングレートが低いことは、サンプル数が同じであると、基準サウンド信号またはテストサウンド信号のより長いセクションを表すことができるという長所がある。したがって、好適な実施の形態は、第１のステップにおいて、低いサンプリングレートの基準サウンド信号により、フィルムの長いセクションを表示することによって、フィルム内の位置の粗い決定を決定するように形成され、テストサウンド信号は、低いサンプリングレートでサンプリングすることによって得られる。次に、第２のステップでは、フィルム内の粗い位置に基づいて、高いサンプリングレートの基準サウンド信号および高いサンプリングレートのテストサウンド信号は、フィルム内の位置の細かい決定に用いられる。
【０１３２】
換言すれば、ウインドウの長さは、相関を行う際に適合される。高い時間精度を得るために信号のオーバーサンプリングを行っている場合であっても、検索のはじめは、タイミングは長いけれども信号のサンプリングレートを低くしたウインドウが用いられるが、時間がおおよそ検出され追従される場合は、短いウインドウが用いられる。
【０１３３】
初期設定段階では、例えば、「古い」オーディオフォーマットで「互換性のある再生」は、正確な位置が決定されるまでは実行できる。
【０１３４】
同様に、「古い」オーディオフォーマットで「互換性のある再生」は、同期が明らかにとれなくなった場合、もう一度正確な位置が決定されるまで実行できる。
【０１３５】
サンプラ選択のための手段５７０およびオフセット補償のための手段５６９は、２つ以上のフィルムサウンドサンプラを用いる実施の形態の場合にだけ必要となる。したがって、例えば、サンプラ選択のための手段５７０は、品質評価５６８Ｚのための第１の手段５６８の結果もしくはタイムコード差、または、品質評価のための第２の手段５６８´の結果もしくはタイムコード差５６８Ｚ´が、フィルム内の位置またはタイムコード５８２Ｚを決定するためのタイマ５８２に送られるかどうかを決定する。第２のフィルムサウンドサンプラ５４２´が、フィルムの異なる位置でテストサウンド信号をサンプリングするので、第１のフィルムサウンドサンプラ５４２がフィルムをサンプリングする位置と第２のフィルムサウンドサンプラ５４２´がフィルムをサンプリングする位置との間の差（オフセット）が、オフセット補償のための手段５６９によって補償され、これにより、タイマ５８２は、タイムコード差５６８Ｚまたはタイムコード差５６８Ｚ´が、タイマに記憶された、最後に記憶された時間または最後に記憶されたフィルムの位置に関して選択されるかどうかに関わらず、正確なタイムコード差５７０Ｚを得る。
【０１３６】
図５ａに示す実施の形態と異なり、異なる基準サンプリングレートの異なる基準サウンド信号は、連続して生成でき、さらに、テストサウンド信号の再生速度の大きさまたは最適な基準サンプリングレートを決定するために、テストサウンド信号と比較できまたは相関できる。代わりに、４つ以上の変形基準サウンド信号は、初期段階で高速同期を行うだけでなく、フィルムのカットまたはフィルムが部分的に失われていることによるフィルムの大きな飛び越しの後で、フィルム投影中のフィルムイベントシステムをフィルム内の現在の位置により素早く同期するために、並列または連続してテストサウンド信号と比較できる。
【０１３７】
図５に示す実施の形態と異なり、フィルムイベントシステムの同期は、特徴または指紋の評価と１つまたは複数の基準画像信号についてテスト画像信号の相関とのために、フィルムの映像に基づいて実行することができる。
【０１３８】
これにより、上述のように、オーディオ信号および／またはビデオ信号の相関は、オーディオおよび／またはビデオストリームの時間空間を決定するために用いることができ、同期再生は、この時間決定によって制御することができる。
【０１３９】
代わりに、オーディオＩＤ／ビデオＩＤ（ＩＤ＝識別）の形式の未加工素材からのオーディオおよび／またはビデオ署名の決定は、任意の位置で同期を可能にするために、長いＡＶストリームの時間を粗く決定するために用いることができる。
【０１４０】
本発明の基本アプローチは、相関および他の特徴決定を介してアナログサウンドトラックを有する映画フィルムに対して同期するために、既存のアナログサウンドをさらにデジタル形式で記憶することである。制御信号を生成するための装置または同期装置の出力信号または制御信号は、それぞれ、任意のタイムコードフォーマットとすることができる。好ましくは、ＳＭＰＴＥ標準化ＬＴＣタイムコードフォーマットが用いられる。各映画フィルムに、制作の際に、データセットは、制御信号を生成するための装置または同期装置のために生成する必要がある。
【０１４１】
制作の際に、個別のデータキャリアが、制御信号を生成するための上述の手段または同期装置用の各映画フィルムに生成される。データキャリアは、例えばフィルムのスプール上に検出できるドルビー（登録商標）・ステレオフォーマット等のデジタル化されたアナログサウンドトラック、サウンドトラックに対する特徴データおよび整合するタイムコードを含む。
【０１４２】
以下に、図５ｂ．１〜図５ｂ．４を参照して、タイムコード差の例示的な決定について説明する。
【０１４３】
図５ｂ．１は、すでに図８ですでに説明したように、サウンドトラック１１４を有する例示的なフィルム１１０を示す。
【０１４４】
タイマ５８２からのタイムコード信号５８２Ｚに基づいて、基準サウンド信号２７４がサウンドトラックを記憶するための手段５２２から読み出され、変形基準サウンド信号がサンプリングレートコンバータ２３２を介して図５ｂ．２に従って生成され、これは、位置Ｌ0から位置Ｌ3までのフィルムセクション、位置Ｌ0に関連付けられる時間Ｔ0、または、位置Ｌ3に関連付けられる、対応するタイムコードおよび時間Ｔ3もしくはタイムコードを表す。
【０１４５】
図５ｂ．３は、例示的なテストサウンド信号またはテストサウンド信号のセクションを示し、これは、開始時間Ｔ1および終了時間Ｔ2によって定義され、サンプリングレートｆ＝１／Δｔに基づいて生成されたものである。
【０１４６】
図５ｂ．４は、図５ｂ．２の変形基準サウンド信号と図５ｂ．３のテストサウンド信号セクションとの相関の結果を示す。図５ｂ．２のサーチウインドウまたは変形基準サウンド信号の開始時間Ｔ0とサーチウインドウまたは基準サウンド信号の時間Ｔ1との間の時間差ΔＴ´´＝Ｔ1−Ｔ0は、タイムシフトであり、これに基づいて、タイムコード差または相対タイムコードが形成される。これにより、時間Ｔ1は、時間またはテストサウンド信号のタイムシフトとなり、ｎ＝１１個のサンプル長の基準サウンド信号のセクションは、Ｎ＝１１個のサンプル長のテストサウンド信号または基準サウンド信号およびテストサウンド信号の相関と最大限に整合し、相関結果として最大を有する。
【０１４７】
これにより、絶対時間Ｔ0または時間Ｔ1の認識は、品質評価５６８に必要でなくなり、これは、例えば、タイマ５８２が、最後の絶対時間または絶対タイムコードをそれぞれ知り、さらに、更新した絶対時間またはタイムコードを決定するために、タイムコード差５７０Ｚだけを必要とするからである。例えば、サーチウインドウを開始する時間に関するピークの位置からの差を説明することができる。図５ｂ．４では、ピークは、例えば、第１のサンプルであり、すなわち、図５ｂ．３のテストサウンド信号は、図５ｂ．２の基準サウンド信号に対して「３・Δｔ」だけシフトし、Δｔは、変形サンプリングレートに対応するサンプリング期間である。
【０１４８】
したがって、タイムコード差５７０Ｚは、例えば、値ｎ＝３からなる。ここで、テストサウンド信号の可変再生速度にそれぞれ適合された基準サウンド信号のサンプリングレートまたは再生速度の長所には利点があり、これは、Δｔが再生速度に適合されるからであり、サーチウインドウに関するフィルムの位置またはオフセットのより正確な決定が基準サウンド信号の固定サンプリングレートと比較して可能になり、これは、このサンプリングレートの倍数だけがフィルム内の位置の決定のために生成されるからである。
【０１４９】
これにより、例えば、サーチウインドウまたは基準サウンド信号の時間Ｔ0は、フィルムが前に送られているので、前の相関の時間Ｔ1と等しくなる。
【０１５０】
図６ａは、フィルムシステムの実施の形態を示し、制御信号１９０を生成するための装置１００は、フィルムイベントシステム６００に結合され、これにより、図８に示すフィルム１１０に基づく制御信号を生成するための装置１００は、フィルムイベントシステム６００を同期する制御信号１９０、例えばタイムコードを生成する。
【０１５１】
図６ｂは、制御信号１９０を生成するための装置１００と例示的なフィルムイベントシステムとして波面合成システム６１０とを有するフィルムシステムを示し、波面合成システム６１０の実施の形態は、波面合成システムを制御するための手段６２０と、波面合成オーディオ信号用のデジタルメモリ６２２と、波面合成システム用の複数のスピーカ６２４とを備える。フィルム１１０またはアナログフィルムサウンドトラック１１４に基づいて、それぞれ、制御信号を生成するための手段１００は、リップシンクロ方法でもとのアナログサウンドトラックフィルムを用いて波面合成オーディオ体験を可能にするために制御信号を生成する。
【０１５２】
波面合成システム６１０の代わりとして、当然ながら、例えばデジタルオーディオシステムまたはデジタルサラウンドオーディオシステムなどの他のオーディオシステムは、リッピシンクロ方法で制御信号を生成するための装置１００を介して同期できる。
【０１５３】
図７は、図８に示すような例示的なフィルムと、例示的なデジタル的に記憶された基準サウンド信号７２０と、時間スケールの関連とを示す。
【０１５４】
記憶されたフィルム情報または基準サウンド信号を生成する場合、それぞれ、アナログサウンド信号が、所定の再生速度および所定のサンプリングレート、例えば４４．１ｋＨｚでサンプリングされ、例えば１０ミリ秒のサウンド部分が、いわゆるオーディオフレームとして記憶され、すなわちデジタル基準サウンド信号が、メモリ上に一連のオーディオフレームとして存在する。次に、時間スケールの関連付けられた時間は、例えば、タイムコードまたは時間スケールとして昇順で０または１から番号付けされるオーディオフレームにあり、タイムコードＴＣ１は、例えば、オーディオフレームの長さが１０ミリ秒の場合に第１のオーディオフレームが０ミリ秒または１０ミリ秒のいずれかであるように、タイムコードとしてオーディオフレームの開始時間または終了時間を検出するために、図１のオーディオフレームＡＦ１に対応している。
【０１５５】
通常、タイムコードは、時間：分：秒のフレームのようなフォーマットを有し、フレームは、通常、例えば１秒ごとに２４フレームのビデオフレーム（映画フィルム）と関係付けられている。
【０１５６】
したがって、時間スケールまたはタイムコードは、複数のオーディオフレームを１つのビデオフレームに関連付けることができ、または、最小の時間スケール単位としてオーディオフレームを定義することができる。
【０１５７】
それに対応して、タイムコードまたは時間スケールは、例えば、４つのオーディオフレームＡＦ１〜ＡＦ４を含む図７のＴＣ１´を参照して、４つのオーディオフレームを１つのタイムコードに関連付けることができ、または、１つのオーディオフレームＡＦ１が関連付けられる図７のＴＣ１を参照して、１つのオーディオフレームを１つのタイムコードに関連付けることができる。これにより、オーディオフォーマットに基づいて、オーディオフレームは、時間的に重なっているオーディオ信号の部分を表すこともできる。
【０１５８】
制御信号１９０は、例えば、タイムコードとしても一連のパルスとしても形成することができ、例えば、各パルスは、時間スケール単位に対応し、フィルムイベントシステムは、フィルムに同期するために、相対タイムコードに類似のパルスを蓄積する。
【０１５９】
さらなる実施の形態は、オーディオ信号および／またはビデオ信号に透かしを埋め込み、例えば、フォールバックとしてアナログサウンド信号をさらに有し、さらに、同期する別のサービス用のタイムコードを同時に実現するアプローチを提供する。このアプローチの長所は、「わかりにくい」オーディオ信号、例えば、非常に静かなシーケンスまたはよく似た「単調な」サウンドであっても、完全なクロック修復ができることである。この変形例として、基本的に、フルセットの適切な透かし部分が、特に、正確なクロックレートを検索しまたはサンプリングレートを再調整する領域において有益である。しかしながら、このアプローチの決定的な欠点は、透かしをオーディオ信号および／またはビデオ信号に埋め込むことができるようにするために、実際のフィルムを変更し、または、フィルムの新しいバージョンもしくはコピーを作成する必要があることである。
【０１６０】
状況によっては、本発明の方法は、ハードウェアまたはソフトウエアで実施することができる。この実施は、その方法が実行されるように、プログラム可能なコンピュータシステムと情報をやりとりする、電子的に読み取り可能な制御信号を有する、デジタル記憶媒体、特に、ディスクまたはＣＤ上で実行することができる。一般に、本発明は、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み取り可能なキャリアに記憶された本発明の方法を実行するためのプログラムコードを有するコンピュータプログラム製品にも存在する。したがって、言い換えると、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現することができる。
【図面の簡単な説明】
【０１６１】
【図１】図１は、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図である。
【図２ａ】図２ａは、相関を実行するための装置の実施の形態を示す基本ブロック図である。
【図２ｂ】図２ｂは、相関を実行するための装置の好適な実施の形態を示す基本ブロック図である。
【図２ｃ】図２ｃ．１は、フィルムの例示的なセクションを示す図であり、図２ｃ．２は、第１の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、図２ｃ．３は、第２の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図であり、図２ｃ．４は、第３の可変再生速度および一定テストサンプリングレートによる図２ｃ．１に示すフィルムのセクションのサウンド信号の例示的な曲線を示す図である。
【図２ｄ（１）】図２ｄ．１は、フィルムの２つの例示的なセクションを示す図であり、図２ｄ．２は、フィルムの基準サウンド信号の例示的な曲線を示す図であり、図２ｄ．３は、フィルムのセクション用の第１の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、図２ｄ．４は、図２ｄ．２の基準サウンド信号と図２ｄ．３のテストサウンド信号との相関からの例示的な第１の相関結果を示す図である。
【図２ｄ（２）】図２ｄ．５は、図２ｄ．１のフィルムの２つの例示的なセクションを示す図であり、図２ｄ．６は、図２ｄ．２のフィルムの基準サウンド信号の例示的な曲線を示す図であり、図２ｄ．７は、フィルムのセクション用の第２の再生速度および一定テストサンプリングレートに基づくテストサウンド信号の例示的な曲線を示す図であり、図２ｄ．８は、図２ｄ．６の基準サウンド信号と図２ｄ．７のテストサウンド信号との相関からの例示的な第２の相関結果を示す図である。
【図３ａ】図３ａは、指紋表示に基づくフィルム内の部分を決定するための装置の好適な実施の形態を示す基本ブロック図である。
【図３ｂ】図３ｂ．１は、フィルムの２つのセクションを示す図であり、図３ｂ．２は、図３ｂ．１の２つのセクション用の基準サウンド信号の例示的な曲線を示す図である。
【図４】図４は、位置の粗く後に細かい決定に基づくフィルム内の位置を決定するための装置の好適な実施の形態を示す基本ブロック図である。
【図５ａ】図５ａは、フィルムイベントシステム用の制御信号を生成するための装置の好適な実施の形態を示す基本ブロック図である。
【図５ｂ】図５ｂ．１は、フィルムの２つのセクションを示す図であり、図５ｂ．２は、フィルムの第１のセクション用の基準サウンド信号の例示的な曲線を示す図であり、図５ｂ．３は、フィルムの第２のセクション用のテストサウンド信号の例示的な曲線を示す図であり、図５ｂ．４は、図５ｂ．２の基準サウンド信号と図５ｂ．３のテストサウンド信号との相関からの例示的な相関結果を示す図である。
【図６ａ】図６ａは、フィルムイベントシステム用の制御信号を生成するための装置およびフィルムイベントシステムを有する例示的なフィルムプロジェクションシステムを示す基本ブロック図である。
【図６ｂ】図６ｂは、例示的なオーディオフィルムイベントシステムを有する制御信号を生成するための装置を有する例示的なフィルムプロジェクションシステムを示す基本ブロック図である。
【図７】図７は、１つのフィルム情報に対する時間スケールの例示的な関連を示す概略図である。
【図８】図８は、適用されたフィルム情報を有する例示的なフィルムを示す概略図である。
【特許請求の範囲】
【請求項１】
時間シーケンスで適用されるフィルム情報（１１２、１１４）を有するフィルム（１１０）内の位置を決定するための装置であって、
前記フィルム情報（１１２、１１４）の基準指紋表示を記憶するためのメモリ（３２０）であって、前記基準指紋表示は、前記指紋表示の時間的コースが前記フィルム情報の時間的コースに依存するように形成され、さらに、時間スケールが、記憶された基準指紋表示に関連付けられる、メモリ（３２０）と、
前記フィルム（１１０）から読み込まれる部分を受信するための手段（３４０）と、
前記読み込まれた部分からテスト指紋表示を抽出するための手段（３５０）と、
比較および前記時間スケールに基づいて前記フィルム（１１０）内の前記位置を決定するために、前記テスト指紋表示と前記基準指紋表示とを比較するための手段（３６０）とを備える、装置。
【請求項２】
前記フィルム情報は、前記フィルム上のアナログサウンドトラックに適用され、さらに、受信するための前記手段（３４０）は、前記アナログサウンドトラックから前記アナログサウンド情報を受信するように形成される、請求項１に記載の装置。
【請求項３】
抽出するための前記手段（３５０）は、指紋表示としてスペクトル平坦性を有する表示を計算するように形成され、前記指紋表示の時間的コースは、前記スペクトル平坦性の時間的コースを含む、請求項１または請求項２に記載の装置。
【請求項４】
前記フィルムから読み込まれる部分を受信するためのさらなる手段をさらに備え、前記部分は、受信するための前記手段（１４０）によって受信される前記部分と異なる、請求項１ないし請求項３のいずれかに記載の装置。
【請求項５】
時間シーケンスで適用されるフィルム情報（１１２、１１４）を有するフィルム（１１０）内の位置を決定するための方法であって、
前記フィルム（１１０）から読み込まれる部分を受信するステップと、
前記読み込まれた部分からテスト指紋表示を抽出するステップと、
前記テスト指紋表示と前記基準指紋表示とを比較するステップであって、前記指紋表示は、前記指紋表示の時間的コースが前記フィルム情報（１１２、１１４）の時間的コースに依存するように形成され、さらに、時間スケールが、前記比較および前記時間スケールに基づいて前記フィルム（１１０）内の前記位置を決定するために、前記記憶された基準指紋表示に関連付けられる、比較するステップとを備える、方法。
【請求項６】
コンピュータ上で実行されるときに、請求項５に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【請求項１】
時間シーケンスで適用されるフィルム情報（１１２、１１４）を有するフィルム（１１０）内の位置を決定するための装置であって、
前記フィルム情報（１１２、１１４）の基準指紋表示を記憶するためのメモリ（３２０）であって、前記基準指紋表示は、前記指紋表示の時間的コースが前記フィルム情報の時間的コースに依存するように形成され、さらに、時間スケールが、記憶された基準指紋表示に関連付けられる、メモリ（３２０）と、
前記フィルム（１１０）から読み込まれる部分を受信するための手段（３４０）と、
前記読み込まれた部分からテスト指紋表示を抽出するための手段（３５０）と、
比較および前記時間スケールに基づいて前記フィルム（１１０）内の前記位置を決定するために、前記テスト指紋表示と前記基準指紋表示とを比較するための手段（３６０）とを備える、装置。
【請求項２】
前記フィルム情報は、前記フィルム上のアナログサウンドトラックに適用され、さらに、受信するための前記手段（３４０）は、前記アナログサウンドトラックから前記アナログサウンド情報を受信するように形成される、請求項１に記載の装置。
【請求項３】
抽出するための前記手段（３５０）は、指紋表示としてスペクトル平坦性を有する表示を計算するように形成され、前記指紋表示の時間的コースは、前記スペクトル平坦性の時間的コースを含む、請求項１または請求項２に記載の装置。
【請求項４】
前記フィルムから読み込まれる部分を受信するためのさらなる手段をさらに備え、前記部分は、受信するための前記手段（１４０）によって受信される前記部分と異なる、請求項１ないし請求項３のいずれかに記載の装置。
【請求項５】
時間シーケンスで適用されるフィルム情報（１１２、１１４）を有するフィルム（１１０）内の位置を決定するための方法であって、
前記フィルム（１１０）から読み込まれる部分を受信するステップと、
前記読み込まれた部分からテスト指紋表示を抽出するステップと、
前記テスト指紋表示と前記基準指紋表示とを比較するステップであって、前記指紋表示は、前記指紋表示の時間的コースが前記フィルム情報（１１２、１１４）の時間的コースに依存するように形成され、さらに、時間スケールが、前記比較および前記時間スケールに基づいて前記フィルム（１１０）内の前記位置を決定するために、前記記憶された基準指紋表示に関連付けられる、比較するステップとを備える、方法。
【請求項６】
コンピュータ上で実行されるときに、請求項５に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【図１】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図２ｄ（１）】
【図２ｄ（２）】
【図３ａ】
【図３ｂ】
【図４】
【図５ａ】
【図５ｂ】
【図６ａ】
【図６ｂ】
【図７】
【図８】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図２ｄ（１）】
【図２ｄ（２）】
【図３ａ】
【図３ｂ】
【図４】
【図５ａ】
【図５ｂ】
【図６ａ】
【図６ｂ】
【図７】
【図８】
【公表番号】特表２００８−５４７１４５（Ｐ２００８−５４７１４５Ａ）
【公表日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００８−５１７３６５（Ｐ２００８−５１７３６５）
【出願日】平成１８年６月９日（２００６．６．９）
【国際出願番号】ＰＣＴ／ＥＰ２００６／００５５５３
【国際公開番号】ＷＯ２００６／１３６３００
【国際公開日】平成１８年１２月２８日（２００６．１２．２８）
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
【公表日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１８年６月９日（２００６．６．９）
【国際出願番号】ＰＣＴ／ＥＰ２００６／００５５５３
【国際公開番号】ＷＯ２００６／１３６３００
【国際公開日】平成１８年１２月２８日（２００６．１２．２８）
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
[ Back to top ]