音響信号の演奏を制御する方法と装置
【課題】
【解決手段】 本発明にかかる装置と方法は、問題となる単語のクローズキャプションテキストを、対応する音響信号の分析に関連させて分析する（２１０）ことによって、音響信号の再生を制御する方法を具える。クローズキャプション信号中の問題となるテキストあるいはその他の特定のテキストが、ユーザが同定した問題になるテキストとの比較を介して認定される。問題となるテキストを認定したら、その音響信号を分析して、問題になるテキストを問題の音響シーケンス（２４０）と合致させることによって問題になるテキストに対応する音響部分を同定する。音響部分を同定したら、音響信号をコントロールして可聴の問題になるテキストをミュートするよう制御することができる。
【解決手段】 本発明にかかる装置と方法は、問題となる単語のクローズキャプションテキストを、対応する音響信号の分析に関連させて分析する（２１０）ことによって、音響信号の再生を制御する方法を具える。クローズキャプション信号中の問題となるテキストあるいはその他の特定のテキストが、ユーザが同定した問題になるテキストとの比較を介して認定される。問題となるテキストを認定したら、その音響信号を分析して、問題になるテキストを問題の音響シーケンス（２４０）と合致させることによって問題になるテキストに対応する音響部分を同定する。音響部分を同定したら、音響信号をコントロールして可聴の問題になるテキストをミュートするよう制御することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は非暫定出願であり、ここに引用して含まれている、２００３年８月２６日に出願した「関連する音響信号の分析に基づくメディアコンテンツのフィルタリング；当該分析を助ける関連するクローズドキャプション信号の使用」と題する暫定出願６０／４９７，７６９号の優先権を主張する。
【０００２】
発明の属する技術分野
本発明は、一般的に、演奏および音響／視覚表示に関し、特に、音響信号から問題のある単語をフィルタする方法と装置に関する。
【背景技術】
【０００３】
発明の背景
ライブ又はテープに録音したテレビおよびラジオのプログラム、映画、あるいは様々な音響表現は、時に、汚い単語、不明瞭な単語、あるいは特定の人物が問題であると考えるような単語やフレーズを含んでいる。多くの場合、問題となる言語が存在するため、人々は、表示を積極的に回避する。さらに、親は、時に、子供がこのような言語に触れることを禁止しようとする。
【０００４】
問題となる単語を含む全フレーズをミュートできる製品がある。しかしながら、全フレーズをミュートすると、時に会話の大部分が不完全なものとなり、見る者の理解が貧弱になり、見るもののフラストレーションが増すことがある。この全体のミュートは、しばしば、音響表示の質を下げる結果になる。
【０００５】
通常のテレビジョンセット、セットトップボックスなどは、音響成分と、ビデオ成分の双方を含むテレビジョン信号を受信し、音響信号を演奏し、ビデオ信号を表示する様々な処理エレメントを具えている。しかしながら、この処理エレメントは、音響／視覚信号の処理専用のものではなく、その他の動作を実行するためにわずかに余分な帯域を有している。
【０００６】
本発明の態様は、この背景を心に留めて考えられた。本発明は、単体の、あるいは音響／視覚信号の一部を形成する、音響信号の演奏を制御する装置と方法に関するものである。本発明の実施例は、問題となる単語のみを音響ストリームからミュートするように構成することができる。更に、本発明の実施例は、現存する物理的プラットフォームをわずかに変更する、あるいはまったく変更を加えずに、テレビジョンプロセッサ、セットトップボックスなどの従来の音響／視覚処理装置が稼動するように構成することができ、また、特定のアプリケーション用に必要があればリアルタイムで稼動するように構成することができる。本発明の実施例の詳細を以下により詳しく述べる。
【０００７】
発明の概要
本発明の一の態様は、クローズキャプション信号を受信するステップと、特定のテキストについてのクローズキャプション信号を分析するステップと、を具える音響信号の演奏制御方法である。この特定のテキストを同定すると、前記クローズキャプション信号から特定のテキストを同定する機能として音響信号を分析する。次いで、特定のテキストに対応する音響信号の再生を制御することができる。
【０００８】
再生を制御する動作は、（１）クローズキャプション信号の特定のテキストに対応する音響信号部分を減衰させるステップと；（２）クローズキャプション信号の特定のテキストに対応する音響信号の部分を実質的に削除するステップと；（３）クローズキャプション信号の特定のテキストに対応する音響信号用に構成した部分を減衰させる少なくとも一のコマンドを発するステップと；及び（４）音響信号中に少なくとも一の制御コードを挿入するステップであって、この制御コードがクローズキャプション信号からの特定されたテキストに対応する音響信号の部分を減衰させるように構成されているステップと；を具えていても良い。
【０００９】
この方法は、更に、特定のテキストを、特定のテキストの音声表示に変換する動作を具えていても良い。更に、この方法は、特定のテキストの時間を延長した音声表示を規定するために、特定のテキストの音声表示の時間を延長するステップを具えていても良い。音声表示用に、少なくとも一のエネルギィ値を決定して、特定のテキストの比較フォームを規定するようにしてもよい。同様に、この方法は、前記音響信号用の少なくとも一のエネルギィ値を決定して、音響信号の比較フォームを決定するステップを具えていても良い。
【００１０】
音響信号を分析する動作は、更に、特定のテキストの比較フォームと音響信号の比較フォームとを比較する動作を具えていても良い。したがって、本方法は、特定のテキストに対応する音響信号の部分を同定する動作を更に具えていても良い。
【００１１】
特定のテキストは、スペース、文字、単語、フレーズ、センテンス、制御コード、およびシンボルであっても良い。更に、特定のテキストは、ユーザによって選択されても良い。最後に、特定のテキストは、問題があると考えられるテキストから選択されたものであっても良い。
【００１２】
いくつかの特別な実装では、特定のテキストを同定する動作が更に、特定のテキストに時間的に先行する先行テキストを同定する動作を具えていてもよい。クローズキャプション信号から特定のテキストを同定する機能として音響信号を分析する動作が更に、クローズキャプション信号から先行テキストを同定する機能として音響信号を分析するステップを具えていても良い。更に、特定のテキストに対応する音響信号の再生制御動作が、更に、先行テキストに対応する音響信号の再生を制御するステップを具えていても良い。
【００１３】
本発明のもう一つの態様は、クローズキャプションテキスト信号の特定の部分をこの特定の部分の音響エクイバレントに変換するステップと；クローズキャプションテキスト信号の特定の部分の音響エクイバレントを音響信号と比較して、クローズキャプション信号の特定の部分に対応する音響信号の部分を同定するステップと；クローズキャプション信号の特定の部分に対応する音響信号の部分の再生を制御するステップとを具える、音響信号の演奏を制御する方法である。
【００１４】
再生を制御する動作が、更に、（１）クローズキャプション信号の特定の部分に対応する音響信号の部分を減衰させるステップと；（２）クローズキャプション信号の特定の部分に対応する音響信号の部分を実質的に削除するステップと；（３）クローズキャプション信号の特定の部分に対応する音響信号の特定の部分を減衰させるように構成した少なくとも一のコマンドを発生するステップと；及び、（４）少なくとも一の制御コードを音響信号中に挿入するステップであって、この制御コードがクローズキャプション信号の特定の部分に対応する音響信号を減衰させるように構成した制御コードであるステップと；を更に具えていても良い。
【００１５】
この第２の方法は、クローズキャプション信号の特定の部分をクローズキャプション信号の特定の部分の音声表示に変換する動作を具えていても良い。更に、この方法は、クローズキャプション信号の特定の部分の音声表示の時間を延長して、時間を延長した音声表示を規定する動作を具えていても良い。時間延長バージョンを含めた音声表示に関して、本方法は、音声表示の少なくとも一のエネルギィ値を決定して、クローズキャプション信号の特定の部分の比較フォームを規定するステップを具えていても良い。
【００１６】
比較のために、第２の方法は、音響信号用の少なくとも一のエネルギィ値を決定して、音響信号の比較フォームを規定するためステップを具えていても良い。比較動作は、更に、クローズキャプション信号の特定の部分の比較フォームと音響信号の比較フォームを比較する動作を具えていても良い。更に、この比較動作は、クローズキャプション信号の特定の部分に対応する音響信号の部分を同定するステップを更に具えていても良い。
【００１７】
ここに述べたいずれかの方法を用いる場合、コンピュータで実行可能な複数の命令を有するプロセッサが、様々な方法を実行するように構成することができる。
【００１８】
本発明の第３の態様は、少なくとも一の問題となる単語の表示を受信するステップと；クローズキャプション信号内のこの少なくとも一つの問題となる単語を同定するステップと；音響信号中の少なくとも一つの問題となる単語を、クローズキャプション信号の少なくとも一つの問題となる単語を同定する動作の機能として同定するステップと；を具える音響信号の再生を制御する方法である。
【００１９】
第３の方法によって、あるいはその他の方法によって、同定動作の機能として音響信号の音響表示を制御することが可能である。
【００２０】
第３の方法は、さらに、少なくとも一つの問題となる単語に対応する音響信号の部分の音響表示をミュートするステップを具えていても良い。更に、第３の方法は、問題となる単語に先行するクローズキャプション信号の一部を同定するステップを具えていても良い。この先行する部分は、スペース、文字、単語、フレーズ、シンボル、およびクローズキャプション制御信号からなる群から選択することができる。
【００２１】
第３の方法は、クローズキャプション信号中の少なくとも一の問題となる単語を同定するステップと、この問題となる単語に先行するクローズキャプション信号の一部を同定する動作の機能として音響信号中の少なくとも一の問題となる単語を同定するステップを具えていても良い。制御動作は、前記問題となる単語に先行するクローズキャプション信号の一部を同定する機能である。この方法は、更に、音響ストリーム中の問題となる単語に先行するクローズキャプション信号の部分の同定を行う機能として、音響表示のミュートを行わせる動作を具える。また、この方法は、音響信号中の少なくとも一の問題となる単語の同定を行う機能としてのミュートを終了するステップを具えていても良い。
【００２２】
本発明の第４の態様は、少なくとも一の問題となる単語の表示を受信するステップと；音響信号を受信するステップと；この音響信号をメモリに保存するステップと；前記保存した音響信号を処理して前記音響信号中に前記少なくとも一の問題となる単語が存在するかどうかを決定するステップと；前記処理動作の機能として、前記音響信号の音響表示を制御するステップと；を具える音響表示の再生制御方法である。前記制御の動作は：（１）少なくとも一の問題となる単語に対応する音響信号の部分を減衰させるステップと；（２）少なくとも一の問題となる単語に対応する音響信号の部分を実質的に削除するステップと；少なくとも一の制御コードを音響信号も挿入するステップであって、少なくとも一の問題となる単語に対応する音響信号に減衰を生じさせるようにこのコントロールコードが構成されているステップと；を具えていても良い。更に、前記処理動作が、前記音響信号の少なくとも一のチャンネルを解析するステップを具えていても良い。
【００２３】
実施例の詳細な説明
本発明の態様は、テレビション受信機、ケーブルまたはサテライトセットボックス、ビデオカセットレコーダ、ＤＶＤプレーヤ、あるいは音響ストリームを受信あるいは処理するように構成されたその他の音響信号処理装置を具える。一の特別な実装においては、音響信号処理装置は、音響ストリーム内の、特定の視聴者に対して問題となると考えられる単語など、所定の単語をミュートするように構成されている。本発明にかかる装置あるいは方法は、ユーザが問題となるとする様々な単語を表示することができるメカニズムを提供する。本発明にかかる一の実施例は、クローズキャプションストリームを解析して問題となる単語あるいはフレーズを検出し、クローズキャプション単語を音響表示に変換して、次いでクローズキャプションの音響表示を音響ストリームと比較して、音響ストリーム中の問題となる単語を同定する。問題となる単語が同定されると、本発明の実施例は、問題となる単語の音響表示をミュートする。
【００２４】
図１−８および以下の説明は、本発明の実施例を実装することができる一の好適なコンピュータ環境あるいは信号処理環境の簡単で一般的な説明を提供しようとするものである。要求されてはいないが、本発明の実施例は、テレビジョンプロセッサなどの、一またはそれ以上の処理エレメントによって実行されるプログラムモジュールといった、コンピュータで実行可能な命令の一般的なコンテキストで記載されている。通常、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を具えている。コンピュータで実行可能な命令と、関連するデータ構造及びプログラムモジュールは、ここに述べる方法のステップを実行するプログラムコード手段の例である。このような実行可能な命令あるいは関連するデータ構造の特定のシーケンスは、このようなステップに記載された機能を実装するための対応する行為の例である。更に、処理ユニットによって実行されているプログラムコード手段は、プロセッサ手段の一例である。
【００２５】
図１は、本発明にかかるプロセッサプラットフォーム１０の特定の実装を示すブロック図である。このプロセッサプラットフォームは、クローズキャプションアナライザ１２と音響ストリームアナライザ１４を実装している。クローズドキャプションアナライザは、従来の音響／ビデオテレビジョン信号からのクローズドキャプションストリームを受信して処理するように構成されている。ここに使用されているように、「クローズキャプション」は、音響信号のテキストの表現を規定する信号を意味する。音響信号は、アナログまたはデジタルであり、コード化されていても良く、ビデオ信号を伴うものであっても良い。クローズキャプションは、文字、スペース、単語、フレーズ、およびシンボルを具えていても良い。デジタル環境において、クローズキャプショニングは、さらに、データパケット、ネットワークコマンド及びリンク、及びその他のデータを具えていても良い。一の特別な例では、クローズキャプションは、ＥＩＡ−６０８、あるいはＥＩＡ−７０８Ｂ、あるいは関連するクローズキャプション企画に合致する信号を意味する。クローズキャプショニングは、アナログ又はデジタルのテレビジョン放送伝送、ケーブル、サテライト伝送、また、保存されている音響信号と対応させた、ＤＶＤｓ、その他といった保存されているメディアソースから伝送されたもの、に設けることができる。典型的には、アナログテレビジョン信号用には、クローズドキャプションストリームは、テレビジョン信号の垂直帰線消去インターバル（ＶＢＩ）に見られるライン２１データ領域に存在する。プロセッサプラットフォーム１０は、従来のクローズキャプションデコーダを具えている。クローズキャプションアナライザは、復号されたクローズキャプション信号を受信するように構成されている。しかしながら、デコーダ付のクローズキャプションアナライザに構成しても良い。デジタルテレビジョン信号はＶＢＩをもっていないので、デジタルテレビジョン信号用にはクローズキャプショニングはＶＢＩには設けられていない。そうではなく、クローズキャプショニング信号は、コード化したデジタルテレビジョン信号に多重化されている。デジタルテレビジョン信号用に、デジタルテレビジョン受信機プラットフォームによってクローズキャプショニングを抽出することができる。
【００２６】
クローズドキャプションアナライザは、また、特定のユーザによって同定される問題になる単語のリストを受信するように構成されている。ユーザは、オンスクリーン選択プロセスを介して問題になる単語を選択することができ、これによって、問題になる可能性のある全単語リストから、様々な問題になる単語をユーザが選択することができる。テレビジョンベースの実施例では、本発明によって構成された、テレビの遠隔コントロール、セットトップボックス、受信機、その他を介してユーザが特定の問題になる単語を操作して選択する、問題になる単語のリスト付きのオンスクリーンメニュを提供することができる。代替的に、ユーザは、キーボードや、アルファベットのオンスクリーンディスプレイと共に使用される遠隔コントロールの矢印キーなどのその他のテキスト入力デバイスなどによって、問題となる単語を直接入力することもできる。
【００２７】
「問題となる単語」のほかに、本発明の実施例は、あらゆるテキストの再生を検出及び制御するように構成することができる。クローズドキャプションアナライザ１２は、クローズドキャプションストリーム内の各単語をユーザによって同定された問題になる単語のリストと比較する。クローズドキャプションストリームの単語と、問題になる単語の間に合致があったと同定されると、問題になる単語のリストが音響ストリームアナライザ１４に転送される。
【００２８】
問題となる単語のリストは、本発明の特別な実装に応じて、同定された問題となるテキストのみ、問題となるテキストと先行するテキスト、あるいは問題となるテキストとフラッグの付いた前のテキストを伴うクローズキャプションストリーム全体、のいずれかを含んでいても良い。ここに使用されているとおり、「テキスト」の用語は、文字、単語、スペース、フレーズ、シンボル、および制御コードなど、クローズキャプションストリームのいずれかの成分を意味する。この単語リストは、クローズキャプション単語オーディオタイザ１６へ送られ、このオーディオタイザは、以下に述べるように、このテキストを更に処理して、音響信号または音響信号の比較フォームとの比較が可能であり、音響エクイバレントとしていくつかのフォームで引用されているテキストフォームを生成する。その他の処理エレメントトが付いている場合、オーディオタイザは、別の処理エレメント、テレビジョンプロセッサの機能部分、クローズキャプションアナライザ、または、音響ストリームアナライザであっても良い。本発明の図１の実施例の機能部品をより詳しく説明するために、別に示す。
【００２９】
音響ストリームアナライザ１４は、アナログ又はデジタルテレビジョン信号の音響部分などの音響ストリームを受信するように構成されている。音響ストリームアナライザ１４は、音響ストリームがデジタルフォーマットになっていない場合に、音響ストリームをデジタル化するためのアナログ−デジタル変換素子を具えていても良い。音響ストリームアナライザは以下に詳細を示すように、デジタル化した音響ストリームを、クローズドキャプションアナライザで同定した問題となる単語のリストと比較する様々なアルゴリズムを処理するように構成されており、音響ストリーム中の問題となる単語の再生を制御する。いくつかの実装においては、再生ステップは、問題となる単語をミュートするステップを具えている。ミュートステップは、問題となる単語の音響信号がブランクとなるか、振幅あるいは大きさが減衰するかした変形音響ストリームを定義するステップ、連続した処理エレメントが問題となる音響を読み取ってミュートする音響ストリーム中に埋め込まれたミュートコマンドで、問題となる単語を同定するステップと、問題となる単語の音響バージョンを含まないように音響表示と同期したミュートコマンドを発生するステップと、によって実行される。以下の議論は、クローズドキャプションアナライザと音響ストリームアナライザが音響信号の問題となる単語の再生制御に関連して機能する、様々な方法を述べている。クローズドキャプションアナライザ１２と音響ストリームアナライザは、同じプロセッサでコード化しても、別のプロセッサでコード化しても良く、様々なハードウエア構成で規定することができる。
【００３０】
図２は、本発明による、問題となる単語をミュートするなどの、音響表示の演奏を制御する一の方法を記載したフローチャートである。上述したとおり、クローズドキャプションアナライザは、垂直帰線消去インターバルのライン２１におけるクローズドキャプショニングを有する標準アナログテレビジョン信号である、音響表示からクローズドキャプションストリームを受信する（動作２００）。本発明の一の実施例では、クローズドキャプショニングストリームは、関連する音響ストリームの前に、あるいは関連する音響ストリームと同時発生的に受信される。次いで、クローズドキャプションアナライザが、問題となる単語のリストのクローズドキャプションストリームをサーチする（動作２１０）。問題となる単語は、ユーザ／視聴者によって同定され、クローズドキャプションアナライザと通信するメモリに保存される。クローズドキャプションテキスト中の問題となる単語を同定すると、クローズドキャプションアナライザが問題となる単語とその問題となる単語に先行する単語を音響ストリームアナライザに送信する。例えば、映画「風と共に去りぬ」では、クラークゲーブルがヴィヴィアンリーに、「Frankly Scarlett, I don’t give a damn」という。ユーザがこの単語「damn」が問題となると表示している場合、この単語「damn」は問題となる単語のリストに保存される。上記の引用のクローズドキャプショニング信号がクローズドキャプショニングアナライザで受信されルートワード「damn」は現ユーザにとって問題となるものであると認識され、この単語「damn」が先行する単語「a」と共に、音響ストリームアナライザへ送信される。
【００３１】
問題となる単語（最初は、テキストフォームで）を音響ストリームと適正に比較するために、問題となるテキストと、先行するテキストが、音響信号との比較用フォームに変換される（動作２２０）。一の実装では、オーディオタイザにおいて、この先行するテキストと問題となるテキストとが、テキストを音声表示に変換する文字から音へ（letter-to-sound）のアルゴリズムで処理される。この音声表示は、その後、テキストの平均的なあるいは典型的な期間と、テキストの音響エクイバレントを提供する単語に対する様々な周波数帯における、典型的なトータルエネルギィと特定のエネルギィの表示によって特徴付けられる。クローズドキャプショニングテキストが処理されるのと同時に、あるいは好ましくはクローズドキャプショニングテキストの処理に続いて、音響ストリームも比較用フォームに処理される（動作２３０）。以下に述べる一例では、音響ストリームを処理して、トータルエネルギィと、音響ストリームの時間インターバルを分離するための特定の周波数帯域の特定のエネルギィを決定する。クローズドキャプショニングテキスト処理と、音響ストリーム処理は、クローズドキャプションテキストと、比較の対象となるフォーマットにした音響ストリームを表している。
【００３２】
問題となる単語のテキストと先行する単語のテキストと、音響ストリームが同じフォーマットで表示されると、音響ストリーム中の問題となる単語が同定される（動作２４０）。このように、問題となるテキストが音響ストリーム中の特定の音響シーケンスと合致する。合致が、音響ストリームを伴う問題となるテキストと先行するテキストの間で同定されると、ミュートコマンドまたはその他のミュート処理が生じ、音響ストリームと関連するテレビジョンプロセッサが問題となる音響をミュートする（動作２５０）。したがって、図２について記載した方法によれば、テレビジョンあるいはその他のオーディオデバイスまたはオーディオ／ビジュアルデバイスが、一般的にミュートされた問題となる単語、フレーズ、音響を伴う音響シーケンスを演奏することができる。ここで使用されているように、「ミュート」という用語は、オーディオシーケンスの音量が低減された状態を意味し、ゼロにする必要はない。本発明のいくつかの実施例では、音響シーケンス中のミュートされた単語またはフレーズが可聴であるが、ミュートされた単語の音量は、隣接する単語より低い。
【００３３】
図３は、クローズドキャプションテキストを分析して、クローズドキャプションテキストがユーザによって問題になると同定された単語あるいはフレーズを含んでいるかどうかを確かめるための一の特定の方法を記載したフローチャートである。本発明の一の特定の実装においては、問題となる単語の選択プロセスにおいて、ユーザは、音響表示から排除する特定の単語、および音響表示から排除する原因となる単語（root words）を選択するようにしても良い。問題となるルートワードは、ルートワードフィルタリストに保存されている。「ルートワード」とは、一般的に、「damn」などの所定の問題となる単語のことであり、「damnit」や「***damnit.」といった、問題となる単語およびフレーズのホスト中のルートワードであっても良い。ルートワードフィルタリストを用いて、ルートワードを含むあらゆる単語がフィルタにかけられ、表示の音響部分から除去される。完全な問題となる単語は、除外単語リストに保存されている。
【００３４】
ユーザは、様々なメカニズムを介して問題となる単語を選択することができる。一の実装では、オンスクリーン選択メニューが、例えばテレビジョンモニタなどのスクリーン上に表示されている。このメニューは、ユーザがオンスクリーンメニューと通信するように構成された遠隔コントロールを用いて選択するであろうたくさんの潜在的な問題となる単語とフレーズを、単独であるいは組み合わせて、含んでいる。このメニューは、問題となる単語のグループ分けとレベル分けを具えていても良い。
【００３５】
図３を参照すると、クローズキャプションアナライザは、クローズドキャプショニングテキストストリームをルートワードと比較する（動作３００）。比較は、単語ごとに、各々が受信されるときにシリアルに実行することができる。また、この比較は、セグメントごとにクローズキャプションストリーム上で実行することもできる。クローズキャプショニングテキストの開始と終端は、クローズキャプションセグメントを表示するべきかを表示するマーカを具えている。本発明の実施例は、これらのマーカの間に生じるテキストのセグメントを分析するように構成することもできる。クローズキャプショニングストリーム中のテキストが問題となるルートワードを有している場合、このルートワードを含むテキストが、先行する単語と共に問題になるとしてフラッグがつけられる。次いで、クローズドキャプショニングストリームが、排除単語フィルタリストと比較される(動作３１０)。あらゆる問題となるテキストと先行するテキストにフラグがつけられる。以下により詳細に説明するように、問題となるテキストに先行するテキストは、ミュートの開始（すなわち、問題となる単語に先行する単語のオーディオシーケンスの端部がミュートの開始である）を同定するのに使用することができる。フラッグをつけるのに加えて、先行する単語を、ついで、問題となる単語を先入れ先出しバッファ（ＦＩＦＯ）にロードすることもできる。先行する単語、次いで問題となる単語がＦＩＦＯの順に処理され、比較フォームになる。先行するテキストを伴う音響に合致があった場合、それは放棄される。次いで、問題になるテキストに合致があった場合、それが放棄される。したがって、クローズキャプションと関連する音響との間の順次の時間的関係によって、クローズキャプション中の単語の同定から、音響のミュートへ、ＦＩＦＯの順に動作が行われる。
【００３６】
いくつかの実装では、ルートワードからあるいは排除単語リストからの問題になるテキストを更に分析して、使用のコンテキストに基づいて、実際に単語が許可されるか、問題となるかを決定する（動作３３０）。例えば、「bitch」という単語は、犬について議論するコンテキストでは使用可であるかもしれないが、その他では不可である。可能か否かを決定するために、一の実装では、その単語の使用のコンテキストをたしかめるために、クローズキャプションフレーズ中のその他のすべての単語について比較がなされる。例えば、「dog」という単語が同じフレーズに示されていれば、この単語は使用可能であり、問題となるとは認定されない。その他の方法が、２００４年１０月２３日に出願された米国暫定特許出願第６０／４８１，５４８号「メディアコンテントに関連する情報に基づくペアレンタル制御フィルタセッティング」に記載されている。この出願は、ここに引用によって含まれている。
【００３７】
合致がない場合は、プロセッサが、クローズドキャプショニングストリームの端部が検出されたか否かを決定する（動作３４０）。上述したとおり、クローズドキャプショニングストリームは、通常、クローズドキャプションセグメントの開始とクローズドキャプションセグメントの終端のインディケータを含んでいる。上述した例では、クローズドキャプショニングセグメントが「Frankly Scarlett, I don’t give a damn」というフレーズを具えている。この音響セグメント用のクローズドキャプショニングテキストは、「Frankly」という単語に先行するインディケータと、「damn」という単語に続くインディケータを含むことになる。フレーズの終端が検出されたら、テキストバッファとストリームミュートアナライザが空になり、音響表示からの問題になる単語が提供される。単語ごとのＦＩＦＯ構成では、動作３４０は実装されない。フレーズの終端が検出されない場合は、上述したルートワードリストと排除する単語リストに対して次の単語が分析される。
【００３８】
図４は、本発明の一の実装を示すフローチャートであり、ここでは、問題となるクローズドキャプショニングテキストと先行するテキストが、文字ごとのベースで、問題となるテキストを提供するプロセスの一部として、音響エクイバレントとして音声表示に変換される。図４に示すフローチャートの特別な例では、文字から音へのアルゴリズムを用いて、先行するテキストと問題になるテキストのテキスト表示を音声表示に変換する。様々な文字から音へのアルゴリズムを使用することができる。一の例では、音声表示が、スペース用カテゴリ、母音、二重母音、半母音用カテゴリ、ストップ用カテゴリ、鼻音用カテゴリ、摩擦音、ささやき、破擦音用カテゴリ、の５つの主カテゴリに分けられている。
【００３９】
第１の動作では、テキストを分析して、このテキストがスペースを含むかどうかを決定する（動作４００）。スペースは、延長したサイレンスあるいは会話に関連する特性の欠如によって決定することができる。文字から音へのアルゴリズムが、テキストがスペースを含んでいると決定し場合、「−」が割り当てられる(動作４０５)。次いで、テキストを分析して、テキストが母音、二重母音、または半母音を含むかどうかを決定する（動作４１０）。通常、母音、二重母音及び半母音は、低周波数の高エネルギィレベルで特徴づけられる。一例は、母音「a, e, i, o, u」と、「ou」「ow」「oi」などの文字の組み合わせ、および半母音「w, l, r およびy」を具えている。更に、母音、二重母音、半母音は、「beet」という単語に見られる「ee」の周波数の高い母音や、「boot」の単語中の「oo」といった周波数の低い母音に分けることができる。文字から音へのアルゴリズムが、単語を構成している文字が母音を含むかどうかを決定する場合は、「Ｖ」が割り当てられる（動作４１５）。次いで、先行するテキストまたは問題となるテキストを分析して、このテキストがストップを含むかどうかを決定する（動作４２０）。ストップは、バースト音が続いて口が全体的に閉じる間の短い期間によって特徴づけられる。一例では、ｐ、ｔ、ｋなど無声ストップが、ｂ、ｄ、ｇなどの有声ストップと区別される。文字から音へのアルゴリズムが、単語の文字がストップを含んでいるかを決定した場合は、「Ｓ」が割り当てられる（動作４２５）。次いで、先行するテキストあるいは問題となるテキストが分析され、鼻音を含むかどうかを決定する（動作４３０）。鼻音は、通常、ｍ、ｎ、ｎｇの発音に見られるように、口ではなく鼻腔からの周波数の低い音として特徴付けられる。文字から音へのアルゴリズムでテキストが鼻音を含むと決定すると、このテキストは「Ｎ」が割り当てられる（動作４３５）。最後に、先行するテキストまたは問題となるテキストを分析して、摩擦音、ささやき、破擦音を含んでいるかどうかを決定する。摩擦音、ささやき、破擦音は、より高い周波数で集中したエネルギィで特徴づけられ、ｖ、ｐｈ、ｚ、ｚｈ（「azure」にあるように）、ｆ、ｓ、ｓｈ、ｊ、ｃｈ、およびｈの文字に関連する音にあるように、圧縮されたパッセージから息を押し付けることによって生じる。文字から音へのアルゴリズムが、テキストが摩擦音、ささやき、破擦音を含むと決定した場合は、このテキストは「Ｆ」に割り当てられる(動作４４５)。各単語は、完全に特徴づけられ、したがって、動作４５０では、アルゴリズムがその単語が完全であるかどうかを決定する。完全でない場合は、最初の動作４００から始めて、分析を続ける。
【００４０】
文字から音へのアルゴリズムによる先行するテキストと問題となるテキストの分析は、フレーズまたは単語に、記識別子、すなわち、―、Ｖ、Ｓ、ＮおよびＦ、のうちの一つを割り当てる。「Frankly Scarlett, I don’t give a damn」というフレーズは、シンボルストリングに変換される。先行する単語「ａ」は、識別子「Ｖ」を含み、その後にスペース識別子が続き、次いで、「damn」の単語がシンボルＳ、ＶおよびＮで同定される。ここで、Ｓは、文字「ｄ」のストップを表し、Ｖは母音「ａ」を表し、Ｎは鼻音「ｍｎ」を表す。
【００４１】
図５は、クローズドキャプショニング信号から同定された問題になるテキストの比較フォームに対する比較を準備する際に音響信号を分析あるいは処理する一の方法を示すフローチャートである。まず、音響ストリームアナライザは、デジタル化した音響信号とセグメントを受信し、音響信号を一連の２０ミリ秒部分に分ける（動作５００）。アナログまたはデジタル化した時間信号の各２０ミリ秒部分は、以下で、「スピーチスライス」とよぶ。音響ストリームアナライザは、各スピーチスライスのトータルエネルギィを計算する（動作５１０）。一の例では、時間スライスのトータルエネルギィは、平均信号強度を標準化するための長期間のエネルギィ平均によって標準化された振幅の２乗の和である。更に、スピーチスライスの様々な周波数帯域のエネルギィが決定される（動作５２０−５４０）。一例では、音響アナライザが、１５０〜１５００Ｈｚの周波数帯で（動作５２０）、１５００〜３０００Ｈｚの周波数帯で（動作５３０）、および３０００Ｈｚ以上の周波数帯で（動作５４０）のスピーチスライスのエネルギィを決定する。一の例では、各周波数帯の測定値が標準化され、全エネルギィのパーセンテージとなる。このようなエネルギィの決定は、高速フーリエ変換などで、デジタルフィルタリングを行い、次いで、周波数帯域を決定するために加算することによって行われる。代替的に、バンドエネルギィの代わりに、ケプストラム係数によるアプローチを用いることもできる。
【００４２】
トータルエネルギィと周波数帯のエネルギィを決定することは、クローズドキャプショニングテキストに関して決定されたスピーチサウンドのカテゴリ（すなわち、―、Ｖ、Ｓ、Ｎ、及びＦ）を区別するための十分な情報を捕らえる４つの明確な特徴を提供する。スピーチサウンドは、エネルギィの４つの番号の単一の表示ではなく、その音を含む時間インターバルを越えた各時間スライスを表す、一連の４つの番号のエネルギィ表示である。
【００４３】
図６は、ミュートが生じるべきときを決定するために、先行するテキストと問題になるテキストの比較フォームを音響ストリームの比較フォームと比較する一方法を記載したフローチャートである。テキストと音響信号を適正に比較するために、テキストを更に処理して、テキストの音声シンボル表示を音タイプの平均持続時間へ延長し、音の正しいエネルギィ特性に関連させる。上述したとおり、音響信号は２０ミリ秒のタイムスライスに分けられ、各２０ミリ秒のタイムスライスは、トータルエネルギィと、３つの特定の周波数帯のエネルギィによって特徴付けられる。このように、音響信号は、時間とエネルギィによって広く特徴づけられる。したがって、先行するテキストと問題になるテキストの音声表示は、さらに音響信号と比較する目的で、時間とエネルギィによって特徴付けられる。
【００４４】
まず、先行するテキストと問題になるテキストの音声表示は、音タイプの平均持続時間と関連するべく延長された時間である（動作６００）。各音タイプの平均持続時間は、実験によって決定することができる。例えば、母音が平均１６０ミリ秒であれば、８つの２０ミリ秒のタイムスライスを繰り返す。時間を延長する動作中に、各シンボルは、そのシンボルの平均持続時間を越えて延長される。このようにして、母音は１６０ミリ秒に延長される。例えば、音声には「Ｖ」として表示される「damn」中の「ａ」は、１６０ミリ秒に延長されるであろう。
【００４５】
各音声表示用の時間長に加えて、各音声表示は、トータルエネルギィ値にも、音響信号の同じ周波数帯のエネルギィ値（すなわち、１５０−１５００Ｈｚ、１５００−３０００Ｈｚ、及び３０００Ｈｚ以上）にも関連している（動作６１０）。一例では、各音声シンボル用に、典型的なエネルギィ値のマトリックスが、所定の時間インターバルを超えて提供されている。したがって、例えば、平均１６０ミリ秒の母音に対して、エネルギィマトリックスは、１６０ミリ秒の範囲を超えたエネルギィ値に与えられる。このマトリックスあるいは「テンプレート」は、様々なシンボルの異なる発音の実験と、音声シンボルに存在する文字とによって各音声シンボルに発展する。このように、マトリックスは各音声シンボルについて多くの異なる音表示を含んでいても良い。このマトリックス技術は、Computer-Oriented Approaches to Pattern Recognition, Academic Press, 1972、のMeiselによる「Cluster Analysis and Unsupervised Learning」に記載されている。この文献は、ここに引用されている。
【００４６】
クローズドキャプションテキストが比較フォームである場合、音響ストリームの比較フォームと比較される（エネルギィ値で）(動作６２０)。合致がある場合（動作６３０）、先行するテキストの終端が続く音響ストリーム中にミュートコード又はコマンドがセットされる（動作６４０）。合致した先行テキストの表示上のミュートは、本発明の３つの異なる構成において実行することができる。一の構成では、先行するテキストの後端の検出と同時に音響アナライザがミュートコマンドを出す。ミュートコマンドによって音響が一瞬ミュートされる。このコマンドが音響ストリームに比較して所定の潜在期間を有する場合、様々な潜在期間メカニズムを用いて、コマンドを十分に遅らせて、音響ストリームを実際の演奏と同期させるようにする。もう一つの構成では、音響ストリームを変調して、先行するスピーチの後端が続く音響データがブランクになるか、減衰されるか、するようにする。ブランキングまたは減衰は、問題になるテキストの後端が検出されるまで続く。最後に、第３の代替では、デジタルコマンドを音響ストリーム中の先行するテキストと問題になるテキストの間に挿入することができる。音響ストリーム中にミュートコマンドを検出すると、デジタル化された音響ストリーム中に挿入されたミュートコードに従って、音響が瞬間的にミュートされる。
【００４７】
先行するテキストを比較した後、問題になるテキストの音響比較フォームが音響ストリームの比較フォームと比較される（動作６５０）。合致が検出されると（動作６６０）、問題になる言語の後端において第２のミュートコード又はコマンドが発せられる（動作６７０）。問題になる言語の後端で、音響をミュートするコマンドを出す実施例では、正常の音量で音響を再度演奏するコマンドを出す、すなわち、そのミュートを不可能とする。デジタル化した音響ストリームが減衰される、あるいはブランクになる実施例では、問題となる単語の後端が検出されると、ブランキング動作または減衰動作が停止され、音響ストリームはもはや変更されない。最後に、デジタル化した音響ストリーム中に複合コマンドを使用する実施例では、続く非ミュートコマンドが、問題となる単語の端部の後ろの位置で音響ストリーム内に挿入される。
【００４８】
図７は、先行するあるいは問題になるテキストの比較フォームを音響ストリームの比較フォームと比較する一の方法を示すフローチャートである。第１の動作は、テキストの比較フォーム（予測信号）と、音響信号の比較フォーム（観察信号）間の時間アラインメントを含む（動作７００）。特別な一の実装では、時間アラインメントが、一般的にダイナミック時間ワーピング（dynamic time-warping）として呼ばれている広く認識されたテンプレートを合致させる会話認識システムによって実行される。
【００４９】
図８は、ダイナミック時間ワーピングアルゴリズムに基づく、観察信号と予測信号間の時間アラインメントの一例を示す図である。図４、および図６の動作６００と６１０で述べた方法によって予測信号が発生する。観察信号は、本明細書で図５を参照に述べた方法に基づいて発生する。上述したとおり、観察信号は、トータルエネルギィと、１５０−１５００Ｈｚの周波数帯域のエネルギィ、１５００−３０００Ｈｚの周波数帯域のエネルギィ、３０００Ｈｚ超の周波数帯域のエネルギィを含む、一連の４次元ベクトルである。更に、４次元ベクトルは各々２０ミリ秒のスライスを具える。図８に示す例では、１４個の２０ミリ秒のタイムスライスと、関連する４次元ベクトル（×１-×１４）がある。ダイナミック時間ワーピングアルゴリズムは、予測した値と観察した値間の合致を調べる「スコア」の使用を介して、予測した一連の信号（−ＦＦＦＶＶＶＶＶＶＶＮＮ）の観察した信号に対する最良の合致を、合致の最良の方法を決定するトータルスコアを用いて見出す。このダイナミック時間ワーピングアルゴリズムはまた、一の予測した値をあまりに多くの実際の値の上に「引き伸ばし」たりしたくない、又その逆を起こしたくないという要望を考慮に入れている。その結果、上述の予測値インターバルと実際の値のインターバルとが合致する最良の割り当てとなろう。そうであれば、このアルゴリズムは、先行するテキストを合致させている場合に、例えば、先行するフレーズなどの合致されるフレーズが観察信号スライス×１４にて終了すること、及び、その時間スライスの後にミュートが開始すべきであることを予測する。したがって、処理を行っている間に、先行するテキストの終了が検出された場合、ここに述べた様々な方法のいずれかによって、ミュートが開始される。例えば、エラー、雑なトランスクリプション、あるいは過剰なバックグラウンドノイズなどで、音響がスピーチに合理的に合致しない場合は、スコアは、合致が貧弱であることを表示し、スコアに基づいては何のアクションも取られないであろう。
【００５０】
時間アラインメントの一部として、単一の観察した時間セグメント（４つの特長値を持つ）と、例えば、母音（Ｖ）などの５つの音声カテゴリの一つによって特徴付けられた予測した時間セグメントとの合致を比較することによってスコアが作られる。テキストを音響エクイバレントに変換することに関して前述したように、一のオプションは、例えば、展開フェーズの間にそのカテゴリの典型的な例を平均化することによって、各特長の「典型的な」値を有することである。これによって、そのスコアは観察した値に対する典型的な値の最良の合致となる。この合致は、単純な「距離」の測定、つまり各特長の２乗残差法によって測定できる：距離の二乗を与えるためのベクトル表示は‖Ｘobserved −Ｘtarget‖２。合致が正確であれば、スコアはゼロになる。最良の合致は、最小のトータルスコアのカテゴリに入る。変形例は、この特徴に別々に重み付けすることである。例えば、それによって性能が改善するのであれば、各周波数帯域のエネルギィ以上にトータルエネルギィに重み付けするなどである。上述したとおり、スピーチの各カテゴリィに、一以上の典型的な例（テンプレート）がある場合、スコアはそのカテゴリ中のすべてのテンプレートについて最小である。
Mini[‖Ｘobserved −Ｘtarget-i‖２]
要約すると、スコアリング機能の選択とそのスコアリング機能を用いるためのダイナミック時間ワーピングなどのアルゴリズムによって、いつフレーズが終了するかを決定するためのアルゴリズムが特定される。
【００５１】
本発明の代替の実施例は、クローズキャプション信号の分析を含まない。むしろ、音響信号が受信され、メモリに保存される。この保存された音響信号を、スピーチ認識アルゴリズムで処理する。このようなスピーチ認識アルゴリズムは、音響信号を分析するにあたって、振幅、周波数、波長、および様々なそのほかのファクタを考慮する。スピーチ認識アルゴリズムによって同定される、各単語、フレーズ、その他は、ユーザによって同定された問題となる単語と、及び／又は、ユーザによって同定された問題になるルートワードと比較される。合致した音響シーケンスは、保存した信号セグメントの動作、あるいは保存した信号に埋め込まれているミュートコードによってメモリ内で直接減衰する。
【００５２】
音響信号が話し単語とその他の音、すなわち、バックグラウンドノイズ、音楽、周辺ノイズなどのその他の音を含む場合、様々なフィルタリング技術を用いて、話し単語をその他の音から分離するようにしても良い。更に、例えば、センターチャネル、フロントチャネル、リアチャネル、などの多重トラックの音響信号に対しては、各音響トラックを別々に分析することができる。通常、中央チャネルはマルチチャネル音響信号中の話し単語のほとんどあるいはすべてを含む。したがって、中央チャネルのみを分析すれば十分なことがある。
【００５３】
本発明の実施例は、様々なコンピュータハードウエアを具える特定目的のあるいは汎用目的のコンピュータ、テレビジョンシステム、音響システム、及び／又は、これらの組み合わせを具えていても良い。これらの実施例は、上記に詳細に述べられている。しかしながら、すべてのケースにおいて、上述の実施例は、本発明の範囲を限定するものではなく、例示であると考えるべきである。
【００５４】
本発明の範囲内の実施例も、コンピュータで実行可能な命令またはコンピュータに保存されたデータ構造を搬送するあるいは有するためのコンピュータで読み出し可能な媒体を具えている。このようなコンピュータで読み出し可能な媒体は、テレビジョン、セットトップボックス、その他の処理エレメントなど、一般目的あるいは特別な目的のコンピュータによってアクセスすることができるあらゆる入手可能な媒体であっても良い。限定ではなく例示としての、このようなコンピュータで読み出し可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはその他の光ディスクストレージ、磁気ディスクストレージ、あるいはその他の磁気ストレージデバイス、又は、コンピュータで実行可能な命令またはデータ構造の形式の所望のプログラムコード手段を搬送または保存するのに使用することができ、一般目的あるいは特別な目的のコンピュータでアクセス可能なその他のあらゆる媒体を具える。情報がネットワークまたはその他の通信リンク又はコネクション（ハードワイヤ、無線、あるいは、ハードワイヤと無線の組み合わせのいずれか）を介してコンピュータに転送される、あるいは提供される場合、このコンピュータはコンピュータで読み取り可能な媒体としての接続を適正に見ている。したがって、このようなコネクションもすべて、適正に、コンピュータで読み出し可能な媒体と呼ばれる。上述した媒体の組み合わせも、コンピュータで読み出し可能な媒体の範囲に含まれる。コンピュータで実行可能な命令は、例えば、一般的な目的のコンピュータ、特別な目的のコンピュータ、あるいは特別な目的の処理デバイスにある機能、又は機能群を実行させる命令およびデータを具える。
【００５５】
図１と、それに関連する記載は、本発明を実装することのできる好適なコンピュータの今日の簡単で一般的な記載を提供することを意図したものである。要求されているわけではないが、本発明は、テレビジョンプロセッサなどの一またはそれ以上の処理エレメントで実行されるプログラムモジュールなど、コンピュータで実行可能な命令の一般的なコンテキストで説明されている。一般的に、プログラムモジュールは、特定のタスクを実行するあるいは特定の抽象データ型を実装する、ルーチン、プログラム、対象、コンポネント、データ、構造、その他を有する。コンピュータで実行可能な命令、関連するデータ構造、およびプログラムモジュールは、ここに記載されている方法のステップを実行するためのプログラムコード手段の例を示すものである。このような実行可能な命令あるいは関連するデータ構造の特定のシーケンスは、このようなステップに述べられている機能を実装するための対応する行為の例を示すものである。更に、処理ユニットで実行されているプログラムコード手段は、プロセッサ手段の一例を提供するものである。
【図面の簡単な説明】
【００５６】
【図１】図１は、本発明の一の処理アレンジメントを示すブロック図である。
【図２】図２は、特定のテキスト用に対応するクローズキャプション信号をモニタし、次いで、特定のテキストに対応する音響信号の一部を同定することによって音響信号の再生を制御する本発明による一の方法のフローチャートである。
【図３】図３は、クローズキャプション信号が本発明に合致する特定のテキストを含んでいるかどうかを決定するクローズキャプション信号をモニタする方法を示すフローチャートである。
【図４】図４は、クローズキャプションストリームのテキストに文字−音アルゴリズムを適用して、本発明に合致するテキストの音声表示を決定する方法を示すフローチャートである。
【図５】図５は、本発明に合致するエネルギィ値を割り当てるための音響信号の時間セグメントを分析する方法を示すフローチャートである。
【図６】図６は、本発明にかかる、音響信号のある部分をミュートすることによるなどして、音響信号の再生を制御するために、クローズキャプション信号のテキストの比較フォームを音響信号の比較フォームと比較する方法を示すフローチャートである。
【図７】図７は、本発明にかかるクローズキャプション信号の比較フォームを音響信号の比較フォームと比較する方法を示すフローチャートでる。
【図８】図８は、本発明にかかる、クローズキャプション信号のテキストの比較フォームを、音響信号の比較フォームに整列させて比較するための時間アラインメントとスコアリングルーチンを図に示したものである。
【技術分野】
【０００１】
関連出願
本出願は非暫定出願であり、ここに引用して含まれている、２００３年８月２６日に出願した「関連する音響信号の分析に基づくメディアコンテンツのフィルタリング；当該分析を助ける関連するクローズドキャプション信号の使用」と題する暫定出願６０／４９７，７６９号の優先権を主張する。
【０００２】
発明の属する技術分野
本発明は、一般的に、演奏および音響／視覚表示に関し、特に、音響信号から問題のある単語をフィルタする方法と装置に関する。
【背景技術】
【０００３】
発明の背景
ライブ又はテープに録音したテレビおよびラジオのプログラム、映画、あるいは様々な音響表現は、時に、汚い単語、不明瞭な単語、あるいは特定の人物が問題であると考えるような単語やフレーズを含んでいる。多くの場合、問題となる言語が存在するため、人々は、表示を積極的に回避する。さらに、親は、時に、子供がこのような言語に触れることを禁止しようとする。
【０００４】
問題となる単語を含む全フレーズをミュートできる製品がある。しかしながら、全フレーズをミュートすると、時に会話の大部分が不完全なものとなり、見る者の理解が貧弱になり、見るもののフラストレーションが増すことがある。この全体のミュートは、しばしば、音響表示の質を下げる結果になる。
【０００５】
通常のテレビジョンセット、セットトップボックスなどは、音響成分と、ビデオ成分の双方を含むテレビジョン信号を受信し、音響信号を演奏し、ビデオ信号を表示する様々な処理エレメントを具えている。しかしながら、この処理エレメントは、音響／視覚信号の処理専用のものではなく、その他の動作を実行するためにわずかに余分な帯域を有している。
【０００６】
本発明の態様は、この背景を心に留めて考えられた。本発明は、単体の、あるいは音響／視覚信号の一部を形成する、音響信号の演奏を制御する装置と方法に関するものである。本発明の実施例は、問題となる単語のみを音響ストリームからミュートするように構成することができる。更に、本発明の実施例は、現存する物理的プラットフォームをわずかに変更する、あるいはまったく変更を加えずに、テレビジョンプロセッサ、セットトップボックスなどの従来の音響／視覚処理装置が稼動するように構成することができ、また、特定のアプリケーション用に必要があればリアルタイムで稼動するように構成することができる。本発明の実施例の詳細を以下により詳しく述べる。
【０００７】
発明の概要
本発明の一の態様は、クローズキャプション信号を受信するステップと、特定のテキストについてのクローズキャプション信号を分析するステップと、を具える音響信号の演奏制御方法である。この特定のテキストを同定すると、前記クローズキャプション信号から特定のテキストを同定する機能として音響信号を分析する。次いで、特定のテキストに対応する音響信号の再生を制御することができる。
【０００８】
再生を制御する動作は、（１）クローズキャプション信号の特定のテキストに対応する音響信号部分を減衰させるステップと；（２）クローズキャプション信号の特定のテキストに対応する音響信号の部分を実質的に削除するステップと；（３）クローズキャプション信号の特定のテキストに対応する音響信号用に構成した部分を減衰させる少なくとも一のコマンドを発するステップと；及び（４）音響信号中に少なくとも一の制御コードを挿入するステップであって、この制御コードがクローズキャプション信号からの特定されたテキストに対応する音響信号の部分を減衰させるように構成されているステップと；を具えていても良い。
【０００９】
この方法は、更に、特定のテキストを、特定のテキストの音声表示に変換する動作を具えていても良い。更に、この方法は、特定のテキストの時間を延長した音声表示を規定するために、特定のテキストの音声表示の時間を延長するステップを具えていても良い。音声表示用に、少なくとも一のエネルギィ値を決定して、特定のテキストの比較フォームを規定するようにしてもよい。同様に、この方法は、前記音響信号用の少なくとも一のエネルギィ値を決定して、音響信号の比較フォームを決定するステップを具えていても良い。
【００１０】
音響信号を分析する動作は、更に、特定のテキストの比較フォームと音響信号の比較フォームとを比較する動作を具えていても良い。したがって、本方法は、特定のテキストに対応する音響信号の部分を同定する動作を更に具えていても良い。
【００１１】
特定のテキストは、スペース、文字、単語、フレーズ、センテンス、制御コード、およびシンボルであっても良い。更に、特定のテキストは、ユーザによって選択されても良い。最後に、特定のテキストは、問題があると考えられるテキストから選択されたものであっても良い。
【００１２】
いくつかの特別な実装では、特定のテキストを同定する動作が更に、特定のテキストに時間的に先行する先行テキストを同定する動作を具えていてもよい。クローズキャプション信号から特定のテキストを同定する機能として音響信号を分析する動作が更に、クローズキャプション信号から先行テキストを同定する機能として音響信号を分析するステップを具えていても良い。更に、特定のテキストに対応する音響信号の再生制御動作が、更に、先行テキストに対応する音響信号の再生を制御するステップを具えていても良い。
【００１３】
本発明のもう一つの態様は、クローズキャプションテキスト信号の特定の部分をこの特定の部分の音響エクイバレントに変換するステップと；クローズキャプションテキスト信号の特定の部分の音響エクイバレントを音響信号と比較して、クローズキャプション信号の特定の部分に対応する音響信号の部分を同定するステップと；クローズキャプション信号の特定の部分に対応する音響信号の部分の再生を制御するステップとを具える、音響信号の演奏を制御する方法である。
【００１４】
再生を制御する動作が、更に、（１）クローズキャプション信号の特定の部分に対応する音響信号の部分を減衰させるステップと；（２）クローズキャプション信号の特定の部分に対応する音響信号の部分を実質的に削除するステップと；（３）クローズキャプション信号の特定の部分に対応する音響信号の特定の部分を減衰させるように構成した少なくとも一のコマンドを発生するステップと；及び、（４）少なくとも一の制御コードを音響信号中に挿入するステップであって、この制御コードがクローズキャプション信号の特定の部分に対応する音響信号を減衰させるように構成した制御コードであるステップと；を更に具えていても良い。
【００１５】
この第２の方法は、クローズキャプション信号の特定の部分をクローズキャプション信号の特定の部分の音声表示に変換する動作を具えていても良い。更に、この方法は、クローズキャプション信号の特定の部分の音声表示の時間を延長して、時間を延長した音声表示を規定する動作を具えていても良い。時間延長バージョンを含めた音声表示に関して、本方法は、音声表示の少なくとも一のエネルギィ値を決定して、クローズキャプション信号の特定の部分の比較フォームを規定するステップを具えていても良い。
【００１６】
比較のために、第２の方法は、音響信号用の少なくとも一のエネルギィ値を決定して、音響信号の比較フォームを規定するためステップを具えていても良い。比較動作は、更に、クローズキャプション信号の特定の部分の比較フォームと音響信号の比較フォームを比較する動作を具えていても良い。更に、この比較動作は、クローズキャプション信号の特定の部分に対応する音響信号の部分を同定するステップを更に具えていても良い。
【００１７】
ここに述べたいずれかの方法を用いる場合、コンピュータで実行可能な複数の命令を有するプロセッサが、様々な方法を実行するように構成することができる。
【００１８】
本発明の第３の態様は、少なくとも一の問題となる単語の表示を受信するステップと；クローズキャプション信号内のこの少なくとも一つの問題となる単語を同定するステップと；音響信号中の少なくとも一つの問題となる単語を、クローズキャプション信号の少なくとも一つの問題となる単語を同定する動作の機能として同定するステップと；を具える音響信号の再生を制御する方法である。
【００１９】
第３の方法によって、あるいはその他の方法によって、同定動作の機能として音響信号の音響表示を制御することが可能である。
【００２０】
第３の方法は、さらに、少なくとも一つの問題となる単語に対応する音響信号の部分の音響表示をミュートするステップを具えていても良い。更に、第３の方法は、問題となる単語に先行するクローズキャプション信号の一部を同定するステップを具えていても良い。この先行する部分は、スペース、文字、単語、フレーズ、シンボル、およびクローズキャプション制御信号からなる群から選択することができる。
【００２１】
第３の方法は、クローズキャプション信号中の少なくとも一の問題となる単語を同定するステップと、この問題となる単語に先行するクローズキャプション信号の一部を同定する動作の機能として音響信号中の少なくとも一の問題となる単語を同定するステップを具えていても良い。制御動作は、前記問題となる単語に先行するクローズキャプション信号の一部を同定する機能である。この方法は、更に、音響ストリーム中の問題となる単語に先行するクローズキャプション信号の部分の同定を行う機能として、音響表示のミュートを行わせる動作を具える。また、この方法は、音響信号中の少なくとも一の問題となる単語の同定を行う機能としてのミュートを終了するステップを具えていても良い。
【００２２】
本発明の第４の態様は、少なくとも一の問題となる単語の表示を受信するステップと；音響信号を受信するステップと；この音響信号をメモリに保存するステップと；前記保存した音響信号を処理して前記音響信号中に前記少なくとも一の問題となる単語が存在するかどうかを決定するステップと；前記処理動作の機能として、前記音響信号の音響表示を制御するステップと；を具える音響表示の再生制御方法である。前記制御の動作は：（１）少なくとも一の問題となる単語に対応する音響信号の部分を減衰させるステップと；（２）少なくとも一の問題となる単語に対応する音響信号の部分を実質的に削除するステップと；少なくとも一の制御コードを音響信号も挿入するステップであって、少なくとも一の問題となる単語に対応する音響信号に減衰を生じさせるようにこのコントロールコードが構成されているステップと；を具えていても良い。更に、前記処理動作が、前記音響信号の少なくとも一のチャンネルを解析するステップを具えていても良い。
【００２３】
実施例の詳細な説明
本発明の態様は、テレビション受信機、ケーブルまたはサテライトセットボックス、ビデオカセットレコーダ、ＤＶＤプレーヤ、あるいは音響ストリームを受信あるいは処理するように構成されたその他の音響信号処理装置を具える。一の特別な実装においては、音響信号処理装置は、音響ストリーム内の、特定の視聴者に対して問題となると考えられる単語など、所定の単語をミュートするように構成されている。本発明にかかる装置あるいは方法は、ユーザが問題となるとする様々な単語を表示することができるメカニズムを提供する。本発明にかかる一の実施例は、クローズキャプションストリームを解析して問題となる単語あるいはフレーズを検出し、クローズキャプション単語を音響表示に変換して、次いでクローズキャプションの音響表示を音響ストリームと比較して、音響ストリーム中の問題となる単語を同定する。問題となる単語が同定されると、本発明の実施例は、問題となる単語の音響表示をミュートする。
【００２４】
図１−８および以下の説明は、本発明の実施例を実装することができる一の好適なコンピュータ環境あるいは信号処理環境の簡単で一般的な説明を提供しようとするものである。要求されてはいないが、本発明の実施例は、テレビジョンプロセッサなどの、一またはそれ以上の処理エレメントによって実行されるプログラムモジュールといった、コンピュータで実行可能な命令の一般的なコンテキストで記載されている。通常、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を具えている。コンピュータで実行可能な命令と、関連するデータ構造及びプログラムモジュールは、ここに述べる方法のステップを実行するプログラムコード手段の例である。このような実行可能な命令あるいは関連するデータ構造の特定のシーケンスは、このようなステップに記載された機能を実装するための対応する行為の例である。更に、処理ユニットによって実行されているプログラムコード手段は、プロセッサ手段の一例である。
【００２５】
図１は、本発明にかかるプロセッサプラットフォーム１０の特定の実装を示すブロック図である。このプロセッサプラットフォームは、クローズキャプションアナライザ１２と音響ストリームアナライザ１４を実装している。クローズドキャプションアナライザは、従来の音響／ビデオテレビジョン信号からのクローズドキャプションストリームを受信して処理するように構成されている。ここに使用されているように、「クローズキャプション」は、音響信号のテキストの表現を規定する信号を意味する。音響信号は、アナログまたはデジタルであり、コード化されていても良く、ビデオ信号を伴うものであっても良い。クローズキャプションは、文字、スペース、単語、フレーズ、およびシンボルを具えていても良い。デジタル環境において、クローズキャプショニングは、さらに、データパケット、ネットワークコマンド及びリンク、及びその他のデータを具えていても良い。一の特別な例では、クローズキャプションは、ＥＩＡ−６０８、あるいはＥＩＡ−７０８Ｂ、あるいは関連するクローズキャプション企画に合致する信号を意味する。クローズキャプショニングは、アナログ又はデジタルのテレビジョン放送伝送、ケーブル、サテライト伝送、また、保存されている音響信号と対応させた、ＤＶＤｓ、その他といった保存されているメディアソースから伝送されたもの、に設けることができる。典型的には、アナログテレビジョン信号用には、クローズドキャプションストリームは、テレビジョン信号の垂直帰線消去インターバル（ＶＢＩ）に見られるライン２１データ領域に存在する。プロセッサプラットフォーム１０は、従来のクローズキャプションデコーダを具えている。クローズキャプションアナライザは、復号されたクローズキャプション信号を受信するように構成されている。しかしながら、デコーダ付のクローズキャプションアナライザに構成しても良い。デジタルテレビジョン信号はＶＢＩをもっていないので、デジタルテレビジョン信号用にはクローズキャプショニングはＶＢＩには設けられていない。そうではなく、クローズキャプショニング信号は、コード化したデジタルテレビジョン信号に多重化されている。デジタルテレビジョン信号用に、デジタルテレビジョン受信機プラットフォームによってクローズキャプショニングを抽出することができる。
【００２６】
クローズドキャプションアナライザは、また、特定のユーザによって同定される問題になる単語のリストを受信するように構成されている。ユーザは、オンスクリーン選択プロセスを介して問題になる単語を選択することができ、これによって、問題になる可能性のある全単語リストから、様々な問題になる単語をユーザが選択することができる。テレビジョンベースの実施例では、本発明によって構成された、テレビの遠隔コントロール、セットトップボックス、受信機、その他を介してユーザが特定の問題になる単語を操作して選択する、問題になる単語のリスト付きのオンスクリーンメニュを提供することができる。代替的に、ユーザは、キーボードや、アルファベットのオンスクリーンディスプレイと共に使用される遠隔コントロールの矢印キーなどのその他のテキスト入力デバイスなどによって、問題となる単語を直接入力することもできる。
【００２７】
「問題となる単語」のほかに、本発明の実施例は、あらゆるテキストの再生を検出及び制御するように構成することができる。クローズドキャプションアナライザ１２は、クローズドキャプションストリーム内の各単語をユーザによって同定された問題になる単語のリストと比較する。クローズドキャプションストリームの単語と、問題になる単語の間に合致があったと同定されると、問題になる単語のリストが音響ストリームアナライザ１４に転送される。
【００２８】
問題となる単語のリストは、本発明の特別な実装に応じて、同定された問題となるテキストのみ、問題となるテキストと先行するテキスト、あるいは問題となるテキストとフラッグの付いた前のテキストを伴うクローズキャプションストリーム全体、のいずれかを含んでいても良い。ここに使用されているとおり、「テキスト」の用語は、文字、単語、スペース、フレーズ、シンボル、および制御コードなど、クローズキャプションストリームのいずれかの成分を意味する。この単語リストは、クローズキャプション単語オーディオタイザ１６へ送られ、このオーディオタイザは、以下に述べるように、このテキストを更に処理して、音響信号または音響信号の比較フォームとの比較が可能であり、音響エクイバレントとしていくつかのフォームで引用されているテキストフォームを生成する。その他の処理エレメントトが付いている場合、オーディオタイザは、別の処理エレメント、テレビジョンプロセッサの機能部分、クローズキャプションアナライザ、または、音響ストリームアナライザであっても良い。本発明の図１の実施例の機能部品をより詳しく説明するために、別に示す。
【００２９】
音響ストリームアナライザ１４は、アナログ又はデジタルテレビジョン信号の音響部分などの音響ストリームを受信するように構成されている。音響ストリームアナライザ１４は、音響ストリームがデジタルフォーマットになっていない場合に、音響ストリームをデジタル化するためのアナログ−デジタル変換素子を具えていても良い。音響ストリームアナライザは以下に詳細を示すように、デジタル化した音響ストリームを、クローズドキャプションアナライザで同定した問題となる単語のリストと比較する様々なアルゴリズムを処理するように構成されており、音響ストリーム中の問題となる単語の再生を制御する。いくつかの実装においては、再生ステップは、問題となる単語をミュートするステップを具えている。ミュートステップは、問題となる単語の音響信号がブランクとなるか、振幅あるいは大きさが減衰するかした変形音響ストリームを定義するステップ、連続した処理エレメントが問題となる音響を読み取ってミュートする音響ストリーム中に埋め込まれたミュートコマンドで、問題となる単語を同定するステップと、問題となる単語の音響バージョンを含まないように音響表示と同期したミュートコマンドを発生するステップと、によって実行される。以下の議論は、クローズドキャプションアナライザと音響ストリームアナライザが音響信号の問題となる単語の再生制御に関連して機能する、様々な方法を述べている。クローズドキャプションアナライザ１２と音響ストリームアナライザは、同じプロセッサでコード化しても、別のプロセッサでコード化しても良く、様々なハードウエア構成で規定することができる。
【００３０】
図２は、本発明による、問題となる単語をミュートするなどの、音響表示の演奏を制御する一の方法を記載したフローチャートである。上述したとおり、クローズドキャプションアナライザは、垂直帰線消去インターバルのライン２１におけるクローズドキャプショニングを有する標準アナログテレビジョン信号である、音響表示からクローズドキャプションストリームを受信する（動作２００）。本発明の一の実施例では、クローズドキャプショニングストリームは、関連する音響ストリームの前に、あるいは関連する音響ストリームと同時発生的に受信される。次いで、クローズドキャプションアナライザが、問題となる単語のリストのクローズドキャプションストリームをサーチする（動作２１０）。問題となる単語は、ユーザ／視聴者によって同定され、クローズドキャプションアナライザと通信するメモリに保存される。クローズドキャプションテキスト中の問題となる単語を同定すると、クローズドキャプションアナライザが問題となる単語とその問題となる単語に先行する単語を音響ストリームアナライザに送信する。例えば、映画「風と共に去りぬ」では、クラークゲーブルがヴィヴィアンリーに、「Frankly Scarlett, I don’t give a damn」という。ユーザがこの単語「damn」が問題となると表示している場合、この単語「damn」は問題となる単語のリストに保存される。上記の引用のクローズドキャプショニング信号がクローズドキャプショニングアナライザで受信されルートワード「damn」は現ユーザにとって問題となるものであると認識され、この単語「damn」が先行する単語「a」と共に、音響ストリームアナライザへ送信される。
【００３１】
問題となる単語（最初は、テキストフォームで）を音響ストリームと適正に比較するために、問題となるテキストと、先行するテキストが、音響信号との比較用フォームに変換される（動作２２０）。一の実装では、オーディオタイザにおいて、この先行するテキストと問題となるテキストとが、テキストを音声表示に変換する文字から音へ（letter-to-sound）のアルゴリズムで処理される。この音声表示は、その後、テキストの平均的なあるいは典型的な期間と、テキストの音響エクイバレントを提供する単語に対する様々な周波数帯における、典型的なトータルエネルギィと特定のエネルギィの表示によって特徴付けられる。クローズドキャプショニングテキストが処理されるのと同時に、あるいは好ましくはクローズドキャプショニングテキストの処理に続いて、音響ストリームも比較用フォームに処理される（動作２３０）。以下に述べる一例では、音響ストリームを処理して、トータルエネルギィと、音響ストリームの時間インターバルを分離するための特定の周波数帯域の特定のエネルギィを決定する。クローズドキャプショニングテキスト処理と、音響ストリーム処理は、クローズドキャプションテキストと、比較の対象となるフォーマットにした音響ストリームを表している。
【００３２】
問題となる単語のテキストと先行する単語のテキストと、音響ストリームが同じフォーマットで表示されると、音響ストリーム中の問題となる単語が同定される（動作２４０）。このように、問題となるテキストが音響ストリーム中の特定の音響シーケンスと合致する。合致が、音響ストリームを伴う問題となるテキストと先行するテキストの間で同定されると、ミュートコマンドまたはその他のミュート処理が生じ、音響ストリームと関連するテレビジョンプロセッサが問題となる音響をミュートする（動作２５０）。したがって、図２について記載した方法によれば、テレビジョンあるいはその他のオーディオデバイスまたはオーディオ／ビジュアルデバイスが、一般的にミュートされた問題となる単語、フレーズ、音響を伴う音響シーケンスを演奏することができる。ここで使用されているように、「ミュート」という用語は、オーディオシーケンスの音量が低減された状態を意味し、ゼロにする必要はない。本発明のいくつかの実施例では、音響シーケンス中のミュートされた単語またはフレーズが可聴であるが、ミュートされた単語の音量は、隣接する単語より低い。
【００３３】
図３は、クローズドキャプションテキストを分析して、クローズドキャプションテキストがユーザによって問題になると同定された単語あるいはフレーズを含んでいるかどうかを確かめるための一の特定の方法を記載したフローチャートである。本発明の一の特定の実装においては、問題となる単語の選択プロセスにおいて、ユーザは、音響表示から排除する特定の単語、および音響表示から排除する原因となる単語（root words）を選択するようにしても良い。問題となるルートワードは、ルートワードフィルタリストに保存されている。「ルートワード」とは、一般的に、「damn」などの所定の問題となる単語のことであり、「damnit」や「***damnit.」といった、問題となる単語およびフレーズのホスト中のルートワードであっても良い。ルートワードフィルタリストを用いて、ルートワードを含むあらゆる単語がフィルタにかけられ、表示の音響部分から除去される。完全な問題となる単語は、除外単語リストに保存されている。
【００３４】
ユーザは、様々なメカニズムを介して問題となる単語を選択することができる。一の実装では、オンスクリーン選択メニューが、例えばテレビジョンモニタなどのスクリーン上に表示されている。このメニューは、ユーザがオンスクリーンメニューと通信するように構成された遠隔コントロールを用いて選択するであろうたくさんの潜在的な問題となる単語とフレーズを、単独であるいは組み合わせて、含んでいる。このメニューは、問題となる単語のグループ分けとレベル分けを具えていても良い。
【００３５】
図３を参照すると、クローズキャプションアナライザは、クローズドキャプショニングテキストストリームをルートワードと比較する（動作３００）。比較は、単語ごとに、各々が受信されるときにシリアルに実行することができる。また、この比較は、セグメントごとにクローズキャプションストリーム上で実行することもできる。クローズキャプショニングテキストの開始と終端は、クローズキャプションセグメントを表示するべきかを表示するマーカを具えている。本発明の実施例は、これらのマーカの間に生じるテキストのセグメントを分析するように構成することもできる。クローズキャプショニングストリーム中のテキストが問題となるルートワードを有している場合、このルートワードを含むテキストが、先行する単語と共に問題になるとしてフラッグがつけられる。次いで、クローズドキャプショニングストリームが、排除単語フィルタリストと比較される(動作３１０)。あらゆる問題となるテキストと先行するテキストにフラグがつけられる。以下により詳細に説明するように、問題となるテキストに先行するテキストは、ミュートの開始（すなわち、問題となる単語に先行する単語のオーディオシーケンスの端部がミュートの開始である）を同定するのに使用することができる。フラッグをつけるのに加えて、先行する単語を、ついで、問題となる単語を先入れ先出しバッファ（ＦＩＦＯ）にロードすることもできる。先行する単語、次いで問題となる単語がＦＩＦＯの順に処理され、比較フォームになる。先行するテキストを伴う音響に合致があった場合、それは放棄される。次いで、問題になるテキストに合致があった場合、それが放棄される。したがって、クローズキャプションと関連する音響との間の順次の時間的関係によって、クローズキャプション中の単語の同定から、音響のミュートへ、ＦＩＦＯの順に動作が行われる。
【００３６】
いくつかの実装では、ルートワードからあるいは排除単語リストからの問題になるテキストを更に分析して、使用のコンテキストに基づいて、実際に単語が許可されるか、問題となるかを決定する（動作３３０）。例えば、「bitch」という単語は、犬について議論するコンテキストでは使用可であるかもしれないが、その他では不可である。可能か否かを決定するために、一の実装では、その単語の使用のコンテキストをたしかめるために、クローズキャプションフレーズ中のその他のすべての単語について比較がなされる。例えば、「dog」という単語が同じフレーズに示されていれば、この単語は使用可能であり、問題となるとは認定されない。その他の方法が、２００４年１０月２３日に出願された米国暫定特許出願第６０／４８１，５４８号「メディアコンテントに関連する情報に基づくペアレンタル制御フィルタセッティング」に記載されている。この出願は、ここに引用によって含まれている。
【００３７】
合致がない場合は、プロセッサが、クローズドキャプショニングストリームの端部が検出されたか否かを決定する（動作３４０）。上述したとおり、クローズドキャプショニングストリームは、通常、クローズドキャプションセグメントの開始とクローズドキャプションセグメントの終端のインディケータを含んでいる。上述した例では、クローズドキャプショニングセグメントが「Frankly Scarlett, I don’t give a damn」というフレーズを具えている。この音響セグメント用のクローズドキャプショニングテキストは、「Frankly」という単語に先行するインディケータと、「damn」という単語に続くインディケータを含むことになる。フレーズの終端が検出されたら、テキストバッファとストリームミュートアナライザが空になり、音響表示からの問題になる単語が提供される。単語ごとのＦＩＦＯ構成では、動作３４０は実装されない。フレーズの終端が検出されない場合は、上述したルートワードリストと排除する単語リストに対して次の単語が分析される。
【００３８】
図４は、本発明の一の実装を示すフローチャートであり、ここでは、問題となるクローズドキャプショニングテキストと先行するテキストが、文字ごとのベースで、問題となるテキストを提供するプロセスの一部として、音響エクイバレントとして音声表示に変換される。図４に示すフローチャートの特別な例では、文字から音へのアルゴリズムを用いて、先行するテキストと問題になるテキストのテキスト表示を音声表示に変換する。様々な文字から音へのアルゴリズムを使用することができる。一の例では、音声表示が、スペース用カテゴリ、母音、二重母音、半母音用カテゴリ、ストップ用カテゴリ、鼻音用カテゴリ、摩擦音、ささやき、破擦音用カテゴリ、の５つの主カテゴリに分けられている。
【００３９】
第１の動作では、テキストを分析して、このテキストがスペースを含むかどうかを決定する（動作４００）。スペースは、延長したサイレンスあるいは会話に関連する特性の欠如によって決定することができる。文字から音へのアルゴリズムが、テキストがスペースを含んでいると決定し場合、「−」が割り当てられる(動作４０５)。次いで、テキストを分析して、テキストが母音、二重母音、または半母音を含むかどうかを決定する（動作４１０）。通常、母音、二重母音及び半母音は、低周波数の高エネルギィレベルで特徴づけられる。一例は、母音「a, e, i, o, u」と、「ou」「ow」「oi」などの文字の組み合わせ、および半母音「w, l, r およびy」を具えている。更に、母音、二重母音、半母音は、「beet」という単語に見られる「ee」の周波数の高い母音や、「boot」の単語中の「oo」といった周波数の低い母音に分けることができる。文字から音へのアルゴリズムが、単語を構成している文字が母音を含むかどうかを決定する場合は、「Ｖ」が割り当てられる（動作４１５）。次いで、先行するテキストまたは問題となるテキストを分析して、このテキストがストップを含むかどうかを決定する（動作４２０）。ストップは、バースト音が続いて口が全体的に閉じる間の短い期間によって特徴づけられる。一例では、ｐ、ｔ、ｋなど無声ストップが、ｂ、ｄ、ｇなどの有声ストップと区別される。文字から音へのアルゴリズムが、単語の文字がストップを含んでいるかを決定した場合は、「Ｓ」が割り当てられる（動作４２５）。次いで、先行するテキストあるいは問題となるテキストが分析され、鼻音を含むかどうかを決定する（動作４３０）。鼻音は、通常、ｍ、ｎ、ｎｇの発音に見られるように、口ではなく鼻腔からの周波数の低い音として特徴付けられる。文字から音へのアルゴリズムでテキストが鼻音を含むと決定すると、このテキストは「Ｎ」が割り当てられる（動作４３５）。最後に、先行するテキストまたは問題となるテキストを分析して、摩擦音、ささやき、破擦音を含んでいるかどうかを決定する。摩擦音、ささやき、破擦音は、より高い周波数で集中したエネルギィで特徴づけられ、ｖ、ｐｈ、ｚ、ｚｈ（「azure」にあるように）、ｆ、ｓ、ｓｈ、ｊ、ｃｈ、およびｈの文字に関連する音にあるように、圧縮されたパッセージから息を押し付けることによって生じる。文字から音へのアルゴリズムが、テキストが摩擦音、ささやき、破擦音を含むと決定した場合は、このテキストは「Ｆ」に割り当てられる(動作４４５)。各単語は、完全に特徴づけられ、したがって、動作４５０では、アルゴリズムがその単語が完全であるかどうかを決定する。完全でない場合は、最初の動作４００から始めて、分析を続ける。
【００４０】
文字から音へのアルゴリズムによる先行するテキストと問題となるテキストの分析は、フレーズまたは単語に、記識別子、すなわち、―、Ｖ、Ｓ、ＮおよびＦ、のうちの一つを割り当てる。「Frankly Scarlett, I don’t give a damn」というフレーズは、シンボルストリングに変換される。先行する単語「ａ」は、識別子「Ｖ」を含み、その後にスペース識別子が続き、次いで、「damn」の単語がシンボルＳ、ＶおよびＮで同定される。ここで、Ｓは、文字「ｄ」のストップを表し、Ｖは母音「ａ」を表し、Ｎは鼻音「ｍｎ」を表す。
【００４１】
図５は、クローズドキャプショニング信号から同定された問題になるテキストの比較フォームに対する比較を準備する際に音響信号を分析あるいは処理する一の方法を示すフローチャートである。まず、音響ストリームアナライザは、デジタル化した音響信号とセグメントを受信し、音響信号を一連の２０ミリ秒部分に分ける（動作５００）。アナログまたはデジタル化した時間信号の各２０ミリ秒部分は、以下で、「スピーチスライス」とよぶ。音響ストリームアナライザは、各スピーチスライスのトータルエネルギィを計算する（動作５１０）。一の例では、時間スライスのトータルエネルギィは、平均信号強度を標準化するための長期間のエネルギィ平均によって標準化された振幅の２乗の和である。更に、スピーチスライスの様々な周波数帯域のエネルギィが決定される（動作５２０−５４０）。一例では、音響アナライザが、１５０〜１５００Ｈｚの周波数帯で（動作５２０）、１５００〜３０００Ｈｚの周波数帯で（動作５３０）、および３０００Ｈｚ以上の周波数帯で（動作５４０）のスピーチスライスのエネルギィを決定する。一の例では、各周波数帯の測定値が標準化され、全エネルギィのパーセンテージとなる。このようなエネルギィの決定は、高速フーリエ変換などで、デジタルフィルタリングを行い、次いで、周波数帯域を決定するために加算することによって行われる。代替的に、バンドエネルギィの代わりに、ケプストラム係数によるアプローチを用いることもできる。
【００４２】
トータルエネルギィと周波数帯のエネルギィを決定することは、クローズドキャプショニングテキストに関して決定されたスピーチサウンドのカテゴリ（すなわち、―、Ｖ、Ｓ、Ｎ、及びＦ）を区別するための十分な情報を捕らえる４つの明確な特徴を提供する。スピーチサウンドは、エネルギィの４つの番号の単一の表示ではなく、その音を含む時間インターバルを越えた各時間スライスを表す、一連の４つの番号のエネルギィ表示である。
【００４３】
図６は、ミュートが生じるべきときを決定するために、先行するテキストと問題になるテキストの比較フォームを音響ストリームの比較フォームと比較する一方法を記載したフローチャートである。テキストと音響信号を適正に比較するために、テキストを更に処理して、テキストの音声シンボル表示を音タイプの平均持続時間へ延長し、音の正しいエネルギィ特性に関連させる。上述したとおり、音響信号は２０ミリ秒のタイムスライスに分けられ、各２０ミリ秒のタイムスライスは、トータルエネルギィと、３つの特定の周波数帯のエネルギィによって特徴付けられる。このように、音響信号は、時間とエネルギィによって広く特徴づけられる。したがって、先行するテキストと問題になるテキストの音声表示は、さらに音響信号と比較する目的で、時間とエネルギィによって特徴付けられる。
【００４４】
まず、先行するテキストと問題になるテキストの音声表示は、音タイプの平均持続時間と関連するべく延長された時間である（動作６００）。各音タイプの平均持続時間は、実験によって決定することができる。例えば、母音が平均１６０ミリ秒であれば、８つの２０ミリ秒のタイムスライスを繰り返す。時間を延長する動作中に、各シンボルは、そのシンボルの平均持続時間を越えて延長される。このようにして、母音は１６０ミリ秒に延長される。例えば、音声には「Ｖ」として表示される「damn」中の「ａ」は、１６０ミリ秒に延長されるであろう。
【００４５】
各音声表示用の時間長に加えて、各音声表示は、トータルエネルギィ値にも、音響信号の同じ周波数帯のエネルギィ値（すなわち、１５０−１５００Ｈｚ、１５００−３０００Ｈｚ、及び３０００Ｈｚ以上）にも関連している（動作６１０）。一例では、各音声シンボル用に、典型的なエネルギィ値のマトリックスが、所定の時間インターバルを超えて提供されている。したがって、例えば、平均１６０ミリ秒の母音に対して、エネルギィマトリックスは、１６０ミリ秒の範囲を超えたエネルギィ値に与えられる。このマトリックスあるいは「テンプレート」は、様々なシンボルの異なる発音の実験と、音声シンボルに存在する文字とによって各音声シンボルに発展する。このように、マトリックスは各音声シンボルについて多くの異なる音表示を含んでいても良い。このマトリックス技術は、Computer-Oriented Approaches to Pattern Recognition, Academic Press, 1972、のMeiselによる「Cluster Analysis and Unsupervised Learning」に記載されている。この文献は、ここに引用されている。
【００４６】
クローズドキャプションテキストが比較フォームである場合、音響ストリームの比較フォームと比較される（エネルギィ値で）(動作６２０)。合致がある場合（動作６３０）、先行するテキストの終端が続く音響ストリーム中にミュートコード又はコマンドがセットされる（動作６４０）。合致した先行テキストの表示上のミュートは、本発明の３つの異なる構成において実行することができる。一の構成では、先行するテキストの後端の検出と同時に音響アナライザがミュートコマンドを出す。ミュートコマンドによって音響が一瞬ミュートされる。このコマンドが音響ストリームに比較して所定の潜在期間を有する場合、様々な潜在期間メカニズムを用いて、コマンドを十分に遅らせて、音響ストリームを実際の演奏と同期させるようにする。もう一つの構成では、音響ストリームを変調して、先行するスピーチの後端が続く音響データがブランクになるか、減衰されるか、するようにする。ブランキングまたは減衰は、問題になるテキストの後端が検出されるまで続く。最後に、第３の代替では、デジタルコマンドを音響ストリーム中の先行するテキストと問題になるテキストの間に挿入することができる。音響ストリーム中にミュートコマンドを検出すると、デジタル化された音響ストリーム中に挿入されたミュートコードに従って、音響が瞬間的にミュートされる。
【００４７】
先行するテキストを比較した後、問題になるテキストの音響比較フォームが音響ストリームの比較フォームと比較される（動作６５０）。合致が検出されると（動作６６０）、問題になる言語の後端において第２のミュートコード又はコマンドが発せられる（動作６７０）。問題になる言語の後端で、音響をミュートするコマンドを出す実施例では、正常の音量で音響を再度演奏するコマンドを出す、すなわち、そのミュートを不可能とする。デジタル化した音響ストリームが減衰される、あるいはブランクになる実施例では、問題となる単語の後端が検出されると、ブランキング動作または減衰動作が停止され、音響ストリームはもはや変更されない。最後に、デジタル化した音響ストリーム中に複合コマンドを使用する実施例では、続く非ミュートコマンドが、問題となる単語の端部の後ろの位置で音響ストリーム内に挿入される。
【００４８】
図７は、先行するあるいは問題になるテキストの比較フォームを音響ストリームの比較フォームと比較する一の方法を示すフローチャートである。第１の動作は、テキストの比較フォーム（予測信号）と、音響信号の比較フォーム（観察信号）間の時間アラインメントを含む（動作７００）。特別な一の実装では、時間アラインメントが、一般的にダイナミック時間ワーピング（dynamic time-warping）として呼ばれている広く認識されたテンプレートを合致させる会話認識システムによって実行される。
【００４９】
図８は、ダイナミック時間ワーピングアルゴリズムに基づく、観察信号と予測信号間の時間アラインメントの一例を示す図である。図４、および図６の動作６００と６１０で述べた方法によって予測信号が発生する。観察信号は、本明細書で図５を参照に述べた方法に基づいて発生する。上述したとおり、観察信号は、トータルエネルギィと、１５０−１５００Ｈｚの周波数帯域のエネルギィ、１５００−３０００Ｈｚの周波数帯域のエネルギィ、３０００Ｈｚ超の周波数帯域のエネルギィを含む、一連の４次元ベクトルである。更に、４次元ベクトルは各々２０ミリ秒のスライスを具える。図８に示す例では、１４個の２０ミリ秒のタイムスライスと、関連する４次元ベクトル（×１-×１４）がある。ダイナミック時間ワーピングアルゴリズムは、予測した値と観察した値間の合致を調べる「スコア」の使用を介して、予測した一連の信号（−ＦＦＦＶＶＶＶＶＶＶＮＮ）の観察した信号に対する最良の合致を、合致の最良の方法を決定するトータルスコアを用いて見出す。このダイナミック時間ワーピングアルゴリズムはまた、一の予測した値をあまりに多くの実際の値の上に「引き伸ばし」たりしたくない、又その逆を起こしたくないという要望を考慮に入れている。その結果、上述の予測値インターバルと実際の値のインターバルとが合致する最良の割り当てとなろう。そうであれば、このアルゴリズムは、先行するテキストを合致させている場合に、例えば、先行するフレーズなどの合致されるフレーズが観察信号スライス×１４にて終了すること、及び、その時間スライスの後にミュートが開始すべきであることを予測する。したがって、処理を行っている間に、先行するテキストの終了が検出された場合、ここに述べた様々な方法のいずれかによって、ミュートが開始される。例えば、エラー、雑なトランスクリプション、あるいは過剰なバックグラウンドノイズなどで、音響がスピーチに合理的に合致しない場合は、スコアは、合致が貧弱であることを表示し、スコアに基づいては何のアクションも取られないであろう。
【００５０】
時間アラインメントの一部として、単一の観察した時間セグメント（４つの特長値を持つ）と、例えば、母音（Ｖ）などの５つの音声カテゴリの一つによって特徴付けられた予測した時間セグメントとの合致を比較することによってスコアが作られる。テキストを音響エクイバレントに変換することに関して前述したように、一のオプションは、例えば、展開フェーズの間にそのカテゴリの典型的な例を平均化することによって、各特長の「典型的な」値を有することである。これによって、そのスコアは観察した値に対する典型的な値の最良の合致となる。この合致は、単純な「距離」の測定、つまり各特長の２乗残差法によって測定できる：距離の二乗を与えるためのベクトル表示は‖Ｘobserved −Ｘtarget‖２。合致が正確であれば、スコアはゼロになる。最良の合致は、最小のトータルスコアのカテゴリに入る。変形例は、この特徴に別々に重み付けすることである。例えば、それによって性能が改善するのであれば、各周波数帯域のエネルギィ以上にトータルエネルギィに重み付けするなどである。上述したとおり、スピーチの各カテゴリィに、一以上の典型的な例（テンプレート）がある場合、スコアはそのカテゴリ中のすべてのテンプレートについて最小である。
Mini[‖Ｘobserved −Ｘtarget-i‖２]
要約すると、スコアリング機能の選択とそのスコアリング機能を用いるためのダイナミック時間ワーピングなどのアルゴリズムによって、いつフレーズが終了するかを決定するためのアルゴリズムが特定される。
【００５１】
本発明の代替の実施例は、クローズキャプション信号の分析を含まない。むしろ、音響信号が受信され、メモリに保存される。この保存された音響信号を、スピーチ認識アルゴリズムで処理する。このようなスピーチ認識アルゴリズムは、音響信号を分析するにあたって、振幅、周波数、波長、および様々なそのほかのファクタを考慮する。スピーチ認識アルゴリズムによって同定される、各単語、フレーズ、その他は、ユーザによって同定された問題となる単語と、及び／又は、ユーザによって同定された問題になるルートワードと比較される。合致した音響シーケンスは、保存した信号セグメントの動作、あるいは保存した信号に埋め込まれているミュートコードによってメモリ内で直接減衰する。
【００５２】
音響信号が話し単語とその他の音、すなわち、バックグラウンドノイズ、音楽、周辺ノイズなどのその他の音を含む場合、様々なフィルタリング技術を用いて、話し単語をその他の音から分離するようにしても良い。更に、例えば、センターチャネル、フロントチャネル、リアチャネル、などの多重トラックの音響信号に対しては、各音響トラックを別々に分析することができる。通常、中央チャネルはマルチチャネル音響信号中の話し単語のほとんどあるいはすべてを含む。したがって、中央チャネルのみを分析すれば十分なことがある。
【００５３】
本発明の実施例は、様々なコンピュータハードウエアを具える特定目的のあるいは汎用目的のコンピュータ、テレビジョンシステム、音響システム、及び／又は、これらの組み合わせを具えていても良い。これらの実施例は、上記に詳細に述べられている。しかしながら、すべてのケースにおいて、上述の実施例は、本発明の範囲を限定するものではなく、例示であると考えるべきである。
【００５４】
本発明の範囲内の実施例も、コンピュータで実行可能な命令またはコンピュータに保存されたデータ構造を搬送するあるいは有するためのコンピュータで読み出し可能な媒体を具えている。このようなコンピュータで読み出し可能な媒体は、テレビジョン、セットトップボックス、その他の処理エレメントなど、一般目的あるいは特別な目的のコンピュータによってアクセスすることができるあらゆる入手可能な媒体であっても良い。限定ではなく例示としての、このようなコンピュータで読み出し可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはその他の光ディスクストレージ、磁気ディスクストレージ、あるいはその他の磁気ストレージデバイス、又は、コンピュータで実行可能な命令またはデータ構造の形式の所望のプログラムコード手段を搬送または保存するのに使用することができ、一般目的あるいは特別な目的のコンピュータでアクセス可能なその他のあらゆる媒体を具える。情報がネットワークまたはその他の通信リンク又はコネクション（ハードワイヤ、無線、あるいは、ハードワイヤと無線の組み合わせのいずれか）を介してコンピュータに転送される、あるいは提供される場合、このコンピュータはコンピュータで読み取り可能な媒体としての接続を適正に見ている。したがって、このようなコネクションもすべて、適正に、コンピュータで読み出し可能な媒体と呼ばれる。上述した媒体の組み合わせも、コンピュータで読み出し可能な媒体の範囲に含まれる。コンピュータで実行可能な命令は、例えば、一般的な目的のコンピュータ、特別な目的のコンピュータ、あるいは特別な目的の処理デバイスにある機能、又は機能群を実行させる命令およびデータを具える。
【００５５】
図１と、それに関連する記載は、本発明を実装することのできる好適なコンピュータの今日の簡単で一般的な記載を提供することを意図したものである。要求されているわけではないが、本発明は、テレビジョンプロセッサなどの一またはそれ以上の処理エレメントで実行されるプログラムモジュールなど、コンピュータで実行可能な命令の一般的なコンテキストで説明されている。一般的に、プログラムモジュールは、特定のタスクを実行するあるいは特定の抽象データ型を実装する、ルーチン、プログラム、対象、コンポネント、データ、構造、その他を有する。コンピュータで実行可能な命令、関連するデータ構造、およびプログラムモジュールは、ここに記載されている方法のステップを実行するためのプログラムコード手段の例を示すものである。このような実行可能な命令あるいは関連するデータ構造の特定のシーケンスは、このようなステップに述べられている機能を実装するための対応する行為の例を示すものである。更に、処理ユニットで実行されているプログラムコード手段は、プロセッサ手段の一例を提供するものである。
【図面の簡単な説明】
【００５６】
【図１】図１は、本発明の一の処理アレンジメントを示すブロック図である。
【図２】図２は、特定のテキスト用に対応するクローズキャプション信号をモニタし、次いで、特定のテキストに対応する音響信号の一部を同定することによって音響信号の再生を制御する本発明による一の方法のフローチャートである。
【図３】図３は、クローズキャプション信号が本発明に合致する特定のテキストを含んでいるかどうかを決定するクローズキャプション信号をモニタする方法を示すフローチャートである。
【図４】図４は、クローズキャプションストリームのテキストに文字−音アルゴリズムを適用して、本発明に合致するテキストの音声表示を決定する方法を示すフローチャートである。
【図５】図５は、本発明に合致するエネルギィ値を割り当てるための音響信号の時間セグメントを分析する方法を示すフローチャートである。
【図６】図６は、本発明にかかる、音響信号のある部分をミュートすることによるなどして、音響信号の再生を制御するために、クローズキャプション信号のテキストの比較フォームを音響信号の比較フォームと比較する方法を示すフローチャートである。
【図７】図７は、本発明にかかるクローズキャプション信号の比較フォームを音響信号の比較フォームと比較する方法を示すフローチャートでる。
【図８】図８は、本発明にかかる、クローズキャプション信号のテキストの比較フォームを、音響信号の比較フォームに整列させて比較するための時間アラインメントとスコアリングルーチンを図に示したものである。
【特許請求の範囲】
【請求項１】
音響信号の演奏を制御する方法において：
クローズキャプション信号を受信するステップと；
特定のテキストについての前記クローズキャプション信号を分析するステップと；
前記特定のテキストを同定するステップと；
前記クローズキャプション信号から前記特定のテキストを同定する機能として音響信号を分析するステップと；及び
前記特定のテキストに対応する音響信号の再生を制御するステップと；
を具えることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定のテキストに関連する音響信号の部分を減衰させるステップを具えることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記再生を制御する動作が、更に、前記クローズキャプション信号の特定のテキストに対応する音響信号の部分を実質的に削除するステップを具えることを特徴とする方法。
【請求項４】
請求項１に記載の方法において、前記再生を制御する動作がさらに、前記クローズキャプション信号の特定のテキストに関連する音響信号の部分の減衰を生じさせるように構成された少なくとも一つのコマンドを発生するステップを具えることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記再生を制御する動作がさらに、前記音響信号中に少なくとも一の制御コードを挿入するステップを具え、当該制御コードが前記クローズキャプション信号の特定のテキストに関連する音響信号の部分の減衰を生じさせるように構成されていることを特徴とする方法。
【請求項６】
請求項１に記載の方法が更に、前記特定のテキストを前記特定のテキストの音声表示に変換する動作を具えることを特徴とする方法。
【請求項７】
請求項６に記載の方法が更に、前記特定のテキストの音声表示を時間延長して、前記特定のテキストの時間延長した音声表示を規定するステップを具えることを特徴とする方法。
【請求項８】
請求項７に記載の方法が更に、前記特定のテキストの時間延長された音声表示の少なくとも一のエネルギィ値を決定して、前記特定のテキストの比較フォームを規定するステップを具えることを特徴とする方法。
【請求項９】
請求項８に記載の方法が更に、前記音響信号の比較フォームを規定するための前記音響信号の少なくと一のエネルギィ値を決定するステップを具えることを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、前記音響信号を分析する動作が更に、前記特定のテキストの比較フォームを前記音響信号の比較フォームと比較する動作を具えることを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、前記比較動作が更に、前記特定のテキストに対応する前記音響信号の一部を同定するステップを具えることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、前記特定のテキストが、スペース、文字、単語、フレーズ、センテンス、制御コード、シンボルを具える群から選択されることを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、特定のテキストがユーザによって選択されることを特徴とする方法。
【請求項１４】
請求項１に記載の方法において、前記特定のテキストが問題があると考えられるテキストから選択されることを特徴とする方法。
【請求項１５】
請求項１に記載の方法において、前記特定のテキストを同定する動作が更に、先行するテキストを同定する動作を具え、当該先行するテキストが前記特定のテキストに時間的に先行していることを特徴とする方法。
【請求項１６】
請求項１５に記載の方法において、前記クローズキャプション信号から前記特定のテキストを同定する機能として音響信号を分析する動作が更に、前記クローズキャプション信号から前記先行するテキストの同定する機能として前記音響信号を分析するステップを具えることを特徴とする方法。
【請求項１７】
請求項１６に記載の方法において、前記特定のテキストに対応する音響信号の再生を制御する動作が、前記先行するテキストに対応する音響信号の再生を制御するステップを具えることを特徴とする方法。
【請求項１８】
請求項６に記載の方法において、前記特定のテキストを前記特定のテキストの音声表示に変換する動作が、前記特定のテキストに文字から音へのアルゴリズムを適用するステップを具えることを特徴とする方法。
【請求項１９】
請求項１に記載の方法において、前記クローズキャプション信号から前記特定のテキストを同定する機能として音響信号を分析する動作が、ダイナミック時間ワーピングアルゴリズムを適用するステップを具えることを特徴とする方法。
【請求項２０】
請求項１に記載の方法を実行するように構成された複数のコンピュータで実行可能な命令を具えるプロセッサ。
【請求項２１】
請求項６に記載の方法が更に、前記特定のテキストの音声表示用の少なくとも一のエネルギィ値を決定して、前記特定のテキストの比較フォームを規定するステップを具えることを特徴とする方法。
【請求項２２】
請求項２１に記載の方法が更に、前記音響信号についての少なくとも一のエネルギィ値を決定して、前記音響信号の比較フォームを規定するステップを具えることを特徴とする方法。
【請求項２３】
請求項２２に記載の方法において、前記音響信号を分析する動作が更に、前記特定のテキストの比較フォームを前記音響信号の比較フォームと比較する動作を具えることを特徴とする方法。
【請求項２４】
請求項２３に記載の方法において、前記比較動作が更に、前記特定のテキストに対応する音響信号の一部を同定するステップを具えることを特徴とする方法。
【請求項２５】
音響信号の演奏を制御する方法において：
クローズキャプションテキスト信号の特定部分を、当該特定部分の音響エクイバレントに変換するステップと；
前記クローズキャプションテキスト信号の特定の部分の音響エクイバレントを、音響信号と比較して、前記クローズキャプション信号の特定した部分に対応する音響信号の部分を同定するステップと；
前記クローズキャプション信号の特定した部分に対応する音響信号の部分の再生を制御するステップと；
を具えることを特徴とする方法。
【請求項２６】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定の部分に対応する音響信号の部分を減衰させるステップを具えることを特徴とする方法。
【請求項２７】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定の部分に対応する音響信号の部分を実質的に除去するステップを具えることを特徴とする方法。
【請求項２８】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定の部分に対応する音響信号の部分の減衰を起こすように構成された少なくとも一のコマンドを発生するステップステップを具えることを特徴とする方法。
【請求項２９】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記音響信号中に少なくとも一の制御コードを挿入するステップを具え、当該制御コードが前記クローズキャプション信号の特定の部分に対応する音響信号の部分の減衰を起こすように構成されていることを特徴とする方法。
【請求項３０】
請求項２５に記載の方法において、前記クローズキャプションテキスト信号の特定の部分を、当該特定の部分の音響エクイバレントに変換する動作が更に、前記クローズキャプション信号の特定の部分を前記クローズキャプション信号の特定部分の音声表示に変換する動作を具えることを特徴とする方法。
【請求項３１】
請求項３０に記載の方法が更に、前記クローズキャプション信号の特定部分の音声表示を時間延長して、時間を延長した音声表示を規定するステップを具えることを特徴とする方法。
【請求項３２】
請求項３１に記載の方法が更に、前記時間延長された音声表示の少なくとも一のエネルギィ値を決定して、前記クローズキャプション信号の特定の部分の比較フォームを規定するステップを具えることを特徴とする方法。
【請求項３３】
請求項３２に記載の方法が更に、前記音響信号の少なくと一のエネルギィ値を決定して、前記音響信号の比較フォームを規定するステップを具えることを特徴とする方法。
【請求項３４】
請求項３３に記載の方法において、前記比較動作が更に、前記クローズキャプション信号の特定の部分の比較フォームを前記音響信号の比較フォームと比較する動作を具えることを特徴とする方法。
【請求項３５】
請求項３４に記載の方法において、前記比較動作が更に、前記クローズキャプション信号の特定の部分に対応する前記音響信号の部分を同定するステップを具えることを特徴とする方法。
【請求項３６】
請求項２５に記載の方法を実行するように構成された複数のコンピュータで実行可能な命令を具えるプロセッサ。
【請求項３７】
音響信号の再生を制御する方法において：
少なくとも一の問題になる単語の同定を受信するステップと；
クローズキャプション信号中の前記少なくとも一つの問題になる単語を同定するステップと；
音響信号中の少なくとも一つの問題になる単語を、クローズキャプション信号中の少なくとも一つの問題になる単語を同定する動作の機能として同定するステップと；
を具えることを特徴とする方法。
【請求項３８】
請求項３７に記載の方法が更に、同定動作の機能として音響信号の音響表示を制御するステップを具えることを特徴とする方法。
【請求項３９】
請求項３８に記載の方法が更に、前記少なくとも一つの問題になる単語に対応する音響信号の部分の音響表示をミュートするステップを具えることを特徴とする方法。
【請求項４０】
請求項３８に記載の方法が更に、前記問題となる単語に先行するクローズキャプション信号の部分を同定するステップを具えることを特徴とする方法。
【請求項４１】
請求項４０に記載の方法において、前記先行する部分がスペース、文字、単語、フレーズ、シンボル、及びクローズキャプション制御信号を具える群から選択されることを特徴とする方法。
【請求項４２】
請求項４０に記載の方法が更に、クローズキャプション信号中の前記少なくとも一の問題になる単語を同定する動作と、前記問題になる単語に先行するクローズキャプション信号の一部を同定する動作の機能として、音響信号中の少なくとも一の問題になる単語を同定するステップを具えることを特徴とする方法。
【請求項４３】
請求項４２に記載の方法において、前記制御動作が、前記問題になる単語に先行するクローズキャプション信号の一部を同定する機能であることを特徴とする方法。
【請求項４４】
請求項４３に記載の方法が更に、音響ストリーム中の問題になる単語に先行する前記クローズキャプション信号の部分を同定する機能として前記音響表示のミュートを行うステップを具えることを特徴とする方法。
【請求項４５】
請求項４４に記載の方法が更に、前記音響信号中の少なくとも一の問題となる単語を同定する機能として前記ミュートを終了するステップを具えることを特徴とする方法。
【請求項４６】
請求項３７に記載の方法を実行するように構成されたコンピュータで実行可能な複数の命令を具えるプロセッサ。
【請求項４７】
音響表示の再生を制御する方法において：
少なくとも一の問題になる単語の表示を受信するステップと；
音響信号を受信するステップと；
前記音響信号をメモリに保存するステップと；
前記保存した音響信号を処理して、少なくとも一の問題になる単語が前記音響信号中に存在するかどうかを決定するステップと；
前記処理動作の機能として前記音響信号の音響表示を制御するステップと；
を具えることを特徴とする方法。
【請求項４８】
請求項４７に記載の方法において、前記制御動作が更に、前記少なくとも一の問題になる単語に対応する音響信号の部分を減衰させるステップを具えることを特徴とする方法。
【請求項４９】
請求項４７に記載の方法において、前記制御動作が更に、前記少なくとも一の問題になる単語に対応する音響信号の部分を実質的に削除するステップを具えることを特徴とする方法。
【請求項５０】
請求項４７に記載の方法において、前記制御動作が更に、前記音響信号中に少なくとも一の制御コードを挿入するステップを具え、当該制御コードが、前記少なくとも一の問題になる単語に対応する音響信号の部分に減衰を生じさせるように構成されていることを特徴とする方法。
【請求項５１】
請求項４６に記載の方法において、前記処理動作が更に、前記音響信号の少なくとも一のチャネルを分析するステップを具えることを特徴とする方法。
【請求項５２】
請求項４７に記載の方法を実行するように構成されたコンピュータで実行できる複数の命令を具えるプロセッサ。
【請求項１】
音響信号の演奏を制御する方法において：
クローズキャプション信号を受信するステップと；
特定のテキストについての前記クローズキャプション信号を分析するステップと；
前記特定のテキストを同定するステップと；
前記クローズキャプション信号から前記特定のテキストを同定する機能として音響信号を分析するステップと；及び
前記特定のテキストに対応する音響信号の再生を制御するステップと；
を具えることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定のテキストに関連する音響信号の部分を減衰させるステップを具えることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記再生を制御する動作が、更に、前記クローズキャプション信号の特定のテキストに対応する音響信号の部分を実質的に削除するステップを具えることを特徴とする方法。
【請求項４】
請求項１に記載の方法において、前記再生を制御する動作がさらに、前記クローズキャプション信号の特定のテキストに関連する音響信号の部分の減衰を生じさせるように構成された少なくとも一つのコマンドを発生するステップを具えることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記再生を制御する動作がさらに、前記音響信号中に少なくとも一の制御コードを挿入するステップを具え、当該制御コードが前記クローズキャプション信号の特定のテキストに関連する音響信号の部分の減衰を生じさせるように構成されていることを特徴とする方法。
【請求項６】
請求項１に記載の方法が更に、前記特定のテキストを前記特定のテキストの音声表示に変換する動作を具えることを特徴とする方法。
【請求項７】
請求項６に記載の方法が更に、前記特定のテキストの音声表示を時間延長して、前記特定のテキストの時間延長した音声表示を規定するステップを具えることを特徴とする方法。
【請求項８】
請求項７に記載の方法が更に、前記特定のテキストの時間延長された音声表示の少なくとも一のエネルギィ値を決定して、前記特定のテキストの比較フォームを規定するステップを具えることを特徴とする方法。
【請求項９】
請求項８に記載の方法が更に、前記音響信号の比較フォームを規定するための前記音響信号の少なくと一のエネルギィ値を決定するステップを具えることを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、前記音響信号を分析する動作が更に、前記特定のテキストの比較フォームを前記音響信号の比較フォームと比較する動作を具えることを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、前記比較動作が更に、前記特定のテキストに対応する前記音響信号の一部を同定するステップを具えることを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、前記特定のテキストが、スペース、文字、単語、フレーズ、センテンス、制御コード、シンボルを具える群から選択されることを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、特定のテキストがユーザによって選択されることを特徴とする方法。
【請求項１４】
請求項１に記載の方法において、前記特定のテキストが問題があると考えられるテキストから選択されることを特徴とする方法。
【請求項１５】
請求項１に記載の方法において、前記特定のテキストを同定する動作が更に、先行するテキストを同定する動作を具え、当該先行するテキストが前記特定のテキストに時間的に先行していることを特徴とする方法。
【請求項１６】
請求項１５に記載の方法において、前記クローズキャプション信号から前記特定のテキストを同定する機能として音響信号を分析する動作が更に、前記クローズキャプション信号から前記先行するテキストの同定する機能として前記音響信号を分析するステップを具えることを特徴とする方法。
【請求項１７】
請求項１６に記載の方法において、前記特定のテキストに対応する音響信号の再生を制御する動作が、前記先行するテキストに対応する音響信号の再生を制御するステップを具えることを特徴とする方法。
【請求項１８】
請求項６に記載の方法において、前記特定のテキストを前記特定のテキストの音声表示に変換する動作が、前記特定のテキストに文字から音へのアルゴリズムを適用するステップを具えることを特徴とする方法。
【請求項１９】
請求項１に記載の方法において、前記クローズキャプション信号から前記特定のテキストを同定する機能として音響信号を分析する動作が、ダイナミック時間ワーピングアルゴリズムを適用するステップを具えることを特徴とする方法。
【請求項２０】
請求項１に記載の方法を実行するように構成された複数のコンピュータで実行可能な命令を具えるプロセッサ。
【請求項２１】
請求項６に記載の方法が更に、前記特定のテキストの音声表示用の少なくとも一のエネルギィ値を決定して、前記特定のテキストの比較フォームを規定するステップを具えることを特徴とする方法。
【請求項２２】
請求項２１に記載の方法が更に、前記音響信号についての少なくとも一のエネルギィ値を決定して、前記音響信号の比較フォームを規定するステップを具えることを特徴とする方法。
【請求項２３】
請求項２２に記載の方法において、前記音響信号を分析する動作が更に、前記特定のテキストの比較フォームを前記音響信号の比較フォームと比較する動作を具えることを特徴とする方法。
【請求項２４】
請求項２３に記載の方法において、前記比較動作が更に、前記特定のテキストに対応する音響信号の一部を同定するステップを具えることを特徴とする方法。
【請求項２５】
音響信号の演奏を制御する方法において：
クローズキャプションテキスト信号の特定部分を、当該特定部分の音響エクイバレントに変換するステップと；
前記クローズキャプションテキスト信号の特定の部分の音響エクイバレントを、音響信号と比較して、前記クローズキャプション信号の特定した部分に対応する音響信号の部分を同定するステップと；
前記クローズキャプション信号の特定した部分に対応する音響信号の部分の再生を制御するステップと；
を具えることを特徴とする方法。
【請求項２６】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定の部分に対応する音響信号の部分を減衰させるステップを具えることを特徴とする方法。
【請求項２７】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定の部分に対応する音響信号の部分を実質的に除去するステップを具えることを特徴とする方法。
【請求項２８】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記クローズキャプション信号の特定の部分に対応する音響信号の部分の減衰を起こすように構成された少なくとも一のコマンドを発生するステップステップを具えることを特徴とする方法。
【請求項２９】
請求項２５に記載の方法において、前記再生を制御する動作が更に、前記音響信号中に少なくとも一の制御コードを挿入するステップを具え、当該制御コードが前記クローズキャプション信号の特定の部分に対応する音響信号の部分の減衰を起こすように構成されていることを特徴とする方法。
【請求項３０】
請求項２５に記載の方法において、前記クローズキャプションテキスト信号の特定の部分を、当該特定の部分の音響エクイバレントに変換する動作が更に、前記クローズキャプション信号の特定の部分を前記クローズキャプション信号の特定部分の音声表示に変換する動作を具えることを特徴とする方法。
【請求項３１】
請求項３０に記載の方法が更に、前記クローズキャプション信号の特定部分の音声表示を時間延長して、時間を延長した音声表示を規定するステップを具えることを特徴とする方法。
【請求項３２】
請求項３１に記載の方法が更に、前記時間延長された音声表示の少なくとも一のエネルギィ値を決定して、前記クローズキャプション信号の特定の部分の比較フォームを規定するステップを具えることを特徴とする方法。
【請求項３３】
請求項３２に記載の方法が更に、前記音響信号の少なくと一のエネルギィ値を決定して、前記音響信号の比較フォームを規定するステップを具えることを特徴とする方法。
【請求項３４】
請求項３３に記載の方法において、前記比較動作が更に、前記クローズキャプション信号の特定の部分の比較フォームを前記音響信号の比較フォームと比較する動作を具えることを特徴とする方法。
【請求項３５】
請求項３４に記載の方法において、前記比較動作が更に、前記クローズキャプション信号の特定の部分に対応する前記音響信号の部分を同定するステップを具えることを特徴とする方法。
【請求項３６】
請求項２５に記載の方法を実行するように構成された複数のコンピュータで実行可能な命令を具えるプロセッサ。
【請求項３７】
音響信号の再生を制御する方法において：
少なくとも一の問題になる単語の同定を受信するステップと；
クローズキャプション信号中の前記少なくとも一つの問題になる単語を同定するステップと；
音響信号中の少なくとも一つの問題になる単語を、クローズキャプション信号中の少なくとも一つの問題になる単語を同定する動作の機能として同定するステップと；
を具えることを特徴とする方法。
【請求項３８】
請求項３７に記載の方法が更に、同定動作の機能として音響信号の音響表示を制御するステップを具えることを特徴とする方法。
【請求項３９】
請求項３８に記載の方法が更に、前記少なくとも一つの問題になる単語に対応する音響信号の部分の音響表示をミュートするステップを具えることを特徴とする方法。
【請求項４０】
請求項３８に記載の方法が更に、前記問題となる単語に先行するクローズキャプション信号の部分を同定するステップを具えることを特徴とする方法。
【請求項４１】
請求項４０に記載の方法において、前記先行する部分がスペース、文字、単語、フレーズ、シンボル、及びクローズキャプション制御信号を具える群から選択されることを特徴とする方法。
【請求項４２】
請求項４０に記載の方法が更に、クローズキャプション信号中の前記少なくとも一の問題になる単語を同定する動作と、前記問題になる単語に先行するクローズキャプション信号の一部を同定する動作の機能として、音響信号中の少なくとも一の問題になる単語を同定するステップを具えることを特徴とする方法。
【請求項４３】
請求項４２に記載の方法において、前記制御動作が、前記問題になる単語に先行するクローズキャプション信号の一部を同定する機能であることを特徴とする方法。
【請求項４４】
請求項４３に記載の方法が更に、音響ストリーム中の問題になる単語に先行する前記クローズキャプション信号の部分を同定する機能として前記音響表示のミュートを行うステップを具えることを特徴とする方法。
【請求項４５】
請求項４４に記載の方法が更に、前記音響信号中の少なくとも一の問題となる単語を同定する機能として前記ミュートを終了するステップを具えることを特徴とする方法。
【請求項４６】
請求項３７に記載の方法を実行するように構成されたコンピュータで実行可能な複数の命令を具えるプロセッサ。
【請求項４７】
音響表示の再生を制御する方法において：
少なくとも一の問題になる単語の表示を受信するステップと；
音響信号を受信するステップと；
前記音響信号をメモリに保存するステップと；
前記保存した音響信号を処理して、少なくとも一の問題になる単語が前記音響信号中に存在するかどうかを決定するステップと；
前記処理動作の機能として前記音響信号の音響表示を制御するステップと；
を具えることを特徴とする方法。
【請求項４８】
請求項４７に記載の方法において、前記制御動作が更に、前記少なくとも一の問題になる単語に対応する音響信号の部分を減衰させるステップを具えることを特徴とする方法。
【請求項４９】
請求項４７に記載の方法において、前記制御動作が更に、前記少なくとも一の問題になる単語に対応する音響信号の部分を実質的に削除するステップを具えることを特徴とする方法。
【請求項５０】
請求項４７に記載の方法において、前記制御動作が更に、前記音響信号中に少なくとも一の制御コードを挿入するステップを具え、当該制御コードが、前記少なくとも一の問題になる単語に対応する音響信号の部分に減衰を生じさせるように構成されていることを特徴とする方法。
【請求項５１】
請求項４６に記載の方法において、前記処理動作が更に、前記音響信号の少なくとも一のチャネルを分析するステップを具えることを特徴とする方法。
【請求項５２】
請求項４７に記載の方法を実行するように構成されたコンピュータで実行できる複数の命令を具えるプロセッサ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２００７−５０４４９５（Ｐ２００７−５０４４９５Ａ）
【公表日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００６−５２４８７９（Ｐ２００６−５２４８７９）
【出願日】平成１６年８月２６日（２００４．８．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２７８８２
【国際公開番号】ＷＯ２００５／０２００３４
【国際公開日】平成１７年３月３日（２００５．３．３）
【出願人】（５０６０５８３９２）クリアプレイ，インク． (1)
【Ｆターム（参考）】
【公表日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１６年８月２６日（２００４．８．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２７８８２
【国際公開番号】ＷＯ２００５／０２００３４
【国際公開日】平成１７年３月３日（２００５．３．３）
【出願人】（５０６０５８３９２）クリアプレイ，インク． (1)
【Ｆターム（参考）】
[ Back to top ]