話者識別検証のための方法およびシステム
【課題】対象が話された音声の発生源であることおよびその話された音声を提供する対象の識別を確認するためのシステムを提供する。
【解決手段】システムは、音声の生成に寄与する少なくとも１つの調音器官の物理的動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、音響信号を受信するための少なくとも１つの音響信号センサと、メモリを備え少なくとも１つの動きセンサおよび少なくとも１つの音響信号センサに通信可能に結合された処理デバイスとを含む。処理デバイスは、物理的動きデータを音響信号データと相関させるようにプログラムされ、対象が音響信号データの発生源であることおよび対象の識別を検証する目的で対象を一意に特徴づける。
【解決手段】システムは、音声の生成に寄与する少なくとも１つの調音器官の物理的動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、音響信号を受信するための少なくとも１つの音響信号センサと、メモリを備え少なくとも１つの動きセンサおよび少なくとも１つの音響信号センサに通信可能に結合された処理デバイスとを含む。処理デバイスは、物理的動きデータを音響信号データと相関させるようにプログラムされ、対象が音響信号データの発生源であることおよび対象の識別を検証する目的で対象を一意に特徴づける。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の分野は、一般に、音声認識を利用したセキュリティシステムに関し、より具体的には、話者識別検証のための方法およびシステムに関する。
【背景技術】
【０００２】
セキュリティは、多くの人々にとって大きな関心事であり、軍事努力および商業努力の両方にかなりの投資を引きつけている。識別検証は、セキュリティの多くの側面のための主要機能である。音声ベースの識別検証は、最も異議の少ない生物測定法の１つである。しかし、この生物測定の、コンピュータ化された話者識別検証（ＳＩＶ）に関する未解決の問題は、再生攻撃の脅威である。
【０００３】
音声信号はかなり複雑であり、自然な発声はどれもすべて一義的である。音声信号の話者固有の特徴に焦点を合わせることによって、個々の話者を区別することができる。音声を生成する際に、人体は多くの複雑な調整された仕事を実行する。すべてのこれらの仕事の結果が一次元音声信号に変えられると、結果は、容易にキャプチャされ、ハイフィデリティで再生される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
再生攻撃問題に取り組もうとするこれまでの試みは、追加の信号データ、たとえば、話者の顔の二次元ビデオを参照することによってソースの「生さ」を判定することに焦点を合わせてきた。しかし、現在のビデオキャプチャ技術および再生技術は、そのような生さテストがスプーフィングの影響を受けやすくもする。
【課題を解決するための手段】
【０００５】
一態様では、対象が話された音声のソースであることおよびその話された音声を提供する対象の識別を確認するためのシステムが提供される。システムは、音声の生成に寄与する少なくとも１つの調音器官の物理的な動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、音響信号を受信するための少なくとも１つの音響信号センサと、メモリを備え少なくとも１つの動きセンサおよび少なくとも１つの音響信号センサに通信可能に結合された処理デバイスとを含む。処理デバイスは、対象を一意に特徴づけ、対象の識別を判定する目的で、対象が音響信号データのソースであることを確認するために、物理的動きデータを音響信号と相関させるようにプログラムされる。様々な実施形態では、動きセンサの少なくとも１つは、マイクロパワーパルスレーダでよい。マイクロパワーパルスレーダは、対象の声帯、唇、舌、頬、顎、口、歯、および気管のうちの少なくとも１つの物理的動きをキャプチャするように配置されてよく、そのように動作可能でよい。様々な実施形態では、動きセンサの少なくとも１つは、無線周波数誘導熱音響断面Ｘ線撮影デバイス、または低電力Ｘ線回折デバイスでよい。様々な実施形態では、システムは、処理デバイスに通信可能に結合された少なくとも１つのプロンプタをさらに含んでよく、プロンプタは、対象に特定の語または句を要請するように動作可能である。様々な実施形態では、処理デバイスは、対象によって提供された音声調音器官の物理的位置を適時にモデル化するようにプログラムされてよい。処理デバイスはまた、少なくとも１つの動きセンサによってキャプチャされた振動が、メモリに記憶されている予めキャプチャされた振動と時間的に整列していることを検証するようにプログラムされてもよい。様々な実施形態では、システムは、処理デバイスに通信可能に結合され、処理デバイスと共に、少なくとも１つの動きセンサに関して対象の頭を正確に測位するように動作可能であるカメラをさらに含んでよい。様々な実施形態では、音響信号センサは、マイクロホンを含んでよく、マイクロホンおよび処理デバイスは、メモリに記憶されている音声パターンと比較するために対象の可聴音声パターンをキャプチャするように動作可能である。
【０００６】
他の態様では、対象が話された音声のソースであることを検証するための方法が提供される。本方法は、複数のセンサを介して、話された音声に関する物理的振動情報および音響音声情報を受信するステップであって、その情報が、対象からのものであるとされている、ステップと、物理的振動情報を音響音声情報と相関させるステップと、相関情報を対象に関連する記憶されている物理的振動情報および音響音声情報で分析するステップと、対象が話された音声のソースであることを検証するために相関が定義された閾値の範囲内にあるかどうかを判定し、対象を識別するステップとを含む。様々な実施形態では、本方法は、カメラでキャプチャされた情報を使用して、少なくとも１つの動きセンサに関して対象の頭を正確に測位するステップをさらに含んでよい。
【０００７】
他の実施形態では、セキュリティデバイスと、音声の生成に寄与する少なくとも１つの調音器官の物理的な動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、音響信号を受信するための少なくとも１つの音響信号センサと、メモリを有する処理デバイスとを含むセキュリティシステムが提供される。処理デバイスは、セキュリティデバイス、少なくとも１つの動きセンサ、および少なくとも１つの音響信号センサに通信可能に結合され、少なくとも１つの動きセンサから受信された物理的動きデータを予め記憶されている物理的動きデータと相関させ、少なくとも１つの音響信号センサから受信された音響信号データを予め記憶されている音響信号データと相関させるようにプログラムされ、対象が音響信号データのソースであることを検証し、セキュリティデバイスへのアクセスを提供するために対象の識別を検証する目的で対象を一意に特徴づける。
【０００８】
議論されてきた特徴、機能、および利点は、様々な実施形態において独立して達成されることが可能であり、またはさらなる詳細が以下の説明および添付の図面に関連して見られる他の実施形態において結合されることが可能である。
【図面の簡単な説明】
【０００９】
【図１】人間の内部調音器官および外部調音器官の動きとキャプチャされた音声信号との相関を確立するためのセンサを備えて構成されたシステムのブロック図である。
【図２】対象の識別を検証するためのプロセスを例示する流れ図である。
【図３】図１の処理デバイスにおいて見ることができるデータ処理システムの図である。
【発明を実施するための形態】
【００１０】
最後に、音声信号が詐欺師によって人為的に再現されないことを確実にするために、音響信号の物理的ソースが判定されなければならない。前述の実施形態は、次いで話者を一意に特徴づける話された発声を生成した機能している人間の音声装置の存在を確認することによってそのような再生攻撃を妨げる。より具体的には、人間の調音器官部分の動きが識別を検証するために使用される実際に音響音声信号のソースであることを確実に示すために十分正確に人間の音声生成システムを監視するために、現在のリモートセンシング技術が使用される。本明細書で使用される場合は、人間の音声生成システムは、複数の声帯、頬、舌、唇、気管などを含むがそれらに限定されない。
【００１１】
前述のように、一意の音声特徴を使用して個人が請求した識別を検証することは、再生攻撃に脆弱であった。前述の諸実施形態は、話者の音声調音器官の内部部分および外部部分を測定し、物理的な動きを同時に測定される話者の音声の音響信号と相関させることによってそのような問題に対処する。具体的には、舌／喉頭蓋／歯／顎の外部から測定可能な振動、内部の動き、および／または声帯、頬、顎、唇、および気管の内部／外部振動はすべて、以下でさらに説明されるように、音響信号と相関させられることが可能である潜在的なデータのソースである。
【００１２】
一実施形態では、ソースの識別を確認するための本明細書に記載の方法、システム、およびコンピュータ可読媒体の技術的効果は、（ａ）物理的振動データをキャプチャするためのセンサ、（ｂ）音響音声データをキャプチャするための音声デバイス、および（ｃ）振動および音声データを相関させ、相関させられたデータが定義された閾値の範囲内にあるかどうかを判定するための分析ユニットのうちの少なくとも１つを含む。さらなる技術的効果は、（ｄ）音声ソースから物理的振動および音響音声情報を同時に受信すること、（ｅ）ソースから情報を受信する際に潜在的遅延に基づいて情報を相関させること、および（ｆ）相関させられたデータが定義された閾値の範囲内にあるかどうかを判定することを含む。
【００１３】
図１は、キャプチャされた音声信号の物理的ソースが確実に判定されることが可能であるように、内部および外部両方の人間の調音器官の動きのキャプチャされた音声信号との十分に高い相関関係を確立するためにリモートセンシング法を使用するコンピュータ化されたシステム１００の実施形態のブロック図である。一実施形態では、システム１００は、個人の識別請求を確認するように動作し、セキュリティデバイス１１０などの認証システムと協働して機能し、生のなりすましおよび機械的なりすましの両方に抵抗できるやり方でそうする。一実施例では、セキュリティデバイス１１０は、安全なまたは分類されたワークエリアへのドアなどのアクセス制御デバイスである。他の実施例では、セキュリティデバイス１１０は、空港セキュリティ端末または他の空港セキュリティデバイスに関連付けられる。図１に示されているコンピュータ化されたシステム１００は、本明細書に記載の諸プロセスを実行するために利用される可能性があるシステムの一実施形態にすぎない。他のシステム構成が利用されてもよい。
【００１４】
コンピュータ化されたシステム１００は、側面リモート調音器官センサ１３０（左１３２、右１３４）、前面リモート調音器官センサ１４０、カメラ１５０、およびマイクロホン１６０からデータを受信する処理システム１２０を含む。プロンプタ１７０は、処理システム１２０によって制御され、対象１８０に語または句を話すように促す。語および／または句を話すことは、センサ１３０、１４０、カメラ１５０の１つまたは複数、およびマイクロホン１６０によってキャプチャされる。
【００１５】
一実施形態では、センサ１３０および１４０は、声帯閉鎖および頬振動を判定するように配置された１つまたは複数のマイクロパワーパルスレーダを含む。要約すると、センサ１３０、１４０は、音声の生成に寄与する内部および外部の人間の調音器官、たとえば、声帯、舌、唇、頬、および気管の動作を測定するために協力する。これらの調音器官はそれぞれ、音声の生成中に何らかのやり方で振動し、そのような振動は、音声が記録されないことおよび対象１８０によって生成されることを確実にするためにキャプチャされ分析されることが可能である。振動の相関は、適時に調音器官の物理的位置をシステム１００によってモデル化することを可能にする。
【００１６】
一実施例では、センサ１３０は、頬の動きをキャプチャすることができるレーザデバイスであり、センサ１４０は、舌、唇、気管、および声帯のうちの１つまたは複数の動きをキャプチャするマイクロパワーレーダである。処理デバイス１２０は、様々なセンサからのキャプチャされた振動が時間的に整列していることを確実にする。さらに例示するために、図２は、図１のシステム１００によって実行されることが可能である１つのプロセスを例示する流れ図２００である。最初に、システム１００が、識別請求をしたいと思う個人（すなわち、対象１８０）と共に提示される（２０２）。システム１００は、対象１８０の頭の位置を特定するように動作する（２０４）。システム１００では、頭の位置特定機能は、少なくとも１つの動きセンサに関する対象の頭の位置を判定するために、たとえば、処理デバイス１２０と共にカメラ１５０によって実行される。諸実施形態では、カメラ１５０には、ビジュアルセンサ、赤外線（ＩＲ）センサ、超音波センサ、または電磁（ＥＭ）センサのうちの１つまたは複数が組み込まれている。システム１００は、処理デバイス１２０およびプロンプタ１７０の動作によって、対象１８０に話すように促す（２０６）。対象１８０が話すとき、システム１００は、対象の音声および物理的な調音器官の動きの測定値、たとえば、頬、のど、および声帯の振動、ならびに頭、顎、舌、歯、および唇の位置および動きを含む信号を取得する（２０８）。システム１００は、振動を潜在的に含む測定された物理的な動きが、たとえば、記録された音声信号のための生成機構を示すかどうかを判定するために分析を実行する（２１０）。実行された分析２１０が、現実の人が音声のソースであることを示す場合は、対象の識別請求が有効であるかどうかを判定するために第２の分析が実行される（２１２）。システム１００は、実行された分析２１０および判定２１２に基づいてプログラムされたように動作する。
【００１７】
前述の諸実施形態は、生さテストのためのベースとして、内部調音器官部分および外部調音器官部分の動的モデル、ならびに外部部分の音声誘導振動を利用する。さらに、前述の諸実施形態は、唇および顎の動きなどの外部調音器官の動きは詐欺師によってまねされる可能性があることを示唆する。一方、隠された機械的スピーカなどの代替音声ソースは、セキュリティデバイス１１０にアクセスすることを認可された個人の音声記録を再生する。しかし、システム１００は、なりすましの試みにおいて使用されるいかなる製作されたシステムにも、調音器官部分の外部振動を測定することによってだけでなく、対象に関連付けられた内部調音器官の物理的ダイナミクスを測定することによっても、対抗する。具体的には、いかなる製作されたシステムも、声帯、舌、頬、顎、および口を含む人間の音声機構の複雑さに対処しなければならず、これはほとんど可能性がない。
【００１８】
コンピュータ化されたシステム１００は、リモートセンシング法を使用して、人間の内部調音器官および外部調音器官両方の動きのキャプチャされた音声信号との非常に高い相関関係を確立するので、いかなるスプーフィング攻撃も再生攻撃も成功しない。前述のように、前述の諸実施形態の目的は認証システム（たとえば、セキュリティデバイス１１０）と協働して個人の識別請求を確認することである。
【００１９】
音響データおよび動きデータの両方を同時にキャプチャすることによって、動きイベントとそれらの対応する音響信号イベントとの間のある程度の時間的整列が計算されることが可能である。音響信号のソースとして調音器官生成機構を受け入れるための閾値または決定ルールは経験的に決められなければならない。様々な実施形態では、動きイベントのある程度の時間的整列はまた、キャプチャされたデータと予めキャプチャされたデータとの間で計算されることが可能である。たとえば、システム１００は、少なくとも１つの動きセンサによってキャプチャされた振動が、メモリに記憶されている予めキャプチャされた振動と時間的に整列していることを検証するようにプログラムされてよい。様々な実施形態では、システム１００は、音響センサによってキャプチャされた音声情報が、メモリに記憶されている予めキャプチャされた音声情報と時間的に整列していることを検証するようにプログラムされてよい。様々な実施形態では、システム１００は、物理的振動情報および音響音声情報の両方が、予め記憶されている物理的振動情報および音響音声情報と時間的に整列していることを検証することができる。
【００２０】
様々な技術訓練からのいくつかの技法が、調音器官の動きを測定するための候補解決策として利用可能である。たとえば、頬の振動では、マイクロパワードパルスレーダが妥当と思われる。頭、顎、および唇の動きのデータには、ライトフェーズ法およびボリューメトリックイメージング法を使用するリアルタイム３Ｄカメラ１５０が使用される。舌、声門、および喉頭蓋の内部組織の動きには、無線周波数誘導熱音響断面Ｘ線撮影法または低電力Ｘ線回折のいずれかが使用される。
【００２１】
本明細書で使用される場合は、単数形で記載され、単語「ａ」または「ａｎ」が前に付けられている要素またはステップは、複数の要素またはステップを排除しないと、そのような排除が明記されていない限り、理解されるべきである。さらに、本発明の「一実施形態」、または「例示的実施形態」への言及は、記載された特徴が組み込まれている追加の諸実施形態の存在を排除するとは解釈されないものとする。
【００２２】
次に、図３を参照すると、例示的実施形態による処理システム１００の図が示されている。この例示的実施例では、データ処理システム３００は、プロセッサユニット３０４、メモリ３０６、永続的記憶装置３０８、通信ユニット３１０、入力／出力（Ｉ／Ｏ）ユニット３１２、およびディスプレイ３１４の間の通信を提供する通信ファブリック３０２を含む。通信ユニット３１０は、センサ１３０、１４０、カメラ１５０、マイクロホン１６０およびプロンプタ１７０などの周辺デバイスとの通信のために利用される。
【００２３】
プロセッサユニット３０４は、メモリ３０６にロードされ得るソフトウェアのための命令を実行するのに役立つ。プロセッサユニット３０４は、特定の実装形態に応じて１つまたは複数のプロセッサのセットでもよく、またはマルチプロセッサコアでもよい。さらに、プロセッサユニット３０４は、メインプロセッサがシングルチップ上に第２のプロセッサを備えて存在する１つまたは複数の異種プロセッサシステムを使用して実装されてもよい。他の例示的実施形態として、プロセッサユニット３０４は、同じタイプのマルチプロセッサを含有する対称マルチプロセッサシステムでもよい。
【００２４】
メモリ３０６および永続的記憶装置３０８は、記憶装置の例である。記憶装置は、一時的にまたは永続的に情報を記憶することができる任意の１つのハードウェアである。メモリ３０６は、これらの例では、たとえば、限定なしに、ランダムアクセスメモリ、または任意の他の適切な揮発性もしくは不揮発性記憶装置でよい。永続的記憶装置３０８は、特定の実装形態に応じて様々な形を取ってよい。たとえば、限定なしに、永続的記憶装置３０８は、１つまたは複数のコンポーネントまたはデバイスを包含してよい。たとえば、永続的記憶装置３０８は、ハードドライブ、フラッシュメモリ、書き換え可能光ディスク、書き換え可能磁気テープ、または上記のものの何らかの組合せでよい。永続的記憶装置３０８によって使用される媒体はまた、取外し可能でもよい。たとえば、限定なしに、取外し可能ハードドライブが永続的記憶装置３０８のために使用されてよい。
【００２５】
通信ユニット３１０は、これらの実施例では、他のデータ処理システムまたはデバイスとの通信を提供する。これらの実施例では、通信ユニット３１０は、ネットワークインターフェースカードである。通信ユニット３１０は、物理的通信リンクおよび無線通信リンクのいずれかまたは両方の使用によって通信を提供することができる。
【００２６】
入力／出力ユニット３１２は、データ処理システム３００に接続され得る他のデバイスとのデータの入力および出力を可能にする。たとえば、限定なしに、入力／出力ユニット３１２は、キーボードおよびマウスを介してのユーザ入力のための接続を提供することができる。さらに、入力／出力ユニット３１２は、出力をプリンタに送信することができる。ディスプレイ３１４は、情報をユーザに表示するための機構を提供する。
【００２７】
オペレーティングシステムのための命令およびアプリケーションまたはプログラムは、永続的記憶装置３０８上に配置される。これらの命令は、プロセッサユニット３０４による実行のためにメモリ３０６にロードされてよい。様々な実施形態のプロセスは、メモリ３０６などのメモリに配置されてよいコンピュータで実行される命令を使用してプロセッサユニット３０４によって実行され得る。これらの命令は、プロセッサユニット３０４内のプロセッサによって読まれ実行され得るプログラムコード、コンピュータ使用可能プログラムコード、またはコンピュータ可読プログラムコードと呼ばれる。様々な実施形態では、プログラムコードは、メモリ３０６または永続的記憶装置３０８などの様々な物理的または有形のコンピュータ可読媒体上に含まれてよい。
【００２８】
プログラムコード３１６は、選択的に取外し可能であるコンピュータ可読媒体３１８上に機能的形態で配置され、プロセッサユニット３０４による実行のためにデータ処理システム３００上にロードされてもよく、またはそれに伝送されてもよい。プログラムコード３１６およびコンピュータ可読媒体３１８は、これらの実施例では、コンピュータプログラム製品３２０を形成する。一実施例では、コンピュータ可読媒体３１８は、たとえば、永続的記憶装置３０８の一部分であるハードドライブなどの記憶装置上への伝送のために永続的記憶装置３０８の一部分であるドライブまたは他のデバイスに挿入されるまたは入れられる光ディスクまたは磁気ディスクなどの有形形態でよい。有形形態では、コンピュータ可読媒体３１８はまた、データ処理システム３００に接続されるハードドライブ、サムドライブ、またはフラッシュメモリなどの永続的記憶装置の形態を取ってもよい。コンピュータ可読媒体３１８の有形形態はまた、コンピュータ記録可能記憶媒体と呼ばれる。いくつかの例では、コンピュータ可読媒体３１８は、取外し可能でなくてもよい。
【００２９】
代替として、プログラムコード３１６は、コンピュータ可読媒体３１８から通信ユニット３１０への通信リンクを介しておよび／または入力／出力ユニット３１２への接続を介してデータ処理システム３００に伝送され得る。通信リンクおよび／または接続は、例示的実施例では、物理的でも無線でもよい。コンピュータ可読媒体はまた、プログラムコードを包含する通信リンクまたは無線伝送などの非有形媒体の形態を取ってもよい。
【００３０】
いくつかの例示的実施形態では、プログラムコード３１６は、データ処理システム３００の中での使用のために別のデバイスまたはデータ処理システムから永続的記憶装置３０８にネットワークを介してダウンロードされてよい。たとえば、サーバデータ処理システム内のコンピュータ可読記憶媒体に記憶されているプログラムコードは、サーバからデータ処理システム３００にネットワークを介してダウンロードされてよい。プログラムコード３１６を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、またはプログラムコード３１６を記憶または送信することができる何らかの他のデバイスでよい。
【００３１】
データ処理システム３００のための例示された様々なコンポーネントは、様々な実施形態が実施され得る方式に対するアーキテクチャの限定を提供することを意味するものではない。様々な例示的実施形態は、データ処理システム３００のための例示されたもの以外のまたはそれらの代わりのコンポーネントを含むデータ処理システムにおいて実施され得る。図３に示されている他のコンポーネントは、示されている例示的な例と異なるものでもよい。
【００３２】
一実施例として、データ処理システム３００内の記憶装置は、データを記憶する任意のハードウェア装置でよい。メモリ３０６、永続的記憶装置３０８、およびコンピュータ可読媒体３１８は、有形形態の記憶装置の例である。
【００３３】
他の実施例では、通信ファブリック３０２を実装するためにバスシステムが使用されてよく、システムバスまたは入力／出力バスなどの１つまたは複数のバスから成ってよい。もちろん、バスシステムは、バスシステムに取り付けられた様々なコンポーネントまたはデバイス間のデータの伝送を提供する任意のタイプのアーキテクチャを使用して実装されてよい。さらに、通信ユニットは、モデムまたはネットワークアダプタなど、データを送信および受信するために使用される１つまたは複数のデバイスを含んでよい。さらに、メモリは、たとえば、限定なしに、通信ファブリック３０２に存在してよいインターフェースおよびメモリコントローラハブに見られるものなどのメモリ３０６またはキャッシュでよい。
【００３４】
前述の諸実施形態は、リモートセンシング法を使用して内部および外部両方の人間の調音器官の動きに関するデータをキャプチャする方法およびシステムを対象とする。セキュリティデバイスに対するスプーフィング攻撃および再生攻撃が成功しないように、キャプチャされたデータ、たとえば、マイクロパワードパルスレーダでキャプチャされた頬振動が、人間の調音器官の動きとキャプチャされた音声信号との間の相関関係を確立するために使用される。
【００３５】
本明細書に記載の諸実施形態は、ときどき、音声データおよび調音器官の動きに関連するデータなど、「予め記憶されている」データおよび／または「予めキャプチャされた」データに言及する。予めキャプチャされた／記憶されているデータは、同じセッションもしくはアクセス試行からのセンサデータ、および／または前のセッションもしくはアクセス試行からの参照データのいずれかまたは両方を表してよい。予めキャプチャされた／記憶されているデータは、メモリ３０６、永続的記憶装置３０８、またはコンピュータ可読媒体３１８に記憶されてよく、１つまたは複数の動きセンサから受信されたデータとの相互関係のために特定の話者のための音声調音器官の物理的な動きを表すデータを含んでよい。振動データの相関関係は、ときどき、話者固有である。たとえば、音声の第１の話者は、８０％の相互関係を生成する振動データを生成することができ、一方、他の話者は９０％の相互関係を生成することができる。有利なシステム性能は、そのような統計的参照データがセッションごとのベースで受け入れ可能な相互関係の閾値を選択するために利用可能である場合に実現される。しかし、同じセッションからのセンサデータを使用することは、たとえば、舌の位置が有声音素中に頬振動と一致することを示すことによって、「生さ」の指標をさらに提供することができる。
【００３６】
本明細書は、実施例を使用してベストモードを含む様々な実施形態を開示し、当業者が、任意のデバイスまたはシステムを作成し使用することおよび任意の組み込まれている方法を実施することを含めて、それらの実施形態を実行することができるようにする。特許可能な範囲は、請求項によって定義され、当業者が思いつく他の実施例を含んでよい。そのような他の実施例は、請求項の文字言語と異ならない構造要素を有する場合、または請求項の文字言語と事実上異ならない同等の構造要素を含む場合は、請求項の範囲の範囲内にあるもとする。
【符号の説明】
【００３７】
１００ コンピュータ化されたシステム
１１０ セキュリティデバイス
１２０ 処理システム、処理デバイス
１３０ 側面リモート調音器官センサ
１３２ 側面リモート調音器官センサ（左）
１３４ 側面リモート調音器官センサ（右）
１４０ 前面リモート調音器官センサ
１５０ カメラ
１６０ マイクロホン
１７０ プロンプタ
１８０ 対象
２００ 流れ図
３００ データ処理システム
３０２ 通信ファブリック
３０４ プロセッサユニット
３０６ メモリ
３０８ 永続的記憶装置
３１０ 通信ユニット
３１２ 入力／出力ユニット
３１４ ディスプレイ
３１６ プログラムコード
３１８ コンピュータ可読媒体
３２０ コンピュータプログラム製品
【技術分野】
【０００１】
本開示の分野は、一般に、音声認識を利用したセキュリティシステムに関し、より具体的には、話者識別検証のための方法およびシステムに関する。
【背景技術】
【０００２】
セキュリティは、多くの人々にとって大きな関心事であり、軍事努力および商業努力の両方にかなりの投資を引きつけている。識別検証は、セキュリティの多くの側面のための主要機能である。音声ベースの識別検証は、最も異議の少ない生物測定法の１つである。しかし、この生物測定の、コンピュータ化された話者識別検証（ＳＩＶ）に関する未解決の問題は、再生攻撃の脅威である。
【０００３】
音声信号はかなり複雑であり、自然な発声はどれもすべて一義的である。音声信号の話者固有の特徴に焦点を合わせることによって、個々の話者を区別することができる。音声を生成する際に、人体は多くの複雑な調整された仕事を実行する。すべてのこれらの仕事の結果が一次元音声信号に変えられると、結果は、容易にキャプチャされ、ハイフィデリティで再生される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
再生攻撃問題に取り組もうとするこれまでの試みは、追加の信号データ、たとえば、話者の顔の二次元ビデオを参照することによってソースの「生さ」を判定することに焦点を合わせてきた。しかし、現在のビデオキャプチャ技術および再生技術は、そのような生さテストがスプーフィングの影響を受けやすくもする。
【課題を解決するための手段】
【０００５】
一態様では、対象が話された音声のソースであることおよびその話された音声を提供する対象の識別を確認するためのシステムが提供される。システムは、音声の生成に寄与する少なくとも１つの調音器官の物理的な動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、音響信号を受信するための少なくとも１つの音響信号センサと、メモリを備え少なくとも１つの動きセンサおよび少なくとも１つの音響信号センサに通信可能に結合された処理デバイスとを含む。処理デバイスは、対象を一意に特徴づけ、対象の識別を判定する目的で、対象が音響信号データのソースであることを確認するために、物理的動きデータを音響信号と相関させるようにプログラムされる。様々な実施形態では、動きセンサの少なくとも１つは、マイクロパワーパルスレーダでよい。マイクロパワーパルスレーダは、対象の声帯、唇、舌、頬、顎、口、歯、および気管のうちの少なくとも１つの物理的動きをキャプチャするように配置されてよく、そのように動作可能でよい。様々な実施形態では、動きセンサの少なくとも１つは、無線周波数誘導熱音響断面Ｘ線撮影デバイス、または低電力Ｘ線回折デバイスでよい。様々な実施形態では、システムは、処理デバイスに通信可能に結合された少なくとも１つのプロンプタをさらに含んでよく、プロンプタは、対象に特定の語または句を要請するように動作可能である。様々な実施形態では、処理デバイスは、対象によって提供された音声調音器官の物理的位置を適時にモデル化するようにプログラムされてよい。処理デバイスはまた、少なくとも１つの動きセンサによってキャプチャされた振動が、メモリに記憶されている予めキャプチャされた振動と時間的に整列していることを検証するようにプログラムされてもよい。様々な実施形態では、システムは、処理デバイスに通信可能に結合され、処理デバイスと共に、少なくとも１つの動きセンサに関して対象の頭を正確に測位するように動作可能であるカメラをさらに含んでよい。様々な実施形態では、音響信号センサは、マイクロホンを含んでよく、マイクロホンおよび処理デバイスは、メモリに記憶されている音声パターンと比較するために対象の可聴音声パターンをキャプチャするように動作可能である。
【０００６】
他の態様では、対象が話された音声のソースであることを検証するための方法が提供される。本方法は、複数のセンサを介して、話された音声に関する物理的振動情報および音響音声情報を受信するステップであって、その情報が、対象からのものであるとされている、ステップと、物理的振動情報を音響音声情報と相関させるステップと、相関情報を対象に関連する記憶されている物理的振動情報および音響音声情報で分析するステップと、対象が話された音声のソースであることを検証するために相関が定義された閾値の範囲内にあるかどうかを判定し、対象を識別するステップとを含む。様々な実施形態では、本方法は、カメラでキャプチャされた情報を使用して、少なくとも１つの動きセンサに関して対象の頭を正確に測位するステップをさらに含んでよい。
【０００７】
他の実施形態では、セキュリティデバイスと、音声の生成に寄与する少なくとも１つの調音器官の物理的な動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、音響信号を受信するための少なくとも１つの音響信号センサと、メモリを有する処理デバイスとを含むセキュリティシステムが提供される。処理デバイスは、セキュリティデバイス、少なくとも１つの動きセンサ、および少なくとも１つの音響信号センサに通信可能に結合され、少なくとも１つの動きセンサから受信された物理的動きデータを予め記憶されている物理的動きデータと相関させ、少なくとも１つの音響信号センサから受信された音響信号データを予め記憶されている音響信号データと相関させるようにプログラムされ、対象が音響信号データのソースであることを検証し、セキュリティデバイスへのアクセスを提供するために対象の識別を検証する目的で対象を一意に特徴づける。
【０００８】
議論されてきた特徴、機能、および利点は、様々な実施形態において独立して達成されることが可能であり、またはさらなる詳細が以下の説明および添付の図面に関連して見られる他の実施形態において結合されることが可能である。
【図面の簡単な説明】
【０００９】
【図１】人間の内部調音器官および外部調音器官の動きとキャプチャされた音声信号との相関を確立するためのセンサを備えて構成されたシステムのブロック図である。
【図２】対象の識別を検証するためのプロセスを例示する流れ図である。
【図３】図１の処理デバイスにおいて見ることができるデータ処理システムの図である。
【発明を実施するための形態】
【００１０】
最後に、音声信号が詐欺師によって人為的に再現されないことを確実にするために、音響信号の物理的ソースが判定されなければならない。前述の実施形態は、次いで話者を一意に特徴づける話された発声を生成した機能している人間の音声装置の存在を確認することによってそのような再生攻撃を妨げる。より具体的には、人間の調音器官部分の動きが識別を検証するために使用される実際に音響音声信号のソースであることを確実に示すために十分正確に人間の音声生成システムを監視するために、現在のリモートセンシング技術が使用される。本明細書で使用される場合は、人間の音声生成システムは、複数の声帯、頬、舌、唇、気管などを含むがそれらに限定されない。
【００１１】
前述のように、一意の音声特徴を使用して個人が請求した識別を検証することは、再生攻撃に脆弱であった。前述の諸実施形態は、話者の音声調音器官の内部部分および外部部分を測定し、物理的な動きを同時に測定される話者の音声の音響信号と相関させることによってそのような問題に対処する。具体的には、舌／喉頭蓋／歯／顎の外部から測定可能な振動、内部の動き、および／または声帯、頬、顎、唇、および気管の内部／外部振動はすべて、以下でさらに説明されるように、音響信号と相関させられることが可能である潜在的なデータのソースである。
【００１２】
一実施形態では、ソースの識別を確認するための本明細書に記載の方法、システム、およびコンピュータ可読媒体の技術的効果は、（ａ）物理的振動データをキャプチャするためのセンサ、（ｂ）音響音声データをキャプチャするための音声デバイス、および（ｃ）振動および音声データを相関させ、相関させられたデータが定義された閾値の範囲内にあるかどうかを判定するための分析ユニットのうちの少なくとも１つを含む。さらなる技術的効果は、（ｄ）音声ソースから物理的振動および音響音声情報を同時に受信すること、（ｅ）ソースから情報を受信する際に潜在的遅延に基づいて情報を相関させること、および（ｆ）相関させられたデータが定義された閾値の範囲内にあるかどうかを判定することを含む。
【００１３】
図１は、キャプチャされた音声信号の物理的ソースが確実に判定されることが可能であるように、内部および外部両方の人間の調音器官の動きのキャプチャされた音声信号との十分に高い相関関係を確立するためにリモートセンシング法を使用するコンピュータ化されたシステム１００の実施形態のブロック図である。一実施形態では、システム１００は、個人の識別請求を確認するように動作し、セキュリティデバイス１１０などの認証システムと協働して機能し、生のなりすましおよび機械的なりすましの両方に抵抗できるやり方でそうする。一実施例では、セキュリティデバイス１１０は、安全なまたは分類されたワークエリアへのドアなどのアクセス制御デバイスである。他の実施例では、セキュリティデバイス１１０は、空港セキュリティ端末または他の空港セキュリティデバイスに関連付けられる。図１に示されているコンピュータ化されたシステム１００は、本明細書に記載の諸プロセスを実行するために利用される可能性があるシステムの一実施形態にすぎない。他のシステム構成が利用されてもよい。
【００１４】
コンピュータ化されたシステム１００は、側面リモート調音器官センサ１３０（左１３２、右１３４）、前面リモート調音器官センサ１４０、カメラ１５０、およびマイクロホン１６０からデータを受信する処理システム１２０を含む。プロンプタ１７０は、処理システム１２０によって制御され、対象１８０に語または句を話すように促す。語および／または句を話すことは、センサ１３０、１４０、カメラ１５０の１つまたは複数、およびマイクロホン１６０によってキャプチャされる。
【００１５】
一実施形態では、センサ１３０および１４０は、声帯閉鎖および頬振動を判定するように配置された１つまたは複数のマイクロパワーパルスレーダを含む。要約すると、センサ１３０、１４０は、音声の生成に寄与する内部および外部の人間の調音器官、たとえば、声帯、舌、唇、頬、および気管の動作を測定するために協力する。これらの調音器官はそれぞれ、音声の生成中に何らかのやり方で振動し、そのような振動は、音声が記録されないことおよび対象１８０によって生成されることを確実にするためにキャプチャされ分析されることが可能である。振動の相関は、適時に調音器官の物理的位置をシステム１００によってモデル化することを可能にする。
【００１６】
一実施例では、センサ１３０は、頬の動きをキャプチャすることができるレーザデバイスであり、センサ１４０は、舌、唇、気管、および声帯のうちの１つまたは複数の動きをキャプチャするマイクロパワーレーダである。処理デバイス１２０は、様々なセンサからのキャプチャされた振動が時間的に整列していることを確実にする。さらに例示するために、図２は、図１のシステム１００によって実行されることが可能である１つのプロセスを例示する流れ図２００である。最初に、システム１００が、識別請求をしたいと思う個人（すなわち、対象１８０）と共に提示される（２０２）。システム１００は、対象１８０の頭の位置を特定するように動作する（２０４）。システム１００では、頭の位置特定機能は、少なくとも１つの動きセンサに関する対象の頭の位置を判定するために、たとえば、処理デバイス１２０と共にカメラ１５０によって実行される。諸実施形態では、カメラ１５０には、ビジュアルセンサ、赤外線（ＩＲ）センサ、超音波センサ、または電磁（ＥＭ）センサのうちの１つまたは複数が組み込まれている。システム１００は、処理デバイス１２０およびプロンプタ１７０の動作によって、対象１８０に話すように促す（２０６）。対象１８０が話すとき、システム１００は、対象の音声および物理的な調音器官の動きの測定値、たとえば、頬、のど、および声帯の振動、ならびに頭、顎、舌、歯、および唇の位置および動きを含む信号を取得する（２０８）。システム１００は、振動を潜在的に含む測定された物理的な動きが、たとえば、記録された音声信号のための生成機構を示すかどうかを判定するために分析を実行する（２１０）。実行された分析２１０が、現実の人が音声のソースであることを示す場合は、対象の識別請求が有効であるかどうかを判定するために第２の分析が実行される（２１２）。システム１００は、実行された分析２１０および判定２１２に基づいてプログラムされたように動作する。
【００１７】
前述の諸実施形態は、生さテストのためのベースとして、内部調音器官部分および外部調音器官部分の動的モデル、ならびに外部部分の音声誘導振動を利用する。さらに、前述の諸実施形態は、唇および顎の動きなどの外部調音器官の動きは詐欺師によってまねされる可能性があることを示唆する。一方、隠された機械的スピーカなどの代替音声ソースは、セキュリティデバイス１１０にアクセスすることを認可された個人の音声記録を再生する。しかし、システム１００は、なりすましの試みにおいて使用されるいかなる製作されたシステムにも、調音器官部分の外部振動を測定することによってだけでなく、対象に関連付けられた内部調音器官の物理的ダイナミクスを測定することによっても、対抗する。具体的には、いかなる製作されたシステムも、声帯、舌、頬、顎、および口を含む人間の音声機構の複雑さに対処しなければならず、これはほとんど可能性がない。
【００１８】
コンピュータ化されたシステム１００は、リモートセンシング法を使用して、人間の内部調音器官および外部調音器官両方の動きのキャプチャされた音声信号との非常に高い相関関係を確立するので、いかなるスプーフィング攻撃も再生攻撃も成功しない。前述のように、前述の諸実施形態の目的は認証システム（たとえば、セキュリティデバイス１１０）と協働して個人の識別請求を確認することである。
【００１９】
音響データおよび動きデータの両方を同時にキャプチャすることによって、動きイベントとそれらの対応する音響信号イベントとの間のある程度の時間的整列が計算されることが可能である。音響信号のソースとして調音器官生成機構を受け入れるための閾値または決定ルールは経験的に決められなければならない。様々な実施形態では、動きイベントのある程度の時間的整列はまた、キャプチャされたデータと予めキャプチャされたデータとの間で計算されることが可能である。たとえば、システム１００は、少なくとも１つの動きセンサによってキャプチャされた振動が、メモリに記憶されている予めキャプチャされた振動と時間的に整列していることを検証するようにプログラムされてよい。様々な実施形態では、システム１００は、音響センサによってキャプチャされた音声情報が、メモリに記憶されている予めキャプチャされた音声情報と時間的に整列していることを検証するようにプログラムされてよい。様々な実施形態では、システム１００は、物理的振動情報および音響音声情報の両方が、予め記憶されている物理的振動情報および音響音声情報と時間的に整列していることを検証することができる。
【００２０】
様々な技術訓練からのいくつかの技法が、調音器官の動きを測定するための候補解決策として利用可能である。たとえば、頬の振動では、マイクロパワードパルスレーダが妥当と思われる。頭、顎、および唇の動きのデータには、ライトフェーズ法およびボリューメトリックイメージング法を使用するリアルタイム３Ｄカメラ１５０が使用される。舌、声門、および喉頭蓋の内部組織の動きには、無線周波数誘導熱音響断面Ｘ線撮影法または低電力Ｘ線回折のいずれかが使用される。
【００２１】
本明細書で使用される場合は、単数形で記載され、単語「ａ」または「ａｎ」が前に付けられている要素またはステップは、複数の要素またはステップを排除しないと、そのような排除が明記されていない限り、理解されるべきである。さらに、本発明の「一実施形態」、または「例示的実施形態」への言及は、記載された特徴が組み込まれている追加の諸実施形態の存在を排除するとは解釈されないものとする。
【００２２】
次に、図３を参照すると、例示的実施形態による処理システム１００の図が示されている。この例示的実施例では、データ処理システム３００は、プロセッサユニット３０４、メモリ３０６、永続的記憶装置３０８、通信ユニット３１０、入力／出力（Ｉ／Ｏ）ユニット３１２、およびディスプレイ３１４の間の通信を提供する通信ファブリック３０２を含む。通信ユニット３１０は、センサ１３０、１４０、カメラ１５０、マイクロホン１６０およびプロンプタ１７０などの周辺デバイスとの通信のために利用される。
【００２３】
プロセッサユニット３０４は、メモリ３０６にロードされ得るソフトウェアのための命令を実行するのに役立つ。プロセッサユニット３０４は、特定の実装形態に応じて１つまたは複数のプロセッサのセットでもよく、またはマルチプロセッサコアでもよい。さらに、プロセッサユニット３０４は、メインプロセッサがシングルチップ上に第２のプロセッサを備えて存在する１つまたは複数の異種プロセッサシステムを使用して実装されてもよい。他の例示的実施形態として、プロセッサユニット３０４は、同じタイプのマルチプロセッサを含有する対称マルチプロセッサシステムでもよい。
【００２４】
メモリ３０６および永続的記憶装置３０８は、記憶装置の例である。記憶装置は、一時的にまたは永続的に情報を記憶することができる任意の１つのハードウェアである。メモリ３０６は、これらの例では、たとえば、限定なしに、ランダムアクセスメモリ、または任意の他の適切な揮発性もしくは不揮発性記憶装置でよい。永続的記憶装置３０８は、特定の実装形態に応じて様々な形を取ってよい。たとえば、限定なしに、永続的記憶装置３０８は、１つまたは複数のコンポーネントまたはデバイスを包含してよい。たとえば、永続的記憶装置３０８は、ハードドライブ、フラッシュメモリ、書き換え可能光ディスク、書き換え可能磁気テープ、または上記のものの何らかの組合せでよい。永続的記憶装置３０８によって使用される媒体はまた、取外し可能でもよい。たとえば、限定なしに、取外し可能ハードドライブが永続的記憶装置３０８のために使用されてよい。
【００２５】
通信ユニット３１０は、これらの実施例では、他のデータ処理システムまたはデバイスとの通信を提供する。これらの実施例では、通信ユニット３１０は、ネットワークインターフェースカードである。通信ユニット３１０は、物理的通信リンクおよび無線通信リンクのいずれかまたは両方の使用によって通信を提供することができる。
【００２６】
入力／出力ユニット３１２は、データ処理システム３００に接続され得る他のデバイスとのデータの入力および出力を可能にする。たとえば、限定なしに、入力／出力ユニット３１２は、キーボードおよびマウスを介してのユーザ入力のための接続を提供することができる。さらに、入力／出力ユニット３１２は、出力をプリンタに送信することができる。ディスプレイ３１４は、情報をユーザに表示するための機構を提供する。
【００２７】
オペレーティングシステムのための命令およびアプリケーションまたはプログラムは、永続的記憶装置３０８上に配置される。これらの命令は、プロセッサユニット３０４による実行のためにメモリ３０６にロードされてよい。様々な実施形態のプロセスは、メモリ３０６などのメモリに配置されてよいコンピュータで実行される命令を使用してプロセッサユニット３０４によって実行され得る。これらの命令は、プロセッサユニット３０４内のプロセッサによって読まれ実行され得るプログラムコード、コンピュータ使用可能プログラムコード、またはコンピュータ可読プログラムコードと呼ばれる。様々な実施形態では、プログラムコードは、メモリ３０６または永続的記憶装置３０８などの様々な物理的または有形のコンピュータ可読媒体上に含まれてよい。
【００２８】
プログラムコード３１６は、選択的に取外し可能であるコンピュータ可読媒体３１８上に機能的形態で配置され、プロセッサユニット３０４による実行のためにデータ処理システム３００上にロードされてもよく、またはそれに伝送されてもよい。プログラムコード３１６およびコンピュータ可読媒体３１８は、これらの実施例では、コンピュータプログラム製品３２０を形成する。一実施例では、コンピュータ可読媒体３１８は、たとえば、永続的記憶装置３０８の一部分であるハードドライブなどの記憶装置上への伝送のために永続的記憶装置３０８の一部分であるドライブまたは他のデバイスに挿入されるまたは入れられる光ディスクまたは磁気ディスクなどの有形形態でよい。有形形態では、コンピュータ可読媒体３１８はまた、データ処理システム３００に接続されるハードドライブ、サムドライブ、またはフラッシュメモリなどの永続的記憶装置の形態を取ってもよい。コンピュータ可読媒体３１８の有形形態はまた、コンピュータ記録可能記憶媒体と呼ばれる。いくつかの例では、コンピュータ可読媒体３１８は、取外し可能でなくてもよい。
【００２９】
代替として、プログラムコード３１６は、コンピュータ可読媒体３１８から通信ユニット３１０への通信リンクを介しておよび／または入力／出力ユニット３１２への接続を介してデータ処理システム３００に伝送され得る。通信リンクおよび／または接続は、例示的実施例では、物理的でも無線でもよい。コンピュータ可読媒体はまた、プログラムコードを包含する通信リンクまたは無線伝送などの非有形媒体の形態を取ってもよい。
【００３０】
いくつかの例示的実施形態では、プログラムコード３１６は、データ処理システム３００の中での使用のために別のデバイスまたはデータ処理システムから永続的記憶装置３０８にネットワークを介してダウンロードされてよい。たとえば、サーバデータ処理システム内のコンピュータ可読記憶媒体に記憶されているプログラムコードは、サーバからデータ処理システム３００にネットワークを介してダウンロードされてよい。プログラムコード３１６を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、またはプログラムコード３１６を記憶または送信することができる何らかの他のデバイスでよい。
【００３１】
データ処理システム３００のための例示された様々なコンポーネントは、様々な実施形態が実施され得る方式に対するアーキテクチャの限定を提供することを意味するものではない。様々な例示的実施形態は、データ処理システム３００のための例示されたもの以外のまたはそれらの代わりのコンポーネントを含むデータ処理システムにおいて実施され得る。図３に示されている他のコンポーネントは、示されている例示的な例と異なるものでもよい。
【００３２】
一実施例として、データ処理システム３００内の記憶装置は、データを記憶する任意のハードウェア装置でよい。メモリ３０６、永続的記憶装置３０８、およびコンピュータ可読媒体３１８は、有形形態の記憶装置の例である。
【００３３】
他の実施例では、通信ファブリック３０２を実装するためにバスシステムが使用されてよく、システムバスまたは入力／出力バスなどの１つまたは複数のバスから成ってよい。もちろん、バスシステムは、バスシステムに取り付けられた様々なコンポーネントまたはデバイス間のデータの伝送を提供する任意のタイプのアーキテクチャを使用して実装されてよい。さらに、通信ユニットは、モデムまたはネットワークアダプタなど、データを送信および受信するために使用される１つまたは複数のデバイスを含んでよい。さらに、メモリは、たとえば、限定なしに、通信ファブリック３０２に存在してよいインターフェースおよびメモリコントローラハブに見られるものなどのメモリ３０６またはキャッシュでよい。
【００３４】
前述の諸実施形態は、リモートセンシング法を使用して内部および外部両方の人間の調音器官の動きに関するデータをキャプチャする方法およびシステムを対象とする。セキュリティデバイスに対するスプーフィング攻撃および再生攻撃が成功しないように、キャプチャされたデータ、たとえば、マイクロパワードパルスレーダでキャプチャされた頬振動が、人間の調音器官の動きとキャプチャされた音声信号との間の相関関係を確立するために使用される。
【００３５】
本明細書に記載の諸実施形態は、ときどき、音声データおよび調音器官の動きに関連するデータなど、「予め記憶されている」データおよび／または「予めキャプチャされた」データに言及する。予めキャプチャされた／記憶されているデータは、同じセッションもしくはアクセス試行からのセンサデータ、および／または前のセッションもしくはアクセス試行からの参照データのいずれかまたは両方を表してよい。予めキャプチャされた／記憶されているデータは、メモリ３０６、永続的記憶装置３０８、またはコンピュータ可読媒体３１８に記憶されてよく、１つまたは複数の動きセンサから受信されたデータとの相互関係のために特定の話者のための音声調音器官の物理的な動きを表すデータを含んでよい。振動データの相関関係は、ときどき、話者固有である。たとえば、音声の第１の話者は、８０％の相互関係を生成する振動データを生成することができ、一方、他の話者は９０％の相互関係を生成することができる。有利なシステム性能は、そのような統計的参照データがセッションごとのベースで受け入れ可能な相互関係の閾値を選択するために利用可能である場合に実現される。しかし、同じセッションからのセンサデータを使用することは、たとえば、舌の位置が有声音素中に頬振動と一致することを示すことによって、「生さ」の指標をさらに提供することができる。
【００３６】
本明細書は、実施例を使用してベストモードを含む様々な実施形態を開示し、当業者が、任意のデバイスまたはシステムを作成し使用することおよび任意の組み込まれている方法を実施することを含めて、それらの実施形態を実行することができるようにする。特許可能な範囲は、請求項によって定義され、当業者が思いつく他の実施例を含んでよい。そのような他の実施例は、請求項の文字言語と異ならない構造要素を有する場合、または請求項の文字言語と事実上異ならない同等の構造要素を含む場合は、請求項の範囲の範囲内にあるもとする。
【符号の説明】
【００３７】
１００ コンピュータ化されたシステム
１１０ セキュリティデバイス
１２０ 処理システム、処理デバイス
１３０ 側面リモート調音器官センサ
１３２ 側面リモート調音器官センサ（左）
１３４ 側面リモート調音器官センサ（右）
１４０ 前面リモート調音器官センサ
１５０ カメラ
１６０ マイクロホン
１７０ プロンプタ
１８０ 対象
２００ 流れ図
３００ データ処理システム
３０２ 通信ファブリック
３０４ プロセッサユニット
３０６ メモリ
３０８ 永続的記憶装置
３１０ 通信ユニット
３１２ 入力／出力ユニット
３１４ ディスプレイ
３１６ プログラムコード
３１８ コンピュータ可読媒体
３２０ コンピュータプログラム製品
【特許請求の範囲】
【請求項１】
対象が話された音声のソースであることおよび前記話された音声を提供する前記対象の識別を確認するためのシステムであって
音声の生成に寄与する少なくとも１つの調音器官の物理的な動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、
音響信号を受信するための少なくとも１つの音響信号センサと、
メモリを備え、前記少なくとも１つの動きセンサおよび前記少なくとも１つの音響信号センサに通信可能に結合された処理デバイスであって、前記対象を一意に特徴づけ、前記対象の前記識別を判定する目的で前記対象が前記音響信号データの前記ソースであることを確認するために物理的動きデータを音響信号データと相関させるようにプログラムされた処理デバイスと
を備えるシステム。
【請求項２】
音声の前記生成に寄与する少なくとも１つの追加の調音器官の物理的動きをキャプチャするように動作可能な少なくとも１つの第２の動きセンサをさらに備える、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの第２の動きセンサが前記対象の少なくとも１つの頬振動をキャプチャするように動作可能なマイクロパワーパルスレーダを備える、請求項２に記載のシステム。
【請求項４】
前記メモリが、前記少なくとも１つの動きセンサから受信されたデータとの相関関係のために特定の対象のための音声調音器官の物理的動きデータを表すデータを備える、請求項１に記載のシステム。
【請求項５】
前記少なくとも１つの動きセンサが、音声の前記生成中に生成された振動の少なくとも１つをキャプチャするように動作可能であり、前記対象の頭に関して測位するように構成された側面リモート調音器官センサおよび前面リモート調音器官センサのうちの少なくとも１つを備える、請求項１に記載のシステム。
【請求項６】
対象が話された音声の前記ソースであることを検証するための方法であって、
複数のセンサを介して、前記話された音声に関する物理的振動情報および音響音声情報を受信するステップであって、前記情報が、前記対象からのものであるとされている、ステップと、
前記物理的振動情報を前記音響音声情報と相関させるステップと、
相関させられた情報を前記対象に関連する記憶されている物理的振動情報および音響音声情報で分析するステップと、
前記対象が話された音声の前記ソースであることを検証するために前記相関関係が定義された閾値の範囲内にあるかどうかを判定し、前記対象を識別するステップと
を含む方法。
【請求項７】
物理的振動情報および音響音声情報を受信するステップが、音声の前記生成に寄与する前記対象のための少なくとも１つの内部調音器官の物理的動きをキャプチャするように配置された少なくとも１つのマイクロパワーパルスレーダからデータを受信するステップを含む、請求項６に記載の方法。
【請求項８】
物理的振動情報および音響音声情報を受信するステップが、前記対象の声帯、唇、頬、顎、口、歯、および気管のうちの少なくとも１つの振動をキャプチャするように配置された少なくとも１つのマイクロパワーパルスレーダからデータを受信するステップを含む、請求項６に記載の方法。
【請求項９】
前記物理的振動情報および音響音声情報を相関させるステップが、前記受信された物理的振動情報および音響音声情報がメモリにおいて前記対象に関連する予め記憶されている物理的振動情報および音響音声情報と時間的に整列していることを検証するステップを含む、請求項６に記載の方法。
【請求項１０】
前記物理的振動情報および音響音声情報を相関させるステップが、マイクロホンを使用してキャプチャされた音声パターンを前記メモリに記憶されている音声パターンと比較するステップを含む、請求項６に記載の方法。
【請求項１】
対象が話された音声のソースであることおよび前記話された音声を提供する前記対象の識別を確認するためのシステムであって
音声の生成に寄与する少なくとも１つの調音器官の物理的な動きをキャプチャするように動作可能な少なくとも１つの動きセンサと、
音響信号を受信するための少なくとも１つの音響信号センサと、
メモリを備え、前記少なくとも１つの動きセンサおよび前記少なくとも１つの音響信号センサに通信可能に結合された処理デバイスであって、前記対象を一意に特徴づけ、前記対象の前記識別を判定する目的で前記対象が前記音響信号データの前記ソースであることを確認するために物理的動きデータを音響信号データと相関させるようにプログラムされた処理デバイスと
を備えるシステム。
【請求項２】
音声の前記生成に寄与する少なくとも１つの追加の調音器官の物理的動きをキャプチャするように動作可能な少なくとも１つの第２の動きセンサをさらに備える、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの第２の動きセンサが前記対象の少なくとも１つの頬振動をキャプチャするように動作可能なマイクロパワーパルスレーダを備える、請求項２に記載のシステム。
【請求項４】
前記メモリが、前記少なくとも１つの動きセンサから受信されたデータとの相関関係のために特定の対象のための音声調音器官の物理的動きデータを表すデータを備える、請求項１に記載のシステム。
【請求項５】
前記少なくとも１つの動きセンサが、音声の前記生成中に生成された振動の少なくとも１つをキャプチャするように動作可能であり、前記対象の頭に関して測位するように構成された側面リモート調音器官センサおよび前面リモート調音器官センサのうちの少なくとも１つを備える、請求項１に記載のシステム。
【請求項６】
対象が話された音声の前記ソースであることを検証するための方法であって、
複数のセンサを介して、前記話された音声に関する物理的振動情報および音響音声情報を受信するステップであって、前記情報が、前記対象からのものであるとされている、ステップと、
前記物理的振動情報を前記音響音声情報と相関させるステップと、
相関させられた情報を前記対象に関連する記憶されている物理的振動情報および音響音声情報で分析するステップと、
前記対象が話された音声の前記ソースであることを検証するために前記相関関係が定義された閾値の範囲内にあるかどうかを判定し、前記対象を識別するステップと
を含む方法。
【請求項７】
物理的振動情報および音響音声情報を受信するステップが、音声の前記生成に寄与する前記対象のための少なくとも１つの内部調音器官の物理的動きをキャプチャするように配置された少なくとも１つのマイクロパワーパルスレーダからデータを受信するステップを含む、請求項６に記載の方法。
【請求項８】
物理的振動情報および音響音声情報を受信するステップが、前記対象の声帯、唇、頬、顎、口、歯、および気管のうちの少なくとも１つの振動をキャプチャするように配置された少なくとも１つのマイクロパワーパルスレーダからデータを受信するステップを含む、請求項６に記載の方法。
【請求項９】
前記物理的振動情報および音響音声情報を相関させるステップが、前記受信された物理的振動情報および音響音声情報がメモリにおいて前記対象に関連する予め記憶されている物理的振動情報および音響音声情報と時間的に整列していることを検証するステップを含む、請求項６に記載の方法。
【請求項１０】
前記物理的振動情報および音響音声情報を相関させるステップが、マイクロホンを使用してキャプチャされた音声パターンを前記メモリに記憶されている音声パターンと比較するステップを含む、請求項６に記載の方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−４５１０４（Ｐ２０１３−４５１０４Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１５１６７９（Ｐ２０１２−１５１６７９）
【出願日】平成２４年７月５日（２０１２．７．５）
【出願人】（５００５２０７４３）ザ・ボーイング・カンパニー (773)
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１２−１５１６７９（Ｐ２０１２−１５１６７９）
【出願日】平成２４年７月５日（２０１２．７．５）
【出願人】（５００５２０７４３）ザ・ボーイング・カンパニー (773)
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
[ Back to top ]