ＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラム
【課題】少ない繰り返し発声で高画質のＭＲＩ発話動画を作成可能とする。
【解決手段】時系列信号観測部は、或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリング間隔で時系列的に観測する。時間関数・発話駆動時点抽出部は、前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する。ＭＲＩ画像撮像部は、前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像する。ＭＲＩ発話動画作成部は、前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成する。
【解決手段】時系列信号観測部は、或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリング間隔で時系列的に観測する。時間関数・発話駆動時点抽出部は、前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する。ＭＲＩ画像撮像部は、前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像する。ＭＲＩ発話動画作成部は、前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、発話運動パラメータから空間行列・時間関数・発話駆動時点を抽出し、得られた発話駆動時点における発声時の発話器官をＭＲＩにより撮像し、得られた発話器官のＭＲＩ画像と時間関数を用いてＭＲＩ発話動画を作成するＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラムに関する。
【背景技術】
【０００２】
人間の発話メカニズムを理解する上で、発声時の口唇や舌などの発話器官の運動を観測することは非常に重要である。しかし、発話器官のほとんどは口腔内にあり、発話器官を体の外から観測することは難しい。これまでに、安全かつ高精度な発話運動の観測のために、ＭＲＩ（Magnetic Resonance Imaging）を用いて発話運動の動画を作成する方法が提案されている。一つは、発話同期撮像法で、被験者に同一文章を繰り返し発声させ、これと同期してＭＲＩ装置がサンプリング周期ごとにスキャンを行い、得られたデータから２次元あるいは３次元のＭＲＩ発話動画を再構成するものである（非特許文献１）。この方法は高画質の動画を得ることが可能であるが、被験者が正確なタイミングで同じ発声を１００回以上繰り返す必要がある。もう一つは、リアルタイムＭＲＩで、繰り返し発声を必要としないが、画質が低い（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】島田他、「Synchronized Sampling Method(SSM)を利用した４Ｄ−ＭＲＩ」、日本放射線技術学会雑誌、2002年、第58巻第12号、p.1592-1598
【非特許文献２】S.Narayanan他、"An approach to real-time magnetic resonance imaging for speech production", J.Acoust.Soc.Am., 2004, 115(4), p.1771-1776
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高画質のＭＲＩ発話動画を得るためには、非特許文献１の方法ではＭＲＩスキャナ内で同一文章を１００回以上繰り返し発声する必要があるという問題があり、非特許文献２の方法では動画の画質と時間分解能の両方を上げることが困難であるという問題がある。
【０００５】
本発明は、発話運動がスパース表現でのモデル化に適していることに鑑み、発話運動のスパース性を利用した非一様な時間サンプリングによりＭＲＩ画像を撮像し、発話運動の時間関数と組み合わせることで、少ない繰り返し発声で高画質のＭＲＩ発話動画を得ることが可能な、ＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラムを実現することにある。
【課題を解決するための手段】
【０００６】
本発明のＭＲＩ発話動画作成装置は、時系列信号観測部と時間関数・発話駆動時点抽出部とＭＲＩ画像撮像部とＭＲＩ発話動画作成部とを備える。
【０００７】
時系列信号観測部は、或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する。
【０００８】
時間関数・発話駆動時点抽出部は、前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する。
【０００９】
ＭＲＩ画像撮像部は、前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像する。
【００１０】
ＭＲＩ発話動画作成部は、前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成する。
【発明の効果】
【００１１】
本発明のＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラムによれば、発話運動のスパース性を利用した非一様な時間サンプリングによりＭＲＩ画像を撮像し、発話運動の時間関数と組み合わせることで、少ない繰り返し発声で高画質のＭＲＩ発話動画を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明のＭＲＩ発話動画作成装置の機能構成例を示す図。
【図２】本発明のＭＲＩ発話動画作成装置の処理フロー例を示す図。
【図３】時系列信号観測部による各発話器官の位置情報の観測結果の一例を示す図。
【図４】図３の観測結果における垂直方向の位置情報について、時間軸上に展開した図。
【図５】図３の観測結果から抽出した時間関数の一例を示す図。
【図６】スパースな時刻（駆動時点）における空間行列の各要素値（ベクトル値）を平面上にプロットした一例を示す図。
【発明を実施するための形態】
【００１３】
図１に本発明のＭＲＩ発話動画作成装置１００の機能構成例を、図２にその処理フロー例をそれぞれ示す。ＭＲＩ発話動画作成装置１００は、時系列信号観測部１１０と時間関数・発話駆動時点抽出部１２０とＭＲＩ画像撮像部１３０とＭＲＩ発話動画作成部１４０とを備える。
【００１４】
時系列信号観測部１１０は、発話時における口腔内の発話器官の位置情報の時系列信号（発話運動パラメータ）を観測する。具体的には、或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する。観測には２次元磁気センサシステムを用い、例えば、下歯茎、上唇、下唇、及び舌上の３点のそれぞれの水平及び垂直位置の１２個の位置情報を毎秒２５０回のサンプリングレートで観測する。また、発話運動の観測と同時に音声を録音してもよい。録音のサンプリングレートは、例えば１６ｋＨｚ程度とすることが考えられる。
【００１５】
時間関数・発話駆動時点抽出部１２０は、時系列信号観測部１１０で観測されたｐ個の位置情報それぞれに係る時間長Ｔの時系列信号Ｙ（ｐ×Ｔ）から、空間行列Ａ（ｐ×ｍ）と時間関数Ｆ（ｍ×Ｔ）とｍ点の発話駆動時点ｋ（ｋ＝１,・・・,ｍ）を、例えば参考文献１のNon-negative Temporal Decomposition(ＮＴＤ)を用いて抽出する。抽出する発話駆動時点ｋの個数ｍは、例えば発話に含まれる音素の個数とすることが考えられる。
〔参考文献１〕S.Hiroya, "NON-NEGATIVE TEMPORAL DECOMPOSITION OF SPEECH PARAMETERS", Proc.ICASSP, 2010, p.5066-5069
【００１６】
ＮＴＤではＹ＝ＡＦ、つまり、
【数１】
【００１７】
という分解を行う。ここで、ｔは所定のサンプリングレートにおける各観測時刻、ｙi(ｔ)は観測された位置情報の時系列信号Ｙの各要素の値、ａi,kは空間行列Ａの各要素の値（ベクトル値）、ｆk(ｔ)は時間関数Ｆの各要素の値である。式(1)は、ｆk(ｔ)がｔk-1≦ｔ≦ｔk（ｔkは発話駆動時点ｋの時刻）の区間においてのみ値を持つという時間関数の局所化のアイディアを導入することで、ｔk-1≦ｔ≦ｔkの区間にある各観測時刻ｔについて、次のように簡略化できる。
【００１８】
【数２】
【００１９】
ここで、時間関数ｆk(ｔ)が［０，１］であり、かつ、ｆk(ｔ)＋ｆk-1(ｔ)＝１とすれば、隣り合う発話駆動時点ｋ−１とｋにおける空間行列ａi,kの内挿によりｙを表現するモデルとなる。式(2)より、ｔk-1≦ｔ≦ｔkの区間における歪みは当該区間のパラメータのみに依存するため、ａi,k＝ｙi(ｔk)と固定した場合、発話駆動時点ｋの時刻ｔkと時間関数ｆk(ｔ)は、最小二乗法とＤＰ（動的計画法）を用いることで、局所区間をつなぎ合わせた全区間に対する歪みを最小にするように決定することができる。
【００２０】
ＮＴＤでは、ＡとＦの各要素が非負値であり、時間関数ｆk(ｔ)が［０，１］であり、かつ、ｆk(ｔ)＋ｆk-1(ｔ)＝１という制約の下で、式(2)における歪みを最小化するＡ、Ｆおよびｔkを求める。つまり、次式の評価関数を、非負行列因子分解（ＮＭＦ：Non-negative Matrix Factorization）（参考文献２）とＤＰを用いて最小化する。
【００２１】
【数３】
【００２２】
ここで、１＝ｔ1＜ｔ2＜・・・＜ｔm＝Ｔであり、αはｆk(ｔ)＋ｆk-1(ｔ)＝１という制約をどの程度考慮するかの重み付けのための定数である。
〔参考文献２〕D.D.Lee and H.S.Seung, "Learning the parts of objects by non-negative matrix factorization", Nature, 1999, vol.401, p.788-791
【００２３】
Ａ、Ｆおよびｔkを求める手順は、空間行列ａi,kの初期値をａi,k＝ｙi(ｔk)、時間関数ｆk(ｔ)の初期値を［０，１］の乱数、発話駆動時点ｋの時刻ｔkを予め定められた初期値とし、まず、式(3)の評価関数を最小にするＦとｔkを、ＮＭＦとＤＰを用いて求め、得られたｔkを用い再度ＮＭＦを用いてａi,kとｆk(ｔ)を更新することによりＡとＦを求める。
【００２４】
区間ｔk-1≦ｔ≦ｔkにおけるｆk(ｔ)とｆk-1(ｔ)の更新は、乗算型の更新式を用いて次のように行う。なお、本更新式の収束性は保証されている。
【００２５】
【数４】
【００２６】
また、ａi,kの更新も乗算型の更新式を用いて次のように行う。
【００２７】
【数５】
【００２８】
ここで、ａi,kの決定には区間ｔk≦ｔ≦ｔk+1も必要であることに注意する。
【００２９】
また、ｔk（ｋ＝２,・・・,ｍ−１）は、ｄ(ｔ)を観測時刻ｔにおける歪みとしたとき、局所区間をつなぎ合わせた全区間に対する歪みに基づき、次式により求めることができる。
【００３０】
【数６】
【００３１】
ここで、ｄ(ｔ)は、観測されたｙi(ｔ)と近似値ａi,k・ｆk(ｔ)＋ａi,k-1・ｆk-1(ｔ)の間の二乗誤差を用いる。式(7)のｔkはＤＰを利用して、次式に基づき効率良く求めることができる。
【００３２】
【数７】
【００３３】
ここで、Ｄ(ｔk)は時刻ｔkでの最小累積歪み、δは探索幅である。
【００３４】
ＭＲＩ画像撮像部１３０は、時系列信号観測部１１０で口腔内の発話器官の位置情報の観測に用いた発話文章と同一の文章の発話時における発話器官のＭＲＩ画像を、時間関数・発話駆動時点抽出部１２０で抽出されたｍ個の発話駆動時点ｋ（時刻ｔk）ごとに撮像する。発話は、被験者にＭＲＩスキャナ内で仰向けになった状態で行ってもらう。被験者は時系列信号観測部１１０での位置情報の観測の際に発話した被験者と同じであることが望ましい。発話リズムを揃えるために、時系列信号観測部１１０での位置情報の観測の際の発話音声をＭＲＩスキャナ内でヘッドフォンを通して聞きながら発話するようにしてもよい。また、ＭＲＩスキャナ内での発話音声を録音して、発話リズムが揃っているかを事後的に確認してもよい。ＭＲＩの撮像は、少なくとも正中矢状面での発話器官の撮像を行い、必要に応じて複数の矢状断面の撮像を行ってもよい。同一文章の発話は少なくとも１回行い、繰り返しても行っても構わない。
【００３５】
ＭＲＩ発話動画作成部１４０は、時間関数・発話駆動時点抽出部１２０で抽出された時間関数とＭＲＩ画像撮像部１３０で撮像されたＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成する。
【００３６】
例えば、発話駆動時点ｋで撮像されたＭＲＩ画像の画素値がｂi,j(ｋ)であるとき、これと時間関数ｆk(ｔ)とを組み合わせて、ｔk-1≦ｔ≦ｔkの区間における時系列信号の観測時刻ｔのＭＲＩ画像ｘi,j(ｔ)（ｉ、ｊはＭＲＩ画像の２次元座標）を、
ｘi,j(ｔ)＝ｂi,j(ｋ)・ｆk(ｔ)＋ｂi,j(ｋ−１)・ｆk-1(ｔ) (9)
により逐次作成し、それらを時系列で連結することにより動画を作成する。ＭＲＩ画像の画素数は例えば２５６×２５６、画素値ｂi,j(ｋ)は例えば８ビット、すなわち[０，２５５］の画素値とすることが考えられる。なお、時間関数を２次元磁気センサシステムにより所定のサンプリングレートで観測した位置情報から抽出した場合、必要に応じて、時間関数にアップ／ダウンサンプリングを施すことで、サンプリングレートを変更することができる。また、式(9)のように画素値の重み付き和をとると、駆動時点間の中心付近で画像がぼやけることがあるため、形状を考慮した画像補間を行ってもよい（参考文献３参照）。
〔参考文献３〕G.T.Herman他,"Shape-based interpolation", IEEE Computer Graphics and Applications, 1992, vol.12, p.69-79
【００３７】
以上のように本発明のＭＲＩ発話動画作成装置及びＭＲＩ発話動画作成方法によれば、発話運動のスパース性を利用して非一様な発話駆動時点ｋをサンプリングし、サンプリング時刻ｔkごとにＭＲＩ画像を撮像し、それを発話運動の時間関数ｆk(ｔ)と組み合わせて時刻ｔのＭＲＩ画像ｘi,j(ｔ)を生成することで、少ない繰り返し発声で高画質のＭＲＩ発話動画を得ることが可能となる。
【００３８】
本発明のＭＲＩ発話動画作成装置及びＭＲＩ発話動画作成方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明のＭＲＩ発話動画作成装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００３９】
本発明のＭＲＩ発話動画作成装置をコンピュータによって実現する場合、装置及びその各部が有す機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４０】
＜効果の確認＞
予め音素に対応する発話駆動時点ｋの初期時刻ｔkを用意する。αは予備実験の結果１００万とした。入力データは、２次元磁気センサシステムを用いて毎秒２５０回のレートで計測された下歯茎１点、上・下唇それぞれ１点、舌上の３点の計６点の水平および垂直位置である。発話資料は、「午後はたまった書類に目を通します」、「昨日はテレビゲームをして遊んだ」などの日本語文章を用いた。
【００４１】
図３は、「昨日はテレビゲームをして遊んだ」と発話した時の２次元磁気センサシステムによって観測された正中面上での発話器官の発話運動パラメータを示したものである。図４は、図３のデータの垂直方向の運動を時間軸上にプロットしたものである。図５は、図３のデータからＮＴＤにより抽出した時間関数を示したものである。時間関数は非常に滑らかな動きをしていることが分かる。ここで、矢印は発話駆動時点である。図６は、発話駆動時点ｋ＝２（音素/k/；○印）とｋ＝３（音素/i/；□印）における２次元磁気センサシステムの空間行列の各要素値（ベクトル値）を平面上にプロットしたものである。
【００４２】
ＮＴＤにより分解した空間行列Ａ、時間関数Ｆ、発話駆動時点ｋを用いて再合成した発話運動パラメータと観測した発話運動パラメータとのＲＭＳ距離を計算した結果、近似誤差は０．１６ｍｍとなり、発話運動がスパース表現でのモデル化に適していることを確認した。つまり、発話運動を高い時間分解能で観測せずとも、適切な時間タイミングで観測した発話器官の画像と時間関数があれば、発話運動を高精度に再現することが可能であることを示している。
【技術分野】
【０００１】
この発明は、発話運動パラメータから空間行列・時間関数・発話駆動時点を抽出し、得られた発話駆動時点における発声時の発話器官をＭＲＩにより撮像し、得られた発話器官のＭＲＩ画像と時間関数を用いてＭＲＩ発話動画を作成するＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラムに関する。
【背景技術】
【０００２】
人間の発話メカニズムを理解する上で、発声時の口唇や舌などの発話器官の運動を観測することは非常に重要である。しかし、発話器官のほとんどは口腔内にあり、発話器官を体の外から観測することは難しい。これまでに、安全かつ高精度な発話運動の観測のために、ＭＲＩ（Magnetic Resonance Imaging）を用いて発話運動の動画を作成する方法が提案されている。一つは、発話同期撮像法で、被験者に同一文章を繰り返し発声させ、これと同期してＭＲＩ装置がサンプリング周期ごとにスキャンを行い、得られたデータから２次元あるいは３次元のＭＲＩ発話動画を再構成するものである（非特許文献１）。この方法は高画質の動画を得ることが可能であるが、被験者が正確なタイミングで同じ発声を１００回以上繰り返す必要がある。もう一つは、リアルタイムＭＲＩで、繰り返し発声を必要としないが、画質が低い（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】島田他、「Synchronized Sampling Method(SSM)を利用した４Ｄ−ＭＲＩ」、日本放射線技術学会雑誌、2002年、第58巻第12号、p.1592-1598
【非特許文献２】S.Narayanan他、"An approach to real-time magnetic resonance imaging for speech production", J.Acoust.Soc.Am., 2004, 115(4), p.1771-1776
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高画質のＭＲＩ発話動画を得るためには、非特許文献１の方法ではＭＲＩスキャナ内で同一文章を１００回以上繰り返し発声する必要があるという問題があり、非特許文献２の方法では動画の画質と時間分解能の両方を上げることが困難であるという問題がある。
【０００５】
本発明は、発話運動がスパース表現でのモデル化に適していることに鑑み、発話運動のスパース性を利用した非一様な時間サンプリングによりＭＲＩ画像を撮像し、発話運動の時間関数と組み合わせることで、少ない繰り返し発声で高画質のＭＲＩ発話動画を得ることが可能な、ＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラムを実現することにある。
【課題を解決するための手段】
【０００６】
本発明のＭＲＩ発話動画作成装置は、時系列信号観測部と時間関数・発話駆動時点抽出部とＭＲＩ画像撮像部とＭＲＩ発話動画作成部とを備える。
【０００７】
時系列信号観測部は、或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する。
【０００８】
時間関数・発話駆動時点抽出部は、前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する。
【０００９】
ＭＲＩ画像撮像部は、前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像する。
【００１０】
ＭＲＩ発話動画作成部は、前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成する。
【発明の効果】
【００１１】
本発明のＭＲＩ発話動画作成装置、ＭＲＩ発話動画作成方法及びそのプログラムによれば、発話運動のスパース性を利用した非一様な時間サンプリングによりＭＲＩ画像を撮像し、発話運動の時間関数と組み合わせることで、少ない繰り返し発声で高画質のＭＲＩ発話動画を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明のＭＲＩ発話動画作成装置の機能構成例を示す図。
【図２】本発明のＭＲＩ発話動画作成装置の処理フロー例を示す図。
【図３】時系列信号観測部による各発話器官の位置情報の観測結果の一例を示す図。
【図４】図３の観測結果における垂直方向の位置情報について、時間軸上に展開した図。
【図５】図３の観測結果から抽出した時間関数の一例を示す図。
【図６】スパースな時刻（駆動時点）における空間行列の各要素値（ベクトル値）を平面上にプロットした一例を示す図。
【発明を実施するための形態】
【００１３】
図１に本発明のＭＲＩ発話動画作成装置１００の機能構成例を、図２にその処理フロー例をそれぞれ示す。ＭＲＩ発話動画作成装置１００は、時系列信号観測部１１０と時間関数・発話駆動時点抽出部１２０とＭＲＩ画像撮像部１３０とＭＲＩ発話動画作成部１４０とを備える。
【００１４】
時系列信号観測部１１０は、発話時における口腔内の発話器官の位置情報の時系列信号（発話運動パラメータ）を観測する。具体的には、或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する。観測には２次元磁気センサシステムを用い、例えば、下歯茎、上唇、下唇、及び舌上の３点のそれぞれの水平及び垂直位置の１２個の位置情報を毎秒２５０回のサンプリングレートで観測する。また、発話運動の観測と同時に音声を録音してもよい。録音のサンプリングレートは、例えば１６ｋＨｚ程度とすることが考えられる。
【００１５】
時間関数・発話駆動時点抽出部１２０は、時系列信号観測部１１０で観測されたｐ個の位置情報それぞれに係る時間長Ｔの時系列信号Ｙ（ｐ×Ｔ）から、空間行列Ａ（ｐ×ｍ）と時間関数Ｆ（ｍ×Ｔ）とｍ点の発話駆動時点ｋ（ｋ＝１,・・・,ｍ）を、例えば参考文献１のNon-negative Temporal Decomposition(ＮＴＤ)を用いて抽出する。抽出する発話駆動時点ｋの個数ｍは、例えば発話に含まれる音素の個数とすることが考えられる。
〔参考文献１〕S.Hiroya, "NON-NEGATIVE TEMPORAL DECOMPOSITION OF SPEECH PARAMETERS", Proc.ICASSP, 2010, p.5066-5069
【００１６】
ＮＴＤではＹ＝ＡＦ、つまり、
【数１】
【００１７】
という分解を行う。ここで、ｔは所定のサンプリングレートにおける各観測時刻、ｙi(ｔ)は観測された位置情報の時系列信号Ｙの各要素の値、ａi,kは空間行列Ａの各要素の値（ベクトル値）、ｆk(ｔ)は時間関数Ｆの各要素の値である。式(1)は、ｆk(ｔ)がｔk-1≦ｔ≦ｔk（ｔkは発話駆動時点ｋの時刻）の区間においてのみ値を持つという時間関数の局所化のアイディアを導入することで、ｔk-1≦ｔ≦ｔkの区間にある各観測時刻ｔについて、次のように簡略化できる。
【００１８】
【数２】
【００１９】
ここで、時間関数ｆk(ｔ)が［０，１］であり、かつ、ｆk(ｔ)＋ｆk-1(ｔ)＝１とすれば、隣り合う発話駆動時点ｋ−１とｋにおける空間行列ａi,kの内挿によりｙを表現するモデルとなる。式(2)より、ｔk-1≦ｔ≦ｔkの区間における歪みは当該区間のパラメータのみに依存するため、ａi,k＝ｙi(ｔk)と固定した場合、発話駆動時点ｋの時刻ｔkと時間関数ｆk(ｔ)は、最小二乗法とＤＰ（動的計画法）を用いることで、局所区間をつなぎ合わせた全区間に対する歪みを最小にするように決定することができる。
【００２０】
ＮＴＤでは、ＡとＦの各要素が非負値であり、時間関数ｆk(ｔ)が［０，１］であり、かつ、ｆk(ｔ)＋ｆk-1(ｔ)＝１という制約の下で、式(2)における歪みを最小化するＡ、Ｆおよびｔkを求める。つまり、次式の評価関数を、非負行列因子分解（ＮＭＦ：Non-negative Matrix Factorization）（参考文献２）とＤＰを用いて最小化する。
【００２１】
【数３】
【００２２】
ここで、１＝ｔ1＜ｔ2＜・・・＜ｔm＝Ｔであり、αはｆk(ｔ)＋ｆk-1(ｔ)＝１という制約をどの程度考慮するかの重み付けのための定数である。
〔参考文献２〕D.D.Lee and H.S.Seung, "Learning the parts of objects by non-negative matrix factorization", Nature, 1999, vol.401, p.788-791
【００２３】
Ａ、Ｆおよびｔkを求める手順は、空間行列ａi,kの初期値をａi,k＝ｙi(ｔk)、時間関数ｆk(ｔ)の初期値を［０，１］の乱数、発話駆動時点ｋの時刻ｔkを予め定められた初期値とし、まず、式(3)の評価関数を最小にするＦとｔkを、ＮＭＦとＤＰを用いて求め、得られたｔkを用い再度ＮＭＦを用いてａi,kとｆk(ｔ)を更新することによりＡとＦを求める。
【００２４】
区間ｔk-1≦ｔ≦ｔkにおけるｆk(ｔ)とｆk-1(ｔ)の更新は、乗算型の更新式を用いて次のように行う。なお、本更新式の収束性は保証されている。
【００２５】
【数４】
【００２６】
また、ａi,kの更新も乗算型の更新式を用いて次のように行う。
【００２７】
【数５】
【００２８】
ここで、ａi,kの決定には区間ｔk≦ｔ≦ｔk+1も必要であることに注意する。
【００２９】
また、ｔk（ｋ＝２,・・・,ｍ−１）は、ｄ(ｔ)を観測時刻ｔにおける歪みとしたとき、局所区間をつなぎ合わせた全区間に対する歪みに基づき、次式により求めることができる。
【００３０】
【数６】
【００３１】
ここで、ｄ(ｔ)は、観測されたｙi(ｔ)と近似値ａi,k・ｆk(ｔ)＋ａi,k-1・ｆk-1(ｔ)の間の二乗誤差を用いる。式(7)のｔkはＤＰを利用して、次式に基づき効率良く求めることができる。
【００３２】
【数７】
【００３３】
ここで、Ｄ(ｔk)は時刻ｔkでの最小累積歪み、δは探索幅である。
【００３４】
ＭＲＩ画像撮像部１３０は、時系列信号観測部１１０で口腔内の発話器官の位置情報の観測に用いた発話文章と同一の文章の発話時における発話器官のＭＲＩ画像を、時間関数・発話駆動時点抽出部１２０で抽出されたｍ個の発話駆動時点ｋ（時刻ｔk）ごとに撮像する。発話は、被験者にＭＲＩスキャナ内で仰向けになった状態で行ってもらう。被験者は時系列信号観測部１１０での位置情報の観測の際に発話した被験者と同じであることが望ましい。発話リズムを揃えるために、時系列信号観測部１１０での位置情報の観測の際の発話音声をＭＲＩスキャナ内でヘッドフォンを通して聞きながら発話するようにしてもよい。また、ＭＲＩスキャナ内での発話音声を録音して、発話リズムが揃っているかを事後的に確認してもよい。ＭＲＩの撮像は、少なくとも正中矢状面での発話器官の撮像を行い、必要に応じて複数の矢状断面の撮像を行ってもよい。同一文章の発話は少なくとも１回行い、繰り返しても行っても構わない。
【００３５】
ＭＲＩ発話動画作成部１４０は、時間関数・発話駆動時点抽出部１２０で抽出された時間関数とＭＲＩ画像撮像部１３０で撮像されたＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成する。
【００３６】
例えば、発話駆動時点ｋで撮像されたＭＲＩ画像の画素値がｂi,j(ｋ)であるとき、これと時間関数ｆk(ｔ)とを組み合わせて、ｔk-1≦ｔ≦ｔkの区間における時系列信号の観測時刻ｔのＭＲＩ画像ｘi,j(ｔ)（ｉ、ｊはＭＲＩ画像の２次元座標）を、
ｘi,j(ｔ)＝ｂi,j(ｋ)・ｆk(ｔ)＋ｂi,j(ｋ−１)・ｆk-1(ｔ) (9)
により逐次作成し、それらを時系列で連結することにより動画を作成する。ＭＲＩ画像の画素数は例えば２５６×２５６、画素値ｂi,j(ｋ)は例えば８ビット、すなわち[０，２５５］の画素値とすることが考えられる。なお、時間関数を２次元磁気センサシステムにより所定のサンプリングレートで観測した位置情報から抽出した場合、必要に応じて、時間関数にアップ／ダウンサンプリングを施すことで、サンプリングレートを変更することができる。また、式(9)のように画素値の重み付き和をとると、駆動時点間の中心付近で画像がぼやけることがあるため、形状を考慮した画像補間を行ってもよい（参考文献３参照）。
〔参考文献３〕G.T.Herman他,"Shape-based interpolation", IEEE Computer Graphics and Applications, 1992, vol.12, p.69-79
【００３７】
以上のように本発明のＭＲＩ発話動画作成装置及びＭＲＩ発話動画作成方法によれば、発話運動のスパース性を利用して非一様な発話駆動時点ｋをサンプリングし、サンプリング時刻ｔkごとにＭＲＩ画像を撮像し、それを発話運動の時間関数ｆk(ｔ)と組み合わせて時刻ｔのＭＲＩ画像ｘi,j(ｔ)を生成することで、少ない繰り返し発声で高画質のＭＲＩ発話動画を得ることが可能となる。
【００３８】
本発明のＭＲＩ発話動画作成装置及びＭＲＩ発話動画作成方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明のＭＲＩ発話動画作成装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００３９】
本発明のＭＲＩ発話動画作成装置をコンピュータによって実現する場合、装置及びその各部が有す機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４０】
＜効果の確認＞
予め音素に対応する発話駆動時点ｋの初期時刻ｔkを用意する。αは予備実験の結果１００万とした。入力データは、２次元磁気センサシステムを用いて毎秒２５０回のレートで計測された下歯茎１点、上・下唇それぞれ１点、舌上の３点の計６点の水平および垂直位置である。発話資料は、「午後はたまった書類に目を通します」、「昨日はテレビゲームをして遊んだ」などの日本語文章を用いた。
【００４１】
図３は、「昨日はテレビゲームをして遊んだ」と発話した時の２次元磁気センサシステムによって観測された正中面上での発話器官の発話運動パラメータを示したものである。図４は、図３のデータの垂直方向の運動を時間軸上にプロットしたものである。図５は、図３のデータからＮＴＤにより抽出した時間関数を示したものである。時間関数は非常に滑らかな動きをしていることが分かる。ここで、矢印は発話駆動時点である。図６は、発話駆動時点ｋ＝２（音素/k/；○印）とｋ＝３（音素/i/；□印）における２次元磁気センサシステムの空間行列の各要素値（ベクトル値）を平面上にプロットしたものである。
【００４２】
ＮＴＤにより分解した空間行列Ａ、時間関数Ｆ、発話駆動時点ｋを用いて再合成した発話運動パラメータと観測した発話運動パラメータとのＲＭＳ距離を計算した結果、近似誤差は０．１６ｍｍとなり、発話運動がスパース表現でのモデル化に適していることを確認した。つまり、発話運動を高い時間分解能で観測せずとも、適切な時間タイミングで観測した発話器官の画像と時間関数があれば、発話運動を高精度に再現することが可能であることを示している。
【特許請求の範囲】
【請求項１】
或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する時系列信号観測部と、
前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する時間関数・発話駆動時点抽出部と、
前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像するＭＲＩ画像撮像部と、
前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成するＭＲＩ発話動画作成部と、
を備えるＭＲＩ発話動画作成装置。
【請求項２】
請求項１に記載のＭＲＩ発話動画作成装置において、
前記時系列信号観測部は、下歯茎、上唇、下唇、及び舌上の３点のそれぞれの水平及び垂直位置の１２個の位置情報を観測する
ことを特徴とするＭＲＩ発話動画作成装置。
【請求項３】
請求項１又は２に記載のＭＲＩ発話動画作成装置において、
前記時間関数・発話駆動時点抽出部が抽出する発話駆動時点の個数は、前記発話に含まれる音素の個数である
ことを特徴とするＭＲＩ発話動画作成装置。
【請求項４】
請求項１乃至３のいずれかに記載のＭＲＩ発話動画作成装置において、
前記ＭＲＩ発話動画作成部は、時間関数がｆk(ｔ)（ｋは前記発話駆動時点の番号、ｔは前記時系列信号の観測時刻）、発話駆動時点ｋで撮像されたＭＲＩ画像の画素値がｂi,j(ｋ)、発話駆動時点ｋの時刻がｔkであるとき、ｔk-1≦ｔ≦ｔkの区間での前記時系列信号の観測時刻ｔにおけるＭＲＩ画像ｘi,j(ｔ)（ｉ、ｊはＭＲＩ画像の２次元座標）を、
ｘi,j(ｔ)＝ｂi,j(ｋ)・ｆk(ｔ)＋ｂi,j(ｋ−１)・ｆk-1(ｔ)
により逐次作成し、それらを時系列で連結することにより動画を作成する
ことを特徴とするＭＲＩ発話動画作成装置。
【請求項５】
或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する時系列信号観測ステップと、
前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する時間関数・発話駆動時点抽出ステップと、
前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像するＭＲＩ画像撮像ステップと、
前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成するＭＲＩ発話動画作成ステップと、
を実行するＭＲＩ発話動画作成方法。
【請求項６】
請求項５に記載のＭＲＩ発話動画作成方法において、
前記時系列信号観測ステップは、下歯茎、上唇、下唇、及び舌上の３点のそれぞれの水平及び垂直位置の１２個の位置情報を観測する
ことを特徴とするＭＲＩ発話動画作成方法。
【請求項７】
請求項５又は６に記載のＭＲＩ発話動画作成方法において、
前記時間関数・発話駆動時点抽出ステップで抽出する発話駆動時点の個数は、前記発話に含まれる音素の個数である
ことを特徴とするＭＲＩ発話動画作成方法。
【請求項８】
請求項５乃至７のいずれかに記載のＭＲＩ発話動画作成方法において、
前記ＭＲＩ発話動画作成ステップは、時間関数がｆk(ｔ)（ｋは前記発話駆動時点の番号、ｔは前記時系列信号の観測時刻）、発話駆動時点ｋで撮像されたＭＲＩ画像の画素値がｂi,j(ｋ)、発話駆動時点ｋの時刻がｔkであるとき、ｔk-1≦ｔ≦ｔkの区間での前記時系列信号の観測時刻ｔにおけるＭＲＩ画像ｘi,j(ｔ)（ｉ、ｊはＭＲＩ画像の２次元座標）を、
ｘi,j(ｔ)＝ｂi,j(ｋ)・ｆk(ｔ)＋ｂi,j(ｋ−１)・ｆk-1(ｔ)
により逐次作成し、それらを時系列で連結することにより動画を作成する
ことを特徴とするＭＲＩ発話動画作成方法。
【請求項９】
請求項１乃至４のいずれかに記載のＭＲＩ発話動画作成装置としてコンピュータを機能させるためのプログラム。
【請求項１】
或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する時系列信号観測部と、
前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する時間関数・発話駆動時点抽出部と、
前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像するＭＲＩ画像撮像部と、
前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成するＭＲＩ発話動画作成部と、
を備えるＭＲＩ発話動画作成装置。
【請求項２】
請求項１に記載のＭＲＩ発話動画作成装置において、
前記時系列信号観測部は、下歯茎、上唇、下唇、及び舌上の３点のそれぞれの水平及び垂直位置の１２個の位置情報を観測する
ことを特徴とするＭＲＩ発話動画作成装置。
【請求項３】
請求項１又は２に記載のＭＲＩ発話動画作成装置において、
前記時間関数・発話駆動時点抽出部が抽出する発話駆動時点の個数は、前記発話に含まれる音素の個数である
ことを特徴とするＭＲＩ発話動画作成装置。
【請求項４】
請求項１乃至３のいずれかに記載のＭＲＩ発話動画作成装置において、
前記ＭＲＩ発話動画作成部は、時間関数がｆk(ｔ)（ｋは前記発話駆動時点の番号、ｔは前記時系列信号の観測時刻）、発話駆動時点ｋで撮像されたＭＲＩ画像の画素値がｂi,j(ｋ)、発話駆動時点ｋの時刻がｔkであるとき、ｔk-1≦ｔ≦ｔkの区間での前記時系列信号の観測時刻ｔにおけるＭＲＩ画像ｘi,j(ｔ)（ｉ、ｊはＭＲＩ画像の２次元座標）を、
ｘi,j(ｔ)＝ｂi,j(ｋ)・ｆk(ｔ)＋ｂi,j(ｋ−１)・ｆk-1(ｔ)
により逐次作成し、それらを時系列で連結することにより動画を作成する
ことを特徴とするＭＲＩ発話動画作成装置。
【請求項５】
或る文章の発話時における口腔内の発話器官の位置情報を、所定のサンプリングレートで時系列的に観測する時系列信号観測ステップと、
前記位置情報の時系列信号から、空間行列と時間関数と複数の発話駆動時点を抽出する時間関数・発話駆動時点抽出ステップと、
前記文章と同一の文章の発話時における発話器官のＭＲＩ画像を、前記発話駆動時点ごとに撮像するＭＲＩ画像撮像ステップと、
前記時間関数と前記ＭＲＩ画像とを組み合わせることにより、ＭＲＩ発話動画を作成するＭＲＩ発話動画作成ステップと、
を実行するＭＲＩ発話動画作成方法。
【請求項６】
請求項５に記載のＭＲＩ発話動画作成方法において、
前記時系列信号観測ステップは、下歯茎、上唇、下唇、及び舌上の３点のそれぞれの水平及び垂直位置の１２個の位置情報を観測する
ことを特徴とするＭＲＩ発話動画作成方法。
【請求項７】
請求項５又は６に記載のＭＲＩ発話動画作成方法において、
前記時間関数・発話駆動時点抽出ステップで抽出する発話駆動時点の個数は、前記発話に含まれる音素の個数である
ことを特徴とするＭＲＩ発話動画作成方法。
【請求項８】
請求項５乃至７のいずれかに記載のＭＲＩ発話動画作成方法において、
前記ＭＲＩ発話動画作成ステップは、時間関数がｆk(ｔ)（ｋは前記発話駆動時点の番号、ｔは前記時系列信号の観測時刻）、発話駆動時点ｋで撮像されたＭＲＩ画像の画素値がｂi,j(ｋ)、発話駆動時点ｋの時刻がｔkであるとき、ｔk-1≦ｔ≦ｔkの区間での前記時系列信号の観測時刻ｔにおけるＭＲＩ画像ｘi,j(ｔ)（ｉ、ｊはＭＲＩ画像の２次元座標）を、
ｘi,j(ｔ)＝ｂi,j(ｋ)・ｆk(ｔ)＋ｂi,j(ｋ−１)・ｆk-1(ｔ)
により逐次作成し、それらを時系列で連結することにより動画を作成する
ことを特徴とするＭＲＩ発話動画作成方法。
【請求項９】
請求項１乃至４のいずれかに記載のＭＲＩ発話動画作成装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２３０９４（Ｐ２０１２−１２３０９４Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７２５１５（Ｐ２０１０−２７２５１５）
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]