モーションキャプチャ装置およびモーションキャプチャプログラム
【課題】被測定者の動作の制約が少ない状態で舌の動きを計測することができるモーションキャプチャ装置およびモーションキャプチャプログラムを提供する。
【解決手段】モーションキャプチャ装置１は、被測定者Ｍの舌表面に貼付される磁気ソース１０と、被測定者Ｍの顔表面に貼付され、磁気ソース１０によって形成される磁場を検出する磁気センサ４０と、被測定者の顔表面に貼付された磁気センサ４０と同一の位置に配置された光学マーカ４１と、光学マーカ４１を異なる位置および異なる方向から撮影する複数の撮影装置６０と、磁気センサ４０によって検出された磁場の大きさと、撮影装置６０によって撮影された光学マーカ４１の画像とから、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出する座標算出手段７０と、からなる。なお、磁気ソース１０と磁気センサ４０の位置は入れ替えてもよい。
【解決手段】モーションキャプチャ装置１は、被測定者Ｍの舌表面に貼付される磁気ソース１０と、被測定者Ｍの顔表面に貼付され、磁気ソース１０によって形成される磁場を検出する磁気センサ４０と、被測定者の顔表面に貼付された磁気センサ４０と同一の位置に配置された光学マーカ４１と、光学マーカ４１を異なる位置および異なる方向から撮影する複数の撮影装置６０と、磁気センサ４０によって検出された磁場の大きさと、撮影装置６０によって撮影された光学マーカ４１の画像とから、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出する座標算出手段７０と、からなる。なお、磁気ソース１０と磁気センサ４０の位置は入れ替えてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被測定者の動作、特に被測定者の口内における舌の動きを計測するモーションキャプチャ装置およびモーションキャプチャプログラムに関する。
【背景技術】
【０００２】
従来、例えば手話をＣＧアニメーションで表現する技術を開発するため、手話を演じる人の動作を計測してデータを集めることが行われている。このような人体の動作の計測法はモーションキャプチャと呼ばれ、各種の手法が提案されているが、現在では計測精度や被測定者の負担や手間等のバランスの観点から、光学式モーションキャプチャが主流となっている。この光学式モーションキャプチャは、人体表面に再帰性反射材からなる光学マーカを貼付し、適切な照明（被測定者の視覚を妨害しないように近赤外光源をカメラレンズと同軸に設置して用いることが多い）の下で、当該光学マーカを付けた人物を複数のモーションキャプチャ用カメラ（撮影装置）で撮影し、画像解析によって各々の光学マーカの位置を算出するものである。
【０００３】
手話では、人間の顔の表情で文法的な要素を表現することがあるため、手指の動作に加えて顔面のモーションキャプチャも必要である。この場合も被測定者の顔表面に光学マーカをつけて手話を演じてもらい、それを撮影してモーションキャプチャを行う。ここで、手話に必要な表情の中には、舌を用いるものもあるが、被測定者の口内における舌の位置を外部から光学的に計測することはできない。例えば、被測定者の舌に再帰性反射材の光学マーカを付けておけば、舌を出した時にその光学マーカを撮影することはできるが、この場合、常時見えている顔表面の光学マーカと、現れたり消えたりする舌の光学マーカとの対応関係を計算することが困難となる。
【０００４】
このような被測定者が口を閉じている場合の舌の動きの計測には、磁気を利用する方法が提案され、言語学研究等に用いられている。例えば、ゲッチンゲン大学で考案されたシステムはＥＭＡ（ElectroMagnetic Articulograph）、マサチューセッツ工科大学（ＭＩＴ）で考案されたシステムはＥＭＭＡ（ElectroMagnetic Midsagittal Articulometer）と称される。このうち、ゲッチンゲン大学のシステムはドイツのCarstens社が製造および販売しており、一般にはＥＭＡの名で呼ばれることが多い（非特許文献１）。
【０００５】
また、被測定者の舌の上に微小な永久磁石（磁気ソース）を貼付し、ホール素子からなる磁気センサが被測定者の頭部に対して固定された位置（一定の位置）となるように、装具等を用いて被測定者の頭部に磁気センサを固定する手法も提案されている（非特許文献２）。またその他にも、光ファイバから被測定者の口内にレーザを照射し、その散乱光から舌の位置を計測するシステムも提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許３７２２９８７号公報
【非特許文献】
【０００７】
【非特許文献１】“Brochure-AG500”、Carstens社、[平成２３年７月２６日検索]、インターネット<ＵＲＬ：http://www.articulograph.de/images/brochure.pdf >
【非特許文献２】C. Dromey et. al.，“Measuring tongue movements during speech”，Adaptation of a magnetic jaw-tracking system，Speech Communication，Ｖｏｌ．４８，ＰＰ．４６３−４７３，２００６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１において提案されたＥＭＡによる舌の位置の計測法では、被測定者の近傍に複数のコイルを固定し、被測定者はそのコイルによって形成された磁場が及ぶ範囲内で手話等の演技を行う必要があった。また、非特許文献２において提案された手法は、前記したように被測定者の頭部に大きな装具を装着し、被測定者の頭部に対するセンサの相対位置を固定する必要があった。
【０００９】
ここで、通常の言語現象に伴う舌の動きの計測であれば、非特許文献１，２の手法でも問題は少ないが、例えば手話の動作に伴って生じる舌の動きを計測しようとすると、手や腕の動作が伴い、またそれに応じて被測定者の上体も動くことがある。従って、非特許文献１，２の手法では、被測定者の身体のすぐ傍に置かれたコイルやその支持装置、あるいは被測定者の頭部に装着した装具が動作の障害になる可能性があり、被測定者の動作の制約が大きいという問題があった。
【００１０】
また、特許文献１で提案された技術は、被測定者が舌を口外に出してしまうと計測できないという問題があった。なお、音声学の研究等では、前記した手法の他にもＸ線撮影、ＭＲＩ、超音波スキャナ等で舌の動きを計測した報告もあるが、いずれも被測定者の負担が大きいか、あるいは被測定者の身体が強く拘束されるため、手話等の計測対象には不向きであった。
【００１１】
本発明はかかる点に鑑みてなされたものであって、被測定者の動作の制約が少ない状態で舌の動きを計測することができるモーションキャプチャ装置およびモーションキャプチャプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために請求項１に係るモーションキャプチャ装置は、被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、被測定者の顔表面または舌表面の他方に貼付され、磁気ソースによって形成される磁場を検出する磁気センサと、被測定者の顔表面に貼付された磁気ソースまたは前記磁気センサと同一の位置に配置された光学マーカと、この光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、磁気センサによって検出された磁場と、撮影装置によって撮影された画像とから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの座標を算出する座標算出手段と、からなり、この座標算出手段が、第１相対座標算出手段と、第２絶対座標算出手段と、第１絶対座標算出手段と、を備える構成とした。
【００１３】
このような構成によれば、モーションキャプチャ装置は、第１相対座標算出手段によって、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの相対的な座標を示す第１相対座標を算出する。また、モーションキャプチャ装置は、第２絶対座標算出手段によって、複数の撮影装置によって撮影された光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気ソースまたは磁気センサの絶対的な座標を示す第２絶対座標を算出する。また、モーションキャプチャ装置は、第１絶対座標算出手段によって、第１相対座標に第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの絶対的な座標を示す第１絶対座標を算出する。
【００１４】
これにより、モーションキャプチャ装置は、第１相対座標算出手段によって、磁気式モーションキャプチャ技術を用いて被測定者の舌表面（口内）に貼付された磁気ソースまたは磁気センサの相対位置を算出し、第２絶対座標算出手段によって、光学式モーションキャプチャ技術を用いて被測定者の顔表面に貼付された磁気ソースまたは磁気センサの絶対位置を算出する。そして、モーションキャプチャ装置は、第１絶対座標算出手段によって両者を加算することで、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの正確な絶対位置を算出することができる。
【００１５】
なお、第１相対座標とは、被測定者の顔表面に貼付された磁気センサからみた被測定者の舌表面に貼付された磁気ソースの相対的な位置、あるいは、被測定者の顔表面に貼付された磁気ソースからみた被測定者の舌表面に貼付された磁気センサの相対的な位置のことを意味している。また、第１絶対座標とは、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの絶対的な位置のことを、第２絶対座標とは、被測定者の顔表面に貼付された磁気ソースまたは磁気センサの絶対的な位置のことを意味している。
【００１６】
また、請求項２に係るモーションキャプチャ装置は、請求項１に係るモーションキャプチャ装置において、磁気ソースが電磁石からなるとともに、被測定者の顔表面または舌表面に複数貼付され、磁気センサが被測定者の顔表面または舌表面に複数貼付され、複数の磁気ソースのそれぞれには、異なる周波数の励磁電流が供給され、第１相対座標算出手段が、磁気センサによって検出された複数の磁場のそれぞれについて周波数分離を行うことで、各々の磁気ソースによって形成される磁場を分離し、当該分離された磁場の大きさから前記第１相対座標を算出する構成とした。
【００１７】
これにより、モーションキャプチャ装置は、被測定者の顔表面または舌表面に電磁石からなる磁気ソースが複数貼付されことで、磁気センサによって検出した磁場に複数の磁気ソースからの誘導成分が含まれている場合であっても、それぞれの磁気ソースに異なる周波数の励磁電流を供給し、かつ、磁気センサによって検出した磁場について高速フーリエ変換等による周波数分離を行うことで、磁気ソースごとの磁場成分を分離することができる。
【００１８】
また、請求項３に係るモーションキャプチャ装置は、請求項１または請求項２に係るモーションキャプチャ装置において、法線方向決定手段を備える構成とした。
【００１９】
このような構成によれば、モーションキャプチャ装置は、法線方向決定手段によって、被測定者の顔表面の法線方向をモデル化した被測定者の頭部モデルに第２絶対座標を当てはめることで、当該第２絶対座標に対応する磁気ソースまたは磁気センサの前記被測定者の顔表面に対する法線方向を決定する。これを受けて、モーションキャプチャ装置は、第１相対座標算出手段によって、磁気センサによって検出された磁場の大きさと、磁気センサまたは磁気ソースの法線方向とから、第１相対座標を算出する。
【００２０】
これにより、モーションキャプチャ装置は、被測定者の顔表面の法線方向をモデル化した頭部モデルを用いることで磁気ソースまたは磁気センサ４０の被測定者Ｍの顔表面に対する法線方向を決定することができ、当該法線方向を加味して第１相対座標を算出することができる。
【００２１】
また、請求項４に係るモーションキャプチャ装置は、請求項１から請求項３のいずれか一項に係るモーションキャプチャ装置において、磁気ソースが被測定者の舌表面に貼付されるとともに、磁気センサが被測定者の顔表面に貼付され、第１相対座標算出手段が、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気ソースの第１相対座標を算出し、第２絶対座標算出手段が、複数の撮影装置によって撮影された光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気センサの第２絶対座標を算出し、第１絶対座標算出手段が、第１相対座標に第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気ソースの第１絶対座標を算出する構成とした。
【００２２】
これにより、モーションキャプチャ装置は、磁気ソースを被測定者の舌表面に貼付し、磁気センサを被測定者の顔表面に貼付した場合において、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気ソースの正確な絶対位置を算出することができる。
【００２３】
また、請求項５に係るモーションキャプチャ装置は、請求項４に係るモーションキャプチャ装置において、被測定者の舌表面に配置された磁気ソースに一端が接続され、他端が被測定者の口外に露出された所定長さの紐部材を備え、磁気ソースが永久磁石からなるとともに、当該磁気ソースに紐部材の一端が接続される構成とした。
【００２４】
これにより、モーションキャプチャ装置は、被測定者の舌表面、すなわち口内に磁気ソースである永久磁石を貼付した際に、当該永久磁石と接続された紐部材の一部が口外に露出して口外にある支持部材等に接続されていることにより、その紐部材をすぐに手指で掴むことができる状態にある。
【００２５】
また、請求項６に係るモーションキャプチャ装置は、請求項１から請求項３のいずれか一項に係るモーションキャプチャ装置において、磁気ソースが被測定者の顔表面に貼付されるとともに、磁気センサが被測定者の舌表面に貼付され、第１相対座標算出手段が、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気センサの第１相対座標を算出し、第２絶対座標算出手段が、複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気ソースの第２絶対座標を算出し、第１絶対座標算出手段が、第１相対座標に前記第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気センサの第１絶対座標を算出する構成とした。
【００２６】
これにより、モーションキャプチャ装置は、磁気センサを被測定者の舌表面に貼付し、磁気ソースを被測定者の顔表面に貼付した場合において、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気センサの正確な絶対位置を算出することができる。
【００２７】
前記課題を解決するためにモーションキャプチャプログラムは、被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、被測定者の顔表面または舌表面の他方に貼付され、磁気ソースによって形成される磁場を検出する磁気センサと、顔表面に貼付された磁気ソースまたはセンサと同一の位置に配置された光学マーカと、光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、からなるモーションキャプチャ装置において、磁気センサによって検出された磁場と、撮影装置によって撮影された画像とから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの座標を算出するために、コンピュータを、第１相対座標算出手段、第２絶対座標算出手段、第１絶対座標算出手段、として機能させるための構成とした。
【００２８】
このような構成によれば、モーションキャプチャプログラムは、第１相対座標算出手段によって、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの相対的な座標を示す第１相対座標を算出する。また、モーションキャプチャ装置は、第２絶対座標算出手段によって、複数の撮影装置によって撮影された光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気ソースまたは磁気センサの絶対的な座標を示す第２絶対座標を算出する。また、モーションキャプチャ装置は、第１絶対座標算出手段によって、第１相対座標に第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの絶対的な座標を示す第１絶対座標を算出する。
【００２９】
これにより、モーションキャプチャプログラムは、第１相対座標算出手段によって、磁気式モーションキャプチャ技術を用いて被測定者の舌表面（口内）に貼付された磁気ソースまたは磁気センサの相対位置を算出し、第２絶対座標算出手段によって、光学式モーションキャプチャ技術を用いて被測定者の顔表面に貼付された磁気ソースまたは磁気センサの絶対位置を算出する。そして、モーションキャプチャプログラムは、第１絶対座標算出手段によって両者を加算することで、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの正確な絶対位置を算出することができる。
【発明の効果】
【００３０】
請求項１および請求項７に係る発明によれば、被測定者の動作の制約が少ない状態で被測定者の舌の動きを計測することができるため、例えば手話研究の発展に資するモーションキャプチャ装置およびモーションキャプチャプログラムを提供することができる。また 請求項１および請求項７に係る発明によれば、従来手法よりも多数のセンサによって近距離から被測定者の舌の動きを計測できるため、計測精度の向上や、言語学研究等への応用も期待できる。
【００３１】
請求項２に係る発明によれば、複数の磁気ソースまたは複数の磁気センサを被測定者の舌表面に貼付した場合であっても、それぞれの磁気ソースまたは磁気センサを特定（識別）し、その相対座標を正確に算出することができるため、被測定者の舌の動きを正確に計測することができる。
【００３２】
請求項３に係る発明によれば、被測定者の表情の変化に伴って磁気ソースまたは磁気センサの被測定者の顔表面に対する法線方向が変化し、磁気センサの出力が変化した場合であっても、被測定者の舌の動きを正確に計測することができる。
【００３３】
請求項４に係る発明によれば、顔表面よりも面積が小さい舌表面に磁気ソースを貼付することにより、顔表面に磁気ソースを貼付する場合よりも磁気ソースの数を減らして当該磁気ソースに供給する励磁電流の供給量を少なくすることができるため、計測の際のコストを低減することができる。
【００３４】
請求項５に係る発明によれば、被測定者の舌表面に貼付される磁気ソースが永久磁石からなる場合であっても、紐部材を備えているため、被測定者が当該永久磁石を誤って飲み込むことを防止することができ、被測定者の舌の動きを安全に計測することができる。
【００３５】
請求項６に係る発明によれば、被測定者の湿った口内（舌表面）に励磁電流が供給される磁気ソースを貼付する必要がないため、磁気ソースを舌表面に貼付する場合よりも被測定者の舌の動きを安全に計測することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係るモーションキャプチャ装置の全体構成を示す概略図である。
【図２】本発明の実施形態に係るモーションキャプチャ装置における被測定者の舌表面への磁気ソースの貼付例を示す概略図である。
【図３】本発明の実施形態に係るモーションキャプチャ装置における被測定者の顔表面への磁気センサの貼付例を示す概略図である。
【図４】本発明の実施形態に係るモーションキャプチャ装置における座標算出手段の内部構成を示すブロック図である。
【図５】本発明の実施形態に係るモーションキャプチャ装置の動作を示すフローチャートである。
【図６】本発明の他の実施形態に係るモーションキャプチャ装置における座標算出手段の内部構成を示すブロック図である。
【図７】本発明の他の実施形態に係るモーションキャプチャ装置の動作を示すフローチャートである。
【図８】本発明の他の実施形態に係るモーションキャプチャ装置の全体構成を示す概略図である。
【発明を実施するための形態】
【００３７】
本発明の実施形態に係るモーションキャプチャ装置について、図面を参照しながら説明する。なお、以下の説明において、同一の構成については同一の名称及び符号を付し、詳細説明を省略する。
【００３８】
［第１実施形態］
以下、第１実施形態に係るモーションキャプチャ装置１の構成について、図１〜図４を参照しながら詳細に説明する。モーションキャプチャ装置１は、図１に示すように、被測定者Ｍの舌の動きを計測するものである。モーションキャプチャ装置１は、ここでは図１に示すように、磁気ソース１０と、発振器２０と、絶縁アンプ３０と、磁気センサ４０と、光学マーカ４１と、プリアンプ５０と、撮影装置６０と、座標算出手段７０と、を備えている。
【００３９】
磁気ソース１０は、磁場を発生させるものである。磁気ソース１０は、例えば微小なコイルからなる電磁石や、微小な永久磁石等により構成され、被測定者Ｍの舌表面または顔表面に貼付される。また、磁気ソース１０は、被測定者Ｍの舌表面または顔表面に貼付される際の厚さを極力薄くするために、一軸のものを用いることが好ましい。なお、このように一軸の磁気ソース１０を用いた場合、当該磁気ソース１０の三次元座標（後記する第１相対座標）は、少なくとも３つの磁気センサ４０によって検出された磁場を用いて算出する。
【００４０】
ここで、以下の説明では、磁気ソース１０として電磁石を用い、図１に示すように、当該磁気ソース１０が被測定者Ｍの舌表面に貼付される例について説明する。このように被測定者Ｍの舌表面に貼付された磁気ソース１０は、図１に示すように、絶縁アンプ３０を介して発振器２０に接続されており、当該発振器２０から所定の周波数の励磁電流が供給されて磁場を発生できるように構成されている。
【００４１】
磁気ソース１０は、具体的には図２に示すように、被測定者Ｍの舌表面の所定位置に所定個数貼付される。磁気ソース１０は、ここでは図２に示すように、被測定者Ｍの舌表面に十字状に６個配置されている。但し、磁気ソース１０の配置位置および個数は、計測対象や計測条件等によって異なるため、図２に示す例に限定されない。例えば、被測定者Ｍの舌が口内または口外のどちらにあるかということのみを計測する場合、磁気ソース１０は被測定者Ｍの舌表面に１個のみ貼付されても構わない。磁気ソース１０は、例えば医療用に用いられる口内用の接着剤を用いて被測定者Ｍの舌表面に貼付される。
【００４２】
ここで、被測定者Ｍの舌表面に配置される磁気ソース１０の数は、図２および図３に示すように、被測定者Ｍの顔表面に配置される磁気センサ４０の数よりも少なくなるように構成される。これにより、モーションキャプチャ装置１は、被測定者Ｍの顔表面よりも面積が小さい舌表面に磁気ソース１０を貼付することにより、被測定者Ｍの顔表面に磁気ソース１０を貼付する場合よりも磁気ソース１０の数を減らして当該磁気ソース１０に供給する励磁電流の供給量を少なくすることができるため、計測の際のコストを低減することができる。
【００４３】
また、磁気ソース１０としては、前記したように微小な永久磁石を用いることもできる。この場合、モーションキャプチャ装置１において発振器２０や絶縁アンプ３０が不要となるため、被測定者Ｍの動作の制約がより少なくなるという利点がある。但し、被測定者Ｍの舌表面に貼付する磁気ソース１０として永久磁石を用いる場合は、当該磁気ソース１０に一端が接続され、他端が被測定者Ｍの口外に露出された所定長さの紐部材（図示省略）を備えることが好ましい。
【００４４】
これにより、被測定者Ｍの舌表面、すなわち口内に磁気ソース１０である永久磁石を貼付した際に、当該永久磁石と接続された紐部材の一部が口外に露出して口外にある支持部材等に接続されていることにより、その紐部材をすぐに手指で掴むことができる状態にある。そのため、被測定者Ｍの舌表面に貼付される磁気ソース１０が永久磁石からなる場合であっても、紐部材を備えているため、被測定者Ｍが当該永久磁石を誤って飲み込むことを防止することができ、被測定者Ｍの舌の動きを安全に計測することができる。なお、この紐部材の素材は、細く柔軟であり被測定者Ｍの舌や唇の動きを阻害しないものであれば、特に限定されない。すなわち、紐部材は、例えば繊維や金属等で構成しても構わない。
【００４５】
発振器２０は、磁気ソース１０に対して励磁電流を供給するものである。発振器２０は、例えばファンクションジェネレータ等によって構成され、図１に示すように、絶縁アンプ３０に接続されている。そして、発振器２０は、当該絶縁アンプ３０を介して被測定者Ｍの舌表面に貼付された磁気ソース１０に所定の周波数の正弦波を発振することで励磁電流を供給する。なお、発振器２０は、磁気ソース１０を電磁石で構成した場合に必要となり、磁気ソース１０を永久磁石で構成した場合は不要となる。
【００４６】
発振器２０は、図２に示すように、磁気ソース１０が電磁石で構成されるとともに被測定者Ｍの舌表面に複数貼付された場合、図１に示すように、当該磁気ソース１０の個数に合わせて複数設け、複数の磁気ソース１０のそれぞれに異なる周波数（ｆ１〜ｆｋ（ｋは磁気ソース１０および発振器２０の数））の励磁電流を供給することが好ましい。これにより、複数の磁気ソース１０を用いた場合であっても、後記する座標算出手段７０において、それぞれの磁気ソース１０によって形成された磁場成分を分離することができる。
【００４７】
絶縁アンプ３０は、発振器２０から発振された励磁電流を増幅するものである。絶縁アンプ３０は、入力部と出力部間が絶縁され、電池駆動できるように構成されている。アンプとして絶縁アンプ３０を用いるのは、測定者Ｍの口内という湿った部位に貼付された磁気ソース１０に励磁電流を供給するための安全上の理由からである。従って、本実施形態の構成とは逆に、被測定者Ｍの舌表面に磁気センサ４０を貼付した場合や、磁気ソース１０として永久磁石で構成した場合、絶縁アンプは不要となる。
【００４８】
絶縁アンプ３０は、図１に示すように、被測定者Ｍの舌表面に貼付された磁気ソース１０と、例えば細く柔軟な撚り対線等によって接続される。これにより、被測定者Ｍの舌や唇等の動きが阻害されることを防止することができる。なお、絶縁アンプ３０は、図２に示すように、磁気ソース１０が電磁石で構成されるとともに被測定者Ｍの舌表面に複数貼付された場合、図１に示すように、当該磁気ソース１０の個数に合わせて複数設け、複数の磁気ソース１０のそれぞれに増幅した励磁電流を供給する。
【００４９】
磁気センサ４０は、磁場を検出するものである。磁気センサ４０は、例えば微小なコイル、ホール素子、磁気抵抗素子等により構成され、被測定者Ｍの舌表面または顔表面に貼付される。また、磁気センサ４０は、被測定者Ｍの舌表面または顔表面に貼付される際の厚さを極力薄くするために、一軸のものを用いることが好ましい。
【００５０】
ここで、以下の説明では、図１に示すように、磁気センサ４０は被測定者Ｍの顔表面に貼付される例について説明する。このように被測定者Ｍの顔表面に貼付された磁気センサ４０は、図１に示すように、プリアンプ５０を介して座標算出手段７０に接続されており、検出した磁場の大きさを示す磁気センサ信号を座標算出手段７０に出力できるように構成されている。なお、この磁気センサ信号は、磁場を検出した時刻を示すタイムコードとともに記録される（図示省略）。
【００５１】
磁気センサ４０は、具体的には図３に示すように、被測定者Ｍの顔表面の所定位置に所定個数貼付される。磁気センサ４０は、ここでは図３に示すように、被測定者Ｍの顔表面において、当該被測定者Ｍが顔の表情を変化させた場合における変化が顕著な部位（特徴点）に沿って配置される。これは、後記するように、磁気センサ４０と同一の位置に、光学モーションキャプチャ用の光学マーカ４１が配置されるためである。但し、磁気センサ４０の配置位置および個数は、計測対象および計測条件等によって異なるため、図３に示す例に限定されない。ここで、被測定者Ｍの顔表面に配置される磁気センサ４０の数は、図２および図３に示すように、被測定者Ｍの舌表面に配置される磁気センサ４０の数よりも多くなるように構成される。
【００５２】
光学マーカ４１は、光学モーションキャプチャにおける指標となるものである。光学マーカ４１は、例えば再帰性反射材からなり、図１および図３に示すように、磁気センサ４０と同一の位置に配置される。光学マーカ４１は、より具体的には被測定者Ｍの顔表面に貼付された磁気センサ４０の上（表面）に貼付される。この光学マーカ４１の周囲には、図１に示すように、複数の撮影装置６０と、光学式モーションキャプチャ用の照明光源（図示省略）とが配置されており、当該複数の撮影装置６０によって撮影された光学マーカ４１を含む被測定者Ｍの画像を座標算出手段７０に出力できるように構成されている。
【００５３】
光学マーカ４１は、具体的には図３に示すように、被測定者Ｍの顔表面の所定位置に所定個数貼付される。また、光学マーカ４１と同一の位置には、図３に示すように、磁気センサ４０が配置される。但し、光学マーカ４１の配置位置および個数は、計測対象および計測条件等によって異なるため、図３に示す例に限定されない。また、光学マーカ４１は、図３に示す例では磁気センサ４０と同数配置されているが、磁気センサ４０と必ずしも同数でなくてもよく、当該磁気センサ４０よりも多くても構わない。
【００５４】
プリアンプ５０は、磁気センサ４０が生成した磁気センサ信号を増幅するものである。また、プリアンプ５０は、図１に示すように、増幅した磁気センサ信号をＡ／Ｄ変換する機能も同時に備えている。プリアンプ５０は、図１に示すように、被測定者Ｍの顔表面に貼付された磁気センサ４０と、例えば細く柔軟な撚り対線等によって接続される。これにより、被測定者Ｍの表情の動きが阻害されることを防止することができる。なお、プリアンプ５０は、図３に示すように、磁気センサ４０が被測定者Ｍの顔表面に複数貼付された場合、図１に示すように、当該磁気センサ４０の個数に合わせて複数設け、増幅およびＡ／Ｄ変換したそれぞれの磁気センサ信号を座標算出手段７０に出力する。
【００５５】
撮影装置６０は、被測定者Ｍの顔表面に貼付された光学マーカ４１を撮影するものである。撮影装置６０は、例えば光学式モーションキャプチャ用のビデオカメラを用いることができる。また、撮影装置６０は、図１に示すように、被測定者Ｍの顔表面に貼付された光学マーカ４１を異なる位置および方向から撮影できるように、複数設置される。なお、図１に示す例では、撮影装置６０を３台のみ図示したが、撮影装置６０の台数はこれに限定されない。撮影装置６０は、図１に示すように、撮影した光学マーカ４１を含む被測定者Ｍの頭部の画像データを座標算出手段７０に出力する。なお、この画像データには、当該画像を撮影した時刻を示すタイムコードが対応づけられている（図示省略）。
【００５６】
座標算出手段７０は、磁気センサ４０によって検出された磁場と、撮影装置６０によって撮影された画像とを利用して、磁気ソース１０の座標を算出するものである。座標算出手段７０は、ここでは図４に示すように、第１相対座標算出手段７１と、第２絶対座標算出手段７２と、第１絶対座標算出手段７３と、を備えている。
【００５７】
第１相対座標算出手段７１は、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標を算出するものである。ここで、磁気ソース１０の相対座標（第１相対座標）とは、被測定者Ｍの顔表面に貼付された磁気センサ４０を基準とした磁気ソース１０の相対的な位置のことを意味している。なお、第１相対座標は、被測定者Ｍの舌表面に貼付されているものによって意味合いが異なり、例えば本実施形態とは逆に被測定者Ｍの舌表面に磁気センサ４０が貼付されている場合は、磁気ソース１０を基準とした磁気センサ４０の相対的な位置が第１相対座標となる。
【００５８】
第１相対座標算出手段７１は、図４に示すように、磁気センサ４０から入力された磁気センサ信号に含まれる磁場の大きさから、当該磁場を形成する磁気ソース１０の相対座標を算出する。第１相対座標算出手段７１は、前記したように、磁気ソース１０および磁気センサ４０が一軸のものである場合、１つの磁気ソース１０に対して、任意に選択した３つの磁気センサ４０によって検出された磁場を合成することで、当該磁気ソース１０の三次元の相対座標を算出する。ここで、第１相対座標算出手段７１における相対座標の算出処理は、一般的な磁気式モーションキャプチャと同様であるため、詳細な説明は省略する。
【００５９】
第１相対座標算出手段７１は、磁気ソース１０が電磁石からなり、図２および図３に示すように、被測定者Ｍの舌表面および顔表面に磁気ソース１０および磁気センサ４０がそれぞれ複数貼付された場合、各磁気センサ４０によって検出された複数の磁場のそれぞれについて周波数分離を行うことが好ましい。この周波数分離の手法としては、高速フーリエ変換（ＦＦＴ）が挙げられるが、例えばアナログ領域においてフィルタで分離する方法等、ＦＦＴ以外の周波数解析手法を用いても構わない。
【００６０】
すなわち、被測定者Ｍの舌表面に磁気ソース１０が複数貼付された場合、磁気センサ４０によって検出された磁場に基づいて第１相対座標算出手段７１に入力される磁気センサ信号には、被測定者Ｍの舌表面に貼付された全ての磁気ソース１０からの誘導成分が含まれている。しかしながら、複数の磁気ソース１０には、前記したように発振器２０からそれぞれ異なる周波数（ｆ１〜ｆｋ（ｋは磁気ソース１０および発振器２０の数））の励磁電流が供給されている。従って、磁気センサによって検出した磁場について高速フーリエ変換を行うことで、磁気ソース１０ごとの磁場成分を分離することができる。これにより、モーションキャプチャ装置１は、複数の磁気ソース１０を被測定者Ｍの舌表面に貼付した場合であっても、それぞれの磁気ソース１０を特定（識別）し、その相対座標を正確に算出することができる。
【００６１】
第１相対座標算出手段７１には、図１および図４に示すように、プリアンプ５０を介して、磁気センサ４０から磁気センサ信号（タイムコードと対応付けられた磁気センサ信号）が入力される。そして、第１相対座標算出手段７１は、前記した手法によって第１相対座標を算出し、図４に示すように、第１相対座標を第１絶対座標算出手段７３に出力する。
【００６２】
第２絶対座標算出手段７２は、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対座標を算出するものである。ここで、磁気センサ４０の絶対座標とは、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対的な位置（世界座標系における座標値）のことを意味している。なお、第２絶対座標は、被測定者Ｍの顔表面に貼付されているものによって意味合いが異なり、例えば本実施形態とは逆に被測定者Ｍの顔表面に磁気ソース１０が貼付されている場合は、当該磁気ソース１０の絶対的な位置が第２絶対座標となる。
【００６３】
第２絶対座標算出手段７２は、図４に示すように、複数の撮影装置６０から入力された光学マーカ４１の画像と、予め設定されたカメラパラメータ（撮影位置、撮影方向および焦点距離等の設定情報）とから、光学マーカ４１と同一の位置に配置された磁気センサ４０の絶対座標を算出する。ここで、第２絶対座標算出手段７２における絶対座標の算出処理は、一般的な光学式モーションキャプチャと同様であるため、詳細な説明は省略する。
【００６４】
第２絶対座標算出手段７２には、図１および図４に示すように、複数の撮影装置６０から光学マーカ４１を含む被測定者Ｍの画像データ（タイムコードと対応付けられた画像データ）が入力される。そして、第２絶対座標算出手段７２は、前記した手法によって第２絶対座標を算出し、図４に示すように、当該第２絶対座標を第１絶対座標算出手段７３に出力する。
【００６５】
第１絶対座標算出手段７３は、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出するものである。ここで、磁気ソース１０の絶対座標とは、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対的な位置（世界座標系における座標値）のことを意味している。なお、第１絶対座標は、被測定者Ｍの舌表面に貼付されているものによって意味合いが異なり、例えば本実施形態とは逆に被測定者Ｍの舌表面に磁気センサ４０が貼付されている場合は、当該磁気センサ４０の絶対的な位置が第２絶対座標となる。
【００６６】
第１絶対座標算出手段７３は、具体的には図４に示すように、第１相対座標（磁気ソース１０の相対座標）に第２絶対座標（磁気センサ４０の絶対座標）を加算することで、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出する。第１絶対座標算出手段７３は、例えば第１相対座標算出手段７１から（１，１，−１）という第１相対座標が入力され、第２絶対座標算出手段７２から（−３，３，３）という第２絶対座標が入力されると、両者を加算して（−２，４，２）という第１絶対座標を算出する。なお、第１相対座標と第２絶対座標には、前記したようにタイムコードが対応付けられているため、第１絶対座標算出手段７３が、当該タイムコードが一致する座標同士を加算して第１絶対座標を算出する。
【００６７】
第１絶対座標算出手段７３には、図４に示すように、第１相対座標算出手段７１から第１相対座標が、第２絶対座標算出手段７２から第２絶対座標が算出される。そして、第１絶対座標算出手段７３は、前記した手法によって第１絶対座標を算出し、当該第１絶対座標を出力する。
【００６８】
以上のような構成を備えるモーションキャプチャ装置１は、第１相対座標算出手段７１によって、磁気式モーションキャプチャ技術を用いて被測定者Ｍの舌表面（口内）に貼付された磁気ソース１０の相対位置を算出し、第２絶対座標算出手段７２によって、光学式モーションキャプチャ技術を用いて被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対位置を算出する。そして、モーションキャプチャ装置１は、第１絶対座標算出手段７３によって両者を加算することで、計測中に被測定者Ｍの表情が変化した場合であっても、被測定者Ｍの舌表面に貼付された磁気ソース１０の正確な絶対位置を算出することができる。
【００６９】
これにより、モーションキャプチャ装置１によれば、被測定者Ｍの動作の制約が少ない状態で被測定者Ｍの舌の動きを計測することができるため、例えば手話研究の発展に資するモーションキャプチャ装置１を提供することができる。また モーションキャプチャ装置１によれば、従来手法よりも多数のセンサによって近距離から被測定者Ｍの舌の動きを計測できるため、計測精度の向上や、言語学研究等への応用も期待できる。
【００７０】
［第１実施形態の動作］
以下、モーションキャプチャ装置１の動作について、図５を参照（適宜図４も参照）しながら簡単に説明する。なお、以下の説明では、本実施形態の特徴である座標算出手段７０における処理について説明し、それ以外の処理については詳細説明を省略する。
【００７１】
まず、モーションキャプチャ装置１は、第１相対座標算出手段７１によって、磁気センサ４０から入力された磁気センサ信号に基づいて、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標（第１相対座標）を算出する（ステップＳ１）。次に、モーションキャプチャ装置１は、第２絶対座標算出手段７２によって、複数の撮影装置６０から入力された光学マーカ４１の画像とカメラパラメータとに基づいて、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対座標（第２絶対座標）を算出する（ステップＳ２）。次に、モーションキャプチャ装置１は、第１絶対座標算出手段７３によって、第１相対座標算出手段７１から入力された第１相対座標と第２絶対座標算出手段７２から入力された第２絶対座標とを加算して、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を（第１絶対座標）算出する（ステップＳ３）。
【００７２】
このような動作により、モーションキャプチャ装置１は、被測定者Ｍの動作の制約が少ない状態で、被測定者Ｍの舌の動きを正確かつ容易に計測することができる。
【００７３】
［第２実施形態］
以下、第２実施形態に係るモーションキャプチャ装置１Ａについて、図６を参照しながら簡単に説明する。第２実施形態に係るモーションキャプチャ装置１Ａは、図６に示すように、座標算出手段７０Ａを備えている。そして、この座標算出手段７０Ａは、第１相対座標算出手段７１の代わりに第１相対座標算出手段７１Ａを備え、さらに法線方向決定手段７４を備える以外は、第１実施形態に係るモーションキャプチャ装置１の座標算出手段７０と同様の構成を備えている。従って、以下の説明では、モーションキャプチャ装置１との相違点を中心に説明を行い、当該モーションキャプチャ装置１と重複する構成については詳細説明を省略する。
【００７４】
法線方向決定手段７４は、被測定者Ｍの顔表面に貼付された磁気センサ４０の軸の、被測定者Ｍの顔表面に対する法線方向（以下、磁気センサ４０の法線方向という）を算出するものである。法線方向決定手段７４は、具体的には図６に示すように、被測定者Ｍの頭部モデルに対して、第２絶対座標算出手段７２によって算出された第２絶対座標を当てはめることで、当該第２絶対座標に対応する磁気センサ４０（詳細には、光学モーションキャプチャによって絶対座標が算出された光学マーカ４１と同一の位置に配置された磁気センサ４０）の法線方向を決定する。
【００７５】
ここで、被測定者Ｍの頭部モデルとは、当該被測定者Ｍの顔を含む頭部の形状と、被測定者Ｍの顔表面の予め定められた座標から延びる法線の方向と、を予め計測してモデル化したものである。また、磁気センサ４０は、前記したように一軸のもので構成されるが、被測定者Ｍの顔表面に貼付される場合は、その軸の方向が被測定者Ｍの顔表面の法線方向と一致するように貼付される。従って、前記したように、被測定者Ｍの頭部モデルに磁気センサ４０の第２絶対座標を当てはめることで、当該磁気センサ４０の軸がどの方向を向いているのか、すなわち磁気センサ４０の法線方向を決定することができる。なお、本実施形態では、被測定者Ｍの顔表面に磁気センサ４０を貼付する例を説明しているが、被測定者Ｍの顔表面に磁気ソース１０を貼付する場合も、同様に磁気ソース１０の法線方向（被測定者Ｍの顔表面に対する磁気ソース１０の軸の法線方向）を決定することができる。
【００７６】
法線方向決定手段７４には、図６に示すように、第２絶対座標算出手段７２から第２絶対座標（タイムコードと対応付けられた第２絶対座標）が、図示しない記憶手段等から被測定者Ｍの頭部モデルが入力される。そして、法線方向決定手段７４は、前記した手法によって第２絶対座標の法線方向を決定し、図６に示すように、当該法線方向を第１相対座標算出手段７１Ａに出力する。
【００７７】
第１相対座標算出手段７１Ａは、前記した第１相対座標算出手段７１と同様に、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標を算出するものである。但し、第１相対座標算出手段７１Ａは、前記した第１相対座標算出手段７１とは異なり、被測定者Ｍの顔表面に貼付された磁気センサ４０の法線方向を加味して第１相対座標を算出する。
【００７８】
ここで、被測定者Ｍの舌表面に貼付された磁気ソース１０によって形成された磁場を磁気センサ４０によって検出する場合、当該磁気センサ４０の法線方向によって、すなわち磁気センサ４０がどの方向を向いているかによって、検出される磁場の大きさが変化する。例えば、被測定者Ｍの口角に配置した磁気センサ４０は、被測定者Ｍの表情が大きく変化すると、座標自体は同じでも法線方向が変化する場合があり、これにより被測定者Ｍの舌表面に貼付された磁気ソース１０の位置が正確に算出できない場合がある。従って、磁気ソース１０の相対座標をより正確に算出するには、この磁気センサ４０の法線方向も加味する必要がある。第１実施形態に係るモーションキャプチャ装置１では、顔面および下の形状が概ね決まっていることを前提に近似解を得ているが、この手法の導入により、より正確な計算が可能となる。
【００７９】
第１相対座標算出手段７１Ａは、具体的には、磁気センサ４０から入力された磁気センサ信号に含まれる磁場の大きさを、磁気センサ４０の法線方向ごとに予め算出された補正値によって補正することで、磁気ソース１０の相対座標を算出する。これにより、磁気ソース１０の相対座標をより正確に算出することができる。
【００８０】
第１相対座標算出手段７１Ａには、図１および図６に示すように、プリアンプ５０を介して、磁気センサ４０から磁気センサ信号（タイムコードと対応付けられた磁気センサ信号）が入力される。そして、第１相対座標算出手段７１Ａは、前記した手法によって第１相対座標を算出し、図６に示すように、当該第１相対座標を第１絶対座標算出手段７３に出力する。
【００８１】
以上のような構成を備えるモーションキャプチャ装置１Ａは、被測定者Ｍの顔表面の法線方向をモデル化した頭部モデルを用いることで磁気センサ４０の法線方向を決定することができ、当該法線方向を加味して磁気ソース１０の相対座標を算出することができる。
【００８２】
これにより、モーションキャプチャ装置１Ａによれば、被測定者Ｍの表情の変化に伴って磁気センサ４０の法線方向が変化し、当該磁気センサ４０の出力が変化した場合であっても、被測定者Ｍの舌の動きを正確に計測することができる。
【００８３】
［第２実施形態の動作］
以下、モーションキャプチャ装置１Ａの動作について、図７を参照（適宜図６も参照）しながら簡単に説明する。なお、以下の説明では、本実施形態の特徴である座標算出手段７０Ａにおける処理について説明し、それ以外の処理については詳細説明を省略する。
【００８４】
まず、モーションキャプチャ装置１Ａは、第２絶対座標算出手段７２によって、複数の撮影装置６０から入力された光学マーカ４１の画像とカメラパラメータとに基づいて、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対座標（第２絶対座標）を算出する（ステップＳ１１）。次に、モーションキャプチャ装置１Ａは、法線方向決定手段７４によって、第２絶対座標算出手段７２から入力された第２絶対座標と頭部モデルとに基づいて、当該第２絶対座標の法線方向を決定する（ステップＳ１２）。次に、モーションキャプチャ装置１Ａは、第１相対座標算出手段７１Ａによって、磁気センサ４０から入力された磁気センサ信号と法線方向決定手段７４から入力された第２絶対座標の法線方向とに基づいて、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標（第１相対座標）を算出する（ステップＳ１３）。次に、モーションキャプチャ装置１Ａは、第１絶対座標算出手段７３によって、第１相対座標算出手段７１Ａから入力された第１相対座標と第２絶対座標算出手段７２から入力された第２絶対座標とを加算して、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を（第１絶対座標）算出する（ステップＳ１４）。
【００８５】
このような動作により、モーションキャプチャ装置１Ａは、被測定者Ｍの動作の制約が少ない状態で、被測定者Ｍの舌の動きをより正確かつ容易に計測することができる。
【００８６】
［モーションキャプチャプログラム］
ここで、前記したモーションキャプチャ装置１，１Ａの座標算出手段７０，７０Ａは、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００８７】
以上、本発明に係るモーションキャプチャ装置およびモーションキャプチャプログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【００８８】
例えば、前記したモーションキャプチャ装置１，１Ａは、被測定者Ｍの舌表面に磁気ソース１０が貼付され、被測定者Ｍの顔表面に磁気センサ４０が貼付されることを前提にしていたが、これらが逆でも構わない。この場合、第１相対座標算出手段７１は、磁気センサ４０によって検出された磁場の大きさから、被測定者Ｍの舌表面に貼付された磁気センサ４０の相対座標（第１相対座標）を算出する。また、第２絶対座標算出手段７２は、複数の撮影装置６０によって撮影された光学マーカ４１の画像から、当該光学マーカ４１と同一の位置に配置された磁気ソース１０の絶対座標（第２絶対座標）を算出し、第１絶対座標算出手段７３が、第１相対座標に第２絶対座標を加算することで、被測定者Ｍの舌表面に貼付された磁気センサ４０の絶対座標（第１絶対座標）を算出する。
【００８９】
これにより、モーションキャプチャ装置１は、磁気センサ４０を被測定者Ｍの舌表面に貼付し、磁気ソース１０を被測定者Ｍの顔表面に貼付した場合において、計測中に被測定者Ｍの表情が変化した場合であっても、被測定者Ｍの舌表面に貼付された磁気センサ４０の正確な絶対位置を算出することができる。また、このようなモーションキャプチャ装置１によれば、被測定者Ｍの湿った口内（舌表面）に励磁電流が供給される磁気ソース１０を貼付する必要がないため、磁気ソース１０を舌表面に貼付する場合よりも被測定者Ｍの舌の動きを安全に計測することができる。
【００９０】
また、前記したモーションキャプチャ装置１，１Ａは、手話における舌の動きを計測することを前提にしていたが、被測定者Ｍの舌以外の部位に磁気ソース１０を貼付することで、被測定者Ｍの舌以外の動きを計測することも当然可能である。従って、モーションキャプチャ装置１，１Ａは、手話のみならず他の分野にも広く応用することができる。
【００９１】
また、前記したモーションキャプチャ装置１，１Ａは、被測定者Ｍの顔表面にのみに光学マーカ４１を貼付していたが、被測定者Ｍの身体の他の部位に光学マーカ４１を貼付し、被測定者Ｍの全身の光学モーションキャプチャも併せて行っても構わない。
【００９２】
また、前記したモーションキャプチャ装置１，１Ａは、座標算出手段７０によって、リアルタイムで被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出することを前提としていたが、リアルタイムでなくても構わない。すなわち、前記したように、磁気センサ４０によって生成される磁気センサ信号と、撮影装置６０によって生成される画像データには、それぞれタイムコードが対応づけられているため、これらの測定値を全て図示しない記憶手段に記憶した後に計算を実施し、オフライン処理で結果を求めても構わない。
【００９３】
また、前記したモーションキャプチャ装置１，１Ａは、図４および図６に示すように、座標算出手段７０，７０Ａの中に第２絶対座標算出手段７２を含めて説明したが、光学モーションキャプチャを行うものとして、当該第２絶対座標算出手段７２を座標算出手段７０，７０Ａとは別のものとして構成しても構わない。
【符号の説明】
【００９４】
１，１Ａ モーションキャプチャ装置
１０ 磁気ソース
２０ 発振器
３０ 絶縁アンプ
４０ 磁気センサ
４１ 光学マーカ
５０ プリアンプ
６０ 撮影装置
７０，７０Ａ 座標算出手段
７１，７１Ａ 第１相対座標算出手段
７２ 第２絶対座標算出手段
７３ 第１絶対座標算出手段
７４ 法線方向決定手段
Ｍ 被測定者
【技術分野】
【０００１】
本発明は、被測定者の動作、特に被測定者の口内における舌の動きを計測するモーションキャプチャ装置およびモーションキャプチャプログラムに関する。
【背景技術】
【０００２】
従来、例えば手話をＣＧアニメーションで表現する技術を開発するため、手話を演じる人の動作を計測してデータを集めることが行われている。このような人体の動作の計測法はモーションキャプチャと呼ばれ、各種の手法が提案されているが、現在では計測精度や被測定者の負担や手間等のバランスの観点から、光学式モーションキャプチャが主流となっている。この光学式モーションキャプチャは、人体表面に再帰性反射材からなる光学マーカを貼付し、適切な照明（被測定者の視覚を妨害しないように近赤外光源をカメラレンズと同軸に設置して用いることが多い）の下で、当該光学マーカを付けた人物を複数のモーションキャプチャ用カメラ（撮影装置）で撮影し、画像解析によって各々の光学マーカの位置を算出するものである。
【０００３】
手話では、人間の顔の表情で文法的な要素を表現することがあるため、手指の動作に加えて顔面のモーションキャプチャも必要である。この場合も被測定者の顔表面に光学マーカをつけて手話を演じてもらい、それを撮影してモーションキャプチャを行う。ここで、手話に必要な表情の中には、舌を用いるものもあるが、被測定者の口内における舌の位置を外部から光学的に計測することはできない。例えば、被測定者の舌に再帰性反射材の光学マーカを付けておけば、舌を出した時にその光学マーカを撮影することはできるが、この場合、常時見えている顔表面の光学マーカと、現れたり消えたりする舌の光学マーカとの対応関係を計算することが困難となる。
【０００４】
このような被測定者が口を閉じている場合の舌の動きの計測には、磁気を利用する方法が提案され、言語学研究等に用いられている。例えば、ゲッチンゲン大学で考案されたシステムはＥＭＡ（ElectroMagnetic Articulograph）、マサチューセッツ工科大学（ＭＩＴ）で考案されたシステムはＥＭＭＡ（ElectroMagnetic Midsagittal Articulometer）と称される。このうち、ゲッチンゲン大学のシステムはドイツのCarstens社が製造および販売しており、一般にはＥＭＡの名で呼ばれることが多い（非特許文献１）。
【０００５】
また、被測定者の舌の上に微小な永久磁石（磁気ソース）を貼付し、ホール素子からなる磁気センサが被測定者の頭部に対して固定された位置（一定の位置）となるように、装具等を用いて被測定者の頭部に磁気センサを固定する手法も提案されている（非特許文献２）。またその他にも、光ファイバから被測定者の口内にレーザを照射し、その散乱光から舌の位置を計測するシステムも提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許３７２２９８７号公報
【非特許文献】
【０００７】
【非特許文献１】“Brochure-AG500”、Carstens社、[平成２３年７月２６日検索]、インターネット<ＵＲＬ：http://www.articulograph.de/images/brochure.pdf >
【非特許文献２】C. Dromey et. al.，“Measuring tongue movements during speech”，Adaptation of a magnetic jaw-tracking system，Speech Communication，Ｖｏｌ．４８，ＰＰ．４６３−４７３，２００６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１において提案されたＥＭＡによる舌の位置の計測法では、被測定者の近傍に複数のコイルを固定し、被測定者はそのコイルによって形成された磁場が及ぶ範囲内で手話等の演技を行う必要があった。また、非特許文献２において提案された手法は、前記したように被測定者の頭部に大きな装具を装着し、被測定者の頭部に対するセンサの相対位置を固定する必要があった。
【０００９】
ここで、通常の言語現象に伴う舌の動きの計測であれば、非特許文献１，２の手法でも問題は少ないが、例えば手話の動作に伴って生じる舌の動きを計測しようとすると、手や腕の動作が伴い、またそれに応じて被測定者の上体も動くことがある。従って、非特許文献１，２の手法では、被測定者の身体のすぐ傍に置かれたコイルやその支持装置、あるいは被測定者の頭部に装着した装具が動作の障害になる可能性があり、被測定者の動作の制約が大きいという問題があった。
【００１０】
また、特許文献１で提案された技術は、被測定者が舌を口外に出してしまうと計測できないという問題があった。なお、音声学の研究等では、前記した手法の他にもＸ線撮影、ＭＲＩ、超音波スキャナ等で舌の動きを計測した報告もあるが、いずれも被測定者の負担が大きいか、あるいは被測定者の身体が強く拘束されるため、手話等の計測対象には不向きであった。
【００１１】
本発明はかかる点に鑑みてなされたものであって、被測定者の動作の制約が少ない状態で舌の動きを計測することができるモーションキャプチャ装置およびモーションキャプチャプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために請求項１に係るモーションキャプチャ装置は、被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、被測定者の顔表面または舌表面の他方に貼付され、磁気ソースによって形成される磁場を検出する磁気センサと、被測定者の顔表面に貼付された磁気ソースまたは前記磁気センサと同一の位置に配置された光学マーカと、この光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、磁気センサによって検出された磁場と、撮影装置によって撮影された画像とから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの座標を算出する座標算出手段と、からなり、この座標算出手段が、第１相対座標算出手段と、第２絶対座標算出手段と、第１絶対座標算出手段と、を備える構成とした。
【００１３】
このような構成によれば、モーションキャプチャ装置は、第１相対座標算出手段によって、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの相対的な座標を示す第１相対座標を算出する。また、モーションキャプチャ装置は、第２絶対座標算出手段によって、複数の撮影装置によって撮影された光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気ソースまたは磁気センサの絶対的な座標を示す第２絶対座標を算出する。また、モーションキャプチャ装置は、第１絶対座標算出手段によって、第１相対座標に第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの絶対的な座標を示す第１絶対座標を算出する。
【００１４】
これにより、モーションキャプチャ装置は、第１相対座標算出手段によって、磁気式モーションキャプチャ技術を用いて被測定者の舌表面（口内）に貼付された磁気ソースまたは磁気センサの相対位置を算出し、第２絶対座標算出手段によって、光学式モーションキャプチャ技術を用いて被測定者の顔表面に貼付された磁気ソースまたは磁気センサの絶対位置を算出する。そして、モーションキャプチャ装置は、第１絶対座標算出手段によって両者を加算することで、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの正確な絶対位置を算出することができる。
【００１５】
なお、第１相対座標とは、被測定者の顔表面に貼付された磁気センサからみた被測定者の舌表面に貼付された磁気ソースの相対的な位置、あるいは、被測定者の顔表面に貼付された磁気ソースからみた被測定者の舌表面に貼付された磁気センサの相対的な位置のことを意味している。また、第１絶対座標とは、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの絶対的な位置のことを、第２絶対座標とは、被測定者の顔表面に貼付された磁気ソースまたは磁気センサの絶対的な位置のことを意味している。
【００１６】
また、請求項２に係るモーションキャプチャ装置は、請求項１に係るモーションキャプチャ装置において、磁気ソースが電磁石からなるとともに、被測定者の顔表面または舌表面に複数貼付され、磁気センサが被測定者の顔表面または舌表面に複数貼付され、複数の磁気ソースのそれぞれには、異なる周波数の励磁電流が供給され、第１相対座標算出手段が、磁気センサによって検出された複数の磁場のそれぞれについて周波数分離を行うことで、各々の磁気ソースによって形成される磁場を分離し、当該分離された磁場の大きさから前記第１相対座標を算出する構成とした。
【００１７】
これにより、モーションキャプチャ装置は、被測定者の顔表面または舌表面に電磁石からなる磁気ソースが複数貼付されことで、磁気センサによって検出した磁場に複数の磁気ソースからの誘導成分が含まれている場合であっても、それぞれの磁気ソースに異なる周波数の励磁電流を供給し、かつ、磁気センサによって検出した磁場について高速フーリエ変換等による周波数分離を行うことで、磁気ソースごとの磁場成分を分離することができる。
【００１８】
また、請求項３に係るモーションキャプチャ装置は、請求項１または請求項２に係るモーションキャプチャ装置において、法線方向決定手段を備える構成とした。
【００１９】
このような構成によれば、モーションキャプチャ装置は、法線方向決定手段によって、被測定者の顔表面の法線方向をモデル化した被測定者の頭部モデルに第２絶対座標を当てはめることで、当該第２絶対座標に対応する磁気ソースまたは磁気センサの前記被測定者の顔表面に対する法線方向を決定する。これを受けて、モーションキャプチャ装置は、第１相対座標算出手段によって、磁気センサによって検出された磁場の大きさと、磁気センサまたは磁気ソースの法線方向とから、第１相対座標を算出する。
【００２０】
これにより、モーションキャプチャ装置は、被測定者の顔表面の法線方向をモデル化した頭部モデルを用いることで磁気ソースまたは磁気センサ４０の被測定者Ｍの顔表面に対する法線方向を決定することができ、当該法線方向を加味して第１相対座標を算出することができる。
【００２１】
また、請求項４に係るモーションキャプチャ装置は、請求項１から請求項３のいずれか一項に係るモーションキャプチャ装置において、磁気ソースが被測定者の舌表面に貼付されるとともに、磁気センサが被測定者の顔表面に貼付され、第１相対座標算出手段が、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気ソースの第１相対座標を算出し、第２絶対座標算出手段が、複数の撮影装置によって撮影された光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気センサの第２絶対座標を算出し、第１絶対座標算出手段が、第１相対座標に第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気ソースの第１絶対座標を算出する構成とした。
【００２２】
これにより、モーションキャプチャ装置は、磁気ソースを被測定者の舌表面に貼付し、磁気センサを被測定者の顔表面に貼付した場合において、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気ソースの正確な絶対位置を算出することができる。
【００２３】
また、請求項５に係るモーションキャプチャ装置は、請求項４に係るモーションキャプチャ装置において、被測定者の舌表面に配置された磁気ソースに一端が接続され、他端が被測定者の口外に露出された所定長さの紐部材を備え、磁気ソースが永久磁石からなるとともに、当該磁気ソースに紐部材の一端が接続される構成とした。
【００２４】
これにより、モーションキャプチャ装置は、被測定者の舌表面、すなわち口内に磁気ソースである永久磁石を貼付した際に、当該永久磁石と接続された紐部材の一部が口外に露出して口外にある支持部材等に接続されていることにより、その紐部材をすぐに手指で掴むことができる状態にある。
【００２５】
また、請求項６に係るモーションキャプチャ装置は、請求項１から請求項３のいずれか一項に係るモーションキャプチャ装置において、磁気ソースが被測定者の顔表面に貼付されるとともに、磁気センサが被測定者の舌表面に貼付され、第１相対座標算出手段が、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気センサの第１相対座標を算出し、第２絶対座標算出手段が、複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気ソースの第２絶対座標を算出し、第１絶対座標算出手段が、第１相対座標に前記第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気センサの第１絶対座標を算出する構成とした。
【００２６】
これにより、モーションキャプチャ装置は、磁気センサを被測定者の舌表面に貼付し、磁気ソースを被測定者の顔表面に貼付した場合において、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気センサの正確な絶対位置を算出することができる。
【００２７】
前記課題を解決するためにモーションキャプチャプログラムは、被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、被測定者の顔表面または舌表面の他方に貼付され、磁気ソースによって形成される磁場を検出する磁気センサと、顔表面に貼付された磁気ソースまたはセンサと同一の位置に配置された光学マーカと、光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、からなるモーションキャプチャ装置において、磁気センサによって検出された磁場と、撮影装置によって撮影された画像とから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの座標を算出するために、コンピュータを、第１相対座標算出手段、第２絶対座標算出手段、第１絶対座標算出手段、として機能させるための構成とした。
【００２８】
このような構成によれば、モーションキャプチャプログラムは、第１相対座標算出手段によって、磁気センサによって検出された磁場の大きさから、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの相対的な座標を示す第１相対座標を算出する。また、モーションキャプチャ装置は、第２絶対座標算出手段によって、複数の撮影装置によって撮影された光学マーカの画像から、当該光学マーカと同一の位置に配置された磁気ソースまたは磁気センサの絶対的な座標を示す第２絶対座標を算出する。また、モーションキャプチャ装置は、第１絶対座標算出手段によって、第１相対座標に第２絶対座標を加算することで、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの絶対的な座標を示す第１絶対座標を算出する。
【００２９】
これにより、モーションキャプチャプログラムは、第１相対座標算出手段によって、磁気式モーションキャプチャ技術を用いて被測定者の舌表面（口内）に貼付された磁気ソースまたは磁気センサの相対位置を算出し、第２絶対座標算出手段によって、光学式モーションキャプチャ技術を用いて被測定者の顔表面に貼付された磁気ソースまたは磁気センサの絶対位置を算出する。そして、モーションキャプチャプログラムは、第１絶対座標算出手段によって両者を加算することで、計測中に被測定者の表情が変化した場合であっても、被測定者の舌表面に貼付された磁気ソースまたは磁気センサの正確な絶対位置を算出することができる。
【発明の効果】
【００３０】
請求項１および請求項７に係る発明によれば、被測定者の動作の制約が少ない状態で被測定者の舌の動きを計測することができるため、例えば手話研究の発展に資するモーションキャプチャ装置およびモーションキャプチャプログラムを提供することができる。また 請求項１および請求項７に係る発明によれば、従来手法よりも多数のセンサによって近距離から被測定者の舌の動きを計測できるため、計測精度の向上や、言語学研究等への応用も期待できる。
【００３１】
請求項２に係る発明によれば、複数の磁気ソースまたは複数の磁気センサを被測定者の舌表面に貼付した場合であっても、それぞれの磁気ソースまたは磁気センサを特定（識別）し、その相対座標を正確に算出することができるため、被測定者の舌の動きを正確に計測することができる。
【００３２】
請求項３に係る発明によれば、被測定者の表情の変化に伴って磁気ソースまたは磁気センサの被測定者の顔表面に対する法線方向が変化し、磁気センサの出力が変化した場合であっても、被測定者の舌の動きを正確に計測することができる。
【００３３】
請求項４に係る発明によれば、顔表面よりも面積が小さい舌表面に磁気ソースを貼付することにより、顔表面に磁気ソースを貼付する場合よりも磁気ソースの数を減らして当該磁気ソースに供給する励磁電流の供給量を少なくすることができるため、計測の際のコストを低減することができる。
【００３４】
請求項５に係る発明によれば、被測定者の舌表面に貼付される磁気ソースが永久磁石からなる場合であっても、紐部材を備えているため、被測定者が当該永久磁石を誤って飲み込むことを防止することができ、被測定者の舌の動きを安全に計測することができる。
【００３５】
請求項６に係る発明によれば、被測定者の湿った口内（舌表面）に励磁電流が供給される磁気ソースを貼付する必要がないため、磁気ソースを舌表面に貼付する場合よりも被測定者の舌の動きを安全に計測することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係るモーションキャプチャ装置の全体構成を示す概略図である。
【図２】本発明の実施形態に係るモーションキャプチャ装置における被測定者の舌表面への磁気ソースの貼付例を示す概略図である。
【図３】本発明の実施形態に係るモーションキャプチャ装置における被測定者の顔表面への磁気センサの貼付例を示す概略図である。
【図４】本発明の実施形態に係るモーションキャプチャ装置における座標算出手段の内部構成を示すブロック図である。
【図５】本発明の実施形態に係るモーションキャプチャ装置の動作を示すフローチャートである。
【図６】本発明の他の実施形態に係るモーションキャプチャ装置における座標算出手段の内部構成を示すブロック図である。
【図７】本発明の他の実施形態に係るモーションキャプチャ装置の動作を示すフローチャートである。
【図８】本発明の他の実施形態に係るモーションキャプチャ装置の全体構成を示す概略図である。
【発明を実施するための形態】
【００３７】
本発明の実施形態に係るモーションキャプチャ装置について、図面を参照しながら説明する。なお、以下の説明において、同一の構成については同一の名称及び符号を付し、詳細説明を省略する。
【００３８】
［第１実施形態］
以下、第１実施形態に係るモーションキャプチャ装置１の構成について、図１〜図４を参照しながら詳細に説明する。モーションキャプチャ装置１は、図１に示すように、被測定者Ｍの舌の動きを計測するものである。モーションキャプチャ装置１は、ここでは図１に示すように、磁気ソース１０と、発振器２０と、絶縁アンプ３０と、磁気センサ４０と、光学マーカ４１と、プリアンプ５０と、撮影装置６０と、座標算出手段７０と、を備えている。
【００３９】
磁気ソース１０は、磁場を発生させるものである。磁気ソース１０は、例えば微小なコイルからなる電磁石や、微小な永久磁石等により構成され、被測定者Ｍの舌表面または顔表面に貼付される。また、磁気ソース１０は、被測定者Ｍの舌表面または顔表面に貼付される際の厚さを極力薄くするために、一軸のものを用いることが好ましい。なお、このように一軸の磁気ソース１０を用いた場合、当該磁気ソース１０の三次元座標（後記する第１相対座標）は、少なくとも３つの磁気センサ４０によって検出された磁場を用いて算出する。
【００４０】
ここで、以下の説明では、磁気ソース１０として電磁石を用い、図１に示すように、当該磁気ソース１０が被測定者Ｍの舌表面に貼付される例について説明する。このように被測定者Ｍの舌表面に貼付された磁気ソース１０は、図１に示すように、絶縁アンプ３０を介して発振器２０に接続されており、当該発振器２０から所定の周波数の励磁電流が供給されて磁場を発生できるように構成されている。
【００４１】
磁気ソース１０は、具体的には図２に示すように、被測定者Ｍの舌表面の所定位置に所定個数貼付される。磁気ソース１０は、ここでは図２に示すように、被測定者Ｍの舌表面に十字状に６個配置されている。但し、磁気ソース１０の配置位置および個数は、計測対象や計測条件等によって異なるため、図２に示す例に限定されない。例えば、被測定者Ｍの舌が口内または口外のどちらにあるかということのみを計測する場合、磁気ソース１０は被測定者Ｍの舌表面に１個のみ貼付されても構わない。磁気ソース１０は、例えば医療用に用いられる口内用の接着剤を用いて被測定者Ｍの舌表面に貼付される。
【００４２】
ここで、被測定者Ｍの舌表面に配置される磁気ソース１０の数は、図２および図３に示すように、被測定者Ｍの顔表面に配置される磁気センサ４０の数よりも少なくなるように構成される。これにより、モーションキャプチャ装置１は、被測定者Ｍの顔表面よりも面積が小さい舌表面に磁気ソース１０を貼付することにより、被測定者Ｍの顔表面に磁気ソース１０を貼付する場合よりも磁気ソース１０の数を減らして当該磁気ソース１０に供給する励磁電流の供給量を少なくすることができるため、計測の際のコストを低減することができる。
【００４３】
また、磁気ソース１０としては、前記したように微小な永久磁石を用いることもできる。この場合、モーションキャプチャ装置１において発振器２０や絶縁アンプ３０が不要となるため、被測定者Ｍの動作の制約がより少なくなるという利点がある。但し、被測定者Ｍの舌表面に貼付する磁気ソース１０として永久磁石を用いる場合は、当該磁気ソース１０に一端が接続され、他端が被測定者Ｍの口外に露出された所定長さの紐部材（図示省略）を備えることが好ましい。
【００４４】
これにより、被測定者Ｍの舌表面、すなわち口内に磁気ソース１０である永久磁石を貼付した際に、当該永久磁石と接続された紐部材の一部が口外に露出して口外にある支持部材等に接続されていることにより、その紐部材をすぐに手指で掴むことができる状態にある。そのため、被測定者Ｍの舌表面に貼付される磁気ソース１０が永久磁石からなる場合であっても、紐部材を備えているため、被測定者Ｍが当該永久磁石を誤って飲み込むことを防止することができ、被測定者Ｍの舌の動きを安全に計測することができる。なお、この紐部材の素材は、細く柔軟であり被測定者Ｍの舌や唇の動きを阻害しないものであれば、特に限定されない。すなわち、紐部材は、例えば繊維や金属等で構成しても構わない。
【００４５】
発振器２０は、磁気ソース１０に対して励磁電流を供給するものである。発振器２０は、例えばファンクションジェネレータ等によって構成され、図１に示すように、絶縁アンプ３０に接続されている。そして、発振器２０は、当該絶縁アンプ３０を介して被測定者Ｍの舌表面に貼付された磁気ソース１０に所定の周波数の正弦波を発振することで励磁電流を供給する。なお、発振器２０は、磁気ソース１０を電磁石で構成した場合に必要となり、磁気ソース１０を永久磁石で構成した場合は不要となる。
【００４６】
発振器２０は、図２に示すように、磁気ソース１０が電磁石で構成されるとともに被測定者Ｍの舌表面に複数貼付された場合、図１に示すように、当該磁気ソース１０の個数に合わせて複数設け、複数の磁気ソース１０のそれぞれに異なる周波数（ｆ１〜ｆｋ（ｋは磁気ソース１０および発振器２０の数））の励磁電流を供給することが好ましい。これにより、複数の磁気ソース１０を用いた場合であっても、後記する座標算出手段７０において、それぞれの磁気ソース１０によって形成された磁場成分を分離することができる。
【００４７】
絶縁アンプ３０は、発振器２０から発振された励磁電流を増幅するものである。絶縁アンプ３０は、入力部と出力部間が絶縁され、電池駆動できるように構成されている。アンプとして絶縁アンプ３０を用いるのは、測定者Ｍの口内という湿った部位に貼付された磁気ソース１０に励磁電流を供給するための安全上の理由からである。従って、本実施形態の構成とは逆に、被測定者Ｍの舌表面に磁気センサ４０を貼付した場合や、磁気ソース１０として永久磁石で構成した場合、絶縁アンプは不要となる。
【００４８】
絶縁アンプ３０は、図１に示すように、被測定者Ｍの舌表面に貼付された磁気ソース１０と、例えば細く柔軟な撚り対線等によって接続される。これにより、被測定者Ｍの舌や唇等の動きが阻害されることを防止することができる。なお、絶縁アンプ３０は、図２に示すように、磁気ソース１０が電磁石で構成されるとともに被測定者Ｍの舌表面に複数貼付された場合、図１に示すように、当該磁気ソース１０の個数に合わせて複数設け、複数の磁気ソース１０のそれぞれに増幅した励磁電流を供給する。
【００４９】
磁気センサ４０は、磁場を検出するものである。磁気センサ４０は、例えば微小なコイル、ホール素子、磁気抵抗素子等により構成され、被測定者Ｍの舌表面または顔表面に貼付される。また、磁気センサ４０は、被測定者Ｍの舌表面または顔表面に貼付される際の厚さを極力薄くするために、一軸のものを用いることが好ましい。
【００５０】
ここで、以下の説明では、図１に示すように、磁気センサ４０は被測定者Ｍの顔表面に貼付される例について説明する。このように被測定者Ｍの顔表面に貼付された磁気センサ４０は、図１に示すように、プリアンプ５０を介して座標算出手段７０に接続されており、検出した磁場の大きさを示す磁気センサ信号を座標算出手段７０に出力できるように構成されている。なお、この磁気センサ信号は、磁場を検出した時刻を示すタイムコードとともに記録される（図示省略）。
【００５１】
磁気センサ４０は、具体的には図３に示すように、被測定者Ｍの顔表面の所定位置に所定個数貼付される。磁気センサ４０は、ここでは図３に示すように、被測定者Ｍの顔表面において、当該被測定者Ｍが顔の表情を変化させた場合における変化が顕著な部位（特徴点）に沿って配置される。これは、後記するように、磁気センサ４０と同一の位置に、光学モーションキャプチャ用の光学マーカ４１が配置されるためである。但し、磁気センサ４０の配置位置および個数は、計測対象および計測条件等によって異なるため、図３に示す例に限定されない。ここで、被測定者Ｍの顔表面に配置される磁気センサ４０の数は、図２および図３に示すように、被測定者Ｍの舌表面に配置される磁気センサ４０の数よりも多くなるように構成される。
【００５２】
光学マーカ４１は、光学モーションキャプチャにおける指標となるものである。光学マーカ４１は、例えば再帰性反射材からなり、図１および図３に示すように、磁気センサ４０と同一の位置に配置される。光学マーカ４１は、より具体的には被測定者Ｍの顔表面に貼付された磁気センサ４０の上（表面）に貼付される。この光学マーカ４１の周囲には、図１に示すように、複数の撮影装置６０と、光学式モーションキャプチャ用の照明光源（図示省略）とが配置されており、当該複数の撮影装置６０によって撮影された光学マーカ４１を含む被測定者Ｍの画像を座標算出手段７０に出力できるように構成されている。
【００５３】
光学マーカ４１は、具体的には図３に示すように、被測定者Ｍの顔表面の所定位置に所定個数貼付される。また、光学マーカ４１と同一の位置には、図３に示すように、磁気センサ４０が配置される。但し、光学マーカ４１の配置位置および個数は、計測対象および計測条件等によって異なるため、図３に示す例に限定されない。また、光学マーカ４１は、図３に示す例では磁気センサ４０と同数配置されているが、磁気センサ４０と必ずしも同数でなくてもよく、当該磁気センサ４０よりも多くても構わない。
【００５４】
プリアンプ５０は、磁気センサ４０が生成した磁気センサ信号を増幅するものである。また、プリアンプ５０は、図１に示すように、増幅した磁気センサ信号をＡ／Ｄ変換する機能も同時に備えている。プリアンプ５０は、図１に示すように、被測定者Ｍの顔表面に貼付された磁気センサ４０と、例えば細く柔軟な撚り対線等によって接続される。これにより、被測定者Ｍの表情の動きが阻害されることを防止することができる。なお、プリアンプ５０は、図３に示すように、磁気センサ４０が被測定者Ｍの顔表面に複数貼付された場合、図１に示すように、当該磁気センサ４０の個数に合わせて複数設け、増幅およびＡ／Ｄ変換したそれぞれの磁気センサ信号を座標算出手段７０に出力する。
【００５５】
撮影装置６０は、被測定者Ｍの顔表面に貼付された光学マーカ４１を撮影するものである。撮影装置６０は、例えば光学式モーションキャプチャ用のビデオカメラを用いることができる。また、撮影装置６０は、図１に示すように、被測定者Ｍの顔表面に貼付された光学マーカ４１を異なる位置および方向から撮影できるように、複数設置される。なお、図１に示す例では、撮影装置６０を３台のみ図示したが、撮影装置６０の台数はこれに限定されない。撮影装置６０は、図１に示すように、撮影した光学マーカ４１を含む被測定者Ｍの頭部の画像データを座標算出手段７０に出力する。なお、この画像データには、当該画像を撮影した時刻を示すタイムコードが対応づけられている（図示省略）。
【００５６】
座標算出手段７０は、磁気センサ４０によって検出された磁場と、撮影装置６０によって撮影された画像とを利用して、磁気ソース１０の座標を算出するものである。座標算出手段７０は、ここでは図４に示すように、第１相対座標算出手段７１と、第２絶対座標算出手段７２と、第１絶対座標算出手段７３と、を備えている。
【００５７】
第１相対座標算出手段７１は、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標を算出するものである。ここで、磁気ソース１０の相対座標（第１相対座標）とは、被測定者Ｍの顔表面に貼付された磁気センサ４０を基準とした磁気ソース１０の相対的な位置のことを意味している。なお、第１相対座標は、被測定者Ｍの舌表面に貼付されているものによって意味合いが異なり、例えば本実施形態とは逆に被測定者Ｍの舌表面に磁気センサ４０が貼付されている場合は、磁気ソース１０を基準とした磁気センサ４０の相対的な位置が第１相対座標となる。
【００５８】
第１相対座標算出手段７１は、図４に示すように、磁気センサ４０から入力された磁気センサ信号に含まれる磁場の大きさから、当該磁場を形成する磁気ソース１０の相対座標を算出する。第１相対座標算出手段７１は、前記したように、磁気ソース１０および磁気センサ４０が一軸のものである場合、１つの磁気ソース１０に対して、任意に選択した３つの磁気センサ４０によって検出された磁場を合成することで、当該磁気ソース１０の三次元の相対座標を算出する。ここで、第１相対座標算出手段７１における相対座標の算出処理は、一般的な磁気式モーションキャプチャと同様であるため、詳細な説明は省略する。
【００５９】
第１相対座標算出手段７１は、磁気ソース１０が電磁石からなり、図２および図３に示すように、被測定者Ｍの舌表面および顔表面に磁気ソース１０および磁気センサ４０がそれぞれ複数貼付された場合、各磁気センサ４０によって検出された複数の磁場のそれぞれについて周波数分離を行うことが好ましい。この周波数分離の手法としては、高速フーリエ変換（ＦＦＴ）が挙げられるが、例えばアナログ領域においてフィルタで分離する方法等、ＦＦＴ以外の周波数解析手法を用いても構わない。
【００６０】
すなわち、被測定者Ｍの舌表面に磁気ソース１０が複数貼付された場合、磁気センサ４０によって検出された磁場に基づいて第１相対座標算出手段７１に入力される磁気センサ信号には、被測定者Ｍの舌表面に貼付された全ての磁気ソース１０からの誘導成分が含まれている。しかしながら、複数の磁気ソース１０には、前記したように発振器２０からそれぞれ異なる周波数（ｆ１〜ｆｋ（ｋは磁気ソース１０および発振器２０の数））の励磁電流が供給されている。従って、磁気センサによって検出した磁場について高速フーリエ変換を行うことで、磁気ソース１０ごとの磁場成分を分離することができる。これにより、モーションキャプチャ装置１は、複数の磁気ソース１０を被測定者Ｍの舌表面に貼付した場合であっても、それぞれの磁気ソース１０を特定（識別）し、その相対座標を正確に算出することができる。
【００６１】
第１相対座標算出手段７１には、図１および図４に示すように、プリアンプ５０を介して、磁気センサ４０から磁気センサ信号（タイムコードと対応付けられた磁気センサ信号）が入力される。そして、第１相対座標算出手段７１は、前記した手法によって第１相対座標を算出し、図４に示すように、第１相対座標を第１絶対座標算出手段７３に出力する。
【００６２】
第２絶対座標算出手段７２は、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対座標を算出するものである。ここで、磁気センサ４０の絶対座標とは、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対的な位置（世界座標系における座標値）のことを意味している。なお、第２絶対座標は、被測定者Ｍの顔表面に貼付されているものによって意味合いが異なり、例えば本実施形態とは逆に被測定者Ｍの顔表面に磁気ソース１０が貼付されている場合は、当該磁気ソース１０の絶対的な位置が第２絶対座標となる。
【００６３】
第２絶対座標算出手段７２は、図４に示すように、複数の撮影装置６０から入力された光学マーカ４１の画像と、予め設定されたカメラパラメータ（撮影位置、撮影方向および焦点距離等の設定情報）とから、光学マーカ４１と同一の位置に配置された磁気センサ４０の絶対座標を算出する。ここで、第２絶対座標算出手段７２における絶対座標の算出処理は、一般的な光学式モーションキャプチャと同様であるため、詳細な説明は省略する。
【００６４】
第２絶対座標算出手段７２には、図１および図４に示すように、複数の撮影装置６０から光学マーカ４１を含む被測定者Ｍの画像データ（タイムコードと対応付けられた画像データ）が入力される。そして、第２絶対座標算出手段７２は、前記した手法によって第２絶対座標を算出し、図４に示すように、当該第２絶対座標を第１絶対座標算出手段７３に出力する。
【００６５】
第１絶対座標算出手段７３は、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出するものである。ここで、磁気ソース１０の絶対座標とは、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対的な位置（世界座標系における座標値）のことを意味している。なお、第１絶対座標は、被測定者Ｍの舌表面に貼付されているものによって意味合いが異なり、例えば本実施形態とは逆に被測定者Ｍの舌表面に磁気センサ４０が貼付されている場合は、当該磁気センサ４０の絶対的な位置が第２絶対座標となる。
【００６６】
第１絶対座標算出手段７３は、具体的には図４に示すように、第１相対座標（磁気ソース１０の相対座標）に第２絶対座標（磁気センサ４０の絶対座標）を加算することで、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出する。第１絶対座標算出手段７３は、例えば第１相対座標算出手段７１から（１，１，−１）という第１相対座標が入力され、第２絶対座標算出手段７２から（−３，３，３）という第２絶対座標が入力されると、両者を加算して（−２，４，２）という第１絶対座標を算出する。なお、第１相対座標と第２絶対座標には、前記したようにタイムコードが対応付けられているため、第１絶対座標算出手段７３が、当該タイムコードが一致する座標同士を加算して第１絶対座標を算出する。
【００６７】
第１絶対座標算出手段７３には、図４に示すように、第１相対座標算出手段７１から第１相対座標が、第２絶対座標算出手段７２から第２絶対座標が算出される。そして、第１絶対座標算出手段７３は、前記した手法によって第１絶対座標を算出し、当該第１絶対座標を出力する。
【００６８】
以上のような構成を備えるモーションキャプチャ装置１は、第１相対座標算出手段７１によって、磁気式モーションキャプチャ技術を用いて被測定者Ｍの舌表面（口内）に貼付された磁気ソース１０の相対位置を算出し、第２絶対座標算出手段７２によって、光学式モーションキャプチャ技術を用いて被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対位置を算出する。そして、モーションキャプチャ装置１は、第１絶対座標算出手段７３によって両者を加算することで、計測中に被測定者Ｍの表情が変化した場合であっても、被測定者Ｍの舌表面に貼付された磁気ソース１０の正確な絶対位置を算出することができる。
【００６９】
これにより、モーションキャプチャ装置１によれば、被測定者Ｍの動作の制約が少ない状態で被測定者Ｍの舌の動きを計測することができるため、例えば手話研究の発展に資するモーションキャプチャ装置１を提供することができる。また モーションキャプチャ装置１によれば、従来手法よりも多数のセンサによって近距離から被測定者Ｍの舌の動きを計測できるため、計測精度の向上や、言語学研究等への応用も期待できる。
【００７０】
［第１実施形態の動作］
以下、モーションキャプチャ装置１の動作について、図５を参照（適宜図４も参照）しながら簡単に説明する。なお、以下の説明では、本実施形態の特徴である座標算出手段７０における処理について説明し、それ以外の処理については詳細説明を省略する。
【００７１】
まず、モーションキャプチャ装置１は、第１相対座標算出手段７１によって、磁気センサ４０から入力された磁気センサ信号に基づいて、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標（第１相対座標）を算出する（ステップＳ１）。次に、モーションキャプチャ装置１は、第２絶対座標算出手段７２によって、複数の撮影装置６０から入力された光学マーカ４１の画像とカメラパラメータとに基づいて、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対座標（第２絶対座標）を算出する（ステップＳ２）。次に、モーションキャプチャ装置１は、第１絶対座標算出手段７３によって、第１相対座標算出手段７１から入力された第１相対座標と第２絶対座標算出手段７２から入力された第２絶対座標とを加算して、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を（第１絶対座標）算出する（ステップＳ３）。
【００７２】
このような動作により、モーションキャプチャ装置１は、被測定者Ｍの動作の制約が少ない状態で、被測定者Ｍの舌の動きを正確かつ容易に計測することができる。
【００７３】
［第２実施形態］
以下、第２実施形態に係るモーションキャプチャ装置１Ａについて、図６を参照しながら簡単に説明する。第２実施形態に係るモーションキャプチャ装置１Ａは、図６に示すように、座標算出手段７０Ａを備えている。そして、この座標算出手段７０Ａは、第１相対座標算出手段７１の代わりに第１相対座標算出手段７１Ａを備え、さらに法線方向決定手段７４を備える以外は、第１実施形態に係るモーションキャプチャ装置１の座標算出手段７０と同様の構成を備えている。従って、以下の説明では、モーションキャプチャ装置１との相違点を中心に説明を行い、当該モーションキャプチャ装置１と重複する構成については詳細説明を省略する。
【００７４】
法線方向決定手段７４は、被測定者Ｍの顔表面に貼付された磁気センサ４０の軸の、被測定者Ｍの顔表面に対する法線方向（以下、磁気センサ４０の法線方向という）を算出するものである。法線方向決定手段７４は、具体的には図６に示すように、被測定者Ｍの頭部モデルに対して、第２絶対座標算出手段７２によって算出された第２絶対座標を当てはめることで、当該第２絶対座標に対応する磁気センサ４０（詳細には、光学モーションキャプチャによって絶対座標が算出された光学マーカ４１と同一の位置に配置された磁気センサ４０）の法線方向を決定する。
【００７５】
ここで、被測定者Ｍの頭部モデルとは、当該被測定者Ｍの顔を含む頭部の形状と、被測定者Ｍの顔表面の予め定められた座標から延びる法線の方向と、を予め計測してモデル化したものである。また、磁気センサ４０は、前記したように一軸のもので構成されるが、被測定者Ｍの顔表面に貼付される場合は、その軸の方向が被測定者Ｍの顔表面の法線方向と一致するように貼付される。従って、前記したように、被測定者Ｍの頭部モデルに磁気センサ４０の第２絶対座標を当てはめることで、当該磁気センサ４０の軸がどの方向を向いているのか、すなわち磁気センサ４０の法線方向を決定することができる。なお、本実施形態では、被測定者Ｍの顔表面に磁気センサ４０を貼付する例を説明しているが、被測定者Ｍの顔表面に磁気ソース１０を貼付する場合も、同様に磁気ソース１０の法線方向（被測定者Ｍの顔表面に対する磁気ソース１０の軸の法線方向）を決定することができる。
【００７６】
法線方向決定手段７４には、図６に示すように、第２絶対座標算出手段７２から第２絶対座標（タイムコードと対応付けられた第２絶対座標）が、図示しない記憶手段等から被測定者Ｍの頭部モデルが入力される。そして、法線方向決定手段７４は、前記した手法によって第２絶対座標の法線方向を決定し、図６に示すように、当該法線方向を第１相対座標算出手段７１Ａに出力する。
【００７７】
第１相対座標算出手段７１Ａは、前記した第１相対座標算出手段７１と同様に、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標を算出するものである。但し、第１相対座標算出手段７１Ａは、前記した第１相対座標算出手段７１とは異なり、被測定者Ｍの顔表面に貼付された磁気センサ４０の法線方向を加味して第１相対座標を算出する。
【００７８】
ここで、被測定者Ｍの舌表面に貼付された磁気ソース１０によって形成された磁場を磁気センサ４０によって検出する場合、当該磁気センサ４０の法線方向によって、すなわち磁気センサ４０がどの方向を向いているかによって、検出される磁場の大きさが変化する。例えば、被測定者Ｍの口角に配置した磁気センサ４０は、被測定者Ｍの表情が大きく変化すると、座標自体は同じでも法線方向が変化する場合があり、これにより被測定者Ｍの舌表面に貼付された磁気ソース１０の位置が正確に算出できない場合がある。従って、磁気ソース１０の相対座標をより正確に算出するには、この磁気センサ４０の法線方向も加味する必要がある。第１実施形態に係るモーションキャプチャ装置１では、顔面および下の形状が概ね決まっていることを前提に近似解を得ているが、この手法の導入により、より正確な計算が可能となる。
【００７９】
第１相対座標算出手段７１Ａは、具体的には、磁気センサ４０から入力された磁気センサ信号に含まれる磁場の大きさを、磁気センサ４０の法線方向ごとに予め算出された補正値によって補正することで、磁気ソース１０の相対座標を算出する。これにより、磁気ソース１０の相対座標をより正確に算出することができる。
【００８０】
第１相対座標算出手段７１Ａには、図１および図６に示すように、プリアンプ５０を介して、磁気センサ４０から磁気センサ信号（タイムコードと対応付けられた磁気センサ信号）が入力される。そして、第１相対座標算出手段７１Ａは、前記した手法によって第１相対座標を算出し、図６に示すように、当該第１相対座標を第１絶対座標算出手段７３に出力する。
【００８１】
以上のような構成を備えるモーションキャプチャ装置１Ａは、被測定者Ｍの顔表面の法線方向をモデル化した頭部モデルを用いることで磁気センサ４０の法線方向を決定することができ、当該法線方向を加味して磁気ソース１０の相対座標を算出することができる。
【００８２】
これにより、モーションキャプチャ装置１Ａによれば、被測定者Ｍの表情の変化に伴って磁気センサ４０の法線方向が変化し、当該磁気センサ４０の出力が変化した場合であっても、被測定者Ｍの舌の動きを正確に計測することができる。
【００８３】
［第２実施形態の動作］
以下、モーションキャプチャ装置１Ａの動作について、図７を参照（適宜図６も参照）しながら簡単に説明する。なお、以下の説明では、本実施形態の特徴である座標算出手段７０Ａにおける処理について説明し、それ以外の処理については詳細説明を省略する。
【００８４】
まず、モーションキャプチャ装置１Ａは、第２絶対座標算出手段７２によって、複数の撮影装置６０から入力された光学マーカ４１の画像とカメラパラメータとに基づいて、被測定者Ｍの顔表面に貼付された磁気センサ４０の絶対座標（第２絶対座標）を算出する（ステップＳ１１）。次に、モーションキャプチャ装置１Ａは、法線方向決定手段７４によって、第２絶対座標算出手段７２から入力された第２絶対座標と頭部モデルとに基づいて、当該第２絶対座標の法線方向を決定する（ステップＳ１２）。次に、モーションキャプチャ装置１Ａは、第１相対座標算出手段７１Ａによって、磁気センサ４０から入力された磁気センサ信号と法線方向決定手段７４から入力された第２絶対座標の法線方向とに基づいて、被測定者Ｍの舌表面に貼付された磁気ソース１０の相対座標（第１相対座標）を算出する（ステップＳ１３）。次に、モーションキャプチャ装置１Ａは、第１絶対座標算出手段７３によって、第１相対座標算出手段７１Ａから入力された第１相対座標と第２絶対座標算出手段７２から入力された第２絶対座標とを加算して、被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を（第１絶対座標）算出する（ステップＳ１４）。
【００８５】
このような動作により、モーションキャプチャ装置１Ａは、被測定者Ｍの動作の制約が少ない状態で、被測定者Ｍの舌の動きをより正確かつ容易に計測することができる。
【００８６】
［モーションキャプチャプログラム］
ここで、前記したモーションキャプチャ装置１，１Ａの座標算出手段７０，７０Ａは、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００８７】
以上、本発明に係るモーションキャプチャ装置およびモーションキャプチャプログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【００８８】
例えば、前記したモーションキャプチャ装置１，１Ａは、被測定者Ｍの舌表面に磁気ソース１０が貼付され、被測定者Ｍの顔表面に磁気センサ４０が貼付されることを前提にしていたが、これらが逆でも構わない。この場合、第１相対座標算出手段７１は、磁気センサ４０によって検出された磁場の大きさから、被測定者Ｍの舌表面に貼付された磁気センサ４０の相対座標（第１相対座標）を算出する。また、第２絶対座標算出手段７２は、複数の撮影装置６０によって撮影された光学マーカ４１の画像から、当該光学マーカ４１と同一の位置に配置された磁気ソース１０の絶対座標（第２絶対座標）を算出し、第１絶対座標算出手段７３が、第１相対座標に第２絶対座標を加算することで、被測定者Ｍの舌表面に貼付された磁気センサ４０の絶対座標（第１絶対座標）を算出する。
【００８９】
これにより、モーションキャプチャ装置１は、磁気センサ４０を被測定者Ｍの舌表面に貼付し、磁気ソース１０を被測定者Ｍの顔表面に貼付した場合において、計測中に被測定者Ｍの表情が変化した場合であっても、被測定者Ｍの舌表面に貼付された磁気センサ４０の正確な絶対位置を算出することができる。また、このようなモーションキャプチャ装置１によれば、被測定者Ｍの湿った口内（舌表面）に励磁電流が供給される磁気ソース１０を貼付する必要がないため、磁気ソース１０を舌表面に貼付する場合よりも被測定者Ｍの舌の動きを安全に計測することができる。
【００９０】
また、前記したモーションキャプチャ装置１，１Ａは、手話における舌の動きを計測することを前提にしていたが、被測定者Ｍの舌以外の部位に磁気ソース１０を貼付することで、被測定者Ｍの舌以外の動きを計測することも当然可能である。従って、モーションキャプチャ装置１，１Ａは、手話のみならず他の分野にも広く応用することができる。
【００９１】
また、前記したモーションキャプチャ装置１，１Ａは、被測定者Ｍの顔表面にのみに光学マーカ４１を貼付していたが、被測定者Ｍの身体の他の部位に光学マーカ４１を貼付し、被測定者Ｍの全身の光学モーションキャプチャも併せて行っても構わない。
【００９２】
また、前記したモーションキャプチャ装置１，１Ａは、座標算出手段７０によって、リアルタイムで被測定者Ｍの舌表面に貼付された磁気ソース１０の絶対座標を算出することを前提としていたが、リアルタイムでなくても構わない。すなわち、前記したように、磁気センサ４０によって生成される磁気センサ信号と、撮影装置６０によって生成される画像データには、それぞれタイムコードが対応づけられているため、これらの測定値を全て図示しない記憶手段に記憶した後に計算を実施し、オフライン処理で結果を求めても構わない。
【００９３】
また、前記したモーションキャプチャ装置１，１Ａは、図４および図６に示すように、座標算出手段７０，７０Ａの中に第２絶対座標算出手段７２を含めて説明したが、光学モーションキャプチャを行うものとして、当該第２絶対座標算出手段７２を座標算出手段７０，７０Ａとは別のものとして構成しても構わない。
【符号の説明】
【００９４】
１，１Ａ モーションキャプチャ装置
１０ 磁気ソース
２０ 発振器
３０ 絶縁アンプ
４０ 磁気センサ
４１ 光学マーカ
５０ プリアンプ
６０ 撮影装置
７０，７０Ａ 座標算出手段
７１，７１Ａ 第１相対座標算出手段
７２ 第２絶対座標算出手段
７３ 第１絶対座標算出手段
７４ 法線方向決定手段
Ｍ 被測定者
【特許請求の範囲】
【請求項１】
被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、
前記被測定者の顔表面または舌表面の他方に貼付され、前記磁気ソースによって形成される磁場を検出する磁気センサと、
前記被測定者の顔表面に貼付された前記磁気ソースまたは前記磁気センサと同一の位置に配置された光学マーカと、
前記光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、
前記磁気センサによって検出された磁場と、前記撮影装置によって撮影された画像とから、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの座標を算出する座標算出手段と、からなり、
前記座標算出手段は、
前記磁気センサによって検出された磁場の大きさから、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの相対的な座標を示す第１相対座標を算出する第１相対座標算出手段と、
前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第２絶対座標を算出する第２絶対座標算出手段と、
前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第１絶対座標を算出する第１絶対座標算出手段と、
を備えることを特徴とするモーションキャプチャ装置。
【請求項２】
前記磁気ソースは、電磁石からなるとともに、前記被測定者の顔表面または舌表面に複数貼付され、
前記磁気センサは、前記被測定者の顔表面または舌表面に複数貼付され、
当該複数の磁気ソースのそれぞれには、異なる周波数の励磁電流が供給され、
前記第１相対座標算出手段は、前記磁気センサによって検出された複数の磁場のそれぞれについて周波数分離を行うことで、各々の磁気ソースによって形成される磁場を分離し、当該分離された磁場の大きさから前記第１相対座標を算出することを特徴とする請求項１に記載のモーションキャプチャ装置。
【請求項３】
前記被測定者の顔表面の法線方向をモデル化した前記被測定者の頭部モデルに前記第２絶対座標を当てはめることで、当該第２絶対座標に対応する前記磁気ソースまたは前記磁気センサの前記被測定者の顔表面に対する法線方向を決定する法線方向決定手段を備え、
前記第１相対座標算出手段は、前記磁気センサによって検出された磁場の大きさと、前記磁気センサまたは前記磁気ソースの法線方向とから、前記第１相対座標を算出することを特徴とする請求項１または請求項２に記載のモーションキャプチャ装置。
【請求項４】
前記磁気ソースは、前記被測定者の舌表面に貼付され、
前記磁気センサは、前記被測定者の顔表面に貼付され、
前記第１相対座標算出手段は、前記磁気センサによって検出された磁場の大きさから、前記被測定者の舌表面に貼付された前記磁気ソースの第１相対座標を算出し、
前記第２絶対座標算出手段は、前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気センサの前記第２絶対座標を算出し、
前記第１絶対座標算出手段は、前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気ソースの前記第１絶対座標を算出することを特徴とする請求項１から請求項３のいずれか一項に記載のモーションキャプチャ装置。
【請求項５】
前記被測定者の舌表面に配置された前記磁気ソースに一端が接続され、他端が前記被測定者の口外に露出された所定長さの紐部材を備え、
前記磁気ソースは、永久磁石からなるとともに、前記紐部材の一端が接続されることを特徴とする請求項４に記載のモーションキャプチャ装置。
【請求項６】
前記磁気ソースは、前記被測定者の顔表面に貼付され、
前記磁気センサは、前記被測定者の舌表面に貼付され、
前記第１相対座標算出手段は、前記磁気センサによって検出された磁場の大きさから、前記被測定者の舌表面に貼付された前記磁気センサの第１相対座標を算出し、
前記第２絶対座標算出手段は、前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気ソースの前記第２絶対座標を算出し、
前記第１絶対座標算出手段は、前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気センサの前記第１絶対座標を算出することを特徴とする請求項１から請求項３のいずれか一項に記載のモーションキャプチャ装置。
【請求項７】
被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、前記被測定者の顔表面または舌表面の他方に貼付され、前記磁気ソースによって形成される磁場を検出する磁気センサと、前記顔表面に貼付された前記磁気ソースまたは前記センサと同一の位置に配置された光学マーカと、前記光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、からなるモーションキャプチャ装置において、前記磁気センサによって検出された磁場と、前記撮影装置によって撮影された画像とから、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの座標を算出するために、コンピュータを、
前記磁気センサによって検出された磁場の大きさから、当該磁気センサを基準とした前記磁気ソースの相対的な座標を示す第１相対座標を算出する第１相対座標算出手段、
前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第２絶対座標を算出する第２絶対座標算出手段、
前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第１絶対座標を算出する第１絶対座標算出手段、
として機能させるためのモーションキャプチャプログラム。
【請求項１】
被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、
前記被測定者の顔表面または舌表面の他方に貼付され、前記磁気ソースによって形成される磁場を検出する磁気センサと、
前記被測定者の顔表面に貼付された前記磁気ソースまたは前記磁気センサと同一の位置に配置された光学マーカと、
前記光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、
前記磁気センサによって検出された磁場と、前記撮影装置によって撮影された画像とから、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの座標を算出する座標算出手段と、からなり、
前記座標算出手段は、
前記磁気センサによって検出された磁場の大きさから、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの相対的な座標を示す第１相対座標を算出する第１相対座標算出手段と、
前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第２絶対座標を算出する第２絶対座標算出手段と、
前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第１絶対座標を算出する第１絶対座標算出手段と、
を備えることを特徴とするモーションキャプチャ装置。
【請求項２】
前記磁気ソースは、電磁石からなるとともに、前記被測定者の顔表面または舌表面に複数貼付され、
前記磁気センサは、前記被測定者の顔表面または舌表面に複数貼付され、
当該複数の磁気ソースのそれぞれには、異なる周波数の励磁電流が供給され、
前記第１相対座標算出手段は、前記磁気センサによって検出された複数の磁場のそれぞれについて周波数分離を行うことで、各々の磁気ソースによって形成される磁場を分離し、当該分離された磁場の大きさから前記第１相対座標を算出することを特徴とする請求項１に記載のモーションキャプチャ装置。
【請求項３】
前記被測定者の顔表面の法線方向をモデル化した前記被測定者の頭部モデルに前記第２絶対座標を当てはめることで、当該第２絶対座標に対応する前記磁気ソースまたは前記磁気センサの前記被測定者の顔表面に対する法線方向を決定する法線方向決定手段を備え、
前記第１相対座標算出手段は、前記磁気センサによって検出された磁場の大きさと、前記磁気センサまたは前記磁気ソースの法線方向とから、前記第１相対座標を算出することを特徴とする請求項１または請求項２に記載のモーションキャプチャ装置。
【請求項４】
前記磁気ソースは、前記被測定者の舌表面に貼付され、
前記磁気センサは、前記被測定者の顔表面に貼付され、
前記第１相対座標算出手段は、前記磁気センサによって検出された磁場の大きさから、前記被測定者の舌表面に貼付された前記磁気ソースの第１相対座標を算出し、
前記第２絶対座標算出手段は、前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気センサの前記第２絶対座標を算出し、
前記第１絶対座標算出手段は、前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気ソースの前記第１絶対座標を算出することを特徴とする請求項１から請求項３のいずれか一項に記載のモーションキャプチャ装置。
【請求項５】
前記被測定者の舌表面に配置された前記磁気ソースに一端が接続され、他端が前記被測定者の口外に露出された所定長さの紐部材を備え、
前記磁気ソースは、永久磁石からなるとともに、前記紐部材の一端が接続されることを特徴とする請求項４に記載のモーションキャプチャ装置。
【請求項６】
前記磁気ソースは、前記被測定者の顔表面に貼付され、
前記磁気センサは、前記被測定者の舌表面に貼付され、
前記第１相対座標算出手段は、前記磁気センサによって検出された磁場の大きさから、前記被測定者の舌表面に貼付された前記磁気センサの第１相対座標を算出し、
前記第２絶対座標算出手段は、前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気ソースの前記第２絶対座標を算出し、
前記第１絶対座標算出手段は、前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気センサの前記第１絶対座標を算出することを特徴とする請求項１から請求項３のいずれか一項に記載のモーションキャプチャ装置。
【請求項７】
被測定者の顔表面または舌表面の一方に貼付される磁気ソースと、前記被測定者の顔表面または舌表面の他方に貼付され、前記磁気ソースによって形成される磁場を検出する磁気センサと、前記顔表面に貼付された前記磁気ソースまたは前記センサと同一の位置に配置された光学マーカと、前記光学マーカを異なる位置および異なる方向から撮影する複数の撮影装置と、からなるモーションキャプチャ装置において、前記磁気センサによって検出された磁場と、前記撮影装置によって撮影された画像とから、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの座標を算出するために、コンピュータを、
前記磁気センサによって検出された磁場の大きさから、当該磁気センサを基準とした前記磁気ソースの相対的な座標を示す第１相対座標を算出する第１相対座標算出手段、
前記複数の撮影装置によって撮影された前記光学マーカの画像から、当該光学マーカと同一の位置に配置された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第２絶対座標を算出する第２絶対座標算出手段、
前記第１相対座標に前記第２絶対座標を加算することで、前記被測定者の舌表面に貼付された前記磁気ソースまたは前記磁気センサの絶対的な座標を示す第１絶対座標を算出する第１絶対座標算出手段、
として機能させるためのモーションキャプチャプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【公開番号】特開２０１３−３４５１０（Ｐ２０１３−３４５１０Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７０５６０（Ｐ２０１１−１７０５６０）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]