モーションキャプチャー装置及びモーションキャプチャー方法
【課題】 モーションキャプチャー装置及びモーションキャプチャー方法を提供する。
【解決手段】 少数のセンサーを用いて効果的に３Ｄ仮想キャラクターのリアルタイム動作を生成する装置及び方法が開示される。より具体的に、本発明の一態様によるモーションキャプチャー方法は、胴体の動作を骨格モデルにマッピングして３次元仮想キャラクターの動作を生成するモーションキャプチャー方法において、胴体に付着される測定センサー及び測定基準位置を提供する基準センサーを用いて、該当部位に対する測定基準位置からの距離及び回転角を測定する段階及び測定された距離及び回転角を用いて、胴体の各部分に対する相対的な回転角及び位置座標を推定する段階を含みうる。
【解決手段】 少数のセンサーを用いて効果的に３Ｄ仮想キャラクターのリアルタイム動作を生成する装置及び方法が開示される。より具体的に、本発明の一態様によるモーションキャプチャー方法は、胴体の動作を骨格モデルにマッピングして３次元仮想キャラクターの動作を生成するモーションキャプチャー方法において、胴体に付着される測定センサー及び測定基準位置を提供する基準センサーを用いて、該当部位に対する測定基準位置からの距離及び回転角を測定する段階及び測定された距離及び回転角を用いて、胴体の各部分に対する相対的な回転角及び位置座標を推定する段階を含みうる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションキャプチャー装置及び方法に係り、少数のセンサーを用いて３Ｄ仮想キャラクターのリアルタイム動作生成のための装置及び方法に関する。
【背景技術】
【０００２】
多様なゲーム機が家庭に普及されるにつれて、ゲーム上に表われるキャラクターを操作するためのインターフェースに対する関心が日毎に高まりつつある。一例として、ジョイスティック、マウスのような機器を用いて画面上に表われるキャラクターを操作することが通常であるが、最近には人の動作に対応して仮想キャラクターが動く操作方式も登場した。
【０００３】
人の動作に対応する３次元仮想キャラクターの動作を生成するためには、まず、人の動作関節部位に該当する自由度を有した仮想関節及び定められた長さに対する骨格モデルを作ることが一般的である。そして、人の各関節部位に赤外線マーカーまたは慣性センサーを付着して、各関節の動く角度を測定した後、各関節の位置（ｘ、ｙ、ｚ）及び角度（φ、θ、ψ）を用いて３Ｄ仮想キャラクターの動作を生成する。
【０００４】
図２０は、人の動作を捕捉して証明するための一般的な方法を図示する。段階Ｓ２０００で、センサー値は、胴体の各部に位置する多数のセンサーを通じて獲得される。このようなセンサーは、慣性センサーまたは赤外線マーカーになりうる。段階Ｓ２０１０で、位置と回転角は、測定された胴体の各部分に対する動きまたは位置から抽出される。このような場合、センサーが位置した胴体の各部分に対する位置及び回転角のみが決定されるために、モデリングのための胴体の関節数ほど多数のセンサーが必要となる。段階Ｓ２０２０で、抽出された位置と回転角は、仮想キャラクターの生成に使われる。
【０００５】
慣性センサーは、磁場センサーの追加及び測定された磁場情報によって再調整（ｒｅｃａｌｉｂｒａｔｉｏｎ）されることが可能である。ここで、トランスミッターは、一つ以上の磁気パルスを相異なる方向に放射する。例えば、それぞれ相異なる方向に磁場を発生する３個のコイルシステムによって相異なる磁気パルスが発生しうる。磁場デテクターは、慣性測定ユニットを再調整するためのトランスミッターの位置と関連した位置／方位情報を提供するために使われる。図２０と同様に、それぞれのセンサーの位置及び方位変化は、モデリングされた胴体の各部とマッチされる。
【０００６】
胴体の骨格モデルと関連して、多数のセンサーを通じて得られた情報を通じて人の動作を３次元仮想キャラクターで比較的正確に表現することが可能である。しかし、そのためには、胴体に付着される多数のセンサーが必要である。また、このようにセンサーの数が多くなれば、測定値の訂正に多くの難しさが伴う。さらにコストの側面で、３Ｄゲームを支援する家庭用ゲームコンソールなどに適しない。例えば、このようなシステムでは、正確なモーションキャプチャーのためにＯｐｔｏＴｒａｋ（ＮＤＩ）のような光学モーションキャプチャー装置が必要でもある。このような装置を使う場合、胴体に付着されたマーカーをキャプチャーするための多数のカメラシステムがさらに要求される。したがって、可能であれば、より少数のセンサーを使って胴体の動きを測定して３Ｄ仮想キャラクターを生成する必要性がある。
【０００７】
しかし、３次元仮想キャラクターの動作を自然に具現するためには、人の動き情報を可能な限り多く得なければならないために、多数のセンサーを人に付けて使うことが一般的である。しかし、センサーの数が多くなれば、初期測定を通じる補正作業が難しく、システム具現の単価側面でも高価の装備を必要とするので、ゲームのような応用システムのインターフェースとして利用するには適切ではない。
【０００８】
一般的に正確度が高いモーションキャプチャー装備が希望する場合、光学式モーションキャプチャー装備を使う方法があるが、この場合、カメラの視野確保のために外部に設けられるカメラの個数が増加する短所がある。
【０００９】
したがって、多様な応用分野に使用可能であり、可能な限り少数のセンサー情報を用いて効果的に３Ｄ仮想キャラクターの動作を生成することが重要である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明では、少数のセンサーを用いて効果的に仮想キャラクターの動作を生成する装置及び方法が開示される。
【課題を解決するための手段】
【００１１】
本発明の一態様によるモーションキャプチャー装置は、胴体の一部に位置される測定センサーの測定値を用いて、測定センサーが位置していない胴体の一部の姿勢情報を推定する推定部を含みうる。
【００１２】
本発明の一態様によって、姿勢情報は、測定センサーが位置していない胴体の一部に対する少なくても１以上の回転角を含みうる。そして、測定センサーは、基準位置と測定センサーとの距離と測定センサーが位置した部分の回転角を測定することが可能である。本発明の一態様によって、胴体は、リンク構造を有する関節モデルとして解析されることができるが、推定部は、関節の回転中心と測定基準位置との距離を考慮して、姿勢情報を予測することが可能である。この際、回転中心は、リンクの先端部分のうち関節運動の中心となる部分になりうる。
【００１３】
また、推定部は、人の行動学的パターンを考慮して関節の回転角度を制限するか、状況による動作面を決定して、姿勢情報を推定することが可能である。
【００１４】
測定センサーは、胴体の頭、両手首及び両足首付近に位置または付着されることが可能であり、基準位置は、胴体の中心部または胴体の外部になりうる。
【００１５】
一方、本発明の一態様によるモーションキャプチャー方法は、胴体の部分に位置して基準位置までの距離を測定する測定センサーによって、基準位置と前記測定センサーとの距離表現及び測定センサーの少なくとも１以上の回転角に基づいて、測定センサーが位置する胴体の部分とは異なる胴体の多数部分の回転角を少なくとも１以上含む姿勢情報を推定する段階を含みうる。
【００１６】
また、本発明の他の様相によって前記モーションキャプチャー方法は、推定された姿勢情報を用いて胴体に対応する３次元仮想キャラクターを生成する段階をさらに含むことが可能である。
【００１７】
前記胴体の多数部分は、多数の運動自由度を有する前記胴体の第１部分を含み、前記胴体の第２部分に対する前記姿勢情報の推定は、前記第２部分から測定された姿勢情報に基づかないことがある。
【００１８】
測定センサーが位置する前記胴体の部分は、多数の運動自由度を有することが可能である。
【００１９】
前記測定センサーと前記基準位置との前記距離表現は、三角形の何れか一つの辺を定義し、前記三角形の他の二辺は、前記胴体の部分の間の距離として定義され、前記推定する段階は、前記三角形の少なくとも１以上の内角を定義することによって、前記姿勢情報を推定することが可能である。
【００２０】
また、前記推定する段階は、前記胴体の多数部分のうち何れか一つの選択可能な位置を表現するために、前記距離表現に基づいて平行四辺形を定義する段階を含み、前記平行四辺形の各辺は、前記胴体の部分の間の距離として定義されることが可能である。
【００２１】
また、前記推定する段階は、前記距離表現を半径で有する第１球と前記胴体の部分の間の距離を半径で有する第２球との交差点に基づいて、前記選択可能な位置のうちから何れか一つを前記胴体の多数部分のうち何れか一部分の位置に選択することが可能である。
【００２２】
また、前記推定する段階は、前記測定センサーが位置する前記胴体の部分に対する軸と前記胴体の多数部分に対する軸とを平面に投映して、前記胴体の多数部分に対する姿勢情報を推定することが可能である。
【００２３】
そして、基準センサーが基準位置情報を出力し、前記測定センサーが、前記基準センサーの出力を受信して、前記距離表現を測定することが可能である。この際、基準センサーは、前記胴体の基準位置部分に位置し、前記胴体の基準位置部分は、前記測定センサーが位置する前記胴体の部分及び前記測定センサーが位置していない前記胴体の多数部分とは異なりうる。
【００２４】
また、前記測定センサーは、それぞれ前記胴体の他の部位に位置する少なくとも４個の測定センサーを含み、前記少なくとも４個の測定センサーを用いて、前記姿勢情報が推定されることが可能である。
【００２５】
本発明の一態様によって、骨格モデルは、リンク構造を有する関節モデルで構成することができるが、推定段階で、前記リンク構造の回転中心と前記測定基準位置との距離が考慮されることが可能である。
【００２６】
本発明の一態様によって、回転中心をリンク構造の先端部分のうち関節運動の中心となる部分として定義する時、リンク構造の回転中心が測定基準位置付近に位置する場合、１自由度を有する関節の回転角を計算した後、３自由度を有する関節の回転角を計算して、姿勢情報を推定することが可能である。また、リンク構造の回転中心が測定基準位置から遠く離れて位置する場合、１自由度を有する関節の回転角及び回転軸候補を選定し、胴体の行動学的パターンが考慮された動作面を設定した後、残りの関節の回転角を計算して姿勢情報を推定することが可能である。
【発明の効果】
【００２７】
開示された内容によれば、少数のセンサーを用いて効果的に３Ｄ仮想キャラクターのリアルタイム動作を生成することが可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態によるモーションキャプチャー装置の概略的な構成を表わす図である。
【図２】本発明の一実施形態による胴体の骨格モデルを表わす図である。
【図３】本発明の一実施形態によって測定センサーと基準センサーとが胴体に付着される位置を表わす図である。
【図４】本発明の一実施形態による基準座標系及び測定センサーの座標系を表わす図である。
【図５】本発明の一実施形態による骨格モデルの各部分に対する座標系を表わす図である。
【図６】本発明の一実施形態によって人が動いた時に獲得される情報を図示する図である。
【図７】本発明の一実施形態によってリンク構造にモデリングされた関節を図示する図である。
【図８】本発明の一実施形態によるモーションキャプチャー方法の全体的なフローチャートである。
【図９】本発明の一実施形態によって姿勢情報を推定する過程を図示する図である。
【図１０】本発明の一実施形態によって頭及び胴体の動きを決定する過程を図示する図である。
【図１１】本発明の一実施形態によって胴体の回転角を決定する過程を説明するために胴体を上側から図示した図である。
【図１２】本発明の一実施形態によって体を前に曲げた時に胴体の回転角を決定する過程を説明するために胴体を側面から図示した図である。
【図１３】本発明の一実施形態によって両足の動きを決定する過程を図示する図である。
【図１４】本発明の一実施形態によって足の動きを決定する過程を説明するために胴体の足部分を図示した図である。
【図１５】本発明の一実施形態によって両腕の動きを決定する過程を図示する図である。
【図１６】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図１７】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図１８】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図１９】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図２０】人の動作を捕捉して証明するための一般的な方法を図示する図である。
【発明を実施するための形態】
【００２９】
以下、添付した図面を参照して、本発明の実施形態を詳しく説明する。本発明を説明するに当たって関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書全般に亘った内容に基づいて下さなければならない。
【００３０】
図１は、本発明の一実施形態によるモーションキャプチャー装置の概略的な構成を図示する。
【００３１】
図１を参照するに、本発明の一実施形態によるモーションキャプチャー装置は、大きくセンサーモジュール１０１と計算モジュール１０２とで構成することができる。
【００３２】
センサーモジュール１０１は、胴体の各部分、例えば、関節に対する動き情報を感知することができ、基準センサー１０３と測定センサー１０４とを含みうる。本実施形態で、胴体とは、動きを推定することができるすべての物体になりうる。例えば、胴体は、人の胴体になりうる。センサーモジュール１０１で感知された胴体の動き情報は、計算モジュール１０２に伝達され、計算モジュール１０２は、伝達された情報を用いて胴体に対応する３次元仮想キャラクターまたは胴体の動作に対応する３次元仮想キャラクターの動作を生成することが可能である。このために、計算モジュール１０２は、測定部１０５、推定部１０６及び仮想キャラクター生成部１０７を含みうる。
【００３３】
測定センサー１０４は、胴体の各部分に位置し、その測定センサー１０４が位置した部分に対する動きを感知することが可能である。例えば、測定センサー１０４は、胴体の各部分に付着されることができる。また、基準センサー１０３は、測定センサー１０４で感知される動きに対する測定基準位置を提供することが可能であり、胴体の中心部または胴体の外部に位置されることができる。
【００３４】
例えば、胴体が人の胴体である場合、測定センサー１０４は、胴体の頭、両手首及び両足首に位置して、該当部位の動きを感知し、基準センサー１０３は、胴体（例えば、臍付近）に位置して、前記測定センサー１０４に対して測定基準位置を提供することが可能である。基準センサー１０４によって発生する基準位置は、すべての測定センサー１０４の全域基準を表わし、この基準位置は、いくつかになることもある。
【００３５】
測定部１０５は、測定センサー１０４と測定基準位置との距離を測定することが可能である。また、測定部１０５は、測定センサー１０４の回転角を測定することが可能である。ここで、回転角は、基準センサーの軸、既定の基準軸、または測定センサー１０４の相対的な回転軸と関連する。例えば、測定センサー１０４の回転角は、測定センサー１０４が位置した胴体の関節から離れた胴体の関節の軸と関連する。このような関節の軸としては、腕の肩または足の骨盤などになりうる。本実施形態で、このような回転角は、特定の座標係内で表現されることができるが、胴体の左／右方向はｘ−軸に、前／後方向はｙ−軸に、上／下の方向はｚ−軸に表わすことができる。
【００３６】
一実施形態によって、測定部１０５は、一つまたはそれ以上の測定センサー１０４と一体に形成されるか、測定センサー１０４との有無線連結を通じて前記距離及び回転角を測定することが可能である。一例として、測定部１０５は、測定センサー１０４からこの測定センサー１０４が位置した手首部分に対して、基準センサー１０４との距離及び手首の３次元回転角を測定することができる。
【００３７】
推定部１０６は、前記測定部１０５から測定された値、すなわち、該当部位の測定基準位置からの距離及び回転角を用いて、胴体の各部分に対する姿勢情報を推定することが可能である。例えば、胴体が人の胴体であり、測定センサー１０４が手首付近に位置する場合、推定部１０６は、測定された手首部位と基準センサー１０４との距離及び手首の回転角を用いて、手首、ヒジまたは肩部位に対する相対的な回転角及び各部分の位置座標を推定することが可能である。既存には、手首、ヒジ及び肩などに対する情報を得るためには、該当部位に測定センサーが付着されなければならなかったが、本実施形態によれば、手首に位置した測定センサーのみを用いて、残り部分の情報も分かることが可能である。
【００３８】
本実施形態で、胴体は、リンク構造を有するいくつかの関節として解析されることができる。推定部１０６は、このような関節の回転中心と測定基準位置との距離を考慮して姿勢情報を推定することができる。この際、前記回転中心とは、リンク構造の端部のうち関節運動の中心となる部分と定義されることができる。このような回転中心の例としては、腕運動においてその運動の中心となる肩部位または足運動においてその運動の中心となる骨盤部位などになりうる。
【００３９】
また、推定部１０６は、人の行動学的パターンを考慮して、推定可能な関節の回転角度を制限するか、状況による動作面（例えば、平面または曲面）を決定して、姿勢情報を推定することが可能である。
【００４０】
仮想キャラクター生成部１０７は、推定部１０６で算出された姿勢情報に基づいて、胴体に対応する３次元仮想キャラクターを生成する機能を行う。
【００４１】
本発明の一実施形態によって、推定部１０６で推定された姿勢情報及び／または仮想キャラクター生成部１０７で生成された３次元仮想キャラクター情報は、別途に保存及び管理されることが可能である。
【００４２】
図２は、本発明の一実施形態による人の骨格モデルを図示する。図２で、人は、１自由度を有する４個の関節１０８と３自由度を有する１０個の関節１０９とにモデリングされた。人の動作が反映される骨格モデルは、リンク構造を有する関節モデル集合として解析されることができ、各関節と関節との間の骨格の長さ、すなわち、リンクの長さは、一般的な身体の比率またはユーザ設定値を考慮してあらかじめ定められることが可能である。この際、多数の関節のうちヒジとヒザ関節は１自由度を有し、残りの関節は３自由度を有すると見られる。そして、両足の骨盤側の関節と腰関節は、回転軸の中心が同一であると見られる。
【００４３】
図３は、測定センサー及び基準センサーの位置に対する一例を図示する。図３を参照するに、測定センサー１０４は、頭、両手首及び両足首に総５個が付着され、基準センサー１０３は、人の胴体の中心部に付着された。しかし、基準センサー１０３が、必ずしも人の胴体に付着されることに限定されるものではなく、胴体の外部に設けられることも可能である。この際、人が一定の動作を取れば、測定センサー１０４は、その動きを感知し、測定部１０５は、測定センサー１０４と基準センサー１０３との距離及び測定センサー１０４が付着された部位の３次元回転角を測定する。
【００４４】
例えば、各センサーには、磁気パルス受信装置、慣性センサー及びブルートゥースを利用した無線センサー情報伝送装置が装着されることができる。慣性センサーは、センサーを付着した軸の３次元角度を計算することが可能である。測定基準位置または基準センサー１０３から発生した磁場（ｍａｇｎｅｔｉｃ ｆｉｅｌｄ）は距離の三乗に反比例して減衰するので、磁場発生基準点で３次元直交軸に一定時間間隔で磁気パルスを送れば、受信位置でｘ、ｙ、ｚの三つの軸の磁場減衰の大きさを測定することが可能であり、これを通じて測定基準位置から各測定センサー１０４までの相対距離を測定することができる。
【００４５】
この際、使われるセンサーの種類は、慣性センサーまたは磁気センサーに限るものではなく、人の身に付着された一点または外部の基準点から各センサーまでの相対距離と各センサーの回転角とを得ることができる多様なセンサー装置を含みうる。
【００４６】
図４は、前述した骨格モデル及びセンサーモジュールを用いて、基準座標系及び測定センサーに対する座標系を図示した図である。図４を参照するに、それぞれのセンサー座標系及び基準座標系の初期値は、ｚ軸が重力方向、ｙ軸が正面方向、ｘ軸は左側方向に設定されているということが分かる。
【００４７】
そして、ｚ軸の回転角をψ、ｙ軸の回転角をθ、ｘ軸の回転角をφとして表わすことができる。例えば、５個の測定センサーの回転角は、それぞれ（φ１、θ１、ψ１）、（φ２、θ２、ψ２）、（φ３、θ３、ψ３）、（φ４、θ４、ψ４）、及び（φ５、θ５、ψ５）などのように表わすことができる。また、基準センサーの回転角は、（φＢ、θＢ、ψＢ）のように表わすことができる。しかし、座標系の初期値が、これに限定されるものではなく、計算便宜または使用目的によって多様な方向の座標系を設定して使うこともできる。
【００４８】
図５は、人の動作を仮想キャラクターの動作に再現するために各関節部位に設定された座標系を図示する。図５で、初期整列状態は、人が正面に向け、手を伸ばして気を付け姿勢で立っている状態であると仮定し、この際、正面凝視方向及び二つの足の方向はｙ軸方向になり、右側の手の甲の方向は−ｘ方向、左側の手の甲の方向はｘ方向を示すようになる。また、ヒジとヒザとの回転は、１自由度、すなわち、ｘ軸に対する回転自由度φのみを有するようになる。
【００４９】
本発明の一実施形態によって、頭の座標は、ＣＣ１（ｘｃ１、ｙ ｃ１、ｚ ｃ１）、胴の座標は、ＣＣ２（ｘｃ２、ｙ ｃ２、ｚ ｃ２）、右側肩の座標は、ＣＲ１（ｘＲ１、ｙ Ｒ１、ｚ Ｒ１）、右側ヒジの座標は、ＣＲ２（ｘ Ｒ２、ｙＲ２、ｚＲ２）、右側手首の座標は、ＣＲ３（ｘＲ３、ｙＲ３、ｚＲ３）、右側骨盤の座標は、ＣＲ４（ｘＲ４、ｙＲ４、ｚＲ４）、右側ヒザの座標は、ＣＲ５（ｘＲ５、ｙＲ５、ｚＲ５）、右側足首の座標は、ＣＲ６（ｘＲ６、ｙＲ６、ｚＲ６）のようにそれぞれ表わすことができる。同様に、Ｌ添字は、左側の各部分の座標を表わす。
【００５０】
また、各部分に対する回転角は、ＣＣ１（φｃ１、θｃ１、ψｃ１）、ＣＣ２（φｃ２、θｃ２、ψｃ２）、ＣＲ１（φＲ１、θＲ１、ψＲ１）、ＣＲ２（φＲ２、θＲ２、ψＲ２）、ＣＲ３（φＲ３、θＲ３、ψＲ３）、ＣＲ４（φＲ４、θＲ４、ψＲ４）、ＣＲ５（φＲ５、θＲ５、ψＲ５）、ＣＲ６（φＲ６、θＲ６、ψＲ６）、ＣＬ１（φＬ１、θＬ１、ψＬ１）、ＣＬ２（φＬ２、θＬ２、ψＬ２）、ＣＬ３（φＬ３、θＬ３、ψＬ３）、ＣＬ４（φＬ４、θＬ４、ψＬ４）、ＣＬ５（φＬ５、θＬ５、ψＬ５）、ＣＬ６（φＬ６、θＬ６、ψＬ６）などのように表わすことができる。
【００５１】
また、ｄは、胴体の各部分の間の距離を表わす。例えば、ｄｃ１は、頭と首との間の距離になりうる。
【００５２】
図６は、本発明の一実施形態によるモーションキャプチャー装置を装着した人が動いた時に取得される情報を図示した図である。例えば、ｒ１は、頭に位置した測定センサー１０４と胴中央に位置した基準センサー１０３との距離を表わし、（φ１、θ１、ψ１）は、頭の回転角を表わすことができる。このような情報は、測定センサー１０４が位置した胴体の多数部分から得られることが可能であり、測定センサー１０４が位置した部分に対する測定基準位置からの距離及び３次元回転角になりうる。
【００５３】
測定部１０５で得られた図６のような情報は、推定部１０６に伝達され、推定部１０６は、伝達された情報に基づいて、図５に該当する各関節の情報を計算することが可能である。通常、不十分な関節の情報のみで人の全体動作を唯一に決定することが容易ではないが、人の行動学的パターンを考慮して応用システムに対して適切な仮定を置けば、使われるセンサーの数を減らしても効果的に３次元仮想キャラクターの動作を生成することが可能である。
【００５４】
図７を参照して、胴体の一部分に対する姿勢情報を予測する原理を簡単に説明する。図７は、本発明の一実施形態によって胴体のある一部分をリンク構造で表現したものである。例えば、図７の構造は、腕構造になり、この際、回転中心２０１は肩を、第１関節２０２はヒジを、第２関節２０３は手首に対応すると見られる。
【００５５】
第１関節２０２であるヒジは、人の行動学的パターンを考慮する時、１自由度、すなわち、ｘ軸方向の回転運動のみあると仮定しても自然な腕の動作を生成することができる。また、第２関節２０３である手首の動きは、その付近に位置した測定センサー１０４の測定値をそのまま用いても良い。また、胴体の比率を考慮して関節の間の距離ｄ１、ｄ２は既定されている。
【００５６】
このような仮定下で、基準センサー１０３と測定センサー１０４との距離ｒ及び測定センサー１０４が付着された部分の３次元回転角φ、θ、ψを用いて、各関節部位、例えば、２０１、２０２、２０３の相対的な回転角を計算し、該計算された相対的な回転角に基づいて、順運動学（ｆｏｒｗａｒｄ ｋｉｎｅｍａｔｉｃ）技法を通じて各関節部位の位置座標を計算することが可能である。
【００５７】
この際、基準センサー１０３と回転中心２０１との距離は、遠いか、近い。例えば、基準センサー１０３が、胴体の胴体に付着され、図７の構造が足構造と仮定すれば、回転中心２０１が基準センサー１０３の付近に位置する。しかし、図７の構造が腕構造と仮定すれば、回転中心２０１が基準センサー１０３から遠く離れて位置する。このような場合、推定部１０６は、各関節部位の姿勢情報、すなわち、相対的な回転角及び位置座標を推定または計算する時、回転中心２０１と基準センサー１０３との距離を考慮することが可能であり、その具体的な過程については後述する。
【００５８】
図８は、本発明の一実施形態によるモーションキャプチャー方法を示すフローチャートである。このようなモーションキャプチャー方法は、前述した本発明の一実施形態によるモーションキャプチャー装置を通じて胴体の動作を骨格モデルにマッピングして３次元仮想キャラクターの動作を生成する場合に利用されうる。
【００５９】
図８を参照するに、本発明の一実施形態によるモーションキャプチャー方法は、測定段階（Ｓ１０１）、推定段階（Ｓ１０２）及び生成段階（Ｓ１０３）を含みうる。
【００６０】
測定段階（Ｓ１０１）は、胴体の一部に位置される測定センサー及び測定基準位置を提供する基準センサーを用いて、距離表現及び回転角を測定する段階である。ここで、距離表現は、測定センサーと基準位置との距離になり、回転角は、測定センサーが位置する部分の回転角になりうる。
【００６１】
推定段階（Ｓ１０２）は、前記測定段階（Ｓ１０１）から測定された前記距離及び回転角を用いて、胴体の各部分に対する相対的な回転角及び位置座標を推定する段階である。ここで、胴体の各部分は、前記測定センサー付着部分及び前記測定センサー未付着部分のいずれにもなりうる。
【００６２】
推定段階（Ｓ１０２）と関連して、胴体は、リンク構造を有する骨格モデルに対応することができるが、推定段階（Ｓ１０２）では、リンク構造の特徴またはリンク構造の回転中心と測定基準位置との距離などを考慮して、前記相対的な回転角及び位置座標を計算することが可能である。
【００６３】
図９を参照して、これをさらに詳細に説明する。図９は、前述した推定部１０６が、各関節部位の姿勢情報を計算する過程に対する一例を表わしたものである。
【００６４】
このような過程は、まず、該当部位に対するリンク構造の特徴を判断することから始まる（Ｓ２０１）。例えば、胴体−頭ラインは２リンク構造で見られ、肩−ヒジ−手首ラインに繋がる腕は３リンク構造で見られる。段階Ｓ２０１で、該当部位が３リンクではない場合（例えば、２リンク構造である胴体−頭ラインである場合）、１自由度を有する関節（例えば、首関節）の回転角を計算し（Ｓ２０２）、残りの骨格モデル（例えば、胴体及び頭部分）に対する位置／角度を計算することが可能である（Ｓ２０９）。
【００６５】
また、段階Ｓ２０１で、該当部位が３リンクである場合（例えば、肩−ヒジ−手首ラインに繋がる腕または骨盤−ヒザ−足首ラインに繋がる足など）、回転中心と測定基準位置との距離が近いか否かを判断する（Ｓ２０３）。例えば、測定基準位置が胴体の中央部（例えば、臍）であれば、足は回転中心（すなわち、骨盤部位）が測定基準位置と近いと判断し、腕は回転中心（すなわち、肩部位）が測定基準位置と遠いと判断することができる。
【００６６】
回転中心が測定基準位置付近にある場合、１自由度を有する関節（例えば、ヒザ）の回転角を計算し（Ｓ２０４）、残りの３自由度を有する関節（例えば、骨盤、足首）に対する回転角を計算することが可能である（Ｓ２０５）。以後、各関節の回転角に基づいて、骨格モデルの位置／角度を計算する（Ｓ２０９）。
【００６７】
回転中心が測定基準位置付近にいない場合、１自由度を有する関節（例えば、ヒジ）の回転角及び回転軸の候補を選定し（Ｓ２０６）、状況による動作面を設定した後（Ｓ２０７）、各関節（例えば、手首、ヒジ、肩）の回転角を計算することが可能である（Ｓ２０８）。以後、同様に各関節の回転角に基づいて、骨格モデルの位置／角度を計算する（Ｓ２０９）。
【００６８】
このような計算過程において、関節の回転角を計算する時、人の行動学的パターンを考慮して動作範囲または回転範囲に一定の制限を置くか、状況情報（例えば、机で字を書く動作、ゴルフクラブをスイングする動作、歩く動作など）を考慮して適切な動作面を設定することが可能である。
【００６９】
再び図８で、前記推定過程（Ｓ１０２）を通じて骨格モデルの各部分に対する相対的な回転角及び位置座標が計算されれば、このような情報を骨格モデルにマッピングさせて３次元仮想キャラクターを生成することが可能である（Ｓ１０３）。例えば、前記生成段階（Ｓ１０３）は、得られた関節の各情報と３Ｄグラフィックエンジンとを使って仮想キャラクターを画面に可視化する過程を意味することができる。一例として、可視化過程は、商用グラフィックライブラリーであるＯｐｅｎ Ｉｎｖｅｎｔｏｒ（ｂｙ Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ，Ｉｎｃ）のシーングラフ（Ｓｃｅｎｅ Ｇｒａｐｈ）概念を用いて具現可能である。人の骨格モデルは、頭または腰軸を中心に周辺に連結されているリンクの長さと回転角とを有するデータツリー（ｄａｔａ ｔｒｅｅ）形態に構成することができ、これは、グラフィックライブラリーで容易に動作として具現される。また、これに対する下位グラフィックライブラリーであるＯｐｅｎＧＬを用いて具現することも可能である。但し、本発明における可視化の方法は、特定グラフィックライブラリーに制限するものではない。
【００７０】
また、このように生成された仮想キャラクターは、ゲームまたはテレビの画面上で背景に挿入されてゲームキャラクターとして応用が可能であり、与えられた骨格モデルにテクスチャ（ｔｅｘｔｕｒｅ）マッピングを通じてより人に近い形状に表現されるか、他のキャラクターで描写されうる。
【００７１】
また、図８で詳しく図示しなかったが、可視化する過程で動く動作を柔らかくするために、動作と動作との間を連結する補間アルゴリズムが追加されることができる。これは、適用しようとする応用プラットホームの計算性能の限界にある程度以上のサンプリング頻度（ｆｒｅｑｕｅｎｃｙ）を期待することができない時に適用可能である。
【００７２】
以下では、胴体の各部分に対する姿勢情報を算出する過程をより細部的に説明する。この際、胴体の各部分に対する座標系は、図４ないし図６で例示した座標系を使い、測定基準位置は、胴体の中心部（例えば、臍付近）に位置すると仮定する。
【００７３】
細部過程１−１：頭及び胴体の動作決定（回転角決定）
頭及び胴体の回転角を決定するための過程は、図１０で図示されたものと同じである。
【００７４】
頭のｚ軸回転方向は、頭に付着される測定センサーで得られた回転値を全く同じく使う。すなわち、ψＣ１＝ψ１の関係が成立する。
【００７５】
次いで、与えられた情報から胴体の方向を決定する。この過程で、動作を通じて人の意図を伝達することは、腕、足及び頭の動作が主となることを勘案する時、胴体は自然な動きを表わすように状況に合わせて適切に方向を決定する。
【００７６】
このために、まず、ｚ軸に対する動きであるψＣ２を決定する。
【００７７】
図１１は、このような胴体の回転角ψＣ２を決定する過程を説明するために、人を上から見下ろしたことを表わしたもので、頭、右足首及び左足首が示す正面方向は、それぞれ軸ｙｃ１’、ｙＲ６’、ｙＬ６’が示す方向に、水平面に対する回転角は、ｚ軸に対する回転角であるψとして表わすことができる。
【００７８】
人の動作を観察すれば、人の首は、胴体を基準に左右に９０°以上を回すことができず、人の足首も、胴体を基準に９０°以上を回すことができない。そして、足取りと基本的な動作だけではなく、ゴルフや格闘技のような動作を分析する時、両つま先が向かう方向ベクトルと視線（すなわち、頭の方向）が向かう方向ベクトルとの平均を胴体が向かう方向に見ることが自然である。これを利用すれば、胴体のψＣ２は、センサーで測定しなくても、次のように方向を推定することが可能である。
【００７９】
ψＣ２＝（ｋ１ψＣ１＋ｋ２ψ４＋ｋ３ψ５）／（ｋ１＋ｋ２＋ｋ３）
前記式で、それぞれのｋ値は一定の加重値を表わし、ψ４及びψ５は足首から測定されたセンサー値を表わす。ψＣ１値は、センサー座標系１で得られた回転値を全く同じく使うことができるので、前記式を通じて胴体の回転角を推定することが可能である。
【００８０】
細部過程１−２：頭及び胴体の動作決定（ｘ軸方向の動き決定）
頭及び胴体のｘ軸方向の動き（例えば、前に下げること）は、図１２で図示されたように求めることができる。
【００８１】
図１２を参照して、胴体の回転角φｃ２を決定する過程を説明すれば、まず、頭を下げずに体のみ下げる場合は、ｘ軸に対する回転角φｃ１と頭に付着された測定センサーの測定値φ１と同じであると見られる。しかし、首を下げる場合は、胴体、首、頭を頂点で有する三角形が生じるが、関節間の長さは既定されており、胴体と頭との距離は測定が可能であるので、三角形の三辺の長さを求めうる。このように、三角形の三辺の長さが与えられるので、三角形の三つの内角が分かり、これから△φｃ２を求めうる。したがって、胴体の回転角のうちφｃ２は、（φ１−△φｃ２）を通じて求めることができる。前述した例で、頭を下げたか否かは、胴体と頭との距離と各関節の長さとの和を比べて判断することが可能である。例えば、頭を下げない場合には、ｒ１’＝ｄｃ１＋ｄｃ２になり、頭を下げる場合には、ｒ１’＞ｄｃ１＋ｄｃ２になる。
【００８２】
細部過程１−３：頭及び胴体の動作決定（ｙ軸方向の動き決定）
胴体のｙ軸に対する回転角θｃ２及び頭のｙ軸に対する回転角θｃ１に対することは、細部過程１−２とその方向のみ異なり、残りは同一であるので、詳しい説明は省略する。
【００８３】
細部過程２：両足の動作決定
両足の回転角を決定するための過程は、図１３で図示されたものと同じである。
【００８４】
説明の便宜上、図１４で示すように右足を基準に説明する。足は、骨盤側の３自由度と足首の３自由度、そして、ヒザの１自由度として総７個の自由度を有する。この場合、足首の３自由度座標系Ｒ６が脛側に付いて動くと仮定しても、動作の概形を表現することには問題がない。したがって、脛と足首は付いていると仮定する。
【００８５】
この場合、ヒザ関節は、ｘ５’軸に対して動く１自由度を有しており、ｚ軸はいずれも同じ線上にあるために、ｙ軸とｚ軸とに対する回転角はセンサー測定値と同じ値を有する。すなわち、θＲ４＝θＲ６＝θ４、ψＲ４＝ψＲ６＝ψ４の関係を有するようになる。そして、足首と脛は、固定されていると仮定したので、φＲ６＝φ４の関係を有する。また、ｒ４は測定が可能であり、ｄＲ５及びｄＲ６は既定の値であるので、このような三角形の三辺の長さから三つの内角を求めることが可能である。引き続き、この三角形の方向は、重力方向に対してφＲ６ほど動いたので、これからヒザの回転角度を計算してφＲ５を求めることが可能である。
【００８６】
前記過程は、測定基準位置が臍または骨盤である場合を仮定したものであって、足の回転中心と測定基準位置とが近い場合に関するものである。もし、測定基準位置が回転軸付近に位置していない場合には、後述する腕の動作を決定する過程と類似した方法が利用されうる。
【００８７】
また、左足の場合は、これと対称になる構造を有しているので、同じ過程によって動作を決定することができる。
【００８８】
細部過程３−１：両腕の動作決定
両腕の回転角を決定するための過程は、図１５に図示されたものと同じである。
【００８９】
説明の便宜上、右腕を基準に説明する。前記細部過程２と同様に手首の細部動きを考慮する場合ではないとすれば、腕首から手首に繋がる軸と手首の軸は固定されていると仮定しても、自然な腕動作を具現するのに問題がない。したがって、腕の動きを決定するのに重要なのは、センサー情報から肩の３自由度座標系Ｒ１とヒジの回転角φＲ２とである。
【００９０】
図１６を参照するに、人の腕の動作は、ｘＲ３軸に対する動きであるφＲ３の動きが最も多く制限されることが分かる。したがって、腕の自然な動きのための運動範囲を最大限に多く保証するためには、ヒジの回転自由度軸ｘＲ２が手首のｘＲ３軸と平行にし、肩−ヒジ−手首に繋がる三つの関節が平面Ｐに置かれるようにすれば良い。
【００９１】
一方、手首の動きでｚＲ３軸に対する動きであるψＲ３を観察すれば、ψＲ３は＋πから−π／２の範囲で動作が制限されるということが分かる。ここで、ψＲ３が０より大きい場合には、手を下に下げた状態で手の甲を体の内側に回す場合であり、ψＲ３が０より小さな場合には、手の甲を体の外側に回す場合である。ψＲ３が０以上である場合は、前述したようにヒジの回転自由度軸ｘＲ２をｘＲ３と平行にさせれば、自然な動きを演出することができるが、その反対の場合（例えば、手の平が上に向けるようになる場合）は、図１７のようにｘＲ２をｙＲ３と平行にさせることがさらに自然な動きを表現させうる。
【００９２】
したがって、腕動作は、図１６及び図１７の二つの場合に対して決定されなければならない。
【００９３】
細部過程３−２：両腕の動作決定（ψＲ３≧０）
まず、ψＲ３が０より大きいか同じである場合は、図１８と同じである。
【００９４】
図１８を参照するに、点Ａから出発する半直線ベクトル
【００９５】
【数１】
が平面Ｐ上にあり、
【００９６】
【数２】
でなければならない。この場合、四角形ＡＤＥＦが一平面で平行四辺形を成す点Ｆを捜し出すことができ、∠ＡＤＥ≦πであるので、Ｆは唯一の解を有する。また、骨格モデル
【００９７】
【数３】
は固定された長さｄｒ１、ｄｃ２を有しており、三角形ＡＢＣが成す平面の法線ベクトルは細部過程２を通じて決定されるので、基準点Ｂに対して
【００９８】
【数４】
でＦの位置と方向とを決定することができる。この場合、平面ＡＤＥＦで点Ｆを中心に距離ｄｒ２である円と基準点Ｂから距離ｒ２である円の交集合を見れば、解が二つ生じることができるが、この場合、腕を自然に広げることができるように、∠ＡＦＸ（＝∠ＡＤＥ）が大きい側を選択する。次いで、Ｅの位置が決定され、これからＡＦの方向ベクトルが分かっているので、Ｄの位置が分かるようになって右腕関節の形状を決定させうる。
【００９９】
細部過程３−２：両腕の動作決定（ψＲ３＜０）
ψＲ３が０より小さい場合（例えば、手の甲を外側に回転させる場合）は、図１９と同じである。
【０１００】
図１９を参照するに、点Ａから出発する半直線ベクトル
【０１０１】
【数５】
が平面Ｐ上にあり、
【０１０２】
【数６】
でなければならない。この場合、四角形ＡＤＥＦが一平面で平行四辺形を成す点Ｄを捜し出すことができ、∠ＡＦＥ≦πであるので、Ｆは唯一の解を有する。また、骨格モデルで
【０１０３】
【数７】
は固定された長さｄｒ１、ｄｃ２を有しており、三角形ＡＢＣが成す平面の法線ベクトルは細部過程２で決定されたので、基準点Ｂに対して
【０１０４】
【数８】
でＤの位置と方向とを決定することができる。
【０１０５】
この場合、平面ＡＤＥＦで点Ｄを中心に距離ｄｒ２である円と点Ｂから距離ｒ２である円の交集合を見れば、解が二つ生じることができるが、この場合、腕を自然に広げることができるように、∠ＡＤＸ（＝∠ＡＦＥ）が大きい側を選択する。次いで、Ｅの位置が決定され、これからＡＤの方向ベクトルが分かっているので、Ｆの位置が分かるようになって腕関節の形状を決定させうる。
【０１０６】
前述した腕の動作を決定する過程は、測定基準位置が臍または骨盤に位置することを仮定したものである。すなわち、測定基準位置と腕の回転中心が遠い場合に関する説明であって、もし、これと異なって、測定基準位置が腕の回転中心の付近に位置すれば（例えば、測定基準位置＝胸または肩）、前述した足の動作を決定する過程と類似した過程を通じて腕の動作を決定することができる。
【０１０７】
以上の過程を通じて、与えられたセンサー情報と動作表現の自由度に対する適切な仮定に基づいた関節角計算を通じて３次元仮想キャラクターの動作表現のための関節角を予測することが可能である。
【０１０８】
また、前述した過程の以外にも、応用プラットホームで動作がより自然に表現させる過程がさらに遂行されることができる。一例として、ゴルフ動作の場合、手の形状はゴルフグリップをする姿勢に作ることができ、人が座った場合は、座っている姿勢によって一側の足指部位を自然に曲がる形状にしうる。そして、格闘ゲームのための仮想キャラクターのモデルの場合は、キャラクターの属性に合わせて、手が前に出る場合は、自然に拳を握るように細部動作を設定することができ、仮想キャラクターで設定された複雑な動きは速度や動作面で人が実際に表現しにくいことがあるので、これについては、基本動作に対する仮想キャラクター動作のマッピングから容易に具現することができる。
【０１０９】
言い換えれば、人の動作の概形と細部動作とを区分することによって、センサーから取得される情報を最小化し、人の動作に対する適切な仮定を置くことで最小化された情報から効果的に動作を生成することが可能であり、また、動作の階層的構造を用いて生成された動作が、応用プラットホームでより自然に表現させることが可能である。
【０１１０】
一方、本発明の実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。
【０１１１】
コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウエーブ（例えば、インターネットを通じる伝送）の形態で具現することを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行可能である。そして、発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。
【０１１２】
以上、本発明の実施形態について説明したが、本発明は、前述した特定の実施形態に限定されない。すなわち、当業者ならば、特許請求の範囲の思想及び範疇を逸脱せずに、本発明に対する多様な変更及び修正が可能であり、そのようなすべての適切な変更及び修正の均等物も、本発明の範囲に属するものと見なされなければならない。
【産業上の利用可能性】
【０１１３】
本発明は、モーションキャプチャー装置及び方法に関連の技術分野に適用可能である。
【符号の説明】
【０１１４】
１０１ センサーモジュール
１０２ 計算モジュール
１０３ 基準センサー
１０４ 測定センサー
１０５ 測定部
１０６ 推定部
１０７ 仮想キャラクター生成部
１０８ １自由度関節
１０９ ３自由度関節
２０１ 回転中心
２０２ 第１関節
２０３ 第２関節
【技術分野】
【０００１】
本発明は、モーションキャプチャー装置及び方法に係り、少数のセンサーを用いて３Ｄ仮想キャラクターのリアルタイム動作生成のための装置及び方法に関する。
【背景技術】
【０００２】
多様なゲーム機が家庭に普及されるにつれて、ゲーム上に表われるキャラクターを操作するためのインターフェースに対する関心が日毎に高まりつつある。一例として、ジョイスティック、マウスのような機器を用いて画面上に表われるキャラクターを操作することが通常であるが、最近には人の動作に対応して仮想キャラクターが動く操作方式も登場した。
【０００３】
人の動作に対応する３次元仮想キャラクターの動作を生成するためには、まず、人の動作関節部位に該当する自由度を有した仮想関節及び定められた長さに対する骨格モデルを作ることが一般的である。そして、人の各関節部位に赤外線マーカーまたは慣性センサーを付着して、各関節の動く角度を測定した後、各関節の位置（ｘ、ｙ、ｚ）及び角度（φ、θ、ψ）を用いて３Ｄ仮想キャラクターの動作を生成する。
【０００４】
図２０は、人の動作を捕捉して証明するための一般的な方法を図示する。段階Ｓ２０００で、センサー値は、胴体の各部に位置する多数のセンサーを通じて獲得される。このようなセンサーは、慣性センサーまたは赤外線マーカーになりうる。段階Ｓ２０１０で、位置と回転角は、測定された胴体の各部分に対する動きまたは位置から抽出される。このような場合、センサーが位置した胴体の各部分に対する位置及び回転角のみが決定されるために、モデリングのための胴体の関節数ほど多数のセンサーが必要となる。段階Ｓ２０２０で、抽出された位置と回転角は、仮想キャラクターの生成に使われる。
【０００５】
慣性センサーは、磁場センサーの追加及び測定された磁場情報によって再調整（ｒｅｃａｌｉｂｒａｔｉｏｎ）されることが可能である。ここで、トランスミッターは、一つ以上の磁気パルスを相異なる方向に放射する。例えば、それぞれ相異なる方向に磁場を発生する３個のコイルシステムによって相異なる磁気パルスが発生しうる。磁場デテクターは、慣性測定ユニットを再調整するためのトランスミッターの位置と関連した位置／方位情報を提供するために使われる。図２０と同様に、それぞれのセンサーの位置及び方位変化は、モデリングされた胴体の各部とマッチされる。
【０００６】
胴体の骨格モデルと関連して、多数のセンサーを通じて得られた情報を通じて人の動作を３次元仮想キャラクターで比較的正確に表現することが可能である。しかし、そのためには、胴体に付着される多数のセンサーが必要である。また、このようにセンサーの数が多くなれば、測定値の訂正に多くの難しさが伴う。さらにコストの側面で、３Ｄゲームを支援する家庭用ゲームコンソールなどに適しない。例えば、このようなシステムでは、正確なモーションキャプチャーのためにＯｐｔｏＴｒａｋ（ＮＤＩ）のような光学モーションキャプチャー装置が必要でもある。このような装置を使う場合、胴体に付着されたマーカーをキャプチャーするための多数のカメラシステムがさらに要求される。したがって、可能であれば、より少数のセンサーを使って胴体の動きを測定して３Ｄ仮想キャラクターを生成する必要性がある。
【０００７】
しかし、３次元仮想キャラクターの動作を自然に具現するためには、人の動き情報を可能な限り多く得なければならないために、多数のセンサーを人に付けて使うことが一般的である。しかし、センサーの数が多くなれば、初期測定を通じる補正作業が難しく、システム具現の単価側面でも高価の装備を必要とするので、ゲームのような応用システムのインターフェースとして利用するには適切ではない。
【０００８】
一般的に正確度が高いモーションキャプチャー装備が希望する場合、光学式モーションキャプチャー装備を使う方法があるが、この場合、カメラの視野確保のために外部に設けられるカメラの個数が増加する短所がある。
【０００９】
したがって、多様な応用分野に使用可能であり、可能な限り少数のセンサー情報を用いて効果的に３Ｄ仮想キャラクターの動作を生成することが重要である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明では、少数のセンサーを用いて効果的に仮想キャラクターの動作を生成する装置及び方法が開示される。
【課題を解決するための手段】
【００１１】
本発明の一態様によるモーションキャプチャー装置は、胴体の一部に位置される測定センサーの測定値を用いて、測定センサーが位置していない胴体の一部の姿勢情報を推定する推定部を含みうる。
【００１２】
本発明の一態様によって、姿勢情報は、測定センサーが位置していない胴体の一部に対する少なくても１以上の回転角を含みうる。そして、測定センサーは、基準位置と測定センサーとの距離と測定センサーが位置した部分の回転角を測定することが可能である。本発明の一態様によって、胴体は、リンク構造を有する関節モデルとして解析されることができるが、推定部は、関節の回転中心と測定基準位置との距離を考慮して、姿勢情報を予測することが可能である。この際、回転中心は、リンクの先端部分のうち関節運動の中心となる部分になりうる。
【００１３】
また、推定部は、人の行動学的パターンを考慮して関節の回転角度を制限するか、状況による動作面を決定して、姿勢情報を推定することが可能である。
【００１４】
測定センサーは、胴体の頭、両手首及び両足首付近に位置または付着されることが可能であり、基準位置は、胴体の中心部または胴体の外部になりうる。
【００１５】
一方、本発明の一態様によるモーションキャプチャー方法は、胴体の部分に位置して基準位置までの距離を測定する測定センサーによって、基準位置と前記測定センサーとの距離表現及び測定センサーの少なくとも１以上の回転角に基づいて、測定センサーが位置する胴体の部分とは異なる胴体の多数部分の回転角を少なくとも１以上含む姿勢情報を推定する段階を含みうる。
【００１６】
また、本発明の他の様相によって前記モーションキャプチャー方法は、推定された姿勢情報を用いて胴体に対応する３次元仮想キャラクターを生成する段階をさらに含むことが可能である。
【００１７】
前記胴体の多数部分は、多数の運動自由度を有する前記胴体の第１部分を含み、前記胴体の第２部分に対する前記姿勢情報の推定は、前記第２部分から測定された姿勢情報に基づかないことがある。
【００１８】
測定センサーが位置する前記胴体の部分は、多数の運動自由度を有することが可能である。
【００１９】
前記測定センサーと前記基準位置との前記距離表現は、三角形の何れか一つの辺を定義し、前記三角形の他の二辺は、前記胴体の部分の間の距離として定義され、前記推定する段階は、前記三角形の少なくとも１以上の内角を定義することによって、前記姿勢情報を推定することが可能である。
【００２０】
また、前記推定する段階は、前記胴体の多数部分のうち何れか一つの選択可能な位置を表現するために、前記距離表現に基づいて平行四辺形を定義する段階を含み、前記平行四辺形の各辺は、前記胴体の部分の間の距離として定義されることが可能である。
【００２１】
また、前記推定する段階は、前記距離表現を半径で有する第１球と前記胴体の部分の間の距離を半径で有する第２球との交差点に基づいて、前記選択可能な位置のうちから何れか一つを前記胴体の多数部分のうち何れか一部分の位置に選択することが可能である。
【００２２】
また、前記推定する段階は、前記測定センサーが位置する前記胴体の部分に対する軸と前記胴体の多数部分に対する軸とを平面に投映して、前記胴体の多数部分に対する姿勢情報を推定することが可能である。
【００２３】
そして、基準センサーが基準位置情報を出力し、前記測定センサーが、前記基準センサーの出力を受信して、前記距離表現を測定することが可能である。この際、基準センサーは、前記胴体の基準位置部分に位置し、前記胴体の基準位置部分は、前記測定センサーが位置する前記胴体の部分及び前記測定センサーが位置していない前記胴体の多数部分とは異なりうる。
【００２４】
また、前記測定センサーは、それぞれ前記胴体の他の部位に位置する少なくとも４個の測定センサーを含み、前記少なくとも４個の測定センサーを用いて、前記姿勢情報が推定されることが可能である。
【００２５】
本発明の一態様によって、骨格モデルは、リンク構造を有する関節モデルで構成することができるが、推定段階で、前記リンク構造の回転中心と前記測定基準位置との距離が考慮されることが可能である。
【００２６】
本発明の一態様によって、回転中心をリンク構造の先端部分のうち関節運動の中心となる部分として定義する時、リンク構造の回転中心が測定基準位置付近に位置する場合、１自由度を有する関節の回転角を計算した後、３自由度を有する関節の回転角を計算して、姿勢情報を推定することが可能である。また、リンク構造の回転中心が測定基準位置から遠く離れて位置する場合、１自由度を有する関節の回転角及び回転軸候補を選定し、胴体の行動学的パターンが考慮された動作面を設定した後、残りの関節の回転角を計算して姿勢情報を推定することが可能である。
【発明の効果】
【００２７】
開示された内容によれば、少数のセンサーを用いて効果的に３Ｄ仮想キャラクターのリアルタイム動作を生成することが可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態によるモーションキャプチャー装置の概略的な構成を表わす図である。
【図２】本発明の一実施形態による胴体の骨格モデルを表わす図である。
【図３】本発明の一実施形態によって測定センサーと基準センサーとが胴体に付着される位置を表わす図である。
【図４】本発明の一実施形態による基準座標系及び測定センサーの座標系を表わす図である。
【図５】本発明の一実施形態による骨格モデルの各部分に対する座標系を表わす図である。
【図６】本発明の一実施形態によって人が動いた時に獲得される情報を図示する図である。
【図７】本発明の一実施形態によってリンク構造にモデリングされた関節を図示する図である。
【図８】本発明の一実施形態によるモーションキャプチャー方法の全体的なフローチャートである。
【図９】本発明の一実施形態によって姿勢情報を推定する過程を図示する図である。
【図１０】本発明の一実施形態によって頭及び胴体の動きを決定する過程を図示する図である。
【図１１】本発明の一実施形態によって胴体の回転角を決定する過程を説明するために胴体を上側から図示した図である。
【図１２】本発明の一実施形態によって体を前に曲げた時に胴体の回転角を決定する過程を説明するために胴体を側面から図示した図である。
【図１３】本発明の一実施形態によって両足の動きを決定する過程を図示する図である。
【図１４】本発明の一実施形態によって足の動きを決定する過程を説明するために胴体の足部分を図示した図である。
【図１５】本発明の一実施形態によって両腕の動きを決定する過程を図示する図である。
【図１６】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図１７】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図１８】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図１９】本発明の一実施形態によって両腕の動きを決定する過程を説明するために胴体の腕部分を図示した図である。
【図２０】人の動作を捕捉して証明するための一般的な方法を図示する図である。
【発明を実施するための形態】
【００２９】
以下、添付した図面を参照して、本発明の実施形態を詳しく説明する。本発明を説明するに当たって関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書全般に亘った内容に基づいて下さなければならない。
【００３０】
図１は、本発明の一実施形態によるモーションキャプチャー装置の概略的な構成を図示する。
【００３１】
図１を参照するに、本発明の一実施形態によるモーションキャプチャー装置は、大きくセンサーモジュール１０１と計算モジュール１０２とで構成することができる。
【００３２】
センサーモジュール１０１は、胴体の各部分、例えば、関節に対する動き情報を感知することができ、基準センサー１０３と測定センサー１０４とを含みうる。本実施形態で、胴体とは、動きを推定することができるすべての物体になりうる。例えば、胴体は、人の胴体になりうる。センサーモジュール１０１で感知された胴体の動き情報は、計算モジュール１０２に伝達され、計算モジュール１０２は、伝達された情報を用いて胴体に対応する３次元仮想キャラクターまたは胴体の動作に対応する３次元仮想キャラクターの動作を生成することが可能である。このために、計算モジュール１０２は、測定部１０５、推定部１０６及び仮想キャラクター生成部１０７を含みうる。
【００３３】
測定センサー１０４は、胴体の各部分に位置し、その測定センサー１０４が位置した部分に対する動きを感知することが可能である。例えば、測定センサー１０４は、胴体の各部分に付着されることができる。また、基準センサー１０３は、測定センサー１０４で感知される動きに対する測定基準位置を提供することが可能であり、胴体の中心部または胴体の外部に位置されることができる。
【００３４】
例えば、胴体が人の胴体である場合、測定センサー１０４は、胴体の頭、両手首及び両足首に位置して、該当部位の動きを感知し、基準センサー１０３は、胴体（例えば、臍付近）に位置して、前記測定センサー１０４に対して測定基準位置を提供することが可能である。基準センサー１０４によって発生する基準位置は、すべての測定センサー１０４の全域基準を表わし、この基準位置は、いくつかになることもある。
【００３５】
測定部１０５は、測定センサー１０４と測定基準位置との距離を測定することが可能である。また、測定部１０５は、測定センサー１０４の回転角を測定することが可能である。ここで、回転角は、基準センサーの軸、既定の基準軸、または測定センサー１０４の相対的な回転軸と関連する。例えば、測定センサー１０４の回転角は、測定センサー１０４が位置した胴体の関節から離れた胴体の関節の軸と関連する。このような関節の軸としては、腕の肩または足の骨盤などになりうる。本実施形態で、このような回転角は、特定の座標係内で表現されることができるが、胴体の左／右方向はｘ−軸に、前／後方向はｙ−軸に、上／下の方向はｚ−軸に表わすことができる。
【００３６】
一実施形態によって、測定部１０５は、一つまたはそれ以上の測定センサー１０４と一体に形成されるか、測定センサー１０４との有無線連結を通じて前記距離及び回転角を測定することが可能である。一例として、測定部１０５は、測定センサー１０４からこの測定センサー１０４が位置した手首部分に対して、基準センサー１０４との距離及び手首の３次元回転角を測定することができる。
【００３７】
推定部１０６は、前記測定部１０５から測定された値、すなわち、該当部位の測定基準位置からの距離及び回転角を用いて、胴体の各部分に対する姿勢情報を推定することが可能である。例えば、胴体が人の胴体であり、測定センサー１０４が手首付近に位置する場合、推定部１０６は、測定された手首部位と基準センサー１０４との距離及び手首の回転角を用いて、手首、ヒジまたは肩部位に対する相対的な回転角及び各部分の位置座標を推定することが可能である。既存には、手首、ヒジ及び肩などに対する情報を得るためには、該当部位に測定センサーが付着されなければならなかったが、本実施形態によれば、手首に位置した測定センサーのみを用いて、残り部分の情報も分かることが可能である。
【００３８】
本実施形態で、胴体は、リンク構造を有するいくつかの関節として解析されることができる。推定部１０６は、このような関節の回転中心と測定基準位置との距離を考慮して姿勢情報を推定することができる。この際、前記回転中心とは、リンク構造の端部のうち関節運動の中心となる部分と定義されることができる。このような回転中心の例としては、腕運動においてその運動の中心となる肩部位または足運動においてその運動の中心となる骨盤部位などになりうる。
【００３９】
また、推定部１０６は、人の行動学的パターンを考慮して、推定可能な関節の回転角度を制限するか、状況による動作面（例えば、平面または曲面）を決定して、姿勢情報を推定することが可能である。
【００４０】
仮想キャラクター生成部１０７は、推定部１０６で算出された姿勢情報に基づいて、胴体に対応する３次元仮想キャラクターを生成する機能を行う。
【００４１】
本発明の一実施形態によって、推定部１０６で推定された姿勢情報及び／または仮想キャラクター生成部１０７で生成された３次元仮想キャラクター情報は、別途に保存及び管理されることが可能である。
【００４２】
図２は、本発明の一実施形態による人の骨格モデルを図示する。図２で、人は、１自由度を有する４個の関節１０８と３自由度を有する１０個の関節１０９とにモデリングされた。人の動作が反映される骨格モデルは、リンク構造を有する関節モデル集合として解析されることができ、各関節と関節との間の骨格の長さ、すなわち、リンクの長さは、一般的な身体の比率またはユーザ設定値を考慮してあらかじめ定められることが可能である。この際、多数の関節のうちヒジとヒザ関節は１自由度を有し、残りの関節は３自由度を有すると見られる。そして、両足の骨盤側の関節と腰関節は、回転軸の中心が同一であると見られる。
【００４３】
図３は、測定センサー及び基準センサーの位置に対する一例を図示する。図３を参照するに、測定センサー１０４は、頭、両手首及び両足首に総５個が付着され、基準センサー１０３は、人の胴体の中心部に付着された。しかし、基準センサー１０３が、必ずしも人の胴体に付着されることに限定されるものではなく、胴体の外部に設けられることも可能である。この際、人が一定の動作を取れば、測定センサー１０４は、その動きを感知し、測定部１０５は、測定センサー１０４と基準センサー１０３との距離及び測定センサー１０４が付着された部位の３次元回転角を測定する。
【００４４】
例えば、各センサーには、磁気パルス受信装置、慣性センサー及びブルートゥースを利用した無線センサー情報伝送装置が装着されることができる。慣性センサーは、センサーを付着した軸の３次元角度を計算することが可能である。測定基準位置または基準センサー１０３から発生した磁場（ｍａｇｎｅｔｉｃ ｆｉｅｌｄ）は距離の三乗に反比例して減衰するので、磁場発生基準点で３次元直交軸に一定時間間隔で磁気パルスを送れば、受信位置でｘ、ｙ、ｚの三つの軸の磁場減衰の大きさを測定することが可能であり、これを通じて測定基準位置から各測定センサー１０４までの相対距離を測定することができる。
【００４５】
この際、使われるセンサーの種類は、慣性センサーまたは磁気センサーに限るものではなく、人の身に付着された一点または外部の基準点から各センサーまでの相対距離と各センサーの回転角とを得ることができる多様なセンサー装置を含みうる。
【００４６】
図４は、前述した骨格モデル及びセンサーモジュールを用いて、基準座標系及び測定センサーに対する座標系を図示した図である。図４を参照するに、それぞれのセンサー座標系及び基準座標系の初期値は、ｚ軸が重力方向、ｙ軸が正面方向、ｘ軸は左側方向に設定されているということが分かる。
【００４７】
そして、ｚ軸の回転角をψ、ｙ軸の回転角をθ、ｘ軸の回転角をφとして表わすことができる。例えば、５個の測定センサーの回転角は、それぞれ（φ１、θ１、ψ１）、（φ２、θ２、ψ２）、（φ３、θ３、ψ３）、（φ４、θ４、ψ４）、及び（φ５、θ５、ψ５）などのように表わすことができる。また、基準センサーの回転角は、（φＢ、θＢ、ψＢ）のように表わすことができる。しかし、座標系の初期値が、これに限定されるものではなく、計算便宜または使用目的によって多様な方向の座標系を設定して使うこともできる。
【００４８】
図５は、人の動作を仮想キャラクターの動作に再現するために各関節部位に設定された座標系を図示する。図５で、初期整列状態は、人が正面に向け、手を伸ばして気を付け姿勢で立っている状態であると仮定し、この際、正面凝視方向及び二つの足の方向はｙ軸方向になり、右側の手の甲の方向は−ｘ方向、左側の手の甲の方向はｘ方向を示すようになる。また、ヒジとヒザとの回転は、１自由度、すなわち、ｘ軸に対する回転自由度φのみを有するようになる。
【００４９】
本発明の一実施形態によって、頭の座標は、ＣＣ１（ｘｃ１、ｙ ｃ１、ｚ ｃ１）、胴の座標は、ＣＣ２（ｘｃ２、ｙ ｃ２、ｚ ｃ２）、右側肩の座標は、ＣＲ１（ｘＲ１、ｙ Ｒ１、ｚ Ｒ１）、右側ヒジの座標は、ＣＲ２（ｘ Ｒ２、ｙＲ２、ｚＲ２）、右側手首の座標は、ＣＲ３（ｘＲ３、ｙＲ３、ｚＲ３）、右側骨盤の座標は、ＣＲ４（ｘＲ４、ｙＲ４、ｚＲ４）、右側ヒザの座標は、ＣＲ５（ｘＲ５、ｙＲ５、ｚＲ５）、右側足首の座標は、ＣＲ６（ｘＲ６、ｙＲ６、ｚＲ６）のようにそれぞれ表わすことができる。同様に、Ｌ添字は、左側の各部分の座標を表わす。
【００５０】
また、各部分に対する回転角は、ＣＣ１（φｃ１、θｃ１、ψｃ１）、ＣＣ２（φｃ２、θｃ２、ψｃ２）、ＣＲ１（φＲ１、θＲ１、ψＲ１）、ＣＲ２（φＲ２、θＲ２、ψＲ２）、ＣＲ３（φＲ３、θＲ３、ψＲ３）、ＣＲ４（φＲ４、θＲ４、ψＲ４）、ＣＲ５（φＲ５、θＲ５、ψＲ５）、ＣＲ６（φＲ６、θＲ６、ψＲ６）、ＣＬ１（φＬ１、θＬ１、ψＬ１）、ＣＬ２（φＬ２、θＬ２、ψＬ２）、ＣＬ３（φＬ３、θＬ３、ψＬ３）、ＣＬ４（φＬ４、θＬ４、ψＬ４）、ＣＬ５（φＬ５、θＬ５、ψＬ５）、ＣＬ６（φＬ６、θＬ６、ψＬ６）などのように表わすことができる。
【００５１】
また、ｄは、胴体の各部分の間の距離を表わす。例えば、ｄｃ１は、頭と首との間の距離になりうる。
【００５２】
図６は、本発明の一実施形態によるモーションキャプチャー装置を装着した人が動いた時に取得される情報を図示した図である。例えば、ｒ１は、頭に位置した測定センサー１０４と胴中央に位置した基準センサー１０３との距離を表わし、（φ１、θ１、ψ１）は、頭の回転角を表わすことができる。このような情報は、測定センサー１０４が位置した胴体の多数部分から得られることが可能であり、測定センサー１０４が位置した部分に対する測定基準位置からの距離及び３次元回転角になりうる。
【００５３】
測定部１０５で得られた図６のような情報は、推定部１０６に伝達され、推定部１０６は、伝達された情報に基づいて、図５に該当する各関節の情報を計算することが可能である。通常、不十分な関節の情報のみで人の全体動作を唯一に決定することが容易ではないが、人の行動学的パターンを考慮して応用システムに対して適切な仮定を置けば、使われるセンサーの数を減らしても効果的に３次元仮想キャラクターの動作を生成することが可能である。
【００５４】
図７を参照して、胴体の一部分に対する姿勢情報を予測する原理を簡単に説明する。図７は、本発明の一実施形態によって胴体のある一部分をリンク構造で表現したものである。例えば、図７の構造は、腕構造になり、この際、回転中心２０１は肩を、第１関節２０２はヒジを、第２関節２０３は手首に対応すると見られる。
【００５５】
第１関節２０２であるヒジは、人の行動学的パターンを考慮する時、１自由度、すなわち、ｘ軸方向の回転運動のみあると仮定しても自然な腕の動作を生成することができる。また、第２関節２０３である手首の動きは、その付近に位置した測定センサー１０４の測定値をそのまま用いても良い。また、胴体の比率を考慮して関節の間の距離ｄ１、ｄ２は既定されている。
【００５６】
このような仮定下で、基準センサー１０３と測定センサー１０４との距離ｒ及び測定センサー１０４が付着された部分の３次元回転角φ、θ、ψを用いて、各関節部位、例えば、２０１、２０２、２０３の相対的な回転角を計算し、該計算された相対的な回転角に基づいて、順運動学（ｆｏｒｗａｒｄ ｋｉｎｅｍａｔｉｃ）技法を通じて各関節部位の位置座標を計算することが可能である。
【００５７】
この際、基準センサー１０３と回転中心２０１との距離は、遠いか、近い。例えば、基準センサー１０３が、胴体の胴体に付着され、図７の構造が足構造と仮定すれば、回転中心２０１が基準センサー１０３の付近に位置する。しかし、図７の構造が腕構造と仮定すれば、回転中心２０１が基準センサー１０３から遠く離れて位置する。このような場合、推定部１０６は、各関節部位の姿勢情報、すなわち、相対的な回転角及び位置座標を推定または計算する時、回転中心２０１と基準センサー１０３との距離を考慮することが可能であり、その具体的な過程については後述する。
【００５８】
図８は、本発明の一実施形態によるモーションキャプチャー方法を示すフローチャートである。このようなモーションキャプチャー方法は、前述した本発明の一実施形態によるモーションキャプチャー装置を通じて胴体の動作を骨格モデルにマッピングして３次元仮想キャラクターの動作を生成する場合に利用されうる。
【００５９】
図８を参照するに、本発明の一実施形態によるモーションキャプチャー方法は、測定段階（Ｓ１０１）、推定段階（Ｓ１０２）及び生成段階（Ｓ１０３）を含みうる。
【００６０】
測定段階（Ｓ１０１）は、胴体の一部に位置される測定センサー及び測定基準位置を提供する基準センサーを用いて、距離表現及び回転角を測定する段階である。ここで、距離表現は、測定センサーと基準位置との距離になり、回転角は、測定センサーが位置する部分の回転角になりうる。
【００６１】
推定段階（Ｓ１０２）は、前記測定段階（Ｓ１０１）から測定された前記距離及び回転角を用いて、胴体の各部分に対する相対的な回転角及び位置座標を推定する段階である。ここで、胴体の各部分は、前記測定センサー付着部分及び前記測定センサー未付着部分のいずれにもなりうる。
【００６２】
推定段階（Ｓ１０２）と関連して、胴体は、リンク構造を有する骨格モデルに対応することができるが、推定段階（Ｓ１０２）では、リンク構造の特徴またはリンク構造の回転中心と測定基準位置との距離などを考慮して、前記相対的な回転角及び位置座標を計算することが可能である。
【００６３】
図９を参照して、これをさらに詳細に説明する。図９は、前述した推定部１０６が、各関節部位の姿勢情報を計算する過程に対する一例を表わしたものである。
【００６４】
このような過程は、まず、該当部位に対するリンク構造の特徴を判断することから始まる（Ｓ２０１）。例えば、胴体−頭ラインは２リンク構造で見られ、肩−ヒジ−手首ラインに繋がる腕は３リンク構造で見られる。段階Ｓ２０１で、該当部位が３リンクではない場合（例えば、２リンク構造である胴体−頭ラインである場合）、１自由度を有する関節（例えば、首関節）の回転角を計算し（Ｓ２０２）、残りの骨格モデル（例えば、胴体及び頭部分）に対する位置／角度を計算することが可能である（Ｓ２０９）。
【００６５】
また、段階Ｓ２０１で、該当部位が３リンクである場合（例えば、肩−ヒジ−手首ラインに繋がる腕または骨盤−ヒザ−足首ラインに繋がる足など）、回転中心と測定基準位置との距離が近いか否かを判断する（Ｓ２０３）。例えば、測定基準位置が胴体の中央部（例えば、臍）であれば、足は回転中心（すなわち、骨盤部位）が測定基準位置と近いと判断し、腕は回転中心（すなわち、肩部位）が測定基準位置と遠いと判断することができる。
【００６６】
回転中心が測定基準位置付近にある場合、１自由度を有する関節（例えば、ヒザ）の回転角を計算し（Ｓ２０４）、残りの３自由度を有する関節（例えば、骨盤、足首）に対する回転角を計算することが可能である（Ｓ２０５）。以後、各関節の回転角に基づいて、骨格モデルの位置／角度を計算する（Ｓ２０９）。
【００６７】
回転中心が測定基準位置付近にいない場合、１自由度を有する関節（例えば、ヒジ）の回転角及び回転軸の候補を選定し（Ｓ２０６）、状況による動作面を設定した後（Ｓ２０７）、各関節（例えば、手首、ヒジ、肩）の回転角を計算することが可能である（Ｓ２０８）。以後、同様に各関節の回転角に基づいて、骨格モデルの位置／角度を計算する（Ｓ２０９）。
【００６８】
このような計算過程において、関節の回転角を計算する時、人の行動学的パターンを考慮して動作範囲または回転範囲に一定の制限を置くか、状況情報（例えば、机で字を書く動作、ゴルフクラブをスイングする動作、歩く動作など）を考慮して適切な動作面を設定することが可能である。
【００６９】
再び図８で、前記推定過程（Ｓ１０２）を通じて骨格モデルの各部分に対する相対的な回転角及び位置座標が計算されれば、このような情報を骨格モデルにマッピングさせて３次元仮想キャラクターを生成することが可能である（Ｓ１０３）。例えば、前記生成段階（Ｓ１０３）は、得られた関節の各情報と３Ｄグラフィックエンジンとを使って仮想キャラクターを画面に可視化する過程を意味することができる。一例として、可視化過程は、商用グラフィックライブラリーであるＯｐｅｎ Ｉｎｖｅｎｔｏｒ（ｂｙ Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ，Ｉｎｃ）のシーングラフ（Ｓｃｅｎｅ Ｇｒａｐｈ）概念を用いて具現可能である。人の骨格モデルは、頭または腰軸を中心に周辺に連結されているリンクの長さと回転角とを有するデータツリー（ｄａｔａ ｔｒｅｅ）形態に構成することができ、これは、グラフィックライブラリーで容易に動作として具現される。また、これに対する下位グラフィックライブラリーであるＯｐｅｎＧＬを用いて具現することも可能である。但し、本発明における可視化の方法は、特定グラフィックライブラリーに制限するものではない。
【００７０】
また、このように生成された仮想キャラクターは、ゲームまたはテレビの画面上で背景に挿入されてゲームキャラクターとして応用が可能であり、与えられた骨格モデルにテクスチャ（ｔｅｘｔｕｒｅ）マッピングを通じてより人に近い形状に表現されるか、他のキャラクターで描写されうる。
【００７１】
また、図８で詳しく図示しなかったが、可視化する過程で動く動作を柔らかくするために、動作と動作との間を連結する補間アルゴリズムが追加されることができる。これは、適用しようとする応用プラットホームの計算性能の限界にある程度以上のサンプリング頻度（ｆｒｅｑｕｅｎｃｙ）を期待することができない時に適用可能である。
【００７２】
以下では、胴体の各部分に対する姿勢情報を算出する過程をより細部的に説明する。この際、胴体の各部分に対する座標系は、図４ないし図６で例示した座標系を使い、測定基準位置は、胴体の中心部（例えば、臍付近）に位置すると仮定する。
【００７３】
細部過程１−１：頭及び胴体の動作決定（回転角決定）
頭及び胴体の回転角を決定するための過程は、図１０で図示されたものと同じである。
【００７４】
頭のｚ軸回転方向は、頭に付着される測定センサーで得られた回転値を全く同じく使う。すなわち、ψＣ１＝ψ１の関係が成立する。
【００７５】
次いで、与えられた情報から胴体の方向を決定する。この過程で、動作を通じて人の意図を伝達することは、腕、足及び頭の動作が主となることを勘案する時、胴体は自然な動きを表わすように状況に合わせて適切に方向を決定する。
【００７６】
このために、まず、ｚ軸に対する動きであるψＣ２を決定する。
【００７７】
図１１は、このような胴体の回転角ψＣ２を決定する過程を説明するために、人を上から見下ろしたことを表わしたもので、頭、右足首及び左足首が示す正面方向は、それぞれ軸ｙｃ１’、ｙＲ６’、ｙＬ６’が示す方向に、水平面に対する回転角は、ｚ軸に対する回転角であるψとして表わすことができる。
【００７８】
人の動作を観察すれば、人の首は、胴体を基準に左右に９０°以上を回すことができず、人の足首も、胴体を基準に９０°以上を回すことができない。そして、足取りと基本的な動作だけではなく、ゴルフや格闘技のような動作を分析する時、両つま先が向かう方向ベクトルと視線（すなわち、頭の方向）が向かう方向ベクトルとの平均を胴体が向かう方向に見ることが自然である。これを利用すれば、胴体のψＣ２は、センサーで測定しなくても、次のように方向を推定することが可能である。
【００７９】
ψＣ２＝（ｋ１ψＣ１＋ｋ２ψ４＋ｋ３ψ５）／（ｋ１＋ｋ２＋ｋ３）
前記式で、それぞれのｋ値は一定の加重値を表わし、ψ４及びψ５は足首から測定されたセンサー値を表わす。ψＣ１値は、センサー座標系１で得られた回転値を全く同じく使うことができるので、前記式を通じて胴体の回転角を推定することが可能である。
【００８０】
細部過程１−２：頭及び胴体の動作決定（ｘ軸方向の動き決定）
頭及び胴体のｘ軸方向の動き（例えば、前に下げること）は、図１２で図示されたように求めることができる。
【００８１】
図１２を参照して、胴体の回転角φｃ２を決定する過程を説明すれば、まず、頭を下げずに体のみ下げる場合は、ｘ軸に対する回転角φｃ１と頭に付着された測定センサーの測定値φ１と同じであると見られる。しかし、首を下げる場合は、胴体、首、頭を頂点で有する三角形が生じるが、関節間の長さは既定されており、胴体と頭との距離は測定が可能であるので、三角形の三辺の長さを求めうる。このように、三角形の三辺の長さが与えられるので、三角形の三つの内角が分かり、これから△φｃ２を求めうる。したがって、胴体の回転角のうちφｃ２は、（φ１−△φｃ２）を通じて求めることができる。前述した例で、頭を下げたか否かは、胴体と頭との距離と各関節の長さとの和を比べて判断することが可能である。例えば、頭を下げない場合には、ｒ１’＝ｄｃ１＋ｄｃ２になり、頭を下げる場合には、ｒ１’＞ｄｃ１＋ｄｃ２になる。
【００８２】
細部過程１−３：頭及び胴体の動作決定（ｙ軸方向の動き決定）
胴体のｙ軸に対する回転角θｃ２及び頭のｙ軸に対する回転角θｃ１に対することは、細部過程１−２とその方向のみ異なり、残りは同一であるので、詳しい説明は省略する。
【００８３】
細部過程２：両足の動作決定
両足の回転角を決定するための過程は、図１３で図示されたものと同じである。
【００８４】
説明の便宜上、図１４で示すように右足を基準に説明する。足は、骨盤側の３自由度と足首の３自由度、そして、ヒザの１自由度として総７個の自由度を有する。この場合、足首の３自由度座標系Ｒ６が脛側に付いて動くと仮定しても、動作の概形を表現することには問題がない。したがって、脛と足首は付いていると仮定する。
【００８５】
この場合、ヒザ関節は、ｘ５’軸に対して動く１自由度を有しており、ｚ軸はいずれも同じ線上にあるために、ｙ軸とｚ軸とに対する回転角はセンサー測定値と同じ値を有する。すなわち、θＲ４＝θＲ６＝θ４、ψＲ４＝ψＲ６＝ψ４の関係を有するようになる。そして、足首と脛は、固定されていると仮定したので、φＲ６＝φ４の関係を有する。また、ｒ４は測定が可能であり、ｄＲ５及びｄＲ６は既定の値であるので、このような三角形の三辺の長さから三つの内角を求めることが可能である。引き続き、この三角形の方向は、重力方向に対してφＲ６ほど動いたので、これからヒザの回転角度を計算してφＲ５を求めることが可能である。
【００８６】
前記過程は、測定基準位置が臍または骨盤である場合を仮定したものであって、足の回転中心と測定基準位置とが近い場合に関するものである。もし、測定基準位置が回転軸付近に位置していない場合には、後述する腕の動作を決定する過程と類似した方法が利用されうる。
【００８７】
また、左足の場合は、これと対称になる構造を有しているので、同じ過程によって動作を決定することができる。
【００８８】
細部過程３−１：両腕の動作決定
両腕の回転角を決定するための過程は、図１５に図示されたものと同じである。
【００８９】
説明の便宜上、右腕を基準に説明する。前記細部過程２と同様に手首の細部動きを考慮する場合ではないとすれば、腕首から手首に繋がる軸と手首の軸は固定されていると仮定しても、自然な腕動作を具現するのに問題がない。したがって、腕の動きを決定するのに重要なのは、センサー情報から肩の３自由度座標系Ｒ１とヒジの回転角φＲ２とである。
【００９０】
図１６を参照するに、人の腕の動作は、ｘＲ３軸に対する動きであるφＲ３の動きが最も多く制限されることが分かる。したがって、腕の自然な動きのための運動範囲を最大限に多く保証するためには、ヒジの回転自由度軸ｘＲ２が手首のｘＲ３軸と平行にし、肩−ヒジ−手首に繋がる三つの関節が平面Ｐに置かれるようにすれば良い。
【００９１】
一方、手首の動きでｚＲ３軸に対する動きであるψＲ３を観察すれば、ψＲ３は＋πから−π／２の範囲で動作が制限されるということが分かる。ここで、ψＲ３が０より大きい場合には、手を下に下げた状態で手の甲を体の内側に回す場合であり、ψＲ３が０より小さな場合には、手の甲を体の外側に回す場合である。ψＲ３が０以上である場合は、前述したようにヒジの回転自由度軸ｘＲ２をｘＲ３と平行にさせれば、自然な動きを演出することができるが、その反対の場合（例えば、手の平が上に向けるようになる場合）は、図１７のようにｘＲ２をｙＲ３と平行にさせることがさらに自然な動きを表現させうる。
【００９２】
したがって、腕動作は、図１６及び図１７の二つの場合に対して決定されなければならない。
【００９３】
細部過程３−２：両腕の動作決定（ψＲ３≧０）
まず、ψＲ３が０より大きいか同じである場合は、図１８と同じである。
【００９４】
図１８を参照するに、点Ａから出発する半直線ベクトル
【００９５】
【数１】
が平面Ｐ上にあり、
【００９６】
【数２】
でなければならない。この場合、四角形ＡＤＥＦが一平面で平行四辺形を成す点Ｆを捜し出すことができ、∠ＡＤＥ≦πであるので、Ｆは唯一の解を有する。また、骨格モデル
【００９７】
【数３】
は固定された長さｄｒ１、ｄｃ２を有しており、三角形ＡＢＣが成す平面の法線ベクトルは細部過程２を通じて決定されるので、基準点Ｂに対して
【００９８】
【数４】
でＦの位置と方向とを決定することができる。この場合、平面ＡＤＥＦで点Ｆを中心に距離ｄｒ２である円と基準点Ｂから距離ｒ２である円の交集合を見れば、解が二つ生じることができるが、この場合、腕を自然に広げることができるように、∠ＡＦＸ（＝∠ＡＤＥ）が大きい側を選択する。次いで、Ｅの位置が決定され、これからＡＦの方向ベクトルが分かっているので、Ｄの位置が分かるようになって右腕関節の形状を決定させうる。
【００９９】
細部過程３−２：両腕の動作決定（ψＲ３＜０）
ψＲ３が０より小さい場合（例えば、手の甲を外側に回転させる場合）は、図１９と同じである。
【０１００】
図１９を参照するに、点Ａから出発する半直線ベクトル
【０１０１】
【数５】
が平面Ｐ上にあり、
【０１０２】
【数６】
でなければならない。この場合、四角形ＡＤＥＦが一平面で平行四辺形を成す点Ｄを捜し出すことができ、∠ＡＦＥ≦πであるので、Ｆは唯一の解を有する。また、骨格モデルで
【０１０３】
【数７】
は固定された長さｄｒ１、ｄｃ２を有しており、三角形ＡＢＣが成す平面の法線ベクトルは細部過程２で決定されたので、基準点Ｂに対して
【０１０４】
【数８】
でＤの位置と方向とを決定することができる。
【０１０５】
この場合、平面ＡＤＥＦで点Ｄを中心に距離ｄｒ２である円と点Ｂから距離ｒ２である円の交集合を見れば、解が二つ生じることができるが、この場合、腕を自然に広げることができるように、∠ＡＤＸ（＝∠ＡＦＥ）が大きい側を選択する。次いで、Ｅの位置が決定され、これからＡＤの方向ベクトルが分かっているので、Ｆの位置が分かるようになって腕関節の形状を決定させうる。
【０１０６】
前述した腕の動作を決定する過程は、測定基準位置が臍または骨盤に位置することを仮定したものである。すなわち、測定基準位置と腕の回転中心が遠い場合に関する説明であって、もし、これと異なって、測定基準位置が腕の回転中心の付近に位置すれば（例えば、測定基準位置＝胸または肩）、前述した足の動作を決定する過程と類似した過程を通じて腕の動作を決定することができる。
【０１０７】
以上の過程を通じて、与えられたセンサー情報と動作表現の自由度に対する適切な仮定に基づいた関節角計算を通じて３次元仮想キャラクターの動作表現のための関節角を予測することが可能である。
【０１０８】
また、前述した過程の以外にも、応用プラットホームで動作がより自然に表現させる過程がさらに遂行されることができる。一例として、ゴルフ動作の場合、手の形状はゴルフグリップをする姿勢に作ることができ、人が座った場合は、座っている姿勢によって一側の足指部位を自然に曲がる形状にしうる。そして、格闘ゲームのための仮想キャラクターのモデルの場合は、キャラクターの属性に合わせて、手が前に出る場合は、自然に拳を握るように細部動作を設定することができ、仮想キャラクターで設定された複雑な動きは速度や動作面で人が実際に表現しにくいことがあるので、これについては、基本動作に対する仮想キャラクター動作のマッピングから容易に具現することができる。
【０１０９】
言い換えれば、人の動作の概形と細部動作とを区分することによって、センサーから取得される情報を最小化し、人の動作に対する適切な仮定を置くことで最小化された情報から効果的に動作を生成することが可能であり、また、動作の階層的構造を用いて生成された動作が、応用プラットホームでより自然に表現させることが可能である。
【０１１０】
一方、本発明の実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。
【０１１１】
コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウエーブ（例えば、インターネットを通じる伝送）の形態で具現することを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行可能である。そして、発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。
【０１１２】
以上、本発明の実施形態について説明したが、本発明は、前述した特定の実施形態に限定されない。すなわち、当業者ならば、特許請求の範囲の思想及び範疇を逸脱せずに、本発明に対する多様な変更及び修正が可能であり、そのようなすべての適切な変更及び修正の均等物も、本発明の範囲に属するものと見なされなければならない。
【産業上の利用可能性】
【０１１３】
本発明は、モーションキャプチャー装置及び方法に関連の技術分野に適用可能である。
【符号の説明】
【０１１４】
１０１ センサーモジュール
１０２ 計算モジュール
１０３ 基準センサー
１０４ 測定センサー
１０５ 測定部
１０６ 推定部
１０７ 仮想キャラクター生成部
１０８ １自由度関節
１０９ ３自由度関節
２０１ 回転中心
２０２ 第１関節
２０３ 第２関節
【特許請求の範囲】
【請求項１】
胴体の部分に位置して基準位置までの距離を測定する測定センサーによって、前記基準位置と前記測定センサーとの距離表現及び前記測定センサーの少なくとも１以上の回転角に基づいて、前記測定センサーが位置する前記胴体の部分とは異なる前記胴体の多数部分の回転角を少なくとも１以上含む姿勢情報を推定する推定部を含むことを特徴とするモーションキャプチャー装置。
【請求項２】
前記胴体の多数部分は、多数の運動自由度を有する前記胴体の第１部分を含み、前記胴体の第２部分に対する前記姿勢情報の推定は、前記第２部分から測定された姿勢情報に基づかないことを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項３】
前記測定センサーが位置する前記胴体の部分は、多数の運動自由度を有することを特徴とする請求項２に記載のモーションキャプチャー装置。
【請求項４】
前記測定センサーと前記基準位置との前記距離表現は、三角形の何れか一つの辺を定義し、前記三角形の他の二辺は、前記胴体の部分の間の距離と定義され、前記推定部は、前記三角形の少なくとも１以上の内角を定義することによって、前記姿勢情報を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項５】
前記推定部は、
前記胴体の多数部分のうち何れか一つの選択可能な位置を表現するために、前記距離表現に基づいて平行四辺形を定義し、前記平行四辺形の各辺は、前記胴体の部分の間の距離として定義されることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項６】
前記推定部は、
前記距離表現を半径で有する第１球と前記胴体の部分の間の距離を半径で有する第２球との交差点に基づいて、前記選択可能な位置のうちから何れか一つを前記胴体の多数部分のうち何れか一部分の位置に選択することを特徴とする請求項５に記載のモーションキャプチャー装置。
【請求項７】
前記推定部は、
前記測定センサーが位置する前記胴体の部分に対する軸と前記胴体の多数部分に対する軸とを平面に投映して、前記胴体の多数部分に対する姿勢情報を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項８】
前記胴体の部分に位置し、前記距離表現を測定する測定センサーとをさらに含むことを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項９】
基準位置情報を出力する基準センサーをさらに含み、
前記測定センサーは、前記距離表現を測定するために、前記基準センサーの出力を受信することを特徴とする請求項８に記載のモーションキャプチャー装置。
【請求項１０】
前記基準センサーは、
前記基準位置に位置することを特徴とする請求項９に記載のモーションキャプチャー装置。
【請求項１１】
前記基準センサーは、
前記胴体に位置することを特徴とする請求項１０に記載のモーションキャプチャー装置。
【請求項１２】
前記基準センサーは、
前記胴体の基準位置部分に位置し、前記胴体の基準位置部分は、前記測定センサーが位置する前記胴体の部分及び前記測定センサーが位置していない前記胴体の多数部分とは異なることを特徴とする請求項１１に記載のモーションキャプチャー装置。
【請求項１３】
前記測定センサーは、
それぞれ相異なる前記胴体の部分に位置する少なくとも４個の測定センサーを含み、前記推定部は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項１２に記載のモーションキャプチャー装置。
【請求項１４】
それぞれ相異なる前記胴体の部分に位置する少なくとも４個の測定センサーを含む測定センサーをさらに含み、
前記推定部は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１５】
前記胴体の部分に位置し、前記距離表現を測定する測定センサーをさらに含み、
前記測定センサーは、測定された慣性情報に基づいて、前記測定センサーが位置した前記胴体の部分に対する位置及び回転角を得る慣性センサーを含むことを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１６】
前記慣性センサーは、
少なくとも１以上の軸に対する加速度及び角速度を測定し、前記慣性情報は、測定された加速度及び角速度を含むことを特徴とする請求項１５に記載のモーションキャプチャー装置。
【請求項１７】
前記姿勢情報は、
前記胴体の多数部分に対する回転角及び位置座標を含み、前記測定センサーは、前記測定センサーが位置する前記胴体の部分に対する姿勢情報を測定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１８】
前記姿勢情報は、
前記胴体をリンク構造を有する骨格モデルとして解析して推定されることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１９】
前記リンクの先端地点中で関節運動の中心となる地点が回転中心と定義され、前記推定部は、前記回転中心と前記基準位置との距離を考慮して、前記姿勢情報を推定することを特徴とする請求項１８に記載のモーションキャプチャー装置。
【請求項２０】
前記推定部は、
人の行動学的パターンを考慮して関節の回転角度を制限するか、状況による動作面を決定して、前記相対的な回転角及び位置座標を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２１】
前記測定センサーは、
前記胴体の頭、手首、及び足首に位置されることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２２】
前記測定センサーは、
前記胴体の手首及び足首に隣接した部位にそれぞれ付着されることを特徴とする請求項２１に記載のモーションキャプチャー装置。
【請求項２３】
前記基準位置は、
前記胴体の中心部であることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２４】
前記胴体は、
人の胴体であることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２５】
３次元仮想キャラクターの動作を生成するために胴体の運動を骨格モデルにマッピングするモーションキャプチャー方法において、
胴体の部分に位置して基準位置までの距離を測定する測定センサーによって、前記基準位置と前記測定センサーとの距離表現及び前記測定センサーの少なくとも１以上の回転角に基づいて、前記測定センサーが位置する前記胴体の部分とは異なる前記胴体の多数部分の回転角を少なくとも１以上含む姿勢情報を推定する段階を含むことを特徴とするモーションキャプチャー方法。
【請求項２６】
前記胴体の多数部分は、多数の運動自由度を有する前記胴体の第１部分を含み、前記胴体の第２部分に対する前記姿勢情報の推定は、前記第２部分から測定された姿勢情報に基づかないことを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項２７】
前記測定センサーが位置する前記胴体の部分は、多数の運動自由度を有することを特徴とする請求項２６に記載のモーションキャプチャー方法。
【請求項２８】
前記測定センサーと前記基準位置との前記距離表現は、三角形の何れか一つの辺を定義し、前記三角形の他の二辺は、前記胴体の部分の間の距離として定義され、前記推定する段階は、前記三角形の少なくとも１以上の内角を定義することによって、前記姿勢情報を推定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項２９】
前記推定する段階は、
前記胴体の多数部分のうち何れか一つの選択可能な位置を表現するために、前記距離表現に基づいて平行四辺形を定義する段階を含み、前記平行四辺形の各辺は、前記胴体の部分の間の距離として定義されることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３０】
前記推定する段階は、
前記距離表現を半径で有する第１球と前記胴体の部分の間の距離を半径で有する第２球との交差点に基づいて、前記選択可能な位置のうちから何れか一つを前記胴体の多数部分のうち何れか一部分の位置に選択する段階を含むことを特徴とする請求項２９に記載のモーションキャプチャー方法。
【請求項３１】
前記推定する段階は、
前記測定センサーが位置する前記胴体の部分に対する軸と前記胴体の多数部分に対する軸とを平面に投映して、前記胴体の多数部分に対する姿勢情報を推定する段階を含むことを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３２】
基準センサーが基準位置情報を出力し、前記測定センサーが前記基準センサーの出力を受信して、前記距離表現を測定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３３】
前記基準センサーは、
前記基準位置に位置することを特徴とする請求項３２に記載のモーションキャプチャー方法。
【請求項３４】
前記基準センサーは、
前記胴体に位置することを特徴とする請求項３３に記載のモーションキャプチャー方法。
【請求項３５】
前記基準センサーは、
前記胴体の基準位置部分に位置し、前記胴体の基準位置部分は、前記測定センサーが位置する前記胴体の部分及び前記測定センサーが位置していない前記胴体の多数部分とは異なることを特徴とする請求項３４に記載のモーションキャプチャー方法。
【請求項３６】
前記測定センサーは、
それぞれ前記胴体の他の部位に位置する少なくとも４個の測定センサーを含み、前記推定する段階は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項３５に記載のモーションキャプチャー方法。
【請求項３７】
前記測定センサーは、それぞれ前記胴体の他の部位に位置する少なくとも４個の測定センサーを含み、前記推定する段階は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３８】
前記姿勢情報を用いて、前記胴体に対応する３次元仮想キャラクターを生成する段階をさらに含むことを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３９】
前記姿勢情報は、
前記胴体をリンク構造を有する骨格モデルとして解析して推定されることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４０】
前記リンクの先端地点中で関節運動の中心となる地点が回転中心と定義され、前記推定する段階は、前記回転中心と前記基準位置との距離を考慮して、前記姿勢情報を推定することを特徴とする請求項３９に記載のモーションキャプチャー方法。
【請求項４１】
前記回転中心が、前記基準位置である場合、１自由度を有する関節の回転角が３自由度を有する関節の回転角より先に計算されることを特徴とする請求項４０に記載のモーションキャプチャー方法。
【請求項４２】
前記回転中心が、前記基準位置ではない場合、１自由度を有する関節の回転角及び回転軸候補を選定し、前記胴体の行動学的パターンが考慮された動作面を設定した後、残りの関節の回転角を計算することを特徴とする請求項４０に記載のモーションキャプチャー方法。
【請求項４３】
前記推定する段階は、
人の行動学的パターンを考慮して関節の回転角度を制限するか、状況による動作面を決定して、前記相対的な回転角及び位置座標を推定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４４】
前記測定センサーは、
前記胴体の頭、手首、及び足首に位置されることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４５】
前記測定センサーは、
前記胴体の手首及び足首に隣接した部位にそれぞれ付着されることを特徴とする請求項４４に記載のモーションキャプチャー方法。
【請求項４６】
前記基準位置は、
前記胴体の中心部であることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４７】
請求項２５による方法を行うためのコードが記録されたコンピュータが判読可能な記録媒体。
【請求項４８】
多数の測定センサーによって測定された少なくとも１以上の距離表現及び回転角に基づいて、胴体の非−末端部分の回転角を少なくとも１以上含む姿勢情報を推定する推定部を含み、
前記非−末端部分は、両ヒジ、両肩、両ヒザ、及び骨盤のうち少なくとも何れか一つを含み、前記測定センサーは、手首及び／または足首周辺に位置し、
前記測定センサーは、前記測定センサーと基準位置との距離を測定することを特徴とするモーションキャプチャー装置。
【請求項４９】
前記胴体の末端部分に位置し、前記距離表現を測定する測定センサーをさらに含むことを特徴とする請求項４８に記載のモーションキャプチャー装置。
【請求項５０】
多数の測定センサーによって測定された少なくとも１以上の距離表現及び回転角に基づいて、胴体の非−末端部分の回転角を少なくとも１以上含む姿勢情報を推定する段階を含み、
前記非−末端部分は、両ヒジ、両肩、両ヒザ、及び骨盤のうち少なくとも何れか一つを含み、前記測定センサーは、手首及び／または足首周辺に位置し、
前記測定センサーは、前記測定センサーと基準位置との距離を測定することを特徴とするモーションキャプチャー方法。
【請求項５１】
前記測定センサーによって、前記距離表現が測定される段階をさらに含むことを特徴とする請求項５０に記載のモーションキャプチャー方法。
【請求項５２】
請求項５０による方法を行うためのコードが記録されたコンピュータが判読可能な記録媒体。
【請求項１】
胴体の部分に位置して基準位置までの距離を測定する測定センサーによって、前記基準位置と前記測定センサーとの距離表現及び前記測定センサーの少なくとも１以上の回転角に基づいて、前記測定センサーが位置する前記胴体の部分とは異なる前記胴体の多数部分の回転角を少なくとも１以上含む姿勢情報を推定する推定部を含むことを特徴とするモーションキャプチャー装置。
【請求項２】
前記胴体の多数部分は、多数の運動自由度を有する前記胴体の第１部分を含み、前記胴体の第２部分に対する前記姿勢情報の推定は、前記第２部分から測定された姿勢情報に基づかないことを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項３】
前記測定センサーが位置する前記胴体の部分は、多数の運動自由度を有することを特徴とする請求項２に記載のモーションキャプチャー装置。
【請求項４】
前記測定センサーと前記基準位置との前記距離表現は、三角形の何れか一つの辺を定義し、前記三角形の他の二辺は、前記胴体の部分の間の距離と定義され、前記推定部は、前記三角形の少なくとも１以上の内角を定義することによって、前記姿勢情報を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項５】
前記推定部は、
前記胴体の多数部分のうち何れか一つの選択可能な位置を表現するために、前記距離表現に基づいて平行四辺形を定義し、前記平行四辺形の各辺は、前記胴体の部分の間の距離として定義されることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項６】
前記推定部は、
前記距離表現を半径で有する第１球と前記胴体の部分の間の距離を半径で有する第２球との交差点に基づいて、前記選択可能な位置のうちから何れか一つを前記胴体の多数部分のうち何れか一部分の位置に選択することを特徴とする請求項５に記載のモーションキャプチャー装置。
【請求項７】
前記推定部は、
前記測定センサーが位置する前記胴体の部分に対する軸と前記胴体の多数部分に対する軸とを平面に投映して、前記胴体の多数部分に対する姿勢情報を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項８】
前記胴体の部分に位置し、前記距離表現を測定する測定センサーとをさらに含むことを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項９】
基準位置情報を出力する基準センサーをさらに含み、
前記測定センサーは、前記距離表現を測定するために、前記基準センサーの出力を受信することを特徴とする請求項８に記載のモーションキャプチャー装置。
【請求項１０】
前記基準センサーは、
前記基準位置に位置することを特徴とする請求項９に記載のモーションキャプチャー装置。
【請求項１１】
前記基準センサーは、
前記胴体に位置することを特徴とする請求項１０に記載のモーションキャプチャー装置。
【請求項１２】
前記基準センサーは、
前記胴体の基準位置部分に位置し、前記胴体の基準位置部分は、前記測定センサーが位置する前記胴体の部分及び前記測定センサーが位置していない前記胴体の多数部分とは異なることを特徴とする請求項１１に記載のモーションキャプチャー装置。
【請求項１３】
前記測定センサーは、
それぞれ相異なる前記胴体の部分に位置する少なくとも４個の測定センサーを含み、前記推定部は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項１２に記載のモーションキャプチャー装置。
【請求項１４】
それぞれ相異なる前記胴体の部分に位置する少なくとも４個の測定センサーを含む測定センサーをさらに含み、
前記推定部は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１５】
前記胴体の部分に位置し、前記距離表現を測定する測定センサーをさらに含み、
前記測定センサーは、測定された慣性情報に基づいて、前記測定センサーが位置した前記胴体の部分に対する位置及び回転角を得る慣性センサーを含むことを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１６】
前記慣性センサーは、
少なくとも１以上の軸に対する加速度及び角速度を測定し、前記慣性情報は、測定された加速度及び角速度を含むことを特徴とする請求項１５に記載のモーションキャプチャー装置。
【請求項１７】
前記姿勢情報は、
前記胴体の多数部分に対する回転角及び位置座標を含み、前記測定センサーは、前記測定センサーが位置する前記胴体の部分に対する姿勢情報を測定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１８】
前記姿勢情報は、
前記胴体をリンク構造を有する骨格モデルとして解析して推定されることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項１９】
前記リンクの先端地点中で関節運動の中心となる地点が回転中心と定義され、前記推定部は、前記回転中心と前記基準位置との距離を考慮して、前記姿勢情報を推定することを特徴とする請求項１８に記載のモーションキャプチャー装置。
【請求項２０】
前記推定部は、
人の行動学的パターンを考慮して関節の回転角度を制限するか、状況による動作面を決定して、前記相対的な回転角及び位置座標を推定することを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２１】
前記測定センサーは、
前記胴体の頭、手首、及び足首に位置されることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２２】
前記測定センサーは、
前記胴体の手首及び足首に隣接した部位にそれぞれ付着されることを特徴とする請求項２１に記載のモーションキャプチャー装置。
【請求項２３】
前記基準位置は、
前記胴体の中心部であることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２４】
前記胴体は、
人の胴体であることを特徴とする請求項１に記載のモーションキャプチャー装置。
【請求項２５】
３次元仮想キャラクターの動作を生成するために胴体の運動を骨格モデルにマッピングするモーションキャプチャー方法において、
胴体の部分に位置して基準位置までの距離を測定する測定センサーによって、前記基準位置と前記測定センサーとの距離表現及び前記測定センサーの少なくとも１以上の回転角に基づいて、前記測定センサーが位置する前記胴体の部分とは異なる前記胴体の多数部分の回転角を少なくとも１以上含む姿勢情報を推定する段階を含むことを特徴とするモーションキャプチャー方法。
【請求項２６】
前記胴体の多数部分は、多数の運動自由度を有する前記胴体の第１部分を含み、前記胴体の第２部分に対する前記姿勢情報の推定は、前記第２部分から測定された姿勢情報に基づかないことを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項２７】
前記測定センサーが位置する前記胴体の部分は、多数の運動自由度を有することを特徴とする請求項２６に記載のモーションキャプチャー方法。
【請求項２８】
前記測定センサーと前記基準位置との前記距離表現は、三角形の何れか一つの辺を定義し、前記三角形の他の二辺は、前記胴体の部分の間の距離として定義され、前記推定する段階は、前記三角形の少なくとも１以上の内角を定義することによって、前記姿勢情報を推定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項２９】
前記推定する段階は、
前記胴体の多数部分のうち何れか一つの選択可能な位置を表現するために、前記距離表現に基づいて平行四辺形を定義する段階を含み、前記平行四辺形の各辺は、前記胴体の部分の間の距離として定義されることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３０】
前記推定する段階は、
前記距離表現を半径で有する第１球と前記胴体の部分の間の距離を半径で有する第２球との交差点に基づいて、前記選択可能な位置のうちから何れか一つを前記胴体の多数部分のうち何れか一部分の位置に選択する段階を含むことを特徴とする請求項２９に記載のモーションキャプチャー方法。
【請求項３１】
前記推定する段階は、
前記測定センサーが位置する前記胴体の部分に対する軸と前記胴体の多数部分に対する軸とを平面に投映して、前記胴体の多数部分に対する姿勢情報を推定する段階を含むことを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３２】
基準センサーが基準位置情報を出力し、前記測定センサーが前記基準センサーの出力を受信して、前記距離表現を測定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３３】
前記基準センサーは、
前記基準位置に位置することを特徴とする請求項３２に記載のモーションキャプチャー方法。
【請求項３４】
前記基準センサーは、
前記胴体に位置することを特徴とする請求項３３に記載のモーションキャプチャー方法。
【請求項３５】
前記基準センサーは、
前記胴体の基準位置部分に位置し、前記胴体の基準位置部分は、前記測定センサーが位置する前記胴体の部分及び前記測定センサーが位置していない前記胴体の多数部分とは異なることを特徴とする請求項３４に記載のモーションキャプチャー方法。
【請求項３６】
前記測定センサーは、
それぞれ前記胴体の他の部位に位置する少なくとも４個の測定センサーを含み、前記推定する段階は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項３５に記載のモーションキャプチャー方法。
【請求項３７】
前記測定センサーは、それぞれ前記胴体の他の部位に位置する少なくとも４個の測定センサーを含み、前記推定する段階は、前記少なくとも４個の測定センサーを用いて、前記姿勢情報を推定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３８】
前記姿勢情報を用いて、前記胴体に対応する３次元仮想キャラクターを生成する段階をさらに含むことを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項３９】
前記姿勢情報は、
前記胴体をリンク構造を有する骨格モデルとして解析して推定されることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４０】
前記リンクの先端地点中で関節運動の中心となる地点が回転中心と定義され、前記推定する段階は、前記回転中心と前記基準位置との距離を考慮して、前記姿勢情報を推定することを特徴とする請求項３９に記載のモーションキャプチャー方法。
【請求項４１】
前記回転中心が、前記基準位置である場合、１自由度を有する関節の回転角が３自由度を有する関節の回転角より先に計算されることを特徴とする請求項４０に記載のモーションキャプチャー方法。
【請求項４２】
前記回転中心が、前記基準位置ではない場合、１自由度を有する関節の回転角及び回転軸候補を選定し、前記胴体の行動学的パターンが考慮された動作面を設定した後、残りの関節の回転角を計算することを特徴とする請求項４０に記載のモーションキャプチャー方法。
【請求項４３】
前記推定する段階は、
人の行動学的パターンを考慮して関節の回転角度を制限するか、状況による動作面を決定して、前記相対的な回転角及び位置座標を推定することを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４４】
前記測定センサーは、
前記胴体の頭、手首、及び足首に位置されることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４５】
前記測定センサーは、
前記胴体の手首及び足首に隣接した部位にそれぞれ付着されることを特徴とする請求項４４に記載のモーションキャプチャー方法。
【請求項４６】
前記基準位置は、
前記胴体の中心部であることを特徴とする請求項２５に記載のモーションキャプチャー方法。
【請求項４７】
請求項２５による方法を行うためのコードが記録されたコンピュータが判読可能な記録媒体。
【請求項４８】
多数の測定センサーによって測定された少なくとも１以上の距離表現及び回転角に基づいて、胴体の非−末端部分の回転角を少なくとも１以上含む姿勢情報を推定する推定部を含み、
前記非−末端部分は、両ヒジ、両肩、両ヒザ、及び骨盤のうち少なくとも何れか一つを含み、前記測定センサーは、手首及び／または足首周辺に位置し、
前記測定センサーは、前記測定センサーと基準位置との距離を測定することを特徴とするモーションキャプチャー装置。
【請求項４９】
前記胴体の末端部分に位置し、前記距離表現を測定する測定センサーをさらに含むことを特徴とする請求項４８に記載のモーションキャプチャー装置。
【請求項５０】
多数の測定センサーによって測定された少なくとも１以上の距離表現及び回転角に基づいて、胴体の非−末端部分の回転角を少なくとも１以上含む姿勢情報を推定する段階を含み、
前記非−末端部分は、両ヒジ、両肩、両ヒザ、及び骨盤のうち少なくとも何れか一つを含み、前記測定センサーは、手首及び／または足首周辺に位置し、
前記測定センサーは、前記測定センサーと基準位置との距離を測定することを特徴とするモーションキャプチャー方法。
【請求項５１】
前記測定センサーによって、前記距離表現が測定される段階をさらに含むことを特徴とする請求項５０に記載のモーションキャプチャー方法。
【請求項５２】
請求項５０による方法を行うためのコードが記録されたコンピュータが判読可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−１４７１２（Ｐ２０１０−１４７１２Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００９−１５５８５６（Ｐ２００９−１５５８５６）
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
[ Back to top ]