体動五線譜並びにその画像処理モジュール、運動複製モジュール及び生成モジュール
【課題】本発明は、人体運動を厳密に記録、保存し、肢体運動を細かく丁寧に編集、修正して、より完璧な動作を創作し、且つ、直接ロボットまたはその他のマルチメンバー・ボディーにより同様の動作を再現させることが可能な体動五線譜並びにその画像処理モジュール、運動複製モジュール及び生成モジュールを提供することを課題とする。
【解決手段】本発明の体動五線譜Iは、三次元運動読み取り装置によって、複数のリンク(link)または関節(joint) を含むマルチメンバー・ボディーの運動の読み取りを行うことで、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、さらにこの身体構成部位運動情報を符号化して成る運動符号化画像である。本発明の運動符号化画像は、音楽における五線譜と同様、マルチメンバー・ボディーの運動を記録、保存、再現することが可能な新たな方式に基づく記録形態であることから、体動五線譜と称した。
【解決手段】本発明の体動五線譜Iは、三次元運動読み取り装置によって、複数のリンク(link)または関節(joint) を含むマルチメンバー・ボディーの運動の読み取りを行うことで、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、さらにこの身体構成部位運動情報を符号化して成る運動符号化画像である。本発明の運動符号化画像は、音楽における五線譜と同様、マルチメンバー・ボディーの運動を記録、保存、再現することが可能な新たな方式に基づく記録形態であることから、体動五線譜と称した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化画像に関し、特に、体動五線譜(body motion staff)及びその画像処理モジュール、運動複製モジュール及び生成モジュールに関する。
【背景技術】
【０００２】
三次元の人体運動追跡装置が開発されて久しいが、現在人類の肢体運動のデジタル化と保存は、ほとんどが二次元のビデオ画像読み取り及び処理に留まっている。人体動作の符号化においては、一般の舞踊訓練の記録は、現在でもラバン（Laban）が発明した方法が使用されている。これは、一種の二次元方式により人体の三次元の動作を記録したもので、全部で五つの要素（body, space, effort, shape, and relationship）があるが、問題は、同一の動作に対して、演者が異なると異なる記録がなされるという点である。さらに、同一の記録が異なる演者によるパフォーマンスにより、その動作に違いが出る。
【０００３】
現在、一般的な人体動作の分析研究は、たいてい２Gストリーム画像の姿勢特徴によって判別され、基本的には、セキュリティー・モニタリング及びユーザー・インターフェース処理の面で使用されている。しかしながら、雲門舞集の代表作品または太極拳法等の貴重な人体三次元運動データに対して、音楽の五線譜のように人体運動を厳密に記録及び保存して残し、肢体動作に細かい編集や修正を行って、より完成された動作にしてゆくことはできない。また、人体運動を読み取った後、そのデータを直接人形ロボットに導入してそれらの動作を組立及び編集して、ロボットに人体と同様の動作をさせて、人類に代わって労働させたり、人類の手助けをさせたりすることはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本発明は、人体運動を厳密に記録、保存し、肢体運動を細かく丁寧に編集、修正して、より完璧な動作を創作し、且つ、直接ロボットまたはその他のマルチメンバー・ボディーにより同様の動作を再現させることが可能な体動五線譜並びにその画像処理モジュール、運動複製モジュール及び生成モジュールを提供することを課題とする。
尚、本発明の運動符号化画像は、音楽における五線譜と同様、マルチメンバー・ボディーの運動を記録したり、保存したり、再現したりすることが可能であり、新たな方式に基づく記録形態であることから、「体動五線譜」と称するものである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、請求項１に記載の本発明に係る体動五線譜は、複数の関節や複数のリンクを含むマルチメンバー・ボディーの運動を、三次元運動読み取り装置によって読み取ることにより、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、この身体構成部位運動情報を符号化して成る運動符号化画像から構成されたことを特徴とする。
即ち、本発明に係る体動五線譜は、三次元運動読み取り装置によって、複数の関節(joint)またはリンク(link)を含むマルチメンバー・ボディーの運動から複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、前記身体構成部位運動情報を符号化した運動符号化画像として構成されるものである。
【０００６】
請求項２に記載の本発明に係る体動五線譜の好ましい実施例は、複数のグレースケールの行を備え、各グレースケールの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする。
また、請求項３に記載の本発明に係る体動五線譜の好ましい実施例は、複数のカラーの行を備え、各カラーの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする。
即ち、本発明の好ましい実施例において、体動五線譜は、複数のグレースケールの行を備え、各グレースケールの行は各身体構成部位に対応する。各グレースケールの行は、各身体構成部位の時間に伴う運動量の変化を表す。各グレースケールの行から言えば、異なるグレースケール値によって、運動量の変化を表現する。上述のグレースケールの行は、カラーの行に変換することも可能であり、異なる色度または色彩によって、運動量の変化を表現する。運動量は、例えば、角度である。
【０００７】
請求項４及び５に記載の本発明に係る体動五線譜の好ましい実施例において、前記運動量は、身体構成部位の位置であることを特徴とする。
【０００８】
請求項６に記載の本発明に係る体動五線譜の好ましい実施例において、前記運動符号化画像は、コンピューターが読み取れる記録媒体に記録されることを特徴とする。
【０００９】
上記課題を達成するために、本発明は、画像処理モジュールをも開示する。
即ち、請求項７に記載の本発明に係る画像処理モジュールは、前記体動五線譜の処理に用いられる画像処理モジュールであって、前記画像処理モジュールが行う処理は、画像フィルタリング(image filtering)、画像挿入(interpolation)、画像平滑化(smoothing)、画像分割(segmentation)及び画像編集(editing)の少なくとも一つを含むことを特徴とする。
即ち、前記画像処理モジュールは、上述の体動五線譜を処理するのに用いられる。画像処理モジュールが行う処理は、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集、画像挿入及び画像分割の少なくとも一つである。
【００１０】
前記課題を達成するために、本発明は、運動複製モジュールをも開示する。
即ち、請求項８に記載の本発明に係る運動複製モジュールは、前記請求項７に記載の画像処理モジュールが処理して発生させる修正体動五線譜または体動五線譜及びマルチメンバー・ボディーの外形データ構造に基づいて、前記マルチメンバー・ボディーの外形データ構造が対応する前記マルチメンバー・ボディーの三次元グラフィックデータを発生させることを特徴とする。
前記運動複製モジュールは、インターフェースをも有して、運動情報をダウンロードして、実際のロボットに送ることも可能である。ロボットは、マルチメンバー・ボディー構造によって構築、形成される。すなわち、本発明は、マルチメンバー・ボディーの運動状態を完全に他のマルチメンバー・ボディーに複製して、連続する三次元動態グラフィックによって再現、または、同様の運動を実際のロボットにより出力、再現することが可能である。
【００１１】
請求項９に記載の本発明に係る運動複製モジュールの好ましい実施例においては、前記修正体動五線譜または前記体動五線譜の復号を行ない、複数の身体構成部位運動情報を入手するデコードユニットと、順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を入手する順運動学ユニットと、前記特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記３G（三次元）グラフィックデータを発生させる３G（三次元）グラフィック表示モジュールとを備えることを特徴とする。
また、請求項１０に記載の本発明に係る運動複製モジュールの好ましい実施例においては、前記特徴点の運動データは、前記体外形(body shape)の前記身体構成部位の位置を描写するのに用いられることを特徴とする。
即ち、前記運動複製モジュールは、デコードユニット、順運動学ユニット及び３G（三次元）グラフィック表示ユニットを備える。デコードユニットは、前記修正体動五線譜（または体動五線譜）の復号を行ない、複数の身体構成部位運動情報を得る。順運動学ユニットは、順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を得る。３G（三次元）グラフィック表示ユニットは、前記特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記３G（三次元）グラフィックデータを発生させる。上述の前記特徴点の運動データは、例えば、前記特徴点（例えば、マーカを配した箇所、または、コネクション・メンバーの幾何原点または身体構成部位の幾何原点）の座標位置及び方位角を含む。
【００１２】
前記課題を達成するために、本発明は、体動五線譜の生成モジュールをも開示する。
即ち、請求項１１に記載の本発明に係る体動五線譜の生成モジュールは、前記三次元運動読み取り装置が前記マルチメンバー・ボディーの複数の動態画像を読み取り、複数の特徴点の運動情報を取得すると共に、逆運動学により前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき複数の身体構成部位運動情報を発生させる逆運動学ユニットと、前記身体構成部位運動情報に対して符号化を行い、前記体動五線譜を発生させるエンコードユニットとを備えることを特徴とする。
即ち、本発明の生成モジュールは、上述の体動五線譜を生成するのに用いられるものであり、この場合、前記三次元運動読み取り装置は、マルチメンバー・ボディーの運動に対して複数の動態画像を読み取り、複数の特徴点の運動情報を取得する。前記生成モジュールは、逆運動学ユニット及びエンコードユニットを備える。逆運動学ユニットは、逆運動学によって、前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき、複数の身体構成部位運動情報を発生させる。エンコードユニットは、前記身体構成部位運動情報に対して符号化を行い、前記体動五線譜を発生させる。
【００１３】
このように、本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーを対象として複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、前記身体構成部位運動情報を符号化した画像を作成する。言い換えれば、本発明の体動五線譜は、符号化した身体構成部位運動情報により構成されるということである。このうち、身体構成部位運動情報は特に、定義される身体構成部位の運動の変化量に対するものである。これにより、本発明は、マルチメンバー・ボディーの運動を、画像方式によって記録して、五線譜が音楽を記録するのと同様に、マルチメンバー・ボディーの運動の厳密な記録と保存を行い、記録の形式を定義すると同時に、三次元運動力学分析のための堅固な礎を築くものである。
【００１４】
また、本発明は、体動五線譜に対して画像処置を行う画像処理モジュールをも開示する。本発明の画像処理モジュールが行う処理は、例えば、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集及び画像挿入またはその他の画像処理方式を含む。本発明は、三次元運動をコード画像の方式によって記録することにより、後続の運動処理が画像処理の方式を利用して行われ、三次元運動処理の過程と時間を簡略化して、体動五線譜の応用範囲及び程度を大きく拡大する。例えば、元来はスムーズさに欠ける動作を比較的細かい編集や修正を加えることで、より完璧な動作を作り出すことができる。
【００１５】
また、本発明は、体動五線譜（または修正体動五線譜）を表示する運動複製モジュールをも開示する。本発明の運動複製モジュールは、上述の体動五線譜及びいずれかのマルチメンバー・ボディー外形データ構造に基づき、前記マルチメンバー・ボディー外形データ構造が対応する前記マルチメンバー・ボディーの連続三次元グラフィックデータを表示する。言い換えれば、運動複製モジュールは、元のマルチメンバー・ボディー（例えば、人体）の運動過程を、連続する動態三次元グラフィックによって表示するか、または、その運動過程をその他のマルチメンバー・ボディー（例えば、ロボット、その他人体、またはデジタル化されたバーチャルマシン）上に複製して、連続する動態画像を表示するということである。
【００１６】
また、本発明は、体動五線譜の生成モジュールをも開示する。本発明の生成モジュールは、逆運動学により、特徴点の運動情報及びマルチメンバー・ボディーの身体構成部位データ構造に基づき、身体構成部位運情報を計算する。さらに、前記身体構成部位運動情報を符号化して体動五線譜を発生させる。
【発明の効果】
【００１７】
本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーを対象として複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得して、前記身体構成部位運動情報を符号化した画像を取得する。言い換えれば、本発明の体動五線譜は、符号化した身体構成部位運動情報により構成されるということである。このうち、身体構成部位運動情報は特に、定義される身体構成部位の運動の変化量に対するものである。これにより、本発明は、マルチメンバー・ボディーの運動を、画像の方式によって記録して、五線譜が音楽を記録するのと同様に、マルチメンバー・ボディーの運動についての厳密な記録と保存を行い、記録の形式を定義すると同時に、三次元運動力学分析のための堅固な礎を築くことを可能とする。
【図面の簡単な説明】
【００１８】
【図１】本発明の好適な実施例における体動五線譜を示した図である。
【図２】人体の特定模型化により得た身体構成部位データ構造を示した図である。
【図３】本発明の好適な実施例における体動五線譜の画像処理モジュール、運動複製モジュール及び生成モジュールを統合したチャートである。
【図４】人体を例としたマルチメンバー・ボディーの特徴点の位置を示した図である。
【図５】本発明の生成モジュールを応用して発生させた体動五線譜及び本発明の運動複製モジュールを応用して表示した三次元グラフィックデータをスクリーン上に表示した画像である。
【図６】本発明の画像処理モジュールを応用して図5の体動五線譜を画像処理を経て表示した修正体動五線譜及び本発明の運動複製モジュールを応用して前記修正体動五線譜が表示する三次元グラフィックデータをスクリーン上に表示した画像である。
【発明を実施するための形態】
【００１９】
以下、図を参照しながら、本発明の好適な実施例における体動五線譜及びその生成モジュール、画像処理モジュール及び運動複製モジュールについて説明する。
【００２０】
図1は、本発明の好適な実施例における体動五線譜Iを示した図である。本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーを対象として複数の動態画像を読み取ることで、前記マルチメンバー・ボディーの複数の身体構成部位運動情報を取得し、さらに、前記身体構成部位運動情報に対して符号化を行って得られる運動符号化画像である。ここで、マルチメンバー・ボディーは、生物体または非生物体であり、生物体は例えば人体、動物等で、非生物体は、例えばロボットまたはデジタル化されたバーチャルマシン等である。
【００２１】
以下、人体を例とした場合の体動五線譜Iについて説明する。図2は、人体を特定模型化して取得した身体構成部位データ構造を示した図である。人体は、胴体（trunk）、四肢(four limbs)等の五つの部分に分かれ、胴体は頭部(head)、胸部(a chest)、腰部(a waist)、及び臀部(a pelvis (hip))に分かれる。手指、足指及びその他の小さな運動関節を計算に入れないなら、全身は、23個のリンク（link）によってその運動状態を模擬することができる。その対応する運動自由度について言えば、頭は胸部（すなわち頚部関節(cervical joint)）に対して3つの回転運動及び1つの平行移動自由度を有する。両上腕部(upper arms)は肩(shoulders)に対して、それぞれ3つの回転自由度を有し、両大腿部(two thighs)は臀部(pelvis)に対して、それぞれ3つの回転自由度を有する。手部の肘及び腕の関節、足の膝及びくるぶしの関節も又それぞれ2つの回転自由度を有する。手指及び足指の回転を加えると、全部で48個の運動自由度によって人体の全ての姿勢の関節パラメータを記録することができる。図2中の線はリンクを意味する。図2中の◎印は関節(joint)の箇所を意味する。図2に人体を描写した模型を用いたのは例を挙げたものに過ぎず、本発明を人体に限定するものではない。
【００２２】
本発明は、図2に示した48個の身体構成部位パラメータの運動過程を符号化し、図1に示したような体動五線譜Iを取得する。体動五線譜Iは、複数のグレースケールの行を含み、各グレースケールの行は各関節に対応すると共に、各グレースケールの行は各関節の運動量の時間に伴う変化を表す。したがって、体動五線譜Iの元素は(x, y)で表される。このうち、yはy個目のグレースケールの行を表し、このうちの一つの関節パラメータに対応する。例えば、y=1は、第一関節パラメータを意味し、xはx個目のグレー値を表し、このうち、xとx+1との間には、1/30秒のような特定の時間の間隔がある。運動量は、例えば、身体構成部位の位置、例えば、リンクの位置または関節の角度である。
【００２３】
つまり、三次元運動読み取り装置がマルチメンバー・ボディー（その模型化は図2に示したとおり）の運動に対して複数の動態画像を読み取った時、前記動態画像を分析して、前記マルチメンバー・ボディーの複数身体構成部位運動情報を計算する。例えば、上述の48の身体構成部位運動情報である。このうち、時間に伴って変化する角度値を含む。前記身体構成部位運動情報が符号化されると、図1に示したような体動五線譜（図1は29の身体構成部位を列記したのみで、y=29となる）が取得できる。
【００２４】
256個のグレースケールによって一つの関節を記録する場合、各関節は符号化方式によってその角度を記録するのに1byteを必要とし、48個の関節なら48bytesしか必要としないことで、即時画像は毎秒30コマとなり（すなわち三次元運動読み取り装置は毎秒30の画面を取得する）、毎分86.4Kbytesの保存空間しか必要とせず、データの簡潔度は驚くべきものがある。且つ、ファイルは、さらに、WinZipのような従来の圧縮技術によって、圧縮することでファイルの大きさを小さくできる。そして、簡潔なデータコードであっても、その解析度は保持される。人体の身体構成部位は連続して360度回転するものはないからである。肘の関節で言えば、一般にはおよそ150度ぐらいの回転であり、符号化は前記身体構成部位の最大回転角度範囲に応じて比例し、256のグレースケールによってその実際位置を記録する。肘身体構成部位の場合を例にすると、それは0.58(150/256)度ぐらいまで解析可能であり、三次元の観点から言えば、肉眼では隣り合う二個の位置は確認できない。
【００２５】
生物運動力学分析による厳密な解析度では、二桁により一個の身体構成部位の位置を表し、216=65534個の位置を編成することが可能であり、0.00229度まで解析が可能であり、人体運動分析で要求される解析度を遥かに超す。
【００２６】
上述では、グレースケール値によって体動五線譜の元素とし、その他の実施例において、色度または色彩によって体動五線譜の元素とすることも可能であり、両者を混合して使用することも可能である。このような態様において、体動五線譜は複数のカラーの行を含む。各カラーの行は各身体構成部位に対応すると共に、各カラーの行は各身体構成部位の運動量の時間に伴う変化を表す。運動量は、例えば角度である。
【００２７】
図3は、本発明の好適な実施例における体動五線譜の画像処理モジュール、運動複製モジュール及び生成モジュールを統合させたフローチャートである。図3に示したように、本発明の好適な実施例における体動五線譜の生成モジュール10は、逆運動学ユニット11及びエンコードユニット12を備える。三次元運動読み取り装置は、マルチメンバー・ボディーを対象として複数の動態画像を読み取ると、複数の特徴点の運動情報を取得する。図4は、人体の場合を例としたマルチメンバー・ボディーの特徴点の位置を示している。その特徴点の位置は、マーカ（marker）Mを配した場合を例とする。また、特徴点は、マーカの対応する位置を固定した点とする。例えば、リンクに対応する幾何原点は固定された点である。さらに、人体構造化グリッド模型をスキャンして構築しようとする場合、前記マーカポイントを人体の対応するリンク(link)上に登録する。したがって、マーカポイントを計算することで、前記特徴点を得て、さらに、前記リンクを描き出して、人体の前記時間点における運動形状を構成する。
【００２８】
人体の運動時、マーカMもそれに伴って運動する。三次元運動読み取り装置によってマーカの画像を読み取り、分析して、前記特徴点の運動情報を取得する。特徴点の運動情報は、例えば、前記体外形の前記身体構成部位の位置を描写する。
【００２９】
前記逆運動学ユニット11は、逆運動学によって、前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造JD（それは、例えば図2に示した模型に対応する）に基づき、複数の身体構成部位運動情報を発生させる。すなわち、特徴点の運動情報は、身体構成部位データ構造と組み合わさって、逆運動学の計算によって身体構成部位運動情報を取得する。例えば、身体構成部位の時間に伴う変化の角度値である。エンコードユニット12は、前記身体構成部位運動情報に対して符号化を行ない、体動五線譜を発生させる。身体構成部位運動情報及び体動五線譜は上述で詳しく述べているため、ここでは再述しない。
【００３０】
生成モジュール10は、体動五線譜を発生させると、画像処理を応用して体動五線譜に対して後続の処理を行う。その目的は、例えば、より完璧な動作画像を制作したり、その他の動作画像を創造するためである。このうち、画像処理モジュール20が行う処理は、例えば、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集及び画像挿入またはその他の画像処理方式の少なくとも一つを含む。このうち、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング等の機能は、測定できると同時に不合理な運動時間帯をフィルタリングする上、連続性関数を使用してフィルタリングされた領域を補填することで、動作をスムーズに連続させることが可能である。本発明は、体動五線譜に基づき、新たな体動五線譜を発生させることも可能である。例えば、いくつか選択された運動時間帯を抽出して、各時間帯の画像計算によって補填を行なった上で、改めて編成するようにする。もしくは、各身体構成部位の運動が直接編集またはレイアウトされて、全く新しい人体動作を創り出すことも可能である。体動五線譜Iは、画像処理を経た後、修正体動五線譜I'となる。
【００３１】
上述のことから、本発明は、体運動五線譜に対して画像読み取りや画像編集等を含む画像処理を行うことができ、体運動五線譜(運動符号化画像)は、ＣＤまたはUSB等のコンピューターが読み取れる記録媒体に記録され得ることが理解できる。
【００３２】
図3は、本発明の好適な実施例における運動複製モジュール30が、上述の修正体動五線譜I'及びマルチメンバー・ボディー外形データ構造に基づき、前記マルチメンバー・ボディー外形データ構造が対応する前記マルチメンバー・ボディーの連続する三次元グラフィックデータを発生させるように構成したものである。いわゆるマルチメンバー・ボディー外形データ構造とは、マルチメンバー・ボディーを描写したもので、例えば、人体の外形のデータ構造である。それは、例えば、人体に対して３Dスキャニングして空間クラウドポイントデータを取得し、さらに、前記空間クラウドポイントデータに対して定義づけ（例えば、人体コネクション・メンバーに基づく分割と定位）を行なって発生させる。また、マルチメンバー・ボディー外形データ構造は、人体に対応できる外、ロボットまたはバーチャルの外形データ構造にも対応が可能である。
【００３３】
本実施例の運動複製モジュール30は、デコードユニット31、順運動学ユニット32及び三次元グラフィック表示ユニット33を備える。デコードユニット31は、修正体動五線譜I'に対して復号を行ない、複数の身体構成部位運動情報を取得する。順運動学ユニット32は、順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を取得する。ここで、順運動学ユニット32は、前記身体構成部位運動情報及びマルチメンバー・ボディーが対応する身体構成部位データ構造JDに基づき、前記特徴点の運動情報を発生させる。三次元グラフィック表示ユニット33は、前記特徴点の運動情報及び前記マルチメンバー・ボディー外形データ構造に基づき、前記三次元グラフィックデータを発生させて、それをスクリーン上に表示する。ここで、三次元グラフィック表示ユニット33は、登録統合ユニットを含む。それは、特徴点運動情報及びマルチメンバー・ボディー外形データ構造を統合し、データを再現（Replication）させる方法を介して、前記物体の真実の動態画像を表現する。身体構成部位運動情報及び特徴点の運動情報は、すでに上述で記述されているため、ここでは再述しない。その他の実施例において、運動複製モジュール30は、インターフェース（図示はされない）を有し、それは、運動情報を実際のロボットに伝達するのに用いられる。前記ロボットは、前記マルチメンバー・ボディーに応じて構築される。これにより、前記マルチメンバー・ボディーの全体運動過程は、完全に前記ロボットにより再現される。
【００３４】
三次元グラフィック表示ユニット33が、異なるマルチメンバー・ボディー外形データ構造に基づき演算すると、特徴点の運動情報を異なるマルチメンバー・ボディーに置き換えて、対応する動態三次元グラフィックを発生させる。さらに、運動を再現させる方式は、クイックモーション、スローモーション、前進、後退、前後のコマ送り、さらに、随時ポーズや拡大、縮小、運動中のいかなるタイミングの運動姿勢も角度変換やリプレイが可能である。
【００３５】
本発明は以下の特徴を有する。
1．マルチメンバー・ボディー外形データ構造及び体動五線譜を結合させて、生き生きとした動作を再現させる。さらに、体動五線譜とマルチメンバー・ボディー外形データ構造が完全に独立しており、人物甲の身体を使って人物乙が行った動作をパフォーマンスさせることができる外、人形ロボットを使用して本物の人間の動作を表現できる。また、例えば、原子力発電所の事故処理等、ロボットに危険エリアに進入させて、人間の代わりに重要な作業をさせることも可能である。。
【００３６】
2．体動五線譜（または、修正体動五線譜）は、音楽の五線譜と同様に、符号化画像を利用して人体身体構成部位運動の角度を保存して、即時に運動の順滑性を観察することができる上、画像処理技術に基づき不合理な運動をフィルタリングするため、編集や修正が可能であり、複雑な人体運動をも創作できる。
【００３７】
また、図5は、本発明の生成モジュールを応用して、発生させた体動五線譜及び本発明の運動複製モジュールを応用して表示した三次元グラフィックデータをスクリーン上に表示させた画像である。図6は、本発明の画像処理モジュールを応用して、図5の体動五線譜を画像処理を経た後（例えば、グレースケール画像のフィルタリング、画像ピクセルの補完、画像の平滑化）の体動五線譜及び本発明の運動複製モジュールを応用して前記修正体動五線譜に対して表示した三次元グラフィックデータをスクリーン上に表示した画像である。図5の三次元グラフィックデータからわかるように、人形の左足は、明らかに実際の状況に符合しない。さらに、体動五線譜も対応して各グレースケールの行において、突出している画素が多く見られる。そして、画像処理を経た後、図6からわかるように、人形の左足はすでに実際の状況に符合するよう修正されており、さらに、修正体動五線譜も対応して各グレースケールの行において突出する画素も少なくなっている。
【００３８】
このように、本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーから複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得して、前記身体構成部位運動情報を符号化した画像を取得する。言い換えれば、本発明の体動五線譜は、符号化した身体構成部位運動情報により構成される。このうち、身体構成部位運動情報は特に、定義される身体構成部位の運動の変化量に対するものである。これにより、本発明は、マルチメンバー・ボディーの運動を、画像の方式によって記録して、五線譜が音楽を記録するのと同様に、マルチメンバー・ボディーの運動の厳密な記録と保存を行い、記録の形式を定義すると同時に、三次元運動力学分析のための堅固な礎を築くものである。
【００３９】
また、本発明は、体動五線譜に対して画像処置を行う画像処理モジュールをも開示する。本発明の画像処理モジュールが行う処理は、例えば、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集及び画像挿入またはその他の画像処理方式を含む。本発明は、三次元運動をコード画像の方式によって記録することにより、後続の運動処理が画像処理の方式を利用して行われ、三次元運動処理の過程と時間を簡略化して、体動五線譜の応用範囲及び程度を大きく拡大する。例えば、元々スムーズさに欠ける動作を比較的細かい編集や修正を加えることで、より完璧な動作を作り出すことができる。
【００４０】
また、本発明は、体動五線譜（または修正体動五線譜）を表示する運動複製モジュールをも開示する。本発明の運動複製モジュールは、上述の体動五線譜及びいずれかのマルチメンバー・ボディー外形データ構造に基づき、前記マルチメンバー・ボディー外形データ構造が対応する前記マルチメンバー・ボディーの連続三次元グラフィックデータを表示する。言い換えれば、動態運動複製モジュールは、元のマルチメンバー・ボディー（例えば、人体）の運動過程を、連続する動態三次元グラフィックによって表示するか、または、その運動過程をその他のマルチメンバー・ボディー（例えば、ロボット、その他人体、またはデジタル化されたバーチャルマシン）上に複製して、連続する動態画像を表示する。
【００４１】
また、本発明は、体動五線譜の生成モジュールをも開示する。本発明の生成モジュールは、逆運動学により、特徴点の運動情報及びマルチメンバー・ボディーの身体構成部位データ構造に基づき、身体構成部位運情報を計算する。さらに、前記身体構成部位運動情報を符号化して体動五線譜を発生させる。
【００４２】
以上、本発明の実施例を図面を参照して詳述してきたが、具体的な構成は、これらの実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更などがあっても、本発明に含まれる。
【産業上の利用可能性】
【００４３】
本発明は以上の如く構成したので、人体運動を厳密に記録、保存し、肢体運動を細かく丁寧に編集、修正して、より完璧な動作を創作し、且つ、直接ロボットまたはその他のマルチメンバー・ボディーにより同様の動作を再現させることが可能な体動五線譜並びにその画像処理モジュール、運動複製モジュール及び生成モジュールを提供し得るものである。
【符号の説明】
【００４４】
10 生成モジュール
11 逆運動学ユニット
12 エンコードユニット
20 画像処理モジュール
30 運動複製モジュール
31 デコードユニット
32 順運動学ユニット
33 三次元グラフィック表示ユニット
I 体動五線譜
I' 修正体動五線譜
JD 身体構成部位データ構造
M マーカ
【技術分野】
【０００１】
本発明は、符号化画像に関し、特に、体動五線譜(body motion staff)及びその画像処理モジュール、運動複製モジュール及び生成モジュールに関する。
【背景技術】
【０００２】
三次元の人体運動追跡装置が開発されて久しいが、現在人類の肢体運動のデジタル化と保存は、ほとんどが二次元のビデオ画像読み取り及び処理に留まっている。人体動作の符号化においては、一般の舞踊訓練の記録は、現在でもラバン（Laban）が発明した方法が使用されている。これは、一種の二次元方式により人体の三次元の動作を記録したもので、全部で五つの要素（body, space, effort, shape, and relationship）があるが、問題は、同一の動作に対して、演者が異なると異なる記録がなされるという点である。さらに、同一の記録が異なる演者によるパフォーマンスにより、その動作に違いが出る。
【０００３】
現在、一般的な人体動作の分析研究は、たいてい２Gストリーム画像の姿勢特徴によって判別され、基本的には、セキュリティー・モニタリング及びユーザー・インターフェース処理の面で使用されている。しかしながら、雲門舞集の代表作品または太極拳法等の貴重な人体三次元運動データに対して、音楽の五線譜のように人体運動を厳密に記録及び保存して残し、肢体動作に細かい編集や修正を行って、より完成された動作にしてゆくことはできない。また、人体運動を読み取った後、そのデータを直接人形ロボットに導入してそれらの動作を組立及び編集して、ロボットに人体と同様の動作をさせて、人類に代わって労働させたり、人類の手助けをさせたりすることはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本発明は、人体運動を厳密に記録、保存し、肢体運動を細かく丁寧に編集、修正して、より完璧な動作を創作し、且つ、直接ロボットまたはその他のマルチメンバー・ボディーにより同様の動作を再現させることが可能な体動五線譜並びにその画像処理モジュール、運動複製モジュール及び生成モジュールを提供することを課題とする。
尚、本発明の運動符号化画像は、音楽における五線譜と同様、マルチメンバー・ボディーの運動を記録したり、保存したり、再現したりすることが可能であり、新たな方式に基づく記録形態であることから、「体動五線譜」と称するものである。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、請求項１に記載の本発明に係る体動五線譜は、複数の関節や複数のリンクを含むマルチメンバー・ボディーの運動を、三次元運動読み取り装置によって読み取ることにより、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、この身体構成部位運動情報を符号化して成る運動符号化画像から構成されたことを特徴とする。
即ち、本発明に係る体動五線譜は、三次元運動読み取り装置によって、複数の関節(joint)またはリンク(link)を含むマルチメンバー・ボディーの運動から複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、前記身体構成部位運動情報を符号化した運動符号化画像として構成されるものである。
【０００６】
請求項２に記載の本発明に係る体動五線譜の好ましい実施例は、複数のグレースケールの行を備え、各グレースケールの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする。
また、請求項３に記載の本発明に係る体動五線譜の好ましい実施例は、複数のカラーの行を備え、各カラーの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする。
即ち、本発明の好ましい実施例において、体動五線譜は、複数のグレースケールの行を備え、各グレースケールの行は各身体構成部位に対応する。各グレースケールの行は、各身体構成部位の時間に伴う運動量の変化を表す。各グレースケールの行から言えば、異なるグレースケール値によって、運動量の変化を表現する。上述のグレースケールの行は、カラーの行に変換することも可能であり、異なる色度または色彩によって、運動量の変化を表現する。運動量は、例えば、角度である。
【０００７】
請求項４及び５に記載の本発明に係る体動五線譜の好ましい実施例において、前記運動量は、身体構成部位の位置であることを特徴とする。
【０００８】
請求項６に記載の本発明に係る体動五線譜の好ましい実施例において、前記運動符号化画像は、コンピューターが読み取れる記録媒体に記録されることを特徴とする。
【０００９】
上記課題を達成するために、本発明は、画像処理モジュールをも開示する。
即ち、請求項７に記載の本発明に係る画像処理モジュールは、前記体動五線譜の処理に用いられる画像処理モジュールであって、前記画像処理モジュールが行う処理は、画像フィルタリング(image filtering)、画像挿入(interpolation)、画像平滑化(smoothing)、画像分割(segmentation)及び画像編集(editing)の少なくとも一つを含むことを特徴とする。
即ち、前記画像処理モジュールは、上述の体動五線譜を処理するのに用いられる。画像処理モジュールが行う処理は、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集、画像挿入及び画像分割の少なくとも一つである。
【００１０】
前記課題を達成するために、本発明は、運動複製モジュールをも開示する。
即ち、請求項８に記載の本発明に係る運動複製モジュールは、前記請求項７に記載の画像処理モジュールが処理して発生させる修正体動五線譜または体動五線譜及びマルチメンバー・ボディーの外形データ構造に基づいて、前記マルチメンバー・ボディーの外形データ構造が対応する前記マルチメンバー・ボディーの三次元グラフィックデータを発生させることを特徴とする。
前記運動複製モジュールは、インターフェースをも有して、運動情報をダウンロードして、実際のロボットに送ることも可能である。ロボットは、マルチメンバー・ボディー構造によって構築、形成される。すなわち、本発明は、マルチメンバー・ボディーの運動状態を完全に他のマルチメンバー・ボディーに複製して、連続する三次元動態グラフィックによって再現、または、同様の運動を実際のロボットにより出力、再現することが可能である。
【００１１】
請求項９に記載の本発明に係る運動複製モジュールの好ましい実施例においては、前記修正体動五線譜または前記体動五線譜の復号を行ない、複数の身体構成部位運動情報を入手するデコードユニットと、順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を入手する順運動学ユニットと、前記特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記３G（三次元）グラフィックデータを発生させる３G（三次元）グラフィック表示モジュールとを備えることを特徴とする。
また、請求項１０に記載の本発明に係る運動複製モジュールの好ましい実施例においては、前記特徴点の運動データは、前記体外形(body shape)の前記身体構成部位の位置を描写するのに用いられることを特徴とする。
即ち、前記運動複製モジュールは、デコードユニット、順運動学ユニット及び３G（三次元）グラフィック表示ユニットを備える。デコードユニットは、前記修正体動五線譜（または体動五線譜）の復号を行ない、複数の身体構成部位運動情報を得る。順運動学ユニットは、順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を得る。３G（三次元）グラフィック表示ユニットは、前記特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記３G（三次元）グラフィックデータを発生させる。上述の前記特徴点の運動データは、例えば、前記特徴点（例えば、マーカを配した箇所、または、コネクション・メンバーの幾何原点または身体構成部位の幾何原点）の座標位置及び方位角を含む。
【００１２】
前記課題を達成するために、本発明は、体動五線譜の生成モジュールをも開示する。
即ち、請求項１１に記載の本発明に係る体動五線譜の生成モジュールは、前記三次元運動読み取り装置が前記マルチメンバー・ボディーの複数の動態画像を読み取り、複数の特徴点の運動情報を取得すると共に、逆運動学により前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき複数の身体構成部位運動情報を発生させる逆運動学ユニットと、前記身体構成部位運動情報に対して符号化を行い、前記体動五線譜を発生させるエンコードユニットとを備えることを特徴とする。
即ち、本発明の生成モジュールは、上述の体動五線譜を生成するのに用いられるものであり、この場合、前記三次元運動読み取り装置は、マルチメンバー・ボディーの運動に対して複数の動態画像を読み取り、複数の特徴点の運動情報を取得する。前記生成モジュールは、逆運動学ユニット及びエンコードユニットを備える。逆運動学ユニットは、逆運動学によって、前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき、複数の身体構成部位運動情報を発生させる。エンコードユニットは、前記身体構成部位運動情報に対して符号化を行い、前記体動五線譜を発生させる。
【００１３】
このように、本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーを対象として複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、前記身体構成部位運動情報を符号化した画像を作成する。言い換えれば、本発明の体動五線譜は、符号化した身体構成部位運動情報により構成されるということである。このうち、身体構成部位運動情報は特に、定義される身体構成部位の運動の変化量に対するものである。これにより、本発明は、マルチメンバー・ボディーの運動を、画像方式によって記録して、五線譜が音楽を記録するのと同様に、マルチメンバー・ボディーの運動の厳密な記録と保存を行い、記録の形式を定義すると同時に、三次元運動力学分析のための堅固な礎を築くものである。
【００１４】
また、本発明は、体動五線譜に対して画像処置を行う画像処理モジュールをも開示する。本発明の画像処理モジュールが行う処理は、例えば、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集及び画像挿入またはその他の画像処理方式を含む。本発明は、三次元運動をコード画像の方式によって記録することにより、後続の運動処理が画像処理の方式を利用して行われ、三次元運動処理の過程と時間を簡略化して、体動五線譜の応用範囲及び程度を大きく拡大する。例えば、元来はスムーズさに欠ける動作を比較的細かい編集や修正を加えることで、より完璧な動作を作り出すことができる。
【００１５】
また、本発明は、体動五線譜（または修正体動五線譜）を表示する運動複製モジュールをも開示する。本発明の運動複製モジュールは、上述の体動五線譜及びいずれかのマルチメンバー・ボディー外形データ構造に基づき、前記マルチメンバー・ボディー外形データ構造が対応する前記マルチメンバー・ボディーの連続三次元グラフィックデータを表示する。言い換えれば、運動複製モジュールは、元のマルチメンバー・ボディー（例えば、人体）の運動過程を、連続する動態三次元グラフィックによって表示するか、または、その運動過程をその他のマルチメンバー・ボディー（例えば、ロボット、その他人体、またはデジタル化されたバーチャルマシン）上に複製して、連続する動態画像を表示するということである。
【００１６】
また、本発明は、体動五線譜の生成モジュールをも開示する。本発明の生成モジュールは、逆運動学により、特徴点の運動情報及びマルチメンバー・ボディーの身体構成部位データ構造に基づき、身体構成部位運情報を計算する。さらに、前記身体構成部位運動情報を符号化して体動五線譜を発生させる。
【発明の効果】
【００１７】
本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーを対象として複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得して、前記身体構成部位運動情報を符号化した画像を取得する。言い換えれば、本発明の体動五線譜は、符号化した身体構成部位運動情報により構成されるということである。このうち、身体構成部位運動情報は特に、定義される身体構成部位の運動の変化量に対するものである。これにより、本発明は、マルチメンバー・ボディーの運動を、画像の方式によって記録して、五線譜が音楽を記録するのと同様に、マルチメンバー・ボディーの運動についての厳密な記録と保存を行い、記録の形式を定義すると同時に、三次元運動力学分析のための堅固な礎を築くことを可能とする。
【図面の簡単な説明】
【００１８】
【図１】本発明の好適な実施例における体動五線譜を示した図である。
【図２】人体の特定模型化により得た身体構成部位データ構造を示した図である。
【図３】本発明の好適な実施例における体動五線譜の画像処理モジュール、運動複製モジュール及び生成モジュールを統合したチャートである。
【図４】人体を例としたマルチメンバー・ボディーの特徴点の位置を示した図である。
【図５】本発明の生成モジュールを応用して発生させた体動五線譜及び本発明の運動複製モジュールを応用して表示した三次元グラフィックデータをスクリーン上に表示した画像である。
【図６】本発明の画像処理モジュールを応用して図5の体動五線譜を画像処理を経て表示した修正体動五線譜及び本発明の運動複製モジュールを応用して前記修正体動五線譜が表示する三次元グラフィックデータをスクリーン上に表示した画像である。
【発明を実施するための形態】
【００１９】
以下、図を参照しながら、本発明の好適な実施例における体動五線譜及びその生成モジュール、画像処理モジュール及び運動複製モジュールについて説明する。
【００２０】
図1は、本発明の好適な実施例における体動五線譜Iを示した図である。本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーを対象として複数の動態画像を読み取ることで、前記マルチメンバー・ボディーの複数の身体構成部位運動情報を取得し、さらに、前記身体構成部位運動情報に対して符号化を行って得られる運動符号化画像である。ここで、マルチメンバー・ボディーは、生物体または非生物体であり、生物体は例えば人体、動物等で、非生物体は、例えばロボットまたはデジタル化されたバーチャルマシン等である。
【００２１】
以下、人体を例とした場合の体動五線譜Iについて説明する。図2は、人体を特定模型化して取得した身体構成部位データ構造を示した図である。人体は、胴体（trunk）、四肢(four limbs)等の五つの部分に分かれ、胴体は頭部(head)、胸部(a chest)、腰部(a waist)、及び臀部(a pelvis (hip))に分かれる。手指、足指及びその他の小さな運動関節を計算に入れないなら、全身は、23個のリンク（link）によってその運動状態を模擬することができる。その対応する運動自由度について言えば、頭は胸部（すなわち頚部関節(cervical joint)）に対して3つの回転運動及び1つの平行移動自由度を有する。両上腕部(upper arms)は肩(shoulders)に対して、それぞれ3つの回転自由度を有し、両大腿部(two thighs)は臀部(pelvis)に対して、それぞれ3つの回転自由度を有する。手部の肘及び腕の関節、足の膝及びくるぶしの関節も又それぞれ2つの回転自由度を有する。手指及び足指の回転を加えると、全部で48個の運動自由度によって人体の全ての姿勢の関節パラメータを記録することができる。図2中の線はリンクを意味する。図2中の◎印は関節(joint)の箇所を意味する。図2に人体を描写した模型を用いたのは例を挙げたものに過ぎず、本発明を人体に限定するものではない。
【００２２】
本発明は、図2に示した48個の身体構成部位パラメータの運動過程を符号化し、図1に示したような体動五線譜Iを取得する。体動五線譜Iは、複数のグレースケールの行を含み、各グレースケールの行は各関節に対応すると共に、各グレースケールの行は各関節の運動量の時間に伴う変化を表す。したがって、体動五線譜Iの元素は(x, y)で表される。このうち、yはy個目のグレースケールの行を表し、このうちの一つの関節パラメータに対応する。例えば、y=1は、第一関節パラメータを意味し、xはx個目のグレー値を表し、このうち、xとx+1との間には、1/30秒のような特定の時間の間隔がある。運動量は、例えば、身体構成部位の位置、例えば、リンクの位置または関節の角度である。
【００２３】
つまり、三次元運動読み取り装置がマルチメンバー・ボディー（その模型化は図2に示したとおり）の運動に対して複数の動態画像を読み取った時、前記動態画像を分析して、前記マルチメンバー・ボディーの複数身体構成部位運動情報を計算する。例えば、上述の48の身体構成部位運動情報である。このうち、時間に伴って変化する角度値を含む。前記身体構成部位運動情報が符号化されると、図1に示したような体動五線譜（図1は29の身体構成部位を列記したのみで、y=29となる）が取得できる。
【００２４】
256個のグレースケールによって一つの関節を記録する場合、各関節は符号化方式によってその角度を記録するのに1byteを必要とし、48個の関節なら48bytesしか必要としないことで、即時画像は毎秒30コマとなり（すなわち三次元運動読み取り装置は毎秒30の画面を取得する）、毎分86.4Kbytesの保存空間しか必要とせず、データの簡潔度は驚くべきものがある。且つ、ファイルは、さらに、WinZipのような従来の圧縮技術によって、圧縮することでファイルの大きさを小さくできる。そして、簡潔なデータコードであっても、その解析度は保持される。人体の身体構成部位は連続して360度回転するものはないからである。肘の関節で言えば、一般にはおよそ150度ぐらいの回転であり、符号化は前記身体構成部位の最大回転角度範囲に応じて比例し、256のグレースケールによってその実際位置を記録する。肘身体構成部位の場合を例にすると、それは0.58(150/256)度ぐらいまで解析可能であり、三次元の観点から言えば、肉眼では隣り合う二個の位置は確認できない。
【００２５】
生物運動力学分析による厳密な解析度では、二桁により一個の身体構成部位の位置を表し、216=65534個の位置を編成することが可能であり、0.00229度まで解析が可能であり、人体運動分析で要求される解析度を遥かに超す。
【００２６】
上述では、グレースケール値によって体動五線譜の元素とし、その他の実施例において、色度または色彩によって体動五線譜の元素とすることも可能であり、両者を混合して使用することも可能である。このような態様において、体動五線譜は複数のカラーの行を含む。各カラーの行は各身体構成部位に対応すると共に、各カラーの行は各身体構成部位の運動量の時間に伴う変化を表す。運動量は、例えば角度である。
【００２７】
図3は、本発明の好適な実施例における体動五線譜の画像処理モジュール、運動複製モジュール及び生成モジュールを統合させたフローチャートである。図3に示したように、本発明の好適な実施例における体動五線譜の生成モジュール10は、逆運動学ユニット11及びエンコードユニット12を備える。三次元運動読み取り装置は、マルチメンバー・ボディーを対象として複数の動態画像を読み取ると、複数の特徴点の運動情報を取得する。図4は、人体の場合を例としたマルチメンバー・ボディーの特徴点の位置を示している。その特徴点の位置は、マーカ（marker）Mを配した場合を例とする。また、特徴点は、マーカの対応する位置を固定した点とする。例えば、リンクに対応する幾何原点は固定された点である。さらに、人体構造化グリッド模型をスキャンして構築しようとする場合、前記マーカポイントを人体の対応するリンク(link)上に登録する。したがって、マーカポイントを計算することで、前記特徴点を得て、さらに、前記リンクを描き出して、人体の前記時間点における運動形状を構成する。
【００２８】
人体の運動時、マーカMもそれに伴って運動する。三次元運動読み取り装置によってマーカの画像を読み取り、分析して、前記特徴点の運動情報を取得する。特徴点の運動情報は、例えば、前記体外形の前記身体構成部位の位置を描写する。
【００２９】
前記逆運動学ユニット11は、逆運動学によって、前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造JD（それは、例えば図2に示した模型に対応する）に基づき、複数の身体構成部位運動情報を発生させる。すなわち、特徴点の運動情報は、身体構成部位データ構造と組み合わさって、逆運動学の計算によって身体構成部位運動情報を取得する。例えば、身体構成部位の時間に伴う変化の角度値である。エンコードユニット12は、前記身体構成部位運動情報に対して符号化を行ない、体動五線譜を発生させる。身体構成部位運動情報及び体動五線譜は上述で詳しく述べているため、ここでは再述しない。
【００３０】
生成モジュール10は、体動五線譜を発生させると、画像処理を応用して体動五線譜に対して後続の処理を行う。その目的は、例えば、より完璧な動作画像を制作したり、その他の動作画像を創造するためである。このうち、画像処理モジュール20が行う処理は、例えば、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集及び画像挿入またはその他の画像処理方式の少なくとも一つを含む。このうち、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング等の機能は、測定できると同時に不合理な運動時間帯をフィルタリングする上、連続性関数を使用してフィルタリングされた領域を補填することで、動作をスムーズに連続させることが可能である。本発明は、体動五線譜に基づき、新たな体動五線譜を発生させることも可能である。例えば、いくつか選択された運動時間帯を抽出して、各時間帯の画像計算によって補填を行なった上で、改めて編成するようにする。もしくは、各身体構成部位の運動が直接編集またはレイアウトされて、全く新しい人体動作を創り出すことも可能である。体動五線譜Iは、画像処理を経た後、修正体動五線譜I'となる。
【００３１】
上述のことから、本発明は、体運動五線譜に対して画像読み取りや画像編集等を含む画像処理を行うことができ、体運動五線譜(運動符号化画像)は、ＣＤまたはUSB等のコンピューターが読み取れる記録媒体に記録され得ることが理解できる。
【００３２】
図3は、本発明の好適な実施例における運動複製モジュール30が、上述の修正体動五線譜I'及びマルチメンバー・ボディー外形データ構造に基づき、前記マルチメンバー・ボディー外形データ構造が対応する前記マルチメンバー・ボディーの連続する三次元グラフィックデータを発生させるように構成したものである。いわゆるマルチメンバー・ボディー外形データ構造とは、マルチメンバー・ボディーを描写したもので、例えば、人体の外形のデータ構造である。それは、例えば、人体に対して３Dスキャニングして空間クラウドポイントデータを取得し、さらに、前記空間クラウドポイントデータに対して定義づけ（例えば、人体コネクション・メンバーに基づく分割と定位）を行なって発生させる。また、マルチメンバー・ボディー外形データ構造は、人体に対応できる外、ロボットまたはバーチャルの外形データ構造にも対応が可能である。
【００３３】
本実施例の運動複製モジュール30は、デコードユニット31、順運動学ユニット32及び三次元グラフィック表示ユニット33を備える。デコードユニット31は、修正体動五線譜I'に対して復号を行ない、複数の身体構成部位運動情報を取得する。順運動学ユニット32は、順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を取得する。ここで、順運動学ユニット32は、前記身体構成部位運動情報及びマルチメンバー・ボディーが対応する身体構成部位データ構造JDに基づき、前記特徴点の運動情報を発生させる。三次元グラフィック表示ユニット33は、前記特徴点の運動情報及び前記マルチメンバー・ボディー外形データ構造に基づき、前記三次元グラフィックデータを発生させて、それをスクリーン上に表示する。ここで、三次元グラフィック表示ユニット33は、登録統合ユニットを含む。それは、特徴点運動情報及びマルチメンバー・ボディー外形データ構造を統合し、データを再現（Replication）させる方法を介して、前記物体の真実の動態画像を表現する。身体構成部位運動情報及び特徴点の運動情報は、すでに上述で記述されているため、ここでは再述しない。その他の実施例において、運動複製モジュール30は、インターフェース（図示はされない）を有し、それは、運動情報を実際のロボットに伝達するのに用いられる。前記ロボットは、前記マルチメンバー・ボディーに応じて構築される。これにより、前記マルチメンバー・ボディーの全体運動過程は、完全に前記ロボットにより再現される。
【００３４】
三次元グラフィック表示ユニット33が、異なるマルチメンバー・ボディー外形データ構造に基づき演算すると、特徴点の運動情報を異なるマルチメンバー・ボディーに置き換えて、対応する動態三次元グラフィックを発生させる。さらに、運動を再現させる方式は、クイックモーション、スローモーション、前進、後退、前後のコマ送り、さらに、随時ポーズや拡大、縮小、運動中のいかなるタイミングの運動姿勢も角度変換やリプレイが可能である。
【００３５】
本発明は以下の特徴を有する。
1．マルチメンバー・ボディー外形データ構造及び体動五線譜を結合させて、生き生きとした動作を再現させる。さらに、体動五線譜とマルチメンバー・ボディー外形データ構造が完全に独立しており、人物甲の身体を使って人物乙が行った動作をパフォーマンスさせることができる外、人形ロボットを使用して本物の人間の動作を表現できる。また、例えば、原子力発電所の事故処理等、ロボットに危険エリアに進入させて、人間の代わりに重要な作業をさせることも可能である。。
【００３６】
2．体動五線譜（または、修正体動五線譜）は、音楽の五線譜と同様に、符号化画像を利用して人体身体構成部位運動の角度を保存して、即時に運動の順滑性を観察することができる上、画像処理技術に基づき不合理な運動をフィルタリングするため、編集や修正が可能であり、複雑な人体運動をも創作できる。
【００３７】
また、図5は、本発明の生成モジュールを応用して、発生させた体動五線譜及び本発明の運動複製モジュールを応用して表示した三次元グラフィックデータをスクリーン上に表示させた画像である。図6は、本発明の画像処理モジュールを応用して、図5の体動五線譜を画像処理を経た後（例えば、グレースケール画像のフィルタリング、画像ピクセルの補完、画像の平滑化）の体動五線譜及び本発明の運動複製モジュールを応用して前記修正体動五線譜に対して表示した三次元グラフィックデータをスクリーン上に表示した画像である。図5の三次元グラフィックデータからわかるように、人形の左足は、明らかに実際の状況に符合しない。さらに、体動五線譜も対応して各グレースケールの行において、突出している画素が多く見られる。そして、画像処理を経た後、図6からわかるように、人形の左足はすでに実際の状況に符合するよう修正されており、さらに、修正体動五線譜も対応して各グレースケールの行において突出する画素も少なくなっている。
【００３８】
このように、本発明の体動五線譜は、三次元運動読み取り装置によって、マルチメンバー・ボディーから複数の動態画像を読み取って、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得して、前記身体構成部位運動情報を符号化した画像を取得する。言い換えれば、本発明の体動五線譜は、符号化した身体構成部位運動情報により構成される。このうち、身体構成部位運動情報は特に、定義される身体構成部位の運動の変化量に対するものである。これにより、本発明は、マルチメンバー・ボディーの運動を、画像の方式によって記録して、五線譜が音楽を記録するのと同様に、マルチメンバー・ボディーの運動の厳密な記録と保存を行い、記録の形式を定義すると同時に、三次元運動力学分析のための堅固な礎を築くものである。
【００３９】
また、本発明は、体動五線譜に対して画像処置を行う画像処理モジュールをも開示する。本発明の画像処理モジュールが行う処理は、例えば、グレースケール画像ピクセルの補完、画像の平滑化、画像のフィルタリング、画像読み取り、画像編集及び画像挿入またはその他の画像処理方式を含む。本発明は、三次元運動をコード画像の方式によって記録することにより、後続の運動処理が画像処理の方式を利用して行われ、三次元運動処理の過程と時間を簡略化して、体動五線譜の応用範囲及び程度を大きく拡大する。例えば、元々スムーズさに欠ける動作を比較的細かい編集や修正を加えることで、より完璧な動作を作り出すことができる。
【００４０】
また、本発明は、体動五線譜（または修正体動五線譜）を表示する運動複製モジュールをも開示する。本発明の運動複製モジュールは、上述の体動五線譜及びいずれかのマルチメンバー・ボディー外形データ構造に基づき、前記マルチメンバー・ボディー外形データ構造が対応する前記マルチメンバー・ボディーの連続三次元グラフィックデータを表示する。言い換えれば、動態運動複製モジュールは、元のマルチメンバー・ボディー（例えば、人体）の運動過程を、連続する動態三次元グラフィックによって表示するか、または、その運動過程をその他のマルチメンバー・ボディー（例えば、ロボット、その他人体、またはデジタル化されたバーチャルマシン）上に複製して、連続する動態画像を表示する。
【００４１】
また、本発明は、体動五線譜の生成モジュールをも開示する。本発明の生成モジュールは、逆運動学により、特徴点の運動情報及びマルチメンバー・ボディーの身体構成部位データ構造に基づき、身体構成部位運情報を計算する。さらに、前記身体構成部位運動情報を符号化して体動五線譜を発生させる。
【００４２】
以上、本発明の実施例を図面を参照して詳述してきたが、具体的な構成は、これらの実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更などがあっても、本発明に含まれる。
【産業上の利用可能性】
【００４３】
本発明は以上の如く構成したので、人体運動を厳密に記録、保存し、肢体運動を細かく丁寧に編集、修正して、より完璧な動作を創作し、且つ、直接ロボットまたはその他のマルチメンバー・ボディーにより同様の動作を再現させることが可能な体動五線譜並びにその画像処理モジュール、運動複製モジュール及び生成モジュールを提供し得るものである。
【符号の説明】
【００４４】
10 生成モジュール
11 逆運動学ユニット
12 エンコードユニット
20 画像処理モジュール
30 運動複製モジュール
31 デコードユニット
32 順運動学ユニット
33 三次元グラフィック表示ユニット
I 体動五線譜
I' 修正体動五線譜
JD 身体構成部位データ構造
M マーカ
【特許請求の範囲】
【請求項１】
複数の関節や複数のリンクを含むマルチメンバー・ボディーの運動を、三次元運動読み取り装置によって読み取ることにより、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、この身体構成部位運動情報を符号化して成る運動符号化画像から構成されたことを特徴とする体動五線譜。
【請求項２】
複数のグレースケールの行を備え、各グレースケールの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする請求項１に記載の体動五線譜。
【請求項３】
複数のカラーの行を備え、各カラーの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする請求項１に記載の体動五線譜。
【請求項４】
前記運動量は、身体構成部位の位置であることを特徴とする請求項２に記載の体動五線譜。
【請求項５】
前記運動量は、身体構成部位の位置であることを特徴とする請求項３に記載の体動五線譜。
【請求項６】
前記運動符号化画像は、コンピューターが読み取れる記録媒体に記録されることを特徴とする請求項１に記載の体動五線譜。
【請求項７】
請求項１から請求項５のいずれかに記載の体動五線譜の処理に用いられる画像処理モジュールであって、
前記画像処理モジュールが行う処理は、画像フィルタリング(image filtering)、画像挿入(interpolation)、画像平滑化(smoothing)、画像分割(segmentation)及び画像編集(editing)の少なくとも一つを含むことを特徴とする画像処理モジュール。
【請求項８】
請求項７に記載の画像処理モジュールが処理して発生させる修正体動五線譜または体動五線譜及びマルチメンバー・ボディーの外形データ構造に基づいて、前記マルチメンバー・ボディーの外形データ構造が対応する前記マルチメンバー・ボディーの三次元グラフィックデータを発生させることを特徴とする運動複製モジュール。
【請求項９】
前記修正体動五線譜または前記体動五線譜の復号を行ない、複数の身体構成部位運動情報を入手するデコードユニットと、
順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を入手する順運動学ユニットと、
前記特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記３G（三次元）グラフィックデータを発生させる３G（三次元）グラフィック表示モジュールとを備えることを特徴とする請求項８に記載の運動複製モジュール。
【請求項１０】
前記特徴点の運動データは、前記体外形(body shape)の前記身体構成部位の位置を描写するのに用いられることを特徴とする請求項９に記載の運動複製モジュール。
【請求項１１】
請求項１から請求項５のいずれかに記載の体動五線譜の生成に用いられる体動五線譜の生成モジュールであって、
前記三次元運動読み取り装置が前記マルチメンバー・ボディーの複数の動態画像を読み取り、複数の特徴点の運動情報を取得すると共に、
逆運動学により前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき複数の身体構成部位運動情報を発生させる逆運動学ユニットと、
前記身体構成部位運動情報に対して符号化を行い、前記体動五線譜を発生させるエンコードユニットとを備えることを特徴とする体動五線譜の生成モジュール。
【請求項１】
複数の関節や複数のリンクを含むマルチメンバー・ボディーの運動を、三次元運動読み取り装置によって読み取ることにより、前記マルチメンバー・ボディーの複数身体構成部位運動情報を取得し、この身体構成部位運動情報を符号化して成る運動符号化画像から構成されたことを特徴とする体動五線譜。
【請求項２】
複数のグレースケールの行を備え、各グレースケールの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする請求項１に記載の体動五線譜。
【請求項３】
複数のカラーの行を備え、各カラーの行は、各身体構成部位に対応して、各身体構成部位の時間に伴う運動量の変化を表すことを特徴とする請求項１に記載の体動五線譜。
【請求項４】
前記運動量は、身体構成部位の位置であることを特徴とする請求項２に記載の体動五線譜。
【請求項５】
前記運動量は、身体構成部位の位置であることを特徴とする請求項３に記載の体動五線譜。
【請求項６】
前記運動符号化画像は、コンピューターが読み取れる記録媒体に記録されることを特徴とする請求項１に記載の体動五線譜。
【請求項７】
請求項１から請求項５のいずれかに記載の体動五線譜の処理に用いられる画像処理モジュールであって、
前記画像処理モジュールが行う処理は、画像フィルタリング(image filtering)、画像挿入(interpolation)、画像平滑化(smoothing)、画像分割(segmentation)及び画像編集(editing)の少なくとも一つを含むことを特徴とする画像処理モジュール。
【請求項８】
請求項７に記載の画像処理モジュールが処理して発生させる修正体動五線譜または体動五線譜及びマルチメンバー・ボディーの外形データ構造に基づいて、前記マルチメンバー・ボディーの外形データ構造が対応する前記マルチメンバー・ボディーの三次元グラフィックデータを発生させることを特徴とする運動複製モジュール。
【請求項９】
前記修正体動五線譜または前記体動五線譜の復号を行ない、複数の身体構成部位運動情報を入手するデコードユニットと、
順運動学によって前記身体構成部位運動情報を処理して、複数の特徴点の運動情報を入手する順運動学ユニットと、
前記特徴点の運動情報及び前記マルチメンバー・ボディーの外形情報構造に基づき、前記３G（三次元）グラフィックデータを発生させる３G（三次元）グラフィック表示モジュールとを備えることを特徴とする請求項８に記載の運動複製モジュール。
【請求項１０】
前記特徴点の運動データは、前記体外形(body shape)の前記身体構成部位の位置を描写するのに用いられることを特徴とする請求項９に記載の運動複製モジュール。
【請求項１１】
請求項１から請求項５のいずれかに記載の体動五線譜の生成に用いられる体動五線譜の生成モジュールであって、
前記三次元運動読み取り装置が前記マルチメンバー・ボディーの複数の動態画像を読み取り、複数の特徴点の運動情報を取得すると共に、
逆運動学により前記特徴点の運動情報及び前記マルチメンバー・ボディーが対応する身体構成部位情報構造に基づき複数の身体構成部位運動情報を発生させる逆運動学ユニットと、
前記身体構成部位運動情報に対して符号化を行い、前記体動五線譜を発生させるエンコードユニットとを備えることを特徴とする体動五線譜の生成モジュール。
【図２】
【図３】
【図１】
【図４】
【図５】
【図６】
【図３】
【図１】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２３４５４１（Ｐ２０１２−２３４５４１Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−１０２１７６（Ｐ２０１２−１０２１７６）
【出願日】平成２４年４月２７日（２０１２．４．２７）
【出願人】（５０４４５５９０８）国立成功大学 (18)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２４年４月２７日（２０１２．４．２７）
【出願人】（５０４４５５９０８）国立成功大学 (18)
【Ｆターム（参考）】
[ Back to top ]