映像生成装置、映像生成方法及びプログラム
【課題】少ない手間で、運動する人に合った姿勢の見本映像を生成して提示できるようにする。
【解決手段】表情認識部１０５は、痛みを感じている表情であるか否かを判別し、見本パラメータ決定部１０６は、その表情の判別結果によって無理のない範囲を示すものとして、見本パラメータを決定する。見本映像生成部１０８は、この見本パラメータを参照し、基本見本データ保持部１０７に保持されている運動に係る基本映像を修正して、その人物に適した見本映像を生成し、映像提示部１０９によりその見本映像を表示することによって、人物の適正に合った見本映像を提供できるようにする。
【解決手段】表情認識部１０５は、痛みを感じている表情であるか否かを判別し、見本パラメータ決定部１０６は、その表情の判別結果によって無理のない範囲を示すものとして、見本パラメータを決定する。見本映像生成部１０８は、この見本パラメータを参照し、基本見本データ保持部１０７に保持されている運動に係る基本映像を修正して、その人物に適した見本映像を生成し、映像提示部１０９によりその見本映像を表示することによって、人物の適正に合った見本映像を提供できるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像生成装置、映像生成方法及びプログラムに関し、特に、運動等の見本映像を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
五十肩の改善や、足腰の筋力強化や、メタボリック症候群対策など、運動が有用な健康増進策となる事例は多い。ただし単に運動をすれば良いのではなく、身体の状況に応じたメニューや負荷を適切に選んで運動することが肝要である。そういった適切な運動を指導するために、理学療法士や健康運動指導士といった専門職も存在する。
【０００３】
運動を指導する際に、運動の見本を映像で見せることは直感的でわかり易い。多くの理学療法士や健康運動指導士も、指導現場で運動の見本映像を利用している。しかしながら、万人向けの見本となる運動は存在せず、運動をする人の能力や状況に応じて、適切な体の動かし方や負荷のかけ方が細かく異なる。運動をする人に対して提示する見本映像もその人の能力や状況に合ったものである方がより望ましいが、実際問題として個別に手本を作成するのは手間もコストも多くかかってしまう。そこで、例えば怪我から復帰するリハビリ時など、より慎重な運動が求められる場合ほど、見本映像は参考程度として利用され、理学療法士や健康運動指導士などが手間と時間とをかけて運動を指導している。
【０００４】
こうした状況に関連し、運動をする人の能力に合わせた見本映像を生成して提示する技術が、特許文献１に開示されている。この特許文献１に記載の技術では、見本映像を見ながら運動する人をカメラで撮影し、その映像に基づき運動をする人が見本の運動に対応して追従できているか否かを判断する。そして、追従できていない場合には見本の運動レベルを下げたり、表示速度を下げたりしている。そして、この技術を用いることにより、運動する人の能力に合った運動量の見本映像を提示することができると記載されている。
【０００５】
同様に、運動をする人の状況に合わせた見本映像を提示する技術が、特許文献２に開示されている。この特許文献２には、運動する人が鍛えたい身体部位や機能回復したい身体部位の情報を入力すると、消費カロリー等を指標とした運動メニューが構築され、その運動の見本が人体モデルにより提示される技術が開示されている。そして、この技術を用いることにより、運動する人の状況（希望）に合った運動量の見本映像を提示することができると記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１３７８２号公報
【特許文献２】特許第３４７２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の公知の技術では、運動する人の能力や状況に合った姿勢の見本映像を生成して提示することはできない。
【０００８】
例えば、五十肩の改善を目指すリハビリ運動では、できる範囲で肩を徐々に大きく動かす運動を行うが、決して無理をせず、痛みを感じない範囲で動かすことが必要である。すなわち、人によって肩を動かしてよい範囲が異なる。特許文献１に示された技術では、見本に追従しているかどうかにより見本内容が決定されるので、肩を大きく動かす見本に無理をして追従してしまった場合には、そのまま無理を続けさせる不適切な見本映像を生成して提示してしまう。したがって、運動量ではなく姿勢に関して運動する人に合った見本を提示する目的には、特許文献１に示された技術の利用は適当でない。
【０００９】
また、例えば、下半身の筋力強化に有効な運動であるスクワットには、背筋を垂直に保ったまま膝を屈曲させる方法から、無理に背筋を反らさずにやや前傾しながら膝を屈曲させる方法まで、いくつかのバリエーションがある。そして、どのようにスクワットすべきであるかは、運動する人の状況によって異なる。例えば膝を痛めていない人であれば背筋を垂直に保ちながら太ももが床と並行になるまで深く膝を屈曲させる方法が効果的であるが、膝を痛めている人であれば、痛みを感じない程度背筋を前傾させて軽く膝を屈曲させる方が良い。また、腰を痛めている人であれば、背筋は垂直の方が良く前傾姿勢はよろしくないが、痛みがないときよりは軽く膝を屈曲させる方が良い。そうすると、特許文献２に示された技術を用いて単に身体部位を指定するだけでは、適切に運動（姿勢）を決めることはできないと言える。
【００１０】
特許文献２に開示されている技術を発展させ、単に鍛えたい部位を入力するだけでなく、痛みを感じる関節やその程度なども入力することにより、より適切な姿勢の運動見本を生成・提示できる可能性はある。ところが、より適切に内容を設定しようと思う程、事前に入力すべき情報の数が増えていき、その入力の手間がかかって使い勝手が悪いという新たな課題が生まれてしまう。
【００１１】
本発明は前述の問題点に鑑み、少ない手間で、運動する人に合った姿勢の見本映像を生成して提示できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の映像生成装置は、人物を撮像した画像を取得する取得手段と、前記画像に映る人物の人体を認識する人体認識手段と、前記画像に映る人物の状態に関する情報を入力する情報入力手段と、前記人物が運動している基本映像に係るデータを保持する保持手段と、認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成手段と、生成された前記見本映像を表示装置に表示する表示制御手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ユーザの能力や状況に合った姿勢での運動の見本映像を簡単に生成して提示することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る見本映像生成装置の構成例を示すブロック図である。
【図２】リハビリ経過日数とα値との対応モデルの一例を示す図である。
【図３】第１の実施形態における見本映像を生成する処理手順の一例を示すフローチャートである。
【図４】第２の実施形態に係る見本映像生成装置の構成例を示すブロック図である。
【図５】スクワットの基準姿勢の一例を示す図である。
【図６】第２の実施形態における見本映像を生成する処理手順の一例を示すフローチャートである。
【図７】その他の実施形態におけるハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
本実施形態では、まず、理学療法士や健康運動指導士といった専門家が運動する人（以下ユーザ）の能力と状況とを勘案して設定する運動中の基準姿勢を撮影して画像として入力する。そして、その画像に基づいてそのユーザに合った内容の見本映像を生成して提示する例について説明する。一般に、理学療法士や健康運動指導士がユーザに運動内容を指導する際には、手取り足取りしながらユーザにしかるべき姿勢を実際にとってもらう。本実施形態では、その時の姿勢を撮影し、その画像に映る姿勢を認識することにより、画像に映るユーザの姿勢に応じた見本映像を、事前に保持する基本映像を編集することによって生成し、それを提示する。加えて、ユーザの運動中の姿勢も撮影しその画像に映る姿勢を認識すれば、その姿勢に応じて適宜見本映像を変更して提示することも可能である。
【００１６】
本実施形態に係る見本映像生成装置は、例えば、病院の整形外科やリハビリテーション科の施術室やリハビリテーション室などに設置され、そこへ来た患者（以下ユーザ）が理学療法士の指導のもとで利用するものである。また、本実施形態に係る見本映像生成装置では、五十肩により肩が上がらなくなった人向けの、肩関節のリハビリ運動の見本を生成して提示する。
【００１７】
（構成）
図１は、本実施形態に係る見本映像生成装置１００の構成例を示すブロック図である。
図１に示すように、本実施形態に係る見本映像生成装置１００は、ハーフミラー１０１、バイタル計測部１０２、画像撮影部１０３、人体認識部１０４及び表情認識部１０５を備えている。さらに、見本パラメータ決定部１０６、基本見本データ保持部１０７、見本映像生成部１０８及び映像提示部１０９を備えている。
【００１８】
ハーフミラー１０１の背後には、画像撮影部１０３と映像提示部１０９に係る表示装置とが配置されている。これにより、ハーフミラー１０１の前にユーザが立つ（もしくは座る）と、ハーフミラー１０１越しに、ユーザの姿勢が映った画像を画像撮影部１０３によって撮影することができる。また、映像提示部１０９に提示される映像は、ハーフミラー１０１の前に立つ（もしくは座る）ユーザに対して、その鏡像越しに提示される。
【００１９】
バイタル計測部１０２は、ハーフミラー１０１の前に立つユーザのバイタル値を非接触に計測するセンサである。ここでのバイタル値とは、例えば体温（皮膚温度）である。体温を非接触に計測するセンサとしては、人体の発熱によって発生する赤外線を検出して体温を測るセンサが一般に知られている。本実施形態におけるバイタル計測部１０２には、そのような公知のセンサを用いる。体温の計測に関しては、人体の特定部分の体温を計測するものでもよいし、人体全体の体温マップを計測するものでもよい。そして、バイタル計測部１０２は、計測したバイタル値の情報を見本パラメータ決定部１０６へ送る。なお、他の計測値としては、発汗度や血流量などが挙げられる。
【００２０】
画像撮影部１０３は、ハーフミラー１０１の前に立つユーザの全身を撮像するカメラである。このカメラは、２次元の可視画像を撮影するカメラでもよいし、３次元的な距離画像を撮影するカメラでもよいし、その両方を撮影するカメラであってもよい。不図示のユーザインタフェースを操作することにより、明示的にあるタイミングの姿勢を撮像したり、ハーフミラー１０１前のユーザの様子を連続的に撮像したりすることができる。
【００２１】
不図示のユーザインタフェースとは、例えば画像撮影部１０３につながるスイッチやキーボードである。もしくは、画像撮影部１０３につながるマイクで録音する音声を認識することにより実現する音声インタフェースでもよく、画像撮影部１０３自身の映像を認識することにより実現するジェスチャインタフェースでもよい。また、ユーザインタフェースの操作は、ハーフミラー１０１前のユーザ自身により行われてもよく、ユーザに付き添って運動の仕方を指導する理学療法士により行われてもよい。
【００２２】
また、画像撮影部１０３は、ユーザや理学療法士による明示的な操作なしに画像を撮影できるようにしてもよい。例えば、ユーザや理学療法士により一度の明示的な操作が行われた後に、連続的に画像を撮り続け、動画として撮影してもよい。もしくは、画像撮影部１０３が動体検知機能を備え、その撮影範囲に動体を検知するたびに画像を撮影してもよい。この場合、ユーザが動き続けている間の動画が撮影されることとなる。そして、画像撮影部１０３は、撮影した画像を、人体認識部１０４及び表情認識部１０５へ送る。また、画像撮影部１０３が撮影する画像は、場合よっては映像提示部１０９へも送られる。
【００２３】
人体認識部１０４は、画像撮影部１０３から送られる画像に映る人物の人体パーツの位置を認識する。人体パーツの位置は、画像面上の位置として２次元的に認識してもよいし、現実空間での位置として３次元的に認識してもよい。人体パーツの位置を２次元的に認識する場合は、例えば画像撮影部１０３より受け取る画像（２次元の可視画像）から、あらかじめ用意した人体パーツに起因する画像特徴を探索する。
【００２４】
人体パーツとは、例えば、顔、頭、手、腕、足、膝、肩、腰、胸、臍、背中などである。それぞれは、撮影される向きによって映像特徴が異なるので、例えば顔に関しては、正面顔パーツ、横顔パーツ、下向き顔パーツ、などと、方向別に複数の画像特徴を用意し、それらを探索する。画像特徴としては、局所領域における勾配方向をヒストグラム化した特徴量であるＨＯＧ（Histograms of Oriented Gradients）特徴量などを利用する。各人体パーツに起因する画像特徴は、それらが映る画像を多量に集めて、それらに含まれる特徴量に共通するものを、例えばＢｏｏｓｔｉｎｇと呼ばれるアルゴリズムを用いて、統計的に学習することによって決定する。そのようにして決定される各人体パーツに起因する画像特徴が、画像撮影部１０３より受け取る画像から探索されると、特徴が探索された位置にその人体パーツがあると認識する。なお、これ以外の公知の方法で人体パーツの位置の認識を行ってもよい。
【００２５】
人体パーツの位置を３次元的に認識する場合は、まず、画像撮影部１０３より受け取る画像（３次元の距離画像）にセグメンテーションを施して人物領域を特定する。例えばハーフミラー１０１から距離１ｍ〜２ｍ程度離れた位置にある人体程度の大きさの領域を切り出す。そして、あらかじめ用意した人体モデルを、そのパーツ位置を変更しながら特定した人体領域にあてはめる。人体領域に適切に人体モデルがあてはめることができた場合は、その人体モデルにおける各人体パーツの位置が認識結果となる。なお、これ以外の公知の方法で認識を行ってよい。
【００２６】
ここで、画像撮影部１０３から２次元の可視画像と３次元の距離画像との両方を受け取る場合には、人体認識部１０４は上記２つの人体パーツ位置の認識を両方で行ってもよい。その際は、前者の２次元的な人体パーツ位置認識結果と矛盾しないように、後者の３次元的な人体パーツ位置認識結果を補正して、より正しい３次元的な人体パーツ位置を認識するようにする。
【００２７】
以上、人体パーツの位置の認識方法について述べたが、その方法は上記に限られず、一般に知られた他の方法で行っても、もちろんよい。そして、人体認識部１０４は、認識結果を見本パラメータ決定部１０６へ送る。また、場合により、その認識結果を映像提示部１０９にも送る。
【００２８】
表情認識部１０５は、画像撮影部１０３から送られる画像に映るユーザの表情から、ユーザが痛みを感じているか否かを認識し、痛みを感じている場合にはどの程度の痛みを感じているかを認識する。
【００２９】
この認識処理では、まず、画像撮影部１０３より受け取る画像から、人の顔に起因する画像特徴が検出される領域を特定する。その特徴量としては、ＨＯＧなどを用いればよい。続いて、特定された領域を正規化した画像が、痛みの程度別の表情をとらえた複数の画像群のうちの、どの群にどの程度類似しているかを認識する。複数の画像群とは、激しい痛みを感じている表情や、耐えられる程度の痛みを感じている表情、軽い痛みを感じている表情、痛みを感じていない表情などの、痛みの程度別の表情画像を集めたものである。
【００３０】
また、例えば、激しい痛みを感じている表情の顔画像群クラスと、痛みを感じていない表情の顔画像群クラスとを分別する判別軸を、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）を用いて作成しておく。そして、その判別軸を用いて、正規化した画像領域がどちらのクラスにより類似しているかを判別する。この処理を複数の表情クラス間での比較に関して繰り返すことにより、画像撮影部１０３より受け取る画像領域に映る人物の表情が、痛みの程度別に用意しておく表情のうちの、どれにどの程度類似しているかを認識することができる。
【００３１】
以上の説明では、痛みを感じている表情の認識方法について述べたが、その方法は上記に限られず、一般に知られた他の方法で行ってもよい。そして、表情認識部１０５は、認識結果を見本パラメータ決定部１０６へ送る。
【００３２】
見本パラメータ決定部１０６は、バイタル計測部１０２から体温を示すバイタル値の情報を受け取るとともに、人体認識部１０４から人体パーツの認識結果を受け取り、さらに、表情認識部１０５から表情の認識結果を受け取る。そして、これらの情報に基づき見本映像を生成するためのパラメータを生成する。
【００３３】
五十肩により肩が上がらなくなった人向けの、肩関節のリハビリ運動の見本映像を生成して提示する場合においては、見本映像を生成するためのパラメータとしてユーザに許容される最大許容肩関節角度の情報を生成する。ここでの肩関節角度とは、伸ばした腕と体の側面とのなす角度である。すなわち、腕を下におろした状態の肩関節角度が０度、腕を伸ばしたまま真横に上げた状態の肩関節角度が９０度、そこからさらに腕を真上に上げた状態の肩関節角度が１８０度となる。五十肩の改善を目指すリハビリ運動においては、ユーザの能力や状態に合わせて、無理のない範囲で肩関節角度を広げる訓練を行う。見本映像を生成するためのパラメータであるユーザに許容される最大許容肩関節角度とは、この無理のない範囲を示すものである。
【００３４】
見本パラメータ決定部１０６は、画像撮影部１０３により撮影された画像に映るユーザの肩関節角度をユーザに許容される最大許容肩関節角度の基準値とし、その基準値を人体認識部１０４から受け取る人体パーツの認識結果に基づいて算出する。例えば、人体パーツ認識結果に含まれる肩の位置と手先の位置を結んだベクトルと、肩の位置とその同じ側の腰（骨盤）の位置を結んだベクトルとのなす角度を、人体認識部１０４から受け取る人体パーツの認識結果に基づいて算出する。この角度は、画像面上で２次元的に算出される角度でもよいし、３次元的な人体パーツの位置に基づいて３次元的に算出される角度でもよい。いずれにせよ、実際に何度であるかの精度が必要となる算出ではなく、基準となる数値を得るための算出である。
【００３５】
算出される基準値は、画像撮影部１０３により撮影された画像に映るユーザの姿勢から算出されるものであるから、そのユーザが実際に腕を上げることのできた状態を反映している。このように見本パラメータ決定部１０６は、この基準値をそのまま無理のない範囲を示すものとして、最大許容肩関節角度とすることができる。一方、実際の運用の仕方の一つでは、ユーザに付き添って運動の仕方を指導する理学療法士が、様々な判断に基づいてそのユーザに許容される最大許容肩関節角度まで腕を上げさせ、その姿勢を画像撮影部１０３で撮影することが想定される。この場合も、画像撮影部１０３により撮影された画像に映るユーザの姿勢は、まさにそのユーザに許容される無理のない範囲まで腕を上げた状態を反映していると言える。
【００３６】
また、見本パラメータ決定部１０６は、基準値をそのまま最大許容肩関節角度としなくても、もちろんよい。例えば、回復期と呼ばれるリハビリ開始から十分に日数が経った時期においては、積極的に肩関節を広げていくことが必要である。そのような時期においては、見本パラメータ決定部１０６は、ユーザが実際に腕を上げることのできた状態を反映している基準値よりも広い角度を許容するように、基準値＋αを最大許容肩関節角度としてもよい。このα値は、理学療法士やユーザ自身が不図示のユーザインタフェースを介してリハビリ運動開始からの経過日数を入力することにより、見本パラメータ決定部１０６により内部に持つ例えば図２に示すリハビリ経過日数とα値との対応モデルを参照して決定される。
【００３７】
また、見本パラメータ決定部１０６は、バイタル計測部１０２から受け取るバイタル計測値である体温に基づいてα値を決定してもよい。すなわち、バイタル計測部１０２から受け取るユーザの肩周辺の体温計測値が高いほど、肩周辺の筋肉が十分にほぐれていると判断できるため、この場合にはα値を大きめに設定する。例えば、準備運動などにより筋肉がほぐれていて体温が上昇している場合には、体温の上昇に応じて最大許容肩関節角度は大きく決定される。一方、逆にまだ筋肉がほぐれておらず体温の上昇が不十分である場合は、最大許容肩関節角度は小さく決定される。
【００３８】
さらに、見本パラメータ決定部１０６は、表情認識部１０５から受け取る表情の認識結果に基づいてα値を決定してもよい。すなわち、表情認識部１０５から受け取る表情の認識結果から、痛みを感じていない時の表情を示しているほど、画像撮影部１０３により撮影されたユーザの姿勢に無理はないと判断できるため、見本パラメータ決定部１０６はα値を大きめに設定する。逆に、表情認識部１０５から受け取る表情の認識結果から、痛みを感じている時の表情を示しているほど、画像撮影部１０３により撮影されたユーザの姿勢に無理があると判断できるため、見本パラメータ決定部１０６はα値をマイナスに設定する。このように、画像撮影部１０３により撮影された時にユーザが痛みを感じていることが表情に出るほど無理をしていた場合には、それに応じて無理をさせないような最大許容肩関節角度が決定されることとなる。以上のようにバイタル計測部１０２及び表情認識部１０５がユーザの状態に関する情報入力を行うことにより、α値が反映される。
【００３９】
また、前述したリハビリ開始からの経過日数や、バイタル計測値、表情認識結果とα値との対応関係は、あらかじめ決めておくものとする。ただし、ユーザによって適切なα値の大きさは異なるので、その対応関係は事前に微調整できるものとする。例えば、本実施形態によって提示される見本映像を見て運動を行ったユーザの意見や、それを観察していた理学療法士の判断により、α値の過不足を次の運動の前に調整しておくことが可能である。見本パラメータ決定部１０６は、最大許容肩関節角度のパラメータを決定すると、その情報を見本映像生成部１０８へ送る。
【００４０】
基本見本データ保持部１０７は、ユーザに提示する見本映像を生成するためのデータを保持している。例えば、腕を下ろした状態から横に伸ばして真上に上げ、その後また横に伸ばして下におろす、という運動を人物が繰り返す様子を撮影した基本映像のデータが、基本見本データ保持部１０７に保持されている。そして、その映像の各フレームには、そのフレームに映る人物の肩関節角度がタグ付けされている。さらに、そのタグ（肩関節角度）は、人体認識部１０４で実現されるものと同様の人体パーツの位置の認識処理等に基づいて行われているものとする。また別の例として、基本見本データ保持部１０７は、腕を下ろした状態から横に伸ばして真上に上げ、その後また横に伸ばして下におろす、という運動を表現するモーションデータを、見本映像を生成するためのデータとして保持してもよい。このような見本映像を生成するためのデータは、見本映像生成部１０８から参照される。
【００４１】
見本映像生成部１０８は、見本パラメータ決定部１０６より最大許容肩関節角度の情報を受け取り、基本見本データ保持部１０７から見本映像を生成するためのデータを参照する。そして、両データを用いて見本映像を生成する。
【００４２】
まず、見本映像を生成するためのデータが、見本となる運動をする人物を撮影した基本映像の場合について説明する。この場合、見本映像生成部１０８は、見本パラメータ決定部１０６より受け取る最大許容肩関節角度の情報と、基本見本データ保持部１０７より受け取った基本映像の各フレームにタグ付けされている肩関節角度の情報とを比較する。そして、タグに示された肩関節角度が、最大許容肩関節角度よりも小さいフレームのみを抜き出し、結合する。これにより、基本見本データ保持部１０７に保持された映像には映っている最大許容肩関節角度以上に腕を上げるシーンが取り除かれた、基本映像の一部からなる映像が生成される。見本映像生成部１０８は、この結合された映像を見本映像として映像提示部１０９へ送る。
【００４３】
次に、見本映像を生成するためのデータが、見本となる運動を表現するモーションデータの場合について説明する。この場合、見本映像生成部１０８は、基本見本データ保持部１０７に保持されているモーションデータから、肩関節角度が見本パラメータ決定部１０６より受け取る最大許容肩関節角度を超えない部分のみを取り出す。そして、このようにして取りだしたモーションデータをＣＧの人体モデルに適用することにより、見本となる運動を人体モデルが行うＣＧ映像を生成する。これにより、基本見本データ保持部１０７に保持されているモーションデータには存在する最大許容肩関節角度以上に腕を上げる部分が取り除かれたモーションが、ＣＧ映像として生成される。見本映像生成部１０８は、このＣＧ映像を見本映像として映像提示部１０９へ送る。
【００４４】
映像提示部１０９は、見本映像生成部１０８より見本映像を受け取り、提示するよう表示制御を行う。映像提示部１０９はハーフミラー１０１の背面に設置されているので、ハーフミラー１０１の前に立つユーザは、ハーフミラー１０１に映る自分を含む鏡像に重ねて、見本映像を見ることとなる。
【００４５】
このとき、映像提示部１０９は、提示する見本映像に映る人物像の両肩の位置が、そのユーザの鏡像の両肩に重なるように、映像提示部１０９はその映像の提示位置（表示位置）を調整してもよい。その場合、映像提示部１０９は、不図示のユーザインタフェース操作を介して、ユーザの身長や肩幅などのユーザの人体サイズの情報を既知の値として得ているとともに、人体認識部１０４からはユーザの人体パーツの位置の認識結果を得ているものとする。そしてその両データから、映像提示部１０９は画像撮影部１０３とユーザとの現実空間における位置関係（距離）を算出する。
【００４６】
具体的には、認識結果として得る頭部と足先や、両肩との画像上での距離が、実際のユーザの身長や肩幅に合致するのに必要な、画像撮影部１０３とユーザとの距離をニュートン法などの公知の方法により算出する。そうすると、ハーフミラー１０１と画像撮影部１０３との位置関係が固定されていることから、ハーフミラー１０１とユーザとの現実空間における位置関係（距離）も求めることができる。したがって、その関係によりハーフミラー１０１上のユーザの鏡像の位置も算出することができる。
【００４７】
公知の方法で算出できるので詳細な説明は省略するが、ユーザの視点から、ハーフミラー１０１の後ろ側に同じ距離だけ離れて向かい合って立つ仮想のユーザ像の人体パーツを結んだ線と、ハーフミラー１０１との接点上にその人体パーツの鏡像が映る。上記の算出を経てハーフミラー１０１上のユーザの鏡像の位置が得られる場合には、映像提示部１０９は、提示する見本映像に映る人物像の両肩の位置が、そのユーザの鏡像の両肩に重なるように、その映像提示位置を調整する。すなわち、映像の提示サイズや提示位置を変更する。これにより、ユーザの目には、ハーフミラー１０１に映る自分の鏡像の肩から、見本となる人物の腕が上下する様子を見ることができる。その結果、ユーザ自身が腕を動かす際には、自分の肩関節角度が見本の示す最大許容肩関節角度内に収まっているかいないかを、直感的に見て判断することができる。したがって、例えば、理学療法士がずっと付き添っていなくても、ユーザ自身が運動の達成度や適正度を見て判断しながら、運動をすることができる。
【００４８】
また、映像提示部１０９は、画像撮影部１０３からユーザの映る２次元の可視画像を得て、その画像上に見本映像のフレームを重ねて表示してもよい。この場合、アルファブレンディングにより、片方もしくは双方が半透明となって重なり合った映像を映像提示部１０９は提示する。さらには、人体パーツの位置の認識に基づいて、ユーザと人物の肩の位置とが一致するように、双方の提示位置や提示サイズを調整して重ねて表示してもよい。
【００４９】
（処理）
次に、図３に示したフローチャートを参照しながら、本実施形態の見本映像生成装置１００が行う処理について説明する。なお、以下に説明では、処理が始まる前に、ユーザはハーフミラー１０１に向かってその前に立つもしくは座っているものとする。そして、ユーザに付き添う理学療法士の指導に従って、腕を下ろした状態から横に伸ばしてから真上に向けて、ユーザにとって無理のないところまで腕を上げる運動を行っているものとする。なお、この姿勢は、そのユーザにとっての肩関節のリハビリ運動の基準姿勢となる。以上のようにユーザが運動を行っている状態で、ユーザもしくは理学療法士のユーザインタフェースの操作により撮影が指示されると、処理を開始する。
【００５０】
まず、ステップＳ３０１において、画像撮影部１０３により撮影されたユーザの画像を取得する。そして、その画像を、人体認識部１０４、及び表情認識部１０５、場合によって、映像提示部１０９へ送る。そして、ステップＳ３０２において、バイタル計測部１０２により、ハーフミラー１０１の前にいるユーザの体温を計測する。そして、体温の計測値の情報を見本パラメータ決定部１０６へ送る。
【００５１】
次に、ステップＳ３０３において、人体認識部１０４により画像撮影部１０３が撮影したユーザの画像に対する人体パーツの位置を認識する。さらに、表情認識部１０５により画像撮影部１０３が撮影したユーザの画像に対する表情を認識する。そして、これらの認識結果をそれぞれ、見本パラメータ決定部１０６へ送る。
【００５２】
次に、ステップＳ３０４において、見本パラメータ決定部１０６により見本パラメータを決定する。以下の説明では、決定する見本パラメータはユーザに許容される最大許容肩関節角度であるものとする。見本パラメータを決定する際には、ステップＳ３０２にてバイタル計測部１０２から送られるバイタル計測値の情報と、ステップＳ３０３にて人体認識部１０４から送られる人体パーツの位置の認識結果と、表情認識部１０５から送られる表情の認識結果とを用いる。そして、決定結果を見本映像生成部１０８へ送る。
【００５３】
次に、ステップＳ３０５において、見本映像生成部１０８により基本見本データ保持部１０７から前述した見本映像を生成するためのデータを取得する。そして、ステップＳ３０６において、見本映像生成部１０８により前述した手順によって見本映像を生成し、映像提示部１０９へ送る。
【００５４】
次に、ステップＳ３０７において、映像提示部１０９により、見本映像生成部１０８から送られた見本映像を表示する。その際に、人体認識部１０４より人物認識結果（人体パーツの位置の認識結果）を受け取って、それに基づき、見本映像生成部１０８より送られる見本映像の表示位置や表示サイズを調整してもよい。または、画像撮影部１０３より画像を受け取り、その画像と見本映像とを合成して表示するようにしてもよい。
【００５５】
次に、ステップＳ３０８において、画像撮影部１０３による画像の撮影が再度指示されたか否かを判定する。この判定の結果、画像撮影部１０３による画像の撮影が再度指示されていない場合は、ステップＳ３０７へ戻り、ステップＳ３０６で生成された見本映像の表示を継続する。
【００５６】
一方、ステップＳ３０８の判定の結果、画像撮影部１０３による画像の撮影が再度指示された場合は、ステップＳ３０２へ戻る。ここで、画像撮影部１０３による画像の撮影が再度指示される場合とは、ユーザもしくは理学療法士のユーザインタフェースの操作により、ステップＳ３０１以降に再度明示的に撮影の指示が行われる場合がある。さらに、画像撮影部１０３による自動的な画像の撮影指示が行われる場合がある。後者の場合は、さらに、ユーザもしくは理学療法士による明示的なユーザインタフェースの操作により連続的な撮影（すなわち動画撮影）が指示されている場合と、動体検知による撮影（すなわち、ユーザが動いている間の動画撮影）が行われる場合とがある。
【００５７】
ユーザもしくは理学療法士のユーザインタフェースの操作による明示的な再撮影は、例えば、ステップＳ３０１で撮影した画像による見本映像の作成が、ユーザや理学療法士によってやり直しが必要と判断されるような場合に起こる。
【００５８】
一方、画像撮影部１０３による自動的な画像撮影が行われる場合とは、ユーザや理学療法士の操作もしくは動体検知によって動画が撮影される場合である。このときは、処理はステップＳ３０１からステップＳ３０８までを繰り返すこととなる。すると、ステップＳ３０４の処理が行われるたびに、バイタル計測値や人物認識結果に基づいて見本パラメータが決定され続けることとなる。したがって、ユーザの運動中の状況に応じて、常に見本映像が変更されることとなる。これにより、ユーザが見本映像についていけず無理をした運動をしたとしても、即座にそれがバイタル計測値や人物認識結果によって検知され、見本映像がすぐに変更されることとなる。
【００５９】
以上のように本実施形態に係る見本映像生成装置１００によれば、五十肩により肩が上がらなくなった人向けの肩関節のリハビリ運動の見本を、そのリハビリ運動をするユーザの能力や状況に応じて生成し、提示することができる。
【００６０】
なお、本実施形態においては、肩関節のリハビリ運動の見本映像を生成する装置について述べてきたが、同様の装置を他のリハビリ運動の見本映像の生成に適用してもよい。特に、肘や膝などの関節の可動範囲を広げるためのリハビリ運動の見本映像を生成する装置は、本実施形態で説明した見本映像生成装置１００とほぼ同様の構成及び処理により実現できる。
【００６１】
（第２の実施形態）
本実施形態に係る見本映像生成装置は、デイケア・デイサービス施設や高齢者向け住宅施設のリハビリルームやレクリエーションルームなどに設置されるものを想定したものである。そして、これらの施設へ来た高齢者（以下ユーザ）が、施設スタッフである健康運動指導士の指導のもとで利用する。本実施形態においては、健康維持増進のためのスクワット運動の見本映像を生成して提示する例について説明する。
【００６２】
（構成）
図４は、本実施形態に係る見本映像生成装置４００の構成例を示すブロック図である。図４に示す見本映像生成装置４００の構成の一部は、図１に示した見本映像生成装置１００の構成と同様であるので、重複する部分についての詳細な説明は以下では割愛する。すなわち、本実施形態に係る見本映像生成装置４００は、ハーフミラー１０１、バイタル計測部４０２、画像撮影部１０３、人体認識部１０４及び表情認識部４０５を備えている。さらに、見本映像生成装置４００は、見本パラメータ決定部４０６、基本見本データ保持部４０７、見本映像生成部４０８、映像提示部４０９及び重心計測部４１０を備えている。
【００６３】
ハーフミラー１０１の背後には、画像撮影部１０３と映像提示部４０９の表示装置とが配置されている。これにより、ハーフミラー１０１の前にユーザが立つと、ハーフミラー１０１越しに、ユーザの姿勢が映った画像が画像撮影部１０３によって撮影される。また、映像提示部４０９に提示される映像は、ハーフミラー１０１の前に立つユーザに対して、その鏡像越しに提示される。
【００６４】
ハーフミラー１０１の前には、重心計測部４１０が設置されており、重心計測部４１０の上にユーザが乗る構造となっている。重心計測部４１０は、例えば四隅に荷重センサのついた板状の装置であり、上に乗ったユーザの重心位置（重心計測部４１０上の荷重中心）を計測する。また、重心計測部４１０には、例えば形状が既知のマーカが貼られており、そのマーカを画像撮影部１０３が撮影し、その画像を分析することにより、画像撮影部１０３に対する重心計測部４１０の３次元的な位置姿勢を公知の方法により算出できるようにしている。そして、重心計測部４１０は、計測したユーザの重心位置の情報を、見本パラメータ決定部４０６へ送る。
【００６５】
バイタル計測部４０２は、ハーフミラー１０１の前に立つユーザのバイタル値を非接触に計測するセンサである。ここでのバイタル値とは、例えば拍動速度（呼吸による胸の動きの速さ）である。拍動速度を非接触に計測するセンサとしては、胸などに向けて放つ電波の反射波信号の揺らぎから拍動を計測するセンサが一般に知られている。本実施形態におけるバイタル計測部４０２には、そのような公知のセンサを用いる。そして、バイタル計測部４０２は、計測したバイタル値の情報を映像提示部４０９へ送る。
【００６６】
画像撮影部１０３は、ハーフミラー１０１の前に立つユーザの全身を撮像するカメラである。このカメラは、２次元の可視画像を撮影するカメラでもよいし、３次元的な距離画像を撮影するカメラでもよいし、その両方を撮影するカメラであってもよい。不図示のインタフェースを操作することにより、明示的にあるタイミングの姿勢を撮像したり、ハーフミラー前のユーザの様子を連続的に撮像したりすることができる。なお、不図示のインタフェースは、第１の実施形態と同様である。そして、画像撮影部１０３は、撮影した画像を、人体認識部１０４、表情認識部４０５及び見本パラメータ決定部４０６へ送る。
【００６７】
人体認識部１０４は、画像撮影部１０３から送られる画像に映る人物に関する認識処理を行う。ここで行われる人物に関する認識処理は、人体パーツの位置の認識である。本実施形態においては、人体パーツの位置については、画像撮影部１０３に対する３次元的な位置として認識する。なお、画像撮影部１０３から２次元の可視画像を受け取った場合は、人体パーツの位置を２次元的な位置として認識する。人体パーツの位置を認識する処理については、第１の実施形態と同様である。そして、人体認識部１０４は、認識結果を見本パラメータ決定部４０６へ送る。
【００６８】
表情認識部４０５は、ハーフミラー１０１の前に立つユーザの表情から、ユーザが疲労を感じているか否かを認識し、疲労を感じている場合にはどの程度の疲労を感じているかを認識する。
【００６９】
この認識処理では、まず、画像撮影部１０３より受け取る画像から、人の顔に起因する画像特徴が検出される領域を特定する。その特徴量としては、ＨＯＧなどを用いればよい。続いて、特定された領域を正規化した画像が、疲労の程度別の表情をとらえた複数の画像群のうちの、どの群にどの程度類似しているかを認識する。複数の画像群とは、相当な疲労を感じている表情や、休憩を必要とする程度の疲労を感じている表情、軽い疲労を感じている表情、疲労を感じていない表情などの、疲労の程度別の表情画像を集めたものである。
【００７０】
また、例えば、相当な疲労を感じている表情の顔画像群クラスと、疲労を感じていない表情の顔画像群クラスとを分別する判別軸を、線形判別分析（ＬＤＡ）を用いて作成しておく。そして、その判別軸を用いて、正規化した画像領域がどちらのクラスにより類似しているかを判別する。この処理を複数の表情クラス間での比較に関して繰り返すことにより、画像撮影部１０３より受け取る画像領域に映る人物の表情が、疲労の程度別に用意しておく表情のうちの、どれにどの程度類似しているかを認識することができる。
【００７１】
以上の説明では、疲労を感じている表情の認識方法について述べたが、その方法は上記に限られず、一般に知られた他の方法で行ってもよい。そして、表情認識部４０５は、認識結果を映像提示部４０９へ送る。
【００７２】
見本パラメータ決定部４０６は、画像撮影部１０３からハーフミラー１０１の前を撮影した画像を受け取るとともに、人体認識部１０４から人体パーツの認識結果を受け取り、さらに、重心計測部４１０より重心位置の情報を受け取る。そして、これらの情報に基づき見本映像を生成するためのパラメータを生成する。
【００７３】
高齢者向けの、健康維持増進のためのスクワット運動の見本映像を生成して提示する場合においては、見本映像を生成するためのパラメータとして、スクワット中の基準姿勢における身体バランスのパラメータを生成する。スクワットは直立した状態から膝関節の屈曲・伸展を繰り返す運動であるが、この運動中の最も膝関節を屈曲させた時の姿勢を、本実施形態においては基準姿勢とする。そして、その時の腰や膝といった人体パーツの位置とユーザの重心線（重心位置から鉛直上向きに引いた線）との関係（両者を最短で結ぶ線の画像面上での距離）を、その基準姿勢の身体バランスのパラメータとする。
【００７４】
図５に、基準姿勢の例とその身体バランスのパラメータとを模式的に示す。図５（ａ）は、背筋を垂直に保ちながら膝を屈曲させた基準姿勢の一例を示す図であり、図５（ｂ）は、体幹を前屈させながら膝を屈曲させた基準姿勢の一例を示す図である。図５（ａ）及び図５（ｂ）に示すように、膝から重心線までの距離や、腰から重心線までの距離が、身体バランスを示すパラメータとなる。
【００７５】
これらの距離は、画像面上での２次元的な距離である。前述したように、ユーザが取るべき基準姿勢は、そのユーザの能力や状況によって異なる。例えば膝を痛めていない人の場合は図５（ａ）に示すような基準姿勢を取る方が健康維持増進の観点では効果的であるが、膝を痛めている人の場合は、痛みを感じない程度背筋を前傾させる図５（ｂ）に近い基準姿勢の方が良い。実際にスクワット運動をする際には、一般に図５（ａ）及び図５（ｂ）に示す例の中間的な基準姿勢を取るように、ユーザは健康運動指導士に指導される。
【００７６】
見本パラメータ決定部４０６は、画像撮影部１０３により撮影された画像に映るユーザの姿勢を基準姿勢としたときのその身体バランスを示すパラメータを見本パラメータとして算出する。このパラメータは、人体認識部１０４より受け取る人体パーツの位置の認識結果と、重心計測部４１０より受け取る重心位置の情報と、画像撮影部１０３より受け取る画像に基づいて算出される。
【００７７】
具体的には、まず、画像撮影部１０３より受け取る画像に映る重心計測部４１０のマーカから、重心計測部４１０の画像撮影部１０３に対する３次元的な位置姿勢を算出する。この方法については広く知られているので、詳細な説明は割愛する。続いて、重心計測部４１０の画像撮影部１０３に対する３次元的な位置姿勢と、重心計測部４１０の計測結果である重心位置とから、重心線（重心位置から鉛直上向きに引いた直線）の画像撮影部１０３に対する３次元的な位置姿勢を算出する。このとき、画像撮影部１０３と鉛直方向（重力方向）との関係は既知であるものとする。続いて、人体認識部１０４より受け取る画像撮影部１０３に対する３次元的なユーザの人体パーツの位置と、重心線の画像撮影部１０３に対する３次元的な位置姿勢とを用いて、身体バランス（各人体パーツから重心線までの距離）のパラメータを算出する。そして、見本パラメータ決定部４０６は、算出した身体バランスのパラメータを見本映像生成部４０８へ送る。また、人体認識部１０４より受け取る人体パーツの位置の認識結果も、見本映像生成部４０８へ送る。
【００７８】
基本見本データ保持部４０７は、ユーザに提示される見本映像のベースとなる基本見本パラメータを複数保持している。本実施形態では、基準姿勢の身体バランスが図５（ａ）に示すようなスクワット運動を表現するパラメータと、基準姿勢の身体バランスが図５（ｂ）に示すようなスクワット運動を表現するパラメータとの２種の基本見本パラメータを保持している。
【００７９】
スクワット運動を表現するパラメータとは、その運動を行う人体モデルの人体パーツの３次元的な位置パラメータが時系列に並んだものである。加えて、基本見本を示すパラメータには、その運動時の重心線の位置を示すパラメータも含まれている。そのようなパラメータを作成する方法として公知の方法を用いればよい。すなわち、例えば人物による２種のスクワット動作を、モーションキャプチャシステムにより撮影して得る人体パーツ位置を、スクワット運動を表現するパラメータとすればよい。そして、その際の人物の実際の重心位置を計測しておけば、その結果が重心線の位置を示すパラメータとなる。これらの２種の基本見本パラメータは、見本映像生成部４０８から参照される。なお、２種の基本見本パラメータは３次元座標として表現されるが、それぞれの基準姿勢時の重心線は、同じ位置にあるように正規化されているものとする。
【００８０】
見本映像生成部４０８は、見本パラメータ決定部４０６より基準姿勢の身体バランスを示すパラメータを受け取り、基本見本データ保持部４０７より基本見本パラメータを参照する。そして、両パラメータを用いて見本映像を生成する。
【００８１】
まず、見本映像生成部４０８は、基本見本データ保持部４０７より参照する基本見本パラメータに表現されている人体パーツの位置を、見本パラメータ決定部４０６より受け取る人体パーツの位置の認識結果に合うように修正する。つまり、連結する人体パーツ間（肩と肘、腰と膝、など）の距離が見本パラメータ決定部４０６より受け取る人体パーツの位置の認識結果と相対的に同じになるように、基本見本パラメータに表現されている人体パーツの位置を修正する。これにより、基本見本パラメータに表現されている人体パーツのプロポーションが、画像撮影部１０３によって撮影されたユーザのプロポーションと一致する。さらに、その修正結果を、重心線の位置を示すパラメータにもシミュレーションベースで反映させる。例えば、基本見本パラメータに表現されている人体パーツ位置の、修正前の平均位置と修正後の平均位置との差を、そのまま重心線の位置に適用する。
【００８２】
続いて、見本映像生成部４０８は、修正後の２種の基本見本パラメータの、基準姿勢に対する人体パーツの位置から身体バランスのパラメータを算出する。この結果、見本映像生成部４０８は、見本パラメータ決定部４０６から得られる身体バランスのパラメータと、２種の基本見本パラメータから得る２つの身体バランスのパラメータとの３つの身体バランスのパラメータを得ることとなる。
【００８３】
ここで、見本パラメータ決定部４０６で得られる身体バランスに表現された膝と重心線とを最短で結ぶ線の画像面上での距離をｄｘとする。そして、２種の見本映像から得られる身体バランスに表現された２つの膝と重心線とを最短で結ぶ線の画像面上での距離をそれぞれ、ｄａ、ｄｂとする。このとき、距離ｄａは、図５（ａ）に示す基本姿勢に対応し、距離ｄｂは、図５（ｂ）に示す基本姿勢に対応する。
【００８４】
見本パラメータ決定部４０６で得られる身体バランスが、図５（ａ）及び図５（ｂ）に示した身体バランスの中間的な姿勢である場合は、距離ｄａ＞距離ｄｘ＞距離ｄｂの関係となる。この場合、見本映像生成部４０８は、２種の基本見本パラメータに表現されている膝パーツの位置座標を、（距離ｄｘ−距離ｄｂ）：（距離ｄａ−距離ｄｘ）の割合で足し合わせる。そうして得られる位置座標と重心線とを最短で結ぶ線の画像面上での距離は、距離ｄｘになる。
【００８５】
例えば、画像面をＺ＝０とし、２種の基本見本パラメータに表現されている膝パーツの位置座標をそれぞれ、Ａ（３，１，４）、Ｂ（１，３，０）とする。そして、見本パラメータ決定部４０６から得る身体バランスに表現された距離ｄｘが２であるものとする。このとき、重心線がＸ＝Ｚ＝０である場合、距離ｄａ＝３、距離ｄｂ＝１となるので、（距離ｄｘ−距離ｄｂ）：（距離ｄａ−距離ｄｘ）＝１：１となる。よって、Ａ、Ｂの座標を１：１で足し合わせると、（３，１，４）×０．５＋（１，３，０）×０．５＝（２，２，２）となる。この座標と重心線Ｘ＝Ｚ＝０を最短で結ぶ線の画像面上の距離は２であり、距離ｄｘと一致する。
【００８６】
見本映像生成部４０８は、このようにして得られた位置座標を、見本映像中の膝の位置座標とする。見本映像生成部４０８は、他の人体パーツに関しても同様にして、足し合わせの割合を決定し、見本映像中の位置座標を算出する。そして、見本映像生成部４０８は、人体パーツごとに決定した足し合わせの割合を、２種の基本見本パラメータの全体に適用する。これにより、２種の基本見本パラメータに示されるスクワットを足し合わせた姿勢で、かつ、基準姿勢時の身体バランスが画像撮影部１０３によって撮影されたユーザの姿勢と一致するスクワット運動を表現するパラメータを得ることができる。見本映像生成部４０８は、こうして得られたパラメータを人体モデルに適用することによって、見本映像となるＣＧ映像を生成する。
【００８７】
なお、２種の基本見本パラメータを足し合わせる割合を人体パーツごとに決定する例について説明したが、例えば、ある一つの割合を人体パーツの全部に適用してもよいし、足し合わせの割合の平均を人体パーツの全部に適用してもよい。さらには、２種の基本見本パラメータの足し合わせではなく、３種以上の基本見本パラメータを足し合わせるようにしてよい。見本映像生成部４０８は、以上のような手順により作成された見本映像を映像提示部４０９へ送る。
【００８８】
映像提示部４０９は、見本映像生成部４０８より見本映像を受け取り、提示（表示）する。映像提示部１０９はハーフミラー１０１の背面に設置されているので、ハーフミラー１０１の前に立つユーザは、ハーフミラー１０１に映る自分を含む鏡像に重ねて、見本映像を見ることとなる。
【００８９】
また、映像提示部４０９は、バイタル計測部４０２からバイタル計測値である拍動速度の情報を受け取り、表情認識部４０５からユーザの表情の認識結果を受け取る。表情の認識結果には、ユーザの疲労度が表現されている。映像提示部４０９は、拍動速度と疲労度とに応じて、ユーザに提示する見本映像の表示時間を変更する。すなわち、受け取った拍動速度があらかじめ設定しておく平常のスクワット運動時の拍動速度に比べて早い場合には、ユーザに提示する見本映像の表示時間を短くする。同様に、受け取った表情の認識結果に示されるユーザの疲労度が高い場合には、ユーザに提示する見本映像の表示時間を短くしたり、程度によっては見本映像の提示を停止したりする。
【００９０】
（処理）
次に、図６に示したフローチャートを参照しながら、本実施形態の見本映像生成装置４００が行う処理について説明する。なお、以下の説明では、処理が始まる前に、ユーザはハーフミラー１０１の前の重心計測部４１０の上に立っているものとする。その際ユーザは、画像撮影部１０３に対して横向きに立ってもよいし、向き合って立ってもよい。そして、ユーザに付き添う健康運動指導士の指導に従って、スクワット運動における基準姿勢を取っているものとする。また、健康運動指導士の指導に基づくその姿勢は、ユーザの能力や状況にあった、体を痛めず、かつ、適切な運動効果を期待できるスクワットにおける基準姿勢であるものとする。以上のようにユーザが基本姿勢を取っている状態で、ユーザもしくは健康運動指導士によるインタフェースの操作により撮影が指示されると、処理を開始する。
【００９１】
まず、ステップＳ６０１において、画像撮影部１０３によりユーザの画像を撮影する。そして、その画像を人体認識部１０４及び見本パラメータ決定部４０６へ送る。
【００９２】
次に、ステップＳ６０２において、人体認識部１０４により画像撮影部１０３が撮影したユーザの画像に対する人物認識処理を行う。ここでの人物認識処理とは、人体パーツの位置の認識である。そして、認識結果を見本パラメータ決定部４０６へ送る。
【００９３】
次に、ステップＳ６０３において、見本パラメータ決定部４０６により、見本パラメータの決定がなされる。本実施形態においては、見本パラメータはステップＳ６０１にて撮影されたユーザの姿勢における身体バランスを示すパラメータである。見本パラメータを決定する際には、ステップＳ６０２にて人体認識部１０４から送られる認識結果を用いる。そして、決定結果を見本映像生成部４０８へ送る。
【００９４】
次に、ステップＳ６０４において、見本映像生成部４０８により基本見本データ保持部４０７から見本映像を生成するためのデータ（基本見本パラメータ）を取得する。そして、ステップＳ６０５において、見本映像生成部４０８により前述した手順によって見本映像を生成し、映像提示部４０９へ送る。
【００９５】
次に、ステップＳ６０６において、バイタル計測部４０２によりハーフミラー１０１の前にいるユーザの拍動速度を計測する。さらに、表情認識部４０５により画像撮影部１０３が撮影した画像に映るユーザの表情を認識する。そして、バイタル計測部４０２及び表情認識部４０５は、それぞれの結果を映像提示部４０９へ送る。そして、映像提示部４０９により見本映像の表示時間を決定する。見本映像の表示時間を決定する方法については後述する。
【００９６】
次に、ステップＳ６０７おいて、映像提示部４０９により見本映像生成部４０８から受け取った見本映像を提示するか否かを判定する。この判定は、見本映像が規定される表示時間表示されているかどうかによってなされる。この判定の結果、見本映像が規定される表示時間表示された場合は、ステップＳ６０９へ進み、全体の処理は終了する。
【００９７】
一方、ステップＳ６０７の判定の結果、規定される表示時間表示されていない場合は、ステップＳ６０８において、映像提示部４０９により見本映像をそのまま提示（表示）する。そして、ステップＳ６０６に戻る。
【００９８】
ここで、規定される見本映像の表示時間は、映像提示部４０９に送られるユーザの拍動速度の計測値と、ユーザの表情の認識結果とに基づいて変更される場合がある。例えば、ユーザの拍動速度の計測値が、予め設定された平常のスクワット運動時の拍動速度と同程度かそれ以下であり、かつ、表情の認識結果に示されるユーザの疲労度が低い場合は、通常の規定される表示時間のままとなる。
【００９９】
逆に、ユーザの拍動速度の計測値が、予め設定された平常のスクワット運動時の拍動速度よりも速かったり、表情の認識結果に示されるユーザの疲労度が高かったりした場合は、見本映像の表示時間を、拍動速度や表情の認識結果に応じて短くする。このようにステップＳ６０６では、拍動速度や表情の認識結果に応じて見本映像の表示時間を調整する。このように、ユーザがスクワット運動中に過度に疲労したり、呼吸が荒くなったりするような場合には、見本映像の表示時間が短くなったり、見本映像の提示自体が突然終了したりする。これにより、ユーザの状況に合わせた、無理のない長さの見本映像を提示することができる。
【０１００】
以上のように本実施形態に係る見本映像生成装置４００によれば、高齢者向けの、健康維持増進のためのスクワット運動に関し、その運動をするユーザの能力に応じた姿勢の見本映像を生成することができる。さらに、その見本映像をユーザの運動中の状況に応じた長さで提示することができる。
【０１０１】
なお、本実施形態においては、スクワット運動の見本映像を生成する装置について述べてきたが、同様の装置を他のリハビリ運動の見本映像の生成に適用してもよい。特に、運動中の身体バランスにバリエーションのある運動の見本映像を生成する装置は、本実施形態で説明した見本映像生成装置４００とほぼ同様の構成及び処理により実現できる。
【０１０２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、図７に示すネットワーク７０４、７０７又は各種記憶媒体７０２、７０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のＣＰＵ７０１がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部７０５から処理を実行する指示を入力し、表示部７０６で指示した処理の結果を表示してもよい。
【符号の説明】
【０１０３】
１０２ バイタル計測部
１０３ 画像撮影部
１０４ 人体認識部
１０５ 表情認識部
１０６ 見本パラメータ決定部
１０７ 基本見本データ保持部
１０８ 見本映像生成部
１０９ 映像提示部
【技術分野】
【０００１】
本発明は映像生成装置、映像生成方法及びプログラムに関し、特に、運動等の見本映像を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
五十肩の改善や、足腰の筋力強化や、メタボリック症候群対策など、運動が有用な健康増進策となる事例は多い。ただし単に運動をすれば良いのではなく、身体の状況に応じたメニューや負荷を適切に選んで運動することが肝要である。そういった適切な運動を指導するために、理学療法士や健康運動指導士といった専門職も存在する。
【０００３】
運動を指導する際に、運動の見本を映像で見せることは直感的でわかり易い。多くの理学療法士や健康運動指導士も、指導現場で運動の見本映像を利用している。しかしながら、万人向けの見本となる運動は存在せず、運動をする人の能力や状況に応じて、適切な体の動かし方や負荷のかけ方が細かく異なる。運動をする人に対して提示する見本映像もその人の能力や状況に合ったものである方がより望ましいが、実際問題として個別に手本を作成するのは手間もコストも多くかかってしまう。そこで、例えば怪我から復帰するリハビリ時など、より慎重な運動が求められる場合ほど、見本映像は参考程度として利用され、理学療法士や健康運動指導士などが手間と時間とをかけて運動を指導している。
【０００４】
こうした状況に関連し、運動をする人の能力に合わせた見本映像を生成して提示する技術が、特許文献１に開示されている。この特許文献１に記載の技術では、見本映像を見ながら運動する人をカメラで撮影し、その映像に基づき運動をする人が見本の運動に対応して追従できているか否かを判断する。そして、追従できていない場合には見本の運動レベルを下げたり、表示速度を下げたりしている。そして、この技術を用いることにより、運動する人の能力に合った運動量の見本映像を提示することができると記載されている。
【０００５】
同様に、運動をする人の状況に合わせた見本映像を提示する技術が、特許文献２に開示されている。この特許文献２には、運動する人が鍛えたい身体部位や機能回復したい身体部位の情報を入力すると、消費カロリー等を指標とした運動メニューが構築され、その運動の見本が人体モデルにより提示される技術が開示されている。そして、この技術を用いることにより、運動する人の状況（希望）に合った運動量の見本映像を提示することができると記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１３７８２号公報
【特許文献２】特許第３４７２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の公知の技術では、運動する人の能力や状況に合った姿勢の見本映像を生成して提示することはできない。
【０００８】
例えば、五十肩の改善を目指すリハビリ運動では、できる範囲で肩を徐々に大きく動かす運動を行うが、決して無理をせず、痛みを感じない範囲で動かすことが必要である。すなわち、人によって肩を動かしてよい範囲が異なる。特許文献１に示された技術では、見本に追従しているかどうかにより見本内容が決定されるので、肩を大きく動かす見本に無理をして追従してしまった場合には、そのまま無理を続けさせる不適切な見本映像を生成して提示してしまう。したがって、運動量ではなく姿勢に関して運動する人に合った見本を提示する目的には、特許文献１に示された技術の利用は適当でない。
【０００９】
また、例えば、下半身の筋力強化に有効な運動であるスクワットには、背筋を垂直に保ったまま膝を屈曲させる方法から、無理に背筋を反らさずにやや前傾しながら膝を屈曲させる方法まで、いくつかのバリエーションがある。そして、どのようにスクワットすべきであるかは、運動する人の状況によって異なる。例えば膝を痛めていない人であれば背筋を垂直に保ちながら太ももが床と並行になるまで深く膝を屈曲させる方法が効果的であるが、膝を痛めている人であれば、痛みを感じない程度背筋を前傾させて軽く膝を屈曲させる方が良い。また、腰を痛めている人であれば、背筋は垂直の方が良く前傾姿勢はよろしくないが、痛みがないときよりは軽く膝を屈曲させる方が良い。そうすると、特許文献２に示された技術を用いて単に身体部位を指定するだけでは、適切に運動（姿勢）を決めることはできないと言える。
【００１０】
特許文献２に開示されている技術を発展させ、単に鍛えたい部位を入力するだけでなく、痛みを感じる関節やその程度なども入力することにより、より適切な姿勢の運動見本を生成・提示できる可能性はある。ところが、より適切に内容を設定しようと思う程、事前に入力すべき情報の数が増えていき、その入力の手間がかかって使い勝手が悪いという新たな課題が生まれてしまう。
【００１１】
本発明は前述の問題点に鑑み、少ない手間で、運動する人に合った姿勢の見本映像を生成して提示できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の映像生成装置は、人物を撮像した画像を取得する取得手段と、前記画像に映る人物の人体を認識する人体認識手段と、前記画像に映る人物の状態に関する情報を入力する情報入力手段と、前記人物が運動している基本映像に係るデータを保持する保持手段と、認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成手段と、生成された前記見本映像を表示装置に表示する表示制御手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ユーザの能力や状況に合った姿勢での運動の見本映像を簡単に生成して提示することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る見本映像生成装置の構成例を示すブロック図である。
【図２】リハビリ経過日数とα値との対応モデルの一例を示す図である。
【図３】第１の実施形態における見本映像を生成する処理手順の一例を示すフローチャートである。
【図４】第２の実施形態に係る見本映像生成装置の構成例を示すブロック図である。
【図５】スクワットの基準姿勢の一例を示す図である。
【図６】第２の実施形態における見本映像を生成する処理手順の一例を示すフローチャートである。
【図７】その他の実施形態におけるハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
本実施形態では、まず、理学療法士や健康運動指導士といった専門家が運動する人（以下ユーザ）の能力と状況とを勘案して設定する運動中の基準姿勢を撮影して画像として入力する。そして、その画像に基づいてそのユーザに合った内容の見本映像を生成して提示する例について説明する。一般に、理学療法士や健康運動指導士がユーザに運動内容を指導する際には、手取り足取りしながらユーザにしかるべき姿勢を実際にとってもらう。本実施形態では、その時の姿勢を撮影し、その画像に映る姿勢を認識することにより、画像に映るユーザの姿勢に応じた見本映像を、事前に保持する基本映像を編集することによって生成し、それを提示する。加えて、ユーザの運動中の姿勢も撮影しその画像に映る姿勢を認識すれば、その姿勢に応じて適宜見本映像を変更して提示することも可能である。
【００１６】
本実施形態に係る見本映像生成装置は、例えば、病院の整形外科やリハビリテーション科の施術室やリハビリテーション室などに設置され、そこへ来た患者（以下ユーザ）が理学療法士の指導のもとで利用するものである。また、本実施形態に係る見本映像生成装置では、五十肩により肩が上がらなくなった人向けの、肩関節のリハビリ運動の見本を生成して提示する。
【００１７】
（構成）
図１は、本実施形態に係る見本映像生成装置１００の構成例を示すブロック図である。
図１に示すように、本実施形態に係る見本映像生成装置１００は、ハーフミラー１０１、バイタル計測部１０２、画像撮影部１０３、人体認識部１０４及び表情認識部１０５を備えている。さらに、見本パラメータ決定部１０６、基本見本データ保持部１０７、見本映像生成部１０８及び映像提示部１０９を備えている。
【００１８】
ハーフミラー１０１の背後には、画像撮影部１０３と映像提示部１０９に係る表示装置とが配置されている。これにより、ハーフミラー１０１の前にユーザが立つ（もしくは座る）と、ハーフミラー１０１越しに、ユーザの姿勢が映った画像を画像撮影部１０３によって撮影することができる。また、映像提示部１０９に提示される映像は、ハーフミラー１０１の前に立つ（もしくは座る）ユーザに対して、その鏡像越しに提示される。
【００１９】
バイタル計測部１０２は、ハーフミラー１０１の前に立つユーザのバイタル値を非接触に計測するセンサである。ここでのバイタル値とは、例えば体温（皮膚温度）である。体温を非接触に計測するセンサとしては、人体の発熱によって発生する赤外線を検出して体温を測るセンサが一般に知られている。本実施形態におけるバイタル計測部１０２には、そのような公知のセンサを用いる。体温の計測に関しては、人体の特定部分の体温を計測するものでもよいし、人体全体の体温マップを計測するものでもよい。そして、バイタル計測部１０２は、計測したバイタル値の情報を見本パラメータ決定部１０６へ送る。なお、他の計測値としては、発汗度や血流量などが挙げられる。
【００２０】
画像撮影部１０３は、ハーフミラー１０１の前に立つユーザの全身を撮像するカメラである。このカメラは、２次元の可視画像を撮影するカメラでもよいし、３次元的な距離画像を撮影するカメラでもよいし、その両方を撮影するカメラであってもよい。不図示のユーザインタフェースを操作することにより、明示的にあるタイミングの姿勢を撮像したり、ハーフミラー１０１前のユーザの様子を連続的に撮像したりすることができる。
【００２１】
不図示のユーザインタフェースとは、例えば画像撮影部１０３につながるスイッチやキーボードである。もしくは、画像撮影部１０３につながるマイクで録音する音声を認識することにより実現する音声インタフェースでもよく、画像撮影部１０３自身の映像を認識することにより実現するジェスチャインタフェースでもよい。また、ユーザインタフェースの操作は、ハーフミラー１０１前のユーザ自身により行われてもよく、ユーザに付き添って運動の仕方を指導する理学療法士により行われてもよい。
【００２２】
また、画像撮影部１０３は、ユーザや理学療法士による明示的な操作なしに画像を撮影できるようにしてもよい。例えば、ユーザや理学療法士により一度の明示的な操作が行われた後に、連続的に画像を撮り続け、動画として撮影してもよい。もしくは、画像撮影部１０３が動体検知機能を備え、その撮影範囲に動体を検知するたびに画像を撮影してもよい。この場合、ユーザが動き続けている間の動画が撮影されることとなる。そして、画像撮影部１０３は、撮影した画像を、人体認識部１０４及び表情認識部１０５へ送る。また、画像撮影部１０３が撮影する画像は、場合よっては映像提示部１０９へも送られる。
【００２３】
人体認識部１０４は、画像撮影部１０３から送られる画像に映る人物の人体パーツの位置を認識する。人体パーツの位置は、画像面上の位置として２次元的に認識してもよいし、現実空間での位置として３次元的に認識してもよい。人体パーツの位置を２次元的に認識する場合は、例えば画像撮影部１０３より受け取る画像（２次元の可視画像）から、あらかじめ用意した人体パーツに起因する画像特徴を探索する。
【００２４】
人体パーツとは、例えば、顔、頭、手、腕、足、膝、肩、腰、胸、臍、背中などである。それぞれは、撮影される向きによって映像特徴が異なるので、例えば顔に関しては、正面顔パーツ、横顔パーツ、下向き顔パーツ、などと、方向別に複数の画像特徴を用意し、それらを探索する。画像特徴としては、局所領域における勾配方向をヒストグラム化した特徴量であるＨＯＧ（Histograms of Oriented Gradients）特徴量などを利用する。各人体パーツに起因する画像特徴は、それらが映る画像を多量に集めて、それらに含まれる特徴量に共通するものを、例えばＢｏｏｓｔｉｎｇと呼ばれるアルゴリズムを用いて、統計的に学習することによって決定する。そのようにして決定される各人体パーツに起因する画像特徴が、画像撮影部１０３より受け取る画像から探索されると、特徴が探索された位置にその人体パーツがあると認識する。なお、これ以外の公知の方法で人体パーツの位置の認識を行ってもよい。
【００２５】
人体パーツの位置を３次元的に認識する場合は、まず、画像撮影部１０３より受け取る画像（３次元の距離画像）にセグメンテーションを施して人物領域を特定する。例えばハーフミラー１０１から距離１ｍ〜２ｍ程度離れた位置にある人体程度の大きさの領域を切り出す。そして、あらかじめ用意した人体モデルを、そのパーツ位置を変更しながら特定した人体領域にあてはめる。人体領域に適切に人体モデルがあてはめることができた場合は、その人体モデルにおける各人体パーツの位置が認識結果となる。なお、これ以外の公知の方法で認識を行ってよい。
【００２６】
ここで、画像撮影部１０３から２次元の可視画像と３次元の距離画像との両方を受け取る場合には、人体認識部１０４は上記２つの人体パーツ位置の認識を両方で行ってもよい。その際は、前者の２次元的な人体パーツ位置認識結果と矛盾しないように、後者の３次元的な人体パーツ位置認識結果を補正して、より正しい３次元的な人体パーツ位置を認識するようにする。
【００２７】
以上、人体パーツの位置の認識方法について述べたが、その方法は上記に限られず、一般に知られた他の方法で行っても、もちろんよい。そして、人体認識部１０４は、認識結果を見本パラメータ決定部１０６へ送る。また、場合により、その認識結果を映像提示部１０９にも送る。
【００２８】
表情認識部１０５は、画像撮影部１０３から送られる画像に映るユーザの表情から、ユーザが痛みを感じているか否かを認識し、痛みを感じている場合にはどの程度の痛みを感じているかを認識する。
【００２９】
この認識処理では、まず、画像撮影部１０３より受け取る画像から、人の顔に起因する画像特徴が検出される領域を特定する。その特徴量としては、ＨＯＧなどを用いればよい。続いて、特定された領域を正規化した画像が、痛みの程度別の表情をとらえた複数の画像群のうちの、どの群にどの程度類似しているかを認識する。複数の画像群とは、激しい痛みを感じている表情や、耐えられる程度の痛みを感じている表情、軽い痛みを感じている表情、痛みを感じていない表情などの、痛みの程度別の表情画像を集めたものである。
【００３０】
また、例えば、激しい痛みを感じている表情の顔画像群クラスと、痛みを感じていない表情の顔画像群クラスとを分別する判別軸を、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）を用いて作成しておく。そして、その判別軸を用いて、正規化した画像領域がどちらのクラスにより類似しているかを判別する。この処理を複数の表情クラス間での比較に関して繰り返すことにより、画像撮影部１０３より受け取る画像領域に映る人物の表情が、痛みの程度別に用意しておく表情のうちの、どれにどの程度類似しているかを認識することができる。
【００３１】
以上の説明では、痛みを感じている表情の認識方法について述べたが、その方法は上記に限られず、一般に知られた他の方法で行ってもよい。そして、表情認識部１０５は、認識結果を見本パラメータ決定部１０６へ送る。
【００３２】
見本パラメータ決定部１０６は、バイタル計測部１０２から体温を示すバイタル値の情報を受け取るとともに、人体認識部１０４から人体パーツの認識結果を受け取り、さらに、表情認識部１０５から表情の認識結果を受け取る。そして、これらの情報に基づき見本映像を生成するためのパラメータを生成する。
【００３３】
五十肩により肩が上がらなくなった人向けの、肩関節のリハビリ運動の見本映像を生成して提示する場合においては、見本映像を生成するためのパラメータとしてユーザに許容される最大許容肩関節角度の情報を生成する。ここでの肩関節角度とは、伸ばした腕と体の側面とのなす角度である。すなわち、腕を下におろした状態の肩関節角度が０度、腕を伸ばしたまま真横に上げた状態の肩関節角度が９０度、そこからさらに腕を真上に上げた状態の肩関節角度が１８０度となる。五十肩の改善を目指すリハビリ運動においては、ユーザの能力や状態に合わせて、無理のない範囲で肩関節角度を広げる訓練を行う。見本映像を生成するためのパラメータであるユーザに許容される最大許容肩関節角度とは、この無理のない範囲を示すものである。
【００３４】
見本パラメータ決定部１０６は、画像撮影部１０３により撮影された画像に映るユーザの肩関節角度をユーザに許容される最大許容肩関節角度の基準値とし、その基準値を人体認識部１０４から受け取る人体パーツの認識結果に基づいて算出する。例えば、人体パーツ認識結果に含まれる肩の位置と手先の位置を結んだベクトルと、肩の位置とその同じ側の腰（骨盤）の位置を結んだベクトルとのなす角度を、人体認識部１０４から受け取る人体パーツの認識結果に基づいて算出する。この角度は、画像面上で２次元的に算出される角度でもよいし、３次元的な人体パーツの位置に基づいて３次元的に算出される角度でもよい。いずれにせよ、実際に何度であるかの精度が必要となる算出ではなく、基準となる数値を得るための算出である。
【００３５】
算出される基準値は、画像撮影部１０３により撮影された画像に映るユーザの姿勢から算出されるものであるから、そのユーザが実際に腕を上げることのできた状態を反映している。このように見本パラメータ決定部１０６は、この基準値をそのまま無理のない範囲を示すものとして、最大許容肩関節角度とすることができる。一方、実際の運用の仕方の一つでは、ユーザに付き添って運動の仕方を指導する理学療法士が、様々な判断に基づいてそのユーザに許容される最大許容肩関節角度まで腕を上げさせ、その姿勢を画像撮影部１０３で撮影することが想定される。この場合も、画像撮影部１０３により撮影された画像に映るユーザの姿勢は、まさにそのユーザに許容される無理のない範囲まで腕を上げた状態を反映していると言える。
【００３６】
また、見本パラメータ決定部１０６は、基準値をそのまま最大許容肩関節角度としなくても、もちろんよい。例えば、回復期と呼ばれるリハビリ開始から十分に日数が経った時期においては、積極的に肩関節を広げていくことが必要である。そのような時期においては、見本パラメータ決定部１０６は、ユーザが実際に腕を上げることのできた状態を反映している基準値よりも広い角度を許容するように、基準値＋αを最大許容肩関節角度としてもよい。このα値は、理学療法士やユーザ自身が不図示のユーザインタフェースを介してリハビリ運動開始からの経過日数を入力することにより、見本パラメータ決定部１０６により内部に持つ例えば図２に示すリハビリ経過日数とα値との対応モデルを参照して決定される。
【００３７】
また、見本パラメータ決定部１０６は、バイタル計測部１０２から受け取るバイタル計測値である体温に基づいてα値を決定してもよい。すなわち、バイタル計測部１０２から受け取るユーザの肩周辺の体温計測値が高いほど、肩周辺の筋肉が十分にほぐれていると判断できるため、この場合にはα値を大きめに設定する。例えば、準備運動などにより筋肉がほぐれていて体温が上昇している場合には、体温の上昇に応じて最大許容肩関節角度は大きく決定される。一方、逆にまだ筋肉がほぐれておらず体温の上昇が不十分である場合は、最大許容肩関節角度は小さく決定される。
【００３８】
さらに、見本パラメータ決定部１０６は、表情認識部１０５から受け取る表情の認識結果に基づいてα値を決定してもよい。すなわち、表情認識部１０５から受け取る表情の認識結果から、痛みを感じていない時の表情を示しているほど、画像撮影部１０３により撮影されたユーザの姿勢に無理はないと判断できるため、見本パラメータ決定部１０６はα値を大きめに設定する。逆に、表情認識部１０５から受け取る表情の認識結果から、痛みを感じている時の表情を示しているほど、画像撮影部１０３により撮影されたユーザの姿勢に無理があると判断できるため、見本パラメータ決定部１０６はα値をマイナスに設定する。このように、画像撮影部１０３により撮影された時にユーザが痛みを感じていることが表情に出るほど無理をしていた場合には、それに応じて無理をさせないような最大許容肩関節角度が決定されることとなる。以上のようにバイタル計測部１０２及び表情認識部１０５がユーザの状態に関する情報入力を行うことにより、α値が反映される。
【００３９】
また、前述したリハビリ開始からの経過日数や、バイタル計測値、表情認識結果とα値との対応関係は、あらかじめ決めておくものとする。ただし、ユーザによって適切なα値の大きさは異なるので、その対応関係は事前に微調整できるものとする。例えば、本実施形態によって提示される見本映像を見て運動を行ったユーザの意見や、それを観察していた理学療法士の判断により、α値の過不足を次の運動の前に調整しておくことが可能である。見本パラメータ決定部１０６は、最大許容肩関節角度のパラメータを決定すると、その情報を見本映像生成部１０８へ送る。
【００４０】
基本見本データ保持部１０７は、ユーザに提示する見本映像を生成するためのデータを保持している。例えば、腕を下ろした状態から横に伸ばして真上に上げ、その後また横に伸ばして下におろす、という運動を人物が繰り返す様子を撮影した基本映像のデータが、基本見本データ保持部１０７に保持されている。そして、その映像の各フレームには、そのフレームに映る人物の肩関節角度がタグ付けされている。さらに、そのタグ（肩関節角度）は、人体認識部１０４で実現されるものと同様の人体パーツの位置の認識処理等に基づいて行われているものとする。また別の例として、基本見本データ保持部１０７は、腕を下ろした状態から横に伸ばして真上に上げ、その後また横に伸ばして下におろす、という運動を表現するモーションデータを、見本映像を生成するためのデータとして保持してもよい。このような見本映像を生成するためのデータは、見本映像生成部１０８から参照される。
【００４１】
見本映像生成部１０８は、見本パラメータ決定部１０６より最大許容肩関節角度の情報を受け取り、基本見本データ保持部１０７から見本映像を生成するためのデータを参照する。そして、両データを用いて見本映像を生成する。
【００４２】
まず、見本映像を生成するためのデータが、見本となる運動をする人物を撮影した基本映像の場合について説明する。この場合、見本映像生成部１０８は、見本パラメータ決定部１０６より受け取る最大許容肩関節角度の情報と、基本見本データ保持部１０７より受け取った基本映像の各フレームにタグ付けされている肩関節角度の情報とを比較する。そして、タグに示された肩関節角度が、最大許容肩関節角度よりも小さいフレームのみを抜き出し、結合する。これにより、基本見本データ保持部１０７に保持された映像には映っている最大許容肩関節角度以上に腕を上げるシーンが取り除かれた、基本映像の一部からなる映像が生成される。見本映像生成部１０８は、この結合された映像を見本映像として映像提示部１０９へ送る。
【００４３】
次に、見本映像を生成するためのデータが、見本となる運動を表現するモーションデータの場合について説明する。この場合、見本映像生成部１０８は、基本見本データ保持部１０７に保持されているモーションデータから、肩関節角度が見本パラメータ決定部１０６より受け取る最大許容肩関節角度を超えない部分のみを取り出す。そして、このようにして取りだしたモーションデータをＣＧの人体モデルに適用することにより、見本となる運動を人体モデルが行うＣＧ映像を生成する。これにより、基本見本データ保持部１０７に保持されているモーションデータには存在する最大許容肩関節角度以上に腕を上げる部分が取り除かれたモーションが、ＣＧ映像として生成される。見本映像生成部１０８は、このＣＧ映像を見本映像として映像提示部１０９へ送る。
【００４４】
映像提示部１０９は、見本映像生成部１０８より見本映像を受け取り、提示するよう表示制御を行う。映像提示部１０９はハーフミラー１０１の背面に設置されているので、ハーフミラー１０１の前に立つユーザは、ハーフミラー１０１に映る自分を含む鏡像に重ねて、見本映像を見ることとなる。
【００４５】
このとき、映像提示部１０９は、提示する見本映像に映る人物像の両肩の位置が、そのユーザの鏡像の両肩に重なるように、映像提示部１０９はその映像の提示位置（表示位置）を調整してもよい。その場合、映像提示部１０９は、不図示のユーザインタフェース操作を介して、ユーザの身長や肩幅などのユーザの人体サイズの情報を既知の値として得ているとともに、人体認識部１０４からはユーザの人体パーツの位置の認識結果を得ているものとする。そしてその両データから、映像提示部１０９は画像撮影部１０３とユーザとの現実空間における位置関係（距離）を算出する。
【００４６】
具体的には、認識結果として得る頭部と足先や、両肩との画像上での距離が、実際のユーザの身長や肩幅に合致するのに必要な、画像撮影部１０３とユーザとの距離をニュートン法などの公知の方法により算出する。そうすると、ハーフミラー１０１と画像撮影部１０３との位置関係が固定されていることから、ハーフミラー１０１とユーザとの現実空間における位置関係（距離）も求めることができる。したがって、その関係によりハーフミラー１０１上のユーザの鏡像の位置も算出することができる。
【００４７】
公知の方法で算出できるので詳細な説明は省略するが、ユーザの視点から、ハーフミラー１０１の後ろ側に同じ距離だけ離れて向かい合って立つ仮想のユーザ像の人体パーツを結んだ線と、ハーフミラー１０１との接点上にその人体パーツの鏡像が映る。上記の算出を経てハーフミラー１０１上のユーザの鏡像の位置が得られる場合には、映像提示部１０９は、提示する見本映像に映る人物像の両肩の位置が、そのユーザの鏡像の両肩に重なるように、その映像提示位置を調整する。すなわち、映像の提示サイズや提示位置を変更する。これにより、ユーザの目には、ハーフミラー１０１に映る自分の鏡像の肩から、見本となる人物の腕が上下する様子を見ることができる。その結果、ユーザ自身が腕を動かす際には、自分の肩関節角度が見本の示す最大許容肩関節角度内に収まっているかいないかを、直感的に見て判断することができる。したがって、例えば、理学療法士がずっと付き添っていなくても、ユーザ自身が運動の達成度や適正度を見て判断しながら、運動をすることができる。
【００４８】
また、映像提示部１０９は、画像撮影部１０３からユーザの映る２次元の可視画像を得て、その画像上に見本映像のフレームを重ねて表示してもよい。この場合、アルファブレンディングにより、片方もしくは双方が半透明となって重なり合った映像を映像提示部１０９は提示する。さらには、人体パーツの位置の認識に基づいて、ユーザと人物の肩の位置とが一致するように、双方の提示位置や提示サイズを調整して重ねて表示してもよい。
【００４９】
（処理）
次に、図３に示したフローチャートを参照しながら、本実施形態の見本映像生成装置１００が行う処理について説明する。なお、以下に説明では、処理が始まる前に、ユーザはハーフミラー１０１に向かってその前に立つもしくは座っているものとする。そして、ユーザに付き添う理学療法士の指導に従って、腕を下ろした状態から横に伸ばしてから真上に向けて、ユーザにとって無理のないところまで腕を上げる運動を行っているものとする。なお、この姿勢は、そのユーザにとっての肩関節のリハビリ運動の基準姿勢となる。以上のようにユーザが運動を行っている状態で、ユーザもしくは理学療法士のユーザインタフェースの操作により撮影が指示されると、処理を開始する。
【００５０】
まず、ステップＳ３０１において、画像撮影部１０３により撮影されたユーザの画像を取得する。そして、その画像を、人体認識部１０４、及び表情認識部１０５、場合によって、映像提示部１０９へ送る。そして、ステップＳ３０２において、バイタル計測部１０２により、ハーフミラー１０１の前にいるユーザの体温を計測する。そして、体温の計測値の情報を見本パラメータ決定部１０６へ送る。
【００５１】
次に、ステップＳ３０３において、人体認識部１０４により画像撮影部１０３が撮影したユーザの画像に対する人体パーツの位置を認識する。さらに、表情認識部１０５により画像撮影部１０３が撮影したユーザの画像に対する表情を認識する。そして、これらの認識結果をそれぞれ、見本パラメータ決定部１０６へ送る。
【００５２】
次に、ステップＳ３０４において、見本パラメータ決定部１０６により見本パラメータを決定する。以下の説明では、決定する見本パラメータはユーザに許容される最大許容肩関節角度であるものとする。見本パラメータを決定する際には、ステップＳ３０２にてバイタル計測部１０２から送られるバイタル計測値の情報と、ステップＳ３０３にて人体認識部１０４から送られる人体パーツの位置の認識結果と、表情認識部１０５から送られる表情の認識結果とを用いる。そして、決定結果を見本映像生成部１０８へ送る。
【００５３】
次に、ステップＳ３０５において、見本映像生成部１０８により基本見本データ保持部１０７から前述した見本映像を生成するためのデータを取得する。そして、ステップＳ３０６において、見本映像生成部１０８により前述した手順によって見本映像を生成し、映像提示部１０９へ送る。
【００５４】
次に、ステップＳ３０７において、映像提示部１０９により、見本映像生成部１０８から送られた見本映像を表示する。その際に、人体認識部１０４より人物認識結果（人体パーツの位置の認識結果）を受け取って、それに基づき、見本映像生成部１０８より送られる見本映像の表示位置や表示サイズを調整してもよい。または、画像撮影部１０３より画像を受け取り、その画像と見本映像とを合成して表示するようにしてもよい。
【００５５】
次に、ステップＳ３０８において、画像撮影部１０３による画像の撮影が再度指示されたか否かを判定する。この判定の結果、画像撮影部１０３による画像の撮影が再度指示されていない場合は、ステップＳ３０７へ戻り、ステップＳ３０６で生成された見本映像の表示を継続する。
【００５６】
一方、ステップＳ３０８の判定の結果、画像撮影部１０３による画像の撮影が再度指示された場合は、ステップＳ３０２へ戻る。ここで、画像撮影部１０３による画像の撮影が再度指示される場合とは、ユーザもしくは理学療法士のユーザインタフェースの操作により、ステップＳ３０１以降に再度明示的に撮影の指示が行われる場合がある。さらに、画像撮影部１０３による自動的な画像の撮影指示が行われる場合がある。後者の場合は、さらに、ユーザもしくは理学療法士による明示的なユーザインタフェースの操作により連続的な撮影（すなわち動画撮影）が指示されている場合と、動体検知による撮影（すなわち、ユーザが動いている間の動画撮影）が行われる場合とがある。
【００５７】
ユーザもしくは理学療法士のユーザインタフェースの操作による明示的な再撮影は、例えば、ステップＳ３０１で撮影した画像による見本映像の作成が、ユーザや理学療法士によってやり直しが必要と判断されるような場合に起こる。
【００５８】
一方、画像撮影部１０３による自動的な画像撮影が行われる場合とは、ユーザや理学療法士の操作もしくは動体検知によって動画が撮影される場合である。このときは、処理はステップＳ３０１からステップＳ３０８までを繰り返すこととなる。すると、ステップＳ３０４の処理が行われるたびに、バイタル計測値や人物認識結果に基づいて見本パラメータが決定され続けることとなる。したがって、ユーザの運動中の状況に応じて、常に見本映像が変更されることとなる。これにより、ユーザが見本映像についていけず無理をした運動をしたとしても、即座にそれがバイタル計測値や人物認識結果によって検知され、見本映像がすぐに変更されることとなる。
【００５９】
以上のように本実施形態に係る見本映像生成装置１００によれば、五十肩により肩が上がらなくなった人向けの肩関節のリハビリ運動の見本を、そのリハビリ運動をするユーザの能力や状況に応じて生成し、提示することができる。
【００６０】
なお、本実施形態においては、肩関節のリハビリ運動の見本映像を生成する装置について述べてきたが、同様の装置を他のリハビリ運動の見本映像の生成に適用してもよい。特に、肘や膝などの関節の可動範囲を広げるためのリハビリ運動の見本映像を生成する装置は、本実施形態で説明した見本映像生成装置１００とほぼ同様の構成及び処理により実現できる。
【００６１】
（第２の実施形態）
本実施形態に係る見本映像生成装置は、デイケア・デイサービス施設や高齢者向け住宅施設のリハビリルームやレクリエーションルームなどに設置されるものを想定したものである。そして、これらの施設へ来た高齢者（以下ユーザ）が、施設スタッフである健康運動指導士の指導のもとで利用する。本実施形態においては、健康維持増進のためのスクワット運動の見本映像を生成して提示する例について説明する。
【００６２】
（構成）
図４は、本実施形態に係る見本映像生成装置４００の構成例を示すブロック図である。図４に示す見本映像生成装置４００の構成の一部は、図１に示した見本映像生成装置１００の構成と同様であるので、重複する部分についての詳細な説明は以下では割愛する。すなわち、本実施形態に係る見本映像生成装置４００は、ハーフミラー１０１、バイタル計測部４０２、画像撮影部１０３、人体認識部１０４及び表情認識部４０５を備えている。さらに、見本映像生成装置４００は、見本パラメータ決定部４０６、基本見本データ保持部４０７、見本映像生成部４０８、映像提示部４０９及び重心計測部４１０を備えている。
【００６３】
ハーフミラー１０１の背後には、画像撮影部１０３と映像提示部４０９の表示装置とが配置されている。これにより、ハーフミラー１０１の前にユーザが立つと、ハーフミラー１０１越しに、ユーザの姿勢が映った画像が画像撮影部１０３によって撮影される。また、映像提示部４０９に提示される映像は、ハーフミラー１０１の前に立つユーザに対して、その鏡像越しに提示される。
【００６４】
ハーフミラー１０１の前には、重心計測部４１０が設置されており、重心計測部４１０の上にユーザが乗る構造となっている。重心計測部４１０は、例えば四隅に荷重センサのついた板状の装置であり、上に乗ったユーザの重心位置（重心計測部４１０上の荷重中心）を計測する。また、重心計測部４１０には、例えば形状が既知のマーカが貼られており、そのマーカを画像撮影部１０３が撮影し、その画像を分析することにより、画像撮影部１０３に対する重心計測部４１０の３次元的な位置姿勢を公知の方法により算出できるようにしている。そして、重心計測部４１０は、計測したユーザの重心位置の情報を、見本パラメータ決定部４０６へ送る。
【００６５】
バイタル計測部４０２は、ハーフミラー１０１の前に立つユーザのバイタル値を非接触に計測するセンサである。ここでのバイタル値とは、例えば拍動速度（呼吸による胸の動きの速さ）である。拍動速度を非接触に計測するセンサとしては、胸などに向けて放つ電波の反射波信号の揺らぎから拍動を計測するセンサが一般に知られている。本実施形態におけるバイタル計測部４０２には、そのような公知のセンサを用いる。そして、バイタル計測部４０２は、計測したバイタル値の情報を映像提示部４０９へ送る。
【００６６】
画像撮影部１０３は、ハーフミラー１０１の前に立つユーザの全身を撮像するカメラである。このカメラは、２次元の可視画像を撮影するカメラでもよいし、３次元的な距離画像を撮影するカメラでもよいし、その両方を撮影するカメラであってもよい。不図示のインタフェースを操作することにより、明示的にあるタイミングの姿勢を撮像したり、ハーフミラー前のユーザの様子を連続的に撮像したりすることができる。なお、不図示のインタフェースは、第１の実施形態と同様である。そして、画像撮影部１０３は、撮影した画像を、人体認識部１０４、表情認識部４０５及び見本パラメータ決定部４０６へ送る。
【００６７】
人体認識部１０４は、画像撮影部１０３から送られる画像に映る人物に関する認識処理を行う。ここで行われる人物に関する認識処理は、人体パーツの位置の認識である。本実施形態においては、人体パーツの位置については、画像撮影部１０３に対する３次元的な位置として認識する。なお、画像撮影部１０３から２次元の可視画像を受け取った場合は、人体パーツの位置を２次元的な位置として認識する。人体パーツの位置を認識する処理については、第１の実施形態と同様である。そして、人体認識部１０４は、認識結果を見本パラメータ決定部４０６へ送る。
【００６８】
表情認識部４０５は、ハーフミラー１０１の前に立つユーザの表情から、ユーザが疲労を感じているか否かを認識し、疲労を感じている場合にはどの程度の疲労を感じているかを認識する。
【００６９】
この認識処理では、まず、画像撮影部１０３より受け取る画像から、人の顔に起因する画像特徴が検出される領域を特定する。その特徴量としては、ＨＯＧなどを用いればよい。続いて、特定された領域を正規化した画像が、疲労の程度別の表情をとらえた複数の画像群のうちの、どの群にどの程度類似しているかを認識する。複数の画像群とは、相当な疲労を感じている表情や、休憩を必要とする程度の疲労を感じている表情、軽い疲労を感じている表情、疲労を感じていない表情などの、疲労の程度別の表情画像を集めたものである。
【００７０】
また、例えば、相当な疲労を感じている表情の顔画像群クラスと、疲労を感じていない表情の顔画像群クラスとを分別する判別軸を、線形判別分析（ＬＤＡ）を用いて作成しておく。そして、その判別軸を用いて、正規化した画像領域がどちらのクラスにより類似しているかを判別する。この処理を複数の表情クラス間での比較に関して繰り返すことにより、画像撮影部１０３より受け取る画像領域に映る人物の表情が、疲労の程度別に用意しておく表情のうちの、どれにどの程度類似しているかを認識することができる。
【００７１】
以上の説明では、疲労を感じている表情の認識方法について述べたが、その方法は上記に限られず、一般に知られた他の方法で行ってもよい。そして、表情認識部４０５は、認識結果を映像提示部４０９へ送る。
【００７２】
見本パラメータ決定部４０６は、画像撮影部１０３からハーフミラー１０１の前を撮影した画像を受け取るとともに、人体認識部１０４から人体パーツの認識結果を受け取り、さらに、重心計測部４１０より重心位置の情報を受け取る。そして、これらの情報に基づき見本映像を生成するためのパラメータを生成する。
【００７３】
高齢者向けの、健康維持増進のためのスクワット運動の見本映像を生成して提示する場合においては、見本映像を生成するためのパラメータとして、スクワット中の基準姿勢における身体バランスのパラメータを生成する。スクワットは直立した状態から膝関節の屈曲・伸展を繰り返す運動であるが、この運動中の最も膝関節を屈曲させた時の姿勢を、本実施形態においては基準姿勢とする。そして、その時の腰や膝といった人体パーツの位置とユーザの重心線（重心位置から鉛直上向きに引いた線）との関係（両者を最短で結ぶ線の画像面上での距離）を、その基準姿勢の身体バランスのパラメータとする。
【００７４】
図５に、基準姿勢の例とその身体バランスのパラメータとを模式的に示す。図５（ａ）は、背筋を垂直に保ちながら膝を屈曲させた基準姿勢の一例を示す図であり、図５（ｂ）は、体幹を前屈させながら膝を屈曲させた基準姿勢の一例を示す図である。図５（ａ）及び図５（ｂ）に示すように、膝から重心線までの距離や、腰から重心線までの距離が、身体バランスを示すパラメータとなる。
【００７５】
これらの距離は、画像面上での２次元的な距離である。前述したように、ユーザが取るべき基準姿勢は、そのユーザの能力や状況によって異なる。例えば膝を痛めていない人の場合は図５（ａ）に示すような基準姿勢を取る方が健康維持増進の観点では効果的であるが、膝を痛めている人の場合は、痛みを感じない程度背筋を前傾させる図５（ｂ）に近い基準姿勢の方が良い。実際にスクワット運動をする際には、一般に図５（ａ）及び図５（ｂ）に示す例の中間的な基準姿勢を取るように、ユーザは健康運動指導士に指導される。
【００７６】
見本パラメータ決定部４０６は、画像撮影部１０３により撮影された画像に映るユーザの姿勢を基準姿勢としたときのその身体バランスを示すパラメータを見本パラメータとして算出する。このパラメータは、人体認識部１０４より受け取る人体パーツの位置の認識結果と、重心計測部４１０より受け取る重心位置の情報と、画像撮影部１０３より受け取る画像に基づいて算出される。
【００７７】
具体的には、まず、画像撮影部１０３より受け取る画像に映る重心計測部４１０のマーカから、重心計測部４１０の画像撮影部１０３に対する３次元的な位置姿勢を算出する。この方法については広く知られているので、詳細な説明は割愛する。続いて、重心計測部４１０の画像撮影部１０３に対する３次元的な位置姿勢と、重心計測部４１０の計測結果である重心位置とから、重心線（重心位置から鉛直上向きに引いた直線）の画像撮影部１０３に対する３次元的な位置姿勢を算出する。このとき、画像撮影部１０３と鉛直方向（重力方向）との関係は既知であるものとする。続いて、人体認識部１０４より受け取る画像撮影部１０３に対する３次元的なユーザの人体パーツの位置と、重心線の画像撮影部１０３に対する３次元的な位置姿勢とを用いて、身体バランス（各人体パーツから重心線までの距離）のパラメータを算出する。そして、見本パラメータ決定部４０６は、算出した身体バランスのパラメータを見本映像生成部４０８へ送る。また、人体認識部１０４より受け取る人体パーツの位置の認識結果も、見本映像生成部４０８へ送る。
【００７８】
基本見本データ保持部４０７は、ユーザに提示される見本映像のベースとなる基本見本パラメータを複数保持している。本実施形態では、基準姿勢の身体バランスが図５（ａ）に示すようなスクワット運動を表現するパラメータと、基準姿勢の身体バランスが図５（ｂ）に示すようなスクワット運動を表現するパラメータとの２種の基本見本パラメータを保持している。
【００７９】
スクワット運動を表現するパラメータとは、その運動を行う人体モデルの人体パーツの３次元的な位置パラメータが時系列に並んだものである。加えて、基本見本を示すパラメータには、その運動時の重心線の位置を示すパラメータも含まれている。そのようなパラメータを作成する方法として公知の方法を用いればよい。すなわち、例えば人物による２種のスクワット動作を、モーションキャプチャシステムにより撮影して得る人体パーツ位置を、スクワット運動を表現するパラメータとすればよい。そして、その際の人物の実際の重心位置を計測しておけば、その結果が重心線の位置を示すパラメータとなる。これらの２種の基本見本パラメータは、見本映像生成部４０８から参照される。なお、２種の基本見本パラメータは３次元座標として表現されるが、それぞれの基準姿勢時の重心線は、同じ位置にあるように正規化されているものとする。
【００８０】
見本映像生成部４０８は、見本パラメータ決定部４０６より基準姿勢の身体バランスを示すパラメータを受け取り、基本見本データ保持部４０７より基本見本パラメータを参照する。そして、両パラメータを用いて見本映像を生成する。
【００８１】
まず、見本映像生成部４０８は、基本見本データ保持部４０７より参照する基本見本パラメータに表現されている人体パーツの位置を、見本パラメータ決定部４０６より受け取る人体パーツの位置の認識結果に合うように修正する。つまり、連結する人体パーツ間（肩と肘、腰と膝、など）の距離が見本パラメータ決定部４０６より受け取る人体パーツの位置の認識結果と相対的に同じになるように、基本見本パラメータに表現されている人体パーツの位置を修正する。これにより、基本見本パラメータに表現されている人体パーツのプロポーションが、画像撮影部１０３によって撮影されたユーザのプロポーションと一致する。さらに、その修正結果を、重心線の位置を示すパラメータにもシミュレーションベースで反映させる。例えば、基本見本パラメータに表現されている人体パーツ位置の、修正前の平均位置と修正後の平均位置との差を、そのまま重心線の位置に適用する。
【００８２】
続いて、見本映像生成部４０８は、修正後の２種の基本見本パラメータの、基準姿勢に対する人体パーツの位置から身体バランスのパラメータを算出する。この結果、見本映像生成部４０８は、見本パラメータ決定部４０６から得られる身体バランスのパラメータと、２種の基本見本パラメータから得る２つの身体バランスのパラメータとの３つの身体バランスのパラメータを得ることとなる。
【００８３】
ここで、見本パラメータ決定部４０６で得られる身体バランスに表現された膝と重心線とを最短で結ぶ線の画像面上での距離をｄｘとする。そして、２種の見本映像から得られる身体バランスに表現された２つの膝と重心線とを最短で結ぶ線の画像面上での距離をそれぞれ、ｄａ、ｄｂとする。このとき、距離ｄａは、図５（ａ）に示す基本姿勢に対応し、距離ｄｂは、図５（ｂ）に示す基本姿勢に対応する。
【００８４】
見本パラメータ決定部４０６で得られる身体バランスが、図５（ａ）及び図５（ｂ）に示した身体バランスの中間的な姿勢である場合は、距離ｄａ＞距離ｄｘ＞距離ｄｂの関係となる。この場合、見本映像生成部４０８は、２種の基本見本パラメータに表現されている膝パーツの位置座標を、（距離ｄｘ−距離ｄｂ）：（距離ｄａ−距離ｄｘ）の割合で足し合わせる。そうして得られる位置座標と重心線とを最短で結ぶ線の画像面上での距離は、距離ｄｘになる。
【００８５】
例えば、画像面をＺ＝０とし、２種の基本見本パラメータに表現されている膝パーツの位置座標をそれぞれ、Ａ（３，１，４）、Ｂ（１，３，０）とする。そして、見本パラメータ決定部４０６から得る身体バランスに表現された距離ｄｘが２であるものとする。このとき、重心線がＸ＝Ｚ＝０である場合、距離ｄａ＝３、距離ｄｂ＝１となるので、（距離ｄｘ−距離ｄｂ）：（距離ｄａ−距離ｄｘ）＝１：１となる。よって、Ａ、Ｂの座標を１：１で足し合わせると、（３，１，４）×０．５＋（１，３，０）×０．５＝（２，２，２）となる。この座標と重心線Ｘ＝Ｚ＝０を最短で結ぶ線の画像面上の距離は２であり、距離ｄｘと一致する。
【００８６】
見本映像生成部４０８は、このようにして得られた位置座標を、見本映像中の膝の位置座標とする。見本映像生成部４０８は、他の人体パーツに関しても同様にして、足し合わせの割合を決定し、見本映像中の位置座標を算出する。そして、見本映像生成部４０８は、人体パーツごとに決定した足し合わせの割合を、２種の基本見本パラメータの全体に適用する。これにより、２種の基本見本パラメータに示されるスクワットを足し合わせた姿勢で、かつ、基準姿勢時の身体バランスが画像撮影部１０３によって撮影されたユーザの姿勢と一致するスクワット運動を表現するパラメータを得ることができる。見本映像生成部４０８は、こうして得られたパラメータを人体モデルに適用することによって、見本映像となるＣＧ映像を生成する。
【００８７】
なお、２種の基本見本パラメータを足し合わせる割合を人体パーツごとに決定する例について説明したが、例えば、ある一つの割合を人体パーツの全部に適用してもよいし、足し合わせの割合の平均を人体パーツの全部に適用してもよい。さらには、２種の基本見本パラメータの足し合わせではなく、３種以上の基本見本パラメータを足し合わせるようにしてよい。見本映像生成部４０８は、以上のような手順により作成された見本映像を映像提示部４０９へ送る。
【００８８】
映像提示部４０９は、見本映像生成部４０８より見本映像を受け取り、提示（表示）する。映像提示部１０９はハーフミラー１０１の背面に設置されているので、ハーフミラー１０１の前に立つユーザは、ハーフミラー１０１に映る自分を含む鏡像に重ねて、見本映像を見ることとなる。
【００８９】
また、映像提示部４０９は、バイタル計測部４０２からバイタル計測値である拍動速度の情報を受け取り、表情認識部４０５からユーザの表情の認識結果を受け取る。表情の認識結果には、ユーザの疲労度が表現されている。映像提示部４０９は、拍動速度と疲労度とに応じて、ユーザに提示する見本映像の表示時間を変更する。すなわち、受け取った拍動速度があらかじめ設定しておく平常のスクワット運動時の拍動速度に比べて早い場合には、ユーザに提示する見本映像の表示時間を短くする。同様に、受け取った表情の認識結果に示されるユーザの疲労度が高い場合には、ユーザに提示する見本映像の表示時間を短くしたり、程度によっては見本映像の提示を停止したりする。
【００９０】
（処理）
次に、図６に示したフローチャートを参照しながら、本実施形態の見本映像生成装置４００が行う処理について説明する。なお、以下の説明では、処理が始まる前に、ユーザはハーフミラー１０１の前の重心計測部４１０の上に立っているものとする。その際ユーザは、画像撮影部１０３に対して横向きに立ってもよいし、向き合って立ってもよい。そして、ユーザに付き添う健康運動指導士の指導に従って、スクワット運動における基準姿勢を取っているものとする。また、健康運動指導士の指導に基づくその姿勢は、ユーザの能力や状況にあった、体を痛めず、かつ、適切な運動効果を期待できるスクワットにおける基準姿勢であるものとする。以上のようにユーザが基本姿勢を取っている状態で、ユーザもしくは健康運動指導士によるインタフェースの操作により撮影が指示されると、処理を開始する。
【００９１】
まず、ステップＳ６０１において、画像撮影部１０３によりユーザの画像を撮影する。そして、その画像を人体認識部１０４及び見本パラメータ決定部４０６へ送る。
【００９２】
次に、ステップＳ６０２において、人体認識部１０４により画像撮影部１０３が撮影したユーザの画像に対する人物認識処理を行う。ここでの人物認識処理とは、人体パーツの位置の認識である。そして、認識結果を見本パラメータ決定部４０６へ送る。
【００９３】
次に、ステップＳ６０３において、見本パラメータ決定部４０６により、見本パラメータの決定がなされる。本実施形態においては、見本パラメータはステップＳ６０１にて撮影されたユーザの姿勢における身体バランスを示すパラメータである。見本パラメータを決定する際には、ステップＳ６０２にて人体認識部１０４から送られる認識結果を用いる。そして、決定結果を見本映像生成部４０８へ送る。
【００９４】
次に、ステップＳ６０４において、見本映像生成部４０８により基本見本データ保持部４０７から見本映像を生成するためのデータ（基本見本パラメータ）を取得する。そして、ステップＳ６０５において、見本映像生成部４０８により前述した手順によって見本映像を生成し、映像提示部４０９へ送る。
【００９５】
次に、ステップＳ６０６において、バイタル計測部４０２によりハーフミラー１０１の前にいるユーザの拍動速度を計測する。さらに、表情認識部４０５により画像撮影部１０３が撮影した画像に映るユーザの表情を認識する。そして、バイタル計測部４０２及び表情認識部４０５は、それぞれの結果を映像提示部４０９へ送る。そして、映像提示部４０９により見本映像の表示時間を決定する。見本映像の表示時間を決定する方法については後述する。
【００９６】
次に、ステップＳ６０７おいて、映像提示部４０９により見本映像生成部４０８から受け取った見本映像を提示するか否かを判定する。この判定は、見本映像が規定される表示時間表示されているかどうかによってなされる。この判定の結果、見本映像が規定される表示時間表示された場合は、ステップＳ６０９へ進み、全体の処理は終了する。
【００９７】
一方、ステップＳ６０７の判定の結果、規定される表示時間表示されていない場合は、ステップＳ６０８において、映像提示部４０９により見本映像をそのまま提示（表示）する。そして、ステップＳ６０６に戻る。
【００９８】
ここで、規定される見本映像の表示時間は、映像提示部４０９に送られるユーザの拍動速度の計測値と、ユーザの表情の認識結果とに基づいて変更される場合がある。例えば、ユーザの拍動速度の計測値が、予め設定された平常のスクワット運動時の拍動速度と同程度かそれ以下であり、かつ、表情の認識結果に示されるユーザの疲労度が低い場合は、通常の規定される表示時間のままとなる。
【００９９】
逆に、ユーザの拍動速度の計測値が、予め設定された平常のスクワット運動時の拍動速度よりも速かったり、表情の認識結果に示されるユーザの疲労度が高かったりした場合は、見本映像の表示時間を、拍動速度や表情の認識結果に応じて短くする。このようにステップＳ６０６では、拍動速度や表情の認識結果に応じて見本映像の表示時間を調整する。このように、ユーザがスクワット運動中に過度に疲労したり、呼吸が荒くなったりするような場合には、見本映像の表示時間が短くなったり、見本映像の提示自体が突然終了したりする。これにより、ユーザの状況に合わせた、無理のない長さの見本映像を提示することができる。
【０１００】
以上のように本実施形態に係る見本映像生成装置４００によれば、高齢者向けの、健康維持増進のためのスクワット運動に関し、その運動をするユーザの能力に応じた姿勢の見本映像を生成することができる。さらに、その見本映像をユーザの運動中の状況に応じた長さで提示することができる。
【０１０１】
なお、本実施形態においては、スクワット運動の見本映像を生成する装置について述べてきたが、同様の装置を他のリハビリ運動の見本映像の生成に適用してもよい。特に、運動中の身体バランスにバリエーションのある運動の見本映像を生成する装置は、本実施形態で説明した見本映像生成装置４００とほぼ同様の構成及び処理により実現できる。
【０１０２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、図７に示すネットワーク７０４、７０７又は各種記憶媒体７０２、７０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のＣＰＵ７０１がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部７０５から処理を実行する指示を入力し、表示部７０６で指示した処理の結果を表示してもよい。
【符号の説明】
【０１０３】
１０２ バイタル計測部
１０３ 画像撮影部
１０４ 人体認識部
１０５ 表情認識部
１０６ 見本パラメータ決定部
１０７ 基本見本データ保持部
１０８ 見本映像生成部
１０９ 映像提示部
【特許請求の範囲】
【請求項１】
人物を撮像した画像を取得する取得手段と、
前記画像に映る人物の人体を認識する人体認識手段と、
前記画像に映る人物の状態に関する情報を入力する情報入力手段と、
前記人物が運動している基本映像に係るデータを保持する保持手段と、
認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成手段と、
生成された前記見本映像を表示装置に表示する表示制御手段とを備えることを特徴とする映像生成装置。
【請求項２】
前記情報入力手段は、前記画像に映る人物の表情を認識する表情認識手段を備え、
前記映像生成手段は、認識された前記表情を前記画像に映る人物の状態に関する情報として前記見本映像を生成することを特徴とする請求項１に記載の映像生成装置。
【請求項３】
前記表情認識手段は、前記画像に映る人物の表情から前記人物の痛みを認識することを特徴とする請求項２に記載の映像生成装置。
【請求項４】
前記情報入力手段は、前記画像に映る人物のバイタル値を計測するバイタル計測手段を備え、
前記映像生成手段は、計測された前記バイタル値を前記画像に映る人物の状態に関する情報として前記見本映像を生成することを特徴とする請求項１に記載の映像生成装置。
【請求項５】
前記表示制御手段は、前記人体認識手段による認識結果に基づいて、前記表示装置の前に設置されたハーフミラーに映る人物と、前記見本映像に映る人物とが対応するように前記見本映像を表示することを特徴とする請求項１〜４の何れか１項に記載の映像生成装置。
【請求項６】
前記映像生成手段は、前記画像に映る人物が運動を開始してからの経過日数に基づいて前記見本映像を生成することを特徴とする請求項１〜５の何れか１項に記載の映像生成装置。
【請求項７】
前記映像生成手段は、前記基本映像の一部を抜き出して前記見本映像を生成することを特徴とする請求項１〜６の何れか１項に記載の映像生成装置。
【請求項８】
前記保持手段に保持されている基本映像に係るデータは、モーションデータであり、
前記映像生成手段は、前記モーションデータから一部を抜き出して人体モデルに適用することによって前記見本映像を生成することを特徴とする請求項１〜６の何れか１項に記載の映像生成装置。
【請求項９】
前記情報入力手段によって入力された情報に基づいて、前記表示装置に表示される見本映像の表示時間を調整する調整手段をさらに備えることを特徴とする請求項１に記載の映像生成装置。
【請求項１０】
前記人物の重心位置を計測する重心計測手段をさらに備え、
前記映像生成手段は、さらに前記重心計測手段によって計測された重心位置に基づいて見本映像を生成することを特徴とする請求項９に記載の映像生成装置。
【請求項１１】
前記情報入力手段は、前記画像に映る人物の表情を認識する表情認識手段を備え、
前記調整手段は、前記表情認識手段によって認識された表情に基づいて前記見本映像の表示時間を調整することを特徴とする請求項９又は１０に記載の映像生成装置。
【請求項１２】
前記表情認識手段は、前記画像に映る人物の表情から前記人物の疲労を認識することを特徴とする請求項１１に記載の映像生成装置。
【請求項１３】
前記情報入力手段は、前記画像に映る人物のバイタル値を計測するバイタル計測手段を備え、
前記調整手段は、前記画像に映る人物の状態として前記バイタル計測手段によって計測されたバイタル値に基づいて前記見本映像の表示時間を調整することを特徴とする請求項９〜１２の何れか１項に記載の映像生成装置。
【請求項１４】
前記保持手段は、前記人物が運動している基本映像に係るデータとして、運動を表現するパラメータを複数保持していることを特徴とする請求項９〜１３の何れか１項に記載の映像生成装置。
【請求項１５】
人物が運動している基本映像に係るデータを保持する保持手段を備えた映像生成装置の映像生成方法であって、
撮像手段によって人物を撮像した画像を取得する取得工程と、
前記画像に映る人物の人体を認識する人体認識工程と、
前記画像に映る人物の状態に関する情報を入力する情報入力工程と、
認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成工程と、
前記見本映像を表示装置に表示する表示制御工程とを備えることを特徴とする映像生成方法。
【請求項１６】
人物が運動している基本映像に係るデータを保持する保持手段を備えた映像生成装置を制御するためのプログラムであって、
撮像手段によって人物を撮像した画像を取得する取得工程と、
前記画像に映る人物の人体を認識する人体認識工程と、
前記画像に映る人物の状態に関する情報を入力する情報入力工程と、
認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成工程と、
前記見本映像を表示装置に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
人物を撮像した画像を取得する取得手段と、
前記画像に映る人物の人体を認識する人体認識手段と、
前記画像に映る人物の状態に関する情報を入力する情報入力手段と、
前記人物が運動している基本映像に係るデータを保持する保持手段と、
認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成手段と、
生成された前記見本映像を表示装置に表示する表示制御手段とを備えることを特徴とする映像生成装置。
【請求項２】
前記情報入力手段は、前記画像に映る人物の表情を認識する表情認識手段を備え、
前記映像生成手段は、認識された前記表情を前記画像に映る人物の状態に関する情報として前記見本映像を生成することを特徴とする請求項１に記載の映像生成装置。
【請求項３】
前記表情認識手段は、前記画像に映る人物の表情から前記人物の痛みを認識することを特徴とする請求項２に記載の映像生成装置。
【請求項４】
前記情報入力手段は、前記画像に映る人物のバイタル値を計測するバイタル計測手段を備え、
前記映像生成手段は、計測された前記バイタル値を前記画像に映る人物の状態に関する情報として前記見本映像を生成することを特徴とする請求項１に記載の映像生成装置。
【請求項５】
前記表示制御手段は、前記人体認識手段による認識結果に基づいて、前記表示装置の前に設置されたハーフミラーに映る人物と、前記見本映像に映る人物とが対応するように前記見本映像を表示することを特徴とする請求項１〜４の何れか１項に記載の映像生成装置。
【請求項６】
前記映像生成手段は、前記画像に映る人物が運動を開始してからの経過日数に基づいて前記見本映像を生成することを特徴とする請求項１〜５の何れか１項に記載の映像生成装置。
【請求項７】
前記映像生成手段は、前記基本映像の一部を抜き出して前記見本映像を生成することを特徴とする請求項１〜６の何れか１項に記載の映像生成装置。
【請求項８】
前記保持手段に保持されている基本映像に係るデータは、モーションデータであり、
前記映像生成手段は、前記モーションデータから一部を抜き出して人体モデルに適用することによって前記見本映像を生成することを特徴とする請求項１〜６の何れか１項に記載の映像生成装置。
【請求項９】
前記情報入力手段によって入力された情報に基づいて、前記表示装置に表示される見本映像の表示時間を調整する調整手段をさらに備えることを特徴とする請求項１に記載の映像生成装置。
【請求項１０】
前記人物の重心位置を計測する重心計測手段をさらに備え、
前記映像生成手段は、さらに前記重心計測手段によって計測された重心位置に基づいて見本映像を生成することを特徴とする請求項９に記載の映像生成装置。
【請求項１１】
前記情報入力手段は、前記画像に映る人物の表情を認識する表情認識手段を備え、
前記調整手段は、前記表情認識手段によって認識された表情に基づいて前記見本映像の表示時間を調整することを特徴とする請求項９又は１０に記載の映像生成装置。
【請求項１２】
前記表情認識手段は、前記画像に映る人物の表情から前記人物の疲労を認識することを特徴とする請求項１１に記載の映像生成装置。
【請求項１３】
前記情報入力手段は、前記画像に映る人物のバイタル値を計測するバイタル計測手段を備え、
前記調整手段は、前記画像に映る人物の状態として前記バイタル計測手段によって計測されたバイタル値に基づいて前記見本映像の表示時間を調整することを特徴とする請求項９〜１２の何れか１項に記載の映像生成装置。
【請求項１４】
前記保持手段は、前記人物が運動している基本映像に係るデータとして、運動を表現するパラメータを複数保持していることを特徴とする請求項９〜１３の何れか１項に記載の映像生成装置。
【請求項１５】
人物が運動している基本映像に係るデータを保持する保持手段を備えた映像生成装置の映像生成方法であって、
撮像手段によって人物を撮像した画像を取得する取得工程と、
前記画像に映る人物の人体を認識する人体認識工程と、
前記画像に映る人物の状態に関する情報を入力する情報入力工程と、
認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成工程と、
前記見本映像を表示装置に表示する表示制御工程とを備えることを特徴とする映像生成方法。
【請求項１６】
人物が運動している基本映像に係るデータを保持する保持手段を備えた映像生成装置を制御するためのプログラムであって、
撮像手段によって人物を撮像した画像を取得する取得工程と、
前記画像に映る人物の人体を認識する人体認識工程と、
前記画像に映る人物の状態に関する情報を入力する情報入力工程と、
認識された前記人物の人体と、前記画像に映る人物の状態とに基づいて、前記基本映像に係るデータから前記人物に対する見本映像を生成する映像生成工程と、
前記見本映像を表示装置に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１１１４４９（Ｐ２０１３−１１１４４９Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３５１２（Ｐ２０１１−２６３５１２）
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]