映像情報処理装置および方法
【課題】姿勢だけでなく、体型や体内状況を含む、広い意味での人体の評価指標から導かれる、評価指標の解釈や適切に人体を改善する情報を可視化する装置と方法を提供する。
【解決手段】本発明の映像情報処理装置は、人体の重心位置を算出し、ハーフミラーの前に立つ人体をハーフミラー越しに撮影する。そして、撮影された人体の映像から人体パーツの位置と人体の姿勢を計測し、算出された人体の重心位置と計測した人体の姿勢から重心線を算出して人体パーツの位置の重心線からのずれ量を評価する。さらに、ハーフミラー上に映し出された人体の鏡像に重畳させて、人体の重心位置、前記人体パーツの位置、重心線および評価した人体パーツの重心線からのずれ量をハーフミラー上に表示する。
【解決手段】本発明の映像情報処理装置は、人体の重心位置を算出し、ハーフミラーの前に立つ人体をハーフミラー越しに撮影する。そして、撮影された人体の映像から人体パーツの位置と人体の姿勢を計測し、算出された人体の重心位置と計測した人体の姿勢から重心線を算出して人体パーツの位置の重心線からのずれ量を評価する。さらに、ハーフミラー上に映し出された人体の鏡像に重畳させて、人体の重心位置、前記人体パーツの位置、重心線および評価した人体パーツの重心線からのずれ量をハーフミラー上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体の姿勢や形状とその評価指標の関係と姿勢の改善方法を可視化する装置および方法に関する。
【背景技術】
【０００２】
機能回復を目的としたリハビリテーション（リハビリ）や健康維持のための体操の評価を行うのに、そのときの人体の姿勢を用いることが注目されている。そして、姿勢の評価の指標には、人体計測結果のひとつである重心線（重心から鉛直上向きに引いた線）や、その重心線と膝や腰などの人体パーツとの位置関係などが用いられる。
【０００３】
例えば、安定した姿勢で立っているかどうかは、重心線のふらつきによって評価できる。安全な姿勢で歩けているかは、重心線が後ろ側の足の上にあるか否かで判断することができる。また、重心線が後ろ側の足よりも前にあると、前側の足が滑った場合に人体が転倒してしまう。姿勢の歪みは、重心線と膝や肘などの人体パーツの中心位置とのずれ量によって評価することができる。しかしながら、このような指標をリハビリや健康体操をしているときに自分自身で理解して実感することは難しい。
【０００４】
そこで、自分自身で理解するために、カメラで撮影した人物映像上に、人体計測結果に基づいて姿勢を評価する指標を重畳表示する技術が知られている。例えば、特許文献１では、患者の重心位置を検出する手段が、Ｘ線画像撮影時に患者自身を支えるための支持手段に取り付られていることを開示している。そして、検出した重心位置から求められる重心線をＸ線画像に重ねて表示する技術が示されている。この技術によれば、重心線とＸ線骨格映像に示される姿勢の関係が視覚的に表現されて理解しやすい。
【０００５】
また特許文献２には、重心線とカメラで撮影した人物映像とを用いて姿勢を診断する技術が開示されている。この技術では、足圧計測値に基づいて算出される重心線と映像に映った人物の姿勢診断ポイントの座標との関係から、姿勢を診断する。これによれば、姿勢の評価の指標を自分自身で理解することは難しいが、その指標に基づいての姿勢の評価を得ることはできる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３７２１３３０号公報
【特許文献２】特開２００５−２２４４５２号公報
【非特許文献】
【０００７】
【非特許文献１】「ロボットビジョンの基礎」出口光一郎著 ２０００年 コロナ社
【非特許文献２】H. Grabner、M. Grabner、and H. Bischof.、Real-time Tracking via On-line Boosting、In Proceedings British Machine Vision Conference (BMVC)、volume 1、pages 47-56、2006．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のような技術では、Ｘ線骨格画像上に姿勢とその評価指標とが同時に表現されている。従って、医師や理学療法師ではない一般の人にとって、表示された姿勢とその評価指標の関係を適切に解釈することは難しい。また、同じく一般の人にとっては、特許文献２のような技術で最終的な姿勢の評価結果だけは得られるが、それを理解することは難しい。従って、一般の人は、その解説を聞かなければ、自身の姿勢のどこをどうすればより良い姿勢になるのかがわからない。
【０００９】
本発明は、係る課題を解決するために、姿勢だけでなく、体型や体内状況を含む、広い意味での人体の評価指標から導かれる、評価指標の解釈や適切に人体を改善する情報を可視化する装置と方法を提供する。
【課題を解決するための手段】
【００１０】
すなわち本発明の情報処理装置は、人体の重心位置を算出する重心算出手段と、ハーフミラーの前に立つ前記人体を該ハーフミラー越しに撮影する撮影手段と、前記撮影された前記人体の映像から人体パーツの位置と前記人体の姿勢を計測する計測手段と、前記算出された人体の重心位置と前記計測した人体の姿勢から重心線を算出し、前記計測された人体パーツの位置の重心線からのずれ量を評価する評価手段と、前記ハーフミラー上に映し出された人体の鏡像に重畳させて、前記人体の重心位置、前記人体パーツの位置、前記重心線および前記評価した人体パーツの重心線からのずれ量を前記ハーフミラー上に表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成をとることで、人体の姿勢などの測定から導かれる評価指標を解釈し適切に人体を改善する情報を可視化する映像情報処理装置と方法を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施形態に係る映像情報処理装置の構成を示す図。
【図２】映像撮影部の撮影映像と情報生成部により生成された情報を表現した映像とその両者を重ね合わせた映像の例を示す図。
【図３】映像撮影部の撮影映像と情報生成部により生成された情報を表現した映像とその両者を重ね合わせた映像の例を示す図。
【図４】映像撮影部の撮影映像と過去に姿勢がよかったときの映像とその両社を重ね合わせた映像を示す図。
【図５】映像撮影部の撮影映像を改変したときの例を示す図。
【図６】映像情報処理装置の処理を示す図。
【図７】映像情報処理装置の構成を示す図。
【図８】映像情報処理装置の処理を示す図。
【図９】映像情報処理装置の構成を示す図。
【図１０】映像情報処理装置の処理を示す図。
【発明を実施するための形態】
【００１３】
本発明は、人体の計測結果に基づいた数値的に表わされた姿勢の評価指標から導かれる適切な姿勢の改善方法を可視化する。例えば、現在の姿勢と理想的な姿勢との差や、姿勢改善に向けてとるべき姿勢、姿勢変化の履歴に基づく未来の姿勢などを、数値的な姿勢の評価指標から導びき可視化する。可視化の方法としては、テキストや補助線などを用いて、姿勢を撮影した映像をわざと大きく変形させたりすることで、理解しやすいようにする。また、利用者は、姿勢評価指標から導かれる可視化された情報を見ることで、理想的な姿勢やとるべき姿勢を直感的に見て体を動かしたり、未来姿勢を見て今の姿勢が将来に及ぼす影響を実感したりすることができる。以下には、本発明のいくつかの実施形態について記載する。
【００１４】
＜実施形態１＞
実施形態１における映像情報処理装置は、ハーフミラー（半透明の鏡面）の前に置かれるバランス計測部に乗った人物のバランスを計測するとともに、その人物の姿をハーフミラー越しにカメラで撮影する。そして、バランス計測部測結果とカメラで撮影した映像に基づいてバランス計測部に乗った人物の姿勢評価指標が算出される。そしてその指標から導出される情報が、ハーフミラーと一体化した情報提示部に提示される。バランス計測部に乗った人物は、ハーフミラー越しに映る自分の鏡像と情報提示部に可視化された姿勢評価指標から導かれる情報とを合わせて見ることができる。
【００１５】
図１は、本実施形態に係る映像情報処理装置１００の概略を示す図である。映像情報処理装置１００は、バランス計測部１０１、重心算出部１０２、映像撮影部１０３、バランス計位置姿勢算出部１０４、重心線算出部１０５、人物映像計測部１０６、情報生成部１０７、情報提示部１０８およびハーフミラー１０９を備える。
【００１６】
バランス計測部１０１は、一般的に知られたバランス計である。すなわち、３つ以上の足を持ち、それぞれの足に加わる荷重を計測することができる。計測されたそれぞれの足への荷重値は、重心算出部１０２へと送られる。この送信は、有線通信でも無線通信でも良い。バランス計測部１０１は、ハーフミラー１０９の前に置かれ、人が上に乗ることで計測される。
【００１７】
重心算出部１０２は、バランス計測部１０１から送られた複数の荷重値より、バランス計測部１０１に加わった荷重の重心位置を算出する。すなわち、重心位置から各足までの距離の比が、各足への荷重の逆数の比になるような位置を算出する。重心位置の算出結果は、重心線算出部１０５へ送られる。
映像撮影部１０３は、ハーフミラー１０９の後ろに配置され、ハーフミラー１０９越しに、ハーフミラー１０９の前の現実空間を撮影する。ハーフミラー１０９の前にバランス計測部１０１が置かれるため、映像撮影部１０３は、バランス計測部１０１と、その上に乗った人物とを撮影することとなる。撮影された映像は、バランス計位置姿勢算出部１０４と人物映像計測部１０６へ送られる。
【００１８】
バランス計位置姿勢算出部１０４は、映像撮影部１０３より受け取る映像に基づき、バランス計測部１０１の映像撮影部１０３に対する位置姿勢を算出する。カメラに対する３次元物体の位置姿勢の算出は、非特許文献１などで一般に良く知られた方法で行う。例えば、まずバランス計測部１０１に形状が既知である矩形マーカを添付しておく。そして、映像撮影部１０３の撮影映像における矩形マーカの見え方から、映像撮影部１０３から見た矩形マーカの位置姿勢を算出する。
【００１９】
続いて、事前にキャリブレーションしておいた矩形マーカとバランス計測部１０１の位置姿勢の関係から、映像撮影部１０３から見たバランス計測部１０１の位置姿勢を算出する。他の方法として、映像撮影部１０３の撮影映像におけるバランス計測部１０１に固有のエッジや模様などの自然特徴の見え方から、映像撮影部１０３から見た矩形マーカの位置姿勢を算出する方法がある。いずれにせよ、本実施形態おけるバランス計位置姿勢算出部１０４は、一般に良く知られた「３次元物体のカメラに対する位置姿勢算出」であるので、これ以上の説明は割愛する。
【００２０】
バランス計測部１０１の映像撮影部１０３に対する位置姿勢の算出結果は、重心線算出部１０５へ送られる。重心線算出部１０５は、バランス計測部１０１に加わった荷重の重心の、映像撮影部１０３の撮影映像中の位置を算出する。その算出には、重心算出部１０２からのバランス計測部１０１に加わった荷重の重心位置と、バランス計位置姿勢算出部１０４からのバランス計測部１０１の映像撮影部１０３に対する位置姿勢とが用いられる。この方法も非特許文献１等により公知であるので、これ以上の説明を割愛する。
【００２１】
続いて、その重心位置から現実空間中の鉛直上向きに伸びる、映像撮影部１０３に対する重心線ベクトルを算出する。これは、映像撮影部１０３に対する現実空間の鉛直上向きベクトルを予め重心線算出部１０５の内部に持っておき、そのベクトルの始点を先に得た重心位置にすることで得ても良い。あるいは、映像撮影部１０３に不図示の重力センサを取り付けておき、そのセンサ計測値から映像撮影部１０３に対する現実空間の鉛直上向きベクトルを得て、そのベクトル始点を、既に取得した重心位置にすることで得ても良い。このようにして得られた映像撮影部１０３の撮影映像の重心線ベクトルは、情報生成部１０７へ送られる。
【００２２】
人物映像計測部１０６は、映像撮影部１０３より受け取る映像中に映る人物の物理的状態量を、映像を用いて計測する。より具体的には、頭・肩・肘・手先・腰・膝・足先といった人体パーツが、映像のどこに映っているかを計測、あるいは検出する。これを実現するには、例えば、非特許文献２に示された方法を利用する。すなわち、事前に頭や肩などの人体パーツの画像特徴を学習しておき、それぞれの学習結果に近い映像領域を、映像撮影部１０３より受け取る映像から探し出す。探し出せた場合には、その画像領域も学習して、次に受け取る映像から人体パーツ探索を行う。人物映像計測結果である、映像撮影部１０３より受け取る映像における人体パーツの位置は、対応する映像と共に情報生成部１０７へ送られる。
【００２３】
情報生成部１０７は、重心線算出部１０５より受け取る映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６より受け取る人物映像計測結果により情報を生成する。ここでの重心線ベクトルと人物映像計測結果（映像上の人体パーツの位置関係）が本実施形態における姿勢の評価指標であり、その生成された情報は、その評価指標から導かれる評価指標の解釈や適切な姿勢への改善方法を示すものである。この情報の具体例については、後述する。生成された情報は、コンピュータグラフィックス（ＣＧ）等により映像として表現される。この表現は、ユーザである人物が生成された情報をより実感しやすいように、場合よっては多少誇張して表現される。生成された情報を表現した映像は、それのみが情報提示部１０８へ送出されることがある。また生成された情報を表現した映像は、映像撮影部１０３の撮影映像上に重畳された後に情報提示部１０８へ送出されることがある。
【００２４】
情報生成部１０７が生成し表現する情報には、例えば、映像撮影部１０３の撮影映像上の人体パーツ位置から重心線に向けて引っ張る垂線の長さや向きがある。垂線の長さは理想的な姿勢（キーとなる人体パーツがより重心線に近い姿勢）との差を示し、垂線の向きは姿勢改善のために姿勢を正すべき方向を示す。この場合、垂線は、その長さに応じて、あるいは重心線に対して人体パーツ位置が右側にあるか左側にあるかに応じて、色や太さを変えたＣＧによる仮想の線として表現される。
【００２５】
この線を映像撮影部１０３の撮影映像上の対応する人体パーツの位置から水平方向に伸ばせば、伸ばした量は、映像撮影部１０３の撮影映像上に重心線からの人体パーツのずれ量として表現される。例えば、重心軸から頭や腰といった体の中心に近い人体パーツが離れていると、その垂線は長くなり、赤い太線などで目立つように表現される。図２（ａ）には、この状況を示すために、横向きの人物を映した映像撮影部１０３の撮影映像を示している。また図２（ｂ）には情報生成部１０７により生成された情報の内容を変換した映像を示し、図２（ｃ）には、その両者を重ね合わせた映像の例を示している。
【００２６】
図２（ｂ）と（ｃ）における点線は重心線を表し、３つの丸印は、人体パーツである頭と腰と膝の位置を表している。図２に示したケースでは、映っている人物の姿勢が悪く、頭と腰が重心線から大きく離れている。従って、頭と腰の位置に描かれた丸印から、重心線である点線まで、太い線が引かれている。
【００２７】
このとき、垂線の長さを誇張して表現してもよい。例えば、重心軸からあまり離れないほうが良い腰の位置が、重心軸からある距離以上はなれた場合には、垂線の長さを通常の２倍程度の長さで表現する。図３（ａ）には、映像撮影部１０３の撮影映像を示し、図３（ｂ）には、この誇張した例が示されている。この垂線の中点を映像撮影部１０３の撮影映像上の対応する人体パーツの位置に置けば、誇張された重心線からの人体パーツのずれ量が表現されることとなる。図３（ｃ）は、その両者を重ね合わせた映像の例を示している。
【００２８】
重心線と人体パーツの位置関係を示す情報は、お互いの距離や配置だけに限らない。映像を連続的に処理して得られる、重心軸と人体パーツの左右関係が入れ替わる頻度や、重心軸に対する人体パーツの移動速度なども情報の一部となる。
【００２９】
以上のように、重心線算出部１０５より受け取る重心線と人物映像計測部１０６より受け取る人物映像計測結果を、何らかの基準を用いて表現することで、映像撮影部１０３の前に立つ人物の姿勢の解釈や改善方法を可視化することができる。なお、人物の姿勢を解釈する情報や、姿勢を解釈する情報に基づく姿勢の改善方法を示す情報は、重心線と人体パーツの位置関係以外であっても、もちろん良い。また、情報の表現の仕方は、ＣＧ映像に限らない。例えば、過去に姿勢が良かったとき、つまり重心線と人体パーツの位置関係が良かったときの映像を保存しておき、その位置関係が悪くなった場合には、保存しておいた良かったときの映像に、悪いときの映像を重ねて表現しても良い。
【００３０】
図４は、この例を模式的に示したものである。図４（ａ）には、映像撮影部１０３の撮影映像が示され、図４（ｂ）には、理想的な姿勢をしていたときの映像が示されている。また、図４（ｃ）は、図４（ａ）と（ｂ）を重ねたものである。これを見ると、姿勢がどうなれば良い姿勢と評価されるのかを視認することができる。逆に、重心線と人体パーツの位置関係が悪かったときの過去の最終的な状態（例えば転倒）の映像を保存しておき、重心線と人体パーツの位置関係がその悪い状態に近づいたときに、保存していた悪い状態の映像に、いまの状態の映像を重ねて表現しても良い。それを目にすると、姿勢が今のままだとどんなリスクがあるのかを視認することができる。
また、人体パーツ位置から重心線に向けて引っ張る垂線の長さや向きを、線として表現するのではなく、映像撮影部１０３の撮影映像を改変することで表現しても良い。例えば、人体パーツのひとつである腰がある距離以上重心線から離れていた場合には、映像を改変して極端に腰が重心から離れているような映像を仮想的に生成することで表現してもよい。図５（ｂ）は、その例を模式的に示している。
【００３１】
また、重心線と人体パーツの位置関係、つまり重心線からの人体パーツの位置のずれ量が所定の閾値よりも大きいときに、そのずれの量を誇張して、実際の映像撮影部１０３の映像を実際より横に引き伸ばしたり傾けたりした映像により表現しても良い。図５（ａ）には、映像撮影部１０３の撮影映像が示され、図５（ｂ）には、図５（ａ）の撮影映像を改変して、極端に腰の部分が重心から離れていることが誇張されている。図５（ｃ）には、図５（ａ）の映像を傾けた場合の例を模式的に示している。なお、本実施例においては、ＣＧ映像、映像の重ね合わせ、映像の改変などを実現する方法に関しては、公知のものを利用するとして、詳細な説明は割愛する。
【００３２】
情報提示部１０８は、その一部もしくは全体がハーフミラー１０９と一体になっている。情報提示部１０８は、ハーフミラー１０９に映る鏡像に重ねて、情報生成部１０７より受け取る映像を表示する。例えば、これは、ハーフミラーの裏に液晶ディスプレイを貼り付けて実現する。また、ハーフミラー上に透明拡散シートを貼り付けて、プロジェクターで映像を投影することで実現してもよい。情報生成部１０７から受け取る映像は、情報生成部１０７が生成した情報のみが表現された映像でもよいし、その映像が映像撮影部１０３の撮影映像上に重畳されたものであってもよい。情報提示部１０８は、ハーフミラー１０９と一体化しているので、ハーフミラー１０９の後ろに配置された映像撮影部１０３のそばに配置されることとなる。
【００３３】
情報提示部１０８に表示する映像が情報生成部１０７の生成した情報のみの場合には、情報提示部１０８には、ハーフミラー１０９に映る鏡像の人物との位置関係が適切になるように、情報生成部１０７の生成情報を表現した映像が表示される。例えば、情報生成部１０７の生成情報の内容を像に変換して表現した映像が人体パーツ位置から重心線に向けて引っ張る垂線である場合には、その垂線が鏡像中の人物の人体パーツから伸びて見える位置に、情報生成部１０７からの映像を表示する。すなわち、情報生成部１０７の生成映像を左右反転させ、事前キャリブレーション情報など参照して大きさと位置を変更した後に、情報提示部１０８に表示する。
【００３４】
情報提示部１０８に表示される映像が、情報生成部１０７の生成情報を映像撮影部１０３の撮影映像上に重畳させる場合には、その位置や大きさは特に変更せず、そのまま情報提示部１０８に表示してもよい。あるいは、鏡像に映る人物などとの干渉を考慮して位置や大きさを変えてもよい。また、映像を左右反転させても、させなくてもよい。
【００３５】
ハーフミラー１０９は、鏡面としての光学的性質を備えていれば、ガラスに銀塗装やアルミ塗装を施したものでもよいし、透明アクリル板や透明ポリカーボネート板に半透明鏡面フィルムを貼り付けたものでもよい。
【００３６】
図６は、本実施形態の映像情報処理装置１００が行う処理フローを示している。なお、このフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、この処理フローは不図示のＣＰＵなどにより読み出されて実行される。なお、データ等の送受信に関する処理に関しては、直接的に行われても、もちろんネットワークを介して行われてもよいため、以下ではこれらのことについて特に言及しない。
【００３７】
Ｓ１００において、ユーザがバランス計測部１０１の上に乗った状態の処理が開始される。Ｓ１０１で、バランス計測部１０１によるバランス計測が行われる。計測されたバランス計測値が重心算出部１０２へ送られる。Ｓ１０２では、重心算出部１０２は、バランス計測部１０１から送られた複数の荷重値より、バランス計測部１０１に加わった荷重の重心位置を算出する。その算出値が重心線算出部１０５へ送られる。
【００３８】
Ｓ１０３では、映像撮影部１０３による映像撮影が行われる。その撮影映像には、バランス計測部１０１とその上に乗ったユーザの姿が映されている。撮影された映像は、バランス計位置姿勢算出部１０４と人物映像計測部１０６とに送られる。Ｓ１０４では、バランス計位置姿勢算出部１０４は、映像撮影部１０３から受け取った映像に基づき、バランス計測部１０１の映像撮影部１０３に対する位置姿勢の算出を行う。算出されたバランス計測部１０１の映像撮影部１０３に対する位置姿勢は、重心線算出部１０５へ送られる。
【００３９】
Ｓ１０５では、重心線算出部１０５は、バランス計測部１０１に加わった荷重の重心位置での、撮影映像の中での映像撮影部１０３の位置を算出する。続いて、その重心位置から現実空間で鉛直上向きに伸びる、映像撮影部１０３に対する重心線ベクトルが算出される。算出した重心線ベクトルが情報生成部１０７へ送られると、処理はステップＳ１０６へと進む。
【００４０】
Ｓ１０６では、人物映像計測部１０６は、映像撮影部１０３より送られた映像に映る人物に対して人物映像を計測する。より具体的には、頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかが計測、あるいは検出される。すなわち計測されるのは、映像撮影部１０３より受け取った映像の人体パーツの位置である。この人物映像計測結果とそれに対応する映像が情報生成部１０７へ送られる。
【００４１】
Ｓ１０７では、情報生成部１０７は、重心線算出部１０５から送られた映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６から送られた人物映像計測結果より、評価指標から導かれる情報を生成する。生成された評価指標から導かれる情報は、映像として表現され、その映像のみ、もしくはその映像を映像撮影部１０３の撮影映像上に重畳した映像が情報提示部１０８へ送られる。Ｓ１０８では、情報提示部１０８は、情報生成部１０７より送られた評価指標から導かれる情報を含む映像を表示する。そして処理は、ステップＳ１０１へと戻る。
【００４２】
以上の処理によって、映像情報処理装置１００は、ユーザの姿勢の評価指標から導かれる情報、すなわちその解釈や適切な姿勢への改善方法を可視化することができる。これにより、本実施形態における映像情報処理装置１００のユーザは、過去の姿勢や理想的な姿勢と今の姿勢との差や、その差を広げる／縮めるための人体パーツ位置の矯正方法を、目で見ることが出来る。Ｓ１０１からＳ１０８までに要する時間は、短時間（例えば３０分の１秒）なので、ユーザは３０分の１秒前の自身の姿勢（＝体感的にはまさにそのときの姿勢）に対する評価指標の解釈や適切な姿勢の改善方法を目にすることができる。そして、その可視化された情報を見ることで、ユーザは自分自身で適切に姿勢を正す方法を把握することができる。
【００４３】
なお、本実施形態では、映像情報処理装置１００がユーザの姿勢の評価指標から導かれる情報を映像として可視化したが、映像ではないモダリティを用いて表現しても良い。すなわち、情報提示部１０８は映像の表示をするのではなく、音声を出力したり、触覚刺激を提示したりしても良い。
【００４４】
例えば、本実施形態における情報生成部１０７において、評価指標から姿勢が「猫背」であるという情報が生成されたら、「猫背になっていますよ」という音声を情報提示部１０８から出力しても良い。あるいは、情報提示部１０８が、例えば小さな物体が背中に向けて発射されるなどして、背中に刺激を与え、猫背になっていることを知らせても良い。
【００４５】
＜実施形態２＞
本実施形態に係る映像情報処理装置は、実施形態１として示した映像情報処理装置に、情報蓄積ならびに情報編集の機能を加えている。この構成をとることで、評価指標から導かれる情報に加えて、さらに他のユーザが編集した情報をユーザに提示することができるようになる。
【００４６】
図７は、本実施形態に係る映像情報処理装置２００を示す図である。図７に示すように、映像情報処理装置２００は、図１に示した実施形態１に係る映像情報処理装置１００に加え、さらに情報蓄積部２０１、情報編集部２０２および情報保持部２０３を備えている。
【００４７】
バランス計測部１０１は、一般的なバランス計測を行う。本実施形態では、バランス計測部１０１は、ハーフミラー１０９の前に置かれ、人が上に乗った状態で利用される。重心算出部１０２は、バランス計測部１０１から送られる複数の荷重値より、バランス計測部１０１に加わった荷重の重心位置を算出する。算出された重心位置は、重心線算出部１０５へ送られる。
【００４８】
映像撮影部１０３は、ハーフミラー１０９の後ろに配置され、そのハーフミラー１０９越しに、ハーフミラー１０９の前の現実空間を撮影する。撮影された映像は、バランス計位置姿勢算出部１０４と情報生成部１０７へ送られる。バランス計位置姿勢算出部１０４は、映像撮影部１０３から受け取った映像に基づき、バランス計測部１０１の映像撮影部１０３に対する位置姿勢を算出する。算出されたバランス計測部１０１の映像撮影部１０３に対する位置姿勢は、重心線算出部１０５へ送られる。
【００４９】
重心線算出部１０５は、バランス計測部１０１に加わった荷重の重心位置の、映像撮影部１０３の撮影映像の位置を算出する。算出された映像撮影部１０３の撮影映像における重心線ベクトルは、情報生成部１０７へ送られる。人物映像計測部１０６は、映像撮影部１０３から受け取った映像に映る人物の物理的状態量を計測する。より具体的には、映像中に人物が映っているかどうかの検出と、頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかの計測を行う。人物映像計測の結果は、情報保持部２０３と情報生成部１０７へ送られる。また人物映像計測結果に対応する映像も一緒に情報生成部１０７へ送られる。
【００５０】
情報生成部１０７は、重心線算出部１０５より受け取る映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６より受け取る人物映像計測結果より、評価指標から導かれる情報を生成する。生成した情報は、ＣＧ等により映像として表現される。情報生成部１０７が生成する情報は、映像撮影部１０３の前に立つ人物の姿勢を評価し解釈する情報や、姿勢について解釈する情報に基づいた姿勢の改善方法を示す情報である。映像撮影部１０３の撮影映像上に重畳された後に、この映像は情報蓄積部２０１へ送られる。ただし、情報生成部１０７が、生成した情報は編集しないと判断した場合、例えば情報が身長や体重といった事実のみを表現する場合などには、生成された情報を表現した映像は、情報保持部２０３へ送られる。
【００５１】
情報蓄積部２０１は、情報生成部１０７から送られた映像を記録する格納部である。映像は、撮影日時や、映像に重畳された情報のプロパティ、例えば、映像中に人物が映っているかどうかの検出結果などからアクセスできるように記録される。この記録された映像は、情報編集部２０２へ送られる。この送信は、情報蓄積部２０１が自律的に行ってもよいし、情報編集部２０２からの参照リクエストに応じる形で行われてもよい。例えば、情報生成部１０７から映像が送られたら、すぐにその映像が情報編集部２０２へ送られても良いし、情報編集部２０２からの参照リクエストを待って、一定時間経過した場合に、自動的に映像が情報編集部２０２へ送られてもよい。なお、情報蓄積部２０１は、情報生成部１０７と物理的に離れていてもよい。
【００５２】
情報編集部２０２は、情報蓄積部２０１に記録された映像を参照して、映像に示される情報を編集するインタフェースをユーザに提供するブラウザである。ここでのユーザは、バランス計測部１０１の上に乗ったユーザＡとは異なるユーザＢである。例えば、ユーザＢがユーザＡの姿勢を評価する医師である場合を考える。ユーザＢは、情報編集部２０２を介して、情報蓄積部２０１に記録された映像の参照リクエストを出す。また、ユーザＢは、情報蓄積部２０１から送られた映像に示された情報をユーザＡが解釈しやすいように、情報の編集、例えば追加や削除、加工を行う。ここでいう情報の編集とは、例えば、映像に示された情報、重心線ベクトルや人体パーツの計測位置の微修正（ベクトルの長さやパーツ計測位置の変更など）である。また、情報の編集とは、映像に対するコメントや補助線などの追記、あるいは映像の変形や変色や一部削除である。このような編集操作は、一般に知られたマウスやキーボードのＧＵＩや、ジェスチャ、音声などを用いて行われる。ユーザＢによる情報の編集が一定時間行われないか、または、ユーザＢによる情報の編集が開始された後に編集終了操作が行われると、未編集の情報、もしくは、編集済み情報を示す映像は、情報保持部２０３へ送られる。なお、情報編集部２０２は、情報蓄積部２０１と物理的に離れていても良い。
【００５３】
情報保持部２０３は、情報生成部１０７または情報編集部２０２から送られた情報を示す映像を記録する格納部である。そして、人物映像計測部１０６から受け取る人物映像計測結果に基づいて、記録した映像を情報提示部１０８へ送る。例えば、次のような計測結果を受け取った場合に、記録、保持した映像を情報提示部１０８へと送る。すなわち、人物映像計測部１０６より、「映像中に人物が映っている」という計測結果を受け取った場合や、「映像中の人体パーツの位置関係がある特定の関係になっている」という計測結果を受け取った場合である。これにより、ユーザＡが映像撮影部１０３の前にいるときや、その前で特定のジェスチャをしたとき、情報保持部２０３は、記録した映像を情報提示部１０８へ送る。なお、情報保持部２０３は、情報編集部２０２や情報提示部１０８と物理的に離れていても良い。
【００５４】
情報提示部１０８は、ハーフミラー１０９と一体化している。情報提示部１０８は、ハーフミラー１０９に映る鏡像に重ねて、情報保持部２０３より受け取った映像を表示する。その際、映像を左右反転させても良いし、させなくても良い。
【００５５】
図８は、本実施形態の映像情報処理装置２００が行う処理フローを示している。図８に示すように、映像情報処理装置２００の処理は、図６の実施形態１における映像情報処理装置１００の処理に、いくつかのステップを加えたものである。従って、映像情報処理装置１００の処理と同じステップについての詳しい説明を割愛する。なお、このフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、この処理フローは、不図示のＣＰＵなどにより読み出され、実行される。なお、データ等の送受信に関する処理に関しては、直接的に行われても、もちろんネットワークを介して行われてもよいため、以下ではこれらのことについて特に言及しない。
【００５６】
Ｓ１００で、ユーザがバランス計測部１０１の上に乗り、処理が開始される。実施形態１の映像情報処理装置１００の処理と同様に、Ｓ１０１からＳ１０５まで進む。
【００５７】
Ｓ１０５に続くＳ１０６でも、実施形態１の映像情報処理装置１００の処理と同様の処理が行われる。ただし、映像情報処理装置２００の処理では、人物映像計測部１０６は、映像撮影部１０３より送られる映像中に人物が映っているかどうかの判断を行う。これは、頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかの判断と共に行われる。その人物映像計測結果が、情報保持部２０３と情報生成部１０７へ送られる。
【００５８】
Ｓ１０７では、情報生成部１０７は、重心線算出部１０５から送られた映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６より送られた人物映像計測結果より、評価指標から導かれる情報を生成する。生成された情報は、映像として表現される。
【００５９】
Ｓ２００では、情報生成部１０７は、ステップＳ１０７で生成された情報が編集可能かどうかを判断する。編集されると判断された場合には、生成された情報を表現した映像を映像撮影部１０３の撮影映像上に重畳した映像が情報蓄積部２０１へ送出し、Ｓ２１０へ進む。編集されないと判断された場合には、生成された情報を表現した映像を映像撮影部１０３の撮影映像上に重畳した映像が情報保持部２０３へ送出し、Ｓ２０３へ進む。
【００６０】
Ｓ２０１では、情報蓄積部２０１は、情報生成部１０７から送られた映像を記録する。その後処理は、Ｓ２０２へ進む。
【００６１】
Ｓ２０２では、まず、情報蓄積部２０１に記録された映像が情報編集部２０２へ送出される。この映像の送出は、情報蓄積部２０１が映像を記録してから一定時間が経過した後に自動的に行われるか、または情報編集部２０２からの参照リクエストへの応答として行われる。そのため、Ｓ２０１とＳ２０２の間の時間は、一定でなく、場合により変動する。従って、Ｓ２０１を終了後、極めて短い時間でＳ２０２が開始される場合もあれば、数時間もしくは数日が経った後に、Ｓ２０２が開始される場合もある。
【００６２】
これに続いて、情報編集部２０２は、ユーザＢによって行われる、情報蓄積部２０１から情報編集部２０２へ送られる映像に示された情報の編集、すなわち追加や削除、加工などを受付ける。そしてユーザＢが情報の編集を終え、編集終了操作を情報編集部２０２に対して行うと、編集済み情報を示す映像が情報保持部２０３へ送られ、処理はステップＳ２０３へ進む。
【００６３】
Ｓ２０３では、情報保持部２０３は、人物映像計測部１０６もしくは情報編集部２０２から送られた映像が記録し保持する。Ｓ２０４では、映像撮影部１０３が映像の撮影を行う。その後、その映像を受け取った人物映像計測部１０６が、映像に人物が映っているかどうかを判断する。その人物映像計測結果が、情報保持部２０３へ送られると、処理はＳ２０５へと進む。
【００６４】
Ｓ２０５では、情報保持部２０３は、人物映像計測部１０６より受け取った人物映像計測結果が、特定の計測結果であるかどうかを識別する。特定の計測結果とは、例えば、「映像中に人物が映っている」や、「映像中の人体パーツの位置関係がある特定の関係になっている」という計測結果である。特定の計測結果であった場合には、情報保持部２０３に記録された映像が情報提示部１０８へ送られた後、Ｓ１０８へ進む。特定の計測結果でなかった場合には、Ｓ２０４へ戻る。
【００６５】
なお、情報保持部２０３が複数の映像を記録している場合には、どれを送るかは任意である。例えば、最新の映像のみを送っても良いし、全てが時系列順に送られても良い。また、最新分から一定量だけの映像を送っても良い。Ｓ１０８では、情報提示部１０８は、情報保持部２０３から送られた映像が表示される。そして処理はＳ１０１へと戻る。
【００６６】
以上の処理によって、映像情報処理装置２００は、ユーザの姿勢の評価指標から導かれる、その解釈や適切な姿勢への改善方法を可視化する。実施形態１における映像情報処理装置１００とは異なり、Ｓ１０１からＳ１０８までは、場合によっては数日かけて処理される。その代わり、ユーザＡは自身の姿勢に対する評価指標の解釈や適切な姿勢への改善方法を、ユーザＢという人手を介して編集された情報として目にすることができる。そして、その可視化された情報を見ることで、ユーザは自分で適切に姿勢を正す方法を把握することができる。
【００６７】
なお、図８に示した処理フローチャートでは、Ｓ２０２やＳ２０４、Ｓ２０５の間で処理が停滞することがあり得る。すなわち、Ｓ１０８まで進まなければＳ１０１へと戻らない。しかし、開始時点をずらして同じ処理フローを複数実行すれば、ある処理フローがＳ２０２などで停滞していても、他の処理フローによるＳ１０１からＳ１０７までの実行は可能である。よって、バランス計測部１０１上にユーザＡが乗っていながら、映像情報処理装置２００による処理が行えないといった状態が回避できる。
【００６８】
＜実施形態３＞
実施形態３の映像情報処理装置は、ハーフミラーの前に立った人物をハーフミラー越しにカメラで撮影するとともに、その撮影映像以外を用いて、ハーフミラー前の人物の人体を計測する。そしてその撮影映像と人体計測結果に基づいて、ハーフミラーの前に立った人物の生理的状態量を計測する。さらに、その計測結果から導かれる人体に関する情報を、ハーフミラーと一体化した情報提示部に提示する。最後に、ユーザは、ハーフミラー越しに映る自分の鏡像と、情報提示部に可視化された情報とを合わせて見ることができる。
【００６９】
図９は、本実施形態に係る映像情報処理装置３００の概略を示す。図９に示すように、映像情報処理装置３００は、人体計測部３０１、映像撮影部１０３、人物映像計測部３０６、情報生成部１０７、情報提示部１０８、ハーフミラー１０９を備えている。映像情報処理装置１００と共通する構成部分は、実施形態１とほぼ同様であるので、詳しい説明を割愛する。
【００７０】
映像撮影部１０３は、ハーフミラー１０９の後ろに配置され、そのハーフミラー越しに、ハーフミラーの前の現実空間を撮影する。すなわち、ハーフミラーの前に立つ人物を撮影することとなる。撮影された映像は、人物映像計測部１０６へ送られる。
【００７１】
人体計測部３０１は、ハーフミラー１０９の近くに配置され、映像撮影部１０３が撮影する映像以外のデータに基づいて、人体を計測する。ここでの人体計測は、人体の３次元的な形状、表面温度、皮膚成分、体内の血流状況や筋肉状況等の測定を意味する。
【００７２】
人体の３次元形状計測は、例えば、距離計測赤外カメラやステレオ距離計測カメラを用いて行われる。すなわち、人体を含む撮影領域のカメラからの距離分布を計測するとともに、背景差分や動体検知機能を利用しながら撮影領域中の人体領域を抽出することで、撮影領域にある人体の３次元形状を計測する。分解能の高い距離計測を可能とするカメラを用いて、しわなどの細かな凹凸まで計測しても良い。
【００７３】
人体の表面温度は、赤外線放射温度計などを人体計測部３０１に含めることで計測する。また人体の皮膚成分は、例えば紫外光撮影カメラを用いて皮膚のメラニン分布を計測したり、分光反射計測計によって皮膚の反射率波長特性を計測したりする。体内の血流状況は、例えばテラヘルツ波を用いて、血液通過速度や時間当たりの血液通過量の分布を計測する。同様に筋肉状況もテラヘルツ波などを用いて、筋肉の収縮、弛緩状況を計測する。いずれにせよ、本実施形態における人体計測は、公知の技術を用いることとし、これ以上の詳細な説明を割愛する。人体計測部３０１の計測結果は、人物映像計測部３０６へ送られる。
【００７４】
人物映像計測部３０６は、人体計測部３０１から受け取った人体計測結果を踏まえて、映像撮影部１０３から受け取った映像中の人物の生理的状態量を計測する。より具体的には、映像中に人物が映っている人物の頭、肩、肘、手先、腰、膝、足先といった人体パーツが、どのような生理的状態になっているかを計測する。この計測結果は、計測結果統合部３０２へ送られる。
【００７５】
計測の実施にあたり、まず人物映像計測部３０６は、映像撮影部１０３から受け取った映像に映る人物の頭、方、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかを計測する。続いて、人体パーツが映像中のどこに映っているかを表現する座標系と、人体計測部３０１の計測座標系とを一致させるための較正を行う。そしてその較正結果に基づき、映像中の位置が計測された人体パーツの名称、あるいはそれから類推されるタームを、対応する位置での人体計測結果にラベルとして割り付ける。
【００７６】
計測結果と人体パーツを示すラベルとが統合されることで、人体計測部３０１による人体の３次元計測結果には、どの人体パーツの形状であるかを示すラベルが付けられる。例えば、体全体の長さ計測結果には、「身長」というラベルが付けられる。腹部の３次元的計測結果には、「腹囲」というラベルが付けられる。顔の肌の凹凸には、「顔の皺」といったラベルを付けることもできる。同様に、人体の表面温度には、体の部位毎の体温というラベルを付けられる。
【００７７】
例えば、顔部の表面温度計測結果には、「（額で測られる）一般的な体温」というラベルが付き、手先の表面温度計測結果には、「手の冷えを示す体温」というラベルを付けてもよい。さらに人体の皮膚成分には、体の部位毎の皮膚状況というラベルを付ける。また、常に外界に晒されている顔部のメラニン分布には「皮膚の老化度」というラベルが付けられ、手先の皮膚反射波長特性には「手の荒れ具合」というラベルが付けられる。
【００７８】
計測した皮膚状況によって、「発疹の有無」、「肌が荒れ状況」「内的疾患兆候」といったラベルをつけることも可能である。そして体内の血流状況には、「脳血管の状況」や「心臓周囲の血流状況」といったラベルを付与することができる。筋肉状況も同様で、「肩筋肉の状況」や「足筋肉の状況」といったラベルを付与することもできる。
【００７９】
人物映像計測部３０６は、以上に例示したようなラベルを付与した人体計測結果を人物映像計測結果として、映像撮影部１０３から受け取った映像と共に、情報生成部１０７へ送る。情報生成部１０７は、人物映像計測部３０６から人物映像計測結果を受け取ると、それからユーザに提示する人体に関する情報を生成する。
【００８０】
例えば、人物映像計測部３０６より「腹囲」というラベルの付いた人体３次元形状計測値を受け取った場合には、情報生成部１０７は、その値に応じて「太り気味」「やせ気味」「標準」といったメタボ健診などで使われる評価情報を生成する。あるいは、過去の計測結果と比較して、「やせた」「太った」などの体型の変化を情報として生成してもよい。
【００８１】
人物映像計測部３０６から「一般的な体温」というラベルの付いた人体表面温度を受け取った場合には、情報生成部１０７は、その値に応じて新型インフルエンザの罹患可能性を情報として生成してもよい。例えば体温が３７度以上であったならば、「新型インフルエンザ罹患の可能性あり」といった情報を生成する。人物映像計測部３０６から「手の冷えを示す体温」というラベルの付いた人体表面温度を受け取った場合には、情報生成部１０７は、「体の冷え度」という情報を生成できる。
【００８２】
また情報生成部１０７は、「皮膚の老化度」というラベルの付いた皮膚状況からは「皮膚年齢」、「手の荒れ具合」というラベルの付いた皮膚状況からは「肌荒れ予報」といった情報が生成できる。「発疹の有無」というラベルのついた皮膚状況からは「病気罹患可能性」を、情報として生成することが出来る。
【００８３】
情報生成部１０７は、「脳血管の状況」や「心臓周囲の血流状況」といったラベルの付いた血流状況からも、病気のリスクを情報として生成することができる。例えば、「頭部（脳）」や「心臓近辺」といったラベルのついた血流速度の低下や血流量の低下からは、「脳疾患や心筋梗塞の可能性あり」という情報を生成できる。
【００８４】
さらに、「手足」などのラベルが付いた筋肉の動き（緊張と弛緩の繰り返し）が不活性であったならば、情報生成部１０７は、それから「脳梗塞の可能性あり」という情報を生成することも可能である。「肩筋肉」というラベルのついた筋肉状況の連続的な緊張からは、情報生成部１０７は、「肩こりあり」といった情報を生成することもできる。
【００８５】
情報生成部１０７は、以上に例示したような「ラベル付の人物映像計測結果」と「情報」の組み合わせリストを内部に保持しておく。そして、人物映像計測部３０６からラベル付の計測結果を受け取ると、そのラベル付計測結果に対応付けられている情報を取り出すことで、以上に例示したような情報を生成する。生成された情報は、ＣＧ等により映像として表現される。その表現は、生成された情報を人がより実感しやすいように表現される。
【００８６】
例えば、生成された情報は、その元となった人体の情報に対応する人体パーツの周辺に情報が提示されるように表現される。あるいは、提示する情報の意味が実感できる比較映像（「太った」という情報を示すのであれば、過去に「標準」という情報が得られたときの映像）を示すことで表現されたりする。生成された情報を表現した映像は、それのみが情報提示部１０８へ送られたり、映像撮影部１０３の撮影映像上に重畳された後に情報提示部１０８へ送られたりする。
【００８７】
情報提示部１０８は、ハーフミラー１０９と一体化しており、ハーフミラー１０９に映る鏡像に重ねて、情報生成部１０７より受け取る映像を表示する。これは、例えば、ハーフミラーの裏に液晶ディスプレイを貼り付けて実現されたり、ハーフミラー上に透明拡散シートを貼り付けて、プロジェクターで映像を投影して実現されたりする。情報生成部１０７から受け取った映像は、情報生成部１０７が生成した情報のみが表現された映像であったり、その映像が映像撮影部１０３の撮影映像上に重畳されたものであったりする。
【００８８】
図１０は、本実施形態の映像情報処理装置３００が行う処理フローを示している。なお、このフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、この処理フローは、不図示のＣＰＵなどにより読み出され、実行される。なお、データ等の送受信に関する処理に関しては、直接的に行われても、もちろんネットワークを介して行われてもよいため、以下ではこれらのことについて特に言及しない。
【００８９】
Ｓ３００において処理が開始されると、まず人体計測部３０１が、人体の計測を行う。Ｓ３０２で、Ｓ３０１において人体が計測されたかどうかを判定する。人体に関する計測値が得られていれば、人体が計測されたと判断され、Ｓ３０３へと進む。人体に関する計測値が得られていなければ、Ｓ３０１へと戻る。
【００９０】
Ｓ３０３では、映像撮影部１０３は映像撮影を行う。撮影された映像が人物映像計測部３０６へ送られる。Ｓ３０４では、人物映像計測部３０６が、まず、映像撮影部１０３から受け取った映像に映る人物の頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像のどこに映っているかを計測する。続いて、人体パーツが映像中のどこに映っているかを表現する座標系と、人体計測部３０１の計測座標系とを一致させるための較正を行う。
【００９１】
その較正結果に基づいて、位置が計測された人体パーツの名称、もしくはそれから類推されるタームを、対応する位置での人物映像計測結果にラベルとして割り付ける。ラベルを割り当てられた人体計測結果は人物映像計測結果として情報生成部１０７へと送られ、Ｓ３０５へと進む。
【００９２】
Ｓ３０５では、情報生成部１０７は、ラベル付の人物計測結果である人物映像計測結果に基づいて、評価の情報を生成する。生成された情報は映像として表現され、その映像のみ、あるいはその映像を映像撮影部１０３から送られた撮影映像上に重畳した映像が情報提示部１０８へ送られる。Ｓ３０６では、情報提示部１０８は、情報生成部１０７から送られた映像を表示する。そして処理はＳ３０１へと戻る。
【００９３】
以上の処理によって、映像情報処理装置３００は、鏡の前に立つユーザに対し、自分の鏡像と、情報提示部に可視化された情報とを合わせて提示することが出来る。この提示によって、例えばユーザは、自分が最近太ったのかやせたのかや、インフルエンザなどの病気にかかっているかどうかや、肌などに現れる体調の状態を知ることが可能となる。
【００９４】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、人体の姿勢や形状とその評価指標の関係と姿勢の改善方法を可視化する装置および方法に関する。
【背景技術】
【０００２】
機能回復を目的としたリハビリテーション（リハビリ）や健康維持のための体操の評価を行うのに、そのときの人体の姿勢を用いることが注目されている。そして、姿勢の評価の指標には、人体計測結果のひとつである重心線（重心から鉛直上向きに引いた線）や、その重心線と膝や腰などの人体パーツとの位置関係などが用いられる。
【０００３】
例えば、安定した姿勢で立っているかどうかは、重心線のふらつきによって評価できる。安全な姿勢で歩けているかは、重心線が後ろ側の足の上にあるか否かで判断することができる。また、重心線が後ろ側の足よりも前にあると、前側の足が滑った場合に人体が転倒してしまう。姿勢の歪みは、重心線と膝や肘などの人体パーツの中心位置とのずれ量によって評価することができる。しかしながら、このような指標をリハビリや健康体操をしているときに自分自身で理解して実感することは難しい。
【０００４】
そこで、自分自身で理解するために、カメラで撮影した人物映像上に、人体計測結果に基づいて姿勢を評価する指標を重畳表示する技術が知られている。例えば、特許文献１では、患者の重心位置を検出する手段が、Ｘ線画像撮影時に患者自身を支えるための支持手段に取り付られていることを開示している。そして、検出した重心位置から求められる重心線をＸ線画像に重ねて表示する技術が示されている。この技術によれば、重心線とＸ線骨格映像に示される姿勢の関係が視覚的に表現されて理解しやすい。
【０００５】
また特許文献２には、重心線とカメラで撮影した人物映像とを用いて姿勢を診断する技術が開示されている。この技術では、足圧計測値に基づいて算出される重心線と映像に映った人物の姿勢診断ポイントの座標との関係から、姿勢を診断する。これによれば、姿勢の評価の指標を自分自身で理解することは難しいが、その指標に基づいての姿勢の評価を得ることはできる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３７２１３３０号公報
【特許文献２】特開２００５−２２４４５２号公報
【非特許文献】
【０００７】
【非特許文献１】「ロボットビジョンの基礎」出口光一郎著 ２０００年 コロナ社
【非特許文献２】H. Grabner、M. Grabner、and H. Bischof.、Real-time Tracking via On-line Boosting、In Proceedings British Machine Vision Conference (BMVC)、volume 1、pages 47-56、2006．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のような技術では、Ｘ線骨格画像上に姿勢とその評価指標とが同時に表現されている。従って、医師や理学療法師ではない一般の人にとって、表示された姿勢とその評価指標の関係を適切に解釈することは難しい。また、同じく一般の人にとっては、特許文献２のような技術で最終的な姿勢の評価結果だけは得られるが、それを理解することは難しい。従って、一般の人は、その解説を聞かなければ、自身の姿勢のどこをどうすればより良い姿勢になるのかがわからない。
【０００９】
本発明は、係る課題を解決するために、姿勢だけでなく、体型や体内状況を含む、広い意味での人体の評価指標から導かれる、評価指標の解釈や適切に人体を改善する情報を可視化する装置と方法を提供する。
【課題を解決するための手段】
【００１０】
すなわち本発明の情報処理装置は、人体の重心位置を算出する重心算出手段と、ハーフミラーの前に立つ前記人体を該ハーフミラー越しに撮影する撮影手段と、前記撮影された前記人体の映像から人体パーツの位置と前記人体の姿勢を計測する計測手段と、前記算出された人体の重心位置と前記計測した人体の姿勢から重心線を算出し、前記計測された人体パーツの位置の重心線からのずれ量を評価する評価手段と、前記ハーフミラー上に映し出された人体の鏡像に重畳させて、前記人体の重心位置、前記人体パーツの位置、前記重心線および前記評価した人体パーツの重心線からのずれ量を前記ハーフミラー上に表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明の構成をとることで、人体の姿勢などの測定から導かれる評価指標を解釈し適切に人体を改善する情報を可視化する映像情報処理装置と方法を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施形態に係る映像情報処理装置の構成を示す図。
【図２】映像撮影部の撮影映像と情報生成部により生成された情報を表現した映像とその両者を重ね合わせた映像の例を示す図。
【図３】映像撮影部の撮影映像と情報生成部により生成された情報を表現した映像とその両者を重ね合わせた映像の例を示す図。
【図４】映像撮影部の撮影映像と過去に姿勢がよかったときの映像とその両社を重ね合わせた映像を示す図。
【図５】映像撮影部の撮影映像を改変したときの例を示す図。
【図６】映像情報処理装置の処理を示す図。
【図７】映像情報処理装置の構成を示す図。
【図８】映像情報処理装置の処理を示す図。
【図９】映像情報処理装置の構成を示す図。
【図１０】映像情報処理装置の処理を示す図。
【発明を実施するための形態】
【００１３】
本発明は、人体の計測結果に基づいた数値的に表わされた姿勢の評価指標から導かれる適切な姿勢の改善方法を可視化する。例えば、現在の姿勢と理想的な姿勢との差や、姿勢改善に向けてとるべき姿勢、姿勢変化の履歴に基づく未来の姿勢などを、数値的な姿勢の評価指標から導びき可視化する。可視化の方法としては、テキストや補助線などを用いて、姿勢を撮影した映像をわざと大きく変形させたりすることで、理解しやすいようにする。また、利用者は、姿勢評価指標から導かれる可視化された情報を見ることで、理想的な姿勢やとるべき姿勢を直感的に見て体を動かしたり、未来姿勢を見て今の姿勢が将来に及ぼす影響を実感したりすることができる。以下には、本発明のいくつかの実施形態について記載する。
【００１４】
＜実施形態１＞
実施形態１における映像情報処理装置は、ハーフミラー（半透明の鏡面）の前に置かれるバランス計測部に乗った人物のバランスを計測するとともに、その人物の姿をハーフミラー越しにカメラで撮影する。そして、バランス計測部測結果とカメラで撮影した映像に基づいてバランス計測部に乗った人物の姿勢評価指標が算出される。そしてその指標から導出される情報が、ハーフミラーと一体化した情報提示部に提示される。バランス計測部に乗った人物は、ハーフミラー越しに映る自分の鏡像と情報提示部に可視化された姿勢評価指標から導かれる情報とを合わせて見ることができる。
【００１５】
図１は、本実施形態に係る映像情報処理装置１００の概略を示す図である。映像情報処理装置１００は、バランス計測部１０１、重心算出部１０２、映像撮影部１０３、バランス計位置姿勢算出部１０４、重心線算出部１０５、人物映像計測部１０６、情報生成部１０７、情報提示部１０８およびハーフミラー１０９を備える。
【００１６】
バランス計測部１０１は、一般的に知られたバランス計である。すなわち、３つ以上の足を持ち、それぞれの足に加わる荷重を計測することができる。計測されたそれぞれの足への荷重値は、重心算出部１０２へと送られる。この送信は、有線通信でも無線通信でも良い。バランス計測部１０１は、ハーフミラー１０９の前に置かれ、人が上に乗ることで計測される。
【００１７】
重心算出部１０２は、バランス計測部１０１から送られた複数の荷重値より、バランス計測部１０１に加わった荷重の重心位置を算出する。すなわち、重心位置から各足までの距離の比が、各足への荷重の逆数の比になるような位置を算出する。重心位置の算出結果は、重心線算出部１０５へ送られる。
映像撮影部１０３は、ハーフミラー１０９の後ろに配置され、ハーフミラー１０９越しに、ハーフミラー１０９の前の現実空間を撮影する。ハーフミラー１０９の前にバランス計測部１０１が置かれるため、映像撮影部１０３は、バランス計測部１０１と、その上に乗った人物とを撮影することとなる。撮影された映像は、バランス計位置姿勢算出部１０４と人物映像計測部１０６へ送られる。
【００１８】
バランス計位置姿勢算出部１０４は、映像撮影部１０３より受け取る映像に基づき、バランス計測部１０１の映像撮影部１０３に対する位置姿勢を算出する。カメラに対する３次元物体の位置姿勢の算出は、非特許文献１などで一般に良く知られた方法で行う。例えば、まずバランス計測部１０１に形状が既知である矩形マーカを添付しておく。そして、映像撮影部１０３の撮影映像における矩形マーカの見え方から、映像撮影部１０３から見た矩形マーカの位置姿勢を算出する。
【００１９】
続いて、事前にキャリブレーションしておいた矩形マーカとバランス計測部１０１の位置姿勢の関係から、映像撮影部１０３から見たバランス計測部１０１の位置姿勢を算出する。他の方法として、映像撮影部１０３の撮影映像におけるバランス計測部１０１に固有のエッジや模様などの自然特徴の見え方から、映像撮影部１０３から見た矩形マーカの位置姿勢を算出する方法がある。いずれにせよ、本実施形態おけるバランス計位置姿勢算出部１０４は、一般に良く知られた「３次元物体のカメラに対する位置姿勢算出」であるので、これ以上の説明は割愛する。
【００２０】
バランス計測部１０１の映像撮影部１０３に対する位置姿勢の算出結果は、重心線算出部１０５へ送られる。重心線算出部１０５は、バランス計測部１０１に加わった荷重の重心の、映像撮影部１０３の撮影映像中の位置を算出する。その算出には、重心算出部１０２からのバランス計測部１０１に加わった荷重の重心位置と、バランス計位置姿勢算出部１０４からのバランス計測部１０１の映像撮影部１０３に対する位置姿勢とが用いられる。この方法も非特許文献１等により公知であるので、これ以上の説明を割愛する。
【００２１】
続いて、その重心位置から現実空間中の鉛直上向きに伸びる、映像撮影部１０３に対する重心線ベクトルを算出する。これは、映像撮影部１０３に対する現実空間の鉛直上向きベクトルを予め重心線算出部１０５の内部に持っておき、そのベクトルの始点を先に得た重心位置にすることで得ても良い。あるいは、映像撮影部１０３に不図示の重力センサを取り付けておき、そのセンサ計測値から映像撮影部１０３に対する現実空間の鉛直上向きベクトルを得て、そのベクトル始点を、既に取得した重心位置にすることで得ても良い。このようにして得られた映像撮影部１０３の撮影映像の重心線ベクトルは、情報生成部１０７へ送られる。
【００２２】
人物映像計測部１０６は、映像撮影部１０３より受け取る映像中に映る人物の物理的状態量を、映像を用いて計測する。より具体的には、頭・肩・肘・手先・腰・膝・足先といった人体パーツが、映像のどこに映っているかを計測、あるいは検出する。これを実現するには、例えば、非特許文献２に示された方法を利用する。すなわち、事前に頭や肩などの人体パーツの画像特徴を学習しておき、それぞれの学習結果に近い映像領域を、映像撮影部１０３より受け取る映像から探し出す。探し出せた場合には、その画像領域も学習して、次に受け取る映像から人体パーツ探索を行う。人物映像計測結果である、映像撮影部１０３より受け取る映像における人体パーツの位置は、対応する映像と共に情報生成部１０７へ送られる。
【００２３】
情報生成部１０７は、重心線算出部１０５より受け取る映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６より受け取る人物映像計測結果により情報を生成する。ここでの重心線ベクトルと人物映像計測結果（映像上の人体パーツの位置関係）が本実施形態における姿勢の評価指標であり、その生成された情報は、その評価指標から導かれる評価指標の解釈や適切な姿勢への改善方法を示すものである。この情報の具体例については、後述する。生成された情報は、コンピュータグラフィックス（ＣＧ）等により映像として表現される。この表現は、ユーザである人物が生成された情報をより実感しやすいように、場合よっては多少誇張して表現される。生成された情報を表現した映像は、それのみが情報提示部１０８へ送出されることがある。また生成された情報を表現した映像は、映像撮影部１０３の撮影映像上に重畳された後に情報提示部１０８へ送出されることがある。
【００２４】
情報生成部１０７が生成し表現する情報には、例えば、映像撮影部１０３の撮影映像上の人体パーツ位置から重心線に向けて引っ張る垂線の長さや向きがある。垂線の長さは理想的な姿勢（キーとなる人体パーツがより重心線に近い姿勢）との差を示し、垂線の向きは姿勢改善のために姿勢を正すべき方向を示す。この場合、垂線は、その長さに応じて、あるいは重心線に対して人体パーツ位置が右側にあるか左側にあるかに応じて、色や太さを変えたＣＧによる仮想の線として表現される。
【００２５】
この線を映像撮影部１０３の撮影映像上の対応する人体パーツの位置から水平方向に伸ばせば、伸ばした量は、映像撮影部１０３の撮影映像上に重心線からの人体パーツのずれ量として表現される。例えば、重心軸から頭や腰といった体の中心に近い人体パーツが離れていると、その垂線は長くなり、赤い太線などで目立つように表現される。図２（ａ）には、この状況を示すために、横向きの人物を映した映像撮影部１０３の撮影映像を示している。また図２（ｂ）には情報生成部１０７により生成された情報の内容を変換した映像を示し、図２（ｃ）には、その両者を重ね合わせた映像の例を示している。
【００２６】
図２（ｂ）と（ｃ）における点線は重心線を表し、３つの丸印は、人体パーツである頭と腰と膝の位置を表している。図２に示したケースでは、映っている人物の姿勢が悪く、頭と腰が重心線から大きく離れている。従って、頭と腰の位置に描かれた丸印から、重心線である点線まで、太い線が引かれている。
【００２７】
このとき、垂線の長さを誇張して表現してもよい。例えば、重心軸からあまり離れないほうが良い腰の位置が、重心軸からある距離以上はなれた場合には、垂線の長さを通常の２倍程度の長さで表現する。図３（ａ）には、映像撮影部１０３の撮影映像を示し、図３（ｂ）には、この誇張した例が示されている。この垂線の中点を映像撮影部１０３の撮影映像上の対応する人体パーツの位置に置けば、誇張された重心線からの人体パーツのずれ量が表現されることとなる。図３（ｃ）は、その両者を重ね合わせた映像の例を示している。
【００２８】
重心線と人体パーツの位置関係を示す情報は、お互いの距離や配置だけに限らない。映像を連続的に処理して得られる、重心軸と人体パーツの左右関係が入れ替わる頻度や、重心軸に対する人体パーツの移動速度なども情報の一部となる。
【００２９】
以上のように、重心線算出部１０５より受け取る重心線と人物映像計測部１０６より受け取る人物映像計測結果を、何らかの基準を用いて表現することで、映像撮影部１０３の前に立つ人物の姿勢の解釈や改善方法を可視化することができる。なお、人物の姿勢を解釈する情報や、姿勢を解釈する情報に基づく姿勢の改善方法を示す情報は、重心線と人体パーツの位置関係以外であっても、もちろん良い。また、情報の表現の仕方は、ＣＧ映像に限らない。例えば、過去に姿勢が良かったとき、つまり重心線と人体パーツの位置関係が良かったときの映像を保存しておき、その位置関係が悪くなった場合には、保存しておいた良かったときの映像に、悪いときの映像を重ねて表現しても良い。
【００３０】
図４は、この例を模式的に示したものである。図４（ａ）には、映像撮影部１０３の撮影映像が示され、図４（ｂ）には、理想的な姿勢をしていたときの映像が示されている。また、図４（ｃ）は、図４（ａ）と（ｂ）を重ねたものである。これを見ると、姿勢がどうなれば良い姿勢と評価されるのかを視認することができる。逆に、重心線と人体パーツの位置関係が悪かったときの過去の最終的な状態（例えば転倒）の映像を保存しておき、重心線と人体パーツの位置関係がその悪い状態に近づいたときに、保存していた悪い状態の映像に、いまの状態の映像を重ねて表現しても良い。それを目にすると、姿勢が今のままだとどんなリスクがあるのかを視認することができる。
また、人体パーツ位置から重心線に向けて引っ張る垂線の長さや向きを、線として表現するのではなく、映像撮影部１０３の撮影映像を改変することで表現しても良い。例えば、人体パーツのひとつである腰がある距離以上重心線から離れていた場合には、映像を改変して極端に腰が重心から離れているような映像を仮想的に生成することで表現してもよい。図５（ｂ）は、その例を模式的に示している。
【００３１】
また、重心線と人体パーツの位置関係、つまり重心線からの人体パーツの位置のずれ量が所定の閾値よりも大きいときに、そのずれの量を誇張して、実際の映像撮影部１０３の映像を実際より横に引き伸ばしたり傾けたりした映像により表現しても良い。図５（ａ）には、映像撮影部１０３の撮影映像が示され、図５（ｂ）には、図５（ａ）の撮影映像を改変して、極端に腰の部分が重心から離れていることが誇張されている。図５（ｃ）には、図５（ａ）の映像を傾けた場合の例を模式的に示している。なお、本実施例においては、ＣＧ映像、映像の重ね合わせ、映像の改変などを実現する方法に関しては、公知のものを利用するとして、詳細な説明は割愛する。
【００３２】
情報提示部１０８は、その一部もしくは全体がハーフミラー１０９と一体になっている。情報提示部１０８は、ハーフミラー１０９に映る鏡像に重ねて、情報生成部１０７より受け取る映像を表示する。例えば、これは、ハーフミラーの裏に液晶ディスプレイを貼り付けて実現する。また、ハーフミラー上に透明拡散シートを貼り付けて、プロジェクターで映像を投影することで実現してもよい。情報生成部１０７から受け取る映像は、情報生成部１０７が生成した情報のみが表現された映像でもよいし、その映像が映像撮影部１０３の撮影映像上に重畳されたものであってもよい。情報提示部１０８は、ハーフミラー１０９と一体化しているので、ハーフミラー１０９の後ろに配置された映像撮影部１０３のそばに配置されることとなる。
【００３３】
情報提示部１０８に表示する映像が情報生成部１０７の生成した情報のみの場合には、情報提示部１０８には、ハーフミラー１０９に映る鏡像の人物との位置関係が適切になるように、情報生成部１０７の生成情報を表現した映像が表示される。例えば、情報生成部１０７の生成情報の内容を像に変換して表現した映像が人体パーツ位置から重心線に向けて引っ張る垂線である場合には、その垂線が鏡像中の人物の人体パーツから伸びて見える位置に、情報生成部１０７からの映像を表示する。すなわち、情報生成部１０７の生成映像を左右反転させ、事前キャリブレーション情報など参照して大きさと位置を変更した後に、情報提示部１０８に表示する。
【００３４】
情報提示部１０８に表示される映像が、情報生成部１０７の生成情報を映像撮影部１０３の撮影映像上に重畳させる場合には、その位置や大きさは特に変更せず、そのまま情報提示部１０８に表示してもよい。あるいは、鏡像に映る人物などとの干渉を考慮して位置や大きさを変えてもよい。また、映像を左右反転させても、させなくてもよい。
【００３５】
ハーフミラー１０９は、鏡面としての光学的性質を備えていれば、ガラスに銀塗装やアルミ塗装を施したものでもよいし、透明アクリル板や透明ポリカーボネート板に半透明鏡面フィルムを貼り付けたものでもよい。
【００３６】
図６は、本実施形態の映像情報処理装置１００が行う処理フローを示している。なお、このフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、この処理フローは不図示のＣＰＵなどにより読み出されて実行される。なお、データ等の送受信に関する処理に関しては、直接的に行われても、もちろんネットワークを介して行われてもよいため、以下ではこれらのことについて特に言及しない。
【００３７】
Ｓ１００において、ユーザがバランス計測部１０１の上に乗った状態の処理が開始される。Ｓ１０１で、バランス計測部１０１によるバランス計測が行われる。計測されたバランス計測値が重心算出部１０２へ送られる。Ｓ１０２では、重心算出部１０２は、バランス計測部１０１から送られた複数の荷重値より、バランス計測部１０１に加わった荷重の重心位置を算出する。その算出値が重心線算出部１０５へ送られる。
【００３８】
Ｓ１０３では、映像撮影部１０３による映像撮影が行われる。その撮影映像には、バランス計測部１０１とその上に乗ったユーザの姿が映されている。撮影された映像は、バランス計位置姿勢算出部１０４と人物映像計測部１０６とに送られる。Ｓ１０４では、バランス計位置姿勢算出部１０４は、映像撮影部１０３から受け取った映像に基づき、バランス計測部１０１の映像撮影部１０３に対する位置姿勢の算出を行う。算出されたバランス計測部１０１の映像撮影部１０３に対する位置姿勢は、重心線算出部１０５へ送られる。
【００３９】
Ｓ１０５では、重心線算出部１０５は、バランス計測部１０１に加わった荷重の重心位置での、撮影映像の中での映像撮影部１０３の位置を算出する。続いて、その重心位置から現実空間で鉛直上向きに伸びる、映像撮影部１０３に対する重心線ベクトルが算出される。算出した重心線ベクトルが情報生成部１０７へ送られると、処理はステップＳ１０６へと進む。
【００４０】
Ｓ１０６では、人物映像計測部１０６は、映像撮影部１０３より送られた映像に映る人物に対して人物映像を計測する。より具体的には、頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかが計測、あるいは検出される。すなわち計測されるのは、映像撮影部１０３より受け取った映像の人体パーツの位置である。この人物映像計測結果とそれに対応する映像が情報生成部１０７へ送られる。
【００４１】
Ｓ１０７では、情報生成部１０７は、重心線算出部１０５から送られた映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６から送られた人物映像計測結果より、評価指標から導かれる情報を生成する。生成された評価指標から導かれる情報は、映像として表現され、その映像のみ、もしくはその映像を映像撮影部１０３の撮影映像上に重畳した映像が情報提示部１０８へ送られる。Ｓ１０８では、情報提示部１０８は、情報生成部１０７より送られた評価指標から導かれる情報を含む映像を表示する。そして処理は、ステップＳ１０１へと戻る。
【００４２】
以上の処理によって、映像情報処理装置１００は、ユーザの姿勢の評価指標から導かれる情報、すなわちその解釈や適切な姿勢への改善方法を可視化することができる。これにより、本実施形態における映像情報処理装置１００のユーザは、過去の姿勢や理想的な姿勢と今の姿勢との差や、その差を広げる／縮めるための人体パーツ位置の矯正方法を、目で見ることが出来る。Ｓ１０１からＳ１０８までに要する時間は、短時間（例えば３０分の１秒）なので、ユーザは３０分の１秒前の自身の姿勢（＝体感的にはまさにそのときの姿勢）に対する評価指標の解釈や適切な姿勢の改善方法を目にすることができる。そして、その可視化された情報を見ることで、ユーザは自分自身で適切に姿勢を正す方法を把握することができる。
【００４３】
なお、本実施形態では、映像情報処理装置１００がユーザの姿勢の評価指標から導かれる情報を映像として可視化したが、映像ではないモダリティを用いて表現しても良い。すなわち、情報提示部１０８は映像の表示をするのではなく、音声を出力したり、触覚刺激を提示したりしても良い。
【００４４】
例えば、本実施形態における情報生成部１０７において、評価指標から姿勢が「猫背」であるという情報が生成されたら、「猫背になっていますよ」という音声を情報提示部１０８から出力しても良い。あるいは、情報提示部１０８が、例えば小さな物体が背中に向けて発射されるなどして、背中に刺激を与え、猫背になっていることを知らせても良い。
【００４５】
＜実施形態２＞
本実施形態に係る映像情報処理装置は、実施形態１として示した映像情報処理装置に、情報蓄積ならびに情報編集の機能を加えている。この構成をとることで、評価指標から導かれる情報に加えて、さらに他のユーザが編集した情報をユーザに提示することができるようになる。
【００４６】
図７は、本実施形態に係る映像情報処理装置２００を示す図である。図７に示すように、映像情報処理装置２００は、図１に示した実施形態１に係る映像情報処理装置１００に加え、さらに情報蓄積部２０１、情報編集部２０２および情報保持部２０３を備えている。
【００４７】
バランス計測部１０１は、一般的なバランス計測を行う。本実施形態では、バランス計測部１０１は、ハーフミラー１０９の前に置かれ、人が上に乗った状態で利用される。重心算出部１０２は、バランス計測部１０１から送られる複数の荷重値より、バランス計測部１０１に加わった荷重の重心位置を算出する。算出された重心位置は、重心線算出部１０５へ送られる。
【００４８】
映像撮影部１０３は、ハーフミラー１０９の後ろに配置され、そのハーフミラー１０９越しに、ハーフミラー１０９の前の現実空間を撮影する。撮影された映像は、バランス計位置姿勢算出部１０４と情報生成部１０７へ送られる。バランス計位置姿勢算出部１０４は、映像撮影部１０３から受け取った映像に基づき、バランス計測部１０１の映像撮影部１０３に対する位置姿勢を算出する。算出されたバランス計測部１０１の映像撮影部１０３に対する位置姿勢は、重心線算出部１０５へ送られる。
【００４９】
重心線算出部１０５は、バランス計測部１０１に加わった荷重の重心位置の、映像撮影部１０３の撮影映像の位置を算出する。算出された映像撮影部１０３の撮影映像における重心線ベクトルは、情報生成部１０７へ送られる。人物映像計測部１０６は、映像撮影部１０３から受け取った映像に映る人物の物理的状態量を計測する。より具体的には、映像中に人物が映っているかどうかの検出と、頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかの計測を行う。人物映像計測の結果は、情報保持部２０３と情報生成部１０７へ送られる。また人物映像計測結果に対応する映像も一緒に情報生成部１０７へ送られる。
【００５０】
情報生成部１０７は、重心線算出部１０５より受け取る映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６より受け取る人物映像計測結果より、評価指標から導かれる情報を生成する。生成した情報は、ＣＧ等により映像として表現される。情報生成部１０７が生成する情報は、映像撮影部１０３の前に立つ人物の姿勢を評価し解釈する情報や、姿勢について解釈する情報に基づいた姿勢の改善方法を示す情報である。映像撮影部１０３の撮影映像上に重畳された後に、この映像は情報蓄積部２０１へ送られる。ただし、情報生成部１０７が、生成した情報は編集しないと判断した場合、例えば情報が身長や体重といった事実のみを表現する場合などには、生成された情報を表現した映像は、情報保持部２０３へ送られる。
【００５１】
情報蓄積部２０１は、情報生成部１０７から送られた映像を記録する格納部である。映像は、撮影日時や、映像に重畳された情報のプロパティ、例えば、映像中に人物が映っているかどうかの検出結果などからアクセスできるように記録される。この記録された映像は、情報編集部２０２へ送られる。この送信は、情報蓄積部２０１が自律的に行ってもよいし、情報編集部２０２からの参照リクエストに応じる形で行われてもよい。例えば、情報生成部１０７から映像が送られたら、すぐにその映像が情報編集部２０２へ送られても良いし、情報編集部２０２からの参照リクエストを待って、一定時間経過した場合に、自動的に映像が情報編集部２０２へ送られてもよい。なお、情報蓄積部２０１は、情報生成部１０７と物理的に離れていてもよい。
【００５２】
情報編集部２０２は、情報蓄積部２０１に記録された映像を参照して、映像に示される情報を編集するインタフェースをユーザに提供するブラウザである。ここでのユーザは、バランス計測部１０１の上に乗ったユーザＡとは異なるユーザＢである。例えば、ユーザＢがユーザＡの姿勢を評価する医師である場合を考える。ユーザＢは、情報編集部２０２を介して、情報蓄積部２０１に記録された映像の参照リクエストを出す。また、ユーザＢは、情報蓄積部２０１から送られた映像に示された情報をユーザＡが解釈しやすいように、情報の編集、例えば追加や削除、加工を行う。ここでいう情報の編集とは、例えば、映像に示された情報、重心線ベクトルや人体パーツの計測位置の微修正（ベクトルの長さやパーツ計測位置の変更など）である。また、情報の編集とは、映像に対するコメントや補助線などの追記、あるいは映像の変形や変色や一部削除である。このような編集操作は、一般に知られたマウスやキーボードのＧＵＩや、ジェスチャ、音声などを用いて行われる。ユーザＢによる情報の編集が一定時間行われないか、または、ユーザＢによる情報の編集が開始された後に編集終了操作が行われると、未編集の情報、もしくは、編集済み情報を示す映像は、情報保持部２０３へ送られる。なお、情報編集部２０２は、情報蓄積部２０１と物理的に離れていても良い。
【００５３】
情報保持部２０３は、情報生成部１０７または情報編集部２０２から送られた情報を示す映像を記録する格納部である。そして、人物映像計測部１０６から受け取る人物映像計測結果に基づいて、記録した映像を情報提示部１０８へ送る。例えば、次のような計測結果を受け取った場合に、記録、保持した映像を情報提示部１０８へと送る。すなわち、人物映像計測部１０６より、「映像中に人物が映っている」という計測結果を受け取った場合や、「映像中の人体パーツの位置関係がある特定の関係になっている」という計測結果を受け取った場合である。これにより、ユーザＡが映像撮影部１０３の前にいるときや、その前で特定のジェスチャをしたとき、情報保持部２０３は、記録した映像を情報提示部１０８へ送る。なお、情報保持部２０３は、情報編集部２０２や情報提示部１０８と物理的に離れていても良い。
【００５４】
情報提示部１０８は、ハーフミラー１０９と一体化している。情報提示部１０８は、ハーフミラー１０９に映る鏡像に重ねて、情報保持部２０３より受け取った映像を表示する。その際、映像を左右反転させても良いし、させなくても良い。
【００５５】
図８は、本実施形態の映像情報処理装置２００が行う処理フローを示している。図８に示すように、映像情報処理装置２００の処理は、図６の実施形態１における映像情報処理装置１００の処理に、いくつかのステップを加えたものである。従って、映像情報処理装置１００の処理と同じステップについての詳しい説明を割愛する。なお、このフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、この処理フローは、不図示のＣＰＵなどにより読み出され、実行される。なお、データ等の送受信に関する処理に関しては、直接的に行われても、もちろんネットワークを介して行われてもよいため、以下ではこれらのことについて特に言及しない。
【００５６】
Ｓ１００で、ユーザがバランス計測部１０１の上に乗り、処理が開始される。実施形態１の映像情報処理装置１００の処理と同様に、Ｓ１０１からＳ１０５まで進む。
【００５７】
Ｓ１０５に続くＳ１０６でも、実施形態１の映像情報処理装置１００の処理と同様の処理が行われる。ただし、映像情報処理装置２００の処理では、人物映像計測部１０６は、映像撮影部１０３より送られる映像中に人物が映っているかどうかの判断を行う。これは、頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかの判断と共に行われる。その人物映像計測結果が、情報保持部２０３と情報生成部１０７へ送られる。
【００５８】
Ｓ１０７では、情報生成部１０７は、重心線算出部１０５から送られた映像撮影部１０３の撮影映像における重心線ベクトルと、人物映像計測部１０６より送られた人物映像計測結果より、評価指標から導かれる情報を生成する。生成された情報は、映像として表現される。
【００５９】
Ｓ２００では、情報生成部１０７は、ステップＳ１０７で生成された情報が編集可能かどうかを判断する。編集されると判断された場合には、生成された情報を表現した映像を映像撮影部１０３の撮影映像上に重畳した映像が情報蓄積部２０１へ送出し、Ｓ２１０へ進む。編集されないと判断された場合には、生成された情報を表現した映像を映像撮影部１０３の撮影映像上に重畳した映像が情報保持部２０３へ送出し、Ｓ２０３へ進む。
【００６０】
Ｓ２０１では、情報蓄積部２０１は、情報生成部１０７から送られた映像を記録する。その後処理は、Ｓ２０２へ進む。
【００６１】
Ｓ２０２では、まず、情報蓄積部２０１に記録された映像が情報編集部２０２へ送出される。この映像の送出は、情報蓄積部２０１が映像を記録してから一定時間が経過した後に自動的に行われるか、または情報編集部２０２からの参照リクエストへの応答として行われる。そのため、Ｓ２０１とＳ２０２の間の時間は、一定でなく、場合により変動する。従って、Ｓ２０１を終了後、極めて短い時間でＳ２０２が開始される場合もあれば、数時間もしくは数日が経った後に、Ｓ２０２が開始される場合もある。
【００６２】
これに続いて、情報編集部２０２は、ユーザＢによって行われる、情報蓄積部２０１から情報編集部２０２へ送られる映像に示された情報の編集、すなわち追加や削除、加工などを受付ける。そしてユーザＢが情報の編集を終え、編集終了操作を情報編集部２０２に対して行うと、編集済み情報を示す映像が情報保持部２０３へ送られ、処理はステップＳ２０３へ進む。
【００６３】
Ｓ２０３では、情報保持部２０３は、人物映像計測部１０６もしくは情報編集部２０２から送られた映像が記録し保持する。Ｓ２０４では、映像撮影部１０３が映像の撮影を行う。その後、その映像を受け取った人物映像計測部１０６が、映像に人物が映っているかどうかを判断する。その人物映像計測結果が、情報保持部２０３へ送られると、処理はＳ２０５へと進む。
【００６４】
Ｓ２０５では、情報保持部２０３は、人物映像計測部１０６より受け取った人物映像計測結果が、特定の計測結果であるかどうかを識別する。特定の計測結果とは、例えば、「映像中に人物が映っている」や、「映像中の人体パーツの位置関係がある特定の関係になっている」という計測結果である。特定の計測結果であった場合には、情報保持部２０３に記録された映像が情報提示部１０８へ送られた後、Ｓ１０８へ進む。特定の計測結果でなかった場合には、Ｓ２０４へ戻る。
【００６５】
なお、情報保持部２０３が複数の映像を記録している場合には、どれを送るかは任意である。例えば、最新の映像のみを送っても良いし、全てが時系列順に送られても良い。また、最新分から一定量だけの映像を送っても良い。Ｓ１０８では、情報提示部１０８は、情報保持部２０３から送られた映像が表示される。そして処理はＳ１０１へと戻る。
【００６６】
以上の処理によって、映像情報処理装置２００は、ユーザの姿勢の評価指標から導かれる、その解釈や適切な姿勢への改善方法を可視化する。実施形態１における映像情報処理装置１００とは異なり、Ｓ１０１からＳ１０８までは、場合によっては数日かけて処理される。その代わり、ユーザＡは自身の姿勢に対する評価指標の解釈や適切な姿勢への改善方法を、ユーザＢという人手を介して編集された情報として目にすることができる。そして、その可視化された情報を見ることで、ユーザは自分で適切に姿勢を正す方法を把握することができる。
【００６７】
なお、図８に示した処理フローチャートでは、Ｓ２０２やＳ２０４、Ｓ２０５の間で処理が停滞することがあり得る。すなわち、Ｓ１０８まで進まなければＳ１０１へと戻らない。しかし、開始時点をずらして同じ処理フローを複数実行すれば、ある処理フローがＳ２０２などで停滞していても、他の処理フローによるＳ１０１からＳ１０７までの実行は可能である。よって、バランス計測部１０１上にユーザＡが乗っていながら、映像情報処理装置２００による処理が行えないといった状態が回避できる。
【００６８】
＜実施形態３＞
実施形態３の映像情報処理装置は、ハーフミラーの前に立った人物をハーフミラー越しにカメラで撮影するとともに、その撮影映像以外を用いて、ハーフミラー前の人物の人体を計測する。そしてその撮影映像と人体計測結果に基づいて、ハーフミラーの前に立った人物の生理的状態量を計測する。さらに、その計測結果から導かれる人体に関する情報を、ハーフミラーと一体化した情報提示部に提示する。最後に、ユーザは、ハーフミラー越しに映る自分の鏡像と、情報提示部に可視化された情報とを合わせて見ることができる。
【００６９】
図９は、本実施形態に係る映像情報処理装置３００の概略を示す。図９に示すように、映像情報処理装置３００は、人体計測部３０１、映像撮影部１０３、人物映像計測部３０６、情報生成部１０７、情報提示部１０８、ハーフミラー１０９を備えている。映像情報処理装置１００と共通する構成部分は、実施形態１とほぼ同様であるので、詳しい説明を割愛する。
【００７０】
映像撮影部１０３は、ハーフミラー１０９の後ろに配置され、そのハーフミラー越しに、ハーフミラーの前の現実空間を撮影する。すなわち、ハーフミラーの前に立つ人物を撮影することとなる。撮影された映像は、人物映像計測部１０６へ送られる。
【００７１】
人体計測部３０１は、ハーフミラー１０９の近くに配置され、映像撮影部１０３が撮影する映像以外のデータに基づいて、人体を計測する。ここでの人体計測は、人体の３次元的な形状、表面温度、皮膚成分、体内の血流状況や筋肉状況等の測定を意味する。
【００７２】
人体の３次元形状計測は、例えば、距離計測赤外カメラやステレオ距離計測カメラを用いて行われる。すなわち、人体を含む撮影領域のカメラからの距離分布を計測するとともに、背景差分や動体検知機能を利用しながら撮影領域中の人体領域を抽出することで、撮影領域にある人体の３次元形状を計測する。分解能の高い距離計測を可能とするカメラを用いて、しわなどの細かな凹凸まで計測しても良い。
【００７３】
人体の表面温度は、赤外線放射温度計などを人体計測部３０１に含めることで計測する。また人体の皮膚成分は、例えば紫外光撮影カメラを用いて皮膚のメラニン分布を計測したり、分光反射計測計によって皮膚の反射率波長特性を計測したりする。体内の血流状況は、例えばテラヘルツ波を用いて、血液通過速度や時間当たりの血液通過量の分布を計測する。同様に筋肉状況もテラヘルツ波などを用いて、筋肉の収縮、弛緩状況を計測する。いずれにせよ、本実施形態における人体計測は、公知の技術を用いることとし、これ以上の詳細な説明を割愛する。人体計測部３０１の計測結果は、人物映像計測部３０６へ送られる。
【００７４】
人物映像計測部３０６は、人体計測部３０１から受け取った人体計測結果を踏まえて、映像撮影部１０３から受け取った映像中の人物の生理的状態量を計測する。より具体的には、映像中に人物が映っている人物の頭、肩、肘、手先、腰、膝、足先といった人体パーツが、どのような生理的状態になっているかを計測する。この計測結果は、計測結果統合部３０２へ送られる。
【００７５】
計測の実施にあたり、まず人物映像計測部３０６は、映像撮影部１０３から受け取った映像に映る人物の頭、方、肘、手先、腰、膝、足先といった人体パーツが、映像中のどこに映っているかを計測する。続いて、人体パーツが映像中のどこに映っているかを表現する座標系と、人体計測部３０１の計測座標系とを一致させるための較正を行う。そしてその較正結果に基づき、映像中の位置が計測された人体パーツの名称、あるいはそれから類推されるタームを、対応する位置での人体計測結果にラベルとして割り付ける。
【００７６】
計測結果と人体パーツを示すラベルとが統合されることで、人体計測部３０１による人体の３次元計測結果には、どの人体パーツの形状であるかを示すラベルが付けられる。例えば、体全体の長さ計測結果には、「身長」というラベルが付けられる。腹部の３次元的計測結果には、「腹囲」というラベルが付けられる。顔の肌の凹凸には、「顔の皺」といったラベルを付けることもできる。同様に、人体の表面温度には、体の部位毎の体温というラベルを付けられる。
【００７７】
例えば、顔部の表面温度計測結果には、「（額で測られる）一般的な体温」というラベルが付き、手先の表面温度計測結果には、「手の冷えを示す体温」というラベルを付けてもよい。さらに人体の皮膚成分には、体の部位毎の皮膚状況というラベルを付ける。また、常に外界に晒されている顔部のメラニン分布には「皮膚の老化度」というラベルが付けられ、手先の皮膚反射波長特性には「手の荒れ具合」というラベルが付けられる。
【００７８】
計測した皮膚状況によって、「発疹の有無」、「肌が荒れ状況」「内的疾患兆候」といったラベルをつけることも可能である。そして体内の血流状況には、「脳血管の状況」や「心臓周囲の血流状況」といったラベルを付与することができる。筋肉状況も同様で、「肩筋肉の状況」や「足筋肉の状況」といったラベルを付与することもできる。
【００７９】
人物映像計測部３０６は、以上に例示したようなラベルを付与した人体計測結果を人物映像計測結果として、映像撮影部１０３から受け取った映像と共に、情報生成部１０７へ送る。情報生成部１０７は、人物映像計測部３０６から人物映像計測結果を受け取ると、それからユーザに提示する人体に関する情報を生成する。
【００８０】
例えば、人物映像計測部３０６より「腹囲」というラベルの付いた人体３次元形状計測値を受け取った場合には、情報生成部１０７は、その値に応じて「太り気味」「やせ気味」「標準」といったメタボ健診などで使われる評価情報を生成する。あるいは、過去の計測結果と比較して、「やせた」「太った」などの体型の変化を情報として生成してもよい。
【００８１】
人物映像計測部３０６から「一般的な体温」というラベルの付いた人体表面温度を受け取った場合には、情報生成部１０７は、その値に応じて新型インフルエンザの罹患可能性を情報として生成してもよい。例えば体温が３７度以上であったならば、「新型インフルエンザ罹患の可能性あり」といった情報を生成する。人物映像計測部３０６から「手の冷えを示す体温」というラベルの付いた人体表面温度を受け取った場合には、情報生成部１０７は、「体の冷え度」という情報を生成できる。
【００８２】
また情報生成部１０７は、「皮膚の老化度」というラベルの付いた皮膚状況からは「皮膚年齢」、「手の荒れ具合」というラベルの付いた皮膚状況からは「肌荒れ予報」といった情報が生成できる。「発疹の有無」というラベルのついた皮膚状況からは「病気罹患可能性」を、情報として生成することが出来る。
【００８３】
情報生成部１０７は、「脳血管の状況」や「心臓周囲の血流状況」といったラベルの付いた血流状況からも、病気のリスクを情報として生成することができる。例えば、「頭部（脳）」や「心臓近辺」といったラベルのついた血流速度の低下や血流量の低下からは、「脳疾患や心筋梗塞の可能性あり」という情報を生成できる。
【００８４】
さらに、「手足」などのラベルが付いた筋肉の動き（緊張と弛緩の繰り返し）が不活性であったならば、情報生成部１０７は、それから「脳梗塞の可能性あり」という情報を生成することも可能である。「肩筋肉」というラベルのついた筋肉状況の連続的な緊張からは、情報生成部１０７は、「肩こりあり」といった情報を生成することもできる。
【００８５】
情報生成部１０７は、以上に例示したような「ラベル付の人物映像計測結果」と「情報」の組み合わせリストを内部に保持しておく。そして、人物映像計測部３０６からラベル付の計測結果を受け取ると、そのラベル付計測結果に対応付けられている情報を取り出すことで、以上に例示したような情報を生成する。生成された情報は、ＣＧ等により映像として表現される。その表現は、生成された情報を人がより実感しやすいように表現される。
【００８６】
例えば、生成された情報は、その元となった人体の情報に対応する人体パーツの周辺に情報が提示されるように表現される。あるいは、提示する情報の意味が実感できる比較映像（「太った」という情報を示すのであれば、過去に「標準」という情報が得られたときの映像）を示すことで表現されたりする。生成された情報を表現した映像は、それのみが情報提示部１０８へ送られたり、映像撮影部１０３の撮影映像上に重畳された後に情報提示部１０８へ送られたりする。
【００８７】
情報提示部１０８は、ハーフミラー１０９と一体化しており、ハーフミラー１０９に映る鏡像に重ねて、情報生成部１０７より受け取る映像を表示する。これは、例えば、ハーフミラーの裏に液晶ディスプレイを貼り付けて実現されたり、ハーフミラー上に透明拡散シートを貼り付けて、プロジェクターで映像を投影して実現されたりする。情報生成部１０７から受け取った映像は、情報生成部１０７が生成した情報のみが表現された映像であったり、その映像が映像撮影部１０３の撮影映像上に重畳されたものであったりする。
【００８８】
図１０は、本実施形態の映像情報処理装置３００が行う処理フローを示している。なお、このフローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、この処理フローは、不図示のＣＰＵなどにより読み出され、実行される。なお、データ等の送受信に関する処理に関しては、直接的に行われても、もちろんネットワークを介して行われてもよいため、以下ではこれらのことについて特に言及しない。
【００８９】
Ｓ３００において処理が開始されると、まず人体計測部３０１が、人体の計測を行う。Ｓ３０２で、Ｓ３０１において人体が計測されたかどうかを判定する。人体に関する計測値が得られていれば、人体が計測されたと判断され、Ｓ３０３へと進む。人体に関する計測値が得られていなければ、Ｓ３０１へと戻る。
【００９０】
Ｓ３０３では、映像撮影部１０３は映像撮影を行う。撮影された映像が人物映像計測部３０６へ送られる。Ｓ３０４では、人物映像計測部３０６が、まず、映像撮影部１０３から受け取った映像に映る人物の頭、肩、肘、手先、腰、膝、足先といった人体パーツが、映像のどこに映っているかを計測する。続いて、人体パーツが映像中のどこに映っているかを表現する座標系と、人体計測部３０１の計測座標系とを一致させるための較正を行う。
【００９１】
その較正結果に基づいて、位置が計測された人体パーツの名称、もしくはそれから類推されるタームを、対応する位置での人物映像計測結果にラベルとして割り付ける。ラベルを割り当てられた人体計測結果は人物映像計測結果として情報生成部１０７へと送られ、Ｓ３０５へと進む。
【００９２】
Ｓ３０５では、情報生成部１０７は、ラベル付の人物計測結果である人物映像計測結果に基づいて、評価の情報を生成する。生成された情報は映像として表現され、その映像のみ、あるいはその映像を映像撮影部１０３から送られた撮影映像上に重畳した映像が情報提示部１０８へ送られる。Ｓ３０６では、情報提示部１０８は、情報生成部１０７から送られた映像を表示する。そして処理はＳ３０１へと戻る。
【００９３】
以上の処理によって、映像情報処理装置３００は、鏡の前に立つユーザに対し、自分の鏡像と、情報提示部に可視化された情報とを合わせて提示することが出来る。この提示によって、例えばユーザは、自分が最近太ったのかやせたのかや、インフルエンザなどの病気にかかっているかどうかや、肌などに現れる体調の状態を知ることが可能となる。
【００９４】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
人体の重心位置を算出する重心算出手段と、
ハーフミラーの前に立つ前記人体を該ハーフミラー越しに撮影する撮影手段と、
前記撮影された前記人体の映像から人体パーツの位置と前記人体の姿勢を計測する計測手段と、
前記算出された人体の重心位置と前記計測した人体の姿勢から重心線を算出し、前記計測された人体パーツの位置の重心線からのずれ量を評価する評価手段と、
前記ハーフミラー上に映し出された人体の鏡像に重畳させて、前記人体の重心位置、前記人体パーツの位置、前記重心線および前記評価した人体パーツの重心線からのずれ量を前記ハーフミラー上に表示する表示手段と、
を備えることを特徴とする映像情報処理装置。
【請求項２】
前記人体パーツは、前記人体の頭、肩、肘、手、腰、膝を含むことを特徴とする請求項１に記載の映像情報処理装置。
【請求項３】
前記表示手段は、人体パーツの重心線からのずれが所定の閾値より大きい場合に、該人体パーツの重心位置からのずれ量を誇張して表示することを特徴とする請求項２に記載の映像情報処理装置。
【請求項４】
更に、前記撮影された人体の映像と、撮影日時および映像に重畳された人体パーツの重心線からのずれ量を含む情報を格納する格納手段と、
前記格納された情報を参照することにより、前記重心線や人体パーツの位置の修正を含む、ユーザによる情報の編集を受付ける受付手段と、
を備え、
前記表示手段は、前記受付手段で受付けられたユーザによる編集の情報を前記ハーフミラー上に映し出された人体の鏡像に重畳させて表示することを特徴とする請求項３に記載の映像情報処理装置。
【請求項５】
前記表示手段は、過去に前記格納手段に格納された人体の映像を前記ハーフミラー上に映し出された人体の鏡像に重畳させて表示することを特徴とする請求項４に記載の映像情報処理装置。
【請求項６】
前記計測手段は、さらに前記人体の３次元形状、表面温度、皮膚成分、体内の血流状況および筋肉状況を測定する手段を備え、
前記表示手段は、前記計測手段により計測された人体パーツの位置に対して人体パーツの名称を示すラベルを前記人体の鏡像に重畳させて表示し、さらにラベルで表示された人体パーツに対応した、前記計測手段で計測された表面温度、皮膚成分、体内の血流状況および筋肉状況を含む情報を、前記人体の鏡像に重畳させて表示することを特徴とする請求項３に記載の映像情報処理装置。
【請求項７】
重心算出手段が、人体の重心位置を算出する重心算出工程と、
撮影手段が、ハーフミラーの前に立つ前記人体を該ハーフミラー越しに撮影する撮影工程と、
計測手段が、前記撮影された前記人体の映像から人体パーツの位置と前記人体の姿勢を計測する計測工程と、
評価手段が、前記算出された人体の重心位置と前記計測した人体の姿勢から重心線を算出し、前記計測された人体パーツの位置の重心線からのずれ量を評価する評価工程と、
表示手段が、前記ハーフミラー上に映し出された人体の鏡像に重畳させて、前記人体の重心位置、前記人体パーツの位置、前記重心線および前記評価した人体パーツの重心線からのずれ量を前記ハーフミラー上に表示する表示工程と、
を有する映像情報処理装置の処理方法。
【請求項８】
請求項７に記載の方法における各工程をコンピュータに実行させるためのプログラム。
【請求項１】
人体の重心位置を算出する重心算出手段と、
ハーフミラーの前に立つ前記人体を該ハーフミラー越しに撮影する撮影手段と、
前記撮影された前記人体の映像から人体パーツの位置と前記人体の姿勢を計測する計測手段と、
前記算出された人体の重心位置と前記計測した人体の姿勢から重心線を算出し、前記計測された人体パーツの位置の重心線からのずれ量を評価する評価手段と、
前記ハーフミラー上に映し出された人体の鏡像に重畳させて、前記人体の重心位置、前記人体パーツの位置、前記重心線および前記評価した人体パーツの重心線からのずれ量を前記ハーフミラー上に表示する表示手段と、
を備えることを特徴とする映像情報処理装置。
【請求項２】
前記人体パーツは、前記人体の頭、肩、肘、手、腰、膝を含むことを特徴とする請求項１に記載の映像情報処理装置。
【請求項３】
前記表示手段は、人体パーツの重心線からのずれが所定の閾値より大きい場合に、該人体パーツの重心位置からのずれ量を誇張して表示することを特徴とする請求項２に記載の映像情報処理装置。
【請求項４】
更に、前記撮影された人体の映像と、撮影日時および映像に重畳された人体パーツの重心線からのずれ量を含む情報を格納する格納手段と、
前記格納された情報を参照することにより、前記重心線や人体パーツの位置の修正を含む、ユーザによる情報の編集を受付ける受付手段と、
を備え、
前記表示手段は、前記受付手段で受付けられたユーザによる編集の情報を前記ハーフミラー上に映し出された人体の鏡像に重畳させて表示することを特徴とする請求項３に記載の映像情報処理装置。
【請求項５】
前記表示手段は、過去に前記格納手段に格納された人体の映像を前記ハーフミラー上に映し出された人体の鏡像に重畳させて表示することを特徴とする請求項４に記載の映像情報処理装置。
【請求項６】
前記計測手段は、さらに前記人体の３次元形状、表面温度、皮膚成分、体内の血流状況および筋肉状況を測定する手段を備え、
前記表示手段は、前記計測手段により計測された人体パーツの位置に対して人体パーツの名称を示すラベルを前記人体の鏡像に重畳させて表示し、さらにラベルで表示された人体パーツに対応した、前記計測手段で計測された表面温度、皮膚成分、体内の血流状況および筋肉状況を含む情報を、前記人体の鏡像に重畳させて表示することを特徴とする請求項３に記載の映像情報処理装置。
【請求項７】
重心算出手段が、人体の重心位置を算出する重心算出工程と、
撮影手段が、ハーフミラーの前に立つ前記人体を該ハーフミラー越しに撮影する撮影工程と、
計測手段が、前記撮影された前記人体の映像から人体パーツの位置と前記人体の姿勢を計測する計測工程と、
評価手段が、前記算出された人体の重心位置と前記計測した人体の姿勢から重心線を算出し、前記計測された人体パーツの位置の重心線からのずれ量を評価する評価工程と、
表示手段が、前記ハーフミラー上に映し出された人体の鏡像に重畳させて、前記人体の重心位置、前記人体パーツの位置、前記重心線および前記評価した人体パーツの重心線からのずれ量を前記ハーフミラー上に表示する表示工程と、
を有する映像情報処理装置の処理方法。
【請求項８】
請求項７に記載の方法における各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−８１０８９（Ｐ２０１２−８１０８９Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３０１０１（Ｐ２０１０−２３０１０１）
【出願日】平成２２年１０月１２日（２０１０．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１２日（２０１０．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]