画像処理装置、画像処理方法及びプログラム
【課題】運動の有効性に関するフィードバックを目に見える形でユーザに呈示することのできる仕組みを提供すること。
【解決手段】入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置を提供する。前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備えてもよく、前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳してもよい。
【解決手段】入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置を提供する。前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備えてもよく、前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳してもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
今日、健康の維持若しくは増進、又は怪我からの回復などを目的とする運動が、日常的に行われている。筋力トレーニング、リハビリテーション及びシェイプアップなどは、そのような運動の一例である。下記特許文献１は、教師の運動の画像シーケンスと学生の運動の画像シーケンスとをディスプレイ上に並列的に表示する技術を提案している。かかる技術によれば、学生としてのユーザが教師の運動を模倣することが容易となり、ユーザの運動能力がより効率的に向上するものと期待される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０００−５０４８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、運動を効果的なものとするためは、一般的に、運動をする人物へ運動の有効性に関する十分なフィードバックを行うことが重要であると言われている。上記特許文献１により提案されている技術は、目標とすべき運動を単に呈示するだけであって、十分なフィードバックをユーザに与えるものではない。例えば、目標に対して自分の運動がどの程度近付いているか又は健康がどれだけ向上したかが目に見える形で呈示されれば、運動を継続しようとする意欲が引き出されると共に、自らの運動を改善してより効果的な運動をしようとする動機付けにもなる。
【０００５】
従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００６】
本開示によれば、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置が提供される。
【０００７】
また、本開示によれば、入力画像に映る人物の運動を認識することと、認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、を含む画像処理方法が提供される。
【０００８】
また、本開示によれば、画像処理装置を制御するコンピュータを、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示に係る技術によれば、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本開示に係る画像処理装置の概要について説明するための第１の説明図である。
【図１Ｂ】本開示に係る画像処理装置の概要について説明するための第２の説明図である。
【図１Ｃ】本開示に係る画像処理装置の概要について説明するための第３の説明図である。
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４】図３に例示した運動認識部による運動認識処理の一例について説明するための説明図である。
【図５】図３に例示したスコア算出部により算出される有効性スコアの一例について説明するための説明図である。
【図６Ａ】有効性スコアを算出するための第１の手法について説明するための説明図である。
【図６Ｂ】有効性スコアを算出するための第２の手法について説明するための説明図である。
【図６Ｃ】有効性スコアを算出するための第３の手法について説明するための説明図である。
【図６Ｄ】有効性スコアを算出するための第４の手法について説明するための説明図である。
【図７Ａ】第１の実施形態において表示される仮想オブジェクトの第１の例について説明するための説明図である。
【図７Ｂ】第１の実施形態において表示される仮想オブジェクトの第２の例について説明するための説明図である。
【図７Ｃ】第１の実施形態において表示される仮想オブジェクトの第３の例について説明するための説明図である。
【図８】第１の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図９】第２の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図１０】図９に例示したモデル生成部によるモデル生成処理の一例について説明するための説明図である。
【図１１】第２の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図１２】第２の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図１３】第２の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１４】第３の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図１５】生活履歴データの一例を示す説明図である。
【図１６】第３の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図１７】図１４に例示したオブジェクト生成部によるオブジェクト生成処理の一例について説明するための説明図である。
【図１８】第３の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図１９】第３の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下の順序で説明を行う。
１．概要
２．第１の実施形態
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
２−４．第１の実施形態のまとめ
３．第２の実施形態
３−１．機能構成
３−２．処理の流れ
３−３．第２の実施形態のまとめ
４．第３の実施形態
４−１．機能構成
４−２．処理の流れ
４−３．第３の実施形態のまとめ
【００１３】
＜１．概要＞
図１Ａ〜図１Ｃは、本開示に係る画像処理装置の概要について説明するための説明図である。図１Ａを参照すると、一例としての画像処理装置１００ａが示されている。画像処理装置１００ａは、運動する人物に向けられるレンズを有する撮像部１０２と、画像を表示する表示部１１０とを備える。図１Ａの例では、ユーザＵａが画像処理装置１００ａの前に立っており、撮像部１０２により撮像された画像が表示部１１０により表示されている。画像処理装置１００ａは、このような撮像画像を入力画像として取得し、後に詳細に説明するような運動を支援するための様々な画像処理を実行する。ユーザＵａは、このような状況下で、例えば筋力トレーニング、リハビリテーション又はシェイプアップなどの運動を行う。
【００１４】
図１Ｂの例では、画像処理装置１００ａは、通信部１１２をさらに備える。通信部１１２は、例えばユーザＵａにより操作される端末装置１０と通信する。画像処理装置１００ａは、入力画像について実行される画像処理において、このような通信接続を介して取得される追加的なデータをも活用してよい。
【００１５】
図１Ａ及び図１Ｂでは、画像処理装置１００ａの一例としてデジタルテレビジョン装置を示している。しかしながら、画像処理装置１００ａは、かかる例に限定されない。画像処理装置１００ａは、例えば、デスクトップＰＣ、タブレットＰＣ、ノートブックＰＣ、スマートフォン、デジタルカメラ又はゲーム端末などの任意の装置であってよい。また、画像処理装置１００ａの表示部１１０の画面は、その表面にハーフミラーが配設された画面であってもよい。その場合には、ユーザＵａは、運動の最中にハーフミラーにより反射される自らの姿を見ると共に、表示部１１０により部分的に表示される画像をも同時に見ることができる。
【００１６】
図１Ｃを参照すると、別の例としての画像処理装置１００ｂが示されている。画像処理装置１００ｂは、ヘッドマウントディスプレイを有するウェアラブル装置である。画像処理装置１００ｂは、ユーザＵｂにより装着されている。画像処理装置１００ｂは、ユーザＵｂが運動する場合に、ユーザＵｂの体の一部（例えば腕など）を撮像してもよい。その代わりに、画像処理装置１００ｂは、運動するユーザＵａを撮像してもよい。画像処理装置１００ｂにより撮像され処理された画像は、ヘッドマウントディスプレイを介してユーザＵｂにより見られる。画像処理装置１００ｂのヘッドマウントディスプレイは、シースルー型であっても非シースルー型であってもよい。
【００１７】
次節より説明する本開示に係る技術の３つの実施形態では、これらのような装置により、運動の有効性に関するフィードバックが目に見える形でユーザに呈示される。なお、これ以降の説明では、画像処理装置１００ａ及び１００ｂを画像処理装置１００と総称する。
【００１８】
＜２．第１の実施形態＞
［２−１．ハードウェア構成］
図２は、第１の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００１９】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００２０】
（２）センサ部
センサ部１０４は、画像処理装置１００において実行される処理を支援するためのセンサデータを生成するセンサモジュールである。例えば、センサ部１０４は、ユーザの皮膚に貼られる電極を介してユーザの筋肉の動きを検知する筋電位センサを含んでもよい。また、センサ部１０４は、ユーザの体表の温度を計測する赤外線温度センサを含んでもよい。また、センサ部１０４は、ユーザの特定の部位に加わる加速度を計測する加速度センサを含んでもよい。
【００２１】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００２２】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像部１０２により生成される撮像画像データ、センサ部１０４により生成されるセンサデータ、及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２３】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。本実施形態において、表示部１１０は、ユーザの運動を支援するための仮想オブジェクトを入力画像に重畳するために使用され得る。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２４】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２５】
（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２６】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２７】
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、入力画像取得部１２０、運動認識部１３０、運動モデルデータベース（ＤＢ）１４０、ユーザＤＢ１５０、スコア算出部１６０、オブジェクト生成部１７０及び表示制御部１８０を含む。
【００２８】
（１）入力画像取得部
入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。入力画像には、図１Ａ〜図１Ｃに例示したユーザＵａ又はＵｂなどの、運動する人物が映される。入力画像取得部１２０により取得される一連の入力画像は、典型的には動画を構成する。入力画像取得部１２０は、取得した入力画像を、運動認識部１３０及び表示制御部１８０へ順次出力する。
【００２９】
（２）運動認識部
運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する。運動認識部１３０により認識される運動は、関節の屈伸運動（例えば、腹筋運動若しくはスクワット運動）、ランニング、ダンス、ヨガ、エアロビクス又はスポーツの動作（例えば、ゴルフ若しくはテニスのスイング）など、いかなる運動であってもよい。運動認識部１３０は、例えば、公知のジェスチャ認識技術に従って、入力画像に映る人物の運動を認識する。また、運動認識部１３０は、加速度センサからのセンサデータを用いて、入力画像に映る人物の運動を認識してもよい。
【００３０】
図４は、運動認識部１３０による運動認識処理の一例について説明するための説明図である。図４を参照すると、一連の入力画像に含まれる７つのフレームＦ０１〜Ｆ０７が、時間軸に沿って示されている。フレームＦ０１〜Ｆ０４には、これらフレームに映る人物の１回の腹筋運動が映っている。次の回の腹筋運動は、フレームＦ０５以降に映っている。運動認識部１３０は、このような１回の腹筋運動を１単位のジェスチャとして認識し、認識した各単位のジェスチャに対応する時間軸上の区間を決定する。図４の例では、フレームＦ０１〜Ｆ０４に対応する区間ＳＥＧ０１及びフレームＦ０５〜Ｆ０７に対応する区間ＳＥＧ０２が決定されている。後に説明するスコア算出部１６０は、このように決定される区間ごとに、運動認識部１３０により認識される運動の有効性を示すスコアを算出する。
【００３１】
（３）運動モデルＤＢ１４０
運動モデルＤＢ１４０は、目標とされる運動をモデル化したデータである運動モデルを蓄積しているデータベースである。運動モデルは、例えば、運動する人物を映した動画データ、運動する人物の特徴点位置の集合から構成される骨格データ、若しくは目標とされる運動の回数及び強さなどのパラメータを含む数値データ、又はこれらの組合せであってよい。本実施形態において、運動モデルは、教師となる人物の運動を予めモデル化したデータである。年齢及び性別などの属性が互いに異なる教師の運動をモデル化した複数の運動モデルから、ユーザに適した運動モデルが選択可能であってもよい。他の実施形態において、運動モデルは、個々のユーザの運動の履歴及び目標に応じて適応的に生成される。
【００３２】
（４）ユーザＤＢ１５０
ユーザＤＢ１５０は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。本実施形態において、ユーザＤＢ１５０は、ユーザの年齢及び性別などの基本属性と身長、座高、胸囲及び腹囲などの体型属性とを含み得る属性データ１５２を記憶する。
【００３３】
（５）スコア算出部
スコア算出部１６０は、運動認識部１３０により認識される運動の有効性を示すスコアを算出する。より具体的には、本実施形態において、スコア算出部１６０は、まず、運動モデルＤＢ１４０により記憶されているいずれかの運動モデルを取得する。スコア算出部１６０は、複数の運動モデルから運動する人物の基本属性に適した運動モデルを選択的に取得してもよい。また、スコア算出部１６０は、取得した運動モデルを、運動する人物の体型属性に応じて補正してもよい（例えば、教師の身長が運動する人物の身長に等しくなるように正規化する、など）。そして、スコア算出部１６０は、運動認識部１３０により運動が認識されると、運動認識部１３０により決定される区間ごとに、認識された運動の運動モデルからの差分に基づいて、有効性スコアを算出する。
【００３４】
図５は、スコア算出部１６０により算出される有効性スコアの一例について説明するための説明図である。図５を参照すると、有効性スコアの算出結果が表で示されている。図５の例において、区間ＳＥＧ０１及びＳＥＧ０２について算出された有効性スコアは、共に４である。区間ＳＥＧ０３について算出された有効性スコアは３である。区間ＳＥＧ１０について算出された有効性スコアは２である。図５の例では、有効性スコアは、１から５までの５段階の値を示し、その値がより大きいほど運動はより有効であるものとする。しかしながら、かかる例に限定されず、他の形式で定義される有効性スコアが利用されてもよい。以下、有効性スコアを算出するための例示的な４つの手法について、図６Ａ〜図６Ｄを用いて説明する。
【００３５】
（５−１）第１の手法
図６Ａは、有効性スコアを算出するための第１の手法について説明するための説明図である。図中左上には、動画データとしての運動モデルＭａに映る教師のシルエット（例えば、背景からの差分）が示されている。図中右上には、入力画像から抽出されるユーザＵａのシルエットが示されている。スコア算出部１６０は、これら２つのシルエットを重ね合わせ、これらシルエットに占める重複領域の割合が大きいほど、有効性スコアの値を大きくする。
【００３６】
（５−２）第２の手法
図６Ｂは、有効性スコアを算出するための第２の手法について説明するための説明図である。図中左上には、骨格データとしての運動モデルＭｂに含まれる教師の骨格を構成する３つの特徴点位置Ｐｍ１、Ｐｍ２及びＰｍ３が示されている。図中右上には、入力画像から抽出されるユーザＵａの骨格を構成する３つの特徴点位置Ｐ１１、Ｐ１２及びＰ１３が示されている。特徴点位置Ｐｍ１及びＰ１１は頭、特徴点位置Ｐｍ２及びＰ１２は肩、特徴点位置Ｐｍ３及びＰ１３は股関節にそれぞれ対応し得る。スコア算出部１６０は、例えば、位置Ｐｍ３及びＰ１３が重なるようにこれら特徴点位置を調整した上で、位置Ｐｍ１からの位置Ｐ１１の変位と位置Ｐｍ２からの位置Ｐ１２の変位との和を計算し、算出された和が小さいほど、有効性スコアの値を大きくする。
【００３７】
（５−３）第３の手法
図６Ｃは、有効性スコアを算出するための第３の手法について説明するための説明図である。図６Ｃには、図６Ｂに例示した骨格データとしての運動モデルＭｂ、及び入力画像から抽出されるユーザＵａの骨格が再び示されている。スコア算出部１６０は、例えば、これら骨格データから、教師の股関節の角度Ｒｍ及びユーザＵａの股関節の角度Ｒｕを計算し、角度差Ｒｕ−Ｒｍを算出する。そして、スコア算出部１６０は、算出された角度差が小さいほど、有効性スコアの値を大きくする。
【００３８】
上述した第１の手法〜第３の手法は、各区間に対応する全てのフレームに適用されてもよく、又はいずれか１つ若しくは複数のフレームに適用されてもよい。例えば、スコア算出部１６０は、各区間に対応するフレームから１つ又は複数の特徴的なフレーム（例えば、運動の最中の所定のポーズが映るフレーム）を選択し、選択したフレームについて算出されるスコア（の合計）を各区間の有効性スコアとしてもよい。
【００３９】
（５−４）第４の手法
図６Ｄは、有効性スコアを算出するための第４の手法について説明するための説明図である。図６Ｄの上段には、運動認識部１３０による運動認識結果として、１単位の運動の所要時間及びセンサデータに基づく統計値である最大加速度が、ユーザＵａについて区間ごとに示されている。最大加速度は、運動の有効性を補助的に示すパラメータである。図６Ｄの下段には、教師の運動についての同様のデータである運動モデルＭｃが示されている。スコア算出部１６０は、このような運動認識結果と運動モデルとを区間ごとに比較し、認識された運動についての値が運動モデルの値に近いほど、有効性スコアの値を大きくする。図６Ｄの例では、区間ＳＥＧ０１について有効性スコアは４、区間ＳＥＧ０２及びＳＥＧ０３について有効性スコアは３、区間ＳＥＧ１０について有効性スコアは２、というようにそれぞれ算出されている。
【００４０】
スコア算出部１６０は、上述した４つの手法のいずれか１つのみを用いてもよく、又は重み付け加算などの演算を通じて複数の手法を組合せてもよい。スコア算出部１６０は、このように運動の有効性を示す有効性スコアを区間ごとに算出し、算出した有効性スコアをオブジェクト生成部１７０へ出力する。
【００４１】
（６）オブジェクト生成部
オブジェクト生成部１７０は、認識される運動の有効性に応じて異なる仮想オブジェクトを生成する。オブジェクト生成部１７０により生成される仮想オブジェクトは、典型的には、スコア算出部１６０により算出される有効性スコアの大きさを表現するオブジェクトであってよい。仮想オブジェクトの生成の基礎とされる有効性スコアの大きさとは、各区間について算出される有効性スコアの大きさ若しくは図５に例示したようなその積算値、又はそれらの組合せであってよい。本実施形態において、オブジェクト生成部１７０により生成される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位とは、例えば腹筋運動については腹部、スクワット運動については大腿部などに相当し得る。運動の対象部位は、運動の種類と関連付けて予め定義されていてもよく、又は赤外線温度センサからのセンサデータが示す温度の高い部位のように動的に判定されてもよい。仮想オブジェクトは、運動の対象部位を様々な手法で強調してよい。例えば、対象部位の周囲に配置される炎又は光などを模した仮想オブジェクトの色、数又は大きさによって、有効性スコアの大きさが表現されてもよい。また、対象部位の外観上の変化が、有効性スコアの大きさに応じて誇張して表現されてもよい。オブジェクト生成部１７０により生成され得る仮想オブジェクトのいくつかの例について、後にさらに説明する。
【００４２】
（７）表示制御部
表示制御部１８０は、オブジェクト生成部１７０により生成される仮想オブジェクトを、入力画像取得部１２０からの入力画像に重畳することにより、ユーザに呈示する。表示制御部１８０は、対象部位が映っている入力画像内の位置に、当該対象部位を強調する仮想オブジェクトを重畳してもよい。その際、表示制御部１８０は、仮想オブジェクトを半透明に設定することにより、運動する人物の様子及び仮想オブジェクトの双方をユーザにとって視認可能としてもよい。その代わりに、表示制御部１８０は、入力画像内で運動する人物の周辺に仮想オブジェクトを重畳してもよい。また、表示制御部１８０は、選択された運動モデルを表現する仮想オブジェクトをも入力画像に重畳してもよい。以下、表示制御部１８０により表示される仮想オブジェクトの３つの例について、図７Ａ〜図７Ｃを用いて説明する。
【００４３】
（７−１）第１の例
図７Ａは、本実施形態において表示される仮想オブジェクトの第１の例について説明するための説明図である。図７Ａには、表示部１１０により表示され得る一例としての出力画像Ｉｍ１が示されており、出力画像Ｉｍ１には腹筋運動をしているユーザＵａが映っている。また、出力画像Ｉｍ１において、腹筋運動の対象部位であるユーザＵａの腹部には、仮想オブジェクトＡ１が重畳されている。仮想オブジェクトＡ１は、運動の対象部位を強調すると共に、スコア算出部１６０により算出される有効性スコアの大きさをその色によって表現するオブジェクトである。図７Ａの例では、仮想オブジェクトＡ１の中心部分の色がより高い有効性スコアを表現する色に設定されている。ユーザＵａは、仮想オブジェクトＡ１を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。なお、出力画像Ｉｍ１には、運動モデルＭａを表現する仮想オブジェクトもまた重畳されている。
【００４４】
（７−２）第２の例
図７Ｂは、本実施形態において表示される仮想オブジェクトの第２の例について説明するための説明図である。図７Ｂには、表示部１１０により表示され得る一例としての出力画像Ｉｍ２が示されており、出力画像Ｉｍ２には腹筋運動をしているユーザＵａが映っている。また、出力画像Ｉｍ２において、腹筋運動の対象部位であるユーザＵａの腹部には、仮想オブジェクトＡ２が重畳されている。仮想オブジェクトＡ２は、運動の対象部位を強調すると共に、当該対象部位の外観上の変化を有効性スコアの大きさに応じて誇張して表現するオブジェクトである。図７Ｂの例では、ユーザＵａの腹囲の減少が有効性スコアの大きさに応じて誇張されている。ユーザＵａは、仮想オブジェクトＡ２を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを知ることができる。また、より目標に近付いた自らの姿を見ることで、ユーザＵａの運動に対する意欲はより向上され得る。
【００４５】
（７−２）第３の例
図７Ｃは、本実施形態において表示される仮想オブジェクトの第３の例について説明するための説明図である。図７Ｃには、表示部１１０により表示され得る一例としての出力画像Ｉｍ３が示されており、出力画像Ｉｍ３には腹筋運動をしているユーザＵａが映っている。また、出力画像Ｉｍ３において、ユーザＵａの隣りに、ユーザＵａを表現する仮想オブジェクトＡ３が重畳されている。仮想オブジェクトＡ３の腹部には、図７Ａに例示した仮想オブジェクトＡ１がさらに重畳されている。図７Ｃの例では、ユーザＵａ自身の画像が仮想オブジェクトによって隠されないため、ユーザＵａは、自らの運動を明瞭に視認しながら、運動の効果をも並列的に知ることができる。
【００４６】
［２−３．処理の流れ］
図８は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。
【００４７】
図８を参照すると、運動の開始にあたり、スコア算出部１６０は、運動モデルＤＢ１４０により記憶されているいずれかの運動モデルを取得する（ステップＳ１００）。その後のステップＳ１１０〜ステップＳ１９０の処理は、一連の入力画像の各々について繰り返される。
【００４８】
まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１１０）。
【００４９】
次に、運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する（ステップＳ１２０）。そして、運動認識部１３０は、入力画像が属するべき時間軸上の区間を決定する（ステップＳ１３０）。例えば、運動認識部１３０は、新たな単位のジェスチャが開始されたことを認識した場合には、当該入力画像は新たな区間に属すると決定し得る。一方、運動認識部１３０は、前の入力画像からジェスチャが続けられていることを認識した場合には、当該入力画像は前の入力画像と同じ区間に属すると決定し得る。
【００５０】
次に、スコア算出部１６０は、当該入力画像について有効性スコアを算出するか否かを判定する（ステップＳ１４０）。例えば、所定のポーズが映るフレームについてのみ有効性スコアが算出される場合において、当該入力画像内で所定のポーズが映っていない場合には、当該入力画像についての有効性スコアの算出はスキップされ得る。ステップＳ１４０において有効性スコアを算出すると決定した場合には、スコア算出部１６０は、運動認識部１３０により認識された運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する（ステップＳ１５０）。
【００５１】
次に、オブジェクト生成部１７０は、スコア算出部１６０により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する（ステップＳ１６０）。ここで生成される仮想オブジェクトは、図７Ａ〜図７Ｃに例示した仮想オブジェクトＡ１〜Ａ３のようなオブジェクトであってよい。また、オブジェクト生成部１７０は、設定に応じて運動モデルを表示すべきか否かを判定し（ステップＳ１７０）、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する（ステップＳ１８０）。
【００５２】
そして、表示制御部１８０は、オブジェクト生成部１７０により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部１１０により表示させる（ステップＳ１９０）。
【００５３】
［２−４．第１の実施形態のまとめ］
ここまで、本開示に係る技術の第１の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性に応じて異なる仮想オブジェクトが生成され、生成された仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【００５４】
また、本実施形態によれば、運動の有効性は、有効性スコアとして定量的に算出される。有効性スコアは、運動する人物により目標とされる運動モデルからの運動の差分に基づいて算出され得る。従って、目標に対する達成の度合いに応じて有効性スコアの大きさが変化するため、より目標に近付こうとするユーザの意欲を向上させることができる。
【００５５】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位が、有効性スコアの大きさに応じた手法で強調されることから、ユーザは、運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。
【００５６】
なお、運動をする人物と画像処理装置１００からの出力画像を見るユーザとは、必ずしも同じ人物でなくてよい。例えば、画像処理装置１００により提供される仕組みを応用し、複数のユーザ間でビデオチャットのように画像を交換して互いの運動の効果を確認し合うことにより、ユーザ間の競争意欲を引き出して運動の効果をさらに高めることができる。
【００５７】
＜３．第２の実施形態＞
本節で説明する第２の実施形態では、運動をする人物の状況に適した運動モデルが生成される。本実施形態に係る画像処理装置２００は、一例として、リハビリテーションのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【００５８】
［３−１．機能構成］
画像処理装置２００のハードウェア構成は、図２に例示した画像処理装置１００のハードウェア構成と同等であってよい。図９は、画像処理装置２００において実現される論理的機能の構成の一例を示すブロック図である。図９を参照すると、画像処理装置２００は、入力画像取得部１２０、ユーザインタフェース部２２５、運動認識部１３０、運動モデルＤＢ１４０、ユーザＤＢ２５０、モデル生成部２５５、スコア算出部１６０、オブジェクト生成部２７０及び表示制御部１８０を含む。
【００５９】
（１）ユーザインタフェース部
ユーザインタフェース部２２５は、後に説明する運動モデルの生成のために用いられる目標データの入力を受け付けるユーザインタフェースを、ユーザに提供する。目標データとは、例えば、運動の目標とされるパラメータ値と当該目標を達成すべき日付とを含み得る。運動の目標とされるパラメータの種類は、例えば、関節の屈伸運動については屈曲角度、歩行運動については歩行速度など、いかなる種類であってもよい。リハビリテーション運動についての目標データは、運動をする患者により入力されてもよく、又は運動を管理する医師若しくはトレーナにより入力されてもよい。
【００６０】
（２）ユーザＤＢ
ユーザＤＢ２５０は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザＤＢ２５０は、第１の実施形態に関連して説明した属性データ１５２を記憶する。さらに、本実施形態において、ユーザＤＢ２５０は、運動する人物ごとに運動の目標及び実績を保持する運動履歴データ２５４を記憶する。運動の目標は、ユーザインタフェース部２２５を通じて取得される目標データにより与えられる。運動の実績は、運動認識の結果として運動認識部１３０及びスコア算出部１６０から入力され蓄積される。運動履歴データ２５４は、モデル生成部２５５による運動モデルの生成のために用いられる。
【００６１】
（３）モデル生成部
モデル生成部２５５は、運動をする人物の運動の状況に基づいて、有効性スコアの算出のために用いられる運動モデルを生成する。本実施形態において、運動の状況は、ユーザＤＢ２５０により記憶される運動履歴データ２５４により表される。
【００６２】
図１０は、モデル生成部２５５によるモデル生成処理の一例について説明するための説明図である。
【００６３】
図１０の左には、一例としての運動履歴データ２５４が示されている。運動履歴データ２５４は、「人物ＩＤ」、「レコードタイプ」、「日付」、「パラメータ」及び「回数」という５つのデータ項目を有する。「人物ＩＤ」は、運動する人物を一意に識別するための識別子である。「レコードタイプ」は、「目標」又は「実績」といういずれかの値を示す区分値である。「日付」は、当該レコードにより示される目標を達成すべき日付、又は当該レコードにより示される実績が記録された日付を示す。「パラメータ」は、目標として入力されたパラメータ値、又は達成されたパラメータ値を示す。「回数」は、目標として入力された運動の回数、又は達成された運動の回数を示す。
【００６４】
モデル生成部２５５は、このような運動履歴データ２５４を用いて、運動をする人物の運動の目標と実績とに基づいて、図１０の右に例示したような運動モデル２４２を生成する。図１０の例において、運動モデル２４２は、人物ＩＤが「ＵＡ」である人物について、「２０１１年１１月１日」にパラメータ値「Ｐ２４」を目標として「５０回」の運動をすべきことを示している。なお、目標パラメータ値は、過去の実績値と将来の目標値との間の補間によって計算されてもよい。また、目標パラメータ値は、類似する他の人物（例えば、類似する病状を有する他のリハビリテーション患者）についての一般的な統計データを算入して計算されてもよい。
【００６５】
画像処理装置２００の運動認識部１３０は、第１の実施形態と同様に、入力画像取得部１２０からの入力画像に映る人物の運動を認識する。そして、スコア算出部１６０は、モデル生成部２５５により生成される運動モデルからの認識された運動の差分に基づいて、運動認識部１３０により決定される区間ごとに有効性スコアを算出する。
【００６６】
（４）オブジェクト生成部
オブジェクト生成部２７０は、スコア算出部１６０により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、オブジェクト生成部２７０により生成される仮想オブジェクトは、例えば、対象部位の動きをスコアの大きさに応じて誇張して表現するオブジェクトであってよい。
【００６７】
図１１は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図１１を参照すると、肘の関節を対象としてリハビリテーション運動を行うユーザＵａの右腕が出力画像Ｉｍ４に映っている。特徴点位置Ｐ２１は、最終的に右腕の手のひらが到達すべき目標位置である。特徴点位置Ｐ２３は、前回のリハビリテーション運動において右腕の手のひらが到達した位置である。特徴点位置Ｐ２４は、今回のリハビリテーション運動における右腕の手のひらのが到達すべき目標位置である。なお、このような出力画像Ｉｍ４は、運動の開始時に限らず、運動の途中（例えば、運動が一時停止した時）に表示されてもよい。
【００６８】
図１２は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図１２には、画像処理装置２００の表示部１１０により表示され得る一例としての出力画像Ｉｍ５が示されており、出力画像Ｉｍ５には肘のリハビリテーション運動をしているユーザＵａの右腕が映っている。また、出力画像Ｉｍ５に、仮想オブジェクトＡ４が重畳されている。仮想オブジェクトＡ４は、運動の対象部位である右腕の画像を加工することにより生成されており、対象部位の動きをスコアの大きさに応じて誇張して表現している。即ち、図１２の例において、実際の手のひらの到達位置Ｐ２５と仮想オブジェクトＡ４の手のひらの到達位置Ｐ２６とは異なる。到達位置Ｐ２６は、有効性スコアが大きいほど目標位置Ｐ２１に近付くように決定される。このような仮想オブジェクトＡ４をリハビリテーションの患者に見せることで、症状の回復した後の姿を患者に意識させ、リハビリテーション運動に対する意欲を向上させることができる。
【００６９】
［３−２．処理の流れ］
図１３は、本実施形態に係る画像処理装置２００による画像処理の流れの一例を示すフローチャートである。
【００７０】
図１３を参照すると、運動の開始にあたり、モデル生成部２５５は、運動をする人物の運動の目標及び実績に基づいて、運動モデルを生成する（ステップＳ２００）。その後のステップＳ２１０〜ステップＳ２９０の処理は、一連の入力画像の各々について繰り返される。
【００７１】
まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ２１０）。
【００７２】
次に、運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する（ステップＳ２２０）。そして、運動認識部１３０は、入力画像が属するべき時間軸上の区間を決定する（ステップＳ２３０）。
【００７３】
次に、スコア算出部１６０は、当該入力画像について有効性スコアを算出するか否かを判定する（ステップＳ２４０）。ステップＳ２４０において有効性スコアを算出すると決定した場合には、スコア算出部１６０は、当該入力画像に映る人物の運動をモデル生成部２５５により生成された運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する（ステップＳ２５０）。
【００７４】
次に、オブジェクト生成部２７０は、スコア算出部１６０により算出される有効性スコアの大きさに応じて、対象部位の動きを誇張する仮想オブジェクトを生成する（ステップＳ２６０）。また、オブジェクト生成部２７０は、設定に応じて運動モデルを表示すべきか否かを判定し（ステップＳ２７０）、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する（ステップＳ２８０）。
【００７５】
そして、表示制御部１８０は、オブジェクト生成部２７０により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部１１０により表示させる（ステップＳ２９０）。
【００７６】
［３−３．第２の実施形態のまとめ］
ここまで、本開示に係る技術の第２の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが算出され、算出された有効性スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。また、有効性スコアは目標とされる運動モデルからの運動の差分に基づいて算出されため、より目標に近付こうとするユーザの意欲を向上させることができる。
【００７７】
また、本実施形態によれば、運動の目標及び実績に基づいて、運動する人物に適した運動モデルが生成される。従って、個人ごとの運動の管理が求められるような場面において、より運動の状況に即した有効性スコアを算出し、個々の運動を効果的に支援することができる。
【００７８】
また、本実施形態によれば、仮想オブジェクトにより、運動の対象部位の動きが有効性スコアの大きさに応じて誇張して表現される。即ち、リハビリテーション運動などのように、日々の運動の成果が実際の動きとしてはわずかにしか表れないような場面において、その成果がより強調された形でユーザに呈示される。従って、ユーザの運動に対する意欲はより一層向上され得る。
【００７９】
＜４．第３の実施形態＞
本節で説明する第３の実施形態では、運動をする人物の予測される外観上の変化がユーザに呈示される。本実施形態に係る画像処理装置３００は、一例として、シェイプアップのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【００８０】
［４−１．機能構成］
画像処理装置３００のハードウェア構成は、図２に例示した画像処理装置１００のハードウェア構成と同等であってよい。図１４は、画像処理装置３００において実現される論理的機能の構成の一例を示すブロック図である。図１４を参照すると、画像処理装置３００は、入力画像取得部１２０、ユーザインタフェース部３２５、運動認識部１３０、運動モデルＤＢ１４０、ユーザＤＢ３５０、スコア算出部３６０、オブジェクト生成部３７０及び表示制御部１８０を含む。
【００８１】
（１）ユーザインタフェース部
ユーザインタフェース部３２５は、後に説明する有効性スコアの体型スコアへの変換のために用いられる生活履歴データの入力を受け付けるユーザインタフェースを、ユーザに提供する。生活履歴データとは、例えば、ユーザにより所定の期間（１日又は１週間など）ごとに入力される、当該ユーザによる食事量、外出時の運動量及び睡眠量などを含み得る。これらデータは、画像処理装置３００の入力部１０６を介して入力されてもよく、又は図１Ｂに例示したような端末装置１０において入力され通信部１１２を介して受信されてもよい。
【００８２】
（２）ユーザＤＢ
ユーザＤＢ３５０は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザＤＢ３５０は、第１の実施形態に関連して説明した属性データ１５２を記憶する。さらに、本実施形態において、ユーザＤＢ３５０は、ユーザインタフェース部３２５を通じて取得される上述した生活履歴データ３５６を記憶する。
【００８３】
図１５を参照すると、ユーザＤＢ３５０により記憶される一例としての生活履歴データ３５６が示されている。生活履歴データ３５６は、「人物ＩＤ」、「日付」、「食事量」、「運動量」及び「睡眠量」という５つのデータ項目を有する。「人物ＩＤ」は、運動する人物を一意に識別するための識別子である。「日付」は、当該レコードにより示される生活履歴に関連付けられる日付を示す。「食事量」は、人物ＩＤにより識別される人物が対応する期間において摂取した食事の量を示す。「運動量」は、当該人物が対応する期間において外出時などに行った運動の量を示す。「睡眠量」は、当該人物が対応する期間において眠った時間量を示す。
【００８４】
（３）スコア算出部
スコア算出部３６０は、第１の実施形態に係るスコア算出部１６０と同様に、運動認識部１３０により認識される運動の有効性を示すスコアを算出する。より具体的には、スコア算出部３６０は、運動認識部１３０により運動が認識されると、図６Ａ〜図６Ｄを用いて説明したいずれかの手法（又は他の手法）に従い、認識された運動の運動モデルからの差分に基づいて有効性スコアを算出する。さらに、本実施形態において、スコア算出部３６０は、運動する人物についての生活履歴データ３５６をユーザＤＢ３５０から取得し、取得したデータを用いて有効性スコアを体型スコアに変換する。体型スコアは、ここでは一例として、その値が大きいほど人物が太っていることを表すものとする。体型スコアは、少なくとも次の基準Ｃ１に従って算出される。また、基準Ｃ２〜基準Ｃ４のうちの１つ以上が、基準Ｃ１と組み合されてよい。
−基準Ｃ１：有効性スコアがより大きいほど体型スコアはより小さい
−基準Ｃ２：一定期間内の食事量がより多いほど体型スコアはより大きい
−基準Ｃ３：一定期間内の運動量がより多いほど体型スコアはより小さい
−基準Ｃ４：一定期間内の睡眠量がより多いほど体型スコアはより大きい
スコア算出部３６０は、このように体型スコアを区間ごとに算出し、算出した体型スコアをオブジェクト生成部３７０へ出力する。
【００８５】
（４）オブジェクト生成部
オブジェクト生成部３７０は、有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、実質的には、オブジェクト生成部３７０は、有効性スコアから変換された体型スコアの値に応じて、入力画像に重畳されるべき仮想オブジェクトを生成する。オブジェクト生成部３７０により生成される仮想オブジェクトは、例えば、現在行われている運動が継続される場合の、将来の対象部位の外観を表現するオブジェクトであってよい。
【００８６】
図１６は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図１６を参照すると、運動時間長により区別されるコースと未来時点とをユーザに選択させるためのユーザインタフェースの画像Ｉｍ６が示されている。ユーザは、運動の開始時にこれらコースと未来時点とを選択する。ここでユーザにより選択される未来時点は、オブジェクト生成部３７０が将来の対象部位の外観を予測する際の時間的基準となる。
【００８７】
図１７は、オブジェクト生成部３７０によるオブジェクト生成処理の一例について説明するための説明図である。図１７の左上には、運動する人物であるユーザＵａのシルエットが示されている。ここで、運動の対象部位が胴体であるものとする。オブジェクト生成部３７０は、ユーザにより選択されたコースに対応する運動時間長、未来時点までの経過時間長及び運動の最中にスコア算出部３６０により算出される体型スコアに応じて、選択された未来時点における対象部位の外観を予測する。例えば、同じコースの運動を未来時点まで１日１回継続した場合の対象部位の外観が予測され得る。但し、ここでは、予測される体型を運動の状況に応じて目に見える形で変化させることが重要であって、予測の正確さは重要でない。従って、予測は厳密なものでなくてよい。図１７に示した仮想オブジェクトＡ５１は、「１０分コース」及び「１ヶ月後」が選択された場合に生成され得る、ユーザＵａのやや細くなった胴体を表現するオブジェクトである。仮想オブジェクトＡ５２は、「３０分コース」及び「６ヶ月後」が選択された場合に生成され得る、ユーザＵａのさらに引き締まった胴体を表現するオブジェクトである。さらに、オブジェクト生成部３７０は、運動が行われない場合の将来の対象部位の外観を表現するオブジェクトを生成してもよい。図１７に示した仮想オブジェクトＡ５９は、運動が行われないと仮定した場合の、ユーザＵａの太った胴体を表現するオブジェクトである。
【００８８】
図１８は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図１８には、画像処理装置３００の表示部１１０により表示され得る一例としての出力画像Ｉｍ７が示されており、出力画像Ｉｍ７にはシェイプアップ運動をしているユーザＵａが映っている。シェイプアップ運動の開始に際して、「１０分コース」及び「１ヶ月後」が選択されている。
【００８９】
出力画像Ｉｍ７において、ユーザＵａの胴体には、図１７に例示した仮想オブジェクトＡ５１が重畳されている。さらに、ユーザＵａの頭部には、仮想オブジェクトＡ６１が重畳されている。仮想オブジェクトＡ５１及びＡ６１は、選択された未来時点においてやや細くなったユーザＵａの対象部位をそれぞれ表現している。図には示していないものの、運動が行われないと仮定した場合に予測される外観を表現する仮想オブジェクト（図１７に例示した仮想オブジェクトＡ５９など）が、ユーザＵａの隣にさらに重畳されてもよい。これら仮想オブジェクトをユーザに見せることで、期待される運動の成果をユーザに意識させ、シェイプアップ運動を継続しようとする動機付けをユーザに与えることができる。
【００９０】
［４−２．処理の流れ］
図１９は、本実施形態に係る画像処理装置３００による画像処理の流れの一例を示すフローチャートである。
【００９１】
図１９を参照すると、運動の開始にあたり、スコア算出部３６０は、ユーザＤＢ３５０内に蓄積されている生活履歴データ３５６を取得する（ステップＳ３００）。また、スコア算出部３６０は、運動モデルＤＢ１４０により記憶されているいずれかの運動モデルを取得する（ステップＳ３０４）。また、オブジェクト生成部３７０は、ユーザインタフェース部３２５を通じて、ユーザにより選択される運動のコース及び未来時点を識別する（ステップＳ３０８）。その後のステップＳ３１０〜ステップＳ３９０の処理は、一連の入力画像の各々について繰り返される。
【００９２】
まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ３１０）。
【００９３】
次に、運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する（ステップＳ３２０）。そして、運動認識部１３０は、入力画像が属するべき時間軸上の区間を決定する（ステップＳ３３０）。
【００９４】
次に、スコア算出部３６０は、当該入力画像についてスコアを算出するか否かを判定する（ステップＳ３４０）。ステップＳ３４０においてスコアを算出すると決定した場合には、スコア算出部３６０は、当該入力画像に映る人物の運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する（ステップＳ３５０）。さらに、スコア算出部３６０は、生活履歴データ３５６を用いて、有効性スコアを体型スコアに変換する（ステップＳ３５５）。
【００９５】
次に、オブジェクト生成部３７０は、スコア算出部３６０から入力される体型スコア、並びにユーザにより選択されたコース及び未来時点に応じて、将来の対象部位の外観を表現する仮想オブジェクトを生成する（ステップＳ３６０）。また、オブジェクト生成部３７０は、設定に応じて運動モデルを表示すべきか否かを判定し（ステップＳ３７０）、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する（ステップＳ３８０）。
【００９６】
そして、表示制御部１８０は、オブジェクト生成部３７０により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部１１０により表示させる（ステップＳ３９０）。
【００９７】
［４−３．第３の実施形態のまとめ］
ここまで、本開示に係る技術の第３の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが体型スコアに変換され、体型スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを、ユーザの仮想的な体型という目に見える形でユーザに呈示することができる。
【００９８】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位の外観上の変化を体型スコアの大きさに応じて誇張して表現する。そして、運動が継続される場合に予測される将来の対象部位の外観がユーザに呈示される。従って、将来において期待される運動の成果をユーザに明確に意識させ、運動を継続しようとする動機付けをユーザに与えることができる。
【００９９】
ここまで、本開示に係る技術の３つの実施形態について詳細に説明した。これら実施形態の様々な特徴は、いかなる形で組合せられてもよい。例えば、第１の実施形態及び第３の実施形態の応用において、運動の目標及び実績に基づいて運動する人物に適した運動モデルが生成されてもよい。また、例えば、第１の実施形態及び第２の実施形態の応用において、生活履歴データを算入して有効性スコアが算出されてもよい。また、様々な運動の状況に応じて、有効性スコアはどのように修正され又は他の種類のスコアへ変換されてもよい。
【０１００】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
【０１０１】
また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図２に例示した通信部１１２を介して装置間で送信され又は受信され得る。
【０１０２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
（２）
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
前記（１）に記載の画像処理装置。
（３）
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、前記（２）に記載の画像処理装置。
（４）
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、前記（３）に記載の画像処理装置。
（５）
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、前記（３）に記載の画像処理装置。
（６）
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、前記（６）に記載の画像処理装置。
（８）
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、前記（７）に記載の画像処理装置。
（９）
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、前記（６）に記載の画像処理装置。
（１０）
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、前記（６）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、前記（２）〜（９）のいずれか１項に記載の画像処理装置。
（１２）
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、前記（２）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、前記（２）〜（１１）のいずれか１項に記載の画像処理装置。
（１４）
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（２）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
（１６）
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【０１０４】
１００，２００，３００ 画像処理装置
１２０ 入力画像取得部
２２５，３２５ ユーザインタフェース部
１３０ 運動認識部
２５５ モデル生成部
１６０，３６０ スコア算出部
１７０，２７０，３７０ オブジェクト生成部
１８０ 表示制御部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
今日、健康の維持若しくは増進、又は怪我からの回復などを目的とする運動が、日常的に行われている。筋力トレーニング、リハビリテーション及びシェイプアップなどは、そのような運動の一例である。下記特許文献１は、教師の運動の画像シーケンスと学生の運動の画像シーケンスとをディスプレイ上に並列的に表示する技術を提案している。かかる技術によれば、学生としてのユーザが教師の運動を模倣することが容易となり、ユーザの運動能力がより効率的に向上するものと期待される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０００−５０４８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、運動を効果的なものとするためは、一般的に、運動をする人物へ運動の有効性に関する十分なフィードバックを行うことが重要であると言われている。上記特許文献１により提案されている技術は、目標とすべき運動を単に呈示するだけであって、十分なフィードバックをユーザに与えるものではない。例えば、目標に対して自分の運動がどの程度近付いているか又は健康がどれだけ向上したかが目に見える形で呈示されれば、運動を継続しようとする意欲が引き出されると共に、自らの運動を改善してより効果的な運動をしようとする動機付けにもなる。
【０００５】
従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００６】
本開示によれば、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置が提供される。
【０００７】
また、本開示によれば、入力画像に映る人物の運動を認識することと、認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、を含む画像処理方法が提供される。
【０００８】
また、本開示によれば、画像処理装置を制御するコンピュータを、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示に係る技術によれば、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本開示に係る画像処理装置の概要について説明するための第１の説明図である。
【図１Ｂ】本開示に係る画像処理装置の概要について説明するための第２の説明図である。
【図１Ｃ】本開示に係る画像処理装置の概要について説明するための第３の説明図である。
【図２】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】第１の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図４】図３に例示した運動認識部による運動認識処理の一例について説明するための説明図である。
【図５】図３に例示したスコア算出部により算出される有効性スコアの一例について説明するための説明図である。
【図６Ａ】有効性スコアを算出するための第１の手法について説明するための説明図である。
【図６Ｂ】有効性スコアを算出するための第２の手法について説明するための説明図である。
【図６Ｃ】有効性スコアを算出するための第３の手法について説明するための説明図である。
【図６Ｄ】有効性スコアを算出するための第４の手法について説明するための説明図である。
【図７Ａ】第１の実施形態において表示される仮想オブジェクトの第１の例について説明するための説明図である。
【図７Ｂ】第１の実施形態において表示される仮想オブジェクトの第２の例について説明するための説明図である。
【図７Ｃ】第１の実施形態において表示される仮想オブジェクトの第３の例について説明するための説明図である。
【図８】第１の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図９】第２の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図１０】図９に例示したモデル生成部によるモデル生成処理の一例について説明するための説明図である。
【図１１】第２の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図１２】第２の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図１３】第２の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１４】第３の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図１５】生活履歴データの一例を示す説明図である。
【図１６】第３の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図１７】図１４に例示したオブジェクト生成部によるオブジェクト生成処理の一例について説明するための説明図である。
【図１８】第３の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図１９】第３の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下の順序で説明を行う。
１．概要
２．第１の実施形態
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
２−４．第１の実施形態のまとめ
３．第２の実施形態
３−１．機能構成
３−２．処理の流れ
３−３．第２の実施形態のまとめ
４．第３の実施形態
４−１．機能構成
４−２．処理の流れ
４−３．第３の実施形態のまとめ
【００１３】
＜１．概要＞
図１Ａ〜図１Ｃは、本開示に係る画像処理装置の概要について説明するための説明図である。図１Ａを参照すると、一例としての画像処理装置１００ａが示されている。画像処理装置１００ａは、運動する人物に向けられるレンズを有する撮像部１０２と、画像を表示する表示部１１０とを備える。図１Ａの例では、ユーザＵａが画像処理装置１００ａの前に立っており、撮像部１０２により撮像された画像が表示部１１０により表示されている。画像処理装置１００ａは、このような撮像画像を入力画像として取得し、後に詳細に説明するような運動を支援するための様々な画像処理を実行する。ユーザＵａは、このような状況下で、例えば筋力トレーニング、リハビリテーション又はシェイプアップなどの運動を行う。
【００１４】
図１Ｂの例では、画像処理装置１００ａは、通信部１１２をさらに備える。通信部１１２は、例えばユーザＵａにより操作される端末装置１０と通信する。画像処理装置１００ａは、入力画像について実行される画像処理において、このような通信接続を介して取得される追加的なデータをも活用してよい。
【００１５】
図１Ａ及び図１Ｂでは、画像処理装置１００ａの一例としてデジタルテレビジョン装置を示している。しかしながら、画像処理装置１００ａは、かかる例に限定されない。画像処理装置１００ａは、例えば、デスクトップＰＣ、タブレットＰＣ、ノートブックＰＣ、スマートフォン、デジタルカメラ又はゲーム端末などの任意の装置であってよい。また、画像処理装置１００ａの表示部１１０の画面は、その表面にハーフミラーが配設された画面であってもよい。その場合には、ユーザＵａは、運動の最中にハーフミラーにより反射される自らの姿を見ると共に、表示部１１０により部分的に表示される画像をも同時に見ることができる。
【００１６】
図１Ｃを参照すると、別の例としての画像処理装置１００ｂが示されている。画像処理装置１００ｂは、ヘッドマウントディスプレイを有するウェアラブル装置である。画像処理装置１００ｂは、ユーザＵｂにより装着されている。画像処理装置１００ｂは、ユーザＵｂが運動する場合に、ユーザＵｂの体の一部（例えば腕など）を撮像してもよい。その代わりに、画像処理装置１００ｂは、運動するユーザＵａを撮像してもよい。画像処理装置１００ｂにより撮像され処理された画像は、ヘッドマウントディスプレイを介してユーザＵｂにより見られる。画像処理装置１００ｂのヘッドマウントディスプレイは、シースルー型であっても非シースルー型であってもよい。
【００１７】
次節より説明する本開示に係る技術の３つの実施形態では、これらのような装置により、運動の有効性に関するフィードバックが目に見える形でユーザに呈示される。なお、これ以降の説明では、画像処理装置１００ａ及び１００ｂを画像処理装置１００と総称する。
【００１８】
＜２．第１の実施形態＞
［２−１．ハードウェア構成］
図２は、第１の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。
【００１９】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。
【００２０】
（２）センサ部
センサ部１０４は、画像処理装置１００において実行される処理を支援するためのセンサデータを生成するセンサモジュールである。例えば、センサ部１０４は、ユーザの皮膚に貼られる電極を介してユーザの筋肉の動きを検知する筋電位センサを含んでもよい。また、センサ部１０４は、ユーザの体表の温度を計測する赤外線温度センサを含んでもよい。また、センサ部１０４は、ユーザの特定の部位に加わる加速度を計測する加速度センサを含んでもよい。
【００２１】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【００２２】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像部１０２により生成される撮像画像データ、センサ部１０４により生成されるセンサデータ、及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２３】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。本実施形態において、表示部１１０は、ユーザの運動を支援するための仮想オブジェクトを入力画像に重畳するために使用され得る。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００２４】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００２５】
（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。
【００２６】
（８）制御部
制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００２７】
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、入力画像取得部１２０、運動認識部１３０、運動モデルデータベース（ＤＢ）１４０、ユーザＤＢ１５０、スコア算出部１６０、オブジェクト生成部１７０及び表示制御部１８０を含む。
【００２８】
（１）入力画像取得部
入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。入力画像には、図１Ａ〜図１Ｃに例示したユーザＵａ又はＵｂなどの、運動する人物が映される。入力画像取得部１２０により取得される一連の入力画像は、典型的には動画を構成する。入力画像取得部１２０は、取得した入力画像を、運動認識部１３０及び表示制御部１８０へ順次出力する。
【００２９】
（２）運動認識部
運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する。運動認識部１３０により認識される運動は、関節の屈伸運動（例えば、腹筋運動若しくはスクワット運動）、ランニング、ダンス、ヨガ、エアロビクス又はスポーツの動作（例えば、ゴルフ若しくはテニスのスイング）など、いかなる運動であってもよい。運動認識部１３０は、例えば、公知のジェスチャ認識技術に従って、入力画像に映る人物の運動を認識する。また、運動認識部１３０は、加速度センサからのセンサデータを用いて、入力画像に映る人物の運動を認識してもよい。
【００３０】
図４は、運動認識部１３０による運動認識処理の一例について説明するための説明図である。図４を参照すると、一連の入力画像に含まれる７つのフレームＦ０１〜Ｆ０７が、時間軸に沿って示されている。フレームＦ０１〜Ｆ０４には、これらフレームに映る人物の１回の腹筋運動が映っている。次の回の腹筋運動は、フレームＦ０５以降に映っている。運動認識部１３０は、このような１回の腹筋運動を１単位のジェスチャとして認識し、認識した各単位のジェスチャに対応する時間軸上の区間を決定する。図４の例では、フレームＦ０１〜Ｆ０４に対応する区間ＳＥＧ０１及びフレームＦ０５〜Ｆ０７に対応する区間ＳＥＧ０２が決定されている。後に説明するスコア算出部１６０は、このように決定される区間ごとに、運動認識部１３０により認識される運動の有効性を示すスコアを算出する。
【００３１】
（３）運動モデルＤＢ１４０
運動モデルＤＢ１４０は、目標とされる運動をモデル化したデータである運動モデルを蓄積しているデータベースである。運動モデルは、例えば、運動する人物を映した動画データ、運動する人物の特徴点位置の集合から構成される骨格データ、若しくは目標とされる運動の回数及び強さなどのパラメータを含む数値データ、又はこれらの組合せであってよい。本実施形態において、運動モデルは、教師となる人物の運動を予めモデル化したデータである。年齢及び性別などの属性が互いに異なる教師の運動をモデル化した複数の運動モデルから、ユーザに適した運動モデルが選択可能であってもよい。他の実施形態において、運動モデルは、個々のユーザの運動の履歴及び目標に応じて適応的に生成される。
【００３２】
（４）ユーザＤＢ１５０
ユーザＤＢ１５０は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。本実施形態において、ユーザＤＢ１５０は、ユーザの年齢及び性別などの基本属性と身長、座高、胸囲及び腹囲などの体型属性とを含み得る属性データ１５２を記憶する。
【００３３】
（５）スコア算出部
スコア算出部１６０は、運動認識部１３０により認識される運動の有効性を示すスコアを算出する。より具体的には、本実施形態において、スコア算出部１６０は、まず、運動モデルＤＢ１４０により記憶されているいずれかの運動モデルを取得する。スコア算出部１６０は、複数の運動モデルから運動する人物の基本属性に適した運動モデルを選択的に取得してもよい。また、スコア算出部１６０は、取得した運動モデルを、運動する人物の体型属性に応じて補正してもよい（例えば、教師の身長が運動する人物の身長に等しくなるように正規化する、など）。そして、スコア算出部１６０は、運動認識部１３０により運動が認識されると、運動認識部１３０により決定される区間ごとに、認識された運動の運動モデルからの差分に基づいて、有効性スコアを算出する。
【００３４】
図５は、スコア算出部１６０により算出される有効性スコアの一例について説明するための説明図である。図５を参照すると、有効性スコアの算出結果が表で示されている。図５の例において、区間ＳＥＧ０１及びＳＥＧ０２について算出された有効性スコアは、共に４である。区間ＳＥＧ０３について算出された有効性スコアは３である。区間ＳＥＧ１０について算出された有効性スコアは２である。図５の例では、有効性スコアは、１から５までの５段階の値を示し、その値がより大きいほど運動はより有効であるものとする。しかしながら、かかる例に限定されず、他の形式で定義される有効性スコアが利用されてもよい。以下、有効性スコアを算出するための例示的な４つの手法について、図６Ａ〜図６Ｄを用いて説明する。
【００３５】
（５−１）第１の手法
図６Ａは、有効性スコアを算出するための第１の手法について説明するための説明図である。図中左上には、動画データとしての運動モデルＭａに映る教師のシルエット（例えば、背景からの差分）が示されている。図中右上には、入力画像から抽出されるユーザＵａのシルエットが示されている。スコア算出部１６０は、これら２つのシルエットを重ね合わせ、これらシルエットに占める重複領域の割合が大きいほど、有効性スコアの値を大きくする。
【００３６】
（５−２）第２の手法
図６Ｂは、有効性スコアを算出するための第２の手法について説明するための説明図である。図中左上には、骨格データとしての運動モデルＭｂに含まれる教師の骨格を構成する３つの特徴点位置Ｐｍ１、Ｐｍ２及びＰｍ３が示されている。図中右上には、入力画像から抽出されるユーザＵａの骨格を構成する３つの特徴点位置Ｐ１１、Ｐ１２及びＰ１３が示されている。特徴点位置Ｐｍ１及びＰ１１は頭、特徴点位置Ｐｍ２及びＰ１２は肩、特徴点位置Ｐｍ３及びＰ１３は股関節にそれぞれ対応し得る。スコア算出部１６０は、例えば、位置Ｐｍ３及びＰ１３が重なるようにこれら特徴点位置を調整した上で、位置Ｐｍ１からの位置Ｐ１１の変位と位置Ｐｍ２からの位置Ｐ１２の変位との和を計算し、算出された和が小さいほど、有効性スコアの値を大きくする。
【００３７】
（５−３）第３の手法
図６Ｃは、有効性スコアを算出するための第３の手法について説明するための説明図である。図６Ｃには、図６Ｂに例示した骨格データとしての運動モデルＭｂ、及び入力画像から抽出されるユーザＵａの骨格が再び示されている。スコア算出部１６０は、例えば、これら骨格データから、教師の股関節の角度Ｒｍ及びユーザＵａの股関節の角度Ｒｕを計算し、角度差Ｒｕ−Ｒｍを算出する。そして、スコア算出部１６０は、算出された角度差が小さいほど、有効性スコアの値を大きくする。
【００３８】
上述した第１の手法〜第３の手法は、各区間に対応する全てのフレームに適用されてもよく、又はいずれか１つ若しくは複数のフレームに適用されてもよい。例えば、スコア算出部１６０は、各区間に対応するフレームから１つ又は複数の特徴的なフレーム（例えば、運動の最中の所定のポーズが映るフレーム）を選択し、選択したフレームについて算出されるスコア（の合計）を各区間の有効性スコアとしてもよい。
【００３９】
（５−４）第４の手法
図６Ｄは、有効性スコアを算出するための第４の手法について説明するための説明図である。図６Ｄの上段には、運動認識部１３０による運動認識結果として、１単位の運動の所要時間及びセンサデータに基づく統計値である最大加速度が、ユーザＵａについて区間ごとに示されている。最大加速度は、運動の有効性を補助的に示すパラメータである。図６Ｄの下段には、教師の運動についての同様のデータである運動モデルＭｃが示されている。スコア算出部１６０は、このような運動認識結果と運動モデルとを区間ごとに比較し、認識された運動についての値が運動モデルの値に近いほど、有効性スコアの値を大きくする。図６Ｄの例では、区間ＳＥＧ０１について有効性スコアは４、区間ＳＥＧ０２及びＳＥＧ０３について有効性スコアは３、区間ＳＥＧ１０について有効性スコアは２、というようにそれぞれ算出されている。
【００４０】
スコア算出部１６０は、上述した４つの手法のいずれか１つのみを用いてもよく、又は重み付け加算などの演算を通じて複数の手法を組合せてもよい。スコア算出部１６０は、このように運動の有効性を示す有効性スコアを区間ごとに算出し、算出した有効性スコアをオブジェクト生成部１７０へ出力する。
【００４１】
（６）オブジェクト生成部
オブジェクト生成部１７０は、認識される運動の有効性に応じて異なる仮想オブジェクトを生成する。オブジェクト生成部１７０により生成される仮想オブジェクトは、典型的には、スコア算出部１６０により算出される有効性スコアの大きさを表現するオブジェクトであってよい。仮想オブジェクトの生成の基礎とされる有効性スコアの大きさとは、各区間について算出される有効性スコアの大きさ若しくは図５に例示したようなその積算値、又はそれらの組合せであってよい。本実施形態において、オブジェクト生成部１７０により生成される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位とは、例えば腹筋運動については腹部、スクワット運動については大腿部などに相当し得る。運動の対象部位は、運動の種類と関連付けて予め定義されていてもよく、又は赤外線温度センサからのセンサデータが示す温度の高い部位のように動的に判定されてもよい。仮想オブジェクトは、運動の対象部位を様々な手法で強調してよい。例えば、対象部位の周囲に配置される炎又は光などを模した仮想オブジェクトの色、数又は大きさによって、有効性スコアの大きさが表現されてもよい。また、対象部位の外観上の変化が、有効性スコアの大きさに応じて誇張して表現されてもよい。オブジェクト生成部１７０により生成され得る仮想オブジェクトのいくつかの例について、後にさらに説明する。
【００４２】
（７）表示制御部
表示制御部１８０は、オブジェクト生成部１７０により生成される仮想オブジェクトを、入力画像取得部１２０からの入力画像に重畳することにより、ユーザに呈示する。表示制御部１８０は、対象部位が映っている入力画像内の位置に、当該対象部位を強調する仮想オブジェクトを重畳してもよい。その際、表示制御部１８０は、仮想オブジェクトを半透明に設定することにより、運動する人物の様子及び仮想オブジェクトの双方をユーザにとって視認可能としてもよい。その代わりに、表示制御部１８０は、入力画像内で運動する人物の周辺に仮想オブジェクトを重畳してもよい。また、表示制御部１８０は、選択された運動モデルを表現する仮想オブジェクトをも入力画像に重畳してもよい。以下、表示制御部１８０により表示される仮想オブジェクトの３つの例について、図７Ａ〜図７Ｃを用いて説明する。
【００４３】
（７−１）第１の例
図７Ａは、本実施形態において表示される仮想オブジェクトの第１の例について説明するための説明図である。図７Ａには、表示部１１０により表示され得る一例としての出力画像Ｉｍ１が示されており、出力画像Ｉｍ１には腹筋運動をしているユーザＵａが映っている。また、出力画像Ｉｍ１において、腹筋運動の対象部位であるユーザＵａの腹部には、仮想オブジェクトＡ１が重畳されている。仮想オブジェクトＡ１は、運動の対象部位を強調すると共に、スコア算出部１６０により算出される有効性スコアの大きさをその色によって表現するオブジェクトである。図７Ａの例では、仮想オブジェクトＡ１の中心部分の色がより高い有効性スコアを表現する色に設定されている。ユーザＵａは、仮想オブジェクトＡ１を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。なお、出力画像Ｉｍ１には、運動モデルＭａを表現する仮想オブジェクトもまた重畳されている。
【００４４】
（７−２）第２の例
図７Ｂは、本実施形態において表示される仮想オブジェクトの第２の例について説明するための説明図である。図７Ｂには、表示部１１０により表示され得る一例としての出力画像Ｉｍ２が示されており、出力画像Ｉｍ２には腹筋運動をしているユーザＵａが映っている。また、出力画像Ｉｍ２において、腹筋運動の対象部位であるユーザＵａの腹部には、仮想オブジェクトＡ２が重畳されている。仮想オブジェクトＡ２は、運動の対象部位を強調すると共に、当該対象部位の外観上の変化を有効性スコアの大きさに応じて誇張して表現するオブジェクトである。図７Ｂの例では、ユーザＵａの腹囲の減少が有効性スコアの大きさに応じて誇張されている。ユーザＵａは、仮想オブジェクトＡ２を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを知ることができる。また、より目標に近付いた自らの姿を見ることで、ユーザＵａの運動に対する意欲はより向上され得る。
【００４５】
（７−２）第３の例
図７Ｃは、本実施形態において表示される仮想オブジェクトの第３の例について説明するための説明図である。図７Ｃには、表示部１１０により表示され得る一例としての出力画像Ｉｍ３が示されており、出力画像Ｉｍ３には腹筋運動をしているユーザＵａが映っている。また、出力画像Ｉｍ３において、ユーザＵａの隣りに、ユーザＵａを表現する仮想オブジェクトＡ３が重畳されている。仮想オブジェクトＡ３の腹部には、図７Ａに例示した仮想オブジェクトＡ１がさらに重畳されている。図７Ｃの例では、ユーザＵａ自身の画像が仮想オブジェクトによって隠されないため、ユーザＵａは、自らの運動を明瞭に視認しながら、運動の効果をも並列的に知ることができる。
【００４６】
［２−３．処理の流れ］
図８は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。
【００４７】
図８を参照すると、運動の開始にあたり、スコア算出部１６０は、運動モデルＤＢ１４０により記憶されているいずれかの運動モデルを取得する（ステップＳ１００）。その後のステップＳ１１０〜ステップＳ１９０の処理は、一連の入力画像の各々について繰り返される。
【００４８】
まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１１０）。
【００４９】
次に、運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する（ステップＳ１２０）。そして、運動認識部１３０は、入力画像が属するべき時間軸上の区間を決定する（ステップＳ１３０）。例えば、運動認識部１３０は、新たな単位のジェスチャが開始されたことを認識した場合には、当該入力画像は新たな区間に属すると決定し得る。一方、運動認識部１３０は、前の入力画像からジェスチャが続けられていることを認識した場合には、当該入力画像は前の入力画像と同じ区間に属すると決定し得る。
【００５０】
次に、スコア算出部１６０は、当該入力画像について有効性スコアを算出するか否かを判定する（ステップＳ１４０）。例えば、所定のポーズが映るフレームについてのみ有効性スコアが算出される場合において、当該入力画像内で所定のポーズが映っていない場合には、当該入力画像についての有効性スコアの算出はスキップされ得る。ステップＳ１４０において有効性スコアを算出すると決定した場合には、スコア算出部１６０は、運動認識部１３０により認識された運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する（ステップＳ１５０）。
【００５１】
次に、オブジェクト生成部１７０は、スコア算出部１６０により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する（ステップＳ１６０）。ここで生成される仮想オブジェクトは、図７Ａ〜図７Ｃに例示した仮想オブジェクトＡ１〜Ａ３のようなオブジェクトであってよい。また、オブジェクト生成部１７０は、設定に応じて運動モデルを表示すべきか否かを判定し（ステップＳ１７０）、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する（ステップＳ１８０）。
【００５２】
そして、表示制御部１８０は、オブジェクト生成部１７０により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部１１０により表示させる（ステップＳ１９０）。
【００５３】
［２−４．第１の実施形態のまとめ］
ここまで、本開示に係る技術の第１の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性に応じて異なる仮想オブジェクトが生成され、生成された仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【００５４】
また、本実施形態によれば、運動の有効性は、有効性スコアとして定量的に算出される。有効性スコアは、運動する人物により目標とされる運動モデルからの運動の差分に基づいて算出され得る。従って、目標に対する達成の度合いに応じて有効性スコアの大きさが変化するため、より目標に近付こうとするユーザの意欲を向上させることができる。
【００５５】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位が、有効性スコアの大きさに応じた手法で強調されることから、ユーザは、運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。
【００５６】
なお、運動をする人物と画像処理装置１００からの出力画像を見るユーザとは、必ずしも同じ人物でなくてよい。例えば、画像処理装置１００により提供される仕組みを応用し、複数のユーザ間でビデオチャットのように画像を交換して互いの運動の効果を確認し合うことにより、ユーザ間の競争意欲を引き出して運動の効果をさらに高めることができる。
【００５７】
＜３．第２の実施形態＞
本節で説明する第２の実施形態では、運動をする人物の状況に適した運動モデルが生成される。本実施形態に係る画像処理装置２００は、一例として、リハビリテーションのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【００５８】
［３−１．機能構成］
画像処理装置２００のハードウェア構成は、図２に例示した画像処理装置１００のハードウェア構成と同等であってよい。図９は、画像処理装置２００において実現される論理的機能の構成の一例を示すブロック図である。図９を参照すると、画像処理装置２００は、入力画像取得部１２０、ユーザインタフェース部２２５、運動認識部１３０、運動モデルＤＢ１４０、ユーザＤＢ２５０、モデル生成部２５５、スコア算出部１６０、オブジェクト生成部２７０及び表示制御部１８０を含む。
【００５９】
（１）ユーザインタフェース部
ユーザインタフェース部２２５は、後に説明する運動モデルの生成のために用いられる目標データの入力を受け付けるユーザインタフェースを、ユーザに提供する。目標データとは、例えば、運動の目標とされるパラメータ値と当該目標を達成すべき日付とを含み得る。運動の目標とされるパラメータの種類は、例えば、関節の屈伸運動については屈曲角度、歩行運動については歩行速度など、いかなる種類であってもよい。リハビリテーション運動についての目標データは、運動をする患者により入力されてもよく、又は運動を管理する医師若しくはトレーナにより入力されてもよい。
【００６０】
（２）ユーザＤＢ
ユーザＤＢ２５０は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザＤＢ２５０は、第１の実施形態に関連して説明した属性データ１５２を記憶する。さらに、本実施形態において、ユーザＤＢ２５０は、運動する人物ごとに運動の目標及び実績を保持する運動履歴データ２５４を記憶する。運動の目標は、ユーザインタフェース部２２５を通じて取得される目標データにより与えられる。運動の実績は、運動認識の結果として運動認識部１３０及びスコア算出部１６０から入力され蓄積される。運動履歴データ２５４は、モデル生成部２５５による運動モデルの生成のために用いられる。
【００６１】
（３）モデル生成部
モデル生成部２５５は、運動をする人物の運動の状況に基づいて、有効性スコアの算出のために用いられる運動モデルを生成する。本実施形態において、運動の状況は、ユーザＤＢ２５０により記憶される運動履歴データ２５４により表される。
【００６２】
図１０は、モデル生成部２５５によるモデル生成処理の一例について説明するための説明図である。
【００６３】
図１０の左には、一例としての運動履歴データ２５４が示されている。運動履歴データ２５４は、「人物ＩＤ」、「レコードタイプ」、「日付」、「パラメータ」及び「回数」という５つのデータ項目を有する。「人物ＩＤ」は、運動する人物を一意に識別するための識別子である。「レコードタイプ」は、「目標」又は「実績」といういずれかの値を示す区分値である。「日付」は、当該レコードにより示される目標を達成すべき日付、又は当該レコードにより示される実績が記録された日付を示す。「パラメータ」は、目標として入力されたパラメータ値、又は達成されたパラメータ値を示す。「回数」は、目標として入力された運動の回数、又は達成された運動の回数を示す。
【００６４】
モデル生成部２５５は、このような運動履歴データ２５４を用いて、運動をする人物の運動の目標と実績とに基づいて、図１０の右に例示したような運動モデル２４２を生成する。図１０の例において、運動モデル２４２は、人物ＩＤが「ＵＡ」である人物について、「２０１１年１１月１日」にパラメータ値「Ｐ２４」を目標として「５０回」の運動をすべきことを示している。なお、目標パラメータ値は、過去の実績値と将来の目標値との間の補間によって計算されてもよい。また、目標パラメータ値は、類似する他の人物（例えば、類似する病状を有する他のリハビリテーション患者）についての一般的な統計データを算入して計算されてもよい。
【００６５】
画像処理装置２００の運動認識部１３０は、第１の実施形態と同様に、入力画像取得部１２０からの入力画像に映る人物の運動を認識する。そして、スコア算出部１６０は、モデル生成部２５５により生成される運動モデルからの認識された運動の差分に基づいて、運動認識部１３０により決定される区間ごとに有効性スコアを算出する。
【００６６】
（４）オブジェクト生成部
オブジェクト生成部２７０は、スコア算出部１６０により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、オブジェクト生成部２７０により生成される仮想オブジェクトは、例えば、対象部位の動きをスコアの大きさに応じて誇張して表現するオブジェクトであってよい。
【００６７】
図１１は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図１１を参照すると、肘の関節を対象としてリハビリテーション運動を行うユーザＵａの右腕が出力画像Ｉｍ４に映っている。特徴点位置Ｐ２１は、最終的に右腕の手のひらが到達すべき目標位置である。特徴点位置Ｐ２３は、前回のリハビリテーション運動において右腕の手のひらが到達した位置である。特徴点位置Ｐ２４は、今回のリハビリテーション運動における右腕の手のひらのが到達すべき目標位置である。なお、このような出力画像Ｉｍ４は、運動の開始時に限らず、運動の途中（例えば、運動が一時停止した時）に表示されてもよい。
【００６８】
図１２は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図１２には、画像処理装置２００の表示部１１０により表示され得る一例としての出力画像Ｉｍ５が示されており、出力画像Ｉｍ５には肘のリハビリテーション運動をしているユーザＵａの右腕が映っている。また、出力画像Ｉｍ５に、仮想オブジェクトＡ４が重畳されている。仮想オブジェクトＡ４は、運動の対象部位である右腕の画像を加工することにより生成されており、対象部位の動きをスコアの大きさに応じて誇張して表現している。即ち、図１２の例において、実際の手のひらの到達位置Ｐ２５と仮想オブジェクトＡ４の手のひらの到達位置Ｐ２６とは異なる。到達位置Ｐ２６は、有効性スコアが大きいほど目標位置Ｐ２１に近付くように決定される。このような仮想オブジェクトＡ４をリハビリテーションの患者に見せることで、症状の回復した後の姿を患者に意識させ、リハビリテーション運動に対する意欲を向上させることができる。
【００６９】
［３−２．処理の流れ］
図１３は、本実施形態に係る画像処理装置２００による画像処理の流れの一例を示すフローチャートである。
【００７０】
図１３を参照すると、運動の開始にあたり、モデル生成部２５５は、運動をする人物の運動の目標及び実績に基づいて、運動モデルを生成する（ステップＳ２００）。その後のステップＳ２１０〜ステップＳ２９０の処理は、一連の入力画像の各々について繰り返される。
【００７１】
まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ２１０）。
【００７２】
次に、運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する（ステップＳ２２０）。そして、運動認識部１３０は、入力画像が属するべき時間軸上の区間を決定する（ステップＳ２３０）。
【００７３】
次に、スコア算出部１６０は、当該入力画像について有効性スコアを算出するか否かを判定する（ステップＳ２４０）。ステップＳ２４０において有効性スコアを算出すると決定した場合には、スコア算出部１６０は、当該入力画像に映る人物の運動をモデル生成部２５５により生成された運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する（ステップＳ２５０）。
【００７４】
次に、オブジェクト生成部２７０は、スコア算出部１６０により算出される有効性スコアの大きさに応じて、対象部位の動きを誇張する仮想オブジェクトを生成する（ステップＳ２６０）。また、オブジェクト生成部２７０は、設定に応じて運動モデルを表示すべきか否かを判定し（ステップＳ２７０）、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する（ステップＳ２８０）。
【００７５】
そして、表示制御部１８０は、オブジェクト生成部２７０により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部１１０により表示させる（ステップＳ２９０）。
【００７６】
［３−３．第２の実施形態のまとめ］
ここまで、本開示に係る技術の第２の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが算出され、算出された有効性スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。また、有効性スコアは目標とされる運動モデルからの運動の差分に基づいて算出されため、より目標に近付こうとするユーザの意欲を向上させることができる。
【００７７】
また、本実施形態によれば、運動の目標及び実績に基づいて、運動する人物に適した運動モデルが生成される。従って、個人ごとの運動の管理が求められるような場面において、より運動の状況に即した有効性スコアを算出し、個々の運動を効果的に支援することができる。
【００７８】
また、本実施形態によれば、仮想オブジェクトにより、運動の対象部位の動きが有効性スコアの大きさに応じて誇張して表現される。即ち、リハビリテーション運動などのように、日々の運動の成果が実際の動きとしてはわずかにしか表れないような場面において、その成果がより強調された形でユーザに呈示される。従って、ユーザの運動に対する意欲はより一層向上され得る。
【００７９】
＜４．第３の実施形態＞
本節で説明する第３の実施形態では、運動をする人物の予測される外観上の変化がユーザに呈示される。本実施形態に係る画像処理装置３００は、一例として、シェイプアップのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【００８０】
［４−１．機能構成］
画像処理装置３００のハードウェア構成は、図２に例示した画像処理装置１００のハードウェア構成と同等であってよい。図１４は、画像処理装置３００において実現される論理的機能の構成の一例を示すブロック図である。図１４を参照すると、画像処理装置３００は、入力画像取得部１２０、ユーザインタフェース部３２５、運動認識部１３０、運動モデルＤＢ１４０、ユーザＤＢ３５０、スコア算出部３６０、オブジェクト生成部３７０及び表示制御部１８０を含む。
【００８１】
（１）ユーザインタフェース部
ユーザインタフェース部３２５は、後に説明する有効性スコアの体型スコアへの変換のために用いられる生活履歴データの入力を受け付けるユーザインタフェースを、ユーザに提供する。生活履歴データとは、例えば、ユーザにより所定の期間（１日又は１週間など）ごとに入力される、当該ユーザによる食事量、外出時の運動量及び睡眠量などを含み得る。これらデータは、画像処理装置３００の入力部１０６を介して入力されてもよく、又は図１Ｂに例示したような端末装置１０において入力され通信部１１２を介して受信されてもよい。
【００８２】
（２）ユーザＤＢ
ユーザＤＢ３５０は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザＤＢ３５０は、第１の実施形態に関連して説明した属性データ１５２を記憶する。さらに、本実施形態において、ユーザＤＢ３５０は、ユーザインタフェース部３２５を通じて取得される上述した生活履歴データ３５６を記憶する。
【００８３】
図１５を参照すると、ユーザＤＢ３５０により記憶される一例としての生活履歴データ３５６が示されている。生活履歴データ３５６は、「人物ＩＤ」、「日付」、「食事量」、「運動量」及び「睡眠量」という５つのデータ項目を有する。「人物ＩＤ」は、運動する人物を一意に識別するための識別子である。「日付」は、当該レコードにより示される生活履歴に関連付けられる日付を示す。「食事量」は、人物ＩＤにより識別される人物が対応する期間において摂取した食事の量を示す。「運動量」は、当該人物が対応する期間において外出時などに行った運動の量を示す。「睡眠量」は、当該人物が対応する期間において眠った時間量を示す。
【００８４】
（３）スコア算出部
スコア算出部３６０は、第１の実施形態に係るスコア算出部１６０と同様に、運動認識部１３０により認識される運動の有効性を示すスコアを算出する。より具体的には、スコア算出部３６０は、運動認識部１３０により運動が認識されると、図６Ａ〜図６Ｄを用いて説明したいずれかの手法（又は他の手法）に従い、認識された運動の運動モデルからの差分に基づいて有効性スコアを算出する。さらに、本実施形態において、スコア算出部３６０は、運動する人物についての生活履歴データ３５６をユーザＤＢ３５０から取得し、取得したデータを用いて有効性スコアを体型スコアに変換する。体型スコアは、ここでは一例として、その値が大きいほど人物が太っていることを表すものとする。体型スコアは、少なくとも次の基準Ｃ１に従って算出される。また、基準Ｃ２〜基準Ｃ４のうちの１つ以上が、基準Ｃ１と組み合されてよい。
−基準Ｃ１：有効性スコアがより大きいほど体型スコアはより小さい
−基準Ｃ２：一定期間内の食事量がより多いほど体型スコアはより大きい
−基準Ｃ３：一定期間内の運動量がより多いほど体型スコアはより小さい
−基準Ｃ４：一定期間内の睡眠量がより多いほど体型スコアはより大きい
スコア算出部３６０は、このように体型スコアを区間ごとに算出し、算出した体型スコアをオブジェクト生成部３７０へ出力する。
【００８５】
（４）オブジェクト生成部
オブジェクト生成部３７０は、有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、実質的には、オブジェクト生成部３７０は、有効性スコアから変換された体型スコアの値に応じて、入力画像に重畳されるべき仮想オブジェクトを生成する。オブジェクト生成部３７０により生成される仮想オブジェクトは、例えば、現在行われている運動が継続される場合の、将来の対象部位の外観を表現するオブジェクトであってよい。
【００８６】
図１６は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図１６を参照すると、運動時間長により区別されるコースと未来時点とをユーザに選択させるためのユーザインタフェースの画像Ｉｍ６が示されている。ユーザは、運動の開始時にこれらコースと未来時点とを選択する。ここでユーザにより選択される未来時点は、オブジェクト生成部３７０が将来の対象部位の外観を予測する際の時間的基準となる。
【００８７】
図１７は、オブジェクト生成部３７０によるオブジェクト生成処理の一例について説明するための説明図である。図１７の左上には、運動する人物であるユーザＵａのシルエットが示されている。ここで、運動の対象部位が胴体であるものとする。オブジェクト生成部３７０は、ユーザにより選択されたコースに対応する運動時間長、未来時点までの経過時間長及び運動の最中にスコア算出部３６０により算出される体型スコアに応じて、選択された未来時点における対象部位の外観を予測する。例えば、同じコースの運動を未来時点まで１日１回継続した場合の対象部位の外観が予測され得る。但し、ここでは、予測される体型を運動の状況に応じて目に見える形で変化させることが重要であって、予測の正確さは重要でない。従って、予測は厳密なものでなくてよい。図１７に示した仮想オブジェクトＡ５１は、「１０分コース」及び「１ヶ月後」が選択された場合に生成され得る、ユーザＵａのやや細くなった胴体を表現するオブジェクトである。仮想オブジェクトＡ５２は、「３０分コース」及び「６ヶ月後」が選択された場合に生成され得る、ユーザＵａのさらに引き締まった胴体を表現するオブジェクトである。さらに、オブジェクト生成部３７０は、運動が行われない場合の将来の対象部位の外観を表現するオブジェクトを生成してもよい。図１７に示した仮想オブジェクトＡ５９は、運動が行われないと仮定した場合の、ユーザＵａの太った胴体を表現するオブジェクトである。
【００８８】
図１８は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図１８には、画像処理装置３００の表示部１１０により表示され得る一例としての出力画像Ｉｍ７が示されており、出力画像Ｉｍ７にはシェイプアップ運動をしているユーザＵａが映っている。シェイプアップ運動の開始に際して、「１０分コース」及び「１ヶ月後」が選択されている。
【００８９】
出力画像Ｉｍ７において、ユーザＵａの胴体には、図１７に例示した仮想オブジェクトＡ５１が重畳されている。さらに、ユーザＵａの頭部には、仮想オブジェクトＡ６１が重畳されている。仮想オブジェクトＡ５１及びＡ６１は、選択された未来時点においてやや細くなったユーザＵａの対象部位をそれぞれ表現している。図には示していないものの、運動が行われないと仮定した場合に予測される外観を表現する仮想オブジェクト（図１７に例示した仮想オブジェクトＡ５９など）が、ユーザＵａの隣にさらに重畳されてもよい。これら仮想オブジェクトをユーザに見せることで、期待される運動の成果をユーザに意識させ、シェイプアップ運動を継続しようとする動機付けをユーザに与えることができる。
【００９０】
［４−２．処理の流れ］
図１９は、本実施形態に係る画像処理装置３００による画像処理の流れの一例を示すフローチャートである。
【００９１】
図１９を参照すると、運動の開始にあたり、スコア算出部３６０は、ユーザＤＢ３５０内に蓄積されている生活履歴データ３５６を取得する（ステップＳ３００）。また、スコア算出部３６０は、運動モデルＤＢ１４０により記憶されているいずれかの運動モデルを取得する（ステップＳ３０４）。また、オブジェクト生成部３７０は、ユーザインタフェース部３２５を通じて、ユーザにより選択される運動のコース及び未来時点を識別する（ステップＳ３０８）。その後のステップＳ３１０〜ステップＳ３９０の処理は、一連の入力画像の各々について繰り返される。
【００９２】
まず、入力画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ３１０）。
【００９３】
次に、運動認識部１３０は、入力画像取得部１２０からの入力画像に映る人物の運動を認識する（ステップＳ３２０）。そして、運動認識部１３０は、入力画像が属するべき時間軸上の区間を決定する（ステップＳ３３０）。
【００９４】
次に、スコア算出部３６０は、当該入力画像についてスコアを算出するか否かを判定する（ステップＳ３４０）。ステップＳ３４０においてスコアを算出すると決定した場合には、スコア算出部３６０は、当該入力画像に映る人物の運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する（ステップＳ３５０）。さらに、スコア算出部３６０は、生活履歴データ３５６を用いて、有効性スコアを体型スコアに変換する（ステップＳ３５５）。
【００９５】
次に、オブジェクト生成部３７０は、スコア算出部３６０から入力される体型スコア、並びにユーザにより選択されたコース及び未来時点に応じて、将来の対象部位の外観を表現する仮想オブジェクトを生成する（ステップＳ３６０）。また、オブジェクト生成部３７０は、設定に応じて運動モデルを表示すべきか否かを判定し（ステップＳ３７０）、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する（ステップＳ３８０）。
【００９６】
そして、表示制御部１８０は、オブジェクト生成部３７０により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部１１０により表示させる（ステップＳ３９０）。
【００９７】
［４−３．第３の実施形態のまとめ］
ここまで、本開示に係る技術の第３の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが体型スコアに変換され、体型スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを、ユーザの仮想的な体型という目に見える形でユーザに呈示することができる。
【００９８】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位の外観上の変化を体型スコアの大きさに応じて誇張して表現する。そして、運動が継続される場合に予測される将来の対象部位の外観がユーザに呈示される。従って、将来において期待される運動の成果をユーザに明確に意識させ、運動を継続しようとする動機付けをユーザに与えることができる。
【００９９】
ここまで、本開示に係る技術の３つの実施形態について詳細に説明した。これら実施形態の様々な特徴は、いかなる形で組合せられてもよい。例えば、第１の実施形態及び第３の実施形態の応用において、運動の目標及び実績に基づいて運動する人物に適した運動モデルが生成されてもよい。また、例えば、第１の実施形態及び第２の実施形態の応用において、生活履歴データを算入して有効性スコアが算出されてもよい。また、様々な運動の状況に応じて、有効性スコアはどのように修正され又は他の種類のスコアへ変換されてもよい。
【０１００】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
【０１０１】
また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図２に例示した通信部１１２を介して装置間で送信され又は受信され得る。
【０１０２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
（２）
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
前記（１）に記載の画像処理装置。
（３）
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、前記（２）に記載の画像処理装置。
（４）
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、前記（３）に記載の画像処理装置。
（５）
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、前記（３）に記載の画像処理装置。
（６）
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、前記（６）に記載の画像処理装置。
（８）
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、前記（７）に記載の画像処理装置。
（９）
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、前記（６）に記載の画像処理装置。
（１０）
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、前記（６）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、前記（２）〜（９）のいずれか１項に記載の画像処理装置。
（１２）
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、前記（２）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、前記（２）〜（１１）のいずれか１項に記載の画像処理装置。
（１４）
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（２）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
（１６）
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【０１０４】
１００，２００，３００ 画像処理装置
１２０ 入力画像取得部
２２５，３２５ ユーザインタフェース部
１３０ 運動認識部
２５５ モデル生成部
１６０，３６０ スコア算出部
１７０，２７０，３７０ オブジェクト生成部
１８０ 表示制御部
【特許請求の範囲】
【請求項１】
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
【請求項２】
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
請求項１に記載の画像処理装置。
【請求項３】
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、請求項２に記載の画像処理装置。
【請求項４】
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、請求項３に記載の画像処理装置。
【請求項６】
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、請求項２に記載の画像処理装置。
【請求項７】
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、請求項６に記載の画像処理装置。
【請求項８】
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、請求項７に記載の画像処理装置。
【請求項９】
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、請求項６に記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、請求項６に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、請求項２に記載の画像処理装置。
【請求項１２】
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、請求項２に記載の画像処理装置。
【請求項１３】
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、請求項２に記載の画像処理装置。
【請求項１４】
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項２に記載の画像処理装置。
【請求項１５】
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【請求項１】
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
【請求項２】
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
請求項１に記載の画像処理装置。
【請求項３】
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、請求項２に記載の画像処理装置。
【請求項４】
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、請求項３に記載の画像処理装置。
【請求項６】
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、請求項２に記載の画像処理装置。
【請求項７】
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、請求項６に記載の画像処理装置。
【請求項８】
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、請求項７に記載の画像処理装置。
【請求項９】
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、請求項６に記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、請求項６に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、請求項２に記載の画像処理装置。
【請求項１２】
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、請求項２に記載の画像処理装置。
【請求項１３】
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、請求項２に記載の画像処理装置。
【請求項１４】
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項２に記載の画像処理装置。
【請求項１５】
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
【請求項１６】
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−１０３０１０（Ｐ２０１３−１０３０１０Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９７５１（Ｐ２０１１−２４９７５１）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]