画像処理装置、画像処理方法及びプログラム
【課題】運動の有効性に関するフィードバックを目に見える形でユーザに呈示することのできる仕組みを提供すること。
【解決手段】入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置を提供する。前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備えてもよく、前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳してもよい。
【解決手段】入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置を提供する。前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備えてもよく、前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳してもよい。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
今日、健康の維持若しくは増進、又は怪我からの回復などを目的とする運動が、日常的に行われている。筋力トレーニング、リハビリテーション及びシェイプアップなどは、そのような運動の一例である。下記特許文献1は、教師の運動の画像シーケンスと学生の運動の画像シーケンスとをディスプレイ上に並列的に表示する技術を提案している。かかる技術によれば、学生としてのユーザが教師の運動を模倣することが容易となり、ユーザの運動能力がより効率的に向上するものと期待される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2000−504854号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、運動を効果的なものとするためは、一般的に、運動をする人物へ運動の有効性に関する十分なフィードバックを行うことが重要であると言われている。上記特許文献1により提案されている技術は、目標とすべき運動を単に呈示するだけであって、十分なフィードバックをユーザに与えるものではない。例えば、目標に対して自分の運動がどの程度近付いているか又は健康がどれだけ向上したかが目に見える形で呈示されれば、運動を継続しようとする意欲が引き出されると共に、自らの運動を改善してより効果的な運動をしようとする動機付けにもなる。
【0005】
従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【0006】
本開示によれば、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置が提供される。
【0007】
また、本開示によれば、入力画像に映る人物の運動を認識することと、認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、を含む画像処理方法が提供される。
【0008】
また、本開示によれば、画像処理装置を制御するコンピュータを、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
本開示に係る技術によれば、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【図面の簡単な説明】
【0010】
【図1A】本開示に係る画像処理装置の概要について説明するための第1の説明図である。
【図1B】本開示に係る画像処理装置の概要について説明するための第2の説明図である。
【図1C】本開示に係る画像処理装置の概要について説明するための第3の説明図である。
【図2】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図3】第1の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図4】図3に例示した運動認識部による運動認識処理の一例について説明するための説明図である。
【図5】図3に例示したスコア算出部により算出される有効性スコアの一例について説明するための説明図である。
【図6A】有効性スコアを算出するための第1の手法について説明するための説明図である。
【図6B】有効性スコアを算出するための第2の手法について説明するための説明図である。
【図6C】有効性スコアを算出するための第3の手法について説明するための説明図である。
【図6D】有効性スコアを算出するための第4の手法について説明するための説明図である。
【図7A】第1の実施形態において表示される仮想オブジェクトの第1の例について説明するための説明図である。
【図7B】第1の実施形態において表示される仮想オブジェクトの第2の例について説明するための説明図である。
【図7C】第1の実施形態において表示される仮想オブジェクトの第3の例について説明するための説明図である。
【図8】第1の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図9】第2の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図10】図9に例示したモデル生成部によるモデル生成処理の一例について説明するための説明図である。
【図11】第2の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図12】第2の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図13】第2の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図14】第3の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図15】生活履歴データの一例を示す説明図である。
【図16】第3の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図17】図14に例示したオブジェクト生成部によるオブジェクト生成処理の一例について説明するための説明図である。
【図18】第3の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図19】第3の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、以下の順序で説明を行う。
1.概要
2.第1の実施形態
2−1.ハードウェア構成
2−2.機能構成
2−3.処理の流れ
2−4.第1の実施形態のまとめ
3.第2の実施形態
3−1.機能構成
3−2.処理の流れ
3−3.第2の実施形態のまとめ
4.第3の実施形態
4−1.機能構成
4−2.処理の流れ
4−3.第3の実施形態のまとめ
【0013】
<1.概要>
図1A〜図1Cは、本開示に係る画像処理装置の概要について説明するための説明図である。図1Aを参照すると、一例としての画像処理装置100aが示されている。画像処理装置100aは、運動する人物に向けられるレンズを有する撮像部102と、画像を表示する表示部110とを備える。図1Aの例では、ユーザUaが画像処理装置100aの前に立っており、撮像部102により撮像された画像が表示部110により表示されている。画像処理装置100aは、このような撮像画像を入力画像として取得し、後に詳細に説明するような運動を支援するための様々な画像処理を実行する。ユーザUaは、このような状況下で、例えば筋力トレーニング、リハビリテーション又はシェイプアップなどの運動を行う。
【0014】
図1Bの例では、画像処理装置100aは、通信部112をさらに備える。通信部112は、例えばユーザUaにより操作される端末装置10と通信する。画像処理装置100aは、入力画像について実行される画像処理において、このような通信接続を介して取得される追加的なデータをも活用してよい。
【0015】
図1A及び図1Bでは、画像処理装置100aの一例としてデジタルテレビジョン装置を示している。しかしながら、画像処理装置100aは、かかる例に限定されない。画像処理装置100aは、例えば、デスクトップPC、タブレットPC、ノートブックPC、スマートフォン、デジタルカメラ又はゲーム端末などの任意の装置であってよい。また、画像処理装置100aの表示部110の画面は、その表面にハーフミラーが配設された画面であってもよい。その場合には、ユーザUaは、運動の最中にハーフミラーにより反射される自らの姿を見ると共に、表示部110により部分的に表示される画像をも同時に見ることができる。
【0016】
図1Cを参照すると、別の例としての画像処理装置100bが示されている。画像処理装置100bは、ヘッドマウントディスプレイを有するウェアラブル装置である。画像処理装置100bは、ユーザUbにより装着されている。画像処理装置100bは、ユーザUbが運動する場合に、ユーザUbの体の一部(例えば腕など)を撮像してもよい。その代わりに、画像処理装置100bは、運動するユーザUaを撮像してもよい。画像処理装置100bにより撮像され処理された画像は、ヘッドマウントディスプレイを介してユーザUbにより見られる。画像処理装置100bのヘッドマウントディスプレイは、シースルー型であっても非シースルー型であってもよい。
【0017】
次節より説明する本開示に係る技術の3つの実施形態では、これらのような装置により、運動の有効性に関するフィードバックが目に見える形でユーザに呈示される。なお、これ以降の説明では、画像処理装置100a及び100bを画像処理装置100と総称する。
【0018】
<2.第1の実施形態>
[2−1.ハードウェア構成]
図2は、第1の実施形態に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。図2を参照すると、画像処理装置100は、撮像部102、センサ部104、入力部106、記憶部108、表示部110、通信部112、バス116及び制御部118を備える。
【0019】
(1)撮像部
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部102は、必ずしも画像処理装置100の一部でなくてもよい。例えば、画像処理装置100と有線又は無線で接続される撮像装置が撮像部102として扱われてもよい。
【0020】
(2)センサ部
センサ部104は、画像処理装置100において実行される処理を支援するためのセンサデータを生成するセンサモジュールである。例えば、センサ部104は、ユーザの皮膚に貼られる電極を介してユーザの筋肉の動きを検知する筋電位センサを含んでもよい。また、センサ部104は、ユーザの体表の温度を計測する赤外線温度センサを含んでもよい。また、センサ部104は、ユーザの特定の部位に加わる加速度を計測する加速度センサを含んでもよい。
【0021】
(3)入力部
入力部106は、ユーザが画像処理装置100を操作し又は画像処理装置100へ情報を入力するために使用される入力デバイスである。入力部106は、例えば、表示部110の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部106は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部106は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【0022】
(4)記憶部
記憶部108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置100による処理のためのプログラム及びデータを記憶する。記憶部108により記憶されるデータは、例えば、撮像部102により生成される撮像画像データ、センサ部104により生成されるセンサデータ、及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部108により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
【0023】
(5)表示部
表示部110は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本実施形態において、表示部110は、ユーザの運動を支援するための仮想オブジェクトを入力画像に重畳するために使用され得る。なお、表示部110もまた、必ずしも画像処理装置100の一部でなくてもよい。例えば、画像処理装置100と有線又は無線で接続される表示装置が表示部110として扱われてもよい。
【0024】
(6)通信部
通信部112は、画像処理装置100による他の装置との間の通信を仲介する通信インタフェースである。通信部112は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【0025】
(7)バス
バス116は、撮像部102、センサ部104、入力部106、記憶部108、表示部110、通信部112及び制御部118を相互に接続する。
【0026】
(8)制御部
制御部118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部118は、記憶部108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置100の様々な機能を動作させる。
【0027】
[2−2.機能構成]
図3は、図2に示した画像処理装置100の記憶部108及び制御部118により実現される論理的機能の構成の一例を示すブロック図である。図3を参照すると、画像処理装置100は、入力画像取得部120、運動認識部130、運動モデルデータベース(DB)140、ユーザDB150、スコア算出部160、オブジェクト生成部170及び表示制御部180を含む。
【0028】
(1)入力画像取得部
入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する。入力画像には、図1A〜図1Cに例示したユーザUa又はUbなどの、運動する人物が映される。入力画像取得部120により取得される一連の入力画像は、典型的には動画を構成する。入力画像取得部120は、取得した入力画像を、運動認識部130及び表示制御部180へ順次出力する。
【0029】
(2)運動認識部
運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する。運動認識部130により認識される運動は、関節の屈伸運動(例えば、腹筋運動若しくはスクワット運動)、ランニング、ダンス、ヨガ、エアロビクス又はスポーツの動作(例えば、ゴルフ若しくはテニスのスイング)など、いかなる運動であってもよい。運動認識部130は、例えば、公知のジェスチャ認識技術に従って、入力画像に映る人物の運動を認識する。また、運動認識部130は、加速度センサからのセンサデータを用いて、入力画像に映る人物の運動を認識してもよい。
【0030】
図4は、運動認識部130による運動認識処理の一例について説明するための説明図である。図4を参照すると、一連の入力画像に含まれる7つのフレームF01〜F07が、時間軸に沿って示されている。フレームF01〜F04には、これらフレームに映る人物の1回の腹筋運動が映っている。次の回の腹筋運動は、フレームF05以降に映っている。運動認識部130は、このような1回の腹筋運動を1単位のジェスチャとして認識し、認識した各単位のジェスチャに対応する時間軸上の区間を決定する。図4の例では、フレームF01〜F04に対応する区間SEG01及びフレームF05〜F07に対応する区間SEG02が決定されている。後に説明するスコア算出部160は、このように決定される区間ごとに、運動認識部130により認識される運動の有効性を示すスコアを算出する。
【0031】
(3)運動モデルDB140
運動モデルDB140は、目標とされる運動をモデル化したデータである運動モデルを蓄積しているデータベースである。運動モデルは、例えば、運動する人物を映した動画データ、運動する人物の特徴点位置の集合から構成される骨格データ、若しくは目標とされる運動の回数及び強さなどのパラメータを含む数値データ、又はこれらの組合せであってよい。本実施形態において、運動モデルは、教師となる人物の運動を予めモデル化したデータである。年齢及び性別などの属性が互いに異なる教師の運動をモデル化した複数の運動モデルから、ユーザに適した運動モデルが選択可能であってもよい。他の実施形態において、運動モデルは、個々のユーザの運動の履歴及び目標に応じて適応的に生成される。
【0032】
(4)ユーザDB150
ユーザDB150は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。本実施形態において、ユーザDB150は、ユーザの年齢及び性別などの基本属性と身長、座高、胸囲及び腹囲などの体型属性とを含み得る属性データ152を記憶する。
【0033】
(5)スコア算出部
スコア算出部160は、運動認識部130により認識される運動の有効性を示すスコアを算出する。より具体的には、本実施形態において、スコア算出部160は、まず、運動モデルDB140により記憶されているいずれかの運動モデルを取得する。スコア算出部160は、複数の運動モデルから運動する人物の基本属性に適した運動モデルを選択的に取得してもよい。また、スコア算出部160は、取得した運動モデルを、運動する人物の体型属性に応じて補正してもよい(例えば、教師の身長が運動する人物の身長に等しくなるように正規化する、など)。そして、スコア算出部160は、運動認識部130により運動が認識されると、運動認識部130により決定される区間ごとに、認識された運動の運動モデルからの差分に基づいて、有効性スコアを算出する。
【0034】
図5は、スコア算出部160により算出される有効性スコアの一例について説明するための説明図である。図5を参照すると、有効性スコアの算出結果が表で示されている。図5の例において、区間SEG01及びSEG02について算出された有効性スコアは、共に4である。区間SEG03について算出された有効性スコアは3である。区間SEG10について算出された有効性スコアは2である。図5の例では、有効性スコアは、1から5までの5段階の値を示し、その値がより大きいほど運動はより有効であるものとする。しかしながら、かかる例に限定されず、他の形式で定義される有効性スコアが利用されてもよい。以下、有効性スコアを算出するための例示的な4つの手法について、図6A〜図6Dを用いて説明する。
【0035】
(5−1)第1の手法
図6Aは、有効性スコアを算出するための第1の手法について説明するための説明図である。図中左上には、動画データとしての運動モデルMaに映る教師のシルエット(例えば、背景からの差分)が示されている。図中右上には、入力画像から抽出されるユーザUaのシルエットが示されている。スコア算出部160は、これら2つのシルエットを重ね合わせ、これらシルエットに占める重複領域の割合が大きいほど、有効性スコアの値を大きくする。
【0036】
(5−2)第2の手法
図6Bは、有効性スコアを算出するための第2の手法について説明するための説明図である。図中左上には、骨格データとしての運動モデルMbに含まれる教師の骨格を構成する3つの特徴点位置Pm1、Pm2及びPm3が示されている。図中右上には、入力画像から抽出されるユーザUaの骨格を構成する3つの特徴点位置P11、P12及びP13が示されている。特徴点位置Pm1及びP11は頭、特徴点位置Pm2及びP12は肩、特徴点位置Pm3及びP13は股関節にそれぞれ対応し得る。スコア算出部160は、例えば、位置Pm3及びP13が重なるようにこれら特徴点位置を調整した上で、位置Pm1からの位置P11の変位と位置Pm2からの位置P12の変位との和を計算し、算出された和が小さいほど、有効性スコアの値を大きくする。
【0037】
(5−3)第3の手法
図6Cは、有効性スコアを算出するための第3の手法について説明するための説明図である。図6Cには、図6Bに例示した骨格データとしての運動モデルMb、及び入力画像から抽出されるユーザUaの骨格が再び示されている。スコア算出部160は、例えば、これら骨格データから、教師の股関節の角度Rm及びユーザUaの股関節の角度Ruを計算し、角度差Ru−Rmを算出する。そして、スコア算出部160は、算出された角度差が小さいほど、有効性スコアの値を大きくする。
【0038】
上述した第1の手法〜第3の手法は、各区間に対応する全てのフレームに適用されてもよく、又はいずれか1つ若しくは複数のフレームに適用されてもよい。例えば、スコア算出部160は、各区間に対応するフレームから1つ又は複数の特徴的なフレーム(例えば、運動の最中の所定のポーズが映るフレーム)を選択し、選択したフレームについて算出されるスコア(の合計)を各区間の有効性スコアとしてもよい。
【0039】
(5−4)第4の手法
図6Dは、有効性スコアを算出するための第4の手法について説明するための説明図である。図6Dの上段には、運動認識部130による運動認識結果として、1単位の運動の所要時間及びセンサデータに基づく統計値である最大加速度が、ユーザUaについて区間ごとに示されている。最大加速度は、運動の有効性を補助的に示すパラメータである。図6Dの下段には、教師の運動についての同様のデータである運動モデルMcが示されている。スコア算出部160は、このような運動認識結果と運動モデルとを区間ごとに比較し、認識された運動についての値が運動モデルの値に近いほど、有効性スコアの値を大きくする。図6Dの例では、区間SEG01について有効性スコアは4、区間SEG02及びSEG03について有効性スコアは3、区間SEG10について有効性スコアは2、というようにそれぞれ算出されている。
【0040】
スコア算出部160は、上述した4つの手法のいずれか1つのみを用いてもよく、又は重み付け加算などの演算を通じて複数の手法を組合せてもよい。スコア算出部160は、このように運動の有効性を示す有効性スコアを区間ごとに算出し、算出した有効性スコアをオブジェクト生成部170へ出力する。
【0041】
(6)オブジェクト生成部
オブジェクト生成部170は、認識される運動の有効性に応じて異なる仮想オブジェクトを生成する。オブジェクト生成部170により生成される仮想オブジェクトは、典型的には、スコア算出部160により算出される有効性スコアの大きさを表現するオブジェクトであってよい。仮想オブジェクトの生成の基礎とされる有効性スコアの大きさとは、各区間について算出される有効性スコアの大きさ若しくは図5に例示したようなその積算値、又はそれらの組合せであってよい。本実施形態において、オブジェクト生成部170により生成される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位とは、例えば腹筋運動については腹部、スクワット運動については大腿部などに相当し得る。運動の対象部位は、運動の種類と関連付けて予め定義されていてもよく、又は赤外線温度センサからのセンサデータが示す温度の高い部位のように動的に判定されてもよい。仮想オブジェクトは、運動の対象部位を様々な手法で強調してよい。例えば、対象部位の周囲に配置される炎又は光などを模した仮想オブジェクトの色、数又は大きさによって、有効性スコアの大きさが表現されてもよい。また、対象部位の外観上の変化が、有効性スコアの大きさに応じて誇張して表現されてもよい。オブジェクト生成部170により生成され得る仮想オブジェクトのいくつかの例について、後にさらに説明する。
【0042】
(7)表示制御部
表示制御部180は、オブジェクト生成部170により生成される仮想オブジェクトを、入力画像取得部120からの入力画像に重畳することにより、ユーザに呈示する。表示制御部180は、対象部位が映っている入力画像内の位置に、当該対象部位を強調する仮想オブジェクトを重畳してもよい。その際、表示制御部180は、仮想オブジェクトを半透明に設定することにより、運動する人物の様子及び仮想オブジェクトの双方をユーザにとって視認可能としてもよい。その代わりに、表示制御部180は、入力画像内で運動する人物の周辺に仮想オブジェクトを重畳してもよい。また、表示制御部180は、選択された運動モデルを表現する仮想オブジェクトをも入力画像に重畳してもよい。以下、表示制御部180により表示される仮想オブジェクトの3つの例について、図7A〜図7Cを用いて説明する。
【0043】
(7−1)第1の例
図7Aは、本実施形態において表示される仮想オブジェクトの第1の例について説明するための説明図である。図7Aには、表示部110により表示され得る一例としての出力画像Im1が示されており、出力画像Im1には腹筋運動をしているユーザUaが映っている。また、出力画像Im1において、腹筋運動の対象部位であるユーザUaの腹部には、仮想オブジェクトA1が重畳されている。仮想オブジェクトA1は、運動の対象部位を強調すると共に、スコア算出部160により算出される有効性スコアの大きさをその色によって表現するオブジェクトである。図7Aの例では、仮想オブジェクトA1の中心部分の色がより高い有効性スコアを表現する色に設定されている。ユーザUaは、仮想オブジェクトA1を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。なお、出力画像Im1には、運動モデルMaを表現する仮想オブジェクトもまた重畳されている。
【0044】
(7−2)第2の例
図7Bは、本実施形態において表示される仮想オブジェクトの第2の例について説明するための説明図である。図7Bには、表示部110により表示され得る一例としての出力画像Im2が示されており、出力画像Im2には腹筋運動をしているユーザUaが映っている。また、出力画像Im2において、腹筋運動の対象部位であるユーザUaの腹部には、仮想オブジェクトA2が重畳されている。仮想オブジェクトA2は、運動の対象部位を強調すると共に、当該対象部位の外観上の変化を有効性スコアの大きさに応じて誇張して表現するオブジェクトである。図7Bの例では、ユーザUaの腹囲の減少が有効性スコアの大きさに応じて誇張されている。ユーザUaは、仮想オブジェクトA2を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを知ることができる。また、より目標に近付いた自らの姿を見ることで、ユーザUaの運動に対する意欲はより向上され得る。
【0045】
(7−2)第3の例
図7Cは、本実施形態において表示される仮想オブジェクトの第3の例について説明するための説明図である。図7Cには、表示部110により表示され得る一例としての出力画像Im3が示されており、出力画像Im3には腹筋運動をしているユーザUaが映っている。また、出力画像Im3において、ユーザUaの隣りに、ユーザUaを表現する仮想オブジェクトA3が重畳されている。仮想オブジェクトA3の腹部には、図7Aに例示した仮想オブジェクトA1がさらに重畳されている。図7Cの例では、ユーザUa自身の画像が仮想オブジェクトによって隠されないため、ユーザUaは、自らの運動を明瞭に視認しながら、運動の効果をも並列的に知ることができる。
【0046】
[2−3.処理の流れ]
図8は、本実施形態に係る画像処理装置100による画像処理の流れの一例を示すフローチャートである。
【0047】
図8を参照すると、運動の開始にあたり、スコア算出部160は、運動モデルDB140により記憶されているいずれかの運動モデルを取得する(ステップS100)。その後のステップS110〜ステップS190の処理は、一連の入力画像の各々について繰り返される。
【0048】
まず、入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS110)。
【0049】
次に、運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する(ステップS120)。そして、運動認識部130は、入力画像が属するべき時間軸上の区間を決定する(ステップS130)。例えば、運動認識部130は、新たな単位のジェスチャが開始されたことを認識した場合には、当該入力画像は新たな区間に属すると決定し得る。一方、運動認識部130は、前の入力画像からジェスチャが続けられていることを認識した場合には、当該入力画像は前の入力画像と同じ区間に属すると決定し得る。
【0050】
次に、スコア算出部160は、当該入力画像について有効性スコアを算出するか否かを判定する(ステップS140)。例えば、所定のポーズが映るフレームについてのみ有効性スコアが算出される場合において、当該入力画像内で所定のポーズが映っていない場合には、当該入力画像についての有効性スコアの算出はスキップされ得る。ステップS140において有効性スコアを算出すると決定した場合には、スコア算出部160は、運動認識部130により認識された運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する(ステップS150)。
【0051】
次に、オブジェクト生成部170は、スコア算出部160により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する(ステップS160)。ここで生成される仮想オブジェクトは、図7A〜図7Cに例示した仮想オブジェクトA1〜A3のようなオブジェクトであってよい。また、オブジェクト生成部170は、設定に応じて運動モデルを表示すべきか否かを判定し(ステップS170)、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する(ステップS180)。
【0052】
そして、表示制御部180は、オブジェクト生成部170により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部110により表示させる(ステップS190)。
【0053】
[2−4.第1の実施形態のまとめ]
ここまで、本開示に係る技術の第1の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性に応じて異なる仮想オブジェクトが生成され、生成された仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【0054】
また、本実施形態によれば、運動の有効性は、有効性スコアとして定量的に算出される。有効性スコアは、運動する人物により目標とされる運動モデルからの運動の差分に基づいて算出され得る。従って、目標に対する達成の度合いに応じて有効性スコアの大きさが変化するため、より目標に近付こうとするユーザの意欲を向上させることができる。
【0055】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位が、有効性スコアの大きさに応じた手法で強調されることから、ユーザは、運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。
【0056】
なお、運動をする人物と画像処理装置100からの出力画像を見るユーザとは、必ずしも同じ人物でなくてよい。例えば、画像処理装置100により提供される仕組みを応用し、複数のユーザ間でビデオチャットのように画像を交換して互いの運動の効果を確認し合うことにより、ユーザ間の競争意欲を引き出して運動の効果をさらに高めることができる。
【0057】
<3.第2の実施形態>
本節で説明する第2の実施形態では、運動をする人物の状況に適した運動モデルが生成される。本実施形態に係る画像処理装置200は、一例として、リハビリテーションのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【0058】
[3−1.機能構成]
画像処理装置200のハードウェア構成は、図2に例示した画像処理装置100のハードウェア構成と同等であってよい。図9は、画像処理装置200において実現される論理的機能の構成の一例を示すブロック図である。図9を参照すると、画像処理装置200は、入力画像取得部120、ユーザインタフェース部225、運動認識部130、運動モデルDB140、ユーザDB250、モデル生成部255、スコア算出部160、オブジェクト生成部270及び表示制御部180を含む。
【0059】
(1)ユーザインタフェース部
ユーザインタフェース部225は、後に説明する運動モデルの生成のために用いられる目標データの入力を受け付けるユーザインタフェースを、ユーザに提供する。目標データとは、例えば、運動の目標とされるパラメータ値と当該目標を達成すべき日付とを含み得る。運動の目標とされるパラメータの種類は、例えば、関節の屈伸運動については屈曲角度、歩行運動については歩行速度など、いかなる種類であってもよい。リハビリテーション運動についての目標データは、運動をする患者により入力されてもよく、又は運動を管理する医師若しくはトレーナにより入力されてもよい。
【0060】
(2)ユーザDB
ユーザDB250は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザDB250は、第1の実施形態に関連して説明した属性データ152を記憶する。さらに、本実施形態において、ユーザDB250は、運動する人物ごとに運動の目標及び実績を保持する運動履歴データ254を記憶する。運動の目標は、ユーザインタフェース部225を通じて取得される目標データにより与えられる。運動の実績は、運動認識の結果として運動認識部130及びスコア算出部160から入力され蓄積される。運動履歴データ254は、モデル生成部255による運動モデルの生成のために用いられる。
【0061】
(3)モデル生成部
モデル生成部255は、運動をする人物の運動の状況に基づいて、有効性スコアの算出のために用いられる運動モデルを生成する。本実施形態において、運動の状況は、ユーザDB250により記憶される運動履歴データ254により表される。
【0062】
図10は、モデル生成部255によるモデル生成処理の一例について説明するための説明図である。
【0063】
図10の左には、一例としての運動履歴データ254が示されている。運動履歴データ254は、「人物ID」、「レコードタイプ」、「日付」、「パラメータ」及び「回数」という5つのデータ項目を有する。「人物ID」は、運動する人物を一意に識別するための識別子である。「レコードタイプ」は、「目標」又は「実績」といういずれかの値を示す区分値である。「日付」は、当該レコードにより示される目標を達成すべき日付、又は当該レコードにより示される実績が記録された日付を示す。「パラメータ」は、目標として入力されたパラメータ値、又は達成されたパラメータ値を示す。「回数」は、目標として入力された運動の回数、又は達成された運動の回数を示す。
【0064】
モデル生成部255は、このような運動履歴データ254を用いて、運動をする人物の運動の目標と実績とに基づいて、図10の右に例示したような運動モデル242を生成する。図10の例において、運動モデル242は、人物IDが「UA」である人物について、「2011年11月1日」にパラメータ値「P24」を目標として「50回」の運動をすべきことを示している。なお、目標パラメータ値は、過去の実績値と将来の目標値との間の補間によって計算されてもよい。また、目標パラメータ値は、類似する他の人物(例えば、類似する病状を有する他のリハビリテーション患者)についての一般的な統計データを算入して計算されてもよい。
【0065】
画像処理装置200の運動認識部130は、第1の実施形態と同様に、入力画像取得部120からの入力画像に映る人物の運動を認識する。そして、スコア算出部160は、モデル生成部255により生成される運動モデルからの認識された運動の差分に基づいて、運動認識部130により決定される区間ごとに有効性スコアを算出する。
【0066】
(4)オブジェクト生成部
オブジェクト生成部270は、スコア算出部160により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、オブジェクト生成部270により生成される仮想オブジェクトは、例えば、対象部位の動きをスコアの大きさに応じて誇張して表現するオブジェクトであってよい。
【0067】
図11は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図11を参照すると、肘の関節を対象としてリハビリテーション運動を行うユーザUaの右腕が出力画像Im4に映っている。特徴点位置P21は、最終的に右腕の手のひらが到達すべき目標位置である。特徴点位置P23は、前回のリハビリテーション運動において右腕の手のひらが到達した位置である。特徴点位置P24は、今回のリハビリテーション運動における右腕の手のひらのが到達すべき目標位置である。なお、このような出力画像Im4は、運動の開始時に限らず、運動の途中(例えば、運動が一時停止した時)に表示されてもよい。
【0068】
図12は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図12には、画像処理装置200の表示部110により表示され得る一例としての出力画像Im5が示されており、出力画像Im5には肘のリハビリテーション運動をしているユーザUaの右腕が映っている。また、出力画像Im5に、仮想オブジェクトA4が重畳されている。仮想オブジェクトA4は、運動の対象部位である右腕の画像を加工することにより生成されており、対象部位の動きをスコアの大きさに応じて誇張して表現している。即ち、図12の例において、実際の手のひらの到達位置P25と仮想オブジェクトA4の手のひらの到達位置P26とは異なる。到達位置P26は、有効性スコアが大きいほど目標位置P21に近付くように決定される。このような仮想オブジェクトA4をリハビリテーションの患者に見せることで、症状の回復した後の姿を患者に意識させ、リハビリテーション運動に対する意欲を向上させることができる。
【0069】
[3−2.処理の流れ]
図13は、本実施形態に係る画像処理装置200による画像処理の流れの一例を示すフローチャートである。
【0070】
図13を参照すると、運動の開始にあたり、モデル生成部255は、運動をする人物の運動の目標及び実績に基づいて、運動モデルを生成する(ステップS200)。その後のステップS210〜ステップS290の処理は、一連の入力画像の各々について繰り返される。
【0071】
まず、入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS210)。
【0072】
次に、運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する(ステップS220)。そして、運動認識部130は、入力画像が属するべき時間軸上の区間を決定する(ステップS230)。
【0073】
次に、スコア算出部160は、当該入力画像について有効性スコアを算出するか否かを判定する(ステップS240)。ステップS240において有効性スコアを算出すると決定した場合には、スコア算出部160は、当該入力画像に映る人物の運動をモデル生成部255により生成された運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する(ステップS250)。
【0074】
次に、オブジェクト生成部270は、スコア算出部160により算出される有効性スコアの大きさに応じて、対象部位の動きを誇張する仮想オブジェクトを生成する(ステップS260)。また、オブジェクト生成部270は、設定に応じて運動モデルを表示すべきか否かを判定し(ステップS270)、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する(ステップS280)。
【0075】
そして、表示制御部180は、オブジェクト生成部270により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部110により表示させる(ステップS290)。
【0076】
[3−3.第2の実施形態のまとめ]
ここまで、本開示に係る技術の第2の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが算出され、算出された有効性スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。また、有効性スコアは目標とされる運動モデルからの運動の差分に基づいて算出されため、より目標に近付こうとするユーザの意欲を向上させることができる。
【0077】
また、本実施形態によれば、運動の目標及び実績に基づいて、運動する人物に適した運動モデルが生成される。従って、個人ごとの運動の管理が求められるような場面において、より運動の状況に即した有効性スコアを算出し、個々の運動を効果的に支援することができる。
【0078】
また、本実施形態によれば、仮想オブジェクトにより、運動の対象部位の動きが有効性スコアの大きさに応じて誇張して表現される。即ち、リハビリテーション運動などのように、日々の運動の成果が実際の動きとしてはわずかにしか表れないような場面において、その成果がより強調された形でユーザに呈示される。従って、ユーザの運動に対する意欲はより一層向上され得る。
【0079】
<4.第3の実施形態>
本節で説明する第3の実施形態では、運動をする人物の予測される外観上の変化がユーザに呈示される。本実施形態に係る画像処理装置300は、一例として、シェイプアップのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【0080】
[4−1.機能構成]
画像処理装置300のハードウェア構成は、図2に例示した画像処理装置100のハードウェア構成と同等であってよい。図14は、画像処理装置300において実現される論理的機能の構成の一例を示すブロック図である。図14を参照すると、画像処理装置300は、入力画像取得部120、ユーザインタフェース部325、運動認識部130、運動モデルDB140、ユーザDB350、スコア算出部360、オブジェクト生成部370及び表示制御部180を含む。
【0081】
(1)ユーザインタフェース部
ユーザインタフェース部325は、後に説明する有効性スコアの体型スコアへの変換のために用いられる生活履歴データの入力を受け付けるユーザインタフェースを、ユーザに提供する。生活履歴データとは、例えば、ユーザにより所定の期間(1日又は1週間など)ごとに入力される、当該ユーザによる食事量、外出時の運動量及び睡眠量などを含み得る。これらデータは、画像処理装置300の入力部106を介して入力されてもよく、又は図1Bに例示したような端末装置10において入力され通信部112を介して受信されてもよい。
【0082】
(2)ユーザDB
ユーザDB350は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザDB350は、第1の実施形態に関連して説明した属性データ152を記憶する。さらに、本実施形態において、ユーザDB350は、ユーザインタフェース部325を通じて取得される上述した生活履歴データ356を記憶する。
【0083】
図15を参照すると、ユーザDB350により記憶される一例としての生活履歴データ356が示されている。生活履歴データ356は、「人物ID」、「日付」、「食事量」、「運動量」及び「睡眠量」という5つのデータ項目を有する。「人物ID」は、運動する人物を一意に識別するための識別子である。「日付」は、当該レコードにより示される生活履歴に関連付けられる日付を示す。「食事量」は、人物IDにより識別される人物が対応する期間において摂取した食事の量を示す。「運動量」は、当該人物が対応する期間において外出時などに行った運動の量を示す。「睡眠量」は、当該人物が対応する期間において眠った時間量を示す。
【0084】
(3)スコア算出部
スコア算出部360は、第1の実施形態に係るスコア算出部160と同様に、運動認識部130により認識される運動の有効性を示すスコアを算出する。より具体的には、スコア算出部360は、運動認識部130により運動が認識されると、図6A〜図6Dを用いて説明したいずれかの手法(又は他の手法)に従い、認識された運動の運動モデルからの差分に基づいて有効性スコアを算出する。さらに、本実施形態において、スコア算出部360は、運動する人物についての生活履歴データ356をユーザDB350から取得し、取得したデータを用いて有効性スコアを体型スコアに変換する。体型スコアは、ここでは一例として、その値が大きいほど人物が太っていることを表すものとする。体型スコアは、少なくとも次の基準C1に従って算出される。また、基準C2〜基準C4のうちの1つ以上が、基準C1と組み合されてよい。
−基準C1:有効性スコアがより大きいほど体型スコアはより小さい
−基準C2:一定期間内の食事量がより多いほど体型スコアはより大きい
−基準C3:一定期間内の運動量がより多いほど体型スコアはより小さい
−基準C4:一定期間内の睡眠量がより多いほど体型スコアはより大きい
スコア算出部360は、このように体型スコアを区間ごとに算出し、算出した体型スコアをオブジェクト生成部370へ出力する。
【0085】
(4)オブジェクト生成部
オブジェクト生成部370は、有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、実質的には、オブジェクト生成部370は、有効性スコアから変換された体型スコアの値に応じて、入力画像に重畳されるべき仮想オブジェクトを生成する。オブジェクト生成部370により生成される仮想オブジェクトは、例えば、現在行われている運動が継続される場合の、将来の対象部位の外観を表現するオブジェクトであってよい。
【0086】
図16は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図16を参照すると、運動時間長により区別されるコースと未来時点とをユーザに選択させるためのユーザインタフェースの画像Im6が示されている。ユーザは、運動の開始時にこれらコースと未来時点とを選択する。ここでユーザにより選択される未来時点は、オブジェクト生成部370が将来の対象部位の外観を予測する際の時間的基準となる。
【0087】
図17は、オブジェクト生成部370によるオブジェクト生成処理の一例について説明するための説明図である。図17の左上には、運動する人物であるユーザUaのシルエットが示されている。ここで、運動の対象部位が胴体であるものとする。オブジェクト生成部370は、ユーザにより選択されたコースに対応する運動時間長、未来時点までの経過時間長及び運動の最中にスコア算出部360により算出される体型スコアに応じて、選択された未来時点における対象部位の外観を予測する。例えば、同じコースの運動を未来時点まで1日1回継続した場合の対象部位の外観が予測され得る。但し、ここでは、予測される体型を運動の状況に応じて目に見える形で変化させることが重要であって、予測の正確さは重要でない。従って、予測は厳密なものでなくてよい。図17に示した仮想オブジェクトA51は、「10分コース」及び「1ヶ月後」が選択された場合に生成され得る、ユーザUaのやや細くなった胴体を表現するオブジェクトである。仮想オブジェクトA52は、「30分コース」及び「6ヶ月後」が選択された場合に生成され得る、ユーザUaのさらに引き締まった胴体を表現するオブジェクトである。さらに、オブジェクト生成部370は、運動が行われない場合の将来の対象部位の外観を表現するオブジェクトを生成してもよい。図17に示した仮想オブジェクトA59は、運動が行われないと仮定した場合の、ユーザUaの太った胴体を表現するオブジェクトである。
【0088】
図18は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図18には、画像処理装置300の表示部110により表示され得る一例としての出力画像Im7が示されており、出力画像Im7にはシェイプアップ運動をしているユーザUaが映っている。シェイプアップ運動の開始に際して、「10分コース」及び「1ヶ月後」が選択されている。
【0089】
出力画像Im7において、ユーザUaの胴体には、図17に例示した仮想オブジェクトA51が重畳されている。さらに、ユーザUaの頭部には、仮想オブジェクトA61が重畳されている。仮想オブジェクトA51及びA61は、選択された未来時点においてやや細くなったユーザUaの対象部位をそれぞれ表現している。図には示していないものの、運動が行われないと仮定した場合に予測される外観を表現する仮想オブジェクト(図17に例示した仮想オブジェクトA59など)が、ユーザUaの隣にさらに重畳されてもよい。これら仮想オブジェクトをユーザに見せることで、期待される運動の成果をユーザに意識させ、シェイプアップ運動を継続しようとする動機付けをユーザに与えることができる。
【0090】
[4−2.処理の流れ]
図19は、本実施形態に係る画像処理装置300による画像処理の流れの一例を示すフローチャートである。
【0091】
図19を参照すると、運動の開始にあたり、スコア算出部360は、ユーザDB350内に蓄積されている生活履歴データ356を取得する(ステップS300)。また、スコア算出部360は、運動モデルDB140により記憶されているいずれかの運動モデルを取得する(ステップS304)。また、オブジェクト生成部370は、ユーザインタフェース部325を通じて、ユーザにより選択される運動のコース及び未来時点を識別する(ステップS308)。その後のステップS310〜ステップS390の処理は、一連の入力画像の各々について繰り返される。
【0092】
まず、入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS310)。
【0093】
次に、運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する(ステップS320)。そして、運動認識部130は、入力画像が属するべき時間軸上の区間を決定する(ステップS330)。
【0094】
次に、スコア算出部360は、当該入力画像についてスコアを算出するか否かを判定する(ステップS340)。ステップS340においてスコアを算出すると決定した場合には、スコア算出部360は、当該入力画像に映る人物の運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する(ステップS350)。さらに、スコア算出部360は、生活履歴データ356を用いて、有効性スコアを体型スコアに変換する(ステップS355)。
【0095】
次に、オブジェクト生成部370は、スコア算出部360から入力される体型スコア、並びにユーザにより選択されたコース及び未来時点に応じて、将来の対象部位の外観を表現する仮想オブジェクトを生成する(ステップS360)。また、オブジェクト生成部370は、設定に応じて運動モデルを表示すべきか否かを判定し(ステップS370)、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する(ステップS380)。
【0096】
そして、表示制御部180は、オブジェクト生成部370により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部110により表示させる(ステップS390)。
【0097】
[4−3.第3の実施形態のまとめ]
ここまで、本開示に係る技術の第3の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが体型スコアに変換され、体型スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを、ユーザの仮想的な体型という目に見える形でユーザに呈示することができる。
【0098】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位の外観上の変化を体型スコアの大きさに応じて誇張して表現する。そして、運動が継続される場合に予測される将来の対象部位の外観がユーザに呈示される。従って、将来において期待される運動の成果をユーザに明確に意識させ、運動を継続しようとする動機付けをユーザに与えることができる。
【0099】
ここまで、本開示に係る技術の3つの実施形態について詳細に説明した。これら実施形態の様々な特徴は、いかなる形で組合せられてもよい。例えば、第1の実施形態及び第3の実施形態の応用において、運動の目標及び実績に基づいて運動する人物に適した運動モデルが生成されてもよい。また、例えば、第1の実施形態及び第2の実施形態の応用において、生活履歴データを算入して有効性スコアが算出されてもよい。また、様々な運動の状況に応じて、有効性スコアはどのように修正され又は他の種類のスコアへ変換されてもよい。
【0100】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPU(Central Processing Unit)などのプロセッサにより実行される。
【0101】
また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図2に例示した通信部112を介して装置間で送信され又は受信され得る。
【0102】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0103】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
(2)
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
前記(1)に記載の画像処理装置。
(3)
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、前記(2)に記載の画像処理装置。
(4)
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、前記(3)に記載の画像処理装置。
(5)
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、前記(3)に記載の画像処理装置。
(6)
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、前記(2)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、前記(6)に記載の画像処理装置。
(8)
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、前記(7)に記載の画像処理装置。
(9)
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、前記(6)に記載の画像処理装置。
(10)
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、前記(6)〜(9)のいずれか1項に記載の画像処理装置。
(11)
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、前記(2)〜(9)のいずれか1項に記載の画像処理装置。
(12)
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、前記(2)〜(11)のいずれか1項に記載の画像処理装置。
(13)
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、前記(2)〜(11)のいずれか1項に記載の画像処理装置。
(14)
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも1つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記(2)〜(13)のいずれか1項に記載の画像処理装置。
(15)
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
(16)
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【0104】
100,200,300 画像処理装置
120 入力画像取得部
225,325 ユーザインタフェース部
130 運動認識部
255 モデル生成部
160,360 スコア算出部
170,270,370 オブジェクト生成部
180 表示制御部
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
今日、健康の維持若しくは増進、又は怪我からの回復などを目的とする運動が、日常的に行われている。筋力トレーニング、リハビリテーション及びシェイプアップなどは、そのような運動の一例である。下記特許文献1は、教師の運動の画像シーケンスと学生の運動の画像シーケンスとをディスプレイ上に並列的に表示する技術を提案している。かかる技術によれば、学生としてのユーザが教師の運動を模倣することが容易となり、ユーザの運動能力がより効率的に向上するものと期待される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2000−504854号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、運動を効果的なものとするためは、一般的に、運動をする人物へ運動の有効性に関する十分なフィードバックを行うことが重要であると言われている。上記特許文献1により提案されている技術は、目標とすべき運動を単に呈示するだけであって、十分なフィードバックをユーザに与えるものではない。例えば、目標に対して自分の運動がどの程度近付いているか又は健康がどれだけ向上したかが目に見える形で呈示されれば、運動を継続しようとする意欲が引き出されると共に、自らの運動を改善してより効果的な運動をしようとする動機付けにもなる。
【0005】
従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【0006】
本開示によれば、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置が提供される。
【0007】
また、本開示によれば、入力画像に映る人物の運動を認識することと、認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、を含む画像処理方法が提供される。
【0008】
また、本開示によれば、画像処理装置を制御するコンピュータを、入力画像に映る人物の運動を認識する認識部と、前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
本開示に係る技術によれば、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【図面の簡単な説明】
【0010】
【図1A】本開示に係る画像処理装置の概要について説明するための第1の説明図である。
【図1B】本開示に係る画像処理装置の概要について説明するための第2の説明図である。
【図1C】本開示に係る画像処理装置の概要について説明するための第3の説明図である。
【図2】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図3】第1の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図4】図3に例示した運動認識部による運動認識処理の一例について説明するための説明図である。
【図5】図3に例示したスコア算出部により算出される有効性スコアの一例について説明するための説明図である。
【図6A】有効性スコアを算出するための第1の手法について説明するための説明図である。
【図6B】有効性スコアを算出するための第2の手法について説明するための説明図である。
【図6C】有効性スコアを算出するための第3の手法について説明するための説明図である。
【図6D】有効性スコアを算出するための第4の手法について説明するための説明図である。
【図7A】第1の実施形態において表示される仮想オブジェクトの第1の例について説明するための説明図である。
【図7B】第1の実施形態において表示される仮想オブジェクトの第2の例について説明するための説明図である。
【図7C】第1の実施形態において表示される仮想オブジェクトの第3の例について説明するための説明図である。
【図8】第1の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図9】第2の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図10】図9に例示したモデル生成部によるモデル生成処理の一例について説明するための説明図である。
【図11】第2の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図12】第2の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図13】第2の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図14】第3の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図15】生活履歴データの一例を示す説明図である。
【図16】第3の実施形態において運動の開始時に表示される画像の一例を示す説明図である。
【図17】図14に例示したオブジェクト生成部によるオブジェクト生成処理の一例について説明するための説明図である。
【図18】第3の実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。
【図19】第3の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
また、以下の順序で説明を行う。
1.概要
2.第1の実施形態
2−1.ハードウェア構成
2−2.機能構成
2−3.処理の流れ
2−4.第1の実施形態のまとめ
3.第2の実施形態
3−1.機能構成
3−2.処理の流れ
3−3.第2の実施形態のまとめ
4.第3の実施形態
4−1.機能構成
4−2.処理の流れ
4−3.第3の実施形態のまとめ
【0013】
<1.概要>
図1A〜図1Cは、本開示に係る画像処理装置の概要について説明するための説明図である。図1Aを参照すると、一例としての画像処理装置100aが示されている。画像処理装置100aは、運動する人物に向けられるレンズを有する撮像部102と、画像を表示する表示部110とを備える。図1Aの例では、ユーザUaが画像処理装置100aの前に立っており、撮像部102により撮像された画像が表示部110により表示されている。画像処理装置100aは、このような撮像画像を入力画像として取得し、後に詳細に説明するような運動を支援するための様々な画像処理を実行する。ユーザUaは、このような状況下で、例えば筋力トレーニング、リハビリテーション又はシェイプアップなどの運動を行う。
【0014】
図1Bの例では、画像処理装置100aは、通信部112をさらに備える。通信部112は、例えばユーザUaにより操作される端末装置10と通信する。画像処理装置100aは、入力画像について実行される画像処理において、このような通信接続を介して取得される追加的なデータをも活用してよい。
【0015】
図1A及び図1Bでは、画像処理装置100aの一例としてデジタルテレビジョン装置を示している。しかしながら、画像処理装置100aは、かかる例に限定されない。画像処理装置100aは、例えば、デスクトップPC、タブレットPC、ノートブックPC、スマートフォン、デジタルカメラ又はゲーム端末などの任意の装置であってよい。また、画像処理装置100aの表示部110の画面は、その表面にハーフミラーが配設された画面であってもよい。その場合には、ユーザUaは、運動の最中にハーフミラーにより反射される自らの姿を見ると共に、表示部110により部分的に表示される画像をも同時に見ることができる。
【0016】
図1Cを参照すると、別の例としての画像処理装置100bが示されている。画像処理装置100bは、ヘッドマウントディスプレイを有するウェアラブル装置である。画像処理装置100bは、ユーザUbにより装着されている。画像処理装置100bは、ユーザUbが運動する場合に、ユーザUbの体の一部(例えば腕など)を撮像してもよい。その代わりに、画像処理装置100bは、運動するユーザUaを撮像してもよい。画像処理装置100bにより撮像され処理された画像は、ヘッドマウントディスプレイを介してユーザUbにより見られる。画像処理装置100bのヘッドマウントディスプレイは、シースルー型であっても非シースルー型であってもよい。
【0017】
次節より説明する本開示に係る技術の3つの実施形態では、これらのような装置により、運動の有効性に関するフィードバックが目に見える形でユーザに呈示される。なお、これ以降の説明では、画像処理装置100a及び100bを画像処理装置100と総称する。
【0018】
<2.第1の実施形態>
[2−1.ハードウェア構成]
図2は、第1の実施形態に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。図2を参照すると、画像処理装置100は、撮像部102、センサ部104、入力部106、記憶部108、表示部110、通信部112、バス116及び制御部118を備える。
【0019】
(1)撮像部
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて被写体を撮像し、撮像画像を生成する。撮像部102は、必ずしも画像処理装置100の一部でなくてもよい。例えば、画像処理装置100と有線又は無線で接続される撮像装置が撮像部102として扱われてもよい。
【0020】
(2)センサ部
センサ部104は、画像処理装置100において実行される処理を支援するためのセンサデータを生成するセンサモジュールである。例えば、センサ部104は、ユーザの皮膚に貼られる電極を介してユーザの筋肉の動きを検知する筋電位センサを含んでもよい。また、センサ部104は、ユーザの体表の温度を計測する赤外線温度センサを含んでもよい。また、センサ部104は、ユーザの特定の部位に加わる加速度を計測する加速度センサを含んでもよい。
【0021】
(3)入力部
入力部106は、ユーザが画像処理装置100を操作し又は画像処理装置100へ情報を入力するために使用される入力デバイスである。入力部106は、例えば、表示部110の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部106は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部106は、キーボード、キーパッド、ボタン、スイッチ又はリモートコントローラなどのその他の種類の入力デバイスを含んでもよい。
【0022】
(4)記憶部
記憶部108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置100による処理のためのプログラム及びデータを記憶する。記憶部108により記憶されるデータは、例えば、撮像部102により生成される撮像画像データ、センサ部104により生成されるセンサデータ、及び後に説明するデータベース内の様々なデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部108により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
【0023】
(5)表示部
表示部110は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される表示モジュールである。本実施形態において、表示部110は、ユーザの運動を支援するための仮想オブジェクトを入力画像に重畳するために使用され得る。なお、表示部110もまた、必ずしも画像処理装置100の一部でなくてもよい。例えば、画像処理装置100と有線又は無線で接続される表示装置が表示部110として扱われてもよい。
【0024】
(6)通信部
通信部112は、画像処理装置100による他の装置との間の通信を仲介する通信インタフェースである。通信部112は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【0025】
(7)バス
バス116は、撮像部102、センサ部104、入力部106、記憶部108、表示部110、通信部112及び制御部118を相互に接続する。
【0026】
(8)制御部
制御部118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部118は、記憶部108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置100の様々な機能を動作させる。
【0027】
[2−2.機能構成]
図3は、図2に示した画像処理装置100の記憶部108及び制御部118により実現される論理的機能の構成の一例を示すブロック図である。図3を参照すると、画像処理装置100は、入力画像取得部120、運動認識部130、運動モデルデータベース(DB)140、ユーザDB150、スコア算出部160、オブジェクト生成部170及び表示制御部180を含む。
【0028】
(1)入力画像取得部
入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する。入力画像には、図1A〜図1Cに例示したユーザUa又はUbなどの、運動する人物が映される。入力画像取得部120により取得される一連の入力画像は、典型的には動画を構成する。入力画像取得部120は、取得した入力画像を、運動認識部130及び表示制御部180へ順次出力する。
【0029】
(2)運動認識部
運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する。運動認識部130により認識される運動は、関節の屈伸運動(例えば、腹筋運動若しくはスクワット運動)、ランニング、ダンス、ヨガ、エアロビクス又はスポーツの動作(例えば、ゴルフ若しくはテニスのスイング)など、いかなる運動であってもよい。運動認識部130は、例えば、公知のジェスチャ認識技術に従って、入力画像に映る人物の運動を認識する。また、運動認識部130は、加速度センサからのセンサデータを用いて、入力画像に映る人物の運動を認識してもよい。
【0030】
図4は、運動認識部130による運動認識処理の一例について説明するための説明図である。図4を参照すると、一連の入力画像に含まれる7つのフレームF01〜F07が、時間軸に沿って示されている。フレームF01〜F04には、これらフレームに映る人物の1回の腹筋運動が映っている。次の回の腹筋運動は、フレームF05以降に映っている。運動認識部130は、このような1回の腹筋運動を1単位のジェスチャとして認識し、認識した各単位のジェスチャに対応する時間軸上の区間を決定する。図4の例では、フレームF01〜F04に対応する区間SEG01及びフレームF05〜F07に対応する区間SEG02が決定されている。後に説明するスコア算出部160は、このように決定される区間ごとに、運動認識部130により認識される運動の有効性を示すスコアを算出する。
【0031】
(3)運動モデルDB140
運動モデルDB140は、目標とされる運動をモデル化したデータである運動モデルを蓄積しているデータベースである。運動モデルは、例えば、運動する人物を映した動画データ、運動する人物の特徴点位置の集合から構成される骨格データ、若しくは目標とされる運動の回数及び強さなどのパラメータを含む数値データ、又はこれらの組合せであってよい。本実施形態において、運動モデルは、教師となる人物の運動を予めモデル化したデータである。年齢及び性別などの属性が互いに異なる教師の運動をモデル化した複数の運動モデルから、ユーザに適した運動モデルが選択可能であってもよい。他の実施形態において、運動モデルは、個々のユーザの運動の履歴及び目標に応じて適応的に生成される。
【0032】
(4)ユーザDB150
ユーザDB150は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。本実施形態において、ユーザDB150は、ユーザの年齢及び性別などの基本属性と身長、座高、胸囲及び腹囲などの体型属性とを含み得る属性データ152を記憶する。
【0033】
(5)スコア算出部
スコア算出部160は、運動認識部130により認識される運動の有効性を示すスコアを算出する。より具体的には、本実施形態において、スコア算出部160は、まず、運動モデルDB140により記憶されているいずれかの運動モデルを取得する。スコア算出部160は、複数の運動モデルから運動する人物の基本属性に適した運動モデルを選択的に取得してもよい。また、スコア算出部160は、取得した運動モデルを、運動する人物の体型属性に応じて補正してもよい(例えば、教師の身長が運動する人物の身長に等しくなるように正規化する、など)。そして、スコア算出部160は、運動認識部130により運動が認識されると、運動認識部130により決定される区間ごとに、認識された運動の運動モデルからの差分に基づいて、有効性スコアを算出する。
【0034】
図5は、スコア算出部160により算出される有効性スコアの一例について説明するための説明図である。図5を参照すると、有効性スコアの算出結果が表で示されている。図5の例において、区間SEG01及びSEG02について算出された有効性スコアは、共に4である。区間SEG03について算出された有効性スコアは3である。区間SEG10について算出された有効性スコアは2である。図5の例では、有効性スコアは、1から5までの5段階の値を示し、その値がより大きいほど運動はより有効であるものとする。しかしながら、かかる例に限定されず、他の形式で定義される有効性スコアが利用されてもよい。以下、有効性スコアを算出するための例示的な4つの手法について、図6A〜図6Dを用いて説明する。
【0035】
(5−1)第1の手法
図6Aは、有効性スコアを算出するための第1の手法について説明するための説明図である。図中左上には、動画データとしての運動モデルMaに映る教師のシルエット(例えば、背景からの差分)が示されている。図中右上には、入力画像から抽出されるユーザUaのシルエットが示されている。スコア算出部160は、これら2つのシルエットを重ね合わせ、これらシルエットに占める重複領域の割合が大きいほど、有効性スコアの値を大きくする。
【0036】
(5−2)第2の手法
図6Bは、有効性スコアを算出するための第2の手法について説明するための説明図である。図中左上には、骨格データとしての運動モデルMbに含まれる教師の骨格を構成する3つの特徴点位置Pm1、Pm2及びPm3が示されている。図中右上には、入力画像から抽出されるユーザUaの骨格を構成する3つの特徴点位置P11、P12及びP13が示されている。特徴点位置Pm1及びP11は頭、特徴点位置Pm2及びP12は肩、特徴点位置Pm3及びP13は股関節にそれぞれ対応し得る。スコア算出部160は、例えば、位置Pm3及びP13が重なるようにこれら特徴点位置を調整した上で、位置Pm1からの位置P11の変位と位置Pm2からの位置P12の変位との和を計算し、算出された和が小さいほど、有効性スコアの値を大きくする。
【0037】
(5−3)第3の手法
図6Cは、有効性スコアを算出するための第3の手法について説明するための説明図である。図6Cには、図6Bに例示した骨格データとしての運動モデルMb、及び入力画像から抽出されるユーザUaの骨格が再び示されている。スコア算出部160は、例えば、これら骨格データから、教師の股関節の角度Rm及びユーザUaの股関節の角度Ruを計算し、角度差Ru−Rmを算出する。そして、スコア算出部160は、算出された角度差が小さいほど、有効性スコアの値を大きくする。
【0038】
上述した第1の手法〜第3の手法は、各区間に対応する全てのフレームに適用されてもよく、又はいずれか1つ若しくは複数のフレームに適用されてもよい。例えば、スコア算出部160は、各区間に対応するフレームから1つ又は複数の特徴的なフレーム(例えば、運動の最中の所定のポーズが映るフレーム)を選択し、選択したフレームについて算出されるスコア(の合計)を各区間の有効性スコアとしてもよい。
【0039】
(5−4)第4の手法
図6Dは、有効性スコアを算出するための第4の手法について説明するための説明図である。図6Dの上段には、運動認識部130による運動認識結果として、1単位の運動の所要時間及びセンサデータに基づく統計値である最大加速度が、ユーザUaについて区間ごとに示されている。最大加速度は、運動の有効性を補助的に示すパラメータである。図6Dの下段には、教師の運動についての同様のデータである運動モデルMcが示されている。スコア算出部160は、このような運動認識結果と運動モデルとを区間ごとに比較し、認識された運動についての値が運動モデルの値に近いほど、有効性スコアの値を大きくする。図6Dの例では、区間SEG01について有効性スコアは4、区間SEG02及びSEG03について有効性スコアは3、区間SEG10について有効性スコアは2、というようにそれぞれ算出されている。
【0040】
スコア算出部160は、上述した4つの手法のいずれか1つのみを用いてもよく、又は重み付け加算などの演算を通じて複数の手法を組合せてもよい。スコア算出部160は、このように運動の有効性を示す有効性スコアを区間ごとに算出し、算出した有効性スコアをオブジェクト生成部170へ出力する。
【0041】
(6)オブジェクト生成部
オブジェクト生成部170は、認識される運動の有効性に応じて異なる仮想オブジェクトを生成する。オブジェクト生成部170により生成される仮想オブジェクトは、典型的には、スコア算出部160により算出される有効性スコアの大きさを表現するオブジェクトであってよい。仮想オブジェクトの生成の基礎とされる有効性スコアの大きさとは、各区間について算出される有効性スコアの大きさ若しくは図5に例示したようなその積算値、又はそれらの組合せであってよい。本実施形態において、オブジェクト生成部170により生成される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位とは、例えば腹筋運動については腹部、スクワット運動については大腿部などに相当し得る。運動の対象部位は、運動の種類と関連付けて予め定義されていてもよく、又は赤外線温度センサからのセンサデータが示す温度の高い部位のように動的に判定されてもよい。仮想オブジェクトは、運動の対象部位を様々な手法で強調してよい。例えば、対象部位の周囲に配置される炎又は光などを模した仮想オブジェクトの色、数又は大きさによって、有効性スコアの大きさが表現されてもよい。また、対象部位の外観上の変化が、有効性スコアの大きさに応じて誇張して表現されてもよい。オブジェクト生成部170により生成され得る仮想オブジェクトのいくつかの例について、後にさらに説明する。
【0042】
(7)表示制御部
表示制御部180は、オブジェクト生成部170により生成される仮想オブジェクトを、入力画像取得部120からの入力画像に重畳することにより、ユーザに呈示する。表示制御部180は、対象部位が映っている入力画像内の位置に、当該対象部位を強調する仮想オブジェクトを重畳してもよい。その際、表示制御部180は、仮想オブジェクトを半透明に設定することにより、運動する人物の様子及び仮想オブジェクトの双方をユーザにとって視認可能としてもよい。その代わりに、表示制御部180は、入力画像内で運動する人物の周辺に仮想オブジェクトを重畳してもよい。また、表示制御部180は、選択された運動モデルを表現する仮想オブジェクトをも入力画像に重畳してもよい。以下、表示制御部180により表示される仮想オブジェクトの3つの例について、図7A〜図7Cを用いて説明する。
【0043】
(7−1)第1の例
図7Aは、本実施形態において表示される仮想オブジェクトの第1の例について説明するための説明図である。図7Aには、表示部110により表示され得る一例としての出力画像Im1が示されており、出力画像Im1には腹筋運動をしているユーザUaが映っている。また、出力画像Im1において、腹筋運動の対象部位であるユーザUaの腹部には、仮想オブジェクトA1が重畳されている。仮想オブジェクトA1は、運動の対象部位を強調すると共に、スコア算出部160により算出される有効性スコアの大きさをその色によって表現するオブジェクトである。図7Aの例では、仮想オブジェクトA1の中心部分の色がより高い有効性スコアを表現する色に設定されている。ユーザUaは、仮想オブジェクトA1を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。なお、出力画像Im1には、運動モデルMaを表現する仮想オブジェクトもまた重畳されている。
【0044】
(7−2)第2の例
図7Bは、本実施形態において表示される仮想オブジェクトの第2の例について説明するための説明図である。図7Bには、表示部110により表示され得る一例としての出力画像Im2が示されており、出力画像Im2には腹筋運動をしているユーザUaが映っている。また、出力画像Im2において、腹筋運動の対象部位であるユーザUaの腹部には、仮想オブジェクトA2が重畳されている。仮想オブジェクトA2は、運動の対象部位を強調すると共に、当該対象部位の外観上の変化を有効性スコアの大きさに応じて誇張して表現するオブジェクトである。図7Bの例では、ユーザUaの腹囲の減少が有効性スコアの大きさに応じて誇張されている。ユーザUaは、仮想オブジェクトA2を見ることにより、自らの運動がどの対象部位にどの程度の効果を上げているかを知ることができる。また、より目標に近付いた自らの姿を見ることで、ユーザUaの運動に対する意欲はより向上され得る。
【0045】
(7−2)第3の例
図7Cは、本実施形態において表示される仮想オブジェクトの第3の例について説明するための説明図である。図7Cには、表示部110により表示され得る一例としての出力画像Im3が示されており、出力画像Im3には腹筋運動をしているユーザUaが映っている。また、出力画像Im3において、ユーザUaの隣りに、ユーザUaを表現する仮想オブジェクトA3が重畳されている。仮想オブジェクトA3の腹部には、図7Aに例示した仮想オブジェクトA1がさらに重畳されている。図7Cの例では、ユーザUa自身の画像が仮想オブジェクトによって隠されないため、ユーザUaは、自らの運動を明瞭に視認しながら、運動の効果をも並列的に知ることができる。
【0046】
[2−3.処理の流れ]
図8は、本実施形態に係る画像処理装置100による画像処理の流れの一例を示すフローチャートである。
【0047】
図8を参照すると、運動の開始にあたり、スコア算出部160は、運動モデルDB140により記憶されているいずれかの運動モデルを取得する(ステップS100)。その後のステップS110〜ステップS190の処理は、一連の入力画像の各々について繰り返される。
【0048】
まず、入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS110)。
【0049】
次に、運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する(ステップS120)。そして、運動認識部130は、入力画像が属するべき時間軸上の区間を決定する(ステップS130)。例えば、運動認識部130は、新たな単位のジェスチャが開始されたことを認識した場合には、当該入力画像は新たな区間に属すると決定し得る。一方、運動認識部130は、前の入力画像からジェスチャが続けられていることを認識した場合には、当該入力画像は前の入力画像と同じ区間に属すると決定し得る。
【0050】
次に、スコア算出部160は、当該入力画像について有効性スコアを算出するか否かを判定する(ステップS140)。例えば、所定のポーズが映るフレームについてのみ有効性スコアが算出される場合において、当該入力画像内で所定のポーズが映っていない場合には、当該入力画像についての有効性スコアの算出はスキップされ得る。ステップS140において有効性スコアを算出すると決定した場合には、スコア算出部160は、運動認識部130により認識された運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する(ステップS150)。
【0051】
次に、オブジェクト生成部170は、スコア算出部160により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する(ステップS160)。ここで生成される仮想オブジェクトは、図7A〜図7Cに例示した仮想オブジェクトA1〜A3のようなオブジェクトであってよい。また、オブジェクト生成部170は、設定に応じて運動モデルを表示すべきか否かを判定し(ステップS170)、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する(ステップS180)。
【0052】
そして、表示制御部180は、オブジェクト生成部170により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部110により表示させる(ステップS190)。
【0053】
[2−4.第1の実施形態のまとめ]
ここまで、本開示に係る技術の第1の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性に応じて異なる仮想オブジェクトが生成され、生成された仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。
【0054】
また、本実施形態によれば、運動の有効性は、有効性スコアとして定量的に算出される。有効性スコアは、運動する人物により目標とされる運動モデルからの運動の差分に基づいて算出され得る。従って、目標に対する達成の度合いに応じて有効性スコアの大きさが変化するため、より目標に近付こうとするユーザの意欲を向上させることができる。
【0055】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位を強調するオブジェクトである。運動の対象部位が、有効性スコアの大きさに応じた手法で強調されることから、ユーザは、運動がどの対象部位にどの程度の効果を上げているかを直感的かつ明確に知ることができる。
【0056】
なお、運動をする人物と画像処理装置100からの出力画像を見るユーザとは、必ずしも同じ人物でなくてよい。例えば、画像処理装置100により提供される仕組みを応用し、複数のユーザ間でビデオチャットのように画像を交換して互いの運動の効果を確認し合うことにより、ユーザ間の競争意欲を引き出して運動の効果をさらに高めることができる。
【0057】
<3.第2の実施形態>
本節で説明する第2の実施形態では、運動をする人物の状況に適した運動モデルが生成される。本実施形態に係る画像処理装置200は、一例として、リハビリテーションのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【0058】
[3−1.機能構成]
画像処理装置200のハードウェア構成は、図2に例示した画像処理装置100のハードウェア構成と同等であってよい。図9は、画像処理装置200において実現される論理的機能の構成の一例を示すブロック図である。図9を参照すると、画像処理装置200は、入力画像取得部120、ユーザインタフェース部225、運動認識部130、運動モデルDB140、ユーザDB250、モデル生成部255、スコア算出部160、オブジェクト生成部270及び表示制御部180を含む。
【0059】
(1)ユーザインタフェース部
ユーザインタフェース部225は、後に説明する運動モデルの生成のために用いられる目標データの入力を受け付けるユーザインタフェースを、ユーザに提供する。目標データとは、例えば、運動の目標とされるパラメータ値と当該目標を達成すべき日付とを含み得る。運動の目標とされるパラメータの種類は、例えば、関節の屈伸運動については屈曲角度、歩行運動については歩行速度など、いかなる種類であってもよい。リハビリテーション運動についての目標データは、運動をする患者により入力されてもよく、又は運動を管理する医師若しくはトレーナにより入力されてもよい。
【0060】
(2)ユーザDB
ユーザDB250は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザDB250は、第1の実施形態に関連して説明した属性データ152を記憶する。さらに、本実施形態において、ユーザDB250は、運動する人物ごとに運動の目標及び実績を保持する運動履歴データ254を記憶する。運動の目標は、ユーザインタフェース部225を通じて取得される目標データにより与えられる。運動の実績は、運動認識の結果として運動認識部130及びスコア算出部160から入力され蓄積される。運動履歴データ254は、モデル生成部255による運動モデルの生成のために用いられる。
【0061】
(3)モデル生成部
モデル生成部255は、運動をする人物の運動の状況に基づいて、有効性スコアの算出のために用いられる運動モデルを生成する。本実施形態において、運動の状況は、ユーザDB250により記憶される運動履歴データ254により表される。
【0062】
図10は、モデル生成部255によるモデル生成処理の一例について説明するための説明図である。
【0063】
図10の左には、一例としての運動履歴データ254が示されている。運動履歴データ254は、「人物ID」、「レコードタイプ」、「日付」、「パラメータ」及び「回数」という5つのデータ項目を有する。「人物ID」は、運動する人物を一意に識別するための識別子である。「レコードタイプ」は、「目標」又は「実績」といういずれかの値を示す区分値である。「日付」は、当該レコードにより示される目標を達成すべき日付、又は当該レコードにより示される実績が記録された日付を示す。「パラメータ」は、目標として入力されたパラメータ値、又は達成されたパラメータ値を示す。「回数」は、目標として入力された運動の回数、又は達成された運動の回数を示す。
【0064】
モデル生成部255は、このような運動履歴データ254を用いて、運動をする人物の運動の目標と実績とに基づいて、図10の右に例示したような運動モデル242を生成する。図10の例において、運動モデル242は、人物IDが「UA」である人物について、「2011年11月1日」にパラメータ値「P24」を目標として「50回」の運動をすべきことを示している。なお、目標パラメータ値は、過去の実績値と将来の目標値との間の補間によって計算されてもよい。また、目標パラメータ値は、類似する他の人物(例えば、類似する病状を有する他のリハビリテーション患者)についての一般的な統計データを算入して計算されてもよい。
【0065】
画像処理装置200の運動認識部130は、第1の実施形態と同様に、入力画像取得部120からの入力画像に映る人物の運動を認識する。そして、スコア算出部160は、モデル生成部255により生成される運動モデルからの認識された運動の差分に基づいて、運動認識部130により決定される区間ごとに有効性スコアを算出する。
【0066】
(4)オブジェクト生成部
オブジェクト生成部270は、スコア算出部160により算出される有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、オブジェクト生成部270により生成される仮想オブジェクトは、例えば、対象部位の動きをスコアの大きさに応じて誇張して表現するオブジェクトであってよい。
【0067】
図11は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図11を参照すると、肘の関節を対象としてリハビリテーション運動を行うユーザUaの右腕が出力画像Im4に映っている。特徴点位置P21は、最終的に右腕の手のひらが到達すべき目標位置である。特徴点位置P23は、前回のリハビリテーション運動において右腕の手のひらが到達した位置である。特徴点位置P24は、今回のリハビリテーション運動における右腕の手のひらのが到達すべき目標位置である。なお、このような出力画像Im4は、運動の開始時に限らず、運動の途中(例えば、運動が一時停止した時)に表示されてもよい。
【0068】
図12は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図12には、画像処理装置200の表示部110により表示され得る一例としての出力画像Im5が示されており、出力画像Im5には肘のリハビリテーション運動をしているユーザUaの右腕が映っている。また、出力画像Im5に、仮想オブジェクトA4が重畳されている。仮想オブジェクトA4は、運動の対象部位である右腕の画像を加工することにより生成されており、対象部位の動きをスコアの大きさに応じて誇張して表現している。即ち、図12の例において、実際の手のひらの到達位置P25と仮想オブジェクトA4の手のひらの到達位置P26とは異なる。到達位置P26は、有効性スコアが大きいほど目標位置P21に近付くように決定される。このような仮想オブジェクトA4をリハビリテーションの患者に見せることで、症状の回復した後の姿を患者に意識させ、リハビリテーション運動に対する意欲を向上させることができる。
【0069】
[3−2.処理の流れ]
図13は、本実施形態に係る画像処理装置200による画像処理の流れの一例を示すフローチャートである。
【0070】
図13を参照すると、運動の開始にあたり、モデル生成部255は、運動をする人物の運動の目標及び実績に基づいて、運動モデルを生成する(ステップS200)。その後のステップS210〜ステップS290の処理は、一連の入力画像の各々について繰り返される。
【0071】
まず、入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS210)。
【0072】
次に、運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する(ステップS220)。そして、運動認識部130は、入力画像が属するべき時間軸上の区間を決定する(ステップS230)。
【0073】
次に、スコア算出部160は、当該入力画像について有効性スコアを算出するか否かを判定する(ステップS240)。ステップS240において有効性スコアを算出すると決定した場合には、スコア算出部160は、当該入力画像に映る人物の運動をモデル生成部255により生成された運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する(ステップS250)。
【0074】
次に、オブジェクト生成部270は、スコア算出部160により算出される有効性スコアの大きさに応じて、対象部位の動きを誇張する仮想オブジェクトを生成する(ステップS260)。また、オブジェクト生成部270は、設定に応じて運動モデルを表示すべきか否かを判定し(ステップS270)、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する(ステップS280)。
【0075】
そして、表示制御部180は、オブジェクト生成部270により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部110により表示させる(ステップS290)。
【0076】
[3−3.第2の実施形態のまとめ]
ここまで、本開示に係る技術の第2の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが算出され、算出された有効性スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを目に見える形でユーザに呈示することができる。また、有効性スコアは目標とされる運動モデルからの運動の差分に基づいて算出されため、より目標に近付こうとするユーザの意欲を向上させることができる。
【0077】
また、本実施形態によれば、運動の目標及び実績に基づいて、運動する人物に適した運動モデルが生成される。従って、個人ごとの運動の管理が求められるような場面において、より運動の状況に即した有効性スコアを算出し、個々の運動を効果的に支援することができる。
【0078】
また、本実施形態によれば、仮想オブジェクトにより、運動の対象部位の動きが有効性スコアの大きさに応じて誇張して表現される。即ち、リハビリテーション運動などのように、日々の運動の成果が実際の動きとしてはわずかにしか表れないような場面において、その成果がより強調された形でユーザに呈示される。従って、ユーザの運動に対する意欲はより一層向上され得る。
【0079】
<4.第3の実施形態>
本節で説明する第3の実施形態では、運動をする人物の予測される外観上の変化がユーザに呈示される。本実施形態に係る画像処理装置300は、一例として、シェイプアップのための運動を扱う。しかしながら、本実施形態は、かかる例に限定されず、他の種類の運動にも適用可能である。
【0080】
[4−1.機能構成]
画像処理装置300のハードウェア構成は、図2に例示した画像処理装置100のハードウェア構成と同等であってよい。図14は、画像処理装置300において実現される論理的機能の構成の一例を示すブロック図である。図14を参照すると、画像処理装置300は、入力画像取得部120、ユーザインタフェース部325、運動認識部130、運動モデルDB140、ユーザDB350、スコア算出部360、オブジェクト生成部370及び表示制御部180を含む。
【0081】
(1)ユーザインタフェース部
ユーザインタフェース部325は、後に説明する有効性スコアの体型スコアへの変換のために用いられる生活履歴データの入力を受け付けるユーザインタフェースを、ユーザに提供する。生活履歴データとは、例えば、ユーザにより所定の期間(1日又は1週間など)ごとに入力される、当該ユーザによる食事量、外出時の運動量及び睡眠量などを含み得る。これらデータは、画像処理装置300の入力部106を介して入力されてもよく、又は図1Bに例示したような端末装置10において入力され通信部112を介して受信されてもよい。
【0082】
(2)ユーザDB
ユーザDB350は、個々のユーザのために用意される様々なデータを蓄積するデータベースである。ユーザDB350は、第1の実施形態に関連して説明した属性データ152を記憶する。さらに、本実施形態において、ユーザDB350は、ユーザインタフェース部325を通じて取得される上述した生活履歴データ356を記憶する。
【0083】
図15を参照すると、ユーザDB350により記憶される一例としての生活履歴データ356が示されている。生活履歴データ356は、「人物ID」、「日付」、「食事量」、「運動量」及び「睡眠量」という5つのデータ項目を有する。「人物ID」は、運動する人物を一意に識別するための識別子である。「日付」は、当該レコードにより示される生活履歴に関連付けられる日付を示す。「食事量」は、人物IDにより識別される人物が対応する期間において摂取した食事の量を示す。「運動量」は、当該人物が対応する期間において外出時などに行った運動の量を示す。「睡眠量」は、当該人物が対応する期間において眠った時間量を示す。
【0084】
(3)スコア算出部
スコア算出部360は、第1の実施形態に係るスコア算出部160と同様に、運動認識部130により認識される運動の有効性を示すスコアを算出する。より具体的には、スコア算出部360は、運動認識部130により運動が認識されると、図6A〜図6Dを用いて説明したいずれかの手法(又は他の手法)に従い、認識された運動の運動モデルからの差分に基づいて有効性スコアを算出する。さらに、本実施形態において、スコア算出部360は、運動する人物についての生活履歴データ356をユーザDB350から取得し、取得したデータを用いて有効性スコアを体型スコアに変換する。体型スコアは、ここでは一例として、その値が大きいほど人物が太っていることを表すものとする。体型スコアは、少なくとも次の基準C1に従って算出される。また、基準C2〜基準C4のうちの1つ以上が、基準C1と組み合されてよい。
−基準C1:有効性スコアがより大きいほど体型スコアはより小さい
−基準C2:一定期間内の食事量がより多いほど体型スコアはより大きい
−基準C3:一定期間内の運動量がより多いほど体型スコアはより小さい
−基準C4:一定期間内の睡眠量がより多いほど体型スコアはより大きい
スコア算出部360は、このように体型スコアを区間ごとに算出し、算出した体型スコアをオブジェクト生成部370へ出力する。
【0085】
(4)オブジェクト生成部
オブジェクト生成部370は、有効性スコアの大きさを表現する仮想オブジェクトを生成する。本実施形態では、実質的には、オブジェクト生成部370は、有効性スコアから変換された体型スコアの値に応じて、入力画像に重畳されるべき仮想オブジェクトを生成する。オブジェクト生成部370により生成される仮想オブジェクトは、例えば、現在行われている運動が継続される場合の、将来の対象部位の外観を表現するオブジェクトであってよい。
【0086】
図16は、本実施形態において運動の開始時に表示される画像の一例を示す説明図である。図16を参照すると、運動時間長により区別されるコースと未来時点とをユーザに選択させるためのユーザインタフェースの画像Im6が示されている。ユーザは、運動の開始時にこれらコースと未来時点とを選択する。ここでユーザにより選択される未来時点は、オブジェクト生成部370が将来の対象部位の外観を予測する際の時間的基準となる。
【0087】
図17は、オブジェクト生成部370によるオブジェクト生成処理の一例について説明するための説明図である。図17の左上には、運動する人物であるユーザUaのシルエットが示されている。ここで、運動の対象部位が胴体であるものとする。オブジェクト生成部370は、ユーザにより選択されたコースに対応する運動時間長、未来時点までの経過時間長及び運動の最中にスコア算出部360により算出される体型スコアに応じて、選択された未来時点における対象部位の外観を予測する。例えば、同じコースの運動を未来時点まで1日1回継続した場合の対象部位の外観が予測され得る。但し、ここでは、予測される体型を運動の状況に応じて目に見える形で変化させることが重要であって、予測の正確さは重要でない。従って、予測は厳密なものでなくてよい。図17に示した仮想オブジェクトA51は、「10分コース」及び「1ヶ月後」が選択された場合に生成され得る、ユーザUaのやや細くなった胴体を表現するオブジェクトである。仮想オブジェクトA52は、「30分コース」及び「6ヶ月後」が選択された場合に生成され得る、ユーザUaのさらに引き締まった胴体を表現するオブジェクトである。さらに、オブジェクト生成部370は、運動が行われない場合の将来の対象部位の外観を表現するオブジェクトを生成してもよい。図17に示した仮想オブジェクトA59は、運動が行われないと仮定した場合の、ユーザUaの太った胴体を表現するオブジェクトである。
【0088】
図18は、本実施形態において表示される仮想オブジェクトの一例について説明するための説明図である。図18には、画像処理装置300の表示部110により表示され得る一例としての出力画像Im7が示されており、出力画像Im7にはシェイプアップ運動をしているユーザUaが映っている。シェイプアップ運動の開始に際して、「10分コース」及び「1ヶ月後」が選択されている。
【0089】
出力画像Im7において、ユーザUaの胴体には、図17に例示した仮想オブジェクトA51が重畳されている。さらに、ユーザUaの頭部には、仮想オブジェクトA61が重畳されている。仮想オブジェクトA51及びA61は、選択された未来時点においてやや細くなったユーザUaの対象部位をそれぞれ表現している。図には示していないものの、運動が行われないと仮定した場合に予測される外観を表現する仮想オブジェクト(図17に例示した仮想オブジェクトA59など)が、ユーザUaの隣にさらに重畳されてもよい。これら仮想オブジェクトをユーザに見せることで、期待される運動の成果をユーザに意識させ、シェイプアップ運動を継続しようとする動機付けをユーザに与えることができる。
【0090】
[4−2.処理の流れ]
図19は、本実施形態に係る画像処理装置300による画像処理の流れの一例を示すフローチャートである。
【0091】
図19を参照すると、運動の開始にあたり、スコア算出部360は、ユーザDB350内に蓄積されている生活履歴データ356を取得する(ステップS300)。また、スコア算出部360は、運動モデルDB140により記憶されているいずれかの運動モデルを取得する(ステップS304)。また、オブジェクト生成部370は、ユーザインタフェース部325を通じて、ユーザにより選択される運動のコース及び未来時点を識別する(ステップS308)。その後のステップS310〜ステップS390の処理は、一連の入力画像の各々について繰り返される。
【0092】
まず、入力画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS310)。
【0093】
次に、運動認識部130は、入力画像取得部120からの入力画像に映る人物の運動を認識する(ステップS320)。そして、運動認識部130は、入力画像が属するべき時間軸上の区間を決定する(ステップS330)。
【0094】
次に、スコア算出部360は、当該入力画像についてスコアを算出するか否かを判定する(ステップS340)。ステップS340においてスコアを算出すると決定した場合には、スコア算出部360は、当該入力画像に映る人物の運動を運動モデルと比較し、それらの差分に基づいて有効性スコアを算出する(ステップS350)。さらに、スコア算出部360は、生活履歴データ356を用いて、有効性スコアを体型スコアに変換する(ステップS355)。
【0095】
次に、オブジェクト生成部370は、スコア算出部360から入力される体型スコア、並びにユーザにより選択されたコース及び未来時点に応じて、将来の対象部位の外観を表現する仮想オブジェクトを生成する(ステップS360)。また、オブジェクト生成部370は、設定に応じて運動モデルを表示すべきか否かを判定し(ステップS370)、運動モデルを表示すべきである場合には、運動モデルを表現する仮想オブジェクトをも生成する(ステップS380)。
【0096】
そして、表示制御部180は、オブジェクト生成部370により生成される仮想オブジェクトを入力画像に重畳し、それら仮想オブジェクトを表示部110により表示させる(ステップS390)。
【0097】
[4−3.第3の実施形態のまとめ]
ここまで、本開示に係る技術の第3の実施形態について説明した。本実施形態によれば、入力画像に映る人物の運動の有効性を示す有効性スコアが体型スコアに変換され、体型スコアの大きさを表現する仮想オブジェクトが入力画像に重畳される。従って、運動の有効性に関するフィードバックを、ユーザの仮想的な体型という目に見える形でユーザに呈示することができる。
【0098】
また、本実施形態によれば、入力画像に重畳される仮想オブジェクトは、運動の対象部位の外観上の変化を体型スコアの大きさに応じて誇張して表現する。そして、運動が継続される場合に予測される将来の対象部位の外観がユーザに呈示される。従って、将来において期待される運動の成果をユーザに明確に意識させ、運動を継続しようとする動機付けをユーザに与えることができる。
【0099】
ここまで、本開示に係る技術の3つの実施形態について詳細に説明した。これら実施形態の様々な特徴は、いかなる形で組合せられてもよい。例えば、第1の実施形態及び第3の実施形態の応用において、運動の目標及び実績に基づいて運動する人物に適した運動モデルが生成されてもよい。また、例えば、第1の実施形態及び第2の実施形態の応用において、生活履歴データを算入して有効性スコアが算出されてもよい。また、様々な運動の状況に応じて、有効性スコアはどのように修正され又は他の種類のスコアへ変換されてもよい。
【0100】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPU(Central Processing Unit)などのプロセッサにより実行される。
【0101】
また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図2に例示した通信部112を介して装置間で送信され又は受信され得る。
【0102】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0103】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
(2)
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
前記(1)に記載の画像処理装置。
(3)
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、前記(2)に記載の画像処理装置。
(4)
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、前記(3)に記載の画像処理装置。
(5)
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、前記(3)に記載の画像処理装置。
(6)
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、前記(2)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、前記(6)に記載の画像処理装置。
(8)
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、前記(7)に記載の画像処理装置。
(9)
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、前記(6)に記載の画像処理装置。
(10)
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、前記(6)〜(9)のいずれか1項に記載の画像処理装置。
(11)
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、前記(2)〜(9)のいずれか1項に記載の画像処理装置。
(12)
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、前記(2)〜(11)のいずれか1項に記載の画像処理装置。
(13)
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、前記(2)〜(11)のいずれか1項に記載の画像処理装置。
(14)
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも1つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記(2)〜(13)のいずれか1項に記載の画像処理装置。
(15)
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
(16)
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【0104】
100,200,300 画像処理装置
120 入力画像取得部
225,325 ユーザインタフェース部
130 運動認識部
255 モデル生成部
160,360 スコア算出部
170,270,370 オブジェクト生成部
180 表示制御部
【特許請求の範囲】
【請求項1】
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
【請求項2】
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
請求項1に記載の画像処理装置。
【請求項3】
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、請求項2に記載の画像処理装置。
【請求項4】
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、請求項3に記載の画像処理装置。
【請求項5】
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、請求項3に記載の画像処理装置。
【請求項6】
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、請求項2に記載の画像処理装置。
【請求項7】
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、請求項6に記載の画像処理装置。
【請求項8】
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、請求項7に記載の画像処理装置。
【請求項9】
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、請求項6に記載の画像処理装置。
【請求項10】
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、請求項6に記載の画像処理装置。
【請求項11】
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、請求項2に記載の画像処理装置。
【請求項12】
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、請求項2に記載の画像処理装置。
【請求項13】
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、請求項2に記載の画像処理装置。
【請求項14】
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも1つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項2に記載の画像処理装置。
【請求項15】
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
【請求項16】
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【請求項1】
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
を備える画像処理装置。
【請求項2】
前記画像処理装置は、前記認識部により認識される前記運動の有効性を示すスコアを算出するスコア算出部、をさらに備え、
前記表示制御部は、前記スコア算出部により算出される前記スコアの大きさを表現する前記仮想オブジェクトを前記入力画像に重畳する、
請求項1に記載の画像処理装置。
【請求項3】
前記スコア算出部は、目標とされる運動モデルからの前記運動の差分に基づいて、前記スコアを算出する、請求項2に記載の画像処理装置。
【請求項4】
前記運動モデルは、教師となる人物の運動を予めモデル化したデータである、請求項3に記載の画像処理装置。
【請求項5】
前記画像処理装置は、前記人物の運動の目標及び実績に基づいて前記運動モデルを生成するモデル生成部、をさらに備える、請求項3に記載の画像処理装置。
【請求項6】
前記仮想オブジェクトは、前記運動の対象部位を強調するオブジェクトである、請求項2に記載の画像処理装置。
【請求項7】
前記仮想オブジェクトは、前記対象部位の外観上の変化を前記スコアの大きさに応じて誇張して表現する、請求項6に記載の画像処理装置。
【請求項8】
前記仮想オブジェクトは、前記運動が継続される場合の将来の前記対象部位の外観を表現する、請求項7に記載の画像処理装置。
【請求項9】
前記仮想オブジェクトは、前記対象部位の動きを前記スコアの大きさに応じて誇張して表現する、請求項6に記載の画像処理装置。
【請求項10】
前記表示制御部は、前記対象部位が映っている前記入力画像内の位置に前記仮想オブジェクトを重畳する、請求項6に記載の画像処理装置。
【請求項11】
前記表示制御部は、前記入力画像内で前記人物の周辺に前記仮想オブジェクトを重畳する、請求項2に記載の画像処理装置。
【請求項12】
前記スコア算出部は、前記運動の有効性を補助的に示すセンサデータをさらに用いて、前記スコアを算出する、請求項2に記載の画像処理装置。
【請求項13】
前記スコア算出部は、前記人物の生活履歴を表す生活履歴データをさらに用いて、前記スコアを算出する、請求項2に記載の画像処理装置。
【請求項14】
前記認識部、前記スコア算出部及び前記表示制御部のうち少なくとも1つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項2に記載の画像処理装置。
【請求項15】
入力画像に映る人物の運動を認識することと、
認識された前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳することと、
を含む画像処理方法。
【請求項16】
画像処理装置を制御するコンピュータを、
入力画像に映る人物の運動を認識する認識部と、
前記認識部により認識される前記運動の有効性に応じて異なる仮想オブジェクトを前記入力画像に重畳する表示制御部と、
として機能させるためのプログラム。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2013−103010(P2013−103010A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249751(P2011−249751)
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]