端末装置、画像処理方法及びプログラム
【課題】携帯電話端末の如き機器で人物を撮影した画像を基に、その人物の解析が良好に行えるようにする。
【解決手段】被写体を撮像するカメラ部２０１と、カメラ部２０１で撮像した画像より被写体としての人物の全ての関節の位置を特定する画像処理部１２０と、画像処理部で特定した被写体の全ての関節の位置をカメラ部２０１で撮像した画像に記した画像を表示する表示部１０７と、表示部１０７で表示している画像内の人物を操作できる操作部１０６とを備える。
【解決手段】被写体を撮像するカメラ部２０１と、カメラ部２０１で撮像した画像より被写体としての人物の全ての関節の位置を特定する画像処理部１２０と、画像処理部で特定した被写体の全ての関節の位置をカメラ部２０１で撮像した画像に記した画像を表示する表示部１０７と、表示部１０７で表示している画像内の人物を操作できる操作部１０６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばカメラ付きの携帯電話端末に適用して好適な端末装置及び画像処理方法、並びにその画像処理方法を適用したプログラムに関する。
【背景技術】
【０００２】
従来、カメラで人物の撮像を行って、その撮像して得た画像信号から、その人物の関節の位置を推定することが行われている。
従来の関節位置の推定技術の１つとして、モーションキャプチャシステムを用いる技術がある。 現在使用されているモーションキャプチャには、動きを計測するために使用するセンサの違いによって、磁気式、機械式、光学式などがあるが、いずれの方式でも、一般に何らかのセンサまたはマーカを利用者の身につける必要がある。そして、その取付けたセンサまたはマーカを撮像信号から検出して、利用者の体の動きを検出して、その利用者の手足などの関節位置を推定する（特許文献１参照）。
【０００３】
そのため、身に付けたセンサまたはマーカによって動きが拘束され、またセンサやマーカの着脱に多くの時間が掛かるという問題がある。また、専用のマーカやセンサを必要とするためにシステムが高価であり、さらにセンサ設置のために専用のスタジオを必要とするといった問題がある。
【０００４】
また、近年、上記の問題点を解決するために、センサやマーカを身体に取り付けず、利用者の動きをカメラで撮影し、撮影した画像を解析することで関節位置を推定するマーカレスモーションキャプチャシステムが研究されている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−８０４４号公報
【非特許文献】
【０００６】
【非特許文献１】「人体の構造に基づいた単一画像からの姿勢推定手法」、画像の認識・理解シンポジウム（ＭＩＲＵ２００７）、２００７年７月、ＩＳ−５−３４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、これらの技術は、予め様々な人体の構造モデル等が格納した大容量データベースを用意し、身体各部位を特定するための複雑な処理を行うためのハイスペックなＰＣを用意することを前提としている。そのため、計算量が非常に大きくなり、利用者が携帯できる程度の小型の端末装置に適用することは困難である。例えば、携帯電話端末にはカメラが内蔵されたものが近年普及しているが、そのような携帯電話端末に内蔵されたカメラを使って人体を撮影して、関節位置を推定するようなことは困難である。携帯電話端末の如き小型の携帯端末で、関節位置の推定が可能であれば、その推定に基づいて各種アプリケーションプログラムの実行が可能となるが、現状では不可能である。
【０００８】
本発明はかかる点に鑑みてなされたものであり、身体を含む画像から、正確かつ高速に身体の関節位置および身体部位情報を検出して、その検出した情報を利用した端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像して得た画像信号より、被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて人物の体の部位の範囲を決定し、その決定した部位の範囲を示した画像信号とする画像処理を行う。
そして、画像処理で得られた画像信号を表示させる表示処理を行い、その画像処理で決定した体の部位の範囲を変化させる指示を行う操作処理を行う。
【００１０】
このようにしたことで、撮像して得た画像信号から関節位置を推定した結果に基づいて、撮像した人物の体型が判るようになる。その体型が画像として表示されるようになり、操作に基づいて表示される体型が変更できるようになる。
【発明の効果】
【００１１】
本発明によると、撮像した人物の体型が表示画像から判るようになる。そして、その表示された体型が、操作に基づいて変更できることで、撮像した人物が痩せた場合や太った場合の様子が表示されるようになり、ダイエットなどを行う上での手助けになる。本発明を構成する各部は、比較的演算処理の少ない処理で実現でき、例えば携帯電話端末の如き端末装置に容易に組み込むことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施の形態の例の端末装置の内部構成を示すブロック図である。
【図２】本発明の第一の実施の形態の例による処理例を示すフローチャートである。
【図３】本発明の第一の実施の形態の例による正面画像、横面画像、背景画像の画像例を示す説明図である。
【図４】本発明の第一の実施の形態の例による背景差分結果の画像例を示す説明図である。
【図５】本発明の第一の実施の形態の例による肩、肘、手、腰、膝、ももの位置を検出するための画像例を示す説明図である。
【図６】本発明の第一の実施の形態の例による正面画像の関節の位置を特定した結果の画像例を示す説明図である。
【図７】本発明の第一の実施の形態の例による顔の大きさの比較したときの画像例を示す説明図である。
【図８】本発明の第一の実施の形態の例による画像間の比率と正面画像の長さを用いて横画像の関節位置を特定したときの画像例を示す説明図である。
【図９】本発明の第一の実施の形態の例による特定した結果から求められる各部位の範囲の画像例を示す説明図である。
【図１０】本発明の第一の実施の形態の例による各部位の範囲より体の各部位の領域の画像例を示す説明図である。
【図１１】本発明の第一の実施の形態の例による編集前の画像とポインタの画像例を示す説明図である。
【図１２】本発明で第一の実施の形態の例によるポインタ操作をして画像を編集した場合の画像例を示す説明図である。
【図１３】本発明の第一の実施の形態の例による画像編集結果とそのアドバイスの画像例を示す説明図である。
【図１４】本発明の第一の実施の形態の例によるダイエット予定表の画像例を示す説明図である。
【図１５】本発明の第二の実施の形態における処理例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
＜第一の実施の形態＞
以下、本発明の第一の実施の形態の例を、図１〜１４を参照して説明する。本実施の形態の例は、カメラ付携帯電話端末を利用したダイエット支援システムに適用した例である。
【００１４】
図１は、本発明の第一の実施形態例であるカメラ付携帯電話端末１００の内部構成例を示すブロック図である。カメラ付携帯電話端末１００は、マイクロプロセッサ等よりなる制御部１２０を備え、制御部１２０は、制御信号が伝送される制御ライン１５０又はデータが伝送されるデータライン１６０を介して、カメラ付携帯電話端末１００内の各部と接続されている。そして、制御部１２０はこれらのラインを通して各部と通信を行い、各部の動作制御を行う。
【００１５】
制御ライン１５０には、通信回路１０２と、表示部１０７と、操作部１０６と、メモリ１０５と、撮像制御部２０２が接続されている。また、データライン１６０には、テキストデータ、画像データ、音声データ等の種々の形態のデータを伝送されている。
【００１６】
通信回路１０２にはアンテナ１０１が接続してあり、通信回路１０２は、アンテナ１０１で得られた電波を復調して音声信号や映像信号を取り出す。また、データライン１６０を介して入力された音声信号を音声出力するスピーカ１０４に供給する。さらに周囲の音声を拾って音声信号に変換するマイクロフォン１０３から伝送された音声信号や制御部１２０で制御された信号を、電波に変換してアンテナ１０１に出力する処理を行う。
【００１７】
表示部１０７は、液晶パネル等で構成される表示パネルと、その表示パネルの駆動部とで構成され、着信した電話の電話番号や、アンテナ１０１を通して送受信される電子メールの文章等や、カメラ２０１からの撮像が表示される。操作部１０６は、数字などのダイヤルキーやその他の各種機能キーで構成される。そして、それらのキーがユーザに押下された場合に、操作内容に応じた操作信号を生成して制御部１２０に供給する。
【００１８】
メモリ１０５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶手段で構成される。メモリ１０５には、カメラ付携帯電話端末１００の制御に必要なソフトウェア等が格納されている。このソフトウェアの１つとして、後述するカメラ画像から理想の体系への画像を作成と解析を行い、その解析したデータからダイエット予定表と最適な運動方法の提示をするソフトウェアが予め用意してある。また、メモリ１０５には、制御部１２０で制御が行われる際に一時的に発生するデータ等も格納される。
【００１９】
撮像制御部２０２は、ユーザを撮像するカメラ２０１が接続してあり、制御部１２０からの撮影指示に応じてカメラ２０１を用いて撮影処理を実行し、撮影処理により得られた画像データをメモリ１０５に記憶する。制御部１２０は、撮像して得た画像データの解析や変換などを行う画像処理部としての機能も備える。
【００２０】
次に、図２のフローチャートを参照して、カメラ２０１が撮影した画像データから理想の体系への画像を作成と解析を行い、その解析したデータからダイエット予定表と最適な運動方法の提示をするまでの処理例について説明する。この図２のフローチャートに示した処理は、図１の構成で示した制御部１２０などの制御で実行されるものである。
【００２１】
まず、データの入力が、最初の入力又は再入力か、もしくは、前回保存しているデータを閲覧するかをユーザに操作部の操作で選択させ、その結果を判断する（ステップＳ１０１）。
【００２２】
ここで、初入力又は再入力であった場合は、ユーザの情報を入力する（ステップＳ１０２）。ここでは、ユーザの情報とは、ユーザ名、体重、身長、ダイエット期間、就寝時間を示す情報である。
【００２３】
次に、ユーザの正面画像、横面画像と背景画像を同一条件の基で撮像する（ステップＳ１０３）。このときの正面画像のユーザの姿勢は、両手を左右に開いてまっすぐ伸ばし、両足を開いた状態、つまり身体を大の字にした状態である（図３（ａ）を参照）。また、横面画像のユーザの姿勢は、身体自体を真横に向け、両手をまっすぐ目の前に伸ばした状態である（図３（ｂ）を参照）。背景画像は、正面画像と横面画像を撮像した同一条件（同一場所）で、ユーザのみを外して背景だけを撮像した画像である（図３（ｃ）を参照）。
【００２４】
その後、正面画像及び横面画像と、背景画像との差分の画像を得る。これにより、正面画像のシルエット画像と、横面画像のシルエット画像が作成される（ステップＳ１０４）。図４（ａ）は、正面画像のシルエット画像の例を示し、図４（ｂ）は、横面画像のシルエット画像の例を示す。
【００２５】
次に、作成された正面画像のシルエット画像を解析する。この解析状態を示したのが図５である。
【００２６】
まず、図５（ａ）に示すように正面画像のシルエット画像がある状態を想定すると、図５（ｂ）に示すように、正面画像のシルエット画像から重心位置（２−１）を決定する。次に、重心位置（２−１）から、左右垂直上にある胴体の左右の末端位置（２−２）を決定する。その後、正面画像のシルエット画像から、股の位置（２−３）、肩の位置（２−４）、頭の先端の位置（２−５）のそれぞれの位置を決定する。そして、その位置関係から胴体部分の矩形領域（２−６）を決定する。
【００２７】
次に、図５（ｃ）に示すように、正面画像のシルエット画像から首を含む頭部の重心位置（３−１）を決定する。頭部の重心位置（３−１）から、左右垂直上にある頭部の左右の末端位置（３−２）を決定する。その後、肩の位置（２−４）と頭の先端の位置（２−５）と頭部の左右の末端位置（３−２）の位置関係から、頭部の矩形領域（３−３）を決定する。
【００２８】
さらに、重心位置（２−１）と股の位置（２−３）と頭部の矩形領域（３−３）の位置関係から、首と胴体をつなぐ位置（３−４）を決定する。また、頭部の矩形領域（３−３）から、頭部の長さ（３−５）を決定することができる。
【００２９】
次に、図５（ｄ）に示すように、胴体部分の矩形領域（２−６）の右上の角の位置から、頭部の長さ（３−５）に所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）をかけた長さ分を下げた位置を、右肩の関節の位置（４−１）と決定する。なお、所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【００３０】
その後、図５（ｅ）に示すように、右肩の関節の位置（４−１）を基に、右の肘関節（４−２）の位置を以下の方法で決定する。
【００３１】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系、（ｘｒ、ｙｒ）は肩関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｒ＝ｒ×ｓｉｎθ、ｙｒ＝ｒ×ｃｏｓθ
よって、この極座標系の位置（ｒ、θ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、
ｘ＝Ｘ＋ｘｒ、ｙ＝Ｙ−ｙｒ
ｘ＝Ｘ＋ｒ×ｓｉｎθ、ｙ＝Ｙ−ｒ×ｃｏｓθ
となる。
【００３２】
まずは、右肩の関節の位置（４−１）から右肘の関節の位置（４−２）を決定する場合の例を示す。
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肩の関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【００３３】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置（４−ｂ）の座標を（ｘ、ｙ）＝（ｘｂ、ｙｂ）、（ｒ、θ）＝（ｒｔ、θｂ）とし、下部のほうの位置（４−ｃ）の座標を（ｘ、ｙ）＝（ｘｃ、ｙｃ）、（ｒ、θ）＝（ｒｔ、θｃ）とする。
【００３４】
そして、円周上で二つの節点の中点にある位置を右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を次の数１式により決定する。
【００３５】
【数１】
【００３６】
次に、右肘の関節の位置（４−２）から右手の位置（４−３）を決定する場合の例を示す。
【００３７】
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【００３８】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｂ２、ｙｂ２）、（ｒ、θ）＝（ｒｔ、θｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｃ２、ｙｃ２）、（ｒ、θ）＝（ｒｔ、θｃ２）とする。
【００３９】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘｃｅｎｔｅｒ２、ｙｃｅｎｔｅｒ２）を次の数２式により決定する。
【００４０】
【数２】
【００４１】
同様な方法で、左の肩、肘、手の位置を決定する。
【００４２】
次に、図５（ｆ）に示すように、胴体の腰の位置（５−１）を求める。これは、股の位置（２−３）の座標（ｘｈｊ、ｙｈｊ）の位置から、Ｙ軸の上方向に頭部の長さ（３−５）に所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）をかけた長さ分を上げた位置を、胴体の腰の位置（５−１）と決定する。なお、所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【００４３】
そして、右肘の関節の位置（４−２）を求めるときに用いた同様な方法で、右膝の関節の（５−２）、右足の位置（５−３）を決定する。
【００４４】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系、（ｘｆｒ、ｙｆｒ）は胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｆｒ＝ｒ×ｓｉｎθｆ、ｙｆｒ＝ｒ×ｃｏｓθｆ
よって、この極座標系の位置（ｒｆ、θｆ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、ｘ＝Ｘｆ＋ｘｆｒ、ｙ＝Ｙｆ−ｙｆｒ
ｘ＝Ｘｆ＋ｒ×ｓｉｎθｆ、ｙ＝Ｙｆ−ｒ×ｃｏｓθｆ
となる。
【００４５】
まずは、胴体の腰の位置（５−１）から右膝の関節の位置（５−２）を決定する場合の例を示す。
まず、頭の大きさより腰の位置（５−１）から膝の関節までの長さを推定して、ｒｆｔとする。節点探索は、胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【００４６】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の右側の位置の座標を（ｘ、ｙ）＝（ｘｆｂ、ｙｆｂ）、（ｒ、θ）＝（ｒｆｔ、θｆｂ）とし、左側の位置の座標を（ｘ、ｙ）＝（ｘｆｃ、ｙｆｃ）、（ｒ、θ）＝（ｒｆｔ、θｆｃ）とする。
そして、円周上で二つの節点の中点にある位置を右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を次の数３式により決定する。
【００４７】
【数３】
【００４８】
次に、右膝の関節の位置（５−２）から右足の位置（５−３）を決定する場合の例を示す。
【００４９】
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｆｔとする。節点探索は、右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【００５０】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｂ２、ｙｆｂ２）、（ｒ、θ）＝（ｒｆｔ、θｆｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｃ２、ｙｆｃ２）、（ｒ、θ）＝（ｒｆｔ、θｆｃ２）とする。
【００５１】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘＲ−Ｋｎｅｅ２、ｙＲ−Ｋｎｅｅ２）を次の数４式により決定する。
【００５２】
【数４】
【００５３】
同様な方法で、左の膝、左足の位置を決定する。
【００５４】
以上により、正面画像から、各関節の位置の推定ができる（ステップＳ１０５）。図６の画像は、このようにして各関節の位置の推定を行って、各関節の位置を表示させた例である。
【００５５】
次に、正面画像の関節位置より、横画像の各部位の範囲の決定を行う。
【００５６】
まず、図７に示すように、正面画像での顔の領域と横面画像での顔の領域を決定する。このときの正面画像での顔の画像の縦の長さを（７−１）、横画像での顔の縦の長さを（７−２）とする。正面画像での顔の縦の長さを基準とした横画像の顔の縦の長さの比率（Ｒａｔｉｏ）は、
Ｒａｔｉｏ＝｛（７−２）／（７−１）｝
となる。
【００５７】
次に、図８に示すように、各関節の位置の特定した正面画像から、頭の先端の位置（２−５）を基準として、各関節位置までの距離を求める。頭の先端の位置（２−５）から肩の位置（２−４）までの長さを（８−１）、頭の先端の位置（２−５）から腰の位置（５−１）までの長さを（８−２）、頭の先端の位置（２−５）から膝の位置（５−２）までの長さを（８−３）とする。
そして、この各関節の位置と比率（Ｒａｔｉｏ）から、横画像の各関節位置の長さが決定することができる。
（８−４）＝（８−１）×Ｒａｔｉｏ
（８−５）＝（８−２）×Ｒａｔｉｏ
（８−６）＝（８−３）×Ｒａｔｉｏ
（８−４）は頭の先端の位置から肩の位置までの長さ、（８−５）は頭の先端の位置から腰の位置までの長さ、（８−６）は頭の先端の位置から膝の位置までの長さとなる。
【００５８】
これにより、図９に示すように、横面画像での肩、腰、膝の位置が決定することができる。さらに、位置が確定されたことにより、図１０に示したように、横面画像を腕、おなか、もも、背中、お尻の５つの部位範囲にする（ステップＳ１０６）。例えば、肩の位置から突き出ている部分を腕の部位とする。身体の正中線の前面では、肩の位置から腰までの部分をおなかの部位とし、腰の位置から膝までの部分をももの部位とする。そして、身体の正中線の後面では、肩の位置から腰までの部分を背中の部位とし、腰の位置から膝までの部分をお尻という部位とする。
【００５９】
さらに、関節位置や各部位に区分けされたことにより、横面画像の部位ごとの単位画素当りの体重を計算する（ステップＳ１０７）。ここでは、１画素（１ピクセル）当りの体重を計算する。ただし、体重は部位ごとに一様ではないため、体重配分は考慮されているものとする。
【００６０】
次に、各部位に範囲分けされた横面画像を編集して、理想の体型画像にする作業を行う（ステップＳ１０８）。例えば、図１１に示すように、編集する横面画像上にあるポインタを動かして各部位のエリアの部分をクリックすることで、画像の体の部分が増減する。予め、各部位の画像の画素数を調べておき、クリックした回数に応じてその画素数を変化させる。つまり、この増減の操作を行うことで、自身の理想の体型画像を作成することができるということである。
【００６１】
図１２は、おなか、背中、お尻、もも、腕の各部位を操作部１０６で操作した場合の画像例を示したものである。
【００６２】
図１２（ａ）の例は、操作部１０６で操作しているポインタでおなかの部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６３】
図１２（ｂ）の例は、操作部１０６で操作しているポインタで背中の部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６４】
図１２（ｃ）の例は、操作部１０６で操作しているポインタでお尻の部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６５】
図１２（ｄ）の例は、操作部１０６で操作しているポインタでももの部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６６】
図１２（ｅ）の例は、操作部１０６で操作しているポインタで腕の部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６７】
初めに撮像した横面画像と編集した横面画像を比較して、各部位の画素数の変化量を算出する（ステップＳ１０９）。その後、部位ごとの１［ｐｉｘｅｌ］あたりの体重と各部位の画素数の変化量から、部位ごとの体重を算出する。そして、部位ごとの体重を合計した体重を算出する（ステップＳ１１０）。
【００６８】
その部位ごとに変化した体重の計算式の例は、以下に示す。
初めに撮像した横面画像からの各部位の画素の総数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ＿ｉ）［ｐｉｘｅｌ］と編集した横面画像からの各部位の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）［ｐｉｘｅｌ］より、各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ）［ｐｉｘｅｌ］が求まる。
（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ）＝［（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ＿ｉ）―（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）］
【００６９】
次に、部位ごとの１［ｐｉｘｅｌ］あたりの重さ（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）を次の数５式により計算する。
【００７０】
【数５】
【００７１】
なお、（Ｗｅｉｇｈｔ＿Ｏｒｇ）は初めにユーザ情報として入力した体重とし、（Ｐａｒａｍｅｔｅｒ＿ｉ）は部位ごとのパラメータとなる。
【００７２】
この部位ごとの１［ｐｉｘｅｌ］あたりの重さ（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）と各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ） ［ｐｉｘｅｌ］より、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｇ］が計算できる。
（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）＝（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ）×（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）
【００７３】
さらに、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｇ］を全て合計することで、体全体での差分の体重量（Ｗｅｉｇｈｔ＿Ｄｏｗｎ）［ｋｇ］が次の数６式により算出される。
【００７４】
【数６】
【００７５】
なお、各々の特徴量の添え字ｉは、各部位の番号を示している。例えば、ｉ＝１は腕、ｉ＝２はおなか、ｉ＝３は膝、ｉ＝４はせなか、ｉ＝５はお尻を示している。
【００７６】
また、上述で算出された差分の体重とカロリの関係は、一般的に以下の式で成り立つ。
８０００［ｋｃａｌ］＝１[ｋｇ]
これにより、部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｃａｌ］と、体全体からの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｄｏｗｎ）［ｋｃａｌ］が、以下の式から求まる。
（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）＝（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）×８０００
（Ｋｃａｌ＿Ｄｏｗｎ）＝（Ｗｅｉｇｈｔ＿Ｄｏｗｎ）×８０００
【００７７】
次に、部位ごとの差分の体重量と体全体からの差分の体重量及びそれらのカロリ量より、ダイエット予定表を作成する（ステップＳ１１１）そして、このダイエット予定表から、一日あたりの運動目標カロリを推定する（ステップＳ１１２）。
【００７８】
その後、編集した横面画像をカメラ付携帯電話１００の表示画面に表示する。さらに、図１３に示すように、部位の中で最も変化があった部位と体全体からの差分の体重量を表示する。例えば、最も変化があった部位が順に「おなか、せなか、お尻」だった場合は、「１位はおなか、２位はせなか、３位はお尻」の表示と１−３位までを総合した体重量をも表示させる。
【００７９】
次に、カメラ付携帯電話端末１００の表示画面には、現在の横面画像、編集した横面画像、ダイエット予定表及び一日あたりの運動目標カロリを同時に表示する（ステップＳ１１３、図１４を参照）。同時に、表示させたデータを保存する（ステップＳ１１４）。
【００８０】
それから、各部位の変化があった範囲を基に最適な運動方法の提案を受けることができる（ステップＳ３０１）。まず、各部位の変化のあった範囲がどのくらいの変化があったかを認識する（ステップＳ３０２）。例えば、その変化量を部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｃａｌ］としてもよい。
そして、その各部位の変化量を基に、理想の体型になるために効果がある最適な運動方法を部位ごとに提案する（ステップＳ３０３）。
【００８１】
一方、図２のフローチャートのステップＳ１０１において、前回保存しているデータを閲覧することを選択した場合は、前回保存した現在の横面画像、編集した横面画像、ダイエット予定表及び一日あたりの運動目標カロリを再表示する（ステップＳ２０１）。そして、再度、最適な運動方法の提案を閲覧することができる。
【００８２】
これにより、同一条件において撮像された正面画像、横面画像、背景画像に本発明の部位検出アルゴリズムを適用させることで、ユーザの身体各部位を容易に特定することができる。つまり、本実施の形態の例の部位検出アルゴリズムは制御情報の容量が小さく、簡単な計算式となったことである。そして、本実施の形態で適用したような携帯電話端末などの限られた資源しか持たない、携帯用の情報処理機器にも容易に身体各部位を特定する機能を搭載することが可能となる。
【００８３】
また、横面画像を身体各部位に特定することができることで、ポインタ操作で横面画像を理想の体型に簡単に編集することができる。そして、編集した横面画像から、理想の体型になるための減らす体重や一日あたりの消費カロリ、ダイエット予定表を作成、表示されることにより、ユーザに強い視覚的な刺激を与えることができる。その結果、ユーザのダイエットに効果的に寄与することが可能となる。
【００８４】
さらに、横面画像、編集した横面画像、一日あたりの消費カロリ、ダイエット予定表は、メモリ１０５に記録されるので、いつでも再閲覧は可能である。
【００８５】
＜第二の実施の形態＞
以下に、図１５を参照して、本発明の第二の実施の形態の例について説明する。
本実施の形態の例は、第一の実施の形態の例で説明した処理構成に、ユーザの新たな情報を追加することで予定表の状況推移がわかる機能を加えた場合の例である。本例におけるシステムの内部構成は、図１に示した構成と同一であるため、システム構成については説明を省略する。
【００８６】
図１５のフローチャートを参照して、カメラ２０１が撮影した画像データから理想の体系への画像を作成と解析を行い、その解析したデータからダイエット予定表と最適な運動方法の提示をするまでの処理例について説明する。
【００８７】
まず、データの入力が、最初の入力又は再入力か、もしくは、前回保存しているデータを閲覧するかをユーザに操作部の操作で選択させ、その結果を判断する（ステップＳ１０１）。
【００８８】
ステップＳ１０１の判断で初入力又は再入力をする場合には、処理終了までは、第一の実施の形態の例で説明した図２の処理と同一であるために、ここでは処理の説明を省略する。
【００８９】
ステップＳ１０１の判断で、前回保存しているデータを閲覧することを選択した場合は、前回保存したデータを呼び出す（ステップＳ２０２）。
【００９０】
次に、ユーザの正面画像と横面画像と背景画像を同一条件の基で撮像する（ステップＳ２０３）。このときの正面画像と横面画像と背景画像は、例えば図３に示した画像である。
【００９１】
その後、図４に示したように、正面画像と背景画像との差分から正面画像のシルエット画像を得、横面画像と背景画像との差分から横面画像のシルエット画像を得る（ステップＳ２０４）。
【００９２】
次に、作成された正面画像のシルエット画像を解析する。
【００９３】
まず、図５（ｂ）に示すように、正面画像のシルエット画像から重心位置（２−１）を決定する。次に、重心位置（２−１）から、左右垂直上にある胴体の左右の末端位置（２−２）を決定する。その後、正面画像のシルエット画像から、股の位置（２−３）、肩の位置（２−４）、頭の先端の位置（２−５）のそれぞれの位置を決定する。そして、その位置関係から胴体部分の矩形領域（２−６）を決定する。
【００９４】
次に、図５（ｃ）に示すように、正面画像のシルエット画像から首を含む頭部の重心位置（３−１）を決定する。頭部の重心位置（３−１）から、左右垂直上にある頭部の左右の末端位置（３−２）を決定する。その後、肩の位置（２−４）と頭の先端の位置（２−５）と頭部の左右の末端位置（３−２）の位置関係から、頭部の矩形領域（３−３）を決定する。
【００９５】
さらに、重心位置（２−１）と股の位置（２−３）と頭部の矩形領域（３−３）の位置関係から、首と胴体をつなぐ位置（３−４）を決定する。また、頭部の矩形領域（３−３）から、頭部の長さ（３−５）を決定する。
【００９６】
次に、図５（ｄ）に示すように、胴体部分の矩形領域（２−６）の右上の角の位置から、頭部の長さ（３−５）に所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）をかけた長さ分を下げた位置を、右肩の関節の位置（４−１）と決定する。なお、所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【００９７】
その後、右肩の関節の位置（４−１）を基に、右の肘関節（４−２）の位置を以下の方法で決定する。
【００９８】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系（ｘｒ、ｙｒ）は肩関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｒ＝ｒ×ｓｉｎθ、ｙｒ＝ｒ×ｃｏｓθ
よって、この極座標系の位置（ｒ、θ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、
ｘ＝Ｘ＋ｘｒ、ｙ＝Ｙ−ｙｒ
ｘ＝Ｘ＋ｒ×ｓｉｎθ、ｙ＝Ｙ−ｒ×ｃｏｓθ
となる。
【００９９】
まずは、右肩の関節の位置（４−１）から右肘の関節の位置（４−２）を決定する場合の例を示す。
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肩の関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【０１００】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置（４−ｂ）の座標を（ｘ、ｙ）＝（ｘｂ、ｙｂ）、（ｒ、θ）＝（ｒｔ、θｂ）とし、下部のほうの位置（４−ｃ）の座標を（ｘ、ｙ）＝（ｘｃ、ｙｃ）、（ｒ、θ）＝（ｒｔ、θｃ）とする。
【０１０１】
そして、円周上で二つの節点の中点にある位置を右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を次の数７式により決定する。
【０１０２】
【数７】
【０１０３】
次に、右肘の関節の位置（４−２）から右手の位置（４−３）を決定する場合の例を示す。
【０１０４】
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【０１０５】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｂ２、ｙｂ２）、（ｒ、θ）＝（ｒｔ、θｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｃ２、ｙｃ２）、（ｒ、θ）＝（ｒｔ、θｃ２）とする。
【０１０６】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘｃｅｎｔｅｒ２、ｙｃｅｎｔｅｒ２）を次の数８式により決定する。
【０１０７】
【数８】
【０１０８】
同様な処理手順で、左の肩、肘、手の位置を決定する。
【０１０９】
次に、図５（ｆ）に示すように、胴体の腰の位置（５−１）を求める。これは、股の位置（２−３）の座標（ｘｈｊ、ｙｈｊ）の位置から、Ｙ軸の上方向に頭部の長さ（３−５）に所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）をかけた長さ分を上げた位置を、胴体の腰の位置（５−１）と決定する。なお、所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【０１１０】
そして、右肘の関節の位置（４−２）を求めるときに用いた同様な方法で、右膝の関節の（５−２）、右足の位置（５−３）を決定する。
【０１１１】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系、（ｘｆｒ、ｙｆｒ）は胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｆｒ＝ｒ×ｓｉｎθｆ、ｙｆｒ＝ｒ×ｃｏｓθｆ
よって、この極座標系の位置（ｒｆ、θｆ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、
ｘ＝Ｘｆ＋ｘｆｒ、ｙ＝Ｙｆ−ｙｆｒ
ｘ＝Ｘｆ＋ｒ×ｓｉｎθｆ、ｙ＝Ｙｆ−ｒ×ｃｏｓθｆ
となる。
【０１１２】
まずは、胴体の腰の位置（５−１）から右膝の関節の位置（５−２）を決定する場合の例を示す。
まず、頭の大きさより腰の位置（５−１）から膝の関節までの長さを推定して、ｒｆｔとする。節点探索は、胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【０１１３】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の右側の位置の座標を（ｘ、ｙ）＝（ｘｆｂ、ｙｆｂ）、（ｒ、θ）＝（ｒｆｔ、θｆｂ）とし、左側の位置の座標を（ｘ、ｙ）＝（ｘｆｃ、ｙｆｃ）、（ｒ、θ）＝（ｒｆｔ、θｆｃ）とする。
そして、円周上で二つの節点の中点にある位置を右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を次の数９式により決定する。
【０１１４】
【数９】
【０１１５】
次に、右膝の関節の位置（５−２）から右足の位置（５−３）を決定する場合の例を示す。
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｆｔとする。節点探索は、右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【０１１６】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｂ２、ｙｆｂ２）、（ｒ、θ）＝（ｒｆｔ、θｆｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｃ２、ｙｆｃ２）、（ｒ、θ）＝（ｒｆｔ、θｆｃ２）とする。
【０１１７】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘＲ−Ｋｎｅｅ２、ｙＲ−Ｋｎｅｅ２）を次の数１０式により決定する。
【０１１８】
【数１０】
【０１１９】
同様な処理手順で、左の膝、左足の位置を決定する。
【０１２０】
以上により、図６に示すように、正面画像から、各関節の位置の推定ができる（ステップＳ２０５）。
【０１２１】
次に、正面画像の関節位置より、横画像の各部位の範囲の決定を行う。
【０１２２】
まず、図７に示すように、正面画像での顔の領域と横面画像での顔の領域を決定する。このときの正面画像での顔の画像の縦の長さを（７−１）、横画像での顔の縦の長さを（７−２）とする。正面画像での顔の縦の長さを基準とした横画像の顔の縦の長さの比率（Ｒａｔｉｏ）は、
Ｒａｔｉｏ＝｛（７−２）／（７−１）｝
となる。
【０１２３】
次に、各関節の位置の特定した正面画像から、頭の先端の位置（２−５）を基準として、各関節位置までの距離を求める。即ち、図８に示すように、頭の先端の位置（２−５）から肩の位置（２−４）までの長さを（８−１）、頭の先端の位置（２−５）から腰の位置（５−１）までの長さを（８−２）、頭の先端の位置（２−５）から膝の位置（５−２）までの長さを（８−３）とする。
そして、この各関節の位置と比率（Ｒａｔｉｏ）から、横画像の各関節位置の長さが決定することができる。
（８−４）＝（８−１）×Ｒａｔｉｏ
（８−５）＝（８−２）×Ｒａｔｉｏ
（８−６）＝（８−３）×Ｒａｔｉｏ
（８−４）は頭の先端の位置から肩の位置までの長さ、（８−５）は頭の先端の位置から腰の位置までの長さ、（８−６）は頭の先端の位置から膝の位置までの長さとなる。
【０１２４】
これにより、図９に示すように、横面画像での肩、腰、膝の位置が決定することができる（図９参照）。さらに、位置が確定されたことにより、横面画像を腕、おなか、もも、背中、お尻の５つの部位範囲にすることができる。例えば、肩の位置から突き出ている部分を腕の部位とする。身体の正中線の前面では、肩の位置から腰までの部分をおなかの部位とし、腰の位置から膝までの部分をももの部位とする。そして、図１０に示すように、身体の正中線の後面では、肩の位置から腰までの部分を背中の部位とし、腰の位置から膝までの部分をお尻という部位とする（ステップＳ２０６）。
【０１２５】
新たに撮像した横面画像と保存したデータにある編集した横面画像を比較して、各部位の画素数の変化量を算出する（ステップＳ２０７）。その後、保存したデータにある部位ごとの単位画素あたり（ここでは１画素あたり）の体重と各部位の画素数の変化量から、部位ごとの体重を算出する。そして、部位ごとの体重を合計した体重を算出する（ステップＳ２０８）。
【０１２６】
その部位ごとに変化した体重の計算式の例は、以下に示す。
新たに撮像した横面画像からの各部位の画素の総数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ２＿ｉ）［ｐｉｘｅｌ］と保存したデータにある編集した横面画像からの各部位の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）［ｐｉｘｅｌ］より、各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）［ｐｉｘｅｌ］が求まる。
（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）＝［（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ２＿ｉ）―（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）］
【０１２７】
保存したデータにある部位ごとの１［ｐｉｘｅｌ］あたりの重さ（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）と各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）［ｐｉｘｅｌ］より、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｇ］が計算できる。
（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）＝（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）×（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）
【０１２８】
さらに、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｇ］を全て合計することで、体全体での差分の体重量（Ｗｅｉｇｈｔ＿Ｄｏｗｎ２）［ｋｇ］が次の数１１式により算出される。
【０１２９】
【数１１】
なお、各々の特徴量の添え字ｉは、各部位の番号を示している。例えば、ｉ＝１は腕、ｉ＝２はおなか、ｉ＝３は膝、ｉ＝４はせなか、ｉ＝５はお尻を示している。
【０１３０】
また、上述で算出された差分の体重とカロリの関係は、一般的に以下の式で成り立つ。
８０００［ｋｃａｌ］＝１[ｋｇ]
これにより、部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｃａｌ］と、体全体からの差分の体重量（Ｋｃａｌ＿Ｄｏｗｎ２）［ｋｃａｌ］が、以下の式から求まる。
（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）＝（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）×８０００
（Ｋｃａｌ＿Ｄｏｗｎ２）＝（Ｗｅｉｇｈｔ＿Ｄｏｗｎ２）×８０００
【０１３１】
次に、部位ごとの差分の体重量と体全体からの差分の体重量及びそれらのカロリ量より、現在の部位ごとの体重と現在の体重の情報をダイエット予定表に追記する（ステップＳ２０９）。さらに、このダイエット予定表から、一日あたりの運動目標カロリを再度、推定する（ステップＳ２１０）。
【０１３２】
次に、カメラ付携帯電話端末１００の表示画面は、図１４に示すように、新たに撮像した横面画像、保存したデータにある編集した横面画像、新たな体重の情報を追記したダイエット予定表及び再度推定した一日あたりの運動目標カロリを同時に表示する（ステップＳ２１１）。同時に、表示させたデータを保存する（ステップＳ２１２）。
【０１３３】
それから、新たに撮像した横面画像と保存したデータにある編集した横面画像との比較により、各部位の変化があった範囲を基に最適な運動方法の提案を受けることができる（ステップＳ３０１）。まず、各部位の変化のあった範囲がどのくらいの変化があったかを認識する（ステップＳ３０２）。例えば、その変化量を部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｃａｌ］としてもよい。
そして、図１３に示すように、その各部位の変化量を基に、理想の体型になるために効果がある最適な運動方法を部位ごとに提案する（ステップＳ３０３）。
【０１３４】
これにより、同一条件において撮像された正面画像、横面画像、背景画像に、本実施の形態での部位検出アルゴリズムを適用させることで、ユーザの身体各部位を容易に特定することができる。つまり、本実施の形態による部位検出アルゴリズムは制御情報の容量が小さく、簡単な計算式となったことである。そして、携帯電話端末末などの限られた資源しか持たない機器にも身体各部位を特定する機能を搭載することが可能となる。
【０１３５】
また、横面画像を身体各部位に特定することができることで、ポインタ操作で横面画像を理想の体型に簡単に編集することができる。そして、編集した横面画像から、理想の体型になるための減らす体重や一日あたりの消費カロリ、ダイエット予定表を作成、表示されることにより、ユーザに強い視覚的な刺激を与えることができる。その結果、ユーザのダイエットに効果的に寄与することが可能となる。
【０１３６】
さらに、再閲覧のときには、現状での正面画像、横面画像、背景画像の撮像を行い、本実施の形態の部位検出アルゴリズムを適用させて、ユーザの身体各部位の状況を確認することができる。そして、現状のユーザ身体各部位の状況をダイエット予定表に記載を行うことで、ユーザは正確かつ客観的に自己の身体状態または体型的な変化を把握することが可能となる。
【符号の説明】
【０１３７】
１００…カメラ付携帯電話、１０１…アンテナ、１０２…通信回路、１０３…マイクロフォン、１０４…スピーカ、１０５…メモリ、１０６…操作部、１０７…表示部、１２０…制御部、１５０…制御ライン、１６０…データライン、２０１…カメラ、２０２…撮像制御部
【技術分野】
【０００１】
本発明は、例えばカメラ付きの携帯電話端末に適用して好適な端末装置及び画像処理方法、並びにその画像処理方法を適用したプログラムに関する。
【背景技術】
【０００２】
従来、カメラで人物の撮像を行って、その撮像して得た画像信号から、その人物の関節の位置を推定することが行われている。
従来の関節位置の推定技術の１つとして、モーションキャプチャシステムを用いる技術がある。 現在使用されているモーションキャプチャには、動きを計測するために使用するセンサの違いによって、磁気式、機械式、光学式などがあるが、いずれの方式でも、一般に何らかのセンサまたはマーカを利用者の身につける必要がある。そして、その取付けたセンサまたはマーカを撮像信号から検出して、利用者の体の動きを検出して、その利用者の手足などの関節位置を推定する（特許文献１参照）。
【０００３】
そのため、身に付けたセンサまたはマーカによって動きが拘束され、またセンサやマーカの着脱に多くの時間が掛かるという問題がある。また、専用のマーカやセンサを必要とするためにシステムが高価であり、さらにセンサ設置のために専用のスタジオを必要とするといった問題がある。
【０００４】
また、近年、上記の問題点を解決するために、センサやマーカを身体に取り付けず、利用者の動きをカメラで撮影し、撮影した画像を解析することで関節位置を推定するマーカレスモーションキャプチャシステムが研究されている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−８０４４号公報
【非特許文献】
【０００６】
【非特許文献１】「人体の構造に基づいた単一画像からの姿勢推定手法」、画像の認識・理解シンポジウム（ＭＩＲＵ２００７）、２００７年７月、ＩＳ−５−３４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、これらの技術は、予め様々な人体の構造モデル等が格納した大容量データベースを用意し、身体各部位を特定するための複雑な処理を行うためのハイスペックなＰＣを用意することを前提としている。そのため、計算量が非常に大きくなり、利用者が携帯できる程度の小型の端末装置に適用することは困難である。例えば、携帯電話端末にはカメラが内蔵されたものが近年普及しているが、そのような携帯電話端末に内蔵されたカメラを使って人体を撮影して、関節位置を推定するようなことは困難である。携帯電話端末の如き小型の携帯端末で、関節位置の推定が可能であれば、その推定に基づいて各種アプリケーションプログラムの実行が可能となるが、現状では不可能である。
【０００８】
本発明はかかる点に鑑みてなされたものであり、身体を含む画像から、正確かつ高速に身体の関節位置および身体部位情報を検出して、その検出した情報を利用した端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像して得た画像信号より、被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて人物の体の部位の範囲を決定し、その決定した部位の範囲を示した画像信号とする画像処理を行う。
そして、画像処理で得られた画像信号を表示させる表示処理を行い、その画像処理で決定した体の部位の範囲を変化させる指示を行う操作処理を行う。
【００１０】
このようにしたことで、撮像して得た画像信号から関節位置を推定した結果に基づいて、撮像した人物の体型が判るようになる。その体型が画像として表示されるようになり、操作に基づいて表示される体型が変更できるようになる。
【発明の効果】
【００１１】
本発明によると、撮像した人物の体型が表示画像から判るようになる。そして、その表示された体型が、操作に基づいて変更できることで、撮像した人物が痩せた場合や太った場合の様子が表示されるようになり、ダイエットなどを行う上での手助けになる。本発明を構成する各部は、比較的演算処理の少ない処理で実現でき、例えば携帯電話端末の如き端末装置に容易に組み込むことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施の形態の例の端末装置の内部構成を示すブロック図である。
【図２】本発明の第一の実施の形態の例による処理例を示すフローチャートである。
【図３】本発明の第一の実施の形態の例による正面画像、横面画像、背景画像の画像例を示す説明図である。
【図４】本発明の第一の実施の形態の例による背景差分結果の画像例を示す説明図である。
【図５】本発明の第一の実施の形態の例による肩、肘、手、腰、膝、ももの位置を検出するための画像例を示す説明図である。
【図６】本発明の第一の実施の形態の例による正面画像の関節の位置を特定した結果の画像例を示す説明図である。
【図７】本発明の第一の実施の形態の例による顔の大きさの比較したときの画像例を示す説明図である。
【図８】本発明の第一の実施の形態の例による画像間の比率と正面画像の長さを用いて横画像の関節位置を特定したときの画像例を示す説明図である。
【図９】本発明の第一の実施の形態の例による特定した結果から求められる各部位の範囲の画像例を示す説明図である。
【図１０】本発明の第一の実施の形態の例による各部位の範囲より体の各部位の領域の画像例を示す説明図である。
【図１１】本発明の第一の実施の形態の例による編集前の画像とポインタの画像例を示す説明図である。
【図１２】本発明で第一の実施の形態の例によるポインタ操作をして画像を編集した場合の画像例を示す説明図である。
【図１３】本発明の第一の実施の形態の例による画像編集結果とそのアドバイスの画像例を示す説明図である。
【図１４】本発明の第一の実施の形態の例によるダイエット予定表の画像例を示す説明図である。
【図１５】本発明の第二の実施の形態における処理例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
＜第一の実施の形態＞
以下、本発明の第一の実施の形態の例を、図１〜１４を参照して説明する。本実施の形態の例は、カメラ付携帯電話端末を利用したダイエット支援システムに適用した例である。
【００１４】
図１は、本発明の第一の実施形態例であるカメラ付携帯電話端末１００の内部構成例を示すブロック図である。カメラ付携帯電話端末１００は、マイクロプロセッサ等よりなる制御部１２０を備え、制御部１２０は、制御信号が伝送される制御ライン１５０又はデータが伝送されるデータライン１６０を介して、カメラ付携帯電話端末１００内の各部と接続されている。そして、制御部１２０はこれらのラインを通して各部と通信を行い、各部の動作制御を行う。
【００１５】
制御ライン１５０には、通信回路１０２と、表示部１０７と、操作部１０６と、メモリ１０５と、撮像制御部２０２が接続されている。また、データライン１６０には、テキストデータ、画像データ、音声データ等の種々の形態のデータを伝送されている。
【００１６】
通信回路１０２にはアンテナ１０１が接続してあり、通信回路１０２は、アンテナ１０１で得られた電波を復調して音声信号や映像信号を取り出す。また、データライン１６０を介して入力された音声信号を音声出力するスピーカ１０４に供給する。さらに周囲の音声を拾って音声信号に変換するマイクロフォン１０３から伝送された音声信号や制御部１２０で制御された信号を、電波に変換してアンテナ１０１に出力する処理を行う。
【００１７】
表示部１０７は、液晶パネル等で構成される表示パネルと、その表示パネルの駆動部とで構成され、着信した電話の電話番号や、アンテナ１０１を通して送受信される電子メールの文章等や、カメラ２０１からの撮像が表示される。操作部１０６は、数字などのダイヤルキーやその他の各種機能キーで構成される。そして、それらのキーがユーザに押下された場合に、操作内容に応じた操作信号を生成して制御部１２０に供給する。
【００１８】
メモリ１０５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶手段で構成される。メモリ１０５には、カメラ付携帯電話端末１００の制御に必要なソフトウェア等が格納されている。このソフトウェアの１つとして、後述するカメラ画像から理想の体系への画像を作成と解析を行い、その解析したデータからダイエット予定表と最適な運動方法の提示をするソフトウェアが予め用意してある。また、メモリ１０５には、制御部１２０で制御が行われる際に一時的に発生するデータ等も格納される。
【００１９】
撮像制御部２０２は、ユーザを撮像するカメラ２０１が接続してあり、制御部１２０からの撮影指示に応じてカメラ２０１を用いて撮影処理を実行し、撮影処理により得られた画像データをメモリ１０５に記憶する。制御部１２０は、撮像して得た画像データの解析や変換などを行う画像処理部としての機能も備える。
【００２０】
次に、図２のフローチャートを参照して、カメラ２０１が撮影した画像データから理想の体系への画像を作成と解析を行い、その解析したデータからダイエット予定表と最適な運動方法の提示をするまでの処理例について説明する。この図２のフローチャートに示した処理は、図１の構成で示した制御部１２０などの制御で実行されるものである。
【００２１】
まず、データの入力が、最初の入力又は再入力か、もしくは、前回保存しているデータを閲覧するかをユーザに操作部の操作で選択させ、その結果を判断する（ステップＳ１０１）。
【００２２】
ここで、初入力又は再入力であった場合は、ユーザの情報を入力する（ステップＳ１０２）。ここでは、ユーザの情報とは、ユーザ名、体重、身長、ダイエット期間、就寝時間を示す情報である。
【００２３】
次に、ユーザの正面画像、横面画像と背景画像を同一条件の基で撮像する（ステップＳ１０３）。このときの正面画像のユーザの姿勢は、両手を左右に開いてまっすぐ伸ばし、両足を開いた状態、つまり身体を大の字にした状態である（図３（ａ）を参照）。また、横面画像のユーザの姿勢は、身体自体を真横に向け、両手をまっすぐ目の前に伸ばした状態である（図３（ｂ）を参照）。背景画像は、正面画像と横面画像を撮像した同一条件（同一場所）で、ユーザのみを外して背景だけを撮像した画像である（図３（ｃ）を参照）。
【００２４】
その後、正面画像及び横面画像と、背景画像との差分の画像を得る。これにより、正面画像のシルエット画像と、横面画像のシルエット画像が作成される（ステップＳ１０４）。図４（ａ）は、正面画像のシルエット画像の例を示し、図４（ｂ）は、横面画像のシルエット画像の例を示す。
【００２５】
次に、作成された正面画像のシルエット画像を解析する。この解析状態を示したのが図５である。
【００２６】
まず、図５（ａ）に示すように正面画像のシルエット画像がある状態を想定すると、図５（ｂ）に示すように、正面画像のシルエット画像から重心位置（２−１）を決定する。次に、重心位置（２−１）から、左右垂直上にある胴体の左右の末端位置（２−２）を決定する。その後、正面画像のシルエット画像から、股の位置（２−３）、肩の位置（２−４）、頭の先端の位置（２−５）のそれぞれの位置を決定する。そして、その位置関係から胴体部分の矩形領域（２−６）を決定する。
【００２７】
次に、図５（ｃ）に示すように、正面画像のシルエット画像から首を含む頭部の重心位置（３−１）を決定する。頭部の重心位置（３−１）から、左右垂直上にある頭部の左右の末端位置（３−２）を決定する。その後、肩の位置（２−４）と頭の先端の位置（２−５）と頭部の左右の末端位置（３−２）の位置関係から、頭部の矩形領域（３−３）を決定する。
【００２８】
さらに、重心位置（２−１）と股の位置（２−３）と頭部の矩形領域（３−３）の位置関係から、首と胴体をつなぐ位置（３−４）を決定する。また、頭部の矩形領域（３−３）から、頭部の長さ（３−５）を決定することができる。
【００２９】
次に、図５（ｄ）に示すように、胴体部分の矩形領域（２−６）の右上の角の位置から、頭部の長さ（３−５）に所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）をかけた長さ分を下げた位置を、右肩の関節の位置（４−１）と決定する。なお、所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【００３０】
その後、図５（ｅ）に示すように、右肩の関節の位置（４−１）を基に、右の肘関節（４−２）の位置を以下の方法で決定する。
【００３１】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系、（ｘｒ、ｙｒ）は肩関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｒ＝ｒ×ｓｉｎθ、ｙｒ＝ｒ×ｃｏｓθ
よって、この極座標系の位置（ｒ、θ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、
ｘ＝Ｘ＋ｘｒ、ｙ＝Ｙ−ｙｒ
ｘ＝Ｘ＋ｒ×ｓｉｎθ、ｙ＝Ｙ−ｒ×ｃｏｓθ
となる。
【００３２】
まずは、右肩の関節の位置（４−１）から右肘の関節の位置（４−２）を決定する場合の例を示す。
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肩の関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【００３３】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置（４−ｂ）の座標を（ｘ、ｙ）＝（ｘｂ、ｙｂ）、（ｒ、θ）＝（ｒｔ、θｂ）とし、下部のほうの位置（４−ｃ）の座標を（ｘ、ｙ）＝（ｘｃ、ｙｃ）、（ｒ、θ）＝（ｒｔ、θｃ）とする。
【００３４】
そして、円周上で二つの節点の中点にある位置を右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を次の数１式により決定する。
【００３５】
【数１】
【００３６】
次に、右肘の関節の位置（４−２）から右手の位置（４−３）を決定する場合の例を示す。
【００３７】
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【００３８】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｂ２、ｙｂ２）、（ｒ、θ）＝（ｒｔ、θｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｃ２、ｙｃ２）、（ｒ、θ）＝（ｒｔ、θｃ２）とする。
【００３９】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘｃｅｎｔｅｒ２、ｙｃｅｎｔｅｒ２）を次の数２式により決定する。
【００４０】
【数２】
【００４１】
同様な方法で、左の肩、肘、手の位置を決定する。
【００４２】
次に、図５（ｆ）に示すように、胴体の腰の位置（５−１）を求める。これは、股の位置（２−３）の座標（ｘｈｊ、ｙｈｊ）の位置から、Ｙ軸の上方向に頭部の長さ（３−５）に所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）をかけた長さ分を上げた位置を、胴体の腰の位置（５−１）と決定する。なお、所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【００４３】
そして、右肘の関節の位置（４−２）を求めるときに用いた同様な方法で、右膝の関節の（５−２）、右足の位置（５−３）を決定する。
【００４４】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系、（ｘｆｒ、ｙｆｒ）は胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｆｒ＝ｒ×ｓｉｎθｆ、ｙｆｒ＝ｒ×ｃｏｓθｆ
よって、この極座標系の位置（ｒｆ、θｆ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、ｘ＝Ｘｆ＋ｘｆｒ、ｙ＝Ｙｆ−ｙｆｒ
ｘ＝Ｘｆ＋ｒ×ｓｉｎθｆ、ｙ＝Ｙｆ−ｒ×ｃｏｓθｆ
となる。
【００４５】
まずは、胴体の腰の位置（５−１）から右膝の関節の位置（５−２）を決定する場合の例を示す。
まず、頭の大きさより腰の位置（５−１）から膝の関節までの長さを推定して、ｒｆｔとする。節点探索は、胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【００４６】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の右側の位置の座標を（ｘ、ｙ）＝（ｘｆｂ、ｙｆｂ）、（ｒ、θ）＝（ｒｆｔ、θｆｂ）とし、左側の位置の座標を（ｘ、ｙ）＝（ｘｆｃ、ｙｆｃ）、（ｒ、θ）＝（ｒｆｔ、θｆｃ）とする。
そして、円周上で二つの節点の中点にある位置を右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を次の数３式により決定する。
【００４７】
【数３】
【００４８】
次に、右膝の関節の位置（５−２）から右足の位置（５−３）を決定する場合の例を示す。
【００４９】
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｆｔとする。節点探索は、右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【００５０】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｂ２、ｙｆｂ２）、（ｒ、θ）＝（ｒｆｔ、θｆｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｃ２、ｙｆｃ２）、（ｒ、θ）＝（ｒｆｔ、θｆｃ２）とする。
【００５１】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘＲ−Ｋｎｅｅ２、ｙＲ−Ｋｎｅｅ２）を次の数４式により決定する。
【００５２】
【数４】
【００５３】
同様な方法で、左の膝、左足の位置を決定する。
【００５４】
以上により、正面画像から、各関節の位置の推定ができる（ステップＳ１０５）。図６の画像は、このようにして各関節の位置の推定を行って、各関節の位置を表示させた例である。
【００５５】
次に、正面画像の関節位置より、横画像の各部位の範囲の決定を行う。
【００５６】
まず、図７に示すように、正面画像での顔の領域と横面画像での顔の領域を決定する。このときの正面画像での顔の画像の縦の長さを（７−１）、横画像での顔の縦の長さを（７−２）とする。正面画像での顔の縦の長さを基準とした横画像の顔の縦の長さの比率（Ｒａｔｉｏ）は、
Ｒａｔｉｏ＝｛（７−２）／（７−１）｝
となる。
【００５７】
次に、図８に示すように、各関節の位置の特定した正面画像から、頭の先端の位置（２−５）を基準として、各関節位置までの距離を求める。頭の先端の位置（２−５）から肩の位置（２−４）までの長さを（８−１）、頭の先端の位置（２−５）から腰の位置（５−１）までの長さを（８−２）、頭の先端の位置（２−５）から膝の位置（５−２）までの長さを（８−３）とする。
そして、この各関節の位置と比率（Ｒａｔｉｏ）から、横画像の各関節位置の長さが決定することができる。
（８−４）＝（８−１）×Ｒａｔｉｏ
（８−５）＝（８−２）×Ｒａｔｉｏ
（８−６）＝（８−３）×Ｒａｔｉｏ
（８−４）は頭の先端の位置から肩の位置までの長さ、（８−５）は頭の先端の位置から腰の位置までの長さ、（８−６）は頭の先端の位置から膝の位置までの長さとなる。
【００５８】
これにより、図９に示すように、横面画像での肩、腰、膝の位置が決定することができる。さらに、位置が確定されたことにより、図１０に示したように、横面画像を腕、おなか、もも、背中、お尻の５つの部位範囲にする（ステップＳ１０６）。例えば、肩の位置から突き出ている部分を腕の部位とする。身体の正中線の前面では、肩の位置から腰までの部分をおなかの部位とし、腰の位置から膝までの部分をももの部位とする。そして、身体の正中線の後面では、肩の位置から腰までの部分を背中の部位とし、腰の位置から膝までの部分をお尻という部位とする。
【００５９】
さらに、関節位置や各部位に区分けされたことにより、横面画像の部位ごとの単位画素当りの体重を計算する（ステップＳ１０７）。ここでは、１画素（１ピクセル）当りの体重を計算する。ただし、体重は部位ごとに一様ではないため、体重配分は考慮されているものとする。
【００６０】
次に、各部位に範囲分けされた横面画像を編集して、理想の体型画像にする作業を行う（ステップＳ１０８）。例えば、図１１に示すように、編集する横面画像上にあるポインタを動かして各部位のエリアの部分をクリックすることで、画像の体の部分が増減する。予め、各部位の画像の画素数を調べておき、クリックした回数に応じてその画素数を変化させる。つまり、この増減の操作を行うことで、自身の理想の体型画像を作成することができるということである。
【００６１】
図１２は、おなか、背中、お尻、もも、腕の各部位を操作部１０６で操作した場合の画像例を示したものである。
【００６２】
図１２（ａ）の例は、操作部１０６で操作しているポインタでおなかの部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６３】
図１２（ｂ）の例は、操作部１０６で操作しているポインタで背中の部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６４】
図１２（ｃ）の例は、操作部１０６で操作しているポインタでお尻の部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６５】
図１２（ｄ）の例は、操作部１０６で操作しているポインタでももの部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６６】
図１２（ｅ）の例は、操作部１０６で操作しているポインタで腕の部位を指定して、キーを押下げすることで、おなかの部位の画素数が減ったことを示している操作前後の画像例である。
【００６７】
初めに撮像した横面画像と編集した横面画像を比較して、各部位の画素数の変化量を算出する（ステップＳ１０９）。その後、部位ごとの１［ｐｉｘｅｌ］あたりの体重と各部位の画素数の変化量から、部位ごとの体重を算出する。そして、部位ごとの体重を合計した体重を算出する（ステップＳ１１０）。
【００６８】
その部位ごとに変化した体重の計算式の例は、以下に示す。
初めに撮像した横面画像からの各部位の画素の総数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ＿ｉ）［ｐｉｘｅｌ］と編集した横面画像からの各部位の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）［ｐｉｘｅｌ］より、各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ）［ｐｉｘｅｌ］が求まる。
（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ）＝［（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ＿ｉ）―（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）］
【００６９】
次に、部位ごとの１［ｐｉｘｅｌ］あたりの重さ（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）を次の数５式により計算する。
【００７０】
【数５】
【００７１】
なお、（Ｗｅｉｇｈｔ＿Ｏｒｇ）は初めにユーザ情報として入力した体重とし、（Ｐａｒａｍｅｔｅｒ＿ｉ）は部位ごとのパラメータとなる。
【００７２】
この部位ごとの１［ｐｉｘｅｌ］あたりの重さ（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）と各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ） ［ｐｉｘｅｌ］より、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｇ］が計算できる。
（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）＝（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ＿ｉ）×（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）
【００７３】
さらに、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｇ］を全て合計することで、体全体での差分の体重量（Ｗｅｉｇｈｔ＿Ｄｏｗｎ）［ｋｇ］が次の数６式により算出される。
【００７４】
【数６】
【００７５】
なお、各々の特徴量の添え字ｉは、各部位の番号を示している。例えば、ｉ＝１は腕、ｉ＝２はおなか、ｉ＝３は膝、ｉ＝４はせなか、ｉ＝５はお尻を示している。
【００７６】
また、上述で算出された差分の体重とカロリの関係は、一般的に以下の式で成り立つ。
８０００［ｋｃａｌ］＝１[ｋｇ]
これにより、部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｃａｌ］と、体全体からの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｄｏｗｎ）［ｋｃａｌ］が、以下の式から求まる。
（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）＝（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）×８０００
（Ｋｃａｌ＿Ｄｏｗｎ）＝（Ｗｅｉｇｈｔ＿Ｄｏｗｎ）×８０００
【００７７】
次に、部位ごとの差分の体重量と体全体からの差分の体重量及びそれらのカロリ量より、ダイエット予定表を作成する（ステップＳ１１１）そして、このダイエット予定表から、一日あたりの運動目標カロリを推定する（ステップＳ１１２）。
【００７８】
その後、編集した横面画像をカメラ付携帯電話１００の表示画面に表示する。さらに、図１３に示すように、部位の中で最も変化があった部位と体全体からの差分の体重量を表示する。例えば、最も変化があった部位が順に「おなか、せなか、お尻」だった場合は、「１位はおなか、２位はせなか、３位はお尻」の表示と１−３位までを総合した体重量をも表示させる。
【００７９】
次に、カメラ付携帯電話端末１００の表示画面には、現在の横面画像、編集した横面画像、ダイエット予定表及び一日あたりの運動目標カロリを同時に表示する（ステップＳ１１３、図１４を参照）。同時に、表示させたデータを保存する（ステップＳ１１４）。
【００８０】
それから、各部位の変化があった範囲を基に最適な運動方法の提案を受けることができる（ステップＳ３０１）。まず、各部位の変化のあった範囲がどのくらいの変化があったかを認識する（ステップＳ３０２）。例えば、その変化量を部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ＿ｉ）［ｋｃａｌ］としてもよい。
そして、その各部位の変化量を基に、理想の体型になるために効果がある最適な運動方法を部位ごとに提案する（ステップＳ３０３）。
【００８１】
一方、図２のフローチャートのステップＳ１０１において、前回保存しているデータを閲覧することを選択した場合は、前回保存した現在の横面画像、編集した横面画像、ダイエット予定表及び一日あたりの運動目標カロリを再表示する（ステップＳ２０１）。そして、再度、最適な運動方法の提案を閲覧することができる。
【００８２】
これにより、同一条件において撮像された正面画像、横面画像、背景画像に本発明の部位検出アルゴリズムを適用させることで、ユーザの身体各部位を容易に特定することができる。つまり、本実施の形態の例の部位検出アルゴリズムは制御情報の容量が小さく、簡単な計算式となったことである。そして、本実施の形態で適用したような携帯電話端末などの限られた資源しか持たない、携帯用の情報処理機器にも容易に身体各部位を特定する機能を搭載することが可能となる。
【００８３】
また、横面画像を身体各部位に特定することができることで、ポインタ操作で横面画像を理想の体型に簡単に編集することができる。そして、編集した横面画像から、理想の体型になるための減らす体重や一日あたりの消費カロリ、ダイエット予定表を作成、表示されることにより、ユーザに強い視覚的な刺激を与えることができる。その結果、ユーザのダイエットに効果的に寄与することが可能となる。
【００８４】
さらに、横面画像、編集した横面画像、一日あたりの消費カロリ、ダイエット予定表は、メモリ１０５に記録されるので、いつでも再閲覧は可能である。
【００８５】
＜第二の実施の形態＞
以下に、図１５を参照して、本発明の第二の実施の形態の例について説明する。
本実施の形態の例は、第一の実施の形態の例で説明した処理構成に、ユーザの新たな情報を追加することで予定表の状況推移がわかる機能を加えた場合の例である。本例におけるシステムの内部構成は、図１に示した構成と同一であるため、システム構成については説明を省略する。
【００８６】
図１５のフローチャートを参照して、カメラ２０１が撮影した画像データから理想の体系への画像を作成と解析を行い、その解析したデータからダイエット予定表と最適な運動方法の提示をするまでの処理例について説明する。
【００８７】
まず、データの入力が、最初の入力又は再入力か、もしくは、前回保存しているデータを閲覧するかをユーザに操作部の操作で選択させ、その結果を判断する（ステップＳ１０１）。
【００８８】
ステップＳ１０１の判断で初入力又は再入力をする場合には、処理終了までは、第一の実施の形態の例で説明した図２の処理と同一であるために、ここでは処理の説明を省略する。
【００８９】
ステップＳ１０１の判断で、前回保存しているデータを閲覧することを選択した場合は、前回保存したデータを呼び出す（ステップＳ２０２）。
【００９０】
次に、ユーザの正面画像と横面画像と背景画像を同一条件の基で撮像する（ステップＳ２０３）。このときの正面画像と横面画像と背景画像は、例えば図３に示した画像である。
【００９１】
その後、図４に示したように、正面画像と背景画像との差分から正面画像のシルエット画像を得、横面画像と背景画像との差分から横面画像のシルエット画像を得る（ステップＳ２０４）。
【００９２】
次に、作成された正面画像のシルエット画像を解析する。
【００９３】
まず、図５（ｂ）に示すように、正面画像のシルエット画像から重心位置（２−１）を決定する。次に、重心位置（２−１）から、左右垂直上にある胴体の左右の末端位置（２−２）を決定する。その後、正面画像のシルエット画像から、股の位置（２−３）、肩の位置（２−４）、頭の先端の位置（２−５）のそれぞれの位置を決定する。そして、その位置関係から胴体部分の矩形領域（２−６）を決定する。
【００９４】
次に、図５（ｃ）に示すように、正面画像のシルエット画像から首を含む頭部の重心位置（３−１）を決定する。頭部の重心位置（３−１）から、左右垂直上にある頭部の左右の末端位置（３−２）を決定する。その後、肩の位置（２−４）と頭の先端の位置（２−５）と頭部の左右の末端位置（３−２）の位置関係から、頭部の矩形領域（３−３）を決定する。
【００９５】
さらに、重心位置（２−１）と股の位置（２−３）と頭部の矩形領域（３−３）の位置関係から、首と胴体をつなぐ位置（３−４）を決定する。また、頭部の矩形領域（３−３）から、頭部の長さ（３−５）を決定する。
【００９６】
次に、図５（ｄ）に示すように、胴体部分の矩形領域（２−６）の右上の角の位置から、頭部の長さ（３−５）に所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）をかけた長さ分を下げた位置を、右肩の関節の位置（４−１）と決定する。なお、所定の肩パラメータ（Ｐａｒａｍｅｔａ＿ｋａｔａ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【００９７】
その後、右肩の関節の位置（４−１）を基に、右の肘関節（４−２）の位置を以下の方法で決定する。
【００９８】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系（ｘｒ、ｙｒ）は肩関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｒ＝ｒ×ｓｉｎθ、ｙｒ＝ｒ×ｃｏｓθ
よって、この極座標系の位置（ｒ、θ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、
ｘ＝Ｘ＋ｘｒ、ｙ＝Ｙ−ｙｒ
ｘ＝Ｘ＋ｒ×ｓｉｎθ、ｙ＝Ｙ−ｒ×ｃｏｓθ
となる。
【００９９】
まずは、右肩の関節の位置（４−１）から右肘の関節の位置（４−２）を決定する場合の例を示す。
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肩の関節の位置（４−１）の座標（Ｘ、Ｙ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【０１００】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置（４−ｂ）の座標を（ｘ、ｙ）＝（ｘｂ、ｙｂ）、（ｒ、θ）＝（ｒｔ、θｂ）とし、下部のほうの位置（４−ｃ）の座標を（ｘ、ｙ）＝（ｘｃ、ｙｃ）、（ｒ、θ）＝（ｒｔ、θｃ）とする。
【０１０１】
そして、円周上で二つの節点の中点にある位置を右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を次の数７式により決定する。
【０１０２】
【数７】
【０１０３】
次に、右肘の関節の位置（４−２）から右手の位置（４−３）を決定する場合の例を示す。
【０１０４】
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｔとする。節点探索は、右肘の関節の位置（４−２）の座標（ｘｃｅｎｔｅｒ、ｙｃｅｎｔｅｒ）を原点とする極座標系を基準に、９０≦θ≦２４０の範囲で行う。
【０１０５】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｂ２、ｙｂ２）、（ｒ、θ）＝（ｒｔ、θｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｃ２、ｙｃ２）、（ｒ、θ）＝（ｒｔ、θｃ２）とする。
【０１０６】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘｃｅｎｔｅｒ２、ｙｃｅｎｔｅｒ２）を次の数８式により決定する。
【０１０７】
【数８】
【０１０８】
同様な処理手順で、左の肩、肘、手の位置を決定する。
【０１０９】
次に、図５（ｆ）に示すように、胴体の腰の位置（５−１）を求める。これは、股の位置（２−３）の座標（ｘｈｊ、ｙｈｊ）の位置から、Ｙ軸の上方向に頭部の長さ（３−５）に所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）をかけた長さ分を上げた位置を、胴体の腰の位置（５−１）と決定する。なお、所定の腰パラメータ（Ｐａｒａｍｅｔａ＿ｋｏｓｈｉ）とは、人間の身体の各部位の長さは頭身を用いて表すことができるということにより、設定された値である。
【０１１０】
そして、右肘の関節の位置（４−２）を求めるときに用いた同様な方法で、右膝の関節の（５−２）、右足の位置（５−３）を決定する。
【０１１１】
（ｘ、ｙ）は正面画像のシルエット画像の左上を原点とする画像座標系、（ｘｆｒ、ｙｆｒ）は胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系とする。極座標系と直交座標系の関係式は以下の式で表される。
ｘｆｒ＝ｒ×ｓｉｎθｆ、ｙｆｒ＝ｒ×ｃｏｓθｆ
よって、この極座標系の位置（ｒｆ、θｆ）を用いて画像座標系の位置（ｘ、ｙ）を表すと、
ｘ＝Ｘｆ＋ｘｆｒ、ｙ＝Ｙｆ−ｙｆｒ
ｘ＝Ｘｆ＋ｒ×ｓｉｎθｆ、ｙ＝Ｙｆ−ｒ×ｃｏｓθｆ
となる。
【０１１２】
まずは、胴体の腰の位置（５−１）から右膝の関節の位置（５−２）を決定する場合の例を示す。
まず、頭の大きさより腰の位置（５−１）から膝の関節までの長さを推定して、ｒｆｔとする。節点探索は、胴体の腰の位置（５−１）の座標（Ｘｆ、Ｙｆ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【０１１３】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の右側の位置の座標を（ｘ、ｙ）＝（ｘｆｂ、ｙｆｂ）、（ｒ、θ）＝（ｒｆｔ、θｆｂ）とし、左側の位置の座標を（ｘ、ｙ）＝（ｘｆｃ、ｙｆｃ）、（ｒ、θ）＝（ｒｆｔ、θｆｃ）とする。
そして、円周上で二つの節点の中点にある位置を右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を次の数９式により決定する。
【０１１４】
【数９】
【０１１５】
次に、右膝の関節の位置（５−２）から右足の位置（５−３）を決定する場合の例を示す。
まず、頭の大きさより肩関節から肘関節までの長さを推定して、ｒｆｔとする。節点探索は、右膝の関節の位置（５−２）の座標（ｘＲ−Ｋｎｅｅ、ｙＲ−Ｋｎｅｅ）を原点とする極座標系を基準に、１８０≦θ≦２７０の範囲で行う。
【０１１６】
その円周上の探索範囲内で、二つの節点を検出することができる。その検出した節点の上部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｂ２、ｙｆｂ２）、（ｒ、θ）＝（ｒｆｔ、θｆｂ２）とし、下部のほうの位置の座標を（ｘ、ｙ）＝（ｘｆｃ２、ｙｆｃ２）、（ｒ、θ）＝（ｒｆｔ、θｆｃ２）とする。
【０１１７】
そして、円周上で二つの節点の中点にある位置を右手の位置（４−３）の座標（ｘＲ−Ｋｎｅｅ２、ｙＲ−Ｋｎｅｅ２）を次の数１０式により決定する。
【０１１８】
【数１０】
【０１１９】
同様な処理手順で、左の膝、左足の位置を決定する。
【０１２０】
以上により、図６に示すように、正面画像から、各関節の位置の推定ができる（ステップＳ２０５）。
【０１２１】
次に、正面画像の関節位置より、横画像の各部位の範囲の決定を行う。
【０１２２】
まず、図７に示すように、正面画像での顔の領域と横面画像での顔の領域を決定する。このときの正面画像での顔の画像の縦の長さを（７−１）、横画像での顔の縦の長さを（７−２）とする。正面画像での顔の縦の長さを基準とした横画像の顔の縦の長さの比率（Ｒａｔｉｏ）は、
Ｒａｔｉｏ＝｛（７−２）／（７−１）｝
となる。
【０１２３】
次に、各関節の位置の特定した正面画像から、頭の先端の位置（２−５）を基準として、各関節位置までの距離を求める。即ち、図８に示すように、頭の先端の位置（２−５）から肩の位置（２−４）までの長さを（８−１）、頭の先端の位置（２−５）から腰の位置（５−１）までの長さを（８−２）、頭の先端の位置（２−５）から膝の位置（５−２）までの長さを（８−３）とする。
そして、この各関節の位置と比率（Ｒａｔｉｏ）から、横画像の各関節位置の長さが決定することができる。
（８−４）＝（８−１）×Ｒａｔｉｏ
（８−５）＝（８−２）×Ｒａｔｉｏ
（８−６）＝（８−３）×Ｒａｔｉｏ
（８−４）は頭の先端の位置から肩の位置までの長さ、（８−５）は頭の先端の位置から腰の位置までの長さ、（８−６）は頭の先端の位置から膝の位置までの長さとなる。
【０１２４】
これにより、図９に示すように、横面画像での肩、腰、膝の位置が決定することができる（図９参照）。さらに、位置が確定されたことにより、横面画像を腕、おなか、もも、背中、お尻の５つの部位範囲にすることができる。例えば、肩の位置から突き出ている部分を腕の部位とする。身体の正中線の前面では、肩の位置から腰までの部分をおなかの部位とし、腰の位置から膝までの部分をももの部位とする。そして、図１０に示すように、身体の正中線の後面では、肩の位置から腰までの部分を背中の部位とし、腰の位置から膝までの部分をお尻という部位とする（ステップＳ２０６）。
【０１２５】
新たに撮像した横面画像と保存したデータにある編集した横面画像を比較して、各部位の画素数の変化量を算出する（ステップＳ２０７）。その後、保存したデータにある部位ごとの単位画素あたり（ここでは１画素あたり）の体重と各部位の画素数の変化量から、部位ごとの体重を算出する。そして、部位ごとの体重を合計した体重を算出する（ステップＳ２０８）。
【０１２６】
その部位ごとに変化した体重の計算式の例は、以下に示す。
新たに撮像した横面画像からの各部位の画素の総数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ２＿ｉ）［ｐｉｘｅｌ］と保存したデータにある編集した横面画像からの各部位の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）［ｐｉｘｅｌ］より、各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）［ｐｉｘｅｌ］が求まる。
（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）＝［（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｏｒｇ２＿ｉ）―（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｔａｒｇｅｔ＿ｉ）］
【０１２７】
保存したデータにある部位ごとの１［ｐｉｘｅｌ］あたりの重さ（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）と各部位の差分の画素数（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）［ｐｉｘｅｌ］より、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｇ］が計算できる。
（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）＝（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｃｈａｎｇｅ２＿ｉ）×（Ｐａｒｔ＿Ｐｉｘｅｌ＿Ｐｅｒ＿Ｗｅｉｇｈｔ＿ｉ）
【０１２８】
さらに、部位ごとの差分の体重量（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｇ］を全て合計することで、体全体での差分の体重量（Ｗｅｉｇｈｔ＿Ｄｏｗｎ２）［ｋｇ］が次の数１１式により算出される。
【０１２９】
【数１１】
なお、各々の特徴量の添え字ｉは、各部位の番号を示している。例えば、ｉ＝１は腕、ｉ＝２はおなか、ｉ＝３は膝、ｉ＝４はせなか、ｉ＝５はお尻を示している。
【０１３０】
また、上述で算出された差分の体重とカロリの関係は、一般的に以下の式で成り立つ。
８０００［ｋｃａｌ］＝１[ｋｇ]
これにより、部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｃａｌ］と、体全体からの差分の体重量（Ｋｃａｌ＿Ｄｏｗｎ２）［ｋｃａｌ］が、以下の式から求まる。
（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）＝（Ｗｅｉｇｈｔ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）×８０００
（Ｋｃａｌ＿Ｄｏｗｎ２）＝（Ｗｅｉｇｈｔ＿Ｄｏｗｎ２）×８０００
【０１３１】
次に、部位ごとの差分の体重量と体全体からの差分の体重量及びそれらのカロリ量より、現在の部位ごとの体重と現在の体重の情報をダイエット予定表に追記する（ステップＳ２０９）。さらに、このダイエット予定表から、一日あたりの運動目標カロリを再度、推定する（ステップＳ２１０）。
【０１３２】
次に、カメラ付携帯電話端末１００の表示画面は、図１４に示すように、新たに撮像した横面画像、保存したデータにある編集した横面画像、新たな体重の情報を追記したダイエット予定表及び再度推定した一日あたりの運動目標カロリを同時に表示する（ステップＳ２１１）。同時に、表示させたデータを保存する（ステップＳ２１２）。
【０１３３】
それから、新たに撮像した横面画像と保存したデータにある編集した横面画像との比較により、各部位の変化があった範囲を基に最適な運動方法の提案を受けることができる（ステップＳ３０１）。まず、各部位の変化のあった範囲がどのくらいの変化があったかを認識する（ステップＳ３０２）。例えば、その変化量を部位ごとの差分の体重量から換算されるカロリ量（Ｋｃａｌ＿Ｐａｒｔ＿Ｄｏｗｎ２＿ｉ）［ｋｃａｌ］としてもよい。
そして、図１３に示すように、その各部位の変化量を基に、理想の体型になるために効果がある最適な運動方法を部位ごとに提案する（ステップＳ３０３）。
【０１３４】
これにより、同一条件において撮像された正面画像、横面画像、背景画像に、本実施の形態での部位検出アルゴリズムを適用させることで、ユーザの身体各部位を容易に特定することができる。つまり、本実施の形態による部位検出アルゴリズムは制御情報の容量が小さく、簡単な計算式となったことである。そして、携帯電話端末末などの限られた資源しか持たない機器にも身体各部位を特定する機能を搭載することが可能となる。
【０１３５】
また、横面画像を身体各部位に特定することができることで、ポインタ操作で横面画像を理想の体型に簡単に編集することができる。そして、編集した横面画像から、理想の体型になるための減らす体重や一日あたりの消費カロリ、ダイエット予定表を作成、表示されることにより、ユーザに強い視覚的な刺激を与えることができる。その結果、ユーザのダイエットに効果的に寄与することが可能となる。
【０１３６】
さらに、再閲覧のときには、現状での正面画像、横面画像、背景画像の撮像を行い、本実施の形態の部位検出アルゴリズムを適用させて、ユーザの身体各部位の状況を確認することができる。そして、現状のユーザ身体各部位の状況をダイエット予定表に記載を行うことで、ユーザは正確かつ客観的に自己の身体状態または体型的な変化を把握することが可能となる。
【符号の説明】
【０１３７】
１００…カメラ付携帯電話、１０１…アンテナ、１０２…通信回路、１０３…マイクロフォン、１０４…スピーカ、１０５…メモリ、１０６…操作部、１０７…表示部、１２０…制御部、１５０…制御ライン、１６０…データライン、２０１…カメラ、２０２…撮像制御部
【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を出力するカメラ部と、
前記カメラ部が出力する画像信号より、前記被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて前記人物の体の部位の範囲を決定し、その決定した前記部位の範囲を示した画像信号とする画像処理部と、
前記画像処理部で処理された画像信号による画像を表示する表示部と、
前記画像処理部で決定した前記体の部位の範囲を変化させる指示の操作を行う操作部と
を備えた端末装置。
【請求項２】
前記カメラ部で撮像する画像は、特定の人物の正面画像と横面画像と背景画像である
請求項１記載の端末装置。
【請求項３】
前記画像処理部は、前記カメラ部が出力する画像信号より、前記被写体に含まれる人物のシルエット画像を取得し、そのシルエット画像から関節の位置を特定する
請求項１記載の端末装置。
【請求項４】
前記画像処理部は、前記シルエット画像を複数の画像領域に区分し、
前記区分した複数の画像領域ごとに１画素あたりの重量を算出し、前記人物の体重を推定する計算処理部を備えた
請求項３記載の端末装置。
【請求項５】
前記操作部での操作により、前記それぞれの画像領域毎の増減を行う
請求項４記載の端末装置。
【請求項６】
前記領域ごとの変化重量を合計した重量と設定された日数から、単位日時あたりの目標消費カロリを算出するカロリ算出部を備え、
前記表示部は、前記画像処理部で処理した画像と、前記カロリ計算部で算出した単位日時あたりの目標消費カロリとを表示する
請求項５記載の端末装置。
【請求項７】
前記画像処理部は、前記シルエット画像から第１関節の位置を特定し、前記特定した第１関節の位置を原点とする極座標系を基準に、所定の円周範囲内で所定の節点間距離を回転させて、身体のシルエットの縁との間に節点をもつ点を２つ検出し、前記２つの節点の円周上の中点を第２関節の位置と特定する
請求項３記載の端末装置。
【請求項８】
撮像して得た画像信号より、被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて前記人物の体の部位の範囲を決定し、その決定した前記部位の範囲を示した画像信号とする画像処理と、
前記画像処理で得られた画像信号を表示させる表示処理と、
前記画像処理で決定した前記体の部位の範囲を変化させる指示を行う操作処理と
を行う画像処理方法。
【請求項９】
撮像して得た画像信号より、被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて前記人物の体の部位の範囲を決定し、その決定した前記部位の範囲を示した画像信号とする画像処理と、
前記画像処理で得られた画像信号を表示させる表示処理と、
前記画像処理で決定した前記体の部位の範囲を変化させる指示を行う操作処理とを、
情報処理装置に実装して実行させるプログラム。
【請求項１】
被写体を撮像して画像信号を出力するカメラ部と、
前記カメラ部が出力する画像信号より、前記被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて前記人物の体の部位の範囲を決定し、その決定した前記部位の範囲を示した画像信号とする画像処理部と、
前記画像処理部で処理された画像信号による画像を表示する表示部と、
前記画像処理部で決定した前記体の部位の範囲を変化させる指示の操作を行う操作部と
を備えた端末装置。
【請求項２】
前記カメラ部で撮像する画像は、特定の人物の正面画像と横面画像と背景画像である
請求項１記載の端末装置。
【請求項３】
前記画像処理部は、前記カメラ部が出力する画像信号より、前記被写体に含まれる人物のシルエット画像を取得し、そのシルエット画像から関節の位置を特定する
請求項１記載の端末装置。
【請求項４】
前記画像処理部は、前記シルエット画像を複数の画像領域に区分し、
前記区分した複数の画像領域ごとに１画素あたりの重量を算出し、前記人物の体重を推定する計算処理部を備えた
請求項３記載の端末装置。
【請求項５】
前記操作部での操作により、前記それぞれの画像領域毎の増減を行う
請求項４記載の端末装置。
【請求項６】
前記領域ごとの変化重量を合計した重量と設定された日数から、単位日時あたりの目標消費カロリを算出するカロリ算出部を備え、
前記表示部は、前記画像処理部で処理した画像と、前記カロリ計算部で算出した単位日時あたりの目標消費カロリとを表示する
請求項５記載の端末装置。
【請求項７】
前記画像処理部は、前記シルエット画像から第１関節の位置を特定し、前記特定した第１関節の位置を原点とする極座標系を基準に、所定の円周範囲内で所定の節点間距離を回転させて、身体のシルエットの縁との間に節点をもつ点を２つ検出し、前記２つの節点の円周上の中点を第２関節の位置と特定する
請求項３記載の端末装置。
【請求項８】
撮像して得た画像信号より、被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて前記人物の体の部位の範囲を決定し、その決定した前記部位の範囲を示した画像信号とする画像処理と、
前記画像処理で得られた画像信号を表示させる表示処理と、
前記画像処理で決定した前記体の部位の範囲を変化させる指示を行う操作処理と
を行う画像処理方法。
【請求項９】
撮像して得た画像信号より、被写体に含まれる人物を検出し、その検出した人物の関節の位置を特定し、その特定した関節の位置に基づいて前記人物の体の部位の範囲を決定し、その決定した前記部位の範囲を示した画像信号とする画像処理と、
前記画像処理で得られた画像信号を表示させる表示処理と、
前記画像処理で決定した前記体の部位の範囲を変化させる指示を行う操作処理とを、
情報処理装置に実装して実行させるプログラム。
【図１】
【図２】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１７６５８８（Ｐ２０１０−１７６５８８Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−２０９１１（Ｐ２００９−２０９１１）
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]