表示装置及び表示方法
【課題】一連の動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することを可能とする。
【解決手段】実施形態の表示装置は、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、撮像画像及び基本動作画像の連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、撮像画像のうちの所定の動作姿勢の特徴点の位置と、基本動作画像の連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出する検出部と、検出された差分が所定の閾値内にある基本動作画像の動作姿勢を、撮像画像のうちの所定の動作姿勢とともに表示する表示部とを備える。
【解決手段】実施形態の表示装置は、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、撮像画像及び基本動作画像の連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、撮像画像のうちの所定の動作姿勢の特徴点の位置と、基本動作画像の連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出する検出部と、検出された差分が所定の閾値内にある基本動作画像の動作姿勢を、撮像画像のうちの所定の動作姿勢とともに表示する表示部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に関する。
【背景技術】
【０００２】
従来より、ゴルフのスイングや野球のバッティングなど、ゴルフクラブやバットを構えてから打球する際の一連の動作を練習する際には、所定の動作姿勢において、指導者等が実演した動作からのずれをチェックしたいという要望があった。この動作をチェックするための従来技術としては、一連の動作を練習する利用者をカメラで撮像し、その撮像した画像を利用者の目の前に表示する運動練習装置や（特許文献１）、一連の動作を練習する利用者を撮像した画像と、指導者等による一連の動作を撮像した画像データとを比較し、利用者自身の動きのずれや誤りをアラーム音で報知する運動支援システム（特許文献２）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１６５８４７号公報
【特許文献２】特開２００６−３０２１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、所定の動作姿勢における指導者等の動作からのずれを、利用者の動きに合わせてリアルタイムにチェックしたいという要望に十分に応えることができなかった。例えば、特許文献１では、利用者自らの動きをリアルタイムに確認できるが、指導者等の動作からどの程度ずれているかを十分に確認できない。また、特許文献２では、指導者等による一連の動作に利用者側がタイミングを合わせる必要があり、利用者の動きに合わせたチェックを行うことができない。例えばゴルフのスイングの場合には、アドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行う指導者の一連の動作に利用者側がタイミングを合わせなければ、動きのずれや誤りとして報知されることとなる。このため、トップスイングからインパクトまでをゆっくり動作して動作姿勢をチェックするなど、利用者の動きに合わせたチェックができない。
【０００５】
本発明は、上記に鑑みてなされたものであって、一連の動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することを可能とする表示装置及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、実施形態の表示装置は、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する検出部と、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、を備える。
【０００７】
また、実施形態の表示方法は、表示装置で実行される表示方法であって、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、連続した複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出するステップと、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップとを含む。
【発明の効果】
【０００８】
本発明にかかる表示装置及び表示方法は、動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することができる、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態にかかる表示装置の使用例を示す斜視図である。
【図２】図２は、頭部に装着して使用する表示装置を例示する概念図である。
【図３】図３は、表示部における表示画面を例示する概念図である。
【図４】図４は、表示装置のハードウエア構成の一例を示すブロック図である。
【図５】図５は、表示装置の動作の一例を示すフローチャートである。
【図６】図６は、撮像画像の一例を示す概念図である。
【図７】図７は、撮像画像からの特徴点の抽出を例示する概念図である。
【図８】図８は、同期再生処理の一例を示すフローチャートである。
【図９】図９は、一連の動作姿勢を並べた概念図である。
【図１０】図１０は、一連の動作姿勢を重ねた概念図である。
【図１１】図１１は、動き方向の異なる動作姿勢を例示する概念図である。
【図１２】図１２は、ゴルフのスイングにおけるフィニッシュ動作を例示する概念図である。
【図１３】図１３は、ゴルフのスイングにおけるトップスイング動作を例示する概念図である。
【図１４】図１４は、同期再生の一例を示す概念図である。
【図１５】図１５は、同期再生の一例を示す概念図である。
【図１６】図１６は、変形例にかかる表示装置の使用例を示す斜視図である。
【図１７】図１７は、変形例にかかるシステム構成を例示するブロック図である。
【発明を実施するための形態】
【００１０】
以下に、本発明にかかる表示装置及び表示方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００１１】
図１は、実施形態にかかる表示装置１０の使用例を示す斜視図である。図１に示すように、表示装置１０は、利用者である人１がゴルフのスイングなどの一連の動作姿勢を練習する際に、頭部２に装着して使用する頭部装着型の表示装置（ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display））である。撮像装置２０は、人１の動作姿勢を撮像するデジタルカメラである。表示装置１０と、撮像装置２０とは、通信部１４、２３（図４参照）により、例えば無線ＬＡＮ（Local Area Network）等の通信ネットワークを介して互いに通信可能に接続されている。
【００１２】
ここで、一連の動作とは、所定の開始姿勢から終了姿勢までの動きを人が連続して行うことを意味し、動作姿勢とは、一連の動作の際の、その人のある時点での姿勢（フォーム）を意味するものである。例えば、本実施形態では、ゴルフクラブ４を把持した人１が、ゴルフボール３を打つ際の一連の動作を練習する場合を例に説明する。この一連の動作には、アドレス、バックスイング、トップスイング、ダウンスイング、インパクト、フィニッシュなどの動作姿勢が含まれる。なお、表示装置１０を用いた一連の動作の練習は、上述したゴルフのスイング以外に、野球のバッティングや体操などであってもよいことは言うまでもないことである。また、撮像装置２０は、図示例のように１台で人１を正面から撮像するだけでなく、複数台で人１を背面、側面などから撮像する構成であってもよい。
【００１３】
図２は、頭部２に装着して使用する表示装置１０を例示する概念図である。図２に示すように、表示装置１０は、頭部２の外周に接触して支えるフレームＦに表示部１１、操作部１２を備える構成である。表示部１１は、フレームＦにより人１の眼前に配置され、人１に向けて映像を表示するディスプレイである。具体的には、表示部１１は、網膜走査型ディスプレイ、透過型液晶ディスプレイ等であってよい。操作部１２は、フレームＦのサイドなどに設けられた操作スイッチ等である。なお、操作部１２は、人１の手元で操作するリモートコントローラ（図示しない）などであってもよい。
【００１４】
図３は、表示部１１における表示画面Ｇを例示する概念図である。図３に示すように、表示部１１における表示画面Ｇは、人１の視野方向における視界を遮ることなく透過して表示される。例えば、網膜走査型ディスプレイの場合は、画像信号に応じた光束を２次元方向に走査し、走査した光を眼に導き網膜上に表示画像を形成する。したがって、図示例のとおり、ゴルフボール３にゴルフクラブ４を近づけたアドレス動作中の人１（図１も参照）の視界を遮ることがない。なお、図１４、１５には、表示画像として表示画面Ｇに再生画像Ｇ１、Ｇ２、Ｇ３を表示する場合を例示している（詳細は後述する）。
【００１５】
図４は、表示装置１０のハードウエア構成の一例を示すブロック図である。図４に示すように、表示装置１０は、上述した表示部１１、操作部１２の他、システムコントローラ１３、通信部１４、記憶装置１５、ＤＲＡＭ１６、入出力Ｉ／Ｆ部１７、画像処理部１８を備える。撮像装置２０は、例えばデジタルビデオカメラなどであり、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子２１、撮像素子２１が撮像した画像データをＡ／Ｄ変換するＡ／Ｄ変換部２２、変換された画像データを所定の形式で符号化して表示装置１０へ送信する通信部２３を備える。
【００１６】
システムコントローラ１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有し、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順次実行することで、表示装置１０の動作を統括制御する。通信部１４は、撮像装置２０との間のデータ通信を行う通信インタフェースである。通信部１４は、システムコントローラ１３の制御のもと、撮像装置２０が所定のフレームレートで撮像して通信部２３より出力される動画像データを取得する。取得された動画像データは、システムコントローラ１３の制御のもと、ＤＲＡＭ１６などに一時的に格納され、画像処理部１８による画像処理や記憶装置１５への記録が行われる。
【００１７】
記憶装置１５は、ＨＤＤ（Hard Disk Drive）等のストレージデバイスであり、人１の練習にかかる一連の動作を予め記録した記録動画像にかかる動画像データ、撮像装置２０が撮像した動画像データ、各種設定データなどを記憶する。なお、記録動画像は、連続する複数の動作姿勢で構成される基本動作画像であり、本実施形態ではアドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行うゴルフのスイングを、撮像装置２０と同一方向から見た場合の動画像であり、例えば指導者のスイングを撮像した動画像や、コンピュータグラフィックス処理により、理想的なスイングを再現した動画像などであってよい。
【００１８】
ＤＲＡＭ１６（Dynamic RAM）は、動画像などの画像データを一時的に格納する記憶領域を提供する。入出力Ｉ／Ｆ部１７は、システムコントローラ１３の制御のもと、ＵＳＢ（Universal Serial Bus）等の各種通信ポートにより通信接続する外部機器との間のデータの入出力を行う。
【００１９】
画像処理部１８は、画像処理用のＤＳＰ（Digital Signal Processor）であり、システムコントローラ１３の制御のもとで各種画像処理を行う。具体的には、画像処理部１８は、ＣＯＤＥＣ部１８１、特徴点抽出部１８２、相対位置検出部１８３を有する。
【００２０】
ＣＯＤＥＣ部１８１は、画像データの符号化処理や復号処理を行う。例えば、ＣＯＤＥＣ部１８１は、ＭＰＥＧ（Moving Picture Experts Group）形式等の符号化された動画像データを復号する。このＣＯＤＥＣ部１８１の復号により、表示装置１０では、動画像データに含まれる動作姿勢のフレーム画像を得る。
【００２１】
特徴点抽出部１８２は、フレーム画像に含まれる所定の物体を特徴点として抽出する。この特徴点の抽出については、特開平８−２１４２８９などに記載されている、フレーム画像から特徴点を抽出する公知技術を用いるものとする。具体的には、特徴点抽出部１８２は、フレーム画像の中から人の身体を構成する特徴的な部分（例えば、頭、肩、肘、手、腰、膝）や、所定の形状を有する物体（クラブやクラブヘッド）を抽出する。本実施形態では、動作姿勢を示す特徴点として、フレーム画像中の人の頭、肩、肘、手、腰、膝や、その人が把持するクラブのクラブヘッドを抽出する。また、特徴点抽出部１８２は、動画像における前後のフレーム画像から抽出した特徴点同士を比較することで、特徴点の動きを示す動きベクトルを算出する。
【００２２】
相対位置検出部１８３は、特徴点抽出部１８２により抽出された特徴点をもとに、互いに異なる動画像のフレーム画像同士を比較して特徴点の相対的な位置関係を検出する。具体的には、相対位置検出部１８３は、各々のフレーム画像において抽出された特徴点の位置を比較し、その差分を検出する。本実施形態では、相対位置検出部１８３は、システムコントローラ１３の制御のもと、撮像装置２０により撮像された撮像画像より抽出された特徴点と、記憶装置１５に記録された動画像に含まれる各フレーム画像より抽出された特徴点との間の相対的な位置関係を検出する。これにより、撮像装置２０により撮像された撮像画像から抽出された特徴点の位置と、記憶装置１５に記録された動画像において一連の動作姿勢に沿って動く特徴点の位置との間の差分が検出される。
【００２３】
システムコントローラ１３は、相対位置検出部１８３により検出された差分をもとに、記憶装置１５に記録された動画像に含まれるフレーム画像の中で、撮像装置２０により撮像された人１の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する。具体的には、相対位置検出部１８３により検出された差分が所定の閾値内であるフレーム画像を、類似する動作姿勢を含むフレーム画像として特定する。このフレーム画像の特定については、特開２００４−９４６６７などに記載された、抽出された特徴点をもとに類似するフレーム画像を特定する公知技術を用いるものとする。
【００２４】
次に、表示装置１０の動作の流れについて説明する。図５は、表示装置１０の動作の一例を示すフローチャートである。
【００２５】
図５に示すように、操作部１２の操作などにより動作の開始が指示されて処理が開始されると、システムコントローラ１３は、表示部１１の表示画面Ｇに各種情報を表示するためのサブ画面の表示をオンにする（Ｓ１）。次いで、操作部１２により選択操作を受け付けて、システムコントローラ１３は、操作部１２が受け付けた選択操作を判定する（Ｓ２）。
【００２６】
選択操作が「撮像」である場合、システムコントローラ１３は、撮像装置２０が逐次撮像した撮像画像（フレーム画像）を通信部１４を介して取得し（Ｓ３）、取得した撮像画像を逐次記憶装置１５へ記録・保存する（Ｓ４）。したがって、人１は、「撮像」を選択操作することで、自らがゴルフクラブ４をスイングした際の動画像を記憶装置１５に記録することができる。
【００２７】
選択操作が「同期表示」である場合、システムコントローラ１３は、同期表示を開始し（Ｓ５）、通信部１４を介して撮像装置２０が撮像した画像、すなわち人１の動作を撮像した撮像画像（動作姿勢のフレーム画像）を逐次取り込む（Ｓ６）。取り込んだ撮像画像は、ＤＲＡＭ１６に一時記憶される。
【００２８】
次いで、システムコントローラ１３は、特徴点抽出部１８２により、取り込んだ撮像画像、及び記憶装置１５に記録された動画像データから上述した特徴点の抽出を行う（Ｓ７）。
【００２９】
図６は撮像画像Ｇ１０の一例を示す概念図であり、図７は撮像画像Ｇ１０からの特徴点の抽出を例示する概念図である。Ｓ６において図６に示すような撮像画像Ｇ１０が取り込まれた場合、Ｓ７では、人１の頭、肩、肘、手、腰、膝や、人１が把持するゴルフクラブ４のクラブヘッドに対応した特徴点Ｐ１〜Ｐ９が撮像画像Ｇ１０より抽出される。同様に、記憶装置１５に記録された動画像データに含まれる各フレーム画像からも特徴点Ｐ１〜Ｐ９の抽出が行われる。
【００３０】
次いで、システムコントローラ１３は、取り込んだ撮像画像Ｇ１０、及び記憶装置１５に記録された動画像データより抽出した特徴点をもとに、人１の動作姿勢に同期した動画像データを表示部１１に表示する同期再生処理（詳細は後述する）を行う（Ｓ８）。
【００３１】
選択操作が「メニュー」である場合、システムコントローラ１３は、設定操作にかかるメニューをサブ画面に表示し（Ｓ９）、手本選択（Ｓ１０１）、カメラ選択（Ｓ１０２）、表示設定（Ｓ１０３）等の設定操作を操作部１２より受け付ける（Ｓ１０）。ここで、手本選択は、記憶装置１５に記録された複数の動画像の中で、どの動画像を同期再生処理で手本として表示するかの設定を行う選択操作である。カメラ選択は、撮像装置２０が複数ある場合に、どの撮像装置２０で撮像した画像を表示部１１に表示するかの設定を行う選択操作である。表示設定は、同期再生処理時における表示形式（並べて表示や重畳して表示）の設定を行う。
【００３２】
選択操作が「終了」である場合、システムコントローラ１３は、サブ画面の表示をオフにして（Ｓ１１）、処理を終了する。
【００３３】
ここで、同期再生処理の詳細を説明する。図８は、同期再生処理の一例を示すフローチャートである。図８に示すように、同期再生処理が開始されると、相対位置検出部１８３は、撮像画像Ｇ１０より抽出された特徴点、及び記憶装置１５に記録された動画像データに含まれる各フレーム画像より抽出された特徴点について、所定の特徴点に着目し、その着目した特徴点同士を比較して（Ｓ２１）、特徴点の位置の差分を算出する（Ｓ２２）。
【００３４】
ここで、着目する特徴点は、一連の動作姿勢の中で位置が大きく変化する特徴点がより好ましい。図９は、一連の動作姿勢を並べた概念図である。図９に示すように、人１がゴルフのスイングを行う場合は、アドレスからフィニッシュに至る動作姿勢Ａ１〜Ａ７の中で、ゴルフクラブ４のクラブヘッドが最も大きく、人１の手がその次に大きく変化する特徴点である。したがって、本実施形態では、ゴルフクラブ４のクラブヘッドを１つ目に着目する特徴点とし、人１の手を２つ目に着目する特徴点とする。
【００３５】
次いで、システムコントローラ１３は、相対位置検出部１８３により検出された差分をもとに、記憶装置１５に記録された動画像データに含まれる動作姿勢のフレーム画像の中で、撮像装置２０により撮像された人１の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する（Ｓ２３）。次いで、システムコントローラ１３は、Ｓ２３において複数のフレーム画像が特定されたか否かを判定する（Ｓ２４）。
【００３６】
図１０は、一連の動作姿勢を重ねた概念図である。図１０に示すように、ゴルフクラブ４のクラブヘッドを着目する特徴点とした場合、動作姿勢Ａ３及び動作姿勢Ａ７のフレーム画像、動作姿勢Ａ２及び動作姿勢Ａ４のフレーム画像、動作姿勢Ａ１及び動作姿勢Ａ５のフレーム画像が人１の動作姿勢に類似する動作姿勢を含むフレーム画像として特定されることがある。例えば、人１が動作姿勢Ａ２でゴルフクラブ４を構えている場合には、動作姿勢Ａ４でゴルフクラブ４を構えているフレーム画像も特定されることがある。したがって、Ｓ２４では、異なる動作姿勢のフレーム画像も特定されているか否かを判定する。
【００３７】
Ｓ２３において複数のフレーム画像が特定された場合（Ｓ２４：ＹＥＳ）、システムコントローラ１３は、撮像画像Ｇ１０及び特定されたフレーム画像について特徴点抽出部１８２が算出した特徴点の動きを示す動きベクトルを取得し（Ｓ２５）、取得した動きベクトルをもとにフレーム画像を絞り込む（Ｓ２６）。具体的には、撮像画像Ｇ１０の特徴点の動きベクトルに近い動きベクトルの特徴点を持つフレーム画像に絞り込む。
【００３８】
図１１は、動き方向の異なる動作姿勢を例示する概念図である。図１１に示すように、動作姿勢Ａ２付近では、動作姿勢Ａ２と、ｎフレーム前（−ｎ）の動作姿勢Ａ２とを比較した場合、ゴルフクラブ４は振りかぶる方向に動いている。また、動作姿勢Ａ４付近では、動作姿勢Ａ４と、ｎフレーム前（−ｎ）の動作姿勢Ａ４とを比較した場合、ゴルフクラブ４は振り下ろす方向に動いている。したがって、撮像画像Ｇ１０の特徴点の動きベクトルに近いか否かにより、動作姿勢Ａ４又は動作姿勢Ａ２を区別することができる。
【００３９】
Ｓ２６に次いで、システムコントローラ１３は、Ｓ２６で１つのフレーム画像に絞りこまれたか否かを判定する（Ｓ２７）。Ｓ２６で１つのフレーム画像に絞りこまれていない場合（Ｓ２７：ＮＯ）、システムコントローラ１３は、１つ目に着目した特徴点とは異なる２つ目に着目した特徴点との位置関係（前述した差分）をもとに、フレーム画像を絞り込む（Ｓ２８）。
【００４０】
図１２は、ゴルフのスイングにおけるフィニッシュ動作（動作姿勢Ａ７付近）を例示する概念図である。図１３は、ゴルフのスイングにおけるトップスイング動作（動作姿勢Ａ３付近）を例示する概念図である。図１２、１３を比較しても明らかなように、フィニッシュ動作とトップスイング動作では、ゴルフクラブ４のクラブトップが略同じ動きをする。したがって、ｎフレーム前（−ｎ）の動作姿勢Ａ７から動作姿勢Ａ７と、動作姿勢Ａ３からｎフレーム後（＋ｎ）の動作姿勢Ａ３においては、撮像画像Ｇ１０のクラブヘッドの特徴点の動きベクトルに近い動きベクトルだけでは、フレーム画像の絞り込みができない。このため、Ｓ２８では、２つ目に着目した特徴点（人１の手）の位置関係をもとに、フレーム画像を絞り込む。
【００４１】
Ｓ２９において、システムコントローラ１３は、記憶装置１５に記録された動画像データを、絞りこまれたフレーム画像の位置から、撮像画像Ｇ１０における人１の動作に合わせて動くように同期して再生する画像と、撮像画像Ｇ１０とを表示部１１の表示画面Ｇに表示する、同期再生を行う（Ｓ２９）。なお、動画像データの再生については、撮像画像Ｇ１０及び絞りこまれたフレーム画像について特徴点抽出部１８２が算出した特徴点の動きを示す動きベクトルを比較し、撮像画像Ｇ１０の特徴点の動きベクトルに一致するように、再生時のフレームレート及び再生方向を調整することで、人１の動作に合わせて動くように同期した再生が行われることとなる。
【００４２】
次いで、操作部１２による操作指示をもとに、再生（「同期再生」）を終了するか否かを判定する（Ｓ３０）。終了する場合（Ｓ３０：ＹＥＳ）は、Ｓ２１〜Ｓ２９にかかる同期再生処理を終了する。終了しない場合（Ｓ３０：ＮＯ）、システムコントローラ１３は、Ｓ２１へ処理を戻し、同期再生処理を継続する。
【００４３】
図１４、図１５は、同期再生の一例を示す概念図である。図１４に示すように、表示画面Ｇにおいて、撮像画像Ｇ１０の再生画像Ｇ１と、動画像データの再生画像Ｇ２とは、並べて表示してよい。このように、人１自身を撮像した撮像画像Ｇ１０を再生した再生画像Ｇ１と、記憶装置１５に記録された動画像データを人１の動作姿勢に合わせて再生した再生画像Ｇ２とが表示画面Ｇに表示されることから、人１は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、自らの動きに合わせてリアルタイムに確認することができる。
【００４４】
また、図１５に示すように、撮像画像Ｇ１０、及び動画像データを再生する画像は、一方を透過状態で他方に重畳した再生画像Ｇ３として表示画面Ｇに表示してよい。この場合、重畳した部分との差分を抽出し、抽出した差分をもとに相違する領域を検出することで、その相違する領域を他の領域とは異なる表示態様としてもよい。具体的には、図示例に示すように、相違する領域を点線などで表示してよい。このように相違する領域を異なる表示態様とすることで、人１は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、明確に認識できる。
【００４５】
以上のように、表示装置１０は、人１の動作を撮像した撮像画像Ｇ１０を通信部１４を介して撮像装置２０より逐次取り込む。表示装置１０は、特徴点抽出部１８２により、取り込まれた撮像画像Ｇ１０、及び人１の練習にかかる一連の動作を記憶装置１５に予め記録した動画像の連続する複数の動作姿勢から所定の特徴点を抽出する。表示装置１０は、相対位置検出部１８３により、撮像画像Ｇ１０から抽出された特徴点の位置と、動画像の連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する。表示装置１０は、動画像に含まれる連続する複数の動作姿勢の中で、検出された差分が所定の閾値内にあり、人１の動作姿勢に類似するフレーム画像を、撮像画像Ｇ１０とともに表示部１１に表示する。したがって、表示装置１０を利用する人１は、一連の動作を練習する際の、所定の動作姿勢からのずれを、人１自身の動きに合わせて確認することができる。
【００４６】
次に、表示装置１０の変形例を説明する。図１６は、変形例にかかる表示装置１０の使用例を示す斜視図である。図１６に示すように、表示装置１０は、ゴルフの練習場所などに設置されたテレビ型の表示装置であってもよい。具体的には、表示装置１０は、ゴルフのスイングを練習する際にリアルタイムに確認できるよう、人１がゴルフのスイングを行う際に正面に位置するように設置されてよい。
【００４７】
図１７は、変形例にかかるシステム構成を例示するブロック図である。図１７に例示したシステム構成のように、表示装置１０、撮像装置２０は、無線ＬＡＮなどの通信ネットワークＮを介し、ＰＣ（Personal Computer）やＷＳ（Work Station）等の情報機器であるサーバ装置３０と接続する構成であってよい。このようなシステム構成では、記憶装置１５における動画像の記録や、画像処理部１８が行う画像処理などはサーバ装置３０が受け持って行い、表示装置１０はサーバ装置３０により出力された画像データの表示のみを行うものであってよい。
【符号の説明】
【００４８】
１…人、２…頭部、３…ゴルフボール、４…ゴルフクラブ、１０…表示装置、１１…表示部、１２…操作部、１３…システムコントローラ、１４…通信部、１５…記憶装置、１６…ＤＲＡＭ、１７…入出力Ｉ／Ｆ部、１８…画像処理部、２０…撮像装置、２１…撮像素子、２２…Ａ／Ｄ変換部、２３…通信部、３０…サーバ装置、１８１…ＣＯＤＥＣ部、１８２…特徴点抽出部、１８３…相対位置検出部、Ａ１〜Ａ７…動作姿勢、Ｆ…フレーム、Ｇ…表示画面、Ｇ１〜Ｇ３…再生画像、Ｇ１０…撮像画像、Ｐ１〜Ｐ９…特徴点、Ｎ…通信ネットワーク
【技術分野】
【０００１】
本発明は、表示装置及び表示方法に関する。
【背景技術】
【０００２】
従来より、ゴルフのスイングや野球のバッティングなど、ゴルフクラブやバットを構えてから打球する際の一連の動作を練習する際には、所定の動作姿勢において、指導者等が実演した動作からのずれをチェックしたいという要望があった。この動作をチェックするための従来技術としては、一連の動作を練習する利用者をカメラで撮像し、その撮像した画像を利用者の目の前に表示する運動練習装置や（特許文献１）、一連の動作を練習する利用者を撮像した画像と、指導者等による一連の動作を撮像した画像データとを比較し、利用者自身の動きのずれや誤りをアラーム音で報知する運動支援システム（特許文献２）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１６５８４７号公報
【特許文献２】特開２００６−３０２１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、所定の動作姿勢における指導者等の動作からのずれを、利用者の動きに合わせてリアルタイムにチェックしたいという要望に十分に応えることができなかった。例えば、特許文献１では、利用者自らの動きをリアルタイムに確認できるが、指導者等の動作からどの程度ずれているかを十分に確認できない。また、特許文献２では、指導者等による一連の動作に利用者側がタイミングを合わせる必要があり、利用者の動きに合わせたチェックを行うことができない。例えばゴルフのスイングの場合には、アドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行う指導者の一連の動作に利用者側がタイミングを合わせなければ、動きのずれや誤りとして報知されることとなる。このため、トップスイングからインパクトまでをゆっくり動作して動作姿勢をチェックするなど、利用者の動きに合わせたチェックができない。
【０００５】
本発明は、上記に鑑みてなされたものであって、一連の動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することを可能とする表示装置及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、実施形態の表示装置は、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する検出部と、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、を備える。
【０００７】
また、実施形態の表示方法は、表示装置で実行される表示方法であって、利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、連続した複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出するステップと、前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップとを含む。
【発明の効果】
【０００８】
本発明にかかる表示装置及び表示方法は、動作を練習する際の、所定の動作姿勢におけるずれを、利用者の動きに合わせて確認することができる、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態にかかる表示装置の使用例を示す斜視図である。
【図２】図２は、頭部に装着して使用する表示装置を例示する概念図である。
【図３】図３は、表示部における表示画面を例示する概念図である。
【図４】図４は、表示装置のハードウエア構成の一例を示すブロック図である。
【図５】図５は、表示装置の動作の一例を示すフローチャートである。
【図６】図６は、撮像画像の一例を示す概念図である。
【図７】図７は、撮像画像からの特徴点の抽出を例示する概念図である。
【図８】図８は、同期再生処理の一例を示すフローチャートである。
【図９】図９は、一連の動作姿勢を並べた概念図である。
【図１０】図１０は、一連の動作姿勢を重ねた概念図である。
【図１１】図１１は、動き方向の異なる動作姿勢を例示する概念図である。
【図１２】図１２は、ゴルフのスイングにおけるフィニッシュ動作を例示する概念図である。
【図１３】図１３は、ゴルフのスイングにおけるトップスイング動作を例示する概念図である。
【図１４】図１４は、同期再生の一例を示す概念図である。
【図１５】図１５は、同期再生の一例を示す概念図である。
【図１６】図１６は、変形例にかかる表示装置の使用例を示す斜視図である。
【図１７】図１７は、変形例にかかるシステム構成を例示するブロック図である。
【発明を実施するための形態】
【００１０】
以下に、本発明にかかる表示装置及び表示方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００１１】
図１は、実施形態にかかる表示装置１０の使用例を示す斜視図である。図１に示すように、表示装置１０は、利用者である人１がゴルフのスイングなどの一連の動作姿勢を練習する際に、頭部２に装着して使用する頭部装着型の表示装置（ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display））である。撮像装置２０は、人１の動作姿勢を撮像するデジタルカメラである。表示装置１０と、撮像装置２０とは、通信部１４、２３（図４参照）により、例えば無線ＬＡＮ（Local Area Network）等の通信ネットワークを介して互いに通信可能に接続されている。
【００１２】
ここで、一連の動作とは、所定の開始姿勢から終了姿勢までの動きを人が連続して行うことを意味し、動作姿勢とは、一連の動作の際の、その人のある時点での姿勢（フォーム）を意味するものである。例えば、本実施形態では、ゴルフクラブ４を把持した人１が、ゴルフボール３を打つ際の一連の動作を練習する場合を例に説明する。この一連の動作には、アドレス、バックスイング、トップスイング、ダウンスイング、インパクト、フィニッシュなどの動作姿勢が含まれる。なお、表示装置１０を用いた一連の動作の練習は、上述したゴルフのスイング以外に、野球のバッティングや体操などであってもよいことは言うまでもないことである。また、撮像装置２０は、図示例のように１台で人１を正面から撮像するだけでなく、複数台で人１を背面、側面などから撮像する構成であってもよい。
【００１３】
図２は、頭部２に装着して使用する表示装置１０を例示する概念図である。図２に示すように、表示装置１０は、頭部２の外周に接触して支えるフレームＦに表示部１１、操作部１２を備える構成である。表示部１１は、フレームＦにより人１の眼前に配置され、人１に向けて映像を表示するディスプレイである。具体的には、表示部１１は、網膜走査型ディスプレイ、透過型液晶ディスプレイ等であってよい。操作部１２は、フレームＦのサイドなどに設けられた操作スイッチ等である。なお、操作部１２は、人１の手元で操作するリモートコントローラ（図示しない）などであってもよい。
【００１４】
図３は、表示部１１における表示画面Ｇを例示する概念図である。図３に示すように、表示部１１における表示画面Ｇは、人１の視野方向における視界を遮ることなく透過して表示される。例えば、網膜走査型ディスプレイの場合は、画像信号に応じた光束を２次元方向に走査し、走査した光を眼に導き網膜上に表示画像を形成する。したがって、図示例のとおり、ゴルフボール３にゴルフクラブ４を近づけたアドレス動作中の人１（図１も参照）の視界を遮ることがない。なお、図１４、１５には、表示画像として表示画面Ｇに再生画像Ｇ１、Ｇ２、Ｇ３を表示する場合を例示している（詳細は後述する）。
【００１５】
図４は、表示装置１０のハードウエア構成の一例を示すブロック図である。図４に示すように、表示装置１０は、上述した表示部１１、操作部１２の他、システムコントローラ１３、通信部１４、記憶装置１５、ＤＲＡＭ１６、入出力Ｉ／Ｆ部１７、画像処理部１８を備える。撮像装置２０は、例えばデジタルビデオカメラなどであり、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子２１、撮像素子２１が撮像した画像データをＡ／Ｄ変換するＡ／Ｄ変換部２２、変換された画像データを所定の形式で符号化して表示装置１０へ送信する通信部２３を備える。
【００１６】
システムコントローラ１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有し、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順次実行することで、表示装置１０の動作を統括制御する。通信部１４は、撮像装置２０との間のデータ通信を行う通信インタフェースである。通信部１４は、システムコントローラ１３の制御のもと、撮像装置２０が所定のフレームレートで撮像して通信部２３より出力される動画像データを取得する。取得された動画像データは、システムコントローラ１３の制御のもと、ＤＲＡＭ１６などに一時的に格納され、画像処理部１８による画像処理や記憶装置１５への記録が行われる。
【００１７】
記憶装置１５は、ＨＤＤ（Hard Disk Drive）等のストレージデバイスであり、人１の練習にかかる一連の動作を予め記録した記録動画像にかかる動画像データ、撮像装置２０が撮像した動画像データ、各種設定データなどを記憶する。なお、記録動画像は、連続する複数の動作姿勢で構成される基本動作画像であり、本実施形態ではアドレス→バックスイング→トップスイング→ダウンスイング→インパクト→フィニッシュの順に行うゴルフのスイングを、撮像装置２０と同一方向から見た場合の動画像であり、例えば指導者のスイングを撮像した動画像や、コンピュータグラフィックス処理により、理想的なスイングを再現した動画像などであってよい。
【００１８】
ＤＲＡＭ１６（Dynamic RAM）は、動画像などの画像データを一時的に格納する記憶領域を提供する。入出力Ｉ／Ｆ部１７は、システムコントローラ１３の制御のもと、ＵＳＢ（Universal Serial Bus）等の各種通信ポートにより通信接続する外部機器との間のデータの入出力を行う。
【００１９】
画像処理部１８は、画像処理用のＤＳＰ（Digital Signal Processor）であり、システムコントローラ１３の制御のもとで各種画像処理を行う。具体的には、画像処理部１８は、ＣＯＤＥＣ部１８１、特徴点抽出部１８２、相対位置検出部１８３を有する。
【００２０】
ＣＯＤＥＣ部１８１は、画像データの符号化処理や復号処理を行う。例えば、ＣＯＤＥＣ部１８１は、ＭＰＥＧ（Moving Picture Experts Group）形式等の符号化された動画像データを復号する。このＣＯＤＥＣ部１８１の復号により、表示装置１０では、動画像データに含まれる動作姿勢のフレーム画像を得る。
【００２１】
特徴点抽出部１８２は、フレーム画像に含まれる所定の物体を特徴点として抽出する。この特徴点の抽出については、特開平８−２１４２８９などに記載されている、フレーム画像から特徴点を抽出する公知技術を用いるものとする。具体的には、特徴点抽出部１８２は、フレーム画像の中から人の身体を構成する特徴的な部分（例えば、頭、肩、肘、手、腰、膝）や、所定の形状を有する物体（クラブやクラブヘッド）を抽出する。本実施形態では、動作姿勢を示す特徴点として、フレーム画像中の人の頭、肩、肘、手、腰、膝や、その人が把持するクラブのクラブヘッドを抽出する。また、特徴点抽出部１８２は、動画像における前後のフレーム画像から抽出した特徴点同士を比較することで、特徴点の動きを示す動きベクトルを算出する。
【００２２】
相対位置検出部１８３は、特徴点抽出部１８２により抽出された特徴点をもとに、互いに異なる動画像のフレーム画像同士を比較して特徴点の相対的な位置関係を検出する。具体的には、相対位置検出部１８３は、各々のフレーム画像において抽出された特徴点の位置を比較し、その差分を検出する。本実施形態では、相対位置検出部１８３は、システムコントローラ１３の制御のもと、撮像装置２０により撮像された撮像画像より抽出された特徴点と、記憶装置１５に記録された動画像に含まれる各フレーム画像より抽出された特徴点との間の相対的な位置関係を検出する。これにより、撮像装置２０により撮像された撮像画像から抽出された特徴点の位置と、記憶装置１５に記録された動画像において一連の動作姿勢に沿って動く特徴点の位置との間の差分が検出される。
【００２３】
システムコントローラ１３は、相対位置検出部１８３により検出された差分をもとに、記憶装置１５に記録された動画像に含まれるフレーム画像の中で、撮像装置２０により撮像された人１の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する。具体的には、相対位置検出部１８３により検出された差分が所定の閾値内であるフレーム画像を、類似する動作姿勢を含むフレーム画像として特定する。このフレーム画像の特定については、特開２００４−９４６６７などに記載された、抽出された特徴点をもとに類似するフレーム画像を特定する公知技術を用いるものとする。
【００２４】
次に、表示装置１０の動作の流れについて説明する。図５は、表示装置１０の動作の一例を示すフローチャートである。
【００２５】
図５に示すように、操作部１２の操作などにより動作の開始が指示されて処理が開始されると、システムコントローラ１３は、表示部１１の表示画面Ｇに各種情報を表示するためのサブ画面の表示をオンにする（Ｓ１）。次いで、操作部１２により選択操作を受け付けて、システムコントローラ１３は、操作部１２が受け付けた選択操作を判定する（Ｓ２）。
【００２６】
選択操作が「撮像」である場合、システムコントローラ１３は、撮像装置２０が逐次撮像した撮像画像（フレーム画像）を通信部１４を介して取得し（Ｓ３）、取得した撮像画像を逐次記憶装置１５へ記録・保存する（Ｓ４）。したがって、人１は、「撮像」を選択操作することで、自らがゴルフクラブ４をスイングした際の動画像を記憶装置１５に記録することができる。
【００２７】
選択操作が「同期表示」である場合、システムコントローラ１３は、同期表示を開始し（Ｓ５）、通信部１４を介して撮像装置２０が撮像した画像、すなわち人１の動作を撮像した撮像画像（動作姿勢のフレーム画像）を逐次取り込む（Ｓ６）。取り込んだ撮像画像は、ＤＲＡＭ１６に一時記憶される。
【００２８】
次いで、システムコントローラ１３は、特徴点抽出部１８２により、取り込んだ撮像画像、及び記憶装置１５に記録された動画像データから上述した特徴点の抽出を行う（Ｓ７）。
【００２９】
図６は撮像画像Ｇ１０の一例を示す概念図であり、図７は撮像画像Ｇ１０からの特徴点の抽出を例示する概念図である。Ｓ６において図６に示すような撮像画像Ｇ１０が取り込まれた場合、Ｓ７では、人１の頭、肩、肘、手、腰、膝や、人１が把持するゴルフクラブ４のクラブヘッドに対応した特徴点Ｐ１〜Ｐ９が撮像画像Ｇ１０より抽出される。同様に、記憶装置１５に記録された動画像データに含まれる各フレーム画像からも特徴点Ｐ１〜Ｐ９の抽出が行われる。
【００３０】
次いで、システムコントローラ１３は、取り込んだ撮像画像Ｇ１０、及び記憶装置１５に記録された動画像データより抽出した特徴点をもとに、人１の動作姿勢に同期した動画像データを表示部１１に表示する同期再生処理（詳細は後述する）を行う（Ｓ８）。
【００３１】
選択操作が「メニュー」である場合、システムコントローラ１３は、設定操作にかかるメニューをサブ画面に表示し（Ｓ９）、手本選択（Ｓ１０１）、カメラ選択（Ｓ１０２）、表示設定（Ｓ１０３）等の設定操作を操作部１２より受け付ける（Ｓ１０）。ここで、手本選択は、記憶装置１５に記録された複数の動画像の中で、どの動画像を同期再生処理で手本として表示するかの設定を行う選択操作である。カメラ選択は、撮像装置２０が複数ある場合に、どの撮像装置２０で撮像した画像を表示部１１に表示するかの設定を行う選択操作である。表示設定は、同期再生処理時における表示形式（並べて表示や重畳して表示）の設定を行う。
【００３２】
選択操作が「終了」である場合、システムコントローラ１３は、サブ画面の表示をオフにして（Ｓ１１）、処理を終了する。
【００３３】
ここで、同期再生処理の詳細を説明する。図８は、同期再生処理の一例を示すフローチャートである。図８に示すように、同期再生処理が開始されると、相対位置検出部１８３は、撮像画像Ｇ１０より抽出された特徴点、及び記憶装置１５に記録された動画像データに含まれる各フレーム画像より抽出された特徴点について、所定の特徴点に着目し、その着目した特徴点同士を比較して（Ｓ２１）、特徴点の位置の差分を算出する（Ｓ２２）。
【００３４】
ここで、着目する特徴点は、一連の動作姿勢の中で位置が大きく変化する特徴点がより好ましい。図９は、一連の動作姿勢を並べた概念図である。図９に示すように、人１がゴルフのスイングを行う場合は、アドレスからフィニッシュに至る動作姿勢Ａ１〜Ａ７の中で、ゴルフクラブ４のクラブヘッドが最も大きく、人１の手がその次に大きく変化する特徴点である。したがって、本実施形態では、ゴルフクラブ４のクラブヘッドを１つ目に着目する特徴点とし、人１の手を２つ目に着目する特徴点とする。
【００３５】
次いで、システムコントローラ１３は、相対位置検出部１８３により検出された差分をもとに、記憶装置１５に記録された動画像データに含まれる動作姿勢のフレーム画像の中で、撮像装置２０により撮像された人１の動作姿勢に類似する動作姿勢を含むフレーム画像を特定する（Ｓ２３）。次いで、システムコントローラ１３は、Ｓ２３において複数のフレーム画像が特定されたか否かを判定する（Ｓ２４）。
【００３６】
図１０は、一連の動作姿勢を重ねた概念図である。図１０に示すように、ゴルフクラブ４のクラブヘッドを着目する特徴点とした場合、動作姿勢Ａ３及び動作姿勢Ａ７のフレーム画像、動作姿勢Ａ２及び動作姿勢Ａ４のフレーム画像、動作姿勢Ａ１及び動作姿勢Ａ５のフレーム画像が人１の動作姿勢に類似する動作姿勢を含むフレーム画像として特定されることがある。例えば、人１が動作姿勢Ａ２でゴルフクラブ４を構えている場合には、動作姿勢Ａ４でゴルフクラブ４を構えているフレーム画像も特定されることがある。したがって、Ｓ２４では、異なる動作姿勢のフレーム画像も特定されているか否かを判定する。
【００３７】
Ｓ２３において複数のフレーム画像が特定された場合（Ｓ２４：ＹＥＳ）、システムコントローラ１３は、撮像画像Ｇ１０及び特定されたフレーム画像について特徴点抽出部１８２が算出した特徴点の動きを示す動きベクトルを取得し（Ｓ２５）、取得した動きベクトルをもとにフレーム画像を絞り込む（Ｓ２６）。具体的には、撮像画像Ｇ１０の特徴点の動きベクトルに近い動きベクトルの特徴点を持つフレーム画像に絞り込む。
【００３８】
図１１は、動き方向の異なる動作姿勢を例示する概念図である。図１１に示すように、動作姿勢Ａ２付近では、動作姿勢Ａ２と、ｎフレーム前（−ｎ）の動作姿勢Ａ２とを比較した場合、ゴルフクラブ４は振りかぶる方向に動いている。また、動作姿勢Ａ４付近では、動作姿勢Ａ４と、ｎフレーム前（−ｎ）の動作姿勢Ａ４とを比較した場合、ゴルフクラブ４は振り下ろす方向に動いている。したがって、撮像画像Ｇ１０の特徴点の動きベクトルに近いか否かにより、動作姿勢Ａ４又は動作姿勢Ａ２を区別することができる。
【００３９】
Ｓ２６に次いで、システムコントローラ１３は、Ｓ２６で１つのフレーム画像に絞りこまれたか否かを判定する（Ｓ２７）。Ｓ２６で１つのフレーム画像に絞りこまれていない場合（Ｓ２７：ＮＯ）、システムコントローラ１３は、１つ目に着目した特徴点とは異なる２つ目に着目した特徴点との位置関係（前述した差分）をもとに、フレーム画像を絞り込む（Ｓ２８）。
【００４０】
図１２は、ゴルフのスイングにおけるフィニッシュ動作（動作姿勢Ａ７付近）を例示する概念図である。図１３は、ゴルフのスイングにおけるトップスイング動作（動作姿勢Ａ３付近）を例示する概念図である。図１２、１３を比較しても明らかなように、フィニッシュ動作とトップスイング動作では、ゴルフクラブ４のクラブトップが略同じ動きをする。したがって、ｎフレーム前（−ｎ）の動作姿勢Ａ７から動作姿勢Ａ７と、動作姿勢Ａ３からｎフレーム後（＋ｎ）の動作姿勢Ａ３においては、撮像画像Ｇ１０のクラブヘッドの特徴点の動きベクトルに近い動きベクトルだけでは、フレーム画像の絞り込みができない。このため、Ｓ２８では、２つ目に着目した特徴点（人１の手）の位置関係をもとに、フレーム画像を絞り込む。
【００４１】
Ｓ２９において、システムコントローラ１３は、記憶装置１５に記録された動画像データを、絞りこまれたフレーム画像の位置から、撮像画像Ｇ１０における人１の動作に合わせて動くように同期して再生する画像と、撮像画像Ｇ１０とを表示部１１の表示画面Ｇに表示する、同期再生を行う（Ｓ２９）。なお、動画像データの再生については、撮像画像Ｇ１０及び絞りこまれたフレーム画像について特徴点抽出部１８２が算出した特徴点の動きを示す動きベクトルを比較し、撮像画像Ｇ１０の特徴点の動きベクトルに一致するように、再生時のフレームレート及び再生方向を調整することで、人１の動作に合わせて動くように同期した再生が行われることとなる。
【００４２】
次いで、操作部１２による操作指示をもとに、再生（「同期再生」）を終了するか否かを判定する（Ｓ３０）。終了する場合（Ｓ３０：ＹＥＳ）は、Ｓ２１〜Ｓ２９にかかる同期再生処理を終了する。終了しない場合（Ｓ３０：ＮＯ）、システムコントローラ１３は、Ｓ２１へ処理を戻し、同期再生処理を継続する。
【００４３】
図１４、図１５は、同期再生の一例を示す概念図である。図１４に示すように、表示画面Ｇにおいて、撮像画像Ｇ１０の再生画像Ｇ１と、動画像データの再生画像Ｇ２とは、並べて表示してよい。このように、人１自身を撮像した撮像画像Ｇ１０を再生した再生画像Ｇ１と、記憶装置１５に記録された動画像データを人１の動作姿勢に合わせて再生した再生画像Ｇ２とが表示画面Ｇに表示されることから、人１は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、自らの動きに合わせてリアルタイムに確認することができる。
【００４４】
また、図１５に示すように、撮像画像Ｇ１０、及び動画像データを再生する画像は、一方を透過状態で他方に重畳した再生画像Ｇ３として表示画面Ｇに表示してよい。この場合、重畳した部分との差分を抽出し、抽出した差分をもとに相違する領域を検出することで、その相違する領域を他の領域とは異なる表示態様としてもよい。具体的には、図示例に示すように、相違する領域を点線などで表示してよい。このように相違する領域を異なる表示態様とすることで、人１は、一連の動作を練習する際の、所定の動作姿勢におけるずれを、明確に認識できる。
【００４５】
以上のように、表示装置１０は、人１の動作を撮像した撮像画像Ｇ１０を通信部１４を介して撮像装置２０より逐次取り込む。表示装置１０は、特徴点抽出部１８２により、取り込まれた撮像画像Ｇ１０、及び人１の練習にかかる一連の動作を記憶装置１５に予め記録した動画像の連続する複数の動作姿勢から所定の特徴点を抽出する。表示装置１０は、相対位置検出部１８３により、撮像画像Ｇ１０から抽出された特徴点の位置と、動画像の連続する複数の動作姿勢から抽出された特徴点の位置との間の差分を検出する。表示装置１０は、動画像に含まれる連続する複数の動作姿勢の中で、検出された差分が所定の閾値内にあり、人１の動作姿勢に類似するフレーム画像を、撮像画像Ｇ１０とともに表示部１１に表示する。したがって、表示装置１０を利用する人１は、一連の動作を練習する際の、所定の動作姿勢からのずれを、人１自身の動きに合わせて確認することができる。
【００４６】
次に、表示装置１０の変形例を説明する。図１６は、変形例にかかる表示装置１０の使用例を示す斜視図である。図１６に示すように、表示装置１０は、ゴルフの練習場所などに設置されたテレビ型の表示装置であってもよい。具体的には、表示装置１０は、ゴルフのスイングを練習する際にリアルタイムに確認できるよう、人１がゴルフのスイングを行う際に正面に位置するように設置されてよい。
【００４７】
図１７は、変形例にかかるシステム構成を例示するブロック図である。図１７に例示したシステム構成のように、表示装置１０、撮像装置２０は、無線ＬＡＮなどの通信ネットワークＮを介し、ＰＣ（Personal Computer）やＷＳ（Work Station）等の情報機器であるサーバ装置３０と接続する構成であってよい。このようなシステム構成では、記憶装置１５における動画像の記録や、画像処理部１８が行う画像処理などはサーバ装置３０が受け持って行い、表示装置１０はサーバ装置３０により出力された画像データの表示のみを行うものであってよい。
【符号の説明】
【００４８】
１…人、２…頭部、３…ゴルフボール、４…ゴルフクラブ、１０…表示装置、１１…表示部、１２…操作部、１３…システムコントローラ、１４…通信部、１５…記憶装置、１６…ＤＲＡＭ、１７…入出力Ｉ／Ｆ部、１８…画像処理部、２０…撮像装置、２１…撮像素子、２２…Ａ／Ｄ変換部、２３…通信部、３０…サーバ装置、１８１…ＣＯＤＥＣ部、１８２…特徴点抽出部、１８３…相対位置検出部、Ａ１〜Ａ７…動作姿勢、Ｆ…フレーム、Ｇ…表示画面、Ｇ１〜Ｇ３…再生画像、Ｇ１０…撮像画像、Ｐ１〜Ｐ９…特徴点、Ｎ…通信ネットワーク
【特許請求の範囲】
【請求項１】
利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、
連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出する検出部と、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、
を備える表示装置。
【請求項２】
前記検出部は、前記所定の動作姿勢を逐次変更して差分を検出し、
前記表示部は、変更した前記撮像画像の動作姿勢を前記基本動作画像の前記動作姿勢とともに逐次表示する、
請求項１に記載の表示装置。
【請求項３】
前記表示部は、前記検出された差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から前記撮像画像の特徴点の動きと類似した特徴点の動きを示す動作姿勢を絞り込んで表示する、
請求項２に記載の表示装置。
【請求項４】
前記特徴点抽出部は、前記動作姿勢から所定の特徴点を複数抽出し、
前記検出部は、複数抽出された特徴点ごとに、前記撮像画像から抽出された特徴点の位置と、前記基本動作画像から抽出された特徴点の位置との間の差分を検出し、
前記表示部は、検出されたいずれか一つの特徴点の差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から、検出された他の特徴点の差分をもとに動作姿勢を絞り込んで表示する、
請求項１乃至３のいずれか一項に記載の表示装置。
【請求項５】
前記表示部は、前記基本動作画像、及び前記撮像画像を並べて表示する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項６】
前記表示部は、前記基本動作画像、及び前記撮像画像のいずれか一方を、透過状態で他方に重畳して表示する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項７】
前記表示部は、前記基本動作画像と前記撮像画像とを重ねた際に相違する領域を他の領域とは異なる表示態様で表示する、
請求項６に記載の表示装置。
【請求項８】
前記連続する複数の動作姿勢は、クラブをスイングする動作における動作姿勢であり、
前記特徴点抽出部は、前記撮像画像、及び前記基本動作画像に含まれる前記クラブのヘッド部分を特徴点として抽出する、
請求項１乃至７のいずれか一項に記載の表示装置。
【請求項９】
表示装置で実行される表示方法であって、
利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、
連続する複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出するステップと、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップと、
を含む表示方法。
【請求項１】
利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込む画像取込部と、
連続する複数の動作姿勢で構成される基本動作画像を記録した記録部と、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出する特徴点抽出部と、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出する検出部と、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示する表示部と、
を備える表示装置。
【請求項２】
前記検出部は、前記所定の動作姿勢を逐次変更して差分を検出し、
前記表示部は、変更した前記撮像画像の動作姿勢を前記基本動作画像の前記動作姿勢とともに逐次表示する、
請求項１に記載の表示装置。
【請求項３】
前記表示部は、前記検出された差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から前記撮像画像の特徴点の動きと類似した特徴点の動きを示す動作姿勢を絞り込んで表示する、
請求項２に記載の表示装置。
【請求項４】
前記特徴点抽出部は、前記動作姿勢から所定の特徴点を複数抽出し、
前記検出部は、複数抽出された特徴点ごとに、前記撮像画像から抽出された特徴点の位置と、前記基本動作画像から抽出された特徴点の位置との間の差分を検出し、
前記表示部は、検出されたいずれか一つの特徴点の差分が所定の閾値内にある動作姿勢が複数ある場合は、前記複数ある動作姿勢の中から、検出された他の特徴点の差分をもとに動作姿勢を絞り込んで表示する、
請求項１乃至３のいずれか一項に記載の表示装置。
【請求項５】
前記表示部は、前記基本動作画像、及び前記撮像画像を並べて表示する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項６】
前記表示部は、前記基本動作画像、及び前記撮像画像のいずれか一方を、透過状態で他方に重畳して表示する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項７】
前記表示部は、前記基本動作画像と前記撮像画像とを重ねた際に相違する領域を他の領域とは異なる表示態様で表示する、
請求項６に記載の表示装置。
【請求項８】
前記連続する複数の動作姿勢は、クラブをスイングする動作における動作姿勢であり、
前記特徴点抽出部は、前記撮像画像、及び前記基本動作画像に含まれる前記クラブのヘッド部分を特徴点として抽出する、
請求項１乃至７のいずれか一項に記載の表示装置。
【請求項９】
表示装置で実行される表示方法であって、
利用者の動作を連続する複数の動作姿勢として撮像した撮像画像を逐次取り込むステップと、
連続する複数の動作姿勢で構成される基本動作画像を記録する記録ステップと、
前記撮像画像及び前記基本動作画像の前記連続する複数の動作姿勢から所定の特徴点を抽出するステップと、
前記撮像画像のうちの所定の動作姿勢の特徴点の位置と、前記基本動作画像の前記連続する複数の動作姿勢から抽出された特徴点の位置との間の差分をそれぞれ検出するステップと、
前記検出された差分が所定の閾値内にある前記基本動作画像の前記動作姿勢を、前記撮像画像のうちの所定の動作姿勢とともに表示するステップと、
を含む表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３４４９２（Ｐ２０１３−３４４９２Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７０１８４（Ｐ２０１１−１７０１８４）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
[ Back to top ]