動作解析装置
【課題】ユーザにとって、簡易に使用可能な動作解析装置を提供することである。
【解決手段】動作解析装置は、動画の入力を受け付けると（Ｓ１１）、静止画を操作部に表示する（Ｓ１２）。動作解析装置は、ユーザから静止画像上の任意の箇所を指定される（Ｓ１３）。そうすると、指定点を中心とした半径ｒの範囲内において、第一の特徴点の検索を行う（Ｓ１４）。そして、第一の特徴点を検索した静止画より時間的に後に隣り合う静止画において、第一の特徴点に対応する第二の特徴点の検索を行う（Ｓ１５）。そして、特徴点の差を算出し（Ｓ１６）、算出した差の平均値を求める（Ｓ１７）。そして、連続する複数の静止画の隣り合う静止画像間の全てにおいて、特徴点の差をそれぞれ算出し、算出した差の平均値を求めると（Ｓ１８において、ＹＥＳ）、求めた平均値を順に接続する。このようにして軌跡を作成する（Ｓ１９）。
【解決手段】動作解析装置は、動画の入力を受け付けると（Ｓ１１）、静止画を操作部に表示する（Ｓ１２）。動作解析装置は、ユーザから静止画像上の任意の箇所を指定される（Ｓ１３）。そうすると、指定点を中心とした半径ｒの範囲内において、第一の特徴点の検索を行う（Ｓ１４）。そして、第一の特徴点を検索した静止画より時間的に後に隣り合う静止画において、第一の特徴点に対応する第二の特徴点の検索を行う（Ｓ１５）。そして、特徴点の差を算出し（Ｓ１６）、算出した差の平均値を求める（Ｓ１７）。そして、連続する複数の静止画の隣り合う静止画像間の全てにおいて、特徴点の差をそれぞれ算出し、算出した差の平均値を求めると（Ｓ１８において、ＹＥＳ）、求めた平均値を順に接続する。このようにして軌跡を作成する（Ｓ１９）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動作解析装置に関し、特に、特定箇所の動作を解析可能な動作解析装置に関するものである。
【背景技術】
【０００２】
ゴルフのスイング運動の動作解析に関する技術が、例えば、特開２００９−２０８９７号公報（特許文献１）に開示されている。特許文献１によると、時系列の物体画像データのそれぞれについて、特定領域の位置を検出し、検出した特定領域の位置の変化を追跡することにより、特定領域の軌跡を線と点で表示することとしている。
【０００３】
具体的には、予め特定領域の色を記憶しておくことにより、記憶された色と同じ色の領域を時系列の物体画像データからそれぞれ検出し、特定領域の位置の変化を追跡する。また、ユーザによるマニュアル操作により、特定領域の位置を指定させ、この指定された領域の色に基づいて、特定領域の位置の変化を追跡する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２０８９７号公報（段落番号００７１〜００７５等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の技術では、特定領域の位置の検出のために、特定領域の色を予め記憶させる必要がある。そうすると、例えば、予め記憶させた色と異なる色を急遽使用しなければならなくなった場合に、色の登録を改めて行う必要があり、ユーザにとってこのような作業は煩雑である。
【０００６】
また、ユーザによるマニュアル操作により、特定領域の位置を指定された場合であっても、指定された領域の色に基づいて、特定領域の位置の変化を追跡するため、例えば、ユーザにとって、複数の特定領域の位置を指定したい場合には、特定領域のそれぞれにおいて、異なる色を用いる必要がある。
【０００７】
この発明の目的は、ユーザにとって、簡易に使用可能な動作解析装置を提供することである。
【課題を解決するための手段】
【０００８】
この発明に係る動作解析装置は、連続する複数の静止画から構成される動画の動作を解析する。動作解析装置は、動画の入力を受け付ける動画受付手段と、動画受付手段により受け付けた動画のうち、動画を構成する第一の静止画において、第一の静止画像上の解析対象箇所を指定する解析箇所指定手段と、解析対象箇所から一定範囲内において、第一の特徴点を検索する第一の検索手段と、動画を構成し、第一の静止画と異なる静止画である第二の静止画において、第一の特徴点に対応する第二の特徴点を検索する第二の検索手段と、第一および第二の特徴点に基づいて、軌跡を作成する軌跡作成手段とを備える。
【０００９】
こうすることにより、動作解析装置は、第一の静止画像上の解析対象箇所の指定を行い、第一の静止画における第一の特徴点および第二の静止画における第二の特徴点を検索する。そして、第一および第二の特徴点に基づいて、軌跡を作成する。したがって、ユーザにとって、色を考慮する必要なく、解析対象箇所の指定および軌跡の作成を行い、動画の動作を解析することができる。その結果、ユーザにとって、簡易に使用可能となる。
【００１０】
好ましくは、解析箇所指定手段は、ユーザが解析対象箇所を任意に指定可能とするために、ユーザからの指定を受け付ける指定受付手段を有する。こうすることにより、ユーザは、動作の解析を行う箇所を任意に指定することが可能となる。これにより、ユーザの利便性をさらに向上させることができる。
【００１１】
好ましくは、解析箇所指定手段は、第一の静止画から観測対象を認識する認識手段と、認識手段によって認識された観測対象の画像データに基づいて、観測対象の形態を推定する形態推定手段とを有する。ここで、上記解析対象箇所は、形態推定手段によって推定された画像データに基づいて指定される。こうすることにより、動作解析を開始するに際して、動作解析装置が観測対象の初期形態を推定し、そのデータに基づいて解析の初期条件を自動的に決定することが可能となる。これにより、ユーザが解析対象箇所を指定する作業を省略することができるため、ユーザの利便性をさらに向上させた動作解析装置を提供することができる。
【００１２】
好ましくは、認識手段は、観測対象を含む一定の領域を対象領域として画定する対象領域画定手段と、対象領域の大きさを所定の画像サイズとなるように調整する対象領域正規化手段とを含む。こうすることにより、第一の静止画像における観測対象の位置や大きさ等による影響を受けることなく、観測対象の形態推定および動作解析を、より高精度に一律に行うことが可能となる。
【００１３】
好ましくは、認識手段は、第一の静止画に形成された輝度勾配に基づいて、観測対象の輪郭を検出する。こうすることにより、観測対象の輪郭を高精度に行うことができるため、観測対象の形態推定および動作解析を、より高精度に行うことができる。
【００１４】
好ましくは、観測対象に対応する比較対象の画像データを、予め複数記憶するレファレンス画像記憶手段をさらに備え、形態推定手段は、認識手段によって認識された観測対象の画像データと、レファレンス画像記憶手段によって記憶された比較対象の画像データとを比較し、観測対象の画像データに形態が近似する比較対象の画像データを選択するレファレンス画像選択手段を含む。ここで、上記解析対象箇所は、レファレンス画像選択手段によって選択された比較対象の画像データに基づいて指定される。こうすることにより、観測対象の形態を自動的に推定し、且つ、推定された画像データ上において上記解析対象箇所を設定することができる。すなわち、動作解析の開始点における解析箇所の初期条件を、ユーザによる指定を要することなく、より確実且つ高精度に設定することができる。これにより、ユーザに対する利便性を向上させるとともに、動作解析の精度を向上させることができる。
【００１５】
好ましくは、第一の検索手段は、一定範囲内において、複数の第一の特徴点を検索し、第二の検索手段は、複数の第一の特徴点に対応する複数の第二の特徴点を検索し、軌跡作成手段は、複数の第一の特徴点と複数の第二の特徴点との差をそれぞれ算出し、この算出した差の平均値を求めることにより、求めた平均値に基づいて、軌跡を作成する。こうすることにより、複数の特徴点の差の平均値に基づいて、軌跡を作成することができる。したがって、例えば、動作解析装置の認識した解析対象箇所が、ユーザの意図する箇所と多少ずれていた場合であっても、そのずれ具合を抑えることができる。その結果、作成する軌跡の精度を向上させることができる。
【００１６】
さらに好ましくは、平均値は、第一および第二の特徴点に基づく点であって、動画を構成する静止画像上の所定の点における変化を示すものであり、軌跡作成手段は、平均値を、連続する複数の静止画の隣り合う静止画像間においてそれぞれ算出し、この算出した平均値が示す所定の点を順に接続することにより、軌跡を作成する。
【００１７】
さらに好ましくは、第一の静止画は、動画の先頭に位置する静止画と、動画の最後に位置する静止画とを含み、第二の静止画は、第一の静止画と時系列的に後に隣り合う静止画と、第一の静止画より時系列的に前に隣り合う静止画とを含み、第二の検索手段は、時系列的に後に隣り合う静止画において、第一の特徴点に対応する第二の特徴点を検索すると共に、時系列的に前に隣り合う静止画において、第一の特徴点に対応する第二の特徴点を検索する。こうすることにより、例えば、連続する複数の静止画において、時系列的に前から後ろへ向かって、順に特徴点の検索を行った場合に、途中で特徴点の検索を行うことが出来なくなった場合であっても、時系列的に後ろから前へ向かって、逆順に特徴点の検索を行うことができる。その結果、確実に特徴点の検索を行うことができる。
【００１８】
さらに好ましくは、第二の検索手段は、動画の動作の速さを取得する取得手段を含み、取得手段により取得した速さに基づいて、第二の特徴点を検索する。こうすることにより、第二の特徴点の検索を動画の動作の速さに応じて変化させることができる。その結果、容易に第二の特徴点を検索することができる。
【００１９】
一実施形態として、連続する複数の静止画は、一定間隔で構成されており、取得手段は、隣り合う静止画像間において、静止画像の差の大小を取得することにより、動画の動作の速さを取得する。
【００２０】
好ましくは、軌跡作成手段は、軌跡の方向が転換された場合に、方向転換前の軌跡と方向転換後の軌跡とを識別可能とする方向転換識別手段を有する。こうすることにより、動作の転換点となるポイントと、その前後の動きの軌跡を明確に把握することが可能となるため、より詳細な動作解析を容易に行うことができる。
【００２１】
好ましくは、方向転換識別手段は、時系列的に連続する静止画間における軌跡の速度ベクトルを計算し、特定の静止画における速度ベクトルと、当該特定の静止画と時系列的に後に隣り合う静止画における速度ベクトルとの内積が負となった場合に、軌跡の方向転換を検出する。こうすることにより、動作の転換点となるポイントを、より高精度に検出することが可能となる。
【００２２】
さらに好ましくは、軌跡作成手段により作成された軌跡と、動画受付手段により受け付けた動画とを重ねて表示する表示手段を含む。こうすることにより、軌跡と動画とを重ねて表示することができ、ユーザにとって、動画の動作の解析結果がわかりやすくなる。
【発明の効果】
【００２３】
このような動作解析装置は、第一の静止画像上の解析対象箇所の指定を行い、第一の静止画における第一の特徴点および第二の静止画における第二の特徴点を検索する。そして、第一および第二の特徴点に基づいて、軌跡を作成する。したがって、ユーザにとって、色を考慮する必要なく、解析対象箇所の指定および軌跡の作成を行い、動画の動作を解析することができる。その結果、ユーザにとって、簡易に使用可能となる。
【図面の簡単な説明】
【００２４】
【図１】この発明の一実施形態に係る動作解析装置の構成を示すブロック図である。
【図２】ゴルフのスイングのフォームを解析する場合の動作解析装置の動作を示すフローチャートである。
【図３】連続する複数の静止画の一部を示す図である。
【図４】連続する複数の静止画の一部を示す図であって、図３の次の状態を示す静止画である。
【図５】連続する複数の静止画の一部を示す図であって、図４の次の状態を示す静止画である。
【図６】図３の静止画において、指定されたＰ０の位置を示す図である。
【図７】図３の静止画において、検索された特徴点Ｐ１、Ｐ２、Ｐ３の位置を示す図である。
【図８】図４の静止画において、検索された特徴点Ｐ１´、Ｐ２´、Ｐ３´の位置を示す図である。
【図９】図３の静止画に軌跡を重ねて表示した状態を示す図である。
【図１０】連続する複数の静止画の他の例を示す図である。
【図１１】連続する複数の静止画の他の例を示す図であって、図１０の次の状態を示す静止画である。
【図１２】連続する複数の静止画の他の例を示す図であって、図１１の次の状態を示す静止画である。
【図１３】本発明の他の実施形態に係る動作解析装置の動作を示すフローチャートである。
【図１４】連続する複数の静止画のうち、時系列的に最初の静止画を示す図である。
【図１５】図１４に示す対象領域を拡大した示す図である。
【図１６】図１５に示すプレーヤーの輪郭を抽出した図を示す。
【図１７】比較対象となるレファレンス画像の一例を示す図である。
【図１８】図１７に示すレファレンス画像であって、（ａ）は画像上に頭部、腕部、および脚部に対応する第一身体部位領域が画定されている様子を表す図であり、（ｂ）はレファレンスプレーヤーの輪郭を抽出した図であり、（ｃ）は（ａ）に示す第一身体部位領域のみを抽出した様子を表す図である。
【図１９】観測対象の画像データに、選択されたレファレンス画像に対応する第一身体部位領域を適用した様子を表す図である。
【図２０】図１９に示す画像から時系列的に後に隣接する画像を示す図であって、図１９に対応する図である。
【図２１】図２０に示す画像から時系列的に後に隣接する画像を示す図であって、図２０に対応する図である。
【図２２】一連のゴルフスイングを記録した動画を、計６フレームの静止画によって表した図である。
【図２３】方向転換識別手段によってテイクバックとダウンスイングとが識別可能となったゴルフスイングの軌跡を表す図である。
【図２４】二つのゴルフスイングの軌跡を形成し、それらを並列表示した図を示す。
【図２５】本発明に係る動作比較手段の動作を示すフローチャートである。
【図２６】第一および第二の軌跡のフレーム番号Ｎと差分値ｘに係るグラフを示す。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、この発明の一実施形態に係る動作解析装置について説明する。図１は、この発明の一実施形態に係る動作解析装置１０の構成を示すブロック図である。図１を参照して、動作解析装置１０は、動画の動作を解析可能であって、動作解析装置１０全体を制御するＣＰＵ等の制御部１１と、画像等を記憶する記憶部１２と、タッチパネル式であってユーザからの操作を受け付けると共に記憶部１２に記憶した画像等を表示する操作部１３と、外部機器との接続インターフェースとなるＩ／Ｆ部１４とを備える。なお、本実施形態中において、画像とは、動画および静止画を含むものとする。
【００２６】
ここで、動作解析装置１０が、ゴルフのスイングのフォームを解析する場合について説明する。図２は、ゴルフのスイングのフォームを解析する場合の動作解析装置１０の動きを示すフローチャートである。図１〜図２を参照して説明する。
【００２７】
まず、ユーザは、アドレスからフィニッシュまでのゴルフのスイングのフォームをビデオカメラ等で予め撮影しており、動作解析装置１０は、Ｉ／Ｆ部１４を介して、撮影した動画の入力を受け付ける（図２において、ステップＳ１１、以下ステップを省略する）。動画は、連続する複数の静止画から構成されており、この複数の静止画は、一定間隔である。図３〜図５は、連続する複数の静止画の一部を示す図である。図３〜図５は、アドレスからフィニッシュまでのゴルフのスイングのうち、スイングの開始直後であるアドレスからテイクバックまでの状態を順に示している。ここで、Ｉ／Ｆ部１４は、動画受付手段として作動する。動作解析装置１０は、連続する静止画の先頭に位置する図３の静止画を操作部１３に表示する（Ｓ１２）。ここで、図３の静止画は、第一の静止画である。
【００２８】
そうすると、動作解析装置１０は、動作解析の対象となる解析対象箇所として、ユーザから静止画像上の任意の箇所を指定される（Ｓ１３）。操作部１３は、タッチパネル式であり、画面を指等でタッチされることによって、任意の箇所を指定される。ここでは、任意の箇所として、Ｐ０を指定される。なお、図６は、図３の静止画において、指定されたＰ０の位置を示す図である。ここで、操作部１３は、指定受付手段として作動する。
【００２９】
そうすると、動作解析装置１０は、指定点であるＰ０を中心とし、予め定められた半径ｒ範囲内において、第一の特徴点の検索を行う（Ｓ１４）。特徴点とは、静止画像中の輝度の変化の大きい箇所や、物体のエッジ等を示す点であって、静止画において何らかの変化を有する点である。ここでは、図３の静止画において、Ｐ１、Ｐ２、Ｐ３の複数の第一の特徴点が検索される。
【００３０】
なお、特徴点の検索は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いることができる。ＳＩＦＴ特徴量の計算は、指定点Ｐ０を中心とした半径ｒ範囲内の部分静止画を平滑化し、平滑化画像からＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）画像を生成する。そして、ＤｏＧ画像において極値を探索する。そして、当該極値の周囲の画素の輝度勾配および角度に基づき特徴量を計算する。ＳＩＦＴ特徴量は、物体の回転や、物体の拡大および縮小等に影響を受けることがない。したがって、この実施形態のような回転する動作であるゴルフのスイングにおいて、誤差等がなく適切に用いることができる。図７は、図３の静止画において、検索された第一の特徴点Ｐ１、Ｐ２、Ｐ３の位置を示す図である。ここで、制御部１１は、第一の検索手段として作動する。
【００３１】
そして、動作解析装置１０は、第一の特徴点Ｐ１、Ｐ２、Ｐ３を検索した図３の静止画より時系列的に後に隣り合う静止画、すなわち、図４の静止画において、第一の特徴点Ｐ１、Ｐ２、Ｐ３に対応する第二の特徴点の検索を行う（Ｓ１５）。ここで、対応するとは、第一の特徴点Ｐ１、Ｐ２、Ｐ３に類似する値を有することを意味する。検索においては、例えば、図３の静止画における第一の特徴点Ｐ１、Ｐ２、Ｐ３の座標を図４の静止画にあてはめて、当該座標の位置を中心とした所定の範囲内において、第一の特徴点Ｐ１、Ｐ２、Ｐ３に対応する第二の特徴点の検索を行う。図８は、図４の静止画において、検索された第二の特徴点Ｐ１´、Ｐ２´、Ｐ３´の位置を示す図である。Ｐ１´がＰ１に対応し、Ｐ２´がＰ２に対応し、Ｐ３´がＰ３に対応している。ここで、図４の静止画は、第二の静止画であり、制御部１１は、第二の検索手段として作動する。
【００３２】
そして、図７に示す特徴点Ｐ１、Ｐ２、Ｐ３と、図８に示す特徴点Ｐ１´、Ｐ２´、Ｐ３´との差を算出する（Ｓ１６）。Ｐ１´−Ｐ１＝ΔＰ１よりΔＰ１を算出する。すなわち、隣り合う静止画像間における特徴点の変化量を算出する。Ｐ２´、Ｐ３´においても同様に計算して、Ｐ２´−Ｐ２＝ΔＰ２よりΔＰ２を算出し、Ｐ３´−Ｐ３＝ΔＰ３よりΔＰ３を算出する。そして、算出した差ΔＰ１、ΔＰ２、ΔＰ３の３つの平均値ΔＰｔ１を求める（Ｓ１７）。この平均値ΔＰｔ１は、第一および第二の特徴点に基づく点である静止画像上の所定の点における変化を示すものとなる。
【００３３】
そして、第二の特徴点Ｐ１´、Ｐ２´、Ｐ３´を検索した図４の静止画より時系列的に後に隣り合う静止画、すなわち、図５の静止画においても同様に、特徴点Ｐ１´、Ｐ２´、Ｐ３´に対応する特徴点Ｐ１´´、Ｐ２´´、Ｐ３´´（図示せず）の検索を行い、特徴点Ｐ１´、Ｐ２´、Ｐ３´と特徴点Ｐ１´´、Ｐ２´´、Ｐ３´´の差を算出し、算出した差の平均値ΔＰｔ２を求める。このとき、特徴点Ｐ１´、Ｐ２´、Ｐ３´は第一の特徴点となり、特徴点Ｐ１´´、Ｐ２´´、Ｐ３´´は第二の特徴点となる。
【００３４】
このように、Ｓ１１にて受け付けた動画を構成する連続する複数の静止画の隣り合う静止画像間の全てにおいて、特徴点の差をそれぞれ算出し、算出した差の平均値ΔＰｔｎ（ｎ＝１，２・・・）を順に求めていく（Ｓ１８において、ＮＯ）。
【００３５】
そして、連続する複数の静止画の隣り合う静止画像間の全てにおいて、特徴点の差をそれぞれ算出し、算出した差の平均値ΔＰｔｎ（ｎ＝１，２・・・）を求めると（Ｓ１８において、ＹＥＳ）、求めた平均値ΔＰｔｎを順に接続する。すなわち、所定の点を順に接続する。このようにして、平均値ΔＰｔｎに基づき、軌跡を作成する（Ｓ１９）。平均値ΔＰｔｎは、軌跡の一部であり、接続することにより軌跡全体となる。図９は、図３の静止画に軌跡２０を重ねて表示した状態を示す図である。なお、図９においては、軌跡２０の一部を示している。ここで、制御部１１は、軌跡作成手段として作動する。このようにして、動作解析装置１０は、軌跡２０を作成することにより、動作の解析を行う。
【００３６】
このように、動作解析装置１０は、解析対象箇所として第一の静止画像上の任意の箇所の指定を受け付けると、第一の静止画における第一の特徴点および第二の静止画における第二の特徴点を検索する。そして、第一および第二の特徴点に基づいて、軌跡を作成する。したがって、ユーザにとって、色を考慮する必要なく、任意の箇所を指定するのみで、軌跡を作成して、動画の動作を解析することができる。その結果、ユーザにとって、簡易に使用可能となる。
【００３７】
また、Ｓ１３において、例えば画面が小さい場合には、ユーザとっては図３のグリップを指定したにもかかわらず、グリップとは異なるシャフト等を指定されたと操作部１３が受け付けてしまう場合がある。すなわち、操作部１３が受け付けた指定点Ｐ０とユーザの意図した解析対象箇所とが異なる場合がある。しかしながら、Ｓ１４において、指定点Ｐ０を中心としてＰ０の周囲の複数の特徴点を検索するため、この検索した複数の特徴点に基づいて軌跡の作成を行うことができる。したがって、指定点Ｐ０とユーザの意図した解析対象箇所とが異なる場合であっても、作成する軌跡の精度を向上させることができる。
【００３８】
なお、Ｓ１５における第二の特徴点の検索の際に、例えば動画の動作が激しい場合には、第二の特徴点の検索が困難となる場合がある。例えば、図３〜図５に示す静止画像は、スイングの開始直後を示すものであるため、動作が遅く、静止画像間の変化が小さい。しかしながら、図１０〜図１２に示す静止画像は、ダウンスイングからインパクト直前を順に示すものであるため、動作が速く、静止画像間の変化が大きい。このように動画の動作が速く、特徴点の検索が困難な場合には、動画の動作の速さを予め取得しておくことにより、対応することができる。
【００３９】
具体的には、静止画像を所定の大きさの領域に分割し、隣り合う静止画像間で、対応する領域毎に差分を抽出する。そして、その差分の大小を取得して、差分が大きければ動作が速いと判断し、差分が小さければ動作が遅いと判断する。このようにして、動画の動作の速さを取得する。そして、Ｓ１５における第二の特徴点の検索の際に、動作の速さを取得して、動作が速い場合には、検索する範囲を大きくする。ここで、制御部１１は、取得手段として作動する。
【００４０】
また、例えば、静止画像を所定の大きさの小領域に分割し、小領域毎に、横軸が輝度勾配、縦軸が出現頻度を示す輝度勾配のヒストグラムを計算する。なお、この輝度勾配は、上記したＳ１４におけるＳＩＦＴ特徴量計算時のものと同じである。そして、隣り合う静止画像間で、計算したヒストグラムを対応する領域毎に比較することにより、ヒストグラムの差の大小を取得して、差が大きければ動作が速いと判断し、差が小さければ動作が遅いと判断してもよい。
【００４１】
また、例えば、静止画像全体に２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）処理を行うことにより、静止画像全体を周波数領域に変換する。そして、変換した周波数領域のうち、高周波領域の情報を除き、低周波領域のヒストグラムを計算する。そして、隣り合う静止画像間で、計算したヒストグラムを比較することにより、ヒストグラムの差の大小を取得して、差が大きければ動作が速いと判断し、差が小さければ動作が遅いと判断してもよい。
【００４２】
また、上記の実施の形態においては、特徴点の検索の際に、いずれの静止画像においても特徴点の検索ができた場合について説明したが、例えば図３の静止画の特徴点Ｐ１、Ｐ２、Ｐ３は検索できたものの、図３の静止画に隣り合う図４の静止画の特徴点Ｐ１´、Ｐ２´、Ｐ３´は検索できない場合がある。このような場合には、補間処理を行うことにより、対応することができる。
【００４３】
具体的には、特徴点の検索を、動画の先頭に位置する静止画から動画の最後に位置する静止画まで順に行うと共に、動画の最後に位置する静止画から動画の先頭に位置する静止画まで逆順にも行う。すなわち、先頭に位置する静止画において、第一の特徴点を検索すると、先頭に位置する静止画と時系列的に後に隣り合う静止画において、第二の特徴点を検索する。さらに、最後に位置する静止画において、第一の特徴点を検索すると、最後に位置する静止画と時系列的に前に隣り合う静止画において、第二の特徴点を検索する。
【００４４】
そして、特徴点の差を算出して、算出した差の平均値が、順にΔＰｔ１、ΔＰｔ２と求まり、逆順にΔＰｔ５、ΔＰｔ４と求まり、ΔＰｔ３については特徴点が検索できず平均値を算出できなかった場合、ΔＰｔ３の前後の平均値、すなわち、ΔＰｔ２、ΔＰｔ４に基づいて、ΔＰｔ３を算出する。すなわち、ΔＰｔ２とΔＰｔ４の平均をΔＰｔ３と算出する。このようにして、補間処理を行うことにより、軌跡を作成してもよい。なお、この場合、最後に位置する静止画における第一の特徴点の検索は、最後に位置する静止画において、先頭に位置する静止画と同じ箇所をユーザから指定されることにより、行ってもよい。
【００４５】
また、上記の実施の形態においては、特徴点の検索の際に、いずれの静止画像においても特徴点の検索ができた場合について説明したが、例えば、特徴点Ｐ１に対応する特徴点Ｐ１´と、特徴点Ｐ２に対応する特徴点Ｐ２´とを検索でき、特徴点Ｐ３に対応する特徴点Ｐ３´においては検索できなかった場合、特徴点Ｐ３は破棄し、特徴点Ｐ１、Ｐ２、Ｐ１´、Ｐ２´のみに基づいて、平均値を算出してもよい。
【００４６】
また、軌跡を作成する際に、平均値に対して、移動平均フィルタ等のローパスフィルタ処理を行ってもよい。こうすることにより、作成する軌跡を滑らかにすることができる。
【００４７】
また、上記の実施の形態においては、特徴点の差の平均値に基づいて、軌跡を作成する例について説明したが、これに限ることなく、特徴点の平均値に基づいて、軌跡を作成してもよい。すなわち、複数の第一の特徴点を検索し、その平均値を求める。また、複数の第二の特徴点を検索し、その平均値を求める。そして、求めた平均値を順に接続して、軌跡を作成してもよい。
【００４８】
また、上記の実施の形態においては、軌跡２０と静止画とを重ね合わせて表示する例について説明したが、これに限ることなく、軌跡２０と動画とを重ね合わせて表示してもよい。こうすることにより、ユーザにとって、動画の動作の解析結果がわかりやすくなる。ここで、操作部１３は、表示手段として作動する。
【００４９】
また、例えば、予めモデルとなるゴルフのスイングの動画を準備しておくことにより、モデルの動画の軌跡と、自身の動画の軌跡とを並べて表示してもよい。こうすることにより、モデルのフォームと自身のフォームとを容易に比較することができ、ユーザにとってより良いフォームへと改善しやすくなる。なお、この場合、人物の大きさが異なる場合には、双方の大きさを揃えるように、画像の拡大縮小等を行ってもよい。また、スイングに要する時間が異なる場合には、長い方の動画を間引きして双方の時間の長さを揃えてもよい。
【００５０】
また、上記の実施の形態においては、Ｓ１３において、ユーザからＰ０の１点を指定される例について説明したが、これに限ることなく、２点以上指定された場合でも同様に、指定点の各々において、Ｓ１４からの処理を行い、各々の軌跡を作成することができる。
【００５１】
また、上記の実施の形態においては、Ｓ１３において、ユーザからＰ０を指定されて、指定点であるＰ０を中心とし、予め定められた所定の半径ｒの範囲内において、特徴点の検索を行い、指定点Ｐ０とは異なるＰ１、Ｐ２、Ｐ３の特徴点が検索される例について説明したが、これに限ることなく、指定点Ｐ０を特徴点として検索されてもよい。
【００５２】
また、上記の実施の形態においては、第二の静止画は、第一の静止画と時系列的に隣り合う静止画である例について説明したが、これに限ることなく、第一の静止画と異なる静止画であればよい。
【００５３】
また、上記の実施の形態においては、第一の特徴点として、Ｐ１、Ｐ２、Ｐ３の３つを検索する例について説明したが、これに限ることなく、いくつでもよい。
【００５４】
また、上記の実施の形態においては、操作部１３は、タッチパネル式である例について説明したが、これに限ることなく、例えば、操作部１３は、表示画面と、マウスとを備える構成とし、ユーザによってマウスを操作されることにより、解析対象箇所を指定されてもよい。
【００５５】
また、上記の実施の形態においては、特徴量として、ＳＩＦＴ特徴量を用いる例について説明したが、これに限ることなく、や、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量や、Ｈａｒｒｉｓ特徴量等の他の特徴量を用いてもよい。
【００５６】
次に、図１および図１３〜図２１を参照して、この発明の他の実施形態に係る動作解析装置３０について説明する。なお、上記実施形態と同様の構成要素については同じ符号を付し、詳しい説明を省略する。また、以下の説明においては、前述した実施形態と同様に、本発明をゴルフスイングの動作解析に適用した場合について説明する。
【００５７】
動作解析装置３０は、図１に示す実施形態と同様に、動作解析装置３０全体を制御するＣＰＵ等の制御部１１と、画像等を記憶する記憶部１２と、タッチパネル式であってユーザからの操作を受け付けると共に記憶部１２に記憶した画像等を表示する操作部１３と、外部機器との接続インターフェースとなるＩ／Ｆ部１４とを備える。
【００５８】
ここで、この実施形態に係る動作解析装置３０においては、記憶部１２に、動作解析の観測対象に対応する画像が、複数記憶されている。具体的には、記憶部１２に、アドレスの姿勢をとるゴルフプレーヤーの画像を、幅広い年齢、身長、体型、および性別等に亘ってランダムに多数記憶する。これらの画像は、観測対象の初期形態を推定するためのレファレンス画像として利用される。なお、この処理に関しては、後に詳述する。
【００５９】
次に、この実施形態に係る動作解析装置３０の制御部１１が行う動作解析フローについて説明する。まず、動作解析装置３０は、Ｉ／Ｆ部１４を介して、予め撮影されたゴルフスイングの動画の入力を受け付ける（Ｓ２１）。上記したように、動画データは、時系列的に連続する複数の静止画の集合体として構成されている。動作解析装置３０は、時系列の先頭に位置する図１４に示す静止画３１を、操作部１３に表示する（Ｓ２２）。
【００６０】
次いで、動作解析装置３０は、静止画３１をスキャンし、所定のサイズを有する領域を解析の対象領域３２として順に画定する（Ｓ２３）。なお、図１４においては、観測対象となるプレーヤー３３が、対象領域３２内に適切なサイズで含まれている場合を示している。しかしながら、実際の解析フローとしては、静止画３１を全体に亘ってスキャンし、対象領域３２の位置と大きさを変化させつつ、次々と候補となる対象領域を画定していく。そして、後述する処理において、それぞれの対象領域毎にプレーヤー３３が含まれているか否かが判定される。
【００６１】
以下、理解の容易の観点から、図１４に示すように、Ｓ２３により画定された対象領域３２内に、観測対象となるプレーヤー３３が適切なサイズにて含まれていた場合について説明する。
【００６２】
プレーヤー３３を含む対象領域３２が画定された後、その後の解析処理をより迅速且つ容易に進行可能とするために、対象領域３２の大きさを所定の画像サイズとなるように調整する（Ｓ２４）。具体的には、対象領域３２の画像サイズを、例えば６４×１２８ドットに拡大／縮小する。その結果、図１４に示す対象領域３２が、図１５に示すような所定の画像サイズを有する対象領域３２Ａとして切り出されることとなる。同様に、対象領域３２に含まれていたプレーヤー３３も、それに対応して拡大／縮小され、プレーヤー３３Ａとなる。
【００６３】
次いで、対象領域３２の画像データにおける輝度勾配に基づいて、プレーヤー３３Ａの輪郭３４を検出する（Ｓ２５）。なお、輪郭を検出する手法としては、例えば上記したＳＩＦＴ特徴量やＨＯＧ特徴量のような輝度勾配に基づく特徴量を適用してもよいし、Ｈａｒｒｉｓ特徴量等のような輝度勾配以外のパラメータに基づく特徴量を適用してもよい。これらの手法を用いることにより、図１６に示すように、プレーヤー３３Ａに対応する輪郭３４を効果的に抽出することができる。なお、図１６においては、理解の容易の観点から、プレーヤー３３Ａの実際の輪郭３３Ｂと、ＨＯＧ特徴量に基づいて抽出された輪郭３４とを併記しているが、実際の処理においては、ＨＯＧ特徴量に基づく輪郭３４を検出すればよい。
【００６４】
このように、Ｓ２３〜Ｓ２５のステップを経ることによって、図１４に示す静止画３１から、図１６に示す観測対象の輪郭３４を抽出することができる。すなわち、本発明においては、Ｓ２３〜Ｓ２５のステップを実行する制御部１１が、観測対象となるプレーヤー３３を静止画３１中において認識するための人物認識手段（図１３中のＡ）として機能する。
【００６５】
次いで、動作解析装置３０は、人物認識手段（Ａ）によって検出されたプレーヤー３３Ａの輪郭３４と、記憶部１２に記憶されたレファレンス画像とを比較し、輪郭３４と近似するレファレンス画像を選択する（Ｓ２６）。この動作について、以下に具体的に説明する。
【００６６】
この実施形態においては、上記したように、記憶部１２が、アドレスの姿勢をとるゴルフプレーヤーの画像データを、幅広い年齢、身長、体型、および性別等に亘って、ランダムに多数記憶している。図１７に、比較対象となるレファレンス画像を例示する。このレファレンス画像においても、図１５および図１６に示す対象領域３２Ａと同じ画像サイズの対象領域３２Ａが画定されており、この対象領域３２Ａ内にレファレンスプレーヤー３５が適切なサイズにて収容されるように記憶されている。すなわち、Ｓ２６にて比較される観測対象プレーヤー３３Ａとレファレンスプレーヤー３５とは、共通サイズの対象領域３２Ａ内において、人物の位置や大きさがほぼ共通となるように調整され、記憶される。この構成により、観測対象プレーヤー３３Ａと、レファレンスプレーヤー３５との比較を、静止画３１におけるプレーヤー３３の位置や大きさ等によって影響を受けることなく、より高精度に実行することが可能となる。
【００６７】
記憶部１２においては、レファレンス画像は、図１７に示すような静止画像の他に、上記ＨＯＧ特徴量により導出される輪郭画像や、頭部、腕部、または脚部等といった身体の一部領域を画定した身体部位領域画像として記憶されていてもよい。図１８（ａ）〜（ｃ）に、図１７に対応する各形式の画像データを例示する。図１８（ａ）は、図１７に対応する静止画であって、画像上において頭部、腕部、および脚部に対応する第一身体部位領域３６が画定されている様子を表す図である。すなわち、第一頭部領域３６ａ、第一腕部領域３６ｂ、および第一脚部領域３６ｃが、それぞれ画像上に画定されている。図１８（ｂ）は、レファレンスプレーヤー３５の輪郭５５を示す図である。図１８（ｃ）は、図１８（ａ）に示す第一身体部位領域３６のみを抽出した様子を表す図である。
【００６８】
この実施形態においては、人物認識手段（Ａ）によって検出されたプレーヤー３３Ａの輪郭３４と、図１８（ｂ）に示すレファレンスプレーヤー３５の輪郭５５とを比較することによって、記憶部１２に記憶された多数のレファレンス画像から、観測対象に形態が近似するものを選択する。そして、選択されたレファレンス画像に対応する第一身体部位領域３６を抽出し、観測対象の画像データに適用する。その結果を、図１９に示す。
【００６９】
図１９に示すように、上記した方法により適用された第一身体部位領域３６は、観測対象のプレーヤー３３Ａの身体の各部位とほぼ一致することとなる。これにより、プレーヤー３３Ａの頭部、腕部、および脚部等の配置、すなわち、アドレス状態におけるプレーヤー３３Ａの姿勢を、概略的に推定することができる。
【００７０】
このように、本発明によれば、入力された静止画３１のデータと、記憶部１２に記憶されたレファレンス画像データとに基づいて、静止画３１におけるプレーヤー３３Ａの初期形態（姿勢や体型等の要素を含む）を、概略的に推定することが可能となる。すなわち、Ｓ２６を実行する制御部１１は、プレーヤー３３Ａの初期形態を推定するための初期形態推定手段（Ｂ）として機能する。
【００７１】
なお、Ｓ２６を実行した結果、観測対象のプレーヤー３３Ａに近似するレファレンス画像が発見されなかった場合、動作解析装置３０は、Ｓ２３にて確定した対象領域３２内に人物が適切に含まれなかったものと判断し、Ｓ２３にリターンする。そして、対象領域３２内に人物が適切に含まれている状態を検出するまでＳ２３〜Ｓ２６を繰り返し行う。
【００７２】
Ｓ２６の結果、図１９に示すようにプレーヤー３３Ａの姿勢を推定することができた場合、次のステップとして、動作解析の対象となる解析対象箇所を、図１９に示す画像データに基づいて指定する（Ｓ２７）。ここで、本実施形態においては、解析対象箇所を、第一身体部位領域３６によって決定する。その一例としては、図１９に示す第一頭部領域３６ａ、第一腕部領域３６ｂの下端部、および／または、第一脚部領域３６ｃの中央部等を、解析対象箇所として自動的に指定する。これは、プレーヤー３３Ａの頭部、グリップ（手首近辺）、および／または膝を、解析対象箇所として自動的に指定したことと同義である。なぜならば、上記したように、第一身体部位領域３６は、観測対象のプレーヤー３３Ａの身体の各部位とほぼ一致するように画定されているからである。図１９に、例として第一腕部領域３６ｂの下端部、すなわちプレーヤー３３Ａのグリップ付近を解析対象箇所として指定した場合を示す（図１９中の点３９）。
【００７３】
このように、本実施形態においては、上記Ｓ２３〜Ｓ２７を実行する制御部１１が、解析対象箇所を指定するための解析対象箇所指定手段（Ｃ）として機能する。そして、この構成により、ユーザが動作解析を開始するに際して、動作解析装置３０が観測対象となるプレーヤー３３Ａの初期形態を推定し、そのデータに基づいて解析の初期条件を自動的に決定することが可能となる。これにより、ユーザが解析対象箇所を指定する作業を省略することができるため、ユーザの利便性をさらに向上させることができる。
【００７４】
Ｓ２７によって解析対象箇所が指定された後、動作解析装置３０は、指定された第一身体部位領域３６内において第一の特徴点の検索を行う（Ｓ２８）。ここでは、上記したＳＩＦＴ特徴量やＨＯＧ特徴量等を用いて、第一身体部位領域３６内において複数の第一の特徴点が検索される。
【００７５】
次いで、動作解析装置３０は、第一の特徴点を検索した図１９の静止画より時系列的に後に隣り合う静止画、すなわち、図２０に示す静止画において、第一の特徴点に対応する第二の特徴点の検索を行う（Ｓ２９）。そして、検索された第二の特徴点に基づいて、第一身体部位領域３６に対応する第二身体部位領域３７を画定する（Ｓ３０）。
【００７６】
次いで、第一身体部位領域３６と第二身体部位領域３７の差に基づいて軌跡を作成する（Ｓ３１）。具体的には、図２０に示す第二腕部領域３７ｂが新たに画定された後、第二腕部領域３７ｂの下端部に相当する位置が、解析対象箇所として認識される（図２０中の点４０）。そして、点３９と点４０との差に基づいて、軌跡４２が作成される。同様に、例えばＳ２７にて第一頭部領域３６ａを解析対象箇所として指定した場合は、第一頭部領域３６ａと第二頭部領域３７ａとの差に基づいて、プレーヤー３３Ａの頭部の軌跡を作成することができる。また、第一脚部領域３６ｃと第二脚部領域３７ｃとの差に基づいて、プレーヤー３３Ａの膝の軌跡を作成することができる。
【００７７】
続けて、図２０に示す静止画と時系列的に後に隣り合う静止画、すなわち図２１に示す静止画において、第二の特徴点に対応する第三の特徴点の検索を行い、検索された第三の特徴点に基づいて、第二身体部位領域３７に対応する第三身体部位領域３８を画定する。そして、第二身体部位領域３７と第三身体部位領域３８の差に基づいて、解析対象箇所を認識し（図２１中の点４１）、軌跡４３を作成する。
【００７８】
このように、連続する静止画毎に解析対象箇所の軌跡を順次作成することによって、一連のゴルフスイング動作において、プレーヤーの所定部位（例えば、頭部、腕部、および／または脚部）の運動を解析することが可能となる。
【００７９】
なお、本実施形態においては、プレーヤー３３Ａの輪郭３４を検出することによって人物認識を行う場合について述べたが、これに限らず、観測対象の形態を抽出可能であれば、他の如何なる手法を用いてもよい。
【００８０】
また、本実施形態においては、プレーヤー３３Ａの輪郭３４とレファレンスプレーヤー３５の輪郭５５とを比較することによって、観測対象に形態が近似するものを選択する場合について述べたが、これに限らず、例えば図１８（ａ）に示す静止画データの比較によって選択する構成であってもよいし、図１８（ｃ）に示す身体部位領域３６に係るデータとの比較によって選択してもよい。また、観測対象とレファレンスとの比較が可能であれば、図１８に示す以外の如何なる形式のデータを比較に用いてもよい。
【００８１】
また、本実施形態においては、身体部位領域３６に基づいて動作解析の初期条件である解析対象箇所３９を指定する場合について述べた。しかしながら、これに限らず、例えば図１８（ａ）に示す静止画データや、図１８（ｂ）に示す輪郭５５に係るデータに基づいて指定してもよいし、その他如何なるデータに基づいて解析対象箇所３９を指定してもよい。
【００８２】
なお、上記実施形態のように、本発明をゴルフスイングの動作解析に適用する場合においては、動作解析装置１０、３０は、スイングのテイクバックからダウンスイングへとスイングの方向が転換されたことを検出し、それをユーザに識別可能とする方向転換識別手段をさらに備えていてもよい。これについて、図２２を参照して説明する。図２２（ａ）〜（ｆ）は、一連のゴルフスイングを記録した動画を示しており、この動画は、連続する計６フレームの静止画によって構成されている。
【００８３】
図２２（ａ）〜（ｆ）に示すように、ゴルフスイングは、ゴルフクラブを上方へ振り上げるテイクバック（図２２（ａ）〜（ｃ））から、ゴルフクラブを下方へ振り下げるダウンスイング（図２２（ｄ）〜（ｆ））へと移行する。すなわち、図２２においては、図２２（ｃ）と図２２（ｄ）との間にスイングの方向転換が発生している。
【００８４】
方向転換識別手段は、この方向転換点を検出し、方向転換前の軌跡と方向転換後の軌跡とをユーザに識別可能とさせるものである。これにより、動作の転換点となるポイントと、その前後の動きの軌跡を明確に把握することが可能となるため、より詳細な動作解析を行うことができる。具体的なアルゴリズムについて以下に説明する。
【００８５】
前提として、図２２（ｆ）を現時点とする。方向転換識別手段は、まず、現時点から時系列的に５フレーム前の図２２（ａ）におけるグリップの速度べクトルｖ１を計算する。このｖ１は、図２２（ａ）と時系列的に前に隣り合うフレーム、すなわち、現時点から６フレーム前（図示せず）のグリップの位置と、５フレーム前のグリップの位置とから求めることができる。同様にして、現時点から４フレーム前の図２２（ｂ）におけるグリップの速度べクトルｖ２、３フレーム前の図２２（ｃ）におけるグリップの速度べクトルｖ３、現時点から２フレーム前の図２２（ｄ）におけるグリップの速度べクトルｖ４、現時点から１フレーム前の図２２（ｅ）におけるグリップの速度べクトルｖ５、現時点のフレームにおけるグリップの速度べクトルｖ６を、それぞれ計算する。
【００８６】
ここで、現時点から５フレーム前〜３フレーム前の間におけるグリップの平均速度ベクトルｆ１は、以下のように表される。
【００８７】
【数１】
【００８８】
同様に、現時点から２フレーム前〜現時点のフレームの間におけるグリップの平均速度ベクトルｆ２は、以下のように表される。
【００８９】
【数２】
【００９０】
本実施形態に係る方向転換識別手段は、グリップの方向転換点を検出するために、ｆ１とｆ２との内積＝ｆ１・ｆ２を計算する。そうすると、５フレーム前〜３フレーム前におけるグリップの速度ベクトルと、２フレーム前〜現時点におけるグリップの速度ベクトルとは、その方向が反転していることから、内積は、負の値をとることとなる。換言すれば、内積が負となる時点を検出することができれば、スイングのテイクバックからダウンスイングへと方向が転換される方向転換点を検出することができる。
【００９１】
このようにして方向転換点を検出した後、上記したＳ３１において、方向転換点の前の軌跡線と異なる種類の軌跡線を形成することによって、ユーザは、テイクバックの軌跡と、ダウンスイングの軌跡とを明瞭に区別して認識することが可能となる。識別可能とする手段としては、例えば軌跡線の色の変更（黄色から赤色等）や、線種の変更（実線から点線等）、軌跡線を点滅表示する等が考えられる。
【００９２】
なお、この実施形態においては、理解の容易の観点から、平均速度ベクトルｆ１，ｆ２を、連続する３フレームの速度ベクトルの平均をとることによって算出したが、これに限らず、任意の数のフレームの速度ベクトルの平均に基づいて、平均速度ベクトルｆ１，ｆ２を算出してもよい。
【００９３】
図２３に、方向転換識別手段によってテイクバックとダウンスイングとを識別可能としたゴルフスイングの軌跡の一例を示す。このように、本発明に係る方向転換識別手段によれば、ユーザは、スイングの転換点となるポイントと、その前後の動きの軌跡を明確に把握することが可能となるため、より詳細な動作解析を行うことが可能となる。
【００９４】
なお、上記した各実施形態においては、１つのパターンのゴルフスイングを表示手段（操作部１３）に表示し、その動作解析を行った場合について述べた。しかしながら、これに限らず、動作解析装置１０，３０は、二以上の異なる動作を並べて表示し、これらの異なる動作を比較可能とするための動作比較手段をさらに備えていてもよい。以下、上記実施形態と同様に、ゴルフスイングの動作比較を実行可能な動作比較手段について、図２４〜図２６を参照して説明する。
【００９５】
本実施形態に係る動作比較手段は、まず、二つのゴルフスイングを記憶した動画を並列表示し（Ｓ４１）、前述した実施形態のいずれかの方法を用いて、それぞれのゴルフスイングの軌跡を形成する。図２４に、二つのゴルフスイングの軌跡を形成し、それらを並列表示した図を示す。具体的には、第一の表示領域４４に、第一の軌跡４５が表示され、第二の表示領域４６に第二の軌跡４７が表示されている。
【００９６】
次いで、二つの動画の時間軸を圧縮／伸張して調整し、二つの動画の時間軸を揃える（Ｓ４２）。ここで、ゴルフスイングは、上記したように、アドレスの姿勢から、テイクバック、ダウンスイング、フィニッシュという一連の動作によって構成される。そして、これら各動作に要する時間は、人によって異なり、且つ、同じ人がスイングした場合であっても、スイング毎に異なるものである。したがって、二つのスイングを並列表示して比較する場合、各動作の始めの時点と終わりの時点とを揃えることによって、各スイングの軌道をより視覚的に比較検証し易くすることができる。
【００９７】
その方法としては、二つの動画において、アドレス状態からテイクバックの終わりの時点までの時間と、ダウンスイングの始めの時点とフィニッシュまでの時間をそれぞれ計算し、一方の動画のフレームを間引く、またはフレーム間の時間を伸長させることによって、二つの動画間において各動作に要する時間を揃える処理を行うことが考えられる。なお、テイクバックの終わりからダウンスイングの始めへの転換点は、前述した実施形態に係る方法によって検出可能である。
【００９８】
より具体的に説明すると、例えば第一の表示領域４４に表示したゴルフスイングにおいては、アドレスからテイクバックの終わりまで１．４秒、ダウンスイングの始めからフィニッシュまで１．１秒を要したとする。また、第二の表示領域４６に表示したゴルフスイングにおいては、アドレスからテイクバックの終わりまで１．８秒、ダウンスイングの始めからフィニッシュまで１．５秒を要したとする。この場合、第二の表示領域４６に表示する動画において、アドレスからテイクバックの終わりまでの間の静止画フレームを、１．４／１．８の割合で間引きし、且つ、ダウンスイングの始めからフィニッシュまでの間の静止画フレームを、１．１／１．５の割合で間引きをする。この処理によって、二つのゴルフスイングのアドレスからフィニッシュまでの時間軸を揃えることができる。この処理により、二つのスイングを並列して動画再生した場合等において、二つのスイングの軌道をより視覚的に比較検証し易くすることができる。
【００９９】
次いで、二つの動画の画像サイズを拡大／縮小し、各表示領域４４，４６におけるプレーヤーの位置や大きさを揃える処理を行う（Ｓ４３）。これにより、ユーザは、二つのスイングをより比較検証し易くなる。
【０１００】
次いで、第一の軌跡４５の重心点４８と、第二の軌跡４７の重心点４９とをそれぞれ計算する（Ｓ４４）。各軌跡の重心点４８，４９は、軌跡を構成する各ポイントの平均値を求めることによって計算することができる。なお、重心点４８，４９を計算した後、その座標を図２４に示すように表示してもよいし、表示をせずに記憶するのみであってもよい。
【０１０１】
次いで、各フレームにおける第一の軌跡４５および第二の軌跡４７のポイントと、それぞれの軌跡の重心点４８，４９との間の差分値を計算し、フレーム番号と当該差分値とを記録する（Ｓ４５）。ここで参考データとして、図２６にフレーム番号Ｎと差分値ｘに係るグラフを示す。なお、図２６においては、第一の軌跡４５と重心点４８との差分値グラフを線５０に、第二の軌跡４７と重心点４９との差分値グラフを線５１にそれぞれ示す。
【０１０２】
次いで、Ｓ４５によって得られたデータに基づいて、第一の軌跡４５と第二の軌跡４７との間の差を計算し、その差が大きくなっている軌跡部分を識別可能に表示する（Ｓ４６）。具体的には、それぞれのフレーム番号Ｎにおいて線５０と線５１との差を計算すると、図２６に示すように、その差が比較的に大きくなる軌跡部分５２，５３，５４が検出される。換言すれば、第一の軌跡４５と第二の軌跡４７とは、軌跡部分５２，５３，５４において、スイングの軌道が相対的に大きく異なっていることを意味している。そこで、第一の軌跡４５または第二の軌跡４７のうち、この軌跡部分５２，５３，５４に相当する軌跡線に対して、例えば線色の変更や線種の変更、または点滅表示等をすることによって、ユーザがその部分を識別可能とすることができる。この構成によれば、例えばユーザがゴルフスイングを日々記録した場合に、そのスイングの軌道が変化した部分を詳細に把握・検証することが可能となる。これにより、さらに付加価値の高い動作解析装置を提供することができる。
【０１０３】
なお、本実施形態においては、二つのゴルフスイングを比較した場合について述べたが、これに限らず、三以上の動作を比較する構成であってもよい。
【０１０４】
また、本発明に係る動作解析装置の動作アルゴリズムが、ソフトウェアまたはハードウェアのいずれによっても実現可能であることは、当業者であれば容易に理解されるであろう。
【０１０５】
また、上記した各実施形態においては、ゴルフスイングを動作解析の対象とした場合について説明した。しかしながら本発明は、これに限定されるものではない。すなわち、本発明の概念は、動作解析の開始点における画像データと、予め記憶したレファレンスデータとを比較し、開始点における観測対象の形態を推定することによって、解析対象箇所の初期条件（サイズ、座標等）を決定し、以て動作解析を容易且つ迅速に実行可能とすることにある。したがって、ゴルフスイングに限らず、例えば野球のスイングや、舞踊、演技、武道等、プレーヤーの体の動きを把握・検証することに対してニーズのある、あらゆる分野のスポーツ・演技に適用可能であることは、当業者であれば容易に理解されるであろう。
【０１０６】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示された実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１０７】
この発明は、スポーツにおいて、フォームのチェックが必要となる場合に、有効に利用される。
【符号の説明】
【０１０８】
１０，３０ 動作解析装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ Ｉ／Ｆ部、２０，４２，４３，４５，４７ 軌跡、３１ 静止画、３２，３２Ａ，３６，３６ａ，３６ｂ，３６ｃ，３７，３７ａ，３７ｂ，３７ｃ，３８，３８ａ，３８ｂ，３８ｃ 領域、３３，３３Ａ，３５ プレーヤー、３４，５５ 輪郭、３９，４０，４１，４８，４９ 点、４４，４６ 表示領域、５０，５１ 線、５２，５３，５４ 軌跡部分。
【技術分野】
【０００１】
この発明は、動作解析装置に関し、特に、特定箇所の動作を解析可能な動作解析装置に関するものである。
【背景技術】
【０００２】
ゴルフのスイング運動の動作解析に関する技術が、例えば、特開２００９−２０８９７号公報（特許文献１）に開示されている。特許文献１によると、時系列の物体画像データのそれぞれについて、特定領域の位置を検出し、検出した特定領域の位置の変化を追跡することにより、特定領域の軌跡を線と点で表示することとしている。
【０００３】
具体的には、予め特定領域の色を記憶しておくことにより、記憶された色と同じ色の領域を時系列の物体画像データからそれぞれ検出し、特定領域の位置の変化を追跡する。また、ユーザによるマニュアル操作により、特定領域の位置を指定させ、この指定された領域の色に基づいて、特定領域の位置の変化を追跡する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２０８９７号公報（段落番号００７１〜００７５等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の技術では、特定領域の位置の検出のために、特定領域の色を予め記憶させる必要がある。そうすると、例えば、予め記憶させた色と異なる色を急遽使用しなければならなくなった場合に、色の登録を改めて行う必要があり、ユーザにとってこのような作業は煩雑である。
【０００６】
また、ユーザによるマニュアル操作により、特定領域の位置を指定された場合であっても、指定された領域の色に基づいて、特定領域の位置の変化を追跡するため、例えば、ユーザにとって、複数の特定領域の位置を指定したい場合には、特定領域のそれぞれにおいて、異なる色を用いる必要がある。
【０００７】
この発明の目的は、ユーザにとって、簡易に使用可能な動作解析装置を提供することである。
【課題を解決するための手段】
【０００８】
この発明に係る動作解析装置は、連続する複数の静止画から構成される動画の動作を解析する。動作解析装置は、動画の入力を受け付ける動画受付手段と、動画受付手段により受け付けた動画のうち、動画を構成する第一の静止画において、第一の静止画像上の解析対象箇所を指定する解析箇所指定手段と、解析対象箇所から一定範囲内において、第一の特徴点を検索する第一の検索手段と、動画を構成し、第一の静止画と異なる静止画である第二の静止画において、第一の特徴点に対応する第二の特徴点を検索する第二の検索手段と、第一および第二の特徴点に基づいて、軌跡を作成する軌跡作成手段とを備える。
【０００９】
こうすることにより、動作解析装置は、第一の静止画像上の解析対象箇所の指定を行い、第一の静止画における第一の特徴点および第二の静止画における第二の特徴点を検索する。そして、第一および第二の特徴点に基づいて、軌跡を作成する。したがって、ユーザにとって、色を考慮する必要なく、解析対象箇所の指定および軌跡の作成を行い、動画の動作を解析することができる。その結果、ユーザにとって、簡易に使用可能となる。
【００１０】
好ましくは、解析箇所指定手段は、ユーザが解析対象箇所を任意に指定可能とするために、ユーザからの指定を受け付ける指定受付手段を有する。こうすることにより、ユーザは、動作の解析を行う箇所を任意に指定することが可能となる。これにより、ユーザの利便性をさらに向上させることができる。
【００１１】
好ましくは、解析箇所指定手段は、第一の静止画から観測対象を認識する認識手段と、認識手段によって認識された観測対象の画像データに基づいて、観測対象の形態を推定する形態推定手段とを有する。ここで、上記解析対象箇所は、形態推定手段によって推定された画像データに基づいて指定される。こうすることにより、動作解析を開始するに際して、動作解析装置が観測対象の初期形態を推定し、そのデータに基づいて解析の初期条件を自動的に決定することが可能となる。これにより、ユーザが解析対象箇所を指定する作業を省略することができるため、ユーザの利便性をさらに向上させた動作解析装置を提供することができる。
【００１２】
好ましくは、認識手段は、観測対象を含む一定の領域を対象領域として画定する対象領域画定手段と、対象領域の大きさを所定の画像サイズとなるように調整する対象領域正規化手段とを含む。こうすることにより、第一の静止画像における観測対象の位置や大きさ等による影響を受けることなく、観測対象の形態推定および動作解析を、より高精度に一律に行うことが可能となる。
【００１３】
好ましくは、認識手段は、第一の静止画に形成された輝度勾配に基づいて、観測対象の輪郭を検出する。こうすることにより、観測対象の輪郭を高精度に行うことができるため、観測対象の形態推定および動作解析を、より高精度に行うことができる。
【００１４】
好ましくは、観測対象に対応する比較対象の画像データを、予め複数記憶するレファレンス画像記憶手段をさらに備え、形態推定手段は、認識手段によって認識された観測対象の画像データと、レファレンス画像記憶手段によって記憶された比較対象の画像データとを比較し、観測対象の画像データに形態が近似する比較対象の画像データを選択するレファレンス画像選択手段を含む。ここで、上記解析対象箇所は、レファレンス画像選択手段によって選択された比較対象の画像データに基づいて指定される。こうすることにより、観測対象の形態を自動的に推定し、且つ、推定された画像データ上において上記解析対象箇所を設定することができる。すなわち、動作解析の開始点における解析箇所の初期条件を、ユーザによる指定を要することなく、より確実且つ高精度に設定することができる。これにより、ユーザに対する利便性を向上させるとともに、動作解析の精度を向上させることができる。
【００１５】
好ましくは、第一の検索手段は、一定範囲内において、複数の第一の特徴点を検索し、第二の検索手段は、複数の第一の特徴点に対応する複数の第二の特徴点を検索し、軌跡作成手段は、複数の第一の特徴点と複数の第二の特徴点との差をそれぞれ算出し、この算出した差の平均値を求めることにより、求めた平均値に基づいて、軌跡を作成する。こうすることにより、複数の特徴点の差の平均値に基づいて、軌跡を作成することができる。したがって、例えば、動作解析装置の認識した解析対象箇所が、ユーザの意図する箇所と多少ずれていた場合であっても、そのずれ具合を抑えることができる。その結果、作成する軌跡の精度を向上させることができる。
【００１６】
さらに好ましくは、平均値は、第一および第二の特徴点に基づく点であって、動画を構成する静止画像上の所定の点における変化を示すものであり、軌跡作成手段は、平均値を、連続する複数の静止画の隣り合う静止画像間においてそれぞれ算出し、この算出した平均値が示す所定の点を順に接続することにより、軌跡を作成する。
【００１７】
さらに好ましくは、第一の静止画は、動画の先頭に位置する静止画と、動画の最後に位置する静止画とを含み、第二の静止画は、第一の静止画と時系列的に後に隣り合う静止画と、第一の静止画より時系列的に前に隣り合う静止画とを含み、第二の検索手段は、時系列的に後に隣り合う静止画において、第一の特徴点に対応する第二の特徴点を検索すると共に、時系列的に前に隣り合う静止画において、第一の特徴点に対応する第二の特徴点を検索する。こうすることにより、例えば、連続する複数の静止画において、時系列的に前から後ろへ向かって、順に特徴点の検索を行った場合に、途中で特徴点の検索を行うことが出来なくなった場合であっても、時系列的に後ろから前へ向かって、逆順に特徴点の検索を行うことができる。その結果、確実に特徴点の検索を行うことができる。
【００１８】
さらに好ましくは、第二の検索手段は、動画の動作の速さを取得する取得手段を含み、取得手段により取得した速さに基づいて、第二の特徴点を検索する。こうすることにより、第二の特徴点の検索を動画の動作の速さに応じて変化させることができる。その結果、容易に第二の特徴点を検索することができる。
【００１９】
一実施形態として、連続する複数の静止画は、一定間隔で構成されており、取得手段は、隣り合う静止画像間において、静止画像の差の大小を取得することにより、動画の動作の速さを取得する。
【００２０】
好ましくは、軌跡作成手段は、軌跡の方向が転換された場合に、方向転換前の軌跡と方向転換後の軌跡とを識別可能とする方向転換識別手段を有する。こうすることにより、動作の転換点となるポイントと、その前後の動きの軌跡を明確に把握することが可能となるため、より詳細な動作解析を容易に行うことができる。
【００２１】
好ましくは、方向転換識別手段は、時系列的に連続する静止画間における軌跡の速度ベクトルを計算し、特定の静止画における速度ベクトルと、当該特定の静止画と時系列的に後に隣り合う静止画における速度ベクトルとの内積が負となった場合に、軌跡の方向転換を検出する。こうすることにより、動作の転換点となるポイントを、より高精度に検出することが可能となる。
【００２２】
さらに好ましくは、軌跡作成手段により作成された軌跡と、動画受付手段により受け付けた動画とを重ねて表示する表示手段を含む。こうすることにより、軌跡と動画とを重ねて表示することができ、ユーザにとって、動画の動作の解析結果がわかりやすくなる。
【発明の効果】
【００２３】
このような動作解析装置は、第一の静止画像上の解析対象箇所の指定を行い、第一の静止画における第一の特徴点および第二の静止画における第二の特徴点を検索する。そして、第一および第二の特徴点に基づいて、軌跡を作成する。したがって、ユーザにとって、色を考慮する必要なく、解析対象箇所の指定および軌跡の作成を行い、動画の動作を解析することができる。その結果、ユーザにとって、簡易に使用可能となる。
【図面の簡単な説明】
【００２４】
【図１】この発明の一実施形態に係る動作解析装置の構成を示すブロック図である。
【図２】ゴルフのスイングのフォームを解析する場合の動作解析装置の動作を示すフローチャートである。
【図３】連続する複数の静止画の一部を示す図である。
【図４】連続する複数の静止画の一部を示す図であって、図３の次の状態を示す静止画である。
【図５】連続する複数の静止画の一部を示す図であって、図４の次の状態を示す静止画である。
【図６】図３の静止画において、指定されたＰ０の位置を示す図である。
【図７】図３の静止画において、検索された特徴点Ｐ１、Ｐ２、Ｐ３の位置を示す図である。
【図８】図４の静止画において、検索された特徴点Ｐ１´、Ｐ２´、Ｐ３´の位置を示す図である。
【図９】図３の静止画に軌跡を重ねて表示した状態を示す図である。
【図１０】連続する複数の静止画の他の例を示す図である。
【図１１】連続する複数の静止画の他の例を示す図であって、図１０の次の状態を示す静止画である。
【図１２】連続する複数の静止画の他の例を示す図であって、図１１の次の状態を示す静止画である。
【図１３】本発明の他の実施形態に係る動作解析装置の動作を示すフローチャートである。
【図１４】連続する複数の静止画のうち、時系列的に最初の静止画を示す図である。
【図１５】図１４に示す対象領域を拡大した示す図である。
【図１６】図１５に示すプレーヤーの輪郭を抽出した図を示す。
【図１７】比較対象となるレファレンス画像の一例を示す図である。
【図１８】図１７に示すレファレンス画像であって、（ａ）は画像上に頭部、腕部、および脚部に対応する第一身体部位領域が画定されている様子を表す図であり、（ｂ）はレファレンスプレーヤーの輪郭を抽出した図であり、（ｃ）は（ａ）に示す第一身体部位領域のみを抽出した様子を表す図である。
【図１９】観測対象の画像データに、選択されたレファレンス画像に対応する第一身体部位領域を適用した様子を表す図である。
【図２０】図１９に示す画像から時系列的に後に隣接する画像を示す図であって、図１９に対応する図である。
【図２１】図２０に示す画像から時系列的に後に隣接する画像を示す図であって、図２０に対応する図である。
【図２２】一連のゴルフスイングを記録した動画を、計６フレームの静止画によって表した図である。
【図２３】方向転換識別手段によってテイクバックとダウンスイングとが識別可能となったゴルフスイングの軌跡を表す図である。
【図２４】二つのゴルフスイングの軌跡を形成し、それらを並列表示した図を示す。
【図２５】本発明に係る動作比較手段の動作を示すフローチャートである。
【図２６】第一および第二の軌跡のフレーム番号Ｎと差分値ｘに係るグラフを示す。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、この発明の一実施形態に係る動作解析装置について説明する。図１は、この発明の一実施形態に係る動作解析装置１０の構成を示すブロック図である。図１を参照して、動作解析装置１０は、動画の動作を解析可能であって、動作解析装置１０全体を制御するＣＰＵ等の制御部１１と、画像等を記憶する記憶部１２と、タッチパネル式であってユーザからの操作を受け付けると共に記憶部１２に記憶した画像等を表示する操作部１３と、外部機器との接続インターフェースとなるＩ／Ｆ部１４とを備える。なお、本実施形態中において、画像とは、動画および静止画を含むものとする。
【００２６】
ここで、動作解析装置１０が、ゴルフのスイングのフォームを解析する場合について説明する。図２は、ゴルフのスイングのフォームを解析する場合の動作解析装置１０の動きを示すフローチャートである。図１〜図２を参照して説明する。
【００２７】
まず、ユーザは、アドレスからフィニッシュまでのゴルフのスイングのフォームをビデオカメラ等で予め撮影しており、動作解析装置１０は、Ｉ／Ｆ部１４を介して、撮影した動画の入力を受け付ける（図２において、ステップＳ１１、以下ステップを省略する）。動画は、連続する複数の静止画から構成されており、この複数の静止画は、一定間隔である。図３〜図５は、連続する複数の静止画の一部を示す図である。図３〜図５は、アドレスからフィニッシュまでのゴルフのスイングのうち、スイングの開始直後であるアドレスからテイクバックまでの状態を順に示している。ここで、Ｉ／Ｆ部１４は、動画受付手段として作動する。動作解析装置１０は、連続する静止画の先頭に位置する図３の静止画を操作部１３に表示する（Ｓ１２）。ここで、図３の静止画は、第一の静止画である。
【００２８】
そうすると、動作解析装置１０は、動作解析の対象となる解析対象箇所として、ユーザから静止画像上の任意の箇所を指定される（Ｓ１３）。操作部１３は、タッチパネル式であり、画面を指等でタッチされることによって、任意の箇所を指定される。ここでは、任意の箇所として、Ｐ０を指定される。なお、図６は、図３の静止画において、指定されたＰ０の位置を示す図である。ここで、操作部１３は、指定受付手段として作動する。
【００２９】
そうすると、動作解析装置１０は、指定点であるＰ０を中心とし、予め定められた半径ｒ範囲内において、第一の特徴点の検索を行う（Ｓ１４）。特徴点とは、静止画像中の輝度の変化の大きい箇所や、物体のエッジ等を示す点であって、静止画において何らかの変化を有する点である。ここでは、図３の静止画において、Ｐ１、Ｐ２、Ｐ３の複数の第一の特徴点が検索される。
【００３０】
なお、特徴点の検索は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いることができる。ＳＩＦＴ特徴量の計算は、指定点Ｐ０を中心とした半径ｒ範囲内の部分静止画を平滑化し、平滑化画像からＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）画像を生成する。そして、ＤｏＧ画像において極値を探索する。そして、当該極値の周囲の画素の輝度勾配および角度に基づき特徴量を計算する。ＳＩＦＴ特徴量は、物体の回転や、物体の拡大および縮小等に影響を受けることがない。したがって、この実施形態のような回転する動作であるゴルフのスイングにおいて、誤差等がなく適切に用いることができる。図７は、図３の静止画において、検索された第一の特徴点Ｐ１、Ｐ２、Ｐ３の位置を示す図である。ここで、制御部１１は、第一の検索手段として作動する。
【００３１】
そして、動作解析装置１０は、第一の特徴点Ｐ１、Ｐ２、Ｐ３を検索した図３の静止画より時系列的に後に隣り合う静止画、すなわち、図４の静止画において、第一の特徴点Ｐ１、Ｐ２、Ｐ３に対応する第二の特徴点の検索を行う（Ｓ１５）。ここで、対応するとは、第一の特徴点Ｐ１、Ｐ２、Ｐ３に類似する値を有することを意味する。検索においては、例えば、図３の静止画における第一の特徴点Ｐ１、Ｐ２、Ｐ３の座標を図４の静止画にあてはめて、当該座標の位置を中心とした所定の範囲内において、第一の特徴点Ｐ１、Ｐ２、Ｐ３に対応する第二の特徴点の検索を行う。図８は、図４の静止画において、検索された第二の特徴点Ｐ１´、Ｐ２´、Ｐ３´の位置を示す図である。Ｐ１´がＰ１に対応し、Ｐ２´がＰ２に対応し、Ｐ３´がＰ３に対応している。ここで、図４の静止画は、第二の静止画であり、制御部１１は、第二の検索手段として作動する。
【００３２】
そして、図７に示す特徴点Ｐ１、Ｐ２、Ｐ３と、図８に示す特徴点Ｐ１´、Ｐ２´、Ｐ３´との差を算出する（Ｓ１６）。Ｐ１´−Ｐ１＝ΔＰ１よりΔＰ１を算出する。すなわち、隣り合う静止画像間における特徴点の変化量を算出する。Ｐ２´、Ｐ３´においても同様に計算して、Ｐ２´−Ｐ２＝ΔＰ２よりΔＰ２を算出し、Ｐ３´−Ｐ３＝ΔＰ３よりΔＰ３を算出する。そして、算出した差ΔＰ１、ΔＰ２、ΔＰ３の３つの平均値ΔＰｔ１を求める（Ｓ１７）。この平均値ΔＰｔ１は、第一および第二の特徴点に基づく点である静止画像上の所定の点における変化を示すものとなる。
【００３３】
そして、第二の特徴点Ｐ１´、Ｐ２´、Ｐ３´を検索した図４の静止画より時系列的に後に隣り合う静止画、すなわち、図５の静止画においても同様に、特徴点Ｐ１´、Ｐ２´、Ｐ３´に対応する特徴点Ｐ１´´、Ｐ２´´、Ｐ３´´（図示せず）の検索を行い、特徴点Ｐ１´、Ｐ２´、Ｐ３´と特徴点Ｐ１´´、Ｐ２´´、Ｐ３´´の差を算出し、算出した差の平均値ΔＰｔ２を求める。このとき、特徴点Ｐ１´、Ｐ２´、Ｐ３´は第一の特徴点となり、特徴点Ｐ１´´、Ｐ２´´、Ｐ３´´は第二の特徴点となる。
【００３４】
このように、Ｓ１１にて受け付けた動画を構成する連続する複数の静止画の隣り合う静止画像間の全てにおいて、特徴点の差をそれぞれ算出し、算出した差の平均値ΔＰｔｎ（ｎ＝１，２・・・）を順に求めていく（Ｓ１８において、ＮＯ）。
【００３５】
そして、連続する複数の静止画の隣り合う静止画像間の全てにおいて、特徴点の差をそれぞれ算出し、算出した差の平均値ΔＰｔｎ（ｎ＝１，２・・・）を求めると（Ｓ１８において、ＹＥＳ）、求めた平均値ΔＰｔｎを順に接続する。すなわち、所定の点を順に接続する。このようにして、平均値ΔＰｔｎに基づき、軌跡を作成する（Ｓ１９）。平均値ΔＰｔｎは、軌跡の一部であり、接続することにより軌跡全体となる。図９は、図３の静止画に軌跡２０を重ねて表示した状態を示す図である。なお、図９においては、軌跡２０の一部を示している。ここで、制御部１１は、軌跡作成手段として作動する。このようにして、動作解析装置１０は、軌跡２０を作成することにより、動作の解析を行う。
【００３６】
このように、動作解析装置１０は、解析対象箇所として第一の静止画像上の任意の箇所の指定を受け付けると、第一の静止画における第一の特徴点および第二の静止画における第二の特徴点を検索する。そして、第一および第二の特徴点に基づいて、軌跡を作成する。したがって、ユーザにとって、色を考慮する必要なく、任意の箇所を指定するのみで、軌跡を作成して、動画の動作を解析することができる。その結果、ユーザにとって、簡易に使用可能となる。
【００３７】
また、Ｓ１３において、例えば画面が小さい場合には、ユーザとっては図３のグリップを指定したにもかかわらず、グリップとは異なるシャフト等を指定されたと操作部１３が受け付けてしまう場合がある。すなわち、操作部１３が受け付けた指定点Ｐ０とユーザの意図した解析対象箇所とが異なる場合がある。しかしながら、Ｓ１４において、指定点Ｐ０を中心としてＰ０の周囲の複数の特徴点を検索するため、この検索した複数の特徴点に基づいて軌跡の作成を行うことができる。したがって、指定点Ｐ０とユーザの意図した解析対象箇所とが異なる場合であっても、作成する軌跡の精度を向上させることができる。
【００３８】
なお、Ｓ１５における第二の特徴点の検索の際に、例えば動画の動作が激しい場合には、第二の特徴点の検索が困難となる場合がある。例えば、図３〜図５に示す静止画像は、スイングの開始直後を示すものであるため、動作が遅く、静止画像間の変化が小さい。しかしながら、図１０〜図１２に示す静止画像は、ダウンスイングからインパクト直前を順に示すものであるため、動作が速く、静止画像間の変化が大きい。このように動画の動作が速く、特徴点の検索が困難な場合には、動画の動作の速さを予め取得しておくことにより、対応することができる。
【００３９】
具体的には、静止画像を所定の大きさの領域に分割し、隣り合う静止画像間で、対応する領域毎に差分を抽出する。そして、その差分の大小を取得して、差分が大きければ動作が速いと判断し、差分が小さければ動作が遅いと判断する。このようにして、動画の動作の速さを取得する。そして、Ｓ１５における第二の特徴点の検索の際に、動作の速さを取得して、動作が速い場合には、検索する範囲を大きくする。ここで、制御部１１は、取得手段として作動する。
【００４０】
また、例えば、静止画像を所定の大きさの小領域に分割し、小領域毎に、横軸が輝度勾配、縦軸が出現頻度を示す輝度勾配のヒストグラムを計算する。なお、この輝度勾配は、上記したＳ１４におけるＳＩＦＴ特徴量計算時のものと同じである。そして、隣り合う静止画像間で、計算したヒストグラムを対応する領域毎に比較することにより、ヒストグラムの差の大小を取得して、差が大きければ動作が速いと判断し、差が小さければ動作が遅いと判断してもよい。
【００４１】
また、例えば、静止画像全体に２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）処理を行うことにより、静止画像全体を周波数領域に変換する。そして、変換した周波数領域のうち、高周波領域の情報を除き、低周波領域のヒストグラムを計算する。そして、隣り合う静止画像間で、計算したヒストグラムを比較することにより、ヒストグラムの差の大小を取得して、差が大きければ動作が速いと判断し、差が小さければ動作が遅いと判断してもよい。
【００４２】
また、上記の実施の形態においては、特徴点の検索の際に、いずれの静止画像においても特徴点の検索ができた場合について説明したが、例えば図３の静止画の特徴点Ｐ１、Ｐ２、Ｐ３は検索できたものの、図３の静止画に隣り合う図４の静止画の特徴点Ｐ１´、Ｐ２´、Ｐ３´は検索できない場合がある。このような場合には、補間処理を行うことにより、対応することができる。
【００４３】
具体的には、特徴点の検索を、動画の先頭に位置する静止画から動画の最後に位置する静止画まで順に行うと共に、動画の最後に位置する静止画から動画の先頭に位置する静止画まで逆順にも行う。すなわち、先頭に位置する静止画において、第一の特徴点を検索すると、先頭に位置する静止画と時系列的に後に隣り合う静止画において、第二の特徴点を検索する。さらに、最後に位置する静止画において、第一の特徴点を検索すると、最後に位置する静止画と時系列的に前に隣り合う静止画において、第二の特徴点を検索する。
【００４４】
そして、特徴点の差を算出して、算出した差の平均値が、順にΔＰｔ１、ΔＰｔ２と求まり、逆順にΔＰｔ５、ΔＰｔ４と求まり、ΔＰｔ３については特徴点が検索できず平均値を算出できなかった場合、ΔＰｔ３の前後の平均値、すなわち、ΔＰｔ２、ΔＰｔ４に基づいて、ΔＰｔ３を算出する。すなわち、ΔＰｔ２とΔＰｔ４の平均をΔＰｔ３と算出する。このようにして、補間処理を行うことにより、軌跡を作成してもよい。なお、この場合、最後に位置する静止画における第一の特徴点の検索は、最後に位置する静止画において、先頭に位置する静止画と同じ箇所をユーザから指定されることにより、行ってもよい。
【００４５】
また、上記の実施の形態においては、特徴点の検索の際に、いずれの静止画像においても特徴点の検索ができた場合について説明したが、例えば、特徴点Ｐ１に対応する特徴点Ｐ１´と、特徴点Ｐ２に対応する特徴点Ｐ２´とを検索でき、特徴点Ｐ３に対応する特徴点Ｐ３´においては検索できなかった場合、特徴点Ｐ３は破棄し、特徴点Ｐ１、Ｐ２、Ｐ１´、Ｐ２´のみに基づいて、平均値を算出してもよい。
【００４６】
また、軌跡を作成する際に、平均値に対して、移動平均フィルタ等のローパスフィルタ処理を行ってもよい。こうすることにより、作成する軌跡を滑らかにすることができる。
【００４７】
また、上記の実施の形態においては、特徴点の差の平均値に基づいて、軌跡を作成する例について説明したが、これに限ることなく、特徴点の平均値に基づいて、軌跡を作成してもよい。すなわち、複数の第一の特徴点を検索し、その平均値を求める。また、複数の第二の特徴点を検索し、その平均値を求める。そして、求めた平均値を順に接続して、軌跡を作成してもよい。
【００４８】
また、上記の実施の形態においては、軌跡２０と静止画とを重ね合わせて表示する例について説明したが、これに限ることなく、軌跡２０と動画とを重ね合わせて表示してもよい。こうすることにより、ユーザにとって、動画の動作の解析結果がわかりやすくなる。ここで、操作部１３は、表示手段として作動する。
【００４９】
また、例えば、予めモデルとなるゴルフのスイングの動画を準備しておくことにより、モデルの動画の軌跡と、自身の動画の軌跡とを並べて表示してもよい。こうすることにより、モデルのフォームと自身のフォームとを容易に比較することができ、ユーザにとってより良いフォームへと改善しやすくなる。なお、この場合、人物の大きさが異なる場合には、双方の大きさを揃えるように、画像の拡大縮小等を行ってもよい。また、スイングに要する時間が異なる場合には、長い方の動画を間引きして双方の時間の長さを揃えてもよい。
【００５０】
また、上記の実施の形態においては、Ｓ１３において、ユーザからＰ０の１点を指定される例について説明したが、これに限ることなく、２点以上指定された場合でも同様に、指定点の各々において、Ｓ１４からの処理を行い、各々の軌跡を作成することができる。
【００５１】
また、上記の実施の形態においては、Ｓ１３において、ユーザからＰ０を指定されて、指定点であるＰ０を中心とし、予め定められた所定の半径ｒの範囲内において、特徴点の検索を行い、指定点Ｐ０とは異なるＰ１、Ｐ２、Ｐ３の特徴点が検索される例について説明したが、これに限ることなく、指定点Ｐ０を特徴点として検索されてもよい。
【００５２】
また、上記の実施の形態においては、第二の静止画は、第一の静止画と時系列的に隣り合う静止画である例について説明したが、これに限ることなく、第一の静止画と異なる静止画であればよい。
【００５３】
また、上記の実施の形態においては、第一の特徴点として、Ｐ１、Ｐ２、Ｐ３の３つを検索する例について説明したが、これに限ることなく、いくつでもよい。
【００５４】
また、上記の実施の形態においては、操作部１３は、タッチパネル式である例について説明したが、これに限ることなく、例えば、操作部１３は、表示画面と、マウスとを備える構成とし、ユーザによってマウスを操作されることにより、解析対象箇所を指定されてもよい。
【００５５】
また、上記の実施の形態においては、特徴量として、ＳＩＦＴ特徴量を用いる例について説明したが、これに限ることなく、や、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量や、Ｈａｒｒｉｓ特徴量等の他の特徴量を用いてもよい。
【００５６】
次に、図１および図１３〜図２１を参照して、この発明の他の実施形態に係る動作解析装置３０について説明する。なお、上記実施形態と同様の構成要素については同じ符号を付し、詳しい説明を省略する。また、以下の説明においては、前述した実施形態と同様に、本発明をゴルフスイングの動作解析に適用した場合について説明する。
【００５７】
動作解析装置３０は、図１に示す実施形態と同様に、動作解析装置３０全体を制御するＣＰＵ等の制御部１１と、画像等を記憶する記憶部１２と、タッチパネル式であってユーザからの操作を受け付けると共に記憶部１２に記憶した画像等を表示する操作部１３と、外部機器との接続インターフェースとなるＩ／Ｆ部１４とを備える。
【００５８】
ここで、この実施形態に係る動作解析装置３０においては、記憶部１２に、動作解析の観測対象に対応する画像が、複数記憶されている。具体的には、記憶部１２に、アドレスの姿勢をとるゴルフプレーヤーの画像を、幅広い年齢、身長、体型、および性別等に亘ってランダムに多数記憶する。これらの画像は、観測対象の初期形態を推定するためのレファレンス画像として利用される。なお、この処理に関しては、後に詳述する。
【００５９】
次に、この実施形態に係る動作解析装置３０の制御部１１が行う動作解析フローについて説明する。まず、動作解析装置３０は、Ｉ／Ｆ部１４を介して、予め撮影されたゴルフスイングの動画の入力を受け付ける（Ｓ２１）。上記したように、動画データは、時系列的に連続する複数の静止画の集合体として構成されている。動作解析装置３０は、時系列の先頭に位置する図１４に示す静止画３１を、操作部１３に表示する（Ｓ２２）。
【００６０】
次いで、動作解析装置３０は、静止画３１をスキャンし、所定のサイズを有する領域を解析の対象領域３２として順に画定する（Ｓ２３）。なお、図１４においては、観測対象となるプレーヤー３３が、対象領域３２内に適切なサイズで含まれている場合を示している。しかしながら、実際の解析フローとしては、静止画３１を全体に亘ってスキャンし、対象領域３２の位置と大きさを変化させつつ、次々と候補となる対象領域を画定していく。そして、後述する処理において、それぞれの対象領域毎にプレーヤー３３が含まれているか否かが判定される。
【００６１】
以下、理解の容易の観点から、図１４に示すように、Ｓ２３により画定された対象領域３２内に、観測対象となるプレーヤー３３が適切なサイズにて含まれていた場合について説明する。
【００６２】
プレーヤー３３を含む対象領域３２が画定された後、その後の解析処理をより迅速且つ容易に進行可能とするために、対象領域３２の大きさを所定の画像サイズとなるように調整する（Ｓ２４）。具体的には、対象領域３２の画像サイズを、例えば６４×１２８ドットに拡大／縮小する。その結果、図１４に示す対象領域３２が、図１５に示すような所定の画像サイズを有する対象領域３２Ａとして切り出されることとなる。同様に、対象領域３２に含まれていたプレーヤー３３も、それに対応して拡大／縮小され、プレーヤー３３Ａとなる。
【００６３】
次いで、対象領域３２の画像データにおける輝度勾配に基づいて、プレーヤー３３Ａの輪郭３４を検出する（Ｓ２５）。なお、輪郭を検出する手法としては、例えば上記したＳＩＦＴ特徴量やＨＯＧ特徴量のような輝度勾配に基づく特徴量を適用してもよいし、Ｈａｒｒｉｓ特徴量等のような輝度勾配以外のパラメータに基づく特徴量を適用してもよい。これらの手法を用いることにより、図１６に示すように、プレーヤー３３Ａに対応する輪郭３４を効果的に抽出することができる。なお、図１６においては、理解の容易の観点から、プレーヤー３３Ａの実際の輪郭３３Ｂと、ＨＯＧ特徴量に基づいて抽出された輪郭３４とを併記しているが、実際の処理においては、ＨＯＧ特徴量に基づく輪郭３４を検出すればよい。
【００６４】
このように、Ｓ２３〜Ｓ２５のステップを経ることによって、図１４に示す静止画３１から、図１６に示す観測対象の輪郭３４を抽出することができる。すなわち、本発明においては、Ｓ２３〜Ｓ２５のステップを実行する制御部１１が、観測対象となるプレーヤー３３を静止画３１中において認識するための人物認識手段（図１３中のＡ）として機能する。
【００６５】
次いで、動作解析装置３０は、人物認識手段（Ａ）によって検出されたプレーヤー３３Ａの輪郭３４と、記憶部１２に記憶されたレファレンス画像とを比較し、輪郭３４と近似するレファレンス画像を選択する（Ｓ２６）。この動作について、以下に具体的に説明する。
【００６６】
この実施形態においては、上記したように、記憶部１２が、アドレスの姿勢をとるゴルフプレーヤーの画像データを、幅広い年齢、身長、体型、および性別等に亘って、ランダムに多数記憶している。図１７に、比較対象となるレファレンス画像を例示する。このレファレンス画像においても、図１５および図１６に示す対象領域３２Ａと同じ画像サイズの対象領域３２Ａが画定されており、この対象領域３２Ａ内にレファレンスプレーヤー３５が適切なサイズにて収容されるように記憶されている。すなわち、Ｓ２６にて比較される観測対象プレーヤー３３Ａとレファレンスプレーヤー３５とは、共通サイズの対象領域３２Ａ内において、人物の位置や大きさがほぼ共通となるように調整され、記憶される。この構成により、観測対象プレーヤー３３Ａと、レファレンスプレーヤー３５との比較を、静止画３１におけるプレーヤー３３の位置や大きさ等によって影響を受けることなく、より高精度に実行することが可能となる。
【００６７】
記憶部１２においては、レファレンス画像は、図１７に示すような静止画像の他に、上記ＨＯＧ特徴量により導出される輪郭画像や、頭部、腕部、または脚部等といった身体の一部領域を画定した身体部位領域画像として記憶されていてもよい。図１８（ａ）〜（ｃ）に、図１７に対応する各形式の画像データを例示する。図１８（ａ）は、図１７に対応する静止画であって、画像上において頭部、腕部、および脚部に対応する第一身体部位領域３６が画定されている様子を表す図である。すなわち、第一頭部領域３６ａ、第一腕部領域３６ｂ、および第一脚部領域３６ｃが、それぞれ画像上に画定されている。図１８（ｂ）は、レファレンスプレーヤー３５の輪郭５５を示す図である。図１８（ｃ）は、図１８（ａ）に示す第一身体部位領域３６のみを抽出した様子を表す図である。
【００６８】
この実施形態においては、人物認識手段（Ａ）によって検出されたプレーヤー３３Ａの輪郭３４と、図１８（ｂ）に示すレファレンスプレーヤー３５の輪郭５５とを比較することによって、記憶部１２に記憶された多数のレファレンス画像から、観測対象に形態が近似するものを選択する。そして、選択されたレファレンス画像に対応する第一身体部位領域３６を抽出し、観測対象の画像データに適用する。その結果を、図１９に示す。
【００６９】
図１９に示すように、上記した方法により適用された第一身体部位領域３６は、観測対象のプレーヤー３３Ａの身体の各部位とほぼ一致することとなる。これにより、プレーヤー３３Ａの頭部、腕部、および脚部等の配置、すなわち、アドレス状態におけるプレーヤー３３Ａの姿勢を、概略的に推定することができる。
【００７０】
このように、本発明によれば、入力された静止画３１のデータと、記憶部１２に記憶されたレファレンス画像データとに基づいて、静止画３１におけるプレーヤー３３Ａの初期形態（姿勢や体型等の要素を含む）を、概略的に推定することが可能となる。すなわち、Ｓ２６を実行する制御部１１は、プレーヤー３３Ａの初期形態を推定するための初期形態推定手段（Ｂ）として機能する。
【００７１】
なお、Ｓ２６を実行した結果、観測対象のプレーヤー３３Ａに近似するレファレンス画像が発見されなかった場合、動作解析装置３０は、Ｓ２３にて確定した対象領域３２内に人物が適切に含まれなかったものと判断し、Ｓ２３にリターンする。そして、対象領域３２内に人物が適切に含まれている状態を検出するまでＳ２３〜Ｓ２６を繰り返し行う。
【００７２】
Ｓ２６の結果、図１９に示すようにプレーヤー３３Ａの姿勢を推定することができた場合、次のステップとして、動作解析の対象となる解析対象箇所を、図１９に示す画像データに基づいて指定する（Ｓ２７）。ここで、本実施形態においては、解析対象箇所を、第一身体部位領域３６によって決定する。その一例としては、図１９に示す第一頭部領域３６ａ、第一腕部領域３６ｂの下端部、および／または、第一脚部領域３６ｃの中央部等を、解析対象箇所として自動的に指定する。これは、プレーヤー３３Ａの頭部、グリップ（手首近辺）、および／または膝を、解析対象箇所として自動的に指定したことと同義である。なぜならば、上記したように、第一身体部位領域３６は、観測対象のプレーヤー３３Ａの身体の各部位とほぼ一致するように画定されているからである。図１９に、例として第一腕部領域３６ｂの下端部、すなわちプレーヤー３３Ａのグリップ付近を解析対象箇所として指定した場合を示す（図１９中の点３９）。
【００７３】
このように、本実施形態においては、上記Ｓ２３〜Ｓ２７を実行する制御部１１が、解析対象箇所を指定するための解析対象箇所指定手段（Ｃ）として機能する。そして、この構成により、ユーザが動作解析を開始するに際して、動作解析装置３０が観測対象となるプレーヤー３３Ａの初期形態を推定し、そのデータに基づいて解析の初期条件を自動的に決定することが可能となる。これにより、ユーザが解析対象箇所を指定する作業を省略することができるため、ユーザの利便性をさらに向上させることができる。
【００７４】
Ｓ２７によって解析対象箇所が指定された後、動作解析装置３０は、指定された第一身体部位領域３６内において第一の特徴点の検索を行う（Ｓ２８）。ここでは、上記したＳＩＦＴ特徴量やＨＯＧ特徴量等を用いて、第一身体部位領域３６内において複数の第一の特徴点が検索される。
【００７５】
次いで、動作解析装置３０は、第一の特徴点を検索した図１９の静止画より時系列的に後に隣り合う静止画、すなわち、図２０に示す静止画において、第一の特徴点に対応する第二の特徴点の検索を行う（Ｓ２９）。そして、検索された第二の特徴点に基づいて、第一身体部位領域３６に対応する第二身体部位領域３７を画定する（Ｓ３０）。
【００７６】
次いで、第一身体部位領域３６と第二身体部位領域３７の差に基づいて軌跡を作成する（Ｓ３１）。具体的には、図２０に示す第二腕部領域３７ｂが新たに画定された後、第二腕部領域３７ｂの下端部に相当する位置が、解析対象箇所として認識される（図２０中の点４０）。そして、点３９と点４０との差に基づいて、軌跡４２が作成される。同様に、例えばＳ２７にて第一頭部領域３６ａを解析対象箇所として指定した場合は、第一頭部領域３６ａと第二頭部領域３７ａとの差に基づいて、プレーヤー３３Ａの頭部の軌跡を作成することができる。また、第一脚部領域３６ｃと第二脚部領域３７ｃとの差に基づいて、プレーヤー３３Ａの膝の軌跡を作成することができる。
【００７７】
続けて、図２０に示す静止画と時系列的に後に隣り合う静止画、すなわち図２１に示す静止画において、第二の特徴点に対応する第三の特徴点の検索を行い、検索された第三の特徴点に基づいて、第二身体部位領域３７に対応する第三身体部位領域３８を画定する。そして、第二身体部位領域３７と第三身体部位領域３８の差に基づいて、解析対象箇所を認識し（図２１中の点４１）、軌跡４３を作成する。
【００７８】
このように、連続する静止画毎に解析対象箇所の軌跡を順次作成することによって、一連のゴルフスイング動作において、プレーヤーの所定部位（例えば、頭部、腕部、および／または脚部）の運動を解析することが可能となる。
【００７９】
なお、本実施形態においては、プレーヤー３３Ａの輪郭３４を検出することによって人物認識を行う場合について述べたが、これに限らず、観測対象の形態を抽出可能であれば、他の如何なる手法を用いてもよい。
【００８０】
また、本実施形態においては、プレーヤー３３Ａの輪郭３４とレファレンスプレーヤー３５の輪郭５５とを比較することによって、観測対象に形態が近似するものを選択する場合について述べたが、これに限らず、例えば図１８（ａ）に示す静止画データの比較によって選択する構成であってもよいし、図１８（ｃ）に示す身体部位領域３６に係るデータとの比較によって選択してもよい。また、観測対象とレファレンスとの比較が可能であれば、図１８に示す以外の如何なる形式のデータを比較に用いてもよい。
【００８１】
また、本実施形態においては、身体部位領域３６に基づいて動作解析の初期条件である解析対象箇所３９を指定する場合について述べた。しかしながら、これに限らず、例えば図１８（ａ）に示す静止画データや、図１８（ｂ）に示す輪郭５５に係るデータに基づいて指定してもよいし、その他如何なるデータに基づいて解析対象箇所３９を指定してもよい。
【００８２】
なお、上記実施形態のように、本発明をゴルフスイングの動作解析に適用する場合においては、動作解析装置１０、３０は、スイングのテイクバックからダウンスイングへとスイングの方向が転換されたことを検出し、それをユーザに識別可能とする方向転換識別手段をさらに備えていてもよい。これについて、図２２を参照して説明する。図２２（ａ）〜（ｆ）は、一連のゴルフスイングを記録した動画を示しており、この動画は、連続する計６フレームの静止画によって構成されている。
【００８３】
図２２（ａ）〜（ｆ）に示すように、ゴルフスイングは、ゴルフクラブを上方へ振り上げるテイクバック（図２２（ａ）〜（ｃ））から、ゴルフクラブを下方へ振り下げるダウンスイング（図２２（ｄ）〜（ｆ））へと移行する。すなわち、図２２においては、図２２（ｃ）と図２２（ｄ）との間にスイングの方向転換が発生している。
【００８４】
方向転換識別手段は、この方向転換点を検出し、方向転換前の軌跡と方向転換後の軌跡とをユーザに識別可能とさせるものである。これにより、動作の転換点となるポイントと、その前後の動きの軌跡を明確に把握することが可能となるため、より詳細な動作解析を行うことができる。具体的なアルゴリズムについて以下に説明する。
【００８５】
前提として、図２２（ｆ）を現時点とする。方向転換識別手段は、まず、現時点から時系列的に５フレーム前の図２２（ａ）におけるグリップの速度べクトルｖ１を計算する。このｖ１は、図２２（ａ）と時系列的に前に隣り合うフレーム、すなわち、現時点から６フレーム前（図示せず）のグリップの位置と、５フレーム前のグリップの位置とから求めることができる。同様にして、現時点から４フレーム前の図２２（ｂ）におけるグリップの速度べクトルｖ２、３フレーム前の図２２（ｃ）におけるグリップの速度べクトルｖ３、現時点から２フレーム前の図２２（ｄ）におけるグリップの速度べクトルｖ４、現時点から１フレーム前の図２２（ｅ）におけるグリップの速度べクトルｖ５、現時点のフレームにおけるグリップの速度べクトルｖ６を、それぞれ計算する。
【００８６】
ここで、現時点から５フレーム前〜３フレーム前の間におけるグリップの平均速度ベクトルｆ１は、以下のように表される。
【００８７】
【数１】
【００８８】
同様に、現時点から２フレーム前〜現時点のフレームの間におけるグリップの平均速度ベクトルｆ２は、以下のように表される。
【００８９】
【数２】
【００９０】
本実施形態に係る方向転換識別手段は、グリップの方向転換点を検出するために、ｆ１とｆ２との内積＝ｆ１・ｆ２を計算する。そうすると、５フレーム前〜３フレーム前におけるグリップの速度ベクトルと、２フレーム前〜現時点におけるグリップの速度ベクトルとは、その方向が反転していることから、内積は、負の値をとることとなる。換言すれば、内積が負となる時点を検出することができれば、スイングのテイクバックからダウンスイングへと方向が転換される方向転換点を検出することができる。
【００９１】
このようにして方向転換点を検出した後、上記したＳ３１において、方向転換点の前の軌跡線と異なる種類の軌跡線を形成することによって、ユーザは、テイクバックの軌跡と、ダウンスイングの軌跡とを明瞭に区別して認識することが可能となる。識別可能とする手段としては、例えば軌跡線の色の変更（黄色から赤色等）や、線種の変更（実線から点線等）、軌跡線を点滅表示する等が考えられる。
【００９２】
なお、この実施形態においては、理解の容易の観点から、平均速度ベクトルｆ１，ｆ２を、連続する３フレームの速度ベクトルの平均をとることによって算出したが、これに限らず、任意の数のフレームの速度ベクトルの平均に基づいて、平均速度ベクトルｆ１，ｆ２を算出してもよい。
【００９３】
図２３に、方向転換識別手段によってテイクバックとダウンスイングとを識別可能としたゴルフスイングの軌跡の一例を示す。このように、本発明に係る方向転換識別手段によれば、ユーザは、スイングの転換点となるポイントと、その前後の動きの軌跡を明確に把握することが可能となるため、より詳細な動作解析を行うことが可能となる。
【００９４】
なお、上記した各実施形態においては、１つのパターンのゴルフスイングを表示手段（操作部１３）に表示し、その動作解析を行った場合について述べた。しかしながら、これに限らず、動作解析装置１０，３０は、二以上の異なる動作を並べて表示し、これらの異なる動作を比較可能とするための動作比較手段をさらに備えていてもよい。以下、上記実施形態と同様に、ゴルフスイングの動作比較を実行可能な動作比較手段について、図２４〜図２６を参照して説明する。
【００９５】
本実施形態に係る動作比較手段は、まず、二つのゴルフスイングを記憶した動画を並列表示し（Ｓ４１）、前述した実施形態のいずれかの方法を用いて、それぞれのゴルフスイングの軌跡を形成する。図２４に、二つのゴルフスイングの軌跡を形成し、それらを並列表示した図を示す。具体的には、第一の表示領域４４に、第一の軌跡４５が表示され、第二の表示領域４６に第二の軌跡４７が表示されている。
【００９６】
次いで、二つの動画の時間軸を圧縮／伸張して調整し、二つの動画の時間軸を揃える（Ｓ４２）。ここで、ゴルフスイングは、上記したように、アドレスの姿勢から、テイクバック、ダウンスイング、フィニッシュという一連の動作によって構成される。そして、これら各動作に要する時間は、人によって異なり、且つ、同じ人がスイングした場合であっても、スイング毎に異なるものである。したがって、二つのスイングを並列表示して比較する場合、各動作の始めの時点と終わりの時点とを揃えることによって、各スイングの軌道をより視覚的に比較検証し易くすることができる。
【００９７】
その方法としては、二つの動画において、アドレス状態からテイクバックの終わりの時点までの時間と、ダウンスイングの始めの時点とフィニッシュまでの時間をそれぞれ計算し、一方の動画のフレームを間引く、またはフレーム間の時間を伸長させることによって、二つの動画間において各動作に要する時間を揃える処理を行うことが考えられる。なお、テイクバックの終わりからダウンスイングの始めへの転換点は、前述した実施形態に係る方法によって検出可能である。
【００９８】
より具体的に説明すると、例えば第一の表示領域４４に表示したゴルフスイングにおいては、アドレスからテイクバックの終わりまで１．４秒、ダウンスイングの始めからフィニッシュまで１．１秒を要したとする。また、第二の表示領域４６に表示したゴルフスイングにおいては、アドレスからテイクバックの終わりまで１．８秒、ダウンスイングの始めからフィニッシュまで１．５秒を要したとする。この場合、第二の表示領域４６に表示する動画において、アドレスからテイクバックの終わりまでの間の静止画フレームを、１．４／１．８の割合で間引きし、且つ、ダウンスイングの始めからフィニッシュまでの間の静止画フレームを、１．１／１．５の割合で間引きをする。この処理によって、二つのゴルフスイングのアドレスからフィニッシュまでの時間軸を揃えることができる。この処理により、二つのスイングを並列して動画再生した場合等において、二つのスイングの軌道をより視覚的に比較検証し易くすることができる。
【００９９】
次いで、二つの動画の画像サイズを拡大／縮小し、各表示領域４４，４６におけるプレーヤーの位置や大きさを揃える処理を行う（Ｓ４３）。これにより、ユーザは、二つのスイングをより比較検証し易くなる。
【０１００】
次いで、第一の軌跡４５の重心点４８と、第二の軌跡４７の重心点４９とをそれぞれ計算する（Ｓ４４）。各軌跡の重心点４８，４９は、軌跡を構成する各ポイントの平均値を求めることによって計算することができる。なお、重心点４８，４９を計算した後、その座標を図２４に示すように表示してもよいし、表示をせずに記憶するのみであってもよい。
【０１０１】
次いで、各フレームにおける第一の軌跡４５および第二の軌跡４７のポイントと、それぞれの軌跡の重心点４８，４９との間の差分値を計算し、フレーム番号と当該差分値とを記録する（Ｓ４５）。ここで参考データとして、図２６にフレーム番号Ｎと差分値ｘに係るグラフを示す。なお、図２６においては、第一の軌跡４５と重心点４８との差分値グラフを線５０に、第二の軌跡４７と重心点４９との差分値グラフを線５１にそれぞれ示す。
【０１０２】
次いで、Ｓ４５によって得られたデータに基づいて、第一の軌跡４５と第二の軌跡４７との間の差を計算し、その差が大きくなっている軌跡部分を識別可能に表示する（Ｓ４６）。具体的には、それぞれのフレーム番号Ｎにおいて線５０と線５１との差を計算すると、図２６に示すように、その差が比較的に大きくなる軌跡部分５２，５３，５４が検出される。換言すれば、第一の軌跡４５と第二の軌跡４７とは、軌跡部分５２，５３，５４において、スイングの軌道が相対的に大きく異なっていることを意味している。そこで、第一の軌跡４５または第二の軌跡４７のうち、この軌跡部分５２，５３，５４に相当する軌跡線に対して、例えば線色の変更や線種の変更、または点滅表示等をすることによって、ユーザがその部分を識別可能とすることができる。この構成によれば、例えばユーザがゴルフスイングを日々記録した場合に、そのスイングの軌道が変化した部分を詳細に把握・検証することが可能となる。これにより、さらに付加価値の高い動作解析装置を提供することができる。
【０１０３】
なお、本実施形態においては、二つのゴルフスイングを比較した場合について述べたが、これに限らず、三以上の動作を比較する構成であってもよい。
【０１０４】
また、本発明に係る動作解析装置の動作アルゴリズムが、ソフトウェアまたはハードウェアのいずれによっても実現可能であることは、当業者であれば容易に理解されるであろう。
【０１０５】
また、上記した各実施形態においては、ゴルフスイングを動作解析の対象とした場合について説明した。しかしながら本発明は、これに限定されるものではない。すなわち、本発明の概念は、動作解析の開始点における画像データと、予め記憶したレファレンスデータとを比較し、開始点における観測対象の形態を推定することによって、解析対象箇所の初期条件（サイズ、座標等）を決定し、以て動作解析を容易且つ迅速に実行可能とすることにある。したがって、ゴルフスイングに限らず、例えば野球のスイングや、舞踊、演技、武道等、プレーヤーの体の動きを把握・検証することに対してニーズのある、あらゆる分野のスポーツ・演技に適用可能であることは、当業者であれば容易に理解されるであろう。
【０１０６】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示された実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１０７】
この発明は、スポーツにおいて、フォームのチェックが必要となる場合に、有効に利用される。
【符号の説明】
【０１０８】
１０，３０ 動作解析装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ Ｉ／Ｆ部、２０，４２，４３，４５，４７ 軌跡、３１ 静止画、３２，３２Ａ，３６，３６ａ，３６ｂ，３６ｃ，３７，３７ａ，３７ｂ，３７ｃ，３８，３８ａ，３８ｂ，３８ｃ 領域、３３，３３Ａ，３５ プレーヤー、３４，５５ 輪郭、３９，４０，４１，４８，４９ 点、４４，４６ 表示領域、５０，５１ 線、５２，５３，５４ 軌跡部分。
【特許請求の範囲】
【請求項１】
連続する複数の静止画から構成される動画の動作を解析する動作解析装置であって、
前記動画の入力を受け付ける動画受付手段と、
前記動画受付手段により受け付けた動画のうち、前記動画を構成する第一の静止画において、前記第一の静止画像上において、動作解析の対象となる解析対象箇所を指定する解析対象箇所指定手段と、
前記解析対象箇所から一定範囲内において、第一の特徴点を検索する第一の検索手段と、
前記動画を構成し、前記第一の静止画と異なる静止画である第二の静止画において、前記第一の特徴点に対応する第二の特徴点を検索する第二の検索手段と、
前記第一および第二の特徴点に基づいて、軌跡を作成する軌跡作成手段と、を備える、動作解析装置。
【請求項２】
前記解析対象箇所指定手段は、ユーザが前記解析対象箇所を任意に指定可能とするために、ユーザからの指定を受け付ける指定受付手段を有する、請求項１に記載の動作解析装置。
【請求項３】
前記解析箇所指定手段は、
前記第一の静止画から観測対象を認識する認識手段と、
前記認識手段によって認識された前記観測対象の画像データに基づいて、前記観測対象の形態を推定する形態推定手段と、を有し、
前記解析対象箇所は、前記形態推定手段による推定結果に基づいて指定される、請求項１に記載の動作解析装置。
【請求項４】
前記認識手段は、
前記観測対象を含む一定の領域を対象領域として画定する対象領域画定手段と、
前記対象領域の大きさを所定の画像サイズとなるように調整する対象領域正規化手段と、を含む、請求項３に記載の動作解析装置。
【請求項５】
前記認識手段は、前記第一の静止画における輝度勾配に基づいて、前記観測対象の輪郭を検出する、請求項３または４に記載の動作解析装置。
【請求項６】
前記観測対象に対応する比較対象の画像を、予め複数記憶するレファレンス画像記憶手段をさらに備え、
前記形態推定手段は、
前記認識手段によって認識された前記観測対象の画像データと、前記レファレンス画像記憶手段によって記憶された前記比較対象の画像データとを比較し、前記観測対象の画像データに形態が近似する前記比較対象の画像データを選択するレファレンス画像選択手段を含み、
前記解析対象箇所は、前記レファレンス画像選択手段によって選択された前記比較対象の画像データに基づいて指定される、請求項３〜５のいずれかに記載の動作解析装置。
【請求項７】
前記第一の検索手段は、前記一定範囲内において、複数の第一の特徴点を検索し、
前記第二の検索手段は、前記複数の第一の特徴点に対応する複数の第二の特徴点を検索し、
前記軌跡作成手段は、前記複数の第一の特徴点と前記複数の第二の特徴点との差をそれぞれ算出し、この算出した差の平均値を求めることにより、求めた平均値に基づいて、軌跡を作成する、請求項１〜６のいずれかに記載の動作解析装置。
【請求項８】
前記平均値は、前記第一および第二の特徴点に基づく点であって、前記動画を構成する静止画像上の所定の点における変化を示すものであり、
前記軌跡作成手段は、前記平均値を、連続する前記複数の静止画の隣り合う静止画像間においてそれぞれ算出し、この算出した平均値が示す前記所定の点を順に接続することにより、軌跡を作成する、請求項７に記載の動作解析装置。
【請求項９】
前記第一の静止画は、前記動画の先頭に位置する静止画と、前記動画の最後に位置する静止画とを含み、
前記第二の静止画は、前記第一の静止画と時系列的に後に隣り合う静止画と、前記第一の静止画より時系列的に前に隣り合う静止画とを含み、
前記第二の検索手段は、時系列的に後に隣り合う静止画において、前記第一の特徴点に対応する前記第二の特徴点を検索すると共に、時系列的に前に隣り合う静止画において、前記第一の特徴点に対応する前記第二の特徴点を検索する、請求項１〜８のいずれかに記載の動作解析装置。
【請求項１０】
前記第二の検索手段は、前記動画の動作の速さを取得する取得手段を含み、前記取得手段により取得した速さに基づいて、前記第二の特徴点を検索する、請求項１〜９のいずれかに記載の動作解析装置。
【請求項１１】
連続する前記複数の静止画は、一定間隔で構成されており、
前記取得手段は、隣り合う静止画像間において、静止画像の差の大小を取得することにより、前記動画の動作の速さを取得する、請求項１０に記載の動作解析装置。
【請求項１２】
前記軌跡作成手段は、前記軌跡の方向が転換された場合に、方向転換前の軌跡と方向転換後の軌跡とを識別可能とする方向転換識別手段を有する、請求項１〜１１のいずれかに記載の動作解析装置。
【請求項１３】
前記方向転換識別手段は、
時系列的に連続する静止画間における軌跡の速度ベクトルを計算し、特定の静止画における速度ベクトルと、当該特定の静止画と時系列的に後に隣り合う静止画における速度ベクトルとの内積が負となった場合に、前記軌跡の方向転換を検出する、請求項１２に記載の動作解析装置。
【請求項１４】
前記軌跡作成手段により作成された軌跡と、前記動画受付手段により受け付けた動画とを重ねて表示する表示手段を含む、請求項１〜１３のいずれかに記載の動作解析装置。
【請求項１】
連続する複数の静止画から構成される動画の動作を解析する動作解析装置であって、
前記動画の入力を受け付ける動画受付手段と、
前記動画受付手段により受け付けた動画のうち、前記動画を構成する第一の静止画において、前記第一の静止画像上において、動作解析の対象となる解析対象箇所を指定する解析対象箇所指定手段と、
前記解析対象箇所から一定範囲内において、第一の特徴点を検索する第一の検索手段と、
前記動画を構成し、前記第一の静止画と異なる静止画である第二の静止画において、前記第一の特徴点に対応する第二の特徴点を検索する第二の検索手段と、
前記第一および第二の特徴点に基づいて、軌跡を作成する軌跡作成手段と、を備える、動作解析装置。
【請求項２】
前記解析対象箇所指定手段は、ユーザが前記解析対象箇所を任意に指定可能とするために、ユーザからの指定を受け付ける指定受付手段を有する、請求項１に記載の動作解析装置。
【請求項３】
前記解析箇所指定手段は、
前記第一の静止画から観測対象を認識する認識手段と、
前記認識手段によって認識された前記観測対象の画像データに基づいて、前記観測対象の形態を推定する形態推定手段と、を有し、
前記解析対象箇所は、前記形態推定手段による推定結果に基づいて指定される、請求項１に記載の動作解析装置。
【請求項４】
前記認識手段は、
前記観測対象を含む一定の領域を対象領域として画定する対象領域画定手段と、
前記対象領域の大きさを所定の画像サイズとなるように調整する対象領域正規化手段と、を含む、請求項３に記載の動作解析装置。
【請求項５】
前記認識手段は、前記第一の静止画における輝度勾配に基づいて、前記観測対象の輪郭を検出する、請求項３または４に記載の動作解析装置。
【請求項６】
前記観測対象に対応する比較対象の画像を、予め複数記憶するレファレンス画像記憶手段をさらに備え、
前記形態推定手段は、
前記認識手段によって認識された前記観測対象の画像データと、前記レファレンス画像記憶手段によって記憶された前記比較対象の画像データとを比較し、前記観測対象の画像データに形態が近似する前記比較対象の画像データを選択するレファレンス画像選択手段を含み、
前記解析対象箇所は、前記レファレンス画像選択手段によって選択された前記比較対象の画像データに基づいて指定される、請求項３〜５のいずれかに記載の動作解析装置。
【請求項７】
前記第一の検索手段は、前記一定範囲内において、複数の第一の特徴点を検索し、
前記第二の検索手段は、前記複数の第一の特徴点に対応する複数の第二の特徴点を検索し、
前記軌跡作成手段は、前記複数の第一の特徴点と前記複数の第二の特徴点との差をそれぞれ算出し、この算出した差の平均値を求めることにより、求めた平均値に基づいて、軌跡を作成する、請求項１〜６のいずれかに記載の動作解析装置。
【請求項８】
前記平均値は、前記第一および第二の特徴点に基づく点であって、前記動画を構成する静止画像上の所定の点における変化を示すものであり、
前記軌跡作成手段は、前記平均値を、連続する前記複数の静止画の隣り合う静止画像間においてそれぞれ算出し、この算出した平均値が示す前記所定の点を順に接続することにより、軌跡を作成する、請求項７に記載の動作解析装置。
【請求項９】
前記第一の静止画は、前記動画の先頭に位置する静止画と、前記動画の最後に位置する静止画とを含み、
前記第二の静止画は、前記第一の静止画と時系列的に後に隣り合う静止画と、前記第一の静止画より時系列的に前に隣り合う静止画とを含み、
前記第二の検索手段は、時系列的に後に隣り合う静止画において、前記第一の特徴点に対応する前記第二の特徴点を検索すると共に、時系列的に前に隣り合う静止画において、前記第一の特徴点に対応する前記第二の特徴点を検索する、請求項１〜８のいずれかに記載の動作解析装置。
【請求項１０】
前記第二の検索手段は、前記動画の動作の速さを取得する取得手段を含み、前記取得手段により取得した速さに基づいて、前記第二の特徴点を検索する、請求項１〜９のいずれかに記載の動作解析装置。
【請求項１１】
連続する前記複数の静止画は、一定間隔で構成されており、
前記取得手段は、隣り合う静止画像間において、静止画像の差の大小を取得することにより、前記動画の動作の速さを取得する、請求項１０に記載の動作解析装置。
【請求項１２】
前記軌跡作成手段は、前記軌跡の方向が転換された場合に、方向転換前の軌跡と方向転換後の軌跡とを識別可能とする方向転換識別手段を有する、請求項１〜１１のいずれかに記載の動作解析装置。
【請求項１３】
前記方向転換識別手段は、
時系列的に連続する静止画間における軌跡の速度ベクトルを計算し、特定の静止画における速度ベクトルと、当該特定の静止画と時系列的に後に隣り合う静止画における速度ベクトルとの内積が負となった場合に、前記軌跡の方向転換を検出する、請求項１２に記載の動作解析装置。
【請求項１４】
前記軌跡作成手段により作成された軌跡と、前記動画受付手段により受け付けた動画とを重ねて表示する表示手段を含む、請求項１〜１３のいずれかに記載の動作解析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−９４１３０（Ｐ２０１２−９４１３０Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−２１５１２２（Ｐ２０１１−２１５１２２）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（５０１３２１３９４）株式会社レイトロン (14)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（５０１３２１３９４）株式会社レイトロン (14)
【Ｆターム（参考）】
[ Back to top ]