人体動作の認識の方法、装置、及びプログラム
【課題】
異なる動作や異なる個体に対応する人体動作周期及び人体動作を特定すること。
【解決手段】
本発明は人体動作周期を特定し、及び人体動作を認識する方法並びに装置を開示する。ビデオにおける人体動作周期を特定する方法は、所定の探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とすることを含む。異なる動作や異なる個体に対して、相応する人体動作周期を特定することによって、時間的・空間的特徴をより正確に抽出し、より正確な人体動作の認識を実現することができる。
異なる動作や異なる個体に対応する人体動作周期及び人体動作を特定すること。
【解決手段】
本発明は人体動作周期を特定し、及び人体動作を認識する方法並びに装置を開示する。ビデオにおける人体動作周期を特定する方法は、所定の探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とすることを含む。異なる動作や異なる個体に対して、相応する人体動作周期を特定することによって、時間的・空間的特徴をより正確に抽出し、より正確な人体動作の認識を実現することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体動作のコンピュータ認識に関する。
【背景技術】
【０００２】
人体動作認識技術は、広く応用されており、益々注目されている。当該技術を用い、ビデオから人々に注目される動作を迅速に検出することができる。人体動作認識技術はビデオモニター（銀行、病院、工場などの環境）やヒューマンコンピュータインタラクション（仮想ゲームなどのシーン）やスポーツの教則などの分野に応用可能である。
【０００３】
人体動作認識技術について、現在、種々の実現方法が提案されており、そのうちの時間的・空間的特徴による実現方法は盛んに研究されており、しかも有効な方法である。この種類の方法において、時間的・空間的特徴を利用して現在のフレーム及び隣接する複数のフレームの情報を示し、その後に時間的・空間的特徴を利用して人体動作の認識を実現する。時間的・空間的特徴を抽出する処理においては、すべての動画ビデオに対して同一長さの人体動作周期を設定する。
【０００４】
しかしながら、動作や個体には差異があるため、時間的・空間的特徴により実現された人体動作の認識を高めることが必要とされる。このため、時間的・空間的特徴を抽出し、より正確な人体動作認識を実現させるように異なる動作や異なる個体に人体動作周期を特定可能とする技術の発展が望まれている。
【０００５】
本発明に関する幾つかの局面に対する基本的な理解を提供するために、以下に、本発明に関する簡単な概要が示される。この概要は、本発明についての網羅的な概要ではないことを理解すべきである。したがって、概要は、本発明のキーポイントまたは重要部分を特定することを意図せず、本発明の範囲を限定することも意図するものではない。この概要の記載の目的は、単に簡単化した形式で幾つかの概念を提供し、後述のより詳しい説明の導入を提供することにある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施例は、異なる動作や異なる個体に対応する人体動作周期及び人体動作を特定する方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を実現するために、本発明の一側面によれば、ビデオにおける人体動作周期を特定する方法を提供し、当該方法は、探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とし、あるいは、第１の時間長さを人体動作周期とすることを含む。
【０００８】
本発明の別の局面によれば、ビデオにおける人体動作を認識する方法を提供し、当該方法は、上記のビデオにおける人体動作周期を特定する方法に基づいてビデオにおける人体動作の周期を特定し、特定された周期に基づいて時間的・空間的特徴を抽出して、ビデオにおける人体動作を特定する処理を含む。
【図面の簡単な説明】
【０００９】
以下に、図面を参照しながら本発明の実施例を詳細に説明する。
【００１０】
本発明は、以下の図面を参照した説明によってより良い理解を得ることができる。なお、すべての図面において同一または類似の符号で同一または類似する要素を示す。図面は以下の詳細な説明とともに本明細書に含まれ、本明細書の一部が形成され、そして、本発明の好適な実施例をさらに例示することや本発明の原理とメリットとを解釈することに用いられる。
【００１１】
【図１】本発明の一実施例によるビデオにおける人体動作周期を特定する方法を示すフローチャートである。
【００１２】
【図２】本発明の一実施例による人体姿勢の現在フレームと類似するフレームを探索する処理を示すフローチャートである。
【００１３】
【図３】本発明の一実施例による探索範囲内の各フレームにおける人体領域の面積を算出する処理を示すフローチャートである。
【００１４】
【図４】本発明の一実施例による探索範囲内の各フレームにおける人体領域の面積を算出する処理を示すフローチャートである。
【００１５】
【図５】本発明の一実施例による運動ヒストグラムを算出する処理を示すフローチャートである。
【００１６】
【図６】本発明の他の一実施例による運動ヒストグラムを算出する処理を示すフローチャートである。
【００１７】
【図７】本発明の一実施例による運動ヒストグラム及び人体領域の面積に基づいて人体姿勢の現在フレームと類似するフレームを探索する処理を示すフローチャートである。
【００１８】
【図８】本発明の一実施例によるビデオにおける人体動作を認識する方法を示すフローチャートである。
【００１９】
【図９】本発明の一実施例によるビデオにおける人体動作周期を特定する装置を示すブロック図である。
【００２０】
【図１０】本発明の一実施例による探索部を示すブロック図である。
【００２１】
【図１１】本発明の一実施例による面積算出部を示すブロック図である。
【００２２】
【図１２】本発明の他の一実施例による面積算出部を示すブロック図である。
【００２３】
【図１３】本発明の一実施例による運動ヒストグラム算出部を示すブロック図である。
【００２４】
【図１４】本発明の他の一実施例による運動ヒストグラム算出部を示すブロック図である。
【００２５】
【図１５】本発明の一実施例によるフレーム探索部を示すブロック図である。
【００２６】
【図１６】本発明の一実施例によるビデオにおける人体動作を認識する装置を示すブロック図である。
【００２７】
【図１７】本発明の実施例による方法及び／または装置を実現可能な汎用のパーソナルコンピュータの例示的な構造を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下に、図面を参照しながら本発明の実施例を説明する。説明を明瞭にし、かつ簡単にするために、明細書においては、実際の実施形態のすべての特徴を説明するわけではない。しかしながら、実際の実施例の開発過程において、開発者の具体的な目標を達成できるよう、実施形態において特定される決定事項が数多く存在し得る。例えば、システム及び業務に関する制限条件が設定された場合、これらの制限条件は、実施形態によって変更される可能性があることを理解すべきである。また、開発作業は、通常非常に複雑且つ時間がかかるものであるが、本開示内容係る当業者にとっては、このような開発作業は、通常行われる業務の範囲であることをさらに理解すべきである。
【００２９】
ここで、さらに、不必要な細部の説明で本発明が不明瞭になってしまうことを防止するために、図面においては、本発明に係る実施例に密接に関係する装置構造及び／または処理ステップのみが示され、本発明にあまり関係しない他の細部が省略されている点に留意すべきである。
【００３０】
図１は、本発明の一実施例によるビデオにおける人体動作周期を特定する方法のフローチャートを示す。
【００３１】
図１に示すように、ステップＳ１０２において、人体姿勢が現在のフレームと類似するフレームを探索する。
【００３２】
人体動作が一般的に周期性を有し、動作の周期が終了すると、人体が動作開始時の姿勢に戻ることを考慮している。従って、人体姿勢が現在のフレームと類似するフレームを探索することによって、一つの完結した人体動作の周期を特定することができる。
【００３３】
次に、ステップＳ１０４において、探索結果に応じて探索範囲内に人体姿勢の現在のフレームと類似するフレームが存在するか否かを判断することができる。
【００３４】
前記人体姿勢が現在のフレームと類似するフレームを探索したことを探索結果が示す場合に、ステップＳ１０６において、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さを、ビデオにおける人体動作周期とする。
【００３５】
探索結果が探索範囲内で前記人体姿勢が現在のフレームと類似するフレームを探索できなかったことを示す場合には、ステップＳ１０８において、所定の第１の時間長さを人体動作周期とすることができる。
【００３６】
なお、前記第１の時間長さは、一つの完結した人体動作を十分に含ませる時間長さであり、経験値または異なる応用場面に応じて合理的に第１の時間長さを設定することができる。
【００３７】
前記第１の時間長さを合理的に設定することによって、捜索範囲内に、人体姿態が現在のフレームと類似するフレームが存在しない場合の探索の繰り返しを防止することができる。これにより、演算量を減少し、効率を向上することができる。
【００３８】
図１に示す実施例の方法は、人体動作の周期性に基づいて人体動作の周期を特定することができる。従って、ビデオにおける人体動作の周期を合理的に検出することができる。
【００３９】
上記のビデオにおける人体動作周期を特定する方法において、異なる応用場面または異なるニーズに応じて、異なる探索範囲を設定して人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００４０】
本発明の一実施例において、前記探索範囲は、現在のフレームからの後の所定の第２の時間長さの時間帯であっても良い。なお、前記第２の時間長さは、一つの人体動作を十分に含ませる時間長さであっても良く、経験値または具体的な応用場面に応じて合理的に前記第２の時間長さを設定することができる。前記第２の時間長さは、上記第１の時間長さと同一であってもよく、前記第１の時間長さと異なってもよい。
【００４１】
以上に説明した探索範囲は、単に例示的なものであり、本発明はこれに限定されず、他の形態で探索範囲を設定してもよい。
【００４２】
本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の所定の第３の時間長さの時間帯であってもよい。なお、前記第３の時間長さは、一つの人体動作を十分に含ませる時間長さであっても良く、経験値または具体的な応用場面に応じて合理的に前記第３の時間長さを設定することができる。また、第３の時間長さは第２の時間長さと同一であってもよく、第２の時間長さと異なっても良い。
【００４３】
いずれの上記実施例によるビデオにおける人体動作周期の特定方法においても、フレームにおける人体領域の面積と運動ヒストグラムに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００４４】
なお、前記運動ヒストグラムとは、フレームにおける人体の運動に関するヒストグラムであり、フレームにおける各位置での人体運動または人体姿勢を反映することができる。
【００４５】
例えば、前記運動ヒストグラムは、フレームにおける人体運動または人体姿勢の水平方向における分布を反映する運動ヒストグラムであってもよく、フレームにおける人体運動または人体姿勢の垂直方向における分布を反映する運動ヒストグラムであってもよい。
【００４６】
以下の説明において、水平方向の運動ヒストグラムを例にして説明を行うが、本発明はこれに限定されず、本発明の実施例は、垂直方向の運動ヒストグラム、または水平方向と垂直方向の運動ヒストグラムの組合せを応用することもできる。
【００４７】
明らかなように、二つのフレームにおける人体姿勢が類似する場合、二つのフレームにおける人体領域の面積の大きさも類似することになる。加えて、二つのフレームにおける人体の運動ヒストグラムも類似することになる。
【００４８】
従って、フレームにおける人体領域の面積と運動ヒストグラムに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００４９】
図２は、本発明の一実施例による人体姿勢が現在のフレームと類似するフレームを探索する処理のフローチャートを示している。
【００５０】
図２に示すように、ステップＳ２０２において、フレームにおける人体領域の面積を算出することができる。
【００５１】
様々な好適な方法を採用してフレームにおける人体領域の面積を算出することができる。
【００５２】
例えば、人体のエッジを利用してフレームにおける人体領域の面積を算出することができる。
【００５３】
また例えば、前景の人体領域における前景画素の数に基づいてフレームにおける人体領域の面積を特定することもできる。
【００５４】
図２に示すように、次に、ステップＳ２０４において、フレームの運動ヒストグラムを算出することができる。
【００５５】
様々な好適な方式でフレームの運動ヒストグラムを算出することができる。
【００５６】
例えば、フレームの前景またはフレームのフレーム差分画像に基づいて運動ヒストグラムを算出することができる。
【００５７】
フレームにおける人体領域の面積及びフレームの運動ヒストグラムを算出した後に、ステップＳ２０６において、運動ヒストグラムと人体領域の面積に基づいて探索範囲内で人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００５８】
具体的には、探索範囲内においてフレームごとに、フレームごとのフレームの運動ヒストグラム及び人体領域の面積と、現在のフレームの運動ヒストグラム及び人体領域の面積との類似性に基づいて、人体姿勢が現在のフレームと類似するフレームを探索する。
【００５９】
これにより、探索範囲内での人体姿勢が現在のフレームと類似するフレームに対する探索を実現することができる。
【００６０】
上記のように、様々な好適な方法を採用してフレームにおける人体領域の面積を算出することができる。
【００６１】
図３に本発明の一実施例による探索範囲内の各フレームにおける人体領域の面積の処理のフローチャートを示す。
【００６２】
図３に示されるように、ステップＳ３０２において、まずフレームにおける人体領域のエッジを抽出することができる。
【００６３】
任意の公知の人体エッジの抽出方法を採用してフレームにおける人体領域のエッジを抽出することができる。
【００６４】
例えば、cannyアルゴリズムを利用してフレームにおける人体領域のエッジを抽出することができる。
【００６５】
なお、cannyアルゴリズムは、画像処理分野に慣用なエッジ抽出方法である。cannyアルゴリズムについての詳細は、Canny, Jにより発表された、「A Computational Approach To Edge Detection」という文書（IEEE Trans. Pattern Analysis and Machine Intelligence,８：６７９−７１４,１９８６を参照）を参照することができる。当該文書の内容のすべてがここで援用される。明細書を明瞭にするために説明を省略する。
【００６６】
次に、ステップＳ３０４において、抽出されたエッジに基づいてフレームにおける人体領域の面積を算出することができる。
【００６７】
具体的には、取得された人体領域のエッジに基づいて、当該エッジに囲まれた面積をフレームにおける人体領域の面積として算出することができる。
【００６８】
従って、図３に示される方法によりフレームにおける人体領域の面積を算出することができる。
【００６９】
フレームにおいて場面が複雑である場合（例えば、人以外に、他の運動物体が存在する場合）に、図３に示された方法は、フレームにおける人体領域の面積を正確に算出することができる。
【００７０】
図３に示す実施例は単に例示的なものであり、本発明はこれに限定されず、他の形態でフレームにおける人体領域の面積を算出することもできる。
【００７１】
例えば、図４に本発明のほかの実施例によるフレームにおける人体領域の面積を算出する処理のフローチャートを示す。
【００７２】
図４に示す実施例において、フレームにおける前景の大きさにより、人体領域の面積を直接に算出することができる。
【００７３】
図４に示すように、ステップＳ４０２において、フレームから前景を抽出することができる。
【００７４】
各種の公知の前景抽出方法でフレームから前景を抽出することができる。
【００７５】
一つの簡単な例として、フレームに対応する背景モデルに対して直接に減算を行って前景を抽出することができる。
【００７６】
次に、ステップＳ４０４において、抽出された前景に基づいて人体領域の面積を算出することができる。
【００７７】
具体的には、前景において１となる画素の数を集計することで、人体領域の面積を算出することができる。
【００７８】
これにより、図４に示す方法を採用してフレームにおける人体領域の面積を算出することができる。
【００７９】
フレームにおいて場面が簡単（例えば、フレームにおける前景は人のみを含む）である場合に、図４に示す方法は、正確で且つ効率よくフレームにおける人体領域の面積を算出することができる。
【００８０】
図３、図４に示す実施例のいずれも例示的なものであり、本発明はこれに限定されず、その他の方式でフレームにおける人体領域の面積を算出することができる。また、図３及び図４に示す方法の組合せでフレームにおける人体領域の面積を算出することができる。
【００８１】
上記のように、本発明によるビデオにおける人体動作周期の特定方法において、フレームの前景またはフレームのフレーム差分画像に基づいて運動ヒストグラムを算出することができる。
【００８２】
図５に、本発明の一実施例による運動ヒストグラムを算出する処理のフローチャートを示す。フレームにおける前景に基づいて運動ヒストグラムを算出する。
【００８３】
図５に示すように、ステップＳ５０２において、フレームから前景を抽出することができる。
【００８４】
各種の公知の前景抽出方式でフレームから前景を抽出することができる。
【００８５】
例えば、フレームに対応する背景モデルに対して直接に減算を行って、前景を抽出することができる。
【００８６】
次に、ステップＳ５０４において、フレームを複数の部分に区分することができる。
【００８７】
水平方向にフレームを平行に複数の矩形の小さい格子に均等に分けることが好ましい。
【００８８】
又は、垂直方向にフレームを平行に複数の矩形の小さい格子に均等に分けることもできる。
【００８９】
次に、ステップＳ５０６において、抽出されたフレームの前景に基づいて運動ヒストグラムを形成することができる。
【００９０】
具体的には、水平方向または垂直方向の各小さい格子における前景画素の数を集計することによって、運動ヒストグラムを形成することができる。
【００９１】
上記の方式で、人体姿勢の水平方向または垂直方向における分布を反映できる運動ヒストグラムを取得することができる。
【００９２】
図５に示す方法は単に例示的なものであり、本発明はこれに限定されない。例えば、フレーム差分画像を利用してフレームの運動ヒストグラムを算出してもよい。
【００９３】
図６に、本発明の他の実施例による運動ヒストグラムを算出する処理のフローチャートを示す。フレーム差分画像に基づいて運動ヒストグラムを算出する。
【００９４】
図６に示すように、ステップＳ６０２において、フレームのフレーム差分画像を算出することができる。
【００９５】
一つの例において、前記フレームと隣接するフレーム（例えば、前のフレームまたは次のフレーム）に対して減算を行って、フレーム差分画像を取得することができる。明らかなように、前記フレーム差分画像には人体の運動情報が含まれる。
【００９６】
次に、ステップＳ６０４において、フレームを複数の部分に区分することができる。
【００９７】
水平方向にフレームを平行に複数の矩形の小さい格子に均等に分けることが好ましい。又は、垂直方向にフレームを平行に複数の矩形の小さい格子に均等に分けることもできる。
【００９８】
次に、ステップＳ６０６において、フレーム差分画像に基づいて運動ヒストグラムを形成することができる。
【００９９】
例えば、フレーム差分画像の水平方向または垂直方向における各小さい格子における画素の階調値の和を算出することができる。これにより、運動ヒストグラムが形成される。
【０１００】
以上、階調値を例として説明したが、以上の説明は単に例示的なものであり、本発明はこれに限定されない。或いは、階調値以外の他の適切なパラメータにより運動ヒストグラムを形成してもよい。
【０１０１】
上記の方式により、人体運動の水平方向または垂直方向における分布を反映できる運動ヒストグラムを算出することができる。
【０１０２】
図７に、本発明の一実施例による運動ヒストグラムと人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索する処理のフローチャートを示す。
【０１０３】
図７に示すように、ステップＳ７０２において、探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出する。
【０１０４】
任意の公知の技術を採用して探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出してもよい。
【０１０５】
例えば、ヒストグラムのピークマッチング法で探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することができる。
【０１０６】
ヒストグラムのピークマッチング法についての詳細な説明は、Das M. Riseman E.M及びDraper B.A等により発表された、「Searching for multi−colored objects in a diverse image database」という文章（ＩＥＥＥ Conference on Computer Vision and Pattern Recognition,１９９７,ｐｐ ７５６-７６１）を参照することができ、その内容のすべては、ここに援用される。
【０１０７】
また例えば、ウィンドウ間の平均差異に基づいて、探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出してもよい。
【０１０８】
ウィンドウ間の平均差異に基づく類似度の算出についての詳細な説明は、２００７年に開示された、「ウィンドウ間の平均差異に基づくヒストグラム類似性の測定方法」という中国特許出願（CN２００７１００４２９１６.３）を参照することができ、その内容のすべては、ここに援用される。
【０１０９】
なお、任意の公知の方式を利用して探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０１１０】
例えば、各フレームの人体領域の面積と現在のフレームの人体領域の面積との差及び平均値に基づいて探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０１１１】
一つの具体的な例において、式（１）により演算を行うことができる。
【０１１２】
【数１】
【０１１３】
式（１）において、ｒは、探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度の算出を示し、Ａ２は探索範囲内の各フレームの人体領域の面積を示し、Ａ１は現在のフレームにおける人体領域の面積を示し、は探索範囲内の各フレームの人体領域の面積と現在のフレームの人体領域の面積との平均値を示す。
【０１１４】
運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出した後に、ステップＳ７０４において、人体領域の面積の類似度と運動ヒストグラムの類似度に対してそれぞれ影響因子を設定することができる。
【０１１５】
具体的には、異なる応用場面または経験値に応じて合理的な影響因子を設定することができる。
【０１１６】
一つの好適な例において、人体領域の面積の類似度及び運動ヒストグラムの類似度をそれぞれ０.５に設定することができる。
【０１１７】
次に、ステップＳ７０６において、総類似度を算出することができる。
【０１１８】
なお、前記の総類似度は、フレームにおける人体動作の類似の程度を示す物理量であってもよい。
【０１１９】
本発明の一実施例において、人体領域の面積の類似度及び運動ヒストグラムの類似度に基づいて総類似度を算出することができる。
【０１２０】
例えば、人体領域の面積の類似度と運動ヒストグラムの類似度とに基づいて、設定された影響因子に従って総類似度を算出することができる。
【０１２１】
一つの具体的な例において、式（２）により演算を行うことができる。
【０１２２】
【数２】
【０１２３】
式（２）において、Ｒは総類似度を示し、r１、r２はそれぞれ人体領域の面積の類似度及び運動ヒストグラムの類似度を示し、α、βはそれぞれ人体領域の面積の類似度及び運動ヒストグラムの類似度のための影響因子を示す。
【０１２４】
このように、探索範囲内の各フレームに対して、現在のフレームとの総類似度を算出することができる。
【０１２５】
次に、ステップＳ７０８において、最大の総類似度を所定の第１の閾値と比較することができる。
【０１２６】
なお、前記第１の閾値は、任意な好適な値、例えば、０.８５、０.９、０.９５等であっても良い。
【０１２７】
最大の総類似度が第１の閾値より大きい場合に、ステップＳ７１０において、最大の総類似度を有するフレームを現在のフレームにおける人体姿勢と同一であるフレームとして判定することができる。
【０１２８】
最大の総類似度が第１の閾値よりも大きくない場合に、ステップＳ７１２において、探索範囲内において現在のフレームにおける人体姿勢と同一であるフレームを探索できなかったと判定できる。
【０１２９】
上記のように、図７に示した方法により、探索範囲内で人体姿勢が現在のフレームと類似するフレームを探索する処理が実現された。しかしながら、図７に示された方法は単に例示的なものであり、本発明は、これに限定されず、その他の適切な変形例を採用することもできる。
【０１３０】
例えば、本発明の他の実施例において、運動ヒストグラムのみに基づいて人体姿勢が現在のフレームと類似するフレームを探索してもよい。これにより、更に演算量を減少させ、効率化を図ることができる。
【０１３１】
上記の実施例における、ビデオにおける人体動作周期を特定する方法に基づいて、本発明は、ビデオにおける人体動作の認識方法をさらに提供する。
【０１３２】
図８に、本発明の一実施例による、ビデオにおける人体動作を特定する方法のフローチャートを示す。
【０１３３】
図８に示すように、ステップＳ８０２において、ビデオにおける人体動作周期を特定することができる。
【０１３４】
例えば、いずれかの上記実施例の方法に基づいて、ビデオにおける人体動作周期を特定することができる。
【０１３５】
次に、ステップＳ８０４において、特定された人体動作周期に基づいて人体動作を認識することができる。
【０１３６】
具体的には、特定された人体動作周期に基づいて時間的・空間的特徴を抽出し、時間的・空間的特徴に基づいて人体動作を認識することができる。
【０１３７】
上記の人体動作認識の方法において、異なる動作や異なる個体に対応する人体動作周期を特定することによって、より正確に時間的・空間的特徴を抽出し、更により正確な人体動作認識を実現することができる。
【０１３８】
上記方法に対応し、本発明の実施例は、方法に対応する装置を提供する。
【０１３９】
図９に本発明の一実施例によるビデオにおける人体動作周期を特定する装置のブロック図を示す。
【０１４０】
図９に示されるように、本発明の実施例によるビデオにおける人体動作周期を特定する装置９００は、探索部９０２と、周期特定部９０４とを含むことができる。
【０１４１】
なお、探索部９０２は、所定の探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１４２】
周期特定部９０４は、探索部９０２により提供された探索結果に基づいて人体動作の周期を特定することができる。
【０１４３】
具体的には、探索部９０２が探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、周期特定部９０４は、現在のフレームと、前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期として特定することができる。
【０１４４】
一方、探索の結果、探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できなかった場合に、周期特定部９０４は、第１の時間長さを人体動作周期とすることができる。
【０１４５】
なお、前記第１の時間長さは、一つの完結した人体動作を十分に含ませる時間長さであり、経験値または異なる応用場面に応じて前記第１の時間長さを合理的に設定することができる。
【０１４６】
図９に示された、ビデオにおける人体動作周期を特定する装置は、人体動作の周期性に基づいて人体動作周期を特定することができる。従って、ビデオにおける人体動作の周期を正確に検出することができる。
【０１４７】
なお、上記の探索範囲は、異なる応用場面や異なる要求に応じて設定してもよい。
【０１４８】
本発明の一実施例において、前記探索範囲は、現在のフレームからの後の所定の第２の時間長さの時間帯であっても良い。なお、前記第２の時間長さは、一つの人体動作を十分に含ませる時間長さであっても良く、経験値または具体的な場面に応じて合理的に前記第２の時間長さを設定することができる。
【０１４９】
上記の記載した探索範囲は、単に例示的なものであり、本発明はこれに限定されず、その他の方式で探索範囲を設定することができる。
【０１５０】
本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の所定の第３の時間長さの時間帯であっても良い。なお、前記第３の時間長さは、一つの人体動作を十分に含ませる時間長さであってもよく、経験値または具体的な応用場面に応じて合理的に前記第３の時間長さを設定することができる。なお、第３の時間長さは、第２の時間長さと同一であってもよく、第２の時間長さと異なっても良い。
【０１５１】
本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の第２の時間長さの時間帯と、現在のフレームからの後の第３の時間長さの時間帯により構成されてもよい。
【０１５２】
任意の上記実施例によるビデオにおける人体動作周期を特定する装置において、前記探索部は、フレームにおける人体領域の面積及び運動ヒストグラムに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１５３】
図１０に、本発明の一実施例による探索部のブロック図を示す。
【０１５４】
図１０のように、探索部１０００は、面積算出部１００２と、運動ヒストグラム算出部１００４と、フレーム探索部１００６とを含むことができる。
【０１５５】
なお、運動ヒストグラムの定義について、上述の方法の実施例において説明した内容を参照することができるため、明細書を明瞭にするためにここでは説明を省略する。
【０１５６】
面積算出部１００２は、様々な好適な方法で現在のフレームにおける人体領域の面積を算出することができる。
【０１５７】
例えば、面積算出部１００２は、人体のエッジでフレームにおける人体領域の面積を算出することができる。
【０１５８】
また例えば、面積算出部１００２は、前景中の人体領域における前景画素の数に基づいてフレームにおける人体領域の面積を特定することもできる。
【０１５９】
運動ヒストグラム算出部１００４は、様々な好適な方式でフレームの運動ヒストグラムを算出することができる。
【０１６０】
例えば、運動ヒストグラム算出部１００４は、フレームの前景またはフレームのフレーム差分画像に基づいて運動ヒストグラムを算出することができる。
【０１６１】
フレームにおける人体領域の面積及びフレームの運動ヒストグラムを算出した後に、フレーム探索部１００６は、運動ヒストグラム及び人体領域の面積に基づいて探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１６２】
具体的に、フレーム探索部１００６は、探索範囲内においてフレームごとに、フレームごとの運動ヒストグラム及び人体領域の面積と、現在のフレームの運動ヒストグラム及び人体領域の面積との類似性に基づいて、人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１６３】
図１１は、本発明の一実施例による面積算出部のブロック図を示す。
【０１６４】
図１１に示すように、前記面積算出部は、エッジ特定部１１０２と人体領域の面積算出部１１０４とを含むことができる。
【０１６５】
なお、任意の公知のエッジ抽出方法でフレームにおける人体領域のエッジを抽出してもよい。
【０１６６】
例えば、エッジ特定部１１０２は、cannyアルゴリズムを採用してフレームにおける人体領域のエッジを抽出することができる。
【０１６７】
人体領域の面積算出部１１０４は、抽出されたエッジに基づいてフレームにおける人体領域の面積を算出することができる。
【０１６８】
具体的には、人体領域の面積算出部１１０４は、取得された人体領域のエッジに基づいて、当該エッジに囲まれた面積をフレームにおける人体領域の面積として算出することができる。
【０１６９】
フレームにおいて場面が複雑である場合（例えば、人間以外に、他の運動物体もある場合）、図１１に示した面積算出部は、フレームにおける人体領域の面積を正確に算出することができる。
【０１７０】
図１１に示す実施例は単に例示的なものであり、本発明は、これに限定されない。図１２は、本発明の他の実施例による面積算出部のブロック図を示す。
【０１７１】
図１２に示すように、面積算出部１２００は、前景抽出部１２０２と人体領域の面積算出部１２０４とを含む。
【０１７２】
前景抽出部１２０２は、各種の公知の前景抽出方法でフレームから前景を抽出することができる。
【０１７３】
一つの簡単な例として、前景抽出部１２０２は、フレームに対応する前景モデルに対して直接に減算を行って前景を抽出することができる。
【０１７４】
人体領域の面積算出部１２０４は、抽出された前景に基づいて人体領域の面積を算出することができる。
【０１７５】
具体的には、人体領域の面積算出部１２０４は、前景において１となる画素の数を集計することによって、人体領域の面積を算出することができる。
【０１７６】
これにより、図１２に示す面積算出部により、フレームにおける人体領域の面積を算出することができる。
【０１７７】
フレームにおいて場面が簡単（例えば、フレームにおける前景に人間のみが含まれる）である場合には、図１２に示す面積算出部は、フレームにおける人体領域の面積を正確でかつ効率よく算出することができる。
【０１７８】
図１１、図１２に示す実施例の何れも単に例示的なものであり、本発明は、これに限定されない。面積算出部は、他の適宜な方式で実現されてもよく、例えば、面積算出部は、図１１及び図１２に示す面積算出部の組合せで実現されてもよい。
【０１７９】
図１３に、本発明の一実施例による運動ヒストグラム算出部のブロック図を示す。
【０１８０】
図１３に示すように、運動ヒストグラム算出部１３００は、前景抽出部１３０２と、フレーム区分部１３０４と、ヒストグラム生成部１３０６とを含むことができる。
【０１８１】
前景抽出部１３０２は、各種の公知の前景抽出方法でフレームから前景を抽出することができる。
【０１８２】
一つの簡単な例として、前景抽出部１３０２は、フレームに対応する背景モデルに対して直接に減算を行って前景を抽出することができる。
【０１８３】
フレーム区分部１３０４は、フレームを複数の部分に区分することができる。
【０１８４】
好ましくは、フレーム区分部１３０４は、水平方向において平行にフレームを複数の矩形の小さい格子に均等に区分することができる。
【０１８５】
或いは、フレーム区分部１３０４は、垂直方向において平行にフレームを複数の矩形の小さい格子に均等に区分することもできる。
【０１８６】
ヒストグラム生成部１３０６は、抽出されたフレームの前景に基づいて運動ヒストグラムを形成することができる。
【０１８７】
具体的には、ヒストグラム生成部１３０６は、水平方向または垂直方向における各小さい格子における前景画素の数を集計することによって、運動ヒストグラムを形成することができる。
【０１８８】
上記の方式で、人体姿勢の水平方向または垂直方向における分布を反映できる運動ヒストグラムを取得することができる。
【０１８９】
図１３に示すヒストグラム算出部は単に例示的なものであり、本発明は、これに限定されない。例えば、ヒストグラム算出部は、フレーム差分画像に基づいてフレームの運動ヒストグラムを算出することができる。
【０１９０】
図１４に本発明のほかの実施例による運動ヒストグラム算出部のブロック図を示す。
【０１９１】
図１４に示すように、運動ヒストグラム算出部１４００は、フレーム差分画像算出部１４０２と、フレーム区分部１４０４とヒストグラム生成部１４０６とを含むことができる。
【０１９２】
フレーム差分画像算出部１４０２は、フレームのフレーム差分画像を算出することができる。
【０１９３】
一つの例において、フレーム差分画像算出部１４０２は、フレームと隣接するフレーム（例えば、前のフレームまたは次のフレーム）に対して減算を行うことによってフレーム差分画像を取得することができる。明らかなように、前記フレーム差分画像には人体の運動情報が含まれる。
【０１９４】
フレーム区分部１４０４は、フレームを複数の部分に区分することができる。
【０１９５】
好ましくは、フレーム区分部１４０４は、水平方向にフレームを平行に複数の矩形の小さい格子に均等に区分することができる。または、フレーム区分部１４０４は、垂直方向にフレームを平行に複数の矩形の小さい格子に均等に区分することもできる。
【０１９６】
ヒストグラム生成部１４０６は、フレーム差分画像に基づいて運動ヒストグラムを形成することができる。
【０１９７】
例えば、ヒストグラム生成部１４０６は、フレーム差分画像の水平方向または垂直方向における各小さい格子における画素の階調値の和を算出することができる。これにより、運動ヒストグラムが形成される。
【０１９８】
以上のように階調値を例として説明したが、以上の説明は単に例示的なものであり、本発明はこれに限定されない。或いは、ヒストグラム生成部は、階調値以外のほかの適宜なパラメータに基づいて運動ヒストグラムを生成することもできる。
【０１９９】
上記の方式により、運動ヒストグラム算出部１４００は、人体運動の水平方向または垂直方向における分布を反映できる運動ヒストグラムを算出することができる。
【０２００】
図１５に、本発明の一実施例による、運動ヒストグラム及び人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索可能なフレーム探索部のブロック図を示す。
【０２０１】
図１５に示すように、フレーム探索部１５００は、算出部１５０２と、影響因子設定部１５０４と、総類似度算出部１５０６と、探索結果生成部１５０８とを含む。
【０２０２】
算出部１５０２は、探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出することができる。
【０２０３】
算出部１５０２は、任意の公知の技術で探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することができる。
【０２０４】
例えば、算出部１５０２は、ヒストグラムのピークマッチング法で探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することができる。
【０２０５】
また例えば、算出部１５０２は、ウィンドウ間の平均差異に基づいて探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することもできる。
【０２０６】
また、算出部１５０２は、任意の公知の方法で探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０２０７】
例えば、算出部１５０２は、各フレームの人体領域の面積と現在のフレームの人体領域の面積の差及び平均値に基づいて探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０２０８】
影響因子設定部１５０４は、人体領域の面積の類似度及び運動ヒストグラムの類似度にそれぞれ影響因子を設定することができる。
【０２０９】
具体的には、影響因子設定部１５０４は、異なる応用場面または経験値に応じて合理的な影響因子を設定することができる。
【０２１０】
一つの好適な例において、影響因子設定部１５０４は、人体領域の面積の類似度及び運動ヒストグラムの類似度をそれぞれ０.５に設定することができる。
【０２１１】
総類似度算出部１５０６は、総類似度を算出することができる。
【０２１２】
なお、前記総類似度は、フレームにおける人体動作の類似の程度を示す物理量であってもよい。本発明の一実施例において、人体領域の面積の類似度及び運動ヒストグラムの類似度に基づいて前記総類似度を算出することができる。
【０２１３】
例えば、人体領域の面積の類似度及び運動ヒストグラムの類似度に基づき、設定された影響因子に従って総類似度を算出することができる。
【０２１４】
このように、総類似度算出部１５０６は、探索範囲におけるフレームごとに、現在のフレームとの総類似度を算出することができる。
【０２１５】
探索結果生成部１５０８は、算出された総類似度に基づいて探索結果を取得することができる。
【０２１６】
具体的には、探索結果生成部１５０８は、まず、最大の総類似度と所定の第１の閾値とを比較することができる。
【０２１７】
最大の総類似度が第１の閾値よりも大きい場合に、探索結果生成部１５０８は、最大の総類似度を有するフレームを、現在のフレームにおける人体姿勢と同一であるフレームとすることができる。
【０２１８】
最大の総類似度が第１の閾値より大きくない場合に、探索結果生成部１５０８は、探索範囲内において現在のフレームにおける人体姿勢と同一であるフレームを探索できなかったと判定することができる。
【０２１９】
このように、フレーム探索部１５００は、探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する処理を実現することができる。
【０２２０】
しかしながら、図１５に示す方法は単に例示であり、本発明はこれに限定されない。フレーム探索部は、そのほかの有益な変形例を採用することができる。
【０２２１】
例えば、本発明のほかの実施例において、フレーム探索部は、運動ヒストグラムのみに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。これにより、更に演算量を減少させ、効率化を図ることができる。
【０２２２】
上記実施例におけるビデオにおける人体動作周期を特定する装置に基づいて、本発明は、さらに、ビデオにおける人体動作の認識方法を提供する。
【０２２３】
図１６に本発明の一実施例によるビデオにおける人体動作を認識する装置のブロック図を示す。
【０２２４】
図１６に示されるように、本発明の実施例によるビデオにおける人体動作を認識する装置１６００は、人体動作周期特定部１６０２と認識部１６０４とを含むことができる。
【０２２５】
人体動作周期特定部１６０２は、ビデオにおける人体動作周期を特定することができる。
【０２２６】
例えば、人体動作周期特定部１６０２は、任意の上記実施例による人体動作周期を特定する装置を備えることによって、ビデオにおける人体動作周期を特定することができる。
【０２２７】
認識部１６０４は、特定した人体動作周期に基づいて人体動作を認識することができる。
【０２２８】
具体的には、認識部１６０４は、特定した人体動作周期に基づいて時間的・空間的特徴を抽出し、時間的・空間的特徴に基づいて人体動作を認識することができる。
【０２２９】
上記の人体動作を認識する装置は、異なる動作や異なる個体に対応する人体動作周期を特定することができる。これにより、時間的・空間的特徴をより正確に抽出することができ、さらにより正確な人体動作認識を実現することができる。
【０２３０】
前記のビデオにおける人体動作周期を特定する装置、前記のビデオにおける人体動作を認識する装置及びこれに含まれる要素についてのより細かい技術的な詳細は、前述の方法を参照することができ、説明を参照することができるため、明細書を明瞭にするために、ここでは説明を省略する。
【０２３１】
また、本願に記載の各種の例示及び実施例のいずれも例示的なものである。本発明はこれらに限定されないことを理解すべきである。本明細書において、「第１」、「第２」等の表現は、単に本発明を明確に説明するために、記載の特徴を文字上で区別するためのものである。従って、何らかの限定的な意味を持っていると見なされるべきではない。
【０２３２】
上記装置における各構成モジュールやユニットはソフトウェア、ファームウェア、ハードウェアまたはこれらの組合せで配置することができる。配置に使用可能な具体的な手段または方式は、当業者に熟知されるものであるため、ここでは説明しない。ソフトウェア又はファームウェアにより実現される場合に、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ（例えば図１７に示された汎用のコンピュータ１７００）へ当該ソフトウェアを構成するプログラムをインストールする。当該コンピュータは、各種のプログラムがインストールされている場合に、各機能を実行することができる。
【０２３３】
図１７において、中央処理装置（ＣＰＵ）１７０１は、読取専用メモリ（ＲＯＭ）１７０２に記憶されたプログラム又は記憶部１７０８からランダムアクセスメモリ（ＲＡＭ）１７０３にロードされたプログラムに基づいて各種の処理を実行する。ＲＡＭ１７０３には、必要に応じてＣＰＵ１７０１が各種の処理等を実行するために必要なデータも記憶されている。ＣＰＵ１７０１、ＲＯＭ１７０２及びＲＡＭ１７０３はバス１７０４を介して互いに接続されている。入力／出力インタフェース１７０５もバス１７０４に接続されている。
【０２３４】
入力部１７０６（キーボード、マウス等を含む）、出力部１７０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等とスピーカ等を含む）、記憶部１７０８（ハードディスク等を含む）、及び通信部１７０９（ネットワークインターフェースカード、例えばLANカード、モデム等を含む）は、入力／出力インタフェース１７０５に接続されている。通信部１７０９はネットワーク、例えばインターネットを経由して通信処理を実行する。必要に応じて、入力／出力インタフェース１７０５にはドライバ１７１０も接続されている。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような取り外し可能な媒体１７１１は、必要に応じてドライバ１７１０に装着される。これにより、読み出されたコンピュータプログラムは必要に応じて記憶部１７０８にインストールされる。
【０２３５】
ソフトウェアで前記一連の処理を実現する場合に、ネットワーク、例えばインターネット、又は記憶媒体、例えば取外し可能な媒体１７１１からソフトウェアを構成するプログラムをインストールする。
【０２３６】
このような記憶媒体は、図１７に示される。その中にプログラムが記憶されており、プログラムは、デバイスから読み出され伝送されてもよいと当業者は理解すべきである。取り外し可能な媒体１７１１として、例えば、磁気ディスク（フロッピディスク（登録商標）含む）、光ディスク（コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）やディジタルヴァーサタイルディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク(ＭＤ)（登録商標）を含む）及び半導体メモリを含む。または、記憶媒体は、ＲＯＭ１７０２であってもよい。或いは、記憶部１７０８に含まれるハードディスクであって、プログラムが記憶されており、且つこれらを含むデバイスと共にユーザに提供されるハードディスクなどであっても良い。
【０２３７】
本発明は、機械で読み取り可能なコマンドコードが記されたプログラム、及びこのプログラム製品を更に提供する。前記コマンドコードは、機械で読取られて実行される際に、本発明の実施例による方法を実行することができる。
【０２３８】
加えて、前記の機械で読み取り可能なコマンドコードが記憶されたプログラム製品を搭載する記憶媒体も本発明の開示に含まれる。前記記憶媒体は、フロッピディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。
【０２３９】
最後に、さらに説明すべき点は、用語「含む」、「有する」、又は如何なる他の同義語も、非排他的意味で用いられ、一連の要素を含むプロセス、方法、物又は装置がこれらの要素を含むだけではなく、明確に列挙されていない他の要素、又はこのようなプロセス、方法、物又は装置の固有要素も含み得る。また、更なる限定のない場合に、用語「一つの…を含む」により限定された要素は、前記要素を含むプロセス、方法、物又は装置において更に別の同一の要素が存在することを排除しない。
【０２４０】
以上、図面を参照しながら本発明の実施例を詳細に説明したが、上述の実施形態は、単に本発明を説明するためのものであり、本発明を制限するものではないと理解すべきである。当業者にとって、本発明の精神及び範囲を逸脱しない限り、上記実施形態に対して各種の修正や変更を行うことができる。従って、本発明の範囲は、特許請求の範囲及びその均等物によって限定される。
【０２４１】
以上の実施例に関し、更に以下の付記を開示する。
（付記１）
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、
前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする、
処理を含むことを特徴とするビデオにおける人体動作周期を特定する方法。
（付記２）
前記探索範囲は、現在のフレームからの、後の第２の時間長さまたは前の第３の時間長さの時間帯におけるフレームであることを特徴とする付記１に記載のビデオにおける人体動作周期を特定する方法。
（付記３）
人体姿勢が現在のフレームと類似するフレームを探索する処理は、
前記探索範囲内の各フレームにおける人体領域の面積を算出し、
前記各フレームの運動ヒストグラムを算出し、
前記運動ヒストグラム及び前記人体領域の面積に基づいて前記人体姿勢が現在のフレームと類似するフレームを探索する、処理を含むことを特徴とする付記２に記載のビデオにおける人体動作周期を特定する方法。
（付記４）
探索範囲内の各フレームにおける人体領域の面積を算出する処理は、
前記各フレームにおける人体領域のエッジを特定し、
人体領域のエッジに基づいて人体領域の面積を算出する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記５）
探索範囲内の各フレームにおける人体領域の面積を算出する処理は、
前記各フレームから前景を抽出し、
前記前景に基づいて人体領域の面積を算出する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記６）
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームから前景を抽出し、
前記各フレームを水平方向または垂直方向において複数の小さい格子に区分し、
前景に基づいて、各小さい格子における前景画素の数を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記７）
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームと、隣接するフレームとのフレーム差分画像を算出し、
前記各フレームを、水平方向及び／または垂直方向において複数の小さい格子に区分し、
前記フレーム差分画像の各小さい格子における画素の階調値の和を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記８）
前記運動ヒストグラム及び前記人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索する処理は、
現在のフレームと前記各フレームとの運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出し、
前記運動ヒストグラムの類似度及び前記人体領域の面積の類似度のそれぞれに影響因子を設定し、
前記影響因子に基づいて総類似度を算出し、
最大の総類似度が所定の閾値より小さい場合に、前記探索範囲内に人体姿勢が現在のフレームと類似するフレームが存在しないと判定し、
最大の総類似度が所定の閾値より大きい場合に、最大の総類似度を有するフレームを人体姿勢が現在のフレームと類似するフレームとする、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記９）
付記１ないし８のうちのいずれか１項に記載の方法に基づいてビデオにおける人体動作の周期を特定し、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する、処理を含むことを特徴とするビデオにおける人体動作を認識する方法。
（付記１０）
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する探索部と、
前記探索部が探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする周期特定部と、
を含むことを特徴とするビデオにおける人体動作周期を特定する装置。
（付記１１）
前記探索範囲は、現在のフレームからの、後の第２の時間長さまたは前の第３の時間長さの時間帯におけるフレームであることを特徴とする付記１０に記載のビデオにおける人体動作周期を特定する装置。
（付記１２）
前記探索部は、
前記探索範囲内の各フレームにおける人体領域の面積を算出する面積算出部と、
前記各フレームの運動ヒストグラムを算出する運動ヒストグラム算出部と、
前記運動ヒストグラム及び前記人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索するフレーム探索部と、を含むことを特徴とする付記１１に記載のビデオにおける人体動作周期を特定する装置。
（付記１３）
前記面積算出部は、
前記各フレームにおける人体領域のエッジを特定するエッジ特定部と、
人体領域のエッジに基づいて人体領域の面積を算出する人体領域の面積算出部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１４）
前記面積算出部は、
前記各フレームから前景を抽出する前景抽出部と、
前記前景に基づいて人体領域の面積を算出する人体領域の面積算出部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１５）
前記運動ヒストグラム算出部は、
前記各フレームから前景を抽出する前景抽出部と、
前記各フレームを、水平方向または垂直方向において複数の小さい格子に区分するフレーム区分部と、
前景に基づいて各小さい格子における前景画素の数を算出することにより、前記運動ヒストグラムを取得するヒストグラム生成部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１６）
前記運動ヒストグラム算出部は、
前記各フレームと隣接するフレームとのフレーム差分画像を算出するフレーム差分画像算出部と、
前記各フレームを、水平方向及び／または垂直方向において複数の小さい格子に区分するフレーム区分部と、
前記フレーム差分画像の各小さい格子における画素の階調値の和を算出することにより、前記運動ヒストグラムを取得するヒストグラム生成部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１７）
前記フレーム探索部は、
現在のフレームと前記各フレームとの運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出する算出部と、
前記運動ヒストグラムの類似度及び前記人体領域の面積の類似度のそれぞれに影響因子を設定する影響因子設定部と、
前記影響因子に基づいて総類似度を算出する総類似度算出部と、
最大の総類似度が所定の閾値より小さい場合に、前記探索範囲内に人体姿勢が現在のフレームと類似するフレームが存在しないと判定し、最大の総類似度が所定の閾値より大きい場合に、最大の総類似度を有するフレームを人体姿勢が現在のフレームと類似するフレームとする探索結果生成部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１８）
ビデオにおける人体動作の周期を特定する、付記１０ないし１７の何れかに１項に記載のビデオにおける人体動作周期を特定する装置を含む人体動作周期特定部と、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する認識部と、を含むことを特徴とするビデオにおける人体動作を認識する装置。
（付記１９）
付記１ないし９のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
【技術分野】
【０００１】
本発明は、人体動作のコンピュータ認識に関する。
【背景技術】
【０００２】
人体動作認識技術は、広く応用されており、益々注目されている。当該技術を用い、ビデオから人々に注目される動作を迅速に検出することができる。人体動作認識技術はビデオモニター（銀行、病院、工場などの環境）やヒューマンコンピュータインタラクション（仮想ゲームなどのシーン）やスポーツの教則などの分野に応用可能である。
【０００３】
人体動作認識技術について、現在、種々の実現方法が提案されており、そのうちの時間的・空間的特徴による実現方法は盛んに研究されており、しかも有効な方法である。この種類の方法において、時間的・空間的特徴を利用して現在のフレーム及び隣接する複数のフレームの情報を示し、その後に時間的・空間的特徴を利用して人体動作の認識を実現する。時間的・空間的特徴を抽出する処理においては、すべての動画ビデオに対して同一長さの人体動作周期を設定する。
【０００４】
しかしながら、動作や個体には差異があるため、時間的・空間的特徴により実現された人体動作の認識を高めることが必要とされる。このため、時間的・空間的特徴を抽出し、より正確な人体動作認識を実現させるように異なる動作や異なる個体に人体動作周期を特定可能とする技術の発展が望まれている。
【０００５】
本発明に関する幾つかの局面に対する基本的な理解を提供するために、以下に、本発明に関する簡単な概要が示される。この概要は、本発明についての網羅的な概要ではないことを理解すべきである。したがって、概要は、本発明のキーポイントまたは重要部分を特定することを意図せず、本発明の範囲を限定することも意図するものではない。この概要の記載の目的は、単に簡単化した形式で幾つかの概念を提供し、後述のより詳しい説明の導入を提供することにある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施例は、異なる動作や異なる個体に対応する人体動作周期及び人体動作を特定する方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を実現するために、本発明の一側面によれば、ビデオにおける人体動作周期を特定する方法を提供し、当該方法は、探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とし、あるいは、第１の時間長さを人体動作周期とすることを含む。
【０００８】
本発明の別の局面によれば、ビデオにおける人体動作を認識する方法を提供し、当該方法は、上記のビデオにおける人体動作周期を特定する方法に基づいてビデオにおける人体動作の周期を特定し、特定された周期に基づいて時間的・空間的特徴を抽出して、ビデオにおける人体動作を特定する処理を含む。
【図面の簡単な説明】
【０００９】
以下に、図面を参照しながら本発明の実施例を詳細に説明する。
【００１０】
本発明は、以下の図面を参照した説明によってより良い理解を得ることができる。なお、すべての図面において同一または類似の符号で同一または類似する要素を示す。図面は以下の詳細な説明とともに本明細書に含まれ、本明細書の一部が形成され、そして、本発明の好適な実施例をさらに例示することや本発明の原理とメリットとを解釈することに用いられる。
【００１１】
【図１】本発明の一実施例によるビデオにおける人体動作周期を特定する方法を示すフローチャートである。
【００１２】
【図２】本発明の一実施例による人体姿勢の現在フレームと類似するフレームを探索する処理を示すフローチャートである。
【００１３】
【図３】本発明の一実施例による探索範囲内の各フレームにおける人体領域の面積を算出する処理を示すフローチャートである。
【００１４】
【図４】本発明の一実施例による探索範囲内の各フレームにおける人体領域の面積を算出する処理を示すフローチャートである。
【００１５】
【図５】本発明の一実施例による運動ヒストグラムを算出する処理を示すフローチャートである。
【００１６】
【図６】本発明の他の一実施例による運動ヒストグラムを算出する処理を示すフローチャートである。
【００１７】
【図７】本発明の一実施例による運動ヒストグラム及び人体領域の面積に基づいて人体姿勢の現在フレームと類似するフレームを探索する処理を示すフローチャートである。
【００１８】
【図８】本発明の一実施例によるビデオにおける人体動作を認識する方法を示すフローチャートである。
【００１９】
【図９】本発明の一実施例によるビデオにおける人体動作周期を特定する装置を示すブロック図である。
【００２０】
【図１０】本発明の一実施例による探索部を示すブロック図である。
【００２１】
【図１１】本発明の一実施例による面積算出部を示すブロック図である。
【００２２】
【図１２】本発明の他の一実施例による面積算出部を示すブロック図である。
【００２３】
【図１３】本発明の一実施例による運動ヒストグラム算出部を示すブロック図である。
【００２４】
【図１４】本発明の他の一実施例による運動ヒストグラム算出部を示すブロック図である。
【００２５】
【図１５】本発明の一実施例によるフレーム探索部を示すブロック図である。
【００２６】
【図１６】本発明の一実施例によるビデオにおける人体動作を認識する装置を示すブロック図である。
【００２７】
【図１７】本発明の実施例による方法及び／または装置を実現可能な汎用のパーソナルコンピュータの例示的な構造を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下に、図面を参照しながら本発明の実施例を説明する。説明を明瞭にし、かつ簡単にするために、明細書においては、実際の実施形態のすべての特徴を説明するわけではない。しかしながら、実際の実施例の開発過程において、開発者の具体的な目標を達成できるよう、実施形態において特定される決定事項が数多く存在し得る。例えば、システム及び業務に関する制限条件が設定された場合、これらの制限条件は、実施形態によって変更される可能性があることを理解すべきである。また、開発作業は、通常非常に複雑且つ時間がかかるものであるが、本開示内容係る当業者にとっては、このような開発作業は、通常行われる業務の範囲であることをさらに理解すべきである。
【００２９】
ここで、さらに、不必要な細部の説明で本発明が不明瞭になってしまうことを防止するために、図面においては、本発明に係る実施例に密接に関係する装置構造及び／または処理ステップのみが示され、本発明にあまり関係しない他の細部が省略されている点に留意すべきである。
【００３０】
図１は、本発明の一実施例によるビデオにおける人体動作周期を特定する方法のフローチャートを示す。
【００３１】
図１に示すように、ステップＳ１０２において、人体姿勢が現在のフレームと類似するフレームを探索する。
【００３２】
人体動作が一般的に周期性を有し、動作の周期が終了すると、人体が動作開始時の姿勢に戻ることを考慮している。従って、人体姿勢が現在のフレームと類似するフレームを探索することによって、一つの完結した人体動作の周期を特定することができる。
【００３３】
次に、ステップＳ１０４において、探索結果に応じて探索範囲内に人体姿勢の現在のフレームと類似するフレームが存在するか否かを判断することができる。
【００３４】
前記人体姿勢が現在のフレームと類似するフレームを探索したことを探索結果が示す場合に、ステップＳ１０６において、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さを、ビデオにおける人体動作周期とする。
【００３５】
探索結果が探索範囲内で前記人体姿勢が現在のフレームと類似するフレームを探索できなかったことを示す場合には、ステップＳ１０８において、所定の第１の時間長さを人体動作周期とすることができる。
【００３６】
なお、前記第１の時間長さは、一つの完結した人体動作を十分に含ませる時間長さであり、経験値または異なる応用場面に応じて合理的に第１の時間長さを設定することができる。
【００３７】
前記第１の時間長さを合理的に設定することによって、捜索範囲内に、人体姿態が現在のフレームと類似するフレームが存在しない場合の探索の繰り返しを防止することができる。これにより、演算量を減少し、効率を向上することができる。
【００３８】
図１に示す実施例の方法は、人体動作の周期性に基づいて人体動作の周期を特定することができる。従って、ビデオにおける人体動作の周期を合理的に検出することができる。
【００３９】
上記のビデオにおける人体動作周期を特定する方法において、異なる応用場面または異なるニーズに応じて、異なる探索範囲を設定して人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００４０】
本発明の一実施例において、前記探索範囲は、現在のフレームからの後の所定の第２の時間長さの時間帯であっても良い。なお、前記第２の時間長さは、一つの人体動作を十分に含ませる時間長さであっても良く、経験値または具体的な応用場面に応じて合理的に前記第２の時間長さを設定することができる。前記第２の時間長さは、上記第１の時間長さと同一であってもよく、前記第１の時間長さと異なってもよい。
【００４１】
以上に説明した探索範囲は、単に例示的なものであり、本発明はこれに限定されず、他の形態で探索範囲を設定してもよい。
【００４２】
本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の所定の第３の時間長さの時間帯であってもよい。なお、前記第３の時間長さは、一つの人体動作を十分に含ませる時間長さであっても良く、経験値または具体的な応用場面に応じて合理的に前記第３の時間長さを設定することができる。また、第３の時間長さは第２の時間長さと同一であってもよく、第２の時間長さと異なっても良い。
【００４３】
いずれの上記実施例によるビデオにおける人体動作周期の特定方法においても、フレームにおける人体領域の面積と運動ヒストグラムに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００４４】
なお、前記運動ヒストグラムとは、フレームにおける人体の運動に関するヒストグラムであり、フレームにおける各位置での人体運動または人体姿勢を反映することができる。
【００４５】
例えば、前記運動ヒストグラムは、フレームにおける人体運動または人体姿勢の水平方向における分布を反映する運動ヒストグラムであってもよく、フレームにおける人体運動または人体姿勢の垂直方向における分布を反映する運動ヒストグラムであってもよい。
【００４６】
以下の説明において、水平方向の運動ヒストグラムを例にして説明を行うが、本発明はこれに限定されず、本発明の実施例は、垂直方向の運動ヒストグラム、または水平方向と垂直方向の運動ヒストグラムの組合せを応用することもできる。
【００４７】
明らかなように、二つのフレームにおける人体姿勢が類似する場合、二つのフレームにおける人体領域の面積の大きさも類似することになる。加えて、二つのフレームにおける人体の運動ヒストグラムも類似することになる。
【００４８】
従って、フレームにおける人体領域の面積と運動ヒストグラムに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００４９】
図２は、本発明の一実施例による人体姿勢が現在のフレームと類似するフレームを探索する処理のフローチャートを示している。
【００５０】
図２に示すように、ステップＳ２０２において、フレームにおける人体領域の面積を算出することができる。
【００５１】
様々な好適な方法を採用してフレームにおける人体領域の面積を算出することができる。
【００５２】
例えば、人体のエッジを利用してフレームにおける人体領域の面積を算出することができる。
【００５３】
また例えば、前景の人体領域における前景画素の数に基づいてフレームにおける人体領域の面積を特定することもできる。
【００５４】
図２に示すように、次に、ステップＳ２０４において、フレームの運動ヒストグラムを算出することができる。
【００５５】
様々な好適な方式でフレームの運動ヒストグラムを算出することができる。
【００５６】
例えば、フレームの前景またはフレームのフレーム差分画像に基づいて運動ヒストグラムを算出することができる。
【００５７】
フレームにおける人体領域の面積及びフレームの運動ヒストグラムを算出した後に、ステップＳ２０６において、運動ヒストグラムと人体領域の面積に基づいて探索範囲内で人体姿勢が現在のフレームと類似するフレームを探索することができる。
【００５８】
具体的には、探索範囲内においてフレームごとに、フレームごとのフレームの運動ヒストグラム及び人体領域の面積と、現在のフレームの運動ヒストグラム及び人体領域の面積との類似性に基づいて、人体姿勢が現在のフレームと類似するフレームを探索する。
【００５９】
これにより、探索範囲内での人体姿勢が現在のフレームと類似するフレームに対する探索を実現することができる。
【００６０】
上記のように、様々な好適な方法を採用してフレームにおける人体領域の面積を算出することができる。
【００６１】
図３に本発明の一実施例による探索範囲内の各フレームにおける人体領域の面積の処理のフローチャートを示す。
【００６２】
図３に示されるように、ステップＳ３０２において、まずフレームにおける人体領域のエッジを抽出することができる。
【００６３】
任意の公知の人体エッジの抽出方法を採用してフレームにおける人体領域のエッジを抽出することができる。
【００６４】
例えば、cannyアルゴリズムを利用してフレームにおける人体領域のエッジを抽出することができる。
【００６５】
なお、cannyアルゴリズムは、画像処理分野に慣用なエッジ抽出方法である。cannyアルゴリズムについての詳細は、Canny, Jにより発表された、「A Computational Approach To Edge Detection」という文書（IEEE Trans. Pattern Analysis and Machine Intelligence,８：６７９−７１４,１９８６を参照）を参照することができる。当該文書の内容のすべてがここで援用される。明細書を明瞭にするために説明を省略する。
【００６６】
次に、ステップＳ３０４において、抽出されたエッジに基づいてフレームにおける人体領域の面積を算出することができる。
【００６７】
具体的には、取得された人体領域のエッジに基づいて、当該エッジに囲まれた面積をフレームにおける人体領域の面積として算出することができる。
【００６８】
従って、図３に示される方法によりフレームにおける人体領域の面積を算出することができる。
【００６９】
フレームにおいて場面が複雑である場合（例えば、人以外に、他の運動物体が存在する場合）に、図３に示された方法は、フレームにおける人体領域の面積を正確に算出することができる。
【００７０】
図３に示す実施例は単に例示的なものであり、本発明はこれに限定されず、他の形態でフレームにおける人体領域の面積を算出することもできる。
【００７１】
例えば、図４に本発明のほかの実施例によるフレームにおける人体領域の面積を算出する処理のフローチャートを示す。
【００７２】
図４に示す実施例において、フレームにおける前景の大きさにより、人体領域の面積を直接に算出することができる。
【００７３】
図４に示すように、ステップＳ４０２において、フレームから前景を抽出することができる。
【００７４】
各種の公知の前景抽出方法でフレームから前景を抽出することができる。
【００７５】
一つの簡単な例として、フレームに対応する背景モデルに対して直接に減算を行って前景を抽出することができる。
【００７６】
次に、ステップＳ４０４において、抽出された前景に基づいて人体領域の面積を算出することができる。
【００７７】
具体的には、前景において１となる画素の数を集計することで、人体領域の面積を算出することができる。
【００７８】
これにより、図４に示す方法を採用してフレームにおける人体領域の面積を算出することができる。
【００７９】
フレームにおいて場面が簡単（例えば、フレームにおける前景は人のみを含む）である場合に、図４に示す方法は、正確で且つ効率よくフレームにおける人体領域の面積を算出することができる。
【００８０】
図３、図４に示す実施例のいずれも例示的なものであり、本発明はこれに限定されず、その他の方式でフレームにおける人体領域の面積を算出することができる。また、図３及び図４に示す方法の組合せでフレームにおける人体領域の面積を算出することができる。
【００８１】
上記のように、本発明によるビデオにおける人体動作周期の特定方法において、フレームの前景またはフレームのフレーム差分画像に基づいて運動ヒストグラムを算出することができる。
【００８２】
図５に、本発明の一実施例による運動ヒストグラムを算出する処理のフローチャートを示す。フレームにおける前景に基づいて運動ヒストグラムを算出する。
【００８３】
図５に示すように、ステップＳ５０２において、フレームから前景を抽出することができる。
【００８４】
各種の公知の前景抽出方式でフレームから前景を抽出することができる。
【００８５】
例えば、フレームに対応する背景モデルに対して直接に減算を行って、前景を抽出することができる。
【００８６】
次に、ステップＳ５０４において、フレームを複数の部分に区分することができる。
【００８７】
水平方向にフレームを平行に複数の矩形の小さい格子に均等に分けることが好ましい。
【００８８】
又は、垂直方向にフレームを平行に複数の矩形の小さい格子に均等に分けることもできる。
【００８９】
次に、ステップＳ５０６において、抽出されたフレームの前景に基づいて運動ヒストグラムを形成することができる。
【００９０】
具体的には、水平方向または垂直方向の各小さい格子における前景画素の数を集計することによって、運動ヒストグラムを形成することができる。
【００９１】
上記の方式で、人体姿勢の水平方向または垂直方向における分布を反映できる運動ヒストグラムを取得することができる。
【００９２】
図５に示す方法は単に例示的なものであり、本発明はこれに限定されない。例えば、フレーム差分画像を利用してフレームの運動ヒストグラムを算出してもよい。
【００９３】
図６に、本発明の他の実施例による運動ヒストグラムを算出する処理のフローチャートを示す。フレーム差分画像に基づいて運動ヒストグラムを算出する。
【００９４】
図６に示すように、ステップＳ６０２において、フレームのフレーム差分画像を算出することができる。
【００９５】
一つの例において、前記フレームと隣接するフレーム（例えば、前のフレームまたは次のフレーム）に対して減算を行って、フレーム差分画像を取得することができる。明らかなように、前記フレーム差分画像には人体の運動情報が含まれる。
【００９６】
次に、ステップＳ６０４において、フレームを複数の部分に区分することができる。
【００９７】
水平方向にフレームを平行に複数の矩形の小さい格子に均等に分けることが好ましい。又は、垂直方向にフレームを平行に複数の矩形の小さい格子に均等に分けることもできる。
【００９８】
次に、ステップＳ６０６において、フレーム差分画像に基づいて運動ヒストグラムを形成することができる。
【００９９】
例えば、フレーム差分画像の水平方向または垂直方向における各小さい格子における画素の階調値の和を算出することができる。これにより、運動ヒストグラムが形成される。
【０１００】
以上、階調値を例として説明したが、以上の説明は単に例示的なものであり、本発明はこれに限定されない。或いは、階調値以外の他の適切なパラメータにより運動ヒストグラムを形成してもよい。
【０１０１】
上記の方式により、人体運動の水平方向または垂直方向における分布を反映できる運動ヒストグラムを算出することができる。
【０１０２】
図７に、本発明の一実施例による運動ヒストグラムと人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索する処理のフローチャートを示す。
【０１０３】
図７に示すように、ステップＳ７０２において、探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出する。
【０１０４】
任意の公知の技術を採用して探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出してもよい。
【０１０５】
例えば、ヒストグラムのピークマッチング法で探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することができる。
【０１０６】
ヒストグラムのピークマッチング法についての詳細な説明は、Das M. Riseman E.M及びDraper B.A等により発表された、「Searching for multi−colored objects in a diverse image database」という文章（ＩＥＥＥ Conference on Computer Vision and Pattern Recognition,１９９７,ｐｐ ７５６-７６１）を参照することができ、その内容のすべては、ここに援用される。
【０１０７】
また例えば、ウィンドウ間の平均差異に基づいて、探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出してもよい。
【０１０８】
ウィンドウ間の平均差異に基づく類似度の算出についての詳細な説明は、２００７年に開示された、「ウィンドウ間の平均差異に基づくヒストグラム類似性の測定方法」という中国特許出願（CN２００７１００４２９１６.３）を参照することができ、その内容のすべては、ここに援用される。
【０１０９】
なお、任意の公知の方式を利用して探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０１１０】
例えば、各フレームの人体領域の面積と現在のフレームの人体領域の面積との差及び平均値に基づいて探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０１１１】
一つの具体的な例において、式（１）により演算を行うことができる。
【０１１２】
【数１】
【０１１３】
式（１）において、ｒは、探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度の算出を示し、Ａ２は探索範囲内の各フレームの人体領域の面積を示し、Ａ１は現在のフレームにおける人体領域の面積を示し、は探索範囲内の各フレームの人体領域の面積と現在のフレームの人体領域の面積との平均値を示す。
【０１１４】
運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出した後に、ステップＳ７０４において、人体領域の面積の類似度と運動ヒストグラムの類似度に対してそれぞれ影響因子を設定することができる。
【０１１５】
具体的には、異なる応用場面または経験値に応じて合理的な影響因子を設定することができる。
【０１１６】
一つの好適な例において、人体領域の面積の類似度及び運動ヒストグラムの類似度をそれぞれ０.５に設定することができる。
【０１１７】
次に、ステップＳ７０６において、総類似度を算出することができる。
【０１１８】
なお、前記の総類似度は、フレームにおける人体動作の類似の程度を示す物理量であってもよい。
【０１１９】
本発明の一実施例において、人体領域の面積の類似度及び運動ヒストグラムの類似度に基づいて総類似度を算出することができる。
【０１２０】
例えば、人体領域の面積の類似度と運動ヒストグラムの類似度とに基づいて、設定された影響因子に従って総類似度を算出することができる。
【０１２１】
一つの具体的な例において、式（２）により演算を行うことができる。
【０１２２】
【数２】
【０１２３】
式（２）において、Ｒは総類似度を示し、r１、r２はそれぞれ人体領域の面積の類似度及び運動ヒストグラムの類似度を示し、α、βはそれぞれ人体領域の面積の類似度及び運動ヒストグラムの類似度のための影響因子を示す。
【０１２４】
このように、探索範囲内の各フレームに対して、現在のフレームとの総類似度を算出することができる。
【０１２５】
次に、ステップＳ７０８において、最大の総類似度を所定の第１の閾値と比較することができる。
【０１２６】
なお、前記第１の閾値は、任意な好適な値、例えば、０.８５、０.９、０.９５等であっても良い。
【０１２７】
最大の総類似度が第１の閾値より大きい場合に、ステップＳ７１０において、最大の総類似度を有するフレームを現在のフレームにおける人体姿勢と同一であるフレームとして判定することができる。
【０１２８】
最大の総類似度が第１の閾値よりも大きくない場合に、ステップＳ７１２において、探索範囲内において現在のフレームにおける人体姿勢と同一であるフレームを探索できなかったと判定できる。
【０１２９】
上記のように、図７に示した方法により、探索範囲内で人体姿勢が現在のフレームと類似するフレームを探索する処理が実現された。しかしながら、図７に示された方法は単に例示的なものであり、本発明は、これに限定されず、その他の適切な変形例を採用することもできる。
【０１３０】
例えば、本発明の他の実施例において、運動ヒストグラムのみに基づいて人体姿勢が現在のフレームと類似するフレームを探索してもよい。これにより、更に演算量を減少させ、効率化を図ることができる。
【０１３１】
上記の実施例における、ビデオにおける人体動作周期を特定する方法に基づいて、本発明は、ビデオにおける人体動作の認識方法をさらに提供する。
【０１３２】
図８に、本発明の一実施例による、ビデオにおける人体動作を特定する方法のフローチャートを示す。
【０１３３】
図８に示すように、ステップＳ８０２において、ビデオにおける人体動作周期を特定することができる。
【０１３４】
例えば、いずれかの上記実施例の方法に基づいて、ビデオにおける人体動作周期を特定することができる。
【０１３５】
次に、ステップＳ８０４において、特定された人体動作周期に基づいて人体動作を認識することができる。
【０１３６】
具体的には、特定された人体動作周期に基づいて時間的・空間的特徴を抽出し、時間的・空間的特徴に基づいて人体動作を認識することができる。
【０１３７】
上記の人体動作認識の方法において、異なる動作や異なる個体に対応する人体動作周期を特定することによって、より正確に時間的・空間的特徴を抽出し、更により正確な人体動作認識を実現することができる。
【０１３８】
上記方法に対応し、本発明の実施例は、方法に対応する装置を提供する。
【０１３９】
図９に本発明の一実施例によるビデオにおける人体動作周期を特定する装置のブロック図を示す。
【０１４０】
図９に示されるように、本発明の実施例によるビデオにおける人体動作周期を特定する装置９００は、探索部９０２と、周期特定部９０４とを含むことができる。
【０１４１】
なお、探索部９０２は、所定の探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１４２】
周期特定部９０４は、探索部９０２により提供された探索結果に基づいて人体動作の周期を特定することができる。
【０１４３】
具体的には、探索部９０２が探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、周期特定部９０４は、現在のフレームと、前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期として特定することができる。
【０１４４】
一方、探索の結果、探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できなかった場合に、周期特定部９０４は、第１の時間長さを人体動作周期とすることができる。
【０１４５】
なお、前記第１の時間長さは、一つの完結した人体動作を十分に含ませる時間長さであり、経験値または異なる応用場面に応じて前記第１の時間長さを合理的に設定することができる。
【０１４６】
図９に示された、ビデオにおける人体動作周期を特定する装置は、人体動作の周期性に基づいて人体動作周期を特定することができる。従って、ビデオにおける人体動作の周期を正確に検出することができる。
【０１４７】
なお、上記の探索範囲は、異なる応用場面や異なる要求に応じて設定してもよい。
【０１４８】
本発明の一実施例において、前記探索範囲は、現在のフレームからの後の所定の第２の時間長さの時間帯であっても良い。なお、前記第２の時間長さは、一つの人体動作を十分に含ませる時間長さであっても良く、経験値または具体的な場面に応じて合理的に前記第２の時間長さを設定することができる。
【０１４９】
上記の記載した探索範囲は、単に例示的なものであり、本発明はこれに限定されず、その他の方式で探索範囲を設定することができる。
【０１５０】
本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の所定の第３の時間長さの時間帯であっても良い。なお、前記第３の時間長さは、一つの人体動作を十分に含ませる時間長さであってもよく、経験値または具体的な応用場面に応じて合理的に前記第３の時間長さを設定することができる。なお、第３の時間長さは、第２の時間長さと同一であってもよく、第２の時間長さと異なっても良い。
【０１５１】
本発明の他の実施例において、前記探索範囲は、現在のフレームからの前の第２の時間長さの時間帯と、現在のフレームからの後の第３の時間長さの時間帯により構成されてもよい。
【０１５２】
任意の上記実施例によるビデオにおける人体動作周期を特定する装置において、前記探索部は、フレームにおける人体領域の面積及び運動ヒストグラムに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１５３】
図１０に、本発明の一実施例による探索部のブロック図を示す。
【０１５４】
図１０のように、探索部１０００は、面積算出部１００２と、運動ヒストグラム算出部１００４と、フレーム探索部１００６とを含むことができる。
【０１５５】
なお、運動ヒストグラムの定義について、上述の方法の実施例において説明した内容を参照することができるため、明細書を明瞭にするためにここでは説明を省略する。
【０１５６】
面積算出部１００２は、様々な好適な方法で現在のフレームにおける人体領域の面積を算出することができる。
【０１５７】
例えば、面積算出部１００２は、人体のエッジでフレームにおける人体領域の面積を算出することができる。
【０１５８】
また例えば、面積算出部１００２は、前景中の人体領域における前景画素の数に基づいてフレームにおける人体領域の面積を特定することもできる。
【０１５９】
運動ヒストグラム算出部１００４は、様々な好適な方式でフレームの運動ヒストグラムを算出することができる。
【０１６０】
例えば、運動ヒストグラム算出部１００４は、フレームの前景またはフレームのフレーム差分画像に基づいて運動ヒストグラムを算出することができる。
【０１６１】
フレームにおける人体領域の面積及びフレームの運動ヒストグラムを算出した後に、フレーム探索部１００６は、運動ヒストグラム及び人体領域の面積に基づいて探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１６２】
具体的に、フレーム探索部１００６は、探索範囲内においてフレームごとに、フレームごとの運動ヒストグラム及び人体領域の面積と、現在のフレームの運動ヒストグラム及び人体領域の面積との類似性に基づいて、人体姿勢が現在のフレームと類似するフレームを探索することができる。
【０１６３】
図１１は、本発明の一実施例による面積算出部のブロック図を示す。
【０１６４】
図１１に示すように、前記面積算出部は、エッジ特定部１１０２と人体領域の面積算出部１１０４とを含むことができる。
【０１６５】
なお、任意の公知のエッジ抽出方法でフレームにおける人体領域のエッジを抽出してもよい。
【０１６６】
例えば、エッジ特定部１１０２は、cannyアルゴリズムを採用してフレームにおける人体領域のエッジを抽出することができる。
【０１６７】
人体領域の面積算出部１１０４は、抽出されたエッジに基づいてフレームにおける人体領域の面積を算出することができる。
【０１６８】
具体的には、人体領域の面積算出部１１０４は、取得された人体領域のエッジに基づいて、当該エッジに囲まれた面積をフレームにおける人体領域の面積として算出することができる。
【０１６９】
フレームにおいて場面が複雑である場合（例えば、人間以外に、他の運動物体もある場合）、図１１に示した面積算出部は、フレームにおける人体領域の面積を正確に算出することができる。
【０１７０】
図１１に示す実施例は単に例示的なものであり、本発明は、これに限定されない。図１２は、本発明の他の実施例による面積算出部のブロック図を示す。
【０１７１】
図１２に示すように、面積算出部１２００は、前景抽出部１２０２と人体領域の面積算出部１２０４とを含む。
【０１７２】
前景抽出部１２０２は、各種の公知の前景抽出方法でフレームから前景を抽出することができる。
【０１７３】
一つの簡単な例として、前景抽出部１２０２は、フレームに対応する前景モデルに対して直接に減算を行って前景を抽出することができる。
【０１７４】
人体領域の面積算出部１２０４は、抽出された前景に基づいて人体領域の面積を算出することができる。
【０１７５】
具体的には、人体領域の面積算出部１２０４は、前景において１となる画素の数を集計することによって、人体領域の面積を算出することができる。
【０１７６】
これにより、図１２に示す面積算出部により、フレームにおける人体領域の面積を算出することができる。
【０１７７】
フレームにおいて場面が簡単（例えば、フレームにおける前景に人間のみが含まれる）である場合には、図１２に示す面積算出部は、フレームにおける人体領域の面積を正確でかつ効率よく算出することができる。
【０１７８】
図１１、図１２に示す実施例の何れも単に例示的なものであり、本発明は、これに限定されない。面積算出部は、他の適宜な方式で実現されてもよく、例えば、面積算出部は、図１１及び図１２に示す面積算出部の組合せで実現されてもよい。
【０１７９】
図１３に、本発明の一実施例による運動ヒストグラム算出部のブロック図を示す。
【０１８０】
図１３に示すように、運動ヒストグラム算出部１３００は、前景抽出部１３０２と、フレーム区分部１３０４と、ヒストグラム生成部１３０６とを含むことができる。
【０１８１】
前景抽出部１３０２は、各種の公知の前景抽出方法でフレームから前景を抽出することができる。
【０１８２】
一つの簡単な例として、前景抽出部１３０２は、フレームに対応する背景モデルに対して直接に減算を行って前景を抽出することができる。
【０１８３】
フレーム区分部１３０４は、フレームを複数の部分に区分することができる。
【０１８４】
好ましくは、フレーム区分部１３０４は、水平方向において平行にフレームを複数の矩形の小さい格子に均等に区分することができる。
【０１８５】
或いは、フレーム区分部１３０４は、垂直方向において平行にフレームを複数の矩形の小さい格子に均等に区分することもできる。
【０１８６】
ヒストグラム生成部１３０６は、抽出されたフレームの前景に基づいて運動ヒストグラムを形成することができる。
【０１８７】
具体的には、ヒストグラム生成部１３０６は、水平方向または垂直方向における各小さい格子における前景画素の数を集計することによって、運動ヒストグラムを形成することができる。
【０１８８】
上記の方式で、人体姿勢の水平方向または垂直方向における分布を反映できる運動ヒストグラムを取得することができる。
【０１８９】
図１３に示すヒストグラム算出部は単に例示的なものであり、本発明は、これに限定されない。例えば、ヒストグラム算出部は、フレーム差分画像に基づいてフレームの運動ヒストグラムを算出することができる。
【０１９０】
図１４に本発明のほかの実施例による運動ヒストグラム算出部のブロック図を示す。
【０１９１】
図１４に示すように、運動ヒストグラム算出部１４００は、フレーム差分画像算出部１４０２と、フレーム区分部１４０４とヒストグラム生成部１４０６とを含むことができる。
【０１９２】
フレーム差分画像算出部１４０２は、フレームのフレーム差分画像を算出することができる。
【０１９３】
一つの例において、フレーム差分画像算出部１４０２は、フレームと隣接するフレーム（例えば、前のフレームまたは次のフレーム）に対して減算を行うことによってフレーム差分画像を取得することができる。明らかなように、前記フレーム差分画像には人体の運動情報が含まれる。
【０１９４】
フレーム区分部１４０４は、フレームを複数の部分に区分することができる。
【０１９５】
好ましくは、フレーム区分部１４０４は、水平方向にフレームを平行に複数の矩形の小さい格子に均等に区分することができる。または、フレーム区分部１４０４は、垂直方向にフレームを平行に複数の矩形の小さい格子に均等に区分することもできる。
【０１９６】
ヒストグラム生成部１４０６は、フレーム差分画像に基づいて運動ヒストグラムを形成することができる。
【０１９７】
例えば、ヒストグラム生成部１４０６は、フレーム差分画像の水平方向または垂直方向における各小さい格子における画素の階調値の和を算出することができる。これにより、運動ヒストグラムが形成される。
【０１９８】
以上のように階調値を例として説明したが、以上の説明は単に例示的なものであり、本発明はこれに限定されない。或いは、ヒストグラム生成部は、階調値以外のほかの適宜なパラメータに基づいて運動ヒストグラムを生成することもできる。
【０１９９】
上記の方式により、運動ヒストグラム算出部１４００は、人体運動の水平方向または垂直方向における分布を反映できる運動ヒストグラムを算出することができる。
【０２００】
図１５に、本発明の一実施例による、運動ヒストグラム及び人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索可能なフレーム探索部のブロック図を示す。
【０２０１】
図１５に示すように、フレーム探索部１５００は、算出部１５０２と、影響因子設定部１５０４と、総類似度算出部１５０６と、探索結果生成部１５０８とを含む。
【０２０２】
算出部１５０２は、探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出することができる。
【０２０３】
算出部１５０２は、任意の公知の技術で探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することができる。
【０２０４】
例えば、算出部１５０２は、ヒストグラムのピークマッチング法で探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することができる。
【０２０５】
また例えば、算出部１５０２は、ウィンドウ間の平均差異に基づいて探索範囲内の各フレームと現在のフレームとの間の運動ヒストグラムの類似度を算出することもできる。
【０２０６】
また、算出部１５０２は、任意の公知の方法で探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０２０７】
例えば、算出部１５０２は、各フレームの人体領域の面積と現在のフレームの人体領域の面積の差及び平均値に基づいて探索範囲内の各フレームと現在のフレームとの間の人体領域の面積の類似度を算出することができる。
【０２０８】
影響因子設定部１５０４は、人体領域の面積の類似度及び運動ヒストグラムの類似度にそれぞれ影響因子を設定することができる。
【０２０９】
具体的には、影響因子設定部１５０４は、異なる応用場面または経験値に応じて合理的な影響因子を設定することができる。
【０２１０】
一つの好適な例において、影響因子設定部１５０４は、人体領域の面積の類似度及び運動ヒストグラムの類似度をそれぞれ０.５に設定することができる。
【０２１１】
総類似度算出部１５０６は、総類似度を算出することができる。
【０２１２】
なお、前記総類似度は、フレームにおける人体動作の類似の程度を示す物理量であってもよい。本発明の一実施例において、人体領域の面積の類似度及び運動ヒストグラムの類似度に基づいて前記総類似度を算出することができる。
【０２１３】
例えば、人体領域の面積の類似度及び運動ヒストグラムの類似度に基づき、設定された影響因子に従って総類似度を算出することができる。
【０２１４】
このように、総類似度算出部１５０６は、探索範囲におけるフレームごとに、現在のフレームとの総類似度を算出することができる。
【０２１５】
探索結果生成部１５０８は、算出された総類似度に基づいて探索結果を取得することができる。
【０２１６】
具体的には、探索結果生成部１５０８は、まず、最大の総類似度と所定の第１の閾値とを比較することができる。
【０２１７】
最大の総類似度が第１の閾値よりも大きい場合に、探索結果生成部１５０８は、最大の総類似度を有するフレームを、現在のフレームにおける人体姿勢と同一であるフレームとすることができる。
【０２１８】
最大の総類似度が第１の閾値より大きくない場合に、探索結果生成部１５０８は、探索範囲内において現在のフレームにおける人体姿勢と同一であるフレームを探索できなかったと判定することができる。
【０２１９】
このように、フレーム探索部１５００は、探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する処理を実現することができる。
【０２２０】
しかしながら、図１５に示す方法は単に例示であり、本発明はこれに限定されない。フレーム探索部は、そのほかの有益な変形例を採用することができる。
【０２２１】
例えば、本発明のほかの実施例において、フレーム探索部は、運動ヒストグラムのみに基づいて人体姿勢が現在のフレームと類似するフレームを探索することができる。これにより、更に演算量を減少させ、効率化を図ることができる。
【０２２２】
上記実施例におけるビデオにおける人体動作周期を特定する装置に基づいて、本発明は、さらに、ビデオにおける人体動作の認識方法を提供する。
【０２２３】
図１６に本発明の一実施例によるビデオにおける人体動作を認識する装置のブロック図を示す。
【０２２４】
図１６に示されるように、本発明の実施例によるビデオにおける人体動作を認識する装置１６００は、人体動作周期特定部１６０２と認識部１６０４とを含むことができる。
【０２２５】
人体動作周期特定部１６０２は、ビデオにおける人体動作周期を特定することができる。
【０２２６】
例えば、人体動作周期特定部１６０２は、任意の上記実施例による人体動作周期を特定する装置を備えることによって、ビデオにおける人体動作周期を特定することができる。
【０２２７】
認識部１６０４は、特定した人体動作周期に基づいて人体動作を認識することができる。
【０２２８】
具体的には、認識部１６０４は、特定した人体動作周期に基づいて時間的・空間的特徴を抽出し、時間的・空間的特徴に基づいて人体動作を認識することができる。
【０２２９】
上記の人体動作を認識する装置は、異なる動作や異なる個体に対応する人体動作周期を特定することができる。これにより、時間的・空間的特徴をより正確に抽出することができ、さらにより正確な人体動作認識を実現することができる。
【０２３０】
前記のビデオにおける人体動作周期を特定する装置、前記のビデオにおける人体動作を認識する装置及びこれに含まれる要素についてのより細かい技術的な詳細は、前述の方法を参照することができ、説明を参照することができるため、明細書を明瞭にするために、ここでは説明を省略する。
【０２３１】
また、本願に記載の各種の例示及び実施例のいずれも例示的なものである。本発明はこれらに限定されないことを理解すべきである。本明細書において、「第１」、「第２」等の表現は、単に本発明を明確に説明するために、記載の特徴を文字上で区別するためのものである。従って、何らかの限定的な意味を持っていると見なされるべきではない。
【０２３２】
上記装置における各構成モジュールやユニットはソフトウェア、ファームウェア、ハードウェアまたはこれらの組合せで配置することができる。配置に使用可能な具体的な手段または方式は、当業者に熟知されるものであるため、ここでは説明しない。ソフトウェア又はファームウェアにより実現される場合に、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ（例えば図１７に示された汎用のコンピュータ１７００）へ当該ソフトウェアを構成するプログラムをインストールする。当該コンピュータは、各種のプログラムがインストールされている場合に、各機能を実行することができる。
【０２３３】
図１７において、中央処理装置（ＣＰＵ）１７０１は、読取専用メモリ（ＲＯＭ）１７０２に記憶されたプログラム又は記憶部１７０８からランダムアクセスメモリ（ＲＡＭ）１７０３にロードされたプログラムに基づいて各種の処理を実行する。ＲＡＭ１７０３には、必要に応じてＣＰＵ１７０１が各種の処理等を実行するために必要なデータも記憶されている。ＣＰＵ１７０１、ＲＯＭ１７０２及びＲＡＭ１７０３はバス１７０４を介して互いに接続されている。入力／出力インタフェース１７０５もバス１７０４に接続されている。
【０２３４】
入力部１７０６（キーボード、マウス等を含む）、出力部１７０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等とスピーカ等を含む）、記憶部１７０８（ハードディスク等を含む）、及び通信部１７０９（ネットワークインターフェースカード、例えばLANカード、モデム等を含む）は、入力／出力インタフェース１７０５に接続されている。通信部１７０９はネットワーク、例えばインターネットを経由して通信処理を実行する。必要に応じて、入力／出力インタフェース１７０５にはドライバ１７１０も接続されている。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような取り外し可能な媒体１７１１は、必要に応じてドライバ１７１０に装着される。これにより、読み出されたコンピュータプログラムは必要に応じて記憶部１７０８にインストールされる。
【０２３５】
ソフトウェアで前記一連の処理を実現する場合に、ネットワーク、例えばインターネット、又は記憶媒体、例えば取外し可能な媒体１７１１からソフトウェアを構成するプログラムをインストールする。
【０２３６】
このような記憶媒体は、図１７に示される。その中にプログラムが記憶されており、プログラムは、デバイスから読み出され伝送されてもよいと当業者は理解すべきである。取り外し可能な媒体１７１１として、例えば、磁気ディスク（フロッピディスク（登録商標）含む）、光ディスク（コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）やディジタルヴァーサタイルディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク(ＭＤ)（登録商標）を含む）及び半導体メモリを含む。または、記憶媒体は、ＲＯＭ１７０２であってもよい。或いは、記憶部１７０８に含まれるハードディスクであって、プログラムが記憶されており、且つこれらを含むデバイスと共にユーザに提供されるハードディスクなどであっても良い。
【０２３７】
本発明は、機械で読み取り可能なコマンドコードが記されたプログラム、及びこのプログラム製品を更に提供する。前記コマンドコードは、機械で読取られて実行される際に、本発明の実施例による方法を実行することができる。
【０２３８】
加えて、前記の機械で読み取り可能なコマンドコードが記憶されたプログラム製品を搭載する記憶媒体も本発明の開示に含まれる。前記記憶媒体は、フロッピディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。
【０２３９】
最後に、さらに説明すべき点は、用語「含む」、「有する」、又は如何なる他の同義語も、非排他的意味で用いられ、一連の要素を含むプロセス、方法、物又は装置がこれらの要素を含むだけではなく、明確に列挙されていない他の要素、又はこのようなプロセス、方法、物又は装置の固有要素も含み得る。また、更なる限定のない場合に、用語「一つの…を含む」により限定された要素は、前記要素を含むプロセス、方法、物又は装置において更に別の同一の要素が存在することを排除しない。
【０２４０】
以上、図面を参照しながら本発明の実施例を詳細に説明したが、上述の実施形態は、単に本発明を説明するためのものであり、本発明を制限するものではないと理解すべきである。当業者にとって、本発明の精神及び範囲を逸脱しない限り、上記実施形態に対して各種の修正や変更を行うことができる。従って、本発明の範囲は、特許請求の範囲及びその均等物によって限定される。
【０２４１】
以上の実施例に関し、更に以下の付記を開示する。
（付記１）
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、
前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする、
処理を含むことを特徴とするビデオにおける人体動作周期を特定する方法。
（付記２）
前記探索範囲は、現在のフレームからの、後の第２の時間長さまたは前の第３の時間長さの時間帯におけるフレームであることを特徴とする付記１に記載のビデオにおける人体動作周期を特定する方法。
（付記３）
人体姿勢が現在のフレームと類似するフレームを探索する処理は、
前記探索範囲内の各フレームにおける人体領域の面積を算出し、
前記各フレームの運動ヒストグラムを算出し、
前記運動ヒストグラム及び前記人体領域の面積に基づいて前記人体姿勢が現在のフレームと類似するフレームを探索する、処理を含むことを特徴とする付記２に記載のビデオにおける人体動作周期を特定する方法。
（付記４）
探索範囲内の各フレームにおける人体領域の面積を算出する処理は、
前記各フレームにおける人体領域のエッジを特定し、
人体領域のエッジに基づいて人体領域の面積を算出する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記５）
探索範囲内の各フレームにおける人体領域の面積を算出する処理は、
前記各フレームから前景を抽出し、
前記前景に基づいて人体領域の面積を算出する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記６）
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームから前景を抽出し、
前記各フレームを水平方向または垂直方向において複数の小さい格子に区分し、
前景に基づいて、各小さい格子における前景画素の数を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記７）
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームと、隣接するフレームとのフレーム差分画像を算出し、
前記各フレームを、水平方向及び／または垂直方向において複数の小さい格子に区分し、
前記フレーム差分画像の各小さい格子における画素の階調値の和を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記８）
前記運動ヒストグラム及び前記人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索する処理は、
現在のフレームと前記各フレームとの運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出し、
前記運動ヒストグラムの類似度及び前記人体領域の面積の類似度のそれぞれに影響因子を設定し、
前記影響因子に基づいて総類似度を算出し、
最大の総類似度が所定の閾値より小さい場合に、前記探索範囲内に人体姿勢が現在のフレームと類似するフレームが存在しないと判定し、
最大の総類似度が所定の閾値より大きい場合に、最大の総類似度を有するフレームを人体姿勢が現在のフレームと類似するフレームとする、処理を含むことを特徴とする付記３に記載のビデオにおける人体動作周期を特定する方法。
（付記９）
付記１ないし８のうちのいずれか１項に記載の方法に基づいてビデオにおける人体動作の周期を特定し、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する、処理を含むことを特徴とするビデオにおける人体動作を認識する方法。
（付記１０）
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する探索部と、
前記探索部が探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする周期特定部と、
を含むことを特徴とするビデオにおける人体動作周期を特定する装置。
（付記１１）
前記探索範囲は、現在のフレームからの、後の第２の時間長さまたは前の第３の時間長さの時間帯におけるフレームであることを特徴とする付記１０に記載のビデオにおける人体動作周期を特定する装置。
（付記１２）
前記探索部は、
前記探索範囲内の各フレームにおける人体領域の面積を算出する面積算出部と、
前記各フレームの運動ヒストグラムを算出する運動ヒストグラム算出部と、
前記運動ヒストグラム及び前記人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索するフレーム探索部と、を含むことを特徴とする付記１１に記載のビデオにおける人体動作周期を特定する装置。
（付記１３）
前記面積算出部は、
前記各フレームにおける人体領域のエッジを特定するエッジ特定部と、
人体領域のエッジに基づいて人体領域の面積を算出する人体領域の面積算出部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１４）
前記面積算出部は、
前記各フレームから前景を抽出する前景抽出部と、
前記前景に基づいて人体領域の面積を算出する人体領域の面積算出部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１５）
前記運動ヒストグラム算出部は、
前記各フレームから前景を抽出する前景抽出部と、
前記各フレームを、水平方向または垂直方向において複数の小さい格子に区分するフレーム区分部と、
前景に基づいて各小さい格子における前景画素の数を算出することにより、前記運動ヒストグラムを取得するヒストグラム生成部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１６）
前記運動ヒストグラム算出部は、
前記各フレームと隣接するフレームとのフレーム差分画像を算出するフレーム差分画像算出部と、
前記各フレームを、水平方向及び／または垂直方向において複数の小さい格子に区分するフレーム区分部と、
前記フレーム差分画像の各小さい格子における画素の階調値の和を算出することにより、前記運動ヒストグラムを取得するヒストグラム生成部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１７）
前記フレーム探索部は、
現在のフレームと前記各フレームとの運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出する算出部と、
前記運動ヒストグラムの類似度及び前記人体領域の面積の類似度のそれぞれに影響因子を設定する影響因子設定部と、
前記影響因子に基づいて総類似度を算出する総類似度算出部と、
最大の総類似度が所定の閾値より小さい場合に、前記探索範囲内に人体姿勢が現在のフレームと類似するフレームが存在しないと判定し、最大の総類似度が所定の閾値より大きい場合に、最大の総類似度を有するフレームを人体姿勢が現在のフレームと類似するフレームとする探索結果生成部と、を含むことを特徴とする付記１２に記載のビデオにおける人体動作周期を特定する装置。
（付記１８）
ビデオにおける人体動作の周期を特定する、付記１０ないし１７の何れかに１項に記載のビデオにおける人体動作周期を特定する装置を含む人体動作周期特定部と、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する認識部と、を含むことを特徴とするビデオにおける人体動作を認識する装置。
（付記１９）
付記１ないし９のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
【特許請求の範囲】
【請求項１】
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、
前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする、
処理を含むことを特徴とするビデオにおける人体動作周期を特定する方法。
【請求項２】
前記探索範囲は、現在のフレームからの、後の第２の時間長さまたは前の第３の時間長さの時間帯におけるフレームであることを特徴とする請求項１に記載のビデオにおける人体動作周期を特定する方法。
【請求項３】
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する処理は、
前記探索範囲内の各フレームにおける人体領域の面積を算出し、
前記各フレームの運動ヒストグラムを算出し、
前記運動ヒストグラム及び前記人体領域の面積に基づいて前記人体姿勢が現在のフレームと類似するフレームを探索する、処理を含むことを特徴とする請求項２に記載のビデオにおける人体動作周期を特定する方法。
【請求項４】
前記探索範囲内の各フレームにおける人体領域の面積を算出する処理は、
前記各フレームにおける人体領域のエッジを特定し、
人体領域のエッジに基づいて人体領域の面積を算出する、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項５】
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームから前景を抽出し、
前記各フレームを水平方向または垂直方向において複数の小さい格子に区分し、
前景に基づいて、各小さい格子における前景画素の数を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項６】
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームと、隣接するフレームとのフレーム差分画像を算出し、
前記各フレームを、水平方向及び／または垂直方向において複数の小さい格子に区分し、
前記フレーム差分画像の各小さい格子における画素の階調値の和を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項７】
前記運動ヒストグラム及び前記人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索する処理は、
現在のフレームと前記各フレームとの運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出し、
前記運動ヒストグラムの類似度及び前記人体領域の面積の類似度のそれぞれに影響因子を設定し、
前記影響因子に基づいて総類似度を算出し、
最大の総類似度が所定の閾値より小さい場合に、前記探索範囲内に人体姿勢が現在のフレームと類似するフレームが存在しないと判定し、
最大の総類似度が所定の閾値より大きい場合に、最大の総類似度を有するフレームを人体姿勢が現在のフレームと類似するフレームとする、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項８】
請求項１ないし７のいずれか１項に記載の方法に基づいてビデオにおける人体動作の周期を特定し、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する、処理を含むことを特徴とするビデオにおける人体動作を認識する方法。
【請求項９】
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する探索部と、
前記探索部が探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする周期特定部と、を含むことを特徴とするビデオにおける人体動作周期を特定する装置。
【請求項１０】
請求項９に記載のビデオにおける人体動作周期を特定する装置を含む人体動作周期特定部と、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する認識部と、を含むことを特徴とするビデオにおける人体動作を認識する装置。
【請求項１１】
請求項１ないし８のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
【請求項１】
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索し、
前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする、
処理を含むことを特徴とするビデオにおける人体動作周期を特定する方法。
【請求項２】
前記探索範囲は、現在のフレームからの、後の第２の時間長さまたは前の第３の時間長さの時間帯におけるフレームであることを特徴とする請求項１に記載のビデオにおける人体動作周期を特定する方法。
【請求項３】
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する処理は、
前記探索範囲内の各フレームにおける人体領域の面積を算出し、
前記各フレームの運動ヒストグラムを算出し、
前記運動ヒストグラム及び前記人体領域の面積に基づいて前記人体姿勢が現在のフレームと類似するフレームを探索する、処理を含むことを特徴とする請求項２に記載のビデオにおける人体動作周期を特定する方法。
【請求項４】
前記探索範囲内の各フレームにおける人体領域の面積を算出する処理は、
前記各フレームにおける人体領域のエッジを特定し、
人体領域のエッジに基づいて人体領域の面積を算出する、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項５】
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームから前景を抽出し、
前記各フレームを水平方向または垂直方向において複数の小さい格子に区分し、
前景に基づいて、各小さい格子における前景画素の数を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項６】
各フレームの運動ヒストグラムを算出する処理は、
前記各フレームと、隣接するフレームとのフレーム差分画像を算出し、
前記各フレームを、水平方向及び／または垂直方向において複数の小さい格子に区分し、
前記フレーム差分画像の各小さい格子における画素の階調値の和を算出することにより、前記運動ヒストグラムを取得する、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項７】
前記運動ヒストグラム及び前記人体領域の面積に基づいて人体姿勢が現在のフレームと類似するフレームを探索する処理は、
現在のフレームと前記各フレームとの運動ヒストグラムの類似度及び人体領域の面積の類似度をそれぞれ算出し、
前記運動ヒストグラムの類似度及び前記人体領域の面積の類似度のそれぞれに影響因子を設定し、
前記影響因子に基づいて総類似度を算出し、
最大の総類似度が所定の閾値より小さい場合に、前記探索範囲内に人体姿勢が現在のフレームと類似するフレームが存在しないと判定し、
最大の総類似度が所定の閾値より大きい場合に、最大の総類似度を有するフレームを人体姿勢が現在のフレームと類似するフレームとする、処理を含むことを特徴とする請求項３に記載のビデオにおける人体動作周期を特定する方法。
【請求項８】
請求項１ないし７のいずれか１項に記載の方法に基づいてビデオにおける人体動作の周期を特定し、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する、処理を含むことを特徴とするビデオにおける人体動作を認識する方法。
【請求項９】
探索範囲内において人体姿勢が現在のフレームと類似するフレームを探索する探索部と、
前記探索部が探索範囲内において前記人体姿勢が現在のフレームと類似するフレームを探索できた場合に、現在のフレームと前記人体姿勢が現在のフレームと類似するフレームとの間の時間長さをビデオにおける人体動作周期とする周期特定部と、を含むことを特徴とするビデオにおける人体動作周期を特定する装置。
【請求項１０】
請求項９に記載のビデオにおける人体動作周期を特定する装置を含む人体動作周期特定部と、
特定された周期に基づいて時間的・空間的特徴を抽出してビデオにおける人体動作を認識する認識部と、を含むことを特徴とするビデオにおける人体動作を認識する装置。
【請求項１１】
請求項１ないし８のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１６１７０（Ｐ２０１３−１６１７０Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１２−１４７１３０（Ｐ２０１２−１４７１３０）
【出願日】平成２４年６月２９日（２０１２．６．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２４年６月２９日（２０１２．６．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]