周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体
【課題】直感的かつ非接触での操作、自然なインタラクションを可能にした周期ジェスチャ識別装置及び識別方法を提供する。
【解決手段】この周期ジェスチャ識別装置１００は、大きく分けると、被写体画像を撮像する撮像手段１、撮像手段１により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段２と、周期運動検出手段２により被写体画像が周期運動をしていると判定された場合、被写体画像から特定部位に係る動作領域を抽出する特定部位動作領域抽出手段３と、特定部位動作領域抽出手段３により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段４と、各手段を同期制御する制御手段５と、を備えて構成されている。
【解決手段】この周期ジェスチャ識別装置１００は、大きく分けると、被写体画像を撮像する撮像手段１、撮像手段１により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段２と、周期運動検出手段２により被写体画像が周期運動をしていると判定された場合、被写体画像から特定部位に係る動作領域を抽出する特定部位動作領域抽出手段３と、特定部位動作領域抽出手段３により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段４と、各手段を同期制御する制御手段５と、を備えて構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周期ジェスチャ識別装置に関し、濃淡値の時系列変化を利用して、画像から周期ジェスチャを認識する装置及び認識方法に関するものである。
【背景技術】
【０００２】
ロボットを始めとする機械が我々人間のパートナーとなって安全で豊かな暮らしを実現するために、人間から機械への意思伝達を自然に行える柔軟なヒューマン・マシン・インタフェース（Human Machine Interface：ＨＭＩ）を構築することが重要である。即ち、我々の日常的なコミュニケーションを考えた場合、意識的あるいは無意識的に身振り、手振りなどのジェスチャを頻繁に用いている。そこで、直感的かつ非接触での操作を可能にするＨＭＩの一つとして、ジェスチャを用いることが考えられる。
【０００３】
これまでに、ジェスチャ認識を用いたＨＭＩの研究が、人工現実感やコンピュータビジョンなどの分野で数多く報告されている。人工現実感では、３次元位置センサや加速度センサを搭載したグローブ型のデバイスを用いて空間的な手の配置や動きを検出して、ジェスチャを認識する手法が提案されている。ほかにも、情報機器や情報家電機器の操作を実現する指装着型のウェアラブルデバイスが提案されている。このような装着型の入力デバイスは人工現実感システムにおける重要な入力手段として用いられてきたが、自然なインタラクションという観点からは、着脱の手間やケーブルなどによって動きに制約があるなどの問題から必ずしも適しているとはいえない。
このようなことから、ケーブルなどを必要としない非接触型のアプローチとして画像処理に基づく手法が研究されてきた。画像処理に基づくジェスチャ認識の手法は、マーカを利用する手法と利用しない手法に分けられる。前者のマーカを利用する手法は、例えばユーザの手足に装着したマーカの位置を、ステレオ法などにより３次元的に追跡してジェスチャを認識するものである。しかし、マーカなどを手足に装着することは、自然なインタラクションを実現するうえでは望ましくない。これに対して、後者のマーカを利用しない手法では、入力画像から抽出された手などの領域に対して、動き、形状変化などからマッチングを行ってジェスチャを認識している。そして、手などの領域を抽出するためには、２つの手法が一般的に用いられている。１つは、カラー画像からユーザの肌の色に近い色領域を抽出することにより手領域を特定する手法である。しかし、この手法では、光源環境の変化によりユーザの肌色も変化するため、安定した領域抽出が困難である。もう１つは、画像間の差分を利用する手法である。この手法では、背景が複雑である場合、背景が一定でない場合、対象領域と背景が同様の色を持つ場合などでは、対象領域だけを安定して抽出することが困難となる。そのため、背景を一定の状態や色に制限する必要があり、使用可能な環境が限定されるという問題が生じる。
【０００４】
また、マーカなどを用いず、且つユーザの手に対応する画像領域を抽出するという前処理を行うことなくジェスチャを認識する手法も提案されているが、人物が複数存在するなどで移動領域が複数の場合、適用が困難である。一方、手振り動作を認識することで、複数の人物が存在する環境下においてもロバストに動作者及び動作者の位置の特定を行う手法も提案されている。さらにこの手法では、色情報を用いていないため、照明条件や肌色の個人差に対してロバストであることが示されている。しかしながら、手を左右に振るなどの繰り返し動作を認識するのみで、その繰り返し動作がジェスチャであることを識別できないという問題がある。
また、従来技術として特許文献１には、多軸角速度センサ又は多軸加速度センサによりジェスチャを入力する技術が開示されているが、この様な接触型のセンサを使用するため、操作可能な範囲が限定されてしまうといった課題がある。また、特許文献２には、時間差分画像を二値化して、そのパターンによってジェスチャを認識する手法について開示されている。しかし、この手法では処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献３には、動画像の各フレームについて対数極座標変換を行い、その変換画像の各画素における高次局所自己相関特徴を用いたジェスチャ認識する技術について開示されている。しかし、特許文献２と同様に処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献４には、距離値を画素値とする距離画像を連続的に生成する距離画像センサの出力データを利用したジェスチャ認識手法について開示されている。しかし、この従来技術では高価な距離画像センサを使用するため、装置のコストが嵩むといった問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２１９７０３号公報
【特許文献２】特開平１０−１６２１５１号公報
【特許文献３】特開２００５−１２２４９２公報
【特許文献４】特開２００６−９９７４９公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる課題に鑑みてなされたものであり、低解像度化した濃淡画像の各画素に対して時間軸方向のＦＦＴを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手の動作領域を抽出し、その領域内の位相スペクトルを用いて周期ジェスチャの種類を識別することにより、直感的かつ非接触での操作、自然なインタラクションを可能にした周期ジェスチャ識別装置及び識別方法を提供することを目的とする。
また、他の目的は、あらかじめ肌色の情報などを使って手領域を抽出するといった画像処理を不必要として、高速な計算が可能なＦＦＴを適用することで、極めて簡潔な処理を実現することにより、システムの小型化、ハードウェア化が期待でき、且つ汎用性のあるインタフェースを実現することである。
【課題を解決するための手段】
【０００７】
本発明はかかる課題を解決するために、請求項１は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明の周期ジェスチャ識別装置は、まず、ビデオカメラ等の撮像手段により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位（例えば、手）の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量（位相スペクトル）に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが所定回数以上同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
【０００８】
請求項２は、前記周期運動検出手段は、前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段と、該低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段と、 該低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段と、該正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段と、を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする。
被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本発明の周期運動検出手段では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果のために、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換（ＦＦＴ）を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に認識することができる。
【０００９】
請求項３は、前記周期ジェスチャ識別手段は、前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
請求項４は、前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする。
取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはｍ×ｎ画素により決定される。即ち、被写体画像の大きさ（手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される）と処理速度との兼ね合いで決定される。また、被写体画像の一定領域（ブロック）ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる。
【００１０】
請求項５は、前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なうことを特徴とする。
画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難である。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位を的確に抽出することができる。
請求項６は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
パワースペクトルが最大となる周波数は、周期運動の特徴を表す代表値とみなすことができる。そこで本発明では、周期ジェスチャの識別に用いる位相スペクトルは、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。これにより、パターン認識の誤差を低減して認識率を高めることができる。
【００１１】
請求項７は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、特定部位動作領域抽出手段が前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明は請求項１と同様の作用効果を奏する。
請求項８は、前記周期運動検出手段は、低解像度化手段が前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化するステップと、低解像度画素濃淡値取得手段が前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得するステップと、正規化手段が前記低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化するステップと、スペクトル抽出手段が前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するステップと、を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする。
本発明は請求項２と同様の作用効果を奏する。
【００１２】
請求項９は、前記周期ジェスチャ識別手段は、矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画像を含む矩形領域を生成するステップと、位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
本発明は請求項３と同様の作用効果を奏する。
請求項１０は、前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする。
本発明は請求項４と同様の作用効果を奏する。
請求項１１は、前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別するうえで不要な周期運動領域を除去する補正を行なうことを特徴とする。
本発明は請求項５と同様の作用効果を奏する。
【００１３】
請求項１２は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
本発明は請求項６と同様の作用効果を奏する。
請求項１３は、請求項７乃至１２の何れか一項に記載の周期ジェスチャ識別方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
かかる発明によれば、本発明の周期ジェスチャ識別方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
請求項１４は、請求項１３に記載の周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
かかる発明によれば、周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【発明の効果】
【００１４】
本発明によれば、低解像度化した濃淡画像の各画素に対して時間軸方向のFFTを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手の動作領域を抽出し、その領域内の位相スペクトルを用いて被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別するので、そのジェスチャの種別を正確に且つ迅速に判定することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。
【図２】本発明の周期ジェスチャ識別装置の動作について説明するフローチャートである。
【図３】時系列低解像度画像を示す図である。
【図４】（ａ）は取得画像１５、（ｂ）は低解像度化した画像１７の例を示す図である。
【図５】（ａ）は各フレームにおける画像の濃淡値を示す図、（ｂ）は（ａ）を正規化した図、（ｃ）はパワースペクトルを表す図、（ｄ）は位相スペクトルを表す図である。
【図６】（ａ）は取得画像を示す図、（ｂ）は周期運動を検出した画素を示す図である。
【図７】（ａ）は不要な周期運動領域を除去した図、（ｂ）は補正された周期運動領域を示す図である。
【図８】（ａ）は抽出された手の動作領域を示す図、（ｂ）は全画素を内包する矩形領域２８を示す図である。
【図９】位相スペクトル取得領域を示す図である。
【図１０】（ａ）は取得パワースペクトルの選択を説明する図、（ｂ）は取得位相スペクトルの選択を説明する図である。
【図１１】（ａ）はLinearly-separable、（ｂ）はLinearly-inseparableのマージンと識別面を示す図である。
【図１２】（ａ）はHorizontal、（ｂ）はVertical、（ｃ）はClockwise、（ｄ）はCounterclockwiseの４種類の周期ジェスチャを示す図である。
【図１３】周期運動の検出率の結果を示す図である。
【図１４】周期ジェスチャの認識率の結果を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。尚、ハードウェアの最小構成としては、ビデオカメラ又は連写可能なデジタルカメラ（モノクロ）、ＰＣ（パーソナルコンピュータ）、表示ディスプレイにより実現することができる。そして、動作を制御するプログラムはＲＯＭ等のメモリに格納され、そのプログラム（ソフトウェア）を実行することにより各機能が実現される。従って、各手段は、プログラムに含まれる機能を実現するブロックとして見做すことができる。この周期ジェスチャ識別装置１００は、図示しない被写体画像の動作に基づいて被写体画像に係る特定部位（例えば手）が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置１００であって、大きく分けると、被写体画像を撮像する撮像手段（ビデオカメラ又は連写可能なデジタルカメラ）１と、撮像手段１により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段２と、周期運動検出手段２により被写体画像が周期運動をしていると判定された場合、被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段３と、特定部位動作領域抽出手段３により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段４と、各手段を同期制御する制御手段５と、を備えて構成されている。また、被写体画像等を一時的に記憶するメモリ６と、装置の動作を制御するプログラムを格納するＲＯＭ７と、を備える。そして、連続した所定数のフレームが周期ジェスチャ識別手段２により所定回数以上同一の周期ジェスチャとして識別された場合、周期ジェスチャの種別（例えば、横振り、縦振り、時計方向の回転、反時計方向の回転等）を最終的に確定する。そして、各種別に意味合いを持たせておくことにより、種別に基づいた動作（例えば、横振りでスイッチＯＮ、縦振りでスイッチＯＦＦ等）を実行することができる。
【００１７】
即ち、本実施形態の周期ジェスチャ識別装置１００は、まず、カメラ等の撮像手段１により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位（例えば、手）の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量（位相スペクトル）に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
更に具体的には、周期運動検出手段２は、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段８と、低解像度化手段８により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段９と、低解像度画素濃淡値取得手段９により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段１０と、正規化手段１０により正規化した画素の濃淡値変化に対してフーリエ変換処理（本発明では、処理速度を速めるために高速フーリエ変換：ＦＦＴを利用する）を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段１１と、を備え、スペクトル抽出手段１１により抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。
【００１８】
即ち、被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、周期ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本実施形態の周期運動検出手段２では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった理由から、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換（ＦＦＴ）を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に検出することができる。
【００１９】
また、低解像度化手段８は、取得した各フレームの濃淡画像をｍ×ｎ画素にして低解像度化することを特徴とする。即ち、取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはｍ×ｎ画素により決定される。即ち、モザイクの大きさは被写体画像の大きさ（手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される）と処理速度との兼ね合いで決定され、被写体画像の一定領域（ブロック）ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる（詳細は後述する）。
また、特定部位動作領域抽出手段３は、周期運動検出手段２により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なう。即ち、画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位だけを的確に抽出することができる（詳細は後述する）。
【００２０】
また、周期ジェスチャ識別手段４は、特定部位動作領域抽出手段３により抽出された特定部位の全画像を含む矩形領域を生成する矩形領域生成手段１２と、矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段１３と、を備え、位相スペクトル差算出手段１３により算出された位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する。
即ち、ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
【００２１】
以下、本発明の周期ジェスチャ識別装置１００の動作について詳細に説明する。
図２は本発明の周期ジェスチャ識別装置１００の動作について説明するフローチャートである。まず、撮像手段１により取得した濃淡画像をｍ×ｎ画素に低解像度化し（Ｓ１）、全画素の濃淡値Ｉ（ｉ、ｊ、ｔ）を時系列で取得する（Ｓ２）（図３参照）。ただし、ｉ＝１、２、…、ｍ、ｊ＝１、２、…、ｎは画像座標、ｔはフレーム数である。図４（ａ）に被写体画像１５、図４（ｂ）に被写体画像１５を低解像度化した画像１７の例を示す。ここで、図４（ｂ）の符号１６が低解像度化した単位画素となる。画像の低解像度化は、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果が期待できる。
つぎに、図５（ａ）で示すように各画素における濃淡値の時系列変化を取得し、前ｕフレームにおける最大値と最小値の差を用いて正規化処理を施す（Ｓ３）。さらに図５（ｂ）で示すような正規化した濃淡値変化に対してＦＦＴを行い（Ｓ４）、図５（ｃ）、（ｄ）に示すようなスペクトルを取得する（Ｓ５）。図５（ｃ）はパワースペクトル、図５（ｄ）は位相スペクトルである。その中からパワースペクトルを算出して（Ｓ６）、そのパワースペクトルを特徴量とし、ＳＶＭを用いて判別分析を行い（Ｓ７）、周期運動領域を画素毎に抽出する（Ｓ８）。尚、特徴量にはパワースペクトルＧを用いる。Ｇは式（１）で与えられる。
Ｎはサンプリング数、ＷはＤＦＴ（Discrete Fourier Transform）における回転子を表す。
【００２２】
本発明では、ソフトマージン法・カーネルトリックをＳＶＭに適用する。学習の際、Gaussカーネルを用い、２つの未知パラメータを決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション（Cross validation）を用いてパラメータを決定する。図６に周期運動を検出した画像２１の例を示す。
画素毎に抽出された周期運動領域２２には、図６（ｂ）に示すように手振り動作領域以外にジェスチャを行う際同時に振動してしまう頭や肩、服なども含まれている。このため、ジェスチャを行っている手の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域２２を補正する。具体的にはまず、周期運動が認識された全画素に対してモルフォロジー処理を施すことで、図７（ａ）に示すように頭や肩などのジェスチャを識別するうえで不要な周期運動領域を除去して、周期運動領域２４とする。さらに、ラベリング処理で最大連結領域のみ選択することで、図７（ｂ）に示すように服などの振動領域を除去して周期運動領域２６とする。このように補正された周期運動領域を手の動作領域とする（Ｓ９）。
【００２３】
次に、抽出された手の動作領域２７（図８（ａ）参照）の全画素を内包する矩形領域２８を生成し（図８（ｂ）参照）、その領域内における画素間の位相スペクトル差を算出する（Ｓ１０）（図９参照）。ここで、識別に用いる位相スペクトルは図１０に示すように、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。即ち、図１０では、パワースペクトルのピーク周波数は３であるので（符号３０）、位相スペクトルは周波数が３の位相スペクトル３１を採用する。次にマハラノビス距離を用いた判別分析により（Ｓ１１）、この位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する（Ｓ１２）。尚、より確実な認識を行うために、ｌフレーム以上同一のジェスチャが識別された場合（Ｓ１３でＹｅｓ）に、最終結果として周期ジェスチャの種別を確定する（Ｓ１４）。
【００２４】
次に、周期運動を検出するために用いる判別分析の概要について説明する。周期運動の検出は、周期運動とそれ以外に分類する２クラスの識別問題として扱う。線形しきい素子はニューロンを非常に単純化したモデルである。このモデルは入力ｘに対し、２値の出力ｙを以下に示す識別関数によって出力する。
ｗは重みベクトル、ｘは特徴空間内の点、ｂはバイアス項と呼ばれるパラメータである。関数ｓｉｇｎ（ｕ）は、ｕ≧０のとき１をとり、ｕ＜０のとき−１をとる符号関数である。このモデルは、ｗｘがしきい値を超えれば１を出力し、超えなければ−１を出力する。これは、幾何学的には、識別平面により、入力特徴空間を２つに分けることに相当する。線形しきい素子の学習はｗ、ｂをうまく判別できるように調整することによって行われる。
【００２５】
線形判別法は、パターンの分布全体を考慮して識別面を決定する代表的な手法である。各クラスの学習パターンの平均をＭA、ＭBとすると、クラス内変動ＳW、クラス間変動ＳBは以下のように定義される。
線形判別法は、クラス内変動、クラス間変動比
を最大にする方向ｗにパターンを射影し、この１次元軸上でバイアス項ｂにより識別を行う。評価関数ｊ（ｗ）の最大化は固有問題に帰着し、その解は、
となることが知られている。
バイアス項はｂ＝−ｗT（ＭA＋ＭB）／２とする。
【００２６】
マハラノビス距離による識別法は識別を誤る確率を考慮した手法である。
各クラスの平均ベクトルをＭとし、各クラスの共分散行列をＶとする。計測された特徴量ベクトルＸとのマハラノビス距離ｄMは
で与えられる。２クラスの判別の場合、ｄ＝ＭＡ−ＭＢとすると、
となることが知られている。
【００２７】
ここでは、ＳＶＭのソフトマージン法について述べる。ソフトマージン法とは、入力データが図１１（ｂ）のように線形識別可能である場合の分離超平面を少しだけはみ出る場合に、パラメータζi≧０を用いて制約条件を緩める手法である。入力データのエラーをなるべく小さく、マージンは大きくさせるため、分離超平面は以下の条件付き最適化問題の最適解から求めることになる。
【００２８】
γは識別エラーに対するペナルティであり、この値の調節によってマージンとはみ出し具合とのバランスを決めることができる。２つの制約条件に対して、Ｌａｇｒａｎｇｅ乗数αi、および、νを導入すると、目的関数は
と書き換えられる。ｗ、ｂ、βに関する偏微分を０とする停留点では、
となるので、これを式（１４）に代入すると、
とする双対問題が得られる。最適な分離超平面のｗTは制約条件（式（１９））の下で得られた最適解αiを用いて、以下のように求まる。
【００２９】
さらに、カーネルトリックを取り入れると、
のように内積をカーネルで置き換えた形となる。Ｋはカーネル関数であり、高次元空間への写像を陰に定義している。また、最適な識別関数は、
のようにＳＶＭの内積をカーネルで置き換えた形となる。
【００３０】
本発明では、周期運動を検出するために必要な特徴量であるパワースペクトルの要約統計量を式（２３）に代入し、求められた値から周期運動が行われているか否かの判別を行う。
【００３１】
［実施例］
濃淡値の時系列変化を利用した周期ジェスチャ認識手法の有効性を確認するために、認識実験を行った。
まず、本発明が照明環境に対してロバストであることを確認するために、照明環境を変えて周期運動の検出実験を行った。同時に、周期運動を検出するためのパターン認識手法として線形判別法、マハラノビス距離による識別法、ＳＶＭを比較し検討を行った。次に、位相スペクトルを用いた周期ジェスチャの識別手法の有効性を確認するために、４種類の周期ジェスチャ認識実験を行った。図１２に実験で扱った４種類の周期ジェスチャを示す（Horizontal：Ｈ、Vertical：Ｖ、Clockwise：ＣＷ、Counterclockwise：ＣＣＷ）。
サンプリング数Ｎは周波数分解能から３２とし、正規化フレーム数ｕは３２、周期ジェスチャの種別を確定するためのフレーム数ｌは１０、解像度は２０×１５とした。また、カメラから被験者までの距離は２［ｍ］とした。２名の被験者に周期ジェスチャとそれ以外の動作を行ってもらい、スペクトルを取得して学習を行った。
【００３２】
本発明では、ソフトマージン法・カーネルトリックをＳＶＭに適用し学習する際、次式に示すGaussカーネルを用いる。
ここで、ソフトマージン法で用いる、逸脱する範囲を決める定数である式（１２）のγと、カーネルトリックで用いる式（２４）Gaussカーネルのσの２つの未知数を決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション（Cross validation）を用いてパラメータを決定する。
【００３３】
パターン認識の手法として線形判別法、マハラノビス距離による識別法、ＳＶＭ、それぞれを用いて周期運動の検出に関するシミュレーション実験を行った。シミュレーション実験を行うためのＳＶＭツールとしてＬＩＢＳＶＭを利用した。
まず、２名の被験者に４種類の周期ジェスチャと室内を前後左右に歩行する動作や室内における無造作な動作を行ってもらい、周期運動とそれ以外の動作に対してそれぞれ４０００フレーム分のパワースペクトルを取得し学習用データとした。実験環境は室内の照明をすべてつけた状態で行った。
次に、２パターンの照明環境下で、周期ジェスチャを行ってもらい、２０００フレーム分のパワースペクトルを取得しテスト用データとした。実験環境は蛍光灯のみの照明とし、手領域付近の鉛直面照度は約６０〜１９０［ｌｘ］（室内の照明を約１／３にした場合）と約２５０〜３１５［ｌｘ］（室内の照明をすべてつけた場合）で行った。
【００３４】
図１３は周期運動検出実験結果である。異なる照明環境においても高い精度で周期動作が認識されていることがわかる。このことから、照明環境に左右されることなく周期運動を認識可能であることが確認できる。室内の照明が明るい場合と暗い場合の認識率を比較すると、どの手法を用いた場合でも照明を暗くした方が若干認識率が高い。これは照明が明るい場合、壁面が十分に照らされ、手と背景で濃淡の差が生じなかったことが考えられる。また、ＳＶＭが線形判別法やマハラノビス距離による識別法より優れていることがわかる。以上のことから、周期運動の検出に関して、濃淡値の時系列変化を利用した認識手法が有効であり、周期運動を検出するためのパターン認識の手法として、ＳＶＭが有効であるといえる。
【００３５】
また、本発明で照明環境に対してロバストに周期運動を検出できることを示した。さらに、パターン認識の手法について検討し、ＳＶＭが有効であることを示した。本実施例では、ＳＶＭを用いて周期運動を検出し、各周期ジェスチャを認識する実験を行い考察する。
まず、２名の被験者に４種類の周期ジェスチャを行ってもらい、各ジェスチャに対して１０００フレーム分の位相スペクトル差を取得した。このようにして集めた合計４０００フレーム分の位相スペクトル差を用いて学習を行った。次に、学習データを提供した２名を含む４名の被験者により、各周期ジェスチャの認識実験を行った。各被験者が各ジェスチャを２５回ずつ行い、４種類のジェスチャで合計１００回の動作を行った。実験環境は室内の照明をすべてつけた状態で行った。各被験者は４つの周期ジェスチャを行うように求められ、求められたジェスチャと本システムにより判別されたジェスチャの一致度で評価を行った。
【００３６】
図１４に周期ジェスチャの判別結果を示す。各周期ジェスチャを正しく認識する確率（Probability of correct recognition-PCR）は８０．３％である。ＰＣＲは図１４の対角要素の平均である。横動作に関しては、９６％と高い認識率が得られていることがわかる。さらに、同じ回転動作である時計周りと反時計まわりに関しても高い認識率が得られていることから、各周期ジェスチャを識別するうえで位相スペクトル差を用いることが有効であると確認できる。反時計まわりの回転動作の方が若干認識率が低くなっているが、これは個人により利き手があるように回転させる方向にも得意、不得意などの個人差があったと考えられる。また、縦動作の認識率が他のジェスチャと比較し低いことがわかる。これは、周期運動検出後に精度良く手の動作領域を抽出できなかったため、的確に位相スペクトル差を取得出来なかったことが原因と考えられる。
【００３７】
以上、本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の周期ジェスチャ識別装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
尚、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００３８】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、インターネット等を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
尚、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【符号の説明】
【００３９】
１ 撮像手段、２ 周期運動検出手段、３ 特定部位動作領域抽出手段、４ 周期ジェスチャ識別手段、５ 制御手段、６ メモリ、７ ＲＯＭ、８ 低解像度化手段、９ 濃淡値画素取得手段、１０ 正規化手段、１１ スペクトル抽出手段、１２ 矩形領域生成手段、１３ 位相スペクトル差算出手段、１００ 周期ジェスチャ識別装置
【技術分野】
【０００１】
本発明は、周期ジェスチャ識別装置に関し、濃淡値の時系列変化を利用して、画像から周期ジェスチャを認識する装置及び認識方法に関するものである。
【背景技術】
【０００２】
ロボットを始めとする機械が我々人間のパートナーとなって安全で豊かな暮らしを実現するために、人間から機械への意思伝達を自然に行える柔軟なヒューマン・マシン・インタフェース（Human Machine Interface：ＨＭＩ）を構築することが重要である。即ち、我々の日常的なコミュニケーションを考えた場合、意識的あるいは無意識的に身振り、手振りなどのジェスチャを頻繁に用いている。そこで、直感的かつ非接触での操作を可能にするＨＭＩの一つとして、ジェスチャを用いることが考えられる。
【０００３】
これまでに、ジェスチャ認識を用いたＨＭＩの研究が、人工現実感やコンピュータビジョンなどの分野で数多く報告されている。人工現実感では、３次元位置センサや加速度センサを搭載したグローブ型のデバイスを用いて空間的な手の配置や動きを検出して、ジェスチャを認識する手法が提案されている。ほかにも、情報機器や情報家電機器の操作を実現する指装着型のウェアラブルデバイスが提案されている。このような装着型の入力デバイスは人工現実感システムにおける重要な入力手段として用いられてきたが、自然なインタラクションという観点からは、着脱の手間やケーブルなどによって動きに制約があるなどの問題から必ずしも適しているとはいえない。
このようなことから、ケーブルなどを必要としない非接触型のアプローチとして画像処理に基づく手法が研究されてきた。画像処理に基づくジェスチャ認識の手法は、マーカを利用する手法と利用しない手法に分けられる。前者のマーカを利用する手法は、例えばユーザの手足に装着したマーカの位置を、ステレオ法などにより３次元的に追跡してジェスチャを認識するものである。しかし、マーカなどを手足に装着することは、自然なインタラクションを実現するうえでは望ましくない。これに対して、後者のマーカを利用しない手法では、入力画像から抽出された手などの領域に対して、動き、形状変化などからマッチングを行ってジェスチャを認識している。そして、手などの領域を抽出するためには、２つの手法が一般的に用いられている。１つは、カラー画像からユーザの肌の色に近い色領域を抽出することにより手領域を特定する手法である。しかし、この手法では、光源環境の変化によりユーザの肌色も変化するため、安定した領域抽出が困難である。もう１つは、画像間の差分を利用する手法である。この手法では、背景が複雑である場合、背景が一定でない場合、対象領域と背景が同様の色を持つ場合などでは、対象領域だけを安定して抽出することが困難となる。そのため、背景を一定の状態や色に制限する必要があり、使用可能な環境が限定されるという問題が生じる。
【０００４】
また、マーカなどを用いず、且つユーザの手に対応する画像領域を抽出するという前処理を行うことなくジェスチャを認識する手法も提案されているが、人物が複数存在するなどで移動領域が複数の場合、適用が困難である。一方、手振り動作を認識することで、複数の人物が存在する環境下においてもロバストに動作者及び動作者の位置の特定を行う手法も提案されている。さらにこの手法では、色情報を用いていないため、照明条件や肌色の個人差に対してロバストであることが示されている。しかしながら、手を左右に振るなどの繰り返し動作を認識するのみで、その繰り返し動作がジェスチャであることを識別できないという問題がある。
また、従来技術として特許文献１には、多軸角速度センサ又は多軸加速度センサによりジェスチャを入力する技術が開示されているが、この様な接触型のセンサを使用するため、操作可能な範囲が限定されてしまうといった課題がある。また、特許文献２には、時間差分画像を二値化して、そのパターンによってジェスチャを認識する手法について開示されている。しかし、この手法では処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献３には、動画像の各フレームについて対数極座標変換を行い、その変換画像の各画素における高次局所自己相関特徴を用いたジェスチャ認識する技術について開示されている。しかし、特許文献２と同様に処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献４には、距離値を画素値とする距離画像を連続的に生成する距離画像センサの出力データを利用したジェスチャ認識手法について開示されている。しかし、この従来技術では高価な距離画像センサを使用するため、装置のコストが嵩むといった問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２１９７０３号公報
【特許文献２】特開平１０−１６２１５１号公報
【特許文献３】特開２００５−１２２４９２公報
【特許文献４】特開２００６−９９７４９公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる課題に鑑みてなされたものであり、低解像度化した濃淡画像の各画素に対して時間軸方向のＦＦＴを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手の動作領域を抽出し、その領域内の位相スペクトルを用いて周期ジェスチャの種類を識別することにより、直感的かつ非接触での操作、自然なインタラクションを可能にした周期ジェスチャ識別装置及び識別方法を提供することを目的とする。
また、他の目的は、あらかじめ肌色の情報などを使って手領域を抽出するといった画像処理を不必要として、高速な計算が可能なＦＦＴを適用することで、極めて簡潔な処理を実現することにより、システムの小型化、ハードウェア化が期待でき、且つ汎用性のあるインタフェースを実現することである。
【課題を解決するための手段】
【０００７】
本発明はかかる課題を解決するために、請求項１は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明の周期ジェスチャ識別装置は、まず、ビデオカメラ等の撮像手段により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位（例えば、手）の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量（位相スペクトル）に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが所定回数以上同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
【０００８】
請求項２は、前記周期運動検出手段は、前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段と、該低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段と、 該低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段と、該正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段と、を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする。
被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本発明の周期運動検出手段では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果のために、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換（ＦＦＴ）を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に認識することができる。
【０００９】
請求項３は、前記周期ジェスチャ識別手段は、前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
請求項４は、前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする。
取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはｍ×ｎ画素により決定される。即ち、被写体画像の大きさ（手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される）と処理速度との兼ね合いで決定される。また、被写体画像の一定領域（ブロック）ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる。
【００１０】
請求項５は、前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なうことを特徴とする。
画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難である。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位を的確に抽出することができる。
請求項６は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
パワースペクトルが最大となる周波数は、周期運動の特徴を表す代表値とみなすことができる。そこで本発明では、周期ジェスチャの識別に用いる位相スペクトルは、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。これにより、パターン認識の誤差を低減して認識率を高めることができる。
【００１１】
請求項７は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、特定部位動作領域抽出手段が前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明は請求項１と同様の作用効果を奏する。
請求項８は、前記周期運動検出手段は、低解像度化手段が前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化するステップと、低解像度画素濃淡値取得手段が前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得するステップと、正規化手段が前記低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化するステップと、スペクトル抽出手段が前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するステップと、を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする。
本発明は請求項２と同様の作用効果を奏する。
【００１２】
請求項９は、前記周期ジェスチャ識別手段は、矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画像を含む矩形領域を生成するステップと、位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
本発明は請求項３と同様の作用効果を奏する。
請求項１０は、前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする。
本発明は請求項４と同様の作用効果を奏する。
請求項１１は、前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別するうえで不要な周期運動領域を除去する補正を行なうことを特徴とする。
本発明は請求項５と同様の作用効果を奏する。
【００１３】
請求項１２は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
本発明は請求項６と同様の作用効果を奏する。
請求項１３は、請求項７乃至１２の何れか一項に記載の周期ジェスチャ識別方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
かかる発明によれば、本発明の周期ジェスチャ識別方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
請求項１４は、請求項１３に記載の周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
かかる発明によれば、周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【発明の効果】
【００１４】
本発明によれば、低解像度化した濃淡画像の各画素に対して時間軸方向のFFTを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手の動作領域を抽出し、その領域内の位相スペクトルを用いて被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別するので、そのジェスチャの種別を正確に且つ迅速に判定することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。
【図２】本発明の周期ジェスチャ識別装置の動作について説明するフローチャートである。
【図３】時系列低解像度画像を示す図である。
【図４】（ａ）は取得画像１５、（ｂ）は低解像度化した画像１７の例を示す図である。
【図５】（ａ）は各フレームにおける画像の濃淡値を示す図、（ｂ）は（ａ）を正規化した図、（ｃ）はパワースペクトルを表す図、（ｄ）は位相スペクトルを表す図である。
【図６】（ａ）は取得画像を示す図、（ｂ）は周期運動を検出した画素を示す図である。
【図７】（ａ）は不要な周期運動領域を除去した図、（ｂ）は補正された周期運動領域を示す図である。
【図８】（ａ）は抽出された手の動作領域を示す図、（ｂ）は全画素を内包する矩形領域２８を示す図である。
【図９】位相スペクトル取得領域を示す図である。
【図１０】（ａ）は取得パワースペクトルの選択を説明する図、（ｂ）は取得位相スペクトルの選択を説明する図である。
【図１１】（ａ）はLinearly-separable、（ｂ）はLinearly-inseparableのマージンと識別面を示す図である。
【図１２】（ａ）はHorizontal、（ｂ）はVertical、（ｃ）はClockwise、（ｄ）はCounterclockwiseの４種類の周期ジェスチャを示す図である。
【図１３】周期運動の検出率の結果を示す図である。
【図１４】周期ジェスチャの認識率の結果を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。尚、ハードウェアの最小構成としては、ビデオカメラ又は連写可能なデジタルカメラ（モノクロ）、ＰＣ（パーソナルコンピュータ）、表示ディスプレイにより実現することができる。そして、動作を制御するプログラムはＲＯＭ等のメモリに格納され、そのプログラム（ソフトウェア）を実行することにより各機能が実現される。従って、各手段は、プログラムに含まれる機能を実現するブロックとして見做すことができる。この周期ジェスチャ識別装置１００は、図示しない被写体画像の動作に基づいて被写体画像に係る特定部位（例えば手）が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置１００であって、大きく分けると、被写体画像を撮像する撮像手段（ビデオカメラ又は連写可能なデジタルカメラ）１と、撮像手段１により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段２と、周期運動検出手段２により被写体画像が周期運動をしていると判定された場合、被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段３と、特定部位動作領域抽出手段３により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段４と、各手段を同期制御する制御手段５と、を備えて構成されている。また、被写体画像等を一時的に記憶するメモリ６と、装置の動作を制御するプログラムを格納するＲＯＭ７と、を備える。そして、連続した所定数のフレームが周期ジェスチャ識別手段２により所定回数以上同一の周期ジェスチャとして識別された場合、周期ジェスチャの種別（例えば、横振り、縦振り、時計方向の回転、反時計方向の回転等）を最終的に確定する。そして、各種別に意味合いを持たせておくことにより、種別に基づいた動作（例えば、横振りでスイッチＯＮ、縦振りでスイッチＯＦＦ等）を実行することができる。
【００１７】
即ち、本実施形態の周期ジェスチャ識別装置１００は、まず、カメラ等の撮像手段１により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位（例えば、手）の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量（位相スペクトル）に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
更に具体的には、周期運動検出手段２は、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段８と、低解像度化手段８により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段９と、低解像度画素濃淡値取得手段９により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段１０と、正規化手段１０により正規化した画素の濃淡値変化に対してフーリエ変換処理（本発明では、処理速度を速めるために高速フーリエ変換：ＦＦＴを利用する）を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段１１と、を備え、スペクトル抽出手段１１により抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。
【００１８】
即ち、被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、周期ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本実施形態の周期運動検出手段２では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった理由から、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換（ＦＦＴ）を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に検出することができる。
【００１９】
また、低解像度化手段８は、取得した各フレームの濃淡画像をｍ×ｎ画素にして低解像度化することを特徴とする。即ち、取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはｍ×ｎ画素により決定される。即ち、モザイクの大きさは被写体画像の大きさ（手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される）と処理速度との兼ね合いで決定され、被写体画像の一定領域（ブロック）ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる（詳細は後述する）。
また、特定部位動作領域抽出手段３は、周期運動検出手段２により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なう。即ち、画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位だけを的確に抽出することができる（詳細は後述する）。
【００２０】
また、周期ジェスチャ識別手段４は、特定部位動作領域抽出手段３により抽出された特定部位の全画像を含む矩形領域を生成する矩形領域生成手段１２と、矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段１３と、を備え、位相スペクトル差算出手段１３により算出された位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する。
即ち、ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
【００２１】
以下、本発明の周期ジェスチャ識別装置１００の動作について詳細に説明する。
図２は本発明の周期ジェスチャ識別装置１００の動作について説明するフローチャートである。まず、撮像手段１により取得した濃淡画像をｍ×ｎ画素に低解像度化し（Ｓ１）、全画素の濃淡値Ｉ（ｉ、ｊ、ｔ）を時系列で取得する（Ｓ２）（図３参照）。ただし、ｉ＝１、２、…、ｍ、ｊ＝１、２、…、ｎは画像座標、ｔはフレーム数である。図４（ａ）に被写体画像１５、図４（ｂ）に被写体画像１５を低解像度化した画像１７の例を示す。ここで、図４（ｂ）の符号１６が低解像度化した単位画素となる。画像の低解像度化は、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果が期待できる。
つぎに、図５（ａ）で示すように各画素における濃淡値の時系列変化を取得し、前ｕフレームにおける最大値と最小値の差を用いて正規化処理を施す（Ｓ３）。さらに図５（ｂ）で示すような正規化した濃淡値変化に対してＦＦＴを行い（Ｓ４）、図５（ｃ）、（ｄ）に示すようなスペクトルを取得する（Ｓ５）。図５（ｃ）はパワースペクトル、図５（ｄ）は位相スペクトルである。その中からパワースペクトルを算出して（Ｓ６）、そのパワースペクトルを特徴量とし、ＳＶＭを用いて判別分析を行い（Ｓ７）、周期運動領域を画素毎に抽出する（Ｓ８）。尚、特徴量にはパワースペクトルＧを用いる。Ｇは式（１）で与えられる。
Ｎはサンプリング数、ＷはＤＦＴ（Discrete Fourier Transform）における回転子を表す。
【００２２】
本発明では、ソフトマージン法・カーネルトリックをＳＶＭに適用する。学習の際、Gaussカーネルを用い、２つの未知パラメータを決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション（Cross validation）を用いてパラメータを決定する。図６に周期運動を検出した画像２１の例を示す。
画素毎に抽出された周期運動領域２２には、図６（ｂ）に示すように手振り動作領域以外にジェスチャを行う際同時に振動してしまう頭や肩、服なども含まれている。このため、ジェスチャを行っている手の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域２２を補正する。具体的にはまず、周期運動が認識された全画素に対してモルフォロジー処理を施すことで、図７（ａ）に示すように頭や肩などのジェスチャを識別するうえで不要な周期運動領域を除去して、周期運動領域２４とする。さらに、ラベリング処理で最大連結領域のみ選択することで、図７（ｂ）に示すように服などの振動領域を除去して周期運動領域２６とする。このように補正された周期運動領域を手の動作領域とする（Ｓ９）。
【００２３】
次に、抽出された手の動作領域２７（図８（ａ）参照）の全画素を内包する矩形領域２８を生成し（図８（ｂ）参照）、その領域内における画素間の位相スペクトル差を算出する（Ｓ１０）（図９参照）。ここで、識別に用いる位相スペクトルは図１０に示すように、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。即ち、図１０では、パワースペクトルのピーク周波数は３であるので（符号３０）、位相スペクトルは周波数が３の位相スペクトル３１を採用する。次にマハラノビス距離を用いた判別分析により（Ｓ１１）、この位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する（Ｓ１２）。尚、より確実な認識を行うために、ｌフレーム以上同一のジェスチャが識別された場合（Ｓ１３でＹｅｓ）に、最終結果として周期ジェスチャの種別を確定する（Ｓ１４）。
【００２４】
次に、周期運動を検出するために用いる判別分析の概要について説明する。周期運動の検出は、周期運動とそれ以外に分類する２クラスの識別問題として扱う。線形しきい素子はニューロンを非常に単純化したモデルである。このモデルは入力ｘに対し、２値の出力ｙを以下に示す識別関数によって出力する。
ｗは重みベクトル、ｘは特徴空間内の点、ｂはバイアス項と呼ばれるパラメータである。関数ｓｉｇｎ（ｕ）は、ｕ≧０のとき１をとり、ｕ＜０のとき−１をとる符号関数である。このモデルは、ｗｘがしきい値を超えれば１を出力し、超えなければ−１を出力する。これは、幾何学的には、識別平面により、入力特徴空間を２つに分けることに相当する。線形しきい素子の学習はｗ、ｂをうまく判別できるように調整することによって行われる。
【００２５】
線形判別法は、パターンの分布全体を考慮して識別面を決定する代表的な手法である。各クラスの学習パターンの平均をＭA、ＭBとすると、クラス内変動ＳW、クラス間変動ＳBは以下のように定義される。
線形判別法は、クラス内変動、クラス間変動比
を最大にする方向ｗにパターンを射影し、この１次元軸上でバイアス項ｂにより識別を行う。評価関数ｊ（ｗ）の最大化は固有問題に帰着し、その解は、
となることが知られている。
バイアス項はｂ＝−ｗT（ＭA＋ＭB）／２とする。
【００２６】
マハラノビス距離による識別法は識別を誤る確率を考慮した手法である。
各クラスの平均ベクトルをＭとし、各クラスの共分散行列をＶとする。計測された特徴量ベクトルＸとのマハラノビス距離ｄMは
で与えられる。２クラスの判別の場合、ｄ＝ＭＡ−ＭＢとすると、
となることが知られている。
【００２７】
ここでは、ＳＶＭのソフトマージン法について述べる。ソフトマージン法とは、入力データが図１１（ｂ）のように線形識別可能である場合の分離超平面を少しだけはみ出る場合に、パラメータζi≧０を用いて制約条件を緩める手法である。入力データのエラーをなるべく小さく、マージンは大きくさせるため、分離超平面は以下の条件付き最適化問題の最適解から求めることになる。
【００２８】
γは識別エラーに対するペナルティであり、この値の調節によってマージンとはみ出し具合とのバランスを決めることができる。２つの制約条件に対して、Ｌａｇｒａｎｇｅ乗数αi、および、νを導入すると、目的関数は
と書き換えられる。ｗ、ｂ、βに関する偏微分を０とする停留点では、
となるので、これを式（１４）に代入すると、
とする双対問題が得られる。最適な分離超平面のｗTは制約条件（式（１９））の下で得られた最適解αiを用いて、以下のように求まる。
【００２９】
さらに、カーネルトリックを取り入れると、
のように内積をカーネルで置き換えた形となる。Ｋはカーネル関数であり、高次元空間への写像を陰に定義している。また、最適な識別関数は、
のようにＳＶＭの内積をカーネルで置き換えた形となる。
【００３０】
本発明では、周期運動を検出するために必要な特徴量であるパワースペクトルの要約統計量を式（２３）に代入し、求められた値から周期運動が行われているか否かの判別を行う。
【００３１】
［実施例］
濃淡値の時系列変化を利用した周期ジェスチャ認識手法の有効性を確認するために、認識実験を行った。
まず、本発明が照明環境に対してロバストであることを確認するために、照明環境を変えて周期運動の検出実験を行った。同時に、周期運動を検出するためのパターン認識手法として線形判別法、マハラノビス距離による識別法、ＳＶＭを比較し検討を行った。次に、位相スペクトルを用いた周期ジェスチャの識別手法の有効性を確認するために、４種類の周期ジェスチャ認識実験を行った。図１２に実験で扱った４種類の周期ジェスチャを示す（Horizontal：Ｈ、Vertical：Ｖ、Clockwise：ＣＷ、Counterclockwise：ＣＣＷ）。
サンプリング数Ｎは周波数分解能から３２とし、正規化フレーム数ｕは３２、周期ジェスチャの種別を確定するためのフレーム数ｌは１０、解像度は２０×１５とした。また、カメラから被験者までの距離は２［ｍ］とした。２名の被験者に周期ジェスチャとそれ以外の動作を行ってもらい、スペクトルを取得して学習を行った。
【００３２】
本発明では、ソフトマージン法・カーネルトリックをＳＶＭに適用し学習する際、次式に示すGaussカーネルを用いる。
ここで、ソフトマージン法で用いる、逸脱する範囲を決める定数である式（１２）のγと、カーネルトリックで用いる式（２４）Gaussカーネルのσの２つの未知数を決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション（Cross validation）を用いてパラメータを決定する。
【００３３】
パターン認識の手法として線形判別法、マハラノビス距離による識別法、ＳＶＭ、それぞれを用いて周期運動の検出に関するシミュレーション実験を行った。シミュレーション実験を行うためのＳＶＭツールとしてＬＩＢＳＶＭを利用した。
まず、２名の被験者に４種類の周期ジェスチャと室内を前後左右に歩行する動作や室内における無造作な動作を行ってもらい、周期運動とそれ以外の動作に対してそれぞれ４０００フレーム分のパワースペクトルを取得し学習用データとした。実験環境は室内の照明をすべてつけた状態で行った。
次に、２パターンの照明環境下で、周期ジェスチャを行ってもらい、２０００フレーム分のパワースペクトルを取得しテスト用データとした。実験環境は蛍光灯のみの照明とし、手領域付近の鉛直面照度は約６０〜１９０［ｌｘ］（室内の照明を約１／３にした場合）と約２５０〜３１５［ｌｘ］（室内の照明をすべてつけた場合）で行った。
【００３４】
図１３は周期運動検出実験結果である。異なる照明環境においても高い精度で周期動作が認識されていることがわかる。このことから、照明環境に左右されることなく周期運動を認識可能であることが確認できる。室内の照明が明るい場合と暗い場合の認識率を比較すると、どの手法を用いた場合でも照明を暗くした方が若干認識率が高い。これは照明が明るい場合、壁面が十分に照らされ、手と背景で濃淡の差が生じなかったことが考えられる。また、ＳＶＭが線形判別法やマハラノビス距離による識別法より優れていることがわかる。以上のことから、周期運動の検出に関して、濃淡値の時系列変化を利用した認識手法が有効であり、周期運動を検出するためのパターン認識の手法として、ＳＶＭが有効であるといえる。
【００３５】
また、本発明で照明環境に対してロバストに周期運動を検出できることを示した。さらに、パターン認識の手法について検討し、ＳＶＭが有効であることを示した。本実施例では、ＳＶＭを用いて周期運動を検出し、各周期ジェスチャを認識する実験を行い考察する。
まず、２名の被験者に４種類の周期ジェスチャを行ってもらい、各ジェスチャに対して１０００フレーム分の位相スペクトル差を取得した。このようにして集めた合計４０００フレーム分の位相スペクトル差を用いて学習を行った。次に、学習データを提供した２名を含む４名の被験者により、各周期ジェスチャの認識実験を行った。各被験者が各ジェスチャを２５回ずつ行い、４種類のジェスチャで合計１００回の動作を行った。実験環境は室内の照明をすべてつけた状態で行った。各被験者は４つの周期ジェスチャを行うように求められ、求められたジェスチャと本システムにより判別されたジェスチャの一致度で評価を行った。
【００３６】
図１４に周期ジェスチャの判別結果を示す。各周期ジェスチャを正しく認識する確率（Probability of correct recognition-PCR）は８０．３％である。ＰＣＲは図１４の対角要素の平均である。横動作に関しては、９６％と高い認識率が得られていることがわかる。さらに、同じ回転動作である時計周りと反時計まわりに関しても高い認識率が得られていることから、各周期ジェスチャを識別するうえで位相スペクトル差を用いることが有効であると確認できる。反時計まわりの回転動作の方が若干認識率が低くなっているが、これは個人により利き手があるように回転させる方向にも得意、不得意などの個人差があったと考えられる。また、縦動作の認識率が他のジェスチャと比較し低いことがわかる。これは、周期運動検出後に精度良く手の動作領域を抽出できなかったため、的確に位相スペクトル差を取得出来なかったことが原因と考えられる。
【００３７】
以上、本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の周期ジェスチャ識別装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
尚、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００３８】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、インターネット等を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
尚、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【符号の説明】
【００３９】
１ 撮像手段、２ 周期運動検出手段、３ 特定部位動作領域抽出手段、４ 周期ジェスチャ識別手段、５ 制御手段、６ メモリ、７ ＲＯＭ、８ 低解像度化手段、９ 濃淡値画素取得手段、１０ 正規化手段、１１ スペクトル抽出手段、１２ 矩形領域生成手段、１３ 位相スペクトル差算出手段、１００ 周期ジェスチャ識別装置
【特許請求の範囲】
【請求項１】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、
前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、
該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、
該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別装置。
【請求項２】
前記周期運動検出手段は、
前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段と、
該低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段と、
該低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段と、
該正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段と、を備え、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする請求項１に記載の周期ジェスチャ識別装置。
【請求項３】
前記周期ジェスチャ識別手段は、
前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項１又は２に記載の周期ジェスチャ識別装置。
【請求項４】
前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする請求項２に記載の周期ジェスチャ識別装置。
【請求項５】
前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なうことを特徴とする請求項１、２又は３に記載の周期ジェスチャ識別装置。
【請求項６】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項３に記載の周期ジェスチャ識別装置。
【請求項７】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、
周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、
特定部位動作領域抽出手段が前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、
周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別方法。
【請求項８】
前記周期運動検出手段は、
低解像度化手段が前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化するステップと、
低解像度画素濃淡値取得手段が前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得するステップと、
正規化手段が前記低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化するステップと、
スペクトル抽出手段が前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するステップと、を備え、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする請求項７に記載の周期ジェスチャ識別方法。
【請求項９】
前記周期ジェスチャ識別手段は、
矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成するステップと、
位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項７又は８に記載の周期ジェスチャ識別方法。
【請求項１０】
前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする請求項８に記載の周期ジェスチャ識別方法。
【請求項１１】
前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別するうえで不要な周期運動領域を除去する補正を行なうことを特徴とする請求項７、８又は９に記載の周期ジェスチャ識別方法。
【請求項１２】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項９に記載の周期ジェスチャ識別方法。
【請求項１３】
請求項７乃至１２の何れか一項に記載の周期ジェスチャ識別方法をコンピュータが制御可能にプログラミングしたことを特徴とする周期ジェスチャ識別プログラム。
【請求項１４】
請求項１３に記載の周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。
【請求項１】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、
前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、
該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、
該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別装置。
【請求項２】
前記周期運動検出手段は、
前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段と、
該低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段と、
該低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段と、
該正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段と、を備え、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする請求項１に記載の周期ジェスチャ識別装置。
【請求項３】
前記周期ジェスチャ識別手段は、
前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項１又は２に記載の周期ジェスチャ識別装置。
【請求項４】
前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする請求項２に記載の周期ジェスチャ識別装置。
【請求項５】
前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なうことを特徴とする請求項１、２又は３に記載の周期ジェスチャ識別装置。
【請求項６】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項３に記載の周期ジェスチャ識別装置。
【請求項７】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、
周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、
特定部位動作領域抽出手段が前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、
周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別方法。
【請求項８】
前記周期運動検出手段は、
低解像度化手段が前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化するステップと、
低解像度画素濃淡値取得手段が前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得するステップと、
正規化手段が前記低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化するステップと、
スペクトル抽出手段が前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するステップと、を備え、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする請求項７に記載の周期ジェスチャ識別方法。
【請求項９】
前記周期ジェスチャ識別手段は、
矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成するステップと、
位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項７又は８に記載の周期ジェスチャ識別方法。
【請求項１０】
前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする請求項８に記載の周期ジェスチャ識別方法。
【請求項１１】
前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別するうえで不要な周期運動領域を除去する補正を行なうことを特徴とする請求項７、８又は９に記載の周期ジェスチャ識別方法。
【請求項１２】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項９に記載の周期ジェスチャ識別方法。
【請求項１３】
請求項７乃至１２の何れか一項に記載の周期ジェスチャ識別方法をコンピュータが制御可能にプログラミングしたことを特徴とする周期ジェスチャ識別プログラム。
【請求項１４】
請求項１３に記載の周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図１３】
【図１４】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図１３】
【図１４】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２７１９４４（Ｐ２０１０−２７１９４４Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２３４８６（Ｐ２００９−１２３４８６）
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
[ Back to top ]