ジェスチャ認識装置、及びプログラム
【課題】従来技術と比較して、より演算量が少ない処理でジェスチャを認識する。
【解決手段】ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出し（１０２）、検出された各方向の傾きの各時系列データの周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算し（１０４、１０６、１０８）、各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物（例えばドライバ）のジェスチャとして認識する（１１０、１１２、１１４、１１６、１１８）。
【解決手段】ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出し（１０２）、検出された各方向の傾きの各時系列データの周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算し（１０４、１０６、１０８）、各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物（例えばドライバ）のジェスチャとして認識する（１１０、１１２、１１４、１１６、１１８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ認識装置、及びプログラムに関する。
【背景技術】
【０００２】
従来から、ユーザの意志を示す動作を認識する認識装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載の認識装置では、カメラにより撮影された画像データに基づいて、顔方向検知部がユーザの顔の向きを検知し、視線方向検知部がユーザの視線の向きを検知し、うなずき認識部が、顔が下を向き、顔の向きに対して視線が上方向を向く状態である場合、ユーザがうなずいたと認識する（ユーザが頷くジェスチャを行ったと認識する）と共に、首振り認識部が、顔が右または左に向くのに対し、視線が顔の向きに対して左右方向に逆方向を向く状態である場合、ユーザが首を横に振ったと認識する（ユーザが首を振るジェスチャを行ったと認識する）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９４６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の認識装置では、ユーザの顔の向きと視線の向きとを用いて、ユーザの頭部ジェスチャ（上記の例では、ユーザが頷くジェスチャ、ユーザが首を振るジェスチャ）を認識するための処理が行われており、ジェスチャを認識するための処理の演算量（処理量）が多い、という問題がある。
【０００６】
本発明は上記問題点を解決するために成されたものであり、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができるジェスチャ認識装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、第１の発明のジェスチャ認識装置は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段と、前記検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段と、前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段とを含んで構成されている。
【０００８】
第１の発明のジェスチャ認識装置によれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きの各時系列データの周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する。そして、ジェスチャ認識手段が、演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【０００９】
このように、第１の発明のジェスチャ認識装置によれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、ヨー方向の少なくとも２つの方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００１０】
また、第１の発明のジェスチャ認識装置によれば、所定周波数帯域のパワー値を各方向の傾き毎に演算し、演算されたパワー値の各々と対応する各閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、ヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００１１】
また、前記ジェスチャ認識手段を、前記最も大きいパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識するようにしてもよい。
【００１２】
また、前記検出手段を、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きを検出するようにしてもよい。
【００１３】
また、上記の目的を達成するために、第２の発明のジェスチャ認識装置は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段と、前記検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段と、前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段とを含んで構成されている。
【００１４】
第２の発明のジェスチャ認識装置によれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する。そして、ジェスチャ認識手段が、演算されたパワー値と検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００１５】
このように、第２の発明のジェスチャ認識装置によれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、またはヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００１６】
また、第２の発明のジェスチャ認識装置によれば、所定周波数帯域のパワー値を演算し、演算されたパワー値と対応する閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、またはヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００１７】
また、前記ジェスチャ認識手段を、前記対応する閾値を超えたパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識するようにしてもよい。
【００１８】
また、上記の目的を達成するために第３の発明のプログラムは、コンピュータを、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段、及び前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段として機能させるためのプログラムである。
【００１９】
第３の発明のプログラムによれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きの各時系列データの周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する。そして、ジェスチャ認識手段が、演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００２０】
このように、第３の発明のプログラムによれば、人物の視線の向きを用いずに、顔の各方向（ロール方向、ピッチ方向、及びヨー方向の少なくとも２つの方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００２１】
また、第３の発明のプログラムによれば、所定周波数帯域のパワー値を各方向の傾き毎に演算し、演算されたパワー値の各々と対応する各閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、ヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００２２】
また、上記の目的を達成するために第４の発明のプログラムは、コンピュータを、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段、及び前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段として機能させるためのプログラムである。
【００２３】
第４の発明のプログラムによれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する。そして、ジェスチャ認識手段が、演算されたパワー値と検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００２４】
このように、第４の発明のプログラムによれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、またはヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００２５】
また、第４の発明のプログラムによれば、所定周波数帯域のパワー値を演算し、演算されたパワー値と対応する閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、またはヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【発明の効果】
【００２６】
以上、説明したように、本発明に係るジェスチャ認識装置、及びプログラムによれば、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施の形態に係るジェスチャ認識装置を示す図である。
【図２】第１の実施の形態に係る方向―ジェスチャ対応テーブルの模式図である。
【図３】第１の実施の形態に係るジェスチャ認識装置の機能ブロック図である。
【図４】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を示すフローチャートである。
【図５】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図６】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図７】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図８】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図９】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図１０】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図１１】第２の実施の形態に係るジェスチャ認識装置を示す図である。
【図１２】第２の実施の形態に係るジェスチャ認識装置の機能ブロック図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本発明のジェスチャ認識装置の各実施の形態を詳細に説明する。
【００２９】
［第１の実施の形態］
まず、第１の実施の形態のジェスチャ認識装置について説明する。なお、本実施の形態では、車両に搭載された場合のジェスチャ認識装置について説明する。また、ジェスチャが認識される対象の人物として、車両のドライバを例に挙げて説明する。
【００３０】
図１に示すように、本実施の形態に係るジェスチャ認識装置１０は、顔撮影用カメラ１２、及びコンピュータ１４を備えている。
【００３１】
顔撮影用カメラ１２は、人物、例えばドライバの顔及び頭部を撮影可能な位置に設けられている。顔撮影用カメラ１２は、撮影した画像の画像データを出力する。すなわち、顔撮影用カメラ１２によって、人物の顔の画像である顔画像の画像データ及び頭部の画像である頭部画像の画像データが出力される。なお、このような人物は、ジェスチャを行うことが考えられるので、ジェスチャを行った人物の顔画像の画像データ及び頭部画像の画像データが顔撮影用カメラ１２から出力される。
【００３２】
コンピュータ１４は、ＲＯＭ（Read Only Memory）１４ａ、ＨＤＤ（Hard Disk Drive）１４ｂ、ＣＰＵ（Central Processing Unit）１４ｃ、ＲＡＭ（Random Access Memory）１４ｄ、及びＩ／Ｏ（入出力）ポート１４ｅを備えている。これらＲＯＭ１４ａ、ＨＤＤ１４ｂ、ＣＰＵ１４ｃ、ＲＡＭ１４ｄ、及びＩ／Ｏポート１４ｅは互いにバス１４ｆで接続されている。
【００３３】
記憶媒体（記憶手段）としてのＲＯＭ１４ａには、ＯＳ等の基本プログラムが記憶されている。
【００３４】
記憶媒体（記憶手段）としてのＨＤＤ１４ｂには、詳細を以下で説明するジェスチャ認識処理の処理ルーチンを実行するためのプログラムが記憶されている。
【００３５】
また、ＨＤＤ１８ｂには、図２に示す、方向―ジェスチャ対応テーブル１６（以下、方向―ジェスチャ対応テーブル１６を、テーブル１６と呼ぶ）が記憶されている。同図に図示されるように、テーブル１６には、人物の予め定められた顔の傾きの方向と、人物の顔の傾きの方向が示す（方向に対応する）人物の頭部ジェスチャ（ジェスチャ）とが対応付けられて登録されている。
【００３６】
例えば、図２に図示されるように、人物の顔の傾きの方向である「ロール方向」と、人物の顔の傾きがロール方向である場合のジェスチャである首を傾げるジェスチャを示す「首かしげ（首傾げ）」が対応付けられて、それぞれフィールド１６ａ、フィールド１６ｂに登録されている。また、人物の顔の傾きの方向である「ピッチ方向」と、人物の顔の傾きがピッチ方向である場合のジェスチャである頷くジェスチャを示す「頷き」が対応付けられて、それぞれフィールド１６ａ、フィールド１６ｂに登録されている。更に、人物の顔の傾きの方向である「ヨー方向」と、人物の顔の傾きがヨー方向である場合のジェスチャである首を振るジェスチャを示す「首振り」が対応付けられて、それぞれフィールド１６ａ、フィールド１６ｂに登録されている。
【００３７】
ＣＰＵ１４ｃは、プログラムをＲＯＭ１４ａ及びＨＤＤ１４ｂから読み出して実行する。
【００３８】
ＲＡＭ１４ｄには、各種データが一時的に記憶される。
【００３９】
Ｉ／Ｏポート１４ｅには、顔撮影用カメラ１２が接続されている。
【００４０】
コンピュータ１４を以下で詳細を説明するジェスチャ認識処理に従って機能ブロックで表すと、図３に示すように、検出手段７０、演算手段７２、及びジェスチャ認識手段７４で表すことができる。
【００４１】
検出手段７０は、ジェスチャを行った人物の顔のロール方向の傾き（人物の顔のロール方向の角度）、ピッチ方向の傾き（人物の顔のピッチ方向の角度）、及びヨー方向の傾き（人物の顔のヨー方向の角度）を検出する。
【００４２】
演算手段７２は、検出手段７０により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）の周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する。
【００４３】
ジェスチャ認識手段７４は、演算手段７２により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物（例えばドライバ）のジェスチャとして認識する。
【００４４】
次に、コンピュータ１４のＣＰＵ１４ｃが実行するジェスチャ認識処理の処理ルーチンについて図４を参照して説明する。
【００４５】
なお、本実施の形態において、ジェスチャ認識処理は、ジェスチャ認識装置１０の電源（図示せず）がオンされると、実行される。また、ジェスチャ認識処理は、車両に乗車している人物であってジェスチャが認識される対象となる人物の操作が必要な時間帯である状況である場合にのみ、実行されるようにしてもよい。ここで、この「人物の操作が必要な時間帯」とは、車両に搭載された装置（例えばカーナビゲーション装置（図示しない））が、所定の処理（例えば、ルート探索処理）を行う場合に、ユーザの操作（例えば、タッチパネルの操作、またはマイクに対する音声の入力操作）によって所定の情報（例えば、目的地）が入力されるのを必要とする時間帯などのことを指す。
【００４６】
まず、ステップ１００で、所定時間（例えば、１／３３秒）間隔で、顔撮影用カメラ１２からの画像データ（人物の顔画像の画像データ及び頭部画像の画像データ）を取得することを開始する。これにより、以降、所定時間（例えば、１／３３秒）間隔で、顔撮影用カメラ１２からの画像データが取得される。
【００４７】
次のステップ１０２では、取得された画像データに対して、公知の技術（例えば、特開２０００−９７６７６号公報に記載の技術）を適用することにより、顔撮影用カメラ１２からの画像データから、ドライバの顔向き（ピッチ角、ヨー角、ロール角）を検出する。
【００４８】
ここで、ドライバの顔向き（顔角度）として検出されたピッチ角、ヨー角、ロール角は、それぞれ、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、ヨー方向の傾きと考えることができる。すなわち、ステップ１０２では、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きを検出する。なお、ステップ１０２は、本発明の検出手段に対応する。
【００４９】
次のステップ１０４では、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったか否かを判定する。ここで、このＮ個の数は、詳細を以下で説明するステップ１０６での高速フーリエ変換（ＦＦＴ）による周波数解析に必要な数であり、例えば、ステップ１０６での高速フーリエ変換による周波数解析においてサンプリングの周期が３３Ｈｚである場合には、Ｎ個として１２８個が設定される。なお、この場合における高速フーリエ変換の際に用いられるデータのフレーム長は約３．９秒である。
【００５０】
ステップ１０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったと判定された場合には、上記ステップ１０２により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）が、ステップ１０６での処理に適したデータであると判断して、次のステップ１０６へ進む。
【００５１】
ここで、ステップ１０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったと判定された場合には、図５（Ａ）、図６（Ａ）、図７（Ａ）、図８（Ａ）、図９（Ａ）、図１０（Ａ）に示すような、時間（秒、ｓｅｃ）に対する顔角度のデータが上記ステップ１０２で検出されている。図５（Ａ）は、ドライバがニュートラルの状態である場合（すなわち、ドライバが首を傾げるジェスチャを行っていない場合）のロール方向の傾きのデータの一例を示しており、図６（Ａ）は、ドライバが首を傾げるジェスチャを行った場合のロール方向の傾きのデータの一例を示している。また、図７（Ａ）は、ドライバがニュートラルの状態である場合（すなわち、ドライバが頷くジェスチャを行っていない場合）のピッチ方向の傾きのデータの一例を示しており、図８（Ａ）は、ドライバが頷くジェスチャを行った場合のピッチ方向の傾きのデータの一例を示している。更に、図９（Ａ）は、ドライバがニュートラルの状態である場合（すなわち、ドライバが首を振るジェスチャを行っていない場合）のヨー方向の傾きのデータの一例を示しており、図１０（Ａ）は、ドライバが首を振るジェスチャを行った場合のヨー方向の傾きのデータの一例を示している。なお、これらのデータは、ＲＡＭ１４ｄに記憶されている。
【００５２】
一方、ステップ１０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となっていない（所定数Ｎ個未満である）と判定された場合には、ステップ１０２へ戻り、再び上記で説明した処理を行う。なお、ステップ１０２で処理が実行されてから、再びステップ１０２へ戻って処理が実行されるまでの間隔は、顔撮影用カメラ１２からの画像データが取得される間隔（上記の例では、１／３３秒）とほぼ同一であることが好ましい。
【００５３】
ステップ１０６では、上記ステップ１０２により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）に対して、高速フーリエ変換による周波数解析を各時系列データ毎に行って、各周波数におけるパワー（パワー値）を各時系列データ毎に演算する。すなわち、ステップ１０６では、変動成分のデータ（周波数、パワー）を演算する。ここで、ステップ１０６で、図５（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図５（Ｂ）に示すようなものとなる。また、ステップ１０６で、図６（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図６（Ｂ）に示すようなものとなる。また、ステップ１０６で、図７（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図７（Ｂ）に示すようなものとなる。また、ステップ１０６で、図８（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図８（Ｂ）に示すようなものとなる。また、ステップ１０６で、図９（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図９（Ｂ）に示すようなものとなる。更に、ステップ１０６で、図１０（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図１０（Ｂ）に示すようなものとなる。
【００５４】
次のステップ１０８では、上記ステップ１０６の周波数解析の結果から、所定の周波数範囲（下限の周波数ｆｌ〜上限の周波数ｆｈの周波数帯域）の帯域パワー（所定周波数帯域のパワー値）を各時系列データ毎に演算する。これにより、ロール方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｒが演算され、ピッチ方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｐが演算され、ヨー方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｙが演算される。ここで、下限の周波数ｆｌとして、例えば、０．５Ｈｚを用いることができる。また、上限の周波数ｆｈとして、例えば、２．０Ｈｚを用いることができる。なお、各時系列データ毎に周波数帯域の下限の周波数ｆｌ及び上限の周波数ｆｈを設定して各時系列データ毎に帯域パワーを演算してもよい。ステップ１０８で、図５（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図５（Ｃ）に示すようなものとなる。また、ステップ１０８で、図６（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図６（Ｃ）に示すようなものとなる。また、ステップ１０８で、図７（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図７（Ｃ）に示すようなものとなる。また、ステップ１０８で、図８（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図８（Ｃ）に示すようなものとなる。また、ステップ１０８で、図９（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図９（Ｃ）に示すようなものとなる。更に、ステップ１０８で、図１０（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図１０（Ｃ）に示すようなものとなる。
【００５５】
以上、説明したように、ステップ１０４、１０６、１０８では、上記ステップ１０２により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）の周波数分析を、各方向の傾き（ロール方向、ピッチ方向、ヨー方向）毎に行って、所定周波数帯域のパワー値（Ｐｒ、Ｐｐ、Ｐｙ）を各方向の傾き毎に演算する。なお、ステップ１０４、１０６、１０８は、本発明の演算手段に対応する。
【００５６】
次のステップ１１０では、帯域パワーＰｒ、Ｐｐ、Ｐｙの各々と、各方向（ロール方向、ピッチ方向、ヨー方向）に対応させて定めた閾値Ｖｒ、Ｖｐ、Ｖｙの各々とを比較し、少なくとも１つの帯域パワーが対応する閾値を超えるか否かを判定する。ここで、「少なくとも１つの帯域パワーが対応する閾値を超える」場合とは、Ｐｒが閾値Ｖｒを超えるか、帯域パワーＰｐが閾値Ｖｐを超えるか、または、帯域パワーＰｙが閾値Ｖｙを超える場合である。
【００５７】
ここで、閾値Ｖｒ、Ｖｐ、Ｖｙの設定方法の一例を挙げる。対象とする多数のジェスチャ（本実施の形態では、多数の首を傾げるジェスチャ、多数の頷くジェスチャ、多数の首を振るジェスチャ）に対して上記と同様の処理を行って帯域パワーを演算し、各ジェスチャについて判定正解率が最大となるような帯域パワーをそれぞれ実験によって予め求めておき、求められたそれぞれの帯域パワーを閾値Ｖｒ、Ｖｐ、Ｖｙとして設定しておくこととする。
【００５８】
ステップ１１０で、否定判定された場合（全ての帯域パワーが対応する閾値を超えないと判定された場合）には、次のステップ１２０に進む。ステップ１２０では、ドライバのジェスチャは首を傾げるジェスチャ、頷くジェスチャ、及び首を振るジェスチャ以外のジェスチャであると認識する。そして、ステップ１０２に戻る。
【００５９】
一方、ステップ１１０で、肯定判定された場合（少なくとも１つの帯域パワーが対応する閾値を超えると判定された場合）には、次のステップ１１２へ進む。
【００６０】
ステップ１１２では、対応する閾値を超える帯域パワーの各々について、｛（帯域パワー）−（対応する閾値）｝の値を演算する。より具体的には、帯域パワーＰｒが閾値Ｖｒを超える場合には、（Ｐｒ−Ｖｒ）の値を演算し、帯域パワーＰｐが閾値Ｖｐを超える場合には、（Ｐｐ−Ｖｐ）の値を演算し、帯域パワーＰｙが閾値Ｖｙを超える場合には、（Ｐｙ−Ｖｙ）の値を演算する。
【００６１】
次のステップ１１４では、上記ステップ１１２で演算された値のうち最大の値の帯域パワーを特定する。そして、特定された帯域パワーに対応する方向を特定する。より具体的には、ステップ１１４では、例えば、（Ｐｒ−Ｖｒ）の値が最大の値である場合には、帯域パワーＰｒが特定され、帯域パワーＰｒに対応する方向としてロール方向が特定される。また、ステップ１１４では、例えば、（Ｐｐ−Ｖｐ）の値が最大の値である場合には、帯域パワーＰｐが特定され、帯域パワーＰｐに対応する方向としてピッチ方向が特定される。また、ステップ１１４では、例えば、（Ｐｙ−Ｖｙ）の値が最大の値である場合には、帯域パワーＰｙが特定され、帯域パワーＰｙに対応する方向としてヨー方向が特定される。
【００６２】
次のステップ１１６では、上記ステップ１１４で特定された方向に対応するジェスチャを示す表現を、テーブル１６から取得する。ステップ１１６では、例えば、上記ステップ１１４で特定された方向がロール方向である場合には、テーブル１６から、首を傾げるジェスチャを示す「首かしげ」が取得される。また、ステップ１１６では、例えば、上記ステップ１１４で特定された方向がピッチ方向である場合には、テーブル１６から、頷くジェスチャを示す「頷き」が取得される。更に、ステップ１１６では、例えば、上記ステップ１１４で特定された方向がヨー方向である場合には、テーブル１６から、首を振るジェスチャを示す「首振り」が取得される。
【００６３】
次のステップ１１８では、上記ステップ１１６で取得された表現が示すジェスチャを人物（例えばドライバ）のジェスチャとして認識する。ステップ１１８では、例えば、上記ステップ１１６で「首かしげ」が取得された場合には、首を傾げるジェスチャを人物のジェスチャとして認識する。また、ステップ１１８では、例えば、上記ステップ１１６で「頷き」が取得された場合には、頷くジェスチャを人物のジェスチャとして認識する。また、ステップ１１８では、例えば、上記ステップ１１６で「首振り」が取得された場合には、首を振るジェスチャを人物のジェスチャとして認識する。そして、ステップ１０２に戻る。
【００６４】
以上、説明したように、ステップ１１０、１１２、１１４、１１６、１１８では、上記ステップ１０８により各方向の傾き毎に演算されたパワー値Ｐｒ、Ｐｐ、Ｐｙの各々と各方向に対応させて定めた閾値Ｖｒ、Ｖｐ、Ｖｙとを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物（例えばドライバ）のジェスチャとして認識する。
【００６５】
以上、本実施の形態のジェスチャ認識処理について説明した。なお、ステップ１００、１０２は検出手段７０によって実行され、ステップ１０４、１０６、１０８は演算手段７２によって実行され、ステップ１１０、１１２、１１４、１１６、１１８、１２０はジェスチャ認識手段７４によって実行される。
【００６６】
以上、本実施の形態のジェスチャ認識装置１０について説明した。本実施の形態のジェスチャ認識装置１０によれば、人物の視線の向きを用いずに、顔の各方向（ロール方向、ピッチ方向、ヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００６７】
また、本実施の形態のジェスチャ認識装置１０によれば、所定周波数帯域のパワー値を各方向の傾き毎に演算し、演算されたパワー値の各々と対応する各閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、ヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。なお、基本姿勢とは人物のニュートラルな状態におけるロール角、ピッチ角、ヨー角を指す。
【００６８】
なお、上記では、顔撮影用カメラ１２からの画像データからドライバの顔向き（ピッチ角、ヨー角、ロール角）を検出する例について説明したが、本発明はこれに限られない。例えば、顔向き（ピッチ角、ヨー角、ロール角）を検出して検出結果を示す信号を出力する角度センサを人物の頭部に設置して、この角度センサからの信号に基づいて、顔向き（ピッチ角、ヨー角、ロール角）を検出するようにしてもよい。
【００６９】
また、上記のステップ１０２では、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの３種類の方向の傾きを検出して、３種類の方向の傾きに対してステップ１０４以降の処理を行う例について説明したが、上記のステップ１０２で、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの複数の方向の傾きのうち少なくとも２つの方向の傾きを検出して、検出された傾きに対して、ステップ１０４以降の処理を同様に行うようにしてもよい。
【００７０】
［第２の実施の形態］
次に第２の実施の形態について説明する。第１の実施の形態では、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの複数の方向の傾きの３種類の方向の傾き、または、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの複数の方向の傾きのうち少なくとも２つの方向の傾きを検出する場合について説明したが、第２の実施の形態では、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する。なお、第１の実施の形態と同様の構成及び処理（ステップ）については同様の符号を付して説明を省略する場合がある。
【００７１】
第２の実施の形態では、図１１に示すジェスチャ認識処理の処理ルーチンを実行するためのプログラムがＨＤＤ１４ｂに記憶されており、ＣＰＵ１４ｃがＨＤＤ１４ｂから図１１に示すジェスチャ認識処理の処理ルーチンを実行するためのプログラムを読み出して、図１１に示すジェスチャ認識処理を実行する。
【００７２】
本実施の形態のコンピュータ１４を以下で詳細を説明する図１１に示すジェスチャ認識処理に従って機能ブロックで表すと、図１２に示すように、検出手段７６、演算手段７８、及びジェスチャ認識手段８０で表すことができる。
【００７３】
検出手段７６は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する。
【００７４】
演算手段７８は、検出手段７６により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する。
【００７５】
ジェスチャ認識手段８０は、演算手段７８により演算されたパワー値と検出手段７６により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００７６】
次に、コンピュータ１４のＣＰＵ１４ｃが実行する図１１に示すジェスチャ認識処理の処理ルーチンについて説明する。なお、本実施の形態において、図１１に示すジェスチャ認識処理は、第１の実施の形態で説明したタイミングで実行される。
【００７７】
まず、ステップ１００で、第１の実施の形態と同様に、所定時間（例えば、１／３３秒）間隔で、顔撮影用カメラ１２からの画像データ（人物の顔画像の画像データ及び頭部画像の画像データ）を取得することを開始する。
【００７８】
次のステップ２０２では、取得された画像データに対して、公知の技術（例えば、特開２０００−９７６７６号公報に記載の技術）を適用することにより、顔撮影用カメラ１２からの画像データから、ドライバの顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する。なお、以下では、ステップ２０２で、ドライバの顔のロール方向の傾き（ロール角）を検出した場合について説明する。また、ステップ２０２は、本発明の検出手段に対応する。
【００７９】
次のステップ２０４では、上記ステップ２０２で検出されたドライバの顔向きの数が、所定数Ｎ´個以上となったか否かを判定する。ここで、このＮ´個の数は、詳細を以下で説明するステップ２０６での高速フーリエ変換（ＦＦＴ）による周波数解析に必要な数であり、例えば、ステップ２０６での高速フーリエ変換による周波数解析においてサンプリングの周期が３３Ｈｚである場合には、Ｎ´個として１２８個が設定される。
【００８０】
ステップ２０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ´個以上となったと判定された場合には、上記ステップ２０２により検出されたロール方向の傾きの時系列データが、ステップ２０６での処理に適したデータであると判断して、次のステップ２０６へ進む。
【００８１】
ここで、ステップ２０４で、上記ステップ２０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったと判定された場合には、第１の実施の形態で説明したように、図５（Ａ）、図６（Ａ）に示すような、時間（秒、ｓｅｃ）に対する顔角度のデータが上記ステップ２０２で検出されている。
【００８２】
一方、ステップ２０４で、上記ステップ２０２で検出されたドライバの顔向きの数が、所定数Ｎ´個以上となっていない（所定数Ｎ´個未満である）と判定された場合には、ステップ２０２へ戻り、再び上記で説明した処理を行う。
【００８３】
ステップ２０６では、上記ステップ２０２により検出されたロール方向の傾きの時系列データに対して、高速フーリエ変換による周波数解析を行って、各周波数におけるパワー（パワー値）を演算する。すなわち、ステップ２０６では、変動成分のデータ（周波数、パワー）を演算する。ここで、ステップ２０６で、図５（Ａ）に示すような時系列データに対して周波数解析を行った場合には、第１の実施の形態で説明したように、周波数解析の結果は、図５（Ｂ）に示すようなものとなる。また、ステップ２０６で、図６（Ａ）に示すような時系列データに対して周波数解析を行った場合には、第１の実施の形態で説明したように、周波数解析の結果は、図６（Ｂ）に示すようなものとなる。
【００８４】
次のステップ２０８では、上記ステップ２０６の周波数解析の結果から、所定の周波数範囲（下限の周波数ｆｌ〜上限の周波数ｆｈの周波数帯域）の帯域パワー（所定周波数帯域のパワー値）を演算する。これにより、ロール方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｒが演算される。ここで、下限の周波数ｆｌとして、例えば、０．５Ｈｚを用いることができる。また、上限の周波数ｆｈとして、例えば、２．０Ｈｚを用いることができる。ステップ２０８で、図５（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、第１の実施の形態で説明したように、図５（Ｃ）に示すようなものとなる。また、ステップ２０８で、図６（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、第１の実施の形態で説明したように、図６（Ｃ）に示すようなものとなる。
【００８５】
以上、説明したように、ステップ２０４、２０６、２０８では、上記ステップ２０２により検出されたロール方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値Ｐｒを演算する。なお、ステップ２０４、２０６、２０８は、本発明の演算手段に対応する。
【００８６】
次のステップ２１０では、帯域パワーＰｒと、ロール方向に対応させて定めた閾値Ｖｒとを比較し、帯域パワーＰｒが対応する閾値Ｖｒを超えるか否かを判定する。
【００８７】
なお、閾値Ｖｒ、Ｖｐ、Ｖｙの設定方法については、第１の実施の形態と同様である。
【００８８】
ステップ２１０で、否定判定された場合（帯域パワーＰｒが対応する閾値Ｖｒを超えないと判定された場合）には、次のステップ２１８に進む。ステップ２１８では、ドライバのジェスチャは首を傾げるジェスチャ以外のジェスチャであると認識する。そして、ステップ２０２に戻る。
【００８９】
一方、ステップ２１０で、肯定判定された場合（帯域パワーＰｒが対応する閾値Ｖｒを超えると判定された場合）には、次のステップ２１２へ進む。
【００９０】
次のステップ２１２では、上記ステップ２０８で演算された帯域パワーに対応する方向を特定する。より具体的には、ステップ２１２では、例えば、上記ステップ２０８で帯域パワーＰｒが演算された場合には、帯域パワーＰｒに対応する方向としてロール方向が特定される。また、ステップ２１２では、例えば、上記ステップ２０８で帯域パワーＰｐが演算された場合には、帯域パワーＰｐに対応する方向としてピッチ方向が特定される。また、ステップ２１２では、例えば、上記ステップ２０８で帯域パワーＰｙが演算された場合には、帯域パワーＰｙに対応する方向としてヨー方向が特定される。
【００９１】
次のステップ２１４では、上記ステップ２１２で特定された方向に対応するジェスチャを示す表現を、テーブル１６から取得する。
【００９２】
次のステップ２１６では、上記ステップ２１４で取得された表現が示すジェスチャを人物（例えばドライバ）のジェスチャとして認識する。そして、ステップ２０２に戻る。
【００９３】
以上、説明したように、ステップ２１０、２１２、２１４、２１６では、上記ステップ２０８により演算されたパワー値（上記の一例ではＰｒ）と上記ステップ２０２により傾きが検出された方向（上記の一例ではロール方向）に対応させて定めた閾値（上記の一例ではＶｒ）とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００９４】
以上、本実施の形態のジェスチャ認識処理について説明した。なお、ステップ１００、２０２は検出手段７６によって実行され、ステップ２０４、２０６、２０８は演算手段７８によって実行され、ステップ２１０、２１２、２１４、２１６、２１８はジェスチャ認識手段８０によって実行される。
【００９５】
以上、第２の実施の形態のジェスチャ認識装置について説明した。本実施の形態のジェスチャ認識装置によれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、またはヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００９６】
また、本実施の形態のジェスチャ認識装置によれば、所定周波数帯域のパワー値を演算し、演算されたパワー値と対応する閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、またはヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００９７】
なお、上記では、ステップ２０２で顔撮影用カメラ１２からの画像データからドライバの顔向きとしてロール角を検出して、ステップ２０４以降の処理でロール角に対応する処理を行う例について説明したが、本発明はこれに限られない。例えば、ステップ２０２でドライバの顔向きとしてピッチ角を検出して、ステップ２０４以降の処理でピッチ角に対応する処理を行うようにしてもよい。この場合には、ステップ２０８で帯域パワーＰｐを演算し、ステップ２１０、２１２、２１４、２１６では、ステップ２０８で演算された帯域パワーＰｐとステップ２０２により傾きが検出されたピッチ方向に対応させて定めた閾値Ｖｐとを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャ（この場合には、頷くジェスチャ）を人物のジェスチャとして認識する。同様に、ステップ２０２でドライバの顔向きとしてヨー角を検出して、ステップ２０４以降の処理でヨー角に対応する処理を行うようにしてもよい。この場合には、ステップ２０８で帯域パワーＰｙを演算し、ステップ２１０、２１２、２１４、２１６では、ステップ２０８で演算された帯域パワーＰｙとステップ２０２により傾きが検出されたヨー方向に対応させて定めた閾値Ｖｙとを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャ（この場合には、首を振るジェスチャ）を人物のジェスチャとして認識する。
【００９８】
また、第１の実施の形態のジェスチャ認識装置１０及び第２の実施の形態のジェスチャ認識装置におけるジェスチャ（頭部ジェスチャ）の認識結果を用いて、人物の状態を推定することが可能となる。これは、人物（人）の心理状態は、しばしばジェスチャとして表現されるからである。例えば、人物が首を傾げるジェスチャを行ったと認識した場合には、この人物は困惑している状態であると推定できる。また、人物が頷くジェスチャを行ったと認識した場合には、この人物は同意している状態であると推定できる。更に、人物が首を振るジェスチャを行ったと認識した場合には、この人物は拒絶している状態であると推定できる。
【００９９】
また、人と機械との対話装置において、推定した人の心理状態に応じて適切な対話を進めることが可能となる。より具体的には、例えば、情報検索時に機械側から「この条件でよろしいですか」と尋ねた場合に、人が首を傾げているジェスチャを行ったと認識された場合には、この人の心理状態は「困惑している状態であり、状況把握ができていない」と判断して、「内容がわかりませんか」と適切な対話を進めることが可能となる。また、情報検索時に機械側から「この条件でよろしいですか」と尋ねた場合に、人が首を振るジェスチャを行ったと認識された場合には、この人の心理状態は「拒絶している状態であり、条件に納得していない」と判断して、「お気に召しませんか。他の条件で探してみます。」等と適切な対話を進めることが可能となる。なお、「適切な対話を進める」とは、例えば、「円滑に対話を進める」ことである。また、第１の実施の形態のジェスチャ認識装置１０及び第２の実施の形態のジェスチャ認識装置におけるジェスチャの認識結果は、対話装置に限られず、機器操作においても用いることができる。すなわち、機器を操作する人（ユーザ）の心理状態に応じた機器操作の誘導につなげることができる。
【符号の説明】
【０１００】
１０ ジェスチャ認識装置
１２ 顔撮影用カメラ
１４ コンピュータ
１４ｃ ＣＰＵ
１６ 方向―ジェスチャ対応テーブル
７０ 検出手段
７２ 演算手段
７４ ジェスチャ認識手段
【技術分野】
【０００１】
本発明は、ジェスチャ認識装置、及びプログラムに関する。
【背景技術】
【０００２】
従来から、ユーザの意志を示す動作を認識する認識装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載の認識装置では、カメラにより撮影された画像データに基づいて、顔方向検知部がユーザの顔の向きを検知し、視線方向検知部がユーザの視線の向きを検知し、うなずき認識部が、顔が下を向き、顔の向きに対して視線が上方向を向く状態である場合、ユーザがうなずいたと認識する（ユーザが頷くジェスチャを行ったと認識する）と共に、首振り認識部が、顔が右または左に向くのに対し、視線が顔の向きに対して左右方向に逆方向を向く状態である場合、ユーザが首を横に振ったと認識する（ユーザが首を振るジェスチャを行ったと認識する）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９４６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の認識装置では、ユーザの顔の向きと視線の向きとを用いて、ユーザの頭部ジェスチャ（上記の例では、ユーザが頷くジェスチャ、ユーザが首を振るジェスチャ）を認識するための処理が行われており、ジェスチャを認識するための処理の演算量（処理量）が多い、という問題がある。
【０００６】
本発明は上記問題点を解決するために成されたものであり、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができるジェスチャ認識装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、第１の発明のジェスチャ認識装置は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段と、前記検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段と、前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段とを含んで構成されている。
【０００８】
第１の発明のジェスチャ認識装置によれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きの各時系列データの周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する。そして、ジェスチャ認識手段が、演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【０００９】
このように、第１の発明のジェスチャ認識装置によれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、ヨー方向の少なくとも２つの方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００１０】
また、第１の発明のジェスチャ認識装置によれば、所定周波数帯域のパワー値を各方向の傾き毎に演算し、演算されたパワー値の各々と対応する各閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、ヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００１１】
また、前記ジェスチャ認識手段を、前記最も大きいパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識するようにしてもよい。
【００１２】
また、前記検出手段を、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きを検出するようにしてもよい。
【００１３】
また、上記の目的を達成するために、第２の発明のジェスチャ認識装置は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段と、前記検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段と、前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段とを含んで構成されている。
【００１４】
第２の発明のジェスチャ認識装置によれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する。そして、ジェスチャ認識手段が、演算されたパワー値と検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００１５】
このように、第２の発明のジェスチャ認識装置によれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、またはヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００１６】
また、第２の発明のジェスチャ認識装置によれば、所定周波数帯域のパワー値を演算し、演算されたパワー値と対応する閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、またはヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００１７】
また、前記ジェスチャ認識手段を、前記対応する閾値を超えたパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識するようにしてもよい。
【００１８】
また、上記の目的を達成するために第３の発明のプログラムは、コンピュータを、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段、及び前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段として機能させるためのプログラムである。
【００１９】
第３の発明のプログラムによれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きの各時系列データの周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する。そして、ジェスチャ認識手段が、演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００２０】
このように、第３の発明のプログラムによれば、人物の視線の向きを用いずに、顔の各方向（ロール方向、ピッチ方向、及びヨー方向の少なくとも２つの方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００２１】
また、第３の発明のプログラムによれば、所定周波数帯域のパワー値を各方向の傾き毎に演算し、演算されたパワー値の各々と対応する各閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、ヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００２２】
また、上記の目的を達成するために第４の発明のプログラムは、コンピュータを、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段、及び前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段として機能させるためのプログラムである。
【００２３】
第４の発明のプログラムによれば、演算手段が、人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する。そして、ジェスチャ認識手段が、演算されたパワー値と検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００２４】
このように、第４の発明のプログラムによれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、またはヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００２５】
また、第４の発明のプログラムによれば、所定周波数帯域のパワー値を演算し、演算されたパワー値と対応する閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、またはヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【発明の効果】
【００２６】
以上、説明したように、本発明に係るジェスチャ認識装置、及びプログラムによれば、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施の形態に係るジェスチャ認識装置を示す図である。
【図２】第１の実施の形態に係る方向―ジェスチャ対応テーブルの模式図である。
【図３】第１の実施の形態に係るジェスチャ認識装置の機能ブロック図である。
【図４】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を示すフローチャートである。
【図５】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図６】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図７】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図８】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図９】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図１０】第１の実施の形態に係るジェスチャ認識装置が実行するジェスチャ認識処理を説明するための図である。
【図１１】第２の実施の形態に係るジェスチャ認識装置を示す図である。
【図１２】第２の実施の形態に係るジェスチャ認識装置の機能ブロック図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本発明のジェスチャ認識装置の各実施の形態を詳細に説明する。
【００２９】
［第１の実施の形態］
まず、第１の実施の形態のジェスチャ認識装置について説明する。なお、本実施の形態では、車両に搭載された場合のジェスチャ認識装置について説明する。また、ジェスチャが認識される対象の人物として、車両のドライバを例に挙げて説明する。
【００３０】
図１に示すように、本実施の形態に係るジェスチャ認識装置１０は、顔撮影用カメラ１２、及びコンピュータ１４を備えている。
【００３１】
顔撮影用カメラ１２は、人物、例えばドライバの顔及び頭部を撮影可能な位置に設けられている。顔撮影用カメラ１２は、撮影した画像の画像データを出力する。すなわち、顔撮影用カメラ１２によって、人物の顔の画像である顔画像の画像データ及び頭部の画像である頭部画像の画像データが出力される。なお、このような人物は、ジェスチャを行うことが考えられるので、ジェスチャを行った人物の顔画像の画像データ及び頭部画像の画像データが顔撮影用カメラ１２から出力される。
【００３２】
コンピュータ１４は、ＲＯＭ（Read Only Memory）１４ａ、ＨＤＤ（Hard Disk Drive）１４ｂ、ＣＰＵ（Central Processing Unit）１４ｃ、ＲＡＭ（Random Access Memory）１４ｄ、及びＩ／Ｏ（入出力）ポート１４ｅを備えている。これらＲＯＭ１４ａ、ＨＤＤ１４ｂ、ＣＰＵ１４ｃ、ＲＡＭ１４ｄ、及びＩ／Ｏポート１４ｅは互いにバス１４ｆで接続されている。
【００３３】
記憶媒体（記憶手段）としてのＲＯＭ１４ａには、ＯＳ等の基本プログラムが記憶されている。
【００３４】
記憶媒体（記憶手段）としてのＨＤＤ１４ｂには、詳細を以下で説明するジェスチャ認識処理の処理ルーチンを実行するためのプログラムが記憶されている。
【００３５】
また、ＨＤＤ１８ｂには、図２に示す、方向―ジェスチャ対応テーブル１６（以下、方向―ジェスチャ対応テーブル１６を、テーブル１６と呼ぶ）が記憶されている。同図に図示されるように、テーブル１６には、人物の予め定められた顔の傾きの方向と、人物の顔の傾きの方向が示す（方向に対応する）人物の頭部ジェスチャ（ジェスチャ）とが対応付けられて登録されている。
【００３６】
例えば、図２に図示されるように、人物の顔の傾きの方向である「ロール方向」と、人物の顔の傾きがロール方向である場合のジェスチャである首を傾げるジェスチャを示す「首かしげ（首傾げ）」が対応付けられて、それぞれフィールド１６ａ、フィールド１６ｂに登録されている。また、人物の顔の傾きの方向である「ピッチ方向」と、人物の顔の傾きがピッチ方向である場合のジェスチャである頷くジェスチャを示す「頷き」が対応付けられて、それぞれフィールド１６ａ、フィールド１６ｂに登録されている。更に、人物の顔の傾きの方向である「ヨー方向」と、人物の顔の傾きがヨー方向である場合のジェスチャである首を振るジェスチャを示す「首振り」が対応付けられて、それぞれフィールド１６ａ、フィールド１６ｂに登録されている。
【００３７】
ＣＰＵ１４ｃは、プログラムをＲＯＭ１４ａ及びＨＤＤ１４ｂから読み出して実行する。
【００３８】
ＲＡＭ１４ｄには、各種データが一時的に記憶される。
【００３９】
Ｉ／Ｏポート１４ｅには、顔撮影用カメラ１２が接続されている。
【００４０】
コンピュータ１４を以下で詳細を説明するジェスチャ認識処理に従って機能ブロックで表すと、図３に示すように、検出手段７０、演算手段７２、及びジェスチャ認識手段７４で表すことができる。
【００４１】
検出手段７０は、ジェスチャを行った人物の顔のロール方向の傾き（人物の顔のロール方向の角度）、ピッチ方向の傾き（人物の顔のピッチ方向の角度）、及びヨー方向の傾き（人物の顔のヨー方向の角度）を検出する。
【００４２】
演算手段７２は、検出手段７０により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）の周波数分析を、各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する。
【００４３】
ジェスチャ認識手段７４は、演算手段７２により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物（例えばドライバ）のジェスチャとして認識する。
【００４４】
次に、コンピュータ１４のＣＰＵ１４ｃが実行するジェスチャ認識処理の処理ルーチンについて図４を参照して説明する。
【００４５】
なお、本実施の形態において、ジェスチャ認識処理は、ジェスチャ認識装置１０の電源（図示せず）がオンされると、実行される。また、ジェスチャ認識処理は、車両に乗車している人物であってジェスチャが認識される対象となる人物の操作が必要な時間帯である状況である場合にのみ、実行されるようにしてもよい。ここで、この「人物の操作が必要な時間帯」とは、車両に搭載された装置（例えばカーナビゲーション装置（図示しない））が、所定の処理（例えば、ルート探索処理）を行う場合に、ユーザの操作（例えば、タッチパネルの操作、またはマイクに対する音声の入力操作）によって所定の情報（例えば、目的地）が入力されるのを必要とする時間帯などのことを指す。
【００４６】
まず、ステップ１００で、所定時間（例えば、１／３３秒）間隔で、顔撮影用カメラ１２からの画像データ（人物の顔画像の画像データ及び頭部画像の画像データ）を取得することを開始する。これにより、以降、所定時間（例えば、１／３３秒）間隔で、顔撮影用カメラ１２からの画像データが取得される。
【００４７】
次のステップ１０２では、取得された画像データに対して、公知の技術（例えば、特開２０００−９７６７６号公報に記載の技術）を適用することにより、顔撮影用カメラ１２からの画像データから、ドライバの顔向き（ピッチ角、ヨー角、ロール角）を検出する。
【００４８】
ここで、ドライバの顔向き（顔角度）として検出されたピッチ角、ヨー角、ロール角は、それぞれ、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、ヨー方向の傾きと考えることができる。すなわち、ステップ１０２では、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きを検出する。なお、ステップ１０２は、本発明の検出手段に対応する。
【００４９】
次のステップ１０４では、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったか否かを判定する。ここで、このＮ個の数は、詳細を以下で説明するステップ１０６での高速フーリエ変換（ＦＦＴ）による周波数解析に必要な数であり、例えば、ステップ１０６での高速フーリエ変換による周波数解析においてサンプリングの周期が３３Ｈｚである場合には、Ｎ個として１２８個が設定される。なお、この場合における高速フーリエ変換の際に用いられるデータのフレーム長は約３．９秒である。
【００５０】
ステップ１０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったと判定された場合には、上記ステップ１０２により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）が、ステップ１０６での処理に適したデータであると判断して、次のステップ１０６へ進む。
【００５１】
ここで、ステップ１０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったと判定された場合には、図５（Ａ）、図６（Ａ）、図７（Ａ）、図８（Ａ）、図９（Ａ）、図１０（Ａ）に示すような、時間（秒、ｓｅｃ）に対する顔角度のデータが上記ステップ１０２で検出されている。図５（Ａ）は、ドライバがニュートラルの状態である場合（すなわち、ドライバが首を傾げるジェスチャを行っていない場合）のロール方向の傾きのデータの一例を示しており、図６（Ａ）は、ドライバが首を傾げるジェスチャを行った場合のロール方向の傾きのデータの一例を示している。また、図７（Ａ）は、ドライバがニュートラルの状態である場合（すなわち、ドライバが頷くジェスチャを行っていない場合）のピッチ方向の傾きのデータの一例を示しており、図８（Ａ）は、ドライバが頷くジェスチャを行った場合のピッチ方向の傾きのデータの一例を示している。更に、図９（Ａ）は、ドライバがニュートラルの状態である場合（すなわち、ドライバが首を振るジェスチャを行っていない場合）のヨー方向の傾きのデータの一例を示しており、図１０（Ａ）は、ドライバが首を振るジェスチャを行った場合のヨー方向の傾きのデータの一例を示している。なお、これらのデータは、ＲＡＭ１４ｄに記憶されている。
【００５２】
一方、ステップ１０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となっていない（所定数Ｎ個未満である）と判定された場合には、ステップ１０２へ戻り、再び上記で説明した処理を行う。なお、ステップ１０２で処理が実行されてから、再びステップ１０２へ戻って処理が実行されるまでの間隔は、顔撮影用カメラ１２からの画像データが取得される間隔（上記の例では、１／３３秒）とほぼ同一であることが好ましい。
【００５３】
ステップ１０６では、上記ステップ１０２により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）に対して、高速フーリエ変換による周波数解析を各時系列データ毎に行って、各周波数におけるパワー（パワー値）を各時系列データ毎に演算する。すなわち、ステップ１０６では、変動成分のデータ（周波数、パワー）を演算する。ここで、ステップ１０６で、図５（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図５（Ｂ）に示すようなものとなる。また、ステップ１０６で、図６（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図６（Ｂ）に示すようなものとなる。また、ステップ１０６で、図７（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図７（Ｂ）に示すようなものとなる。また、ステップ１０６で、図８（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図８（Ｂ）に示すようなものとなる。また、ステップ１０６で、図９（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図９（Ｂ）に示すようなものとなる。更に、ステップ１０６で、図１０（Ａ）に示すような時系列データに対して周波数解析を行った場合には、周波数解析の結果は、図１０（Ｂ）に示すようなものとなる。
【００５４】
次のステップ１０８では、上記ステップ１０６の周波数解析の結果から、所定の周波数範囲（下限の周波数ｆｌ〜上限の周波数ｆｈの周波数帯域）の帯域パワー（所定周波数帯域のパワー値）を各時系列データ毎に演算する。これにより、ロール方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｒが演算され、ピッチ方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｐが演算され、ヨー方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｙが演算される。ここで、下限の周波数ｆｌとして、例えば、０．５Ｈｚを用いることができる。また、上限の周波数ｆｈとして、例えば、２．０Ｈｚを用いることができる。なお、各時系列データ毎に周波数帯域の下限の周波数ｆｌ及び上限の周波数ｆｈを設定して各時系列データ毎に帯域パワーを演算してもよい。ステップ１０８で、図５（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図５（Ｃ）に示すようなものとなる。また、ステップ１０８で、図６（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図６（Ｃ）に示すようなものとなる。また、ステップ１０８で、図７（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図７（Ｃ）に示すようなものとなる。また、ステップ１０８で、図８（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図８（Ｃ）に示すようなものとなる。また、ステップ１０８で、図９（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図９（Ｃ）に示すようなものとなる。更に、ステップ１０８で、図１０（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、図１０（Ｃ）に示すようなものとなる。
【００５５】
以上、説明したように、ステップ１０４、１０６、１０８では、上記ステップ１０２により検出された各方向の傾きの各時系列データ（ロール方向の傾きの時系列データ、ピッチ方向の傾きの時系列データ、ヨー方向の傾きの時系列データ）の周波数分析を、各方向の傾き（ロール方向、ピッチ方向、ヨー方向）毎に行って、所定周波数帯域のパワー値（Ｐｒ、Ｐｐ、Ｐｙ）を各方向の傾き毎に演算する。なお、ステップ１０４、１０６、１０８は、本発明の演算手段に対応する。
【００５６】
次のステップ１１０では、帯域パワーＰｒ、Ｐｐ、Ｐｙの各々と、各方向（ロール方向、ピッチ方向、ヨー方向）に対応させて定めた閾値Ｖｒ、Ｖｐ、Ｖｙの各々とを比較し、少なくとも１つの帯域パワーが対応する閾値を超えるか否かを判定する。ここで、「少なくとも１つの帯域パワーが対応する閾値を超える」場合とは、Ｐｒが閾値Ｖｒを超えるか、帯域パワーＰｐが閾値Ｖｐを超えるか、または、帯域パワーＰｙが閾値Ｖｙを超える場合である。
【００５７】
ここで、閾値Ｖｒ、Ｖｐ、Ｖｙの設定方法の一例を挙げる。対象とする多数のジェスチャ（本実施の形態では、多数の首を傾げるジェスチャ、多数の頷くジェスチャ、多数の首を振るジェスチャ）に対して上記と同様の処理を行って帯域パワーを演算し、各ジェスチャについて判定正解率が最大となるような帯域パワーをそれぞれ実験によって予め求めておき、求められたそれぞれの帯域パワーを閾値Ｖｒ、Ｖｐ、Ｖｙとして設定しておくこととする。
【００５８】
ステップ１１０で、否定判定された場合（全ての帯域パワーが対応する閾値を超えないと判定された場合）には、次のステップ１２０に進む。ステップ１２０では、ドライバのジェスチャは首を傾げるジェスチャ、頷くジェスチャ、及び首を振るジェスチャ以外のジェスチャであると認識する。そして、ステップ１０２に戻る。
【００５９】
一方、ステップ１１０で、肯定判定された場合（少なくとも１つの帯域パワーが対応する閾値を超えると判定された場合）には、次のステップ１１２へ進む。
【００６０】
ステップ１１２では、対応する閾値を超える帯域パワーの各々について、｛（帯域パワー）−（対応する閾値）｝の値を演算する。より具体的には、帯域パワーＰｒが閾値Ｖｒを超える場合には、（Ｐｒ−Ｖｒ）の値を演算し、帯域パワーＰｐが閾値Ｖｐを超える場合には、（Ｐｐ−Ｖｐ）の値を演算し、帯域パワーＰｙが閾値Ｖｙを超える場合には、（Ｐｙ−Ｖｙ）の値を演算する。
【００６１】
次のステップ１１４では、上記ステップ１１２で演算された値のうち最大の値の帯域パワーを特定する。そして、特定された帯域パワーに対応する方向を特定する。より具体的には、ステップ１１４では、例えば、（Ｐｒ−Ｖｒ）の値が最大の値である場合には、帯域パワーＰｒが特定され、帯域パワーＰｒに対応する方向としてロール方向が特定される。また、ステップ１１４では、例えば、（Ｐｐ−Ｖｐ）の値が最大の値である場合には、帯域パワーＰｐが特定され、帯域パワーＰｐに対応する方向としてピッチ方向が特定される。また、ステップ１１４では、例えば、（Ｐｙ−Ｖｙ）の値が最大の値である場合には、帯域パワーＰｙが特定され、帯域パワーＰｙに対応する方向としてヨー方向が特定される。
【００６２】
次のステップ１１６では、上記ステップ１１４で特定された方向に対応するジェスチャを示す表現を、テーブル１６から取得する。ステップ１１６では、例えば、上記ステップ１１４で特定された方向がロール方向である場合には、テーブル１６から、首を傾げるジェスチャを示す「首かしげ」が取得される。また、ステップ１１６では、例えば、上記ステップ１１４で特定された方向がピッチ方向である場合には、テーブル１６から、頷くジェスチャを示す「頷き」が取得される。更に、ステップ１１６では、例えば、上記ステップ１１４で特定された方向がヨー方向である場合には、テーブル１６から、首を振るジェスチャを示す「首振り」が取得される。
【００６３】
次のステップ１１８では、上記ステップ１１６で取得された表現が示すジェスチャを人物（例えばドライバ）のジェスチャとして認識する。ステップ１１８では、例えば、上記ステップ１１６で「首かしげ」が取得された場合には、首を傾げるジェスチャを人物のジェスチャとして認識する。また、ステップ１１８では、例えば、上記ステップ１１６で「頷き」が取得された場合には、頷くジェスチャを人物のジェスチャとして認識する。また、ステップ１１８では、例えば、上記ステップ１１６で「首振り」が取得された場合には、首を振るジェスチャを人物のジェスチャとして認識する。そして、ステップ１０２に戻る。
【００６４】
以上、説明したように、ステップ１１０、１１２、１１４、１１６、１１８では、上記ステップ１０８により各方向の傾き毎に演算されたパワー値Ｐｒ、Ｐｐ、Ｐｙの各々と各方向に対応させて定めた閾値Ｖｒ、Ｖｐ、Ｖｙとを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを人物（例えばドライバ）のジェスチャとして認識する。
【００６５】
以上、本実施の形態のジェスチャ認識処理について説明した。なお、ステップ１００、１０２は検出手段７０によって実行され、ステップ１０４、１０６、１０８は演算手段７２によって実行され、ステップ１１０、１１２、１１４、１１６、１１８、１２０はジェスチャ認識手段７４によって実行される。
【００６６】
以上、本実施の形態のジェスチャ認識装置１０について説明した。本実施の形態のジェスチャ認識装置１０によれば、人物の視線の向きを用いずに、顔の各方向（ロール方向、ピッチ方向、ヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００６７】
また、本実施の形態のジェスチャ認識装置１０によれば、所定周波数帯域のパワー値を各方向の傾き毎に演算し、演算されたパワー値の各々と対応する各閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、ヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。なお、基本姿勢とは人物のニュートラルな状態におけるロール角、ピッチ角、ヨー角を指す。
【００６８】
なお、上記では、顔撮影用カメラ１２からの画像データからドライバの顔向き（ピッチ角、ヨー角、ロール角）を検出する例について説明したが、本発明はこれに限られない。例えば、顔向き（ピッチ角、ヨー角、ロール角）を検出して検出結果を示す信号を出力する角度センサを人物の頭部に設置して、この角度センサからの信号に基づいて、顔向き（ピッチ角、ヨー角、ロール角）を検出するようにしてもよい。
【００６９】
また、上記のステップ１０２では、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの３種類の方向の傾きを検出して、３種類の方向の傾きに対してステップ１０４以降の処理を行う例について説明したが、上記のステップ１０２で、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの複数の方向の傾きのうち少なくとも２つの方向の傾きを検出して、検出された傾きに対して、ステップ１０４以降の処理を同様に行うようにしてもよい。
【００７０】
［第２の実施の形態］
次に第２の実施の形態について説明する。第１の実施の形態では、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの複数の方向の傾きの３種類の方向の傾き、または、ジェスチャを行ったドライバの顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの複数の方向の傾きのうち少なくとも２つの方向の傾きを検出する場合について説明したが、第２の実施の形態では、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する。なお、第１の実施の形態と同様の構成及び処理（ステップ）については同様の符号を付して説明を省略する場合がある。
【００７１】
第２の実施の形態では、図１１に示すジェスチャ認識処理の処理ルーチンを実行するためのプログラムがＨＤＤ１４ｂに記憶されており、ＣＰＵ１４ｃがＨＤＤ１４ｂから図１１に示すジェスチャ認識処理の処理ルーチンを実行するためのプログラムを読み出して、図１１に示すジェスチャ認識処理を実行する。
【００７２】
本実施の形態のコンピュータ１４を以下で詳細を説明する図１１に示すジェスチャ認識処理に従って機能ブロックで表すと、図１２に示すように、検出手段７６、演算手段７８、及びジェスチャ認識手段８０で表すことができる。
【００７３】
検出手段７６は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する。
【００７４】
演算手段７８は、検出手段７６により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する。
【００７５】
ジェスチャ認識手段８０は、演算手段７８により演算されたパワー値と検出手段７６により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００７６】
次に、コンピュータ１４のＣＰＵ１４ｃが実行する図１１に示すジェスチャ認識処理の処理ルーチンについて説明する。なお、本実施の形態において、図１１に示すジェスチャ認識処理は、第１の実施の形態で説明したタイミングで実行される。
【００７７】
まず、ステップ１００で、第１の実施の形態と同様に、所定時間（例えば、１／３３秒）間隔で、顔撮影用カメラ１２からの画像データ（人物の顔画像の画像データ及び頭部画像の画像データ）を取得することを開始する。
【００７８】
次のステップ２０２では、取得された画像データに対して、公知の技術（例えば、特開２０００−９７６７６号公報に記載の技術）を適用することにより、顔撮影用カメラ１２からの画像データから、ドライバの顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する。なお、以下では、ステップ２０２で、ドライバの顔のロール方向の傾き（ロール角）を検出した場合について説明する。また、ステップ２０２は、本発明の検出手段に対応する。
【００７９】
次のステップ２０４では、上記ステップ２０２で検出されたドライバの顔向きの数が、所定数Ｎ´個以上となったか否かを判定する。ここで、このＮ´個の数は、詳細を以下で説明するステップ２０６での高速フーリエ変換（ＦＦＴ）による周波数解析に必要な数であり、例えば、ステップ２０６での高速フーリエ変換による周波数解析においてサンプリングの周期が３３Ｈｚである場合には、Ｎ´個として１２８個が設定される。
【００８０】
ステップ２０４で、上記ステップ１０２で検出されたドライバの顔向きの数が、所定数Ｎ´個以上となったと判定された場合には、上記ステップ２０２により検出されたロール方向の傾きの時系列データが、ステップ２０６での処理に適したデータであると判断して、次のステップ２０６へ進む。
【００８１】
ここで、ステップ２０４で、上記ステップ２０２で検出されたドライバの顔向きの数が、所定数Ｎ個以上となったと判定された場合には、第１の実施の形態で説明したように、図５（Ａ）、図６（Ａ）に示すような、時間（秒、ｓｅｃ）に対する顔角度のデータが上記ステップ２０２で検出されている。
【００８２】
一方、ステップ２０４で、上記ステップ２０２で検出されたドライバの顔向きの数が、所定数Ｎ´個以上となっていない（所定数Ｎ´個未満である）と判定された場合には、ステップ２０２へ戻り、再び上記で説明した処理を行う。
【００８３】
ステップ２０６では、上記ステップ２０２により検出されたロール方向の傾きの時系列データに対して、高速フーリエ変換による周波数解析を行って、各周波数におけるパワー（パワー値）を演算する。すなわち、ステップ２０６では、変動成分のデータ（周波数、パワー）を演算する。ここで、ステップ２０６で、図５（Ａ）に示すような時系列データに対して周波数解析を行った場合には、第１の実施の形態で説明したように、周波数解析の結果は、図５（Ｂ）に示すようなものとなる。また、ステップ２０６で、図６（Ａ）に示すような時系列データに対して周波数解析を行った場合には、第１の実施の形態で説明したように、周波数解析の結果は、図６（Ｂ）に示すようなものとなる。
【００８４】
次のステップ２０８では、上記ステップ２０６の周波数解析の結果から、所定の周波数範囲（下限の周波数ｆｌ〜上限の周波数ｆｈの周波数帯域）の帯域パワー（所定周波数帯域のパワー値）を演算する。これにより、ロール方向の傾きの時系列データに対して行われた周波数解析の結果から、帯域パワーＰｒが演算される。ここで、下限の周波数ｆｌとして、例えば、０．５Ｈｚを用いることができる。また、上限の周波数ｆｈとして、例えば、２．０Ｈｚを用いることができる。ステップ２０８で、図５（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、第１の実施の形態で説明したように、図５（Ｃ）に示すようなものとなる。また、ステップ２０８で、図６（Ｂ）に示すような変動成分データ（周波数、パワー）に対して帯域パワーを演算した場合には、その結果は、第１の実施の形態で説明したように、図６（Ｃ）に示すようなものとなる。
【００８５】
以上、説明したように、ステップ２０４、２０６、２０８では、上記ステップ２０２により検出されたロール方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値Ｐｒを演算する。なお、ステップ２０４、２０６、２０８は、本発明の演算手段に対応する。
【００８６】
次のステップ２１０では、帯域パワーＰｒと、ロール方向に対応させて定めた閾値Ｖｒとを比較し、帯域パワーＰｒが対応する閾値Ｖｒを超えるか否かを判定する。
【００８７】
なお、閾値Ｖｒ、Ｖｐ、Ｖｙの設定方法については、第１の実施の形態と同様である。
【００８８】
ステップ２１０で、否定判定された場合（帯域パワーＰｒが対応する閾値Ｖｒを超えないと判定された場合）には、次のステップ２１８に進む。ステップ２１８では、ドライバのジェスチャは首を傾げるジェスチャ以外のジェスチャであると認識する。そして、ステップ２０２に戻る。
【００８９】
一方、ステップ２１０で、肯定判定された場合（帯域パワーＰｒが対応する閾値Ｖｒを超えると判定された場合）には、次のステップ２１２へ進む。
【００９０】
次のステップ２１２では、上記ステップ２０８で演算された帯域パワーに対応する方向を特定する。より具体的には、ステップ２１２では、例えば、上記ステップ２０８で帯域パワーＰｒが演算された場合には、帯域パワーＰｒに対応する方向としてロール方向が特定される。また、ステップ２１２では、例えば、上記ステップ２０８で帯域パワーＰｐが演算された場合には、帯域パワーＰｐに対応する方向としてピッチ方向が特定される。また、ステップ２１２では、例えば、上記ステップ２０８で帯域パワーＰｙが演算された場合には、帯域パワーＰｙに対応する方向としてヨー方向が特定される。
【００９１】
次のステップ２１４では、上記ステップ２１２で特定された方向に対応するジェスチャを示す表現を、テーブル１６から取得する。
【００９２】
次のステップ２１６では、上記ステップ２１４で取得された表現が示すジェスチャを人物（例えばドライバ）のジェスチャとして認識する。そして、ステップ２０２に戻る。
【００９３】
以上、説明したように、ステップ２１０、２１２、２１４、２１６では、上記ステップ２０８により演算されたパワー値（上記の一例ではＰｒ）と上記ステップ２０２により傾きが検出された方向（上記の一例ではロール方向）に対応させて定めた閾値（上記の一例ではＶｒ）とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを人物のジェスチャとして認識する。
【００９４】
以上、本実施の形態のジェスチャ認識処理について説明した。なお、ステップ１００、２０２は検出手段７６によって実行され、ステップ２０４、２０６、２０８は演算手段７８によって実行され、ステップ２１０、２１２、２１４、２１６、２１８はジェスチャ認識手段８０によって実行される。
【００９５】
以上、第２の実施の形態のジェスチャ認識装置について説明した。本実施の形態のジェスチャ認識装置によれば、人物の視線の向きを用いずに、顔の方向（ロール方向、ピッチ方向、またはヨー方向）の傾きを用いてジェスチャを認識しているので、従来技術と比較して、より演算量が少ない処理でジェスチャを認識することができる。
【００９６】
また、本実施の形態のジェスチャ認識装置によれば、所定周波数帯域のパワー値を演算し、演算されたパワー値と対応する閾値とを比較することによりジェスチャを認識するので、基本姿勢（ロール角、ピッチ角、またはヨー角）が人物毎に異なっていても正確にジェスチャを認識することができる。
【００９７】
なお、上記では、ステップ２０２で顔撮影用カメラ１２からの画像データからドライバの顔向きとしてロール角を検出して、ステップ２０４以降の処理でロール角に対応する処理を行う例について説明したが、本発明はこれに限られない。例えば、ステップ２０２でドライバの顔向きとしてピッチ角を検出して、ステップ２０４以降の処理でピッチ角に対応する処理を行うようにしてもよい。この場合には、ステップ２０８で帯域パワーＰｐを演算し、ステップ２１０、２１２、２１４、２１６では、ステップ２０８で演算された帯域パワーＰｐとステップ２０２により傾きが検出されたピッチ方向に対応させて定めた閾値Ｖｐとを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャ（この場合には、頷くジェスチャ）を人物のジェスチャとして認識する。同様に、ステップ２０２でドライバの顔向きとしてヨー角を検出して、ステップ２０４以降の処理でヨー角に対応する処理を行うようにしてもよい。この場合には、ステップ２０８で帯域パワーＰｙを演算し、ステップ２１０、２１２、２１４、２１６では、ステップ２０８で演算された帯域パワーＰｙとステップ２０２により傾きが検出されたヨー方向に対応させて定めた閾値Ｖｙとを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャ（この場合には、首を振るジェスチャ）を人物のジェスチャとして認識する。
【００９８】
また、第１の実施の形態のジェスチャ認識装置１０及び第２の実施の形態のジェスチャ認識装置におけるジェスチャ（頭部ジェスチャ）の認識結果を用いて、人物の状態を推定することが可能となる。これは、人物（人）の心理状態は、しばしばジェスチャとして表現されるからである。例えば、人物が首を傾げるジェスチャを行ったと認識した場合には、この人物は困惑している状態であると推定できる。また、人物が頷くジェスチャを行ったと認識した場合には、この人物は同意している状態であると推定できる。更に、人物が首を振るジェスチャを行ったと認識した場合には、この人物は拒絶している状態であると推定できる。
【００９９】
また、人と機械との対話装置において、推定した人の心理状態に応じて適切な対話を進めることが可能となる。より具体的には、例えば、情報検索時に機械側から「この条件でよろしいですか」と尋ねた場合に、人が首を傾げているジェスチャを行ったと認識された場合には、この人の心理状態は「困惑している状態であり、状況把握ができていない」と判断して、「内容がわかりませんか」と適切な対話を進めることが可能となる。また、情報検索時に機械側から「この条件でよろしいですか」と尋ねた場合に、人が首を振るジェスチャを行ったと認識された場合には、この人の心理状態は「拒絶している状態であり、条件に納得していない」と判断して、「お気に召しませんか。他の条件で探してみます。」等と適切な対話を進めることが可能となる。なお、「適切な対話を進める」とは、例えば、「円滑に対話を進める」ことである。また、第１の実施の形態のジェスチャ認識装置１０及び第２の実施の形態のジェスチャ認識装置におけるジェスチャの認識結果は、対話装置に限られず、機器操作においても用いることができる。すなわち、機器を操作する人（ユーザ）の心理状態に応じた機器操作の誘導につなげることができる。
【符号の説明】
【０１００】
１０ ジェスチャ認識装置
１２ 顔撮影用カメラ
１４ コンピュータ
１４ｃ ＣＰＵ
１６ 方向―ジェスチャ対応テーブル
７０ 検出手段
７２ 演算手段
７４ ジェスチャ認識手段
【特許請求の範囲】
【請求項１】
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段と、
前記検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段と、
前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段と、
を含むジェスチャ認識装置。
【請求項２】
前記ジェスチャ認識手段は、前記最も大きいパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識する請求項１記載のジェスチャ認識装置。
【請求項３】
前記検出手段は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きを検出する請求項１または請求項２記載のジェスチャ認識装置。
【請求項４】
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段と、
前記検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段と、
前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段と、
を含むジェスチャ認識装置。
【請求項５】
前記ジェスチャ認識手段は、前記対応する閾値を超えたパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識する請求項４記載のジェスチャ認識装置。
【請求項６】
コンピュータを、
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段、及び
前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段
として機能させるためのプログラム。
【請求項７】
コンピュータを、
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段、及び
前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段
として機能させるためのプログラム。
【請求項１】
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段と、
前記検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段と、
前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段と、
を含むジェスチャ認識装置。
【請求項２】
前記ジェスチャ認識手段は、前記最も大きいパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記最も大きいパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識する請求項１記載のジェスチャ認識装置。
【請求項３】
前記検出手段は、ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きを検出する請求項１または請求項２記載のジェスチャ認識装置。
【請求項４】
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段と、
前記検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段と、
前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段と、
を含むジェスチャ認識装置。
【請求項５】
前記ジェスチャ認識手段は、前記対応する閾値を超えたパワー値に対応する方向がロール方向である場合には、首を傾げるジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がピッチ方向である場合には、頷くジェスチャを前記人物のジェスチャとして認識し、前記対応する閾値を超えたパワー値に対応する方向がヨー方向である場合には、首を振るジェスチャを前記人物のジェスチャとして認識する請求項４記載のジェスチャ認識装置。
【請求項６】
コンピュータを、
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、及びヨー方向の傾きの少なくとも２つの方向の傾きを検出する検出手段により検出された各方向の傾きの各時系列データの周波数分析を前記各方向の傾き毎に行って、所定周波数帯域のパワー値を各方向の傾き毎に演算する演算手段、及び
前記演算手段により各方向の傾き毎に演算されたパワー値の各々と各方向に対応させて定めた閾値とを比較し、対応する閾値を超え、かつ対応する閾値との差が最も大きいパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段
として機能させるためのプログラム。
【請求項７】
コンピュータを、
ジェスチャを行った人物の顔のロール方向の傾き、ピッチ方向の傾き、またはヨー方向の傾きを検出する検出手段により検出された方向の傾きの時系列データの周波数分析を行って、所定周波数帯域のパワー値を演算する演算手段、及び
前記演算手段により演算されたパワー値と前記検出手段により傾きが検出された方向に対応させて定めた閾値とを比較し、対応する閾値を超えたパワー値に対応する方向に対応するジェスチャを前記人物のジェスチャとして認識するジェスチャ認識手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１７０３９２（Ｐ２０１０−１７０３９２Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１３１１７（Ｐ２００９−１３１１７）
【出願日】平成２１年１月２３日（２００９．１．２３）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２３日（２００９．１．２３）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]