ジェスチャ認識装置
【課題】ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができるジェスチャ認識装置を提供する。
【解決手段】検出部１５は、検知範囲内の人３の存否を検出する人検出モードと、人３の身体の特定部位の位置を検出するジェスチャ検出モードとの２つの動作モードを有している。モード切替部１７は、検出部１５が人検出モードで動作中に人３の存在を検出すると、検出部１５の動作モードをジェスチャ検出モードに切り替え、その時点での取得画像を参照画像として比較データ用領域に記憶する。検出部１５は、ジェスチャ検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている参照画像との差を検出する背景差分法により、人３の身体の特定部位の位置を時系列的に検出する。
【解決手段】検出部１５は、検知範囲内の人３の存否を検出する人検出モードと、人３の身体の特定部位の位置を検出するジェスチャ検出モードとの２つの動作モードを有している。モード切替部１７は、検出部１５が人検出モードで動作中に人３の存在を検出すると、検出部１５の動作モードをジェスチャ検出モードに切り替え、その時点での取得画像を参照画像として比較データ用領域に記憶する。検出部１５は、ジェスチャ検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている参照画像との差を検出する背景差分法により、人３の身体の特定部位の位置を時系列的に検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検知範囲内の温度分布を表す取得情報を用いてジェスチャを認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
従来から、制御対象機器の制御などに用いられる入力インタフェースの一例として、人の特定部位（たとえば顔）の動きによって表されるジェスチャを認識するジェスチャ認識装置が提案されている（たとえば特許文献１参照）。
【０００３】
特許文献１のジェスチャ認識装置は、カメラで撮影された画像を用いて、人の特定部位の傾きを検出することにより、ジェスチャを認識する。また、特許文献１の構成においては、ジェスチャの認識処理は、ジェスチャ認識装置の電源がオンされると実行される。
【０００４】
また、ジェスチャ認識装置は、単に非接触のポインティングデバイスとして用いられる場合、特定部位（たとえば手）の位置などを認識できればよく、この種の装置には、動作の安定性、低コスト、低消費電力といった性能が要求される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７０３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述したようなジェスチャ認識装置では、意図しないタイミングでジェスチャが認識されてしまうことを防ぐために、ジェスチャの認識処理が行われる期間を制限する必要がある。そのためには、特許文献１におけるジェスチャ認識装置の電源オンのように、ジェスチャの認識開始の合図が必要となるので、ジェスチャの入力とは別のインタフェースをジェスチャ認識装置に設ける必要があり、装置の低コスト化が難しいという問題がある。
【０００７】
本発明は上記事由に鑑みて為されており、ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができるジェスチャ認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のジェスチャ認識装置は、検知範囲から受ける熱流束の分布を検知するセンサ装置から前記熱流束の分布を表す取得情報を取得する取得部と、前記検知範囲に人が存在しないときの前記検知範囲内の熱流束の分布を表す背景情報を記憶する記憶部と、前記検知範囲内の人の存否を検出する人検出モードおよび人の特定部位の位置を検出するジェスチャ検出モードの２つの動作モードを有する検出部と、前記ジェスチャ検出モードで検出された前記特定部位の位置に基づいてジェスチャを認識する認識部と、前記検出部の動作モードを切り替えるモード切替部とを備え、前記モード切替部は、前記検出部が前記人検出モードで動作中に人の存在を検出すると、当該人を検出した時点での前記取得情報を参照情報とし、前記検出部の動作モードを前記ジェスチャ検出モードに切り替え、前記検出部は、前記人検出モードにおいては、前記取得情報と前記背景情報との差に基づいて、前記検知範囲内における人の存否を検出し、前記ジェスチャ検出モードにおいては、前記取得情報と前記参照情報との差に基づいて、前記特定部位の位置を検出することを特徴とする。
【０００９】
このジェスチャ認識装置において、前記モード切替部は、前記検出部が前記ジェスチャ検出モードで動作中に前記取得情報の変化に基づいて前記検知範囲から人が退去したことを検知すると、前記検出部の動作モードを前記人検出モードに切り替えることが望ましい。
【００１０】
このジェスチャ認識装置において、前記検出部が前記人検出モードで動作中に所定の更新時間間隔で前記背景情報を更新する更新部をさらに備え、前記更新部は、前記ジェスチャ検出モードの開始から終了までの時間が前記更新時間よりも長い場合、当該ジェスチャ検出モードの終了時点の前記取得情報で前記背景情報を更新することがより望ましい。
【発明の効果】
【００１１】
本発明は、ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができるという利点がある。
【図面の簡単な説明】
【００１２】
【図１】実施形態１に係るジェスチャ認識装置の構成を示す概略図である。
【図２】実施形態１に係るジェスチャ認識装置の処理全体を表す説明図である。
【図３】実施形態１に係るジェスチャ認識装置の人接近検出処理を表す説明図である。
【図４】実施形態１に係るジェスチャ認識装置の特定部位検出処理を表す説明図である。
【図５】実施形態１に係るジェスチャ認識装置の人退出検出処理を表す説明図である。
【図６】実施形態１に係るジェスチャ認識装置の動作を示す説明図である。
【図７】実施形態２に係るジェスチャ認識装置の処理全体を表す説明図である。
【発明を実施するための形態】
【００１３】
（実施形態１）
本実施形態のジェスチャ認識装置１は、図１に示すように、センサ装置２から情報を取得する取得部１１と、情報を記憶する記憶部１２と、各種の演算を行いジェスチャの認識等の処理を行う演算処理部１３と、認識結果を出力する出力部１４とを備えている。
【００１４】
センサ装置２は、赤外線に感度を持つたとえばサーモパイル素子等のセンサ素子（図示せず）がマトリクス状に２次元配置されて成り、各センサ素子が検知範囲から受けた熱流束の分布を表す情報を二次元の熱画像として継続的に出力する。各センサ素子は熱画像の各画素に対応しており、以下では各センサ素子が検出した領域の摂氏温度を、熱画像にて対応する各画素の画素値として説明する。なお、図１の例ではジェスチャ認識装置１はセンサ装置２と別体であるが、この構成に限らず、ジェスチャ認識装置１にセンサ装置２が一体に備わっていてもよい。
【００１５】
本実施形態のジェスチャ認識装置１はコンピュータからなり、コンピュータに所定のプログラムを実行させることにより、取得部１１、演算処理部１３としての各機能をコンピュータにて実現する。出力部１４は、モニタ装置やプリンタ装置など、演算処理部１３の認識結果をユーザに提示する機能を有する装置からなる。
【００１６】
取得部１１は、センサ装置２から現在の検知範囲の熱流束の分布を表す熱画像である取得画像を取得情報として定期的に取得する。ジェスチャ認識装置１は、検知範囲に人３が存在しない時点での検知範囲の熱流束の分布を表す熱画像を背景画像（背景情報）として予め記憶部１２に記憶している。本実施形態では、記憶部１２は、取得画像を記憶する取得データ用領域と、取得画像の比較対象となる画像を記憶する比較データ用領域と、後述する復帰データ用領域とを有しており、比較データ用領域には初期値として背景画像を記憶している。
【００１７】
演算処理部１３は、検知範囲内の人３の存否や人３の身体の特定部位の位置を検出する検出部１５と、特定部位の位置に基づいてジェスチャを認識する認識部１６と、検出部１５の動作モードを切り替えるモード切替部１７とを有している。
【００１８】
検出部１５は、検知範囲内の人３の存否を検出する人検出モードと、人３の身体の特定部位の位置を検出するジェスチャ検出モードとの２つの動作モードを有している。
【００１９】
モード切替部１７は、検出部１５が人検出モードで動作中に人３の存在を検出すると、検出部１５の動作モードを人検出モードからジェスチャ検出モードに切り替える。つまり、検出部１５は、人検出モードにおいて検知範囲内に人３の存在を検出すると、人検出モードを終了してジェスチャ検出モードを開始する。ジェスチャ検出モードへの切り替え時、モード切替部１７は、記憶部１２の比較データ用領域から復帰データ用領域にデータ（背景画像）をコピーし、且つその時点（人３を検出した時点）での取得画像を参照画像（参照情報）として比較データ用領域に記憶する。
【００２０】
一方、モード切替部１７は、検出部１５がジェスチャ検出モードで動作中に検知範囲から人３が退去したことを検出すると、検出部１５の動作モードをジェスチャ検出モードから人検出モードに切り替える。つまり、検出部１５は、ジェスチャ検出モードにおいて検知範囲内に人３を検出できなくなると、ジェスチャ検出モードを終了して人検出モードを開始する。人検出モードへの切り替え時、モード切替部１７は、記憶部１２の復帰データ用領域から比較データ用領域にデータ（背景画像）をコピーする。
【００２１】
要するに、モード切替部１７は、人検出モードからジェスチャ検出モードへの切り替え時、比較データ用領域に記憶されている背景画像を復帰データ用領域に一時的に退避させ、比較データ用領域に参照画像をセットする。また、ジェスチャ検出モードから人検出モードへの切り替え時には、モード切替部１７は、比較データ用領域に記憶されている参照画像を消去し、復帰データ用領域に一時的に退避させてあった背景画像を比較データ用領域に復帰させる。これにより、記憶部１２の比較データ用領域には、検出部１５が人検出モードで動作中に背景画像がセットされ、ジェスチャ検出モードで動作中に参照画像がセットされることになる。
【００２２】
検出部１５は、人検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている背景画像との差を検出する背景差分法により、検知範囲内の人３の存否を検出する。つまり、検出部１５は、人検出モードにおいては、人３がセンサ装置２の検知範囲内に入ったことを検出することによって、センサ装置２への人３の接近を検出する処理（以下、「人接近検出処理」という）を行う。
【００２３】
一方、検出部１５は、ジェスチャ検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている参照画像との差を検出する背景差分法により、人３の身体の特定部位の位置を時系列的に検出する。つまり、検出部１５は、ジェスチャ検出モードにおいては、検知範囲内に存在する人３に起因した熱流束の分布を背景にして、さらにその中で熱流束値が大きくなる特定部位の位置を検出する処理（以下、「特定部位検出処理」という）を行う。
【００２４】
本実施形態では一例として、人３の手の手首から先の部分を特定部位としている。人３が特定部位としての手をセンサ装置２にかざすように前に出せば、特定部位がセンサ装置２に接近することにより、センサ装置２が受ける熱流束値は人３の身体の他の部位に比べて特定部位で大きくなる。そのため、検出部１５がジェスチャ検出モードで動作中に、人３が特定部位としての手を前に出せば、取得画像においては、熱流束値が身体の他の部位に比べて特定部位にて大きくなる。したがって、人３がセンサ装置２に接近することによって、検出部１５の動作モードが人検出モードからジェスチャ検出モードに切り替わった後、人３が手をセンサ装置２に向けて突き出すことにより、特定部位としての手の位置が検出部１５にて検出可能となる。検出部１５は、このように熱源として検出される特定部位（ここでは手の手首よりも先の部分）の重心座標を、特定部位の位置として出力する。
【００２５】
認識部１６は、ジェスチャ検出モードにある検出部１５で検出された特定部位（ここでは、手の手首から先の部分）の位置に基づいて、ジェスチャを認識する。記憶部１２には、複数種類のジェスチャと、特定部位の位置または特定部位の位置の時間経過に伴う変化（つまり「動き」）との対応関係を表す対応テーブルが予め記憶されている。認識部１６は、検出部１５の検出結果から特定部位の位置またはその動きを抽出し、抽出結果を対応テーブルと照合することにより、ジェスチャを認識する。なお、特定部位の位置からジェスチャを認識する方法については、周知の方法が適用可能であるので、詳しい説明は省略する。
【００２６】
また、検出部１５は、ジェスチャ検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている参照画像との差を検出する背景差分法により、検知範囲内の人３の存否も併せて検出する。つまり、検出部１５は、ジェスチャ検出モードにおいては、人３がセンサ装置２の検知範囲から居なくなったことを検出することによって、検知範囲からの人３の退出を検出する処理（以下、「人退出検出処理」という）を行う。
【００２７】
以下に、ジェスチャ認識装置１の具体的な動作について、ジェスチャ認識装置１の処理全体を表す図２、人接近検出処理を表す図３、特定部位検出処理を表す図４、人退出検出処理を表す図５の各フローチャートを参照して説明する。なお、以下では、画像における各画素の画素値を、画像における各画素の座標位置（ｘ，ｙ）および時刻ｔにて特定する。
【００２８】
ジェスチャ認識装置１は、まず、人３が存在しない状態でセンサ装置２から出力される熱画像を取得部１１にて取得し、この熱画像の各画素値を、比較データＴａ（ｘ，ｙ，ｔ）の初期値として記憶部１２の比較データ用領域に初期値として記憶する（図２のＳ１）。比較データＴａ（ｘ，ｙ，ｔ）は、取得画像Ｔと比較される比較画像Ｔａを構成する各画素の画素値である。比較画像Ｔａは、検出部１５の動作モードが人検出モードであれば背景画像に相当し、検出部１５の動作モードがジェスチャ検出モードであれば参照画像に相当する。さらに、初期設定（Ｓ１）において、モード切替部１７は検出部１５の動作モードを人検出モードとする。
【００２９】
ジェスチャ認識装置１は、現在の温度分布データＴ（ｘ，ｙ，ｔ）をセンサ装置２から取得部１１にて取得し、この温度分布データＴ（ｘ，ｙ，ｔ）を記憶部１２に記憶する（図２のＳ２）。温度分布データＴ（ｘ，ｙ，ｔ）は、取得画像Ｔを構成する各画素の画素値である。
【００３０】
検出部１５は、記憶部１２に記憶されている比較データＴａ（ｘ，ｙ，ｔ）と温度分布データＴ（ｘ，ｙ，ｔ）との差分を、差分データＴｂ（ｘ，ｙ，ｔ）として算出する（図２のＳ３）。つまり、差分データＴｂ（ｘ，ｙ，ｔ）は数１にて表される。差分データＴｂ（ｘ，ｙ，ｔ）は差分画像Ｔｂを構成する各画素の画素値である。検出部１５は数１で表される演算を画素ごとに取得画像Ｔの全画素について行う。
【００３１】
【数１】
【００３２】
それから、検出部１５は、動作モードがジェスチャ検出モードでなければ（図２のＳ４：Ｎｏ）、人接近検出処理（Ｓ５）を実行する。人接近検出処理（Ｓ５）の詳細については、図３を参照して説明する。
【００３３】
すなわち、人接近検出処理においては、検出部１５は、取得画像Ｔと比較画像（ここでは背景画像）Ｔａとの差分である差分画像Ｔｂを構成している差分データＴｂ（ｘ，ｙ，ｔ）を、所定の第１の閾値によって２値化する（図３のＳ５１）。このとき、検出部１５は、差分値が第１の閾値より大きな画素を熱源が検出された「検出画素」とし、差分値が第１の閾値以下の画素を熱源が検出されなかった「不検出画素」とするように２値化し、検出画像Ｔｃを生成する。検出画像Ｔｃを構成する各画素の画素値Ｔｃ（ｘ，ｙ，ｔ）は第１の閾値Ｃ１を用いて数２にて表される。
【００３４】
【数２】
【００３５】
検出部１５は、検出画像Ｔｃより、検出画素の集合、つまりＴｃ（ｘ，ｙ，ｔ）＝１となる画素の集合からなる検出領域の面積を、熱源検出面積ｓ１として求める（図３のＳ５２）。なお、Ｔｃ（ｘ，ｙ，ｔ）＝０となる画素（ｘ，ｙ）は不検出画素である。熱源検出面積ｓ１が所定の第２の閾値以下であれば（図３のＳ５３：Ｎｏ）、検出部１５は検知範囲内に人３は居ないと判断する（Ｓ５４）。熱源検出面積ｓ１が所定の第２の閾値より大きければ（図３のＳ５３：Ｙｅｓ）、検出部１５は検知範囲内に人３が居る、つまりセンサ装置２に人３が接近したと判断する（Ｓ５５）。
【００３６】
上述した人接近検出処理において人３が検出されなければ（図２のＳ６：Ｎｏ）、そのままＳ２の処理に戻る。一方、人３が検出されれば（図２のＳ６：Ｙｅｓ）、モード切替部１７は、復帰データ用領域内の復帰画像Ｔｄを比較データ用領域内の比較画像Ｔａにて更新し（Ｓ７）、その時点での取得画像Ｔにて比較データ用領域内の比較画像Ｔａを更新する（Ｓ８）。言い換えれば、モード切替部１７は、記憶部１２の比較データ用領域から復帰データ用領域に背景画像をコピーし（Ｓ７）、且つその時点での取得画像Ｔを参照画像として比較データ用領域に記憶する（Ｓ８）。それから、モード切替部１７は、検出部１５の動作モードをジェスチャ検出モードに切り替え（図２のＳ９）、Ｓ２の処理に戻る。
【００３７】
検出部１５は、動作モードがジェスチャ検出モードであれば（図２のＳ４：Ｙｅｓ）、特定部位検出処理（Ｓ１０）を実行する。特定部位検出処理（Ｓ１０）の詳細については、図４を参照して説明する。
【００３８】
すなわち、特定部位検出処理においては、検出部１５は、取得画像Ｔと比較画像（ここでは参照画像）Ｔａとの差分である差分画像Ｔｂを構成している差分データＴｂ（ｘ，ｙ，ｔ）を、所定の第１の閾値によって２値化する（図４のＳ１０１）。このとき、検出部１５は、差分値が第１の閾値より大きな画素を熱源が検出された「検出画素」とし、差分値が第１の閾値以下の画素を熱源が検出されなかった「不検出画素」とするように２値化し、検出画像Ｔｃを生成する。
【００３９】
検出部１５は、検出画像Ｔｃについてラベリング処理を行い、検出画素の集合、つまりＴｃ（ｘ，ｙ，ｔ）＝１となる画素の集合からなる検出領域を塊ごとに分割し、面積が所定値よりも小さい領域を削除する（図４のＳ１０２）。このとき、所定値以上の面積を持つ領域が残らなければ、検出部１５は、熱源領域なしと判断して（図４のＳ１０３：Ｎｏ）、特定部位の位置情報はなし（Ｓ１０４）として特定部位検出処理を終了する。一方、所定値以上の面積を持つ領域が残った場合、検出部１５は、熱源領域ありと判断して（図４のＳ１０３：Ｙｅｓ）、残った領域（熱源領域）の位置を算出する。このとき、検出部１５は、熱源領域を構成する画素全ての座標値の重み付き平均をとることにより、熱源領域の重心位置（一次元であればＧｘ、二次元であれば〔Ｇｘ，Ｇｙ〕）を算出する（図４のＳ１０５）。検出部１５は、重みを全て１として簡単に重心位置を求めてもよく、また、重みとして、適切にオフセットされた各画素の温度または差分温度の値を用いてもよい。検出部１５は、このようにして求まる重心位置を、人３の特定部位の位置として出力する（図４のＳ１０６）。
【００４０】
特定部位検出処理が終了すると、検出部１５は、検出した特定部位の位置を認識部１６に出力し（図２のＳ１１）、人退出検出処理（Ｓ１２）を実行する。人退出検出処理（Ｓ１２）の詳細については、図５を参照して説明する。
【００４１】
すなわち、人退出検出処理においては、検出部１５は、取得画像Ｔと比較画像（ここでは背景画像）Ｔａとの差分である差分画像Ｔｂを構成している差分データＴｂ（ｘ，ｙ，ｔ）を、所定の第３の閾値によって２値化する（図５のＳ１２１）。このとき、検出部１５は、差分値が第３の閾値より小さな画素を熱源が検出されなかった「不検出画素」とし、差分値が第３の閾値以上の画素を熱源が検出された「検出画素」とするように２値化し、不検出画像Ｔｅを生成する。不検出画像Ｔｅを構成する各画素の画素値Ｔｅ（ｘ，ｙ，ｔ）は第３の閾値Ｃ３を用いて数３にて表される。ここで、人退出検出処理は、人３が居なくなったことを検出する処理であるため、第３の閾値Ｃ３は負の値である。
【００４２】
【数３】
【００４３】
検出部１５は、不検出画像Ｔｅより、不検出画素の集合、つまりＴｅ（ｘ，ｙ，ｔ）＝１となる画素の集合からなる不検出領域の面積を、不検出面積ｓ０として求める（図５のＳ１２２）。なお、Ｔｅ（ｘ，ｙ，ｔ）＝０となる画素（ｘ，ｙ）は検出画素である。不検出面積ｓ０が所定の第４の閾値以下であれば（図５のＳ１２３：Ｎｏ）、検出部１５は検知範囲内に人３が居る、つまり検知範囲からの人３の退出はないと判断する（Ｓ１２４）。不検出面積ｓ０が所定の第４の閾値より大きければ（図５のＳ１２３：Ｙｅｓ）、検出部１５は検知範囲内に人３が居ない、つまり検知範囲から人３が退出したと判断する（Ｓ１２５）。
【００４４】
上述した人退出検出処理において人３の退出が検出されなければ（図２のＳ１３：Ｎｏ）、そのままＳ２の処理に戻る。一方、人３の退出が検出されれば（図２のＳ１３：Ｙｅｓ）、モード切替部１７は、比較データ用領域内の比較画像Ｔａを復帰データ用領域内の復帰画像Ｔｄにて更新する（Ｓ１４）。言い換えれば、モード切替部１７は、記憶部１２の復帰データ用領域から比較データ用領域に背景画像をコピーする。それから、モード切替部１７は、検出部１５の動作モードを人検出モードに切り替え（図２のＳ１５）、Ｓ２の処理に戻る。
【００４５】
次に、上述した構成のジェスチャ認識装置１を用いてジェスチャを認識する方法について、図６を参照して説明する。図６では、６×６画素の熱画像を例として、時系列に並ぶ（ａ）〜（ｆ）の各シーンにおけるジェスチャ認識装置１の処理を例示している。
【００４６】
まず、最初のシーン（ａ）においては、検出部１５の動作モードは人検出モードであって、センサ装置２の検知範囲に人３が居ないため、比較画像Ｔａは背景画像であり、取得画像Ｔには人３に起因する熱流束の分布は現れない。
【００４７】
シーン（ｂ）においては、センサ装置２に人３が接近することにより、取得画像Ｔに人３に起因する熱流束の分布が現れるため、ジェスチャ認識装置１は、検出部１５にて人３の存在を検出する。このとき、モード切替部１７は、復帰画像Ｔｄを比較画像Ｔａにて更新し、その時点での取得画像Ｔにて比較画像Ｔａを更新して、検出部１５の動作モードをジェスチャ検出モードに切り替える。
【００４８】
次のシーン（ｃ）においては、人３が特定部位（ここでは手の手首より先の部分）を上げることにより、取得画像Ｔに特定部位に相当する熱源が現れるため、ジェスチャ認識装置１は、検出部１５にて特定部位の位置を検出する。さらに、シーン（ｄ）においては、人３が特定部位（ここでは手の手首より先の部分）を降ろすことにより、取得画像Ｔにおける熱源の位置が変化（下降する）ため、ジェスチャ認識装置１は、検出部１５にて特定部位の位置の変化を検出する。認識部１６は、シーン（ｃ）、（ｄ）において、検出部１５が検出した特定部位の位置に基づいて、ジェスチャを認識する。
【００４９】
次のシーン（ｅ）においては、センサ装置２から人３が離れることにより、取得画像Ｔにおける熱流束の分布が変化するため、ジェスチャ認識装置１は、検出部１５にて人３の退出を検出する。このとき、モード切替部１７は、比較画像Ｔａを復帰画像Ｔｄにて更新して、検出部１５の動作モードを人検出モードに切り替える。
【００５０】
最後のシーン（ｆ）においては、検出部１５の動作モードは人検出モードであって、センサ装置２の検知範囲に人３が居ないため、比較画像Ｔａは背景画像であり、取得画像Ｔには人３に起因する熱流束の分布は現れない。
【００５１】
以上説明した本実施形態のジェスチャ認識装置１によれば、検出部１５が人検出モードで動作中に人３の存在を検出すると、検出部１５の動作モードはジェスチャの認識処理を行うジェスチャ検出モードに自動的に切り替わることになる。すなわち、このジェスチャ認識装置１では、ジェスチャの認識処理はジェスチャ検出モードでのみ行われ、且つ人検出モードからジェスチャ検出モードへの切り替えは、センサ装置２に対する人３の接近をトリガにモード切替部１７によって為される。したがって、ジェスチャ認識装置１は、ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができる。
【００５２】
要するに、ジェスチャ認識装置１は、人検出モードではジェスチャを認識することなく、人３がセンサ装置２に対して一定距離まで近づいたときにのみジェスチャの入力を受け付けるので、意図しないタイミングでジェスチャが認識されてしまうことを防止できる。なお、本実施形態の構成に対して、認識するジェスチャ自体を複雑化して、意図しないジェスチャが認識されてしまうことを防止する方法も考えられるが、この方法では、複雑なジェスチャの認識処理が必要であるため、装置の低コスト化を図ることは難しい。
【００５３】
また、本実施形態のジェスチャ認識装置１は、ジェスチャ検出モードにおいて、センサ装置２に人３が接近した状態の取得画像を比較画像（参照画像）とするため、その中でも熱流束値が大きくなる特定部位を熱源として確実に検出することができる。したがって、このジェスチャ認識装置１によれば、安定したジェスチャ入力を実現することができる。
【００５４】
さらにまた、検知範囲から人３が退去すると、モード切替部１７は、検出部１５の動作モードを人検出モードに切り替えるので、次に人３の存在が検出されるまでは、ジェスチャの入力を中断し、新たに人３が接近することを検出できる。つまり、ジェスチャ認識装置１は、ジェスチャの認識終了の合図も必要とせず、ジェスチャの認識処理が行われる期間を制限することができる。
【００５５】
（実施形態２）
本実施形態のジェスチャ認識装置１は、検出部１５が人検出モードにある期間に、定期的に記憶部１２内の背景画像（背景情報）を更新する更新部（図示せず）を演算処理部１３に備える点が、実施形態１のジェスチャ認識装置１と相違する。以下、実施形態１と同様の構成については共通の符号を付して適宜説明を省略する。
【００５６】
すなわち、予め設定された背景画像をそのまま使用し続けると、ジェスチャ認識装置１は、時間帯の変化や冷暖房等により、人３に依らない検知範囲内の温度（以下、「環境温度」という）が変化したときに誤検出を生じる可能性がある。そこで、本実施形態のジェスチャ認識装置１は、検出部１５が人検出モードにある間に、記憶部１２に記憶されている背景画像を所定の更新時間間隔で繰り返し更新する更新部を備えている。
【００５７】
更新部は、ジェスチャ認識装置１の動作中、タイマ（図示せず）によって時間を計測しており、ジェスチャ認識装置１の起動時もしくは前回の背景画像の更新から更新時間が経過すると、その時点で検出部１５が人検出モードにあれば、背景画像の定期更新を行う。なお、更新部は、取得部１１がセンサ装置２から定期的に取得する取得画像Ｔのフレーム数をカウントすることによって更新時間を計るように構成されていてもよい。
【００５８】
更新部による背景画像の定期更新は、現時点の取得画像Ｔおよび更新係数αを用いて以下のように行われる。すなわち、更新部は、記憶部１２の比較データ用領域に記憶されている定期更新前の比較画像Ｔａ（ｔ−１）と、現時点の取得画像Ｔ（ｔ）との重み付き平均（加重平均）値を算出することによって、背景画像の定期更新処理を行う。つまり、定期更新後の比較画像（ｔ）は、重み付き平均のパラメータである更新係数αを用いて数４にて表される。なお、更新係数αは０＜α≦１で現れる定数である。
【００５９】
【数４】
【００６０】
ところで、更新部は、ジェスチャ認識装置１の動作中、タイマによって時間を計測しており、ジェスチャ認識装置１の起動時もしくは前回の背景画像の更新から更新時間が経過した時点で検出部１５がジェスチャ検出モードにあれば、背景画像の定期更新を保留する。この場合、次に検出部１５が人３の退出を検出し、モード切替部１７が比較データ用領域内の比較画像Ｔａを復帰データ用領域内の復帰画像Ｔｄに置き換えた後、更新部は比較画像（ここでは背景画像）Ｔａを更新する。すなわち、更新部は、ジェスチャ検出モードの開始から終了までの時間が更新時間よりも長い場合、ジェスチャ検出モードの終了時点の取得画像Ｔで背景画像を更新することになる。
【００６１】
以下に、本実施形態のジェスチャ認識装置１の動作について、図７のフローチャートを参照して説明する。なお、図７のフローチャートは、図２のフローチャートに対して、初期設定（Ｓ１）でのタイマ値Ｕｔの初期化（ゼロにする）と、Ｓ２１〜２７の処理とが加わっただけで、他の処理については図２と同様である。
【００６２】
タイマは、差分画像Ｔｂの算出処理（図７のＳ３）と、検出部１５の動作モードがジェスチャ検出モードか否かの判断処理（Ｓ４）との間で、タイマ値Ｕｔをインクリメントする（Ｓ２１）。
【００６３】
人検出モードにおいては（Ｓ４：Ｎｏ）、人接近検出処理（Ｓ５）で人３が検出されなかった場合（Ｓ６：Ｎｏ）、タイマ値Ｕｔが更新時間以上であれば（Ｓ２２：Ｙｅｓ）、更新部は比較画像Ｔａの定期更新を行い（Ｓ２３）、タイマ値Ｕｔをリセットする（Ｓ２４）。タイマ値Ｕｔが更新時間以上でなければ（Ｓ２２：Ｎｏ）、更新部は定期更新を行うことなく、処理Ｓ２に戻る。
【００６４】
また、ジェスチャ検出モードにおいては（Ｓ４：Ｙｅｓ）、人体退出処理（Ｓ１２）で人３の退出が検出された場合（Ｓ１３：Ｙｅｓ）、モード切替部１７が比較画像Ｔａを復帰画像Ｔｄに置き換えた（Ｓ１４）後、更新部はタイマ値Ｕｔを更新時間と比較する（Ｓ２５）。ここで、タイマ値Ｕｔが更新時間以上であれば（Ｓ２５：Ｙｅｓ）、更新部は比較画像Ｔａの定期更新を行い（Ｓ２６）、タイマ値Ｕｔをリセットし（Ｓ２７）、検出部１５の動作モードの切り替え処理（Ｓ１５）に移行する。タイマ値Ｕｔが更新時間以上でなければ（Ｓ２５：Ｎｏ）、更新部は定期更新を行うことなく、処理Ｓ１５に移行する。
【００６５】
以上説明した本実施形態のジェスチャ認識装置１によれば、人検出モードにおいては、記憶部１２に記憶されている比較画像（ここでは背景画像）Ｔａが所定の更新時間間隔で更新されるので、環境温度が変化したときに誤検出を生じることを回避できる。しかも、更新時間を超える長時間に亘ってジェスチャ検出モードが継続する場合には、ジェスチャ検出モードの終了時点で比較画像Ｔａが更新されるので、ジェスチャ認識装置１は、ジェスチャ検出モードで動作中に生じた環境温度の変化にも早期に対応できる。
【００６６】
その他の構成および機能は実施形態１と同様である。
【符号の説明】
【００６７】
１ ジェスチャ認識装置
３ 人
１１ 取得部
１２ 記憶部
１５ 検出部
１６ 認識部
１７ モード切替部
Ｔ 取得画像（取得情報）
Ｔａ 比較画像（参照画像、背景画像）
【技術分野】
【０００１】
本発明は、検知範囲内の温度分布を表す取得情報を用いてジェスチャを認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
従来から、制御対象機器の制御などに用いられる入力インタフェースの一例として、人の特定部位（たとえば顔）の動きによって表されるジェスチャを認識するジェスチャ認識装置が提案されている（たとえば特許文献１参照）。
【０００３】
特許文献１のジェスチャ認識装置は、カメラで撮影された画像を用いて、人の特定部位の傾きを検出することにより、ジェスチャを認識する。また、特許文献１の構成においては、ジェスチャの認識処理は、ジェスチャ認識装置の電源がオンされると実行される。
【０００４】
また、ジェスチャ認識装置は、単に非接触のポインティングデバイスとして用いられる場合、特定部位（たとえば手）の位置などを認識できればよく、この種の装置には、動作の安定性、低コスト、低消費電力といった性能が要求される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７０３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述したようなジェスチャ認識装置では、意図しないタイミングでジェスチャが認識されてしまうことを防ぐために、ジェスチャの認識処理が行われる期間を制限する必要がある。そのためには、特許文献１におけるジェスチャ認識装置の電源オンのように、ジェスチャの認識開始の合図が必要となるので、ジェスチャの入力とは別のインタフェースをジェスチャ認識装置に設ける必要があり、装置の低コスト化が難しいという問題がある。
【０００７】
本発明は上記事由に鑑みて為されており、ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができるジェスチャ認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のジェスチャ認識装置は、検知範囲から受ける熱流束の分布を検知するセンサ装置から前記熱流束の分布を表す取得情報を取得する取得部と、前記検知範囲に人が存在しないときの前記検知範囲内の熱流束の分布を表す背景情報を記憶する記憶部と、前記検知範囲内の人の存否を検出する人検出モードおよび人の特定部位の位置を検出するジェスチャ検出モードの２つの動作モードを有する検出部と、前記ジェスチャ検出モードで検出された前記特定部位の位置に基づいてジェスチャを認識する認識部と、前記検出部の動作モードを切り替えるモード切替部とを備え、前記モード切替部は、前記検出部が前記人検出モードで動作中に人の存在を検出すると、当該人を検出した時点での前記取得情報を参照情報とし、前記検出部の動作モードを前記ジェスチャ検出モードに切り替え、前記検出部は、前記人検出モードにおいては、前記取得情報と前記背景情報との差に基づいて、前記検知範囲内における人の存否を検出し、前記ジェスチャ検出モードにおいては、前記取得情報と前記参照情報との差に基づいて、前記特定部位の位置を検出することを特徴とする。
【０００９】
このジェスチャ認識装置において、前記モード切替部は、前記検出部が前記ジェスチャ検出モードで動作中に前記取得情報の変化に基づいて前記検知範囲から人が退去したことを検知すると、前記検出部の動作モードを前記人検出モードに切り替えることが望ましい。
【００１０】
このジェスチャ認識装置において、前記検出部が前記人検出モードで動作中に所定の更新時間間隔で前記背景情報を更新する更新部をさらに備え、前記更新部は、前記ジェスチャ検出モードの開始から終了までの時間が前記更新時間よりも長い場合、当該ジェスチャ検出モードの終了時点の前記取得情報で前記背景情報を更新することがより望ましい。
【発明の効果】
【００１１】
本発明は、ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができるという利点がある。
【図面の簡単な説明】
【００１２】
【図１】実施形態１に係るジェスチャ認識装置の構成を示す概略図である。
【図２】実施形態１に係るジェスチャ認識装置の処理全体を表す説明図である。
【図３】実施形態１に係るジェスチャ認識装置の人接近検出処理を表す説明図である。
【図４】実施形態１に係るジェスチャ認識装置の特定部位検出処理を表す説明図である。
【図５】実施形態１に係るジェスチャ認識装置の人退出検出処理を表す説明図である。
【図６】実施形態１に係るジェスチャ認識装置の動作を示す説明図である。
【図７】実施形態２に係るジェスチャ認識装置の処理全体を表す説明図である。
【発明を実施するための形態】
【００１３】
（実施形態１）
本実施形態のジェスチャ認識装置１は、図１に示すように、センサ装置２から情報を取得する取得部１１と、情報を記憶する記憶部１２と、各種の演算を行いジェスチャの認識等の処理を行う演算処理部１３と、認識結果を出力する出力部１４とを備えている。
【００１４】
センサ装置２は、赤外線に感度を持つたとえばサーモパイル素子等のセンサ素子（図示せず）がマトリクス状に２次元配置されて成り、各センサ素子が検知範囲から受けた熱流束の分布を表す情報を二次元の熱画像として継続的に出力する。各センサ素子は熱画像の各画素に対応しており、以下では各センサ素子が検出した領域の摂氏温度を、熱画像にて対応する各画素の画素値として説明する。なお、図１の例ではジェスチャ認識装置１はセンサ装置２と別体であるが、この構成に限らず、ジェスチャ認識装置１にセンサ装置２が一体に備わっていてもよい。
【００１５】
本実施形態のジェスチャ認識装置１はコンピュータからなり、コンピュータに所定のプログラムを実行させることにより、取得部１１、演算処理部１３としての各機能をコンピュータにて実現する。出力部１４は、モニタ装置やプリンタ装置など、演算処理部１３の認識結果をユーザに提示する機能を有する装置からなる。
【００１６】
取得部１１は、センサ装置２から現在の検知範囲の熱流束の分布を表す熱画像である取得画像を取得情報として定期的に取得する。ジェスチャ認識装置１は、検知範囲に人３が存在しない時点での検知範囲の熱流束の分布を表す熱画像を背景画像（背景情報）として予め記憶部１２に記憶している。本実施形態では、記憶部１２は、取得画像を記憶する取得データ用領域と、取得画像の比較対象となる画像を記憶する比較データ用領域と、後述する復帰データ用領域とを有しており、比較データ用領域には初期値として背景画像を記憶している。
【００１７】
演算処理部１３は、検知範囲内の人３の存否や人３の身体の特定部位の位置を検出する検出部１５と、特定部位の位置に基づいてジェスチャを認識する認識部１６と、検出部１５の動作モードを切り替えるモード切替部１７とを有している。
【００１８】
検出部１５は、検知範囲内の人３の存否を検出する人検出モードと、人３の身体の特定部位の位置を検出するジェスチャ検出モードとの２つの動作モードを有している。
【００１９】
モード切替部１７は、検出部１５が人検出モードで動作中に人３の存在を検出すると、検出部１５の動作モードを人検出モードからジェスチャ検出モードに切り替える。つまり、検出部１５は、人検出モードにおいて検知範囲内に人３の存在を検出すると、人検出モードを終了してジェスチャ検出モードを開始する。ジェスチャ検出モードへの切り替え時、モード切替部１７は、記憶部１２の比較データ用領域から復帰データ用領域にデータ（背景画像）をコピーし、且つその時点（人３を検出した時点）での取得画像を参照画像（参照情報）として比較データ用領域に記憶する。
【００２０】
一方、モード切替部１７は、検出部１５がジェスチャ検出モードで動作中に検知範囲から人３が退去したことを検出すると、検出部１５の動作モードをジェスチャ検出モードから人検出モードに切り替える。つまり、検出部１５は、ジェスチャ検出モードにおいて検知範囲内に人３を検出できなくなると、ジェスチャ検出モードを終了して人検出モードを開始する。人検出モードへの切り替え時、モード切替部１７は、記憶部１２の復帰データ用領域から比較データ用領域にデータ（背景画像）をコピーする。
【００２１】
要するに、モード切替部１７は、人検出モードからジェスチャ検出モードへの切り替え時、比較データ用領域に記憶されている背景画像を復帰データ用領域に一時的に退避させ、比較データ用領域に参照画像をセットする。また、ジェスチャ検出モードから人検出モードへの切り替え時には、モード切替部１７は、比較データ用領域に記憶されている参照画像を消去し、復帰データ用領域に一時的に退避させてあった背景画像を比較データ用領域に復帰させる。これにより、記憶部１２の比較データ用領域には、検出部１５が人検出モードで動作中に背景画像がセットされ、ジェスチャ検出モードで動作中に参照画像がセットされることになる。
【００２２】
検出部１５は、人検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている背景画像との差を検出する背景差分法により、検知範囲内の人３の存否を検出する。つまり、検出部１５は、人検出モードにおいては、人３がセンサ装置２の検知範囲内に入ったことを検出することによって、センサ装置２への人３の接近を検出する処理（以下、「人接近検出処理」という）を行う。
【００２３】
一方、検出部１５は、ジェスチャ検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている参照画像との差を検出する背景差分法により、人３の身体の特定部位の位置を時系列的に検出する。つまり、検出部１５は、ジェスチャ検出モードにおいては、検知範囲内に存在する人３に起因した熱流束の分布を背景にして、さらにその中で熱流束値が大きくなる特定部位の位置を検出する処理（以下、「特定部位検出処理」という）を行う。
【００２４】
本実施形態では一例として、人３の手の手首から先の部分を特定部位としている。人３が特定部位としての手をセンサ装置２にかざすように前に出せば、特定部位がセンサ装置２に接近することにより、センサ装置２が受ける熱流束値は人３の身体の他の部位に比べて特定部位で大きくなる。そのため、検出部１５がジェスチャ検出モードで動作中に、人３が特定部位としての手を前に出せば、取得画像においては、熱流束値が身体の他の部位に比べて特定部位にて大きくなる。したがって、人３がセンサ装置２に接近することによって、検出部１５の動作モードが人検出モードからジェスチャ検出モードに切り替わった後、人３が手をセンサ装置２に向けて突き出すことにより、特定部位としての手の位置が検出部１５にて検出可能となる。検出部１５は、このように熱源として検出される特定部位（ここでは手の手首よりも先の部分）の重心座標を、特定部位の位置として出力する。
【００２５】
認識部１６は、ジェスチャ検出モードにある検出部１５で検出された特定部位（ここでは、手の手首から先の部分）の位置に基づいて、ジェスチャを認識する。記憶部１２には、複数種類のジェスチャと、特定部位の位置または特定部位の位置の時間経過に伴う変化（つまり「動き」）との対応関係を表す対応テーブルが予め記憶されている。認識部１６は、検出部１５の検出結果から特定部位の位置またはその動きを抽出し、抽出結果を対応テーブルと照合することにより、ジェスチャを認識する。なお、特定部位の位置からジェスチャを認識する方法については、周知の方法が適用可能であるので、詳しい説明は省略する。
【００２６】
また、検出部１５は、ジェスチャ検出モードで動作中には、取得部１１にて定期的に取得される取得画像と、記憶部１２の比較データ用領域に記憶されている参照画像との差を検出する背景差分法により、検知範囲内の人３の存否も併せて検出する。つまり、検出部１５は、ジェスチャ検出モードにおいては、人３がセンサ装置２の検知範囲から居なくなったことを検出することによって、検知範囲からの人３の退出を検出する処理（以下、「人退出検出処理」という）を行う。
【００２７】
以下に、ジェスチャ認識装置１の具体的な動作について、ジェスチャ認識装置１の処理全体を表す図２、人接近検出処理を表す図３、特定部位検出処理を表す図４、人退出検出処理を表す図５の各フローチャートを参照して説明する。なお、以下では、画像における各画素の画素値を、画像における各画素の座標位置（ｘ，ｙ）および時刻ｔにて特定する。
【００２８】
ジェスチャ認識装置１は、まず、人３が存在しない状態でセンサ装置２から出力される熱画像を取得部１１にて取得し、この熱画像の各画素値を、比較データＴａ（ｘ，ｙ，ｔ）の初期値として記憶部１２の比較データ用領域に初期値として記憶する（図２のＳ１）。比較データＴａ（ｘ，ｙ，ｔ）は、取得画像Ｔと比較される比較画像Ｔａを構成する各画素の画素値である。比較画像Ｔａは、検出部１５の動作モードが人検出モードであれば背景画像に相当し、検出部１５の動作モードがジェスチャ検出モードであれば参照画像に相当する。さらに、初期設定（Ｓ１）において、モード切替部１７は検出部１５の動作モードを人検出モードとする。
【００２９】
ジェスチャ認識装置１は、現在の温度分布データＴ（ｘ，ｙ，ｔ）をセンサ装置２から取得部１１にて取得し、この温度分布データＴ（ｘ，ｙ，ｔ）を記憶部１２に記憶する（図２のＳ２）。温度分布データＴ（ｘ，ｙ，ｔ）は、取得画像Ｔを構成する各画素の画素値である。
【００３０】
検出部１５は、記憶部１２に記憶されている比較データＴａ（ｘ，ｙ，ｔ）と温度分布データＴ（ｘ，ｙ，ｔ）との差分を、差分データＴｂ（ｘ，ｙ，ｔ）として算出する（図２のＳ３）。つまり、差分データＴｂ（ｘ，ｙ，ｔ）は数１にて表される。差分データＴｂ（ｘ，ｙ，ｔ）は差分画像Ｔｂを構成する各画素の画素値である。検出部１５は数１で表される演算を画素ごとに取得画像Ｔの全画素について行う。
【００３１】
【数１】
【００３２】
それから、検出部１５は、動作モードがジェスチャ検出モードでなければ（図２のＳ４：Ｎｏ）、人接近検出処理（Ｓ５）を実行する。人接近検出処理（Ｓ５）の詳細については、図３を参照して説明する。
【００３３】
すなわち、人接近検出処理においては、検出部１５は、取得画像Ｔと比較画像（ここでは背景画像）Ｔａとの差分である差分画像Ｔｂを構成している差分データＴｂ（ｘ，ｙ，ｔ）を、所定の第１の閾値によって２値化する（図３のＳ５１）。このとき、検出部１５は、差分値が第１の閾値より大きな画素を熱源が検出された「検出画素」とし、差分値が第１の閾値以下の画素を熱源が検出されなかった「不検出画素」とするように２値化し、検出画像Ｔｃを生成する。検出画像Ｔｃを構成する各画素の画素値Ｔｃ（ｘ，ｙ，ｔ）は第１の閾値Ｃ１を用いて数２にて表される。
【００３４】
【数２】
【００３５】
検出部１５は、検出画像Ｔｃより、検出画素の集合、つまりＴｃ（ｘ，ｙ，ｔ）＝１となる画素の集合からなる検出領域の面積を、熱源検出面積ｓ１として求める（図３のＳ５２）。なお、Ｔｃ（ｘ，ｙ，ｔ）＝０となる画素（ｘ，ｙ）は不検出画素である。熱源検出面積ｓ１が所定の第２の閾値以下であれば（図３のＳ５３：Ｎｏ）、検出部１５は検知範囲内に人３は居ないと判断する（Ｓ５４）。熱源検出面積ｓ１が所定の第２の閾値より大きければ（図３のＳ５３：Ｙｅｓ）、検出部１５は検知範囲内に人３が居る、つまりセンサ装置２に人３が接近したと判断する（Ｓ５５）。
【００３６】
上述した人接近検出処理において人３が検出されなければ（図２のＳ６：Ｎｏ）、そのままＳ２の処理に戻る。一方、人３が検出されれば（図２のＳ６：Ｙｅｓ）、モード切替部１７は、復帰データ用領域内の復帰画像Ｔｄを比較データ用領域内の比較画像Ｔａにて更新し（Ｓ７）、その時点での取得画像Ｔにて比較データ用領域内の比較画像Ｔａを更新する（Ｓ８）。言い換えれば、モード切替部１７は、記憶部１２の比較データ用領域から復帰データ用領域に背景画像をコピーし（Ｓ７）、且つその時点での取得画像Ｔを参照画像として比較データ用領域に記憶する（Ｓ８）。それから、モード切替部１７は、検出部１５の動作モードをジェスチャ検出モードに切り替え（図２のＳ９）、Ｓ２の処理に戻る。
【００３７】
検出部１５は、動作モードがジェスチャ検出モードであれば（図２のＳ４：Ｙｅｓ）、特定部位検出処理（Ｓ１０）を実行する。特定部位検出処理（Ｓ１０）の詳細については、図４を参照して説明する。
【００３８】
すなわち、特定部位検出処理においては、検出部１５は、取得画像Ｔと比較画像（ここでは参照画像）Ｔａとの差分である差分画像Ｔｂを構成している差分データＴｂ（ｘ，ｙ，ｔ）を、所定の第１の閾値によって２値化する（図４のＳ１０１）。このとき、検出部１５は、差分値が第１の閾値より大きな画素を熱源が検出された「検出画素」とし、差分値が第１の閾値以下の画素を熱源が検出されなかった「不検出画素」とするように２値化し、検出画像Ｔｃを生成する。
【００３９】
検出部１５は、検出画像Ｔｃについてラベリング処理を行い、検出画素の集合、つまりＴｃ（ｘ，ｙ，ｔ）＝１となる画素の集合からなる検出領域を塊ごとに分割し、面積が所定値よりも小さい領域を削除する（図４のＳ１０２）。このとき、所定値以上の面積を持つ領域が残らなければ、検出部１５は、熱源領域なしと判断して（図４のＳ１０３：Ｎｏ）、特定部位の位置情報はなし（Ｓ１０４）として特定部位検出処理を終了する。一方、所定値以上の面積を持つ領域が残った場合、検出部１５は、熱源領域ありと判断して（図４のＳ１０３：Ｙｅｓ）、残った領域（熱源領域）の位置を算出する。このとき、検出部１５は、熱源領域を構成する画素全ての座標値の重み付き平均をとることにより、熱源領域の重心位置（一次元であればＧｘ、二次元であれば〔Ｇｘ，Ｇｙ〕）を算出する（図４のＳ１０５）。検出部１５は、重みを全て１として簡単に重心位置を求めてもよく、また、重みとして、適切にオフセットされた各画素の温度または差分温度の値を用いてもよい。検出部１５は、このようにして求まる重心位置を、人３の特定部位の位置として出力する（図４のＳ１０６）。
【００４０】
特定部位検出処理が終了すると、検出部１５は、検出した特定部位の位置を認識部１６に出力し（図２のＳ１１）、人退出検出処理（Ｓ１２）を実行する。人退出検出処理（Ｓ１２）の詳細については、図５を参照して説明する。
【００４１】
すなわち、人退出検出処理においては、検出部１５は、取得画像Ｔと比較画像（ここでは背景画像）Ｔａとの差分である差分画像Ｔｂを構成している差分データＴｂ（ｘ，ｙ，ｔ）を、所定の第３の閾値によって２値化する（図５のＳ１２１）。このとき、検出部１５は、差分値が第３の閾値より小さな画素を熱源が検出されなかった「不検出画素」とし、差分値が第３の閾値以上の画素を熱源が検出された「検出画素」とするように２値化し、不検出画像Ｔｅを生成する。不検出画像Ｔｅを構成する各画素の画素値Ｔｅ（ｘ，ｙ，ｔ）は第３の閾値Ｃ３を用いて数３にて表される。ここで、人退出検出処理は、人３が居なくなったことを検出する処理であるため、第３の閾値Ｃ３は負の値である。
【００４２】
【数３】
【００４３】
検出部１５は、不検出画像Ｔｅより、不検出画素の集合、つまりＴｅ（ｘ，ｙ，ｔ）＝１となる画素の集合からなる不検出領域の面積を、不検出面積ｓ０として求める（図５のＳ１２２）。なお、Ｔｅ（ｘ，ｙ，ｔ）＝０となる画素（ｘ，ｙ）は検出画素である。不検出面積ｓ０が所定の第４の閾値以下であれば（図５のＳ１２３：Ｎｏ）、検出部１５は検知範囲内に人３が居る、つまり検知範囲からの人３の退出はないと判断する（Ｓ１２４）。不検出面積ｓ０が所定の第４の閾値より大きければ（図５のＳ１２３：Ｙｅｓ）、検出部１５は検知範囲内に人３が居ない、つまり検知範囲から人３が退出したと判断する（Ｓ１２５）。
【００４４】
上述した人退出検出処理において人３の退出が検出されなければ（図２のＳ１３：Ｎｏ）、そのままＳ２の処理に戻る。一方、人３の退出が検出されれば（図２のＳ１３：Ｙｅｓ）、モード切替部１７は、比較データ用領域内の比較画像Ｔａを復帰データ用領域内の復帰画像Ｔｄにて更新する（Ｓ１４）。言い換えれば、モード切替部１７は、記憶部１２の復帰データ用領域から比較データ用領域に背景画像をコピーする。それから、モード切替部１７は、検出部１５の動作モードを人検出モードに切り替え（図２のＳ１５）、Ｓ２の処理に戻る。
【００４５】
次に、上述した構成のジェスチャ認識装置１を用いてジェスチャを認識する方法について、図６を参照して説明する。図６では、６×６画素の熱画像を例として、時系列に並ぶ（ａ）〜（ｆ）の各シーンにおけるジェスチャ認識装置１の処理を例示している。
【００４６】
まず、最初のシーン（ａ）においては、検出部１５の動作モードは人検出モードであって、センサ装置２の検知範囲に人３が居ないため、比較画像Ｔａは背景画像であり、取得画像Ｔには人３に起因する熱流束の分布は現れない。
【００４７】
シーン（ｂ）においては、センサ装置２に人３が接近することにより、取得画像Ｔに人３に起因する熱流束の分布が現れるため、ジェスチャ認識装置１は、検出部１５にて人３の存在を検出する。このとき、モード切替部１７は、復帰画像Ｔｄを比較画像Ｔａにて更新し、その時点での取得画像Ｔにて比較画像Ｔａを更新して、検出部１５の動作モードをジェスチャ検出モードに切り替える。
【００４８】
次のシーン（ｃ）においては、人３が特定部位（ここでは手の手首より先の部分）を上げることにより、取得画像Ｔに特定部位に相当する熱源が現れるため、ジェスチャ認識装置１は、検出部１５にて特定部位の位置を検出する。さらに、シーン（ｄ）においては、人３が特定部位（ここでは手の手首より先の部分）を降ろすことにより、取得画像Ｔにおける熱源の位置が変化（下降する）ため、ジェスチャ認識装置１は、検出部１５にて特定部位の位置の変化を検出する。認識部１６は、シーン（ｃ）、（ｄ）において、検出部１５が検出した特定部位の位置に基づいて、ジェスチャを認識する。
【００４９】
次のシーン（ｅ）においては、センサ装置２から人３が離れることにより、取得画像Ｔにおける熱流束の分布が変化するため、ジェスチャ認識装置１は、検出部１５にて人３の退出を検出する。このとき、モード切替部１７は、比較画像Ｔａを復帰画像Ｔｄにて更新して、検出部１５の動作モードを人検出モードに切り替える。
【００５０】
最後のシーン（ｆ）においては、検出部１５の動作モードは人検出モードであって、センサ装置２の検知範囲に人３が居ないため、比較画像Ｔａは背景画像であり、取得画像Ｔには人３に起因する熱流束の分布は現れない。
【００５１】
以上説明した本実施形態のジェスチャ認識装置１によれば、検出部１５が人検出モードで動作中に人３の存在を検出すると、検出部１５の動作モードはジェスチャの認識処理を行うジェスチャ検出モードに自動的に切り替わることになる。すなわち、このジェスチャ認識装置１では、ジェスチャの認識処理はジェスチャ検出モードでのみ行われ、且つ人検出モードからジェスチャ検出モードへの切り替えは、センサ装置２に対する人３の接近をトリガにモード切替部１７によって為される。したがって、ジェスチャ認識装置１は、ジェスチャの認識開始の合図を必要とせず、ジェスチャの認識処理が行われる期間を制限することができる。
【００５２】
要するに、ジェスチャ認識装置１は、人検出モードではジェスチャを認識することなく、人３がセンサ装置２に対して一定距離まで近づいたときにのみジェスチャの入力を受け付けるので、意図しないタイミングでジェスチャが認識されてしまうことを防止できる。なお、本実施形態の構成に対して、認識するジェスチャ自体を複雑化して、意図しないジェスチャが認識されてしまうことを防止する方法も考えられるが、この方法では、複雑なジェスチャの認識処理が必要であるため、装置の低コスト化を図ることは難しい。
【００５３】
また、本実施形態のジェスチャ認識装置１は、ジェスチャ検出モードにおいて、センサ装置２に人３が接近した状態の取得画像を比較画像（参照画像）とするため、その中でも熱流束値が大きくなる特定部位を熱源として確実に検出することができる。したがって、このジェスチャ認識装置１によれば、安定したジェスチャ入力を実現することができる。
【００５４】
さらにまた、検知範囲から人３が退去すると、モード切替部１７は、検出部１５の動作モードを人検出モードに切り替えるので、次に人３の存在が検出されるまでは、ジェスチャの入力を中断し、新たに人３が接近することを検出できる。つまり、ジェスチャ認識装置１は、ジェスチャの認識終了の合図も必要とせず、ジェスチャの認識処理が行われる期間を制限することができる。
【００５５】
（実施形態２）
本実施形態のジェスチャ認識装置１は、検出部１５が人検出モードにある期間に、定期的に記憶部１２内の背景画像（背景情報）を更新する更新部（図示せず）を演算処理部１３に備える点が、実施形態１のジェスチャ認識装置１と相違する。以下、実施形態１と同様の構成については共通の符号を付して適宜説明を省略する。
【００５６】
すなわち、予め設定された背景画像をそのまま使用し続けると、ジェスチャ認識装置１は、時間帯の変化や冷暖房等により、人３に依らない検知範囲内の温度（以下、「環境温度」という）が変化したときに誤検出を生じる可能性がある。そこで、本実施形態のジェスチャ認識装置１は、検出部１５が人検出モードにある間に、記憶部１２に記憶されている背景画像を所定の更新時間間隔で繰り返し更新する更新部を備えている。
【００５７】
更新部は、ジェスチャ認識装置１の動作中、タイマ（図示せず）によって時間を計測しており、ジェスチャ認識装置１の起動時もしくは前回の背景画像の更新から更新時間が経過すると、その時点で検出部１５が人検出モードにあれば、背景画像の定期更新を行う。なお、更新部は、取得部１１がセンサ装置２から定期的に取得する取得画像Ｔのフレーム数をカウントすることによって更新時間を計るように構成されていてもよい。
【００５８】
更新部による背景画像の定期更新は、現時点の取得画像Ｔおよび更新係数αを用いて以下のように行われる。すなわち、更新部は、記憶部１２の比較データ用領域に記憶されている定期更新前の比較画像Ｔａ（ｔ−１）と、現時点の取得画像Ｔ（ｔ）との重み付き平均（加重平均）値を算出することによって、背景画像の定期更新処理を行う。つまり、定期更新後の比較画像（ｔ）は、重み付き平均のパラメータである更新係数αを用いて数４にて表される。なお、更新係数αは０＜α≦１で現れる定数である。
【００５９】
【数４】
【００６０】
ところで、更新部は、ジェスチャ認識装置１の動作中、タイマによって時間を計測しており、ジェスチャ認識装置１の起動時もしくは前回の背景画像の更新から更新時間が経過した時点で検出部１５がジェスチャ検出モードにあれば、背景画像の定期更新を保留する。この場合、次に検出部１５が人３の退出を検出し、モード切替部１７が比較データ用領域内の比較画像Ｔａを復帰データ用領域内の復帰画像Ｔｄに置き換えた後、更新部は比較画像（ここでは背景画像）Ｔａを更新する。すなわち、更新部は、ジェスチャ検出モードの開始から終了までの時間が更新時間よりも長い場合、ジェスチャ検出モードの終了時点の取得画像Ｔで背景画像を更新することになる。
【００６１】
以下に、本実施形態のジェスチャ認識装置１の動作について、図７のフローチャートを参照して説明する。なお、図７のフローチャートは、図２のフローチャートに対して、初期設定（Ｓ１）でのタイマ値Ｕｔの初期化（ゼロにする）と、Ｓ２１〜２７の処理とが加わっただけで、他の処理については図２と同様である。
【００６２】
タイマは、差分画像Ｔｂの算出処理（図７のＳ３）と、検出部１５の動作モードがジェスチャ検出モードか否かの判断処理（Ｓ４）との間で、タイマ値Ｕｔをインクリメントする（Ｓ２１）。
【００６３】
人検出モードにおいては（Ｓ４：Ｎｏ）、人接近検出処理（Ｓ５）で人３が検出されなかった場合（Ｓ６：Ｎｏ）、タイマ値Ｕｔが更新時間以上であれば（Ｓ２２：Ｙｅｓ）、更新部は比較画像Ｔａの定期更新を行い（Ｓ２３）、タイマ値Ｕｔをリセットする（Ｓ２４）。タイマ値Ｕｔが更新時間以上でなければ（Ｓ２２：Ｎｏ）、更新部は定期更新を行うことなく、処理Ｓ２に戻る。
【００６４】
また、ジェスチャ検出モードにおいては（Ｓ４：Ｙｅｓ）、人体退出処理（Ｓ１２）で人３の退出が検出された場合（Ｓ１３：Ｙｅｓ）、モード切替部１７が比較画像Ｔａを復帰画像Ｔｄに置き換えた（Ｓ１４）後、更新部はタイマ値Ｕｔを更新時間と比較する（Ｓ２５）。ここで、タイマ値Ｕｔが更新時間以上であれば（Ｓ２５：Ｙｅｓ）、更新部は比較画像Ｔａの定期更新を行い（Ｓ２６）、タイマ値Ｕｔをリセットし（Ｓ２７）、検出部１５の動作モードの切り替え処理（Ｓ１５）に移行する。タイマ値Ｕｔが更新時間以上でなければ（Ｓ２５：Ｎｏ）、更新部は定期更新を行うことなく、処理Ｓ１５に移行する。
【００６５】
以上説明した本実施形態のジェスチャ認識装置１によれば、人検出モードにおいては、記憶部１２に記憶されている比較画像（ここでは背景画像）Ｔａが所定の更新時間間隔で更新されるので、環境温度が変化したときに誤検出を生じることを回避できる。しかも、更新時間を超える長時間に亘ってジェスチャ検出モードが継続する場合には、ジェスチャ検出モードの終了時点で比較画像Ｔａが更新されるので、ジェスチャ認識装置１は、ジェスチャ検出モードで動作中に生じた環境温度の変化にも早期に対応できる。
【００６６】
その他の構成および機能は実施形態１と同様である。
【符号の説明】
【００６７】
１ ジェスチャ認識装置
３ 人
１１ 取得部
１２ 記憶部
１５ 検出部
１６ 認識部
１７ モード切替部
Ｔ 取得画像（取得情報）
Ｔａ 比較画像（参照画像、背景画像）
【特許請求の範囲】
【請求項１】
検知範囲から受ける熱流束の分布を検知するセンサ装置から前記熱流束の分布を表す取得情報を取得する取得部と、前記検知範囲に人が存在しないときの前記検知範囲内の熱流束の分布を表す背景情報を記憶する記憶部と、前記検知範囲内の人の存否を検出する人検出モードおよび人の特定部位の位置を検出するジェスチャ検出モードの２つの動作モードを有する検出部と、前記ジェスチャ検出モードで検出された前記特定部位の位置に基づいてジェスチャを認識する認識部と、前記検出部の動作モードを切り替えるモード切替部とを備え、
前記モード切替部は、前記検出部が前記人検出モードで動作中に人の存在を検出すると、当該人を検出した時点での前記取得情報を参照情報とし、前記検出部の動作モードを前記ジェスチャ検出モードに切り替え、
前記検出部は、前記人検出モードにおいては、前記取得情報と前記背景情報との差に基づいて、前記検知範囲内における人の存否を検出し、前記ジェスチャ検出モードにおいては、前記取得情報と前記参照情報との差に基づいて、前記特定部位の位置を検出することを特徴とするジェスチャ認識装置。
【請求項２】
前記モード切替部は、前記検出部が前記ジェスチャ検出モードで動作中に前記取得情報の変化に基づいて前記検知範囲から人が退去したことを検知すると、前記検出部の動作モードを前記人検出モードに切り替えることを特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
前記検出部が前記人検出モードで動作中に所定の更新時間間隔で前記背景情報を更新する更新部をさらに備え、
前記更新部は、前記ジェスチャ検出モードの開始から終了までの時間が前記更新時間よりも長い場合、当該ジェスチャ検出モードの終了時点の前記取得情報で前記背景情報を更新することを特徴とする請求項１または請求項２に記載のジェスチャ認識装置。
【請求項１】
検知範囲から受ける熱流束の分布を検知するセンサ装置から前記熱流束の分布を表す取得情報を取得する取得部と、前記検知範囲に人が存在しないときの前記検知範囲内の熱流束の分布を表す背景情報を記憶する記憶部と、前記検知範囲内の人の存否を検出する人検出モードおよび人の特定部位の位置を検出するジェスチャ検出モードの２つの動作モードを有する検出部と、前記ジェスチャ検出モードで検出された前記特定部位の位置に基づいてジェスチャを認識する認識部と、前記検出部の動作モードを切り替えるモード切替部とを備え、
前記モード切替部は、前記検出部が前記人検出モードで動作中に人の存在を検出すると、当該人を検出した時点での前記取得情報を参照情報とし、前記検出部の動作モードを前記ジェスチャ検出モードに切り替え、
前記検出部は、前記人検出モードにおいては、前記取得情報と前記背景情報との差に基づいて、前記検知範囲内における人の存否を検出し、前記ジェスチャ検出モードにおいては、前記取得情報と前記参照情報との差に基づいて、前記特定部位の位置を検出することを特徴とするジェスチャ認識装置。
【請求項２】
前記モード切替部は、前記検出部が前記ジェスチャ検出モードで動作中に前記取得情報の変化に基づいて前記検知範囲から人が退去したことを検知すると、前記検出部の動作モードを前記人検出モードに切り替えることを特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
前記検出部が前記人検出モードで動作中に所定の更新時間間隔で前記背景情報を更新する更新部をさらに備え、
前記更新部は、前記ジェスチャ検出モードの開始から終了までの時間が前記更新時間よりも長い場合、当該ジェスチャ検出モードの終了時点の前記取得情報で前記背景情報を更新することを特徴とする請求項１または請求項２に記載のジェスチャ認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２６５９５（Ｐ２０１２−２２６５９５Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９４２７６（Ｐ２０１１−９４２７６）
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]