ジェスチャ認識装置及びそのプログラム
【課題】ユーザがジェスチャ以外の特別な操作を行わなくても、ジェスチャ認識機能を的確にＯＦＦ／ＯＮすることを可能にする。
【解決手段】ジェスチャ認識装置は、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａにより以下の制御を実行する。すなわち、一筆書きジェスチャ認識機能がＯＦＦの状態で、ジェスチャの認識領域内にジェスチャ開始領域を設定して発光マーカの描画点が当該ジェスチャ開始領域内に入った場合に、一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーンをジェスチャ認識領域内に設定する。また、ジェスチャ認識処理部３２０の機能がＯＮのときには、発光マーカの描画点がジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識機能をＯＦＦに遷移させる。
【解決手段】ジェスチャ認識装置は、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａにより以下の制御を実行する。すなわち、一筆書きジェスチャ認識機能がＯＦＦの状態で、ジェスチャの認識領域内にジェスチャ開始領域を設定して発光マーカの描画点が当該ジェスチャ開始領域内に入った場合に、一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーンをジェスチャ認識領域内に設定する。また、ジェスチャ認識処理部３２０の機能がＯＮのときには、発光マーカの描画点がジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識機能をＯＦＦに遷移させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機や録画再生装置に対し離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置及びそのプログラムに関する。
【背景技術】
【０００２】
テレビジョン受信機に取り付け可能なカメラや赤外線距離センサを備える電子機器が安価に簡単に手に入るようになり、リモートコントローラを使わずに、手もしくは指のジェスチャによってテレビジョン受信機のメニュー項目を選択する方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データからユーザの指の動作軌跡を表す図形をパターン認識処理により認識して、この認識結果をもとにメニュー等のポインティングを行うものとなっている（例えば非特許文献１を参照）。
【０００３】
しかし、ジェスチャを用いた入力を確実に行うには、ジェスチャ入力の開始と終了をどのように認識するかが重要な課題となっている。例えば、上記のようにテレビジョン受信機に取り付けられたカメラを用いてユーザのジェスチャ操作を撮像し、その撮像画像をもとにジェスチャ操作を認識処理する場合に、ジェスチャの操作中にその前を突然人が通るとこれが外乱となってジェスチャ操作を正しく認識できなくなる。このような場合ユーザは、誤認識されないようにジェスチャ操作を一時中断することになるが、この中断操作を認識してジェスチャの認識処理を一旦リセットし、操作のやり直しを待機する状態にする必要がある。
【０００４】
そこで、手や腕を伸ばしているときにジェスチャ認識機能をＯＮとし、手や腕を縮めているときにはジェスチャ認識機能をＯＦＦとする方式が提案されている。
また別の方式として、入力対象のメニュー項目に対し予め対応付けられたジェスチャを一筆書き操作により入力する方式が提案されている（例えば非特許文献２又は３を参照）。この一筆書きジェスチャ入力方式は、直感的で自然な動きによってジェスチャ入力の終了及び開始を滑らかに入力できる利点がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Caifeng Shan : “Gesture Control for Consumer Electronics”, Multimedia Interaction and Intelligent User Interfaces, p.107-128.
【非特許文献２】青木 良輔、唐津 豊、井原 雅行、前田 篤彦、渡部 智樹、小林 稔、鏡 慎吾：“大型ディスプレイ上のメニュー選択に適したカメラによる一筆書きジェスチャインタフェース”、ヒューマンインタフェース学会研究報告集2010，VOL.12，NO.9，35-42.
【非特許文献３】Ryosuke Aoki, Yutaka Karatsu, Masayuki Ihara, Atsuhiko Maeda, Minoru Kobayashi and Shingo Kagami : “Gesture Identification Based on Zone Entry and Axis Crossing”, Lecture Notes in Computer Science, 2011, Volume 6762/2011, 194-203.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、手や腕の伸び縮みによりジェスチャ認識機能をＯＮ／ＯＦＦする方式では、ジェスチャ操作を行う場合に手から肩までの腕全体に負担がかかり、また手や腕を伸ばした状態でジェスチャ操作を繰り返すことになるので、ユーザの負担が大きい。
【０００７】
一方、一筆書きジェスチャ入力方式は、指をテレビジョン受信機の画面に向けた状態で小さな動きで楽にジェスチャ操作を行うことが可能である。しかし、ジェスチャ認識機能を一旦ＯＮにすればそれ以降のジェスチャ操作を容易に続けることは可能であるが、ジェスチャ機能それ自体をＯＮ／ＯＦＦする手段については検討されておらず、ジェスチャ機能それ自体をＯＮ／ＯＦＦするにはユーザがジェスチャ以外の特別な操作を行う必要があった。また、例えばジェスチャの操作中にその前を人が横切った場合のように、予期しない外乱の影響によりジェスチャ操作を中断せざるを得なくなった場合に、ジェスチャ認識機能をどのようにリセットするかについてもいまだ検討されていない。
【０００８】
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザがジェスチャ以外の特別な操作を行わなくても、ジェスチャ認識機能を的確にＯＦＦ／ＯＮすることを可能にしたジェスチャ認識装置とそのプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためにこの発明の第１の観点は、ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識する機能を有するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、先ずジェスチャ認識機能がＯＦＦ状態に設定されているときには、予め設定されたジェスチャ認識領域内に始点判定領域を設定し、この状態で上記画像データから検出された描画点の位置が上記始点判定領域内に存在すると判定された場合に、上記ジェスチャ認識機能をＯＮ状態に設定すると共に上記ジェスチャ認識領域内に終点判定領域を設定する。そして、このジェスチャ認識機能がＯＮ状態に設定されている状態で、上記画像データから検出された描画点の位置が前記ジェスチャ認識領域外に出たことが検出された場合に、上記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる。
【００１０】
したがって、ユーザがジェスチャによる操作を終了又は途中で止めるために、ジェスチャによる指示位置をジェスチャ認識領域外へ移動させると、ジェスチャ認識機能が自動的にＯＦＦ状態に遷移する。また、ジェスチャ認識機能がＯＦＦ状態に復帰すると、認識領域内に始点判定領域が設定され、この状態でユーザがジェスチャによる指示位置をこの始点判定領域に設定すれば、ジェスチャ認識機能は自動的にＯＮ状態となって、再びジェスチャによる入力操作が可能となる。すなわち、ユーザはジェスチャ以外の特別な操作を行うことなく、ジェスチャの延長上の操作によりジェスチャ認識機能を円滑にＯＦＦ／ＯＮすることができる。
【００１１】
また、この発明の第２の観点は、上記ジェスチャ認識機能がＯＮ状態に設定されている状態で、画像データから検出された描画点の位置が予め定められた時間以上連続して検出できなくなった場合に、上記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる手段を、さらに具備することを特徴とする。
【００１２】
さらに、この発明の第３の観点は、上記ジェスチャ認識機能がＯＮ状態に設定されている状態で、画像データから検出された描画点の軌跡が予め定められた長さ以上連続して欠落した場合に、上記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる手段を、さらに具備することを特徴とする。
【００１３】
第２及び第３の観点によれば、例えばユーザがジェスチャ操作を行っている最中にその前を人が通ってユーザとカメラとの間が遮られ、これにより上記ジェスチャによる指示位置を表す描画点が所定時間以上連続して検出できなくなるか、または描画点の軌跡が予め定められた長さ以上連続して欠落すると、ジェスチャ認識機能は自動的にＯＦＦ状態に遷移する。したがって、ジェスチャ操作中に外乱が発生した場合にも、ユーザが特別な操作を行うことなくジェスチャ認識機能を自動的にＯＦＦ状態にすることができる。
【発明の効果】
【００１４】
すなわちこの発明によれば、ユーザがジェスチャ以外の特別な操作を行わなくても、ジェスチャ認識機能を的確にＯＦＦ／ＯＮすることを可能にしたジェスチャ認識装置とそのプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】この発明の第１の実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図２】図１にジェスチャ認識装置として示した情報処理装置の機能構成を示すブロック図。
【図３】図２に示した情報処理装置による全体の処理手順と処理内容を示すフローチャート。
【図４】図３に示したフローチャートにおける一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。
【図５】図３に示したフローチャートにおける一筆書きジェスチャ認識処理の処理手順と処理内容を示すフローチャート。
【図６】ジェスチャ機能ＯＮのためのユーザの操作例を示す図。
【図７】ジェスチャ機能ＯＦＦのためのユーザの操作例を示す図。
【図８】この発明の第２の実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図９】図８に示した情報処理装置による一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
［構成］
図１は、この発明の第１の実施形態に係わるジェスチャ認識装置を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着すると共に、テレビジョン受信機２に情報処理装置３を接続したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。
【００１７】
情報処理装置３は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、ジェスチャ認識処理を行うために必要な機能として、指の位置検出ユニット１０と、データベース２０と、一筆書きジェスチャ認識処理ユニット３０Ａと、リアルタイム処理発生ユニット４０と、表示画面処理ユニット５０を備えている。
【００１８】
データベース２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶領域として、カメラ画像蓄積部２１と、一筆書き図形蓄積部２２と、操作内容データベース２３と、表示画像・映像蓄積部２４と、指位置蓄積部２５を有している。
【００１９】
カメラ画像蓄積部２１は、指の位置検出ユニット１０によりカメラ４から取得された画像データを記憶するために用いられる。指位置蓄積部２５は、カメラ画像蓄積部２１に蓄積された画像データから検出された指の指示位置と、当該画像データを撮像した時刻とを関連付けて格納するために用いられる。一筆書き図形蓄積部２２には、一筆書き図形の認識に用いる一筆書き図形のモデルが予め格納されている。操作内容データベース２３には、認識されたジェスチャの種類と方向に対応する操作内容を表す情報が予め格納されている。表示画像・映像蓄積部２４には、上記操作内容データベース２３に格納された操作内容を表す情報に対応付けて、表示画面に表示する画像や映像のデータが予め格納されている。
【００２０】
リアルタイム処理発生ユニット４０は、タイマを使用して、例えば３３msごとにイベント信号を発行する機能を有する。
指の位置検出ユニット１０はカメラ画像取得部１１を備え、上記リアルタイム発生ユニットによりイベント信号が発行されるごとに、カメラ４から画像データを取得して、この画像データを上記カメラ画像蓄積部２１に記憶させる機能を有する。
【００２１】
一筆書きジェスチャ認識処理ユニット３０Ａは、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａと、一筆書きジェスチャ認識処理部３２０を備えている。
このうち、先ず一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａは、指位置検出部３１１と、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２を有する。指位置検出部３１１は、上記カメラ画像蓄積部２１に格納された画像データからマーカ５の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部２５に格納する。
【００２２】
一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２は、以下の処理機能を有している。
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。そして、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーン（Detection zone）を上記ジェスチャの認識領域内に設定する機能。
【００２３】
(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ認識領域の外に出たか否かを判定し、ジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部の機能をＯＮからＯＦＦに遷移させる機能。
【００２４】
次に一筆書きジェスチャ認識処理部３２０は、一筆書きジェスチャ入力判断部３２１と、一筆書き図形の方向識別部３２２と、一筆書き図形識別部３２３を有している。
一筆書きジェスチャ入力判断部３２１は、一筆書きジェスチャ認識処理部３２０の機能がＯＮの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。
【００２５】
一筆書き図形の方向識別部３２２は、上記ジェスチャの終了点が検出された場合に、当該ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を表す位置座標の集合をもとに当該描画軌跡の重心位置座標を求め、この描画軌跡の重心位置座標とジェスチャの描画開始点との関係をもとに、当該描画開始点に対する描画方向を識別する。
【００２６】
一筆書き図形識別部３２３は、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡、つまりジェスチャにより描かれた図形の形状を表す情報を、上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を識別する。
【００２７】
表示画面処理ユニット５０は表示画面処理部５１を有する。表示画面処理部５１は、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向と図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報を読出す。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データを読出し、この表示データをもとにテレビジョン受信機２の表示画面を更新する。
【００２８】
なお、上記指の位置検出ユニット１０、一筆書きジェスチャ認識処理ユニット３０Ａ、リアルタイム処理発生ユニット４０及び表示画面処理ユニット５０の各処理機能は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００２９】
［動作］
次に、以上のように構成された情報処理装置３による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
【００３０】
（１）リアルタイムイベント発生処理
ジェスチャ入力モードが設定されると、ステップＳ１０によりリアルタイム処理発生ユニット４０が起動し、タイマの計時時間Ｔが予め設定された時間、例えば３３msecになるごとにステップＳ１１においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは３３msec周期でイベント信号が発生される。なお、タイマの計時時間Ｔはイベント信号が発生されるごとにステップＳ１２でリセットされる。
【００３１】
（２）指位置の検出処理
上記リアルタイム処理発生ユニット４０からイベント信号が発生されると、先ずステップＳ２０において指の位置検出ユニット１０が起動し、そのカメラ画像取得部１１の制御の下で、カメラ４により撮像されたユーザ１の画像データが取り込まれてカメラ画像蓄積部２１に記憶される。
そして、上記カメラ画像蓄積部２１に新たな画像データが記憶されると、図４に示すステップＳ３１１において、上記画像データ中から発光マーカ５の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の重心位置を示す座標が、ユーザ１の指の位置を表す描画点として指位置蓄積部２５に記憶される。以上の処理は上記３３msec周期で繰り返し行われ、この結果上記指位置蓄積部２５にはユーザ１の指の位置を表す描画点の位置座標の集合が、ユーザ１がジェスチャにより描いた図形を示すデータとして記憶される。なお、このときカメラ４の絞り値（Ｆ値）を大きく設定して受光光量を制限することで、発光マーカ５の光のみを検出しやすくするとよい。
【００３２】
（３）一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理
上記指位置蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ３０のステップＳ３１において一筆書きジェスチャ認識処理ユニット３０Ａの一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａが起動され、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａの制御の下で以下のような処理が実行される。図４中のステップＳ３１２はその処理手順と処理内容を示すフローチャートである。
【００３３】
（３−１）一筆書きジェスチャ認識機能をＯＮする場合
先ずステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かが判定される。そして、ここではまだＯＮになっていないのでステップＳ３１２５に移行し、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。例えば図６（ａ）に示すように、ジェスチャの認識領域Ｃの中央にジェスチャ開始領域Ｅ０を設定する。そして、上記指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が上記ジェスチャ開始領域Ｅ０内に存在するか否かを判定する。
【００３４】
この状態で、ユーザ１が指の位置を動かし、これにより図６（ａ）に示すように描画点の位置座標Ｐ０が上記ジェスチャ開始領域Ｅ０内に入ると、ステップＳ３１２６により上記一筆書きジェスチャ認識部３２０の機能をＯＮに設定する。またそれと共に、ステップＳ３１２７により図６（ｂ）に示すようにジェスチャの終点を検出するための検出ゾーン（Detection zone）Ｅ１を上記ジェスチャの認識領域Ｃ内に設定する。
【００３５】
このとき、検出ゾーンＥ１のサイズはジェスチャ開始領域Ｅ０より大きなサイズに設定される。このようにすると、ユーザ１によるユーザの指の位置が検出ゾーンＥ１内に戻った後に、震えなどにより当該検出ゾーンＥ１の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終点判定領域としての検出ゾーンＥ２内に安定的に留めることが可能となる。このため、検出ゾーンＥ１の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。
【００３６】
（３−２）一筆書きジェスチャ認識機能をＯＦＦする場合
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、ユーザ１がジェスチャによるテレビジョン受信機２の操作を一旦中止するべく、指の位置を例えば図７（ａ）のＦ１に示すようにカメラ４の撮像範囲外、つまりジェスチャの認識領域Ｃの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａは、ステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かを判定し、ここではＯＮになっているのでステップＳ３１２２に移行する。そして、指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が、上記ジェスチャの認識領域Ｃの外に出たか否かを判定する。
【００３７】
この判定の結果、図７（ａ）のＦ１に示すように、発光マーカ５の描画点の位置座標が上記ジェスチャの認識領域Ｃの外に出ると、ステップＳ３１２３により一筆書きジェスチャ認識処理部３２０の機能をＯＦＦに遷移させる。かくして、ユーザ１は指の位置をカメラ４の撮像範囲外へ移動させるだけで、一筆書きジェスチャ認識機能をＯＦＦに戻すことができる。
【００３８】
なお、一筆書きジェスチャ認識機能がＯＦＦに復帰すると、次のイベント信号発生（３３msec）時に、ステップＳ３１２５において図７（ｂ）に示すようにジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ２が設定される。すなわち、一筆書きジェスチャ認識機能がＯＦＦになると、消去された検出ゾーンＥ１の代わりにそれよりも小さいジェスチャ開始領域Ｅ２が再設定される。
【００３９】
（４）一筆書きジェスチャ認識処理
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、一筆書きジェスチャ認識処理部３２０は以下のようにジェスチャの認識処理を実行する。図５はその処理手順と処理内容を示すフローチャートである。
【００４０】
すなわち、先ずステップＳ３２１において一筆書きジェスチャ入力判断部３２１が起動し、この一筆書きジェスチャ入力判断部３２１の制御の下で、ユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ１内に入ったか否かをステップＳ３２１１により判定する。そして、描画点が上記検出ゾーンＥ１内に入っていなければ、ステップＳ３２１４によりジェスチャ入力受付中か否かを示すジェスチャフラグ（Gesture Flag）を“TRUE”に設定し、以後イベントが発生するごとに描画点が検出ゾーンＥ１内に入るか否かを監視する処理を繰り返す。
【００４１】
さて、この状態でユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ１内に入ったことが検出されたとする。そうすると、ステップＳ３２１２によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップＳ３２２により一筆書き図形の方向識別処理を実行する。
この一筆書き図形の方向識別処理は以下のように行われる。すなわち、先ず指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の描画軌跡を表す画像をもとに当該描画軌跡を表す画像の重心位置座標を算出する。そして、この算出された描画軌跡画像の重心位置座標と描画開始点における座標との関係から、当該描画開始点に対する上記描画軌跡の描画方向が上下左右の何れであるかを識別することにより行われる。
【００４２】
次にステップＳ３２３により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップＳ３２１３によりジェスチャフラグ（Gesture Flag）を“False”にリセットする。
【００４３】
（５）表示画面の更新処理
上記一筆書きジェスチャの認識処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向及び図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。
【００４４】
以上詳述したように第１の実施形態では、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａを新たに備え、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａの制御の下で、以下のような処理を行っている。
【００４５】
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、ジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ０を設定し、発光マーカ５の描画点が当該ジェスチャ開始領域Ｅ０内に入った場合に一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーンＥ１をジェスチャ認識領域Ｃ内に設定する。
【００４６】
(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、発光マーカ５の描画点がジェスチャ認識領域Ｃの外に出たか否かを監視し、ジェスチャ認識領域Ｃの外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部３２０の機能をＯＮからＯＦＦに遷移させる。
【００４７】
したがって第１の実施形態によれば、ユーザ１はジェスチャ以外の特別な操作を行うことなく、一筆書きジェスチャ認識処理部３２０の機能を直感的なジェスチャ操作により簡単かつスムーズにＯＮ／ＯＦＦすることができる。
【００４８】
（第２の実施形態）
［構成］
図８は、この発明の第２の実施形態に係るジェスチャ認識装置の機能構成を示すブロック図である。なお、同図において図２と同一部分には同一符号を付して詳しい説明は省略する。
【００４９】
一筆書きジェスチャ認識処理ユニット３０Ｂの一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ｂは、指位置検出部３１１及び一筆書きジェスチャＯＮ／ＯＦＦ判断部３１２に加え、ジェスチャ機能強制終了部３１３をさらに備えている。
このジェスチャ機能強制終了部３１３は、ジェスチャ入力受付中に描画点が予め定められた時間以上連続して検出できなくなった場合に、一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させる機能を有する。
【００５０】
なお、上記ジェスチャ機能強制終了部３１３も、指位置検出部３１１及び一筆書きジェスチャＯＮ／ＯＦＦ判断部３１２と共に、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００５１】
［動作］
上記ジェスチャ機能強制終了部３１３をさらに備えることで、ジェスチャ認識機能ＯＮ／ＯＦＦ切替処理部３１０Ｂでは以下のような処理が実行される。図９はその処理手順と処理内容を示すフローチャートである。なお、同図においても前記図４と同一部分には同一符号を付して詳しい説明は省略する。
【００５２】
すなわち、ステップＳ３１０においてジェスチャ機能強制終了部３１３が起動され、このジェスチャ機能強制終了部３１３の制御の下で、カメラ４により撮像された画像データから指位置を表す描画点が検出されるか否かをステップＳ３１０１により判定する。そして、描画点が検出されていれば、ステップＳ３１１による指位置の座標検出処理を経てステップＳ３１２による一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断処理に移行する。
【００５３】
これに対し、上記指の描画点が予め設定された時間以上連続して非検出となると、ステップＳ３１０２に移行して、ここで一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させる。そして、このＯＦＦ状態に遷移させた後、ステップＳ３１２による一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断処理に移行する。
【００５４】
したがって第２の実施形態によれば、例えばユーザ１の前を人が横切り、これにより指の描画点が所定時間以上画像データから検出できなくなると、この状態がジェスチャ機能強制終了部３１３により検出され、一筆書きジェスチャ認識処理部３２０の機能が強制的にＯＦＦされる。このため、描画軌跡の一部が欠損した不完全な描画図形をもとにジェスチャの認識処理が行われる不具合を未然に防ぎ、これにより誤操作を防止することができる。
【００５５】
また、一筆書きジェスチャ認識処理部３２０の機能がＯＦＦされると、第１の実施形態で述べたように、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２の制御の下、ジェスチャの認識領域Ｃには図７（ｂ）に示したようにジェスチャ開始領域Ｅ２が自動的に設定される。このため、ユーザ１は指の位置をこのジェスチャ開始領域Ｅ２に戻した後、再度ジェスチャ操作を開始すれば、他に特別な操作を行わなくてもそのままジェスチャ操作をやり直すことが可能となる。したがって、ジェスチャ入力操作中に予期しない外乱等が発生した場合でも、ユーザ１は特別な操作を行うことなくスムーズにジェスチャ操作をやり直すことができる。
【００５６】
（その他の実施形態）
第１の実施形態では、ジェスチャ認識領域Ｃをカメラ４の視野範囲に設定したが、カメラ４の視野範囲が大きい場合にはこのカメラ４の視野範囲内に当該視野範囲より小さいジェスチャ認識領域Ｃを設定するようにしてもよい。この場合のジェスチャ認識領域Ｃの大きさや形状は任意に設定可能である。
【００５７】
第２の実施形態では、指の描画点が予め設定された時間以上連続して非検出となった場合に、一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させるようにした。しかしそれに限らず、指位置蓄積部２５に記憶された指位置の軌跡を表す集合のうち、その一部が予め決められた長さ以上欠損していた場合に、一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させるようにしてもよい。
【００５８】
また、前記各実施形態では本発明に係るジェスチャ認識装置の機能を情報処理装置に設けた場合を例に説明したが、同機能をテレビジョン受信機に設けてもよいし、セットトップボックスやビデオレーダなどに設けてもよい。その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００５９】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６０】
１…ユーザ、２…テレビジョン受信機、３…情報処理装置、４…カメラ、５…発光マーカ、１０…指の位置検出ユニット、１１…カメラ画像取得部、２０…データベース、２１…カメラ画像蓄積部、２２…一筆書き図形蓄積部、２３…操作内容データベース、２４…表示画像・映像蓄積部、２５…指位置蓄積部、３０Ａ，３０Ｂ…一筆書きジェスチャ認識処理ユニット、３１０Ａ，３１０Ｂ…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部、３１１…指位置検出部、３１２…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部、３１３…ジェスチャ機能強制終了部、３２０…一筆書きジェスチャ認識処理部、３２１…一筆書きジェスチャ入力判断部、３２２…一筆書き図形の方向識別部、３２３…一筆書き図形識別部、４０…リアルタイム処理発生ユニット、５０…表示画面処理ユニット、５１…表示画面処理部。
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機や録画再生装置に対し離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置及びそのプログラムに関する。
【背景技術】
【０００２】
テレビジョン受信機に取り付け可能なカメラや赤外線距離センサを備える電子機器が安価に簡単に手に入るようになり、リモートコントローラを使わずに、手もしくは指のジェスチャによってテレビジョン受信機のメニュー項目を選択する方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データからユーザの指の動作軌跡を表す図形をパターン認識処理により認識して、この認識結果をもとにメニュー等のポインティングを行うものとなっている（例えば非特許文献１を参照）。
【０００３】
しかし、ジェスチャを用いた入力を確実に行うには、ジェスチャ入力の開始と終了をどのように認識するかが重要な課題となっている。例えば、上記のようにテレビジョン受信機に取り付けられたカメラを用いてユーザのジェスチャ操作を撮像し、その撮像画像をもとにジェスチャ操作を認識処理する場合に、ジェスチャの操作中にその前を突然人が通るとこれが外乱となってジェスチャ操作を正しく認識できなくなる。このような場合ユーザは、誤認識されないようにジェスチャ操作を一時中断することになるが、この中断操作を認識してジェスチャの認識処理を一旦リセットし、操作のやり直しを待機する状態にする必要がある。
【０００４】
そこで、手や腕を伸ばしているときにジェスチャ認識機能をＯＮとし、手や腕を縮めているときにはジェスチャ認識機能をＯＦＦとする方式が提案されている。
また別の方式として、入力対象のメニュー項目に対し予め対応付けられたジェスチャを一筆書き操作により入力する方式が提案されている（例えば非特許文献２又は３を参照）。この一筆書きジェスチャ入力方式は、直感的で自然な動きによってジェスチャ入力の終了及び開始を滑らかに入力できる利点がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Caifeng Shan : “Gesture Control for Consumer Electronics”, Multimedia Interaction and Intelligent User Interfaces, p.107-128.
【非特許文献２】青木 良輔、唐津 豊、井原 雅行、前田 篤彦、渡部 智樹、小林 稔、鏡 慎吾：“大型ディスプレイ上のメニュー選択に適したカメラによる一筆書きジェスチャインタフェース”、ヒューマンインタフェース学会研究報告集2010，VOL.12，NO.9，35-42.
【非特許文献３】Ryosuke Aoki, Yutaka Karatsu, Masayuki Ihara, Atsuhiko Maeda, Minoru Kobayashi and Shingo Kagami : “Gesture Identification Based on Zone Entry and Axis Crossing”, Lecture Notes in Computer Science, 2011, Volume 6762/2011, 194-203.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、手や腕の伸び縮みによりジェスチャ認識機能をＯＮ／ＯＦＦする方式では、ジェスチャ操作を行う場合に手から肩までの腕全体に負担がかかり、また手や腕を伸ばした状態でジェスチャ操作を繰り返すことになるので、ユーザの負担が大きい。
【０００７】
一方、一筆書きジェスチャ入力方式は、指をテレビジョン受信機の画面に向けた状態で小さな動きで楽にジェスチャ操作を行うことが可能である。しかし、ジェスチャ認識機能を一旦ＯＮにすればそれ以降のジェスチャ操作を容易に続けることは可能であるが、ジェスチャ機能それ自体をＯＮ／ＯＦＦする手段については検討されておらず、ジェスチャ機能それ自体をＯＮ／ＯＦＦするにはユーザがジェスチャ以外の特別な操作を行う必要があった。また、例えばジェスチャの操作中にその前を人が横切った場合のように、予期しない外乱の影響によりジェスチャ操作を中断せざるを得なくなった場合に、ジェスチャ認識機能をどのようにリセットするかについてもいまだ検討されていない。
【０００８】
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザがジェスチャ以外の特別な操作を行わなくても、ジェスチャ認識機能を的確にＯＦＦ／ＯＮすることを可能にしたジェスチャ認識装置とそのプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためにこの発明の第１の観点は、ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識する機能を有するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、先ずジェスチャ認識機能がＯＦＦ状態に設定されているときには、予め設定されたジェスチャ認識領域内に始点判定領域を設定し、この状態で上記画像データから検出された描画点の位置が上記始点判定領域内に存在すると判定された場合に、上記ジェスチャ認識機能をＯＮ状態に設定すると共に上記ジェスチャ認識領域内に終点判定領域を設定する。そして、このジェスチャ認識機能がＯＮ状態に設定されている状態で、上記画像データから検出された描画点の位置が前記ジェスチャ認識領域外に出たことが検出された場合に、上記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる。
【００１０】
したがって、ユーザがジェスチャによる操作を終了又は途中で止めるために、ジェスチャによる指示位置をジェスチャ認識領域外へ移動させると、ジェスチャ認識機能が自動的にＯＦＦ状態に遷移する。また、ジェスチャ認識機能がＯＦＦ状態に復帰すると、認識領域内に始点判定領域が設定され、この状態でユーザがジェスチャによる指示位置をこの始点判定領域に設定すれば、ジェスチャ認識機能は自動的にＯＮ状態となって、再びジェスチャによる入力操作が可能となる。すなわち、ユーザはジェスチャ以外の特別な操作を行うことなく、ジェスチャの延長上の操作によりジェスチャ認識機能を円滑にＯＦＦ／ＯＮすることができる。
【００１１】
また、この発明の第２の観点は、上記ジェスチャ認識機能がＯＮ状態に設定されている状態で、画像データから検出された描画点の位置が予め定められた時間以上連続して検出できなくなった場合に、上記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる手段を、さらに具備することを特徴とする。
【００１２】
さらに、この発明の第３の観点は、上記ジェスチャ認識機能がＯＮ状態に設定されている状態で、画像データから検出された描画点の軌跡が予め定められた長さ以上連続して欠落した場合に、上記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる手段を、さらに具備することを特徴とする。
【００１３】
第２及び第３の観点によれば、例えばユーザがジェスチャ操作を行っている最中にその前を人が通ってユーザとカメラとの間が遮られ、これにより上記ジェスチャによる指示位置を表す描画点が所定時間以上連続して検出できなくなるか、または描画点の軌跡が予め定められた長さ以上連続して欠落すると、ジェスチャ認識機能は自動的にＯＦＦ状態に遷移する。したがって、ジェスチャ操作中に外乱が発生した場合にも、ユーザが特別な操作を行うことなくジェスチャ認識機能を自動的にＯＦＦ状態にすることができる。
【発明の効果】
【００１４】
すなわちこの発明によれば、ユーザがジェスチャ以外の特別な操作を行わなくても、ジェスチャ認識機能を的確にＯＦＦ／ＯＮすることを可能にしたジェスチャ認識装置とそのプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】この発明の第１の実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図２】図１にジェスチャ認識装置として示した情報処理装置の機能構成を示すブロック図。
【図３】図２に示した情報処理装置による全体の処理手順と処理内容を示すフローチャート。
【図４】図３に示したフローチャートにおける一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。
【図５】図３に示したフローチャートにおける一筆書きジェスチャ認識処理の処理手順と処理内容を示すフローチャート。
【図６】ジェスチャ機能ＯＮのためのユーザの操作例を示す図。
【図７】ジェスチャ機能ＯＦＦのためのユーザの操作例を示す図。
【図８】この発明の第２の実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図９】図８に示した情報処理装置による一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
［構成］
図１は、この発明の第１の実施形態に係わるジェスチャ認識装置を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着すると共に、テレビジョン受信機２に情報処理装置３を接続したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。
【００１７】
情報処理装置３は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、ジェスチャ認識処理を行うために必要な機能として、指の位置検出ユニット１０と、データベース２０と、一筆書きジェスチャ認識処理ユニット３０Ａと、リアルタイム処理発生ユニット４０と、表示画面処理ユニット５０を備えている。
【００１８】
データベース２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶領域として、カメラ画像蓄積部２１と、一筆書き図形蓄積部２２と、操作内容データベース２３と、表示画像・映像蓄積部２４と、指位置蓄積部２５を有している。
【００１９】
カメラ画像蓄積部２１は、指の位置検出ユニット１０によりカメラ４から取得された画像データを記憶するために用いられる。指位置蓄積部２５は、カメラ画像蓄積部２１に蓄積された画像データから検出された指の指示位置と、当該画像データを撮像した時刻とを関連付けて格納するために用いられる。一筆書き図形蓄積部２２には、一筆書き図形の認識に用いる一筆書き図形のモデルが予め格納されている。操作内容データベース２３には、認識されたジェスチャの種類と方向に対応する操作内容を表す情報が予め格納されている。表示画像・映像蓄積部２４には、上記操作内容データベース２３に格納された操作内容を表す情報に対応付けて、表示画面に表示する画像や映像のデータが予め格納されている。
【００２０】
リアルタイム処理発生ユニット４０は、タイマを使用して、例えば３３msごとにイベント信号を発行する機能を有する。
指の位置検出ユニット１０はカメラ画像取得部１１を備え、上記リアルタイム発生ユニットによりイベント信号が発行されるごとに、カメラ４から画像データを取得して、この画像データを上記カメラ画像蓄積部２１に記憶させる機能を有する。
【００２１】
一筆書きジェスチャ認識処理ユニット３０Ａは、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａと、一筆書きジェスチャ認識処理部３２０を備えている。
このうち、先ず一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａは、指位置検出部３１１と、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２を有する。指位置検出部３１１は、上記カメラ画像蓄積部２１に格納された画像データからマーカ５の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部２５に格納する。
【００２２】
一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２は、以下の処理機能を有している。
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。そして、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーン（Detection zone）を上記ジェスチャの認識領域内に設定する機能。
【００２３】
(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ認識領域の外に出たか否かを判定し、ジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部の機能をＯＮからＯＦＦに遷移させる機能。
【００２４】
次に一筆書きジェスチャ認識処理部３２０は、一筆書きジェスチャ入力判断部３２１と、一筆書き図形の方向識別部３２２と、一筆書き図形識別部３２３を有している。
一筆書きジェスチャ入力判断部３２１は、一筆書きジェスチャ認識処理部３２０の機能がＯＮの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。
【００２５】
一筆書き図形の方向識別部３２２は、上記ジェスチャの終了点が検出された場合に、当該ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を表す位置座標の集合をもとに当該描画軌跡の重心位置座標を求め、この描画軌跡の重心位置座標とジェスチャの描画開始点との関係をもとに、当該描画開始点に対する描画方向を識別する。
【００２６】
一筆書き図形識別部３２３は、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡、つまりジェスチャにより描かれた図形の形状を表す情報を、上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を識別する。
【００２７】
表示画面処理ユニット５０は表示画面処理部５１を有する。表示画面処理部５１は、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向と図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報を読出す。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データを読出し、この表示データをもとにテレビジョン受信機２の表示画面を更新する。
【００２８】
なお、上記指の位置検出ユニット１０、一筆書きジェスチャ認識処理ユニット３０Ａ、リアルタイム処理発生ユニット４０及び表示画面処理ユニット５０の各処理機能は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００２９】
［動作］
次に、以上のように構成された情報処理装置３による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
【００３０】
（１）リアルタイムイベント発生処理
ジェスチャ入力モードが設定されると、ステップＳ１０によりリアルタイム処理発生ユニット４０が起動し、タイマの計時時間Ｔが予め設定された時間、例えば３３msecになるごとにステップＳ１１においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは３３msec周期でイベント信号が発生される。なお、タイマの計時時間Ｔはイベント信号が発生されるごとにステップＳ１２でリセットされる。
【００３１】
（２）指位置の検出処理
上記リアルタイム処理発生ユニット４０からイベント信号が発生されると、先ずステップＳ２０において指の位置検出ユニット１０が起動し、そのカメラ画像取得部１１の制御の下で、カメラ４により撮像されたユーザ１の画像データが取り込まれてカメラ画像蓄積部２１に記憶される。
そして、上記カメラ画像蓄積部２１に新たな画像データが記憶されると、図４に示すステップＳ３１１において、上記画像データ中から発光マーカ５の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の重心位置を示す座標が、ユーザ１の指の位置を表す描画点として指位置蓄積部２５に記憶される。以上の処理は上記３３msec周期で繰り返し行われ、この結果上記指位置蓄積部２５にはユーザ１の指の位置を表す描画点の位置座標の集合が、ユーザ１がジェスチャにより描いた図形を示すデータとして記憶される。なお、このときカメラ４の絞り値（Ｆ値）を大きく設定して受光光量を制限することで、発光マーカ５の光のみを検出しやすくするとよい。
【００３２】
（３）一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理
上記指位置蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ３０のステップＳ３１において一筆書きジェスチャ認識処理ユニット３０Ａの一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａが起動され、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａの制御の下で以下のような処理が実行される。図４中のステップＳ３１２はその処理手順と処理内容を示すフローチャートである。
【００３３】
（３−１）一筆書きジェスチャ認識機能をＯＮする場合
先ずステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かが判定される。そして、ここではまだＯＮになっていないのでステップＳ３１２５に移行し、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。例えば図６（ａ）に示すように、ジェスチャの認識領域Ｃの中央にジェスチャ開始領域Ｅ０を設定する。そして、上記指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が上記ジェスチャ開始領域Ｅ０内に存在するか否かを判定する。
【００３４】
この状態で、ユーザ１が指の位置を動かし、これにより図６（ａ）に示すように描画点の位置座標Ｐ０が上記ジェスチャ開始領域Ｅ０内に入ると、ステップＳ３１２６により上記一筆書きジェスチャ認識部３２０の機能をＯＮに設定する。またそれと共に、ステップＳ３１２７により図６（ｂ）に示すようにジェスチャの終点を検出するための検出ゾーン（Detection zone）Ｅ１を上記ジェスチャの認識領域Ｃ内に設定する。
【００３５】
このとき、検出ゾーンＥ１のサイズはジェスチャ開始領域Ｅ０より大きなサイズに設定される。このようにすると、ユーザ１によるユーザの指の位置が検出ゾーンＥ１内に戻った後に、震えなどにより当該検出ゾーンＥ１の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終点判定領域としての検出ゾーンＥ２内に安定的に留めることが可能となる。このため、検出ゾーンＥ１の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。
【００３６】
（３−２）一筆書きジェスチャ認識機能をＯＦＦする場合
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、ユーザ１がジェスチャによるテレビジョン受信機２の操作を一旦中止するべく、指の位置を例えば図７（ａ）のＦ１に示すようにカメラ４の撮像範囲外、つまりジェスチャの認識領域Ｃの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａは、ステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かを判定し、ここではＯＮになっているのでステップＳ３１２２に移行する。そして、指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が、上記ジェスチャの認識領域Ｃの外に出たか否かを判定する。
【００３７】
この判定の結果、図７（ａ）のＦ１に示すように、発光マーカ５の描画点の位置座標が上記ジェスチャの認識領域Ｃの外に出ると、ステップＳ３１２３により一筆書きジェスチャ認識処理部３２０の機能をＯＦＦに遷移させる。かくして、ユーザ１は指の位置をカメラ４の撮像範囲外へ移動させるだけで、一筆書きジェスチャ認識機能をＯＦＦに戻すことができる。
【００３８】
なお、一筆書きジェスチャ認識機能がＯＦＦに復帰すると、次のイベント信号発生（３３msec）時に、ステップＳ３１２５において図７（ｂ）に示すようにジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ２が設定される。すなわち、一筆書きジェスチャ認識機能がＯＦＦになると、消去された検出ゾーンＥ１の代わりにそれよりも小さいジェスチャ開始領域Ｅ２が再設定される。
【００３９】
（４）一筆書きジェスチャ認識処理
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、一筆書きジェスチャ認識処理部３２０は以下のようにジェスチャの認識処理を実行する。図５はその処理手順と処理内容を示すフローチャートである。
【００４０】
すなわち、先ずステップＳ３２１において一筆書きジェスチャ入力判断部３２１が起動し、この一筆書きジェスチャ入力判断部３２１の制御の下で、ユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ１内に入ったか否かをステップＳ３２１１により判定する。そして、描画点が上記検出ゾーンＥ１内に入っていなければ、ステップＳ３２１４によりジェスチャ入力受付中か否かを示すジェスチャフラグ（Gesture Flag）を“TRUE”に設定し、以後イベントが発生するごとに描画点が検出ゾーンＥ１内に入るか否かを監視する処理を繰り返す。
【００４１】
さて、この状態でユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ１内に入ったことが検出されたとする。そうすると、ステップＳ３２１２によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップＳ３２２により一筆書き図形の方向識別処理を実行する。
この一筆書き図形の方向識別処理は以下のように行われる。すなわち、先ず指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の描画軌跡を表す画像をもとに当該描画軌跡を表す画像の重心位置座標を算出する。そして、この算出された描画軌跡画像の重心位置座標と描画開始点における座標との関係から、当該描画開始点に対する上記描画軌跡の描画方向が上下左右の何れであるかを識別することにより行われる。
【００４２】
次にステップＳ３２３により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップＳ３２１３によりジェスチャフラグ（Gesture Flag）を“False”にリセットする。
【００４３】
（５）表示画面の更新処理
上記一筆書きジェスチャの認識処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向及び図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。
【００４４】
以上詳述したように第１の実施形態では、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａを新たに備え、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ａの制御の下で、以下のような処理を行っている。
【００４５】
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、ジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ０を設定し、発光マーカ５の描画点が当該ジェスチャ開始領域Ｅ０内に入った場合に一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーンＥ１をジェスチャ認識領域Ｃ内に設定する。
【００４６】
(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、発光マーカ５の描画点がジェスチャ認識領域Ｃの外に出たか否かを監視し、ジェスチャ認識領域Ｃの外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部３２０の機能をＯＮからＯＦＦに遷移させる。
【００４７】
したがって第１の実施形態によれば、ユーザ１はジェスチャ以外の特別な操作を行うことなく、一筆書きジェスチャ認識処理部３２０の機能を直感的なジェスチャ操作により簡単かつスムーズにＯＮ／ＯＦＦすることができる。
【００４８】
（第２の実施形態）
［構成］
図８は、この発明の第２の実施形態に係るジェスチャ認識装置の機能構成を示すブロック図である。なお、同図において図２と同一部分には同一符号を付して詳しい説明は省略する。
【００４９】
一筆書きジェスチャ認識処理ユニット３０Ｂの一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０Ｂは、指位置検出部３１１及び一筆書きジェスチャＯＮ／ＯＦＦ判断部３１２に加え、ジェスチャ機能強制終了部３１３をさらに備えている。
このジェスチャ機能強制終了部３１３は、ジェスチャ入力受付中に描画点が予め定められた時間以上連続して検出できなくなった場合に、一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させる機能を有する。
【００５０】
なお、上記ジェスチャ機能強制終了部３１３も、指位置検出部３１１及び一筆書きジェスチャＯＮ／ＯＦＦ判断部３１２と共に、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００５１】
［動作］
上記ジェスチャ機能強制終了部３１３をさらに備えることで、ジェスチャ認識機能ＯＮ／ＯＦＦ切替処理部３１０Ｂでは以下のような処理が実行される。図９はその処理手順と処理内容を示すフローチャートである。なお、同図においても前記図４と同一部分には同一符号を付して詳しい説明は省略する。
【００５２】
すなわち、ステップＳ３１０においてジェスチャ機能強制終了部３１３が起動され、このジェスチャ機能強制終了部３１３の制御の下で、カメラ４により撮像された画像データから指位置を表す描画点が検出されるか否かをステップＳ３１０１により判定する。そして、描画点が検出されていれば、ステップＳ３１１による指位置の座標検出処理を経てステップＳ３１２による一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断処理に移行する。
【００５３】
これに対し、上記指の描画点が予め設定された時間以上連続して非検出となると、ステップＳ３１０２に移行して、ここで一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させる。そして、このＯＦＦ状態に遷移させた後、ステップＳ３１２による一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断処理に移行する。
【００５４】
したがって第２の実施形態によれば、例えばユーザ１の前を人が横切り、これにより指の描画点が所定時間以上画像データから検出できなくなると、この状態がジェスチャ機能強制終了部３１３により検出され、一筆書きジェスチャ認識処理部３２０の機能が強制的にＯＦＦされる。このため、描画軌跡の一部が欠損した不完全な描画図形をもとにジェスチャの認識処理が行われる不具合を未然に防ぎ、これにより誤操作を防止することができる。
【００５５】
また、一筆書きジェスチャ認識処理部３２０の機能がＯＦＦされると、第１の実施形態で述べたように、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２の制御の下、ジェスチャの認識領域Ｃには図７（ｂ）に示したようにジェスチャ開始領域Ｅ２が自動的に設定される。このため、ユーザ１は指の位置をこのジェスチャ開始領域Ｅ２に戻した後、再度ジェスチャ操作を開始すれば、他に特別な操作を行わなくてもそのままジェスチャ操作をやり直すことが可能となる。したがって、ジェスチャ入力操作中に予期しない外乱等が発生した場合でも、ユーザ１は特別な操作を行うことなくスムーズにジェスチャ操作をやり直すことができる。
【００５６】
（その他の実施形態）
第１の実施形態では、ジェスチャ認識領域Ｃをカメラ４の視野範囲に設定したが、カメラ４の視野範囲が大きい場合にはこのカメラ４の視野範囲内に当該視野範囲より小さいジェスチャ認識領域Ｃを設定するようにしてもよい。この場合のジェスチャ認識領域Ｃの大きさや形状は任意に設定可能である。
【００５７】
第２の実施形態では、指の描画点が予め設定された時間以上連続して非検出となった場合に、一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させるようにした。しかしそれに限らず、指位置蓄積部２５に記憶された指位置の軌跡を表す集合のうち、その一部が予め決められた長さ以上欠損していた場合に、一筆書きジェスチャ認識処理部３２０の機能を強制的にＯＦＦ状態に遷移させるようにしてもよい。
【００５８】
また、前記各実施形態では本発明に係るジェスチャ認識装置の機能を情報処理装置に設けた場合を例に説明したが、同機能をテレビジョン受信機に設けてもよいし、セットトップボックスやビデオレーダなどに設けてもよい。その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００５９】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６０】
１…ユーザ、２…テレビジョン受信機、３…情報処理装置、４…カメラ、５…発光マーカ、１０…指の位置検出ユニット、１１…カメラ画像取得部、２０…データベース、２１…カメラ画像蓄積部、２２…一筆書き図形蓄積部、２３…操作内容データベース、２４…表示画像・映像蓄積部、２５…指位置蓄積部、３０Ａ，３０Ｂ…一筆書きジェスチャ認識処理ユニット、３１０Ａ，３１０Ｂ…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部、３１１…指位置検出部、３１２…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部、３１３…ジェスチャ機能強制終了部、３２０…一筆書きジェスチャ認識処理部、３２１…一筆書きジェスチャ入力判断部、３２２…一筆書き図形の方向識別部、３２３…一筆書き図形識別部、４０…リアルタイム処理発生ユニット、５０…表示画面処理ユニット、５１…表示画面処理部。
【特許請求の範囲】
【請求項１】
ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識する機能を有するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
ジェスチャ認識機能がＯＦＦ状態に設定されている状態で、予め設定されたジェスチャ認識領域内に始点判定領域を設定する手段と、
前記取り込まれた画像データから描画点の位置を検出し、この検出された描画点の位置が前記始点判定領域内に存在すると判定された場合に、前記ジェスチャ認識機能をＯＮ状態に設定すると共に、前記ジェスチャ認識領域内に終点判定領域を設定する手段と、
前記ジェスチャ認識機能がＯＮ状態に設定されている状態で、前記画像データから検出された描画点の位置が前記ジェスチャ認識領域外に出たことが検出された場合に、前記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる第１のＯＦＦ制御手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
前記ジェスチャ認識機能がＯＮ状態に設定されている状態で、前記画像データから検出された描画点の位置が予め定められた時間以上連続して検出できなくなった場合に、前記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる第２のＯＦＦ制御手段を、さらに具備することを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
前記ジェスチャ認識機能がＯＮ状態に設定されている状態で、前記画像データから検出された描画点の軌跡が予め定められた長さ以上連続して欠落した場合に、前記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる第３のＯＦＦ制御手段を、さらに具備することを特徴とする請求項１記載のジェスチャ認識装置。
【請求項４】
請求項１乃至請求項３のいずれか１つに記載のジェスチャ認識装置が具備する各手段の処理をコンピュータに実行させるプログラム。
【請求項１】
ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識する機能を有するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
ジェスチャ認識機能がＯＦＦ状態に設定されている状態で、予め設定されたジェスチャ認識領域内に始点判定領域を設定する手段と、
前記取り込まれた画像データから描画点の位置を検出し、この検出された描画点の位置が前記始点判定領域内に存在すると判定された場合に、前記ジェスチャ認識機能をＯＮ状態に設定すると共に、前記ジェスチャ認識領域内に終点判定領域を設定する手段と、
前記ジェスチャ認識機能がＯＮ状態に設定されている状態で、前記画像データから検出された描画点の位置が前記ジェスチャ認識領域外に出たことが検出された場合に、前記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる第１のＯＦＦ制御手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
前記ジェスチャ認識機能がＯＮ状態に設定されている状態で、前記画像データから検出された描画点の位置が予め定められた時間以上連続して検出できなくなった場合に、前記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる第２のＯＦＦ制御手段を、さらに具備することを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
前記ジェスチャ認識機能がＯＮ状態に設定されている状態で、前記画像データから検出された描画点の軌跡が予め定められた長さ以上連続して欠落した場合に、前記ジェスチャ認識機能をＯＮ状態からＯＦＦ状態に遷移させる第３のＯＦＦ制御手段を、さらに具備することを特徴とする請求項１記載のジェスチャ認識装置。
【請求項４】
請求項１乃至請求項３のいずれか１つに記載のジェスチャ認識装置が具備する各手段の処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７７２２９（Ｐ２０１３−７７２２９Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７８１７（Ｐ２０１１−２１７８１７）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]