ジェスチャ認識装置
【課題】終点の位置ずれによる誤認識を低減して認識精度を高める。
【解決手段】カメラ４により撮像されたユーザの画像データを取り込み、この取り込まれた画像データから先ず指の初期位置を検出してこの初期位置を含む第１のサイズＥ0 の終始点入力判定領域を上記画像データ中に設定する。そして、上記画像データから検出される指の位置座標が終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの指の位置座標の軌跡を検出している過程で、終始点入力判定領域拡大縮小部３２の制御の下で、検出された指の位置座標が上記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 より大きい第２のサイズＥ1 に拡大し、存在しないと判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 に縮小する。
【解決手段】カメラ４により撮像されたユーザの画像データを取り込み、この取り込まれた画像データから先ず指の初期位置を検出してこの初期位置を含む第１のサイズＥ0 の終始点入力判定領域を上記画像データ中に設定する。そして、上記画像データから検出される指の位置座標が終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの指の位置座標の軌跡を検出している過程で、終始点入力判定領域拡大縮小部３２の制御の下で、検出された指の位置座標が上記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 より大きい第２のサイズＥ1 に拡大し、存在しないと判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 に縮小する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機や録画再生装置において、離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
カメラを接続可能な外部インタフェース（例えばＵＳＢ）を備えたネット対応テレビジョン受信機の登場に伴い、テレビジョン電話等のネットワークとカメラを用いたサービスが普及しつつある。また、カメラを用いた画像処理技術を用いてその場にいる人々の年齢性別を認識する技術を組み込んだデジタルサイネージの登場に伴い、その場の人々の年齢性別に合わせた広告を表示するサービスが普及しつつある。
【０００３】
ところで、これらのサービスを利用する際にユーザはメニューの選択操作等を行う必要があるが、その入力操作方式として利用者の動きを利用したジェスチャ入力方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにメニュー等のポインティングを行うものとなっている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０５３９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、従来提案されているジェスチャ認識処理技術は以下のような解決すべき課題があった。
すなわち、従来の技術では、ユーザが例えば図２２（ａ）に示す入力開始前の状態から図２２（ｂ）に示すようにカメラの撮像画面の中央部に指の位置を持っていくと、このときの指の初期位置Ｐsを基準として終始点入力判定領域Ｅが作成される。この状態で、ユーザが一筆書きで図形を描くと、図２２（ｃ）に示すように指の位置が終始点入力判定領域Ｅ外へ出た時点で入力判定フラグがＯＮとなり、その後図２２（ｄ）に示すように指の位置Ｐeが終始点入力判定領域Ｅ内に戻った時点で入力判定フラグがＯＦＦとなる。そして、上記入力判定フラグがＯＮになっている期間に得られた指の軌跡により表される図形が、ジェスチャとして認識される。
【０００６】
しかし、指の位置が終始点入力判定領域Ｅ内に戻った際に、ユーザは指を停止させたつもりでもその位置は微妙に変化する。このため、指の停止位置、つまり終点Ｐe が図２３（ａ），（ｂ）に示すように領域境界上にあると、この終点Ｐe 位置が領域境界線を何度も通過するため図２３（ｃ）に示すようにいわゆるチャタリングのような現象が起こり、その結果誤認識が発生することがある。
【０００７】
また、ユーザが一筆書き図形を描いてもこの図形がジェスチャとして認識されない場合がある。この問題が生じる例としては以下の２つがあげられる。
(1) ユーザは円を描いたつもりでも、図２４（ａ），（ｂ）に示すように指の軌跡が終始点入力判定領域Ｅを通過しない場合
(2) 同様に円を描いたつもりでも、図２４（ｃ）に示すように指の位置が終始点入力判定領域Ｅに届かずに手前で止まってしまった場合。
【０００８】
この発明は上記事情に着目してなされたもので、その第１の目的は、終点の位置ずれによる誤認識を低減して認識精度を高めたジェスチャ認識装置を提供することである。
また第２の目的は、ユーザによる図形の描画位置が移動しても図形を確実に認識できるようにしたジェスチャ認識装置を提供することである。
【０００９】
さらに第３の目的は、ユーザが描く図形の移動範囲を狭い範囲に抑制することが可能なジェスチャ認識装置を提供することである。
【課題を解決するための手段】
【００１０】
上記第１の目的を達成するためにこの発明の第１の観点は、ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置において、上記撮像装置から出力された画像データを取り込み、この取り込まれた画像データから先ず描画点の初期位置を検出してこの初期位置を含む第１のサイズの終始点入力判定領域を上記画像データ中に設定する。そして、上記画像データから検出される描画点が上記終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの描画点の軌跡を検出している最中に、当該描画点が上記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズより大きい第２のサイズに拡大し、存在しないと判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズに縮小するようにしたものである。
【００１１】
したがって、この発明の第１の観点によれば、描画点が終始点入力判定領域内に戻るとこの終始点入力判定領域のサイズが第２のサイズに拡大される。つまり、第１のサイズの境界線上に停止した指の位置は第２のサイズの内部に存在することになる。このため、上記描画点の終点がユーザの指の震えや揺れ等により多少位置ずれを起こしたとしても終点の位置を終始点入力判定領域内に安定的に留めることが可能となり、これによりいわゆるチャタリングのような現象が発生しても、誤認識の発生を減らすことができる。
【００１２】
上記第２の目的を達成するためにこの発明の第２の観点は、少なくとも上記描画点が上記終始点入力判定領域外に存在するときに、上記描画点の軌跡の通過を検出するための入力判定境界線を上記画像データ中に設定する手段をさらに備える。そして、ジェスチャを認識する際に、上記描画点の軌跡が上記設定された入力判定境界線を通過せずかつ上記描画点が上記終始点入力判定領域内に戻ったか否かを判定する第１の判定処理と、上記描画点の軌跡が上記入力判定境界線を複数回通過したか否かを判定する第２の判定処理と、上記描画点の軌跡が上記入力判定境界線を１回通過しかつ描画点が上記終始点入力判定領域内に戻ったか否かを判定する第３の判定処理のいずれかでその判定結果が「ＯＫ」となった場合に、当該描画点の軌跡をジェスチャにより描かれた図形として認識するようにしたものである。
【００１３】
したがって、この発明の第２の観点によれば、描画点の終点が終始点入力判定領域内に戻った場合に止まらず、ユーザが円を描いたつもりでも描画点の軌跡が終始点入力判定領域を通過しなかった場合でも、また描画点の位置が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このとき描かれた図形を認識対象のジェスチャとして認識することが可能となる。
【００１４】
上記第３の目的を達成するためにこの発明の第３の観点は、上記終始点入力判定領域の位置を補正する補正手段をさらに備える。そして、上記補正手段により、上記描画点の軌跡が上記第２の判定処理により定義される判定条件を満たした場合に、上記終始点入力判定領域の位置を上記描画点の終点を含む位置に移動させる。また、上記描画点の軌跡が上記第１又は第３の判定処理により定義される判定条件を満たした場合には、上記終始点入力判定領域の位置を上記描画点の初期位置に近づくように移動させるようにしたものである。
【００１５】
このようにすると、ユーザが１つの図形を描くごとに、終始点入力判定領域の位置が当該図形の終点を含む位置に移動する。このため、複数の図形を連続的に描く場合に次の図形をより確実に認識することが可能となる。また、複数の図形を連続的に描いている過程で、図形の終点位置が終始点入力判定領域の初期位置に戻った場合には、終始点入力判定領域の位置が上記初期位置に対し近い位置に戻るように修正される。このため、ユーザが描く図形の移動範囲を狭い範囲に規制することが可能となる。
【００１６】
また、上記第２の目的を達成するためにこの発明の第４の観点は、上記終始点入力判定領域及び上記入力判定境界線を拡張する拡張手段をさらに具備する。そして、拡張手段により、上記描画点が予め設定した時間以上連続して停止したか否かを判定し、この判定処理により上記描画点の停止が検出されかつその停止位置が上記終始点入力判定領域外のとき、上記終始点入力判定領域及び上記入力判定境界線の少なくとも一方を上記停止中の描画点に近づけるようにしたものである。
【００１７】
このようにすると、描画点の終点位置が終始点入力判定領域外の位置で一定時間以上停止した場合に、終始点入力判定領域が上記停止中の描画点に近づくように拡張されるか、或いは入力判定境界線の位置が上記停止中の描画点に近づくように移動される。このため、ユーザが描いた図形の軌跡が終始点入力判定領域を通過しなかったり、或いは図形の終点が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このときの描画図形をジェスチャとして認識することが可能となる。
【発明の効果】
【００１８】
すなわちこの発明の第１の観点によれば、終点の位置ずれによる誤認識を低減して認識精度を高めたジェスチャ認識装置を提供することができる。
またこの発明の第２の観点によれば、ユーザによる図形の描画位置が移動しても図形を確実に認識できるようにしたジェスチャ認識装置を提供することができる。
さらにこの発明の第３の観点によれば、ユーザが描く図形の移動範囲を狭い範囲に抑制することが可能なジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図２】図１にジェスチャ認識装置として示したテレビジョン受信機の機能構成を示すブロック図。
【図３】図２に示したテレビジョン受信機による全体の処理手順と処理内容を示すフローチャート。
【図４】図３に示した全体の処理手順のうち終始点入力判定領域拡大縮小処理の処理手順と処理内容を示すフローチャート。
【図５】図３に示した全体の処理手順のうち入力判定境界線作成削除処理の処理手順と処理内容を示すフローチャート。
【図６】図３に示した全体の処理手順のうち終始点入力判定領域・境界線拡張処理の処理手順と処理内容を示すフローチャート。
【図７】図３に示した全体の処理手順のうちジェスチャ入力処理の処理手順と処理内容を示すフローチャート。
【図８】図４に示した終始点入力判定領域拡大縮小処理の具体例を説明するための図。
【図９】図５に示した入力判定境界線作成削除処理の説明に用いる入力判定水平境界線作成領域の一例を示す図。
【図１０】図５に示した入力判定境界線作成削除処理の説明に用いる入力判定垂直境界線作成領域の一例を示す図。
【図１１】図５に示した入力判定境界線作成削除処理の説明に用いる入力判定境界線の一例を示す図。
【図１２】図６に示した終始点入力判定領域・境界線拡張処理のうち、終始点入力判定領域の拡張処理の一例を示す図。
【図１３】図６に示した終始点入力判定領域・境界線拡張処理のうち、入力判定境界線の接近処理の一例を示す図。
【図１４】図７に示したジェスチャ入力処理のうち、入力判定垂直境界線を利用した入力判定処理の一例を示す図。
【図１５】図７に示したジェスチャ入力処理のうち、入力判定水平境界線を利用した入力判定処理の一例を示す図。
【図１６】図７に示したジェスチャ入力処理のうち、入力判定境界線と終始点入力判定領域を併用した入力判定処理の一例を示す図。
【図１７】図７に示したジェスチャ入力処理のうち、終始点入力判定領域の位置補正処理の一例を示す図。
【図１８】図７に示したジェスチャ入力処理のうち、終始点入力判定領域の位置補正処理の他の例を示す図。
【図１９】この発明の用途の第１の例を示す図。
【図２０】この発明の用途の第２の例を示す図。
【図２１】この発明の用途の第３の例を示す図。
【図２２】この発明に係る基本的なジェスチァ認識手順を示す図。
【図２３】従来の認識手段の課題を説明するための図。
【図２４】従来の認識手段の課題を説明するための図。
【発明を実施するための形態】
【００２０】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［構成］
図１は、この発明の一実施形態に係わるジェスチャ認識を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。
【００２１】
テレビジョン受信機２は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、このテレビジョン受信機２の構成を上記カメラ４の構成と共に示すブロック図である。
【００２２】
カメラ４は、撮像処理部４１と、画像送信部４２を備えている。撮像処理部４１は、後述するリアルタイムイベント発行ユニット５０からトリガ信号が発生されるごとにユーザ１のジェスチャを撮像する処理を行う。画像送信部４２は、上記撮像処理により得られた画像データを後述する記憶ユニット２０内の画像情報蓄積部２１に記憶させる処理を行う。
【００２３】
テレビジョン受信機２は、ジェスチャ認識処理を行うために必要な機能として、記憶ユニット２０と、ジェスチャ認識ユニット３０と、表示画像制御ユニット４０と、リアルタイムイベント発行ユニット５０と、指位置検出ユニット６０を備えている。
【００２４】
記憶ユニット２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶機能として、画像情報蓄積部２１と、ジェスチャコマンド変換テーブル部２２と、表示画像データ蓄積部２３と、図形パターン記憶部２４と、指位置情報蓄積部２５を有している。
【００２５】
画像情報蓄積部２１は、上記カメラ４の画像送信部４２から出力された画像データを記憶するために用いられる。ジェスチャコマンド変換テーブル部２２には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドを意味する図形パターンの種類とその終始点を表す情報が予め記憶されている。表示画像データ蓄積部２３には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部２４には、認識対象となる複数の図形形状の基本パターンが記憶される。指位置情報蓄積部２５は、後述する指位置検出ユニット６０により検出されたユーザ１の指の軌跡を表す位置座標集合を蓄積するために用いられる。
【００２６】
リアルタイムイベント発行ユニット５０は、例えばタイマを使用して、上記カメラ４等を予め決められた周期で動作させるためのトリガ信号を生成する。
指位置検出ユニット６０は、上記リアルタイムイベント発行ユニット５０により決められたトリガ信号の発行周期で上記画像情報蓄積部２１に新たな画像データが記憶されるごとに、この画像データから発光マーカ６の輝点画像を指の位置を表す情報として検出し、画像データ中における上記輝点画像の位置座標を記憶ユニット２０内の指位置情報蓄積部２５に記憶させる処理を行う。
【００２７】
ジェスチャ認識ユニット３０は、この発明の一実施形態を実施するために必要な処理機能として、ジェスチャ入力初期設定部３１と、終始点入力判定領域拡大縮小部３２と、入力判定境界線作成削除部３３と、終始点入力判定領域・境界線拡張部３４と、ジェスチャ認識部３５を備えている。
【００２８】
ジェスチャ入力初期設定部３１は、待機状態においてユーザ１がジェスチャによる入力操作開始動作を行った場合に起動される。そして、上記指位置検出ユニット６０により検出されたユーザ１の指の位置を初期位置として認識して、この初期位置を中心とする終始点入力判定領域を画像データ中に設定する処理を行う。終始点入力判定領域とは、ジェスチャにより描かれる一筆書き図形の終始点を検出するためのもので、この終始点が検出された場合に１つの図形の入力が終了したと判定する。
【００２９】
終始点入力判定領域拡大縮小部３２は、上記ジェスチャ入力初期設定部３１により終始点入力判定領域が設定された状態で、上記指位置検出ユニット６０により指の位置座標が検出されるごとに、この検出された指の位置座標が上記終始点入力判定領域内に存在するか否かを判定する。そして、上記指の位置座標が終始点入力判定領域の外部に存在するときには終始点入力判定領域のサイズを上記ジェスチャ入力初期設定部３１により初期設定された第１のサイズに維持し、上記指の位置座標が終始点入力判定領域の内部に入った場合には終始点入力判定領域のサイズを上記第１のサイズより大きい第２のサイズに拡大する処理を行う。
【００３０】
入力判定境界線作成削除部３３は、ユーザ１がジェスチャにより一筆書きの図形を描いている期間に、画像データ中における指の検出位置に応じて入力判定境界線を画像データ中に設定する処理を行う。この入力判定境界線は、水平境界線と垂直境界線とからなり、画像データ中において指の描画軌跡が通過したか否かを判定するもので、上記終始点入力判定領域と協同して上記ジェスチャによる１つの図形の入力操作が終了したか否かを判定するために用いられる。
【００３１】
終始点入力判定領域・境界線拡張部３４は、上記指位置検出ユニット６０により検出された指の位置座標が予め設定した一定時間以上連続して停止しているか否かと、当該検出された指の位置座標が終始点入力判定領域に含まれているか否かを判定する。そして、上記検出された指の位置座標が一定時間以上連続して停止し、かつ終始点入力判定領域に含まれていると判定された場合に、ユーザ１がジェスチャで描いた図形の終点が終始点入力判定領域内に到達していないと判断し、終始点入力判定領域を徐々に拡張させて上記停止している指の位置座標に近づける処理か、又は入力判定境界線を徐々に移動させて上記停止している指の位置座標に近づける処理を行う。
【００３２】
ジェスチャ認識部３５は、上記指位置情報蓄積部２５に記憶された指の軌跡を表す情報もとにユーザ１がジェスチャにより描いた図形を認識するためのもので、その機能としてジェスチャ入力判定部３５１と、終始点入力判定領域位置補正部３５２と、描画方向・形状認識部３５３を有している。
【００３３】
ジェスチャ入力判定部３５１は、上記終始点入力判定領域及び入力判定境界線を用いて、上記指位置情報蓄積部２５に記憶された指の軌跡を表す位置座標集合から利用者が１つの図形の入力操作を終了したか否かを判定する処理を行う。
【００３４】
終始点入力判定領域位置補正部３５２は、ユーザ１ができるだけ小さな描画範囲で連続的にジェスチャ入力を行えるようにするために、上記ジェスチャ入力判定部３５１によるジェスチャの入力判定結果に応じて終始点入力判定領域の位置を適応的に変更する処理を行う。
【００３５】
描画方向・形状認識部３５３は、上記ジェスチャ入力判定部３５１により１つの図形の入力操作が終了したと判定された場合に、上記指位置情報蓄積部２５から指の位置座標集合を読み出してこの位置座標集合から上記図形の形状と方向を認識する。そして、この図形の形状と方向を表すデータをジェスチャコマンド変換テーブル部２２に渡し、ジェスチャの内容を表すコマンドに変換させる処理を行う。
【００３６】
表示画像制御ユニット４０は、上記ジェスチャコマンド変換テーブル部２２により変換されたジェスチャの内容を表すコマンドをもとに、表示画像データを更新する。そして、この更新された表示画像データを図示しないディスプレイに出力して表示させる処理を行う。
【００３７】
なお、上記ジェスチャ認識ユニット３０、表示画像制御ユニット４０、リアルタイムイベント発行ユニット５０及び指位置検出ユニット６０の各処理機能は、記憶ユニット２０内の図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００３８】
［動作］
次に、以上のように構成されたテレビジョン受信機２による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
【００３９】
（１）ジェスチャ入力初期設定処理
テレビジョン受信機２は、ジェスチャ入力初期設定部３１の制御の下で、先ずステップＳ１０によりユーザがジェスチャ入力の開始を要求する操作を行ったか否かを監視する。ジェスチャ入力の開始要求操作は、リモートコントローラ等のテレビジョン受信機２とインタラクション可能な入力デバイスにより行う場合と、ユーザのジェスチャにより行う場合とがあるが、ここでは後者を使用する場合について述べる。
【００４０】
ユーザがカメラ４に向かって例えば手を振ったとする。そうするとジェスチャ入力初期設定部３１は、カメラ４により得られた画像データから手の領域をカラーマッチング処理により抽出し、この抽出された手の領域の移動軌跡が手を左右に複数回繰り返し振っているパターンに該当する場合に、このときのジェスチャをジェスチャ入力の開始要求と認識する。
【００４１】
上記ジェスチャ入力の開始要求を認識すると、ジェスチャ入力初期設定部３１は続いて上記開始要求操作時の指の位置がジェスチャ入力を開始可能な位置（図２２（ａ）の×印に示す画面中央位置の周辺領域）にあるか否か判定する。この判定の結果、指の位置がジェスチャ入力を開始可能な位置に存在しない場合には、指の位置の変更を促すガイダンスメッセージをテレビジョン受信機２のディスプレイに表示させる。そして、ユーザの指の位置がジェスチャ入力を開始可能な位置に移動すると、図２２（ｂ）に示すように上記画面中央位置を中心としかつ直径が第１のサイズに設定された終始点入力判定領域Ｅを生成する。
【００４２】
（２）終始点入力判定領域の拡大縮小処理
上記終始点入力判定領域の設定が終了しジェスチャ入力モードになると、ステップＳ１１によりリアルタイムイベント発行ユニット５０が起動し、タイマの計時時間が予め設定された時間、例えば３３msecになるごとにトリガ信号が発生される。すなわち、ジェスチァ入力モードになると３３msec周期でトリガ信号が発生される。
【００４３】
上記トリガ信号が発生されると、カメラ４によりユーザの撮像処理が行われ（ステップＳ１２）、この撮像処理により得られた画像データが画像情報蓄積部２１に記憶される（ステップＳ１３）。そして、上記画像情報蓄積部２１に新たな画像データが記憶されると、ステップＳ１４により指位置検出ユニット６０が起動し、この指位置検出ユニット６０により上記画像データ中から発光マーカ６の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の位置座標が、ユーザの指の位置を表す情報として指位置情報蓄積部２５に記憶される（ステップＳ１５）。以上の処理は上記３３msec周期で繰り返し行われ、この結果上記指位置情報蓄積部２５には指の位置座標の集合がユーザが描いた図形を示すデータとして記憶される。
【００４４】
さて、上記指位置情報蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ１６により終始点入力判定領域拡大縮小部３２が起動され、この終始点入力判定領域拡大縮小部３２の制御の下で以下のような処理が行われる。図４はその処理手順と処理内容を示すフローチャートである。
【００４５】
すなわち、先ずステップＳ３０により上記検出された指の位置座標が上記終始点入力判定領域内に存在するか否かが判定される。この判定の結果、例えば指の位置座標が図８（ａ）のＰs に示すように前記初期設定された終始点入力判定領域Ｅ0 内に存在し、かつ当該終始点入力判定領域が拡大されていない場合には、ステップＳ３１において終始点入力判定領域のサイズが上記第１のサイズＥ0より大きい第２のサイズＥ1に拡大される。
【００４６】
続いて、上記指の位置座標が図８（ｂ）に示すように終始点入力判定領域Ｅ1 の外部に出たとする。そうすると、この状態はステップＳ３２により検出され、ステップＳ３３において終始点入力判定領域のサイズが上記ジェスチャ入力初期設定部３１により初期設定された第１のサイズＥ0 に縮小される。
【００４７】
さらに、図形の軌跡Ｌが描かれたのち、指の位置座標が例えば図８（ｃ）に示すように終始点入力判定領域Ｅ0内に戻ると、この状態はステップＳ３０により検出されてステップＳ３１に移行する。そして、このステップＳ３１により終始点入力判定領域のサイズが上記第２のサイズＥ1に拡大される。
【００４８】
したがって、ユーザの指の位置が終始点入力判定領域Ｅ0内に戻った後に、震えなどにより当該領域Ｅ0の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終始点入力判定領域Ｅ1内に安定的に留めることが可能となる。このため、終始点入力判定領域の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。
【００４９】
（３）入力判定境界線の作成・削除処理
前記指位置情報蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ１７では入力判定境界線の作成・削除部３３が起動され、この入力判定境界線の作成・削除部３３の制御の下で以下のような処理が行われる。図５はその処理手順と処理内容を示すフローチャートである。
【００５０】
すなわち、先ずステップＳ４０において、上記検出された指の位置座標が水平境界線作成領域内に存在するか否かが判定される。この判定の結果、指の位置座標が例えば図９に示す水平境界線作成領域Ｈ1 ，Ｈ2 内のいずれかに存在する場合には、ステップＳ４１により画像データの中心点を通る入力判定水平境界線Ｈ0 が生成される。次にステップＳ４２において、上記検出された指の位置座標が垂直境界線作成領域内に存在するか否かが判定される。そして、この判定の結果、指の位置座標が例えば図１０に示すように垂直境界線作成領域Ｖ1 ，Ｖ2 内のいずれかに存在すると、ステップＳ４３において画像データの中心点を通る入力判定垂直境界線Ｖ0 が生成される。
【００５１】
図１１は、上記入力判定水平境界線Ｈ0 と入力判定垂直境界線Ｖ0 の両方が生成された場合の例を示している。これらの入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 は、後述するジェスチャ入力処理において指の軌跡の通過を判定するために用いられる。
なお、上記生成された入力判定水平境界線Ｈ0 及び入力判定垂直線Ｖ0 は、上記指の位置座標が境界線作成領域外に出ると、つまり終始点入力判定領域Ｅ0 内に入ると、消去される。
【００５２】
（４）終始点入力判定領域の拡張及び入力判定境界線の移動処理
前記指位置情報蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ１８では終始点入力判定領域・境界線拡張部３４が起動され、この終始点入力判定領域・境界線拡張部３４の制御の下で以下の処理が行われる。図６はその処理手順と処理内容を示すフローチャートである。
【００５３】
すなわち、ステップＳ５０において、上記検出された指の位置座標が予め設定された一定時間以上連続して停止しているか否かと、当該検出された指の位置座標が終始点入力判定領域Ｅ0 に含まれているか否かが判定される。そして、上記検出された指の位置座標が一定時間（例えば２sec）以上連続して停止し、かつ終始点入力判定領域Ｅ0 に含まれていると判定されると、ユーザ１がジェスチャにより描いた図形の終点が終始点入力判定領域Ｅ0 内に到達していないと判断され、ステップＳ５１に移行して終始点入力判定領域を徐々に拡張させて上記停止している指の位置座標に近づける処理か、又は入力判定境界線を徐々に移動させて上記停止している指の位置座標に近づける処理が行われる。
【００５４】
例えば、終始点入力判定領域を拡張処理する場合には、図１２のＥ0 〜Ｅn に示すように、３３msec周期で一定サイズずつ直径を増加させる処理が行われる。このため、指が停止した状態がしばらく続くと、当該指の停止位置座標は終始点入力判定領域内に入り、これにより１つの図形の入力が終了したと判定することが可能となる。
【００５５】
また、入力判定境界線を拡張処理する場合には、入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 が図１３のＨ0 〜Ｈm ，Ｖ0 〜Ｖm に示すように、３３msec周期で一定量ずつ上記指の停止位置座標に近づけられる。この結果、上記指の軌跡を入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 により検出できる確率が高くなる。
【００５６】
なお、上記停止中の指の位置が再び動き始めた場合には、その直前における終始点入力判定領域のサイズＥn と、入力判定水平境界線Ｈm 及び入力判定垂直境界線Ｖm の位置が保持される。そして、また指の動きが一定時間以上停止した場合には、上記終始点入力判定領域のサイズが上記Ｅn からさらに拡張され、また入力判定水平境界線Ｈm 及び入力判定垂直境界線Ｖm の位置が当該Ｈm ，Ｖm から上記指の停止位置座標にさらに近づけられる。
【００５７】
（５）ジェスチャ入力処理
ステップＳ１９ではジェスチャ認識部３５が起動され、このジェスチャ認識部３５の制御の下で以下のようにジェスチャの入力判定処理と認識処理が行われる。図７はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップＳ６０において、指の停止位置座標が、初期設定された終始点入力判定領域Ｅ1 或いはステップＳ１８により拡張処理された終始点入力判定領域に入ったか否かが判定される。次にステップＳ６１において、指位置情報蓄積部２５に記憶されている指の軌跡が入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を２回通過したか否かが判定される。さらにステップＳ６２において、指位置情報蓄積部２５に記憶されている指の軌跡が入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を１回通過し、かつ指の停止位置が上記拡張処理された終始点入力判定領域に入ったか否かが判定される。
【００５８】
そして、上記ステップＳ６０，Ｓ６１，Ｓ６２のいずれかにおいて判定条件が満たされると、ステップＳ６３に移行して描画方向・形状認識部３５３によりジェスチャ認識処理が行われる。この認識処理は、回指位置情報蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の軌跡をもとに、ユーザが入力判定までにジェスチャにより描いた図形の方向と形状を認識することにより行われる。
【００５９】
例えば、図１４（ａ），（ｂ）に示すように指の軌跡Ｌが入力判定垂直境界線Ｖ0 をＣ１及びＣ２の２箇所で横切っている場合には、ステップＳ６１からステップＳ６３に移行して、このときの描画図形の方向と形状が認識される。同様に、図１５（ａ），（ｂ）に示すように指の軌跡Ｌが入力判定水平境界線Ｖ0 をＣ１及びＣ２の２箇所で横切っている場合にも、ステップＳ６１からステップＳ６３に移行して、このときの描画図形の方向と形状が認識される。
【００６０】
また、図１６に示すように指の軌跡Ｌが入力判定水平境界線Ｖ0 を１箇所しか横切っていないものの、当該指の停止位置座標が拡張処理後の終始点入力判定領域Ｅn 内に入っている場合には、ステップＳ６２からステップＳ６３に移行して、このときの描画図形の方向と形状が認識される。
【００６１】
上記認識された図形の方向及び形状はジェスチャコマンド変換テーブル部２２により入力コマンドに変換され、この変換された入力コマンドは表示画像制御ユニット４０に送られる。
【００６２】
また、上記ジェスチャ認識処理が終了すると、ステップＳ６４において終始点入力判定領域補正部３５２が起動され、この終始点入力判定領域補正部３５２の制御の下で、終始点入力判定領域の位置を補正する処理が行われる。この補正処理は、ユーザ１ができるだけ小さな描画範囲で連続的にジェスチャ入力を行えるようにするためのもので、例えば以下のように行われる。
【００６３】
すなわち、上記ジェスチャ認識処理においてステップＳ６１の判定条件を満たした場合には、例えば図１７（ａ），（ｂ）に示すように終始点入力判定領域Ｅ0 が指の停止位置座標を含む領域ＥM に移動される。これに対し、上記ジェスチャ認識処理においてステップＳ６０及びステップＳ６２の判定条件を満たした場合には、例えば図１８（ａ），（ｂ）のＥk に示すように、終始点入力判定領域ＥM の位置が初期設定された終始点入力判定領域Ｅ0 に近づくように補正される。ただし、このとき移動後の終始点入力判定領域Ｅk には指の停止位置座標が含まれるようにする。なお、指の停止位置座標が、前記ジェスチャ入力初期設定処理（ステップＳ１０）により初期設定された終始点入力判定領域Ｅ0 内に戻っている場合には、当該終始点入力判定領域Ｅ0の位置は変更しない。
このようにすることで、ユーザが描く図形の移動範囲をコンパクトな範囲内に抑制することが可能となる。
【００６４】
（６）表示画像の更新処理
ステップＳ２０では表示画像制御ユニット４０が起動され、この表示画像制御ユニット４０の制御の下で表示画像の更新処理が以下のように行われる。
すなわち、ジェスチャコマンド変換テーブル部２２から出力された入力コマンドに従い、表示中のＥＰＧ表示画像が更新される。例えば、図１９に示すようにＥＰＧ表示画像Ｇ0 が表示されている状態で、同図（ａ）に示すようにジェスチャにより描画方向が“上”でかつ形状が“円”からなる図形が入力された場合には、ＥＰＧ表示画像上のカーソル位置（網掛け表示）がＧ1 に示すように上方へ１ステップ分シフト移動する。同様に、同図（ｂ），（ｃ），（ｄ）に示すようにジェスチャによりそれぞれ“右”、“左”、“下”方向に“円”の図形が入力された場合には、ＥＰＧ表示画像上のカーソル位置（網掛け表示）がＧ4 ，Ｇ3 ，Ｇ2に示すようにそれぞれ“右”、“左”、“下”方向に１ステップ分シフト移動する。
【００６５】
また、図２０に示すようにＥＰＧ表示画像Ｇ0 が表示されている状態で、同図（ａ）に示すようにジェスチャにより描画方向が“上”でかつ形状が“線”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ5 に示すように“１日前”のものに更新される。同様に、ジェスチャにより描画方向が“下”でかつ形状が“線”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ6 に示すように“１日後”のものに更新される。
【００６６】
さらに、図２１に示すようにＥＰＧ表示画像Ｇ0 が表示されている状態で、同図（ａ）に示すようにジェスチャにより描画方向が“上”でかつ形状が“三角形”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ7 に示すように“１週間前”のものに更新される。同様に、ジェスチャにより描画方向が“下”でかつ形状が“三角形”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ8 に示すように“１週間後”のものに更新される。
【００６７】
以上詳述したようにこの実施形態では、カメラ４により撮像されたユーザの画像データを取り込み、この取り込まれた画像データから先ず指の初期位置を検出してこの初期位置を含む第１のサイズＥ0 の終始点入力判定領域を上記画像データ中に設定する。そして、上記画像データから検出される指の位置座標が終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの指の位置座標の軌跡を検出している過程で、終始点入力判定領域拡大縮小部３２の制御の下で、検出された指の位置座標が上記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 より大きい第２のサイズＥ1 に拡大し、存在しないと判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 に縮小するようにしている。
【００６８】
したがって、指の位置座標が終始点入力判定領域内に戻るとこの終始点入力判定領域のサイズが第２のサイズＥ1 に拡大される。つまり、第１のサイズＥ0 の境界線上に停止した指の位置は第２のサイズＥ1 の内部に存在することになる。このため、上記指の位置座標の終点がユーザの指の震えや揺れ等により多少位置ずれを起こしたとしても、終点の位置を終始点入力判定領域内に安定的に留めることが可能となり、これによりいわゆるチャタリングのような現象が発生しても、誤認識の発生を減らすことができる。
【００６９】
またこの実施形態では、上記指の位置座標が上記終始点入力判定領域外に存在するときに、入力判定境界線作成削除部３３の制御の下で、当該指の位置座標の軌跡の通過を検出するための入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 を画像データ中に設定する。そして、ジェスチャ入力を判定する際に、
(1) 上記指の位置座標の軌跡が、上記設定された入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 を通過せずに、上記指の位置座標が上記終始点入力判定領域内に戻ったか否かを判定する処理。
(2) 上記指の位置座標の軌跡が、上記入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を２回通過したか否かを判定する処理。
(3) 上記指の位置座標の軌跡が、上記入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を１回通過し、かつ指の位置座標が終始点入力判定領域内に戻ったか否かを判定する処理。
を行い、これらの判定処理のいずれかでその判定結果が「ＯＫ」となった場合に、当該指の位置座標の軌跡をジェスチャにより描かれた図形として認識するようにしている。
【００７０】
したがって、ユーザが円を描いたつもりでも、その指の位置座標の軌跡が終始点入力判定領域を通過しなかった場合や、指の位置座標が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このとき描かれた図形を認識対象のジェスチャとして認識することが可能となる。
【００７１】
さらにこの実施形態では、終始点入力判定領域位置補正部３５２の制御の下で、指の位置座標の軌跡が上記(2) の判定処理により定義される判定条件を満たした場合に、終始点入力判定領域の位置を上記指の位置座標の終点を含む位置に移動させる。また、上記指の位置座標の軌跡が上記(1) 又は(3) の判定処理により定義される判定条件を満たした場合には、上記終始点入力判定領域の位置を上記指の位置座標の初期位置に近い位置に戻すようにしている。
【００７２】
したがって、ユーザが１つの図形を描くごとに、終始点入力判定領域の位置が当該図形の終点を含む位置に移動する。このため、複数の図形を連続的に描く場合に次の図形をより確実に認識することが可能となる。また、複数の図形を連続的に描いている過程で、図形の終点位置が終始点入力判定領域の初期位置に戻った場合には、終始点入力判定領域の位置が上記初期位置に対し近い位置に戻るように修正される。このため、ユーザが描く図形の移動範囲をコンパクトな範囲に規制することが可能となる。
【００７３】
さらにこの実施形態では、終始点入力判定領域・境界線拡張部２４の制御の下で、指の位置座標が予め設定した時間（例えば２sec）以上連続して停止したか否かを判定する。そして、上記指の位置座標が上記設定時間以上停止し、かつその停止位置が上記終始点入力判定領域外のとき、上記終始点入力判定領域及び上記入力判定境界線を上記停止中の指の位置座標に徐々に近づけるようにしている。
【００７４】
したがって、指の位置座標の終点が終始点入力判定領域に届かずに一定時間以上停止した場合には、終始点入力判定領域のサイズが上記停止中の指の位置座標に近づくように徐々に拡張される。また、入力判定境界線の位置が上記停止中の指の位置座標に近づくように徐々に移動する。このため、ユーザが描いた図形の軌跡が終始点入力判定領域を通過しなかったり、或いは図形の終点が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このときの描画図形をジェスチャ入力として認識することが可能となる。
【００７５】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では、終始点入力判定領域外で指の位置座標が一定時間（例えば２sec）以上停止した場合に、終始点入力判定領域を徐々に上記指の位置座標の停止位置に近づけるようにした。しかし、終始点入力判定領域を近づける前に、指の位置座標の停止位置と終始点入力判定領域の中心位置との間の距離を計算し、この離間距離が予め定めたしきい値以内の場合に近づける処理を行い、離間距離がしきい値を超えている場合にはユーザがジェスチャにより描いた図形が誤っていると判断して、終始点入力判定領域を指の位置座標の停止位置に近づけないようにしてもよい。
【００７６】
また前記実施形態では、指の位置座標が終始点入力判定領域外へ出て再度終始点入力判定領域内に戻った場合に、終始点入力判定領域のサイズを大きなサイズに拡大するようにした。しかし、それに限らず、終始点入力判定領域内に戻った指の位置座標の位置に対し終始点入力判定領域の中心位置を一致又は近接させるように当該終始点入力判定領域を移動させるようにしてもよい。
【００７７】
さらに前記実施形態では、テレビジョン受信機２に表示されるＥＰＧ情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００７８】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００７９】
１…ユーザ、２…テレビジョン受信機、３…通信回線、４…カメラ、６…発光マーカ、２０…記憶ユニット、２１…画像信号蓄積部、２２…ジェスチャコマンド変換テーブル部、２３…表示画像データ蓄積部、２４…図形パターン記憶部、２５…指位置情報蓄積部、３０…ジェスチャ認識ユニット、３１…ジェスチャ入力初期設定部、３２…終始点入力判定領域拡大縮小部、３３…入力判定境界線作成削除部、３４…終始点入力判定領域・境界線拡張部、３５…ジェスチャ認識部、３５１…ジェスチャ入力判定部、３５２…終始点入力判定領域位置補正部、３５３…描画方向・形状認識部、４０…表示画像制御ユニット、４１…画像撮像部、４２…画像送信部、５０…リアルタイムイベント発行ユニット、６０…指位置検出ユニット。
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機や録画再生装置において、離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
カメラを接続可能な外部インタフェース（例えばＵＳＢ）を備えたネット対応テレビジョン受信機の登場に伴い、テレビジョン電話等のネットワークとカメラを用いたサービスが普及しつつある。また、カメラを用いた画像処理技術を用いてその場にいる人々の年齢性別を認識する技術を組み込んだデジタルサイネージの登場に伴い、その場の人々の年齢性別に合わせた広告を表示するサービスが普及しつつある。
【０００３】
ところで、これらのサービスを利用する際にユーザはメニューの選択操作等を行う必要があるが、その入力操作方式として利用者の動きを利用したジェスチャ入力方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにメニュー等のポインティングを行うものとなっている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０５３９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、従来提案されているジェスチャ認識処理技術は以下のような解決すべき課題があった。
すなわち、従来の技術では、ユーザが例えば図２２（ａ）に示す入力開始前の状態から図２２（ｂ）に示すようにカメラの撮像画面の中央部に指の位置を持っていくと、このときの指の初期位置Ｐsを基準として終始点入力判定領域Ｅが作成される。この状態で、ユーザが一筆書きで図形を描くと、図２２（ｃ）に示すように指の位置が終始点入力判定領域Ｅ外へ出た時点で入力判定フラグがＯＮとなり、その後図２２（ｄ）に示すように指の位置Ｐeが終始点入力判定領域Ｅ内に戻った時点で入力判定フラグがＯＦＦとなる。そして、上記入力判定フラグがＯＮになっている期間に得られた指の軌跡により表される図形が、ジェスチャとして認識される。
【０００６】
しかし、指の位置が終始点入力判定領域Ｅ内に戻った際に、ユーザは指を停止させたつもりでもその位置は微妙に変化する。このため、指の停止位置、つまり終点Ｐe が図２３（ａ），（ｂ）に示すように領域境界上にあると、この終点Ｐe 位置が領域境界線を何度も通過するため図２３（ｃ）に示すようにいわゆるチャタリングのような現象が起こり、その結果誤認識が発生することがある。
【０００７】
また、ユーザが一筆書き図形を描いてもこの図形がジェスチャとして認識されない場合がある。この問題が生じる例としては以下の２つがあげられる。
(1) ユーザは円を描いたつもりでも、図２４（ａ），（ｂ）に示すように指の軌跡が終始点入力判定領域Ｅを通過しない場合
(2) 同様に円を描いたつもりでも、図２４（ｃ）に示すように指の位置が終始点入力判定領域Ｅに届かずに手前で止まってしまった場合。
【０００８】
この発明は上記事情に着目してなされたもので、その第１の目的は、終点の位置ずれによる誤認識を低減して認識精度を高めたジェスチャ認識装置を提供することである。
また第２の目的は、ユーザによる図形の描画位置が移動しても図形を確実に認識できるようにしたジェスチャ認識装置を提供することである。
【０００９】
さらに第３の目的は、ユーザが描く図形の移動範囲を狭い範囲に抑制することが可能なジェスチャ認識装置を提供することである。
【課題を解決するための手段】
【００１０】
上記第１の目的を達成するためにこの発明の第１の観点は、ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置において、上記撮像装置から出力された画像データを取り込み、この取り込まれた画像データから先ず描画点の初期位置を検出してこの初期位置を含む第１のサイズの終始点入力判定領域を上記画像データ中に設定する。そして、上記画像データから検出される描画点が上記終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの描画点の軌跡を検出している最中に、当該描画点が上記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズより大きい第２のサイズに拡大し、存在しないと判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズに縮小するようにしたものである。
【００１１】
したがって、この発明の第１の観点によれば、描画点が終始点入力判定領域内に戻るとこの終始点入力判定領域のサイズが第２のサイズに拡大される。つまり、第１のサイズの境界線上に停止した指の位置は第２のサイズの内部に存在することになる。このため、上記描画点の終点がユーザの指の震えや揺れ等により多少位置ずれを起こしたとしても終点の位置を終始点入力判定領域内に安定的に留めることが可能となり、これによりいわゆるチャタリングのような現象が発生しても、誤認識の発生を減らすことができる。
【００１２】
上記第２の目的を達成するためにこの発明の第２の観点は、少なくとも上記描画点が上記終始点入力判定領域外に存在するときに、上記描画点の軌跡の通過を検出するための入力判定境界線を上記画像データ中に設定する手段をさらに備える。そして、ジェスチャを認識する際に、上記描画点の軌跡が上記設定された入力判定境界線を通過せずかつ上記描画点が上記終始点入力判定領域内に戻ったか否かを判定する第１の判定処理と、上記描画点の軌跡が上記入力判定境界線を複数回通過したか否かを判定する第２の判定処理と、上記描画点の軌跡が上記入力判定境界線を１回通過しかつ描画点が上記終始点入力判定領域内に戻ったか否かを判定する第３の判定処理のいずれかでその判定結果が「ＯＫ」となった場合に、当該描画点の軌跡をジェスチャにより描かれた図形として認識するようにしたものである。
【００１３】
したがって、この発明の第２の観点によれば、描画点の終点が終始点入力判定領域内に戻った場合に止まらず、ユーザが円を描いたつもりでも描画点の軌跡が終始点入力判定領域を通過しなかった場合でも、また描画点の位置が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このとき描かれた図形を認識対象のジェスチャとして認識することが可能となる。
【００１４】
上記第３の目的を達成するためにこの発明の第３の観点は、上記終始点入力判定領域の位置を補正する補正手段をさらに備える。そして、上記補正手段により、上記描画点の軌跡が上記第２の判定処理により定義される判定条件を満たした場合に、上記終始点入力判定領域の位置を上記描画点の終点を含む位置に移動させる。また、上記描画点の軌跡が上記第１又は第３の判定処理により定義される判定条件を満たした場合には、上記終始点入力判定領域の位置を上記描画点の初期位置に近づくように移動させるようにしたものである。
【００１５】
このようにすると、ユーザが１つの図形を描くごとに、終始点入力判定領域の位置が当該図形の終点を含む位置に移動する。このため、複数の図形を連続的に描く場合に次の図形をより確実に認識することが可能となる。また、複数の図形を連続的に描いている過程で、図形の終点位置が終始点入力判定領域の初期位置に戻った場合には、終始点入力判定領域の位置が上記初期位置に対し近い位置に戻るように修正される。このため、ユーザが描く図形の移動範囲を狭い範囲に規制することが可能となる。
【００１６】
また、上記第２の目的を達成するためにこの発明の第４の観点は、上記終始点入力判定領域及び上記入力判定境界線を拡張する拡張手段をさらに具備する。そして、拡張手段により、上記描画点が予め設定した時間以上連続して停止したか否かを判定し、この判定処理により上記描画点の停止が検出されかつその停止位置が上記終始点入力判定領域外のとき、上記終始点入力判定領域及び上記入力判定境界線の少なくとも一方を上記停止中の描画点に近づけるようにしたものである。
【００１７】
このようにすると、描画点の終点位置が終始点入力判定領域外の位置で一定時間以上停止した場合に、終始点入力判定領域が上記停止中の描画点に近づくように拡張されるか、或いは入力判定境界線の位置が上記停止中の描画点に近づくように移動される。このため、ユーザが描いた図形の軌跡が終始点入力判定領域を通過しなかったり、或いは図形の終点が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このときの描画図形をジェスチャとして認識することが可能となる。
【発明の効果】
【００１８】
すなわちこの発明の第１の観点によれば、終点の位置ずれによる誤認識を低減して認識精度を高めたジェスチャ認識装置を提供することができる。
またこの発明の第２の観点によれば、ユーザによる図形の描画位置が移動しても図形を確実に認識できるようにしたジェスチャ認識装置を提供することができる。
さらにこの発明の第３の観点によれば、ユーザが描く図形の移動範囲を狭い範囲に抑制することが可能なジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図２】図１にジェスチャ認識装置として示したテレビジョン受信機の機能構成を示すブロック図。
【図３】図２に示したテレビジョン受信機による全体の処理手順と処理内容を示すフローチャート。
【図４】図３に示した全体の処理手順のうち終始点入力判定領域拡大縮小処理の処理手順と処理内容を示すフローチャート。
【図５】図３に示した全体の処理手順のうち入力判定境界線作成削除処理の処理手順と処理内容を示すフローチャート。
【図６】図３に示した全体の処理手順のうち終始点入力判定領域・境界線拡張処理の処理手順と処理内容を示すフローチャート。
【図７】図３に示した全体の処理手順のうちジェスチャ入力処理の処理手順と処理内容を示すフローチャート。
【図８】図４に示した終始点入力判定領域拡大縮小処理の具体例を説明するための図。
【図９】図５に示した入力判定境界線作成削除処理の説明に用いる入力判定水平境界線作成領域の一例を示す図。
【図１０】図５に示した入力判定境界線作成削除処理の説明に用いる入力判定垂直境界線作成領域の一例を示す図。
【図１１】図５に示した入力判定境界線作成削除処理の説明に用いる入力判定境界線の一例を示す図。
【図１２】図６に示した終始点入力判定領域・境界線拡張処理のうち、終始点入力判定領域の拡張処理の一例を示す図。
【図１３】図６に示した終始点入力判定領域・境界線拡張処理のうち、入力判定境界線の接近処理の一例を示す図。
【図１４】図７に示したジェスチャ入力処理のうち、入力判定垂直境界線を利用した入力判定処理の一例を示す図。
【図１５】図７に示したジェスチャ入力処理のうち、入力判定水平境界線を利用した入力判定処理の一例を示す図。
【図１６】図７に示したジェスチャ入力処理のうち、入力判定境界線と終始点入力判定領域を併用した入力判定処理の一例を示す図。
【図１７】図７に示したジェスチャ入力処理のうち、終始点入力判定領域の位置補正処理の一例を示す図。
【図１８】図７に示したジェスチャ入力処理のうち、終始点入力判定領域の位置補正処理の他の例を示す図。
【図１９】この発明の用途の第１の例を示す図。
【図２０】この発明の用途の第２の例を示す図。
【図２１】この発明の用途の第３の例を示す図。
【図２２】この発明に係る基本的なジェスチァ認識手順を示す図。
【図２３】従来の認識手段の課題を説明するための図。
【図２４】従来の認識手段の課題を説明するための図。
【発明を実施するための形態】
【００２０】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［構成］
図１は、この発明の一実施形態に係わるジェスチャ認識を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。
【００２１】
テレビジョン受信機２は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、このテレビジョン受信機２の構成を上記カメラ４の構成と共に示すブロック図である。
【００２２】
カメラ４は、撮像処理部４１と、画像送信部４２を備えている。撮像処理部４１は、後述するリアルタイムイベント発行ユニット５０からトリガ信号が発生されるごとにユーザ１のジェスチャを撮像する処理を行う。画像送信部４２は、上記撮像処理により得られた画像データを後述する記憶ユニット２０内の画像情報蓄積部２１に記憶させる処理を行う。
【００２３】
テレビジョン受信機２は、ジェスチャ認識処理を行うために必要な機能として、記憶ユニット２０と、ジェスチャ認識ユニット３０と、表示画像制御ユニット４０と、リアルタイムイベント発行ユニット５０と、指位置検出ユニット６０を備えている。
【００２４】
記憶ユニット２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶機能として、画像情報蓄積部２１と、ジェスチャコマンド変換テーブル部２２と、表示画像データ蓄積部２３と、図形パターン記憶部２４と、指位置情報蓄積部２５を有している。
【００２５】
画像情報蓄積部２１は、上記カメラ４の画像送信部４２から出力された画像データを記憶するために用いられる。ジェスチャコマンド変換テーブル部２２には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドを意味する図形パターンの種類とその終始点を表す情報が予め記憶されている。表示画像データ蓄積部２３には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部２４には、認識対象となる複数の図形形状の基本パターンが記憶される。指位置情報蓄積部２５は、後述する指位置検出ユニット６０により検出されたユーザ１の指の軌跡を表す位置座標集合を蓄積するために用いられる。
【００２６】
リアルタイムイベント発行ユニット５０は、例えばタイマを使用して、上記カメラ４等を予め決められた周期で動作させるためのトリガ信号を生成する。
指位置検出ユニット６０は、上記リアルタイムイベント発行ユニット５０により決められたトリガ信号の発行周期で上記画像情報蓄積部２１に新たな画像データが記憶されるごとに、この画像データから発光マーカ６の輝点画像を指の位置を表す情報として検出し、画像データ中における上記輝点画像の位置座標を記憶ユニット２０内の指位置情報蓄積部２５に記憶させる処理を行う。
【００２７】
ジェスチャ認識ユニット３０は、この発明の一実施形態を実施するために必要な処理機能として、ジェスチャ入力初期設定部３１と、終始点入力判定領域拡大縮小部３２と、入力判定境界線作成削除部３３と、終始点入力判定領域・境界線拡張部３４と、ジェスチャ認識部３５を備えている。
【００２８】
ジェスチャ入力初期設定部３１は、待機状態においてユーザ１がジェスチャによる入力操作開始動作を行った場合に起動される。そして、上記指位置検出ユニット６０により検出されたユーザ１の指の位置を初期位置として認識して、この初期位置を中心とする終始点入力判定領域を画像データ中に設定する処理を行う。終始点入力判定領域とは、ジェスチャにより描かれる一筆書き図形の終始点を検出するためのもので、この終始点が検出された場合に１つの図形の入力が終了したと判定する。
【００２９】
終始点入力判定領域拡大縮小部３２は、上記ジェスチャ入力初期設定部３１により終始点入力判定領域が設定された状態で、上記指位置検出ユニット６０により指の位置座標が検出されるごとに、この検出された指の位置座標が上記終始点入力判定領域内に存在するか否かを判定する。そして、上記指の位置座標が終始点入力判定領域の外部に存在するときには終始点入力判定領域のサイズを上記ジェスチャ入力初期設定部３１により初期設定された第１のサイズに維持し、上記指の位置座標が終始点入力判定領域の内部に入った場合には終始点入力判定領域のサイズを上記第１のサイズより大きい第２のサイズに拡大する処理を行う。
【００３０】
入力判定境界線作成削除部３３は、ユーザ１がジェスチャにより一筆書きの図形を描いている期間に、画像データ中における指の検出位置に応じて入力判定境界線を画像データ中に設定する処理を行う。この入力判定境界線は、水平境界線と垂直境界線とからなり、画像データ中において指の描画軌跡が通過したか否かを判定するもので、上記終始点入力判定領域と協同して上記ジェスチャによる１つの図形の入力操作が終了したか否かを判定するために用いられる。
【００３１】
終始点入力判定領域・境界線拡張部３４は、上記指位置検出ユニット６０により検出された指の位置座標が予め設定した一定時間以上連続して停止しているか否かと、当該検出された指の位置座標が終始点入力判定領域に含まれているか否かを判定する。そして、上記検出された指の位置座標が一定時間以上連続して停止し、かつ終始点入力判定領域に含まれていると判定された場合に、ユーザ１がジェスチャで描いた図形の終点が終始点入力判定領域内に到達していないと判断し、終始点入力判定領域を徐々に拡張させて上記停止している指の位置座標に近づける処理か、又は入力判定境界線を徐々に移動させて上記停止している指の位置座標に近づける処理を行う。
【００３２】
ジェスチャ認識部３５は、上記指位置情報蓄積部２５に記憶された指の軌跡を表す情報もとにユーザ１がジェスチャにより描いた図形を認識するためのもので、その機能としてジェスチャ入力判定部３５１と、終始点入力判定領域位置補正部３５２と、描画方向・形状認識部３５３を有している。
【００３３】
ジェスチャ入力判定部３５１は、上記終始点入力判定領域及び入力判定境界線を用いて、上記指位置情報蓄積部２５に記憶された指の軌跡を表す位置座標集合から利用者が１つの図形の入力操作を終了したか否かを判定する処理を行う。
【００３４】
終始点入力判定領域位置補正部３５２は、ユーザ１ができるだけ小さな描画範囲で連続的にジェスチャ入力を行えるようにするために、上記ジェスチャ入力判定部３５１によるジェスチャの入力判定結果に応じて終始点入力判定領域の位置を適応的に変更する処理を行う。
【００３５】
描画方向・形状認識部３５３は、上記ジェスチャ入力判定部３５１により１つの図形の入力操作が終了したと判定された場合に、上記指位置情報蓄積部２５から指の位置座標集合を読み出してこの位置座標集合から上記図形の形状と方向を認識する。そして、この図形の形状と方向を表すデータをジェスチャコマンド変換テーブル部２２に渡し、ジェスチャの内容を表すコマンドに変換させる処理を行う。
【００３６】
表示画像制御ユニット４０は、上記ジェスチャコマンド変換テーブル部２２により変換されたジェスチャの内容を表すコマンドをもとに、表示画像データを更新する。そして、この更新された表示画像データを図示しないディスプレイに出力して表示させる処理を行う。
【００３７】
なお、上記ジェスチャ認識ユニット３０、表示画像制御ユニット４０、リアルタイムイベント発行ユニット５０及び指位置検出ユニット６０の各処理機能は、記憶ユニット２０内の図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００３８】
［動作］
次に、以上のように構成されたテレビジョン受信機２による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
【００３９】
（１）ジェスチャ入力初期設定処理
テレビジョン受信機２は、ジェスチャ入力初期設定部３１の制御の下で、先ずステップＳ１０によりユーザがジェスチャ入力の開始を要求する操作を行ったか否かを監視する。ジェスチャ入力の開始要求操作は、リモートコントローラ等のテレビジョン受信機２とインタラクション可能な入力デバイスにより行う場合と、ユーザのジェスチャにより行う場合とがあるが、ここでは後者を使用する場合について述べる。
【００４０】
ユーザがカメラ４に向かって例えば手を振ったとする。そうするとジェスチャ入力初期設定部３１は、カメラ４により得られた画像データから手の領域をカラーマッチング処理により抽出し、この抽出された手の領域の移動軌跡が手を左右に複数回繰り返し振っているパターンに該当する場合に、このときのジェスチャをジェスチャ入力の開始要求と認識する。
【００４１】
上記ジェスチャ入力の開始要求を認識すると、ジェスチャ入力初期設定部３１は続いて上記開始要求操作時の指の位置がジェスチャ入力を開始可能な位置（図２２（ａ）の×印に示す画面中央位置の周辺領域）にあるか否か判定する。この判定の結果、指の位置がジェスチャ入力を開始可能な位置に存在しない場合には、指の位置の変更を促すガイダンスメッセージをテレビジョン受信機２のディスプレイに表示させる。そして、ユーザの指の位置がジェスチャ入力を開始可能な位置に移動すると、図２２（ｂ）に示すように上記画面中央位置を中心としかつ直径が第１のサイズに設定された終始点入力判定領域Ｅを生成する。
【００４２】
（２）終始点入力判定領域の拡大縮小処理
上記終始点入力判定領域の設定が終了しジェスチャ入力モードになると、ステップＳ１１によりリアルタイムイベント発行ユニット５０が起動し、タイマの計時時間が予め設定された時間、例えば３３msecになるごとにトリガ信号が発生される。すなわち、ジェスチァ入力モードになると３３msec周期でトリガ信号が発生される。
【００４３】
上記トリガ信号が発生されると、カメラ４によりユーザの撮像処理が行われ（ステップＳ１２）、この撮像処理により得られた画像データが画像情報蓄積部２１に記憶される（ステップＳ１３）。そして、上記画像情報蓄積部２１に新たな画像データが記憶されると、ステップＳ１４により指位置検出ユニット６０が起動し、この指位置検出ユニット６０により上記画像データ中から発光マーカ６の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の位置座標が、ユーザの指の位置を表す情報として指位置情報蓄積部２５に記憶される（ステップＳ１５）。以上の処理は上記３３msec周期で繰り返し行われ、この結果上記指位置情報蓄積部２５には指の位置座標の集合がユーザが描いた図形を示すデータとして記憶される。
【００４４】
さて、上記指位置情報蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ１６により終始点入力判定領域拡大縮小部３２が起動され、この終始点入力判定領域拡大縮小部３２の制御の下で以下のような処理が行われる。図４はその処理手順と処理内容を示すフローチャートである。
【００４５】
すなわち、先ずステップＳ３０により上記検出された指の位置座標が上記終始点入力判定領域内に存在するか否かが判定される。この判定の結果、例えば指の位置座標が図８（ａ）のＰs に示すように前記初期設定された終始点入力判定領域Ｅ0 内に存在し、かつ当該終始点入力判定領域が拡大されていない場合には、ステップＳ３１において終始点入力判定領域のサイズが上記第１のサイズＥ0より大きい第２のサイズＥ1に拡大される。
【００４６】
続いて、上記指の位置座標が図８（ｂ）に示すように終始点入力判定領域Ｅ1 の外部に出たとする。そうすると、この状態はステップＳ３２により検出され、ステップＳ３３において終始点入力判定領域のサイズが上記ジェスチャ入力初期設定部３１により初期設定された第１のサイズＥ0 に縮小される。
【００４７】
さらに、図形の軌跡Ｌが描かれたのち、指の位置座標が例えば図８（ｃ）に示すように終始点入力判定領域Ｅ0内に戻ると、この状態はステップＳ３０により検出されてステップＳ３１に移行する。そして、このステップＳ３１により終始点入力判定領域のサイズが上記第２のサイズＥ1に拡大される。
【００４８】
したがって、ユーザの指の位置が終始点入力判定領域Ｅ0内に戻った後に、震えなどにより当該領域Ｅ0の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終始点入力判定領域Ｅ1内に安定的に留めることが可能となる。このため、終始点入力判定領域の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。
【００４９】
（３）入力判定境界線の作成・削除処理
前記指位置情報蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ１７では入力判定境界線の作成・削除部３３が起動され、この入力判定境界線の作成・削除部３３の制御の下で以下のような処理が行われる。図５はその処理手順と処理内容を示すフローチャートである。
【００５０】
すなわち、先ずステップＳ４０において、上記検出された指の位置座標が水平境界線作成領域内に存在するか否かが判定される。この判定の結果、指の位置座標が例えば図９に示す水平境界線作成領域Ｈ1 ，Ｈ2 内のいずれかに存在する場合には、ステップＳ４１により画像データの中心点を通る入力判定水平境界線Ｈ0 が生成される。次にステップＳ４２において、上記検出された指の位置座標が垂直境界線作成領域内に存在するか否かが判定される。そして、この判定の結果、指の位置座標が例えば図１０に示すように垂直境界線作成領域Ｖ1 ，Ｖ2 内のいずれかに存在すると、ステップＳ４３において画像データの中心点を通る入力判定垂直境界線Ｖ0 が生成される。
【００５１】
図１１は、上記入力判定水平境界線Ｈ0 と入力判定垂直境界線Ｖ0 の両方が生成された場合の例を示している。これらの入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 は、後述するジェスチャ入力処理において指の軌跡の通過を判定するために用いられる。
なお、上記生成された入力判定水平境界線Ｈ0 及び入力判定垂直線Ｖ0 は、上記指の位置座標が境界線作成領域外に出ると、つまり終始点入力判定領域Ｅ0 内に入ると、消去される。
【００５２】
（４）終始点入力判定領域の拡張及び入力判定境界線の移動処理
前記指位置情報蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ１８では終始点入力判定領域・境界線拡張部３４が起動され、この終始点入力判定領域・境界線拡張部３４の制御の下で以下の処理が行われる。図６はその処理手順と処理内容を示すフローチャートである。
【００５３】
すなわち、ステップＳ５０において、上記検出された指の位置座標が予め設定された一定時間以上連続して停止しているか否かと、当該検出された指の位置座標が終始点入力判定領域Ｅ0 に含まれているか否かが判定される。そして、上記検出された指の位置座標が一定時間（例えば２sec）以上連続して停止し、かつ終始点入力判定領域Ｅ0 に含まれていると判定されると、ユーザ１がジェスチャにより描いた図形の終点が終始点入力判定領域Ｅ0 内に到達していないと判断され、ステップＳ５１に移行して終始点入力判定領域を徐々に拡張させて上記停止している指の位置座標に近づける処理か、又は入力判定境界線を徐々に移動させて上記停止している指の位置座標に近づける処理が行われる。
【００５４】
例えば、終始点入力判定領域を拡張処理する場合には、図１２のＥ0 〜Ｅn に示すように、３３msec周期で一定サイズずつ直径を増加させる処理が行われる。このため、指が停止した状態がしばらく続くと、当該指の停止位置座標は終始点入力判定領域内に入り、これにより１つの図形の入力が終了したと判定することが可能となる。
【００５５】
また、入力判定境界線を拡張処理する場合には、入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 が図１３のＨ0 〜Ｈm ，Ｖ0 〜Ｖm に示すように、３３msec周期で一定量ずつ上記指の停止位置座標に近づけられる。この結果、上記指の軌跡を入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 により検出できる確率が高くなる。
【００５６】
なお、上記停止中の指の位置が再び動き始めた場合には、その直前における終始点入力判定領域のサイズＥn と、入力判定水平境界線Ｈm 及び入力判定垂直境界線Ｖm の位置が保持される。そして、また指の動きが一定時間以上停止した場合には、上記終始点入力判定領域のサイズが上記Ｅn からさらに拡張され、また入力判定水平境界線Ｈm 及び入力判定垂直境界線Ｖm の位置が当該Ｈm ，Ｖm から上記指の停止位置座標にさらに近づけられる。
【００５７】
（５）ジェスチャ入力処理
ステップＳ１９ではジェスチャ認識部３５が起動され、このジェスチャ認識部３５の制御の下で以下のようにジェスチャの入力判定処理と認識処理が行われる。図７はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップＳ６０において、指の停止位置座標が、初期設定された終始点入力判定領域Ｅ1 或いはステップＳ１８により拡張処理された終始点入力判定領域に入ったか否かが判定される。次にステップＳ６１において、指位置情報蓄積部２５に記憶されている指の軌跡が入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を２回通過したか否かが判定される。さらにステップＳ６２において、指位置情報蓄積部２５に記憶されている指の軌跡が入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を１回通過し、かつ指の停止位置が上記拡張処理された終始点入力判定領域に入ったか否かが判定される。
【００５８】
そして、上記ステップＳ６０，Ｓ６１，Ｓ６２のいずれかにおいて判定条件が満たされると、ステップＳ６３に移行して描画方向・形状認識部３５３によりジェスチャ認識処理が行われる。この認識処理は、回指位置情報蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の軌跡をもとに、ユーザが入力判定までにジェスチャにより描いた図形の方向と形状を認識することにより行われる。
【００５９】
例えば、図１４（ａ），（ｂ）に示すように指の軌跡Ｌが入力判定垂直境界線Ｖ0 をＣ１及びＣ２の２箇所で横切っている場合には、ステップＳ６１からステップＳ６３に移行して、このときの描画図形の方向と形状が認識される。同様に、図１５（ａ），（ｂ）に示すように指の軌跡Ｌが入力判定水平境界線Ｖ0 をＣ１及びＣ２の２箇所で横切っている場合にも、ステップＳ６１からステップＳ６３に移行して、このときの描画図形の方向と形状が認識される。
【００６０】
また、図１６に示すように指の軌跡Ｌが入力判定水平境界線Ｖ0 を１箇所しか横切っていないものの、当該指の停止位置座標が拡張処理後の終始点入力判定領域Ｅn 内に入っている場合には、ステップＳ６２からステップＳ６３に移行して、このときの描画図形の方向と形状が認識される。
【００６１】
上記認識された図形の方向及び形状はジェスチャコマンド変換テーブル部２２により入力コマンドに変換され、この変換された入力コマンドは表示画像制御ユニット４０に送られる。
【００６２】
また、上記ジェスチャ認識処理が終了すると、ステップＳ６４において終始点入力判定領域補正部３５２が起動され、この終始点入力判定領域補正部３５２の制御の下で、終始点入力判定領域の位置を補正する処理が行われる。この補正処理は、ユーザ１ができるだけ小さな描画範囲で連続的にジェスチャ入力を行えるようにするためのもので、例えば以下のように行われる。
【００６３】
すなわち、上記ジェスチャ認識処理においてステップＳ６１の判定条件を満たした場合には、例えば図１７（ａ），（ｂ）に示すように終始点入力判定領域Ｅ0 が指の停止位置座標を含む領域ＥM に移動される。これに対し、上記ジェスチャ認識処理においてステップＳ６０及びステップＳ６２の判定条件を満たした場合には、例えば図１８（ａ），（ｂ）のＥk に示すように、終始点入力判定領域ＥM の位置が初期設定された終始点入力判定領域Ｅ0 に近づくように補正される。ただし、このとき移動後の終始点入力判定領域Ｅk には指の停止位置座標が含まれるようにする。なお、指の停止位置座標が、前記ジェスチャ入力初期設定処理（ステップＳ１０）により初期設定された終始点入力判定領域Ｅ0 内に戻っている場合には、当該終始点入力判定領域Ｅ0の位置は変更しない。
このようにすることで、ユーザが描く図形の移動範囲をコンパクトな範囲内に抑制することが可能となる。
【００６４】
（６）表示画像の更新処理
ステップＳ２０では表示画像制御ユニット４０が起動され、この表示画像制御ユニット４０の制御の下で表示画像の更新処理が以下のように行われる。
すなわち、ジェスチャコマンド変換テーブル部２２から出力された入力コマンドに従い、表示中のＥＰＧ表示画像が更新される。例えば、図１９に示すようにＥＰＧ表示画像Ｇ0 が表示されている状態で、同図（ａ）に示すようにジェスチャにより描画方向が“上”でかつ形状が“円”からなる図形が入力された場合には、ＥＰＧ表示画像上のカーソル位置（網掛け表示）がＧ1 に示すように上方へ１ステップ分シフト移動する。同様に、同図（ｂ），（ｃ），（ｄ）に示すようにジェスチャによりそれぞれ“右”、“左”、“下”方向に“円”の図形が入力された場合には、ＥＰＧ表示画像上のカーソル位置（網掛け表示）がＧ4 ，Ｇ3 ，Ｇ2に示すようにそれぞれ“右”、“左”、“下”方向に１ステップ分シフト移動する。
【００６５】
また、図２０に示すようにＥＰＧ表示画像Ｇ0 が表示されている状態で、同図（ａ）に示すようにジェスチャにより描画方向が“上”でかつ形状が“線”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ5 に示すように“１日前”のものに更新される。同様に、ジェスチャにより描画方向が“下”でかつ形状が“線”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ6 に示すように“１日後”のものに更新される。
【００６６】
さらに、図２１に示すようにＥＰＧ表示画像Ｇ0 が表示されている状態で、同図（ａ）に示すようにジェスチャにより描画方向が“上”でかつ形状が“三角形”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ7 に示すように“１週間前”のものに更新される。同様に、ジェスチャにより描画方向が“下”でかつ形状が“三角形”からなる図形が入力された場合には、ＥＰＧ表示画像がＧ8 に示すように“１週間後”のものに更新される。
【００６７】
以上詳述したようにこの実施形態では、カメラ４により撮像されたユーザの画像データを取り込み、この取り込まれた画像データから先ず指の初期位置を検出してこの初期位置を含む第１のサイズＥ0 の終始点入力判定領域を上記画像データ中に設定する。そして、上記画像データから検出される指の位置座標が終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの指の位置座標の軌跡を検出している過程で、終始点入力判定領域拡大縮小部３２の制御の下で、検出された指の位置座標が上記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 より大きい第２のサイズＥ1 に拡大し、存在しないと判定されているときには上記終始点入力判定領域のサイズを上記第１のサイズＥ0 に縮小するようにしている。
【００６８】
したがって、指の位置座標が終始点入力判定領域内に戻るとこの終始点入力判定領域のサイズが第２のサイズＥ1 に拡大される。つまり、第１のサイズＥ0 の境界線上に停止した指の位置は第２のサイズＥ1 の内部に存在することになる。このため、上記指の位置座標の終点がユーザの指の震えや揺れ等により多少位置ずれを起こしたとしても、終点の位置を終始点入力判定領域内に安定的に留めることが可能となり、これによりいわゆるチャタリングのような現象が発生しても、誤認識の発生を減らすことができる。
【００６９】
またこの実施形態では、上記指の位置座標が上記終始点入力判定領域外に存在するときに、入力判定境界線作成削除部３３の制御の下で、当該指の位置座標の軌跡の通過を検出するための入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 を画像データ中に設定する。そして、ジェスチャ入力を判定する際に、
(1) 上記指の位置座標の軌跡が、上記設定された入力判定水平境界線Ｈ0 及び入力判定垂直境界線Ｖ0 を通過せずに、上記指の位置座標が上記終始点入力判定領域内に戻ったか否かを判定する処理。
(2) 上記指の位置座標の軌跡が、上記入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を２回通過したか否かを判定する処理。
(3) 上記指の位置座標の軌跡が、上記入力判定水平境界線Ｈ0 又は入力判定垂直境界線Ｖ0 を１回通過し、かつ指の位置座標が終始点入力判定領域内に戻ったか否かを判定する処理。
を行い、これらの判定処理のいずれかでその判定結果が「ＯＫ」となった場合に、当該指の位置座標の軌跡をジェスチャにより描かれた図形として認識するようにしている。
【００７０】
したがって、ユーザが円を描いたつもりでも、その指の位置座標の軌跡が終始点入力判定領域を通過しなかった場合や、指の位置座標が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このとき描かれた図形を認識対象のジェスチャとして認識することが可能となる。
【００７１】
さらにこの実施形態では、終始点入力判定領域位置補正部３５２の制御の下で、指の位置座標の軌跡が上記(2) の判定処理により定義される判定条件を満たした場合に、終始点入力判定領域の位置を上記指の位置座標の終点を含む位置に移動させる。また、上記指の位置座標の軌跡が上記(1) 又は(3) の判定処理により定義される判定条件を満たした場合には、上記終始点入力判定領域の位置を上記指の位置座標の初期位置に近い位置に戻すようにしている。
【００７２】
したがって、ユーザが１つの図形を描くごとに、終始点入力判定領域の位置が当該図形の終点を含む位置に移動する。このため、複数の図形を連続的に描く場合に次の図形をより確実に認識することが可能となる。また、複数の図形を連続的に描いている過程で、図形の終点位置が終始点入力判定領域の初期位置に戻った場合には、終始点入力判定領域の位置が上記初期位置に対し近い位置に戻るように修正される。このため、ユーザが描く図形の移動範囲をコンパクトな範囲に規制することが可能となる。
【００７３】
さらにこの実施形態では、終始点入力判定領域・境界線拡張部２４の制御の下で、指の位置座標が予め設定した時間（例えば２sec）以上連続して停止したか否かを判定する。そして、上記指の位置座標が上記設定時間以上停止し、かつその停止位置が上記終始点入力判定領域外のとき、上記終始点入力判定領域及び上記入力判定境界線を上記停止中の指の位置座標に徐々に近づけるようにしている。
【００７４】
したがって、指の位置座標の終点が終始点入力判定領域に届かずに一定時間以上停止した場合には、終始点入力判定領域のサイズが上記停止中の指の位置座標に近づくように徐々に拡張される。また、入力判定境界線の位置が上記停止中の指の位置座標に近づくように徐々に移動する。このため、ユーザが描いた図形の軌跡が終始点入力判定領域を通過しなかったり、或いは図形の終点が終始点入力判定領域に届かずに手前で止まってしまった場合でも、このときの描画図形をジェスチャ入力として認識することが可能となる。
【００７５】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では、終始点入力判定領域外で指の位置座標が一定時間（例えば２sec）以上停止した場合に、終始点入力判定領域を徐々に上記指の位置座標の停止位置に近づけるようにした。しかし、終始点入力判定領域を近づける前に、指の位置座標の停止位置と終始点入力判定領域の中心位置との間の距離を計算し、この離間距離が予め定めたしきい値以内の場合に近づける処理を行い、離間距離がしきい値を超えている場合にはユーザがジェスチャにより描いた図形が誤っていると判断して、終始点入力判定領域を指の位置座標の停止位置に近づけないようにしてもよい。
【００７６】
また前記実施形態では、指の位置座標が終始点入力判定領域外へ出て再度終始点入力判定領域内に戻った場合に、終始点入力判定領域のサイズを大きなサイズに拡大するようにした。しかし、それに限らず、終始点入力判定領域内に戻った指の位置座標の位置に対し終始点入力判定領域の中心位置を一致又は近接させるように当該終始点入力判定領域を移動させるようにしてもよい。
【００７７】
さらに前記実施形態では、テレビジョン受信機２に表示されるＥＰＧ情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００７８】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００７９】
１…ユーザ、２…テレビジョン受信機、３…通信回線、４…カメラ、６…発光マーカ、２０…記憶ユニット、２１…画像信号蓄積部、２２…ジェスチャコマンド変換テーブル部、２３…表示画像データ蓄積部、２４…図形パターン記憶部、２５…指位置情報蓄積部、３０…ジェスチャ認識ユニット、３１…ジェスチャ入力初期設定部、３２…終始点入力判定領域拡大縮小部、３３…入力判定境界線作成削除部、３４…終始点入力判定領域・境界線拡張部、３５…ジェスチャ認識部、３５１…ジェスチャ入力判定部、３５２…終始点入力判定領域位置補正部、３５３…描画方向・形状認識部、４０…表示画像制御ユニット、４１…画像撮像部、４２…画像送信部、５０…リアルタイムイベント発行ユニット、６０…指位置検出ユニット。
【特許請求の範囲】
【請求項１】
ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
前記取り込まれた画像データから描画点の初期位置を検出し、この検出された描画点の初期位置を含む第１のサイズの終始点入力判定領域を前記画像データ中に設定する手段と、
前記終始点入力判定領域が設定された状態で、前記画像データから検出される描画点が前記終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの描画点の軌跡を検出し、この検出された軌跡をジェスチャにより描かれた図形として認識するジェスチャ認識手段と、
前記描画点の軌跡の検出期間中に、当該描画点が前記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには前記終始点入力判定領域のサイズを前記第１のサイズより大きい第２のサイズに拡大し、存在しないと判定されているときには前記終始点入力判定領域のサイズを前記第１のサイズに縮小する拡大縮小制御手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
少なくとも前記描画点が前記終始点入力判定領域外に存在するときに、前記描画点の軌跡の通過を検出するための入力判定境界線を前記画像データ中に設定する手段を、さらに具備し、
前記ジェスチャ認識手段は、
前記描画点の軌跡が前記設定された入力判定境界線を通過せずかつ前記描画点が前記終始点入力判定領域内に戻ったか否かを判定する第１の判定手段と、
前記描画点の軌跡が前記入力判定境界線を複数回通過したか否かを判定する第２の判定手段と、
前記描画点の軌跡が前記入力判定境界線を１回通過しかつ描画点が前記終始点入力判定領域内に戻ったか否かを判定する第３の判定手段と、
前記描画点の軌跡が第１、第２及び第３の判定手段のいずれかで定義される判定条件を満たした場合に、当該軌跡をジェスチャにより描かれた図形として認識する手段と
を備えることを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
前記終始点入力判定領域の位置を補正する補正手段を、さらに具備し、
前記補正手段は、
前記描画点の軌跡が前記第２の判定手段により定義される判定条件を満たした場合に、前記終始点入力判定領域の位置を前記描画点の終点を含む位置に移動させる手段と、
前記描画点の軌跡が前記第１又は第３の判定手段により定義される判定条件を満たした場合に、前記終始点入力判定領域の位置を前記描画点の初期位置に近づくように移動させる手段と
を備えることを特徴とする請求項２記載のジェスチャ認識装置。
【請求項４】
前記終始点入力判定領域及び前記入力判定境界線を拡張する拡張手段を、さらに具備し、
前記拡張手段は、
前記描画点が予め設定した時間以上連続して停止したか否かを判定する手段と、
前記描画点の停止が検出され、かつその停止位置が前記終始点入力判定領域外のとき、前記終始点入力判定領域及び前記入力判定境界線の少なくとも一方を、前記停止中の描画点に近づける手段と
を備えることを特徴とする請求項２記載のジェスチャ認識装置。
【請求項１】
ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
前記取り込まれた画像データから描画点の初期位置を検出し、この検出された描画点の初期位置を含む第１のサイズの終始点入力判定領域を前記画像データ中に設定する手段と、
前記終始点入力判定領域が設定された状態で、前記画像データから検出される描画点が前記終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでの描画点の軌跡を検出し、この検出された軌跡をジェスチャにより描かれた図形として認識するジェスチャ認識手段と、
前記描画点の軌跡の検出期間中に、当該描画点が前記終始点入力判定領域内に存在するか否かを判定し、存在すると判定されているときには前記終始点入力判定領域のサイズを前記第１のサイズより大きい第２のサイズに拡大し、存在しないと判定されているときには前記終始点入力判定領域のサイズを前記第１のサイズに縮小する拡大縮小制御手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
少なくとも前記描画点が前記終始点入力判定領域外に存在するときに、前記描画点の軌跡の通過を検出するための入力判定境界線を前記画像データ中に設定する手段を、さらに具備し、
前記ジェスチャ認識手段は、
前記描画点の軌跡が前記設定された入力判定境界線を通過せずかつ前記描画点が前記終始点入力判定領域内に戻ったか否かを判定する第１の判定手段と、
前記描画点の軌跡が前記入力判定境界線を複数回通過したか否かを判定する第２の判定手段と、
前記描画点の軌跡が前記入力判定境界線を１回通過しかつ描画点が前記終始点入力判定領域内に戻ったか否かを判定する第３の判定手段と、
前記描画点の軌跡が第１、第２及び第３の判定手段のいずれかで定義される判定条件を満たした場合に、当該軌跡をジェスチャにより描かれた図形として認識する手段と
を備えることを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
前記終始点入力判定領域の位置を補正する補正手段を、さらに具備し、
前記補正手段は、
前記描画点の軌跡が前記第２の判定手段により定義される判定条件を満たした場合に、前記終始点入力判定領域の位置を前記描画点の終点を含む位置に移動させる手段と、
前記描画点の軌跡が前記第１又は第３の判定手段により定義される判定条件を満たした場合に、前記終始点入力判定領域の位置を前記描画点の初期位置に近づくように移動させる手段と
を備えることを特徴とする請求項２記載のジェスチャ認識装置。
【請求項４】
前記終始点入力判定領域及び前記入力判定境界線を拡張する拡張手段を、さらに具備し、
前記拡張手段は、
前記描画点が予め設定した時間以上連続して停止したか否かを判定する手段と、
前記描画点の停止が検出され、かつその停止位置が前記終始点入力判定領域外のとき、前記終始点入力判定領域及び前記入力判定境界線の少なくとも一方を、前記停止中の描画点に近づける手段と
を備えることを特徴とする請求項２記載のジェスチャ認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−９８９８７（Ｐ２０１２−９８９８７Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４７２６４（Ｐ２０１０−２４７２６４）
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]