ジェスチャ認識装置及びそのプログラム
【課題】ジェスチャ入力の応答性を向上し、かつジェスチャ入力期間中におけるユーザの不安を軽減する。
【解決手段】線対称図形予測部３３０を新たに備え、先ずジェスチャ認識領域中に対称軸作成判断領域を設定し、この状態で描画点の軌跡が当該対称軸作成判断領域内で直線を描いたか又は対称軸作成判断領域外で曲線を描いたかを判定し、その結果に応じて対称軸１又は対称軸２を設定する。次に、上記描画点の軌跡が上記設定された第１又は第２の対称軸を通過したかどうかを判定し、通過した場合に当該描画点が検出ゾーンを出てから上記第１又は第２の対称軸を通過するまでに描かれた描画軌跡の形状を識別する。そして、この識別された形状をもとに線対称図形の全体形状を復元し、この復元された線対称図形の全体形状からジェスチャにより描かれた図形の種類を推測し、表示画面を更新する。
【解決手段】線対称図形予測部３３０を新たに備え、先ずジェスチャ認識領域中に対称軸作成判断領域を設定し、この状態で描画点の軌跡が当該対称軸作成判断領域内で直線を描いたか又は対称軸作成判断領域外で曲線を描いたかを判定し、その結果に応じて対称軸１又は対称軸２を設定する。次に、上記描画点の軌跡が上記設定された第１又は第２の対称軸を通過したかどうかを判定し、通過した場合に当該描画点が検出ゾーンを出てから上記第１又は第２の対称軸を通過するまでに描かれた描画軌跡の形状を識別する。そして、この識別された形状をもとに線対称図形の全体形状を復元し、この復元された線対称図形の全体形状からジェスチャにより描かれた図形の種類を推測し、表示画面を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機や録画再生装置に対し離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置及びそのプログラムに関する。
【背景技術】
【０００２】
テレビジョン受信機に取り付け可能なカメラや赤外線距離センサを備える電子機器が安価に簡単に手に入るようになり、リモートコントローラを使わずに、手もしくは指のジェスチャによってテレビジョン受信機のメニュー項目を選択する方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データから指の動作軌跡を図形として検出して、この検出された図形を認識するものとなっている。
【０００３】
ジェスチャを認識する手法には様々あるが、その１つとして一筆書きジェスチャ入力方式が提案されている。この一筆書きジェスチャ入力方式は、入力対象のメニュー項目に対し予め対応付けられたジェスチャを一筆書き操作により入力するもので、直感的で自然な動きによってジェスチャ入力できる利点がある（例えば非特許文献１又は２を参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】青木 良輔、唐津 豊、井原 雅行、前田 篤彦、渡部 智樹、小林 稔、鏡 慎吾：“大型ディスプレイ上のメニュー選択に適したカメラによる一筆書きジェスチャインタフェース”、ヒューマンインタフェース学会研究報告集2010，VOL.12，NO.9，35-42.
【非特許文献２】Ryosuke Aoki, Yutaka Karatsu, Masayuki Ihara, Atsuhiko Maeda, Minoru Kobayashi and Shingo Kagami : “Gesture Identification Based on Zone Entry and Axis Crossing”, Lecture Notes in Computer Science, 2011, Volume 6762/2011, 194-203.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、上記各文献で述べられた一筆書きジェスチャ入力方式は、指によって描かれる一筆書き図形とジェスチャの始点に対するこの一筆書き図形の描画方向をもとに当該描画図形を認識する方式であり、ジェスチャによる指の指示位置がジェスチャ終始点判定領域を出たのち当該領域に戻った時点でジェスチャの認識を開始するようになっている。このため、ジェスチャ操作が終了するまでは当該ジェスチャにより入力しようとする図形を認識することができず、ジェスチャによる入力操作を開始してからその入力図形に応じてコマンドが実行されるまでに時間がかかる。また、ユーザはジェスチャ操作が終了するまで自身が入力した図形を確認することができず、ジェスチャ入力期間中に不安を覚えながらジェスチャ操作を行うことになり、誤入力も発生し易い。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、ジェスチャ入力の応答性を向上し、かつジェスチャ入力期間中におけるユーザの不安を軽減することが可能なジェスチャ認識装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の第１の観点は、ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより一筆書きで描かれた線対称の図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置にあって、上記撮像装置から出力された画像データを所定の周期で取り込み、この画像データが取り込まれるごとに当該画像データから上記ジェスチャによる描画点の位置情報を検出して、この検出された描画点の位置情報を記憶手段に格納する。そして、図形推測手段の制御の下、上記検出された描画点の位置情報が予め設定された終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでのジェスチャ入力期間中において、上記記憶手段に格納された描画点の位置情報の集合をもとに描画途中の描画点の軌跡を検出し、この検出された描画軌跡に基づいてユーザがジェスチャにより一筆書きで描こうとしている線対称の図形を推測して、この推測された図形を上記ユーザに提示する。
【０００８】
したがって、ジェスチャ入力期間中において、描画途中の描画点の軌跡からユーザがジェスチャにより一筆書きで描こうとしている線対称の図形が推測され、ユーザに提示される。このため、ジェスチャによる入力操作を開始してからその入力図形が認識されるまでの時間が短縮され、これによりジェスチャ入力の応答性が向上する。また、ユーザはジェスチャ入力期間中に、自身の入力途中の図形を確認することができるようになり、これにより入力操作の不安が軽減される。
【０００９】
またこの発明の第１の実施形態は、上記図形を推測する際に以下の処理を実行することを特徴とする。すなわち、先ず予め設定されたジェスチャ認識領域内に対称軸作成判断領域を設定し、描画途中の描画点の軌跡が上記設定された対称軸作成判断領域内に描かれているか又は対称軸作成判断領域外に描かれているかを判定する。この判定の結果、上記描画点の軌跡が対称軸作成判断領域内に描かれている場合には、当該対称軸作成判断領域に対し直交する第１の対称軸を設定する。これに対し上記描画点の軌跡が対称軸作成判断領域外に描かれていると判定された場合には、当該対称軸作成判断領域に対し直交する軸と平行する軸とからなる第２の対称軸を設定する。そして、上記描画点の軌跡が上記第１又は第２の対称軸を通過した場合に、上記検出された描画点が上記終始点入力判定領域外に出たのち当該第１又は第２の対称軸を通過するまでの当該描画点の軌跡の形状を識別し、この識別された描画点の軌跡の形状をもとにユーザがジェスチャにより一筆書きで描こうとしている線対称図形を推測する。
【００１０】
したがって、ユーザがジェスチャ終始点判定領域から垂直方向又は水平方向に直線状に指を動かした場合でも、また方向を問わず非直線状に指を動かして場合でも、これらの動きをそれぞれ的確に検出することが可能となる。
【発明の効果】
【００１１】
すなわちこの発明によれば、ジェスチャ入力の応答性を向上し、かつジェスチャ入力期間中におけるユーザの不安を軽減することが可能なジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の一実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図２】図１にジェスチャ認識装置として示した情報処理装置の機能構成を示すブロック図。
【図３】図２に示した情報処理装置による全体の処理手順と処理内容を示すフローチャート。
【図４】図３に示したフローチャートにおける一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。
【図５】ジェスチャ機能ＯＮのためのユーザの操作例を示す図。
【図６】ジェスチャ機能ＯＦＦのためのユーザの操作例を示す図。
【図７】図３に示したフローチャートにおける一筆書きジェスチャ認識処理の処理手順と処理内容を示すフローチャート。
【図８】図３に示したフローチャートにおける線対称図形予測処理の処理手順と処理内容を示すフローチャート。
【図９】図８に示した線対称図形予測処理の第１の例を説明するための図。
【図１０】図９に示した第１の例により予測可能な線対称図形の一例を示す図。
【図１１】図８に示した線対称図形予測処理の第２の例を説明するための図。
【図１２】図１１に示した第２の例により予測可能な線対称図形の一例を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［構成］
図１は、この発明の一実施形態に係わるジェスチャ認識装置を用いた操作情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着すると共に、テレビジョン受信機２に情報処理装置３を接続したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。
【００１４】
情報処理装置３は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、ジェスチャ認識処理を行うために必要な機能として、指の位置検出ユニット１０と、データベース２０と、一筆書きジェスチャ認識処理ユニット３０と、リアルタイム処理発生ユニット４０と、表示画面処理ユニット５０を備えている。
【００１５】
データベース２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶領域として、カメラ画像蓄積部２１と、一筆書き図形蓄積部２２と、操作内容蓄積部２３と、表示画像・映像蓄積部２４と、指位置蓄積部２５を有している。
【００１６】
カメラ画像蓄積部２１は、指の位置検出ユニット１０によりカメラ４から取得された画像データを記憶するために用いられる。指位置蓄積部２５は、カメラ画像蓄積部２１に蓄積された画像データから検出された指の指示位置と、当該画像データを撮像した時刻とを関連付けて格納するために用いられる。一筆書き図形蓄積部２２には、一筆書き図形の認識に用いる一筆書き図形のモデルが予め格納されている。操作内容蓄積部２３には、認識されたジェスチャの種類と方向に対応する操作内容を表す情報が予め格納されている。表示画像・映像蓄積部２４には、上記操作内容データベース２３に格納された操作内容を表す情報に対応付けて、表示画面に表示する画像や映像のデータが予め格納されている。
【００１７】
リアルタイム処理発生ユニット４０は、タイマを使用して、例えば３３msecごとにイベント信号を発行する機能を有する。
【００１８】
撮像画像取得ユニット１０はカメラ画像取得部１１を備え、上記リアルタイム発生ユニットによりイベント信号が発行されるごとに、カメラ４から画像データを取得して、この画像データを上記カメラ画像蓄積部２１に記憶させる機能を有する。
【００１９】
一筆書きジェスチャ認識処理ユニット３０は、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０と、一筆書きジェスチャ認識処理部３２０と、線対称図形予測部３３０を備えている。
【００２０】
このうち、先ず一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、指位置検出部３１１と、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部３１２を有する。指位置検出部３１１は、上記カメラ画像蓄積部２１に格納された画像データからマーカ５の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部２５に格納する。
【００２１】
一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部３１２は、以下の処理機能を有している。
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。そして、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーン（Detection zone）を上記ジェスチャの認識領域内に設定する機能。
【００２２】
(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ認識領域の外に出たか否かを判定し、ジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部の機能をＯＮからＯＦＦに遷移させる機能。
【００２３】
一筆書きジェスチャ認識処理部３２０は、一筆書きジェスチャ入力判断部３２１と、一筆書き図形の方向識別部３２２と、一筆書き図形識別部３２３を有している。
一筆書きジェスチャ入力判断部３２１は、一筆書きジェスチャ認識処理部３２０の機能がＯＮの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。
【００２４】
一筆書き図形の方向識別部３２２は、上記ジェスチャの終了点が検出された場合に、当該ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を表す位置座標の集合をもとに当該描画軌跡の重心位置座標を求め、この描画軌跡の重心位置座標とジェスチャの描画開始点との関係をもとに、当該描画開始点に対する描画方向を識別する。
【００２５】
一筆書き図形識別部３２３は、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡、つまりジェスチャにより描かれた図形の形状を表す情報を、上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を識別する。
【００２６】
線対称図形予測部３３０は、対称軸ＯＮ／ＯＦＦ部３３１と、対称軸通過判断部３３２と、一筆書き図形予測部３３３を備えている。
【００２７】
対称軸ＯＮ／ＯＦＦ部３３１は、一筆書きにより描かれる線対称図形の左右又は上下半分までの二等分図形を検出するために使用する対称軸を設定するもので、以下の処理機能を有する。
(1) 上記描画点がジェスチャ開始領域に入り検出ゾーンが設定された状態で、ジェスチャ認識領域中に対称軸作成判断領域を設定する機能。
(2) 上記対称軸作成判断領域が設定された状態で、その後描画点の軌跡が当該対称軸作成判断領域内で直線を描いたか、又は対称軸作成判断領域外で曲線を描いたかを判定する機能。
(3) 上記判定処理により、描画点の軌跡が対称軸作成判断領域外で曲線を描いたと判定された場合には、水平及び垂直の２軸からなる第１の対称軸（対称軸１）を設定する。これに対し、描画点の軌跡が対称軸作成判断領域内で直線を描いたと判定された場合には、当該対称軸作成判断領域と直交する第２の対称軸（対称軸２）を設定する機能。
【００２８】
対称軸通過判断部３３２は、上記描画点の軌跡が上記設定された第１又は第２の対称軸を通過したかどうかを判断する。
【００２９】
一筆書き図形予測部３３３は、上記描画点の軌跡が上記第１又は第２の対称軸を通過した場合に、描画点が検出ゾーンを出てから上記第１又は第２の対称軸を通過するまでに描かれた描画点の軌跡の形状、つまり線対称図形の左右又は上下半分までの二等分図形の形状を識別する。そして、この識別された二等分図形の形状をもとに線対称図形の全体形状を復元し、この復元された線対称図形の全体形状を上記対称軸上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を推測する。
【００３０】
表示画面処理ユニット５０は表示画面処理部５１を有する。表示画面処理部５１は以下の２つの表示処理機能を有する。
(1) 上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向と図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報を読出す。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データを読出し、この表示データをもとにテレビジョン受信機２の表示画面を更新する処理。
(2) 上記一筆書き図形予測部３３３により推測された線対称図形を表す画像を生成し、この生成された線対称図形の画像をテレビジョン受信機２の表示画面に表示させる処理。
【００３１】
なお、上記指の位置検出ユニット１０、一筆書きジェスチャ認識処理ユニット３０、リアルタイム処理発生ユニット４０及び表示画面処理ユニット５０の各処理機能は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００３２】
［動作］
次に、以上のように構成された情報処理装置３による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
【００３３】
（１）リアルタイムイベント発生処理
ジェスチャ入力モードが設定されると、ステップＳ１０によりリアルタイム処理発生ユニット４０が起動し、タイマの計時時間Ｔが予め設定された時間、例えば３３msecになるごとにステップＳ１１においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは３３msec周期でイベント信号が発生される。なお、タイマの計時時間Ｔはイベント信号が発生されるごとにステップＳ１２でリセットされる。
【００３４】
（２）カメラ画像の取得及び指位置の検出処理
上記リアルタイム処理発生ユニット４０からイベント信号が発生されると、先ずステップＳ２０において撮像画像取得ユニット１０が起動し、そのカメラ画像取得部１１の制御の下で、カメラ４により撮像されたユーザ１の画像データが取り込まれてカメラ画像蓄積部２１に記憶される。
【００３５】
そして、上記カメラ画像蓄積部２１に新たな画像データが記憶されると、図４に示すステップＳ３１１において、上記画像データ中から発光マーカ５の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の重心位置を示す座標が、ユーザ１の指の位置を表す描画点として指位置蓄積部２５に記憶される。以上の処理は上記３３msec周期で繰り返し行われ、この結果上記指位置蓄積部２５にはユーザ１の指の位置を表す描画点の位置座標の集合が、ユーザ１がジェスチャにより描いた図形を示すデータとして記憶される。なお、このときカメラ４の絞り値（Ｆ値）を大きく設定して受光光量を制限することで、発光マーカ５の光のみを検出しやすくするとよい。
【００３６】
（３）一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理
上記指位置蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ３０のステップＳ３１において一筆書きジェスチャ認識処理ユニット３０の一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０が起動され、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０の制御の下で以下のような処理が実行される。図４中のステップＳ３１２はその処理手順と処理内容を示すフローチャートである。
【００３７】
（３−１）一筆書きジェスチャ認識機能をＯＮする場合
先ずステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かが判定される。そして、ここではまだＯＮになっていないのでステップＳ３１２６に移行し、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。例えば図５（ａ）に示すように、ジェスチャの認識領域Ｃの中央にジェスチャ開始領域Ｅ１を設定する。そして、上記指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が上記ジェスチャ開始領域Ｅ１内に存在するか否かを判定する。
【００３８】
この状態で、ユーザ１が指の位置を動かし、これにより図５（ａ）に示すように描画点の位置座標Ｐ０が破線Ｌ１に示すように上記ジェスチャ開始領域Ｅ１内に入ると、ステップＳ３１２７により上記一筆書きジェスチャ認識部３２０の機能をＯＮに設定する。またそれと共に、ステップＳ３１２８により図５（ｂ）に示すようにジェスチャの終点を検出するための検出ゾーン（Detection zone）Ｅ２を上記ジェスチャの認識領域Ｃ内に設定する。
【００３９】
このとき、検出ゾーンＥ２のサイズはジェスチャ開始領域Ｅ１より大きなサイズに設定される。このようにすると、ユーザ１によるユーザの指の位置が検出ゾーンＥ２内に戻った後に、震えなどにより当該検出ゾーンＥ２の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終点判定領域としての検出ゾーンＥ２内に安定的に留めることが可能となる。このため、検出ゾーンＥ２の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。
【００４０】
（３−２）一筆書きジェスチャ認識機能をＯＦＦする場合
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、ユーザ１がジェスチャによるテレビジョン受信機２の操作を一旦中止するべく、指の位置を例えば図６（ａ）のＬ２に示すようにカメラ４の撮像範囲外、つまりジェスチャの認識領域Ｃの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、ステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かを判定し、ここではＯＮになっているのでステップＳ３１２２に移行する。そして、指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が、上記ジェスチャの認識領域Ｃの外に出たか否かを判定する。
【００４１】
この判定の結果、図６（ａ）の破線Ｌ２に示すように、発光マーカ５の描画点の位置座標が上記ジェスチャの認識領域Ｃの外に出ると、ステップＳ３１２３により一筆書きジェスチャ認識処理部３２０の機能をＯＦＦに遷移させる。かくして、ユーザ１は指の位置をカメラ４の撮像範囲外へ移動させるだけで、一筆書きジェスチャ認識機能をＯＦＦに戻すことが可能となる。
【００４２】
なお、一筆書きジェスチャ認識機能がＯＦＦに復帰すると、次のイベント信号発生（３３msec）時に、ステップＳ３１２５において図６（ｂ）に示すようにジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ１が設定される。すなわち、一筆書きジェスチャ認識機能がＯＦＦになると、消去された検出ゾーンＥ２の代わりにそれよりも小さいジェスチャ開始領域Ｅ１が再設定される。
【００４３】
（４）一筆書きジェスチャ認識処理
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、一筆書きジェスチャ認識処理部３２０は以下のようにジェスチャの認識処理を実行する。図７はその全体の処理手順と処理内容を示すフローチャートである。
【００４４】
すなわち、先ずステップＳ３２１において一筆書きジェスチャ入力判断部３２１が起動し、この一筆書きジェスチャ入力判断部３２１の制御の下で、ユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったか否かをステップＳ３２１１により判定する。そして、描画点が上記検出ゾーンＥ２内に入っていなければ、ステップＳ３２１４によりジェスチャ入力中か否かを示すジェスチャフラグ（Gesture Flag）を“TRUE”に設定し、以後イベントが発生するごとに描画点が検出ゾーンＥ２内に入るか否かを監視する処理を繰り返す。
【００４５】
（４−１）一筆書き図形の方向識別処理
さて、この状態でユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったことが検出されたとする。そうすると、ステップＳ３２１２によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップＳ３２２により一筆書き図形の方向識別処理を実行する。
【００４６】
この一筆書き図形の方向識別処理は以下のように行われる。すなわち、先ず指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の描画軌跡を表す画像をもとに当該描画軌跡を表す画像の重心位置座標を算出する。そして、この算出された描画軌跡画像の重心位置座標と描画開始点における座標との関係から、当該描画開始点に対する上記描画軌跡の描画方向が上下左右の何れであるかを識別することにより行われる。
【００４７】
（４−２）一筆書き図形識別処理
次にステップＳ３２３により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部２５に記憶された指位置座標、つまり描画点の位置情報の集合を読み出し、この描画点の位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップＳ３２１３によりジェスチャフラグ（Gesture Flag）を“False”にリセットする。
【００４８】
（５）表示画面の更新処理
上記一筆書きジェスチャの認識処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向及び図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。
【００４９】
（６）線形図形予測処理
一方、上記一筆書きジェスチャ認識処理Ｓ３２において描画点が検出ゾーンＥ２内に存在していないと判定された場合には、ユーザ１の指位置が検出ゾーンＥ２内にまだ到達していないと判断される。そして、この期間に、つまりユーザ１によるジェスチャ入力操作が行われている期間に、ステップＳ３３により線対称図形予測部３３０が起動され、この線対称図形予測部３３０の制御の下で、上記ユーザ１がジェスチャにより描こうとしている線対称図形を予測する処理が以下のように実行される。図８はその処理手順と処理内容を示すフローチャートである。
【００５０】
すなわち、先ずジェスチャ入力の開始直前において、指の位置を示す描画点の位置座標が検出ゾーンＥ１内に存在するか否かをステップＳ３３１により判定し、存在する場合にはステップＳ３４３によりジェスチャ認識領域中に対称軸の削除／作成判断領域を設定する。例えば、図９（ａ）又は図１１（ａ）に示すように、ジェスチャ認識領域中の検出ゾーンＥ１を中心とする位置に十字型をなす所定の幅を有する対称軸作成判断領域ＤＺを設定する。そして、ステップＳ３４４により、対称軸作成判断領域ＤＺ内で直線を描いたか否かを示すフラグ（Line Flag）を初期化（FALSE）する。
【００５１】
この状態で、ユーザ１が指を移動させ、その描画点が上記検出ゾーンＤＺ外に出ると、当該描画点が上記対称軸作成判断領域ＤＺ内に存在しているか否かをステップＳ３２２により判定する。この判定の結果、描画点が上記対称軸作成判断領域ＤＺ内に存在している場合には、続いて当該描画点の軌跡が上記対称軸作成判断領域ＤＺ内でほぼ直線を描いているか否かをステップＳ３３３により判定する。そして、描画点の軌跡が上記対称軸作成判断領域ＤＺ内でほぼ直線を描いていると判定された場合には、ステップＳ３３５において上記Line Flagを“TRUE”に設定し、直線を描いていないと判定された場合にはステップＳ３３４によりLine Flagを“FALSE”に維持する。
【００５２】
一方、上記ステップＳ３２２において描画点が上記対称軸作成判断領域ＤＺ内に存在していないと判定されると、ステップＳ３３６によりSymmetry Axis Flagを“TRUE”に設定したのち、ステップＳ３３７においてLine Flag＝TRUEであるか否かを判定する。そして、この判定の結果Line Flag＝TRUEでなければ、描画点の軌跡は上記対称軸作成判断領域ＤＺ内で直線を描いていないので、ステップＳ３３８により上記対称軸作成判断領域ＤＺの設定を解除し、代わりにステップＳ３３９において「対称軸１」を設定する。この対称軸１は、例えば図９（ｂ）に示すように検出ゾーンＥ１の中心を通る水平軸Ｈと垂直軸Ｖとからなる。
【００５３】
これに対し、Line Flag＝TRUEであれば、描画点の軌跡は上記対称軸作成判断領域ＤＺ内で直線を描いているので、ステップＳ３４０により上記対称軸作成判断領域ＤＺの設定を解除し、代わりにステップＳ３４１において「対称軸２」を設定する。この対称軸２としては、この場合の描画点の軌跡は垂直方向に移動しているので、例えば図１１（ｂ）に示すように水平軸Ｉが設定される。
【００５４】
この状態で線対称図形予測部３３０は、ステップＳ３４２において対称軸通過判断部３３２を起動し、この対称軸通過判断部３３２により、描画点の軌跡が上記対称軸１又は対称軸２を通過したか否かを判定する。そして、まだ通過していなければそのまま監視を継続する。これに対し、描画点が対称軸１又は対称軸２を通過したことが検出されると、ステップＳ３４３により一筆書き図形予測部３３３を起動し、この一筆書き図形予測部３３３の制御の下で一筆書き図形予測処理を実行する。
【００５５】
例えば、いま図９（ｃ）に示すように描画点の軌跡Ｌ２が対称軸１の垂直軸Ｖを通過したとすると、描画点が検出ゾーンＥ１内のＰ０を出発して上記対称軸１の垂直軸ＶをＰ２で通過するまでに描かれた描画軌跡Ｌ２の形状、つまりユーザ１が描こうとする線対称図形の左半分の形状を識別する。そして、この識別された左半分の形状をもとに、図９（ｄ）のＬ３に示すような線対称図形の全体形状を復元する。次に、この復元された線対称図形の全体形状Ｌ３を一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより一筆書きで描かれた線対称図形の種類を推測する。図１０（ａ）〜（ｄ）は、この「対称軸１」を用いた図形予測処理により認識可能な図形の一例を示すものである。
【００５６】
一方、いま図１１（ｂ）に示すように直線を描いた描画点の軌跡Ｌ１が、反転してＰ１を経て上記対称軸２の水平軸Ｉを図１１（ｃ）に示すようにＰ２で通過したとする。そうすると、ジェスチャ開始点Ｐ０を出発してから点Ｐ１を経由して水平軸Ｉとの交差点Ｐ２に至るまでの描画軌跡Ｌ２の形状を識別する。そして、この識別された形状のうち上記水平軸Ｉより上側の図形の形状をもとに、図１１（ｄ）のＬ２に示すような線対称図形の全体形状を復元する。次に、この復元された線対称図形の全体形状Ｌ２を一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより一筆書きで描かれた線対称図形の種類を推測する。図１２（ａ）〜（ｄ）は、この「対称軸２」を用いた図形予測処理により認識可能な図形の一例を示すもので、左右対称の図形群と、上下対称の図形群をそれぞれ示している。
【００５７】
そうして上記一筆書きジェスチャ図形の予測処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、上記予測された図形の表示処理が以下のように行われる。すなわち、上記予測された図形の描画方向及び図形の種類を表す情報をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。
【００５８】
以上詳述したようにこの実施形態では、線対称図形予測部３３０を新たに備え、描画点がジェスチャ開始領域に入り検出ゾーンが設定された状態でジェスチャ認識領域中に対称軸作成判断領域を設定し、この状態で描画点の軌跡が当該対称軸作成判断領域内で直線を描いたか又は対称軸作成判断領域外で曲線を描いたかを判定して、対称軸１又は対称軸２を設定する。次に、上記描画点の軌跡が上記設定された第１又は第２の対称軸を通過したかどうかを判定し、通過した場合に当該描画点が検出ゾーンを出てから上記第１又は第２の対称軸を通過するまでに描かれた描画軌跡の形状を識別する。そして、この識別された形状をもとに線対称図形の全体形状を復元し、この復元された線対称図形の全体形状からジェスチャにより描かれた図形の種類を推測し、その結果をもとに表示画面を更新するようにしている。
【００５９】
したがって、ジェスチャ入力期間中において、描画途中の描画点の軌跡からユーザ１がジェスチャにより一筆書きで描こうとしている線対称の図形が推測され、ユーザ１に提示される。このため、ジェスチャによる入力操作を開始してからその入力図形が認識されるまでの時間が短縮され、これによりジェスチャ入力の応答性が向上する。また、ユーザ１はジェスチャ入力期間中に、自身の入力途中の図形を確認することができるようになり、これにより入力操作の不安が軽減される。
【００６０】
また、描画軌跡が対称軸作成判断領域ＤＺ内で直線状に描かれたか、又は対称軸作成判断領域ＤＺ外に出て非直線状に描かれたかを判定し、その判定結果に応じて対称軸１と対称軸２を選択的に設定するようにしている。このため、ユーザ１が検出ゾーンから垂直方向又は水平方向に直線状に指を動かした場合でも、また方向を問わず非直線状に指を動かした場合でも、これらの動きをそれぞれ的確に検出することが可能となる。
【００６１】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では本発明に係るジェスチャ認識装置の機能を情報処理装置に設けた場合を例に説明したが、同機能をテレビジョン受信機に設けてもよいし、セットトップボックスやビデオレーダなどに設けてもよい。その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００６２】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６３】
１…ユーザ、２…テレビジョン受信機、３…情報処理装置、４…カメラ、５…発光マーカ、１０…撮像画像取得ユニット、１１…カメラ画像取得部、２０…データベース、２１…カメラ画像蓄積部、２２…一筆書き図形蓄積部、２３…操作内容データベース、２４…表示画像・映像蓄積部、２５…指位置蓄積部、３０…一筆書きジェスチャ認識処理ユニット、３１０…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部、３１１…指位置検出部、３１２…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部、３２０…一筆書きジェスチャ認識処理部、３２１…一筆書きジェスチャ入力判断部、３２２…一筆書き図形の方向識別部、３２３…一筆書き図形識別部、３３０…線対称図形予測部、３３１…対称軸ＯＮ／ＯＦＦ部、３３２…対称軸通過判断部、３３３…一筆書き図形予測部、４０…リアルタイム処理発生ユニット、５０…表示画面処理ユニット、５１…表示画面処理部。
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機や録画再生装置に対し離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置及びそのプログラムに関する。
【背景技術】
【０００２】
テレビジョン受信機に取り付け可能なカメラや赤外線距離センサを備える電子機器が安価に簡単に手に入るようになり、リモートコントローラを使わずに、手もしくは指のジェスチャによってテレビジョン受信機のメニュー項目を選択する方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データから指の動作軌跡を図形として検出して、この検出された図形を認識するものとなっている。
【０００３】
ジェスチャを認識する手法には様々あるが、その１つとして一筆書きジェスチャ入力方式が提案されている。この一筆書きジェスチャ入力方式は、入力対象のメニュー項目に対し予め対応付けられたジェスチャを一筆書き操作により入力するもので、直感的で自然な動きによってジェスチャ入力できる利点がある（例えば非特許文献１又は２を参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】青木 良輔、唐津 豊、井原 雅行、前田 篤彦、渡部 智樹、小林 稔、鏡 慎吾：“大型ディスプレイ上のメニュー選択に適したカメラによる一筆書きジェスチャインタフェース”、ヒューマンインタフェース学会研究報告集2010，VOL.12，NO.9，35-42.
【非特許文献２】Ryosuke Aoki, Yutaka Karatsu, Masayuki Ihara, Atsuhiko Maeda, Minoru Kobayashi and Shingo Kagami : “Gesture Identification Based on Zone Entry and Axis Crossing”, Lecture Notes in Computer Science, 2011, Volume 6762/2011, 194-203.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、上記各文献で述べられた一筆書きジェスチャ入力方式は、指によって描かれる一筆書き図形とジェスチャの始点に対するこの一筆書き図形の描画方向をもとに当該描画図形を認識する方式であり、ジェスチャによる指の指示位置がジェスチャ終始点判定領域を出たのち当該領域に戻った時点でジェスチャの認識を開始するようになっている。このため、ジェスチャ操作が終了するまでは当該ジェスチャにより入力しようとする図形を認識することができず、ジェスチャによる入力操作を開始してからその入力図形に応じてコマンドが実行されるまでに時間がかかる。また、ユーザはジェスチャ操作が終了するまで自身が入力した図形を確認することができず、ジェスチャ入力期間中に不安を覚えながらジェスチャ操作を行うことになり、誤入力も発生し易い。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、ジェスチャ入力の応答性を向上し、かつジェスチャ入力期間中におけるユーザの不安を軽減することが可能なジェスチャ認識装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の第１の観点は、ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより一筆書きで描かれた線対称の図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置にあって、上記撮像装置から出力された画像データを所定の周期で取り込み、この画像データが取り込まれるごとに当該画像データから上記ジェスチャによる描画点の位置情報を検出して、この検出された描画点の位置情報を記憶手段に格納する。そして、図形推測手段の制御の下、上記検出された描画点の位置情報が予め設定された終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでのジェスチャ入力期間中において、上記記憶手段に格納された描画点の位置情報の集合をもとに描画途中の描画点の軌跡を検出し、この検出された描画軌跡に基づいてユーザがジェスチャにより一筆書きで描こうとしている線対称の図形を推測して、この推測された図形を上記ユーザに提示する。
【０００８】
したがって、ジェスチャ入力期間中において、描画途中の描画点の軌跡からユーザがジェスチャにより一筆書きで描こうとしている線対称の図形が推測され、ユーザに提示される。このため、ジェスチャによる入力操作を開始してからその入力図形が認識されるまでの時間が短縮され、これによりジェスチャ入力の応答性が向上する。また、ユーザはジェスチャ入力期間中に、自身の入力途中の図形を確認することができるようになり、これにより入力操作の不安が軽減される。
【０００９】
またこの発明の第１の実施形態は、上記図形を推測する際に以下の処理を実行することを特徴とする。すなわち、先ず予め設定されたジェスチャ認識領域内に対称軸作成判断領域を設定し、描画途中の描画点の軌跡が上記設定された対称軸作成判断領域内に描かれているか又は対称軸作成判断領域外に描かれているかを判定する。この判定の結果、上記描画点の軌跡が対称軸作成判断領域内に描かれている場合には、当該対称軸作成判断領域に対し直交する第１の対称軸を設定する。これに対し上記描画点の軌跡が対称軸作成判断領域外に描かれていると判定された場合には、当該対称軸作成判断領域に対し直交する軸と平行する軸とからなる第２の対称軸を設定する。そして、上記描画点の軌跡が上記第１又は第２の対称軸を通過した場合に、上記検出された描画点が上記終始点入力判定領域外に出たのち当該第１又は第２の対称軸を通過するまでの当該描画点の軌跡の形状を識別し、この識別された描画点の軌跡の形状をもとにユーザがジェスチャにより一筆書きで描こうとしている線対称図形を推測する。
【００１０】
したがって、ユーザがジェスチャ終始点判定領域から垂直方向又は水平方向に直線状に指を動かした場合でも、また方向を問わず非直線状に指を動かして場合でも、これらの動きをそれぞれ的確に検出することが可能となる。
【発明の効果】
【００１１】
すなわちこの発明によれば、ジェスチャ入力の応答性を向上し、かつジェスチャ入力期間中におけるユーザの不安を軽減することが可能なジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の一実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。
【図２】図１にジェスチャ認識装置として示した情報処理装置の機能構成を示すブロック図。
【図３】図２に示した情報処理装置による全体の処理手順と処理内容を示すフローチャート。
【図４】図３に示したフローチャートにおける一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。
【図５】ジェスチャ機能ＯＮのためのユーザの操作例を示す図。
【図６】ジェスチャ機能ＯＦＦのためのユーザの操作例を示す図。
【図７】図３に示したフローチャートにおける一筆書きジェスチャ認識処理の処理手順と処理内容を示すフローチャート。
【図８】図３に示したフローチャートにおける線対称図形予測処理の処理手順と処理内容を示すフローチャート。
【図９】図８に示した線対称図形予測処理の第１の例を説明するための図。
【図１０】図９に示した第１の例により予測可能な線対称図形の一例を示す図。
【図１１】図８に示した線対称図形予測処理の第２の例を説明するための図。
【図１２】図１１に示した第２の例により予測可能な線対称図形の一例を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照してこの発明に係わる実施形態を説明する。
［構成］
図１は、この発明の一実施形態に係わるジェスチャ認識装置を用いた操作情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着すると共に、テレビジョン受信機２に情報処理装置３を接続したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。
【００１４】
情報処理装置３は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、ジェスチャ認識処理を行うために必要な機能として、指の位置検出ユニット１０と、データベース２０と、一筆書きジェスチャ認識処理ユニット３０と、リアルタイム処理発生ユニット４０と、表示画面処理ユニット５０を備えている。
【００１５】
データベース２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶領域として、カメラ画像蓄積部２１と、一筆書き図形蓄積部２２と、操作内容蓄積部２３と、表示画像・映像蓄積部２４と、指位置蓄積部２５を有している。
【００１６】
カメラ画像蓄積部２１は、指の位置検出ユニット１０によりカメラ４から取得された画像データを記憶するために用いられる。指位置蓄積部２５は、カメラ画像蓄積部２１に蓄積された画像データから検出された指の指示位置と、当該画像データを撮像した時刻とを関連付けて格納するために用いられる。一筆書き図形蓄積部２２には、一筆書き図形の認識に用いる一筆書き図形のモデルが予め格納されている。操作内容蓄積部２３には、認識されたジェスチャの種類と方向に対応する操作内容を表す情報が予め格納されている。表示画像・映像蓄積部２４には、上記操作内容データベース２３に格納された操作内容を表す情報に対応付けて、表示画面に表示する画像や映像のデータが予め格納されている。
【００１７】
リアルタイム処理発生ユニット４０は、タイマを使用して、例えば３３msecごとにイベント信号を発行する機能を有する。
【００１８】
撮像画像取得ユニット１０はカメラ画像取得部１１を備え、上記リアルタイム発生ユニットによりイベント信号が発行されるごとに、カメラ４から画像データを取得して、この画像データを上記カメラ画像蓄積部２１に記憶させる機能を有する。
【００１９】
一筆書きジェスチャ認識処理ユニット３０は、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０と、一筆書きジェスチャ認識処理部３２０と、線対称図形予測部３３０を備えている。
【００２０】
このうち、先ず一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、指位置検出部３１１と、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部３１２を有する。指位置検出部３１１は、上記カメラ画像蓄積部２１に格納された画像データからマーカ５の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部２５に格納する。
【００２１】
一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部３１２は、以下の処理機能を有している。
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。そして、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーン（Detection zone）を上記ジェスチャの認識領域内に設定する機能。
【００２２】
(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ認識領域の外に出たか否かを判定し、ジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部の機能をＯＮからＯＦＦに遷移させる機能。
【００２３】
一筆書きジェスチャ認識処理部３２０は、一筆書きジェスチャ入力判断部３２１と、一筆書き図形の方向識別部３２２と、一筆書き図形識別部３２３を有している。
一筆書きジェスチャ入力判断部３２１は、一筆書きジェスチャ認識処理部３２０の機能がＯＮの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。
【００２４】
一筆書き図形の方向識別部３２２は、上記ジェスチャの終了点が検出された場合に、当該ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を表す位置座標の集合をもとに当該描画軌跡の重心位置座標を求め、この描画軌跡の重心位置座標とジェスチャの描画開始点との関係をもとに、当該描画開始点に対する描画方向を識別する。
【００２５】
一筆書き図形識別部３２３は、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡、つまりジェスチャにより描かれた図形の形状を表す情報を、上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を識別する。
【００２６】
線対称図形予測部３３０は、対称軸ＯＮ／ＯＦＦ部３３１と、対称軸通過判断部３３２と、一筆書き図形予測部３３３を備えている。
【００２７】
対称軸ＯＮ／ＯＦＦ部３３１は、一筆書きにより描かれる線対称図形の左右又は上下半分までの二等分図形を検出するために使用する対称軸を設定するもので、以下の処理機能を有する。
(1) 上記描画点がジェスチャ開始領域に入り検出ゾーンが設定された状態で、ジェスチャ認識領域中に対称軸作成判断領域を設定する機能。
(2) 上記対称軸作成判断領域が設定された状態で、その後描画点の軌跡が当該対称軸作成判断領域内で直線を描いたか、又は対称軸作成判断領域外で曲線を描いたかを判定する機能。
(3) 上記判定処理により、描画点の軌跡が対称軸作成判断領域外で曲線を描いたと判定された場合には、水平及び垂直の２軸からなる第１の対称軸（対称軸１）を設定する。これに対し、描画点の軌跡が対称軸作成判断領域内で直線を描いたと判定された場合には、当該対称軸作成判断領域と直交する第２の対称軸（対称軸２）を設定する機能。
【００２８】
対称軸通過判断部３３２は、上記描画点の軌跡が上記設定された第１又は第２の対称軸を通過したかどうかを判断する。
【００２９】
一筆書き図形予測部３３３は、上記描画点の軌跡が上記第１又は第２の対称軸を通過した場合に、描画点が検出ゾーンを出てから上記第１又は第２の対称軸を通過するまでに描かれた描画点の軌跡の形状、つまり線対称図形の左右又は上下半分までの二等分図形の形状を識別する。そして、この識別された二等分図形の形状をもとに線対称図形の全体形状を復元し、この復元された線対称図形の全体形状を上記対称軸上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を推測する。
【００３０】
表示画面処理ユニット５０は表示画面処理部５１を有する。表示画面処理部５１は以下の２つの表示処理機能を有する。
(1) 上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向と図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報を読出す。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データを読出し、この表示データをもとにテレビジョン受信機２の表示画面を更新する処理。
(2) 上記一筆書き図形予測部３３３により推測された線対称図形を表す画像を生成し、この生成された線対称図形の画像をテレビジョン受信機２の表示画面に表示させる処理。
【００３１】
なお、上記指の位置検出ユニット１０、一筆書きジェスチャ認識処理ユニット３０、リアルタイム処理発生ユニット４０及び表示画面処理ユニット５０の各処理機能は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。
【００３２】
［動作］
次に、以上のように構成された情報処理装置３による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
【００３３】
（１）リアルタイムイベント発生処理
ジェスチャ入力モードが設定されると、ステップＳ１０によりリアルタイム処理発生ユニット４０が起動し、タイマの計時時間Ｔが予め設定された時間、例えば３３msecになるごとにステップＳ１１においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは３３msec周期でイベント信号が発生される。なお、タイマの計時時間Ｔはイベント信号が発生されるごとにステップＳ１２でリセットされる。
【００３４】
（２）カメラ画像の取得及び指位置の検出処理
上記リアルタイム処理発生ユニット４０からイベント信号が発生されると、先ずステップＳ２０において撮像画像取得ユニット１０が起動し、そのカメラ画像取得部１１の制御の下で、カメラ４により撮像されたユーザ１の画像データが取り込まれてカメラ画像蓄積部２１に記憶される。
【００３５】
そして、上記カメラ画像蓄積部２１に新たな画像データが記憶されると、図４に示すステップＳ３１１において、上記画像データ中から発光マーカ５の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の重心位置を示す座標が、ユーザ１の指の位置を表す描画点として指位置蓄積部２５に記憶される。以上の処理は上記３３msec周期で繰り返し行われ、この結果上記指位置蓄積部２５にはユーザ１の指の位置を表す描画点の位置座標の集合が、ユーザ１がジェスチャにより描いた図形を示すデータとして記憶される。なお、このときカメラ４の絞り値（Ｆ値）を大きく設定して受光光量を制限することで、発光マーカ５の光のみを検出しやすくするとよい。
【００３６】
（３）一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理
上記指位置蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ３０のステップＳ３１において一筆書きジェスチャ認識処理ユニット３０の一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０が起動され、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０の制御の下で以下のような処理が実行される。図４中のステップＳ３１２はその処理手順と処理内容を示すフローチャートである。
【００３７】
（３−１）一筆書きジェスチャ認識機能をＯＮする場合
先ずステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かが判定される。そして、ここではまだＯＮになっていないのでステップＳ３１２６に移行し、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。例えば図５（ａ）に示すように、ジェスチャの認識領域Ｃの中央にジェスチャ開始領域Ｅ１を設定する。そして、上記指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が上記ジェスチャ開始領域Ｅ１内に存在するか否かを判定する。
【００３８】
この状態で、ユーザ１が指の位置を動かし、これにより図５（ａ）に示すように描画点の位置座標Ｐ０が破線Ｌ１に示すように上記ジェスチャ開始領域Ｅ１内に入ると、ステップＳ３１２７により上記一筆書きジェスチャ認識部３２０の機能をＯＮに設定する。またそれと共に、ステップＳ３１２８により図５（ｂ）に示すようにジェスチャの終点を検出するための検出ゾーン（Detection zone）Ｅ２を上記ジェスチャの認識領域Ｃ内に設定する。
【００３９】
このとき、検出ゾーンＥ２のサイズはジェスチャ開始領域Ｅ１より大きなサイズに設定される。このようにすると、ユーザ１によるユーザの指の位置が検出ゾーンＥ２内に戻った後に、震えなどにより当該検出ゾーンＥ２の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終点判定領域としての検出ゾーンＥ２内に安定的に留めることが可能となる。このため、検出ゾーンＥ２の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。
【００４０】
（３−２）一筆書きジェスチャ認識機能をＯＦＦする場合
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、ユーザ１がジェスチャによるテレビジョン受信機２の操作を一旦中止するべく、指の位置を例えば図６（ａ）のＬ２に示すようにカメラ４の撮像範囲外、つまりジェスチャの認識領域Ｃの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、ステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かを判定し、ここではＯＮになっているのでステップＳ３１２２に移行する。そして、指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が、上記ジェスチャの認識領域Ｃの外に出たか否かを判定する。
【００４１】
この判定の結果、図６（ａ）の破線Ｌ２に示すように、発光マーカ５の描画点の位置座標が上記ジェスチャの認識領域Ｃの外に出ると、ステップＳ３１２３により一筆書きジェスチャ認識処理部３２０の機能をＯＦＦに遷移させる。かくして、ユーザ１は指の位置をカメラ４の撮像範囲外へ移動させるだけで、一筆書きジェスチャ認識機能をＯＦＦに戻すことが可能となる。
【００４２】
なお、一筆書きジェスチャ認識機能がＯＦＦに復帰すると、次のイベント信号発生（３３msec）時に、ステップＳ３１２５において図６（ｂ）に示すようにジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ１が設定される。すなわち、一筆書きジェスチャ認識機能がＯＦＦになると、消去された検出ゾーンＥ２の代わりにそれよりも小さいジェスチャ開始領域Ｅ１が再設定される。
【００４３】
（４）一筆書きジェスチャ認識処理
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、一筆書きジェスチャ認識処理部３２０は以下のようにジェスチャの認識処理を実行する。図７はその全体の処理手順と処理内容を示すフローチャートである。
【００４４】
すなわち、先ずステップＳ３２１において一筆書きジェスチャ入力判断部３２１が起動し、この一筆書きジェスチャ入力判断部３２１の制御の下で、ユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったか否かをステップＳ３２１１により判定する。そして、描画点が上記検出ゾーンＥ２内に入っていなければ、ステップＳ３２１４によりジェスチャ入力中か否かを示すジェスチャフラグ（Gesture Flag）を“TRUE”に設定し、以後イベントが発生するごとに描画点が検出ゾーンＥ２内に入るか否かを監視する処理を繰り返す。
【００４５】
（４−１）一筆書き図形の方向識別処理
さて、この状態でユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったことが検出されたとする。そうすると、ステップＳ３２１２によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップＳ３２２により一筆書き図形の方向識別処理を実行する。
【００４６】
この一筆書き図形の方向識別処理は以下のように行われる。すなわち、先ず指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の描画軌跡を表す画像をもとに当該描画軌跡を表す画像の重心位置座標を算出する。そして、この算出された描画軌跡画像の重心位置座標と描画開始点における座標との関係から、当該描画開始点に対する上記描画軌跡の描画方向が上下左右の何れであるかを識別することにより行われる。
【００４７】
（４−２）一筆書き図形識別処理
次にステップＳ３２３により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部２５に記憶された指位置座標、つまり描画点の位置情報の集合を読み出し、この描画点の位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップＳ３２１３によりジェスチャフラグ（Gesture Flag）を“False”にリセットする。
【００４８】
（５）表示画面の更新処理
上記一筆書きジェスチャの認識処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向及び図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。
【００４９】
（６）線形図形予測処理
一方、上記一筆書きジェスチャ認識処理Ｓ３２において描画点が検出ゾーンＥ２内に存在していないと判定された場合には、ユーザ１の指位置が検出ゾーンＥ２内にまだ到達していないと判断される。そして、この期間に、つまりユーザ１によるジェスチャ入力操作が行われている期間に、ステップＳ３３により線対称図形予測部３３０が起動され、この線対称図形予測部３３０の制御の下で、上記ユーザ１がジェスチャにより描こうとしている線対称図形を予測する処理が以下のように実行される。図８はその処理手順と処理内容を示すフローチャートである。
【００５０】
すなわち、先ずジェスチャ入力の開始直前において、指の位置を示す描画点の位置座標が検出ゾーンＥ１内に存在するか否かをステップＳ３３１により判定し、存在する場合にはステップＳ３４３によりジェスチャ認識領域中に対称軸の削除／作成判断領域を設定する。例えば、図９（ａ）又は図１１（ａ）に示すように、ジェスチャ認識領域中の検出ゾーンＥ１を中心とする位置に十字型をなす所定の幅を有する対称軸作成判断領域ＤＺを設定する。そして、ステップＳ３４４により、対称軸作成判断領域ＤＺ内で直線を描いたか否かを示すフラグ（Line Flag）を初期化（FALSE）する。
【００５１】
この状態で、ユーザ１が指を移動させ、その描画点が上記検出ゾーンＤＺ外に出ると、当該描画点が上記対称軸作成判断領域ＤＺ内に存在しているか否かをステップＳ３２２により判定する。この判定の結果、描画点が上記対称軸作成判断領域ＤＺ内に存在している場合には、続いて当該描画点の軌跡が上記対称軸作成判断領域ＤＺ内でほぼ直線を描いているか否かをステップＳ３３３により判定する。そして、描画点の軌跡が上記対称軸作成判断領域ＤＺ内でほぼ直線を描いていると判定された場合には、ステップＳ３３５において上記Line Flagを“TRUE”に設定し、直線を描いていないと判定された場合にはステップＳ３３４によりLine Flagを“FALSE”に維持する。
【００５２】
一方、上記ステップＳ３２２において描画点が上記対称軸作成判断領域ＤＺ内に存在していないと判定されると、ステップＳ３３６によりSymmetry Axis Flagを“TRUE”に設定したのち、ステップＳ３３７においてLine Flag＝TRUEであるか否かを判定する。そして、この判定の結果Line Flag＝TRUEでなければ、描画点の軌跡は上記対称軸作成判断領域ＤＺ内で直線を描いていないので、ステップＳ３３８により上記対称軸作成判断領域ＤＺの設定を解除し、代わりにステップＳ３３９において「対称軸１」を設定する。この対称軸１は、例えば図９（ｂ）に示すように検出ゾーンＥ１の中心を通る水平軸Ｈと垂直軸Ｖとからなる。
【００５３】
これに対し、Line Flag＝TRUEであれば、描画点の軌跡は上記対称軸作成判断領域ＤＺ内で直線を描いているので、ステップＳ３４０により上記対称軸作成判断領域ＤＺの設定を解除し、代わりにステップＳ３４１において「対称軸２」を設定する。この対称軸２としては、この場合の描画点の軌跡は垂直方向に移動しているので、例えば図１１（ｂ）に示すように水平軸Ｉが設定される。
【００５４】
この状態で線対称図形予測部３３０は、ステップＳ３４２において対称軸通過判断部３３２を起動し、この対称軸通過判断部３３２により、描画点の軌跡が上記対称軸１又は対称軸２を通過したか否かを判定する。そして、まだ通過していなければそのまま監視を継続する。これに対し、描画点が対称軸１又は対称軸２を通過したことが検出されると、ステップＳ３４３により一筆書き図形予測部３３３を起動し、この一筆書き図形予測部３３３の制御の下で一筆書き図形予測処理を実行する。
【００５５】
例えば、いま図９（ｃ）に示すように描画点の軌跡Ｌ２が対称軸１の垂直軸Ｖを通過したとすると、描画点が検出ゾーンＥ１内のＰ０を出発して上記対称軸１の垂直軸ＶをＰ２で通過するまでに描かれた描画軌跡Ｌ２の形状、つまりユーザ１が描こうとする線対称図形の左半分の形状を識別する。そして、この識別された左半分の形状をもとに、図９（ｄ）のＬ３に示すような線対称図形の全体形状を復元する。次に、この復元された線対称図形の全体形状Ｌ３を一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより一筆書きで描かれた線対称図形の種類を推測する。図１０（ａ）〜（ｄ）は、この「対称軸１」を用いた図形予測処理により認識可能な図形の一例を示すものである。
【００５６】
一方、いま図１１（ｂ）に示すように直線を描いた描画点の軌跡Ｌ１が、反転してＰ１を経て上記対称軸２の水平軸Ｉを図１１（ｃ）に示すようにＰ２で通過したとする。そうすると、ジェスチャ開始点Ｐ０を出発してから点Ｐ１を経由して水平軸Ｉとの交差点Ｐ２に至るまでの描画軌跡Ｌ２の形状を識別する。そして、この識別された形状のうち上記水平軸Ｉより上側の図形の形状をもとに、図１１（ｄ）のＬ２に示すような線対称図形の全体形状を復元する。次に、この復元された線対称図形の全体形状Ｌ２を一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより一筆書きで描かれた線対称図形の種類を推測する。図１２（ａ）〜（ｄ）は、この「対称軸２」を用いた図形予測処理により認識可能な図形の一例を示すもので、左右対称の図形群と、上下対称の図形群をそれぞれ示している。
【００５７】
そうして上記一筆書きジェスチャ図形の予測処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、上記予測された図形の表示処理が以下のように行われる。すなわち、上記予測された図形の描画方向及び図形の種類を表す情報をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。
【００５８】
以上詳述したようにこの実施形態では、線対称図形予測部３３０を新たに備え、描画点がジェスチャ開始領域に入り検出ゾーンが設定された状態でジェスチャ認識領域中に対称軸作成判断領域を設定し、この状態で描画点の軌跡が当該対称軸作成判断領域内で直線を描いたか又は対称軸作成判断領域外で曲線を描いたかを判定して、対称軸１又は対称軸２を設定する。次に、上記描画点の軌跡が上記設定された第１又は第２の対称軸を通過したかどうかを判定し、通過した場合に当該描画点が検出ゾーンを出てから上記第１又は第２の対称軸を通過するまでに描かれた描画軌跡の形状を識別する。そして、この識別された形状をもとに線対称図形の全体形状を復元し、この復元された線対称図形の全体形状からジェスチャにより描かれた図形の種類を推測し、その結果をもとに表示画面を更新するようにしている。
【００５９】
したがって、ジェスチャ入力期間中において、描画途中の描画点の軌跡からユーザ１がジェスチャにより一筆書きで描こうとしている線対称の図形が推測され、ユーザ１に提示される。このため、ジェスチャによる入力操作を開始してからその入力図形が認識されるまでの時間が短縮され、これによりジェスチャ入力の応答性が向上する。また、ユーザ１はジェスチャ入力期間中に、自身の入力途中の図形を確認することができるようになり、これにより入力操作の不安が軽減される。
【００６０】
また、描画軌跡が対称軸作成判断領域ＤＺ内で直線状に描かれたか、又は対称軸作成判断領域ＤＺ外に出て非直線状に描かれたかを判定し、その判定結果に応じて対称軸１と対称軸２を選択的に設定するようにしている。このため、ユーザ１が検出ゾーンから垂直方向又は水平方向に直線状に指を動かした場合でも、また方向を問わず非直線状に指を動かした場合でも、これらの動きをそれぞれ的確に検出することが可能となる。
【００６１】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では本発明に係るジェスチャ認識装置の機能を情報処理装置に設けた場合を例に説明したが、同機能をテレビジョン受信機に設けてもよいし、セットトップボックスやビデオレーダなどに設けてもよい。その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００６２】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６３】
１…ユーザ、２…テレビジョン受信機、３…情報処理装置、４…カメラ、５…発光マーカ、１０…撮像画像取得ユニット、１１…カメラ画像取得部、２０…データベース、２１…カメラ画像蓄積部、２２…一筆書き図形蓄積部、２３…操作内容データベース、２４…表示画像・映像蓄積部、２５…指位置蓄積部、３０…一筆書きジェスチャ認識処理ユニット、３１０…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部、３１１…指位置検出部、３１２…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部、３２０…一筆書きジェスチャ認識処理部、３２１…一筆書きジェスチャ入力判断部、３２２…一筆書き図形の方向識別部、３２３…一筆書き図形識別部、３３０…線対称図形予測部、３３１…対称軸ＯＮ／ＯＦＦ部、３３２…対称軸通過判断部、３３３…一筆書き図形予測部、４０…リアルタイム処理発生ユニット、５０…表示画面処理ユニット、５１…表示画面処理部。
【特許請求の範囲】
【請求項１】
ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより一筆書きで描かれた線対称の図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを所定の周期で取り込む手段と、
前記画像データが取り込まれるごとに当該画像データから前記ジェスチャによる描画点の位置情報を検出し、この検出された描画点の位置情報を記憶手段に格納する手段と、
前記検出された描画点の位置情報が、予め設定された終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでのジェスチャ入力期間中に、前記記憶手段に格納された描画点の位置情報の集合をもとに描画途中の描画点の軌跡を検出し、この検出された描画軌跡に基づいて前記ユーザがジェスチャにより一筆書きで描こうとしている線対称の図形を推測する図形推測手段と、
前記推測された図形を前記ユーザに提示する手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
前記図形推測手段は、
予め設定されたジェスチャ認識領域内に対称軸作成判断領域を設定する手段と、
前記描画途中の描画点の軌跡が、前記設定された対称軸作成判断領域内に描かれているか又は対称軸作成判断領域外に描かれているかを判定する手段と、
前記描画点の軌跡が対称軸作成判断領域内に描かれていると判定された場合には当該対称軸作成判断領域に対し直交する第１の対称軸を設定し、前記描画点の軌跡が対称軸作成判断領域外に描かれていると判定された場合には当該対称軸作成判断領域に対し直交する軸と平行する軸とからなる第２の対称軸を設定する手段と、
前記描画点の軌跡が前記第１又は第２の対称軸を通過した場合に、前記検出された描画点が前記終始点入力判定領域外に出たのち当該第１又は第２の対称軸を通過するまでの当該描画点の軌跡の形状を識別し、この識別された描画点の軌跡の形状をもとにユーザがジェスチャにより一筆書きで描こうとしている線対称の図形を推測する手段と
を備えることを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
請求項１又は請求項２に記載のジェスチャ認識装置が具備する各手段の処理をコンピュータに実行させるプログラム。
【請求項１】
ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより一筆書きで描かれた線対称の図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを所定の周期で取り込む手段と、
前記画像データが取り込まれるごとに当該画像データから前記ジェスチャによる描画点の位置情報を検出し、この検出された描画点の位置情報を記憶手段に格納する手段と、
前記検出された描画点の位置情報が、予め設定された終始点入力判定領域外に出たのち当該終始点入力判定領域内に戻るまでのジェスチャ入力期間中に、前記記憶手段に格納された描画点の位置情報の集合をもとに描画途中の描画点の軌跡を検出し、この検出された描画軌跡に基づいて前記ユーザがジェスチャにより一筆書きで描こうとしている線対称の図形を推測する図形推測手段と、
前記推測された図形を前記ユーザに提示する手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項２】
前記図形推測手段は、
予め設定されたジェスチャ認識領域内に対称軸作成判断領域を設定する手段と、
前記描画途中の描画点の軌跡が、前記設定された対称軸作成判断領域内に描かれているか又は対称軸作成判断領域外に描かれているかを判定する手段と、
前記描画点の軌跡が対称軸作成判断領域内に描かれていると判定された場合には当該対称軸作成判断領域に対し直交する第１の対称軸を設定し、前記描画点の軌跡が対称軸作成判断領域外に描かれていると判定された場合には当該対称軸作成判断領域に対し直交する軸と平行する軸とからなる第２の対称軸を設定する手段と、
前記描画点の軌跡が前記第１又は第２の対称軸を通過した場合に、前記検出された描画点が前記終始点入力判定領域外に出たのち当該第１又は第２の対称軸を通過するまでの当該描画点の軌跡の形状を識別し、この識別された描画点の軌跡の形状をもとにユーザがジェスチャにより一筆書きで描こうとしている線対称の図形を推測する手段と
を備えることを特徴とする請求項１記載のジェスチャ認識装置。
【請求項３】
請求項１又は請求項２に記載のジェスチャ認識装置が具備する各手段の処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８０４３０（Ｐ２０１３−８０４３０Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２１１１９（Ｐ２０１１−２２１１１９）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]