ジェスチャ認識装置及び方法
【課題】指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにする。
【解決手段】カメラ4から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この輝点位置座標が画像フレーム中の第1のエリアEaと第2のエリアEcのいずれに含まれるかを判定する。そして、輝点位置座標が第1のエリアEaに含まれる場合にはフィンガジェスチャモードを設定し、第2のエリアEcに含まれる場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードでは、画像データをもとにフィンガジェスチャによる図形を認識する。一方、カメラトラッキングモードでは、パン・チルト駆動ユニット5によりカメラ4のパン・チルト角を制御してカメラ4の撮像方向をユーザの腕の動きに追従させ、この追従軌跡をもとに図形を認識する。
【解決手段】カメラ4から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この輝点位置座標が画像フレーム中の第1のエリアEaと第2のエリアEcのいずれに含まれるかを判定する。そして、輝点位置座標が第1のエリアEaに含まれる場合にはフィンガジェスチャモードを設定し、第2のエリアEcに含まれる場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードでは、画像データをもとにフィンガジェスチャによる図形を認識する。一方、カメラトラッキングモードでは、パン・チルト駆動ユニット5によりカメラ4のパン・チルト角を制御してカメラ4の撮像方向をユーザの腕の動きに追従させ、この追従軌跡をもとに図形を認識する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えばテレビジョン受信機や録画再生装置において、離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置に関する。
【背景技術】
【0002】
ディスプレイ装置の画面に表示された情報に対しポインティングするための代表的な技術としては、マウスやタブレットペン等のポインティングデバイスを用いるものが知られている。また、その他のポインティング技術として、リモートコントローラ(リモコン端末)を用いて遠隔的にポインティングを行うものや、ユーザのジェスチャを認識してポインティングを行うものも知られている。
【0003】
リモコン端末を用いた技術は、例えばリモコン端末に設けられた十字キー等のカーソルキーをユーザが指で操作して、その操作データを赤外線又は無線を介してディスプレイ装置へ送信し、ディスプレイ装置が上記操作データを受信することでポインティングを行うものとなっている。
【0004】
一方、ユーザのジェスチャを認識する技術は、例えばユーザの動きをカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにポインティングを行うものとなっている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−272598号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、ジェスチャにより空間に図形を描く場合、腕を固定した状態で手首を動かす場合、つまり指の動きを用いる場合と、腕の動きを用いる場合が想定される。しかし、指を用いる場合と腕を用いる場合を併用すると、その両方の動きをカメラにより同じ条件で認識することは難しい。なぜなら、ユーザの手首付近にカメラの焦点を当てて指の動きを拡大して撮像しようとすると、カメラの撮像視野角が狭くなるため腕の動きによるジェスチャが撮像視野を外れてしまい認識できなくなる。一方、腕の動きによるジェスチャを認識するために倍率を下げてカメラの撮像視野を広角に設定すると、指の動きによるジェスチャを認識しにくくなり、ジェスチャにより描かれる図形の軌跡を高精度に認識することが困難となるからである。
この発明は上記事情に着目してなされたもので、その目的とするところは、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためにこの発明の一観点は、ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、
上記撮像装置から取り込んだ画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する。そして、描画点が第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第1の認識モードを設定し、第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャを認識する第2の認識モードを設定する。上記第1の認識モードが設定された状態では、上記取り込まれた画像データをもとに上記指の動きを用いたジェスチャにより描画される図形を認識する。これに対し上記第2の認識モードが設定された状態では、上記検出された図形の描画点の位置に応じて上記撮像装置のパン・チルト角を制御することにより撮像方向を上記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してその検出結果をもとに上記腕の動きを用いたジェスチャにより描画される図形を認識するようにしたものである。
【0008】
すなわち、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識される。一方、腕の動きを用いた場合には、画像データから検出された図形の描画点の位置に応じて撮像装置のパン・チルト角が制御され、これにより撮像方向が上記腕の動きに追従する。そして、このときの撮像方向の追従軌跡から上記腕の動きによる描画図形が認識される。
したがって、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。
【0009】
また、この発明の一観点は以下のような各種態様を備えることを特徴とする。
第1の態様は、第1の認識処理を行う際に、取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出し、この検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較して、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、光学的マーカの位置を画像データ中から輝点として検出することができ、これにより指の動きにより描かれた図形を正確に認識することができる。
【0010】
第2の態様は、第2の認識処理を行う際に、一定の時間間隔で撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出して、この検出された座標値の集合を撮像方向の追従軌跡として記憶する。そして、この記憶された撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、カメラの撮像方向を表す座標値の集合が撮像方向の追従軌跡を表す情報として記憶される。このため、この記憶された情報を用いることで、追従軌跡を検出するための画像処理等をまったく行うことなく、腕の動きを用いたジェスチャを容易に認識することができる。
【0011】
第3の態様は、認識モードを判定する際に、第1のエリアと第2のエリアとの間に第3のエリアを設定して、検出された図形の描画点が第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定する。そして、描画点が第1のエリアに含まれると判定された場合には認識モードを第1の認識モードに変更し、描画点が第2のエリアに含まれると判定された場合には認識モードを第2の認識モードに変更し、描画点が第3のエリアに含まれると判定された場合には設定中の認識モードを維持するようにしたものである。
このようにすると、描画点が第1のエリアと第2のエリアの境界付近にある場合に、認識モードが第1の認識モードと第2の認識モードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することが可能となる。すなわち、認識モードの切換動作にチャタリング現象が発生しないようにすることができる。
【発明の効果】
【0012】
すなわちこの発明によれば、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】この発明の一実施形態に係わるジェスチャ認識装置のシステム構成を示す概略構成図。
【図2】図1にジェスチャ認識装置として示したテレビジョン受信機の機能構成を示すブロック図。
【図3】図2に示したテレビジョン受信機の全体の処理手順と処理内容を示すフローチャート。
【図4】図3に示した全体の処理手順のうちカメラ撮像動作の処理手順と処理内容を示すフローチャート。
【図5】図3に示した全体の処理手順のうちパン・チルト動作の処理手順と処理内容を示すフローチャート。
【図6】図3に示した全体の処理手順のうちモード切換処理の手順と処理内容を示すフローチャート。
【図7】図3に示した全体の処理手順のうちジェスチャ認識処理の手順と処理内容を示すフローチャート。
【図8】図3に示した全体の処理手順のうち表示画像制御処理の手順と処理内容を示すフローチャート。
【図9】図6に示したモード切換処理を説明するための図。
【図10】図6に示したモード切換処理を説明するための図。
【図11】図5に示したパン・チルト動作を説明するための図。
【図12】図7に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第1の方法を説明するための図。
【図13】図7に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第2の方法を説明するための図。
【図14】図7に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。
【発明を実施するための形態】
【0014】
以下、図面を参照してこの発明に係わる実施形態を説明する。
[構成]
図1は、この発明の一実施形態に係わるジェスチャ認識を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機2に撮像装置を付設している。撮像装置は、カメラ4と、パン・チルト駆動ユニット5とから構成される。カメラ4は、ユーザ1の指又は腕の動きを用いたジェスチャを撮像し、その撮像画像データをテレビジョン受信機2へ出力する。パン・チルト駆動ユニット5は、テレビジョン受信機2から出力されるパン・チルト制御信号に従い、上記カメラ4のパン・チルト角を可変する。なお、ユーザ1の指先には例えばLED(Light Emitting Diode)を用いた発光マーカ6が装着される。
【0015】
テレビジョン受信機2は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図2は、このテレビジョン受信機2の構成を上記カメラ4及びパン・チルト駆動ユニット5の構成と共に示すブロック図である。
【0016】
カメラ4は、カメラ撮像処理部41と、画像送信部42を備えている。カメラ撮像処理部41は、後述するリアルタイムイベント発行ユニット50からトリガ信号が発生されるごとにユーザのジェスチャを撮像する処理を行う。画像送信部42は、上記撮像処理により得られた画像データを後述するデータベース20内の画像情報蓄積部21に記憶させる処理を行う。
【0017】
パン・チルト駆動ユニット5は、パン・チルト駆動部51と、パン・チルト角度検出部52と、パン・チルト角度送信部53を備えている。パン・チルト駆動部51は、2軸の駆動系を有し、後述するジェスチャ認識ユニット30のカメラトラッキング制御部33から出力されるパン・チルト制御信号に従い、上記カメラ4のパン・チルト角を可変する。パン・チルト角度検出部52は、例えば上記パン・チルト駆動部51に取着されたセンサを用いて、上記カメラ4のパン・チルト角を検出する。パン・チルト角度送信部53は、上記パン・チルト角度検出部52により得られたパン・チルト角の検出データをデータベース20内のパン・チルト情報蓄積部25に記憶させる。
【0018】
テレビジョン受信機2は、ジェスチャ認識を行うために必要な機能として、データベース20と、ジェスチャ認識ユニット30と、表示画像制御ユニット40と、リアルタイムイベント発行ユニット50を備えている。
【0019】
データベース20は、画像情報蓄積部21と、ジェスチャコマンド変換テーブル部22と、表示画像データ蓄積部23と、図形パターン記憶部24と、パン・チルト情報蓄積部25を備えている。
【0020】
画像情報蓄積部21は、上記カメラ4の画像送信部42から出力された画像データを記憶するために用いられる。ジェスチャコマンド変換テーブル部22には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドを意味する図形パターンの種類とその終始点を表す情報が予め記憶されている。表示画像データ蓄積部23には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部24には、認識対象となる複数の図形形状の基本パターンが記憶される。パン・チルト情報蓄積部25は、上記パン・チルト駆動ユニット5のパン・チルト角度送信部53から送信されたパン・チルト角の検出データを記憶するために用いられる。
【0021】
ジェスチャ認識ユニット30は、モード切換部31と、フィンガジェスチャ認識部32と、カメラトラッキング制御部33と、カメラトラッキングジェスチャ認識部34を備えている。
【0022】
モード切換部31は、以下の処理機能を有する。
(1) 上記画像情報蓄積部21に新たな画像データ(画像フレーム)が蓄積されるごとに、当該画像フレームを読み出して当該画像フレームから図形の描画点を検出する。そして、この検出された図形の描画点が、当該画像フレーム中の中央部を含む範囲に設定された第1のエリアに含まれるか、この第1のエリアの周辺部に設定した第2のエリアに含まれるか、或いは上記第1のエリアと第2のエリアとの間に設定した第3のエリアに含まれるかを判定する処理。
【0023】
(2) 上記図形の描画点が第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第1の認識モードを設定し、上記描画点が第2のエリアに含まれると判定された場合に、腕の動きを用いたジェスチャを認識する第2の認識モードを設定する。また、上記描画点が第3のエリアに含まれると判定された場合には、設定中の認識モードを維持する処理。
【0024】
フィンガジェスチャ認識部32は、以下の処理機能を有する。
(1) 上記モード切換部31により第1の認識モードが設定された場合に、上記画像情報蓄積部21に蓄積された最新の画像フレームをもとに、指の動きを用いたジェスチャにより描画される図形の軌跡とその終始点を検出する処理。
(2) データベース20の図形パターン記憶部24に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記検出された図形がどの基本パターンに該当するかをパターンマッチングを用いて判定する処理。
(3)上記判定された図形パターンの種類と、その終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部22から該当する入力コマンドを読み出す処理。
【0025】
カメラトラッキング制御部33は、上記画像フレーム中の描画点の位置に応じて上記パン・チルト駆動ユニット5を制御することによりカメラ4のパン・チルト角を変化させ、これによりカメラ4の撮像方向をユーザの腕の動きに追従させる処理を行う。
【0026】
カメラトラッキングジェスチャ認識部34は、以下の処理機能を有する。
(1) データベース20のパン・チルト情報蓄積部25からカメラ4のパン・チルト角の検出データの集合を読み出し、この読み出されたパン・チルト角の検出データを座標値に変換することによりカメラ4の撮像方向の追従軌跡とその終始点を検出する処理。
(2) 上記検出された撮像方向の追従軌跡を、ユーザの腕の動きによるジェスチャにより描画された図形と見なし、この図形が、データベース20の図形パターン記憶部24に記憶された複数の基本図形パターンのどれに該当するかをパターンマッチングを用いて判定する処理。
(3) 上記判定された図形パターンの種類と、上記検出された終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部22から該当する入力コマンドを読み出す処理。
【0027】
表示画像制御ユニット40は、上記フィンガジェスチャ認識部32及びカメラトラッキングジェスチャ認識部34により生成された入力コマンドをもとに、表示画像データを更新する。そして、この更新された表示画像データを図示しないディスプレイに出力して表示させる処理を行う。
【0028】
リアルタイムイベント発行ユニット50は、例えばタイマを使用して、上記カメラ4等を予め決められた周期で動作させるためのトリガ信号を生成する。
【0029】
なお、上記ジェスチャ認識ユニット30、表示画像制御ユニット40及びリアルタイムイベント発行ユニット50の各機能は、データベース20内の図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット(CPU)に実行させることにより実現される。
【0030】
[動作]
次に、以上のように構成されたテレビジョン受信機2による、ジェスチャを用いた入力情報の認識動作を説明する。
図3は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機2のディスプレイに電子番組案内(Electronic Program Guide:EPG)情報を表示させ、このEPG情報に対しリモコン装置1から番組の選択操作を行う場合を例にとって説明する。
【0031】
(1)カメラによるジェスチャの撮像
リアルタイムイベント発行ユニット50では、ステップS1により周期的にトリガ信号を発生している。具体的には、ステップS11によりタイマをリセットして計時動作を開始させ、ステップS12によりこのタイマの計時値Timer が1msecに達したか否かを判定する。そして、タイマの計時値Timer が1msecするごとに、ステップS13によりタイマの計時値Timer をリセットして計時動作を開始させると共にトリガ信号を発生する。
【0032】
上記リアルタイムイベント発行ユニット50からトリガ信号が発生されると、ステップS2においてカメラ4が起動し以下のように撮像処理が行われる。図4はその処理手順と処理内容を示すフローチャートである。すなわち、ステップS21によりカメラ撮影処理部41が撮像処理を行い、この撮像処理により得られた画像フレームをステップS22により画像送信部42がテレビジョン受信機2へ出力する。テレビジョン受信機2は、上記カメラ4から出力された画像フレームを図示しないカメラインタフェースで受信すると、この受信された画像フレームをステップS3によりデータベース20内の画像情報蓄積部21に記憶させる。
【0033】
また上記トリガ信号が発生されると、ステップS4によりパン・チルト駆動ユニット5が動作し、カメラ4のパン・チルト角を予め設定された初期位置に設定する。このとき初期位置は、ユーザが指の動きによりジェスチャを行う場合の手首の位置にフォーカスが当たるように設定される。また、ズーム倍率は指の動きによるジェスチャを必要十分なサイズで撮像可能な倍率に設定される。したがって、上記画像情報蓄積部21には、ユーザの手首の位置を中心にユーザのジェスチャを撮像した最初の画像フレームが記憶される。
【0034】
(2)モード切換処理
さて、上記画像情報蓄積部21に最初の画像フレームが記憶されると、ステップS6においてジェスチャ認識ユニット30のモード切換部31によりジェスチャ認識モードの切換処理が以下のように行われる。図6はその処理手順と処理内容を示すフローチャートである。
【0035】
すなわち、モード切換部31は、先ずステップS61により画像情報蓄積部21から最新の画像フレームを読み出し、ステップS62において上記読み出された最新の画像フレームから指の位置座標を検出する。このとき、ユーザは図1に示したように指に発光マーカ6を付けているため、上記指の位置は画像フレーム中において輝点として検出される。次にモード切換部31は、ステップS63において上記輝点位置座標が画像フレーム内のどのエリアに存在するかを判定する。具体的には、図9に示すように画像フレーム内の中央部に第1のエリアEaを設定すると共に、画像フレームの最外周部に第2のエリアEc設定し、これら第1及び第2のエリアEa,Ec間に第3のエリアEbを設定する。そして、上記輝点位置座標が上記第1、第2及び第3のエリアEa,Ec,Ebのうちの何れに存在するかを判定する。
【0036】
上記判定の結果、輝点位置座標が第1のエリアEaに存在していたとする。この場合モード切換部31は、ステップS64に移行して認識モードをフィンガジェスチャモード(第1の認識モード)に設定する。これに対し、上記輝点位置座標が第2のエリアEbに存在していたとすると、モード切換部31はステップS66に移行してここで認識モードをカメラトラッキングモード(第2の認識モード)に設定する。なお、上記輝点位置座標が第3のエリアEcに存在していた場合には、現在設定中の第1又は第2の認識モードをステップS68において維持する。
【0037】
以上のモード切換処理は、カメラ4により1msec 周期で新たな画像フレームが得られるごとに実行される。したがって、いま例えばユーザが指の動きによるジェスチャを行っているものとすると、ユーザの指の位置を表す輝点位置座標は第1のエリアEa内に存在し続けるため、認識モードはフィンガジェスチャモードに保持される。
【0038】
(3)フィンガジェスチャモードによるジェスチャ認識処理
フィンガジェスチャモードが設定されている状態では、カメラ4により1msec 周期でユーザの指の動きを用いたジェスチャが撮像されるごとに、その画像フレームが画像情報蓄積部21に順次蓄積される。フィンガジェスチャ認識部32は、上記画像情報蓄積部21に新たな画像フレームが記憶されるごとに、以下のようにジェスチャ認識処理を行う。図7はその処理手順と処理内容を示すフローチャートである。
【0039】
すなわち、フィンガジェスチャ認識部32は、先ずステップS71において終始点一致検出処理を実行する。すなわち、終始点一致検出部31が、画像蓄積部21から画像フレームを読み出し、この読み出した画像フレームから、ユーザが指の動きによるジェスチャにより空間上に描画した図形の終始点、つまり座標値が一致する2つの点を検出する。
【0040】
このとき、終始点の検出手法には例えば次の2つの手法が考えられる。第1の検出手法は、図12(a)〜(c)に示すように、ユーザが空間上で指の発光マーカ6を点灯させた点Aから指を移動させて図形Bを描き、指の位置が上記点Aに戻ったとき、この点Aを終始点として検出するものである。第2の検出手法は、図13(a)〜(c)に示すようにユーザが空間上で指を動かして図形を描いた場合に、発光マーカ6の輝点の移動軌跡を追跡して当該移動軌跡が交差する点を終始点Aとして検出するものである。
【0041】
ジェスチャ認識ユニット30は、上記終始点Aが検出されると、ユーザが空間上で描画した図形は番組選択操作を表す図形としての条件を満たすと判断し、ステップS72における図形追跡処理に移行する。これに対し、例えば一定時間が経過しても終始点Aが検出されなかった場合には、上記描画された図形は選択操作の条件を満たさないと判断し、そのままジェスチャ認識処理を終了する。なお、ジェスチャ認識処理を終了した場合ジェスチャ認識ユニット30は、画像蓄積部21に記憶された上記判定対象の画像フレームの集合を消去する。
【0042】
ジェスチャ認識ユニット30は、次にステップS72において図形追跡処理を以下のように実行する。すなわち、上記終始点一致検出処理(ステップS71)により検出された終始点Aを構成する終点から始点までの輝点位置座標を読み出し、この読み出した輝点位置座標をもとに図形の描画軌跡を追跡する処理を行う。
【0043】
上記図形データの描画軌跡が検出されると、ジェスチャ認識ユニット30は続いてステップS73において図形判断処理を実行する。すなわち、データベース20の図形パターン記憶部24から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理(ステップS72)により検出された図形の描画軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記指の動きにより空間上に描かれた図形の形状の種類として認識する。
【0044】
ジェスチャ認識ユニット30は、次にステップS74に移行して以下のように図形位置判断処理を実行する。すなわち、先ず上記終始点一致検出処理(ステップS71)により検出された終始点Aを中心に、描画空間の上下左右各方向に4つの方向領域を設定する。そして、上記図形追跡処理(ステップS72)により検出された図形の描画軌跡の位置座標が上記4つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Aが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。
【0045】
上記図形の描画位置が判定されると、ジェスチャ認識ユニット30は続いてステップS75において方向キー検出処理を実行し、上記図形位置判断処理(ステップS74)により判定された図形の描画位置を上下左右の4つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する入力コマンドを生成する。
【0046】
例えば、図14(a)に示すように図形の描画位置が終始点Aに対し左方向に位置する場合には左方向キーを示す入力コマンドが生成され、反対に右方向に位置する場合には右方向キーを示す入力コマンドが生成される。同様に、図形の描画位置が終始点Aに対し上方向に位置する場合には上方向キーを示す入力コマンドが生成され、反対に下方向に位置する場合には下方向キーを示す入力コマンドが生成される。なお、上記指の動きによるジェスチャにより空間上に描画された図形の向きは、カメラ4で撮像すると左右が反転する。このため、この画像データから得られる方向キーの判定結果は左右方向を反転させる必要がある。
【0047】
なお、先に述べた図形位置判断処理(ステップS74)では、図形の描画位置が4方向のいずれに含まれるかを判定する場合について例示した。しかし、それに限らず上下左右斜め方向の8つの方向領域を設定し、検出された図形の描画位置が上記8つの方向領域のいずれに含まれるかを判定するようにしてもよい。
【0048】
また、以上述べたフィンガジェスチャモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図9に示した第1のエリアEaから第3のエリアEbに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第1のエリアEaから第3のエリアEc方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードから後述するカメラトラッキングモードに変化することはなく、これによりフィンガジェスチャモードによる認識処理は安定に行われる。
【0049】
(4)カメラトラッキングモードによるジェスチャ認識処理
一方、ユーザが指の動きによるジェスチャを止めて、腕の動きによるジェスチャを行ったとする。そうすると、例えば図10に示すようにユーザの指の位置を表す輝点位置座標Mcが第2のエリアEcに入ったことが検出された時点で、ステップS66において認識モードがカメラトラッキングモードに設定される。カメラトラッキングモードが設定されると、ステップS67においてカメラトラッキング制御部33が起動し、以後このカメラトラッキング制御部33の制御の下で、ユーザの腕の動きに対しカメラ4の撮像方向を追従させる、いわゆるカメラトラッキング制御が実行される。
【0050】
すなわち、カメラトラッキング制御部33は、上記検出された輝点位置座標Mcと第1のエリアEaの中心座標Oとを結ぶ線分上で第3のエリアEbを通過する点Mbをターゲット位置座標として算出する。そして、この算出されたターゲット位置座標Mbにカメラ4の撮像方向の中心(焦点)を設定するために必要なカメラ4のパン・チルト制御量を算出し、この制御量に対応するパン・チルト制御信号を生成してパン・チルト駆動ユニット5に与える。
【0051】
この結果、パン・チルト駆動ユニット5では、図5に示すように先ずステップS41においてパン・チルト駆動部51が動作し、上記パン・チルト制御信号に従いカメラ4のパン・チルト角を可変する。これによりカメラ4の撮像方向がユーザの指に付けた発光マーカ6の位置に近づくように制御される。
【0052】
図11はこのパン・チルト制御動作を説明するためのもので、パン・チルト駆動ユニット5によりカメラ4を矢印a方向に回動させることによりカメラ4のパン角θを制御し、またパン・チルト駆動ユニット5によりカメラ4を矢印b方向に回動させることによりカメラ4のチルト角φを制御する。
【0053】
以後、カメラトラッキングモードが設定されている状態が維持されている限り、カメラトラッキング制御部33の制御の下で、各画像フレーム中における発光マーカ6の輝点位置座標Maをもとにターゲット位置座標Mbが算出され、このターゲット位置座標Mbに基づいてカメラ4のパン・チルト角θ,φが制御される。かくして、カメラ4の撮像方向はユーザの腕の動きに追従する。
【0054】
上記カメラトラッキングモードが設定されている状態で、カメラトラッキングジェスチャ認識部34はステップS8においてユーザの腕の動きによるジェスチャを認識する処理を以下のように実行する。
すなわち、先ずカメラトラッキングモードが最初に設定された時点で、データベース20内のパン・チルト情報蓄積部25に記憶されているパン・チルト角の検出データを消去する。この結果、以後パン・チルト情報蓄積部25には、図5のステップS42,S43によりパン・チルト駆動ユニット50のパン・チルト角度取得部52により検出され、かつパン・チルト角度送信部53により送信されたパン・チルト角の検出データが順次記憶される。
【0055】
次にカメラトラッキングジェスチャ認識部34は、上記パン・チルト情報蓄積部25からカメラ4のパン・チルト角の検出データを読み出し、この読み出されたパン・チルト角の検出データを座標値に変換して、この変換されたパン・チルト座標をもとに、ユーザの腕の動きを用いたジェスチャにより空間上に描画された図形の種類とその終始点を検出する処理を行う。このときの図形の種類とその終始点の検出処理も、検出処理対象のデータが輝点位置座標から上記パン・チルト座標に代わるだけで、先に述べたフィンガジェスチャ認識処理と同様に図7に示した処理手順に従い行われる。
【0056】
なお、以上のカメラトラッキングモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図9に示した第2のエリアEcから第3のエリアEbに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第2のエリアEcから第1のエリアEa方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードに変化することはなく、これによりカメラトラッキングモードによる認識処理は安定に行われる。
【0057】
(5)表示画像制御処理
上記フィンガジェスチャモード或いはカメラトラッキングモードにおけるジェスチャ認識処理が終了すると、続いてステップS9において表示画像制御ユニット40が動作し、この表示画像制御ユニット40の制御の下で以下のように表示画像の更新処理が行われる。図8はその制御手順と制御内容を示すフローチャートである。
【0058】
すなわち、先ずステップS92において、先に述べた図形位置判断処理(ステップS74)により生成された入力コマンドをもとに、当該入力コマンドが意味する表示処理内容を表す表示画像データを更新する処理がなされる。例えば、上記図形位置判断処理(ステップS74)により生成された入力コマンドの意味が左方向キーを示すものであれば、EPG情報におけるカーソルの位置を左方向へ1列分シフトさせた画像に更新される。反対に入力コマンドの意味が右方向キーを示すものであれば、EPG情報におけるカーソルの位置を右向へ1列分シフトさせた画像に更新される。同様に、入力コマンドの意味が上又は下キーを示すものであれば、EPG情報におけるカーソルの位置をそれぞれ上方向又は下方向へ1列分シフトさせた画像に更新される。なお、8方向キーの場合も同様にEPGの表示画像が更新される。
【0059】
したがって、ユーザは自身の指又は腕の動きを用いたジェスチャにより、図1に示した4つの円のいずれかを選択的に空間上に描画することで、EPG情報におけるカーソル位置を所望の番組の位置にステップ移動させることが可能となる。
【0060】
以上詳述したようにこの実施形態では、カメラ4から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この検出された輝点位置座標が当該画像フレーム中の第1のエリアEaに含まれるか或いは当該第1のエリアEaの周辺に設定した第2のエリアEcに含まれるかを判定する。そして、描画点が第1のエリアEaに含まれると判定された場合にはフィンガジェスチャモードを設定し、第2のエリアEcに含まれると判定された場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードが設定された状態では、画像データからフィンガジェスチャにより描画される図形を認識する。一方、カメラトラッキングモードが設定された状態では、上記輝点位置座標に応じてパン・チルト駆動ユニット5を動作させ、これによりカメラ4のパン・チルト角を制御してカメラ4の撮像方向をユーザの腕の動きに追従させて、この撮像方向の追従軌跡をもとに描画図形を認識するようにしている。
【0061】
したがって、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識され、一方腕の動きを用いた場合にはカメラ4の撮像方向がユーザの腕の動きに追従するように制御されてその過程で検出されるパン・チルト角の変化から上記腕の動きによる描画図形が認識される。このため、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。
【0062】
またこの実施形態では、第1のエリアEaと第2のエリアEcとの間に第3のエリアEbを設定し、検出された輝点位置座標が第3のエリアEbに含まれると判定された場合には設定中の認識モードを維持するようにしている。このため、輝点位置座標が第1のエリアEaと第2のエリアEcとの境界付近にある場合に、認識モードがフィンガジェスチャとカメラトラッキングモードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することができる。
【0063】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではモード判定のためのエリアを図9に示したように矩形形状に設定したが、画像フレームの中心Oを中心として円形又は楕円形のエリアを同心円状に設定するようにしてもよい。ユーザがジェスチャにより描く図形が円形の場合、上記のように判定エリアも円形又は楕円形にした方が描画位置にかかわらず均一な条件でモードを判定することができる。
【0064】
前記実施形態では、図形の終始点Aに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。
【0065】
例えば、ユーザが図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの1回の移動ステップ量を大きくする。図形の描画速度又は描画時間は、図形データの受信開始タイミング及び受信終了タイミングをそれぞれ検出するか、又は終始点Aを構成する始点及び終点の検出タイミングを検出し、この検出した各タイミングをもとに計算により求めることができる。なお、この場合も、カーソルの移動方向については、前記実施形態で述べたように描画された図形の終始点Aに対する図形の描画位置の方向により決まる。
【0066】
また、前記実施形態では、テレビジョン受信機2に表示されるEPG情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【0067】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0068】
1…ユーザ、2…テレビジョン受信機、3…通信回線、4…カメラ、5…パン・チルト駆動ユニット、6…発光マーカ、20…データベース、21…信号蓄積部、22…ジェスチャコマンド変換テーブル部、23…表示画像データ蓄積部、24…図形パターン記憶部、25…パン・チルト情報蓄積部、30…ジェスチャ認識ユニット、31…モード切換部、32…フィンガジェスチャ認識部、33…カメラトラッキング制御部、34…カメラトラッキングジェスチャ認識部、40…表示画像制御ユニット、41…カメラ撮像処理部、42…画像送信部、50…リアルタイムイベント発行ユニット、51…パン・チルト駆動部、52…パン・チルト角度検出部、53…パン・チルト角度送信部。
【技術分野】
【0001】
この発明は、例えばテレビジョン受信機や録画再生装置において、離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置に関する。
【背景技術】
【0002】
ディスプレイ装置の画面に表示された情報に対しポインティングするための代表的な技術としては、マウスやタブレットペン等のポインティングデバイスを用いるものが知られている。また、その他のポインティング技術として、リモートコントローラ(リモコン端末)を用いて遠隔的にポインティングを行うものや、ユーザのジェスチャを認識してポインティングを行うものも知られている。
【0003】
リモコン端末を用いた技術は、例えばリモコン端末に設けられた十字キー等のカーソルキーをユーザが指で操作して、その操作データを赤外線又は無線を介してディスプレイ装置へ送信し、ディスプレイ装置が上記操作データを受信することでポインティングを行うものとなっている。
【0004】
一方、ユーザのジェスチャを認識する技術は、例えばユーザの動きをカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにポインティングを行うものとなっている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−272598号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、ジェスチャにより空間に図形を描く場合、腕を固定した状態で手首を動かす場合、つまり指の動きを用いる場合と、腕の動きを用いる場合が想定される。しかし、指を用いる場合と腕を用いる場合を併用すると、その両方の動きをカメラにより同じ条件で認識することは難しい。なぜなら、ユーザの手首付近にカメラの焦点を当てて指の動きを拡大して撮像しようとすると、カメラの撮像視野角が狭くなるため腕の動きによるジェスチャが撮像視野を外れてしまい認識できなくなる。一方、腕の動きによるジェスチャを認識するために倍率を下げてカメラの撮像視野を広角に設定すると、指の動きによるジェスチャを認識しにくくなり、ジェスチャにより描かれる図形の軌跡を高精度に認識することが困難となるからである。
この発明は上記事情に着目してなされたもので、その目的とするところは、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するためにこの発明の一観点は、ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、
上記撮像装置から取り込んだ画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する。そして、描画点が第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第1の認識モードを設定し、第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャを認識する第2の認識モードを設定する。上記第1の認識モードが設定された状態では、上記取り込まれた画像データをもとに上記指の動きを用いたジェスチャにより描画される図形を認識する。これに対し上記第2の認識モードが設定された状態では、上記検出された図形の描画点の位置に応じて上記撮像装置のパン・チルト角を制御することにより撮像方向を上記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してその検出結果をもとに上記腕の動きを用いたジェスチャにより描画される図形を認識するようにしたものである。
【0008】
すなわち、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識される。一方、腕の動きを用いた場合には、画像データから検出された図形の描画点の位置に応じて撮像装置のパン・チルト角が制御され、これにより撮像方向が上記腕の動きに追従する。そして、このときの撮像方向の追従軌跡から上記腕の動きによる描画図形が認識される。
したがって、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。
【0009】
また、この発明の一観点は以下のような各種態様を備えることを特徴とする。
第1の態様は、第1の認識処理を行う際に、取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出し、この検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較して、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、光学的マーカの位置を画像データ中から輝点として検出することができ、これにより指の動きにより描かれた図形を正確に認識することができる。
【0010】
第2の態様は、第2の認識処理を行う際に、一定の時間間隔で撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出して、この検出された座標値の集合を撮像方向の追従軌跡として記憶する。そして、この記憶された撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、カメラの撮像方向を表す座標値の集合が撮像方向の追従軌跡を表す情報として記憶される。このため、この記憶された情報を用いることで、追従軌跡を検出するための画像処理等をまったく行うことなく、腕の動きを用いたジェスチャを容易に認識することができる。
【0011】
第3の態様は、認識モードを判定する際に、第1のエリアと第2のエリアとの間に第3のエリアを設定して、検出された図形の描画点が第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定する。そして、描画点が第1のエリアに含まれると判定された場合には認識モードを第1の認識モードに変更し、描画点が第2のエリアに含まれると判定された場合には認識モードを第2の認識モードに変更し、描画点が第3のエリアに含まれると判定された場合には設定中の認識モードを維持するようにしたものである。
このようにすると、描画点が第1のエリアと第2のエリアの境界付近にある場合に、認識モードが第1の認識モードと第2の認識モードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することが可能となる。すなわち、認識モードの切換動作にチャタリング現象が発生しないようにすることができる。
【発明の効果】
【0012】
すなわちこの発明によれば、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】この発明の一実施形態に係わるジェスチャ認識装置のシステム構成を示す概略構成図。
【図2】図1にジェスチャ認識装置として示したテレビジョン受信機の機能構成を示すブロック図。
【図3】図2に示したテレビジョン受信機の全体の処理手順と処理内容を示すフローチャート。
【図4】図3に示した全体の処理手順のうちカメラ撮像動作の処理手順と処理内容を示すフローチャート。
【図5】図3に示した全体の処理手順のうちパン・チルト動作の処理手順と処理内容を示すフローチャート。
【図6】図3に示した全体の処理手順のうちモード切換処理の手順と処理内容を示すフローチャート。
【図7】図3に示した全体の処理手順のうちジェスチャ認識処理の手順と処理内容を示すフローチャート。
【図8】図3に示した全体の処理手順のうち表示画像制御処理の手順と処理内容を示すフローチャート。
【図9】図6に示したモード切換処理を説明するための図。
【図10】図6に示したモード切換処理を説明するための図。
【図11】図5に示したパン・チルト動作を説明するための図。
【図12】図7に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第1の方法を説明するための図。
【図13】図7に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第2の方法を説明するための図。
【図14】図7に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。
【発明を実施するための形態】
【0014】
以下、図面を参照してこの発明に係わる実施形態を説明する。
[構成]
図1は、この発明の一実施形態に係わるジェスチャ認識を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機2に撮像装置を付設している。撮像装置は、カメラ4と、パン・チルト駆動ユニット5とから構成される。カメラ4は、ユーザ1の指又は腕の動きを用いたジェスチャを撮像し、その撮像画像データをテレビジョン受信機2へ出力する。パン・チルト駆動ユニット5は、テレビジョン受信機2から出力されるパン・チルト制御信号に従い、上記カメラ4のパン・チルト角を可変する。なお、ユーザ1の指先には例えばLED(Light Emitting Diode)を用いた発光マーカ6が装着される。
【0015】
テレビジョン受信機2は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図2は、このテレビジョン受信機2の構成を上記カメラ4及びパン・チルト駆動ユニット5の構成と共に示すブロック図である。
【0016】
カメラ4は、カメラ撮像処理部41と、画像送信部42を備えている。カメラ撮像処理部41は、後述するリアルタイムイベント発行ユニット50からトリガ信号が発生されるごとにユーザのジェスチャを撮像する処理を行う。画像送信部42は、上記撮像処理により得られた画像データを後述するデータベース20内の画像情報蓄積部21に記憶させる処理を行う。
【0017】
パン・チルト駆動ユニット5は、パン・チルト駆動部51と、パン・チルト角度検出部52と、パン・チルト角度送信部53を備えている。パン・チルト駆動部51は、2軸の駆動系を有し、後述するジェスチャ認識ユニット30のカメラトラッキング制御部33から出力されるパン・チルト制御信号に従い、上記カメラ4のパン・チルト角を可変する。パン・チルト角度検出部52は、例えば上記パン・チルト駆動部51に取着されたセンサを用いて、上記カメラ4のパン・チルト角を検出する。パン・チルト角度送信部53は、上記パン・チルト角度検出部52により得られたパン・チルト角の検出データをデータベース20内のパン・チルト情報蓄積部25に記憶させる。
【0018】
テレビジョン受信機2は、ジェスチャ認識を行うために必要な機能として、データベース20と、ジェスチャ認識ユニット30と、表示画像制御ユニット40と、リアルタイムイベント発行ユニット50を備えている。
【0019】
データベース20は、画像情報蓄積部21と、ジェスチャコマンド変換テーブル部22と、表示画像データ蓄積部23と、図形パターン記憶部24と、パン・チルト情報蓄積部25を備えている。
【0020】
画像情報蓄積部21は、上記カメラ4の画像送信部42から出力された画像データを記憶するために用いられる。ジェスチャコマンド変換テーブル部22には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドを意味する図形パターンの種類とその終始点を表す情報が予め記憶されている。表示画像データ蓄積部23には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部24には、認識対象となる複数の図形形状の基本パターンが記憶される。パン・チルト情報蓄積部25は、上記パン・チルト駆動ユニット5のパン・チルト角度送信部53から送信されたパン・チルト角の検出データを記憶するために用いられる。
【0021】
ジェスチャ認識ユニット30は、モード切換部31と、フィンガジェスチャ認識部32と、カメラトラッキング制御部33と、カメラトラッキングジェスチャ認識部34を備えている。
【0022】
モード切換部31は、以下の処理機能を有する。
(1) 上記画像情報蓄積部21に新たな画像データ(画像フレーム)が蓄積されるごとに、当該画像フレームを読み出して当該画像フレームから図形の描画点を検出する。そして、この検出された図形の描画点が、当該画像フレーム中の中央部を含む範囲に設定された第1のエリアに含まれるか、この第1のエリアの周辺部に設定した第2のエリアに含まれるか、或いは上記第1のエリアと第2のエリアとの間に設定した第3のエリアに含まれるかを判定する処理。
【0023】
(2) 上記図形の描画点が第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第1の認識モードを設定し、上記描画点が第2のエリアに含まれると判定された場合に、腕の動きを用いたジェスチャを認識する第2の認識モードを設定する。また、上記描画点が第3のエリアに含まれると判定された場合には、設定中の認識モードを維持する処理。
【0024】
フィンガジェスチャ認識部32は、以下の処理機能を有する。
(1) 上記モード切換部31により第1の認識モードが設定された場合に、上記画像情報蓄積部21に蓄積された最新の画像フレームをもとに、指の動きを用いたジェスチャにより描画される図形の軌跡とその終始点を検出する処理。
(2) データベース20の図形パターン記憶部24に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記検出された図形がどの基本パターンに該当するかをパターンマッチングを用いて判定する処理。
(3)上記判定された図形パターンの種類と、その終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部22から該当する入力コマンドを読み出す処理。
【0025】
カメラトラッキング制御部33は、上記画像フレーム中の描画点の位置に応じて上記パン・チルト駆動ユニット5を制御することによりカメラ4のパン・チルト角を変化させ、これによりカメラ4の撮像方向をユーザの腕の動きに追従させる処理を行う。
【0026】
カメラトラッキングジェスチャ認識部34は、以下の処理機能を有する。
(1) データベース20のパン・チルト情報蓄積部25からカメラ4のパン・チルト角の検出データの集合を読み出し、この読み出されたパン・チルト角の検出データを座標値に変換することによりカメラ4の撮像方向の追従軌跡とその終始点を検出する処理。
(2) 上記検出された撮像方向の追従軌跡を、ユーザの腕の動きによるジェスチャにより描画された図形と見なし、この図形が、データベース20の図形パターン記憶部24に記憶された複数の基本図形パターンのどれに該当するかをパターンマッチングを用いて判定する処理。
(3) 上記判定された図形パターンの種類と、上記検出された終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部22から該当する入力コマンドを読み出す処理。
【0027】
表示画像制御ユニット40は、上記フィンガジェスチャ認識部32及びカメラトラッキングジェスチャ認識部34により生成された入力コマンドをもとに、表示画像データを更新する。そして、この更新された表示画像データを図示しないディスプレイに出力して表示させる処理を行う。
【0028】
リアルタイムイベント発行ユニット50は、例えばタイマを使用して、上記カメラ4等を予め決められた周期で動作させるためのトリガ信号を生成する。
【0029】
なお、上記ジェスチャ認識ユニット30、表示画像制御ユニット40及びリアルタイムイベント発行ユニット50の各機能は、データベース20内の図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット(CPU)に実行させることにより実現される。
【0030】
[動作]
次に、以上のように構成されたテレビジョン受信機2による、ジェスチャを用いた入力情報の認識動作を説明する。
図3は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機2のディスプレイに電子番組案内(Electronic Program Guide:EPG)情報を表示させ、このEPG情報に対しリモコン装置1から番組の選択操作を行う場合を例にとって説明する。
【0031】
(1)カメラによるジェスチャの撮像
リアルタイムイベント発行ユニット50では、ステップS1により周期的にトリガ信号を発生している。具体的には、ステップS11によりタイマをリセットして計時動作を開始させ、ステップS12によりこのタイマの計時値Timer が1msecに達したか否かを判定する。そして、タイマの計時値Timer が1msecするごとに、ステップS13によりタイマの計時値Timer をリセットして計時動作を開始させると共にトリガ信号を発生する。
【0032】
上記リアルタイムイベント発行ユニット50からトリガ信号が発生されると、ステップS2においてカメラ4が起動し以下のように撮像処理が行われる。図4はその処理手順と処理内容を示すフローチャートである。すなわち、ステップS21によりカメラ撮影処理部41が撮像処理を行い、この撮像処理により得られた画像フレームをステップS22により画像送信部42がテレビジョン受信機2へ出力する。テレビジョン受信機2は、上記カメラ4から出力された画像フレームを図示しないカメラインタフェースで受信すると、この受信された画像フレームをステップS3によりデータベース20内の画像情報蓄積部21に記憶させる。
【0033】
また上記トリガ信号が発生されると、ステップS4によりパン・チルト駆動ユニット5が動作し、カメラ4のパン・チルト角を予め設定された初期位置に設定する。このとき初期位置は、ユーザが指の動きによりジェスチャを行う場合の手首の位置にフォーカスが当たるように設定される。また、ズーム倍率は指の動きによるジェスチャを必要十分なサイズで撮像可能な倍率に設定される。したがって、上記画像情報蓄積部21には、ユーザの手首の位置を中心にユーザのジェスチャを撮像した最初の画像フレームが記憶される。
【0034】
(2)モード切換処理
さて、上記画像情報蓄積部21に最初の画像フレームが記憶されると、ステップS6においてジェスチャ認識ユニット30のモード切換部31によりジェスチャ認識モードの切換処理が以下のように行われる。図6はその処理手順と処理内容を示すフローチャートである。
【0035】
すなわち、モード切換部31は、先ずステップS61により画像情報蓄積部21から最新の画像フレームを読み出し、ステップS62において上記読み出された最新の画像フレームから指の位置座標を検出する。このとき、ユーザは図1に示したように指に発光マーカ6を付けているため、上記指の位置は画像フレーム中において輝点として検出される。次にモード切換部31は、ステップS63において上記輝点位置座標が画像フレーム内のどのエリアに存在するかを判定する。具体的には、図9に示すように画像フレーム内の中央部に第1のエリアEaを設定すると共に、画像フレームの最外周部に第2のエリアEc設定し、これら第1及び第2のエリアEa,Ec間に第3のエリアEbを設定する。そして、上記輝点位置座標が上記第1、第2及び第3のエリアEa,Ec,Ebのうちの何れに存在するかを判定する。
【0036】
上記判定の結果、輝点位置座標が第1のエリアEaに存在していたとする。この場合モード切換部31は、ステップS64に移行して認識モードをフィンガジェスチャモード(第1の認識モード)に設定する。これに対し、上記輝点位置座標が第2のエリアEbに存在していたとすると、モード切換部31はステップS66に移行してここで認識モードをカメラトラッキングモード(第2の認識モード)に設定する。なお、上記輝点位置座標が第3のエリアEcに存在していた場合には、現在設定中の第1又は第2の認識モードをステップS68において維持する。
【0037】
以上のモード切換処理は、カメラ4により1msec 周期で新たな画像フレームが得られるごとに実行される。したがって、いま例えばユーザが指の動きによるジェスチャを行っているものとすると、ユーザの指の位置を表す輝点位置座標は第1のエリアEa内に存在し続けるため、認識モードはフィンガジェスチャモードに保持される。
【0038】
(3)フィンガジェスチャモードによるジェスチャ認識処理
フィンガジェスチャモードが設定されている状態では、カメラ4により1msec 周期でユーザの指の動きを用いたジェスチャが撮像されるごとに、その画像フレームが画像情報蓄積部21に順次蓄積される。フィンガジェスチャ認識部32は、上記画像情報蓄積部21に新たな画像フレームが記憶されるごとに、以下のようにジェスチャ認識処理を行う。図7はその処理手順と処理内容を示すフローチャートである。
【0039】
すなわち、フィンガジェスチャ認識部32は、先ずステップS71において終始点一致検出処理を実行する。すなわち、終始点一致検出部31が、画像蓄積部21から画像フレームを読み出し、この読み出した画像フレームから、ユーザが指の動きによるジェスチャにより空間上に描画した図形の終始点、つまり座標値が一致する2つの点を検出する。
【0040】
このとき、終始点の検出手法には例えば次の2つの手法が考えられる。第1の検出手法は、図12(a)〜(c)に示すように、ユーザが空間上で指の発光マーカ6を点灯させた点Aから指を移動させて図形Bを描き、指の位置が上記点Aに戻ったとき、この点Aを終始点として検出するものである。第2の検出手法は、図13(a)〜(c)に示すようにユーザが空間上で指を動かして図形を描いた場合に、発光マーカ6の輝点の移動軌跡を追跡して当該移動軌跡が交差する点を終始点Aとして検出するものである。
【0041】
ジェスチャ認識ユニット30は、上記終始点Aが検出されると、ユーザが空間上で描画した図形は番組選択操作を表す図形としての条件を満たすと判断し、ステップS72における図形追跡処理に移行する。これに対し、例えば一定時間が経過しても終始点Aが検出されなかった場合には、上記描画された図形は選択操作の条件を満たさないと判断し、そのままジェスチャ認識処理を終了する。なお、ジェスチャ認識処理を終了した場合ジェスチャ認識ユニット30は、画像蓄積部21に記憶された上記判定対象の画像フレームの集合を消去する。
【0042】
ジェスチャ認識ユニット30は、次にステップS72において図形追跡処理を以下のように実行する。すなわち、上記終始点一致検出処理(ステップS71)により検出された終始点Aを構成する終点から始点までの輝点位置座標を読み出し、この読み出した輝点位置座標をもとに図形の描画軌跡を追跡する処理を行う。
【0043】
上記図形データの描画軌跡が検出されると、ジェスチャ認識ユニット30は続いてステップS73において図形判断処理を実行する。すなわち、データベース20の図形パターン記憶部24から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理(ステップS72)により検出された図形の描画軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記指の動きにより空間上に描かれた図形の形状の種類として認識する。
【0044】
ジェスチャ認識ユニット30は、次にステップS74に移行して以下のように図形位置判断処理を実行する。すなわち、先ず上記終始点一致検出処理(ステップS71)により検出された終始点Aを中心に、描画空間の上下左右各方向に4つの方向領域を設定する。そして、上記図形追跡処理(ステップS72)により検出された図形の描画軌跡の位置座標が上記4つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Aが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。
【0045】
上記図形の描画位置が判定されると、ジェスチャ認識ユニット30は続いてステップS75において方向キー検出処理を実行し、上記図形位置判断処理(ステップS74)により判定された図形の描画位置を上下左右の4つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する入力コマンドを生成する。
【0046】
例えば、図14(a)に示すように図形の描画位置が終始点Aに対し左方向に位置する場合には左方向キーを示す入力コマンドが生成され、反対に右方向に位置する場合には右方向キーを示す入力コマンドが生成される。同様に、図形の描画位置が終始点Aに対し上方向に位置する場合には上方向キーを示す入力コマンドが生成され、反対に下方向に位置する場合には下方向キーを示す入力コマンドが生成される。なお、上記指の動きによるジェスチャにより空間上に描画された図形の向きは、カメラ4で撮像すると左右が反転する。このため、この画像データから得られる方向キーの判定結果は左右方向を反転させる必要がある。
【0047】
なお、先に述べた図形位置判断処理(ステップS74)では、図形の描画位置が4方向のいずれに含まれるかを判定する場合について例示した。しかし、それに限らず上下左右斜め方向の8つの方向領域を設定し、検出された図形の描画位置が上記8つの方向領域のいずれに含まれるかを判定するようにしてもよい。
【0048】
また、以上述べたフィンガジェスチャモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図9に示した第1のエリアEaから第3のエリアEbに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第1のエリアEaから第3のエリアEc方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードから後述するカメラトラッキングモードに変化することはなく、これによりフィンガジェスチャモードによる認識処理は安定に行われる。
【0049】
(4)カメラトラッキングモードによるジェスチャ認識処理
一方、ユーザが指の動きによるジェスチャを止めて、腕の動きによるジェスチャを行ったとする。そうすると、例えば図10に示すようにユーザの指の位置を表す輝点位置座標Mcが第2のエリアEcに入ったことが検出された時点で、ステップS66において認識モードがカメラトラッキングモードに設定される。カメラトラッキングモードが設定されると、ステップS67においてカメラトラッキング制御部33が起動し、以後このカメラトラッキング制御部33の制御の下で、ユーザの腕の動きに対しカメラ4の撮像方向を追従させる、いわゆるカメラトラッキング制御が実行される。
【0050】
すなわち、カメラトラッキング制御部33は、上記検出された輝点位置座標Mcと第1のエリアEaの中心座標Oとを結ぶ線分上で第3のエリアEbを通過する点Mbをターゲット位置座標として算出する。そして、この算出されたターゲット位置座標Mbにカメラ4の撮像方向の中心(焦点)を設定するために必要なカメラ4のパン・チルト制御量を算出し、この制御量に対応するパン・チルト制御信号を生成してパン・チルト駆動ユニット5に与える。
【0051】
この結果、パン・チルト駆動ユニット5では、図5に示すように先ずステップS41においてパン・チルト駆動部51が動作し、上記パン・チルト制御信号に従いカメラ4のパン・チルト角を可変する。これによりカメラ4の撮像方向がユーザの指に付けた発光マーカ6の位置に近づくように制御される。
【0052】
図11はこのパン・チルト制御動作を説明するためのもので、パン・チルト駆動ユニット5によりカメラ4を矢印a方向に回動させることによりカメラ4のパン角θを制御し、またパン・チルト駆動ユニット5によりカメラ4を矢印b方向に回動させることによりカメラ4のチルト角φを制御する。
【0053】
以後、カメラトラッキングモードが設定されている状態が維持されている限り、カメラトラッキング制御部33の制御の下で、各画像フレーム中における発光マーカ6の輝点位置座標Maをもとにターゲット位置座標Mbが算出され、このターゲット位置座標Mbに基づいてカメラ4のパン・チルト角θ,φが制御される。かくして、カメラ4の撮像方向はユーザの腕の動きに追従する。
【0054】
上記カメラトラッキングモードが設定されている状態で、カメラトラッキングジェスチャ認識部34はステップS8においてユーザの腕の動きによるジェスチャを認識する処理を以下のように実行する。
すなわち、先ずカメラトラッキングモードが最初に設定された時点で、データベース20内のパン・チルト情報蓄積部25に記憶されているパン・チルト角の検出データを消去する。この結果、以後パン・チルト情報蓄積部25には、図5のステップS42,S43によりパン・チルト駆動ユニット50のパン・チルト角度取得部52により検出され、かつパン・チルト角度送信部53により送信されたパン・チルト角の検出データが順次記憶される。
【0055】
次にカメラトラッキングジェスチャ認識部34は、上記パン・チルト情報蓄積部25からカメラ4のパン・チルト角の検出データを読み出し、この読み出されたパン・チルト角の検出データを座標値に変換して、この変換されたパン・チルト座標をもとに、ユーザの腕の動きを用いたジェスチャにより空間上に描画された図形の種類とその終始点を検出する処理を行う。このときの図形の種類とその終始点の検出処理も、検出処理対象のデータが輝点位置座標から上記パン・チルト座標に代わるだけで、先に述べたフィンガジェスチャ認識処理と同様に図7に示した処理手順に従い行われる。
【0056】
なお、以上のカメラトラッキングモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図9に示した第2のエリアEcから第3のエリアEbに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第2のエリアEcから第1のエリアEa方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードに変化することはなく、これによりカメラトラッキングモードによる認識処理は安定に行われる。
【0057】
(5)表示画像制御処理
上記フィンガジェスチャモード或いはカメラトラッキングモードにおけるジェスチャ認識処理が終了すると、続いてステップS9において表示画像制御ユニット40が動作し、この表示画像制御ユニット40の制御の下で以下のように表示画像の更新処理が行われる。図8はその制御手順と制御内容を示すフローチャートである。
【0058】
すなわち、先ずステップS92において、先に述べた図形位置判断処理(ステップS74)により生成された入力コマンドをもとに、当該入力コマンドが意味する表示処理内容を表す表示画像データを更新する処理がなされる。例えば、上記図形位置判断処理(ステップS74)により生成された入力コマンドの意味が左方向キーを示すものであれば、EPG情報におけるカーソルの位置を左方向へ1列分シフトさせた画像に更新される。反対に入力コマンドの意味が右方向キーを示すものであれば、EPG情報におけるカーソルの位置を右向へ1列分シフトさせた画像に更新される。同様に、入力コマンドの意味が上又は下キーを示すものであれば、EPG情報におけるカーソルの位置をそれぞれ上方向又は下方向へ1列分シフトさせた画像に更新される。なお、8方向キーの場合も同様にEPGの表示画像が更新される。
【0059】
したがって、ユーザは自身の指又は腕の動きを用いたジェスチャにより、図1に示した4つの円のいずれかを選択的に空間上に描画することで、EPG情報におけるカーソル位置を所望の番組の位置にステップ移動させることが可能となる。
【0060】
以上詳述したようにこの実施形態では、カメラ4から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この検出された輝点位置座標が当該画像フレーム中の第1のエリアEaに含まれるか或いは当該第1のエリアEaの周辺に設定した第2のエリアEcに含まれるかを判定する。そして、描画点が第1のエリアEaに含まれると判定された場合にはフィンガジェスチャモードを設定し、第2のエリアEcに含まれると判定された場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードが設定された状態では、画像データからフィンガジェスチャにより描画される図形を認識する。一方、カメラトラッキングモードが設定された状態では、上記輝点位置座標に応じてパン・チルト駆動ユニット5を動作させ、これによりカメラ4のパン・チルト角を制御してカメラ4の撮像方向をユーザの腕の動きに追従させて、この撮像方向の追従軌跡をもとに描画図形を認識するようにしている。
【0061】
したがって、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識され、一方腕の動きを用いた場合にはカメラ4の撮像方向がユーザの腕の動きに追従するように制御されてその過程で検出されるパン・チルト角の変化から上記腕の動きによる描画図形が認識される。このため、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。
【0062】
またこの実施形態では、第1のエリアEaと第2のエリアEcとの間に第3のエリアEbを設定し、検出された輝点位置座標が第3のエリアEbに含まれると判定された場合には設定中の認識モードを維持するようにしている。このため、輝点位置座標が第1のエリアEaと第2のエリアEcとの境界付近にある場合に、認識モードがフィンガジェスチャとカメラトラッキングモードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することができる。
【0063】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではモード判定のためのエリアを図9に示したように矩形形状に設定したが、画像フレームの中心Oを中心として円形又は楕円形のエリアを同心円状に設定するようにしてもよい。ユーザがジェスチャにより描く図形が円形の場合、上記のように判定エリアも円形又は楕円形にした方が描画位置にかかわらず均一な条件でモードを判定することができる。
【0064】
前記実施形態では、図形の終始点Aに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。
【0065】
例えば、ユーザが図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの1回の移動ステップ量を大きくする。図形の描画速度又は描画時間は、図形データの受信開始タイミング及び受信終了タイミングをそれぞれ検出するか、又は終始点Aを構成する始点及び終点の検出タイミングを検出し、この検出した各タイミングをもとに計算により求めることができる。なお、この場合も、カーソルの移動方向については、前記実施形態で述べたように描画された図形の終始点Aに対する図形の描画位置の方向により決まる。
【0066】
また、前記実施形態では、テレビジョン受信機2に表示されるEPG情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【0067】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【0068】
1…ユーザ、2…テレビジョン受信機、3…通信回線、4…カメラ、5…パン・チルト駆動ユニット、6…発光マーカ、20…データベース、21…信号蓄積部、22…ジェスチャコマンド変換テーブル部、23…表示画像データ蓄積部、24…図形パターン記憶部、25…パン・チルト情報蓄積部、30…ジェスチャ認識ユニット、31…モード切換部、32…フィンガジェスチャ認識部、33…カメラトラッキング制御部、34…カメラトラッキングジェスチャ認識部、40…表示画像制御ユニット、41…カメラ撮像処理部、42…画像送信部、50…リアルタイムイベント発行ユニット、51…パン・チルト駆動部、52…パン・チルト角度検出部、53…パン・チルト角度送信部。
【特許請求の範囲】
【請求項1】
ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか、或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する判定手段と、
前記図形の描画点が前記第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第1の認識モードを設定し、前記図形の描画点が前記第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識モードを設定する認識モード設定手段と、
前記第1の認識モードが設定された状態では、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第1の認識処理手段と、
前記第2の認識モードが設定された状態では、前記検出された図形の描画点の位置に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡もとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識処理手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項2】
前記第1の認識処理手段は、
前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する手段と、
前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。
【請求項3】
前記第2の認識処理手段は、
一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する手段と、
前記記憶された前記撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。
【請求項4】
前記判定手段は、前記第1のエリアと第2のエリアとの間に第3のエリアを設定して、前記検出された図形の描画点が前記第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定し、
前記認識モード設定手段は、前記検出された図形の描画点が前記第1のエリアに含まれると判定された場合には認識モードを前記第1の認識モードに変更し、前記第2のエリアに含まれると判定された場合には認識モードを前記第2の認識モードに変更し、前記第3のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項1記載のジェスチャ認識装置。
【請求項5】
ジェスチャにより空間に図形を描く動きを撮像した画像データを撮像装置から取り込む過程と、
前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか、或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する過程と、
前記図形の描画点が前記第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第1の認識モードを設定する過程と、
前記第1の認識モードが設定された状態において、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第1の認識過程と、
前記図形の描画点が前記第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識モードを設定する過程と、
前記第2の認識モードが設定された状態において、前記検出された図形の描画点の位置座標に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡をもとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識過程と
を具備することを特徴とするジェスチャ認識方法。
【請求項6】
前記第1の認識過程は、
前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する過程と、
前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する過程と
を備えることを特徴とする請求項5記載のジェスチャ認識方法。
【請求項7】
前記第2の認識過程は、
一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する過程と、
前記記憶された前記撮像方向の追従軌跡のパターンを予め用意した複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する過程と
を備えることを特徴とする請求項5記載のジェスチャ認識方法。
【請求項8】
前記判定する過程は、前記第1のエリアと第2のエリアとの間に第3のエリアを設定して、前記検出された図形の描画点が前記第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定し、
前記認識モードを設定する過程は、前記検出された図形の描画点が前記第1のエリアに含まれると判定された場合には認識モードを前記第1の認識モードに変更し、前記第2のエリアに含まれると判定された場合には認識モードを前記第2の認識モードに変更し、前記第3のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項5記載のジェスチャ認識方法。
【請求項9】
請求項5乃至8のいずれかに記載されたジェスチャ認識方法が備える過程を実現する処理を、コンピュータに実行させることを特徴とするプログラム。
【請求項1】
ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか、或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する判定手段と、
前記図形の描画点が前記第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第1の認識モードを設定し、前記図形の描画点が前記第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識モードを設定する認識モード設定手段と、
前記第1の認識モードが設定された状態では、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第1の認識処理手段と、
前記第2の認識モードが設定された状態では、前記検出された図形の描画点の位置に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡もとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識処理手段と
を具備することを特徴とするジェスチャ認識装置。
【請求項2】
前記第1の認識処理手段は、
前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する手段と、
前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。
【請求項3】
前記第2の認識処理手段は、
一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する手段と、
前記記憶された前記撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。
【請求項4】
前記判定手段は、前記第1のエリアと第2のエリアとの間に第3のエリアを設定して、前記検出された図形の描画点が前記第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定し、
前記認識モード設定手段は、前記検出された図形の描画点が前記第1のエリアに含まれると判定された場合には認識モードを前記第1の認識モードに変更し、前記第2のエリアに含まれると判定された場合には認識モードを前記第2の認識モードに変更し、前記第3のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項1記載のジェスチャ認識装置。
【請求項5】
ジェスチャにより空間に図形を描く動きを撮像した画像データを撮像装置から取り込む過程と、
前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか、或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する過程と、
前記図形の描画点が前記第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第1の認識モードを設定する過程と、
前記第1の認識モードが設定された状態において、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第1の認識過程と、
前記図形の描画点が前記第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識モードを設定する過程と、
前記第2の認識モードが設定された状態において、前記検出された図形の描画点の位置座標に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡をもとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識過程と
を具備することを特徴とするジェスチャ認識方法。
【請求項6】
前記第1の認識過程は、
前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する過程と、
前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する過程と
を備えることを特徴とする請求項5記載のジェスチャ認識方法。
【請求項7】
前記第2の認識過程は、
一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する過程と、
前記記憶された前記撮像方向の追従軌跡のパターンを予め用意した複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する過程と
を備えることを特徴とする請求項5記載のジェスチャ認識方法。
【請求項8】
前記判定する過程は、前記第1のエリアと第2のエリアとの間に第3のエリアを設定して、前記検出された図形の描画点が前記第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定し、
前記認識モードを設定する過程は、前記検出された図形の描画点が前記第1のエリアに含まれると判定された場合には認識モードを前記第1の認識モードに変更し、前記第2のエリアに含まれると判定された場合には認識モードを前記第2の認識モードに変更し、前記第3のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項5記載のジェスチャ認識方法。
【請求項9】
請求項5乃至8のいずれかに記載されたジェスチャ認識方法が備える過程を実現する処理を、コンピュータに実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−58854(P2012−58854A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−199306(P2010−199306)
【出願日】平成22年9月6日(2010.9.6)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願日】平成22年9月6日(2010.9.6)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]