情報処理機器、情報処理方法および情報処理プログラム
【課題】意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて機器を使用しながら学習できる情報処理機器、情報処理方法および情報処理プログラムを提供する。
【解決手段】ジェスチャにより操作可能な情報処理機器であって、カメラ１０２により撮影されたジェスチャ対象を認識するジェスチャ対象認識部２１１と、認識されたジェスチャ対象がカメラの位置に対して予め定められた開始位置にあるか否かを判定する位置判定部２２１と、認識されたジェスチャ対象が撮影位置に対して予め定められた開始位置にある場合に、認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるガイダンス表示制御部２２４と、を備える。ユーザはジェスチャを容易に入力でき、ジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【解決手段】ジェスチャにより操作可能な情報処理機器であって、カメラ１０２により撮影されたジェスチャ対象を認識するジェスチャ対象認識部２１１と、認識されたジェスチャ対象がカメラの位置に対して予め定められた開始位置にあるか否かを判定する位置判定部２２１と、認識されたジェスチャ対象が撮影位置に対して予め定められた開始位置にある場合に、認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるガイダンス表示制御部２２４と、を備える。ユーザはジェスチャを容易に入力でき、ジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャにより操作可能な情報処理機器、これを用いた情報処理方法およびこれに実行させるための情報処理プログラムに関する。
【背景技術】
【０００２】
従来、パソコンや携帯電話機、テレビジョン受像機等の情報処理機器は、液晶ディスプレイ等の表示部と、所定の操作内容や文字を入力するためのキーボード、ボタン、リモコン、マウス、またはタッチパネル等の入力部とによって構成されている。そして、通常は、情報処理機器は、キー操作によって入力された操作内容に応じて所定の処理を実行し、その実行結果を表示部に表示する。
【０００３】
近年では、キーボード、マウスまたはタッチパネルの他にも、外部接続されたカメラでユーザを画像認識し、そのユーザの動きに応じて操作内容を自動的に入力する機器が提案されている。人の手の一連の動きは特定の意味を有する場合がある。たとえば、手を左右に動かす動作は「さようなら」を意味し、手を広げて奥から手前に動かす動作は「こちらに来てほしい」を意味する。また、手の動きだけでなく、その他の体の動きにも同様に特定の意味を持たせることができる。このような体の一部による一連の特定の動き（以下、ジェスチャと呼ぶ。）の画像認識で、これに対応する特定の情報を入力（以下、ジェスチャ入力と呼ぶ。）することができる。
【０００４】
このような機器を用いる場合には、ユーザは、取扱説明書等を参照して操作内容に対応するジェスチャを覚える必要がある。ユーザは、各ジェスチャを覚えて自身が入力したい操作内容を機器に認識させる。ユーザは正しくジェスチャを行ったつもりでも、意図した通りに機器に入力されなかったり、実際に機器に認識された動作がわからなかったりすることがある。これに対して、認識対象の動作が認識されるまでの認識過程をユーザに対してフィードバックして学習させる方法が提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３０６０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の機器は、手の動きの軌跡を表すビジュアルフィードバック画面を生成するが、操作の説明は画面に表れておらずユーザは取扱説明書等を参照してジェスチャを覚えなくてはならない。一方、特許文献１記載の機器ジェスチャを間違えて入力した際にはユーザは間違えたことを自覚できない。そして、ユーザにとってそのような機器は、使用開始の障壁が高い。また、ユーザへの学習効果を高められていないため、使いやすい機器を提供できない。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて機器を使用しながら学習できる情報処理機器、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するため、本発明の情報処理機器は、ジェスチャにより操作可能な情報処理機器であって、カメラにより撮影されたジェスチャ対象を認識するジェスチャ対象認識部と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する位置判定部と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるガイダンス表示制御部と、を備えることを特徴としている。
【０００９】
このようにガイダンスを表示することで、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【００１０】
（２）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記ジェスチャ対象認識部が前記カメラにより撮影されたジェスチャ対象を認識した際に、前記ディスプレイにジェスチャ対象を認識していることを表示させることを特徴としている。これにより、ユーザはジェスチャ対象が認識されたことを知ることができ、ジェスチャを伝えやすくする。
【００１１】
（３）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記ジェスチャ対象認識部が、前記カメラにより撮影されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあることを認識した際に、前記カメラにより撮影されたジェスチャ対象が前記開始位置にあることを前記ディスプレイに表示させることを特徴としている。これにより、ユーザはジェスチャ対象が開始位置にあることを知ることができ、ジェスチャを伝えやすくする。
【００１２】
（４）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記ガイダンスとして、前記ジェスチャ対象の移動方向と操作内容とを対応させた指示を表示することを特徴としている。これにより、ユーザは所望の操作を実現するためのジェスチャ対象の移動方向を容易に知ることができる。
【００１３】
（５）また、本発明の情報処理機器は、前記認識されたジェスチャ対象の映像を鏡像化処理する鏡像化処理部と、前記鏡像化処理されたジェスチャ対象を前記ディスプレイに表示させるジェスチャ表示制御部と、を更に備えることを特徴としている。このようにジェスチャ対象を鏡像化して表示することで、ディスプレイに対向してジェスチャを行うユーザに違和感を与えないようにすることができる。
【００１４】
（６）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記撮影されたジェスチャ対象が認識されたことを示す捕捉マーカーを前記ディスプレイの前記予め定められた開始位置に対応する表示位置に表示させることを特徴としている。このような捕捉マーカーの表示により、ユーザはジェスチャの開始位置を知ることができ、そこからのジェスチャと操作内容との対応を学習できる。
【００１５】
（７）また、本発明の情報処理機器は、前記認識されたジェスチャ対象が移動した場合に、その移動が前記ガイダンスの指示するいずれの経路に合致するかを判定する移動判定部を更に備え、前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示するいずれかの経路に合致する場合には、合致の旨を前記ディスプレイに表示させることを特徴としている。
【００１６】
このように、認識されたジェスチャ対象の移動がガイダンスの指示するいずれかの経路に合致する場合には、合致の旨をディスプレイに表示させる。たとえば、実際にジェスチャを行ったときにジェスチャ対象の軌跡を描画し所定操作との合致を示すことで、機器側のジェスチャの受け取り状況を確認しつつ操作内容の入力を完遂でき、ユーザが抱くジェスチャ入力への不安を解消できる。
【００１７】
（８）また、本発明の情報処理機器は、前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示する経路のいずれにも合わない場合には、不合致の旨を前記ディスプレイに表示させることを特徴としている。これにより、間違った操作内容を入力したときに、実際に認識された動作を明確にでき、ユーザに結果をフィードバックできる。たとえば、ジェスチャに相当する操作内容がないという不合致表示を表示できる。ジェスチャを始めるための手の位置は正しかったが、その後の手の動かし方が悪かったために操作内容の実行まで至らなかったことを、ユーザは理解でき、ジェスチャ入力のための学習が進む。
【００１８】
（９）また、本発明の情報処理方法は、ジェスチャにより操作可能な情報処理機器を用いて行う情報処理方法であって、カメラにより撮影されたジェスチャ対象を認識するステップと、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定するステップと、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるステップと、を含むことを特徴としている。
【００１９】
このようにガイダンスを表示することで、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて機器を使用しながら学習でき、使用開始の障壁を低くできる。
【００２０】
（１０）また、本発明の情報処理プログラムは、ジェスチャにより操作可能な情報処理機器に実行させる情報処理プログラムであって、カメラにより撮影されたジェスチャ対象を認識する処理と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する処理と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させる処理と、を含むことを特徴としている。
【００２１】
このようにガイダンスを表示することで、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【発明の効果】
【００２２】
本発明によれば、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【図面の簡単な説明】
【００２３】
【図１】実施形態１に係る情報処理機器を示す正面図である。
【図２Ａ】実施形態１に係る情報処理機器のハード構成を示すブロック図である。
【図２Ｂ】実施形態１に係る情報処理機器の機能的構成を示すブロック図である。
【図３】実施形態１の操作内容、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。
【図４Ａ】実施形態１に係る情報処理機器の入力動作を示すフローチャートである。
【図４Ｂ】実施形態１に係る情報処理機器の入力動作を示すフローチャートである。
【図５】実施形態１の捕捉マーカーおよびガイダンスの表示例を示す図である。
【図６Ａ】実施形態１に係る情報処理機器の表示動作を示すフローチャートである。
【図６Ｂ】実施形態１に係る情報処理機器の表示動作を示すフローチャートである。
【図７】実施形態１に係る情報処理機器の使用場面の一例を示す図である。
【図８】実施形態２に係る情報処理機器を示す正面図である。
【図９】実施形態２の操作内容、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。
【図１０】実施形態２に係る情報処理機器の使用場面の一例を示す図である。
【発明を実施するための形態】
【００２４】
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
【００２５】
［第１の実施形態］
（テレビジョン受像機の外観）
図１は、テレビジョン受像機１００（情報処理機器）を示す正面図である。以下の例では、情報処理装置の一例としてテレビジョン受像機１００を説明しているが、本発明の情報処理装置は必ずしもこれに限定されない。テレビジョン受像機１００は、ディスプレイ１０１、カメラ１０２を備えている。ディスプレイ１０１は、液晶、プラズマ、ブラウン管、有機ＥＬ等の手段により受信映像やユーザへの視覚情報を表示する。カメラ１０２は、デジタルデータに変換できる素子で構成されており、ユーザのジェスチャを撮影する。ＣＭＯＳ、ＣＣＤ等一般的な撮像素子を用いて構成されていればよい。また、カメラ１０２は、認識精度を上げるため、距離センサ、深度センサ等を備えていてもよい。カメラ１０２は、ユーザの方向を向いた状態で配置されることが好ましく、たとえばディスプレイ１０１の表示面と同じ方向に向いて配置される。
【００２６】
（ハード構成）
図２Ａは、テレビジョン受像機１００のハード構成を示すブロック図である。図２Ａに示すように、テレビジョン受像機１００は、ディスプレイ１０１、カメラ１０２、テレビ機能処理部１０３、カメラＩＦ１０４、演算部１０５、メモリ１０６、記憶部１０７、グラフィック処理部１０８および制御部１０９を備えている。必要な要素を中心に説明し、一般の機能説明は省略する。テレビ機能処理部１０３は、テレビ放送を受信するチューナや受信データに含まれる動画像のデコード、音声のデコード等を行い、結果をメモリ１０６に書き込む。
【００２７】
カメラＩＦ１０４は、カメラ１０２で撮影されたデータを演算部１０５等が利用できるデータ形式に変換し、メモリ１０６に書き込む。演算部１０５は、カメラ１０２で撮影された映像からジェスチャの対象（たとえば手や目）等を認識し、ジェスチャをコマンドへと変換する処理等を行う。メモリ１０６は、演算部１０５が処理する際に一時的にデータを格納する。記憶部１０７は、メモリ１０６ほど頻繁に書き換える必要のないデータを格納する。たとえば、コマンドとそれに対応するジェスチャの仕様リスト（後述）を記憶しておく。
【００２８】
グラフィック処理部１０８は、テレビ機能処理部１０３、演算部１０５等が処理しメモリ１０６に書き込んだ表示データをディスプレイ１０１へ表示するためのデータ変換処理を行う。また、複数の画像の重畳処理や鏡像化処理を行う。制御部１０９は、機器全体を制御する。
【００２９】
（機能的構成）
図２Ｂは、テレビジョン受像機１００の機能的構成を示すブロック図である。上記のカメラＩＦ１０４、演算部１０５、メモリ１０６、記憶部１０７、グラフィック処理部１０８および制御部１０９は、機能的構成としては、ジェスチャ対象認識部２１１、形状判定部２１２、鏡像化処理部２１３、ジェスチャ表示制御部２１４、位置判定部２２１、移動判定部２２２、操作実行部２２３およびガイダンス表示制御部２２４に対応する。各部について説明する。
【００３０】
ジェスチャ対象認識部２１１は、カメラで撮影した画像からジェスチャ対象を認識する。ジェスチャ対象とは、ジェスチャを行う物体であり、手、目などの体の一部が該当することが多いがこれらに限られるものではなく、ペンを持った手なども該当しうる。なお、ジェスチャ対象の認識手法には輪郭抽出、背景分離、パターンマッチング等があるが、これらに限定されない。形状判定部２１２は、ジェスチャ対象の形状を判定する。形状判定することで、映像上で外形を切り出すことが容易になる。形状判定部２１２で判定された形状をジェスチャ認識の一要素として使用してもよい。具体的には、ジェスチャ対象認識部２１１が、拡げた手と閉じた手とをそれぞれ異なるジェスチャとして認識する。その場合には、同じ位置、経路であっても、手の形が拡げているのと閉じているのではジェスチャが異なるという基準がとられる。
【００３１】
鏡像化処理部２１３は、形状判定されたジェスチャ対象の映像について外形を切り出し、ジェスチャ対象の映像を鏡像化処理する。ジェスチャ表示制御部２１４は、鏡像化処理されたジェスチャ対象をディスプレイ１０１に表示させる。位置判定部２２１は、認識されたジェスチャ対象がカメラの位置に対して予め定められた開始位置にあるか否かを判定する。認識されたジェスチャ対象が予め定められた終了位置にあるか否かについても同様に判定する。
【００３２】
移動判定部２２２は、ジェスチャ対象の移動がいずれの経路かを判定する。認識されたジェスチャ対象が移動した場合に、その移動がガイダンスの指示するいずれの経路に合致するかを判定する。操作実行部２２３は、有効になった操作内容を実行する。
【００３３】
ガイダンス表示制御部２２４は、選択可能な操作の内容とジェスチャ対象の移動方向とを対応させたガイダンスを表示する。たとえば、ガイダンス表示制御部２２４は、撮影されたジェスチャ対象が認識されたことを示す捕捉マーカーをディスプレイ１０１の予め定められた開始位置に対応する表示位置に表示させる。また、認識されたジェスチャ対象がカメラの位置に対して予め定められた開始位置にある場合に、認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイ１０１に表示させる。ジェスチャ対象の移動方向と操作内容とを対応させた指示を表示する。
【００３４】
ガイダンス表示制御部２２４は、認識されたジェスチャ対象の移動がガイダンスの指示するいずれかの経路に合致する場合には、合致の旨をディスプレイ１０１に表示させる。ガイダンス表示制御部２２４は、認識されたジェスチャ対象の移動がガイダンスの指示する経路のいずれにも合わない場合には、不合致の旨をディスプレイ１０１に表示させる。
【００３５】
（ジェスチャリスト）
図３は、コマンド（操作内容）、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。図３に示すテーブルは、各No.のコマンドの内容を表している。このようにコマンドとジェスチャと認識されるためにユーザがとる必要のある行動を対照させたテーブルをジェスチャリストと呼ぶ。通常、テーブルの情報は、メモリ１０６もしくは記憶部１０７に格納される。
【００３６】
コマンド３０１は、実際に機器を制御する指令であり、制御部１０９で解釈され、機器各部が制御される。ガイダンス３０２は、ディスプレイ１０１に表示されるガイダンスの一部を示す文字情報表示である。ジェスチャ対象３０３は、手や目等の具体的なジェスチャ対象である。図３に示す例では、ジェスチャ対象３０３が手であり、コマンドを入力するジェスチャは手で行われる。手の他に指、目、足等の部分のほか、体全体等がジェスチャ対象となりうる。
【００３７】
開始位置３０４は、ジェスチャ前に、ジェスチャ対象が認識される範囲を示す。開始位置３０４に示す外側の四角はカメラの撮影範囲であり、内側の四角（斜線入り）はジェスチャ対象３０３が開始位置にあると認識されうる位置である。たとえば、No.0001のコマンドについては、カメラによる撮影範囲内で手が中央付近に映ればジェスチャの開始が認識される。
【００３８】
経路３０５は、ジェスチャと認識されるために、ジェスチャ対象がとるべき経路である。No.0001のコマンドについては、ジェスチャ対象が撮影範囲内において、中央から下方に移動することでジェスチャが認識される。終了位置３０６に示す外側の四角はカメラの撮影範囲であり、内側の四角（斜線入り）はジェスチャ対象３０３が終了位置にあると認識されうる位置を示す。
【００３９】
したがって、No.0001のコマンドについては、ジェスチャ対象が撮影範囲の中央下方に映るとジェスチャ終了と認識される。ユーザは停止コマンド(No.0001)をテレビジョン受像機１００に伝えたい場合は、ジェスチャ対象である手を、カメラ撮影範囲の中央付近に映るように差し出し、ジェスチャ認識が開始されてから、その手を下方向へ動かす必要がある。このことが図３に示すNo.0001の開始位置３０４、経路３０５、終了位置３０６により表わされている。
【００４０】
（入力動作）
図４Ａ、図４Ｂは、テレビジョン受像機１００の入力動作を示すフローチャートである。図４Ａ、図４Ｂを用いて、ジェスチャを認識してからユーザに使用方法の学習を促すまでの内部処理を説明する。
【００４１】
まず、テレビジョン受像機１００の電源投入、またはアプリケーションソフト起動等により処理を開始する。この時点ではジェスチャ対象が見つかっていない。次に、カメラの撮影映像からジェスチャ対象を探し（ステップＳ１）、ジェスチャ対象を認識しているか否かを判断する（ステップＳ２）。認識していなければステップＳ１に戻り、ジェスチャ対象を探す。認識していれば、カメラ１０２で撮影されて格納されているジェスチャ対象の映像をディスプレイ１０１へ表示するように指示する（ステップＳ３）。次に、ジェスチャ対象が、ジェスチャリストの開始位置に存在するか否かを判定する（ステップＳ４）。ジェスチャ対象が開始位置に存在しない場合はステップＳ１へと戻る。存在する場合は、ジェスチャ対象を捕捉していると判断し、捕捉マーカーとガイダンスの表示を指示する（ステップＳ５）。捕捉とは、ジェスチャ対象を認識し続けている状況を指す。
【００４２】
次に、ジェスチャ対象が動いたか否かを判定する（ステップＳ６）。動いていなければ、動くまで待機する。動いたときには、ユーザへのガイダンスの必要がなくなったと判断し、ガイダンス消去を指示し、ガイダンスを消去する（ステップＳ７）。そして、ジェスチャ対象を捕捉しているかを判定する（ステップＳ８）。捕捉していなければステップＳ１へ戻る。
【００４３】
一方、ジェスチャ対象を捕捉しているときには、ジェスチャ対象の軌跡が、ジェスチャ対象の開始位置に基づいて取られうるジェスチャリストの経路３０５のいずれかと一致するか否かを判定する。一致していなければ、ジェスチャがリストにない旨を表示し（ステップＳ１０）、ステップＳ１に戻る。一致していれば、ジェスチャ対象の移動の軌跡を表示するよう指示する。この軌跡を表示することでユーザは、ガイダンスに示された内容と、自分のジェスチャの動きとが一致していることが分かる。
【００４４】
次に、ジェスチャ対象が取られた経路３０５により決まる終了位置３０６か否かを判定する（ステップＳ１２）。終了位置３０６ではないと判定されれば、ステップＳ９に戻る。終了位置３０６であると判定されれば、ジェスチャ完了として、ジェスチャに対応したコマンドを発行し、コマンドに相当する制御を行い、処理を完了する。
【００４５】
（ガイダンス表示）
捕捉マーカーおよびガイダンスについて説明する。図５は、捕捉マーカーおよびガイダンスの表示例５００を示す図である。捕捉マーカー５０１は、ジェスチャ対象が開始位置にあることをユーザに教える印である。このような捕捉マーカー５０１の表示により、ユーザはジェスチャの開始位置を知ることができ、そこからのジェスチャと操作内容との対応を学習できる。ガイダンスは、ジェスチャ対象が開始位置にあると認識されているときに表示されるものであって、その開始位置から、認識可能なジェスチャおよび発行可能なコマンドの一覧である。すなわち、ジェスチャ対象をどのように動かせば各コマンドと認識されるかを、ユーザに教えるための案内である。
【００４６】
図５に示すガイダンスの例では、ジェスチャ対象の移動方向を矢印５１１〜５１４で、コマンドの内容を文字情報５２１〜５２４で示している。したがって、この表示例では、ジェスチャ対象を上方向に動かせばメニュー表示、下方向に動かせば停止、右方向へ動かせば早送り、左方向に動かせば早戻し、のコマンドが発行される。これにより、ユーザは所望の操作を実現するためのジェスチャ対象の移動方向を容易に知ることができる。これらのジェスチャとコマンドとの対応は、図３に示したジェスチャリストにより決定される。なお、ガイダンスは上記の例に限らず、ユーザに開始位置を伝えられるという目的を達すれば、形状や方法は問わない。
【００４７】
（表示動作）
図６Ａ、図６Ｂは、テレビジョン受像機１００の表示動作を示すフローチャートである。図６を用いて、表示に関わる処理を説明する。主として、図４Ａ、図４Ｂで説明した内部処理を受けて、グラフィック処理部１０８が行う表示系処理である。
【００４８】
まず、テレビジョン受像機１００の電源投入等により開始する。テレビジョン受像機１００の基本機能による映像をディスプレイ１０１に表示する。たとえば、放送（電波やＩＰ、オンデマンド等による放送を含む）や録画された映像が表示される（ステップＴ１）。次に、ジェスチャ対象の表示指示があるか否かを判定する（ステップＴ２）。表示指示がなければステップＴ１に戻る。表示指示があれば、カメラで撮影し認識されているジェスチャ対象をディスプレイ１０１に表示する。
【００４９】
このとき、ユーザにとっては、鏡を見ているかのように表示することが、ユーザに違和感を抱かせないために重要であるから、撮影したジェスチャ対象の映像について左右座標を反転させて鏡像化し、基本機能画像に重畳させて表示する（ステップＴ３）。鏡像化することでジェスチャ対象が鏡に映るようにディスプレイ１０１に表示される。たとえばユーザが右手を上げれば、画面右側に映る手が上がる。
【００５０】
次に、捕捉マーカーとガイダンスの表示指示があるか否かを判定する（ステップＴ４）。表示指示がない場合はステップＴ２に戻る。表示指示がある場合は、捕捉マーカーとガイダンスを、すでに表示されている基本機能による映像とジェスチャ対象の表示に重畳して表示する（ステップＴ５）。そして、ガイダンスの消去指示があるか否かを判定する（ステップＴ６）。消去指示がなければステップＴ８へ進む。消去指示があればガイダンスを消去する（ステップＴ７）。
【００５１】
次に、軌跡表示の指示または不合致表示の指示のいずれがなされたかを判定して（ステップＴ８）、不合致表示の指示であれば不合致表示を表示して（ステップＴ９）、ステップＴ１１へ進む。軌跡表示の指示があれば、ジェスチャ対象が動いた際の軌跡を表示する（ステップＴ１０）。軌跡の表示としては、たとえばジェスチャ対象が動いた跡を線等で描画する。また、これと同時にガイダンスの表示を消去する。そして、コマンド入力があるか否かを判定する（ステップＴ１１）。この判定は、ジェスチャが完了したか否かの判定となる。コマンド入力がなければ、ステップＴ１０へ戻り軌跡を表示する。コマンド入力があれば、ジェスチャが完了し、コマンド入力されたと判断し、捕捉マーカーと軌跡を消去し（ステップＴ１２）、処理を完了する。
【００５２】
（使用場面）
次に、ユーザがテレビジョン受像機１００を使用した際の使用場面の一連の流れを説明する。図７は、テレビジョン受像機１００の使用場面の一例を示す図である。
【００５３】
使用場面Ｐ１では、ユーザＵ１がテレビジョン受像機１００を見ている。このときのテレビジョン受像機１００の画面は基本機能による映像として放送やビデオ等の映像７１１が表示されている。次に、使用場面Ｐ２ではユーザＵ１が前方へ手を広げてテレビジョン受像機１００にかざすと、カメラ１０２で撮影されたユーザＵ１の手の映像とジェスチャ対象の捕捉マーカー７１２、矢印７１３と文字情報７１４で構成されるガイダンスが映像７１１の上に重畳されて表示される。
【００５４】
その後、使用場面Ｐ３では、ユーザＵ１がテレビジョン受像機１００に表示された自分の手をガイダンスの「ＭＥＮＵ」の文字情報７１３に重ねるように手を広げたまま上へ上げ、「ＭＥＮＵ」の文字情報７１３に手を重ねている。テレビジョン受像機１００の表示は、手の動いた跡の軌跡７１５が表示され、「ＭＥＮＵ」の文字情報７１３以外のガイダンスが消える。そのまま一定時間（たとえば1秒の設計値）保持すると、使用場面Ｐ４に示すようにテレビジョン受像機１００のディスプレイ上にユーザＵ１の意図したとおりにメニュー画面が表示される。
【００５５】
このように動作することで、ユーザＵ１はテレビジョン受像機１００を使いながらジェスチャの開始位置を知ることができ、どのようにジェスチャを行えば、意図したコマンドにつながるかを学習できる。そして、実際にジェスチャを行えば軌跡が描画されるので、機器側の受け取り状況を確認しつつコマンド入力まで完遂できる。その結果、ユーザＵ１は、ジェスチャ入力への不安を解消できる。
【００５６】
［第２の実施形態］
上記の実施形態では、ジェスチャにより操作可能な情報処理機器がテレビジョン受像機１００であるが、電子書籍端末であってもよい。以下、上記の実施形態１に対する差分を中心に説明する。
【００５７】
（電子書籍端末の外観）
図８は、電子書籍端末６００を示す正面図である。ディスプレイ６０１は、液晶、有機ＥＬ等の表示手段により、映像を表示する。図８の例では、電子書籍を表示している。カメラ６０２は、ユーザを撮影する方向（ユーザに対向する方向）に向けて配置され、ディスプレイと同じ向きである。カメラ６０２は、ユーザおよびユーザのジェスチャを撮影する。
【００５８】
（ジェスチャリスト）
図９は、操作内容、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。図９を用いて、ジェスチャリストについて説明する。上記の実施形態ではユーザが比較的離れて使用するテレビジョン受像機１００である。これに対して、電子書籍端末６００は、ユーザが持って使用し、かつ実際の書籍に近い操作性を与えるものであるため、第１の実施形態の場合とはジェスチャリストの内容が大きく異なる。具体的には、ジェスチャリストのコマンドの種類が電子書籍向けになる。また、ジェスチャ対象の手がカメラから近いため、開始位置・終了位置のジェスチャ対象を示す領域が大きくなる。
【００５９】
（使用場面）
図１０は、電子書籍端末６００の使用場面の一例を示す図である。使用場面Ｑ１では、ユーザＵ２が電子書籍のページを、ジェスチャリストに従ってめくるジェスチャを行っている。電子書籍端末６００は、ユーザＵ２が画面左下に伸ばした手をカメラで撮影して映像処理し、手の映像をディスプレイ６０１上に表示している。ジェスチャ対象である手が開始位置にあるため、捕捉マーカー７１２と矢印７１３および文字情報７１４によるガイダンスが表示されている。
【００６０】
使用場面Ｑ２で、ガイダンスに従いユーザＵ２が手を右方向へ移動すると、開始位置から動かされた手の軌跡７１５がディスプレイ６０１に表示される。さらに、使用場面Ｑ３で、ユーザＵ２が右方向へ手を動かすと、ジェスチャリストに記載された終了位置にジェスチャ対象の手が到達し、ページ送りのコマンドが実行される。
【００６１】
仮に、使用場面Ｑ１において、ガイダンスに従わずジェスチャリストにない経路のジェスチャをユーザＵ２が行った場合、ディスプレイ６０１には捕捉マーカー７１２と手の映像との間には軌跡が表示されない。さらに、ユーザＵ２が行ったジェスチャに相当するコマンドがないことを、ユーザに対して伝えるための不合致表示８１１を表示する。これにより、ユーザＵ２はジェスチャ開始時の手の位置が適当だったこと、および、その後の手の動かし方が不適当だったためにコマンド実行まで至らなかったことが理解でき、ジェスチャ入力のための学習が進む。
【符号の説明】
【００６２】
１００ テレビジョン受像機（情報処理機器）
１０１ ディスプレイ
１０２ カメラ
１０３ テレビ機能処理部
１０５ 演算部
１０６ メモリ
１０７ 記憶部
１０８ グラフィック処理部
１０９ 制御部
２１１ ジェスチャ対象認識部
２１２ 形状判定部
２１３ 鏡像化処理部
２１４ ジェスチャ表示制御部
２２１ 位置判定部
２２２ 移動判定部
２２３ 操作実行部
２２４ ガイダンス表示制御部
３０１ コマンド
３０２ ガイダンス
３０３ ジェスチャ対象
３０４ 開始位置
３０５ 経路
３０６ 終了位置
５００ 表示例
５０１ 捕捉マーカー
５１１-５１４ 矢印
５２１-５２４ 文字情報
６００ 電子書籍端末
６０１ ディスプレイ
６０２ カメラ
７１１ 映像
７１２ 捕捉マーカー
７１３ 矢印
７１４ 文字情報
７１５ 軌跡
８１１ 不合致表示
Ｐ１−Ｐ４、Ｑ１−Ｑ３ 使用場面
【技術分野】
【０００１】
本発明は、ジェスチャにより操作可能な情報処理機器、これを用いた情報処理方法およびこれに実行させるための情報処理プログラムに関する。
【背景技術】
【０００２】
従来、パソコンや携帯電話機、テレビジョン受像機等の情報処理機器は、液晶ディスプレイ等の表示部と、所定の操作内容や文字を入力するためのキーボード、ボタン、リモコン、マウス、またはタッチパネル等の入力部とによって構成されている。そして、通常は、情報処理機器は、キー操作によって入力された操作内容に応じて所定の処理を実行し、その実行結果を表示部に表示する。
【０００３】
近年では、キーボード、マウスまたはタッチパネルの他にも、外部接続されたカメラでユーザを画像認識し、そのユーザの動きに応じて操作内容を自動的に入力する機器が提案されている。人の手の一連の動きは特定の意味を有する場合がある。たとえば、手を左右に動かす動作は「さようなら」を意味し、手を広げて奥から手前に動かす動作は「こちらに来てほしい」を意味する。また、手の動きだけでなく、その他の体の動きにも同様に特定の意味を持たせることができる。このような体の一部による一連の特定の動き（以下、ジェスチャと呼ぶ。）の画像認識で、これに対応する特定の情報を入力（以下、ジェスチャ入力と呼ぶ。）することができる。
【０００４】
このような機器を用いる場合には、ユーザは、取扱説明書等を参照して操作内容に対応するジェスチャを覚える必要がある。ユーザは、各ジェスチャを覚えて自身が入力したい操作内容を機器に認識させる。ユーザは正しくジェスチャを行ったつもりでも、意図した通りに機器に入力されなかったり、実際に機器に認識された動作がわからなかったりすることがある。これに対して、認識対象の動作が認識されるまでの認識過程をユーザに対してフィードバックして学習させる方法が提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３０６０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の機器は、手の動きの軌跡を表すビジュアルフィードバック画面を生成するが、操作の説明は画面に表れておらずユーザは取扱説明書等を参照してジェスチャを覚えなくてはならない。一方、特許文献１記載の機器ジェスチャを間違えて入力した際にはユーザは間違えたことを自覚できない。そして、ユーザにとってそのような機器は、使用開始の障壁が高い。また、ユーザへの学習効果を高められていないため、使いやすい機器を提供できない。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて機器を使用しながら学習できる情報処理機器、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するため、本発明の情報処理機器は、ジェスチャにより操作可能な情報処理機器であって、カメラにより撮影されたジェスチャ対象を認識するジェスチャ対象認識部と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する位置判定部と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるガイダンス表示制御部と、を備えることを特徴としている。
【０００９】
このようにガイダンスを表示することで、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【００１０】
（２）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記ジェスチャ対象認識部が前記カメラにより撮影されたジェスチャ対象を認識した際に、前記ディスプレイにジェスチャ対象を認識していることを表示させることを特徴としている。これにより、ユーザはジェスチャ対象が認識されたことを知ることができ、ジェスチャを伝えやすくする。
【００１１】
（３）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記ジェスチャ対象認識部が、前記カメラにより撮影されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあることを認識した際に、前記カメラにより撮影されたジェスチャ対象が前記開始位置にあることを前記ディスプレイに表示させることを特徴としている。これにより、ユーザはジェスチャ対象が開始位置にあることを知ることができ、ジェスチャを伝えやすくする。
【００１２】
（４）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記ガイダンスとして、前記ジェスチャ対象の移動方向と操作内容とを対応させた指示を表示することを特徴としている。これにより、ユーザは所望の操作を実現するためのジェスチャ対象の移動方向を容易に知ることができる。
【００１３】
（５）また、本発明の情報処理機器は、前記認識されたジェスチャ対象の映像を鏡像化処理する鏡像化処理部と、前記鏡像化処理されたジェスチャ対象を前記ディスプレイに表示させるジェスチャ表示制御部と、を更に備えることを特徴としている。このようにジェスチャ対象を鏡像化して表示することで、ディスプレイに対向してジェスチャを行うユーザに違和感を与えないようにすることができる。
【００１４】
（６）また、本発明の情報処理機器は、前記ガイダンス表示制御部が、前記撮影されたジェスチャ対象が認識されたことを示す捕捉マーカーを前記ディスプレイの前記予め定められた開始位置に対応する表示位置に表示させることを特徴としている。このような捕捉マーカーの表示により、ユーザはジェスチャの開始位置を知ることができ、そこからのジェスチャと操作内容との対応を学習できる。
【００１５】
（７）また、本発明の情報処理機器は、前記認識されたジェスチャ対象が移動した場合に、その移動が前記ガイダンスの指示するいずれの経路に合致するかを判定する移動判定部を更に備え、前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示するいずれかの経路に合致する場合には、合致の旨を前記ディスプレイに表示させることを特徴としている。
【００１６】
このように、認識されたジェスチャ対象の移動がガイダンスの指示するいずれかの経路に合致する場合には、合致の旨をディスプレイに表示させる。たとえば、実際にジェスチャを行ったときにジェスチャ対象の軌跡を描画し所定操作との合致を示すことで、機器側のジェスチャの受け取り状況を確認しつつ操作内容の入力を完遂でき、ユーザが抱くジェスチャ入力への不安を解消できる。
【００１７】
（８）また、本発明の情報処理機器は、前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示する経路のいずれにも合わない場合には、不合致の旨を前記ディスプレイに表示させることを特徴としている。これにより、間違った操作内容を入力したときに、実際に認識された動作を明確にでき、ユーザに結果をフィードバックできる。たとえば、ジェスチャに相当する操作内容がないという不合致表示を表示できる。ジェスチャを始めるための手の位置は正しかったが、その後の手の動かし方が悪かったために操作内容の実行まで至らなかったことを、ユーザは理解でき、ジェスチャ入力のための学習が進む。
【００１８】
（９）また、本発明の情報処理方法は、ジェスチャにより操作可能な情報処理機器を用いて行う情報処理方法であって、カメラにより撮影されたジェスチャ対象を認識するステップと、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定するステップと、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるステップと、を含むことを特徴としている。
【００１９】
このようにガイダンスを表示することで、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて機器を使用しながら学習でき、使用開始の障壁を低くできる。
【００２０】
（１０）また、本発明の情報処理プログラムは、ジェスチャにより操作可能な情報処理機器に実行させる情報処理プログラムであって、カメラにより撮影されたジェスチャ対象を認識する処理と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する処理と、前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させる処理と、を含むことを特徴としている。
【００２１】
このようにガイダンスを表示することで、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【発明の効果】
【００２２】
本発明によれば、ユーザは意図したジェスチャを容易に入力でき、操作内容に対応するジェスチャについて情報処理機器を使用しながら学習でき、使用開始の障壁を低くできる。
【図面の簡単な説明】
【００２３】
【図１】実施形態１に係る情報処理機器を示す正面図である。
【図２Ａ】実施形態１に係る情報処理機器のハード構成を示すブロック図である。
【図２Ｂ】実施形態１に係る情報処理機器の機能的構成を示すブロック図である。
【図３】実施形態１の操作内容、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。
【図４Ａ】実施形態１に係る情報処理機器の入力動作を示すフローチャートである。
【図４Ｂ】実施形態１に係る情報処理機器の入力動作を示すフローチャートである。
【図５】実施形態１の捕捉マーカーおよびガイダンスの表示例を示す図である。
【図６Ａ】実施形態１に係る情報処理機器の表示動作を示すフローチャートである。
【図６Ｂ】実施形態１に係る情報処理機器の表示動作を示すフローチャートである。
【図７】実施形態１に係る情報処理機器の使用場面の一例を示す図である。
【図８】実施形態２に係る情報処理機器を示す正面図である。
【図９】実施形態２の操作内容、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。
【図１０】実施形態２に係る情報処理機器の使用場面の一例を示す図である。
【発明を実施するための形態】
【００２４】
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
【００２５】
［第１の実施形態］
（テレビジョン受像機の外観）
図１は、テレビジョン受像機１００（情報処理機器）を示す正面図である。以下の例では、情報処理装置の一例としてテレビジョン受像機１００を説明しているが、本発明の情報処理装置は必ずしもこれに限定されない。テレビジョン受像機１００は、ディスプレイ１０１、カメラ１０２を備えている。ディスプレイ１０１は、液晶、プラズマ、ブラウン管、有機ＥＬ等の手段により受信映像やユーザへの視覚情報を表示する。カメラ１０２は、デジタルデータに変換できる素子で構成されており、ユーザのジェスチャを撮影する。ＣＭＯＳ、ＣＣＤ等一般的な撮像素子を用いて構成されていればよい。また、カメラ１０２は、認識精度を上げるため、距離センサ、深度センサ等を備えていてもよい。カメラ１０２は、ユーザの方向を向いた状態で配置されることが好ましく、たとえばディスプレイ１０１の表示面と同じ方向に向いて配置される。
【００２６】
（ハード構成）
図２Ａは、テレビジョン受像機１００のハード構成を示すブロック図である。図２Ａに示すように、テレビジョン受像機１００は、ディスプレイ１０１、カメラ１０２、テレビ機能処理部１０３、カメラＩＦ１０４、演算部１０５、メモリ１０６、記憶部１０７、グラフィック処理部１０８および制御部１０９を備えている。必要な要素を中心に説明し、一般の機能説明は省略する。テレビ機能処理部１０３は、テレビ放送を受信するチューナや受信データに含まれる動画像のデコード、音声のデコード等を行い、結果をメモリ１０６に書き込む。
【００２７】
カメラＩＦ１０４は、カメラ１０２で撮影されたデータを演算部１０５等が利用できるデータ形式に変換し、メモリ１０６に書き込む。演算部１０５は、カメラ１０２で撮影された映像からジェスチャの対象（たとえば手や目）等を認識し、ジェスチャをコマンドへと変換する処理等を行う。メモリ１０６は、演算部１０５が処理する際に一時的にデータを格納する。記憶部１０７は、メモリ１０６ほど頻繁に書き換える必要のないデータを格納する。たとえば、コマンドとそれに対応するジェスチャの仕様リスト（後述）を記憶しておく。
【００２８】
グラフィック処理部１０８は、テレビ機能処理部１０３、演算部１０５等が処理しメモリ１０６に書き込んだ表示データをディスプレイ１０１へ表示するためのデータ変換処理を行う。また、複数の画像の重畳処理や鏡像化処理を行う。制御部１０９は、機器全体を制御する。
【００２９】
（機能的構成）
図２Ｂは、テレビジョン受像機１００の機能的構成を示すブロック図である。上記のカメラＩＦ１０４、演算部１０５、メモリ１０６、記憶部１０７、グラフィック処理部１０８および制御部１０９は、機能的構成としては、ジェスチャ対象認識部２１１、形状判定部２１２、鏡像化処理部２１３、ジェスチャ表示制御部２１４、位置判定部２２１、移動判定部２２２、操作実行部２２３およびガイダンス表示制御部２２４に対応する。各部について説明する。
【００３０】
ジェスチャ対象認識部２１１は、カメラで撮影した画像からジェスチャ対象を認識する。ジェスチャ対象とは、ジェスチャを行う物体であり、手、目などの体の一部が該当することが多いがこれらに限られるものではなく、ペンを持った手なども該当しうる。なお、ジェスチャ対象の認識手法には輪郭抽出、背景分離、パターンマッチング等があるが、これらに限定されない。形状判定部２１２は、ジェスチャ対象の形状を判定する。形状判定することで、映像上で外形を切り出すことが容易になる。形状判定部２１２で判定された形状をジェスチャ認識の一要素として使用してもよい。具体的には、ジェスチャ対象認識部２１１が、拡げた手と閉じた手とをそれぞれ異なるジェスチャとして認識する。その場合には、同じ位置、経路であっても、手の形が拡げているのと閉じているのではジェスチャが異なるという基準がとられる。
【００３１】
鏡像化処理部２１３は、形状判定されたジェスチャ対象の映像について外形を切り出し、ジェスチャ対象の映像を鏡像化処理する。ジェスチャ表示制御部２１４は、鏡像化処理されたジェスチャ対象をディスプレイ１０１に表示させる。位置判定部２２１は、認識されたジェスチャ対象がカメラの位置に対して予め定められた開始位置にあるか否かを判定する。認識されたジェスチャ対象が予め定められた終了位置にあるか否かについても同様に判定する。
【００３２】
移動判定部２２２は、ジェスチャ対象の移動がいずれの経路かを判定する。認識されたジェスチャ対象が移動した場合に、その移動がガイダンスの指示するいずれの経路に合致するかを判定する。操作実行部２２３は、有効になった操作内容を実行する。
【００３３】
ガイダンス表示制御部２２４は、選択可能な操作の内容とジェスチャ対象の移動方向とを対応させたガイダンスを表示する。たとえば、ガイダンス表示制御部２２４は、撮影されたジェスチャ対象が認識されたことを示す捕捉マーカーをディスプレイ１０１の予め定められた開始位置に対応する表示位置に表示させる。また、認識されたジェスチャ対象がカメラの位置に対して予め定められた開始位置にある場合に、認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイ１０１に表示させる。ジェスチャ対象の移動方向と操作内容とを対応させた指示を表示する。
【００３４】
ガイダンス表示制御部２２４は、認識されたジェスチャ対象の移動がガイダンスの指示するいずれかの経路に合致する場合には、合致の旨をディスプレイ１０１に表示させる。ガイダンス表示制御部２２４は、認識されたジェスチャ対象の移動がガイダンスの指示する経路のいずれにも合わない場合には、不合致の旨をディスプレイ１０１に表示させる。
【００３５】
（ジェスチャリスト）
図３は、コマンド（操作内容）、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。図３に示すテーブルは、各No.のコマンドの内容を表している。このようにコマンドとジェスチャと認識されるためにユーザがとる必要のある行動を対照させたテーブルをジェスチャリストと呼ぶ。通常、テーブルの情報は、メモリ１０６もしくは記憶部１０７に格納される。
【００３６】
コマンド３０１は、実際に機器を制御する指令であり、制御部１０９で解釈され、機器各部が制御される。ガイダンス３０２は、ディスプレイ１０１に表示されるガイダンスの一部を示す文字情報表示である。ジェスチャ対象３０３は、手や目等の具体的なジェスチャ対象である。図３に示す例では、ジェスチャ対象３０３が手であり、コマンドを入力するジェスチャは手で行われる。手の他に指、目、足等の部分のほか、体全体等がジェスチャ対象となりうる。
【００３７】
開始位置３０４は、ジェスチャ前に、ジェスチャ対象が認識される範囲を示す。開始位置３０４に示す外側の四角はカメラの撮影範囲であり、内側の四角（斜線入り）はジェスチャ対象３０３が開始位置にあると認識されうる位置である。たとえば、No.0001のコマンドについては、カメラによる撮影範囲内で手が中央付近に映ればジェスチャの開始が認識される。
【００３８】
経路３０５は、ジェスチャと認識されるために、ジェスチャ対象がとるべき経路である。No.0001のコマンドについては、ジェスチャ対象が撮影範囲内において、中央から下方に移動することでジェスチャが認識される。終了位置３０６に示す外側の四角はカメラの撮影範囲であり、内側の四角（斜線入り）はジェスチャ対象３０３が終了位置にあると認識されうる位置を示す。
【００３９】
したがって、No.0001のコマンドについては、ジェスチャ対象が撮影範囲の中央下方に映るとジェスチャ終了と認識される。ユーザは停止コマンド(No.0001)をテレビジョン受像機１００に伝えたい場合は、ジェスチャ対象である手を、カメラ撮影範囲の中央付近に映るように差し出し、ジェスチャ認識が開始されてから、その手を下方向へ動かす必要がある。このことが図３に示すNo.0001の開始位置３０４、経路３０５、終了位置３０６により表わされている。
【００４０】
（入力動作）
図４Ａ、図４Ｂは、テレビジョン受像機１００の入力動作を示すフローチャートである。図４Ａ、図４Ｂを用いて、ジェスチャを認識してからユーザに使用方法の学習を促すまでの内部処理を説明する。
【００４１】
まず、テレビジョン受像機１００の電源投入、またはアプリケーションソフト起動等により処理を開始する。この時点ではジェスチャ対象が見つかっていない。次に、カメラの撮影映像からジェスチャ対象を探し（ステップＳ１）、ジェスチャ対象を認識しているか否かを判断する（ステップＳ２）。認識していなければステップＳ１に戻り、ジェスチャ対象を探す。認識していれば、カメラ１０２で撮影されて格納されているジェスチャ対象の映像をディスプレイ１０１へ表示するように指示する（ステップＳ３）。次に、ジェスチャ対象が、ジェスチャリストの開始位置に存在するか否かを判定する（ステップＳ４）。ジェスチャ対象が開始位置に存在しない場合はステップＳ１へと戻る。存在する場合は、ジェスチャ対象を捕捉していると判断し、捕捉マーカーとガイダンスの表示を指示する（ステップＳ５）。捕捉とは、ジェスチャ対象を認識し続けている状況を指す。
【００４２】
次に、ジェスチャ対象が動いたか否かを判定する（ステップＳ６）。動いていなければ、動くまで待機する。動いたときには、ユーザへのガイダンスの必要がなくなったと判断し、ガイダンス消去を指示し、ガイダンスを消去する（ステップＳ７）。そして、ジェスチャ対象を捕捉しているかを判定する（ステップＳ８）。捕捉していなければステップＳ１へ戻る。
【００４３】
一方、ジェスチャ対象を捕捉しているときには、ジェスチャ対象の軌跡が、ジェスチャ対象の開始位置に基づいて取られうるジェスチャリストの経路３０５のいずれかと一致するか否かを判定する。一致していなければ、ジェスチャがリストにない旨を表示し（ステップＳ１０）、ステップＳ１に戻る。一致していれば、ジェスチャ対象の移動の軌跡を表示するよう指示する。この軌跡を表示することでユーザは、ガイダンスに示された内容と、自分のジェスチャの動きとが一致していることが分かる。
【００４４】
次に、ジェスチャ対象が取られた経路３０５により決まる終了位置３０６か否かを判定する（ステップＳ１２）。終了位置３０６ではないと判定されれば、ステップＳ９に戻る。終了位置３０６であると判定されれば、ジェスチャ完了として、ジェスチャに対応したコマンドを発行し、コマンドに相当する制御を行い、処理を完了する。
【００４５】
（ガイダンス表示）
捕捉マーカーおよびガイダンスについて説明する。図５は、捕捉マーカーおよびガイダンスの表示例５００を示す図である。捕捉マーカー５０１は、ジェスチャ対象が開始位置にあることをユーザに教える印である。このような捕捉マーカー５０１の表示により、ユーザはジェスチャの開始位置を知ることができ、そこからのジェスチャと操作内容との対応を学習できる。ガイダンスは、ジェスチャ対象が開始位置にあると認識されているときに表示されるものであって、その開始位置から、認識可能なジェスチャおよび発行可能なコマンドの一覧である。すなわち、ジェスチャ対象をどのように動かせば各コマンドと認識されるかを、ユーザに教えるための案内である。
【００４６】
図５に示すガイダンスの例では、ジェスチャ対象の移動方向を矢印５１１〜５１４で、コマンドの内容を文字情報５２１〜５２４で示している。したがって、この表示例では、ジェスチャ対象を上方向に動かせばメニュー表示、下方向に動かせば停止、右方向へ動かせば早送り、左方向に動かせば早戻し、のコマンドが発行される。これにより、ユーザは所望の操作を実現するためのジェスチャ対象の移動方向を容易に知ることができる。これらのジェスチャとコマンドとの対応は、図３に示したジェスチャリストにより決定される。なお、ガイダンスは上記の例に限らず、ユーザに開始位置を伝えられるという目的を達すれば、形状や方法は問わない。
【００４７】
（表示動作）
図６Ａ、図６Ｂは、テレビジョン受像機１００の表示動作を示すフローチャートである。図６を用いて、表示に関わる処理を説明する。主として、図４Ａ、図４Ｂで説明した内部処理を受けて、グラフィック処理部１０８が行う表示系処理である。
【００４８】
まず、テレビジョン受像機１００の電源投入等により開始する。テレビジョン受像機１００の基本機能による映像をディスプレイ１０１に表示する。たとえば、放送（電波やＩＰ、オンデマンド等による放送を含む）や録画された映像が表示される（ステップＴ１）。次に、ジェスチャ対象の表示指示があるか否かを判定する（ステップＴ２）。表示指示がなければステップＴ１に戻る。表示指示があれば、カメラで撮影し認識されているジェスチャ対象をディスプレイ１０１に表示する。
【００４９】
このとき、ユーザにとっては、鏡を見ているかのように表示することが、ユーザに違和感を抱かせないために重要であるから、撮影したジェスチャ対象の映像について左右座標を反転させて鏡像化し、基本機能画像に重畳させて表示する（ステップＴ３）。鏡像化することでジェスチャ対象が鏡に映るようにディスプレイ１０１に表示される。たとえばユーザが右手を上げれば、画面右側に映る手が上がる。
【００５０】
次に、捕捉マーカーとガイダンスの表示指示があるか否かを判定する（ステップＴ４）。表示指示がない場合はステップＴ２に戻る。表示指示がある場合は、捕捉マーカーとガイダンスを、すでに表示されている基本機能による映像とジェスチャ対象の表示に重畳して表示する（ステップＴ５）。そして、ガイダンスの消去指示があるか否かを判定する（ステップＴ６）。消去指示がなければステップＴ８へ進む。消去指示があればガイダンスを消去する（ステップＴ７）。
【００５１】
次に、軌跡表示の指示または不合致表示の指示のいずれがなされたかを判定して（ステップＴ８）、不合致表示の指示であれば不合致表示を表示して（ステップＴ９）、ステップＴ１１へ進む。軌跡表示の指示があれば、ジェスチャ対象が動いた際の軌跡を表示する（ステップＴ１０）。軌跡の表示としては、たとえばジェスチャ対象が動いた跡を線等で描画する。また、これと同時にガイダンスの表示を消去する。そして、コマンド入力があるか否かを判定する（ステップＴ１１）。この判定は、ジェスチャが完了したか否かの判定となる。コマンド入力がなければ、ステップＴ１０へ戻り軌跡を表示する。コマンド入力があれば、ジェスチャが完了し、コマンド入力されたと判断し、捕捉マーカーと軌跡を消去し（ステップＴ１２）、処理を完了する。
【００５２】
（使用場面）
次に、ユーザがテレビジョン受像機１００を使用した際の使用場面の一連の流れを説明する。図７は、テレビジョン受像機１００の使用場面の一例を示す図である。
【００５３】
使用場面Ｐ１では、ユーザＵ１がテレビジョン受像機１００を見ている。このときのテレビジョン受像機１００の画面は基本機能による映像として放送やビデオ等の映像７１１が表示されている。次に、使用場面Ｐ２ではユーザＵ１が前方へ手を広げてテレビジョン受像機１００にかざすと、カメラ１０２で撮影されたユーザＵ１の手の映像とジェスチャ対象の捕捉マーカー７１２、矢印７１３と文字情報７１４で構成されるガイダンスが映像７１１の上に重畳されて表示される。
【００５４】
その後、使用場面Ｐ３では、ユーザＵ１がテレビジョン受像機１００に表示された自分の手をガイダンスの「ＭＥＮＵ」の文字情報７１３に重ねるように手を広げたまま上へ上げ、「ＭＥＮＵ」の文字情報７１３に手を重ねている。テレビジョン受像機１００の表示は、手の動いた跡の軌跡７１５が表示され、「ＭＥＮＵ」の文字情報７１３以外のガイダンスが消える。そのまま一定時間（たとえば1秒の設計値）保持すると、使用場面Ｐ４に示すようにテレビジョン受像機１００のディスプレイ上にユーザＵ１の意図したとおりにメニュー画面が表示される。
【００５５】
このように動作することで、ユーザＵ１はテレビジョン受像機１００を使いながらジェスチャの開始位置を知ることができ、どのようにジェスチャを行えば、意図したコマンドにつながるかを学習できる。そして、実際にジェスチャを行えば軌跡が描画されるので、機器側の受け取り状況を確認しつつコマンド入力まで完遂できる。その結果、ユーザＵ１は、ジェスチャ入力への不安を解消できる。
【００５６】
［第２の実施形態］
上記の実施形態では、ジェスチャにより操作可能な情報処理機器がテレビジョン受像機１００であるが、電子書籍端末であってもよい。以下、上記の実施形態１に対する差分を中心に説明する。
【００５７】
（電子書籍端末の外観）
図８は、電子書籍端末６００を示す正面図である。ディスプレイ６０１は、液晶、有機ＥＬ等の表示手段により、映像を表示する。図８の例では、電子書籍を表示している。カメラ６０２は、ユーザを撮影する方向（ユーザに対向する方向）に向けて配置され、ディスプレイと同じ向きである。カメラ６０２は、ユーザおよびユーザのジェスチャを撮影する。
【００５８】
（ジェスチャリスト）
図９は、操作内容、ガイダンス、ジェスチャ判定基準を対応付けたテーブルを示す図である。図９を用いて、ジェスチャリストについて説明する。上記の実施形態ではユーザが比較的離れて使用するテレビジョン受像機１００である。これに対して、電子書籍端末６００は、ユーザが持って使用し、かつ実際の書籍に近い操作性を与えるものであるため、第１の実施形態の場合とはジェスチャリストの内容が大きく異なる。具体的には、ジェスチャリストのコマンドの種類が電子書籍向けになる。また、ジェスチャ対象の手がカメラから近いため、開始位置・終了位置のジェスチャ対象を示す領域が大きくなる。
【００５９】
（使用場面）
図１０は、電子書籍端末６００の使用場面の一例を示す図である。使用場面Ｑ１では、ユーザＵ２が電子書籍のページを、ジェスチャリストに従ってめくるジェスチャを行っている。電子書籍端末６００は、ユーザＵ２が画面左下に伸ばした手をカメラで撮影して映像処理し、手の映像をディスプレイ６０１上に表示している。ジェスチャ対象である手が開始位置にあるため、捕捉マーカー７１２と矢印７１３および文字情報７１４によるガイダンスが表示されている。
【００６０】
使用場面Ｑ２で、ガイダンスに従いユーザＵ２が手を右方向へ移動すると、開始位置から動かされた手の軌跡７１５がディスプレイ６０１に表示される。さらに、使用場面Ｑ３で、ユーザＵ２が右方向へ手を動かすと、ジェスチャリストに記載された終了位置にジェスチャ対象の手が到達し、ページ送りのコマンドが実行される。
【００６１】
仮に、使用場面Ｑ１において、ガイダンスに従わずジェスチャリストにない経路のジェスチャをユーザＵ２が行った場合、ディスプレイ６０１には捕捉マーカー７１２と手の映像との間には軌跡が表示されない。さらに、ユーザＵ２が行ったジェスチャに相当するコマンドがないことを、ユーザに対して伝えるための不合致表示８１１を表示する。これにより、ユーザＵ２はジェスチャ開始時の手の位置が適当だったこと、および、その後の手の動かし方が不適当だったためにコマンド実行まで至らなかったことが理解でき、ジェスチャ入力のための学習が進む。
【符号の説明】
【００６２】
１００ テレビジョン受像機（情報処理機器）
１０１ ディスプレイ
１０２ カメラ
１０３ テレビ機能処理部
１０５ 演算部
１０６ メモリ
１０７ 記憶部
１０８ グラフィック処理部
１０９ 制御部
２１１ ジェスチャ対象認識部
２１２ 形状判定部
２１３ 鏡像化処理部
２１４ ジェスチャ表示制御部
２２１ 位置判定部
２２２ 移動判定部
２２３ 操作実行部
２２４ ガイダンス表示制御部
３０１ コマンド
３０２ ガイダンス
３０３ ジェスチャ対象
３０４ 開始位置
３０５ 経路
３０６ 終了位置
５００ 表示例
５０１ 捕捉マーカー
５１１-５１４ 矢印
５２１-５２４ 文字情報
６００ 電子書籍端末
６０１ ディスプレイ
６０２ カメラ
７１１ 映像
７１２ 捕捉マーカー
７１３ 矢印
７１４ 文字情報
７１５ 軌跡
８１１ 不合致表示
Ｐ１−Ｐ４、Ｑ１−Ｑ３ 使用場面
【特許請求の範囲】
【請求項１】
ジェスチャにより操作可能な情報処理機器であって、
カメラにより撮影されたジェスチャ対象を認識するジェスチャ対象認識部と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する位置判定部と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるガイダンス表示制御部と、を備えることを特徴とする情報処理機器。
【請求項２】
前記ガイダンス表示制御部は、前記ジェスチャ対象認識部が前記カメラにより撮影されたジェスチャ対象を認識した際に、前記ディスプレイにジェスチャ対象を認識していることを表示させることを特徴とする請求項１記載の情報処理機器。
【請求項３】
前記ガイダンス表示制御部は、前記ジェスチャ対象認識部が、前記カメラにより撮影されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあることを認識した際に、前記カメラにより撮影されたジェスチャ対象が前記開始位置にあることを前記ディスプレイに表示させることを特徴とする請求項１または請求項２記載の情報処理機器。
【請求項４】
前記ガイダンス表示制御部は、前記ガイダンスとして、前記ジェスチャ対象の移動方向と操作内容とを対応させた指示を表示することを特徴とする請求項１から請求項３のいずれかに記載の情報処理機器。
【請求項５】
前記認識されたジェスチャ対象の映像を鏡像化処理する鏡像化処理部と、
前記鏡像化処理されたジェスチャ対象を前記ディスプレイに表示させるジェスチャ表示制御部と、を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の情報処理機器。
【請求項６】
前記ガイダンス表示制御部は、前記撮影されたジェスチャ対象が認識されたことを示す捕捉マーカーを前記ディスプレイの前記予め定められた開始位置に対応する表示位置に表示させることを特徴とする請求項１から請求項５のいずれかに記載の情報処理機器。
【請求項７】
前記認識されたジェスチャ対象が移動した場合に、その移動が前記ガイダンスの指示するいずれの経路に合致するかを判定する移動判定部を更に備え、
前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示するいずれかの経路に合致する場合には、合致の旨を前記ディスプレイに表示させることを特徴とする請求項１から請求項６のいずれかに記載の情報処理機器。
【請求項８】
前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示する経路のいずれにも合わない場合には、不合致の旨を前記ディスプレイに表示させることを特徴とする請求項７記載の情報処理機器。
【請求項９】
ジェスチャにより操作可能な情報処理機器を用いて行う情報処理方法であって、
カメラにより撮影されたジェスチャ対象を認識するステップと、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定するステップと、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるステップと、を含むことを特徴とする情報処理方法。
【請求項１０】
ジェスチャにより操作可能な情報処理機器に実行させる情報処理プログラムであって、
カメラにより撮影されたジェスチャ対象を認識する処理と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する処理と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させる処理と、を含むことを特徴とする情報処理プログラム。
【請求項１】
ジェスチャにより操作可能な情報処理機器であって、
カメラにより撮影されたジェスチャ対象を認識するジェスチャ対象認識部と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する位置判定部と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるガイダンス表示制御部と、を備えることを特徴とする情報処理機器。
【請求項２】
前記ガイダンス表示制御部は、前記ジェスチャ対象認識部が前記カメラにより撮影されたジェスチャ対象を認識した際に、前記ディスプレイにジェスチャ対象を認識していることを表示させることを特徴とする請求項１記載の情報処理機器。
【請求項３】
前記ガイダンス表示制御部は、前記ジェスチャ対象認識部が、前記カメラにより撮影されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあることを認識した際に、前記カメラにより撮影されたジェスチャ対象が前記開始位置にあることを前記ディスプレイに表示させることを特徴とする請求項１または請求項２記載の情報処理機器。
【請求項４】
前記ガイダンス表示制御部は、前記ガイダンスとして、前記ジェスチャ対象の移動方向と操作内容とを対応させた指示を表示することを特徴とする請求項１から請求項３のいずれかに記載の情報処理機器。
【請求項５】
前記認識されたジェスチャ対象の映像を鏡像化処理する鏡像化処理部と、
前記鏡像化処理されたジェスチャ対象を前記ディスプレイに表示させるジェスチャ表示制御部と、を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の情報処理機器。
【請求項６】
前記ガイダンス表示制御部は、前記撮影されたジェスチャ対象が認識されたことを示す捕捉マーカーを前記ディスプレイの前記予め定められた開始位置に対応する表示位置に表示させることを特徴とする請求項１から請求項５のいずれかに記載の情報処理機器。
【請求項７】
前記認識されたジェスチャ対象が移動した場合に、その移動が前記ガイダンスの指示するいずれの経路に合致するかを判定する移動判定部を更に備え、
前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示するいずれかの経路に合致する場合には、合致の旨を前記ディスプレイに表示させることを特徴とする請求項１から請求項６のいずれかに記載の情報処理機器。
【請求項８】
前記ガイダンス表示制御部は、前記認識されたジェスチャ対象の移動が前記ガイダンスの指示する経路のいずれにも合わない場合には、不合致の旨を前記ディスプレイに表示させることを特徴とする請求項７記載の情報処理機器。
【請求項９】
ジェスチャにより操作可能な情報処理機器を用いて行う情報処理方法であって、
カメラにより撮影されたジェスチャ対象を認識するステップと、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定するステップと、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させるステップと、を含むことを特徴とする情報処理方法。
【請求項１０】
ジェスチャにより操作可能な情報処理機器に実行させる情報処理プログラムであって、
カメラにより撮影されたジェスチャ対象を認識する処理と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にあるか否かを判定する処理と、
前記認識されたジェスチャ対象が前記カメラの位置に対して予め定められた開始位置にある場合に、前記認識されたジェスチャ対象の移動方法を指示するガイダンスを、操作内容に対応させてディスプレイに表示させる処理と、を含むことを特徴とする情報処理プログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１１８７２５（Ｐ２０１１−１１８７２５Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７６２１３（Ｐ２００９−２７６２１３）
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]