ジェスチャー入力装置および方法
【課題】機器操作にジェスチャー入力を用いる装置、及び方法において、撮像手段により撮影された映像に基づくジェスチャー認識のみから機器の操作を行うのでは、複雑な操作をすることは難しく、また、ジェスチャー認識のみで操作できる機能に限られる。
【解決手段】撮像手段１０１により撮影された映像に基づくジェスチャー認識とタッチパネル等の接触検知手段１０２を複合的に用いて、機器の入力操作行うため、制御命令を決定するステップと制御命令を実行するステップを独立して決定できる。さらに、操作対象を選択しながら制御命令の決定と実行をしたり、制御命令のパラメーターを独立して操作することができる。よって、複雑な操作を直感的にすることが可能となる。
【解決手段】撮像手段１０１により撮影された映像に基づくジェスチャー認識とタッチパネル等の接触検知手段１０２を複合的に用いて、機器の入力操作行うため、制御命令を決定するステップと制御命令を実行するステップを独立して決定できる。さらに、操作対象を選択しながら制御命令の決定と実行をしたり、制御命令のパラメーターを独立して操作することができる。よって、複雑な操作を直感的にすることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器操作のインターフェイスに関する技術であり、ジェスチャー入力により機器を操作する装置、及び方法に関するものである。
【背景技術】
【０００２】
従来、多機能化した機器を利用するためのインターフェイスとして、操作者が直感的に使用できるジェスチャー入力手段を備えるものがある。例えば、撮像手段により撮像されたハンドジェスチャーの認識結果に基づいて、画像を移動、回転、拡大、縮小等の機器の操作を行うものがある（例えば、特許文献１参照）。図３２に、前記特許文献１に記載の従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す。
【０００３】
図３２において、従来のレイアウト装置は、撮像カメラ５により撮像されたハンドジェスチャーを認識するジェスチャー認識部６と、そのジェスチャー認識に基づき制御部７により機器の操作、例えば図形などのレイアウト変更を行う。その際タッチパッド４は、表示手段１上のレイアウトを変更するオブジェクトの選択および、レイアウト変更処理を終了するときにのみ使用される。
【特許文献１】特開平１１−３３８１２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の構成では、撮像手段により撮影された映像に基づくジェスチャー認識から機器の操作を行うのみであり、タッチディスプレイをどの画像（画面）に対して操作を行うかを選択する以外のことに使用しない。よって、複雑な操作をすることは難しく、また、ジェスチャー認識のみで操作できる機能に限られる。例えば、位置を指定しつつジェスチャー認識を行うなどの多種多様な入力操作をすることが困難であった。
【０００５】
本発明は、前記従来の課題を解決するもので、接触入力手段とジェスチャー認識を複合的に用いて、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の構成を採用した。
【０００７】
本発明の第１の局面は、操作者の操作面への接触を検知する接触検知手段と、操作者のジェスチャーから制御命令を選択する制御命令選択手段と、前記接触検知手段により検知された操作面への接触から前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段とを有する。これにより、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することが可能となる。
【０００８】
本発明の第２の局面は、操作者の操作面への接触を検知する接触検知手段と、前記接触検知手段により検知された操作面への接触から制御命令を選択する制御命令選択手段と、操作者のジェスチャーから前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段とを有する。
【０００９】
本発明の第３の局面は、第１、２の局面において、接触検知手段の操作面への接触、および／または操作者のジェスチャーから操作位置を決定する操作位置決定手段を有することを特徴とする。この構成により、直感的に操作しやすいインターフェイスを提供することが可能となる。
【００１０】
本発明の第４の局面は、第１、２の局面において、接触検知手段により検知された操作面への接触、および／または操作者のジェスチャーから前記制御命令のパラメーターを決定する制御パラメーター決定手段を有することを特徴とする。この構成により、複雑な操作を行うことが可能なジェスチャー入力装置を提供することができる。
【００１１】
本発明の第５の局面は、第１の局面において、操作者のジェスチャーからジェスチャー特徴量を抽出するジェスチャー特徴量抽出手段と、前記ジェスチャー特徴量と制御命令を対応させたジェスチャー特徴量データベースとから制御命令を選択することを特徴とする。
【００１２】
本発明の第６の局面は、第５の局面において、操作者のジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする。
【００１３】
本発明の第７の局面は、第６の局面において、前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状から重心位置を算出し、前記重心位置とジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする。この構成により、より正確にジェスチャー形状、動作が認識可能となる。
【００１４】
本発明の第８の局面は、第１の局面において、前記制御命令選択手段は、操作している指の本数および／またはどの指で操作しているかにより制御命令を選択することを特徴とする。この構成により、表示画面を見なくても直感的に操作をすることが可能となる。
【００１５】
本発明の第９の局面は、第１の局面において、前記制御命令選択手段は、手で画面を切るジェスチャーのとき２画面表示をする制御命令を選択し、前記接触検知手段により検知された操作面の接触位置から２画面表示の境目を決定することを特徴とする。この構成により、直感的な操作で制御命令および制御命令パラメータを決定することができる。
【００１６】
本発明の第１０の局面は、第２の局面において、前記制御命令選択手段は、前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触により制御命令を決定することを特徴とする。
【００１７】
本発明の第１１の局面は、第４の局面において、前記制御パラメーター決定手段は、前記接触検知手段に接触が検知されているときのみ操作者のジェスチャーから制御命令のパラメーターを決定することを特徴とする。この構成により、接触検知手段とジェスチャーによる複合的な操作が可能となる。
【００１８】
本発明の第１２の局面は、第１、２の局面において、情報表示手段に表示された機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触によりジェスチャー入力処理を開始することを特徴とする。この構成により、ジェスチャー入力が可能か否かが操作者に分かり、誤動作や操作者の意図しない機器の操作を防ぐことが可能となる。
【００１９】
本発明の第１３の局面は、第１、２の局面において、ジェスチャー入力受付可能な状態の時に、情報表示手段に表示された機能選択ボタンに、機能に対応するジェスチャーのアニメーションが表示されていることを特徴とする。この構成により、操作に慣れていない状態であっても、機能操作に対応したジェスチャーがどのようなものかアイコンを確認するだけで分かり、所望の機器操作を直ちにすることができる。
【００２０】
本発明の第１４の局面は、操作面への接触を検知するステップと、操作者のジェスチャーから制御命令を選択するステップと、操作面への接触から前記制御命令を実行するタイミングを決定するステップとを有する。
【００２１】
本発明の第１５の局面は、操作面への接触を検知するステップと、前記接触検知手段により検知された操作面への接触から制御命令を選択するステップと、操作者のジェスチャーから前記制御命令を実行するタイミングを決定するステップとを有する。
【発明の効果】
【００２２】
本発明のジェスチャー入力装置によれば、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して、本発明の実施の形態にかかるジェスチャー入力装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。また、本実施の形態では、ジェスチャーとして操作者の手形状および手動作を代表的な例として説明するが、これに限らない。ジェスチャーは、身体形状を利用するものが一般的だが、特別な形状、色、材質等で製作された専用の操作手段を用いても構わない。
【００２４】
（実施の形態）
図１に示すように、本実施の形態における構成は、ジェスチャー形状および動作を撮影するための撮像手段１０１と、操作面の接触を検知する接触検知手段１０２と、撮像手段１０１によって取得した映像からジェスチャー形状を認識するジェスチャー形状認識手段１０３および、ジェスチャー動作認識手段１０４からなるジェスチャー認識部１０５と、認識されたジェスチャーから制御命令を選択する制御命令選択手段１０６と、制御命令を実行するタイミングを決定する命令実行タイミング決定手段１０７と、制御命令のパラメーターを決定する制御パラメーター決定手段と、制御命令を実行するときに操作位置が必要な場合に操作位置を決定する操作位置決定手段１１２とからなる制御部１０８と、操作者に情報を提示する情報提示手段１０９と、ジェスチャーと制御命令を対応付ける情報を保持しているジェスチャー特徴量データベース１１０からなる。
【００２５】
図２に本実施の形態の具体的な設置の様子を示す。手の形状と動作を映像で取得する撮像手段１０１としてのカメラ２０１は、接触検知手段１０２としてのタッチパッド２０２の上部が代表的な設置位置であるが、手の形状と動きが正確に取得できる位置に取り付けられているものとする。なお、撮像手段１０１としては、可視光を取得する一般的なカメラ以外に、手の形状と動作を取得するサーモセンサーや赤外線カメラなどを用いてもかまわない。なお、サーモセンサを用いる場合には、人の手が摂氏35〜36度と仮定して、その温度領域を手領域として取得する方法などが考えられる。また、赤外線カメラを用いる場合には、ある一定の閾値より高い値を示している箇所を手領域として抽出する方法等がある。ジェスチャー特徴量データベース１１０は、好ましくは制御部１０８に内蔵された記憶媒体、または外部記憶媒体に格納されている。図２では、外部記憶媒体が制御部１０８に接続されている様子を示している。
【００２６】
次に、個々の構成について説明する。接触検知手段１０２は、操作者が直接操作する操作部で一般的にはタッチパッド２０２が用いられる。タッチパッド２０２には、感圧式および静電圧式等の方式があるが、どの方式でもよい。また、接触検知手段１０２の操作面上の位置と後述する情報提示手段１０９の表示画面位置は対応付けられており、接触検知手段１０２の操作面上の位置を指定することで、情報提示手段１０９に表示されたメニュー等を選択することが可能となっている。
【００２７】
ジェスチャー認識部１０５は、撮像手段１０１によって取得した映像からジェスチャー形状を認識するものであるが、詳細は後述する。
【００２８】
制御命令選択手段１０６は、ジェスチャー認識部１０５によって認識されたジェスチャーと接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を選択する。
【００２９】
命令実行タイミング決定手段１０７は、ジェスチャー認識部１０５によって認識されたジェスチャーと接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するタイミングの決定をする。
【００３０】
制御パラメーター決定手段１１１は、ジェスチャー認識部１０５によって認識されたジェスチャー情報と接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をする。
【００３１】
操作位置決定手段１１２は、ジェスチャー認識部１０５によって認識されたジェスチャーと接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をする。
【００３２】
制御部１０８は、制御命令選択手段１０６と命令実行タイミング決定手段１０７と制御パラメーター決定手段１１１と操作位置決定手段１１２とから構成され、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭで構成される。
【００３３】
情報提示手段１０９は、制御命令を実行した後の結果等の情報を操作者に教示する。好ましくは、液晶やＥＬ（エレクトロルミネッセンス）等を用いたディスプレイである。ここでは、情報提示手段１０９を制御命令を実行した後の結果を提示することを主に説明するが、制御命令は機器を操作するものであれば何でもよく、例えば音声ボリュームの大小やエアコンの温度調整等でもよい。
【００３４】
次に、具体的に操作するアプリケーションとして、地図アプリケーションを表示する装置における操作状態の一例について説明する。
【００３５】
図３、図４、図５は、ジェスチャー認識部１０５により認識された指の本数と接触検知手段１０２への入力を複合的に用いて、異なる機能を実行する例を示したものである。図３は、指１本で接触検知手段１０２をタッチすると、目的地が設定されることを示した図である。具体的にさらに詳しく説明する。情報提示手段１０９に地図画像３０２を表示した状態で、操作者がカーソル３０４を操作することを想定する。操作者が指１本で接触検知手段１０２に接触しない状態で動かすと、画面に表示されているカーソル３０４は操作者の指の動きに合わせて動く。そして、指が接触検知手段１０２にタッチされると、指が押下された位置が目的地として設定される。
【００３６】
ここで、目的地を設定する箇所を指定しやすくするため、ジェスチャー認識部１０５により認識された指などの座標と情報提示手段１０９の座標をジェスチャー認識処理を始める最初の段階で校正しておき、カーソル３０４を情報表示手段１０９に表示しているが、図４に示すように、撮像手段１０１で撮影した手形状をそのまま、若しくはＣＧに変換する等して輪郭部分等の特徴部分のみを画面に表示してもよい。ただし、手形状を表示する際は、情報提示手段１０９と接触検知手段１０２のスケールをあわせて、手形状を表示することが望ましい。なお、後に述べる具体例では、すべてカーソル表示をする例を示しているが、手形状をディスプレイに映すことは、すべての例で可能である。
【００３７】
図５は、操作者が２本の指で操作することにより経由地点を設定する例を示している。これは、制御命令選択手段１０６がジェスチャー認識手段１０５により認識された指の本数により実行する制御命令を予め割り当てておくことにより可能となる。つまり、操作する指の本数が１本の場合、目的地を設定する制御命令を割り当て、操作する指の本数が２本の場合、経由地点を設定する制御命令を割り当てておけばよい。その他の部分は、図３、４を用いて説明した例と同じである。なお、割り当てる制御命令は、目的地設定および経由地以外にも、地点登録など他のものでもよい。
【００３８】
また、ジェスチャー認識部１０５によって、手形状認識を行うことで、どの指で操作したかを認識し、指によって、実行する制御命令を選択することも可能である。手形状認識処理および制御命令選択処理については、後に詳細に説明する。
【００３９】
図６は情報提示手段１０９に表示している地図画面を２つに分割するときに行うジェスチャー操作を示したものである。操作方法としては、手の形状を手刀状にし、接触検知手段１０２に接触させたときに、画面を２分割するものである。制御命令は、手形状により選択し、接触検知手段１０２への接触により切断する画面位置の決定と制御命令を送信するタイミングを決定する。この時、手が接触検知手段１０２に接触するまでは、現在の操作者の手の位置では、どこで画面が分割されるかを破線６０３などで予め表示することが望ましい。この場合、撮像手段１０１で撮像された画像から指先の位置等を検出し、検出された指先の位置から破線６０３の表示位置を決定する等すればよい。また、図４で示したように、手形状を情報提示手段１０９にそのまま表示してもよい。
【００４０】
次に、図７と図８を用いて、接触検知手段１０２による操作面への接触から制御命令を選択し、ジェスチャー動作で制御命令のパラメータを決定する例を説明する。図７で示した例は、エアコンの温度設定を、親指を回転させることで操作する例である。まず、情報提示手段１０９には、操作できる機能対象の一覧が提示されており、操作者はその対象を指先で接触検知手段１０２をタッチすることにより選択する。この操作面への接触情報が制御部１０８に入力され、制御命令選択手段１０６により制御命令が選択される。この時、指先がどの位置を指示しているかを、カーソル３０４で示してもよいし、手形状をそのまま表示してもかまわない。そして、図８で示すように指先を立て、手を回転させることで、親指を針に見立てて動かすジェスチャーを行う。ジェスチャー動作認識手段１０４により、この親指の動きが取得され、制御パラメーター決定手段により制御命令のパラメーター、ここでは例えば、設定温度や温度変化量を決定する。このように、親指の動きにより制御パラメータ（エアコンの温度の上下）を変化させることで、機器の操作を行う。
【００４１】
次に、図９を用いて、ジェスチャー形状で制御命令を選択し、接触検知手段１０２による操作面への接触から制御命令の実行タイミングを決定し、ジェスチャー動作で制御命令のパラメーターを決定する例を説明する。図９は、画面をつかんで、画面の表示を回転させる操作状態を示したものである。操作者は、撮像手段１０１により撮影可能な範囲で情報提示手段１０９をつかむような姿勢をすると、このジェスチャー形状から画面を回転させる制御命令が選択される。そして、接触検知手段１０２の操作面上に手が接触することにより制御命令のタイミングが決定される。そして、手を回転させるジェスチャー動作を行うことで、画面表示を回転させる角度等のパラメーターを決定する。なお、図１０で示すように、ジェスチャー動作中、制御命令を実行していることを伝えるため、操作者の手は、接触検知手段１０２に接している状態が望ましい。
【００４２】
図１１は、情報提示手段１０９に表示されている地図表示を図１１に示す矢印の方向にスクロールさせる操作の一例である。ジェスチャー動作としては、接触検知手段１０２上で指を立てて、２本指を交互に前後させる動作を行う。なお、図１２は操作者の手がジェスチャーを行っているところを側面から見た図である。このように、指の動きにより制御命令のパラメーターであるスクロール量を決定することも考えられる。なお、制御命令の選択は、指を前後させる動作を行う前の止まった状態のジェスチャーから行い、制御命令の実行タイミングの決定は指の接触により行う。また、操作者の手は、接触検知手段１０２にどちらかの指が接触していることが望ましく、指が前後する動作を行う方向に合わせて地図表示のスクロール方向を決定してもよい。
【００４３】
次に、画面上に表示されている，例えば自車位置、目的地、経由地、登録地点等の表示物を移動させる操作の一例を図１３を用いて説明する。ここでは、情報提示手段１０９に表示されている操作対象１３０２を移動先の地点１３０３に移動させる動作状態を説明する。操作者は移動前の手１３０５で示すように、情報提示手段１０９に表示されている操作対象１３０２を摘む動作を行う。このジェスチャーより制御命令が選択され、さらに、接触検知手段１０２へ接触することにより、位置が決定されると同時に制御命令が実行される。このとき、操作対象１３０２に選択されたことを操作者に教示するために、矢印型のアイコン１３０７を表示する等することが好ましい。また、撮像手段１０１で撮影した手形状を図４で示すような形で表示してもかまわない。次に、その状態で操作対象１３０２を１３０３に移動するためには、一旦、接触検知手段１０２から手を離し、移動後の手１３０６の位置に移動する。この場合、摘んだ状態の手形状のまま移動させる動作により制御命令の選択を行い、接触検知手段１０２への接触により位置が決定されると同時に制御命令が実行される。なお、操作対象１３０２の位置や移動量等の制御パラメーターを決定するのに接触検知手段１０２を用いても構わない。
【００４４】
次に、２画面の表示を１画面に戻すときの操作の一例を図１５を用いて示す。接触検知手段１０２上で図に示すように、指先を開いて、２つの画面それぞれに指をおくような状態で手を接触検知手段１０２上に置く。このとき、表示画面１５０１に、矢印のアイコン１５０３で指先で押下している箇所を表示してもいいし、また、図４で示すように表示画面１５０１に撮像手段１０１で撮影した手を表示してもかまわない。次に、動作後の状態１５０４に示すように、指を閉じる動作を行うことで、表示画面を一画面に戻す。この場合、操作対象の選択は、接触検知手段１０２への接触により行い、制御命令の選択および、制御命令の実行タイミングは、指を閉じる動作により決定する。なお、指先を開いた手形状で制御命令の選択を行い、指先を閉じた手形状により制御命令の実行タイミングを決定してもよい。
【００４５】
次に、図１６のフローチャートを用いて、ジェスチャー入力装置の代表的な処理の流れについて説明する。まず、操作者が接触検知手段１０２上に手を移動させたときを処理の開始タイミングとする（Ｓ１６０１）。このとき、操作者の手は、接触検知手段１０２に触れていなくてもよく、撮像手段１０１で取得した映像から肌色領域を抽出して画面内の一定の領域が肌色になったら、処理を開始するようにしてもかまわない。また、後述する変形例のように、接触検知手段１０２に接触することによりジェスチャー入力処理を開始するようにしてもよい。なお、撮像手段１０１で撮影した手形状、動作を情報提示手段１０９に表示するようにする場合や、ジェスチャー形状または動作により、操作位置を指定するようにする場合、手形状の重心位置等を基準にして、座標系を校正する。
【００４６】
次に、制御命令選択手段１０６により手形状および手動作情報等のジェスチャーから、機器に送信する制御命令選択処理を行う（Ｓ１６０２）。なお、ジェスチャーによる制御命令の選択処理の詳細は後述する。
【００４７】
次に、制御命令が選択されたかどうかの判定を行う。ここで制御命令が選択されていないと判定された場合には、ステップＳ１６０１にもどる（Ｓ１６０３）。
【００４８】
ステップＳ１６０３において、制御命令が選択されたと判定されたら、接触検知手段１０２に入力される接触位置を取得する（Ｓ１６０４）。ここで、接触検知手段１０２から送信される情報は、接触されたかどうかの押下情報と、接触位置の２つの情報があることが望ましい。
【００４９】
次に、接触位置が取得できたかどうかの判定を行う。ここで接触位置情報が取得できていなかったら、ステップＳ１６０４に戻る（Ｓ１６０５）。その後、ステップＳ１６０２の制御命令選択処理で選択された制御命令を機器側に送信せず，操作者が接触検知手段１０２に接触するのを待つ。なお、一定時間以上位置取得ができなかった場合には、操作者が操作を実行する意思がないものとみなし、ステップＳ１６０１に戻る処理を行ってもよい。
【００５０】
次に、ステップＳ１６０５で接触位置を取得できたと判定された場合、制御命令を機器側に送信する（Ｓ１６０６）。前述したように、制御命令として、目的地設定、スクロール、２画面表示などが挙げられる。以上の処理は、制御命令選択処理をジェスチャーで行い、操作位置の取得および制御命令実行タイミングの決定を接触検知手段１０２への接触により行う流れで説明したが、制御命令選択、操作位置決定、および制御命令実行タイミング決定は、ジェスチャー認識と接触検知のどちらで行ってもよく、それぞれの組合せも可能である。また、後述する制御命令のパラメーターの決定に関しても同様にどちらで決定してもよい。
【００５１】
次に、図１７を用いて、ジェスチャー認識による制御命令選択処理の流れについて、詳細に説明する。
【００５２】
ここでは一例として、操作者の手によるジェスチャー形状または動作により制御命令を選択する場合を説明する。撮像手段１０１により手形状や手動作等の映像を取得する（Ｓ１７０１）。この時、撮像手段１０１で取得する映像としては、カラー映像が望ましいが、撮像手段１０１から取得する映像は、赤外線カメラを用いた近赤外線映像やサーモセンサを用いた温度領域でもかまわない。本実施の形態は、ＲＧＢの３値を持つカラー映像を用いることとし、後の処理は、カラー映像に対する処理を記載する。
【００５３】
次に、撮像手段１０１により撮影した映像から手形状の認識をする処理を行う（Ｓ１７０２）。認識された手形状からジェスチャー特徴量を抽出し保存する。ジェスチャー特徴量とは、ジェスチャーを特定するための情報であり、ジェスチャー特徴量データベースに制御命令と関連付けられて記憶されている。例えば、手形状の領域や操作している指の本数、および指先の位置情報等である。ここで操作している指とは、図３で示すような指の形であるときの人差し指の状態のことを指す。手形状認識処理についての詳細は後述する。
【００５４】
次に、手形状が認識されたかどうかの判定をおこなう（Ｓ１７０３）。判定は、信頼度などを用いて、認識されたかどうかを確認することが望ましい。信頼度の一例として、図１８で示すような手形状のモデルをあらかじめ機器側で用意しておき、それぞれの指先座標１８０１と手の重心座標１８０２を保存しておく。次に、指先座標１８０１と重心座標１８０２の距離を求め、指先座標と重心座標の距離１８０３を指標として用いる。ステップＳ１７０３において、手形状が認識された後に、それぞれの指の距離を求め、先に取得しておいた指標と比較して、ある閾値以上の差がある場合は手形状が認識されたと判定せず、処理を終了する。
【００５５】
次に、ステップＳ１７０３において手形状が認識されたと判定されたときは、手動作認識処理をおこなう（Ｓ１７０４）。ここでも、手形状認識処理と同じように手動作に基づくジェスチャー特徴量が保存される。手動作認識処理とは、手がどのような動作を行ったかを判定する処理で、詳細については、後述する。
【００５６】
次に、ステップＳ１７０２またはＳ１７０４によって認識された手形状または手動作のジェスチャー特徴量と、ジェスチャー特徴量データベース１１０と比較して、認識した手形状または手動作がどのジェスチャーであるかを判定する（Ｓ１７０５）。各ジェスチャーに対して、ジェスチャー特徴量と制御命令をあらかじめ対応させて記憶しておくことで、制御命令を選択する（Ｓ１７０６）。詳細については、後述する。
【００５７】
次に図１７のフローチャートのステップＳ１７０２の手形状認識処理について、図１９のフローチャート及び、図２０を用いて説明する。撮像手段１０１で取得した画像データから、肌色領域を取得する（Ｓ１９０１）。肌色領域の抽出法は、周知の方法を用いることができる。一例として、撮像手段１０１で取得したＲＧＢ形式のデータを色相・色彩・明度に変換し、色相がある一定範囲にある画素を肌色として認識するなどの方法などがある。
【００５８】
次に、ステップＳ１９０１において取得した肌色領域から指先の位置を取得する（Ｓ１９０２）。図２０に示すように、肌色領域のエッジ２００１を算出し、そのエッジと円領域２００２とのマッチングを取り、マッチング率がある閾値以上の箇所を指の位置候補とする。次に、肌色領域画像から手のひらの重心位置を取得し（Ｓ１９０３）、重心位置２００３と指の位置との距離を算出し、ある閾値以内にある点を指先とする。ステップＳ１９０４において、指先の位置と手のひら重心位置をジェスチャー特徴量として保存し、手形状認識処理を終了する。
【００５９】
手動作認識処理について、図２１のフローチャート及び、図２２を用いて説明する。ステップＳ２１０１において、撮像手段１０１により取得した映像から１フレーム抽出する。そして、手形状認識処理と同じように抽出したフレームのジェスチャー特徴量を取得する（Ｓ２１０２）。ここで、各フレームでのジェスチャー特徴量の変化にそれほど大きな変化がない場合には、何フレームかに一度ジェスチャー特徴量を算出する処理を行ってもかまわない。次に、取得した各フレームのジェスチャー特徴量から位置変化量ベクトルの算出を行う（Ｓ２１０３）。ステップＳ２１０３の位置変化量ベクトルの算出方法について、図２２を用いてさらに詳しく説明する。図２２は手を広げた状態から、２本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図である。指先位置２２０１は、手形状を変える前（手を広げた状態）の位置を示している。指先位置２２０２は、手形状を変えた後（２本指を立てた）の位置を示している。図２２に薄い破線で示す矢印が位置変化量ベクトル２２０３となる。この位置変化量ベクトル２２０３が手動作によるジェスチャー特徴量の一例として保存される（Ｓ２１０４）。ここで、重心位置のずれを考慮して、重心位置の変化量を差し引くことで、指位置の変化量のみが取得できる。その変化量を手動作によるジェスチャー特徴量として用いてもかまわない。
【００６０】
次に、ステップＳ１７０５のジェスチャー認識処理について、図２３を用いて詳細に説明する。
【００６１】
ステップＳ２３０１において、先の手形状認識処理または手動作認識処理により算出したジェスチャー特徴量を取得する。次に、ジェスチャー特徴量と制御命令が対応付けられているジェスチャー特徴量データベース１１０から、先のジェスチャー特徴量に相当する制御命令を検索する（Ｓ２３０２）。このとき、ジェスチャー特徴量データベース１１０はＨＤＤなどの外付けのストレージデバイスに保存しておいてもかまわない。検索の結果、一致するデータベースが存在しない場合は、処理を終了し、図１６のＳ１６０１に戻る。この検索の結果、一致するデータが存在したら、そのジェスチャーに対応付けられている機器の制御命令を選択し、データとして保持しておく。この後、図１６に示す処理に戻り、Ｓ１６０４において、接触位置が取得できたら、それぞれの制御命令を機器に送信する。
【００６２】
次に、ステップＳ１６０６の制御命令を実行するタイミングを決定する命令実行タイミング決定手段１０７について説明する。図２４、図２５、図２６は、一本の指で制御命令を実行する様子を示している。この場合、制御命令が送信されるまでの処理の流れは、指が一本だけ立っている状態を認識し、ジェスチャー特徴量として保存する。この後、ジェスチャー認識処理によって、制御命令が選択されたら、図２５で示すように、指先が浮いた状態であるうちは、制御命令を送信しない。そして図２６のようにタッチパッドに接した時点で、制御命令を送信する。このように、接触検知手段１０２が接触を検知することにより制御命令の実行タイミングを決定してもよいし、ジェスチャー動作により実行タイミングを決定してもよい。
【００６３】
次に、図２７で示すような接触した指を軸に親指を回転させて、アプリケーションの連続的なパラメータ等を設定する制御命令の送信タイミングを説明する。このようなジェスチャーを用いるアプリケーションの場合は、図６で示すように、好ましくは、どの部分を押下するとどの機器のパラメータを設定するかわかるように予め画面に表示をしておく。そして、図２７に示すように、撮像手段１０１により取得した映像から、ジェスチャー認識処理によって、親指の指先の位置を初期値として登録する。つぎに、操作者が連続的なパラメータを変化させるために親指を回転させた時、その回転量をジェスチャー認識で常時認識し、タッチパッドで触れているアプリケーションにパラメータを送信する。このとき、接触させた指先は図２８で示すように常にタッチパッドに触れており、随時ジェスチャー認識で認識された制御命令が送信されるようになっている。
＜変形例＞
図２９を用いて、情報表示手段１０９に表示されたボタンを押下することにより処理を開始する変形例について説明する。一例として、画面を２画面に分ける操作を説明する。情報表示手段１０９にジェスチャー開始ボタン２９０１が表示されている。なお、ジェスチャー開始ボタン２９０１は、機能を表した図などをボタンに描いておくことが望ましい。例えば、画面を分ける操作を示すジェスチャー開始ボタン２９０１として、鋏の図がかかれており、このボタンを押下することで、画面を２画面に分割する処理が開始される。なお、ボタンの押下と同時に制御命令の選択をしてもよいし、ボタンの押下はジェスチャー入力処理の開始のみとし、その後のジェスチャーにより制御命令を選択するようにしてもよい。ボタンの押下と同時に制御命令の選択をした場合、ジェスチャーは分割位置を指定する操作となる。ジェスチャーにより制御命令を選択する場合、その後の処理は、上述の実施の形態と同じとなる。
【００６４】
次に、ボタンの押下によりジェスチャー入力処理を開始する場合を例に、ジェスチャー開始ボタン２９０１にどのようにジェスチャーを行ったらよいかのアニメーションを表示する例について説明する。図３０は、処理の流れを示し、図３１は実際の操作の様子を示している。まず、図３０のフローチャートにおいて、ボタンが押下されたかどうか判定する（Ｓ３００１）。ジェスチャー開始ボタンが押下されたことを接触検知手段１０２により検知すると、ジェスチャー入力処理が有効になる、ジェスチャー入力モードに移行する（Ｓ３００２）。そして、図３１に示すように、ジェスチャーアニメーションボタン３１０１の表示を開始する（Ｓ３００３）。ジェスチャーアニメーションボタン３１０１は、ジェスチャー入力モードに遷移している時、どのようにジェスチャーを行ったらよいかのアニメーションがボタン上に表示されているものである。操作者は、ボタンに表示されたアニメーションを見て、ジェスチャーの方法を知ることができる。なお、ジェスチャーアニメーションは、上述の実施の形態においても、制御命令のパラメーター入力時等に補助的に表示してもよい。
【００６５】
このようにボタンによりジェスチャー入力処理を開始することにより、操作者が機器の操作をする目的ではなく、接触検知手段１０２上に手を移動させたとき等、操作者の意図しないジェスチャー入力モードの移行や、誤動作を防止することができる。
【産業上の利用可能性】
【００６６】
本発明にかかる機器制御装置は、直感的で操作しやすい機器のインターフェイスを提供することが可能になるので、直感的でわかりやすいジェスチャー入力操作装置を構成するのに有用である。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態にかかるジェスチャー入力装置の構成を示すブロック図
【図２】本発明の実施の形態における機器の構成図
【図３】１本の指で目的地を設定するときの操作図
【図４】指が指示している箇所を示すための表示の一例を示す図
【図５】２本指で経由地を設定するときの操作図
【図６】画面表示を２画面に分割するときの操作図
【図７】連続的なパラメータを変化させるときの操作図
【図８】図７の操作の様子を横から見た図
【図９】画面表示を回転させるための操作図
【図１０】図９を横から見た図
【図１１】指二本で画面をスクロールさせるときの操作図
【図１２】図１１を横から見た図
【図１３】画面上に表示されている表示物を移動させるためのジェスチャーを示す図
【図１４】図１３を横から見た図
【図１５】２画面表示を１画面に戻すときの操作の一例を示す図
【図１６】図１のジェスチャー入力装置の処理概要を表すフローチャート
【図１７】図１６の制御命令選択処理の詳細フローチャート
【図１８】あらかじめ機器側で用意しておく手形状のモデルを示す図
【図１９】図１７の手形状認識処理の詳細フローチャート
【図２０】図１７の手形状認識処理の指先の座標位置を決定する方法を説明する図
【図２１】図１７の手動作認識処理の詳細フローチャート
【図２２】手を広げた状態から、２本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図
【図２３】図１７のジェスチャー認識処理の詳細フローチャート
【図２４】制御命令を実行するタイミングを送信するジェスチャー入力の様子を示した図
【図２５】図２４を横から見た制御命令を送信しないときの様子を横から見た図
【図２６】図２４を横から見た制御命令を送信するときの様子を示した図
【図２７】接触した指を軸に親指を回転させて、アプリケーションのパラメータを設定するような制御命令の送信タイミングを説明する図
【図２８】図２７を横から見た図
【図２９】命令を実行するタイミングの検出にボタンを用いた一例を示す図
【図３０】命令を実行するタイミングの検出にボタンを用いた場合にヘルプアニメーションをボタンに付加する処理を示すフローチャート
【図３１】命令を実行するタイミングの検出にボタンを用いた場合にヘルプアニメーションをボタンに付加するヘルプ機能の様子を示す図
【図３２】従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す図
【符号の説明】
【００６８】
１ 表示手段
２ タッチパネルコントローラー
３ ディスプレイコントローラー
４ タッチパッド
５ 撮像カメラ
６ 動作認識部
７ 制御部
１０１ 撮像手段
１０２ 接触検知手段
１０３ ジェスチャー形状認識手段
１０４ ジェスチャー動作認識手段
１０５ ジェスチャー認識部
１０６ 制御命令選択手段
１０７ 命令実行タイミング決定手段
１０８ 制御部
１０９ 情報提示手段
１１０ ジェスチャー特徴量データベース
１１２ 操作位置決定手段
２０１ カメラ
２０２ タッチパッド
２０４ ディスプレイ
３０２ 地図画像
３０４ カーソル
６０３ 破線
１３０２ 操作対象
１３０３ 移動先の地点
１３０５ 移動前の手
１３０６ 移動後の手
１３０７ 矢印型のアイコン
１５０１ 表示画面
１５０３ 矢印のアイコン
１５０４ 動作後の状態
１８０１ 指先座標
１８０２ 重心座標
１８０３ 指先座標と重心座標の距離
２００１ 肌色領域のエッジ
２００２ 円領域
２００３ 重心位置
２２０１、２２０２ 指先位置
２２０３ 位置変化量ベクトル
２９０１ ジェスチャー開始ボタン
３１０１ ジェスチャーアニメーションボタン
【技術分野】
【０００１】
本発明は、機器操作のインターフェイスに関する技術であり、ジェスチャー入力により機器を操作する装置、及び方法に関するものである。
【背景技術】
【０００２】
従来、多機能化した機器を利用するためのインターフェイスとして、操作者が直感的に使用できるジェスチャー入力手段を備えるものがある。例えば、撮像手段により撮像されたハンドジェスチャーの認識結果に基づいて、画像を移動、回転、拡大、縮小等の機器の操作を行うものがある（例えば、特許文献１参照）。図３２に、前記特許文献１に記載の従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す。
【０００３】
図３２において、従来のレイアウト装置は、撮像カメラ５により撮像されたハンドジェスチャーを認識するジェスチャー認識部６と、そのジェスチャー認識に基づき制御部７により機器の操作、例えば図形などのレイアウト変更を行う。その際タッチパッド４は、表示手段１上のレイアウトを変更するオブジェクトの選択および、レイアウト変更処理を終了するときにのみ使用される。
【特許文献１】特開平１１−３３８１２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の構成では、撮像手段により撮影された映像に基づくジェスチャー認識から機器の操作を行うのみであり、タッチディスプレイをどの画像（画面）に対して操作を行うかを選択する以外のことに使用しない。よって、複雑な操作をすることは難しく、また、ジェスチャー認識のみで操作できる機能に限られる。例えば、位置を指定しつつジェスチャー認識を行うなどの多種多様な入力操作をすることが困難であった。
【０００５】
本発明は、前記従来の課題を解決するもので、接触入力手段とジェスチャー認識を複合的に用いて、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の構成を採用した。
【０００７】
本発明の第１の局面は、操作者の操作面への接触を検知する接触検知手段と、操作者のジェスチャーから制御命令を選択する制御命令選択手段と、前記接触検知手段により検知された操作面への接触から前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段とを有する。これにより、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することが可能となる。
【０００８】
本発明の第２の局面は、操作者の操作面への接触を検知する接触検知手段と、前記接触検知手段により検知された操作面への接触から制御命令を選択する制御命令選択手段と、操作者のジェスチャーから前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段とを有する。
【０００９】
本発明の第３の局面は、第１、２の局面において、接触検知手段の操作面への接触、および／または操作者のジェスチャーから操作位置を決定する操作位置決定手段を有することを特徴とする。この構成により、直感的に操作しやすいインターフェイスを提供することが可能となる。
【００１０】
本発明の第４の局面は、第１、２の局面において、接触検知手段により検知された操作面への接触、および／または操作者のジェスチャーから前記制御命令のパラメーターを決定する制御パラメーター決定手段を有することを特徴とする。この構成により、複雑な操作を行うことが可能なジェスチャー入力装置を提供することができる。
【００１１】
本発明の第５の局面は、第１の局面において、操作者のジェスチャーからジェスチャー特徴量を抽出するジェスチャー特徴量抽出手段と、前記ジェスチャー特徴量と制御命令を対応させたジェスチャー特徴量データベースとから制御命令を選択することを特徴とする。
【００１２】
本発明の第６の局面は、第５の局面において、操作者のジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする。
【００１３】
本発明の第７の局面は、第６の局面において、前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状から重心位置を算出し、前記重心位置とジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする。この構成により、より正確にジェスチャー形状、動作が認識可能となる。
【００１４】
本発明の第８の局面は、第１の局面において、前記制御命令選択手段は、操作している指の本数および／またはどの指で操作しているかにより制御命令を選択することを特徴とする。この構成により、表示画面を見なくても直感的に操作をすることが可能となる。
【００１５】
本発明の第９の局面は、第１の局面において、前記制御命令選択手段は、手で画面を切るジェスチャーのとき２画面表示をする制御命令を選択し、前記接触検知手段により検知された操作面の接触位置から２画面表示の境目を決定することを特徴とする。この構成により、直感的な操作で制御命令および制御命令パラメータを決定することができる。
【００１６】
本発明の第１０の局面は、第２の局面において、前記制御命令選択手段は、前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触により制御命令を決定することを特徴とする。
【００１７】
本発明の第１１の局面は、第４の局面において、前記制御パラメーター決定手段は、前記接触検知手段に接触が検知されているときのみ操作者のジェスチャーから制御命令のパラメーターを決定することを特徴とする。この構成により、接触検知手段とジェスチャーによる複合的な操作が可能となる。
【００１８】
本発明の第１２の局面は、第１、２の局面において、情報表示手段に表示された機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触によりジェスチャー入力処理を開始することを特徴とする。この構成により、ジェスチャー入力が可能か否かが操作者に分かり、誤動作や操作者の意図しない機器の操作を防ぐことが可能となる。
【００１９】
本発明の第１３の局面は、第１、２の局面において、ジェスチャー入力受付可能な状態の時に、情報表示手段に表示された機能選択ボタンに、機能に対応するジェスチャーのアニメーションが表示されていることを特徴とする。この構成により、操作に慣れていない状態であっても、機能操作に対応したジェスチャーがどのようなものかアイコンを確認するだけで分かり、所望の機器操作を直ちにすることができる。
【００２０】
本発明の第１４の局面は、操作面への接触を検知するステップと、操作者のジェスチャーから制御命令を選択するステップと、操作面への接触から前記制御命令を実行するタイミングを決定するステップとを有する。
【００２１】
本発明の第１５の局面は、操作面への接触を検知するステップと、前記接触検知手段により検知された操作面への接触から制御命令を選択するステップと、操作者のジェスチャーから前記制御命令を実行するタイミングを決定するステップとを有する。
【発明の効果】
【００２２】
本発明のジェスチャー入力装置によれば、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して、本発明の実施の形態にかかるジェスチャー入力装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。また、本実施の形態では、ジェスチャーとして操作者の手形状および手動作を代表的な例として説明するが、これに限らない。ジェスチャーは、身体形状を利用するものが一般的だが、特別な形状、色、材質等で製作された専用の操作手段を用いても構わない。
【００２４】
（実施の形態）
図１に示すように、本実施の形態における構成は、ジェスチャー形状および動作を撮影するための撮像手段１０１と、操作面の接触を検知する接触検知手段１０２と、撮像手段１０１によって取得した映像からジェスチャー形状を認識するジェスチャー形状認識手段１０３および、ジェスチャー動作認識手段１０４からなるジェスチャー認識部１０５と、認識されたジェスチャーから制御命令を選択する制御命令選択手段１０６と、制御命令を実行するタイミングを決定する命令実行タイミング決定手段１０７と、制御命令のパラメーターを決定する制御パラメーター決定手段と、制御命令を実行するときに操作位置が必要な場合に操作位置を決定する操作位置決定手段１１２とからなる制御部１０８と、操作者に情報を提示する情報提示手段１０９と、ジェスチャーと制御命令を対応付ける情報を保持しているジェスチャー特徴量データベース１１０からなる。
【００２５】
図２に本実施の形態の具体的な設置の様子を示す。手の形状と動作を映像で取得する撮像手段１０１としてのカメラ２０１は、接触検知手段１０２としてのタッチパッド２０２の上部が代表的な設置位置であるが、手の形状と動きが正確に取得できる位置に取り付けられているものとする。なお、撮像手段１０１としては、可視光を取得する一般的なカメラ以外に、手の形状と動作を取得するサーモセンサーや赤外線カメラなどを用いてもかまわない。なお、サーモセンサを用いる場合には、人の手が摂氏35〜36度と仮定して、その温度領域を手領域として取得する方法などが考えられる。また、赤外線カメラを用いる場合には、ある一定の閾値より高い値を示している箇所を手領域として抽出する方法等がある。ジェスチャー特徴量データベース１１０は、好ましくは制御部１０８に内蔵された記憶媒体、または外部記憶媒体に格納されている。図２では、外部記憶媒体が制御部１０８に接続されている様子を示している。
【００２６】
次に、個々の構成について説明する。接触検知手段１０２は、操作者が直接操作する操作部で一般的にはタッチパッド２０２が用いられる。タッチパッド２０２には、感圧式および静電圧式等の方式があるが、どの方式でもよい。また、接触検知手段１０２の操作面上の位置と後述する情報提示手段１０９の表示画面位置は対応付けられており、接触検知手段１０２の操作面上の位置を指定することで、情報提示手段１０９に表示されたメニュー等を選択することが可能となっている。
【００２７】
ジェスチャー認識部１０５は、撮像手段１０１によって取得した映像からジェスチャー形状を認識するものであるが、詳細は後述する。
【００２８】
制御命令選択手段１０６は、ジェスチャー認識部１０５によって認識されたジェスチャーと接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を選択する。
【００２９】
命令実行タイミング決定手段１０７は、ジェスチャー認識部１０５によって認識されたジェスチャーと接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するタイミングの決定をする。
【００３０】
制御パラメーター決定手段１１１は、ジェスチャー認識部１０５によって認識されたジェスチャー情報と接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をする。
【００３１】
操作位置決定手段１１２は、ジェスチャー認識部１０５によって認識されたジェスチャーと接触検知手段１０２により取得された接触情報のどちらか、若しくは両方の情報を用いて制御命令を実行するときに操作位置が必要な場合に操作位置を決定をする。
【００３２】
制御部１０８は、制御命令選択手段１０６と命令実行タイミング決定手段１０７と制御パラメーター決定手段１１１と操作位置決定手段１１２とから構成され、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭで構成される。
【００３３】
情報提示手段１０９は、制御命令を実行した後の結果等の情報を操作者に教示する。好ましくは、液晶やＥＬ（エレクトロルミネッセンス）等を用いたディスプレイである。ここでは、情報提示手段１０９を制御命令を実行した後の結果を提示することを主に説明するが、制御命令は機器を操作するものであれば何でもよく、例えば音声ボリュームの大小やエアコンの温度調整等でもよい。
【００３４】
次に、具体的に操作するアプリケーションとして、地図アプリケーションを表示する装置における操作状態の一例について説明する。
【００３５】
図３、図４、図５は、ジェスチャー認識部１０５により認識された指の本数と接触検知手段１０２への入力を複合的に用いて、異なる機能を実行する例を示したものである。図３は、指１本で接触検知手段１０２をタッチすると、目的地が設定されることを示した図である。具体的にさらに詳しく説明する。情報提示手段１０９に地図画像３０２を表示した状態で、操作者がカーソル３０４を操作することを想定する。操作者が指１本で接触検知手段１０２に接触しない状態で動かすと、画面に表示されているカーソル３０４は操作者の指の動きに合わせて動く。そして、指が接触検知手段１０２にタッチされると、指が押下された位置が目的地として設定される。
【００３６】
ここで、目的地を設定する箇所を指定しやすくするため、ジェスチャー認識部１０５により認識された指などの座標と情報提示手段１０９の座標をジェスチャー認識処理を始める最初の段階で校正しておき、カーソル３０４を情報表示手段１０９に表示しているが、図４に示すように、撮像手段１０１で撮影した手形状をそのまま、若しくはＣＧに変換する等して輪郭部分等の特徴部分のみを画面に表示してもよい。ただし、手形状を表示する際は、情報提示手段１０９と接触検知手段１０２のスケールをあわせて、手形状を表示することが望ましい。なお、後に述べる具体例では、すべてカーソル表示をする例を示しているが、手形状をディスプレイに映すことは、すべての例で可能である。
【００３７】
図５は、操作者が２本の指で操作することにより経由地点を設定する例を示している。これは、制御命令選択手段１０６がジェスチャー認識手段１０５により認識された指の本数により実行する制御命令を予め割り当てておくことにより可能となる。つまり、操作する指の本数が１本の場合、目的地を設定する制御命令を割り当て、操作する指の本数が２本の場合、経由地点を設定する制御命令を割り当てておけばよい。その他の部分は、図３、４を用いて説明した例と同じである。なお、割り当てる制御命令は、目的地設定および経由地以外にも、地点登録など他のものでもよい。
【００３８】
また、ジェスチャー認識部１０５によって、手形状認識を行うことで、どの指で操作したかを認識し、指によって、実行する制御命令を選択することも可能である。手形状認識処理および制御命令選択処理については、後に詳細に説明する。
【００３９】
図６は情報提示手段１０９に表示している地図画面を２つに分割するときに行うジェスチャー操作を示したものである。操作方法としては、手の形状を手刀状にし、接触検知手段１０２に接触させたときに、画面を２分割するものである。制御命令は、手形状により選択し、接触検知手段１０２への接触により切断する画面位置の決定と制御命令を送信するタイミングを決定する。この時、手が接触検知手段１０２に接触するまでは、現在の操作者の手の位置では、どこで画面が分割されるかを破線６０３などで予め表示することが望ましい。この場合、撮像手段１０１で撮像された画像から指先の位置等を検出し、検出された指先の位置から破線６０３の表示位置を決定する等すればよい。また、図４で示したように、手形状を情報提示手段１０９にそのまま表示してもよい。
【００４０】
次に、図７と図８を用いて、接触検知手段１０２による操作面への接触から制御命令を選択し、ジェスチャー動作で制御命令のパラメータを決定する例を説明する。図７で示した例は、エアコンの温度設定を、親指を回転させることで操作する例である。まず、情報提示手段１０９には、操作できる機能対象の一覧が提示されており、操作者はその対象を指先で接触検知手段１０２をタッチすることにより選択する。この操作面への接触情報が制御部１０８に入力され、制御命令選択手段１０６により制御命令が選択される。この時、指先がどの位置を指示しているかを、カーソル３０４で示してもよいし、手形状をそのまま表示してもかまわない。そして、図８で示すように指先を立て、手を回転させることで、親指を針に見立てて動かすジェスチャーを行う。ジェスチャー動作認識手段１０４により、この親指の動きが取得され、制御パラメーター決定手段により制御命令のパラメーター、ここでは例えば、設定温度や温度変化量を決定する。このように、親指の動きにより制御パラメータ（エアコンの温度の上下）を変化させることで、機器の操作を行う。
【００４１】
次に、図９を用いて、ジェスチャー形状で制御命令を選択し、接触検知手段１０２による操作面への接触から制御命令の実行タイミングを決定し、ジェスチャー動作で制御命令のパラメーターを決定する例を説明する。図９は、画面をつかんで、画面の表示を回転させる操作状態を示したものである。操作者は、撮像手段１０１により撮影可能な範囲で情報提示手段１０９をつかむような姿勢をすると、このジェスチャー形状から画面を回転させる制御命令が選択される。そして、接触検知手段１０２の操作面上に手が接触することにより制御命令のタイミングが決定される。そして、手を回転させるジェスチャー動作を行うことで、画面表示を回転させる角度等のパラメーターを決定する。なお、図１０で示すように、ジェスチャー動作中、制御命令を実行していることを伝えるため、操作者の手は、接触検知手段１０２に接している状態が望ましい。
【００４２】
図１１は、情報提示手段１０９に表示されている地図表示を図１１に示す矢印の方向にスクロールさせる操作の一例である。ジェスチャー動作としては、接触検知手段１０２上で指を立てて、２本指を交互に前後させる動作を行う。なお、図１２は操作者の手がジェスチャーを行っているところを側面から見た図である。このように、指の動きにより制御命令のパラメーターであるスクロール量を決定することも考えられる。なお、制御命令の選択は、指を前後させる動作を行う前の止まった状態のジェスチャーから行い、制御命令の実行タイミングの決定は指の接触により行う。また、操作者の手は、接触検知手段１０２にどちらかの指が接触していることが望ましく、指が前後する動作を行う方向に合わせて地図表示のスクロール方向を決定してもよい。
【００４３】
次に、画面上に表示されている，例えば自車位置、目的地、経由地、登録地点等の表示物を移動させる操作の一例を図１３を用いて説明する。ここでは、情報提示手段１０９に表示されている操作対象１３０２を移動先の地点１３０３に移動させる動作状態を説明する。操作者は移動前の手１３０５で示すように、情報提示手段１０９に表示されている操作対象１３０２を摘む動作を行う。このジェスチャーより制御命令が選択され、さらに、接触検知手段１０２へ接触することにより、位置が決定されると同時に制御命令が実行される。このとき、操作対象１３０２に選択されたことを操作者に教示するために、矢印型のアイコン１３０７を表示する等することが好ましい。また、撮像手段１０１で撮影した手形状を図４で示すような形で表示してもかまわない。次に、その状態で操作対象１３０２を１３０３に移動するためには、一旦、接触検知手段１０２から手を離し、移動後の手１３０６の位置に移動する。この場合、摘んだ状態の手形状のまま移動させる動作により制御命令の選択を行い、接触検知手段１０２への接触により位置が決定されると同時に制御命令が実行される。なお、操作対象１３０２の位置や移動量等の制御パラメーターを決定するのに接触検知手段１０２を用いても構わない。
【００４４】
次に、２画面の表示を１画面に戻すときの操作の一例を図１５を用いて示す。接触検知手段１０２上で図に示すように、指先を開いて、２つの画面それぞれに指をおくような状態で手を接触検知手段１０２上に置く。このとき、表示画面１５０１に、矢印のアイコン１５０３で指先で押下している箇所を表示してもいいし、また、図４で示すように表示画面１５０１に撮像手段１０１で撮影した手を表示してもかまわない。次に、動作後の状態１５０４に示すように、指を閉じる動作を行うことで、表示画面を一画面に戻す。この場合、操作対象の選択は、接触検知手段１０２への接触により行い、制御命令の選択および、制御命令の実行タイミングは、指を閉じる動作により決定する。なお、指先を開いた手形状で制御命令の選択を行い、指先を閉じた手形状により制御命令の実行タイミングを決定してもよい。
【００４５】
次に、図１６のフローチャートを用いて、ジェスチャー入力装置の代表的な処理の流れについて説明する。まず、操作者が接触検知手段１０２上に手を移動させたときを処理の開始タイミングとする（Ｓ１６０１）。このとき、操作者の手は、接触検知手段１０２に触れていなくてもよく、撮像手段１０１で取得した映像から肌色領域を抽出して画面内の一定の領域が肌色になったら、処理を開始するようにしてもかまわない。また、後述する変形例のように、接触検知手段１０２に接触することによりジェスチャー入力処理を開始するようにしてもよい。なお、撮像手段１０１で撮影した手形状、動作を情報提示手段１０９に表示するようにする場合や、ジェスチャー形状または動作により、操作位置を指定するようにする場合、手形状の重心位置等を基準にして、座標系を校正する。
【００４６】
次に、制御命令選択手段１０６により手形状および手動作情報等のジェスチャーから、機器に送信する制御命令選択処理を行う（Ｓ１６０２）。なお、ジェスチャーによる制御命令の選択処理の詳細は後述する。
【００４７】
次に、制御命令が選択されたかどうかの判定を行う。ここで制御命令が選択されていないと判定された場合には、ステップＳ１６０１にもどる（Ｓ１６０３）。
【００４８】
ステップＳ１６０３において、制御命令が選択されたと判定されたら、接触検知手段１０２に入力される接触位置を取得する（Ｓ１６０４）。ここで、接触検知手段１０２から送信される情報は、接触されたかどうかの押下情報と、接触位置の２つの情報があることが望ましい。
【００４９】
次に、接触位置が取得できたかどうかの判定を行う。ここで接触位置情報が取得できていなかったら、ステップＳ１６０４に戻る（Ｓ１６０５）。その後、ステップＳ１６０２の制御命令選択処理で選択された制御命令を機器側に送信せず，操作者が接触検知手段１０２に接触するのを待つ。なお、一定時間以上位置取得ができなかった場合には、操作者が操作を実行する意思がないものとみなし、ステップＳ１６０１に戻る処理を行ってもよい。
【００５０】
次に、ステップＳ１６０５で接触位置を取得できたと判定された場合、制御命令を機器側に送信する（Ｓ１６０６）。前述したように、制御命令として、目的地設定、スクロール、２画面表示などが挙げられる。以上の処理は、制御命令選択処理をジェスチャーで行い、操作位置の取得および制御命令実行タイミングの決定を接触検知手段１０２への接触により行う流れで説明したが、制御命令選択、操作位置決定、および制御命令実行タイミング決定は、ジェスチャー認識と接触検知のどちらで行ってもよく、それぞれの組合せも可能である。また、後述する制御命令のパラメーターの決定に関しても同様にどちらで決定してもよい。
【００５１】
次に、図１７を用いて、ジェスチャー認識による制御命令選択処理の流れについて、詳細に説明する。
【００５２】
ここでは一例として、操作者の手によるジェスチャー形状または動作により制御命令を選択する場合を説明する。撮像手段１０１により手形状や手動作等の映像を取得する（Ｓ１７０１）。この時、撮像手段１０１で取得する映像としては、カラー映像が望ましいが、撮像手段１０１から取得する映像は、赤外線カメラを用いた近赤外線映像やサーモセンサを用いた温度領域でもかまわない。本実施の形態は、ＲＧＢの３値を持つカラー映像を用いることとし、後の処理は、カラー映像に対する処理を記載する。
【００５３】
次に、撮像手段１０１により撮影した映像から手形状の認識をする処理を行う（Ｓ１７０２）。認識された手形状からジェスチャー特徴量を抽出し保存する。ジェスチャー特徴量とは、ジェスチャーを特定するための情報であり、ジェスチャー特徴量データベースに制御命令と関連付けられて記憶されている。例えば、手形状の領域や操作している指の本数、および指先の位置情報等である。ここで操作している指とは、図３で示すような指の形であるときの人差し指の状態のことを指す。手形状認識処理についての詳細は後述する。
【００５４】
次に、手形状が認識されたかどうかの判定をおこなう（Ｓ１７０３）。判定は、信頼度などを用いて、認識されたかどうかを確認することが望ましい。信頼度の一例として、図１８で示すような手形状のモデルをあらかじめ機器側で用意しておき、それぞれの指先座標１８０１と手の重心座標１８０２を保存しておく。次に、指先座標１８０１と重心座標１８０２の距離を求め、指先座標と重心座標の距離１８０３を指標として用いる。ステップＳ１７０３において、手形状が認識された後に、それぞれの指の距離を求め、先に取得しておいた指標と比較して、ある閾値以上の差がある場合は手形状が認識されたと判定せず、処理を終了する。
【００５５】
次に、ステップＳ１７０３において手形状が認識されたと判定されたときは、手動作認識処理をおこなう（Ｓ１７０４）。ここでも、手形状認識処理と同じように手動作に基づくジェスチャー特徴量が保存される。手動作認識処理とは、手がどのような動作を行ったかを判定する処理で、詳細については、後述する。
【００５６】
次に、ステップＳ１７０２またはＳ１７０４によって認識された手形状または手動作のジェスチャー特徴量と、ジェスチャー特徴量データベース１１０と比較して、認識した手形状または手動作がどのジェスチャーであるかを判定する（Ｓ１７０５）。各ジェスチャーに対して、ジェスチャー特徴量と制御命令をあらかじめ対応させて記憶しておくことで、制御命令を選択する（Ｓ１７０６）。詳細については、後述する。
【００５７】
次に図１７のフローチャートのステップＳ１７０２の手形状認識処理について、図１９のフローチャート及び、図２０を用いて説明する。撮像手段１０１で取得した画像データから、肌色領域を取得する（Ｓ１９０１）。肌色領域の抽出法は、周知の方法を用いることができる。一例として、撮像手段１０１で取得したＲＧＢ形式のデータを色相・色彩・明度に変換し、色相がある一定範囲にある画素を肌色として認識するなどの方法などがある。
【００５８】
次に、ステップＳ１９０１において取得した肌色領域から指先の位置を取得する（Ｓ１９０２）。図２０に示すように、肌色領域のエッジ２００１を算出し、そのエッジと円領域２００２とのマッチングを取り、マッチング率がある閾値以上の箇所を指の位置候補とする。次に、肌色領域画像から手のひらの重心位置を取得し（Ｓ１９０３）、重心位置２００３と指の位置との距離を算出し、ある閾値以内にある点を指先とする。ステップＳ１９０４において、指先の位置と手のひら重心位置をジェスチャー特徴量として保存し、手形状認識処理を終了する。
【００５９】
手動作認識処理について、図２１のフローチャート及び、図２２を用いて説明する。ステップＳ２１０１において、撮像手段１０１により取得した映像から１フレーム抽出する。そして、手形状認識処理と同じように抽出したフレームのジェスチャー特徴量を取得する（Ｓ２１０２）。ここで、各フレームでのジェスチャー特徴量の変化にそれほど大きな変化がない場合には、何フレームかに一度ジェスチャー特徴量を算出する処理を行ってもかまわない。次に、取得した各フレームのジェスチャー特徴量から位置変化量ベクトルの算出を行う（Ｓ２１０３）。ステップＳ２１０３の位置変化量ベクトルの算出方法について、図２２を用いてさらに詳しく説明する。図２２は手を広げた状態から、２本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図である。指先位置２２０１は、手形状を変える前（手を広げた状態）の位置を示している。指先位置２２０２は、手形状を変えた後（２本指を立てた）の位置を示している。図２２に薄い破線で示す矢印が位置変化量ベクトル２２０３となる。この位置変化量ベクトル２２０３が手動作によるジェスチャー特徴量の一例として保存される（Ｓ２１０４）。ここで、重心位置のずれを考慮して、重心位置の変化量を差し引くことで、指位置の変化量のみが取得できる。その変化量を手動作によるジェスチャー特徴量として用いてもかまわない。
【００６０】
次に、ステップＳ１７０５のジェスチャー認識処理について、図２３を用いて詳細に説明する。
【００６１】
ステップＳ２３０１において、先の手形状認識処理または手動作認識処理により算出したジェスチャー特徴量を取得する。次に、ジェスチャー特徴量と制御命令が対応付けられているジェスチャー特徴量データベース１１０から、先のジェスチャー特徴量に相当する制御命令を検索する（Ｓ２３０２）。このとき、ジェスチャー特徴量データベース１１０はＨＤＤなどの外付けのストレージデバイスに保存しておいてもかまわない。検索の結果、一致するデータベースが存在しない場合は、処理を終了し、図１６のＳ１６０１に戻る。この検索の結果、一致するデータが存在したら、そのジェスチャーに対応付けられている機器の制御命令を選択し、データとして保持しておく。この後、図１６に示す処理に戻り、Ｓ１６０４において、接触位置が取得できたら、それぞれの制御命令を機器に送信する。
【００６２】
次に、ステップＳ１６０６の制御命令を実行するタイミングを決定する命令実行タイミング決定手段１０７について説明する。図２４、図２５、図２６は、一本の指で制御命令を実行する様子を示している。この場合、制御命令が送信されるまでの処理の流れは、指が一本だけ立っている状態を認識し、ジェスチャー特徴量として保存する。この後、ジェスチャー認識処理によって、制御命令が選択されたら、図２５で示すように、指先が浮いた状態であるうちは、制御命令を送信しない。そして図２６のようにタッチパッドに接した時点で、制御命令を送信する。このように、接触検知手段１０２が接触を検知することにより制御命令の実行タイミングを決定してもよいし、ジェスチャー動作により実行タイミングを決定してもよい。
【００６３】
次に、図２７で示すような接触した指を軸に親指を回転させて、アプリケーションの連続的なパラメータ等を設定する制御命令の送信タイミングを説明する。このようなジェスチャーを用いるアプリケーションの場合は、図６で示すように、好ましくは、どの部分を押下するとどの機器のパラメータを設定するかわかるように予め画面に表示をしておく。そして、図２７に示すように、撮像手段１０１により取得した映像から、ジェスチャー認識処理によって、親指の指先の位置を初期値として登録する。つぎに、操作者が連続的なパラメータを変化させるために親指を回転させた時、その回転量をジェスチャー認識で常時認識し、タッチパッドで触れているアプリケーションにパラメータを送信する。このとき、接触させた指先は図２８で示すように常にタッチパッドに触れており、随時ジェスチャー認識で認識された制御命令が送信されるようになっている。
＜変形例＞
図２９を用いて、情報表示手段１０９に表示されたボタンを押下することにより処理を開始する変形例について説明する。一例として、画面を２画面に分ける操作を説明する。情報表示手段１０９にジェスチャー開始ボタン２９０１が表示されている。なお、ジェスチャー開始ボタン２９０１は、機能を表した図などをボタンに描いておくことが望ましい。例えば、画面を分ける操作を示すジェスチャー開始ボタン２９０１として、鋏の図がかかれており、このボタンを押下することで、画面を２画面に分割する処理が開始される。なお、ボタンの押下と同時に制御命令の選択をしてもよいし、ボタンの押下はジェスチャー入力処理の開始のみとし、その後のジェスチャーにより制御命令を選択するようにしてもよい。ボタンの押下と同時に制御命令の選択をした場合、ジェスチャーは分割位置を指定する操作となる。ジェスチャーにより制御命令を選択する場合、その後の処理は、上述の実施の形態と同じとなる。
【００６４】
次に、ボタンの押下によりジェスチャー入力処理を開始する場合を例に、ジェスチャー開始ボタン２９０１にどのようにジェスチャーを行ったらよいかのアニメーションを表示する例について説明する。図３０は、処理の流れを示し、図３１は実際の操作の様子を示している。まず、図３０のフローチャートにおいて、ボタンが押下されたかどうか判定する（Ｓ３００１）。ジェスチャー開始ボタンが押下されたことを接触検知手段１０２により検知すると、ジェスチャー入力処理が有効になる、ジェスチャー入力モードに移行する（Ｓ３００２）。そして、図３１に示すように、ジェスチャーアニメーションボタン３１０１の表示を開始する（Ｓ３００３）。ジェスチャーアニメーションボタン３１０１は、ジェスチャー入力モードに遷移している時、どのようにジェスチャーを行ったらよいかのアニメーションがボタン上に表示されているものである。操作者は、ボタンに表示されたアニメーションを見て、ジェスチャーの方法を知ることができる。なお、ジェスチャーアニメーションは、上述の実施の形態においても、制御命令のパラメーター入力時等に補助的に表示してもよい。
【００６５】
このようにボタンによりジェスチャー入力処理を開始することにより、操作者が機器の操作をする目的ではなく、接触検知手段１０２上に手を移動させたとき等、操作者の意図しないジェスチャー入力モードの移行や、誤動作を防止することができる。
【産業上の利用可能性】
【００６６】
本発明にかかる機器制御装置は、直感的で操作しやすい機器のインターフェイスを提供することが可能になるので、直感的でわかりやすいジェスチャー入力操作装置を構成するのに有用である。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態にかかるジェスチャー入力装置の構成を示すブロック図
【図２】本発明の実施の形態における機器の構成図
【図３】１本の指で目的地を設定するときの操作図
【図４】指が指示している箇所を示すための表示の一例を示す図
【図５】２本指で経由地を設定するときの操作図
【図６】画面表示を２画面に分割するときの操作図
【図７】連続的なパラメータを変化させるときの操作図
【図８】図７の操作の様子を横から見た図
【図９】画面表示を回転させるための操作図
【図１０】図９を横から見た図
【図１１】指二本で画面をスクロールさせるときの操作図
【図１２】図１１を横から見た図
【図１３】画面上に表示されている表示物を移動させるためのジェスチャーを示す図
【図１４】図１３を横から見た図
【図１５】２画面表示を１画面に戻すときの操作の一例を示す図
【図１６】図１のジェスチャー入力装置の処理概要を表すフローチャート
【図１７】図１６の制御命令選択処理の詳細フローチャート
【図１８】あらかじめ機器側で用意しておく手形状のモデルを示す図
【図１９】図１７の手形状認識処理の詳細フローチャート
【図２０】図１７の手形状認識処理の指先の座標位置を決定する方法を説明する図
【図２１】図１７の手動作認識処理の詳細フローチャート
【図２２】手を広げた状態から、２本指を立てた状態へ変化する時のジェスチャー特徴量の位置変化を示した図
【図２３】図１７のジェスチャー認識処理の詳細フローチャート
【図２４】制御命令を実行するタイミングを送信するジェスチャー入力の様子を示した図
【図２５】図２４を横から見た制御命令を送信しないときの様子を横から見た図
【図２６】図２４を横から見た制御命令を送信するときの様子を示した図
【図２７】接触した指を軸に親指を回転させて、アプリケーションのパラメータを設定するような制御命令の送信タイミングを説明する図
【図２８】図２７を横から見た図
【図２９】命令を実行するタイミングの検出にボタンを用いた一例を示す図
【図３０】命令を実行するタイミングの検出にボタンを用いた場合にヘルプアニメーションをボタンに付加する処理を示すフローチャート
【図３１】命令を実行するタイミングの検出にボタンを用いた場合にヘルプアニメーションをボタンに付加するヘルプ機能の様子を示す図
【図３２】従来のジェスチャー入力手段を備えたレイアウト装置の構成を示す図
【符号の説明】
【００６８】
１ 表示手段
２ タッチパネルコントローラー
３ ディスプレイコントローラー
４ タッチパッド
５ 撮像カメラ
６ 動作認識部
７ 制御部
１０１ 撮像手段
１０２ 接触検知手段
１０３ ジェスチャー形状認識手段
１０４ ジェスチャー動作認識手段
１０５ ジェスチャー認識部
１０６ 制御命令選択手段
１０７ 命令実行タイミング決定手段
１０８ 制御部
１０９ 情報提示手段
１１０ ジェスチャー特徴量データベース
１１２ 操作位置決定手段
２０１ カメラ
２０２ タッチパッド
２０４ ディスプレイ
３０２ 地図画像
３０４ カーソル
６０３ 破線
１３０２ 操作対象
１３０３ 移動先の地点
１３０５ 移動前の手
１３０６ 移動後の手
１３０７ 矢印型のアイコン
１５０１ 表示画面
１５０３ 矢印のアイコン
１５０４ 動作後の状態
１８０１ 指先座標
１８０２ 重心座標
１８０３ 指先座標と重心座標の距離
２００１ 肌色領域のエッジ
２００２ 円領域
２００３ 重心位置
２２０１、２２０２ 指先位置
２２０３ 位置変化量ベクトル
２９０１ ジェスチャー開始ボタン
３１０１ ジェスチャーアニメーションボタン
【特許請求の範囲】
【請求項１】
操作者の操作面への接触を検知する接触検知手段と、
操作者のジェスチャーから制御命令を選択する制御命令選択手段と、
前記接触検知手段により検知された操作面への接触から前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段と、を有するジェスチャー入力装置。
【請求項２】
操作者の操作面への接触を検知する接触検知手段と、
前記接触検知手段により検知された操作面への接触から制御命令を選択する制御命令選択手段と、
操作者のジェスチャーから前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段と、を有するジェスチャー入力装置。
【請求項３】
前記接触検知手段の操作面への接触、および／または操作者のジェスチャーから操作位置を決定する操作位置決定手段を有することを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項４】
前記接触検知手段により検知された操作面への接触、および／または操作者のジェスチャーから前記制御命令のパラメーターを決定する制御パラメーター決定手段を有することを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項５】
前記制御命令選択手段は、
操作者のジェスチャーからジェスチャー特徴量を抽出するジェスチャー特徴量抽出手段と、
前記ジェスチャー特徴量と制御命令を対応させたジェスチャー特徴量データベースと、から制御命令を選択することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項６】
前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする請求項５に記載のジェスチャー入力装置。
【請求項７】
前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状から重心位置を算出し、前記重心位置とジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする請求項６に記載のジェスチャー入力装置。
【請求項８】
前記制御命令選択手段は、操作している指の本数および／またはどの指で操作しているかにより制御命令を選択することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項９】
操作者に情報を提示する情報表示手段を有し、
前記制御命令選択手段は、手で画面を切るジェスチャーのとき２画面表示をする制御命令を選択し、
制御パラメーター決定手段は、前記接触検知手段により検知された操作面の接触位置から２画面表示の境目を決定することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項１０】
操作者に情報を提示する情報表示手段を有し、
前記制御命令選択手段は、前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触により制御命令を決定することを特徴とする請求項２に記載のジェスチャー入力装置。
【請求項１１】
前記制御パラメーター決定手段は、前記接触検知手段に接触が検知されているときのみ操作者のジェスチャーから制御命令のパラメーターを決定することを特徴とする請求項４に記載のジェスチャー入力装置。
【請求項１２】
操作者に情報を提示する情報表示手段を有し、
前記情報表示手段に表示された機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触によりジェスチャー入力処理を開始することを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項１３】
操作者に情報を提示する情報表示手段を有し、
ジェスチャー入力受付可能な状態の時に、前記情報表示手段に表示された機能選択ボタンに、機能に対応するジェスチャーのアニメーションが表示されていることを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項１４】
操作面への接触を検知するステップと、
操作者のジェスチャーから制御命令を選択するステップと、
操作面への接触から前記制御命令を実行するタイミングを決定するステップと、を有するジェスチャー入力方法。
【請求項１５】
操作面への接触を検知するステップと、
前記接触検知手段により検知された操作面への接触から制御命令を選択するステップと、
操作者のジェスチャーから前記制御命令を実行するタイミングを決定するステップと、を有するジェスチャー入力方法。
【請求項１】
操作者の操作面への接触を検知する接触検知手段と、
操作者のジェスチャーから制御命令を選択する制御命令選択手段と、
前記接触検知手段により検知された操作面への接触から前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段と、を有するジェスチャー入力装置。
【請求項２】
操作者の操作面への接触を検知する接触検知手段と、
前記接触検知手段により検知された操作面への接触から制御命令を選択する制御命令選択手段と、
操作者のジェスチャーから前記制御命令を実行するタイミングを決定する命令実行タイミング決定手段と、を有するジェスチャー入力装置。
【請求項３】
前記接触検知手段の操作面への接触、および／または操作者のジェスチャーから操作位置を決定する操作位置決定手段を有することを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項４】
前記接触検知手段により検知された操作面への接触、および／または操作者のジェスチャーから前記制御命令のパラメーターを決定する制御パラメーター決定手段を有することを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項５】
前記制御命令選択手段は、
操作者のジェスチャーからジェスチャー特徴量を抽出するジェスチャー特徴量抽出手段と、
前記ジェスチャー特徴量と制御命令を対応させたジェスチャー特徴量データベースと、から制御命令を選択することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項６】
前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする請求項５に記載のジェスチャー入力装置。
【請求項７】
前記ジェスチャー特徴量抽出手段は、操作者のジェスチャー形状から重心位置を算出し、前記重心位置とジェスチャー形状および／またはジェスチャー動作からジェスチャー特徴量を抽出することを特徴とする請求項６に記載のジェスチャー入力装置。
【請求項８】
前記制御命令選択手段は、操作している指の本数および／またはどの指で操作しているかにより制御命令を選択することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項９】
操作者に情報を提示する情報表示手段を有し、
前記制御命令選択手段は、手で画面を切るジェスチャーのとき２画面表示をする制御命令を選択し、
制御パラメーター決定手段は、前記接触検知手段により検知された操作面の接触位置から２画面表示の境目を決定することを特徴とする請求項１に記載のジェスチャー入力装置。
【請求項１０】
操作者に情報を提示する情報表示手段を有し、
前記制御命令選択手段は、前記情報表示手段に表示された各機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触により制御命令を決定することを特徴とする請求項２に記載のジェスチャー入力装置。
【請求項１１】
前記制御パラメーター決定手段は、前記接触検知手段に接触が検知されているときのみ操作者のジェスチャーから制御命令のパラメーターを決定することを特徴とする請求項４に記載のジェスチャー入力装置。
【請求項１２】
操作者に情報を提示する情報表示手段を有し、
前記情報表示手段に表示された機能選択ボタンに対応した位置の前記接触検知手段の操作面への接触によりジェスチャー入力処理を開始することを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項１３】
操作者に情報を提示する情報表示手段を有し、
ジェスチャー入力受付可能な状態の時に、前記情報表示手段に表示された機能選択ボタンに、機能に対応するジェスチャーのアニメーションが表示されていることを特徴とする請求項１または請求項２に記載のジェスチャー入力装置。
【請求項１４】
操作面への接触を検知するステップと、
操作者のジェスチャーから制御命令を選択するステップと、
操作面への接触から前記制御命令を実行するタイミングを決定するステップと、を有するジェスチャー入力方法。
【請求項１５】
操作面への接触を検知するステップと、
前記接触検知手段により検知された操作面への接触から制御命令を選択するステップと、
操作者のジェスチャーから前記制御命令を実行するタイミングを決定するステップと、を有するジェスチャー入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２００９−４２７９６（Ｐ２００９−４２７９６Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００５−３３９９５７（Ｐ２００５−３３９９５７）
【出願日】平成１７年１１月２５日（２００５．１１．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１７年１１月２５日（２００５．１１．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]