説明

入力方法

【課題】
ユーザにとって使い勝手のよい入力装置を提供する。
【解決手段】
本発明に係る入力装置は、所定の動き画像信号が入力される入力部と、前記入力部に入
力された動き画像信号から動き検出を行う動き検出部と、前記動き検出部により検出され
た動きが所定の動きであった場合に所定の映像信号を出力する映像信号処理部と、制御部
とを備え、前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されてい
る場合には、前記動き検出部は動き検出を行わないように前記動き検出部を制御すること
を特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの指示を入力する入力装置に関する。
【背景技術】
【0002】
グラフィカルユーザインタフェース(以下、GUI)を介してユーザの操作を受け付け
ると同時にユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している

【0003】
たとえば、特許文献1には、人物の手足の動きの特徴を示す点の3次元座標を計測し、
抽出された特徴点のうち手以外の特徴点を利用して人物の3次元位置/姿勢を推定し、推
定されたユーザの3次元位置を基準点としてユーザ姿勢に応じて各座標軸が一意に定まる
ユーザ座標系を構成し、ユーザの手足の特徴点を該ユーザ座標系に変換することで、ユー
ザの位置/姿勢に依存しない特徴量を抽出し、
その時系列変化とジェスチャモデルとのマッチングをとり人物の行なったジェスチャを推
定するジェスチャ認識装置が開示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−149025
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1に記載のジェスチャ認識装置をテレビ等の機器への入力操作に用い
た場合、ユーザを撮像した動画像が、該機器への入力を表すのか否かの区別がすることが
難しい。例えば、該機器への入力を示すためユーザが手で右方向を指し、その後で元に位
置に手を戻した場合、元の位置に手を戻した動きが左方向を指す入力動作として認識され
ることがある。つまり、特許文献1では、ユーザがジェスチャを行った際に、動きのどの
部分を装置への入力として受け付けるかについての仕組みについては考慮されていない。
【0006】
さらに、機器やソフトウェアの操作においては、連続入力を行いたいという要望が存在
する。例えば、テレビを操作する際に、リモコンの音量調整ボタンを連続して押下するこ
とや、チャンネル切換えボタンを連続して押下することである。しかし、特許文献1では
、ジェスチャコマンドにより連続して入力する操作を円滑に行わせることは考慮されてい
ない。
【0007】
そこで、本発明は、かかる事情を考慮した上で、たとえば、ユーザに操作に有効な動作
の提示をすると同時にリアルタイムなフィードバックを与え、さらに連続した入力動作が
可能であり、ユーザにとって使い勝手の良い入力装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る入力装置は、所定の動き画像信号が入力される入力部と、前記入力部に入
力された動き画像信号から動き検出を行う動き検出部と、前記動き検出部により検出され
た動きが所定の動きであった場合に所定の映像信号を出力する映像信号処理部と、制御部
とを備え、前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されてい
る場合には、前記動き検出部は動き検出を行わないように前記動き検出部を制御すること
を特徴とする。
【0009】
たとえば、ユーザが手を振る動作をした後にはユーザの手が手を振る前の位置に戻る動
作が行われるが、前記アニメーションが継続しており項目が選択途中の状態ではユーザが
手の動きを認識しないことにより、ユーザの手が手を振る前の位置に戻る動きが項目の選
択操作として受け付けられないようにする。
【発明の効果】
【0010】
本発明によると、たとえば、ユーザに操作に有効な動作の提示をすると同時にリアルタ
イムなフィードバックを与え、さらに連続した入力動作が可能であり、ユーザにとって使
い勝手の良い入力装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施例1の入力装置を示す概観図である。
【図2】実施例1の入力装置の構成を示すブロック図である。
【図3】実施例1の入力装置のユーザの操作方法を示す概観図である。
【図4】実施例1のGUIの動きとユーザの操作の対応を説明する概観図である。
【図5】実施例1の入力装置の動作を説明する流れ図である。
【図6】実施例1のGUIの構成を示す概観図である。
【図7】実施例2のGUIの動きとユーザの操作の対応を説明する概観図である。
【図8】実施例2の入力装置の動作を説明する流れ図である。
【図9】実施例3のGUIの動きとユーザの操作の対応を説明する概観図である。
【図10】実施例3の入力装置の動作を説明する流れ図である。
【図11】実施例4の入力装置の構成を示すブロック図である。
【図12】実施例4のGUIの動きとポインタの動作の対応を説明する概観図である。
【発明を実施するための形態】
【0012】
以下、本発明を適用した各実施例について説明する。
【実施例1】
【0013】
本実施例の入力装置100は、ユーザを撮像した動画像からユーザの手の動作を検出し
、該動作に応じてGUIの表示を変更することが可能な装置である。
図1は、表示部101、撮像部102、ユーザ103、メニュー項目104、選択項目1
05、により入力装置100をユーザが使用する際の動作環境の概観を示す。
【0014】
表示部101は、入力装置100の表示装置であり、例えば、液晶ディスプレイやプラ
ズマディスプレイ等の表示装置で構成される。表示部101は、表示パネルとパネル制御
回路とパネル制御ドライバとから構成され、後述する映像処理部202から供給されるデ
ータで構成される映像を表示パネルに表示する。撮像部102は、入力装置100に動画
像を入力するための装置であり、たとえばカメラである。ユーザ103は、入力装置10
0に対して操作を行うユーザである。メニュー項目104は表示部101に表示されるG
UIであり、複数の項目で構成されるメニューである。選択項目105は該メニュー項目
104の項目の中でユーザの操作により選択状態となっている項目である。
【0015】
入力装置100は、例えば図2に示すように、表示部101、撮像部102、動作検出
(動き検出)部200、システム制御部201、映像処理部202、を備える。
【0016】
動作検出(動き検出)部200は、撮像部102から動画像信号を受信し、受信した動画
像信号より人物の動作を検出し、検出した動作を所定のコマンドとして出力する回路であ
る。
【0017】
システム制御部201は例えばマイクロプロセッサから構成され、動作検出(動き検出)
部200から受信したコマンドに応じて、映像表示部202の動作を制御する。
【0018】
映像処理部202は、例えば、ASIC、FPGA、MPU等の処理装置により構成さ
れる。映像処理部202は、システム制御部201の制御に従いGUIの映像データを、
表示部101で処理可能な形態に変換して出力する。
【0019】
図3は、本発明の入力装置をユーザが操作する際のユーザの動作を示す。本発明ではユ
ーザが手を左右に振る操作により、ユーザが手を振った方向や速度に応じてメニュー項目
104が移動し、ユーザは手を左右に振る操作で任意の項目を選択項目105の位置に移
動させることにより項目の選択を行うことができる。認識ポイント301は該入力装置が
認識するユーザの手の位置を示している。手の振り302はユーザが該メニュー項目10
4を動かすために手を振った動きを示しており、該入力装置100に入力されるユーザの
操作となる。また、手の戻り303はユーザが手の振り302のように手を振った後に、
ユーザの手が手を振る前の位置に戻る動きを示している。
【0020】
図4は入力装置100をユーザが操作する際の、ユーザの手と表示部101に表示され
るGUIの状態を示している。
【0021】
次に、上記構成の入力装置100の動作を図1、図2、図3、図4、及び図5のフロー
チャートを参照して説明する。
【0022】
入力装置100は、ユーザを撮像した動画像信号からユーザの手の動作を検出し、該動
作に応じてGUIの表示を変更することが可能な装置である。
【0023】
先ず、入力装置100がユーザの手の動きを検出し、該動作に応じてGUIの表示を変
更するまでの処理の流れについて、図2を参照して説明する。ユーザが、入力端末100
に対し、図示しない電源ボタンの押下等により、入力端末100の動作を開始させたとす
る。システム制御部201は前記動作の開始に応答して、映像処理部202にGUIの表
示を指示する。映像処理部202は前記指示に応答して、表示部101の入力に適した映
像信号を出力する。これにより、表示部101にはGUIが表示される。
【0024】
また、システム制御部201は前記動作の開始に応答して、撮像機102に対して動画
像の撮像の開始を指示する。撮像機102は前記指示に応答して、動画像の撮像を開始し
、撮像した動画像のデータを動作検出(動き検出)部200に出力する。動作検出(動き検
出)部200は受信した前記動画像から特徴点抽出などの方法を用いてユーザの手の位置
を検出し、該手の位置のデータをシステム制御部201に出力する。システム制御部20
1は該手の位置のデータからユーザの手の動きの方向や速度を算出し、予め決められた方
向に従い、且つ予め決められた速度以上の手の動きであれば、該方向や該速度に従い映像
処理部202にGUIの表示の変更を指示する。映像処理部202は前記指示に応答して
、GUIを構成するデータを変更し、該データに基づく表示部101の入力に適した映像
信号を出力する。これにより、表示部101に表示されるGUIが更新される。
【0025】
次に、入力装置100が、ユーザが手を動かす操作を入力として受け付ける際の動作の
詳細を図4及び図5のフローチャートを参照しながら説明する。先ず、ユーザは所定の手
順にて入力端末100の操作を開始する(ステップ500)。この時のユーザの手と表示
部101に表示されるGUIの状態の一例を図4の表示1に示す。前記操作の開始を受け
、入力端末100はユーザの手の動きの監視を開始する(ステップ501)。
【0026】
ユーザの手が所定の速度以上の速さで特定の方向に動いた場合(ステップ501:Ye
s)、図4の表示2に示すように、入力端末100はユーザの手が動いた方向や速度に従
いメニュー項目104のアニメーションを開始する。一方、ユーザの手が所定の速度以上
の速さで動いていない場合(ステップ501:No)、入力端末100はユーザの手の動
きの監視を継続する。次に入力装置100はステップ502で開始したアニメーションの
動作の継続状態を監視する(ステップ503:Yes)。
【0027】
ここで該アニメーションは所定の時間をかけてメニュー項目104の移動を行う構成と
なっており、入力端末100は該アニメーションが動作中の場合は、前記ユーザの手の動
きの監視を行わない。これにより、図4の表示3に示すように前記アニメーションが動作
中はユーザが手の戻り303の動作を行った場合も、該動作はメニュー項目104の動き
に反映されず、手の振り302に従った操作が反映された状態となる。
【0028】
該アニメーションの動作が終わった際には(ステップ503:No)、入力装置100
はユーザが操作の終了を指示したかを確認し、操作が継続される場合は(ステップ504
:No)、再びユーザの手の動きの監視を行う。この時のユーザの手と表示部101に表
示されるGUIの状態は図4の表示4に示す通り、ユーザの手の位置は手の振り302の
動きを行う前の位置になり、メニュー項目104はユーザが手を動かした方向に従い別の
項目が選択された状態となるため、ユーザは再びメニュー項目104に対しての操作を開
始することができる。また、ステップ504において、ユーザが操作の終了を指示した際
は(ステップ504:Yes)、入力装置100はユーザの手の動きの監視等の動作を終
了する(ステップ505)。
【0029】
このように、入力装置100は、ユーザが手を動かす方向や速度を認識し、該方向や該
速度に応じてメニュー項目104をアニメーションさせ、該アニメーションが動いている
間はユーザの手の動きを認識しないようにする。これにより、ユーザは、手を振って方向
を示した後に手の戻りの動きが認識されることなく手を元の位置に戻すことができるため
、手を振るだけの簡単な操作でメニュー項目の選択等の操作を連続して円滑に行うことが
できる。
【0030】
また、本実施例では、映像信号処理部により所定の映像信号が出力されている場合には
、動作検出(動き検出)部は動作検出(動き検出)を行わないように構成したが、映像信号処
理部により所定の映像信号が出力されてから時間を制御部が計測し、この時間が所定値を
超えない場合に、動作検出(動き検出)部は動作検出(動き検出)を行わないように動作検出
(動き検出)部を制御してもよい。
【0031】
なお、前記表示部101に表示されるGUIは、例えば、図6に示すように、ユーザが
手を上下に振る動きで操作できるメニュー構成Aやメニュー構成Bや、ユーザが手を左右
に振る動きで操作できるメニュー構成Cのような構成でもよい。
【実施例2】
【0032】
次に、実施例2について説明する。本実施例では、実施例1の入力装置100において
説明した操作方法に加えて、ユーザが手を振る動きが所定の速度以下の場合にもメニュー
項目の操作が行えるようにした操作方法について説明する。入力装置100の構成や表示
部101に表示するGUIの構成は実施例1と同様であり、ユーザが手を振る動きの認識
方法が異なる。
【0033】
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等な
ものには同一の符合を付し、その説明は重複を避ける為に割愛する。
【0034】
図7は本実施例において入力装置100をユーザが操作する際の、ユーザの手と表示部
101に表示されるGUIの状態を示している。ユーザの手の動き701、702は、後
述する入力端末100の操作において、ユーザが所定の速度以下の速さでゆっくりと手を
動かした場合の手の動きを示している。
【0035】
本実施例の入力装置100の動作を図7及び図8のフローチャートを参照して説明する

【0036】
先ず、ユーザは所定の手順にて入力端末100の操作を開始する(ステップ800)。
この時のユーザの手と表示部101に表示されるGUIの状態の一例を図7の表示1に示
す。前記操作の開始を受け、入力端末100はユーザの手の動きの監視を開始する(ステ
ップ801)。ユーザの手が特定の方向に動いている場合は(ステップ801:Yes)
、ユーザの手の動きの速度を算出する(ステップ802)。
【0037】
この時、ユーザの手の動きが、所定の速度以上の速さではない場合は(ステップ802
:No)、図7の表示2や表示3に示すようにユーザが手を動かす方向に追従して、ユー
ザの手が動いた方向と動きの大きさに従いメニュー項目104を動かす。一方、ステップ
802においてユーザの手の動きが所定の速度以上の速さで動いた場合には、前記実施例
1と同様の動作となる。
【0038】
このように、入力装置100は、ユーザが手を動かす方向や速度を認識し、ユーザの手
の動きが所定の速度以下で動いている場合は、ユーザの手の動きの方向や動きの大きさに
従いメニュー項目104を動かし、ユーザの手の動きが所定の速度以上で動いた場合は、
手が動いた方向や該速度に応じてメニュー項目104のアニメーションを開始し、該アニ
メーションが動いている間はユーザの手の動きを認識しないようにする。
【0039】
これにより、ユーザは、小さな手の動きやゆっくりとした手の動きで入力装置100に
ユーザ自身の手の動きが正確に認識されていることを把握することができ、また、ユーザ
はどの程度の速さの手の動きでメニュー項目104の選択項目105の変更を行うことが
できるかを把握することができるため、実施例1の入力装置100の操作方法や操作の状
態をより円滑に把握し、より直感的に操作することできる。
【実施例3】
【0040】
次に、実施例3について説明する。本実施例では、実施例1の入力装置100において
説明した操作方法に加えて、ユーザが手を振る動きでメニュー項目104のアニメーショ
ンが開始され、アニメーションが動いている間にユーザが手を動かし続けている場合は、
ユーザが手を振る方向に関係なく、前記アニメーションの動きを継続する操作が行えるよ
うにした操作方法について説明する。入力装置100の構成や表示部101に表示するG
UIの構成は実施例1と同様であり、ユーザが手を振る動きの認識方法が異なる。
【0041】
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等な
ものには同一の符合を付し、その説明は重複を避ける為に割愛する。
【0042】
図9は本実施例において入力装置100をユーザが操作する際の、ユーザの手と表示部
101に表示されるGUIの状態を示している。ユーザの手の動き900は、図9の表示
2においてユーザが手を振る動きでメニュー項目104のアニメーションが開始された後
に、ユーザが継続して手を振り続けた際の手の動きを示している。
【0043】
本実施例の入力装置100の動作を図9及び図10のフローチャートを参照して説明す
る。
【0044】
先ず、ユーザは所定の手順にて入力端末100の操作を開始する(ステップ1000)
。この時のユーザの手と表示部101に表示されるGUIの状態の一例を図9の表示1に
示す。前記操作の開始を受け、入力端末100はユーザの手の動きの監視を開始する(ス
テップ1001)。ユーザの手が所定の速度以上の速さで特定の方向に動いた場合(ステ
ップ1001:Yes)、図9の表示2に示すように、入力端末100はユーザの手が動
いた方向や速度に従いメニュー項目104のアニメーションを開始する。
【0045】
さらに、入力端末100はユーザの手の動きの監視を継続し(ステップ1003)、ユ
ーザの手が所定の速度以上の速さで動き続けている場合は(ステップ1003:Yes)
、ユーザの手の動きの方向に関係なく、前記アニメーションを継続する。この時、該アニ
メーションは、図9の表示3に示すように、メニュー項目104の選択項目105が前記
アニメーションを開始する際に認識した始めの手の動きに従って、連続して次の項目が選
択されるように動作する。一方、ステップ1003においてユーザの手の動きが所定の速
度以上の速さで動き続けていない場合には、前記実施例1と同様の動作となる。
【0046】
このように、入力装置100は、ユーザが手を動かす方向や速度を認識し、ユーザの手
の動きが所定の速度以上で動いた場合は、手が動いた方向や該速度に応じてメニュー項目
104のアニメーションを開始し、これに続いてユーザの手が所定の速度以上で動き続け
ている場合は、メニュー項目104が同じ方向にアニメーションを続け、選択項目105
が次々と変わるように動作する。
【0047】
これにより、ユーザは、連続したメニュー項目の選択を行う場合は、はじめにメニュー
項目を動かす方向に手を振り、その後は手を振る方向に関係なく手を動かし続けるだけで
次々と項目を選択することができるため、より円滑に連続したメニュー項目の選択を行う
ことができる。
【実施例4】
【0048】
次に、実施例4について説明する。本実施例では、実施例1の入力装置100において
、マウスやタッチパッドなどのいわゆるポインティングデバイスや加速度センサ等のセン
サデバイスを介した入力が可能な場合に、実施例1と同等の操作方法を実現する入力装置
について説明する。
【0049】
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等な
ものには同一の符合を付し、その説明は重複を避ける為に割愛する
実施例4の入力装置200は、マウスやタッチパッドなどのいわゆるポインティングデ
バイスや加速度センサ等のセンサデバイス介した入力が可能であり、図11に示すように
、入力部1100によりシステム制御部202に動き情報(ポインティング情報や方向を
示す情報)が入力される構成となっている。
【0050】
また、図12は本実施例において入力装置100をユーザが操作する際の、入力部11
00から得られる入力結果の状態と表示部101に表示されるGUIの状態を示している
。カーソル1200は該入力結果に基づき画面上の特定の座標の位置が示されるカーソル
である。本実施例では、該カーソル1200の動きを、実施例1におけるユーザの手の動
きと同等に扱うことにより、ユーザは実施例1と同様の操作を行うことができる。また、
入力部1100が加速度センサ等のセンサデバイスで構成される場合は、カーソル120
0が表示部101に表示されることなく、該センサデバイスの出力情報を、実施例1にお
けるユーザの手の動きの情報と同等に扱うことにより、ユーザは実施例1と同様の操作を
行うことができる。
【0051】
これにより、本実施例の入力装置100は、入力装置100が前記撮像部102等の入
力手段を有さない場合も、ユーザは実施例1と同様の方法により、従来のポインティング
操作のような細かい操作を必要とせず、入力部1100に特定の方向に対する大きな動き
を入力するだけで、円滑にメニュー項目を選択する操作を行うことができる。
【符号の説明】
【0052】
100・・・入力装置、
101・・・表示部、
102・・・撮像部、
103・・・ユーザ、
104・・・メニュー項目、
105・・・選択項目、
200・・・動作検出(動き検出)部、
201・・・システム制御部、
202・・・映像処理部、
301・・・認識ポイント、
302・・・手の振り、
303・・・手の戻り、
701・・・手の動き、
702・・・手の動き、
900・・・手の動き、
1100・・・入力部、
1200・・・カーソル、

【特許請求の範囲】
【請求項1】
所定の動き画像信号が入力される入力部と、
前記入力部に入力された動き画像信号から動き検出を行う動き検出部と、
前記動き検出部により検出された動きが所定の動きであった場合に所定の映像信号を出
力する映像信号処理部と、
制御部とを備え、
前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されている場合に
は、前記動き検出部は動き検出を行わないように前記動き検出部を制御することを特徴と
する入力装置。
【請求項2】
請求項1に記載の入力装置において、
前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されてから所定の
期間は、前記動き検出部は動き検出を行わないように前記動き検出部を制御することを特
徴とする入力装置。
【請求項3】
請求項1に記載の入力装置において、
前記動き検出部は前記入力部に入力された動き画像信号の動きの速度を検出し、
前記制御部は、前記検出された動きの速度に応じた動きの映像を出力するように前記映
像信号処理部を制御することを特徴とする入力装置。
【請求項4】
請求項1に記載の入力装置において、
前記動き検出部は前記入力部に入力された動き画像信号の動きの速度を検出し、
前記制御部は、前記検出された動きの速度の大きさが所定値以上の場合、連続的に映像
を出力するように前記映像信号処理部を制御することを特徴とする入力装置。
【請求項5】
所定の動き画像信号が入力される入力部と、
前記入力部に入力された動き画像信号から動き検出を行う動き検出部と、
前記動き検出部により検出された動きが所定の動きであった場合に所定の映像信号を出
力する映像信号処理部と、
前記映像信号処理部から出力を表示する表示部と、
制御部とを備え、
前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されている場合に
は、前記動き検出部は動き検出を行わないように前記動き検出部を制御することを特徴と
する表示装置。
【請求項6】
請求項5に記載の表示装置において、
前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されてから所定の
期間は、前記動き検出部は動き検出を行わないように前記動き検出部を制御することを特
徴とする表示装置。
【請求項7】
請求項5に記載の表示装置において、
前記動き検出部は前記入力部に入力された動き画像信号の動きの速度を検出し、
前記制御部は、前記検出された動きの速度に応じた動きの映像を出力するように前記映
像信号処理部を制御することを特徴とする表示装置。
【請求項8】
請求項5に記載の表示装置において、
前記動き検出部は前記入力部に入力された動き画像信号の動きの速度を検出し、
前記制御部は、前記検出された動きの速度の大きさが所定値以上の場合、連続的に映像
を出力するように前記映像信号処理部を制御することを特徴とする表示装置。
【請求項9】
所定の動き情報が入力される入力部と、
前記入力部により入力された動きが所定の動き情報であった場合に所定の映像信号を出
力する映像信号処理部と、
制御部とを備え、
前記制御部は、前記映像信号処理部により前記所定の映像信号が出力されている場合に
は、前記入力部は動き情報の入力を行わないように前記動き検出部を制御することを特徴
とする入力装置。
【請求項10】
請求項9に記載の入力装置において、
前記所定の動き情報は、少なくともポインティング情報又は方向を示す情報のいずれか
1つを含むことを特徴とする入力装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−69341(P2013−69341A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2013−2214(P2013−2214)
【出願日】平成25年1月10日(2013.1.10)
【分割の表示】特願2008−249510(P2008−249510)の分割
【原出願日】平成20年9月29日(2008.9.29)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】