情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム
【課題】カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供すること。
【解決手段】本発明の一実施形態に係る情報処理装置において、カメラを介して画像を取得し、記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、画像内に含まれているか否かを検出し、第1の手形状が、画像内に含まれていることが検出された場合、第1の手形状の動きに基づいて、複数の選択対象オブジェクトに対するフォーカスの移動を制御する。そして、画像内の横軸又は縦軸方向において第1の手形状が基点を中心として所定の距離以上移動した場合、移動した方向に対してフォーカスを移動する。
【解決手段】本発明の一実施形態に係る情報処理装置において、カメラを介して画像を取得し、記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、画像内に含まれているか否かを検出し、第1の手形状が、画像内に含まれていることが検出された場合、第1の手形状の動きに基づいて、複数の選択対象オブジェクトに対するフォーカスの移動を制御する。そして、画像内の横軸又は縦軸方向において第1の手形状が基点を中心として所定の距離以上移動した場合、移動した方向に対してフォーカスを移動する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に、情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムに関する。より詳細には、本発明は、ユーザのジェスチャを認識し、認識されたジェスチャに基づく制御を行う情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムに関する。
【背景技術】
【0002】
従来、テレビやパーソナルコンピュータ(PC)等の情報処理装置をユーザのジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボード又はリモートコントローラといった入力装置を使用せずに、情報処理装置を遠隔操作することができる。
【0003】
例えば、カメラによる撮影領域内に設定された認識領域における認識対象オブジェクトの動きを検出し、検出した情報に基づいて認識対象オブジェクトの動きのカテゴリを決定し、カテゴリに対応したコマンドを実行する技術が提案されている(特許文献1参照)。
【0004】
また、ユーザの特定の手形状を移動することにより、カメラを用いて撮影されたその特定の手形状に対応させてカーソルを表示画面上で移動させ、その表示画面上に表示された仮想ボタンを選択する技術が提案されている(特許文献2及び3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−34525号公報
【特許文献2】特開平8−44490号公報
【特許文献3】特開2004−78977号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した技術では、カメラにより撮影されたユーザのジェスチャが認識される必要があるが、認識精度の悪さに起因してジェスチャによるポインティング(表示画面上のカーソル)にブレが生じ、そのブレがユーザにとって煩わしく感じられる原因となり得る。
【0007】
本発明は、上述の事情を鑑みてなされたものであり、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述の課題を解決するため、本発明の一態様によれば、ディスプレイを有する情報処理装置であって、前記情報処理装置に接続されたカメラと、1つ又は複数の手形状を記憶した記憶手段と、前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、前記手形状認識部により、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御部とを具備し、前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動する情報処理装置が提供される。
【0009】
また、本発明の他の態様によれば、ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置において、前記ディスプレイに表示される複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御方法であって、前記情報処理装置に接続されたカメラを介して画像を取得し、前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出し、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記複数の選択対象オブジェクトに対してフォーカスを移動し、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動するフォーカス移動制御方法が提供される。
【0010】
さらに、本発明の別の態様によれば、ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置に、前記情報処理装置に接続されたカメラを介して画像を取得する手順と、前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出する手順と、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御する手順とを実行させ、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動するフォーカス移動制御プログラムが提供される。
【発明の効果】
【0011】
本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る情報処理装置を示す斜視図。
【図2】図1の情報処理装置のシステム構成を示すブロック図。
【図3】図1の情報処理装置のシステム構成の一部をより詳細に示すブロック図。
【図4】本実施形態において用いられる手形状の例を示す図。
【図5】図1の情報処理装置における、図3のフォーカス移動制御部の動作の一例を示すフローチャート。
【図6】図5のフローチャートにおいて、(a)は第1の手形状が基点に対して所定の距離以上移動していない場合を説明する図、(b)は第1の手形状が基点に対して所定の距離以上移動している場合を説明する図。
【図7】図5のフローチャートにおいて、(a)は第1の軸方向における基点の再設定を説明する図、(b)は第2の軸方向における基点の再設定を説明する図。
【図8】本実施形態に係るフォーカス移動を伴う画面の遷移の一例を示す図。
【図9】カメラを介して撮影された手形状が検出されたときの画面に表示されるユーザインターフェース(UI)の一例を示す図。
【図10】所定のアプリケーションを実行するときに、カメラ107を介して撮影された所定の手形状が図3の手形状認識部により検出され、図3のフォーカス移動制御部がその検出を示す信号を最初に受信したときのUIの一例を示す図。
【図11】所定の手形状が移動されたときの、選択対象オブジェクト(ボタン)におけるフォーカスの移動する様子を示す図。
【図12】検出される手形状が、第1の手形状から第2の手形状に変化したときに、図10に示したUIが変化する様子を示す図。
【図13】所定の手形状が図3の手形状認識部により検出され、図3のフォーカス移動制御部がその検出を示す信号を最初に受信したとき、操作対象のアプリケーションに応じて表示される既定のUIの例を示す図であり、(a)はDVD視聴等のAVアプリケーションで表示されるUIを示す図、(b)はテレビ視聴アプリケーションで表示されるUIを示す図。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら、本発明の実施形態について説明する。
【0014】
まず、図1及び図2を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えばバッテリ駆動可能なノートブック型パーソナルコンピュータ100(以下、コンピュータ100と省略する)として実現される。
【0015】
図1は、ディスプレイユニットを開いた状態におけるコンピュータ100の斜視図である。コンピュータ100は、本体ユニット101とディスプレイユニット102とから構成される。
【0016】
ディスプレイユニット102には、LCD(Liquid Crystal Display)103から構成される表示装置が組み込まれている。LCD103の表示部は、ディスプレイユニット102のほぼ中央に配置されている。LCD103の表示部の上側中央部には、カメラ107が設けられている。
【0017】
ディスプレイユニット102は、本体ユニット101に支持されており、本体ユニット101の上面が露出される開放位置と本体ユニット101の上面を覆う閉塞位置との間を本体ユニット101に対して回動自在に取り付けられている。
【0018】
本体ユニット101は、薄い箱形の筐体を有しており、本体ユニット101の上面には、コンピュータ100をパワーオン/オフするための電源ボタン104、キーボード105、及びタッチパッド106等が配置されている。
【0019】
図2は、コンピュータ100のシステム構成を示すブロック図である。
【0020】
図2に示されるように、コンピュータ100は、CPU201、メインメモリ202、ノースブリッジ203、グラフィクスコントローラ204、LCD103、VRAM205、サウスブリッジ206、USBコントローラ207、IDEコントローラ208、カメラ107、USBデバイス209、ハードディスクドライブ(HDD)210、光ディスクドライブ(ODD)211、BIOS−ROM212、電源ボタン104、キーボード105、タッチパッド106、組み込みコントローラ/キーボードコントローラ(EC/KBC)213、電源回路221、バッテリ222、及びACアダプタ223等を備えている。
【0021】
CPU201は、コンピュータ100の動作全般を制御するプロセッサである。CPU201は、メインメモリ202にロードされたOS及び各種アプリケーションプログラムを実行する。このOS及び各種アプリケーションプログラムは、HDD210に搭載される磁気ディスク記憶媒体(ハードディスク)等に記憶されており、こうした記憶媒体からメインメモリ202にロードされる。
【0022】
また、CPU201は、BIOS−ROM212に格納されたBIOSプログラム230(以下、BIOSと呼ぶ)も実行する。BIOS−ROM212は、プログラム書き換え可能なように、フラッシュEEPROMのような不揮発性メモリの形態をとる。
【0023】
BIOS230は、コンピュータ100の各種ハードウェアコンポーネントを制御するプログラムであり、コンピュータ100の起動時に、BIOS−ROM212から読み出される。
【0024】
ノースブリッジ203は、CPU201のローカルバスと、サウスブリッジ206とを接続するブリッジデバイスである。ノースブリッジ203は、メインメモリ202をアクセス制御するメモリコントローラを備えている。また、ノースブリッジ203は、AGP(Accelerated Graphics Port)バス等を介してグラフィクスコントローラ204と通信する機能を有する。
【0025】
グラフィクスコントローラ204は、コンピュータ100のディスプレイモニタとして使用されるLCD103を制御するコントローラである。このグラフィクスコントローラ204は、OS又はアプリケーションプログラムによってVRAM205に書き込まれた表示データに対応する映像信号を、LCD103に出力する。
【0026】
サウスブリッジ206は、LPC(Low Pin Count)バス及びPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ206は、カメラ107及びUSBデバイス209を制御するためのUSBコントローラ207と、HDD210及びODD211を制御するためのIDEコントローラ208とを内蔵している。
【0027】
カメラ107は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサにより構成されている。このカメラ107は、コンピュータ100の周辺の画像(動画像)を取り込んで、その画像を後述する手形状認識部301に供給する。また、カメラ107によって撮影された画像(動画像)は、コンピュータ100のディスプレイモニタに表示することができる。カメラ107によって供給される画像のフレームレートは、例えば30フレーム/秒である。本実施形態では、カメラ107は、USB規格に準拠したUSBデバイスであると想定している。なお、カメラ107は、外付け型であってもよいし、内蔵型であってもよい。
【0028】
HDD210は、ハードディスクコントローラ及び磁気ディスク記憶媒体を有する記憶装置である。この磁気ディスク記憶媒体には、OSを含む各種ソフトウェア及び各種データが格納される。ODD211は、DVDタイトルのようなビデオコンテンツが格納されたDVDや音楽データが格納されたCDなどの記憶媒体を駆動するためのドライブユニットである。
【0029】
EC/KBC213は、電力管理のための組み込みコントローラ(EC)と、キーボード105及びタッチパッド106を制御するためのキーボードコントローラ(KBC)とが集積された1チップマイクロコンピュータである。EC/KBC213は、コンピュータ100の電源がオンされているかオフされているかに関わらず、電源回路221からの電力によって常時電源がオンされている。このEC/KBC213は、ユーザによる電源ボタン104の操作に応答して、電源回路221と協働してコンピュータ100の電源をオン/オフする。
【0030】
電源回路221は、EC/KBC213の制御の下、本体ユニット101内に設けられたバッテリ222からの電力、又はACアダプタ223を介して供給される外部電源からの電力を用いて、コンピュータ100における各デバイスに電力を供給する。
【0031】
図3は、コンピュータ100の構成の一部を、より詳細に示すブロック図である。
【0032】
図3に示されるように、カメラ107によって撮影された画像は、手形状認識部301に供給される。
【0033】
手形状認識部301は、カメラ107から供給された画像が手形状データベース302に予め格納(登録)されている手形状のうちのいずれか1つと一致する手形状を含んでいるか否かを判定する。例えば、手形状認識部302は、カメラ107から供給される画像内から、手形状データベース302に予め格納されている手形状のうちの1つを検索する。
【0034】
手形状データベース302には、図4に示されるように、握り拳(5本の指を曲げた状態(図4(a)))、平手(5本の指を伸ばした状態(図4(b)))、及びサムアップサイン(親指のみ伸ばし、他の4本の指は曲げた状態(図4(c)))等の手形状が、対応する識別子と関連付けられて予め格納されている。
【0035】
ここで、第1の手形状(本実施形態では、図4(a)の握り拳)は、ディスプレイモニタに表示されて、十字キーによって選択可能なアイコン(以下、選択対象オブジェクトと呼ぶ)を選択するために使用されるものである。また、第2の手形状(本実施形態では、図4(c)のサムアップサイン)は、選択された選択対象オブジェクトを実行対象として決定するために使用されるものである。
【0036】
手形状認識部301はさらに、時間の経過や手形状の動きに基づいて基点位置が変わる相対座標方式の二次元座標系を用いて、手形状の位置情報(座標)を算出する。本実施形態では、手形状認識部301は、手形状に外接する矩形領域の中心を、相対座標方式の座標系における手形状の位置情報(X,Y)として用いる。なお、手形状の位置情報は、上記手形状に外接する矩形領域の中心とすることに限定されず、例えば、手形状の重心の座標としてもよい。
【0037】
フォーカス移動制御部303は、手形状認識部301により検出された手形状の識別子と、その手形状の位置情報とを、手形状認識部301から受信する。また、フォーカス移動制御部303は、カメラによって撮影された手形状の動きに応じて、選択対象オブジェクトを選択したり、選択された選択対象オブジェクトを実行対象として決定したりする。フォーカス移動制御部303の動作については、図5〜図8を参照して以下で詳述する。
【0038】
本実施形態では、手形状認識部301は、専用のハードウェアエンジン(LSI;不図示)で実現され、フォーカス移動制御部303は、CPU201(図2)により実行されるソフトウェアで実現される。しかしながら、手形状認識部301及びフォーカス移動制御部303は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、上記ソフトウェア及び手形状データベース302は例えば、HDD210(図2)に格納されている。
【0039】
次に、図5〜図7を参照しながら、フォーカス移動制御部303の動作を説明する。図5は、コンピュータ100におけるフォーカス移動制御部303の動作の一例を示すフローチャートである。ここで、手形状は相対座標方式の二次元座標系の座標によりその位置が特定される。すなわち、手形状は、横方向(X軸方向;第1の軸方向)及び縦方向(Y軸方向;第2の軸方向)からなる二次元空間上で移動するものであるが、本例では、特に言及しない限り、横方向(X軸方向)の動きに対する動作のみに着目している。
【0040】
まず、ステップS501において、フォーカス移動制御部303は、カメラ107を介して第1の手形状(図4(a)の握り拳)が手形状認識部301により検出されるのを待つ。
【0041】
握り拳が手形状認識部301により検出され、フォーカス移動制御部303が、その検出されたことを示す信号(握り拳に対応する識別子及び握り拳の位置情報を含む)を受信すると(ステップS501のYES)、フォーカス移動制御部303は、手形状が二次元座標系の基点に対して所定の距離Lx(例えば0.05m)以上移動したか否かを判定する(ステップS502)。なお、以下では、特に言及しない限り、握り拳が手形状認識部301により継続的に検出されているものと仮定している。
【0042】
握り拳が基点に対して所定の距離Lx以上移動していなければ(ステップS502のNO)、本動作は、再度ステップS502の処理に戻る。一方、握り拳が基点に対して所定の距離Lx以上移動していれば(ステップS502のYES)、フォーカス移動制御部303は、基点の再設定を行う(ステップS503)。握り拳が基点に対して所定の距離Lx以上移動していない場合を図6(a)に示し、握り拳が基点に対して所定の距離Lx以上移動している場合を図6(b)に示している。
【0043】
ここで、ステップS503の基点の再設定について、図7を参照しながら説明する。
【0044】
図7(a)は、握り拳がX軸(第1の軸)方向において所定の距離Lx以上移動した場合のX軸における基点の再設定の状況を模式的に示している。この場合、フォーカス移動制御部303は、新たなX軸方向の基点として、握り拳がX軸において所定の距離Lx以上移動する直前のポイントから、握り拳がX軸において移動した方向へ第2の所定の距離だけ離れたポイントに再設定する。第2の所定の距離は、1×Lx以上2×Lx以下と設定することが好ましく、本実施形態では、1.8×Lxとしている。
【0045】
これに対して、図7(b)は、握り拳がX軸方向において所定の距離Lx以上移動した場合のY軸(第2の軸)における基点の再設定の状況を模式的に示している。この場合、フォーカス移動制御部303は、新たなY軸方向の基点として、握り拳がX軸において所定の距離Lx以上移動する直前のポイントから、握り拳がX軸方向において所定の距離Lx以上移動したことが検出された時点におけるポイントに再設定する。
【0046】
図5に戻ると、次いで、フォーカス移動制御部303は、時間の経過に応じて、基点を移動させる(ステップS504)。この基点の移動は、以下のような2つの方式が考えられる。
【0047】
第1の方式では、ステップS503から所定の時間(例えば1秒)経過した後に握り拳が基点から所定の距離Lx以上移動していなかった場合、フォーカス移動制御部303は、ステップS503からの経過時間よりも上記所定の時間経過前に握り拳があったポイントを新たな基点にする。すなわち、ステップS503から経過した時間をT秒とし、上記所定の時間をT0秒とすると(T≧T0)、フォーカス移動制御部303は、ステップS503から(T−T0)秒経過したときに握り拳があったポイントを新たな基点にする。
【0048】
第2の方式では、ステップS503後、フォーカス移動制御部303は、時間経過とともに、一定の速さ(例えば0.002m/秒)で、基点が握り拳に近づく方向へ、X軸(第1の軸)に沿って基点を移動させる。従って、基点のY軸(第2の軸)の値は、本ステップS504前後で変わらないことになる。また、基点のX軸における値と、握り拳のX軸の値とが一致した場合は、フォーカス移動制御部303は、基点の移動を停止する。
【0049】
次いで、ステップS505において、フォーカス移動制御部303は、カメラ107を介して第2の手形状(図4(c)のサムアップサイン)が手形状認識部301により検出されるのを待つ。
【0050】
サムアップサインが手形状認識部301により検出され、フォーカス移動制御部303が、その検出されたことを示す信号(サムアップサインに対応する識別子及びサムアップサインの位置情報を含む)を受信すると(ステップS505のYES)、フォーカス移動制御部303は、選択された選択対象オブジェクトを実行対象として決定し(ステップS506)、本動作は終了する。
【0051】
一方、サムアップサインが手形状認識部301により検出されなければ(ステップS505のNO)、本動作は、ステップS502の処理に戻る。
【0052】
本動作において、ステップS504の第1の方式は、ステップS503から所定の時間経過後に握り拳が基点から所定の距離Lx以上移動していなかった場合に実行されるものとして説明した。しかしながら、実際には、ステップS504の第1の方式は、ステップS501から所定の時間経過後に握り拳が基点から所定の距離Lx以上移動していなかった場合にも実行されるものである。また、ステップS505は、ステップS504後に実行されるものとして説明したが、実際には、ステップS501で握り拳が検出された後のどのタイミングでも実行されるものである。
【0053】
図8は、本実施形態に係るフォーカス移動を伴う画面の遷移の一例を示している。図8の画面801〜804に示されるように、本例では、A〜Jで表された10個の選択対象オブジェクトが存在する。
【0054】
画面801に示される段階では、選択対象オブジェクトBにフォーカスが当てられている。
【0055】
次に、カメラ107(図1)を介して握り拳を手形状認識部301(図3)が検出し、さらに握り拳が右方向に所定の距離Lx以上移動されると(図5のステップS502のYES)、画面802に示されるように、選択対象オブジェクトCにフォーカスが移動する。
【0056】
同様に、握り拳が右方向に移動されていくと、画面803に示されるように、選択対象オブジェクトDにフォーカスが移動する。この時点で、基点の縦方向(Y軸方向)の値は、フォーカスが選択対象オブジェクトDに移動したときの値に再設定されている(図5のステップS503)。
【0057】
従って、次に握り拳が下方向に所定の距離Ly(図7(b)に示されている)以上移動されると(図5のステップS502のYES)、画面804に示されるように、選択対象オブジェクトIにフォーカスが移動することになる。
【0058】
このように、握り拳が上下左右いずれかの方向に所定の距離以上移動されることで、フォーカス移動制御部303(図3)が所定の距離以上したことを検出する。その結果、画面上で表示されている選択対象オブジェクトに関して、検出した方向に対応するフォーカスの移動が生じることになる。
【0059】
図9は、カメラ107を介して撮影された手形状(握り拳)が検出されたときの画面に表示されるユーザインターフェース(UI)900の一例を示している。
【0060】
カメラ107を介して握り拳が手形状認識部301(図3)により検出され、フォーカス移動制御部303(図3)が、その検出を示す信号を受信すると(図5のステップS501のYES)、図9に示されるように、その手形状に対応する握り拳のアイコンが表示される。このアイコンは、最初に表示されるときには、予め定められた選択対象オブジェクト(例えば、図8に示される画面の場合、選択対象オブジェクトA)上に重ねられて表示される。また、このアイコンは、図5に示したフローチャートに従って、選択対象オブジェクト間を移動する。なお、握り拳のアイコンの周囲に存在する矢印は、その方向にフォーカスを移動させることが可能であることを示している。従って、本例に示された手形状のアイコンを使用することで、認識対象オブジェクトである手形状の意図しない動き(ブレ)に反応することなく、選択対象オブジェクトにおけるスムーズなフォーカスの移動を実現することが可能となる。
【0061】
本実施形態によれば、手形状が所定の距離以上移動されたときに、新たな基点として、直前の基点から、手形状が移動した方向へ、所定の距離の1倍〜2倍のポイントに再設定することで、認識精度の悪さに起因するブレやユーザ自身の手のブレによるフォーカスの移動を抑制することができる(図5のステップS503による)。
【0062】
また、本実施形態によれば、ユーザの意図する方向へのフォーカスの移動に際して、実際には上下方向にも少々動いていたとしても、ユーザが意図しない別軸方向へのフォーカスの移動を抑制することができる(図5のステップS503による)。
【0063】
また、本実施形態によれば、ユーザが意図せず手がゆっくり動いたとしても、フォーカスの移動を抑制することができる(図5のステップS504による)。
【0064】
(応用形態)
以下では、前述した実施形態を応用した形態について、図面を参照しながら説明する。
【0065】
図10は、所定のアプリケーション(本形態では、AVアプリケーション)を実行するときに、カメラ107を介して撮影された所定の手形状(本形態では、握り拳)が手形状認識部301(図3)により検出され、フォーカス移動制御部303(図3)がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)のUI1000の一例を示している。なお、図10に示したUI1000では、1×6のマトリクス状のボタンが配置されているが、表示されるUIでは、N×M(N、M;自然数)の二次元マトリクス状のボタンが配置され得る。
【0066】
上記に関連して、図13は、握り拳が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)、操作対象のアプリケーションに応じて表示される既定のUIの例を示している。
【0067】
ここで、図13(a)は、DVDやCD視聴等のAVアプリケーションで表示されるUI1301を示す図であり、(b)はテレビ視聴アプリケーションで表示されるUI1302を示す図である。例えばマイクロソフト社のWindows(登録商標) OSシリーズでは、これらアプリケーションと、表示される対応UIとは、関連付けられて、例えばレジストリに予め格納されている。
【0068】
次に、図10に示したUI1000に対して、所定の手形状(握り拳)が移動されたときの、選択対象オブジェクト(ボタン)におけるフォーカスの移動する様子を図11に示す。
【0069】
図11(a)は、AVアプリケーションを実行するときに、カメラ107を介して撮影された握り拳が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)のUI1101である。この段階では、メディアが再生され、左から4番目の一時停止ボタンにフォーカスが当てられている。
【0070】
次に検出された握り拳が右方向に移動され、その移動距離が所定の距離以上になると(図5のステップS502のYES)、図11(b)に示されるように、フォーカスも右に1個分移動されて、DVDタイトルにおけるチャプタやCD音楽における曲を1つだけ先に進めるボタンにフォーカスが当てられる。
【0071】
同様に、検出された握り拳が右方向に移動されると、図11(b)に示されるように、フォーカスも右に1個分移動されて、早送りボタンにフォーカスが当てられる。
【0072】
図12は、検出される手形状が、第1の手形状(握り拳)から第2の手形状(サムアップサイン)に変化したときに、図10に示したUI1000が変化する様子を示している。
【0073】
図12(a)は、AVアプリケーションを実行するときに、カメラ107を介して撮影された握り拳が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)のUI1201である。この段階では、メディアが再生され、左から4番目の一時停止ボタンにフォーカスが当てられている。
【0074】
ここで、カメラ107を介して第2の手形状(サムアップサイン)が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を受信したと仮定する(図5のステップS505のYES)。すると、図3のフォーカス移動制御部303は、実行対象を、フォーカスの当てられた一時停止ボタンに決定する。次いで、そのフォーカスの当てられた一時停止ボタン(図12のUI1202の斜線部分)は、その色が変更されたり、そのサイズが大きくなったりして、実行対象として決定されたことが示される。その決定に応じて、CPU201(図2)は、メディアの再生を一時停止する。その後、一時停止ボタンが存在した位置にあるボタンが、一時停止を解除して再度再生するボタン(不図示)に切り替わり、そのボタンにフォーカスが当てられた状態のUIが表示される。
【0075】
また、上述したUI1000等は、手形状データベース302に予め格納されている手形状を検出しなくなってから、所定の時間(例えば1秒)経過後に画面上から消える。
【0076】
本形態によれば、操作対象アプリケーションと、表示される対応UIとは、関連付けられているので、ユーザが意図する操作を迅速に行うことができる。
【0077】
また、本形態によれば、認識対象の手形状が所定の時間経過するまで消えることがないので、例えば手形状の誤検出によりユーザが出している手形状の検出が少しの時間途切れても、継続してUIを操作することができる。
【0078】
また、本形態によれば、認識対象の手形状が所定の時間経過するまで消えることがないので、例えばユーザが手を伸ばしきってそれ以上フォーカスを移動させることができない場合でも、手を迅速に余裕のある位置に戻すことで、継続してUIを操作することができる。
【0079】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態そのままに限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【0080】
例えば、本発明は、本実施形態で説明したノートブック型パーソナルコンピュータの他にも、デスクトップ型パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA)、ゲーム機、テレビ等の様々な情報処理装置に適用することができる。
【0081】
また、前述した実施形態において記載した処理は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、又は通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0082】
以上、本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス制御移動方法及びフォーカス移動制御プログラムを提供することができる。
【符号の説明】
【0083】
100 コンピュータ
101 本体ユニット
102 ディスプレイユニット
103 LCD
104 電源ボタン
105 キーボード
106 タッチパッド
107 カメラ
201 CPU
202 メインメモリ
203 ノースブリッジ
206 サウスブリッジ
210 HDD
211 ODD
212 BIOS−ROM
213 EC/KBC
230 BIOS
301 手形状認識部
302 手形状データベース
303 フォーカス移動制御部
【技術分野】
【0001】
本発明は一般に、情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムに関する。より詳細には、本発明は、ユーザのジェスチャを認識し、認識されたジェスチャに基づく制御を行う情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムに関する。
【背景技術】
【0002】
従来、テレビやパーソナルコンピュータ(PC)等の情報処理装置をユーザのジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボード又はリモートコントローラといった入力装置を使用せずに、情報処理装置を遠隔操作することができる。
【0003】
例えば、カメラによる撮影領域内に設定された認識領域における認識対象オブジェクトの動きを検出し、検出した情報に基づいて認識対象オブジェクトの動きのカテゴリを決定し、カテゴリに対応したコマンドを実行する技術が提案されている(特許文献1参照)。
【0004】
また、ユーザの特定の手形状を移動することにより、カメラを用いて撮影されたその特定の手形状に対応させてカーソルを表示画面上で移動させ、その表示画面上に表示された仮想ボタンを選択する技術が提案されている(特許文献2及び3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−34525号公報
【特許文献2】特開平8−44490号公報
【特許文献3】特開2004−78977号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した技術では、カメラにより撮影されたユーザのジェスチャが認識される必要があるが、認識精度の悪さに起因してジェスチャによるポインティング(表示画面上のカーソル)にブレが生じ、そのブレがユーザにとって煩わしく感じられる原因となり得る。
【0007】
本発明は、上述の事情を鑑みてなされたものであり、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述の課題を解決するため、本発明の一態様によれば、ディスプレイを有する情報処理装置であって、前記情報処理装置に接続されたカメラと、1つ又は複数の手形状を記憶した記憶手段と、前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、前記手形状認識部により、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御部とを具備し、前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動する情報処理装置が提供される。
【0009】
また、本発明の他の態様によれば、ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置において、前記ディスプレイに表示される複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御方法であって、前記情報処理装置に接続されたカメラを介して画像を取得し、前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出し、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記複数の選択対象オブジェクトに対してフォーカスを移動し、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動するフォーカス移動制御方法が提供される。
【0010】
さらに、本発明の別の態様によれば、ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置に、前記情報処理装置に接続されたカメラを介して画像を取得する手順と、前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出する手順と、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御する手順とを実行させ、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動するフォーカス移動制御プログラムが提供される。
【発明の効果】
【0011】
本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る情報処理装置を示す斜視図。
【図2】図1の情報処理装置のシステム構成を示すブロック図。
【図3】図1の情報処理装置のシステム構成の一部をより詳細に示すブロック図。
【図4】本実施形態において用いられる手形状の例を示す図。
【図5】図1の情報処理装置における、図3のフォーカス移動制御部の動作の一例を示すフローチャート。
【図6】図5のフローチャートにおいて、(a)は第1の手形状が基点に対して所定の距離以上移動していない場合を説明する図、(b)は第1の手形状が基点に対して所定の距離以上移動している場合を説明する図。
【図7】図5のフローチャートにおいて、(a)は第1の軸方向における基点の再設定を説明する図、(b)は第2の軸方向における基点の再設定を説明する図。
【図8】本実施形態に係るフォーカス移動を伴う画面の遷移の一例を示す図。
【図9】カメラを介して撮影された手形状が検出されたときの画面に表示されるユーザインターフェース(UI)の一例を示す図。
【図10】所定のアプリケーションを実行するときに、カメラ107を介して撮影された所定の手形状が図3の手形状認識部により検出され、図3のフォーカス移動制御部がその検出を示す信号を最初に受信したときのUIの一例を示す図。
【図11】所定の手形状が移動されたときの、選択対象オブジェクト(ボタン)におけるフォーカスの移動する様子を示す図。
【図12】検出される手形状が、第1の手形状から第2の手形状に変化したときに、図10に示したUIが変化する様子を示す図。
【図13】所定の手形状が図3の手形状認識部により検出され、図3のフォーカス移動制御部がその検出を示す信号を最初に受信したとき、操作対象のアプリケーションに応じて表示される既定のUIの例を示す図であり、(a)はDVD視聴等のAVアプリケーションで表示されるUIを示す図、(b)はテレビ視聴アプリケーションで表示されるUIを示す図。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら、本発明の実施形態について説明する。
【0014】
まず、図1及び図2を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えばバッテリ駆動可能なノートブック型パーソナルコンピュータ100(以下、コンピュータ100と省略する)として実現される。
【0015】
図1は、ディスプレイユニットを開いた状態におけるコンピュータ100の斜視図である。コンピュータ100は、本体ユニット101とディスプレイユニット102とから構成される。
【0016】
ディスプレイユニット102には、LCD(Liquid Crystal Display)103から構成される表示装置が組み込まれている。LCD103の表示部は、ディスプレイユニット102のほぼ中央に配置されている。LCD103の表示部の上側中央部には、カメラ107が設けられている。
【0017】
ディスプレイユニット102は、本体ユニット101に支持されており、本体ユニット101の上面が露出される開放位置と本体ユニット101の上面を覆う閉塞位置との間を本体ユニット101に対して回動自在に取り付けられている。
【0018】
本体ユニット101は、薄い箱形の筐体を有しており、本体ユニット101の上面には、コンピュータ100をパワーオン/オフするための電源ボタン104、キーボード105、及びタッチパッド106等が配置されている。
【0019】
図2は、コンピュータ100のシステム構成を示すブロック図である。
【0020】
図2に示されるように、コンピュータ100は、CPU201、メインメモリ202、ノースブリッジ203、グラフィクスコントローラ204、LCD103、VRAM205、サウスブリッジ206、USBコントローラ207、IDEコントローラ208、カメラ107、USBデバイス209、ハードディスクドライブ(HDD)210、光ディスクドライブ(ODD)211、BIOS−ROM212、電源ボタン104、キーボード105、タッチパッド106、組み込みコントローラ/キーボードコントローラ(EC/KBC)213、電源回路221、バッテリ222、及びACアダプタ223等を備えている。
【0021】
CPU201は、コンピュータ100の動作全般を制御するプロセッサである。CPU201は、メインメモリ202にロードされたOS及び各種アプリケーションプログラムを実行する。このOS及び各種アプリケーションプログラムは、HDD210に搭載される磁気ディスク記憶媒体(ハードディスク)等に記憶されており、こうした記憶媒体からメインメモリ202にロードされる。
【0022】
また、CPU201は、BIOS−ROM212に格納されたBIOSプログラム230(以下、BIOSと呼ぶ)も実行する。BIOS−ROM212は、プログラム書き換え可能なように、フラッシュEEPROMのような不揮発性メモリの形態をとる。
【0023】
BIOS230は、コンピュータ100の各種ハードウェアコンポーネントを制御するプログラムであり、コンピュータ100の起動時に、BIOS−ROM212から読み出される。
【0024】
ノースブリッジ203は、CPU201のローカルバスと、サウスブリッジ206とを接続するブリッジデバイスである。ノースブリッジ203は、メインメモリ202をアクセス制御するメモリコントローラを備えている。また、ノースブリッジ203は、AGP(Accelerated Graphics Port)バス等を介してグラフィクスコントローラ204と通信する機能を有する。
【0025】
グラフィクスコントローラ204は、コンピュータ100のディスプレイモニタとして使用されるLCD103を制御するコントローラである。このグラフィクスコントローラ204は、OS又はアプリケーションプログラムによってVRAM205に書き込まれた表示データに対応する映像信号を、LCD103に出力する。
【0026】
サウスブリッジ206は、LPC(Low Pin Count)バス及びPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ206は、カメラ107及びUSBデバイス209を制御するためのUSBコントローラ207と、HDD210及びODD211を制御するためのIDEコントローラ208とを内蔵している。
【0027】
カメラ107は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサにより構成されている。このカメラ107は、コンピュータ100の周辺の画像(動画像)を取り込んで、その画像を後述する手形状認識部301に供給する。また、カメラ107によって撮影された画像(動画像)は、コンピュータ100のディスプレイモニタに表示することができる。カメラ107によって供給される画像のフレームレートは、例えば30フレーム/秒である。本実施形態では、カメラ107は、USB規格に準拠したUSBデバイスであると想定している。なお、カメラ107は、外付け型であってもよいし、内蔵型であってもよい。
【0028】
HDD210は、ハードディスクコントローラ及び磁気ディスク記憶媒体を有する記憶装置である。この磁気ディスク記憶媒体には、OSを含む各種ソフトウェア及び各種データが格納される。ODD211は、DVDタイトルのようなビデオコンテンツが格納されたDVDや音楽データが格納されたCDなどの記憶媒体を駆動するためのドライブユニットである。
【0029】
EC/KBC213は、電力管理のための組み込みコントローラ(EC)と、キーボード105及びタッチパッド106を制御するためのキーボードコントローラ(KBC)とが集積された1チップマイクロコンピュータである。EC/KBC213は、コンピュータ100の電源がオンされているかオフされているかに関わらず、電源回路221からの電力によって常時電源がオンされている。このEC/KBC213は、ユーザによる電源ボタン104の操作に応答して、電源回路221と協働してコンピュータ100の電源をオン/オフする。
【0030】
電源回路221は、EC/KBC213の制御の下、本体ユニット101内に設けられたバッテリ222からの電力、又はACアダプタ223を介して供給される外部電源からの電力を用いて、コンピュータ100における各デバイスに電力を供給する。
【0031】
図3は、コンピュータ100の構成の一部を、より詳細に示すブロック図である。
【0032】
図3に示されるように、カメラ107によって撮影された画像は、手形状認識部301に供給される。
【0033】
手形状認識部301は、カメラ107から供給された画像が手形状データベース302に予め格納(登録)されている手形状のうちのいずれか1つと一致する手形状を含んでいるか否かを判定する。例えば、手形状認識部302は、カメラ107から供給される画像内から、手形状データベース302に予め格納されている手形状のうちの1つを検索する。
【0034】
手形状データベース302には、図4に示されるように、握り拳(5本の指を曲げた状態(図4(a)))、平手(5本の指を伸ばした状態(図4(b)))、及びサムアップサイン(親指のみ伸ばし、他の4本の指は曲げた状態(図4(c)))等の手形状が、対応する識別子と関連付けられて予め格納されている。
【0035】
ここで、第1の手形状(本実施形態では、図4(a)の握り拳)は、ディスプレイモニタに表示されて、十字キーによって選択可能なアイコン(以下、選択対象オブジェクトと呼ぶ)を選択するために使用されるものである。また、第2の手形状(本実施形態では、図4(c)のサムアップサイン)は、選択された選択対象オブジェクトを実行対象として決定するために使用されるものである。
【0036】
手形状認識部301はさらに、時間の経過や手形状の動きに基づいて基点位置が変わる相対座標方式の二次元座標系を用いて、手形状の位置情報(座標)を算出する。本実施形態では、手形状認識部301は、手形状に外接する矩形領域の中心を、相対座標方式の座標系における手形状の位置情報(X,Y)として用いる。なお、手形状の位置情報は、上記手形状に外接する矩形領域の中心とすることに限定されず、例えば、手形状の重心の座標としてもよい。
【0037】
フォーカス移動制御部303は、手形状認識部301により検出された手形状の識別子と、その手形状の位置情報とを、手形状認識部301から受信する。また、フォーカス移動制御部303は、カメラによって撮影された手形状の動きに応じて、選択対象オブジェクトを選択したり、選択された選択対象オブジェクトを実行対象として決定したりする。フォーカス移動制御部303の動作については、図5〜図8を参照して以下で詳述する。
【0038】
本実施形態では、手形状認識部301は、専用のハードウェアエンジン(LSI;不図示)で実現され、フォーカス移動制御部303は、CPU201(図2)により実行されるソフトウェアで実現される。しかしながら、手形状認識部301及びフォーカス移動制御部303は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、上記ソフトウェア及び手形状データベース302は例えば、HDD210(図2)に格納されている。
【0039】
次に、図5〜図7を参照しながら、フォーカス移動制御部303の動作を説明する。図5は、コンピュータ100におけるフォーカス移動制御部303の動作の一例を示すフローチャートである。ここで、手形状は相対座標方式の二次元座標系の座標によりその位置が特定される。すなわち、手形状は、横方向(X軸方向;第1の軸方向)及び縦方向(Y軸方向;第2の軸方向)からなる二次元空間上で移動するものであるが、本例では、特に言及しない限り、横方向(X軸方向)の動きに対する動作のみに着目している。
【0040】
まず、ステップS501において、フォーカス移動制御部303は、カメラ107を介して第1の手形状(図4(a)の握り拳)が手形状認識部301により検出されるのを待つ。
【0041】
握り拳が手形状認識部301により検出され、フォーカス移動制御部303が、その検出されたことを示す信号(握り拳に対応する識別子及び握り拳の位置情報を含む)を受信すると(ステップS501のYES)、フォーカス移動制御部303は、手形状が二次元座標系の基点に対して所定の距離Lx(例えば0.05m)以上移動したか否かを判定する(ステップS502)。なお、以下では、特に言及しない限り、握り拳が手形状認識部301により継続的に検出されているものと仮定している。
【0042】
握り拳が基点に対して所定の距離Lx以上移動していなければ(ステップS502のNO)、本動作は、再度ステップS502の処理に戻る。一方、握り拳が基点に対して所定の距離Lx以上移動していれば(ステップS502のYES)、フォーカス移動制御部303は、基点の再設定を行う(ステップS503)。握り拳が基点に対して所定の距離Lx以上移動していない場合を図6(a)に示し、握り拳が基点に対して所定の距離Lx以上移動している場合を図6(b)に示している。
【0043】
ここで、ステップS503の基点の再設定について、図7を参照しながら説明する。
【0044】
図7(a)は、握り拳がX軸(第1の軸)方向において所定の距離Lx以上移動した場合のX軸における基点の再設定の状況を模式的に示している。この場合、フォーカス移動制御部303は、新たなX軸方向の基点として、握り拳がX軸において所定の距離Lx以上移動する直前のポイントから、握り拳がX軸において移動した方向へ第2の所定の距離だけ離れたポイントに再設定する。第2の所定の距離は、1×Lx以上2×Lx以下と設定することが好ましく、本実施形態では、1.8×Lxとしている。
【0045】
これに対して、図7(b)は、握り拳がX軸方向において所定の距離Lx以上移動した場合のY軸(第2の軸)における基点の再設定の状況を模式的に示している。この場合、フォーカス移動制御部303は、新たなY軸方向の基点として、握り拳がX軸において所定の距離Lx以上移動する直前のポイントから、握り拳がX軸方向において所定の距離Lx以上移動したことが検出された時点におけるポイントに再設定する。
【0046】
図5に戻ると、次いで、フォーカス移動制御部303は、時間の経過に応じて、基点を移動させる(ステップS504)。この基点の移動は、以下のような2つの方式が考えられる。
【0047】
第1の方式では、ステップS503から所定の時間(例えば1秒)経過した後に握り拳が基点から所定の距離Lx以上移動していなかった場合、フォーカス移動制御部303は、ステップS503からの経過時間よりも上記所定の時間経過前に握り拳があったポイントを新たな基点にする。すなわち、ステップS503から経過した時間をT秒とし、上記所定の時間をT0秒とすると(T≧T0)、フォーカス移動制御部303は、ステップS503から(T−T0)秒経過したときに握り拳があったポイントを新たな基点にする。
【0048】
第2の方式では、ステップS503後、フォーカス移動制御部303は、時間経過とともに、一定の速さ(例えば0.002m/秒)で、基点が握り拳に近づく方向へ、X軸(第1の軸)に沿って基点を移動させる。従って、基点のY軸(第2の軸)の値は、本ステップS504前後で変わらないことになる。また、基点のX軸における値と、握り拳のX軸の値とが一致した場合は、フォーカス移動制御部303は、基点の移動を停止する。
【0049】
次いで、ステップS505において、フォーカス移動制御部303は、カメラ107を介して第2の手形状(図4(c)のサムアップサイン)が手形状認識部301により検出されるのを待つ。
【0050】
サムアップサインが手形状認識部301により検出され、フォーカス移動制御部303が、その検出されたことを示す信号(サムアップサインに対応する識別子及びサムアップサインの位置情報を含む)を受信すると(ステップS505のYES)、フォーカス移動制御部303は、選択された選択対象オブジェクトを実行対象として決定し(ステップS506)、本動作は終了する。
【0051】
一方、サムアップサインが手形状認識部301により検出されなければ(ステップS505のNO)、本動作は、ステップS502の処理に戻る。
【0052】
本動作において、ステップS504の第1の方式は、ステップS503から所定の時間経過後に握り拳が基点から所定の距離Lx以上移動していなかった場合に実行されるものとして説明した。しかしながら、実際には、ステップS504の第1の方式は、ステップS501から所定の時間経過後に握り拳が基点から所定の距離Lx以上移動していなかった場合にも実行されるものである。また、ステップS505は、ステップS504後に実行されるものとして説明したが、実際には、ステップS501で握り拳が検出された後のどのタイミングでも実行されるものである。
【0053】
図8は、本実施形態に係るフォーカス移動を伴う画面の遷移の一例を示している。図8の画面801〜804に示されるように、本例では、A〜Jで表された10個の選択対象オブジェクトが存在する。
【0054】
画面801に示される段階では、選択対象オブジェクトBにフォーカスが当てられている。
【0055】
次に、カメラ107(図1)を介して握り拳を手形状認識部301(図3)が検出し、さらに握り拳が右方向に所定の距離Lx以上移動されると(図5のステップS502のYES)、画面802に示されるように、選択対象オブジェクトCにフォーカスが移動する。
【0056】
同様に、握り拳が右方向に移動されていくと、画面803に示されるように、選択対象オブジェクトDにフォーカスが移動する。この時点で、基点の縦方向(Y軸方向)の値は、フォーカスが選択対象オブジェクトDに移動したときの値に再設定されている(図5のステップS503)。
【0057】
従って、次に握り拳が下方向に所定の距離Ly(図7(b)に示されている)以上移動されると(図5のステップS502のYES)、画面804に示されるように、選択対象オブジェクトIにフォーカスが移動することになる。
【0058】
このように、握り拳が上下左右いずれかの方向に所定の距離以上移動されることで、フォーカス移動制御部303(図3)が所定の距離以上したことを検出する。その結果、画面上で表示されている選択対象オブジェクトに関して、検出した方向に対応するフォーカスの移動が生じることになる。
【0059】
図9は、カメラ107を介して撮影された手形状(握り拳)が検出されたときの画面に表示されるユーザインターフェース(UI)900の一例を示している。
【0060】
カメラ107を介して握り拳が手形状認識部301(図3)により検出され、フォーカス移動制御部303(図3)が、その検出を示す信号を受信すると(図5のステップS501のYES)、図9に示されるように、その手形状に対応する握り拳のアイコンが表示される。このアイコンは、最初に表示されるときには、予め定められた選択対象オブジェクト(例えば、図8に示される画面の場合、選択対象オブジェクトA)上に重ねられて表示される。また、このアイコンは、図5に示したフローチャートに従って、選択対象オブジェクト間を移動する。なお、握り拳のアイコンの周囲に存在する矢印は、その方向にフォーカスを移動させることが可能であることを示している。従って、本例に示された手形状のアイコンを使用することで、認識対象オブジェクトである手形状の意図しない動き(ブレ)に反応することなく、選択対象オブジェクトにおけるスムーズなフォーカスの移動を実現することが可能となる。
【0061】
本実施形態によれば、手形状が所定の距離以上移動されたときに、新たな基点として、直前の基点から、手形状が移動した方向へ、所定の距離の1倍〜2倍のポイントに再設定することで、認識精度の悪さに起因するブレやユーザ自身の手のブレによるフォーカスの移動を抑制することができる(図5のステップS503による)。
【0062】
また、本実施形態によれば、ユーザの意図する方向へのフォーカスの移動に際して、実際には上下方向にも少々動いていたとしても、ユーザが意図しない別軸方向へのフォーカスの移動を抑制することができる(図5のステップS503による)。
【0063】
また、本実施形態によれば、ユーザが意図せず手がゆっくり動いたとしても、フォーカスの移動を抑制することができる(図5のステップS504による)。
【0064】
(応用形態)
以下では、前述した実施形態を応用した形態について、図面を参照しながら説明する。
【0065】
図10は、所定のアプリケーション(本形態では、AVアプリケーション)を実行するときに、カメラ107を介して撮影された所定の手形状(本形態では、握り拳)が手形状認識部301(図3)により検出され、フォーカス移動制御部303(図3)がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)のUI1000の一例を示している。なお、図10に示したUI1000では、1×6のマトリクス状のボタンが配置されているが、表示されるUIでは、N×M(N、M;自然数)の二次元マトリクス状のボタンが配置され得る。
【0066】
上記に関連して、図13は、握り拳が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)、操作対象のアプリケーションに応じて表示される既定のUIの例を示している。
【0067】
ここで、図13(a)は、DVDやCD視聴等のAVアプリケーションで表示されるUI1301を示す図であり、(b)はテレビ視聴アプリケーションで表示されるUI1302を示す図である。例えばマイクロソフト社のWindows(登録商標) OSシリーズでは、これらアプリケーションと、表示される対応UIとは、関連付けられて、例えばレジストリに予め格納されている。
【0068】
次に、図10に示したUI1000に対して、所定の手形状(握り拳)が移動されたときの、選択対象オブジェクト(ボタン)におけるフォーカスの移動する様子を図11に示す。
【0069】
図11(a)は、AVアプリケーションを実行するときに、カメラ107を介して撮影された握り拳が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)のUI1101である。この段階では、メディアが再生され、左から4番目の一時停止ボタンにフォーカスが当てられている。
【0070】
次に検出された握り拳が右方向に移動され、その移動距離が所定の距離以上になると(図5のステップS502のYES)、図11(b)に示されるように、フォーカスも右に1個分移動されて、DVDタイトルにおけるチャプタやCD音楽における曲を1つだけ先に進めるボタンにフォーカスが当てられる。
【0071】
同様に、検出された握り拳が右方向に移動されると、図11(b)に示されるように、フォーカスも右に1個分移動されて、早送りボタンにフォーカスが当てられる。
【0072】
図12は、検出される手形状が、第1の手形状(握り拳)から第2の手形状(サムアップサイン)に変化したときに、図10に示したUI1000が変化する様子を示している。
【0073】
図12(a)は、AVアプリケーションを実行するときに、カメラ107を介して撮影された握り拳が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を最初に受信したとき(図5のステップS501のYES)のUI1201である。この段階では、メディアが再生され、左から4番目の一時停止ボタンにフォーカスが当てられている。
【0074】
ここで、カメラ107を介して第2の手形状(サムアップサイン)が図3の手形状認識部301により検出され、図3のフォーカス移動制御部303がその検出を示す信号を受信したと仮定する(図5のステップS505のYES)。すると、図3のフォーカス移動制御部303は、実行対象を、フォーカスの当てられた一時停止ボタンに決定する。次いで、そのフォーカスの当てられた一時停止ボタン(図12のUI1202の斜線部分)は、その色が変更されたり、そのサイズが大きくなったりして、実行対象として決定されたことが示される。その決定に応じて、CPU201(図2)は、メディアの再生を一時停止する。その後、一時停止ボタンが存在した位置にあるボタンが、一時停止を解除して再度再生するボタン(不図示)に切り替わり、そのボタンにフォーカスが当てられた状態のUIが表示される。
【0075】
また、上述したUI1000等は、手形状データベース302に予め格納されている手形状を検出しなくなってから、所定の時間(例えば1秒)経過後に画面上から消える。
【0076】
本形態によれば、操作対象アプリケーションと、表示される対応UIとは、関連付けられているので、ユーザが意図する操作を迅速に行うことができる。
【0077】
また、本形態によれば、認識対象の手形状が所定の時間経過するまで消えることがないので、例えば手形状の誤検出によりユーザが出している手形状の検出が少しの時間途切れても、継続してUIを操作することができる。
【0078】
また、本形態によれば、認識対象の手形状が所定の時間経過するまで消えることがないので、例えばユーザが手を伸ばしきってそれ以上フォーカスを移動させることができない場合でも、手を迅速に余裕のある位置に戻すことで、継続してUIを操作することができる。
【0079】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態そのままに限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【0080】
例えば、本発明は、本実施形態で説明したノートブック型パーソナルコンピュータの他にも、デスクトップ型パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA)、ゲーム機、テレビ等の様々な情報処理装置に適用することができる。
【0081】
また、前述した実施形態において記載した処理は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、又は通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0082】
以上、本発明によれば、カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作をスムーズに行うことが可能な情報処理装置、フォーカス制御移動方法及びフォーカス移動制御プログラムを提供することができる。
【符号の説明】
【0083】
100 コンピュータ
101 本体ユニット
102 ディスプレイユニット
103 LCD
104 電源ボタン
105 キーボード
106 タッチパッド
107 カメラ
201 CPU
202 メインメモリ
203 ノースブリッジ
206 サウスブリッジ
210 HDD
211 ODD
212 BIOS−ROM
213 EC/KBC
230 BIOS
301 手形状認識部
302 手形状データベース
303 フォーカス移動制御部
【特許請求の範囲】
【請求項1】
ディスプレイを有する情報処理装置であって、
前記情報処理装置に接続されたカメラと、
1つ又は複数の手形状を記憶した記憶手段と、
前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、
前記手形状認識部により、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御部と
を具備し、
前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする情報処理装置。
【請求項2】
前記手形状認識部により最初に検出された前記第1の手形状の位置を第1基点として、前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第1の手形状が前記第1基点を中心として前記所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記フォーカス移動制御部は、前記第1基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、第2基点として再設定することを特徴とする請求項2記載の情報処理装置。
【請求項4】
前記フォーカスを移動した後、前記フォーカス移動制御部は、前記第1の手形状が前記所定の距離以上移動する直前の前記基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、新たな基点として再設定することを特徴とする請求項1記載の情報処理装置。
【請求項5】
前記手形状認識部により、前記記憶手段に記憶された1つ又は複数の手形状と一致する第2の手形状であって、前記第1の手形状とは異なる第2の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記フォーカス移動制御部は、前記第2の手形状が検出されたときに選択されていた前記複数の選択対象オブジェクトうちの1つを実行対象として決定することを特徴とする請求項1乃至4いずれか1項記載の情報処理装置。
【請求項6】
前記フォーカス移動制御部は、前記第2基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記第2基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記第2基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項3記載の情報処理装置。
【請求項7】
前記フォーカス移動制御部は、前記新たな基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記新たな基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記新たな基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項4記載の情報処理装置。
【請求項8】
前記手形状認識部により前記第1の手形状が最初に検出されたときに、対象とするアプリケーションと関連付けられた、対応するユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項1記載の情報処理装置。
【請求項9】
前記第1の手形状が前記手形状認識部により検出されなくなってから第2の所定の時間経過した後、前記ユーザインターフェースが前記ディスプレイに表示されなくなることを特徴とする請求項8記載の情報処理装置。
【請求項10】
前記手形状認識部により前記第1の手形状が最初に検出されたときに、前記第1の手形状が検出されたことを示すアイコンが、予め定められた前記複数の選択対象オブジェクトのうちの1つに重ねられて前記ディスプレイに表示されることを特徴とする請求項1記載の情報処理装置。
【請求項11】
ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置において、前記ディスプレイに表示される複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御方法であって、
前記情報処理装置に接続されたカメラを介して画像を取得し、
前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出し、
前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記複数の選択対象オブジェクトに対してフォーカスを移動し、
前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とするフォーカス移動制御方法。
【請求項12】
前記手形状認識部により最初に検出された前記第1の手形状の位置を第1基点として、前記画像内の横軸又は縦軸方向において前記第1の手形状が前記第1基点を中心として前記所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする請求項11記載のフォーカス移動制御方法。
【請求項13】
前記第1基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、第2基点として再設定することを特徴とする請求項12記載のフォーカス移動制御方法。
【請求項14】
前記フォーカスを移動した後、前記第1の手形状が前記所定の距離以上移動する直前の前記基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、新たな基点として再設定することを特徴とする請求項11記載のフォーカス移動制御方法。
【請求項15】
前記記憶手段に記憶された1つ又は複数の手形状と一致する第2の手形状であって、前記第1の手形状とは異なる第2の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第2の手形状が検出されたときに選択されていた前記複数の選択対象オブジェクトうちの1つを実行対象として決定することを特徴とする請求項11乃至14いずれか1項記載のフォーカス移動制御方法。
【請求項16】
前記第2基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記第2基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記第2基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項13記載のフォーカス移動制御方法。
【請求項17】
前記新たな基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記新たな基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記新たな基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項14記載のフォーカス移動制御方法。
【請求項18】
前記第1の手形状が最初に検出されたときに、対象とするアプリケーションと関連付けられた、対応するユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項11記載のフォーカス移動制御方法。
【請求項19】
ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置に、
前記情報処理装置に接続されたカメラを介して画像を取得する手順と、
前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出する手順と、
前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御する手順と
を実行させ、
前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とするフォーカス移動制御プログラム。
【請求項1】
ディスプレイを有する情報処理装置であって、
前記情報処理装置に接続されたカメラと、
1つ又は複数の手形状を記憶した記憶手段と、
前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された画像内に含まれているか否かを検出する手形状認識部と、
前記手形状認識部により、前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御部と
を具備し、
前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする情報処理装置。
【請求項2】
前記手形状認識部により最初に検出された前記第1の手形状の位置を第1基点として、前記フォーカス移動制御部は、前記画像内の横軸又は縦軸方向において前記第1の手形状が前記第1基点を中心として前記所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記フォーカス移動制御部は、前記第1基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、第2基点として再設定することを特徴とする請求項2記載の情報処理装置。
【請求項4】
前記フォーカスを移動した後、前記フォーカス移動制御部は、前記第1の手形状が前記所定の距離以上移動する直前の前記基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、新たな基点として再設定することを特徴とする請求項1記載の情報処理装置。
【請求項5】
前記手形状認識部により、前記記憶手段に記憶された1つ又は複数の手形状と一致する第2の手形状であって、前記第1の手形状とは異なる第2の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記フォーカス移動制御部は、前記第2の手形状が検出されたときに選択されていた前記複数の選択対象オブジェクトうちの1つを実行対象として決定することを特徴とする請求項1乃至4いずれか1項記載の情報処理装置。
【請求項6】
前記フォーカス移動制御部は、前記第2基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記第2基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記第2基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項3記載の情報処理装置。
【請求項7】
前記フォーカス移動制御部は、前記新たな基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記新たな基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記新たな基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項4記載の情報処理装置。
【請求項8】
前記手形状認識部により前記第1の手形状が最初に検出されたときに、対象とするアプリケーションと関連付けられた、対応するユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項1記載の情報処理装置。
【請求項9】
前記第1の手形状が前記手形状認識部により検出されなくなってから第2の所定の時間経過した後、前記ユーザインターフェースが前記ディスプレイに表示されなくなることを特徴とする請求項8記載の情報処理装置。
【請求項10】
前記手形状認識部により前記第1の手形状が最初に検出されたときに、前記第1の手形状が検出されたことを示すアイコンが、予め定められた前記複数の選択対象オブジェクトのうちの1つに重ねられて前記ディスプレイに表示されることを特徴とする請求項1記載の情報処理装置。
【請求項11】
ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置において、前記ディスプレイに表示される複数の選択対象オブジェクトに対するフォーカスの移動を制御するフォーカス移動制御方法であって、
前記情報処理装置に接続されたカメラを介して画像を取得し、
前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出し、
前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記複数の選択対象オブジェクトに対してフォーカスを移動し、
前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とするフォーカス移動制御方法。
【請求項12】
前記手形状認識部により最初に検出された前記第1の手形状の位置を第1基点として、前記画像内の横軸又は縦軸方向において前記第1の手形状が前記第1基点を中心として前記所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とする請求項11記載のフォーカス移動制御方法。
【請求項13】
前記第1基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、第2基点として再設定することを特徴とする請求項12記載のフォーカス移動制御方法。
【請求項14】
前記フォーカスを移動した後、前記第1の手形状が前記所定の距離以上移動する直前の前記基点の位置から、前記フォーカスを移動した方向に対して前記所定の距離の1倍乃至2倍移動させ、かつ前記フォーカスを移動した方向と直角の方向に対して、前記フォーカスを移動したときの前記第1の手形状のポイントに移動させた位置を、新たな基点として再設定することを特徴とする請求項11記載のフォーカス移動制御方法。
【請求項15】
前記記憶手段に記憶された1つ又は複数の手形状と一致する第2の手形状であって、前記第1の手形状とは異なる第2の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第2の手形状が検出されたときに選択されていた前記複数の選択対象オブジェクトうちの1つを実行対象として決定することを特徴とする請求項11乃至14いずれか1項記載のフォーカス移動制御方法。
【請求項16】
前記第2基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記第2基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記第2基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項13記載のフォーカス移動制御方法。
【請求項17】
前記新たな基点が再設定された後、第1の所定の時間経過後に前記第1の手形状が前記新たな基点から前記所定の距離以上移動していなかった場合、基点の位置を、前記新たな基点が再設定された後に経過した時間よりも前記第1の所定の時間経過前における前記第1の手形状の位置に移動させることを特徴とする請求項14記載のフォーカス移動制御方法。
【請求項18】
前記第1の手形状が最初に検出されたときに、対象とするアプリケーションと関連付けられた、対応するユーザインターフェースが前記ディスプレイに表示されることを特徴とする請求項11記載のフォーカス移動制御方法。
【請求項19】
ディスプレイと、1つ又は複数の手形状を記憶した記憶手段とを有する情報処理装置に、
前記情報処理装置に接続されたカメラを介して画像を取得する手順と、
前記記憶手段に記憶された1つ又は複数の手形状と一致する第1の手形状が、前記カメラにより撮影された前記画像内に含まれているか否かを検出する手順と、
前記記憶手段に記憶された1つ又は複数の手形状と一致する前記第1の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、前記第1の手形状の動きに基づいて、前記ディスプレイに表示された複数の選択対象オブジェクトに対するフォーカスの移動を制御する手順と
を実行させ、
前記画像内の横軸又は縦軸方向において前記第1の手形状が基点を中心として所定の距離以上移動した場合、該移動した方向に対してフォーカスを移動することを特徴とするフォーカス移動制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−237765(P2010−237765A)
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願番号】特願2009−82336(P2009−82336)
【出願日】平成21年3月30日(2009.3.30)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.EEPROM
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願日】平成21年3月30日(2009.3.30)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.EEPROM
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]