ポインティングシステム、制御デバイス及び制御方法
【課題】赤外線等を発するポインティングデバイスを用いて、画面上に表示されるポインタの移動と、クリックの操作を簡単に行うことができるポインティングシステム等の技術を提供すること
【解決手段】ユーザがリモートコントローラ３０のボタン３２を押圧すると発光部３７から赤外線が発光される。ＰＣ１０は、撮像部１３により光点４を含む撮像画像４０を撮像し制御部２０へ出力する。制御部２０は、撮像画像４０内に設定された光点検索枠４２内で、光点４の移動と光点４の消灯を判定する。制御部２０は、光点４の移動に基づいて、画面３上でポインタ１を移動させ、光点４が消灯された場合に、クリック等の処理を実行する。これにより、ユーザは、ボタン３２を押圧した状態でリモートコントローラ３０を空間操作することで、ポインタ１を画面３上で移動させることができ、また、ボタン３２の押圧を解除することで、クリック等の操作を行うことができる。
【解決手段】ユーザがリモートコントローラ３０のボタン３２を押圧すると発光部３７から赤外線が発光される。ＰＣ１０は、撮像部１３により光点４を含む撮像画像４０を撮像し制御部２０へ出力する。制御部２０は、撮像画像４０内に設定された光点検索枠４２内で、光点４の移動と光点４の消灯を判定する。制御部２０は、光点４の移動に基づいて、画面３上でポインタ１を移動させ、光点４が消灯された場合に、クリック等の処理を実行する。これにより、ユーザは、ボタン３２を押圧した状態でリモートコントローラ３０を空間操作することで、ポインタ１を画面３上で移動させることができ、また、ボタン３２の押圧を解除することで、クリック等の操作を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発光部を有するポインティングデバイスと、発光部からの光を撮像し、撮像された画像に基づいて画面上に表示されるポインタを移動させる制御デバイスとを備えるポインティングシステム等の技術に関する。
【背景技術】
【０００２】
従来から、リモートコントローラから発せられる赤外光等の光を、テレビジョン装置側に設けられた撮像部によって撮像し、撮像された画像に基づいて、リモートコントローラが指し示す画面上の座標点を検出する技術が知られている（下記特許文献１参照）。
【０００３】
下記特許文献１に記載の技術では、まず、ユーザによってリモートコントローラ２に設けられた座標指定ボタン２８が押圧される。すると、リモートコントローラ２に設けられた６つのＬＥＤ（Light Emitting Diode）２２〜２７からコード変調された赤外線が発せられる。テレビジョン装置１に設けられたＣＣＤ（Charge Coupled Device）センサは、各ＬＥＤから発せられた赤外線を撮像し、リモコン認識部制御部３６へ送る。リモコン認識制御部３６は、撮像された画像に基づいて種々の演算を実行し、画面上での座標位置を算出する。算出された画面上の座標位置にボタン等が表示されている場合、そのボタンが選択される等の処理が実行される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１３１９７号公報（段落[００１４]、図１〜３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年においては、ＰＣ（Personal Computer）で普及しているポインタ、アイコン等のＧＵＩ（Graphical User Interface）が、例えばテレビジョン装置を画像媒体としてリビングルーム等で使用され始めている。
【０００６】
このような環境化において、赤外線等の光を発するリモートコントローラ（ポインティングデバイス）を用いて、画面上に表示されるポインタを簡単に移動させることができる技術が求められている。また、リモートコントローラ（ポインティングデバイス）を用いて、クリック等の操作も簡単に行うことができる技術が求められている。
【０００７】
以上のような事情に鑑み、本発明の目的は、赤外線等の光を発するポインティングデバイスを用いて、画面上に表示されるポインタを簡単に移動させることができ、かつ、クリック等の操作も簡単に行うことができるポインティングシステム等の技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係るポインティングシステムは、ポインティングデバイスと、制御デバイスとを備える。
前記ポインティングシステムは、操作部と、発光部とを有する。
前記発光部は、前記操作部の操作に応じて発光する。
前記制御デバイスは、撮像部と、表示部と、制御部とを有する。
前記撮像部は、前記発光部の発光時に前記発光部からの光を撮像し、前記光による光点の情報を含む画像を出力する。
前記表示部は、画面を有し、前記画面上にポインタを表示させる。
前記制御部は、前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する。
【０００９】
「クリックに関する処理」には、シングルクリックの処理、ダブルクリックの処理が含まれる。
【００１０】
このポインティングシステムでは、ユーザがポインティングデバイスに設けられた操作ボタン等の操作部を操作することで、ポインティングデバイスの発光部が発光する。発光部から発せられた光は、制御デバイスの撮像部により撮像される。ユーザが操作部を操作したままポインティングデバイスを空間操作すると、撮像された画像内で光点が動き、この動きが制御部によって判定される。制御部は、光点の動きに応じてポインタを画面上で移動させる。これにより、ユーザは、ポインティングデバイスの操作ボタン等の操作部を操作したままポインティングデバイスを空間操作することで、画面上でポインタを簡単に移動させることができる。
【００１１】
一方、ユーザが、ポインティングデバイスに設けられた操作ボタン等の操作部の操作を解除すると、発光部が消灯し、制御デバイスの撮像部によって撮像された画像内の光点が消灯する。この消灯が制御部によって判定され、消灯時にクリックに関する処理が実行される。これにより、ユーザは、ポインティングデバイスの操作ボタンの操作を解除することで、クリック等の操作も簡単に行うことができる。
【００１２】
上記ポインティングシステムにおいて、前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の消灯時に左クリックに関する処理が実行される左クリック処理モードと、前記光点の消灯時に右クリックに関する処理が実行される左クリック処理モードとを切り替えてもよい。
【００１３】
「左クリックに関する処理」には、左シングルクリックの処理、左ダブルクリックの処理が含まれる。
「右クリックに関する処理」には、右シングルクリックの処理、右ダブルクリックの処理が含まれる。
【００１４】
右クリック処理モードが左クリック処理モードに切り替えられる場合における光点の動きの条件と、左クリック処理モードが右クリック処理モードに切り替えられる場合における光点の動きの条件とは、同じであってもよく、異なっていてもよい。
【００１５】
このポインティングシステムでは、ユーザは、ポインティングデバイスを把持して空間内で特定の動き（例えば、右に素早く移動させて停止、左に素早く移動させて停止等）をさせることで、右クリック処理モードと、左クリック処理モードとを切り替えることができる。ユーザは、右クリック処理モード時に操作部の操作を解除することで、右クリックの操作を行うことができ、また、左クリック処理モード時に操作部の操作を解除することで左クリックの操作を行うことができる。
【００１６】
上記ポインティングシステムにおいて、前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じて前記ポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてドラッグが実行され、かつ、前記光点の消灯時にドロップが実行されるドラッグ処理モードへ切り替えてもよい。
【００１７】
このポインティングシステムでは、ユーザは、ポインティングデバイスを把持して空間内で特定の動き（例えば、一定期間停止等）をさせることで、クリック処理モードを、ドラッグ処理モードへ切り替えることができる。ドラッグ処理モード時には、ユーザは、ポインティングデバイスを空間操作することで、ドラッグを行うことができ、操作部の操作を解除することで、ドロップを行うことができる。
【００１８】
上記ポインティングシステムにおいて、前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じてポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてスクロールが実行されるスクロール処理モードに切り替えてもよい。
【００１９】
このポインティングシステムでは、ユーザは、ポインティングデバイスを把持して空間内で特定の動き（例えば、上下左右に素早く移動）をさせることで、クリック処理モードを、スクロール処理モードへ切り替えることができる。
【００２０】
上記ポインティングシステムにおいて、前記発光部は、前記操作部の操作時に所定の周期で点滅し、前記制御部は、前記画像内の前記光点の情報に基づいて、前記発光部の前記点滅に基づく前記光点の消灯であるか、または前記操作部の操作の解除に基づく前記光点の消灯であるかを判定し、前記点滅に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行せず、かつ、前記操作部の操作の解除に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行してもよい。
【００２１】
このポインティングシステムでは、ポインティングデバイスの操作部の操作時に、発光部が所定の周期で点滅するので、ポインティングデバイスの省電力化を図ることができる。
一方、制御デバイスの制御部は、光点の消灯が発光部の点滅に基づく消灯であるか、または操作部の操作の解除に基づく光点の消灯であるかを判定し、点滅に基づく消灯である場合には、クリックに関する処理を実行しない。これにより、発光部の点滅時にクリックに関する処理が実行されてしまい、誤動作が実行されてしまうことを防止することができる。
【００２２】
上記ポインティングシステムにおいて、前記制御部は、前記光点の移動量を算出し、前記移動量の大きさに応じて、第１の移動比率で前記移動量に対して前記ポインタを移動させる第１のモードと、前記第１の移動比率よりも大きい第２の移動比率で前記移動量に対して前記ポインタを移動させる第２のモードとを切り替えてもよい。
【００２３】
これにより、ポインティングデバイスの空間内での移動が少ない場合には、画面上のポインタの移動が一段と小さくなる。これにより、手ぶれの影響によりポインタが画面上でぶれてしまうことを抑制することができる。
上記ポインティングシステムにおいて、前記制御部は、前記画像内の前記光点の大きさを判定し、前記撮像部により撮像された画像内に、前記表示部の前記画面に対応する基本枠を、前記光点の大きさに応じた大きさで設定し、前記基本枠内での前記光点の動きに応じて、前記ポインタを前記画面上で移動させてもよい。
【００２４】
このポインティングシステムでは、光点の大きさに応じて、つまり、ポンティングデバイスと、制御デバイスの距離に応じて画像内に基本枠が設定される。そして、上記距離に応じて設定された基本枠内での光点の動きに応じて、ポインタが移動されるので、上記距離に応じたポインタの移動の制御が可能となる。
【００２５】
上記ポインティングシステムにおいて、前記制御部は、前記画像内に基本枠の周囲に光点検索枠を設定し、前記光点検索枠内で、前記光点の動きと、前記光点の消灯とを判定してもよい。
このポインティングシステムでは、光点検索枠が設定されて、その光点検索内で光点の動きと消灯とが判定されるので、外乱交の影響を排除することができる。
【００２６】
本発明の一形態に係る制御デバイスは、操作部と、前記操作部の操作に応じて発光する発光部とを有するポインティングデバイスの、前記発光部からの光を撮像し、撮像された画像内に含まれる前記光による光点の情報に基づいて、画面上でポインタを移動させる制御デバイスであって、撮像部と、表示部と、制御部とを具備する。
前記撮像部は、前記発光部の発光時に前記発光部からの光を撮像し、前記光点の情報を含む前記画像を出力する。
前記表示部は、前記画面を有し、前記画面上にポインタを表示させる。
前記制御部は、前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する。
【００２７】
本発明の一形態に係る制御方法は、操作部の操作に応じて発光する発光部からの光を撮像することを含む。
前記光による光点の情報を含む画像が出力される。
撮像された前記画像内の前記光点の情報に基づいて、前記光点の動きが判定される。
前記光点の動きに応じて前記画面上で前記ポインタが移動される。
前記画像内の前記光点の情報に基づいて、前記光点の消灯が判定される。
前記光点の消灯時にクリックに関する処理が実行される。
【発明の効果】
【００２８】
以上説明したように、本発明の一形態によれば、赤外線等の光を発するポインティングデバイスを用いて、画面上に表示されるポインタを簡単に移動させることができ、かつ、クリック等の操作も簡単に行うことができるポインティングシステム等の技術を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るポインティングシステムを示す図である。
【図２】リモートコントローラを示す斜視図である。
【図３】リモートコントローラの内部構造を示すブロック図である。
【図４】ＰＣの内部構成を示すブロック図である。
【図５】リモートコントローラの処理を示すフローチャートである。
【図６】撮像画像、基本枠、光点検索枠を示す図である。
【図７】基本枠及び光点検索枠を設定する際の処理を示すフローチャートである。
【図８】基本枠の設定位置を説明するための図である。
【図９】ユーザが、リモートコントローラのボタンを押圧して、発光部を発光させた状態で、リモートコントローラを左右に振ったときの、撮像画像内での光点の動きの様子を示す図である
【図１０】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１１】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１２】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１３】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１４】本発明の他の形態に係るポインティングシステムのＰＣの処理を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１実施形態＞
［ポインティングシステム１００の全体構成及び各部の構成］
図１は、本発明の第１実施形態に係るポインティングシステム１００を示す図である。
図１に示すように、ポインティングシステム１００は、リモートコントローラ３０（ポインティングデバイス）と、テレビ放送受信機能を有する表示部一体型ＰＣ１０（制御デバイス）（以下、単にＰＣ１０）とを備える。
【００３１】
図２は、リモートコントローラ３０を示す斜視図である。図３は、リモートコントローラ３０の内部構造を示すブロック図である。
【００３２】
図２及び図３に示すように、リモートコントローラ３０は、操作部３６と、記憶部３９と、制御部３８と、発光部３７とを有する。
【００３３】
操作部３６は、例えば、電源ボタン３１、チャンネルボタン３２、ＰＣモード及びテレビ放送モードとの切り替えボタン３３、チャンネルアップダウンボタン３４、音量アップダウンボタン３５等の各種の操作ボタンを備える。操作部３６としては、押圧式の操作ボタンに限られず、静電容量センサを用いたタッチ式の操作部３６であてもよい。操作部３６は、ユーザが操作可能な形態であればどのような形態であっても構わない。
【００３４】
記憶部３９は、例えば、リモートコントローラ３０の制御に必要な各種のプログラムが記憶されるＲＯＭ（Read Only memory）等の不揮発性のメモリを含む。また、リモートコントローラ３０は、制御部３８の演算の作業領域として用いられるＲＡＭ（Random Access memory）等の揮発性のメモリを有する。
【００３５】
発光部３７は、制御部３８の制御に応じて、赤外線を発光する赤外ＬＥＤ（Light Emitting Diode）等により構成される。
【００３６】
制御部３８は、例えばＣＰＵ（Central Processing Unit）により構成され、リモートコントローラ３０の各部を統括的に制御する。制御部３８は、操作部３６の各種ボタンが押圧された場合に、赤外線を発光部３７から発光させる。このとき、制御部３８は、押圧されたボタンに対応するリモコンコードで変調された赤外線を発光部３７から発光させる。
【００３７】
ここで、リモートコントローラ３０は、操作部３６の各種ボタンが操作されている場合に、その操作されている期間中、常に発光部３７が発光する形態と、所定の周期で点滅する形態とが挙げられる。リモートコントローラ３０としては、どちらの形態であっても構わないが、本実施形態の説明では、発光部３７が所定の周期で点滅する形態であるとして説明する。
【００３８】
なお、発光部３７が点滅する形態の場合、リモートコントローラ３０の省電力化を図ることができ、リモートコントローラ３０内部に搭載された図示しない電池等の長寿命化を図ることができる。
【００３９】
リモートコントローラ３０は、表示部一体型ＰＣ用、あるいは、テレビジョン装置用のリモートコントローラ３０として、一般的に用いられるリモートコントローラ３０をそのまま用いることができる。このリモートコントローラ３０は、後述するＰＣ１０の処理により、画面３上でポインタ１を移動させたり、クリックなどの操作を実行したりすることが可能なポインティングデバイスとして機能する。
【００４０】
図４は、本実施形態に係るＰＣ１０の内部構成を示すブロック図である。
図１及び図４を参照して、ＰＣ１０は、表示部１１と、スピーカ１２と、撮像部１３と、画像処理部１４と、赤外線受信部１５と、コード解析部１６と、制御部２０と、テレビ放送受信部１７と、記憶部１８と、通信部１９とを有する。
【００４１】
表示部１１は、例えば、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ等により構成される。表示部１１は、制御部２０の制御に応じて、ポインタ１やアイコン２等のＧＵＩを画面３上に表示させ、また、テレビ放送映像を画面３上に表示させる。
【００４２】
なお、本明細書中では、表示部１１の画面３上にポインタ１やアイコン２等のＧＵＩが表示されている場合をＰＣモードと呼び、画面３上にテレビ放送映像が表示されている場合をテレビ放送モードと呼ぶ。
【００４３】
撮像部１３は、ＣＣＤセンサ（Charge Coupled Device）ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子や、リモートコントローラ３０の発光部３７から発せられた赤外線を選択的に透過させる赤外線フィルタ等を含む。
【００４４】
撮像部１３は、リモートコントローラ３０の発光部３７によって発せられた赤外線を撮像し、赤外線による光点４の情報を含む撮像画像４０（図６参照）を画像処理部１４へ出力する。画像処理部１４は、撮像部１３によって撮像された撮像画像４０を処理し、制御部２０へ出力する。
【００４５】
制御部２０は、例えば、ＣＰＵやＧＰＵ（Graphics Processing Unit）等を含む。制御部２０は、ＰＣ１０の各部を統括的に制御する。制御部２０は、画像処理部１４から入力された撮像画像４０に基づいて、種々の演算を実行することで、表示部１１の画面３上で、ポインタ１を移動させる処理を実行したり、クリック、ダブルクリック、ドラッグアンドドロップ、スクロール等の処理を実行したりする。なお、これらの処理についての詳細は、後述する。
【００４６】
記憶部１８は、ＰＣ１０の制御に必要な各種のプログラムや、ＯＳ（Operating System）等が記憶されるＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等の記録媒体を有する。また、記憶部１８は、ＢＩＯＳ（Basic Input/Output System）が記録されるＲＯＭ等の不揮発性のメモリや、制御部２０の演算の作業領域として用いられるＲＡＭ等の揮発性のメモリ等を有する。
【００４７】
通信部１９は、インターネットなどの通信網と接続され、通信網からの情報を受信するとともに、情報を送信することも可能とされている。受信した情報は制御部２０に出力される。例えば、ウェブページのＨＴＭＬ（Hyper Text Markup Language）データが受信された場合、制御部２０は、ＨＴＭＬデータを解析してウェブページの画像データを生成し、ウェブページを表示部１１に表示させる。
【００４８】
赤外線受信部１５は、リモートコントローラ３０の発光部３７から発せられた赤外線を選択的に透過させる赤外線フィルタや、赤外線受信回路等を含む。赤外線受信部１５は、リモートコントローラ３０からの赤外線を受光して電気信号に変換し、得られた電気信号をコード解析部１６へ出力する。
【００４９】
コード解析部１６は、赤外線受信部１５から入力された電気信号を解析することで、リモートコントローラ３０から入力されたリモコンコード信号を解析し、解析したリモコンコード信号を制御部２０へ出力する。
【００５０】
制御部２０は入力されたリモコンコード信号に従ってＰＣ１０の制御を実行する。例えば、リモコンコード信号がＰＣモードと、ＴＶ放送モードの切り替えであった場合には、ＰＣモードと、ＴＶ放送モードとを切り替える。また、テレビ放送モード時に、放送チャンネルの切り替えのリモコンコード信号が入力された場合には、テレビ放送受信部１７を制御し、受信する放送チャンネルの切り替えを実行する。
【００５１】
テレビ放送受信部１７は、例えば、地上波デジタル放送信号、ＢＳデジタル放送信号、ＣＳ放送信号等の受信用チューナである。テレビ放送受信部１７は、選択された放送チャンネルに応じた放送番組の番組データを、アンテナ２１を介して受信し、制御部２０に出力する。
【００５２】
制御部２０は、番組データに含まれる映像信号を表示部１１に表示するための映像処理を実行し、また、番組データに含まれる音声信号をスピーカ１２から出力するための音声処理を実行する。
【００５３】
［動作説明］
次に、本実施形態に係るポインティングシステム１００の動作について説明する。
【００５４】
（リモートコントローラ３０の処理）
まず、リモートコントローラ３０側の処理について説明する。
図５は、リモートコントローラ３０の処理を示すフローチャートである。
ユーザは、リモートコントローラ３０を把持して、リモートコントローラ３０の先端側をＰＣ１０へ向ける。このとき、画面３上でテレビジョン放送が放送されるＴＶ放送モードである場合には、ユーザは、切り替えボタン３３を操作することで、ＰＣモードへ切り替えておく。
【００５５】
ユーザが、リモートコントローラ３０に設けられた複数のボタンのうち、１つのボタンを押圧すると、制御部２０により、ボタンの押圧が検出される（ステップ１０１のＹＥＳ）。
【００５６】
なお、ユーザが押圧するボタンは、チャンネルボタン３２、チャンネルアップダウンボタン３４、音量アップダウンボタン３５のうち、どのボタンであっても構わない。なお、以降の説明では、ユーザが操作するボタンは、便宜的に、チャンネルボタン３２（以下、単にボタン３２）であるとして説明する。
【００５７】
制御部２０は、ボタン３２の押圧を検出すると、発光部３７を制御して、発光部３７から赤外線を発光させる（ステップ１０２）。このとき、制御部２０は、発光部３７から所定の周期で点滅する赤外線を発光させる。
【００５８】
ユーザが、ボタン３２の押圧を解除すると、制御部２０により、ボタン３２の押圧の解除が検出される（ステップ１０３のＹＥＳ）。制御部２０は、ボタン３２の押圧の解除を検出すると、発光部３７の発光を終了させ、発光部３７を消灯させる（ステップ１０４）。
【００５９】
（ＰＣ１０の処理）
次に、ＰＣ１０の処理について説明する。
【００６０】
「基本枠４１の設定及び光点検索枠４２の設定」
まず、ＰＣ１０の制御部２０が、撮像部１３により撮像され、画像処理部１４によって処理された撮像画像４０に対して、基本枠４１及び光点検索枠４２を設定するときの処理について説明する。
【００６１】
図６は、撮像画像４０、基本枠４１、光点検索枠４２を示す図である。図７は、基本枠４１及び光点検索枠４２を設定する際の処理を示すフローチャートである。図８は、基本枠４１の設定位置を説明するための図である。
【００６２】
詳細は後述するが、本実施形態では、ユーザがリモートコントローラ３０のボタン３２を押圧した状態で、リモートコントローラ３０を空間操作した際に、リモートコントローラ３０の空間操作に応じて、ポインタ１が画面３上で移動される。この原理について、簡単に説明する。
【００６３】
ユーザがボタン３２を押圧し、発光部３７から赤外線が発光されている状態で、リモートコントローラ３０を移動させる。すると、撮像部１３により撮像された撮像画像４０内で、発光部３７の赤外線による光点４（高輝度点）がリモートコントローラ３０の移動に応じて動く。つまり、リモートコントローラ３０の空間内での動きと、撮像画像４０内での光点４の動きには、相関関係があるので、この関係が利用されて、ポインタ１が画面３上で移動される。
【００６４】
ここで、撮像された撮像画像４０全体に対して光点４の動き等を判定しても構わない。しかし、本実施形態では、リモートコントローラ３０と、ＰＣ１０との距離によって、画面３上でのポインタ１の移動距離が変化してしまうことを抑制する等の理由で、上記距離に応じた大きさの基本枠４１を設定することとしている。ここで、基本枠４１とは、光点４の移動距離の基準となる枠である。
【００６５】
また、本実施形態では、外乱光を除去する等の理由で、撮像画像４０内に光点検索枠４２を設定することとしている。ここで、光点検索枠４２とは、光点４の検索用の枠であって、光点４の動きと、光点４の消灯とが判定される範囲を決定する枠である。
【００６６】
図７を参照して、ＰＣ１０の制御部２０は、リモートコントローラ３０の発光部３７からの赤外線を初めて受光したか否かを判定する（ステップ２０１）。この場合、制御部２０は、撮像部１３により撮像され、画像処理部１４から入力された撮像画像４０内に、赤外線による光点４が含まれるか否かを判定することで、赤外線が初めて受光されたか否かを判定する。
【００６７】
発光部３７からの赤外線を初めて受光したと判定された場合（ステップ２０１のＹＥＳ）、制御部２０は、光点４の大きさと、光点４の中心位置を求める（ステップ２０２）。
【００６８】
一方、発光部３７からの赤外線を初めて受光した場合でないとき（ステップ２０１のＮＯ）、制御部２０は、設定済みの基本枠４１と、光点検索枠４２とを使用する（ステップ２０７）。
【００６９】
制御部２０は、光点４の大きさと、光点４の中心位置を求めると、次に、基本枠４１の大きさを決定する（ステップ２０３）。この場合、基本枠４１の大きさは、光点４の大きさに比例される。これにより、基本枠４１の大きさは、リモートコントローラ３０及びＰＣ１０との距離に比例することになる。
【００７０】
すなわち、基本枠４１の大きさは、リモートコントローラ３０及びＰＣ１０との距離が遠いほど小さくなり、上記距離が近いほど大きくなる（図９参照）。表示部１１の画面３に対するポインタ１の移動量は、この基本枠４１の大きさに対する光点の移動量に基づいて決定される。
【００７１】
次に、制御部２０は、基本枠４１の位置を決定する（ステップ２０４）。この場合、基本枠４１の位置は、撮像画像４０と、光点４との位置関係に応じた位置に設定される。例えば、光点４の位置が撮像画像４０内で、上寄り、下寄り、左寄り、右寄り位置の場合には、基本枠４１は、それぞれ、撮像画像４０内で上寄り、下寄り、左寄り、右寄りの位置に設定される。
【００７２】
次に、制御部２０は、基本枠４１が撮像画像４０の端に接しないように縮小する（ステップ２０５）。図８を参照して、図８には、基本枠設定範囲枠４３が示されている。基本枠設定範囲枠４３の大きさは、撮像画像４０よりも少し小さい程度の大きさとされる。制御部２０は、ステップ２０５において、基本枠４１の少なくとも一部がこの基本枠設定範囲枠４３を超えるかを判定する。そして、制御部２０は、基本枠４１の少なくとも一部が、基本枠設定範囲枠４３を超える場合に、この基本枠設定範囲枠４３を超えないように、基本枠４１を縮小する。
【００７３】
このように、基本枠４１を基本枠設定範囲枠４３内とすることで、光点検索枠４２が撮像画像４０の外側にはみ出てしまうことを防止することができる。
【００７４】
次に、制御部２０は、光点検索枠４２の大きさを決定し、光点検索枠４２を基本枠４１の周囲に設定する（ステップ２０６）。光点検索枠４２の大きさは、基本枠４１を所定の倍率で拡大することで、決定されており、光点検索枠４２は、基本枠４１よりもすこし大きい程度の大きさの枠とされる。光点検索枠４２が、基本枠４１よりも大きい枠とされることで、ユーザがリモートコントローラ３０で表示部１１の画面３の端を指し示したような場合に、光点４が検索できなくなってしまうことを防止することができる。
【００７５】
撮像画像４０内に光点検索枠４２を設定し、この光点検索枠４２内で、光点４の動き等を判定することで、外乱光の影響を排除することができる。
【００７６】
図９は、ユーザが、リモートコントローラ３０のボタン３２を押圧して、発光部３７を発光させた状態で、リモートコントローラ３０を左右に振ったときの、撮像画像４０内での光点４の動きの様子を示す図である。図９（Ａ）には、ユーザがＰＣ１０の遠くでリモートコントローラ３０を振ったときの光点４の動きが示されている。一方、図９（Ｂ）には、ユーザがＰＣ１０の近くでリモートコントローラ３０を振ったときの光点４の動きが示されている。なお、図９（Ａ）及び図９（Ｂ）では、ユーザは、リモートコントローラ３０を空間内で同じ距離だけ左右に動かしている。
【００７７】
図９（Ａ）及び図９（Ｂ）とを比較すると、撮像画像４０に対する光点４の移動距離ｄ１の比率と、撮像画像４０に対する光点４の移動距離ｄ２の比率とは異なっている。しかし、図９（Ａ）及び図９（Ｂ）では、基本枠４１に対する光点４の移動距離ｄ１の比率と、基本枠４１に対する光点４の移動距離ｄ２の比率とは、同じである。ポインタ１の表示部１１の画面３に対する移動距離は、基本枠４１に対する光点４の移動距離により決定されるので、図９（Ａ）及び図９（Ｂ）では、ポインタ１は、同じ距離だけ画面３上で移動されることになる。
【００７８】
すなわち、本実施形態では、リモートコントローラ３０と、ＰＣ１０との距離によって、画面３上でのポインタ１の移動距離が変化してしまうことを抑制することができる（操作距離補正）。
【００７９】
「ポインタ１が移動するときの処理及びクリック等の処理」
次に、ポインタ１が移動するときの処理及びクリック等の処理について説明する。
図１０〜図１３は、このときのＰＣ１０の処理を示すフローチャートである。
【００８０】
図１０を参照して、ＰＣ１０の制御部２０は、リモートコントローラ３０の発光部３７から発せられた赤外線を受光したか否かを判定する（ステップ３０１）。この場合、制御部２０は、撮像部１３により撮像された撮像画像４０内の光点検索枠４２内に、赤外線による光点４が含まれるか否かを判定することで、受光の有無を判定する。
【００８１】
ユーザがリモートコントローラ３０を把持してＰＣ１０側へ向けた状態でボタン３２を押圧している場合、発光部３７から赤外線が発せられて、赤外線が受光される（ステップ３０１ＹＥＳ）。赤外線が受光されると、制御部２０は、光点４の中心位置を求め、撮像画像４０内の基本枠４１に対する光点４の移動量を算出する（ステップ３０３）。
【００８２】
次に、制御部２０は、光点４が移動したか否かを判定する（ステップ３０４）。光点４が移動していないと判定された場合（ステップ３０４のＮＯ）、制御部２０は、画面３上で前回と同様の位置にポインタ１を表示させる（ステップ３０５）。
【００８３】
一方、光点４が移動していると判定された場合（ステップ３０４のＹＥＳ）、次のステップ４０１へ進む。
図１１を参照して、ステップ４０１では、制御部２０は、現在のモードがドラッグ処理モードであるか否かを判定する。
【００８４】
ドラッグ処理モードであると判定された場合（ステップ４０１のＹＥＳ）、制御部２０は、ステップ５０１（図１２参照）へ進む。一方、ドラッグ処理モードでないと判定された場合（ステップ４０１のＮＯ）、制御部２０は、一定期間内での光点４の移動が少ないか否かを判定する（ステップ４０２）。
【００８５】
一定期間内での光点４の移動が少ないと判定された場合（ステップ４０２のＹＥＳ）、制御部２０は、ドラッグ処理モードへ移行し（ステップ４０６）、ステップ５０１へ進む。
【００８６】
一方、一定期間内に、光点４が所定の移動量以上の移動している場合（ステップ４０２のＮＯ）、制御部２０は、光点４が撮像画像４０内の光点検索枠４２内で上下方向、または左右方向に大きく移動されたか否かを判定する（ステップ４０３）。
【００８７】
光点４が上下方向、または左右方向に大きく移動された場合（ステップ４０３のＹＥＳ）、制御部２０は、スクロール処理モードへ移行し（ステップ４０７）、ステップ５０１へ進む。
【００８８】
一方、ステップ４０３での判定が否定的であった場合（ステップ４０３のＮＯ）、制御部２０は、光点４が光点検索枠４２内で右に大きく移動して停止したか否かを判定する（ステップ４０４）。光点４が右に大きく移動して停止された場合（ステップ４０４のＹＥＳ）、制御部２０は、右クリック処理モードへと移行し（ステップ４０８）、ステップ５０１へ進む。
【００８９】
ステップ４０４での判定が否定的であった場合（ステップ４０４のＮＯ）、次に、制御部２０は、光点４が光点検索枠４２内で左に大きく移動して停止したか否かを判定する（ステップ４０５）。光点４の動きが、左に大きく移動して停止されたと判定された場合（ステップ４０５のＹＥＳ）、制御部２０は、左クリック処理モードへ移行し（ステップ４０９）、ステップ５０１へ進む。
【００９０】
一方、ステップ４０５の判定が否定的であった場合（ステップ４０５のＮＯ）、ドラッグ処理モード、スクロール処理モード、クリック処理モード（右クリック処理モード、左クリック処理モード）は、切り替えられず、制御部２０は、前回の処理モードのままステップ５０１へ進む。
【００９１】
図１２を参照して、ステップ５０１では、制御部２０は、現在のモードがドラッグ処理モードであるか否かを判定する。現在のモードがドラッグ処理モードである場合（ステップ５０１のＹＥＳ）、制御部２０は、画面３上で、ドラッグの処理と、ポインタ１の移動処理を実行する（ステップ５０４）。これにより、ユーザは、例えば、表示部１１の画面３上に表示されたアイコン２や、ウィンドウ、ウェブページ等をドラッグすることができる。
【００９２】
ここで、ドラッグ中において、ポインタ１及びドラッグされているドラッグ対象物の移動距離は、撮像画像４０内の基本枠４１に対する光点４の移動量に基づいて算出された距離とされる（図９参照）。従って、ユーザは、ＰＣ１０の遠くで、リモートコントローラ３０を空間操作した場合であっても、ＰＣ１０の近くでリモートコントローラ３０を空間操作した場合であっても、画面３上で同じようにポインタ１及びドラッグ対象物を移動させることができる。なお、後述のスクロール処理、ポインタ１移動処理についても同様である。
【００９３】
ステップ５０１において、ドラッグ処理モードでなかった場合（ステップ５０１のＮＯ）、制御部２０は、スクロール処理モードであるか否かを判定する（ステップ５０２）。
【００９４】
スクロール処理モードである場合（ステップ５０２のＹＥＳ）、制御部２０は、画面３上で、スクロール処理を実行する。これにより、ユーザは、例えば、表示部１１の画面３上に表示されたウィンドウ、ウェブページ内に表示された画像をスクロールすることができる。
【００９５】
ステップ５０２において、スクロール処理モードでなかった場合（ステップ５０２のＮＯ）、制御部２０は、撮像画像４０内の基本枠４１に対する光点４の移動量に応じて、画面３上でポインタ１を移動させる（ステップ５０３）。
【００９６】
再び図１０を参照して、ステップ３０１において、リモートコントローラ３０の発光部３７から赤外線を受光していない場合（ステップ３０１のＮＯ）、制御部２０は、所定期間内に、発光部３７からの赤外線を再び受光したか否かを判定する（ステップ３０２）。上記所定期間は、発光部３７の点滅周期を考慮して、適宜設定される。
【００９７】
制御部２０は、ステップ３０２の判定により、発光部３７の点滅に基づく光点４の消灯と、ボタン３２の押圧の解除に基づく光点４の消灯とを区別して認識することができる。
【００９８】
所定期間内に、発光部３７からの赤外線を再び受光した場合、（ステップ３０２のＹＥＳ）、制御部２０は、ステップ３０１で赤外線を受光したと判定された場合と同様に、ステップ３０３へ進み、上記したステップ３０３以降の処理を実行する。
【００９９】
一方、所定期間内に、発光部３７からの赤外線を再び受光しなかった場合（ステップ３０２のＮＯ）、制御部２０は、次のステップ３０６へ進む。ステップ３０６では、制御部２０は、既にクリック処理済であるか否かを判定する。既にクリック処理済である場合（ステップ３０６のＹＥＳ）、制御部２０は、そのまま処理を終了する。一方、クリック処理がまだ済んでいない場合（ステップ３０６のＮＯ）、制御部２０は、次のステップ６０１へ進む。
【０１００】
図１３を参照して、ステップ６０１では、制御部２０は、現在のモードが右クリック処理モードであるか否かを判定する。右クリック処理モードである場合（ステップ６０１のＹＥＳ）、制御部２０は、右クリックの処理を実行する。この場合、例えば、制御部２０は、そのときのポインタ１の位置に関連するメニュー等の表示処理を実行する。
【０１０１】
一方、現在のモードが右クリック処理モードでなかった場合（ステップ６０１のＮＯ）、制御部２０は、現在のモードが左クリック処理モードであるか否かを判定する（ステップ６０２）。現在のモードが左クリック処理モードである場合（ステップ６０２のＹＥＳ）、制御部２０は、左クリックの処理を実行する（ステップ６０５）。この場合、制御部２０は、例えば、そのときのポインタ１の位置がアイコン２上である場合には、そのアイコン２を選択、実行する処理を行う。
【０１０２】
一方、現在のモードが左クリック処理モードでなかった場合（ステップ６０２のＮＯ）、現在のモードがドラッグ処理モードであるか否かを判定する（ステップ６０３）。現在のモードがドラッグ処理モードである場合（ステップ６０３のＹＥＳ）、制御部２０は、ドロップの処理を実行する（ステップ６０６）。
【０１０３】
図１０〜図１３に示す処理により、ユーザは、リモートコントローラ３０のボタン３２を押圧した状態で、空間操作することで、ポインタ１を画面３上で簡単に移動させることができる。また、ユーザは、リモートコントローラ３０のボタン３２の押圧を解除することで、間単に右クリックあるいは左クリックの操作も行うことができる（クリック処理モード）（ステップ６０４、ステップ６０５参照）。
【０１０４】
また、ユーザは、ボタン３２の押圧の解除時に右クリックが実行される右クリック処理モードと、ボタン３２の押圧の解除時に左クリックが実行される左クリック処理モードとをリモートコントローラ３０の空間操作により、簡単に切り替えることができる（ステップ４０４、４０５参照）。
【０１０５】
ユーザは、左クリック処理モードを右クリック処理モードに切り替える場合、ボタン３２を押圧した状態で、リモートコントローラ３０を右に素早く移動させて停止すればよい（ステップ４０４参照）。一方、ユーザは、右クリック処理モードを左クリック処理モードへ切り替える場合、ボタン３２を押圧した状態で、リモートコントローラ３０を左に素早く移動させて停止すればよい（ステップ４０５参照）。
【０１０６】
さらに、ユーザは、例えば、画面３上のアイコン２やウィンドウ、ウェブページ等のドラッグ対象物上に、ポインタ１を位置させて一定期間、停止させることで、ドラッグ対象物をドラッグすることができる（ステップ４０２参照）。そして、ユーザは、ボタン３２を押圧した状態でリモートコントローラ３０を空間操作して、ドラッグ対象物を目的の位置まで移動させて、ボタン３２の押圧を解除することで、ドラッグ対象物をドロップすることができる（ステップ５０４、６０６参照）。
【０１０７】
さらに、ユーザは、例えば、ウィンドウ、ウェブページ等のスクロール対象物上にポインタ１を位置させた後、リモートコントローラ３０を上下方向、あるいは、左右方向に素早く移動させることで、スクロール対象物をスクロールさせることができる（ステップ４０３、５０５参照）。
【０１０８】
さらに、本実施形態のリモートコントローラ３０は、発光部３７が所定の周期で点滅する形態であるので、リモートコントローラ３０の省電力化を図ることができる。
一方、ＰＣ１０の制御部２０は、光点４の消灯が発光部３７の点滅に基づく消灯であるか、またはボタン３２の押圧の解除に基づく光点４の消灯であるかを認識することができる（ステップ３０２参照）。そして、制御部２０は、点滅に基づく消灯である場合には、右クリック、左クリック、ドラッグの処理を実行しない（ステップ３０２のＹＥＳ参照）。これにより、リモートコントローラ３０が周期的に点滅していることにより、右クリック、左クリック、ドラッグの処理が実行されてしまい、誤動作が実行されてしまうことを防止することができる。
【０１０９】
さらに、本実施形態のＰＣ１０では、撮像画像４０内の１つの光点４の動き、及び光点４の消灯に基づいて、ポインタ１の移動、クリック（右クリック、左クリック）、ドラッグアンドドロップ、スクロールの処理を実現している。これにより、表示部一体型ＰＣ１０用、テレビジョン装置用のリモートコントローラ３０として一般的に用いられるリモートコントローラ３０を、ポインタ１の移動、クリック等が操作可能なポインティングデバイスとして機能させることができる。これにより、特別なリモートコントローラ３０を用いる必要がなくなるので、コストを削減することができる。
【０１１０】
また、本実施形態では、光点４の消灯の判定が、光点検索枠４２内での消灯に対して実行されることから（ステップ３０１参照）、光点検索枠４２外で光点４が消灯した場合には、右クリック、左クリック、ドロップの処理が実行されない。これにより、ユーザが画面３から外れた位置をリモートコントローラ３０で指し示した状態で、ボタン３２の押圧を解除したときに、クリック等が実行されてしまうなどの誤処理が防止される。
【０１１１】
［第１実施形態変形例］
以上の説明では、光点４が一定期間内で移動が少ない場合にドラッグ処理モード、光点４が上下左右方向に大きく移動した場合にスクロール処理モードへ移行するとして説明した。また、光点４が右に大きく移動して停止した場合に右クリック処理モード、左に大きく移動した場合に左クリックモードへ移行するとして説明した。しかし、これらの各処理モードの移行の条件は、これらに限られない。
【０１１２】
典型的には、ユーザがリモートコントローラ３０を空間操作してポインタ１を移動させる際に、通常用いられない光点４の動きであれば、どのような光点４の動きに対して、各処理モードの移行の条件が割り当てられてもよい。
【０１１３】
以上の説明では、右クリック処理モードが左クリック処理モードに切り替えられる条件と、左クリック処理モードが右クリック処理モードに切り替えられる条件とが異なる場合について説明したが、この条件は、同じであってもよい。
【０１１４】
また、以上の説明では、シングルクリックについて説明したが、ダブルクリック（右、左両方）が実行されてもよい。例えば、ポインタ１がデスクトップ上のアイコン２上に位置している場合などには、左ダブルクリックの処理が実行されてもよい。
【０１１５】
＜第２実施形態＞
次に、本発明の第２の実施形態について説明する。
なお、第２実施形態以降の説明において、上記第１実施形態と同様の構成及び機能を有する各部については、同様の符号を付し、説明を簡略化または省略する。
図１４は、第２実施形態に係るポインティングシステム１００のＰＣ１０の処理を示すフローチャートである。
【０１１６】
ＰＣ１０の制御部２０は、リモートコントローラ３０の発光部３７から発せられた赤外線を受光したか否かを判定する（ステップ７０１）。この場合、制御部２０は、撮像部１３により撮像された撮像画像４０内の光点検索枠４２内に、赤外線による光点４が含まれるか否かを判定することで、受光の有無を判定する。
【０１１７】
ユーザがリモートコントローラ３０を把持してＰＣ１０側へ向けた状態でボタン３２を押圧している場合、発光部３７から赤外線が発せられて、赤外線が受光される（ステップ７０１ＹＥＳ）。赤外線が受光されると、制御部２０は、撮像画像４０内の基本枠４１に対する光点４の移動量を算出する（ステップ７０２）。
【０１１８】
次に、制御部２０は、算出された光点４の移動量が所定の閾値未満であるか否かを判定する（ステップ７０３）。この閾値の値は、ユーザの手振れの大きさを考慮して適宜設定される。
【０１１９】
光点４の移動量が所定の閾値未満である場合（ステップ７０３のＹＥＳ）、制御部２０は、光点４の移動量に対する、画面３上でのポインタ１の移動比率を小さくする（ステップ７０４）（スモールモード（第１のモード））。
【０１２０】
一方、光点４の移動量が所定の閾値以上である場合（ステップ７０３のＮＯ）、制御部２０は、光点４の移動量に対する、画面３上でのポインタ１の移動比率を大きくする（ステップ７０５）（ビックモード（第２のモード））。
【０１２１】
このような処理により、リモートコントローラ３０の空間内での移動が少ない場合には、画面３上のポインタ１の移動が一段と小さくなる。これにより、手ぶれの影響によりポインタ１が画面３上でぶれてしまうことを抑制することができる。また、また、ユーザは、ポインタ１を画面３上で精細にコントロールすることができる。
【０１２２】
一方、リモートコントローラ３０の空間内での移動が大きい場合には、画面３上のポインタ１の移動が一段と大きくなる。これにより、ユーザは、ポインタ１を大きく移動させたいときは、リモートコントローラ３０を空間内で大きく移動させることで、効率よくポインタ１を移動させることができる。
【０１２３】
図１４に示す例では、モードがビックモードとスモールモードの２つのモードであるとして説明した。しかし、このモードは、３段階以上であってもよい。
【０１２４】
上記閾値は、スモールモード時及びビックモード時に変化するような処理が実行されてもよい。この場合、例えば、スモールモード時には、上記閾値が大きくなり、ビックモード時には、上記閾値が小さくなるような処理が実行されてもよい。これにより、各モードで安定した操作が可能となる。
【０１２５】
あるいは、制御部２０は、ビックモード時に、撮像画像４０内（光点検索枠４２内）で光点４が消灯された場合において、クリックに関する処理（左右シングルクリック、左右ダブルクリック）をキャンセルしてもよい。通常、ユーザがクリックに関する操作を行うとき、リモートコントローラ３０を空間内で大きく移動させていることは少ない。つまり、ビックモード時において、撮像画像４０内で光点４が消灯された場合、誤操作である場合が多い。そこで、制御部２０は、ビックモード時に、撮像画像４０内（光点検索枠４２内）で光点４が消灯された場合には、クリックに関する処理をキャンセルしてもよい。これにより、誤操作が防止される。
【０１２６】
＜各種変形例＞
上述の各実施形態の説明では、制御デバイスの一例として、表示部１１と、ＰＣ１０とが一体化された表示部一体型ＰＣ１０を例に挙げて説明した。しかし、制御デバイスは、これに限られない。例えば、表示部１１と、ＰＣ１０とが分離されていてもよい。また、撮像部１３も、表示部１１、ＰＣ１０から分離されていてもよい。制御デバイスの他の例としては、例えば、テレビジョン装置、カーナビゲーション装置等が挙げられる。
【符号の説明】
【０１２７】
１…ポインタ
２…アイコン
３…画面
４…光点
１０…ＰＣ
１１…表示部
１３…撮像部
１５…赤外線受信部
２０…制御部
３０…リモートコントローラ
３６…操作部
３７…発光部
４０…撮像画像
４１…基本枠
４２…光点検索枠
４３…基本枠設定範囲枠
１００…ポインティングシステム
【技術分野】
【０００１】
本発明は、発光部を有するポインティングデバイスと、発光部からの光を撮像し、撮像された画像に基づいて画面上に表示されるポインタを移動させる制御デバイスとを備えるポインティングシステム等の技術に関する。
【背景技術】
【０００２】
従来から、リモートコントローラから発せられる赤外光等の光を、テレビジョン装置側に設けられた撮像部によって撮像し、撮像された画像に基づいて、リモートコントローラが指し示す画面上の座標点を検出する技術が知られている（下記特許文献１参照）。
【０００３】
下記特許文献１に記載の技術では、まず、ユーザによってリモートコントローラ２に設けられた座標指定ボタン２８が押圧される。すると、リモートコントローラ２に設けられた６つのＬＥＤ（Light Emitting Diode）２２〜２７からコード変調された赤外線が発せられる。テレビジョン装置１に設けられたＣＣＤ（Charge Coupled Device）センサは、各ＬＥＤから発せられた赤外線を撮像し、リモコン認識部制御部３６へ送る。リモコン認識制御部３６は、撮像された画像に基づいて種々の演算を実行し、画面上での座標位置を算出する。算出された画面上の座標位置にボタン等が表示されている場合、そのボタンが選択される等の処理が実行される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１３１９７号公報（段落[００１４]、図１〜３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年においては、ＰＣ（Personal Computer）で普及しているポインタ、アイコン等のＧＵＩ（Graphical User Interface）が、例えばテレビジョン装置を画像媒体としてリビングルーム等で使用され始めている。
【０００６】
このような環境化において、赤外線等の光を発するリモートコントローラ（ポインティングデバイス）を用いて、画面上に表示されるポインタを簡単に移動させることができる技術が求められている。また、リモートコントローラ（ポインティングデバイス）を用いて、クリック等の操作も簡単に行うことができる技術が求められている。
【０００７】
以上のような事情に鑑み、本発明の目的は、赤外線等の光を発するポインティングデバイスを用いて、画面上に表示されるポインタを簡単に移動させることができ、かつ、クリック等の操作も簡単に行うことができるポインティングシステム等の技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係るポインティングシステムは、ポインティングデバイスと、制御デバイスとを備える。
前記ポインティングシステムは、操作部と、発光部とを有する。
前記発光部は、前記操作部の操作に応じて発光する。
前記制御デバイスは、撮像部と、表示部と、制御部とを有する。
前記撮像部は、前記発光部の発光時に前記発光部からの光を撮像し、前記光による光点の情報を含む画像を出力する。
前記表示部は、画面を有し、前記画面上にポインタを表示させる。
前記制御部は、前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する。
【０００９】
「クリックに関する処理」には、シングルクリックの処理、ダブルクリックの処理が含まれる。
【００１０】
このポインティングシステムでは、ユーザがポインティングデバイスに設けられた操作ボタン等の操作部を操作することで、ポインティングデバイスの発光部が発光する。発光部から発せられた光は、制御デバイスの撮像部により撮像される。ユーザが操作部を操作したままポインティングデバイスを空間操作すると、撮像された画像内で光点が動き、この動きが制御部によって判定される。制御部は、光点の動きに応じてポインタを画面上で移動させる。これにより、ユーザは、ポインティングデバイスの操作ボタン等の操作部を操作したままポインティングデバイスを空間操作することで、画面上でポインタを簡単に移動させることができる。
【００１１】
一方、ユーザが、ポインティングデバイスに設けられた操作ボタン等の操作部の操作を解除すると、発光部が消灯し、制御デバイスの撮像部によって撮像された画像内の光点が消灯する。この消灯が制御部によって判定され、消灯時にクリックに関する処理が実行される。これにより、ユーザは、ポインティングデバイスの操作ボタンの操作を解除することで、クリック等の操作も簡単に行うことができる。
【００１２】
上記ポインティングシステムにおいて、前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の消灯時に左クリックに関する処理が実行される左クリック処理モードと、前記光点の消灯時に右クリックに関する処理が実行される左クリック処理モードとを切り替えてもよい。
【００１３】
「左クリックに関する処理」には、左シングルクリックの処理、左ダブルクリックの処理が含まれる。
「右クリックに関する処理」には、右シングルクリックの処理、右ダブルクリックの処理が含まれる。
【００１４】
右クリック処理モードが左クリック処理モードに切り替えられる場合における光点の動きの条件と、左クリック処理モードが右クリック処理モードに切り替えられる場合における光点の動きの条件とは、同じであってもよく、異なっていてもよい。
【００１５】
このポインティングシステムでは、ユーザは、ポインティングデバイスを把持して空間内で特定の動き（例えば、右に素早く移動させて停止、左に素早く移動させて停止等）をさせることで、右クリック処理モードと、左クリック処理モードとを切り替えることができる。ユーザは、右クリック処理モード時に操作部の操作を解除することで、右クリックの操作を行うことができ、また、左クリック処理モード時に操作部の操作を解除することで左クリックの操作を行うことができる。
【００１６】
上記ポインティングシステムにおいて、前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じて前記ポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてドラッグが実行され、かつ、前記光点の消灯時にドロップが実行されるドラッグ処理モードへ切り替えてもよい。
【００１７】
このポインティングシステムでは、ユーザは、ポインティングデバイスを把持して空間内で特定の動き（例えば、一定期間停止等）をさせることで、クリック処理モードを、ドラッグ処理モードへ切り替えることができる。ドラッグ処理モード時には、ユーザは、ポインティングデバイスを空間操作することで、ドラッグを行うことができ、操作部の操作を解除することで、ドロップを行うことができる。
【００１８】
上記ポインティングシステムにおいて、前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じてポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてスクロールが実行されるスクロール処理モードに切り替えてもよい。
【００１９】
このポインティングシステムでは、ユーザは、ポインティングデバイスを把持して空間内で特定の動き（例えば、上下左右に素早く移動）をさせることで、クリック処理モードを、スクロール処理モードへ切り替えることができる。
【００２０】
上記ポインティングシステムにおいて、前記発光部は、前記操作部の操作時に所定の周期で点滅し、前記制御部は、前記画像内の前記光点の情報に基づいて、前記発光部の前記点滅に基づく前記光点の消灯であるか、または前記操作部の操作の解除に基づく前記光点の消灯であるかを判定し、前記点滅に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行せず、かつ、前記操作部の操作の解除に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行してもよい。
【００２１】
このポインティングシステムでは、ポインティングデバイスの操作部の操作時に、発光部が所定の周期で点滅するので、ポインティングデバイスの省電力化を図ることができる。
一方、制御デバイスの制御部は、光点の消灯が発光部の点滅に基づく消灯であるか、または操作部の操作の解除に基づく光点の消灯であるかを判定し、点滅に基づく消灯である場合には、クリックに関する処理を実行しない。これにより、発光部の点滅時にクリックに関する処理が実行されてしまい、誤動作が実行されてしまうことを防止することができる。
【００２２】
上記ポインティングシステムにおいて、前記制御部は、前記光点の移動量を算出し、前記移動量の大きさに応じて、第１の移動比率で前記移動量に対して前記ポインタを移動させる第１のモードと、前記第１の移動比率よりも大きい第２の移動比率で前記移動量に対して前記ポインタを移動させる第２のモードとを切り替えてもよい。
【００２３】
これにより、ポインティングデバイスの空間内での移動が少ない場合には、画面上のポインタの移動が一段と小さくなる。これにより、手ぶれの影響によりポインタが画面上でぶれてしまうことを抑制することができる。
上記ポインティングシステムにおいて、前記制御部は、前記画像内の前記光点の大きさを判定し、前記撮像部により撮像された画像内に、前記表示部の前記画面に対応する基本枠を、前記光点の大きさに応じた大きさで設定し、前記基本枠内での前記光点の動きに応じて、前記ポインタを前記画面上で移動させてもよい。
【００２４】
このポインティングシステムでは、光点の大きさに応じて、つまり、ポンティングデバイスと、制御デバイスの距離に応じて画像内に基本枠が設定される。そして、上記距離に応じて設定された基本枠内での光点の動きに応じて、ポインタが移動されるので、上記距離に応じたポインタの移動の制御が可能となる。
【００２５】
上記ポインティングシステムにおいて、前記制御部は、前記画像内に基本枠の周囲に光点検索枠を設定し、前記光点検索枠内で、前記光点の動きと、前記光点の消灯とを判定してもよい。
このポインティングシステムでは、光点検索枠が設定されて、その光点検索内で光点の動きと消灯とが判定されるので、外乱交の影響を排除することができる。
【００２６】
本発明の一形態に係る制御デバイスは、操作部と、前記操作部の操作に応じて発光する発光部とを有するポインティングデバイスの、前記発光部からの光を撮像し、撮像された画像内に含まれる前記光による光点の情報に基づいて、画面上でポインタを移動させる制御デバイスであって、撮像部と、表示部と、制御部とを具備する。
前記撮像部は、前記発光部の発光時に前記発光部からの光を撮像し、前記光点の情報を含む前記画像を出力する。
前記表示部は、前記画面を有し、前記画面上にポインタを表示させる。
前記制御部は、前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する。
【００２７】
本発明の一形態に係る制御方法は、操作部の操作に応じて発光する発光部からの光を撮像することを含む。
前記光による光点の情報を含む画像が出力される。
撮像された前記画像内の前記光点の情報に基づいて、前記光点の動きが判定される。
前記光点の動きに応じて前記画面上で前記ポインタが移動される。
前記画像内の前記光点の情報に基づいて、前記光点の消灯が判定される。
前記光点の消灯時にクリックに関する処理が実行される。
【発明の効果】
【００２８】
以上説明したように、本発明の一形態によれば、赤外線等の光を発するポインティングデバイスを用いて、画面上に表示されるポインタを簡単に移動させることができ、かつ、クリック等の操作も簡単に行うことができるポインティングシステム等の技術を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るポインティングシステムを示す図である。
【図２】リモートコントローラを示す斜視図である。
【図３】リモートコントローラの内部構造を示すブロック図である。
【図４】ＰＣの内部構成を示すブロック図である。
【図５】リモートコントローラの処理を示すフローチャートである。
【図６】撮像画像、基本枠、光点検索枠を示す図である。
【図７】基本枠及び光点検索枠を設定する際の処理を示すフローチャートである。
【図８】基本枠の設定位置を説明するための図である。
【図９】ユーザが、リモートコントローラのボタンを押圧して、発光部を発光させた状態で、リモートコントローラを左右に振ったときの、撮像画像内での光点の動きの様子を示す図である
【図１０】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１１】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１２】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１３】ポインタが移動するときの処理及びクリック等の処理について説明するための図である。
【図１４】本発明の他の形態に係るポインティングシステムのＰＣの処理を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１実施形態＞
［ポインティングシステム１００の全体構成及び各部の構成］
図１は、本発明の第１実施形態に係るポインティングシステム１００を示す図である。
図１に示すように、ポインティングシステム１００は、リモートコントローラ３０（ポインティングデバイス）と、テレビ放送受信機能を有する表示部一体型ＰＣ１０（制御デバイス）（以下、単にＰＣ１０）とを備える。
【００３１】
図２は、リモートコントローラ３０を示す斜視図である。図３は、リモートコントローラ３０の内部構造を示すブロック図である。
【００３２】
図２及び図３に示すように、リモートコントローラ３０は、操作部３６と、記憶部３９と、制御部３８と、発光部３７とを有する。
【００３３】
操作部３６は、例えば、電源ボタン３１、チャンネルボタン３２、ＰＣモード及びテレビ放送モードとの切り替えボタン３３、チャンネルアップダウンボタン３４、音量アップダウンボタン３５等の各種の操作ボタンを備える。操作部３６としては、押圧式の操作ボタンに限られず、静電容量センサを用いたタッチ式の操作部３６であてもよい。操作部３６は、ユーザが操作可能な形態であればどのような形態であっても構わない。
【００３４】
記憶部３９は、例えば、リモートコントローラ３０の制御に必要な各種のプログラムが記憶されるＲＯＭ（Read Only memory）等の不揮発性のメモリを含む。また、リモートコントローラ３０は、制御部３８の演算の作業領域として用いられるＲＡＭ（Random Access memory）等の揮発性のメモリを有する。
【００３５】
発光部３７は、制御部３８の制御に応じて、赤外線を発光する赤外ＬＥＤ（Light Emitting Diode）等により構成される。
【００３６】
制御部３８は、例えばＣＰＵ（Central Processing Unit）により構成され、リモートコントローラ３０の各部を統括的に制御する。制御部３８は、操作部３６の各種ボタンが押圧された場合に、赤外線を発光部３７から発光させる。このとき、制御部３８は、押圧されたボタンに対応するリモコンコードで変調された赤外線を発光部３７から発光させる。
【００３７】
ここで、リモートコントローラ３０は、操作部３６の各種ボタンが操作されている場合に、その操作されている期間中、常に発光部３７が発光する形態と、所定の周期で点滅する形態とが挙げられる。リモートコントローラ３０としては、どちらの形態であっても構わないが、本実施形態の説明では、発光部３７が所定の周期で点滅する形態であるとして説明する。
【００３８】
なお、発光部３７が点滅する形態の場合、リモートコントローラ３０の省電力化を図ることができ、リモートコントローラ３０内部に搭載された図示しない電池等の長寿命化を図ることができる。
【００３９】
リモートコントローラ３０は、表示部一体型ＰＣ用、あるいは、テレビジョン装置用のリモートコントローラ３０として、一般的に用いられるリモートコントローラ３０をそのまま用いることができる。このリモートコントローラ３０は、後述するＰＣ１０の処理により、画面３上でポインタ１を移動させたり、クリックなどの操作を実行したりすることが可能なポインティングデバイスとして機能する。
【００４０】
図４は、本実施形態に係るＰＣ１０の内部構成を示すブロック図である。
図１及び図４を参照して、ＰＣ１０は、表示部１１と、スピーカ１２と、撮像部１３と、画像処理部１４と、赤外線受信部１５と、コード解析部１６と、制御部２０と、テレビ放送受信部１７と、記憶部１８と、通信部１９とを有する。
【００４１】
表示部１１は、例えば、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ等により構成される。表示部１１は、制御部２０の制御に応じて、ポインタ１やアイコン２等のＧＵＩを画面３上に表示させ、また、テレビ放送映像を画面３上に表示させる。
【００４２】
なお、本明細書中では、表示部１１の画面３上にポインタ１やアイコン２等のＧＵＩが表示されている場合をＰＣモードと呼び、画面３上にテレビ放送映像が表示されている場合をテレビ放送モードと呼ぶ。
【００４３】
撮像部１３は、ＣＣＤセンサ（Charge Coupled Device）ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子や、リモートコントローラ３０の発光部３７から発せられた赤外線を選択的に透過させる赤外線フィルタ等を含む。
【００４４】
撮像部１３は、リモートコントローラ３０の発光部３７によって発せられた赤外線を撮像し、赤外線による光点４の情報を含む撮像画像４０（図６参照）を画像処理部１４へ出力する。画像処理部１４は、撮像部１３によって撮像された撮像画像４０を処理し、制御部２０へ出力する。
【００４５】
制御部２０は、例えば、ＣＰＵやＧＰＵ（Graphics Processing Unit）等を含む。制御部２０は、ＰＣ１０の各部を統括的に制御する。制御部２０は、画像処理部１４から入力された撮像画像４０に基づいて、種々の演算を実行することで、表示部１１の画面３上で、ポインタ１を移動させる処理を実行したり、クリック、ダブルクリック、ドラッグアンドドロップ、スクロール等の処理を実行したりする。なお、これらの処理についての詳細は、後述する。
【００４６】
記憶部１８は、ＰＣ１０の制御に必要な各種のプログラムや、ＯＳ（Operating System）等が記憶されるＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等の記録媒体を有する。また、記憶部１８は、ＢＩＯＳ（Basic Input/Output System）が記録されるＲＯＭ等の不揮発性のメモリや、制御部２０の演算の作業領域として用いられるＲＡＭ等の揮発性のメモリ等を有する。
【００４７】
通信部１９は、インターネットなどの通信網と接続され、通信網からの情報を受信するとともに、情報を送信することも可能とされている。受信した情報は制御部２０に出力される。例えば、ウェブページのＨＴＭＬ（Hyper Text Markup Language）データが受信された場合、制御部２０は、ＨＴＭＬデータを解析してウェブページの画像データを生成し、ウェブページを表示部１１に表示させる。
【００４８】
赤外線受信部１５は、リモートコントローラ３０の発光部３７から発せられた赤外線を選択的に透過させる赤外線フィルタや、赤外線受信回路等を含む。赤外線受信部１５は、リモートコントローラ３０からの赤外線を受光して電気信号に変換し、得られた電気信号をコード解析部１６へ出力する。
【００４９】
コード解析部１６は、赤外線受信部１５から入力された電気信号を解析することで、リモートコントローラ３０から入力されたリモコンコード信号を解析し、解析したリモコンコード信号を制御部２０へ出力する。
【００５０】
制御部２０は入力されたリモコンコード信号に従ってＰＣ１０の制御を実行する。例えば、リモコンコード信号がＰＣモードと、ＴＶ放送モードの切り替えであった場合には、ＰＣモードと、ＴＶ放送モードとを切り替える。また、テレビ放送モード時に、放送チャンネルの切り替えのリモコンコード信号が入力された場合には、テレビ放送受信部１７を制御し、受信する放送チャンネルの切り替えを実行する。
【００５１】
テレビ放送受信部１７は、例えば、地上波デジタル放送信号、ＢＳデジタル放送信号、ＣＳ放送信号等の受信用チューナである。テレビ放送受信部１７は、選択された放送チャンネルに応じた放送番組の番組データを、アンテナ２１を介して受信し、制御部２０に出力する。
【００５２】
制御部２０は、番組データに含まれる映像信号を表示部１１に表示するための映像処理を実行し、また、番組データに含まれる音声信号をスピーカ１２から出力するための音声処理を実行する。
【００５３】
［動作説明］
次に、本実施形態に係るポインティングシステム１００の動作について説明する。
【００５４】
（リモートコントローラ３０の処理）
まず、リモートコントローラ３０側の処理について説明する。
図５は、リモートコントローラ３０の処理を示すフローチャートである。
ユーザは、リモートコントローラ３０を把持して、リモートコントローラ３０の先端側をＰＣ１０へ向ける。このとき、画面３上でテレビジョン放送が放送されるＴＶ放送モードである場合には、ユーザは、切り替えボタン３３を操作することで、ＰＣモードへ切り替えておく。
【００５５】
ユーザが、リモートコントローラ３０に設けられた複数のボタンのうち、１つのボタンを押圧すると、制御部２０により、ボタンの押圧が検出される（ステップ１０１のＹＥＳ）。
【００５６】
なお、ユーザが押圧するボタンは、チャンネルボタン３２、チャンネルアップダウンボタン３４、音量アップダウンボタン３５のうち、どのボタンであっても構わない。なお、以降の説明では、ユーザが操作するボタンは、便宜的に、チャンネルボタン３２（以下、単にボタン３２）であるとして説明する。
【００５７】
制御部２０は、ボタン３２の押圧を検出すると、発光部３７を制御して、発光部３７から赤外線を発光させる（ステップ１０２）。このとき、制御部２０は、発光部３７から所定の周期で点滅する赤外線を発光させる。
【００５８】
ユーザが、ボタン３２の押圧を解除すると、制御部２０により、ボタン３２の押圧の解除が検出される（ステップ１０３のＹＥＳ）。制御部２０は、ボタン３２の押圧の解除を検出すると、発光部３７の発光を終了させ、発光部３７を消灯させる（ステップ１０４）。
【００５９】
（ＰＣ１０の処理）
次に、ＰＣ１０の処理について説明する。
【００６０】
「基本枠４１の設定及び光点検索枠４２の設定」
まず、ＰＣ１０の制御部２０が、撮像部１３により撮像され、画像処理部１４によって処理された撮像画像４０に対して、基本枠４１及び光点検索枠４２を設定するときの処理について説明する。
【００６１】
図６は、撮像画像４０、基本枠４１、光点検索枠４２を示す図である。図７は、基本枠４１及び光点検索枠４２を設定する際の処理を示すフローチャートである。図８は、基本枠４１の設定位置を説明するための図である。
【００６２】
詳細は後述するが、本実施形態では、ユーザがリモートコントローラ３０のボタン３２を押圧した状態で、リモートコントローラ３０を空間操作した際に、リモートコントローラ３０の空間操作に応じて、ポインタ１が画面３上で移動される。この原理について、簡単に説明する。
【００６３】
ユーザがボタン３２を押圧し、発光部３７から赤外線が発光されている状態で、リモートコントローラ３０を移動させる。すると、撮像部１３により撮像された撮像画像４０内で、発光部３７の赤外線による光点４（高輝度点）がリモートコントローラ３０の移動に応じて動く。つまり、リモートコントローラ３０の空間内での動きと、撮像画像４０内での光点４の動きには、相関関係があるので、この関係が利用されて、ポインタ１が画面３上で移動される。
【００６４】
ここで、撮像された撮像画像４０全体に対して光点４の動き等を判定しても構わない。しかし、本実施形態では、リモートコントローラ３０と、ＰＣ１０との距離によって、画面３上でのポインタ１の移動距離が変化してしまうことを抑制する等の理由で、上記距離に応じた大きさの基本枠４１を設定することとしている。ここで、基本枠４１とは、光点４の移動距離の基準となる枠である。
【００６５】
また、本実施形態では、外乱光を除去する等の理由で、撮像画像４０内に光点検索枠４２を設定することとしている。ここで、光点検索枠４２とは、光点４の検索用の枠であって、光点４の動きと、光点４の消灯とが判定される範囲を決定する枠である。
【００６６】
図７を参照して、ＰＣ１０の制御部２０は、リモートコントローラ３０の発光部３７からの赤外線を初めて受光したか否かを判定する（ステップ２０１）。この場合、制御部２０は、撮像部１３により撮像され、画像処理部１４から入力された撮像画像４０内に、赤外線による光点４が含まれるか否かを判定することで、赤外線が初めて受光されたか否かを判定する。
【００６７】
発光部３７からの赤外線を初めて受光したと判定された場合（ステップ２０１のＹＥＳ）、制御部２０は、光点４の大きさと、光点４の中心位置を求める（ステップ２０２）。
【００６８】
一方、発光部３７からの赤外線を初めて受光した場合でないとき（ステップ２０１のＮＯ）、制御部２０は、設定済みの基本枠４１と、光点検索枠４２とを使用する（ステップ２０７）。
【００６９】
制御部２０は、光点４の大きさと、光点４の中心位置を求めると、次に、基本枠４１の大きさを決定する（ステップ２０３）。この場合、基本枠４１の大きさは、光点４の大きさに比例される。これにより、基本枠４１の大きさは、リモートコントローラ３０及びＰＣ１０との距離に比例することになる。
【００７０】
すなわち、基本枠４１の大きさは、リモートコントローラ３０及びＰＣ１０との距離が遠いほど小さくなり、上記距離が近いほど大きくなる（図９参照）。表示部１１の画面３に対するポインタ１の移動量は、この基本枠４１の大きさに対する光点の移動量に基づいて決定される。
【００７１】
次に、制御部２０は、基本枠４１の位置を決定する（ステップ２０４）。この場合、基本枠４１の位置は、撮像画像４０と、光点４との位置関係に応じた位置に設定される。例えば、光点４の位置が撮像画像４０内で、上寄り、下寄り、左寄り、右寄り位置の場合には、基本枠４１は、それぞれ、撮像画像４０内で上寄り、下寄り、左寄り、右寄りの位置に設定される。
【００７２】
次に、制御部２０は、基本枠４１が撮像画像４０の端に接しないように縮小する（ステップ２０５）。図８を参照して、図８には、基本枠設定範囲枠４３が示されている。基本枠設定範囲枠４３の大きさは、撮像画像４０よりも少し小さい程度の大きさとされる。制御部２０は、ステップ２０５において、基本枠４１の少なくとも一部がこの基本枠設定範囲枠４３を超えるかを判定する。そして、制御部２０は、基本枠４１の少なくとも一部が、基本枠設定範囲枠４３を超える場合に、この基本枠設定範囲枠４３を超えないように、基本枠４１を縮小する。
【００７３】
このように、基本枠４１を基本枠設定範囲枠４３内とすることで、光点検索枠４２が撮像画像４０の外側にはみ出てしまうことを防止することができる。
【００７４】
次に、制御部２０は、光点検索枠４２の大きさを決定し、光点検索枠４２を基本枠４１の周囲に設定する（ステップ２０６）。光点検索枠４２の大きさは、基本枠４１を所定の倍率で拡大することで、決定されており、光点検索枠４２は、基本枠４１よりもすこし大きい程度の大きさの枠とされる。光点検索枠４２が、基本枠４１よりも大きい枠とされることで、ユーザがリモートコントローラ３０で表示部１１の画面３の端を指し示したような場合に、光点４が検索できなくなってしまうことを防止することができる。
【００７５】
撮像画像４０内に光点検索枠４２を設定し、この光点検索枠４２内で、光点４の動き等を判定することで、外乱光の影響を排除することができる。
【００７６】
図９は、ユーザが、リモートコントローラ３０のボタン３２を押圧して、発光部３７を発光させた状態で、リモートコントローラ３０を左右に振ったときの、撮像画像４０内での光点４の動きの様子を示す図である。図９（Ａ）には、ユーザがＰＣ１０の遠くでリモートコントローラ３０を振ったときの光点４の動きが示されている。一方、図９（Ｂ）には、ユーザがＰＣ１０の近くでリモートコントローラ３０を振ったときの光点４の動きが示されている。なお、図９（Ａ）及び図９（Ｂ）では、ユーザは、リモートコントローラ３０を空間内で同じ距離だけ左右に動かしている。
【００７７】
図９（Ａ）及び図９（Ｂ）とを比較すると、撮像画像４０に対する光点４の移動距離ｄ１の比率と、撮像画像４０に対する光点４の移動距離ｄ２の比率とは異なっている。しかし、図９（Ａ）及び図９（Ｂ）では、基本枠４１に対する光点４の移動距離ｄ１の比率と、基本枠４１に対する光点４の移動距離ｄ２の比率とは、同じである。ポインタ１の表示部１１の画面３に対する移動距離は、基本枠４１に対する光点４の移動距離により決定されるので、図９（Ａ）及び図９（Ｂ）では、ポインタ１は、同じ距離だけ画面３上で移動されることになる。
【００７８】
すなわち、本実施形態では、リモートコントローラ３０と、ＰＣ１０との距離によって、画面３上でのポインタ１の移動距離が変化してしまうことを抑制することができる（操作距離補正）。
【００７９】
「ポインタ１が移動するときの処理及びクリック等の処理」
次に、ポインタ１が移動するときの処理及びクリック等の処理について説明する。
図１０〜図１３は、このときのＰＣ１０の処理を示すフローチャートである。
【００８０】
図１０を参照して、ＰＣ１０の制御部２０は、リモートコントローラ３０の発光部３７から発せられた赤外線を受光したか否かを判定する（ステップ３０１）。この場合、制御部２０は、撮像部１３により撮像された撮像画像４０内の光点検索枠４２内に、赤外線による光点４が含まれるか否かを判定することで、受光の有無を判定する。
【００８１】
ユーザがリモートコントローラ３０を把持してＰＣ１０側へ向けた状態でボタン３２を押圧している場合、発光部３７から赤外線が発せられて、赤外線が受光される（ステップ３０１ＹＥＳ）。赤外線が受光されると、制御部２０は、光点４の中心位置を求め、撮像画像４０内の基本枠４１に対する光点４の移動量を算出する（ステップ３０３）。
【００８２】
次に、制御部２０は、光点４が移動したか否かを判定する（ステップ３０４）。光点４が移動していないと判定された場合（ステップ３０４のＮＯ）、制御部２０は、画面３上で前回と同様の位置にポインタ１を表示させる（ステップ３０５）。
【００８３】
一方、光点４が移動していると判定された場合（ステップ３０４のＹＥＳ）、次のステップ４０１へ進む。
図１１を参照して、ステップ４０１では、制御部２０は、現在のモードがドラッグ処理モードであるか否かを判定する。
【００８４】
ドラッグ処理モードであると判定された場合（ステップ４０１のＹＥＳ）、制御部２０は、ステップ５０１（図１２参照）へ進む。一方、ドラッグ処理モードでないと判定された場合（ステップ４０１のＮＯ）、制御部２０は、一定期間内での光点４の移動が少ないか否かを判定する（ステップ４０２）。
【００８５】
一定期間内での光点４の移動が少ないと判定された場合（ステップ４０２のＹＥＳ）、制御部２０は、ドラッグ処理モードへ移行し（ステップ４０６）、ステップ５０１へ進む。
【００８６】
一方、一定期間内に、光点４が所定の移動量以上の移動している場合（ステップ４０２のＮＯ）、制御部２０は、光点４が撮像画像４０内の光点検索枠４２内で上下方向、または左右方向に大きく移動されたか否かを判定する（ステップ４０３）。
【００８７】
光点４が上下方向、または左右方向に大きく移動された場合（ステップ４０３のＹＥＳ）、制御部２０は、スクロール処理モードへ移行し（ステップ４０７）、ステップ５０１へ進む。
【００８８】
一方、ステップ４０３での判定が否定的であった場合（ステップ４０３のＮＯ）、制御部２０は、光点４が光点検索枠４２内で右に大きく移動して停止したか否かを判定する（ステップ４０４）。光点４が右に大きく移動して停止された場合（ステップ４０４のＹＥＳ）、制御部２０は、右クリック処理モードへと移行し（ステップ４０８）、ステップ５０１へ進む。
【００８９】
ステップ４０４での判定が否定的であった場合（ステップ４０４のＮＯ）、次に、制御部２０は、光点４が光点検索枠４２内で左に大きく移動して停止したか否かを判定する（ステップ４０５）。光点４の動きが、左に大きく移動して停止されたと判定された場合（ステップ４０５のＹＥＳ）、制御部２０は、左クリック処理モードへ移行し（ステップ４０９）、ステップ５０１へ進む。
【００９０】
一方、ステップ４０５の判定が否定的であった場合（ステップ４０５のＮＯ）、ドラッグ処理モード、スクロール処理モード、クリック処理モード（右クリック処理モード、左クリック処理モード）は、切り替えられず、制御部２０は、前回の処理モードのままステップ５０１へ進む。
【００９１】
図１２を参照して、ステップ５０１では、制御部２０は、現在のモードがドラッグ処理モードであるか否かを判定する。現在のモードがドラッグ処理モードである場合（ステップ５０１のＹＥＳ）、制御部２０は、画面３上で、ドラッグの処理と、ポインタ１の移動処理を実行する（ステップ５０４）。これにより、ユーザは、例えば、表示部１１の画面３上に表示されたアイコン２や、ウィンドウ、ウェブページ等をドラッグすることができる。
【００９２】
ここで、ドラッグ中において、ポインタ１及びドラッグされているドラッグ対象物の移動距離は、撮像画像４０内の基本枠４１に対する光点４の移動量に基づいて算出された距離とされる（図９参照）。従って、ユーザは、ＰＣ１０の遠くで、リモートコントローラ３０を空間操作した場合であっても、ＰＣ１０の近くでリモートコントローラ３０を空間操作した場合であっても、画面３上で同じようにポインタ１及びドラッグ対象物を移動させることができる。なお、後述のスクロール処理、ポインタ１移動処理についても同様である。
【００９３】
ステップ５０１において、ドラッグ処理モードでなかった場合（ステップ５０１のＮＯ）、制御部２０は、スクロール処理モードであるか否かを判定する（ステップ５０２）。
【００９４】
スクロール処理モードである場合（ステップ５０２のＹＥＳ）、制御部２０は、画面３上で、スクロール処理を実行する。これにより、ユーザは、例えば、表示部１１の画面３上に表示されたウィンドウ、ウェブページ内に表示された画像をスクロールすることができる。
【００９５】
ステップ５０２において、スクロール処理モードでなかった場合（ステップ５０２のＮＯ）、制御部２０は、撮像画像４０内の基本枠４１に対する光点４の移動量に応じて、画面３上でポインタ１を移動させる（ステップ５０３）。
【００９６】
再び図１０を参照して、ステップ３０１において、リモートコントローラ３０の発光部３７から赤外線を受光していない場合（ステップ３０１のＮＯ）、制御部２０は、所定期間内に、発光部３７からの赤外線を再び受光したか否かを判定する（ステップ３０２）。上記所定期間は、発光部３７の点滅周期を考慮して、適宜設定される。
【００９７】
制御部２０は、ステップ３０２の判定により、発光部３７の点滅に基づく光点４の消灯と、ボタン３２の押圧の解除に基づく光点４の消灯とを区別して認識することができる。
【００９８】
所定期間内に、発光部３７からの赤外線を再び受光した場合、（ステップ３０２のＹＥＳ）、制御部２０は、ステップ３０１で赤外線を受光したと判定された場合と同様に、ステップ３０３へ進み、上記したステップ３０３以降の処理を実行する。
【００９９】
一方、所定期間内に、発光部３７からの赤外線を再び受光しなかった場合（ステップ３０２のＮＯ）、制御部２０は、次のステップ３０６へ進む。ステップ３０６では、制御部２０は、既にクリック処理済であるか否かを判定する。既にクリック処理済である場合（ステップ３０６のＹＥＳ）、制御部２０は、そのまま処理を終了する。一方、クリック処理がまだ済んでいない場合（ステップ３０６のＮＯ）、制御部２０は、次のステップ６０１へ進む。
【０１００】
図１３を参照して、ステップ６０１では、制御部２０は、現在のモードが右クリック処理モードであるか否かを判定する。右クリック処理モードである場合（ステップ６０１のＹＥＳ）、制御部２０は、右クリックの処理を実行する。この場合、例えば、制御部２０は、そのときのポインタ１の位置に関連するメニュー等の表示処理を実行する。
【０１０１】
一方、現在のモードが右クリック処理モードでなかった場合（ステップ６０１のＮＯ）、制御部２０は、現在のモードが左クリック処理モードであるか否かを判定する（ステップ６０２）。現在のモードが左クリック処理モードである場合（ステップ６０２のＹＥＳ）、制御部２０は、左クリックの処理を実行する（ステップ６０５）。この場合、制御部２０は、例えば、そのときのポインタ１の位置がアイコン２上である場合には、そのアイコン２を選択、実行する処理を行う。
【０１０２】
一方、現在のモードが左クリック処理モードでなかった場合（ステップ６０２のＮＯ）、現在のモードがドラッグ処理モードであるか否かを判定する（ステップ６０３）。現在のモードがドラッグ処理モードである場合（ステップ６０３のＹＥＳ）、制御部２０は、ドロップの処理を実行する（ステップ６０６）。
【０１０３】
図１０〜図１３に示す処理により、ユーザは、リモートコントローラ３０のボタン３２を押圧した状態で、空間操作することで、ポインタ１を画面３上で簡単に移動させることができる。また、ユーザは、リモートコントローラ３０のボタン３２の押圧を解除することで、間単に右クリックあるいは左クリックの操作も行うことができる（クリック処理モード）（ステップ６０４、ステップ６０５参照）。
【０１０４】
また、ユーザは、ボタン３２の押圧の解除時に右クリックが実行される右クリック処理モードと、ボタン３２の押圧の解除時に左クリックが実行される左クリック処理モードとをリモートコントローラ３０の空間操作により、簡単に切り替えることができる（ステップ４０４、４０５参照）。
【０１０５】
ユーザは、左クリック処理モードを右クリック処理モードに切り替える場合、ボタン３２を押圧した状態で、リモートコントローラ３０を右に素早く移動させて停止すればよい（ステップ４０４参照）。一方、ユーザは、右クリック処理モードを左クリック処理モードへ切り替える場合、ボタン３２を押圧した状態で、リモートコントローラ３０を左に素早く移動させて停止すればよい（ステップ４０５参照）。
【０１０６】
さらに、ユーザは、例えば、画面３上のアイコン２やウィンドウ、ウェブページ等のドラッグ対象物上に、ポインタ１を位置させて一定期間、停止させることで、ドラッグ対象物をドラッグすることができる（ステップ４０２参照）。そして、ユーザは、ボタン３２を押圧した状態でリモートコントローラ３０を空間操作して、ドラッグ対象物を目的の位置まで移動させて、ボタン３２の押圧を解除することで、ドラッグ対象物をドロップすることができる（ステップ５０４、６０６参照）。
【０１０７】
さらに、ユーザは、例えば、ウィンドウ、ウェブページ等のスクロール対象物上にポインタ１を位置させた後、リモートコントローラ３０を上下方向、あるいは、左右方向に素早く移動させることで、スクロール対象物をスクロールさせることができる（ステップ４０３、５０５参照）。
【０１０８】
さらに、本実施形態のリモートコントローラ３０は、発光部３７が所定の周期で点滅する形態であるので、リモートコントローラ３０の省電力化を図ることができる。
一方、ＰＣ１０の制御部２０は、光点４の消灯が発光部３７の点滅に基づく消灯であるか、またはボタン３２の押圧の解除に基づく光点４の消灯であるかを認識することができる（ステップ３０２参照）。そして、制御部２０は、点滅に基づく消灯である場合には、右クリック、左クリック、ドラッグの処理を実行しない（ステップ３０２のＹＥＳ参照）。これにより、リモートコントローラ３０が周期的に点滅していることにより、右クリック、左クリック、ドラッグの処理が実行されてしまい、誤動作が実行されてしまうことを防止することができる。
【０１０９】
さらに、本実施形態のＰＣ１０では、撮像画像４０内の１つの光点４の動き、及び光点４の消灯に基づいて、ポインタ１の移動、クリック（右クリック、左クリック）、ドラッグアンドドロップ、スクロールの処理を実現している。これにより、表示部一体型ＰＣ１０用、テレビジョン装置用のリモートコントローラ３０として一般的に用いられるリモートコントローラ３０を、ポインタ１の移動、クリック等が操作可能なポインティングデバイスとして機能させることができる。これにより、特別なリモートコントローラ３０を用いる必要がなくなるので、コストを削減することができる。
【０１１０】
また、本実施形態では、光点４の消灯の判定が、光点検索枠４２内での消灯に対して実行されることから（ステップ３０１参照）、光点検索枠４２外で光点４が消灯した場合には、右クリック、左クリック、ドロップの処理が実行されない。これにより、ユーザが画面３から外れた位置をリモートコントローラ３０で指し示した状態で、ボタン３２の押圧を解除したときに、クリック等が実行されてしまうなどの誤処理が防止される。
【０１１１】
［第１実施形態変形例］
以上の説明では、光点４が一定期間内で移動が少ない場合にドラッグ処理モード、光点４が上下左右方向に大きく移動した場合にスクロール処理モードへ移行するとして説明した。また、光点４が右に大きく移動して停止した場合に右クリック処理モード、左に大きく移動した場合に左クリックモードへ移行するとして説明した。しかし、これらの各処理モードの移行の条件は、これらに限られない。
【０１１２】
典型的には、ユーザがリモートコントローラ３０を空間操作してポインタ１を移動させる際に、通常用いられない光点４の動きであれば、どのような光点４の動きに対して、各処理モードの移行の条件が割り当てられてもよい。
【０１１３】
以上の説明では、右クリック処理モードが左クリック処理モードに切り替えられる条件と、左クリック処理モードが右クリック処理モードに切り替えられる条件とが異なる場合について説明したが、この条件は、同じであってもよい。
【０１１４】
また、以上の説明では、シングルクリックについて説明したが、ダブルクリック（右、左両方）が実行されてもよい。例えば、ポインタ１がデスクトップ上のアイコン２上に位置している場合などには、左ダブルクリックの処理が実行されてもよい。
【０１１５】
＜第２実施形態＞
次に、本発明の第２の実施形態について説明する。
なお、第２実施形態以降の説明において、上記第１実施形態と同様の構成及び機能を有する各部については、同様の符号を付し、説明を簡略化または省略する。
図１４は、第２実施形態に係るポインティングシステム１００のＰＣ１０の処理を示すフローチャートである。
【０１１６】
ＰＣ１０の制御部２０は、リモートコントローラ３０の発光部３７から発せられた赤外線を受光したか否かを判定する（ステップ７０１）。この場合、制御部２０は、撮像部１３により撮像された撮像画像４０内の光点検索枠４２内に、赤外線による光点４が含まれるか否かを判定することで、受光の有無を判定する。
【０１１７】
ユーザがリモートコントローラ３０を把持してＰＣ１０側へ向けた状態でボタン３２を押圧している場合、発光部３７から赤外線が発せられて、赤外線が受光される（ステップ７０１ＹＥＳ）。赤外線が受光されると、制御部２０は、撮像画像４０内の基本枠４１に対する光点４の移動量を算出する（ステップ７０２）。
【０１１８】
次に、制御部２０は、算出された光点４の移動量が所定の閾値未満であるか否かを判定する（ステップ７０３）。この閾値の値は、ユーザの手振れの大きさを考慮して適宜設定される。
【０１１９】
光点４の移動量が所定の閾値未満である場合（ステップ７０３のＹＥＳ）、制御部２０は、光点４の移動量に対する、画面３上でのポインタ１の移動比率を小さくする（ステップ７０４）（スモールモード（第１のモード））。
【０１２０】
一方、光点４の移動量が所定の閾値以上である場合（ステップ７０３のＮＯ）、制御部２０は、光点４の移動量に対する、画面３上でのポインタ１の移動比率を大きくする（ステップ７０５）（ビックモード（第２のモード））。
【０１２１】
このような処理により、リモートコントローラ３０の空間内での移動が少ない場合には、画面３上のポインタ１の移動が一段と小さくなる。これにより、手ぶれの影響によりポインタ１が画面３上でぶれてしまうことを抑制することができる。また、また、ユーザは、ポインタ１を画面３上で精細にコントロールすることができる。
【０１２２】
一方、リモートコントローラ３０の空間内での移動が大きい場合には、画面３上のポインタ１の移動が一段と大きくなる。これにより、ユーザは、ポインタ１を大きく移動させたいときは、リモートコントローラ３０を空間内で大きく移動させることで、効率よくポインタ１を移動させることができる。
【０１２３】
図１４に示す例では、モードがビックモードとスモールモードの２つのモードであるとして説明した。しかし、このモードは、３段階以上であってもよい。
【０１２４】
上記閾値は、スモールモード時及びビックモード時に変化するような処理が実行されてもよい。この場合、例えば、スモールモード時には、上記閾値が大きくなり、ビックモード時には、上記閾値が小さくなるような処理が実行されてもよい。これにより、各モードで安定した操作が可能となる。
【０１２５】
あるいは、制御部２０は、ビックモード時に、撮像画像４０内（光点検索枠４２内）で光点４が消灯された場合において、クリックに関する処理（左右シングルクリック、左右ダブルクリック）をキャンセルしてもよい。通常、ユーザがクリックに関する操作を行うとき、リモートコントローラ３０を空間内で大きく移動させていることは少ない。つまり、ビックモード時において、撮像画像４０内で光点４が消灯された場合、誤操作である場合が多い。そこで、制御部２０は、ビックモード時に、撮像画像４０内（光点検索枠４２内）で光点４が消灯された場合には、クリックに関する処理をキャンセルしてもよい。これにより、誤操作が防止される。
【０１２６】
＜各種変形例＞
上述の各実施形態の説明では、制御デバイスの一例として、表示部１１と、ＰＣ１０とが一体化された表示部一体型ＰＣ１０を例に挙げて説明した。しかし、制御デバイスは、これに限られない。例えば、表示部１１と、ＰＣ１０とが分離されていてもよい。また、撮像部１３も、表示部１１、ＰＣ１０から分離されていてもよい。制御デバイスの他の例としては、例えば、テレビジョン装置、カーナビゲーション装置等が挙げられる。
【符号の説明】
【０１２７】
１…ポインタ
２…アイコン
３…画面
４…光点
１０…ＰＣ
１１…表示部
１３…撮像部
１５…赤外線受信部
２０…制御部
３０…リモートコントローラ
３６…操作部
３７…発光部
４０…撮像画像
４１…基本枠
４２…光点検索枠
４３…基本枠設定範囲枠
１００…ポインティングシステム
【特許請求の範囲】
【請求項１】
操作部と、
前記操作部の操作に応じて発光する発光部とを有するポインティングデバイスと、
前記発光部の発光時に前記発光部からの光を撮像し、前記光による光点の情報を含む画像を出力する撮像部と、
画面を有し、前記画面上にポインタを表示させる表示部と、
前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する制御部とを有する制御デバイスと
を具備するポインティングシステム。
【請求項２】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の消灯時に左クリックに関する処理が実行される左クリック処理モードと、前記光点の消灯時に右クリックに関する処理が実行される左クリック処理モードとを切り替える
ポインティングシステム。
【請求項３】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じて前記ポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてドラッグが実行され、かつ、前記光点の消灯時にドロップが実行されるドラッグ処理モードへ切り替える
ポインティングシステム。
【請求項４】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じてポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてスクロールが実行されるスクロール処理モードに切り替える
ポインティングシステム。
【請求項５】
請求項１に記載のポインティングシステムであって、
前記発光部は、前記操作部の操作時に所定の周期で点滅し、
前記制御部は、前記画像内の前記光点の情報に基づいて、前記発光部の前記点滅に基づく前記光点の消灯であるか、または前記操作部の操作の解除に基づく前記光点の消灯であるかを判定し、前記点滅に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行せず、かつ、前記操作部の操作の解除に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行する
ポインティングシステム。
【請求項６】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の移動量を算出し、前記移動量の大きさに応じて、第１の移動比率で前記移動量に対して前記ポインタを移動させる第１のモードと、前記第１の移動比率よりも大きい第２の移動比率で前記移動量に対して前記ポインタを移動させる第１のモードとを切り替える
ポインティングシステム。
【請求項７】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記画像内の前記光点の大きさを判定し、前記撮像部により撮像された画像内に、前記表示部の前記画面に対応する基本枠を、前記光点の大きさに応じた大きさで設定し、前記基本枠内での前記光点の動きに応じて、前記ポインタを前記画面上で移動させる
ポインティングシステム。
【請求項８】
請求項７に記載のポインティングシステムであって、
前記制御部は、前記画像内に基本枠の周囲に光点検索枠を設定し、前記光点検索枠内で、前記光点の動きと、前記光点の消灯とを判定する
ポインティングシステム。
【請求項９】
操作部と、前記操作部の操作に応じて発光する発光部とを有するポインティングデバイスの、前記発光部からの光を撮像し、撮像された画像内に含まれる前記光による光点の情報に基づいて、画面上でポインタを移動させる制御装置であって、
前記発光部の発光時に前記発光部からの光を撮像し、前記光点の情報を含む前記画像を出力する撮像部と、
前記画面を有し、前記画面上にポインタを表示させる表示部と、
前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する制御部と
を具備する制御デバイス。
【請求項１０】
操作部の操作に応じて発光する発光部からの光を撮像し、
前記光による光点の情報を含む画像を出力し、
撮像された前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、
前記光点の動きに応じて前記画面上で前記ポインタを移動させ、
前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、
前記光点の消灯時にクリックに関する処理を実行する
制御方法。
【請求項１】
操作部と、
前記操作部の操作に応じて発光する発光部とを有するポインティングデバイスと、
前記発光部の発光時に前記発光部からの光を撮像し、前記光による光点の情報を含む画像を出力する撮像部と、
画面を有し、前記画面上にポインタを表示させる表示部と、
前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する制御部とを有する制御デバイスと
を具備するポインティングシステム。
【請求項２】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の消灯時に左クリックに関する処理が実行される左クリック処理モードと、前記光点の消灯時に右クリックに関する処理が実行される左クリック処理モードとを切り替える
ポインティングシステム。
【請求項３】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じて前記ポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてドラッグが実行され、かつ、前記光点の消灯時にドロップが実行されるドラッグ処理モードへ切り替える
ポインティングシステム。
【請求項４】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の動きが所定の条件を満たすか否かを判定し、前記所定の条件を満たす場合に、前記光点の動きに応じてポインタが移動され、かつ、前記光点の消灯時にクリックに関する処理が実行されるクリック処理モードを、前記光点の動きに応じてスクロールが実行されるスクロール処理モードに切り替える
ポインティングシステム。
【請求項５】
請求項１に記載のポインティングシステムであって、
前記発光部は、前記操作部の操作時に所定の周期で点滅し、
前記制御部は、前記画像内の前記光点の情報に基づいて、前記発光部の前記点滅に基づく前記光点の消灯であるか、または前記操作部の操作の解除に基づく前記光点の消灯であるかを判定し、前記点滅に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行せず、かつ、前記操作部の操作の解除に基づく前記光点の消灯であると判定された場合に、前記クリックに関する処理を実行する
ポインティングシステム。
【請求項６】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記光点の移動量を算出し、前記移動量の大きさに応じて、第１の移動比率で前記移動量に対して前記ポインタを移動させる第１のモードと、前記第１の移動比率よりも大きい第２の移動比率で前記移動量に対して前記ポインタを移動させる第１のモードとを切り替える
ポインティングシステム。
【請求項７】
請求項１に記載のポインティングシステムであって、
前記制御部は、前記画像内の前記光点の大きさを判定し、前記撮像部により撮像された画像内に、前記表示部の前記画面に対応する基本枠を、前記光点の大きさに応じた大きさで設定し、前記基本枠内での前記光点の動きに応じて、前記ポインタを前記画面上で移動させる
ポインティングシステム。
【請求項８】
請求項７に記載のポインティングシステムであって、
前記制御部は、前記画像内に基本枠の周囲に光点検索枠を設定し、前記光点検索枠内で、前記光点の動きと、前記光点の消灯とを判定する
ポインティングシステム。
【請求項９】
操作部と、前記操作部の操作に応じて発光する発光部とを有するポインティングデバイスの、前記発光部からの光を撮像し、撮像された画像内に含まれる前記光による光点の情報に基づいて、画面上でポインタを移動させる制御装置であって、
前記発光部の発光時に前記発光部からの光を撮像し、前記光点の情報を含む前記画像を出力する撮像部と、
前記画面を有し、前記画面上にポインタを表示させる表示部と、
前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、前記光点の動きに応じて前記画面上で前記ポインタを移動させ、かつ、前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、前記光点の消灯時にクリックに関する処理を実行する制御部と
を具備する制御デバイス。
【請求項１０】
操作部の操作に応じて発光する発光部からの光を撮像し、
前記光による光点の情報を含む画像を出力し、
撮像された前記画像内の前記光点の情報に基づいて、前記光点の動きを判定し、
前記光点の動きに応じて前記画面上で前記ポインタを移動させ、
前記画像内の前記光点の情報に基づいて、前記光点の消灯を判定し、
前記光点の消灯時にクリックに関する処理を実行する
制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−３５３３（Ｐ２０１２−３５３３Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３８２２４（Ｐ２０１０−１３８２２４）
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]