ポインティング装置、情報端末装置、及び、プログラム
【課題】煩雑な操作を行うことなく、ユーザが意図する投影画面上の対象へ、ポインタを自動で導くことができるポインティング装置、情報端末装置、及び、プログラムを提供する。
【解決手段】取得されたポインタと各対象の位置座標に基づいて、座標差算出部４２は、ポインタと各対象との座標差を算出する。そして、抽出部４３は、座標差算出部４２により算出された座標差を参照して、ポインタと対象との座標差が所定の座標差内である対象を抽出する。そして、座標変換部４５は、ポインタの位置座標を抽出部４３が抽出した対象の位置座標へ変換する。
【解決手段】取得されたポインタと各対象の位置座標に基づいて、座標差算出部４２は、ポインタと各対象との座標差を算出する。そして、抽出部４３は、座標差算出部４２により算出された座標差を参照して、ポインタと対象との座標差が所定の座標差内である対象を抽出する。そして、座標変換部４５は、ポインタの位置座標を抽出部４３が抽出した対象の位置座標へ変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影画面上のポインタを、ユーザが意図する対象へと自動で導くことができるポインティング装置、情報端末装置、及び、プログラムに関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータや外部映像機器をプロジェクタに接続し、プロジェクタが各種の表示画像をスクリーン等の投影面に拡大表示する場合において、投影面上に映し出された投影画面内の任意の位置を指示するために、レーザ光線等を照射するポインティング装置が使用される。
【０００３】
このような投影システムに関する技術として、投影画面上にポインティング装置により照射された光の像の位置を、正確に検出する技術が知られている（例えば、特許文献１）。この技術を用いることで、ポインティング装置により、ユーザが意図する位置へ投影画面上のポインタを移動することが可能となる。
【０００４】
しかしながら、投影画面が小さい場合、或いは、投影画面からユーザが離れている場合等においては、ポインティング装置で投影画面上のポインタを操作し、ユーザが意図する位置にポインタを正確に合わせることは非常に難しく、投影画面上のアイコン等を選択しにくいために、ユーザが意図しない処理を実行してしまうという問題があった。
【０００５】
この問題の解決法として、例えば、特許文献２では、カーソル付近の表示画面を拡大し、アイコンを選択し易くする技術が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０３３３８９号公報
【特許文献２】特開２００１−２４２９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に提案されている方法によれば、ユーザはアイコン等を選択するために、選択したいアイコンが拡大表示の対象となる領域内に含まれるようにポインタ（カーソル）を移動調整し、拡大表示するための操作を行う必要がある。また、拡大表示の対象となる領域の近傍に存在するアイコン等が、拡大された表示画面に隠れてしまうため、隠れているアイコン等を選択したい場合には、ユーザは、拡大表示を通常の表示に戻し、再度、選択したいアイコンが含まれるようにポインタ（カーソル）を移動調整する等の操作を行わなければならない。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、煩雑な操作を行うことなく、ユーザが意図する投影画面上の対象へ、ポインタを自動で導くことができるポインティング装置、情報端末装置、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る情報端末装置は、
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、ポインタの位置を示す座標、及び、所定の動作又は機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
を具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、煩雑な操作を伴うことなく、ユーザが意図する対象へとポインタを自動で導くことが可能となる。また、操作上の利便性を向上させることができると共に、ユーザが意図しない処理が実行されてしまうことを防止することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１における投影システムの構成を示す図である。
【図２】実施形態１におけるポインティング装置の概略の構成を示す図である。
【図３】実施形態１におけるプロジェクタの概略の構成を示す図である。
【図４】実施形態１におけるＰＣの概略の構成を示す図である。
【図５】実施形態１におけるアシスト処理の流れを示すフローチャートである。
【図６】実施形態２におけるＰＣの概略の構成を示す図である。
【図７】実施形態２におけるアシスト処理の流れを示すフローチャートである。
【図８】実施形態３におけるアシスト処理の流れを示すフローチャートの一部である。
【図９】実施形態３におけるアシスト処理の流れを示すフローチャートの続きである。
【図１０】実施形態１における変換後の座標へポインタを移動する際の処理の流れを示すフローチャートである。
【図１１】実施形態１における決定ボタンが押下げられた際の処理の流れを示すフローチャートである。
【図１２】実施形態２におけるアシストモードを選択された際の処理の流れを示すフローチャートである。
【図１３】ポインタと各対象の位置座標と、撮像時刻を関連付けたテーブルの例を示す図である。
【図１４】実行回数で対象の優先順位を決定する場合における優先順位テーブルの例を示す図である。
【図１５】対象毎の優先度を示すテーブルの例を示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
（実施形態１）
本実施形態における投影システムＰＳは、図１が示すように、ポインティング装置１とプロジェクタ２とパーソナルコンピュータ（ 以下、ＰＣという）３から構成される。この投影システムＰＳは、ＰＣ３から出力された画像データに基づく表示画像をプロジェクタ２が、スクリーンＳに投影して拡大表示させる構成である。
【００１４】
なお、ＰＣ３には、ポインティング装置１を操作することで、投影画面上のポインタを自在に動かすことができ、所定の処理を実行することを可能とするマウスエミュレータ機能を有するプレゼン用アプリケーションがインストールされているものとする。
【００１５】
まず、図２を参照して、ポインティング装置１の概略的な構成について説明する。
ポインティング装置１は、撮像部１１、座標取得部１２、操作部１３、無線通信部１４、制御部１５、ＲＯＭ(Read Only Memory)１６、ＲＡＭ(Random Access Memory)１７等から構成されている。
【００１６】
ポインティング装置１は、例えば、レーザ発信素子を備える。ユーザは、後述の操作部１３を操作することで、ポインティング装置１を用いて、投影画像（スクリーンＳに投影された表示画像）上の任意の位置を指示することができる。
【００１７】
撮像部１１は、受光部を備え、制御部１５の制御により、ポインティング装置１がスクリーンＳ内にポイントした位置座標信号を受光する。または、ＣＣＤ(Charge Coupled Device)カメラを備える構成でもよく、制御部１５の制御により、スクリーンＳ上の投影画像を撮像する。スクリーンＳには、プロジェクタ２により投影された画像とポインティング装置１が指示した位置に表示されるポインタが映し出されている。
【００１８】
座標取得部１２は、制御部１５の制御により、撮像部１１が受光した位置座標信号を復調して得られたポインタの位置座標（例えば、ポインタの中心座標）または、ＣＣＤカメラが撮像した画像から、ポインタの位置座標と各対象（最小化や最大化等の機能ボタン、アイコン等）の位置座標（例えば、対象の中心座標）を間欠的に（例えば一フレーム毎に）取得する。取得された各位置座標は撮像時刻（又は、取得時刻）と関連付けられて、ＲＡＭ１７に記憶される。座標取得部１２が取得したポインタの座標は、プロジェクタ２を介してＰＣ３に送信される。なお、撮像部１１、座標取得部１２はプロジェクタ２が備える構成にしても良い。
【００１９】
操作部１３は、複数の操作ボタンを備え、ユーザは、操作部１３を操作することで所望する指示を入力する。操作部１３は、例えば、ポインタの近くにある対象（アイコン、機能ボタン等）へポインタを自動で導くアシストモード選択ボタン、後述する優先順位機能のＯＮとＯＦＦを切り替える優先順位機能ボタン、レーザ光線照射ボタン、処理を実行するための決定ボタンを備えている。また、操作部１３は、ユーザが操作ボタンを押下げると、押下げられた操作ボタンに対応する操作信号、例えば、アシストモード選択信号、決定信号等が出力する。
【００２０】
ここで、対象とは、ユーザが選択することで対応した所定の処理が実行されるアイコンや機能ボタン等のことを指す。
【００２１】
無線通信部１４は、後述の座標変換部４５により変換されたポインタの位置座標情報、決定信号等をプロジェクタ２の無線通信部２８へと送信する。
【００２２】
制御部１５は、ＭＰＵ(Micro Processing Unit)とその周辺回路から構成され、ＲＯＭ１６に格納されているプログラムに従って動作し、ポインティング装置１の各部の動作を制御する。また、制御部１５は、移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６を備えている。
【００２３】
ＲＡＭ１７は、制御部１５のワーキングメモリである。また、ＲＡＭ１７は、後述の優先順位テーブル等を記憶する。また、撮像部１１が撮像した画像から座標取得部１２が取得したポインタ及び各対象の位置座標と撮像時刻（又は、取得時刻）とが関連付けられてＲＡＭ１７に記憶されている。
ここで、図１３は、ＲＡＭ１７が保持する座標取得部１２が取得したポインタ及び各対象の位置座標と撮像時刻を関連付けたテーブルの例を示す図である。
【００２４】
移動速度算出部４１は、ＲＡＭ１７に記憶されているポインタの位置座標とその撮像時刻（又は、取得時刻）に基づいて、ポインタの移動速度を算出する。例えば、撮像時刻（又は、取得時刻）Ｔ１、Ｔ２の時点で、ポインタの位置座標が、それぞれ（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）であったとすると、ポインタの移動速度は座標間の距離｛（Ｘ２−Ｘ１）２＋（Ｙ２−Ｙ１）２｝１／２を時間差（Ｔ２−Ｔ１）で割ることで求めることができる。
【００２５】
座標差算出部４２は、座標取得部１２が取得したポインタの位置座標と各対象の位置座標に基づいて、ポインタと各対象（アイコン、機能ボタン等）との座標差（Ｘ座標差とＹ座標差）を算出する。具体的には、ポインタと対象の座標を、それぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）とした場合、Ｘ座標差｜ｘ１−ｘ２｜とＹ座票差｜ｙ１−ｙ２｜を算出する。
【００２６】
抽出部４３は、算出された座標差に基づいて、ポインタから所定の範囲内に存在する対象（アイコン、機能ボタン等）を抽出する。例えば、ポインタ及び対象（アイコン、機能ボタン等）の座標を、それぞれ（ｘ1 , ｙ1）、（ｘ , ｙ）としたとき、そのＸ座標差｜ｘ１−ｘ｜とＹ座標差｜ｙ１−ｙ｜が、｜ｘ１−ｘ｜＜ｊかつ｜ｙ１−ｙ｜＜ｋとなる対象（アイコン、機能ボタン等）を抽出する。
【００２７】
選択部４４は、抽出部４３が抽出した対象（アイコン、機能ボタン等）が複数の場合に、後述の優先順位テーブルを参照して、抽出された複数の対象から１つの対象を選択する。
【００２８】
座標変換部４５は、ポインタの位置座標を、選択部４４により選択された対象の位置座標へ変換する。座標変換部４５により、ポインタの位置座標が変換されると、制御部１５は、変換後のポインタの位置座標情報を無線通信部１４からプロジェクタ２の無線通信部２８へ送信する。プロジェクタ２へ送信された変換後のポインタの位置座標情報は、ＰＣ３へ送られ、ＰＣ３は、変換後のポインタの位置座標情報に基づいて、投影画面上のポインタが移動する。すなわち、ポインタは、選択部４４が選択した対象へと移動される。例えば、変換後のポインタの位置座標を変換前の位置座標より優先させるためのコマンド（以下、優先コマンドという）を一緒に送信し、変換後のポインタの位置座標情報と優先コマンドを受信したＰＣ３は、ポインタを変換後の座標の位置へ移動させ、ポインタを所定時間（例えば、１秒）その位置に留める。
【００２９】
タイマ４６は、所定時間（例えば、１秒）内に、選択部４４により選択された対象に対応した処理を実行させるために、ユーザが操作部１３の決定ボタンの押下げ（以下、クリックという）を行ったかを制御部１５が判定する。
【００３０】
ここで、図１４を参照して、ＲＡＭ１７に記憶されている優先順位テーブルについて説明する。図１４が示す優先順位テーブルは、対象毎にユーザが処理を実行した回数を管理しており、選択部４４は、この優先順位テーブルを参照して、抽出部４３が抽出した対象の中で最も実行回数が多い対象を選択する。この対象毎の実行回数は、例えば、以下の手順でテーブルに登録される。ポインタが特定の対象上にある時に、ユーザがクリックすると、操作部１３から決定信号が出力され、制御部１５が出力された決定信号を受信すると、制御部１５は、クリックされた時点におけるポインタの位置座標を、各対象の位置座標と照合して、ユーザがクリックした対象を特定する。そして、制御部１５は、特定された対象の実行回数を＋１加算する。例えば、図１４を参照して、ユーザがクリックした対象がＡである場合には、＋１加算して、Ａの実行回数は４となる。
【００３１】
次に、図３を参照して、プロジェクタ２の概略的な構成について説明する。
【００３２】
プロジェクタ２は、図３が示すように、入出力インターフェース２１、スケーラ２２、ビデオＲＡＭ２３、プロジェクタエンジン部２４、制御部２５、ＲＯＭ２６、ＲＡＭ２７、無線通信部２８等から構成されている。
【００３３】
入出力インターフェース部２１は、例えば、Ｄ−ｓｕｂ(D-subminiature)１５タイプのＶＧＡ(Video Graphics Array)端子及びＵＳＢ（Universal Serial Bus）等の入出力コネクタ部を備え、入出力インターフェース２１に入力された各種規格の画像データは、システムバスＳＢを介して、スケーラ２２に送られる。
【００３４】
スケーラ２２は、送られてきた画像信号を、所定のフォーマットの画像信号に変換し、変換した画像信号を、ビデオＲＡＭ２３に記憶させ、プロジェクタエンジン部２４に送信する。
【００３５】
プロジェクタエンジン部２４は、ＤＭＤ(Digital Mirror Device)、カラーホイール、投影レンズ等を備え、スケーラ２２から送信された画像信号に応じて、ＤＭＤを駆動するためのＤＭＤ駆動信号を出力し、ＤＭＤを表示駆動する。また、プロジェクタエンジン部２４は、ＤＭＤに照射された白色光を周期的にＲ、Ｂ、Ｇの光に分離するカラーホイールの回転を制御するための回転制御信号を出力する。
【００３６】
カラーホイールを介して、Ｒ、Ｂ、Ｇに分離された光線は、ＤＭＤに照射される。ＤＭＤは、照射された光線の色の画像フレームを表示し、表示された画像フレームは、投影レンズを介して、スクリーンＳに拡大表示される。
【００３７】
制御部２５は、ＭＰＵとその周辺回路から構成され、ＲＯＭ２６に格納されているプログラムに従って、プロジェクタ２の各部の動作を制御する。ＲＡＭ２７は制御部２５のワーキングメモリである。
【００３８】
無線通信部２８は、ポインティング装置１の無線通信部１４から送信される変換後のポインタの位置座標情報、決定信号等を受信する。受信された変換後のポインタの位置座標情報は、制御部２５の制御により、入出力インターフェース２１を介して、ＰＣ３に送信される。
【００３９】
次に、図４を参照して、ＰＣ３の概略的な構成について説明する。ＰＣ３は、ビデオアダプタ３１、表示部３２、ビデオＲＡＭ３３、入出力インターフェース３４、記憶部３５、制御部３６、ＲＯＭ３７、ＲＡＭ３８等を含む構成である。
【００４０】
ビデオアダプタ３１は、表示用の画像データ（ＶＧＡビデオ信号）を生成し、表示部３２に出力する。また、ビデオアダプタ３１は、入出力インターフェース３４を介して、生成したＶＧＡビデオ信号をプロジェクタ２へ送信する。ビデオＲＡＭ３３は、ビデオアダプタ３１が生成した表示用の画像データを随時記憶する。
【００４１】
入出力インターフェース３４は、Ｄ−ｓｕｂ１５タイプのＶＧＡ端子、ＵＳＢ等の入出力コネクタ部を備える。ポインティング装置１から送信されるポインタの位置座標情報及び決定信号等は、入出力インターフェース３４を介して制御部３６へ送られる。
【００４２】
記憶部３５には、前記プレゼン用アプリケーション等の各種のアプリケーションプログラムが格納されている。
【００４３】
制御部３６は、ＣＰＵ(Central Processing Unit)とその周辺回路から構成され、ＲＯＭ３７に格納されているプログラムに従って、ＰＣ３の各部の動作を制御する。また、制御部３６は、ポインティング装置１から送信される変換後のポインタの位置座標情報及び決定信号等に基づいて、投影画像上のポインタを変換後の位置座標へと移動させ、選択されたアイコンや機能ボタンに応じた処理を実行する。ＲＡＭ３８は、制御部３６のワーキングメモリである。
【００４４】
次に、図５を参照して、本実施形態のアシスト処理について説明する。ここでは、ユーザにより優先順位機能がＯＮにされているものとして説明する。なお、本アシスト処理は、ユーザがポインティング装置１の操作部１３を操作してアシストモードを選択することで、操作部１３から出力されるアシストモード選択信号を、制御部１５が受信することによりスタートする。
【００４５】
アシストモード選択信号を制御部１５が受信すると、制御部１５は、撮像部１１を制御して、スクリーンＳの撮像を開始する（ステップＳ００１）。そして、制御部１５は、座標取得部１２を制御して、撮像部１１が撮像した各画像からポインタと各対象の位置座標を取得し、ポインタ及び各対象の位置座標と撮像時刻（又は、取得時刻）とを関連付けて、ＲＡＭ１７に記憶する（ステップＳ００２）。そして、移動速度算出部４１は、ポインタの位置座標と撮像時刻（又は、取得時刻）に基づいて、ポインタの移動速度を算出する（ステップＳ００３）。
【００４６】
そして、制御部１５は、移動速度算出部４１により算出されたポインタの移動速度が規定値以下かを判定し（ステップＳ００４）、移動速度が規定値を超えていると判定された場合には（ステップＳ００４；ＮＯ）、ポインタの近くにはユーザが所望する対象がないと考えられることから、ステップＳ００３の処理に戻り前述の処理を繰り返す。一方、移動速度が規定値以下であると判定された場合には（ステップＳ００４；ＹＥＳ）、座標差算出部４２は、座標取得部１２が算出したポインタと各対象の位置座標に基づいて、ポインタと各対象との座標差を算出し、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了する（ステップＳ００５）。
【００４７】
そして、抽出部４３は、座標差算出部４２により算出された各座標差に基づいて、ポインタとの座標差が規定値以下である対象を抽出し、抽出した対象の一覧（不図示）をＲＡＭ１７に記憶する（ステップＳ００６）。制御部１５は、抽出部４３により対象が抽出されたか否かを判定する（ステップＳ００７）。
【００４８】
抽出部４３により、対象が抽出されなかったと判定された場合には（ステップＳ００７；ＮＯ）、ステップＳ００１の処理に戻り、前述の処理を繰り返す。一方、対象が抽出されたと判定された場合には（ステップＳ００７；ＹＥＳ）、制御部１５は、さらに複数の対象が抽出されたか否かを判定する（ステップＳ００８）。
【００４９】
抽出された対象が１つのみであると判定された場合には（ステップＳ００８；ＮＯ）、後述のステップＳ０１０の処理へ進み、一方、複数の対象が抽出されたと判定された場合には（ステップＳ００８；ＹＥＳ）、選択部４４は、ＲＡＭ１７に記憶されている優先順位テーブルを参照して、抽出された複数の対象の中で最も実行回数が多い対象（最も優先順位の高い対象）を特定し、当該対象を選択する（ステップＳ００９）。
【００５０】
そして、座標変換部４５は、ポインタの位置座標を選択部４４により選択された対象の位置座標（抽出された対象が１つの場合には（ステップＳ００８；ＮＯ）、その抽出された対象の位置座標）へ変換し、ポインタを当該対象の位置へ移動させるために、変換後のポインタの位置座標情報と優先コマンドを無線通信部１４からプロジェクタ２へ送信する（ステップＳ０１０）。
【００５１】
ここで、図１０を参照して、ポインティング装置１の無線通信部１４からプロジェクタ２へ変換後のポインタの位置座標情報と優先コマンドが送信させてからの流れを簡単に説明する。ポインティング装置１は、無線通信部１４からプロジェクタ２へ変換後のポインタの位置座標情報と優先コマンドを送信する（ステップＳ３０１）。そして、変換後のポインタの位置座標情報と優先コマンドを受信したプロジェクタ２は、入出力インターフェースを介してＰＣ３へ変換後のポインタの位置座標情報と優先コマンドを送信する（ステップＳ３０２）。そして、変換後のポインタの位置座標情報と優先コマンドを受信したＰＣ３は、変換後のポインタの位置座標に基づいて、ポインタの位置を移動し、ポインタを所定時間その位置に留める（ステップＳ３０３）。
【００５２】
図５に戻り、ステップＳ０１０の処理が終わると、制御部１５は、タイマ４６をスタートさせ（ステップＳ０１１）、タイマ４６の設定時間内にユーザが操作部１３を操作して決定ボタンを押下げたかを判定する（ステップＳ０１２）。具体的には、決定ボタンが押下げられることにより操作部１３が出力する決定信号を、タイマ４６が満了する前に、制御部１５が受信したか否かで判定する。設定時間内に決定ボタンが押下げられなかったと判定された場合には（ステップＳ０１２；ＮＯ）、ステップＳ００１の処理に戻り、前述の処理を繰り返す。一方、設定時間内に決定ボタンが押下げられたと判定された場合には（ステップＳ０１２；ＹＥＳ）、制御部１５は、ＰＣ３に当該対象に対応する処理を実行させるために、操作部１３が出力した決定信号を無線通信部１４からプロジェクタ２へ送信し、決定ボタンが押下げられた対象における優先順位テーブルの実行回数を＋１加算する（ステップＳ０１３）。
【００５３】
ここで、図１１を参照して、ポインティング装置１の無線通信部１４から決定信号が送信されてからの流れを簡単に説明する。ポインティング装置１は無線通信部１４からプロジェクタ２へ決定信号を送信する（ステップＳ４０１）。そして、決定信号を受信したプロジェクタ２は、入手力インターフェース２１を介してＰＣ３へ決定信号を送信する（ステップＳ４０２）。そして、決定信号を受信したＰＣ３は、対応する処理を実行する（ステップＳ４０３）。
【００５４】
図５に戻り、ステップＳ０１３の処理が終わると、制御部１５は、アシストモードを解除すると共に、ＲＡＭ１７に記憶されている各位置座標を削除し（ステップＳ０１４）、処理を終了する。
【００５５】
（実施形態２）
実施形態１においては、ポインティング装置１が本発明のアシスト機能を備える構成であったが、本実施形態においては、ＰＣ３が本発明のアシスト機能を備える。
【００５６】
基本的な構成は、実施形態１と同様であるが、図６が示すように、本発明のアシスト機能を実現するための主要部分（移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６）と、座標取得部３９をＰＣ３側が備える。
【００５７】
ポインティング装置１の概略的な構成は、本発明のアシスト機能を実現するための主要部（移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６）と、撮像部１１と、座標取得部１２を備えていない以外は、実施形態１の場合と同じである。
また、プロジェクタ２の概略的な構成は、実施形態１の場合と同じである。
【００５８】
図６が示すように、ＰＣ３の制御部３６は、移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６を備え、ポインティング装置１からのアシスト機能選択信号を受信すると、座標取得部３９を制御して、ＰＣ３が管理している座標情報からポインタと各対象の位置座標を取得し、取得した各位置座標と取得時刻を関連付けてＲＡＭ３８に記憶する。
【００５９】
次に、図７を参照して、本実施形態のアシスト処理について説明する。ここでは、ユーザにより優先順位機能がＯＮにされているものとして説明する。なお、本アシスト処理は、ユーザがポインティング装置１の操作部１３を操作してアシストモードを選択することで、ポインティング装置１から送信されるアシストモード選択信号をＰＣ３が受信することによりスタートする。
【００６０】
アシストモード選択信号をＰＣ３が受信すると、制御部３６は、座標取得部３９を制御して、ＰＣ３が管理している座標情報からポインタと各対象の位置座標を取得し、ポインタ及び各対象の位置座標と取得時刻とを関連付けて、ＲＡＭ３８に記憶する（ステップＳ１０１）。そして、移動速度算出部４１は、ポインタの位置座標と取得時刻に基づいて、ポインタの移動速度を算出する（ステップＳ１０２）。
【００６１】
そして、制御部３６は、移動速度算出部４１により算出されたポインタの移動速度が規定値以下かを判定し（ステップＳ１０３）、移動速度が規定値を超えていると判定された場合には（ステップＳ１０３；ＮＯ）、ポインタの近くにはユーザが所望する対象はないと考えられることから、ステップＳ１０２の処理へ戻り前述の処理を繰り返す。一方、移動速度が規定値以下であると判定された場合には（ステップＳ１０３；ＹＥＳ）、座標差算出部４２は、座標取得部３９が算出したポインタと各対象の位置座標に基づいて、ポインタと各対象とのＸ座標差とＹ座標差を算出すると共に、制御部３６は、座標取得部３９を制御して、座標取得を終了する（ステップＳ１０４）。
【００６２】
そして、抽出部４３は、座標差算出部４２により算出されたＸ座標差とＹ座標差に基づいて、ポインタとの座標差が規定値以下である対象を抽出し、抽出した対象の一覧をＲＡＭ３８に記憶する（ステップＳ１０５）。そして、制御部３６は、抽出部４３により対象が抽出されたか否かを判定する（ステップＳ１０６）。
【００６３】
抽出部４３により、対象が抽出されなかったと判定された場合には（ステップＳ１０６；ＮＯ）、ステップＳ１０１の処理に戻り、前述の処理を繰り返す。一方、対象が抽出されたと判定された場合には（ステップＳ１０６；ＹＥＳ）、制御部３６は、さらに複数の対象が抽出されたか否かを判定する（ステップＳ１０７）。
【００６４】
抽出された対象が１つのみであると判定された場合には（ステップＳ１０７；ＮＯ）、後述のステップＳ１０９の処理へ進み、一方、複数の対象が抽出されたと判定された場合には（ステップＳ１０７；ＹＥＳ）、選択部４４は、ＲＡＭ３８に記憶されている優先順位テーブルを参照して、抽出された複数の対象の中で最も実行回数が多い対象（最も優先順位の高い対象）を特定し、当該対象を選択する（ステップＳ１０８）。
【００６５】
そして、座標変換部４５は、ポインタの位置座標を選択部４４により選択された対象の位置座標（抽出された対象が１つの場合には（ステップＳ１０７；ＮＯ）、その抽出された対象の位置座標）へ変換し、制御部３６は、ポインタを当該対象の位置へ移動し、ポインタを所定時間その位置に留める。（ステップＳ１０９）。
【００６６】
そして、制御部３６は、タイマ４６をスタートさせ（ステップＳ１１０）、タイマ４６の設定時間内にポインティング装置１からの決定信号を受信したか否かを判定する（ステップＳ１１１）。具体的には、決定ボタンが押下げられることにより操作部１３が出力する決定信号を、タイマ４６の設定時間内に、制御部１５が受信したか否かで判定する。設定時間内に決定信号を受信しなかったと判定された場合には（ステップＳ１１１；ＮＯ）、ステップＳ１０１の処理に戻り、前述の処理を繰り返す。一方、設定時間内に決定信号を受信したと判定された場合には（ステップＳ１１１；ＹＥＳ）、制御部３６は、当該対象に対応する処理を実行し、処理が実行された対象における優先順位テーブルの実行回数を＋１加算する（ステップＳ１１２）。
【００６７】
そして、制御部３６は、アシストモードを解除すると共に、ＲＡＭ３８に記憶されている各位置座標を削除し（ステップＳ１１３）、処理を終了する。
【００６８】
ここで、図１２を参照して、ユーザがポインティング装置１の操作部１３を操作して、アシストモードを選択した際の、ＰＣ３がアシストモード選択信号を受信するまでの流れを簡単に説明する。ポインティング装置１は、無線通信部１４からプロジェクタ２へアシストモード選択信号を送信する（ステップＳ５０１）。そして、アシストモード選択信号を受信したプロジェクタ２は、入出力インターフェース２１を介してＰＣへアシストモード選択信号を送信する（ステップＳ５０２）。そして、アシストモード選択信号を受信したＰＣ３は、前述のアシスト処理を開始する（ステップＳ５０３）。
【００６９】
（実施形態３）
実施形態１では、選択又は抽出された対象の位置へポインタを自動で移動させた後、当該対象に対応する処理を実行するために、設定時間内に操作部１３の決定ボタンが押下げられなかったと判定された場合には（ステップＳ０１２；ＮＯ）、ステップＳ００１へ戻り、前述の処理を繰り返す構成とした。また、実施形態２では、選択又は抽出された対象の位置へポインタを自動で移動させた後、当該対象に対応する処理を実行するために、設定時間内にポインティング装置１からの決定信号を受信しなかったと判定された場合には（ステップＳ１１１；ＮＯ）、ステップＳ１０１へ戻り、前述の処理を繰り返す構成とした。
【００７０】
本実施形態においては、選択又は抽出された対象の位置へポインタを自動で移動させた後、当該対象に対応する処理を実行するために、設定時間内に操作部１３の決定ボタンが押下げられなかったと判定された場合（ステップＳ０１２；ＮＯ）、又は、設定時間内にポインティング装置１からの決定信号を受信しなかったと判定された場合に（ステップＳ１１１；ＮＯ）、優先順位の低い対象の方向へポインタの移動が検出されると、当該優先順位が低い対象の位置へポインタを自動で導く。
【００７１】
なお、本実施形態における、ポインティング装置１、プロジェクタ２及びＰＣ３は、実施形態１に係るポインティング装置１、プロジェクタ２及びＰＣ３と同様の構成を持つ。
【００７２】
次に、図８及び９を参照して、本実施形態におけるアシスト処理について説明する。ここでは、ユーザにより優先順位機能がＯＮにされているものとして説明する。また、図８で図示されている処理は実施形態１と同じであることから、図９を参照して、ステップＳ０１２の処理でタイマ４６の設定時間内に決定ボタンが押下げられなかったと判定された場合（ステップＳ０１２；ＮＯ）から説明する。
【００７３】
タイマ４６の設定時間内に決定ボタンが押下げられなかったと判定された場合（ステップＳ０１２；ＮＯ）、制御部１５は、撮像部１１を制御して、スクリーンＳの撮像を開始する（ステップＳ２０１）。そして、制御部１５は、座標取得部１２を制御して、撮像部１１が撮像した各画像からポインタと各対象の位置座標を取得し、ポインタ及び各対象の位置座標と撮像時刻（又は、取得時刻）とを関連付けて、ＲＡＭ１７に記憶する（ステップＳ２０２）。
【００７４】
そして、制御部１５は、ステップＳ００９で選択された対象の位置座標（ステップＳ００８で抽出された対象が１つの場合は当該対象の位置座標）と、最新のポインタの位置座標に基づいて、ポインタが移動したか否かを判定する（ステップＳ２０３）。
【００７５】
ポインタが対象から移動していないと判定された場合には（ステップＳ２０３；ＮＯ）、ステップＳ２０３の処理を繰り返し、ポインタが移動するのを待つ。一方、ポインタが移動したと判定された場合には（ステップＳ２０３；ＹＥＳ）、制御部１５は、ステップＳ００６の処理で抽出された対象が複数あったか否かを判定する（ステップＳ２０４）。具体的には、ＲＡＭ１７に記憶されているステップＳ００６の処理で抽出された対象の一覧を参照し、ステップＳ００６の処理で抽出された対象が複数あったか否かの判定を行う。
【００７６】
抽出された対象が１つであったと判定された場合には（ステップＳ２０４；ＮＯ）、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了し（ステップＳ２１０）、ステップＳ０１４の処理へ進む。一方、抽出された対象が複数であったと判定された場合には（ステップＳ２０４；ＹＥＳ）、移動速度算出部４１は、ポインタの位置座標と撮像時刻に基づいて、ポインタの移動速度を算出する（ステップＳ２０５）。
【００７７】
そして、制御部１５は、算出されたポインタの移動速度が規定値以下であるか否かを判定する（ステップ２０６）。ポインタの移動速度が規定値を超えていると判定された場合には（ステップＳ２０６；ＮＯ）、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了し（ステップＳ２１０）、ステップＳ０１４の処理へ進む。
【００７８】
一方、ポインタの移動速度が規定値以下であると判定された場合には（ステップＳ２０６；ＹＥＳ）、制御部１５は、最新のポインタの位置座標とその前の位置座標に基づいて、ポインタの移動方向を算出し、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了する（ステップＳ２０７）。
【００７９】
そして、制御部１５は、算出されたポインタの移動方向と、最新のポインタの位置座標と、ステップＳ００６の処理で抽出された他の対象の位置座標に基づいて、ポインタの移動方向にステップＳ００６の処理で抽出された他の対象があるか否かを判定する（ステップＳ２０８）。
【００８０】
具体的には、最新のポインタの位置座標とステップＳ００６の処理で抽出された他の対象の位置座標とから、最新のポインタの位置を基点とした他の対象の方向を算出し、ポインタの移動方向とのずれ（角度）を算出する。そして、算出された当該ずれ（角度）が規定範囲内であれば、ポインタの移動方向にステップＳ００６の処理で抽出された他の対象があると判定し、算出された当該ずれ（角度）が規定範囲内になければ、ポインタの移動方向にステップＳ００６の処理で抽出された他の対象はないと判定する。
【００８１】
ポインタの移動方向に他の対象が無いと判定された場合には（ステップＳ２０８；ＮＯ）、ステップＳ０１４の処理へ進む。
一方、ポインタの移動方向に他の対象があると判定された場合には（ステップＳ２０８；ＹＥＳ）、座標変換部４５は、ポインタの位置座標を当該他の対象の位置座標へ変換し、ポインタを当該他の対象の位置へ移動させるために、変換後のポインタの位置座標情報を無線通信部１４からプロジェクタ２へ送信する（ステップＳ２０９）。そして、ステップＳ０１１の処理に進み、前述の処理を繰り返す。
【００８２】
上記実施形態１乃至３によれば、座標差算出部４２により、ポインタの位置座標と対象（アイコン、機能ボタン等）の位置座標とのＸ座標差とＹ座標差を算出し、抽出部４３により、所定の座標差内の対象を抽出して、座標変換部４５により、ポインタの位置座標を抽出された対象の位置座標へ変換する構成とした。こうすることで、煩雑な操作を行うことなく、ユーザが処理を実行しようとしている対象へとポインタを自動で導くことができ、ユーザの操作上の利便性を向上させることができると共に、ユーザが意図しない処理が実行されてしまうことを防止することが可能となる。
【００８３】
また、上記実施形態１乃至３によれば、移動速度算出部４１により、ポインタの移動速度を算出して、算出されたポインタの移動速度が規定値以下の場合に、ポインタの位置座標を抽出された対象の位置座標へ変換する構成とした。こうすることで、ユーザがポインタを特定の対象へ移動しようとしている可能性が高い場合にのみ、ポインタを自動で導くことができる。
【００８４】
また、上記実施形態１乃至３によれば、ポインタとのＸ座標差とＹ座標差が規定値以下である対象（抽出部４３により抽出された対象）が複数ある場合には、優先順位が最も高い対象を選択する構成としたから、ポインタの近くにある対象の中から、ユーザが使用する可能性が最も高い対象へポインタを自動で導くことができる。
なお、座標差ではなくポインタと各対象との距離を求めて、当該距離が規定値以下である対象を選択する構成としてもよい。
【００８５】
また、上記実施形態１乃至３よれば、優先順位機能のＯＮとＯＦＦを切り替えられるようにした。こうすることで、優先順位の低い対象へポインタを導き易くなる。
【００８６】
また、上記実施形態３によれば、ポインタを最も優先順位の高い対象へ導いた後、一定時間内にユーザがポインティング装置１の操作部１３を操作して決定ボタンを押下げず（又は、一定時間内にＰＣ３が決定信号を受信せず）、優先順位が低い他の対象へポインタが移動するのを検出した場合には、当該他の対象へポインタを自動で導く構成とした。こうすることで、例えば、ユーザが所望する対象が、抽出部４４により抽出された対象の中で優先順位が低い場合に、最初から操作をやり直すことなく、ユーザが所望する対象へポインタを自動で導くことができ、操作上の利便性を向上させることが可能となる。
なお、ポインタを最も優先順位の高い対象へ導いた後、一定時間内にユーザがポインティング装置１の操作部１３を操作して決定ボタンを押下げない場合（又は、一定時間内にＰＣ３が決定信号を受信しなかった場合）には、例えば、抽出部４４により抽出された対象の中で次に優先順位が高い対象へポインタを自動で導く処理を繰り返すようにしてもよい。
また、距離が最も近い他の対象へポインタを導くようにしてもよい。
【００８７】
なお、上記実施形態１乃至３において、ポインタの移動速度を算出し、算出されたポインタの移動速度が規定値以下の場合に、ポインタの位置座標を、抽出部４３により抽出された対象の位置座標へ変換する構成としたが、例えば、ポインタの手振れ状態を検出した場合に、ポインタの位置座標を抽出された対象の位置座標へ変換する構成としてもよい。手振れ状態か否かの判定は、例えば、制御部は、ＲＡＭに記憶されている座標取得部が取得したポインタの位置座標に基づいて、所定時間（例えば１秒）内におけるポインタの移動範囲を算出して、その移動範囲が所定の移動範囲内であれば手振れ状態として判定するようにすればよい。より具体的には、制御部が移動範囲検出部として、設定時間内において、Ｘ座標の値及びＹ座標の値の最大値（Ｘｍａｘ及びＹｍａｘ）と最小値（ＸｍｉｎとＹｍｉｎ）をそれぞれ検出する。そして、制御部が手振れ判定部として、Ｘｍａｘ−ＸｍｉｎとＹｍａｘ−Ｙｍｉｎとがそれぞれ規定値以下であるか否かを判定することで、手振れ状態か否かを判定する。
また、方位センサ、加速度センサ等を用いて手振れ状態を判定するようにしてもよい。こうすることで、より適切なタイミング（ユーザが特定の対象へポインタの移動を所望しているタイミング）で、ポインタを自動で導くことが可能となり、操作上の利便性を向上させることができる。
【００８８】
なお、上記実施形態１乃至３においては、対象毎に処理が実行された回数を優先順位テーブルで管理し、当該実行回数に基づいて、対象の優先順位を決定する構成とした。優先順位を決定する方法は、これに限定されるものではなく、例えば、対象毎に１０段階の優先度を予め定めたテーブル（図１５を参照）をＲＡＭ１７（又は、ＲＡＭ３８）に保持し、座標差算出部４２により算出されたポインタと対象との座標差から、ポインタと対象との距離を算出し、”対象の優先度”を”ポインタとの距離”で割った値が大きい対象ほど優先順位が高いとする構成としてもよい。具体的には、制御部１５（又は、制御部３６）が距離算出部として、座標差算出部４２が算出したＸ座標差とＹ座標差から、Ｘ座標差同士の積とＹ座標差同士の積との和の平方根を求めることで距離を求める。そして、選択部４４は、”対象の優先度”を”ポインタとの距離”で割った値を求め、当該値が最も大きい対象を選択する。
なお、図１５が示す優先度は、数値が大きい程、優先度が高いとしている。また、優先度は、１０段階に設定することに限定されるものではなく、例えば、５段階で優先度を定めてもよい。また、優先度の数値が小さい程、優先度が高いとしてよい。この場合、”対象の優先度”と”ポインタとの距離”との積が小さい対象ほど優先順位が高いとすればよい。
また、優先順位に基づいて、対象を選択することに限定されるものではなく、例えば、ポインタと各対象との距離を基準として、選択する対象を決定してもよい。
【００８９】
なお、上記実施形態１乃至３では、座標取得部（座標取得部１２又は座標取得部３９）をポインティング装置１又はＰＣ３が備える構成として説明したが、これに限定されるものではなく、例えば、プロジェクタ２が座標取得部を備えてもよいし、別の筐体を有する独立した装置が座標取得部を備えるようにしてもよい。
また、撮像部は、プロジェクタ２が備えるようにしてもよいし、別の筐体を有する独立した装置が備えるようにしてもよい。
【００９０】
また、上記実施形態１では、撮像部１１によって撮像されたスクリーンＳの画像からポインタと各対象の位置座標を取得する構成として説明したが、位置座標を取得する方法はこれに限定されるものではなく、例えば、ＰＣ３からこれらの位置座標を取得するようにしてもよい。
また、ポインティング装置１の座標取得部１２が位置座標を取得する場合であっても、ＰＣ３から特定の対象の位置座標を取得し、必要に応じて、ＰＣ３から取得した特定の対象の位置座標を用いて、座標取得部１２が取得した位置座標を補正してもよい。こうすることで、ポインティング装置１側で取得される位置座標とＰＣ３内の位置座標との整合を図ることができる。
【００９１】
また、上記実施形態１乃至３では、ポインタと各対象との座標差を座標差算出部４２が算出し、算出されたＸ座標差とＹ座標差に基づいて、抽出部４３が所定範囲内にある対象を抽出する構成としたが、座標取得部１２（又は、座標取得部３９）がポインタから所定の範囲にある対象のみの位置座標を取得し、ポインタの位置座標と関連付けてＲＡＭ１７（又は、ＲＡＭ３８）に記憶するようにしてもよい。こうすることで、メモリの負荷を軽減させることが可能となる。
また、各対象の位置座標については、最初に各対象の位置座標を取得した後は、対象の位置が変化した場合にのみ、当該位置が変化した対象の位置座標を取得し記憶するようにしてもよい。
また、座標取得部１２（又は座標取得部３９）は、例えば、ポインタの移動速度を算出する際、ポインタが移動したかを判定する際、又は、ポインタの移動方向を算出する際には、ポインタの位置座標のみ取得し、ポインタと各対象の座標差を算出する際には、ポインタと各対象の座標を取得するようにしてもよい。
【００９２】
また、上記実施形態１乃至３では、本発明のアシスト機能を実現するための手段をポインティング装置１又はＰＣ３が備える構成としたが、これに限定されるものではなく、例えば、本発明のアシスト機能を実現するための手段をプロジェクタ２が備える構成としてもよいし、別の筐体を有する独立した装置がこれらを備えるようにしてもよい。
【００９３】
また、上記実施形態１乃至３では、変換後のポインタの位置座標情報、決定信号等を、プロジェクタ２を経由してＰＣ３に送る構成としたが、ポインティング装置１から直接ＰＣ３に送るようにしてもよい。
【００９４】
また、上記実施形態１乃至３では、本発明における動作の説明をする際に、優先順位機能がＯＮになっているものとして説明した。優先順位機能がＯＦＦの時は、例えば、抽出部４３が抽出した対象が複数ある場合には、選択部４４はポインタからの距離が最も近い対象を選択するようにすればよい。また、選択部４４は、ポインタからの距離が最も近い対象から選択し、所定時間内に決定ボタンが押下げられなかった場合には、その次に近い対象を選択するという処理を繰り返してもよい。
【００９５】
また、上記実施形態１乃至３では、最小化、最大化などの機能ボタンについても優先順位を付けて、より優先順位が高い機能ボタンの位置へポインタを移動させるように構成したが、機能ボタンについては優先順位を付けず、抽出部４３が機能ボタンを抽出した際は当該機能ボタンへポインタを自動で導くようにしてもよい。
また、この場合、抽出部４３が複数の機能ボタンを抽出した際には、例えば、ポインタとの距離が最も近い機能ボタンへとポインタを導くようにすればよい。
また、機能ボタン間では優先順位は付けず、例えば、全ての機能ボタンの優先順位を”３”として、抽出部４３が、機能ボタンより優先順位が高い対象を抽出した場合は、ポインタをその対象に導くようにしてもよい。この場合、機能ボタンの優先順位が最も高く複数の機能ボタンが、抽出部４３により抽出された場合には、例えば、ポインタとの距離が最も近い機能ボタンへとポインタを導くようにすればよい。
【００９６】
また、上記実施形態１乃至３では、ポインタの位置と対象の位置が同じ所定の座票差の範囲内（判定範囲）であった場合に座標変換を実行したが、この判定範囲は対象毎に異なってもよい。
このとき、判定範囲は優先順位が高いほど大きくなるとしてもよいし、対象毎に判定範囲を定めたテーブルを記憶部に登録するとしても良い。
【００９７】
さらに、上記実施形態１乃至３では、一度アシストされて対象にポインタを導いた後、所定時間経過後にアシストモードを解除するとした。アシストモードを解除する条件はこれに限られず、アシスト解除ボタンや、アシスト解除動作（マウスジェスチャ）等の、所定のアシスト解除操作を受け付けた場合にアシストモードを解除するとしても良い。
【００９８】
また、ポインタの座標変換方法として、対象を選択して選択された対象の座標を取得すると、直ぐにポインタの座標をその対象の座標に変換するとしても良いし、その対象に吸い込まれるようにポイントが移動するように座標を変換しても良い。
【００９９】
また、上記実施形態１及び２では、ポインタの移動速度が規定値を超えていると判定された場合には、ポインタの移動速度を算出する処理に戻って処理を繰り返す構成としたが、ステップＳ０１４（又は、ステップＳ１１３）の処理へ進むようにしてもよい。
【０１００】
上記実施形態３では、実施形態１を例にして説明したが、実施形態３の処理は実施形態２に適用してもよい。また、ポインティングデバイスは、スクリーン上の投影画像上の位置を指示するポインティングデバイスに限られず、通常のマウス等の任意のポインティングデバイスであってもよい。
【０１０１】
なお、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read-Only Memory)、ＤＶＤ(Digital Versatile Disc)、ＭＯ（Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、取得等するようにしてもよい。
【０１０２】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１０３】
（付記１）
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、ポインタの位置を示す座標、及び、所定の動作又は機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
を具備することを特徴とする情報端末装置。
【０１０４】
（付記２）
前記ポインティング装置は、投影装置が投影面に投影する投影画面上の位置を指示し、
前記座標取得手段は、前記ポインティング装置が指示した投影画面上の位置から前記ポインタの座標を導出することにより、前記ポインタの座標を取得する、
ことを特徴とする付記１に記載の情報端末装置。
【０１０５】
（付記３）
前記選択対象は、特定のアプリケーションに対応したアイコンを含む、
ことを特徴とする付記１又は２に記載の情報端末装置。
【０１０６】
（付記４）
前記選択対象は、特定の機能に対応した機能ボタンを含む、
ことを特徴とする付記１乃至３のいずれか１に記載の情報端末装置。
【０１０７】
（付記５）
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、ポインタの移動速度を算出する移動速度算出部と、
をさらに備え、
前記移動速度算出部により算出されたポインタの移動速度が規定値以下である場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする付記１乃至４のいずれか１に記載の情報端末装置。
【０１０８】
（付記６）
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、所定時間内でのポインタの移動範囲を検出する移動範囲検出部と、
前記移動範囲検出部により検出されたポインタの移動範囲が所定の移動範囲内であるかを判定することでポインタが手振れ状態であることを判定する手振れ判定部と、
をさらに備え、
前記手振れ判定部によりポインタが手振れ状態であると判定された場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする付記１乃至５のいずれか１に記載の情報端末装置。
【０１０９】
（付記７）
前記座標変換部によるポインタの座標の変換に先立って、前記抽出部が抽出した選択対象が複数ある場合に、所定の優先順位に基づいて、選択対象を一つ選択する選択部をさらに備え、
前記座標変換部は、前記選択部により選択された選択対象の座標へポインタの座標を変換する、
ことを特徴とする付記１乃至６のいずれか１に記載の情報端末装置。
【０１１０】
（付記８）
選択対象毎に、前記選択対象に対応する処理が実行された回数を記憶管理する実行回数記憶部をさらに備え、
前記選択部は、前記実行回数記憶部に記憶されている実行回数に基づいて選択対象の優先順位を判定する、
ことを特徴とする付記７に記載の情報端末装置。
【０１１１】
（付記９）
選択対象毎に、予め定められた優先度を記憶する優先度記憶部と、
前記座標差算出部により算出された座標差からポインタと選択対象の距離を算出する距離算出部と、
をさらに備え、
前記選択部は、前記優先度記憶部に記憶されている前記選択対象の優先度と、前記算出されたポインタと選択対象の距離に基づいて、選択対象の優先順位を判定する、
ことを特徴とする付記７に記載の情報端末装置。
【０１１２】
（付記１０）
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標と、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
前記変換後のポインタの座標を、前記情報端末装置へ出力する出力部と、
を具備することを特徴とするポインティング装置。
【０１１３】
（付記１１）
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得部により取得されたポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【０１１４】
（付記１２）
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
前記変換されたポインタの座標を、前記情報端末装置に出力するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【符号の説明】
【０１１５】
ＰＳ…投影システム、Ｓ…スクリーン、ＳＢ…システムバス、１…ポインティング装置、１１…撮像部、１２…座標取得部、１３…操作部、１４…無線通信部、１５…制御部、１６…ＲＯＭ、１７…ＲＡＭ、４１…移動速度算出部、４２…座標差算出部、４３…抽出部、４４…選択部、４５…座標変換部、４６…タイマ、２…プロジェクタ、２１…入出力インターフェース、２２…スケーラ、２３…ビデオＲＡＭ、２４…プロジェクタエンジン部、２５…制御部、２６…ＲＯＭ、２７…ＲＡＭ、２８…無線通信部、３…パーソナルコンピュータ（ＰＣ）、３１…ビデオアダプタ、３２…表示部、３３…ビデオＲＡＭ、３４…入出力インターフェース、３５…記憶部、３６…制御部、３７…ＲＯＭ、３８…ＲＡＭ、３９…座標取得部
【技術分野】
【０００１】
本発明は、投影画面上のポインタを、ユーザが意図する対象へと自動で導くことができるポインティング装置、情報端末装置、及び、プログラムに関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータや外部映像機器をプロジェクタに接続し、プロジェクタが各種の表示画像をスクリーン等の投影面に拡大表示する場合において、投影面上に映し出された投影画面内の任意の位置を指示するために、レーザ光線等を照射するポインティング装置が使用される。
【０００３】
このような投影システムに関する技術として、投影画面上にポインティング装置により照射された光の像の位置を、正確に検出する技術が知られている（例えば、特許文献１）。この技術を用いることで、ポインティング装置により、ユーザが意図する位置へ投影画面上のポインタを移動することが可能となる。
【０００４】
しかしながら、投影画面が小さい場合、或いは、投影画面からユーザが離れている場合等においては、ポインティング装置で投影画面上のポインタを操作し、ユーザが意図する位置にポインタを正確に合わせることは非常に難しく、投影画面上のアイコン等を選択しにくいために、ユーザが意図しない処理を実行してしまうという問題があった。
【０００５】
この問題の解決法として、例えば、特許文献２では、カーソル付近の表示画面を拡大し、アイコンを選択し易くする技術が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０３３３８９号公報
【特許文献２】特開２００１−２４２９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に提案されている方法によれば、ユーザはアイコン等を選択するために、選択したいアイコンが拡大表示の対象となる領域内に含まれるようにポインタ（カーソル）を移動調整し、拡大表示するための操作を行う必要がある。また、拡大表示の対象となる領域の近傍に存在するアイコン等が、拡大された表示画面に隠れてしまうため、隠れているアイコン等を選択したい場合には、ユーザは、拡大表示を通常の表示に戻し、再度、選択したいアイコンが含まれるようにポインタ（カーソル）を移動調整する等の操作を行わなければならない。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、煩雑な操作を行うことなく、ユーザが意図する投影画面上の対象へ、ポインタを自動で導くことができるポインティング装置、情報端末装置、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る情報端末装置は、
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、ポインタの位置を示す座標、及び、所定の動作又は機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
を具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、煩雑な操作を伴うことなく、ユーザが意図する対象へとポインタを自動で導くことが可能となる。また、操作上の利便性を向上させることができると共に、ユーザが意図しない処理が実行されてしまうことを防止することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１における投影システムの構成を示す図である。
【図２】実施形態１におけるポインティング装置の概略の構成を示す図である。
【図３】実施形態１におけるプロジェクタの概略の構成を示す図である。
【図４】実施形態１におけるＰＣの概略の構成を示す図である。
【図５】実施形態１におけるアシスト処理の流れを示すフローチャートである。
【図６】実施形態２におけるＰＣの概略の構成を示す図である。
【図７】実施形態２におけるアシスト処理の流れを示すフローチャートである。
【図８】実施形態３におけるアシスト処理の流れを示すフローチャートの一部である。
【図９】実施形態３におけるアシスト処理の流れを示すフローチャートの続きである。
【図１０】実施形態１における変換後の座標へポインタを移動する際の処理の流れを示すフローチャートである。
【図１１】実施形態１における決定ボタンが押下げられた際の処理の流れを示すフローチャートである。
【図１２】実施形態２におけるアシストモードを選択された際の処理の流れを示すフローチャートである。
【図１３】ポインタと各対象の位置座標と、撮像時刻を関連付けたテーブルの例を示す図である。
【図１４】実行回数で対象の優先順位を決定する場合における優先順位テーブルの例を示す図である。
【図１５】対象毎の優先度を示すテーブルの例を示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
（実施形態１）
本実施形態における投影システムＰＳは、図１が示すように、ポインティング装置１とプロジェクタ２とパーソナルコンピュータ（ 以下、ＰＣという）３から構成される。この投影システムＰＳは、ＰＣ３から出力された画像データに基づく表示画像をプロジェクタ２が、スクリーンＳに投影して拡大表示させる構成である。
【００１４】
なお、ＰＣ３には、ポインティング装置１を操作することで、投影画面上のポインタを自在に動かすことができ、所定の処理を実行することを可能とするマウスエミュレータ機能を有するプレゼン用アプリケーションがインストールされているものとする。
【００１５】
まず、図２を参照して、ポインティング装置１の概略的な構成について説明する。
ポインティング装置１は、撮像部１１、座標取得部１２、操作部１３、無線通信部１４、制御部１５、ＲＯＭ(Read Only Memory)１６、ＲＡＭ(Random Access Memory)１７等から構成されている。
【００１６】
ポインティング装置１は、例えば、レーザ発信素子を備える。ユーザは、後述の操作部１３を操作することで、ポインティング装置１を用いて、投影画像（スクリーンＳに投影された表示画像）上の任意の位置を指示することができる。
【００１７】
撮像部１１は、受光部を備え、制御部１５の制御により、ポインティング装置１がスクリーンＳ内にポイントした位置座標信号を受光する。または、ＣＣＤ(Charge Coupled Device)カメラを備える構成でもよく、制御部１５の制御により、スクリーンＳ上の投影画像を撮像する。スクリーンＳには、プロジェクタ２により投影された画像とポインティング装置１が指示した位置に表示されるポインタが映し出されている。
【００１８】
座標取得部１２は、制御部１５の制御により、撮像部１１が受光した位置座標信号を復調して得られたポインタの位置座標（例えば、ポインタの中心座標）または、ＣＣＤカメラが撮像した画像から、ポインタの位置座標と各対象（最小化や最大化等の機能ボタン、アイコン等）の位置座標（例えば、対象の中心座標）を間欠的に（例えば一フレーム毎に）取得する。取得された各位置座標は撮像時刻（又は、取得時刻）と関連付けられて、ＲＡＭ１７に記憶される。座標取得部１２が取得したポインタの座標は、プロジェクタ２を介してＰＣ３に送信される。なお、撮像部１１、座標取得部１２はプロジェクタ２が備える構成にしても良い。
【００１９】
操作部１３は、複数の操作ボタンを備え、ユーザは、操作部１３を操作することで所望する指示を入力する。操作部１３は、例えば、ポインタの近くにある対象（アイコン、機能ボタン等）へポインタを自動で導くアシストモード選択ボタン、後述する優先順位機能のＯＮとＯＦＦを切り替える優先順位機能ボタン、レーザ光線照射ボタン、処理を実行するための決定ボタンを備えている。また、操作部１３は、ユーザが操作ボタンを押下げると、押下げられた操作ボタンに対応する操作信号、例えば、アシストモード選択信号、決定信号等が出力する。
【００２０】
ここで、対象とは、ユーザが選択することで対応した所定の処理が実行されるアイコンや機能ボタン等のことを指す。
【００２１】
無線通信部１４は、後述の座標変換部４５により変換されたポインタの位置座標情報、決定信号等をプロジェクタ２の無線通信部２８へと送信する。
【００２２】
制御部１５は、ＭＰＵ(Micro Processing Unit)とその周辺回路から構成され、ＲＯＭ１６に格納されているプログラムに従って動作し、ポインティング装置１の各部の動作を制御する。また、制御部１５は、移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６を備えている。
【００２３】
ＲＡＭ１７は、制御部１５のワーキングメモリである。また、ＲＡＭ１７は、後述の優先順位テーブル等を記憶する。また、撮像部１１が撮像した画像から座標取得部１２が取得したポインタ及び各対象の位置座標と撮像時刻（又は、取得時刻）とが関連付けられてＲＡＭ１７に記憶されている。
ここで、図１３は、ＲＡＭ１７が保持する座標取得部１２が取得したポインタ及び各対象の位置座標と撮像時刻を関連付けたテーブルの例を示す図である。
【００２４】
移動速度算出部４１は、ＲＡＭ１７に記憶されているポインタの位置座標とその撮像時刻（又は、取得時刻）に基づいて、ポインタの移動速度を算出する。例えば、撮像時刻（又は、取得時刻）Ｔ１、Ｔ２の時点で、ポインタの位置座標が、それぞれ（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）であったとすると、ポインタの移動速度は座標間の距離｛（Ｘ２−Ｘ１）２＋（Ｙ２−Ｙ１）２｝１／２を時間差（Ｔ２−Ｔ１）で割ることで求めることができる。
【００２５】
座標差算出部４２は、座標取得部１２が取得したポインタの位置座標と各対象の位置座標に基づいて、ポインタと各対象（アイコン、機能ボタン等）との座標差（Ｘ座標差とＹ座標差）を算出する。具体的には、ポインタと対象の座標を、それぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）とした場合、Ｘ座標差｜ｘ１−ｘ２｜とＹ座票差｜ｙ１−ｙ２｜を算出する。
【００２６】
抽出部４３は、算出された座標差に基づいて、ポインタから所定の範囲内に存在する対象（アイコン、機能ボタン等）を抽出する。例えば、ポインタ及び対象（アイコン、機能ボタン等）の座標を、それぞれ（ｘ1 , ｙ1）、（ｘ , ｙ）としたとき、そのＸ座標差｜ｘ１−ｘ｜とＹ座標差｜ｙ１−ｙ｜が、｜ｘ１−ｘ｜＜ｊかつ｜ｙ１−ｙ｜＜ｋとなる対象（アイコン、機能ボタン等）を抽出する。
【００２７】
選択部４４は、抽出部４３が抽出した対象（アイコン、機能ボタン等）が複数の場合に、後述の優先順位テーブルを参照して、抽出された複数の対象から１つの対象を選択する。
【００２８】
座標変換部４５は、ポインタの位置座標を、選択部４４により選択された対象の位置座標へ変換する。座標変換部４５により、ポインタの位置座標が変換されると、制御部１５は、変換後のポインタの位置座標情報を無線通信部１４からプロジェクタ２の無線通信部２８へ送信する。プロジェクタ２へ送信された変換後のポインタの位置座標情報は、ＰＣ３へ送られ、ＰＣ３は、変換後のポインタの位置座標情報に基づいて、投影画面上のポインタが移動する。すなわち、ポインタは、選択部４４が選択した対象へと移動される。例えば、変換後のポインタの位置座標を変換前の位置座標より優先させるためのコマンド（以下、優先コマンドという）を一緒に送信し、変換後のポインタの位置座標情報と優先コマンドを受信したＰＣ３は、ポインタを変換後の座標の位置へ移動させ、ポインタを所定時間（例えば、１秒）その位置に留める。
【００２９】
タイマ４６は、所定時間（例えば、１秒）内に、選択部４４により選択された対象に対応した処理を実行させるために、ユーザが操作部１３の決定ボタンの押下げ（以下、クリックという）を行ったかを制御部１５が判定する。
【００３０】
ここで、図１４を参照して、ＲＡＭ１７に記憶されている優先順位テーブルについて説明する。図１４が示す優先順位テーブルは、対象毎にユーザが処理を実行した回数を管理しており、選択部４４は、この優先順位テーブルを参照して、抽出部４３が抽出した対象の中で最も実行回数が多い対象を選択する。この対象毎の実行回数は、例えば、以下の手順でテーブルに登録される。ポインタが特定の対象上にある時に、ユーザがクリックすると、操作部１３から決定信号が出力され、制御部１５が出力された決定信号を受信すると、制御部１５は、クリックされた時点におけるポインタの位置座標を、各対象の位置座標と照合して、ユーザがクリックした対象を特定する。そして、制御部１５は、特定された対象の実行回数を＋１加算する。例えば、図１４を参照して、ユーザがクリックした対象がＡである場合には、＋１加算して、Ａの実行回数は４となる。
【００３１】
次に、図３を参照して、プロジェクタ２の概略的な構成について説明する。
【００３２】
プロジェクタ２は、図３が示すように、入出力インターフェース２１、スケーラ２２、ビデオＲＡＭ２３、プロジェクタエンジン部２４、制御部２５、ＲＯＭ２６、ＲＡＭ２７、無線通信部２８等から構成されている。
【００３３】
入出力インターフェース部２１は、例えば、Ｄ−ｓｕｂ(D-subminiature)１５タイプのＶＧＡ(Video Graphics Array)端子及びＵＳＢ（Universal Serial Bus）等の入出力コネクタ部を備え、入出力インターフェース２１に入力された各種規格の画像データは、システムバスＳＢを介して、スケーラ２２に送られる。
【００３４】
スケーラ２２は、送られてきた画像信号を、所定のフォーマットの画像信号に変換し、変換した画像信号を、ビデオＲＡＭ２３に記憶させ、プロジェクタエンジン部２４に送信する。
【００３５】
プロジェクタエンジン部２４は、ＤＭＤ(Digital Mirror Device)、カラーホイール、投影レンズ等を備え、スケーラ２２から送信された画像信号に応じて、ＤＭＤを駆動するためのＤＭＤ駆動信号を出力し、ＤＭＤを表示駆動する。また、プロジェクタエンジン部２４は、ＤＭＤに照射された白色光を周期的にＲ、Ｂ、Ｇの光に分離するカラーホイールの回転を制御するための回転制御信号を出力する。
【００３６】
カラーホイールを介して、Ｒ、Ｂ、Ｇに分離された光線は、ＤＭＤに照射される。ＤＭＤは、照射された光線の色の画像フレームを表示し、表示された画像フレームは、投影レンズを介して、スクリーンＳに拡大表示される。
【００３７】
制御部２５は、ＭＰＵとその周辺回路から構成され、ＲＯＭ２６に格納されているプログラムに従って、プロジェクタ２の各部の動作を制御する。ＲＡＭ２７は制御部２５のワーキングメモリである。
【００３８】
無線通信部２８は、ポインティング装置１の無線通信部１４から送信される変換後のポインタの位置座標情報、決定信号等を受信する。受信された変換後のポインタの位置座標情報は、制御部２５の制御により、入出力インターフェース２１を介して、ＰＣ３に送信される。
【００３９】
次に、図４を参照して、ＰＣ３の概略的な構成について説明する。ＰＣ３は、ビデオアダプタ３１、表示部３２、ビデオＲＡＭ３３、入出力インターフェース３４、記憶部３５、制御部３６、ＲＯＭ３７、ＲＡＭ３８等を含む構成である。
【００４０】
ビデオアダプタ３１は、表示用の画像データ（ＶＧＡビデオ信号）を生成し、表示部３２に出力する。また、ビデオアダプタ３１は、入出力インターフェース３４を介して、生成したＶＧＡビデオ信号をプロジェクタ２へ送信する。ビデオＲＡＭ３３は、ビデオアダプタ３１が生成した表示用の画像データを随時記憶する。
【００４１】
入出力インターフェース３４は、Ｄ−ｓｕｂ１５タイプのＶＧＡ端子、ＵＳＢ等の入出力コネクタ部を備える。ポインティング装置１から送信されるポインタの位置座標情報及び決定信号等は、入出力インターフェース３４を介して制御部３６へ送られる。
【００４２】
記憶部３５には、前記プレゼン用アプリケーション等の各種のアプリケーションプログラムが格納されている。
【００４３】
制御部３６は、ＣＰＵ(Central Processing Unit)とその周辺回路から構成され、ＲＯＭ３７に格納されているプログラムに従って、ＰＣ３の各部の動作を制御する。また、制御部３６は、ポインティング装置１から送信される変換後のポインタの位置座標情報及び決定信号等に基づいて、投影画像上のポインタを変換後の位置座標へと移動させ、選択されたアイコンや機能ボタンに応じた処理を実行する。ＲＡＭ３８は、制御部３６のワーキングメモリである。
【００４４】
次に、図５を参照して、本実施形態のアシスト処理について説明する。ここでは、ユーザにより優先順位機能がＯＮにされているものとして説明する。なお、本アシスト処理は、ユーザがポインティング装置１の操作部１３を操作してアシストモードを選択することで、操作部１３から出力されるアシストモード選択信号を、制御部１５が受信することによりスタートする。
【００４５】
アシストモード選択信号を制御部１５が受信すると、制御部１５は、撮像部１１を制御して、スクリーンＳの撮像を開始する（ステップＳ００１）。そして、制御部１５は、座標取得部１２を制御して、撮像部１１が撮像した各画像からポインタと各対象の位置座標を取得し、ポインタ及び各対象の位置座標と撮像時刻（又は、取得時刻）とを関連付けて、ＲＡＭ１７に記憶する（ステップＳ００２）。そして、移動速度算出部４１は、ポインタの位置座標と撮像時刻（又は、取得時刻）に基づいて、ポインタの移動速度を算出する（ステップＳ００３）。
【００４６】
そして、制御部１５は、移動速度算出部４１により算出されたポインタの移動速度が規定値以下かを判定し（ステップＳ００４）、移動速度が規定値を超えていると判定された場合には（ステップＳ００４；ＮＯ）、ポインタの近くにはユーザが所望する対象がないと考えられることから、ステップＳ００３の処理に戻り前述の処理を繰り返す。一方、移動速度が規定値以下であると判定された場合には（ステップＳ００４；ＹＥＳ）、座標差算出部４２は、座標取得部１２が算出したポインタと各対象の位置座標に基づいて、ポインタと各対象との座標差を算出し、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了する（ステップＳ００５）。
【００４７】
そして、抽出部４３は、座標差算出部４２により算出された各座標差に基づいて、ポインタとの座標差が規定値以下である対象を抽出し、抽出した対象の一覧（不図示）をＲＡＭ１７に記憶する（ステップＳ００６）。制御部１５は、抽出部４３により対象が抽出されたか否かを判定する（ステップＳ００７）。
【００４８】
抽出部４３により、対象が抽出されなかったと判定された場合には（ステップＳ００７；ＮＯ）、ステップＳ００１の処理に戻り、前述の処理を繰り返す。一方、対象が抽出されたと判定された場合には（ステップＳ００７；ＹＥＳ）、制御部１５は、さらに複数の対象が抽出されたか否かを判定する（ステップＳ００８）。
【００４９】
抽出された対象が１つのみであると判定された場合には（ステップＳ００８；ＮＯ）、後述のステップＳ０１０の処理へ進み、一方、複数の対象が抽出されたと判定された場合には（ステップＳ００８；ＹＥＳ）、選択部４４は、ＲＡＭ１７に記憶されている優先順位テーブルを参照して、抽出された複数の対象の中で最も実行回数が多い対象（最も優先順位の高い対象）を特定し、当該対象を選択する（ステップＳ００９）。
【００５０】
そして、座標変換部４５は、ポインタの位置座標を選択部４４により選択された対象の位置座標（抽出された対象が１つの場合には（ステップＳ００８；ＮＯ）、その抽出された対象の位置座標）へ変換し、ポインタを当該対象の位置へ移動させるために、変換後のポインタの位置座標情報と優先コマンドを無線通信部１４からプロジェクタ２へ送信する（ステップＳ０１０）。
【００５１】
ここで、図１０を参照して、ポインティング装置１の無線通信部１４からプロジェクタ２へ変換後のポインタの位置座標情報と優先コマンドが送信させてからの流れを簡単に説明する。ポインティング装置１は、無線通信部１４からプロジェクタ２へ変換後のポインタの位置座標情報と優先コマンドを送信する（ステップＳ３０１）。そして、変換後のポインタの位置座標情報と優先コマンドを受信したプロジェクタ２は、入出力インターフェースを介してＰＣ３へ変換後のポインタの位置座標情報と優先コマンドを送信する（ステップＳ３０２）。そして、変換後のポインタの位置座標情報と優先コマンドを受信したＰＣ３は、変換後のポインタの位置座標に基づいて、ポインタの位置を移動し、ポインタを所定時間その位置に留める（ステップＳ３０３）。
【００５２】
図５に戻り、ステップＳ０１０の処理が終わると、制御部１５は、タイマ４６をスタートさせ（ステップＳ０１１）、タイマ４６の設定時間内にユーザが操作部１３を操作して決定ボタンを押下げたかを判定する（ステップＳ０１２）。具体的には、決定ボタンが押下げられることにより操作部１３が出力する決定信号を、タイマ４６が満了する前に、制御部１５が受信したか否かで判定する。設定時間内に決定ボタンが押下げられなかったと判定された場合には（ステップＳ０１２；ＮＯ）、ステップＳ００１の処理に戻り、前述の処理を繰り返す。一方、設定時間内に決定ボタンが押下げられたと判定された場合には（ステップＳ０１２；ＹＥＳ）、制御部１５は、ＰＣ３に当該対象に対応する処理を実行させるために、操作部１３が出力した決定信号を無線通信部１４からプロジェクタ２へ送信し、決定ボタンが押下げられた対象における優先順位テーブルの実行回数を＋１加算する（ステップＳ０１３）。
【００５３】
ここで、図１１を参照して、ポインティング装置１の無線通信部１４から決定信号が送信されてからの流れを簡単に説明する。ポインティング装置１は無線通信部１４からプロジェクタ２へ決定信号を送信する（ステップＳ４０１）。そして、決定信号を受信したプロジェクタ２は、入手力インターフェース２１を介してＰＣ３へ決定信号を送信する（ステップＳ４０２）。そして、決定信号を受信したＰＣ３は、対応する処理を実行する（ステップＳ４０３）。
【００５４】
図５に戻り、ステップＳ０１３の処理が終わると、制御部１５は、アシストモードを解除すると共に、ＲＡＭ１７に記憶されている各位置座標を削除し（ステップＳ０１４）、処理を終了する。
【００５５】
（実施形態２）
実施形態１においては、ポインティング装置１が本発明のアシスト機能を備える構成であったが、本実施形態においては、ＰＣ３が本発明のアシスト機能を備える。
【００５６】
基本的な構成は、実施形態１と同様であるが、図６が示すように、本発明のアシスト機能を実現するための主要部分（移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６）と、座標取得部３９をＰＣ３側が備える。
【００５７】
ポインティング装置１の概略的な構成は、本発明のアシスト機能を実現するための主要部（移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６）と、撮像部１１と、座標取得部１２を備えていない以外は、実施形態１の場合と同じである。
また、プロジェクタ２の概略的な構成は、実施形態１の場合と同じである。
【００５８】
図６が示すように、ＰＣ３の制御部３６は、移動速度算出部４１、座標差算出部４２、抽出部４３、選択部４４、座標変換部４５及びタイマ４６を備え、ポインティング装置１からのアシスト機能選択信号を受信すると、座標取得部３９を制御して、ＰＣ３が管理している座標情報からポインタと各対象の位置座標を取得し、取得した各位置座標と取得時刻を関連付けてＲＡＭ３８に記憶する。
【００５９】
次に、図７を参照して、本実施形態のアシスト処理について説明する。ここでは、ユーザにより優先順位機能がＯＮにされているものとして説明する。なお、本アシスト処理は、ユーザがポインティング装置１の操作部１３を操作してアシストモードを選択することで、ポインティング装置１から送信されるアシストモード選択信号をＰＣ３が受信することによりスタートする。
【００６０】
アシストモード選択信号をＰＣ３が受信すると、制御部３６は、座標取得部３９を制御して、ＰＣ３が管理している座標情報からポインタと各対象の位置座標を取得し、ポインタ及び各対象の位置座標と取得時刻とを関連付けて、ＲＡＭ３８に記憶する（ステップＳ１０１）。そして、移動速度算出部４１は、ポインタの位置座標と取得時刻に基づいて、ポインタの移動速度を算出する（ステップＳ１０２）。
【００６１】
そして、制御部３６は、移動速度算出部４１により算出されたポインタの移動速度が規定値以下かを判定し（ステップＳ１０３）、移動速度が規定値を超えていると判定された場合には（ステップＳ１０３；ＮＯ）、ポインタの近くにはユーザが所望する対象はないと考えられることから、ステップＳ１０２の処理へ戻り前述の処理を繰り返す。一方、移動速度が規定値以下であると判定された場合には（ステップＳ１０３；ＹＥＳ）、座標差算出部４２は、座標取得部３９が算出したポインタと各対象の位置座標に基づいて、ポインタと各対象とのＸ座標差とＹ座標差を算出すると共に、制御部３６は、座標取得部３９を制御して、座標取得を終了する（ステップＳ１０４）。
【００６２】
そして、抽出部４３は、座標差算出部４２により算出されたＸ座標差とＹ座標差に基づいて、ポインタとの座標差が規定値以下である対象を抽出し、抽出した対象の一覧をＲＡＭ３８に記憶する（ステップＳ１０５）。そして、制御部３６は、抽出部４３により対象が抽出されたか否かを判定する（ステップＳ１０６）。
【００６３】
抽出部４３により、対象が抽出されなかったと判定された場合には（ステップＳ１０６；ＮＯ）、ステップＳ１０１の処理に戻り、前述の処理を繰り返す。一方、対象が抽出されたと判定された場合には（ステップＳ１０６；ＹＥＳ）、制御部３６は、さらに複数の対象が抽出されたか否かを判定する（ステップＳ１０７）。
【００６４】
抽出された対象が１つのみであると判定された場合には（ステップＳ１０７；ＮＯ）、後述のステップＳ１０９の処理へ進み、一方、複数の対象が抽出されたと判定された場合には（ステップＳ１０７；ＹＥＳ）、選択部４４は、ＲＡＭ３８に記憶されている優先順位テーブルを参照して、抽出された複数の対象の中で最も実行回数が多い対象（最も優先順位の高い対象）を特定し、当該対象を選択する（ステップＳ１０８）。
【００６５】
そして、座標変換部４５は、ポインタの位置座標を選択部４４により選択された対象の位置座標（抽出された対象が１つの場合には（ステップＳ１０７；ＮＯ）、その抽出された対象の位置座標）へ変換し、制御部３６は、ポインタを当該対象の位置へ移動し、ポインタを所定時間その位置に留める。（ステップＳ１０９）。
【００６６】
そして、制御部３６は、タイマ４６をスタートさせ（ステップＳ１１０）、タイマ４６の設定時間内にポインティング装置１からの決定信号を受信したか否かを判定する（ステップＳ１１１）。具体的には、決定ボタンが押下げられることにより操作部１３が出力する決定信号を、タイマ４６の設定時間内に、制御部１５が受信したか否かで判定する。設定時間内に決定信号を受信しなかったと判定された場合には（ステップＳ１１１；ＮＯ）、ステップＳ１０１の処理に戻り、前述の処理を繰り返す。一方、設定時間内に決定信号を受信したと判定された場合には（ステップＳ１１１；ＹＥＳ）、制御部３６は、当該対象に対応する処理を実行し、処理が実行された対象における優先順位テーブルの実行回数を＋１加算する（ステップＳ１１２）。
【００６７】
そして、制御部３６は、アシストモードを解除すると共に、ＲＡＭ３８に記憶されている各位置座標を削除し（ステップＳ１１３）、処理を終了する。
【００６８】
ここで、図１２を参照して、ユーザがポインティング装置１の操作部１３を操作して、アシストモードを選択した際の、ＰＣ３がアシストモード選択信号を受信するまでの流れを簡単に説明する。ポインティング装置１は、無線通信部１４からプロジェクタ２へアシストモード選択信号を送信する（ステップＳ５０１）。そして、アシストモード選択信号を受信したプロジェクタ２は、入出力インターフェース２１を介してＰＣへアシストモード選択信号を送信する（ステップＳ５０２）。そして、アシストモード選択信号を受信したＰＣ３は、前述のアシスト処理を開始する（ステップＳ５０３）。
【００６９】
（実施形態３）
実施形態１では、選択又は抽出された対象の位置へポインタを自動で移動させた後、当該対象に対応する処理を実行するために、設定時間内に操作部１３の決定ボタンが押下げられなかったと判定された場合には（ステップＳ０１２；ＮＯ）、ステップＳ００１へ戻り、前述の処理を繰り返す構成とした。また、実施形態２では、選択又は抽出された対象の位置へポインタを自動で移動させた後、当該対象に対応する処理を実行するために、設定時間内にポインティング装置１からの決定信号を受信しなかったと判定された場合には（ステップＳ１１１；ＮＯ）、ステップＳ１０１へ戻り、前述の処理を繰り返す構成とした。
【００７０】
本実施形態においては、選択又は抽出された対象の位置へポインタを自動で移動させた後、当該対象に対応する処理を実行するために、設定時間内に操作部１３の決定ボタンが押下げられなかったと判定された場合（ステップＳ０１２；ＮＯ）、又は、設定時間内にポインティング装置１からの決定信号を受信しなかったと判定された場合に（ステップＳ１１１；ＮＯ）、優先順位の低い対象の方向へポインタの移動が検出されると、当該優先順位が低い対象の位置へポインタを自動で導く。
【００７１】
なお、本実施形態における、ポインティング装置１、プロジェクタ２及びＰＣ３は、実施形態１に係るポインティング装置１、プロジェクタ２及びＰＣ３と同様の構成を持つ。
【００７２】
次に、図８及び９を参照して、本実施形態におけるアシスト処理について説明する。ここでは、ユーザにより優先順位機能がＯＮにされているものとして説明する。また、図８で図示されている処理は実施形態１と同じであることから、図９を参照して、ステップＳ０１２の処理でタイマ４６の設定時間内に決定ボタンが押下げられなかったと判定された場合（ステップＳ０１２；ＮＯ）から説明する。
【００７３】
タイマ４６の設定時間内に決定ボタンが押下げられなかったと判定された場合（ステップＳ０１２；ＮＯ）、制御部１５は、撮像部１１を制御して、スクリーンＳの撮像を開始する（ステップＳ２０１）。そして、制御部１５は、座標取得部１２を制御して、撮像部１１が撮像した各画像からポインタと各対象の位置座標を取得し、ポインタ及び各対象の位置座標と撮像時刻（又は、取得時刻）とを関連付けて、ＲＡＭ１７に記憶する（ステップＳ２０２）。
【００７４】
そして、制御部１５は、ステップＳ００９で選択された対象の位置座標（ステップＳ００８で抽出された対象が１つの場合は当該対象の位置座標）と、最新のポインタの位置座標に基づいて、ポインタが移動したか否かを判定する（ステップＳ２０３）。
【００７５】
ポインタが対象から移動していないと判定された場合には（ステップＳ２０３；ＮＯ）、ステップＳ２０３の処理を繰り返し、ポインタが移動するのを待つ。一方、ポインタが移動したと判定された場合には（ステップＳ２０３；ＹＥＳ）、制御部１５は、ステップＳ００６の処理で抽出された対象が複数あったか否かを判定する（ステップＳ２０４）。具体的には、ＲＡＭ１７に記憶されているステップＳ００６の処理で抽出された対象の一覧を参照し、ステップＳ００６の処理で抽出された対象が複数あったか否かの判定を行う。
【００７６】
抽出された対象が１つであったと判定された場合には（ステップＳ２０４；ＮＯ）、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了し（ステップＳ２１０）、ステップＳ０１４の処理へ進む。一方、抽出された対象が複数であったと判定された場合には（ステップＳ２０４；ＹＥＳ）、移動速度算出部４１は、ポインタの位置座標と撮像時刻に基づいて、ポインタの移動速度を算出する（ステップＳ２０５）。
【００７７】
そして、制御部１５は、算出されたポインタの移動速度が規定値以下であるか否かを判定する（ステップ２０６）。ポインタの移動速度が規定値を超えていると判定された場合には（ステップＳ２０６；ＮＯ）、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了し（ステップＳ２１０）、ステップＳ０１４の処理へ進む。
【００７８】
一方、ポインタの移動速度が規定値以下であると判定された場合には（ステップＳ２０６；ＹＥＳ）、制御部１５は、最新のポインタの位置座標とその前の位置座標に基づいて、ポインタの移動方向を算出し、制御部１５は、撮像部１１と座標取得部１２を制御して、撮像と座標取得を終了する（ステップＳ２０７）。
【００７９】
そして、制御部１５は、算出されたポインタの移動方向と、最新のポインタの位置座標と、ステップＳ００６の処理で抽出された他の対象の位置座標に基づいて、ポインタの移動方向にステップＳ００６の処理で抽出された他の対象があるか否かを判定する（ステップＳ２０８）。
【００８０】
具体的には、最新のポインタの位置座標とステップＳ００６の処理で抽出された他の対象の位置座標とから、最新のポインタの位置を基点とした他の対象の方向を算出し、ポインタの移動方向とのずれ（角度）を算出する。そして、算出された当該ずれ（角度）が規定範囲内であれば、ポインタの移動方向にステップＳ００６の処理で抽出された他の対象があると判定し、算出された当該ずれ（角度）が規定範囲内になければ、ポインタの移動方向にステップＳ００６の処理で抽出された他の対象はないと判定する。
【００８１】
ポインタの移動方向に他の対象が無いと判定された場合には（ステップＳ２０８；ＮＯ）、ステップＳ０１４の処理へ進む。
一方、ポインタの移動方向に他の対象があると判定された場合には（ステップＳ２０８；ＹＥＳ）、座標変換部４５は、ポインタの位置座標を当該他の対象の位置座標へ変換し、ポインタを当該他の対象の位置へ移動させるために、変換後のポインタの位置座標情報を無線通信部１４からプロジェクタ２へ送信する（ステップＳ２０９）。そして、ステップＳ０１１の処理に進み、前述の処理を繰り返す。
【００８２】
上記実施形態１乃至３によれば、座標差算出部４２により、ポインタの位置座標と対象（アイコン、機能ボタン等）の位置座標とのＸ座標差とＹ座標差を算出し、抽出部４３により、所定の座標差内の対象を抽出して、座標変換部４５により、ポインタの位置座標を抽出された対象の位置座標へ変換する構成とした。こうすることで、煩雑な操作を行うことなく、ユーザが処理を実行しようとしている対象へとポインタを自動で導くことができ、ユーザの操作上の利便性を向上させることができると共に、ユーザが意図しない処理が実行されてしまうことを防止することが可能となる。
【００８３】
また、上記実施形態１乃至３によれば、移動速度算出部４１により、ポインタの移動速度を算出して、算出されたポインタの移動速度が規定値以下の場合に、ポインタの位置座標を抽出された対象の位置座標へ変換する構成とした。こうすることで、ユーザがポインタを特定の対象へ移動しようとしている可能性が高い場合にのみ、ポインタを自動で導くことができる。
【００８４】
また、上記実施形態１乃至３によれば、ポインタとのＸ座標差とＹ座標差が規定値以下である対象（抽出部４３により抽出された対象）が複数ある場合には、優先順位が最も高い対象を選択する構成としたから、ポインタの近くにある対象の中から、ユーザが使用する可能性が最も高い対象へポインタを自動で導くことができる。
なお、座標差ではなくポインタと各対象との距離を求めて、当該距離が規定値以下である対象を選択する構成としてもよい。
【００８５】
また、上記実施形態１乃至３よれば、優先順位機能のＯＮとＯＦＦを切り替えられるようにした。こうすることで、優先順位の低い対象へポインタを導き易くなる。
【００８６】
また、上記実施形態３によれば、ポインタを最も優先順位の高い対象へ導いた後、一定時間内にユーザがポインティング装置１の操作部１３を操作して決定ボタンを押下げず（又は、一定時間内にＰＣ３が決定信号を受信せず）、優先順位が低い他の対象へポインタが移動するのを検出した場合には、当該他の対象へポインタを自動で導く構成とした。こうすることで、例えば、ユーザが所望する対象が、抽出部４４により抽出された対象の中で優先順位が低い場合に、最初から操作をやり直すことなく、ユーザが所望する対象へポインタを自動で導くことができ、操作上の利便性を向上させることが可能となる。
なお、ポインタを最も優先順位の高い対象へ導いた後、一定時間内にユーザがポインティング装置１の操作部１３を操作して決定ボタンを押下げない場合（又は、一定時間内にＰＣ３が決定信号を受信しなかった場合）には、例えば、抽出部４４により抽出された対象の中で次に優先順位が高い対象へポインタを自動で導く処理を繰り返すようにしてもよい。
また、距離が最も近い他の対象へポインタを導くようにしてもよい。
【００８７】
なお、上記実施形態１乃至３において、ポインタの移動速度を算出し、算出されたポインタの移動速度が規定値以下の場合に、ポインタの位置座標を、抽出部４３により抽出された対象の位置座標へ変換する構成としたが、例えば、ポインタの手振れ状態を検出した場合に、ポインタの位置座標を抽出された対象の位置座標へ変換する構成としてもよい。手振れ状態か否かの判定は、例えば、制御部は、ＲＡＭに記憶されている座標取得部が取得したポインタの位置座標に基づいて、所定時間（例えば１秒）内におけるポインタの移動範囲を算出して、その移動範囲が所定の移動範囲内であれば手振れ状態として判定するようにすればよい。より具体的には、制御部が移動範囲検出部として、設定時間内において、Ｘ座標の値及びＹ座標の値の最大値（Ｘｍａｘ及びＹｍａｘ）と最小値（ＸｍｉｎとＹｍｉｎ）をそれぞれ検出する。そして、制御部が手振れ判定部として、Ｘｍａｘ−ＸｍｉｎとＹｍａｘ−Ｙｍｉｎとがそれぞれ規定値以下であるか否かを判定することで、手振れ状態か否かを判定する。
また、方位センサ、加速度センサ等を用いて手振れ状態を判定するようにしてもよい。こうすることで、より適切なタイミング（ユーザが特定の対象へポインタの移動を所望しているタイミング）で、ポインタを自動で導くことが可能となり、操作上の利便性を向上させることができる。
【００８８】
なお、上記実施形態１乃至３においては、対象毎に処理が実行された回数を優先順位テーブルで管理し、当該実行回数に基づいて、対象の優先順位を決定する構成とした。優先順位を決定する方法は、これに限定されるものではなく、例えば、対象毎に１０段階の優先度を予め定めたテーブル（図１５を参照）をＲＡＭ１７（又は、ＲＡＭ３８）に保持し、座標差算出部４２により算出されたポインタと対象との座標差から、ポインタと対象との距離を算出し、”対象の優先度”を”ポインタとの距離”で割った値が大きい対象ほど優先順位が高いとする構成としてもよい。具体的には、制御部１５（又は、制御部３６）が距離算出部として、座標差算出部４２が算出したＸ座標差とＹ座標差から、Ｘ座標差同士の積とＹ座標差同士の積との和の平方根を求めることで距離を求める。そして、選択部４４は、”対象の優先度”を”ポインタとの距離”で割った値を求め、当該値が最も大きい対象を選択する。
なお、図１５が示す優先度は、数値が大きい程、優先度が高いとしている。また、優先度は、１０段階に設定することに限定されるものではなく、例えば、５段階で優先度を定めてもよい。また、優先度の数値が小さい程、優先度が高いとしてよい。この場合、”対象の優先度”と”ポインタとの距離”との積が小さい対象ほど優先順位が高いとすればよい。
また、優先順位に基づいて、対象を選択することに限定されるものではなく、例えば、ポインタと各対象との距離を基準として、選択する対象を決定してもよい。
【００８９】
なお、上記実施形態１乃至３では、座標取得部（座標取得部１２又は座標取得部３９）をポインティング装置１又はＰＣ３が備える構成として説明したが、これに限定されるものではなく、例えば、プロジェクタ２が座標取得部を備えてもよいし、別の筐体を有する独立した装置が座標取得部を備えるようにしてもよい。
また、撮像部は、プロジェクタ２が備えるようにしてもよいし、別の筐体を有する独立した装置が備えるようにしてもよい。
【００９０】
また、上記実施形態１では、撮像部１１によって撮像されたスクリーンＳの画像からポインタと各対象の位置座標を取得する構成として説明したが、位置座標を取得する方法はこれに限定されるものではなく、例えば、ＰＣ３からこれらの位置座標を取得するようにしてもよい。
また、ポインティング装置１の座標取得部１２が位置座標を取得する場合であっても、ＰＣ３から特定の対象の位置座標を取得し、必要に応じて、ＰＣ３から取得した特定の対象の位置座標を用いて、座標取得部１２が取得した位置座標を補正してもよい。こうすることで、ポインティング装置１側で取得される位置座標とＰＣ３内の位置座標との整合を図ることができる。
【００９１】
また、上記実施形態１乃至３では、ポインタと各対象との座標差を座標差算出部４２が算出し、算出されたＸ座標差とＹ座標差に基づいて、抽出部４３が所定範囲内にある対象を抽出する構成としたが、座標取得部１２（又は、座標取得部３９）がポインタから所定の範囲にある対象のみの位置座標を取得し、ポインタの位置座標と関連付けてＲＡＭ１７（又は、ＲＡＭ３８）に記憶するようにしてもよい。こうすることで、メモリの負荷を軽減させることが可能となる。
また、各対象の位置座標については、最初に各対象の位置座標を取得した後は、対象の位置が変化した場合にのみ、当該位置が変化した対象の位置座標を取得し記憶するようにしてもよい。
また、座標取得部１２（又は座標取得部３９）は、例えば、ポインタの移動速度を算出する際、ポインタが移動したかを判定する際、又は、ポインタの移動方向を算出する際には、ポインタの位置座標のみ取得し、ポインタと各対象の座標差を算出する際には、ポインタと各対象の座標を取得するようにしてもよい。
【００９２】
また、上記実施形態１乃至３では、本発明のアシスト機能を実現するための手段をポインティング装置１又はＰＣ３が備える構成としたが、これに限定されるものではなく、例えば、本発明のアシスト機能を実現するための手段をプロジェクタ２が備える構成としてもよいし、別の筐体を有する独立した装置がこれらを備えるようにしてもよい。
【００９３】
また、上記実施形態１乃至３では、変換後のポインタの位置座標情報、決定信号等を、プロジェクタ２を経由してＰＣ３に送る構成としたが、ポインティング装置１から直接ＰＣ３に送るようにしてもよい。
【００９４】
また、上記実施形態１乃至３では、本発明における動作の説明をする際に、優先順位機能がＯＮになっているものとして説明した。優先順位機能がＯＦＦの時は、例えば、抽出部４３が抽出した対象が複数ある場合には、選択部４４はポインタからの距離が最も近い対象を選択するようにすればよい。また、選択部４４は、ポインタからの距離が最も近い対象から選択し、所定時間内に決定ボタンが押下げられなかった場合には、その次に近い対象を選択するという処理を繰り返してもよい。
【００９５】
また、上記実施形態１乃至３では、最小化、最大化などの機能ボタンについても優先順位を付けて、より優先順位が高い機能ボタンの位置へポインタを移動させるように構成したが、機能ボタンについては優先順位を付けず、抽出部４３が機能ボタンを抽出した際は当該機能ボタンへポインタを自動で導くようにしてもよい。
また、この場合、抽出部４３が複数の機能ボタンを抽出した際には、例えば、ポインタとの距離が最も近い機能ボタンへとポインタを導くようにすればよい。
また、機能ボタン間では優先順位は付けず、例えば、全ての機能ボタンの優先順位を”３”として、抽出部４３が、機能ボタンより優先順位が高い対象を抽出した場合は、ポインタをその対象に導くようにしてもよい。この場合、機能ボタンの優先順位が最も高く複数の機能ボタンが、抽出部４３により抽出された場合には、例えば、ポインタとの距離が最も近い機能ボタンへとポインタを導くようにすればよい。
【００９６】
また、上記実施形態１乃至３では、ポインタの位置と対象の位置が同じ所定の座票差の範囲内（判定範囲）であった場合に座標変換を実行したが、この判定範囲は対象毎に異なってもよい。
このとき、判定範囲は優先順位が高いほど大きくなるとしてもよいし、対象毎に判定範囲を定めたテーブルを記憶部に登録するとしても良い。
【００９７】
さらに、上記実施形態１乃至３では、一度アシストされて対象にポインタを導いた後、所定時間経過後にアシストモードを解除するとした。アシストモードを解除する条件はこれに限られず、アシスト解除ボタンや、アシスト解除動作（マウスジェスチャ）等の、所定のアシスト解除操作を受け付けた場合にアシストモードを解除するとしても良い。
【００９８】
また、ポインタの座標変換方法として、対象を選択して選択された対象の座標を取得すると、直ぐにポインタの座標をその対象の座標に変換するとしても良いし、その対象に吸い込まれるようにポイントが移動するように座標を変換しても良い。
【００９９】
また、上記実施形態１及び２では、ポインタの移動速度が規定値を超えていると判定された場合には、ポインタの移動速度を算出する処理に戻って処理を繰り返す構成としたが、ステップＳ０１４（又は、ステップＳ１１３）の処理へ進むようにしてもよい。
【０１００】
上記実施形態３では、実施形態１を例にして説明したが、実施形態３の処理は実施形態２に適用してもよい。また、ポインティングデバイスは、スクリーン上の投影画像上の位置を指示するポインティングデバイスに限られず、通常のマウス等の任意のポインティングデバイスであってもよい。
【０１０１】
なお、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read-Only Memory)、ＤＶＤ(Digital Versatile Disc)、ＭＯ（Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、取得等するようにしてもよい。
【０１０２】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１０３】
（付記１）
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、ポインタの位置を示す座標、及び、所定の動作又は機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
を具備することを特徴とする情報端末装置。
【０１０４】
（付記２）
前記ポインティング装置は、投影装置が投影面に投影する投影画面上の位置を指示し、
前記座標取得手段は、前記ポインティング装置が指示した投影画面上の位置から前記ポインタの座標を導出することにより、前記ポインタの座標を取得する、
ことを特徴とする付記１に記載の情報端末装置。
【０１０５】
（付記３）
前記選択対象は、特定のアプリケーションに対応したアイコンを含む、
ことを特徴とする付記１又は２に記載の情報端末装置。
【０１０６】
（付記４）
前記選択対象は、特定の機能に対応した機能ボタンを含む、
ことを特徴とする付記１乃至３のいずれか１に記載の情報端末装置。
【０１０７】
（付記５）
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、ポインタの移動速度を算出する移動速度算出部と、
をさらに備え、
前記移動速度算出部により算出されたポインタの移動速度が規定値以下である場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする付記１乃至４のいずれか１に記載の情報端末装置。
【０１０８】
（付記６）
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、所定時間内でのポインタの移動範囲を検出する移動範囲検出部と、
前記移動範囲検出部により検出されたポインタの移動範囲が所定の移動範囲内であるかを判定することでポインタが手振れ状態であることを判定する手振れ判定部と、
をさらに備え、
前記手振れ判定部によりポインタが手振れ状態であると判定された場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする付記１乃至５のいずれか１に記載の情報端末装置。
【０１０９】
（付記７）
前記座標変換部によるポインタの座標の変換に先立って、前記抽出部が抽出した選択対象が複数ある場合に、所定の優先順位に基づいて、選択対象を一つ選択する選択部をさらに備え、
前記座標変換部は、前記選択部により選択された選択対象の座標へポインタの座標を変換する、
ことを特徴とする付記１乃至６のいずれか１に記載の情報端末装置。
【０１１０】
（付記８）
選択対象毎に、前記選択対象に対応する処理が実行された回数を記憶管理する実行回数記憶部をさらに備え、
前記選択部は、前記実行回数記憶部に記憶されている実行回数に基づいて選択対象の優先順位を判定する、
ことを特徴とする付記７に記載の情報端末装置。
【０１１１】
（付記９）
選択対象毎に、予め定められた優先度を記憶する優先度記憶部と、
前記座標差算出部により算出された座標差からポインタと選択対象の距離を算出する距離算出部と、
をさらに備え、
前記選択部は、前記優先度記憶部に記憶されている前記選択対象の優先度と、前記算出されたポインタと選択対象の距離に基づいて、選択対象の優先順位を判定する、
ことを特徴とする付記７に記載の情報端末装置。
【０１１２】
（付記１０）
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標と、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
前記変換後のポインタの座標を、前記情報端末装置へ出力する出力部と、
を具備することを特徴とするポインティング装置。
【０１１３】
（付記１１）
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得部により取得されたポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【０１１４】
（付記１２）
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
前記変換されたポインタの座標を、前記情報端末装置に出力するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【符号の説明】
【０１１５】
ＰＳ…投影システム、Ｓ…スクリーン、ＳＢ…システムバス、１…ポインティング装置、１１…撮像部、１２…座標取得部、１３…操作部、１４…無線通信部、１５…制御部、１６…ＲＯＭ、１７…ＲＡＭ、４１…移動速度算出部、４２…座標差算出部、４３…抽出部、４４…選択部、４５…座標変換部、４６…タイマ、２…プロジェクタ、２１…入出力インターフェース、２２…スケーラ、２３…ビデオＲＡＭ、２４…プロジェクタエンジン部、２５…制御部、２６…ＲＯＭ、２７…ＲＡＭ、２８…無線通信部、３…パーソナルコンピュータ（ＰＣ）、３１…ビデオアダプタ、３２…表示部、３３…ビデオＲＡＭ、３４…入出力インターフェース、３５…記憶部、３６…制御部、３７…ＲＯＭ、３８…ＲＡＭ、３９…座標取得部
【特許請求の範囲】
【請求項１】
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、ポインタの位置を示す座標、及び、所定の動作又は機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
を具備することを特徴とする情報端末装置。
【請求項２】
前記ポインティング装置は、投影装置が投影面に投影する投影画面上の位置を指示し、
前記座標取得手段は、前記ポインティング装置が指示した投影画面上の位置から前記ポインタの座標を導出することにより、前記ポインタの座標を取得する、
ことを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記選択対象は、特定のアプリケーションに対応したアイコンを含む、
ことを特徴とする請求項１又は２に記載の情報端末装置。
【請求項４】
前記選択対象は、特定の機能に対応した機能ボタンを含む、
ことを特徴とする請求項１乃至３のいずれか１に記載の情報端末装置。
【請求項５】
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、ポインタの移動速度を算出する移動速度算出部と、
をさらに備え、
前記移動速度算出部により算出されたポインタの移動速度が規定値以下である場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする請求項１乃至４のいずれか１に記載の情報端末装置。
【請求項６】
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、所定時間内でのポインタの移動範囲を検出する移動範囲検出部と、
前記移動範囲検出部により検出されたポインタの移動範囲が所定の移動範囲内であるかを判定することでポインタが手振れ状態であることを判定する手振れ判定部と、
をさらに備え、
前記手振れ判定部によりポインタが手振れ状態であると判定された場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする請求項１乃至５のいずれか１に記載の情報端末装置。
【請求項７】
前記座標変換部によるポインタの座標の変換に先立って、前記抽出部が抽出した選択対象が複数ある場合に、所定の優先順位に基づいて、選択対象を一つ選択する選択部をさらに備え、
前記座標変換部は、前記選択部により選択された選択対象の座標へポインタの座標を変換する、
ことを特徴とする請求項１乃至６のいずれか１に記載の情報端末装置。
【請求項８】
選択対象毎に、前記選択対象に対応する処理が実行された回数を記憶管理する実行回数記憶部をさらに備え、
前記選択部は、前記実行回数記憶部に記憶されている実行回数に基づいて選択対象の優先順位を判定する、
ことを特徴とする請求項７に記載の情報端末装置。
【請求項９】
選択対象毎に、予め定められた優先度を記憶する優先度記憶部と、
前記座標差算出部により算出された座標差からポインタと選択対象の距離を算出する距離算出部と、
をさらに備え、
前記選択部は、前記優先度記憶部に記憶されている前記選択対象の優先度と、前記算出されたポインタと選択対象の距離に基づいて、選択対象の優先順位を判定する、
ことを特徴とする請求項７に記載の情報端末装置。
【請求項１０】
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標と、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
前記変換後のポインタの座標を、前記情報端末装置へ出力する出力部と、
を具備することを特徴とするポインティング装置。
【請求項１１】
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得部により取得されたポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
前記変換されたポインタの座標を、前記情報端末装置に出力するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、ポインタの位置を示す座標、及び、所定の動作又は機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
を具備することを特徴とする情報端末装置。
【請求項２】
前記ポインティング装置は、投影装置が投影面に投影する投影画面上の位置を指示し、
前記座標取得手段は、前記ポインティング装置が指示した投影画面上の位置から前記ポインタの座標を導出することにより、前記ポインタの座標を取得する、
ことを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記選択対象は、特定のアプリケーションに対応したアイコンを含む、
ことを特徴とする請求項１又は２に記載の情報端末装置。
【請求項４】
前記選択対象は、特定の機能に対応した機能ボタンを含む、
ことを特徴とする請求項１乃至３のいずれか１に記載の情報端末装置。
【請求項５】
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、ポインタの移動速度を算出する移動速度算出部と、
をさらに備え、
前記移動速度算出部により算出されたポインタの移動速度が規定値以下である場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする請求項１乃至４のいずれか１に記載の情報端末装置。
【請求項６】
前記座標取得手段が間欠的に取得したポインタの位置を示す座標と、前記座標を取得した時刻とを関連付けて記憶する記憶部と、
前記ポインタの座標と取得時刻に基づいて、所定時間内でのポインタの移動範囲を検出する移動範囲検出部と、
前記移動範囲検出部により検出されたポインタの移動範囲が所定の移動範囲内であるかを判定することでポインタが手振れ状態であることを判定する手振れ判定部と、
をさらに備え、
前記手振れ判定部によりポインタが手振れ状態であると判定された場合に、前記座標変換部は、前記抽出部により抽出された選択対象の座標へポインタの座標を変換する、
ことを特徴とする請求項１乃至５のいずれか１に記載の情報端末装置。
【請求項７】
前記座標変換部によるポインタの座標の変換に先立って、前記抽出部が抽出した選択対象が複数ある場合に、所定の優先順位に基づいて、選択対象を一つ選択する選択部をさらに備え、
前記座標変換部は、前記選択部により選択された選択対象の座標へポインタの座標を変換する、
ことを特徴とする請求項１乃至６のいずれか１に記載の情報端末装置。
【請求項８】
選択対象毎に、前記選択対象に対応する処理が実行された回数を記憶管理する実行回数記憶部をさらに備え、
前記選択部は、前記実行回数記憶部に記憶されている実行回数に基づいて選択対象の優先順位を判定する、
ことを特徴とする請求項７に記載の情報端末装置。
【請求項９】
選択対象毎に、予め定められた優先度を記憶する優先度記憶部と、
前記座標差算出部により算出された座標差からポインタと選択対象の距離を算出する距離算出部と、
をさらに備え、
前記選択部は、前記優先度記憶部に記憶されている前記選択対象の優先度と、前記算出されたポインタと選択対象の距離に基づいて、選択対象の優先順位を判定する、
ことを特徴とする請求項７に記載の情報端末装置。
【請求項１０】
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置であって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標と、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出する座標差算出部と、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出する抽出部と、
前記抽出された選択対象の座標へポインタの座標を変換する座標変換部と、
前記変換後のポインタの座標を、前記情報端末装置へ出力する出力部と、
を具備することを特徴とするポインティング装置。
【請求項１１】
ポインティング装置が指示するポインタの位置を座標により制御する情報端末装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得部により取得されたポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
座標によりポインタの位置を制御する情報端末装置が出力するデータに対応する画像を投影する投影装置が投影面に投影した投影画面上のポインタの位置を指示するポインティング装置を、制御するコンピュータが実行するプログラムであって、
自装置、又は、外部装置が備える座標取得手段により取得された、前記投影画面上のポインタの位置を示す座標、及び、所定の動作・機能に対応した各選択対象の位置を示す座標に基づいて、ポインタと各選択対象との座標差を算出するステップと、
前記算出された座標差を参照して、ポインタと選択対象との座標差が所定の座標差内である選択対象を抽出するステップと、
前記抽出された選択対象の座標へポインタの座標を変換するステップと、
前記変換されたポインタの座標を、前記情報端末装置に出力するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−７７２２６（Ｐ２０１３−７７２２６Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７７７７（Ｐ２０１１−２１７７７７）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]