ディスプレイを制御するための方法及びシステム
本発明は、ディスプレイを制御する方法に関し、当該方法は、ディスプレイ４のビジュアルプレゼンテーションＶＰの一部を表示するステップ、カメラ２を有するポインティング装置１をターゲットエリアＡに向け、ビジュアルプレゼンテーションにおけるターゲットＰTを示すステップを含み、これにより、ターゲットＰTは、ディスプレイ４に現在見えるビジュアルプレゼンテーションの一部１４の内側又は外側にある。ポインティングデバイス１のより向けられるターゲットエリアＡの画像３が生成され、ビジュアルプレゼンテーション内のターゲットのロケーションを判定するために解釈される。ビジュアルプレゼンテーションは、ターゲットを含むビジュアルプレゼンテーションのその部分を表示するために必要に応じて調整される。また、本発明は、当該方法を適用するのに適した、ポインティングデバイス１、ディスプレイ制御インタフェース８，８’，８’’、並びに、ポインティングデバイス１及びディスプレイ制御インタフェース８，８’，８’’を有するシステムに関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイを制御する方法及びシステム、かかるシステムのためのポインティングデバイス及びディスプレイ制御インタフェースに関する。
【背景技術】
【０００２】
近年、エレクトロニクス及びコンピュータの分野における発展は、我々の日々の生活において我々に直面する情報の供給の増加している。誰でもパーソナルコンピュータで大量の情報を管理することができ、大部分の現代のコンシューマエレクトロニクス装置は、ユーザに多数のオプション及びプログラミングの可能性を提供する。かかるコンテンツに関連した情報は、テレビジョンスクリーン、コンピュータモニタ、又は壁のようなある種のスクリーン又はバックドロップのような、ある種の電子ディスプレイで目に見える形式で一般に提供される。明らかな例は、私的な又は業務に関連したデータ及び情報の全ての集合をもつ、パーソナルコンピュータのスクリーンに示される仮想的な「デスクトップ」である。空港及び鉄道の駅では、人々は、たとえば地図上のホテルを探すこと、又はチケットの注文及び支払といった、電子情報システムのディスプレイを通してナビゲートする。
【０００３】
視覚的に提供されたコンテンツに関連される情報は、メニューヒエラルキー、画像、バーチャルデスクトップ、マップ等である場合がある。しばしば、ディスプレイに実際に適合されるよりも多くのコンテンツに関連された情報が利用可能であり、たとえば、大きな画像を視聴することは、ディスプレイで適合されるように画像のサイズを縮小することを必要とする。しかし、画像は、余りに小さくてユーザが適切に見ることができないか、詳細を理解することができない。代替的に、ユーザは、スクロールバーのようなディスプレイにおける専用の領域のカーソルを移動させ、マウスボタンをクリックするか、キーパッド又はキーボードの適切なキーを押すことで、画像又はコンテンツの他の部分に水平又は垂直にスクロールすることができる。マウス又はキークリックは、ディスプレイのコンテンツをアップデートするため、ディスプレイの制御ユニットにより通常は解釈される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このタイプのディスプレイコントロールの１つの制約は、要求された作用を有するため、マウス又はキークリックのためにスクロールバーにおける必要とされる位置にカーソルが正確に移動される必要があることである。さらに、スクロールの方向は、水平及び垂直の移動に必然的に制限され、ユーザが対角線にスクロールするのを望むとき、ユーザは、効率的に必要とされる努力を２倍にして、水平及び垂直のスクロールの両者を結合する必要がある。通常、スクロールは一定のレートで実行され、これは、スクロールされる距離が比較的小さい場合には正しいが、大きなコンテンツの離れた端にあるポイントにユーザがスクロールするのを望む場合には面倒である。別のスクロールバーの問題点は、ディスプレイにおいて場所をとることであり、したがって表示されている画像又はビジュアルプレゼンテーションの異なる部分をユーザが実際に見たいときにスクロールバーのみが必要とされる場合でさえ、利用可能な表示領域を減少することである。
【０００５】
したがって、本発明の目的は、ディスプレイを制御するより便利で直観的な方法を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、ディスプレイを制御する方法を提供するものであり、当該方法は、ディスプレイの視覚的な表示の一部を表示し、ビジュアルプレゼンテーションにターゲットを示すためにカメラを有するポインティングデバイスをターゲットエリアに向けるステップを含み、これにより、ターゲットは、ディスプレイで現在目に見ることができるビジュアルプレゼンテーションの内側又は外側にある場合がある。画像は、ポインティングデバイスにより向けられるターゲットエリアについて生成され、このターゲットエリアは、ビジュアルプレゼンテーション内のターゲットのロケーションを決定するために解釈される。ビジュアルプレゼンテーションは、ディスプレイでセンタリングされるか、又は僅かにセンタから外れる場合がある、ターゲットポイントを包含するビジュアルプレゼンテーションのその部分を表示するために必須として調節される。
【０００７】
本発明に係る方法を使用したディスプレイを制御する適切なシステムは、ポインティング装置が狙われる方向において、ビジュアルプレゼンテーションにおけるターゲットを示すターゲットエリアの画像を生成するカメラを有し、これにより、ターゲットは、ディスプレイで現在目に見ることのできるビジュアルプレゼンテーションの一部の内又は外である場合がある。さらに、システムは、画像を分析するための画像分析ユニット、画像分析の結果に従って制御信号を発生する制御信号発生ユニット、及びディスプレイにおけるビジュアルプレゼンテーションを調節するために制御信号を印加するディスプレイ制御ユニットを有する。
【０００８】
本発明に係る方法は、ポインティングデバイスの全体として新たなアプリケーションを開く。かかるポインティング装置の助けにより、ユーザは、所望のコンテンツの推定されるロケーションにポインティングデバイスをシンプルに向けることで、水平方向又は垂直方向にではなく、ディスプレイのコンテンツを所望の方向にスクロールすることができる。このポインティングデバイスの直観的なアプリケーションは、その便利なポインティング様式と共に、本発明をなすために、何れかの種類のディスプレイの制御での使用のための実用的なツールを結合する。
【０００９】
従属の請求項及びその後の記述は、特定の有利な実施の形態及び本発明の特徴を開示する。
本発明に係る方法での使用のためのポインティング装置は、ポインティング装置が向けられる方向におけるターゲットエリアの画像を生成する少なくとも１つのカメラを有する。
【００１０】
カメラは、ポインティング装置に組み込まれるのが好ましいが、ポインティングデバイスに同様に搭載され、ユーザにより向けられるポインティングデバイスの前のエリアの画像を生成するやり方で指向されるのが好ましい。ユーザにより向けられる「ターゲット」は、ポイント又は領域である、「ターゲットエリア」は、カメラにより画像−ターゲットエリア画像−として捕捉されるポインティングデバイスの前の領域である。カメラは、基本的なやり方で構築されるか、ズーム機能又は所定のタイプのフィルタのような特徴的な高性能な機能である場合がある。
【００１１】
好ましくは、画像を分析する画像分析ユニット、ディスプレイ用のディスプレイ制御信号を発生する制御信号発生ユニットは、たとえばパーソナルコンピュータのグラフィックカードといった、ディスプレイ制御ユニットと対話するディスプレイ制御インタフェースに組み込まれる。かかるディスプレイ制御インタフェースは、ディスプレイ制御信号をディスプレイ制御ユニットに伝達する送出ユニットを必須として含んでいる。後に説明されるように、ディスプレイ制御インタフェースは、ポインティングデバイスに組み込まれるか、適切な通信インタフェースによりポインティングデバイスに結合される、外部ユニットとして実現される。
【００１２】
ディスプレイは、バックドロップ、テレビジョンスクリーン、コンピュータモニタ、又は、チケット販売機、旅行情報ポイント等のようなユーザに情報を視覚的に提供するために使用される機器のディスプレイでの投影のような、何れかの種類のディスプレイである。以下では、ディスプレイで示すことができるものは「ビジュアルプレゼンテーション」と呼ばれ、デスクトップ環境、メニューヒエラルキー、マップ、実際には何れかの種類の画像である。ビジュアルプレゼンテーションのサイズは、ディスプレイの寸法に限定されるものではなく、ディスプレイの寸法よりも大きなサイズであるか、小さなサイズとすることができる。しかし、以下では、ビジュアルプレゼンテーションは、ビジュアルプレゼンテーションの一部のみがディスプレイにおける何れかのある時間で示されるように、ディスプレイよりも実際に大きい。
【００１３】
ユーザはディスプレイの外にあるビジュアルプレゼンテーションにおけるターゲットにポインティングデバイスを向けるとき、ディスプレイのコンテンツは、ディスプレイの目に見える領域に所望の部分を「スクロールする」ことで調節又は更新されることが好ましい。スクロールは、ビジュアルプレゼンテーションがディスプレイにわたり滑るように見えるように滑らかであるか、又は、ビジュアルプレゼンテーションがディスプレイにわたるステージでシフトされるようにインクリメンタルである。スクロールは、ポインティングデバイスが必要とした方向をミラーし、ポインティングデバイスが「北東」の方向、すなわちディスプレイの中央からディスプレイの右上コーナを越えて対角線に移動した場合に、コンテンツ又はビジュアルプレゼンテーションは、ビジュアルプレゼンテーションの目標とされる部分を示すために「南西」方向でスクロールされる。要するに、ポインティングデバイスは、必ずしも直線ではなく、何れかの方向で移動される。スクロールは、ポインティングデバイスがユーザにより移動されるとすぐ始動し、連続的に、その移動を反映し、ポインティングデバイスが停止するとすぐに停止する。代替的に、スクロールは、ユーザがポインティングデバイスを移動したときにはじめに行われ、次いでユーザがそれを狙って終了するやり方で示される。
【００１４】
本発明の好適な実施の形態では、スクロールのレートは、ターゲットとディスプレイにおける基準ポイントとの間の距離により決定され、ユーザがポインティングデバイスを向けるディスプレイからの離れると、スクロールのレートが高速になる。これは、ディスプレイのサイズに関して非常に大きなビジュアルプレゼンテーションのケースで特に適切であり、この大きなディスプレイを通したスクロール又はナビゲーションが余りに長くかからない。
【００１５】
本発明の更なる好適な実施の形態では、スクロールのレートは、ポインティングデバイスの動きのレートにより決定される場合がある。たとえば、ユーザがディスプレイから緩やかに離れてポインティングデバイスを移動させる場合、ビジュアルプレゼンテーションは、所望のコンテンツを示すために相応して緩やかに調節される。ディスプレイから離れるポインティングデバイスの迅速な動きは、ディスプレイにおけるビジュアルプレゼンテーションの相応した迅速なアップデート又は調節となる。ポインティングデバイスにより後続される動きのレート及びパスは、適切な分析技術又はアルゴリズムをカメラで撮影された画像に適用することで決定することができる。また、ポインティングデバイスは、その相対的な動きを検出及び報告するために動きセンサを組み込んでいる。かかる動きセンサは、ユーザが休止状態からポインティングデバイスを取り上げるか又は移動させるとすぐにアクチベートされる。
【００１６】
本発明の代替的な実施の形態では、ビジュアルプレゼンテーションを通したスクロールによりディスプレイを更新する代わりに、ディスプレイは、スクロールなしに、ある瞬間で更新され、オリジナルコンテンツは、ポインティグデバイスにより向けられるターゲットを包含するビジュアルプレゼンテーションのその部分により一度にシンプルに置き換えられる。
【００１７】
ポインティングデバイスは、ディスプレイにおけるビジュアルプレゼンテーションの調節をイネーブル又はディスエーブルにするために制御入力を備えることが好ましい。かかる制御入力は、ディスプレイから離れ所望のターゲットに向けてポインティングデバイスを移動させるときにユーザが押し下げ、ポインティングデバイスが所望のターゲットに向けられるときにリリースするためのポインティングデバイスのボタンである。ボタンが押し下げられる限り、スクロールは意味のある特徴としてアクチベートされ、ビジュアルプレゼンテーションは、カメラにより記録される画像に従って更新される。ボタンがリリースされる限り、ポインティングデバイスは、不作動又は休止状態に戻る。
【００１８】
ポインティングデバイスへの更なる追加は、カメラにより捕捉されるターゲットエリアの中央であることが好ましい、ポインティングデバイスが向けられる本質的に同じ方向で集中された光ビームが発せられるようなやり方でポインティングデバイスに配置される、たとえばレーザといった集中された光ビームのソースである。かかる光ソースは、レーザポインタのような装置で一般に使用される。光ポイントは、光ビームがそのパスにおけるオブジェクトに衝突する場所であれば何処でも現れる。ここで、ユーザがポインティングデバイスを向けている方法を光ポイントが非常に正確に示すため、光ポイントは、所望のターゲットにポインティングデバイスを向けることにおいてユーザを支援する。
【００１９】
全体のビジュアルプレゼンテーションにおけるその実際のロケーションに、ディスプレイで現在示されるビジュアルプレゼンテーションのその部分を「配置すること“placing”」においてユーザを支援するため、一見して全体のビジュアルプレゼンテーションを見る可能性をユーザに提供することは有利であり、ビジュアルプレゼンテーションのその部分の周りのディスプレイの輪郭は現在示されている。このため、全体の比較的な表現は、ディスプレイの小さなセクションで適切にスケールダウンされて示されるか、又は、ディスプレイの実際の内容を簡単に置き換える場合がある。ユーザは、ビジュアルプレゼンテーションにおけるユーザのベアリング（bearing）を容易に発見することができ、比較的大きなビジュアルプレゼンテーションを通したナビゲーションを容易にする。ユーザは、かかるステップを始動するためにポインティングデバイスを使用する。たとえば、ユーザは、円を描くことによるか、又は前後にポインティングデバイスをはじくことによるような、予め定義されたやり方でポインティングデバイスをウェーブする。代替的に、ユーザは、ディスプレイでポインティングデバイスを向ける間にポインティングデバイスのボタンを押すか、又はディスプレイに関連されるキーパッド又はキーボードを介して適切なコマンドを入力する。
【００２０】
全体のピクチャにおけるビジュアルプレゼンテーションの目に見える部分を迅速に配置する別の方法では、ポインティングデバイスは、更なる「ズーム」機能を提供する場合がある。したがって、ディスプレイで目に見えるビジュアルプレゼンテーションの量は、ポインティングデバイスとディスプレイとの間の距離により示されることが好ましい。たとえば、ディスプレイにポインティングデバイスを向け、同時に、それをディスプレイから後方に離れて移動させることで、その多くがディスプレイに表示されるように、ビジュアルプレゼンテーションが低減又は「収縮」される。ユーザは、ビジュアルプレゼンテーションにおいて彼のベアリングを容易に発見する。ディスプレイに向けてポインティングデバイスを移動させることで、ビジュアルプレゼンテーションのオリジナルの大きさのファクタを回復することができる。
【００２１】
ユーザがポインティングデバイスを向けるターゲット又はターゲットポイントを容易に判定するため、デバイス制御インタフェースの画像分析ユニットは、通常の画像処理技術又はコンピュータビジョンアルゴリズムを適用することで、ポインティングデバイスのパスを追跡することが好ましい。ターゲットエリアの画像は、たとえば強調された輪郭、コーナ、エッジ等といった全体の画像の重要な部分のみに関する画像データを含むか、又は、画質をもつ詳細画像である場合がある。画像分析ユニットにより計算されるパスは、その後、ユーザがディスプレイで見るのを好むビジュアルプレゼンテーションのその部分を識別するため、ビジュアルプレゼンテーションに効果的に「重ね合わされる」。
【００２２】
コンピュータビジョンを使用したターゲットエリアの画像を処理する方法は、ターゲットとなる画像における別個のポイントを検出し、テンプレートにおける対応するポイントを決定し、及び、ディスプレイに関連する幾つかの基準ポイントに関連するポインティングデバイスのトラベルのパスを計算するステップを有する。基準ポイントは、ディスプレイの中央、ディスプレイのコーナ、又は他の適切なポイントである。基準ポイントは、ポインティングデバイスのトラベルの経路を計算するとき、この１つの基準ポイントが常に使用されるように、固定、すなわち予め決定される場合がある。代替的に、ポインティングアクションをユーザが始動するたびに、基準ポイントが新たに定義される。この目的のため、画像分析ユニットは、第一の画像の１つから適切なポイントをシンプルに取り、トラッキング計算の基準ポイントとしてこのポイントを使用する。
【００２３】
その周囲が相当に変化しないディスプレイについて、画像分析ユニットにその周囲をもつディスプレイの画像又はテンプレートを提供することは都合がよい。次いで、ポインティングデバイスのパスのトラッキングは、テンプレートの１つの最終的なターゲットエリアを整合させる比較的シンプルなタスクに低減される。ディスプレイにおける基準ポイントに対するターゲットポイントの相対的な位置は、容易に計算することができ、ビジュアルプレゼンテーションにおける対応するエリアは、同様に容易に識別され、ディスプレイで表示される。
【００２４】
何れかのロケーションでセットアップされるプロセッサのスクリーン又はバックドロップのような、その周囲が異なる時間で異なって見えるディスプレイのケースでは、ポインティングデバイスのパスのトラッキングのプロセスは、画像分析ユニットにディスプレイの少なくともテンプレート、特にディスプレイのエッジを供給することで簡略化される。画像分析ユニットは、ポインティングデバイスが移動されたときにカメラにより生成される連続する画像を連続的に比較することで、ポインティングデバイスが移動される方向を判定し、ポインティングデバイスがディスプレイのエッジを通過する方向を判定する。次いで、画像分析ユニットは、容易に識別可能なオブジェクト又はポイントを選び、そのポイントを連続する画像にわたり追跡する。多数のかかるポイントは、最終的なターゲットエリアの画像に到達するまで、選ばれ、追跡される。このステージにより、画像分析ユニットは、ターゲットポイントのパスを追跡し、所望のコンテンツを識別するため、このパスをビジュアルプレゼンテーションに与える。次いで、ディスプレイは、これらの所望のコンテンツを示すために更新又は調整される。また、ポインティングデバイスの移動のレートは、スクロールのプロポーショナルレートを適用することができるように、これらトラッキング技術を使用することで決定される。
【００２５】
ターゲットポイントをトラッキングする別のやり方は、ポインティングデバイスが移動する方向、及びポインティングデバイスが進む距離を検出するために動きセンサを使用することによる。ディスプレイにおける基準ポイントに関するポインティングデバイスの動きは、ポインティングデバイスに組み込まれるか、ユーザがポインティングデバイスを保持する手でユーザにより身に着けられる、動きセンサを使用して検出される。たとえば、幾つかの状況では、ディスプレイの周囲は、ターゲットのパスをトラッキングするのに画像分析ユニットを支援する適切なポイントを常に提供しない。ディスプレイは、何れかのマーキングなしに平坦で一様な表面に設定される。かかる状況では、ディスプレイの少なくとも１部がターゲットエリア画像のそれぞれにおいて目に見える場合に、ターゲットポイントを追跡するので、動きセンサは、既に記載されたトラッキング技術を補充するために使用され、ビジュアルプレゼンテーションのサイズは、ディスプレイの大きさ及びカメラの機能によりこのケースにおいて制限される。この制限は、動きセンサを使用してポインティングデバイスのパスを追跡することで除かれる。初期画像は、ディスプレイにおける基準ポイントを識別するために使用され、その後、ユーザがたとえばポインティングデバイスのボタンをプレス又はリリースするか、又は予め定義された長さの時間についてポインティングデバイスを安定に保持することによるといったやり方で、ユーザがビジュアルプレゼンテーションにおける所望のロケーションにポインティングデバイスを向けることを示すまで、ターゲットのパスは、動きセンサにより供給される情報を使用することで決定される。このケースでは、ユーザが横方向でポインティングデバイスを実際に移動させる代わりに、それを傾ける場合に、正味の線形な動きは、ポインティングデバイスとディスプレイとの間の距離を考慮して、ポインティングデバイスが傾斜される角度から推測される必要がある。
【００２６】
したがって、ポインティングデバイスにより向けられるターゲットポイントに追従するパスは、画像及び動きセンサ情報におけるトラッキングポイントの組み合わせを使用して計算されることが好ましい。
【００２７】
ディスプレイ及び／又はその周囲のテンプレートは、ディスプレイ制御インタフェースの内部メモリに記憶されるか、又は、外部ソースから同様にアクセスされる。好ましくは、ディスプレイ制御インタフェースは、たとえば内部又は外部メモリ、メモリスティック、イントラネット又はインターネットからディスプレイの予め定義されたテンプレートを取得するための適切なインタフェースをもつアクセスユニットを有する。このように、ディスプレイのユーザは、たとえば、ディスプレイ及びその周囲の画像を撮影し、それらをディスプレイ制御インタフェースにダウンロードすることで、ディスプレイが新たなロケーションに移動されたときは何時でも、又は、ディスプレイの周囲が変化するときは何時でもテンプレートを更新する。ディスプレイの製造業者は、ディスプレイの適切なテンプレートを供給し、必要に応じてこれらを更新する。
【００２８】
好ましくは、ディスプレイを制御するディスプレイ制御インタフェースは、ポインティングデバイスに組み込まれる。このケースでは、ディスプレイ制御インタフェースは、カメラから直接画像を取得するので、受信機を必要としない。画像分析及び制御信号生成は、ポインティングデバイスで行われ、制御信号は、ポインティングデバイスから直接にディスプレイに適切な形式で送信される。
【００２９】
他方で、これらのユニットの機能は、手に心地よく保持されるように実現されることが好ましいポインティングデバイスの物理的な大きさにより制限されるので、かかる画像分析ユニットは、原始的な画像分析で十分であり、大きなユニットを必要とする更に進展された画像処理は、制御信号生成と合わせて、外部のディスプレイ制御インタフェースで行われる。
【００３０】
本発明の特に好適な実施の形態では、ポジショニングデバイスは、外部のディスプレイ制御インタフェースに画像を送信する送出ユニット又は送信機と同様に、ディスプレイ制御インタフェースを組み込む。代替的に、ポジショニングデバイスは、画像分析及び制御信号生成機能を概して分配し、これらのタスクが外部のディスプレイ制御インタフェースにより実行するのを可能にし、これにより、ポインティングデバイスが小さな、更にコンパクトな形式で実現されるのを可能にする。
【００３１】
先に記載された外部ディスプレイ制御インタフェースは、スタンドアロンデバイスであるか、又は既に存在する家庭用娯楽装置、パーソナルコンピュータに組み込まれるか、若しくは、専用のディスプレイ制御インタフェースとして実現されるか、グラフィックカードで一般に見られるようなディスプレイ制御ユニットに組み込まれる。ポインティングデバイスからの情報を受けるため、外部のディスプレイ制御インタフェースは、画像を受けるための受信ユニットを備える。
【００３２】
明らかに、ディスプレイ制御インタフェースは、単一のポインティングデバイスとの使用のために制限される。何れかの数の異なるポインティングデバイスは、画像データをディスプレイ制御インタフェースに送出するために使用される。唯一のユーザが一回でディスプレイにわたる制御を有することが一般に望まれるので、それぞれのポインティングデバイスは、画像と共にある種の識別番号をディスプレイ制御インタフェースに送出し、このインタフェースは、どのポインティングデバイスが現在「アクティブ」であるかを判定するため、ある種の優先権又は待ち行列管理を有することが好ましい。進展された実現は、画像データと合わせて認証コードを送出するポインティングデバイスを予測し、たとえば、ビジュアルプレゼンテーションの所定のエリアは、必要な認証なしにユーザにとって「境界外」である。認証コードは、ポインティングデバイスにおいて信号線で接続されるか、又は、適切なインタフェースを通してダウンロードされるか、たとえば適切な制御入力によるといったやり方でユーザにより入力される。
【００３３】
本発明は、全体で、何れかのタイプのディスプレイを制御するための容易かつ柔軟な方法を提供する。使用の容易さのため、ポインティングデバイスは、ユーザにより心地よく握られる長く延びた形式でのワンド又はペンの形状である。ユーザは、ディスプレイから心地よい距離に位置される間、ターゲットにポインティングデバイスを向けることができる。同様に、ポインティングデバイスは、ピストルの形式で成型される。さらに、ユーザが暗がりにおいてさえ、ディスプレイを制御するためにポインティングデバイスを使用するように、光源は、ポインティングデバイスが向けられるエリアを照明する役割を果たす、ポインティングデバイスに組み込まれるか搭載される。
【００３４】
ポインティングデバイス及びディスプレイ制御インタフェースは、実用的に何れかの種類の環境での使用のため、性能の高いディスプレイ制御システムを与えるために結合する。たとえば空港又は展示の環境での使用を発見することが考えられ、旅行者又はゲストは、ポインティングデバイスを使用して、便利かつ直観的なやり方で拡張的な情報ディスプレイを通して誘導することができる。
【００３５】
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかになるであろう。しかし、図面は例示の目的に設計され、本発明の制限の定義として設計されていない。図面において、同じ番号は全体を通して同じオブジェクトを示している。
【発明を実施するための最良の形態】
【００３６】
図１は、ディスプレイ４を制御するシステム１５を示している。本発明の特に適切なアプリケーションは、ビジュアルプレゼンテーションをプロジェクタスクリーンのようなバックドロップに投影するために使用される「ビーマ“beamer”」である。このケースでは、図面における明確さのため、ディスプレイ４は、パーソナルコンピュータのような装置１０のモニタである。一般に、かかる装置１０は、たとえばグラフィックカードといったディスプレイ制御ユニット５を組み込む。ディスプレイ４の内側又は外側のエリアにポインティングデバイス１を向けることで、ユーザは、表示されるビジュアルプレゼンテーションＶＰの所望の調節を示す。かかるビジュアルプレゼンテーションＶＰは、ユーザがナビゲートしているメニューヒエラルキーであるか、又は、スクリーン４に表示される何れかのタイプの画像である。この目的のため、ユーザは、全体のビジュアルプレゼンテーションＶＰを「見る」ことができることを想像し、ユーザがディスプレイ４に示されるのを好むその部分にポインティングデバイス１を向ける。この例では、ユーザは、基準ポイントＰCが配置されるディスプレイ４の何処かにポインティングデバイス１を向け、ビジュアルプレゼンテーションＶＰの所望の部分が発見されることをユーザが想像する、ディスプレイ４の左に向かってポインティングデバイス１を移動させることでスクロールプロセスを始動することが想定される。
【００３７】
ポインティングデバイス１におけるカメラ２は、ポインティングデバイス１が向けられる方向Ｄにおいて、ポインティングデバイス１の前のターゲットエリアＡの画像を生成する。カメラ２により生成されたそれぞれの画像は、ターゲットポイントＰTの周りに集中される。画像は、ディスプレイ制御インタフェース８にポインティングデバイス１の送出ユニット１２により送出される。
【００３８】
ディスプレイ制御インタフェース８の受信機９は、画像３を受け、それらを画像分析ユニット６に送出し、このユニットは、画像３を分析して、画像３におけるターゲットポイントＰTと基準ポイントＰC、このケースでのディスプレイ４の中央との間の関係を判定する。この目的のため、既に記載されたトラッキング技術が使用され、連続的な画像３を識別及び追跡し、ポインティングデバイス１のパスを判定し、望まれる場合にその動きのレートを判定する。画像分析の結果は、制御信号発生器７に送出され、この発生器は、これに相応して制御信号１７を発生する。これらは、アプリケーションインタフェース１１に通過され、このインタフェースは、ディスプレイ制御ユニット５に送信に適した形式で信号２７を送出する前に必要な変換を実行する。
【００３９】
受信された信号２７は、パーソナルコンピュータ１０のモニタ４を駆動するために使用される信号３７を与えるため、ディスプレイ制御ユニット５により処理される。
ユーザは、水平又は垂直でのスクロールに限定されないが、適切な方向でポインティングデバイス１１を単に向けることで、ビジュアルプレゼンテーションＶＰに対角線にスクロールさせることもできる。
【００４０】
レーザ光のビームがポインティングの方向で本質的に発生するレーザ光源がポインティングデバイス１に設けられている場合、ポインティングデバイス１の「サイトのライン“line of sight”」におけるオブジェクトに光が衝突するときは何時でも目に見える、続いて起こる光の点は、ユーザが所望の方向で正しく狙いをつけるのを支援する。好ましくは、光の点は、ターゲットポイントと正確に一致する。
【００４１】
ディスプレイ制御インタフェースは、スタンドアロン装置である必要がない。かかるインタフェースの機能は、ポインティングデバイス自身に統合される。図２は、かかるポインティングデバイス１の構成モジュールを更に詳細に示している。カメラ２は、ポインティングの方向Ｄにおいて、ポインティングデバイス１の前のエリアの画像３を生成する。ポインティングデバイス１は、この実施の形態では長く延びた形式を備えており、ポインティングの方向Ｐがポインティングデバイス１の長手方向の軸に沿って存在する。カメラ２は、ポインティングデバイス１の前方に位置され、図示されないユーザが狙いをつけるポインティングデバイス１の前にあるエリアで画像３が生成される。
【００４２】
これらの画像３は、画像分析ユニット６に通過され、ここで画像が解析される。解析の結果は、制御信号発生器７’に送出され、ここでディスプレイのための制御信号１７が発生される。画像分析のみによりビジュアルプレゼンテーションＶＰの所望の部分を安定するのに加え、又はその代替として、ポインティングデバイス１における動きセンサ１６は、基準ポイントに関してポインティングデバイス１の位置又は動きに関する情報１８を伝達する。この情報１８は、スクロールの量及び方向を決定するために使用されるか、又は画像分析の捕捉として使用することができる。
【００４３】
この例では、ユーザは、ポインティングデバイス１に搭載されたボタンのような、制御入力１３によりスクロールプロセスをアクチベート又はデアクチベートすることができる。ユーザは、一般的な所望の方向でポインティングデバイス１の狙いをつけ、ユーザがポインティングデバイス１に適切に狙いをつけたとき、ユーザは、制御入力１３を押すことでユーザの意図を示すことができる。制御入力１３からの適切な信号１４は、ビジュアルプレゼンテーションＶＰの所望の部分をユーザが示したことを示して、制御信号発生器７’に送出される。制御信号発生器７’は、画像３、制御入力信号１４及び／又は動きセンサ情報１８に基づいて制御信号１７を発生する。制御信号１７は、図示されないが、ディスプレイ制御インタフェース８’のアプリケーションインタフェース１１’により、たとえばＢｌｕｅｔｏｏｔｈ８０２．１１ｂ又は移動電話規格といった無線方式で、ディスプレイユニット８’に送信される。
【００４４】
ポインティングデバイス１は、画像３を連続的に生成し、制御信号１７を送出するか、又は、所定の時間の長さの間に動かない場合に自動的に動作を停止する。このため、動きセンサ１６は、休止状態からはじめに移動されたとき、ポインティングデバイス１をアクチベートし、所定の予め定義された時間長について動きに変化がない場合に、ポインティングデバイス１を休止状態に戻す。図示されないが、ポインティングデバイス１は大部分がバッテリにより電力供給されるので、バッテリの寿命を長くするため、ビジュアルプレゼンテーションＶＰにおけるあるポイントにポインティングデバイス１を実際に向けるとき、ディスプレイ制御インタフェースにデータを送信することは都合がよい。
【００４５】
図２に例示されるように、画像処理及び制御信号を実行するのが可能であることで、ポインティングデバイス１は、図１に記載されるように個別のディスプレイ制御インタフェース８と通信するために必須ではないことを意味する。画像分析の量は、小型かつ実用的なフォーマットで実現される可能性が最も高い、ポインティングデバイス１の物理的な大きさにより制限されないため、この「スタンドアロン」の実施の形態は、画像分析の精度が特に重要ではない状況、又はポインティングデバイス１が外部のディスプレイ制御インタフェース８と通信不可能な状況で十分なものである。
【００４６】
この実施の形態は、勿論、ローカルディスプレイ制御インタフェース８’に加えて、ポインティングデバイス１が図１に記載される送出ユニット１２の利益となるように、単なる図１の拡張であり、そのスタンドアロン機能に加えて、外部のディスプレイ制御インタフェース８と共に動作するのを可能にする。
【００４７】
代替的な実施の形態が図３に示されており、テレビジョンのような装置１０のディスプレイ４のディスプレイ制御インタフェース８’’は、装置１０それ自身に組み込まれる。テレビジョン１０のディスプレイ４を制御するポインティングデバイス１は、ポインティングデバイス１のカメラ２により生成されるターゲットエリアＡの画像３を送出するために送出ユニット１２を組み込むことが必要である。受信機９’’は、画像３を受け、それを画像分析ユニット６’’に送出し、このユニットで、これらの画像が解釈され、制御信号発生器７’’に送出される。ここで、制御信号１７は、生成されて、テレビジョン１０のグラフィックカードのようなディスプレイ制御ユニット５に送出され、ビジュアルプレゼンテーションＶＰがテレビジョンスクリーン４で相応して調整される。ディスプレイ制御インタフェース８’’は、ディスプレイ制御ユニット５の一部であり、逆も然りである。
【００４８】
図４ａから図４ｈは、ディスプレイ４におけるビジュアルプレゼンテーションＶＰをスクロールするプロセスを更に詳細に説明している。ユーザは、ディスプレイ４の画像を観察している。画像の明確さのため、この例における画像又はビジュアルプレゼンテーションＶＰは、チェスゲームにおけるステージの図である。このビジュアルプレゼンテーションＶＰは、図４ａにおいて完全な形で示されている。
【００４９】
図４ｂに示されるように、ビジュアルプレゼンテーションＶＰの一部のみ、このケースでは左下コーナが、テレビジョン、パーソナルコンピュータ等のような装置１０のディスプレイであるディスプレイ４にフィットすることができる。ユーザは、この例では、ビジュアルプレゼンテーションＶＰの右上コーナにパンする（カメラが動く）ことを望む。このため、ユーザは、まるでユーザが完全な形でビジュアルプレゼンテーションＶＰを「見る」かのように、ディスプレイ４でのポインティングかたビジュアルプレゼンテーションＶＰの右上コーナにおける想像上のポイントにポインティングデバイスを移動させる。
【００５０】
ユーザがディスプレイ４から離れ、所望のターゲットに向けてポインティングデバイス１を移動させる間、カメラ２は、ポインティングデバイス１により示されたエリアの連続する画像を生成する。図では、全体のビジュアルプレゼンテーションＶＰが示され、これによりディスプレイ４に示されていないビジュアルプレゼンテーションＶＰの一部は、色において明るく、所望のターゲットにポインティングデバイス１を向けたときにユーザが想像する「仮想的な」ビジュアルプレゼンテーションを例示する役割を果たす。明確さのため、図４ｃから図４ｆには、４つのかかる画像３ａ，３ｂ，３ｃ，３ｄのみが示されている。現実には、画像の数は、カメラ２の機能及び所望の精度に依存して、かなり大きい。図４ｃから図４ｅは、図４ｆに示される最終的な画像３ｄに途中で作られるターゲットエリア画像３ａ，３ｂ，３ｃを示しており、「遷移する“transient”」ターゲットポイントは、Ｐ1，Ｐ2，Ｐ3により示される。
【００５１】
ポインティングデバイス１が移動される方向を判定するため、画像分析ユニットは、連続する画像における対応するポイントのセットを配置する。このため、パターンマッチング技術が使用される場合があり、この場合、ディスプレイのエッジ又はコーナを示す画像は、ポインティングデバイス１の動きを追従するため、ディスプレイのテンプレートと比較される。
【００５２】
ディスプレイ４の右上コーナは、ターゲットエリアの画像の座標（ｘ1，ｙ1）をもつ第一のターゲットエリア画像３ａにおけるポイントを与える。この第二の画像における同じポイントは、ターゲットエリア画像３ｂにおける新たな位置に移動され、ここで座標（ｘ2，ｙ2）を有する。同様に、第三の画像３ｃでは、ディスプレイの右上コーナは、座標（ｘ3，ｙ3）を有する。このポイントが連続する画像で「動いた」ように見える方向を計算することで、画像分析ユニットは、ポインティングデバイス１の進行の経路を計算する。新たなポイントは、コーナのような容易に識別可能なポイントといった、必要に応じて識別される。ここで、ディスプレイ４の右上コーナに対応するポイントはポインティングデバイス１により向けられるターゲットエリアから消える恐れがあるので、座標（ｘ4，ｙ4）をもつ更なるポイントは、ターゲットエリア画像３ｃで識別される。最終的な画像３ｄでは、新たなポイントは「移動され」、ここで座標（ｘ5，ｙ5）を有する。
【００５３】
最後の画像３ｄが分析される時間まで、画像分析ユニットは、図４ｇに示されるように、ポイントにより進行されるパスを計算するのに十分なデータを有しており、基準ポイントＰCに関する最後のターゲットポイントＰTの位置を計算することができる。この情報により、制御信号発生ユニットは、最後のターゲットポイントＰTを包含する部分を示すため、ビジュアルプレゼンテーションＶＰをスクロールするための必要な制御信号を発生することができる。ビジュアルプレゼンテーションＶＰの所望の部分は、図４ｈに示されるように、スクリーン４に示される。
【００５４】
本発明は好適な実施の形態及びその変形例の形式で開示されたが、本発明の範囲を逸脱することなしに様々な更なる変更及び変形例がなされることが理解される。ペン形状の代替として、ポインティングデバイスは、たとえばビルトインカメラをもつパーソナルデジタルアシスタント（ＰＤＡ）、又はビルトインカメラをもつモバイルフォンである。
【００５５】
明確さのため、「有する“comprise”」は、他のステップ又はエレメントを排除するものではない。「ユニット“unit”」は、単一のエンティティとして明示されない場合には、多数のブロック又は装置を有する場合がある。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施の形態に係るポインティングデバイス及びディスプレイ制御インタフェースを含むシステムの概念図である。
【図２】本発明の実施の形態に係るポインティングデバイスの概念図である。
【図３】本発明の実施の形態に係るポインティングデバイス及びディスプレイ制御インタフェースの概念図である。
【図４ａ】ビジュアルプレゼンテーションの概念図である。
【図４ｂ】ビジュアルプレゼンテーションの第一の部分を示すポインティングデバイス及びディスプレイの概念図である。
【図４ｃ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｄ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｅ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｆ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｇ】ディスプレイ及びビジュアルプレゼンテーションの概念図であり、ビジュアルプレゼンテーションの一部がディスプレイに表示されている。
【図４ｈ】ビジュアルプレゼンテーションの第二の部分を示すディスプレイの概念図である。
【技術分野】
【０００１】
本発明は、ディスプレイを制御する方法及びシステム、かかるシステムのためのポインティングデバイス及びディスプレイ制御インタフェースに関する。
【背景技術】
【０００２】
近年、エレクトロニクス及びコンピュータの分野における発展は、我々の日々の生活において我々に直面する情報の供給の増加している。誰でもパーソナルコンピュータで大量の情報を管理することができ、大部分の現代のコンシューマエレクトロニクス装置は、ユーザに多数のオプション及びプログラミングの可能性を提供する。かかるコンテンツに関連した情報は、テレビジョンスクリーン、コンピュータモニタ、又は壁のようなある種のスクリーン又はバックドロップのような、ある種の電子ディスプレイで目に見える形式で一般に提供される。明らかな例は、私的な又は業務に関連したデータ及び情報の全ての集合をもつ、パーソナルコンピュータのスクリーンに示される仮想的な「デスクトップ」である。空港及び鉄道の駅では、人々は、たとえば地図上のホテルを探すこと、又はチケットの注文及び支払といった、電子情報システムのディスプレイを通してナビゲートする。
【０００３】
視覚的に提供されたコンテンツに関連される情報は、メニューヒエラルキー、画像、バーチャルデスクトップ、マップ等である場合がある。しばしば、ディスプレイに実際に適合されるよりも多くのコンテンツに関連された情報が利用可能であり、たとえば、大きな画像を視聴することは、ディスプレイで適合されるように画像のサイズを縮小することを必要とする。しかし、画像は、余りに小さくてユーザが適切に見ることができないか、詳細を理解することができない。代替的に、ユーザは、スクロールバーのようなディスプレイにおける専用の領域のカーソルを移動させ、マウスボタンをクリックするか、キーパッド又はキーボードの適切なキーを押すことで、画像又はコンテンツの他の部分に水平又は垂直にスクロールすることができる。マウス又はキークリックは、ディスプレイのコンテンツをアップデートするため、ディスプレイの制御ユニットにより通常は解釈される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このタイプのディスプレイコントロールの１つの制約は、要求された作用を有するため、マウス又はキークリックのためにスクロールバーにおける必要とされる位置にカーソルが正確に移動される必要があることである。さらに、スクロールの方向は、水平及び垂直の移動に必然的に制限され、ユーザが対角線にスクロールするのを望むとき、ユーザは、効率的に必要とされる努力を２倍にして、水平及び垂直のスクロールの両者を結合する必要がある。通常、スクロールは一定のレートで実行され、これは、スクロールされる距離が比較的小さい場合には正しいが、大きなコンテンツの離れた端にあるポイントにユーザがスクロールするのを望む場合には面倒である。別のスクロールバーの問題点は、ディスプレイにおいて場所をとることであり、したがって表示されている画像又はビジュアルプレゼンテーションの異なる部分をユーザが実際に見たいときにスクロールバーのみが必要とされる場合でさえ、利用可能な表示領域を減少することである。
【０００５】
したがって、本発明の目的は、ディスプレイを制御するより便利で直観的な方法を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、ディスプレイを制御する方法を提供するものであり、当該方法は、ディスプレイの視覚的な表示の一部を表示し、ビジュアルプレゼンテーションにターゲットを示すためにカメラを有するポインティングデバイスをターゲットエリアに向けるステップを含み、これにより、ターゲットは、ディスプレイで現在目に見ることができるビジュアルプレゼンテーションの内側又は外側にある場合がある。画像は、ポインティングデバイスにより向けられるターゲットエリアについて生成され、このターゲットエリアは、ビジュアルプレゼンテーション内のターゲットのロケーションを決定するために解釈される。ビジュアルプレゼンテーションは、ディスプレイでセンタリングされるか、又は僅かにセンタから外れる場合がある、ターゲットポイントを包含するビジュアルプレゼンテーションのその部分を表示するために必須として調節される。
【０００７】
本発明に係る方法を使用したディスプレイを制御する適切なシステムは、ポインティング装置が狙われる方向において、ビジュアルプレゼンテーションにおけるターゲットを示すターゲットエリアの画像を生成するカメラを有し、これにより、ターゲットは、ディスプレイで現在目に見ることのできるビジュアルプレゼンテーションの一部の内又は外である場合がある。さらに、システムは、画像を分析するための画像分析ユニット、画像分析の結果に従って制御信号を発生する制御信号発生ユニット、及びディスプレイにおけるビジュアルプレゼンテーションを調節するために制御信号を印加するディスプレイ制御ユニットを有する。
【０００８】
本発明に係る方法は、ポインティングデバイスの全体として新たなアプリケーションを開く。かかるポインティング装置の助けにより、ユーザは、所望のコンテンツの推定されるロケーションにポインティングデバイスをシンプルに向けることで、水平方向又は垂直方向にではなく、ディスプレイのコンテンツを所望の方向にスクロールすることができる。このポインティングデバイスの直観的なアプリケーションは、その便利なポインティング様式と共に、本発明をなすために、何れかの種類のディスプレイの制御での使用のための実用的なツールを結合する。
【０００９】
従属の請求項及びその後の記述は、特定の有利な実施の形態及び本発明の特徴を開示する。
本発明に係る方法での使用のためのポインティング装置は、ポインティング装置が向けられる方向におけるターゲットエリアの画像を生成する少なくとも１つのカメラを有する。
【００１０】
カメラは、ポインティング装置に組み込まれるのが好ましいが、ポインティングデバイスに同様に搭載され、ユーザにより向けられるポインティングデバイスの前のエリアの画像を生成するやり方で指向されるのが好ましい。ユーザにより向けられる「ターゲット」は、ポイント又は領域である、「ターゲットエリア」は、カメラにより画像−ターゲットエリア画像−として捕捉されるポインティングデバイスの前の領域である。カメラは、基本的なやり方で構築されるか、ズーム機能又は所定のタイプのフィルタのような特徴的な高性能な機能である場合がある。
【００１１】
好ましくは、画像を分析する画像分析ユニット、ディスプレイ用のディスプレイ制御信号を発生する制御信号発生ユニットは、たとえばパーソナルコンピュータのグラフィックカードといった、ディスプレイ制御ユニットと対話するディスプレイ制御インタフェースに組み込まれる。かかるディスプレイ制御インタフェースは、ディスプレイ制御信号をディスプレイ制御ユニットに伝達する送出ユニットを必須として含んでいる。後に説明されるように、ディスプレイ制御インタフェースは、ポインティングデバイスに組み込まれるか、適切な通信インタフェースによりポインティングデバイスに結合される、外部ユニットとして実現される。
【００１２】
ディスプレイは、バックドロップ、テレビジョンスクリーン、コンピュータモニタ、又は、チケット販売機、旅行情報ポイント等のようなユーザに情報を視覚的に提供するために使用される機器のディスプレイでの投影のような、何れかの種類のディスプレイである。以下では、ディスプレイで示すことができるものは「ビジュアルプレゼンテーション」と呼ばれ、デスクトップ環境、メニューヒエラルキー、マップ、実際には何れかの種類の画像である。ビジュアルプレゼンテーションのサイズは、ディスプレイの寸法に限定されるものではなく、ディスプレイの寸法よりも大きなサイズであるか、小さなサイズとすることができる。しかし、以下では、ビジュアルプレゼンテーションは、ビジュアルプレゼンテーションの一部のみがディスプレイにおける何れかのある時間で示されるように、ディスプレイよりも実際に大きい。
【００１３】
ユーザはディスプレイの外にあるビジュアルプレゼンテーションにおけるターゲットにポインティングデバイスを向けるとき、ディスプレイのコンテンツは、ディスプレイの目に見える領域に所望の部分を「スクロールする」ことで調節又は更新されることが好ましい。スクロールは、ビジュアルプレゼンテーションがディスプレイにわたり滑るように見えるように滑らかであるか、又は、ビジュアルプレゼンテーションがディスプレイにわたるステージでシフトされるようにインクリメンタルである。スクロールは、ポインティングデバイスが必要とした方向をミラーし、ポインティングデバイスが「北東」の方向、すなわちディスプレイの中央からディスプレイの右上コーナを越えて対角線に移動した場合に、コンテンツ又はビジュアルプレゼンテーションは、ビジュアルプレゼンテーションの目標とされる部分を示すために「南西」方向でスクロールされる。要するに、ポインティングデバイスは、必ずしも直線ではなく、何れかの方向で移動される。スクロールは、ポインティングデバイスがユーザにより移動されるとすぐ始動し、連続的に、その移動を反映し、ポインティングデバイスが停止するとすぐに停止する。代替的に、スクロールは、ユーザがポインティングデバイスを移動したときにはじめに行われ、次いでユーザがそれを狙って終了するやり方で示される。
【００１４】
本発明の好適な実施の形態では、スクロールのレートは、ターゲットとディスプレイにおける基準ポイントとの間の距離により決定され、ユーザがポインティングデバイスを向けるディスプレイからの離れると、スクロールのレートが高速になる。これは、ディスプレイのサイズに関して非常に大きなビジュアルプレゼンテーションのケースで特に適切であり、この大きなディスプレイを通したスクロール又はナビゲーションが余りに長くかからない。
【００１５】
本発明の更なる好適な実施の形態では、スクロールのレートは、ポインティングデバイスの動きのレートにより決定される場合がある。たとえば、ユーザがディスプレイから緩やかに離れてポインティングデバイスを移動させる場合、ビジュアルプレゼンテーションは、所望のコンテンツを示すために相応して緩やかに調節される。ディスプレイから離れるポインティングデバイスの迅速な動きは、ディスプレイにおけるビジュアルプレゼンテーションの相応した迅速なアップデート又は調節となる。ポインティングデバイスにより後続される動きのレート及びパスは、適切な分析技術又はアルゴリズムをカメラで撮影された画像に適用することで決定することができる。また、ポインティングデバイスは、その相対的な動きを検出及び報告するために動きセンサを組み込んでいる。かかる動きセンサは、ユーザが休止状態からポインティングデバイスを取り上げるか又は移動させるとすぐにアクチベートされる。
【００１６】
本発明の代替的な実施の形態では、ビジュアルプレゼンテーションを通したスクロールによりディスプレイを更新する代わりに、ディスプレイは、スクロールなしに、ある瞬間で更新され、オリジナルコンテンツは、ポインティグデバイスにより向けられるターゲットを包含するビジュアルプレゼンテーションのその部分により一度にシンプルに置き換えられる。
【００１７】
ポインティングデバイスは、ディスプレイにおけるビジュアルプレゼンテーションの調節をイネーブル又はディスエーブルにするために制御入力を備えることが好ましい。かかる制御入力は、ディスプレイから離れ所望のターゲットに向けてポインティングデバイスを移動させるときにユーザが押し下げ、ポインティングデバイスが所望のターゲットに向けられるときにリリースするためのポインティングデバイスのボタンである。ボタンが押し下げられる限り、スクロールは意味のある特徴としてアクチベートされ、ビジュアルプレゼンテーションは、カメラにより記録される画像に従って更新される。ボタンがリリースされる限り、ポインティングデバイスは、不作動又は休止状態に戻る。
【００１８】
ポインティングデバイスへの更なる追加は、カメラにより捕捉されるターゲットエリアの中央であることが好ましい、ポインティングデバイスが向けられる本質的に同じ方向で集中された光ビームが発せられるようなやり方でポインティングデバイスに配置される、たとえばレーザといった集中された光ビームのソースである。かかる光ソースは、レーザポインタのような装置で一般に使用される。光ポイントは、光ビームがそのパスにおけるオブジェクトに衝突する場所であれば何処でも現れる。ここで、ユーザがポインティングデバイスを向けている方法を光ポイントが非常に正確に示すため、光ポイントは、所望のターゲットにポインティングデバイスを向けることにおいてユーザを支援する。
【００１９】
全体のビジュアルプレゼンテーションにおけるその実際のロケーションに、ディスプレイで現在示されるビジュアルプレゼンテーションのその部分を「配置すること“placing”」においてユーザを支援するため、一見して全体のビジュアルプレゼンテーションを見る可能性をユーザに提供することは有利であり、ビジュアルプレゼンテーションのその部分の周りのディスプレイの輪郭は現在示されている。このため、全体の比較的な表現は、ディスプレイの小さなセクションで適切にスケールダウンされて示されるか、又は、ディスプレイの実際の内容を簡単に置き換える場合がある。ユーザは、ビジュアルプレゼンテーションにおけるユーザのベアリング（bearing）を容易に発見することができ、比較的大きなビジュアルプレゼンテーションを通したナビゲーションを容易にする。ユーザは、かかるステップを始動するためにポインティングデバイスを使用する。たとえば、ユーザは、円を描くことによるか、又は前後にポインティングデバイスをはじくことによるような、予め定義されたやり方でポインティングデバイスをウェーブする。代替的に、ユーザは、ディスプレイでポインティングデバイスを向ける間にポインティングデバイスのボタンを押すか、又はディスプレイに関連されるキーパッド又はキーボードを介して適切なコマンドを入力する。
【００２０】
全体のピクチャにおけるビジュアルプレゼンテーションの目に見える部分を迅速に配置する別の方法では、ポインティングデバイスは、更なる「ズーム」機能を提供する場合がある。したがって、ディスプレイで目に見えるビジュアルプレゼンテーションの量は、ポインティングデバイスとディスプレイとの間の距離により示されることが好ましい。たとえば、ディスプレイにポインティングデバイスを向け、同時に、それをディスプレイから後方に離れて移動させることで、その多くがディスプレイに表示されるように、ビジュアルプレゼンテーションが低減又は「収縮」される。ユーザは、ビジュアルプレゼンテーションにおいて彼のベアリングを容易に発見する。ディスプレイに向けてポインティングデバイスを移動させることで、ビジュアルプレゼンテーションのオリジナルの大きさのファクタを回復することができる。
【００２１】
ユーザがポインティングデバイスを向けるターゲット又はターゲットポイントを容易に判定するため、デバイス制御インタフェースの画像分析ユニットは、通常の画像処理技術又はコンピュータビジョンアルゴリズムを適用することで、ポインティングデバイスのパスを追跡することが好ましい。ターゲットエリアの画像は、たとえば強調された輪郭、コーナ、エッジ等といった全体の画像の重要な部分のみに関する画像データを含むか、又は、画質をもつ詳細画像である場合がある。画像分析ユニットにより計算されるパスは、その後、ユーザがディスプレイで見るのを好むビジュアルプレゼンテーションのその部分を識別するため、ビジュアルプレゼンテーションに効果的に「重ね合わされる」。
【００２２】
コンピュータビジョンを使用したターゲットエリアの画像を処理する方法は、ターゲットとなる画像における別個のポイントを検出し、テンプレートにおける対応するポイントを決定し、及び、ディスプレイに関連する幾つかの基準ポイントに関連するポインティングデバイスのトラベルのパスを計算するステップを有する。基準ポイントは、ディスプレイの中央、ディスプレイのコーナ、又は他の適切なポイントである。基準ポイントは、ポインティングデバイスのトラベルの経路を計算するとき、この１つの基準ポイントが常に使用されるように、固定、すなわち予め決定される場合がある。代替的に、ポインティングアクションをユーザが始動するたびに、基準ポイントが新たに定義される。この目的のため、画像分析ユニットは、第一の画像の１つから適切なポイントをシンプルに取り、トラッキング計算の基準ポイントとしてこのポイントを使用する。
【００２３】
その周囲が相当に変化しないディスプレイについて、画像分析ユニットにその周囲をもつディスプレイの画像又はテンプレートを提供することは都合がよい。次いで、ポインティングデバイスのパスのトラッキングは、テンプレートの１つの最終的なターゲットエリアを整合させる比較的シンプルなタスクに低減される。ディスプレイにおける基準ポイントに対するターゲットポイントの相対的な位置は、容易に計算することができ、ビジュアルプレゼンテーションにおける対応するエリアは、同様に容易に識別され、ディスプレイで表示される。
【００２４】
何れかのロケーションでセットアップされるプロセッサのスクリーン又はバックドロップのような、その周囲が異なる時間で異なって見えるディスプレイのケースでは、ポインティングデバイスのパスのトラッキングのプロセスは、画像分析ユニットにディスプレイの少なくともテンプレート、特にディスプレイのエッジを供給することで簡略化される。画像分析ユニットは、ポインティングデバイスが移動されたときにカメラにより生成される連続する画像を連続的に比較することで、ポインティングデバイスが移動される方向を判定し、ポインティングデバイスがディスプレイのエッジを通過する方向を判定する。次いで、画像分析ユニットは、容易に識別可能なオブジェクト又はポイントを選び、そのポイントを連続する画像にわたり追跡する。多数のかかるポイントは、最終的なターゲットエリアの画像に到達するまで、選ばれ、追跡される。このステージにより、画像分析ユニットは、ターゲットポイントのパスを追跡し、所望のコンテンツを識別するため、このパスをビジュアルプレゼンテーションに与える。次いで、ディスプレイは、これらの所望のコンテンツを示すために更新又は調整される。また、ポインティングデバイスの移動のレートは、スクロールのプロポーショナルレートを適用することができるように、これらトラッキング技術を使用することで決定される。
【００２５】
ターゲットポイントをトラッキングする別のやり方は、ポインティングデバイスが移動する方向、及びポインティングデバイスが進む距離を検出するために動きセンサを使用することによる。ディスプレイにおける基準ポイントに関するポインティングデバイスの動きは、ポインティングデバイスに組み込まれるか、ユーザがポインティングデバイスを保持する手でユーザにより身に着けられる、動きセンサを使用して検出される。たとえば、幾つかの状況では、ディスプレイの周囲は、ターゲットのパスをトラッキングするのに画像分析ユニットを支援する適切なポイントを常に提供しない。ディスプレイは、何れかのマーキングなしに平坦で一様な表面に設定される。かかる状況では、ディスプレイの少なくとも１部がターゲットエリア画像のそれぞれにおいて目に見える場合に、ターゲットポイントを追跡するので、動きセンサは、既に記載されたトラッキング技術を補充するために使用され、ビジュアルプレゼンテーションのサイズは、ディスプレイの大きさ及びカメラの機能によりこのケースにおいて制限される。この制限は、動きセンサを使用してポインティングデバイスのパスを追跡することで除かれる。初期画像は、ディスプレイにおける基準ポイントを識別するために使用され、その後、ユーザがたとえばポインティングデバイスのボタンをプレス又はリリースするか、又は予め定義された長さの時間についてポインティングデバイスを安定に保持することによるといったやり方で、ユーザがビジュアルプレゼンテーションにおける所望のロケーションにポインティングデバイスを向けることを示すまで、ターゲットのパスは、動きセンサにより供給される情報を使用することで決定される。このケースでは、ユーザが横方向でポインティングデバイスを実際に移動させる代わりに、それを傾ける場合に、正味の線形な動きは、ポインティングデバイスとディスプレイとの間の距離を考慮して、ポインティングデバイスが傾斜される角度から推測される必要がある。
【００２６】
したがって、ポインティングデバイスにより向けられるターゲットポイントに追従するパスは、画像及び動きセンサ情報におけるトラッキングポイントの組み合わせを使用して計算されることが好ましい。
【００２７】
ディスプレイ及び／又はその周囲のテンプレートは、ディスプレイ制御インタフェースの内部メモリに記憶されるか、又は、外部ソースから同様にアクセスされる。好ましくは、ディスプレイ制御インタフェースは、たとえば内部又は外部メモリ、メモリスティック、イントラネット又はインターネットからディスプレイの予め定義されたテンプレートを取得するための適切なインタフェースをもつアクセスユニットを有する。このように、ディスプレイのユーザは、たとえば、ディスプレイ及びその周囲の画像を撮影し、それらをディスプレイ制御インタフェースにダウンロードすることで、ディスプレイが新たなロケーションに移動されたときは何時でも、又は、ディスプレイの周囲が変化するときは何時でもテンプレートを更新する。ディスプレイの製造業者は、ディスプレイの適切なテンプレートを供給し、必要に応じてこれらを更新する。
【００２８】
好ましくは、ディスプレイを制御するディスプレイ制御インタフェースは、ポインティングデバイスに組み込まれる。このケースでは、ディスプレイ制御インタフェースは、カメラから直接画像を取得するので、受信機を必要としない。画像分析及び制御信号生成は、ポインティングデバイスで行われ、制御信号は、ポインティングデバイスから直接にディスプレイに適切な形式で送信される。
【００２９】
他方で、これらのユニットの機能は、手に心地よく保持されるように実現されることが好ましいポインティングデバイスの物理的な大きさにより制限されるので、かかる画像分析ユニットは、原始的な画像分析で十分であり、大きなユニットを必要とする更に進展された画像処理は、制御信号生成と合わせて、外部のディスプレイ制御インタフェースで行われる。
【００３０】
本発明の特に好適な実施の形態では、ポジショニングデバイスは、外部のディスプレイ制御インタフェースに画像を送信する送出ユニット又は送信機と同様に、ディスプレイ制御インタフェースを組み込む。代替的に、ポジショニングデバイスは、画像分析及び制御信号生成機能を概して分配し、これらのタスクが外部のディスプレイ制御インタフェースにより実行するのを可能にし、これにより、ポインティングデバイスが小さな、更にコンパクトな形式で実現されるのを可能にする。
【００３１】
先に記載された外部ディスプレイ制御インタフェースは、スタンドアロンデバイスであるか、又は既に存在する家庭用娯楽装置、パーソナルコンピュータに組み込まれるか、若しくは、専用のディスプレイ制御インタフェースとして実現されるか、グラフィックカードで一般に見られるようなディスプレイ制御ユニットに組み込まれる。ポインティングデバイスからの情報を受けるため、外部のディスプレイ制御インタフェースは、画像を受けるための受信ユニットを備える。
【００３２】
明らかに、ディスプレイ制御インタフェースは、単一のポインティングデバイスとの使用のために制限される。何れかの数の異なるポインティングデバイスは、画像データをディスプレイ制御インタフェースに送出するために使用される。唯一のユーザが一回でディスプレイにわたる制御を有することが一般に望まれるので、それぞれのポインティングデバイスは、画像と共にある種の識別番号をディスプレイ制御インタフェースに送出し、このインタフェースは、どのポインティングデバイスが現在「アクティブ」であるかを判定するため、ある種の優先権又は待ち行列管理を有することが好ましい。進展された実現は、画像データと合わせて認証コードを送出するポインティングデバイスを予測し、たとえば、ビジュアルプレゼンテーションの所定のエリアは、必要な認証なしにユーザにとって「境界外」である。認証コードは、ポインティングデバイスにおいて信号線で接続されるか、又は、適切なインタフェースを通してダウンロードされるか、たとえば適切な制御入力によるといったやり方でユーザにより入力される。
【００３３】
本発明は、全体で、何れかのタイプのディスプレイを制御するための容易かつ柔軟な方法を提供する。使用の容易さのため、ポインティングデバイスは、ユーザにより心地よく握られる長く延びた形式でのワンド又はペンの形状である。ユーザは、ディスプレイから心地よい距離に位置される間、ターゲットにポインティングデバイスを向けることができる。同様に、ポインティングデバイスは、ピストルの形式で成型される。さらに、ユーザが暗がりにおいてさえ、ディスプレイを制御するためにポインティングデバイスを使用するように、光源は、ポインティングデバイスが向けられるエリアを照明する役割を果たす、ポインティングデバイスに組み込まれるか搭載される。
【００３４】
ポインティングデバイス及びディスプレイ制御インタフェースは、実用的に何れかの種類の環境での使用のため、性能の高いディスプレイ制御システムを与えるために結合する。たとえば空港又は展示の環境での使用を発見することが考えられ、旅行者又はゲストは、ポインティングデバイスを使用して、便利かつ直観的なやり方で拡張的な情報ディスプレイを通して誘導することができる。
【００３５】
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかになるであろう。しかし、図面は例示の目的に設計され、本発明の制限の定義として設計されていない。図面において、同じ番号は全体を通して同じオブジェクトを示している。
【発明を実施するための最良の形態】
【００３６】
図１は、ディスプレイ４を制御するシステム１５を示している。本発明の特に適切なアプリケーションは、ビジュアルプレゼンテーションをプロジェクタスクリーンのようなバックドロップに投影するために使用される「ビーマ“beamer”」である。このケースでは、図面における明確さのため、ディスプレイ４は、パーソナルコンピュータのような装置１０のモニタである。一般に、かかる装置１０は、たとえばグラフィックカードといったディスプレイ制御ユニット５を組み込む。ディスプレイ４の内側又は外側のエリアにポインティングデバイス１を向けることで、ユーザは、表示されるビジュアルプレゼンテーションＶＰの所望の調節を示す。かかるビジュアルプレゼンテーションＶＰは、ユーザがナビゲートしているメニューヒエラルキーであるか、又は、スクリーン４に表示される何れかのタイプの画像である。この目的のため、ユーザは、全体のビジュアルプレゼンテーションＶＰを「見る」ことができることを想像し、ユーザがディスプレイ４に示されるのを好むその部分にポインティングデバイス１を向ける。この例では、ユーザは、基準ポイントＰCが配置されるディスプレイ４の何処かにポインティングデバイス１を向け、ビジュアルプレゼンテーションＶＰの所望の部分が発見されることをユーザが想像する、ディスプレイ４の左に向かってポインティングデバイス１を移動させることでスクロールプロセスを始動することが想定される。
【００３７】
ポインティングデバイス１におけるカメラ２は、ポインティングデバイス１が向けられる方向Ｄにおいて、ポインティングデバイス１の前のターゲットエリアＡの画像を生成する。カメラ２により生成されたそれぞれの画像は、ターゲットポイントＰTの周りに集中される。画像は、ディスプレイ制御インタフェース８にポインティングデバイス１の送出ユニット１２により送出される。
【００３８】
ディスプレイ制御インタフェース８の受信機９は、画像３を受け、それらを画像分析ユニット６に送出し、このユニットは、画像３を分析して、画像３におけるターゲットポイントＰTと基準ポイントＰC、このケースでのディスプレイ４の中央との間の関係を判定する。この目的のため、既に記載されたトラッキング技術が使用され、連続的な画像３を識別及び追跡し、ポインティングデバイス１のパスを判定し、望まれる場合にその動きのレートを判定する。画像分析の結果は、制御信号発生器７に送出され、この発生器は、これに相応して制御信号１７を発生する。これらは、アプリケーションインタフェース１１に通過され、このインタフェースは、ディスプレイ制御ユニット５に送信に適した形式で信号２７を送出する前に必要な変換を実行する。
【００３９】
受信された信号２７は、パーソナルコンピュータ１０のモニタ４を駆動するために使用される信号３７を与えるため、ディスプレイ制御ユニット５により処理される。
ユーザは、水平又は垂直でのスクロールに限定されないが、適切な方向でポインティングデバイス１１を単に向けることで、ビジュアルプレゼンテーションＶＰに対角線にスクロールさせることもできる。
【００４０】
レーザ光のビームがポインティングの方向で本質的に発生するレーザ光源がポインティングデバイス１に設けられている場合、ポインティングデバイス１の「サイトのライン“line of sight”」におけるオブジェクトに光が衝突するときは何時でも目に見える、続いて起こる光の点は、ユーザが所望の方向で正しく狙いをつけるのを支援する。好ましくは、光の点は、ターゲットポイントと正確に一致する。
【００４１】
ディスプレイ制御インタフェースは、スタンドアロン装置である必要がない。かかるインタフェースの機能は、ポインティングデバイス自身に統合される。図２は、かかるポインティングデバイス１の構成モジュールを更に詳細に示している。カメラ２は、ポインティングの方向Ｄにおいて、ポインティングデバイス１の前のエリアの画像３を生成する。ポインティングデバイス１は、この実施の形態では長く延びた形式を備えており、ポインティングの方向Ｐがポインティングデバイス１の長手方向の軸に沿って存在する。カメラ２は、ポインティングデバイス１の前方に位置され、図示されないユーザが狙いをつけるポインティングデバイス１の前にあるエリアで画像３が生成される。
【００４２】
これらの画像３は、画像分析ユニット６に通過され、ここで画像が解析される。解析の結果は、制御信号発生器７’に送出され、ここでディスプレイのための制御信号１７が発生される。画像分析のみによりビジュアルプレゼンテーションＶＰの所望の部分を安定するのに加え、又はその代替として、ポインティングデバイス１における動きセンサ１６は、基準ポイントに関してポインティングデバイス１の位置又は動きに関する情報１８を伝達する。この情報１８は、スクロールの量及び方向を決定するために使用されるか、又は画像分析の捕捉として使用することができる。
【００４３】
この例では、ユーザは、ポインティングデバイス１に搭載されたボタンのような、制御入力１３によりスクロールプロセスをアクチベート又はデアクチベートすることができる。ユーザは、一般的な所望の方向でポインティングデバイス１の狙いをつけ、ユーザがポインティングデバイス１に適切に狙いをつけたとき、ユーザは、制御入力１３を押すことでユーザの意図を示すことができる。制御入力１３からの適切な信号１４は、ビジュアルプレゼンテーションＶＰの所望の部分をユーザが示したことを示して、制御信号発生器７’に送出される。制御信号発生器７’は、画像３、制御入力信号１４及び／又は動きセンサ情報１８に基づいて制御信号１７を発生する。制御信号１７は、図示されないが、ディスプレイ制御インタフェース８’のアプリケーションインタフェース１１’により、たとえばＢｌｕｅｔｏｏｔｈ８０２．１１ｂ又は移動電話規格といった無線方式で、ディスプレイユニット８’に送信される。
【００４４】
ポインティングデバイス１は、画像３を連続的に生成し、制御信号１７を送出するか、又は、所定の時間の長さの間に動かない場合に自動的に動作を停止する。このため、動きセンサ１６は、休止状態からはじめに移動されたとき、ポインティングデバイス１をアクチベートし、所定の予め定義された時間長について動きに変化がない場合に、ポインティングデバイス１を休止状態に戻す。図示されないが、ポインティングデバイス１は大部分がバッテリにより電力供給されるので、バッテリの寿命を長くするため、ビジュアルプレゼンテーションＶＰにおけるあるポイントにポインティングデバイス１を実際に向けるとき、ディスプレイ制御インタフェースにデータを送信することは都合がよい。
【００４５】
図２に例示されるように、画像処理及び制御信号を実行するのが可能であることで、ポインティングデバイス１は、図１に記載されるように個別のディスプレイ制御インタフェース８と通信するために必須ではないことを意味する。画像分析の量は、小型かつ実用的なフォーマットで実現される可能性が最も高い、ポインティングデバイス１の物理的な大きさにより制限されないため、この「スタンドアロン」の実施の形態は、画像分析の精度が特に重要ではない状況、又はポインティングデバイス１が外部のディスプレイ制御インタフェース８と通信不可能な状況で十分なものである。
【００４６】
この実施の形態は、勿論、ローカルディスプレイ制御インタフェース８’に加えて、ポインティングデバイス１が図１に記載される送出ユニット１２の利益となるように、単なる図１の拡張であり、そのスタンドアロン機能に加えて、外部のディスプレイ制御インタフェース８と共に動作するのを可能にする。
【００４７】
代替的な実施の形態が図３に示されており、テレビジョンのような装置１０のディスプレイ４のディスプレイ制御インタフェース８’’は、装置１０それ自身に組み込まれる。テレビジョン１０のディスプレイ４を制御するポインティングデバイス１は、ポインティングデバイス１のカメラ２により生成されるターゲットエリアＡの画像３を送出するために送出ユニット１２を組み込むことが必要である。受信機９’’は、画像３を受け、それを画像分析ユニット６’’に送出し、このユニットで、これらの画像が解釈され、制御信号発生器７’’に送出される。ここで、制御信号１７は、生成されて、テレビジョン１０のグラフィックカードのようなディスプレイ制御ユニット５に送出され、ビジュアルプレゼンテーションＶＰがテレビジョンスクリーン４で相応して調整される。ディスプレイ制御インタフェース８’’は、ディスプレイ制御ユニット５の一部であり、逆も然りである。
【００４８】
図４ａから図４ｈは、ディスプレイ４におけるビジュアルプレゼンテーションＶＰをスクロールするプロセスを更に詳細に説明している。ユーザは、ディスプレイ４の画像を観察している。画像の明確さのため、この例における画像又はビジュアルプレゼンテーションＶＰは、チェスゲームにおけるステージの図である。このビジュアルプレゼンテーションＶＰは、図４ａにおいて完全な形で示されている。
【００４９】
図４ｂに示されるように、ビジュアルプレゼンテーションＶＰの一部のみ、このケースでは左下コーナが、テレビジョン、パーソナルコンピュータ等のような装置１０のディスプレイであるディスプレイ４にフィットすることができる。ユーザは、この例では、ビジュアルプレゼンテーションＶＰの右上コーナにパンする（カメラが動く）ことを望む。このため、ユーザは、まるでユーザが完全な形でビジュアルプレゼンテーションＶＰを「見る」かのように、ディスプレイ４でのポインティングかたビジュアルプレゼンテーションＶＰの右上コーナにおける想像上のポイントにポインティングデバイスを移動させる。
【００５０】
ユーザがディスプレイ４から離れ、所望のターゲットに向けてポインティングデバイス１を移動させる間、カメラ２は、ポインティングデバイス１により示されたエリアの連続する画像を生成する。図では、全体のビジュアルプレゼンテーションＶＰが示され、これによりディスプレイ４に示されていないビジュアルプレゼンテーションＶＰの一部は、色において明るく、所望のターゲットにポインティングデバイス１を向けたときにユーザが想像する「仮想的な」ビジュアルプレゼンテーションを例示する役割を果たす。明確さのため、図４ｃから図４ｆには、４つのかかる画像３ａ，３ｂ，３ｃ，３ｄのみが示されている。現実には、画像の数は、カメラ２の機能及び所望の精度に依存して、かなり大きい。図４ｃから図４ｅは、図４ｆに示される最終的な画像３ｄに途中で作られるターゲットエリア画像３ａ，３ｂ，３ｃを示しており、「遷移する“transient”」ターゲットポイントは、Ｐ1，Ｐ2，Ｐ3により示される。
【００５１】
ポインティングデバイス１が移動される方向を判定するため、画像分析ユニットは、連続する画像における対応するポイントのセットを配置する。このため、パターンマッチング技術が使用される場合があり、この場合、ディスプレイのエッジ又はコーナを示す画像は、ポインティングデバイス１の動きを追従するため、ディスプレイのテンプレートと比較される。
【００５２】
ディスプレイ４の右上コーナは、ターゲットエリアの画像の座標（ｘ1，ｙ1）をもつ第一のターゲットエリア画像３ａにおけるポイントを与える。この第二の画像における同じポイントは、ターゲットエリア画像３ｂにおける新たな位置に移動され、ここで座標（ｘ2，ｙ2）を有する。同様に、第三の画像３ｃでは、ディスプレイの右上コーナは、座標（ｘ3，ｙ3）を有する。このポイントが連続する画像で「動いた」ように見える方向を計算することで、画像分析ユニットは、ポインティングデバイス１の進行の経路を計算する。新たなポイントは、コーナのような容易に識別可能なポイントといった、必要に応じて識別される。ここで、ディスプレイ４の右上コーナに対応するポイントはポインティングデバイス１により向けられるターゲットエリアから消える恐れがあるので、座標（ｘ4，ｙ4）をもつ更なるポイントは、ターゲットエリア画像３ｃで識別される。最終的な画像３ｄでは、新たなポイントは「移動され」、ここで座標（ｘ5，ｙ5）を有する。
【００５３】
最後の画像３ｄが分析される時間まで、画像分析ユニットは、図４ｇに示されるように、ポイントにより進行されるパスを計算するのに十分なデータを有しており、基準ポイントＰCに関する最後のターゲットポイントＰTの位置を計算することができる。この情報により、制御信号発生ユニットは、最後のターゲットポイントＰTを包含する部分を示すため、ビジュアルプレゼンテーションＶＰをスクロールするための必要な制御信号を発生することができる。ビジュアルプレゼンテーションＶＰの所望の部分は、図４ｈに示されるように、スクリーン４に示される。
【００５４】
本発明は好適な実施の形態及びその変形例の形式で開示されたが、本発明の範囲を逸脱することなしに様々な更なる変更及び変形例がなされることが理解される。ペン形状の代替として、ポインティングデバイスは、たとえばビルトインカメラをもつパーソナルデジタルアシスタント（ＰＤＡ）、又はビルトインカメラをもつモバイルフォンである。
【００５５】
明確さのため、「有する“comprise”」は、他のステップ又はエレメントを排除するものではない。「ユニット“unit”」は、単一のエンティティとして明示されない場合には、多数のブロック又は装置を有する場合がある。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施の形態に係るポインティングデバイス及びディスプレイ制御インタフェースを含むシステムの概念図である。
【図２】本発明の実施の形態に係るポインティングデバイスの概念図である。
【図３】本発明の実施の形態に係るポインティングデバイス及びディスプレイ制御インタフェースの概念図である。
【図４ａ】ビジュアルプレゼンテーションの概念図である。
【図４ｂ】ビジュアルプレゼンテーションの第一の部分を示すポインティングデバイス及びディスプレイの概念図である。
【図４ｃ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｄ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｅ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｆ】ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。
【図４ｇ】ディスプレイ及びビジュアルプレゼンテーションの概念図であり、ビジュアルプレゼンテーションの一部がディスプレイに表示されている。
【図４ｈ】ビジュアルプレゼンテーションの第二の部分を示すディスプレイの概念図である。
【特許請求の範囲】
【請求項１】
ディスプレイを制御する方法であって、
当該方法は、
前記ディスプレイにビジュアルプレゼンテーションの一部を表示するステップと、
カメラを有するポインティングデバイスをターゲットエリアに向け、前記ディスプレイで現在目に見える前記ビジュアルプレゼンテーションの一部の内側又は外側にあるターゲットを前記ビジュアルプレゼンテーションに示すステップと、
前記ポインティングデバイスにより向けられる前記ターゲットエリアの画像を生成するステップと、
前記ターゲットエリアの画像を解釈して、前記ビジュアルプレゼンテーション内の前記ターゲットのロケーションを判定するステップと、
前記ビジュアルプレゼンテーションを必要に応じて調整し、前記ターゲットを包含する前記ビジュアルプレゼンテーションの一部を表示するステップと、
を含む方法。
【請求項２】
前記ビジュアルプレゼンテーションを調整し、前記ターゲットを包含する前記ビジュアルプレゼンテーションの一部を表示するステップは、前記ディスプレイにおける前記ビジュアルプレゼンテーションをスクロールするステップを含む、
請求項１記載の方法。
【請求項３】
前記ディスプレイにおける前記ビジュアルプレゼンテーションのスクロールのレートは、前記ディスプレイにおけるポイントに関する前記ターゲットエリアにおける前記ターゲットのロケーションに依存する、
請求項１又は２記載の方法。
【請求項４】
前記ディスプレイにおける前記ビジュアルプレゼンテーションのスクロールのレートは、前記ビジュアルプレゼンテーションに関する前記ポインティングデバイスに動きに依存する、
請求項１乃至３のいずれか記載の方法。
【請求項５】
前記ディスプレイで目に見ることができる前記ビジュアルプレゼンテーションの量は、前記ポインティングデバイスと前記ディスプレイとの間の距離により示される、
請求項１乃至４のいずれか記載の方法。
【請求項６】
請求項１乃至５のいずれか記載の方法を使用したディスプレイを制御するシステムであって、
前記ポインティングデバイスが向けられる方向で、前記ディスプレイで現在目に見える前記ビジュアルプレゼンテーションの一部の内側又は外側にあるターゲットを前記ビジュアルプレゼンテーションに示すため、ターゲットエリアの画像を生成するカメラと、
前記画像を分析する画像分析ユニットと、
前記画像分析の結果に従って、制御信号を生成する制御信号発生ユニットと、
前記ディスプレイにおける前記ビジュアルプレゼンテーションを調節するため、前記制御信号を適用するディスプレイ制御ユニットと、
を有するシステム。
【請求項７】
前記ポインティングデバイスが向けられる方向で、ターゲットエリアの画像を生成するカメラを有する、請求項６記載のシステム用のポインティングデバイス。
【請求項８】
ディスプレイ制御ユニットと対話するディスプレイ制御インタフェースを有する、請求項７記載のポインティングデバイスであって、
前記ディスプレイ制御ユニットは、
画像を分析する画像分析ユニットと、
前記画像の分析の結果に従って前記ディスプレイ制御ユニットのための制御信号を発生する制御信号発生ユニットと、
前記ディスプレイ制御ユニットに前記制御信号を伝達する送出ユニットと、
を有するポインティングデバイス。
【請求項９】
前記画像に基づいて前記ディスプレイ制御ユニットのための制御信号を発生する外部のディスプレイ制御インタフェースに画像を送出する送出ユニットを更に有する、
請求項７又は８記載のポインティングデバイス。
【請求項１０】
前記ポインティングデバイスの相対的な動きを検出する動きセンサを有する、
請求項７乃至９のいずれか記載のポインティングデバイス。
【請求項１１】
前記ディスプレイにおける前記ビジュアルプレゼンテーションの調節をイネーブル又はディスエーブルにするための制御入力を有する、
請求項７乃至１０のいずれか記載のポインティングデバイス。
【請求項１２】
ポインティングデバイスから画像を受ける受信手段と、
前記画像を分析する画像分析手段と、
ディスプレイ制御ユニットのためのディスプレイ制御信号を発生する制御信号発生ユニットと、
前記ディスプレイ制御ユニットに前記ディスプレイ制御信号を伝達する送出ユニットと、
を有するディスプレイ制御インタフェース。
【請求項１３】
ポインティングデバイスから画像を受ける受信ユニットと、
前記画像を分析する画像分析ユニットと、
ディスプレイのためのディスプレイ制御信号を発生する制御信号発生ユニットと、
を有するディスプレイ制御ユニット。
【請求項１】
ディスプレイを制御する方法であって、
当該方法は、
前記ディスプレイにビジュアルプレゼンテーションの一部を表示するステップと、
カメラを有するポインティングデバイスをターゲットエリアに向け、前記ディスプレイで現在目に見える前記ビジュアルプレゼンテーションの一部の内側又は外側にあるターゲットを前記ビジュアルプレゼンテーションに示すステップと、
前記ポインティングデバイスにより向けられる前記ターゲットエリアの画像を生成するステップと、
前記ターゲットエリアの画像を解釈して、前記ビジュアルプレゼンテーション内の前記ターゲットのロケーションを判定するステップと、
前記ビジュアルプレゼンテーションを必要に応じて調整し、前記ターゲットを包含する前記ビジュアルプレゼンテーションの一部を表示するステップと、
を含む方法。
【請求項２】
前記ビジュアルプレゼンテーションを調整し、前記ターゲットを包含する前記ビジュアルプレゼンテーションの一部を表示するステップは、前記ディスプレイにおける前記ビジュアルプレゼンテーションをスクロールするステップを含む、
請求項１記載の方法。
【請求項３】
前記ディスプレイにおける前記ビジュアルプレゼンテーションのスクロールのレートは、前記ディスプレイにおけるポイントに関する前記ターゲットエリアにおける前記ターゲットのロケーションに依存する、
請求項１又は２記載の方法。
【請求項４】
前記ディスプレイにおける前記ビジュアルプレゼンテーションのスクロールのレートは、前記ビジュアルプレゼンテーションに関する前記ポインティングデバイスに動きに依存する、
請求項１乃至３のいずれか記載の方法。
【請求項５】
前記ディスプレイで目に見ることができる前記ビジュアルプレゼンテーションの量は、前記ポインティングデバイスと前記ディスプレイとの間の距離により示される、
請求項１乃至４のいずれか記載の方法。
【請求項６】
請求項１乃至５のいずれか記載の方法を使用したディスプレイを制御するシステムであって、
前記ポインティングデバイスが向けられる方向で、前記ディスプレイで現在目に見える前記ビジュアルプレゼンテーションの一部の内側又は外側にあるターゲットを前記ビジュアルプレゼンテーションに示すため、ターゲットエリアの画像を生成するカメラと、
前記画像を分析する画像分析ユニットと、
前記画像分析の結果に従って、制御信号を生成する制御信号発生ユニットと、
前記ディスプレイにおける前記ビジュアルプレゼンテーションを調節するため、前記制御信号を適用するディスプレイ制御ユニットと、
を有するシステム。
【請求項７】
前記ポインティングデバイスが向けられる方向で、ターゲットエリアの画像を生成するカメラを有する、請求項６記載のシステム用のポインティングデバイス。
【請求項８】
ディスプレイ制御ユニットと対話するディスプレイ制御インタフェースを有する、請求項７記載のポインティングデバイスであって、
前記ディスプレイ制御ユニットは、
画像を分析する画像分析ユニットと、
前記画像の分析の結果に従って前記ディスプレイ制御ユニットのための制御信号を発生する制御信号発生ユニットと、
前記ディスプレイ制御ユニットに前記制御信号を伝達する送出ユニットと、
を有するポインティングデバイス。
【請求項９】
前記画像に基づいて前記ディスプレイ制御ユニットのための制御信号を発生する外部のディスプレイ制御インタフェースに画像を送出する送出ユニットを更に有する、
請求項７又は８記載のポインティングデバイス。
【請求項１０】
前記ポインティングデバイスの相対的な動きを検出する動きセンサを有する、
請求項７乃至９のいずれか記載のポインティングデバイス。
【請求項１１】
前記ディスプレイにおける前記ビジュアルプレゼンテーションの調節をイネーブル又はディスエーブルにするための制御入力を有する、
請求項７乃至１０のいずれか記載のポインティングデバイス。
【請求項１２】
ポインティングデバイスから画像を受ける受信手段と、
前記画像を分析する画像分析手段と、
ディスプレイ制御ユニットのためのディスプレイ制御信号を発生する制御信号発生ユニットと、
前記ディスプレイ制御ユニットに前記ディスプレイ制御信号を伝達する送出ユニットと、
を有するディスプレイ制御インタフェース。
【請求項１３】
ポインティングデバイスから画像を受ける受信ユニットと、
前記画像を分析する画像分析ユニットと、
ディスプレイのためのディスプレイ制御信号を発生する制御信号発生ユニットと、
を有するディスプレイ制御ユニット。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図４ｅ】
【図４ｆ】
【図４ｇ】
【図４ｈ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図４ｅ】
【図４ｆ】
【図４ｇ】
【図４ｈ】
【公表番号】特表２００８−５１０２１５（Ｐ２００８−５１０２１５Ａ）
【公表日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００７−５２５４２３（Ｐ２００７−５２５４２３）
【出願日】平成１７年８月５日（２００５．８．５）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５２６１４
【国際公開番号】ＷＯ２００６／０１８７７５
【国際公開日】平成１８年２月２３日（２００６．２．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１７年８月５日（２００５．８．５）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５２６１４
【国際公開番号】ＷＯ２００６／０１８７７５
【国際公開日】平成１８年２月２３日（２００６．２．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]