装置の制御のための方法及びシステム
本発明は、装置（１ａ、１ｂ、１ｃ）の制御のための方法を記載する。本方法は、制御されるべき装置（１ａ、１ｂ、１ｃ）用の幾つかのユーザ選択肢を可視的に表現するステップと、所望の選択肢を選択するため、カメラ（３）を有するポインティングデバイス（２）を、前記ユーザ選択肢の可視表現（４ａ、４ｂ、４ｃ、４ｄ、４ｅ）に向けるステップと、ポインティングデバイス（２）が向けられた目標エリア（６）の画像（５）を生成するステップと、前記目標エリアの画像（５）を前記可視表現（４ａ、４ｂ、４ｃ、４ｄ、４ｅ）の予め定義されたテンプレートと比較し、選択された選択肢を決定するステップと、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には装置の制御のための方法及びシステムに関し、更に詳細には、例えばテレビジョン（ＴＶ）、ビデオカセットレコーダ（ＶＣＲ）、ディジタルビデオディスク（ＤＶＤ）プレイヤ、パーソナルコンピュータ（ＰＣ）等といったオーディオ−ビジュアル装置のような、消費者向け電子装置のリモートコントロールのための方法及びシステムに関する。
【背景技術】
【０００２】
リモートコントローラは今日、例えばテレビジョン、ＤＶＤプレイヤ、チューナ等のような、殆どあらゆる消費者向け電子装置と共に利用される。通常の家庭では複数のリモートコントローラ（しばしば、各消費者向け電子装置について１個）が必要とされ得る。自分が持つ消費者向け電子装置を熟知した人物にとっても、各リモートコントローラ上の各ボタンが実際に何のためのものであるかを覚えることは困難である。更に、幾つかの消費者向け電子装置用に利用可能であるオンスクリーン型のメニュー方式ナビゲーションはしばしば、特に当該装置に利用可能な選択肢の深い知識を持たないユーザにとっては、あまり直感的ではない。結果として、ユーザは該ユーザが探している選択肢を見つけ出すために画面に表示されるメニューを調査し続け、次いで適切なボタンを探すためにリモートコントローラへと目を下に向ける必要がある。多くの場合、ボタンは直感的でない名前又は略語を付与されている。加えて、リモートコントローラ上のボタンは、最初にモードボタンを押下することによって、利用される別の機能を実行する場合もある。現代の消費者向け電子装置に利用可能なこれら多くの選択肢は残念ながら、多くのユーザによって、斯かる装置を設定することがフラストレーションの溜まる動作になることを意味する。多数のボタン及び直感的でないメニュー選択肢は、装置の設定を必要以上に困難にし、しばしばユーザが該ユーザが購入した装置を最大限に利用できないということに帰着する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自身の全ての消費者向け電子装置を最大限に利用することは、殆ど全ての消費者向け電子装置が今日それ自体のリモートコントローラ装置を付属しているという事実によって、更に困難とされる。殆どのリモートコントローラのボタンの略語及び記号は、今日では標準化され、異なる言語の国における同様のリモートコントローラ装置の販売を可能としているが、それでも異なるリモートコントローラにおいて同一の機能を実行するために異なる略語又は記号が利用され得る。例えば、それぞれ「チャネル（channel）」又は「番組（program）」を示すために利用される略語「ＣＨ」及び「ＰＲ」は、基本的に同一のものを意味する。リモートコントローラはまた形状、サイズ、全体的な外観、そして電池の要件までも異なり得る。
【０００４】
斯かる多数のリモートコントローラによって生じる混乱を低減させようと、「ユニバーサル（universal）リモートコントローラ」という新たな製品カテゴリが発展してきた。しかしながら、ユニバーサルリモートコントローラであっても、今日市販されている全ての消費者向け電子装置によって提供される全ての機能にアクセスできることを期待することはできない。とりわけ、新たな技術や特徴が常に開発されているからである。更に、現代の消費者向け電子装置により提供される非常に多様な機能は、それに応じてこれらの機能を呼び出すための多くのボタンを必要とし、全てのボタンを必要とするために不便にも大型のリモートコントローラを必要とする。
【０００５】
幾つかの開発が、消費者向け電子装置の簡素なリモートコントローラの問題に対処するよう試みている。例えば欧州特許出願公開ＥＰ０３７２６７４は、共にマイクロコンピュータに接続されたカメラ及び固定光源を含む方法を提案している。レンズ及び検出器を含む可動カメラが、ユーザの頭部に装着される。該カメラ中の検出器により検出される、前記固定光源に対するユーザの頭部の移動が、テレビジョン画面上のカーソルの移動に変換される。斯かる方法の明らかな欠点は、ユーザがカメラを頭部に装着する必要があることである。ユーザは、画面上のカーソルを移動させるために種々の方向に頭部を動かし、一方で該ユーザがカーソルを所望の位置に向けて動かしているかを確認するために画面を見続ける必要がある。
【０００６】
それ故、本発明の目的は、装置の便利で直感的なリモートコントロールのための方法及びユーザインタフェースを提供することにある。
【課題を解決するための手段】
【０００７】
この目的のため、本発明は、装置の制御のための方法であって、制御されるべき前記装置用の幾つかのユーザ選択肢を可視的に表現するステップと、所望の選択肢を選択するため、カメラを有するポインティングデバイスを、前記ユーザ選択肢の可視表現に向けるステップと、前記ポインティングデバイスが向けられた目標（target）エリアの画像を生成するステップと、前記目標エリアの画像を前記可視表現の予め定義されたテンプレートと比較し、選択された選択肢を決定するステップと、を有する方法を提供する。「目標エリアの画像」なる語句は、とり得る最も広い意味で理解されるべきである。例えば、目標エリアの画像は、例えば強調された輪郭、角、エッジ等のような、全体の画像のうちの重要な点に関する画像データを単に有しても良い。
【０００８】
装置のリモートコントロールのための適切なユーザインタフェースは、制御されるべき前記装置用のユーザ選択肢の可視表現に関連する予め定義されたテンプレートにアクセスするためのアクセスユニットと、前記ユーザ選択肢の可視表現中の所望の選択肢に向けるためのポインティングデバイスであって、前記可視表現の少なくとも一部の目標エリアの画像を生成するためのカメラを有するポインティングデバイスと、選択された選択肢を決定するために、予め定義されたテンプレートにおける前記目標エリア又は前記目標エリアの点を位置決定するための画像インタプリタと、を有する。
【０００９】
前記方法及び前記ユーザインタフェースはかくして、選択を為す間消費者向け電子装置から目を離す必要なく、また最初に多数のボタンを熟知する必要なく、選択肢を選択するため小型のハンドヘルド型ポインティングデバイスを単に向けることにより、あらゆる装置を制御する、ユーザにとって快適な方法を提供する。
【００１０】
従属請求項及び以下の説明は、本発明の特に有利な実施例及び特徴を開示する。
【００１１】
消費者向け電子装置用のユーザ選択肢は、静的及び動的な方法で、幾つかの方法でユーザに提示され得る。装置用のユーザ選択肢の静的な形態での最も単純な可視表現は、該装置自体の前面である。ここでは種々の選択肢が、例えばＶＣＲにおける停止ボタン、早送りボタン、録画ボタン及び再生ボタンのような、ボタン又はつまみの形態で利用可能である。静的な可視表現の他の例は、例えばコンピュータの印刷出力又はＴＶ雑誌の番組ガイドのような、印刷された形態でユーザ選択肢を提示することである。特にＴＶ又はテレビジョンに接続されることができるＤＶＤプレイヤのような装置については、選択肢は該装置の前面のボタンのような静的な形態でユーザに利用可能であり得、またテレビジョン画面に動的に容易に表示もされ得る。このとき、選択肢はメニューアイテムの形態で又はアイコンとして表示されても良い。本発明のとりわけ好適な実施例においては、１つ以上の装置用のユーザ選択肢が、１つの可視表現上に同時に表示されることができる。例えば、チューナの選択肢とＤＶＤの選択肢とが（とりわけ両方の装置に関連する選択肢が）同時に表示され得る。選択肢の斯かる組み合わせの一例は、サラウンド音声やドルビー等のようなチューナのオーディオ選択肢のセットを、ワイド画面や字幕等のようなＤＶＤの選択肢と共に表示することである。かくしてユーザ、視聴を開始する前に、両方の装置用の選択肢を容易に且つ迅速にカスタマイズすることができる。
【００１２】
装置用のユーザ選択肢を動的な形態で可視的に表現する他の方法は、例えば壁又は画面のような面に画像の背景としてユーザ選択肢を投射することであり得る。加えて本発明は、例えばユーザの視力が弱い場合に画面上に一度に少数の選択肢だけを表示することによって、該装置用の選択肢をカスタマイズする手段をユーザに容易に提供し得る。更に、ユーザは該ユーザが必要とする見込みの低い機能を省くように特に選択し得る。例えば、該ユーザのＤＶＤプレイヤに関しては、該ユーザは外国語の字幕と共に映画を観たいとは望まないであろう。この場合には、該ユーザは該ユーザのユーザインタフェースをカスタマイズして、可視表現からこれらの選択肢を省くことができる。テレビジョンのような装置は、或るユーザには、利用可能な選択肢のサブセットのみがアクセス可能となるように構成されても良い。このようにして、例えば子供が年齢に不適切な番組を視聴することを防ぐために、特定のチャネルが認可されたユーザのみによってアクセス可能とされることができる。
【００１３】
本発明の主な特徴は、カメラを含むポインティングデバイスをユーザ選択肢の可視表現に向けることにより、利用可能な選択肢からユーザが選択することができる点である。前記カメラは好ましくは前記ポインティングデバイスに内蔵されるが、前記ポインティングデバイス上に装着されても良く、好ましくは、ユーザによって目標とされたポインティングデバイスの前のエリアの画像を生成するように向けられる。目標エリアの画像は、単に可視表現全体の小さなサブセットであっても良いし、可視表現全体をカバーしても良いし、又は可視表現の周囲のエリアをも含んでも良い。可視表現全体に対する目標エリアの画像のサイズは、該可視表現のサイズ、ポインティングデバイスと該表現との間の距離、及び前記カメラ自体の性能に依存しても良い。ユーザは、例えば該ユーザがテレビジョンを視聴している間に着席している場合のように、前記ポインティングデバイスが前記可視表現から幾分かの距離になるように位置しても良い。またユーザは、該ユーザが雑誌の形態でのＴＶ番組ガイドに前記ポインティングデバイスを向ける場合のように、前記可視表現から極めて近くにポインティングデバイスを保持しても良い。
【００１４】
本発明の好適な実施例においては、前記ポインティングデバイス中に又は前記ポインティングデバイス上に光源が装着される。前記光源は、前記ポインティングデバイスが向けられたエリアを照射するように働き、これにより周囲が暗い場合にもユーザが容易に前記可視表現を読むことができる。また前記光源は、指す方向に発せられる光の集束させられたビームのレーザ光源であっても良い。これによりユーザが向けた前記可視表現上の目標点に又は該目標点の近くに光の点が生じ、所望の選択肢にユーザが向けることを支援する可視の位置的なフィードバックを提供する。単純な実施例は、適切な態様で前記ポインティングデバイス中に内蔵された又は該ポインティングデバイス上に装着されたレーザ光源であり得る。それ故以下では、前記集束させられた光の光源はレーザビームであることが仮定されるが、本発明をこれに限定するものではない。
【００１５】
利用を容易にするため、前記ポインティングデバイスは、ユーザによって快適に把持されることができる細長い形の棒又はペンの形状であっても良い。ユーザはかくして、可視表現から適切な観測距離に位置しながら、該可視表現における目標点に前記ポインティングデバイスを向けることができる。また前記ポインティングデバイスは、ピストルの形状であっても良い。
【００１６】
前記ポインティングデバイスは、ユーザによって、例えばＶＣＲ装置の前面の再生ボタンに、ＴＶ画面上に表示されたＤＶＤの選択肢に、又はＴＶ雑誌における選択された番組に、といったように、可視表現の特定の選択肢に向けられても良い。特定の選択が為されたことを示すため、ユーザは前記ポインティングデバイスを、例えば所望の選択肢の周りでループ又は円形を描くことによってのように、所定の方法で前記可視表現上を移動させても良い。ユーザは前記ポインティングデバイスを可視表現から離れた或る距離において空中で動かしても良いし、又は前記可視表現上を直接若しくは該可視表現に極めて近くで前記ポインティングデバイスを動かしても良い。特定の選択肢の選択を示す他の方法は、前記ポインティングデバイスを当該選択肢に所定の長さの時間だけ向けつづけることであっても良い。また前記ユーザは、例えば画面から可視表現を除去した後に通常の視聴又は前のメニューレベルに戻ることを示すために、前記可視表現上を軽く動かして（flick）も良い。可視表現に対するポインティングデバイスの移動は好ましくは、制御ユニット中の画像処理ソフトウェアによって検出されても良いし、又は前記ポインティングデバイス中の動きセンサによって検出されても良い。更なる可能性は、前記ポインティングデバイスが向けられている選択肢の選択を示すために、前記ポインティングデバイス上のボタンを押下することであり得る。好適な実施例においては前記制御ユニットは、例えばボタンを押下又は前記ポインティングデバイスを所定の方法で移動させたときに選択肢の光学的な中心からかなり離れた点にユーザが向いていた場合に、ユーザの動作を正常に解釈したことを確認するために確認ダイアログを起動することができる。この場合には、前記制御ユニットは、選択された選択肢又は機能の起動へと入る前に確認を要求しても良い。
【００１７】
前記制御ユニットは好ましくは、ことによると可聴の「クリック」音を伴いながら、例えば選択肢を点滅させ、又はユーザによって向けられた可視表現における領域を強調させることによってのように、選択された選択肢を何らかの方法で強調するように可視表現を変更することができる。前記ポインティングデバイスはまた、特にユーザが大きなコンテンツ空間を移動して閲覧（navigate）する必要がある場合に、「ドラッグ・アンド・ドロップ」手法を利用して可視表現中の機能を選択しても良い。例えばバッファリングされたＤＶＤ映画データを表すアイコンを、ごみ箱を表す他のアイコンへとドラッグすることにより、該バッファリングされたデータがメモリから消去されることを表す。ユーザが「ダブルクリック」に類似した態様で選択肢を選択することで（例えば、所定の態様で前記ポインティングデバイスの動きを繰り返すことにより、又は前記ポインティングデバイス上のボタンを２度押下することにより）、種々の機能がユーザによって起動されても良い。
【００１８】
本発明のとりわけ有利な実施例においては、制御されるべき装置に割り当てられた制御ユニットに、目標エリアの画像が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又は８０２．１１ｂ規格を用いて、無線の態様で前記ポインティングデバイスから送信される。前記制御ユニットは好ましくは、目標エリアの画像を受信するための受信器と、プロセッサ又はコントローラの形をとっても良い画像インタプリタとを有する。前記目標エリアの画像はまた、前記ポインティングデバイスを前記制御ユニットにつなぐケーブルによって前記制御ユニットへ送信されても良い。
【００１９】
ユーザによってどの選択肢が選択されたかを決定するため、前記画像インタプリタは、受信された目標エリアの画像を、可視表現の幾つかの予め定義されたテンプレートと比較する。当該比較のため、単一の予め定義されたテンプレートで十分であり得る。又は正常な比較を実行するため１以上のテンプレートを利用することが必要ともなり得る。
【００２０】
予め定義されたテンプレートは内部メモリに保存されても良いし、又は外部ソースからアクセスされても良い。好ましくは前記制御ユニットは、制御されるべき装置の可視表現について予め定義されたテンプレートを、例えば内部若しくは外部メモリ、メモリスティック、イントラネット又はインターネットから取得するための、適切なインタフェースを持つアクセスユニットを有する。テンプレートは、制御される装置の前面のグラフィカル表現であっても良い。例えば、再生、早送り、巻き戻し、停止及び記録機能を表すボタンのような、利用可能なユーザ選択肢をフィーチャするＶＣＲ装置の前面の簡略化された表現であっても良い。テンプレートはまた、ＴＶ画面上に表示されるような選択肢メニューのグラフィカルな表現であっても良く、可視表現の特定のエリアに関連する利用可能な装置の選択肢の位置を示しても良い。例えば、再生、早送り、字幕、言語等のような、ＤＶＤプレイヤ用のユーザ選択肢が、ＴＶ画面上に可視的に提示されても良い。前記テンプレートは、前記可視表現の周囲のエリアを示しても良い。例えば前記テンプレートは、装置の筐体を含んでも良く、装置のすぐ外の周囲の幾つかをも含んでも良い。
【００２１】
装置が該装置の画面に表示することができるユーザ選択肢はしばしばメニューの形をとって提示され、ユーザは該メニューに目を通し所望の選択肢又は機能に到達することができる。本発明の好適な実施例においては、制御されるべき装置についてそれぞれとり得るメニューレベルに対してテンプレートが存在し、これによりユーザは該装置の制御の任意のレベルにおいて、利用可能な選択肢のいずれか１つにポインティングデバイスを向けることができる。他のタイプのテンプレートは、雑誌におけるＴＶ番組ガイドの外見を持っていても良い。ここで、ＴＶガイドにおける頁のレイアウトのためのテンプレートは、例えば毎日又は毎週といった頻度で、アクセスユニットによって取得及び／又は更新されても良い。好ましくは、画像インタプリタソフトウェアが、ＴＶ番組の頁の形式と互換性を持つ。テンプレートは好ましくは、ユーザにとって利用可能な種々の番組選択肢の頁における位置に特徴を持つ。ユーザは、特定の選択肢を選択するため、実際のＴＶ番組ガイドにおける頁の形をとる可視の表現上にポインティングデバイスを向けても良い。又は、該ガイドが可視的にＴＶ画面に表示され、ユーザが利用可能な選択肢の中から選択するためにポインティングデバイスを向けても良い。
【００２２】
選択された選択肢を決定するために目標エリアの画像を処理するため、ユーザが向けた可視表現上の位置、即ち目標点を見出すためのコンピュータビジョン手法を適用することが便利である。
【００２３】
本発明の一実施例においては、ポインティングデバイスの長軸の方向に仮想線を前記可視表現まで伸張することにより得られる、目標エリアの画像における固定点（好ましくは目標エリアの画像の中心）が、前記目標点として利用されても良い。
【００２４】
コンピュータビジョンアルゴリズムを利用して可視表現の目標エリアの画像を処理する方法は、目標画像における個々の点を検出するステップと、前記可視表現のテンプレートにおける対応する点を決定するステップと、前記目標画像における点を、前記テンプレートにおける対応する点にマッピングするための変換を生成するステップと、を有しても良い。目標エリアの画像の個々の点は、可視表現の点であっても良いし、又は可視表現の周囲のエリアにおける点（例えばテレビ画像の角、又は制御されるべき装置の近隣におけるオブジェクトに属する点）であっても良く、これらも予め定義されたテンプレートに記録されても良い。この変換はこのとき、前記可視表現に対するポインティングデバイスの位置及び向きを決定するために利用されることができ、これにより前記ポインティングデバイスの軸の前記可視表現との交点が、前記テンプレートにおいて位置決定されることができる。前記テンプレートにおける該交点の位置は、前記可視表現上の目標点に対応し、どの選択肢がユーザによって目標とされたかを容易に決定するために利用されることができる。予め定義されたテンプレートにおける目標点の位置が、ユーザによって選択された選択肢を示す。このようにして、目標エリアの画像を予め定義されたテンプレートと比較することは、個々の角点のような突出した点のみを特定し比較することに限定される。本発明において利用される「比較する」なる語句は広い意味で理解されるべきであり、即ちユーザが意図した点を迅速に特定するために十分な特徴のみを比較することを含む。
【００２５】
ユーザによって選択された選択肢を決定する他のとり得る方法は、前記目標点を中心とする受信された目標エリアの画像を、パターンマッチングのような方法を利用して、予め定義されたテンプレートと直接に比較し、前記可視表現において目標とされた点を位置決定することである。目標エリアの画像を予め定義されたテンプレートと比較する他の方法は、当該比較を、個々の角点のような突出した点のみを特定し比較することに限定する。
【００２６】
本発明の更なる実施例においては、目標エリアの画像の一部として制御ユニットにおける受信器に送信されたレーザ点の位置が、ユーザによって選択された選択肢を位置決めするための目標点として利用されても良い。前記レーザ点は、前記目標エリアの画像の中心に重畳されても良いが、前記目標エリアの画像の中心から離隔されても良い。
【００２７】
制御ユニットは単一の装置を制御するために利用されても良いが、複数の斯かる装置を制御するために利用されても良い。例えば、１つの制御ユニットが、ＴＶ、ＤＶＤプレイヤ、チューナ及びＶＣＲに対して割り当てられても良い。このようにして、前記ポインティングデバイスは、１つの装置又は複数の装置のためのリモートコントローラとして利用されても良い。前記ポインティングデバイスはまた、それぞれが専用の制御ユニットを内蔵する、幾つかの消費者向け電子装置を制御するために利用されても良い。更に、幾つかのポインティングデバイスが１つの制御ユニットに対して割り当てられても良く、これにより例えば家族の各構成員が自身のポインティングデバイスを持っても良い。一方で、１つのポインティングデバイスが、異なる環境における幾つかの制御ユニットに対して割り当てられても良い。これにより例えば、ユーザは該ユーザのポインティングデバイスを、家における装置、そして同様にオフィスにおける装置を制御するために利用することができる。
【００２８】
本発明の好適な実施例においては、前記制御ユニットは投射器に接続されても良く、該投射器が、例えば壁のような適切な面に画像の背景の形で、幾つかの装置についてのユーザ選択肢の可視表現を投射しても良い。前記制御ユニットはまた別個の画面を利用しても良いし、又は制御されるべき装置の１つの画面を利用しても良い。このようにして、例えばビデオレコーダのような、表示を特徴機能として持たない装置についても、快適な態様でユーザ選択肢が提示されることができる。装置の小型前面におけるボタンによって表現される選択肢は例えば、選択を容易にするため、より大きな画像背景におけるメニュー選択肢として表示されても良い。本発明の更なる好適な実施例においては、前記制御ユニットは、画像表現のハードコピーを生成しても良く、例えば番組選択をプリントアウトしても良い。
【００２９】
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかしながら、図面は単に説明の目的のために描かれたものであり、本発明の範囲の定義として描かれたものではないことは理解されるべきである。
【発明を実施するための最良の形態】
【００３０】
図１は、制御されるべき装置１ａ（本例においてはテレビジョン１ａ）にポインティングデバイス２を向けているユーザ８を示す。本実施例においては、ユーザ選択肢の可視表現４ａが、テレビジョン画面上に動的に表示される。ポインティングデバイス２は、可視表現４において目標とされたエリアの画像を生成する。テレビジョン１は、ポインティングデバイス２から送信された画像を受信する制御ユニットを含む。
【００３１】
図２は、ポインティングの方向Ｄにおいて、ポインティングデバイス２の前方のエリアの画像を生成するカメラ３を含む、ポインティングデバイス２を示す。ポインティングデバイス２は細長い形状を特徴とし、ポインティングの方向Ｄがポインティングデバイス２の長軸に沿うようになっている。ポインティングデバイス２の前方に向けカメラ３が配置され、ユーザ８が向けたポインティングデバイス２の前方におけるエリアの画像が生成される。該画像は、ポインティングデバイス２の筐体に収容された送信器１４によって送信され、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又は８０２．１１ｂ規格のような、無線の態様で送信される。ポインティングデバイス２に装着されたレーザ光源７は、ポインティングの方向Ｄにポインティングデバイス２の長軸と平行に、レーザ光のビームＬを発する。本実施例においては、ポインティングデバイス２はボタン１１を特徴とする。ボタン１１は、例えばユーザが選択を為したことを確認し、目標エリアの画像を送信するために、ユーザによって押下されることができる。代替として、斯かるボタン１１は加えて、可視表現の表示をアクティブにする又は非アクティブにするために利用されても良く、これによりユーザインタフェースの選択肢は、ユーザによって実際に必要とされるときにのみ表示されても良い。代替として、ボタン１１の機能は、前記ポインティングデバイスに装着された光源７をアクティブにする又は非アクティブにするものであっても良く、又はポインティングデバイス２自体をアクティブにする又は非アクティブにするものであっても良い。また、前記ポインティングデバイスは、ポインティングデバイス２に内蔵された動きセンサによってアクティブにされても良く、これによりユーザがポインティングデバイス２を手に持ったときに前記可視表現が自動的に表示されても良い。ポインティングデバイス２は、図示されていない１以上のバッテリから電源供給を受けても良い。前記ポインティングデバイスの電源消費に依存して、非利用時にバッテリを再充電するためにポインティングデバイス２を置くことができるクレードルを備えることが必要となり得る。
【００３２】
図３は、制御されるべき装置についての幾つかのユーザ選択肢の（テレビジョン画面上に表示された又は適切な背景上に投射された）可視表現４ａを示す。ポインティングデバイスは、図示されていないが、可視表現４ａの目標エリア６に向けられている。前記ポインティングデバイス上のレーザ光源によって生成されたレーザ点ＰＬによって、ユーザは可視表現４ａに表示されたメニュー選択肢（Ｍ１、Ｍ２、Ｍ３、Ｍ４）の１つを選択することができる。前記ポインティングデバイス中のカメラは、画像中心点ＰＴの周囲にセンタリングされた目標エリア６の画像５を生成する。レーザ点ＰＬもまた、目標エリアの画像５中に現れている。レーザ点ＰＬは、画像中心点ＰＴから或る距離だけ離れていても良いし、又は画像中心点ＰＴと一致しても良い。
【００３３】
図４は、例えばテレビジョン画面のような表示装置及び制御ユニット１６を内蔵した消費者向け電子装置１を示す。制御ユニット１６は、本例においては装置１の画面上に表示された、可視表現４ａに向けられたポインティングデバイス２から送信される、可視表現４ａの目標エリアの画像５を受信することが可能な受信器１７を有する。目標エリアの画像データ１８は、画像インタプリタ１３に送られる。アクセスユニット１２は、例えば内部メモリ１９、外部メモリ２０又はインターネット２１からの、予め定義されたテンプレートにアクセスすることができる。理想的には、アクセスユニット１２は外部データ２０にアクセスすることを可能とする幾つかのインタフェースを持ち、ユーザは例えばフロッピー（登録商標）ディスク、ＣＤ又はＤＶＤのようなメモリ媒体２０に保存された予め定義されたテンプレートを供給しても良い。前記テンプレートは、例えば制御ユニット１６用のトレーニングセッションにおいてユーザによって設定されても良く、ここでユーザがテンプレート上の特定のエリアと特定の機能との間の関連を規定しても良い。
【００３４】
画像インタプリタ１３は、ユーザによって選択された選択肢を決定するため、目標エリアの画像１８を予め定義されたテンプレートと比較するためのコンピュータビジョンアルゴリズムを利用する。選択された選択肢についての情報はダイアログ制御器１０に転送される。該ダイアログ制御器１０は、例えば選択されたチャネルへの切り換えのような、選択肢に関連する機能を実行するように装置１に命令するよう動作する。該ダイアログ制御器１０はまた、例えば可視表現４ａを更新する可視表現制御器９に対して、異なるメニューレベルを表示するように、又は可視表現４ａを非アクティブにするように命令する。
【００３５】
図５は、制御ユニット１６に接続された幾つかの消費者向け電子装置１ａ、１ｂ、１ｃを示す。装置１ａ、１ｂ、１ｃは、それぞれの装置が提供する選択肢をユーザに表現する異なる手段を持つことを特徴とする。装置１ａ（例えばテレビジョン）は、ユーザ選択肢を該装置１ａ自体の画面４ａ上に表示する。ユーザは、例えばチャネルを切り換えたり、ラウドスピーカの音量を変化させたり、ビデオテキストを見たり等するために、テレビジョン画面４ａ上に表示される選択肢にポインティングデバイスを向けることができる。装置１ｂ及び１ｃ（例えばＤＶＤプレイヤ又はＶＣＲ）の前面は、これら装置用のユーザ選択肢を表示し、可視表現４ｂ及び４ｃとして利用される。
【００３６】
ここでユーザは、例えば装置１ｂ又は１ｃに収容されているＤＶＤ又はビデオカセットを早送りするために、装置１ｂ又は１ｃの１つに前記ポインティングデバイスを向けることができる。
【００３７】
他の可視表現４ｅは、ＴＶ番組ガイド１ｅの形で示される。ユーザは、所望の番組を選択するために、番組ガイド４ｅの頁にポインティングデバイスを向けることができる。制御ユニット１６は次いで例えば、該番組が既に放送中であれば、適切なチャネルに切り換えるようにテレビジョン１ａに対して命令を発行するように動作する。該番組が後の時点に開始する場合には、制御ユニット１６は、例えば該番組が後でＶＣＲ１ｃによって記録されるべきであるか否かといった、適切なプロンプトをテレビジョン画面４ａに表示しても良い。画像インタプリタソフトウェアとＴＶガイドの形式との互換性を確実にするために、前記ソフトウェアは定期的に又は適宜、インターネット２１から最新バージョンをダウンロードすることにより更新されても良い。
【００３８】
ビーム照射器又は投射器１５は、装置１ａ、１ｂ、１ｃ及び１ｅ又は図示されていない他の装置のうちの１以上と関連しても良い画像背景の形をとる更なる可視表現４ｄを、壁又は他の適切な面に表示する。ポインティングデバイス（図示されていない）から送信された可視表現４ｅのいずれかの目標エリアの画像は、制御ユニット１６によって受信され、可視表現４ａ、４ｂ、４ｃ、４ｄ、４ｅの予め定義されたテンプレートと比較される。前記予め定義されたテンプレートは、前記制御ユニットにローカルに保存されていても良い。例えば、装置１ｂ及び１ｃ用の予め定義されたテンプレートは前記制御ユニットに一度保存されても良い。なぜなら斯かる装置の前面は静的なままであるからである。テレビジョン１ａのような装置用の可視表現のためのテンプレートは断続的に変化しても良い。例えば、ユーザが前記装置をプログラムしてメニュー方式の操作をカスタマイズし、これによりメニューレベル及び対応するテンプレートが異なる外見をとることも可能である。ＴＶ番組ガイド用のテンプレートは、該番組ガイドの発行毎に前記制御ユニットにより更新される。これらのテンプレートは、適切なインタフェースによってインターネット２１からダウンロードされる。制御ユニット１６は、可視表現４ａ、４ｂ、４ｃ、４ｄ、４ｅのうちどれが目標とされたか、及びどの選択肢が選択されたかを決定する。前記制御ユニットは次いで、要求された機能を実行するため、前記装置に適切な命令を発行する。
【００３９】
図６は、ポインティングデバイス２によって生成される目標エリアの画像５、及び可視表現４ａ用のテンプレートの模式的な表現を示す。前記ポインティングデバイスは、或る距離から斜めの角度で前記可視表現に向けられているため、可視表現４ａにおける要素（Ｍ１、Ｍ２、Ｍ３）の大きさ及び見え方が、目標エリアの画像５においては歪んで見えている。ユーザによって選択された選択肢を決定するため、本実施例においては、ポインティングデバイス２の長軸と可視表現４ａとの交点ＰＴが位置決定される。交点ＰＴに対応する前記テンプレート中の点がこのとき、選択された選択肢を決定するために位置決定される。この目的のため、エッジ−角（edge-corner）検出法を用いるコンピュータビジョンアルゴリズムが適用され、画像表現４ａのテンプレート［（ｘａ’，ｙａ’），（ｘｂ’，ｙｂ’），（ｘｃ’，ｙｃ’）］における点に対応する目標エリアの画像［（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ’，ｙｃ）］における点を位置決定する。
各点はベクトルとして表現されることができ、例えば点（ｘａ，ｙａ）は
【数１】
と表現されることができる。次のステップとして、変換関数Ｔλが生成され、前記目標エリアの画像を前記テンプレートにマッピングする：
【数２】
ここでベクトル
【数３】
は前記目標エリアの画像における座標対（ｘｉ，ｙｉ）を表し、ベクトル
【数４】
は前記テンプレートにおける対応する座標対（ｘ’ｉ，ｙ’ｉ）を表す。可視表現４ａに対するポインティングデバイス２の位置及び向きを決定するために、前記関数に対して最もコスト効果的な解を出力する、前記画像の回転及び平行移動のためのパラメータを有するパラメータのセットλが適用されることができる。前記コンピュータビジョンアルゴリズムは、ポインティングデバイス２内のカメラ３が固定されておりポインティング行為の方向を「見ている」という事実を利用する。次のステップは、ポインティングの方向Ｄにおけるポインティングデバイス２の長軸と可視表現４ａの平面との交点を算出することである。該点は、目標エリアの画像ＰＴの中心にとられても良いし、又は前記装置がレーザポインタを持つ場合には、レーザ点ＰＬが代わりに利用されても良い。前記交点の座標が算出されると、可視表現４ａのテンプレートにおける該点を位置決定すること、従ってユーザが選択した選択肢を決定することは簡単である。
【００４０】
本発明は好適な実施例及びその変形の形で開示されたが、本発明の範囲から逸脱することなく、多くの付加的な変更及び変形が為され得ることは理解されるであろう。リモートコントローラのポインティングデバイスは、家庭における、又はビジネスのプレゼンテーションを閲覧するための、汎用的なユーザインタフェース装置として動作しても良い。手短に言えば、本発明は、ユーザの意図がポインティングによって表現される場合にはいつでも有用となり得る。即ち、基本的にいずれの種類のユーザインタフェースにも利用されることができる。小さなフォームファクタ及び便利で直感的な利用が、斯かる単純なポインティングデバイスを強力な汎用リモートコントローラへと向上させることができる。複数の装置を制御するために利用され得ることが、これらの装置のコンテンツアイテムへのアクセスを提供し、更に該装置のユーザインタフェースの選択肢のカスタマイズをも可能とすることで、該ポインティングデバイスを強力なツールたらしめる。ペン型に対する代替例として、前記ポインティングデバイスは例えば内蔵カメラを備えたＰＤＡ（personal digital assistant）であっても良いし、内蔵カメラを備えたモバイル電話であっても良い。前記ポインティングデバイスは、他の従来のリモートコントローラの特徴と組み合わせられても良い。例えば、アイテムの長いリストを高速スクロールすることのような専用の機能を実行する付加的なボタンと組み合わせられても良いし、又は制御されるべき装置のコンテンツアイテムへの直接のアクセスのための音声制御のような他の入力様式と組み合わせられても良い。
【００４１】
前記ポインティングデバイスの有用性は、消費者向け電子装置の制御に限定される必要はなく、例えば医療環境、家庭若しくはオフィス環境、又は工業において用途を見出すこともできる。例えば家庭環境においては、斯かるポインティングデバイスは、例えば洗濯機、調理器具、暖房装置、照明装置のような、制御ユニットによって制御され得る殆どあらゆる電気機器を制御するために利用され得る。斯かるポインティングデバイスは、障害を持つユーザや、通常の方法では該機器に手が届かない又は操作できない程に身体が不自由なユーザユーザにとっての生活を、著しく容易にすることができる。
【００４２】
明確さのため、本明細書を通して「１つの（a又はan）」なる語の使用は複数を除外するものではなく、「有する（comprising）」なる語は他のステップ又は要素を除外するものではないことは理解されるべきである。「ユニット（unit）」は、単一のエンティティであると明確に記載されていない限りは、幾つかのブロック又は装置を有し得る。
【図面の簡単な説明】
【００４３】
【図１】ポインティングデバイス及び制御されるべき装置と共にユーザを示す模式的な図である。
【図２】本発明の実施例によるポインティングデバイスの模式的な図である。
【図３】制御されるべき装置の可視表現及び関連する目標エリアの画像の模式的な図である。
【図４】本発明の実施例による、制御ユニットを有する制御されるべき装置及びポインティングデバイスの模式的な図である。
【図５】本発明の実施例による、制御ユニット及び制御されるべき複数の装置の模式的な図である。
【図６】本発明の実施例による、可視表現及び対応する目標エリアの画像を示す模式的な図である。
【技術分野】
【０００１】
本発明は、一般的には装置の制御のための方法及びシステムに関し、更に詳細には、例えばテレビジョン（ＴＶ）、ビデオカセットレコーダ（ＶＣＲ）、ディジタルビデオディスク（ＤＶＤ）プレイヤ、パーソナルコンピュータ（ＰＣ）等といったオーディオ−ビジュアル装置のような、消費者向け電子装置のリモートコントロールのための方法及びシステムに関する。
【背景技術】
【０００２】
リモートコントローラは今日、例えばテレビジョン、ＤＶＤプレイヤ、チューナ等のような、殆どあらゆる消費者向け電子装置と共に利用される。通常の家庭では複数のリモートコントローラ（しばしば、各消費者向け電子装置について１個）が必要とされ得る。自分が持つ消費者向け電子装置を熟知した人物にとっても、各リモートコントローラ上の各ボタンが実際に何のためのものであるかを覚えることは困難である。更に、幾つかの消費者向け電子装置用に利用可能であるオンスクリーン型のメニュー方式ナビゲーションはしばしば、特に当該装置に利用可能な選択肢の深い知識を持たないユーザにとっては、あまり直感的ではない。結果として、ユーザは該ユーザが探している選択肢を見つけ出すために画面に表示されるメニューを調査し続け、次いで適切なボタンを探すためにリモートコントローラへと目を下に向ける必要がある。多くの場合、ボタンは直感的でない名前又は略語を付与されている。加えて、リモートコントローラ上のボタンは、最初にモードボタンを押下することによって、利用される別の機能を実行する場合もある。現代の消費者向け電子装置に利用可能なこれら多くの選択肢は残念ながら、多くのユーザによって、斯かる装置を設定することがフラストレーションの溜まる動作になることを意味する。多数のボタン及び直感的でないメニュー選択肢は、装置の設定を必要以上に困難にし、しばしばユーザが該ユーザが購入した装置を最大限に利用できないということに帰着する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自身の全ての消費者向け電子装置を最大限に利用することは、殆ど全ての消費者向け電子装置が今日それ自体のリモートコントローラ装置を付属しているという事実によって、更に困難とされる。殆どのリモートコントローラのボタンの略語及び記号は、今日では標準化され、異なる言語の国における同様のリモートコントローラ装置の販売を可能としているが、それでも異なるリモートコントローラにおいて同一の機能を実行するために異なる略語又は記号が利用され得る。例えば、それぞれ「チャネル（channel）」又は「番組（program）」を示すために利用される略語「ＣＨ」及び「ＰＲ」は、基本的に同一のものを意味する。リモートコントローラはまた形状、サイズ、全体的な外観、そして電池の要件までも異なり得る。
【０００４】
斯かる多数のリモートコントローラによって生じる混乱を低減させようと、「ユニバーサル（universal）リモートコントローラ」という新たな製品カテゴリが発展してきた。しかしながら、ユニバーサルリモートコントローラであっても、今日市販されている全ての消費者向け電子装置によって提供される全ての機能にアクセスできることを期待することはできない。とりわけ、新たな技術や特徴が常に開発されているからである。更に、現代の消費者向け電子装置により提供される非常に多様な機能は、それに応じてこれらの機能を呼び出すための多くのボタンを必要とし、全てのボタンを必要とするために不便にも大型のリモートコントローラを必要とする。
【０００５】
幾つかの開発が、消費者向け電子装置の簡素なリモートコントローラの問題に対処するよう試みている。例えば欧州特許出願公開ＥＰ０３７２６７４は、共にマイクロコンピュータに接続されたカメラ及び固定光源を含む方法を提案している。レンズ及び検出器を含む可動カメラが、ユーザの頭部に装着される。該カメラ中の検出器により検出される、前記固定光源に対するユーザの頭部の移動が、テレビジョン画面上のカーソルの移動に変換される。斯かる方法の明らかな欠点は、ユーザがカメラを頭部に装着する必要があることである。ユーザは、画面上のカーソルを移動させるために種々の方向に頭部を動かし、一方で該ユーザがカーソルを所望の位置に向けて動かしているかを確認するために画面を見続ける必要がある。
【０００６】
それ故、本発明の目的は、装置の便利で直感的なリモートコントロールのための方法及びユーザインタフェースを提供することにある。
【課題を解決するための手段】
【０００７】
この目的のため、本発明は、装置の制御のための方法であって、制御されるべき前記装置用の幾つかのユーザ選択肢を可視的に表現するステップと、所望の選択肢を選択するため、カメラを有するポインティングデバイスを、前記ユーザ選択肢の可視表現に向けるステップと、前記ポインティングデバイスが向けられた目標（target）エリアの画像を生成するステップと、前記目標エリアの画像を前記可視表現の予め定義されたテンプレートと比較し、選択された選択肢を決定するステップと、を有する方法を提供する。「目標エリアの画像」なる語句は、とり得る最も広い意味で理解されるべきである。例えば、目標エリアの画像は、例えば強調された輪郭、角、エッジ等のような、全体の画像のうちの重要な点に関する画像データを単に有しても良い。
【０００８】
装置のリモートコントロールのための適切なユーザインタフェースは、制御されるべき前記装置用のユーザ選択肢の可視表現に関連する予め定義されたテンプレートにアクセスするためのアクセスユニットと、前記ユーザ選択肢の可視表現中の所望の選択肢に向けるためのポインティングデバイスであって、前記可視表現の少なくとも一部の目標エリアの画像を生成するためのカメラを有するポインティングデバイスと、選択された選択肢を決定するために、予め定義されたテンプレートにおける前記目標エリア又は前記目標エリアの点を位置決定するための画像インタプリタと、を有する。
【０００９】
前記方法及び前記ユーザインタフェースはかくして、選択を為す間消費者向け電子装置から目を離す必要なく、また最初に多数のボタンを熟知する必要なく、選択肢を選択するため小型のハンドヘルド型ポインティングデバイスを単に向けることにより、あらゆる装置を制御する、ユーザにとって快適な方法を提供する。
【００１０】
従属請求項及び以下の説明は、本発明の特に有利な実施例及び特徴を開示する。
【００１１】
消費者向け電子装置用のユーザ選択肢は、静的及び動的な方法で、幾つかの方法でユーザに提示され得る。装置用のユーザ選択肢の静的な形態での最も単純な可視表現は、該装置自体の前面である。ここでは種々の選択肢が、例えばＶＣＲにおける停止ボタン、早送りボタン、録画ボタン及び再生ボタンのような、ボタン又はつまみの形態で利用可能である。静的な可視表現の他の例は、例えばコンピュータの印刷出力又はＴＶ雑誌の番組ガイドのような、印刷された形態でユーザ選択肢を提示することである。特にＴＶ又はテレビジョンに接続されることができるＤＶＤプレイヤのような装置については、選択肢は該装置の前面のボタンのような静的な形態でユーザに利用可能であり得、またテレビジョン画面に動的に容易に表示もされ得る。このとき、選択肢はメニューアイテムの形態で又はアイコンとして表示されても良い。本発明のとりわけ好適な実施例においては、１つ以上の装置用のユーザ選択肢が、１つの可視表現上に同時に表示されることができる。例えば、チューナの選択肢とＤＶＤの選択肢とが（とりわけ両方の装置に関連する選択肢が）同時に表示され得る。選択肢の斯かる組み合わせの一例は、サラウンド音声やドルビー等のようなチューナのオーディオ選択肢のセットを、ワイド画面や字幕等のようなＤＶＤの選択肢と共に表示することである。かくしてユーザ、視聴を開始する前に、両方の装置用の選択肢を容易に且つ迅速にカスタマイズすることができる。
【００１２】
装置用のユーザ選択肢を動的な形態で可視的に表現する他の方法は、例えば壁又は画面のような面に画像の背景としてユーザ選択肢を投射することであり得る。加えて本発明は、例えばユーザの視力が弱い場合に画面上に一度に少数の選択肢だけを表示することによって、該装置用の選択肢をカスタマイズする手段をユーザに容易に提供し得る。更に、ユーザは該ユーザが必要とする見込みの低い機能を省くように特に選択し得る。例えば、該ユーザのＤＶＤプレイヤに関しては、該ユーザは外国語の字幕と共に映画を観たいとは望まないであろう。この場合には、該ユーザは該ユーザのユーザインタフェースをカスタマイズして、可視表現からこれらの選択肢を省くことができる。テレビジョンのような装置は、或るユーザには、利用可能な選択肢のサブセットのみがアクセス可能となるように構成されても良い。このようにして、例えば子供が年齢に不適切な番組を視聴することを防ぐために、特定のチャネルが認可されたユーザのみによってアクセス可能とされることができる。
【００１３】
本発明の主な特徴は、カメラを含むポインティングデバイスをユーザ選択肢の可視表現に向けることにより、利用可能な選択肢からユーザが選択することができる点である。前記カメラは好ましくは前記ポインティングデバイスに内蔵されるが、前記ポインティングデバイス上に装着されても良く、好ましくは、ユーザによって目標とされたポインティングデバイスの前のエリアの画像を生成するように向けられる。目標エリアの画像は、単に可視表現全体の小さなサブセットであっても良いし、可視表現全体をカバーしても良いし、又は可視表現の周囲のエリアをも含んでも良い。可視表現全体に対する目標エリアの画像のサイズは、該可視表現のサイズ、ポインティングデバイスと該表現との間の距離、及び前記カメラ自体の性能に依存しても良い。ユーザは、例えば該ユーザがテレビジョンを視聴している間に着席している場合のように、前記ポインティングデバイスが前記可視表現から幾分かの距離になるように位置しても良い。またユーザは、該ユーザが雑誌の形態でのＴＶ番組ガイドに前記ポインティングデバイスを向ける場合のように、前記可視表現から極めて近くにポインティングデバイスを保持しても良い。
【００１４】
本発明の好適な実施例においては、前記ポインティングデバイス中に又は前記ポインティングデバイス上に光源が装着される。前記光源は、前記ポインティングデバイスが向けられたエリアを照射するように働き、これにより周囲が暗い場合にもユーザが容易に前記可視表現を読むことができる。また前記光源は、指す方向に発せられる光の集束させられたビームのレーザ光源であっても良い。これによりユーザが向けた前記可視表現上の目標点に又は該目標点の近くに光の点が生じ、所望の選択肢にユーザが向けることを支援する可視の位置的なフィードバックを提供する。単純な実施例は、適切な態様で前記ポインティングデバイス中に内蔵された又は該ポインティングデバイス上に装着されたレーザ光源であり得る。それ故以下では、前記集束させられた光の光源はレーザビームであることが仮定されるが、本発明をこれに限定するものではない。
【００１５】
利用を容易にするため、前記ポインティングデバイスは、ユーザによって快適に把持されることができる細長い形の棒又はペンの形状であっても良い。ユーザはかくして、可視表現から適切な観測距離に位置しながら、該可視表現における目標点に前記ポインティングデバイスを向けることができる。また前記ポインティングデバイスは、ピストルの形状であっても良い。
【００１６】
前記ポインティングデバイスは、ユーザによって、例えばＶＣＲ装置の前面の再生ボタンに、ＴＶ画面上に表示されたＤＶＤの選択肢に、又はＴＶ雑誌における選択された番組に、といったように、可視表現の特定の選択肢に向けられても良い。特定の選択が為されたことを示すため、ユーザは前記ポインティングデバイスを、例えば所望の選択肢の周りでループ又は円形を描くことによってのように、所定の方法で前記可視表現上を移動させても良い。ユーザは前記ポインティングデバイスを可視表現から離れた或る距離において空中で動かしても良いし、又は前記可視表現上を直接若しくは該可視表現に極めて近くで前記ポインティングデバイスを動かしても良い。特定の選択肢の選択を示す他の方法は、前記ポインティングデバイスを当該選択肢に所定の長さの時間だけ向けつづけることであっても良い。また前記ユーザは、例えば画面から可視表現を除去した後に通常の視聴又は前のメニューレベルに戻ることを示すために、前記可視表現上を軽く動かして（flick）も良い。可視表現に対するポインティングデバイスの移動は好ましくは、制御ユニット中の画像処理ソフトウェアによって検出されても良いし、又は前記ポインティングデバイス中の動きセンサによって検出されても良い。更なる可能性は、前記ポインティングデバイスが向けられている選択肢の選択を示すために、前記ポインティングデバイス上のボタンを押下することであり得る。好適な実施例においては前記制御ユニットは、例えばボタンを押下又は前記ポインティングデバイスを所定の方法で移動させたときに選択肢の光学的な中心からかなり離れた点にユーザが向いていた場合に、ユーザの動作を正常に解釈したことを確認するために確認ダイアログを起動することができる。この場合には、前記制御ユニットは、選択された選択肢又は機能の起動へと入る前に確認を要求しても良い。
【００１７】
前記制御ユニットは好ましくは、ことによると可聴の「クリック」音を伴いながら、例えば選択肢を点滅させ、又はユーザによって向けられた可視表現における領域を強調させることによってのように、選択された選択肢を何らかの方法で強調するように可視表現を変更することができる。前記ポインティングデバイスはまた、特にユーザが大きなコンテンツ空間を移動して閲覧（navigate）する必要がある場合に、「ドラッグ・アンド・ドロップ」手法を利用して可視表現中の機能を選択しても良い。例えばバッファリングされたＤＶＤ映画データを表すアイコンを、ごみ箱を表す他のアイコンへとドラッグすることにより、該バッファリングされたデータがメモリから消去されることを表す。ユーザが「ダブルクリック」に類似した態様で選択肢を選択することで（例えば、所定の態様で前記ポインティングデバイスの動きを繰り返すことにより、又は前記ポインティングデバイス上のボタンを２度押下することにより）、種々の機能がユーザによって起動されても良い。
【００１８】
本発明のとりわけ有利な実施例においては、制御されるべき装置に割り当てられた制御ユニットに、目標エリアの画像が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又は８０２．１１ｂ規格を用いて、無線の態様で前記ポインティングデバイスから送信される。前記制御ユニットは好ましくは、目標エリアの画像を受信するための受信器と、プロセッサ又はコントローラの形をとっても良い画像インタプリタとを有する。前記目標エリアの画像はまた、前記ポインティングデバイスを前記制御ユニットにつなぐケーブルによって前記制御ユニットへ送信されても良い。
【００１９】
ユーザによってどの選択肢が選択されたかを決定するため、前記画像インタプリタは、受信された目標エリアの画像を、可視表現の幾つかの予め定義されたテンプレートと比較する。当該比較のため、単一の予め定義されたテンプレートで十分であり得る。又は正常な比較を実行するため１以上のテンプレートを利用することが必要ともなり得る。
【００２０】
予め定義されたテンプレートは内部メモリに保存されても良いし、又は外部ソースからアクセスされても良い。好ましくは前記制御ユニットは、制御されるべき装置の可視表現について予め定義されたテンプレートを、例えば内部若しくは外部メモリ、メモリスティック、イントラネット又はインターネットから取得するための、適切なインタフェースを持つアクセスユニットを有する。テンプレートは、制御される装置の前面のグラフィカル表現であっても良い。例えば、再生、早送り、巻き戻し、停止及び記録機能を表すボタンのような、利用可能なユーザ選択肢をフィーチャするＶＣＲ装置の前面の簡略化された表現であっても良い。テンプレートはまた、ＴＶ画面上に表示されるような選択肢メニューのグラフィカルな表現であっても良く、可視表現の特定のエリアに関連する利用可能な装置の選択肢の位置を示しても良い。例えば、再生、早送り、字幕、言語等のような、ＤＶＤプレイヤ用のユーザ選択肢が、ＴＶ画面上に可視的に提示されても良い。前記テンプレートは、前記可視表現の周囲のエリアを示しても良い。例えば前記テンプレートは、装置の筐体を含んでも良く、装置のすぐ外の周囲の幾つかをも含んでも良い。
【００２１】
装置が該装置の画面に表示することができるユーザ選択肢はしばしばメニューの形をとって提示され、ユーザは該メニューに目を通し所望の選択肢又は機能に到達することができる。本発明の好適な実施例においては、制御されるべき装置についてそれぞれとり得るメニューレベルに対してテンプレートが存在し、これによりユーザは該装置の制御の任意のレベルにおいて、利用可能な選択肢のいずれか１つにポインティングデバイスを向けることができる。他のタイプのテンプレートは、雑誌におけるＴＶ番組ガイドの外見を持っていても良い。ここで、ＴＶガイドにおける頁のレイアウトのためのテンプレートは、例えば毎日又は毎週といった頻度で、アクセスユニットによって取得及び／又は更新されても良い。好ましくは、画像インタプリタソフトウェアが、ＴＶ番組の頁の形式と互換性を持つ。テンプレートは好ましくは、ユーザにとって利用可能な種々の番組選択肢の頁における位置に特徴を持つ。ユーザは、特定の選択肢を選択するため、実際のＴＶ番組ガイドにおける頁の形をとる可視の表現上にポインティングデバイスを向けても良い。又は、該ガイドが可視的にＴＶ画面に表示され、ユーザが利用可能な選択肢の中から選択するためにポインティングデバイスを向けても良い。
【００２２】
選択された選択肢を決定するために目標エリアの画像を処理するため、ユーザが向けた可視表現上の位置、即ち目標点を見出すためのコンピュータビジョン手法を適用することが便利である。
【００２３】
本発明の一実施例においては、ポインティングデバイスの長軸の方向に仮想線を前記可視表現まで伸張することにより得られる、目標エリアの画像における固定点（好ましくは目標エリアの画像の中心）が、前記目標点として利用されても良い。
【００２４】
コンピュータビジョンアルゴリズムを利用して可視表現の目標エリアの画像を処理する方法は、目標画像における個々の点を検出するステップと、前記可視表現のテンプレートにおける対応する点を決定するステップと、前記目標画像における点を、前記テンプレートにおける対応する点にマッピングするための変換を生成するステップと、を有しても良い。目標エリアの画像の個々の点は、可視表現の点であっても良いし、又は可視表現の周囲のエリアにおける点（例えばテレビ画像の角、又は制御されるべき装置の近隣におけるオブジェクトに属する点）であっても良く、これらも予め定義されたテンプレートに記録されても良い。この変換はこのとき、前記可視表現に対するポインティングデバイスの位置及び向きを決定するために利用されることができ、これにより前記ポインティングデバイスの軸の前記可視表現との交点が、前記テンプレートにおいて位置決定されることができる。前記テンプレートにおける該交点の位置は、前記可視表現上の目標点に対応し、どの選択肢がユーザによって目標とされたかを容易に決定するために利用されることができる。予め定義されたテンプレートにおける目標点の位置が、ユーザによって選択された選択肢を示す。このようにして、目標エリアの画像を予め定義されたテンプレートと比較することは、個々の角点のような突出した点のみを特定し比較することに限定される。本発明において利用される「比較する」なる語句は広い意味で理解されるべきであり、即ちユーザが意図した点を迅速に特定するために十分な特徴のみを比較することを含む。
【００２５】
ユーザによって選択された選択肢を決定する他のとり得る方法は、前記目標点を中心とする受信された目標エリアの画像を、パターンマッチングのような方法を利用して、予め定義されたテンプレートと直接に比較し、前記可視表現において目標とされた点を位置決定することである。目標エリアの画像を予め定義されたテンプレートと比較する他の方法は、当該比較を、個々の角点のような突出した点のみを特定し比較することに限定する。
【００２６】
本発明の更なる実施例においては、目標エリアの画像の一部として制御ユニットにおける受信器に送信されたレーザ点の位置が、ユーザによって選択された選択肢を位置決めするための目標点として利用されても良い。前記レーザ点は、前記目標エリアの画像の中心に重畳されても良いが、前記目標エリアの画像の中心から離隔されても良い。
【００２７】
制御ユニットは単一の装置を制御するために利用されても良いが、複数の斯かる装置を制御するために利用されても良い。例えば、１つの制御ユニットが、ＴＶ、ＤＶＤプレイヤ、チューナ及びＶＣＲに対して割り当てられても良い。このようにして、前記ポインティングデバイスは、１つの装置又は複数の装置のためのリモートコントローラとして利用されても良い。前記ポインティングデバイスはまた、それぞれが専用の制御ユニットを内蔵する、幾つかの消費者向け電子装置を制御するために利用されても良い。更に、幾つかのポインティングデバイスが１つの制御ユニットに対して割り当てられても良く、これにより例えば家族の各構成員が自身のポインティングデバイスを持っても良い。一方で、１つのポインティングデバイスが、異なる環境における幾つかの制御ユニットに対して割り当てられても良い。これにより例えば、ユーザは該ユーザのポインティングデバイスを、家における装置、そして同様にオフィスにおける装置を制御するために利用することができる。
【００２８】
本発明の好適な実施例においては、前記制御ユニットは投射器に接続されても良く、該投射器が、例えば壁のような適切な面に画像の背景の形で、幾つかの装置についてのユーザ選択肢の可視表現を投射しても良い。前記制御ユニットはまた別個の画面を利用しても良いし、又は制御されるべき装置の１つの画面を利用しても良い。このようにして、例えばビデオレコーダのような、表示を特徴機能として持たない装置についても、快適な態様でユーザ選択肢が提示されることができる。装置の小型前面におけるボタンによって表現される選択肢は例えば、選択を容易にするため、より大きな画像背景におけるメニュー選択肢として表示されても良い。本発明の更なる好適な実施例においては、前記制御ユニットは、画像表現のハードコピーを生成しても良く、例えば番組選択をプリントアウトしても良い。
【００２９】
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかしながら、図面は単に説明の目的のために描かれたものであり、本発明の範囲の定義として描かれたものではないことは理解されるべきである。
【発明を実施するための最良の形態】
【００３０】
図１は、制御されるべき装置１ａ（本例においてはテレビジョン１ａ）にポインティングデバイス２を向けているユーザ８を示す。本実施例においては、ユーザ選択肢の可視表現４ａが、テレビジョン画面上に動的に表示される。ポインティングデバイス２は、可視表現４において目標とされたエリアの画像を生成する。テレビジョン１は、ポインティングデバイス２から送信された画像を受信する制御ユニットを含む。
【００３１】
図２は、ポインティングの方向Ｄにおいて、ポインティングデバイス２の前方のエリアの画像を生成するカメラ３を含む、ポインティングデバイス２を示す。ポインティングデバイス２は細長い形状を特徴とし、ポインティングの方向Ｄがポインティングデバイス２の長軸に沿うようになっている。ポインティングデバイス２の前方に向けカメラ３が配置され、ユーザ８が向けたポインティングデバイス２の前方におけるエリアの画像が生成される。該画像は、ポインティングデバイス２の筐体に収容された送信器１４によって送信され、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又は８０２．１１ｂ規格のような、無線の態様で送信される。ポインティングデバイス２に装着されたレーザ光源７は、ポインティングの方向Ｄにポインティングデバイス２の長軸と平行に、レーザ光のビームＬを発する。本実施例においては、ポインティングデバイス２はボタン１１を特徴とする。ボタン１１は、例えばユーザが選択を為したことを確認し、目標エリアの画像を送信するために、ユーザによって押下されることができる。代替として、斯かるボタン１１は加えて、可視表現の表示をアクティブにする又は非アクティブにするために利用されても良く、これによりユーザインタフェースの選択肢は、ユーザによって実際に必要とされるときにのみ表示されても良い。代替として、ボタン１１の機能は、前記ポインティングデバイスに装着された光源７をアクティブにする又は非アクティブにするものであっても良く、又はポインティングデバイス２自体をアクティブにする又は非アクティブにするものであっても良い。また、前記ポインティングデバイスは、ポインティングデバイス２に内蔵された動きセンサによってアクティブにされても良く、これによりユーザがポインティングデバイス２を手に持ったときに前記可視表現が自動的に表示されても良い。ポインティングデバイス２は、図示されていない１以上のバッテリから電源供給を受けても良い。前記ポインティングデバイスの電源消費に依存して、非利用時にバッテリを再充電するためにポインティングデバイス２を置くことができるクレードルを備えることが必要となり得る。
【００３２】
図３は、制御されるべき装置についての幾つかのユーザ選択肢の（テレビジョン画面上に表示された又は適切な背景上に投射された）可視表現４ａを示す。ポインティングデバイスは、図示されていないが、可視表現４ａの目標エリア６に向けられている。前記ポインティングデバイス上のレーザ光源によって生成されたレーザ点ＰＬによって、ユーザは可視表現４ａに表示されたメニュー選択肢（Ｍ１、Ｍ２、Ｍ３、Ｍ４）の１つを選択することができる。前記ポインティングデバイス中のカメラは、画像中心点ＰＴの周囲にセンタリングされた目標エリア６の画像５を生成する。レーザ点ＰＬもまた、目標エリアの画像５中に現れている。レーザ点ＰＬは、画像中心点ＰＴから或る距離だけ離れていても良いし、又は画像中心点ＰＴと一致しても良い。
【００３３】
図４は、例えばテレビジョン画面のような表示装置及び制御ユニット１６を内蔵した消費者向け電子装置１を示す。制御ユニット１６は、本例においては装置１の画面上に表示された、可視表現４ａに向けられたポインティングデバイス２から送信される、可視表現４ａの目標エリアの画像５を受信することが可能な受信器１７を有する。目標エリアの画像データ１８は、画像インタプリタ１３に送られる。アクセスユニット１２は、例えば内部メモリ１９、外部メモリ２０又はインターネット２１からの、予め定義されたテンプレートにアクセスすることができる。理想的には、アクセスユニット１２は外部データ２０にアクセスすることを可能とする幾つかのインタフェースを持ち、ユーザは例えばフロッピー（登録商標）ディスク、ＣＤ又はＤＶＤのようなメモリ媒体２０に保存された予め定義されたテンプレートを供給しても良い。前記テンプレートは、例えば制御ユニット１６用のトレーニングセッションにおいてユーザによって設定されても良く、ここでユーザがテンプレート上の特定のエリアと特定の機能との間の関連を規定しても良い。
【００３４】
画像インタプリタ１３は、ユーザによって選択された選択肢を決定するため、目標エリアの画像１８を予め定義されたテンプレートと比較するためのコンピュータビジョンアルゴリズムを利用する。選択された選択肢についての情報はダイアログ制御器１０に転送される。該ダイアログ制御器１０は、例えば選択されたチャネルへの切り換えのような、選択肢に関連する機能を実行するように装置１に命令するよう動作する。該ダイアログ制御器１０はまた、例えば可視表現４ａを更新する可視表現制御器９に対して、異なるメニューレベルを表示するように、又は可視表現４ａを非アクティブにするように命令する。
【００３５】
図５は、制御ユニット１６に接続された幾つかの消費者向け電子装置１ａ、１ｂ、１ｃを示す。装置１ａ、１ｂ、１ｃは、それぞれの装置が提供する選択肢をユーザに表現する異なる手段を持つことを特徴とする。装置１ａ（例えばテレビジョン）は、ユーザ選択肢を該装置１ａ自体の画面４ａ上に表示する。ユーザは、例えばチャネルを切り換えたり、ラウドスピーカの音量を変化させたり、ビデオテキストを見たり等するために、テレビジョン画面４ａ上に表示される選択肢にポインティングデバイスを向けることができる。装置１ｂ及び１ｃ（例えばＤＶＤプレイヤ又はＶＣＲ）の前面は、これら装置用のユーザ選択肢を表示し、可視表現４ｂ及び４ｃとして利用される。
【００３６】
ここでユーザは、例えば装置１ｂ又は１ｃに収容されているＤＶＤ又はビデオカセットを早送りするために、装置１ｂ又は１ｃの１つに前記ポインティングデバイスを向けることができる。
【００３７】
他の可視表現４ｅは、ＴＶ番組ガイド１ｅの形で示される。ユーザは、所望の番組を選択するために、番組ガイド４ｅの頁にポインティングデバイスを向けることができる。制御ユニット１６は次いで例えば、該番組が既に放送中であれば、適切なチャネルに切り換えるようにテレビジョン１ａに対して命令を発行するように動作する。該番組が後の時点に開始する場合には、制御ユニット１６は、例えば該番組が後でＶＣＲ１ｃによって記録されるべきであるか否かといった、適切なプロンプトをテレビジョン画面４ａに表示しても良い。画像インタプリタソフトウェアとＴＶガイドの形式との互換性を確実にするために、前記ソフトウェアは定期的に又は適宜、インターネット２１から最新バージョンをダウンロードすることにより更新されても良い。
【００３８】
ビーム照射器又は投射器１５は、装置１ａ、１ｂ、１ｃ及び１ｅ又は図示されていない他の装置のうちの１以上と関連しても良い画像背景の形をとる更なる可視表現４ｄを、壁又は他の適切な面に表示する。ポインティングデバイス（図示されていない）から送信された可視表現４ｅのいずれかの目標エリアの画像は、制御ユニット１６によって受信され、可視表現４ａ、４ｂ、４ｃ、４ｄ、４ｅの予め定義されたテンプレートと比較される。前記予め定義されたテンプレートは、前記制御ユニットにローカルに保存されていても良い。例えば、装置１ｂ及び１ｃ用の予め定義されたテンプレートは前記制御ユニットに一度保存されても良い。なぜなら斯かる装置の前面は静的なままであるからである。テレビジョン１ａのような装置用の可視表現のためのテンプレートは断続的に変化しても良い。例えば、ユーザが前記装置をプログラムしてメニュー方式の操作をカスタマイズし、これによりメニューレベル及び対応するテンプレートが異なる外見をとることも可能である。ＴＶ番組ガイド用のテンプレートは、該番組ガイドの発行毎に前記制御ユニットにより更新される。これらのテンプレートは、適切なインタフェースによってインターネット２１からダウンロードされる。制御ユニット１６は、可視表現４ａ、４ｂ、４ｃ、４ｄ、４ｅのうちどれが目標とされたか、及びどの選択肢が選択されたかを決定する。前記制御ユニットは次いで、要求された機能を実行するため、前記装置に適切な命令を発行する。
【００３９】
図６は、ポインティングデバイス２によって生成される目標エリアの画像５、及び可視表現４ａ用のテンプレートの模式的な表現を示す。前記ポインティングデバイスは、或る距離から斜めの角度で前記可視表現に向けられているため、可視表現４ａにおける要素（Ｍ１、Ｍ２、Ｍ３）の大きさ及び見え方が、目標エリアの画像５においては歪んで見えている。ユーザによって選択された選択肢を決定するため、本実施例においては、ポインティングデバイス２の長軸と可視表現４ａとの交点ＰＴが位置決定される。交点ＰＴに対応する前記テンプレート中の点がこのとき、選択された選択肢を決定するために位置決定される。この目的のため、エッジ−角（edge-corner）検出法を用いるコンピュータビジョンアルゴリズムが適用され、画像表現４ａのテンプレート［（ｘａ’，ｙａ’），（ｘｂ’，ｙｂ’），（ｘｃ’，ｙｃ’）］における点に対応する目標エリアの画像［（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ’，ｙｃ）］における点を位置決定する。
各点はベクトルとして表現されることができ、例えば点（ｘａ，ｙａ）は
【数１】
と表現されることができる。次のステップとして、変換関数Ｔλが生成され、前記目標エリアの画像を前記テンプレートにマッピングする：
【数２】
ここでベクトル
【数３】
は前記目標エリアの画像における座標対（ｘｉ，ｙｉ）を表し、ベクトル
【数４】
は前記テンプレートにおける対応する座標対（ｘ’ｉ，ｙ’ｉ）を表す。可視表現４ａに対するポインティングデバイス２の位置及び向きを決定するために、前記関数に対して最もコスト効果的な解を出力する、前記画像の回転及び平行移動のためのパラメータを有するパラメータのセットλが適用されることができる。前記コンピュータビジョンアルゴリズムは、ポインティングデバイス２内のカメラ３が固定されておりポインティング行為の方向を「見ている」という事実を利用する。次のステップは、ポインティングの方向Ｄにおけるポインティングデバイス２の長軸と可視表現４ａの平面との交点を算出することである。該点は、目標エリアの画像ＰＴの中心にとられても良いし、又は前記装置がレーザポインタを持つ場合には、レーザ点ＰＬが代わりに利用されても良い。前記交点の座標が算出されると、可視表現４ａのテンプレートにおける該点を位置決定すること、従ってユーザが選択した選択肢を決定することは簡単である。
【００４０】
本発明は好適な実施例及びその変形の形で開示されたが、本発明の範囲から逸脱することなく、多くの付加的な変更及び変形が為され得ることは理解されるであろう。リモートコントローラのポインティングデバイスは、家庭における、又はビジネスのプレゼンテーションを閲覧するための、汎用的なユーザインタフェース装置として動作しても良い。手短に言えば、本発明は、ユーザの意図がポインティングによって表現される場合にはいつでも有用となり得る。即ち、基本的にいずれの種類のユーザインタフェースにも利用されることができる。小さなフォームファクタ及び便利で直感的な利用が、斯かる単純なポインティングデバイスを強力な汎用リモートコントローラへと向上させることができる。複数の装置を制御するために利用され得ることが、これらの装置のコンテンツアイテムへのアクセスを提供し、更に該装置のユーザインタフェースの選択肢のカスタマイズをも可能とすることで、該ポインティングデバイスを強力なツールたらしめる。ペン型に対する代替例として、前記ポインティングデバイスは例えば内蔵カメラを備えたＰＤＡ（personal digital assistant）であっても良いし、内蔵カメラを備えたモバイル電話であっても良い。前記ポインティングデバイスは、他の従来のリモートコントローラの特徴と組み合わせられても良い。例えば、アイテムの長いリストを高速スクロールすることのような専用の機能を実行する付加的なボタンと組み合わせられても良いし、又は制御されるべき装置のコンテンツアイテムへの直接のアクセスのための音声制御のような他の入力様式と組み合わせられても良い。
【００４１】
前記ポインティングデバイスの有用性は、消費者向け電子装置の制御に限定される必要はなく、例えば医療環境、家庭若しくはオフィス環境、又は工業において用途を見出すこともできる。例えば家庭環境においては、斯かるポインティングデバイスは、例えば洗濯機、調理器具、暖房装置、照明装置のような、制御ユニットによって制御され得る殆どあらゆる電気機器を制御するために利用され得る。斯かるポインティングデバイスは、障害を持つユーザや、通常の方法では該機器に手が届かない又は操作できない程に身体が不自由なユーザユーザにとっての生活を、著しく容易にすることができる。
【００４２】
明確さのため、本明細書を通して「１つの（a又はan）」なる語の使用は複数を除外するものではなく、「有する（comprising）」なる語は他のステップ又は要素を除外するものではないことは理解されるべきである。「ユニット（unit）」は、単一のエンティティであると明確に記載されていない限りは、幾つかのブロック又は装置を有し得る。
【図面の簡単な説明】
【００４３】
【図１】ポインティングデバイス及び制御されるべき装置と共にユーザを示す模式的な図である。
【図２】本発明の実施例によるポインティングデバイスの模式的な図である。
【図３】制御されるべき装置の可視表現及び関連する目標エリアの画像の模式的な図である。
【図４】本発明の実施例による、制御ユニットを有する制御されるべき装置及びポインティングデバイスの模式的な図である。
【図５】本発明の実施例による、制御ユニット及び制御されるべき複数の装置の模式的な図である。
【図６】本発明の実施例による、可視表現及び対応する目標エリアの画像を示す模式的な図である。
【特許請求の範囲】
【請求項１】
装置の制御のための方法であって、
制御されるべき前記装置用の幾つかのユーザ選択肢を可視的に表現するステップと、
所望の選択肢を選択するため、カメラを有するポインティングデバイスを、前記ユーザ選択肢の可視表現に向けるステップと、
前記ポインティングデバイスが向けられた目標エリアの画像を生成するステップと、
前記目標エリアの画像を前記可視表現の予め定義されたテンプレートと比較し、選択された選択肢を決定するステップと、
を有する方法。
【請求項２】
前記ポインティングデバイスに装着された集束する光のビームの光源が、前記ポインティングデバイスが向けられた前記可視表現における光点をユーザに示す、請求項１に記載の方法。
【請求項３】
ユーザが前記ポインティングデバイスを向けた前記可視表現中の目標位置に対応する前記テンプレート中の点を位置決定することにより、前記選択された選択肢が決定される、請求項１又は２に記載の方法。
【請求項４】
前記光点は前記目標エリアの画像中に位置決定され、目標点として考慮される、請求項３に記載の方法。
【請求項５】
前記目標エリアの画像における固定点が目標点として考慮される、請求項３に記載の方法。
【請求項６】
所望の選択肢は、前記ポインティングデバイスを前記可視表現における該所望の選択肢に向け、前記ポインティングデバイス上のボタンを押下することによりユーザによって選択される、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
所望の選択肢は、前記可視表現上で前記ポインティングデバイスを所定のパターンで動かすことによりユーザによって選択される、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
コンピュータビジョンアルゴリズムを利用して目標点が決定される、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記可視表現の目標画像における個々の点を検出するステップと、
前記可視表現のテンプレートにおける対応する点を決定するステップと、
前記目標画像における点を、前記テンプレートにおける対応する点にマッピングするための変換を生成するステップと、
前記可視表現に対する前記ポインティングデバイスの位置及び向きを決定するために前記変換を利用するステップと、
前記ポインティングデバイスの特定の軸と前記可視表現との交点を位置決定するステップと、
を有する方法によって目標点が決定される、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記装置の選択肢の可視表現は静的な形態で提示される、請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記装置の選択肢の可視表現は動的に提示される、請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
制御されるべき複数の装置用のユーザ選択肢の１以上の目標エリアの画像が生成され、予め定義されたテンプレートと比較され、それに応じて、選択された選択肢に依存して、１以上の複数の装置が制御される、請求項１乃至１１のいずれか一項に記載の方法。
【請求項１３】
装置の制御のためのユーザインタフェースであって、
制御されるべき前記装置用のユーザ選択肢の可視表現に関連する予め定義されたテンプレートにアクセスするためのアクセスユニットと、
前記ユーザ選択肢の可視表現中の所望の選択肢に向けるためのポインティングデバイスであって、前記可視表現の少なくとも一部の目標エリアの画像を生成するためのカメラを有するポインティングデバイスと、
選択された選択肢を決定するために、予め定義されたテンプレートにおける前記目標エリア又は前記目標エリアの点を位置決定するための画像インタプリタと、
を有するユーザインタフェース。
【請求項１４】
装置に割り当てられた制御ユニットに前記画像を送信する送信インタフェースを有する、請求項１３に記載のユーザインタフェース。
【請求項１５】
制御されるべき前記装置用の前記ユーザ選択肢の可視表現を動的に表示するための表示ユニットを有する、請求項１３又は１４に記載のユーザインタフェース。
【請求項１６】
制御されるべき前記装置用の前記ユーザ選択肢の静的な可視表現を生成するためのハードコピー出力ユニット又はモジュールを有する、請求項１３乃至１５のいずれか一項に記載のユーザインタフェース。
【請求項１７】
前記ポインティングデバイスが向けられた方向における目標エリアの画像を生成するためのカメラを含む、請求項１３乃至１６のいずれか一項に記載のユーザインタフェースのためのポインティングデバイス。
【請求項１８】
前記ポインティングデバイスが向けられた目標エリアを照射するための光源を有する、請求項１７に記載のポインティングデバイス。
【請求項１９】
長軸に沿って延在するポインティングデバイスであって、前記ポインティングデバイスに配置されたカメラを含み、前記ポインティングデバイスが向けられた前記ポインティングデバイスの長軸に沿った方向における前記ポインティングデバイスの前方に、前記カメラが目標エリアの画像を生成するようにされたポインティングデバイス。
【請求項２０】
ポインティングデバイスから目標エリアの画像を受信するための受信器と、制御されるべき装置用のユーザ選択肢の可視表現に関連する予め定義されたテンプレートにアクセスするためのアクセスユニットと、選択された選択肢を決定するために、予め定義されたテンプレートにおける前記目標エリア又は前記目標エリアの点を位置決定するための画像インタプリタとを有する制御ユニット。
【請求項２１】
請求項２０に記載の制御ユニットを有する装置。
【請求項１】
装置の制御のための方法であって、
制御されるべき前記装置用の幾つかのユーザ選択肢を可視的に表現するステップと、
所望の選択肢を選択するため、カメラを有するポインティングデバイスを、前記ユーザ選択肢の可視表現に向けるステップと、
前記ポインティングデバイスが向けられた目標エリアの画像を生成するステップと、
前記目標エリアの画像を前記可視表現の予め定義されたテンプレートと比較し、選択された選択肢を決定するステップと、
を有する方法。
【請求項２】
前記ポインティングデバイスに装着された集束する光のビームの光源が、前記ポインティングデバイスが向けられた前記可視表現における光点をユーザに示す、請求項１に記載の方法。
【請求項３】
ユーザが前記ポインティングデバイスを向けた前記可視表現中の目標位置に対応する前記テンプレート中の点を位置決定することにより、前記選択された選択肢が決定される、請求項１又は２に記載の方法。
【請求項４】
前記光点は前記目標エリアの画像中に位置決定され、目標点として考慮される、請求項３に記載の方法。
【請求項５】
前記目標エリアの画像における固定点が目標点として考慮される、請求項３に記載の方法。
【請求項６】
所望の選択肢は、前記ポインティングデバイスを前記可視表現における該所望の選択肢に向け、前記ポインティングデバイス上のボタンを押下することによりユーザによって選択される、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
所望の選択肢は、前記可視表現上で前記ポインティングデバイスを所定のパターンで動かすことによりユーザによって選択される、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
コンピュータビジョンアルゴリズムを利用して目標点が決定される、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記可視表現の目標画像における個々の点を検出するステップと、
前記可視表現のテンプレートにおける対応する点を決定するステップと、
前記目標画像における点を、前記テンプレートにおける対応する点にマッピングするための変換を生成するステップと、
前記可視表現に対する前記ポインティングデバイスの位置及び向きを決定するために前記変換を利用するステップと、
前記ポインティングデバイスの特定の軸と前記可視表現との交点を位置決定するステップと、
を有する方法によって目標点が決定される、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
前記装置の選択肢の可視表現は静的な形態で提示される、請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記装置の選択肢の可視表現は動的に提示される、請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
制御されるべき複数の装置用のユーザ選択肢の１以上の目標エリアの画像が生成され、予め定義されたテンプレートと比較され、それに応じて、選択された選択肢に依存して、１以上の複数の装置が制御される、請求項１乃至１１のいずれか一項に記載の方法。
【請求項１３】
装置の制御のためのユーザインタフェースであって、
制御されるべき前記装置用のユーザ選択肢の可視表現に関連する予め定義されたテンプレートにアクセスするためのアクセスユニットと、
前記ユーザ選択肢の可視表現中の所望の選択肢に向けるためのポインティングデバイスであって、前記可視表現の少なくとも一部の目標エリアの画像を生成するためのカメラを有するポインティングデバイスと、
選択された選択肢を決定するために、予め定義されたテンプレートにおける前記目標エリア又は前記目標エリアの点を位置決定するための画像インタプリタと、
を有するユーザインタフェース。
【請求項１４】
装置に割り当てられた制御ユニットに前記画像を送信する送信インタフェースを有する、請求項１３に記載のユーザインタフェース。
【請求項１５】
制御されるべき前記装置用の前記ユーザ選択肢の可視表現を動的に表示するための表示ユニットを有する、請求項１３又は１４に記載のユーザインタフェース。
【請求項１６】
制御されるべき前記装置用の前記ユーザ選択肢の静的な可視表現を生成するためのハードコピー出力ユニット又はモジュールを有する、請求項１３乃至１５のいずれか一項に記載のユーザインタフェース。
【請求項１７】
前記ポインティングデバイスが向けられた方向における目標エリアの画像を生成するためのカメラを含む、請求項１３乃至１６のいずれか一項に記載のユーザインタフェースのためのポインティングデバイス。
【請求項１８】
前記ポインティングデバイスが向けられた目標エリアを照射するための光源を有する、請求項１７に記載のポインティングデバイス。
【請求項１９】
長軸に沿って延在するポインティングデバイスであって、前記ポインティングデバイスに配置されたカメラを含み、前記ポインティングデバイスが向けられた前記ポインティングデバイスの長軸に沿った方向における前記ポインティングデバイスの前方に、前記カメラが目標エリアの画像を生成するようにされたポインティングデバイス。
【請求項２０】
ポインティングデバイスから目標エリアの画像を受信するための受信器と、制御されるべき装置用のユーザ選択肢の可視表現に関連する予め定義されたテンプレートにアクセスするためのアクセスユニットと、選択された選択肢を決定するために、予め定義されたテンプレートにおける前記目標エリア又は前記目標エリアの点を位置決定するための画像インタプリタとを有する制御ユニット。
【請求項２１】
請求項２０に記載の制御ユニットを有する装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２００７−５１９９８９（Ｐ２００７−５１９９８９Ａ）
【公表日】平成１９年７月１９日（２００７．７．１９）
【国際特許分類】
【出願番号】特願２００６−５４４６５２（Ｐ２００６−５４４６５２）
【出願日】平成１６年１２月１０日（２００４．１２．１０）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５２７６１
【国際公開番号】ＷＯ２００５／０６２２７３
【国際公開日】平成１７年７月７日（２００５．７．７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年７月１９日（２００７．７．１９）
【国際特許分類】
【出願日】平成１６年１２月１０日（２００４．１２．１０）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５２７６１
【国際公開番号】ＷＯ２００５／０６２２７３
【国際公開日】平成１７年７月７日（２００５．７．７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]