オブジェクト発見方法及びシステム、装置制御方法及びシステム及びインターフェース、ポインティング装置
本発明は、制御されるべき装置（Ｄ１、Ｄ２、Ｄ３）と関連付けられたオブジェクト（Ｂ１、Ｂ１’、Ｂ２、Ｂ３）を発見する方法を提供する。方法は、カメラ（２）を有するポインティング装置（１）を対象領域（Ａ）に向ける段階、前記ポインティング装置（１）により向けられた対象領域（Ａ）の画像（３）を生成する段階、及び前記対象領域画像（３）を分析し前記オブジェクト（Ｂ１、Ｂ１’、Ｂ２、Ｂ３）の特性を決定する段階、を有する。画像（３）の分析に基づき、オブジェクト（Ｂ１、Ｂ１’、Ｂ２、Ｂ３）の特性に関するフィードバック信号（４）が生成され、そしてフィードバック信号（４）をポインティング装置（１）の少なくとも一部に生成される触覚表示で再生することによりユーザーへ報告される。本発明はまた、ポインティング装置（１）、装置制御インターフェース（８、８’）、並びに前記方法の適用に適する、ポインティング装置（１）及び装置制御インターフェース（８、８’）を有するシステムを記載する。更に、本発明は、このような装置（Ｄ１、Ｄ２、Ｄ３）と関連付けられたオブジェクト（Ｂ１、Ｂ１’、Ｂ２、Ｂ３）を発見する方法を用い、装置（Ｄ１、Ｄ２、Ｄ３）を制御する方法及びシステムを記載する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御されるべき装置に関連付けられたオブジェクトを検出する方法及びシステム、及びポインティング装置及び当該システムのためのインターフェースに関する。更に、本発明は、当該装置を制御する方法及びシステムに関する。
【背景技術】
【０００２】
レーザーポインター又は「指揮棒」のようなポインターの使用は、近年普及してきた。このようなポインターは、オブジェクトを指し示すため、標準的には聴衆に対する画面上の又は映写された項目を指し示すためにだけ用いられ得るので、基本的に受動装置である。しかしながら、これらポインターの使用は、このような状況に限定される。またこのようなポインターは、例えば装置を直接制御する又は装置と情報をやりとりするためには用いられ得ない。
【０００３】
コンシューマーエレクトロニクス機器のような装置の便利で快適な制御に限定すると、リモコンは、最近数十年間に定着してきた。リモコンは、通常、手に持ち、そして制御されるべき装置、例えばテレビジョン、ＤＶＤプレーヤー、チューナー等に向けられ、複数の選択肢の中から、標準的にはボタンを押下することにより選択するために用いられ、及び標準的には１つ又は大抵の場合は複数のこのような装置と共に使用されることに限定される。装置が利用可能な選択肢は、一般に予め定められ、特定の数に制限され、及びユーザーがリモコンの適切なボタンを押す前に利用可能な選択肢を検討できるよう、画面上に表示される。一般に、ユーザーは、装置を有効利用する場合、利用可能な選択肢及び対応するリモコンの関連するボタン又はボタンの組み合わせの検討に有意な時間を費やさなければならない。かなり頻繁に、ボタンの機能は、明らかでなくユーザーを混乱させ得る。装置と共に供給される取扱説明書又は利用者ガイドは、しばしば、特定の機能を設定する方法を明確に説明できない。結果として、ユーザーは、しばしば購入した装置を有効利用できない。また新しい環境における不慣れな装置のユーザーは、それら装置との相互作用の方法を全く理解できない。
【０００４】
リモコンの別の欠点は、特にディスプレイを備えていない装置と相互作用するために用いられる場合、ユーザーが、発行したコマンドが実際にリモコンが向けられた装置により受信されたか否かに関する如何なるフィードバックも受信しないことである。このような装置との相互作用には、有意な量の当て推量が含まれる。更に、標準的なリモコンは、ユーザーに、ユーザーが正しい方向にリモコンを向けているという如何なる確認も与え得ない。ユーザーは、発行しようと意図したコマンドが実施されなかった場合に、リモコンが正しく向けられていないことに気付くだけである。リモコンを正しく向けることはまた、事実上、当て推量を含む。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、より正確且つ直感的な、制御可能な装置との相互作用の方法を提供することである。
【課題を解決するための手段】
【０００６】
この目的のため、本発明は、制御されるべき装置と関連付けられたオブジェクトを検出する方法を提供する。方法は、カメラを有するポインティング装置を目標領域に向ける段階、前記ポインティング装置により向けられた目標領域の画像を生成する段階、及び前記目標領域の画像を分析し前記オブジェクトの特性を決定する段階、を有する。画像分析に基づき、オブジェクトの特性に関するフィードバック信号が生成され、そしてフィードバック信号をポインティング装置の少なくとも一部に生成される触覚表示で再生することによりユーザーへ伝達される。
【０００７】
制御されるべき装置と関連付けられた、検出されるべきオブジェクトは、コンシューマーエレクトロニクス機器、家庭電化製品、又は電灯スイッチ、拡声器等の如何なる種類の電気又は電子制御装置の場合、装置自体の筐体であり得る。同様に、オブジェクトは、現実又は仮想の、制御されるべき装置を表す如何なる他の項目であり得る。例えば、ユーザーは、ポインティング装置をランプ又はランプの画像に向けるのに対し、制御されるべき関連付けられた装置は、実際に当該ランプをオン又はオフに切り替える電灯スイッチである。オブジェクト及びオブジェクトが表す実際の装置の間の関係は、望ましくは複数の装置又は電化製品を制御可能な装置制御インターフェースを訓練する段階の前に、事前に定められて良い。オブジェクトはまた、画面上に示された又は例えば番組内に印字されたメニュー選択肢のような選択の選択肢であって良い。
【０００８】
目標領域画像の分析で決定されたオブジェクトの「特性」は、可能な限り広い意味で理解されるべきである。なぜなら、このような特性は、いくつかの例を挙げると、目標領域の画像内におけるオブジェクトの視認性又は視認性の欠如、オブジェクト及び参照点の間の距離、当該オブジェクトと関連付けられた装置の制御性であり得るからである。基本的に如何なる適切な記述子も、オブジェクトの「特性」であり得る。画像分析により識別された特性は、時間の経過と共に変化する。例えば、参照点と近くのオブジェクトの間の距離は、先ず識別又は計算されるべき特性の種類であって良い。次にユーザーがポインティング装置を移動させ、ポインティング装置をオブジェクトへ向けると、オブジェクト自体を識別する特性が推定されて良い。オブジェクトの識別が成功すると、特性の次の種類は、当該オブジェクトと関連付けられた装置と相互作用するためにユーザーが利用可能なコマンドのセットであって良い。以下に更に詳細に説明されるように、オブジェクトの現在の特性の種類を反映するため、フィードバック信号が生成され得る。
【０００９】
本発明による方法は、ポインティング装置の全く新しい用途を開く。特に、このようなポインティング装置の助けにより、ユーザーは、単にポインティング装置を何れかの方向に向けることにより、装置に関連付けられたオブジェクトを検出し得る。フィードバック信号は、ユーザーにより感知され得る触知可能な信号で再生され、オブジェクトを検出するためポインティング装置が向けられなければならない方向を、ユーザーに伝達して良い。ポインティング装置のこの機能は、ポインティング装置の従来のモダリティと共に結合され、本発明を、日常生活における無数の状況の強力且つ実用的なツールにする。
【００１０】
本発明によると、制御されるべき装置に関連付けられたオブジェクトを検出するシステムは、ポインティング装置が向けられた方向の目標領域の画像を生成するカメラを備えたポインティング装置、前記画像を分析し前記オブジェクトの特性を決定する画像分析ユニット、前記オブジェクトの特性に関するフィードバック信号を前記画像の分析に基づき生成するフィードバック信号生成ユニット、及び前記フィードバック信号を触知表示に再生する前記ポインティング装置の触知表示ユニット、を有する。
【００１１】
従って、本発明によるポインティング装置は、ポインティング装置が向けられた方向の目標領域の画像を生成するカメラ、及び目標領域の画像の画像分析に基づき生成されたフィードバック信号を、ポインティング装置の少なくとも一部で生成される触知表示に再生する触知表示ユニット、を有する。
【００１２】
本発明の好適な実施例では、方法は、制御されるべき装置と関連付けられたオブジェクトを検出するために用いられるだけでなく、当該装置を制御するためにも用いられ得る。本発明の実施例による装置を制御する方法は、従って、カメラを有するポインティング装置を前記装置と関連付けられたオブジェクトの少なくとも一部を包含する目標領域に向ける段階、前記目標領域の画像を生成する段階、前記目標領域の画像を分析する段階、前記装置を制御する制御信号を前記画像の分析に基づき生成する段階、前記制御信号を前記制御されるべき装置へ送信する段階、を有する。従って、制御信号は、ユーザー側で取られた如何なる関連動作に従い生成されても良い。
【００１３】
このような関連動作は、ポインティング装置を持って特定の身振りをする段階、又はポインティング装置を装置と関連付けられたオブジェクトに向けながら、ポインティング装置の制御入力を操作する段階を含んで良い。このような制御入力は、ユーザーが押下し、押し又はアクティブにできるボタン、つまみ、ダイヤル等であり得る。同様に、制御入力は、ユーザーにより施された接触を登録可能な、ポインティング装置上のタッチセンシティブ領域を有して良い。ポインティング装置の設計は、コマンド入力モダリティとしてキーバッド又は複数のキーを許容して良い。
【００１４】
「装置制御インターフェース」は、フィードバック信号を装置の制御性に関連する情報及びこれら装置と関連付けられたオブジェクトの位置に基づき提供するために用いられて良い。更に、このような装置制御インターフェースはまた、装置の制御に用いられ得る。
【００１５】
制御されるべき装置と関連付けられたオブジェクトを検出する方法の適用では、このような装置制御インターフェースは、画像を分析する少なくとも１つの画像分析ユニット、及び制御されるべき装置と関連付けられたオブジェクトの特性に対応するフィードバック信号を前記画像の分析に基づき生成するフィードバック信号生成ユニット、を有する。装置を制御する際の使用では、このような装置制御インターフェースはまた、適切な制御信号を生成する制御信号生成器、及び制御信号を制御されるべき装置へ通信する通信インターフェース、を有する。以下に説明されるように、このような装置制御インターフェースは、ポインティング装置に組み込まれるか、又は外部ユニットとして実現され適切な通信インターフェースを用いてポインティング装置と結合され得る。
【００１６】
本発明の特に好適な実施例では、画像分析ユニットは、画像処理結果に基づき、ユーザーがポインティング装置を向けている相対方向を決定可能なように構成又は実現されると同時に、ユーザーにより指された実際のオブジェクトを識別する。画像解析の結果は、従って、フィードバック信号の生成と同時に制御信号の生成のために適切に用いられ得る。代案として、別個の画像解析ユニットは、フィードバック信号の生成及び制御信号の生成の結果を提供するために用いられ得る。
【００１７】
更なる請求項及び以下の説明は、本発明の特に有利な実施例及び特徴を開示する。画像を生成するカメラは、望ましくは、ポインティング装置に組み込まれるが、同様にポインティング装置に取り付けられる。また、画像を生成するカメラは、望ましくはユーザーにより目標とされた、ポインティング装置の前の領域の画像を生成するよう方向付けられる。カメラは、基本的な方法で構成されて良く、又はズーム機能又は特定の種類のフィルターのような強力な機能を備えても良い。
【００１８】
従って、「目標領域」は、カメラにより画像として捉えられ得るポインティング装置の前の領域である。目標領域の画像又は目標領域画像は、環境の一部のみを含むか、又はオブジェクト又はオブジェクト全体を包含するか、又はオブジェクトに加え環境の一部も包含して良い。例えば、ユーザーがオブジェクトを検出しようとする場合、目標領域画像は、最初に環境だけを示して良い。次に、フィードバック信号が、所望のオブジェクトを検出する際にユーザーを支援し、及びユーザーが続いてポインティング装置をオブジェクトに向ける場合、目標領域画像は、オブジェクトの少なくとも一部を示し、おそらく環境の一部も示す。目標領域に包含される如何なるオブジェクトに関連する目標領域画像の大きさも、オブジェクトの大きさ、ポインティング装置とオブジェクトの間の距離、及びカメラ自体の機能に依存して良い。ユーザーは、例えばユーザーが部屋の他の端に立っている場合、ポインティング装置がオブジェクトから少し離れたところにあるよう位置付けられて良い。同様に、ユーザーは、ポインティング装置を、オブジェクトの非常に近くに保持し、より詳細な画像を得て良い。
【００１９】
環境内の目標領域の相対位置を決定するため、画像分析ユニットは、目標領域画像を複数のテンプレートと比較する。これらテンプレートは、当該環境の異なる領域を示して良い。例えばテンプレートは、ポインティング装置が用いられる標準的な部屋の４個の壁を含んで良い。テンプレートはまた、環境内の如何なる制御可能な装置と関連付けられた如何なるオブジェクトの位置を示して良い。標準の画像処理技術を用い、画像分析ユニットは、テンプレートの中から目標領域画像を検出し、そして次にオブジェクトに対する当該目標領域画像の位置を計算し得る。
【００２０】
上述のように、画像分析に基づき生成されたフィードバック信号は、制御されるべき装置のオブジェクトの現在の特性を反映する。ユーザーが、まだ現在の目標領域画像に包含されていない近くのオブジェクトを検出するためポインティング装置を用いている場合、フィードバック信号は、ユーザーへ、ユーザーがポインティング装置を移動させるべき方向の触知可能な又は触覚の表示を伝達する。画像分析がポインティング装置の接近しているオブジェクトの位置を計算するので、フィードバック信号は、適切に強度を増加又は減少することによりこの動きを反映し、結果として相応して強度を増加又は減少する触知可能な表示を生じる。増加する強度又は迅速なフィードバック信号は、ユーザーが目標、つまりオブジェクトに近付いていることをユーザーに示し得る。減少するフィードバック信号は、他方で、ユーザーが間違った方向へ移動しているという印象をユーザーへ伝達する。
【００２１】
更に、フィードバック信号の特定の「パターン」は、特定のオブジェクトと関連付けられて良い。例えば、フィードバック信号は、長い及び／又は短いバーストの事前に定められたパターンを有し、特定のオブジェクトと関連付けられて良い。従ってポインティング装置の目標領域がこのオブジェクトを横切った場合、ユーザーは、対応する触知可能な長い及び／又は短い振動の連続により、この事象を知らされる。
【００２２】
オブジェクトが目標領域内で（画像分析の観点から）視認されると、フィードバック信号は、肯定的な種類の信号、例えば短いバーストの連続へ変化して良い。そして、このような肯定的な種類の触覚表示を用い、ユーザーに、ユーザーが正しい方向及びユーザーが相互作用し得る装置と関連付けられたオブジェクトを指していることを知らせる。
【００２３】
ユーザーは、次に、ポインティング装置の制御入力を利用することにより、又はポインティング装置を所定の方法で移動させることにより、装置との相互作用に進んで良い。ユーザーが、装置制御インターフェースにより解釈し得ないポインティング装置との作用を実行すれば、これはまた、適切なフィードバック信号及び相応する触覚表示を用いユーザーへ伝達され、ユーザーが、例えばポインティング装置を不明瞭な方法で移動させたこと、又は制御されている装置に適さない作用を実行しようとしたことを知らせて良い。更に、オブジェクトが元々は目標領域へ向けられていたが、ユーザー側の油断の結果、逸れてしまい、従ってもはや目標領域内に視認されない場合、これはまた、短いフィードバック信号を用いユーザーへ報告されて良い。このように制御された振動を適用することにより、ポインティング装置は、正確にオブジェクトに向くようユーザーを支援し得る。
【００２４】
本発明の特に好適な実施例では、触覚表示は、フィードバック信号を、ポインティング装置の１つ以上の部分において、一般に「力学フィードバック」として参照される短いブザー又は振動に変換することにより再生されて良い。フィードバック信号は、ユーザーが手に感じる低レベルの、望ましくはユーザーにより不快として感知されない程低い電流に変換することにより、触覚表示に再生され得る。
【００２５】
ユーザーがポインティング装置を移動させるべき方向を示すため、ポインティング装置は、望ましくは、ポインティング装置の周囲に位置付けられた複数の触覚表示ユニットを備えられる。基本的にポインティング装置の反対の「側」にある２つの異なる触覚表示ユニットは、「左」及び「右」を示すために十分である。ポインティング装置の種々の部分に位置付けられた適切に多数の触覚表示ユニットは、多数の可能な方向を示すために用いられて良い。触覚表示ユニットは、ポインティング装置の表面とぴったり重なって位置するか、又は当該表面から突き出て良い。触覚表示ユニットは、固定された位置から逸脱することなく単に振動して良い。又は触覚表示ユニットは、ユーザーの手に対して加圧しそして元の位置へ戻るように移動させられて良い。
【００２６】
ユーザーがポインティング装置を向けているオブジェクトを簡単に決定するため、装置制御インターフェースの画像分析ユニットは、通常の画像処理技術又はコンピューター視覚アルゴリズムを適用することにより、望ましくは目標領域の画像を複数の所定のテンプレートと比較する。単一の所定のテンプレートが、比較するのに十分であって良い。又は画像データを１つ以上のテンプレートと比較する必要があっても良い。オブジェクトがテンプレート内で識別されると、関連する装置、及び装置の制御性のレベルは、結果として推定又は決定される。例えば、ユーザーがポインティング装置を拡声器のスピーカーボックスに向けている場合、スピーカーボックスの画像は、一致が発見されるまでテンプレートと比較される。従って、関連する装置である「拡声器」又はより具体的には拡声器を駆動する増幅器は、識別され、そして関連する特性である「音量」が推定される。
【００２７】
所定のテンプレートは、装置制御インターフェースの内部メモリーに格納され得るか、又は同様に外部情報源からアクセスされて良い。望ましくは、装置制御インターフェースは、適切なインターフェースを備えオブジェクトの所定のテンプレートを例えば内部又は外部メモリー、メモリースティック、イントラネット又はインターネットから取得するアクセスユニットを有する。このように、本発明に従いポインティング装置により制御され得る製品の製造者は、装置のユーザーが入手可能な、これら製品のためのテンプレートを作成し得る。テンプレートは、テレビジョン画面、調光スイッチ、換気装置等の画像のような、如何なる種類のオブジェクトのグラフィック表示であり得る。オブジェクトが、例えばテレビジョン画面のメニュー表示の選択肢である場合、テンプレートは、テレビジョンの複数のメニュー選択肢の位置を示して良い。従って、ユーザーがポインティング装置をテレビジョンに向けた時、目標領域の画像データを分析することにより、画像分析ユニットは、どの選択肢がユーザーにより指されているかを決定し得る。
【００２８】
望ましくは、装置制御インターフェースは、ポインティング装置内に直接組み込まれて良い。この場合、装置制御インターフェースは、画像をカメラから直接取得できるので、受信機を必要としない。画像分析、フィードバック信号の生成及び制御信号の生成は、ポインティング装置内で実行され、フィードバック信号と共に、画像分析に基づき生成され、触覚表示ユニットへ直接送出され、そして如何なる制御信号も適切な形式でポインティング装置から制御されるべき装置へ直接に送信される。
【００２９】
他方で、これらユニットの機能は、手に快適に保持されるポインティング装置の物理的大きさにより制限されて良い。従って、画像分析ユニットは、基本的な画像分析のみで十分であって良いが、より高度な画像処理は、より大きなユニットを必要とし、制御信号の生成及びフィードバック信号の生成と一緒に、外部装置制御インターフェース内で行われて良い。
【００３０】
本発明の特に好適な実施例では、ポインティング装置は、装置制御インターフェースと同様に、画像を外部装置制御インターフェース内へ送信する送出ユニット又は送信機、及びフィードバック信号を外部装置制御インターフェースから受信する受信ユニットを組み込む。代案として、ポインティング装置は、画像分析、フィードバック信号の生成及び制御信号の生成機能を全て省き、これらのタスクを外部装置制御インターフェースにより実行させ、よってポインティング装置をより小さくより小型な形式で実現させて良い。
【００３１】
上述の外部装置制御インターフェースは、スタンドアローン装置であって良く、又は既存の家庭用娯楽装置、パーソナルコンピューターに組み込まれて良く、又は専用の装置制御インターフェースとして実現されて良い。ポインティング装置から情報を受信するため、外部装置インターフェースは、画像を受信する受信ユニットを備える。ホテル、事務所又は家庭のような環境における装置制御インターフェースは、画像処理、フィードバック信号生成及び制御信号生成が主として実行されるよう、同時に建物の周りに分配された複数の受信ユニットが如何なる数のポインティング装置からもデータを受信できるように、実現される。同様に、複数のアプリケーションインターフェースもまた、建物の周りに分配され、制御信号を装置又は如何なる部屋に設置された製品へ送信し得る。従って、ユーザーは、ポインティング装置をある部屋のオブジェクトに向け、別の部屋に設置された装置を制御し得る。
【００３２】
更に、装置制御インターフェースは、単一の実体として実現される必要がない。装置制御インターフェースを有するユニット又はモジュールは、必要に応じて、別個の実体の数より多く分配され得る。明らかに、装置制御インターフェースは、単一のポインティング装置と共に使用することに限定されない。如何なる数のポインティング装置も、画像データを装置制御インターフェースへ送信するために用いられて良い。例えば、家族の各員は、家庭で用いるためこのようなポインティング装置を供給されて良く、又はホテルの客のそれぞれは、当該ホテル内の客が利用可能な装置を制御するためポインティング装置を供給されて良い。進歩的な実現では、ポインティング装置が、認証コードを画像データと共に送出し、従って例えばホテルにチェックインした客だけが当該ホテル内の装置を利用し得ることが予測される。認証コードは、ポインティング装置内のハードウェアに組み込まれて良く、又はユーザーによりある方法で、例えば制御入力を用いることにより、入力されて良い。
【００３３】
ポインティング装置及び装置制御インターフェースの実用性を最大化するために、ユーザーは、装置制御インターフェースを操作し、オブジェクトを認識し、そしてそれらオブジェクトを制御されるべき特定の装置と関連付けて良い。この目的のため、装置制御インターフェースは、キーボード又はキーパッドのようなユーザーインターフェースを備える。従ってユーザーはテンプレート画像又は装置制御パラメーターに関する情報を入力し得る。例えば、ホテルの管理者は、カメラ又はポインティング装置のカメラを用い、ホテルのある部屋の中のラジエーターの画像を撮り、そしてその画像を装置制御インターフェースの内部メモリーへ転送して良い。装置制御インターフェースへの適切な入力コマンドを用い、例えばコマンドをキーボード又はキーパッドを介して入力することにより、ホテルの管理者は、ラジエーターオブジェクトの画像を適切な装置、この場合は暖房システムに割り当て得る。このように、如何なるオブジェクトを如何なる装置に割り当てても良く、又は複数の異なるオブジェクトを１つの装置に割り当てても良い。例えば、ホテルの管理者は、ランプの画像を、当該ランプを制御するスイッチの画像と同様に、実際に制御されるべき装置である電灯スイッチに割り当てて良い。ホテルの客がポインティング装置をこれらオブジェクトの何れかに向け、同時に制御入力を操作し、又はポインティング装置を所定の方法で移動させた場合、これは、実際に電灯スイッチを制御させ得る。更に、オブジェクトの異なる部分が異なる特性と関連付けられている場合、作用の種類は、オブジェクトの特定の部分を指すことにより特定されて良い。例えば、ラジエーターの温度自動調節器を指すことは、単に当該ラジエーターの温度が調整されるべきであることを示して良い。またラジエーターの本体を指すことは、この部屋内の全てのラジエーターの温度が調整されるべきであることを示して良い。
【００３４】
目標領域の画像は、画像全体の重要な点にのみ関する画像データ、例えば強調された輪郭、角、端等を有して良く、又は写真品質を有する詳細な画像であって良い。ユーザーがポインティング装置を向けた領域又はオブジェクトを決定するための画像データの処理では、コンピューター視覚技術を適用しユーザーが向けるべき目標領域、つまり目標点をみつけることが、好都合である。
【００３５】
コンピューター視覚アルゴリズムを用い目標領域画像を処理する方法は、目標画像内の特殊な点を検出する段階、テンプレート内の相応する点を決定する段階、及び目標画像内の点をテンプレート内の相応する点にマッピングする変換を展開する段階、を有する。目標画像の特殊な点は、如何なる適切な特殊な点であって良い。この変換は、次に、参照点、例えば目標領域画像の中心とオブジェクトの相対距離を決定するために用いられる。このように、目標領域画像を予め定められたテンプレートと比較することは、特殊な角点のような顕著な点のみを識別し及び比較することに限定されて良い。本発明に適用された「比較する」の語は、広義に理解されるべきである。つまりユーザーが向けている領域又は範囲を迅速に識別するため、又は目標領域内で「視認」されるオブジェクトを識別するために十分な特徴を比較すると理解されるべきである。
【００３６】
ユーザーにより選択されたオブジェクトを決定する別の可能な方法は、目標点を中心とした周囲の受信した目標領域画像を、所定のテンプレートと直接比較し、パターンマッチングのような方法を用いオブジェクト内の目標とされた点を検出することである。 ポインティング装置の直感的使用では、光の集中ビーム源は、ポインティング装置内に又はその上に組み込まれて良い。従って、光点は、多かれ少なかれカメラにより捉えられた目標領域の中心に現れる。このような光の集中ビーム源は、現在入手可能な多くの種類のレーザーポインターで用いられるレーザー光源のようなレーザー光源であって良い。以下では、従って、光の集中ビーム源は、レーザー光源であると想定するが、いずれにしても本発明の範囲を制限しない。光点の位置は、目標領域の中心位置に固定され、及び画像分析ユニットへ目標領域画像の一部として送信され、ユーザーにより向けられた実際のオブジェクトを識別するための目標点として用いられて良い。
【００３７】
本発明は従って、全体で、制御されるべき装置と関連付けられたオブジェクトを検出する簡単で直感的な方法を提供する。使用を簡単にするため、ポインティング装置は、ユーザーにより快適に握られ得る長細い形式の指揮棒又はペンの形状であり得る。ユーザーは、従って、オブジェクトから離れた位置のまま、ポインティング装置をオブジェクトへ向け得る。同様に、ポインティング装置は、ピストル形の形状であって良い。更に、追加の光源は、ポインティング装置の中又はポインティング装置の上に取り付けられ、ポインティング装置が向けられている領域を照射して良い。従ってユーザーは、周囲が暗くても、ポインティング装置を用いオブジェクトを検出し得る。
【００３８】
ポインティング装置及び装置制御インターフェースは、結合し、特に如何なる種類の環境における使用でも、強力なオブジェクト検出及び装置制御システムを与える。例えば、システムは、ユーザーがポインティング装置を利用でき、不慣れな装置又は製品を便利な及び直感的方法で、装置が位置する場所を知ることなく、検出し制御できる場合、如何なる公共の環境、例えばホテル、空港、病院等で用いられて良いことが考えられる。
【００３９】
例えば、ホテルの客は、チェックイン時にポインティング装置を発行されて良い。ホテルの客は、ホテルの彼の部屋で、彼が当該ポインティング装置を用い設備及び製品を制御し得ることを知らされる。先ず、彼は、ポインティング装置を用い、彼の部屋の多目的大画面に表示された画像システムを通じて探査する。娯楽システム、伝言システム及び他の装置又は製品は、ポインティング装置を向け、ポインティング装置上の制御入力を押すことにより選択を指示するだけで簡単且つ直感的に制御される。彼がメニュー選択肢を指す時はいつでも、項目は画面上で強調表示されるだけでなく、彼は、ポインティング装置内に僅かな振動、又は力学フィードバックを感じる。彼がポインティング装置を離すと、振動は終わる。彼がポインティング装置を製品の制御フレームから外すと、小さいがしかしながら触知可能なインパルスが、彼は「境界を越えた」ことを示す。暫く後、彼は、彼がポインティング装置を部屋内の「実物の」オブジェクトにも利用できることを理解する。彼が電灯スイッチに近付くと、ポインティング装置からの触覚表示が、彼は「新しいオブジェクト」の近くにいることを彼に知らせる。彼がポインティング装置をスイッチに正確に向けると、振動が再開する。そして彼は、電灯スイッチがポインティング装置を用いてどのように制御され得るかを理解する。彼はボタンを押し、そして電灯が消える。彼の手の中でのポインティング装置からの僅かだが触知可能な力学フィードバックは、彼が暗闇でポインティング装置を電灯スイッチに正確に向けるのを助ける。彼は、電灯を再び点灯するために、再びボタンを押す。このように、ホテルの客は、部屋全体を探索し、部屋内の異なる装置を制御する全ての可能性を見付け得る。
【００４０】
本発明の目的及び特徴は、図と関連した以下の詳細な記載から明らかである。しかしながら、図は、単に説明のために考案されていることが理解されるべきである。またこれらの図は、本発明を制限すると見なされるべきではない。
【発明を実施するための最良の形態】
【００４１】
全ての図を通じ、同様の番号は同様の物を参照する。示されたポインティング装置１は、図に示されないユーザーにより保持され操作される。
【００４２】
図１は、複数の装置Ｄ１、Ｄ２、Ｄ３を制御するシステム１５を示す。システム１５は、ポインティング装置１及び外部装置制御インターフェース８を有する。
【００４３】
ポインティング装置１は、カメラ２を有する。カメラ２は、ポインティング方向Ｄのポインティング装置１の前の範囲の画像３を生成する。ポインティング装置１は、この実施例では、細長い形式を特色とする。従ってポインティング方向Ｄは、ポインティング装置１の長手方向軸に沿って位置する。カメラ２は、ポインティング装置１の前に向けて位置付けられる。従って、図に示されないユーザーが向けているポインティング装置１の前の範囲又は領域Ａの画像３が生成される。
【００４４】
ユーザーは、ポインティング装置１を基本的に如何なる方向にも向け得る。ポインティング装置１の目的は、どの装置Ｄ１、Ｄ２、Ｄ３がポインティング装置１を用いて制御され得るか、又は装置Ｄ１、Ｄ２、Ｄ３に関連付けられたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３がユーザーの現在の環境内の何処に位置しているかをユーザーが知らなくても、装置Ｄ１、Ｄ２、Ｄ３と相互作用を可能にすることなので、ポインティング装置１は、ユーザーに触覚フィードバックを供給し、ユーザーが、制御可能な装置と関連付けられた、近くの如何なるオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３も容易に発見するのを助ける。
【００４５】
図に示されるオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３は、如何なる家庭又はホテルの部屋でも見られるようなランプＢ１、当該ランプＢ１の調光スイッチＢ１’、ラジエーターＢ２及びテレビジョンＢ３である。オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３のそれぞれは、複数の装置Ｄ１、Ｄ２、Ｄ３の１つと関連付けられる。１つ以上のオブジェクトは、制御されるべき装置を表し得る。図１では、調光スイッチＤ１は、ランプの明るさを制御する実際の装置であり、オブジェクトＢ１’としての調光スイッチの筐体及びランプＢ１の両方により表される。結局、ユーザーが変更したいのはランプＢ１の明るさなので、ランプＢ１を直接指すことは、ユーザーにとって同様に直感的である。
【００４６】
ユーザーがオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を発見するのを助けるため、触覚表示ユニット１０、２０は、「ブザー」又は振動を生じさせ、オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３が近くに有ることを示すか、又はオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３が目標領域Ａに現れるためにユーザーがポインティング装置１を向けなければならない方向を示す。例えば、ユーザーがポインティング装置１を手に持ち、触覚表示器１０がポインティング装置１の左側側面に位置し、触覚表示器２０がポインティング装置１の右側側面に位置する場合、左の触覚表示器１０におけるブザー及び振動は、ユーザーがポインティング装置１を左へ向かって動かすべきであることを示す。ユーザーがポインティング装置１をより右へ向けるべき場合には、触覚表示器２０は、これを示すためブザーを鳴らすか又は振動する。ポインティング装置１は、如何なる数の触覚表示ユニットも設けられ得る。しかしながら、明瞭さのため図には２つだけが示される。
【００４７】
ユーザーがポインティング装置１を移動させる間、ポインティング装置１の前の目標領域Ａは、カメラ２で生成され、そして装置制御インターフェース８へ送信される。画像３は、受信ユニット１４で受信され、そして画像分析ユニット６へ転送される。ここで、画像３は、周囲の何れかのオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３に対する目標領域Ａの位置を決定するため、テンプレート又は周囲の画像と比較される。画像分析の結果は、フィードバック信号生成ユニット５へ転送される。フィードバック信号生成ユニット５では、適切なフィードバック信号が生成される。例えば、画像分析ユニット６が目標領域Ａ内に如何なるオブジェクトも視認されないと結論を出したが、オブジェクトが目標領域Ａの左に位置している場合、フィードバック信号が生成され、この情報をユーザーへ伝達する。
【００４８】
フィードバック信号４は、送出ユニット９によりポインティング装置１へ送出される。ポインティング装置１では、受信機１３によりフィードバック信号４が受信され、触覚表示器１０、２０へ渡される。触覚表示器１０、２０では、フィードバック信号４は、ブザー又は振動のような知覚可能な信号に再生される。フィードバック信号４は、特定の触覚表示器１０、２０専用の部分のみが、ユニット１０、２０により受信されるか、又は再生されるように、符号化されて良い。
【００４９】
異なる種類の触覚フィードバックが用いられ、異なる状況を示して良い。例えば、適切な触覚表示ユニットにおける一連の振動は、ポインティング装置がオブジェクトに対して誤った方向へ移動していることを示して良い。目標領域ＡがオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を横切った場合、異なる種類のフィードバック信号４が生成されて良い。他方で、目標領域Ａが、ポインティング装置１が向けられたオブジェクトから遠くに逸れる傾向にある場合、これは、特定の種類のフィードバック信号４、例えば短いブザーによりユーザーへ報告されて良い。
【００５０】
オブジェクトが発見されると、つまりオブジェクトが目標領域Ａ内に視認されると、ユーザーは、ポインティング装置１を用い、オブジェクトが関連付けられた装置を制御し得る。この目的のため、ポインティング装置１は、この図に示されない１つ以上のボタンのような制御入力を特色として良い。制御入力の機能は、オブジェクトと関連付けられた装置に依存して良い。例えば、制御入力は、拡声器の＋／−機能、又は音量増大又は減少を有して良い。又は制御入力は、自動窓用ブラインドを上昇又は下降させる上／下制御装置として動作して良い。ポインティング装置１により指されたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を識別するため、画像３は、複数のオブジェクトのテンプレートと比較される。これらのテンプレートは、必要に応じてデータベース２０又は外部情報源２１、２２からアクセスユニット２３を介し、読み出されて良い。
【００５１】
理想的には、アクセスユニット２３は、複数のインターフェースを有し、外部データへのアクセスを可能にする。例えばユーザーは、フロッピー（登録商標）ディスク、ＣＤ又はＤＶＤのようなメモリー媒体２２に格納された所定のテンプレートを供給されて良い。又はアクセスユニット２３は、適切なテンプレート情報を、インターネット２１のような外部ネットワークから又は装置の製造者から読み出して良い。テンプレートはまた、例えば、ユーザーが制御されるべき装置Ｄ１、Ｄ２、Ｄ３とオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３の間の相互関係を特定するトレーニングセッションで、ユーザーにより設定されて良い。テンプレートは、背景に重ね合わされたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を示して良い。又はテンプレートは、背景に対するオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３の位置に関する位置情報により拡大された背景の画像のみを有して良い。ラジエーターの場合、ラジエーターのテンプレートは、ラジエーターの周囲、例えば壁紙、窓、家具等と共に実際のラジエーターを示す画像であって良い。オブジェクトの更に簡単なテンプレートは、如何なる周囲環境も有さずオブジェクト自体を示すだけで良い。このようなテンプレートは、オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３が目標領域Ａにより包含される場合、オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を識別するのに適し得るので、一方で、オブジェクトの相対位置に関する位置情報で拡大された背景を含むテンプレートは、ユーザーをオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３の方向へ案内する際の使用に更に適する。
【００５２】
画像分析ユニット６は、知られている画像処理技術を用い、画像３に最も厳密に一致するテンプレートを見付ける。従って、画像分析ユニット６は、指された及び制御されるべき装置Ｄ１、Ｄ２、Ｄ３と関連付けられたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を識別する。この情報は、制御信号生成ユニット７へ転送される。制御信号生成ユニット７は、次に適切な制御信号１７を生成する。この制御信号１７は、次に通信インターフェース１１へ転送される。通信インターフェース１１は、複数のアプリケーション又はそれぞれ異なる種類の信号３０、３１、３２を要求する可能性のある装置Ｄ１、Ｄ２、Ｄ３を駆動し、実際の装置Ｄ１、Ｄ２、Ｄ３に適した信号３０、３１、３２を得るため、制御信号１７への如何なる必要な変換も実行し得る。この場合、制御信号１７は、調光器Ｄ１を駆動するために適した形式に変換される。
【００５３】
図に示された装置Ｄ１、Ｄ２、Ｄ３は、互いに近接して設置されて良く、又は複数の異なる部屋に亘って分配されて良い。装置制御インターフェース８のアプリケーションインターフェース１１は、適切なインターフェースを用い装置と通信可能である。従って暖房システムＤ２のような装置は、暖房システムＤ２自体が家の地下室に置かれている場合でさえ、例えば居間から制御され得る。このようなインターフェースは、バス又はローカル通信ネットワークのように配線されて良く、又は無線ＬＡＮネットワーク、Ｂｌｕｅｔｏｏｔｈ等のような無線接続であって良い。
【００５４】
ポインティング装置１は、絶えず画像３を装置制御インターフェース８へ送出して良く、又はポインティング装置１が特定の時間長の間、移動されなかった場合、自動的に送信を中止して良い。この目的のため、ポインティング装置１は、この図に示されない運動センサーを有して良い。ポインティング装置１は、図に示されないバッテリーにより電力を供給される可能性が最も高いので、ユーザーが実際にポインティング装置を移動させた場合のみ、データを装置制御インターフェースへ送信することは、バッテリーの寿命を長くするのに都合が良い。画像データ３の送信は、ユーザーがポインティング装置を取り上げると直ぐに開始されて良く、そしてユーザーがポインティング装置を休止位置に戻すと自動的に中止されて良い。
【００５５】
図２は、ポインティング装置１の別の実施例を示す。図２は、ポインティング装置１自体が、ポインティング装置１自体のローカル装置制御インターフェース８’内に、画像分析ユニット６’、フィードバック信号生成器５’、及び制御信号生成ユニット７’を有することを特色とする。このポインティング装置１は、当該ポインティング装置１のカメラ２により生成された画像データ３をローカルで分析し、触覚表示ユニット１０、２０のためのフィードバック信号４及び適切な装置Ｄ１、Ｄ２、Ｄ３のための制御信号１７を生成し得る。ローカル通信インターフェース１１’は、如何なる必要な変換を実行した後、制御信号１７を送信する。
【００５６】
この図では、ポインティング装置１は、オブジェクトＢ１、この場合、調光スイッチＢ１に向けられている。ポインティング装置１のこの実施例では、レーザー光源１６は、ポインティング装置１に組み込まれる。光点ＰＬは、レーザー光のビームＬが表面に突き当たった場所に現れるので、これは、ユーザーがポインティング装置１を向けている範囲を見るのを助け、又は触覚表示ユニット１０、２０から発行される触覚フィードバックにより、ユーザーがポインティング装置１を移動させる方向を追うのを助け得る。レーザー光源１６は、光点ＰＬが多かれ少なかれ目標領域Ａの中央に現れるよう構成されて良く、及びポインティング装置１自体に組み込まれて良い。
【００５７】
目標領域Ａの画像は、連続的に処理される。そして適切なフィードバック信号４は、ユーザーがポインティング装置１をオブジェクトに向けるのに成功するまで生成される。オブジェクトＢ１の全体が目標領域Ａ内に現れる必要はない。図に示されるように、オブジェクトＢ１の一部は、識別には十分である。画像３は、次に画像解析ユニット６’で解析され、ユーザーにより取られる動作を解明する。例えば、ユーザーは、ある方法で装置Ｄ１を制御するため制御入力１８を操作し得る。このような制御入力１８からの如何なる信号１９も、制御信号生成器７’内で、画像解析の結果と共に処理される。そして装置Ｄ１のための適切な制御信号１７は、続いて生成される。
【００５８】
制御信号７は、アプリケーションインターフェース１１’により調光器Ｄ１へ送信される前に、調光器Ｄ１により理解可能な形式への必要な変換を実行される。簡単な使用のため、アプリケーションインターフェース１１’は、無線方式で調光器Ｄ１と通信する。
【００５９】
図２に図示されるように、画像処理及びフィードバック／制御信号生成をローカルで実行可能にすることは、図１に示されたように別個の装置制御インターフェース８と通信するためにポインティング装置１が必ずしも必要でないことを意味する。画像分析の品質は、小さく実用的な形式で実現される可能性の高いポインティング装置１の物理的な大きさにより制限され得るので、この「スタンドアローン型」実施例は、画像分析の精度が特に重要でない状況、又はポインティング装置１が外部装置制御インターフェース８と通信不可能である状況に十分であり得る。フィードバック信号４は、フィードバック信号生成器５’内でローカルに生成され、そして触覚表示ユニット１０、２０へ直接転送される。
【００６０】
勿論、この実施例は、図１の単なる拡張であり得る。従ってポインティング装置１はまた、ローカル装置制御インターフェース８’に加え、図１に示された送出ユニット１２を利用し、スタンドアローン型機能に加え、送出ユニット１２を外部装置制御インターフェース８と連動して動作させる。
【００６１】
図３は、フィードバックの効果をより明確に示す。ここで、ユーザーは、ポインティング装置１を室内に向け、そして制御可能な装置Ｄ１、この場合電灯スイッチを発見したい。この例は簡単のために選ばれたが、ポインティング装置１は、所在があまり明らかに見えないオブジェクト又は装置を発見するために用いられ得ることが、理解されるだろう。
【００６２】
目標領域Ａの画像は、図に示されない外部装置制御インターフェースへ送出される。外部装置制御インターフェースの画像処理ユニットは、当該部屋の範囲を表すテンプレートを用い、ユーザーが現在ポインティング装置を装置Ｄ１と関連付けられたオブジェクトＢ１の右の範囲に向けていると、結論を出す。
【００６３】
外部装置制御インターフェースのフィードバック信号生成ユニットは、適切なフィードバック信号を生成する。フィードバック信号は、ポインティング装置１へ送信され、そして触覚表示器１０にブザー又は僅かな振動を生じ、ユーザーに、オブジェクトＢ１’を発見するためにユーザーがポインティング装置１をもっと左に移動させるべきであることを知らせる。ユーザーがポインティング装置１を方向ＭＰへ移動させると、目標領域Ａは、事実上、矢印ＭＡにより示された方向へ追従する。明らかに、ユーザーは、実際に横方向に移動する必要がない。ユーザーは、単に同一の位置に同様に居続け、単にポインティング装置１を持っている手の角度を調整するだけで良い。目標領域Ａは、しかしながら、依然として所望の方向ＭＡに追従している。
【００６４】
目標領域Ａの画像は、オブジェクトＢ１又はオブジェクトＢ１の一部が画像内で検出されるまで、画像分析ユニット内で連続的に分析される。この時、フィードバック信号は、変化し得る。従って、触覚表示器１０、２０の両方は、短くブザーを鳴らし、ユーザーにユーザーがポインティング装置１を右方向に向けていることを知らせる。そしてユーザーは、オブジェクトＢ１を発見するので、図１及び図２と関連して以上に詳細に説明されたように、ユーザーは当該オブジェクトＢ１に関連付けられた装置Ｄ１の制御へ進み得る。
【００６５】
ユーザーは、ポインティング装置１を常に直接に正面からオブジェクトに向けていない。つまり、ポインティング装置１は、多かれ少なかれオブジェクトへ斜めの角度で向けられる可能性が高い。なぜならユーザー自身の位置を変えるより、ポインティング装置１を横にずらす又は旋回させる方が、しばしばより便利であるからである。これは、図４に図示される。図４は、離れた位置から斜めの角度でオブジェクトＢ１’へ向けられたポインティング装置１により生成された目標領域画像３を図示する。従って、目標領域Ａ内のオブジェクトＢ１’、この場合電灯スイッチＢ１のスケール及び遠近感は、目標領域画像３内に歪んで現れる。
【００６６】
オブジェクトＢ１’に対するポインティング装置１の角度に拘わらず、目標領域画像３は、常に目標点ＰＴの周りに集中される。装置制御インターフェースの画像処理ユニットは、目標領域画像３を所定のテンプレートＴと比較し、ユーザーにより指されているオブジェクトＢ１’を決定する。
【００６７】
目標点ＰＴは、簡単のため、ポインティング装置１の長手方向軸と目標領域画像Ａとの交点に取られ、及び基本的に目標領域画像３の中心に位置し得る。目標点ＰＴに対応するテンプレートＴ内の点は、従って簡単に発見され得る。
【００６８】
端及び角検出方法を用いるコンピューター視覚アルゴリズムは、オブジェクトＢ１’のテンプレート内の点［（ｘａ，ｙａ），（ｘｂ，ｙｂ）］に対応する、点［（ｘａ’，ｙａ’），（ｘｂ’，ｙｂ’）］を目標領域画像３内で発見するために適用される。この例では、２つの点の対のみが示されるが、如何なる数の点の対も、必要に応じて目標領域画像３及びテンプレート内で識別され得る。
【００６９】
各点は、ベクトルとして表現され得る。例えば点（ｘａ，ｙａ）はｖａ（−）として表現され得る。次の段階として、変形関数Ｔλが展開され、目標領域画像３をテンプレートＴへ割り付ける。
【００７０】
【数１】
ここでベクトルＶｉ（−）は、テンプレートＴ内の座標対（ｘｉ，ｙｉ）を表す。またベクトルＶ’ｉ（−）は、目標領域画像３内の対応する座標対（ｘ’ｉ，ｙ’ｉ）を表す。パラメーターセットλは、最もコスト効率的な解を当該関数にもたらす画像の回転及び平行移動のためのパラメーターを有し、オブジェクトＢ１’に対するポインティング装置１の位置及び方向を決定するために適用され得る。コンピューター視覚アルゴリズムは、ポインティング装置１内のカメラ２が固定され及び指す身振りの方向を「見ている」という事実を利用する。次の段階は、ポインティング方向Ｄのポインティング装置１の長手方向軸と目標領域画像Ａとの交点、及び従って目標点ＰＴを計算することである。交点の座標が計算されると、テンプレートＴ内のこの点を発見することは簡単である。
【００７１】
本発明は、好適な実施例及びそれに関する変形の形式で開示されたが、多数の追加の変更及び変形が、本発明の範囲から逸脱することなく、これら好適な実施例及びそれに関する変形になされ得ることが理解されるだろう。ペン型の代案として、ポインティング装置は、例えば組み込み型カメラを備えた携帯電話であり得る。何故なら多くの携帯電話は、振動の形式でユーザーに触覚フィードバックを既に提供可能であるからである。別の代案は、組み込み型カメラを備えたパーソナルデジタルアシスタント（ＰＤＡ）であって良い。更に、触覚表示に加え、フィードバック信号は、よりユーザーの注意を引くため及び／又はフィードバック信号をより理解しやすい形式で表すため、音響信号の形式で再生されて良い。この目的のため、小さい拡声器は、ポインティング装置自体に組み込まれて良い。このようなフィードバックモードでは、フィードバックは聴覚的に表され、必要な場合に不活性にされ、及びユーザーが詳細なフィードバックを必要とする場合のみ、例えばポインティング装置の使用法を学習する場合に活性化されて良い。明瞭さのため、本願明細書を通じ単数表記は複数を排除しないこと、及び「有する」の語は他の段階又は要素を排除しないことが、理解されるべきである。「ユニット」は、特に単一の実体として記述されない限り、複数のブロック又は装置を有して良い。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施例による、ポインティング装置及び複数の装置を制御する装置制御インターフェースを有するシステムの概略図である。
【図２】ポインティング装置及び制御されるべき装置と関連付けられたオブジェクトの概略図であり、オブジェクトは、ポインティング装置により向けられた目標領域により包含される。
【図３】ポインティング装置及び制御されるべき装置と関連付けられたオブジェクトの概略図であり、オブジェクトは、ポインティング装置により向けられた目標領域により包含されない。
【図４】本発明の実施例による、オブジェクト、オブジェクトの関連付けられたテンプレート、及びポインティング装置により生成された目標画像を示す概略図である。
【技術分野】
【０００１】
本発明は、制御されるべき装置に関連付けられたオブジェクトを検出する方法及びシステム、及びポインティング装置及び当該システムのためのインターフェースに関する。更に、本発明は、当該装置を制御する方法及びシステムに関する。
【背景技術】
【０００２】
レーザーポインター又は「指揮棒」のようなポインターの使用は、近年普及してきた。このようなポインターは、オブジェクトを指し示すため、標準的には聴衆に対する画面上の又は映写された項目を指し示すためにだけ用いられ得るので、基本的に受動装置である。しかしながら、これらポインターの使用は、このような状況に限定される。またこのようなポインターは、例えば装置を直接制御する又は装置と情報をやりとりするためには用いられ得ない。
【０００３】
コンシューマーエレクトロニクス機器のような装置の便利で快適な制御に限定すると、リモコンは、最近数十年間に定着してきた。リモコンは、通常、手に持ち、そして制御されるべき装置、例えばテレビジョン、ＤＶＤプレーヤー、チューナー等に向けられ、複数の選択肢の中から、標準的にはボタンを押下することにより選択するために用いられ、及び標準的には１つ又は大抵の場合は複数のこのような装置と共に使用されることに限定される。装置が利用可能な選択肢は、一般に予め定められ、特定の数に制限され、及びユーザーがリモコンの適切なボタンを押す前に利用可能な選択肢を検討できるよう、画面上に表示される。一般に、ユーザーは、装置を有効利用する場合、利用可能な選択肢及び対応するリモコンの関連するボタン又はボタンの組み合わせの検討に有意な時間を費やさなければならない。かなり頻繁に、ボタンの機能は、明らかでなくユーザーを混乱させ得る。装置と共に供給される取扱説明書又は利用者ガイドは、しばしば、特定の機能を設定する方法を明確に説明できない。結果として、ユーザーは、しばしば購入した装置を有効利用できない。また新しい環境における不慣れな装置のユーザーは、それら装置との相互作用の方法を全く理解できない。
【０００４】
リモコンの別の欠点は、特にディスプレイを備えていない装置と相互作用するために用いられる場合、ユーザーが、発行したコマンドが実際にリモコンが向けられた装置により受信されたか否かに関する如何なるフィードバックも受信しないことである。このような装置との相互作用には、有意な量の当て推量が含まれる。更に、標準的なリモコンは、ユーザーに、ユーザーが正しい方向にリモコンを向けているという如何なる確認も与え得ない。ユーザーは、発行しようと意図したコマンドが実施されなかった場合に、リモコンが正しく向けられていないことに気付くだけである。リモコンを正しく向けることはまた、事実上、当て推量を含む。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、より正確且つ直感的な、制御可能な装置との相互作用の方法を提供することである。
【課題を解決するための手段】
【０００６】
この目的のため、本発明は、制御されるべき装置と関連付けられたオブジェクトを検出する方法を提供する。方法は、カメラを有するポインティング装置を目標領域に向ける段階、前記ポインティング装置により向けられた目標領域の画像を生成する段階、及び前記目標領域の画像を分析し前記オブジェクトの特性を決定する段階、を有する。画像分析に基づき、オブジェクトの特性に関するフィードバック信号が生成され、そしてフィードバック信号をポインティング装置の少なくとも一部に生成される触覚表示で再生することによりユーザーへ伝達される。
【０００７】
制御されるべき装置と関連付けられた、検出されるべきオブジェクトは、コンシューマーエレクトロニクス機器、家庭電化製品、又は電灯スイッチ、拡声器等の如何なる種類の電気又は電子制御装置の場合、装置自体の筐体であり得る。同様に、オブジェクトは、現実又は仮想の、制御されるべき装置を表す如何なる他の項目であり得る。例えば、ユーザーは、ポインティング装置をランプ又はランプの画像に向けるのに対し、制御されるべき関連付けられた装置は、実際に当該ランプをオン又はオフに切り替える電灯スイッチである。オブジェクト及びオブジェクトが表す実際の装置の間の関係は、望ましくは複数の装置又は電化製品を制御可能な装置制御インターフェースを訓練する段階の前に、事前に定められて良い。オブジェクトはまた、画面上に示された又は例えば番組内に印字されたメニュー選択肢のような選択の選択肢であって良い。
【０００８】
目標領域画像の分析で決定されたオブジェクトの「特性」は、可能な限り広い意味で理解されるべきである。なぜなら、このような特性は、いくつかの例を挙げると、目標領域の画像内におけるオブジェクトの視認性又は視認性の欠如、オブジェクト及び参照点の間の距離、当該オブジェクトと関連付けられた装置の制御性であり得るからである。基本的に如何なる適切な記述子も、オブジェクトの「特性」であり得る。画像分析により識別された特性は、時間の経過と共に変化する。例えば、参照点と近くのオブジェクトの間の距離は、先ず識別又は計算されるべき特性の種類であって良い。次にユーザーがポインティング装置を移動させ、ポインティング装置をオブジェクトへ向けると、オブジェクト自体を識別する特性が推定されて良い。オブジェクトの識別が成功すると、特性の次の種類は、当該オブジェクトと関連付けられた装置と相互作用するためにユーザーが利用可能なコマンドのセットであって良い。以下に更に詳細に説明されるように、オブジェクトの現在の特性の種類を反映するため、フィードバック信号が生成され得る。
【０００９】
本発明による方法は、ポインティング装置の全く新しい用途を開く。特に、このようなポインティング装置の助けにより、ユーザーは、単にポインティング装置を何れかの方向に向けることにより、装置に関連付けられたオブジェクトを検出し得る。フィードバック信号は、ユーザーにより感知され得る触知可能な信号で再生され、オブジェクトを検出するためポインティング装置が向けられなければならない方向を、ユーザーに伝達して良い。ポインティング装置のこの機能は、ポインティング装置の従来のモダリティと共に結合され、本発明を、日常生活における無数の状況の強力且つ実用的なツールにする。
【００１０】
本発明によると、制御されるべき装置に関連付けられたオブジェクトを検出するシステムは、ポインティング装置が向けられた方向の目標領域の画像を生成するカメラを備えたポインティング装置、前記画像を分析し前記オブジェクトの特性を決定する画像分析ユニット、前記オブジェクトの特性に関するフィードバック信号を前記画像の分析に基づき生成するフィードバック信号生成ユニット、及び前記フィードバック信号を触知表示に再生する前記ポインティング装置の触知表示ユニット、を有する。
【００１１】
従って、本発明によるポインティング装置は、ポインティング装置が向けられた方向の目標領域の画像を生成するカメラ、及び目標領域の画像の画像分析に基づき生成されたフィードバック信号を、ポインティング装置の少なくとも一部で生成される触知表示に再生する触知表示ユニット、を有する。
【００１２】
本発明の好適な実施例では、方法は、制御されるべき装置と関連付けられたオブジェクトを検出するために用いられるだけでなく、当該装置を制御するためにも用いられ得る。本発明の実施例による装置を制御する方法は、従って、カメラを有するポインティング装置を前記装置と関連付けられたオブジェクトの少なくとも一部を包含する目標領域に向ける段階、前記目標領域の画像を生成する段階、前記目標領域の画像を分析する段階、前記装置を制御する制御信号を前記画像の分析に基づき生成する段階、前記制御信号を前記制御されるべき装置へ送信する段階、を有する。従って、制御信号は、ユーザー側で取られた如何なる関連動作に従い生成されても良い。
【００１３】
このような関連動作は、ポインティング装置を持って特定の身振りをする段階、又はポインティング装置を装置と関連付けられたオブジェクトに向けながら、ポインティング装置の制御入力を操作する段階を含んで良い。このような制御入力は、ユーザーが押下し、押し又はアクティブにできるボタン、つまみ、ダイヤル等であり得る。同様に、制御入力は、ユーザーにより施された接触を登録可能な、ポインティング装置上のタッチセンシティブ領域を有して良い。ポインティング装置の設計は、コマンド入力モダリティとしてキーバッド又は複数のキーを許容して良い。
【００１４】
「装置制御インターフェース」は、フィードバック信号を装置の制御性に関連する情報及びこれら装置と関連付けられたオブジェクトの位置に基づき提供するために用いられて良い。更に、このような装置制御インターフェースはまた、装置の制御に用いられ得る。
【００１５】
制御されるべき装置と関連付けられたオブジェクトを検出する方法の適用では、このような装置制御インターフェースは、画像を分析する少なくとも１つの画像分析ユニット、及び制御されるべき装置と関連付けられたオブジェクトの特性に対応するフィードバック信号を前記画像の分析に基づき生成するフィードバック信号生成ユニット、を有する。装置を制御する際の使用では、このような装置制御インターフェースはまた、適切な制御信号を生成する制御信号生成器、及び制御信号を制御されるべき装置へ通信する通信インターフェース、を有する。以下に説明されるように、このような装置制御インターフェースは、ポインティング装置に組み込まれるか、又は外部ユニットとして実現され適切な通信インターフェースを用いてポインティング装置と結合され得る。
【００１６】
本発明の特に好適な実施例では、画像分析ユニットは、画像処理結果に基づき、ユーザーがポインティング装置を向けている相対方向を決定可能なように構成又は実現されると同時に、ユーザーにより指された実際のオブジェクトを識別する。画像解析の結果は、従って、フィードバック信号の生成と同時に制御信号の生成のために適切に用いられ得る。代案として、別個の画像解析ユニットは、フィードバック信号の生成及び制御信号の生成の結果を提供するために用いられ得る。
【００１７】
更なる請求項及び以下の説明は、本発明の特に有利な実施例及び特徴を開示する。画像を生成するカメラは、望ましくは、ポインティング装置に組み込まれるが、同様にポインティング装置に取り付けられる。また、画像を生成するカメラは、望ましくはユーザーにより目標とされた、ポインティング装置の前の領域の画像を生成するよう方向付けられる。カメラは、基本的な方法で構成されて良く、又はズーム機能又は特定の種類のフィルターのような強力な機能を備えても良い。
【００１８】
従って、「目標領域」は、カメラにより画像として捉えられ得るポインティング装置の前の領域である。目標領域の画像又は目標領域画像は、環境の一部のみを含むか、又はオブジェクト又はオブジェクト全体を包含するか、又はオブジェクトに加え環境の一部も包含して良い。例えば、ユーザーがオブジェクトを検出しようとする場合、目標領域画像は、最初に環境だけを示して良い。次に、フィードバック信号が、所望のオブジェクトを検出する際にユーザーを支援し、及びユーザーが続いてポインティング装置をオブジェクトに向ける場合、目標領域画像は、オブジェクトの少なくとも一部を示し、おそらく環境の一部も示す。目標領域に包含される如何なるオブジェクトに関連する目標領域画像の大きさも、オブジェクトの大きさ、ポインティング装置とオブジェクトの間の距離、及びカメラ自体の機能に依存して良い。ユーザーは、例えばユーザーが部屋の他の端に立っている場合、ポインティング装置がオブジェクトから少し離れたところにあるよう位置付けられて良い。同様に、ユーザーは、ポインティング装置を、オブジェクトの非常に近くに保持し、より詳細な画像を得て良い。
【００１９】
環境内の目標領域の相対位置を決定するため、画像分析ユニットは、目標領域画像を複数のテンプレートと比較する。これらテンプレートは、当該環境の異なる領域を示して良い。例えばテンプレートは、ポインティング装置が用いられる標準的な部屋の４個の壁を含んで良い。テンプレートはまた、環境内の如何なる制御可能な装置と関連付けられた如何なるオブジェクトの位置を示して良い。標準の画像処理技術を用い、画像分析ユニットは、テンプレートの中から目標領域画像を検出し、そして次にオブジェクトに対する当該目標領域画像の位置を計算し得る。
【００２０】
上述のように、画像分析に基づき生成されたフィードバック信号は、制御されるべき装置のオブジェクトの現在の特性を反映する。ユーザーが、まだ現在の目標領域画像に包含されていない近くのオブジェクトを検出するためポインティング装置を用いている場合、フィードバック信号は、ユーザーへ、ユーザーがポインティング装置を移動させるべき方向の触知可能な又は触覚の表示を伝達する。画像分析がポインティング装置の接近しているオブジェクトの位置を計算するので、フィードバック信号は、適切に強度を増加又は減少することによりこの動きを反映し、結果として相応して強度を増加又は減少する触知可能な表示を生じる。増加する強度又は迅速なフィードバック信号は、ユーザーが目標、つまりオブジェクトに近付いていることをユーザーに示し得る。減少するフィードバック信号は、他方で、ユーザーが間違った方向へ移動しているという印象をユーザーへ伝達する。
【００２１】
更に、フィードバック信号の特定の「パターン」は、特定のオブジェクトと関連付けられて良い。例えば、フィードバック信号は、長い及び／又は短いバーストの事前に定められたパターンを有し、特定のオブジェクトと関連付けられて良い。従ってポインティング装置の目標領域がこのオブジェクトを横切った場合、ユーザーは、対応する触知可能な長い及び／又は短い振動の連続により、この事象を知らされる。
【００２２】
オブジェクトが目標領域内で（画像分析の観点から）視認されると、フィードバック信号は、肯定的な種類の信号、例えば短いバーストの連続へ変化して良い。そして、このような肯定的な種類の触覚表示を用い、ユーザーに、ユーザーが正しい方向及びユーザーが相互作用し得る装置と関連付けられたオブジェクトを指していることを知らせる。
【００２３】
ユーザーは、次に、ポインティング装置の制御入力を利用することにより、又はポインティング装置を所定の方法で移動させることにより、装置との相互作用に進んで良い。ユーザーが、装置制御インターフェースにより解釈し得ないポインティング装置との作用を実行すれば、これはまた、適切なフィードバック信号及び相応する触覚表示を用いユーザーへ伝達され、ユーザーが、例えばポインティング装置を不明瞭な方法で移動させたこと、又は制御されている装置に適さない作用を実行しようとしたことを知らせて良い。更に、オブジェクトが元々は目標領域へ向けられていたが、ユーザー側の油断の結果、逸れてしまい、従ってもはや目標領域内に視認されない場合、これはまた、短いフィードバック信号を用いユーザーへ報告されて良い。このように制御された振動を適用することにより、ポインティング装置は、正確にオブジェクトに向くようユーザーを支援し得る。
【００２４】
本発明の特に好適な実施例では、触覚表示は、フィードバック信号を、ポインティング装置の１つ以上の部分において、一般に「力学フィードバック」として参照される短いブザー又は振動に変換することにより再生されて良い。フィードバック信号は、ユーザーが手に感じる低レベルの、望ましくはユーザーにより不快として感知されない程低い電流に変換することにより、触覚表示に再生され得る。
【００２５】
ユーザーがポインティング装置を移動させるべき方向を示すため、ポインティング装置は、望ましくは、ポインティング装置の周囲に位置付けられた複数の触覚表示ユニットを備えられる。基本的にポインティング装置の反対の「側」にある２つの異なる触覚表示ユニットは、「左」及び「右」を示すために十分である。ポインティング装置の種々の部分に位置付けられた適切に多数の触覚表示ユニットは、多数の可能な方向を示すために用いられて良い。触覚表示ユニットは、ポインティング装置の表面とぴったり重なって位置するか、又は当該表面から突き出て良い。触覚表示ユニットは、固定された位置から逸脱することなく単に振動して良い。又は触覚表示ユニットは、ユーザーの手に対して加圧しそして元の位置へ戻るように移動させられて良い。
【００２６】
ユーザーがポインティング装置を向けているオブジェクトを簡単に決定するため、装置制御インターフェースの画像分析ユニットは、通常の画像処理技術又はコンピューター視覚アルゴリズムを適用することにより、望ましくは目標領域の画像を複数の所定のテンプレートと比較する。単一の所定のテンプレートが、比較するのに十分であって良い。又は画像データを１つ以上のテンプレートと比較する必要があっても良い。オブジェクトがテンプレート内で識別されると、関連する装置、及び装置の制御性のレベルは、結果として推定又は決定される。例えば、ユーザーがポインティング装置を拡声器のスピーカーボックスに向けている場合、スピーカーボックスの画像は、一致が発見されるまでテンプレートと比較される。従って、関連する装置である「拡声器」又はより具体的には拡声器を駆動する増幅器は、識別され、そして関連する特性である「音量」が推定される。
【００２７】
所定のテンプレートは、装置制御インターフェースの内部メモリーに格納され得るか、又は同様に外部情報源からアクセスされて良い。望ましくは、装置制御インターフェースは、適切なインターフェースを備えオブジェクトの所定のテンプレートを例えば内部又は外部メモリー、メモリースティック、イントラネット又はインターネットから取得するアクセスユニットを有する。このように、本発明に従いポインティング装置により制御され得る製品の製造者は、装置のユーザーが入手可能な、これら製品のためのテンプレートを作成し得る。テンプレートは、テレビジョン画面、調光スイッチ、換気装置等の画像のような、如何なる種類のオブジェクトのグラフィック表示であり得る。オブジェクトが、例えばテレビジョン画面のメニュー表示の選択肢である場合、テンプレートは、テレビジョンの複数のメニュー選択肢の位置を示して良い。従って、ユーザーがポインティング装置をテレビジョンに向けた時、目標領域の画像データを分析することにより、画像分析ユニットは、どの選択肢がユーザーにより指されているかを決定し得る。
【００２８】
望ましくは、装置制御インターフェースは、ポインティング装置内に直接組み込まれて良い。この場合、装置制御インターフェースは、画像をカメラから直接取得できるので、受信機を必要としない。画像分析、フィードバック信号の生成及び制御信号の生成は、ポインティング装置内で実行され、フィードバック信号と共に、画像分析に基づき生成され、触覚表示ユニットへ直接送出され、そして如何なる制御信号も適切な形式でポインティング装置から制御されるべき装置へ直接に送信される。
【００２９】
他方で、これらユニットの機能は、手に快適に保持されるポインティング装置の物理的大きさにより制限されて良い。従って、画像分析ユニットは、基本的な画像分析のみで十分であって良いが、より高度な画像処理は、より大きなユニットを必要とし、制御信号の生成及びフィードバック信号の生成と一緒に、外部装置制御インターフェース内で行われて良い。
【００３０】
本発明の特に好適な実施例では、ポインティング装置は、装置制御インターフェースと同様に、画像を外部装置制御インターフェース内へ送信する送出ユニット又は送信機、及びフィードバック信号を外部装置制御インターフェースから受信する受信ユニットを組み込む。代案として、ポインティング装置は、画像分析、フィードバック信号の生成及び制御信号の生成機能を全て省き、これらのタスクを外部装置制御インターフェースにより実行させ、よってポインティング装置をより小さくより小型な形式で実現させて良い。
【００３１】
上述の外部装置制御インターフェースは、スタンドアローン装置であって良く、又は既存の家庭用娯楽装置、パーソナルコンピューターに組み込まれて良く、又は専用の装置制御インターフェースとして実現されて良い。ポインティング装置から情報を受信するため、外部装置インターフェースは、画像を受信する受信ユニットを備える。ホテル、事務所又は家庭のような環境における装置制御インターフェースは、画像処理、フィードバック信号生成及び制御信号生成が主として実行されるよう、同時に建物の周りに分配された複数の受信ユニットが如何なる数のポインティング装置からもデータを受信できるように、実現される。同様に、複数のアプリケーションインターフェースもまた、建物の周りに分配され、制御信号を装置又は如何なる部屋に設置された製品へ送信し得る。従って、ユーザーは、ポインティング装置をある部屋のオブジェクトに向け、別の部屋に設置された装置を制御し得る。
【００３２】
更に、装置制御インターフェースは、単一の実体として実現される必要がない。装置制御インターフェースを有するユニット又はモジュールは、必要に応じて、別個の実体の数より多く分配され得る。明らかに、装置制御インターフェースは、単一のポインティング装置と共に使用することに限定されない。如何なる数のポインティング装置も、画像データを装置制御インターフェースへ送信するために用いられて良い。例えば、家族の各員は、家庭で用いるためこのようなポインティング装置を供給されて良く、又はホテルの客のそれぞれは、当該ホテル内の客が利用可能な装置を制御するためポインティング装置を供給されて良い。進歩的な実現では、ポインティング装置が、認証コードを画像データと共に送出し、従って例えばホテルにチェックインした客だけが当該ホテル内の装置を利用し得ることが予測される。認証コードは、ポインティング装置内のハードウェアに組み込まれて良く、又はユーザーによりある方法で、例えば制御入力を用いることにより、入力されて良い。
【００３３】
ポインティング装置及び装置制御インターフェースの実用性を最大化するために、ユーザーは、装置制御インターフェースを操作し、オブジェクトを認識し、そしてそれらオブジェクトを制御されるべき特定の装置と関連付けて良い。この目的のため、装置制御インターフェースは、キーボード又はキーパッドのようなユーザーインターフェースを備える。従ってユーザーはテンプレート画像又は装置制御パラメーターに関する情報を入力し得る。例えば、ホテルの管理者は、カメラ又はポインティング装置のカメラを用い、ホテルのある部屋の中のラジエーターの画像を撮り、そしてその画像を装置制御インターフェースの内部メモリーへ転送して良い。装置制御インターフェースへの適切な入力コマンドを用い、例えばコマンドをキーボード又はキーパッドを介して入力することにより、ホテルの管理者は、ラジエーターオブジェクトの画像を適切な装置、この場合は暖房システムに割り当て得る。このように、如何なるオブジェクトを如何なる装置に割り当てても良く、又は複数の異なるオブジェクトを１つの装置に割り当てても良い。例えば、ホテルの管理者は、ランプの画像を、当該ランプを制御するスイッチの画像と同様に、実際に制御されるべき装置である電灯スイッチに割り当てて良い。ホテルの客がポインティング装置をこれらオブジェクトの何れかに向け、同時に制御入力を操作し、又はポインティング装置を所定の方法で移動させた場合、これは、実際に電灯スイッチを制御させ得る。更に、オブジェクトの異なる部分が異なる特性と関連付けられている場合、作用の種類は、オブジェクトの特定の部分を指すことにより特定されて良い。例えば、ラジエーターの温度自動調節器を指すことは、単に当該ラジエーターの温度が調整されるべきであることを示して良い。またラジエーターの本体を指すことは、この部屋内の全てのラジエーターの温度が調整されるべきであることを示して良い。
【００３４】
目標領域の画像は、画像全体の重要な点にのみ関する画像データ、例えば強調された輪郭、角、端等を有して良く、又は写真品質を有する詳細な画像であって良い。ユーザーがポインティング装置を向けた領域又はオブジェクトを決定するための画像データの処理では、コンピューター視覚技術を適用しユーザーが向けるべき目標領域、つまり目標点をみつけることが、好都合である。
【００３５】
コンピューター視覚アルゴリズムを用い目標領域画像を処理する方法は、目標画像内の特殊な点を検出する段階、テンプレート内の相応する点を決定する段階、及び目標画像内の点をテンプレート内の相応する点にマッピングする変換を展開する段階、を有する。目標画像の特殊な点は、如何なる適切な特殊な点であって良い。この変換は、次に、参照点、例えば目標領域画像の中心とオブジェクトの相対距離を決定するために用いられる。このように、目標領域画像を予め定められたテンプレートと比較することは、特殊な角点のような顕著な点のみを識別し及び比較することに限定されて良い。本発明に適用された「比較する」の語は、広義に理解されるべきである。つまりユーザーが向けている領域又は範囲を迅速に識別するため、又は目標領域内で「視認」されるオブジェクトを識別するために十分な特徴を比較すると理解されるべきである。
【００３６】
ユーザーにより選択されたオブジェクトを決定する別の可能な方法は、目標点を中心とした周囲の受信した目標領域画像を、所定のテンプレートと直接比較し、パターンマッチングのような方法を用いオブジェクト内の目標とされた点を検出することである。 ポインティング装置の直感的使用では、光の集中ビーム源は、ポインティング装置内に又はその上に組み込まれて良い。従って、光点は、多かれ少なかれカメラにより捉えられた目標領域の中心に現れる。このような光の集中ビーム源は、現在入手可能な多くの種類のレーザーポインターで用いられるレーザー光源のようなレーザー光源であって良い。以下では、従って、光の集中ビーム源は、レーザー光源であると想定するが、いずれにしても本発明の範囲を制限しない。光点の位置は、目標領域の中心位置に固定され、及び画像分析ユニットへ目標領域画像の一部として送信され、ユーザーにより向けられた実際のオブジェクトを識別するための目標点として用いられて良い。
【００３７】
本発明は従って、全体で、制御されるべき装置と関連付けられたオブジェクトを検出する簡単で直感的な方法を提供する。使用を簡単にするため、ポインティング装置は、ユーザーにより快適に握られ得る長細い形式の指揮棒又はペンの形状であり得る。ユーザーは、従って、オブジェクトから離れた位置のまま、ポインティング装置をオブジェクトへ向け得る。同様に、ポインティング装置は、ピストル形の形状であって良い。更に、追加の光源は、ポインティング装置の中又はポインティング装置の上に取り付けられ、ポインティング装置が向けられている領域を照射して良い。従ってユーザーは、周囲が暗くても、ポインティング装置を用いオブジェクトを検出し得る。
【００３８】
ポインティング装置及び装置制御インターフェースは、結合し、特に如何なる種類の環境における使用でも、強力なオブジェクト検出及び装置制御システムを与える。例えば、システムは、ユーザーがポインティング装置を利用でき、不慣れな装置又は製品を便利な及び直感的方法で、装置が位置する場所を知ることなく、検出し制御できる場合、如何なる公共の環境、例えばホテル、空港、病院等で用いられて良いことが考えられる。
【００３９】
例えば、ホテルの客は、チェックイン時にポインティング装置を発行されて良い。ホテルの客は、ホテルの彼の部屋で、彼が当該ポインティング装置を用い設備及び製品を制御し得ることを知らされる。先ず、彼は、ポインティング装置を用い、彼の部屋の多目的大画面に表示された画像システムを通じて探査する。娯楽システム、伝言システム及び他の装置又は製品は、ポインティング装置を向け、ポインティング装置上の制御入力を押すことにより選択を指示するだけで簡単且つ直感的に制御される。彼がメニュー選択肢を指す時はいつでも、項目は画面上で強調表示されるだけでなく、彼は、ポインティング装置内に僅かな振動、又は力学フィードバックを感じる。彼がポインティング装置を離すと、振動は終わる。彼がポインティング装置を製品の制御フレームから外すと、小さいがしかしながら触知可能なインパルスが、彼は「境界を越えた」ことを示す。暫く後、彼は、彼がポインティング装置を部屋内の「実物の」オブジェクトにも利用できることを理解する。彼が電灯スイッチに近付くと、ポインティング装置からの触覚表示が、彼は「新しいオブジェクト」の近くにいることを彼に知らせる。彼がポインティング装置をスイッチに正確に向けると、振動が再開する。そして彼は、電灯スイッチがポインティング装置を用いてどのように制御され得るかを理解する。彼はボタンを押し、そして電灯が消える。彼の手の中でのポインティング装置からの僅かだが触知可能な力学フィードバックは、彼が暗闇でポインティング装置を電灯スイッチに正確に向けるのを助ける。彼は、電灯を再び点灯するために、再びボタンを押す。このように、ホテルの客は、部屋全体を探索し、部屋内の異なる装置を制御する全ての可能性を見付け得る。
【００４０】
本発明の目的及び特徴は、図と関連した以下の詳細な記載から明らかである。しかしながら、図は、単に説明のために考案されていることが理解されるべきである。またこれらの図は、本発明を制限すると見なされるべきではない。
【発明を実施するための最良の形態】
【００４１】
全ての図を通じ、同様の番号は同様の物を参照する。示されたポインティング装置１は、図に示されないユーザーにより保持され操作される。
【００４２】
図１は、複数の装置Ｄ１、Ｄ２、Ｄ３を制御するシステム１５を示す。システム１５は、ポインティング装置１及び外部装置制御インターフェース８を有する。
【００４３】
ポインティング装置１は、カメラ２を有する。カメラ２は、ポインティング方向Ｄのポインティング装置１の前の範囲の画像３を生成する。ポインティング装置１は、この実施例では、細長い形式を特色とする。従ってポインティング方向Ｄは、ポインティング装置１の長手方向軸に沿って位置する。カメラ２は、ポインティング装置１の前に向けて位置付けられる。従って、図に示されないユーザーが向けているポインティング装置１の前の範囲又は領域Ａの画像３が生成される。
【００４４】
ユーザーは、ポインティング装置１を基本的に如何なる方向にも向け得る。ポインティング装置１の目的は、どの装置Ｄ１、Ｄ２、Ｄ３がポインティング装置１を用いて制御され得るか、又は装置Ｄ１、Ｄ２、Ｄ３に関連付けられたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３がユーザーの現在の環境内の何処に位置しているかをユーザーが知らなくても、装置Ｄ１、Ｄ２、Ｄ３と相互作用を可能にすることなので、ポインティング装置１は、ユーザーに触覚フィードバックを供給し、ユーザーが、制御可能な装置と関連付けられた、近くの如何なるオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３も容易に発見するのを助ける。
【００４５】
図に示されるオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３は、如何なる家庭又はホテルの部屋でも見られるようなランプＢ１、当該ランプＢ１の調光スイッチＢ１’、ラジエーターＢ２及びテレビジョンＢ３である。オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３のそれぞれは、複数の装置Ｄ１、Ｄ２、Ｄ３の１つと関連付けられる。１つ以上のオブジェクトは、制御されるべき装置を表し得る。図１では、調光スイッチＤ１は、ランプの明るさを制御する実際の装置であり、オブジェクトＢ１’としての調光スイッチの筐体及びランプＢ１の両方により表される。結局、ユーザーが変更したいのはランプＢ１の明るさなので、ランプＢ１を直接指すことは、ユーザーにとって同様に直感的である。
【００４６】
ユーザーがオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を発見するのを助けるため、触覚表示ユニット１０、２０は、「ブザー」又は振動を生じさせ、オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３が近くに有ることを示すか、又はオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３が目標領域Ａに現れるためにユーザーがポインティング装置１を向けなければならない方向を示す。例えば、ユーザーがポインティング装置１を手に持ち、触覚表示器１０がポインティング装置１の左側側面に位置し、触覚表示器２０がポインティング装置１の右側側面に位置する場合、左の触覚表示器１０におけるブザー及び振動は、ユーザーがポインティング装置１を左へ向かって動かすべきであることを示す。ユーザーがポインティング装置１をより右へ向けるべき場合には、触覚表示器２０は、これを示すためブザーを鳴らすか又は振動する。ポインティング装置１は、如何なる数の触覚表示ユニットも設けられ得る。しかしながら、明瞭さのため図には２つだけが示される。
【００４７】
ユーザーがポインティング装置１を移動させる間、ポインティング装置１の前の目標領域Ａは、カメラ２で生成され、そして装置制御インターフェース８へ送信される。画像３は、受信ユニット１４で受信され、そして画像分析ユニット６へ転送される。ここで、画像３は、周囲の何れかのオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３に対する目標領域Ａの位置を決定するため、テンプレート又は周囲の画像と比較される。画像分析の結果は、フィードバック信号生成ユニット５へ転送される。フィードバック信号生成ユニット５では、適切なフィードバック信号が生成される。例えば、画像分析ユニット６が目標領域Ａ内に如何なるオブジェクトも視認されないと結論を出したが、オブジェクトが目標領域Ａの左に位置している場合、フィードバック信号が生成され、この情報をユーザーへ伝達する。
【００４８】
フィードバック信号４は、送出ユニット９によりポインティング装置１へ送出される。ポインティング装置１では、受信機１３によりフィードバック信号４が受信され、触覚表示器１０、２０へ渡される。触覚表示器１０、２０では、フィードバック信号４は、ブザー又は振動のような知覚可能な信号に再生される。フィードバック信号４は、特定の触覚表示器１０、２０専用の部分のみが、ユニット１０、２０により受信されるか、又は再生されるように、符号化されて良い。
【００４９】
異なる種類の触覚フィードバックが用いられ、異なる状況を示して良い。例えば、適切な触覚表示ユニットにおける一連の振動は、ポインティング装置がオブジェクトに対して誤った方向へ移動していることを示して良い。目標領域ＡがオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を横切った場合、異なる種類のフィードバック信号４が生成されて良い。他方で、目標領域Ａが、ポインティング装置１が向けられたオブジェクトから遠くに逸れる傾向にある場合、これは、特定の種類のフィードバック信号４、例えば短いブザーによりユーザーへ報告されて良い。
【００５０】
オブジェクトが発見されると、つまりオブジェクトが目標領域Ａ内に視認されると、ユーザーは、ポインティング装置１を用い、オブジェクトが関連付けられた装置を制御し得る。この目的のため、ポインティング装置１は、この図に示されない１つ以上のボタンのような制御入力を特色として良い。制御入力の機能は、オブジェクトと関連付けられた装置に依存して良い。例えば、制御入力は、拡声器の＋／−機能、又は音量増大又は減少を有して良い。又は制御入力は、自動窓用ブラインドを上昇又は下降させる上／下制御装置として動作して良い。ポインティング装置１により指されたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を識別するため、画像３は、複数のオブジェクトのテンプレートと比較される。これらのテンプレートは、必要に応じてデータベース２０又は外部情報源２１、２２からアクセスユニット２３を介し、読み出されて良い。
【００５１】
理想的には、アクセスユニット２３は、複数のインターフェースを有し、外部データへのアクセスを可能にする。例えばユーザーは、フロッピー（登録商標）ディスク、ＣＤ又はＤＶＤのようなメモリー媒体２２に格納された所定のテンプレートを供給されて良い。又はアクセスユニット２３は、適切なテンプレート情報を、インターネット２１のような外部ネットワークから又は装置の製造者から読み出して良い。テンプレートはまた、例えば、ユーザーが制御されるべき装置Ｄ１、Ｄ２、Ｄ３とオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３の間の相互関係を特定するトレーニングセッションで、ユーザーにより設定されて良い。テンプレートは、背景に重ね合わされたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を示して良い。又はテンプレートは、背景に対するオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３の位置に関する位置情報により拡大された背景の画像のみを有して良い。ラジエーターの場合、ラジエーターのテンプレートは、ラジエーターの周囲、例えば壁紙、窓、家具等と共に実際のラジエーターを示す画像であって良い。オブジェクトの更に簡単なテンプレートは、如何なる周囲環境も有さずオブジェクト自体を示すだけで良い。このようなテンプレートは、オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３が目標領域Ａにより包含される場合、オブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を識別するのに適し得るので、一方で、オブジェクトの相対位置に関する位置情報で拡大された背景を含むテンプレートは、ユーザーをオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３の方向へ案内する際の使用に更に適する。
【００５２】
画像分析ユニット６は、知られている画像処理技術を用い、画像３に最も厳密に一致するテンプレートを見付ける。従って、画像分析ユニット６は、指された及び制御されるべき装置Ｄ１、Ｄ２、Ｄ３と関連付けられたオブジェクトＢ１、Ｂ１’、Ｂ２、Ｂ３を識別する。この情報は、制御信号生成ユニット７へ転送される。制御信号生成ユニット７は、次に適切な制御信号１７を生成する。この制御信号１７は、次に通信インターフェース１１へ転送される。通信インターフェース１１は、複数のアプリケーション又はそれぞれ異なる種類の信号３０、３１、３２を要求する可能性のある装置Ｄ１、Ｄ２、Ｄ３を駆動し、実際の装置Ｄ１、Ｄ２、Ｄ３に適した信号３０、３１、３２を得るため、制御信号１７への如何なる必要な変換も実行し得る。この場合、制御信号１７は、調光器Ｄ１を駆動するために適した形式に変換される。
【００５３】
図に示された装置Ｄ１、Ｄ２、Ｄ３は、互いに近接して設置されて良く、又は複数の異なる部屋に亘って分配されて良い。装置制御インターフェース８のアプリケーションインターフェース１１は、適切なインターフェースを用い装置と通信可能である。従って暖房システムＤ２のような装置は、暖房システムＤ２自体が家の地下室に置かれている場合でさえ、例えば居間から制御され得る。このようなインターフェースは、バス又はローカル通信ネットワークのように配線されて良く、又は無線ＬＡＮネットワーク、Ｂｌｕｅｔｏｏｔｈ等のような無線接続であって良い。
【００５４】
ポインティング装置１は、絶えず画像３を装置制御インターフェース８へ送出して良く、又はポインティング装置１が特定の時間長の間、移動されなかった場合、自動的に送信を中止して良い。この目的のため、ポインティング装置１は、この図に示されない運動センサーを有して良い。ポインティング装置１は、図に示されないバッテリーにより電力を供給される可能性が最も高いので、ユーザーが実際にポインティング装置を移動させた場合のみ、データを装置制御インターフェースへ送信することは、バッテリーの寿命を長くするのに都合が良い。画像データ３の送信は、ユーザーがポインティング装置を取り上げると直ぐに開始されて良く、そしてユーザーがポインティング装置を休止位置に戻すと自動的に中止されて良い。
【００５５】
図２は、ポインティング装置１の別の実施例を示す。図２は、ポインティング装置１自体が、ポインティング装置１自体のローカル装置制御インターフェース８’内に、画像分析ユニット６’、フィードバック信号生成器５’、及び制御信号生成ユニット７’を有することを特色とする。このポインティング装置１は、当該ポインティング装置１のカメラ２により生成された画像データ３をローカルで分析し、触覚表示ユニット１０、２０のためのフィードバック信号４及び適切な装置Ｄ１、Ｄ２、Ｄ３のための制御信号１７を生成し得る。ローカル通信インターフェース１１’は、如何なる必要な変換を実行した後、制御信号１７を送信する。
【００５６】
この図では、ポインティング装置１は、オブジェクトＢ１、この場合、調光スイッチＢ１に向けられている。ポインティング装置１のこの実施例では、レーザー光源１６は、ポインティング装置１に組み込まれる。光点ＰＬは、レーザー光のビームＬが表面に突き当たった場所に現れるので、これは、ユーザーがポインティング装置１を向けている範囲を見るのを助け、又は触覚表示ユニット１０、２０から発行される触覚フィードバックにより、ユーザーがポインティング装置１を移動させる方向を追うのを助け得る。レーザー光源１６は、光点ＰＬが多かれ少なかれ目標領域Ａの中央に現れるよう構成されて良く、及びポインティング装置１自体に組み込まれて良い。
【００５７】
目標領域Ａの画像は、連続的に処理される。そして適切なフィードバック信号４は、ユーザーがポインティング装置１をオブジェクトに向けるのに成功するまで生成される。オブジェクトＢ１の全体が目標領域Ａ内に現れる必要はない。図に示されるように、オブジェクトＢ１の一部は、識別には十分である。画像３は、次に画像解析ユニット６’で解析され、ユーザーにより取られる動作を解明する。例えば、ユーザーは、ある方法で装置Ｄ１を制御するため制御入力１８を操作し得る。このような制御入力１８からの如何なる信号１９も、制御信号生成器７’内で、画像解析の結果と共に処理される。そして装置Ｄ１のための適切な制御信号１７は、続いて生成される。
【００５８】
制御信号７は、アプリケーションインターフェース１１’により調光器Ｄ１へ送信される前に、調光器Ｄ１により理解可能な形式への必要な変換を実行される。簡単な使用のため、アプリケーションインターフェース１１’は、無線方式で調光器Ｄ１と通信する。
【００５９】
図２に図示されるように、画像処理及びフィードバック／制御信号生成をローカルで実行可能にすることは、図１に示されたように別個の装置制御インターフェース８と通信するためにポインティング装置１が必ずしも必要でないことを意味する。画像分析の品質は、小さく実用的な形式で実現される可能性の高いポインティング装置１の物理的な大きさにより制限され得るので、この「スタンドアローン型」実施例は、画像分析の精度が特に重要でない状況、又はポインティング装置１が外部装置制御インターフェース８と通信不可能である状況に十分であり得る。フィードバック信号４は、フィードバック信号生成器５’内でローカルに生成され、そして触覚表示ユニット１０、２０へ直接転送される。
【００６０】
勿論、この実施例は、図１の単なる拡張であり得る。従ってポインティング装置１はまた、ローカル装置制御インターフェース８’に加え、図１に示された送出ユニット１２を利用し、スタンドアローン型機能に加え、送出ユニット１２を外部装置制御インターフェース８と連動して動作させる。
【００６１】
図３は、フィードバックの効果をより明確に示す。ここで、ユーザーは、ポインティング装置１を室内に向け、そして制御可能な装置Ｄ１、この場合電灯スイッチを発見したい。この例は簡単のために選ばれたが、ポインティング装置１は、所在があまり明らかに見えないオブジェクト又は装置を発見するために用いられ得ることが、理解されるだろう。
【００６２】
目標領域Ａの画像は、図に示されない外部装置制御インターフェースへ送出される。外部装置制御インターフェースの画像処理ユニットは、当該部屋の範囲を表すテンプレートを用い、ユーザーが現在ポインティング装置を装置Ｄ１と関連付けられたオブジェクトＢ１の右の範囲に向けていると、結論を出す。
【００６３】
外部装置制御インターフェースのフィードバック信号生成ユニットは、適切なフィードバック信号を生成する。フィードバック信号は、ポインティング装置１へ送信され、そして触覚表示器１０にブザー又は僅かな振動を生じ、ユーザーに、オブジェクトＢ１’を発見するためにユーザーがポインティング装置１をもっと左に移動させるべきであることを知らせる。ユーザーがポインティング装置１を方向ＭＰへ移動させると、目標領域Ａは、事実上、矢印ＭＡにより示された方向へ追従する。明らかに、ユーザーは、実際に横方向に移動する必要がない。ユーザーは、単に同一の位置に同様に居続け、単にポインティング装置１を持っている手の角度を調整するだけで良い。目標領域Ａは、しかしながら、依然として所望の方向ＭＡに追従している。
【００６４】
目標領域Ａの画像は、オブジェクトＢ１又はオブジェクトＢ１の一部が画像内で検出されるまで、画像分析ユニット内で連続的に分析される。この時、フィードバック信号は、変化し得る。従って、触覚表示器１０、２０の両方は、短くブザーを鳴らし、ユーザーにユーザーがポインティング装置１を右方向に向けていることを知らせる。そしてユーザーは、オブジェクトＢ１を発見するので、図１及び図２と関連して以上に詳細に説明されたように、ユーザーは当該オブジェクトＢ１に関連付けられた装置Ｄ１の制御へ進み得る。
【００６５】
ユーザーは、ポインティング装置１を常に直接に正面からオブジェクトに向けていない。つまり、ポインティング装置１は、多かれ少なかれオブジェクトへ斜めの角度で向けられる可能性が高い。なぜならユーザー自身の位置を変えるより、ポインティング装置１を横にずらす又は旋回させる方が、しばしばより便利であるからである。これは、図４に図示される。図４は、離れた位置から斜めの角度でオブジェクトＢ１’へ向けられたポインティング装置１により生成された目標領域画像３を図示する。従って、目標領域Ａ内のオブジェクトＢ１’、この場合電灯スイッチＢ１のスケール及び遠近感は、目標領域画像３内に歪んで現れる。
【００６６】
オブジェクトＢ１’に対するポインティング装置１の角度に拘わらず、目標領域画像３は、常に目標点ＰＴの周りに集中される。装置制御インターフェースの画像処理ユニットは、目標領域画像３を所定のテンプレートＴと比較し、ユーザーにより指されているオブジェクトＢ１’を決定する。
【００６７】
目標点ＰＴは、簡単のため、ポインティング装置１の長手方向軸と目標領域画像Ａとの交点に取られ、及び基本的に目標領域画像３の中心に位置し得る。目標点ＰＴに対応するテンプレートＴ内の点は、従って簡単に発見され得る。
【００６８】
端及び角検出方法を用いるコンピューター視覚アルゴリズムは、オブジェクトＢ１’のテンプレート内の点［（ｘａ，ｙａ），（ｘｂ，ｙｂ）］に対応する、点［（ｘａ’，ｙａ’），（ｘｂ’，ｙｂ’）］を目標領域画像３内で発見するために適用される。この例では、２つの点の対のみが示されるが、如何なる数の点の対も、必要に応じて目標領域画像３及びテンプレート内で識別され得る。
【００６９】
各点は、ベクトルとして表現され得る。例えば点（ｘａ，ｙａ）はｖａ（−）として表現され得る。次の段階として、変形関数Ｔλが展開され、目標領域画像３をテンプレートＴへ割り付ける。
【００７０】
【数１】
ここでベクトルＶｉ（−）は、テンプレートＴ内の座標対（ｘｉ，ｙｉ）を表す。またベクトルＶ’ｉ（−）は、目標領域画像３内の対応する座標対（ｘ’ｉ，ｙ’ｉ）を表す。パラメーターセットλは、最もコスト効率的な解を当該関数にもたらす画像の回転及び平行移動のためのパラメーターを有し、オブジェクトＢ１’に対するポインティング装置１の位置及び方向を決定するために適用され得る。コンピューター視覚アルゴリズムは、ポインティング装置１内のカメラ２が固定され及び指す身振りの方向を「見ている」という事実を利用する。次の段階は、ポインティング方向Ｄのポインティング装置１の長手方向軸と目標領域画像Ａとの交点、及び従って目標点ＰＴを計算することである。交点の座標が計算されると、テンプレートＴ内のこの点を発見することは簡単である。
【００７１】
本発明は、好適な実施例及びそれに関する変形の形式で開示されたが、多数の追加の変更及び変形が、本発明の範囲から逸脱することなく、これら好適な実施例及びそれに関する変形になされ得ることが理解されるだろう。ペン型の代案として、ポインティング装置は、例えば組み込み型カメラを備えた携帯電話であり得る。何故なら多くの携帯電話は、振動の形式でユーザーに触覚フィードバックを既に提供可能であるからである。別の代案は、組み込み型カメラを備えたパーソナルデジタルアシスタント（ＰＤＡ）であって良い。更に、触覚表示に加え、フィードバック信号は、よりユーザーの注意を引くため及び／又はフィードバック信号をより理解しやすい形式で表すため、音響信号の形式で再生されて良い。この目的のため、小さい拡声器は、ポインティング装置自体に組み込まれて良い。このようなフィードバックモードでは、フィードバックは聴覚的に表され、必要な場合に不活性にされ、及びユーザーが詳細なフィードバックを必要とする場合のみ、例えばポインティング装置の使用法を学習する場合に活性化されて良い。明瞭さのため、本願明細書を通じ単数表記は複数を排除しないこと、及び「有する」の語は他の段階又は要素を排除しないことが、理解されるべきである。「ユニット」は、特に単一の実体として記述されない限り、複数のブロック又は装置を有して良い。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施例による、ポインティング装置及び複数の装置を制御する装置制御インターフェースを有するシステムの概略図である。
【図２】ポインティング装置及び制御されるべき装置と関連付けられたオブジェクトの概略図であり、オブジェクトは、ポインティング装置により向けられた目標領域により包含される。
【図３】ポインティング装置及び制御されるべき装置と関連付けられたオブジェクトの概略図であり、オブジェクトは、ポインティング装置により向けられた目標領域により包含されない。
【図４】本発明の実施例による、オブジェクト、オブジェクトの関連付けられたテンプレート、及びポインティング装置により生成された目標画像を示す概略図である。
【特許請求の範囲】
【請求項１】
方法であって、制御されるべき装置と関連付けられたオブジェクトを発見し、前記装置は：
−カメラを有するポインティング装置を目標領域に向ける段階；
−前記ポインティング装置により向けられた前記目標領域の画像を生成する段階；
−前記目標領域画像を分析し、前記オブジェクトの特性を決定する段階；
−前記画像の分析に基づき、前記オブジェクトの特性に関するフィードバック信号を生成する段階；及び
−前記フィードバック信号を前記ポインティング装置の少なくとも一部で生成される触覚表示に再生することにより、前記フィードバック信号をユーザーへ報告する段階、
を有する、オブジェクト発見方法。
【請求項２】
前記触覚表示は、前記ポインティング装置のユーザーに、指されているオブジェクトが前記ポインティング装置と相互作用可能か否かを示す、請求項１記載の方法。
【請求項３】
前記触覚表示は、前記ポインティング装置のユーザーに、前記ポインティング装置の前記目標領域が装置と関連付けられたオブジェクトの端を横切った時を示す、請求項１又は２記載の方法。
【請求項４】
前記触覚表示は、前記ユーザーに、オブジェクトが発見される、前記ポインティング装置の現在の目標領域に対する方向、及び／又は前記ポインティング装置の現在の目標領域がオブジェクトに近いことを示す、請求項２又は３記載の方法。
【請求項５】
前記触覚表示は、前記ポインティング装置の一部に振動を生じさせることにより生成される、前記請求項の何れか１項記載の方法。
【請求項６】
方法であって、装置を制御し、それにより前記装置と関連付けられたオブジェクトは、先ず前記請求項の何れか１項記載の方法を用いて発見され、及びそれにより、
−前記カメラを有する前記ポインティング装置は、前記オブジェクトの少なくとも一部を包含する目標領域に向けられ；
−前記目標領域の画像が生成され；
−前記目標領域画像は分析され、そして前記装置を制御する制御信号が、前記画像の分析に基づき生成され；
−前記制御信号は、前記制御されるべき装置へ送信される、
装置制御方法。
【請求項７】
システムであって、制御されるべき装置と関連付けられたオブジェクトを発見し、前記システムは、
−ポインティング装置が向けられた方向の目標領域の画像を生成するカメラを有するポインティング装置；
−前記画像を分析し前記オブジェクトの特性を決定する画像分析ユニット；
−前記オブジェクトの特性に関するフィードバック信号を前記画像の分析に基づき生成するフィードバック信号生成ユニット；
−前記ポインティング装置のユーザーのために前記フィードバック信号を触知表示に再生する前記ポインティング装置の触知表示ユニット、
を有する、オブジェクト発見システム。
【請求項８】
システムであって、装置を制御し、請求項７記載の、前記装置と関連付けられたオブジェクトを発見するシステム、及び
−前記オブジェクトの少なくとも一部を包含する目標領域の画像の分析に基づき、前記制御されるべき装置のための制御信号を生成する制御信号生成ユニット；及び
−前記制御信号を前記制御されるべき装置へ通信する通信インターフェース、
を有する、装置制御システム。
【請求項９】
ポインティング装置であって、
−前記ポインティング装置が向けられた方向の対象領域の画像を生成するカメラ；及び
−前記対象領域の画像の画像分析に基づき生成されたフィードバック信号を、前記ポインティング装置の少なくとも一部で生成される触知表示に再生する触知表示ユニット、
を有するポインティング装置。
【請求項１０】
−画像を装置制御インターフェースへ送出する送出ユニット；
−装置制御インターフェースからフィードバック信号を受信する受信ユニット、
を有する請求項９記載のポインティング装置。
【請求項１１】
装置制御インターフェースを有し、前記装置制御インターフェースは、
−前記ポインティング装置のカメラにより生成された目標領域画像を分析し、制御されるべき装置と関連付けられたオブジェクトの特性を決定する画像分析ユニット；及び
−前記画像の分析に基づき、前記オブジェクトの特性に関するフィードバック信号を生成するフィードバック信号生成ユニット、
を有する、請求項９又は１０記載のポインティング装置。
【請求項１２】
装置制御インターフェースであって、
−ポインティング装置から画像を受信する受信ユニット；
−前記画像を分析する画像分析ユニット；
−前記画像の分析に基づき、制御されるべき装置と関連付けられたオブジェクトの特性に対応するフィードバック信号を生成するフィードバック信号生成ユニット；
−前記フィードバック信号を前記ポインティング装置へ送出する送出ユニット、
を有する装置制御インターフェース。
【請求項１３】
−前記オブジェクトの少なくとも一部を包含する目標領域の画像の分析に基づき、前記制御されるべき装置のための制御信号を生成する制御信号生成ユニット；及び
−前記制御信号を前記制御されるべき装置へ通信する通信インターフェース、
を有する請求項１２記載の装置制御インターフェース。
【請求項１】
方法であって、制御されるべき装置と関連付けられたオブジェクトを発見し、前記装置は：
−カメラを有するポインティング装置を目標領域に向ける段階；
−前記ポインティング装置により向けられた前記目標領域の画像を生成する段階；
−前記目標領域画像を分析し、前記オブジェクトの特性を決定する段階；
−前記画像の分析に基づき、前記オブジェクトの特性に関するフィードバック信号を生成する段階；及び
−前記フィードバック信号を前記ポインティング装置の少なくとも一部で生成される触覚表示に再生することにより、前記フィードバック信号をユーザーへ報告する段階、
を有する、オブジェクト発見方法。
【請求項２】
前記触覚表示は、前記ポインティング装置のユーザーに、指されているオブジェクトが前記ポインティング装置と相互作用可能か否かを示す、請求項１記載の方法。
【請求項３】
前記触覚表示は、前記ポインティング装置のユーザーに、前記ポインティング装置の前記目標領域が装置と関連付けられたオブジェクトの端を横切った時を示す、請求項１又は２記載の方法。
【請求項４】
前記触覚表示は、前記ユーザーに、オブジェクトが発見される、前記ポインティング装置の現在の目標領域に対する方向、及び／又は前記ポインティング装置の現在の目標領域がオブジェクトに近いことを示す、請求項２又は３記載の方法。
【請求項５】
前記触覚表示は、前記ポインティング装置の一部に振動を生じさせることにより生成される、前記請求項の何れか１項記載の方法。
【請求項６】
方法であって、装置を制御し、それにより前記装置と関連付けられたオブジェクトは、先ず前記請求項の何れか１項記載の方法を用いて発見され、及びそれにより、
−前記カメラを有する前記ポインティング装置は、前記オブジェクトの少なくとも一部を包含する目標領域に向けられ；
−前記目標領域の画像が生成され；
−前記目標領域画像は分析され、そして前記装置を制御する制御信号が、前記画像の分析に基づき生成され；
−前記制御信号は、前記制御されるべき装置へ送信される、
装置制御方法。
【請求項７】
システムであって、制御されるべき装置と関連付けられたオブジェクトを発見し、前記システムは、
−ポインティング装置が向けられた方向の目標領域の画像を生成するカメラを有するポインティング装置；
−前記画像を分析し前記オブジェクトの特性を決定する画像分析ユニット；
−前記オブジェクトの特性に関するフィードバック信号を前記画像の分析に基づき生成するフィードバック信号生成ユニット；
−前記ポインティング装置のユーザーのために前記フィードバック信号を触知表示に再生する前記ポインティング装置の触知表示ユニット、
を有する、オブジェクト発見システム。
【請求項８】
システムであって、装置を制御し、請求項７記載の、前記装置と関連付けられたオブジェクトを発見するシステム、及び
−前記オブジェクトの少なくとも一部を包含する目標領域の画像の分析に基づき、前記制御されるべき装置のための制御信号を生成する制御信号生成ユニット；及び
−前記制御信号を前記制御されるべき装置へ通信する通信インターフェース、
を有する、装置制御システム。
【請求項９】
ポインティング装置であって、
−前記ポインティング装置が向けられた方向の対象領域の画像を生成するカメラ；及び
−前記対象領域の画像の画像分析に基づき生成されたフィードバック信号を、前記ポインティング装置の少なくとも一部で生成される触知表示に再生する触知表示ユニット、
を有するポインティング装置。
【請求項１０】
−画像を装置制御インターフェースへ送出する送出ユニット；
−装置制御インターフェースからフィードバック信号を受信する受信ユニット、
を有する請求項９記載のポインティング装置。
【請求項１１】
装置制御インターフェースを有し、前記装置制御インターフェースは、
−前記ポインティング装置のカメラにより生成された目標領域画像を分析し、制御されるべき装置と関連付けられたオブジェクトの特性を決定する画像分析ユニット；及び
−前記画像の分析に基づき、前記オブジェクトの特性に関するフィードバック信号を生成するフィードバック信号生成ユニット、
を有する、請求項９又は１０記載のポインティング装置。
【請求項１２】
装置制御インターフェースであって、
−ポインティング装置から画像を受信する受信ユニット；
−前記画像を分析する画像分析ユニット；
−前記画像の分析に基づき、制御されるべき装置と関連付けられたオブジェクトの特性に対応するフィードバック信号を生成するフィードバック信号生成ユニット；
−前記フィードバック信号を前記ポインティング装置へ送出する送出ユニット、
を有する装置制御インターフェース。
【請求項１３】
−前記オブジェクトの少なくとも一部を包含する目標領域の画像の分析に基づき、前記制御されるべき装置のための制御信号を生成する制御信号生成ユニット；及び
−前記制御信号を前記制御されるべき装置へ通信する通信インターフェース、
を有する請求項１２記載の装置制御インターフェース。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００８−５１２８８１（Ｐ２００８−５１２８８１Ａ）
【公表日】平成２０年４月２４日（２００８．４．２４）
【国際特許分類】
【出願番号】特願２００７−５２９０６９（Ｐ２００７−５２９０６９）
【出願日】平成１７年８月１７日（２００５．８．１７）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５２７０８
【国際公開番号】ＷＯ２００６／０２１９１６
【国際公開日】平成１８年３月２日（２００６．３．２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２０年４月２４日（２００８．４．２４）
【国際特許分類】
【出願日】平成１７年８月１７日（２００５．８．１７）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５２７０８
【国際公開番号】ＷＯ２００６／０２１９１６
【国際公開日】平成１８年３月２日（２００６．３．２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]