オブジェクト制御を支援する方法、システムおよびプログラム
【課題】画像ベースのオブジェクト制御を支援する。
【解決手段】複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する。
【解決手段】複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトの遠隔制御の分野に関する。詳細には、本発明は、画像ベースのオブジェクト制御を支援する方法、システム、および、画像ベースのオブジェクト制御を支援する機能をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
コンピュータマウスの発明は、２次元（２Ｄ）グラフィカルユーザインタフェースを介してコンピュータプログラムの制御を容易にした。しかし、通常のコンピュータマウスは２Ｄ入力デバイスであるから、人々は、長い間、物理的オブジェクトを制御する目的のために、コンピュータマウスを考慮することはなかった。ユーザと物理的オブジェクトとのインタラクションを容易にするため、研究者はビデオを使用して、マウス制御のために現実世界を２Ｄ空間へマッピングした。その技術は、ユーザと環境とのインタラクションのため、被制御環境での固定カメラを必要とするので、人々は、その技術を試みる前に、権利者がハードウェア及びソフトウェアをセットアップするまで待たなければならない。更に、その技術では通常のマウスを使用するため、人々は、通常、デスクトップ、ラップトップ、又はペン入力付きのＰＤＡを使用して、環境とインタラクションしなければならない。通常のマウスに基づいたシステムは、遠隔位置とインタラクションするのに便利である。しかし、それは、現場で物理的オブジェクトとインタラクションするために極めて自然であるとは言えない。
【０００３】
物理的オブジェクトは３次元（３Ｄ）空間に存在するので、物理的オブジェクトを制御するためには、自由度（ＤＯＦ）６の入力デバイスを考慮することが合理的である。多くの自由度６の入力デバイスが、３次元（３Ｄ）インタフェースについて提案された。しかし、依然として、全ての応用に適した明白な勝者は存在しない。物理的オブジェクトの制御の場合、人々は、通常、特殊設計の投影システムがなければ、空中のカーソル浮動を見ることはできない。これは、大部分の自由度６の入力デバイスを使用することを困難にする。
【０００４】
物理的世界におけるオブジェクトとインタラクションするためには、ユーザは、操作したいオブジェクトの位置を特定し、操作パスを指定しなければならない。任意のオブジェクトを任意の場所へ移動できる仮想世界では、オブジェクトを完全に制御するために自由度６のデバイスが必要である。物理的世界では、仮想世界よりも、デバイスの移動及びデータの転送は、はるかに制約される。これらの制約は、通常のコンピュータマウスを使用して、物理的世界のシーンのビデオを介して物理的デバイスを制御する機会を提供する。それらの制約は、更に、ポインティングデバイス、例えば、ＩＲベース遠隔制御又はレーザポインタでデバイスを制御することを可能にする。最も一般的な遠隔制御はＩＲベース又はＲＦベースの制御である。通常のＲＦコントローラは指向性ではないから、通常、複数のデバイスを管理するための複雑な制御インタフェースが必要である。指向性のＩＲコントローラは、物理的オブジェクトの分散キューを使用することによって、ユーザインタフェースの複雑性を低減することができる。しかし、送信機および受信機のペアに関する要件が、依然としてＩＲ制御システムの配置を制限する。類似の問題が、レーザポインタベースの制御システムについて存在する。複数デバイスの遠隔制御送信機に関する特許文献１、共通遠隔制御装置に関する特許文献２、非特許文献１および非特許文献２は、本発明に関連する。
【特許文献１】米国特許第４，８５５，７４６号明細書
【特許文献２】米国特許第４，９５９，８１０号明細書
【非特許文献１】ウチハシ（UCHIHASHI）ら、「ビデオマンガ：意味論的有意ビデオ要約の生成（"Video Manga: Generating Semantically Meaningful Video Summaries"）」、ＡＣＭマルチメディア会報（Proc. ACM Multimedia）、フロリダ州オーランド（Orlando FL）、ＡＣＭプレス（ACM Press）、１９９９年、頁３８３〜３９２
【非特許文献２】フォックス（FOX）ら、「インタラクティブ・ワークスペースへの情報機器統合（"Integrating Information Appliances into an Interactive Workspace"）」、ＩＥＥＥコンピュータグラフィックスおよびアプリケーション（IEEE Computer Graphics and Applications）、２０００年５月〜６月、頁５４〜６５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記状況に鑑み、本発明は画像ベースのオブジェクト制御を支援することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の様々な実施形態は、電子デバイスネットワークと無線でインタフェースされたカメラ付き携帯端末を介して、ユーザとオブジェクトとのインタラクションを容易にする。最初に、制御ボタンのクリックの間に移動デバイスの上のカメラによって取得された画像に基づいて、ユーザの制御意図を解釈することができる。次に、取得された画像からオブジェクトの特徴を抽出し、オブジェクト特徴データベースに基づいて、ユーザがポイントしている可視オブジェクトを識別する。次に、識別されたオブジェクトに関連付けられた対応する機能を動作可能にする。ここで、オブジェクトの機能を、多くの共通タスクのために常時の「伝送機」として使用する。これは、本発明の配置を非常に容易にする。
【０００７】
本発明の第１の態様は、画像ベースのオブジェクト制御を支援するシステムであって、カメラ付き携帯端末と、複数のオブジェクトの特徴を含むオブジェクト特徴のデータベースと、を備え、前記カメラ付き携帯端末は、関心が有されるオブジェクトの少なくとも１つの画像をポイント及び取得し、取得された少なくとも１つの画像を、ネットワークを介して、処理センターへ送信し、前記処理センターが、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から複数のオブジェクトの特徴を抽出し、前記オブジェクト特徴のデータベースに基づいて、ユーザがポイントするオブジェクトを識別し、インタフェース装置を介して、識別されたオブジェクトを操作及び制御し、前記インタフェース装置は、前記処理センター及びオブジェクトの双方とインタラクションする。
【０００８】
本発明の第２の態様は、第１の態様のオブジェクト制御支援システムであって、前記オブジェクトが、可視ネットワークデバイス及び可視非ネットワーク物理的オブジェクトの１つである。
【０００９】
本発明の第３の態様は、第２の態様のオブジェクト制御支援システムであって、前記可視ネットワークデバイスが、ビデオプロジェクタ、側部又は後部フラットパネル、前方又は後方室内拡声器、テレビ、及びエアコンの１つである。
【００１０】
本発明の第４の態様は、第２の態様のオブジェクト制御支援システムであって、前記可視非ネットワーク物理的オブジェクトが、紙文書、ホワイトボード、ネットワークへ接続されていない従来型機器、及び移動デバイスへ取り付けられたマイクロホンによって記録されるオーディオ信号の１つである。
【００１１】
本発明の第５の態様は、第１の態様のオブジェクト制御支援システムであって、前記カメラ付き携帯端末が携帯電話及びＰＤＡの１つである。
【００１２】
本発明の第６の態様は、第１の態様のオブジェクト制御支援システムであって、前記ネットワークが、インターネット及び無線通信ネットワークの１つである。
【００１３】
本発明の第７の態様は、第１の態様のオブジェクト制御支援システムであって、前記複数のオブジェクトの特徴の各々が、尺度不変特徴変換（ＳＩＦＴ）特徴、ガボール特徴、離散コサイン変換（ＤＣＴ）係数、光学式文字認識（ＯＣＲ）結果、及び前記カメラ付き携帯端末の他のセンサによって取得されたデータの１つである。
【００１４】
本発明の第８の態様は、第１の態様のオブジェクト制御支援システムであって、前記処理センターが、スタンドアロン型情報処理装置及び移動デバイス又はサービスセンターに設置された装置の１つである。
【００１５】
本発明の第９の態様は、第１の態様のオブジェクト制御支援システムであって、前記オブジェクトが従来型デバイスである場合、前記インタフェース装置が後方互換性を有する。
【００１６】
本発明の第１０の態様は、第１の態様のオブジェクト制御支援システムであって、前記オブジェクトが同じネットワークの上にある場合は、前記処理センターがコマンドを該オブジェクトへ送信することによって、または、該オブジェクトを制御するために該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する。
【００１７】
本発明の第１１の態様は、画像ベースのオブジェクト制御を支援する方法であって、複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する。
【００１８】
本発明の第１２の態様は、第１１の態様のオブジェクト制御支援方法であって、前記オブジェクトの少なくとも１つの画像と操作アクションとの間の複数の動作規則を定義する、ことをさらに含む。
【００１９】
本発明の第１３の態様は、第１１の態様のオブジェクト制御支援方法であって、前記オブジェクトが従来型デバイスである場合、インタフェース装置を介して、該オブジェクトとインタラクションする、ことをさらに含む。
【００２０】
本発明の第１４の態様は、第１１の態様のオブジェクト制御支援方法であって、前記オブジェクトが同じネットワークの上にある場合は、コマンドを該オブジェクトへ送ることによって、または、該オブジェクトを制御するため該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する、ことをさらに含む。
【００２１】
本発明の第１５の態様は、第１１の態様のオブジェクト制御支援方法であって、尺度不変特徴変換（ＳＩＦＴ）を介して、少なくとも１つの画像の中のオブジェクトを識別する、ことをさらに含む。
【００２２】
本発明の第１６の態様は、画像ベースのオブジェクト制御を支援する機能をコンピュータに実行させるプログラムであって、該機能は、複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する、ことを含む。
【００２３】
本発明の第１７の態様は、画像ベースのオブジェクト制御を支援するシステムであって、複数のオブジェクトの特徴を含むデータベースを確立する手段と、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して少なくとも１つの画像を処理センターへ送信する手段と、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出する手段と、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントするオブジェクトを識別する手段と、コマンドを介して、識別された前記オブジェクトを操作及び制御する手段と、を備える。
【発明の効果】
【００２４】
本発明は、複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する。これにより、本発明は、画像ベースのオブジェクト制御を支援することができる。
【発明を実施するための最良の形態】
【００２５】
以下の図面で、本発明の特定の実施形態が詳細に説明される。
【００２６】
本発明は、添付の図面で例として説明され、限定としては説明されない。図面では、同様の参照符号は類似の要素を示す。この開示の中で、「１つ（ａｎ）（ｏｎｅ）」又は「幾つか（ｓｏｍｅ）」の実施形態への参照は、必ずしも同じ実施形態への参照ではなく、このような参照は、少なくとも１つの実施形態を意味することに注意すべきである。
【００２７】
本発明は、画像ベースのコントローラが、カメラ付き携帯端末、例えば、携帯電話及びＰＤＡによって取得された画像を介して、簡単なポイント・アンド・キャプチャ動作でオブジェクトを制御及び操作できるようにする。この技術によって、ユーザは、簡単なポイント・アンド・キャプチャ動作で多くの複雑な制御タスクを完了することができる。これらのタスクには、デバイスを制御すること、選択された公共表示装置へ紙文書を投稿（ポスティング）すること、ホワイトボードのプリントアウトを行うこと、電子デバイスの間でデータを移動すること、物理的世界の一部分の表示を物理的世界の他の部分の上に重畳することが含まれる。しかしながら、本発明のタスクはこれらに限定されるものではない。そのようにガイドされたオブジェクトの制御は、レーザポインタ、ＩＲ送信機、ミニプロジェクタ、又はバーコードタグ付けを利用することなく達成され、カスタマイズされた壁紙を環境制御に必要としない。
【００２８】
画像ベースのコントローラは、個人の紙文書、ホワイトボード、プリンタ、スピーカ、及び公共表示装置と一緒に会議室の中で使用可能である。それは、更に、家庭、又は人々が様々なオブジェクトとインタラクションを望む他のシナリオで使用されてもよい。そのようなコントローラは、少なくとも次の利点を有する。
●第１に、カメラは、携帯電話、ＰＤＡ、及び多くの他の移動デバイスに広く取り付けられているので、本発明は、個人が、携帯電話を一般的な遠隔制御装置として使用すること、又は移動デバイス上の制御アクションをパーソナライズすることを容易にする。これは、様々な遠隔制御を追跡する重荷を節減する。
●第２に、それは容易に配置可能である。なぜなら、それは制御タスクを達成する一対の送信機・受信機のような配置を必要としないからである。これは、多くの制御環境で、固定カメラ及び特別のハードウェア設置物の電力、重量、及びコストを節減する機会を与える。
●第３に、この手法は、幾つかの取得された写真を制御アクションに関連付けることによって、ユーザの必要に応じて容易にカスタマイズ可能である。
●更に、それは十分に柔軟性があり、制御タスクの複雑性に従って、物理的オブジェクトの位置決めを自由度６の全てまで調節することができる。
【００２９】
図１は、本発明の１つの実施形態に従った例示的な画像ベースコントローラを示す。この図は、機能的に分離した構成要素を示すが、このような表現は単なる例にすぎない。この図で示された構成要素は、任意的に、結合可能であるか、別個のソフトウェア、ファームウェア、ハードウェアなどの構成要素へ分割可能であることが、当業者に明らかである。更に、そのような構成要素は、どのように結合又は分割されるかに関係なく、同じ情報処理装置又は複数の情報処理装置の上で実行可能であること、及び複数の情報処理装置は、１つ又は複数のネットワークによって接続可能であることが、当業者に明らかである。
【００３０】
図１を参照すると、ユーザは、カメラ付き携帯端末１０１を作動して、関心を有するオブジェクト（デバイス）１０２の画像を取得するためにポイントし、その画像を処理センター１０３へ送ることができる。処理センター１０３は、取得された画像を解析し、オブジェクト特徴のデータベース１０５に基づいて、ユーザがポイントしたオブジェクトを識別し、インタフェース装置１０４を介してそのオブジェクトとインタラクションする、及び、そのオブジェクトを制御する、などの動作を行うことができる。インタフェース装置１０４は、オブジェクトが従来型デバイスである場合、後方互換性を有することができる。ここで、処理センター１０３は、スタンドアロンの情報処理装置であるか、移動デバイス又はサービスセンターの中にある装置であってもよい。システムが高フレーム速度でオブジェクトの高速及び連続動作画像を処理する能力は、処理センター１０３のコンピューティングパワーに依存する。オブジェクトの表面は、画像を識別するため、その上にテクスチャ又はあるパターンを貼り付ける必要があり得る。これは、ＪＲ受信機のような特別のハードウェアを取り付けることよりも便利である。
【００３１】
ここで、オブジェクトは可視のネットワークデバイスであってもよい。そのようなデバイスは、ビデオプロジェクタ、側部及び後部フラットパネル、前方及び後方の室内拡声器、通常のテレビ、エアコンであってもよいが、本発明はこれらに限定されるものではない。オブジェクトは、更に、どこにも接続されていない可視の物理的オブジェクトであってもよい。そのようなオブジェクトは、紙文書、ホワイトボード、ネットワークへ接続されていない従来型機器が含まれてもよいが、本発明はこれらに限定されるものではない。オブジェクトは、更に、移動デバイスへ取り付けられたマイクロホンによって記録されたオーディオ信号であってもよい。
【００３２】
図２は、本発明の１つの実施形態において、画像ベースコントローラを介する例示的オブジェクト識別プロセスを示すフローチャートである。この図は、例示を目的として、機能ステップを特定の順序で示すが、プロセスは、ステップの特定の順序又は配列へ限定されない。当業者は、この図で示された様々なステップが、様々な方法で省略、再配列、結合、改造され得ることを理解する。
【００３３】
図２を参照すると、ステップ２０１で、オブジェクトの画像と操作アクションとの間で、動作規則セットを定義することができる。ステップ２０２では、識別されるオブジェクトの特徴を含むデータベースを確立することができる。ステップ２０３では、カメラ付き携帯端末を介して画像を取得し、インターネット又は無線通信ネットワークを介して、その画像を処理センターへ送ることができる。処理センターが画像を受け取った後、処理センターはステップ２０４でオブジェクトの特徴をこれらの画像から抽出し、オブジェクト特徴データベースに基づいて、ユーザがポイントしているオブジェクトをステップ２０５で識別し、識別されたオブジェクトを操作するコマンドをステップ２０６で発行する。制御されるオブジェクトが同じ通信ネットワークの上にあれば、処理センターは、そのネットワークを介して、これらのコマンドをデバイスへ直接送ることができる。オブジェクトが赤外線（ＩＲ）信号によってのみ制御可能であれば、オブジェクトを制御するＩＲ信号へコマンドを変換することができる。
【００３４】
幾つかの実施形態において、オブジェクト画像と操作アクションとの間の手順及び動作規則は、以下を含んでもよいが、本発明は以下に限定されるものではない。
１．第１の画像の中で全てのオブジェクトを識別する。
２．第１の画像の中心に最も近いオブジェクトを識別し、それをオブジェクト１と命名する。
３．第２の画像の中で全てのオブジェクトを識別する。
４．第２の画像の中心に最も近いオブジェクトを識別し、それをオブジェクト２と命名する。
５．オブジェクト１及びオブジェクト２が同一であり、オブジェクト１が制御可能であれば、移動デバイス表示装置の上にオブジェクト１の制御メニューをポップアップする。たとえば、オブジェクト１が洗濯機であれば、洗濯機を操作するため洗濯機の制御メニューがポップアップされる。しかしながら、本発明はこの例に限定されるものではない。
６．オブジェクト１及びオブジェクト２が、異なる制御可能オブジェクトであれば、オブジェクト１の内容をオブジェクト２へ転送する。たとえば、オブジェクト１がＤＶＤプレーヤであり、オブジェクト２がテレビであれば、システムは、プレーヤの中のＤＶＤディスクをテレビの表示装置でプレイする。しかしながら、本発明はこの例に限定されるものではない。
７．オブジェクト１が制御可能でなく、オブジェクト２が制御可能であれば、オブジェクト１の画像をオブジェクト２の表示装置で表示する。たとえば、オブジェクト１が紙であり、オブジェクト２が公共表示装置であれば、システムは紙の画像を公共表示装置の上に投稿（ポスティング）する。しかしながら、本発明はこの例に限定されるものではない。
８．オブジェクト１が制御可能であり、オブジェクト２が制御可能でなければ、オブジェクト１の内容をオブジェクト２の表面へ転送する。たとえば、オブジェクト１がビデオプレーヤであり、オブジェクト２がテーブルの表面であれば、システムは、プレーヤの中に保存されたビデオをテーブルの表面に重畳する。しかしながら、本発明はこの例に限定されるものはない。
９．オブジェクト１もオブジェクト２も制御可能でなければ、システムはオブジェクト１の画像をオブジェクト２の上に重畳することができる（適切な投影デバイスが利用可能であると仮定する）。
幾つかの取得された写真を制御アクションに関連付けるとき、ユーザの必要に応じて、これらの規則を容易にカスタマイズすることができる。更に、制御タスクの複雑性に応じて、自由度を６まで柔軟に調節することができる。
【００３５】
幾つかの実施形態において、オブジェクト識別プロセスは複数の特徴を利用することができる。これらの特徴は、尺度不変特徴変換（ＳＩＦＴ）、ガボール特徴、離散コサイン変換（ＤＣＴ）係数、及び光学式文字認識（ＯＣＲ）の結果が含まれる。しかしながら、本発明はこれらの特徴に限定されるものではない。移動デバイス上の他のセンサによって取得されたデータも、オブジェクトを識別する追加の特徴と考えてもよい。たとえば、コントローラによって供された画像の中で、コントローラによってポイントされたオブジェクト（デバイス）を識別するため、ＳＩＦＴを使用することができる。ＳＩＦＴは、画像内の各々の点の周りのウィンドウの中でエッジ方位のヒストグラムに基づいて画像の記述的局所特徴を計算する。各々のＳＩＦＴ特徴ベクトルは１２８の次元を有し、そのような大きな次元は、様々なシナリオの中でミスマッチを著しく低減することができる。ＳＩＦＴは、更に、より広い視点角度で信頼性のあるマッチングを達成することができる。これは、様々な位置で取得された画像を処理するために非常に重要である。ＳＩＦＴ特徴は局所特徴であるから、スクリーンが部分的に遮断されていても信頼性がある。これも又、様々な場面で重要となる。しかしながら、本発明で使用される特徴はＳＨＩＦＴに限定されるものではない。
【００３６】
画像ベースコントローラの応用は、次の例によって例示することができるが、本発明はこの例に限定されるものではない。この例では、会議室の中に３つの公共表示装置が存在し、画像は、会議室内の様々な位置で取得される。画像は室内の無作為の場所で取得されるので、これら３つの表示装置の表示は、ほとんど無作為のアフィン変換を有する。目標は、カメラによって取得された画像に基づいて、カメラがポイントしている表示装置を識別することである。
【００３７】
図３〜図５は、ユーザがポイントしている表示の例示的識別結果を示す。画像の各々の集合において、左方上部の画像３０１（４０１及び５０１）は、会議室の中の無作為の位置で移動デバイスによって取得された画像である。右方上部の画像３０２（４０２及び５０２）、左方下部の画像３０３（４０３及び５０３）、及び右方下部の画像３０４（４０４及び５０４）は、それぞれ３つの表示装置のスクリーンショットである。操作手順の間、３つの表示装置のこれらの現在のスクリーンショットが処理センターへ送られ、３つの表示装置の特徴データベースが確立される。処理センターが、移動デバイスによって取得された画像を受け取るとき、処理センターは、これらの４つの画像に基づいて、ユーザがポイントしている表示装置を自動的に突き止める。各々の画像の集合において、矩形は、中心へ最も近い表示装置３０５（４０５及び５０５）の境界を示し、線分３０６（４０６及び５０６）は、最も近い表示装置を、表示装置の識別されたスクリーンショット３０３（４０４及び５０２）へ結合する。この関連付けの形成によって、処理センターが、焦点を合わせられた表示装置のＩＤ又はＩＰ番号を決定し、それに基づいて操作を実行することは容易である。これらのオブジェクトを正しく識別することによって、ユーザは表示装置の間でスライドをドラッグするか、デスク上の紙文書を公共表示装置の上にドラッグすることができる。
【００３８】
コンピュータ技術の当業者に明らかであるように、この開示の教示に従ってプログラムされた通常型の汎用又は特殊ディジタルコンピュータ又はマイクロプロセッサを使用して、１つの実施形態が実現されてもよい。ソフトウェア技術の当業者に明らかであるように、熟練したプログラマは、この開示の教示に基づいて適切なソフトウェアコーディングを容易に準備することができる。当業者に明らかであるように、本発明は、更に、集積回路を準備することによって、又は通常型コンポーネント回路の適切なネットワークを相互に接続することによって実現されてもよい。
【００３９】
１つの実施形態はコンピュータプログラムプロダクトを含む。コンピュータプログラムプロダクトは、命令を記憶する機械可読媒体である。命令は、１つ又は複数の情報処理装置（コンピュータ）をプログラムして、本明細書で呈示された特徴の任意のものを実行するように使用可能である。機械可読媒体は、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含むディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）の１つ又は複数のタイプ、又は命令・データを記憶するのに適切な媒体又はデバイスの任意のタイプを含むことができる。しかしながら、本発明はこれらに限定されるものではない。本発明は、コンピュータ可読媒体の任意の１つに記憶されたソフトウェアを含む。ソフトウェアは、汎用・特殊コンピュータ又はマイクロプロセッサのハードウェアを制御し、コンピュータ又はマイクロプロセッサが本発明の結果を利用して人間のユーザ又は他の機構とインタラクションできるようにする。そのようなソフトウェアは、デバイスドライバ、オペレーティングシステム、実行環境・コンテナ、及びアプリケーションを含んでもよい。しかしながら、本発明はこれらに限定されるものではない。
【００４０】
本発明の好ましい実施形態のこれまでの記述は、例示及び説明を目的として提供された。開示された形態が本発明の全部であること、又はそのような形態に本発明を限定することは意図されない。多くの修正及び変形が当技術分野の実施者に明らかである。本発明の原理及びその実用的応用を最良に説明するため、実施形態が選択及び記述された。これによって、他の当業者は、本発明、様々な実施形態、及び想定される特定の使用に適した様々な修正を理解することができる。本発明の範囲は、特許請求の範囲及びそれらの均等物によって定義されることが意図される。
【００４１】
（著作権表示）
この特許文書の開示の一部分は、著作権の保護を受ける資料を含む。著作権の所有者は、特許商標庁の特許ファイル又は記録に現れるとおりに、特許文書又は特許開示を誰でも複製できることに異議を有しないが、これ以外の場合、全ての著作権を留保する。
【図面の簡単な説明】
【００４２】
【図１】本発明の１つの実施形態に従った例示的な画像ベースコントローラを示す。
【図２】本発明の１つの実施形態に従って、画像ベースコントローラを介してオブジェクトを識別する例示的プロセスを示すフローチャートである。
【図３】本発明の１つの実施形態に従って、ユーザが会議室でポイントする表示装置の例示的識別結果を示す。
【図４】本発明の１つの実施形態に従って、ユーザが会議室でポイントする表示装置の例示的識別結果を示す。
【図５】本発明の１つの実施形態に従って、ユーザが会議室でポイントする表示装置の例示的識別結果を示す。
【符号の説明】
【００４３】
１０１ カメラ付き携帯端末
１０２ オブジェクト
１０３ 処理センター
１０４ インタフェース装置
１０５ オブジェクト特徴のデータベース
【技術分野】
【０００１】
本発明は、オブジェクトの遠隔制御の分野に関する。詳細には、本発明は、画像ベースのオブジェクト制御を支援する方法、システム、および、画像ベースのオブジェクト制御を支援する機能をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
コンピュータマウスの発明は、２次元（２Ｄ）グラフィカルユーザインタフェースを介してコンピュータプログラムの制御を容易にした。しかし、通常のコンピュータマウスは２Ｄ入力デバイスであるから、人々は、長い間、物理的オブジェクトを制御する目的のために、コンピュータマウスを考慮することはなかった。ユーザと物理的オブジェクトとのインタラクションを容易にするため、研究者はビデオを使用して、マウス制御のために現実世界を２Ｄ空間へマッピングした。その技術は、ユーザと環境とのインタラクションのため、被制御環境での固定カメラを必要とするので、人々は、その技術を試みる前に、権利者がハードウェア及びソフトウェアをセットアップするまで待たなければならない。更に、その技術では通常のマウスを使用するため、人々は、通常、デスクトップ、ラップトップ、又はペン入力付きのＰＤＡを使用して、環境とインタラクションしなければならない。通常のマウスに基づいたシステムは、遠隔位置とインタラクションするのに便利である。しかし、それは、現場で物理的オブジェクトとインタラクションするために極めて自然であるとは言えない。
【０００３】
物理的オブジェクトは３次元（３Ｄ）空間に存在するので、物理的オブジェクトを制御するためには、自由度（ＤＯＦ）６の入力デバイスを考慮することが合理的である。多くの自由度６の入力デバイスが、３次元（３Ｄ）インタフェースについて提案された。しかし、依然として、全ての応用に適した明白な勝者は存在しない。物理的オブジェクトの制御の場合、人々は、通常、特殊設計の投影システムがなければ、空中のカーソル浮動を見ることはできない。これは、大部分の自由度６の入力デバイスを使用することを困難にする。
【０００４】
物理的世界におけるオブジェクトとインタラクションするためには、ユーザは、操作したいオブジェクトの位置を特定し、操作パスを指定しなければならない。任意のオブジェクトを任意の場所へ移動できる仮想世界では、オブジェクトを完全に制御するために自由度６のデバイスが必要である。物理的世界では、仮想世界よりも、デバイスの移動及びデータの転送は、はるかに制約される。これらの制約は、通常のコンピュータマウスを使用して、物理的世界のシーンのビデオを介して物理的デバイスを制御する機会を提供する。それらの制約は、更に、ポインティングデバイス、例えば、ＩＲベース遠隔制御又はレーザポインタでデバイスを制御することを可能にする。最も一般的な遠隔制御はＩＲベース又はＲＦベースの制御である。通常のＲＦコントローラは指向性ではないから、通常、複数のデバイスを管理するための複雑な制御インタフェースが必要である。指向性のＩＲコントローラは、物理的オブジェクトの分散キューを使用することによって、ユーザインタフェースの複雑性を低減することができる。しかし、送信機および受信機のペアに関する要件が、依然としてＩＲ制御システムの配置を制限する。類似の問題が、レーザポインタベースの制御システムについて存在する。複数デバイスの遠隔制御送信機に関する特許文献１、共通遠隔制御装置に関する特許文献２、非特許文献１および非特許文献２は、本発明に関連する。
【特許文献１】米国特許第４，８５５，７４６号明細書
【特許文献２】米国特許第４，９５９，８１０号明細書
【非特許文献１】ウチハシ（UCHIHASHI）ら、「ビデオマンガ：意味論的有意ビデオ要約の生成（"Video Manga: Generating Semantically Meaningful Video Summaries"）」、ＡＣＭマルチメディア会報（Proc. ACM Multimedia）、フロリダ州オーランド（Orlando FL）、ＡＣＭプレス（ACM Press）、１９９９年、頁３８３〜３９２
【非特許文献２】フォックス（FOX）ら、「インタラクティブ・ワークスペースへの情報機器統合（"Integrating Information Appliances into an Interactive Workspace"）」、ＩＥＥＥコンピュータグラフィックスおよびアプリケーション（IEEE Computer Graphics and Applications）、２０００年５月〜６月、頁５４〜６５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記状況に鑑み、本発明は画像ベースのオブジェクト制御を支援することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の様々な実施形態は、電子デバイスネットワークと無線でインタフェースされたカメラ付き携帯端末を介して、ユーザとオブジェクトとのインタラクションを容易にする。最初に、制御ボタンのクリックの間に移動デバイスの上のカメラによって取得された画像に基づいて、ユーザの制御意図を解釈することができる。次に、取得された画像からオブジェクトの特徴を抽出し、オブジェクト特徴データベースに基づいて、ユーザがポイントしている可視オブジェクトを識別する。次に、識別されたオブジェクトに関連付けられた対応する機能を動作可能にする。ここで、オブジェクトの機能を、多くの共通タスクのために常時の「伝送機」として使用する。これは、本発明の配置を非常に容易にする。
【０００７】
本発明の第１の態様は、画像ベースのオブジェクト制御を支援するシステムであって、カメラ付き携帯端末と、複数のオブジェクトの特徴を含むオブジェクト特徴のデータベースと、を備え、前記カメラ付き携帯端末は、関心が有されるオブジェクトの少なくとも１つの画像をポイント及び取得し、取得された少なくとも１つの画像を、ネットワークを介して、処理センターへ送信し、前記処理センターが、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から複数のオブジェクトの特徴を抽出し、前記オブジェクト特徴のデータベースに基づいて、ユーザがポイントするオブジェクトを識別し、インタフェース装置を介して、識別されたオブジェクトを操作及び制御し、前記インタフェース装置は、前記処理センター及びオブジェクトの双方とインタラクションする。
【０００８】
本発明の第２の態様は、第１の態様のオブジェクト制御支援システムであって、前記オブジェクトが、可視ネットワークデバイス及び可視非ネットワーク物理的オブジェクトの１つである。
【０００９】
本発明の第３の態様は、第２の態様のオブジェクト制御支援システムであって、前記可視ネットワークデバイスが、ビデオプロジェクタ、側部又は後部フラットパネル、前方又は後方室内拡声器、テレビ、及びエアコンの１つである。
【００１０】
本発明の第４の態様は、第２の態様のオブジェクト制御支援システムであって、前記可視非ネットワーク物理的オブジェクトが、紙文書、ホワイトボード、ネットワークへ接続されていない従来型機器、及び移動デバイスへ取り付けられたマイクロホンによって記録されるオーディオ信号の１つである。
【００１１】
本発明の第５の態様は、第１の態様のオブジェクト制御支援システムであって、前記カメラ付き携帯端末が携帯電話及びＰＤＡの１つである。
【００１２】
本発明の第６の態様は、第１の態様のオブジェクト制御支援システムであって、前記ネットワークが、インターネット及び無線通信ネットワークの１つである。
【００１３】
本発明の第７の態様は、第１の態様のオブジェクト制御支援システムであって、前記複数のオブジェクトの特徴の各々が、尺度不変特徴変換（ＳＩＦＴ）特徴、ガボール特徴、離散コサイン変換（ＤＣＴ）係数、光学式文字認識（ＯＣＲ）結果、及び前記カメラ付き携帯端末の他のセンサによって取得されたデータの１つである。
【００１４】
本発明の第８の態様は、第１の態様のオブジェクト制御支援システムであって、前記処理センターが、スタンドアロン型情報処理装置及び移動デバイス又はサービスセンターに設置された装置の１つである。
【００１５】
本発明の第９の態様は、第１の態様のオブジェクト制御支援システムであって、前記オブジェクトが従来型デバイスである場合、前記インタフェース装置が後方互換性を有する。
【００１６】
本発明の第１０の態様は、第１の態様のオブジェクト制御支援システムであって、前記オブジェクトが同じネットワークの上にある場合は、前記処理センターがコマンドを該オブジェクトへ送信することによって、または、該オブジェクトを制御するために該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する。
【００１７】
本発明の第１１の態様は、画像ベースのオブジェクト制御を支援する方法であって、複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する。
【００１８】
本発明の第１２の態様は、第１１の態様のオブジェクト制御支援方法であって、前記オブジェクトの少なくとも１つの画像と操作アクションとの間の複数の動作規則を定義する、ことをさらに含む。
【００１９】
本発明の第１３の態様は、第１１の態様のオブジェクト制御支援方法であって、前記オブジェクトが従来型デバイスである場合、インタフェース装置を介して、該オブジェクトとインタラクションする、ことをさらに含む。
【００２０】
本発明の第１４の態様は、第１１の態様のオブジェクト制御支援方法であって、前記オブジェクトが同じネットワークの上にある場合は、コマンドを該オブジェクトへ送ることによって、または、該オブジェクトを制御するため該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する、ことをさらに含む。
【００２１】
本発明の第１５の態様は、第１１の態様のオブジェクト制御支援方法であって、尺度不変特徴変換（ＳＩＦＴ）を介して、少なくとも１つの画像の中のオブジェクトを識別する、ことをさらに含む。
【００２２】
本発明の第１６の態様は、画像ベースのオブジェクト制御を支援する機能をコンピュータに実行させるプログラムであって、該機能は、複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する、ことを含む。
【００２３】
本発明の第１７の態様は、画像ベースのオブジェクト制御を支援するシステムであって、複数のオブジェクトの特徴を含むデータベースを確立する手段と、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して少なくとも１つの画像を処理センターへ送信する手段と、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出する手段と、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントするオブジェクトを識別する手段と、コマンドを介して、識別された前記オブジェクトを操作及び制御する手段と、を備える。
【発明の効果】
【００２４】
本発明は、複数のオブジェクトの特徴を含むデータベースを確立し、カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、コマンドを介して、識別された前記オブジェクトを操作及び制御する。これにより、本発明は、画像ベースのオブジェクト制御を支援することができる。
【発明を実施するための最良の形態】
【００２５】
以下の図面で、本発明の特定の実施形態が詳細に説明される。
【００２６】
本発明は、添付の図面で例として説明され、限定としては説明されない。図面では、同様の参照符号は類似の要素を示す。この開示の中で、「１つ（ａｎ）（ｏｎｅ）」又は「幾つか（ｓｏｍｅ）」の実施形態への参照は、必ずしも同じ実施形態への参照ではなく、このような参照は、少なくとも１つの実施形態を意味することに注意すべきである。
【００２７】
本発明は、画像ベースのコントローラが、カメラ付き携帯端末、例えば、携帯電話及びＰＤＡによって取得された画像を介して、簡単なポイント・アンド・キャプチャ動作でオブジェクトを制御及び操作できるようにする。この技術によって、ユーザは、簡単なポイント・アンド・キャプチャ動作で多くの複雑な制御タスクを完了することができる。これらのタスクには、デバイスを制御すること、選択された公共表示装置へ紙文書を投稿（ポスティング）すること、ホワイトボードのプリントアウトを行うこと、電子デバイスの間でデータを移動すること、物理的世界の一部分の表示を物理的世界の他の部分の上に重畳することが含まれる。しかしながら、本発明のタスクはこれらに限定されるものではない。そのようにガイドされたオブジェクトの制御は、レーザポインタ、ＩＲ送信機、ミニプロジェクタ、又はバーコードタグ付けを利用することなく達成され、カスタマイズされた壁紙を環境制御に必要としない。
【００２８】
画像ベースのコントローラは、個人の紙文書、ホワイトボード、プリンタ、スピーカ、及び公共表示装置と一緒に会議室の中で使用可能である。それは、更に、家庭、又は人々が様々なオブジェクトとインタラクションを望む他のシナリオで使用されてもよい。そのようなコントローラは、少なくとも次の利点を有する。
●第１に、カメラは、携帯電話、ＰＤＡ、及び多くの他の移動デバイスに広く取り付けられているので、本発明は、個人が、携帯電話を一般的な遠隔制御装置として使用すること、又は移動デバイス上の制御アクションをパーソナライズすることを容易にする。これは、様々な遠隔制御を追跡する重荷を節減する。
●第２に、それは容易に配置可能である。なぜなら、それは制御タスクを達成する一対の送信機・受信機のような配置を必要としないからである。これは、多くの制御環境で、固定カメラ及び特別のハードウェア設置物の電力、重量、及びコストを節減する機会を与える。
●第３に、この手法は、幾つかの取得された写真を制御アクションに関連付けることによって、ユーザの必要に応じて容易にカスタマイズ可能である。
●更に、それは十分に柔軟性があり、制御タスクの複雑性に従って、物理的オブジェクトの位置決めを自由度６の全てまで調節することができる。
【００２９】
図１は、本発明の１つの実施形態に従った例示的な画像ベースコントローラを示す。この図は、機能的に分離した構成要素を示すが、このような表現は単なる例にすぎない。この図で示された構成要素は、任意的に、結合可能であるか、別個のソフトウェア、ファームウェア、ハードウェアなどの構成要素へ分割可能であることが、当業者に明らかである。更に、そのような構成要素は、どのように結合又は分割されるかに関係なく、同じ情報処理装置又は複数の情報処理装置の上で実行可能であること、及び複数の情報処理装置は、１つ又は複数のネットワークによって接続可能であることが、当業者に明らかである。
【００３０】
図１を参照すると、ユーザは、カメラ付き携帯端末１０１を作動して、関心を有するオブジェクト（デバイス）１０２の画像を取得するためにポイントし、その画像を処理センター１０３へ送ることができる。処理センター１０３は、取得された画像を解析し、オブジェクト特徴のデータベース１０５に基づいて、ユーザがポイントしたオブジェクトを識別し、インタフェース装置１０４を介してそのオブジェクトとインタラクションする、及び、そのオブジェクトを制御する、などの動作を行うことができる。インタフェース装置１０４は、オブジェクトが従来型デバイスである場合、後方互換性を有することができる。ここで、処理センター１０３は、スタンドアロンの情報処理装置であるか、移動デバイス又はサービスセンターの中にある装置であってもよい。システムが高フレーム速度でオブジェクトの高速及び連続動作画像を処理する能力は、処理センター１０３のコンピューティングパワーに依存する。オブジェクトの表面は、画像を識別するため、その上にテクスチャ又はあるパターンを貼り付ける必要があり得る。これは、ＪＲ受信機のような特別のハードウェアを取り付けることよりも便利である。
【００３１】
ここで、オブジェクトは可視のネットワークデバイスであってもよい。そのようなデバイスは、ビデオプロジェクタ、側部及び後部フラットパネル、前方及び後方の室内拡声器、通常のテレビ、エアコンであってもよいが、本発明はこれらに限定されるものではない。オブジェクトは、更に、どこにも接続されていない可視の物理的オブジェクトであってもよい。そのようなオブジェクトは、紙文書、ホワイトボード、ネットワークへ接続されていない従来型機器が含まれてもよいが、本発明はこれらに限定されるものではない。オブジェクトは、更に、移動デバイスへ取り付けられたマイクロホンによって記録されたオーディオ信号であってもよい。
【００３２】
図２は、本発明の１つの実施形態において、画像ベースコントローラを介する例示的オブジェクト識別プロセスを示すフローチャートである。この図は、例示を目的として、機能ステップを特定の順序で示すが、プロセスは、ステップの特定の順序又は配列へ限定されない。当業者は、この図で示された様々なステップが、様々な方法で省略、再配列、結合、改造され得ることを理解する。
【００３３】
図２を参照すると、ステップ２０１で、オブジェクトの画像と操作アクションとの間で、動作規則セットを定義することができる。ステップ２０２では、識別されるオブジェクトの特徴を含むデータベースを確立することができる。ステップ２０３では、カメラ付き携帯端末を介して画像を取得し、インターネット又は無線通信ネットワークを介して、その画像を処理センターへ送ることができる。処理センターが画像を受け取った後、処理センターはステップ２０４でオブジェクトの特徴をこれらの画像から抽出し、オブジェクト特徴データベースに基づいて、ユーザがポイントしているオブジェクトをステップ２０５で識別し、識別されたオブジェクトを操作するコマンドをステップ２０６で発行する。制御されるオブジェクトが同じ通信ネットワークの上にあれば、処理センターは、そのネットワークを介して、これらのコマンドをデバイスへ直接送ることができる。オブジェクトが赤外線（ＩＲ）信号によってのみ制御可能であれば、オブジェクトを制御するＩＲ信号へコマンドを変換することができる。
【００３４】
幾つかの実施形態において、オブジェクト画像と操作アクションとの間の手順及び動作規則は、以下を含んでもよいが、本発明は以下に限定されるものではない。
１．第１の画像の中で全てのオブジェクトを識別する。
２．第１の画像の中心に最も近いオブジェクトを識別し、それをオブジェクト１と命名する。
３．第２の画像の中で全てのオブジェクトを識別する。
４．第２の画像の中心に最も近いオブジェクトを識別し、それをオブジェクト２と命名する。
５．オブジェクト１及びオブジェクト２が同一であり、オブジェクト１が制御可能であれば、移動デバイス表示装置の上にオブジェクト１の制御メニューをポップアップする。たとえば、オブジェクト１が洗濯機であれば、洗濯機を操作するため洗濯機の制御メニューがポップアップされる。しかしながら、本発明はこの例に限定されるものではない。
６．オブジェクト１及びオブジェクト２が、異なる制御可能オブジェクトであれば、オブジェクト１の内容をオブジェクト２へ転送する。たとえば、オブジェクト１がＤＶＤプレーヤであり、オブジェクト２がテレビであれば、システムは、プレーヤの中のＤＶＤディスクをテレビの表示装置でプレイする。しかしながら、本発明はこの例に限定されるものではない。
７．オブジェクト１が制御可能でなく、オブジェクト２が制御可能であれば、オブジェクト１の画像をオブジェクト２の表示装置で表示する。たとえば、オブジェクト１が紙であり、オブジェクト２が公共表示装置であれば、システムは紙の画像を公共表示装置の上に投稿（ポスティング）する。しかしながら、本発明はこの例に限定されるものではない。
８．オブジェクト１が制御可能であり、オブジェクト２が制御可能でなければ、オブジェクト１の内容をオブジェクト２の表面へ転送する。たとえば、オブジェクト１がビデオプレーヤであり、オブジェクト２がテーブルの表面であれば、システムは、プレーヤの中に保存されたビデオをテーブルの表面に重畳する。しかしながら、本発明はこの例に限定されるものはない。
９．オブジェクト１もオブジェクト２も制御可能でなければ、システムはオブジェクト１の画像をオブジェクト２の上に重畳することができる（適切な投影デバイスが利用可能であると仮定する）。
幾つかの取得された写真を制御アクションに関連付けるとき、ユーザの必要に応じて、これらの規則を容易にカスタマイズすることができる。更に、制御タスクの複雑性に応じて、自由度を６まで柔軟に調節することができる。
【００３５】
幾つかの実施形態において、オブジェクト識別プロセスは複数の特徴を利用することができる。これらの特徴は、尺度不変特徴変換（ＳＩＦＴ）、ガボール特徴、離散コサイン変換（ＤＣＴ）係数、及び光学式文字認識（ＯＣＲ）の結果が含まれる。しかしながら、本発明はこれらの特徴に限定されるものではない。移動デバイス上の他のセンサによって取得されたデータも、オブジェクトを識別する追加の特徴と考えてもよい。たとえば、コントローラによって供された画像の中で、コントローラによってポイントされたオブジェクト（デバイス）を識別するため、ＳＩＦＴを使用することができる。ＳＩＦＴは、画像内の各々の点の周りのウィンドウの中でエッジ方位のヒストグラムに基づいて画像の記述的局所特徴を計算する。各々のＳＩＦＴ特徴ベクトルは１２８の次元を有し、そのような大きな次元は、様々なシナリオの中でミスマッチを著しく低減することができる。ＳＩＦＴは、更に、より広い視点角度で信頼性のあるマッチングを達成することができる。これは、様々な位置で取得された画像を処理するために非常に重要である。ＳＩＦＴ特徴は局所特徴であるから、スクリーンが部分的に遮断されていても信頼性がある。これも又、様々な場面で重要となる。しかしながら、本発明で使用される特徴はＳＨＩＦＴに限定されるものではない。
【００３６】
画像ベースコントローラの応用は、次の例によって例示することができるが、本発明はこの例に限定されるものではない。この例では、会議室の中に３つの公共表示装置が存在し、画像は、会議室内の様々な位置で取得される。画像は室内の無作為の場所で取得されるので、これら３つの表示装置の表示は、ほとんど無作為のアフィン変換を有する。目標は、カメラによって取得された画像に基づいて、カメラがポイントしている表示装置を識別することである。
【００３７】
図３〜図５は、ユーザがポイントしている表示の例示的識別結果を示す。画像の各々の集合において、左方上部の画像３０１（４０１及び５０１）は、会議室の中の無作為の位置で移動デバイスによって取得された画像である。右方上部の画像３０２（４０２及び５０２）、左方下部の画像３０３（４０３及び５０３）、及び右方下部の画像３０４（４０４及び５０４）は、それぞれ３つの表示装置のスクリーンショットである。操作手順の間、３つの表示装置のこれらの現在のスクリーンショットが処理センターへ送られ、３つの表示装置の特徴データベースが確立される。処理センターが、移動デバイスによって取得された画像を受け取るとき、処理センターは、これらの４つの画像に基づいて、ユーザがポイントしている表示装置を自動的に突き止める。各々の画像の集合において、矩形は、中心へ最も近い表示装置３０５（４０５及び５０５）の境界を示し、線分３０６（４０６及び５０６）は、最も近い表示装置を、表示装置の識別されたスクリーンショット３０３（４０４及び５０２）へ結合する。この関連付けの形成によって、処理センターが、焦点を合わせられた表示装置のＩＤ又はＩＰ番号を決定し、それに基づいて操作を実行することは容易である。これらのオブジェクトを正しく識別することによって、ユーザは表示装置の間でスライドをドラッグするか、デスク上の紙文書を公共表示装置の上にドラッグすることができる。
【００３８】
コンピュータ技術の当業者に明らかであるように、この開示の教示に従ってプログラムされた通常型の汎用又は特殊ディジタルコンピュータ又はマイクロプロセッサを使用して、１つの実施形態が実現されてもよい。ソフトウェア技術の当業者に明らかであるように、熟練したプログラマは、この開示の教示に基づいて適切なソフトウェアコーディングを容易に準備することができる。当業者に明らかであるように、本発明は、更に、集積回路を準備することによって、又は通常型コンポーネント回路の適切なネットワークを相互に接続することによって実現されてもよい。
【００３９】
１つの実施形態はコンピュータプログラムプロダクトを含む。コンピュータプログラムプロダクトは、命令を記憶する機械可読媒体である。命令は、１つ又は複数の情報処理装置（コンピュータ）をプログラムして、本明細書で呈示された特徴の任意のものを実行するように使用可能である。機械可読媒体は、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含むディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）の１つ又は複数のタイプ、又は命令・データを記憶するのに適切な媒体又はデバイスの任意のタイプを含むことができる。しかしながら、本発明はこれらに限定されるものではない。本発明は、コンピュータ可読媒体の任意の１つに記憶されたソフトウェアを含む。ソフトウェアは、汎用・特殊コンピュータ又はマイクロプロセッサのハードウェアを制御し、コンピュータ又はマイクロプロセッサが本発明の結果を利用して人間のユーザ又は他の機構とインタラクションできるようにする。そのようなソフトウェアは、デバイスドライバ、オペレーティングシステム、実行環境・コンテナ、及びアプリケーションを含んでもよい。しかしながら、本発明はこれらに限定されるものではない。
【００４０】
本発明の好ましい実施形態のこれまでの記述は、例示及び説明を目的として提供された。開示された形態が本発明の全部であること、又はそのような形態に本発明を限定することは意図されない。多くの修正及び変形が当技術分野の実施者に明らかである。本発明の原理及びその実用的応用を最良に説明するため、実施形態が選択及び記述された。これによって、他の当業者は、本発明、様々な実施形態、及び想定される特定の使用に適した様々な修正を理解することができる。本発明の範囲は、特許請求の範囲及びそれらの均等物によって定義されることが意図される。
【００４１】
（著作権表示）
この特許文書の開示の一部分は、著作権の保護を受ける資料を含む。著作権の所有者は、特許商標庁の特許ファイル又は記録に現れるとおりに、特許文書又は特許開示を誰でも複製できることに異議を有しないが、これ以外の場合、全ての著作権を留保する。
【図面の簡単な説明】
【００４２】
【図１】本発明の１つの実施形態に従った例示的な画像ベースコントローラを示す。
【図２】本発明の１つの実施形態に従って、画像ベースコントローラを介してオブジェクトを識別する例示的プロセスを示すフローチャートである。
【図３】本発明の１つの実施形態に従って、ユーザが会議室でポイントする表示装置の例示的識別結果を示す。
【図４】本発明の１つの実施形態に従って、ユーザが会議室でポイントする表示装置の例示的識別結果を示す。
【図５】本発明の１つの実施形態に従って、ユーザが会議室でポイントする表示装置の例示的識別結果を示す。
【符号の説明】
【００４３】
１０１ カメラ付き携帯端末
１０２ オブジェクト
１０３ 処理センター
１０４ インタフェース装置
１０５ オブジェクト特徴のデータベース
【特許請求の範囲】
【請求項１】
画像ベースのオブジェクト制御を支援するシステムであって、
カメラ付き携帯端末と、
複数のオブジェクトの特徴を含むオブジェクト特徴のデータベースと、
を備え、
前記カメラ付き携帯端末は、
関心が有されるオブジェクトの少なくとも１つの画像をポイント及び取得し、
取得された少なくとも１つの画像を、ネットワークを介して、処理センターへ送信し、
前記処理センターが、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から複数のオブジェクトの特徴を抽出し、
前記オブジェクト特徴のデータベースに基づいて、ユーザがポイントするオブジェクトを識別し、
インタフェース装置を介して、識別されたオブジェクトを操作及び制御し、
前記インタフェース装置は、前記処理センター及びオブジェクトの双方とインタラクションする、
オブジェクト制御支援システム。
【請求項２】
前記オブジェクトが、可視ネットワークデバイス及び可視非ネットワーク物理的オブジェクトの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項３】
前記可視ネットワークデバイスが、ビデオプロジェクタ、側部又は後部フラットパネル、前方又は後方室内拡声器、テレビ、及びエアコンの１つである、請求項２に記載のオブジェクト制御支援システム。
【請求項４】
前記可視非ネットワーク物理的オブジェクトが、紙文書、ホワイトボード、ネットワークへ接続されていない従来型機器、及び移動デバイスへ取り付けられたマイクロホンによって記録されるオーディオ信号の１つである、請求項２に記載のオブジェクト制御支援システム。
【請求項５】
前記カメラ付き携帯端末が携帯電話及びＰＤＡの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項６】
前記ネットワークが、インターネット及び無線通信ネットワークの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項７】
前記複数のオブジェクトの特徴の各々が、尺度不変特徴変換（ＳＩＦＴ）特徴、ガボール特徴、離散コサイン変換（ＤＣＴ）係数、光学式文字認識（ＯＣＲ）結果、及び前記カメラ付き携帯端末の他のセンサによって取得されたデータの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項８】
前記処理センターが、スタンドアロン型情報処理装置及び移動デバイス又はサービスセンターに設置された装置の１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項９】
前記オブジェクトが従来型デバイスである場合、前記インタフェース装置が後方互換性を有する、請求項１に記載のオブジェクト制御支援システム。
【請求項１０】
前記オブジェクトが同じネットワークの上にある場合は、前記処理センターがコマンドを該オブジェクトへ送信することによって、または、該オブジェクトを制御するために該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する、請求項１に記載のオブジェクト制御支援システム。
【請求項１１】
画像ベースのオブジェクト制御を支援する方法であって、
複数のオブジェクトの特徴を含むデータベースを確立し、
カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、
オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、
コマンドを介して、識別された前記オブジェクトを操作及び制御する、
オブジェクト制御支援方法。
【請求項１２】
前記オブジェクトの少なくとも１つの画像と操作アクションとの間の複数の動作規則を定義する、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１３】
前記オブジェクトが従来型デバイスである場合、インタフェース装置を介して、該オブジェクトとインタラクションする、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１４】
前記オブジェクトが同じネットワークの上にある場合は、コマンドを該オブジェクトへ送ることによって、または、該オブジェクトを制御するため該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１５】
尺度不変特徴変換（ＳＩＦＴ）を介して、少なくとも１つの画像の中のオブジェクトを識別する、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１６】
画像ベースのオブジェクト制御を支援する機能をコンピュータに実行させるプログラムであって、
該機能は、
複数のオブジェクトの特徴を含むデータベースを確立し、
カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して該少なくとも１つの画像を処理センターへ送信し、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、
オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、
コマンドを介して、識別された前記オブジェクトを操作及び制御する、
ことを含む、オブジェクト制御支援プログラム。
【請求項１７】
画像ベースのオブジェクト制御を支援するシステムであって、
複数のオブジェクトの特徴を含むデータベースを確立する手段と、
カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して少なくとも１つの画像を処理センターへ送信する手段と、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出する手段と、
オブジェクト特徴の前記データベースに基づいて、ユーザがポイントするオブジェクトを識別する手段と、
コマンドを介して、識別された前記オブジェクトを操作及び制御する手段と、
を備えるオブジェクト制御支援システム。
【請求項１】
画像ベースのオブジェクト制御を支援するシステムであって、
カメラ付き携帯端末と、
複数のオブジェクトの特徴を含むオブジェクト特徴のデータベースと、
を備え、
前記カメラ付き携帯端末は、
関心が有されるオブジェクトの少なくとも１つの画像をポイント及び取得し、
取得された少なくとも１つの画像を、ネットワークを介して、処理センターへ送信し、
前記処理センターが、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から複数のオブジェクトの特徴を抽出し、
前記オブジェクト特徴のデータベースに基づいて、ユーザがポイントするオブジェクトを識別し、
インタフェース装置を介して、識別されたオブジェクトを操作及び制御し、
前記インタフェース装置は、前記処理センター及びオブジェクトの双方とインタラクションする、
オブジェクト制御支援システム。
【請求項２】
前記オブジェクトが、可視ネットワークデバイス及び可視非ネットワーク物理的オブジェクトの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項３】
前記可視ネットワークデバイスが、ビデオプロジェクタ、側部又は後部フラットパネル、前方又は後方室内拡声器、テレビ、及びエアコンの１つである、請求項２に記載のオブジェクト制御支援システム。
【請求項４】
前記可視非ネットワーク物理的オブジェクトが、紙文書、ホワイトボード、ネットワークへ接続されていない従来型機器、及び移動デバイスへ取り付けられたマイクロホンによって記録されるオーディオ信号の１つである、請求項２に記載のオブジェクト制御支援システム。
【請求項５】
前記カメラ付き携帯端末が携帯電話及びＰＤＡの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項６】
前記ネットワークが、インターネット及び無線通信ネットワークの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項７】
前記複数のオブジェクトの特徴の各々が、尺度不変特徴変換（ＳＩＦＴ）特徴、ガボール特徴、離散コサイン変換（ＤＣＴ）係数、光学式文字認識（ＯＣＲ）結果、及び前記カメラ付き携帯端末の他のセンサによって取得されたデータの１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項８】
前記処理センターが、スタンドアロン型情報処理装置及び移動デバイス又はサービスセンターに設置された装置の１つである、請求項１に記載のオブジェクト制御支援システム。
【請求項９】
前記オブジェクトが従来型デバイスである場合、前記インタフェース装置が後方互換性を有する、請求項１に記載のオブジェクト制御支援システム。
【請求項１０】
前記オブジェクトが同じネットワークの上にある場合は、前記処理センターがコマンドを該オブジェクトへ送信することによって、または、該オブジェクトを制御するために該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する、請求項１に記載のオブジェクト制御支援システム。
【請求項１１】
画像ベースのオブジェクト制御を支援する方法であって、
複数のオブジェクトの特徴を含むデータベースを確立し、
カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して、該少なくとも１つの画像を処理センターへ送信し、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、
オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、
コマンドを介して、識別された前記オブジェクトを操作及び制御する、
オブジェクト制御支援方法。
【請求項１２】
前記オブジェクトの少なくとも１つの画像と操作アクションとの間の複数の動作規則を定義する、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１３】
前記オブジェクトが従来型デバイスである場合、インタフェース装置を介して、該オブジェクトとインタラクションする、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１４】
前記オブジェクトが同じネットワークの上にある場合は、コマンドを該オブジェクトへ送ることによって、または、該オブジェクトを制御するため該コマンドを赤外線（ＩＲ）信号へ変換することによって、該オブジェクトを操作する、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１５】
尺度不変特徴変換（ＳＩＦＴ）を介して、少なくとも１つの画像の中のオブジェクトを識別する、ことをさらに含む、請求項１１に記載のオブジェクト制御支援方法。
【請求項１６】
画像ベースのオブジェクト制御を支援する機能をコンピュータに実行させるプログラムであって、
該機能は、
複数のオブジェクトの特徴を含むデータベースを確立し、
カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して該少なくとも１つの画像を処理センターへ送信し、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出し、
オブジェクト特徴の前記データベースに基づいて、ユーザがポイントする前記オブジェクトを識別し、
コマンドを介して、識別された前記オブジェクトを操作及び制御する、
ことを含む、オブジェクト制御支援プログラム。
【請求項１７】
画像ベースのオブジェクト制御を支援するシステムであって、
複数のオブジェクトの特徴を含むデータベースを確立する手段と、
カメラ付き携帯端末を介してオブジェクトの少なくとも１つの画像を取得し、ネットワークを介して少なくとも１つの画像を処理センターへ送信する手段と、
前記カメラ付き携帯端末によって取得された少なくとも１つの画像から前記オブジェクトの複数の特徴を抽出する手段と、
オブジェクト特徴の前記データベースに基づいて、ユーザがポイントするオブジェクトを識別する手段と、
コマンドを介して、識別された前記オブジェクトを操作及び制御する手段と、
を備えるオブジェクト制御支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−４７１１５（Ｐ２００８−４７１１５Ａ）
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００７−２０７１０５（Ｐ２００７−２０７１０５）
【出願日】平成１９年８月８日（２００７．８．８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１９年８月８日（２００７．８．８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]