センサベースのモバイル検索、関連方法及びシステム
スマートフォンが、ユーザの環境からの音声、画像及び／又は他の刺激を検知し、自律的に作動して、推論又は予想されたユーザの要望をかなえる。
一態様では、詳述される技術は、電話のカメラによって見られたシーンの、電話ベースの認知に関する。そのシーンに適用される画像処理タスクを、リソースコスト、リソース制約、他の刺激情報（例えば、音声）、タスク代替性などを参照することによって、様々な代替物の中から選択することができる。電話は、画像処理タスクに対し、そのタスクがいかにうまく進行中であるかに応じて、又は、そのタスクへのユーザの明らかな関心に基づいて、より多いか又はより少ないリソースを適用することができる。いくつかの構成では、データが、解析のため、又は、収集のために、クラウドに任されてもよい。
一態様では、詳述される技術は、電話のカメラによって見られたシーンの、電話ベースの認知に関する。そのシーンに適用される画像処理タスクを、リソースコスト、リソース制約、他の刺激情報（例えば、音声）、タスク代替性などを参照することによって、様々な代替物の中から選択することができる。電話は、画像処理タスクに対し、そのタスクがいかにうまく進行中であるかに応じて、又は、そのタスクへのユーザの明らかな関心に基づいて、より多いか又はより少ないリソースを適用することができる。いくつかの構成では、データが、解析のため、又は、収集のために、クラウドに任されてもよい。
Notice: Undefined index: DEJ in /mnt/www/gzt_disp.php on line 298
【特許請求の範囲】
【請求項１】
画像データを処理する、カメラ付きポータブルデバイスを使用した方法であって、前記デバイスがユーザによって携行され、前記方法が、以下の
最初のセットの複数の異なる画像処理演算を行うステップと、
明示されたユーザコマンドなしに、状況が保証するとき、追加の画像処理演算を呼び出すステップと
を含み、
前記デバイスが自律的に作動して、推論又は予想されたユーザの要望をかなえる、方法。
【請求項２】
前記画像処理演算のうち１つ又は複数の結果生じるデータオブジェクトを格納するか、又は、その前記格納を用意し、前記データオブジェクトに関するセマンティックアサーションを、リモートのリンクトデータレジストリへ送信するステップを含む、請求項１に記載の方法。
【請求項３】
前記画像データによって表されたシーン内で１つ又は複数の視覚的特徴を見極め、視覚的ボーブルを前記デバイスの画面上で、前記シーン内の前記視覚的特徴（複数可）に対応する場所（複数可）に提示するステップを含む、請求項１に記載の方法。
【請求項４】
前記ボーブルが、長方形でない形状である、請求項３に記載の方法。
【請求項５】
前記デバイス画面上で１つ又は複数のボーブルに関して、ユーザのジェスチャーを検知し、それに基づいてアクションを起こすステップを含む、請求項３に記載の方法。
【請求項６】
前記アクションが、
（ａ）より多いか又はより少ない処理リソースを、ボーブルに関連付けられた機能に割り振るステップであって、前記機能が、前記ユーザのジェスチャーを検知するより前に開始されている、ステップと、
（ｂ）ボーブルに関連付けられた処理を縮小し、それに関係付けられた情報を格納して、ユーザプリファレンス又は振る舞いのパターンを見極めることができるようにするステップと、
（ｃ）リモート処理システム内で関連処理を継続中に、前記デバイス上でボーブルに関連付けられた処理を少なくとも一時的に縮小するステップと、
（ｄ）画像を編集して、１つ又は複数の特徴を除外するステップと、
（ｅ）前記デバイス画面上に提示された画像データ内の１つ又は複数の特徴の投影を変更するステップと、
（ｆ）複数のボーブルによって表されたエンティティ間の社会的関係を定義するステップとのうち、少なくとも１つを含む、請求項５に記載の方法。
【請求項７】
前記提示されたボーブルのうち少なくとも１つを遠近法によって曲げて、前記シーン内で見極められた表面特徴に対応するようにするステップを含む、請求項３に記載の方法。
【請求項８】
前記画像処理演算のうち１つ又は複数が、前記シーン内で特徴を認識又は識別するなど、所望の結果に向かって進行するとき、前記提示されたボーブルのうちの１つの明るさ、形状又はサイズを変更するステップを含む、請求項３に記載の方法。
【請求項９】
前記呼び出すステップが、
（ａ）場所、
（ｂ）時刻、
（ｃ）１人又は複数の人々への近接、
（ｄ）前記最初のセットの画像処理演算に基づいた出力、又は
（ｅ）ユーザの振る舞いの統計モデル
のうち、少なくとも１つを含む状況に基づいて、追加の画像処理演算を呼び出すサブステップを含む、請求項１に記載の方法。
【請求項１０】
前記画像処理演算のうち１つ又は複数からの結果を含むデータから、前記ユーザによって望まれたインタラクションのタイプについての情報を推論し、そのような情報に基づいて、追加の画像処理演算を呼び出すステップを含む、請求項１に記載の方法。
【請求項１１】
データをリモートシステムへ送信して、前記リモートシステムが前記デバイスと同じ画像処理演算のうち１つ又は複数を行うことができるようにするステップをも含む、請求項１に記載の方法。
【請求項１２】
前記デバイスが自律的に作動して、前記デバイスのカメラによって撮像された硬貨の集まりの価値を決定する、請求項１に記載の方法。
【請求項１３】
第１のセットの行われるべき追加の画像処理演算を、より大きい第２のセットの可能な画像処理演算から、
（ａ）デバイスリソース使用、
（ｂ）異なる前記可能な演算に関連付けられたリソース需要、及び
（ｃ）異なる前記可能な演算の間の対応
のうち、１つ又は複数を示すデータに基づいて、選択するステップを含む、請求項１に記載の方法。
【請求項１４】
前記方法が、前記画像データによって表されたシーン内で１つ又は複数の視覚的特徴を見極め、そのような特徴の各々に関係付けられたデータを、対応する識別子に関連して格納するステップを含み、前記識別子が、以下の
（ａ）セッションＩＤ、
（ｂ）明示的オブジェクトＩＤ、及び
（ｃ）前記特徴から導出された、又は、関連状況から導出されたデータ
のうち、少なくとも２つに基づく、請求項１に記載の方法。
【請求項１５】
前記方法が、前記デバイス内の非画像センサシステムを使用して、非画像情報を作り出し、そのような情報を、以下の
（ａ）画像処理演算の選択に影響を与えること、及び
（ｂ）前記画像データについての２つ以上の候補の結論の間の曖昧性を除去すること
のうち、少なくとも１つのために用いるステップを含み、
前記非画像センサシステムが、ジオロケーションシステム、音声センサ、温度センサ、磁場センサ、動きセンサ又は嗅覚センサのうち、少なくとも１つを含む、請求項１に記載の方法。
【請求項１６】
前記画像データのうち少なくとも一定のもの、又は、前記画像処理演算のうち１つ又は複数からのデータを、リモートコンピュータシステムへ送信して、前記リモートコンピュータシステムが、前記デバイスが−その処理中に−見極めなかった情報を収集するために、前記デバイスによって以前に行われた画像処理を継続することができるようにするステップをさらに含む、請求項１に記載の方法。
【請求項１７】
物理的オブジェクトについての、アサーションにアクセスするため、又は、アサーションを作成するためのユーザの能力を、前記ユーザが前記オブジェクトとの、又は、そのようなアサーションを以前に作成した別のユーザとの明白な関係を有しなければ、制限するステップによって特徴付けられる、リンクトデータ方法。
【請求項１８】
前記明白な関係が、前記物理的オブジェクトから一定の距離内の存在であり、前記ユーザによって携行されたスマートフォンデバイス内のセンサシステムによって作り出されたデータによって示される、請求項１７に記載の方法。
【請求項１９】
ユーザによって携行されたセンサによって作り出されたデータに基づいて、動き情報をチェックし、前記動き情報が、前記ユーザが制限された方法で動いていることを示す場合に、物理的オブジェクトに関する、アサーションにアクセスするため、又は、アサーションを作成するための前記ユーザの能力を制限するステップによって特徴付けられる、リンクトデータ方法。
【請求項２０】
前記制限された方法が、閾値より上の速度の動きを含む、請求項１９に記載の方法。
【請求項２１】
第１のフェーズの演算内で、画像のシーケンスをユーザの周囲からキャプチャするステップと、
前記シーケンスを処理して、その中で特徴を認識し、関連情報を識別するステップであって、前記処理が、前記ユーザによって携行されたポータブル装置によって少なくとも部分的に行われる、ステップと、
前記第１の後に続く第２のフェーズの演算内で、前記ポータブル装置に関連付けられた出力デバイスを使用して、前記関連情報を前記ユーザに提示するステップと
を含む、方法。
【請求項２２】
（ａ）さもなければ前記シーケンスのより前の部分内で識別不可能である、画像特徴を前記シーケンスのより後の部分内で識別し、前記より後の部分からの前記識別を使用して、前記より前の部分内で前記特徴を識別するステップと、
（ｂ）ユーザのジェスチャーに応答して、前記関連情報のうち少なくともいくつかによって注釈が付けられた、前記シーケンスの少なくとも部分中を前方又は後方に進むステップとのうち、少なくとも１つを含む、請求項２１に記載の方法。
【請求項２３】
磁気センサ付きスマートフォンを操作する方法であって、小売店環境内で複数の電磁エミッタによって出された磁気信号を検知し、それに基づいて、ナビゲーション又は製品情報をユーザに提供するステップによって特徴付けられる、方法。
【請求項２４】
センサベースの、人力による、ルートに沿ったナビゲーションの方法であって、前記方法が、
目的地までのルートを決定するステップと、
前記ユーザによって携行された電子装置内の１つ又は複数のセンサを使用して、前記決定されたルートに沿ったユーザの進行を検知するステップと、
フィードバックを前記ユーザに提供して、ナビゲーションを支援するステップと
を含み、
前記フィードバックが、前記ユーザが前記目的地へ向かって進行するにつれて、より頻繁になるクリックのパターンを含む、方法。
【請求項２５】
前記フィードバックが、振動フィードバックを含む、請求項２４に記載の方法。
【請求項２６】
前記ユーザが向く方向に従って、前記フィードバックを変更して、前記ユーザによる進行するべき方向の決定を支援するステップを含む、請求項２４に記載の方法。
【請求項２７】
前記ユーザが静止しているとき、前記フィードバックの大きさを増し、又は、前記ユーザが動いているとき、前記フィードバックの前記大きさを減らすステップを含む、請求項２４に記載の方法。
【請求項２８】
前記１つ又は複数のセンサが、その方向を示す出力データを作り出す磁力計を含み、前記磁力計が、前記装置が前記ユーザによって携行される向きにより、前記ユーザが向いている方向よりも逸脱する方向を示すことが可能であり、前記方法が、前記逸脱を補償するステップを含む、請求項２４に記載の方法。
【請求項１】
画像データを処理する、カメラ付きポータブルデバイスを使用した方法であって、前記デバイスがユーザによって携行され、前記方法が、以下の
最初のセットの複数の異なる画像処理演算を行うステップと、
明示されたユーザコマンドなしに、状況が保証するとき、追加の画像処理演算を呼び出すステップと
を含み、
前記デバイスが自律的に作動して、推論又は予想されたユーザの要望をかなえる、方法。
【請求項２】
前記画像処理演算のうち１つ又は複数の結果生じるデータオブジェクトを格納するか、又は、その前記格納を用意し、前記データオブジェクトに関するセマンティックアサーションを、リモートのリンクトデータレジストリへ送信するステップを含む、請求項１に記載の方法。
【請求項３】
前記画像データによって表されたシーン内で１つ又は複数の視覚的特徴を見極め、視覚的ボーブルを前記デバイスの画面上で、前記シーン内の前記視覚的特徴（複数可）に対応する場所（複数可）に提示するステップを含む、請求項１に記載の方法。
【請求項４】
前記ボーブルが、長方形でない形状である、請求項３に記載の方法。
【請求項５】
前記デバイス画面上で１つ又は複数のボーブルに関して、ユーザのジェスチャーを検知し、それに基づいてアクションを起こすステップを含む、請求項３に記載の方法。
【請求項６】
前記アクションが、
（ａ）より多いか又はより少ない処理リソースを、ボーブルに関連付けられた機能に割り振るステップであって、前記機能が、前記ユーザのジェスチャーを検知するより前に開始されている、ステップと、
（ｂ）ボーブルに関連付けられた処理を縮小し、それに関係付けられた情報を格納して、ユーザプリファレンス又は振る舞いのパターンを見極めることができるようにするステップと、
（ｃ）リモート処理システム内で関連処理を継続中に、前記デバイス上でボーブルに関連付けられた処理を少なくとも一時的に縮小するステップと、
（ｄ）画像を編集して、１つ又は複数の特徴を除外するステップと、
（ｅ）前記デバイス画面上に提示された画像データ内の１つ又は複数の特徴の投影を変更するステップと、
（ｆ）複数のボーブルによって表されたエンティティ間の社会的関係を定義するステップとのうち、少なくとも１つを含む、請求項５に記載の方法。
【請求項７】
前記提示されたボーブルのうち少なくとも１つを遠近法によって曲げて、前記シーン内で見極められた表面特徴に対応するようにするステップを含む、請求項３に記載の方法。
【請求項８】
前記画像処理演算のうち１つ又は複数が、前記シーン内で特徴を認識又は識別するなど、所望の結果に向かって進行するとき、前記提示されたボーブルのうちの１つの明るさ、形状又はサイズを変更するステップを含む、請求項３に記載の方法。
【請求項９】
前記呼び出すステップが、
（ａ）場所、
（ｂ）時刻、
（ｃ）１人又は複数の人々への近接、
（ｄ）前記最初のセットの画像処理演算に基づいた出力、又は
（ｅ）ユーザの振る舞いの統計モデル
のうち、少なくとも１つを含む状況に基づいて、追加の画像処理演算を呼び出すサブステップを含む、請求項１に記載の方法。
【請求項１０】
前記画像処理演算のうち１つ又は複数からの結果を含むデータから、前記ユーザによって望まれたインタラクションのタイプについての情報を推論し、そのような情報に基づいて、追加の画像処理演算を呼び出すステップを含む、請求項１に記載の方法。
【請求項１１】
データをリモートシステムへ送信して、前記リモートシステムが前記デバイスと同じ画像処理演算のうち１つ又は複数を行うことができるようにするステップをも含む、請求項１に記載の方法。
【請求項１２】
前記デバイスが自律的に作動して、前記デバイスのカメラによって撮像された硬貨の集まりの価値を決定する、請求項１に記載の方法。
【請求項１３】
第１のセットの行われるべき追加の画像処理演算を、より大きい第２のセットの可能な画像処理演算から、
（ａ）デバイスリソース使用、
（ｂ）異なる前記可能な演算に関連付けられたリソース需要、及び
（ｃ）異なる前記可能な演算の間の対応
のうち、１つ又は複数を示すデータに基づいて、選択するステップを含む、請求項１に記載の方法。
【請求項１４】
前記方法が、前記画像データによって表されたシーン内で１つ又は複数の視覚的特徴を見極め、そのような特徴の各々に関係付けられたデータを、対応する識別子に関連して格納するステップを含み、前記識別子が、以下の
（ａ）セッションＩＤ、
（ｂ）明示的オブジェクトＩＤ、及び
（ｃ）前記特徴から導出された、又は、関連状況から導出されたデータ
のうち、少なくとも２つに基づく、請求項１に記載の方法。
【請求項１５】
前記方法が、前記デバイス内の非画像センサシステムを使用して、非画像情報を作り出し、そのような情報を、以下の
（ａ）画像処理演算の選択に影響を与えること、及び
（ｂ）前記画像データについての２つ以上の候補の結論の間の曖昧性を除去すること
のうち、少なくとも１つのために用いるステップを含み、
前記非画像センサシステムが、ジオロケーションシステム、音声センサ、温度センサ、磁場センサ、動きセンサ又は嗅覚センサのうち、少なくとも１つを含む、請求項１に記載の方法。
【請求項１６】
前記画像データのうち少なくとも一定のもの、又は、前記画像処理演算のうち１つ又は複数からのデータを、リモートコンピュータシステムへ送信して、前記リモートコンピュータシステムが、前記デバイスが−その処理中に−見極めなかった情報を収集するために、前記デバイスによって以前に行われた画像処理を継続することができるようにするステップをさらに含む、請求項１に記載の方法。
【請求項１７】
物理的オブジェクトについての、アサーションにアクセスするため、又は、アサーションを作成するためのユーザの能力を、前記ユーザが前記オブジェクトとの、又は、そのようなアサーションを以前に作成した別のユーザとの明白な関係を有しなければ、制限するステップによって特徴付けられる、リンクトデータ方法。
【請求項１８】
前記明白な関係が、前記物理的オブジェクトから一定の距離内の存在であり、前記ユーザによって携行されたスマートフォンデバイス内のセンサシステムによって作り出されたデータによって示される、請求項１７に記載の方法。
【請求項１９】
ユーザによって携行されたセンサによって作り出されたデータに基づいて、動き情報をチェックし、前記動き情報が、前記ユーザが制限された方法で動いていることを示す場合に、物理的オブジェクトに関する、アサーションにアクセスするため、又は、アサーションを作成するための前記ユーザの能力を制限するステップによって特徴付けられる、リンクトデータ方法。
【請求項２０】
前記制限された方法が、閾値より上の速度の動きを含む、請求項１９に記載の方法。
【請求項２１】
第１のフェーズの演算内で、画像のシーケンスをユーザの周囲からキャプチャするステップと、
前記シーケンスを処理して、その中で特徴を認識し、関連情報を識別するステップであって、前記処理が、前記ユーザによって携行されたポータブル装置によって少なくとも部分的に行われる、ステップと、
前記第１の後に続く第２のフェーズの演算内で、前記ポータブル装置に関連付けられた出力デバイスを使用して、前記関連情報を前記ユーザに提示するステップと
を含む、方法。
【請求項２２】
（ａ）さもなければ前記シーケンスのより前の部分内で識別不可能である、画像特徴を前記シーケンスのより後の部分内で識別し、前記より後の部分からの前記識別を使用して、前記より前の部分内で前記特徴を識別するステップと、
（ｂ）ユーザのジェスチャーに応答して、前記関連情報のうち少なくともいくつかによって注釈が付けられた、前記シーケンスの少なくとも部分中を前方又は後方に進むステップとのうち、少なくとも１つを含む、請求項２１に記載の方法。
【請求項２３】
磁気センサ付きスマートフォンを操作する方法であって、小売店環境内で複数の電磁エミッタによって出された磁気信号を検知し、それに基づいて、ナビゲーション又は製品情報をユーザに提供するステップによって特徴付けられる、方法。
【請求項２４】
センサベースの、人力による、ルートに沿ったナビゲーションの方法であって、前記方法が、
目的地までのルートを決定するステップと、
前記ユーザによって携行された電子装置内の１つ又は複数のセンサを使用して、前記決定されたルートに沿ったユーザの進行を検知するステップと、
フィードバックを前記ユーザに提供して、ナビゲーションを支援するステップと
を含み、
前記フィードバックが、前記ユーザが前記目的地へ向かって進行するにつれて、より頻繁になるクリックのパターンを含む、方法。
【請求項２５】
前記フィードバックが、振動フィードバックを含む、請求項２４に記載の方法。
【請求項２６】
前記ユーザが向く方向に従って、前記フィードバックを変更して、前記ユーザによる進行するべき方向の決定を支援するステップを含む、請求項２４に記載の方法。
【請求項２７】
前記ユーザが静止しているとき、前記フィードバックの大きさを増し、又は、前記ユーザが動いているとき、前記フィードバックの前記大きさを減らすステップを含む、請求項２４に記載の方法。
【請求項２８】
前記１つ又は複数のセンサが、その方向を示す出力データを作り出す磁力計を含み、前記磁力計が、前記装置が前記ユーザによって携行される向きにより、前記ユーザが向いている方向よりも逸脱する方向を示すことが可能であり、前記方法が、前記逸脱を補償するステップを含む、請求項２４に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図５Ａ】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図９】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図５Ａ】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図９】
【図１７】
【図１８】
【公表番号】特表２０１３−５０９６５４（Ｐ２０１３−５０９６５４Ａ）
【公表日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１２−５３７０７４（Ｐ２０１２−５３７０７４）
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５４５４４
【国際公開番号】ＷＯ２０１１／０５９７６１
【国際公開日】平成２３年５月１９日（２０１１．５．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＡＣＥＢＯＯＫ
２．ＧＳＭ
３．アンドロイド
４．ＡＮＤＲＯＩＤ
５．ＪＡＶＡ
６．ＪＡＶＡＳＣＲＩＰＴ
７．ＹｏｕＴｕｂｅ
８．ＢＬＵＥＴＯＯＴＨ
９．ＵＮＩＸ
１０．ＺＩＧＢＥＥ
１１．イーサネット
１２．ＥＴＨＥＲＮＥＴ
１３．リナックス
１４．Ｌｉｎｕｘ
１５．Ｆｌｉｃｋｒ
１６．ｉＰｈｏｎｅ
１７．Ｓｙｍｂｉａｎ
１８．Ｗｉｋｉｐｅｄｉａ
１９．ＬｉｎｋｅｄＩｎ
２０．ＷＣＤＭＡ
２１．Ｖｉｓｕａｌ Ｂａｓｉｃ
【出願人】（３１００２１９７３）ディジマーク コーポレイション (13)
【Ｆターム（参考）】
【公表日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５４５４４
【国際公開番号】ＷＯ２０１１／０５９７６１
【国際公開日】平成２３年５月１９日（２０１１．５．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＡＣＥＢＯＯＫ
２．ＧＳＭ
３．アンドロイド
４．ＡＮＤＲＯＩＤ
５．ＪＡＶＡ
６．ＪＡＶＡＳＣＲＩＰＴ
７．ＹｏｕＴｕｂｅ
８．ＢＬＵＥＴＯＯＴＨ
９．ＵＮＩＸ
１０．ＺＩＧＢＥＥ
１１．イーサネット
１２．ＥＴＨＥＲＮＥＴ
１３．リナックス
１４．Ｌｉｎｕｘ
１５．Ｆｌｉｃｋｒ
１６．ｉＰｈｏｎｅ
１７．Ｓｙｍｂｉａｎ
１８．Ｗｉｋｉｐｅｄｉａ
１９．ＬｉｎｋｅｄＩｎ
２０．ＷＣＤＭＡ
２１．Ｖｉｓｕａｌ Ｂａｓｉｃ
【出願人】（３１００２１９７３）ディジマーク コーポレイション (13)
【Ｆターム（参考）】
[ Back to top ]