ハンドヘルド型デバイス用の磁気センサ
【課題】磁場検知を用いて高度な命令制御を行うとともに、携帯デバイスにデータを入力する。
【解決手段】磁場センサを携帯デバイスに埋め込むか又は固定的に取り付け、携帯デバイスを用いて空書きやジェスチャーを行う際のデバイスの１次元、２次元又は３次元の動き又は傾きに伴う磁場の強度及び／又は方向の変化を測定する。
【解決手段】磁場センサを携帯デバイスに埋め込むか又は固定的に取り付け、携帯デバイスを用いて空書きやジェスチャーを行う際のデバイスの１次元、２次元又は３次元の動き又は傾きに伴う磁場の強度及び／又は方向の変化を測定する。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２００６年７月１４日出願の米国特許出願第１１／４８７，１０８号の一部継続出願であり、２００６年２月１日出願の仮特許出願第６０／７６４，０２２号の利益を主張するものである。
［連邦政府による資金提供を受けた研究開発の記載］
なし
［技術分野］
本発明は、磁場の変化を利用して携帯デバイスに高度な命令（コマンド）制御及びデータ入力を行うことを開示し、特にハンドヘルド型デバイスの磁気センサを利用して当該装置の意図的な動きに伴う磁場の変化を検出することを開示するものである。
【背景技術】
【０００２】
携帯デバイス、特に（これらに限るものではないが）例えば携帯電話、コードレス電話、携帯メールデバイス、ポケットベル、トランシーバ、携帯ナビゲーションシステム、携帯音楽プレーヤー、携帯ビデオプレーヤー、携帯マルチメディアデバイス、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯ゲーム機等の携帯無線装置が、日々の生活で用いられている。従来、ユーザが携帯デバイスに命令入力やデータ入力を行うには、例えばキーボード入力や、ボタン押下、スタイラスやデジタルペンを用いた手書き等といった入力デバイスが用いられてきた。携帯デバイスが高度化するにつれ、旧来のボタン入力や手書き入力では、デバイスに効率的に命令を与えたり情報を入力したりするのに不十分な場合があり、またデータが大きすぎるため素早く入力できない場合がある。
【０００３】
動きセンサ、例えば動き検知加速度計の開発により、携帯デバイス自体を動かすことによって、従来のデバイスへの情報入力と同じくらい容易に携帯デバイスに命令を与えたりデータを入力したりすることが出来るようになっている。例えば、Ｚｅｔｔｓ等による米国特許第５，８６４，６３５号明細書には、複数画のスタイラス入力を検出し、その入力をジェスチャー又は手書き文字のいずれかに分類する方法及び装置が開示されている。高橋らの米国特許第５，５８３，５４３号明細書には、ジェスチャー命令判定部を備えた処理装置が開示されている。このジェスチャー命令判定部は、線画の軌跡座標を用いてジェスチャー命令を認識するものである。データ入力には、ペンと画面との位置関係が用いられている。Ｋｉｒａｌｙらの米国特許第６，２４９，６０６号明細書には、カーソル指示装置、例えばマウスを用いてジェスチャーを描画及び記録するジェスチャー認識方法及び装置が開示されている。
【０００４】
これらのシステムでは、命令制御データを入力するために携帯型の構成要素が別途必要となる。こうしたデバイスの動き検出要素は、単にスタイラスやペン、マウス等の相対運動に基づいたものである。
【０００５】
従って、携帯デバイス自体を用いて命令制御及びデータ入力を行う方法、装置、及びシステムを提供することが望ましい。また、携帯デバイスの動きを利用するだけではなく、携帯デバイスの意図的な動きに伴う磁場の強さ及び方向の少なくとも一方の変化も検知して命令制御及びデータ入力を行うようになされた命令制御及びデータ入力方法、装置、及びシステムを提供することが望ましい。
【発明の概要】
【０００６】
携帯デバイス、例えば無線デバイス、携帯電話、コードレス電話、携帯メールデバイス、デジタルポケットベル、トランシーバ、携帯ナビゲーションシステム、携帯音楽プレーヤー、携帯ビデオプレーヤー、携帯マルチメディアデバイス、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯ゲーム機等に対して制御命令を発するとともに／又は携帯デバイスにデータを入力する動き及び磁場検知装置を開示する。上記動き及び磁場検知装置、例えば少なくとも一の磁気センサは、携帯デバイスに固定的に取り付けられるか又は埋め込まれるとともに、例えば空書き（エアライティング：ａｉｒ ｗｒｉｔｉｎｇ）やジェスチャーによる携帯デバイスの１軸、２軸又は３軸の動きに起因する磁場の強さ及び磁場の方向の少なくとも一方の変化を検知又は検出するように構成されている。
【０００７】
また、動き及び磁場検知を用いて携帯デバイスを制御するか又は携帯デバイスにデータを入力するシステムを開示する。このシステムは、携帯デバイスの３軸の動きに起因する磁場の強さ及び磁場の方向の少なくとも一方の変化或いは携帯デバイスの動きの大きさ又は量を検知又は検出する動き及び磁場検知装置と、動き及び磁場検知装置から送られた動き及び磁場データ信号を受信するデータ収集部と、所定の動き及び磁場データを記憶するメモリと、制御部とを備える。
【０００８】
制御部は、データ収集部から送られたフィルタリング済み信号を解析し、デバイスの動きに起因する磁場の強さ及び磁場の方向の少なくとも一方の変化の特徴を特定し、磁場の強さ及び／又は磁場の方向の変化の特徴を、メモリに格納した個別の出力命令及び入力動作と磁場の強さの変化及び／又は磁場の方向の変化との間の所定の相関データと比較し、動きにより誘起されたフィルタリング済み信号の磁場の強さ及び／又は方向の変化の特徴と所定の相関データとが一致する場合、所定の相関関係に対応付けられた適当な出力命令又は入力動作を自動的に実行する。データ収集部は、データ信号をフィルタリングして磁場の強さの変化及び／又は磁場の方向の変化の特徴を含む所望の信号を得るフィルタリング部を更に含む。
【０００９】
また、携帯デバイスの動きに起因する磁場の強さ及び／又は磁場の方向の変化のいずれか一方を用いて携帯デバイスを制御するとともに携帯デバイスにデータを入力する方法を開示する。各方法は、磁場検知装置を携帯デバイス内に取り付け又は埋め込み、携帯デバイスの動きに起因する磁場の強さの変化及び／又は磁場の方向の変化間の所定の相関関係であって、それぞれ個別の制御動作に一意的に対応付けられた複数の所定の相関関係を用意し、携帯デバイスの動きに起因する磁場の強さの変化及び／又は磁場の方向の変化を磁場検知装置で検出し、検出した動きに起因する磁場の強さの変化及び／又は磁場の方向の変化を、前記複数の所定の相関関係と比較し、相関関係に対応付けられた個別の制御動作又はデータ入力を開始することを含む。
【図面の簡単な説明】
【００１０】
本発明の上記及びその他の目的、特徴、並びに利点は、添付の図面に示す本発明の好ましい実施形態の以下のより詳細な説明から明らかになるであろう。添付の図面では、同一の参照符号は異なる図面においても同一の部品を示すものである。図面は必ずしも縮尺通りではなく、本発明の原理を示すことに重点が置かれている。
本発明は、更に、以下の図面と共に参照する発明の詳細な説明からより明らかになるであろう。
【図１】図１は、先行技術に係る加速度又は重力による加速度を検出する加速度計を示す図である。
【図２】図２は、本発明に係る携帯デバイスを用いてデータ入力及び／又は命令機能を制御する装置のブロック図である。
【図３Ａ】図３Ａは、本発明に係る携帯デバイスを第１のテキストスクロール速度を得る方向に向けた様子を示す図である。
【図３Ｂ】図３Ｂは、本発明に係る携帯デバイスを第２のテキストスクロール速度を得る方向に向けた様子を示す図である。
【図４Ａ】図４Ａは、先行技術に係る、例えば携帯電話等（これに限らない）の携帯デバイスをスクロール又はナビゲートする方法の模式図である。
【図４Ｂ】図４Ｂは、本発明に係る、例えば携帯電話等（これに限らない）の携帯デバイスをスクロール又はナビゲートする別の方法の模式図である。
【図５】図５は、本発明に係る携帯デバイスを用いてディスプレイ画面に入りきらない大きなデジタル画像をパン表示する様子を示す図である。
【図６】図６は、本発明に係る携帯デバイスをマウスとして用いて、デジタル画像の第１ビュー範囲を同じデジタル画像の第２ビュー範囲へ「ドラッグ＆ドロップ」する様子を示す図である。
【図７】図７は、本発明に係る携帯デバイスを用いて英数字を空書きする様子を示す図である。
【図８】図８は、携帯デバイスを用いて、空書きによりデータを入力又はデバイスを制御を行う方法を示すフローチャートである。
【図９】図９は、本発明に係る動き検出に用いる磁場検知装置を有する携帯デバイスのブロック図である。
【図１０】図１０は、少なくとも一の磁場検知装置を有する携帯デバイスを用いて、空書きによりデータを入力又はデバイスを制御する方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
２００６年７月１４日出願の米国特許出願第１１／４８７，１０８号及び２００６年２月１日出願の仮特許出願第６０／７６４，０２２号は、その全体がここに含まれるものである。
【００１２】
動き検知装置又は動きセンサ、例えば加速度計、歪み計、圧電素子、圧電抵抗素子、容量性素子、機械スイッチ、ボール・チューブ装置、ジャイロスコープ、コンパス、磁気素子、光学素子、赤外線素子等は、固定的に取り付けた対象物の動きを検出する手段として当業界では周知である。図１に示すように、動き検知装置は、移動物体１０の各軸における加速度を時間に対して測定することにより１軸、２軸又は３軸の動きを検出することができ、そこから速度及び距離関係を例えば積分によって求めることが出来る。
【００１３】
例えば、物体１０に加わる重力（加速度の一種）を測定することで、加速度方向に対する物体１０の向き及び角度（θ）を求めることが出来る。従って、加速度計を利用して、加速度（重力による加速度を含む）、速度、及び距離だけではなく、傾きや勾配、自由落下、衝撃、及び振動を検出することも可能である。なお、本発明では、動き検知装置として加速度計を用いるものとして説明を行うが、本発明は然様に解釈及び限定されるものではない。
【００１４】
例えば空書きやハンドジェスチャーによる動き等のあらゆる動きは、それぞれ特有の加速度、速度、及び位置データ特性を有することが知られており、ユーザの定義した入力、例えば空書きやハンドジェスチャーによる動き等の信号応答と、信号応答データベースとの比較が可能である。比較結果を利用して、携帯デバイスへの命令や機能を開始又は起動することが出来る。
【００１５】
空書きやハンドジェスチャー等による動きの変化は、また、それぞれ磁場特性を有する。従って、例えば空書きやハンドジェスチャー等、ユーザの定義した入力に起因する磁場の強さ及び磁場の方向の少なくとも一方に対応付けられた信号応答の変化と、こうした信号変化のデータベースとの比較が可能である。比較結果を利用して、携帯デバイスへの命令や機能を開始又は起動することが出来る。
【００１６】
先行技術では、単純運動によりデバイスを傾けたり動かしたりすることで、例えばメニューを次の項目に進めたり、メニューを一定の速度でスクロールしたりするよう制御可能な無線デバイスが記載されている。それに対して請求項に係る本発明は、無線及び無線以外（すなわち有線）の携帯デバイスを、動きの量又は大きさだけではなく、動きの変化率、例えば傾斜角の変化率等によっても制御するものである。実際、この携帯デバイスは、動きの検出だけではなく、携帯デバイスの動きの量又は大きさを測定したり、動きの変化率を測定したりすることでも制御を行うものである。従って、動きの変化率及び大きさも利用して、データ入力の制御や機能実行の制御が行われる。
【００１７】
先行技術には、単純運動の検出について記載しているものもあるが、本実施形態の説明では、例えば変化率等、あらゆる動き情報を用いて機能及び命令を実行する。変化率が入力されなければ、携帯デバイスの動き検知は単純運動に限られることになる。本実施形態では、また、携帯デバイスが様々なデータやファイル、情報を管理し、検索し、ソートするための検索条件やフィルタリング方式を、空書きを利用して入力する方法について説明する。
【００１８】
図２は、デバイスの動きの大きさ、特に動きの変化率を検知することで携帯デバイス２５を制御するシステム２０のブロック図である。システム２０は、動き検知装置２２、データ収集装置２４、例えばマイクロコントロールユニット（ＭＣＵ）等のコントローラ２６、及びメモリ２８を備える。メモリ２８は、例えば所定の動き又はジェスチャーのデータを一時的及び永久に記憶する記憶装置であり、アプリケーション又はドライバプログラムを記憶する記憶装置であり、アプリケーション又はドライバプログラムを実行するための一時領域等である。メモリ２８は、一以上のランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、キャッシュメモリ、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、フラッシュメモリ等でありうる。
【００１９】
加速度計２２は、ハンドヘルド型の携帯デバイス２５と連携動作するように固定的に取り付けられるか又は埋め込まれている。これにより、携帯デバイス２５を動かすと、加速度計２２が同じ大きさ及び変化率で同じ動きをするようになっている。加速度計２２は、携帯デバイス２５の動きを検知し、その動きのアナログ又はデジタルデータ２１をデータ収集部２４に提供する。
【００２０】
本発明の一態様では、加速度計２２は、動きの大きさ及び動きの方向を検出し記録するだけではなく、より好ましくは動きの変化量、例えば携帯デバイス２５がゆっくりと回転しているのか速く回転しているのか、携帯デバイス２５がゆっくりと傾くところなのか速く傾くところなのか等についても検出し記録するように構成されている。
【００２１】
データ収集部２４（Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｕｎｉｔ：ＤＡＵ）は、動き検知装置２２から送られた信号データ２１を取得すると、信号データ２１をアナログ信号からデジタル信号へ又はデジタル信号からアナログ信号へと変換し、或いはアナログからデジタルへ又はデジタルからアナログへと変換せずに信号データ２１をそのままの形でＤＡＵ２４を介してコントローラ２６へ渡す。ＤＡＵ２４は、信号データ２１をフィルタリングして動きの特徴を含む所望の信号データ２３を得るフィルタリング部、例えばローパスフィルタを含む。ＤＡＵ２４は、こうしてフィルタリングしたデータ２３をコントローラ２６へ提供する。コントローラ２６は、ＤＡＵ２４からのフィルタリングされた加速度計データ２３を解析し、動きの特徴を特定する。
【００２２】
次にコントローラ２６は、動き信号の特徴を、メモリ２８の例えばジェスチャー又は空書きモーションの参照テーブルに格納された所定の動きデータと比較する。一致しない場合、動き検知装置２２により動きデータ２１を再び読み込み、処理を繰り返す。動き信号の特徴が一致する場合、携帯デバイス２５に対する所定の出力命令が自動的に生成され、送信される。
【００２３】
本発明を、その機能例を挙げて更に開示する。例えば、ユーザが携帯デバイス２５のディスプレイ３２上でテキストを読んでいて、ディスプレイ画面３２に入りきらないテキスト部分をスクロールしたいという場合、傾斜角の変化率あるいは傾斜角の量又は大きさによって、ディスプレイ３２上のテキストのスクロール速度を増減することが出来る。例えば、図３Ａに、ユーザがＰＤＡ２５をほぼ直立した向きで保持している様子を示す。この場合、ユーザは、第１の速度ｒ１でスクロールするテキストを読むことが出来る。ＰＤＡ２５を前方に傾けると、図３Ｂに示すように、テキストのスクロール速度は第１の速度ｒ１よりも速い第２の速度ｒ２に増加する。あるいは、実際の傾斜角によってスクロール速度を制御する代わりに、ＰＤＡ２５を速く（又はゆっくりと）傾けることによってテキストのスクロール速度を増加することもできる。上の例は、逆にスクロール速度を減少させる場合にも適用することが出来る。
【００２４】
また、携帯デバイス２５を移動したり傾けたりして、様々な命令や機能を実行することが出来る。こうした機能や命令は、例えば電子メール、インターネット、通話、携帯メール等といった用途によって異なり、例えば携帯電話やＭＰ３プレーヤー等といった携帯デバイス２５の使用形態によっても様々である。
【００２５】
図４Ａは、携帯デバイスの模式図であり、例えば４つのメニュー項目５１ａ〜５１ｄと、ダイヤルパッド５２を備えた携帯電話５０の模式図である。先行技術では、ユーザは、携帯電話５０を傾けたり動かしたりして所望のメニュー項目、例えば「電話」５１ａを選択し、携帯電話５０を再び傾けたり動かしたりして次のメニュー項目、例えば「電話帳５１ｂ」等を選択する必要がある。従って、メニューを「電話」５１ａから「Ｅメール」５１ｄの項目へスクロールさせるには、ユーザは、動き、ジェスチャー又は傾斜を３回に分けて行わざるを得ない。
【００２６】
それに対して、本発明の一態様によると、デバイスの傾き、特にデバイスの傾きの変化率を利用して、メニュー項目を別のメニュー項目へとより早くまたはより遅くスクロールすることが可能であり、複数回のモーションジェスチャーを必要としない。このように、特定の速度又は大きさで１回動かしたり傾けたりすることにより、図４Ｂに示すように、「電話」５１ａから「Ｅメール」５１ｄへと連続的にスクロールさせることが出来る。こうした動き検知を利用して、携帯デバイス２５のあらゆる命令及び項目選択を行うことが可能である。
【００２７】
本発明の別の態様では、システム２０において、格納されたテキストや格納された画像データに対して携帯デバイス２５を移動、すなわち携帯デバイス２５をパン（横移動）することが出来る。更に詳しくは、携帯デバイスのディスプレイ画面３２を、ディスプレイ画面３２に入りきらないテキストや表示画像上でパンすることが出来る。この特徴により、ユーザは携帯デバイス２５を動かして、携帯デバイス２５に格納されたテキストや画像データのあちこちに「仮想ウィンドウ」をナビゲート（移動）することが出来る。このように、動き検知を利用して、特定の画像、文書、スプレッドシート、テキスト、その他のファイル内を見てまわることが出来る。
【００２８】
図５において、本特徴は、格納された電子画像、例えばデジタル写真が大きすぎて携帯デバイス２５のディスプレイ３２に全体を表示できない場合等に、写真のあちこちを見てまわるのに便利である。第１の向きにおいて、ディスプレイ画面３２には、画像４２の第１ビュー範囲４４の第１画像４３が表示される。携帯デバイス２５を１次元、２次元又は３次元方向に動かして第２の向きにすると、ディスプレイ画面３２には同じ画像４２の第２ビュー範囲４６の第２画像４５が表示される。
【００２９】
上述の特徴にモーションジェスチャーを組み合わせて、別の機能または特徴、例えばズームイン、ズームアウト、コピー、切り取り、貼り付け等を特定のアプリケーション内で開始することもできる。例えば、携帯デバイス２５をマウス等の外付け入力装置として機能させ、例えば「ドラッグ＆ドロップ」型の操作を行うように構成することが出来る。
【００３０】
図６に、本発明に係る携帯デバイス２５を用いて「ドラッグ＆ドロップ」操作を行う様子を示す。前述のように、ユーザは、携帯デバイス２５を１次元、２次元又は３次元方向に動かすことにより、第１ビュー範囲４４の第１画像４３から第２ビュー範囲４６の第２画像４５へとパンすることが出来る。また、携帯デバイス２５を用いて所定のジェスチャーを行った後では、装置２５を例えばマウス等の外付け装置として使用することが出来る。
【００３１】
このモードでは、ユーザは、画像４２の異なるビュー範囲４４，４６を見る代わりに、所定のジェスチャーを行うことで、第１ビュー範囲４４ａを選択し、その画像４３を同じ画像４２の第２ビュー範囲４４ｂに「ドラッグ＆ドロップ」又は「カット＆ペースト」することが出来る。
【００３２】
あるアプリケーションでは、加速度計２２が動きを検出することから、所定の動きやジェスチャーを検出した際に、所望の機能やアプリケーションを自動的に直ちに実行することが出来る。例えば、携帯電話が鳴り、ユーザが携帯電話を取りだして耳に当てた瞬間に、加速度計２２は、電話に出るその所定の動作を検出することが出来る。その結果、ユーザが送信ボタン等を操作しなくても、コントローラ２６が自動的に発信者に接続することが出来る。
【００３３】
反対に、携帯電話が鳴った後で動きが無いことを検出するように加速度計２２を構成することも出来る。例えば、携帯電話がオンになっていて、電話が鳴ったにもかかわらず加速度計２２が加速度信号データを検出も記録もしない場合、コントローラ２６は、音響信号又は視覚信号を代わりに発生させて、電話が掛かってきたことをユーザに通知・警告することが出来る。コントローラ２６は、必要に応じて、発信者を切断したり、電源を切ったり、及び／またはスタンバイモードに入ってバッテリー残量を節約することも出来る。こうした考え方は、呼の検出や人の動きの有無によって「起動」したり「終了」したり「スタンバイ」モードに入ったりする全ての携帯デバイス２５に当てはまるものである。本特徴は、コードレス電話において特に便利であり、基地局となるクレードルに戻してあるかにかかわらず、動き検出の有無に応じてコードレス電話をオンオフするのに便利である。
【００３４】
別のアプリケーションでは、加速度計２２を、例えばヘッドマウント式ビデオカメラ、ディスプレイ、イヤフォン、マイク等のヘッドマウント式装置（図示せず）に配置することが出来る。ヘッドマウント式装置を用いてユーザの頭部の様々な動きを検出し、命令や動作を開始するのに利用することが出来る。例えば、携帯デバイス２５に無線接続したイヤフォンを、例えば携帯デバイスのオンオフや、電話応答、音量調整等の所定の動きを検出するように構成することが出来る。ユーザが頭を動かすにより、例えばメニューをスクロールしたり、画像内をパン又は移動したり、或いはヘッドマウント式装置の制御する機器を制御したり設定したり出来るようにデバイス２５を構成することも出来る。
【００３５】
更に別のアプリケーションでは、動き検知又はジェスチャー検知を利用して、自動的に携帯デバイス２５に英数字を入力することが出来る。例えば、携帯デバイス２５を用いて空中に英数字を書く、いわゆる「空書き」を行い、コントローラ２６が、空書きした文字を例えばメモリ２８に格納した較正ジェスチャー又は較正筆跡と比較することにより、書いた文字を特定するように構成してもよい。
【００３６】
図７に、ハンドヘルド型電話６０を数字の「６」６２を空書きするように動かした様子を示す。加速度計２２は、動きデータ信号２１をデータ収集部２４を介してコントローラ２６に送信する。コントローラ２６は、フィルタリングした加速度データ信号２３をメモリ２８に格納した適当な動き又はジェスチャー文字と突き合わせると、数字「６」をディスプレイ６４に表示する。
【００３７】
空書きした文字６２とメモリ２８内のジェスチャー又は筆跡が一致した場合、コントローラ２６は当該所定のジェスチャー又は筆跡に対応する動作又は機能を実行する。例えば、こうした特徴により、ユーザは、電話番号を順に空書きしたり、メモリ２８に格納した電話番号に対応付けられた人名を順に綴ったりすることで携帯電話を掛けることが出来る。
【００３８】
ショートカット用のジェスチャーやシンボルを空書きすることで、機能や動作を開始することも出来る。例えば、ハートの輪郭を空書きすることで、自宅に電話を掛けることも出来る。空書きを用いて、検索条件やフィルタリング方式を入力することも出来る。例えば、ＭＰ３プレーヤーやメディアプレーヤーを用いて英数字を空書きして、楽曲や演奏者の頭文字や最初の数文字を入力したり、データをフィルタリングしたりソートしたりすることが出来る。ユーザは、文字を空書きで追加し、情報を更にフィルタリングしたりソートしたりしても良い。こうした特徴は、例えばアップル（登録商標）社のｉＰｏｄ（登録商標）等の様に、何千ものデータや連絡先、楽曲、ファイル、映像等が携帯デバイスに格納されて並んでいる場合に特に有用である。
【００３９】
第２の実施形態では、請求項に係る本発明は、無線及び無線以外（すなわち有線）の携帯デバイスを、携帯デバイスの意図的な動きに伴う磁場の大きさの変化及び／又は方向の変化に応じて制御するものである。実際、この携帯デバイスは、上に詳述した動きの検出だけではなく、携帯デバイスの動きに伴う同デバイスの磁場の大きさの変化及び／又は磁場の方向の変化を測定することによっても制御することが出来る。従って、磁場の強さ及び／又は方向の少なくとも一方の変化も用いて、データ入力の制御や機能実行の制御が行われる。
【００４０】
図９に、磁場検知装置９５を有する携帯デバイス９０のブロック図を示す。磁場検知装置９５は、携帯デバイス９０の意図的な動きに伴う磁場の強さ及び磁場の方向の少なくとも一方の測定可能な変化を用いて、携帯デバイス９０の機能を制御するとともに／又は携帯デバイス９０へデータを入力するようになされている。
【００４１】
磁場検知装置９５は、振る動作、回転動作、及びフリップ動作による地球磁場９２のわずかな変化を検出するように構成することが出来る。こうして、携帯デバイス９０の意図的な動きに伴う磁場の強さの信号及び／又は磁場の強さの変化の信号をコントローラ９２に送ることが出来る。コントローラ９２は、携帯デバイス９０自体を制御するとともに／又は携帯デバイス９０で実行するアプリケーション９４を制御するように構成されている。
【００４２】
例えば、振る動作を利用して、現在のアプリケーション９４ａを次のアプリケーション９４ｂへと切り換えることが出来る。例えばプレイリスト中のある曲から次の曲へ移ったり、画像リスト中のある画像から次の画像へ移ったりすることが出来る。
【００４３】
ハンドヘルド型デバイス９０を裏返す、いわゆるフリップ動作を利用して、音響関連のアプリケーション９４ｃに関する音量レベルを制御することが出来る。例えば、フリップ動作を用いて、音響関連のアプリケーション９４ｃをミュートしたり、あるいはミュートを解除したりすることが出来る。
【００４４】
ハンドヘルド型デバイス９０を回転させる回転動作を用いて、回転関連のアプリケーション９４ｄを制御することが出来る。例えば、ハンドヘルド型デバイス９０と一体化された表示装置９６又はハンドヘルド型デバイス９０に電気的に結合された表示装置９６に表示されている画像やウェブサイト表示、すなわちページを、９０°、１８０°等にリアルタイムで回転させることが出来る。特定のアプリケーションでは、ハンドヘルド型デバイス９０をゲームコントローラとして用いて、プレーヤーが表示装置９６に表示されている物体、例えばハンドルや操縦装置等の向きを制御することが出来る。ハンドヘルド型デバイス９０に回転動作を加えることで、表示装置９６上の地図の位置を、例えば上下左右にスクロールしたり、ズームイン、ズームアウトするなどして制御することも出来る。
【００４５】
以上、デバイス自体を用いて携帯デバイスを制御するとともに／又はデバイス自体を用いて携帯デバイスにデータを入力するシステム及び装置を説明した。以下、携帯デバイスの動きを利用してデバイスを制御するとともに／又はデバイスにデータを入力する方法について説明する。図８において、第１ステップでは、動き検知装置、例えば加速度計等を、当業界で周知の仕方で携帯デバイスに取り付け又は埋め込むことが出来る（ステップ１）。第２ステップでは、所定の動き又はジェスチャーを複数記憶したメモリを用意することが出来る（ステップ２）。一態様では、複数の所定の動き又はジェスチャーを、それぞれ個別の制御又は入力動作、例えばポインタの様な動作に一意的に対応付けることが出来る。これにより、検知した携帯デバイスの動きが複数の所定の動き又はジェスチャーのいずれかと一致した場合、所定の動き又はジェスチャーに対応付けられた制御又は入力機能或いは動作が自動的に実行される。
【００４６】
次のステップでは、動き検知装置が携帯デバイスの動きを監視及び検出し、更に携帯デバイスの動きの変化率を計算して記録する（ステップ３）。こうした加速度信号データをコントローラに提供して、複数の所定の動きと比較することが出来る（ステップ５）。必要に応じて、動き検知装置からの動きデータ及び動きの変化率データをフィルタリングし（ステップ４）、不要なノイズを取り除いた後で、動き及び動きの変化率を複数の所定の動きと比較するのが好ましい（ステップ５）。
【００４７】
動き及び動きの変化率の信号データとメモリに格納した複数の所定の動きとを比較した結果、いずれも一致しない場合、動き検知装置は携帯デバイスの動きの監視及び検出を続けるとともに、携帯デバイスの動きの変化率の計算を続ける（ステップ３）。一方、動き及び動きの変化率と複数の所定の動きとを比較した結果、一致した場合、コントローラは、一致した所定の動きに対応付けられた機能、動作、ドライバプログラム、アプリケーション等を実行する（ステップ６）。
【００４８】
以上、デバイス自体を用いて携帯デバイスを制御するとともに／又はデバイス自体を用いて携帯デバイスにデータを入力するシステム及び装置を説明した。以下、携帯デバイスの意図的な動きに伴う磁場の強度及び磁場の方向の少なくともいずれか一方の変化を検出することにより、デバイスを制御するとともに／又はデバイスにデータを入力する方法について説明する。図１０において、第１ステップでは、磁場検知装置、例えば磁気コンパス、磁器探知機などを、当業界で周知の仕方で携帯デバイスに取り付け又は埋め込むことが出来る（ステップ１１）。第２ステップでは、磁場の強さの個々の変化と各所定の動き又はジェスチャーとの相関関係、並びに／或いは磁場の方向の個々の変化と各所定の動き又はジェスチャーとの相関関係を記憶したメモリを用意することが出来る（ステップ１２）。一態様では、相関関係をそれぞれ個別の制御又は入力動作、例えばポインタの様な動作に一意的に対応付けることが出来る。これにより、検出した磁場の強さの変化及び／又は検出した磁場の方向の変化が、複数の所定の相関関係のいずれかと一致した場合、所定の相関関係に対応付けられた制御又は入力機能或いは動作が自動的に実行される。
【００４９】
次のステップにおいて、磁場検知装置は、携帯デバイスの意図的な動きに伴う磁場の強さの変化及び／又は磁場の方向の変化を監視及び検出する（ステップ１３）。こうした磁場の強さ／方向の変化の信号データをコントローラに提供して、複数の所定の相関関係と比較することが出来る（ステップ１５）。必要に応じて、磁場検知装置からの信号データをフィルタリングし（ステップ１４）、不要なノイズを取り除いた後で、上記変化を複数の所定の相関関係と比較するのが好ましい（ステップ１５）。
【００５０】
信号データとメモリに格納した複数の所定の相関関係とを比較した結果、いずれも一致しない場合、磁場検知装置は携帯デバイスの磁場の強さ及び／又は方向の変化について監視及び検出を続ける（ステップ１３）。一方、信号データと複数の所定の相関関係とを比較した結果、一致した場合、コントローラは、一致した所定の動きに対応付けられた機能、動作、ドライバプログラム、アプリケーション等を実行する（ステップ１６）。
【００５１】
本発明を上述の実施形態とともに説明したが、例示の実施形態には、開示の発明思想から逸脱することなく変形や変更を施しうることが当業者には理解されよう。
よって本発明は、添付の請求項の範囲及び精神による以外、何ら制限されるものではない。
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２００６年７月１４日出願の米国特許出願第１１／４８７，１０８号の一部継続出願であり、２００６年２月１日出願の仮特許出願第６０／７６４，０２２号の利益を主張するものである。
［連邦政府による資金提供を受けた研究開発の記載］
なし
［技術分野］
本発明は、磁場の変化を利用して携帯デバイスに高度な命令（コマンド）制御及びデータ入力を行うことを開示し、特にハンドヘルド型デバイスの磁気センサを利用して当該装置の意図的な動きに伴う磁場の変化を検出することを開示するものである。
【背景技術】
【０００２】
携帯デバイス、特に（これらに限るものではないが）例えば携帯電話、コードレス電話、携帯メールデバイス、ポケットベル、トランシーバ、携帯ナビゲーションシステム、携帯音楽プレーヤー、携帯ビデオプレーヤー、携帯マルチメディアデバイス、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯ゲーム機等の携帯無線装置が、日々の生活で用いられている。従来、ユーザが携帯デバイスに命令入力やデータ入力を行うには、例えばキーボード入力や、ボタン押下、スタイラスやデジタルペンを用いた手書き等といった入力デバイスが用いられてきた。携帯デバイスが高度化するにつれ、旧来のボタン入力や手書き入力では、デバイスに効率的に命令を与えたり情報を入力したりするのに不十分な場合があり、またデータが大きすぎるため素早く入力できない場合がある。
【０００３】
動きセンサ、例えば動き検知加速度計の開発により、携帯デバイス自体を動かすことによって、従来のデバイスへの情報入力と同じくらい容易に携帯デバイスに命令を与えたりデータを入力したりすることが出来るようになっている。例えば、Ｚｅｔｔｓ等による米国特許第５，８６４，６３５号明細書には、複数画のスタイラス入力を検出し、その入力をジェスチャー又は手書き文字のいずれかに分類する方法及び装置が開示されている。高橋らの米国特許第５，５８３，５４３号明細書には、ジェスチャー命令判定部を備えた処理装置が開示されている。このジェスチャー命令判定部は、線画の軌跡座標を用いてジェスチャー命令を認識するものである。データ入力には、ペンと画面との位置関係が用いられている。Ｋｉｒａｌｙらの米国特許第６，２４９，６０６号明細書には、カーソル指示装置、例えばマウスを用いてジェスチャーを描画及び記録するジェスチャー認識方法及び装置が開示されている。
【０００４】
これらのシステムでは、命令制御データを入力するために携帯型の構成要素が別途必要となる。こうしたデバイスの動き検出要素は、単にスタイラスやペン、マウス等の相対運動に基づいたものである。
【０００５】
従って、携帯デバイス自体を用いて命令制御及びデータ入力を行う方法、装置、及びシステムを提供することが望ましい。また、携帯デバイスの動きを利用するだけではなく、携帯デバイスの意図的な動きに伴う磁場の強さ及び方向の少なくとも一方の変化も検知して命令制御及びデータ入力を行うようになされた命令制御及びデータ入力方法、装置、及びシステムを提供することが望ましい。
【発明の概要】
【０００６】
携帯デバイス、例えば無線デバイス、携帯電話、コードレス電話、携帯メールデバイス、デジタルポケットベル、トランシーバ、携帯ナビゲーションシステム、携帯音楽プレーヤー、携帯ビデオプレーヤー、携帯マルチメディアデバイス、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯ゲーム機等に対して制御命令を発するとともに／又は携帯デバイスにデータを入力する動き及び磁場検知装置を開示する。上記動き及び磁場検知装置、例えば少なくとも一の磁気センサは、携帯デバイスに固定的に取り付けられるか又は埋め込まれるとともに、例えば空書き（エアライティング：ａｉｒ ｗｒｉｔｉｎｇ）やジェスチャーによる携帯デバイスの１軸、２軸又は３軸の動きに起因する磁場の強さ及び磁場の方向の少なくとも一方の変化を検知又は検出するように構成されている。
【０００７】
また、動き及び磁場検知を用いて携帯デバイスを制御するか又は携帯デバイスにデータを入力するシステムを開示する。このシステムは、携帯デバイスの３軸の動きに起因する磁場の強さ及び磁場の方向の少なくとも一方の変化或いは携帯デバイスの動きの大きさ又は量を検知又は検出する動き及び磁場検知装置と、動き及び磁場検知装置から送られた動き及び磁場データ信号を受信するデータ収集部と、所定の動き及び磁場データを記憶するメモリと、制御部とを備える。
【０００８】
制御部は、データ収集部から送られたフィルタリング済み信号を解析し、デバイスの動きに起因する磁場の強さ及び磁場の方向の少なくとも一方の変化の特徴を特定し、磁場の強さ及び／又は磁場の方向の変化の特徴を、メモリに格納した個別の出力命令及び入力動作と磁場の強さの変化及び／又は磁場の方向の変化との間の所定の相関データと比較し、動きにより誘起されたフィルタリング済み信号の磁場の強さ及び／又は方向の変化の特徴と所定の相関データとが一致する場合、所定の相関関係に対応付けられた適当な出力命令又は入力動作を自動的に実行する。データ収集部は、データ信号をフィルタリングして磁場の強さの変化及び／又は磁場の方向の変化の特徴を含む所望の信号を得るフィルタリング部を更に含む。
【０００９】
また、携帯デバイスの動きに起因する磁場の強さ及び／又は磁場の方向の変化のいずれか一方を用いて携帯デバイスを制御するとともに携帯デバイスにデータを入力する方法を開示する。各方法は、磁場検知装置を携帯デバイス内に取り付け又は埋め込み、携帯デバイスの動きに起因する磁場の強さの変化及び／又は磁場の方向の変化間の所定の相関関係であって、それぞれ個別の制御動作に一意的に対応付けられた複数の所定の相関関係を用意し、携帯デバイスの動きに起因する磁場の強さの変化及び／又は磁場の方向の変化を磁場検知装置で検出し、検出した動きに起因する磁場の強さの変化及び／又は磁場の方向の変化を、前記複数の所定の相関関係と比較し、相関関係に対応付けられた個別の制御動作又はデータ入力を開始することを含む。
【図面の簡単な説明】
【００１０】
本発明の上記及びその他の目的、特徴、並びに利点は、添付の図面に示す本発明の好ましい実施形態の以下のより詳細な説明から明らかになるであろう。添付の図面では、同一の参照符号は異なる図面においても同一の部品を示すものである。図面は必ずしも縮尺通りではなく、本発明の原理を示すことに重点が置かれている。
本発明は、更に、以下の図面と共に参照する発明の詳細な説明からより明らかになるであろう。
【図１】図１は、先行技術に係る加速度又は重力による加速度を検出する加速度計を示す図である。
【図２】図２は、本発明に係る携帯デバイスを用いてデータ入力及び／又は命令機能を制御する装置のブロック図である。
【図３Ａ】図３Ａは、本発明に係る携帯デバイスを第１のテキストスクロール速度を得る方向に向けた様子を示す図である。
【図３Ｂ】図３Ｂは、本発明に係る携帯デバイスを第２のテキストスクロール速度を得る方向に向けた様子を示す図である。
【図４Ａ】図４Ａは、先行技術に係る、例えば携帯電話等（これに限らない）の携帯デバイスをスクロール又はナビゲートする方法の模式図である。
【図４Ｂ】図４Ｂは、本発明に係る、例えば携帯電話等（これに限らない）の携帯デバイスをスクロール又はナビゲートする別の方法の模式図である。
【図５】図５は、本発明に係る携帯デバイスを用いてディスプレイ画面に入りきらない大きなデジタル画像をパン表示する様子を示す図である。
【図６】図６は、本発明に係る携帯デバイスをマウスとして用いて、デジタル画像の第１ビュー範囲を同じデジタル画像の第２ビュー範囲へ「ドラッグ＆ドロップ」する様子を示す図である。
【図７】図７は、本発明に係る携帯デバイスを用いて英数字を空書きする様子を示す図である。
【図８】図８は、携帯デバイスを用いて、空書きによりデータを入力又はデバイスを制御を行う方法を示すフローチャートである。
【図９】図９は、本発明に係る動き検出に用いる磁場検知装置を有する携帯デバイスのブロック図である。
【図１０】図１０は、少なくとも一の磁場検知装置を有する携帯デバイスを用いて、空書きによりデータを入力又はデバイスを制御する方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
２００６年７月１４日出願の米国特許出願第１１／４８７，１０８号及び２００６年２月１日出願の仮特許出願第６０／７６４，０２２号は、その全体がここに含まれるものである。
【００１２】
動き検知装置又は動きセンサ、例えば加速度計、歪み計、圧電素子、圧電抵抗素子、容量性素子、機械スイッチ、ボール・チューブ装置、ジャイロスコープ、コンパス、磁気素子、光学素子、赤外線素子等は、固定的に取り付けた対象物の動きを検出する手段として当業界では周知である。図１に示すように、動き検知装置は、移動物体１０の各軸における加速度を時間に対して測定することにより１軸、２軸又は３軸の動きを検出することができ、そこから速度及び距離関係を例えば積分によって求めることが出来る。
【００１３】
例えば、物体１０に加わる重力（加速度の一種）を測定することで、加速度方向に対する物体１０の向き及び角度（θ）を求めることが出来る。従って、加速度計を利用して、加速度（重力による加速度を含む）、速度、及び距離だけではなく、傾きや勾配、自由落下、衝撃、及び振動を検出することも可能である。なお、本発明では、動き検知装置として加速度計を用いるものとして説明を行うが、本発明は然様に解釈及び限定されるものではない。
【００１４】
例えば空書きやハンドジェスチャーによる動き等のあらゆる動きは、それぞれ特有の加速度、速度、及び位置データ特性を有することが知られており、ユーザの定義した入力、例えば空書きやハンドジェスチャーによる動き等の信号応答と、信号応答データベースとの比較が可能である。比較結果を利用して、携帯デバイスへの命令や機能を開始又は起動することが出来る。
【００１５】
空書きやハンドジェスチャー等による動きの変化は、また、それぞれ磁場特性を有する。従って、例えば空書きやハンドジェスチャー等、ユーザの定義した入力に起因する磁場の強さ及び磁場の方向の少なくとも一方に対応付けられた信号応答の変化と、こうした信号変化のデータベースとの比較が可能である。比較結果を利用して、携帯デバイスへの命令や機能を開始又は起動することが出来る。
【００１６】
先行技術では、単純運動によりデバイスを傾けたり動かしたりすることで、例えばメニューを次の項目に進めたり、メニューを一定の速度でスクロールしたりするよう制御可能な無線デバイスが記載されている。それに対して請求項に係る本発明は、無線及び無線以外（すなわち有線）の携帯デバイスを、動きの量又は大きさだけではなく、動きの変化率、例えば傾斜角の変化率等によっても制御するものである。実際、この携帯デバイスは、動きの検出だけではなく、携帯デバイスの動きの量又は大きさを測定したり、動きの変化率を測定したりすることでも制御を行うものである。従って、動きの変化率及び大きさも利用して、データ入力の制御や機能実行の制御が行われる。
【００１７】
先行技術には、単純運動の検出について記載しているものもあるが、本実施形態の説明では、例えば変化率等、あらゆる動き情報を用いて機能及び命令を実行する。変化率が入力されなければ、携帯デバイスの動き検知は単純運動に限られることになる。本実施形態では、また、携帯デバイスが様々なデータやファイル、情報を管理し、検索し、ソートするための検索条件やフィルタリング方式を、空書きを利用して入力する方法について説明する。
【００１８】
図２は、デバイスの動きの大きさ、特に動きの変化率を検知することで携帯デバイス２５を制御するシステム２０のブロック図である。システム２０は、動き検知装置２２、データ収集装置２４、例えばマイクロコントロールユニット（ＭＣＵ）等のコントローラ２６、及びメモリ２８を備える。メモリ２８は、例えば所定の動き又はジェスチャーのデータを一時的及び永久に記憶する記憶装置であり、アプリケーション又はドライバプログラムを記憶する記憶装置であり、アプリケーション又はドライバプログラムを実行するための一時領域等である。メモリ２８は、一以上のランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、キャッシュメモリ、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、フラッシュメモリ等でありうる。
【００１９】
加速度計２２は、ハンドヘルド型の携帯デバイス２５と連携動作するように固定的に取り付けられるか又は埋め込まれている。これにより、携帯デバイス２５を動かすと、加速度計２２が同じ大きさ及び変化率で同じ動きをするようになっている。加速度計２２は、携帯デバイス２５の動きを検知し、その動きのアナログ又はデジタルデータ２１をデータ収集部２４に提供する。
【００２０】
本発明の一態様では、加速度計２２は、動きの大きさ及び動きの方向を検出し記録するだけではなく、より好ましくは動きの変化量、例えば携帯デバイス２５がゆっくりと回転しているのか速く回転しているのか、携帯デバイス２５がゆっくりと傾くところなのか速く傾くところなのか等についても検出し記録するように構成されている。
【００２１】
データ収集部２４（Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｕｎｉｔ：ＤＡＵ）は、動き検知装置２２から送られた信号データ２１を取得すると、信号データ２１をアナログ信号からデジタル信号へ又はデジタル信号からアナログ信号へと変換し、或いはアナログからデジタルへ又はデジタルからアナログへと変換せずに信号データ２１をそのままの形でＤＡＵ２４を介してコントローラ２６へ渡す。ＤＡＵ２４は、信号データ２１をフィルタリングして動きの特徴を含む所望の信号データ２３を得るフィルタリング部、例えばローパスフィルタを含む。ＤＡＵ２４は、こうしてフィルタリングしたデータ２３をコントローラ２６へ提供する。コントローラ２６は、ＤＡＵ２４からのフィルタリングされた加速度計データ２３を解析し、動きの特徴を特定する。
【００２２】
次にコントローラ２６は、動き信号の特徴を、メモリ２８の例えばジェスチャー又は空書きモーションの参照テーブルに格納された所定の動きデータと比較する。一致しない場合、動き検知装置２２により動きデータ２１を再び読み込み、処理を繰り返す。動き信号の特徴が一致する場合、携帯デバイス２５に対する所定の出力命令が自動的に生成され、送信される。
【００２３】
本発明を、その機能例を挙げて更に開示する。例えば、ユーザが携帯デバイス２５のディスプレイ３２上でテキストを読んでいて、ディスプレイ画面３２に入りきらないテキスト部分をスクロールしたいという場合、傾斜角の変化率あるいは傾斜角の量又は大きさによって、ディスプレイ３２上のテキストのスクロール速度を増減することが出来る。例えば、図３Ａに、ユーザがＰＤＡ２５をほぼ直立した向きで保持している様子を示す。この場合、ユーザは、第１の速度ｒ１でスクロールするテキストを読むことが出来る。ＰＤＡ２５を前方に傾けると、図３Ｂに示すように、テキストのスクロール速度は第１の速度ｒ１よりも速い第２の速度ｒ２に増加する。あるいは、実際の傾斜角によってスクロール速度を制御する代わりに、ＰＤＡ２５を速く（又はゆっくりと）傾けることによってテキストのスクロール速度を増加することもできる。上の例は、逆にスクロール速度を減少させる場合にも適用することが出来る。
【００２４】
また、携帯デバイス２５を移動したり傾けたりして、様々な命令や機能を実行することが出来る。こうした機能や命令は、例えば電子メール、インターネット、通話、携帯メール等といった用途によって異なり、例えば携帯電話やＭＰ３プレーヤー等といった携帯デバイス２５の使用形態によっても様々である。
【００２５】
図４Ａは、携帯デバイスの模式図であり、例えば４つのメニュー項目５１ａ〜５１ｄと、ダイヤルパッド５２を備えた携帯電話５０の模式図である。先行技術では、ユーザは、携帯電話５０を傾けたり動かしたりして所望のメニュー項目、例えば「電話」５１ａを選択し、携帯電話５０を再び傾けたり動かしたりして次のメニュー項目、例えば「電話帳５１ｂ」等を選択する必要がある。従って、メニューを「電話」５１ａから「Ｅメール」５１ｄの項目へスクロールさせるには、ユーザは、動き、ジェスチャー又は傾斜を３回に分けて行わざるを得ない。
【００２６】
それに対して、本発明の一態様によると、デバイスの傾き、特にデバイスの傾きの変化率を利用して、メニュー項目を別のメニュー項目へとより早くまたはより遅くスクロールすることが可能であり、複数回のモーションジェスチャーを必要としない。このように、特定の速度又は大きさで１回動かしたり傾けたりすることにより、図４Ｂに示すように、「電話」５１ａから「Ｅメール」５１ｄへと連続的にスクロールさせることが出来る。こうした動き検知を利用して、携帯デバイス２５のあらゆる命令及び項目選択を行うことが可能である。
【００２７】
本発明の別の態様では、システム２０において、格納されたテキストや格納された画像データに対して携帯デバイス２５を移動、すなわち携帯デバイス２５をパン（横移動）することが出来る。更に詳しくは、携帯デバイスのディスプレイ画面３２を、ディスプレイ画面３２に入りきらないテキストや表示画像上でパンすることが出来る。この特徴により、ユーザは携帯デバイス２５を動かして、携帯デバイス２５に格納されたテキストや画像データのあちこちに「仮想ウィンドウ」をナビゲート（移動）することが出来る。このように、動き検知を利用して、特定の画像、文書、スプレッドシート、テキスト、その他のファイル内を見てまわることが出来る。
【００２８】
図５において、本特徴は、格納された電子画像、例えばデジタル写真が大きすぎて携帯デバイス２５のディスプレイ３２に全体を表示できない場合等に、写真のあちこちを見てまわるのに便利である。第１の向きにおいて、ディスプレイ画面３２には、画像４２の第１ビュー範囲４４の第１画像４３が表示される。携帯デバイス２５を１次元、２次元又は３次元方向に動かして第２の向きにすると、ディスプレイ画面３２には同じ画像４２の第２ビュー範囲４６の第２画像４５が表示される。
【００２９】
上述の特徴にモーションジェスチャーを組み合わせて、別の機能または特徴、例えばズームイン、ズームアウト、コピー、切り取り、貼り付け等を特定のアプリケーション内で開始することもできる。例えば、携帯デバイス２５をマウス等の外付け入力装置として機能させ、例えば「ドラッグ＆ドロップ」型の操作を行うように構成することが出来る。
【００３０】
図６に、本発明に係る携帯デバイス２５を用いて「ドラッグ＆ドロップ」操作を行う様子を示す。前述のように、ユーザは、携帯デバイス２５を１次元、２次元又は３次元方向に動かすことにより、第１ビュー範囲４４の第１画像４３から第２ビュー範囲４６の第２画像４５へとパンすることが出来る。また、携帯デバイス２５を用いて所定のジェスチャーを行った後では、装置２５を例えばマウス等の外付け装置として使用することが出来る。
【００３１】
このモードでは、ユーザは、画像４２の異なるビュー範囲４４，４６を見る代わりに、所定のジェスチャーを行うことで、第１ビュー範囲４４ａを選択し、その画像４３を同じ画像４２の第２ビュー範囲４４ｂに「ドラッグ＆ドロップ」又は「カット＆ペースト」することが出来る。
【００３２】
あるアプリケーションでは、加速度計２２が動きを検出することから、所定の動きやジェスチャーを検出した際に、所望の機能やアプリケーションを自動的に直ちに実行することが出来る。例えば、携帯電話が鳴り、ユーザが携帯電話を取りだして耳に当てた瞬間に、加速度計２２は、電話に出るその所定の動作を検出することが出来る。その結果、ユーザが送信ボタン等を操作しなくても、コントローラ２６が自動的に発信者に接続することが出来る。
【００３３】
反対に、携帯電話が鳴った後で動きが無いことを検出するように加速度計２２を構成することも出来る。例えば、携帯電話がオンになっていて、電話が鳴ったにもかかわらず加速度計２２が加速度信号データを検出も記録もしない場合、コントローラ２６は、音響信号又は視覚信号を代わりに発生させて、電話が掛かってきたことをユーザに通知・警告することが出来る。コントローラ２６は、必要に応じて、発信者を切断したり、電源を切ったり、及び／またはスタンバイモードに入ってバッテリー残量を節約することも出来る。こうした考え方は、呼の検出や人の動きの有無によって「起動」したり「終了」したり「スタンバイ」モードに入ったりする全ての携帯デバイス２５に当てはまるものである。本特徴は、コードレス電話において特に便利であり、基地局となるクレードルに戻してあるかにかかわらず、動き検出の有無に応じてコードレス電話をオンオフするのに便利である。
【００３４】
別のアプリケーションでは、加速度計２２を、例えばヘッドマウント式ビデオカメラ、ディスプレイ、イヤフォン、マイク等のヘッドマウント式装置（図示せず）に配置することが出来る。ヘッドマウント式装置を用いてユーザの頭部の様々な動きを検出し、命令や動作を開始するのに利用することが出来る。例えば、携帯デバイス２５に無線接続したイヤフォンを、例えば携帯デバイスのオンオフや、電話応答、音量調整等の所定の動きを検出するように構成することが出来る。ユーザが頭を動かすにより、例えばメニューをスクロールしたり、画像内をパン又は移動したり、或いはヘッドマウント式装置の制御する機器を制御したり設定したり出来るようにデバイス２５を構成することも出来る。
【００３５】
更に別のアプリケーションでは、動き検知又はジェスチャー検知を利用して、自動的に携帯デバイス２５に英数字を入力することが出来る。例えば、携帯デバイス２５を用いて空中に英数字を書く、いわゆる「空書き」を行い、コントローラ２６が、空書きした文字を例えばメモリ２８に格納した較正ジェスチャー又は較正筆跡と比較することにより、書いた文字を特定するように構成してもよい。
【００３６】
図７に、ハンドヘルド型電話６０を数字の「６」６２を空書きするように動かした様子を示す。加速度計２２は、動きデータ信号２１をデータ収集部２４を介してコントローラ２６に送信する。コントローラ２６は、フィルタリングした加速度データ信号２３をメモリ２８に格納した適当な動き又はジェスチャー文字と突き合わせると、数字「６」をディスプレイ６４に表示する。
【００３７】
空書きした文字６２とメモリ２８内のジェスチャー又は筆跡が一致した場合、コントローラ２６は当該所定のジェスチャー又は筆跡に対応する動作又は機能を実行する。例えば、こうした特徴により、ユーザは、電話番号を順に空書きしたり、メモリ２８に格納した電話番号に対応付けられた人名を順に綴ったりすることで携帯電話を掛けることが出来る。
【００３８】
ショートカット用のジェスチャーやシンボルを空書きすることで、機能や動作を開始することも出来る。例えば、ハートの輪郭を空書きすることで、自宅に電話を掛けることも出来る。空書きを用いて、検索条件やフィルタリング方式を入力することも出来る。例えば、ＭＰ３プレーヤーやメディアプレーヤーを用いて英数字を空書きして、楽曲や演奏者の頭文字や最初の数文字を入力したり、データをフィルタリングしたりソートしたりすることが出来る。ユーザは、文字を空書きで追加し、情報を更にフィルタリングしたりソートしたりしても良い。こうした特徴は、例えばアップル（登録商標）社のｉＰｏｄ（登録商標）等の様に、何千ものデータや連絡先、楽曲、ファイル、映像等が携帯デバイスに格納されて並んでいる場合に特に有用である。
【００３９】
第２の実施形態では、請求項に係る本発明は、無線及び無線以外（すなわち有線）の携帯デバイスを、携帯デバイスの意図的な動きに伴う磁場の大きさの変化及び／又は方向の変化に応じて制御するものである。実際、この携帯デバイスは、上に詳述した動きの検出だけではなく、携帯デバイスの動きに伴う同デバイスの磁場の大きさの変化及び／又は磁場の方向の変化を測定することによっても制御することが出来る。従って、磁場の強さ及び／又は方向の少なくとも一方の変化も用いて、データ入力の制御や機能実行の制御が行われる。
【００４０】
図９に、磁場検知装置９５を有する携帯デバイス９０のブロック図を示す。磁場検知装置９５は、携帯デバイス９０の意図的な動きに伴う磁場の強さ及び磁場の方向の少なくとも一方の測定可能な変化を用いて、携帯デバイス９０の機能を制御するとともに／又は携帯デバイス９０へデータを入力するようになされている。
【００４１】
磁場検知装置９５は、振る動作、回転動作、及びフリップ動作による地球磁場９２のわずかな変化を検出するように構成することが出来る。こうして、携帯デバイス９０の意図的な動きに伴う磁場の強さの信号及び／又は磁場の強さの変化の信号をコントローラ９２に送ることが出来る。コントローラ９２は、携帯デバイス９０自体を制御するとともに／又は携帯デバイス９０で実行するアプリケーション９４を制御するように構成されている。
【００４２】
例えば、振る動作を利用して、現在のアプリケーション９４ａを次のアプリケーション９４ｂへと切り換えることが出来る。例えばプレイリスト中のある曲から次の曲へ移ったり、画像リスト中のある画像から次の画像へ移ったりすることが出来る。
【００４３】
ハンドヘルド型デバイス９０を裏返す、いわゆるフリップ動作を利用して、音響関連のアプリケーション９４ｃに関する音量レベルを制御することが出来る。例えば、フリップ動作を用いて、音響関連のアプリケーション９４ｃをミュートしたり、あるいはミュートを解除したりすることが出来る。
【００４４】
ハンドヘルド型デバイス９０を回転させる回転動作を用いて、回転関連のアプリケーション９４ｄを制御することが出来る。例えば、ハンドヘルド型デバイス９０と一体化された表示装置９６又はハンドヘルド型デバイス９０に電気的に結合された表示装置９６に表示されている画像やウェブサイト表示、すなわちページを、９０°、１８０°等にリアルタイムで回転させることが出来る。特定のアプリケーションでは、ハンドヘルド型デバイス９０をゲームコントローラとして用いて、プレーヤーが表示装置９６に表示されている物体、例えばハンドルや操縦装置等の向きを制御することが出来る。ハンドヘルド型デバイス９０に回転動作を加えることで、表示装置９６上の地図の位置を、例えば上下左右にスクロールしたり、ズームイン、ズームアウトするなどして制御することも出来る。
【００４５】
以上、デバイス自体を用いて携帯デバイスを制御するとともに／又はデバイス自体を用いて携帯デバイスにデータを入力するシステム及び装置を説明した。以下、携帯デバイスの動きを利用してデバイスを制御するとともに／又はデバイスにデータを入力する方法について説明する。図８において、第１ステップでは、動き検知装置、例えば加速度計等を、当業界で周知の仕方で携帯デバイスに取り付け又は埋め込むことが出来る（ステップ１）。第２ステップでは、所定の動き又はジェスチャーを複数記憶したメモリを用意することが出来る（ステップ２）。一態様では、複数の所定の動き又はジェスチャーを、それぞれ個別の制御又は入力動作、例えばポインタの様な動作に一意的に対応付けることが出来る。これにより、検知した携帯デバイスの動きが複数の所定の動き又はジェスチャーのいずれかと一致した場合、所定の動き又はジェスチャーに対応付けられた制御又は入力機能或いは動作が自動的に実行される。
【００４６】
次のステップでは、動き検知装置が携帯デバイスの動きを監視及び検出し、更に携帯デバイスの動きの変化率を計算して記録する（ステップ３）。こうした加速度信号データをコントローラに提供して、複数の所定の動きと比較することが出来る（ステップ５）。必要に応じて、動き検知装置からの動きデータ及び動きの変化率データをフィルタリングし（ステップ４）、不要なノイズを取り除いた後で、動き及び動きの変化率を複数の所定の動きと比較するのが好ましい（ステップ５）。
【００４７】
動き及び動きの変化率の信号データとメモリに格納した複数の所定の動きとを比較した結果、いずれも一致しない場合、動き検知装置は携帯デバイスの動きの監視及び検出を続けるとともに、携帯デバイスの動きの変化率の計算を続ける（ステップ３）。一方、動き及び動きの変化率と複数の所定の動きとを比較した結果、一致した場合、コントローラは、一致した所定の動きに対応付けられた機能、動作、ドライバプログラム、アプリケーション等を実行する（ステップ６）。
【００４８】
以上、デバイス自体を用いて携帯デバイスを制御するとともに／又はデバイス自体を用いて携帯デバイスにデータを入力するシステム及び装置を説明した。以下、携帯デバイスの意図的な動きに伴う磁場の強度及び磁場の方向の少なくともいずれか一方の変化を検出することにより、デバイスを制御するとともに／又はデバイスにデータを入力する方法について説明する。図１０において、第１ステップでは、磁場検知装置、例えば磁気コンパス、磁器探知機などを、当業界で周知の仕方で携帯デバイスに取り付け又は埋め込むことが出来る（ステップ１１）。第２ステップでは、磁場の強さの個々の変化と各所定の動き又はジェスチャーとの相関関係、並びに／或いは磁場の方向の個々の変化と各所定の動き又はジェスチャーとの相関関係を記憶したメモリを用意することが出来る（ステップ１２）。一態様では、相関関係をそれぞれ個別の制御又は入力動作、例えばポインタの様な動作に一意的に対応付けることが出来る。これにより、検出した磁場の強さの変化及び／又は検出した磁場の方向の変化が、複数の所定の相関関係のいずれかと一致した場合、所定の相関関係に対応付けられた制御又は入力機能或いは動作が自動的に実行される。
【００４９】
次のステップにおいて、磁場検知装置は、携帯デバイスの意図的な動きに伴う磁場の強さの変化及び／又は磁場の方向の変化を監視及び検出する（ステップ１３）。こうした磁場の強さ／方向の変化の信号データをコントローラに提供して、複数の所定の相関関係と比較することが出来る（ステップ１５）。必要に応じて、磁場検知装置からの信号データをフィルタリングし（ステップ１４）、不要なノイズを取り除いた後で、上記変化を複数の所定の相関関係と比較するのが好ましい（ステップ１５）。
【００５０】
信号データとメモリに格納した複数の所定の相関関係とを比較した結果、いずれも一致しない場合、磁場検知装置は携帯デバイスの磁場の強さ及び／又は方向の変化について監視及び検出を続ける（ステップ１３）。一方、信号データと複数の所定の相関関係とを比較した結果、一致した場合、コントローラは、一致した所定の動きに対応付けられた機能、動作、ドライバプログラム、アプリケーション等を実行する（ステップ１６）。
【００５１】
本発明を上述の実施形態とともに説明したが、例示の実施形態には、開示の発明思想から逸脱することなく変形や変更を施しうることが当業者には理解されよう。
よって本発明は、添付の請求項の範囲及び精神による以外、何ら制限されるものではない。
【特許請求の範囲】
【請求項１】
磁場検知を用いて携帯デバイスを制御するシステムであって、
前記携帯デバイスの動きに伴う磁場の変化を検知するよう構成された磁場検知装置と、
前記磁場検知装置から送られたデータ信号を受信するデータ収集部と、
前記携帯デバイスの動きに起因する磁場の変化間の所定の相関関係であって、それぞれ個別の制御動作に一意的に対応付けられた複数の所定の相関関係を含むデータ記憶するメモリと、
前記データ収集部からの信号を解析し、前記携帯デバイスの動きに伴う磁場の変化の特徴を特定し、前記磁場の変化の特徴を前記複数の所定の相関関係と比較し、前記磁場の変化の特徴と所定の相関関係とが一致した場合、前記所定の相関関係に対応付けられた個別の制御動作を自動的に実行する制御部と
を備えることを特徴とするシステム。
【請求項２】
請求項１に記載のシステムにおいて、前記磁場検知装置は、磁気コンパス又は磁気探知機であることを特徴とするシステム。
【請求項３】
請求項１に記載のシステムにおいて、前記磁場検知装置は、磁場の強さ及び磁場の方向の少なくとも一方の変化を検出するよう構成されていることを特徴とするシステム。
【請求項４】
磁場検知を用いて携帯デバイスにデータを入力するシステムであって、
前記携帯デバイスの動きに伴う磁場の変化を検知するよう構成された磁場検知装置と、
前記磁場検知装置から送られるデータ信号を受信するデータ収集部と、
前記携帯デバイスの動きに起因する磁場の変化間の所定の相関関係であって、それぞれ個別の制御動作に一意的に対応付けられた複数の所定の相関関係を含むデータを記憶するメモリと、
前記データ収集部からの信号を解析し、前記携帯デバイスの動きに伴う磁場の変化の特徴を特定し、前記磁場の変化の特徴を前記複数の所定の相関関係と比較し、前記磁場の変化の特徴と所定の相関関係とが一致した場合、前記所定の相関関係に対応付けられた個別の制御動作を自動的に実行する制御部と
を備えることを特徴とするシステム。
【請求項５】
請求項４に記載のシステムにおいて、前記磁場検知装置は、磁気コンパス又は磁気探知機であることを特徴とするシステム。
【請求項６】
請求項４に記載のシステムにおいて、前記磁場検知装置は、磁場の強さ及び磁場の方向の少なくとも一方の変化を検出するよう構成されていることを特徴とするシステム。
【請求項７】
携帯デバイスの動きに伴う磁場の強さ及び磁場の方向の少なくとも一方の変化を用いて前記携帯デバイスを制御し、制御動作を行う方法であって、
磁場検知装置を前記携帯デバイス内に取り付け又は埋め込み、
動きによる磁場特性の変化と個別の制御動作との間に複数の所定の相関関係を用意し、
前記携帯デバイスの動きによる磁場特性の変化を前記磁場検知装置で検出し、
動きによる磁場特性の変化を前記複数の所定の相関関係と比較し、
検出した対応する相関関係に対応付けられた個別の制御動作を開始する
ことを特徴とする方法。
【請求項８】
請求項７に記載の方法において、磁場特性の変化の検出は、磁場の強さの変化及び磁場の方向の変化の少なくとも一方の検出を含むことを特徴とする方法。
【請求項９】
携帯デバイスの動きを用いて前記携帯デバイスにデータを入力し、制御動作を行う方法であって、
磁場検知装置を前記携帯デバイス内に取り付け又は埋め込み、
動きによる磁場特性の変化と個別の制御動作との間に複数の所定の相関関係を用意し、
前記携帯デバイスの動きによる磁場特性の変化を前記磁場検知装置で検出し、
動きによる磁場特性の変化を前記複数の所定の相関関係と比較し、
検出した対応する相関関係に対応付けられた個別の入力動作を開始することを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、磁場特性の変化の検出は、磁場の強さの変化及び磁場の方向の変化の少なくとも一方の検出を含むことを特徴とする方法。
【請求項１】
磁場検知を用いて携帯デバイスを制御するシステムであって、
前記携帯デバイスの動きに伴う磁場の変化を検知するよう構成された磁場検知装置と、
前記磁場検知装置から送られたデータ信号を受信するデータ収集部と、
前記携帯デバイスの動きに起因する磁場の変化間の所定の相関関係であって、それぞれ個別の制御動作に一意的に対応付けられた複数の所定の相関関係を含むデータ記憶するメモリと、
前記データ収集部からの信号を解析し、前記携帯デバイスの動きに伴う磁場の変化の特徴を特定し、前記磁場の変化の特徴を前記複数の所定の相関関係と比較し、前記磁場の変化の特徴と所定の相関関係とが一致した場合、前記所定の相関関係に対応付けられた個別の制御動作を自動的に実行する制御部と
を備えることを特徴とするシステム。
【請求項２】
請求項１に記載のシステムにおいて、前記磁場検知装置は、磁気コンパス又は磁気探知機であることを特徴とするシステム。
【請求項３】
請求項１に記載のシステムにおいて、前記磁場検知装置は、磁場の強さ及び磁場の方向の少なくとも一方の変化を検出するよう構成されていることを特徴とするシステム。
【請求項４】
磁場検知を用いて携帯デバイスにデータを入力するシステムであって、
前記携帯デバイスの動きに伴う磁場の変化を検知するよう構成された磁場検知装置と、
前記磁場検知装置から送られるデータ信号を受信するデータ収集部と、
前記携帯デバイスの動きに起因する磁場の変化間の所定の相関関係であって、それぞれ個別の制御動作に一意的に対応付けられた複数の所定の相関関係を含むデータを記憶するメモリと、
前記データ収集部からの信号を解析し、前記携帯デバイスの動きに伴う磁場の変化の特徴を特定し、前記磁場の変化の特徴を前記複数の所定の相関関係と比較し、前記磁場の変化の特徴と所定の相関関係とが一致した場合、前記所定の相関関係に対応付けられた個別の制御動作を自動的に実行する制御部と
を備えることを特徴とするシステム。
【請求項５】
請求項４に記載のシステムにおいて、前記磁場検知装置は、磁気コンパス又は磁気探知機であることを特徴とするシステム。
【請求項６】
請求項４に記載のシステムにおいて、前記磁場検知装置は、磁場の強さ及び磁場の方向の少なくとも一方の変化を検出するよう構成されていることを特徴とするシステム。
【請求項７】
携帯デバイスの動きに伴う磁場の強さ及び磁場の方向の少なくとも一方の変化を用いて前記携帯デバイスを制御し、制御動作を行う方法であって、
磁場検知装置を前記携帯デバイス内に取り付け又は埋め込み、
動きによる磁場特性の変化と個別の制御動作との間に複数の所定の相関関係を用意し、
前記携帯デバイスの動きによる磁場特性の変化を前記磁場検知装置で検出し、
動きによる磁場特性の変化を前記複数の所定の相関関係と比較し、
検出した対応する相関関係に対応付けられた個別の制御動作を開始する
ことを特徴とする方法。
【請求項８】
請求項７に記載の方法において、磁場特性の変化の検出は、磁場の強さの変化及び磁場の方向の変化の少なくとも一方の検出を含むことを特徴とする方法。
【請求項９】
携帯デバイスの動きを用いて前記携帯デバイスにデータを入力し、制御動作を行う方法であって、
磁場検知装置を前記携帯デバイス内に取り付け又は埋め込み、
動きによる磁場特性の変化と個別の制御動作との間に複数の所定の相関関係を用意し、
前記携帯デバイスの動きによる磁場特性の変化を前記磁場検知装置で検出し、
動きによる磁場特性の変化を前記複数の所定の相関関係と比較し、
検出した対応する相関関係に対応付けられた個別の入力動作を開始することを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、磁場特性の変化の検出は、磁場の強さの変化及び磁場の方向の変化の少なくとも一方の検出を含むことを特徴とする方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１６５１８１（Ｐ２０１１−１６５１８１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−１５０６１（Ｐ２０１１−１５０６１）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（５０８１４５０１２）メムシック，インコーポレイテッド (6)
【氏名又は名称原語表記】Ｍｅｍｓｉｃ，Ｉｎｃ．
【住所又は居所原語表記】Ｏｎｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｒｉｖｅ，Ｓｕｉｔｅ ３２５，Ａｎｄｏｖｅｒ，Ｍａｓｓａｃｈｕｓｅｔｔｓ ０１８１０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１１−１５０６１（Ｐ２０１１−１５０６１）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（５０８１４５０１２）メムシック，インコーポレイテッド (6)
【氏名又は名称原語表記】Ｍｅｍｓｉｃ，Ｉｎｃ．
【住所又は居所原語表記】Ｏｎｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｒｉｖｅ，Ｓｕｉｔｅ ３２５，Ａｎｄｏｖｅｒ，Ｍａｓｓａｃｈｕｓｅｔｔｓ ０１８１０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
[ Back to top ]