説明

電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システム

【課題】 通話中に、例えば、目的の場所や人物、通話相手の方向を、触覚によってリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供する。
【解決手段】 位置情報取り込み手段、方位情報取り込み手段、および、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、ならびに、出力部が、制御部に接続されており、制御部が、目標位置特定手段と、目標方向特定手段と、目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、相対姿勢特定手段と、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、検出された差分情報に基づき、出力部を制御する出力部制御手段とを備え、出力部が、方向を提示する触覚提示手段を備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムに関する。
【背景技術】
【0002】
モバイル電子機器の機能は年々増加する方向にあり、電話、メール、画像、動画、チャット、など多種のコミュニケーション手段が利用されている。しかしながら従来のコミュニケーションは、音声や、テキスト、画像を中心としたいわゆる視覚や聴覚を利用したコミュニケーションが中心で、通話相手の方向をリアルに感じ取りより臨場感のあるコミュニケーションの提案や、視覚や、聴覚情報に加えて、人と人とがより感性豊かにコミュニケーションできる新たなコミュニケーション手段や機能は、模索されているものの実現に至っていない。
【0003】
ユーザインタフェースでは人の触覚や、力を感じる感覚機能(以下力覚と呼ぶ)を使ったコミュニケーションも研究はされているものの実用化された事例は無く、携帯電話での呼び出しにバイブレーションモータが使われているが、あくまでも着信を知らせるためのものであり、コミュニケーションのツールとしては利用されていないのが現状である。
【0004】
関連技術として、測位情報を用いて、登録されている連絡先の情報が直感的にわかるように、ディスプレイ上に、今いる方向や、その距離に応じてアイコンの大きさを変えて表現することで、臨場感を提供するものが提案されている(例えば、特許文献1参照)。ディスプレイを使った方向提示の場合は、ユーザはディスプレイを確認するには、TV電話のように本体を耳から離した状態で通話しなくてならず、通話内容が周囲に漏れたり、騒音のある環境では聞き取りにくくなるという問題がある。また、カーナビゲーションのような音声による方向提示では通話を邪魔してしまうという問題もある。ディスプレイに地図を表示して方向提示する携帯端末も提案されているが(例えば、特許文献2参照)、ユーザは画面を見ながら目的の方向をサーチすることが前提となっており、上記と同様の問題がある。
【0005】
一方、触覚感覚・力覚感覚を利用してユーザに進むべき方向を直感的に理解し易い形で提示する力覚型ヒューマンナビゲーションシステムが提案されている(例えば、特許文献3参照)。しかし、通話時に(電子機器を直接耳にあてた状態の時)、通話相手または目標方向へユーザの顔(視線)を基準に直接誘導する機能の例はなかった。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2009−517762号公報
【特許文献2】特開2001−023076号公報
【特許文献3】特開2004−177360号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明では新たなコミュニケーション手段として、通話中に、例えば、目的の場所や人物、通話相手の方向を、触覚によってリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
前記目的を達成するために、本発明の電子機器は、
位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを備え、
前記出力部が、方向を提示する触覚提示手段を備える
ことを特徴とする。
【0009】
また、本発明の電子機器の方向提示方法は、前記本発明の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを備え、
前記出力工程が、方向を提示する触覚提示工程を備える
ことを特徴とする。
【0010】
また、本発明のプログラムは、前記本発明の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とする。
【0011】
また、本発明の電子機器の方向提示システムは、前記本発明の電子機器の方向提示方法による方向提示機能を提供することを特徴とする。
【発明の効果】
【0012】
本発明によれば、通話中であっても、例えば、目的の場所や人物、通話相手の方向を、触覚によってリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る電子機器の構成の一例を示す図である。
【図2】本発明の実施形態に係る電子機器の構成の一例を示す図である。
【図3】本発明の実施形態に係る電子機器による方向提示の一例を示す模式図である。
【図4】本発明の電子機器の一例の概略斜視図である。
【図5】本発明の実施形態に係る通話時のユーザの顔(視線)方向と電子機器の相対姿勢の関係の一例を示す模式図である。
【図6】本発明の実施形態に係る通話時のユーザの顔(視線)方向と電子機器の相対姿勢の関係のその他の例を示す模式図である。
【図7】本発明の実施形態に係る通話時のユーザの顔(視線)方向と電子機器の相対姿勢の関係のさらにその他の例を示す模式図である。
【図8】本発明の電子機器の動作の一例を示すフローチャートである。
【図9】本発明の実施形態に係る電子機器による方向提示のその他の例を示す模式図である。
【発明を実施するための形態】
【0014】
以下、本発明の電子機器、電子機器の方向提示方法について、詳細に説明する。ただし、本発明は、以下の実施形態に限定されない。
【0015】
(実施形態1)
図1に、本発明の電子機器の構成の一例を示す。図1に示すように、本例の電子機器10は、位置情報取り込み手段206、方位情報取り込み手段207、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段204、制御部100および出力部300を備えている。そして、前記各取り込み手段は、前記制御部100に接続されており、前記制御部100は、前記出力部300に接続されている。前記出力部300は、方向を提示する触覚提示手段310を備えている。前記制御部100は、目標物の位置を特定する目標位置特定手段101と、前記位置情報取り込み手段206を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段102と、前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段103と、前記画像情報取り込み手段204を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段106と、前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段107と、前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段108と、前記検出された差分情報に基づき、前記出力部300を制御する出力部制御手段109とを備えている。
【0016】
前記制御部100には、本例の電子機器10が携帯電話端末である場合、通話時の通話相手、目標物または場所等の方向提示機能を有効にするか、無効にするかの切替えソフトウエアを備えることもできる。これらのソフトウエアは、表示メニューやショートカットキーにより切り替え選択を可能としておくと、ユーザは必要に応じて切り替えることができる。
【0017】
通話時の通話相手や目標物や場所の前記方向提示機能が有効な場合には、位置情報取り込み手段206および方位情報取り込み手段207によって取り込まれる情報から、電子機器本体の地上に対する位置や姿勢が検出される。また、制御部100に備えられた目標位置特定手段101は、通話相手、目標物または場所等の目標位置を特定する。目標方向特定手段102は、前記電子機器本体の位置情報と前記特定された目標位置情報を用い、前記電子機器から目標への方向(目標方向)を特定する。
【0018】
また、電子機器10本体の姿勢は、方位情報取り込み手段207により取り込んだ情報から確定される。電子機器10本体の基準方向(例えば、電子機器10のディスプレイの法線方向など)と、目標方向との差分を検出する、第1の差分検出手段103により、電子機器10本体の姿勢に応じた目標方向との差分を特定することができる。この差分に基づき、制御部100は出力部300を制御し、ユーザが目的の方向の認識を可能にする。
【0019】
図2は、本実施形態に係る電子機器の構成の一部を更に詳細に示した図である。制御部100には画像情報取り込み手段204が接続されている。前記画像情報取り込み手段204としては、カメラを使用することができるが、画像情報が取り込めるものであれば制限はなく、通話時のユーザの顔の特徴が写る位置に配置されていれば配置レイアウトにも制限はない。またこのカメラは複数であっても構わないし、通話時の画角がユーザの顔に特徴が写る角度に調整される制御がされていても良い。また、携帯電話では、通話時にユーザ側に面する表示画面側に搭載されるカメラの他に、自分以外の対象物を撮像する、表示画面の反対側に搭載されるカメラなど、複数で複数の画角を写すカメラが一般的に搭載されている。
【0020】
位置情報取り込み手段206としては、GPSまたはGSMセルの測位、無線LAN(Wi−Fi)アクセスポイント位置からの推定や基地局を利用した測位など、ワイヤレスの基地局を使った位置情報システム等を使用することができる。また、手動で現在位置の設定をすることで、位置情報を取り込むこともできる。その他にも、位置が特定できる機能を有していれば制限はない。また、方位情報取り込み手段207は磁気センサを用いることができる。前記磁気センサは、地磁気などを検出し、電子機器の地球に対する方位を検出する。さらに、場合によっては重力を検出し、電子機器の姿勢を検出する必要がある場合も想定されるが、その場合は、重力方向情報取り込み手段208が制御部100に接続されており、情報を取り込むことが可能である。重力の検出には加速度センサを用いることができる。近年では、3軸の加速度センサが搭載され、重力だけでなく、動きや動作を検出して操作の代用に使われることができるようになってきた。
【0021】
ユーザの顔(視線)を目標の方向に誘導するために、制御部100には顔情報検出手段104、顔情報の方向別パターン記憶手段105が設けられている。さらに、前記顔情報検出手段104と、顔情報の方向別パターン記憶手段105に格納された顔情報の方向別パターン情報とを使い、ユーザと電子機器との相対位置や姿勢を特定するために相対姿勢特定手段106が設けられている。さらに、位置情報取り込み手段206から電子機器の位置を特定し、目標位置特定手段101を使い電子機器を基準とした通話相手や対象物など目標方向を特定する、目標方向特定手段102が設けられている。
【0022】
さらに、前述の相対姿勢特定手段106と電子機器を基準とした目標の方向から、ユーザの顔(視線)を基準とした目標の方向へ座標を変換する手段107があり、さらに、座標変換後のユーザの顔(視線)を基準とした目標方向データと、座標変換前の電子機器を基準とした目標方向データとの差分を検出する、第2の差分検出手段108が設けられている。
【0023】
本実施形態においては、電子機器本体の制御部100には、他の機器と情報をやり取りする送受信手段202および記憶手段203が接続されている。この送受信手段202には、さらにアンテナ201が接続されている。本例では、無線による接続である形態を示したが、これに限定されず、有線による接続であってもよい。さらに制御部100には、他の機器とのI/F205が接続されている。前記他の機器とのI/F205としては、具体的には、USB、IEE1394、カードメモリスロット、IrDa、Bluetoothなどを用いることができる。また、その他のセンサ209が接続されている。その他のセンサ209としては、加速度センサ、温度センサ、湿度センサ、圧力センサおよび光センサなどをあげることができる。
【0024】
出力部300には、前述のとおり、方向を提示する触覚(力覚)提示手段310が備えられている。前記触覚提示手段310としては、物理量の変化により、方向を提示するものであることが好ましい。例えば、振動(バイブレーション)を発生させる振動発生手段323は、携帯電話端末等の電子機器においては、着信等を通知する手段として一般に装備されている。本発明においては、この振動発生手段323を本発明の触覚提示手段として使用することもできる。例えば、通話中に所定方向を提示する場合、ユーザが目標とする方向に近づくにつれ、バイブレーションの間隔や大きさ、周波数や振動パターン等を変化させて、ユーザを所定方向に誘導することができる。一例として、目標方向が南側にある場合、ユーザが北を向くと連続的に振動が発生し、東または西を向くと、振動が断続的になり、南を向くと振動が止まる、というような提示方法が可能である。この場合、ユーザは、振動が止まった方向を向けばよい。
【0025】
また、前記触覚提示手段310として、熱を発生させる熱発生手段を用いることもできる。熱発生手段を用いた触覚提示手段の一例を説明する図を図3(a)に示す。本例の触覚提示手段310は、円形のパッド状に形成されており、発熱素子が埋め込まれている。前記制御部100から方向提示情報が出されると、前記触覚提示手段のその方向に対応した部分の発熱素子が発熱する。図3(a)においては、斜線を付した部分に触れることで、温感を感じることができ、この場合、図中の矢印方向が提示された方向であることを、ユーザに認識させることができる。
【0026】
また、前記触覚提示手段310として、回転動作をすることで方向の提示が可能なジョグダイヤル等をあげることができる。ジョグダイヤルを用いた触覚提示手段の一例を説明する図を図3(b−1)に示す。本例の触覚提示手段310は、回転可能なダイヤル状に形成されている。前記制御部100から方向提示情報が出されると、前記ジョグダイヤルは、ユーザに向かせたい方向に向かって回転する。図3(b−2)は、ジョグダイヤル付きの携帯電話で通話中のユーザの状態を上から見た模式図である。ユーザの向いている方向が提示方向と異なる場合、左図のようにジョグダイヤルが回転する。ユーザがジョグダイヤルの回転方向に従い、向きを変え、提示方向と同一方向に向くと、ジョグダイヤルの回転が止まる。この場合、ジョグダイヤルの回転が停止することで、図中の矢印方向が提示された方向であることを、ユーザに認識させることができる。
【0027】
前記触覚提示手段は、2次元以上の方向を提示するものであると、目標となる方向をダイレクトに提示できるため、好ましい。2次元以上の方向を提示する触覚提示手段としては、例えば、後述するジョイスティックやジョグボール等をあげることができる。
【0028】
前記出力部300は、前記触覚提示手段310に、併せて、例えば、スピーカ320、表示手段321、発光手段322、振動発生手段323などを備えることができる。これらの各構成要素は、触覚提示手段310に併せて単独で用いてもよいし、複数を組み合わせて用いることもできる。例えば、前述の例において、提示された方向にユーザが向いたことを知らせるために、振動の停止やジョグダイヤルの回転の停止とともに、前記スピーカ320からアラーム音を発生させたり、前記発光手段322から光信号を発生させたりすることもできる。これらの手段を併用することで、ユーザへの方向提示をより確実に行うことができる。
【0029】
また、電子機器10は、音声取り込み手段410、操作部420などを備えるが、これらの実装構造については、周知の構造を採用することができるため詳細は省略する。
【0030】
前記制御部100は、カメラ等の画像情報取り込み手段204によって取り込まれる情報を取り込み、前記制御部100内にある顔情報検出手段104によって、例えば、顔の輪郭や、鼻、口などの特徴のある情報の抽出が行われる。この顔情報検出手段104により抽出された情報と、顔情報の方向別パターン記憶手段105に格納された情報とのパターンマッチングにより、通話時のユーザの顔(視線)と電子機器との相対位置または姿勢を特定する。その特定は、同じく制御部100内にある相対姿勢特定手段106により行われる。
【0031】
(実施形態2)
次に、画像を使った相対位置または姿勢の検出例を、図4から図7を用いて説明する。図4は、本発明の電子機器(携帯電話端末)の一例の概略斜視図である。図4(a)は、本例の電子機器を、表示面側(ディスプレイやタッチパネルのある側)から見た図であり、図4(b)は、背面側から見た図である。前記電子機器10は、スピーカ320、音声取り込み手段410および画像情報取り込み手段(カメラ)204を備えている。本例の電子機器10において、前記画像情報取り込み手段(カメラ)204は、前記音声取り込み手段410付近(通話時の口元付近)に取り付けられている。本図においては、折畳みタイプの携帯電話端末を例示したが、本発明の電子機器はこれに限定されず、ストレートタイプやスライドタイプのものであってもよい。また、本図においては、電子機器に通常備えられている、ディスプレイ部分や操作ボタンあるいはタッチパネル等の部材の表示は省略している。
【0032】
図5は電子機器(携帯電話端末)10を左手で把持し左耳で受話している場合のユーザの頭部を示した模式図である。図5は、顔を前方向から見た斜視図であり、各々の下段に、前記電子機器の前記画像情報取り込み手段(カメラ)204から取り込まれる画像イメージを示している。各図は、耳のつけ当て部を中心にして、顔(視線)の向きと平行な面内において電子機器10を回転させた状態を示している。図6は、同じ電子機器(携帯電話端末)10を右手で把持し右耳で受話している場合のユーザの頭部を、図5と同様に示した模式図である。図5および図6において、各図共に電子機器の表示面の法線方向と、ユーザの顔(視線)方向とがほぼ直行した例を示している。
【0033】
図5および図6の各々の中央の図は、電子機器が、標準的な状態で把持された場合を示している。図5左図および図6右図は、電子機器が、耳のつけ当て部を中心にして、手前側に回転した状態で把持された場合を示している。また、図5右図および図6左図は、電子機器が、耳のつけ当て部を中心にして、後ろ側に回転した状態で把持された場合を示している。前記画像情報取り込み手段(カメラ)204から取り込まれた画像は、前記制御部100内にある顔情報検出手段104によって、例えば、顎、口元、額の頂点といった特徴点の各部分を検出し、各部を結ぶ仮想線の角度情報を得る。この角度情報を、顔情報の方向別パターン記憶手段105に格納された角度情報とのパターンマッチングにより、通話時のユーザの顔(視線)と電子機器との相対位置または姿勢を特定することができる。その特定は、同じく制御部100内にある相対姿勢特定手段106により行われる。前記顔情報の方向別パターン記憶手段105には、予め、ユーザが電子機器を通話状態に構えた時の画像を取り込んでおく。取り込まれる画像は、顔、顔の一部または身体の一部でもよい。取り込んだ画像から、特徴点を抽出する。特徴点としては、顔の輪郭、鼻、口および頬等の顔の一部の輪郭、ホクロや皺等、ユーザの身体の部位を特定できるものであれば、適宜用いることができる。このように、予め作成しておいた通常の通話状態の画像情報と、新たに取得した画像情報とを用いて、その都度比較することによって、ユーザの顔の向きと電子機器との相対位置をリアルタイムで求めることができる。
【0034】
前記の予め作成する通常の通話状態の画像情報と、相対位置との紐付けは、ユーザと電子機器とが既知の方向に向いた状態で、画像を取り込むことで校正することができる(キャリブレーション)。例えば、ユーザが真北を向いて、電子機器を通話状態に構えた時の画像情報を取り込むことにより、電子機器自体も方向情報を有するため、ユーザが右手で電子機器を持ったときの画像と、左手で電子機器を持ったときの画像とを識別することが可能となる。さらに、特徴点を少なくとも3点以上識別することができれば、極座標変換により、通話時の通常の構えからの相対位置変化を算出することが可能となり、ユーザの顔の向きを基準とした方向提示が可能となる。
【0035】
前記特徴点の抽出には、カメラを用いることができるが、CCDやCMOSカメラでは、赤外線も認識するため、ホクロや皺等を際立てて検出することができる。その中の3点以上の位置を記録できれば、相似変形では距離を、回転角度では回転を、形状変形では面に対する平行度が変化したことが検出できるため、ユーザの顔に対してどのような姿勢で保持されているのかを、精度よく計算することができる。また、通話時の人の動きの速度を考慮すると、前記画像情報取り込み手段(カメラ)は常時作動している必要はなく、画像情報を間欠的に取り込むことでも使用可能である。
【0036】
前記顔情報の方向別パターン記憶手段105に記憶されるパターンは、一般的な特徴を基準としたデータテーブルとしておいてもよく、ユーザ本人の顔画像を直接取り込みテーブル化して画像マッチングに利用しても良い。
【0037】
図7は左右方向に加えて重力の方向にユーザの顔(視線)の方向が変化した場合の模式図である。ユーザの向きや、3次元の位置情報特定が可能である場合、重力方向を考慮しなくてはならない場合もあり得る。この場合も、重力方向の情報を加味する他は、前記図5および図6を用いて説明した形態と同様に動作させることができる。
【0038】
電子機器と目標との位置関係を特定する際、ユーザの電子機器では位置情報取り込み手段206(通常はGPSが使われる)により特定され、通話相手などの目標の位置情報は、目標位置特定手段101により特定される。ただし、前提として、通話相手や目標には位置情報の開示を許可されていることが条件となる。目標位置特定手段101と位置情報取り込み手段206との情報から、電子機器を基準とした目標の方向が目標方向特定手段102により特定される。さらに前述のユーザの顔(視線)と電子機器との相対姿勢との情報により目的の場所や人物、通話相手の方向をユーザの顔(視線)を基準とした方向へ座標変換手段107により変換する。これにより、制御部100はユーザの顔(視線)を基準とした目標方向と電子機器本体を基準とした目標方向との差分を計算することが可能となる。この計算には制御部100内の第2の差分検出手段108によって実行される。3次元の座標変換については、座標ベクトル(要素数3)に対し、回転を表す行列(3×3)と平行移動のベクトル(要素数3)を加えることにより変換が可能である。また、地球上の方向を特定する計算に関しては、カーナビゲーションシステムなどで使われる球面三角法の手法を用いることができる。上記の検出された方向の差分に基づいて制御部100は出力部300の各出力手段を制御する。
【0039】
図8に以上の動作をフローチャートで示す。目標物を検知すると、電子機器は、目標方向を検出し(S1)、ついで、電子機器自体の方向検出を行う(S2)。そして、ユーザの顔の一部等の画像情報を取り込む(S3)。取り込まれた画像情報は、予め取り込まれた既知の相対姿勢と画像とのテーブルの情報と比較され(S4)、ユーザの顔の向きと電子機器との相対位置の情報が得られる。求められた相対位置の情報から、ユーザの顔の向きを基準とした目標方向への変換がなされる(S5)。次のステップ(S6)においては、目標方向とユーザの顔の方向との差分があるか否かが判断される。前記差分がある(Yes)と判断された場合には、出力部制御手段が作動して、差分に応じた方向提示をするように(S7)、出力部に指示を出す。前記差分がない(No)と判断された場合には、方向提示は完了する(S8)。通話が引き続き行われ、さらに方向提示が必要な場合には、S2以降のステップが繰り返される。
【0040】
(実施形態3)
本実施形態では、ユーザへの方向提示のその他の例について、前記触覚提示手段310が、2次元以上の方向を提示するものである形態を示す。2次元以上の方向を提示する触覚提示手段としては、ジョイスティックやジョグボール等をあげることができる。例えば、4方向に倒れるジョイスティックや、あらゆる方向に回転するジョグボールのような触覚提示手段310を使えば、ユーザの顔(視線)に対する目標となる方向へダイレクトに誘導することができる。また、方向提示に振動や、提示のタイミングなどの情報を付加することで、距離感なども提示することもできる。
【0041】
前記触覚提示手段310が、例えば、ジョイスティックである場合では、現在のユーザの顔(視線)の向きから目標の方向に最も近い方向にジョイスティックを傾斜させて提示したり、同様に図9に示すようなジョグボール310などを使って提示させることも可能である。また、2次元では表現出来ない方向に対しては、表現できる角度範囲に到達するまで、表示の領域限界まで方向を指定し、方向および量が表現できる範囲に到達したところからベクトル表現するなどの表示方法が考えられる。さらに、3次元での方向提示が可能である手段を用いれば、ユーザの姿勢や電子機器の把持状態に関わらずダイレクトに方向をベクトル表示することが可能となる。図9に示す例では、通話時にジョグボール310を人差し指で触れ、その回転方向を触覚により感じることでユーザは方向を読み取ることができる。
【0042】
以上のように、本発明の電子機器によると、ユーザは電子機器本体に設けた基準に対する目標方向の差分を、触覚によってリアルタイムで知ることができるため、電子機器を使った目標方向のサーチが可能となる。また、ユーザが通話をしている状態で目的の場所や人物、通話相手の方向を提示された場合でも、電子機器が、ユーザの顔(視線)の向きと電子機器との相対位置関係や、相対する姿勢を認識することができる。したがって、ユーザの顔(視線)の向きを考慮した方向提示と、通話時の聴覚や、視覚を妨害しない方向提示機能を提供することができる。これにより、よりストレスのない通話時の方向提示サービスを提供できるという効果がある。
【0043】
また、人混みでの待ち合わせでお互いの方向を確認できたり、面識の無い人同士が互いを識別できたり、目の不自由な人同士がお互いの方向を認識することもできるので、よりスムーズに待ち合わせを出来るなどの効果を奏する。さらに、通話相手や目標物、場所の方向が判ることで、より臨場感や感性に訴えるコミュニケーションも実現可能である。
【産業上の利用可能性】
【0044】
本発明は、例えば、携帯電話やPDA(Personal Digital Assistant、あるいは、Personal Data Assistance)、ノートPCなどの情報をやり取りする電子機器全般に適用でき、その用途は広い。
【0045】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0046】
(付記1)位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを備え、
前記出力部が、方向を提示する触覚提示手段を備える
ことを特徴とする電子機器。
【0047】
(付記2)前記出力部制御手段が、前記差分が検出された場合に作動することを特徴とする、付記1に記載の電子機器。
【0048】
(付記3)前記触覚提示手段が、物理量の変化により方向を提示するものであることを特徴とする、付記1または2に記載の電子機器。
【0049】
(付記4)前記触覚提示手段が、振動発生手段であることを特徴とする、付記1から3のいずれかに記載の電子機器。
【0050】
(付記5)前記触覚提示手段が、熱発生手段であることを特徴とする、付記1から4のいずれかに記載の電子機器。
【0051】
(付記6)前記触覚提示手段が、ジョグダイヤルであることを特徴とする、付記1から5のいずれかに記載の電子機器。
【0052】
(付記7)前記触覚提示手段が、2次元以上の方向を提示するものであることを特徴とする、付記1から6のいずれかに記載の電子機器。
【0053】
(付記8)前記触覚提示手段が、ジョイスティックであることを特徴とする、付記7に記載の電子機器。
【0054】
(付記9)前記触覚提示手段が、ジョグボールであることを特徴とする、付記7に記載の電子機器。
【0055】
(付記10)前記位置情報取り込み手段が、GPSまたはGSMセルの測位、無線LAN(Wi−Fi)アクセスポイント位置からの推定、基地局を利用した測位、および、手動での現在位置の設定から選ばれる方法によって位置情報の取り込みをする手段であることを特徴とする、付記1から9のいずれかに記載の電子機器。
【0056】
(付記11)前記制御部が、前記画像情報から特徴点を抽出する手段を有することを特徴とする、付記1から10のいずれかに記載の電子機器。
【0057】
(付記12)前記画像情報取り込み手段が、間欠的に画像情報を取り込むことを特徴とする、付記1から11のいずれかに記載の電子機器。
【0058】
(付記13)前記画像情報取り込み手段がカメラであることを特徴とする、付記1から12のいずれかに記載の電子機器。
【0059】
(付記14)前記相対姿勢特定手段が、前記画像情報と、予め取得した基準方向の画像情報とを比較する手段を有していることを特徴とする、付記1から13のいずれかに記載の電子機器。
【0060】
(付記15)付記1から14のいずれかに記載の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを備え、
前記出力工程が、方向を提示する触覚提示工程を備える
ことを特徴とする電子機器の方向提示方法。
【0061】
(付記16)前記出力部制御工程が、前記差分が検出された場合に実行されることを特徴とする、付記15に記載の電子機器の方向提示方法。
【0062】
(付記17)前記触覚提示工程が、物理量の変化により方向を提示する工程であることを特徴とする、付記15または16に記載の電子機器の方向提示方法。
【0063】
(付記18)前記触覚提示工程が、振動発生工程であることを特徴とする、付記15から17のいずれかに記載の電子機器の方向提示方法。
【0064】
(付記19)前記触覚提示工程が、熱発生工程であることを特徴とする、付記15から18のいずれかに記載の電子機器の方向提示方法。
【0065】
(付記20)前記触覚提示工程が、2次元以上の方向を提示する工程であることを特徴とする、付記15から19のいずれかに記載の電子機器の方向提示方法。
【0066】
(付記21)前記位置情報取り込み工程が、GPSまたはGSMセルの測位、無線LAN(Wi−Fi)アクセスポイント位置からの推定、基地局を利用した測位、および、手動での現在位置の設定から選ばれる方法によって位置情報の取り込みをする工程であることを特徴とする、付記15から20のいずれかに記載の電子機器の方向提示方法。
【0067】
(付記22)前記制御工程が、前記画像情報から特徴点を抽出する工程を有することを特徴とする、付記15から21のいずれかに記載の電子機器の方向提示方法。
【0068】
(付記23)前記画像情報取り込み工程が、間欠的に画像情報を取り込む工程であることを特徴とする、付記15から22のいずれかに記載の電子機器の方向提示方法。
【0069】
(付記24)前記相対姿勢特定工程が、前記画像情報と、予め取得した基準方向の画像情報とを比較する工程を有していることを特徴とする、付記15から23のいずれかに記載の電子機器の方向提示方法。
【0070】
(付記25)付記15から24のいずれかに記載の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とするプログラム。
【0071】
(付記26)付記15から24のいずれかに記載の電子機器の方向提示方法による方向提示機能を提供することを特徴とする電子機器の方向提示システム。
【符号の説明】
【0072】
10 電子機器(携帯電話端末)
100 制御部
101 目標位置特定手段
102 目標方向特定手段
103 (本体基準方向と目標方向との)第1の差分検出手段
104 顔情報検出手段
105 顔情報の方向別パターン記憶手段
106 相対姿勢特定手段
107 (端末基準からユーザの顔の向き基準へ)座標変換手段
108 (ユーザの顔の向きと目標方向との)第2の差分検出手段
109 出力部制御手段
201 アンテナ
202 送受信手段
203 記憶手段
204 画像情報取り込み手段(カメラ)
205 他の機器とのI/F
206 位置情報取り込み手段
207 方位情報取り込み手段
208 重力方向情報取り込み手段
209 その他のセンサ
300 出力部
310 触覚提示手段(ジョグボール)
320 スピーカ
321 表示手段
322 発光手段
323 振動発生手段
410 音声取り込み手段
420 操作部

【特許請求の範囲】
【請求項1】
位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを備え、
前記出力部が、方向を提示する触覚提示手段を備える
ことを特徴とする電子機器。
【請求項2】
前記出力部制御手段が、前記差分が検出された場合に作動することを特徴とする、請求項1記載の電子機器。
【請求項3】
前記触覚提示手段が、物理量の変化により方向を提示するものであることを特徴とする、請求項1または2に記載の電子機器。
【請求項4】
前記触覚提示手段が、2次元以上の方向を提示するものであることを特徴とする、請求項1から3のいずれか一項に記載の電子機器。
【請求項5】
前記制御部が、前記画像情報から特徴点を抽出する手段を有することを特徴とする、請求項1から4のいずれか一項に記載の電子機器。
【請求項6】
前記画像情報取り込み手段が、間欠的に画像情報を取り込むことを特徴とする、請求項1から5のいずれか一項に記載の電子機器。
【請求項7】
前記相対姿勢特定手段が、前記画像情報と、予め取得した基準方向の画像情報とを比較する手段を有していることを特徴とする、請求項1から6のいずれか一項に記載の電子機器。
【請求項8】
請求項1から7のいずれか一項に記載の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを備え、
前記出力工程が、方向を提示する触覚提示工程を備える
ことを特徴とする電子機器の方向提示方法。
【請求項9】
請求項8記載の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とするプログラム。
【請求項10】
請求項8記載の電子機器の方向提示方法による方向提示機能を提供することを特徴とする電子機器の方向提示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−205206(P2011−205206A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−68098(P2010−68098)
【出願日】平成22年3月24日(2010.3.24)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
2.GSM
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】