説明

電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システム

【課題】 通話中に、例えば、目的の場所や人物、通話相手の方向をリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供する。
【解決手段】 位置情報取り込み手段、方位情報取り込み手段、および、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、ならびに、出力部が、制御部に接続されており、制御部が、目標位置特定手段と目標方向特定手段と、目標方向と電子機器の基準方向との差分を検出する手段と、取り込まれた画像情報から電子機器とユーザの顔との相対姿勢を特定する手段と、特定された目標方向と相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、座標変換後の目標方向と座標変換前の目標方向との差分を検出する手段と、検出された差分情報に基づき、出力部を制御する出力部制御手段とを備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムに関する。
【背景技術】
【0002】
モバイル電子機器の機能は年々増加する方向にあり、電話、メール、画像、動画、チャット、など多種のコミュニケーション手段が利用されている。しかしながら従来のコミュニケーションは、音声や、テキスト、画像を中心としたいわゆる視覚や聴覚を利用したコミュニケーションが中心で、通話相手の方向をリアルに感じ取りより臨場感のあるコミュニケーションの提案や、視覚や、聴覚情報に加えて、人と人とがより感性豊かにコミュニケーションできる新たなコミュニケーション手段や機能は、模索されているものの実現に至っていない。
【0003】
ユーザインタフェースでは人の触覚や、力を感じる感覚機能(以下力覚と呼ぶ)を使ったコミュニケーションも研究はされているものの実用化された事例は無く、携帯電話での呼び出しにバイブレーションモータが使われているが、あくまでも着信を知らせるためのものであり、コミュニケーションのツールとしては利用されていないのが現状である。
【0004】
関連技術として、測位情報を用いて、登録されている連絡先の情報が直感的にわかるように、ディスプレイ上に、今いる方向や、その距離に応じてアイコンの大きさを変えて表現することで、臨場感を提供するものが提案されている(例えば、特許文献1参照)。ディスプレイを使った方向提示の場合は、ユーザはディスプレイを確認するには、TV電話のように本体を耳から離した状態で通話しなくてならず、通話内容が周囲に漏れたり、騒音のある環境では聞き取りにくくなるという問題がある。また、カーナビゲーションのような音声による方向提示では通話を邪魔してしまうという問題もある。ディスプレイに地図を表示して方向提示する携帯端末も提案されているが(例えば、特許文献2参照)、ユーザは画面を見ながら目的の方向をサーチすることが前提となっており、上記と同様の問題がある。
【0005】
一方、触覚感覚・力覚感覚を利用してユーザに進むべき方向を直感的に理解し易い形で提示する力覚型ヒューマンナビゲーションシステムが提案されている(例えば、特許文献3参照)。しかし、通話時に(電子機器を直接耳にあてた状態の時)、通話相手または目標方向へユーザの顔(視線)を基準に直接誘導する機能の例はなかった。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2009−517762号公報
【特許文献2】特開2001−023076号公報
【特許文献3】特開2004−177360号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明では新たなコミュニケーション手段として、通話中に、例えば、目的の場所や人物、通話相手の方向をリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
前記目的を達成するために、本発明の電子機器は、
位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを
備えることを特徴とする。
【0009】
また、本発明の電子機器の方向提示方法は、前記本発明の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを
備えることを特徴とする。
【0010】
また、本発明のプログラムは、前記本発明の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とする。
【0011】
また、本発明の電子機器の方向提示システムは、前記本発明の電子機器の方向提示方法による方向提示機能を提供することを特徴とする。
【発明の効果】
【0012】
本発明によれば、通話中であっても、例えば、目的の場所や人物、通話相手の方向をリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る電子機器の構成の一例を示す図である。
【図2】本発明の実施形態に係る電子機器の構成の一例を示す図である。
【図3】本発明の電子機器の一例の概略斜視図である。
【図4】本発明の実施形態に係る通話時のユーザの顔(視線)方向と電子機器の相対姿勢の関係の一例を示す模式図である。
【図5】本発明の実施形態に係る通話時のユーザの顔(視線)方向と電子機器の相対姿勢の関係のその他の例を示す模式図である。
【図6】本発明の実施形態に係る通話時のユーザの顔(視線)方向と電子機器の相対姿勢の関係のさらにその他の例を示す模式図である。
【図7】本発明の電子機器の動作の一例を示すフローチャートである。
【図8】本発明の実施形態に係る電子機器による方向提示の一例を示す模式図である。
【発明を実施するための形態】
【0014】
以下、本発明の電子機器、電子機器の方向提示方法について、詳細に説明する。ただし、本発明は、以下の実施形態に限定されない。
【0015】
(実施形態1)
図1に、本発明の電子機器の構成の一例を示す。図1に示すように、本例の電子機器10は、位置情報取り込み手段206、方位情報取り込み手段207、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段204、制御部100および出力部200を備えている。そして、前記各取り込み手段は、前記制御部100に接続されており、前記制御部100は、前記出力部200に接続されている。前記制御部100は、目標物の位置を特定する目標位置特定手段101と、前記位置情報取り込み手段206を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段102と、前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段103と、前記画像情報取り込み手段204を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段106と、前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段107と、前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段108と、前記検出された差分情報に基づき、前記出力部200を制御する出力部制御手段109とを備えている。
【0016】
前記制御部100には、本例の電子機器10が携帯電話端末である場合、通話時の通話相手、目標物または場所等の方向提示機能を有効にするか、無効にするかの切替えソフトウエアを備えることもできる。これらのソフトウエアは、表示メニューやショートカットキーにより切り替え選択を可能としておくと、ユーザは必要に応じて切り替えることができる。
【0017】
通話時の通話相手や目標物や場所の前記方向提示機能が有効な場合には、位置情報取り込み手段206および方位情報取り込み手段207によって取り込まれる情報から、電子機器本体の地上に対する位置や姿勢が検出される。また、制御部100に備えられた目標位置特定手段101は、通話相手、目標物または場所等の目標位置を特定する。目標方向特定手段102は、前記電子機器本体の位置情報と前記特定された目標位置情報を用い、前記電子機器から目標への方向(目標方向)を特定する。
【0018】
また、電子機器10本体の姿勢は、方位情報取り込み手段207により取り込んだ情報から確定される。電子機器10本体の基準方向(例えば、電子機器10のディスプレイの法線方向など)と、目標方向との差分を検出する、第1の差分検出手段103により、電子機器10本体の姿勢に応じた目標方向との差分を特定することができる。この差分に基づき、制御部100は出力部200を制御し、ユーザが目的の方向の認識を可能にする。
【0019】
図2は、本実施形態に係る電子機器の構成の一部を更に詳細に示した図である。制御部100には画像情報取り込み手段204が接続されている。前記画像情報取り込み手段204としては、カメラを使用することができるが、画像情報が取り込めるものであれば制限はなく、通話時のユーザの顔の特徴が写る位置に配置されていれば配置レイアウトにも制限はない。またこのカメラは複数であっても構わないし、通話時の画角がユーザの顔に特徴が写る角度に調整される制御がされていても良い。また、携帯電話では、通話時にユーザ側に面する表示画面側に搭載されるカメラの他に、自分以外の対象物を撮像する、表示画面の反対側に搭載されるカメラなど、複数で複数の画角を写すカメラが一般的に搭載されている。
【0020】
位置情報取り込み手段206としては、GPSを使用することができる。その他にもワイヤレスの基地局を使った位置情報システムなど、位置が特定できる機能を有していれば制限はない。また、方位情報取り込み手段207は磁気センサを用いることができる。前記磁気センサは、地磁気などを検出し、電子機器の地球に対する方位を検出する。さらに、場合によっては重力を検出し、電子機器の姿勢を検出する必要がある場合も想定されるが、その場合は、重力方向情報取り込み手段208が制御部100に接続されており、情報を取り込むことが可能である。重力の検出には加速度センサを用いることができる。近年では、3軸の加速度センサが搭載され、重力だけでなく、動きや動作を検出して操作の代用に使われることができるようになってきた。
【0021】
ユーザの顔(視線)を目標の方向に誘導するために、制御部100には顔情報検出手段104、顔情報の方向別パターン記憶手段105が設けられている。さらに、前記顔情報検出手段104と、顔情報の方向別パターン記憶手段105に格納された顔情報の方向別パターン情報とを使い、ユーザと電子機器との相対位置や姿勢を特定するために相対姿勢特定手段106が設けられている。さらに、位置情報取り込み手段206から電子機器の位置を特定し、目標位置特定手段101を使い電子機器を基準とした通話相手や対象物など目標方向を特定する、目標方向特定手段102が設けられている。
【0022】
さらに、前述の相対姿勢特定手段106と電子機器を基準とした目標の方向から、ユーザの顔(視線)を基準とした目標の方向へ座標を変換する手段107があり、さらに、座標変換後のユーザの顔(視線)を基準とした目標方向データと、座標変換前の電子機器を基準とした目標方向データとの差分を検出する、第2の差分検出手段108が設けられている。
【0023】
本実施形態においては、電子機器本体の制御部100には、他の機器と情報をやり取りする送受信手段202および記憶手段203が接続されている。この送受信手段202には、さらにアンテナ201が接続されている。本例では、無線による接続である形態を示したが、これに限定されず、有線による接続であってもよい。さらに制御部100には、他の機器とのI/F205が接続されている。前記他の機器とのI/F205としては、具体的には、USB、IEE1394、カードメモリスロット、IrDa、Bluetoothなどを用いることができる。また、その他のセンサ209が接続されている。その他のセンサ209としては、加速度センサ、温度センサ、湿度センサ、圧力センサおよび光センサなどをあげることができる。
【0024】
出力部200には、スピーカ210、表示部211、発光部212、振動発生部213、触覚(力覚)提示部216などを備えることができる。これらの各構成要素は、単独で用いてもよいし、複数を組み合わせて用いることもできる。
【0025】
また、電子機器10は、音声取り込み手段214、操作部215などを備えるが、これらの実装構造については、周知の構造を採用することができるため詳細は省略する。
【0026】
前記制御部100は、カメラ等の画像情報取り込み手段204によって取り込まれる情報を取り込み、前記制御部100内にある顔情報検出手段104によって、例えば、顔の輪郭や、鼻、口などの特徴のある情報の抽出が行われる。この顔情報検出手段104により抽出された情報と、顔情報の方向別パターン記憶手段105に格納された情報とのパターンマッチングにより、通話時のユーザの顔(視線)と電子機器との相対位置または姿勢を特定する。その特定は、同じく制御部100内にある相対姿勢特定手段106により行われる。
【0027】
(実施形態2)
次に、画像を使った相対位置または姿勢の検出例を、図3から図6を用いて説明する。図3は、本発明の電子機器(携帯電話端末)の一例の概略斜視図である。図3(a)は、本例の電子機器を、表示面側(ディスプレイやタッチパネルのある側)から見た図であり、図3(b)は、背面側から見た図である。前記電子機器10は、スピーカ210、音声取り込み手段214および画像情報取り込み手段(カメラ)204を備えている。本例の電子機器10において、前記画像情報取り込み手段(カメラ)204は、前記音声取り込み手段214付近(通話時の口元付近)に取り付けられている。本図においては、折畳みタイプの携帯電話端末を例示したが、本発明の電子機器はこれに限定されず、ストレートタイプやスライドタイプのものであってもよい。また、本図においては、電子機器に通常備えられている、ディスプレイ部分や操作ボタンあるいはタッチパネル等の部材の表示は省略している。
【0028】
図4は電子機器(携帯電話端末)10を左手で把持し左耳で受話している場合のユーザの頭部を示した模式図である。図4は、顔を前方向から見た斜視図であり、各々の下段に、前記電子機器の前記画像情報取り込み手段(カメラ)204から取り込まれる画像イメージを示している。各図は、耳のつけ当て部を中心にして、顔(視線)の向きと平行な面内において電子機器10を回転させた状態を示している。図5は、同じ電子機器(携帯電話端末)10を右手で把持し右耳で受話している場合のユーザの頭部を、図4と同様に示した模式図である。図4および図5において、各図共に電子機器の表示面の法線方向と、ユーザの顔(視線)方向とがほぼ直行した例を示している。
【0029】
図4および図5の各々の中央の図は、電子機器が、標準的な状態で把持された場合を示している。図4左図および図5右図は、電子機器が、耳のつけ当て部を中心にして、手前側に回転した状態で把持された場合を示している。また、図4右図および図5左図は、電子機器が、耳のつけ当て部を中心にして、後ろ側に回転した状態で把持された場合を示している。前記画像情報取り込み手段(カメラ)204から取り込まれた画像は、前記制御部100内にある顔情報検出手段104によって、例えば、顎、口元、額の頂点といった特徴点の各部分を検出し、各部を結ぶ仮想線の角度情報を得る。この角度情報を、顔情報の方向別パターン記憶手段105に格納された角度情報とのパターンマッチングにより、通話時のユーザの顔(視線)と電子機器との相対位置または姿勢を特定することができる。その特定は、同じく制御部100内にある相対姿勢特定手段106により行われる。前記顔情報の方向別パターン記憶手段105には、予め、ユーザが電子機器を通話状態に構えた時の画像を取り込んでおく。取り込まれる画像は、顔、顔の一部または身体の一部でもよい。取り込んだ画像から、特徴点を抽出する。特徴点としては、顔の輪郭、鼻、口および頬等の顔の一部の輪郭、ホクロや皺等、ユーザの身体の部位を特定できるものであれば、適宜用いることができる。このように、予め作成しておいた通常の通話状態の画像情報と、新たに取得した画像情報とを用いて、その都度比較することによって、ユーザの顔の向きと電子機器との相対位置をリアルタイムで求めることができる。
【0030】
前記の予め作成する通常の通話状態の画像情報と、相対位置との紐付けは、ユーザと電子機器とが既知の方向に向いた状態で、画像を取り込むことで校正することができる(キャリブレーション)。例えば、ユーザが真北を向いて、電子機器を通話状態に構えた時の画像情報を取り込むことにより、電子機器自体も方向情報を有するため、ユーザが右手で電子機器を持ったときの画像と、左手で電子機器を持ったときの画像とを識別することが可能となる。さらに、特徴点を少なくとも3点以上識別することができれば、極座標変換により、通話時の通常の構えからの相対位置変化を算出することが可能となり、ユーザの顔の向きを基準とした方向提示が可能となる。
【0031】
前記特徴点の抽出には、カメラを用いることができるが、CCDやCMOSカメラでは、赤外線も認識するため、ホクロや皺等を際立てて検出することができる。その中の3点以上の位置を記録できれば、相似変形では距離を、回転角度では回転を、形状変形では面に対する平行度が変化したことが検出できるため、ユーザの顔に対してどのような姿勢で保持されているのかを、精度よく計算することができる。また、通話時の人の動きの速度を考慮すると、前記画像情報取り込み手段(カメラ)は常時作動している必要はなく、画像情報を間欠的に取り込むことでも使用可能である。
【0032】
前記顔情報の方向別パターン記憶手段105に記憶されるパターンは、一般的な特徴を基準としたデータテーブルとしておいてもよく、ユーザ本人の顔画像を直接取り込みテーブル化して画像マッチングに利用しても良い。
【0033】
図6は左右方向に加えて重力の方向にユーザの顔(視線)の方向が変化した場合の模式図である。ユーザの向きや、3次元の位置情報特定が可能である場合、重力方向を考慮しなくてはならない場合もあり得る。この場合も、重力方向の情報を加味する他は、前記図4および図5を用いて説明した形態と同様に動作させることができる。
【0034】
電子機器と目標との位置関係を特定する際、ユーザの電子機器では位置情報取り込み手段206(通常はGPSが使われる)により特定され、通話相手などの目標の位置情報は、目標位置特定手段101により特定される。ただし、前提として、通話相手や目標には位置情報の開示を許可されていることが条件となる。目標位置特定手段101と位置情報取り込み手段206との情報から、電子機器を基準とした目標の方向が目標方向特定手段102により特定される。さらに前述のユーザの顔(視線)と電子機器との相対姿勢との情報により目的の場所や人物、通話相手の方向をユーザの顔(視線)を基準とした方向へ座標変換手段107により変換する。これにより、制御部100はユーザの顔(視線)を基準とした目標方向と電子機器本体を基準とした目標方向との差分を計算することが可能となる。この計算には制御部100内の第2の差分検出手段108によって実行される。3次元の座標変換については、座標ベクトル(要素数3)に対し、回転を表す行列(3×3)と平行移動のベクトル(要素数3)を加えることにより変換が可能である。また、地球上の方向を特定する計算に関しては、カーナビゲーションシステムなどで使われる球面三角法の手法を用いることができる。上記の検出された方向の差分に基づいて制御部100は出力部200の各出力手段を制御する。
【0035】
図7に以上の動作をフローチャートで示す。目標物を検知すると、電子機器は、目標方向を検出し(S1)、ついで、電子機器自体の方向検出を行う(S2)。そして、ユーザの顔の一部等の画像情報を取り込む(S3)。取り込まれた画像情報は、予め取り込まれた既知の相対姿勢と画像とのテーブルの情報と比較され(S4)、ユーザの顔の向きと電子機器との相対位置の情報が得られる。求められた相対位置の情報から、ユーザの顔の向きを基準とした目標方向への変換がなされる(S5)。次のステップ(S6)においては、目標方向とユーザの顔の方向との差分があるか否かが判断される。前記差分がある(Yes)と判断された場合には、出力部制御手段が作動して、差分に応じた方向提示をするように(S7)、出力部に指示を出す。前記差分がない(No)と判断された場合には、方向提示は完了する(S8)。通話が引き続き行われ、さらに方向提示が必要な場合には、S2以降のステップが繰り返される。
【0036】
(実施形態3)
本実施形態では、ユーザへの方向提示について説明する。制御部100により生成された制御信号は、接続される出力部200を使ってユーザに方向を提示する。例えば、4方向に倒れるジョイスティックや、あらゆる方向に回転するジョグボールのような触覚提示部216を使えば、ユーザの顔(視線)に対する目標となる方向へダイレクトに誘導することができる。また、方向提示に振動や、提示のタイミングなどの情報を付加することで、距離感なども提示することもできる。
【0037】
前記触覚提示部216が、例えば、ジョイスティックである場合では、現在のユーザの顔(視線)の向きから目標の方向に最も近い方向にジョイスティックを傾斜させて提示したり、同様に図8に示すようなジョグボール216などを使って提示させることも可能である。また、2次元では表現出来ない方向に対しては、表現できる角度範囲に到達するまで、表示の領域限界まで方向を指定し、方向および量が表現できる範囲に到達したところからベクトル表現するなどの表示方法が考えられる。さらに、3次元での方向提示が可能である手段を用いれば、ユーザの姿勢や電子機器の把持状態に関わらずダイレクトに方向をベクトル表示することが可能となる。図8に示す例では、通話時にジョグボール216を人差し指で触れ、その回転方向を触覚により感じることでユーザは方向を読み取ることができる。
【0038】
以上のように、本発明の電子機器によると、ユーザは電子機器本体に設けた基準に対する目標方向の差分を知ることができるため、電子機器を使った目標方向のサーチが可能となる。また、ユーザが通話をしている状態で目的の場所や人物、通話相手の方向を提示された場合でも、電子機器が、ユーザの顔(視線)の向きと電子機器との相対位置関係や、相対する姿勢を認識することができる。したがって、ユーザの顔(視線)の向きを考慮した方向提示と、通話時の聴覚や、視覚を妨害しない方向提示機能を提供することができる。これにより、よりストレスのない通話時の方向提示サービスを提供できるという効果がある。
【0039】
また、人混みでの待ち合わせでお互いの方向を確認できたり、面識の無い人同士が互いを識別できたり、目の不自由な人同士がお互いの方向を認識することもできるので、よりスムーズに待ち合わせを出来るなどの効果を奏する。さらに、通話相手や目標物、場所の方向が判ることで、より臨場感や感性に訴えるコミュニケーションも実現可能である。
【産業上の利用可能性】
【0040】
本発明は、例えば、携帯電話やPDA(Personal Digital Assistant、あるいは、Personal Data Assistance)、ノートPCなどの情報をやり取りする電子機器全般に適用でき、その用途は広い。
【0041】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0042】
(付記1)位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを
備えることを特徴とする電子機器。
【0043】
(付記2)前記制御部が、前記画像情報から特徴点を抽出する手段を有することを特徴とする、付記1に記載の電子機器。
【0044】
(付記3)前記特徴点を抽出する手段が、前記特徴点として、3点以上を抽出することを特徴とする、付記2に記載の電子機器。
【0045】
(付記4)前記相対姿勢特定手段が、前記画像情報と、予め取得した基準方向の画像情報とを比較する手段を有していることを特徴とする、付記1から3のいずれかに記載の電子機器。
【0046】
(付記5)前記画像情報取り込み手段がカメラであることを特徴とする、付記1から4のいずれかに記載の電子機器。
【0047】
(付記6)前記画像情報取り込み手段が、間欠的に画像情報を取り込むことを特徴とする、付記1から5のいずれかに記載の電子機器。
【0048】
(付記7)前記差分がベクトル情報であることを特徴とする、付記1から6のいずれかに記載の電子機器。
【0049】
(付記8)前記出力部が、方向提示手段を有していることを特徴とする、付記1から7のいずれかに記載の電子機器。
【0050】
(付記9)前記出力部制御手段が、前記座標変換後の目標方向と座標変換前の目標方向との差分がある場合に作動することを特徴とする、付記1から8のいずれかに記載の電子機器。
【0051】
(付記10)付記1から9のいずれかに記載の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを
備えることを特徴とする電子機器の方向提示方法。
【0052】
(付記11)前記制御工程が、前記画像情報から特徴点を抽出する工程を有することを特徴とする、付記10に記載の電子機器の方向提示方法。
【0053】
(付記12)前記特徴点を抽出する工程が、前記特徴点として、3点以上を抽出することを特徴とする、付記11に記載の電子機器の方向提示方法。
【0054】
(付記13)前記相対姿勢特定工程が、前記画像情報と、予め取得した基準方向の画像情報とを比較する工程を有していることを特徴とする、付記10から12のいずれかに記載の電子機器の方向提示方法。
【0055】
(付記14)前記画像情報取り込み工程が、間欠的に画像情報を取り込む工程であることを特徴とする、付記10から13のいずれかに記載の電子機器の方向提示方法。
【0056】
(付記15)前記差分がベクトル情報であることを特徴とする、付記10から14のいずれかに記載の電子機器の方向提示方法。
【0057】
(付記16)前記出力工程が、方向提示工程を有していることを特徴とする、付記10から15のいずれかに記載の電子機器の方向提示方法。
【0058】
(付記17)前記出力部制御工程が、前記座標変換後の目標方向と座標変換前の目標方向との差分がある場合に実行されることを特徴とする、付記10から16のいずれかに記載の電子機器の方向提示方法。
【0059】
(付記18)付記10から17のいずれかに記載の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とするプログラム。
【0060】
(付記19)付記10から17のいずれかに記載の電子機器の方向提示方法による方向提示機能を提供することを特徴とする電子機器の方向提示システム。
【符号の説明】
【0061】
10 電子機器(携帯電話端末)
100 制御部
101 目標位置特定手段
102 目標方向特定手段
103 (本体基準方向と目標方向との)第1の差分検出手段
104 顔情報検出手段
105 顔情報の方向別パターン記憶手段
106 相対姿勢特定手段
107 (端末基準からユーザの顔の向き基準へ)座標変換手段
108 (ユーザの顔の向きと目標方向との)第2の差分検出手段
109 出力部制御手段
200 出力部
201 アンテナ
202 送受信手段
203 記憶手段
204 画像情報取り込み手段(カメラ)
205 他の機器とのI/F
206 位置情報取り込み手段
207 方位情報取り込み手段
208 重力方向情報取り込み手段
209 その他のセンサ
210 スピーカ
211 表示部
212 発光部
213 振動発生部
214 音声取り込み手段
215 操作部
216 触覚提示部(ジョグボール)

【特許請求の範囲】
【請求項1】
位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを
備えることを特徴とする電子機器。
【請求項2】
前記制御部が、前記画像情報から特徴点を抽出する手段を有することを特徴とする、請求項1記載の電子機器。
【請求項3】
前記相対姿勢特定手段が、前記画像情報と、予め取得した基準方向の画像情報とを比較する手段を有していることを特徴とする、請求項1または2記載の電子機器。
【請求項4】
前記画像情報取り込み手段が、間欠的に画像情報を取り込むことを特徴とする、請求項1から3のいずれか一項に記載の電子機器。
【請求項5】
前記差分がベクトル情報であることを特徴とする、請求項1から4のいずれか一項に記載の電子機器。
【請求項6】
前記出力部が、方向提示手段を有していることを特徴とする、請求項1から5のいずれか一項に記載の電子機器。
【請求項7】
前記出力部制御手段が、前記座標変換後の目標方向と座標変換前の目標方向との差分がある場合に作動することを特徴とする、請求項1から6のいずれか一項に記載の電子機器。
【請求項8】
請求項1から7のいずれか一項に記載の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第1の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第2の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを
備えることを特徴とする電子機器の方向提示方法。
【請求項9】
請求項8記載の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とするプログラム。
【請求項10】
請求項8記載の電子機器の方向提示方法による方向提示機能を提供することを特徴とする電子機器の方向提示システム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−205205(P2011−205205A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−68097(P2010−68097)
【出願日】平成22年3月24日(2010.3.24)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】