生体運動情報表示処理装置、生体運動情報処理システム、生体運動情報表示処理方法
【課題】理解しやすくかつ面白みのある態様でユーザ状況を表示する。
【解決手段】ユーザの生体情報、運動情報を検出し、生体情報及び運動情報に基づいてユーザ状況を判定して、それに応じた表示キャラクタの表情又は動作を決定する。そして決定した表示キャラクタの表情又は動作による画像表示を実行する。キャラクタの表情や動作により、人の動作状況、健康状況、感情などの状況を簡易に分かり易く表現することができる。
【解決手段】ユーザの生体情報、運動情報を検出し、生体情報及び運動情報に基づいてユーザ状況を判定して、それに応じた表示キャラクタの表情又は動作を決定する。そして決定した表示キャラクタの表情又は動作による画像表示を実行する。キャラクタの表情や動作により、人の動作状況、健康状況、感情などの状況を簡易に分かり易く表現することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体運動情報表示処理装置、生体運動情報処理システム、生体運動情報表示処理方法に関し、自分や他人の生体情報、運動情報に応じたキャラクタ表示処理を行う技術に関する。
【背景技術】
【0002】
【特許文献1】特開2006−126891号公報
【特許文献2】特開2006−34803号公報
【特許文献3】特開2006−87829号公報
【特許文献4】特開2003−79591号公報
【特許文献5】特開2004−194996号公報
【特許文献6】特開2007−11391号公報
【0003】
上記特許文献1には生体情報のネットワーク伝送に関する技術が開示されている。
また上記特許文献2〜5には、各種の生体情報を表示する装置が記載されている。
また上記特許文献6には、ユーザの主観的情報を抽出して、地図にマッピングする地図作成システムが開示されている。
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、自分や他人の生体情報、運動情報、或いはこれらから推定される状況を、手軽に分かり易く提示するシステムは従来提案されていない。
特に、心拍、血圧等の生体情報に関しては、それらの検出結果を数値やグラフなどで表示することは通常に行われているが、これは医療分野の専門知識を有する人を対象とするものであり、簡易な提示手法ではない。
そこで本発明は、自分や他人の生体情報、運動情報、或いはこれらから推定される状況を、専門家以外の一般の人々も容易に理解できるように表示させ、多様な利用態様を創出可能とすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の生体運動情報表示処理装置は、被検出体(例えば人)の生体情報を取得する生体情報取得手段と、上記被検出体の運動情報を取得する運動情報取得手段と、上記生体情報取得手段で取得した生体情報及び上記運動情報取得手段で取得した運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段とを備える。
【0006】
また、上記生体情報取得手段として生体情報を検出する生体情報検出部を有し、上記運動情報取得手段として運動情報を検出する運動情報検出部を有するようにする。即ち、生体運動情報表示処理装置自体が、生体情報と運動情報の検出機能を備える。
また上記生体情報取得手段及び上記運動情報取得手段は、外部機器から生体情報と運動情報を受信する通信部として構成されるようにする。即ち、外部機器で検出した生体情報と運動情報を通信機能により取得できるようにする。
【0007】
またさらに画像表示を行う表示手段を備え、上記制御手段は、上記表示手段において、上記表示キャラクタによる画像表示が行われるように制御する。
また、さらに位置情報を取得する位置情報取得手段と、地図画像データを取得する地図画像取得手段とを備え、上記制御手段は、上記位置情報取得手段で得られた位置情報に基づいて上記地図画像取得手段により表示する地図画像データを取得するとともに、地図画像上で上記位置情報に応じた位置に、上記表示キャラクタによる画像表示が行われるように制御する。
【0008】
また上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段で生体情報及び運動情報が取得された際に、その生体運動及び運動情報に基づいて決定された表情又は動作による表示キャラクタの表示制御を行う。つまり、取得時にリアルタイムに生体運動及び運動情報に基づく表示キャラクタの表示を行うようにする。
また情報を保存する保存手段をさらに備え、上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段が、生体情報と運動情報を取得した際に、その取得された生体情報と運動情報、もしくは取得された生体情報と運動情報に基づいて決定された表示キャラクタの表情又は動作を示すキャラクタ関連情報を、上記保存手段に保存させる。
その場合、上記制御手段は、所定の条件で上記保存手段から生体情報及び運動情報、もしくはキャラクタ関連情報を読み出し、読み出した生体情報及び運動情報、もしくはキャラクタ関連情報を用いて表示キャラクタの表示制御を行う。つまり、過去に取得した生体運動及び運動情報に基づく表示キャラクタの表示を実行できるようにする。
【0009】
また上記生体情報は、脈拍、心拍、心電図信号、筋電、呼吸(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度(SpO2)、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化(近赤外分光による脳血流、抹消血流などの血流変化)、体温、眼の状態(瞳孔状態、眼の動き、まばたき等)のうちの少なくとも一つの情報であるとする。
また上記運動情報は、静止状態、歩行状態、走行状態、運動状態(揺れ、跳躍等)、身体要素(頭、腕、足、手、指など)の動きのうちの少なくとも一つの情報であるとする。
【0010】
本発明の生体運動情報処理システムは、生体運動情報送信装置と、生体運動情報表示処理装置を有する。上記生体運動情報送信装置は、被検出体(例えば装置装着者である人)の生体情報を検出する生体情報検出手段と、上記被検出体の運動情報を検出する運動情報検出手段と、上記生体情報検出手段で検出された生体情報と、上記運動情報検出手段で検出された運動情報とを送信出力する送信手段とを備える。また上記生体運動情報表示処理装置は、情報通信を行う通信手段と、上記通信手段に生体情報及び運動情報の受信処理を実行させるとともに、上記通信手段で受信した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段とを備える。
さらに生体情報及び運動情報を蓄積する蓄積手段を備えたサーバ装置を有し、上記生体運動情報送信装置の上記送信手段は、生体情報及び運動情報を上記サーバ装置に対して送信し、上記サーバ装置は、送信されてきた生体情報及び運動情報を、上記蓄積手段に蓄積し、上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置の上記蓄積手段に蓄積されている生体情報及び運動情報を受信する。
又は、上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置が上記蓄積手段に蓄積されている生体情報及び運動情報に基づいて決定した、表示キャラクタの表情又は動作を示すキャラクタ関連情報を受信する。
【0011】
本発明の生体運動情報表示処理方法は、人などの被検出体の生体情報を取得するステップと、上記被検出体の運動情報を取得するステップと、取得した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定するステップと、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御するステップとを備える。
【0012】
このような本発明では、生体運動及び運動情報に基づいて決定された表情又は動作による表示キャラクタが、ユーザに対して表示される。表示キャラクタとは、例えば擬人化した動物、物、或いはアニメーション的な人の画像などが想定される。このようなキャラクタの表情や動作を、生体情報、運動情報に基づいて決定することで、人の動作状況、健康状況、感情などの状況を表現することができる。
【発明の効果】
【0013】
本発明によれば、被検出体である人(自分や他人)などの状況を、キャラクタの表情や動作により表現するように表示を行うことができる。これによって、専門的な知識が無くとも、自分や他人の状況を容易に知ることができる。また、その表示を用いることで、健康管理用途、コミュニケーション用途、各種機器における表示の楽しみの向上用途、監視用途など、多様な利用用途が実現できる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施の形態を説明する。説明は次の順序で行う。
<1.自分の生体情報/運動情報に基づくキャラクタ表示>
[1−1 生体運動情報検出表示装置の構成]
[1−2 リアルタイムキャラクタ表示処理]
[1−3 状況履歴としてのキャラクタ再生表示処理]
<2.他人の生体情報/運動情報に基づくキャラクタ表示>
[2−1 システム構成]
[2−2 生体運動情報送信装置の構成]
[2−3 サーバ装置の構成]
[2−4 生体運動情報表示装置の構成]
[2−5 キャラクタ表示のためのシステム動作]
<3.自分と他人の生体情報/運動情報に基づくキャラクタ表示>
<4.実施の形態の効果及び変形例>
【0015】
<1.自分の生体情報/運動情報に基づくキャラクタ表示>
[1−1 生体運動情報検出表示装置の構成]
まず図1で生体運動情報検出表示装置1の構成を説明する。この生体運動情報検出表示装置1は、ユーザが所持する装置であり、その表示画面に、所持するユーザの生体情報及び運動情報に基づくキャラクタ表示を行う機器である。
生体運動情報検出表示装置1は、例えば眼鏡型のディスプレイを持つ機器であってユーザが頭部に装着するものであってもよいし、腕時計型としてユーザが腕に装着するものであってもよい。また、携帯電話器、PDA(Personal Digital Assistant)のような携帯に適した形状及びサイズの機器としてユーザが持ち歩くものでもよい。さらには、携帯電話機やPDAの内蔵機能として、この生体運動情報検出表示装置1としての機能部位を設けてもよい。
【0016】
生体運動情報検出表示装置1は、システムコントローラ10、生体センサ部11、運動センサ部12、位置検出部13、表示部14、日時計数部15、操作部16、記憶部17、通信部18を有する。
【0017】
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、生体運動情報検出表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10は内部の動作プログラムに基づいて、生体運動情報検出表示装置1内の各部の制御を行い、生体情報、運動情報に基づく表示動作等を実行させる。
【0018】
生体センサ部11は、ユーザの生体情報を検出する。生体情報とは、脈拍、心拍、心電図信号、筋電、呼吸(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度(SpO2)、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化(近赤外分光による脳血流、抹消血流などの血流変化)、体温、眼の状態(瞳孔状態、眼の動き、まばたき等)などである。
例えばGSR(皮膚電気反応)、体温、皮膚表面温度、心電図反応、筋電心拍、脈拍、血流、血圧、脳波、発汗、体温などを検出するには、被検出者の皮膚に接触するセンサを用いることが考えられる。脳波については頭部に接触して装着されるセンサを用いる。
また、ユーザの眼の状態を検出するセンサとしては、例えばユーザの眼部を撮像するようにされた撮像部により形成できる。この場合、該撮像部が撮像したユーザの眼部の画像について画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出できる。または、ユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成することもできる。例えば受光信号からユーザの水晶体の厚みを検知することも可能である。
生体センサ部11は、これら所要のセンサによる検出結果情報をシステムコントローラ10に出力する。
【0019】
運動センサ部12は、ユーザの運動情報を検出する。運動情報とは、ユーザの静止/歩行/走行の各状態を示す情報や、運動状態(揺れ、跳躍、歩行/走行のリズム、重心等)を示す情報、或いはユーザの身体要素である頭、腕、足、手、指などの動きを示す情報などである。
これらの運動情報は、加速度センサ、ジャイロ(角速度センサ)、振動センサなどを用いることで検出可能となる。即ち加速度センサやジャイロを備えることで、ユーザの動きに応じた信号として、例えば全身の動き、頭部の動き、首の動き、腕部の動き、脚部の動きなどを検出することができる。もちろん腕部の動き、脚部の動きなどを検出する場合は、加速度センサやジャイロがユーザの腕部や脚部に装着されるようにすればよい。
生体センサ部11は、これら加速度センサ等による検出結果情報をシステムコントローラ10に出力する。
【0020】
位置検出部13は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
なお、位置検出部12としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよい。
日時計数部15は、常時日時カウント動作を行い、年月日時分秒を計数する。
【0021】
操作部16は、生体運動情報検出表示装置1を使用するユーザが各種の操作を行うためのキーやダイヤルなどの操作子として設けられている。また表示部14にタッチパネルを設け、これを操作部16としてタッチ操作可能としてもよい。
例えば、電源オン/オフ操作、表示関連操作(例えば表示モードの選択や表示調整操作)、各種設定操作、更には後述する過去の状況履歴表示のための操作などが可能とされる。
システムコントローラ10は、操作部16からの操作情報に基づいて所要の制御処理を行う。
なお本例の生体運動情報検出表示装置1は、生体センサ部11や運動センサ部12を備えるため、これらによって検出される生体情報/運動情報から、ユーザの意識的な挙動を検知して、システムコントローラ10がそれを操作入力情報と判断するようにしてもよい。
例えばユーザが生体運動情報検出表示装置1をコツコツと軽く叩くといったことを、運動センサ部12の加速度センサ、振動センサ等で検知し、これをシステムコントローラ10がユーザの操作として認識するようにすることができる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識するようにしてもよい。
また生体センサ部11でユーザの眼の動きを検出し、例えばユーザの意識的な挙動としての目の動き(視線方向の変化やまばたき)などを操作入力とすることも考えられる。
【0022】
通信部18は、外部機器との間でのデータの送受信を行う。通信部18は、有線又は無線でネットワーク接続されて通信を行うものであればよい。例えば後述する図9のようなシステムにおけるネットワーク通信を行ったり、他の機器と直接データ通信を行う部位として構成される。
【0023】
記憶部17はシステムコントローラ10の制御に基づいて各種データの記録(保存や、記録されているデータの再生(読み出し)を行う。
この記憶部17は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
本例の場合、記憶部17には、特にキャラクタ情報格納部17a、検出情報蓄積部17b、地図データベース17c、通信データ格納部17dとしての記憶領域が用意される。
【0024】
キャラクタ情報格納部17aは、表示するキャラクタとしての画像データを格納する。例えばそのキャラクタのデザインとしての画像や、キャラクタの表情、動作を表す各種の画像データを記憶する。
例えば図3(a)〜(f)にキャラクタ画像の例を示す。図3(a)(b)(c)はそれぞれ静止状態、歩行状体、走行状態を、動作及び表情で表現する画像例である。また図3(d)(e)は脈拍が高い状態をハートマークで表現する画像例である。また図3(f)は、気分が低下している状態を表情で表現する画像例である。
例えばこのようなキャラクタや、その動作、表情を表す画像データが、キャラクタ情報格納部17aに格納されている。
【0025】
検出情報蓄積部17bは、生体センサ部11で検出される生体情報、運動センサ部12で検出される運動情報、位置検出部13で検出される位置情報を記憶する。例えばシステムコントローラ10の制御に基づいて、一定時間毎に、これらの情報を、日時計数部15でカウントされている日時情報とともに記憶していくようにされる。つまり検出情報蓄積部17bには、ユーザの生体情報/運動情報/位置情報の履歴が蓄積される。
地図データベース17cには、地図表示を行うための地図画像その他必要な情報が記憶されている。
通信データ格納部17dは、通信部18での送信/受信データのバッファリングや格納に用いられる。
【0026】
表示部14は、例えば液晶パネル、有機ELパネル等の表示パネル部と、表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、供給される画像データを表示パネル部において表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
この表示部14は、システムコントローラ10の制御に基づいて、表示パネル部に所定の表示を実行させる。特に本例では、システムコントローラ10が生体情報及び運動情報に基づくキャラクタ画像データを表示部14に供給し、表示部14にキャラクタ表示を実行させる。即ち図3に示したキャラクタ画像であり、システムコントローラ10は、生体情報及び運動情報によって表示すべきキャラクタ画像を決定して表示部14に供給する。
またシステムコントローラ10は、地図データベース17cに記憶された地図画像データを用いて、表示部14に地図表示を実行させる場合もある。
【0027】
このような生体運動情報検出表示装置1は、ユーザが装着できるように小型軽量の機器として構成されることが好適である。検出しようとする生体情報の内容にもよるが、例えば腕時計型、眼鏡型、ヘッドセット型、帽子型、ヘルメット型、手袋型、或いは機器内蔵の衣服などの形態であって、特に一部(生体センサ部11)が被検出者の皮膚や頭部など、検出内容に応じて適切な身体部位に接触できるような形態が適切である。
但し、少なくとも生体センサ部11(検出する運動情報の内容によっては運動センサ部12)がユーザの身体に密着できるようにすればよいことから、生体運動情報検出表示装置1を図2のように2つのユニットで形成してもよい。
【0028】
図2は、生体運動情報検出表示装置1を、検出装置部2と表示装置部3という別体のユニットで構成した例である。
検出装置部2は、生体センサ部11と、運動センサ部12と、検出情報送信部19を有する。
また表示装置部3は、システムコントローラ10、位置検出部13、表示部14、日時計数部15、操作部16、記憶部17、通信部18に加え、検出情報受信部20を備える。
検出情報受信部20と検出情報送信部19は、例えば無線通信或いは有線通信で互いに通信を行う。無線通信とする場合、例えばブルートゥース等の近距離無線通信方式を採用してもよいし、可視光又は非可視光などを用いた光パルス変調でデータ通信を行う光通信方式でもよい。もちろんより長距離に対応した無線通信方式やネットワーク通信を用いてもよい。
そしてこの図2の場合、生体センサ部5で検出される生体情報及び運動センサ部12で検出される運動情報は、検出情報送信部19から送信され、検出情報受信部20で受信される。
システムコントローラ10は、検出情報受信部20で受信された生体情報、運動情報に基づいて、キャラクタ画像の表示制御を行うことになる。
【0029】
この図2の構成の場合、検出装置部2のみを、ユーザの皮膚や頭部などの所要部位に接触できるようにすればよいため、ユーザの装着負担を軽くするような形態が可能となる。特に検出装置部2は生体センサ部11,運動センサ部12、検出情報送信部19を有する簡易な構成であるため、小型軽量化が容易であり、身体の所要部位に装着可能な機器としての実現が容易となる。
また、表示装置部3は、ユーザが所持する専用の小型機器とされてもよいが、例えば携帯電話機やPDA(Personal Digital Assistant)などの携帯可能な機器に、この表示装置部3としての機能を加えたものとしても実現可能である。また、必ずしも表示装置部3はユーザが所持又は装着しない使用形態も考えられるが、その場合、比較的大型の装置としてもよく、デスクトップタイプ、ノートタイプのパーソナルコンピュータなどに、この表示装置部3としての機能を実行させるようにすることも考えられる。
【0030】
[1−2 リアルタイムキャラクタ表示処理]
生体運動情報検出表示装置1によるキャラクタ表示処理について図4,図5で説明する。ここで説明する表示処理は、常時、生体情報/運動情報を検出し、それに応じて表示部14にキャラクタ画像を表示させることで、ユーザ自身の状況をリアルタイムに表現する動作である。
例えば生体運動情報検出表示装置1は、ユーザの操作によりキャラクタ表示モードとされている間、そのユーザの状況を表示部14に表示させる動作を行う。
【0031】
図4は、リアルタイムのキャラクタ画像表示を行うためのシステムコントローラ10の制御処理を示している。
キャラクタ表示モードが開始されると、システムコントローラ10は処理をステップF101からF102に進め、キャラクタ画像の表示処理を開始する。
ステップF102では、システムコントローラ10は、生体センサ部11と運動センサ部12による検出情報として生体情報、運動情報を取り込む。また位置検出部13で検出される位置情報も取り込む。
次にシステムコントローラ10はステップF103で、取り込んだ生体情報、運動情報、位置情報を、その時点で日時計数部15で計数されている現在日時(年月日時分秒)とともに、記憶部17の検出情報蓄積部17bに記憶させる。
【0032】
次にシステムコントローラ10はステップF104で、取り込んだ生体情報/運動情報に基づいて、ユーザ状況を判定し、表示キャラクタを決定する。
ユーザ状況とは、生体情報や運動情報のそのものによって表される状況でもよいし、生体情報/運動情報から推定されるユーザの心理、感情の状況でもよい。
例えば生体情報として心拍数や呼吸情報から、ユーザがドキドキしている状況にあるか否かを判定できる。
また運動情報から、ユーザが静止(立ち止まっている/座っている)か、歩いているか、走っているかという状況を判定できる。
また、生体情報に基づいてユーザの心理状況を判定できる。例えば緊張状態、興奮状態、快適状態などに伴う生体情報の数値の変動に基づいてユーザの感情(楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等)を推定することができる。例えば心拍数、脈拍、脳波、血圧、皮膚電気反応などは心理変化により検出値も変動するためである。さらに視覚センサによる瞳孔の状態、視線の動きによっても、ユーザの状況(落ち着いている、焦っている等)を判定できる。
さらに、運動センサ部12によって検出されるユーザの身体の動きを、ユーザ状況の判定に用いても良い。例えば脈拍等が早くなった場合に、緊張や興奮が原因の場合もあれば、ユーザが走っているなど運動したことが原因の場合もある。これらの判別に為に、加速度センサ等の情報を参照するようにすることもできる。
【0033】
なお、心理状態を推定するのにはある程度の時間が必要であり、一時的に生体センサ部11の検出情報を取り込むだけでは的確な心理状態を推定できない場合がある。即ち生体から得られる信号としての生体センサ部11の検出情報は時々刻々とその値が変化するものであり、或る瞬間の値を見ただけではどのような心理状態にあるのかがわかりにくい。または継続的な感情の変化によって、心理状態の判定のための閾値を変化させたほうがよい場合もある。
そこで、或る程度の過去からの継続的な生体情報/運動情報の変化を参照して心理判定を行うようにすることも適切である。例えば図4のステップF102〜F109の処理は、キャラクタ表示モードの期間に繰り返し行われるため、ステップF103の処理により、各時点の生体情報が検出情報蓄積部17bに蓄積されていく。このためステップF104では、現在の取り込んだ生体情報だけでなく、蓄積されている過去の時点からの生体情報を参照して心理判定を行うことも可能となる。
【0034】
例えば以上のようにして、システムコントローラ10はユーザ状況を判定したら、そのユーザ状況に合致したキャラクタ画像を選定する。即ち図3のような各種のユーザ状況に応じたキャラクタ画像が記憶部17のキャラクタ情報格納部17aに格納されているが、その中で、現在のユーザ状況に合致するキャラクタ画像を選択し、それを表示すべきキャラクタ画像として決定する。
例えば、現在のユーザ状況として、ユーザが走っていて脈拍数が或る閾値以上であると判定した場合は、図3(e)のキャラクタ画像を選択する。この図3(e)のキャラクタ画像は、その表情や動作により、ユーザが走っており脈拍が高いことを表現している。
また、現在のユーザ状況として、ユーザが静止していて気分が低下していると判定した場合は、そのような状況を表情や動作で表している図3(f)のキャラクタ画像を選択することになる。
【0035】
ステップF105では、現在地図表示モードであるか否かで処理を分岐する。地図表示モードとは、ユーザの操作により、表示部14に地図表示を実行している状態である。例えば地図表示中に、ユーザがキャラクタ表示モードを指示した場合や、あるいはキャラクタ表示モードにおいて図4の処理の実行中に、ユーザが地図画像表示を指示した場合、このステップF105で地図表示モードと判断される。
【0036】
現在、地図表示モードでなければ、システムコントローラ10はステップF105からF106にすすみ、キャラクタ表示制御を行う。即ちステップF104で決定したキャラクタ画像データを表示部14に供給して表示させる。
一方、地図表示モードであったら、システムコントローラ10はステップF105からF107にすすみ、現在の位置情報に基づいて、表示させる範囲の地図画像データを地図データベース17cから読み出す。そしてステップF108で、地図画像データ及びキャラクタ画像データにより表示画像データを生成して表示部14に供給し、地図画像上でのキャラクタ表示を実行させる。例えば地図画像上での現在位置に相当する位置に居るユーザを表現するようにキャラクタ画像を表示させる。
【0037】
そしてステップF109でキャラクタ表示モードの終了と判断されるまで、ステップF102に戻って同様の処理を繰り返す。
例えばユーザの操作によりキャラクタ表示モードの終了が指示された場合は、システムコントローラ10はステップF109からF110に進み、表示部14におけるキャラクタ表示を終了させて図4の処理を終える。
【0038】
図5(a)(b)に表示例を示す。
図5(a)はステップF106の処理により実行される表示例であり、この場合、表示部14の画面14aの隅に、キャラクタ画像30を表示させている例である。例えば通常状態において、画面14aの中央に所要の表示を行っている場合、このように画面14aの隅に継続してキャラクタ画像30を表示させるようにすればよい。但し、もちろん画面14aの中央に大きくキャラクタ画像30を表示させてもよい。
キャラクタ表示モードとされている期間に図4の処理が継続されることで、表示されるキャラクタ画像30は、ユーザ状況に応じて変化することになる。例えばユーザが走り出すと図3(c)のような画像が表示され、また走り続けて脈拍が高くなると、図3(e)のような表示に変化することになる。
【0039】
図5(b)はステップF108の処理により実行される表示例であり、画面14aには地図画像31が表示されるとともに、その地図上で、ユーザの居る位置(位置検出部13で検出される位置情報に基づく位置)を示した状態で、キャラクタ画像30が表示されている。この場合も、図4の処理が継続されることで、ユーザの位置の移動や、ユーザ状況の変化に応じて、表示される地図画像の範囲、地図上でのユーザの現在位置の表示、及びキャラクタ画像30は変化していくことになる。
【0040】
このようにキャラクタ表示を行うことで、面白みのある画像によりユーザ自身の状況を表現することができ、ユーザの楽しみを広げることができる。
地図画像と共に表示すれば、ナビゲーション等の機能とともに、ユーザの位置や状況を分かり易く示すことができる。
【0041】
また、図3には各種のユーザ状況に応じたキャラクタ画像を例示したが、もちろんこれは一部のユーザ状況に応じた一例にすぎず、より多様なユーザ状況を表現する画像を用意することもできる。例えばユーザが暑いと感じている状況、寒いと感じている状況、快適な状況、疲れた状況、眠たい状況、興奮した状況、血圧が低下或いは上昇した状況、呼吸状況、心拍状況など、多様な状況を表現する表情や動作のキャラクタ画像を用意して、それらを選択して表示できるようにすればよい。
もちろん或るユーザの状況を表すキャラクタ画像は、静止画でも、動画でも、擬似動画でもよい。擬似動画とは、例えば2つ或いは3つなどの少数の静止画を交互に表示させるような表示態様のことを言う。
【0042】
またキャラクタ情報格納部17aには、予め特定のキャラクタ画像を用意して記憶させておいてもよいが、例えば通信部18により外部サーバ(例えば図9、図11等で後述するサーバ装置70)と通信を行って、キャラクタ画像データをダウンロードできるようにしてもよい。
もちろん、基本となるキャラクタ自体を予め多数用意して記憶させておき、ユーザが選択できるようにしたり、或いはユーザが自分で任意のキャラクタを作成できるようにしてもよい。
【0043】
[1−3 状況履歴としてのキャラクタ再生表示処理]
ところで、上記図4のステップF103の処理が行われることで、生体情報、運動情報、位置情報が逐次検出情報蓄積部17bに記憶されていく。
また、キャラクラ表示モードでない期間(図4の処理が行われていない期間)も、システムコントローラ10が、例えば一定時間毎に、ステップF102,F103の処理を実行するようにすれば、常時、ユーザの生体情報、運動情報、位置情報が検出情報蓄積部17bに記憶されていくことになる。
【0044】
図6(a)に、検出情報蓄積部17bで蓄積される情報の例を示す。
図6(a)に示すように、日時情報に対応づけられて、その日時において検出された位置情報PL(PL1,PL2,PL3・・・)、生体情報L(L1,L2,L3・・・)運動情報M(M1,M2,M3・・・)が蓄積されていく。
例えばこのように逐次検出される生体情報、運動情報、位置情報が、日時情報とともに検出情報蓄積部17aに蓄積されていくことで、過去の時点のユーザ状況を判定できることになる。
【0045】
なお、上記図4のステップF104では、現在のユーザ状況を判定し、表示するキャラクタ画像を決定するが、このときに選択したキャラクタ画像を示す情報(或いはキャラクタ選定の元となるユーザ状況の情報)を、図6(b)のキャラクタ関連情報C(C1,C2,C3・・・)として蓄積するようにしてもよい。
さらには図示しないが、日時情報に対応させて、キャラクタ関連情報Cと位置情報PLを蓄積し、生体情報、運動情報は記憶しないような記憶形態も考えられる。
【0046】
生体運動情報検出表示装置1では、これらのような情報蓄積を行うことで、ユーザの過去の状況をキャラクタ再生表示として表示させることができる。
図7に、キャラクタ再生表示としてユーザ状況の履歴を表現する表示を行う際のシステムコントローラ10の処理を示している。
【0047】
ユーザが操作部16によりキャラクタ再生を指示する操作を行うと、システムコントローラ10は処理をステップF201からF202に進め、まず表示部14に、再生条件の入力を求める表示を行う。
再生条件とは、例えば日時、場所などの再生する蓄積データを検索するための条件である。例えば再生条件として日時を用いる場合は、○月○日と特定の日を指定したり、○月○日の午後○時などと特定の日時を指定したり、○月○日〜×月×日と範囲を指定したりすることができるようにすればよい。
また再生条件として場所を用いる場合は、地名を指定できるようにすることや、地図画像上で地域の範囲指定をできるようにすることが考えられる。
さらに再生条件としては、生体情報、運動情報、心理状況などを指定できるようにしてもよい。例えば「心拍数が○○以上」、「走っている状況」「気分が低下している状況」などを指定できるようにしてもよい。
また、日時、場所、生体情報、運動情報、心理状況などの再生条件に、アンド条件、オア条件などを指定できるようにしてもよい。
さらには「全ての蓄積データ」として指定できるようにしてもよい。
【0048】
システムコントローラ10は、これらの再生条件を入力できるような画像表示を行い、ステップF203,F204でユーザの入力を待機する。
もしユーザが再生キャンセルの操作を行った場合は、ステップF204からF209に進み、再生条件の入力画像の表示を終了させて図7の処理を終える。
ユーザが再生条件を入力したら、システムコントローラ10はステップF203からF205に進み、検出情報蓄積部17bに蓄積されているデータの中から、再生条件に合致するデータを抽出し、それを再生対象とする。
例えば或る日時が指定されたら、図6のように蓄積されているデータの中から、日時情報により検索が行われ蓄積されたデータが抽出される。
【0049】
システムコントローラ10は、再生対象のデータを抽出したら、ステップF206で抽出したデータの再生制御を行う。
例えば図6に示したデータが再生表示される場合を図8に示す。
図8(a)は、抽出された各データを表示部14の画面14aにおいて、一覧表示させる例である。この場合、キャラクタ画像30とともに、日時情報に基づく日時表示32、位置情報PLに基づく地名表示33が行われる例としている。
また図8(b)のように、地図画像上で抽出されたデータを表示させるようにしてもよい。この場合、地図画像31上において、位置情報PLに基づく位置を示す状態で、対応するキャラクタ画像30と日時が表示されている。
もちろんこれ以外にも表示形態は多様に考えられる。
【0050】
なお、図6(a)のような形態でデータ蓄積が行われる場合、再生対象としたデータにおいて、生体情報/運動情報に基づいてユーザ状況を判定し、表示するキャラクタ画像を決定する処理(図4のステップF104と同様の処理)が必要になる。一方、図6(b)のようにキャラクタ関連情報Cを蓄積させておけば、再生時は、そのキャラクタ関連情報Cで示されるキャラクタ画像を図8(a)(b)のように表示させればよい。
また、図8(a)(b)の表示において、ユーザのスクロール操作やページ送り操作に応じて表示される内容が切り換えるようにする。
或いは、自動的に再生される対象の蓄積データが切り換えられていくようにしてもよい。
【0051】
システムコントローラ10は、ユーザの操作、又は何らかの条件で再生終了と判断した場合は処理をステップF207からF208に進め、再生表示を終了させて図7の処理を終える。
【0052】
例えばこのように検出情報蓄積部17bに蓄積されているデータに基づいてキャラクタ再生表示を行うことで、ユーザは、任意に過去の自分の状況や、自分の居た場所などを見ることができる。これによって過去の自分の履歴として出かけた場所やそのときの自分の状況を思い起こしたり、確認することが容易に可能となる。
【0053】
<2.他人の生体情報/運動情報に基づくキャラクタ表示>
[2−1 システム構成]
ここまでは、図1の生体運動情報検出表示装置1で、ユーザ自身の現在の状況に応じたキャラクタ画像表示や、過去の状況を示すキャラクタ画像再生表示を行う動作を説明してきたが、続いて、ユーザが他人の状況をキャラクタ画像により知ることができる生体運動情報処理システム及び該システムを構成する装置について説明していく。
【0054】
図9はシステム構成例を示している。この生体運動情報処理システムは生体運動情報送信装置100、サーバ装置70,生体運動情報表示装置200が、それぞれネットワーク60を介して通信可能とされて構成されるシステム例である。
そして、生体運動情報表示装置200のユーザが、生体運動情報送信装置100を装着している他人の状況を、キャラクタ画像により知ることができるシステムである。
【0055】
ネットワーク60とは、インターネット、携帯電話通信網、PHS通信網、アドホックネットワーク、LANなど、各種考えられる。
生体運動情報送信装置100は、装着者の生体情報/運動情報/位置情報/日時情報を検出し、ネットワーク通信によりサーバ装置70に送信する。例えば定期的に送信する。
サーバ装置70は送信されてきた生体情報/運動情報/位置情報/日時情報を内部のデータベースに蓄積する。後述するが、これら生体情報等には、生体運動情報送信装置100の装着者に固有に付与された識別情報(以下、ユーザID)を対応させて蓄積する。
生体運動情報表示装置200は、サーバ装置70に蓄積されている、特定のユーザ(他人)の生体情報/運動情報/位置情報/日時情報を、ネットワーク通信により取得することができる。そして取得した生体情報/運動情報やユーザIDに基づいて表示させるキャラクタ画像を決定し、表示する。またその表示の際に位置情報/日時情報を反映させることもできる。
又は生体運動情報表示装置200は、サーバ装置70から、表示すべきキャラクタ画像自体を、ネットワーク通信により取得し、そのキャラクタ画像を表示することができる。
【0056】
なお、図1に示した構成の生体運動情報検出表示装置1は、図9における生体運動情報送信装置100にも成り得るし、生体運動情報表示装置200ともなり得る。
【0057】
[2−2 生体運動情報送信装置の構成]
上記図9に示した生体運動情報送信装置100の構成例を図10に示す。
生体運動情報送信装置100は、検出/送信コントローラ110、生体センサ部111、運動センサ部112、位置検出部113、日時計数部115、操作部116、記憶部117、通信部118を有する。
【0058】
検出/送信コントローラ110は、例えばCPUにより形成される。この検出/送信コントローラ110は、生体情報の検出動作や送信動作のための制御処理を行う。
また記憶部117は、ROM、RAM、不揮発性メモリなどの記憶領域を有し、検出/送信コントローラ110の処理プログラム格納領域、及びワーク領域などとして用いられる。なお、記憶部117は検出/送信コントローラ110としてのマイクロコンピュータチップの内部メモリとして構成されてもよい。
また例えば記憶部117の不揮発性メモリ領域には、個々の生体運動情報送信装置100に固有に付与された識別情報(装置ID)や、この生体運動情報送信装置100のユーザの識別情報(ユーザID)などが記憶されるようにしてもよい。
【0059】
通信部117は外部通信機器との間でのデータの送受信を行う。特には、図9のシステム構成の場合、通信部117はネットワーク60を介した通信として、サーバ装置70との間でのデータ通信を行う。この場合、通信部117は、有線又は無線でネットワーク接続されて通信を行うものであればよい。例えばネットワークアクセスポイントとの間で無線通信を行う構成が考えられる。
【0060】
操作部116は、ユーザがこの生体運動情報送信装置100を使用する際に必要な操作入力を行うために設けられる。例えば電源操作や各種設定操作などが実行できるようにされればよい。
生体センサ部111、運動センサ部112、位置検出部113、日時計数部115については、図1の生体運動情報検出表示装置1で説明した生体センサ部11、運動センサ部12、位置検出部13、日時計数部15と同様の機能を持ち、これらによってユーザの生体情報、運動情報、位置情報、日時情報が検出される。
【0061】
このような生体運動情報送信装置100では、検出/送信コントローラ2は、例えば定期的に生体センサ部111、運動センサ部112、位置検出部113、日時計数部115で検出されるユーザの生体情報、運動情報、位置情報、及び検出時点の日時情報を記憶部117に記憶する。そして記憶部117に取り込んだ生体情報、運動情報、位置情報、日時情報を用いて送信データを生成し、通信部118からネットワーク60を介してサーバ装置70に送信させる。この場合、送信データには、生体情報、運動情報、位置情報、日時情報だけでなく、ユーザIDや装置ID等を含むようにもする。
【0062】
このような生体運動情報送信装置100は、ユーザが手軽に装着できるように小型軽量の機器として構成されることが好適である。検出しようとする生体情報、運動情報の内容にもよるが、例えば腕時計型、眼鏡型、ヘッドセット型、帽子型、ヘルメット型、手袋型、或いは機器内蔵の衣服などの形態であって、特に一部(生体センサ部111)が被検出者の皮膚や頭部など、検出内容に応じて適切な身体部位に接触できるような形態が適切である。
なお、図示は省略するが、図2の例のように、生体センサ部111、運動センサ部112が別体ユニットとされるようにしてもよい。
【0063】
また、図10の構成と、図1及び図2の構成を比較して理解されるように、図1,図2で説明した生体運動情報検出表示装置1が、この図10の生体運動情報送信装置100と同じ動作を行って、図9の生体運動情報送信装置100として機能することも可能である。つまり、例えば図1のシステムコントローラ10が、例えば定期的に生体情報、運動情報、位置情報、日時情報を用いて送信データを生成し、通信部18からネットワーク60を介してサーバ装置70に送信させるようにすることも可能である。
【0064】
[2−3 サーバ装置の構成]
次に図11に、サーバ装置70の構成例を示す。
上述したようにサーバ装置70は、例えばネットワーク60を介した通信により、生体運動情報送信装置100から送信されてくる生体情報、運動情報、位置情報、日時情報を蓄積し、また蓄積した生体情報等を生体運動情報表示装置200に送信することのできる装置である。
サーバ装置70は、サーバ制御部72、ネットワークストレージ部71、通信部73、情報管理部74、生体運動情報データベース75を備える。またキャラクタ情報格納部76,地図データベース77を備える場合もある。
【0065】
サーバ制御部72は、サーバ装置70としての必要な動作制御を行う。特には、ネットワーク通信動作の制御や、生体運動情報送信装置100からの生体情報、運動情報、位置情報、日時情報が送信されてきた際の処理制御、生体運動情報表示装置200に対する生体情報等の送信に関する制御などを行う。
ネットワークストレージ部71は、例えばHDD等により実現され、例えば生体運動情報送信装置100や生体運動情報表示装置200とのネットワーク60を介した通信による送受信データを一時的に保存したり、各種必要なデータの保存などに用いられる。
通信部73は、生体運動情報送信装置100や生体運動情報表示装置200との間で、ネットワーク60を介したデータ通信を行う。
【0066】
情報管理部74は、生体運動情報送信装置100から送信されてきた生体情報、運動情報、位置情報、日時情報の管理を行う。
生体運動情報データベース75には、生体運動情報送信装置100から送信されてきた生体情報、運動情報、位置情報、日時情報が、例えばユーザIDなどと対応づけられた状態でデータベース化されて格納される。
情報管理部74は、この生体情報データベース75に対するデータ登録や検索などの処理も行う。
【0067】
キャラクタ情報格納部76は、生体運動情報表示装置200側で表示させる各種のキャラクタ画像が保存される。特には、キャラクタ画像をユーザIDに対応づけて管理される状態で保存してもよい。
地図データベース77は、生体運動情報表示装置200側で地図表示を行うための地図画像その他必要なデータを格納している。
【0068】
[2−4 生体運動情報表示装置の構成]
次に生体運動情報表示装置200の構成例を図12、図13で説明する。
図12の生体運動情報表示装置200は、システムコントローラ201、通信部218、表示部214,操作部216、記憶部217を有する例としている。記憶部217には、記憶領域として通信データ格納部217dが確保されている。
また、図13の生体運動情報表示装置200の構成例は、図12の構成に加えて、記憶部217にキャラクタ情報格納部217a、地図データベース217cとしての記憶領域が形成されている例である。
これら図12,図13の構成の各部は、図1に示したシステムコントローラ10、通信部18、表示部14,操作部16、記憶部17と同様であるため重複説明は避ける。
なお、通信部218は、特には、図9で示したネットワーク60を介した通信として、サーバ装置70との間でのデータ通信を行う。
また、システムコントローラ201は、キャラクタ表示動作やサーバ装置70との通信処理の制御を行うことになる。
【0069】
図9のシステム構成で述べたところの生体運動情報表示装置200とは、サーバ装置70から受信した情報に基づいて、或る人物(生体運動情報表示装置200のユーザにとって他人である生体運動情報送信装置100のユーザ)の状況を示すキャラクタ画像を表示部214に表示する装置であればよい。
そのためには、システム動作から考えて、生体運動情報表示装置200の構成例としては2つの種類が考えられる。
【0070】
本例で言うキャラクタ画像は、生体情報/運動情報に基づいて判断されるユーザ状況を表現する画像である。
つまり生体情報/運動情報から判断されるユーザ状況に基づいて、表示するキャラクタ画像が決定されるが、システム動作として考えた場合、キャラクタ画像の決定処理は、サーバ装置70側で行ってもよいし、生体運動情報表示装置200側で行ってもよい。
サーバ装置70側で、生体情報/運動情報から判断されるユーザ状況に基づいて表示させるキャラクタ画像を決定する場合、サーバ装置70は表示させるキャラクタ画像データ自体を生体運動情報表示装置200に送信することができる。その場合、生体運動情報表示装置200は、受信したキャラクタ画像データを通信データ格納部217dに記憶させた後、そのキャラクタ画像データを用いて表示処理を行えばよいため、図12の構成として実現できる。
【0071】
なお、サーバ装置70側で、生体情報/運動情報から判断されるユーザ状況に基づいて表示させるキャラクタ画像を決定する場合においては、サーバ装置70は表示させるキャラクタ画像データ自体を送信するのではなく、表示させるキャラクタ画像を指定する情報や、表示させるキャラクタの表情や動作を指定する情報を生体運動情報表示装置200に送信するようにしてもよい。
その場合、生体運動情報表示装置200には、受信した情報に基づいて、キャラクタ画像を選択して表示処理を行うことになるため、キャラクタ情報格納部217cを備えた図13の構成が適切となる。
【0072】
また生体運動情報表示装置200において、地図画像表示を考えた場合に、地図画像データをサーバ装置70からダウンロードするのであれば、生体運動情報表示装置200はダウンロードした地図データを通信データ格納部217dに記憶させた後、その地図データを用いて表示処理を行えばよいため、図12のように地図データベースを備えない構成として実現できる。
【0073】
一方、キャラクタ画像の決定処理を生体運動情報表示装置200側で行うシステム動作の場合は、図13の構成が適切である。
その場合、サーバ装置70は、少なくとも或る人物(ユーザID)の生体情報/運動情報を生体運動情報表示装置200に送信し、生体運動情報表示装置200側で、受信した生体情報/運動情報から判断されるユーザ状況に基づいて表示させるキャラクタ画像を決定し、表示処理する。従って、キャラクタ情報格納部217cを有する構成が必要とされる。
【0074】
ここまでの説明からわかるように、図12の構成は、サーバ装置70側から表示するキャラクタ画像データを送信するというシステム動作を前提にした場合に、生体運動情報表示装置200の簡易化を目的とした構成例の1つであり、図13の構成は、サーバ装置70側と生体運動情報表示装置200側のどちらでキャラクタ決定処理を行うかにかかわらず採用できる構成例である。
また、同様に図1の生体運動情報検出表示装置1も、どちらでキャラクタ決定処理を行うかにかかわらず、生体運動情報表示装置200として機能できる構成例となる。
【0075】
[2−5 キャラクタ表示のためのシステム動作]
以上の生体運動情報送信装置100、サーバ装置70、生体運動情報表示装置200で構成される生体運動情報処理システムとしての動作例を説明する。
【0076】
図14は生体運動情報送信装置100からサーバ装置70へ生体情報等を送信する際の動作を示している。図14において生体運動情報送信装置100の処理は、検出/送信コントローラ110の制御によって実行される処理であり、サーバ装置70の処理は、サーバ制御部72の制御によって実行される処理である。
【0077】
生体運動情報送信装置100では、検出/送信コントローラ110はステップF301として送信タイミングを待機する。そして送信タイミングとなったらステップF302に進む。送信タイミングは、例えば定期的なタイミングであるとしてもよいし、ユーザの操作その他の何らかのトリガに基づくタイミングであってもよい。
【0078】
ステップF302では、検出/送信コントローラ110は、生体センサ部111で得られる生体情報、運動センサ部112で得られる運動情報、位置検出部113で得られる位置情報、及び日時計数部115で得られる現在の日時情報を取り込み、これらを記憶部117に記憶させる。
次にステップF303として、検出/送信コントローラ110は送信データを生成する。即ち、記憶部117に取り込んだ生体情報、運動情報、位置情報、日時情報に、さらにユーザIDもしくは機器IDを含む送信用データを生成する。
【0079】
ステップF304では、サーバ装置70と通信接続を行う。検出/送信コントローラ110は、通信部118からネットワーク通信を開始させ、サーバ装置70に通信接続を実行させる。またこのときサーバ装置70側ではステップF401として、サーバ制御部72は、通信部73での通信接続処理を行うとともに、認証処理を行う。認証処理の手法は多様に考えられるが、例えば生体運動情報送信装置100から装置IDを送信し、サーバ装置70側で、当該装置IDが適正に登録された装置IDであるか否かを判断するといった手法が考えられる。
【0080】
認証OKとなって接続が確立されたら、生体運動情報送信装置100はデータ送信を行う。即ち検出/送信コントローラ110は、生体情報、運動情報、位置情報、日時情報、ユーザID(もしくは機器ID)を含むデータを通信部118から送信させる。
一方サーバ装置70のサーバ制御部72は、ステップF402として、通信部73で受信されるデータをネットワークストレージ部71に取り込む。
受信データの取り込みが完了したら、サーバ制御部72は、ステップF403で、取り込んだ受信データについてデコード処理やデータ抽出を行い、受信データに含まれていた生体情報、運動情報、位置情報、日時情報、ユーザID(もしくは機器ID)を、情報管理部74に受け渡し、生体運動情報データベース75に登録させる処理を行う。
【0081】
生体運動情報送信装置100側では、動作終了(例えば電源オフ)とされるまでは、ステップF306からF301に戻り、例えば定期的な送信タイミングとなる毎に、上記ステップF302〜F305の処理を行う。
【0082】
例えばこのような処理が逐次行われることで、サーバ装置70側では、生体運動情報データベース75に、各生体運動情報送信装置100から送信されてきた情報が蓄積されていく。
図15には生体運動情報データベース75での登録形式の一例を示している。
この生体運動情報データベース75では、例えばユーザID(UID1,UID2・・・)に対応させて、逐次送信されてくる生体情報L、運動情報M、位置情報PL、日時情報Dateを蓄積するものとされる。
例えばユーザID=UID1とされたユーザの生体運動情報送信装置100から上記図14の処理で、ユーザID(UID1)とともに生体情報L、運動情報M、位置情報PL、日時情報Dateが送られてくるたびに、図15のようにユーザID(UID1)に対応づけて生体情報L、運動情報M、位置情報PL、日時情報Dateが1つの登録単位のデータとして追加記憶されて蓄積されていく。
【0083】
なお、蓄積データについては、1つのユーザIDについて蓄積する登録単位の数の制限を設けて、古いものから順に消去するようにしてもよいし、或いは日時情報を参照して古いデータを削除するようにしてもよい。
或いは、1つのユーザIDに対しては、1つの登録単位のデータ(L、M、PL、Date)のみが保存されるものとしてもよい。つまり或るユーザIDについての生体情報L、運動情報M、位置情報PL、日時情報Dateが送信されてくる毎に、そのユーザIDの生体情報L、運動情報M、位置情報PL、日時情報Dateを更新するような記憶形式としてもよい。
また、ユーザIDに代えて(或いはユーザIDとともに)装置IDを用いて生体情報等を登録するデータベースとしてもよい。
【0084】
このようにサーバ装置70に蓄積された情報に基づいて、生体運動情報表示装置200では、その生体運動情報表示装置200のユーザにとって他人の状況をキャラクタ画像で表示させることができる。
このための処理例を図16,図17に示す。
図16,図17は、サーバ装置70と生体運動情報表示装置200の処理を示している。サーバ装置70の処理はサーバ制御部72の制御による処理であり、生体運動情報表示装置200の処理はシステムコントローラ201の制御による処理である。
そして図16は、サーバ装置70側でキャラクタ決定処理をする場合の処理例であり、図17は、生体運動情報表示装置200側でキャラクタ決定処理をする場合の処理例として示している。
【0085】
まず図16の処理例を説明する。
生体運動情報表示装置200のユーザは、他人(例えば知人)の現在の状況を知りたいと考えた場合、その他人のユーザID(又は装置ID)を指定する操作を行って、サーバアクセスを指示する。例えば他人のユーザIDを知っていれば、そのユーザIDを指定することで、その他人の状況の表示を求める操作を行うことができる。
ユーザがこのような操作を行うことに応じて、生体運動情報表示装置200は他人の状況のキャラクタ表示を実行するため、図17の処理を行う。
まずステップF601としてサーバ装置70と通信接続を行う。システムコントローラ201は、通信部218からネットワーク通信を開始させ、サーバ装置70に通信接続を実行させる。またこのとき、サーバ装置70側ではステップF501として、サーバ制御部72は、通信部73での通信接続処理を行うとともに、認証処理を行う。この場合も認証処理の手法は多様に考えられるが、例えば生体運動情報表示装置200側からそのユーザ自身のユーザIDや装置IDを送信し、サーバ装置70側でユーザIDや装置IDの確認を行うといった手法が考えられる。
【0086】
サーバ装置70との通信で認証OKとなり、通信が確立されたら、生体運動情報表示装置200のシステムコントローラ201は、ステップF602で、その生体運動情報表示装置200のユーザが指示した他人のユーザID(又は装置ID)を含むデータ要求をサーバ装置70に送信する。
【0087】
サーバ制御部72は、ステップF502としてデータ要求を受信したことを検知したら、ステップF503で情報管理部74にユーザID(又は装置ID)を伝え、該当データの検索を指示する。情報管理部74は、生体運動情報データベース75から、指示されたユーザID(又は装置ID)についてのデータ(生体情報L、運動情報M、位置情報PL、日時情報Date)を抽出する。この際、生体情報L、運動情報M、位置情報PL、日時情報Dateを1つの登録データ単位として、複数の登録データ単位が蓄積されている場合は、日時情報Dateにより最新の登録データ単位としての生体情報L、運動情報M、位置情報PL、日時情報Dateを読み出せばよい。
【0088】
次に、サーバ制御部72はステップF504で、情報管理部74に表示キャラクタ決定処理を実行させる。
情報管理部74は、読み出した生体情報L、運動情報M、位置情報PL、日時情報Dateに関して、特に生体情報L、運動情報Mを用いてユーザ状況を判定する。そしてキャラクタ情報格納部76に記憶されている各種キャラクタ画像の中で、判定したユーザ状況に応じた表情又は動作とされるキャラクタ画像を決定する。
なお、このときユーザID毎に異なるキャラクタ画像を用意しているのであれば、ユーザIDも、キャラクタ画像決定の際に用いることになる。
【0089】
またサーバ制御部72はステップF505で、情報管理部74に地図画像データ読出を指示する。情報管理部74は、生体運動情報データベース75から読み出した位置情報PLに基づいて、その位置情報PLで示される位置を含む所要範囲の地図画像データを、地図データベース77から読み出す。
【0090】
そしてステップF506でサーバ制御部72は、情報管理部74から、決定した表示キャラクタに関するデータ(例えばキャラクタ画像データ自体)や、位置情報PLと地図画像データ、及び日時情報Dateを受け取り、それらを通信部73から生体運動情報表示装置200に送信させる。
なお、表示キャラクタに関するデータとは、生体運動情報表示装置200が図12の構成の場合は、キャラクタ画像データ自体とするのが適切であるが、生体運動情報表示装置200が図13又は図1の構成のように、キャラクタ画像を保持している場合は、キャラクタ画像を指定する情報や、キャラクタ画像を指定するためのユーザ状況の判定情報でもよい。
【0091】
生体運動情報表示装置200側では、システムコントローラ201がステップF603で、表示キャラクタに関するデータ、地図画像データ、位置情報PL、及び日時情報Dateの受信処理を行う。即ち通信部218で受信されるこれらのデータを記憶部217の通信データ格納部217dに保存させる。
そして受信/保存したデータに基づいてキャラクタ画像表示を行う。
この際、システムコントローラ201は、ステップF604で、現在地図表示モードであるか否かを確認する。これは図4のステップF105で説明した処理と同様である。
【0092】
地図表示モードでなければ、ステップF605で表示部214にキャラクタ画像表示を実行させる。即ち、受信/保存したキャラクタ画像データを、表示部214に供給して、例えば図5(a)で説明したようなキャラクタ表示を実行させる。
また地図表示モードであれば、ステップF606で表示部214において、地図画像上でのキャラクタ画像表示を実行させる。即ち、受信/保存したキャラクタ画像データ及び地図画像データを表示部214に供給して、例えば図5(b)で説明したような表示を実行させる。
この場合、生体運動情報表示装置200のユーザにとっては、知人の現在の状況(サーバ装置70に蓄積された最新の生体情報/運動情報に基づく状況)を、キャラクタ画像により知ることができる。
【0093】
図17は、生体運動情報表示装置200側でキャラクタ決定処理をする場合の処理例である。なお、図16と同一の処理は同一のステップ番号を付している。
生体運動情報表示装置200側のステップF601,F602及びサーバ装置70側のステップF501,F502は上記図16と同様であり、これらの処理で、通信確立及びデータ要求の送受信が行われる。
【0094】
またサーバ制御部72は、ステップF502でデータ要求を受信したことを検知したら、ステップF503で情報管理部74にユーザID(又は装置ID)を伝え、該当データの検索を指示する。これに応じて上記図16と同様に、情報管理部74は、生体運動情報データベース75から、指示されたユーザID(又は装置ID)についてのデータ(生体情報L、運動情報M、位置情報PL、日時情報Date)を抽出する。
【0095】
次に、サーバ制御部72はステップF510で、情報管理部74が読み出した生体情報L、運動情報M、位置情報PL、日時情報Dateを受け取り、それらを通信部73から生体運動情報表示装置200に送信させる。
【0096】
生体運動情報表示装置200側では、システムコントローラ201がステップF610で、生体情報L、運動情報M、位置情報PL、日時情報Dateの受信処理を行う。即ち通信部218で受信されるこれらのデータを記憶部217の通信データ格納部217dに保存させる。
【0097】
次にシステムコントローラ201は、ステップF611で表示キャラクタの決定処理を行う。即ちシステムコントローラ201は、受信した生体情報Lと運動情報Mを用いて、他人であるユーザの状況を判定する。そしてキャラクタ情報格納部17aに記憶されている各種キャラクタ画像の中で、判定したユーザ状況に応じた表情又は動作とされるキャラクタ画像を決定する。
なお、このときユーザID毎に異なるキャラクタ画像を用意しているのであれば、サーバアクセス時に指定した他人のユーザIDも、キャラクタ画像決定の際に用いることになる。
【0098】
表示キャラクタを決定したら、キャラクタ画像表示を行う。
この際、システムコントローラ201は、ステップF612で、現在地図表示モードであるか否かを確認する。これは図4のステップF105で説明した処理と同様である。
【0099】
地図表示モードでなければ、ステップF613で表示部214にキャラクタ画像表示を実行させる。即ち、決定したキャラクタ画像データを、表示部214に供給して、例えば図5(a)で説明したようなキャラクタ表示を実行させる。
また地図表示モードであれば、ステップF614で、受信した位置情報PLを元に、表示する範囲の地図画像データを地図データベース17cから読み出し、表示部214において、地図画像上でのキャラクタ画像表示を実行させる。即ち、キャラクタ画像データ及び地図画像データを表示部214に供給して、例えば図5(b)で説明したような表示を実行させる。
この場合も、生体運動情報表示装置200のユーザにとっては、知人の現在の状況(サーバ装置70に蓄積された最新の生体情報/運動情報に基づく状況)を、キャラクタ画像により知ることができる。
【0100】
以上のシステム動作が行われることで、生体運動情報表示装置200のユーザは、生体運動情報送信装置100を装着している他人についての現在の状況を、キャラクタ画像表示により知ることができる。例えば知人等について、現在走っている、気分が低下している・・・等の各種の状況を、キャラクタ画像により認識できる。
【0101】
なお、ここでは現在の他人の状況をキャラクタ画像により表示することとしたが、過去の他人の状況を表示させることもできる。
例えばサーバ装置70の生体運動情報データベース75において、生体運動情報送信装置100のユーザについての生体情報等が、或る程度の期間保存されているのであれば、その保存されている範囲内で過去の時点を指定して、その生体情報等を抽出させるようにすることで、過去の他人の状況をキャラクタ画像により表示することが可能である。
また、この例では、生体運動情報表示装置200のユーザが、知人等としてユーザIDを知っている他人の状況を見ることができるものとしたが、全く知らない他人や有名人等の状況をキャラクタ表示により見ることができるようにすることもできる。例えばある人が、自分の状況を公開することを許諾してシステム登録しておくことで、生体運動情報表示装置200のユーザが、任意に、その公開許諾した人の状況を表示させるようにもできる。
【0102】
<3.自分と他人の生体情報/運動情報に基づくキャラクタ表示>
ここまでは、生体運動情報検出表示装置1において自分の状況をキャラクタ画像により表示する例と、生体運動情報表示装置200において他人の状況をキャラクタ画像により表示する例を述べてきたが、自分と他人の状況を同時にキャラクタ画像により表示することも可能である。
【0103】
例えば図9のシステム構成において、生体運動情報表示装置200が、図1の生体運動情報検出表示装置1としての構成を備えるものとする。
生体運動情報検出表示装置1は、そのユーザ自身の状況をキャラクタ表示するためには、図4で説明した処理を行えばよい。また、他人の状況をキャラクタ表示するためには、図16又は図17における生体運動情報表示装置200の処理として説明した動作を行えばよい。
つまり、図1の構成において、システムコントローラ10が、図4の処理と図16又は図17で述べた処理を並行して実行すれば、表示部14において、自分と他人のキャラクタ表示を行うことができる。
例えば画面上に2つのキャラクタ表示を実行してもよいし、図18に示すように、地図画像31上で、自分と他人の位置を示しながら、それぞれの状況をキャラクタ画像30A,30Bで表現する表示を行うこともできる。
この図18の例は、例えば生体運動情報検出表示装置1のユーザが、待ち合わせ場所で待っている状態が、地図画像31上で場所を示しながら、キャラクタ画像30Bとして表示されているとともに、待ち合わせ時間に遅れて走っている他人の状況が、現在の位置においてキャラクタ画像30Aとして表示されている例である。
【0104】
<4.実施の形態の効果及び変形例>
以上の実施の形態によれば、生体運動情報検出表示装置1(生体運動情報表示装置200)のユーザは、自分や他人の状況を、キャラクタの表情や動作により認識することができる。これによって、自分や他人の状況を容易に、かつ楽しみながら知ることができる。
例えば自分の状況をキャラクタ表示させることで、表示画面を楽しんだり、或いは疲れている、気分が低下しているなどの状況を的確に知ることができることで、その後の行動に注意することなどもできる。
またキャラクタ再生表示により過去の状況を表示させることで、自分の行動や感情を的確に思い起こしたり、思い出を楽しむといったことも可能となる。
また、他人の状況をキャラクタ表示させることで、他人の状況を的確に把握できる。
例えば待ち合わせに遅れている友人の状況や現在の場所を知ることができる。また、親が子供の現在居る場所や状況を確認できるようにもなる。さらに、健康状態の優れない人が外出している際の状況を、その家族等が容易に確認できるようにもなるなど、多様な利用形態が想定される。
【0105】
本発明は上記実施の形態に限られず、装置構成例や処理例として各種の変形例が考えられる。
生体運動情報検出表示装置1、生体運動情報送信装置100、生体運動情報表示装置200、サーバ装置70としての上述した構成は一例にすぎず、実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
また図9に示した生体運動情報処理システムは、生体運動情報表示装置200がサーバ装置70を介して生体運動情報送信装置100で検出された生体情報等を取得するようにしたが、サーバ装置70を必要としないシステム構成も考えられる。即ち、生体運動情報送信装置100と生体運動情報表示装置200が直接通信を行うシステムにおいて、生体運動情報表示装置200が生体運動情報送信装置100で検出された生体情報、運動情報、位置情報等を受信することで、他人の生体情報、運動情報に基づくキャラクタ表示や、位置情報を利用した地図画像上でのキャラクタ表示を行うことも可能である。
【0106】
また生体運動情報検出表示装置1、生体運動情報表示装置200において、表示部14(214)を備える構成としたが、表示部を備えず、別体の表示デバイスを利用してキャラクタ表示を実行するようにしてもよい。
【0107】
また、他人の生体情報、運動情報に基づくキャラクタ表示や、位置情報に基づく位置の表示に関しては、プライバシー保護の観点などから、或る程度制限がかけられるようにすることも適切である。
例えば生体運動情報表示装置200のユーザが、生体運動情報送信装置100のユーザに関するキャラクタ表示や現在位置表示を求めた場合、サーバ装置70が生体運動情報送信装置100側に意思確認を行い、同意が示された場合にのみ、サーバ装置70が生体運動情報表示装置200に生体情報やキャラクタ関連の情報を送信するようにすることも考えられる。
さらには、検出した生体情報として、心拍、血圧等が通常の値の場合は、キャラクタ表示に利用せず、身体的に異常な値となった場合にのみ、その生体情報をキャラクタ表示の対象として用いることで、自分又は他人についての警告や注意といった意味のキャラクタ表示を実行するようにしてもよい。
【0108】
また生体運動情報送信装置100を人間以外の生物、例えば犬や猫などのペットに装着できるようにすることで、ペットを被検出体として生体情報、運動情報、位置情報を検出することも考えられる。この場合、生体運動情報表示装置200側で、ペットの状況をキャラクタ画像により確認することができる。
【図面の簡単な説明】
【0109】
【図1】本発明の実施の形態の生体運動情報検出表示装置のブロック図である。
【図2】実施の形態の生体運動情報検出表示装置の他の例のブロック図である。
【図3】実施の形態のキャラクタ画像の説明図である。
【図4】実施の形態のキャラクタ画像表示処理のフローチャートである。
【図5】実施の形態のキャラクタ画像表示例の説明図である。
【図6】実施の形態の生体情報等の記録状態の説明図である。
【図7】実施の形態のキャラクタ再生表示処理のフローチャートである。
【図8】実施の形態のキャラクタ再生表示例の説明図である。
【図9】実施の形態の生体運動情報処理システムの説明図である。
【図10】実施の形態の生体運動情報送信装置のブロック図である。
【図11】実施の形態のサーバ装置のブロック図である。
【図12】実施の形態の生体運動情報表示装置のブロック図である。
【図13】実施の形態の生体運動情報表示装置の他の例のブロック図である。
【図14】実施の形態のサーバ装置への送信処理のフローチャートである。
【図15】実施の形態のサーバ装置での生体情報等の蓄積状態の説明図である。
【図16】実施の形態の生体運動情報表示装置への送信及び表示処理のフローチャートである。
【図17】実施の形態の生体運動情報表示装置への送信及び表示処理の他の例のフローチャートである。
【図18】実施の形態の自分及び他人のキャラクタ表示例の説明図である。
【符号の説明】
【0110】
1 生体運動情報検出表示装置、2 検出装置部、3 表示装置部、10,201 システムコントローラ、11,111 生体センサ部、12,112 運動センサ部、13,113 位置検出部、14,214 表示部、15,115 日時計数部、17,117 記憶部、30 キャラクタ画像、18,118,218 通信部、70 サーバ装置、72 サーバ制御部、74 情報管理部、75 生体運動情報データベース、100 生体運動情報送信装置、200 生体運動情報表示装置
【技術分野】
【0001】
本発明は、生体運動情報表示処理装置、生体運動情報処理システム、生体運動情報表示処理方法に関し、自分や他人の生体情報、運動情報に応じたキャラクタ表示処理を行う技術に関する。
【背景技術】
【0002】
【特許文献1】特開2006−126891号公報
【特許文献2】特開2006−34803号公報
【特許文献3】特開2006−87829号公報
【特許文献4】特開2003−79591号公報
【特許文献5】特開2004−194996号公報
【特許文献6】特開2007−11391号公報
【0003】
上記特許文献1には生体情報のネットワーク伝送に関する技術が開示されている。
また上記特許文献2〜5には、各種の生体情報を表示する装置が記載されている。
また上記特許文献6には、ユーザの主観的情報を抽出して、地図にマッピングする地図作成システムが開示されている。
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、自分や他人の生体情報、運動情報、或いはこれらから推定される状況を、手軽に分かり易く提示するシステムは従来提案されていない。
特に、心拍、血圧等の生体情報に関しては、それらの検出結果を数値やグラフなどで表示することは通常に行われているが、これは医療分野の専門知識を有する人を対象とするものであり、簡易な提示手法ではない。
そこで本発明は、自分や他人の生体情報、運動情報、或いはこれらから推定される状況を、専門家以外の一般の人々も容易に理解できるように表示させ、多様な利用態様を創出可能とすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の生体運動情報表示処理装置は、被検出体(例えば人)の生体情報を取得する生体情報取得手段と、上記被検出体の運動情報を取得する運動情報取得手段と、上記生体情報取得手段で取得した生体情報及び上記運動情報取得手段で取得した運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段とを備える。
【0006】
また、上記生体情報取得手段として生体情報を検出する生体情報検出部を有し、上記運動情報取得手段として運動情報を検出する運動情報検出部を有するようにする。即ち、生体運動情報表示処理装置自体が、生体情報と運動情報の検出機能を備える。
また上記生体情報取得手段及び上記運動情報取得手段は、外部機器から生体情報と運動情報を受信する通信部として構成されるようにする。即ち、外部機器で検出した生体情報と運動情報を通信機能により取得できるようにする。
【0007】
またさらに画像表示を行う表示手段を備え、上記制御手段は、上記表示手段において、上記表示キャラクタによる画像表示が行われるように制御する。
また、さらに位置情報を取得する位置情報取得手段と、地図画像データを取得する地図画像取得手段とを備え、上記制御手段は、上記位置情報取得手段で得られた位置情報に基づいて上記地図画像取得手段により表示する地図画像データを取得するとともに、地図画像上で上記位置情報に応じた位置に、上記表示キャラクタによる画像表示が行われるように制御する。
【0008】
また上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段で生体情報及び運動情報が取得された際に、その生体運動及び運動情報に基づいて決定された表情又は動作による表示キャラクタの表示制御を行う。つまり、取得時にリアルタイムに生体運動及び運動情報に基づく表示キャラクタの表示を行うようにする。
また情報を保存する保存手段をさらに備え、上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段が、生体情報と運動情報を取得した際に、その取得された生体情報と運動情報、もしくは取得された生体情報と運動情報に基づいて決定された表示キャラクタの表情又は動作を示すキャラクタ関連情報を、上記保存手段に保存させる。
その場合、上記制御手段は、所定の条件で上記保存手段から生体情報及び運動情報、もしくはキャラクタ関連情報を読み出し、読み出した生体情報及び運動情報、もしくはキャラクタ関連情報を用いて表示キャラクタの表示制御を行う。つまり、過去に取得した生体運動及び運動情報に基づく表示キャラクタの表示を実行できるようにする。
【0009】
また上記生体情報は、脈拍、心拍、心電図信号、筋電、呼吸(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度(SpO2)、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化(近赤外分光による脳血流、抹消血流などの血流変化)、体温、眼の状態(瞳孔状態、眼の動き、まばたき等)のうちの少なくとも一つの情報であるとする。
また上記運動情報は、静止状態、歩行状態、走行状態、運動状態(揺れ、跳躍等)、身体要素(頭、腕、足、手、指など)の動きのうちの少なくとも一つの情報であるとする。
【0010】
本発明の生体運動情報処理システムは、生体運動情報送信装置と、生体運動情報表示処理装置を有する。上記生体運動情報送信装置は、被検出体(例えば装置装着者である人)の生体情報を検出する生体情報検出手段と、上記被検出体の運動情報を検出する運動情報検出手段と、上記生体情報検出手段で検出された生体情報と、上記運動情報検出手段で検出された運動情報とを送信出力する送信手段とを備える。また上記生体運動情報表示処理装置は、情報通信を行う通信手段と、上記通信手段に生体情報及び運動情報の受信処理を実行させるとともに、上記通信手段で受信した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段とを備える。
さらに生体情報及び運動情報を蓄積する蓄積手段を備えたサーバ装置を有し、上記生体運動情報送信装置の上記送信手段は、生体情報及び運動情報を上記サーバ装置に対して送信し、上記サーバ装置は、送信されてきた生体情報及び運動情報を、上記蓄積手段に蓄積し、上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置の上記蓄積手段に蓄積されている生体情報及び運動情報を受信する。
又は、上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置が上記蓄積手段に蓄積されている生体情報及び運動情報に基づいて決定した、表示キャラクタの表情又は動作を示すキャラクタ関連情報を受信する。
【0011】
本発明の生体運動情報表示処理方法は、人などの被検出体の生体情報を取得するステップと、上記被検出体の運動情報を取得するステップと、取得した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定するステップと、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御するステップとを備える。
【0012】
このような本発明では、生体運動及び運動情報に基づいて決定された表情又は動作による表示キャラクタが、ユーザに対して表示される。表示キャラクタとは、例えば擬人化した動物、物、或いはアニメーション的な人の画像などが想定される。このようなキャラクタの表情や動作を、生体情報、運動情報に基づいて決定することで、人の動作状況、健康状況、感情などの状況を表現することができる。
【発明の効果】
【0013】
本発明によれば、被検出体である人(自分や他人)などの状況を、キャラクタの表情や動作により表現するように表示を行うことができる。これによって、専門的な知識が無くとも、自分や他人の状況を容易に知ることができる。また、その表示を用いることで、健康管理用途、コミュニケーション用途、各種機器における表示の楽しみの向上用途、監視用途など、多様な利用用途が実現できる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施の形態を説明する。説明は次の順序で行う。
<1.自分の生体情報/運動情報に基づくキャラクタ表示>
[1−1 生体運動情報検出表示装置の構成]
[1−2 リアルタイムキャラクタ表示処理]
[1−3 状況履歴としてのキャラクタ再生表示処理]
<2.他人の生体情報/運動情報に基づくキャラクタ表示>
[2−1 システム構成]
[2−2 生体運動情報送信装置の構成]
[2−3 サーバ装置の構成]
[2−4 生体運動情報表示装置の構成]
[2−5 キャラクタ表示のためのシステム動作]
<3.自分と他人の生体情報/運動情報に基づくキャラクタ表示>
<4.実施の形態の効果及び変形例>
【0015】
<1.自分の生体情報/運動情報に基づくキャラクタ表示>
[1−1 生体運動情報検出表示装置の構成]
まず図1で生体運動情報検出表示装置1の構成を説明する。この生体運動情報検出表示装置1は、ユーザが所持する装置であり、その表示画面に、所持するユーザの生体情報及び運動情報に基づくキャラクタ表示を行う機器である。
生体運動情報検出表示装置1は、例えば眼鏡型のディスプレイを持つ機器であってユーザが頭部に装着するものであってもよいし、腕時計型としてユーザが腕に装着するものであってもよい。また、携帯電話器、PDA(Personal Digital Assistant)のような携帯に適した形状及びサイズの機器としてユーザが持ち歩くものでもよい。さらには、携帯電話機やPDAの内蔵機能として、この生体運動情報検出表示装置1としての機能部位を設けてもよい。
【0016】
生体運動情報検出表示装置1は、システムコントローラ10、生体センサ部11、運動センサ部12、位置検出部13、表示部14、日時計数部15、操作部16、記憶部17、通信部18を有する。
【0017】
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、生体運動情報検出表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10は内部の動作プログラムに基づいて、生体運動情報検出表示装置1内の各部の制御を行い、生体情報、運動情報に基づく表示動作等を実行させる。
【0018】
生体センサ部11は、ユーザの生体情報を検出する。生体情報とは、脈拍、心拍、心電図信号、筋電、呼吸(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度(SpO2)、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化(近赤外分光による脳血流、抹消血流などの血流変化)、体温、眼の状態(瞳孔状態、眼の動き、まばたき等)などである。
例えばGSR(皮膚電気反応)、体温、皮膚表面温度、心電図反応、筋電心拍、脈拍、血流、血圧、脳波、発汗、体温などを検出するには、被検出者の皮膚に接触するセンサを用いることが考えられる。脳波については頭部に接触して装着されるセンサを用いる。
また、ユーザの眼の状態を検出するセンサとしては、例えばユーザの眼部を撮像するようにされた撮像部により形成できる。この場合、該撮像部が撮像したユーザの眼部の画像について画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出できる。または、ユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成することもできる。例えば受光信号からユーザの水晶体の厚みを検知することも可能である。
生体センサ部11は、これら所要のセンサによる検出結果情報をシステムコントローラ10に出力する。
【0019】
運動センサ部12は、ユーザの運動情報を検出する。運動情報とは、ユーザの静止/歩行/走行の各状態を示す情報や、運動状態(揺れ、跳躍、歩行/走行のリズム、重心等)を示す情報、或いはユーザの身体要素である頭、腕、足、手、指などの動きを示す情報などである。
これらの運動情報は、加速度センサ、ジャイロ(角速度センサ)、振動センサなどを用いることで検出可能となる。即ち加速度センサやジャイロを備えることで、ユーザの動きに応じた信号として、例えば全身の動き、頭部の動き、首の動き、腕部の動き、脚部の動きなどを検出することができる。もちろん腕部の動き、脚部の動きなどを検出する場合は、加速度センサやジャイロがユーザの腕部や脚部に装着されるようにすればよい。
生体センサ部11は、これら加速度センサ等による検出結果情報をシステムコントローラ10に出力する。
【0020】
位置検出部13は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
なお、位置検出部12としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよい。
日時計数部15は、常時日時カウント動作を行い、年月日時分秒を計数する。
【0021】
操作部16は、生体運動情報検出表示装置1を使用するユーザが各種の操作を行うためのキーやダイヤルなどの操作子として設けられている。また表示部14にタッチパネルを設け、これを操作部16としてタッチ操作可能としてもよい。
例えば、電源オン/オフ操作、表示関連操作(例えば表示モードの選択や表示調整操作)、各種設定操作、更には後述する過去の状況履歴表示のための操作などが可能とされる。
システムコントローラ10は、操作部16からの操作情報に基づいて所要の制御処理を行う。
なお本例の生体運動情報検出表示装置1は、生体センサ部11や運動センサ部12を備えるため、これらによって検出される生体情報/運動情報から、ユーザの意識的な挙動を検知して、システムコントローラ10がそれを操作入力情報と判断するようにしてもよい。
例えばユーザが生体運動情報検出表示装置1をコツコツと軽く叩くといったことを、運動センサ部12の加速度センサ、振動センサ等で検知し、これをシステムコントローラ10がユーザの操作として認識するようにすることができる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識するようにしてもよい。
また生体センサ部11でユーザの眼の動きを検出し、例えばユーザの意識的な挙動としての目の動き(視線方向の変化やまばたき)などを操作入力とすることも考えられる。
【0022】
通信部18は、外部機器との間でのデータの送受信を行う。通信部18は、有線又は無線でネットワーク接続されて通信を行うものであればよい。例えば後述する図9のようなシステムにおけるネットワーク通信を行ったり、他の機器と直接データ通信を行う部位として構成される。
【0023】
記憶部17はシステムコントローラ10の制御に基づいて各種データの記録(保存や、記録されているデータの再生(読み出し)を行う。
この記憶部17は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
本例の場合、記憶部17には、特にキャラクタ情報格納部17a、検出情報蓄積部17b、地図データベース17c、通信データ格納部17dとしての記憶領域が用意される。
【0024】
キャラクタ情報格納部17aは、表示するキャラクタとしての画像データを格納する。例えばそのキャラクタのデザインとしての画像や、キャラクタの表情、動作を表す各種の画像データを記憶する。
例えば図3(a)〜(f)にキャラクタ画像の例を示す。図3(a)(b)(c)はそれぞれ静止状態、歩行状体、走行状態を、動作及び表情で表現する画像例である。また図3(d)(e)は脈拍が高い状態をハートマークで表現する画像例である。また図3(f)は、気分が低下している状態を表情で表現する画像例である。
例えばこのようなキャラクタや、その動作、表情を表す画像データが、キャラクタ情報格納部17aに格納されている。
【0025】
検出情報蓄積部17bは、生体センサ部11で検出される生体情報、運動センサ部12で検出される運動情報、位置検出部13で検出される位置情報を記憶する。例えばシステムコントローラ10の制御に基づいて、一定時間毎に、これらの情報を、日時計数部15でカウントされている日時情報とともに記憶していくようにされる。つまり検出情報蓄積部17bには、ユーザの生体情報/運動情報/位置情報の履歴が蓄積される。
地図データベース17cには、地図表示を行うための地図画像その他必要な情報が記憶されている。
通信データ格納部17dは、通信部18での送信/受信データのバッファリングや格納に用いられる。
【0026】
表示部14は、例えば液晶パネル、有機ELパネル等の表示パネル部と、表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、供給される画像データを表示パネル部において表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
この表示部14は、システムコントローラ10の制御に基づいて、表示パネル部に所定の表示を実行させる。特に本例では、システムコントローラ10が生体情報及び運動情報に基づくキャラクタ画像データを表示部14に供給し、表示部14にキャラクタ表示を実行させる。即ち図3に示したキャラクタ画像であり、システムコントローラ10は、生体情報及び運動情報によって表示すべきキャラクタ画像を決定して表示部14に供給する。
またシステムコントローラ10は、地図データベース17cに記憶された地図画像データを用いて、表示部14に地図表示を実行させる場合もある。
【0027】
このような生体運動情報検出表示装置1は、ユーザが装着できるように小型軽量の機器として構成されることが好適である。検出しようとする生体情報の内容にもよるが、例えば腕時計型、眼鏡型、ヘッドセット型、帽子型、ヘルメット型、手袋型、或いは機器内蔵の衣服などの形態であって、特に一部(生体センサ部11)が被検出者の皮膚や頭部など、検出内容に応じて適切な身体部位に接触できるような形態が適切である。
但し、少なくとも生体センサ部11(検出する運動情報の内容によっては運動センサ部12)がユーザの身体に密着できるようにすればよいことから、生体運動情報検出表示装置1を図2のように2つのユニットで形成してもよい。
【0028】
図2は、生体運動情報検出表示装置1を、検出装置部2と表示装置部3という別体のユニットで構成した例である。
検出装置部2は、生体センサ部11と、運動センサ部12と、検出情報送信部19を有する。
また表示装置部3は、システムコントローラ10、位置検出部13、表示部14、日時計数部15、操作部16、記憶部17、通信部18に加え、検出情報受信部20を備える。
検出情報受信部20と検出情報送信部19は、例えば無線通信或いは有線通信で互いに通信を行う。無線通信とする場合、例えばブルートゥース等の近距離無線通信方式を採用してもよいし、可視光又は非可視光などを用いた光パルス変調でデータ通信を行う光通信方式でもよい。もちろんより長距離に対応した無線通信方式やネットワーク通信を用いてもよい。
そしてこの図2の場合、生体センサ部5で検出される生体情報及び運動センサ部12で検出される運動情報は、検出情報送信部19から送信され、検出情報受信部20で受信される。
システムコントローラ10は、検出情報受信部20で受信された生体情報、運動情報に基づいて、キャラクタ画像の表示制御を行うことになる。
【0029】
この図2の構成の場合、検出装置部2のみを、ユーザの皮膚や頭部などの所要部位に接触できるようにすればよいため、ユーザの装着負担を軽くするような形態が可能となる。特に検出装置部2は生体センサ部11,運動センサ部12、検出情報送信部19を有する簡易な構成であるため、小型軽量化が容易であり、身体の所要部位に装着可能な機器としての実現が容易となる。
また、表示装置部3は、ユーザが所持する専用の小型機器とされてもよいが、例えば携帯電話機やPDA(Personal Digital Assistant)などの携帯可能な機器に、この表示装置部3としての機能を加えたものとしても実現可能である。また、必ずしも表示装置部3はユーザが所持又は装着しない使用形態も考えられるが、その場合、比較的大型の装置としてもよく、デスクトップタイプ、ノートタイプのパーソナルコンピュータなどに、この表示装置部3としての機能を実行させるようにすることも考えられる。
【0030】
[1−2 リアルタイムキャラクタ表示処理]
生体運動情報検出表示装置1によるキャラクタ表示処理について図4,図5で説明する。ここで説明する表示処理は、常時、生体情報/運動情報を検出し、それに応じて表示部14にキャラクタ画像を表示させることで、ユーザ自身の状況をリアルタイムに表現する動作である。
例えば生体運動情報検出表示装置1は、ユーザの操作によりキャラクタ表示モードとされている間、そのユーザの状況を表示部14に表示させる動作を行う。
【0031】
図4は、リアルタイムのキャラクタ画像表示を行うためのシステムコントローラ10の制御処理を示している。
キャラクタ表示モードが開始されると、システムコントローラ10は処理をステップF101からF102に進め、キャラクタ画像の表示処理を開始する。
ステップF102では、システムコントローラ10は、生体センサ部11と運動センサ部12による検出情報として生体情報、運動情報を取り込む。また位置検出部13で検出される位置情報も取り込む。
次にシステムコントローラ10はステップF103で、取り込んだ生体情報、運動情報、位置情報を、その時点で日時計数部15で計数されている現在日時(年月日時分秒)とともに、記憶部17の検出情報蓄積部17bに記憶させる。
【0032】
次にシステムコントローラ10はステップF104で、取り込んだ生体情報/運動情報に基づいて、ユーザ状況を判定し、表示キャラクタを決定する。
ユーザ状況とは、生体情報や運動情報のそのものによって表される状況でもよいし、生体情報/運動情報から推定されるユーザの心理、感情の状況でもよい。
例えば生体情報として心拍数や呼吸情報から、ユーザがドキドキしている状況にあるか否かを判定できる。
また運動情報から、ユーザが静止(立ち止まっている/座っている)か、歩いているか、走っているかという状況を判定できる。
また、生体情報に基づいてユーザの心理状況を判定できる。例えば緊張状態、興奮状態、快適状態などに伴う生体情報の数値の変動に基づいてユーザの感情(楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等)を推定することができる。例えば心拍数、脈拍、脳波、血圧、皮膚電気反応などは心理変化により検出値も変動するためである。さらに視覚センサによる瞳孔の状態、視線の動きによっても、ユーザの状況(落ち着いている、焦っている等)を判定できる。
さらに、運動センサ部12によって検出されるユーザの身体の動きを、ユーザ状況の判定に用いても良い。例えば脈拍等が早くなった場合に、緊張や興奮が原因の場合もあれば、ユーザが走っているなど運動したことが原因の場合もある。これらの判別に為に、加速度センサ等の情報を参照するようにすることもできる。
【0033】
なお、心理状態を推定するのにはある程度の時間が必要であり、一時的に生体センサ部11の検出情報を取り込むだけでは的確な心理状態を推定できない場合がある。即ち生体から得られる信号としての生体センサ部11の検出情報は時々刻々とその値が変化するものであり、或る瞬間の値を見ただけではどのような心理状態にあるのかがわかりにくい。または継続的な感情の変化によって、心理状態の判定のための閾値を変化させたほうがよい場合もある。
そこで、或る程度の過去からの継続的な生体情報/運動情報の変化を参照して心理判定を行うようにすることも適切である。例えば図4のステップF102〜F109の処理は、キャラクタ表示モードの期間に繰り返し行われるため、ステップF103の処理により、各時点の生体情報が検出情報蓄積部17bに蓄積されていく。このためステップF104では、現在の取り込んだ生体情報だけでなく、蓄積されている過去の時点からの生体情報を参照して心理判定を行うことも可能となる。
【0034】
例えば以上のようにして、システムコントローラ10はユーザ状況を判定したら、そのユーザ状況に合致したキャラクタ画像を選定する。即ち図3のような各種のユーザ状況に応じたキャラクタ画像が記憶部17のキャラクタ情報格納部17aに格納されているが、その中で、現在のユーザ状況に合致するキャラクタ画像を選択し、それを表示すべきキャラクタ画像として決定する。
例えば、現在のユーザ状況として、ユーザが走っていて脈拍数が或る閾値以上であると判定した場合は、図3(e)のキャラクタ画像を選択する。この図3(e)のキャラクタ画像は、その表情や動作により、ユーザが走っており脈拍が高いことを表現している。
また、現在のユーザ状況として、ユーザが静止していて気分が低下していると判定した場合は、そのような状況を表情や動作で表している図3(f)のキャラクタ画像を選択することになる。
【0035】
ステップF105では、現在地図表示モードであるか否かで処理を分岐する。地図表示モードとは、ユーザの操作により、表示部14に地図表示を実行している状態である。例えば地図表示中に、ユーザがキャラクタ表示モードを指示した場合や、あるいはキャラクタ表示モードにおいて図4の処理の実行中に、ユーザが地図画像表示を指示した場合、このステップF105で地図表示モードと判断される。
【0036】
現在、地図表示モードでなければ、システムコントローラ10はステップF105からF106にすすみ、キャラクタ表示制御を行う。即ちステップF104で決定したキャラクタ画像データを表示部14に供給して表示させる。
一方、地図表示モードであったら、システムコントローラ10はステップF105からF107にすすみ、現在の位置情報に基づいて、表示させる範囲の地図画像データを地図データベース17cから読み出す。そしてステップF108で、地図画像データ及びキャラクタ画像データにより表示画像データを生成して表示部14に供給し、地図画像上でのキャラクタ表示を実行させる。例えば地図画像上での現在位置に相当する位置に居るユーザを表現するようにキャラクタ画像を表示させる。
【0037】
そしてステップF109でキャラクタ表示モードの終了と判断されるまで、ステップF102に戻って同様の処理を繰り返す。
例えばユーザの操作によりキャラクタ表示モードの終了が指示された場合は、システムコントローラ10はステップF109からF110に進み、表示部14におけるキャラクタ表示を終了させて図4の処理を終える。
【0038】
図5(a)(b)に表示例を示す。
図5(a)はステップF106の処理により実行される表示例であり、この場合、表示部14の画面14aの隅に、キャラクタ画像30を表示させている例である。例えば通常状態において、画面14aの中央に所要の表示を行っている場合、このように画面14aの隅に継続してキャラクタ画像30を表示させるようにすればよい。但し、もちろん画面14aの中央に大きくキャラクタ画像30を表示させてもよい。
キャラクタ表示モードとされている期間に図4の処理が継続されることで、表示されるキャラクタ画像30は、ユーザ状況に応じて変化することになる。例えばユーザが走り出すと図3(c)のような画像が表示され、また走り続けて脈拍が高くなると、図3(e)のような表示に変化することになる。
【0039】
図5(b)はステップF108の処理により実行される表示例であり、画面14aには地図画像31が表示されるとともに、その地図上で、ユーザの居る位置(位置検出部13で検出される位置情報に基づく位置)を示した状態で、キャラクタ画像30が表示されている。この場合も、図4の処理が継続されることで、ユーザの位置の移動や、ユーザ状況の変化に応じて、表示される地図画像の範囲、地図上でのユーザの現在位置の表示、及びキャラクタ画像30は変化していくことになる。
【0040】
このようにキャラクタ表示を行うことで、面白みのある画像によりユーザ自身の状況を表現することができ、ユーザの楽しみを広げることができる。
地図画像と共に表示すれば、ナビゲーション等の機能とともに、ユーザの位置や状況を分かり易く示すことができる。
【0041】
また、図3には各種のユーザ状況に応じたキャラクタ画像を例示したが、もちろんこれは一部のユーザ状況に応じた一例にすぎず、より多様なユーザ状況を表現する画像を用意することもできる。例えばユーザが暑いと感じている状況、寒いと感じている状況、快適な状況、疲れた状況、眠たい状況、興奮した状況、血圧が低下或いは上昇した状況、呼吸状況、心拍状況など、多様な状況を表現する表情や動作のキャラクタ画像を用意して、それらを選択して表示できるようにすればよい。
もちろん或るユーザの状況を表すキャラクタ画像は、静止画でも、動画でも、擬似動画でもよい。擬似動画とは、例えば2つ或いは3つなどの少数の静止画を交互に表示させるような表示態様のことを言う。
【0042】
またキャラクタ情報格納部17aには、予め特定のキャラクタ画像を用意して記憶させておいてもよいが、例えば通信部18により外部サーバ(例えば図9、図11等で後述するサーバ装置70)と通信を行って、キャラクタ画像データをダウンロードできるようにしてもよい。
もちろん、基本となるキャラクタ自体を予め多数用意して記憶させておき、ユーザが選択できるようにしたり、或いはユーザが自分で任意のキャラクタを作成できるようにしてもよい。
【0043】
[1−3 状況履歴としてのキャラクタ再生表示処理]
ところで、上記図4のステップF103の処理が行われることで、生体情報、運動情報、位置情報が逐次検出情報蓄積部17bに記憶されていく。
また、キャラクラ表示モードでない期間(図4の処理が行われていない期間)も、システムコントローラ10が、例えば一定時間毎に、ステップF102,F103の処理を実行するようにすれば、常時、ユーザの生体情報、運動情報、位置情報が検出情報蓄積部17bに記憶されていくことになる。
【0044】
図6(a)に、検出情報蓄積部17bで蓄積される情報の例を示す。
図6(a)に示すように、日時情報に対応づけられて、その日時において検出された位置情報PL(PL1,PL2,PL3・・・)、生体情報L(L1,L2,L3・・・)運動情報M(M1,M2,M3・・・)が蓄積されていく。
例えばこのように逐次検出される生体情報、運動情報、位置情報が、日時情報とともに検出情報蓄積部17aに蓄積されていくことで、過去の時点のユーザ状況を判定できることになる。
【0045】
なお、上記図4のステップF104では、現在のユーザ状況を判定し、表示するキャラクタ画像を決定するが、このときに選択したキャラクタ画像を示す情報(或いはキャラクタ選定の元となるユーザ状況の情報)を、図6(b)のキャラクタ関連情報C(C1,C2,C3・・・)として蓄積するようにしてもよい。
さらには図示しないが、日時情報に対応させて、キャラクタ関連情報Cと位置情報PLを蓄積し、生体情報、運動情報は記憶しないような記憶形態も考えられる。
【0046】
生体運動情報検出表示装置1では、これらのような情報蓄積を行うことで、ユーザの過去の状況をキャラクタ再生表示として表示させることができる。
図7に、キャラクタ再生表示としてユーザ状況の履歴を表現する表示を行う際のシステムコントローラ10の処理を示している。
【0047】
ユーザが操作部16によりキャラクタ再生を指示する操作を行うと、システムコントローラ10は処理をステップF201からF202に進め、まず表示部14に、再生条件の入力を求める表示を行う。
再生条件とは、例えば日時、場所などの再生する蓄積データを検索するための条件である。例えば再生条件として日時を用いる場合は、○月○日と特定の日を指定したり、○月○日の午後○時などと特定の日時を指定したり、○月○日〜×月×日と範囲を指定したりすることができるようにすればよい。
また再生条件として場所を用いる場合は、地名を指定できるようにすることや、地図画像上で地域の範囲指定をできるようにすることが考えられる。
さらに再生条件としては、生体情報、運動情報、心理状況などを指定できるようにしてもよい。例えば「心拍数が○○以上」、「走っている状況」「気分が低下している状況」などを指定できるようにしてもよい。
また、日時、場所、生体情報、運動情報、心理状況などの再生条件に、アンド条件、オア条件などを指定できるようにしてもよい。
さらには「全ての蓄積データ」として指定できるようにしてもよい。
【0048】
システムコントローラ10は、これらの再生条件を入力できるような画像表示を行い、ステップF203,F204でユーザの入力を待機する。
もしユーザが再生キャンセルの操作を行った場合は、ステップF204からF209に進み、再生条件の入力画像の表示を終了させて図7の処理を終える。
ユーザが再生条件を入力したら、システムコントローラ10はステップF203からF205に進み、検出情報蓄積部17bに蓄積されているデータの中から、再生条件に合致するデータを抽出し、それを再生対象とする。
例えば或る日時が指定されたら、図6のように蓄積されているデータの中から、日時情報により検索が行われ蓄積されたデータが抽出される。
【0049】
システムコントローラ10は、再生対象のデータを抽出したら、ステップF206で抽出したデータの再生制御を行う。
例えば図6に示したデータが再生表示される場合を図8に示す。
図8(a)は、抽出された各データを表示部14の画面14aにおいて、一覧表示させる例である。この場合、キャラクタ画像30とともに、日時情報に基づく日時表示32、位置情報PLに基づく地名表示33が行われる例としている。
また図8(b)のように、地図画像上で抽出されたデータを表示させるようにしてもよい。この場合、地図画像31上において、位置情報PLに基づく位置を示す状態で、対応するキャラクタ画像30と日時が表示されている。
もちろんこれ以外にも表示形態は多様に考えられる。
【0050】
なお、図6(a)のような形態でデータ蓄積が行われる場合、再生対象としたデータにおいて、生体情報/運動情報に基づいてユーザ状況を判定し、表示するキャラクタ画像を決定する処理(図4のステップF104と同様の処理)が必要になる。一方、図6(b)のようにキャラクタ関連情報Cを蓄積させておけば、再生時は、そのキャラクタ関連情報Cで示されるキャラクタ画像を図8(a)(b)のように表示させればよい。
また、図8(a)(b)の表示において、ユーザのスクロール操作やページ送り操作に応じて表示される内容が切り換えるようにする。
或いは、自動的に再生される対象の蓄積データが切り換えられていくようにしてもよい。
【0051】
システムコントローラ10は、ユーザの操作、又は何らかの条件で再生終了と判断した場合は処理をステップF207からF208に進め、再生表示を終了させて図7の処理を終える。
【0052】
例えばこのように検出情報蓄積部17bに蓄積されているデータに基づいてキャラクタ再生表示を行うことで、ユーザは、任意に過去の自分の状況や、自分の居た場所などを見ることができる。これによって過去の自分の履歴として出かけた場所やそのときの自分の状況を思い起こしたり、確認することが容易に可能となる。
【0053】
<2.他人の生体情報/運動情報に基づくキャラクタ表示>
[2−1 システム構成]
ここまでは、図1の生体運動情報検出表示装置1で、ユーザ自身の現在の状況に応じたキャラクタ画像表示や、過去の状況を示すキャラクタ画像再生表示を行う動作を説明してきたが、続いて、ユーザが他人の状況をキャラクタ画像により知ることができる生体運動情報処理システム及び該システムを構成する装置について説明していく。
【0054】
図9はシステム構成例を示している。この生体運動情報処理システムは生体運動情報送信装置100、サーバ装置70,生体運動情報表示装置200が、それぞれネットワーク60を介して通信可能とされて構成されるシステム例である。
そして、生体運動情報表示装置200のユーザが、生体運動情報送信装置100を装着している他人の状況を、キャラクタ画像により知ることができるシステムである。
【0055】
ネットワーク60とは、インターネット、携帯電話通信網、PHS通信網、アドホックネットワーク、LANなど、各種考えられる。
生体運動情報送信装置100は、装着者の生体情報/運動情報/位置情報/日時情報を検出し、ネットワーク通信によりサーバ装置70に送信する。例えば定期的に送信する。
サーバ装置70は送信されてきた生体情報/運動情報/位置情報/日時情報を内部のデータベースに蓄積する。後述するが、これら生体情報等には、生体運動情報送信装置100の装着者に固有に付与された識別情報(以下、ユーザID)を対応させて蓄積する。
生体運動情報表示装置200は、サーバ装置70に蓄積されている、特定のユーザ(他人)の生体情報/運動情報/位置情報/日時情報を、ネットワーク通信により取得することができる。そして取得した生体情報/運動情報やユーザIDに基づいて表示させるキャラクタ画像を決定し、表示する。またその表示の際に位置情報/日時情報を反映させることもできる。
又は生体運動情報表示装置200は、サーバ装置70から、表示すべきキャラクタ画像自体を、ネットワーク通信により取得し、そのキャラクタ画像を表示することができる。
【0056】
なお、図1に示した構成の生体運動情報検出表示装置1は、図9における生体運動情報送信装置100にも成り得るし、生体運動情報表示装置200ともなり得る。
【0057】
[2−2 生体運動情報送信装置の構成]
上記図9に示した生体運動情報送信装置100の構成例を図10に示す。
生体運動情報送信装置100は、検出/送信コントローラ110、生体センサ部111、運動センサ部112、位置検出部113、日時計数部115、操作部116、記憶部117、通信部118を有する。
【0058】
検出/送信コントローラ110は、例えばCPUにより形成される。この検出/送信コントローラ110は、生体情報の検出動作や送信動作のための制御処理を行う。
また記憶部117は、ROM、RAM、不揮発性メモリなどの記憶領域を有し、検出/送信コントローラ110の処理プログラム格納領域、及びワーク領域などとして用いられる。なお、記憶部117は検出/送信コントローラ110としてのマイクロコンピュータチップの内部メモリとして構成されてもよい。
また例えば記憶部117の不揮発性メモリ領域には、個々の生体運動情報送信装置100に固有に付与された識別情報(装置ID)や、この生体運動情報送信装置100のユーザの識別情報(ユーザID)などが記憶されるようにしてもよい。
【0059】
通信部117は外部通信機器との間でのデータの送受信を行う。特には、図9のシステム構成の場合、通信部117はネットワーク60を介した通信として、サーバ装置70との間でのデータ通信を行う。この場合、通信部117は、有線又は無線でネットワーク接続されて通信を行うものであればよい。例えばネットワークアクセスポイントとの間で無線通信を行う構成が考えられる。
【0060】
操作部116は、ユーザがこの生体運動情報送信装置100を使用する際に必要な操作入力を行うために設けられる。例えば電源操作や各種設定操作などが実行できるようにされればよい。
生体センサ部111、運動センサ部112、位置検出部113、日時計数部115については、図1の生体運動情報検出表示装置1で説明した生体センサ部11、運動センサ部12、位置検出部13、日時計数部15と同様の機能を持ち、これらによってユーザの生体情報、運動情報、位置情報、日時情報が検出される。
【0061】
このような生体運動情報送信装置100では、検出/送信コントローラ2は、例えば定期的に生体センサ部111、運動センサ部112、位置検出部113、日時計数部115で検出されるユーザの生体情報、運動情報、位置情報、及び検出時点の日時情報を記憶部117に記憶する。そして記憶部117に取り込んだ生体情報、運動情報、位置情報、日時情報を用いて送信データを生成し、通信部118からネットワーク60を介してサーバ装置70に送信させる。この場合、送信データには、生体情報、運動情報、位置情報、日時情報だけでなく、ユーザIDや装置ID等を含むようにもする。
【0062】
このような生体運動情報送信装置100は、ユーザが手軽に装着できるように小型軽量の機器として構成されることが好適である。検出しようとする生体情報、運動情報の内容にもよるが、例えば腕時計型、眼鏡型、ヘッドセット型、帽子型、ヘルメット型、手袋型、或いは機器内蔵の衣服などの形態であって、特に一部(生体センサ部111)が被検出者の皮膚や頭部など、検出内容に応じて適切な身体部位に接触できるような形態が適切である。
なお、図示は省略するが、図2の例のように、生体センサ部111、運動センサ部112が別体ユニットとされるようにしてもよい。
【0063】
また、図10の構成と、図1及び図2の構成を比較して理解されるように、図1,図2で説明した生体運動情報検出表示装置1が、この図10の生体運動情報送信装置100と同じ動作を行って、図9の生体運動情報送信装置100として機能することも可能である。つまり、例えば図1のシステムコントローラ10が、例えば定期的に生体情報、運動情報、位置情報、日時情報を用いて送信データを生成し、通信部18からネットワーク60を介してサーバ装置70に送信させるようにすることも可能である。
【0064】
[2−3 サーバ装置の構成]
次に図11に、サーバ装置70の構成例を示す。
上述したようにサーバ装置70は、例えばネットワーク60を介した通信により、生体運動情報送信装置100から送信されてくる生体情報、運動情報、位置情報、日時情報を蓄積し、また蓄積した生体情報等を生体運動情報表示装置200に送信することのできる装置である。
サーバ装置70は、サーバ制御部72、ネットワークストレージ部71、通信部73、情報管理部74、生体運動情報データベース75を備える。またキャラクタ情報格納部76,地図データベース77を備える場合もある。
【0065】
サーバ制御部72は、サーバ装置70としての必要な動作制御を行う。特には、ネットワーク通信動作の制御や、生体運動情報送信装置100からの生体情報、運動情報、位置情報、日時情報が送信されてきた際の処理制御、生体運動情報表示装置200に対する生体情報等の送信に関する制御などを行う。
ネットワークストレージ部71は、例えばHDD等により実現され、例えば生体運動情報送信装置100や生体運動情報表示装置200とのネットワーク60を介した通信による送受信データを一時的に保存したり、各種必要なデータの保存などに用いられる。
通信部73は、生体運動情報送信装置100や生体運動情報表示装置200との間で、ネットワーク60を介したデータ通信を行う。
【0066】
情報管理部74は、生体運動情報送信装置100から送信されてきた生体情報、運動情報、位置情報、日時情報の管理を行う。
生体運動情報データベース75には、生体運動情報送信装置100から送信されてきた生体情報、運動情報、位置情報、日時情報が、例えばユーザIDなどと対応づけられた状態でデータベース化されて格納される。
情報管理部74は、この生体情報データベース75に対するデータ登録や検索などの処理も行う。
【0067】
キャラクタ情報格納部76は、生体運動情報表示装置200側で表示させる各種のキャラクタ画像が保存される。特には、キャラクタ画像をユーザIDに対応づけて管理される状態で保存してもよい。
地図データベース77は、生体運動情報表示装置200側で地図表示を行うための地図画像その他必要なデータを格納している。
【0068】
[2−4 生体運動情報表示装置の構成]
次に生体運動情報表示装置200の構成例を図12、図13で説明する。
図12の生体運動情報表示装置200は、システムコントローラ201、通信部218、表示部214,操作部216、記憶部217を有する例としている。記憶部217には、記憶領域として通信データ格納部217dが確保されている。
また、図13の生体運動情報表示装置200の構成例は、図12の構成に加えて、記憶部217にキャラクタ情報格納部217a、地図データベース217cとしての記憶領域が形成されている例である。
これら図12,図13の構成の各部は、図1に示したシステムコントローラ10、通信部18、表示部14,操作部16、記憶部17と同様であるため重複説明は避ける。
なお、通信部218は、特には、図9で示したネットワーク60を介した通信として、サーバ装置70との間でのデータ通信を行う。
また、システムコントローラ201は、キャラクタ表示動作やサーバ装置70との通信処理の制御を行うことになる。
【0069】
図9のシステム構成で述べたところの生体運動情報表示装置200とは、サーバ装置70から受信した情報に基づいて、或る人物(生体運動情報表示装置200のユーザにとって他人である生体運動情報送信装置100のユーザ)の状況を示すキャラクタ画像を表示部214に表示する装置であればよい。
そのためには、システム動作から考えて、生体運動情報表示装置200の構成例としては2つの種類が考えられる。
【0070】
本例で言うキャラクタ画像は、生体情報/運動情報に基づいて判断されるユーザ状況を表現する画像である。
つまり生体情報/運動情報から判断されるユーザ状況に基づいて、表示するキャラクタ画像が決定されるが、システム動作として考えた場合、キャラクタ画像の決定処理は、サーバ装置70側で行ってもよいし、生体運動情報表示装置200側で行ってもよい。
サーバ装置70側で、生体情報/運動情報から判断されるユーザ状況に基づいて表示させるキャラクタ画像を決定する場合、サーバ装置70は表示させるキャラクタ画像データ自体を生体運動情報表示装置200に送信することができる。その場合、生体運動情報表示装置200は、受信したキャラクタ画像データを通信データ格納部217dに記憶させた後、そのキャラクタ画像データを用いて表示処理を行えばよいため、図12の構成として実現できる。
【0071】
なお、サーバ装置70側で、生体情報/運動情報から判断されるユーザ状況に基づいて表示させるキャラクタ画像を決定する場合においては、サーバ装置70は表示させるキャラクタ画像データ自体を送信するのではなく、表示させるキャラクタ画像を指定する情報や、表示させるキャラクタの表情や動作を指定する情報を生体運動情報表示装置200に送信するようにしてもよい。
その場合、生体運動情報表示装置200には、受信した情報に基づいて、キャラクタ画像を選択して表示処理を行うことになるため、キャラクタ情報格納部217cを備えた図13の構成が適切となる。
【0072】
また生体運動情報表示装置200において、地図画像表示を考えた場合に、地図画像データをサーバ装置70からダウンロードするのであれば、生体運動情報表示装置200はダウンロードした地図データを通信データ格納部217dに記憶させた後、その地図データを用いて表示処理を行えばよいため、図12のように地図データベースを備えない構成として実現できる。
【0073】
一方、キャラクタ画像の決定処理を生体運動情報表示装置200側で行うシステム動作の場合は、図13の構成が適切である。
その場合、サーバ装置70は、少なくとも或る人物(ユーザID)の生体情報/運動情報を生体運動情報表示装置200に送信し、生体運動情報表示装置200側で、受信した生体情報/運動情報から判断されるユーザ状況に基づいて表示させるキャラクタ画像を決定し、表示処理する。従って、キャラクタ情報格納部217cを有する構成が必要とされる。
【0074】
ここまでの説明からわかるように、図12の構成は、サーバ装置70側から表示するキャラクタ画像データを送信するというシステム動作を前提にした場合に、生体運動情報表示装置200の簡易化を目的とした構成例の1つであり、図13の構成は、サーバ装置70側と生体運動情報表示装置200側のどちらでキャラクタ決定処理を行うかにかかわらず採用できる構成例である。
また、同様に図1の生体運動情報検出表示装置1も、どちらでキャラクタ決定処理を行うかにかかわらず、生体運動情報表示装置200として機能できる構成例となる。
【0075】
[2−5 キャラクタ表示のためのシステム動作]
以上の生体運動情報送信装置100、サーバ装置70、生体運動情報表示装置200で構成される生体運動情報処理システムとしての動作例を説明する。
【0076】
図14は生体運動情報送信装置100からサーバ装置70へ生体情報等を送信する際の動作を示している。図14において生体運動情報送信装置100の処理は、検出/送信コントローラ110の制御によって実行される処理であり、サーバ装置70の処理は、サーバ制御部72の制御によって実行される処理である。
【0077】
生体運動情報送信装置100では、検出/送信コントローラ110はステップF301として送信タイミングを待機する。そして送信タイミングとなったらステップF302に進む。送信タイミングは、例えば定期的なタイミングであるとしてもよいし、ユーザの操作その他の何らかのトリガに基づくタイミングであってもよい。
【0078】
ステップF302では、検出/送信コントローラ110は、生体センサ部111で得られる生体情報、運動センサ部112で得られる運動情報、位置検出部113で得られる位置情報、及び日時計数部115で得られる現在の日時情報を取り込み、これらを記憶部117に記憶させる。
次にステップF303として、検出/送信コントローラ110は送信データを生成する。即ち、記憶部117に取り込んだ生体情報、運動情報、位置情報、日時情報に、さらにユーザIDもしくは機器IDを含む送信用データを生成する。
【0079】
ステップF304では、サーバ装置70と通信接続を行う。検出/送信コントローラ110は、通信部118からネットワーク通信を開始させ、サーバ装置70に通信接続を実行させる。またこのときサーバ装置70側ではステップF401として、サーバ制御部72は、通信部73での通信接続処理を行うとともに、認証処理を行う。認証処理の手法は多様に考えられるが、例えば生体運動情報送信装置100から装置IDを送信し、サーバ装置70側で、当該装置IDが適正に登録された装置IDであるか否かを判断するといった手法が考えられる。
【0080】
認証OKとなって接続が確立されたら、生体運動情報送信装置100はデータ送信を行う。即ち検出/送信コントローラ110は、生体情報、運動情報、位置情報、日時情報、ユーザID(もしくは機器ID)を含むデータを通信部118から送信させる。
一方サーバ装置70のサーバ制御部72は、ステップF402として、通信部73で受信されるデータをネットワークストレージ部71に取り込む。
受信データの取り込みが完了したら、サーバ制御部72は、ステップF403で、取り込んだ受信データについてデコード処理やデータ抽出を行い、受信データに含まれていた生体情報、運動情報、位置情報、日時情報、ユーザID(もしくは機器ID)を、情報管理部74に受け渡し、生体運動情報データベース75に登録させる処理を行う。
【0081】
生体運動情報送信装置100側では、動作終了(例えば電源オフ)とされるまでは、ステップF306からF301に戻り、例えば定期的な送信タイミングとなる毎に、上記ステップF302〜F305の処理を行う。
【0082】
例えばこのような処理が逐次行われることで、サーバ装置70側では、生体運動情報データベース75に、各生体運動情報送信装置100から送信されてきた情報が蓄積されていく。
図15には生体運動情報データベース75での登録形式の一例を示している。
この生体運動情報データベース75では、例えばユーザID(UID1,UID2・・・)に対応させて、逐次送信されてくる生体情報L、運動情報M、位置情報PL、日時情報Dateを蓄積するものとされる。
例えばユーザID=UID1とされたユーザの生体運動情報送信装置100から上記図14の処理で、ユーザID(UID1)とともに生体情報L、運動情報M、位置情報PL、日時情報Dateが送られてくるたびに、図15のようにユーザID(UID1)に対応づけて生体情報L、運動情報M、位置情報PL、日時情報Dateが1つの登録単位のデータとして追加記憶されて蓄積されていく。
【0083】
なお、蓄積データについては、1つのユーザIDについて蓄積する登録単位の数の制限を設けて、古いものから順に消去するようにしてもよいし、或いは日時情報を参照して古いデータを削除するようにしてもよい。
或いは、1つのユーザIDに対しては、1つの登録単位のデータ(L、M、PL、Date)のみが保存されるものとしてもよい。つまり或るユーザIDについての生体情報L、運動情報M、位置情報PL、日時情報Dateが送信されてくる毎に、そのユーザIDの生体情報L、運動情報M、位置情報PL、日時情報Dateを更新するような記憶形式としてもよい。
また、ユーザIDに代えて(或いはユーザIDとともに)装置IDを用いて生体情報等を登録するデータベースとしてもよい。
【0084】
このようにサーバ装置70に蓄積された情報に基づいて、生体運動情報表示装置200では、その生体運動情報表示装置200のユーザにとって他人の状況をキャラクタ画像で表示させることができる。
このための処理例を図16,図17に示す。
図16,図17は、サーバ装置70と生体運動情報表示装置200の処理を示している。サーバ装置70の処理はサーバ制御部72の制御による処理であり、生体運動情報表示装置200の処理はシステムコントローラ201の制御による処理である。
そして図16は、サーバ装置70側でキャラクタ決定処理をする場合の処理例であり、図17は、生体運動情報表示装置200側でキャラクタ決定処理をする場合の処理例として示している。
【0085】
まず図16の処理例を説明する。
生体運動情報表示装置200のユーザは、他人(例えば知人)の現在の状況を知りたいと考えた場合、その他人のユーザID(又は装置ID)を指定する操作を行って、サーバアクセスを指示する。例えば他人のユーザIDを知っていれば、そのユーザIDを指定することで、その他人の状況の表示を求める操作を行うことができる。
ユーザがこのような操作を行うことに応じて、生体運動情報表示装置200は他人の状況のキャラクタ表示を実行するため、図17の処理を行う。
まずステップF601としてサーバ装置70と通信接続を行う。システムコントローラ201は、通信部218からネットワーク通信を開始させ、サーバ装置70に通信接続を実行させる。またこのとき、サーバ装置70側ではステップF501として、サーバ制御部72は、通信部73での通信接続処理を行うとともに、認証処理を行う。この場合も認証処理の手法は多様に考えられるが、例えば生体運動情報表示装置200側からそのユーザ自身のユーザIDや装置IDを送信し、サーバ装置70側でユーザIDや装置IDの確認を行うといった手法が考えられる。
【0086】
サーバ装置70との通信で認証OKとなり、通信が確立されたら、生体運動情報表示装置200のシステムコントローラ201は、ステップF602で、その生体運動情報表示装置200のユーザが指示した他人のユーザID(又は装置ID)を含むデータ要求をサーバ装置70に送信する。
【0087】
サーバ制御部72は、ステップF502としてデータ要求を受信したことを検知したら、ステップF503で情報管理部74にユーザID(又は装置ID)を伝え、該当データの検索を指示する。情報管理部74は、生体運動情報データベース75から、指示されたユーザID(又は装置ID)についてのデータ(生体情報L、運動情報M、位置情報PL、日時情報Date)を抽出する。この際、生体情報L、運動情報M、位置情報PL、日時情報Dateを1つの登録データ単位として、複数の登録データ単位が蓄積されている場合は、日時情報Dateにより最新の登録データ単位としての生体情報L、運動情報M、位置情報PL、日時情報Dateを読み出せばよい。
【0088】
次に、サーバ制御部72はステップF504で、情報管理部74に表示キャラクタ決定処理を実行させる。
情報管理部74は、読み出した生体情報L、運動情報M、位置情報PL、日時情報Dateに関して、特に生体情報L、運動情報Mを用いてユーザ状況を判定する。そしてキャラクタ情報格納部76に記憶されている各種キャラクタ画像の中で、判定したユーザ状況に応じた表情又は動作とされるキャラクタ画像を決定する。
なお、このときユーザID毎に異なるキャラクタ画像を用意しているのであれば、ユーザIDも、キャラクタ画像決定の際に用いることになる。
【0089】
またサーバ制御部72はステップF505で、情報管理部74に地図画像データ読出を指示する。情報管理部74は、生体運動情報データベース75から読み出した位置情報PLに基づいて、その位置情報PLで示される位置を含む所要範囲の地図画像データを、地図データベース77から読み出す。
【0090】
そしてステップF506でサーバ制御部72は、情報管理部74から、決定した表示キャラクタに関するデータ(例えばキャラクタ画像データ自体)や、位置情報PLと地図画像データ、及び日時情報Dateを受け取り、それらを通信部73から生体運動情報表示装置200に送信させる。
なお、表示キャラクタに関するデータとは、生体運動情報表示装置200が図12の構成の場合は、キャラクタ画像データ自体とするのが適切であるが、生体運動情報表示装置200が図13又は図1の構成のように、キャラクタ画像を保持している場合は、キャラクタ画像を指定する情報や、キャラクタ画像を指定するためのユーザ状況の判定情報でもよい。
【0091】
生体運動情報表示装置200側では、システムコントローラ201がステップF603で、表示キャラクタに関するデータ、地図画像データ、位置情報PL、及び日時情報Dateの受信処理を行う。即ち通信部218で受信されるこれらのデータを記憶部217の通信データ格納部217dに保存させる。
そして受信/保存したデータに基づいてキャラクタ画像表示を行う。
この際、システムコントローラ201は、ステップF604で、現在地図表示モードであるか否かを確認する。これは図4のステップF105で説明した処理と同様である。
【0092】
地図表示モードでなければ、ステップF605で表示部214にキャラクタ画像表示を実行させる。即ち、受信/保存したキャラクタ画像データを、表示部214に供給して、例えば図5(a)で説明したようなキャラクタ表示を実行させる。
また地図表示モードであれば、ステップF606で表示部214において、地図画像上でのキャラクタ画像表示を実行させる。即ち、受信/保存したキャラクタ画像データ及び地図画像データを表示部214に供給して、例えば図5(b)で説明したような表示を実行させる。
この場合、生体運動情報表示装置200のユーザにとっては、知人の現在の状況(サーバ装置70に蓄積された最新の生体情報/運動情報に基づく状況)を、キャラクタ画像により知ることができる。
【0093】
図17は、生体運動情報表示装置200側でキャラクタ決定処理をする場合の処理例である。なお、図16と同一の処理は同一のステップ番号を付している。
生体運動情報表示装置200側のステップF601,F602及びサーバ装置70側のステップF501,F502は上記図16と同様であり、これらの処理で、通信確立及びデータ要求の送受信が行われる。
【0094】
またサーバ制御部72は、ステップF502でデータ要求を受信したことを検知したら、ステップF503で情報管理部74にユーザID(又は装置ID)を伝え、該当データの検索を指示する。これに応じて上記図16と同様に、情報管理部74は、生体運動情報データベース75から、指示されたユーザID(又は装置ID)についてのデータ(生体情報L、運動情報M、位置情報PL、日時情報Date)を抽出する。
【0095】
次に、サーバ制御部72はステップF510で、情報管理部74が読み出した生体情報L、運動情報M、位置情報PL、日時情報Dateを受け取り、それらを通信部73から生体運動情報表示装置200に送信させる。
【0096】
生体運動情報表示装置200側では、システムコントローラ201がステップF610で、生体情報L、運動情報M、位置情報PL、日時情報Dateの受信処理を行う。即ち通信部218で受信されるこれらのデータを記憶部217の通信データ格納部217dに保存させる。
【0097】
次にシステムコントローラ201は、ステップF611で表示キャラクタの決定処理を行う。即ちシステムコントローラ201は、受信した生体情報Lと運動情報Mを用いて、他人であるユーザの状況を判定する。そしてキャラクタ情報格納部17aに記憶されている各種キャラクタ画像の中で、判定したユーザ状況に応じた表情又は動作とされるキャラクタ画像を決定する。
なお、このときユーザID毎に異なるキャラクタ画像を用意しているのであれば、サーバアクセス時に指定した他人のユーザIDも、キャラクタ画像決定の際に用いることになる。
【0098】
表示キャラクタを決定したら、キャラクタ画像表示を行う。
この際、システムコントローラ201は、ステップF612で、現在地図表示モードであるか否かを確認する。これは図4のステップF105で説明した処理と同様である。
【0099】
地図表示モードでなければ、ステップF613で表示部214にキャラクタ画像表示を実行させる。即ち、決定したキャラクタ画像データを、表示部214に供給して、例えば図5(a)で説明したようなキャラクタ表示を実行させる。
また地図表示モードであれば、ステップF614で、受信した位置情報PLを元に、表示する範囲の地図画像データを地図データベース17cから読み出し、表示部214において、地図画像上でのキャラクタ画像表示を実行させる。即ち、キャラクタ画像データ及び地図画像データを表示部214に供給して、例えば図5(b)で説明したような表示を実行させる。
この場合も、生体運動情報表示装置200のユーザにとっては、知人の現在の状況(サーバ装置70に蓄積された最新の生体情報/運動情報に基づく状況)を、キャラクタ画像により知ることができる。
【0100】
以上のシステム動作が行われることで、生体運動情報表示装置200のユーザは、生体運動情報送信装置100を装着している他人についての現在の状況を、キャラクタ画像表示により知ることができる。例えば知人等について、現在走っている、気分が低下している・・・等の各種の状況を、キャラクタ画像により認識できる。
【0101】
なお、ここでは現在の他人の状況をキャラクタ画像により表示することとしたが、過去の他人の状況を表示させることもできる。
例えばサーバ装置70の生体運動情報データベース75において、生体運動情報送信装置100のユーザについての生体情報等が、或る程度の期間保存されているのであれば、その保存されている範囲内で過去の時点を指定して、その生体情報等を抽出させるようにすることで、過去の他人の状況をキャラクタ画像により表示することが可能である。
また、この例では、生体運動情報表示装置200のユーザが、知人等としてユーザIDを知っている他人の状況を見ることができるものとしたが、全く知らない他人や有名人等の状況をキャラクタ表示により見ることができるようにすることもできる。例えばある人が、自分の状況を公開することを許諾してシステム登録しておくことで、生体運動情報表示装置200のユーザが、任意に、その公開許諾した人の状況を表示させるようにもできる。
【0102】
<3.自分と他人の生体情報/運動情報に基づくキャラクタ表示>
ここまでは、生体運動情報検出表示装置1において自分の状況をキャラクタ画像により表示する例と、生体運動情報表示装置200において他人の状況をキャラクタ画像により表示する例を述べてきたが、自分と他人の状況を同時にキャラクタ画像により表示することも可能である。
【0103】
例えば図9のシステム構成において、生体運動情報表示装置200が、図1の生体運動情報検出表示装置1としての構成を備えるものとする。
生体運動情報検出表示装置1は、そのユーザ自身の状況をキャラクタ表示するためには、図4で説明した処理を行えばよい。また、他人の状況をキャラクタ表示するためには、図16又は図17における生体運動情報表示装置200の処理として説明した動作を行えばよい。
つまり、図1の構成において、システムコントローラ10が、図4の処理と図16又は図17で述べた処理を並行して実行すれば、表示部14において、自分と他人のキャラクタ表示を行うことができる。
例えば画面上に2つのキャラクタ表示を実行してもよいし、図18に示すように、地図画像31上で、自分と他人の位置を示しながら、それぞれの状況をキャラクタ画像30A,30Bで表現する表示を行うこともできる。
この図18の例は、例えば生体運動情報検出表示装置1のユーザが、待ち合わせ場所で待っている状態が、地図画像31上で場所を示しながら、キャラクタ画像30Bとして表示されているとともに、待ち合わせ時間に遅れて走っている他人の状況が、現在の位置においてキャラクタ画像30Aとして表示されている例である。
【0104】
<4.実施の形態の効果及び変形例>
以上の実施の形態によれば、生体運動情報検出表示装置1(生体運動情報表示装置200)のユーザは、自分や他人の状況を、キャラクタの表情や動作により認識することができる。これによって、自分や他人の状況を容易に、かつ楽しみながら知ることができる。
例えば自分の状況をキャラクタ表示させることで、表示画面を楽しんだり、或いは疲れている、気分が低下しているなどの状況を的確に知ることができることで、その後の行動に注意することなどもできる。
またキャラクタ再生表示により過去の状況を表示させることで、自分の行動や感情を的確に思い起こしたり、思い出を楽しむといったことも可能となる。
また、他人の状況をキャラクタ表示させることで、他人の状況を的確に把握できる。
例えば待ち合わせに遅れている友人の状況や現在の場所を知ることができる。また、親が子供の現在居る場所や状況を確認できるようにもなる。さらに、健康状態の優れない人が外出している際の状況を、その家族等が容易に確認できるようにもなるなど、多様な利用形態が想定される。
【0105】
本発明は上記実施の形態に限られず、装置構成例や処理例として各種の変形例が考えられる。
生体運動情報検出表示装置1、生体運動情報送信装置100、生体運動情報表示装置200、サーバ装置70としての上述した構成は一例にすぎず、実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
また図9に示した生体運動情報処理システムは、生体運動情報表示装置200がサーバ装置70を介して生体運動情報送信装置100で検出された生体情報等を取得するようにしたが、サーバ装置70を必要としないシステム構成も考えられる。即ち、生体運動情報送信装置100と生体運動情報表示装置200が直接通信を行うシステムにおいて、生体運動情報表示装置200が生体運動情報送信装置100で検出された生体情報、運動情報、位置情報等を受信することで、他人の生体情報、運動情報に基づくキャラクタ表示や、位置情報を利用した地図画像上でのキャラクタ表示を行うことも可能である。
【0106】
また生体運動情報検出表示装置1、生体運動情報表示装置200において、表示部14(214)を備える構成としたが、表示部を備えず、別体の表示デバイスを利用してキャラクタ表示を実行するようにしてもよい。
【0107】
また、他人の生体情報、運動情報に基づくキャラクタ表示や、位置情報に基づく位置の表示に関しては、プライバシー保護の観点などから、或る程度制限がかけられるようにすることも適切である。
例えば生体運動情報表示装置200のユーザが、生体運動情報送信装置100のユーザに関するキャラクタ表示や現在位置表示を求めた場合、サーバ装置70が生体運動情報送信装置100側に意思確認を行い、同意が示された場合にのみ、サーバ装置70が生体運動情報表示装置200に生体情報やキャラクタ関連の情報を送信するようにすることも考えられる。
さらには、検出した生体情報として、心拍、血圧等が通常の値の場合は、キャラクタ表示に利用せず、身体的に異常な値となった場合にのみ、その生体情報をキャラクタ表示の対象として用いることで、自分又は他人についての警告や注意といった意味のキャラクタ表示を実行するようにしてもよい。
【0108】
また生体運動情報送信装置100を人間以外の生物、例えば犬や猫などのペットに装着できるようにすることで、ペットを被検出体として生体情報、運動情報、位置情報を検出することも考えられる。この場合、生体運動情報表示装置200側で、ペットの状況をキャラクタ画像により確認することができる。
【図面の簡単な説明】
【0109】
【図1】本発明の実施の形態の生体運動情報検出表示装置のブロック図である。
【図2】実施の形態の生体運動情報検出表示装置の他の例のブロック図である。
【図3】実施の形態のキャラクタ画像の説明図である。
【図4】実施の形態のキャラクタ画像表示処理のフローチャートである。
【図5】実施の形態のキャラクタ画像表示例の説明図である。
【図6】実施の形態の生体情報等の記録状態の説明図である。
【図7】実施の形態のキャラクタ再生表示処理のフローチャートである。
【図8】実施の形態のキャラクタ再生表示例の説明図である。
【図9】実施の形態の生体運動情報処理システムの説明図である。
【図10】実施の形態の生体運動情報送信装置のブロック図である。
【図11】実施の形態のサーバ装置のブロック図である。
【図12】実施の形態の生体運動情報表示装置のブロック図である。
【図13】実施の形態の生体運動情報表示装置の他の例のブロック図である。
【図14】実施の形態のサーバ装置への送信処理のフローチャートである。
【図15】実施の形態のサーバ装置での生体情報等の蓄積状態の説明図である。
【図16】実施の形態の生体運動情報表示装置への送信及び表示処理のフローチャートである。
【図17】実施の形態の生体運動情報表示装置への送信及び表示処理の他の例のフローチャートである。
【図18】実施の形態の自分及び他人のキャラクタ表示例の説明図である。
【符号の説明】
【0110】
1 生体運動情報検出表示装置、2 検出装置部、3 表示装置部、10,201 システムコントローラ、11,111 生体センサ部、12,112 運動センサ部、13,113 位置検出部、14,214 表示部、15,115 日時計数部、17,117 記憶部、30 キャラクタ画像、18,118,218 通信部、70 サーバ装置、72 サーバ制御部、74 情報管理部、75 生体運動情報データベース、100 生体運動情報送信装置、200 生体運動情報表示装置
【特許請求の範囲】
【請求項1】
被検出体の生体情報を取得する生体情報取得手段と、
上記被検出体の運動情報を取得する運動情報取得手段と、
上記生体情報取得手段で取得した生体情報及び上記運動情報取得手段で取得した運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段と、
を備えたことを特徴とする生体運動情報表示処理装置。
【請求項2】
上記生体情報取得手段として、生体情報を検出する生体情報検出部を有し、
上記運動情報取得手段として、運動情報を検出する運動情報検出部を有することを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項3】
上記生体情報取得手段及び上記運動情報取得手段は、外部機器から生体情報と運動情報を受信する通信部として構成されていることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項4】
さらに画像表示を行う表示手段を備え、
上記制御手段は、上記表示手段において、上記表示キャラクタによる画像表示が行われるように制御することを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項5】
さらに位置情報を取得する位置情報取得手段と、
地図画像データを取得する地図画像取得手段とを備え、
上記制御手段は、上記位置情報取得手段で得られた位置情報に基づいて上記地図画像取得手段により表示する地図画像データを取得するとともに、地図画像上で上記位置情報に応じた位置に、上記表示キャラクタによる画像表示が行われるように制御することを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項6】
上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段で生体情報及び運動情報が取得された際に、その生体運動及び運動情報に基づいて決定された表情又は動作による表示キャラクタの表示制御を行うことを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項7】
情報を保存する保存手段をさらに備え、
上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段が、生体情報と運動情報を取得した際に、その取得された生体情報と運動情報、もしくは取得された生体情報と運動情報に基づいて決定された表示キャラクタの表情又は動作を示すキャラクタ関連情報を、上記保存手段に保存させることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項8】
上記制御手段は、所定の条件で上記保存手段から生体情報及び運動情報、もしくはキャラクタ関連情報を読み出し、読み出した生体情報及び運動情報、もしくはキャラクタ関連情報を用いて表示キャラクタの表示制御を行うことを特徴とする請求項7に記載の生体運動情報表示処理装置。
【請求項9】
上記生体情報は、脈拍、心拍、心電図、筋電、呼吸、発汗、GSR、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、眼の状態のうちの少なくとも一つの情報であることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項10】
上記運動情報は、静止状態、歩行状態、走行状態、運動状態、身体要素の動きのうちの少なくとも一つの情報であることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項11】
生体運動情報送信装置と、生体運動情報表示処理装置を有する生体運動情報処理システムとして、
上記生体運動情報送信装置は、
被検出体の生体情報を検出する生体情報検出手段と、
上記被検出体の運動情報を検出する運動情報検出手段と、
上記生体情報検出手段で検出された生体情報と、上記運動情報検出手段で検出された運動情報とを送信出力する送信手段と、
を備え、
上記生体運動情報表示処理装置は、
情報通信を行う通信手段と、
上記通信手段に生体情報及び運動情報の受信処理を実行させるとともに、上記通信手段で受信した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段と、
を備えたことを特徴とする生体運動情報処理システム。
【請求項12】
さらに生体情報及び運動情報を蓄積する蓄積手段を備えたサーバ装置を有し、
上記生体運動情報送信装置の上記送信手段は、生体情報及び運動情報を上記サーバ装置に対して送信し、
上記サーバ装置は、送信されてきた生体情報及び運動情報を、上記蓄積手段に蓄積し、
上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置の上記蓄積手段に蓄積されている生体情報及び運動情報を受信することを特徴とする請求項11に記載の生体運動情報処理システム。
【請求項13】
さらに生体情報及び運動情報を蓄積する蓄積手段を備えたサーバ装置を有し、
上記生体運動情報送信装置の上記送信手段は、生体情報及び運動情報を上記サーバ装置に対して送信し、
上記サーバ装置は、送信されてきた生体情報及び運動情報を、上記蓄積手段に蓄積し、
上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置が上記蓄積手段に蓄積されている生体情報及び運動情報に基づいて決定した、表示キャラクタの表情又は動作を示すキャラクタ関連情報を受信することを特徴とする請求項11に記載の生体運動情報処理システム。
【請求項14】
被検出体の生体情報を取得するステップと、
上記被検出体の運動情報を取得するステップと、
取得した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定するステップと、
決定した表示キャラクタの表情又は動作による画像表示が行われるように制御するステップと、
を備えたことを特徴とする生体運動情報表示処理方法。
【請求項1】
被検出体の生体情報を取得する生体情報取得手段と、
上記被検出体の運動情報を取得する運動情報取得手段と、
上記生体情報取得手段で取得した生体情報及び上記運動情報取得手段で取得した運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段と、
を備えたことを特徴とする生体運動情報表示処理装置。
【請求項2】
上記生体情報取得手段として、生体情報を検出する生体情報検出部を有し、
上記運動情報取得手段として、運動情報を検出する運動情報検出部を有することを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項3】
上記生体情報取得手段及び上記運動情報取得手段は、外部機器から生体情報と運動情報を受信する通信部として構成されていることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項4】
さらに画像表示を行う表示手段を備え、
上記制御手段は、上記表示手段において、上記表示キャラクタによる画像表示が行われるように制御することを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項5】
さらに位置情報を取得する位置情報取得手段と、
地図画像データを取得する地図画像取得手段とを備え、
上記制御手段は、上記位置情報取得手段で得られた位置情報に基づいて上記地図画像取得手段により表示する地図画像データを取得するとともに、地図画像上で上記位置情報に応じた位置に、上記表示キャラクタによる画像表示が行われるように制御することを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項6】
上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段で生体情報及び運動情報が取得された際に、その生体運動及び運動情報に基づいて決定された表情又は動作による表示キャラクタの表示制御を行うことを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項7】
情報を保存する保存手段をさらに備え、
上記制御手段は、上記生体情報取得手段及び上記運動情報取得手段が、生体情報と運動情報を取得した際に、その取得された生体情報と運動情報、もしくは取得された生体情報と運動情報に基づいて決定された表示キャラクタの表情又は動作を示すキャラクタ関連情報を、上記保存手段に保存させることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項8】
上記制御手段は、所定の条件で上記保存手段から生体情報及び運動情報、もしくはキャラクタ関連情報を読み出し、読み出した生体情報及び運動情報、もしくはキャラクタ関連情報を用いて表示キャラクタの表示制御を行うことを特徴とする請求項7に記載の生体運動情報表示処理装置。
【請求項9】
上記生体情報は、脈拍、心拍、心電図、筋電、呼吸、発汗、GSR、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、眼の状態のうちの少なくとも一つの情報であることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項10】
上記運動情報は、静止状態、歩行状態、走行状態、運動状態、身体要素の動きのうちの少なくとも一つの情報であることを特徴とする請求項1に記載の生体運動情報表示処理装置。
【請求項11】
生体運動情報送信装置と、生体運動情報表示処理装置を有する生体運動情報処理システムとして、
上記生体運動情報送信装置は、
被検出体の生体情報を検出する生体情報検出手段と、
上記被検出体の運動情報を検出する運動情報検出手段と、
上記生体情報検出手段で検出された生体情報と、上記運動情報検出手段で検出された運動情報とを送信出力する送信手段と、
を備え、
上記生体運動情報表示処理装置は、
情報通信を行う通信手段と、
上記通信手段に生体情報及び運動情報の受信処理を実行させるとともに、上記通信手段で受信した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定し、決定した表示キャラクタの表情又は動作による画像表示が行われるように制御する制御手段と、
を備えたことを特徴とする生体運動情報処理システム。
【請求項12】
さらに生体情報及び運動情報を蓄積する蓄積手段を備えたサーバ装置を有し、
上記生体運動情報送信装置の上記送信手段は、生体情報及び運動情報を上記サーバ装置に対して送信し、
上記サーバ装置は、送信されてきた生体情報及び運動情報を、上記蓄積手段に蓄積し、
上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置の上記蓄積手段に蓄積されている生体情報及び運動情報を受信することを特徴とする請求項11に記載の生体運動情報処理システム。
【請求項13】
さらに生体情報及び運動情報を蓄積する蓄積手段を備えたサーバ装置を有し、
上記生体運動情報送信装置の上記送信手段は、生体情報及び運動情報を上記サーバ装置に対して送信し、
上記サーバ装置は、送信されてきた生体情報及び運動情報を、上記蓄積手段に蓄積し、
上記生体運動情報表示処理装置の上記通信手段は、上記サーバ装置が上記蓄積手段に蓄積されている生体情報及び運動情報に基づいて決定した、表示キャラクタの表情又は動作を示すキャラクタ関連情報を受信することを特徴とする請求項11に記載の生体運動情報処理システム。
【請求項14】
被検出体の生体情報を取得するステップと、
上記被検出体の運動情報を取得するステップと、
取得した生体情報及び運動情報に基づいて、表示キャラクタの表情又は動作を決定するステップと、
決定した表示キャラクタの表情又は動作による画像表示が行われるように制御するステップと、
を備えたことを特徴とする生体運動情報表示処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2009−39157(P2009−39157A)
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願番号】特願2007−204114(P2007−204114)
【出願日】平成19年8月6日(2007.8.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願日】平成19年8月6日(2007.8.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]