非言語情報通信装置
【課題】 人間の身体的な情報を直感的に、遠隔地間でもやり取りすることが可能な非言語情報通信装置を提供する。
【解決手段】 非言語情報通信装置１００には、ユーザ２の身体情報を獲得するための脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とが設けられる。コンピュータ１１０．ｉは、他のコンピュータから送信されてきた通信相手のユーザの脈拍、皮膚伝導度、呼吸に関する情報を図形表示に変換して、ディスプレイ１０８に表示する。
【解決手段】 非言語情報通信装置１００には、ユーザ２の身体情報を獲得するための脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とが設けられる。コンピュータ１１０．ｉは、他のコンピュータから送信されてきた通信相手のユーザの脈拍、皮膚伝導度、呼吸に関する情報を図形表示に変換して、ディスプレイ１０８に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コンピュータ等の機器で通信を行なう際において、当該機器を操作する人間の非言語情報についてもインタフェースをとるための通信装置の構成に関する。
【背景技術】
【０００２】
人間が直接対面してコミュニケーションをとる場合に比べて、通信によりコミュニケーションをとる場合、やり取りされる情報からは、通信の主体となる人間の肉体的な情報は省略ないし減少してしまう。
【０００３】
たとえば、チャットプログラムなどでは、人間が入力する文書情報（テキスト情報）や図形情報だけでなく、音声や画像情報をやり取りするものがある。しかしながら、このようなチャットプログラムを用いたとしても、人間が直接対面して、対話する場合に比べれば、やり取りされる情報量は格段に少ないものとなる。
【０００４】
これは、上述したように、音声情報や、多くの場合顔部分のみがやり取りされる画像情報のみの通信では、人間が直接対面する場合にやり取りされる非言語情報の多くが失われてしまうからであると考えられる。
【０００５】
特に、通信を用いて遠隔地間で、教師と生徒の間で、教育プログラムを実行する場合などでは、単純に、教育する直接的な情報のみならず、生徒と教師間で、感情表現に関連する情報がやり取りされることが、教育効果を上げるためには重要と考えられる。
【０００６】
たとえば、人間同士の通信で、人間の肉体に関する情報がやり取りされれば、共感を持つという体験をサポートできると考えられる（たとえば、非特許文献１参照）。
【０００７】
人間の感情の状態を数値化するという目的のために、たとえば、人間の表情の認識技術を用いようという試みもある（たとえば、非特許文献２）。
【非特許文献１】Thompson,E.. ”Empathy and Consciousness”, Journal of Consciousness Studies 8, No.5-7:pp.1-32, 2001
【非特許文献２】Lyons, M.J., Budynek, J., and Akamatsu, S., “Automatic Classification of Single Facial Images”, IEEE PAMI 21(12):pp 1357-1362,1999
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、遠隔地間で、特に、教育目的などで通信を行なう場合、人間の肉体的な情報のやり取りが重要と考えられるものの、従来、このような情報の交換をどのように行なうのが効果的であるかについては、必ずしも明らかでないという問題があった。
【０００９】
本発明の目的は、人間の生体情報を直感的に、遠隔地間でもやり取りすることが可能な非言語情報通信装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従うと、非言語情報通信装置であって、非言語情報通信装置であって、前記非言語情報通信装置を操作する第１のユーザの第１の生体情報をリアルタイムに獲得するセンサ手段と、前記第１のユーザからの第１の入力情報を受ける入力手段と、前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記他の非言語情報通信装置が獲得した前記第２のユーザの第２の生体情報を受ける通信手段と、前記第２の生体情報を出力データに変換するための変換手段と、前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える。
【００１１】
好ましくは、前記変換手段は、前記第２の生体情報を図形表示に変換し、前記出力手段は、変換された前記図形表示を出力する。
【００１２】
好ましくは、前記センサ手段は、血流量を検出する脈拍センサを含み、前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの脈拍情報を、前記血流量に比例する半径の円に変換する。
【００１３】
好ましくは、前記センサ手段は、呼吸に応じた身体の伸縮の大きさを検出する呼吸センサを含み、前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの呼吸情報を、前記身体の伸縮の大きさに比例する高さの棒グラフに変換する。
【００１４】
好ましくは、前記センサ手段は、皮膚伝導度を検出する皮膚伝導度センサを含み、前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの皮膚伝導度情報を、前記皮膚伝導度の大きさに比例する半径を各々有し、前記皮膚伝導度の大きさに比例する個数の複数の円の集合に変換する。
【００１５】
この発明の他の局面に従うと、非言語情報通信装置であって、前記非言語情報通信装置を操作する第１のユーザの生体情報をリアルタイムに獲得するセンサ手段と、前記第１のユーザからの入力情報を受ける入力手段と、前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが操作する他の情報通信装置から送信される送信情報を受ける通信手段と、前記送信情報を出力するための出力手段とを備える。
【００１６】
この発明のさらに他の局面に従うと、非言語情報通信装置であって、前記非言語情報通信装置の第１のユーザからの第１の入力情報を受ける入力手段と、前記第１の入力情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記第２のユーザの生体情報をリアルタイムに獲得するための前記他の非言語情報通信装置のセンサ手段が獲得した前記生体情報を受ける通信手段と、前記生体情報を出力データに変換するための変換手段と、前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える。
【００１７】
好ましくは、前記変換手段は、前記第２の生体情報を図形表示に変換し、前記出力手段は、変換された前記図形表示を出力する。
【発明を実施するための最良の形態】
【００１８】
［ハードウェア構成］
以下、本発明の実施の形態にかかる非言語情報通信装置について説明する。この非言語情報通信装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、通信によりコミュニケーションを行なうユーザ２の画像情報等だけでなく、生体情報を伝達するための信号を生成するものである。
【００１９】
なお、本明細書において、「生体情報」とは、脈拍、呼吸や発汗などの人間の生理機能の状態を表現するための情報である。
【００２０】
図１は、本発明の非言語情報通信装置１００の構成を示す概略ブロック図である。
【００２１】
図１を参照して、この非言語情報通信装置１００は、ユーザ２の指に装着され、ユーザ２の脈拍を検出するための脈拍センサ１０１と、ユーザ２の他の指に装着され、ユーザ２の皮膚伝導度を検出するための皮膚伝導度センサ１０２と、ユーザ２の腹部に装着され、ユーザ２の呼吸を検出するための呼吸センサ１０３と、センサ１０１〜１０３によりそれぞれ検出された結果に対応するアナログ信号をデジタル信号に変換するためのアナログデジタルコンバータ（Ａ／Ｄコンバータ）１０４と、パーソナルコンピュータなどのコンピュータ１１０．ｉと、ユーザ２の動画像を撮影するためのカメラ１０７と、コンピュータ１１０．ｉに接続された表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０．ｉに接続された入力装置としてのキーボード１０６とを含む。サーバ１３０は、コンピュータ１１０．ｉからの通信信号を他のコンピュータ１１０．ｊ（図示せず）に中継する。
【００２２】
なお、ユーザ２の発する音声を取得するためのマイクや、他のユーザから通信で送られてきた音声を出力するためのスピーカが設けられてもよい。
【００２３】
さらに、コンピュータ１１０．ｉに対する入力装置としては、ペンおよびタブレットなどが設けられてもよい。
【００２４】
また、この実施の形態のシステムでは、カメラ１０７としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。
【００２５】
なお、図示しないが、コンピュータ１１０．ｉには、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。
【００２６】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０７からの画像を取り込み、入力装置からの信号やＡ／Ｄコンバータ１０４からの信号を受け取り、またサーバ１３０との間でデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２７】
ここで、ＣＰＵ１１０４は、ＲＯＭ１１０６に格納されているプログラムに基づいて、Ａ／Ｄコンバータ１０４から入力されたセンサ１０１〜１０３からの信号を、インタフェース部１０２を介してサーバ１３０に送信するとともに、サーバ１３０から受信した他のコンピュータ１１０．ｊに対応して設けられているこれらセンサからの信号を、それぞれ後に説明するように、ユーザ２が直感的に認識しやすい画像情報に変換してディスプレイ１０８に表示する。
【００２８】
非言語情報通信装置１００の主要部は、ともに、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００２９】
［通信システムの構成］
図２は、図１に示した非言語情報通信装置１００を用いて、２つのコンピュータ１１０．ｉと１１０．ｊにより、２人のユーザが遠隔通信を行なう構成を説明するためのブロック図である。
【００３０】
図２を参照して、クライエントコンピュータ１１０．ｉと１１０．ｊのそれぞれに対応して、脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とが設けられる。
【００３１】
たとえば、クライエントコンピュータ１１０．ｉを操作するユーザ２の脈拍数、皮膚伝送度、呼吸数などのデータは、リアルタイムにサーバコンピュータ１３０に、ＴＣＰ／ＩＰなどのプロトコルで送信される。サーバ１３０に接続する他のクライエントコンピュータ１１０．ｊは、サーバ１３０からクライエントコンピュータ１１０．ｉを操作するユーザ２の脈拍数、皮膚伝送度、呼吸数などのデータをディスプレイ１０８上に表示する。
【００３２】
全く逆向きに、クライエントコンピュータ１１０．ｊを操作する他方のユーザの脈拍数、皮膚伝送度、呼吸数などのデータも、サーバ１３０を介して、クライエントコンピュータ１１０．ｉに送られ、クライエントコンピュータ１１０．ｉのディスプレイ１０８上に表示される。
【００３３】
なお、サーバ１３０には、他のクライエントコンピュータ１１０．ｍ〜１１０．ｎが接続され、クライエントコンピュータ１１０．ｉ，１１０．ｊ，１１０．ｍ〜１１０．ｎの間で、相互に同様の情報の通信が行なわれてもよい。
【００３４】
（センサ）
図３は、図１に示した、脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とのユーザ２への装着の状態を説明するための図である。
【００３５】
図３（ａ）に示すように、呼吸センサ１０３は、ユーザ２の腹部（または胸部）に装着され、腹部や胸部が呼吸に応じて伸縮することを検出して電気信号に変換する。ＣＰＵ１１０４は、この信号を１分あたりの呼吸数に変換するか、あるいは、リアルタイムに伸縮状態を示す情報（伸縮の大きさの時間変化を示す情報）に変換する。このような呼吸の状態（頻度、大きさ）は、ユーザ２の興奮やリラックスの程度を示す情報となる。
【００３６】
また、図３（ｂ）に示すように、脈拍センサ１０１は、ユーザ２の１つの指、たとえば、親指に装着されて、赤外ＬＥＤ（Light Emitting Diode）の皮膚表面からの反射強度を検出する。皮膚表面からの反射強度は、血流量に依存するので、この反射強度は、ユーザ２の脈拍および血圧を反映した値となる。ＣＰＵ１１０４は、このような反射強度をリアルタイムに、ユーザの興奮状態を表す指標として抽出し、送信する。
【００３７】
また、図３（ｂ）に示すように、皮膚伝導度センサ１０２は、脈拍センサ１０１が装着されるのとは異なる２つの指に装着されて、皮膚の伝導度を検出する。ＣＰＵ１１０４は、このような伝導度を、主としてユーザ２の発汗状態に依存し、ユーザ２の驚きの程度等を表す情報として検出し、送信する。
【００３８】
また、図１に示したＡ／Ｄコンバータ１０４からの信号を受け取って、ＣＰＵ１１０４は、皮膚伝導度の検出データについては、以下に説明するようなフィルタリング処理を行なう。これは、皮膚伝導度については、比較的ゆっくりとその値のベースラインが変動するために、リアルタイムにユーザ２の感情の状態を把握するためには、単なる伝導度の絶対値では不適当なためである。
【００３９】
すなわち、各サンプルデータｘ（ｉ）（ｉはサンプル時刻を示す）について、フィルタ処理されたデータｄ（ｉ）は以下の数式により得られる。
【００４０】
ｄ（ｉ）＝ｘ（ｉ）−Ａ（ｉ）
Ａ（ｉ）＝Ａ（ｉ−１）×０.９９５＋ｘ（ｉ）×０．００５
図４は、このようなフィルタリング処理を行なった後の皮膚伝導度データｄ（ｉ）を示す図である。
【００４１】
データｄ（ｉ）はベースラインの変動を除去した後の各瞬間の皮膚伝導の変化を表している。
【００４２】
図５は、非言語情報通信装置１００を遠隔通信により、漢字教育を行なうシステムに用いた例を示す図である。
【００４３】
図５（ａ）に示すように、ユーザ２は、ペンおよびタブレットを使って、漢字を入力する。
【００４４】
また、図５（ｂ）に示すように、ディスプレイ１０８上には、ユーザ２自身がタブレットに入力した文字と、カメラ１０７により撮影されたユーザ２の画像３１０．ｉと、ユーザ２の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｉと並んで、教師がコンピュータ１１０．ｊにおいてタブレットに入力した文字と、コンピュータ１１０．ｊに対応するカメラ１０７により撮影された教師の画像３１０．ｊと、教師の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｊとが表示されている。
【００４５】
図６は、図５に示したユーザ２の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｉの例を示す図である。
【００４６】
まず、脈拍を示す情報（図６中ＢＶＰで示す円）３０２は、ユーザ２について脈拍センサ１０１により得られた信号を正規化して、その強度に比例してリアルタイムにその半径が変化する円として表示される。
【００４７】
また、呼吸を示す情報（図６中Ｒで示す矩形）３０４は、ユーザ２について呼吸センサ１０３により得られた信号を正規化して、その伸縮の大きさに比例してリアルタイムにその高さが変化する棒グラフとして表示される。
【００４８】
さらに、皮膚伝導度を示す情報（図６中ＳＣで示す円の集合）３０６は、ユーザ２について皮膚伝導度センサ１０２により得られた信号を正規化して、その強度に比例してリアルタイムにその半径および個数が変化する円の集合として表示される。すなわち、皮膚伝導度が高いほど、表示される個々の円の半径は大きくなる。ただし、すべての円の大きさは同じではなく、たとえば、皮膚伝導度の強度に対応する値の周りで所定の標準偏差で正規分布するような大きさの分布を持っているものとする。また、皮膚伝導度が高いほど、表示される円の個数は多くなるようにする。なお、ＳＣの矩形の表示領域内で個々の円が表示される位置は、ランダムに定められるものとする。
【００４９】
なお、以上の説明では、生体情報を図形データに変換して表示する例について説明したが、相手の生体情報を直感的に把握できるのであれば、このような図形情報だけでなく、音声情報などももちいることもできる。たとえば、呼吸、脈拍に関しては、受信側のスピーカから、送信側から送られてきた相手方の呼吸数、脈拍数に応じた周波数の音をＣＰＵ１１０４が合成して発生させて、出力することも可能である。このような音声は、呼吸と脈拍について異なる周波数帯域を割り当てて、同時に出力させてもよいし、さらに、聞き取りやすくするために時分割的に出力させてもよい。さらには、送信側のマイクロフォンで、呼吸や心臓の鼓動などの音声を取得して、この音声を直接送信して、受信側のスピーカで再生させてもよい。
【００５０】
また、以上の説明では、脈拍、呼吸、発汗を例示したが、これらの組合せのいずれか、また、これらのうちの１つなど、生態情報の少なくとも１つの通信を行えばよい。
【００５１】
以上のような表示により、遠隔地にいる他のユーザの感情の状態を、直感的な表示により知ることができる。このため、この非言語情報通信装置１００を教育システムに利用すれば、教師は生徒の心理状態に依存する情報を、生徒は教師の心理状態に依存する情報を直感的に感じながら学習することができ、より対面して教育を行なっているのに近い状態を擬似的に作り出すことができる。
【００５２】
なお、以上の説明では、非言語情報通信装置１００は、送信側および受信側が同じ構成を有するものとして説明したが、本発明はこのような場合に限定されるものではない。
【００５３】
すなわち、この非言語情報通信装置１００を教育用に使用する場合を例にとると、生徒側の通信装置については、自身の入力および生体情報を送信し、教師側からの入力を表示する機能を有していればよく、教師側の通信装置では、自身の入力を送信し、生徒側の入力および生徒側の生体情報を表示する機能を少なくとも有していればよい。
【００５４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００５５】
【図１】非言語情報通信装置１００の構成を示す概略ブロック図である。
【図２】図１に示した非言語情報通信装置１００を用いて２人のユーザが遠隔通信を行なう構成を説明するためのブロック図である。
【図３】図１に示した、脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とのユーザ２への装着の状態を説明するための図である。
【図４】フィルタリング処理を行なった後の皮膚伝導度データｄ（ｉ）を示す図である。
【図５】非言語情報通信装置１００を遠隔通信により、漢字教育を行なうシステムに用いた例を示す図である。
【図６】図５に示したユーザ２の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｉの例を示す図である。
【符号の説明】
【００５６】
２ ユーザ、１００ 非言語情報通信装置、１０１ 脈拍センサ、１０２ 皮膚伝導度センサ、１０３ 呼吸センサ、１０４ Ａ／Ｄコンバータ、１０６ キーボード、１０７ カメラ、１０８ ディスプレイ、１１０．ｉ，１１０．ｊ コンピュータ、１３０ サーバ。
【技術分野】
【０００１】
この発明は、コンピュータ等の機器で通信を行なう際において、当該機器を操作する人間の非言語情報についてもインタフェースをとるための通信装置の構成に関する。
【背景技術】
【０００２】
人間が直接対面してコミュニケーションをとる場合に比べて、通信によりコミュニケーションをとる場合、やり取りされる情報からは、通信の主体となる人間の肉体的な情報は省略ないし減少してしまう。
【０００３】
たとえば、チャットプログラムなどでは、人間が入力する文書情報（テキスト情報）や図形情報だけでなく、音声や画像情報をやり取りするものがある。しかしながら、このようなチャットプログラムを用いたとしても、人間が直接対面して、対話する場合に比べれば、やり取りされる情報量は格段に少ないものとなる。
【０００４】
これは、上述したように、音声情報や、多くの場合顔部分のみがやり取りされる画像情報のみの通信では、人間が直接対面する場合にやり取りされる非言語情報の多くが失われてしまうからであると考えられる。
【０００５】
特に、通信を用いて遠隔地間で、教師と生徒の間で、教育プログラムを実行する場合などでは、単純に、教育する直接的な情報のみならず、生徒と教師間で、感情表現に関連する情報がやり取りされることが、教育効果を上げるためには重要と考えられる。
【０００６】
たとえば、人間同士の通信で、人間の肉体に関する情報がやり取りされれば、共感を持つという体験をサポートできると考えられる（たとえば、非特許文献１参照）。
【０００７】
人間の感情の状態を数値化するという目的のために、たとえば、人間の表情の認識技術を用いようという試みもある（たとえば、非特許文献２）。
【非特許文献１】Thompson,E.. ”Empathy and Consciousness”, Journal of Consciousness Studies 8, No.5-7:pp.1-32, 2001
【非特許文献２】Lyons, M.J., Budynek, J., and Akamatsu, S., “Automatic Classification of Single Facial Images”, IEEE PAMI 21(12):pp 1357-1362,1999
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、遠隔地間で、特に、教育目的などで通信を行なう場合、人間の肉体的な情報のやり取りが重要と考えられるものの、従来、このような情報の交換をどのように行なうのが効果的であるかについては、必ずしも明らかでないという問題があった。
【０００９】
本発明の目的は、人間の生体情報を直感的に、遠隔地間でもやり取りすることが可能な非言語情報通信装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従うと、非言語情報通信装置であって、非言語情報通信装置であって、前記非言語情報通信装置を操作する第１のユーザの第１の生体情報をリアルタイムに獲得するセンサ手段と、前記第１のユーザからの第１の入力情報を受ける入力手段と、前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記他の非言語情報通信装置が獲得した前記第２のユーザの第２の生体情報を受ける通信手段と、前記第２の生体情報を出力データに変換するための変換手段と、前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える。
【００１１】
好ましくは、前記変換手段は、前記第２の生体情報を図形表示に変換し、前記出力手段は、変換された前記図形表示を出力する。
【００１２】
好ましくは、前記センサ手段は、血流量を検出する脈拍センサを含み、前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの脈拍情報を、前記血流量に比例する半径の円に変換する。
【００１３】
好ましくは、前記センサ手段は、呼吸に応じた身体の伸縮の大きさを検出する呼吸センサを含み、前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの呼吸情報を、前記身体の伸縮の大きさに比例する高さの棒グラフに変換する。
【００１４】
好ましくは、前記センサ手段は、皮膚伝導度を検出する皮膚伝導度センサを含み、前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの皮膚伝導度情報を、前記皮膚伝導度の大きさに比例する半径を各々有し、前記皮膚伝導度の大きさに比例する個数の複数の円の集合に変換する。
【００１５】
この発明の他の局面に従うと、非言語情報通信装置であって、前記非言語情報通信装置を操作する第１のユーザの生体情報をリアルタイムに獲得するセンサ手段と、前記第１のユーザからの入力情報を受ける入力手段と、前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが操作する他の情報通信装置から送信される送信情報を受ける通信手段と、前記送信情報を出力するための出力手段とを備える。
【００１６】
この発明のさらに他の局面に従うと、非言語情報通信装置であって、前記非言語情報通信装置の第１のユーザからの第１の入力情報を受ける入力手段と、前記第１の入力情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記第２のユーザの生体情報をリアルタイムに獲得するための前記他の非言語情報通信装置のセンサ手段が獲得した前記生体情報を受ける通信手段と、前記生体情報を出力データに変換するための変換手段と、前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える。
【００１７】
好ましくは、前記変換手段は、前記第２の生体情報を図形表示に変換し、前記出力手段は、変換された前記図形表示を出力する。
【発明を実施するための最良の形態】
【００１８】
［ハードウェア構成］
以下、本発明の実施の形態にかかる非言語情報通信装置について説明する。この非言語情報通信装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、通信によりコミュニケーションを行なうユーザ２の画像情報等だけでなく、生体情報を伝達するための信号を生成するものである。
【００１９】
なお、本明細書において、「生体情報」とは、脈拍、呼吸や発汗などの人間の生理機能の状態を表現するための情報である。
【００２０】
図１は、本発明の非言語情報通信装置１００の構成を示す概略ブロック図である。
【００２１】
図１を参照して、この非言語情報通信装置１００は、ユーザ２の指に装着され、ユーザ２の脈拍を検出するための脈拍センサ１０１と、ユーザ２の他の指に装着され、ユーザ２の皮膚伝導度を検出するための皮膚伝導度センサ１０２と、ユーザ２の腹部に装着され、ユーザ２の呼吸を検出するための呼吸センサ１０３と、センサ１０１〜１０３によりそれぞれ検出された結果に対応するアナログ信号をデジタル信号に変換するためのアナログデジタルコンバータ（Ａ／Ｄコンバータ）１０４と、パーソナルコンピュータなどのコンピュータ１１０．ｉと、ユーザ２の動画像を撮影するためのカメラ１０７と、コンピュータ１１０．ｉに接続された表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０．ｉに接続された入力装置としてのキーボード１０６とを含む。サーバ１３０は、コンピュータ１１０．ｉからの通信信号を他のコンピュータ１１０．ｊ（図示せず）に中継する。
【００２２】
なお、ユーザ２の発する音声を取得するためのマイクや、他のユーザから通信で送られてきた音声を出力するためのスピーカが設けられてもよい。
【００２３】
さらに、コンピュータ１１０．ｉに対する入力装置としては、ペンおよびタブレットなどが設けられてもよい。
【００２４】
また、この実施の形態のシステムでは、カメラ１０７としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。
【００２５】
なお、図示しないが、コンピュータ１１０．ｉには、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。
【００２６】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０７からの画像を取り込み、入力装置からの信号やＡ／Ｄコンバータ１０４からの信号を受け取り、またサーバ１３０との間でデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２７】
ここで、ＣＰＵ１１０４は、ＲＯＭ１１０６に格納されているプログラムに基づいて、Ａ／Ｄコンバータ１０４から入力されたセンサ１０１〜１０３からの信号を、インタフェース部１０２を介してサーバ１３０に送信するとともに、サーバ１３０から受信した他のコンピュータ１１０．ｊに対応して設けられているこれらセンサからの信号を、それぞれ後に説明するように、ユーザ２が直感的に認識しやすい画像情報に変換してディスプレイ１０８に表示する。
【００２８】
非言語情報通信装置１００の主要部は、ともに、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００２９】
［通信システムの構成］
図２は、図１に示した非言語情報通信装置１００を用いて、２つのコンピュータ１１０．ｉと１１０．ｊにより、２人のユーザが遠隔通信を行なう構成を説明するためのブロック図である。
【００３０】
図２を参照して、クライエントコンピュータ１１０．ｉと１１０．ｊのそれぞれに対応して、脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とが設けられる。
【００３１】
たとえば、クライエントコンピュータ１１０．ｉを操作するユーザ２の脈拍数、皮膚伝送度、呼吸数などのデータは、リアルタイムにサーバコンピュータ１３０に、ＴＣＰ／ＩＰなどのプロトコルで送信される。サーバ１３０に接続する他のクライエントコンピュータ１１０．ｊは、サーバ１３０からクライエントコンピュータ１１０．ｉを操作するユーザ２の脈拍数、皮膚伝送度、呼吸数などのデータをディスプレイ１０８上に表示する。
【００３２】
全く逆向きに、クライエントコンピュータ１１０．ｊを操作する他方のユーザの脈拍数、皮膚伝送度、呼吸数などのデータも、サーバ１３０を介して、クライエントコンピュータ１１０．ｉに送られ、クライエントコンピュータ１１０．ｉのディスプレイ１０８上に表示される。
【００３３】
なお、サーバ１３０には、他のクライエントコンピュータ１１０．ｍ〜１１０．ｎが接続され、クライエントコンピュータ１１０．ｉ，１１０．ｊ，１１０．ｍ〜１１０．ｎの間で、相互に同様の情報の通信が行なわれてもよい。
【００３４】
（センサ）
図３は、図１に示した、脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とのユーザ２への装着の状態を説明するための図である。
【００３５】
図３（ａ）に示すように、呼吸センサ１０３は、ユーザ２の腹部（または胸部）に装着され、腹部や胸部が呼吸に応じて伸縮することを検出して電気信号に変換する。ＣＰＵ１１０４は、この信号を１分あたりの呼吸数に変換するか、あるいは、リアルタイムに伸縮状態を示す情報（伸縮の大きさの時間変化を示す情報）に変換する。このような呼吸の状態（頻度、大きさ）は、ユーザ２の興奮やリラックスの程度を示す情報となる。
【００３６】
また、図３（ｂ）に示すように、脈拍センサ１０１は、ユーザ２の１つの指、たとえば、親指に装着されて、赤外ＬＥＤ（Light Emitting Diode）の皮膚表面からの反射強度を検出する。皮膚表面からの反射強度は、血流量に依存するので、この反射強度は、ユーザ２の脈拍および血圧を反映した値となる。ＣＰＵ１１０４は、このような反射強度をリアルタイムに、ユーザの興奮状態を表す指標として抽出し、送信する。
【００３７】
また、図３（ｂ）に示すように、皮膚伝導度センサ１０２は、脈拍センサ１０１が装着されるのとは異なる２つの指に装着されて、皮膚の伝導度を検出する。ＣＰＵ１１０４は、このような伝導度を、主としてユーザ２の発汗状態に依存し、ユーザ２の驚きの程度等を表す情報として検出し、送信する。
【００３８】
また、図１に示したＡ／Ｄコンバータ１０４からの信号を受け取って、ＣＰＵ１１０４は、皮膚伝導度の検出データについては、以下に説明するようなフィルタリング処理を行なう。これは、皮膚伝導度については、比較的ゆっくりとその値のベースラインが変動するために、リアルタイムにユーザ２の感情の状態を把握するためには、単なる伝導度の絶対値では不適当なためである。
【００３９】
すなわち、各サンプルデータｘ（ｉ）（ｉはサンプル時刻を示す）について、フィルタ処理されたデータｄ（ｉ）は以下の数式により得られる。
【００４０】
ｄ（ｉ）＝ｘ（ｉ）−Ａ（ｉ）
Ａ（ｉ）＝Ａ（ｉ−１）×０.９９５＋ｘ（ｉ）×０．００５
図４は、このようなフィルタリング処理を行なった後の皮膚伝導度データｄ（ｉ）を示す図である。
【００４１】
データｄ（ｉ）はベースラインの変動を除去した後の各瞬間の皮膚伝導の変化を表している。
【００４２】
図５は、非言語情報通信装置１００を遠隔通信により、漢字教育を行なうシステムに用いた例を示す図である。
【００４３】
図５（ａ）に示すように、ユーザ２は、ペンおよびタブレットを使って、漢字を入力する。
【００４４】
また、図５（ｂ）に示すように、ディスプレイ１０８上には、ユーザ２自身がタブレットに入力した文字と、カメラ１０７により撮影されたユーザ２の画像３１０．ｉと、ユーザ２の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｉと並んで、教師がコンピュータ１１０．ｊにおいてタブレットに入力した文字と、コンピュータ１１０．ｊに対応するカメラ１０７により撮影された教師の画像３１０．ｊと、教師の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｊとが表示されている。
【００４５】
図６は、図５に示したユーザ２の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｉの例を示す図である。
【００４６】
まず、脈拍を示す情報（図６中ＢＶＰで示す円）３０２は、ユーザ２について脈拍センサ１０１により得られた信号を正規化して、その強度に比例してリアルタイムにその半径が変化する円として表示される。
【００４７】
また、呼吸を示す情報（図６中Ｒで示す矩形）３０４は、ユーザ２について呼吸センサ１０３により得られた信号を正規化して、その伸縮の大きさに比例してリアルタイムにその高さが変化する棒グラフとして表示される。
【００４８】
さらに、皮膚伝導度を示す情報（図６中ＳＣで示す円の集合）３０６は、ユーザ２について皮膚伝導度センサ１０２により得られた信号を正規化して、その強度に比例してリアルタイムにその半径および個数が変化する円の集合として表示される。すなわち、皮膚伝導度が高いほど、表示される個々の円の半径は大きくなる。ただし、すべての円の大きさは同じではなく、たとえば、皮膚伝導度の強度に対応する値の周りで所定の標準偏差で正規分布するような大きさの分布を持っているものとする。また、皮膚伝導度が高いほど、表示される円の個数は多くなるようにする。なお、ＳＣの矩形の表示領域内で個々の円が表示される位置は、ランダムに定められるものとする。
【００４９】
なお、以上の説明では、生体情報を図形データに変換して表示する例について説明したが、相手の生体情報を直感的に把握できるのであれば、このような図形情報だけでなく、音声情報などももちいることもできる。たとえば、呼吸、脈拍に関しては、受信側のスピーカから、送信側から送られてきた相手方の呼吸数、脈拍数に応じた周波数の音をＣＰＵ１１０４が合成して発生させて、出力することも可能である。このような音声は、呼吸と脈拍について異なる周波数帯域を割り当てて、同時に出力させてもよいし、さらに、聞き取りやすくするために時分割的に出力させてもよい。さらには、送信側のマイクロフォンで、呼吸や心臓の鼓動などの音声を取得して、この音声を直接送信して、受信側のスピーカで再生させてもよい。
【００５０】
また、以上の説明では、脈拍、呼吸、発汗を例示したが、これらの組合せのいずれか、また、これらのうちの１つなど、生態情報の少なくとも１つの通信を行えばよい。
【００５１】
以上のような表示により、遠隔地にいる他のユーザの感情の状態を、直感的な表示により知ることができる。このため、この非言語情報通信装置１００を教育システムに利用すれば、教師は生徒の心理状態に依存する情報を、生徒は教師の心理状態に依存する情報を直感的に感じながら学習することができ、より対面して教育を行なっているのに近い状態を擬似的に作り出すことができる。
【００５２】
なお、以上の説明では、非言語情報通信装置１００は、送信側および受信側が同じ構成を有するものとして説明したが、本発明はこのような場合に限定されるものではない。
【００５３】
すなわち、この非言語情報通信装置１００を教育用に使用する場合を例にとると、生徒側の通信装置については、自身の入力および生体情報を送信し、教師側からの入力を表示する機能を有していればよく、教師側の通信装置では、自身の入力を送信し、生徒側の入力および生徒側の生体情報を表示する機能を少なくとも有していればよい。
【００５４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００５５】
【図１】非言語情報通信装置１００の構成を示す概略ブロック図である。
【図２】図１に示した非言語情報通信装置１００を用いて２人のユーザが遠隔通信を行なう構成を説明するためのブロック図である。
【図３】図１に示した、脈拍センサ１０１と、皮膚伝導度センサ１０２と、呼吸センサ１０３とのユーザ２への装着の状態を説明するための図である。
【図４】フィルタリング処理を行なった後の皮膚伝導度データｄ（ｉ）を示す図である。
【図５】非言語情報通信装置１００を遠隔通信により、漢字教育を行なうシステムに用いた例を示す図である。
【図６】図５に示したユーザ２の脈拍、呼吸、皮膚伝導度を示す情報表示３００．ｉの例を示す図である。
【符号の説明】
【００５６】
２ ユーザ、１００ 非言語情報通信装置、１０１ 脈拍センサ、１０２ 皮膚伝導度センサ、１０３ 呼吸センサ、１０４ Ａ／Ｄコンバータ、１０６ キーボード、１０７ カメラ、１０８ ディスプレイ、１１０．ｉ，１１０．ｊ コンピュータ、１３０ サーバ。
【特許請求の範囲】
【請求項１】
非言語情報通信装置であって、
前記非言語情報通信装置を操作する第１のユーザの第１の生体情報をリアルタイムに獲得するセンサ手段と、
前記第１のユーザからの第１の入力情報を受ける入力手段と、
前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記他の非言語情報通信装置が獲得した前記第２のユーザの第２の生体情報を受ける通信手段と、
前記第２の生体情報を出力データに変換するための変換手段と、
前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える、非言語情報通信装置。
【請求項２】
前記変換手段は、前記第２の生体情報を図形表示に変換し、
前記出力手段は、変換された前記図形表示を出力する、請求項１記載の非言語情報通信装置。
【請求項３】
前記センサ手段は、血流量を検出する脈拍センサを含み、
前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの脈拍情報を、前記血流量に比例する半径の円に変換する、請求項２記載の非言語情報通信装置。
【請求項４】
前記センサ手段は、呼吸に応じた身体の伸縮の大きさを検出する呼吸センサを含み、
前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの呼吸情報を、前記身体の伸縮の大きさに比例する高さの棒グラフに変換する、請求項２記載の非言語情報通信装置。
【請求項５】
前記センサ手段は、皮膚伝導度を検出する皮膚伝導度センサを含み、
前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの皮膚伝導度情報を、前記皮膚伝導度の大きさに比例する半径を各々有し、前記皮膚伝導度の大きさに比例する個数の複数の円の集合に変換する、請求項２記載の非言語情報通信装置。
【請求項６】
非言語情報通信装置であって、
前記非言語情報通信装置を操作する第１のユーザの生体情報をリアルタイムに獲得するセンサ手段と、
前記第１のユーザからの入力情報を受ける入力手段と、
前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが操作する他の情報通信装置から送信される送信情報を受ける通信手段と、
前記送信情報を出力するための出力手段とを備える、非言語情報通信装置。
【請求項７】
非言語情報通信装置であって、
前記非言語情報通信装置の第１のユーザからの第１の入力情報を受ける入力手段と、
前記第１の入力情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記第２のユーザの生体情報をリアルタイムに獲得するための前記他の非言語情報通信装置のセンサ手段が獲得した前記生体情報を受ける通信手段と、
前記生体情報を出力データに変換するための変換手段と、
前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える、非言語情報通信装置。
【請求項８】
前記変換手段は、前記第２の生体情報を図形表示に変換し、
前記出力手段は、変換された前記図形表示を出力する、請求項７記載の非言語情報通信装置。
【請求項１】
非言語情報通信装置であって、
前記非言語情報通信装置を操作する第１のユーザの第１の生体情報をリアルタイムに獲得するセンサ手段と、
前記第１のユーザからの第１の入力情報を受ける入力手段と、
前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記他の非言語情報通信装置が獲得した前記第２のユーザの第２の生体情報を受ける通信手段と、
前記第２の生体情報を出力データに変換するための変換手段と、
前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える、非言語情報通信装置。
【請求項２】
前記変換手段は、前記第２の生体情報を図形表示に変換し、
前記出力手段は、変換された前記図形表示を出力する、請求項１記載の非言語情報通信装置。
【請求項３】
前記センサ手段は、血流量を検出する脈拍センサを含み、
前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの脈拍情報を、前記血流量に比例する半径の円に変換する、請求項２記載の非言語情報通信装置。
【請求項４】
前記センサ手段は、呼吸に応じた身体の伸縮の大きさを検出する呼吸センサを含み、
前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの呼吸情報を、前記身体の伸縮の大きさに比例する高さの棒グラフに変換する、請求項２記載の非言語情報通信装置。
【請求項５】
前記センサ手段は、皮膚伝導度を検出する皮膚伝導度センサを含み、
前記変換手段は、前記他の非言語情報通信装置が獲得した前記第２のユーザの皮膚伝導度情報を、前記皮膚伝導度の大きさに比例する半径を各々有し、前記皮膚伝導度の大きさに比例する個数の複数の円の集合に変換する、請求項２記載の非言語情報通信装置。
【請求項６】
非言語情報通信装置であって、
前記非言語情報通信装置を操作する第１のユーザの生体情報をリアルタイムに獲得するセンサ手段と、
前記第１のユーザからの入力情報を受ける入力手段と、
前記第１の入力情報および前記第１の生体情報を送出し、第２のユーザが操作する他の情報通信装置から送信される送信情報を受ける通信手段と、
前記送信情報を出力するための出力手段とを備える、非言語情報通信装置。
【請求項７】
非言語情報通信装置であって、
前記非言語情報通信装置の第１のユーザからの第１の入力情報を受ける入力手段と、
前記第１の入力情報を送出し、第２のユーザが他の非言語情報通信装置に入力した第２の入力情報および前記第２のユーザの生体情報をリアルタイムに獲得するための前記他の非言語情報通信装置のセンサ手段が獲得した前記生体情報を受ける通信手段と、
前記生体情報を出力データに変換するための変換手段と、
前記第２の入力情報および変換された前記出力データを出力するための出力手段とを備える、非言語情報通信装置。
【請求項８】
前記変換手段は、前記第２の生体情報を図形表示に変換し、
前記出力手段は、変換された前記図形表示を出力する、請求項７記載の非言語情報通信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−６５６５７（Ｐ２００６−６５６５７Ａ）
【公開日】平成１８年３月９日（２００６．３．９）
【国際特許分類】
【出願番号】特願２００４−２４８７４７（Ｐ２００４−２４８７４７）
【出願日】平成１６年８月２７日（２００４．８．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１８年３月９日（２００６．３．９）
【国際特許分類】
【出願日】平成１６年８月２７日（２００４．８．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]