説明

通信装置および通信サーバ

【課題】アバタ画像等を用い通信において、通信装置ユーザが自分の感情を通信相手に不快感を与えずに直感的に表現できること。
【解決手段】 通信装置100において、受信部101は、通信相手の映像を受信し、入力部102は、通信装置100のユーザが受信映像により示された通信相手に対する感情を入力するためのものであり、例えば加速度の方向および大きさを検出する加速度センサにより構成され、設定部103は、入力部102に入力された、通信装置100のユーザの通信相手に対する感情に対応させて感情データを設定し、変換部104は、感情データに従って通信相手の映像を変換し、出力部105は、受信部101により受信された映像および変換部104により変換された映像を出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信装置および通信サーバに関する。
【背景技術】
【0002】
通信装置ユーザが仮想空間においてアバタ画像を用いてチャットなどを行う場合、通信装置ユーザは予め用意された複数種類の感情設定ボタンのいずれかを選択することによりアバタの表情等を変化させて、自分の感情を通信相手に伝える従来技術がある。この従来技術によって、通信装置ユーザは、自分の感情に合わせてアバタ画像を変化させることにより、通信相手に自分の感情を表現することができる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−190034号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術では、通信装置ユーザの感情が通信相手にそのまま伝わってしまうため、通信相手に不快感を与えてしまうおそれがあった。
【0005】
本発明の目的は、アバタ画像等を用い通信において、通信装置ユーザが自分の感情を通信相手に不快感を与えずに直感的に表現できるようにすることである。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る通信装置は、通信相手の映像または音声を受信する受信手段と、前記通信相手に対する感情を入力するための入力手段と、前記感情に対応する感情データを設定する設定手段と、前記感情データに従い、前記映像または前記音声を変換する変換手段と、を具備する。
【0007】
本発明の第2の態様に係る通信装置は、複数の通信相手の映像または音声を受信する受信手段と、前記複数の通信相手のうち感情を表したい通信相手を指定するための指定手段と、指定された通信相手に対する感情を入力するための入力手段と、前記感情に対応する感情データを設定する設定手段と、指定された通信相手を示す通信相手情報および指定された通信相手に対する前記感情データを通信サーバに送信する送信手段と、を具備する。
【0008】
本発明の第3の態様に係る通信装置は、複数の通信相手の映像または音声を受信する受信手段と、前記複数の通信相手のいずれかに対する感情を入力するための入力手段と、前記感情に対応する感情データを設定する設定手段と、前記複数の通信相手のいずれかに対する前記感情データを通信サーバに送信する送信手段と、を具備する。
【0009】
本発明の第4の態様に係る通信サーバは、通信装置から前記通信相手情報および前記感情データを受信する受信手段と、前記感情データに従い、前記複数の通信相手のうち前記通信相手情報に示された通信相手の映像または音声を変換する変換手段と、変換された映像または音声を前記複数の通信相手のうち前記通信相手情報に示された通信相手以外の通信相手へ送信する送信手段と、を具備する。
【0010】
本発明の第5の態様に係る通信サーバは、通信装置から前記感情データを受信する受信手段と、前記感情データの対象となる通信相手を特定する特定手段と、前記感情データに従い、前記複数の通信相手のうち特定された通信相手の映像または音声を変換する変換手段と、変換された映像または音声を前記複数の通信相手のうち特定された通信相手以外の通信相手へ送信する送信手段と、を具備する。
【発明の効果】
【0011】
本発明によれば、アバタ画像等を用い通信において、通信装置ユーザが自分の感情を通信相手に不快感を与えずに直感的に表現できる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態1に係る通信装置の構成図
【図2】本発明の実施の形態1に係る入力部の動作概念図
【図3】本発明の実施の形態1に係るテーブルを示す図(例1)
【図4】本発明の実施の形態1に係る通信装置の動作イメージを示す図
【図5】本発明の実施の形態1に係るテーブルを示す図(例2)
【図6】本発明の実施の形態2に係る通信システムの構成図
【図7】本発明の実施の形態2に係る通信装置の構成図
【図8】本発明の実施の形態2における通信サーバの構成図
【図9】本発明の実施の形態3に係る通信装置の構成図
【図10】本発明の実施の形態3に係る通信サーバの構成図
【発明を実施するための形態】
【0013】
以下、本発明を実施するため形態について、図面を参照しながら説明する。
【0014】
(実施の形態1)
図1は、本実施の形態に係る通信装置100の構成図である。
【0015】
通信装置100において、受信部101は、通信相手の映像を受信する。例えば、通信装置100がネットワークを介したテレビ電話通信を行う場合、受信部101は、通信相手の通信装置から送信される通信相手のアバタ画像を受信する。受信部101は、受信した通信相手の映像を出力部105および変換部104に出力する。
【0016】
入力部102は、通信装置100のユーザが受信映像により示された通信相手に対する感情を入力するためのものであり、例えば加速度の方向および大きさを検出する加速度センサにより構成される。入力部102は、図2に示すように、通信装置100にかかるX軸,Y軸,Z軸の3方向の加速度を検出することができる。
【0017】
設定部103は、入力部102に入力された、通信装置100のユーザの通信相手に対する感情に対応させて、感情データを設定する。設定部103は、図3に示すような、通信装置100のユーザの感情を示す加速度の方向および大きさと、感情データとが対応付けて設定されているテーブルを参照して感情データを設定する。設定部103は、設定した感情データを変換部104に出力する。
【0018】
変換部104は、感情データに従って、通信相手の映像を変換する。変換部104は、図3に示すテーブルを参照し、感情データに従って映像を変換する。変換部104は、変換した映像を出力部105に送る。
【0019】
出力部105は、受信部101により受信された映像および変換部104により変換された映像を出力する。本実施の形態では、例えば、出力部105は、映像を表示するディスプレーにより構成される。
【0020】
次に、通信装置100の動作について図4を用いて説明する。
【0021】
図4に示すように、通信装置100は、通信相手から送信された映像201を通信網を介して受信する。
【0022】
このとき、例えば、通信装置100のユーザが通信相手に対して「怒り」の感情を表す場合、通信装置100のユーザは、通信装置100をY軸方向に小さな力で叩くこととする。また、通信装置100のユーザが通信相手に対して「悲しみ」の感情を表す場合、通信装置100のユーザは、通信装置100をZ軸方向に小さな力で叩く。また、通信装置100のユーザが通信相手に対して「同意」の感情を表す場合、通信装置100のユーザは、通信装置100をZ軸方向に大きな力で叩く。また、通信装置100のユーザが通信相手に対して「反対」の感情を表す場合、通信装置100のユーザは、通信装置100をX軸方向に大きな力で叩く。このときの加速度の方向および大きさを入力部102が検出し、検出結果を設定部103に出力する。
【0023】
設定部103は、入力部102によって検出された加速度の方向および大きさに応じて図3に示すテーブルを参照して感情データを設定する。そして、変換部104は、感情データに従って図3に示すテーブルを参照して通信相手の映像を変換する。
【0024】
例えば、加速度の方向が「Y軸」で、その大きさが「小」であった場合、設定部103は感情データ:「怒り」を設定する。そして、変換部104は、その感情データに従って、映像201において鼻の周囲の画像を拡大するとともに、鼻息の画像および怒りを示すマークを合成することにより、映像201を怒りの表情の映像206に変換する。
【0025】
また、加速度の方向が「Z軸」で、その大きさが「小」であった場合、設定部103は感情データ:「悲しみ」を設定する。そして、変換部104は、その感情データに従って、映像201において目の下に涙の画像を合成することにより、映像201を泣いている表情の映像204に変換する。
【0026】
また、加速度の方向が「Z軸」で、その大きさが「大」であった場合、設定部103は感情データ:「同意」を設定する。そして、変換部104は、その感情データに従って、映像201において口の位置に笑っている口の画像を合成することにより、映像201を笑っている表情の映像205に変換する。
【0027】
また、加速度の方向が「X軸」で、その大きさが「大」であった場合、設定部103は感情データ:「反対」を設定する。そして、変換部104は、その感情データに従って、映像201において目の周囲の一定範囲の画像を拡大するとともに、口の周囲の一定範囲の画像を縮小し、さらに、あらかじめ用意した汗の画像を合成することにより、映像201を驚いたような表情の映像203に変換する。
【0028】
なお、上記説明では通信装置100のユーザが通信装置100を叩くときに入力部102によって検出される加速度の方向および大きさに応じて設定部103が感情データを設定した。しかし、入力部102が、加速度の大きさに代えて叩くパターンを検出し、設定部103が、図5に示すテーブルを参照して、加速度の方向および叩くパターンに応じて感情データを設定してもよい。
【0029】
すなわち、例えば、加速度の方向が「Y軸」で、所定時間の叩いた回数が「1回」であった場合、設定部103は感情データ:「怒り」を設定する。また、加速度の方向が「Z軸」で、所定時間の叩いた回数が「1回」であった場合、設定部103は感情データ:「悲しみ」を設定する。また、加速度の方向が「Z軸」で、所定時間の叩いた回数が「複数回連続」であった場合、設定部103は感情データ:「同意」を設定する。また、加速度の方向が「X軸」で、所定時間の叩いた回数が「複数回連続」であった場合、設定部103は感情データ:「反対」を設定する。
【0030】
このように、本実施の形態によれば、アバタ画像等を用い通信において、通信装置ユーザの感情に応じて変換された通信相手の映像がその通信相手に送信されないため、通信装置ユーザが自分の感情を通信相手に不快感を与えずに直感的に表現することができる。
【0031】
(実施の形態2)
図6は、本実施の形態に係る通信システムの構成図である。図6に示すように、本実施の形態に係る通信システムは、通信サーバ400と、例えば通信装置300A〜300Cの複数の通信装置とから構成され、通信装置300A〜300Cが互いに通信サーバ400を介して通信を行う。すなわち、通信装置300A〜300Cが、各々のユーザの映像(例えば、各々のユーザのアバタ画像)を通信サーバ400に送信し、通信サーバ400が、受信した映像を通信装置300A〜300Cに配信する。
【0032】
図7は、本実施の形態に係る通信装置300の構成図である。図6に示す通信装置300A〜300Cはすべて図7に示す構成を採る。
【0033】
通信装置300において、受信部301は、通信サーバ400から複数の通信相手の映像を受信する。例えば、図6に示す通信装置300Aがネットワークを介したテレビ電話通信を通信装置300B,300Cと行う場合、通信装置300Aの受信部301は、通信相手の通信装置300B,300Cから通信サーバ400を介して送信される2人の通信相手のアバタ画像を受信する。また、受信部301は、複数の通信相手の映像のうち通信サーバ400によって変換された映像を受信する。受信部301は、受信した映像を出力部302に出力する。
【0034】
出力部302は、受信部301により受信された映像を出力する。本実施の形態では、例えば、出力部302は、映像を表示するディスプレーにより構成される。
【0035】
入力部303は、通信装置300のユーザが受信映像により示された複数の通信相手のうちいずれかの通信相手に対する感情を入力するためのものであり、実施の形態1の入力部102と同様、例えば加速度の方向および大きさを検出する加速度センサにより構成され、図2に示すように、通信装置300にかかるX軸,Y軸,Z軸の3方向の加速度を検出することができる。
【0036】
設定部304は、入力部303に入力された、通信装置300のユーザの通信相手に対する感情に対応させて、感情データを設定する。設定部304は、実施の形態1の設定部304と同様、図3に示すような、通信装置300のユーザの感情を示す加速度の方向および大きさと、感情データとが対応付けて設定されているテーブルを参照して感情データを設定する。設定部304は、設定した感情データを送信部306に出力する。
【0037】
なお、本実施の形態においても、実施の形態1同様、入力部303が、加速度の大きさに代えて叩くパターンを検出し、設定部304が、図5に示すテーブルを参照して、加速度の方向および叩くパターンに応じて感情データを設定してもよい。
【0038】
通信相手指定部305は、通信装置300のユーザが受信映像により示された複数の通信相手のうち感情を表したい通信相手を指定するためのものであり、例えば十字キーやテンキー等により構成される。通信装置300のユーザは、例えば十字キーやテンキー等を操作することにより感情を表したい通信相手を指定する。通信相手指定部305は、指定された通信相手を示す通信相手情報を送信部306に出力する。
【0039】
送信部306は、通信相手指定部305から入力される通信相手情報、および、設定部304から入力される感情データ(すなわち、通信相手指定部305により指定された通信相手に対する感情データ)を通信サーバ400に送信する。また、送信部306は、通信装置300のユーザの映像を通信サーバ400に送信する。
【0040】
図8は、本実施の形態に係る通信サーバ400の構成図である。以下、通信サーバ400が図6に示す通信装置300A〜300Cと通信する場合を例に挙げて説明する。
【0041】
通信サーバ400において、受信部401は、通信装置300A〜300Cの各々のユーザの映像(例えば、各々のユーザのアバタ画像)を通信装置300A〜300Cの各々から受信する。そして、受信部401は、受信した映像を変換部402および送信部403に出力する。また、受信部401は、通信装置300A〜300Cの各々から送信された通信相手情報および感情データを受信し、それらを変換部402に出力するとともに、通信相手情報を送信部403に出力する。
【0042】
変換部402は、感情データに従って、通信相手情報に示された通信相手の映像を変換する。変換部402は、実施の形態1の変換部104と同様、図3または図5に示すテーブルを参照し、感情データに従って映像を変換する。変換部402は、変換した映像を送信部403に送る。
【0043】
送信部403は、通信装置300A〜300Cの各々のユーザの映像を通信装置300A〜300Cの各々へ送信する。また、送信部403は、変換部402により変換された映像を、通信装置300A〜300Cのうち通信相手情報に示された通信相手以外の通信装置へ送信する。
【0044】
ここで、図6に示す通信システムにおいて、例えば通信装置300Aのユーザが通信装置300Cのユーザに対して「怒り」の感情を表す場合、通信装置300Aの送信部306は、通信装置300Cを示す通信相手情報と感情データ:「怒り」とを通信サーバ400へ送信する。
【0045】
通信サーバ400の変換部402は、感情データ:「怒り」に従って、通信相手情報に示された通信装置300Cのユーザの映像において鼻の周囲の画像を拡大するとともに、鼻息の画像および怒りを示すマークを合成することにより、通信装置300Cのユーザの映像を驚いたような表情の映像に変換する。
【0046】
そして、通信サーバ400の送信部403は、通信装置300Cのユーザの変換後の映像を、通信装置300Cには送信せずに、通信装置300Aおよび300Bのみに送信する。よって、通信装置300Cのユーザの映像において、通信装置300Aおよび300Bの出力部302には変換後の映像が新たに表示される一方で、通信装置300Cの出力部302には変換前の映像が引き続き表示される。
【0047】
このように、本実施の形態によれば、アバタ画像等を用い通信において、通信装置ユーザの感情に応じて変換された通信相手の映像がその通信相手に送信されないため、通信装置ユーザが自分の感情を通信相手に不快感を与えずに直感的に表現することができる。
【0048】
(実施の形態3)
図9は本実施の形態に係る通信装置500の構成図であり、図10は本実施の形態に係る通信サーバ600の構成図である。なお、本実施の形態に係る通信システムは、実施の形態2(図6)と同様、通信サーバ600と、例えば通信装置500A〜500Cの複数の通信装置とから構成され、通信装置500A〜500Cが互いに通信サーバ600を介して通信を行う。また、通信装置500A〜500Cはすべて図9に示す構成を採る。
【0049】
通信装置500において、受信部501は、通信サーバ600から複数の通信相手の映像を受信する。例えば、通信装置500Aがネットワークを介したテレビ電話通信を通信装置500B,500Cと行う場合、通信装置500Aの受信部501は、通信相手の通信装置500B,500Cから通信サーバ600を介して送信される2人の通信相手のアバタ画像を受信する。また、受信部501は、受信した通信相手の映像を出力部502に出力する。
【0050】
出力部502は、受信部501により受信された映像を出力する。本実施の形態では、例えば、出力部502は、映像を表示するディスプレーにより構成される。
【0051】
入力部503は、通信装置500のユーザが受信映像により示された複数の通信相手のうちいずれかの通信相手に対する感情を入力するためのものであり、実施の形態1の入力部102と同様、例えば加速度の方向および大きさを検出する加速度センサにより構成され、図2に示すように、通信装置500にかかるX軸,Y軸,Z軸の3方向の加速度を検出することができる。
【0052】
設定部504は、入力部503に入力された、通信装置500のユーザの通信相手に対する感情に対応させて、感情データを設定する。設定部504は、実施の形態1の設定部103と同様、図3に示すような、通信装置500のユーザの感情を示す加速度の方向および大きさと、感情データとが対応付けて設定されているテーブルを参照して感情データを設定する。設定部504は、設定した感情データを送信部505に出力する。
【0053】
なお、本実施の形態においても、実施の形態1同様、入力部503が、加速度の大きさに代えて叩くパターンを検出し、設定部504が、図5に示すテーブルを参照して、加速度の方向および叩くパターンに応じて感情データを設定してもよい。
【0054】
送信部505は、設定部504から入力される感情データを通信サーバ600に送信する。また、送信部505は、通信装置500のユーザの映像を通信サーバ600に送信する。
【0055】
以下、通信サーバ600が通信装置500A〜500Cと通信する場合を例に挙げて説明する。
【0056】
通信サーバ600において、受信部601は、通信装置500A〜500Cの各々のユーザの映像(例えば、各々のユーザのアバタ画像)を通信装置500A〜500Cの各々から受信する。そして、受信部601は、受信した映像を変換部602および送信部603に出力する。また、受信部601は、通信装置500A〜500Cの各々から送信された感情データを受信して変換部602に出力する。
【0057】
特定部604は、受信された映像または通信装置500A〜500Cへの入力音声を解析して感情データの対象となる通信相手を特定する。例えば、特定部604は、通信装置500A〜500Cへ入力される各ユーザの声の大きさ(音量)を検出し、通信中の現在の音量が所定の閾値以上のユーザを現在の発言者、すなわち、感情データの対象となる通信相手として特定する。特定部604は、特定した通信相手を示す通信相手情報を変換部602および送信部603に出力する。
【0058】
変換部602は、感情データに従って、通信相手情報に示された通信相手の映像を変換する。変換部602は、実施の形態1の変換部104と同様、図3または図5に示すテーブルを参照し、感情データに従って映像を変換する。変換部602は、変換した映像を送信部603に送る。
【0059】
送信部603は、通信装置500A〜500Cの各々のユーザの映像を通信装置500A〜500Cの各々へ送信する。また、送信部603は、変換部602により変換された映像を、通信装置500A〜500Cのうち通信相手情報に示された通信相手以外の通信装置へ送信する。
【0060】
ここで、例えば通信装置500Aのユーザが通信装置500Cのユーザに対して「怒り」の感情を表す場合、通信装置500Cのユーザの発言中に通信装置500Aの送信部505は、感情データ:「怒り」を通信サーバ600へ送信する。
【0061】
通信サーバ600の特定部604は、通信中の現在の音量が所定の閾値以上となる通信装置500Cのユーザを現在の発言者、すなわち、感情データの対象となる通信相手として特定し、通信装置500Cを示す通信相手情報を変換部602および送信部603に出力する。
【0062】
通信サーバ600の変換部602は、感情データ:「怒り」に従って、通信相手情報に示された通信装置500Cのユーザの映像において鼻の周囲の画像を拡大するとともに、鼻息の画像および怒りを示すマークを合成することにより、通信装置500Cのユーザの映像を驚いたような表情の映像に変換する。
【0063】
そして、通信サーバ600の送信部603は、通信装置500Cのユーザの変換後の映像を、通信装置500Cには送信せずに、通信装置500Aおよび500Bのみに送信する。よって、通信装置500Cのユーザの映像において、通信装置500Aおよび500Bの出力部502には変換後の映像が新たに表示される一方で、通信装置500Cの出力部502には変換前の映像が引き続き表示される。
【0064】
このように、本実施の形態によれば、通信サーバが受信映像または各通信装置への入力音声を解析して感情データの対象となる通信相手を特定するため、各通信装置のユーザは、感情を表したい通信相手を指定する手間が省ける。
【0065】
以上、本発明の実施の形態について説明した。
【0066】
なお、実施の形態1〜3においては感情データに従って通信装置のユーザの映像を変換していたが、本発明では、感情データに従って通信装置のユーザの音声を変換しても良い。例えば、変換部104,402,602は、「怒り」の感情データが入力された場合は音声の波形を歪ませて音声を震わせ、「悲しみ」の感情データが入力された場合は音声の高さを2オクターブ上げ、「同意」の感情データが入力された場合は音声にエコーをかけて音声を響かせ、「反対」の感情データが入力された場合は音声の速度を下げてゆっくりした低い音声にする等する。
【産業上の利用可能性】
【0067】
本発明は、チャットなどが行われる通信システムに有用である。
【符号の説明】
【0068】
100,300,500 通信装置
101,301,401,501,601 受信部
102,303,503 入力部
103,304,504 設定部
104,402,602 変換部
105,302,502 出力部
305 通信相手指定部
306,403,505,603 送信部
400,600 通信サーバ
604 特定部

【特許請求の範囲】
【請求項1】
通信相手の映像または音声を受信する受信手段と、
前記通信相手に対する感情を入力するための入力手段と、
前記感情に対応する感情データを設定する設定手段と、
前記感情データに従い、前記映像または前記音声を変換する変換手段と、
を具備する通信装置。
【請求項2】
複数の通信相手の映像または音声を受信する受信手段と、
前記複数の通信相手のうち感情を表したい通信相手を指定するための指定手段と、
指定された通信相手に対する感情を入力するための入力手段と、
前記感情に対応する感情データを設定する設定手段と、
指定された通信相手を示す通信相手情報および指定された通信相手に対する前記感情データを通信サーバに送信する送信手段と、
を具備する通信装置。
【請求項3】
複数の通信相手の映像または音声を受信する受信手段と、
前記複数の通信相手のいずれかに対する感情を入力するための入力手段と、
前記感情に対応する感情データを設定する設定手段と、
前記複数の通信相手のいずれかに対する前記感情データを通信サーバに送信する送信手段と、
を具備する通信装置。
【請求項4】
前記入力手段が、加速度センサーである、
請求項1から3のいずれかに記載の通信装置。
【請求項5】
請求項2記載の通信装置から前記通信相手情報および前記感情データを受信する受信手段と、
前記感情データに従い、前記複数の通信相手のうち前記通信相手情報に示された通信相手の映像または音声を変換する変換手段と、
変換された映像または音声を前記複数の通信相手のうち前記通信相手情報に示された通信相手以外の通信相手へ送信する送信手段と、
を具備する通信サーバ。
【請求項6】
請求項3記載の通信装置から前記感情データを受信する受信手段と、
前記感情データの対象となる通信相手を特定する特定手段と、
前記感情データに従い、前記複数の通信相手のうち特定された通信相手の映像または音声を変換する変換手段と、
変換された映像または音声を前記複数の通信相手のうち特定された通信相手以外の通信相手へ送信する送信手段と、
を具備する通信サーバ。
【請求項7】
前記特定手段は、受信された映像または音声を解析して前記感情データの対象となる通信相手を特定する、
請求項6記載の通信サーバ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−147070(P2011−147070A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−8148(P2010−8148)
【出願日】平成22年1月18日(2010.1.18)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】