テレビ電話端末
【課題】ユーザの感情や印象を相手に分かりやすく伝えることのできるテレビ電話端末を提供すること。
【解決手段】キーボード１１５を用いてユーザが所定の操作を行ったり、音声処理部１０９が自分の発した音声の中から所定のキーワードを認識すると、仮想キャラに変化を加えた映像または全く別の映像とする。仮想キャラに変化を加えるとは、例えば、仮想キャラの顔を構成する各部位または顔全体の大きさを変えたり、仮想キャラの目に縦線を入れたり頬を赤らめるといった感情を表現する模様を追加することである。また、保留モードを解除した際、メロディの再生と共に仮想キャラが画面に復帰する。さらに、仮想キャラを利用したテレビ電話による会話を終了する際に、ユーザによるキーボード１１５のボタン選択に応じて、仮想キャラが画面から消えていく所定の映像を最後に表示して回線を切断する。
【解決手段】キーボード１１５を用いてユーザが所定の操作を行ったり、音声処理部１０９が自分の発した音声の中から所定のキーワードを認識すると、仮想キャラに変化を加えた映像または全く別の映像とする。仮想キャラに変化を加えるとは、例えば、仮想キャラの顔を構成する各部位または顔全体の大きさを変えたり、仮想キャラの目に縦線を入れたり頬を赤らめるといった感情を表現する模様を追加することである。また、保留モードを解除した際、メロディの再生と共に仮想キャラが画面に復帰する。さらに、仮想キャラを利用したテレビ電話による会話を終了する際に、ユーザによるキーボード１１５のボタン選択に応じて、仮想キャラが画面から消えていく所定の映像を最後に表示して回線を切断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの感情や印象を相手に分かりやすく伝えることのできるテレビ電話端末に関する。
【背景技術】
【０００２】
複数のテレビ電話端末およびネットワーク等から構成されるテレビ電話システムでは、各テレビ電話端末で撮影された映像が音声と共にネットワークを介して相手端末に送られる。このため、離れた場所にいる相手とでも顔を見ながら会話することができる。相手の顔を見ながら会話することができれば、声のトーンだけでなく相手の表情を視覚的に確認することができるため、よりリアルな高いレベルのコミュニケーションをとることができるといったメリットがある。
【０００３】
しかし、ユーザによっては自分自身を撮影した映像がそのまま相手端末に送られるのを好まない者もいる。さらに、自分または相手が撮影した映像を見ながら会話していても面白みがないと感じるユーザもいる。このため、ユーザの顔を撮影した画像から眉、目、鼻、口等の各部位の特徴点を抽出して、当該特徴点からユーザの顔に似せた仮想のキャラクター（以下、「仮想キャラ」という。）を生成し、この仮想キャラの映像を自分の分身として相手端末に送る技術が考えられている。
【０００４】
当該技術では、まず、ユーザの顔を撮影した画像（以下「顔画像」という。）のどの領域が顔かを認識した後、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に似せた仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に似せた仮想キャラを生成する。図２は、ユーザの顔に似せた仮想キャラを示す説明図である。
【０００５】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。こうすることで、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きと連携するため、ユーザの表情の変化に合わせて仮想キャラの表情も同様に変化することとなる。なお、仮想キャラをユーザの顔に似させることなく、全く別のキャラクターにユーザの顔画像における各特徴点の動きを反映させることで、ユーザの表情の変化に合わせて仮想キャラの表情を変化させることもできる。
【０００６】
さらに、顔を形成する部位の全てが顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができる。このため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映することができる。
【０００７】
【特許文献１】特表２００２−５１１６１７号公報
【特許文献２】特表２００２−５１１６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、上記従来の技術では、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きに連携しているため、仮想キャラの表情はユーザの表情に合わせて変化する。さらに、ユーザの頭部の動きが仮想キャラに反映されるため、ユーザが頷いたり、首をかしげたり、頭を振ると、仮想キャラも同様の動きをする。
【０００９】
しかし、当該従来の技術は、ユーザの表情の変化および頭部の動きをそのまま仮想キャラに反映させるだけであるため、音声を除いて、上述したような仮想キャラの表情および動きだけでは表すことのできない感情または印象を表現することはできない。しかし、ユーザの感情または印象を相手に分かりやすく伝えるためには、ユーザの表情の変化をそのまま仮想キャラの表情に反映させるよりも、表情等の変化を強調したりマーク等で表した方がより伝わりやすいと考えられる。また、この方が仮想キャラの表情や動きに面白みが加わるため、エンターテイメント性の点でも勝ると考えられる。
【００１０】
本発明は、上記従来の要望に鑑みてなされたものであって、ユーザの感情や印象を相手に分かりやすく伝えることのできるテレビ電話端末を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係るテレビ電話端末は、人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）を含む映像および音声によって、ネットワークを介して他の端末と通信を行うテレビ電話端末であって、前記他の端末との通信を終了する際に所定操作が行われると、回線を切断する前に、前記仮想キャラが画面から消えていく映像を前記他の端末に送信する。
【００１２】
また、本発明に係るテレビ電話端末では、第１の所定操作が行われたときの映像と第２の所定操作が行われたときの映像とは異なる。
【発明の効果】
【００１３】
以上説明したように、本発明に係るテレビ電話端末によれば、ユーザの感情や印象を相手に分かりやすく伝えることができる。特に、映像の内容によってユーザが持った会話の印象を相手に伝えることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係るテレビ電話端末の実施の形態について、図面を参照して説明する。
【００１５】
本実施形態のテレビ電話端末は、動画または静止画（以下、まとめて「映像」という。）を撮影可能なカメラを備えた携帯電話やＰＨＳ、ＰＤＡ等の通信端末であり、ネットワークを介して別のテレビ電話端末と映像および音声を送受信することによりテレビ電話として用いることができる。但し、テレビ電話中にテレビ電話端末間で送受信される映像は、カメラで撮影した映像の他、カメラで撮影したユーザの顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の映像であっても良い。本実施形態では、当該仮想キャラの映像が送受信される場合について説明する。
【００１６】
以下、仮想キャラの生成について説明する。本実施形態のテレビ電話端末は、カメラによって撮影されたユーザの顔画像からどの領域が顔かを認識する。次に、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。顔を構成する主要な部位である眉、目、鼻、口は表情によって微妙に変化するため、これらの部位のように、表情が変化すると他の特徴点との相対位置が変わる部分が特徴点として抽出される。
【００１７】
次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に近い仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に近い仮想キャラを生成する。図２は、ユーザの顔に似せた仮想キャラを示す説明図である。
【００１８】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。また、顔を形成する全ての部位が顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができるため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映させる。
【００１９】
以下、本実施形態のテレビ電話端末の構成についての説明を、図３を参照して行う。本実施形態のテレビ電話端末は、同図に示すように、カメラ１０１と、映像処理部１０３と、マイク１０５と、スピーカ１０７と、音声処理部１０９と、仮想キャラ生成部１１１と、表示部１１３と、キーボード１１５と、記憶部１１７と、中央処理部１１９と、無線部１２１と、アンテナ１２３とを備えて構成されている。
【００２０】
映像処理部１０３は、カメラ１０１で撮影された映像を解析することで、映像中から顔を認識し特徴点を抽出するものである。また、音声処理部１０９は、マイク１０５から入力された自分の音声に対して所定の処理を行ったり、相手のテレビ電話端末から受け取った相手の音声データを処理してスピーカ１０７から出力するものである。なお、音声処理部１０９が行う処理には、音量や音韻、ピッチ等といった音声の特徴となる要素の解析が含まれ、当該解析は自分および相手の音声に対して行われる。
【００２１】
また、仮想キャラ生成部１１１は、映像処理部１０３によって抽出された特徴点等に基づいて仮想キャラを生成し、カメラ１０１で撮影したユーザの表情や動作を当該仮想キャラに反映させるものである。なお、仮想キャラ生成部１１１は、生成した仮想キャラを中央処理部１１９からの指示に基づいて部分的または全体的に変更することもある。なお、仮想キャラ生成部１１１は、記憶部１１７に記憶されたスケジュール情報や日付情報に基づいて、表示部１１３に表示される仮想キャラの背景を所定の画像に設定する。例えば、ユーザの誕生日にはケーキの画像を背景とし、３月３日には雛壇の画像、５月５日には鯉のぼりの画像といったように、日または期間によって背景を変える。
【００２２】
また、記憶部１１７は、仮想キャラの表情の変化や動作に関するプログラム、所定の映像や音声のデータ、ユーザのスケジュール情報、日付情報等を記憶するものである。なお、仮想キャラ生成部１１１は、記憶部１１７に記憶されたスケジュール情報や日付情報に基づいて、表示部１１３に表示される仮想キャラの背景を所定の画像に設定する。例えば、ユーザの誕生日にはケーキの画像を背景とし、３月３日には雛壇の画像、５月５日には鯉のぼりの画像といったように、日または期間によって背景を変える。
【００２３】
また、キーボード１１５は、後述する保留モードへの移行や回線の切断、他の指示等を中央処理部１１９に行うためのものである。また、中央処理部１１９は、キーボード１１５の操作やキーワードに応じた映像や音声の処理、回線の接続／切断時、保留モードの開始／解除時における所定の処理、映像データおよび音声データの圧縮伸長処理等を行うものである。また、無線部１２１は、映像および音声のデータの変復調等を行って、アンテナ１２３を介して信号を送受信するものである。
【００２４】
以上の説明を踏まえて、〔第１の実施形態〕、〔第２の実施形態〕、〔第３の実施形態〕の順に本発明に係るテレビ電話端末の実施の形態について詳細に説明する。
【００２５】
〔第１の実施形態〕
第１の実施形態では、上述の仮想キャラを利用したテレビ電話による会話を行っているとき、図３に示したキーボード１１５を用いてユーザが所定の操作を行ったり、音声処理部１０９が自分の発した音声の中から所定のキーワードを認識すると、仮想キャラに変化を加えた映像または全く別の映像とする。
【００２６】
仮想キャラに変化を加えるとは、例えば、仮想キャラの顔を構成する各部位または顔全体の大きさを変えたり、仮想キャラの目に縦線を入れたり頬を赤らめるといった感情を表現する模様を追加することである。なお、仮想キャラの目だけを通常よりも大きくすると驚きを表すことができ、顔全体を通常よりも大きくして赤らめると怒りを表すことができる。
【００２７】
また、全く別の映像として考えられるものには、例えば、エクスクラメーションマーク（！）やクエスチョンマーク（？）等がある。エクスクラメーションマーク（！）は感嘆を表すことができ、クエスチョンマーク（？）は疑問を表すことができる。
【００２８】
また、親指を立てた画像を予め記憶部１１７に記憶させておき、当該画像を「よくやった！」というキーワードに対応付けておく。こうすると、自分が発した発言から音声処理部１０９が当該キーワードを認識すると、中央処理部１１９が記憶部１１７から親指を立てた画像を読み出して、仮想キャラの映像に代えてまたは重ねて表示する。なお、画像に限らず動画であっても良い。
【００２９】
同様に、所定の効果音を予め記憶部１１７に記憶させておき、当該効果音を所定のキーボード操作に対応付けておく。こうすると、キーボード１１５を用いて所定の操作を行えば、中央処理部１１９が記憶部１１７からこの効果音のデータを読み出して、自分および相手の音声に代えてまたは重ねて再生する。
【００３０】
以上説明したように、本実施形態では、ユーザがキーボード１１５を用いて所定の操作を行ったり、音声処理部１０９が所定のキーワードを認識すると、通常の仮想キャラとは異なる表情や動作、全く別の映像が表示されるため、仮想キャラの表情および動きだけでは表すことのできない感情または印象を表現することができる。また、この場合、仮想キャラの表情や動きに面白みが加わるため、特に仮想キャラを用いた映像によるコミュニケーションのエンターテイメント性を高めることができる。また、キーボード操作に応じて所定の効果音を再生することもできるため、声や映像だけでは表すことのできないユーザの感情または印象を音で表現することができる。
【００３１】
〔第２の実施形態〕
第２の実施形態では、上述の仮想キャラを利用したテレビ電話による会話を行っている最中に保留モードに移行し、当該保留モードを解除した際に、メロディの再生と共に仮想キャラが画面に復帰する。保留中にユーザが図３に示したキーボード１１５の保留ボタンを押すと、中央処理部１１９がこれを検知して保留モードを解除する。または、保留中にカメラ１０１で撮影された映像から映像処理部１０３によって抽出された特徴点が保留前に会話をしていたユーザに相当すれば、中央処理部１１９が保留モードを解除する。
【００３２】
このとき、中央処理部１１９は、所定のプログラムを実行して、記憶部１１７から所定のメロディデータを読み出し、メロディの再生と共に保留前に表示されていた仮想キャラを表示させる。但し、保留モードが解除されてから実際に仮想キャラを表示するまでの間には、カメラ１０１で撮影された映像から映像処理部１０３が抽出した特徴点に基づいて、仮想キャラ生成部１１１がユーザの表情や動作を仮想キャラに反映させる必要があるため、多少の時間を要する。このため、この間に表示される画面は、表情は変わらずメロディと共に所定の動作をする仮想キャラの映像である。なお、所定の動きとは、例えば仮想キャラがドアを開けて入ってくる等の動作である。
【００３３】
以上説明したように、本実施形態によれば、保留モードを解除すると、仮想キャラが所定のメロディに連動して所定の動作を行う映像が表示されるため、相手は保留状態から復帰したことを視覚的に知ることができる。
【００３４】
〔第３の実施形態〕
第３の実施形態では、上述の仮想キャラを利用したテレビ電話による会話を終了する際に、ユーザによる図３に示したキーボード１１５のボタン選択に応じて、仮想キャラが画面から消えていく所定の映像を最後に表示して回線を切断する。所定の映像とは、仮想キャラが花を持って画面から消えていくといった映像や、仮想キャラが重荷で頭からつぶれていくといった映像等である。
【００３５】
但し、映像の内容によって相手に与える印象が異なる。このため、ユーザは、例えば、会話が楽しかったと感じれば前記仮想キャラが花を持って画面から消えていくといった映像で終了するよう所定のボタンを押し、特に何の印象も持たなかったときは前記仮想キャラが重荷で頭からつぶれていくといった映像で終了するよう別のボタンを押す。このように、会話終了時に所定のボタンが押されると、中央処理部１１９は、回線を切断する前に、当該押されたボタンに応じた映像のデータを記憶部１１７から読み出して送信する。
【００３６】
以上説明したように、本実施形態によれば、会話を終了する際、ボタン選択に応じて異なる映像が表示されるため、その映像の内容によってユーザが持った会話の印象を相手に伝えることができる。
【００３７】
なお、上記説明した各実施形態のテレビ電話端末の映像処理部１０３、音声処理部１０９、仮想キャラ生成部１１１および中央処理部１１９はプログラムを実行することによって動作するものであっても良い。
【図面の簡単な説明】
【００３８】
【図１】顔画像と各特徴点を示す説明図
【図２】ユーザの顔に似せた仮想キャラを示す説明図
【図３】本発明に係る一実施形態のテレビ電話端末の構成を示すブロック図
【符号の説明】
【００３９】
１０１ カメラ
１０３ 映像処理部
１０５ マイク
１０７ スピーカ
１０９ 音声処理部
１１１ 仮想キャラ生成部
１１３ 表示部
１１５ キーボード
１１７ 記憶部
１１９ 中央処理部
１２１ 無線部
１２３ アンテナ
【技術分野】
【０００１】
本発明は、ユーザの感情や印象を相手に分かりやすく伝えることのできるテレビ電話端末に関する。
【背景技術】
【０００２】
複数のテレビ電話端末およびネットワーク等から構成されるテレビ電話システムでは、各テレビ電話端末で撮影された映像が音声と共にネットワークを介して相手端末に送られる。このため、離れた場所にいる相手とでも顔を見ながら会話することができる。相手の顔を見ながら会話することができれば、声のトーンだけでなく相手の表情を視覚的に確認することができるため、よりリアルな高いレベルのコミュニケーションをとることができるといったメリットがある。
【０００３】
しかし、ユーザによっては自分自身を撮影した映像がそのまま相手端末に送られるのを好まない者もいる。さらに、自分または相手が撮影した映像を見ながら会話していても面白みがないと感じるユーザもいる。このため、ユーザの顔を撮影した画像から眉、目、鼻、口等の各部位の特徴点を抽出して、当該特徴点からユーザの顔に似せた仮想のキャラクター（以下、「仮想キャラ」という。）を生成し、この仮想キャラの映像を自分の分身として相手端末に送る技術が考えられている。
【０００４】
当該技術では、まず、ユーザの顔を撮影した画像（以下「顔画像」という。）のどの領域が顔かを認識した後、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に似せた仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に似せた仮想キャラを生成する。図２は、ユーザの顔に似せた仮想キャラを示す説明図である。
【０００５】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。こうすることで、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きと連携するため、ユーザの表情の変化に合わせて仮想キャラの表情も同様に変化することとなる。なお、仮想キャラをユーザの顔に似させることなく、全く別のキャラクターにユーザの顔画像における各特徴点の動きを反映させることで、ユーザの表情の変化に合わせて仮想キャラの表情を変化させることもできる。
【０００６】
さらに、顔を形成する部位の全てが顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができる。このため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映することができる。
【０００７】
【特許文献１】特表２００２−５１１６１７号公報
【特許文献２】特表２００２−５１１６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
このように、上記従来の技術では、ユーザの表情の変化に伴う各部位の動きが仮想キャラの各部位の動きに連携しているため、仮想キャラの表情はユーザの表情に合わせて変化する。さらに、ユーザの頭部の動きが仮想キャラに反映されるため、ユーザが頷いたり、首をかしげたり、頭を振ると、仮想キャラも同様の動きをする。
【０００９】
しかし、当該従来の技術は、ユーザの表情の変化および頭部の動きをそのまま仮想キャラに反映させるだけであるため、音声を除いて、上述したような仮想キャラの表情および動きだけでは表すことのできない感情または印象を表現することはできない。しかし、ユーザの感情または印象を相手に分かりやすく伝えるためには、ユーザの表情の変化をそのまま仮想キャラの表情に反映させるよりも、表情等の変化を強調したりマーク等で表した方がより伝わりやすいと考えられる。また、この方が仮想キャラの表情や動きに面白みが加わるため、エンターテイメント性の点でも勝ると考えられる。
【００１０】
本発明は、上記従来の要望に鑑みてなされたものであって、ユーザの感情や印象を相手に分かりやすく伝えることのできるテレビ電話端末を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係るテレビ電話端末は、人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）を含む映像および音声によって、ネットワークを介して他の端末と通信を行うテレビ電話端末であって、前記他の端末との通信を終了する際に所定操作が行われると、回線を切断する前に、前記仮想キャラが画面から消えていく映像を前記他の端末に送信する。
【００１２】
また、本発明に係るテレビ電話端末では、第１の所定操作が行われたときの映像と第２の所定操作が行われたときの映像とは異なる。
【発明の効果】
【００１３】
以上説明したように、本発明に係るテレビ電話端末によれば、ユーザの感情や印象を相手に分かりやすく伝えることができる。特に、映像の内容によってユーザが持った会話の印象を相手に伝えることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係るテレビ電話端末の実施の形態について、図面を参照して説明する。
【００１５】
本実施形態のテレビ電話端末は、動画または静止画（以下、まとめて「映像」という。）を撮影可能なカメラを備えた携帯電話やＰＨＳ、ＰＤＡ等の通信端末であり、ネットワークを介して別のテレビ電話端末と映像および音声を送受信することによりテレビ電話として用いることができる。但し、テレビ電話中にテレビ電話端末間で送受信される映像は、カメラで撮影した映像の他、カメラで撮影したユーザの顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）の映像であっても良い。本実施形態では、当該仮想キャラの映像が送受信される場合について説明する。
【００１６】
以下、仮想キャラの生成について説明する。本実施形態のテレビ電話端末は、カメラによって撮影されたユーザの顔画像からどの領域が顔かを認識する。次に、顔画像から眉や目、鼻、口といった各部位の特徴となる点（以下「特徴点」という。）を抽出する。図１は、顔画像と各特徴点を示す説明図である。顔を構成する主要な部位である眉、目、鼻、口は表情によって微妙に変化するため、これらの部位のように、表情が変化すると他の特徴点との相対位置が変わる部分が特徴点として抽出される。
【００１７】
次に、各部位の特徴点に基づいて、各部位の特徴が平均化された平均顔のキャラクターからユーザの顔に近い仮想キャラを生成する。より詳しくは、抽出した特徴点と前記平均顔のキャラクターの特徴点との差分を算出し、当該差分データを前記平均顔のキャラクターに反映させることで、ユーザの顔に近い仮想キャラを生成する。図２は、ユーザの顔に似せた仮想キャラを示す説明図である。
【００１８】
そして、ユーザの顔画像における各特徴点をトラッキングして、各特徴点の動きを仮想キャラに反映させる。また、顔を形成する全ての部位が顔画像の座標軸上で同じ方向に移動すれば、顔全体が動いたとみなすことができるため、ユーザが頷いたり、首をかしげたり、頭を振ったとき、この動作を仮想キャラに反映させる。
【００１９】
以下、本実施形態のテレビ電話端末の構成についての説明を、図３を参照して行う。本実施形態のテレビ電話端末は、同図に示すように、カメラ１０１と、映像処理部１０３と、マイク１０５と、スピーカ１０７と、音声処理部１０９と、仮想キャラ生成部１１１と、表示部１１３と、キーボード１１５と、記憶部１１７と、中央処理部１１９と、無線部１２１と、アンテナ１２３とを備えて構成されている。
【００２０】
映像処理部１０３は、カメラ１０１で撮影された映像を解析することで、映像中から顔を認識し特徴点を抽出するものである。また、音声処理部１０９は、マイク１０５から入力された自分の音声に対して所定の処理を行ったり、相手のテレビ電話端末から受け取った相手の音声データを処理してスピーカ１０７から出力するものである。なお、音声処理部１０９が行う処理には、音量や音韻、ピッチ等といった音声の特徴となる要素の解析が含まれ、当該解析は自分および相手の音声に対して行われる。
【００２１】
また、仮想キャラ生成部１１１は、映像処理部１０３によって抽出された特徴点等に基づいて仮想キャラを生成し、カメラ１０１で撮影したユーザの表情や動作を当該仮想キャラに反映させるものである。なお、仮想キャラ生成部１１１は、生成した仮想キャラを中央処理部１１９からの指示に基づいて部分的または全体的に変更することもある。なお、仮想キャラ生成部１１１は、記憶部１１７に記憶されたスケジュール情報や日付情報に基づいて、表示部１１３に表示される仮想キャラの背景を所定の画像に設定する。例えば、ユーザの誕生日にはケーキの画像を背景とし、３月３日には雛壇の画像、５月５日には鯉のぼりの画像といったように、日または期間によって背景を変える。
【００２２】
また、記憶部１１７は、仮想キャラの表情の変化や動作に関するプログラム、所定の映像や音声のデータ、ユーザのスケジュール情報、日付情報等を記憶するものである。なお、仮想キャラ生成部１１１は、記憶部１１７に記憶されたスケジュール情報や日付情報に基づいて、表示部１１３に表示される仮想キャラの背景を所定の画像に設定する。例えば、ユーザの誕生日にはケーキの画像を背景とし、３月３日には雛壇の画像、５月５日には鯉のぼりの画像といったように、日または期間によって背景を変える。
【００２３】
また、キーボード１１５は、後述する保留モードへの移行や回線の切断、他の指示等を中央処理部１１９に行うためのものである。また、中央処理部１１９は、キーボード１１５の操作やキーワードに応じた映像や音声の処理、回線の接続／切断時、保留モードの開始／解除時における所定の処理、映像データおよび音声データの圧縮伸長処理等を行うものである。また、無線部１２１は、映像および音声のデータの変復調等を行って、アンテナ１２３を介して信号を送受信するものである。
【００２４】
以上の説明を踏まえて、〔第１の実施形態〕、〔第２の実施形態〕、〔第３の実施形態〕の順に本発明に係るテレビ電話端末の実施の形態について詳細に説明する。
【００２５】
〔第１の実施形態〕
第１の実施形態では、上述の仮想キャラを利用したテレビ電話による会話を行っているとき、図３に示したキーボード１１５を用いてユーザが所定の操作を行ったり、音声処理部１０９が自分の発した音声の中から所定のキーワードを認識すると、仮想キャラに変化を加えた映像または全く別の映像とする。
【００２６】
仮想キャラに変化を加えるとは、例えば、仮想キャラの顔を構成する各部位または顔全体の大きさを変えたり、仮想キャラの目に縦線を入れたり頬を赤らめるといった感情を表現する模様を追加することである。なお、仮想キャラの目だけを通常よりも大きくすると驚きを表すことができ、顔全体を通常よりも大きくして赤らめると怒りを表すことができる。
【００２７】
また、全く別の映像として考えられるものには、例えば、エクスクラメーションマーク（！）やクエスチョンマーク（？）等がある。エクスクラメーションマーク（！）は感嘆を表すことができ、クエスチョンマーク（？）は疑問を表すことができる。
【００２８】
また、親指を立てた画像を予め記憶部１１７に記憶させておき、当該画像を「よくやった！」というキーワードに対応付けておく。こうすると、自分が発した発言から音声処理部１０９が当該キーワードを認識すると、中央処理部１１９が記憶部１１７から親指を立てた画像を読み出して、仮想キャラの映像に代えてまたは重ねて表示する。なお、画像に限らず動画であっても良い。
【００２９】
同様に、所定の効果音を予め記憶部１１７に記憶させておき、当該効果音を所定のキーボード操作に対応付けておく。こうすると、キーボード１１５を用いて所定の操作を行えば、中央処理部１１９が記憶部１１７からこの効果音のデータを読み出して、自分および相手の音声に代えてまたは重ねて再生する。
【００３０】
以上説明したように、本実施形態では、ユーザがキーボード１１５を用いて所定の操作を行ったり、音声処理部１０９が所定のキーワードを認識すると、通常の仮想キャラとは異なる表情や動作、全く別の映像が表示されるため、仮想キャラの表情および動きだけでは表すことのできない感情または印象を表現することができる。また、この場合、仮想キャラの表情や動きに面白みが加わるため、特に仮想キャラを用いた映像によるコミュニケーションのエンターテイメント性を高めることができる。また、キーボード操作に応じて所定の効果音を再生することもできるため、声や映像だけでは表すことのできないユーザの感情または印象を音で表現することができる。
【００３１】
〔第２の実施形態〕
第２の実施形態では、上述の仮想キャラを利用したテレビ電話による会話を行っている最中に保留モードに移行し、当該保留モードを解除した際に、メロディの再生と共に仮想キャラが画面に復帰する。保留中にユーザが図３に示したキーボード１１５の保留ボタンを押すと、中央処理部１１９がこれを検知して保留モードを解除する。または、保留中にカメラ１０１で撮影された映像から映像処理部１０３によって抽出された特徴点が保留前に会話をしていたユーザに相当すれば、中央処理部１１９が保留モードを解除する。
【００３２】
このとき、中央処理部１１９は、所定のプログラムを実行して、記憶部１１７から所定のメロディデータを読み出し、メロディの再生と共に保留前に表示されていた仮想キャラを表示させる。但し、保留モードが解除されてから実際に仮想キャラを表示するまでの間には、カメラ１０１で撮影された映像から映像処理部１０３が抽出した特徴点に基づいて、仮想キャラ生成部１１１がユーザの表情や動作を仮想キャラに反映させる必要があるため、多少の時間を要する。このため、この間に表示される画面は、表情は変わらずメロディと共に所定の動作をする仮想キャラの映像である。なお、所定の動きとは、例えば仮想キャラがドアを開けて入ってくる等の動作である。
【００３３】
以上説明したように、本実施形態によれば、保留モードを解除すると、仮想キャラが所定のメロディに連動して所定の動作を行う映像が表示されるため、相手は保留状態から復帰したことを視覚的に知ることができる。
【００３４】
〔第３の実施形態〕
第３の実施形態では、上述の仮想キャラを利用したテレビ電話による会話を終了する際に、ユーザによる図３に示したキーボード１１５のボタン選択に応じて、仮想キャラが画面から消えていく所定の映像を最後に表示して回線を切断する。所定の映像とは、仮想キャラが花を持って画面から消えていくといった映像や、仮想キャラが重荷で頭からつぶれていくといった映像等である。
【００３５】
但し、映像の内容によって相手に与える印象が異なる。このため、ユーザは、例えば、会話が楽しかったと感じれば前記仮想キャラが花を持って画面から消えていくといった映像で終了するよう所定のボタンを押し、特に何の印象も持たなかったときは前記仮想キャラが重荷で頭からつぶれていくといった映像で終了するよう別のボタンを押す。このように、会話終了時に所定のボタンが押されると、中央処理部１１９は、回線を切断する前に、当該押されたボタンに応じた映像のデータを記憶部１１７から読み出して送信する。
【００３６】
以上説明したように、本実施形態によれば、会話を終了する際、ボタン選択に応じて異なる映像が表示されるため、その映像の内容によってユーザが持った会話の印象を相手に伝えることができる。
【００３７】
なお、上記説明した各実施形態のテレビ電話端末の映像処理部１０３、音声処理部１０９、仮想キャラ生成部１１１および中央処理部１１９はプログラムを実行することによって動作するものであっても良い。
【図面の簡単な説明】
【００３８】
【図１】顔画像と各特徴点を示す説明図
【図２】ユーザの顔に似せた仮想キャラを示す説明図
【図３】本発明に係る一実施形態のテレビ電話端末の構成を示すブロック図
【符号の説明】
【００３９】
１０１ カメラ
１０３ 映像処理部
１０５ マイク
１０７ スピーカ
１０９ 音声処理部
１１１ 仮想キャラ生成部
１１３ 表示部
１１５ キーボード
１１７ 記憶部
１１９ 中央処理部
１２１ 無線部
１２３ アンテナ
【特許請求の範囲】
【請求項１】
人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）を含む映像および音声によって、ネットワークを介して他の端末と通信を行うテレビ電話端末であって、
前記他の端末との通信を終了する際に所定操作が行われると、回線を切断する前に、前記仮想キャラが画面から消えていく映像を前記他の端末に送信することを特徴とするテレビ電話端末。
【請求項２】
第１の所定操作が行われたときの映像と第２の所定操作が行われたときの映像とは異なることを特徴とする請求項１記載のテレビ電話端末。
【請求項１】
人の顔に基づいて生成された仮想のキャラクター（以下「仮想キャラ」という。）を含む映像および音声によって、ネットワークを介して他の端末と通信を行うテレビ電話端末であって、
前記他の端末との通信を終了する際に所定操作が行われると、回線を切断する前に、前記仮想キャラが画面から消えていく映像を前記他の端末に送信することを特徴とするテレビ電話端末。
【請求項２】
第１の所定操作が行われたときの映像と第２の所定操作が行われたときの映像とは異なることを特徴とする請求項１記載のテレビ電話端末。
【図２】
【図３】
【図１】
【図３】
【図１】
【公開番号】特開２００９−１１２０２７（Ｐ２００９−１１２０２７Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００８−３１３０８６（Ｐ２００８−３１３０８６）
【出願日】平成２０年１２月９日（２００８．１２．９）
【分割の表示】特願２００３−７５８５６（Ｐ２００３−７５８５６）の分割
【原出願日】平成１５年３月１９日（２００３．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成２０年１２月９日（２００８．１２．９）
【分割の表示】特願２００３−７５８５６（Ｐ２００３−７５８５６）の分割
【原出願日】平成１５年３月１９日（２００３．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]