通信装置、通信システム、通信制御方法、通信制御プログラム
【課題】属性の違いによって意思表示の動作が異なる場合でも、混乱なく自然な会話を実現できる通信装置、通信システム、通信制御方法、通信制御プログラムを提供する。
【解決手段】端末装置３には、ＹＥＳ、ＮＯを意志表示する際の動作をユーザの属性情報に基づいて変換する変換テーブルが記憶されている。自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致しない場合、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画を相手側に配信するので自然な会話を実現できる。
【解決手段】端末装置３には、ＹＥＳ、ＮＯを意志表示する際の動作をユーザの属性情報に基づいて変換する変換テーブルが記憶されている。自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致しない場合、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画を相手側に配信するので自然な会話を実現できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相手側の通信装置との間で、画像と音声を双方向に送受信できる通信装置、通信システム、通信装置の通信制御方法、通信制御プログラムに関する。
【背景技術】
【０００２】
従来、複数の通信装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現できるテレビ会議システムが知られている。例えば、他地点のテレビ会議端末装置から送信された画像と音声を受信する受信部と、この受信部で受信された画像を表示するディスプレイ装置と、画像を撮影するカメラと、音声を集音するマイクと、前記受信部で受信された音声を出力するスピーカと、前記カメラで撮影された画像と前記マイクで集音された音声を他地点のテレビ会議端末装置に送信する送信部とを備えたテレビ会議システムが知られている（例えば、特許文献１参照）。このシステムでは、ディスプレイ装置に表示された他地点の画像を見ながら相手と会話することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３９８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のテレビ会議システムにおいては、会話をする話者と聞き手の属性の違いによって、意思表示の際に使用する身振り等が異なる場合がある。属性とは、国や、文化圏等のように、その人の性質や特徴を表すものである。例えば、日本では首を横方向に振ると「ＮＯ」、縦方向に振ると「ＹＥＳ」の意味となるが、ブルガリアでは首を横方向に振ると「ＹＥＳ」、縦方向に振ると「ＮＯ」の意味となる。このような場合、会話に混乱を生じるという問題点があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、属性の違いによって意思表示の動作が異なる場合でも、混乱なく自然な会話を実現できる通信装置、通信システム、通信制御方法、通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に係る発明の通信装置は、ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置であって、ユーザを識別するための情報である属性情報を取得する属性情報取得手段と、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、当該画像取得手段によって取得された前記画像を表示する表示手段と、ユーザの反応動作を検出する反応動作検出手段と、当該反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、当該意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、当該反応動作時画像取得手段によって取得された前記反応動作時画像を他の通信装置に送信する反応動作時画像送信手段と、他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段とを備えている。
【０００７】
また、請求項２に係る発明の通信装置は、請求項１に記載の発明の構成に加え、前記意味内容特定手段によって特定された意味内容を、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報に基づき、前記他の通信装置から送信された前記属性情報が示す属性に対応する反応動作に変換する属性反応動作変換手段と、前記反応動作検出手段によって検出された前記反応動作と、前記属性反応動作変換手段によって変換された前記反応動作とが一致するか否かを判断する反応動作一致判断手段とを備え、前記反応動作時画像取得手段は、前記反応動作一致判断手段によって前記反応動作が一致しないと判断された場合に、前記意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得することを特徴とする。
【０００８】
また、請求項３に係る発明の通信装置は、請求項１又は２に記載の発明の構成に加え、前記反応動作検出手段によって前記ユーザの反応動作が検出された場合に、前記撮影手段によって撮影された前記反応動作時画像を、前記反応動作時画像記憶手段に記憶する反応動作時画像記憶処理手段を備えている。
【０００９】
また、請求項４に係る発明の通信装置は、請求項１乃至３の何れかに記載の発明の構成に加え、前記表示手段には、前記他の通信装置からストリーミング配信される前記画像が表示され、前記表示制御手段は、前記反応動作時画像受信手段によって前記反応動作時画像が受信された場合に、前記表示手段に表示される画像に割り込んで、前記反応動作時画像を表示させることを特徴とする。
【００１０】
また、請求項５に係る発明の通信装置は、請求項１乃至４の何れかに記載の発明の構成に加え、前記反応時動作は、ユーザの顔が振れる頷き動作であって、当該頷き動作の種類には、前記顔が上下方向に振れる第１頷き動作と、前記顔が左右方向に振れる第２頷き動作とが含まれ、前記属性別反応動作情報において、前記意味情報には、肯定する第１意味内容と、否定する第２意味内容とが含まれ、前記属性情報毎に、前記第１頷き動作に対して、前記第１意味内容又は前記第２意味内容が設定され、前記第２頷き動作に対して、前記第１頷き動作に設定された前記意味内容とは反対の意味内容である前記第１意味内容又は前記第２意味内容が設定されたことを特徴とする。
【００１１】
また、請求項６に係る発明の通信装置は、請求項１乃至５の何れかに記載の発明の構成に加え、前記属性情報は、ユーザが居住する地域を示す地域情報であることを特徴とする。
【００１２】
また、請求項７に係る発明の通信装置は、請求項１乃至５の何れかに記載の発明の構成に加え、前記属性情報は、ユーザが居住する国を示す国情報であることを特徴とする。
【００１３】
また、請求項８に係る発明の通信システムは、ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、前記複数の通信装置間で画像と音声を介した通信を行う通信システムであって、前記サーバは、ユーザを識別するための属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段と、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段とを備え、前記通信装置は、ユーザの属性情報を取得する属性情報取得手段と、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、当該画像取得手段によって取得された前記画像を表示する表示手段と、ユーザの反応動作を検出する反応動作検出手段と、前記サーバに接続して、前記反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、当該意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、当該反応動作時画像取得手段によって取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信手段と、前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段とを備えている。
【００１４】
また、請求項９に係る発明の通信制御方法は、ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置の通信制御方法であって、ユーザを識別するための情報である属性情報を取得する属性情報取得ステップと、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得ステップと、当該画像取得ステップにおいて取得された前記画像を表示手段に表示させる表示ステップと、ユーザの反応動作を検出する反応動作検出ステップと、当該反応動作検出ステップにおいて検出された反応動作が示す意味内容を、前記属性情報取得ステップにおいて取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定ステップと、当該意味内容特定ステップによって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得ステップと、当該反応動作時画像取得ステップにおいて取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信ステップと、前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御ステップとを備えている。
【００１５】
また、請求項１０に係る発明の通信制御プログラムは、請求項１乃至７の何れかに記載の通信装置の各種処理手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１６】
請求項１に係る発明の通信装置では、ネットワークを介して接続された他の通信装置と画像と音声を介した通信が行われる。属性情報取得手段はユーザを識別するための情報である属性情報を取得する。画像取得手段はユーザを撮影する撮影手段により撮影された画像を取得する。表示手段にはその取得された画像が表示される。属性別反応動作情報記憶手段には、属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報が記憶されている。反応動作時画像記憶手段には、ユーザの属性情報と、ユーザの反応動作時の画像である反応動作時画像とが対応付けられて記憶されている。ユーザの反応動作は反応動作検出手段によって検出される。意味内容特定手段は、反応動作検出手段によって検出された反応動作が示す意味内容を、属性情報取得手段によって取得されたユーザの属性情報において、属性別反応動作情報記憶手段に記憶された属性別反応動作情報から特定する。反応動作時画像取得手段は、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された反応動作時画像から取得する。反応動作時画像送信手段は、反応動作時画像取得手段によって取得された反応動作時画像を他の通信装置に送信する。表示制御手段は、他の通信装置から送信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
【００１７】
また、請求項２に係る発明の通信装置では、請求項１に記載の発明の効果に加え、属性反応動作変換手段は、意味内容特定手段によって特定された意味内容を、属性別反応動作情報記憶手段に記憶された属性別反応動作情報に基づき、他の通信装置から送信された属性情報が示す属性に対応する反応動作に変換する。反応動作一致判断手段が、反応動作検出手段によって検出された反応動作と、属性反応動作変換手段によって変換された反応動作とが一致するか否かを判断する。反応動作時画像取得手段は、反応動作一致判断手段によって反応動作が一致しないと判断された場合に、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された反応動作時画像から取得する。このように、反応動作が一致しない場合にだけ、反応動作時画像を取得するので処理を簡素化できる。つまり、反応動作が一致する場合は、反応動作時画像を取得する必要がないので、画像取得手段によって取得された画像を表示手段にそのまま表示させることができる。
【００１８】
また、請求項３に係る発明の通信装置では、請求項１又は２に記載の発明の効果に加え、反応動作時画像記憶処理手段は、反応動作検出手段によってユーザの反応動作が検出された場合に、撮影手段によって撮影された反応動作時画像を、反応動作時画像記憶手段に記憶する。これにより反応動作時画像を自ら演技して作成する手間が不要となる。
【００１９】
また、請求項４に係る発明の通信装置では、請求項１乃至３の何れかに記載の発明の効果に加え、表示手段には、他の通信装置からストリーミング配信される画像が表示される。表示制御手段は、反応動作時画像受信手段によって反応動作時画像が受信された場合に、表示手段に表示される画像に割り込んで、反応動作時画像を表示させる。これにより、表示手段に表示されている画像に割り込んで、ユーザの属性情報に対応する反応動作時画像を表示させることができる。
【００２０】
また、請求項５に係る発明の通信装置では、請求項１乃至４の何れかに記載の発明の効果に加え、反応時動作は、ユーザの顔が振れる頷き動作である。その頷き動作の種類には、顔が上下方向に振れる第１頷き動作と、顔が左右方向に振れる第２頷き動作とが含まれる。属性別反応動作情報において、意味情報には、肯定する第１意味内容と、否定する第２意味内容とが含まれる。属性情報毎に、第１頷き動作に対して、第１意味内容又は前記第２意味内容が設定されている。つまり、属性の違いによって、第１頷き動作の意味内容は異なる場合があるから、第１意味内容又は前記第２意味内容の何れかが設定される。一方、第２頷き動作に対しては、第１頷き動作に設定された意味内容とは反対の意味内容である第１意味内容又は第２意味内容が設定される。頷き動作は、属性の違いによって意味内容が正反対になる場合があるので、このような属性別反応動作情報を記憶することで、その属性に対応する反応動作を容易に取得できる。
【００２１】
また、請求項６に係る発明の通信装置では、請求項１乃至５の何れかに記載の発明の効果に加え、 ユーザが居住する地域を示す地域情報を属性情報とする。ユーザが居住する地域の違いによって、反応動作に対する意味内容が異なる場合、ユーザの反応動作を、他の通信装置から送信される相手側の地域情報が示す地域に対応する反応動作に変換し、その反応動作に対応する反応動作時画像を相手側の他の通信装置に送信することができる。これにより、各通信装置では、その地域に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の地域が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２２】
また、請求項７に係る発明の通信装置では、請求項１乃至５の何れかに記載の発明の効果に加え、ユーザが居住する国を示す国情報を属性情報とする。ユーザが居住する国の違いによって、反応動作に対する意味内容が異なる場合、ユーザの反応動作を、他の通信装置から送信される相手側の国情報が示す国に対応する反応動作に変換し、その反応動作に対応する反応動作時画像を相手側の他の通信装置に送信することができる。これにより、各通信装置では、その地域に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の国が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２３】
また、請求項８に係る発明の通信システムでは、ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、複数の通信装置間で画像と音声を介した通信が行われる。通信装置では、属性情報取得手段はユーザを識別するための情報である属性情報を取得する。画像取得手段はユーザを撮影する撮影手段により撮影された画像を取得する。表示手段には、第１表示制御手段によって、その取得された画像が表示される。ユーザの反応動作は反応動作検出手段によって検出される。意味内容特定手段は、反応動作検出手段によって検出された反応動作が示す意味内容を、属性情報取得手段によって取得されたユーザの属性情報において、サーバが所有する属性別反応動作情報記憶手段に記憶された属性別反応動作情報から特定する。反応動作時画像取得手段は、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、サーバが所有する反応動作時画像記憶手段に記憶された反応動作時画像から取得する。反応動作時画像送信手段は、反応動作時画像取得手段によって取得された反応動作時画像を他の通信装置に送信する。一方、反応動作時画像受信手段は、他の通信装置から送信された反応動作時画像を受信する。第２表示制御手段は、反応動作時画像受信手段によって受信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２４】
また、請求項９に係る発明の通信制御方法では、属性情報取得ステップにおいて、ユーザを識別するための情報である属性情報を取得する。画像取得ステップにおいて、ユーザを撮影する撮影手段により撮影された画像を取得する。第１表示制御ステップにおいて、画像取得ステップにおいて取得された画像を表示手段に表示する。反応動作検出ステップにおいて、ユーザの反応動作を検出する。次いで、意味内容特定ステップにおいて、反応動作検出ステップにおいて検出された反応動作が示す意味内容を、属性情報取得ステップにおいて取得されたユーザの属性情報において、属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する。さらに、反応動作時画像取得ステップにおいて、意味内容特定ステップにおいて特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する。続いて、反応動作時画像送信ステップにおいて、反応動作時画像取得ステップにおいて取得された反応動作時画像を他の通信装置に送信する。また、反応動作時画像受信ステップにおいて、他の通信装置から送信された反応動作時画像を受信する。そして、第２表示制御ステップにおいて、反応動作時画像受信ステップにおいて受信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２５】
また、請求項１０に係る発明の通信制御プログラムでは、請求項１乃至７の何れかに記載の通信装置の各種処理手段としてコンピュータに実行させることによって、請求項１乃至７の何れかに記載の発明の効果を得ることができる。
【図面の簡単な説明】
【００２６】
【図１】テレビ会議システム１の構成を示すブロック図である。
【図２】端末装置３の電気的構成を示すブロック図である。
【図３】ＨＤＤ３１の各種記憶エリアを示す概念図である。
【図４】ログインテーブル３１１１の概念図である。
【図５】属性情報テーブル３１２１の概念図である。
【図６】動画記憶エリア３１３の概念図である。
【図７】変換テーブル３１４１の概念図である。
【図８】端末装置３のディスプレイ２８における一表示態様を示す図である。
【図９】端末装置６のディスプレイ２８における一表示態様を示す図である。
【図１０】上下に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（頷き前）である。
【図１１】上下に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（頷き後）である。
【図１２】左右に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（右に顔を振った後）である。
【図１３】左右に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（左に顔を振った後）である。
【図１４】カメラ画像データ４０の概念図である。
【図１５】検出波形パターン（上下に頷き時）を示すグラフである。
【図１６】検出波形パターン（左右に頷き時）を示すグラフである。
【図１７】登録された頷き波形パターン（ｄ，ｅ）を示すグラフである。
【図１８】ＣＰＵ２０による通信制御処理のフローチャートである。
【図１９】図１８の続きを示すフローチャートである。
【図２０】テレビ会議システム１００の構成を示すブロック図である。
【図２１】サーバ９７の電気的構成を示すブロック図である。
【図２２】ＨＤＤ８３の各種記憶エリアを示す概念図である。
【図２３】動画テーブル８３３１の概念図である。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。
【００２８】
テレビ会議システム１は、ネットワーク２を介して相互に接続され、かつ各拠点に設けられた複数の端末装置３、４、５、６とを備えている。テレビ会議システム１では、端末装置３、４、５、６間において、ネットワーク２を介して、画像、音声が互いに送受信されることで遠隔会議が実施される。本実施形態では、説明の便宜上、端末装置３は日本を拠点とし、端末装置４はアメリカを拠点とし、端末装置５はフランスを拠点とし、端末装置４を拠点とし、端末装置５はブルガリアを拠点としたシステムを想定する。
【００２９】
なお、本実施形態は、端末装置３〜６間における話者と聞き手の国の違いによって、「ＹＥＳ」「ＮＯ」の意志表示に使用される身振り等の意味が異なる場合でも、話者と聞き手の属性情報において、「ＹＥＳ」「ＮＯ」を表現する画像を切り替えることができる点に特徴がある。
【００３０】
次に、端末装置３の電気的構成について、図２を参照して説明する。なお、端末装置３〜６は全て同じ構成であるので、ここでは端末装置３の構成についてのみ説明し、他の端末装置４〜６については説明を省略する。
【００３１】
端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。
【００３２】
Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、カードリーダ制御部３２と、ユーザを撮影するためのカメラ３４と、ユーザの音声を取り込むためのマイク３５と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。カードリーダ制御部３２には、各ユーザが所有する識別カード（図示外）に記憶されたユーザを識別するためのユーザＩＤを読み込むためのカードリーダ３３が接続されている。
【００３３】
なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１６（図３参照）に記憶される。
【００３４】
次に、ＨＤＤ３１の各種記憶エリアについて、図３を参照して説明する。ＨＤＤ３１には、開催される会議にログインしたユーザを管理するログインテーブル３１１１（図４参照）を記憶するログインテーブル記憶エリア３１１と、属性情報テーブル３１２１（図５参照）を記憶する属性情報テーブル記憶エリア３１２と、ユーザが顔を上下又は左右に振る際の動画（図６参照）を記憶する動画記憶エリア３１３と、変換テーブル３１４１（図７参照）を記憶する変換テーブル記憶エリア３１４と、ユーザの頷き時の波形パターンを記憶する波形パターン記憶エリア３１５と、各種プログラムを記憶するプログラム記憶エリア３１６と、その他の情報記憶エリア３１７と、カメラ３４によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア３１８とが、少なくとも設けられている。
【００３５】
プログラム記憶エリア３１６には、端末装置３のメインプログラムや、他の端末装置４、５、６との間で遠隔会議を実行するための本発明の通信制御プログラム等が記憶されている。その他の情報記憶エリア３１７には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。
【００３６】
次に、ログインテーブル３１１１について、図４を参照して説明する。図４は、ログインテーブル３１１１の概念図である。ログインテーブル３１１１には、会議にログインしたユーザのユーザＩＤが記憶されるユーザＩＤ欄５１と、そのユーザＩＤが登録された端末装置３〜６の端末ＩＤとが記憶される端末ＩＤ欄５２とが対応付けられて設けられている。具体的には、ユーザＩＤ欄５１には、カードリーダ３３で読み取られた識別カード（図示外）に記憶されたユーザＩＤが記憶される。端末ＩＤ欄５２には、そのユーザＩＤを送信した端末装置３〜６の端末ＩＤが記憶される。なお、端末ＩＤとは、端末装置のマックアドレス等である。
【００３７】
例えば、端末装置４のユーザであるＢさんがログインする場合、Ｂさんは自身が所有する識別カードを端末装置４のカードリーダ３３に読み取らせる。すると、ログイン信号が相手側の端末装置３，５，６に送信され、ログインしたことが相手側に通知される。この場合、その識別カードに記憶されたユーザＩＤ＝「００２」と、そのユーザＩＤを送信した端末装置４の端末ＩＤ＝「０００２」とが、ログインテーブル３１１１のユーザＩＤ欄５１、端末ＩＤ欄５２に各々記憶される。その他のユーザについても同様に設定される。
【００３８】
なお、図４に示すログインテーブル３１１１では、端末装置３（端末ＩＤ＝０００１）のＡさん（ユーザＩＤ＝００１）、端末装置４（端末ＩＤ＝００２）のＢさん（ユーザＩＤ＝００２）、端末装置５（端末ＩＤ＝０００３）のＣさん（ユーザＩＤ＝０００３）、端末装置６（端末ＩＤ＝００４）のＤさん（ユーザＩＤ＝００４）がそれぞれログインしている状態を示している。
【００３９】
次に、属性情報テーブル３１２１について、図５を参照して説明する。属性情報テーブル３１２１は、ユーザの属性情報を記憶するテーブルである。属性情報テーブル３１２１には、ユーザＩＤ欄５３と、名前欄５４と、属性情報欄５５とが対応付けられて設けられている。ユーザＩＤ欄５３には、ユーザＩＤが記憶される。名前欄５４には、名前が記憶される。属性情報欄５５には、ユーザが居住する国名である国情報が記憶される。
【００４０】
例えば、属性情報テーブル３１２１の１行目は、ユーザＩＤ＝００１のＡさんの国が日本であることを示している。２行目は、ユーザＩＤ＝００２のＢさんの国がアメリカであることを示している。３行目は、ユーザＩＤ＝００３のＣさんの国がフランスであることを示している。４行目は、ユーザＩＤ＝００４のＤさんの国がブルガリアであることを示している。なお、他拠点のユーザの属性情報は各端末装置から送信され、ユーザＩＤ、名前と共に、各ユーザの属性情報が属性情報テーブル３１２１に登録される。
【００４１】
次に、動画記憶エリア３１３に記憶される動画データついて、図６を参照して説明する。動画記憶エリア３１３には、その拠点におけるユーザが「ＹＥＳ」と「ＮＯ」を意思表示したときの動画がそれぞれ記憶される。動画記憶エリア３１３には、ＹＥＳ動画欄５７と、ＮＯ動画欄５８とがそれぞれ対応付けられて設けられている。ＹＥＳ動画欄５７には、「ＹＥＳ」を意志表示したときの動画が記憶されている。ＮＯ動画欄５８には、「ＮＯ」を意志表示したときの動画が記憶されている。
【００４２】
例えば、ＹＥＳ動画欄５７には、ＡさんのＹＥＳ動画＝「ａａａ１．ａｖｉ」が記憶されている。ＮＯ動画欄５８には、ＡさんのＮＯ動画＝「ａａａ２．ａｖｉ」が記憶されている。「ａａａ１．ａｖｉ」はＡさんが顔を上下に振る動画である。「ａａａ２．ａｖｉ」はＡさんが顔を左右に振る動画である。
【００４３】
次に、変換テーブル３１４１について、図７を参照して説明する。変換テーブル３１４１は、「ＹＥＳ」「ＮＯ」を意志表示する際の動作を、ユーザの属性情報に基づいて変換するためのテーブルである。変換テーブル３１４１には、属性情報欄６１と、意味欄６２と、顔移動方向欄６３とが対応付けられて設けられている。属性情報欄６１には、ユーザの属性である国名が記憶されている。意味欄６２には、話者に対して肯定の意志表示である「ＹＥＳ」と、話者に対して否定の意志表示である「ＮＯ」とが記憶されている。顔移動方向欄６３には、「ＹＥＳ」と「ＮＯ」で意志表示する際の顔の移動方向が記憶されている。つまり、「ＹＥＳ」「ＮＯ」の意志表示の際の顔移動方向が国別に記憶されている。
【００４４】
例えば、変換テーブル３１４１の１行目には、日本のユーザが「ＹＥＳ」の意志表示をする際の顔の移動方向が「上下」であることが記憶されている。２行目には、日本のユーザが「ＮＯ」の意志表示をする際の顔の移動方向が「左右」であることが記憶されている。アメリカ、フランスにおいても、顔の移動方向は日本と同じである。ところが、ブルガリアでの「ＹＥＳ」「ＮＯ」の意志表示の際の顔移動方向は、日本、アメリカ、フランスの顔移動方向に対して全く逆になる。即ち、変換テーブル３１４１の７行目には、ブルガリアのユーザが「ＹＥＳ」の意志表示をする際の顔の移動方向が「左右」であることが記憶されている。８行目には、ブルガリアのユーザが「ＮＯ」の意志表示をする際の顔の移動方向が「上下」であることが記憶されている。
【００４５】
次に、ディスプレイ２８に表示される画像について、図８，図９を参照して説明する。会議中において、例えば、日本を拠点とする端末装置３のディスプレイ２８には、図８に示すように、他の端末装置４、５、６の各ユーザを映し出すために、３つの分割画面２８１、２８２、２８３がそれぞれ表示される。例えば、分割画面２８１は、ディスプレイ２８の略左半分に配置され、分割画面２８２は、ディスプレイ２８の右半分の上側に配置され、分割画面２８３は、ディスプレイ２８の右半分の下側に配置されて表示される。
【００４６】
分割画面２８１には、端末装置４のユーザの画像が映し出される。分割画面２８２には、端末装置５のユーザの画像が映し出される。分割画面２８３には、端末装置６のユーザの画像が映し出される。なお、表示態様についてはこれに限定されず、各分割画面２８１〜２８３の配置、大きさも自由に変更可能である。なお、図８では、端末装置４のユーザが顔を上下に振っている様子が分割画面２８１に映し出され、端末装置６のユーザが顔を上下に振っている様子が分割画面２８３に映し出された状態を示している。なお、端末装置６は、ブルガリアを拠点とする端末である。Ｄさんは「ＹＥＳ」を意志表示するために、実際は左右に顔を振っているのであるが、分割画面２８３には、Ｄさんが顔を上下に振っている画像が割り込まれて映し出されている。
【００４７】
一方、ブルガリアを拠点とする端末装置６のディスプレイ２８には、図９に示すように、他の端末装置３、４、５の各ユーザが３つの分割画面２８１、２８２、２８３にそれぞれ表示される。つまり、分割画面２８１には、端末装置３のユーザの画像が映し出される。分割画面２８２には、端末装置４のユーザの画像が映し出される。分割画面２８３には、端末装置５のユーザの画像が映し出される。なお、図９では、端末装置３，４，５の各ユーザが顔を左右に振っている様子が分割画面２８１〜２８３にそれぞれ映し出された状態を示している。Ａさん、Ｂさん、Ｃさんは「ＹＥＳ」を意志表示するために、実際は上下に顔を振っているのであるが、分割画面２８１〜２８３には、Ａさん、Ｂさん、Ｃさんが顔を左右に振っている画像が割り込まれて映し出されている。これにより、国によって「ＹＥＳ」「ＮＯ」の表現方法が異なる場合でも、そのユーザの属性に合った映像が割り込まれて表示されるので、混乱なく自然な会話を実現できる。
【００４８】
次に、ユーザの頷き動作を検出する方法について、図１０乃至図１４を参照して説明する。「頷き動作」とは、話者が話している内容に聞き手が納得したときに、聞き手の顔が「上下方向」又は「左右方向」に所定量以上に振れる動作をいう。本実施形態では、周知の画像処理によってユーザの顔の振れを検出するのであるが、例えば、特開２００７−９７６６８号公報に記載された状態識別装置による識別方法が適用可能である。
【００４９】
そこで、上記識別方法を適用した頷き検出方法の具体例について説明する。まず、カメラ３４から転送されたカメラ画像データが、ＨＤＤ３１のカメラ画像データ記憶エリア３１８（図３参照）に記憶される。そして、カメラ画像データ記憶エリア３１８に記憶されたカメラ画像から人物の画像を検出する。
【００５０】
次いで、検出された人物毎に顔の特徴量ｄ，ｅを算出する。本実施形態では、眉間又は目の検出によって眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標と、最右端部（又は最左端部）の位置座標とを取得する。そして、眉間の位置座標と最下端部の位置座標との差分値と、眉間の位置座標と最右端部の位置座標との差分値とを各々算出する。
【００５１】
例えば、カメラ画像に写っている顔が正面顔の場合、図１０に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。さらに、顔の右側の側頭部の位置座標が、顔の画像に写っている最右端部の位置座標として取得される。一方、カメラ画像に写っている顔がうつむき顔の場合、図１１に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図１０および図１１の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、正面顔で最も長く、うつむき加減が大きいほど短くなる。一方、眉間から画像に写っている顔の最右端部までの距離ｅは、うつむき加減に関わらず変化しない。
【００５２】
また、カメラ画像に写っている顔が左右を向いた場合、図１０および図１２，図１３の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、変化しないが、眉間から画像に写っている顔の最右端部までの距離ｅは、左右に振れる角度が大きいほど短くなる。従って、距離ｄ，ｅの変化量から、顔の移動方向が検出できると共に、顔の上下方向、又は左右方向における振れ加減を判定できる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用できる。
【００５３】
そして、算出した特徴量ｄ，ｅに、カメラ画像の管理情報に含まれている撮影時刻の情報と、顔を検出して識別した際に割り当てたユーザＩＤとを付したカメラ画像データ４０（図１４参照）を生成し、カメラ画像データ記憶エリア３１８（図３参照）に記憶する。そして、上記処理を繰り返すことにより、カメラ画像データ記憶エリア３１８には、各時刻における聞き手のうつむき加減を表す複数のカメラ画像データ４０が蓄積される。
【００５４】
さらに、直前に生成した撮影時間１０秒分のカメラ画像データ４０を、カメラ画像データ記憶エリア３１８から読み込み、ユーザＩＤに基づいてユーザ別に分類する。続いて、各聞き手のデータを時刻情報に基づいて時系列に並べる。この時系列に並べられたデータ群から、特徴量（距離ｄ，ｅ）の経時変化を表す検出波形パターン（図１５，図１６参照）を生成する。
【００５５】
そして、生成した検出波形パターンを、ＨＤＤ３１の波形パターン記憶エリア３１５（図３参照）に予め登録されている波形パターン（図１７参照）と照合する。本実施形態では、顔を軽く上下方向に振る動作が行なわれたことを表す波形である１秒程度の短い第１波形パターン（図１７：実線ｄ参照）と、軽く左右方向に振る動作が行なわれたことを表す波形である１秒程度の短い第２波形パターン（図１７：点線ｅ参照）とがそれぞれが記憶されている。第１波形パターンを「第１頷きパターン」と呼ぶ。第２波形パターンを「第２頷きパターン」と呼ぶ。
【００５６】
つまり、図１５に示すように、特徴量ｅの検出波形パターンがほぼ変化しない直線であって、特徴量ｄの検出波形パターンが第１頷きパターンに一致する場合は、顔を上下に振って頷いていると判断できる。図１６に示すように、特徴量ｄの検出波形パターンがほぼ変化しない直線であって、特徴量ｅの検出波形パターンが第２頷きパターンに一致する場合は、顔を左右に振って頷いていると判断できる。なお、頷きパターンの波形は、このパターンに限らず、自由に変更可能である。
【００５７】
次に、上記構成からなる端末装置３のＣＰＵ２０によって実行される通信制御処理について、図１８，図１９のフローチャートを参照して説明する。
【００５８】
なお、この通信制御処理は、端末装置３のみならず、他の端末装置４〜６においても同様に行われるものである。従って、ここでは端末装置３のＣＰＵ２０によって実行される通信制御処理についてのみ説明する。
【００５９】
図１８に示すように、まず、各種データが初期化される（Ｓ１１）。続いて、ユーザのログインが完了したか否か判断される（Ｓ１３）。自拠点におけるログインが完了するまでは（Ｓ１３：ＮＯ）、Ｓ１３に戻って待機状態となる。例えば、端末装置３のＡさんがログインした場合、Ａさんの識別カードに記憶されたユーザ情報がＨＤＤ３１に記憶される。ログインテーブル３１１１（図４参照）のユーザＩＤ欄５１に「００１」が記憶され、端末ＩＤ欄５２に「０００１」が記憶される。そして、これと同時に、ログイン信号が相手側の端末装置４，５，６に送信される。
【００６０】
なお、相手側の端末装置４，５，６から送信されたログイン信号を受信した場合、端末装置３と同様に、ログインテーブル３１１１（図４参照）のユーザＩＤ欄５１に各ユーザＩＤが記憶され、端末ＩＤ欄５２には、そのユーザＩＤを送信した端末装置の端末ＩＤが記憶される。これにより、各端末装置では、現在ログインしているユーザが誰であるか、どこの端末装置でログインしたかを把握できる。
【００６１】
次いで、識別カードからユーザの属性情報が読み込まれ、属性情報テーブル３１２１（図５参照）に記憶される（Ｓ１４）。属性情報テーブル３１２１には、ＡさんのユーザＩＤと、Ａさんの名前と、その国情報（＝「日本」）とが登録される。さらに、映像通話が開始されたか否かが判断される（Ｓ１５）。例えば、ネットワーク２に接続している端末数が２つ未満の場合は映像通話ができない。また、ログインしたユーザが１拠点のみしか存在しないような場合も映像通話できない。このような場合（Ｓ１５：ＮＯ）、Ｓ１５に戻って待機状態となる。
【００６２】
そして、ネットワーク２に接続している端末数が２つ以上であって、映像通話が開始されたと判断された場合（Ｓ１５：ＹＥＳ）、属性情報テーブル３１２１に登録されたＡさんの属性情報が相手側の端末装置４，５，６にそれぞれ送信される（Ｓ１６）。端末装置４，５，６では、Ａさんの属性情報が受信されて各ＨＤＤ３１に記憶される。
【００６３】
ところで、映像通話中は、他の端末装置４，５，６から各拠点の画像がストリーミング配信される。ストリーミング配信される画像の画像データはエンコードされた状態で受信される。その受信された画像データはデコードされて無圧縮化される。その無圧縮化された画像がディスプレイ２８の分割画面２８１〜２８３においてバッファ再生される。なお、画像データを受信するＣＰＵ２０が本発明の「画像取得手段」に相当する。
【００６４】
続いて、Ａさんの顔移動が検出されたか否かが判断される（Ｓ１７）。例えば、日本人であるＡさんが話者に対して「ＹＥＳ」の意志表示をするために、顔を上下に振って頷いた場合、その顔移動が検出され（Ｓ１７：ＹＥＳ）、そのときの映像が録画される（Ｓ１８）。そして、その顔移動方向が上述の方法によって検出される（Ｓ１９）。
【００６５】
次いで、Ａさんの属性情報（＝「日本」）と、カメラ画像から特定された顔移動方向（＝「上下」）とから、その反応動作が示す意味が取得される（Ｓ２０）。このとき、ＨＤＤ３１に記憶された変換テーブル３１４１（図７参照）が参照される。例えば、Ａさんの属性情報＝「日本」であって、顔移動方向が「上下」と特定されると、意味として「ＹＥＳ」が取得される。そして、ＨＤＤ３１の動画記憶エリア３１３（図６参照）のＹＥＳ動画欄５７に、Ａさんが上下に顔を振って頷いたときの動画（＝「ａａａ１．ａｖｉ」）が記憶される（Ｓ２１）。
【００６６】
次いで、相手側の端末装置４、５，６に向けて、自拠点の映像が配信中か否かが判断される（Ｓ２３）。映像が配信中である場合（Ｓ２３：ＹＥＳ）、配信先の端末装置４，５，６から属性情報が取得される（Ｓ２４）。端末装置４，５，６から送信されたＢさん、Ｃさん、Ｄさんの属性情報は、ＨＤＤ３１に記憶された属性情報テーブル３１２１（図５参照）に登録される。これにより、各端末装置３，４，５，６の各ユーザの属性情報が管理される。
【００６７】
次いで、配信先の各ユーザの属性情報に対応する顔移動方向が特定される（Ｓ２５）。ここでは、自拠点において検出された顔移動方向の意味が、配信先ではどのような意味になるかを確認する。即ち、自拠点において検出された顔移動方向の意味から、ＨＤＤ３１に記憶された変換テーブル３１４１（図７参照）を参照して、配信先の顔移動方向が特定される。
【００６８】
例えば、自拠点において検出されたＡさんの顔移動方向の意味が「ＹＥＳ」であった場合、アメリカを拠点とする端末装置４においては、Ｂさんの属性がアメリカであるので、顔移動方向は「上下」である。つまり、日本とアメリカでは、「ＹＥＳ」「ＮＯ」を意志表示する際の顔を振る方向が同じである。ところが、ブルガリアを拠点とする端末装置６においては、Ｄさんの属性がブルガリアであるので、顔移動方向は「左右」である。つまり、日本とブルガリアでは、「ＹＥＳ」「ＮＯ」を意志表示する際の顔を振る方向が全く逆になる。
【００６９】
そこで、自拠点で検出された顔移動方向と、変換テーブル３１４１で特定された配信先の顔移動方向とが比較され、互いに一致しているか否かが判断される（Ｓ２６）。前者のように、配信先がアメリカを拠点とする端末装置４である場合は、顔移動方向が一致しているので（Ｓ２６：ＹＥＳ）、カメラ３４で撮像されたカメラ画像がそのままストリーミング配信される（Ｓ２９）。つまり、アメリカを拠点とする端末装置４のディスプレイ２８には、端末装置３のカメラ画像がそのまま表示される。
【００７０】
ところが、後者のように、配信先がブルガリアを拠点とする端末装置６である場合は、顔移動方向が一致していないので（Ｓ２６：ＮＯ）、カメラ画像をそのまま配信してしまうと、ブルガリアでは「ＹＥＳ」「ＮＯ」の意志表示が反対に伝わってしまい、会話に混乱を起こしかねない。そこで、ＨＤＤ３１に記憶された動画記憶エリア３１３（図６参照）から、自拠点で検出された顔移動方向から取得された意味に相当する配信先の属性に対応する動画が取得される（Ｓ２７）。
【００７１】
ここで、例えば、ブルガリアを拠点とする端末装置６のＤさんが話者で、日本を拠点とする端末装置３のＡさんが聞き手であった場合を想定する。端末装置３において、Ａさんが顔を「上下」に振って頷いたときの反応動作が検出された場合、Ａさんは「ＹＥＳ」の意志表示をしている。ところがブルガリアでは、「ＹＥＳ」の意志表示をする場合顔を左右に振るので、顔の移動方向が一致しない。この場合、ＨＤＤ３１の動画記憶エリア３１３のＮＯ動画欄５８に記憶された左右に顔を振る動作の動画（＝「ａａａ２．ａｖｉ」）が取得される（Ｓ２７）。
【００７２】
そして、取得された左右に顔を振る動作の動画が、ストリーミング画像に割り込まれて配信される（Ｓ２８）。なお、動画がストリーミング画像に割り込まれるタイミングは、Ａさんの顔の移動が検出されたタイミングに合わせられる。そして、割り込まれて配信された動画の時間分はストリーミング配信は中断される。これにより、図９に示すように、端末装置６のディスプレイ２８の分割画面２８１では、実際はＡさんが上下に顔を振っている映像が配信されるところに、左右に顔を振っている動画が表示される。これにより、ディスプレイ２８の分割画面２８１を見て話しをするＤさんは、何の違和感もなく、会話を続けることができる。このように、ストリーミング画像に割り込まれて配信され動画をディスプレイ２８に表示させる処理を実行するＣＰＵ２０が本発明の「表示制御手段」に相当する。
【００７３】
次いで、映像通話中か否かが判断される（Ｓ３０）。映像通話が終了した場合（Ｓ３０：ＮＯ）、処理は終了する。まだ映像通話が続いている場合（Ｓ３０：ＹＥＳ）、図１８のＳ１７に戻り、再度、ユーザの顔移動が検出されたか否かが判断される。なお、ここでは、ＨＤＤ３１の動画記憶エリア３１３に「ＹＥＳ」「ＮＯ」の動画が何れも記憶されている場合は、新たに動画記憶エリア３１３に動画を記憶させる必要はないので、映像配信中か否かが判断される（Ｓ２３）。そして、映像が配信中である場合は、上述の処理（Ｓ２４〜Ｓ２９）が実行される。映像が配信中でない場合（Ｓ２３：ＮＯ）、映像通話中であるか否かが判断され、（Ｓ３０）、映像通話が終了した場合（Ｓ３０：ＮＯ）、処理は終了する。
【００７４】
以上説明したように、本実施形態のテレビ会議システム１では、端末装置３〜６間における話者と聞き手の国の違いによって、「ＹＥＳ」「ＮＯ」の意志表示に使用される身振り等の意味が異なる場合でも、話者と聞き手の属性情報において、「ＹＥＳ」「ＮＯ」を表現する画像を切り替えることができる点に特徴がある。端末装置３のＨＤＤ３１には、「ＹＥＳ」「ＮＯ」の各動画（図６参照）と、各端末装置３〜６のログインしたユーザの属性情報を記憶する属性情報テーブル３１２１（図５参照）と、「ＹＥＳ」「ＮＯ」を意志表示する際の動作をユーザの属性情報に基づいて変換するための変換テーブル３１４１とが記憶されている。このような構成で、自拠点のユーザの顔移動が検出される。さらに、その検出された顔移動の移動方向が特定されその意味が取得される。そして、配信先のユーザの属性情報に基づき、その取得された意味に対応する顔移動方向が変換テーブル３１４１を参照して取得される。ここで、自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致していない場合、意思表示の動作が異なるので、会話が混乱するおそれがある。そこで、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画に変更して相手側の端末装置に配信する。これにより、動画を配信された端末装置では、自拠点の意志表示に合った動作がディスプレイ２８に表示されるので、混乱することなく会話をスムーズに行うことができる。
【００７５】
次に、本発明の第２実施形態であるテレビ会議システム１００について、図２０乃至図２３を参照して説明する。テレビ会議システム１００は、第１実施形態のテレビ会議システム１の変形例である。図２０に示すように、テレビ会議システム１００では、第１実施形態の端末装置３において、ＨＤＤ３１に記憶していたログインテーブル３１１１（図４参照）、属性情報テーブル３１２１（図５参照）、ユーザの「ＹＥＳ」「ＮＯ」を意志表示する際の動画（図６参照）、変換テーブル３１４１等を、サーバ９７に記憶させている。
【００７６】
テレビ会議システム１００は、ネットワーク２と、該ネットワーク２を介して相互に接続され、かつ各拠点に設けられた複数の端末装置９３、９４、９５、９６と、各種テーブルを記憶するサーバ９７とを備えている。
【００７７】
サーバ９７は、図２１に示すように、サーバ９７の制御を司るコントローラとしてのＣＰＵ７０が設けられている。ＣＰＵ７０には、ＢＩＯＳ等を記憶したＲＯＭ７１と、各種データを一時的に記憶するＲＡＭ７２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス８０とが接続されている。Ｉ／Ｏインタフェイス８０には、各種記憶エリアを有するハードディスクドライブ８３（以下、ＨＤＤ８３）が接続されている。
【００７８】
Ｉ／Ｏインタフェイス８０には、ネットワーク２と通信するための通信装置７５と、マウス７７と、ビデオコントローラ７３と、キーコントローラ７４と、ＣＤ−ＲＯＭドライブ７６とが各々接続されている。ビデオコントローラ７３には、ディスプレイ７８が接続されている。キーコントローラ７４には、キーボード７９が接続されている。
【００７９】
なお、ＣＤ−ＲＯＭドライブ７６に挿入されるＣＤ−ＲＯＭ１２４には、サーバ９７のメインプログラム等が記憶されている。ＣＤ−ＲＯＭ１２４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１２４からＨＤＤ８３にセットアップされて、後述するプログラム記憶エリア８３６（図２２参照）に記憶される。
【００８０】
次に、ＨＤＤ８３の各種記憶エリアについて、図２２を参照して説明する。ＨＤＤ８３には、ネットワーク２にログインしたユーザを管理するログインテーブル３１１１（図４参照）を記憶するログインテーブル記憶エリア８３１と、属性情報テーブル３１２１（図５参照）を記憶する属性情報テーブル記憶エリア８３２と、ユーザが顔を上下又は左右に振る際の動画をユーザ毎に管理する動画テーブル８３３１（図２３参照）を記憶する動画記憶エリア８３３と、変換テーブル３１４１（図７参照）を記憶する変換テーブル記憶エリア８３４と、ユーザの頷き時の波形パターンを記憶する波形パターン記憶エリア８３５と、各種プログラムを記憶するプログラム記憶エリア８３６と、その他の情報記憶エリア８３７と、カメラ３４によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア８３８とが、少なくとも設けられている。
【００８１】
なお、ＨＤＤ８３に記憶されるログインテーブル３１１１（図４参照）、属性情報テーブル３１２１（図５参照）、変換テーブル３１４１（図７参照）は、第１実施形態と同じものである。
【００８２】
次に、動画テーブル８３３１について、図２３を参照して説明する。動画テーブル８３３１には、ユーザＩＤ欄１５６と、ＹＥＳ動画欄１５７と、ＮＯ動画欄１５８とが対応付けられて設けられている。ユーザＩＤ欄１５６には、各端末装置３〜６でログインしたユーザを識別するための識別ＩＤが記憶される。ＹＥＳ動画欄１５７には、ユーザＩＤによって識別されるユーザが「ＹＥＳ」の意志表示をする際の動画が記憶される。ＮＯ動画欄１５８には、ユーザＩＤによって識別されるユーザが「ＮＯ」の意志表示をする際の動画が記憶される。
【００８３】
例えば、動画テーブル８３３１の１行目には、Ａさん（ユーザＩＤ＝「００１」）のＹＥＳ動画＝「ａａａ１．ａｖｉ」と、ＮＯ動画＝「ａａａ２．ａｖｉ」とが各々記憶されている。２行目には、Ｂさん（ユーザＩＤ＝「００２」）のＹＥＳ動画＝「ｂｂｂ１．ａｖｉ」と、ＮＯ動画＝「ｂｂｂ２．ａｖｉ」とが各々記憶されている。３行目には、Ｃさん（ユーザＩＤ＝「００３」）のＹＥＳ動画＝「ｃｃｃ１．ａｖｉ」と、ＮＯ動画＝「ｃｃｃ２．ａｖｉ」とが各々記憶されている。４行目には、Ｄさん（ユーザＩＤ＝「００４」）のＹＥＳ動画＝「ｄｄｄ１．ａｖｉ」と、ＮＯ動画＝「ｄｄｄ２．ａｖｉ」とが各々記憶されている。このように、各ユーザ毎にＹＥＳ動画とＮＯ動画を管理しているので、所望のユーザの動画を簡単に取得できる。
【００８４】
次に、上記構成からなるテレビ会議システム１００の端末装置９３のＣＰＵによる通信制御処理について簡単に説明する。端末装置９３のＣＰＵによる通信制御処理は、図１８，図１９のフローチャートとほぼ同様に実行される。つまり、初期化された後で（Ｓ１１）サーバ９７に接続することによって、ＨＤＤ８３に記憶されたログインテーブル３１１１（図４参照）、属性情報テーブル３１２１（図５参照）、変換テーブル３１４１（図７参照）、動画テーブル８３３１（図２３参照）を利用することが可能となる。
【００８５】
そして、図１８に示すＳ２１では、録画された動画は、図２３に示すように、ＨＤＤ８３の動画テーブル８３３１にユーザ毎に各々記憶される。つまり、ユーザ毎に、ＹＥＳ動画とＮＯ動画とが各々記憶される。さらに、図１９に示すＳ２８では、動画テーブル８３３１から各拠点でログインしたユーザの該当する動画が取得される。このようにして、第１実施形態と同様の効果を得ることができる。また、各種テーブルをサーバ９７に記憶させることで、第１実施形態に比べ、各端末装置９３〜９６の記憶容量を節約できる点に利点がある。
【００８６】
以上の説明において、図１に示す端末装置３〜６が本発明の「通信装置」に相当する。図８に示すディスプレイ２８が本発明の「表示手段」に相当する。ＨＤＤ３１の変換テーブル記憶エリア３１４が本発明の「属性別反応動作情報記憶手段」に相当し、ＨＤＤ３１の動画記憶エリア３１３が本発明の「属性別反応動作情報記憶手段」に相当する。また、図１８のＳ２０の処理を実行するＣＰＵ２０が本発明の「意味内容特定手段」に相当し、Ｓ２１の処理を実行するＣＰＵ２０が本発明の「反応動作時画像記憶処理手段」に相当し、図１９のＳ２５の処理を実行するＣＰＵ２０が本発明の「属性反応動作変換手段」に相当し、Ｓ２６の処理を実行するＣＰＵ２０が本発明の「反応動作一致判断手段」に相当し、Ｓ２７の処理を実行するＣＰＵ２０が本発明の「反応動作時画像取得手段」に相当し、Ｓ２８の処理を実行するＣＰＵ２０が本発明の「反応動作時画像送信手段」に相当する。
【００８７】
なお、本発明は、上記の第１，第２実施形態に限定されることなく、種々の変更が可能である。例えば、第１実施形態では、ユーザの反応動作として、「頷き」を例にして説明したが、地域の違い、文化の違い、国の違い等によってユーザの意志表示のための動作が異なるものであれば、どんな動作でも適用可能である。
【００８８】
また、第２実施形態では、１つのサーバ９７に全ての各種テーブルを記憶させたが、例えば、個人情報に関わるデータを記憶するサーバと、変換テーブルを記憶するサーバとに分けてもよい。
【符号の説明】
【００８９】
１ テレビ会議システム
２ ネットワーク
３〜６ 端末装置
７ サーバ
２８ ディスプレイ
２９ キーボード
３１ ハードディスクドライブ
３２ カードリーダ制御部
３３ カードリーダ
３４ カメラ
３５ マイク
９３〜９６ 端末装置
１００ テレビ会議システム
３１１ ログインテーブル記憶エリア
３１２ 属性情報テーブル記憶エリア
３１３ 動画記憶エリア
３１４ 変換テーブル記憶エリア
【技術分野】
【０００１】
本発明は、相手側の通信装置との間で、画像と音声を双方向に送受信できる通信装置、通信システム、通信装置の通信制御方法、通信制御プログラムに関する。
【背景技術】
【０００２】
従来、複数の通信装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現できるテレビ会議システムが知られている。例えば、他地点のテレビ会議端末装置から送信された画像と音声を受信する受信部と、この受信部で受信された画像を表示するディスプレイ装置と、画像を撮影するカメラと、音声を集音するマイクと、前記受信部で受信された音声を出力するスピーカと、前記カメラで撮影された画像と前記マイクで集音された音声を他地点のテレビ会議端末装置に送信する送信部とを備えたテレビ会議システムが知られている（例えば、特許文献１参照）。このシステムでは、ディスプレイ装置に表示された他地点の画像を見ながら相手と会話することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３９８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のテレビ会議システムにおいては、会話をする話者と聞き手の属性の違いによって、意思表示の際に使用する身振り等が異なる場合がある。属性とは、国や、文化圏等のように、その人の性質や特徴を表すものである。例えば、日本では首を横方向に振ると「ＮＯ」、縦方向に振ると「ＹＥＳ」の意味となるが、ブルガリアでは首を横方向に振ると「ＹＥＳ」、縦方向に振ると「ＮＯ」の意味となる。このような場合、会話に混乱を生じるという問題点があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、属性の違いによって意思表示の動作が異なる場合でも、混乱なく自然な会話を実現できる通信装置、通信システム、通信制御方法、通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に係る発明の通信装置は、ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置であって、ユーザを識別するための情報である属性情報を取得する属性情報取得手段と、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、当該画像取得手段によって取得された前記画像を表示する表示手段と、ユーザの反応動作を検出する反応動作検出手段と、当該反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、当該意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、当該反応動作時画像取得手段によって取得された前記反応動作時画像を他の通信装置に送信する反応動作時画像送信手段と、他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段とを備えている。
【０００７】
また、請求項２に係る発明の通信装置は、請求項１に記載の発明の構成に加え、前記意味内容特定手段によって特定された意味内容を、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報に基づき、前記他の通信装置から送信された前記属性情報が示す属性に対応する反応動作に変換する属性反応動作変換手段と、前記反応動作検出手段によって検出された前記反応動作と、前記属性反応動作変換手段によって変換された前記反応動作とが一致するか否かを判断する反応動作一致判断手段とを備え、前記反応動作時画像取得手段は、前記反応動作一致判断手段によって前記反応動作が一致しないと判断された場合に、前記意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得することを特徴とする。
【０００８】
また、請求項３に係る発明の通信装置は、請求項１又は２に記載の発明の構成に加え、前記反応動作検出手段によって前記ユーザの反応動作が検出された場合に、前記撮影手段によって撮影された前記反応動作時画像を、前記反応動作時画像記憶手段に記憶する反応動作時画像記憶処理手段を備えている。
【０００９】
また、請求項４に係る発明の通信装置は、請求項１乃至３の何れかに記載の発明の構成に加え、前記表示手段には、前記他の通信装置からストリーミング配信される前記画像が表示され、前記表示制御手段は、前記反応動作時画像受信手段によって前記反応動作時画像が受信された場合に、前記表示手段に表示される画像に割り込んで、前記反応動作時画像を表示させることを特徴とする。
【００１０】
また、請求項５に係る発明の通信装置は、請求項１乃至４の何れかに記載の発明の構成に加え、前記反応時動作は、ユーザの顔が振れる頷き動作であって、当該頷き動作の種類には、前記顔が上下方向に振れる第１頷き動作と、前記顔が左右方向に振れる第２頷き動作とが含まれ、前記属性別反応動作情報において、前記意味情報には、肯定する第１意味内容と、否定する第２意味内容とが含まれ、前記属性情報毎に、前記第１頷き動作に対して、前記第１意味内容又は前記第２意味内容が設定され、前記第２頷き動作に対して、前記第１頷き動作に設定された前記意味内容とは反対の意味内容である前記第１意味内容又は前記第２意味内容が設定されたことを特徴とする。
【００１１】
また、請求項６に係る発明の通信装置は、請求項１乃至５の何れかに記載の発明の構成に加え、前記属性情報は、ユーザが居住する地域を示す地域情報であることを特徴とする。
【００１２】
また、請求項７に係る発明の通信装置は、請求項１乃至５の何れかに記載の発明の構成に加え、前記属性情報は、ユーザが居住する国を示す国情報であることを特徴とする。
【００１３】
また、請求項８に係る発明の通信システムは、ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、前記複数の通信装置間で画像と音声を介した通信を行う通信システムであって、前記サーバは、ユーザを識別するための属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段と、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段とを備え、前記通信装置は、ユーザの属性情報を取得する属性情報取得手段と、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、当該画像取得手段によって取得された前記画像を表示する表示手段と、ユーザの反応動作を検出する反応動作検出手段と、前記サーバに接続して、前記反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、当該意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、当該反応動作時画像取得手段によって取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信手段と、前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段とを備えている。
【００１４】
また、請求項９に係る発明の通信制御方法は、ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置の通信制御方法であって、ユーザを識別するための情報である属性情報を取得する属性情報取得ステップと、ユーザを撮影する撮影手段により撮影された画像を取得する画像取得ステップと、当該画像取得ステップにおいて取得された前記画像を表示手段に表示させる表示ステップと、ユーザの反応動作を検出する反応動作検出ステップと、当該反応動作検出ステップにおいて検出された反応動作が示す意味内容を、前記属性情報取得ステップにおいて取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定ステップと、当該意味内容特定ステップによって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得ステップと、当該反応動作時画像取得ステップにおいて取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信ステップと、前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御ステップとを備えている。
【００１５】
また、請求項１０に係る発明の通信制御プログラムは、請求項１乃至７の何れかに記載の通信装置の各種処理手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１６】
請求項１に係る発明の通信装置では、ネットワークを介して接続された他の通信装置と画像と音声を介した通信が行われる。属性情報取得手段はユーザを識別するための情報である属性情報を取得する。画像取得手段はユーザを撮影する撮影手段により撮影された画像を取得する。表示手段にはその取得された画像が表示される。属性別反応動作情報記憶手段には、属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報が記憶されている。反応動作時画像記憶手段には、ユーザの属性情報と、ユーザの反応動作時の画像である反応動作時画像とが対応付けられて記憶されている。ユーザの反応動作は反応動作検出手段によって検出される。意味内容特定手段は、反応動作検出手段によって検出された反応動作が示す意味内容を、属性情報取得手段によって取得されたユーザの属性情報において、属性別反応動作情報記憶手段に記憶された属性別反応動作情報から特定する。反応動作時画像取得手段は、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された反応動作時画像から取得する。反応動作時画像送信手段は、反応動作時画像取得手段によって取得された反応動作時画像を他の通信装置に送信する。表示制御手段は、他の通信装置から送信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
【００１７】
また、請求項２に係る発明の通信装置では、請求項１に記載の発明の効果に加え、属性反応動作変換手段は、意味内容特定手段によって特定された意味内容を、属性別反応動作情報記憶手段に記憶された属性別反応動作情報に基づき、他の通信装置から送信された属性情報が示す属性に対応する反応動作に変換する。反応動作一致判断手段が、反応動作検出手段によって検出された反応動作と、属性反応動作変換手段によって変換された反応動作とが一致するか否かを判断する。反応動作時画像取得手段は、反応動作一致判断手段によって反応動作が一致しないと判断された場合に、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された反応動作時画像から取得する。このように、反応動作が一致しない場合にだけ、反応動作時画像を取得するので処理を簡素化できる。つまり、反応動作が一致する場合は、反応動作時画像を取得する必要がないので、画像取得手段によって取得された画像を表示手段にそのまま表示させることができる。
【００１８】
また、請求項３に係る発明の通信装置では、請求項１又は２に記載の発明の効果に加え、反応動作時画像記憶処理手段は、反応動作検出手段によってユーザの反応動作が検出された場合に、撮影手段によって撮影された反応動作時画像を、反応動作時画像記憶手段に記憶する。これにより反応動作時画像を自ら演技して作成する手間が不要となる。
【００１９】
また、請求項４に係る発明の通信装置では、請求項１乃至３の何れかに記載の発明の効果に加え、表示手段には、他の通信装置からストリーミング配信される画像が表示される。表示制御手段は、反応動作時画像受信手段によって反応動作時画像が受信された場合に、表示手段に表示される画像に割り込んで、反応動作時画像を表示させる。これにより、表示手段に表示されている画像に割り込んで、ユーザの属性情報に対応する反応動作時画像を表示させることができる。
【００２０】
また、請求項５に係る発明の通信装置では、請求項１乃至４の何れかに記載の発明の効果に加え、反応時動作は、ユーザの顔が振れる頷き動作である。その頷き動作の種類には、顔が上下方向に振れる第１頷き動作と、顔が左右方向に振れる第２頷き動作とが含まれる。属性別反応動作情報において、意味情報には、肯定する第１意味内容と、否定する第２意味内容とが含まれる。属性情報毎に、第１頷き動作に対して、第１意味内容又は前記第２意味内容が設定されている。つまり、属性の違いによって、第１頷き動作の意味内容は異なる場合があるから、第１意味内容又は前記第２意味内容の何れかが設定される。一方、第２頷き動作に対しては、第１頷き動作に設定された意味内容とは反対の意味内容である第１意味内容又は第２意味内容が設定される。頷き動作は、属性の違いによって意味内容が正反対になる場合があるので、このような属性別反応動作情報を記憶することで、その属性に対応する反応動作を容易に取得できる。
【００２１】
また、請求項６に係る発明の通信装置では、請求項１乃至５の何れかに記載の発明の効果に加え、 ユーザが居住する地域を示す地域情報を属性情報とする。ユーザが居住する地域の違いによって、反応動作に対する意味内容が異なる場合、ユーザの反応動作を、他の通信装置から送信される相手側の地域情報が示す地域に対応する反応動作に変換し、その反応動作に対応する反応動作時画像を相手側の他の通信装置に送信することができる。これにより、各通信装置では、その地域に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の地域が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２２】
また、請求項７に係る発明の通信装置では、請求項１乃至５の何れかに記載の発明の効果に加え、ユーザが居住する国を示す国情報を属性情報とする。ユーザが居住する国の違いによって、反応動作に対する意味内容が異なる場合、ユーザの反応動作を、他の通信装置から送信される相手側の国情報が示す国に対応する反応動作に変換し、その反応動作に対応する反応動作時画像を相手側の他の通信装置に送信することができる。これにより、各通信装置では、その地域に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の国が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２３】
また、請求項８に係る発明の通信システムでは、ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、複数の通信装置間で画像と音声を介した通信が行われる。通信装置では、属性情報取得手段はユーザを識別するための情報である属性情報を取得する。画像取得手段はユーザを撮影する撮影手段により撮影された画像を取得する。表示手段には、第１表示制御手段によって、その取得された画像が表示される。ユーザの反応動作は反応動作検出手段によって検出される。意味内容特定手段は、反応動作検出手段によって検出された反応動作が示す意味内容を、属性情報取得手段によって取得されたユーザの属性情報において、サーバが所有する属性別反応動作情報記憶手段に記憶された属性別反応動作情報から特定する。反応動作時画像取得手段は、意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、サーバが所有する反応動作時画像記憶手段に記憶された反応動作時画像から取得する。反応動作時画像送信手段は、反応動作時画像取得手段によって取得された反応動作時画像を他の通信装置に送信する。一方、反応動作時画像受信手段は、他の通信装置から送信された反応動作時画像を受信する。第２表示制御手段は、反応動作時画像受信手段によって受信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２４】
また、請求項９に係る発明の通信制御方法では、属性情報取得ステップにおいて、ユーザを識別するための情報である属性情報を取得する。画像取得ステップにおいて、ユーザを撮影する撮影手段により撮影された画像を取得する。第１表示制御ステップにおいて、画像取得ステップにおいて取得された画像を表示手段に表示する。反応動作検出ステップにおいて、ユーザの反応動作を検出する。次いで、意味内容特定ステップにおいて、反応動作検出ステップにおいて検出された反応動作が示す意味内容を、属性情報取得ステップにおいて取得されたユーザの属性情報において、属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する。さらに、反応動作時画像取得ステップにおいて、意味内容特定ステップにおいて特定された意味内容に対応する反応動作時画像を、他の通信装置から送信された属性情報に対応する属性において、反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する。続いて、反応動作時画像送信ステップにおいて、反応動作時画像取得ステップにおいて取得された反応動作時画像を他の通信装置に送信する。また、反応動作時画像受信ステップにおいて、他の通信装置から送信された反応動作時画像を受信する。そして、第２表示制御ステップにおいて、反応動作時画像受信ステップにおいて受信された反応動作時画像を表示手段に表示させる。つまり、他の通信装置から送信される相手側の属性情報が示す属性に対応する反応動作の反応動作時画像を取得し、相手側の他の通信装置に送信することができる。これにより、各通信装置では、その属性に対応する反応動作時画像が表示手段に表示されるので、通信する者同士の属性が異なる場合であっても、混乱なく自然な会話を実現できる。
【００２５】
また、請求項１０に係る発明の通信制御プログラムでは、請求項１乃至７の何れかに記載の通信装置の各種処理手段としてコンピュータに実行させることによって、請求項１乃至７の何れかに記載の発明の効果を得ることができる。
【図面の簡単な説明】
【００２６】
【図１】テレビ会議システム１の構成を示すブロック図である。
【図２】端末装置３の電気的構成を示すブロック図である。
【図３】ＨＤＤ３１の各種記憶エリアを示す概念図である。
【図４】ログインテーブル３１１１の概念図である。
【図５】属性情報テーブル３１２１の概念図である。
【図６】動画記憶エリア３１３の概念図である。
【図７】変換テーブル３１４１の概念図である。
【図８】端末装置３のディスプレイ２８における一表示態様を示す図である。
【図９】端末装置６のディスプレイ２８における一表示態様を示す図である。
【図１０】上下に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（頷き前）である。
【図１１】上下に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（頷き後）である。
【図１２】左右に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（右に顔を振った後）である。
【図１３】左右に移動する顔の振れ加減を示す特徴量ｄ，ｅの説明図（左に顔を振った後）である。
【図１４】カメラ画像データ４０の概念図である。
【図１５】検出波形パターン（上下に頷き時）を示すグラフである。
【図１６】検出波形パターン（左右に頷き時）を示すグラフである。
【図１７】登録された頷き波形パターン（ｄ，ｅ）を示すグラフである。
【図１８】ＣＰＵ２０による通信制御処理のフローチャートである。
【図１９】図１８の続きを示すフローチャートである。
【図２０】テレビ会議システム１００の構成を示すブロック図である。
【図２１】サーバ９７の電気的構成を示すブロック図である。
【図２２】ＨＤＤ８３の各種記憶エリアを示す概念図である。
【図２３】動画テーブル８３３１の概念図である。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３を構成要素とするテレビ会議システム１の構成について、図１を参照して説明する。
【００２８】
テレビ会議システム１は、ネットワーク２を介して相互に接続され、かつ各拠点に設けられた複数の端末装置３、４、５、６とを備えている。テレビ会議システム１では、端末装置３、４、５、６間において、ネットワーク２を介して、画像、音声が互いに送受信されることで遠隔会議が実施される。本実施形態では、説明の便宜上、端末装置３は日本を拠点とし、端末装置４はアメリカを拠点とし、端末装置５はフランスを拠点とし、端末装置４を拠点とし、端末装置５はブルガリアを拠点としたシステムを想定する。
【００２９】
なお、本実施形態は、端末装置３〜６間における話者と聞き手の国の違いによって、「ＹＥＳ」「ＮＯ」の意志表示に使用される身振り等の意味が異なる場合でも、話者と聞き手の属性情報において、「ＹＥＳ」「ＮＯ」を表現する画像を切り替えることができる点に特徴がある。
【００３０】
次に、端末装置３の電気的構成について、図２を参照して説明する。なお、端末装置３〜６は全て同じ構成であるので、ここでは端末装置３の構成についてのみ説明し、他の端末装置４〜６については説明を省略する。
【００３１】
端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。
【００３２】
Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、カードリーダ制御部３２と、ユーザを撮影するためのカメラ３４と、ユーザの音声を取り込むためのマイク３５と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。カードリーダ制御部３２には、各ユーザが所有する識別カード（図示外）に記憶されたユーザを識別するためのユーザＩＤを読み込むためのカードリーダ３３が接続されている。
【００３３】
なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１６（図３参照）に記憶される。
【００３４】
次に、ＨＤＤ３１の各種記憶エリアについて、図３を参照して説明する。ＨＤＤ３１には、開催される会議にログインしたユーザを管理するログインテーブル３１１１（図４参照）を記憶するログインテーブル記憶エリア３１１と、属性情報テーブル３１２１（図５参照）を記憶する属性情報テーブル記憶エリア３１２と、ユーザが顔を上下又は左右に振る際の動画（図６参照）を記憶する動画記憶エリア３１３と、変換テーブル３１４１（図７参照）を記憶する変換テーブル記憶エリア３１４と、ユーザの頷き時の波形パターンを記憶する波形パターン記憶エリア３１５と、各種プログラムを記憶するプログラム記憶エリア３１６と、その他の情報記憶エリア３１７と、カメラ３４によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア３１８とが、少なくとも設けられている。
【００３５】
プログラム記憶エリア３１６には、端末装置３のメインプログラムや、他の端末装置４、５、６との間で遠隔会議を実行するための本発明の通信制御プログラム等が記憶されている。その他の情報記憶エリア３１７には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。
【００３６】
次に、ログインテーブル３１１１について、図４を参照して説明する。図４は、ログインテーブル３１１１の概念図である。ログインテーブル３１１１には、会議にログインしたユーザのユーザＩＤが記憶されるユーザＩＤ欄５１と、そのユーザＩＤが登録された端末装置３〜６の端末ＩＤとが記憶される端末ＩＤ欄５２とが対応付けられて設けられている。具体的には、ユーザＩＤ欄５１には、カードリーダ３３で読み取られた識別カード（図示外）に記憶されたユーザＩＤが記憶される。端末ＩＤ欄５２には、そのユーザＩＤを送信した端末装置３〜６の端末ＩＤが記憶される。なお、端末ＩＤとは、端末装置のマックアドレス等である。
【００３７】
例えば、端末装置４のユーザであるＢさんがログインする場合、Ｂさんは自身が所有する識別カードを端末装置４のカードリーダ３３に読み取らせる。すると、ログイン信号が相手側の端末装置３，５，６に送信され、ログインしたことが相手側に通知される。この場合、その識別カードに記憶されたユーザＩＤ＝「００２」と、そのユーザＩＤを送信した端末装置４の端末ＩＤ＝「０００２」とが、ログインテーブル３１１１のユーザＩＤ欄５１、端末ＩＤ欄５２に各々記憶される。その他のユーザについても同様に設定される。
【００３８】
なお、図４に示すログインテーブル３１１１では、端末装置３（端末ＩＤ＝０００１）のＡさん（ユーザＩＤ＝００１）、端末装置４（端末ＩＤ＝００２）のＢさん（ユーザＩＤ＝００２）、端末装置５（端末ＩＤ＝０００３）のＣさん（ユーザＩＤ＝０００３）、端末装置６（端末ＩＤ＝００４）のＤさん（ユーザＩＤ＝００４）がそれぞれログインしている状態を示している。
【００３９】
次に、属性情報テーブル３１２１について、図５を参照して説明する。属性情報テーブル３１２１は、ユーザの属性情報を記憶するテーブルである。属性情報テーブル３１２１には、ユーザＩＤ欄５３と、名前欄５４と、属性情報欄５５とが対応付けられて設けられている。ユーザＩＤ欄５３には、ユーザＩＤが記憶される。名前欄５４には、名前が記憶される。属性情報欄５５には、ユーザが居住する国名である国情報が記憶される。
【００４０】
例えば、属性情報テーブル３１２１の１行目は、ユーザＩＤ＝００１のＡさんの国が日本であることを示している。２行目は、ユーザＩＤ＝００２のＢさんの国がアメリカであることを示している。３行目は、ユーザＩＤ＝００３のＣさんの国がフランスであることを示している。４行目は、ユーザＩＤ＝００４のＤさんの国がブルガリアであることを示している。なお、他拠点のユーザの属性情報は各端末装置から送信され、ユーザＩＤ、名前と共に、各ユーザの属性情報が属性情報テーブル３１２１に登録される。
【００４１】
次に、動画記憶エリア３１３に記憶される動画データついて、図６を参照して説明する。動画記憶エリア３１３には、その拠点におけるユーザが「ＹＥＳ」と「ＮＯ」を意思表示したときの動画がそれぞれ記憶される。動画記憶エリア３１３には、ＹＥＳ動画欄５７と、ＮＯ動画欄５８とがそれぞれ対応付けられて設けられている。ＹＥＳ動画欄５７には、「ＹＥＳ」を意志表示したときの動画が記憶されている。ＮＯ動画欄５８には、「ＮＯ」を意志表示したときの動画が記憶されている。
【００４２】
例えば、ＹＥＳ動画欄５７には、ＡさんのＹＥＳ動画＝「ａａａ１．ａｖｉ」が記憶されている。ＮＯ動画欄５８には、ＡさんのＮＯ動画＝「ａａａ２．ａｖｉ」が記憶されている。「ａａａ１．ａｖｉ」はＡさんが顔を上下に振る動画である。「ａａａ２．ａｖｉ」はＡさんが顔を左右に振る動画である。
【００４３】
次に、変換テーブル３１４１について、図７を参照して説明する。変換テーブル３１４１は、「ＹＥＳ」「ＮＯ」を意志表示する際の動作を、ユーザの属性情報に基づいて変換するためのテーブルである。変換テーブル３１４１には、属性情報欄６１と、意味欄６２と、顔移動方向欄６３とが対応付けられて設けられている。属性情報欄６１には、ユーザの属性である国名が記憶されている。意味欄６２には、話者に対して肯定の意志表示である「ＹＥＳ」と、話者に対して否定の意志表示である「ＮＯ」とが記憶されている。顔移動方向欄６３には、「ＹＥＳ」と「ＮＯ」で意志表示する際の顔の移動方向が記憶されている。つまり、「ＹＥＳ」「ＮＯ」の意志表示の際の顔移動方向が国別に記憶されている。
【００４４】
例えば、変換テーブル３１４１の１行目には、日本のユーザが「ＹＥＳ」の意志表示をする際の顔の移動方向が「上下」であることが記憶されている。２行目には、日本のユーザが「ＮＯ」の意志表示をする際の顔の移動方向が「左右」であることが記憶されている。アメリカ、フランスにおいても、顔の移動方向は日本と同じである。ところが、ブルガリアでの「ＹＥＳ」「ＮＯ」の意志表示の際の顔移動方向は、日本、アメリカ、フランスの顔移動方向に対して全く逆になる。即ち、変換テーブル３１４１の７行目には、ブルガリアのユーザが「ＹＥＳ」の意志表示をする際の顔の移動方向が「左右」であることが記憶されている。８行目には、ブルガリアのユーザが「ＮＯ」の意志表示をする際の顔の移動方向が「上下」であることが記憶されている。
【００４５】
次に、ディスプレイ２８に表示される画像について、図８，図９を参照して説明する。会議中において、例えば、日本を拠点とする端末装置３のディスプレイ２８には、図８に示すように、他の端末装置４、５、６の各ユーザを映し出すために、３つの分割画面２８１、２８２、２８３がそれぞれ表示される。例えば、分割画面２８１は、ディスプレイ２８の略左半分に配置され、分割画面２８２は、ディスプレイ２８の右半分の上側に配置され、分割画面２８３は、ディスプレイ２８の右半分の下側に配置されて表示される。
【００４６】
分割画面２８１には、端末装置４のユーザの画像が映し出される。分割画面２８２には、端末装置５のユーザの画像が映し出される。分割画面２８３には、端末装置６のユーザの画像が映し出される。なお、表示態様についてはこれに限定されず、各分割画面２８１〜２８３の配置、大きさも自由に変更可能である。なお、図８では、端末装置４のユーザが顔を上下に振っている様子が分割画面２８１に映し出され、端末装置６のユーザが顔を上下に振っている様子が分割画面２８３に映し出された状態を示している。なお、端末装置６は、ブルガリアを拠点とする端末である。Ｄさんは「ＹＥＳ」を意志表示するために、実際は左右に顔を振っているのであるが、分割画面２８３には、Ｄさんが顔を上下に振っている画像が割り込まれて映し出されている。
【００４７】
一方、ブルガリアを拠点とする端末装置６のディスプレイ２８には、図９に示すように、他の端末装置３、４、５の各ユーザが３つの分割画面２８１、２８２、２８３にそれぞれ表示される。つまり、分割画面２８１には、端末装置３のユーザの画像が映し出される。分割画面２８２には、端末装置４のユーザの画像が映し出される。分割画面２８３には、端末装置５のユーザの画像が映し出される。なお、図９では、端末装置３，４，５の各ユーザが顔を左右に振っている様子が分割画面２８１〜２８３にそれぞれ映し出された状態を示している。Ａさん、Ｂさん、Ｃさんは「ＹＥＳ」を意志表示するために、実際は上下に顔を振っているのであるが、分割画面２８１〜２８３には、Ａさん、Ｂさん、Ｃさんが顔を左右に振っている画像が割り込まれて映し出されている。これにより、国によって「ＹＥＳ」「ＮＯ」の表現方法が異なる場合でも、そのユーザの属性に合った映像が割り込まれて表示されるので、混乱なく自然な会話を実現できる。
【００４８】
次に、ユーザの頷き動作を検出する方法について、図１０乃至図１４を参照して説明する。「頷き動作」とは、話者が話している内容に聞き手が納得したときに、聞き手の顔が「上下方向」又は「左右方向」に所定量以上に振れる動作をいう。本実施形態では、周知の画像処理によってユーザの顔の振れを検出するのであるが、例えば、特開２００７−９７６６８号公報に記載された状態識別装置による識別方法が適用可能である。
【００４９】
そこで、上記識別方法を適用した頷き検出方法の具体例について説明する。まず、カメラ３４から転送されたカメラ画像データが、ＨＤＤ３１のカメラ画像データ記憶エリア３１８（図３参照）に記憶される。そして、カメラ画像データ記憶エリア３１８に記憶されたカメラ画像から人物の画像を検出する。
【００５０】
次いで、検出された人物毎に顔の特徴量ｄ，ｅを算出する。本実施形態では、眉間又は目の検出によって眉間の位置座標を取得し、検出された顔の輪郭から、画像に写っている顔の最下端部の位置座標と、最右端部（又は最左端部）の位置座標とを取得する。そして、眉間の位置座標と最下端部の位置座標との差分値と、眉間の位置座標と最右端部の位置座標との差分値とを各々算出する。
【００５１】
例えば、カメラ画像に写っている顔が正面顔の場合、図１０に示すように、顎の位置座標が、顔の画像に写っている最下端部の位置座標として取得される。さらに、顔の右側の側頭部の位置座標が、顔の画像に写っている最右端部の位置座標として取得される。一方、カメラ画像に写っている顔がうつむき顔の場合、図１１に示すように、鼻など、より目に近い位置の座標が、顔の画像に写っている最下端部の位置座標として取得される。図１０および図１１の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、正面顔で最も長く、うつむき加減が大きいほど短くなる。一方、眉間から画像に写っている顔の最右端部までの距離ｅは、うつむき加減に関わらず変化しない。
【００５２】
また、カメラ画像に写っている顔が左右を向いた場合、図１０および図１２，図１３の対比から明らかであるように、眉間から画像に写っている顔の最下端部までの距離ｄは、変化しないが、眉間から画像に写っている顔の最右端部までの距離ｅは、左右に振れる角度が大きいほど短くなる。従って、距離ｄ，ｅの変化量から、顔の移動方向が検出できると共に、顔の上下方向、又は左右方向における振れ加減を判定できる。なお、特徴量抽出に基づく顔の識別については種々の技術が知られており、本実施形態では、そのいずれの技術をも採用できる。
【００５３】
そして、算出した特徴量ｄ，ｅに、カメラ画像の管理情報に含まれている撮影時刻の情報と、顔を検出して識別した際に割り当てたユーザＩＤとを付したカメラ画像データ４０（図１４参照）を生成し、カメラ画像データ記憶エリア３１８（図３参照）に記憶する。そして、上記処理を繰り返すことにより、カメラ画像データ記憶エリア３１８には、各時刻における聞き手のうつむき加減を表す複数のカメラ画像データ４０が蓄積される。
【００５４】
さらに、直前に生成した撮影時間１０秒分のカメラ画像データ４０を、カメラ画像データ記憶エリア３１８から読み込み、ユーザＩＤに基づいてユーザ別に分類する。続いて、各聞き手のデータを時刻情報に基づいて時系列に並べる。この時系列に並べられたデータ群から、特徴量（距離ｄ，ｅ）の経時変化を表す検出波形パターン（図１５，図１６参照）を生成する。
【００５５】
そして、生成した検出波形パターンを、ＨＤＤ３１の波形パターン記憶エリア３１５（図３参照）に予め登録されている波形パターン（図１７参照）と照合する。本実施形態では、顔を軽く上下方向に振る動作が行なわれたことを表す波形である１秒程度の短い第１波形パターン（図１７：実線ｄ参照）と、軽く左右方向に振る動作が行なわれたことを表す波形である１秒程度の短い第２波形パターン（図１７：点線ｅ参照）とがそれぞれが記憶されている。第１波形パターンを「第１頷きパターン」と呼ぶ。第２波形パターンを「第２頷きパターン」と呼ぶ。
【００５６】
つまり、図１５に示すように、特徴量ｅの検出波形パターンがほぼ変化しない直線であって、特徴量ｄの検出波形パターンが第１頷きパターンに一致する場合は、顔を上下に振って頷いていると判断できる。図１６に示すように、特徴量ｄの検出波形パターンがほぼ変化しない直線であって、特徴量ｅの検出波形パターンが第２頷きパターンに一致する場合は、顔を左右に振って頷いていると判断できる。なお、頷きパターンの波形は、このパターンに限らず、自由に変更可能である。
【００５７】
次に、上記構成からなる端末装置３のＣＰＵ２０によって実行される通信制御処理について、図１８，図１９のフローチャートを参照して説明する。
【００５８】
なお、この通信制御処理は、端末装置３のみならず、他の端末装置４〜６においても同様に行われるものである。従って、ここでは端末装置３のＣＰＵ２０によって実行される通信制御処理についてのみ説明する。
【００５９】
図１８に示すように、まず、各種データが初期化される（Ｓ１１）。続いて、ユーザのログインが完了したか否か判断される（Ｓ１３）。自拠点におけるログインが完了するまでは（Ｓ１３：ＮＯ）、Ｓ１３に戻って待機状態となる。例えば、端末装置３のＡさんがログインした場合、Ａさんの識別カードに記憶されたユーザ情報がＨＤＤ３１に記憶される。ログインテーブル３１１１（図４参照）のユーザＩＤ欄５１に「００１」が記憶され、端末ＩＤ欄５２に「０００１」が記憶される。そして、これと同時に、ログイン信号が相手側の端末装置４，５，６に送信される。
【００６０】
なお、相手側の端末装置４，５，６から送信されたログイン信号を受信した場合、端末装置３と同様に、ログインテーブル３１１１（図４参照）のユーザＩＤ欄５１に各ユーザＩＤが記憶され、端末ＩＤ欄５２には、そのユーザＩＤを送信した端末装置の端末ＩＤが記憶される。これにより、各端末装置では、現在ログインしているユーザが誰であるか、どこの端末装置でログインしたかを把握できる。
【００６１】
次いで、識別カードからユーザの属性情報が読み込まれ、属性情報テーブル３１２１（図５参照）に記憶される（Ｓ１４）。属性情報テーブル３１２１には、ＡさんのユーザＩＤと、Ａさんの名前と、その国情報（＝「日本」）とが登録される。さらに、映像通話が開始されたか否かが判断される（Ｓ１５）。例えば、ネットワーク２に接続している端末数が２つ未満の場合は映像通話ができない。また、ログインしたユーザが１拠点のみしか存在しないような場合も映像通話できない。このような場合（Ｓ１５：ＮＯ）、Ｓ１５に戻って待機状態となる。
【００６２】
そして、ネットワーク２に接続している端末数が２つ以上であって、映像通話が開始されたと判断された場合（Ｓ１５：ＹＥＳ）、属性情報テーブル３１２１に登録されたＡさんの属性情報が相手側の端末装置４，５，６にそれぞれ送信される（Ｓ１６）。端末装置４，５，６では、Ａさんの属性情報が受信されて各ＨＤＤ３１に記憶される。
【００６３】
ところで、映像通話中は、他の端末装置４，５，６から各拠点の画像がストリーミング配信される。ストリーミング配信される画像の画像データはエンコードされた状態で受信される。その受信された画像データはデコードされて無圧縮化される。その無圧縮化された画像がディスプレイ２８の分割画面２８１〜２８３においてバッファ再生される。なお、画像データを受信するＣＰＵ２０が本発明の「画像取得手段」に相当する。
【００６４】
続いて、Ａさんの顔移動が検出されたか否かが判断される（Ｓ１７）。例えば、日本人であるＡさんが話者に対して「ＹＥＳ」の意志表示をするために、顔を上下に振って頷いた場合、その顔移動が検出され（Ｓ１７：ＹＥＳ）、そのときの映像が録画される（Ｓ１８）。そして、その顔移動方向が上述の方法によって検出される（Ｓ１９）。
【００６５】
次いで、Ａさんの属性情報（＝「日本」）と、カメラ画像から特定された顔移動方向（＝「上下」）とから、その反応動作が示す意味が取得される（Ｓ２０）。このとき、ＨＤＤ３１に記憶された変換テーブル３１４１（図７参照）が参照される。例えば、Ａさんの属性情報＝「日本」であって、顔移動方向が「上下」と特定されると、意味として「ＹＥＳ」が取得される。そして、ＨＤＤ３１の動画記憶エリア３１３（図６参照）のＹＥＳ動画欄５７に、Ａさんが上下に顔を振って頷いたときの動画（＝「ａａａ１．ａｖｉ」）が記憶される（Ｓ２１）。
【００６６】
次いで、相手側の端末装置４、５，６に向けて、自拠点の映像が配信中か否かが判断される（Ｓ２３）。映像が配信中である場合（Ｓ２３：ＹＥＳ）、配信先の端末装置４，５，６から属性情報が取得される（Ｓ２４）。端末装置４，５，６から送信されたＢさん、Ｃさん、Ｄさんの属性情報は、ＨＤＤ３１に記憶された属性情報テーブル３１２１（図５参照）に登録される。これにより、各端末装置３，４，５，６の各ユーザの属性情報が管理される。
【００６７】
次いで、配信先の各ユーザの属性情報に対応する顔移動方向が特定される（Ｓ２５）。ここでは、自拠点において検出された顔移動方向の意味が、配信先ではどのような意味になるかを確認する。即ち、自拠点において検出された顔移動方向の意味から、ＨＤＤ３１に記憶された変換テーブル３１４１（図７参照）を参照して、配信先の顔移動方向が特定される。
【００６８】
例えば、自拠点において検出されたＡさんの顔移動方向の意味が「ＹＥＳ」であった場合、アメリカを拠点とする端末装置４においては、Ｂさんの属性がアメリカであるので、顔移動方向は「上下」である。つまり、日本とアメリカでは、「ＹＥＳ」「ＮＯ」を意志表示する際の顔を振る方向が同じである。ところが、ブルガリアを拠点とする端末装置６においては、Ｄさんの属性がブルガリアであるので、顔移動方向は「左右」である。つまり、日本とブルガリアでは、「ＹＥＳ」「ＮＯ」を意志表示する際の顔を振る方向が全く逆になる。
【００６９】
そこで、自拠点で検出された顔移動方向と、変換テーブル３１４１で特定された配信先の顔移動方向とが比較され、互いに一致しているか否かが判断される（Ｓ２６）。前者のように、配信先がアメリカを拠点とする端末装置４である場合は、顔移動方向が一致しているので（Ｓ２６：ＹＥＳ）、カメラ３４で撮像されたカメラ画像がそのままストリーミング配信される（Ｓ２９）。つまり、アメリカを拠点とする端末装置４のディスプレイ２８には、端末装置３のカメラ画像がそのまま表示される。
【００７０】
ところが、後者のように、配信先がブルガリアを拠点とする端末装置６である場合は、顔移動方向が一致していないので（Ｓ２６：ＮＯ）、カメラ画像をそのまま配信してしまうと、ブルガリアでは「ＹＥＳ」「ＮＯ」の意志表示が反対に伝わってしまい、会話に混乱を起こしかねない。そこで、ＨＤＤ３１に記憶された動画記憶エリア３１３（図６参照）から、自拠点で検出された顔移動方向から取得された意味に相当する配信先の属性に対応する動画が取得される（Ｓ２７）。
【００７１】
ここで、例えば、ブルガリアを拠点とする端末装置６のＤさんが話者で、日本を拠点とする端末装置３のＡさんが聞き手であった場合を想定する。端末装置３において、Ａさんが顔を「上下」に振って頷いたときの反応動作が検出された場合、Ａさんは「ＹＥＳ」の意志表示をしている。ところがブルガリアでは、「ＹＥＳ」の意志表示をする場合顔を左右に振るので、顔の移動方向が一致しない。この場合、ＨＤＤ３１の動画記憶エリア３１３のＮＯ動画欄５８に記憶された左右に顔を振る動作の動画（＝「ａａａ２．ａｖｉ」）が取得される（Ｓ２７）。
【００７２】
そして、取得された左右に顔を振る動作の動画が、ストリーミング画像に割り込まれて配信される（Ｓ２８）。なお、動画がストリーミング画像に割り込まれるタイミングは、Ａさんの顔の移動が検出されたタイミングに合わせられる。そして、割り込まれて配信された動画の時間分はストリーミング配信は中断される。これにより、図９に示すように、端末装置６のディスプレイ２８の分割画面２８１では、実際はＡさんが上下に顔を振っている映像が配信されるところに、左右に顔を振っている動画が表示される。これにより、ディスプレイ２８の分割画面２８１を見て話しをするＤさんは、何の違和感もなく、会話を続けることができる。このように、ストリーミング画像に割り込まれて配信され動画をディスプレイ２８に表示させる処理を実行するＣＰＵ２０が本発明の「表示制御手段」に相当する。
【００７３】
次いで、映像通話中か否かが判断される（Ｓ３０）。映像通話が終了した場合（Ｓ３０：ＮＯ）、処理は終了する。まだ映像通話が続いている場合（Ｓ３０：ＹＥＳ）、図１８のＳ１７に戻り、再度、ユーザの顔移動が検出されたか否かが判断される。なお、ここでは、ＨＤＤ３１の動画記憶エリア３１３に「ＹＥＳ」「ＮＯ」の動画が何れも記憶されている場合は、新たに動画記憶エリア３１３に動画を記憶させる必要はないので、映像配信中か否かが判断される（Ｓ２３）。そして、映像が配信中である場合は、上述の処理（Ｓ２４〜Ｓ２９）が実行される。映像が配信中でない場合（Ｓ２３：ＮＯ）、映像通話中であるか否かが判断され、（Ｓ３０）、映像通話が終了した場合（Ｓ３０：ＮＯ）、処理は終了する。
【００７４】
以上説明したように、本実施形態のテレビ会議システム１では、端末装置３〜６間における話者と聞き手の国の違いによって、「ＹＥＳ」「ＮＯ」の意志表示に使用される身振り等の意味が異なる場合でも、話者と聞き手の属性情報において、「ＹＥＳ」「ＮＯ」を表現する画像を切り替えることができる点に特徴がある。端末装置３のＨＤＤ３１には、「ＹＥＳ」「ＮＯ」の各動画（図６参照）と、各端末装置３〜６のログインしたユーザの属性情報を記憶する属性情報テーブル３１２１（図５参照）と、「ＹＥＳ」「ＮＯ」を意志表示する際の動作をユーザの属性情報に基づいて変換するための変換テーブル３１４１とが記憶されている。このような構成で、自拠点のユーザの顔移動が検出される。さらに、その検出された顔移動の移動方向が特定されその意味が取得される。そして、配信先のユーザの属性情報に基づき、その取得された意味に対応する顔移動方向が変換テーブル３１４１を参照して取得される。ここで、自拠点で検出された顔移動方向と、配信先の属性情報に基づいて変換された顔移動方向とが一致していない場合、意思表示の動作が異なるので、会話が混乱するおそれがある。そこで、配信先の属性情報に基づいて変換された顔移動方向に顔を振る動画に変更して相手側の端末装置に配信する。これにより、動画を配信された端末装置では、自拠点の意志表示に合った動作がディスプレイ２８に表示されるので、混乱することなく会話をスムーズに行うことができる。
【００７５】
次に、本発明の第２実施形態であるテレビ会議システム１００について、図２０乃至図２３を参照して説明する。テレビ会議システム１００は、第１実施形態のテレビ会議システム１の変形例である。図２０に示すように、テレビ会議システム１００では、第１実施形態の端末装置３において、ＨＤＤ３１に記憶していたログインテーブル３１１１（図４参照）、属性情報テーブル３１２１（図５参照）、ユーザの「ＹＥＳ」「ＮＯ」を意志表示する際の動画（図６参照）、変換テーブル３１４１等を、サーバ９７に記憶させている。
【００７６】
テレビ会議システム１００は、ネットワーク２と、該ネットワーク２を介して相互に接続され、かつ各拠点に設けられた複数の端末装置９３、９４、９５、９６と、各種テーブルを記憶するサーバ９７とを備えている。
【００７７】
サーバ９７は、図２１に示すように、サーバ９７の制御を司るコントローラとしてのＣＰＵ７０が設けられている。ＣＰＵ７０には、ＢＩＯＳ等を記憶したＲＯＭ７１と、各種データを一時的に記憶するＲＡＭ７２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス８０とが接続されている。Ｉ／Ｏインタフェイス８０には、各種記憶エリアを有するハードディスクドライブ８３（以下、ＨＤＤ８３）が接続されている。
【００７８】
Ｉ／Ｏインタフェイス８０には、ネットワーク２と通信するための通信装置７５と、マウス７７と、ビデオコントローラ７３と、キーコントローラ７４と、ＣＤ−ＲＯＭドライブ７６とが各々接続されている。ビデオコントローラ７３には、ディスプレイ７８が接続されている。キーコントローラ７４には、キーボード７９が接続されている。
【００７９】
なお、ＣＤ−ＲＯＭドライブ７６に挿入されるＣＤ−ＲＯＭ１２４には、サーバ９７のメインプログラム等が記憶されている。ＣＤ−ＲＯＭ１２４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１２４からＨＤＤ８３にセットアップされて、後述するプログラム記憶エリア８３６（図２２参照）に記憶される。
【００８０】
次に、ＨＤＤ８３の各種記憶エリアについて、図２２を参照して説明する。ＨＤＤ８３には、ネットワーク２にログインしたユーザを管理するログインテーブル３１１１（図４参照）を記憶するログインテーブル記憶エリア８３１と、属性情報テーブル３１２１（図５参照）を記憶する属性情報テーブル記憶エリア８３２と、ユーザが顔を上下又は左右に振る際の動画をユーザ毎に管理する動画テーブル８３３１（図２３参照）を記憶する動画記憶エリア８３３と、変換テーブル３１４１（図７参照）を記憶する変換テーブル記憶エリア８３４と、ユーザの頷き時の波形パターンを記憶する波形パターン記憶エリア８３５と、各種プログラムを記憶するプログラム記憶エリア８３６と、その他の情報記憶エリア８３７と、カメラ３４によって撮影されるカメラ画像を記憶するカメラ画像データ記憶エリア８３８とが、少なくとも設けられている。
【００８１】
なお、ＨＤＤ８３に記憶されるログインテーブル３１１１（図４参照）、属性情報テーブル３１２１（図５参照）、変換テーブル３１４１（図７参照）は、第１実施形態と同じものである。
【００８２】
次に、動画テーブル８３３１について、図２３を参照して説明する。動画テーブル８３３１には、ユーザＩＤ欄１５６と、ＹＥＳ動画欄１５７と、ＮＯ動画欄１５８とが対応付けられて設けられている。ユーザＩＤ欄１５６には、各端末装置３〜６でログインしたユーザを識別するための識別ＩＤが記憶される。ＹＥＳ動画欄１５７には、ユーザＩＤによって識別されるユーザが「ＹＥＳ」の意志表示をする際の動画が記憶される。ＮＯ動画欄１５８には、ユーザＩＤによって識別されるユーザが「ＮＯ」の意志表示をする際の動画が記憶される。
【００８３】
例えば、動画テーブル８３３１の１行目には、Ａさん（ユーザＩＤ＝「００１」）のＹＥＳ動画＝「ａａａ１．ａｖｉ」と、ＮＯ動画＝「ａａａ２．ａｖｉ」とが各々記憶されている。２行目には、Ｂさん（ユーザＩＤ＝「００２」）のＹＥＳ動画＝「ｂｂｂ１．ａｖｉ」と、ＮＯ動画＝「ｂｂｂ２．ａｖｉ」とが各々記憶されている。３行目には、Ｃさん（ユーザＩＤ＝「００３」）のＹＥＳ動画＝「ｃｃｃ１．ａｖｉ」と、ＮＯ動画＝「ｃｃｃ２．ａｖｉ」とが各々記憶されている。４行目には、Ｄさん（ユーザＩＤ＝「００４」）のＹＥＳ動画＝「ｄｄｄ１．ａｖｉ」と、ＮＯ動画＝「ｄｄｄ２．ａｖｉ」とが各々記憶されている。このように、各ユーザ毎にＹＥＳ動画とＮＯ動画を管理しているので、所望のユーザの動画を簡単に取得できる。
【００８４】
次に、上記構成からなるテレビ会議システム１００の端末装置９３のＣＰＵによる通信制御処理について簡単に説明する。端末装置９３のＣＰＵによる通信制御処理は、図１８，図１９のフローチャートとほぼ同様に実行される。つまり、初期化された後で（Ｓ１１）サーバ９７に接続することによって、ＨＤＤ８３に記憶されたログインテーブル３１１１（図４参照）、属性情報テーブル３１２１（図５参照）、変換テーブル３１４１（図７参照）、動画テーブル８３３１（図２３参照）を利用することが可能となる。
【００８５】
そして、図１８に示すＳ２１では、録画された動画は、図２３に示すように、ＨＤＤ８３の動画テーブル８３３１にユーザ毎に各々記憶される。つまり、ユーザ毎に、ＹＥＳ動画とＮＯ動画とが各々記憶される。さらに、図１９に示すＳ２８では、動画テーブル８３３１から各拠点でログインしたユーザの該当する動画が取得される。このようにして、第１実施形態と同様の効果を得ることができる。また、各種テーブルをサーバ９７に記憶させることで、第１実施形態に比べ、各端末装置９３〜９６の記憶容量を節約できる点に利点がある。
【００８６】
以上の説明において、図１に示す端末装置３〜６が本発明の「通信装置」に相当する。図８に示すディスプレイ２８が本発明の「表示手段」に相当する。ＨＤＤ３１の変換テーブル記憶エリア３１４が本発明の「属性別反応動作情報記憶手段」に相当し、ＨＤＤ３１の動画記憶エリア３１３が本発明の「属性別反応動作情報記憶手段」に相当する。また、図１８のＳ２０の処理を実行するＣＰＵ２０が本発明の「意味内容特定手段」に相当し、Ｓ２１の処理を実行するＣＰＵ２０が本発明の「反応動作時画像記憶処理手段」に相当し、図１９のＳ２５の処理を実行するＣＰＵ２０が本発明の「属性反応動作変換手段」に相当し、Ｓ２６の処理を実行するＣＰＵ２０が本発明の「反応動作一致判断手段」に相当し、Ｓ２７の処理を実行するＣＰＵ２０が本発明の「反応動作時画像取得手段」に相当し、Ｓ２８の処理を実行するＣＰＵ２０が本発明の「反応動作時画像送信手段」に相当する。
【００８７】
なお、本発明は、上記の第１，第２実施形態に限定されることなく、種々の変更が可能である。例えば、第１実施形態では、ユーザの反応動作として、「頷き」を例にして説明したが、地域の違い、文化の違い、国の違い等によってユーザの意志表示のための動作が異なるものであれば、どんな動作でも適用可能である。
【００８８】
また、第２実施形態では、１つのサーバ９７に全ての各種テーブルを記憶させたが、例えば、個人情報に関わるデータを記憶するサーバと、変換テーブルを記憶するサーバとに分けてもよい。
【符号の説明】
【００８９】
１ テレビ会議システム
２ ネットワーク
３〜６ 端末装置
７ サーバ
２８ ディスプレイ
２９ キーボード
３１ ハードディスクドライブ
３２ カードリーダ制御部
３３ カードリーダ
３４ カメラ
３５ マイク
９３〜９６ 端末装置
１００ テレビ会議システム
３１１ ログインテーブル記憶エリア
３１２ 属性情報テーブル記憶エリア
３１３ 動画記憶エリア
３１４ 変換テーブル記憶エリア
【特許請求の範囲】
【請求項１】
ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置であって、
ユーザを識別するための情報である属性情報を取得する属性情報取得手段と、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、
当該画像取得手段によって取得された前記画像を表示する表示手段と、
ユーザの反応動作を検出する反応動作検出手段と、
当該反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、
当該意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、
当該反応動作時画像取得手段によって取得された前記反応動作時画像を他の通信装置に送信する反応動作時画像送信手段と、
他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記意味内容特定手段によって特定された意味内容を、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報に基づき、前記他の通信装置から送信された前記属性情報が示す属性に対応する反応動作に変換する属性反応動作変換手段と、
前記反応動作検出手段によって検出された前記反応動作と、前記属性反応動作変換手段によって変換された前記反応動作とが一致するか否かを判断する反応動作一致判断手段と
を備え、
前記反応動作時画像取得手段は、
前記反応動作一致判断手段によって前記反応動作が一致しないと判断された場合に、前記意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記反応動作検出手段によって前記ユーザの反応動作が検出された場合に、前記撮影手段によって撮影された前記反応動作時画像を、前記反応動作時画像記憶手段に記憶する反応動作時画像記憶処理手段を備えたことを特徴とする請求項１又は２に記載の通信装置。
【請求項４】
前記表示手段には、前記他の通信装置からストリーミング配信される前記画像が表示され、
前記表示制御手段は、
前記反応動作時画像受信手段によって前記反応動作時画像が受信された場合に、前記表示手段に表示される画像に割り込んで、前記反応動作時画像を表示させることを特徴とする請求項１乃至３の何れかに記載の通信装置。
【請求項５】
前記反応時動作は、ユーザの顔が振れる頷き動作であって、
当該頷き動作の種類には、
前記顔が上下方向に振れる第１頷き動作と、
前記顔が左右方向に振れる第２頷き動作と
が含まれ、
前記属性別反応動作情報において、
前記意味情報には、
肯定する第１意味内容と、
否定する第２意味内容と
が含まれ、
前記属性情報毎に、
前記第１頷き動作に対して、前記第１意味内容又は前記第２意味内容が設定され、
前記第２頷き動作に対して、前記第１頷き動作に設定された前記意味内容とは反対の意味内容である前記第１意味内容又は前記第２意味内容が設定されたことを特徴とする請求項１乃至４の何れかに記載の通信装置。
【請求項６】
前記属性情報は、ユーザが居住する地域を示す地域情報であることを特徴とする請求項１乃至５の何れかに記載の通信装置。
【請求項７】
前記属性情報は、ユーザが居住する国を示す国情報であることを特徴とする請求項１乃至５の何れかに記載の通信装置。
【請求項８】
ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、前記複数の通信装置間で画像と音声を介した通信を行う通信システムであって、
前記サーバは、
ユーザを識別するための属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段と、
ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段と
を備え、
前記通信装置は、
ユーザの属性情報を取得する属性情報取得手段と、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、
当該画像取得手段によって取得された前記画像を表示する表示手段と、
ユーザの反応動作を検出する反応動作検出手段と、
前記サーバに接続して、前記反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、
当該意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、
当該反応動作時画像取得手段によって取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信手段と、
前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信システム。
【請求項９】
ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置の通信制御方法であって、
ユーザを識別するための情報である属性情報を取得する属性情報取得ステップと、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得ステップと、
当該画像取得ステップにおいて取得された前記画像を表示手段に表示させる表示ステップと、
ユーザの反応動作を検出する反応動作検出ステップと、
当該反応動作検出ステップにおいて検出された反応動作が示す意味内容を、前記属性情報取得ステップにおいて取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定ステップと、
当該意味内容特定ステップによって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得ステップと、
当該反応動作時画像取得ステップにおいて取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信ステップと、
前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御ステップと
を備えたことを特徴とする通信制御方法。
【請求項１０】
請求項１乃至７の何れかに記載の通信装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。
【請求項１】
ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置であって、
ユーザを識別するための情報である属性情報を取得する属性情報取得手段と、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、
当該画像取得手段によって取得された前記画像を表示する表示手段と、
ユーザの反応動作を検出する反応動作検出手段と、
当該反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、
当該意味内容特定手段によって特定された意味内容に対応する反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、
当該反応動作時画像取得手段によって取得された前記反応動作時画像を他の通信装置に送信する反応動作時画像送信手段と、
他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記意味内容特定手段によって特定された意味内容を、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報に基づき、前記他の通信装置から送信された前記属性情報が示す属性に対応する反応動作に変換する属性反応動作変換手段と、
前記反応動作検出手段によって検出された前記反応動作と、前記属性反応動作変換手段によって変換された前記反応動作とが一致するか否かを判断する反応動作一致判断手段と
を備え、
前記反応動作時画像取得手段は、
前記反応動作一致判断手段によって前記反応動作が一致しないと判断された場合に、前記意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記反応動作検出手段によって前記ユーザの反応動作が検出された場合に、前記撮影手段によって撮影された前記反応動作時画像を、前記反応動作時画像記憶手段に記憶する反応動作時画像記憶処理手段を備えたことを特徴とする請求項１又は２に記載の通信装置。
【請求項４】
前記表示手段には、前記他の通信装置からストリーミング配信される前記画像が表示され、
前記表示制御手段は、
前記反応動作時画像受信手段によって前記反応動作時画像が受信された場合に、前記表示手段に表示される画像に割り込んで、前記反応動作時画像を表示させることを特徴とする請求項１乃至３の何れかに記載の通信装置。
【請求項５】
前記反応時動作は、ユーザの顔が振れる頷き動作であって、
当該頷き動作の種類には、
前記顔が上下方向に振れる第１頷き動作と、
前記顔が左右方向に振れる第２頷き動作と
が含まれ、
前記属性別反応動作情報において、
前記意味情報には、
肯定する第１意味内容と、
否定する第２意味内容と
が含まれ、
前記属性情報毎に、
前記第１頷き動作に対して、前記第１意味内容又は前記第２意味内容が設定され、
前記第２頷き動作に対して、前記第１頷き動作に設定された前記意味内容とは反対の意味内容である前記第１意味内容又は前記第２意味内容が設定されたことを特徴とする請求項１乃至４の何れかに記載の通信装置。
【請求項６】
前記属性情報は、ユーザが居住する地域を示す地域情報であることを特徴とする請求項１乃至５の何れかに記載の通信装置。
【請求項７】
前記属性情報は、ユーザが居住する国を示す国情報であることを特徴とする請求項１乃至５の何れかに記載の通信装置。
【請求項８】
ネットワークを介して相互に接続された複数の通信装置とサーバとを備え、前記複数の通信装置間で画像と音声を介した通信を行う通信システムであって、
前記サーバは、
ユーザを識別するための属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段と、
ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段と
を備え、
前記通信装置は、
ユーザの属性情報を取得する属性情報取得手段と、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得手段と、
当該画像取得手段によって取得された前記画像を表示する表示手段と、
ユーザの反応動作を検出する反応動作検出手段と、
前記サーバに接続して、前記反応動作検出手段によって検出された反応動作が示す意味内容を、前記属性情報取得手段によって取得されたユーザの属性情報において、前記属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定手段と、
当該意味内容特定手段によって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、前記反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得手段と、
当該反応動作時画像取得手段によって取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信手段と、
前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信システム。
【請求項９】
ネットワークを介して接続された他の通信装置と画像と音声を介した通信を行う通信装置の通信制御方法であって、
ユーザを識別するための情報である属性情報を取得する属性情報取得ステップと、
ユーザを撮影する撮影手段により撮影された画像を取得する画像取得ステップと、
当該画像取得ステップにおいて取得された前記画像を表示手段に表示させる表示ステップと、
ユーザの反応動作を検出する反応動作検出ステップと、
当該反応動作検出ステップにおいて検出された反応動作が示す意味内容を、前記属性情報取得ステップにおいて取得されたユーザの属性情報において、前記属性情報毎に、ユーザの反応動作と、それら反応動作が示す意味内容である意味情報とを対応付けた属性別反応動作情報を記憶する属性別反応動作情報記憶手段に記憶された前記属性別反応動作情報から特定する意味内容特定ステップと、
当該意味内容特定ステップによって特定された意味内容に対応する前記反応動作時画像を、前記他の通信装置から送信された前記属性情報に対応する前記属性において、ユーザの前記属性情報と、前記ユーザの反応動作時の画像である反応動作時画像とを対応付けて記憶する反応動作時画像記憶手段に記憶された前記反応動作時画像から取得する反応動作時画像取得ステップと、
当該反応動作時画像取得ステップにおいて取得された前記反応動作時画像を前記他の通信装置に送信する反応動作時画像送信ステップと、
前記他の通信装置から送信された前記反応動作時画像を前記表示手段に表示させる表示制御ステップと
を備えたことを特徴とする通信制御方法。
【請求項１０】
請求項１乃至７の何れかに記載の通信装置の各種処理手段としてコンピュータを機能させるための通信制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−２２６５４２（Ｐ２０１０−２２６５４２Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７２９８０（Ｐ２００９−７２９８０）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]