遠隔会議装置、遠隔会議方法、および遠隔会議プログラム
【課題】小規模のシステムを用いて、遠隔地に存在する複数のユーザが、あたかも１つの空間の中に存在するかのように、より豊かなコミュニケーションを実現する。
【解決手段】遠隔会議装置１１であって、円形の表示領域を有する表示手段１０４と、自ユーザの映像を撮像するカメラ１０３と、撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段１０７と、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段１０６とを有する。
【解決手段】遠隔会議装置１１であって、円形の表示領域を有する表示手段１０４と、自ユーザの映像を撮像するカメラ１０３と、撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段１０７と、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段１０６とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザが、ネットワークを介して会議を行う遠隔会議技術に関する。
【背景技術】
【０００２】
核家族化や、サテライトオフィス化などが進み、仲の良い、同じコミュニティの人同士が離れた場所で生活・活動する機会が増えている。このような状況では、直接会う機会が減り、コミュニケーションの機会が少なくなくなることが懸念されている。そのため、遠隔地をネットワークで繋いで、コミュニケーションをとるテレビ電話や、テレプレゼンスなどが開発されている。
【０００３】
また、特許文献１には、仮想空間の所望の始点から各ユーザを観察できる映像合成システムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３９４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、テレビ電話は相手の存在感を得られにくく、なかなか普及していない。また、テレプレゼンスのような大掛かりなシステムは、臨場感を得られるものの、家庭や小さなオフィスに設置するにはコストおよび設備の点から適していない。
【０００６】
また、特許文献１の映像合成システムでは、１対１のコミュニケーションであれば、互いに指差しなどのジェスチャをしても整合性が取れるが、３人以上のユーザがいる場合や３地点間のコミュニケーションには対応しきれておらず、指差しなどのジェスチャをしても、誰を指しているか伝えることができない。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、小規模のシステムを用いて、遠隔地に存在する複数のユーザがあたかも１つの空間の中に存在するかのように、より豊かなコミュニケーションを実現することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、遠隔会議装置であって、円形の表示領域を有する表示手段と、自ユーザの映像を撮像するカメラと、前記撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段と、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段と、を有する。
【０００９】
本発明は、コンピュータが行う遠隔会議方法であって、前記コンピュータは、円形の表示領域を有する表示部を有し、カメラにより撮像した自ユーザの映像をネットワークを介して他のコンピュータに送信するとともに、他ユーザの映像をネットワークを介して前記他のコンピュータから受信する通信ステップと、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成する映像生成ステップと、前記生成した合成映像を、前記表示部の表示領域に表示する表示ステップと、を行う。
【００１０】
本発明は、前記遠隔会議装置としてコンピュータを機能させるための遠隔会議プログラムである。
【発明の効果】
【００１１】
本発明によれば、小規模のシステムを用いて、遠隔地に存在する複数のユーザがあたかも１つの空間の中に存在するかのように、より豊かなコミュニケーションを実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に遠隔会議システムの構成図である。
【図２】会議装置を説明するための説明図である。
【図３】会議装置を説明するための説明図である。
【図４】ディスプレイに表示される合成映像の一例である。
【図５】本実施形態の動作を説明するための説明図である。
【図６】興味度決定処理のフローチャートである。
【図７】画像表示サイズ決定処理のフローチャートである。
【図８】波紋エフェクト判定処理のフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施形態について、図を用いて説明する。
【００１４】
図１は、本実施形態の遠隔会議システムの全体構成図である。図示する遠隔会議システムは、複数の遠隔地点にそれぞれ設置された会議装置（遠隔会議装置）１１〜１４と、これらの会議装置とネットワーク９を介して接続されたサーバ２０とを有する。会議装置１１は、スピーカ１０１と、マイク１０２と、カメラ１０３と、ディスプレイ１０４と、制御部（映像生成手段）１０６と、通信部１０７と、記憶部１０８とを備える。他の会議装置１２〜１４も、会議装置１１と同様である。
【００１５】
なお、図示する例では、４つの地点に設置された会議装置を用いて、４人のユーザ（参加者）がコミュニケーション（例えば、会議）を行うことを例に以下説明するが、会議装置の数は４つに限定されるものではない。
【００１６】
図２および図３は、会議装置１を具体的に説明するための説明図である。図２ではディスプレイ１０４が縦置き（床に対してほぼ垂直に設置）され、図３ではディスプレイ１０４が横置き（床とほぼ平行に設置）されている。
【００１７】
図２では、ユーザ５は、スピーカ１０１とマイク１０２が付属されたヘッドセットを装着し、縦置きしたディスプレイ１０４の正面に位置する。これにより、ディスプレイ１０４の上部に設置されたカメラ（ビデオカメラ）１０３が、ユーザ５の顔および上半身を撮像する。
【００１８】
スピーカ１０１は、コンピュータ１０５から出力される他ユーザの音声を出力する。マイク（マイクロフォン）１０２は、ユーザ５の発した音声を電気信号に変換し、ＰＣなどのコンピュータ１０５に入力する。カメラ１０３は、ユーザ５の顔および上半身を撮像し、撮像した映像（動画）をコンピュータ１０５に入力する。なお、スピーカ１０１、マイク１０２、カメラ１０３およびディスプレイ１０４は、コンピュータ１０５と有線または無線により接続されている。
【００１９】
コンピュータ１０５の通信部１０７は、マイク１０２から入力された自ユーザ５の音声と、カメラ１０３から入力された自ユーザ５の映像とを、ネットワーク９を介してサーバ２０に送信する。サーバ２０は、各会議装置１１〜１４から送信された音声および映像を、送信元の会議装置以外の他の全ての会議装置に送信・配信する。例えば、サーバ２０は、会議装置１１から送信された音声および映像については会議装置１２〜１４に送信し、会議装置１２から送信された音声および映像については会議装置１１、１３、１４に送信する。また、コンピュータ１０５の通信部１０７は、サーバ２０から送信される各他ユーザの音声および映像を受信する。
【００２０】
コンピュータ１０５の制御部１０６は、マイク１０２およびカメラ１０３から入力された自ユーザ５の音声および映像と、ネットワーク９を介してサーバ２０から送信される各他ユーザの音声および映像とを用いて合成映像を生成し、ディスプレイ１０４に出力する。
【００２１】
図３では、ユーザ５は、スピーカ１０１とマイク１０２が付属されたヘッドセットを装着し、横置きしたディスプレイ１０４の前に立つ。このとき、ユーザ５は、ディスプレイ１０４に設置されたカメラ１０３がユーザ５の顔および上半身を撮像できるように、カメラ１０３の正面に立つ（または、座る）。その他については、図２と同様である。
【００２２】
上記説明した各会議装置１１〜１４およびサーバ２０は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議装置１１〜１４およびサーバ２０の各機能は、会議装置１１〜１４用のプログラムの場合は会議装置１１〜１４のＣＰＵが、そして、サーバ２０用のプログラムの場合はサーバ２０のＣＰＵがそれぞれ実行することにより実現される。
【００２３】
また、会議装置１１〜１４用のプログラムおよびサーバ２０用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【００２４】
図４は、ディスプレイ１０４に表示される映像（画像）の一例である。図示する映像では、カメラ１０３が撮像したそれぞれのユーザの映像を、クロマキー処理により背景から抜き出し、水面に映ったように左右反転させて、表示領域が円形のディスプレイ１０４に配置する。ディスプレイ１０４の背景は、全て同一背景とする。
【００２５】
図示するように、当該円の中心から放射線状に各ユーザを環状に配置し、各ユーザは等間隔で配置するものとする。図示する例では４人のユーザが参加しているため、円の面積を４等分し（中心角９０°の扇形に分割し）、分割した各扇形に各ユーザの映像を表示する。なお、５人のユーザが参加する場合は、円の面積を５等分し（中心角７２°）の扇形に分割する。
【００２６】
なお、ディスプレイ１０４を見ている自ユーザ５の映像４１は、当該ディスプレイ１０４の手前（図２の場合はディスプレイ１０４の下側、図３の場合は自ユーザ５に最も近い位置）になるように配置する。
【００２７】
左右反転させて表示することにより、鏡と同じで、自分の右手を挙げればディスプレイ１０４に表示された自分の映像の右側の手が挙がるというように整合性がとれるため、自分の動作を直感的にフィードバックすることができる。また、各ユーザの映像が環状に配置されているため、全てのユーザに対し、指差しなどのジェスチャを行うことができる。
【００２８】
また、ユーザ間で、自ユーザの話に対して興味を持って聞いているか否かにより他ユーザの映像の表示サイズを変化させる。さらに、発話しているユーザから、興味を持って話を聞いているユーザへ向かって、波紋が広がる波紋エフェクト４３を提示する。
【００２９】
次に、本実施形態の動作について説明する。
【００３０】
図５は、本実施形態の処理の流れを示す。前述の通り、各会議装置のコンピュータ１０５は、自ユーザの音声および映像を自会議装置のマイク１０２およびカメラ１０３から入力するとともに、他ユーザの音声および映像をネットワーク９を介してサーバ２０から受信する。なお、各会議装置のコンピュータ１０５は、入力された自ユーザの音声および映像をネットワーク９を介してサーバ２０に送信し、サーバ２０は各会議装置のコンピュータ１０５から送信された音声および映像を、他の全ての会議装置に送信する。これにより、各会議装置のコンピュータ１０５には、自ユーザの音声および映像と、他ユーザの音声および映像が入力される。
【００３１】
まず映像加工ステップＳ１１において、コンピュータ１０５の制御部１０６は、各ユーザの映像を、クロマキー(Chroma key)処理により背景から抜き出し、左右反転させた鏡像を生成する。クロマキー処理は、画像を合成する手法の１つで、特定の色（Chroma）情報を持つ領域を他の画像に置き換えるものである。映像加工ステップＳ１１により、背景のない各ユーザの左右反転した鏡像がそれぞれ生成される。
【００３２】
そして、興味度決定ステップＳ１２において、制御部１０６は、全ての他ユーザに対し、図６に示す興味度決定フローに従って、当該他ユーザに対する興味度を決定する。図６の処理は、所定のタイミング毎（例えば、３０秒毎）に繰り返し行われる。また、図６の処理で用いられる音声および映像は、当該処理を行う直前の所定の期間（例えば、直前の３０秒の間）の音声および映像である。また、図６の処理は、他ユーザ毎にそれぞれ行われるものとする。図４に示す例では、他ユーザであるユーザＢ、ユーザＣ、ユーザＤ毎に行われる。なお、興味度の初期値は５とする。
【００３３】
まず、コンピュータ１０５の制御部１０６は、記憶部１０８に記憶された前回の図６の処理で更新された対象となる他ユーザに対する興味度を読み出す（Ｓ３００）。そして、制御部１０６は、直前の所定期間の自ユーザおよび他ユーザの音声および映像を解析することにより、「他ユーザの発話中に自ユーザが頷いたか？」（Ｓ３０１）、「他ユーザの発話中に自ユーザが相槌をうったか？」（Ｓ３０４）、および、「他ユーザの発話直後に自ユーザが発話したか？」（Ｓ３０７）、をそれぞれ判別し、判別結果に従って読み出した興味度から「２」を加算または「１」を減算する。
【００３４】
具体的には、制御部１０６は、直前の所定期間の対象となる他ユーザの音声から他ユーザの発話期間を特定し、特定した発話期間に、自ユーザの映像に動きが発生したか否かに基づいて、他ユーザの発話中に自ユーザが頷いたか否かを判別する（Ｓ３０１）。頷いたと判別した場合（Ｓ３０１：ＹＥＳ）、制御部１０６は、Ｓ３００で読み出した当該他ユーザに対する興味度に「２」を加算する（Ｓ３０２）。頷かないと判別した場合（Ｓ３０１：ＮＯ）、制御部１０６は、Ｓ３００で読み出した当該他ユーザに対する興味度に「１」を減算する（Ｓ３０３）。なお、制御部１０６は、他ユーザの発話中に自ユーザが複数回頷いたと判断した場合であっても、興味度に「２」を加算する（Ｓ３０２）。
【００３５】
また、制御部１０６は、対象となる他ユーザの発話中に自ユーザが相槌を打ったか否かを判別する（Ｓ３０４）。すなわち、制御部１０６は、直前の所定期間の他ユーザの音声から他ユーザの発話期間を特定し、特定した発話期間に、自ユーザの音声に所定の音量を超える所定の時間未満の入力（すなわち相槌）が発生したか否かに基づいて、他ユーザの発話中に自ユーザが相槌を打ったか否かを判別する（Ｓ３０４）。相槌があったと判別した場合（Ｓ３０４：ＹＥＳ）、制御部１０６は、Ｓ３０２またはＳ３０３で更新された興味度に「２」を加算する（Ｓ３０５）。相槌がないと判別した場合（Ｓ３０４：ＮＯ）、制御部１０６は、Ｓ３０２またはＳ３０３で更新された興味度に「１」を減算する（Ｓ３０６）。なお、制御部１０６は、他ユーザの発話中に自ユーザが複数回相槌を打ったと判断した場合であっても、興味度に「２」を加算する（Ｓ３０５）。
【００３６】
また、制御部１０６は、対象となる他ユーザの発話直後に自ユーザが発話したか否かを判別する（Ｓ３０７）。すなわち、制御部１０６は、直前の所定期間の他ユーザの音声から他ユーザの発話の終了時点を特定し、特定した終了時点から所定の時間内に、自ユーザの音声に所定の音量を超える所定の時間以上の入力（すなわち発話）が発生したか否かに基づいて、他ユーザの発話直後に自ユーザの発話があったか否かを判別する（Ｓ３０７）。発話があったと判別した場合（Ｓ３０７：ＹＥＳ）、制御部１０６は、Ｓ３０５またはＳ３０６で更新された興味度に「２」を加算する（Ｓ３０８）。発話がないと判別した場合（Ｓ３０７：ＮＯ）、制御部１０６は、Ｓ３０５またはＳ３０６で更新された興味度に「１」を減算する（Ｓ３０９）。
【００３７】
制御部１０６は、全ての他ユーザについて図６の処理を行い、他ユーザ毎に更新後の興味度を記憶部１０８に記憶する（Ｓ３１０）。なお、直前の所定期間内に対象となる他ユーザの発話がない場合は、前回の興味度のままとする。
【００３８】
そして、興味度送受信ステップＳ１６において、制御部１０６は、記憶部１０８に記憶された各他ユーザの興味度を、サーバ２０を介して対応する他ユーザの会議装置（コンピュータ）に送信する。例えば、図４に示す例では、自ユーザであるユーザＡの制御部１０６は、記憶部１０８のユーザＢに対する興味度をユーザＢの会議装置に送信し、記憶部１０８のユーザＣに対する興味度をユーザＣの会議装置に送信し、記憶部１０８のユーザＤに対する興味度をユーザＤの会議装置に送信する。
【００３９】
また、興味度送受信ステップＳ１６において、制御部１０６は、各他ユーザの会議装置から送信された自ユーザに対する興味度を、サーバ２０を介して受信する。例えば、図４に示す例では、自ユーザであるユーザＡの制御部１０６は、ユーザＢの会議装置からユーザＢのユーザＡに対する興味度を受信し、ユーザＣの会議装置からユーザＣのユーザＡに対する興味度を受信し、ユーザＤの会議装置からユーザＤのユーザＡに対する興味度を受信する。
【００４０】
次に、画像サイズ決定ステップＳ１３において、制御部１０６は、全ての他ユーザの画像表示レベルを図７の画像表示サイズ決定フローに従って決定する。図７の処理は、興味度送受信ステップＳ１６で受信した他ユーザ毎の自ユーザに対する興味度を用いて、他ユーザ毎にそれぞれ行われる。
【００４１】
制御部１０６は、興味度が２０以上の他ユーザについては（Ｓ２０１：ＹＥＳ）、画像表示レベルを４に設定し（Ｓ２０４）、興味度が１０以上の他ユーザについては（Ｓ２０２：ＹＥＳ）、画像表示レベルを３に設定し（Ｓ２０５）、興味度が０以上の他ユーザについては（Ｓ２０３：ＹＥＳ）、画像表示レベルを２に設定し（Ｓ２０６）、興味度が０未満の他ユーザについては（Ｓ２０３：ＮＯ）、画像表示レベルを１に設定する（Ｓ２０７）。
【００４２】
制御部１０６は、決定した画像表示レベルを用いて、例えば以下に示す式により各他ユーザの画像の表示サイズを決定する。なお、自ユーザの画像の表示サイズについては、所定のサイズとする。
基本表示サイズ × 画像表示レベル × ａ（定数）
【００４３】
次に、映像合成ステップＳ１４において、制御部１０６は、Ｓ１１でクロマキー処理により抽出して左右反転させた各ユーザの映像を、図４に示すように円形のディスプレイ１０４の表示領域に等間隔で環状に配置する。なお、表示領域の背景は、全て同じ背景とする。これにより、あたかも１つの空間（例えば会議室）の中に各ユーザが存在しているかのように認識させることができる。また、制御部１０６は、表示領域に配置した他ユーザの表示サイズを画像サイズ決定ステップＳ１３で決定した表示サイズに変更（拡大または縮小）する。
【００４４】
さらに、制御部１０６は、図８の波紋のエフェクト判定フローに従って、波紋エフェクトを表示するユーザを判定する。図８の処理は、図６の処理と同様に、所定のタイミング毎（例えば、３０秒毎）に繰り返し行われる。また、図８の処理で用いられる音声および映像は、当該処理を行う直前の所定の期間（例えば、直前の３０秒の間）の音声および映像である。また、図８の処理は、各ユーザ毎にそれぞれ行われる。
【００４５】
具体的には、制御部１０６は、直前の所定期間の各ユーザの音声から発話しているユーザの発話期間を特定し、特定した発話期間に発話していない各他ユーザの映像に動きが発生したか否かを判別する（Ｓ４０１）。頷いたと判別したユーザがいた場合（Ｓ４０１：ＹＥＳ）、制御部１０６は、当該発話中のユーザから頷いたと判別したユーザに対して波紋の映像エフェクトを表示させる。複数のユーザが頷いたと判別した場合は、発話中のユーザから当該複数の各ユーザに対して波紋の映像エフェクトを表示する。
【００４６】
また、制御部１０６は、前記特定した発話期間に、発話していない各他ユーザの音声に所定の時間未満の入力（すなわち、相槌）が発生したか否かを判別する（Ｓ４０２）。相槌を打ったと判別したユーザがいた場合（Ｓ４０２：ＹＥＳ）、制御部１０６は、当該発話中のユーザから相槌を打ったと判別したユーザに対して波紋の映像エフェクトを表示させる。複数のユーザが相槌を打ったと判別した場合は、発話中のユーザから当該複数の各ユーザに対して波紋の映像エフェクトを表示する。
【００４７】
図４では、ユーザＡ４１からユーザＢおよびユーザＤへの波紋エフェクト４３が表示されている。図４に示すように、制御部１０６は、発話中のユーザＡ４１を中心点として、当該中心点からからユーザＢおよびユーザＤの方向に、同心円を描きながら遠ざかるように移動する波紋エフェクトを生成する。
【００４８】
このように制御部１０６は、自ユーザおよび他ユーザの各映像を左右反転させて、円形の表示領域に環状に配置した合成映像を生成し、また直前の所定期間の自ユーザおよび他ユーザの映像および音声に基づいて各ユーザの画像の表示サイズを変更し、さらに波紋エフェクトを設定する。そして、映像表示ステップＳ１５において、制御部１０６は、生成した合成映像をディスプレイ１０４に表示する。
【００４９】
以上説明した本実施形態では、離れていながらも対面しているかのようなコミュニケーションを可能にするために、各地点にいるユーザの映像をクロマキー処理により抽出し、左右反転させた鏡像を同じ背景の上に表示し、ユーザの実際の動きと、表示される映像の動きの整合性を取り、ディスプレイに表示される合成映像（コミュニケーション空間）への没入感を高めることができる。言い換えると、遠隔地に存在する複数のユーザが、あたかも１つの空間の中に存在するかのように互いに向かい合った状態を仮想的に生成し、より豊かなコミにケーションを実現することができる。
【００５０】
また、本実施形態では、規模の小さなシステムを用いて、遠隔間で互いの存在感を感じ、豊かなコミュニケーションが実現可能な環境を提供することができる。すなわち、離れている場所から井戸端会議をしているような状況を実現できる。
【００５１】
また、本実施形態では、各ユーザ（参加者）の映像は、左右反転させて、ディスプレイの円形の表示領域に環状に配置されて表示される。これにより、本実施形態では、鏡と同じで、自分の右手を挙げればディスプレイに表示された自分の映像の右側の手が挙がるというように整合性がとれるため、自分の動作を直感的にフィードバックすることができる。また参加者している各ユーザの映像が環状に配置されているため、全てのユーザに対し、指差しなどのジェスチャを行うことができる。すなわち、３人（３地点）以上のユーザがコミュニケーションをとる際に、同じ空間を共有しているかのようにコミュニケーションでき、指差しなどのジェスチャも整合性をとって伝えることのでき、それでいて、ユーザにシステムを操作する手間をかけさせないことができる。
【００５２】
そして、本実施形態では、各他ユーザに対する自ユーザの興味度を算出して各他ユーザの会議装置に送信すると共に、各他ユーザの会議装置から自ユーザに対する各他ユーザの興味度を受信し、受信した興味度に応じて他ユーザ各々の映像の表示サイズを変化させる。これにより、本実施形態では、大きく表示された他ユーザは、自ユーザに対して興味を持って水面（ディスプレイ）を覗き込んでいるように表示され、全てのユーザが同一空間に存在している感覚を高め、会話を盛り上げることができる。
【００５３】
また、本実施形態では、興味を持って聞いているユーザ同士を波紋が広がる波紋エフェクトを用いて示すことで、空間の共有感覚をさらに高めることができる。
【００５４】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【符号の説明】
【００５５】
１１、１２、１３、１４：会議装置
１０１：スピーカ
１０２：マイク
１０３：カメラ
１０４：ディスプレイ
１０５：コンピュータ
１０６：制御部
１０７：通信部
１０８：記憶部
２０ ：サーバ
９ ：ネットワーク
【技術分野】
【０００１】
本発明は、複数のユーザが、ネットワークを介して会議を行う遠隔会議技術に関する。
【背景技術】
【０００２】
核家族化や、サテライトオフィス化などが進み、仲の良い、同じコミュニティの人同士が離れた場所で生活・活動する機会が増えている。このような状況では、直接会う機会が減り、コミュニケーションの機会が少なくなくなることが懸念されている。そのため、遠隔地をネットワークで繋いで、コミュニケーションをとるテレビ電話や、テレプレゼンスなどが開発されている。
【０００３】
また、特許文献１には、仮想空間の所望の始点から各ユーザを観察できる映像合成システムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３９４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、テレビ電話は相手の存在感を得られにくく、なかなか普及していない。また、テレプレゼンスのような大掛かりなシステムは、臨場感を得られるものの、家庭や小さなオフィスに設置するにはコストおよび設備の点から適していない。
【０００６】
また、特許文献１の映像合成システムでは、１対１のコミュニケーションであれば、互いに指差しなどのジェスチャをしても整合性が取れるが、３人以上のユーザがいる場合や３地点間のコミュニケーションには対応しきれておらず、指差しなどのジェスチャをしても、誰を指しているか伝えることができない。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、小規模のシステムを用いて、遠隔地に存在する複数のユーザがあたかも１つの空間の中に存在するかのように、より豊かなコミュニケーションを実現することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、遠隔会議装置であって、円形の表示領域を有する表示手段と、自ユーザの映像を撮像するカメラと、前記撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段と、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段と、を有する。
【０００９】
本発明は、コンピュータが行う遠隔会議方法であって、前記コンピュータは、円形の表示領域を有する表示部を有し、カメラにより撮像した自ユーザの映像をネットワークを介して他のコンピュータに送信するとともに、他ユーザの映像をネットワークを介して前記他のコンピュータから受信する通信ステップと、自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成する映像生成ステップと、前記生成した合成映像を、前記表示部の表示領域に表示する表示ステップと、を行う。
【００１０】
本発明は、前記遠隔会議装置としてコンピュータを機能させるための遠隔会議プログラムである。
【発明の効果】
【００１１】
本発明によれば、小規模のシステムを用いて、遠隔地に存在する複数のユーザがあたかも１つの空間の中に存在するかのように、より豊かなコミュニケーションを実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に遠隔会議システムの構成図である。
【図２】会議装置を説明するための説明図である。
【図３】会議装置を説明するための説明図である。
【図４】ディスプレイに表示される合成映像の一例である。
【図５】本実施形態の動作を説明するための説明図である。
【図６】興味度決定処理のフローチャートである。
【図７】画像表示サイズ決定処理のフローチャートである。
【図８】波紋エフェクト判定処理のフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施形態について、図を用いて説明する。
【００１４】
図１は、本実施形態の遠隔会議システムの全体構成図である。図示する遠隔会議システムは、複数の遠隔地点にそれぞれ設置された会議装置（遠隔会議装置）１１〜１４と、これらの会議装置とネットワーク９を介して接続されたサーバ２０とを有する。会議装置１１は、スピーカ１０１と、マイク１０２と、カメラ１０３と、ディスプレイ１０４と、制御部（映像生成手段）１０６と、通信部１０７と、記憶部１０８とを備える。他の会議装置１２〜１４も、会議装置１１と同様である。
【００１５】
なお、図示する例では、４つの地点に設置された会議装置を用いて、４人のユーザ（参加者）がコミュニケーション（例えば、会議）を行うことを例に以下説明するが、会議装置の数は４つに限定されるものではない。
【００１６】
図２および図３は、会議装置１を具体的に説明するための説明図である。図２ではディスプレイ１０４が縦置き（床に対してほぼ垂直に設置）され、図３ではディスプレイ１０４が横置き（床とほぼ平行に設置）されている。
【００１７】
図２では、ユーザ５は、スピーカ１０１とマイク１０２が付属されたヘッドセットを装着し、縦置きしたディスプレイ１０４の正面に位置する。これにより、ディスプレイ１０４の上部に設置されたカメラ（ビデオカメラ）１０３が、ユーザ５の顔および上半身を撮像する。
【００１８】
スピーカ１０１は、コンピュータ１０５から出力される他ユーザの音声を出力する。マイク（マイクロフォン）１０２は、ユーザ５の発した音声を電気信号に変換し、ＰＣなどのコンピュータ１０５に入力する。カメラ１０３は、ユーザ５の顔および上半身を撮像し、撮像した映像（動画）をコンピュータ１０５に入力する。なお、スピーカ１０１、マイク１０２、カメラ１０３およびディスプレイ１０４は、コンピュータ１０５と有線または無線により接続されている。
【００１９】
コンピュータ１０５の通信部１０７は、マイク１０２から入力された自ユーザ５の音声と、カメラ１０３から入力された自ユーザ５の映像とを、ネットワーク９を介してサーバ２０に送信する。サーバ２０は、各会議装置１１〜１４から送信された音声および映像を、送信元の会議装置以外の他の全ての会議装置に送信・配信する。例えば、サーバ２０は、会議装置１１から送信された音声および映像については会議装置１２〜１４に送信し、会議装置１２から送信された音声および映像については会議装置１１、１３、１４に送信する。また、コンピュータ１０５の通信部１０７は、サーバ２０から送信される各他ユーザの音声および映像を受信する。
【００２０】
コンピュータ１０５の制御部１０６は、マイク１０２およびカメラ１０３から入力された自ユーザ５の音声および映像と、ネットワーク９を介してサーバ２０から送信される各他ユーザの音声および映像とを用いて合成映像を生成し、ディスプレイ１０４に出力する。
【００２１】
図３では、ユーザ５は、スピーカ１０１とマイク１０２が付属されたヘッドセットを装着し、横置きしたディスプレイ１０４の前に立つ。このとき、ユーザ５は、ディスプレイ１０４に設置されたカメラ１０３がユーザ５の顔および上半身を撮像できるように、カメラ１０３の正面に立つ（または、座る）。その他については、図２と同様である。
【００２２】
上記説明した各会議装置１１〜１４およびサーバ２０は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、会議装置１１〜１４およびサーバ２０の各機能は、会議装置１１〜１４用のプログラムの場合は会議装置１１〜１４のＣＰＵが、そして、サーバ２０用のプログラムの場合はサーバ２０のＣＰＵがそれぞれ実行することにより実現される。
【００２３】
また、会議装置１１〜１４用のプログラムおよびサーバ２０用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【００２４】
図４は、ディスプレイ１０４に表示される映像（画像）の一例である。図示する映像では、カメラ１０３が撮像したそれぞれのユーザの映像を、クロマキー処理により背景から抜き出し、水面に映ったように左右反転させて、表示領域が円形のディスプレイ１０４に配置する。ディスプレイ１０４の背景は、全て同一背景とする。
【００２５】
図示するように、当該円の中心から放射線状に各ユーザを環状に配置し、各ユーザは等間隔で配置するものとする。図示する例では４人のユーザが参加しているため、円の面積を４等分し（中心角９０°の扇形に分割し）、分割した各扇形に各ユーザの映像を表示する。なお、５人のユーザが参加する場合は、円の面積を５等分し（中心角７２°）の扇形に分割する。
【００２６】
なお、ディスプレイ１０４を見ている自ユーザ５の映像４１は、当該ディスプレイ１０４の手前（図２の場合はディスプレイ１０４の下側、図３の場合は自ユーザ５に最も近い位置）になるように配置する。
【００２７】
左右反転させて表示することにより、鏡と同じで、自分の右手を挙げればディスプレイ１０４に表示された自分の映像の右側の手が挙がるというように整合性がとれるため、自分の動作を直感的にフィードバックすることができる。また、各ユーザの映像が環状に配置されているため、全てのユーザに対し、指差しなどのジェスチャを行うことができる。
【００２８】
また、ユーザ間で、自ユーザの話に対して興味を持って聞いているか否かにより他ユーザの映像の表示サイズを変化させる。さらに、発話しているユーザから、興味を持って話を聞いているユーザへ向かって、波紋が広がる波紋エフェクト４３を提示する。
【００２９】
次に、本実施形態の動作について説明する。
【００３０】
図５は、本実施形態の処理の流れを示す。前述の通り、各会議装置のコンピュータ１０５は、自ユーザの音声および映像を自会議装置のマイク１０２およびカメラ１０３から入力するとともに、他ユーザの音声および映像をネットワーク９を介してサーバ２０から受信する。なお、各会議装置のコンピュータ１０５は、入力された自ユーザの音声および映像をネットワーク９を介してサーバ２０に送信し、サーバ２０は各会議装置のコンピュータ１０５から送信された音声および映像を、他の全ての会議装置に送信する。これにより、各会議装置のコンピュータ１０５には、自ユーザの音声および映像と、他ユーザの音声および映像が入力される。
【００３１】
まず映像加工ステップＳ１１において、コンピュータ１０５の制御部１０６は、各ユーザの映像を、クロマキー(Chroma key)処理により背景から抜き出し、左右反転させた鏡像を生成する。クロマキー処理は、画像を合成する手法の１つで、特定の色（Chroma）情報を持つ領域を他の画像に置き換えるものである。映像加工ステップＳ１１により、背景のない各ユーザの左右反転した鏡像がそれぞれ生成される。
【００３２】
そして、興味度決定ステップＳ１２において、制御部１０６は、全ての他ユーザに対し、図６に示す興味度決定フローに従って、当該他ユーザに対する興味度を決定する。図６の処理は、所定のタイミング毎（例えば、３０秒毎）に繰り返し行われる。また、図６の処理で用いられる音声および映像は、当該処理を行う直前の所定の期間（例えば、直前の３０秒の間）の音声および映像である。また、図６の処理は、他ユーザ毎にそれぞれ行われるものとする。図４に示す例では、他ユーザであるユーザＢ、ユーザＣ、ユーザＤ毎に行われる。なお、興味度の初期値は５とする。
【００３３】
まず、コンピュータ１０５の制御部１０６は、記憶部１０８に記憶された前回の図６の処理で更新された対象となる他ユーザに対する興味度を読み出す（Ｓ３００）。そして、制御部１０６は、直前の所定期間の自ユーザおよび他ユーザの音声および映像を解析することにより、「他ユーザの発話中に自ユーザが頷いたか？」（Ｓ３０１）、「他ユーザの発話中に自ユーザが相槌をうったか？」（Ｓ３０４）、および、「他ユーザの発話直後に自ユーザが発話したか？」（Ｓ３０７）、をそれぞれ判別し、判別結果に従って読み出した興味度から「２」を加算または「１」を減算する。
【００３４】
具体的には、制御部１０６は、直前の所定期間の対象となる他ユーザの音声から他ユーザの発話期間を特定し、特定した発話期間に、自ユーザの映像に動きが発生したか否かに基づいて、他ユーザの発話中に自ユーザが頷いたか否かを判別する（Ｓ３０１）。頷いたと判別した場合（Ｓ３０１：ＹＥＳ）、制御部１０６は、Ｓ３００で読み出した当該他ユーザに対する興味度に「２」を加算する（Ｓ３０２）。頷かないと判別した場合（Ｓ３０１：ＮＯ）、制御部１０６は、Ｓ３００で読み出した当該他ユーザに対する興味度に「１」を減算する（Ｓ３０３）。なお、制御部１０６は、他ユーザの発話中に自ユーザが複数回頷いたと判断した場合であっても、興味度に「２」を加算する（Ｓ３０２）。
【００３５】
また、制御部１０６は、対象となる他ユーザの発話中に自ユーザが相槌を打ったか否かを判別する（Ｓ３０４）。すなわち、制御部１０６は、直前の所定期間の他ユーザの音声から他ユーザの発話期間を特定し、特定した発話期間に、自ユーザの音声に所定の音量を超える所定の時間未満の入力（すなわち相槌）が発生したか否かに基づいて、他ユーザの発話中に自ユーザが相槌を打ったか否かを判別する（Ｓ３０４）。相槌があったと判別した場合（Ｓ３０４：ＹＥＳ）、制御部１０６は、Ｓ３０２またはＳ３０３で更新された興味度に「２」を加算する（Ｓ３０５）。相槌がないと判別した場合（Ｓ３０４：ＮＯ）、制御部１０６は、Ｓ３０２またはＳ３０３で更新された興味度に「１」を減算する（Ｓ３０６）。なお、制御部１０６は、他ユーザの発話中に自ユーザが複数回相槌を打ったと判断した場合であっても、興味度に「２」を加算する（Ｓ３０５）。
【００３６】
また、制御部１０６は、対象となる他ユーザの発話直後に自ユーザが発話したか否かを判別する（Ｓ３０７）。すなわち、制御部１０６は、直前の所定期間の他ユーザの音声から他ユーザの発話の終了時点を特定し、特定した終了時点から所定の時間内に、自ユーザの音声に所定の音量を超える所定の時間以上の入力（すなわち発話）が発生したか否かに基づいて、他ユーザの発話直後に自ユーザの発話があったか否かを判別する（Ｓ３０７）。発話があったと判別した場合（Ｓ３０７：ＹＥＳ）、制御部１０６は、Ｓ３０５またはＳ３０６で更新された興味度に「２」を加算する（Ｓ３０８）。発話がないと判別した場合（Ｓ３０７：ＮＯ）、制御部１０６は、Ｓ３０５またはＳ３０６で更新された興味度に「１」を減算する（Ｓ３０９）。
【００３７】
制御部１０６は、全ての他ユーザについて図６の処理を行い、他ユーザ毎に更新後の興味度を記憶部１０８に記憶する（Ｓ３１０）。なお、直前の所定期間内に対象となる他ユーザの発話がない場合は、前回の興味度のままとする。
【００３８】
そして、興味度送受信ステップＳ１６において、制御部１０６は、記憶部１０８に記憶された各他ユーザの興味度を、サーバ２０を介して対応する他ユーザの会議装置（コンピュータ）に送信する。例えば、図４に示す例では、自ユーザであるユーザＡの制御部１０６は、記憶部１０８のユーザＢに対する興味度をユーザＢの会議装置に送信し、記憶部１０８のユーザＣに対する興味度をユーザＣの会議装置に送信し、記憶部１０８のユーザＤに対する興味度をユーザＤの会議装置に送信する。
【００３９】
また、興味度送受信ステップＳ１６において、制御部１０６は、各他ユーザの会議装置から送信された自ユーザに対する興味度を、サーバ２０を介して受信する。例えば、図４に示す例では、自ユーザであるユーザＡの制御部１０６は、ユーザＢの会議装置からユーザＢのユーザＡに対する興味度を受信し、ユーザＣの会議装置からユーザＣのユーザＡに対する興味度を受信し、ユーザＤの会議装置からユーザＤのユーザＡに対する興味度を受信する。
【００４０】
次に、画像サイズ決定ステップＳ１３において、制御部１０６は、全ての他ユーザの画像表示レベルを図７の画像表示サイズ決定フローに従って決定する。図７の処理は、興味度送受信ステップＳ１６で受信した他ユーザ毎の自ユーザに対する興味度を用いて、他ユーザ毎にそれぞれ行われる。
【００４１】
制御部１０６は、興味度が２０以上の他ユーザについては（Ｓ２０１：ＹＥＳ）、画像表示レベルを４に設定し（Ｓ２０４）、興味度が１０以上の他ユーザについては（Ｓ２０２：ＹＥＳ）、画像表示レベルを３に設定し（Ｓ２０５）、興味度が０以上の他ユーザについては（Ｓ２０３：ＹＥＳ）、画像表示レベルを２に設定し（Ｓ２０６）、興味度が０未満の他ユーザについては（Ｓ２０３：ＮＯ）、画像表示レベルを１に設定する（Ｓ２０７）。
【００４２】
制御部１０６は、決定した画像表示レベルを用いて、例えば以下に示す式により各他ユーザの画像の表示サイズを決定する。なお、自ユーザの画像の表示サイズについては、所定のサイズとする。
基本表示サイズ × 画像表示レベル × ａ（定数）
【００４３】
次に、映像合成ステップＳ１４において、制御部１０６は、Ｓ１１でクロマキー処理により抽出して左右反転させた各ユーザの映像を、図４に示すように円形のディスプレイ１０４の表示領域に等間隔で環状に配置する。なお、表示領域の背景は、全て同じ背景とする。これにより、あたかも１つの空間（例えば会議室）の中に各ユーザが存在しているかのように認識させることができる。また、制御部１０６は、表示領域に配置した他ユーザの表示サイズを画像サイズ決定ステップＳ１３で決定した表示サイズに変更（拡大または縮小）する。
【００４４】
さらに、制御部１０６は、図８の波紋のエフェクト判定フローに従って、波紋エフェクトを表示するユーザを判定する。図８の処理は、図６の処理と同様に、所定のタイミング毎（例えば、３０秒毎）に繰り返し行われる。また、図８の処理で用いられる音声および映像は、当該処理を行う直前の所定の期間（例えば、直前の３０秒の間）の音声および映像である。また、図８の処理は、各ユーザ毎にそれぞれ行われる。
【００４５】
具体的には、制御部１０６は、直前の所定期間の各ユーザの音声から発話しているユーザの発話期間を特定し、特定した発話期間に発話していない各他ユーザの映像に動きが発生したか否かを判別する（Ｓ４０１）。頷いたと判別したユーザがいた場合（Ｓ４０１：ＹＥＳ）、制御部１０６は、当該発話中のユーザから頷いたと判別したユーザに対して波紋の映像エフェクトを表示させる。複数のユーザが頷いたと判別した場合は、発話中のユーザから当該複数の各ユーザに対して波紋の映像エフェクトを表示する。
【００４６】
また、制御部１０６は、前記特定した発話期間に、発話していない各他ユーザの音声に所定の時間未満の入力（すなわち、相槌）が発生したか否かを判別する（Ｓ４０２）。相槌を打ったと判別したユーザがいた場合（Ｓ４０２：ＹＥＳ）、制御部１０６は、当該発話中のユーザから相槌を打ったと判別したユーザに対して波紋の映像エフェクトを表示させる。複数のユーザが相槌を打ったと判別した場合は、発話中のユーザから当該複数の各ユーザに対して波紋の映像エフェクトを表示する。
【００４７】
図４では、ユーザＡ４１からユーザＢおよびユーザＤへの波紋エフェクト４３が表示されている。図４に示すように、制御部１０６は、発話中のユーザＡ４１を中心点として、当該中心点からからユーザＢおよびユーザＤの方向に、同心円を描きながら遠ざかるように移動する波紋エフェクトを生成する。
【００４８】
このように制御部１０６は、自ユーザおよび他ユーザの各映像を左右反転させて、円形の表示領域に環状に配置した合成映像を生成し、また直前の所定期間の自ユーザおよび他ユーザの映像および音声に基づいて各ユーザの画像の表示サイズを変更し、さらに波紋エフェクトを設定する。そして、映像表示ステップＳ１５において、制御部１０６は、生成した合成映像をディスプレイ１０４に表示する。
【００４９】
以上説明した本実施形態では、離れていながらも対面しているかのようなコミュニケーションを可能にするために、各地点にいるユーザの映像をクロマキー処理により抽出し、左右反転させた鏡像を同じ背景の上に表示し、ユーザの実際の動きと、表示される映像の動きの整合性を取り、ディスプレイに表示される合成映像（コミュニケーション空間）への没入感を高めることができる。言い換えると、遠隔地に存在する複数のユーザが、あたかも１つの空間の中に存在するかのように互いに向かい合った状態を仮想的に生成し、より豊かなコミにケーションを実現することができる。
【００５０】
また、本実施形態では、規模の小さなシステムを用いて、遠隔間で互いの存在感を感じ、豊かなコミュニケーションが実現可能な環境を提供することができる。すなわち、離れている場所から井戸端会議をしているような状況を実現できる。
【００５１】
また、本実施形態では、各ユーザ（参加者）の映像は、左右反転させて、ディスプレイの円形の表示領域に環状に配置されて表示される。これにより、本実施形態では、鏡と同じで、自分の右手を挙げればディスプレイに表示された自分の映像の右側の手が挙がるというように整合性がとれるため、自分の動作を直感的にフィードバックすることができる。また参加者している各ユーザの映像が環状に配置されているため、全てのユーザに対し、指差しなどのジェスチャを行うことができる。すなわち、３人（３地点）以上のユーザがコミュニケーションをとる際に、同じ空間を共有しているかのようにコミュニケーションでき、指差しなどのジェスチャも整合性をとって伝えることのでき、それでいて、ユーザにシステムを操作する手間をかけさせないことができる。
【００５２】
そして、本実施形態では、各他ユーザに対する自ユーザの興味度を算出して各他ユーザの会議装置に送信すると共に、各他ユーザの会議装置から自ユーザに対する各他ユーザの興味度を受信し、受信した興味度に応じて他ユーザ各々の映像の表示サイズを変化させる。これにより、本実施形態では、大きく表示された他ユーザは、自ユーザに対して興味を持って水面（ディスプレイ）を覗き込んでいるように表示され、全てのユーザが同一空間に存在している感覚を高め、会話を盛り上げることができる。
【００５３】
また、本実施形態では、興味を持って聞いているユーザ同士を波紋が広がる波紋エフェクトを用いて示すことで、空間の共有感覚をさらに高めることができる。
【００５４】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【符号の説明】
【００５５】
１１、１２、１３、１４：会議装置
１０１：スピーカ
１０２：マイク
１０３：カメラ
１０４：ディスプレイ
１０５：コンピュータ
１０６：制御部
１０７：通信部
１０８：記憶部
２０ ：サーバ
９ ：ネットワーク
【特許請求の範囲】
【請求項１】
遠隔会議装置であって、
円形の表示領域を有する表示手段と、
自ユーザの映像を撮像するカメラと、
前記撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段と、
自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段と、を有すること
を特徴とする遠隔会議装置。
【請求項２】
請求項１記載の遠隔会議装置であって、
自ユーザの音声を入力するマイクを、さらに有し、
前記通信手段は前記自ユーザの音声をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの音声をネットワークを介して前記他の遠隔制御装置から受信し、
前記映像生成手段は、自ユーザおよび他ユーザの各映像および各音声を用いて他ユーザに対する自ユーザの興味度を算出して前記他の遠隔制御装置に送信するとともに、自ユーザに対する他ユーザの興味度を前記他の遠隔制御装置から受信し、受信した興味度に応じて他ユーザの各映像のサイズを変化させること
を特徴とする遠隔会議装置。
【請求項３】
請求項１または請求項２に記載の遠隔会議装置であって、
前記映像生成手段は、自ユーザおよび他ユーザの各映像および各音声を用いて、発話中のユーザに対して、頷いたユーザまたは相槌を打ったユーザが存在するか否かを判別し、頷いたユーザまたは相槌を打ったユーザが存在する場合、発話中のユーザから頷いたユーザまたは相槌を打ったユーザに対して波紋エフェクトを表示すること
を特徴とする遠隔会議装置。
【請求項４】
コンピュータが行う遠隔会議方法であって、
前記コンピュータは、円形の表示領域を有する表示部を有し、
カメラにより撮像した自ユーザの映像をネットワークを介して他のコンピュータに送信するとともに、他ユーザの映像をネットワークを介して前記他のコンピュータから受信する通信ステップと、
自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成する映像生成ステップと、
前記生成した合成映像を、前記表示部の表示領域に表示する表示ステップと、を行うこと
を特徴とする遠隔会議方法。
【請求項５】
請求項４記載の遠隔会議方法であって、
自ユーザの音声を入力するマイクを、さらに有し、
前記通信ステップは、マイクにより入力された前記自ユーザの音声をネットワークを介して他のコンピュータに送信するとともに、他ユーザの音声をネットワークを介して前記他のコンピュータから受信し、
前記映像生成ステップは、自ユーザおよび他ユーザの各映像および各音声を用いて他ユーザに対する自ユーザの興味度を算出して前記他のコンピュータに送信するとともに、自ユーザに対する他ユーザの興味度を前記他のコンピュータから受信し、受信した興味度に応じて他ユーザの各映像のサイズを変化させること
を特徴とする遠隔会議方法。
【請求項６】
請求項４または請求項５に記載の遠隔会議方法であって、
前記映像生成ステップは、自ユーザおよび他ユーザの各映像および各音声を用いて、発話中のユーザに対して、頷いたユーザまたは相槌を打ったユーザが存在するか否かを判別し、頷いたユーザまたは相槌を打ったユーザが存在する場合、発話中のユーザから頷いたユーザまたは相槌を打ったユーザに対して波紋エフェクトを生成すること
を特徴とする遠隔会議方法。
【請求項７】
請求項１から請求項３のいずれか一項に記載の遠隔会議装置としてコンピュータを機能させるための遠隔会議プログラム。
【請求項１】
遠隔会議装置であって、
円形の表示領域を有する表示手段と、
自ユーザの映像を撮像するカメラと、
前記撮像した自ユーザの映像をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの映像をネットワークを介して前記他の遠隔制御装置から受信する通信手段と、
自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成し、表示する映像生成手段と、を有すること
を特徴とする遠隔会議装置。
【請求項２】
請求項１記載の遠隔会議装置であって、
自ユーザの音声を入力するマイクを、さらに有し、
前記通信手段は前記自ユーザの音声をネットワークを介して他の遠隔制御装置に送信するとともに、他ユーザの音声をネットワークを介して前記他の遠隔制御装置から受信し、
前記映像生成手段は、自ユーザおよび他ユーザの各映像および各音声を用いて他ユーザに対する自ユーザの興味度を算出して前記他の遠隔制御装置に送信するとともに、自ユーザに対する他ユーザの興味度を前記他の遠隔制御装置から受信し、受信した興味度に応じて他ユーザの各映像のサイズを変化させること
を特徴とする遠隔会議装置。
【請求項３】
請求項１または請求項２に記載の遠隔会議装置であって、
前記映像生成手段は、自ユーザおよび他ユーザの各映像および各音声を用いて、発話中のユーザに対して、頷いたユーザまたは相槌を打ったユーザが存在するか否かを判別し、頷いたユーザまたは相槌を打ったユーザが存在する場合、発話中のユーザから頷いたユーザまたは相槌を打ったユーザに対して波紋エフェクトを表示すること
を特徴とする遠隔会議装置。
【請求項４】
コンピュータが行う遠隔会議方法であって、
前記コンピュータは、円形の表示領域を有する表示部を有し、
カメラにより撮像した自ユーザの映像をネットワークを介して他のコンピュータに送信するとともに、他ユーザの映像をネットワークを介して前記他のコンピュータから受信する通信ステップと、
自ユーザおよび他ユーザの各映像を左右反転させて、前記円形の表示領域に環状に配置した合成映像を生成する映像生成ステップと、
前記生成した合成映像を、前記表示部の表示領域に表示する表示ステップと、を行うこと
を特徴とする遠隔会議方法。
【請求項５】
請求項４記載の遠隔会議方法であって、
自ユーザの音声を入力するマイクを、さらに有し、
前記通信ステップは、マイクにより入力された前記自ユーザの音声をネットワークを介して他のコンピュータに送信するとともに、他ユーザの音声をネットワークを介して前記他のコンピュータから受信し、
前記映像生成ステップは、自ユーザおよび他ユーザの各映像および各音声を用いて他ユーザに対する自ユーザの興味度を算出して前記他のコンピュータに送信するとともに、自ユーザに対する他ユーザの興味度を前記他のコンピュータから受信し、受信した興味度に応じて他ユーザの各映像のサイズを変化させること
を特徴とする遠隔会議方法。
【請求項６】
請求項４または請求項５に記載の遠隔会議方法であって、
前記映像生成ステップは、自ユーザおよび他ユーザの各映像および各音声を用いて、発話中のユーザに対して、頷いたユーザまたは相槌を打ったユーザが存在するか否かを判別し、頷いたユーザまたは相槌を打ったユーザが存在する場合、発話中のユーザから頷いたユーザまたは相槌を打ったユーザに対して波紋エフェクトを生成すること
を特徴とする遠隔会議方法。
【請求項７】
請求項１から請求項３のいずれか一項に記載の遠隔会議装置としてコンピュータを機能させるための遠隔会議プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２２８９９８（Ｐ２０１１−２２８９９８Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９７９２４（Ｐ２０１０−９７９２４）
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]