遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラム
【課題】受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者との対話を可能にする、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムを提供する。
【解決手段】オフィスＯ２に設置されたサーバ装置Ｓ２と通信回線を通じて接続可能なサーバ装置Ｓ１であって、オフィスＯ２の所定地点からオフィスＯ２に位置する受話者に至る経路を示す経路情報をサーバ装置Ｓ２から受信する通信部１４と、経路情報に基づき、所定地点から受話者まで発話者を仮想的に移動させる制御部１５と、発話者が受話者まで移動する途中で、発話者の仮想的な視点により捉えられる受話者の周辺映像をサーバ装置Ｓ２から順次に受信し、発話者の従業員端末Ｔ１１に送信する通信部１４と、発話者が受話者まで移動すると、従業員端末Ｔ１１と受話者の従業員端末（Ｔ２１、Ｔ２２、…のいずれか）の間で対話映像および対話音声を送受信する通信部１４とを備える。
【解決手段】オフィスＯ２に設置されたサーバ装置Ｓ２と通信回線を通じて接続可能なサーバ装置Ｓ１であって、オフィスＯ２の所定地点からオフィスＯ２に位置する受話者に至る経路を示す経路情報をサーバ装置Ｓ２から受信する通信部１４と、経路情報に基づき、所定地点から受話者まで発話者を仮想的に移動させる制御部１５と、発話者が受話者まで移動する途中で、発話者の仮想的な視点により捉えられる受話者の周辺映像をサーバ装置Ｓ２から順次に受信し、発話者の従業員端末Ｔ１１に送信する通信部１４と、発話者が受話者まで移動すると、従業員端末Ｔ１１と受話者の従業員端末（Ｔ２１、Ｔ２２、…のいずれか）の間で対話映像および対話音声を送受信する通信部１４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムに関する。
【背景技術】
【０００２】
近年、通信ネットワークの発達によりテレワークが実現されており、テレワーク環境でのコミュニケーションが重要視されている。テレワーク環境では、ネットワーク接続されたオフィス間で、カメラおよびディスプレイを通じて伝達される映像情報、マイクおよびスピーカを通じて伝達される音声情報を用いて、コミュニケーションが実現される。
【０００３】
例えば、下記特許文献１には、遠隔地のオフィス内の俯瞰映像を表示し、俯瞰映像上で受話者を指定して受話者の対話映像を表示し、受話者と対話を行う遠隔対話システムが記載されている。このシステムでは、ユーザが遠隔地のオフィスを訪問し、受話者に近づいて対話を行うという感覚を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４０１５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記システムでは、俯瞰映像の直後に受話者の映像を表示するので、オフィスのレイアウトに従って受話者に近づくという感覚を得ることができない。つまり、俯瞰の基準となる基準地点を始点とし、受話者を終点とする経路上の状況を確認しながら、受話者に近づくという感覚を得ることができない。よって、通常、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができない。
【０００６】
そこで、本発明は、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者との対話を可能にする、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、通信回線を通じて対話可能な遠隔対話装置であって、遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と通信回線を介して接続されており、遠隔領域の所定地点から遠隔領域に位置する受話者に至る経路を示す経路情報を他の遠隔対話装置から受信する経路情報受信部と、経路情報に基づき、所定地点から受話者まで発話者を仮想的に移動させる仮想移動部と、発話者が受話者まで仮想的に移動する途中で、発話者の仮想的な視点により捉えられる受話者の周辺映像を他の遠隔対話装置から順次に受信し、発話者の端末装置に送信する周辺映像送受信部と、発話者が受話者まで移動すると、発話者の端末装置と受話者の端末装置の間で対話映像および対話音声を送受信する対話情報送受信部とを備える遠隔対話装置が提供される。
【０００８】
かかる構成によれば、遠隔領域内の経路を示す経路情報に基づき、所定地点から受話者の地点まで発話者が仮想的に移動される。つぎに、発話者の仮想的な移動に応じて、発話者の視点で捉えられる受話者の周辺映像が順次に受信されて表示される。そして、発話者と受話者の間で対話映像および対話音声が送受信される。これにより、発話者は、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができる。
【０００９】
上記周辺映像送受信部は、発話者が受話者まで仮想的に移動する途中で、発話者の仮想的な視点により捉えられる受話者を含んだ複数のユーザの周辺映像を他の遠隔対話装置から順次に受信し、発話者の端末装置に送信してもよい。
【００１０】
上記遠隔対話装置は、受話者を指定する指定情報を発話者の端末から受信する指定情報受信部をさらに備え、仮想移動部は、経路情報に基づく所定の経路に従って、所定地点から指定された受話者まで発話者を仮想的に移動させてもよい。
【００１１】
上記遠隔対話装置は、遠隔領域の状況を俯瞰して捉えた俯瞰映像を他の遠隔対話装置から受信し、発話者の端末装置に送信する俯瞰映像送受信部をさらに備え、指定情報受信部は、俯瞰映像上で指定された受話者を示す指定情報を発話者の端末から受信してもよい。
【００１２】
上記遠隔対話装置は、遠隔領域で発話者を仮想的に移動させるための移動操作情報を発話者の端末装置から受信する操作情報受信部をさらに備え、仮想移動部は、移動操作情報に従って、所定地点から任意の受話者まで発話者を仮想的に移動させてもよい。
【００１３】
上記遠隔対話装置は、遠隔領域の状況を俯瞰して捉えた俯瞰映像を他の遠隔対話装置から受信する俯瞰映像受信部と、発話者が仮想的に移動可能な遠隔領域の移動通路を示す情報および発話者の仮想位置を示す情報とともに、俯瞰映像を発話者の端末装置に送信する俯瞰映像送信部とをさらに備え、仮想移動部は、移動操作情報に従って、所定地点から任意の受話者まで発話者を仮想的に移動させてもよい。
【００１４】
操作情報受信部は、発話者の仮想的な視点の方向を変更させるための視点操作情報を発話者の端末装置からさらに受信し、周辺映像送受信部は、発話者が受話者まで移動する途中で、視点操作情報に従って、発話者の仮想的な視点により捉えられる受話者の周辺映像を他の遠隔対話装置から受信し、発話者の端末装置に送信してもよい。
【００１５】
上記遠隔対話装置は、他の遠隔対話装置が設置された遠隔領域に発話者が位置し、遠隔対話装置が設置された自領域に受話者が位置する場合において、発話者が受話者まで移動する途中で、自領域における発話者の仮想位置を他の遠隔対話装置から受信する仮想位置受信部と、自領域における発話者の仮想位置に近接する受話者または前記受話者を含む複数のユーザに、視覚情報および聴覚情報の少なくとも一方を用いて、発話者の仮想的な移動を通知する仮想移動通知部をさらに備えてもよい。
【００１６】
また、本発明の別の実施形態によれば、上記遠隔対話装置と他の遠隔対話装置を有する遠隔対話システムが提供される。
【００１７】
また、本発明の別の実施形態によれば、遠隔領域に設置された他の遠隔対話装置と通信回線を通じて接続可能な遠隔対話装置を用いた遠隔対話方法であって、遠隔対話装置によって、遠隔領域の所定地点から遠隔領域に位置する受話者に至る経路を示す経路情報を他の遠隔対話装置から受信するステップと、経路情報に基づき、所定地点から受話者まで発話者を仮想的に移動させるステップと、発話者が受話者まで仮想的に移動する途中で、発話者の仮想的な視点により捉えられる受話者の周辺映像を他の遠隔対話装置から順次に受信し、発話者の端末装置に送信するステップと、発話者が受話者まで移動すると、発話者の端末装置と受話者の端末装置の間で対話映像および対話音声を送受信するステップとを含む遠隔対話方法が提供される。
【００１８】
また、本発明の別の観点によれば、上記遠隔対話方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。
【発明の効果】
【００１９】
以上説明したように本発明によれば、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者との対話を可能にする、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムが提供される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る遠隔対話システムの全体構成を示す図である。
【図２】遠隔対話システムの主要な機能構成を示すブロック図である。
【図３】第１の実施形態に係る遠隔対話システムの動作手順を示すシーケンス図である。
【図４】俯瞰映像の一例を示す図である。
【図５】経路情報テーブルの一例を示す図である。
【図６】周辺映像の一例を示す図である。
【図７】移動通知の一例を示す図である。
【図８】対話映像の一例を示す図である。
【図９】第２の実施形態に係る遠隔対話システムの動作手順を示すシーケンス図である。
【図１０】レイアウトマップの一例を示す図である。
【図１１】周辺映像の一例を示す図である。
【図１２】従来の遠隔対話システムの全体構成を示す図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
以下では、従来の遠隔対話システムについて説明した上で、本発明の実施形態に係る遠隔対話システムについて説明する。
【００２３】
［１．従来の遠隔対話システム］
まず、図１２を参照して従来の遠隔対話システムについて説明する。図１２には、従来の遠隔対話システムの全体構成が示されている。
【００２４】
図１２に示すように、従来の遠隔対話システムでは、オフィスＯ１、Ｏ２がネットワークＮＷにより接続されている。以下では、オフィスＯ１、Ｏ２が同様の構成を有しており、オフィスＯ１に６人の従業員Ｅ１１〜Ｅ１６が勤務し、オフィスＯ２に６人の従業員Ｅ２１〜Ｅ２６が勤務している場合を想定する。
【００２５】
オフィスＯ１には、従業員Ｅ１１〜Ｅ１６の座席に対応して従業員端末Ｔ１１〜Ｔ１６が配置されている（なお、図１２中には、従業員端末Ｔ１１〜Ｔ１３のみが示されている。）。従業員端末Ｔ１１〜Ｔ１６には、いずれも不図示ではあるが、映像情報を入出力するためのカメラＣおよびディスプレイＤが備えられ、音声情報を入出力するためのマイクＭおよびスピーカＳが備えられている。
【００２６】
また、オフィスＯ１には、サーバ装置Ｓ１が配置されている。サーバ装置Ｓ１は、従業員端末Ｔ１１〜Ｔ１６に接続されるとともに、ネットワークＮＷによりオフィスＯ２のサーバ装置Ｓ２に接続されている。オフィスＯ１の所定位置には、オフィスＯ１内を俯瞰する俯瞰映像を捉える俯瞰カメラＣｐ１が配置されている。俯瞰カメラＣｐ１は、サーバ装置Ｓ１に接続されており、サーバ装置Ｓ１により制御される。
【００２７】
一方、オフィスＯ２は、オフィスＯ１と同様の構成を有しており、従業員端末Ｔ２１〜Ｔ２６、サーバ装置Ｓ２、俯瞰カメラＣｐ２が配置されている。なお、各装置は、オフィスＯ１の装置と同様の構成を有している。
【００２８】
以下では、オフィスＯ１の従業員Ｅ１１がオフィスＯ２の従業員Ｅ２３と対話する場合を想定して、従来の遠隔対話システムの動作について説明する。
【００２９】
従業員Ｅ１１が対話の開始を従業員端末Ｔ１１に指示すると、従業員端末Ｔ１１は、オフィスＯ２の俯瞰カメラＣｐ２により捉えられた俯瞰映像をサーバ装置Ｓ１、Ｓ２を通じて受信して表示する。俯瞰映像により、従業員Ｅ１１は、従業員Ｅ２１〜Ｅ２６の様子を含むオフィスＯ２の全体状況を確認することができる。
【００３０】
従業員Ｅ１１が俯瞰映像上で従業員Ｅ２３を指定すると、従業員端末Ｔ１１は、従業員端末Ｔ２３のカメラＣにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ２３から受信して表示する。同様に、従業員端末Ｔ２３は、従業員端末Ｔ１１のカメラＣにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ１１から受信して表示する。対話映像により、従業員Ｅ１１、Ｅ２３は、互いの様子を確認することができる。
【００３１】
そして、従業員Ｅ１１と従業員Ｅ２３の間では、従業員端末Ｔ１１、Ｔ２３を通じて対話が開始される。従業員Ｅ１１、Ｅ２３間の対話は、従業員端末Ｔ１１と従業員端末Ｔ２３の間で従業員Ｅ１１、Ｅ２３の対話映像および対話音声を送受信して行われる。
【００３２】
このため、従業員Ｅ１１は、オフィスＯ２内の俯瞰映像上で従業員Ｅ２３を指定し、従業員Ｅ２３の対話映像を確認して、従業員Ｅ２３と対話を行うことになる。よって、従業員Ｅ１１は、オフィスＯ２を訪問し、従業員Ｅ２３に近づいて対話を行うという感覚を得ることができる。
【００３３】
しかし、従業員Ｅ１１は、俯瞰映像の直後に従業員Ｅ２３の対話映像を確認することになるので、俯瞰の基準となる基準地点を始点とし、従業員Ｅ２３を終点とする経路上の状況を確認しながら、従業員Ｅ２３に近づくという感覚を得ることができない。よって、通常、従業員Ｅ２３の周辺環境や従業員Ｅ２３以外の人物の様子を確認した後に従業員Ｅ２３と対話することができない。
【００３４】
［２．遠隔対話システムの構成］
つぎに、図１〜図８を参照して本発明の実施形態に係る遠隔対話システムについて説明する。本実施形態に係る遠隔対話システムは、受話者の周辺環境や受話者以外の人物の様子を確認することを可能にするものである。
【００３５】
まず、図１および図２を参照して本発明の実施形態に係る遠隔対話システムの構成について説明する。図１には、遠隔対話システムの全体構成が示され、図２には、遠隔対話システムの主要な機能構成が示されている。
【００３６】
図１に示すように、遠隔対話システムは、図１２に示した従来の遠隔対話システムと概ね同様の構成を有している。なお、遠隔対話システムでは、２以上のオフィスがネットワークＮＷにより接続されてもよい。また、装置の構成は、オフィス毎に変更されてもよい。このため、以下では、従来の遠隔対話システムと重複する説明については省略する。
【００３７】
遠隔対話システムでは、オフィスＯ１には、従業員端末Ｔ１１〜Ｔ１６、サーバ装置Ｓ１、俯瞰カメラＣｐ１の他に、周辺カメラＣｎ１１〜Ｃｎ１６と、周辺スピーカＳｎ１１〜Ｓｎ１４が配置されている。
【００３８】
周辺カメラＣｎ１１〜Ｃｎ１６および周辺スピーカＳｎ１１〜Ｓｎ１４は、例えば従業員Ｅ１１〜Ｅ１６に各々に近接して、オフィスＯ１内の通路上に配置されている。周辺カメラＣｎ１１〜Ｃｎ１６および周辺スピーカＳｎ１１〜Ｓｎ１４は、サーバ装置Ｓ１に接続されており、サーバ装置Ｓ１により制御される。なお、周辺カメラＣｎおよび周辺スピーカＳｎの数および配置は、上記例に限定されるものではない。また、各装置は、有線で接続されてもよく、無線で接続されてもよい。
【００３９】
一方、オフィスＯ２は、オフィスＯ１と同様の構成を有しており、従業員端末Ｔ２１〜Ｔ２６、サーバ装置Ｓ２、俯瞰カメラＣｐ２の他に、周辺カメラＣｎ２１〜Ｃｎ２６と、周辺スピーカＳｎ２１〜Ｓｎ２４が配置されている。なお、各装置は、オフィスＯ１の装置と同様の構成を有している。
【００４０】
図２には、オフィスＯ１に配置されている装置、特にサーバ装置Ｓ１および従業員端末Ｔ１１〜Ｔ１６の主要な機能構成が示されている。なお、オフィスＯ２に配置されている装置についても、同様の機能構成を有している。
【００４１】
サーバ装置Ｓ１は、映像入力処理部１１、音声出力処理部１２、データ格納部１３、通信部１４、および制御部１５を含んで構成される。
【００４２】
映像入力処理部１１は、俯瞰カメラＣｐ１および周辺カメラＣｎ１１〜Ｃｎ１６から俯瞰映像および周辺映像を入力し、サーバ装置Ｓ２に送信するための処理を施す。映像入力処理部１１は、オフィスＯ１内の基準地点から受話者に至る経路上を仮想的に移動する発話者の移動状況に応じて、発話者の仮想位置に対応する周辺カメラＣｎから周辺映像を入力する。
【００４３】
音声出力処理部１２は、発話者の移動状況に応じて、仮想的な移動音を生成して発話者の仮想位置に対応する周辺スピーカＳｎに供給する。データ格納部１３は、後述するオフィスＯ１のレイアウト情報、移動経路情報テーブル等を格納している。
【００４４】
通信部１４は、対話映像、対話音声、俯瞰映像、周辺映像、発話者映像、レイアウト情報（経路情報）、移動経路情報（経路情報）、レイアウトマップ、制御指令（後述する指定情報、操作情報、仮想位置等を含む。）等を、サーバ装置Ｓ２との間および従業員端末との間で送受信する。
【００４５】
制御部１５は、サーバ装置Ｓ１の動作を制御するために必要な演算処理を行う。制御部１５は、映像入力処理部１１および音声出力処理部１２を介して、俯瞰カメラＣｐ１、周辺カメラＣｎ１１〜Ｃｎ１６、周辺スピーカＳｎ１１〜Ｓｎ１４を制御する。また、制御部１５は、オフィスＯ２内で受話者を仮想的に移動させるための処理を行う。また、ある実施形態では、制御部１５は、レイアウト情報および俯瞰映像からレイアウトマップを作成し、従業員端末に表示させる。
【００４６】
従業員端末Ｔ１１は、映像入出力処理部２１、音声入出力処理部２２、通信部２３、操作部２４、および制御部２５を含んで構成される。なお、従業員端末Ｔ１２〜Ｔ１６についても、同様の機能構成を有している。
【００４７】
映像入出力処理部２１は、カメラＣから対話映像を入力し、サーバ装置Ｓ１に送信するための処理を施すとともに、サーバ装置Ｓ１から受信した対話映像、俯瞰映像、周辺映像、発話者映像、レイアウトマップ等に、所定の処理を施してディスプレイＤに出力する。
【００４８】
音声入出力処理部２２は、マイクＭから対話音声を入力し、サーバ装置Ｓ１に送信するための処理を施すとともに、サーバ装置Ｓ１から受信した対話音声に、所定の処理を施してスピーカＳに出力する。
【００４９】
通信部２３は、対話映像、対話音声、俯瞰映像、周辺映像、発話者映像、レイアウト情報、移動経路情報、レイアウトマップ、制御指令等をサーバ装置Ｓ１との間で送受信する。操作部２４は、キーボード等の入力デバイスからなり、従業員Ｅ１１から操作指令等の入力を受け付ける。
【００５０】
制御部２５は、従業員端末Ｔ１１の動作を制御するために必要な演算処理を行う。制御部２５は、映像入出力処理部２１および音声入出力処理部２２を介して、カメラＣ、ディスプレイＤ、マイクＭ、スピーカＳを制御する。
【００５１】
対話映像とは、発話者または受話者となる従業員の様子を捉えた映像である。対話音声とは、発話者または受話者となる従業員の発した音声を捉えた映像である。俯瞰映像とは、受話者となりうる全ての従業員の様子を含む、オフィスの全体的な状況を捉えた映像である。
【００５２】
周辺映像とは、オフィス内の基準地点から受話者に至る経路上を仮想的に移動する発話者の移動状況に応じて、発話者の仮想位置に近接する従業員の様子等を捉えた映像である。発話者映像とは、発話者の仮想位置に近接する従業員に、発話者の移動を通知するための映像である。なお、近接には、近傍等の意味も含む。以下同じ。
【００５３】
レイアウト情報とは、従業員の座席配置等、オフィス内のレイアウトを示す情報である。なお、従業員の座席配置では、従業員ＩＤと座席ＩＤが対応付けて管理されている。レイアウトマップとは、例えば俯瞰映像を用いて、発話者が仮想的に移動可能な移動通路を示した情報である。なお、レイアウトマップには、俯瞰映像に代えて、オフィスのレイアウトを示す平面的な情報が用いられてもよい。移動経路情報とは、オフィス内の基準地点から各従業員の座席に至る経路を規定する情報である。
【００５４】
なお、サーバ装置Ｓ１または従業員端末Ｔ１１の機能構成のうち少なくとも一部については、サーバ装置Ｓ１または従業員端末Ｔ１１上で動作するソフトウェア（プログラム）により実現されてもよく、ハードウェアにより実現されてもよい。また、ソフトウェアにより実現される場合には、プログラムがサーバ装置Ｓ１または従業員端末Ｔ１１上に予め格納されてもよく、外部から供給されてもよい。
【００５５】
［３．第１の実施形態に係る遠隔対話システムの動作］
つぎに、図３〜図８を参照して、第１の実施形態に係る遠隔対話システムの動作について説明する。第１の実施形態に係る遠隔対話システムでは、発話者がオフィス内の基準地点から所定の受話者の座席まで仮想的に移動した後に、所定の受話者と対話する。
【００５６】
図３には、遠隔対話システムの動作手順が示されている。図４には、俯瞰映像Ｉ１の一例が示され、図５には、移動経路情報テーブルＰＴの一例が示されている。図６、図７、図８には、周辺映像Ｉ２の一例、移動通知Ｉ３１の一例、対話映像Ｉ４１の一例が各々に示されている。
【００５７】
以下では、オフィスＯ１の従業員Ｅ１１がオフィスＯ２の従業員Ｅ２３と対話する場合を想定して、遠隔対話システムの動作について説明する。
【００５８】
図３に示すように、従業員Ｅ１１は、対話の開始を従業員端末Ｔ１１に指示する（ステップＳ１１）。従業員端末Ｔ１１は、指示をサーバ装置Ｓ１に伝達し、サーバ装置Ｓ１は、俯瞰映像の送信をサーバ装置Ｓ２に指示する（Ｓ１２）。サーバ装置Ｓ２は、俯瞰カメラＣｐ２を制御して俯瞰映像を捉え、サーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、俯瞰映像を従業員端末Ｔ１１に伝達する（Ｓ１３）。
【００５９】
従業員端末Ｔ１１は、図４に示すように、俯瞰映像Ｉ１を表示する（Ｓ１４）。ここでは、俯瞰映像Ｉ１には、従業員Ｅ２１〜Ｅ２６の様子を含むオフィスＯ２の全体状況が捉えられている。なお、俯瞰映像Ｉ１は、俯瞰カメラＣｐ２により連続的に捉えられて従業員端末Ｔ１１に表示される。また、従業員端末Ｔ１１には、従業員Ｅ１１からの指示の有無に係らずに、俯瞰映像Ｉ１が表示されてもよい。
【００６０】
従業員Ｅ１１は、俯瞰映像Ｉ１上で従業員Ｅ２３を確認すると、従業員Ｅ２３を受話者として指定する（Ｓ１５）。なお、受話者は、例えば、タッチパネル式のディスプレイＤに表示される俯瞰映像Ｉ１上の人物の座標をポイントして指定されてもよく、マイクＭから入力される人物の名称等の音声認識結果として指定されてもよい。ポイント座標または音声認識結果は、受話者の指定情報となる。従業員端末Ｔ１１は、受話者の指定情報をサーバ装置Ｓ１に伝達し、サーバ装置Ｓ１は、指定情報をサーバ装置Ｓ２に送信する（Ｓ１６）。
【００６１】
サーバ装置Ｓ２は、オフィスＯ２のレイアウト情報を用いて、指定情報に対応する従業員の座席ＩＤを確認する（Ｓ１７）。座席ＩＤとは、従業員等のユーザが着席する座席を識別するための情報であり、例えば、オフィス内の座席（または、俯瞰映像等の映像上の座席）と座席ＩＤは一対一に対応している。座席ＩＤを確認できた場合、サーバ装置Ｓ２は、後述する移動経路情報テーブルＰＴから受話者に至る移動経路情報を取得し、サーバ装置Ｓ１に送信する（Ｓ１８、Ｓ１９）。なお、サーバ装置Ｓ２が移動経路情報テーブルＰＴをサーバ装置Ｓ１に送信し、サーバ装置Ｓ１が所定の移動経路情報を取得してもよい。
【００６２】
一方、座席ＩＤを確認できなかった場合、サーバ装置Ｓ２は、受話者の座席ＩＤが存在しないので、受話者との対話を開始できない旨を示すメッセージを、サーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、従業員端末Ｔ１１に伝達する。座席ＩＤは、例えば、遠隔地のオフィスに存在する従業員が従業員端末にログインしているか否かによって確認されるが、かかる例に限定されない。
【００６３】
図５には、移動経路情報テーブルＰＴの一例が示されている。移動経路情報テーブルＰＴには、オフィスＯ２内の所定地点である基準地点から従業員Ｅ２１〜Ｅ２６の座席または当該座席の近接点に至る経路を示す情報が格納されている。なお、基準地点は、俯瞰映像Ｉ１の基準となる地点として設定されてもよく、例えばオフィスＯ２の入口地点として設定されてもよい。また、基準地点は、目標となる受話者の座席位置または当該座席位置近接を起点とし、その起点の最も近接に存在する従業員の座席位置または当該座席位置近接と当該起点とを仮想的に結んだ延長線上の任意の位置に存在している。また、基準地点は、当該延長線と平行な直線上の任意の位置に存在してもよい。なお、当該起点の最も近接に存在する従業員の座席位置は、受話者の座席ＩＤ等を用いて求められる。
【００６４】
図５では、基準地点を「０」とする座席ＩＤの並びにより移動経路情報が示されている。例えば、基準地点と従業員Ｅ２３の座席の間には、従業員Ｅ２１、Ｅ２２の座席が存在する場合、従業員Ｅ２３の座席への移動経路情報は、基準地点を「０」とする座席ＩＤ「２１」、「２２」、「２３」の並びとして表される。なお、従業員Ｅの符号と座席ＩＤの符号は対応している。
【００６５】
サーバ装置Ｓ１が移動経路情報を取得すると、遠隔対話システムでは、基準地点から所定の受話者の座席に至る所定の経路上で、発話者の仮想的な移動が開始される。
【００６６】
サーバ装置Ｓ１は、移動経路情報に含まれる座席ＩＤから１つの座席ＩＤを並び順に選択し、選択した座席ＩＤにより発話者の仮想位置を更新する（Ｓ２０）。つぎに、サーバ装置Ｓ１は、選択した座席ＩＤが受話者の座席ＩＤと一致しないかを確認する（Ｓ２１）。
【００６７】
受話者の座席ＩＤと一致しない場合、サーバ装置Ｓ１は、選択した座席ＩＤとともに、周辺映像Ｉ２の送信をサーバ装置Ｓ２に指示する（Ｓ２２）。サーバ装置Ｓ２は、座席ＩＤに対応する周辺カメラＣｎを制御して周辺映像を捉えさせ、サーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、発話者の映像（発話者映像）の送信指示とともに、従業員端末Ｔ１１に伝達する（Ｓ２３）。
【００６８】
従業員端末Ｔ１１は、図６に示すように、周辺映像Ｉ２を表示する（Ｓ２４）。ここでは、座席ＩＤ「２１」に対応する周辺映像Ｉ２として、従業員Ｅ２１の座席周辺の状況が表示されている。
【００６９】
また、従業員端末Ｔ１１は、発話者映像の送信指示に応じて、カメラＣを制御して発話者映像Ｉ３１を捉え、サーバ装置Ｓ１に送信する。サーバ装置Ｓ１は、選択した座席ＩＤおよび発話者映像Ｉ３１とともに、発話者の仮想移動をサーバ装置Ｓ２に通知する（Ｓ２５）。サーバ装置Ｓ２は、座席ＩＤに対応する従業員端末、例えば従業員端末Ｔ２１に発話者映像Ｉ３１とともに、仮想移動を通知する（Ｓ２６）。
【００７０】
座席ＩＤに対応する従業員端末は、図７に示すように、発話者映像Ｉ３１を表示する（Ｓ２７）。ここでは、座席ＩＤ「２１」に対応する従業員端末Ｔ２１に発話者映像Ｉ３１が表示されている。図７では、従業員端末Ｔ２１上で従業員Ｅ２１が作業している内容Ｉ３２とともに、従業員Ｅ１１の発話者映像Ｉ３１が表示されている。なお、発話者映像Ｉ３１は、カメラＣにより連続的に捉えられ、座席ＩＤに対応する従業員端末に表示される。
【００７１】
また、サーバ装置Ｓ２は、座席ＩＤに対応する周辺スピーカＳｎを制御して、発話者の移動音を出力させる（Ｓ２８）。座席ＩＤに対応する２つの周辺スピーカＳｎは、仮想的な移動音を出力する。ここでは、周辺スピーカＳｎの出力レベルを変化させて、発話者が基準地点から従業員Ｅ２１の座席を経て従業員Ｅ２２の座席へ移動する様子を示す音響効果、例えば足音等が発生される。
【００７２】
ステップＳ２０〜Ｓ２８の処理が完了すると、サーバ装置Ｓ１は、所定時間に亘って待機する（Ｓ２９）。ここで、所定時間は、発話者が座席間の移動に要する時間に相当する時間として設定される。所定時間は、オフィス毎に固定値として設定されてもよく、オフィスのレイアウト情報に基づき設定されてもよい。ステップＳ２０〜Ｓ２９の処理（ループ処理Ｌ１１）は、ステップＳ２１の処理で、選択した座席ＩＤが受話者の座席ＩＤと一致することが確認されるまで繰返される。
【００７３】
これにより、オフィスＯ１では、発話者の仮想的な移動に応じて、座席ＩＤ「２１」、「２２」に対応する周辺映像Ｉ２が従業員端末Ｔ１１に順次に表示される。一方、オフィスＯ２では、発話者の仮想的な移動に応じて、座席ＩＤ「２１」、「２２」に対応する従業員端末に発話者映像Ｉ３１が順次に表示されるとともに、座席ＩＤ「２１」、「２２」に対応する周辺スピーカＳｎから発話者の移動音が出力される。
【００７４】
一方、ステップＳ２０の処理で、選択した座席ＩＤが受話者の座席ＩＤと一致することが確認されると、サーバ装置Ｓ１は、対話映像の送信を従業員端末Ｔ１１に指示する。従業員端末Ｔ１１は、カメラＣを制御して従業員Ｅ１１の対話映像Ｉ４１を捉え、サーバ装置Ｓ１に送信する。サーバ装置Ｓ１は、対話映像の送信指示とともに、サーバ装置Ｓ２を通じて従業員端末Ｔ２３に送信する。
【００７５】
従業員端末Ｔ２３は、図８に示すように、従業員Ｅ２３が作業中の内容Ｉ４２とともに、従業員Ｅ１１の対話映像Ｉ４１を表示する（Ｓ３０、Ｓ３１）。同様に、従業員端末Ｔ２３は、送信指示に応じて、カメラＣを制御して従業員Ｅ２３の対話映像を捉え、サーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ１１に送信し、従業員端末Ｔ１１は、従業員Ｅ２３の対話映像を表示する（Ｓ３０、Ｓ３１）。
【００７６】
そして、従業員Ｅ１１と従業員Ｅ２３の間では、従業員端末Ｔ１１、Ｔ２３を通じて対話が開始される（Ｓ３２）。従業員Ｅ１１、Ｅ２３間の対話は、サーバ装置Ｓ１、Ｓ２を通じて、従業員端末Ｔ１１と従業員端末Ｔ２３の間で従業員Ｅ１１、Ｅ２３の映像および音声を送受信して行われる。
【００７７】
従業員Ｅ１１（または従業員Ｅ２３）が所定の操作を通じて対話の終了を従業員端末Ｔ１１に指示すると（Ｓ３３）、サーバ装置Ｓ１は、対話の処理を終了する。なお、対話が開始される前に、対話の開始について、順次受信した一連の周辺映像Ｉ２を参考に対話の可否を従業員Ｅ１１自身が判断し、従業員Ｅ１１から問いかけをし、従業員Ｅ２３から応答を得るようにしてもよい。なお、従業員Ｅ１１は、対話の開始が困難であると判断した場合、従業員Ｅ２３に問いかけをしなくてもよい。
【００７８】
以上説明したように、第１の実施形態に係る遠隔対話システムによれば、発話者は、オフィス内の基準地点から所定の受話者の座席まで仮想的に移動した後に、所定の受話者と対話することになる。発話者は、仮想的な移動に応じて捉えられる受話者の周辺映像を順次に確認することで、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができる。また、受話者以外の人物は、発話者の仮想的な移動を通知されるので、後ほど発話者と対話したり、受話者とともに発話者と対話したりすることができ、発話者により一方的に監視されているといった感覚を得ずにすむ。
【００７９】
ここで、発話者の仮想的な移動に応じて、従業員端末Ｔ１１および／または従業員端末Ｔ２１〜Ｔ２３には、発話者の仮想位置を示す俯瞰映像Ｉ１が表示されてもよい。この場合、サーバ装置Ｓ２は、俯瞰カメラＣｐ２により捉えられる俯瞰映像Ｉ１に、発話者映像Ｉ３１を合成して、従業員端末Ｔ１１および／または従業員端末Ｔ２１〜Ｔ２３に送信してもよい。
【００８０】
また、周辺カメラＣｎは、従業員毎に配置される代わりに、複数の従業員毎に配置されてもよい。この場合、サーバ装置Ｓ２は、発話者の仮想的な移動に応じて、周辺カメラＣｎのパン／チルト／ズーム動作を制御して、適切な周辺映像Ｉ２を捉えさせることになる。
【００８１】
［４．第２の実施形態に係る遠隔対話システムの動作］
つぎに、図９〜図１１を参照して、第２の実施形態に係る遠隔対話システムの動作について説明する。第２の実施形態に係る遠隔対話システムでは、発話者がオフィス内の基準地点から任意の受話者の座席まで仮想的に移動した後に、任意の受話者と対話する。なお、以下では、第１の実施形態と重複する説明を省略する。
【００８２】
図９には、遠隔対話システムの動作手順が示されている。図１０および図１１には、レイアウトマップＩ５の一例および周辺映像Ｉ６の一例が各々に示されている。
【００８３】
以下では、オフィスＯ１の従業員Ｅ１１がオフィスＯ２の任意の従業員と対話する場合を想定して、遠隔対話システムの動作について説明する。
【００８４】
従業員Ｅ１１が処理の開始を指示すると、従業員端末Ｔ１１は、指示をサーバ装置Ｓ１に伝達し、サーバ装置Ｓ１は、俯瞰映像およびオフィスＯ２のレイアウト情報（経路情報）の送信をサーバ装置Ｓ２に指示する（ステップＳ５１）。サーバ装置Ｓ１は、俯瞰映像およびレイアウト情報をサーバ装置Ｓ２から受信する（Ｓ５２）。
【００８５】
サーバ装置Ｓ１は、レイアウト情報および俯瞰映像から、レイアウトマップＩ５を作成する（Ｓ５３）。サーバ装置Ｓ１は、レイアウトマップＩ５を従業員端末Ｔ１１に伝達し、従業員端末Ｔ１１は、図１０に示すように、レイアウトマップＩ５を表示する（Ｓ５４、Ｓ５５）。なお、レイアウトマップＩ５は、図１に示した俯瞰カメラＣｐ２により捉えられる俯瞰映像に応じて、更新して表示される。
【００８６】
レイアウトマップＩ５には、従業員Ｅ２１〜Ｅ２６の座席配置と、発話者が仮想的に移動可能な移動通路Ｐが表示されている。また、レイアウトマップＩ５には、発話者の仮想位置および視点方向（矢印）を示すアイコンＩが表示されている。
【００８７】
従業員端末Ｔ１１がレイアウトマップＩを表示すると、遠隔対話システムでは、基準地点から任意の受話者の座席に至る任意の経路上で、発話者の仮想的な移動が開始される。例えば図１０に示すように、発話者は、基準地点から移動通路Ｐのエリア内を任意方向に任意の位置まで仮想的に移動することができる。
【００８８】
従業員Ｅ１１は、レイアウトマップＩ５上で移動通路Ｐに沿ってアイコンＩを移動させるとともに、視点方向を変化させることができる。また、従業員Ｅ１１は、レイアウトマップＩ５上で任意の受話者の座席までアイコンＩを移動させた上で、所定の操作を通じて、任意の受話者との対話の開始または終了を従業員端末Ｔ１１に指示することができる。
【００８９】
発話者が仮想移動を指示すると（Ｓ５６）、従業員端末Ｔ１１は、指示をサーバ装置Ｓ１に伝達する（Ｓ５７）。サーバ装置Ｓ１は、指示に応じて、発話者の仮想位置を更新し、レイアウトマップＩ５上でアイコンＩの位置を更新する（Ｓ５８）。従業員端末Ｔ１１は、更新後のレイアウトマップＩ５をサーバ装置Ｓ１から受信して表示する（Ｓ５９、Ｓ６０）。なお、視点方向が変更された場合も、サーバ装置Ｓ１は、レイアウトマップＩ５上でアイコンＩ（矢印）の表示を更新する。
【００９０】
サーバ装置Ｓ１は、仮想位置および視点方向とともに、周辺映像Ｉ６の送信をサーバ装置Ｓ２に指示する（Ｓ６１）。なお、発話者の仮想位置は、例えば、レイアウトマップＩ５上でアイコンＩに近接する座席の座席ＩＤにより特定される。
【００９１】
サーバ装置Ｓ２は、仮想位置および視点方向に対応する周辺カメラＣｎを制御して周辺映像Ｉ６を捉えさせ、サーバ装置Ｓ１に送信する。サーバ装置Ｓ１は、発話者映像の送信指示とともに、従業員端末Ｔ１１に送信する（Ｓ６２）。ここで、サーバ装置Ｓ２は、仮想位置および視点方向に応じて、周辺カメラＣｎのパン／チルト／ズーム動作を制御して、適切な周辺映像Ｉ６を捉えることになる。
【００９２】
従業員端末Ｔ１１は、図１１に示すように、周辺映像Ｉ６を表示する（Ｓ６３）。ここでは、座席ＩＤ「２１」に対応する周辺映像Ｉ６として、図６に示した周辺映像Ｉ２とは撮影方向を変えて、従業員Ｅ２１の座席周辺の状況が捉えられている。なお、周辺映像Ｉ６は、仮想移動が行われなくとも、視線方向の変更に応じて更新して表示される。また、周辺映像Ｉ６は、レイアウトマップＩ５とともに表示されてもよい。
【００９３】
また、従業員端末Ｔ１１は、送信指示に応じて、カメラＣを制御して発話者映像を捉えてサーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、仮想位置に近接する座席の座席ＩＤおよび発話者映像とともに、仮想移動をサーバ装置Ｓ２に通知する（Ｓ６４）。サーバ装置Ｓ２は、座席ＩＤに対応する従業員端末に発話者映像とともに、仮想移動を通知する（Ｓ６５）。座席ＩＤに対応する従業員端末は、発話者映像を表示し、座席ＩＤに対応する周辺スピーカＳｎは、仮想的な移動音を出力する（Ｓ６６、Ｓ６７）。
【００９４】
サーバ装置Ｓ１は、従業員Ｅ１１から従業員端末Ｔ１１を通じて対話の開始が指示されたかを確認する（Ｓ６８）。ステップＳ５６〜Ｓ６８の処理（処理ループＬ２１）は、ステップＳ６８の処理で対話の開始指示が確認されるまで繰返される。
【００９５】
ここで、従業員Ｅ１１が従業員Ｅ２３の座席までアイコンＩを移動させた上で、所定の操作を通じて対話の開始を従業員端末Ｔ１１に指示した場合を想定する（Ｓ６８）。
【００９６】
この場合、サーバ装置Ｓ１は、対話映像の送信をサーバ装置Ｓ２を通じて従業員端末Ｔ２３に指示する。従業員端末Ｔ１１は、従業員端末Ｔ２３のカメラＣにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ２３から受信して表示する（Ｓ６９、Ｓ７０）。同様に、従業員端末Ｔ２３は、従業員端末Ｔ１１のカメラにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ１１から受信して表示する（Ｓ６９、Ｓ７０）。そして、従業員Ｅ１１と従業員Ｅ２３の間では、従業員端末Ｔ１１、Ｔ２３を通じて対話が開始される（Ｓ７１）。
【００９７】
サーバ装置Ｓ１は、従業員Ｅ１１から従業員端末Ｔ１１を通じて対話の終了が指示されたかを確認する（Ｓ７２）。ステップＳ６９〜Ｓ７２の処理（処理ループＬ２２）は、ステップＳ７２の処理で対話の終了指示が確認されるまで繰返される。
【００９８】
ここで、従業員Ｅ１１が従業員Ｅ２４との対話を所望した場合を想定する。この場合、従業員Ｅ１１は、所定の操作を通じて対話の終了を従業員端末Ｔ１１に指示する。すると、従業員端末Ｔ１１は、サーバ装置Ｓ１、Ｓ２を通じて、対話の終了を従業員端末Ｔ２３に指示する。これにより、従業員端末Ｔ１１と従業員端末Ｔ２３の間では、対話の処理が終了する。
【００９９】
従業員Ｅ１１は、レイアウトマップＩ５上で移動通路Ｐに沿って従業員Ｅ２４の座席までアイコンＩを移動させた上で、所定の操作を通じて対話の開始を従業員端末Ｔ１１に指示する。すると、従業員Ｅ２３の場合と同様に、従業員Ｅ１１と従業員Ｅ２４の間では、従業員端末Ｔ１１、Ｔ２４を通じて対話が開始される。
【０１００】
以下、同様に、従業員Ｅ１１は、レイアウトマップＩ５上で移動通路Ｐに沿ってアイコンＩを任意の従業員の座席に移動させて、任意の従業員と対話を開始することができる。なお、従業員Ｅ１１は、所定の操作を通じて、オフィスＯ２での対話処理の終了を従業員端末Ｔ１１を通じてサーバ装置Ｓ１に終了させることができる。処理ループＬ２１、Ｌ２２は、処理の終了が指示されるまで繰返される。
【０１０１】
以上説明したように、第２の実施形態に係る遠隔対話システムによれば、発話者は、オフィス内の基準地点から任意の受話者の座席まで仮想的に移動した後に、任意の受話者と対話することになる。発話者は、仮想的な移動に応じて捉えられる受話者の周辺映像を順次に確認することで、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができる。また、発話者は、受話者の周辺環境や受話者以外の人物の様子に応じて、任意の受話者と対話することができる。
【０１０２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０３】
例えば、上記説明では、１つの俯瞰カメラＣｐ１、Ｃｐ２がオフィスＯ１、Ｏ２毎に配置される場合について説明したが、オフィスＯ１、Ｏ２の入口が２箇所以上ある場合等には、２つ以上の俯瞰カメラＣｐが配置されてもよい。また、俯瞰カメラＣｐと周辺カメラＣｎとカメラＣの間、周辺スピーカＳｎとスピーカＳの間では、上記説明とは異なる機能分担が行われてもよい。
【０１０４】
また、上記説明では、複数人が勤務するオフィスＯ１、Ｏ２間で対話を行う場合を想定した。しかし、本発明は、複数人が勤務するオフィスと１人が勤務するオフィス（または自宅）の間で対話を行う場合にも同様に適用することができる。また、本発明は、オフィスに限定されず、遠隔介護を支援するシステム、遠隔地に位置する家庭間で対話を行うシステムにも同様に適用することができる。
【０１０５】
また、上記説明では、オフィスＯ１に位置する発話者がオフィスＯ２に位置する受話者に対して対話を促す際に、サーバ装置Ｓ１が発話者側の処理を行い、サーバ装置Ｓ２が受話者側の処理を行う場合について説明した。しかし、オフィスＯ２に位置する発話者がオフィスＯ１に位置する受話者に対して対話を促す際には、サーバ装置Ｓ２が発話者側の処理を行い、サーバ装置Ｓ１が受話者側の処理を行うことになる。
【０１０６】
また、上記説明では、オフィスＯ１に位置する発話者とオフィスＯ２に位置する受話者の間でのみ対話が行われる場合について説明した。しかし、オフィスＯ１に発話者１と受話者１が位置し、オフィスＯ２に発話者２と受話者２が位置する場合において、発話者１と受話者２の対話と、発話者２と受話者１の対話を同時に行うように構成されてもよい。
【符号の説明】
【０１０７】
Ｓ１、Ｓ２ サーバ装置
Ｔ１１〜Ｔ１６、Ｔ２１〜Ｔ２６ 従業員端末
ＮＷ ネットワーク
Ｃｐ１、Ｃｐ２ 俯瞰カメラ
Ｃｎ１１〜Ｃｎ１６、Ｃｎ２１〜Ｃｎ２６ 周辺カメラ
Ｓｎ１１〜Ｓｎ１４、Ｓｎ２１〜Ｓｎ２４ 周辺スピーカ
１１ 映像入力処理部
１２ 音声出力処理部
１３ データ格納部
１４ 通信部
１５ 制御部
２１ 映像入出力処理部
２２ 音声入出力処理部
２３ 通信部
２４ 操作部
２５ 制御部
Ｉ１ 俯瞰映像
Ｉ２、Ｉ６ 周辺映像
Ｉ３１ 発話者映像
Ｉ４１ 対話映像
Ｉ５ レイアウトマップ
Ｉ アイコン
Ｐ 移動通路
Ｏ１、Ｏ２ オフィス
Ｅ１１〜Ｅ１６、Ｅ２１〜Ｅ２６ 従業員
【技術分野】
【０００１】
本発明は、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムに関する。
【背景技術】
【０００２】
近年、通信ネットワークの発達によりテレワークが実現されており、テレワーク環境でのコミュニケーションが重要視されている。テレワーク環境では、ネットワーク接続されたオフィス間で、カメラおよびディスプレイを通じて伝達される映像情報、マイクおよびスピーカを通じて伝達される音声情報を用いて、コミュニケーションが実現される。
【０００３】
例えば、下記特許文献１には、遠隔地のオフィス内の俯瞰映像を表示し、俯瞰映像上で受話者を指定して受話者の対話映像を表示し、受話者と対話を行う遠隔対話システムが記載されている。このシステムでは、ユーザが遠隔地のオフィスを訪問し、受話者に近づいて対話を行うという感覚を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４０１５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記システムでは、俯瞰映像の直後に受話者の映像を表示するので、オフィスのレイアウトに従って受話者に近づくという感覚を得ることができない。つまり、俯瞰の基準となる基準地点を始点とし、受話者を終点とする経路上の状況を確認しながら、受話者に近づくという感覚を得ることができない。よって、通常、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができない。
【０００６】
そこで、本発明は、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者との対話を可能にする、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、通信回線を通じて対話可能な遠隔対話装置であって、遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と通信回線を介して接続されており、遠隔領域の所定地点から遠隔領域に位置する受話者に至る経路を示す経路情報を他の遠隔対話装置から受信する経路情報受信部と、経路情報に基づき、所定地点から受話者まで発話者を仮想的に移動させる仮想移動部と、発話者が受話者まで仮想的に移動する途中で、発話者の仮想的な視点により捉えられる受話者の周辺映像を他の遠隔対話装置から順次に受信し、発話者の端末装置に送信する周辺映像送受信部と、発話者が受話者まで移動すると、発話者の端末装置と受話者の端末装置の間で対話映像および対話音声を送受信する対話情報送受信部とを備える遠隔対話装置が提供される。
【０００８】
かかる構成によれば、遠隔領域内の経路を示す経路情報に基づき、所定地点から受話者の地点まで発話者が仮想的に移動される。つぎに、発話者の仮想的な移動に応じて、発話者の視点で捉えられる受話者の周辺映像が順次に受信されて表示される。そして、発話者と受話者の間で対話映像および対話音声が送受信される。これにより、発話者は、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができる。
【０００９】
上記周辺映像送受信部は、発話者が受話者まで仮想的に移動する途中で、発話者の仮想的な視点により捉えられる受話者を含んだ複数のユーザの周辺映像を他の遠隔対話装置から順次に受信し、発話者の端末装置に送信してもよい。
【００１０】
上記遠隔対話装置は、受話者を指定する指定情報を発話者の端末から受信する指定情報受信部をさらに備え、仮想移動部は、経路情報に基づく所定の経路に従って、所定地点から指定された受話者まで発話者を仮想的に移動させてもよい。
【００１１】
上記遠隔対話装置は、遠隔領域の状況を俯瞰して捉えた俯瞰映像を他の遠隔対話装置から受信し、発話者の端末装置に送信する俯瞰映像送受信部をさらに備え、指定情報受信部は、俯瞰映像上で指定された受話者を示す指定情報を発話者の端末から受信してもよい。
【００１２】
上記遠隔対話装置は、遠隔領域で発話者を仮想的に移動させるための移動操作情報を発話者の端末装置から受信する操作情報受信部をさらに備え、仮想移動部は、移動操作情報に従って、所定地点から任意の受話者まで発話者を仮想的に移動させてもよい。
【００１３】
上記遠隔対話装置は、遠隔領域の状況を俯瞰して捉えた俯瞰映像を他の遠隔対話装置から受信する俯瞰映像受信部と、発話者が仮想的に移動可能な遠隔領域の移動通路を示す情報および発話者の仮想位置を示す情報とともに、俯瞰映像を発話者の端末装置に送信する俯瞰映像送信部とをさらに備え、仮想移動部は、移動操作情報に従って、所定地点から任意の受話者まで発話者を仮想的に移動させてもよい。
【００１４】
操作情報受信部は、発話者の仮想的な視点の方向を変更させるための視点操作情報を発話者の端末装置からさらに受信し、周辺映像送受信部は、発話者が受話者まで移動する途中で、視点操作情報に従って、発話者の仮想的な視点により捉えられる受話者の周辺映像を他の遠隔対話装置から受信し、発話者の端末装置に送信してもよい。
【００１５】
上記遠隔対話装置は、他の遠隔対話装置が設置された遠隔領域に発話者が位置し、遠隔対話装置が設置された自領域に受話者が位置する場合において、発話者が受話者まで移動する途中で、自領域における発話者の仮想位置を他の遠隔対話装置から受信する仮想位置受信部と、自領域における発話者の仮想位置に近接する受話者または前記受話者を含む複数のユーザに、視覚情報および聴覚情報の少なくとも一方を用いて、発話者の仮想的な移動を通知する仮想移動通知部をさらに備えてもよい。
【００１６】
また、本発明の別の実施形態によれば、上記遠隔対話装置と他の遠隔対話装置を有する遠隔対話システムが提供される。
【００１７】
また、本発明の別の実施形態によれば、遠隔領域に設置された他の遠隔対話装置と通信回線を通じて接続可能な遠隔対話装置を用いた遠隔対話方法であって、遠隔対話装置によって、遠隔領域の所定地点から遠隔領域に位置する受話者に至る経路を示す経路情報を他の遠隔対話装置から受信するステップと、経路情報に基づき、所定地点から受話者まで発話者を仮想的に移動させるステップと、発話者が受話者まで仮想的に移動する途中で、発話者の仮想的な視点により捉えられる受話者の周辺映像を他の遠隔対話装置から順次に受信し、発話者の端末装置に送信するステップと、発話者が受話者まで移動すると、発話者の端末装置と受話者の端末装置の間で対話映像および対話音声を送受信するステップとを含む遠隔対話方法が提供される。
【００１８】
また、本発明の別の観点によれば、上記遠隔対話方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。
【発明の効果】
【００１９】
以上説明したように本発明によれば、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者との対話を可能にする、遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラムが提供される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る遠隔対話システムの全体構成を示す図である。
【図２】遠隔対話システムの主要な機能構成を示すブロック図である。
【図３】第１の実施形態に係る遠隔対話システムの動作手順を示すシーケンス図である。
【図４】俯瞰映像の一例を示す図である。
【図５】経路情報テーブルの一例を示す図である。
【図６】周辺映像の一例を示す図である。
【図７】移動通知の一例を示す図である。
【図８】対話映像の一例を示す図である。
【図９】第２の実施形態に係る遠隔対話システムの動作手順を示すシーケンス図である。
【図１０】レイアウトマップの一例を示す図である。
【図１１】周辺映像の一例を示す図である。
【図１２】従来の遠隔対話システムの全体構成を示す図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
以下では、従来の遠隔対話システムについて説明した上で、本発明の実施形態に係る遠隔対話システムについて説明する。
【００２３】
［１．従来の遠隔対話システム］
まず、図１２を参照して従来の遠隔対話システムについて説明する。図１２には、従来の遠隔対話システムの全体構成が示されている。
【００２４】
図１２に示すように、従来の遠隔対話システムでは、オフィスＯ１、Ｏ２がネットワークＮＷにより接続されている。以下では、オフィスＯ１、Ｏ２が同様の構成を有しており、オフィスＯ１に６人の従業員Ｅ１１〜Ｅ１６が勤務し、オフィスＯ２に６人の従業員Ｅ２１〜Ｅ２６が勤務している場合を想定する。
【００２５】
オフィスＯ１には、従業員Ｅ１１〜Ｅ１６の座席に対応して従業員端末Ｔ１１〜Ｔ１６が配置されている（なお、図１２中には、従業員端末Ｔ１１〜Ｔ１３のみが示されている。）。従業員端末Ｔ１１〜Ｔ１６には、いずれも不図示ではあるが、映像情報を入出力するためのカメラＣおよびディスプレイＤが備えられ、音声情報を入出力するためのマイクＭおよびスピーカＳが備えられている。
【００２６】
また、オフィスＯ１には、サーバ装置Ｓ１が配置されている。サーバ装置Ｓ１は、従業員端末Ｔ１１〜Ｔ１６に接続されるとともに、ネットワークＮＷによりオフィスＯ２のサーバ装置Ｓ２に接続されている。オフィスＯ１の所定位置には、オフィスＯ１内を俯瞰する俯瞰映像を捉える俯瞰カメラＣｐ１が配置されている。俯瞰カメラＣｐ１は、サーバ装置Ｓ１に接続されており、サーバ装置Ｓ１により制御される。
【００２７】
一方、オフィスＯ２は、オフィスＯ１と同様の構成を有しており、従業員端末Ｔ２１〜Ｔ２６、サーバ装置Ｓ２、俯瞰カメラＣｐ２が配置されている。なお、各装置は、オフィスＯ１の装置と同様の構成を有している。
【００２８】
以下では、オフィスＯ１の従業員Ｅ１１がオフィスＯ２の従業員Ｅ２３と対話する場合を想定して、従来の遠隔対話システムの動作について説明する。
【００２９】
従業員Ｅ１１が対話の開始を従業員端末Ｔ１１に指示すると、従業員端末Ｔ１１は、オフィスＯ２の俯瞰カメラＣｐ２により捉えられた俯瞰映像をサーバ装置Ｓ１、Ｓ２を通じて受信して表示する。俯瞰映像により、従業員Ｅ１１は、従業員Ｅ２１〜Ｅ２６の様子を含むオフィスＯ２の全体状況を確認することができる。
【００３０】
従業員Ｅ１１が俯瞰映像上で従業員Ｅ２３を指定すると、従業員端末Ｔ１１は、従業員端末Ｔ２３のカメラＣにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ２３から受信して表示する。同様に、従業員端末Ｔ２３は、従業員端末Ｔ１１のカメラＣにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ１１から受信して表示する。対話映像により、従業員Ｅ１１、Ｅ２３は、互いの様子を確認することができる。
【００３１】
そして、従業員Ｅ１１と従業員Ｅ２３の間では、従業員端末Ｔ１１、Ｔ２３を通じて対話が開始される。従業員Ｅ１１、Ｅ２３間の対話は、従業員端末Ｔ１１と従業員端末Ｔ２３の間で従業員Ｅ１１、Ｅ２３の対話映像および対話音声を送受信して行われる。
【００３２】
このため、従業員Ｅ１１は、オフィスＯ２内の俯瞰映像上で従業員Ｅ２３を指定し、従業員Ｅ２３の対話映像を確認して、従業員Ｅ２３と対話を行うことになる。よって、従業員Ｅ１１は、オフィスＯ２を訪問し、従業員Ｅ２３に近づいて対話を行うという感覚を得ることができる。
【００３３】
しかし、従業員Ｅ１１は、俯瞰映像の直後に従業員Ｅ２３の対話映像を確認することになるので、俯瞰の基準となる基準地点を始点とし、従業員Ｅ２３を終点とする経路上の状況を確認しながら、従業員Ｅ２３に近づくという感覚を得ることができない。よって、通常、従業員Ｅ２３の周辺環境や従業員Ｅ２３以外の人物の様子を確認した後に従業員Ｅ２３と対話することができない。
【００３４】
［２．遠隔対話システムの構成］
つぎに、図１〜図８を参照して本発明の実施形態に係る遠隔対話システムについて説明する。本実施形態に係る遠隔対話システムは、受話者の周辺環境や受話者以外の人物の様子を確認することを可能にするものである。
【００３５】
まず、図１および図２を参照して本発明の実施形態に係る遠隔対話システムの構成について説明する。図１には、遠隔対話システムの全体構成が示され、図２には、遠隔対話システムの主要な機能構成が示されている。
【００３６】
図１に示すように、遠隔対話システムは、図１２に示した従来の遠隔対話システムと概ね同様の構成を有している。なお、遠隔対話システムでは、２以上のオフィスがネットワークＮＷにより接続されてもよい。また、装置の構成は、オフィス毎に変更されてもよい。このため、以下では、従来の遠隔対話システムと重複する説明については省略する。
【００３７】
遠隔対話システムでは、オフィスＯ１には、従業員端末Ｔ１１〜Ｔ１６、サーバ装置Ｓ１、俯瞰カメラＣｐ１の他に、周辺カメラＣｎ１１〜Ｃｎ１６と、周辺スピーカＳｎ１１〜Ｓｎ１４が配置されている。
【００３８】
周辺カメラＣｎ１１〜Ｃｎ１６および周辺スピーカＳｎ１１〜Ｓｎ１４は、例えば従業員Ｅ１１〜Ｅ１６に各々に近接して、オフィスＯ１内の通路上に配置されている。周辺カメラＣｎ１１〜Ｃｎ１６および周辺スピーカＳｎ１１〜Ｓｎ１４は、サーバ装置Ｓ１に接続されており、サーバ装置Ｓ１により制御される。なお、周辺カメラＣｎおよび周辺スピーカＳｎの数および配置は、上記例に限定されるものではない。また、各装置は、有線で接続されてもよく、無線で接続されてもよい。
【００３９】
一方、オフィスＯ２は、オフィスＯ１と同様の構成を有しており、従業員端末Ｔ２１〜Ｔ２６、サーバ装置Ｓ２、俯瞰カメラＣｐ２の他に、周辺カメラＣｎ２１〜Ｃｎ２６と、周辺スピーカＳｎ２１〜Ｓｎ２４が配置されている。なお、各装置は、オフィスＯ１の装置と同様の構成を有している。
【００４０】
図２には、オフィスＯ１に配置されている装置、特にサーバ装置Ｓ１および従業員端末Ｔ１１〜Ｔ１６の主要な機能構成が示されている。なお、オフィスＯ２に配置されている装置についても、同様の機能構成を有している。
【００４１】
サーバ装置Ｓ１は、映像入力処理部１１、音声出力処理部１２、データ格納部１３、通信部１４、および制御部１５を含んで構成される。
【００４２】
映像入力処理部１１は、俯瞰カメラＣｐ１および周辺カメラＣｎ１１〜Ｃｎ１６から俯瞰映像および周辺映像を入力し、サーバ装置Ｓ２に送信するための処理を施す。映像入力処理部１１は、オフィスＯ１内の基準地点から受話者に至る経路上を仮想的に移動する発話者の移動状況に応じて、発話者の仮想位置に対応する周辺カメラＣｎから周辺映像を入力する。
【００４３】
音声出力処理部１２は、発話者の移動状況に応じて、仮想的な移動音を生成して発話者の仮想位置に対応する周辺スピーカＳｎに供給する。データ格納部１３は、後述するオフィスＯ１のレイアウト情報、移動経路情報テーブル等を格納している。
【００４４】
通信部１４は、対話映像、対話音声、俯瞰映像、周辺映像、発話者映像、レイアウト情報（経路情報）、移動経路情報（経路情報）、レイアウトマップ、制御指令（後述する指定情報、操作情報、仮想位置等を含む。）等を、サーバ装置Ｓ２との間および従業員端末との間で送受信する。
【００４５】
制御部１５は、サーバ装置Ｓ１の動作を制御するために必要な演算処理を行う。制御部１５は、映像入力処理部１１および音声出力処理部１２を介して、俯瞰カメラＣｐ１、周辺カメラＣｎ１１〜Ｃｎ１６、周辺スピーカＳｎ１１〜Ｓｎ１４を制御する。また、制御部１５は、オフィスＯ２内で受話者を仮想的に移動させるための処理を行う。また、ある実施形態では、制御部１５は、レイアウト情報および俯瞰映像からレイアウトマップを作成し、従業員端末に表示させる。
【００４６】
従業員端末Ｔ１１は、映像入出力処理部２１、音声入出力処理部２２、通信部２３、操作部２４、および制御部２５を含んで構成される。なお、従業員端末Ｔ１２〜Ｔ１６についても、同様の機能構成を有している。
【００４７】
映像入出力処理部２１は、カメラＣから対話映像を入力し、サーバ装置Ｓ１に送信するための処理を施すとともに、サーバ装置Ｓ１から受信した対話映像、俯瞰映像、周辺映像、発話者映像、レイアウトマップ等に、所定の処理を施してディスプレイＤに出力する。
【００４８】
音声入出力処理部２２は、マイクＭから対話音声を入力し、サーバ装置Ｓ１に送信するための処理を施すとともに、サーバ装置Ｓ１から受信した対話音声に、所定の処理を施してスピーカＳに出力する。
【００４９】
通信部２３は、対話映像、対話音声、俯瞰映像、周辺映像、発話者映像、レイアウト情報、移動経路情報、レイアウトマップ、制御指令等をサーバ装置Ｓ１との間で送受信する。操作部２４は、キーボード等の入力デバイスからなり、従業員Ｅ１１から操作指令等の入力を受け付ける。
【００５０】
制御部２５は、従業員端末Ｔ１１の動作を制御するために必要な演算処理を行う。制御部２５は、映像入出力処理部２１および音声入出力処理部２２を介して、カメラＣ、ディスプレイＤ、マイクＭ、スピーカＳを制御する。
【００５１】
対話映像とは、発話者または受話者となる従業員の様子を捉えた映像である。対話音声とは、発話者または受話者となる従業員の発した音声を捉えた映像である。俯瞰映像とは、受話者となりうる全ての従業員の様子を含む、オフィスの全体的な状況を捉えた映像である。
【００５２】
周辺映像とは、オフィス内の基準地点から受話者に至る経路上を仮想的に移動する発話者の移動状況に応じて、発話者の仮想位置に近接する従業員の様子等を捉えた映像である。発話者映像とは、発話者の仮想位置に近接する従業員に、発話者の移動を通知するための映像である。なお、近接には、近傍等の意味も含む。以下同じ。
【００５３】
レイアウト情報とは、従業員の座席配置等、オフィス内のレイアウトを示す情報である。なお、従業員の座席配置では、従業員ＩＤと座席ＩＤが対応付けて管理されている。レイアウトマップとは、例えば俯瞰映像を用いて、発話者が仮想的に移動可能な移動通路を示した情報である。なお、レイアウトマップには、俯瞰映像に代えて、オフィスのレイアウトを示す平面的な情報が用いられてもよい。移動経路情報とは、オフィス内の基準地点から各従業員の座席に至る経路を規定する情報である。
【００５４】
なお、サーバ装置Ｓ１または従業員端末Ｔ１１の機能構成のうち少なくとも一部については、サーバ装置Ｓ１または従業員端末Ｔ１１上で動作するソフトウェア（プログラム）により実現されてもよく、ハードウェアにより実現されてもよい。また、ソフトウェアにより実現される場合には、プログラムがサーバ装置Ｓ１または従業員端末Ｔ１１上に予め格納されてもよく、外部から供給されてもよい。
【００５５】
［３．第１の実施形態に係る遠隔対話システムの動作］
つぎに、図３〜図８を参照して、第１の実施形態に係る遠隔対話システムの動作について説明する。第１の実施形態に係る遠隔対話システムでは、発話者がオフィス内の基準地点から所定の受話者の座席まで仮想的に移動した後に、所定の受話者と対話する。
【００５６】
図３には、遠隔対話システムの動作手順が示されている。図４には、俯瞰映像Ｉ１の一例が示され、図５には、移動経路情報テーブルＰＴの一例が示されている。図６、図７、図８には、周辺映像Ｉ２の一例、移動通知Ｉ３１の一例、対話映像Ｉ４１の一例が各々に示されている。
【００５７】
以下では、オフィスＯ１の従業員Ｅ１１がオフィスＯ２の従業員Ｅ２３と対話する場合を想定して、遠隔対話システムの動作について説明する。
【００５８】
図３に示すように、従業員Ｅ１１は、対話の開始を従業員端末Ｔ１１に指示する（ステップＳ１１）。従業員端末Ｔ１１は、指示をサーバ装置Ｓ１に伝達し、サーバ装置Ｓ１は、俯瞰映像の送信をサーバ装置Ｓ２に指示する（Ｓ１２）。サーバ装置Ｓ２は、俯瞰カメラＣｐ２を制御して俯瞰映像を捉え、サーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、俯瞰映像を従業員端末Ｔ１１に伝達する（Ｓ１３）。
【００５９】
従業員端末Ｔ１１は、図４に示すように、俯瞰映像Ｉ１を表示する（Ｓ１４）。ここでは、俯瞰映像Ｉ１には、従業員Ｅ２１〜Ｅ２６の様子を含むオフィスＯ２の全体状況が捉えられている。なお、俯瞰映像Ｉ１は、俯瞰カメラＣｐ２により連続的に捉えられて従業員端末Ｔ１１に表示される。また、従業員端末Ｔ１１には、従業員Ｅ１１からの指示の有無に係らずに、俯瞰映像Ｉ１が表示されてもよい。
【００６０】
従業員Ｅ１１は、俯瞰映像Ｉ１上で従業員Ｅ２３を確認すると、従業員Ｅ２３を受話者として指定する（Ｓ１５）。なお、受話者は、例えば、タッチパネル式のディスプレイＤに表示される俯瞰映像Ｉ１上の人物の座標をポイントして指定されてもよく、マイクＭから入力される人物の名称等の音声認識結果として指定されてもよい。ポイント座標または音声認識結果は、受話者の指定情報となる。従業員端末Ｔ１１は、受話者の指定情報をサーバ装置Ｓ１に伝達し、サーバ装置Ｓ１は、指定情報をサーバ装置Ｓ２に送信する（Ｓ１６）。
【００６１】
サーバ装置Ｓ２は、オフィスＯ２のレイアウト情報を用いて、指定情報に対応する従業員の座席ＩＤを確認する（Ｓ１７）。座席ＩＤとは、従業員等のユーザが着席する座席を識別するための情報であり、例えば、オフィス内の座席（または、俯瞰映像等の映像上の座席）と座席ＩＤは一対一に対応している。座席ＩＤを確認できた場合、サーバ装置Ｓ２は、後述する移動経路情報テーブルＰＴから受話者に至る移動経路情報を取得し、サーバ装置Ｓ１に送信する（Ｓ１８、Ｓ１９）。なお、サーバ装置Ｓ２が移動経路情報テーブルＰＴをサーバ装置Ｓ１に送信し、サーバ装置Ｓ１が所定の移動経路情報を取得してもよい。
【００６２】
一方、座席ＩＤを確認できなかった場合、サーバ装置Ｓ２は、受話者の座席ＩＤが存在しないので、受話者との対話を開始できない旨を示すメッセージを、サーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、従業員端末Ｔ１１に伝達する。座席ＩＤは、例えば、遠隔地のオフィスに存在する従業員が従業員端末にログインしているか否かによって確認されるが、かかる例に限定されない。
【００６３】
図５には、移動経路情報テーブルＰＴの一例が示されている。移動経路情報テーブルＰＴには、オフィスＯ２内の所定地点である基準地点から従業員Ｅ２１〜Ｅ２６の座席または当該座席の近接点に至る経路を示す情報が格納されている。なお、基準地点は、俯瞰映像Ｉ１の基準となる地点として設定されてもよく、例えばオフィスＯ２の入口地点として設定されてもよい。また、基準地点は、目標となる受話者の座席位置または当該座席位置近接を起点とし、その起点の最も近接に存在する従業員の座席位置または当該座席位置近接と当該起点とを仮想的に結んだ延長線上の任意の位置に存在している。また、基準地点は、当該延長線と平行な直線上の任意の位置に存在してもよい。なお、当該起点の最も近接に存在する従業員の座席位置は、受話者の座席ＩＤ等を用いて求められる。
【００６４】
図５では、基準地点を「０」とする座席ＩＤの並びにより移動経路情報が示されている。例えば、基準地点と従業員Ｅ２３の座席の間には、従業員Ｅ２１、Ｅ２２の座席が存在する場合、従業員Ｅ２３の座席への移動経路情報は、基準地点を「０」とする座席ＩＤ「２１」、「２２」、「２３」の並びとして表される。なお、従業員Ｅの符号と座席ＩＤの符号は対応している。
【００６５】
サーバ装置Ｓ１が移動経路情報を取得すると、遠隔対話システムでは、基準地点から所定の受話者の座席に至る所定の経路上で、発話者の仮想的な移動が開始される。
【００６６】
サーバ装置Ｓ１は、移動経路情報に含まれる座席ＩＤから１つの座席ＩＤを並び順に選択し、選択した座席ＩＤにより発話者の仮想位置を更新する（Ｓ２０）。つぎに、サーバ装置Ｓ１は、選択した座席ＩＤが受話者の座席ＩＤと一致しないかを確認する（Ｓ２１）。
【００６７】
受話者の座席ＩＤと一致しない場合、サーバ装置Ｓ１は、選択した座席ＩＤとともに、周辺映像Ｉ２の送信をサーバ装置Ｓ２に指示する（Ｓ２２）。サーバ装置Ｓ２は、座席ＩＤに対応する周辺カメラＣｎを制御して周辺映像を捉えさせ、サーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、発話者の映像（発話者映像）の送信指示とともに、従業員端末Ｔ１１に伝達する（Ｓ２３）。
【００６８】
従業員端末Ｔ１１は、図６に示すように、周辺映像Ｉ２を表示する（Ｓ２４）。ここでは、座席ＩＤ「２１」に対応する周辺映像Ｉ２として、従業員Ｅ２１の座席周辺の状況が表示されている。
【００６９】
また、従業員端末Ｔ１１は、発話者映像の送信指示に応じて、カメラＣを制御して発話者映像Ｉ３１を捉え、サーバ装置Ｓ１に送信する。サーバ装置Ｓ１は、選択した座席ＩＤおよび発話者映像Ｉ３１とともに、発話者の仮想移動をサーバ装置Ｓ２に通知する（Ｓ２５）。サーバ装置Ｓ２は、座席ＩＤに対応する従業員端末、例えば従業員端末Ｔ２１に発話者映像Ｉ３１とともに、仮想移動を通知する（Ｓ２６）。
【００７０】
座席ＩＤに対応する従業員端末は、図７に示すように、発話者映像Ｉ３１を表示する（Ｓ２７）。ここでは、座席ＩＤ「２１」に対応する従業員端末Ｔ２１に発話者映像Ｉ３１が表示されている。図７では、従業員端末Ｔ２１上で従業員Ｅ２１が作業している内容Ｉ３２とともに、従業員Ｅ１１の発話者映像Ｉ３１が表示されている。なお、発話者映像Ｉ３１は、カメラＣにより連続的に捉えられ、座席ＩＤに対応する従業員端末に表示される。
【００７１】
また、サーバ装置Ｓ２は、座席ＩＤに対応する周辺スピーカＳｎを制御して、発話者の移動音を出力させる（Ｓ２８）。座席ＩＤに対応する２つの周辺スピーカＳｎは、仮想的な移動音を出力する。ここでは、周辺スピーカＳｎの出力レベルを変化させて、発話者が基準地点から従業員Ｅ２１の座席を経て従業員Ｅ２２の座席へ移動する様子を示す音響効果、例えば足音等が発生される。
【００７２】
ステップＳ２０〜Ｓ２８の処理が完了すると、サーバ装置Ｓ１は、所定時間に亘って待機する（Ｓ２９）。ここで、所定時間は、発話者が座席間の移動に要する時間に相当する時間として設定される。所定時間は、オフィス毎に固定値として設定されてもよく、オフィスのレイアウト情報に基づき設定されてもよい。ステップＳ２０〜Ｓ２９の処理（ループ処理Ｌ１１）は、ステップＳ２１の処理で、選択した座席ＩＤが受話者の座席ＩＤと一致することが確認されるまで繰返される。
【００７３】
これにより、オフィスＯ１では、発話者の仮想的な移動に応じて、座席ＩＤ「２１」、「２２」に対応する周辺映像Ｉ２が従業員端末Ｔ１１に順次に表示される。一方、オフィスＯ２では、発話者の仮想的な移動に応じて、座席ＩＤ「２１」、「２２」に対応する従業員端末に発話者映像Ｉ３１が順次に表示されるとともに、座席ＩＤ「２１」、「２２」に対応する周辺スピーカＳｎから発話者の移動音が出力される。
【００７４】
一方、ステップＳ２０の処理で、選択した座席ＩＤが受話者の座席ＩＤと一致することが確認されると、サーバ装置Ｓ１は、対話映像の送信を従業員端末Ｔ１１に指示する。従業員端末Ｔ１１は、カメラＣを制御して従業員Ｅ１１の対話映像Ｉ４１を捉え、サーバ装置Ｓ１に送信する。サーバ装置Ｓ１は、対話映像の送信指示とともに、サーバ装置Ｓ２を通じて従業員端末Ｔ２３に送信する。
【００７５】
従業員端末Ｔ２３は、図８に示すように、従業員Ｅ２３が作業中の内容Ｉ４２とともに、従業員Ｅ１１の対話映像Ｉ４１を表示する（Ｓ３０、Ｓ３１）。同様に、従業員端末Ｔ２３は、送信指示に応じて、カメラＣを制御して従業員Ｅ２３の対話映像を捉え、サーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ１１に送信し、従業員端末Ｔ１１は、従業員Ｅ２３の対話映像を表示する（Ｓ３０、Ｓ３１）。
【００７６】
そして、従業員Ｅ１１と従業員Ｅ２３の間では、従業員端末Ｔ１１、Ｔ２３を通じて対話が開始される（Ｓ３２）。従業員Ｅ１１、Ｅ２３間の対話は、サーバ装置Ｓ１、Ｓ２を通じて、従業員端末Ｔ１１と従業員端末Ｔ２３の間で従業員Ｅ１１、Ｅ２３の映像および音声を送受信して行われる。
【００７７】
従業員Ｅ１１（または従業員Ｅ２３）が所定の操作を通じて対話の終了を従業員端末Ｔ１１に指示すると（Ｓ３３）、サーバ装置Ｓ１は、対話の処理を終了する。なお、対話が開始される前に、対話の開始について、順次受信した一連の周辺映像Ｉ２を参考に対話の可否を従業員Ｅ１１自身が判断し、従業員Ｅ１１から問いかけをし、従業員Ｅ２３から応答を得るようにしてもよい。なお、従業員Ｅ１１は、対話の開始が困難であると判断した場合、従業員Ｅ２３に問いかけをしなくてもよい。
【００７８】
以上説明したように、第１の実施形態に係る遠隔対話システムによれば、発話者は、オフィス内の基準地点から所定の受話者の座席まで仮想的に移動した後に、所定の受話者と対話することになる。発話者は、仮想的な移動に応じて捉えられる受話者の周辺映像を順次に確認することで、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができる。また、受話者以外の人物は、発話者の仮想的な移動を通知されるので、後ほど発話者と対話したり、受話者とともに発話者と対話したりすることができ、発話者により一方的に監視されているといった感覚を得ずにすむ。
【００７９】
ここで、発話者の仮想的な移動に応じて、従業員端末Ｔ１１および／または従業員端末Ｔ２１〜Ｔ２３には、発話者の仮想位置を示す俯瞰映像Ｉ１が表示されてもよい。この場合、サーバ装置Ｓ２は、俯瞰カメラＣｐ２により捉えられる俯瞰映像Ｉ１に、発話者映像Ｉ３１を合成して、従業員端末Ｔ１１および／または従業員端末Ｔ２１〜Ｔ２３に送信してもよい。
【００８０】
また、周辺カメラＣｎは、従業員毎に配置される代わりに、複数の従業員毎に配置されてもよい。この場合、サーバ装置Ｓ２は、発話者の仮想的な移動に応じて、周辺カメラＣｎのパン／チルト／ズーム動作を制御して、適切な周辺映像Ｉ２を捉えさせることになる。
【００８１】
［４．第２の実施形態に係る遠隔対話システムの動作］
つぎに、図９〜図１１を参照して、第２の実施形態に係る遠隔対話システムの動作について説明する。第２の実施形態に係る遠隔対話システムでは、発話者がオフィス内の基準地点から任意の受話者の座席まで仮想的に移動した後に、任意の受話者と対話する。なお、以下では、第１の実施形態と重複する説明を省略する。
【００８２】
図９には、遠隔対話システムの動作手順が示されている。図１０および図１１には、レイアウトマップＩ５の一例および周辺映像Ｉ６の一例が各々に示されている。
【００８３】
以下では、オフィスＯ１の従業員Ｅ１１がオフィスＯ２の任意の従業員と対話する場合を想定して、遠隔対話システムの動作について説明する。
【００８４】
従業員Ｅ１１が処理の開始を指示すると、従業員端末Ｔ１１は、指示をサーバ装置Ｓ１に伝達し、サーバ装置Ｓ１は、俯瞰映像およびオフィスＯ２のレイアウト情報（経路情報）の送信をサーバ装置Ｓ２に指示する（ステップＳ５１）。サーバ装置Ｓ１は、俯瞰映像およびレイアウト情報をサーバ装置Ｓ２から受信する（Ｓ５２）。
【００８５】
サーバ装置Ｓ１は、レイアウト情報および俯瞰映像から、レイアウトマップＩ５を作成する（Ｓ５３）。サーバ装置Ｓ１は、レイアウトマップＩ５を従業員端末Ｔ１１に伝達し、従業員端末Ｔ１１は、図１０に示すように、レイアウトマップＩ５を表示する（Ｓ５４、Ｓ５５）。なお、レイアウトマップＩ５は、図１に示した俯瞰カメラＣｐ２により捉えられる俯瞰映像に応じて、更新して表示される。
【００８６】
レイアウトマップＩ５には、従業員Ｅ２１〜Ｅ２６の座席配置と、発話者が仮想的に移動可能な移動通路Ｐが表示されている。また、レイアウトマップＩ５には、発話者の仮想位置および視点方向（矢印）を示すアイコンＩが表示されている。
【００８７】
従業員端末Ｔ１１がレイアウトマップＩを表示すると、遠隔対話システムでは、基準地点から任意の受話者の座席に至る任意の経路上で、発話者の仮想的な移動が開始される。例えば図１０に示すように、発話者は、基準地点から移動通路Ｐのエリア内を任意方向に任意の位置まで仮想的に移動することができる。
【００８８】
従業員Ｅ１１は、レイアウトマップＩ５上で移動通路Ｐに沿ってアイコンＩを移動させるとともに、視点方向を変化させることができる。また、従業員Ｅ１１は、レイアウトマップＩ５上で任意の受話者の座席までアイコンＩを移動させた上で、所定の操作を通じて、任意の受話者との対話の開始または終了を従業員端末Ｔ１１に指示することができる。
【００８９】
発話者が仮想移動を指示すると（Ｓ５６）、従業員端末Ｔ１１は、指示をサーバ装置Ｓ１に伝達する（Ｓ５７）。サーバ装置Ｓ１は、指示に応じて、発話者の仮想位置を更新し、レイアウトマップＩ５上でアイコンＩの位置を更新する（Ｓ５８）。従業員端末Ｔ１１は、更新後のレイアウトマップＩ５をサーバ装置Ｓ１から受信して表示する（Ｓ５９、Ｓ６０）。なお、視点方向が変更された場合も、サーバ装置Ｓ１は、レイアウトマップＩ５上でアイコンＩ（矢印）の表示を更新する。
【００９０】
サーバ装置Ｓ１は、仮想位置および視点方向とともに、周辺映像Ｉ６の送信をサーバ装置Ｓ２に指示する（Ｓ６１）。なお、発話者の仮想位置は、例えば、レイアウトマップＩ５上でアイコンＩに近接する座席の座席ＩＤにより特定される。
【００９１】
サーバ装置Ｓ２は、仮想位置および視点方向に対応する周辺カメラＣｎを制御して周辺映像Ｉ６を捉えさせ、サーバ装置Ｓ１に送信する。サーバ装置Ｓ１は、発話者映像の送信指示とともに、従業員端末Ｔ１１に送信する（Ｓ６２）。ここで、サーバ装置Ｓ２は、仮想位置および視点方向に応じて、周辺カメラＣｎのパン／チルト／ズーム動作を制御して、適切な周辺映像Ｉ６を捉えることになる。
【００９２】
従業員端末Ｔ１１は、図１１に示すように、周辺映像Ｉ６を表示する（Ｓ６３）。ここでは、座席ＩＤ「２１」に対応する周辺映像Ｉ６として、図６に示した周辺映像Ｉ２とは撮影方向を変えて、従業員Ｅ２１の座席周辺の状況が捉えられている。なお、周辺映像Ｉ６は、仮想移動が行われなくとも、視線方向の変更に応じて更新して表示される。また、周辺映像Ｉ６は、レイアウトマップＩ５とともに表示されてもよい。
【００９３】
また、従業員端末Ｔ１１は、送信指示に応じて、カメラＣを制御して発話者映像を捉えてサーバ装置Ｓ１に送信し、サーバ装置Ｓ１は、仮想位置に近接する座席の座席ＩＤおよび発話者映像とともに、仮想移動をサーバ装置Ｓ２に通知する（Ｓ６４）。サーバ装置Ｓ２は、座席ＩＤに対応する従業員端末に発話者映像とともに、仮想移動を通知する（Ｓ６５）。座席ＩＤに対応する従業員端末は、発話者映像を表示し、座席ＩＤに対応する周辺スピーカＳｎは、仮想的な移動音を出力する（Ｓ６６、Ｓ６７）。
【００９４】
サーバ装置Ｓ１は、従業員Ｅ１１から従業員端末Ｔ１１を通じて対話の開始が指示されたかを確認する（Ｓ６８）。ステップＳ５６〜Ｓ６８の処理（処理ループＬ２１）は、ステップＳ６８の処理で対話の開始指示が確認されるまで繰返される。
【００９５】
ここで、従業員Ｅ１１が従業員Ｅ２３の座席までアイコンＩを移動させた上で、所定の操作を通じて対話の開始を従業員端末Ｔ１１に指示した場合を想定する（Ｓ６８）。
【００９６】
この場合、サーバ装置Ｓ１は、対話映像の送信をサーバ装置Ｓ２を通じて従業員端末Ｔ２３に指示する。従業員端末Ｔ１１は、従業員端末Ｔ２３のカメラＣにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ２３から受信して表示する（Ｓ６９、Ｓ７０）。同様に、従業員端末Ｔ２３は、従業員端末Ｔ１１のカメラにより捉えられた対話映像をサーバ装置Ｓ１、Ｓ２を通じて従業員端末Ｔ１１から受信して表示する（Ｓ６９、Ｓ７０）。そして、従業員Ｅ１１と従業員Ｅ２３の間では、従業員端末Ｔ１１、Ｔ２３を通じて対話が開始される（Ｓ７１）。
【００９７】
サーバ装置Ｓ１は、従業員Ｅ１１から従業員端末Ｔ１１を通じて対話の終了が指示されたかを確認する（Ｓ７２）。ステップＳ６９〜Ｓ７２の処理（処理ループＬ２２）は、ステップＳ７２の処理で対話の終了指示が確認されるまで繰返される。
【００９８】
ここで、従業員Ｅ１１が従業員Ｅ２４との対話を所望した場合を想定する。この場合、従業員Ｅ１１は、所定の操作を通じて対話の終了を従業員端末Ｔ１１に指示する。すると、従業員端末Ｔ１１は、サーバ装置Ｓ１、Ｓ２を通じて、対話の終了を従業員端末Ｔ２３に指示する。これにより、従業員端末Ｔ１１と従業員端末Ｔ２３の間では、対話の処理が終了する。
【００９９】
従業員Ｅ１１は、レイアウトマップＩ５上で移動通路Ｐに沿って従業員Ｅ２４の座席までアイコンＩを移動させた上で、所定の操作を通じて対話の開始を従業員端末Ｔ１１に指示する。すると、従業員Ｅ２３の場合と同様に、従業員Ｅ１１と従業員Ｅ２４の間では、従業員端末Ｔ１１、Ｔ２４を通じて対話が開始される。
【０１００】
以下、同様に、従業員Ｅ１１は、レイアウトマップＩ５上で移動通路Ｐに沿ってアイコンＩを任意の従業員の座席に移動させて、任意の従業員と対話を開始することができる。なお、従業員Ｅ１１は、所定の操作を通じて、オフィスＯ２での対話処理の終了を従業員端末Ｔ１１を通じてサーバ装置Ｓ１に終了させることができる。処理ループＬ２１、Ｌ２２は、処理の終了が指示されるまで繰返される。
【０１０１】
以上説明したように、第２の実施形態に係る遠隔対話システムによれば、発話者は、オフィス内の基準地点から任意の受話者の座席まで仮想的に移動した後に、任意の受話者と対話することになる。発話者は、仮想的な移動に応じて捉えられる受話者の周辺映像を順次に確認することで、受話者の周辺環境や受話者以外の人物の様子を確認した後に受話者と対話することができる。また、発話者は、受話者の周辺環境や受話者以外の人物の様子に応じて、任意の受話者と対話することができる。
【０１０２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０３】
例えば、上記説明では、１つの俯瞰カメラＣｐ１、Ｃｐ２がオフィスＯ１、Ｏ２毎に配置される場合について説明したが、オフィスＯ１、Ｏ２の入口が２箇所以上ある場合等には、２つ以上の俯瞰カメラＣｐが配置されてもよい。また、俯瞰カメラＣｐと周辺カメラＣｎとカメラＣの間、周辺スピーカＳｎとスピーカＳの間では、上記説明とは異なる機能分担が行われてもよい。
【０１０４】
また、上記説明では、複数人が勤務するオフィスＯ１、Ｏ２間で対話を行う場合を想定した。しかし、本発明は、複数人が勤務するオフィスと１人が勤務するオフィス（または自宅）の間で対話を行う場合にも同様に適用することができる。また、本発明は、オフィスに限定されず、遠隔介護を支援するシステム、遠隔地に位置する家庭間で対話を行うシステムにも同様に適用することができる。
【０１０５】
また、上記説明では、オフィスＯ１に位置する発話者がオフィスＯ２に位置する受話者に対して対話を促す際に、サーバ装置Ｓ１が発話者側の処理を行い、サーバ装置Ｓ２が受話者側の処理を行う場合について説明した。しかし、オフィスＯ２に位置する発話者がオフィスＯ１に位置する受話者に対して対話を促す際には、サーバ装置Ｓ２が発話者側の処理を行い、サーバ装置Ｓ１が受話者側の処理を行うことになる。
【０１０６】
また、上記説明では、オフィスＯ１に位置する発話者とオフィスＯ２に位置する受話者の間でのみ対話が行われる場合について説明した。しかし、オフィスＯ１に発話者１と受話者１が位置し、オフィスＯ２に発話者２と受話者２が位置する場合において、発話者１と受話者２の対話と、発話者２と受話者１の対話を同時に行うように構成されてもよい。
【符号の説明】
【０１０７】
Ｓ１、Ｓ２ サーバ装置
Ｔ１１〜Ｔ１６、Ｔ２１〜Ｔ２６ 従業員端末
ＮＷ ネットワーク
Ｃｐ１、Ｃｐ２ 俯瞰カメラ
Ｃｎ１１〜Ｃｎ１６、Ｃｎ２１〜Ｃｎ２６ 周辺カメラ
Ｓｎ１１〜Ｓｎ１４、Ｓｎ２１〜Ｓｎ２４ 周辺スピーカ
１１ 映像入力処理部
１２ 音声出力処理部
１３ データ格納部
１４ 通信部
１５ 制御部
２１ 映像入出力処理部
２２ 音声入出力処理部
２３ 通信部
２４ 操作部
２５ 制御部
Ｉ１ 俯瞰映像
Ｉ２、Ｉ６ 周辺映像
Ｉ３１ 発話者映像
Ｉ４１ 対話映像
Ｉ５ レイアウトマップ
Ｉ アイコン
Ｐ 移動通路
Ｏ１、Ｏ２ オフィス
Ｅ１１〜Ｅ１６、Ｅ２１〜Ｅ２６ 従業員
【特許請求の範囲】
【請求項１】
通信回線を通じて対話可能な遠隔対話装置であって、前記遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と前記通信回線を介して接続されており、
前記遠隔領域の所定地点から前記遠隔領域に位置する受話者に至る経路を示す経路情報を前記他の遠隔対話装置から受信する経路情報受信部と、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させる仮想移動部と、
前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信する周辺映像送受信部と、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信する対話情報送受信部と
を備える遠隔対話装置。
【請求項２】
前記周辺映像送受信部は、前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者を含んだ複数のユーザの周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信することを特徴とする、請求項１に記載の遠隔対話装置。
【請求項３】
前記受話者を指定する指定情報を前記発話者の端末から受信する指定情報受信部をさらに備え、
前記仮想移動部は、前記経路情報に基づく所定の経路に従って、前記所定地点から前記指定された受話者まで前記発話者を仮想的に移動させることを特徴とする、請求項１または２に記載の遠隔対話装置。
【請求項４】
前記遠隔領域の状況を俯瞰して捉えた俯瞰映像を前記他の遠隔対話装置から受信し、前記発話者の端末装置に送信する俯瞰映像送受信部をさらに備え、
前記指定情報受信部は、前記俯瞰映像上で指定された前記受話者を示す指定情報を前記発話者の端末から受信する、請求項３に記載の遠隔対話装置。
【請求項５】
前記遠隔領域で前記発話者を仮想的に移動させるための移動操作情報を前記発話者の端末装置から受信する操作情報受信部をさらに備え、
前記仮想移動部は、前記移動操作情報に従って、前記所定地点から任意の受話者まで前記発話者を仮想的に移動させる、請求項１または２に記載の遠隔対話装置。
【請求項６】
前記遠隔領域の状況を俯瞰して捉えた俯瞰映像を前記他の遠隔対話装置から受信する俯瞰映像受信部と、
前記発話者が仮想的に移動可能な前記遠隔領域の移動通路を示す情報および前記発話者の仮想位置を示す情報とともに、前記俯瞰映像を前記発話者の端末装置に送信する俯瞰映像送信部とをさらに備え、
前記仮想移動部は、前記移動操作情報に従って、前記所定地点から任意の受話者まで前記発話者を仮想的に移動させる、請求項５に記載の遠隔対話装置。
【請求項７】
前記操作情報受信部は、前記発話者の仮想的な視点の方向を変更させるための視点操作情報を前記発話者の端末装置からさらに受信し、
前記周辺映像送受信部は、前記発話者が前記受話者まで移動する途中で、前記視点操作情報に従って、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から受信し、前記発話者の端末装置に送信する、請求項５または６に記載の遠隔対話装置。
【請求項８】
前記他の遠隔対話装置が設置された前記遠隔領域に発話者が位置し、前記遠隔対話装置が設置された自領域に受話者が位置する場合において、
前記発話者が前記受話者まで移動する途中で、前記自領域における前記発話者の仮想位置を前記他の遠隔対話装置から受信する仮想位置受信部と、
前記自領域における前記発話者の仮想位置に近接する受話者または前記受話者を含む複数のユーザに、視覚情報および聴覚情報の少なくとも一方を用いて、前記発話者の仮想的な移動を通知する仮想移動通知部をさらに備える、請求項１〜７のいずれか１項に記載の遠隔対話装置。
【請求項９】
第１領域に設置された第１の遠隔対話装置と、前記第１領域から遠隔の第２領域に設置され、前記第１の遠隔対話装置と通信回線を通じて接続可能な第２の遠隔対話装置を有する遠隔対話システムであって、
前記第１の遠隔対話装置は、
前記第２領域の所定地点から前記第２領域に位置する受話者に至る経路を示す経路情報を前記第２の遠隔対話装置から受信する経路情報受信部と、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させる仮想移動部と、
前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記第２の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信する周辺映像送受信部と、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信する対話情報送受信部と
を備える遠隔対話システム。
【請求項１０】
通信回線を通じて対話可能な遠隔対話装置を用いた遠隔対話方法であって、前記遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と前記通信回線を介して接続されており、前記遠隔対話装置によって、
前記遠隔領域の所定地点から前記遠隔領域に位置する受話者に至る経路を示す経路情報を前記他の遠隔対話装置から受信するステップと、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させるステップと、
前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信するステップと、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信するステップと
を含む遠隔対話方法。
【請求項１１】
通信回線を通じて対話可能な遠隔対話装置を用いた遠隔対話方法であって、前記遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と前記通信回線を介して接続されており、前記遠隔対話装置によって、
前記遠隔領域の所定地点から前記遠隔領域に位置する受話者に至る経路を示す経路情報を前記他の遠隔対話装置から受信するステップと、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させるステップと、
前記発話者が前記受話者まで移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信するステップと、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信するステップと
を含む遠隔対話方法をコンピュータに実行させるためのプログラム。
【請求項１】
通信回線を通じて対話可能な遠隔対話装置であって、前記遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と前記通信回線を介して接続されており、
前記遠隔領域の所定地点から前記遠隔領域に位置する受話者に至る経路を示す経路情報を前記他の遠隔対話装置から受信する経路情報受信部と、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させる仮想移動部と、
前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信する周辺映像送受信部と、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信する対話情報送受信部と
を備える遠隔対話装置。
【請求項２】
前記周辺映像送受信部は、前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者を含んだ複数のユーザの周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信することを特徴とする、請求項１に記載の遠隔対話装置。
【請求項３】
前記受話者を指定する指定情報を前記発話者の端末から受信する指定情報受信部をさらに備え、
前記仮想移動部は、前記経路情報に基づく所定の経路に従って、前記所定地点から前記指定された受話者まで前記発話者を仮想的に移動させることを特徴とする、請求項１または２に記載の遠隔対話装置。
【請求項４】
前記遠隔領域の状況を俯瞰して捉えた俯瞰映像を前記他の遠隔対話装置から受信し、前記発話者の端末装置に送信する俯瞰映像送受信部をさらに備え、
前記指定情報受信部は、前記俯瞰映像上で指定された前記受話者を示す指定情報を前記発話者の端末から受信する、請求項３に記載の遠隔対話装置。
【請求項５】
前記遠隔領域で前記発話者を仮想的に移動させるための移動操作情報を前記発話者の端末装置から受信する操作情報受信部をさらに備え、
前記仮想移動部は、前記移動操作情報に従って、前記所定地点から任意の受話者まで前記発話者を仮想的に移動させる、請求項１または２に記載の遠隔対話装置。
【請求項６】
前記遠隔領域の状況を俯瞰して捉えた俯瞰映像を前記他の遠隔対話装置から受信する俯瞰映像受信部と、
前記発話者が仮想的に移動可能な前記遠隔領域の移動通路を示す情報および前記発話者の仮想位置を示す情報とともに、前記俯瞰映像を前記発話者の端末装置に送信する俯瞰映像送信部とをさらに備え、
前記仮想移動部は、前記移動操作情報に従って、前記所定地点から任意の受話者まで前記発話者を仮想的に移動させる、請求項５に記載の遠隔対話装置。
【請求項７】
前記操作情報受信部は、前記発話者の仮想的な視点の方向を変更させるための視点操作情報を前記発話者の端末装置からさらに受信し、
前記周辺映像送受信部は、前記発話者が前記受話者まで移動する途中で、前記視点操作情報に従って、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から受信し、前記発話者の端末装置に送信する、請求項５または６に記載の遠隔対話装置。
【請求項８】
前記他の遠隔対話装置が設置された前記遠隔領域に発話者が位置し、前記遠隔対話装置が設置された自領域に受話者が位置する場合において、
前記発話者が前記受話者まで移動する途中で、前記自領域における前記発話者の仮想位置を前記他の遠隔対話装置から受信する仮想位置受信部と、
前記自領域における前記発話者の仮想位置に近接する受話者または前記受話者を含む複数のユーザに、視覚情報および聴覚情報の少なくとも一方を用いて、前記発話者の仮想的な移動を通知する仮想移動通知部をさらに備える、請求項１〜７のいずれか１項に記載の遠隔対話装置。
【請求項９】
第１領域に設置された第１の遠隔対話装置と、前記第１領域から遠隔の第２領域に設置され、前記第１の遠隔対話装置と通信回線を通じて接続可能な第２の遠隔対話装置を有する遠隔対話システムであって、
前記第１の遠隔対話装置は、
前記第２領域の所定地点から前記第２領域に位置する受話者に至る経路を示す経路情報を前記第２の遠隔対話装置から受信する経路情報受信部と、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させる仮想移動部と、
前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記第２の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信する周辺映像送受信部と、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信する対話情報送受信部と
を備える遠隔対話システム。
【請求項１０】
通信回線を通じて対話可能な遠隔対話装置を用いた遠隔対話方法であって、前記遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と前記通信回線を介して接続されており、前記遠隔対話装置によって、
前記遠隔領域の所定地点から前記遠隔領域に位置する受話者に至る経路を示す経路情報を前記他の遠隔対話装置から受信するステップと、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させるステップと、
前記発話者が前記受話者まで仮想的に移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信するステップと、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信するステップと
を含む遠隔対話方法。
【請求項１１】
通信回線を通じて対話可能な遠隔対話装置を用いた遠隔対話方法であって、前記遠隔対話装置は、遠隔領域に設置された他の遠隔対話装置と前記通信回線を介して接続されており、前記遠隔対話装置によって、
前記遠隔領域の所定地点から前記遠隔領域に位置する受話者に至る経路を示す経路情報を前記他の遠隔対話装置から受信するステップと、
前記経路情報に基づき、前記所定地点から前記受話者まで発話者を仮想的に移動させるステップと、
前記発話者が前記受話者まで移動する途中で、前記発話者の仮想的な視点により捉えられる前記受話者の周辺映像を前記他の遠隔対話装置から順次に受信し、前記発話者の端末装置に送信するステップと、
前記発話者が前記受話者まで移動すると、前記発話者の端末装置と前記受話者の端末装置の間で対話映像および対話音声を送受信するステップと
を含む遠隔対話方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１８８１１２（Ｐ２０１１−１８８１１２Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９４７５（Ｐ２０１０−４９４７５）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]