遠隔作業支援システム、遠隔作業支援方法、及び、接続管理サーバ
【課題】複数の遠隔作業端末間で的確な環境情報の共有が可能な多地点における遠隔作業支援システム及び方法を提供すること。
【解決手段】遠隔作業支援システムは１００、ネットワーク９を介して複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバ１０と、遠隔作業端末５と、作業指示端末４と、環境情報を送信可能な情報端末である環境情報取得装置６と、を備える。接続管理サーバ１０は、遠隔作業端末５と作業指示端末４の間に第１の通信接続が確立している状態で、遠隔作業端末５と環境情報取得装置６の間に第２の通信接続を確立させる。その後、環境情報取得装置６は、遠隔作業端末５に対して環境情報を送信する。
【解決手段】遠隔作業支援システムは１００、ネットワーク９を介して複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバ１０と、遠隔作業端末５と、作業指示端末４と、環境情報を送信可能な情報端末である環境情報取得装置６と、を備える。接続管理サーバ１０は、遠隔作業端末５と作業指示端末４の間に第１の通信接続が確立している状態で、遠隔作業端末５と環境情報取得装置６の間に第２の通信接続を確立させる。その後、環境情報取得装置６は、遠隔作業端末５に対して環境情報を送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔作業支援システム、遠隔作業支援方法、及び、接続管理サーバに関し、特に多地点における複数の遠隔作業端末間での接続切替を行う遠隔作業支援システム、遠隔作業支援方法、及び、接続管理サーバに関する。
【背景技術】
【０００２】
近年、遠隔地で作業を行う遠隔作業者に対して、作業指示者がその作業を指示、管理する遠隔作業支援を行うために、使用する端末の間で音声、映像等のマルチメディア情報である環境情報をリアルタイムに共有することが可能となっている。このような遠隔作業支援に関連する技術として、例えば、特許文献１及び特許文献２に記載のものがある。
【０００３】
特許文献１に記載の技術は、遠隔作業端末及び作業指示端末の間で、ネットワークを介して、相互にマルチメディア情報を送受信し、遠隔作業端末及び作業指示端末に、それぞれが受信したマルチメディア情報を表示することにより情報共有するものである。さらに、作業指示端末が遠隔作業端末に対して、ネットワークを介して、作業指示者の作業指示を通知するものである。
【０００４】
特許文献１に記載の遠隔作業支援システムを適用した例は、図１１（ａ）に示すことができる。ここで、遠隔作業支援システムは、遠隔作業者が装着するＨＭＤ（Head Mounted Display）５２１を搭載した遠隔作業端末５２０、同様に、ＨＭＤ５３１を搭載した遠隔作業端末５３０、及び、ＨＭＤ５４１を搭載した遠隔作業端末５４０と、作業指示者が操作する作業指示端末４２０とを含む。通信Ｍ４１２は、作業指示端末４２０と遠隔作業端末５２０との間でのマルチメディア情報の通信を示す。同様に、通信Ｍ４１３及び通信Ｍ４１４は、作業指示端末４２０と遠隔作業端末５３０及び遠隔作業端末５４０、それぞれとの間のマルチメディア情報の通信を示す。
【０００５】
図１１（ｂ）は、通信Ｍ４１２の例を示す図である。通信Ｍ４１２ａは、作業指示端末４２０から遠隔作業端末５２０への送信を示す。通信Ｍ４１２ａの内容は、画像、映像、テキスト等であり、遠隔作業端末５２０で受信後、ＨＭＤ５２１に表示される。通信Ｍ４１２ｂは、遠隔作業端末５２０から作業指示端末４２０への送信を示す。通信Ｍ４１２ｂの内容は、ＨＭＤ５２１で撮影された映像情報であり、作業指示端末４２０で受信後、作業指示端末４２０の画面（不図示）に表示される。
【０００６】
このように、遠隔作業支援に関連する技術では、遠隔作業端末及び作業指示端末の間でのマルチメディア情報の共有を行い、さらに共有した情報に指示内容を付加して遠隔作業者へ送信することにより支援している。そのため、作業指示端末は、図１１のように複数の遠隔作業端末の環境情報を受信し、把握している。
【０００７】
特許文献２に記載の技術は、遠隔作業端末及び作業指示端末の間で、ネットワークを介して、相互にマルチメディア情報を共有するものである。さらに、ネットワークに接続されたデータベースに対して、作業指示端末から検索を行い、検索結果を遠隔作業端末に通知するものである。
【特許文献１】特開２００６−１６３７３１号公報
【特許文献２】特開２００２−１３２４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１及び特許文献２に記載の技術は、遠隔作業端末及び作業指示端末の間での１対１の情報共有を行うことができるが、遠隔作業端末が、他の遠隔地の環境情報を共有することができないという課題がある。特許文献１及び特許文献２に記載の遠隔作業支援システムにおいて、作業指示端末は、各遠隔作業端末からの環境情報を受信することで、全体の状況を集約し、一元管理することが可能である。しかし、作業指示端末がボトルネックとなり、各遠隔作業端末がリアルタイムな情報共有ができない可能性がある。それは、遠隔作業端末においては、作業指示端末からの情報のみを受信するため、連携して作業を行わなければならない他の遠隔作業者の状況を知るには、作業指示端末からの指示を待たねばならず、作業効率が低くなり、さらには、作業安全が確保できない恐れがある。
【０００９】
本発明は、このような問題点を解決するためになされたものであり、複数の遠隔作業端末間での接続切替を容易にすることで、的確な環境情報の共有を可能とする、多地点における遠隔作業支援システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかる遠隔作業支援システムは、ネットワークを介して複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバと、第１の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、を備えるものである。
前記接続管理サーバは、前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させる。その後、前記第１の環境情報取得装置は、前記第１の遠隔作業端末に対して前記環境情報を送信する。
【００１１】
本発明にかかる遠隔作業支援方法は、第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、を備え、前記第１の遠隔作業端末と前記作業指示端末の間で、ネットワークを介してマルチメディア情報を送受信するための通信接続を確立して情報共有を行うものである。前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、前記第１の遠隔作業端末との間に第２の通信接続を確立し、前記第１の環境情報取得装置から前記第１の遠隔作業端末へ前記環境情報を送信する。
【００１２】
本発明にかかる接続管理サーバは、第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置とのそれぞれとネットワークを介して接続され、複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させるものである。前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させる。
【発明の効果】
【００１３】
本発明により、複数の遠隔作業端末間で的確な環境情報の共有が可能な、多地点における遠隔作業支援システム及び方法を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１５】
発明の実施例１．
図１は、本発明の実施例にかかる遠隔作業支援システム１００の全体構成を示すブロック図である。遠隔作業支援システム１００は、サーバ１０と、作業指示端末４と、遠隔作業端末５と、環境情報取得装置６とが、ネットワーク９を介して接続されている。遠隔作業端末５及び環境情報取得装置６は、作業指示端末４から離れた作業場所（遠隔地）に存在し、共に遠隔作業に用いられるものである。
【００１６】
サーバ１０は、ＷＥＢＡＰＬ（ウェブアプリケーション）サーバ１と、ＳＩＰ（Session Initiation Protocol）呼制御サーバ２と、ＳＩＰ呼処理サーバ３とを含む。尚、サーバ１０は、典型的なコンピュータシステムで実現されていればよい。又は、サーバ１０は、ネットワーク９に接続された複数のコンピュータシステムに分割して処理されても構わない。
【００１７】
ＷＥＢＡＰＬサーバ１は、ＷＥＢ提供部１１、ＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）への要求部１２、通信部１３を備えている。ＷＥＢ提供部１１は、ＨＴＴＰ（Hyper Text Transfer Protocol）プロトコル等によるＷＥＢコンテンツを提供する機能を備えている。尚、当該ＷＥＢコンテンツは、マルチメディア情報を共有するための接続先ＳＩＰクライアントと、マルチメディア情報種別の入力欄を設けている。ＷＥＢＡＰＬＩＦへの要求部１２は、ＳＩＰ呼制御サーバ２のＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）部２２と通信し、セッションの接続・切り替え（接続切替）を要求する機能を備えている。通信部１３はネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。
【００１８】
ＳＩＰ呼制御サーバ２は、ＳＩＰ呼制御部２１、ＷＥＢＡＰＬＩ／Ｆ部２２、通信部２３を備えている。ＳＩＰ呼制御部２１は、ＳＩＰ呼処理サーバ３とＳＩＰによる通信を行う機能を備えている。ＷＥＢＡＰＬＩ／Ｆ部２２はＷＥＢＡＰＬサーバ１から受信するセッションの接続切替要求を受信し、ＳＩＰの要求に変換する機能を備えている。通信部２３は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。
【００１９】
尚、ＷＥＢＡＰＬＩ／Ｆへの要求部１２と、ＷＥＢＡＰＬＩ／Ｆ部２２との通信は、例えば、ＳＯＡＰ（Simple Object Access Protocol）通信によるＷＥＢサービス技術により実現されるものであればよい。
【００２０】
ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１と通信部３２を備えている。ＳＩＰ呼処理部３１は、ＳＩＰ呼制御部２１、ＳＩＰ呼処理部４２、ＳＩＰ呼処理部５２、ＳＩＰ呼処理部６２と、ＳＩＰによる通信を行う機能を備えている。通信部３２は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。
【００２１】
作業指示端末４は、作業指示者が遠隔作業支援に使用するＨＴＴＰ及びＳＩＰクライアント端末である。作業指示端末４は、通信部４１、ＳＩＰ呼処理部４２、指示内容入力部４３、メディア入力部４４、メディア出力部４５、ＷＥＢ入力部４６、マイク４７、カメラ４８、情報端末４９、キーボード４１０、マウス４１１を備えている。
【００２２】
通信部４１は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。ＳＩＰ呼処理部４２は、ＳＩＰ呼処理サーバ３のＳＩＰ呼処理部３１とＳＩＰによる通信を行う機能を備えている。指示内容入力部４３は、マイク４７、カメラ４８、キーボード４１０及びマウス４１１を用いて、作業指示情報を入力する機能を備えている。メディア入力部４４は、マイク４７、カメラ４８及び情報端末４９からマルチメディア情報を入力する機能を備えている。メディア出力部４５は、受信したメディア情報を情報端末４９に出力する機能を備えている。ＷＥＢ入力部４６は、ＷＥＢＡＰＬサーバ１が提供しているＷＥＢコンテンツに対して送信する要求を入力する機能を備えている。マイク４７、カメラ４８、キーボード４１０及びマウス４１１は、それぞれ他の物理的なハードウェアに内包されても良い。
【００２３】
遠隔作業端末５は、遠隔作業者が遠隔作業に使用するＨＴＴＰ及びＳＩＰクライアント端末である。遠隔作業端末５は、通信部５１、ＳＩＰ呼処理部５２、メディア入力部５３、メディア出力部５４、ＷＥＢ入力部５５、マイク５７、カメラ５８、ＨＭＤ５９を備えている。
【００２４】
通信部５１は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。ＳＩＰ呼処理部５２は、ＳＩＰ呼処理サーバ３のＳＩＰ呼処理部３１とＳＩＰによる通信を行う機能を備えている。メディア入力部５３は、マイク５７、カメラ５８及びＨＭＤ５９からマルチメディア情報を入力する機能を備えている。メディア出力部５４は、受信したメディア情報をＨＭＤ５９に出力する機能を備えている。ＷＥＢ入力部５５はＷＥＢＡＰＬサーバ１が提供しているＷＥＢコンテンツに対して送信する要求を入力する機能を備えている。マイク５７、カメラ５８及びＨＭＤ５９は、それぞれ他の物理的なハードウェアに内包されても良い。
【００２５】
環境情報取得装置６は、遠隔作業端末５とは離れた場所に位置し、環境情報を取得するＳＩＰクライアント装置である。ここで、環境情報とは、作業環境の周囲から取得される、作業に必要とされる情報である。環境情報取得装置６は、通信部６１、ＳＩＰ呼処理部６２、メディア入力部６３、マイク６７、カメラ６８を備えている。
ネットワーク９は、インターネット、公衆網、専用線、移動体通信網等のネットワークである。
【００２６】
通信部６１は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。ＳＩＰ呼処理部６２は、ＳＩＰ呼処理サーバ３のＳＩＰ呼処理部３１とＳＩＰによる通信を行う機能を備えている。メディア入力部６３は、マイク６７、カメラ６８からマルチメディア情報を入力する機能を備えている。マイク６７、カメラ６８は、それぞれ他の物理的なハードウェアに内包されても良い。
【００２７】
本実施例では、マルチメディア情報の共有にＳＩＰを用いる。これにより、ＳＩＰクライアント間で様々なマルチメディア情報の共有が可能となる。また、ＳＩＰクライアント間で、複数のマルチメディア情報の共有が可能である。尚、ＳＩＰ通信に関する処理は、公知技術としてよく知られているものであるため、ここでは詳細な説明を省略する。
【００２８】
ここで、遠隔作業端末５のカメラ５８で撮影される映像情報を作業指示端末４と共有する例を説明する。まず、作業指示端末４又は遠隔作業端末５から、映像情報を共有するための接続要求がサーバ１０に対して行われる。次に、サーバ１０のＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部４２及びＳＩＰ呼処理部５２との接続処理を中継し、映像情報における作業指示端末４及び遠隔作業端末５の間でのセッションを確立する。セッションの確立によりデータ通信経路が決まる。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部４２及びＳＩＰ呼処理部５２へデータ通信経路を通知する。その後、作業指示端末４及び遠隔作業端末５の間で直接、映像情報の送受信が行われ、映像情報が共有される。また、セッションは、作業指示端末４及び遠隔作業端末５のいずれか一方が通信を終了するか、又は、一定時間通信が行われないことにより、ＳＩＰ呼処理サーバ３により破棄される。
【００２９】
図２は、本発明の実施例にかかる遠隔作業支援システム１００のシーケンス図である。ここでは、作業指示端末４及び遠隔作業端末５の間は、音声情報及び映像情報におけるセッションＭ１１１が確立しているものとする。つまり、作業指示端末４は、遠隔作業端末５に対して、遠隔作業支援を行っている状態である。ここで、音声情報は、マイク４７及びマイク５７から入力された音声である。また、映像情報は、カメラ４８及びカメラ５８で撮影された映像、及び、作業指示端末４内で取得済みの動画像データであるとする。
【００３０】
以下では、この状態から、作業指示端末４及び遠隔作業端末５の間での映像情報のセッションのみを接続切替して、環境情報取得装置６が取得している映像情報を、作業指示端末４と遠隔作業端末５とに表示する流れについて説明する。
【００３１】
まず、作業指示端末４は、ＷＥＢＡＰＬサーバ１に対して、環境情報取得装置６と映像情報におけるセッション確立のための接続要求を行う（Ｓ１０１）。具体的には、作業指示端末４は、ＷＥＢ入力部４６からＷＥＢ提供部１１の提供するＷＥＢコンテンツに対して、接続先ＳＩＰクライアントとして作業指示端末４並びに環境情報取得装置６、及び、遠隔作業端末５並びに環境情報取得装置６を、また、マルチメディア情報種別として映像情報を、接続要求情報として入力する。作業指示端末４は、通信部４１からネットワーク９を介して、ＷＥＢＡＰＬサーバ１に向けて前記接続要求情報を含むＨＴＴＰリクエスト（接続切替要求）を送信する。
【００３２】
次に、ＷＥＢＡＰＬサーバ１は、受信した接続切替要求をＳＩＰ呼制御サーバ２へ送信する（Ｓ１０２）。具体的には、ＷＥＢＡＰＬサーバ１は、通信部１３にて前記ＨＴＴＰリクエストを受信し、ＷＥＢ提供部１１にて前記ＨＴＴＰリクエストに含まれる接続要求情報を抽出し、ＷＥＢＡＰＬＩ／Ｆへの要求部１２にて、接続要求情報をＳＯＡＰメッセージ（接続切替要求）に変換して、通信部１３にてＳＩＰ呼制御サーバ２へ送信する。
【００３３】
続いて、ＳＩＰ呼制御サーバ２は、受信した接続切替要求をＳＩＰ呼処理サーバ３へ送信する（Ｓ１０３）。具体的には、まず、ＳＩＰ呼制御サーバ２は、通信部２３にて前記ＳＯＡＰメッセージを受信し、ＷＥＢＡＰＬＩ／Ｆ部２２にてＳＯＡＰメッセージに含まれる接続要求を抽出する。次に、ＳＩＰ呼制御サーバ２は、ＳＩＰ呼制御部２１にて前記接続要求から、作業指示端末４及び環境情報取得装置６の間で映像情報におけるセッションを確立する接続要求であるＳＩＰメッセージと、遠隔作業端末５及び環境情報取得装置６の間で映像情報におけるセッションを確立する接続要求であるＳＩＰメッセージとを生成する。その後、ＳＩＰ呼制御サーバ２は、前記ＳＩＰメッセージを通信部２３にてＳＩＰ呼処理サーバ３へ送信する。
【００３４】
続いて、ＳＩＰ呼処理サーバ３は、受信したＳＩＰメッセージから、各セッションを確立するために、必要な宛先へ接続要求を送信する。ＳＩＰ呼処理サーバ３は、通信部３２にて前記ＳＩＰメッセージを受信し、ＳＩＰ呼処理部３１にてＳＩＰメッセージを解析し、接続要求を生成する。ここでは、４つの接続要求が生成される。尚、以降、Ｓ１０４乃至Ｓ１０７の処理順序は、以下の説明の順番に限らない。
【００３５】
まず、作業指示端末４及び環境情報取得装置６の間で映像情報におけるセッションを確立する処理を説明する。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、作業指示端末４が環境情報取得装置６と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて作業指示端末４へ送信する（Ｓ１０４）。ここでは、作業指示端末４において、既に遠隔作業端末５との映像情報におけるセッションが確立しているため、接続切替要求とする。尚、映像情報におけるセッションは、一つの端末において、複数確立しても構わない。そのため、以降で、接続切替要求としているものは、接続要求であってもよい。また、ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、環境情報取得装置６が作業指示端末４と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて環境情報取得装置６へ送信する（Ｓ１０５）。
【００３６】
この後、作業指示端末４及び環境情報取得装置６は、それぞれ接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、作業指示端末４及び環境情報取得装置６の間で映像情報におけるセッションＭ１１２を確立する。尚、セッションの確立に関する処理は、公知技術としてよく知られているものであるため、ここでは詳細な説明を省略する。
【００３７】
次に、遠隔作業端末５及び環境情報取得装置６の間で映像情報におけるセッションを確立する処理を説明する。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、遠隔作業端末５が環境情報取得装置６と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて遠隔作業端末５へ送信する（Ｓ１０６）。ここでは、遠隔作業端末５において、既に作業指示端末４との映像情報におけるセッションが確立しているため、接続切替要求とする。また、ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、環境情報取得装置６が遠隔作業端末５と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて環境情報取得装置６へ送信する（Ｓ１０７）。
【００３８】
この後、遠隔作業端末５及び環境情報取得装置６は、それぞれ接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び環境情報取得装置６の間で映像情報におけるセッションＭ１１３を確立する。
【００３９】
また、セッションＭ１１２及びＭ１１３が確立することにより、セッションＭ１１１は、作業指示端末４及び遠隔作業端末５の間で音声情報におけるセッションＭ１１４となる。
【００４０】
これにより、環境情報取得装置６のカメラ６８で撮影される映像情報は、セッションＭ１１２及びＭ１１３により作業指示端末４及び遠隔作業端末５の間で共有されることになる。また、セッションＭ１１４により、作業指示端末４及び遠隔作業端末５の間での音声情報の共有は維持される。そのため、作業指示者及び遠隔作業者は、共に遠隔地である環境情報取得装置６付近の映像情報を見ながら、音声情報によりコミュニケーションを取ることができ、より効果的な遠隔作業支援を行うことができる。
【００４１】
尚、ここでは、環境情報取得装置６が取得している映像情報を、作業指示端末４と遠隔作業端末５とに表示するようにしたが、環境情報取得装置６がマイク６７で取得している音声情報を共有してもよい。
【００４２】
尚、ここでは、共有されるマルチメディア情報は、音声情報及び映像情報としたが、これに限定されない。例えば、共有されるマルチメディア情報は、画像、テキスト、ホワイトボード共有等であればよい。これにより、より効果的な遠隔作業支援を行うことができる。
【００４３】
図３及び図４は、本発明の実施例１にかかる遠隔作業支援方法の適用例を示す図である。図３では、遠隔作業者５０は、領域６１０付近で作業をしており、作業指示者４０は、遠隔作業者５０に対して遠隔作業支援を行っている。作業指示者４０は、作業指示端末４を操作している。遠隔作業者５０は、遠隔作業端末５を装着している。作業指示端末４及び遠隔作業端末５の間は、音声情報及び映像情報におけるセッションＭ１１１が確立している。斜線で示した領域６１０は、危険区域を意味し、遠隔作業者５０が入ることができない領域である。危険物６１１は、遠隔作業者５０の作業を妨げる物体である。環境情報取得装置６は、領域６１０を撮影し、映像情報を取得する。
【００４４】
図３において、危険物６１１は、領域６１０内に存在している。環境情報取得装置６に撮影される映像情報は、領域６１０内の危険物６１１を含む。しかし、作業指示端末４及び遠隔作業端末５の間は、セッションＭ１１１のみが確立している。そのため、この時点で、遠隔作業端末５は、危険物６１１の映像情報を取得しておらず、遠隔作業者５０は、危険物６１１の位置を認識できない。
【００４５】
ここで、図２で説明したように、セッションＭ１１２及びＭ１１３を確立する。それにより、作業指示端末４及び遠隔作業端末５は、危険物６１１の映像情報を取得することができ、危険物６１１の位置を認識できる。そのため、図４に示すように、危険物６１１が領域６１０の外へ移動し、遠隔作業者５０に近付く場合、遠隔作業端末５は、危険物６１１が移動する映像情報を取得しているため、遠隔作業者５０は、危険物６１１が自分に近付いていることを認識し、事前に対処をすることができる。又は、作業指示端末４は、危険物６１１が移動する映像情報を取得しているため、作業指示者４０は、遠隔作業者５０に対してセッションＭ１１４を通じて、音声情報により危険回避策を指示することができる。
【００４６】
このように、本発明の実施例では、遠隔作業端末５は、作業指示端末４からのマルチメディア情報のみでなく、作業指示端末４以外の媒体（ここでは、環境情報取得装置６）からのマルチメディア情報を受信することができるため、多くの環境情報を得ることができる。そのため、的確な作業支援情報を把握することができる。
【００４７】
また、本発明の実施例では、遠隔作業端末５は、環境情報取得装置６からのマルチメディア情報を受信しつつ、作業指示端末４とのコミュニケーションを同時に行うことができるため、多くの環境情報を基にした作業指示をリアルタイムに、かつ、的確に伝達してもらうことができる。
【００４８】
さらに、本発明の実施例では、遠隔作業端末５は、危険地帯等のような人間が容易に進入できない場所に設置してあるカメラ等の情報端末から環境情報を受信しつつ、作業指示端末４からの指示を受信可能である。
【００４９】
尚、本発明の実施例では、マルチメディア情報の共有方法をＳＩＰ通信としたが、これに限定されない。例えば、Ｈ．３２３などを用いることにより実現可能である。
【００５０】
また、上述したＷＥＢ提供部１１の提供するＷＥＢコンテンツは、上述したものに限らない。ＷＥＢ提供部１１の提供するＷＥＢコンテンツは、マルチメディア情報を共有するための接続先ＳＩＰクライアントと、マルチメディア情報種別等が指定できるものであれば構わない。
【００５１】
尚、上述したサーバ１０は、汎用のコンピュータ装置を利用して汎用のＯＳ上で作動するアプリケーションプログラムにより構成されたものであればよく、構成それ自体も一例であって、適宜に変更して実施できることは勿論である。
【００５２】
接続切替要求は、遠隔作業端末５から出してもよい。また、環境情報取得装置６が自ら接続切替要求を送信しても良い。
【００５３】
発明の実施例２．
本発明の実施例１においては、１台の環境情報取得装置６の環境情報を、作業指示端末４及び遠隔作業端末５の間で共有していたが、本実施例では、複数台の環境情報取得装置６ａ及び６ｂの環境情報を作業指示端末４及び遠隔作業端末５の間で切り替えて共有する例を説明する。以下に、本発明の実施例２について図面を参照して詳細に説明する。
【００５４】
図５は、本発明の実施例２にかかる遠隔作業支援システム１０１の全体構成を示すブロック図である。遠隔作業支援システム１０１は、本発明の実施例１にかかる遠隔作業支援システム１００において、環境情報取得装置６が環境情報取得装置６ａ及び６ｂに置き換わったものである。環境情報取得装置６ａ及び６ｂは、環境情報取得装置６と同等の構成であるため、説明を省略する。また、それ以外の構成についても、図１と同等のため、説明を省略する。
【００５５】
図６は、本発明の実施例にかかる遠隔作業支援システム１０１のシーケンス図である。ここで、作業指示端末４及び遠隔作業端末５の間は、音声情報におけるセッションＭ２１１が確立しているものとする。また、遠隔作業端末５及び環境情報取得装置６ａの間は、映像情報におけるセッションＭ２１２が確立しているものとする。つまり、作業指示端末４は、遠隔作業端末５に対して、音声情報により遠隔作業支援を行っている状態である。
【００５６】
以下では、この状態から、遠隔作業端末５及び環境情報取得装置６ａの間の映像情報のセッションを接続切替して、環境情報取得装置６ｂが取得している映像情報を、遠隔作業端末５に表示する流れについて説明する。
【００５７】
まず、遠隔作業端末５は、作業指示端末４に対して、環境情報取得装置６ｂと映像情報におけるセッション確立のための接続要求を行う（Ｓ２０１）。具体的には、遠隔作業端末５は、マイク５７にて遠隔作業者５０の接続要求の音声を取得し、通信部５１にて作業指示端末４へ音声情報を送信する。尚、ここでの接続要求は、音声以外、例えば、テキストデータであってもよい。
【００５８】
次に、作業指示端末４は、ＷＥＢＡＰＬサーバ１に対して、遠隔作業端末５及び環境情報取得装置６ｂの間での映像情報におけるセッション確立のための接続要求を行う（Ｓ２０２）。具体的には、作業指示端末４は、ＷＥＢ入力部４６からＷＥＢ提供部１１の提供するＷＥＢコンテンツに対して、接続先ＳＩＰクライアントとして遠隔作業端末５及び環境情報取得装置６ｂを、また、マルチメディア情報種別として映像情報を、接続要求情報として入力する。作業指示端末４は、通信部４１からネットワーク９を介して、ＷＥＢＡＰＬサーバ１に向けて前記接続要求情報を含むＨＴＴＰリクエスト（接続切替要求）を送信する。
【００５９】
次に、ＷＥＢＡＰＬサーバ１は、受信した接続切替要求をＳＩＰ呼制御サーバ２へ送信する（Ｓ２０３）。具体的には、図２のＳ１０２と同様のため、説明を省略する。
【００６０】
続いて、ＳＩＰ呼制御サーバ２は、受信した接続切替要求をＳＩＰ呼処理サーバ３へ送信する（Ｓ２０４）。具体的には、図２のＳ１０３と同様のため、説明を省略する。
【００６１】
続いて、ＳＩＰ呼処理サーバ３は、受信したＳＩＰメッセージから、各セッションを確立するために、必要な宛先へ接続要求を送信する。ここでは、２つの接続要求が生成される。尚、以降、Ｓ２０５及びＳ２０６の処理順序は、以下の説明の順番に限らない。
【００６２】
次に、遠隔作業端末５及び環境情報取得装置６ｂの間で映像情報におけるセッションを確立する処理を説明する。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、遠隔作業端末５が環境情報取得装置６ｂと映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて遠隔作業端末５へ送信する（Ｓ２０５）。ここでは、遠隔作業端末５において、既に環境情報取得装置６ａとの映像情報におけるセッションが確立しているため、接続切替要求とする。また、ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、環境情報取得装置６ｂが遠隔作業端末５と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて環境情報取得装置６ｂへ送信する（Ｓ２０６）。
【００６３】
この後、遠隔作業端末５及び環境情報取得装置６ｂは、それぞれ接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び環境情報取得装置６ｂの間で映像情報におけるセッションＭ２１３を確立する。
【００６４】
また、セッションＭ２１３が確立することにより、セッションＭ２１２は、ＳＩＰ呼処理サーバ３により破棄される。
【００６５】
これにより、遠隔作業端末５で表示される映像情報は、環境情報取得装置６ａのカメラ６８ａで撮影される映像情報から、環境情報取得装置６ｂのカメラ６８ｂで撮影される映像情報へ切り替わることになる。また、セッションＭ２１１により、作業指示端末４及び遠隔作業端末５の間での音声情報の共有は維持される。そのため、遠隔作業者５０は、状況に応じて、遠隔地である環境情報取得装置６ａ及び６ｂ付近の映像情報を切り替えて状況を認識することができ、より効果的な遠隔作業支援を行うことができる。
【００６６】
図７は、本発明の実施例２にかかる遠隔作業支援方法の適用例を示す図である。遠隔作業者５０は、警備業務等における巡回のため領域６１２付近から領域６１３付近へ移動中であり、領域６１２及び６１３付近に異常があれば何らかの対応を行う必要があるとする。また、作業指示者４０は、遠隔作業者５０に対して遠隔作業支援を行っている。作業指示者４０は、作業指示端末４を操作している。遠隔作業者５０は、遠隔作業端末５を装着している。作業指示端末４及び遠隔作業端末５の間は、音声情報におけるセッションＭ２１１が確立している。また、斜線で示した領域６１２及び６１３は、危険区域を意味し、遠隔作業者５０が入ることができない領域である。環境情報取得装置６ａは、領域６１２を撮影し、映像情報を取得する。環境情報取得装置６ｂは、領域６１３を撮影し、映像情報を取得する。
【００６７】
ここで、まず、遠隔作業端末５及び環境情報取得装置６ｂの間は、映像情報におけるセッションＭ２１２が確立している。そして、遠隔作業端末５は、領域６１２内の映像情報を取得することができ、遠隔作業者５０は、領域６１２付近に異常がないことを確認したとする。
【００６８】
その後、図６で説明したように、セッションＭ２１３を確立する。それにより、遠隔作業端末５は、領域６１３内の映像情報を取得することができる。そのため、遠隔作業者５０は、領域６１３付近に到着する前に、領域６１３付近の状況を認識できる。例えば、領域６１３内に異常が確認された場合、遠隔作業者５０は、領域６１３付近に到着する前に、作業指示端末４からの的確な作業指示を得ることができ、異常に対して、早めに的確な対処をすることができる。
【００６９】
このように、本実施例では、遠隔作業端末５は、自己の移動に合わせて、適切な映像情報に切り替えることができ、効率的に作業支援情報を把握することができる。
【００７０】
このように、本実施例では、遠隔作業者側が主体となり、遠隔作業者が見る映像を切り替えるように作業支援者に対して指示することによる、警備業務等における巡回を効率的に行うことも可能である。遠隔作業者は巡回中に自分の視野以外の箇所まで監視することができ、効率的に作業を行うことが可能となる。
【００７１】
尚、本実施例では、セッションＭ２１３の確立に伴い、セッションＭ２１２を破棄したが、Ｍ２１２を維持しても構わない。すなわち、遠隔作業端末５は、環境情報取得装置６ａ及び６ｂの映像情報を受信しても構わない。その場合、ＨＭＤ５９の画面上を２分割することで実現できる。同様に、作業指示端末４及び遠隔作業端末５は、複数の映像情報を受信して構わない。
【００７２】
発明の実施例３.
本発明の実施例１及び２においては、固定された環境情報取得装置から取得される環境情報を、遠隔作業端末５に表示していたが、本実施例では、複数の遠隔作業者における遠隔作業支援について扱う。ここでは、環境情報取得装置を遠隔作業者が装着する遠隔作業端末である例を説明する。以下に、本発明の実施例３について図面を参照して詳細に説明する。
【００７３】
図８は、本発明の実施例３にかかる遠隔作業支援システム１０２の全体構成を示すブロック図である。遠隔作業支援システム１０２は、本発明の実施例１にかかる遠隔作業支援システム１００において、環境情報取得装置６が遠隔作業端末５ａ及び５ｂに置き換わったものである。ここで、遠隔作業端末５ａ及び５ｂは、環境情報取得装置６の機能を包含するものである。遠隔作業端末５、５ａ及び５ｂは、作業指示端末４から離れた作業場所（遠隔地）に存在し、また、それぞれも遠隔地に存在し、共に遠隔作業に用いられるものである。また、遠隔作業端末５ａ及び５ｂは、遠隔作業端末５と同等の構成であるため、説明を省略する。また、それ以外の構成についても、図１と同等のため、説明を省略する。
【００７４】
図９は、本発明の実施例にかかる遠隔作業支援システム１０２のシーケンス図である。ここでは、作業指示端末４及び遠隔作業端末５の間は、映像情報及び音声情報におけるセッションＭ３１１及びＭ３１２が確立しているものとする。また、作業指示端末４並びに遠隔作業端末５ａの間、及び、作業指示端末４並びに遠隔作業端末５ｂの間は、音声情報におけるセッションＭ３１３及びＭ３１４が確立しているものとする。つまり、作業指示端末４は、遠隔作業端末５を中心に、遠隔作業端末５ａ及５ｂに対しても、遠隔作業支援を行っている状態である。
【００７５】
以下では、この状態から、遠隔作業端末５が取得している映像情報を、遠隔作業端末５ａと遠隔作業端末５ｂとに表示する流れについて説明する。そのために、遠隔作業端末５並びに遠隔作業端末５ａの間、及び、遠隔作業端末５並びに遠隔作業端末５ｂの間での映像情報におけるセッションの接続を行う。
【００７６】
まず、作業指示端末４は、ＷＥＢＡＰＬサーバ１に対して、遠隔作業端末５並びに遠隔作業端末５ａの間、及び、遠隔作業端末５並びに遠隔作業端末５ｂの間での映像情報におけるセッション確立のための接続要求を行う（Ｓ３０１）。具体的には、作業指示端末４は、ＷＥＢ入力部４６からＷＥＢ提供部１１の提供するＷＥＢコンテンツに対して、接続先ＳＩＰクライアントとして遠隔作業端末５並びに遠隔作業端末５ａ、及び、遠隔作業端末５並びに遠隔作業端末５ｂを、また、マルチメディア情報種別として映像情報を、接続要求情報として入力する。作業指示端末４は、通信部４１からネットワーク９を介して、ＷＥＢＡＰＬサーバ１に向けて前記接続要求情報を含むＨＴＴＰリクエスト（接続切替要求）を送信する。
【００７７】
次に、ＷＥＢＡＰＬサーバ１は、受信した接続切替要求をＳＩＰ呼制御サーバ２へ送信する（Ｓ３０２）。具体的には、図２のＳ１０２と同様のため、説明を省略する。
【００７８】
続いて、ＳＩＰ呼制御サーバ２は、受信した接続切替要求をＳＩＰ呼処理サーバ３へ送信する（Ｓ３０３）。具体的には、図２のＳ１０３と同様のため、説明を省略する。
【００７９】
続いて、ＳＩＰ呼処理サーバ３は、受信したＳＩＰメッセージから、各セッションを確立するために、必要な宛先へ接続要求を送信する。ここでは、４つの接続要求が生成される。以降、Ｓ３０４乃至Ｓ３０７の処理は、Ｓ１０４乃至Ｓ１０７と同様のため、説明を省略する。また、Ｓ３０４乃至Ｓ３０７の処理順序は、以下の説明の順番に限らない。
【００８０】
この後、遠隔作業端末５及び５ａは、それぞれＳ３０４及びＳ３０５により接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び５ａの間で映像情報におけるセッションＭ３１５を確立する。
【００８１】
また、遠隔作業端末５及び５ｂは、それぞれＳ３０６及びＳ３０７により接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び５ｂの間で映像情報におけるセッションＭ３１６を確立する。
【００８２】
これにより、遠隔作業端末５のカメラ５８で撮影される映像情報は、セッションＭ３１５及びＭ３１６により遠隔作業端末５ａ及び５ｂのＨＭＤ５９ａ及び５９ｂにて表示され、作業指示端末４及び遠隔作業端末５と共有されることになる。また、セッションＭ３１２、Ｍ３１３及びＭ３１４により、作業指示端末４及び遠隔作業端末５、遠隔作業端末５ａ並びに遠隔作業端末５ｂの間での音声情報の共有は維持される。そのため、遠隔作業端末５ａ及び５ｂは、作業指示端末４からの音声情報による指示を待たず、遠隔作業端末５の作業状況を把握することができる。
【００８３】
図１０は、本発明の実施例３にかかる遠隔作業支援方法の適用例を示す図である。作業指示者４０は、遠隔作業者５０、５０ａ及び５０ｂに対して遠隔作業支援を行っている。また、遠隔作業者５０ａ及び５０ｂは、遠隔作業者５０の作業状況に応じて作業を行う必要があるとする。また、作業指示者４０は、作業指示端末４を操作している。遠隔作業者５０、５０ａ及び５０ｂは、それぞれ遠隔作業端末５、５ａ及び５ｂを装着している。作業指示端末４及び遠隔作業端末５の間は、映像情報におけるセッションＭ３１１が確立している。また、作業指示端末４及び遠隔作業端末５、５ａ並びに５ｂの間は、それぞれ音声情報におけるセッションＭ３１２、Ｍ３１３及びＭ３１４が確立している。
【００８４】
ここで、図９で説明したように、セッションＭ３１５及びＭ３１６を確立する。それにより、遠隔作業端末５ａ及び５ｂは、遠隔作業端末５のカメラ５８で撮影される映像情報を取得することができる。そのため、遠隔作業者５０ａ及び５０ｂは、遠隔作業者５０の作業状況を把握することができる。
【００８５】
このように、本実施例では、遠隔作業者が複数人いる場合に、従来方法と比較してさらに効率的な遠隔作業支援を行うことが可能である。つまり、遠隔作業者が複数人いる場合、作業支持者は、各々の遠隔作業者に対して作業指示を与えることができるため、各々の作業状況を把握している。しかし、遠隔作業者は個別の作業状況および作業指示者からの指示のみしか把握することができない。そこで、本実施例により、遠隔作業者が他の遠隔作業者の作業状況を受信することで、自分以外の作業状況を知ることができ、作業地域全体の状況を多面的に把握することが可能となる。
【００８６】
すなわち、本実施例では、複数人で構成される遠隔作業者それぞれの状況情報を個々の遠隔作業者に送信することで、作業地域全体の状況を作業指示者のみでなく、個々の遠隔作業者がお互いの状況を把握することが可能となる。
【００８７】
尚、本実施例では、遠隔作業端末５の映像情報を、遠隔作業端末５ａ及び５ｂと共有したが、遠隔作業端末５ａ及び５ｂの映像情報を遠隔作業端末５と共有するなど、その他の端末の組み合わせ、マルチメディア情報の組み合わせであっても構わない。
【００８８】
その他の発明の実施例.
尚、本発明の活用例として、危険地帯を含む遠隔作業、または複数人で構成される遠隔作業などが挙げられる。
【００８９】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施例１にかかる遠隔作業支援システム１００の全体構成を示すブロック図である。
【図２】本発明の実施例１にかかる遠隔作業支援システム１００のシーケンス図である。
【図３】本発明の実施例１にかかる遠隔作業支援方法の適用例を示す図である。
【図４】本発明の実施例１にかかる遠隔作業支援方法の適用例を示す図である。
【図５】本発明の実施例２にかかる遠隔作業支援システム１０１の全体構成を示すブロック図である。
【図６】本発明の実施例にかかる遠隔作業支援システム１０１のシーケンス図である。
【図７】本発明の実施例２にかかる遠隔作業支援方法の適用例を示す図である。
【図８】本発明の実施例３にかかる遠隔作業支援システム１０２の全体構成を示すブロック図である。
【図９】本発明の実施例にかかる遠隔作業支援システム１０２のシーケンス図である。
【図１０】本発明の実施例３にかかる遠隔作業支援方法の適用例を示す図である。
【図１１】関連する技術における遠隔作業支援システムの構成を示す図である。
【符号の説明】
【００９１】
１ ＷＥＢＡＰＬサーバ ２ 呼制御サーバ ３ 呼処理サーバ
４ 作業指示端末 ５、５ａ、５ｂ 遠隔作業端末
６、６ａ、６ｂ 環境情報取得装置 ９ ネットワーク １０ サーバ
１１ ＷＥＢ提供部 １２ ＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）への要求部
１３ 通信部 ２１ ＳＩＰ呼制御部
２２ ＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）部
２３ 通信部 ３１ ＳＩＰ呼処理部 ３２ 通信部 ４０ 作業指示者
４１ 通信部 ４２ ＳＩＰ呼処理部 ４３ 指示内容入力部
４４ メディア入力部 ４５ メディア出力部 ４６ ＷＥＢ入力部
４７ マイク ４８ カメラ ４９ 情報端末
５０、５０ａ、５０ｂ 遠隔作業者 ５１、５１ａ、５１ｂ 通信部
５２、５２ａ、５２ｂ ＳＩＰ呼処理部 ５３、５３ａ、５３ｂ メディア入力部
５４、５４ａ、５４ｂ メディア出力部 ５５、５５ａ、５５ｂ ＷＥＢ入力部
５７、５７ａ、５７ｂ マイク ５８、５８ａ、５８ｂ カメラ
６１、６１ａ、６１ｂ 通信部 ６２、６２ａ、６２ｂ ＳＩＰ呼処理部
６３、６３ａ、６３ｂ メディア入力部 ６７、６７ａ、６７ｂ マイク
６８、６８ａ、６８ｂ カメラ １００ 遠隔作業支援システム
１０１ 遠隔作業支援システム １０２ 遠隔作業支援システム
４１０ キーボード ４１１ マウス ４２０ 作業指示端末
５２０ 遠隔作業端末 ５３０ 遠隔作業端末 ５４０ 遠隔作業端末
６１０ 領域 ６１１ 危険物 ６１２ 領域 ６１３ 領域
【技術分野】
【０００１】
本発明は、遠隔作業支援システム、遠隔作業支援方法、及び、接続管理サーバに関し、特に多地点における複数の遠隔作業端末間での接続切替を行う遠隔作業支援システム、遠隔作業支援方法、及び、接続管理サーバに関する。
【背景技術】
【０００２】
近年、遠隔地で作業を行う遠隔作業者に対して、作業指示者がその作業を指示、管理する遠隔作業支援を行うために、使用する端末の間で音声、映像等のマルチメディア情報である環境情報をリアルタイムに共有することが可能となっている。このような遠隔作業支援に関連する技術として、例えば、特許文献１及び特許文献２に記載のものがある。
【０００３】
特許文献１に記載の技術は、遠隔作業端末及び作業指示端末の間で、ネットワークを介して、相互にマルチメディア情報を送受信し、遠隔作業端末及び作業指示端末に、それぞれが受信したマルチメディア情報を表示することにより情報共有するものである。さらに、作業指示端末が遠隔作業端末に対して、ネットワークを介して、作業指示者の作業指示を通知するものである。
【０００４】
特許文献１に記載の遠隔作業支援システムを適用した例は、図１１（ａ）に示すことができる。ここで、遠隔作業支援システムは、遠隔作業者が装着するＨＭＤ（Head Mounted Display）５２１を搭載した遠隔作業端末５２０、同様に、ＨＭＤ５３１を搭載した遠隔作業端末５３０、及び、ＨＭＤ５４１を搭載した遠隔作業端末５４０と、作業指示者が操作する作業指示端末４２０とを含む。通信Ｍ４１２は、作業指示端末４２０と遠隔作業端末５２０との間でのマルチメディア情報の通信を示す。同様に、通信Ｍ４１３及び通信Ｍ４１４は、作業指示端末４２０と遠隔作業端末５３０及び遠隔作業端末５４０、それぞれとの間のマルチメディア情報の通信を示す。
【０００５】
図１１（ｂ）は、通信Ｍ４１２の例を示す図である。通信Ｍ４１２ａは、作業指示端末４２０から遠隔作業端末５２０への送信を示す。通信Ｍ４１２ａの内容は、画像、映像、テキスト等であり、遠隔作業端末５２０で受信後、ＨＭＤ５２１に表示される。通信Ｍ４１２ｂは、遠隔作業端末５２０から作業指示端末４２０への送信を示す。通信Ｍ４１２ｂの内容は、ＨＭＤ５２１で撮影された映像情報であり、作業指示端末４２０で受信後、作業指示端末４２０の画面（不図示）に表示される。
【０００６】
このように、遠隔作業支援に関連する技術では、遠隔作業端末及び作業指示端末の間でのマルチメディア情報の共有を行い、さらに共有した情報に指示内容を付加して遠隔作業者へ送信することにより支援している。そのため、作業指示端末は、図１１のように複数の遠隔作業端末の環境情報を受信し、把握している。
【０００７】
特許文献２に記載の技術は、遠隔作業端末及び作業指示端末の間で、ネットワークを介して、相互にマルチメディア情報を共有するものである。さらに、ネットワークに接続されたデータベースに対して、作業指示端末から検索を行い、検索結果を遠隔作業端末に通知するものである。
【特許文献１】特開２００６−１６３７３１号公報
【特許文献２】特開２００２−１３２４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１及び特許文献２に記載の技術は、遠隔作業端末及び作業指示端末の間での１対１の情報共有を行うことができるが、遠隔作業端末が、他の遠隔地の環境情報を共有することができないという課題がある。特許文献１及び特許文献２に記載の遠隔作業支援システムにおいて、作業指示端末は、各遠隔作業端末からの環境情報を受信することで、全体の状況を集約し、一元管理することが可能である。しかし、作業指示端末がボトルネックとなり、各遠隔作業端末がリアルタイムな情報共有ができない可能性がある。それは、遠隔作業端末においては、作業指示端末からの情報のみを受信するため、連携して作業を行わなければならない他の遠隔作業者の状況を知るには、作業指示端末からの指示を待たねばならず、作業効率が低くなり、さらには、作業安全が確保できない恐れがある。
【０００９】
本発明は、このような問題点を解決するためになされたものであり、複数の遠隔作業端末間での接続切替を容易にすることで、的確な環境情報の共有を可能とする、多地点における遠隔作業支援システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかる遠隔作業支援システムは、ネットワークを介して複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバと、第１の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、を備えるものである。
前記接続管理サーバは、前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させる。その後、前記第１の環境情報取得装置は、前記第１の遠隔作業端末に対して前記環境情報を送信する。
【００１１】
本発明にかかる遠隔作業支援方法は、第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、を備え、前記第１の遠隔作業端末と前記作業指示端末の間で、ネットワークを介してマルチメディア情報を送受信するための通信接続を確立して情報共有を行うものである。前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、前記第１の遠隔作業端末との間に第２の通信接続を確立し、前記第１の環境情報取得装置から前記第１の遠隔作業端末へ前記環境情報を送信する。
【００１２】
本発明にかかる接続管理サーバは、第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置とのそれぞれとネットワークを介して接続され、複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させるものである。前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させる。
【発明の効果】
【００１３】
本発明により、複数の遠隔作業端末間で的確な環境情報の共有が可能な、多地点における遠隔作業支援システム及び方法を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１５】
発明の実施例１．
図１は、本発明の実施例にかかる遠隔作業支援システム１００の全体構成を示すブロック図である。遠隔作業支援システム１００は、サーバ１０と、作業指示端末４と、遠隔作業端末５と、環境情報取得装置６とが、ネットワーク９を介して接続されている。遠隔作業端末５及び環境情報取得装置６は、作業指示端末４から離れた作業場所（遠隔地）に存在し、共に遠隔作業に用いられるものである。
【００１６】
サーバ１０は、ＷＥＢＡＰＬ（ウェブアプリケーション）サーバ１と、ＳＩＰ（Session Initiation Protocol）呼制御サーバ２と、ＳＩＰ呼処理サーバ３とを含む。尚、サーバ１０は、典型的なコンピュータシステムで実現されていればよい。又は、サーバ１０は、ネットワーク９に接続された複数のコンピュータシステムに分割して処理されても構わない。
【００１７】
ＷＥＢＡＰＬサーバ１は、ＷＥＢ提供部１１、ＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）への要求部１２、通信部１３を備えている。ＷＥＢ提供部１１は、ＨＴＴＰ（Hyper Text Transfer Protocol）プロトコル等によるＷＥＢコンテンツを提供する機能を備えている。尚、当該ＷＥＢコンテンツは、マルチメディア情報を共有するための接続先ＳＩＰクライアントと、マルチメディア情報種別の入力欄を設けている。ＷＥＢＡＰＬＩＦへの要求部１２は、ＳＩＰ呼制御サーバ２のＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）部２２と通信し、セッションの接続・切り替え（接続切替）を要求する機能を備えている。通信部１３はネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。
【００１８】
ＳＩＰ呼制御サーバ２は、ＳＩＰ呼制御部２１、ＷＥＢＡＰＬＩ／Ｆ部２２、通信部２３を備えている。ＳＩＰ呼制御部２１は、ＳＩＰ呼処理サーバ３とＳＩＰによる通信を行う機能を備えている。ＷＥＢＡＰＬＩ／Ｆ部２２はＷＥＢＡＰＬサーバ１から受信するセッションの接続切替要求を受信し、ＳＩＰの要求に変換する機能を備えている。通信部２３は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。
【００１９】
尚、ＷＥＢＡＰＬＩ／Ｆへの要求部１２と、ＷＥＢＡＰＬＩ／Ｆ部２２との通信は、例えば、ＳＯＡＰ（Simple Object Access Protocol）通信によるＷＥＢサービス技術により実現されるものであればよい。
【００２０】
ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１と通信部３２を備えている。ＳＩＰ呼処理部３１は、ＳＩＰ呼制御部２１、ＳＩＰ呼処理部４２、ＳＩＰ呼処理部５２、ＳＩＰ呼処理部６２と、ＳＩＰによる通信を行う機能を備えている。通信部３２は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。
【００２１】
作業指示端末４は、作業指示者が遠隔作業支援に使用するＨＴＴＰ及びＳＩＰクライアント端末である。作業指示端末４は、通信部４１、ＳＩＰ呼処理部４２、指示内容入力部４３、メディア入力部４４、メディア出力部４５、ＷＥＢ入力部４６、マイク４７、カメラ４８、情報端末４９、キーボード４１０、マウス４１１を備えている。
【００２２】
通信部４１は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。ＳＩＰ呼処理部４２は、ＳＩＰ呼処理サーバ３のＳＩＰ呼処理部３１とＳＩＰによる通信を行う機能を備えている。指示内容入力部４３は、マイク４７、カメラ４８、キーボード４１０及びマウス４１１を用いて、作業指示情報を入力する機能を備えている。メディア入力部４４は、マイク４７、カメラ４８及び情報端末４９からマルチメディア情報を入力する機能を備えている。メディア出力部４５は、受信したメディア情報を情報端末４９に出力する機能を備えている。ＷＥＢ入力部４６は、ＷＥＢＡＰＬサーバ１が提供しているＷＥＢコンテンツに対して送信する要求を入力する機能を備えている。マイク４７、カメラ４８、キーボード４１０及びマウス４１１は、それぞれ他の物理的なハードウェアに内包されても良い。
【００２３】
遠隔作業端末５は、遠隔作業者が遠隔作業に使用するＨＴＴＰ及びＳＩＰクライアント端末である。遠隔作業端末５は、通信部５１、ＳＩＰ呼処理部５２、メディア入力部５３、メディア出力部５４、ＷＥＢ入力部５５、マイク５７、カメラ５８、ＨＭＤ５９を備えている。
【００２４】
通信部５１は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。ＳＩＰ呼処理部５２は、ＳＩＰ呼処理サーバ３のＳＩＰ呼処理部３１とＳＩＰによる通信を行う機能を備えている。メディア入力部５３は、マイク５７、カメラ５８及びＨＭＤ５９からマルチメディア情報を入力する機能を備えている。メディア出力部５４は、受信したメディア情報をＨＭＤ５９に出力する機能を備えている。ＷＥＢ入力部５５はＷＥＢＡＰＬサーバ１が提供しているＷＥＢコンテンツに対して送信する要求を入力する機能を備えている。マイク５７、カメラ５８及びＨＭＤ５９は、それぞれ他の物理的なハードウェアに内包されても良い。
【００２５】
環境情報取得装置６は、遠隔作業端末５とは離れた場所に位置し、環境情報を取得するＳＩＰクライアント装置である。ここで、環境情報とは、作業環境の周囲から取得される、作業に必要とされる情報である。環境情報取得装置６は、通信部６１、ＳＩＰ呼処理部６２、メディア入力部６３、マイク６７、カメラ６８を備えている。
ネットワーク９は、インターネット、公衆網、専用線、移動体通信網等のネットワークである。
【００２６】
通信部６１は、ネットワーク９を通じて他のサーバまたはクライアントと通信する機能を備えている。ＳＩＰ呼処理部６２は、ＳＩＰ呼処理サーバ３のＳＩＰ呼処理部３１とＳＩＰによる通信を行う機能を備えている。メディア入力部６３は、マイク６７、カメラ６８からマルチメディア情報を入力する機能を備えている。マイク６７、カメラ６８は、それぞれ他の物理的なハードウェアに内包されても良い。
【００２７】
本実施例では、マルチメディア情報の共有にＳＩＰを用いる。これにより、ＳＩＰクライアント間で様々なマルチメディア情報の共有が可能となる。また、ＳＩＰクライアント間で、複数のマルチメディア情報の共有が可能である。尚、ＳＩＰ通信に関する処理は、公知技術としてよく知られているものであるため、ここでは詳細な説明を省略する。
【００２８】
ここで、遠隔作業端末５のカメラ５８で撮影される映像情報を作業指示端末４と共有する例を説明する。まず、作業指示端末４又は遠隔作業端末５から、映像情報を共有するための接続要求がサーバ１０に対して行われる。次に、サーバ１０のＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部４２及びＳＩＰ呼処理部５２との接続処理を中継し、映像情報における作業指示端末４及び遠隔作業端末５の間でのセッションを確立する。セッションの確立によりデータ通信経路が決まる。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部４２及びＳＩＰ呼処理部５２へデータ通信経路を通知する。その後、作業指示端末４及び遠隔作業端末５の間で直接、映像情報の送受信が行われ、映像情報が共有される。また、セッションは、作業指示端末４及び遠隔作業端末５のいずれか一方が通信を終了するか、又は、一定時間通信が行われないことにより、ＳＩＰ呼処理サーバ３により破棄される。
【００２９】
図２は、本発明の実施例にかかる遠隔作業支援システム１００のシーケンス図である。ここでは、作業指示端末４及び遠隔作業端末５の間は、音声情報及び映像情報におけるセッションＭ１１１が確立しているものとする。つまり、作業指示端末４は、遠隔作業端末５に対して、遠隔作業支援を行っている状態である。ここで、音声情報は、マイク４７及びマイク５７から入力された音声である。また、映像情報は、カメラ４８及びカメラ５８で撮影された映像、及び、作業指示端末４内で取得済みの動画像データであるとする。
【００３０】
以下では、この状態から、作業指示端末４及び遠隔作業端末５の間での映像情報のセッションのみを接続切替して、環境情報取得装置６が取得している映像情報を、作業指示端末４と遠隔作業端末５とに表示する流れについて説明する。
【００３１】
まず、作業指示端末４は、ＷＥＢＡＰＬサーバ１に対して、環境情報取得装置６と映像情報におけるセッション確立のための接続要求を行う（Ｓ１０１）。具体的には、作業指示端末４は、ＷＥＢ入力部４６からＷＥＢ提供部１１の提供するＷＥＢコンテンツに対して、接続先ＳＩＰクライアントとして作業指示端末４並びに環境情報取得装置６、及び、遠隔作業端末５並びに環境情報取得装置６を、また、マルチメディア情報種別として映像情報を、接続要求情報として入力する。作業指示端末４は、通信部４１からネットワーク９を介して、ＷＥＢＡＰＬサーバ１に向けて前記接続要求情報を含むＨＴＴＰリクエスト（接続切替要求）を送信する。
【００３２】
次に、ＷＥＢＡＰＬサーバ１は、受信した接続切替要求をＳＩＰ呼制御サーバ２へ送信する（Ｓ１０２）。具体的には、ＷＥＢＡＰＬサーバ１は、通信部１３にて前記ＨＴＴＰリクエストを受信し、ＷＥＢ提供部１１にて前記ＨＴＴＰリクエストに含まれる接続要求情報を抽出し、ＷＥＢＡＰＬＩ／Ｆへの要求部１２にて、接続要求情報をＳＯＡＰメッセージ（接続切替要求）に変換して、通信部１３にてＳＩＰ呼制御サーバ２へ送信する。
【００３３】
続いて、ＳＩＰ呼制御サーバ２は、受信した接続切替要求をＳＩＰ呼処理サーバ３へ送信する（Ｓ１０３）。具体的には、まず、ＳＩＰ呼制御サーバ２は、通信部２３にて前記ＳＯＡＰメッセージを受信し、ＷＥＢＡＰＬＩ／Ｆ部２２にてＳＯＡＰメッセージに含まれる接続要求を抽出する。次に、ＳＩＰ呼制御サーバ２は、ＳＩＰ呼制御部２１にて前記接続要求から、作業指示端末４及び環境情報取得装置６の間で映像情報におけるセッションを確立する接続要求であるＳＩＰメッセージと、遠隔作業端末５及び環境情報取得装置６の間で映像情報におけるセッションを確立する接続要求であるＳＩＰメッセージとを生成する。その後、ＳＩＰ呼制御サーバ２は、前記ＳＩＰメッセージを通信部２３にてＳＩＰ呼処理サーバ３へ送信する。
【００３４】
続いて、ＳＩＰ呼処理サーバ３は、受信したＳＩＰメッセージから、各セッションを確立するために、必要な宛先へ接続要求を送信する。ＳＩＰ呼処理サーバ３は、通信部３２にて前記ＳＩＰメッセージを受信し、ＳＩＰ呼処理部３１にてＳＩＰメッセージを解析し、接続要求を生成する。ここでは、４つの接続要求が生成される。尚、以降、Ｓ１０４乃至Ｓ１０７の処理順序は、以下の説明の順番に限らない。
【００３５】
まず、作業指示端末４及び環境情報取得装置６の間で映像情報におけるセッションを確立する処理を説明する。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、作業指示端末４が環境情報取得装置６と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて作業指示端末４へ送信する（Ｓ１０４）。ここでは、作業指示端末４において、既に遠隔作業端末５との映像情報におけるセッションが確立しているため、接続切替要求とする。尚、映像情報におけるセッションは、一つの端末において、複数確立しても構わない。そのため、以降で、接続切替要求としているものは、接続要求であってもよい。また、ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、環境情報取得装置６が作業指示端末４と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて環境情報取得装置６へ送信する（Ｓ１０５）。
【００３６】
この後、作業指示端末４及び環境情報取得装置６は、それぞれ接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、作業指示端末４及び環境情報取得装置６の間で映像情報におけるセッションＭ１１２を確立する。尚、セッションの確立に関する処理は、公知技術としてよく知られているものであるため、ここでは詳細な説明を省略する。
【００３７】
次に、遠隔作業端末５及び環境情報取得装置６の間で映像情報におけるセッションを確立する処理を説明する。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、遠隔作業端末５が環境情報取得装置６と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて遠隔作業端末５へ送信する（Ｓ１０６）。ここでは、遠隔作業端末５において、既に作業指示端末４との映像情報におけるセッションが確立しているため、接続切替要求とする。また、ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、環境情報取得装置６が遠隔作業端末５と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて環境情報取得装置６へ送信する（Ｓ１０７）。
【００３８】
この後、遠隔作業端末５及び環境情報取得装置６は、それぞれ接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び環境情報取得装置６の間で映像情報におけるセッションＭ１１３を確立する。
【００３９】
また、セッションＭ１１２及びＭ１１３が確立することにより、セッションＭ１１１は、作業指示端末４及び遠隔作業端末５の間で音声情報におけるセッションＭ１１４となる。
【００４０】
これにより、環境情報取得装置６のカメラ６８で撮影される映像情報は、セッションＭ１１２及びＭ１１３により作業指示端末４及び遠隔作業端末５の間で共有されることになる。また、セッションＭ１１４により、作業指示端末４及び遠隔作業端末５の間での音声情報の共有は維持される。そのため、作業指示者及び遠隔作業者は、共に遠隔地である環境情報取得装置６付近の映像情報を見ながら、音声情報によりコミュニケーションを取ることができ、より効果的な遠隔作業支援を行うことができる。
【００４１】
尚、ここでは、環境情報取得装置６が取得している映像情報を、作業指示端末４と遠隔作業端末５とに表示するようにしたが、環境情報取得装置６がマイク６７で取得している音声情報を共有してもよい。
【００４２】
尚、ここでは、共有されるマルチメディア情報は、音声情報及び映像情報としたが、これに限定されない。例えば、共有されるマルチメディア情報は、画像、テキスト、ホワイトボード共有等であればよい。これにより、より効果的な遠隔作業支援を行うことができる。
【００４３】
図３及び図４は、本発明の実施例１にかかる遠隔作業支援方法の適用例を示す図である。図３では、遠隔作業者５０は、領域６１０付近で作業をしており、作業指示者４０は、遠隔作業者５０に対して遠隔作業支援を行っている。作業指示者４０は、作業指示端末４を操作している。遠隔作業者５０は、遠隔作業端末５を装着している。作業指示端末４及び遠隔作業端末５の間は、音声情報及び映像情報におけるセッションＭ１１１が確立している。斜線で示した領域６１０は、危険区域を意味し、遠隔作業者５０が入ることができない領域である。危険物６１１は、遠隔作業者５０の作業を妨げる物体である。環境情報取得装置６は、領域６１０を撮影し、映像情報を取得する。
【００４４】
図３において、危険物６１１は、領域６１０内に存在している。環境情報取得装置６に撮影される映像情報は、領域６１０内の危険物６１１を含む。しかし、作業指示端末４及び遠隔作業端末５の間は、セッションＭ１１１のみが確立している。そのため、この時点で、遠隔作業端末５は、危険物６１１の映像情報を取得しておらず、遠隔作業者５０は、危険物６１１の位置を認識できない。
【００４５】
ここで、図２で説明したように、セッションＭ１１２及びＭ１１３を確立する。それにより、作業指示端末４及び遠隔作業端末５は、危険物６１１の映像情報を取得することができ、危険物６１１の位置を認識できる。そのため、図４に示すように、危険物６１１が領域６１０の外へ移動し、遠隔作業者５０に近付く場合、遠隔作業端末５は、危険物６１１が移動する映像情報を取得しているため、遠隔作業者５０は、危険物６１１が自分に近付いていることを認識し、事前に対処をすることができる。又は、作業指示端末４は、危険物６１１が移動する映像情報を取得しているため、作業指示者４０は、遠隔作業者５０に対してセッションＭ１１４を通じて、音声情報により危険回避策を指示することができる。
【００４６】
このように、本発明の実施例では、遠隔作業端末５は、作業指示端末４からのマルチメディア情報のみでなく、作業指示端末４以外の媒体（ここでは、環境情報取得装置６）からのマルチメディア情報を受信することができるため、多くの環境情報を得ることができる。そのため、的確な作業支援情報を把握することができる。
【００４７】
また、本発明の実施例では、遠隔作業端末５は、環境情報取得装置６からのマルチメディア情報を受信しつつ、作業指示端末４とのコミュニケーションを同時に行うことができるため、多くの環境情報を基にした作業指示をリアルタイムに、かつ、的確に伝達してもらうことができる。
【００４８】
さらに、本発明の実施例では、遠隔作業端末５は、危険地帯等のような人間が容易に進入できない場所に設置してあるカメラ等の情報端末から環境情報を受信しつつ、作業指示端末４からの指示を受信可能である。
【００４９】
尚、本発明の実施例では、マルチメディア情報の共有方法をＳＩＰ通信としたが、これに限定されない。例えば、Ｈ．３２３などを用いることにより実現可能である。
【００５０】
また、上述したＷＥＢ提供部１１の提供するＷＥＢコンテンツは、上述したものに限らない。ＷＥＢ提供部１１の提供するＷＥＢコンテンツは、マルチメディア情報を共有するための接続先ＳＩＰクライアントと、マルチメディア情報種別等が指定できるものであれば構わない。
【００５１】
尚、上述したサーバ１０は、汎用のコンピュータ装置を利用して汎用のＯＳ上で作動するアプリケーションプログラムにより構成されたものであればよく、構成それ自体も一例であって、適宜に変更して実施できることは勿論である。
【００５２】
接続切替要求は、遠隔作業端末５から出してもよい。また、環境情報取得装置６が自ら接続切替要求を送信しても良い。
【００５３】
発明の実施例２．
本発明の実施例１においては、１台の環境情報取得装置６の環境情報を、作業指示端末４及び遠隔作業端末５の間で共有していたが、本実施例では、複数台の環境情報取得装置６ａ及び６ｂの環境情報を作業指示端末４及び遠隔作業端末５の間で切り替えて共有する例を説明する。以下に、本発明の実施例２について図面を参照して詳細に説明する。
【００５４】
図５は、本発明の実施例２にかかる遠隔作業支援システム１０１の全体構成を示すブロック図である。遠隔作業支援システム１０１は、本発明の実施例１にかかる遠隔作業支援システム１００において、環境情報取得装置６が環境情報取得装置６ａ及び６ｂに置き換わったものである。環境情報取得装置６ａ及び６ｂは、環境情報取得装置６と同等の構成であるため、説明を省略する。また、それ以外の構成についても、図１と同等のため、説明を省略する。
【００５５】
図６は、本発明の実施例にかかる遠隔作業支援システム１０１のシーケンス図である。ここで、作業指示端末４及び遠隔作業端末５の間は、音声情報におけるセッションＭ２１１が確立しているものとする。また、遠隔作業端末５及び環境情報取得装置６ａの間は、映像情報におけるセッションＭ２１２が確立しているものとする。つまり、作業指示端末４は、遠隔作業端末５に対して、音声情報により遠隔作業支援を行っている状態である。
【００５６】
以下では、この状態から、遠隔作業端末５及び環境情報取得装置６ａの間の映像情報のセッションを接続切替して、環境情報取得装置６ｂが取得している映像情報を、遠隔作業端末５に表示する流れについて説明する。
【００５７】
まず、遠隔作業端末５は、作業指示端末４に対して、環境情報取得装置６ｂと映像情報におけるセッション確立のための接続要求を行う（Ｓ２０１）。具体的には、遠隔作業端末５は、マイク５７にて遠隔作業者５０の接続要求の音声を取得し、通信部５１にて作業指示端末４へ音声情報を送信する。尚、ここでの接続要求は、音声以外、例えば、テキストデータであってもよい。
【００５８】
次に、作業指示端末４は、ＷＥＢＡＰＬサーバ１に対して、遠隔作業端末５及び環境情報取得装置６ｂの間での映像情報におけるセッション確立のための接続要求を行う（Ｓ２０２）。具体的には、作業指示端末４は、ＷＥＢ入力部４６からＷＥＢ提供部１１の提供するＷＥＢコンテンツに対して、接続先ＳＩＰクライアントとして遠隔作業端末５及び環境情報取得装置６ｂを、また、マルチメディア情報種別として映像情報を、接続要求情報として入力する。作業指示端末４は、通信部４１からネットワーク９を介して、ＷＥＢＡＰＬサーバ１に向けて前記接続要求情報を含むＨＴＴＰリクエスト（接続切替要求）を送信する。
【００５９】
次に、ＷＥＢＡＰＬサーバ１は、受信した接続切替要求をＳＩＰ呼制御サーバ２へ送信する（Ｓ２０３）。具体的には、図２のＳ１０２と同様のため、説明を省略する。
【００６０】
続いて、ＳＩＰ呼制御サーバ２は、受信した接続切替要求をＳＩＰ呼処理サーバ３へ送信する（Ｓ２０４）。具体的には、図２のＳ１０３と同様のため、説明を省略する。
【００６１】
続いて、ＳＩＰ呼処理サーバ３は、受信したＳＩＰメッセージから、各セッションを確立するために、必要な宛先へ接続要求を送信する。ここでは、２つの接続要求が生成される。尚、以降、Ｓ２０５及びＳ２０６の処理順序は、以下の説明の順番に限らない。
【００６２】
次に、遠隔作業端末５及び環境情報取得装置６ｂの間で映像情報におけるセッションを確立する処理を説明する。ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、遠隔作業端末５が環境情報取得装置６ｂと映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて遠隔作業端末５へ送信する（Ｓ２０５）。ここでは、遠隔作業端末５において、既に環境情報取得装置６ａとの映像情報におけるセッションが確立しているため、接続切替要求とする。また、ＳＩＰ呼処理サーバ３は、ＳＩＰ呼処理部３１にて、環境情報取得装置６ｂが遠隔作業端末５と映像情報におけるセッションを確立する接続要求を生成し、通信部３２にて環境情報取得装置６ｂへ送信する（Ｓ２０６）。
【００６３】
この後、遠隔作業端末５及び環境情報取得装置６ｂは、それぞれ接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び環境情報取得装置６ｂの間で映像情報におけるセッションＭ２１３を確立する。
【００６４】
また、セッションＭ２１３が確立することにより、セッションＭ２１２は、ＳＩＰ呼処理サーバ３により破棄される。
【００６５】
これにより、遠隔作業端末５で表示される映像情報は、環境情報取得装置６ａのカメラ６８ａで撮影される映像情報から、環境情報取得装置６ｂのカメラ６８ｂで撮影される映像情報へ切り替わることになる。また、セッションＭ２１１により、作業指示端末４及び遠隔作業端末５の間での音声情報の共有は維持される。そのため、遠隔作業者５０は、状況に応じて、遠隔地である環境情報取得装置６ａ及び６ｂ付近の映像情報を切り替えて状況を認識することができ、より効果的な遠隔作業支援を行うことができる。
【００６６】
図７は、本発明の実施例２にかかる遠隔作業支援方法の適用例を示す図である。遠隔作業者５０は、警備業務等における巡回のため領域６１２付近から領域６１３付近へ移動中であり、領域６１２及び６１３付近に異常があれば何らかの対応を行う必要があるとする。また、作業指示者４０は、遠隔作業者５０に対して遠隔作業支援を行っている。作業指示者４０は、作業指示端末４を操作している。遠隔作業者５０は、遠隔作業端末５を装着している。作業指示端末４及び遠隔作業端末５の間は、音声情報におけるセッションＭ２１１が確立している。また、斜線で示した領域６１２及び６１３は、危険区域を意味し、遠隔作業者５０が入ることができない領域である。環境情報取得装置６ａは、領域６１２を撮影し、映像情報を取得する。環境情報取得装置６ｂは、領域６１３を撮影し、映像情報を取得する。
【００６７】
ここで、まず、遠隔作業端末５及び環境情報取得装置６ｂの間は、映像情報におけるセッションＭ２１２が確立している。そして、遠隔作業端末５は、領域６１２内の映像情報を取得することができ、遠隔作業者５０は、領域６１２付近に異常がないことを確認したとする。
【００６８】
その後、図６で説明したように、セッションＭ２１３を確立する。それにより、遠隔作業端末５は、領域６１３内の映像情報を取得することができる。そのため、遠隔作業者５０は、領域６１３付近に到着する前に、領域６１３付近の状況を認識できる。例えば、領域６１３内に異常が確認された場合、遠隔作業者５０は、領域６１３付近に到着する前に、作業指示端末４からの的確な作業指示を得ることができ、異常に対して、早めに的確な対処をすることができる。
【００６９】
このように、本実施例では、遠隔作業端末５は、自己の移動に合わせて、適切な映像情報に切り替えることができ、効率的に作業支援情報を把握することができる。
【００７０】
このように、本実施例では、遠隔作業者側が主体となり、遠隔作業者が見る映像を切り替えるように作業支援者に対して指示することによる、警備業務等における巡回を効率的に行うことも可能である。遠隔作業者は巡回中に自分の視野以外の箇所まで監視することができ、効率的に作業を行うことが可能となる。
【００７１】
尚、本実施例では、セッションＭ２１３の確立に伴い、セッションＭ２１２を破棄したが、Ｍ２１２を維持しても構わない。すなわち、遠隔作業端末５は、環境情報取得装置６ａ及び６ｂの映像情報を受信しても構わない。その場合、ＨＭＤ５９の画面上を２分割することで実現できる。同様に、作業指示端末４及び遠隔作業端末５は、複数の映像情報を受信して構わない。
【００７２】
発明の実施例３.
本発明の実施例１及び２においては、固定された環境情報取得装置から取得される環境情報を、遠隔作業端末５に表示していたが、本実施例では、複数の遠隔作業者における遠隔作業支援について扱う。ここでは、環境情報取得装置を遠隔作業者が装着する遠隔作業端末である例を説明する。以下に、本発明の実施例３について図面を参照して詳細に説明する。
【００７３】
図８は、本発明の実施例３にかかる遠隔作業支援システム１０２の全体構成を示すブロック図である。遠隔作業支援システム１０２は、本発明の実施例１にかかる遠隔作業支援システム１００において、環境情報取得装置６が遠隔作業端末５ａ及び５ｂに置き換わったものである。ここで、遠隔作業端末５ａ及び５ｂは、環境情報取得装置６の機能を包含するものである。遠隔作業端末５、５ａ及び５ｂは、作業指示端末４から離れた作業場所（遠隔地）に存在し、また、それぞれも遠隔地に存在し、共に遠隔作業に用いられるものである。また、遠隔作業端末５ａ及び５ｂは、遠隔作業端末５と同等の構成であるため、説明を省略する。また、それ以外の構成についても、図１と同等のため、説明を省略する。
【００７４】
図９は、本発明の実施例にかかる遠隔作業支援システム１０２のシーケンス図である。ここでは、作業指示端末４及び遠隔作業端末５の間は、映像情報及び音声情報におけるセッションＭ３１１及びＭ３１２が確立しているものとする。また、作業指示端末４並びに遠隔作業端末５ａの間、及び、作業指示端末４並びに遠隔作業端末５ｂの間は、音声情報におけるセッションＭ３１３及びＭ３１４が確立しているものとする。つまり、作業指示端末４は、遠隔作業端末５を中心に、遠隔作業端末５ａ及５ｂに対しても、遠隔作業支援を行っている状態である。
【００７５】
以下では、この状態から、遠隔作業端末５が取得している映像情報を、遠隔作業端末５ａと遠隔作業端末５ｂとに表示する流れについて説明する。そのために、遠隔作業端末５並びに遠隔作業端末５ａの間、及び、遠隔作業端末５並びに遠隔作業端末５ｂの間での映像情報におけるセッションの接続を行う。
【００７６】
まず、作業指示端末４は、ＷＥＢＡＰＬサーバ１に対して、遠隔作業端末５並びに遠隔作業端末５ａの間、及び、遠隔作業端末５並びに遠隔作業端末５ｂの間での映像情報におけるセッション確立のための接続要求を行う（Ｓ３０１）。具体的には、作業指示端末４は、ＷＥＢ入力部４６からＷＥＢ提供部１１の提供するＷＥＢコンテンツに対して、接続先ＳＩＰクライアントとして遠隔作業端末５並びに遠隔作業端末５ａ、及び、遠隔作業端末５並びに遠隔作業端末５ｂを、また、マルチメディア情報種別として映像情報を、接続要求情報として入力する。作業指示端末４は、通信部４１からネットワーク９を介して、ＷＥＢＡＰＬサーバ１に向けて前記接続要求情報を含むＨＴＴＰリクエスト（接続切替要求）を送信する。
【００７７】
次に、ＷＥＢＡＰＬサーバ１は、受信した接続切替要求をＳＩＰ呼制御サーバ２へ送信する（Ｓ３０２）。具体的には、図２のＳ１０２と同様のため、説明を省略する。
【００７８】
続いて、ＳＩＰ呼制御サーバ２は、受信した接続切替要求をＳＩＰ呼処理サーバ３へ送信する（Ｓ３０３）。具体的には、図２のＳ１０３と同様のため、説明を省略する。
【００７９】
続いて、ＳＩＰ呼処理サーバ３は、受信したＳＩＰメッセージから、各セッションを確立するために、必要な宛先へ接続要求を送信する。ここでは、４つの接続要求が生成される。以降、Ｓ３０４乃至Ｓ３０７の処理は、Ｓ１０４乃至Ｓ１０７と同様のため、説明を省略する。また、Ｓ３０４乃至Ｓ３０７の処理順序は、以下の説明の順番に限らない。
【００８０】
この後、遠隔作業端末５及び５ａは、それぞれＳ３０４及びＳ３０５により接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び５ａの間で映像情報におけるセッションＭ３１５を確立する。
【００８１】
また、遠隔作業端末５及び５ｂは、それぞれＳ３０６及びＳ３０７により接続要求を受信し、ＳＩＰ呼処理サーバ３を介したＳＩＰ通信を行うことで、遠隔作業端末５及び５ｂの間で映像情報におけるセッションＭ３１６を確立する。
【００８２】
これにより、遠隔作業端末５のカメラ５８で撮影される映像情報は、セッションＭ３１５及びＭ３１６により遠隔作業端末５ａ及び５ｂのＨＭＤ５９ａ及び５９ｂにて表示され、作業指示端末４及び遠隔作業端末５と共有されることになる。また、セッションＭ３１２、Ｍ３１３及びＭ３１４により、作業指示端末４及び遠隔作業端末５、遠隔作業端末５ａ並びに遠隔作業端末５ｂの間での音声情報の共有は維持される。そのため、遠隔作業端末５ａ及び５ｂは、作業指示端末４からの音声情報による指示を待たず、遠隔作業端末５の作業状況を把握することができる。
【００８３】
図１０は、本発明の実施例３にかかる遠隔作業支援方法の適用例を示す図である。作業指示者４０は、遠隔作業者５０、５０ａ及び５０ｂに対して遠隔作業支援を行っている。また、遠隔作業者５０ａ及び５０ｂは、遠隔作業者５０の作業状況に応じて作業を行う必要があるとする。また、作業指示者４０は、作業指示端末４を操作している。遠隔作業者５０、５０ａ及び５０ｂは、それぞれ遠隔作業端末５、５ａ及び５ｂを装着している。作業指示端末４及び遠隔作業端末５の間は、映像情報におけるセッションＭ３１１が確立している。また、作業指示端末４及び遠隔作業端末５、５ａ並びに５ｂの間は、それぞれ音声情報におけるセッションＭ３１２、Ｍ３１３及びＭ３１４が確立している。
【００８４】
ここで、図９で説明したように、セッションＭ３１５及びＭ３１６を確立する。それにより、遠隔作業端末５ａ及び５ｂは、遠隔作業端末５のカメラ５８で撮影される映像情報を取得することができる。そのため、遠隔作業者５０ａ及び５０ｂは、遠隔作業者５０の作業状況を把握することができる。
【００８５】
このように、本実施例では、遠隔作業者が複数人いる場合に、従来方法と比較してさらに効率的な遠隔作業支援を行うことが可能である。つまり、遠隔作業者が複数人いる場合、作業支持者は、各々の遠隔作業者に対して作業指示を与えることができるため、各々の作業状況を把握している。しかし、遠隔作業者は個別の作業状況および作業指示者からの指示のみしか把握することができない。そこで、本実施例により、遠隔作業者が他の遠隔作業者の作業状況を受信することで、自分以外の作業状況を知ることができ、作業地域全体の状況を多面的に把握することが可能となる。
【００８６】
すなわち、本実施例では、複数人で構成される遠隔作業者それぞれの状況情報を個々の遠隔作業者に送信することで、作業地域全体の状況を作業指示者のみでなく、個々の遠隔作業者がお互いの状況を把握することが可能となる。
【００８７】
尚、本実施例では、遠隔作業端末５の映像情報を、遠隔作業端末５ａ及び５ｂと共有したが、遠隔作業端末５ａ及び５ｂの映像情報を遠隔作業端末５と共有するなど、その他の端末の組み合わせ、マルチメディア情報の組み合わせであっても構わない。
【００８８】
その他の発明の実施例.
尚、本発明の活用例として、危険地帯を含む遠隔作業、または複数人で構成される遠隔作業などが挙げられる。
【００８９】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施例１にかかる遠隔作業支援システム１００の全体構成を示すブロック図である。
【図２】本発明の実施例１にかかる遠隔作業支援システム１００のシーケンス図である。
【図３】本発明の実施例１にかかる遠隔作業支援方法の適用例を示す図である。
【図４】本発明の実施例１にかかる遠隔作業支援方法の適用例を示す図である。
【図５】本発明の実施例２にかかる遠隔作業支援システム１０１の全体構成を示すブロック図である。
【図６】本発明の実施例にかかる遠隔作業支援システム１０１のシーケンス図である。
【図７】本発明の実施例２にかかる遠隔作業支援方法の適用例を示す図である。
【図８】本発明の実施例３にかかる遠隔作業支援システム１０２の全体構成を示すブロック図である。
【図９】本発明の実施例にかかる遠隔作業支援システム１０２のシーケンス図である。
【図１０】本発明の実施例３にかかる遠隔作業支援方法の適用例を示す図である。
【図１１】関連する技術における遠隔作業支援システムの構成を示す図である。
【符号の説明】
【００９１】
１ ＷＥＢＡＰＬサーバ ２ 呼制御サーバ ３ 呼処理サーバ
４ 作業指示端末 ５、５ａ、５ｂ 遠隔作業端末
６、６ａ、６ｂ 環境情報取得装置 ９ ネットワーク １０ サーバ
１１ ＷＥＢ提供部 １２ ＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）への要求部
１３ 通信部 ２１ ＳＩＰ呼制御部
２２ ＷＥＢＡＰＬインタフェース（Ｉ／Ｆ）部
２３ 通信部 ３１ ＳＩＰ呼処理部 ３２ 通信部 ４０ 作業指示者
４１ 通信部 ４２ ＳＩＰ呼処理部 ４３ 指示内容入力部
４４ メディア入力部 ４５ メディア出力部 ４６ ＷＥＢ入力部
４７ マイク ４８ カメラ ４９ 情報端末
５０、５０ａ、５０ｂ 遠隔作業者 ５１、５１ａ、５１ｂ 通信部
５２、５２ａ、５２ｂ ＳＩＰ呼処理部 ５３、５３ａ、５３ｂ メディア入力部
５４、５４ａ、５４ｂ メディア出力部 ５５、５５ａ、５５ｂ ＷＥＢ入力部
５７、５７ａ、５７ｂ マイク ５８、５８ａ、５８ｂ カメラ
６１、６１ａ、６１ｂ 通信部 ６２、６２ａ、６２ｂ ＳＩＰ呼処理部
６３、６３ａ、６３ｂ メディア入力部 ６７、６７ａ、６７ｂ マイク
６８、６８ａ、６８ｂ カメラ １００ 遠隔作業支援システム
１０１ 遠隔作業支援システム １０２ 遠隔作業支援システム
４１０ キーボード ４１１ マウス ４２０ 作業指示端末
５２０ 遠隔作業端末 ５３０ 遠隔作業端末 ５４０ 遠隔作業端末
６１０ 領域 ６１１ 危険物 ６１２ 領域 ６１３ 領域
【特許請求の範囲】
【請求項１】
ネットワークを介して複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバと、
第１の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、
前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、
前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、を備える遠隔作業支援システムであって、
前記接続管理サーバは、
前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させ、
前記第１の環境情報取得装置は、
前記第１の遠隔作業端末に対して前記環境情報を送信する、遠隔作業支援システム。
【請求項２】
前記接続管理サーバは、
前記第１の遠隔作業端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第２の通信接続を確立させる、請求項１に記載の遠隔作業支援システム。
【請求項３】
前記第１の遠隔作業端末又は前記作業指示端末は、
前記第２の通信接続を確立させることを要求する第１の接続要求を前記接続管理サーバへ送信し、
前記接続管理サーバは、
前記第１の接続要求に応じて、前記第２の通信接続を確立させる、請求項１又は２に記載の遠隔作業支援システム。
【請求項４】
前記第１の通信接続は、前記第２の通信接続が確立した後に、維持されることを特徴とする請求項１乃至３のいずれか１項に記載の遠隔作業支援システム。
【請求項５】
前記第１の遠隔作業端末又は前記作業指示端末は、
前記第１の接続要求と共に、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させることを要求する第２の接続要求を前記接続管理サーバへ送信し、
前記接続管理サーバは、
前記第２の接続要求に応じて、前記作業指示端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記作業指示端末との接続要求を送信し、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させ、
前記第１の環境情報取得装置は、
前記作業指示端末に対して前記環境情報を送信する、請求項３又は４に記載の遠隔作業支援システム。
【請求項６】
前記遠隔作業支援システムは、
前記第１の環境情報取得装置から離れた位置に存在し、前記環境情報を取得し、前記環境情報を送信可能な情報端末である第２の環境情報取得装置をさらに備え、
前記第１の遠隔作業端末又は前記作業指示端末は、
前記第２の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させることを要求する第３の接続要求を前記接続管理サーバへ送信し、
前記接続管理サーバは、
前記第３の接続要求に応じて、前記第１の遠隔作業端末へ前記第２の環境情報取得装置との接続要求を送信すると共に、前記第２の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させ、
前記第２の環境情報取得装置は、
前記第１の遠隔作業端末に対して前記環境情報を送信する、請求項３乃至５のいずれか１項に記載の遠隔作業支援システム。
【請求項７】
前記第１の環境情報取得装置は、
第２の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第２の遠隔作業端末であって、
前記第２の遠隔作業端末は、前記第２の通信接続により、前記第１の遠隔作業端末から送信される前記マルチメディア情報を受信する、請求項１乃至６のいずれか１項に記載の遠隔作業支援システム。
【請求項８】
前記接続管理サーバは、
前記第１乃至第３の接続要求を受け付ける接続要求受付部と、
前記第１乃至第３の接続要求に基づき、接続対象となる情報端末ごとに接続指示を生成する接続制御部と、
前記接続指示を前記接続対象となる情報端末ごとに送信し、前記接続対象となる情報端末間の接続を確立させる接続確立部と、を備える、請求項６又は７に記載の遠隔作業支援システム。
【請求項９】
前記接続要求受付部は、ＷＥＢインタフェースである請求項８に記載の遠隔作業支援システム。
【請求項１０】
前記通信接続は、セッション開始プロトコル（ＳＩＰ：Session Initiation Protocol）に従って確立される、請求項１乃至９のいずれか１項に記載の遠隔作業支援システム。
【請求項１１】
前記接続要求受付部は、ＷＥＢアプリケーションサーバであり、
前記接続制御部は、ＳＩＰ呼制御サーバであり、
前記接続確立部は、ＳＩＰ呼処理サーバである、請求項１０に記載の遠隔作業支援システム。
【請求項１２】
前記第１の遠隔作業端末は、
前記マルチメディア情報の入力を受け付ける第１のメディア入力部と、
前記マルチメディア情報の出力を行う第１のメディア出力部と、
前記接続管理サーバへ他の情報端末との通信接続を要求する第１の接続要求部と、
前記接続管理サーバからの接続要求に応じて、他の情報端末との通信接続を確立する第１の接続処理部と、を備える、請求項１乃至１１のいずれか１項に記載の遠隔作業支援システム。
【請求項１３】
前記作業指示端末は、
前記マルチメディア情報の入力を受け付ける第２のメディア入力部と、
前記マルチメディア情報の出力を行う第２のメディア出力部と、
前記接続管理サーバへ他の情報端末との通信接続を要求する第２の接続要求部と、
前記接続管理サーバからの接続要求に応じて、他の情報端末との通信接続を確立する第２の接続処理部と、を備える、請求項１乃至１２のいずれか１項に記載の遠隔作業支援システム。
【請求項１４】
前記第１の環境情報取得装置は、
前記環境情報を取得する環境情報取得部と、
前記接続管理サーバからの接続要求に応じて、他の情報端末との通信接続を確立する第３の接続処理部と、を備える、請求項１乃至６のいずれか１項に記載の遠隔作業支援システム。
【請求項１５】
第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、
前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、を備え、
前記第１の遠隔作業端末と前記作業指示端末の間で、ネットワークを介してマルチメディア情報を送受信するための通信接続を確立して情報共有を行う、遠隔作業支援方法であって、
前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、前記第１の遠隔作業端末との間に第２の通信接続を確立し、
前記第１の環境情報取得装置から前記第１の遠隔作業端末へ前記環境情報を送信する、遠隔作業支援方法。
【請求項１６】
前記第２の通信接続は、
前記第１の遠隔作業端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信することで確立する、請求項１５に記載の遠隔作業支援方法。
【請求項１７】
前記第２の通信接続を確立させることを要求する第１の接続要求を送信し、
前記第１の接続要求に応じて、前記第２の通信接続を確立する、請求項１５又は１６に記載の遠隔作業支援方法。
【請求項１８】
前記第１の通信接続は、前記第２の通信接続が確立した後に、維持されることを特徴とする請求項１５乃至１７のいずれか１項に記載の遠隔作業支援方法。
【請求項１９】
前記第１の接続要求と共に、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させることを要求する第２の接続要求を送信し、
前記第２の接続要求に応じて、前記作業指示端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記作業指示端末との接続要求を送信し、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立し、
前記第１の環境情報取得装置から前記作業指示端末へ前記環境情報を送信する、請求項１７又は１８に記載の遠隔作業支援方法。
【請求項２０】
前記第１の環境情報取得装置から離れた位置に存在し、前記環境情報を取得し、前記環境情報を送信可能な情報端末である第２の環境情報取得装置をさらに備え、
前記第２の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させることを要求する第３の接続要求を送信し、
前記第３の接続要求に応じて、前記第１の遠隔作業端末へ前記第２の環境情報取得装置との接続要求を送信すると共に、前記第２の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立し、
前記第２の環境情報取得装置から前記第１の遠隔作業端末へ前記環境情報を送信する、請求項１７乃至１９のいずれか１項に記載の遠隔作業支援方法。
【請求項２１】
前記第１の環境情報取得装置は、
第２の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第２の遠隔作業端末であって、
前記第２の遠隔作業端末は、前記第２の通信接続により、前記第１の遠隔作業端末から送信される前記マルチメディア情報を受信する、請求項１５乃至１９のいずれか１項に記載の遠隔作業支援方法。
【請求項２２】
第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、
前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、
前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置とのそれぞれとネットワークを介して接続され、複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバであって、
前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させる、接続管理サーバ。
【請求項２３】
前記第１の遠隔作業端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第２の通信接続を確立させる、請求項２２に記載の接続管理サーバ。
【請求項２４】
前記第２の通信接続を確立させることを要求する第１の接続要求に応じて、前記第２の通信接続を確立させる、請求項２２又は２３に記載の接続管理サーバ。
【請求項２５】
前記第１の接続要求を受け付ける接続要求受付部と、
前記第１の接続要求に基づき、接続対象となる情報端末ごとに接続指示を生成する接続制御部と、
前記接続指示を前記接続対象となる情報端末ごとに送信し、前記接続対象となる情報端末間の接続を確立させる接続確立部と、を備える、請求項２４に記載の接続管理サーバ。
【請求項２６】
前記第１の通信接続は、前記第２の通信接続が確立した後に、維持されることを特徴とする請求項２２乃至２５のいずれか１項に記載の接続管理サーバ。
【請求項２７】
前記第１の接続要求と共に、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させることを要求する第２の接続要求に応じて、前記作業指示端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記作業指示端末との接続要求を送信し、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させる、請求項２４乃至２６のいずれか１項に記載の接続管理サーバ。
【請求項２８】
前記接続管理サーバは、
前記第１の環境情報取得装置から離れた位置に存在し、前記環境情報を取得し、前記環境情報を送信可能な情報端末である第２の環境情報取得装置とネットワークを介して接続され、
前記第２の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させることを要求する第３の接続要求に応じて、前記第１の遠隔作業端末へ前記第２の環境情報取得装置との接続要求を送信すると共に、前記第２の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させる、請求項２４乃至２７のいずれか１項に記載の接続管理サーバ。
【請求項１】
ネットワークを介して複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバと、
第１の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、
前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、
前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、を備える遠隔作業支援システムであって、
前記接続管理サーバは、
前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させ、
前記第１の環境情報取得装置は、
前記第１の遠隔作業端末に対して前記環境情報を送信する、遠隔作業支援システム。
【請求項２】
前記接続管理サーバは、
前記第１の遠隔作業端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第２の通信接続を確立させる、請求項１に記載の遠隔作業支援システム。
【請求項３】
前記第１の遠隔作業端末又は前記作業指示端末は、
前記第２の通信接続を確立させることを要求する第１の接続要求を前記接続管理サーバへ送信し、
前記接続管理サーバは、
前記第１の接続要求に応じて、前記第２の通信接続を確立させる、請求項１又は２に記載の遠隔作業支援システム。
【請求項４】
前記第１の通信接続は、前記第２の通信接続が確立した後に、維持されることを特徴とする請求項１乃至３のいずれか１項に記載の遠隔作業支援システム。
【請求項５】
前記第１の遠隔作業端末又は前記作業指示端末は、
前記第１の接続要求と共に、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させることを要求する第２の接続要求を前記接続管理サーバへ送信し、
前記接続管理サーバは、
前記第２の接続要求に応じて、前記作業指示端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記作業指示端末との接続要求を送信し、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させ、
前記第１の環境情報取得装置は、
前記作業指示端末に対して前記環境情報を送信する、請求項３又は４に記載の遠隔作業支援システム。
【請求項６】
前記遠隔作業支援システムは、
前記第１の環境情報取得装置から離れた位置に存在し、前記環境情報を取得し、前記環境情報を送信可能な情報端末である第２の環境情報取得装置をさらに備え、
前記第１の遠隔作業端末又は前記作業指示端末は、
前記第２の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させることを要求する第３の接続要求を前記接続管理サーバへ送信し、
前記接続管理サーバは、
前記第３の接続要求に応じて、前記第１の遠隔作業端末へ前記第２の環境情報取得装置との接続要求を送信すると共に、前記第２の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させ、
前記第２の環境情報取得装置は、
前記第１の遠隔作業端末に対して前記環境情報を送信する、請求項３乃至５のいずれか１項に記載の遠隔作業支援システム。
【請求項７】
前記第１の環境情報取得装置は、
第２の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第２の遠隔作業端末であって、
前記第２の遠隔作業端末は、前記第２の通信接続により、前記第１の遠隔作業端末から送信される前記マルチメディア情報を受信する、請求項１乃至６のいずれか１項に記載の遠隔作業支援システム。
【請求項８】
前記接続管理サーバは、
前記第１乃至第３の接続要求を受け付ける接続要求受付部と、
前記第１乃至第３の接続要求に基づき、接続対象となる情報端末ごとに接続指示を生成する接続制御部と、
前記接続指示を前記接続対象となる情報端末ごとに送信し、前記接続対象となる情報端末間の接続を確立させる接続確立部と、を備える、請求項６又は７に記載の遠隔作業支援システム。
【請求項９】
前記接続要求受付部は、ＷＥＢインタフェースである請求項８に記載の遠隔作業支援システム。
【請求項１０】
前記通信接続は、セッション開始プロトコル（ＳＩＰ：Session Initiation Protocol）に従って確立される、請求項１乃至９のいずれか１項に記載の遠隔作業支援システム。
【請求項１１】
前記接続要求受付部は、ＷＥＢアプリケーションサーバであり、
前記接続制御部は、ＳＩＰ呼制御サーバであり、
前記接続確立部は、ＳＩＰ呼処理サーバである、請求項１０に記載の遠隔作業支援システム。
【請求項１２】
前記第１の遠隔作業端末は、
前記マルチメディア情報の入力を受け付ける第１のメディア入力部と、
前記マルチメディア情報の出力を行う第１のメディア出力部と、
前記接続管理サーバへ他の情報端末との通信接続を要求する第１の接続要求部と、
前記接続管理サーバからの接続要求に応じて、他の情報端末との通信接続を確立する第１の接続処理部と、を備える、請求項１乃至１１のいずれか１項に記載の遠隔作業支援システム。
【請求項１３】
前記作業指示端末は、
前記マルチメディア情報の入力を受け付ける第２のメディア入力部と、
前記マルチメディア情報の出力を行う第２のメディア出力部と、
前記接続管理サーバへ他の情報端末との通信接続を要求する第２の接続要求部と、
前記接続管理サーバからの接続要求に応じて、他の情報端末との通信接続を確立する第２の接続処理部と、を備える、請求項１乃至１２のいずれか１項に記載の遠隔作業支援システム。
【請求項１４】
前記第１の環境情報取得装置は、
前記環境情報を取得する環境情報取得部と、
前記接続管理サーバからの接続要求に応じて、他の情報端末との通信接続を確立する第３の接続処理部と、を備える、請求項１乃至６のいずれか１項に記載の遠隔作業支援システム。
【請求項１５】
第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、
前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、を備え、
前記第１の遠隔作業端末と前記作業指示端末の間で、ネットワークを介してマルチメディア情報を送受信するための通信接続を確立して情報共有を行う、遠隔作業支援方法であって、
前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置と、前記第１の遠隔作業端末との間に第２の通信接続を確立し、
前記第１の環境情報取得装置から前記第１の遠隔作業端末へ前記環境情報を送信する、遠隔作業支援方法。
【請求項１６】
前記第２の通信接続は、
前記第１の遠隔作業端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信することで確立する、請求項１５に記載の遠隔作業支援方法。
【請求項１７】
前記第２の通信接続を確立させることを要求する第１の接続要求を送信し、
前記第１の接続要求に応じて、前記第２の通信接続を確立する、請求項１５又は１６に記載の遠隔作業支援方法。
【請求項１８】
前記第１の通信接続は、前記第２の通信接続が確立した後に、維持されることを特徴とする請求項１５乃至１７のいずれか１項に記載の遠隔作業支援方法。
【請求項１９】
前記第１の接続要求と共に、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させることを要求する第２の接続要求を送信し、
前記第２の接続要求に応じて、前記作業指示端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記作業指示端末との接続要求を送信し、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立し、
前記第１の環境情報取得装置から前記作業指示端末へ前記環境情報を送信する、請求項１７又は１８に記載の遠隔作業支援方法。
【請求項２０】
前記第１の環境情報取得装置から離れた位置に存在し、前記環境情報を取得し、前記環境情報を送信可能な情報端末である第２の環境情報取得装置をさらに備え、
前記第２の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させることを要求する第３の接続要求を送信し、
前記第３の接続要求に応じて、前記第１の遠隔作業端末へ前記第２の環境情報取得装置との接続要求を送信すると共に、前記第２の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立し、
前記第２の環境情報取得装置から前記第１の遠隔作業端末へ前記環境情報を送信する、請求項１７乃至１９のいずれか１項に記載の遠隔作業支援方法。
【請求項２１】
前記第１の環境情報取得装置は、
第２の遠隔作業者により操作され、前記マルチメディア情報を送受信可能な情報端末である第２の遠隔作業端末であって、
前記第２の遠隔作業端末は、前記第２の通信接続により、前記第１の遠隔作業端末から送信される前記マルチメディア情報を受信する、請求項１５乃至１９のいずれか１項に記載の遠隔作業支援方法。
【請求項２２】
第１の遠隔作業者により操作され、マルチメディア情報を送受信可能な情報端末である第１の遠隔作業端末と、
前記第１の遠隔作業者に作業指示を出す作業指示者により操作され、前記マルチメディア情報を送受信可能な情報端末である作業指示端末と、
前記第１の遠隔作業者が行う遠隔作業に関連するマルチメディア情報である環境情報を取得し、前記環境情報を送信可能な情報端末である第１の環境情報取得装置とのそれぞれとネットワークを介して接続され、複数の情報端末の間にマルチメディア情報を共有するための通信接続を確立させる接続管理サーバであって、
前記第１の遠隔作業端末と前記作業指示端末の間に第１の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第１の環境情報取得装置の間に第２の通信接続を確立させる、接続管理サーバ。
【請求項２３】
前記第１の遠隔作業端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第２の通信接続を確立させる、請求項２２に記載の接続管理サーバ。
【請求項２４】
前記第２の通信接続を確立させることを要求する第１の接続要求に応じて、前記第２の通信接続を確立させる、請求項２２又は２３に記載の接続管理サーバ。
【請求項２５】
前記第１の接続要求を受け付ける接続要求受付部と、
前記第１の接続要求に基づき、接続対象となる情報端末ごとに接続指示を生成する接続制御部と、
前記接続指示を前記接続対象となる情報端末ごとに送信し、前記接続対象となる情報端末間の接続を確立させる接続確立部と、を備える、請求項２４に記載の接続管理サーバ。
【請求項２６】
前記第１の通信接続は、前記第２の通信接続が確立した後に、維持されることを特徴とする請求項２２乃至２５のいずれか１項に記載の接続管理サーバ。
【請求項２７】
前記第１の接続要求と共に、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させることを要求する第２の接続要求に応じて、前記作業指示端末へ前記第１の環境情報取得装置との接続要求を送信すると共に、前記第１の環境情報取得装置へ前記作業指示端末との接続要求を送信し、前記作業指示端末と前記第１の環境情報取得装置の間に第３の通信接続を確立させる、請求項２４乃至２６のいずれか１項に記載の接続管理サーバ。
【請求項２８】
前記接続管理サーバは、
前記第１の環境情報取得装置から離れた位置に存在し、前記環境情報を取得し、前記環境情報を送信可能な情報端末である第２の環境情報取得装置とネットワークを介して接続され、
前記第２の通信接続が確立している状態で、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させることを要求する第３の接続要求に応じて、前記第１の遠隔作業端末へ前記第２の環境情報取得装置との接続要求を送信すると共に、前記第２の環境情報取得装置へ前記第１の遠隔作業端末との接続要求を送信し、前記第１の遠隔作業端末と前記第２の環境情報取得装置の間に第４の通信接続を確立させる、請求項２４乃至２７のいずれか１項に記載の接続管理サーバ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１１０４７３（Ｐ２００９−１１０４７３Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００７−２８４８３３（Ｐ２００７−２８４８３３）
【出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]