ヘッドマウントディスプレイ装置及び通信システム
【課題】ＨＭＤで通信を行う際に、効率的な通信を行うことができるようにすること。
【解決手段】ＨＭＤ１０Ａが、他のＨＭＤ１０（例えば、ＨＭＤ１０Ｃ）と、管理サーバ４０を介して通信を行う際、ＨＭＤ１０Ａと、ＨＭＤ１０Ｃと、の状態を特定する情報を、それぞれ管理サーバ４０に送信しておく。管理サーバ４０では、ＨＭＤ１０Ｃの状態に応じて、ＨＭＤ１０Ａが送信したデータを変更して、ＨＭＤ１０Ｃに送信し、また、ＨＭＤ１０Ａの状態に応じて、ＨＭＤ１０Ｃが送信したデータを変更して、ＨＭＤ１０Ａに送信する。
【解決手段】ＨＭＤ１０Ａが、他のＨＭＤ１０（例えば、ＨＭＤ１０Ｃ）と、管理サーバ４０を介して通信を行う際、ＨＭＤ１０Ａと、ＨＭＤ１０Ｃと、の状態を特定する情報を、それぞれ管理サーバ４０に送信しておく。管理サーバ４０では、ＨＭＤ１０Ｃの状態に応じて、ＨＭＤ１０Ａが送信したデータを変更して、ＨＭＤ１０Ｃに送信し、また、ＨＭＤ１０Ａの状態に応じて、ＨＭＤ１０Ｃが送信したデータを変更して、ＨＭＤ１０Ａに送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ装置及び通信システムに関する。
【背景技術】
【０００２】
利用者の眼前で画像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤという）において、無線を介して他の装置と通信を行うことができる技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
無線を介してＨＭＤ同士で通信を行っている場合、通信相手のＨＭＤの状態、例えば、画像を表示するディスプレイがユーザの眼前にはないような状態の場合には、このような通信相手に映像データを送信しても、送信した映像データが無駄となる。
【０００５】
そこで、本発明は、ＨＭＤで通信を行う際に、ＨＭＤの通信処理の負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、本発明に係るヘッドマウントディスプレイ装置は、データの送受信を行う通信部と、自装置の状態を特定する情報を、データの配信元に送信する処理を行う状態情報処理部と、前記情報に対応して、前記配信元から音声データを受信した場合には、受信した音声データをスピーカに出力し、前記配信元から映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理を行う入出力情報処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
以上のように、本発明によれば、ＨＭＤで通信を行う際に、効率的な通信を行うことができるようになる。
【図面の簡単な説明】
【０００８】
【図１】通信システムの概略図。
【図２】ＨＭＤの概略図。
【図３】管理サーバの概略図。
【図４】管理情報テーブルの概略図。
【図５】情報を送受信する際の処理を示すシーケンス図。
【図６】ＨＭＤの表示部に表示される映像画面の概略図。
【図７】ＨＭＤの概略図。
【図８】ＨＭＤの表示部に表示される映像画面の概略図。
【発明を実施するための形態】
【０００９】
図１は、本発明の第一の実施形態における通信システム１の概略図である。図示するように、通信システム１は、ＨＭＤ１０Ａ、１０Ｂ、１０Ｃ（以下、各々を特に区別しない場合には、ＨＭＤ１０という）と、管理サーバ４０と、を備え、ＨＭＤ１０は、アクセスポイント（以下、ＡＰという）６０を介して、ネットワーク７０に接続することができるようにされている。
【００１０】
図２は、ＨＭＤ１０の概略図である。図示するように、ＨＭＤ１０は、スピーカ１１と、表示部１２と、センサ１３と、操作部１４と、撮像装置１５と、集音装置１６と、制御装置１８と、を有する。
【００１１】
センサ１３は、表示部１２の位置を検知する。本実施形態においては、センサ１３は、表示部１２が、ユーザが表示部１２に表示された映像を視覚することのできる眼前位置（ユーザの眼前の位置）にあるか、ユーザが表示部１２に表示された映像を視覚することのできない退避位置（ユーザの眼前から外れた位置）にあるか、を検知する。例えば、センサ１３は、近接センサを眼前位置及び退避位置の少なくともいずれか一方に配置して、表示部１２の接近を検知することで、表示部１２がこれらの少なくともいずれか一方の位置にあることを検知することができる。
【００１２】
制御装置１８は、制御部１９と、記憶部２５と、無線通信部２６と、バッテリ２７と、入出力インタフェース部２８と、を備える。
【００１３】
制御部１９は、全体制御部２０と、通信処理部２１と、通信情報処理部２２と、入出力情報処理部２３と、状態情報処理部２４と、を備える。
【００１４】
全体制御部２０は、制御装置１９での全体の処理を制御する。
【００１５】
通信処理部２１は、ＩＰ、ＴＣＰ、ＵＤＰ等の通信プロトコルに従った通信処理を行う。
【００１６】
通信情報処理部２２は、管理サーバ４０に未だログイン（登録）していない場合には、管理サーバ４０へのログイン処理を行う。
【００１７】
また、通信情報処理部２２は、ＨＭＤ１０の利用者の指示に応じて、管理サーバ４０より、通信相手先を選択するための接続情報を取得する処理を行い、さらに、取得した接続情報を表示部１４に表示し、操作部１４を介して、ＨＭＤ１０の利用者より、通信先であるＨＭＤ１０の選択を受け付け、選択されたＨＭＤ１０を識別する識別情報を含む通信先情報を生成して、管理サーバ４０に送信する処理を行う。
【００１８】
さらに、通信情報処理部２２は、予め定められたプロトコルに応じて、他のＨＭＤ１０との間の通信を確立し、また、当該通信を終了する処理を行う。
【００１９】
入出力情報処理部２３は、送受信する動画データを処理する。例えば、撮像装置１５から得られる映像データと、集音装置１６から得られる音声データと、を所定のプロトコルに応じて合成することにより、動画データを生成し、通信処理部２１に出力する。また、通信処理部２１から入力された動画データより映像データと音声データを分離し、それぞれ、入出力インタフェース部２８を介して、表示部１２及びスピーカ１１に出力する。
【００２０】
また、本実施形態の入出力情報処理部２３は、表示部１２の予め定められた領域に、自装置の撮像装置１５で撮像された動画データを表示する処理を行う。
【００２１】
状態情報処理部２４は、センサ１３の検知信号に応じて、表示部１２の位置（眼前位置又は退避位置）を特定し、表示部１２が視覚可能な状態（位置）にあるか否かを特定した状態情報を生成して、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する処理を行う。なお、状態情報の送信タイミングは、予め定められた時（呼制御時、周期等）、状態が変化した時、等であればよい。
【００２２】
記憶部２５は、制御装置１８での処理に必要な情報が記憶される。例えば、管理サーバ４０の通信アドレス（ＩＰアドレス等）を特定する情報等が記憶される。
【００２３】
無線通信部２６は、アンテナを介して無線信号を送受信する処理を行う。例えば、ＲＦ処理、ベースバンド信号処理及びＭＡＣ処理を行う。なお、本実施形態においては、無線通信部２６は、ＡＰ６０を介してネットワークに接続するインフラストラクチャモードで動作する。
【００２４】
バッテリ２７は、ＨＭＤ１０の各部に電源を供給する。なお、スピーカ１１、表示部１２、センサ１３、操作部１４、撮像装置１５及び集音装置１６への電源の供給は、全体制御部２０が制御する。
【００２５】
入出力インタフェース部２８は、制御装置１８に他の装置、部位を電気的に接続するインタフェースである。
【００２６】
図３は、管理サーバ４０の概略図である。図示するように、管理サーバ４０は、記憶部４１と、制御部４４と、通信部５１と、を備える。
【００２７】
記憶部４１は、管理サーバ４０を介して情報の送受信を行うＨＭＤ１０を管理する管理情報を記憶する管理情報記憶領域４２を備える。例えば、管理情報記憶領域４３には、図４に示すような管理情報テーブル４２ａが記憶される。
【００２８】
管理情報テーブル４２ａは、ＨＭＤ欄４２ｂと、通信アドレス欄４２ｃと、通信状態欄４２ｄと、通信先欄４２ｅと、状態情報欄４２ｆと、を有する。
【００２９】
ＨＭＤ欄４２ｂには、管理サーバ４０を介して情報の送受信を行うＨＭＤ１０を識別するための識別情報が格納される。
【００３０】
通信アドレス欄４２ｃには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０の通信アドレス（ＩＰアドレス等）を特定する情報が格納される。
【００３１】
通信状態欄４２ｄには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０が、管理サーバ４０を介して他のＨＭＤ１０と通信を行っているか否かを特定する情報が格納される。本実施形態では、「通信中」の文字列が格納されている場合には通信を行っているものとし、「−」の記号が格納されている場合には通信を行っていないものとする。
【００３２】
通信先欄４２ｅには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０が管理サーバ４０を介して他のＨＭＤ１０と通信を行っている場合には、当該他のＨＭＤ１０を識別する識別情報が格納される。なお、複数のＨＭＤ１０と通信を行っている場合には、通信先欄４２ｅに複数の識別情報が格納される。なお、通信を行っていない場合には、「−」の記号が格納される。
【００３３】
状態情報欄４２ｆには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０の表示部１２の状態（位置）を特定する情報が格納される。なお、ＨＭＤ１０より状態情報を受信していない場合には、「−」の記号が格納される。
【００３４】
制御部４４は、全体制御部４５と、通信制御部４６と、接続処理部４７と、配信情報処理部４８と、管理情報処理部４９と、を備える。
【００３５】
全体制御部４５は、管理サーバ４０における処理の全体を制御する。
【００３６】
通信制御部４６は、ＩＰ、ＴＣＰ、ＵＤＰ等の通信プロトコルに従った通信処理を行う。
【００３７】
接続処理部４７は、ＨＭＤ１０からの接続情報要求に対して、管理サーバ４０にログインしている（管理情報テーブル４２ａに格納されている）ＨＭＤ１０を識別する識別情報の一覧を接続情報として生成し、ＨＭＤ１０に送信する処理を行う。
【００３８】
また、接続処理部４７は、ＨＭＤ１０から、接続する相手先のＨＭＤ１０の識別情報を含む接続要求を受信すると、当該識別情報で特定されるＨＭＤ１０に対する呼接続処理を行う。
【００３９】
配信情報処理部４８は、ＨＭＤ１０から送信されてきた動画データを、受信するＨＭＤ１０の状態に応じたデータにして、通信制御部４６及び通信部５１を介して、ＨＭＤ１０に配信する処理を行う。例えば、動画データの配信先のＨＭＤ１０の表示部１２が眼前位置にある場合には、ＨＭＤ１０から受信した動画データを当該ＨＭＤ１０に配信し、一方、動画データの配信先のＨＭＤ１０の表示部１２が退避位置にある場合には、ＨＭＤ１０から受信した動画データより音声データを抽出して、抽出した音声データを当該ＨＭＤ１０に配信する。
【００４０】
管理情報処理部４９は、ＨＭＤ１０よりログイン情報を受信して、このログイン情報に含まれるＨＭＤ１０の識別情報及び通信アドレスを管理情報テーブル４２ａに格納し、また、ＨＭＤ１０から状態情報を受信し、受信した状態情報を管理情報テーブル４２ａに格納する処理を行う。
【００４１】
通信部５１は、ネットワーク７０を介した情報の送受信を行う。
【００４２】
以上に記載した管理サーバ４０は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、ＣＤやＤＶＤ等の可搬性を有する記憶媒体に対して情報を読み書きする読書装置と、キーボードやマウスなどの入力装置と、ディスプレイなどの出力装置と、通信ネットワークに接続するためのＮＩＣ等の通信装置と、を備えた一般的なコンピュータで実現できる。例えば、記憶部４１は、ＣＰＵがメモリ又は外部記憶装置を利用することにより実現可能であり、制御部４４は、外部記憶装置に記憶されている所定のプログラムをメモリにロードしてＣＰＵで実行することで実現可能であり、通信部５１は、ＣＰＵが通信装置を利用することで実現可能である。
【００４３】
ＡＰ６０は、無線通信とネットワーク７０を介した通信の中継処理を行う。
【００４４】
図５は、ＨＭＤ１０Ａと、他のＨＭＤ１０Ｃと、が管理サーバ４０を介して、相互に情報を送受信する際の処理を示すシーケンス図である。
【００４５】
まず、ＨＭＤ１０Ａの通信情報処理部２２は、自装置の識別情報と、通信アドレスと、を特定したログイン情報を、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１００）。
【００４６】
このようなログイン情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａに新たなレコードを追加して、受信したログイン情報に含まれる識別情報及び通信アドレスを、それぞれＨＭＤ欄４２ｂ及び通信アドレス欄４２ｃに格納し、通信状態欄４２ｄ、通信先欄４２ｅ及び状態情報欄４２ｆには「−」の記号を格納する（Ｓ１０１）。
【００４７】
また、ＨＭＤ１０Ｃの通信情報処理部２２は、自装置の識別情報と、通信アドレスと、を特定したログイン情報を、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１０２）。
【００４８】
このようなログイン情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａに新たなレコードを追加して、受信したログイン情報に含まれる識別情報及び通信アドレスを、それぞれＨＭＤ欄４２ｂ及び通信アドレス欄４２ｃに格納し、通信状態欄４２ｄ、通信先欄４２ｅ及び状態情報欄４２ｆには「−」の記号を格納する（Ｓ１０３）。
【００４９】
次に、ＨＭＤ１０Ａの通信情報処理部２２は、操作部１４を介して、ＨＭＤ１０Ａの利用者より、他のＨＭＤ１０との通信指示の入力を受け付けると、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に対して接続情報要求を送信する（Ｓ１０４）。
【００５０】
このような接続情報要求を受信した管理サーバ４０では、接続処理部４７が、管理情報テーブル４２ａのＨＭＤ欄４２ｂに格納されている識別情報の一覧を接続情報として生成し、通信制御部４６及び通信部５１を介して、ＨＭＤ１０Ａに送信する（Ｓ１０５）。
【００５１】
接続情報を受信したＨＭＤ１０Ａでは、通信情報処理部２２が、表示部１２に接続情報を表示し、操作部１４を介して、利用者から接続する相手先のＨＭＤ１０（ここでは、ＨＭＤ１０Ｃとする）の識別情報の選択の入力を受け付け（Ｓ１０６）、選択された識別情報を含む通信先情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１０７）。
【００５２】
通信先情報を受信した管理サーバ４０では、接続処理部４７が、管理情報テーブル４２ａにおいて、通信先情報に含まれる識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定して、特定したレコードの通信アドレス欄４２ｃに格納されている通信アドレスを発呼先として、通信制御部４６及び通信部５１を介して、発呼信号を送信する（Ｓ１０８）。
【００５３】
このような発呼信号を受信したＨＭＤ１０Ｃでは、通信情報処理部２２が表示部１２及びスピーカ１１の少なくともいずれか一方を用いて発呼通知を行い、このような発呼通知に対してＨＭＤ１０Ｃの利用者が操作部１４を介して応答することで、ＨＭＤ１０Ｃの通信情報処理部２２は、管理サーバ４０に対して、通信処理部２１及び無線通信部２６を介して、応答信号を返信する（Ｓ１０９）。
【００５４】
このような応答信号を受信した管理サーバ４０では、接続処理部４７が、通信処理部４６及び通信部５１を介して、応答信号をＨＭＤ１０Ａに転送し（Ｓ１１０）、また、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１０７で受信した通信先情報の送信元であるＨＭＤ１０Ａの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの通信状態欄４２ｄに「通信中」の文字列を格納するとともに、ステップＳ１０９で受信した応答信号の送信元であるＨＭＤ１０Ｃの識別情報を通信先欄４２ｅに格納する（Ｓ１１１）。
【００５５】
また、ステップＳ１０９で応答信号を送信したＨＭＤ１０Ｃでは、状態情報処理部２４が、センサ１３の検知信号に応じて、表示部１２の状態（眼前位置又は退避位置）を特定する情報を含む状態情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１１２）。
【００５６】
状態情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１１２で受信した状態情報の送信元であるＨＭＤ１０Ｃの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの状態情報欄４２ｆに受信した状態情報に含まれている状態を特定する情報を格納する（Ｓ１１４）。
【００５７】
また、ステップＳ１１０で応答信号を受信したＨＭＤ１０Ａでは、状態情報処理部２４が、センサ１３の検知信号に応じて、表示部１２の状態（眼前位置又は退避位置）を特定する情報を含む状態情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１１４）。
【００５８】
状態情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１１４で状態情報の送信元であるＨＭＤ１０Ａの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの状態情報欄４２ｆ受信した状態情報に含まれている状態を特定する情報を格納する（Ｓ１１５）。
【００５９】
そして、ＨＭＤ１０Ａ及びＨＭＤ１０Ｃの入出力情報処理部２３は、通信処理部２１及び無線通信部２６を介して、動画データを管理サーバ４０に送信するとともに、自装置の表示部１２の状態に応じて、管理サーバ４０より送られてくる動画データ又は音声データを受信して、スピーカ１１及び表示部１２の少なくともいずれか一方に出力する（Ｓ１１６、Ｓ１１７、Ｓ１１８）。
【００６０】
例えば、ＨＭＤ１０Ａの表示部１２の状態が「眼前」であり、ＨＭＤ１０Ｃの表示部１２の状態が「退避」である場合には、ＨＭＤ１０Ａから管理サーバ４０に送信された動画データは（Ｓ１１６）、管理サーバ４０の配信情報処理部４８において音声データが抽出され（Ｓ１１７）、抽出された音声データがＨＭＤ１０Ｃに送信される（Ｓ１１８）。一方、ＨＭＤ１０Ｃから管理サーバ４０に送信された動画データは（Ｓ１１８）、動画データのまま（Ｓ１１７）、ＨＭＤ１０Ａに送信される（Ｓ１１６）。
【００６１】
このような場合には、例えば、図６に示すように、ＨＭＤ１０Ａの表示部１２には映像画面８０ａのような映像が表示され、ＨＭＤ１０Ｃの表示部１２には映像画面８１ａのような映像が表示される。ここで、映像画面８０ａでは、第一領域８０ｂにＨＭＤ１０Ｃの撮像装置１５で撮像された映像が表示され、第二領域８０ｃにＨＭＤ１０Ａの撮像装置１５で撮像された映像が表示される。また、映像画面８１ａでは、第一領域８１ｂには映像が表示されず、第二領域８１ｃにＨＭＤ１０Ｃの撮像装置１５で撮像された映像が表示される。なお、退避位置にある表示部１２には、映像データを一切表示しないこと、または、表示部１２の電源を切断することも可能である（第二の実施形態でも同様）。
【００６２】
そして、例えば、ＨＭＤ１０Ｃにおいて、表示部１２の位置が「退避」から「眼前」に変更された場合には（Ｓ１１９）、状態情報処理部２４は、センサ１３の検知信号に応じて、表示部１２の位置（眼前位置）を特定する情報を含む状態情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１２０）。
【００６３】
状態情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１２０で状態情報の送信元であるＨＭＤ１０Ｃの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの状態情報欄４２ｆに受信した状態情報に含まれている状態を特定する情報を格納する（Ｓ１２１）。
【００６４】
このように、管理情報テーブル４２ａが更新されると、ＨＭＤ１０Ａから管理サーバ４０に送信された動画データは（Ｓ１２２）、管理サーバ４０を介して、動画データのまま（Ｓ１２３）、ＨＭＤ１０Ｃに送信される（Ｓ１２４）。
【００６５】
以上のシーケンスでは、ＨＤＭ１０ＡとＨＤＭ１０Ｃとの間で通信を行う際の処理を説明したが、例えば、ステップＳ１０６の選択で、複数の通信先を選択することで、管理サーバ４０より、複数のＨＤＭ１０がＨＤＭ１０Ａより送信された動画データ又は音声データを受信することができる。
【００６６】
以上のように、本実施形態においては、ＨＭＤ１０の表示部１２の状態に応じて、管理サーバ４０より、適切な情報が送られてくるため、効率的な通信を行うことができる。
【００６７】
以上に記載した実施形態においては、ＨＭＤ１０から管理サーバ４０には、動画データを送信するようにしているが、このような態様に限定されず、例えば、ＨＭＤ１０から送信他データを管理サーバ４０より配信を受けている全てのＨＭＤ１０又は１以上の所定の数のＨＭＤ１０の状態が「退避」である場合には、ＨＭＤ１０から送信するデータを音声データのみとすることも可能である。このような場合には、管理サーバ４０より、配信先の状態情報又は送信すべきデータの種別（動画データ又は音声データ）を特定する情報をＨＭＤ１０に通知し、ＨＭＤ１０では、全体制御部２０又は通信情報処理部２２が、入出力情報処理部２３に送信するデータの種別を指示するようにすればよい。
【００６８】
さらに、以上に記載した実施形態において、映像データが送信されないＨＭＤ１０には、当該ＨＭＤ１０が管理サーバ４０に予め送信要求をしておいた他のコンテンツを、管理サーバ４０からＨＭＤ１０に送信するようにすることも可能である。
【００６９】
次に、本発明の第二の実施形態について説明する。本発明の第二の実施形態は、ＨＭＤ１０同士が、無線を介して、直接Ｐ２Ｐ（Peer to Peer）で通信を行う場合を説明する。
【００７０】
図７は、本発明の第二の実施形態におけるＨＭＤ２１０の概略図である。第一の実施形態と比較して、第二の実施形態におけるＨＭＤ２１０は、制御装置２１８の制御部２１９及び無線通信部２２６が異なっているため、以下、これらについて説明する。
【００７１】
第二の実施形態における制御部２１９は、第一の実施形態と比較して、通信情報処理部２２２、入出力情報処理部２２３及び状態情報処理部２２４が異なっているため、以下、これらについて説明する。
【００７２】
通信情報処理部２２２は、無線通信部２２６を介して、無線通信可能なＨＭＤ２１０を検索し、検索でヒットしたＨＭＤ２１０の識別情報の一覧を接続情報として取得する。
【００７３】
そして、通信情報処理部２２２は、取得した接続情報を表示部１４に表示し、操作部１４を介して、ＨＭＤ２１０の利用者より、通信先であるＨＭＤ２１０の選択を受け付け、選択されたＨＭＤ２１０に対して、予め定められたプロトコルに応じた呼制御を行い、選択されたＨＭＤ２１０との間の通信を確立し、また、当該通信を終了する処理を行う。
【００７４】
入出力情報処理部２２３は、送受信する動画データを処理する。特に、本実施形態においては、通信相手のＨＭＤ２１０の状態に応じて、送信するデータを変更する処理を行う。
【００７５】
例えば、通信の相手先のＨＭＤ２１０の表示部１２の位置が「眼前」である場合には、撮像装置１５から得られる映像データと、集音装置１６から得られる音声データと、を所定のプロトコルに応じて合成することにより、動画データを生成し、通信の相手先のＨＭＤ２１０に送信する。一方、通信の相手先のＨＭＤ２１０の表示部１２の位置が「退避」である場合には、集音装置１６から得られる音声データを通信の相手先のＨＭＤ２１０に送信する。
【００７６】
また、入出力情報処理部２２３は、通信処理部２１から入力された動画データより映像データと音声データを分離し、それぞれ、入出力インタフェース部２８を介して、表示部１２及びスピーカ１１に出力する。なお、通信処理部２１から入力されたデータが音声データだけである場合には、入力された音声データをスピーカ１１に出力する。
【００７７】
さらに、入出力情報処理部２２３は、表示部１２の予め定められた領域に、自装置の撮像装置１５で撮像された動画データと、通信相手のＨＤＭ２１０から受信した状態情報で特定される通信相手のＨＤＭ２１０の状態を特定する情報と、を表示する処理を行う。
【００７８】
例えば、一のＨＭＤ２１０と他のＨＭＤ２１０とが、Ｐ２Ｐにより通信を行っており、一のＨＭＤ２１０の表示部１２は眼前位置にあり、他のＨＭＤ２１０の表示部１２は退避位置にある場合には、図８に示すように、一のＨＭＤ２１０の表示部１２には映像画面８２ａのような映像が表示され、他のＨＭＤ２１０の表示部１２には映像画面８３ａのような映像が表示される。ここで、映像画面８２ａでは、第一領域８２ｂに他のＨＭＤ２１０の撮像装置１５で撮像された映像が表示され、第二領域８２ｃに一のＨＭＤ２１０の撮像装置１５で撮像された映像が表示され、第三領域８２ｄに他のＨＭＤ２１０の表示部１２の状態を特定する画像が表示される。また、映像画面８３ａでは、第一領域８３ｂには映像が表示されず、第二領域８３ｃに一のＨＭＤ２１０の撮像装置１５で撮像された映像が表示され、第三領域８３ｄに一のＨＭＤ２１０の表示部１２の状態を特定する画像が表示される。
【００７９】
状態情報処理部２２４は、センサ１３の検知信号に応じて、表示部１２の状態（眼前位置又は退避位置）を特定し、表示部１２の位置を特定した状態情報を生成して、通信の相手先のＨＭＤ２１０に送信する処理を行う。
【００８０】
無線通信部２２６は、アンテナを介して無線信号を送受信する処理を行う。ここで、本実施形態では、直接他のＨＭＤ２１０に接続するアドホックモードで動作する。
【００８１】
以上に記載したように、本発明の第二の実施形態によれば、通信相手のＨＭＤ２１０の状態に応じて、送信するデータを変更することができるため、ＨＭＤ２１０の通信処理の負荷を軽減することができ、さらに、ネットワーク７０等の負荷を軽減することもできる。
【００８２】
以上に記載した第一及び第二の実施形態においては、状態情報として、表示部１２の退避位置又は眼前位置を用いたが、このような態様に限定されず、例えば、映像データの「使用」と、映像データの「不使用」とを用いることも可能である。例えば、通信相手のＨＭＤ１０、２１０が送信した動画データの内、映像データを使用していない場合（例えば、他のコンテンツを表示部１２に表示させている場合、表示部１２の電源を切っている場合等）には、「不使用」の状態情報を管理サーバ４０又は通信相手のＨＭＤ２１０に送信することで、映像データのない音声データを受信するようにすることも可能である。なお、「使用」の場合は「眼前」と同様の取り扱いをすればよい。
【００８３】
また、状態情報として、音声データの「使用」と、音声データの「不使用」と、を用いることも可能である。例えば、通信相手のＨＭＤ１０、２１０が送信した動画データの内、音声データを使用していない場合（例えば、他のコンテンツの音声をスピーカ１１から出力している場合、スピーカ１１の音量を０にしている場合、スピーカ１１の電源を切っている場合等）には、「不使用」の状態情報を管理サーバ４０又は通信相手のＨＭＤ２１０に送信することで、音声データのない映像データを受信するようにすることも可能である。なお、「使用」の場合は「眼前」と同様の取り扱いをすればよい。
【００８４】
以上に記載した第一及び第二の実施形態においては、状態情報が「眼前」の場合には「動画データ」を送信し、「退避」の場合には「音声データ」を送信するようにしているが、このような態様に限定されず、例えば、「退避」の場合には、データの送信を停止（セッションは維持）することも可能である。
【００８５】
以上に記載した第一及び第二の実施形態においては、ＨＭＤ１０、２１０から送信する情報を、撮像装置１５及び集音装置１６で取得された動画データ、または、集音装置１６で取得された音声データ、としているが、このような態様に限定されず、例えば、ＨＭＤ１０、２１０の記憶部２５に記憶されている動画コンテンツを送信することも可能である。このような場合にも、通信相手先の状態に応じて、動画データ又は音声データを変更して送信することで、ＨＭＤ１０、２１０の通信処理の負荷を軽減することができ、さらに、ネットワーク７０等の負荷を軽減することもできる。
【００８６】
さらに、以上に記載した第一及び第二の実施形態においては、ＨＭＤ１０、２１０からデータを送信するようにしているが、送信側の装置については、ＨＭＤ１０、２１０には限定されず、携帯電話、ＰＤＡ、パーソナルコンピュータ等の通信機器であってもよい。
【符号の説明】
【００８７】
1：通信システム、10,210：ＨＭＤ、11：スピーカ、12：表示部、13：センサ、14：操作部、15：撮像装置、16：集音装置、18,218：制御装置、19,219：制御部、25：記憶部、26,226：無線通信部、27：バッテリ、40：管理サーバ、41：記憶部、44：制御部、51：通信部
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ装置及び通信システムに関する。
【背景技術】
【０００２】
利用者の眼前で画像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤという）において、無線を介して他の装置と通信を行うことができる技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
無線を介してＨＭＤ同士で通信を行っている場合、通信相手のＨＭＤの状態、例えば、画像を表示するディスプレイがユーザの眼前にはないような状態の場合には、このような通信相手に映像データを送信しても、送信した映像データが無駄となる。
【０００５】
そこで、本発明は、ＨＭＤで通信を行う際に、ＨＭＤの通信処理の負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、本発明に係るヘッドマウントディスプレイ装置は、データの送受信を行う通信部と、自装置の状態を特定する情報を、データの配信元に送信する処理を行う状態情報処理部と、前記情報に対応して、前記配信元から音声データを受信した場合には、受信した音声データをスピーカに出力し、前記配信元から映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理を行う入出力情報処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
以上のように、本発明によれば、ＨＭＤで通信を行う際に、効率的な通信を行うことができるようになる。
【図面の簡単な説明】
【０００８】
【図１】通信システムの概略図。
【図２】ＨＭＤの概略図。
【図３】管理サーバの概略図。
【図４】管理情報テーブルの概略図。
【図５】情報を送受信する際の処理を示すシーケンス図。
【図６】ＨＭＤの表示部に表示される映像画面の概略図。
【図７】ＨＭＤの概略図。
【図８】ＨＭＤの表示部に表示される映像画面の概略図。
【発明を実施するための形態】
【０００９】
図１は、本発明の第一の実施形態における通信システム１の概略図である。図示するように、通信システム１は、ＨＭＤ１０Ａ、１０Ｂ、１０Ｃ（以下、各々を特に区別しない場合には、ＨＭＤ１０という）と、管理サーバ４０と、を備え、ＨＭＤ１０は、アクセスポイント（以下、ＡＰという）６０を介して、ネットワーク７０に接続することができるようにされている。
【００１０】
図２は、ＨＭＤ１０の概略図である。図示するように、ＨＭＤ１０は、スピーカ１１と、表示部１２と、センサ１３と、操作部１４と、撮像装置１５と、集音装置１６と、制御装置１８と、を有する。
【００１１】
センサ１３は、表示部１２の位置を検知する。本実施形態においては、センサ１３は、表示部１２が、ユーザが表示部１２に表示された映像を視覚することのできる眼前位置（ユーザの眼前の位置）にあるか、ユーザが表示部１２に表示された映像を視覚することのできない退避位置（ユーザの眼前から外れた位置）にあるか、を検知する。例えば、センサ１３は、近接センサを眼前位置及び退避位置の少なくともいずれか一方に配置して、表示部１２の接近を検知することで、表示部１２がこれらの少なくともいずれか一方の位置にあることを検知することができる。
【００１２】
制御装置１８は、制御部１９と、記憶部２５と、無線通信部２６と、バッテリ２７と、入出力インタフェース部２８と、を備える。
【００１３】
制御部１９は、全体制御部２０と、通信処理部２１と、通信情報処理部２２と、入出力情報処理部２３と、状態情報処理部２４と、を備える。
【００１４】
全体制御部２０は、制御装置１９での全体の処理を制御する。
【００１５】
通信処理部２１は、ＩＰ、ＴＣＰ、ＵＤＰ等の通信プロトコルに従った通信処理を行う。
【００１６】
通信情報処理部２２は、管理サーバ４０に未だログイン（登録）していない場合には、管理サーバ４０へのログイン処理を行う。
【００１７】
また、通信情報処理部２２は、ＨＭＤ１０の利用者の指示に応じて、管理サーバ４０より、通信相手先を選択するための接続情報を取得する処理を行い、さらに、取得した接続情報を表示部１４に表示し、操作部１４を介して、ＨＭＤ１０の利用者より、通信先であるＨＭＤ１０の選択を受け付け、選択されたＨＭＤ１０を識別する識別情報を含む通信先情報を生成して、管理サーバ４０に送信する処理を行う。
【００１８】
さらに、通信情報処理部２２は、予め定められたプロトコルに応じて、他のＨＭＤ１０との間の通信を確立し、また、当該通信を終了する処理を行う。
【００１９】
入出力情報処理部２３は、送受信する動画データを処理する。例えば、撮像装置１５から得られる映像データと、集音装置１６から得られる音声データと、を所定のプロトコルに応じて合成することにより、動画データを生成し、通信処理部２１に出力する。また、通信処理部２１から入力された動画データより映像データと音声データを分離し、それぞれ、入出力インタフェース部２８を介して、表示部１２及びスピーカ１１に出力する。
【００２０】
また、本実施形態の入出力情報処理部２３は、表示部１２の予め定められた領域に、自装置の撮像装置１５で撮像された動画データを表示する処理を行う。
【００２１】
状態情報処理部２４は、センサ１３の検知信号に応じて、表示部１２の位置（眼前位置又は退避位置）を特定し、表示部１２が視覚可能な状態（位置）にあるか否かを特定した状態情報を生成して、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する処理を行う。なお、状態情報の送信タイミングは、予め定められた時（呼制御時、周期等）、状態が変化した時、等であればよい。
【００２２】
記憶部２５は、制御装置１８での処理に必要な情報が記憶される。例えば、管理サーバ４０の通信アドレス（ＩＰアドレス等）を特定する情報等が記憶される。
【００２３】
無線通信部２６は、アンテナを介して無線信号を送受信する処理を行う。例えば、ＲＦ処理、ベースバンド信号処理及びＭＡＣ処理を行う。なお、本実施形態においては、無線通信部２６は、ＡＰ６０を介してネットワークに接続するインフラストラクチャモードで動作する。
【００２４】
バッテリ２７は、ＨＭＤ１０の各部に電源を供給する。なお、スピーカ１１、表示部１２、センサ１３、操作部１４、撮像装置１５及び集音装置１６への電源の供給は、全体制御部２０が制御する。
【００２５】
入出力インタフェース部２８は、制御装置１８に他の装置、部位を電気的に接続するインタフェースである。
【００２６】
図３は、管理サーバ４０の概略図である。図示するように、管理サーバ４０は、記憶部４１と、制御部４４と、通信部５１と、を備える。
【００２７】
記憶部４１は、管理サーバ４０を介して情報の送受信を行うＨＭＤ１０を管理する管理情報を記憶する管理情報記憶領域４２を備える。例えば、管理情報記憶領域４３には、図４に示すような管理情報テーブル４２ａが記憶される。
【００２８】
管理情報テーブル４２ａは、ＨＭＤ欄４２ｂと、通信アドレス欄４２ｃと、通信状態欄４２ｄと、通信先欄４２ｅと、状態情報欄４２ｆと、を有する。
【００２９】
ＨＭＤ欄４２ｂには、管理サーバ４０を介して情報の送受信を行うＨＭＤ１０を識別するための識別情報が格納される。
【００３０】
通信アドレス欄４２ｃには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０の通信アドレス（ＩＰアドレス等）を特定する情報が格納される。
【００３１】
通信状態欄４２ｄには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０が、管理サーバ４０を介して他のＨＭＤ１０と通信を行っているか否かを特定する情報が格納される。本実施形態では、「通信中」の文字列が格納されている場合には通信を行っているものとし、「−」の記号が格納されている場合には通信を行っていないものとする。
【００３２】
通信先欄４２ｅには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０が管理サーバ４０を介して他のＨＭＤ１０と通信を行っている場合には、当該他のＨＭＤ１０を識別する識別情報が格納される。なお、複数のＨＭＤ１０と通信を行っている場合には、通信先欄４２ｅに複数の識別情報が格納される。なお、通信を行っていない場合には、「−」の記号が格納される。
【００３３】
状態情報欄４２ｆには、ＨＭＤ欄４２ｂで特定されるＨＭＤ１０の表示部１２の状態（位置）を特定する情報が格納される。なお、ＨＭＤ１０より状態情報を受信していない場合には、「−」の記号が格納される。
【００３４】
制御部４４は、全体制御部４５と、通信制御部４６と、接続処理部４７と、配信情報処理部４８と、管理情報処理部４９と、を備える。
【００３５】
全体制御部４５は、管理サーバ４０における処理の全体を制御する。
【００３６】
通信制御部４６は、ＩＰ、ＴＣＰ、ＵＤＰ等の通信プロトコルに従った通信処理を行う。
【００３７】
接続処理部４７は、ＨＭＤ１０からの接続情報要求に対して、管理サーバ４０にログインしている（管理情報テーブル４２ａに格納されている）ＨＭＤ１０を識別する識別情報の一覧を接続情報として生成し、ＨＭＤ１０に送信する処理を行う。
【００３８】
また、接続処理部４７は、ＨＭＤ１０から、接続する相手先のＨＭＤ１０の識別情報を含む接続要求を受信すると、当該識別情報で特定されるＨＭＤ１０に対する呼接続処理を行う。
【００３９】
配信情報処理部４８は、ＨＭＤ１０から送信されてきた動画データを、受信するＨＭＤ１０の状態に応じたデータにして、通信制御部４６及び通信部５１を介して、ＨＭＤ１０に配信する処理を行う。例えば、動画データの配信先のＨＭＤ１０の表示部１２が眼前位置にある場合には、ＨＭＤ１０から受信した動画データを当該ＨＭＤ１０に配信し、一方、動画データの配信先のＨＭＤ１０の表示部１２が退避位置にある場合には、ＨＭＤ１０から受信した動画データより音声データを抽出して、抽出した音声データを当該ＨＭＤ１０に配信する。
【００４０】
管理情報処理部４９は、ＨＭＤ１０よりログイン情報を受信して、このログイン情報に含まれるＨＭＤ１０の識別情報及び通信アドレスを管理情報テーブル４２ａに格納し、また、ＨＭＤ１０から状態情報を受信し、受信した状態情報を管理情報テーブル４２ａに格納する処理を行う。
【００４１】
通信部５１は、ネットワーク７０を介した情報の送受信を行う。
【００４２】
以上に記載した管理サーバ４０は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、ＣＤやＤＶＤ等の可搬性を有する記憶媒体に対して情報を読み書きする読書装置と、キーボードやマウスなどの入力装置と、ディスプレイなどの出力装置と、通信ネットワークに接続するためのＮＩＣ等の通信装置と、を備えた一般的なコンピュータで実現できる。例えば、記憶部４１は、ＣＰＵがメモリ又は外部記憶装置を利用することにより実現可能であり、制御部４４は、外部記憶装置に記憶されている所定のプログラムをメモリにロードしてＣＰＵで実行することで実現可能であり、通信部５１は、ＣＰＵが通信装置を利用することで実現可能である。
【００４３】
ＡＰ６０は、無線通信とネットワーク７０を介した通信の中継処理を行う。
【００４４】
図５は、ＨＭＤ１０Ａと、他のＨＭＤ１０Ｃと、が管理サーバ４０を介して、相互に情報を送受信する際の処理を示すシーケンス図である。
【００４５】
まず、ＨＭＤ１０Ａの通信情報処理部２２は、自装置の識別情報と、通信アドレスと、を特定したログイン情報を、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１００）。
【００４６】
このようなログイン情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａに新たなレコードを追加して、受信したログイン情報に含まれる識別情報及び通信アドレスを、それぞれＨＭＤ欄４２ｂ及び通信アドレス欄４２ｃに格納し、通信状態欄４２ｄ、通信先欄４２ｅ及び状態情報欄４２ｆには「−」の記号を格納する（Ｓ１０１）。
【００４７】
また、ＨＭＤ１０Ｃの通信情報処理部２２は、自装置の識別情報と、通信アドレスと、を特定したログイン情報を、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１０２）。
【００４８】
このようなログイン情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａに新たなレコードを追加して、受信したログイン情報に含まれる識別情報及び通信アドレスを、それぞれＨＭＤ欄４２ｂ及び通信アドレス欄４２ｃに格納し、通信状態欄４２ｄ、通信先欄４２ｅ及び状態情報欄４２ｆには「−」の記号を格納する（Ｓ１０３）。
【００４９】
次に、ＨＭＤ１０Ａの通信情報処理部２２は、操作部１４を介して、ＨＭＤ１０Ａの利用者より、他のＨＭＤ１０との通信指示の入力を受け付けると、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に対して接続情報要求を送信する（Ｓ１０４）。
【００５０】
このような接続情報要求を受信した管理サーバ４０では、接続処理部４７が、管理情報テーブル４２ａのＨＭＤ欄４２ｂに格納されている識別情報の一覧を接続情報として生成し、通信制御部４６及び通信部５１を介して、ＨＭＤ１０Ａに送信する（Ｓ１０５）。
【００５１】
接続情報を受信したＨＭＤ１０Ａでは、通信情報処理部２２が、表示部１２に接続情報を表示し、操作部１４を介して、利用者から接続する相手先のＨＭＤ１０（ここでは、ＨＭＤ１０Ｃとする）の識別情報の選択の入力を受け付け（Ｓ１０６）、選択された識別情報を含む通信先情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１０７）。
【００５２】
通信先情報を受信した管理サーバ４０では、接続処理部４７が、管理情報テーブル４２ａにおいて、通信先情報に含まれる識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定して、特定したレコードの通信アドレス欄４２ｃに格納されている通信アドレスを発呼先として、通信制御部４６及び通信部５１を介して、発呼信号を送信する（Ｓ１０８）。
【００５３】
このような発呼信号を受信したＨＭＤ１０Ｃでは、通信情報処理部２２が表示部１２及びスピーカ１１の少なくともいずれか一方を用いて発呼通知を行い、このような発呼通知に対してＨＭＤ１０Ｃの利用者が操作部１４を介して応答することで、ＨＭＤ１０Ｃの通信情報処理部２２は、管理サーバ４０に対して、通信処理部２１及び無線通信部２６を介して、応答信号を返信する（Ｓ１０９）。
【００５４】
このような応答信号を受信した管理サーバ４０では、接続処理部４７が、通信処理部４６及び通信部５１を介して、応答信号をＨＭＤ１０Ａに転送し（Ｓ１１０）、また、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１０７で受信した通信先情報の送信元であるＨＭＤ１０Ａの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの通信状態欄４２ｄに「通信中」の文字列を格納するとともに、ステップＳ１０９で受信した応答信号の送信元であるＨＭＤ１０Ｃの識別情報を通信先欄４２ｅに格納する（Ｓ１１１）。
【００５５】
また、ステップＳ１０９で応答信号を送信したＨＭＤ１０Ｃでは、状態情報処理部２４が、センサ１３の検知信号に応じて、表示部１２の状態（眼前位置又は退避位置）を特定する情報を含む状態情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１１２）。
【００５６】
状態情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１１２で受信した状態情報の送信元であるＨＭＤ１０Ｃの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの状態情報欄４２ｆに受信した状態情報に含まれている状態を特定する情報を格納する（Ｓ１１４）。
【００５７】
また、ステップＳ１１０で応答信号を受信したＨＭＤ１０Ａでは、状態情報処理部２４が、センサ１３の検知信号に応じて、表示部１２の状態（眼前位置又は退避位置）を特定する情報を含む状態情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１１４）。
【００５８】
状態情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１１４で状態情報の送信元であるＨＭＤ１０Ａの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの状態情報欄４２ｆ受信した状態情報に含まれている状態を特定する情報を格納する（Ｓ１１５）。
【００５９】
そして、ＨＭＤ１０Ａ及びＨＭＤ１０Ｃの入出力情報処理部２３は、通信処理部２１及び無線通信部２６を介して、動画データを管理サーバ４０に送信するとともに、自装置の表示部１２の状態に応じて、管理サーバ４０より送られてくる動画データ又は音声データを受信して、スピーカ１１及び表示部１２の少なくともいずれか一方に出力する（Ｓ１１６、Ｓ１１７、Ｓ１１８）。
【００６０】
例えば、ＨＭＤ１０Ａの表示部１２の状態が「眼前」であり、ＨＭＤ１０Ｃの表示部１２の状態が「退避」である場合には、ＨＭＤ１０Ａから管理サーバ４０に送信された動画データは（Ｓ１１６）、管理サーバ４０の配信情報処理部４８において音声データが抽出され（Ｓ１１７）、抽出された音声データがＨＭＤ１０Ｃに送信される（Ｓ１１８）。一方、ＨＭＤ１０Ｃから管理サーバ４０に送信された動画データは（Ｓ１１８）、動画データのまま（Ｓ１１７）、ＨＭＤ１０Ａに送信される（Ｓ１１６）。
【００６１】
このような場合には、例えば、図６に示すように、ＨＭＤ１０Ａの表示部１２には映像画面８０ａのような映像が表示され、ＨＭＤ１０Ｃの表示部１２には映像画面８１ａのような映像が表示される。ここで、映像画面８０ａでは、第一領域８０ｂにＨＭＤ１０Ｃの撮像装置１５で撮像された映像が表示され、第二領域８０ｃにＨＭＤ１０Ａの撮像装置１５で撮像された映像が表示される。また、映像画面８１ａでは、第一領域８１ｂには映像が表示されず、第二領域８１ｃにＨＭＤ１０Ｃの撮像装置１５で撮像された映像が表示される。なお、退避位置にある表示部１２には、映像データを一切表示しないこと、または、表示部１２の電源を切断することも可能である（第二の実施形態でも同様）。
【００６２】
そして、例えば、ＨＭＤ１０Ｃにおいて、表示部１２の位置が「退避」から「眼前」に変更された場合には（Ｓ１１９）、状態情報処理部２４は、センサ１３の検知信号に応じて、表示部１２の位置（眼前位置）を特定する情報を含む状態情報を生成し、通信処理部２１及び無線通信部２６を介して、管理サーバ４０に送信する（Ｓ１２０）。
【００６３】
状態情報を受信した管理サーバ４０では、管理情報処理部４９が、管理情報テーブル４２ａにおいて、ステップＳ１２０で状態情報の送信元であるＨＭＤ１０Ｃの識別情報がＨＭＤ欄４２ｂに格納されているレコードを特定し、特定したレコードの状態情報欄４２ｆに受信した状態情報に含まれている状態を特定する情報を格納する（Ｓ１２１）。
【００６４】
このように、管理情報テーブル４２ａが更新されると、ＨＭＤ１０Ａから管理サーバ４０に送信された動画データは（Ｓ１２２）、管理サーバ４０を介して、動画データのまま（Ｓ１２３）、ＨＭＤ１０Ｃに送信される（Ｓ１２４）。
【００６５】
以上のシーケンスでは、ＨＤＭ１０ＡとＨＤＭ１０Ｃとの間で通信を行う際の処理を説明したが、例えば、ステップＳ１０６の選択で、複数の通信先を選択することで、管理サーバ４０より、複数のＨＤＭ１０がＨＤＭ１０Ａより送信された動画データ又は音声データを受信することができる。
【００６６】
以上のように、本実施形態においては、ＨＭＤ１０の表示部１２の状態に応じて、管理サーバ４０より、適切な情報が送られてくるため、効率的な通信を行うことができる。
【００６７】
以上に記載した実施形態においては、ＨＭＤ１０から管理サーバ４０には、動画データを送信するようにしているが、このような態様に限定されず、例えば、ＨＭＤ１０から送信他データを管理サーバ４０より配信を受けている全てのＨＭＤ１０又は１以上の所定の数のＨＭＤ１０の状態が「退避」である場合には、ＨＭＤ１０から送信するデータを音声データのみとすることも可能である。このような場合には、管理サーバ４０より、配信先の状態情報又は送信すべきデータの種別（動画データ又は音声データ）を特定する情報をＨＭＤ１０に通知し、ＨＭＤ１０では、全体制御部２０又は通信情報処理部２２が、入出力情報処理部２３に送信するデータの種別を指示するようにすればよい。
【００６８】
さらに、以上に記載した実施形態において、映像データが送信されないＨＭＤ１０には、当該ＨＭＤ１０が管理サーバ４０に予め送信要求をしておいた他のコンテンツを、管理サーバ４０からＨＭＤ１０に送信するようにすることも可能である。
【００６９】
次に、本発明の第二の実施形態について説明する。本発明の第二の実施形態は、ＨＭＤ１０同士が、無線を介して、直接Ｐ２Ｐ（Peer to Peer）で通信を行う場合を説明する。
【００７０】
図７は、本発明の第二の実施形態におけるＨＭＤ２１０の概略図である。第一の実施形態と比較して、第二の実施形態におけるＨＭＤ２１０は、制御装置２１８の制御部２１９及び無線通信部２２６が異なっているため、以下、これらについて説明する。
【００７１】
第二の実施形態における制御部２１９は、第一の実施形態と比較して、通信情報処理部２２２、入出力情報処理部２２３及び状態情報処理部２２４が異なっているため、以下、これらについて説明する。
【００７２】
通信情報処理部２２２は、無線通信部２２６を介して、無線通信可能なＨＭＤ２１０を検索し、検索でヒットしたＨＭＤ２１０の識別情報の一覧を接続情報として取得する。
【００７３】
そして、通信情報処理部２２２は、取得した接続情報を表示部１４に表示し、操作部１４を介して、ＨＭＤ２１０の利用者より、通信先であるＨＭＤ２１０の選択を受け付け、選択されたＨＭＤ２１０に対して、予め定められたプロトコルに応じた呼制御を行い、選択されたＨＭＤ２１０との間の通信を確立し、また、当該通信を終了する処理を行う。
【００７４】
入出力情報処理部２２３は、送受信する動画データを処理する。特に、本実施形態においては、通信相手のＨＭＤ２１０の状態に応じて、送信するデータを変更する処理を行う。
【００７５】
例えば、通信の相手先のＨＭＤ２１０の表示部１２の位置が「眼前」である場合には、撮像装置１５から得られる映像データと、集音装置１６から得られる音声データと、を所定のプロトコルに応じて合成することにより、動画データを生成し、通信の相手先のＨＭＤ２１０に送信する。一方、通信の相手先のＨＭＤ２１０の表示部１２の位置が「退避」である場合には、集音装置１６から得られる音声データを通信の相手先のＨＭＤ２１０に送信する。
【００７６】
また、入出力情報処理部２２３は、通信処理部２１から入力された動画データより映像データと音声データを分離し、それぞれ、入出力インタフェース部２８を介して、表示部１２及びスピーカ１１に出力する。なお、通信処理部２１から入力されたデータが音声データだけである場合には、入力された音声データをスピーカ１１に出力する。
【００７７】
さらに、入出力情報処理部２２３は、表示部１２の予め定められた領域に、自装置の撮像装置１５で撮像された動画データと、通信相手のＨＤＭ２１０から受信した状態情報で特定される通信相手のＨＤＭ２１０の状態を特定する情報と、を表示する処理を行う。
【００７８】
例えば、一のＨＭＤ２１０と他のＨＭＤ２１０とが、Ｐ２Ｐにより通信を行っており、一のＨＭＤ２１０の表示部１２は眼前位置にあり、他のＨＭＤ２１０の表示部１２は退避位置にある場合には、図８に示すように、一のＨＭＤ２１０の表示部１２には映像画面８２ａのような映像が表示され、他のＨＭＤ２１０の表示部１２には映像画面８３ａのような映像が表示される。ここで、映像画面８２ａでは、第一領域８２ｂに他のＨＭＤ２１０の撮像装置１５で撮像された映像が表示され、第二領域８２ｃに一のＨＭＤ２１０の撮像装置１５で撮像された映像が表示され、第三領域８２ｄに他のＨＭＤ２１０の表示部１２の状態を特定する画像が表示される。また、映像画面８３ａでは、第一領域８３ｂには映像が表示されず、第二領域８３ｃに一のＨＭＤ２１０の撮像装置１５で撮像された映像が表示され、第三領域８３ｄに一のＨＭＤ２１０の表示部１２の状態を特定する画像が表示される。
【００７９】
状態情報処理部２２４は、センサ１３の検知信号に応じて、表示部１２の状態（眼前位置又は退避位置）を特定し、表示部１２の位置を特定した状態情報を生成して、通信の相手先のＨＭＤ２１０に送信する処理を行う。
【００８０】
無線通信部２２６は、アンテナを介して無線信号を送受信する処理を行う。ここで、本実施形態では、直接他のＨＭＤ２１０に接続するアドホックモードで動作する。
【００８１】
以上に記載したように、本発明の第二の実施形態によれば、通信相手のＨＭＤ２１０の状態に応じて、送信するデータを変更することができるため、ＨＭＤ２１０の通信処理の負荷を軽減することができ、さらに、ネットワーク７０等の負荷を軽減することもできる。
【００８２】
以上に記載した第一及び第二の実施形態においては、状態情報として、表示部１２の退避位置又は眼前位置を用いたが、このような態様に限定されず、例えば、映像データの「使用」と、映像データの「不使用」とを用いることも可能である。例えば、通信相手のＨＭＤ１０、２１０が送信した動画データの内、映像データを使用していない場合（例えば、他のコンテンツを表示部１２に表示させている場合、表示部１２の電源を切っている場合等）には、「不使用」の状態情報を管理サーバ４０又は通信相手のＨＭＤ２１０に送信することで、映像データのない音声データを受信するようにすることも可能である。なお、「使用」の場合は「眼前」と同様の取り扱いをすればよい。
【００８３】
また、状態情報として、音声データの「使用」と、音声データの「不使用」と、を用いることも可能である。例えば、通信相手のＨＭＤ１０、２１０が送信した動画データの内、音声データを使用していない場合（例えば、他のコンテンツの音声をスピーカ１１から出力している場合、スピーカ１１の音量を０にしている場合、スピーカ１１の電源を切っている場合等）には、「不使用」の状態情報を管理サーバ４０又は通信相手のＨＭＤ２１０に送信することで、音声データのない映像データを受信するようにすることも可能である。なお、「使用」の場合は「眼前」と同様の取り扱いをすればよい。
【００８４】
以上に記載した第一及び第二の実施形態においては、状態情報が「眼前」の場合には「動画データ」を送信し、「退避」の場合には「音声データ」を送信するようにしているが、このような態様に限定されず、例えば、「退避」の場合には、データの送信を停止（セッションは維持）することも可能である。
【００８５】
以上に記載した第一及び第二の実施形態においては、ＨＭＤ１０、２１０から送信する情報を、撮像装置１５及び集音装置１６で取得された動画データ、または、集音装置１６で取得された音声データ、としているが、このような態様に限定されず、例えば、ＨＭＤ１０、２１０の記憶部２５に記憶されている動画コンテンツを送信することも可能である。このような場合にも、通信相手先の状態に応じて、動画データ又は音声データを変更して送信することで、ＨＭＤ１０、２１０の通信処理の負荷を軽減することができ、さらに、ネットワーク７０等の負荷を軽減することもできる。
【００８６】
さらに、以上に記載した第一及び第二の実施形態においては、ＨＭＤ１０、２１０からデータを送信するようにしているが、送信側の装置については、ＨＭＤ１０、２１０には限定されず、携帯電話、ＰＤＡ、パーソナルコンピュータ等の通信機器であってもよい。
【符号の説明】
【００８７】
1：通信システム、10,210：ＨＭＤ、11：スピーカ、12：表示部、13：センサ、14：操作部、15：撮像装置、16：集音装置、18,218：制御装置、19,219：制御部、25：記憶部、26,226：無線通信部、27：バッテリ、40：管理サーバ、41：記憶部、44：制御部、51：通信部
【特許請求の範囲】
【請求項１】
データの送受信を行う通信部と、
自装置の状態を特定する情報を、データの配信元に送信する処理を行う状態情報処理部と、
前記情報に対応して、前記配信元から音声データを受信した場合には、受信した音声データをスピーカに出力し、前記配信元から映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理を行う入出力情報処理部と、
を備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
請求項１に記載のヘッドマウントディスプレイ装置であって、
前記配信元は、他のヘッドマウントディスプレイ装置から送信されたデータを中継する管理サーバであり、
前記管理サーバは、受信した前記情報に対応して、前記他のヘッドマウントディスプレイ装置が送信した動画データ、または、前記動画データより抽出された音声データ、を選択して、送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項３】
請求項１に記載のヘッドマウントディスプレイ装置であって、
前記配信元は、他のヘッドマウントディスプレイ装置であり、
前記他のヘッドマウントディスプレイ装置は、受信した前記情報に対応して、動画データ、または、前記動画データより抽出された音声データ、を選択して、送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項４】
請求項１から３の何れか一項に記載のヘッドマウントディスプレイ装置であって、
前記入出力情報処理部は、
データの送信先より、他のヘッドマウントディスプレイ装置の状態を特定する情報を受信する処理と、
受信した前記情報に対応して、動画データ又は音声データを選択して前記送信先に送信する処理と、を行うこと、
を特徴とするヘッドマウントディスプレイ装置。
【請求項５】
請求項４に記載のヘッドマウントディスプレイ装置であって、
前記送信先は、前記他のヘッドマウントディスプレイ装置に送信するデータを中継する管理サーバであること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項６】
請求項４に記載のヘッドマウントディスプレイ装置であって、
前記送信先は、前記他のヘッドマウントディスプレイ装置であること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項７】
請求項１から６の何れか一項に記載のヘッドマウントディスプレイ装置であって、
前記情報は、自装置の表示部が視覚可能な位置にあるか否かを特定する情報であり、
前記配信元又はヘッドマウントディスプレイ装置は、前記情報が、自装置の表示部が視覚可能な位置にあることを特定する情報である場合には、動画データを送信し、前記情報が、自装置の表示部が視覚可能な位置にないことを特定する情報である場合には、音声データを送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項８】
請求項１から６の何れか一項に記載のヘッドマウントディスプレイ装置であって、
前記情報は、自装置の表示部に受信した映像データを使用しているか否かを特定する情報であり、
前記配信元又はヘッドマウントディスプレイ装置は、
前記情報が、自装置の表示部に受信した映像データを使用していることを特定する情報である場合には、動画データを送信し、前記情報が、自装置の表示部に受信した映像データを使用してないことを特定する情報である場合には、音声データを送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項９】
自装置の状態を特定する情報を、前記管理サーバに送信する処理を行う状態情報処理部と、
前記情報に対応して、前記管理サーバから音声データを受信した場合には、受信した音声データをスピーカに出力し、前記管理サーバから映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理を行う入出力情報処理部と、を有するヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置より受信した前記情報に対応して、他のヘッドマウントディスプレイ装置が送信した動画データ、または、前記動画データより抽出された音声データ、を選択して、前記ヘッドマウントディスプレイ装置に送信する処理を行う配信情報処理部を有する管理サーバと、
を備えることを特徴とする通信システム。
【請求項１０】
自装置の状態を特定する情報を、他のヘッドマウントディスプレイ装置に送信する処理を行う状態情報処理部と、
前記情報に対応して、前記他のヘッドマウントディスプレイ装置から音声データを受信した場合には、受信した音声データをスピーカに出力し、前記他のヘッドマウントディスプレイ装置から映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理と、
前記他のヘッドマウントディスプレイ装置より受信した前記情報に対応して、動画データ、または、前記動画データより抽出された音声データ、を選択して、前記他のヘッドマウントディスプレイ装置に送信する処理と、
を行う入出力情報処理部と、を有する複数のヘッドマウントディスプレイ装置を備えること、
を特徴とする通信システム。
【請求項１】
データの送受信を行う通信部と、
自装置の状態を特定する情報を、データの配信元に送信する処理を行う状態情報処理部と、
前記情報に対応して、前記配信元から音声データを受信した場合には、受信した音声データをスピーカに出力し、前記配信元から映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理を行う入出力情報処理部と、
を備えることを特徴とするヘッドマウントディスプレイ装置。
【請求項２】
請求項１に記載のヘッドマウントディスプレイ装置であって、
前記配信元は、他のヘッドマウントディスプレイ装置から送信されたデータを中継する管理サーバであり、
前記管理サーバは、受信した前記情報に対応して、前記他のヘッドマウントディスプレイ装置が送信した動画データ、または、前記動画データより抽出された音声データ、を選択して、送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項３】
請求項１に記載のヘッドマウントディスプレイ装置であって、
前記配信元は、他のヘッドマウントディスプレイ装置であり、
前記他のヘッドマウントディスプレイ装置は、受信した前記情報に対応して、動画データ、または、前記動画データより抽出された音声データ、を選択して、送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項４】
請求項１から３の何れか一項に記載のヘッドマウントディスプレイ装置であって、
前記入出力情報処理部は、
データの送信先より、他のヘッドマウントディスプレイ装置の状態を特定する情報を受信する処理と、
受信した前記情報に対応して、動画データ又は音声データを選択して前記送信先に送信する処理と、を行うこと、
を特徴とするヘッドマウントディスプレイ装置。
【請求項５】
請求項４に記載のヘッドマウントディスプレイ装置であって、
前記送信先は、前記他のヘッドマウントディスプレイ装置に送信するデータを中継する管理サーバであること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項６】
請求項４に記載のヘッドマウントディスプレイ装置であって、
前記送信先は、前記他のヘッドマウントディスプレイ装置であること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項７】
請求項１から６の何れか一項に記載のヘッドマウントディスプレイ装置であって、
前記情報は、自装置の表示部が視覚可能な位置にあるか否かを特定する情報であり、
前記配信元又はヘッドマウントディスプレイ装置は、前記情報が、自装置の表示部が視覚可能な位置にあることを特定する情報である場合には、動画データを送信し、前記情報が、自装置の表示部が視覚可能な位置にないことを特定する情報である場合には、音声データを送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項８】
請求項１から６の何れか一項に記載のヘッドマウントディスプレイ装置であって、
前記情報は、自装置の表示部に受信した映像データを使用しているか否かを特定する情報であり、
前記配信元又はヘッドマウントディスプレイ装置は、
前記情報が、自装置の表示部に受信した映像データを使用していることを特定する情報である場合には、動画データを送信し、前記情報が、自装置の表示部に受信した映像データを使用してないことを特定する情報である場合には、音声データを送信すること、
を特徴とするヘッドマウントディスプレイ装置。
【請求項９】
自装置の状態を特定する情報を、前記管理サーバに送信する処理を行う状態情報処理部と、
前記情報に対応して、前記管理サーバから音声データを受信した場合には、受信した音声データをスピーカに出力し、前記管理サーバから映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理を行う入出力情報処理部と、を有するヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置より受信した前記情報に対応して、他のヘッドマウントディスプレイ装置が送信した動画データ、または、前記動画データより抽出された音声データ、を選択して、前記ヘッドマウントディスプレイ装置に送信する処理を行う配信情報処理部を有する管理サーバと、
を備えることを特徴とする通信システム。
【請求項１０】
自装置の状態を特定する情報を、他のヘッドマウントディスプレイ装置に送信する処理を行う状態情報処理部と、
前記情報に対応して、前記他のヘッドマウントディスプレイ装置から音声データを受信した場合には、受信した音声データをスピーカに出力し、前記他のヘッドマウントディスプレイ装置から映像データ及び音声データを有する動画データを受信した場合には、前記映像データを表示部に出力し、前記音声データをスピーカに出力する処理と、
前記他のヘッドマウントディスプレイ装置より受信した前記情報に対応して、動画データ、または、前記動画データより抽出された音声データ、を選択して、前記他のヘッドマウントディスプレイ装置に送信する処理と、
を行う入出力情報処理部と、を有する複数のヘッドマウントディスプレイ装置を備えること、
を特徴とする通信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２８３６４５（Ｐ２０１０−２８３６４５Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３５９５４（Ｐ２００９−１３５９５４）
【出願日】平成２１年６月５日（２００９．６．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月５日（２００９．６．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]