映像表示機器及びプログラム
【課題】 外部との円滑で自然なコミュニケーションを実現する映像表示機器及びプログラム等を提供すること。
【解決手段】 映像表示機器は、第１の映像を取得する第１映像取得部１１と、撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部１２と、処理部１６と表示部１５とを含み、処理部１６は映像表示モードが視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部１３を含み、表示部１５は、映像表示モード判定部１３により映像表示モードが視聴モードであると判定された場合には第１の映像を表示し、映像表示モード判定部１３により映像表示モードがコミュニケーションモードであると判定された場合には第２の映像を表示する。
【解決手段】 映像表示機器は、第１の映像を取得する第１映像取得部１１と、撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部１２と、処理部１６と表示部１５とを含み、処理部１６は映像表示モードが視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部１３を含み、表示部１５は、映像表示モード判定部１３により映像表示モードが視聴モードであると判定された場合には第１の映像を表示し、映像表示モード判定部１３により映像表示モードがコミュニケーションモードであると判定された場合には第２の映像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示機器及びプログラム等に関する。
【背景技術】
【０００２】
例えば特許文献１には、いわゆるヴァーチャルリアリティ環境を構築して複数人でのコンテンツの共有体験を提供する技術が開示されている。また、特許文献２に示されているように、実空間の座標に鑑賞する映像があたかも固定されたように表示される技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３６５３４６３号公報
【特許文献２】特許３３６８６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術は、頭部装着型表示機器を複数人でつけてコンテンツ視聴している際にコミュニケーションをとるための効果的な手法を実現できていなかった。
【０００５】
本発明の幾つかの態様によれば、外部との円滑で自然なコミュニケーションを実現する映像表示機器及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、第１の映像を取得する第１映像取得部と、撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、処理部と、表示部と、を含み、前記処理部は、映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、前記表示部は、前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を表示し、前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を表示する映像表示機器に関係する。
【０００７】
本発明の一態様では、第１の映像、第２の映像を取得した上で、映像視聴モードに応じて表示する映像を切り替えることができる。これにより、コミュニケーションを行うような状況では、コミュニケーション用の映像を表示することで、円滑なコミュニケーションを実現する。
【０００８】
また、本発明の一態様では、前記映像表示モード判定部は、前記自身の映像表示機器と、前記他の映像表示機器との位置関係を表す位置関係情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うってもよい。
【０００９】
これにより、自身の映像表示機器と、他の映像表示機器（あるいはそれらを装着したユーザ同士）の位置関係情報に基づいて映像表示モードの判定を行うことができる。よって、コミュニケーションが行われることが予想される位置関係の時にコミュニケーションモードに移行すること等が可能になる。
【００１０】
また、本発明の一態様では、前記処理部は、前記撮像画像に基づいて画像認識処理を行う画像認識部を含み、前記映像表示モード判定部は、前記画像認識部による前記撮像画像の認識結果に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行ってもよい。
【００１１】
これにより、画像認識処理に基づいて映像表示モードの判定が可能になる。
【００１２】
また、本発明の一態様では、前記映像表示モード判定部は、前記画像認識部での画像認識処理の結果、前記他の映像表示機器が、前記自身の映像表示機器から所与の距離よりも近い位置に存在すると判定された場合には、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００１３】
これにより、他の表示機器と自身の映像表示機器との距離情報に基づいて、コミュニケーションモードに移行すること等が可能になる。
【００１４】
また、本発明の一態様では、前記画像認識部は、前記撮像画像において、前記他の映像表示機器の画像認識処理を行うことで、前記撮像画像における前記他の映像表示機器の大きさ情報を取得し、前記映像表示モード判定部は、前記他の映像表示機器の大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００１５】
これにより、他の映像表示機器の撮像画像における大きさ情報に基づいて、コミュニケーションモードに移行すること等が可能になる。
【００１６】
また、本発明の一態様では、前記画像認識部は、前記撮像画像において、前記他の映像表示機器に付与された識別マーカの画像認識処理を行うことで、前記撮像画像における前記識別マーカの大きさ情報を取得し、前記映像表示モード判定部は、前記識別マーカの大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００１７】
これにより、他の映像表示機器に付与された識別マーカの、撮像画像における大きさ情報に基づいて、コミュニケーションモードに移行すること等が可能になる。
【００１８】
また、本発明の一態様では、前記処理部は、センサからのセンサ情報を取得するセンサ情報取得部を含み、前記映像表示モード判定部は、前記センサ情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行ってもよい。
【００１９】
これにより、センサ情報に基づいて、映像表示モードの判定を行うことが可能になる。
【００２０】
また、本発明の一態様では、前記センサ情報により、前記自身の映像表示機器に対して設定された所与の角度範囲内に、前記他の映像表示機器が存在すると判定された場合には、前記映像表示モード判定部は、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００２１】
これにより、他の映像表示機器が所与の角度範囲内にあるときにコミュニケーションモードに移行することが可能になる。
【００２２】
また、本発明の一態様では、前記処理部は、前記他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信する受信処理部を含み、前記映像表示モード判定部は、前記センサ情報取得部が、前記センサ情報として前記位置発信情報を取得した場合に、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００２３】
これにより、他の映像表示機器が所与の角度範囲にあるか否かの判定を、指向性を有する受信範囲で受信する受信処理部での受信結果に基づいて行うことが可能になる。
【００２４】
また、本発明の一態様では、前記受信処理部は、前記ユーザの視野範囲に対応する受信範囲で前記位置発信情報を受信してもよい。
【００２５】
これにより、ユーザの視野範囲に対応した処理が可能になる。
【００２６】
また、本発明の一態様では、前記処理部は、指向性を有さない送信範囲で位置発信情報を発信する発信処理部を含んでもよい。
【００２７】
これにより、位置発信情報の送信は指向性を有さない送信範囲で行うことが可能になる。
【００２８】
また、本発明の一態様では、前記第１の映像、前記第２の映像の切り替え処理を行う映像切替部を含み、前記映像切替部は、前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像が前記表示部に表示されるように映像切り替え処理を行い、前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像が前記表示部に表示されるように映像切り替え処理を行ってもよい。
【００２９】
これにより、映像表示モードの判定に基づいて、表示する映像を切り替えることが可能になる。
【００３０】
また、本発明の一態様では、前記自身の映像表示機器を装着したユーザの周囲に第２の検出エリアが設定されるとともに、前記ユーザの視野範囲に対応した角度範囲に第１の検出エリアが設定され、前記処理部は、前記第２のエリアに前記他の映像表示機器が存在すると判定された場合には、負荷の軽い第２の処理を行い、前記第１のエリアに前記他の映像表示機器が存在すると判定された場合には、前記第２の処理に比べて負荷の重い第１の処理を行ってもよい。
【００３１】
これにより、第２の検出エリアに他の映像表示機器が存在する場合には負荷の軽い第２の処理を行い、第１の検出エリアに他の映像表示機器が存在する場合には、第２の処理よりも負荷の重い第１の処理を行うことが可能になる。
【００３２】
また、本発明の一態様では、前記処理部は、負荷の軽い前記第２の処理として、受信処理部による受信処理、送信処理部による送信処理及び画像認識部による識別マーカ認識処理の少なくとも１つの処理を行ってもよい。
【００３３】
これにより、負荷の軽い第２の処理として、受信処理、送信処理及びマーカ認識処理を行うことが可能になる。
【００３４】
また、本発明の一態様では、前記処理部は、負荷の重い前記第１の処理として、通信部から受信した前記他の映像表示機器を装着した他のユーザの情報である他ユーザ情報に基づく状態判定処理、前記通信部による通信の開始処理及び映像切替部による映像切替処理の少なくとも１つの処理を行ってもよい。
【００３５】
これにより、第２の処理よりも負荷の重い第１の処理として、ユーザ情報に基づく状態判定処理、通信の開始処理及び映像切替処理を行うことが可能になる。
【００３６】
また、本発明の一態様では、前記第２映像取得部は、前記他の映像表示機器から、前記他の映像表示機器を装着している他のユーザの情報である他ユーザ情報を取得し、前記第２の映像として、前記他ユーザ情報に基づいて生成された映像を取得してもよい。
【００３７】
これにより、コミュニケーション用の映像である第２の映像として、他のユーザの情報に基づいて生成した映像を用いることが可能になる。
【００３８】
また、本発明の一態様では、前記第２映像取得部は、前記第２の映像として、前記他ユーザ情報に基づいて生成された前記他のユーザのアバター映像を取得してもよい。
【００３９】
これにより、第２の映像として、他のユーザのアバター映像を用いることが可能になり、より豊かなコミュニケーションを実現することができる。
【００４０】
また、本発明の一態様では、前記第２映像取得部は、自身の映像表示機器を装着したユーザの情報である自ユーザ情報を取得するとともに、前記２の映像として、前記自ユーザ情報である発話情報と、前記他ユーザ情報である発話情報とを表すチャット映像を取得してもよい。
【００４１】
これにより、第２の映像として、自ユーザと他ユーザの発話情報を表すチャット映像を用いることが可能になる。よって、第１の映像の音声コンテンツを遮ることなく、文字チャットでコミュニケーションを行うこと等ができる。
【００４２】
また、本発明の一態様では、前記映像表示機は、ユーザの頭部に装着され、ユーザの視野の少なくとも一部に表示部を有する頭部装着型表示機器であってもよい。
【００４３】
これにより、映像表示機器として、ユーザの頭部に装着される頭部装着型表示機器を用いることが可能になる。
【００４４】
本発明の他の態様は、第１の映像を取得する第１映像取得部と、撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、処理部と、表示部の表示制御を行う表示制御部として、コンピュータを機能させ、前記処理部は、映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、前記表示制御部は、前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を前記表示部に表示する制御を行い、前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を前記表示部に表示する制御を行うプログラムに関係する。
【図面の簡単な説明】
【００４５】
【図１】本実施形態のシステム構成例。
【図２】本実施形態に係る映像表示機器を用いる状況の例。
【図３】第１の映像の例。
【図４】第２の映像として撮像画像が表示される例。
【図５】本実施形態の詳細なシステム構成例。
【図６】第２の映像として映像表示機器のみが表示される例。
【図７】センサ情報を用いる場合のシステム構成例。
【図８】ビーコンの送受信範囲を説明する図。
【図９】ビーコンを用いた際に他の映像表示機器を検出することができる場合の例。
【図１０】撮像画像に対して処理を行うことで第２の映像を生成する場合のシステム構成例。
【図１１】第２の映像としてピクチャーインピクチャーの画像が表示される例。
【図１２】第２の映像として重畳表示した画像が表示される例。
【図１３】第２の実施形態におけるシステム構成例。
【図１４】第２の映像としてアバター画像が表示される例。
【図１５】第２の映像としてチャット画像が表示される例。
【図１６】複数の検出エリアを設定する例。
【図１７】複数の検出エリアを設定する他の例。
【図１８】複数の検出エリアを実現するためのセンサの例
【図１９】変形例における処理の詳細を説明するためのフローチャート。
【図２０】本実施形態に係る映像表示機器として用いられる単眼の頭部装着型表示機器の例。
【発明を実施するための形態】
【００４６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４７】
１．本実施形態の手法
【００４８】
まず、本実施形態の手法について説明する。本実施形態にかかる映像表示機器は、例えば頭部装着型表示機器（ＨＭＤ）である。本実施形態では特に、表示画角の広い（ユーザの視野範囲に占める映像表示範囲が広い）タイプであり、臨場感を持たせた映像表示を可能にするＨＭＤを想定している。
【００４９】
この場合に問題になるのは、ＨＭＤを装着していると外界はほとんど見ることができないという点である。ユーザの視野範囲のほとんどをＨＭＤにより表示される映像（ここでは第１の映像とする）が占めてしまうため、例えば、そばにいる他のユーザとコミュニケーションをとろうと思っても、他のユーザの姿が見えないことになり、円滑なコミュニケーションは困難であるという問題が生じる。また、視野範囲が本実施形態のように広く無いタイプのＨＭＤにおいても、視野範囲の一部にＨＭＤの表示部が入るように表示部が保持されていると、その表示部に隠されるため他のユーザの姿確認するのが難しくなる問題が同様に生じる。
【００５０】
そこで、本出願人は以下のような手法を提案する。つまり、ＨＭＤを装着したユーザが他のユーザ（他のユーザもＨＭＤを装着していることを前提としている）の方向を向いたときには、第１の映像に代わり、他のユーザとのコミュニケーションの補助を行うような第２の映像を表示する。具体的には図４のように、他のユーザを撮像した撮像画像を第２の映像として表示してもよいし、図１１のように、当該撮像画像と第１の画像とを適当な画像処理により合成したような画像を第２の映像として表示してもよい。このようにすることで、必要に応じて表示画像がコミュニケーション用の画像に切り替わるため、他のユーザとのコミュニケーションを円滑に行うことが可能になる。
【００５１】
以下、第２の映像として撮像画像に基づく映像を用いる上述の手法について第１の実施形態で説明する。また、第２の映像として、他のユーザの情報に基づいて生成されたアバター画像やチャット画像を用いる手法について第２の実施形態で説明する。最後に、処理負荷の軽減等を目的とした変形例を説明する。
【００５２】
２．第１の実施形態
【００５３】
図１に本発明の映像表示機器の第１の実施形態を示す。この発明の実施の形態は次のように、少なくとも２つ以上の映像表示機器（頭部装着型表示機器、ＨＭＤ）を有するシステムとして構築される。第１の映像表示機器１０は、表示部１５と、表示制御部１７と、映像切替部１４と、第１の映像取得部１１と、第２の映像取得部１２と、処理部１６と、映像表示モード判定部１３を有する。また、第２の映像表示機器２０は、表示部２５と、表示制御部２７と、映像切替部２４と、第１の映像取得部２１と、第２の映像取得部２２と、処理部２６と、映像表示モード判定部２３を有する。以下、第１の映像表示機器１０と第２の映像表示機器２０は、同一の構成となるため、第１の映像表示機器１０について説明し、第２の映像表示機器２０については詳細な説明は省略する。また、以下では第１の映像表示機器１０を基準として考え、自身の映像表示機器とは第１の映像表示機器１０を表し、他の映像表示機器とは第２の映像表示機器２０（もしくは不図示の第３の映像表示機器等）を表すものとする。
【００５４】
第１の映像取得部１１は観賞用の映像、すなわち映画や、フォトアルバムなどのコンテンツを視聴するための映像を取得する。第２の映像取得部１２はコミュニケーションのための映像を再生する。第１の実施形態では、外界の映像、もしくはその映像を加工した映像を取得する。
【００５５】
複数のユーザ（ここでは２人のユーザだが、それに限定されるものではない）が、図２のような状況で頭部装着型表示機器を用いて、並んで映像を視聴している場合には、図３に示すように第１の映像取得部１１からの映像信号（第１の映像）を表示部１５に表示する。
【００５６】
映像表示モード判定部１３は、例えば自身の映像表示機器と他の映像表示機器との位置関係情報に基づいて、映像表示モードを判定する。具体的には、他の頭部装着型表示機器（例えば第２の映像表示機器２０）が所定の範囲、例として自身の頭部装着型表示機器（第１の映像表示機器１０）の正面左右１５度の範囲であり、距離１．５ｍ以内に入った場合に映像切替部１４を作動させ、表示映像を第１の映像取得部１１からの第１の映像から、第２の映像取得部１２からの第２の映像に切り替える。これにより、図４に示すようにコミュニケーションのための映像に切り替えることが出来る。
【００５７】
より詳細な構成として、図５以降を用いてより細かく説明する。図５に示すように第１の映像表示機器１００（頭部装着型表示機器）は、撮像部１０６と、第２の映像取得部１１６と、処理部１０２と、映像切替部１０４と、映像再生部１０１と、第１映像取得部１１５と、表示部１０５と、表示制御部１１７からなる。また、処理部１０２は画像認識部１０７と、映像表示モード判定部１０３からなる。同様に、第２の映像表示機器２００（頭部装着型表示機器）は、撮像部２０６と、第２の映像取得部２１６と、処理部２０２と、映像切替部２０４と、映像再生部２０１と、第１映像取得部２１５と、表示部２０５と、表示制御部２１７からなる。また、処理部２０２は画像認識部２０７と、映像表示モード判定部２０３からなる。以下、第１の映像表示機器１００と第２の映像表示機器２００は、同一の構成となるため、第１の映像表示機器１００について説明し、第２の映像表示機器２００については詳細な説明は省略する。また、以下では第１の映像表示機器１００を基準として考え、自身の映像表示機器とは第１の映像表示機器１００を表し、他の映像表示機器とは第２の映像表示機器２００（もしくは不図示の第３の映像表示機器等）を表すものとする。図５以降のブロック図の説明においても同様である。
【００５８】
撮像部１０６は、結像のための光学系、光量調整のためのシャッターや絞り、ＮＤフィルターなど、ＣＣＤや、ＣＭＯＳなどの撮像素子と、映像信号をＮＴＳＣやデジタル画像伝送により出力するための映像処理部（例えば映像処理回路）からなる。いわゆるビデオカメラやデジタルスチルカメラと同様の構成としてもよい。これらからの映像信号は、処理部１０２の画像認識部１０７に入力される。画像認識部１０７は、入力映像をデジタル変換するコンピュータプログラムを実装した計算機などで構成される。映像表示モード判定部１０３は、この計算機のプログラムとして実装されていてもよい。
【００５９】
映像再生部１０１はビデオカセットレコーダーなどの旧来の映像ソースでもよいが、半導体メモリやＨＤＤ、ブルーレイディスクなどの媒体に記録された画像ファイルをデコード・再生する装置、また、オンラインの映像配信サービスに接続するコンピュータプログラムでもよい。映像切替部１０４は、撮像部１０６からの映像信号（第２の映像）と映像再生部１０１からの映像信号（第１の映像）を切り替える装置であり、例えば信号のスイッチング回路等で実装される。切り替えにより選択された映像信号は、表示制御部１１７を介して表示部１０５に接続される。
【００６０】
表示部１０５は本実施形態では、左右両眼に表示パネルを設けたヘッドマウントディスプレイ（ＨＭＤ）で示しているが、これは、単眼型のものや、近接視野に設置したミラーによるスクリーン虚像を観察するヘルメット型のディスプレイなどでもよい。なお、非拘束型のディスプレイの場合は、頭部の運動に連動して動作する撮像装置が設けられていればよい。
【００６１】
次に、本実施形態の作用を説明する。図３に示すように通常は映像再生部１０１（例えばＤＶＤプレイヤー等の映像再生機器）からの映像を視聴している場合には、図５の映像切替部１０４は映像再生部１０１からの第１の映像を表示部１０５（具体的にはＨＭＤのパネル）に送り、表示する。
【００６２】
ここで、図４に示すように、他のユーザ（ＨＭＤ利用者）の方向を向くと、図５に示す撮像部１０６により、ＨＭＤ画像（外界を撮影した画像であり、特に他のユーザが装着しているＨＭＤを撮影した画像）が撮影される。画像認識部１０７は、このＨＭＤ画像を認識し、相手側の他のＨＭＤの存在の有無、画面中のサイズなどを算出する。これらの物体認識については、一般的な物体認識技術を用いるため、割愛する。このような認識から、他のＨＭＤが視野内に存在することを通知するＨＭＤ検出信号と、画面中のＨＭＤ認識領域の大きさを示すＨＭＤサイズ信号が映像表示モード判定部１０３に送られる。
【００６３】
映像表示モード判定部１０３は、受信した信号に基づいて自身の映像表示機器と他の映像表示機器との位置関係情報を取得し映像表示モードを判定する。具体的には、ＨＭＤサイズ信号が所定の大きさ、例えば自身の映像表示機器からの距離が５０ｃｍ〜２ｍの範囲内に存在する場合の画面比率で撮像画像内に存在した場合、映像表示モード判定部１０３は、表示映像を第２の映像に切り替える切替信号を出力する。この信号は映像切替部１０４に入力され、映像再生部１０１からの第１の映像から、撮像部１０６で撮影された第２の映像に切り替わり、表示部１０５に表示される。
【００６４】
この際、図４に示すように、撮像部１０６でとらえられた別のユーザの様子がビデオシースルーで表示され、コミュニケーション開始のきっかけをつかむことが出来ると共に、相手の状態をモニタリングできるようになる。
【００６５】
したがって、本実施形態には上述の効果のほかに、次のような特有の効果がある。つまり、他のＨＭＤの検出と計測処理、及び、表示部１０５に表示するコミュニケーションのための第２の映像信号取得処理の２つの処理を１つの撮像装置（撮像部１１６）により行うことが出来るため、構成が簡単になる。
【００６６】
なお、本実施形態の各構成は、当然、各種の変形、変更が可能である。他のＨＭＤの認識については、ＨＭＤに識別マーカを付与し、これを認識するようにしてもよい。この場合距離を知るための大きさの情報、向きを知るための幾何的な情報を持っている必要があり、例えば３点間所定距離だけ離れ、かつ、同一直線状に乗らないＬＥＤ輝点マーカや、ＱＲコードなどのように４点に１点特徴的なコードパターンを設けることで位置姿勢を示す平面マーカなどを用いてもよい。
【００６７】
また、例えば、図６に示すように、ＨＭＤ検出処理（位置関係情報判定処理）は、送受信部１０８において送受信されるビーコンの信号に基づいて行われてもよい。図７に示すようにビーコン信号の送受信を行う送受信部１０８は、映像表示モード判定部１０３に接続される。図８のようにビーコンの受信範囲に、他のＨＭＤの送信範囲が入らない場合は、映像再生部１０１からの映像信号すなわち第１の映像が表示部１０５に表示される。また、図９に示すように送信範囲と受信範囲が重なると共に、ＨＭＤ１の受信範囲に、ＨＭＤ２が入った場合には映像表示モード判定部１０３は切替信号を出力し、映像切替部１０４は撮像部１０６からの映像信号（第２の映像）に映像を切り替える。本実施形態では電波強度と方位から対象のＨＭＤがコミュニケーション範囲にＨＭＤが存在するかしないかを判定することができる。
【００６８】
この場合は、画像認識部１０７は無くても良いが、撮像部１０６の画角範囲と、ビーコンのＨＭＤ検出範囲がほぼ一致していることが望ましい。
【００６９】
また、撮像部１０６からの映像をそのまま表示部１０５に出力するのではなく、図１０に示すように映像生成部１１２を通して加工した映像を、映像切替部１０４への第２の映像として出力してもよい。この映像加工は、例えば図１１に示すように子画面として撮像部１０６からの画像を表示するピクチャーインピクチャー表示（ＰｉｎＰ）でも良く、もちろん、親子画面が逆になってもかまわない。また、図１２に示すように背景として第１の映像のコントラストを落として表示した上で、第２の映像を重畳表示するようにしてもよい。
【００７０】
以上の本実施形態では、映像表示機器（自身の映像表示機器である第１の映像表示機器１０）は、図１に示したように、第１の映像を取得する第１映像取得部１１と、第２の映像を取得する第２映像取得部１２と、処理部１６と、表示部１５とを含む。そして、処理部１６は、映像表示モードの判定を行う映像表示モード判定部１３を含む。また、表示部１５は、映像表示モード判定部１３により、映像表示モードが視聴モードであると判定された場合には、第１の映像を表示し、映像表示モードがコミュニケーションモードであると判定された場合には、第２の映像を表示する。
【００７１】
ここで、第１の映像とは例えば、ＤＶＤプレイヤー等の映像再生機器からの映像であり、具体的には例えば映画等のコンテンツが考えられる。なお、第１の映像はネットワーク型の配信サービスやテレビ放送等からの映像であってもよい。第２の映像とは、撮像部（図５の１０６に対応）からの撮像画像又は通信部（後述する図１３の１１３に対応）からの通信情報に基づいて生成される映像である。映像という用語は、ここでは動画像と音声などのマルチモーダル情報を包含したコンテンツ全般を意味している。ただし、映像はマルチモーダルであってよいのはもちろんのこと、動画像単独や音声単独のようなシングルモーダルな信号であってもよい。
【００７２】
また、映像表示モードには視聴モードとコミュニケーションモードがある。視聴モードは映画等のコンテンツの視聴を行うモードであり、コミュニケーションモードとは他のユーザとのコミュニケーションを行うためのモードである。コミュニケーションモードが実行される際のシチュエーションとしては図２のようなケースが考えられ、ＨＭＤを装着した複数のユーザが、例えば同一の室内のような限定された領域に存在する際のお互いのコミュニケーションを円滑にするためのものである。ただし、ユーザ同士が所与の距離内にいる必要はなく、また、具体的には同一の室内にいる必要もない。また、本実施形態においては、各ユーザはＨＭＤを装着しているものとし、ＨＭＤを装着していない人とのコミュニケーションは考慮しなくてもよい。なお、本実施形態にかかる映像表示機器はＨＭＤに限定されるものではなく、頭部の運動に連動する小型ディスプレイ等も含む。
【００７３】
これにより、第１の映像と第２の映像を取得し、視聴モードでは第１の映像を表示し、コミュニケーションモードにおいては第２の映像を表示することが可能になる。よって、映像表示機器を用いている間でも、他のユーザとのコミュニケーションを円滑に行うことが可能になる。特に、映像表示機器が、ＨＭＤ（特にユーザの視野範囲に対して表示画像の占める割合が大きいもの）等の外界視界が狭く限定されるような機器である場合に効果を発揮する。
【００７４】
また、映像表示モード判定部１３は、自身の映像表示機器と他の映像表示機器の位置関係を表す位置関係情報に基づいて、映像表示モードが視聴モードであるか、コミュニケーションモードであるかの判定を行ってもよい。
【００７５】
これにより、映像表示機器同士（つまり、映像表示機器を装着したユーザ同士）の位置関係情報に基づいて、映像表示モードを判定することができる。よって、例えばコミュニケーションが行われることが想定されやすい位置関係において、コミュニケーションモードに移行するように設定しておけば、適切かつ効果的に、状況に合わせた映像表示モードの変更が可能になる。なお、位置関係情報は、具体的には後述するように、図５の撮像部１０６からの撮像画像や、センサ情報取得部（図７の送受信部１０８）からのセンサ情報等によって取得されることが考えられる。
【００７６】
また、図５に示したように、処理部１０２は、撮像画像に基づいて画像認識処理を行う画像認識部１０７を含んでもよい。映像表示モード判定部１０３は、画像認識部１０７による撮像画像の認識結果に基づいて映像表示モードの判定を行う。
【００７７】
ここでは特に、撮像画像の認識結果に基づいて、自身の映像表示機器と他の映像表示機器との位置関係情報を取得してもよい。そして映像表示モード判定部は、位置関係情報に基づいて映像表示モードの判定を行ってもよい。具体的には後述するように、対象となる映像表示機器（他の映像表示機器）の撮像画像における大きさ情報等により位置関係を判定することが考えられる。
【００７８】
これにより、撮像画像に対する画像認識処理に基づいて、映像表示モードの切り替えを行うことが可能になる。ここで、第２の映像が撮像画像に基づいて取得される場合には、第２の映像の取得処理及び映像表示モード判定処理の２つの処理が、両方とも撮像画像に基づいて行うことが可能になる。よって、映像表示機器１００の構成を簡略化することができる。
【００７９】
また、映像表示モード判定部１０３は、画像認識部１０７による画像認識処理の結果、他の映像表示機器（例えば第２の映像表示機器２００等）が自身の映像表示機器の近くにある（例えば所与の距離よりも近い位置に存在する）と判定された場合には、映像表示モードがコミュニケーションモードであると判定してもよい。
【００８０】
これにより、画像認識処理に基づく映像表示モードの切り替え手法として、他の映像表示機器（またはそれを用いている他のユーザ）と自身の映像表示機器（または自ユーザ）が近くにあるか否かに基づく判断を行う手法を用いることが可能になる。
【００８１】
また、画像認識部１０７は、撮像画像において、他の映像表示機器の画像認識処理を行うことで、撮像画像における他の映像表示機器の大きさ情報を取得してもよい。そして映像表示モード判定部１０３は、他の映像表示機器の大きさ情報により表される大きさが所与の閾値よりも大きい場合には、映像表示モードをコミュニケーションモードと判定する。
【００８２】
これにより、撮像画像において、他の映像表示機器がある一定以上の大きさで撮像されていた場合には、コミュニケーションモードに切り替えることが可能になる。撮像画像において、他の映像表示機器が大きく撮像されるということは、当該他の映像表示機器は自身の映像表示機器から近い位置に存在することが想定される。さらに撮像画像を取得する撮像部１０６（撮像機器）の画角は魚眼レンズ等特殊な機器を用いない限り、ある程度の角度範囲に限定されることを鑑みれば、他の映像表示機器は自身の映像表示機器に対して設定された所与の角度範囲に位置することになる。撮像部の画角を自ユーザの視野範囲と同程度と見なせば、この条件を満たす場合とはつまり、自ユーザが近くにいる他ユーザの方向を見ているというシチュエーションに該当することになる。よって、通常、そのようなシチュエーションでは会話等のコミュニケーションが開始される可能性が高いことを考えれば、自然な状況でコミュニケーションモードに移行することが可能になると言える。なお、撮像画像上の見かけの大きさ（例えばピクセル数）と、当該映像表示機器の大きさ情報とは必ずしも１対１に対応するとは限らない。撮像部１０６がズーム機能を有している場合等には、大きさ情報はズーム倍率の大きさに連動して変更される必要が生じる。
【００８３】
また、画像認識部１０７は、撮像画像において、他の映像表示機器に付与された識別マーカの画像認識処理を行うことで、撮像画像における識別マーカの大きさ情報を取得してもよい。そして映像表示モード判定部１０３は、識別マーカの大きさ情報により表される大きさが所与の閾値よりも大きい場合には、映像表示モードをコミュニケーションモードと判定する。
【００８４】
これにより、撮像画像において、識別マーカがある一定以上の大きさで撮像されていた場合には、映像表示モードをコミュニケーションモードに切り替えることが可能になる。映像表示機器に付与された識別マーカの大きさを認識するということは、識別マーカまでの距離情報を取得していることに相当するため、つまりは、当該識別マーカが付与された他の映像表示機器までの距離情報が取得されることになる。以下の処理は上述の、直接他の映像表示機器の画像認識処理を行う場合と同様である。
【００８５】
また、処理部１０２は、図７に示したように、センサからのセンサ情報を取得するセンサ情報取得部（送受信部１０８）を含んでもよい。そして、映像表示モード判定部１０３は、センサ情報に基づいて映像表示モードの判定を行う。
【００８６】
ここでは特に、センサ情報に基づいて、自身の映像表示機器と他の映像表示機器との位置関係情報を取得してもよい。そして映像表示モード判定部は、位置関係情報に基づいて映像表示モードの判定を行ってもよい。具体的には図８、図９を用いて後述するように、ビーコン等を用いて位置関係を判定することが考えられる。
【００８７】
これにより、センサ情報を用いて映像表示モードを判定することが可能になる。特に、位置関係情報を用いる場合には、位置関係情報を取得するセンサを用いて、複数の映像表示機器間の位置関係を把握し、コミュニケーションが行われる可能性が高いと判定された場合等にコミュニケーションモードに移行すること等が可能になる。センサによる情報を処理すれば足りるため、画像認識処理等に比べて処理が容易になる。
【００８８】
また、センサ情報により、自身の映像表示機器（又は自身の映像表示機器を装着したユーザ）に対して設定された所与の角度範囲内に他の映像表示機器が存在すると判定された場合には、映像表示モード判定部１０３は、映像表示モードがコミュニケーションモードであると判定してもよい。
【００８９】
これにより、単純に位置を検出するだけでなく、自ユーザに対してどの角度範囲に存在するかも検出することになるため、そのときの状況がコミュニケーションを行う状況であるのか否かという判断を適切に行うこと等が可能になる。
【００９０】
また、処理部１０２は、図７に示したように、他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信する受信処理部１０９を含んでもよい。そして、映像表示モード判定部１０３は、センサ情報取得部（送受信部１０８）が、前記センサ情報として位置発信情報を取得した場合に、映像表示モードをコミュニケーションモードと判定する。その際、前記受信範囲は、ユーザ（自ユーザ）の視野範囲に対応する角度範囲としてもよい。
【００９１】
これにより、他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信することにより、他の映像表示機器が自身の映像表示機器に対して所与の角度範囲内に存在するか否かの判定を行うことが可能になる。特に、受信範囲をユーザの視野範囲に対応付けておくことにより、ユーザの視野範囲内に他の映像表示機器があるか否かの判定を行うことが可能になる。よって、ユーザが他の映像表示機器の方向を見ているというシチュエーションにおいて、コミュニケーションモードに移行することが可能になり、自然な移行を行うことができる。
【００９２】
また、処理部１０２は、指向性を有さない送信範囲で位置発信情報を発信する発信処理部１１０を含んでもよい。
【００９３】
これにより、他の映像表示機器に自身の映像表示機器の位置を知らせることが可能になり、他の映像表示機器がコミュニケーションモードに移行することができる。
【００９４】
また、図１に示したように、映像表示機器１０は、第１の映像と第２の映像の映像切り替え処理を行う映像切替部１４を含んでもよい。そして映像切替部１４は、映像表示モードが視聴モードであるときに、表示部１５に第１の映像が表示されるように映像切り替え処理を行う。また、映像表示モードがコミュニケーションモードであるときに、表示部１５に第２の映像が表示されるように映像切り替え処理を行う。
【００９５】
これにより、表示部１５に表示される映像を、映像表示モードに基づいて切り替えることが可能になる。この切り替えは、後述するように、処理部１６による他の映像表示機器（例えば第２の映像表示機器２０）の検出と非検出により切り替えられる。ここで、自身の映像表示機器とは、現在の判断の基準となっている映像表示機器のことである。また、他の映像表示機器とは、前述の自身の映像表示機器以外の映像表示機器のことである。自身の映像表示機器を用いているユーザを単にユーザ或いは自ユーザと呼び、他の映像表示機器を用いているユーザを他のユーザ或いは他ユーザと呼ぶ。
【００９６】
また、本実施形態にかかる映像表示機器は、ユーザの頭部に装着され、ユーザの視野の少なくとも一部に表示部を有する頭部装着型表示機器であってもよい。
【００９７】
ここで頭部装着型表示機器とは、具体的には上述してきたようにＨＭＤ等である。ここでＨＭＤは、図２に示すように、両目で表示画像を見るような、ユーザの視野に対して表示画像の占める割合が大きいものであってもよい。また、図２０に示すように、片目で表示画像を見るような、ユーザの視野に対して表示画像の占める割合が小さいものであってもよい。
【００９８】
これにより、本実施形態に係る映像表示機器として、頭部装着型表示機器を用いることが可能になる。
【００９９】
また、本実施形態は、図１に示したように、第１の映像を取得する第１映像取得部１１と、第２の映像を取得する第２映像取得部１２と、処理部１６と、表示制御部１７としてコンピュータを機能させるプログラムに関係する。そして、処理部１６は、映像表示モードの判定を行う映像表示モード判定部１３を含む。また、表示制御部１７は、映像表示モード判定部１３により、映像表示モードが視聴モードであると判定された場合には、第１の映像を表示部１５に表示する制御を行い、映像表示モードがコミュニケーションモードであると判定された場合には、第２の映像を表示部１５に表示する制御を行う。
【０１００】
これにより、本実施形態は、映像表示機器をハードウェア的に実現するケースにとどまらず、ＰＣ等のコンピュータシステムに対して、映像表示処理をソフトウェア的に実行させるものに対しても適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【０１０１】
３．第２の実施形態
【０１０２】
次に、第２の実施形態について図１３を用いて説明する。第１の実施形態に比べると、通信部１１３と映像生成部１１２の追加がなされることが特徴である。
【０１０３】
次に、第２の実施形態の作用を説明する。通信部１１３により、第１のＨＭＤと第２のＨＭＤ間で、映像、音声、テキスト入力、などの情報を相互に通信する。なお、ＨＭＤの数は２つに限定されるものではない。映像の切り替えのための方式は、第１の実施の形態に示した各種の方法を用いることが出来る。
【０１０４】
第２の映像として、通信で得た情報を元に、アバター映像を生成する。このようにして生成した画像を第２の映像として、図１４のように表示する。
【０１０５】
なお、本実施形態の各構成は、当然、各種の変形、変更が可能である。テキスト入力情報を、通信部１１３を介してやり取りすることでテキストチャットを実現し、第１の実施形態の切替条件による映像の切替で表示部１０５に表示するようにしてもよい。
【０１０６】
以上のような構成により、第２の映像への切替で適切なＨＭＤ装着者間のコミュニケーションを容易に実現することが可能となる。
【０１０７】
以上の本実施形態では、図１３に示したように、第２映像取得部１１６（ここでも第１の実施形態と同様に、図１３における第１の映像表示機器１００を自身の映像表示機器として説明する）は、他の映像表示機器（第２の映像表示機器２００）から他のユーザの情報である他ユーザ情報を取得し、第２の映像として他ユーザ情報に基づいて生成された映像を取得する。
【０１０８】
これにより、コミュニケーションのために調整した映像をやりとりすることになるため、より豊かなコミュニケーションを実現する。特に本実施形態では、各ユーザはＨＭＤを装着していることが想定されるため、撮像画像を用いた場合には、ユーザの表情等の情報を得ることが困難であることから、コミュニケーション用の映像を用いることは特に効果を発揮する。
【０１０９】
また、第２映像取得部１１６は、第２の映像として、他ユーザ情報に基づいて生成された、他のユーザのアバター映像を取得してもよい。
【０１１０】
これにより、図１４に示したようなアバターを用いたコミュニケーションが可能となる。アバターの表情や姿勢、動作等を適宜設定することにより、無味乾燥とした撮像画像に比べて、より豊かなコミュニケーションが可能になる。
【０１１１】
また、第２映像取得部１１６は、自身の映像表示機器（第１の映像表示機器１００）を装着したユーザの情報である自ユーザ情報を取得するとともに、第２の映像として、自ユーザ情報である自ユーザの発話情報と、他ユーザ情報である他のユーザの発話情報とを表すチャット映像を取得してもよい。
【０１１２】
これにより、アバターの時と同様豊かなコミュニケーションを実現する。それとともに、図１５のように発話音声がテキストとなり表示されることになるため、音声を中心とした第１の映像コンテンツの視聴を妨げることなく、適切なコミュニケーションを行うことが可能になる。
【０１１３】
４．変形例
【０１１４】
次に変形例について説明する。ここでは、他のＨＭＤを検出するエリアを複数設けて、エリアごとにＨＭＤを検出した際の処理を変更する。
【０１１５】
具体的には例えば、２つの検出エリアを設定する場合が考えられる。第１の検出エリアとして、図１６に示したようにユーザの指向方向領域を設定し、第２の検出エリアとしてユーザの周囲の領域を設定する。ここで、第１の検出エリアは、ＨＭＤを装着したユーザの注視範囲（標準的な水平画角として４０〜５０°の範囲が一般的）であり、ユーザの視界ならびにＨＭＤの表示部１０５（表示装置）の中心的な画角範囲に相当する。また、第２の検出エリアは、主にＨＭＤを中心とした同一の室内（家庭であれば半径２ｍ程度）の領域に相当する。また、第１の検出エリアを、第２の検出エリアと同様にＨＭＤを中心とした距離を組み合わせて設定してもよい。
【０１１６】
第１の検出エリアで他のＨＭＤが検出された場合には、相手の状態判定(姿勢、発話、表情など)、通信の開始処理(コミュニケーションの開始、映像の生成開始など)及び映像の切替処理（第２の映像の表示）等を行う。それに対して、第２の検出エリアで他のＨＭＤが検出された場合には、処理部１０２は、ＨＭＤユーザの存在の判定、ビーコンの受信処理・発信処理及びマーカの認識処理等の負荷の軽い第２の処理を行う。この、第２の処理に比べて第１の処理は負荷の重い処理となる。
【０１１７】
このようにすることで、比較的ＨＭＤを装着したユーザから遠い検出エリアにおいて他のＨＭＤが検出された場合、つまり、ユーザ間でのコミュニケーションの意志は強くないと判断することができる場合には、負荷の軽い処理を行う。そして、ユーザの指向方向領域において他のＨＭＤが検出された場合、つまり、ユーザ間でコミュニケーションが行われることが想定される場合には、コミュニケーションのための負荷の重い処理を行う。よって、常時負荷の重い処理を行う場合に比べて、必要なときだけ当該重い処理を行えばよくなるため、全体として処理負荷を軽減することが可能になる。
【０１１８】
また、検出エリアは必ずしも２つに限定されるものではない。図１７に示すようにパーソナルスペースを考慮して周囲半径１ｍ以内に第３、第４の検出エリアを定義して強制的にコミュニケーションモードに移行するようにしてもよい。
【０１１９】
具体的には、図１７において、４つの検知エリアに分けた場合には、第１の検出エリアでは相互にコミュニケーションを開始することの許諾を求めるダイアログを双方に通知する。第４の検出エリア（直径数十センチ程度）では、近接が著しいので強制的にコミュニケーションモードに移行する。第２の検出エリアでは、周囲に他のユーザが存在することを簡易なアイコンなどで目立たず表示する。第３の検出エリアでは背後から著しい近接をされているので、危険情報としてアラートアイコンなどで表示する。
【０１２０】
このようにすることで、さらに細かく検出エリアを分割して、それぞれ異なる処理を行うことが可能になる。
【０１２１】
また、誰が近接しているかなど、ユーザＩＤの登録をあらかじめしておき、その情報を事前表示してもよい。また、近接度が上がり、視野正面に対象が遷移するにしたがって、コミュニケーションモード、ならびにそれを通知、承諾を問いかける各種情報表示を段階的に変更させてもよい。
【０１２２】
さらに、方位情報を表示することもできる。あたかも目が後ろにもあるように、相手のＨＭＤが右後方にいる場合にでも、第２の検出エリアにいる場合には気づきランプがＨＭＤの画面の右側に点滅して知らせるなど、映像鑑賞画面の外周部にレーダー状に周囲のＨＭＤの配置状況を表示するようにしてもよい。
【０１２３】
このように構成すれば、気付きランプに従ってそちらを振り向くことで第１の検出エリアに該当のＨＭＤをとらえ、コミュニケーションモードへ移行することができる。このとき、同時に簡易的な相手の情報（アイコン、名前などのＩＤ情報）のプレ通信を実施し、その内容を表示部１０５に表示するようにしてもよい。
【０１２４】
映画鑑賞モード等における動作例としては、以下のような形態が考えられる。他のＨＭＤの察知には鈍感になるようにすることで、ゆっくり鑑賞にひたってもらい、よりいっそうの没入感を演出する。具体的には、第１の映像として一定時間同じものを見ていること等を条件に、第１・２の検出エリアが狭くなる（感度が鈍くなる）よう構成しても良い。それと共に、いざ近接して呼びかけを行われた場合は応答が出来るようにするため、第１・２の検出エリアをなくすような処理は行わない。
【０１２５】
次に、このような変形例を実現するためのセンサの例について説明する。図１８に示したように、受信に関しては指向性を有し、発信に関しては指向性を有さない（ただし、強度の判定は行う）。
【０１２６】
以下、赤外線の送受信モジュールを用いる例について説明する。送信部分は赤外線ＬＥＤに拡散のための乳白食のカバーや円錐や回転放物面ミラー、回転双曲線ミラーによる全方位拡散光学系を設けることで、少なくとも水平方向上下数十度の範囲に赤外線を投射する。一方、画角（表示装置の水平画角以下、例えば視野角とほぼ同じ４０〜５０°）を持つ集光レンズを介して装着者正面方向に光軸を向けて設置した赤外線受光部を設ける。
【０１２７】
これにより、他のＨＭＤの発光部から拡散した赤外線は、装着者のＨＭＤの受光範囲に他のＨＭＤが存在する場合は受光されることになる。範囲外の場合は受光されないか、強度が反射を経ているので低い。距離は、この受光強度で判別することになる。
【０１２８】
また、第２の検出エリアを検知するためには、もう一段無指向性の赤外線受光部を設けることが必要となる。無指向性の赤外線発光部、受光部は図１８ではパノラミックに上下画角の範囲が全周に回転した受光特性を持つが、魚眼レンズの組み合わせで３６０度全天周をカバーするように構成してもかまわない。より単純化するには、全方位結像光学系と赤外線分割受光素子を組み合わせ第１の検出エリア、第２の検出エリアで受光素子の検知強度を検出するようにしてもよい。
【０１２９】
また、撮像装置（撮像部１０６）をセンサとして兼用する場合は、撮像装置の画角により決定される角度範囲に対応する指向性を有することとなる。
【０１３０】
また、超音波の場合は無指向性のスピーカ（発信部）と無指向性マイク、指向性マイク（受信部）の組み合わせで上記構成と同等の効果を得るようにしてもよい。
【０１３１】
次に、上述のように複数の検出エリアを設定した場合の、処理の詳細について図１９のフローチャートを用いて説明する。このフローチャートでは、周囲に近接すると、近くに他のＨＭＤがいる場合その存在を通知する機能、コミュニケーションモードに切り替える機能及び近接かつ正面に他ＨＭＤが存在する場合には強制的にコミュニケーションモードに切り替わる機能を持つ。
【０１３２】
具体的には、この処理が開始されると、まず第１の映像を表示部１０５に表示する（Ｓ３０１）。次に視聴を終了するかの判定が行われ（Ｓ３０２）、Ｙｅｓの場合は視聴を終了する。Ｎｏの場合は第１の検出エリア、第２の検出エリアに他のＨＭＤが検出されたか否かの判定が行われ（Ｓ３０６）（Ｓ３０３）、Ｎｏの場合はＳ３０１に戻る。なお、第１の検出エリアでの検出処理及び第２の検出エリアでの検出処理は、例えばマルチスレッド等を用いて並列に行われるものとする。
【０１３３】
Ｓ３０３において、第２の検出エリアに他のＨＭＤが検出された場合には、近くに他のユーザがいる旨を表示部に表示し（Ｓ３０４）、コミュニケーションモードに移行するか否かの判定を行う（Ｓ３０５）。Ｙｅｓの場合には、Ｓ３０７に移行し、コミュニケーションモードが開始される。Ｎｏの場合には、Ｓ３０１に戻る。
【０１３４】
Ｓ３０５でＹｅｓと判定された場合には、Ｓ３０７からコミュニケーションモードが開始され、まず、他のＨＭＤの情報を取得し（Ｓ３０７）、第２の映像を生成し（Ｓ３０８）、第２の映像を表示部１０５に表示する（Ｓ３０９）。そして、コミュニケーションモードを終了するかの判定が行われ（Ｓ３１０）、Ｎｏの場合はＳ３０７に戻りコミュニケーションモードが継続される。また、Ｓ３１０でＹｅｓの場合には、Ｓ３０１に戻ることになる。
【０１３５】
また、第２の検出エリアにおける検出処理と並列に、第１の検出エリアに他のＨＭＤが検出されたか否かの判定が行われる（Ｓ３０６）。Ｓ３０６でＮｏの場合には、Ｓ３０１に戻り、Ｙｅｓの場合にはＳ３１１に移行し、コミュニケーションモードが開始される。
【０１３６】
Ｓ３０６でＹｅｓと判定された場合の処理がＳ３１１〜Ｓ３１４となる。この処理は上述したＳ３０７〜Ｓ３１０の処理と同様であるため、詳細な説明は省略する。
【０１３７】
以上の本実施形態では、自身の映像表示機器（ここでも第１の映像表示機器１００について説明する）を装着したユーザの視野範囲に対応した角度範囲に第１の検出エリアが設定され、ユーザの周囲に第２の検出エリアが設定されるとともに、前記処理部１０２は、第２の検出エリアに他の映像表示機器（第２の映像表示機器２００等）が存在すると判定された場合には、処理の負荷が軽い第２の処理を行う。また、第１の検出エリアに他の映像表示機器が存在すると判定された場合には、第２の処理に比べて負荷の重い第１の処理を行う。
【０１３８】
ここで、第１の処理とは例えば、他ユーザ情報（通信部１１３から受信した他の映像表示機器を装着したユーザの情報）に基づく状態判定処理、通信部１１３による通信の開始処理及び映像切替部１０４による映像切替処理等である。また、第２の処理とは例えば、受信処理部１０９による受信処理、発信処理１１０部による発信処理及び画像認識部１０７により識別マーカ認識処理等である。
【０１３９】
これにより、自身の映像表示機器（第１の映像表示機器１００）に対して、他の映像表示機器（第２の映像表示機器２００）が存在する位置に応じて、行う処理を変更することが可能になる。その際の基準として、第１の検出エリアでは負荷の重い処理を行い、第２の検出エリアでは負荷の軽い処理を行う。これは、コミュニケーションモードの実現に必要な処理は、負荷が重いことによる。つまり、常時コミュニケーションモードのための処理を行っていたのでは、システムにかかる負荷が重く、かつ、視聴モードにおいては必要ない処理も含まれるため無駄が多い。そこで、普段は視聴モードの処理、及びコミュニケーションモードへの移行に必要な最低限の処理にとどめておく。そして、所与の角度範囲内（例えばユーザの視野範囲内）に他の映像表示機器が見つかった場合、つまりコミュニケーションが行われる可能性が高い場合にのみ、負荷の重い処理を行うことでシステムのリソースを効率的に利用することが可能になる。
【０１４０】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１４１】
１０ 映像表示機器、１１ 第１の映像取得部、１２ 第２の映像取得部、
１３ 映像表示モード判定部、１４ 映像切替部、１５ 表示部、１６ 処理部、
１７ 表示制御部、１００ 映像表示機器、１０１ 映像再生部、１０２ 処理部、
１０３ 映像表示モード判定部、１０４ 映像切替部、１０５ 表示部、
１０６ 撮像部、１０７ 画像認識部、１０８ 送受信部、１０９ 受信処理部、
１１０ 発信処理部、１１２ 映像生成部、１１３ 通信部
【技術分野】
【０００１】
本発明は、映像表示機器及びプログラム等に関する。
【背景技術】
【０００２】
例えば特許文献１には、いわゆるヴァーチャルリアリティ環境を構築して複数人でのコンテンツの共有体験を提供する技術が開示されている。また、特許文献２に示されているように、実空間の座標に鑑賞する映像があたかも固定されたように表示される技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３６５３４６３号公報
【特許文献２】特許３３６８６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術は、頭部装着型表示機器を複数人でつけてコンテンツ視聴している際にコミュニケーションをとるための効果的な手法を実現できていなかった。
【０００５】
本発明の幾つかの態様によれば、外部との円滑で自然なコミュニケーションを実現する映像表示機器及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、第１の映像を取得する第１映像取得部と、撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、処理部と、表示部と、を含み、前記処理部は、映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、前記表示部は、前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を表示し、前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を表示する映像表示機器に関係する。
【０００７】
本発明の一態様では、第１の映像、第２の映像を取得した上で、映像視聴モードに応じて表示する映像を切り替えることができる。これにより、コミュニケーションを行うような状況では、コミュニケーション用の映像を表示することで、円滑なコミュニケーションを実現する。
【０００８】
また、本発明の一態様では、前記映像表示モード判定部は、前記自身の映像表示機器と、前記他の映像表示機器との位置関係を表す位置関係情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うってもよい。
【０００９】
これにより、自身の映像表示機器と、他の映像表示機器（あるいはそれらを装着したユーザ同士）の位置関係情報に基づいて映像表示モードの判定を行うことができる。よって、コミュニケーションが行われることが予想される位置関係の時にコミュニケーションモードに移行すること等が可能になる。
【００１０】
また、本発明の一態様では、前記処理部は、前記撮像画像に基づいて画像認識処理を行う画像認識部を含み、前記映像表示モード判定部は、前記画像認識部による前記撮像画像の認識結果に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行ってもよい。
【００１１】
これにより、画像認識処理に基づいて映像表示モードの判定が可能になる。
【００１２】
また、本発明の一態様では、前記映像表示モード判定部は、前記画像認識部での画像認識処理の結果、前記他の映像表示機器が、前記自身の映像表示機器から所与の距離よりも近い位置に存在すると判定された場合には、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００１３】
これにより、他の表示機器と自身の映像表示機器との距離情報に基づいて、コミュニケーションモードに移行すること等が可能になる。
【００１４】
また、本発明の一態様では、前記画像認識部は、前記撮像画像において、前記他の映像表示機器の画像認識処理を行うことで、前記撮像画像における前記他の映像表示機器の大きさ情報を取得し、前記映像表示モード判定部は、前記他の映像表示機器の大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００１５】
これにより、他の映像表示機器の撮像画像における大きさ情報に基づいて、コミュニケーションモードに移行すること等が可能になる。
【００１６】
また、本発明の一態様では、前記画像認識部は、前記撮像画像において、前記他の映像表示機器に付与された識別マーカの画像認識処理を行うことで、前記撮像画像における前記識別マーカの大きさ情報を取得し、前記映像表示モード判定部は、前記識別マーカの大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００１７】
これにより、他の映像表示機器に付与された識別マーカの、撮像画像における大きさ情報に基づいて、コミュニケーションモードに移行すること等が可能になる。
【００１８】
また、本発明の一態様では、前記処理部は、センサからのセンサ情報を取得するセンサ情報取得部を含み、前記映像表示モード判定部は、前記センサ情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行ってもよい。
【００１９】
これにより、センサ情報に基づいて、映像表示モードの判定を行うことが可能になる。
【００２０】
また、本発明の一態様では、前記センサ情報により、前記自身の映像表示機器に対して設定された所与の角度範囲内に、前記他の映像表示機器が存在すると判定された場合には、前記映像表示モード判定部は、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００２１】
これにより、他の映像表示機器が所与の角度範囲内にあるときにコミュニケーションモードに移行することが可能になる。
【００２２】
また、本発明の一態様では、前記処理部は、前記他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信する受信処理部を含み、前記映像表示モード判定部は、前記センサ情報取得部が、前記センサ情報として前記位置発信情報を取得した場合に、前記映像表示モードが、前記コミュニケーションモードであると判定してもよい。
【００２３】
これにより、他の映像表示機器が所与の角度範囲にあるか否かの判定を、指向性を有する受信範囲で受信する受信処理部での受信結果に基づいて行うことが可能になる。
【００２４】
また、本発明の一態様では、前記受信処理部は、前記ユーザの視野範囲に対応する受信範囲で前記位置発信情報を受信してもよい。
【００２５】
これにより、ユーザの視野範囲に対応した処理が可能になる。
【００２６】
また、本発明の一態様では、前記処理部は、指向性を有さない送信範囲で位置発信情報を発信する発信処理部を含んでもよい。
【００２７】
これにより、位置発信情報の送信は指向性を有さない送信範囲で行うことが可能になる。
【００２８】
また、本発明の一態様では、前記第１の映像、前記第２の映像の切り替え処理を行う映像切替部を含み、前記映像切替部は、前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像が前記表示部に表示されるように映像切り替え処理を行い、前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像が前記表示部に表示されるように映像切り替え処理を行ってもよい。
【００２９】
これにより、映像表示モードの判定に基づいて、表示する映像を切り替えることが可能になる。
【００３０】
また、本発明の一態様では、前記自身の映像表示機器を装着したユーザの周囲に第２の検出エリアが設定されるとともに、前記ユーザの視野範囲に対応した角度範囲に第１の検出エリアが設定され、前記処理部は、前記第２のエリアに前記他の映像表示機器が存在すると判定された場合には、負荷の軽い第２の処理を行い、前記第１のエリアに前記他の映像表示機器が存在すると判定された場合には、前記第２の処理に比べて負荷の重い第１の処理を行ってもよい。
【００３１】
これにより、第２の検出エリアに他の映像表示機器が存在する場合には負荷の軽い第２の処理を行い、第１の検出エリアに他の映像表示機器が存在する場合には、第２の処理よりも負荷の重い第１の処理を行うことが可能になる。
【００３２】
また、本発明の一態様では、前記処理部は、負荷の軽い前記第２の処理として、受信処理部による受信処理、送信処理部による送信処理及び画像認識部による識別マーカ認識処理の少なくとも１つの処理を行ってもよい。
【００３３】
これにより、負荷の軽い第２の処理として、受信処理、送信処理及びマーカ認識処理を行うことが可能になる。
【００３４】
また、本発明の一態様では、前記処理部は、負荷の重い前記第１の処理として、通信部から受信した前記他の映像表示機器を装着した他のユーザの情報である他ユーザ情報に基づく状態判定処理、前記通信部による通信の開始処理及び映像切替部による映像切替処理の少なくとも１つの処理を行ってもよい。
【００３５】
これにより、第２の処理よりも負荷の重い第１の処理として、ユーザ情報に基づく状態判定処理、通信の開始処理及び映像切替処理を行うことが可能になる。
【００３６】
また、本発明の一態様では、前記第２映像取得部は、前記他の映像表示機器から、前記他の映像表示機器を装着している他のユーザの情報である他ユーザ情報を取得し、前記第２の映像として、前記他ユーザ情報に基づいて生成された映像を取得してもよい。
【００３７】
これにより、コミュニケーション用の映像である第２の映像として、他のユーザの情報に基づいて生成した映像を用いることが可能になる。
【００３８】
また、本発明の一態様では、前記第２映像取得部は、前記第２の映像として、前記他ユーザ情報に基づいて生成された前記他のユーザのアバター映像を取得してもよい。
【００３９】
これにより、第２の映像として、他のユーザのアバター映像を用いることが可能になり、より豊かなコミュニケーションを実現することができる。
【００４０】
また、本発明の一態様では、前記第２映像取得部は、自身の映像表示機器を装着したユーザの情報である自ユーザ情報を取得するとともに、前記２の映像として、前記自ユーザ情報である発話情報と、前記他ユーザ情報である発話情報とを表すチャット映像を取得してもよい。
【００４１】
これにより、第２の映像として、自ユーザと他ユーザの発話情報を表すチャット映像を用いることが可能になる。よって、第１の映像の音声コンテンツを遮ることなく、文字チャットでコミュニケーションを行うこと等ができる。
【００４２】
また、本発明の一態様では、前記映像表示機は、ユーザの頭部に装着され、ユーザの視野の少なくとも一部に表示部を有する頭部装着型表示機器であってもよい。
【００４３】
これにより、映像表示機器として、ユーザの頭部に装着される頭部装着型表示機器を用いることが可能になる。
【００４４】
本発明の他の態様は、第１の映像を取得する第１映像取得部と、撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、処理部と、表示部の表示制御を行う表示制御部として、コンピュータを機能させ、前記処理部は、映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、前記表示制御部は、前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を前記表示部に表示する制御を行い、前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を前記表示部に表示する制御を行うプログラムに関係する。
【図面の簡単な説明】
【００４５】
【図１】本実施形態のシステム構成例。
【図２】本実施形態に係る映像表示機器を用いる状況の例。
【図３】第１の映像の例。
【図４】第２の映像として撮像画像が表示される例。
【図５】本実施形態の詳細なシステム構成例。
【図６】第２の映像として映像表示機器のみが表示される例。
【図７】センサ情報を用いる場合のシステム構成例。
【図８】ビーコンの送受信範囲を説明する図。
【図９】ビーコンを用いた際に他の映像表示機器を検出することができる場合の例。
【図１０】撮像画像に対して処理を行うことで第２の映像を生成する場合のシステム構成例。
【図１１】第２の映像としてピクチャーインピクチャーの画像が表示される例。
【図１２】第２の映像として重畳表示した画像が表示される例。
【図１３】第２の実施形態におけるシステム構成例。
【図１４】第２の映像としてアバター画像が表示される例。
【図１５】第２の映像としてチャット画像が表示される例。
【図１６】複数の検出エリアを設定する例。
【図１７】複数の検出エリアを設定する他の例。
【図１８】複数の検出エリアを実現するためのセンサの例
【図１９】変形例における処理の詳細を説明するためのフローチャート。
【図２０】本実施形態に係る映像表示機器として用いられる単眼の頭部装着型表示機器の例。
【発明を実施するための形態】
【００４６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４７】
１．本実施形態の手法
【００４８】
まず、本実施形態の手法について説明する。本実施形態にかかる映像表示機器は、例えば頭部装着型表示機器（ＨＭＤ）である。本実施形態では特に、表示画角の広い（ユーザの視野範囲に占める映像表示範囲が広い）タイプであり、臨場感を持たせた映像表示を可能にするＨＭＤを想定している。
【００４９】
この場合に問題になるのは、ＨＭＤを装着していると外界はほとんど見ることができないという点である。ユーザの視野範囲のほとんどをＨＭＤにより表示される映像（ここでは第１の映像とする）が占めてしまうため、例えば、そばにいる他のユーザとコミュニケーションをとろうと思っても、他のユーザの姿が見えないことになり、円滑なコミュニケーションは困難であるという問題が生じる。また、視野範囲が本実施形態のように広く無いタイプのＨＭＤにおいても、視野範囲の一部にＨＭＤの表示部が入るように表示部が保持されていると、その表示部に隠されるため他のユーザの姿確認するのが難しくなる問題が同様に生じる。
【００５０】
そこで、本出願人は以下のような手法を提案する。つまり、ＨＭＤを装着したユーザが他のユーザ（他のユーザもＨＭＤを装着していることを前提としている）の方向を向いたときには、第１の映像に代わり、他のユーザとのコミュニケーションの補助を行うような第２の映像を表示する。具体的には図４のように、他のユーザを撮像した撮像画像を第２の映像として表示してもよいし、図１１のように、当該撮像画像と第１の画像とを適当な画像処理により合成したような画像を第２の映像として表示してもよい。このようにすることで、必要に応じて表示画像がコミュニケーション用の画像に切り替わるため、他のユーザとのコミュニケーションを円滑に行うことが可能になる。
【００５１】
以下、第２の映像として撮像画像に基づく映像を用いる上述の手法について第１の実施形態で説明する。また、第２の映像として、他のユーザの情報に基づいて生成されたアバター画像やチャット画像を用いる手法について第２の実施形態で説明する。最後に、処理負荷の軽減等を目的とした変形例を説明する。
【００５２】
２．第１の実施形態
【００５３】
図１に本発明の映像表示機器の第１の実施形態を示す。この発明の実施の形態は次のように、少なくとも２つ以上の映像表示機器（頭部装着型表示機器、ＨＭＤ）を有するシステムとして構築される。第１の映像表示機器１０は、表示部１５と、表示制御部１７と、映像切替部１４と、第１の映像取得部１１と、第２の映像取得部１２と、処理部１６と、映像表示モード判定部１３を有する。また、第２の映像表示機器２０は、表示部２５と、表示制御部２７と、映像切替部２４と、第１の映像取得部２１と、第２の映像取得部２２と、処理部２６と、映像表示モード判定部２３を有する。以下、第１の映像表示機器１０と第２の映像表示機器２０は、同一の構成となるため、第１の映像表示機器１０について説明し、第２の映像表示機器２０については詳細な説明は省略する。また、以下では第１の映像表示機器１０を基準として考え、自身の映像表示機器とは第１の映像表示機器１０を表し、他の映像表示機器とは第２の映像表示機器２０（もしくは不図示の第３の映像表示機器等）を表すものとする。
【００５４】
第１の映像取得部１１は観賞用の映像、すなわち映画や、フォトアルバムなどのコンテンツを視聴するための映像を取得する。第２の映像取得部１２はコミュニケーションのための映像を再生する。第１の実施形態では、外界の映像、もしくはその映像を加工した映像を取得する。
【００５５】
複数のユーザ（ここでは２人のユーザだが、それに限定されるものではない）が、図２のような状況で頭部装着型表示機器を用いて、並んで映像を視聴している場合には、図３に示すように第１の映像取得部１１からの映像信号（第１の映像）を表示部１５に表示する。
【００５６】
映像表示モード判定部１３は、例えば自身の映像表示機器と他の映像表示機器との位置関係情報に基づいて、映像表示モードを判定する。具体的には、他の頭部装着型表示機器（例えば第２の映像表示機器２０）が所定の範囲、例として自身の頭部装着型表示機器（第１の映像表示機器１０）の正面左右１５度の範囲であり、距離１．５ｍ以内に入った場合に映像切替部１４を作動させ、表示映像を第１の映像取得部１１からの第１の映像から、第２の映像取得部１２からの第２の映像に切り替える。これにより、図４に示すようにコミュニケーションのための映像に切り替えることが出来る。
【００５７】
より詳細な構成として、図５以降を用いてより細かく説明する。図５に示すように第１の映像表示機器１００（頭部装着型表示機器）は、撮像部１０６と、第２の映像取得部１１６と、処理部１０２と、映像切替部１０４と、映像再生部１０１と、第１映像取得部１１５と、表示部１０５と、表示制御部１１７からなる。また、処理部１０２は画像認識部１０７と、映像表示モード判定部１０３からなる。同様に、第２の映像表示機器２００（頭部装着型表示機器）は、撮像部２０６と、第２の映像取得部２１６と、処理部２０２と、映像切替部２０４と、映像再生部２０１と、第１映像取得部２１５と、表示部２０５と、表示制御部２１７からなる。また、処理部２０２は画像認識部２０７と、映像表示モード判定部２０３からなる。以下、第１の映像表示機器１００と第２の映像表示機器２００は、同一の構成となるため、第１の映像表示機器１００について説明し、第２の映像表示機器２００については詳細な説明は省略する。また、以下では第１の映像表示機器１００を基準として考え、自身の映像表示機器とは第１の映像表示機器１００を表し、他の映像表示機器とは第２の映像表示機器２００（もしくは不図示の第３の映像表示機器等）を表すものとする。図５以降のブロック図の説明においても同様である。
【００５８】
撮像部１０６は、結像のための光学系、光量調整のためのシャッターや絞り、ＮＤフィルターなど、ＣＣＤや、ＣＭＯＳなどの撮像素子と、映像信号をＮＴＳＣやデジタル画像伝送により出力するための映像処理部（例えば映像処理回路）からなる。いわゆるビデオカメラやデジタルスチルカメラと同様の構成としてもよい。これらからの映像信号は、処理部１０２の画像認識部１０７に入力される。画像認識部１０７は、入力映像をデジタル変換するコンピュータプログラムを実装した計算機などで構成される。映像表示モード判定部１０３は、この計算機のプログラムとして実装されていてもよい。
【００５９】
映像再生部１０１はビデオカセットレコーダーなどの旧来の映像ソースでもよいが、半導体メモリやＨＤＤ、ブルーレイディスクなどの媒体に記録された画像ファイルをデコード・再生する装置、また、オンラインの映像配信サービスに接続するコンピュータプログラムでもよい。映像切替部１０４は、撮像部１０６からの映像信号（第２の映像）と映像再生部１０１からの映像信号（第１の映像）を切り替える装置であり、例えば信号のスイッチング回路等で実装される。切り替えにより選択された映像信号は、表示制御部１１７を介して表示部１０５に接続される。
【００６０】
表示部１０５は本実施形態では、左右両眼に表示パネルを設けたヘッドマウントディスプレイ（ＨＭＤ）で示しているが、これは、単眼型のものや、近接視野に設置したミラーによるスクリーン虚像を観察するヘルメット型のディスプレイなどでもよい。なお、非拘束型のディスプレイの場合は、頭部の運動に連動して動作する撮像装置が設けられていればよい。
【００６１】
次に、本実施形態の作用を説明する。図３に示すように通常は映像再生部１０１（例えばＤＶＤプレイヤー等の映像再生機器）からの映像を視聴している場合には、図５の映像切替部１０４は映像再生部１０１からの第１の映像を表示部１０５（具体的にはＨＭＤのパネル）に送り、表示する。
【００６２】
ここで、図４に示すように、他のユーザ（ＨＭＤ利用者）の方向を向くと、図５に示す撮像部１０６により、ＨＭＤ画像（外界を撮影した画像であり、特に他のユーザが装着しているＨＭＤを撮影した画像）が撮影される。画像認識部１０７は、このＨＭＤ画像を認識し、相手側の他のＨＭＤの存在の有無、画面中のサイズなどを算出する。これらの物体認識については、一般的な物体認識技術を用いるため、割愛する。このような認識から、他のＨＭＤが視野内に存在することを通知するＨＭＤ検出信号と、画面中のＨＭＤ認識領域の大きさを示すＨＭＤサイズ信号が映像表示モード判定部１０３に送られる。
【００６３】
映像表示モード判定部１０３は、受信した信号に基づいて自身の映像表示機器と他の映像表示機器との位置関係情報を取得し映像表示モードを判定する。具体的には、ＨＭＤサイズ信号が所定の大きさ、例えば自身の映像表示機器からの距離が５０ｃｍ〜２ｍの範囲内に存在する場合の画面比率で撮像画像内に存在した場合、映像表示モード判定部１０３は、表示映像を第２の映像に切り替える切替信号を出力する。この信号は映像切替部１０４に入力され、映像再生部１０１からの第１の映像から、撮像部１０６で撮影された第２の映像に切り替わり、表示部１０５に表示される。
【００６４】
この際、図４に示すように、撮像部１０６でとらえられた別のユーザの様子がビデオシースルーで表示され、コミュニケーション開始のきっかけをつかむことが出来ると共に、相手の状態をモニタリングできるようになる。
【００６５】
したがって、本実施形態には上述の効果のほかに、次のような特有の効果がある。つまり、他のＨＭＤの検出と計測処理、及び、表示部１０５に表示するコミュニケーションのための第２の映像信号取得処理の２つの処理を１つの撮像装置（撮像部１１６）により行うことが出来るため、構成が簡単になる。
【００６６】
なお、本実施形態の各構成は、当然、各種の変形、変更が可能である。他のＨＭＤの認識については、ＨＭＤに識別マーカを付与し、これを認識するようにしてもよい。この場合距離を知るための大きさの情報、向きを知るための幾何的な情報を持っている必要があり、例えば３点間所定距離だけ離れ、かつ、同一直線状に乗らないＬＥＤ輝点マーカや、ＱＲコードなどのように４点に１点特徴的なコードパターンを設けることで位置姿勢を示す平面マーカなどを用いてもよい。
【００６７】
また、例えば、図６に示すように、ＨＭＤ検出処理（位置関係情報判定処理）は、送受信部１０８において送受信されるビーコンの信号に基づいて行われてもよい。図７に示すようにビーコン信号の送受信を行う送受信部１０８は、映像表示モード判定部１０３に接続される。図８のようにビーコンの受信範囲に、他のＨＭＤの送信範囲が入らない場合は、映像再生部１０１からの映像信号すなわち第１の映像が表示部１０５に表示される。また、図９に示すように送信範囲と受信範囲が重なると共に、ＨＭＤ１の受信範囲に、ＨＭＤ２が入った場合には映像表示モード判定部１０３は切替信号を出力し、映像切替部１０４は撮像部１０６からの映像信号（第２の映像）に映像を切り替える。本実施形態では電波強度と方位から対象のＨＭＤがコミュニケーション範囲にＨＭＤが存在するかしないかを判定することができる。
【００６８】
この場合は、画像認識部１０７は無くても良いが、撮像部１０６の画角範囲と、ビーコンのＨＭＤ検出範囲がほぼ一致していることが望ましい。
【００６９】
また、撮像部１０６からの映像をそのまま表示部１０５に出力するのではなく、図１０に示すように映像生成部１１２を通して加工した映像を、映像切替部１０４への第２の映像として出力してもよい。この映像加工は、例えば図１１に示すように子画面として撮像部１０６からの画像を表示するピクチャーインピクチャー表示（ＰｉｎＰ）でも良く、もちろん、親子画面が逆になってもかまわない。また、図１２に示すように背景として第１の映像のコントラストを落として表示した上で、第２の映像を重畳表示するようにしてもよい。
【００７０】
以上の本実施形態では、映像表示機器（自身の映像表示機器である第１の映像表示機器１０）は、図１に示したように、第１の映像を取得する第１映像取得部１１と、第２の映像を取得する第２映像取得部１２と、処理部１６と、表示部１５とを含む。そして、処理部１６は、映像表示モードの判定を行う映像表示モード判定部１３を含む。また、表示部１５は、映像表示モード判定部１３により、映像表示モードが視聴モードであると判定された場合には、第１の映像を表示し、映像表示モードがコミュニケーションモードであると判定された場合には、第２の映像を表示する。
【００７１】
ここで、第１の映像とは例えば、ＤＶＤプレイヤー等の映像再生機器からの映像であり、具体的には例えば映画等のコンテンツが考えられる。なお、第１の映像はネットワーク型の配信サービスやテレビ放送等からの映像であってもよい。第２の映像とは、撮像部（図５の１０６に対応）からの撮像画像又は通信部（後述する図１３の１１３に対応）からの通信情報に基づいて生成される映像である。映像という用語は、ここでは動画像と音声などのマルチモーダル情報を包含したコンテンツ全般を意味している。ただし、映像はマルチモーダルであってよいのはもちろんのこと、動画像単独や音声単独のようなシングルモーダルな信号であってもよい。
【００７２】
また、映像表示モードには視聴モードとコミュニケーションモードがある。視聴モードは映画等のコンテンツの視聴を行うモードであり、コミュニケーションモードとは他のユーザとのコミュニケーションを行うためのモードである。コミュニケーションモードが実行される際のシチュエーションとしては図２のようなケースが考えられ、ＨＭＤを装着した複数のユーザが、例えば同一の室内のような限定された領域に存在する際のお互いのコミュニケーションを円滑にするためのものである。ただし、ユーザ同士が所与の距離内にいる必要はなく、また、具体的には同一の室内にいる必要もない。また、本実施形態においては、各ユーザはＨＭＤを装着しているものとし、ＨＭＤを装着していない人とのコミュニケーションは考慮しなくてもよい。なお、本実施形態にかかる映像表示機器はＨＭＤに限定されるものではなく、頭部の運動に連動する小型ディスプレイ等も含む。
【００７３】
これにより、第１の映像と第２の映像を取得し、視聴モードでは第１の映像を表示し、コミュニケーションモードにおいては第２の映像を表示することが可能になる。よって、映像表示機器を用いている間でも、他のユーザとのコミュニケーションを円滑に行うことが可能になる。特に、映像表示機器が、ＨＭＤ（特にユーザの視野範囲に対して表示画像の占める割合が大きいもの）等の外界視界が狭く限定されるような機器である場合に効果を発揮する。
【００７４】
また、映像表示モード判定部１３は、自身の映像表示機器と他の映像表示機器の位置関係を表す位置関係情報に基づいて、映像表示モードが視聴モードであるか、コミュニケーションモードであるかの判定を行ってもよい。
【００７５】
これにより、映像表示機器同士（つまり、映像表示機器を装着したユーザ同士）の位置関係情報に基づいて、映像表示モードを判定することができる。よって、例えばコミュニケーションが行われることが想定されやすい位置関係において、コミュニケーションモードに移行するように設定しておけば、適切かつ効果的に、状況に合わせた映像表示モードの変更が可能になる。なお、位置関係情報は、具体的には後述するように、図５の撮像部１０６からの撮像画像や、センサ情報取得部（図７の送受信部１０８）からのセンサ情報等によって取得されることが考えられる。
【００７６】
また、図５に示したように、処理部１０２は、撮像画像に基づいて画像認識処理を行う画像認識部１０７を含んでもよい。映像表示モード判定部１０３は、画像認識部１０７による撮像画像の認識結果に基づいて映像表示モードの判定を行う。
【００７７】
ここでは特に、撮像画像の認識結果に基づいて、自身の映像表示機器と他の映像表示機器との位置関係情報を取得してもよい。そして映像表示モード判定部は、位置関係情報に基づいて映像表示モードの判定を行ってもよい。具体的には後述するように、対象となる映像表示機器（他の映像表示機器）の撮像画像における大きさ情報等により位置関係を判定することが考えられる。
【００７８】
これにより、撮像画像に対する画像認識処理に基づいて、映像表示モードの切り替えを行うことが可能になる。ここで、第２の映像が撮像画像に基づいて取得される場合には、第２の映像の取得処理及び映像表示モード判定処理の２つの処理が、両方とも撮像画像に基づいて行うことが可能になる。よって、映像表示機器１００の構成を簡略化することができる。
【００７９】
また、映像表示モード判定部１０３は、画像認識部１０７による画像認識処理の結果、他の映像表示機器（例えば第２の映像表示機器２００等）が自身の映像表示機器の近くにある（例えば所与の距離よりも近い位置に存在する）と判定された場合には、映像表示モードがコミュニケーションモードであると判定してもよい。
【００８０】
これにより、画像認識処理に基づく映像表示モードの切り替え手法として、他の映像表示機器（またはそれを用いている他のユーザ）と自身の映像表示機器（または自ユーザ）が近くにあるか否かに基づく判断を行う手法を用いることが可能になる。
【００８１】
また、画像認識部１０７は、撮像画像において、他の映像表示機器の画像認識処理を行うことで、撮像画像における他の映像表示機器の大きさ情報を取得してもよい。そして映像表示モード判定部１０３は、他の映像表示機器の大きさ情報により表される大きさが所与の閾値よりも大きい場合には、映像表示モードをコミュニケーションモードと判定する。
【００８２】
これにより、撮像画像において、他の映像表示機器がある一定以上の大きさで撮像されていた場合には、コミュニケーションモードに切り替えることが可能になる。撮像画像において、他の映像表示機器が大きく撮像されるということは、当該他の映像表示機器は自身の映像表示機器から近い位置に存在することが想定される。さらに撮像画像を取得する撮像部１０６（撮像機器）の画角は魚眼レンズ等特殊な機器を用いない限り、ある程度の角度範囲に限定されることを鑑みれば、他の映像表示機器は自身の映像表示機器に対して設定された所与の角度範囲に位置することになる。撮像部の画角を自ユーザの視野範囲と同程度と見なせば、この条件を満たす場合とはつまり、自ユーザが近くにいる他ユーザの方向を見ているというシチュエーションに該当することになる。よって、通常、そのようなシチュエーションでは会話等のコミュニケーションが開始される可能性が高いことを考えれば、自然な状況でコミュニケーションモードに移行することが可能になると言える。なお、撮像画像上の見かけの大きさ（例えばピクセル数）と、当該映像表示機器の大きさ情報とは必ずしも１対１に対応するとは限らない。撮像部１０６がズーム機能を有している場合等には、大きさ情報はズーム倍率の大きさに連動して変更される必要が生じる。
【００８３】
また、画像認識部１０７は、撮像画像において、他の映像表示機器に付与された識別マーカの画像認識処理を行うことで、撮像画像における識別マーカの大きさ情報を取得してもよい。そして映像表示モード判定部１０３は、識別マーカの大きさ情報により表される大きさが所与の閾値よりも大きい場合には、映像表示モードをコミュニケーションモードと判定する。
【００８４】
これにより、撮像画像において、識別マーカがある一定以上の大きさで撮像されていた場合には、映像表示モードをコミュニケーションモードに切り替えることが可能になる。映像表示機器に付与された識別マーカの大きさを認識するということは、識別マーカまでの距離情報を取得していることに相当するため、つまりは、当該識別マーカが付与された他の映像表示機器までの距離情報が取得されることになる。以下の処理は上述の、直接他の映像表示機器の画像認識処理を行う場合と同様である。
【００８５】
また、処理部１０２は、図７に示したように、センサからのセンサ情報を取得するセンサ情報取得部（送受信部１０８）を含んでもよい。そして、映像表示モード判定部１０３は、センサ情報に基づいて映像表示モードの判定を行う。
【００８６】
ここでは特に、センサ情報に基づいて、自身の映像表示機器と他の映像表示機器との位置関係情報を取得してもよい。そして映像表示モード判定部は、位置関係情報に基づいて映像表示モードの判定を行ってもよい。具体的には図８、図９を用いて後述するように、ビーコン等を用いて位置関係を判定することが考えられる。
【００８７】
これにより、センサ情報を用いて映像表示モードを判定することが可能になる。特に、位置関係情報を用いる場合には、位置関係情報を取得するセンサを用いて、複数の映像表示機器間の位置関係を把握し、コミュニケーションが行われる可能性が高いと判定された場合等にコミュニケーションモードに移行すること等が可能になる。センサによる情報を処理すれば足りるため、画像認識処理等に比べて処理が容易になる。
【００８８】
また、センサ情報により、自身の映像表示機器（又は自身の映像表示機器を装着したユーザ）に対して設定された所与の角度範囲内に他の映像表示機器が存在すると判定された場合には、映像表示モード判定部１０３は、映像表示モードがコミュニケーションモードであると判定してもよい。
【００８９】
これにより、単純に位置を検出するだけでなく、自ユーザに対してどの角度範囲に存在するかも検出することになるため、そのときの状況がコミュニケーションを行う状況であるのか否かという判断を適切に行うこと等が可能になる。
【００９０】
また、処理部１０２は、図７に示したように、他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信する受信処理部１０９を含んでもよい。そして、映像表示モード判定部１０３は、センサ情報取得部（送受信部１０８）が、前記センサ情報として位置発信情報を取得した場合に、映像表示モードをコミュニケーションモードと判定する。その際、前記受信範囲は、ユーザ（自ユーザ）の視野範囲に対応する角度範囲としてもよい。
【００９１】
これにより、他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信することにより、他の映像表示機器が自身の映像表示機器に対して所与の角度範囲内に存在するか否かの判定を行うことが可能になる。特に、受信範囲をユーザの視野範囲に対応付けておくことにより、ユーザの視野範囲内に他の映像表示機器があるか否かの判定を行うことが可能になる。よって、ユーザが他の映像表示機器の方向を見ているというシチュエーションにおいて、コミュニケーションモードに移行することが可能になり、自然な移行を行うことができる。
【００９２】
また、処理部１０２は、指向性を有さない送信範囲で位置発信情報を発信する発信処理部１１０を含んでもよい。
【００９３】
これにより、他の映像表示機器に自身の映像表示機器の位置を知らせることが可能になり、他の映像表示機器がコミュニケーションモードに移行することができる。
【００９４】
また、図１に示したように、映像表示機器１０は、第１の映像と第２の映像の映像切り替え処理を行う映像切替部１４を含んでもよい。そして映像切替部１４は、映像表示モードが視聴モードであるときに、表示部１５に第１の映像が表示されるように映像切り替え処理を行う。また、映像表示モードがコミュニケーションモードであるときに、表示部１５に第２の映像が表示されるように映像切り替え処理を行う。
【００９５】
これにより、表示部１５に表示される映像を、映像表示モードに基づいて切り替えることが可能になる。この切り替えは、後述するように、処理部１６による他の映像表示機器（例えば第２の映像表示機器２０）の検出と非検出により切り替えられる。ここで、自身の映像表示機器とは、現在の判断の基準となっている映像表示機器のことである。また、他の映像表示機器とは、前述の自身の映像表示機器以外の映像表示機器のことである。自身の映像表示機器を用いているユーザを単にユーザ或いは自ユーザと呼び、他の映像表示機器を用いているユーザを他のユーザ或いは他ユーザと呼ぶ。
【００９６】
また、本実施形態にかかる映像表示機器は、ユーザの頭部に装着され、ユーザの視野の少なくとも一部に表示部を有する頭部装着型表示機器であってもよい。
【００９７】
ここで頭部装着型表示機器とは、具体的には上述してきたようにＨＭＤ等である。ここでＨＭＤは、図２に示すように、両目で表示画像を見るような、ユーザの視野に対して表示画像の占める割合が大きいものであってもよい。また、図２０に示すように、片目で表示画像を見るような、ユーザの視野に対して表示画像の占める割合が小さいものであってもよい。
【００９８】
これにより、本実施形態に係る映像表示機器として、頭部装着型表示機器を用いることが可能になる。
【００９９】
また、本実施形態は、図１に示したように、第１の映像を取得する第１映像取得部１１と、第２の映像を取得する第２映像取得部１２と、処理部１６と、表示制御部１７としてコンピュータを機能させるプログラムに関係する。そして、処理部１６は、映像表示モードの判定を行う映像表示モード判定部１３を含む。また、表示制御部１７は、映像表示モード判定部１３により、映像表示モードが視聴モードであると判定された場合には、第１の映像を表示部１５に表示する制御を行い、映像表示モードがコミュニケーションモードであると判定された場合には、第２の映像を表示部１５に表示する制御を行う。
【０１００】
これにより、本実施形態は、映像表示機器をハードウェア的に実現するケースにとどまらず、ＰＣ等のコンピュータシステムに対して、映像表示処理をソフトウェア的に実行させるものに対しても適用することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
【０１０１】
３．第２の実施形態
【０１０２】
次に、第２の実施形態について図１３を用いて説明する。第１の実施形態に比べると、通信部１１３と映像生成部１１２の追加がなされることが特徴である。
【０１０３】
次に、第２の実施形態の作用を説明する。通信部１１３により、第１のＨＭＤと第２のＨＭＤ間で、映像、音声、テキスト入力、などの情報を相互に通信する。なお、ＨＭＤの数は２つに限定されるものではない。映像の切り替えのための方式は、第１の実施の形態に示した各種の方法を用いることが出来る。
【０１０４】
第２の映像として、通信で得た情報を元に、アバター映像を生成する。このようにして生成した画像を第２の映像として、図１４のように表示する。
【０１０５】
なお、本実施形態の各構成は、当然、各種の変形、変更が可能である。テキスト入力情報を、通信部１１３を介してやり取りすることでテキストチャットを実現し、第１の実施形態の切替条件による映像の切替で表示部１０５に表示するようにしてもよい。
【０１０６】
以上のような構成により、第２の映像への切替で適切なＨＭＤ装着者間のコミュニケーションを容易に実現することが可能となる。
【０１０７】
以上の本実施形態では、図１３に示したように、第２映像取得部１１６（ここでも第１の実施形態と同様に、図１３における第１の映像表示機器１００を自身の映像表示機器として説明する）は、他の映像表示機器（第２の映像表示機器２００）から他のユーザの情報である他ユーザ情報を取得し、第２の映像として他ユーザ情報に基づいて生成された映像を取得する。
【０１０８】
これにより、コミュニケーションのために調整した映像をやりとりすることになるため、より豊かなコミュニケーションを実現する。特に本実施形態では、各ユーザはＨＭＤを装着していることが想定されるため、撮像画像を用いた場合には、ユーザの表情等の情報を得ることが困難であることから、コミュニケーション用の映像を用いることは特に効果を発揮する。
【０１０９】
また、第２映像取得部１１６は、第２の映像として、他ユーザ情報に基づいて生成された、他のユーザのアバター映像を取得してもよい。
【０１１０】
これにより、図１４に示したようなアバターを用いたコミュニケーションが可能となる。アバターの表情や姿勢、動作等を適宜設定することにより、無味乾燥とした撮像画像に比べて、より豊かなコミュニケーションが可能になる。
【０１１１】
また、第２映像取得部１１６は、自身の映像表示機器（第１の映像表示機器１００）を装着したユーザの情報である自ユーザ情報を取得するとともに、第２の映像として、自ユーザ情報である自ユーザの発話情報と、他ユーザ情報である他のユーザの発話情報とを表すチャット映像を取得してもよい。
【０１１２】
これにより、アバターの時と同様豊かなコミュニケーションを実現する。それとともに、図１５のように発話音声がテキストとなり表示されることになるため、音声を中心とした第１の映像コンテンツの視聴を妨げることなく、適切なコミュニケーションを行うことが可能になる。
【０１１３】
４．変形例
【０１１４】
次に変形例について説明する。ここでは、他のＨＭＤを検出するエリアを複数設けて、エリアごとにＨＭＤを検出した際の処理を変更する。
【０１１５】
具体的には例えば、２つの検出エリアを設定する場合が考えられる。第１の検出エリアとして、図１６に示したようにユーザの指向方向領域を設定し、第２の検出エリアとしてユーザの周囲の領域を設定する。ここで、第１の検出エリアは、ＨＭＤを装着したユーザの注視範囲（標準的な水平画角として４０〜５０°の範囲が一般的）であり、ユーザの視界ならびにＨＭＤの表示部１０５（表示装置）の中心的な画角範囲に相当する。また、第２の検出エリアは、主にＨＭＤを中心とした同一の室内（家庭であれば半径２ｍ程度）の領域に相当する。また、第１の検出エリアを、第２の検出エリアと同様にＨＭＤを中心とした距離を組み合わせて設定してもよい。
【０１１６】
第１の検出エリアで他のＨＭＤが検出された場合には、相手の状態判定(姿勢、発話、表情など)、通信の開始処理(コミュニケーションの開始、映像の生成開始など)及び映像の切替処理（第２の映像の表示）等を行う。それに対して、第２の検出エリアで他のＨＭＤが検出された場合には、処理部１０２は、ＨＭＤユーザの存在の判定、ビーコンの受信処理・発信処理及びマーカの認識処理等の負荷の軽い第２の処理を行う。この、第２の処理に比べて第１の処理は負荷の重い処理となる。
【０１１７】
このようにすることで、比較的ＨＭＤを装着したユーザから遠い検出エリアにおいて他のＨＭＤが検出された場合、つまり、ユーザ間でのコミュニケーションの意志は強くないと判断することができる場合には、負荷の軽い処理を行う。そして、ユーザの指向方向領域において他のＨＭＤが検出された場合、つまり、ユーザ間でコミュニケーションが行われることが想定される場合には、コミュニケーションのための負荷の重い処理を行う。よって、常時負荷の重い処理を行う場合に比べて、必要なときだけ当該重い処理を行えばよくなるため、全体として処理負荷を軽減することが可能になる。
【０１１８】
また、検出エリアは必ずしも２つに限定されるものではない。図１７に示すようにパーソナルスペースを考慮して周囲半径１ｍ以内に第３、第４の検出エリアを定義して強制的にコミュニケーションモードに移行するようにしてもよい。
【０１１９】
具体的には、図１７において、４つの検知エリアに分けた場合には、第１の検出エリアでは相互にコミュニケーションを開始することの許諾を求めるダイアログを双方に通知する。第４の検出エリア（直径数十センチ程度）では、近接が著しいので強制的にコミュニケーションモードに移行する。第２の検出エリアでは、周囲に他のユーザが存在することを簡易なアイコンなどで目立たず表示する。第３の検出エリアでは背後から著しい近接をされているので、危険情報としてアラートアイコンなどで表示する。
【０１２０】
このようにすることで、さらに細かく検出エリアを分割して、それぞれ異なる処理を行うことが可能になる。
【０１２１】
また、誰が近接しているかなど、ユーザＩＤの登録をあらかじめしておき、その情報を事前表示してもよい。また、近接度が上がり、視野正面に対象が遷移するにしたがって、コミュニケーションモード、ならびにそれを通知、承諾を問いかける各種情報表示を段階的に変更させてもよい。
【０１２２】
さらに、方位情報を表示することもできる。あたかも目が後ろにもあるように、相手のＨＭＤが右後方にいる場合にでも、第２の検出エリアにいる場合には気づきランプがＨＭＤの画面の右側に点滅して知らせるなど、映像鑑賞画面の外周部にレーダー状に周囲のＨＭＤの配置状況を表示するようにしてもよい。
【０１２３】
このように構成すれば、気付きランプに従ってそちらを振り向くことで第１の検出エリアに該当のＨＭＤをとらえ、コミュニケーションモードへ移行することができる。このとき、同時に簡易的な相手の情報（アイコン、名前などのＩＤ情報）のプレ通信を実施し、その内容を表示部１０５に表示するようにしてもよい。
【０１２４】
映画鑑賞モード等における動作例としては、以下のような形態が考えられる。他のＨＭＤの察知には鈍感になるようにすることで、ゆっくり鑑賞にひたってもらい、よりいっそうの没入感を演出する。具体的には、第１の映像として一定時間同じものを見ていること等を条件に、第１・２の検出エリアが狭くなる（感度が鈍くなる）よう構成しても良い。それと共に、いざ近接して呼びかけを行われた場合は応答が出来るようにするため、第１・２の検出エリアをなくすような処理は行わない。
【０１２５】
次に、このような変形例を実現するためのセンサの例について説明する。図１８に示したように、受信に関しては指向性を有し、発信に関しては指向性を有さない（ただし、強度の判定は行う）。
【０１２６】
以下、赤外線の送受信モジュールを用いる例について説明する。送信部分は赤外線ＬＥＤに拡散のための乳白食のカバーや円錐や回転放物面ミラー、回転双曲線ミラーによる全方位拡散光学系を設けることで、少なくとも水平方向上下数十度の範囲に赤外線を投射する。一方、画角（表示装置の水平画角以下、例えば視野角とほぼ同じ４０〜５０°）を持つ集光レンズを介して装着者正面方向に光軸を向けて設置した赤外線受光部を設ける。
【０１２７】
これにより、他のＨＭＤの発光部から拡散した赤外線は、装着者のＨＭＤの受光範囲に他のＨＭＤが存在する場合は受光されることになる。範囲外の場合は受光されないか、強度が反射を経ているので低い。距離は、この受光強度で判別することになる。
【０１２８】
また、第２の検出エリアを検知するためには、もう一段無指向性の赤外線受光部を設けることが必要となる。無指向性の赤外線発光部、受光部は図１８ではパノラミックに上下画角の範囲が全周に回転した受光特性を持つが、魚眼レンズの組み合わせで３６０度全天周をカバーするように構成してもかまわない。より単純化するには、全方位結像光学系と赤外線分割受光素子を組み合わせ第１の検出エリア、第２の検出エリアで受光素子の検知強度を検出するようにしてもよい。
【０１２９】
また、撮像装置（撮像部１０６）をセンサとして兼用する場合は、撮像装置の画角により決定される角度範囲に対応する指向性を有することとなる。
【０１３０】
また、超音波の場合は無指向性のスピーカ（発信部）と無指向性マイク、指向性マイク（受信部）の組み合わせで上記構成と同等の効果を得るようにしてもよい。
【０１３１】
次に、上述のように複数の検出エリアを設定した場合の、処理の詳細について図１９のフローチャートを用いて説明する。このフローチャートでは、周囲に近接すると、近くに他のＨＭＤがいる場合その存在を通知する機能、コミュニケーションモードに切り替える機能及び近接かつ正面に他ＨＭＤが存在する場合には強制的にコミュニケーションモードに切り替わる機能を持つ。
【０１３２】
具体的には、この処理が開始されると、まず第１の映像を表示部１０５に表示する（Ｓ３０１）。次に視聴を終了するかの判定が行われ（Ｓ３０２）、Ｙｅｓの場合は視聴を終了する。Ｎｏの場合は第１の検出エリア、第２の検出エリアに他のＨＭＤが検出されたか否かの判定が行われ（Ｓ３０６）（Ｓ３０３）、Ｎｏの場合はＳ３０１に戻る。なお、第１の検出エリアでの検出処理及び第２の検出エリアでの検出処理は、例えばマルチスレッド等を用いて並列に行われるものとする。
【０１３３】
Ｓ３０３において、第２の検出エリアに他のＨＭＤが検出された場合には、近くに他のユーザがいる旨を表示部に表示し（Ｓ３０４）、コミュニケーションモードに移行するか否かの判定を行う（Ｓ３０５）。Ｙｅｓの場合には、Ｓ３０７に移行し、コミュニケーションモードが開始される。Ｎｏの場合には、Ｓ３０１に戻る。
【０１３４】
Ｓ３０５でＹｅｓと判定された場合には、Ｓ３０７からコミュニケーションモードが開始され、まず、他のＨＭＤの情報を取得し（Ｓ３０７）、第２の映像を生成し（Ｓ３０８）、第２の映像を表示部１０５に表示する（Ｓ３０９）。そして、コミュニケーションモードを終了するかの判定が行われ（Ｓ３１０）、Ｎｏの場合はＳ３０７に戻りコミュニケーションモードが継続される。また、Ｓ３１０でＹｅｓの場合には、Ｓ３０１に戻ることになる。
【０１３５】
また、第２の検出エリアにおける検出処理と並列に、第１の検出エリアに他のＨＭＤが検出されたか否かの判定が行われる（Ｓ３０６）。Ｓ３０６でＮｏの場合には、Ｓ３０１に戻り、Ｙｅｓの場合にはＳ３１１に移行し、コミュニケーションモードが開始される。
【０１３６】
Ｓ３０６でＹｅｓと判定された場合の処理がＳ３１１〜Ｓ３１４となる。この処理は上述したＳ３０７〜Ｓ３１０の処理と同様であるため、詳細な説明は省略する。
【０１３７】
以上の本実施形態では、自身の映像表示機器（ここでも第１の映像表示機器１００について説明する）を装着したユーザの視野範囲に対応した角度範囲に第１の検出エリアが設定され、ユーザの周囲に第２の検出エリアが設定されるとともに、前記処理部１０２は、第２の検出エリアに他の映像表示機器（第２の映像表示機器２００等）が存在すると判定された場合には、処理の負荷が軽い第２の処理を行う。また、第１の検出エリアに他の映像表示機器が存在すると判定された場合には、第２の処理に比べて負荷の重い第１の処理を行う。
【０１３８】
ここで、第１の処理とは例えば、他ユーザ情報（通信部１１３から受信した他の映像表示機器を装着したユーザの情報）に基づく状態判定処理、通信部１１３による通信の開始処理及び映像切替部１０４による映像切替処理等である。また、第２の処理とは例えば、受信処理部１０９による受信処理、発信処理１１０部による発信処理及び画像認識部１０７により識別マーカ認識処理等である。
【０１３９】
これにより、自身の映像表示機器（第１の映像表示機器１００）に対して、他の映像表示機器（第２の映像表示機器２００）が存在する位置に応じて、行う処理を変更することが可能になる。その際の基準として、第１の検出エリアでは負荷の重い処理を行い、第２の検出エリアでは負荷の軽い処理を行う。これは、コミュニケーションモードの実現に必要な処理は、負荷が重いことによる。つまり、常時コミュニケーションモードのための処理を行っていたのでは、システムにかかる負荷が重く、かつ、視聴モードにおいては必要ない処理も含まれるため無駄が多い。そこで、普段は視聴モードの処理、及びコミュニケーションモードへの移行に必要な最低限の処理にとどめておく。そして、所与の角度範囲内（例えばユーザの視野範囲内）に他の映像表示機器が見つかった場合、つまりコミュニケーションが行われる可能性が高い場合にのみ、負荷の重い処理を行うことでシステムのリソースを効率的に利用することが可能になる。
【０１４０】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１４１】
１０ 映像表示機器、１１ 第１の映像取得部、１２ 第２の映像取得部、
１３ 映像表示モード判定部、１４ 映像切替部、１５ 表示部、１６ 処理部、
１７ 表示制御部、１００ 映像表示機器、１０１ 映像再生部、１０２ 処理部、
１０３ 映像表示モード判定部、１０４ 映像切替部、１０５ 表示部、
１０６ 撮像部、１０７ 画像認識部、１０８ 送受信部、１０９ 受信処理部、
１１０ 発信処理部、１１２ 映像生成部、１１３ 通信部
【特許請求の範囲】
【請求項１】
第１の映像を取得する第１映像取得部と、
撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、
処理部と、
表示部と、
を含み、
前記処理部は、
映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、
前記表示部は、
前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を表示し、
前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を表示することを特徴とする映像表示機器。
【請求項２】
請求項１において、
前記映像表示モード判定部は、
前記自身の映像表示機器と、前記他の映像表示機器との位置関係を表す位置関係情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うことを特徴とする映像表示機器。
【請求項３】
請求項１又は２において、
前記処理部は、
前記撮像画像に基づいて画像認識処理を行う画像認識部を含み、
前記映像表示モード判定部は、
前記画像認識部による前記撮像画像の認識結果に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うことを特徴とする映像表示機器。
【請求項４】
請求項３において、
前記映像表示モード判定部は、
前記画像認識部での画像認識処理の結果、前記他の映像表示機器が、前記自身の映像表示機器から所与の距離よりも近い位置に存在すると判定された場合には、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項５】
請求項３において、
前記画像認識部は、
前記撮像画像において、前記他の映像表示機器の画像認識処理を行うことで、前記撮像画像における前記他の映像表示機器の大きさ情報を取得し、
前記映像表示モード判定部は、
前記他の映像表示機器の大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項６】
請求項３において、
前記画像認識部は、
前記撮像画像において、前記他の映像表示機器に付与された識別マーカの画像認識処理を行うことで、前記撮像画像における前記識別マーカの大きさ情報を取得し、
前記映像表示モード判定部は、
前記識別マーカの大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項７】
請求項１又は２において、
前記処理部は、
センサからのセンサ情報を取得するセンサ情報取得部を含み、
前記映像表示モード判定部は、
前記センサ情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うことを特徴とする映像表示機器。
【請求項８】
請求項７において、
前記センサ情報により、前記自身の映像表示機器に対して設定された所与の角度範囲内に、前記他の映像表示機器が存在すると判定された場合には、
前記映像表示モード判定部は、
前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項９】
請求項７又は８において、
前記処理部は、
前記他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信する受信処理部を含み、
前記映像表示モード判定部は、
前記センサ情報取得部が、前記センサ情報として前記位置発信情報を取得した場合に、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項１０】
請求項９において、
前記受信処理部は、
前記ユーザの視野範囲に対応する受信範囲で前記位置発信情報を受信することを特徴とする映像表示機器。
【請求項１１】
請求項７又は８において、
前記処理部は、
指向性を有さない送信範囲で位置発信情報を発信する発信処理部を含むことを特徴とする映像表示機器。
【請求項１２】
請求項１において、
前記第１の映像、前記第２の映像の映像切り替え処理を行う映像切替部を含み、
前記映像切替部は、
前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像が前記表示部に表示されるように映像切り替え処理を行い、
前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像が前記表示部に表示されるように映像切り替え処理を行うことを特徴とする映像表示機器。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記自身の映像表示機器を装着したユーザの周囲に第２の検出エリアが設定されるとともに、前記ユーザの視野範囲に対応した角度範囲に第１の検出エリアが設定され、
前記処理部は、
前記第２のエリアに前記他の映像表示機器が存在すると判定された場合には、負荷の軽い第２の処理を行い、前記第１のエリアに前記他の映像表示機器が存在すると判定された場合には、前記第２の処理に比べて負荷の重い第１の処理を行うことを特徴とする映像表示機器。
【請求項１４】
請求項１３において、
前記処理部は、
負荷の軽い前記第２の処理として、受信処理部による受信処理、送信処理部による送信処理及び画像認識部による識別マーカ認識処理の少なくとも１つの処理を行うことを特徴とする映像表示機器。
【請求項１５】
請求項１３において、
前記処理部は、
負荷の重い前記第１の処理として、通信部から受信した前記他の映像表示機器を装着した他のユーザの情報である他ユーザ情報に基づく状態判定処理、前記通信部による通信の開始処理及び映像切替部による映像切替処理の少なくとも１つの処理を行うことを特徴とする映像表示機器。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
前記第２映像取得部は、
前記他の映像表示機器から、前記他の映像表示機器を装着している他のユーザの情報である他ユーザ情報を取得し、前記第２の映像として、前記他ユーザ情報に基づいて生成された映像を取得することを特徴とする映像表示機器。
【請求項１７】
請求項１６において、
前記第２映像取得部は、
前記第２の映像として、前記他ユーザ情報に基づいて生成された前記他のユーザのアバター映像を取得することを特徴とする映像表示機器。
【請求項１８】
請求項１６において、
前記第２映像取得部は、
自身の映像表示機器を装着したユーザの情報である自ユーザ情報を取得するとともに、前記２の映像として、前記自ユーザ情報である発話情報と、前記他ユーザ情報である発話情報とを表すチャット映像を取得することを特徴とする映像表示機器。
【請求項１９】
請求項１乃至１８において、
前記映像表示機は、ユーザの頭部に装着され、ユーザの視野の少なくとも一部に表示部を有する頭部装着型表示機器であることを特徴とする映像表示機器。
【請求項２０】
第１の映像を取得する第１映像取得部と、
撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、
処理部と、
表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記処理部は、
映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、
前記表示制御部は、
前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を前記表示部に表示する制御を行い、
前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項１】
第１の映像を取得する第１映像取得部と、
撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、
処理部と、
表示部と、
を含み、
前記処理部は、
映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、
前記表示部は、
前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を表示し、
前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を表示することを特徴とする映像表示機器。
【請求項２】
請求項１において、
前記映像表示モード判定部は、
前記自身の映像表示機器と、前記他の映像表示機器との位置関係を表す位置関係情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うことを特徴とする映像表示機器。
【請求項３】
請求項１又は２において、
前記処理部は、
前記撮像画像に基づいて画像認識処理を行う画像認識部を含み、
前記映像表示モード判定部は、
前記画像認識部による前記撮像画像の認識結果に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うことを特徴とする映像表示機器。
【請求項４】
請求項３において、
前記映像表示モード判定部は、
前記画像認識部での画像認識処理の結果、前記他の映像表示機器が、前記自身の映像表示機器から所与の距離よりも近い位置に存在すると判定された場合には、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項５】
請求項３において、
前記画像認識部は、
前記撮像画像において、前記他の映像表示機器の画像認識処理を行うことで、前記撮像画像における前記他の映像表示機器の大きさ情報を取得し、
前記映像表示モード判定部は、
前記他の映像表示機器の大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項６】
請求項３において、
前記画像認識部は、
前記撮像画像において、前記他の映像表示機器に付与された識別マーカの画像認識処理を行うことで、前記撮像画像における前記識別マーカの大きさ情報を取得し、
前記映像表示モード判定部は、
前記識別マーカの大きさ情報により表される大きさが、所与の閾値よりも大きい場合には、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項７】
請求項１又は２において、
前記処理部は、
センサからのセンサ情報を取得するセンサ情報取得部を含み、
前記映像表示モード判定部は、
前記センサ情報に基づいて、前記映像表示モードが、前記視聴モードであるか、前記コミュニケーションモードであるかの判定を行うことを特徴とする映像表示機器。
【請求項８】
請求項７において、
前記センサ情報により、前記自身の映像表示機器に対して設定された所与の角度範囲内に、前記他の映像表示機器が存在すると判定された場合には、
前記映像表示モード判定部は、
前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項９】
請求項７又は８において、
前記処理部は、
前記他の映像表示機器が発信した位置発信情報を、指向性を有する受信範囲で受信する受信処理部を含み、
前記映像表示モード判定部は、
前記センサ情報取得部が、前記センサ情報として前記位置発信情報を取得した場合に、前記映像表示モードが、前記コミュニケーションモードであると判定することを特徴とする映像表示機器。
【請求項１０】
請求項９において、
前記受信処理部は、
前記ユーザの視野範囲に対応する受信範囲で前記位置発信情報を受信することを特徴とする映像表示機器。
【請求項１１】
請求項７又は８において、
前記処理部は、
指向性を有さない送信範囲で位置発信情報を発信する発信処理部を含むことを特徴とする映像表示機器。
【請求項１２】
請求項１において、
前記第１の映像、前記第２の映像の映像切り替え処理を行う映像切替部を含み、
前記映像切替部は、
前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像が前記表示部に表示されるように映像切り替え処理を行い、
前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像が前記表示部に表示されるように映像切り替え処理を行うことを特徴とする映像表示機器。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記自身の映像表示機器を装着したユーザの周囲に第２の検出エリアが設定されるとともに、前記ユーザの視野範囲に対応した角度範囲に第１の検出エリアが設定され、
前記処理部は、
前記第２のエリアに前記他の映像表示機器が存在すると判定された場合には、負荷の軽い第２の処理を行い、前記第１のエリアに前記他の映像表示機器が存在すると判定された場合には、前記第２の処理に比べて負荷の重い第１の処理を行うことを特徴とする映像表示機器。
【請求項１４】
請求項１３において、
前記処理部は、
負荷の軽い前記第２の処理として、受信処理部による受信処理、送信処理部による送信処理及び画像認識部による識別マーカ認識処理の少なくとも１つの処理を行うことを特徴とする映像表示機器。
【請求項１５】
請求項１３において、
前記処理部は、
負荷の重い前記第１の処理として、通信部から受信した前記他の映像表示機器を装着した他のユーザの情報である他ユーザ情報に基づく状態判定処理、前記通信部による通信の開始処理及び映像切替部による映像切替処理の少なくとも１つの処理を行うことを特徴とする映像表示機器。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
前記第２映像取得部は、
前記他の映像表示機器から、前記他の映像表示機器を装着している他のユーザの情報である他ユーザ情報を取得し、前記第２の映像として、前記他ユーザ情報に基づいて生成された映像を取得することを特徴とする映像表示機器。
【請求項１７】
請求項１６において、
前記第２映像取得部は、
前記第２の映像として、前記他ユーザ情報に基づいて生成された前記他のユーザのアバター映像を取得することを特徴とする映像表示機器。
【請求項１８】
請求項１６において、
前記第２映像取得部は、
自身の映像表示機器を装着したユーザの情報である自ユーザ情報を取得するとともに、前記２の映像として、前記自ユーザ情報である発話情報と、前記他ユーザ情報である発話情報とを表すチャット映像を取得することを特徴とする映像表示機器。
【請求項１９】
請求項１乃至１８において、
前記映像表示機は、ユーザの頭部に装着され、ユーザの視野の少なくとも一部に表示部を有する頭部装着型表示機器であることを特徴とする映像表示機器。
【請求項２０】
第１の映像を取得する第１映像取得部と、
撮像部からの撮像画像又は通信部からの通信情報に基づいて生成された第２の映像を取得する第２映像取得部と、
処理部と、
表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記処理部は、
映像表示モードが、視聴モードであるか、自身の映像表示機器とは異なる他の映像表示機器とのコミュニケーションを行うためのコミュニケーションモードであるかの判定を行う映像表示モード判定部を含み、
前記表示制御部は、
前記映像表示モード判定部により、前記映像表示モードが前記視聴モードであると判定された場合には、前記第１の映像を前記表示部に表示する制御を行い、
前記映像表示モード判定部により、前記映像表示モードが前記コミュニケーションモードであると判定された場合には、前記第２の映像を前記表示部に表示する制御を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−１５１６６８（Ｐ２０１２−１５１６６８Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−８９０８（Ｐ２０１１−８９０８）
【出願日】平成２３年１月１９日（２０１１．１．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１９日（２０１１．１．１９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]