情報提供装置および映像提供システム
【課題】複数のユーザが１つの映像表示面を見るシステムにおいて、複数のユーザのそれぞれに異なる字幕情報を表示する。
【解決手段】映像を表示する映像表示面を見るユーザに副情報を提供する情報提供装置であって、副情報を表示する情報表示面を含み、映像表示面からの光および情報表示面からの光を合成してユーザの眼に与える表示光学系と、ユーザの視野内における映像表示面の位置を検出する検出部と、副情報をユーザの視野内における映像表示面に対応する位置に表示させる表示制御部と、を備える情報提供装置を提供する。
【解決手段】映像を表示する映像表示面を見るユーザに副情報を提供する情報提供装置であって、副情報を表示する情報表示面を含み、映像表示面からの光および情報表示面からの光を合成してユーザの眼に与える表示光学系と、ユーザの視野内における映像表示面の位置を検出する検出部と、副情報をユーザの視野内における映像表示面に対応する位置に表示させる表示制御部と、を備える情報提供装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供装置および映像提供システムに関する。
【背景技術】
【０００２】
映画館等では、複数のユーザが１つの大型スクリーンに表示された画像を同時に鑑賞する。また、映画館等において提供される画像には、映像とともに、字幕等の文字情報がスクリーンに同時に表示される場合がある。また、映画館等では、立体映画を提供する場合には、複数のユーザのそれぞれが専用のメガネを装着してスクリーンに表示された画像を鑑賞する。
【０００３】
特許文献１ 特開２００２−１５３６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、映画館等では、スクリーンの端に映像に重ねて文字情報を表示するので、複数の言語の文字情報を同時に表示すると鑑賞の邪魔になってしまう場合があった。このため、映画館等では、複数の言語の文字情報を同時に表示することが困難であった。
【課題を解決するための手段】
【０００５】
本発明の第１の態様においては、映像を表示する映像表示面を見るユーザに副情報を提供する情報提供装置であって、前記副情報を表示する情報表示面を含み、前記映像表示面からの光および前記情報表示面からの光を合成して前記ユーザの眼に与える表示光学系と、前記ユーザの視野内における前記映像表示面の位置を検出する検出部と、前記副情報を前記ユーザの視野内における前記映像表示面に対応する位置に表示させる表示制御部と、を備える情報提供装置、および、情報提供システムを提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る映像提供システム１０を示す。
【図２】本実施形態に係る情報提供装置２０の外観の一例を示す。
【図３】本実施形態に係る情報提供装置２０の機能構成を示す。
【図４】本実施形態に係る情報提供装置２０の処理フローを示す。
【図５】本実施形態に係る情報提供装置２０により生成される情報表示面６２の虚像の位置、および、映像表示面１２に対する副情報の表示位置を示す。
【図６】情報提供装置２０が左側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。
【図７】情報提供装置２０が後ろ側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。
【図８】映像表示面１２がユーザの視野の略中心に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。
【図９】映像表示面１２がユーザの視野の左側に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。
【図１０】映像表示面１２を略正面から撮像した画像の一例を示す。
【図１１】映像表示面１２を左側から撮像した画像の一例を示す。
【図１２】映像表示面１２を右側から撮像した画像の一例を示す。
【図１３】正面から映像表示面１２を見た場合における、複数の基準光発光部８０の配置の一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係る映像提供システム１０を示す。本実施形態に係る映像提供システム１０は、映像を少なくとも一人のユーザに鑑賞させる。映像提供システム１０は、一例として、大型スクリーンに立体表示用の右眼用画像および左眼用画像を表示して、複数のユーザのそれぞれに立体画像を鑑賞させる。
【００１０】
映像提供システム１０は、映像表示面１２と、送信部１４と、少なくとも一つの情報提供装置２０を備える。映像表示面１２は、少なくも一人のユーザのそれぞれにより見ることができる位置に設けられ、映像を表示する。これにより、映像表示面１２は、少なくも一人のユーザのそれぞれに同時に映像を鑑賞させることができる。
【００１１】
送信部１４は、副情報を少なくとも１つの情報提供装置２０のそれぞれに送信する。副情報は、映像表示面１２に表示された映像とともにユーザに視覚的に提示する情報である。副情報は、一例として、映像に合成して表示する字幕情報である。
【００１２】
送信部１４は、一例として、映像表示面１２に表示される映像に同期した副情報（字幕情報）を、それぞれの情報提供装置２０に送信する。送信部１４は、無線で副情報を情報提供装置２０のそれぞれに送信してもよいし、ケーブル等を介して副情報を情報提供装置２０のそれぞれに送信してもよい。
【００１３】
少なくとも一つの情報提供装置２０のそれぞれは、映像表示面１２を見るユーザのそれぞれに対応して設けられ、対応するユーザに装着される。そして、少なくとも一つの情報提供装置２０のそれぞれは、対応するユーザに視覚的に副情報を提供する。
【００１４】
より具体的には、情報提供装置２０は、対応するユーザの頭部にメガネのように装着される。情報提供装置２０は、装着したユーザの右眼および左眼のそれぞれに、映像表示面１２により表示された映像の光を透過して与える。これとともに、情報提供装置２０は、送信部１４から送信された副情報を内部において表示して、装着したユーザの右眼および左眼のそれぞれに映像表示面１２により表示された映像に副情報を合成して与える。
【００１５】
図２は、本実施形態に係る情報提供装置２０の外観の一例を示す。情報提供装置２０は、右眼用の表示光学系２２−Ｒと、左眼用の２２−Ｌと、本体部２４と、検出部２６と、保持部２８とを備える。
【００１６】
右眼用の表示光学系２２−Ｒは、ユーザが当該情報提供装置２０を装着した場合において、ユーザの右眼の前に配置される。右眼用の表示光学系２２−Ｒは、映像表示面１２に表示された映像からの光を透過してユーザの右眼へと与えるとともに、内部で副情報を表示して右眼へと与える。
【００１７】
左眼用の表示光学系２２−Ｌは、ユーザが当該情報提供装置２０を装着した場合において、ユーザの左眼の前に配置される。左眼用の表示光学系２２−Ｌは、映像表示面１２に表示された映像からの光を透過してユーザの左眼へと与えるとともに、内部で副情報を表示して左眼へと与える。
【００１８】
本体部２４は、右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌを保持する。これとともに、本体部２４は、当該情報提供装置２０を動作させるための機能ブロック（電源回路および制御回路等）を内蔵する。なお、本体部２４内に備えられる機能ブロックは、当該情報提供装置２０と別体の他の機器（例えば、ユーザが着座する椅子）に設けられてもよい。
【００１９】
検出部２６は、ユーザの視野内における映像表示面１２の位置を検出する。検出部２６は、一例として、右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌに対して固定された位置から映像表示面１２を撮像し、撮像した画像からユーザの視野内における映像表示面１２の位置を検出する。これにより、検出部２６は、ユーザの視野の移動に伴い、撮像する画角も移動する。従って、検出部２６は、撮像画像から、表示光学系２２−Ｒおよび表示光学系２２−Ｌを介して映像表示面１２を見ているユーザの視野内における、映像表示面１２の位置を検出することができる。
【００２０】
保持部２８は、当該情報提供装置２０をユーザの頭部に固定する。これにより、保持部２８は、当該情報提供装置２０がユーザの頭部に装着された状態において、ユーザが頭部を移動させても、右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌのそれぞれをユーザの右眼および左眼の前に配置した状態で固定することができる。
【００２１】
図３は、本実施形態に係る情報提供装置２０の機能構成を示す。情報提供装置２０は、機能ブロックとして、右眼用の表示光学系２２−Ｒと、左眼用の表示光学系２２−Ｌと、検出部４２と、表示制御部４４と、操作入力部４６と、受信部４８と、選択部５０と、校正部５２とを備える。なお、右眼用の表示光学系２２−Ｌおよび左眼用の表示光学系２２−Ｌは、内部構造は共通する。従って、これらを共通して説明する場合には、これらを併せて単に表示光学系２２と呼ぶ。
【００２２】
表示光学系２２は、情報表示面６２と、ハーフミラー６４と、調整光学系６６とを有する。情報表示面６２は、表示光学系２２の内部に設けられる小型のディスプレイであって、副情報を表示する。
【００２３】
ハーフミラー６４は、映像表示面１２により表示された映像の光を透過して、対応する眼に与える。これとともに、ハーフミラー６４は、情報表示面６２に表示された副情報の光を反射して、対応する眼に与える。このような、ハーフミラー６４は、映像表示面１２からの光および情報表示面６２からの光を合成してユーザの眼に与えることができる。
【００２４】
調整光学系６６は、情報表示面６２からの光をレンズにより集光して、情報表示面６２の虚像を対応する眼に与える。調整光学系６６は、表示光学系２２から映像表示面１２までの距離に応じて、情報表示面６２の虚像の位置を変更する。調整光学系６６は、一例として、映像表示面１２上に情報表示面６２の虚像が見えるようにレンズのフォーカス位置を制御する。これにより、調整光学系６６は、情報表示面６２に表示された副情報を、映像表示面１２上に表示されているようにユーザに見せることができる。
【００２５】
このように、表示光学系２２は、副情報を表示する情報表示面６２およびハーフミラー６４を有するので、映像表示面１２からの光および情報表示面６２からの光を合成してユーザの眼に与えることができる。さらに、表示光学系２２は、調整光学系６６を有するので、映像表示面１２上に副情報が表示されているような位置に、情報表示面６２の虚像をユーザに見せることができる。
【００２６】
検出部４２は、表示光学系２２に対する映像表示面１２の相対位置を検出する。より具体的には、検出部４２は、ユーザの視野内における映像表示面１２の位置、および、表示光学系２２から映像表示面１２までの距離を算出する。
【００２７】
検出部４２は、一例として、撮像部７２と、算出部７４とを有する。撮像部７２は、表示光学系２２に対して固定された予め定められた撮像位置において、映像表示面１２を撮像する。これにより、撮像部７２は、ユーザの視野に対して予め定められた画角で映像表示面１２を撮像することができる。
【００２８】
算出部７４は、撮像部７２により撮像された画像中の映像表示面１２の位置に基づき、ユーザの視野内における映像表示面１２の位置を算出する。算出部７４は、一例として、画像中における水平方向における映像表示面１２の位置から、ユーザの視野内における映像表示面１２の水平方向の位置を算出する。
【００２９】
また、算出部７４は、撮像部７２により撮像された画像中の映像表示面１２の形状に基づき、表示光学系２２に対する映像表示面１２の向きを算出する。算出部７４は、一例として、画像中における映像表示面１２の４角の位置から画像中における映像表示面１２の形状を算出し、算出した映像表示面１２の形状から表示光学系２２に対する映像表示面１２の向きを算出する。
【００３０】
さらに、算出部７４は、予め定められた倍率に設定された撮像部７２により撮像した画像内における映像表示面１２の大きさ、予め登録された映像表示面１２の現実の大きさ、および、表示光学系２２に対する映像表示面１２の向きに基づき、表示光学系２２から映像表示面１２までの距離を算出する。算出部７４は、一例として、画像の水平方向の画素数に占める映像表示面１２の割合、表示光学系２２に対する映像表示面１２の向き、撮像時の倍率、および、映像表示面１２の現実の大きさから、表示光学系２２から映像表示面１２の中心までの距離を算出する。
【００３１】
検出部４２は、このような撮像部７２および算出部７４を有することにより、表示光学系２２に対する映像表示面１２の相対位置を検出することができる。即ち、検出部４２は、ユーザの視野内における映像表示面１２の位置、および、表示光学系２２から映像表示面１２までの距離を算出することができる。
【００３２】
表示制御部４４は、表示光学系２２に対する映像表示面１２の相対位置に応じて、ユーザの視野内における副情報の表示位置および情報表示面６２の虚像の生成距離を制御する。より具体的には、表示制御部４４は、検出部４２により検出されたユーザの視野内における映像表示面１２の位置に応じて情報表示面６２上における副情報の表示位置を変化させて、副情報をユーザの視野内における映像表示面１２に対応する位置に固定しているように見せる。表示制御部４４は、一例として、映像表示面１２の下端に副情報が固定して見えるように、情報表示面６２上における副情報の表示位置を変化させる。
【００３３】
また、表示制御部４４は、検出部４２により検出された表示光学系２２から映像表示面１２までの距離に応じて調整光学系６６のフォーカス位置を変化させて、情報表示面６２の虚像が予め定められた距離で固定しているように見せる。表示制御部４４は、一例として、情報表示面６２の虚像が映像表示面１２上の距離に固定して見えるように、調整光学系６６のフォーカス位置を変化させる。
【００３４】
操作入力部４６は、ユーザからの当該情報提供装置２０への操作入力を受け付ける。操作入力部４６は、当該情報提供装置２０の電源投入操作、副情報の表示位置の調整操作および表示すべき副情報の内容の選択操作等を受け付ける。
【００３５】
受信部４８は、送信部１４から送信された副情報を受信する。受信部４８は、一例として、当該映像提供システム１０内において生成された副情報を受信する。これに代えて、受信部４８は、インターネット等を介して外部のサーバ等から副情報を受信してもよい。受信部４８は、受信した副情報を表示制御部４４に供給する。そして、表示制御部４４は、受信部４８により受信された副情報を右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌに供給して、それぞれの情報表示面６２に表示させる。
【００３６】
選択部５０は、送信部１４から提供される複数の副情報のうち、ユーザにより指定された副情報を選択する。選択部５０は、受信部４８に対して、送信部１４から送信される複数の副情報のうち、選択した副情報を受信させる。そして、表示制御部４４は、選択部５０により選択された副情報を情報表示面６２に表示させる。
【００３７】
例えば副情報が映像とともに表示される字幕情報である場合、選択部５０は、複数の言語の字幕情報のうちユーザにより指定された言語の字幕情報を選択する。そして、この場合、表示制御部４４は、選択部５０により選択された言語の字幕情報を、映像に同期して情報表示面６２に表示させる。これにより、表示制御部４４は、映像の各シーンに対応する字幕情報を、映像に合成して表示することができる。
【００３８】
校正部５２は、映像表示面１２に対する副情報の表示位置をユーザの指示に応じて校正する。即ち、校正部５２は、映像表示面１２における何れの位置に副情報を表示するかをユーザの指示に応じて校正する。
【００３９】
校正部５２は、一例として、副情報の表示に先立って、副情報の表示位置の候補を示すポインタを表示して、映像表示面１２に対する副情報の表示位置をユーザに指定させる。校正部５２は、一例として、映像表示面１２の下端がポインタにより指定された場合、映像表示面１２の下端に副情報が表示されるように、表示位置を調整する。そして、表示制御部４４は、映像表示面１２における校正部５２により校正された表示位置に副情報が固定しているように、情報表示面６２上における副情報の表示位置を制御する。
【００４０】
また、映像提供システム１０は、立体画像をユーザに提供してもよい。この場合、映像表示面１２は、立体表示用の右眼用画像および左眼用画像を表示する。そして、表示光学系２２は、映像表示面１２に表示された右眼用画像をユーザの右眼に与え、映像表示面１２に表示された左眼用画像をユーザの左眼に与える。
【００４１】
即ち、左眼用の表示光学系２２−Ｌは、映像表示面１２に表示された左眼用画像の光を透過してユーザの左眼に与えて、右眼用画像の光を遮断する。右眼用の表示光学系２２−Ｒは、映像表示面１２に表示された右眼用画像の光を透過してユーザの左眼に与えて、左眼用画像の光を遮断する。これにより、情報提供装置２０は、装着しているユーザに立体画像を見せるとともに、立体画像に副情報を合成して見せることができる。
【００４２】
図４は、本実施形態に係る情報提供装置２０の処理フローを示す。まず、ステップＳ１１において、情報提供装置２０は、映像表示面１２により表示される映像を鑑賞する何れかのユーザの頭部に装着される。これにより、情報提供装置２０は、映像表示面１２により表示された映像を、表示光学系２２を介してユーザに見せることができる。
【００４３】
続いて、ステップＳ１２において、情報提供装置２０は、ユーザから電源投入の操作入力が与えられる。これにより、情報提供装置２０は、動作を開始することができる。
【００４４】
続いて、ステップＳ１３において、情報提供装置２０は、視野内における映像表示面１２に対する副情報の表示位置を、ポインタ等を用いたユーザの指示に応じて校正する。情報提供装置２０は、一例として、映像表示面１２の下端領域、上端領域、右端領域または左端領域の何れに副情報を表示するかをユーザの指示に応じて選択する。また、情報提供装置２０は、映像表示面１２に重なる位置に副情報を表示せずに、映像表示面１２の外側に副情報を表示してもよい。これにより、情報提供装置２０は、個人差（例えば、眼の位置の違い）により視野内における映像表示面１２の位置がユーザ毎に異なる場合であっても、それぞれのユーザ毎に適切な位置に副情報を表示することができる。
【００４５】
続いて、ステップＳ１４において、情報提供装置２０は、ユーザの指示に応じて表示する副情報の種類を選択する。情報提供装置２０は、一例として、複数の言語の字幕情報のうちユーザにより指定された言語の字幕情報を選択する。
【００４６】
また、情報提供装置２０は、副情報として、字幕情報以外の情報（例えば、館内案内情報）を選択してもよい。また、情報提供装置２０は、副情報として、外部サーバからインターネットを介して提供される情報を選択してもよい。これにより、情報提供装置２０は、複数のユーザのそれぞれ毎に異なる種類の副情報を表示することができる。
【００４７】
続いて、ステップＳ１５において、情報提供装置２０は、映像の表示が開始されると、これと同期して副情報の表示を開始する。例えば、送信部１４は、映像の表示に同期して副情報の送信を開始する。この場合、情報提供装置２０は、送信部１４から送信された副情報を順次に表示する。これにより、情報提供装置２０は、映像に同期して副情報の表示を開始することができる。また、情報提供装置２０は、インターネットを介して外部サーバから副情報を受信するような場合には、例えばユーザによる表示開始操作がされたことに応じて、副情報の表示を開始する。
【００４８】
続いて、ステップＳ１６において、情報提供装置２０は、映像の内容に同期させて副情報を順次に更新して表示する。例えば、送信部１４は、映像の表示に同期して送信する副情報を順次に更新する。この場合、情報提供装置２０は、送信部１４から送信された副情報が更新される毎に、表示内容を順次に更新する。また、情報提供装置２０は、外部サーバ等からインターネットを介して副情報を受信するような場合には、受信したストリームに示された表示時間に従って副情報を順次に表示する。これにより、情報提供装置２０は、映像のシーン毎に適切な内容の副情報を表示することができる。
【００４９】
また、情報提供装置２０は、ステップＳ１６に並行して、ステップＳ１７の処理を実行する。ステップＳ１７において、情報提供装置２０は、ユーザの頭部の位置が動いた場合であっても、映像表示面１２に対して副情報が固定して見えるように、ユーザの視野内における副情報の表示位置および情報表示面６２の虚像の生成距離をリアルタイムで変化させる。
【００５０】
即ち、表示制御部４４は、表示光学系２２に対する映像表示面１２の相対位置に応じて、ユーザの視野内における副情報の表示位置、および、副情報を表示する情報表示面６２の虚像の距離を変化させる。より具体的には、情報提供装置２０は、ユーザの視野内における映像表示面１２の位置、および、表示光学系２２から映像表示面１２までの距離を検出する。そして、情報提供装置２０は、ユーザの視野内における映像表示面１２の位置に追従させて、ユーザの視野内における副情報の表示位置を変更し、さらに、表示光学系２２から映像表示面１２までの距離に追従して情報表示面６２の虚像の距離を変更する。これにより、情報提供装置２０は、ユーザの頭部の位置が動いた場合であっても、映像表示面１２に対して副情報が固定しているように、ユーザに見せることができる。
【００５１】
情報提供装置２０は、映像の表示が終了するまで、ステップＳ１６およびステップＳ１７の処理を実行する。そして、ステップＳ１８において、情報提供装置２０は、映像の表示が終了したと判断すると、副情報の表示も終了する。
【００５２】
以上のように、本実施形態に係る映像提供システム１０によれば、１つの映像表示面１２を見ている複数のユーザのそれぞれに対して、映像表示面１２に表示された映像に合成して、ユーザ毎に異なる内容の副情報を表示することができる。例えば、映像提供システム１０によれば、１つの映像表示面１２を見ている複数のユーザのそれぞれに対して、映像表示面１２に表示された映像に合成して、ユーザ毎に異なる言語の字幕情報を提供することができる。
【００５３】
図５は、本実施形態に係る情報提供装置２０により生成される情報表示面６２の虚像の位置、および、副情報の表示位置を示す。図６は、情報提供装置２０が左側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。図７は、情報提供装置２０が後ろ側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。
【００５４】
図５に示されるように、情報提供装置２０は、映像表示面１２に対して予め設定された位置に副情報が見えるように、当該情報提供装置２０内の情報表示面６２上における副情報の表示位置を制御する。これとともに、図５に示されるように、情報提供装置２０は、映像表示面１２と同一の距離に情報表示面６２の虚像が見えるように、情報提供装置２０内の調整光学系６６のフォーカス位置を制御する。
【００５５】
そして、図６に示されるように、情報提供装置２０は、映像表示面１２に対する情報提供装置２０の相対位置が水平方向に移動した場合、情報表示面６２上における副情報の表示位置を同期して移動させる。情報提供装置２０は、一例として、情報提供装置２０が映像表示面１２に対して相対的に左側に移動すれば、情報表示面６２上における副情報の表示位置を右側に移動させる。また、情報提供装置２０は、一例として、情報提供装置２０が映像表示面１２に対して相対的に右側に移動すれば、情報表示面６２上における副情報の表示位置を左側に移動させる。
【００５６】
また、図７に示されるように、情報提供装置２０は、映像表示面１２に対する情報提供装置２０の相対位置が前後方向に移動した場合、調整光学系６６のフォーカス位置を同期して変更する。情報提供装置２０は、一例として、映像表示面１２に対する情報提供装置２０の相対位置が後方向に移動した場合（映像表示面１２と情報提供装置２０との間の距離が長くなる方向に移動した場合）、調整光学系６６のフォーカス位置を遠ざける方向に移動させる。また、情報提供装置２０は、一例として、映像表示面１２に対する情報提供装置２０の相対位置が前方向に移動した場合（映像表示面１２と情報提供装置２０との間の距離が短くなる方向に移動した場合）、調整光学系６６のフォーカス位置を近づける方向に移動させる。
【００５７】
図８は、映像表示面１２がユーザの視野の略中心に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。図９は、映像表示面１２がユーザの視野の左側に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。
【００５８】
情報提供装置２０内の撮像部７２により撮像される撮像画像の範囲は、ユーザの頭部の移動に応じて移動する。従って、撮像部７２により撮像される撮像画像の範囲は、ユーザの視野に対応して移動する。
【００５９】
例えば、図８に示されるように、撮像画像内の水平方向の略中心に映像表示面１２が表示されている場合、例えばユーザの視野内においても映像表示面１２は水平方向の略中心に位置する。このような場合、情報提供装置２０は、情報表示面６２における、水平方向の略中心位置に副情報を表示する。これにより、情報提供装置２０は、視野内における映像表示面１２に対応する位置に、副情報を重ねて表示することができる。
【００６０】
また、図９に示されるように、撮像画像内の水平方向の端部側に映像表示面１２が表示されている場合、例えばユーザの視野においても映像表示面１２は水平方向の対応する端部側に位置する。このような場合、情報提供装置２０は、情報表示面６２における水平方向の対応する端部側に（例えば視野内における映像表示面１２の位置とは逆側の端部側）、副情報を表示する。これにより、情報提供装置２０は、視野内における端部側に映像表示面１２が位置する場合であっても、映像表示面１２に対応する位置に副情報を重ねて表示することができる。
【００６１】
図１０は、映像表示面１２を略正面から撮像した画像の一例を示す。情報提供装置２０の検出部４２は、撮像した画像に対する映像表示面１２の形状および大きさを検出して、ユーザの視野内における映像表示面１２の位置および情報提供装置２０から映像表示面１２までの距離を算出する。
【００６２】
ここで、映像提供システム１０は、複数の基準光発光部８０を備える構成であってもよい。複数の基準光発光部８０のそれぞれは、一例として、映像表示面１２の４角のそれぞれに対応する位置に設けられ、赤外光等の基準光を発光する。
【００６３】
情報提供装置２０の検出部４２は、映像表示面１２を撮像し、撮像した画像内における複数の基準光の発光位置に基づき映像表示面１２の形状および大きさを算出する。これにより、検出部４２は、映像表示面１２の形状および大きさを精度良く且つ簡易に算出することができる。
【００６４】
図１１は、映像表示面１２を左側から撮像した画像の一例を示す。図１２は、映像表示面１２を右側から撮像した画像の一例を示す。
【００６５】
映像表示面１２を正面より左側から撮像した場合、図１１に示されるように、撮像画像内において映像表示面１２の右の縦辺８２の長さより映像表示面１２の左の縦辺８４の長さの方が、長くなる。反対に、映像表示面１２を正面より右側から撮像した場合、図１２に示されるように、撮像画像内において映像表示面１２の右の縦辺８２の長さより、映像表示面１２の左の縦辺８４の長さの方が、短くなる。従って、情報提供装置２０の検出部４２は、このような撮像画像内における映像表示面１２の右の縦辺８２と左の縦辺８４の比から、映像表示面１２に対する情報提供装置２０の相対的な向きを検出することができる。
【００６６】
また、正面より左右方向にずれた位置から映像表示面１２を見ている場合、情報提供装置２０から映像表示面１２の手前側の縦辺までの距離と、情報提供装置２０から映像表示面１２の奥側の縦辺までの距離とが大きく異なる。例えば、正面より左側から映像表示面１２を見た場合、図１１に示されるように、情報提供装置２０から右の縦辺８２までの距離より、情報提供装置２０から左の縦辺８４までの距離の方が近い。また、例えば、正面より右側から映像表示面１２を見た場合、図１２に示されるように、情報提供装置２０から右の縦辺８２までの距離より、情報提供装置２０から左の縦辺８４までの距離の方が遠い。
【００６７】
そこで、このような場合、情報提供装置２０の表示制御部４４は、副情報を表示する情報表示面６２を水平方向に複数の領域に分割して、分割領域毎に虚像の生成距離を変えてもよい。例えば、図１１および図１２に示されるように、副情報の左側の表示領域と副情報の右側の表示領域とに分割して、それぞれの表示領域の虚像を異なる距離に生成する。これにより、情報提供装置２０は、正面より左右方向にずれた位置から映像表示面１２を見た場合において、映像表示面１２のそれぞれの領域までの距離と同一の距離に、副情報の虚像を見せることができる。
【００６８】
図１３は、正面から映像表示面１２を見た場合における、複数の基準光発光部８０の配置の一例を示す。複数の基準光発光部８０が設けられる位置は、映像表示面１２の４角のそれぞれに対応する位置に代えて、映像表示面１２における予め定められた位置に対応していれば、他の位置であってもよい。
【００６９】
複数の基準光発光部８０は、図１３に示されるように、映像表示面１２の上辺の２つの角に対応する位置、右側の縦辺８２上の所定位置（例えば略中心位置）に対応する位置、左側の縦辺８４上の所定位置（例えば略中心位置）に対応する位置にそれぞれ設けられてもよい。このように設けられている場合であっても、映像表示面１２に対する基準光発光部８０の相対位置が予め定められていれば、情報提供装置２０は、撮像画像内における複数の基準光発光部８０の位置から、ユーザの視野内における映像表示面１２の位置を検出することができる。また、複数の基準光発光部８０のそれぞれが、映像表示面１２の上側に設けられていることにより、例えば、ユーザと映像表示面１２の他の間に人等の障害物が存在した場合であっても、基準光発光部８０からの基準光が検出できる可能性を高くすることができる。
【００７０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７２】
１０ 映像提供システム、１２ 映像表示面、１４ 送信部、２０ 情報提供装置、２２ 表示光学系、２４ 本体部、２６ 検出部、２８ 保持部、４２ 検出部、４４ 表示制御部、４６ 操作入力部、４８ 受信部、５０ 選択部、５２ 校正部、６２ 情報表示面、６４ ハーフミラー、６６ 調整光学系、７２ 撮像部、７４ 算出部、８０ 基準光発光部、８２ 縦辺、８４ 縦辺
【技術分野】
【０００１】
本発明は、情報提供装置および映像提供システムに関する。
【背景技術】
【０００２】
映画館等では、複数のユーザが１つの大型スクリーンに表示された画像を同時に鑑賞する。また、映画館等において提供される画像には、映像とともに、字幕等の文字情報がスクリーンに同時に表示される場合がある。また、映画館等では、立体映画を提供する場合には、複数のユーザのそれぞれが専用のメガネを装着してスクリーンに表示された画像を鑑賞する。
【０００３】
特許文献１ 特開２００２−１５３６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、映画館等では、スクリーンの端に映像に重ねて文字情報を表示するので、複数の言語の文字情報を同時に表示すると鑑賞の邪魔になってしまう場合があった。このため、映画館等では、複数の言語の文字情報を同時に表示することが困難であった。
【課題を解決するための手段】
【０００５】
本発明の第１の態様においては、映像を表示する映像表示面を見るユーザに副情報を提供する情報提供装置であって、前記副情報を表示する情報表示面を含み、前記映像表示面からの光および前記情報表示面からの光を合成して前記ユーザの眼に与える表示光学系と、前記ユーザの視野内における前記映像表示面の位置を検出する検出部と、前記副情報を前記ユーザの視野内における前記映像表示面に対応する位置に表示させる表示制御部と、を備える情報提供装置、および、情報提供システムを提供する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る映像提供システム１０を示す。
【図２】本実施形態に係る情報提供装置２０の外観の一例を示す。
【図３】本実施形態に係る情報提供装置２０の機能構成を示す。
【図４】本実施形態に係る情報提供装置２０の処理フローを示す。
【図５】本実施形態に係る情報提供装置２０により生成される情報表示面６２の虚像の位置、および、映像表示面１２に対する副情報の表示位置を示す。
【図６】情報提供装置２０が左側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。
【図７】情報提供装置２０が後ろ側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。
【図８】映像表示面１２がユーザの視野の略中心に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。
【図９】映像表示面１２がユーザの視野の左側に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。
【図１０】映像表示面１２を略正面から撮像した画像の一例を示す。
【図１１】映像表示面１２を左側から撮像した画像の一例を示す。
【図１２】映像表示面１２を右側から撮像した画像の一例を示す。
【図１３】正面から映像表示面１２を見た場合における、複数の基準光発光部８０の配置の一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係る映像提供システム１０を示す。本実施形態に係る映像提供システム１０は、映像を少なくとも一人のユーザに鑑賞させる。映像提供システム１０は、一例として、大型スクリーンに立体表示用の右眼用画像および左眼用画像を表示して、複数のユーザのそれぞれに立体画像を鑑賞させる。
【００１０】
映像提供システム１０は、映像表示面１２と、送信部１４と、少なくとも一つの情報提供装置２０を備える。映像表示面１２は、少なくも一人のユーザのそれぞれにより見ることができる位置に設けられ、映像を表示する。これにより、映像表示面１２は、少なくも一人のユーザのそれぞれに同時に映像を鑑賞させることができる。
【００１１】
送信部１４は、副情報を少なくとも１つの情報提供装置２０のそれぞれに送信する。副情報は、映像表示面１２に表示された映像とともにユーザに視覚的に提示する情報である。副情報は、一例として、映像に合成して表示する字幕情報である。
【００１２】
送信部１４は、一例として、映像表示面１２に表示される映像に同期した副情報（字幕情報）を、それぞれの情報提供装置２０に送信する。送信部１４は、無線で副情報を情報提供装置２０のそれぞれに送信してもよいし、ケーブル等を介して副情報を情報提供装置２０のそれぞれに送信してもよい。
【００１３】
少なくとも一つの情報提供装置２０のそれぞれは、映像表示面１２を見るユーザのそれぞれに対応して設けられ、対応するユーザに装着される。そして、少なくとも一つの情報提供装置２０のそれぞれは、対応するユーザに視覚的に副情報を提供する。
【００１４】
より具体的には、情報提供装置２０は、対応するユーザの頭部にメガネのように装着される。情報提供装置２０は、装着したユーザの右眼および左眼のそれぞれに、映像表示面１２により表示された映像の光を透過して与える。これとともに、情報提供装置２０は、送信部１４から送信された副情報を内部において表示して、装着したユーザの右眼および左眼のそれぞれに映像表示面１２により表示された映像に副情報を合成して与える。
【００１５】
図２は、本実施形態に係る情報提供装置２０の外観の一例を示す。情報提供装置２０は、右眼用の表示光学系２２−Ｒと、左眼用の２２−Ｌと、本体部２４と、検出部２６と、保持部２８とを備える。
【００１６】
右眼用の表示光学系２２−Ｒは、ユーザが当該情報提供装置２０を装着した場合において、ユーザの右眼の前に配置される。右眼用の表示光学系２２−Ｒは、映像表示面１２に表示された映像からの光を透過してユーザの右眼へと与えるとともに、内部で副情報を表示して右眼へと与える。
【００１７】
左眼用の表示光学系２２−Ｌは、ユーザが当該情報提供装置２０を装着した場合において、ユーザの左眼の前に配置される。左眼用の表示光学系２２−Ｌは、映像表示面１２に表示された映像からの光を透過してユーザの左眼へと与えるとともに、内部で副情報を表示して左眼へと与える。
【００１８】
本体部２４は、右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌを保持する。これとともに、本体部２４は、当該情報提供装置２０を動作させるための機能ブロック（電源回路および制御回路等）を内蔵する。なお、本体部２４内に備えられる機能ブロックは、当該情報提供装置２０と別体の他の機器（例えば、ユーザが着座する椅子）に設けられてもよい。
【００１９】
検出部２６は、ユーザの視野内における映像表示面１２の位置を検出する。検出部２６は、一例として、右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌに対して固定された位置から映像表示面１２を撮像し、撮像した画像からユーザの視野内における映像表示面１２の位置を検出する。これにより、検出部２６は、ユーザの視野の移動に伴い、撮像する画角も移動する。従って、検出部２６は、撮像画像から、表示光学系２２−Ｒおよび表示光学系２２−Ｌを介して映像表示面１２を見ているユーザの視野内における、映像表示面１２の位置を検出することができる。
【００２０】
保持部２８は、当該情報提供装置２０をユーザの頭部に固定する。これにより、保持部２８は、当該情報提供装置２０がユーザの頭部に装着された状態において、ユーザが頭部を移動させても、右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌのそれぞれをユーザの右眼および左眼の前に配置した状態で固定することができる。
【００２１】
図３は、本実施形態に係る情報提供装置２０の機能構成を示す。情報提供装置２０は、機能ブロックとして、右眼用の表示光学系２２−Ｒと、左眼用の表示光学系２２−Ｌと、検出部４２と、表示制御部４４と、操作入力部４６と、受信部４８と、選択部５０と、校正部５２とを備える。なお、右眼用の表示光学系２２−Ｌおよび左眼用の表示光学系２２−Ｌは、内部構造は共通する。従って、これらを共通して説明する場合には、これらを併せて単に表示光学系２２と呼ぶ。
【００２２】
表示光学系２２は、情報表示面６２と、ハーフミラー６４と、調整光学系６６とを有する。情報表示面６２は、表示光学系２２の内部に設けられる小型のディスプレイであって、副情報を表示する。
【００２３】
ハーフミラー６４は、映像表示面１２により表示された映像の光を透過して、対応する眼に与える。これとともに、ハーフミラー６４は、情報表示面６２に表示された副情報の光を反射して、対応する眼に与える。このような、ハーフミラー６４は、映像表示面１２からの光および情報表示面６２からの光を合成してユーザの眼に与えることができる。
【００２４】
調整光学系６６は、情報表示面６２からの光をレンズにより集光して、情報表示面６２の虚像を対応する眼に与える。調整光学系６６は、表示光学系２２から映像表示面１２までの距離に応じて、情報表示面６２の虚像の位置を変更する。調整光学系６６は、一例として、映像表示面１２上に情報表示面６２の虚像が見えるようにレンズのフォーカス位置を制御する。これにより、調整光学系６６は、情報表示面６２に表示された副情報を、映像表示面１２上に表示されているようにユーザに見せることができる。
【００２５】
このように、表示光学系２２は、副情報を表示する情報表示面６２およびハーフミラー６４を有するので、映像表示面１２からの光および情報表示面６２からの光を合成してユーザの眼に与えることができる。さらに、表示光学系２２は、調整光学系６６を有するので、映像表示面１２上に副情報が表示されているような位置に、情報表示面６２の虚像をユーザに見せることができる。
【００２６】
検出部４２は、表示光学系２２に対する映像表示面１２の相対位置を検出する。より具体的には、検出部４２は、ユーザの視野内における映像表示面１２の位置、および、表示光学系２２から映像表示面１２までの距離を算出する。
【００２７】
検出部４２は、一例として、撮像部７２と、算出部７４とを有する。撮像部７２は、表示光学系２２に対して固定された予め定められた撮像位置において、映像表示面１２を撮像する。これにより、撮像部７２は、ユーザの視野に対して予め定められた画角で映像表示面１２を撮像することができる。
【００２８】
算出部７４は、撮像部７２により撮像された画像中の映像表示面１２の位置に基づき、ユーザの視野内における映像表示面１２の位置を算出する。算出部７４は、一例として、画像中における水平方向における映像表示面１２の位置から、ユーザの視野内における映像表示面１２の水平方向の位置を算出する。
【００２９】
また、算出部７４は、撮像部７２により撮像された画像中の映像表示面１２の形状に基づき、表示光学系２２に対する映像表示面１２の向きを算出する。算出部７４は、一例として、画像中における映像表示面１２の４角の位置から画像中における映像表示面１２の形状を算出し、算出した映像表示面１２の形状から表示光学系２２に対する映像表示面１２の向きを算出する。
【００３０】
さらに、算出部７４は、予め定められた倍率に設定された撮像部７２により撮像した画像内における映像表示面１２の大きさ、予め登録された映像表示面１２の現実の大きさ、および、表示光学系２２に対する映像表示面１２の向きに基づき、表示光学系２２から映像表示面１２までの距離を算出する。算出部７４は、一例として、画像の水平方向の画素数に占める映像表示面１２の割合、表示光学系２２に対する映像表示面１２の向き、撮像時の倍率、および、映像表示面１２の現実の大きさから、表示光学系２２から映像表示面１２の中心までの距離を算出する。
【００３１】
検出部４２は、このような撮像部７２および算出部７４を有することにより、表示光学系２２に対する映像表示面１２の相対位置を検出することができる。即ち、検出部４２は、ユーザの視野内における映像表示面１２の位置、および、表示光学系２２から映像表示面１２までの距離を算出することができる。
【００３２】
表示制御部４４は、表示光学系２２に対する映像表示面１２の相対位置に応じて、ユーザの視野内における副情報の表示位置および情報表示面６２の虚像の生成距離を制御する。より具体的には、表示制御部４４は、検出部４２により検出されたユーザの視野内における映像表示面１２の位置に応じて情報表示面６２上における副情報の表示位置を変化させて、副情報をユーザの視野内における映像表示面１２に対応する位置に固定しているように見せる。表示制御部４４は、一例として、映像表示面１２の下端に副情報が固定して見えるように、情報表示面６２上における副情報の表示位置を変化させる。
【００３３】
また、表示制御部４４は、検出部４２により検出された表示光学系２２から映像表示面１２までの距離に応じて調整光学系６６のフォーカス位置を変化させて、情報表示面６２の虚像が予め定められた距離で固定しているように見せる。表示制御部４４は、一例として、情報表示面６２の虚像が映像表示面１２上の距離に固定して見えるように、調整光学系６６のフォーカス位置を変化させる。
【００３４】
操作入力部４６は、ユーザからの当該情報提供装置２０への操作入力を受け付ける。操作入力部４６は、当該情報提供装置２０の電源投入操作、副情報の表示位置の調整操作および表示すべき副情報の内容の選択操作等を受け付ける。
【００３５】
受信部４８は、送信部１４から送信された副情報を受信する。受信部４８は、一例として、当該映像提供システム１０内において生成された副情報を受信する。これに代えて、受信部４８は、インターネット等を介して外部のサーバ等から副情報を受信してもよい。受信部４８は、受信した副情報を表示制御部４４に供給する。そして、表示制御部４４は、受信部４８により受信された副情報を右眼用の表示光学系２２−Ｒおよび左眼用の表示光学系２２−Ｌに供給して、それぞれの情報表示面６２に表示させる。
【００３６】
選択部５０は、送信部１４から提供される複数の副情報のうち、ユーザにより指定された副情報を選択する。選択部５０は、受信部４８に対して、送信部１４から送信される複数の副情報のうち、選択した副情報を受信させる。そして、表示制御部４４は、選択部５０により選択された副情報を情報表示面６２に表示させる。
【００３７】
例えば副情報が映像とともに表示される字幕情報である場合、選択部５０は、複数の言語の字幕情報のうちユーザにより指定された言語の字幕情報を選択する。そして、この場合、表示制御部４４は、選択部５０により選択された言語の字幕情報を、映像に同期して情報表示面６２に表示させる。これにより、表示制御部４４は、映像の各シーンに対応する字幕情報を、映像に合成して表示することができる。
【００３８】
校正部５２は、映像表示面１２に対する副情報の表示位置をユーザの指示に応じて校正する。即ち、校正部５２は、映像表示面１２における何れの位置に副情報を表示するかをユーザの指示に応じて校正する。
【００３９】
校正部５２は、一例として、副情報の表示に先立って、副情報の表示位置の候補を示すポインタを表示して、映像表示面１２に対する副情報の表示位置をユーザに指定させる。校正部５２は、一例として、映像表示面１２の下端がポインタにより指定された場合、映像表示面１２の下端に副情報が表示されるように、表示位置を調整する。そして、表示制御部４４は、映像表示面１２における校正部５２により校正された表示位置に副情報が固定しているように、情報表示面６２上における副情報の表示位置を制御する。
【００４０】
また、映像提供システム１０は、立体画像をユーザに提供してもよい。この場合、映像表示面１２は、立体表示用の右眼用画像および左眼用画像を表示する。そして、表示光学系２２は、映像表示面１２に表示された右眼用画像をユーザの右眼に与え、映像表示面１２に表示された左眼用画像をユーザの左眼に与える。
【００４１】
即ち、左眼用の表示光学系２２−Ｌは、映像表示面１２に表示された左眼用画像の光を透過してユーザの左眼に与えて、右眼用画像の光を遮断する。右眼用の表示光学系２２−Ｒは、映像表示面１２に表示された右眼用画像の光を透過してユーザの左眼に与えて、左眼用画像の光を遮断する。これにより、情報提供装置２０は、装着しているユーザに立体画像を見せるとともに、立体画像に副情報を合成して見せることができる。
【００４２】
図４は、本実施形態に係る情報提供装置２０の処理フローを示す。まず、ステップＳ１１において、情報提供装置２０は、映像表示面１２により表示される映像を鑑賞する何れかのユーザの頭部に装着される。これにより、情報提供装置２０は、映像表示面１２により表示された映像を、表示光学系２２を介してユーザに見せることができる。
【００４３】
続いて、ステップＳ１２において、情報提供装置２０は、ユーザから電源投入の操作入力が与えられる。これにより、情報提供装置２０は、動作を開始することができる。
【００４４】
続いて、ステップＳ１３において、情報提供装置２０は、視野内における映像表示面１２に対する副情報の表示位置を、ポインタ等を用いたユーザの指示に応じて校正する。情報提供装置２０は、一例として、映像表示面１２の下端領域、上端領域、右端領域または左端領域の何れに副情報を表示するかをユーザの指示に応じて選択する。また、情報提供装置２０は、映像表示面１２に重なる位置に副情報を表示せずに、映像表示面１２の外側に副情報を表示してもよい。これにより、情報提供装置２０は、個人差（例えば、眼の位置の違い）により視野内における映像表示面１２の位置がユーザ毎に異なる場合であっても、それぞれのユーザ毎に適切な位置に副情報を表示することができる。
【００４５】
続いて、ステップＳ１４において、情報提供装置２０は、ユーザの指示に応じて表示する副情報の種類を選択する。情報提供装置２０は、一例として、複数の言語の字幕情報のうちユーザにより指定された言語の字幕情報を選択する。
【００４６】
また、情報提供装置２０は、副情報として、字幕情報以外の情報（例えば、館内案内情報）を選択してもよい。また、情報提供装置２０は、副情報として、外部サーバからインターネットを介して提供される情報を選択してもよい。これにより、情報提供装置２０は、複数のユーザのそれぞれ毎に異なる種類の副情報を表示することができる。
【００４７】
続いて、ステップＳ１５において、情報提供装置２０は、映像の表示が開始されると、これと同期して副情報の表示を開始する。例えば、送信部１４は、映像の表示に同期して副情報の送信を開始する。この場合、情報提供装置２０は、送信部１４から送信された副情報を順次に表示する。これにより、情報提供装置２０は、映像に同期して副情報の表示を開始することができる。また、情報提供装置２０は、インターネットを介して外部サーバから副情報を受信するような場合には、例えばユーザによる表示開始操作がされたことに応じて、副情報の表示を開始する。
【００４８】
続いて、ステップＳ１６において、情報提供装置２０は、映像の内容に同期させて副情報を順次に更新して表示する。例えば、送信部１４は、映像の表示に同期して送信する副情報を順次に更新する。この場合、情報提供装置２０は、送信部１４から送信された副情報が更新される毎に、表示内容を順次に更新する。また、情報提供装置２０は、外部サーバ等からインターネットを介して副情報を受信するような場合には、受信したストリームに示された表示時間に従って副情報を順次に表示する。これにより、情報提供装置２０は、映像のシーン毎に適切な内容の副情報を表示することができる。
【００４９】
また、情報提供装置２０は、ステップＳ１６に並行して、ステップＳ１７の処理を実行する。ステップＳ１７において、情報提供装置２０は、ユーザの頭部の位置が動いた場合であっても、映像表示面１２に対して副情報が固定して見えるように、ユーザの視野内における副情報の表示位置および情報表示面６２の虚像の生成距離をリアルタイムで変化させる。
【００５０】
即ち、表示制御部４４は、表示光学系２２に対する映像表示面１２の相対位置に応じて、ユーザの視野内における副情報の表示位置、および、副情報を表示する情報表示面６２の虚像の距離を変化させる。より具体的には、情報提供装置２０は、ユーザの視野内における映像表示面１２の位置、および、表示光学系２２から映像表示面１２までの距離を検出する。そして、情報提供装置２０は、ユーザの視野内における映像表示面１２の位置に追従させて、ユーザの視野内における副情報の表示位置を変更し、さらに、表示光学系２２から映像表示面１２までの距離に追従して情報表示面６２の虚像の距離を変更する。これにより、情報提供装置２０は、ユーザの頭部の位置が動いた場合であっても、映像表示面１２に対して副情報が固定しているように、ユーザに見せることができる。
【００５１】
情報提供装置２０は、映像の表示が終了するまで、ステップＳ１６およびステップＳ１７の処理を実行する。そして、ステップＳ１８において、情報提供装置２０は、映像の表示が終了したと判断すると、副情報の表示も終了する。
【００５２】
以上のように、本実施形態に係る映像提供システム１０によれば、１つの映像表示面１２を見ている複数のユーザのそれぞれに対して、映像表示面１２に表示された映像に合成して、ユーザ毎に異なる内容の副情報を表示することができる。例えば、映像提供システム１０によれば、１つの映像表示面１２を見ている複数のユーザのそれぞれに対して、映像表示面１２に表示された映像に合成して、ユーザ毎に異なる言語の字幕情報を提供することができる。
【００５３】
図５は、本実施形態に係る情報提供装置２０により生成される情報表示面６２の虚像の位置、および、副情報の表示位置を示す。図６は、情報提供装置２０が左側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。図７は、情報提供装置２０が後ろ側に移動した場合における情報表示面６２の虚像の位置の移動方向を示す。
【００５４】
図５に示されるように、情報提供装置２０は、映像表示面１２に対して予め設定された位置に副情報が見えるように、当該情報提供装置２０内の情報表示面６２上における副情報の表示位置を制御する。これとともに、図５に示されるように、情報提供装置２０は、映像表示面１２と同一の距離に情報表示面６２の虚像が見えるように、情報提供装置２０内の調整光学系６６のフォーカス位置を制御する。
【００５５】
そして、図６に示されるように、情報提供装置２０は、映像表示面１２に対する情報提供装置２０の相対位置が水平方向に移動した場合、情報表示面６２上における副情報の表示位置を同期して移動させる。情報提供装置２０は、一例として、情報提供装置２０が映像表示面１２に対して相対的に左側に移動すれば、情報表示面６２上における副情報の表示位置を右側に移動させる。また、情報提供装置２０は、一例として、情報提供装置２０が映像表示面１２に対して相対的に右側に移動すれば、情報表示面６２上における副情報の表示位置を左側に移動させる。
【００５６】
また、図７に示されるように、情報提供装置２０は、映像表示面１２に対する情報提供装置２０の相対位置が前後方向に移動した場合、調整光学系６６のフォーカス位置を同期して変更する。情報提供装置２０は、一例として、映像表示面１２に対する情報提供装置２０の相対位置が後方向に移動した場合（映像表示面１２と情報提供装置２０との間の距離が長くなる方向に移動した場合）、調整光学系６６のフォーカス位置を遠ざける方向に移動させる。また、情報提供装置２０は、一例として、映像表示面１２に対する情報提供装置２０の相対位置が前方向に移動した場合（映像表示面１２と情報提供装置２０との間の距離が短くなる方向に移動した場合）、調整光学系６６のフォーカス位置を近づける方向に移動させる。
【００５７】
図８は、映像表示面１２がユーザの視野の略中心に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。図９は、映像表示面１２がユーザの視野の左側に見える場合における、情報表示面６２上の副情報の表示位置の一例、および、ユーザの視野内の映像表示面１２および副情報の位置の一例を示す。
【００５８】
情報提供装置２０内の撮像部７２により撮像される撮像画像の範囲は、ユーザの頭部の移動に応じて移動する。従って、撮像部７２により撮像される撮像画像の範囲は、ユーザの視野に対応して移動する。
【００５９】
例えば、図８に示されるように、撮像画像内の水平方向の略中心に映像表示面１２が表示されている場合、例えばユーザの視野内においても映像表示面１２は水平方向の略中心に位置する。このような場合、情報提供装置２０は、情報表示面６２における、水平方向の略中心位置に副情報を表示する。これにより、情報提供装置２０は、視野内における映像表示面１２に対応する位置に、副情報を重ねて表示することができる。
【００６０】
また、図９に示されるように、撮像画像内の水平方向の端部側に映像表示面１２が表示されている場合、例えばユーザの視野においても映像表示面１２は水平方向の対応する端部側に位置する。このような場合、情報提供装置２０は、情報表示面６２における水平方向の対応する端部側に（例えば視野内における映像表示面１２の位置とは逆側の端部側）、副情報を表示する。これにより、情報提供装置２０は、視野内における端部側に映像表示面１２が位置する場合であっても、映像表示面１２に対応する位置に副情報を重ねて表示することができる。
【００６１】
図１０は、映像表示面１２を略正面から撮像した画像の一例を示す。情報提供装置２０の検出部４２は、撮像した画像に対する映像表示面１２の形状および大きさを検出して、ユーザの視野内における映像表示面１２の位置および情報提供装置２０から映像表示面１２までの距離を算出する。
【００６２】
ここで、映像提供システム１０は、複数の基準光発光部８０を備える構成であってもよい。複数の基準光発光部８０のそれぞれは、一例として、映像表示面１２の４角のそれぞれに対応する位置に設けられ、赤外光等の基準光を発光する。
【００６３】
情報提供装置２０の検出部４２は、映像表示面１２を撮像し、撮像した画像内における複数の基準光の発光位置に基づき映像表示面１２の形状および大きさを算出する。これにより、検出部４２は、映像表示面１２の形状および大きさを精度良く且つ簡易に算出することができる。
【００６４】
図１１は、映像表示面１２を左側から撮像した画像の一例を示す。図１２は、映像表示面１２を右側から撮像した画像の一例を示す。
【００６５】
映像表示面１２を正面より左側から撮像した場合、図１１に示されるように、撮像画像内において映像表示面１２の右の縦辺８２の長さより映像表示面１２の左の縦辺８４の長さの方が、長くなる。反対に、映像表示面１２を正面より右側から撮像した場合、図１２に示されるように、撮像画像内において映像表示面１２の右の縦辺８２の長さより、映像表示面１２の左の縦辺８４の長さの方が、短くなる。従って、情報提供装置２０の検出部４２は、このような撮像画像内における映像表示面１２の右の縦辺８２と左の縦辺８４の比から、映像表示面１２に対する情報提供装置２０の相対的な向きを検出することができる。
【００６６】
また、正面より左右方向にずれた位置から映像表示面１２を見ている場合、情報提供装置２０から映像表示面１２の手前側の縦辺までの距離と、情報提供装置２０から映像表示面１２の奥側の縦辺までの距離とが大きく異なる。例えば、正面より左側から映像表示面１２を見た場合、図１１に示されるように、情報提供装置２０から右の縦辺８２までの距離より、情報提供装置２０から左の縦辺８４までの距離の方が近い。また、例えば、正面より右側から映像表示面１２を見た場合、図１２に示されるように、情報提供装置２０から右の縦辺８２までの距離より、情報提供装置２０から左の縦辺８４までの距離の方が遠い。
【００６７】
そこで、このような場合、情報提供装置２０の表示制御部４４は、副情報を表示する情報表示面６２を水平方向に複数の領域に分割して、分割領域毎に虚像の生成距離を変えてもよい。例えば、図１１および図１２に示されるように、副情報の左側の表示領域と副情報の右側の表示領域とに分割して、それぞれの表示領域の虚像を異なる距離に生成する。これにより、情報提供装置２０は、正面より左右方向にずれた位置から映像表示面１２を見た場合において、映像表示面１２のそれぞれの領域までの距離と同一の距離に、副情報の虚像を見せることができる。
【００６８】
図１３は、正面から映像表示面１２を見た場合における、複数の基準光発光部８０の配置の一例を示す。複数の基準光発光部８０が設けられる位置は、映像表示面１２の４角のそれぞれに対応する位置に代えて、映像表示面１２における予め定められた位置に対応していれば、他の位置であってもよい。
【００６９】
複数の基準光発光部８０は、図１３に示されるように、映像表示面１２の上辺の２つの角に対応する位置、右側の縦辺８２上の所定位置（例えば略中心位置）に対応する位置、左側の縦辺８４上の所定位置（例えば略中心位置）に対応する位置にそれぞれ設けられてもよい。このように設けられている場合であっても、映像表示面１２に対する基準光発光部８０の相対位置が予め定められていれば、情報提供装置２０は、撮像画像内における複数の基準光発光部８０の位置から、ユーザの視野内における映像表示面１２の位置を検出することができる。また、複数の基準光発光部８０のそれぞれが、映像表示面１２の上側に設けられていることにより、例えば、ユーザと映像表示面１２の他の間に人等の障害物が存在した場合であっても、基準光発光部８０からの基準光が検出できる可能性を高くすることができる。
【００７０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７２】
１０ 映像提供システム、１２ 映像表示面、１４ 送信部、２０ 情報提供装置、２２ 表示光学系、２４ 本体部、２６ 検出部、２８ 保持部、４２ 検出部、４４ 表示制御部、４６ 操作入力部、４８ 受信部、５０ 選択部、５２ 校正部、６２ 情報表示面、６４ ハーフミラー、６６ 調整光学系、７２ 撮像部、７４ 算出部、８０ 基準光発光部、８２ 縦辺、８４ 縦辺
【特許請求の範囲】
【請求項１】
映像を表示する映像表示面を見るユーザに副情報を提供する情報提供装置であって、
前記副情報を表示する情報表示面を含み、前記映像表示面からの光および前記情報表示面からの光を合成して前記ユーザの眼に与える表示光学系と、
前記ユーザの視野内における前記映像表示面の位置を検出する検出部と、
前記副情報を前記ユーザの視野内における前記映像表示面に対応する位置に表示させる表示制御部と、
を備える情報提供装置。
【請求項２】
前記表示光学系は、前記情報表示面の虚像を前記ユーザの眼に与え、
前記表示制御部は、前記情報表示面の虚像の表示位置を前記映像表示面に対応する距離および位置に制御する
請求項１に記載の情報提供装置。
【請求項３】
前記副情報を受信する受信部を更に備え、
前記表示制御部は、前記受信部により受信された前記副情報を前記情報表示面に表示させる
請求項１または２に記載の情報提供装置。
【請求項４】
複数の前記副情報のうち前記ユーザにより指定された副情報を選択する選択部を更に備え、
前記表示制御部は、前記選択部により選択された前記副情報を前記情報表示面に表示させる
請求項１から３の何れか１項に記載の情報提供装置。
【請求項５】
前記選択部は、前記映像とともに表示される複数の言語の字幕情報のうち前記ユーザにより指定された言語の字幕情報を選択し、
前記表示制御部は、前記選択部により選択された言語の字幕情報を前記映像に同期して前記情報表示面に表示させる
請求項４に記載の情報提供装置。
【請求項６】
前記検出部は、
前記表示光学系に対して固定された予め定められた撮像位置において、前記映像表示面を撮像する撮像部と、
前記撮像部により撮像された画像中の前記映像表示面の位置に基づき、前記表示光学系に対する前記映像表示面の相対位置を算出する算出部と、
を有し、
前記表示制御部は、前記表示光学系に対する前記映像表示面の相対位置に応じて前記情報表示面上における前記副情報の表示位置を制御して、前記副情報をユーザの視野内における前記映像表示面に対応する位置に固定しているように見せる
請求項１から５の何れか１項に記載の情報提供装置。
【請求項７】
前記撮像部は、前記映像表示面における予め定められた複数の位置のそれぞれから発光された複数の基準光を撮像し、
前記算出部は、前記撮像部により撮像された画像中の前記複数の基準光のそれぞれの発光位置に基づき前記映像表示面の位置を算出する
請求項６に記載の情報提供装置。
【請求項８】
前記算出部は、撮像した画像内における前記映像表示面の大きさ、および、予め登録された前記映像表示面の現実の大きさに基づき、前記表示光学系から前記映像表示面までの距離を算出する
請求項６または７に記載の情報提供装置。
【請求項９】
前記表示制御部は、前記表示光学系から前記映像表示面までの距離に基づき、前記情報表示面の虚像が前記映像表示面の距離に固定して見えるように、前記副情報の虚像のフォーカス位置を制御する
請求項８に記載の情報提供装置。
【請求項１０】
前記映像表示面に対する前記副情報の表示位置を前記ユーザの指示に応じて校正する校正部を更に備える
請求項１から９の何れか１項に記載の情報提供装置。
【請求項１１】
前記校正部は、前記副情報の表示位置の候補を示すポインタを表示して、前記映像表示面に対する前記副情報の表示位置を前記ユーザに指定させる
請求項１０に記載の情報提供装置。
【請求項１２】
前記映像表示面は、立体表示用の右眼用画像および左眼用画像を表示し、
前記表示光学系は、前記映像表示面に表示された前記右眼用画像を前記ユーザの右眼に与え、前記映像表示面に表示された前記左眼用画像を前記ユーザの左眼に与える
請求項１から１１の何れか１項に記載の情報提供装置。
【請求項１３】
映像を少なくとも一人のユーザに表示する映像提供システムにおいて、
前記映像を表示する映像表示面と、
前記少なくとも一人のユーザのそれぞれに対応して設けられ、対応する前記ユーザに装着される、請求項１から１２の何れか一項に記載の情報提供装置と、
を備える映像提供システム。
【請求項１４】
当該映像提供システムは、表示される前記映像に同期した前記副情報をそれぞれの前記情報提供装置に送信する送信部を更に備え、
それぞれの前記情報提供装置の前記表示制御部は、前記副情報を前記情報表示面に前記映像に同期させて表示させる
請求項１３に記載の映像提供システム。
【請求項１】
映像を表示する映像表示面を見るユーザに副情報を提供する情報提供装置であって、
前記副情報を表示する情報表示面を含み、前記映像表示面からの光および前記情報表示面からの光を合成して前記ユーザの眼に与える表示光学系と、
前記ユーザの視野内における前記映像表示面の位置を検出する検出部と、
前記副情報を前記ユーザの視野内における前記映像表示面に対応する位置に表示させる表示制御部と、
を備える情報提供装置。
【請求項２】
前記表示光学系は、前記情報表示面の虚像を前記ユーザの眼に与え、
前記表示制御部は、前記情報表示面の虚像の表示位置を前記映像表示面に対応する距離および位置に制御する
請求項１に記載の情報提供装置。
【請求項３】
前記副情報を受信する受信部を更に備え、
前記表示制御部は、前記受信部により受信された前記副情報を前記情報表示面に表示させる
請求項１または２に記載の情報提供装置。
【請求項４】
複数の前記副情報のうち前記ユーザにより指定された副情報を選択する選択部を更に備え、
前記表示制御部は、前記選択部により選択された前記副情報を前記情報表示面に表示させる
請求項１から３の何れか１項に記載の情報提供装置。
【請求項５】
前記選択部は、前記映像とともに表示される複数の言語の字幕情報のうち前記ユーザにより指定された言語の字幕情報を選択し、
前記表示制御部は、前記選択部により選択された言語の字幕情報を前記映像に同期して前記情報表示面に表示させる
請求項４に記載の情報提供装置。
【請求項６】
前記検出部は、
前記表示光学系に対して固定された予め定められた撮像位置において、前記映像表示面を撮像する撮像部と、
前記撮像部により撮像された画像中の前記映像表示面の位置に基づき、前記表示光学系に対する前記映像表示面の相対位置を算出する算出部と、
を有し、
前記表示制御部は、前記表示光学系に対する前記映像表示面の相対位置に応じて前記情報表示面上における前記副情報の表示位置を制御して、前記副情報をユーザの視野内における前記映像表示面に対応する位置に固定しているように見せる
請求項１から５の何れか１項に記載の情報提供装置。
【請求項７】
前記撮像部は、前記映像表示面における予め定められた複数の位置のそれぞれから発光された複数の基準光を撮像し、
前記算出部は、前記撮像部により撮像された画像中の前記複数の基準光のそれぞれの発光位置に基づき前記映像表示面の位置を算出する
請求項６に記載の情報提供装置。
【請求項８】
前記算出部は、撮像した画像内における前記映像表示面の大きさ、および、予め登録された前記映像表示面の現実の大きさに基づき、前記表示光学系から前記映像表示面までの距離を算出する
請求項６または７に記載の情報提供装置。
【請求項９】
前記表示制御部は、前記表示光学系から前記映像表示面までの距離に基づき、前記情報表示面の虚像が前記映像表示面の距離に固定して見えるように、前記副情報の虚像のフォーカス位置を制御する
請求項８に記載の情報提供装置。
【請求項１０】
前記映像表示面に対する前記副情報の表示位置を前記ユーザの指示に応じて校正する校正部を更に備える
請求項１から９の何れか１項に記載の情報提供装置。
【請求項１１】
前記校正部は、前記副情報の表示位置の候補を示すポインタを表示して、前記映像表示面に対する前記副情報の表示位置を前記ユーザに指定させる
請求項１０に記載の情報提供装置。
【請求項１２】
前記映像表示面は、立体表示用の右眼用画像および左眼用画像を表示し、
前記表示光学系は、前記映像表示面に表示された前記右眼用画像を前記ユーザの右眼に与え、前記映像表示面に表示された前記左眼用画像を前記ユーザの左眼に与える
請求項１から１１の何れか１項に記載の情報提供装置。
【請求項１３】
映像を少なくとも一人のユーザに表示する映像提供システムにおいて、
前記映像を表示する映像表示面と、
前記少なくとも一人のユーザのそれぞれに対応して設けられ、対応する前記ユーザに装着される、請求項１から１２の何れか一項に記載の情報提供装置と、
を備える映像提供システム。
【請求項１４】
当該映像提供システムは、表示される前記映像に同期した前記副情報をそれぞれの前記情報提供装置に送信する送信部を更に備え、
それぞれの前記情報提供装置の前記表示制御部は、前記副情報を前記情報表示面に前記映像に同期させて表示させる
請求項１３に記載の映像提供システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−３５１３（Ｐ２０１３−３５１３Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７３３７（Ｐ２０１１−１３７３３７）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]