説明

表示装置、情報提供システム、情報提供方法、及びプログラム

【課題】字幕情報をより適切に表示することを目的とする。
【解決手段】表示部を有する表示装置が、当該表示装置の位置を検出する検出手段と、検出手段で検出された位置に応じて特定される表示部における表示位置に字幕情報を表示する表示制御手段と、を有することで課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、情報提供システム、情報提供方法、及びプログラムに関する。
【背景技術】
【0002】
映画館で上映される外国で作成された映画については、外国語で上映して日本語の字幕を映しこむケースと、日本語に吹き替えて字幕を映さないで上映するケースとがある。このような工夫により、様々な観客に対応できるようになる。しかしながら、例えば前者のケースでは、幾つかの問題が残されている。
例えば、2ヵ国語の字幕に対応するためには、同じスクリーン(会場)で行う場合には別の時間帯で2回上演をするか、同じ時間帯で上演したい場合は言語毎にスクリーンを設定する必要がある。つまり、言語毎に時間帯と会場とを確保しなければならない。また、例えば、日本語の字幕で上映するとしても、ある年齢層に合わせて字幕を作成することになり、言葉遣いや漢字の使い方によっては若年層に分かり難い表現が混入するおそれがある。
近年、バーチャルリアリティを利用し、観客が装着したHMD(Head Mounted Display)に字幕を表示する技術が開示されている(例えば、特許文献1参照。)。この技術では、HMDに字幕が表示されるので、同じスクリーンを見ている複数の観客が、それぞれ好きな言語の字幕を見ることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−069024号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、HMDに表示される字幕がHMD内の所定座標付近に固定されて表示されるという問題がある。
【0005】
本発明はこのような問題点に鑑みなされたもので、字幕情報をより適切に表示することを目的とする。
【課題を解決するための手段】
【0006】
そこで、本発明に係る表示装置は、表示部を有する表示装置であって、当該表示装置の位置を検出する検出手段と、前記検出手段で検出された位置に応じて特定される前記表示部における表示位置に字幕情報を表示する表示制御手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、字幕情報をより適切に表示することができる。
【図面の簡単な説明】
【0008】
【図1】HMDの一例を示す図である。
【図2】AR提供システムの一例を示す図である。
【図3A】HMDのハードウェア構成の一例を示す図である。
【図3B】プロジェクタのハードウェア構成の一例を示す図である。
【図4】HMD及びプロジェクタの機能構成の一例を示す図である。
【図5】字幕データのデータ構造の一例を示す図である。
【図6】情報提供システムのシーケンスの一例を示す図である。
【図7】データ配信処理に係るフローチャートの一例を示す図である。
【図8】表示制御処理に係るフローチャートの一例を示す図である。
【図9A】HMDの表示態様の一例を示す図である。
【図9B】HMDの表示態様の一例を示す図である。
【図10】字幕情報のデータ構造の一例を示す図である。
【図11】データ配信処理に係るフローチャートの一例を示す図である。
【図12】字幕情報のデータ構造の一例を示す図である。
【図13】管理テーブルのデータ構造の一例を示す図である。
【図14】データ配信処理に係るフローチャートの一例を示す図である。
【図15】表示制御処理に係るフローチャートの一例を示す図である。
【図16】字幕の表示タイミングの一例を示す図である。
【図17A】HMDの表示態様の一例を示す図である。
【図17B】HMDの表示態様の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面に基づいて説明する。
【0010】
(第1の実施形態)
図1は、本実施形態に係るHMDの一例(HMD100)を示す図である。HMD100は、表示装置(コンピュータ)の一例であり、ディスプレイ10を有する。
本実施形態では、ユーザは、HMD100を頭部に装着し、画像が映し出されるスクリーン900を、ディスプレイ10を介して見ることで映画を鑑賞する。
この際、ディスプレイ10には、シーンに応じた字幕情報(ARデータの一例)がスクリーン900の外側に位置するように表示される。
本実施形態では、現実空間に整合する位置にARデータ(コンピュータグラフィックス画像など)をディスプレイ10に表示することで、拡張された現実感(AR:Augmented Reality)をユーザに提供する。
【0011】
図2は、AR提供システムの一例(情報提供システム)を示す図である。情報提供システムは、HMD100及びプロジェクタ200を含んで構成される。HMD100及びプロジェクタ200は、互いに無線通信が可能に構成されている。
HMD100は、HMD100における各種の制御を司る制御機能120と、字幕の言語の指定を受け付ける言語指定機能130とを有する。
プロジェクタ200は、情報提供装置(コンピュータ)の一例であり、フィルム220を読み込んでスクリーン900に画像を映し出す投影機能210と、各種のデータ240を用いてプロジェクタ200における各種の制御を司る制御機能230と、を有する。
【0012】
例えば、プロジェクタ200の制御機能230は、投影機能210によりフィルム220の読み込みに応じて字幕データが読み出されると、一連の字幕データ(字幕情報)をHMD100に送信する。なお、字幕データの詳細については、図5を参照して説明する。
他方、HMD100の制御機能120は、HMD100に設けられている撮影装置15を介してリアルタイムに現実空間を捉える。また、制御機能120は、撮影装置15の映像からスクリーン900に設けられたマーカ(910、920、930、940)を認識することでスクリーン900(外形)を特定し、ディスプレイ10におけるスクリーン900の外側に字幕情報を表示する。
なお、制御機能120、言語指定機能130、制御機能230の詳細については、図4を参照して説明する。
【0013】
図3Aは、HMD100のハードウェア構成の一例を示す図である。HMD100は、ディスプレイ10、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、HD(Hard Disk)14、撮影装置15、入力装置16、及びインタフェース装置17を有する。
ディスプレイ10は、表示部の一例であり、透過型の液晶ディスプレイ等であり、ARデータを表示すると共に、ディスプレイ10を介して現実空間を視認可能に構成される。CPU11は、必要に応じて、ROM12、HD14などからプログラムを読み出してプログラムを実行する。プログラムが実行されることで、HMD100における機能、及び後述のフローチャートに係る処理が実現される。
【0014】
ROM12は、HMD100の電源投入時に最初に読み込まれるプログラム等を記憶する。RAM13は、HMD100のメインメモリとして機能する。HD14は、プログラムに加えてCPU11により算出された数値データ等を記憶する。
なお、HMD100は、RAM13、HD14などの記憶部に記憶される各種の情報を、CD−ROM、USB等の媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
撮影装置15は、現実空間の撮影を行う。入力装置16は、操作ボタンなどを含んで構成され、操作ボタンの操作(ユーザ操作)に応答して各種の情報を入力する。インタフェース装置17は、外部装置(プロジェクタ200等)と通信を行い、後述の機器ID、言語データなどを送信し、字幕情報などを受信する。インタフェース装置17で受信されたデータは、RAM13、HD14などの記憶部に記憶される。
【0015】
図3Bは、プロジェクタ200のハードウェア構成の一例を示す図である。プロジェクタ200は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、HD(Hard Disk)24、入力装置25、出力装置26、記録媒体ドライブ装置27、及びインタフェース装置28を有する。
CPU21は、必要に応じて、ROM22、HD24などからプログラムを読み出してプログラムを実行する。プログラムが実行されることで、プロジェクタ200における機能、及び後述のフローチャートに係る処理が実現される。
【0016】
ROM22は、プロジェクタ200の電源投入時に最初に読み込まれるプログラム等を記憶する。RAM23は、プロジェクタ200のメインメモリとして機能する。HD24は、プログラムに加えてCPU21により算出された数値データ等を記憶する。
なお、プロジェクタ200は、RAM23、HD24などの記憶部に記憶される各種の情報を、CD−ROM、USB等の媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
【0017】
入力装置25は、ボタン等の入力デバイスを含んで構成され、ユーザによる入力デバイスの操作に応答してプロジェクタ200に各種の情報を入力する。なお、入力装置25としては、遠隔制御を行うための機器の操作、情報処理装置に接続されたキーボードやマウスの操作などを介して、プロジェクタ200に各種の情報を入力する構成を採用してもよい。出力装置26は、各種の情報をスクリーン900に映し出す。
記録媒体ドライブ装置27は、記録媒体ドライブ装置27にセットされたフィルム等の記録媒体29を読み込み、記録された各種の情報を読み出す。インタフェース装置28は、外部装置(HMD100等)と通信を行い、字幕情報などを送信し、後述の機器ID、言語データなどを受信する。インタフェース装置28で受信されたデータは、RAM23、HD24などの記憶部に記憶される。
【0018】
図4は、HMD100及びプロジェクタ200の機能構成の一例を示す図である。HMD100は、表示制御部31、通信部32、及び入力部33を有する。
表示制御部31は、CPU11、撮影装置15などを介して、ディスプレイ10における表示を制御する。例えば、表示制御部31は、字幕情報の位置、大きさ、範囲、明るさ等を調整してディスプレイ10に表示する。
通信部32は、インタフェース装置17を介して行われる通信を制御する。例えば、通信部32は、後述の機器ID、言語データなどをプロジェクタ200に送信し、字幕情報などをプロジェクタ200から受信する。
入力部33は、操作ボタンの操作に応答して入力される情報を管理する。例えば、入力部33は、操作ボタンの操作に応答して複数種類の言語から一の言語の指定を受け付け、指定された言語を識別可能な識別情報の一例である言語データを通信部32に通知する。なお、指定された言語データは、RAM13等の記憶部に格納される。
【0019】
他方、プロジェクタ200は、データ管理部41及び通信部42を有する。
データ管理部41は、CPU21、記録媒体ドライブ装置27などを介して、プロジェクタ200における各種のデータを管理する。例えば、データ管理部41は、複数種類の言語に対応して設けられた複数種類の字幕データがフィルムから読み出された場合、HMD100から受信した言語データに対応する一連の字幕データ(字幕情報)を通信部42に通知する。
通信部42は、インタフェース装置28を介して行われる通信を制御する。例えば、通信部32は、字幕情報をHMD100に送信し、後述の機器ID、言語データなどをHMD100から受信する。
【0020】
図5は、字幕データのデータ構造の一例を示す図である。
本実施形態では、字幕データは、「0」又は「1」を示す情報であり、フィルムの字幕トラックに設けられている。より詳細に説明すると、フィルムには、映像トラック、音声トラック(より広義には「音トラック」)、及び字幕トラックが設けれ、映像トラックと音声トラックと字幕トラックとが記録媒体ドライブ装置27で同時に読み込まれる。なお、映像トラックには、映像情報が記録され、音声トラックには、音声情報が記録されている。
換言するならば、映像情報、及び音声情報に同期するように(同期可能に)字幕データがフィルムに予め設けられ、プロジェクタ200は、映像情報、及び音声情報に同期して字幕情報が表示されるように字幕データを読み出す。
【0021】
例えば、字幕に対応する映像情報が記録されたフィルム上の地点よりも前の地点に当該字幕の字幕データが記録され、プロジェクタ200により、映像情報が映し出されるまでに一連の字幕データが読み出されると、一連の字幕データを字幕情報としてHMD100に送信され、HMD100により字幕情報が表示される。上述の構成により、映像、音声、及び字幕の同期が実現される。
また、字幕トラックには、複数種類の言語に対応する複数種類の字幕データが設けられている。なお、プロジェクタ200は、映像情報、音声情報と共に、全ての種類の字幕データを同時に読み出す。
【0022】
図6は、情報提供システムのシーケンスの一例を示す図である。
SQ300では、HMD100は、言語指定処理を行う。より具体的には、HMD100の入力部33は、入力装置16の操作に応答して、複数種類の言語のうちから一の言語の指定を受け付け、受け付けた言語を識別可能な言語データを特定する。
SQ310では、HMD100の通信部32は、HMD100を識別可能な機器IDと特定された言語データとをプロジェクタ200に送信する。なお、機器IDは、HMD100の出荷時の製造番号であってもよいし、管理者により予め設定された値であってもよい。
【0023】
SQ320では、プロジェクタ200のデータ管理部41は、データ配信処理を行う。例えば、データ管理部41は、通信部42を介して受信された機器ID及び言語データを対応付けてHD24に格納し、フィルムの読み込みに応答して、HMD100が要求する言語の字幕情報を通信部42を介して送信する。なお、データ配信処理の詳細については図7を参照して説明する。
SQ330では、プロジェクタ200の通信部42は、字幕情報をHMD100に送信する。ここで、図6では、SQ330の処理は、データ配信処理において行われるが、便宜上、データ配信処理の後に行われるように示している。なお、SQ350、SQ370、及びSQ380についても同様である。
【0024】
SQ340では、HMD100の表示制御部31は、表示制御処理を行う。例えば、表示制御部31は、通信部32を介して受信された字幕情報を、観客により指定された各種の設定、HMD100の位置及び姿勢、並びに映画館の明るさに適合するように調整してディスプレイ10に表示する。なお、表示制御処理の詳細については図8を参照して説明する。
そして、データ管理部41による記録媒体ドライブ装置27を介したフィルムの読み込みが終了するまで、字幕情報の送信処理と表示制御処理とが行われる(SQ350〜SQ390)。
【0025】
図7は、データ配信処理に係るフローチャートの一例を示す図である。
まず、データ管理部41は、記録媒体ドライブ装置27を介して、映像トラック、音声トラック、及び字幕トラックを読み込む(S400)。
この際、データ管理部41は、字幕トラックの字幕データを言語ごとにRAM23に格納する。例えば、音声トラックに日本語、英語、及び中国語の夫々に対応する字幕データが記録されている場合、データ管理部41は、日本語の字幕データ、英語の字幕データ、中国語の字幕データを識別してRAM23に格納する。
そして、データ管理部41は、一連の字幕データとなったと判断した場合、S410の処理を行う。なお、一連の字幕データの判別方法については、適宜の方法を採用できる。例えば、データ管理部41は、字幕トラックに設けられる開始符号及び終了符号の間に設けられている字幕データを一連の字幕データであると判別する。また、例えば、字幕トラックに設けられる特定符号ごとの字幕データを一連の字幕データであると判別する。
【0026】
次に、データ管理部41は、通信部42を介して各HMDから受信された機器IDと各HMDから要求された言語の言語データとをもとに、要求された言語の字幕情報を各HMDに通信部42を介して送信する(S410)。
例えば、機器IDがHMD100を示す「100」であり、言語データが日本語を示す「JP」である場合、上述したように、HD24には機器ID「100」と言語データ「JP」とが対応付けられて記憶されている。すなわち、S410の処理では、データ管理部41は、HD24に記憶されている機器IDと言語データとを順次に読み出し、「100」及び「JP」をHD24から読み出しとき、通信部42を介して、RAM23に記憶されている日本語の字幕情報をHMD100に送信する。
【0027】
次に、データ管理部41は、記録媒体ドライブ装置27による、映像トラック、音声トラック、及び字幕トラックの読み込みが完了したか否かを判断する(S420)。このとき、データ管理部41は、完了したと判断した場合、処理を終了し、他方、完了していないと判断した場合、S400の処理を行う。
【0028】
図8は、表示制御処理に係るフローチャートの一例を示す図である。
まず、表示制御部31は、撮影装置15の映像をもとにスクリーン900を特定し、ディスプレイ10におけるスクリーン900の位置を算出する(S500)。
本実施形態では、スクリーン900の四隅には、スクリーン900の外形を示すマーカが設けられ、表示制御部31は、マーカによりスクリーン900を特定する。なお、スクリーン900を特定する方法については、上述の構成に限られるものではなく、パターン認識などの公知の方法を採用してもよい。
【0029】
また、スクリーンの900の四隅に設けられるマーカが赤外線を発し、赤外線検出装置により検出されたマーカをもとにスクリーン900が特定される構成を採用してもよい。この場合、赤外線検出装置は、撮影装置15に含まれていてもよいし、撮影装置15に代えて設けられていてもよい。また、赤外線検出装置は、上述のような受動型センサに限られるものではなく、能動型センサでも本実施形態を実現できる。
このように、赤外線を発するマーカを用いることで、観客に不快感などを与えることなく、スクリーン900を特定することができ、更には、映画館などの暗い場所においても正確にスクリーン900を特定することができる。付言するならば、撮影装置15として赤外線カメラを採用してもよく、この場合も同様の効果が得られる。
【0030】
次に、表示制御部31は、字幕情報をディスプレイ10に表示する。より詳細に説明すると、表示制御部31は、S500で算出した位置を用いて、ディスプレイ10におけるスクリーン900の外側(外側領域)に字幕情報を表示する。この位置特定の演算(S500)には、従来から用いられている技術を適用する。より具体的には、撮影装置15における座標系をディスプレイ10における座標系に変換する。これにより撮影装置15で捉えた各マーカ位置に基づきディスプレイ10内でスクリーン900の相当領域が特定できる。表示制御部31は、外側領域のうちディスプレイ10におけるスクリーン900の外形から一定の距離に字幕情報を表示する。
ディスプレイ10におけるスクリーン900の上下左右の何れに表示するかは、ユーザにより指定される構成であってもよいし、上下左右の外側領域の最も広い領域に決定される構成であってもよいし、HMD100の位置、姿勢などに応じて決定される構成であってもよいし、これらを組み合わせてもよい。
【0031】
ここで、HMD100の位置に応じて決定される構成を採用した場合、表示制御部31は、例えば、HMD100がスクリーン900の正面に位置しないときは、図9Aに示すようにHMD100がスクリーン900に近い側に字幕情報を表示する。
また、例えば、HMD100の姿勢に応じて決定される構成を採用した場合、表示制御部31は、HMD100が傾いているとき、例えば図9Bに示すようにユーザがスクリーン900に対してやや下方向を見たとき、つまりHMD100がスクリーン900の正面に位置しないときは、表示制御部31は、上下左右の外側領域の最も広い領域を特定し、特定した領域に字幕情報を表示する。
【0032】
本実施形態によれば、映画などの字幕をユーザが所望する言語とすることができ、更には、その映像を邪魔することなくユーザに字幕を提供することができる。
なお、本実施形態は、上述の構成に限られるものではない。例えば、読み出された字幕データがHMD100に適宜に送信され、HMD100で一連の字幕データが字幕情報とされる構成を採用してもよい。
【0033】
(第2の実施形態)
第1の実施形態では、字幕データがフィルムに記録されていたが、本実施形態では、字幕情報(一連の字幕データ)がHD24などの記憶部に記憶されている。なお、第1の実施形態と同じ構成については、同一の符号を用いて説明を適宜省略する。
【0034】
図10は、字幕情報のデータ構造の一例を示す図である。
映像情報、及び音声情報は、HD24に記憶され、映像情報、及び音声情報の少なくとも一方が読み出されるタイミングごとにタイミングID51(映像情報に対して同期をとる際の指標となる標識情報の一例である。)が付されている。他方、字幕情報については、映像情報、及び音声情報の少なくとも一方のタイミングID51に対応するタイミングID(52〜56)が対応付けられてHD24に記憶されている。
なお、映像情報、及び音声情報は、フィルムに記録されていてもよい。
【0035】
ここで、映像情報、及び音声情報が読み出される際には、まず、付されているタイミングIDが読み出され、読み出されたタイミングIDに対応する字幕情報がHD24から読み出される。そして、プロジェクタ200により読み出されたタイミングID及び字幕情報がHMD100に送信され、HMD100により字幕情報が表示される。これにより、映像、音声、及び字幕の同期が実現される。
また、HD24には、複数種類の言語に対応する複数種類の字幕情報が同様に記憶されている。
なお、本実施形態は、上述の構成に限られるものではない。例えば、映像情報、音声情報、及び字幕情報は、インタフェース装置28を介して接続される記憶装置に記憶されていてもよい。
【0036】
図11は、データ配信処理に係るフローチャートの一例を示す図である。
まず、データ管理部41は、記録媒体ドライブ装置27を介して、映像トラック及び音声トラックを読み込み、タイミングIDを読み出したときはタイミングIDをRAM23に格納する(S600)。
次に、データ管理部41は、読み出した情報がタイミングIDであるか否かを判断する(S610)。このとき、データ管理部41は、タイミングIDであると判断した場合、S620の処理を行い、他方、タイミングIDでないと判断した場合、S600の処理を行う。
【0037】
S620では、データ管理部41は、読み出したタイミングIDに対応する字幕情報をHD24から抽出する。このとき、データ管理部41は、複数種類の言語に対応する全ての字幕情報を抽出する。
次に、データ管理部41は、S410と同様に、各HMDから受信した機器IDと各HMDから要求された言語の言語データとをもとに、要求された言語の字幕情報及びそのタイミングIDを各HMDに通信部42を介して送信する(S630)。なお、データ管理部41は、タイミングIDに対応する字幕情報が抽出されていないときは、タイミングIDのみを送信する。
次に、データ管理部41は、映像トラック及び音声トラックの読み込みが完了したか否かを判断する(S640)。このとき、データ管理部41は、完了したと判断した場合、処理を終了し、他方、完了していないと判断した場合、S600の処理を行う。
そして、HMD100では、表示制御処理が行われ、ディスプレイ10におけるスクリーン900の外側に字幕情報が表示される。
【0038】
なお、S630の処理では、字幕情報及び対応するタイミングIDを各HMDに送信する構成を採用したが、この構成に限られるものではない。
例えば、プロジェクタ200は、HMD100から言語データを受信した際に、言語データの言語の全ての字幕情報及び対応付けられているタイミングIDをHMD100に送信し、S630の処理ではタイミングIDを送信する構成を採用してもよい。
また、例えば、HMD100は、言語の指定を受け付けた際に字幕情報及び対応付けられているタイミングIDをHD24から取得し、プロジェクタ200は、S630の処理ではタイミングIDを送信する構成を採用してもよい。
これらの場合、S620の抽出処理と同様の処理が表示制御処理で行われる。
本実施形態によれば、字幕情報がフィルムに設けられていないので、言語の種類の追加の要望に、より容易に対応することができる。なお、本実施形態では、第1の実施形態の効果も奏する。
【0039】
(第3の実施形態)
本実施形態では、スクリーン900に映し出されたオブジェクト(手紙、新聞、雑誌、看板など)に重畳して、予め記憶されたオブジェクト情報(ARデータの一例)がディスプレイ10に表示される。すなわち、本実施形態では、第2の実施形態と同様に字幕情報がHD24に記憶され、更に、映像に係るオブジェクト情報などがHD24に記憶されている。なお、第1の実施形態、及び第2の実施形態と同じ構成については、同一の符号を用いて説明を適宜省略する。
【0040】
図12は、字幕情報のデータ構造の一例を示す図である。
映像情報、及び音声情報については、HD24に記憶されていても、フィルムに記録されていてもよいが、映像情報、及び音声情報の少なくとも一方が読み出されるタイミングごとにタイミングID51が付されている。他方、字幕情報については、タイミングID51に対応するタイミングID(52〜56)が対応付けられてHD24に記憶されている。
また、本実施形態では、タイミングID51に対応するタイミングID(57、58)が対応付けられてオブジェクト情報(画像データ、フリーデータなど)がHD24に記憶されている。オブジェクト情報は、映像中のオブジェクトに係る情報である。例えば、HMD100で日本語の指定が受け付けられている場合、オブジェクトとして中国語の手紙が映し出されているときに、日本語の手紙を示すために、管理者は、オブジェクト情報として日本語の手紙の画像データをタイミングIDに関連付けてHD24に予め記憶しておく。
【0041】
ここで、映像情報、及び音声情報が読み出される際には、付されているタイミングIDが読み出され、読み出されたタイミングIDに対応する字幕情報、及びオブジェクト情報が読み出される。そして、プロジェクタ200により読み出されたタイミングID、字幕情報、及びオブジェクト情報がHMD100に送信され、HMD100により字幕情報、及びオブジェクト情報が表示される。これにより、映像、音声、字幕、及びオブジェクトの同期が実現される。
また、HD24には、複数種類の言語に対応する複数種類の字幕情報が同様に記憶されている。
なお、本実施形態は、上述の構成に限られるものではない。例えば、映像情報、音声情報、字幕情報、及びオブジェクト情報は、インタフェース装置28を介して接続される記憶装置に記憶されていてもよい。
【0042】
図13は、字幕情報などを管理する管理テーブルのデータ構造の一例を示す図である。
管理テーブルには、タイミングID、言語の種類、字幕の内容、字幕を表示する時間を調整する時間調整、オブジェクトを表示する位置を示す表示位置、オブジェクトの大きさを調整する大きさ調整の情報が格納されている。
管理テーブルの各種の情報は、管理者等により、映画の開始前に予め設定されているものとする。なお、本実施形態では、データの管理には、データベースなどで用いられる管理テーブルを採用しているが、表計算などが可能なアプリケーションで扱われる表形式のファイルであってもよいし、カンマ区切りのファイルであってもよい。
【0043】
図14は、データ配信処理に係るフローチャートの一例を示す図である。なお、S700、S710、S720、及びS750の処理は、基本的には、S600、S610、S620、及びS640の処理と同様であるので説明を省略する。ただし、S720では、データ管理部41は、字幕情報に対する調整時間の情報が設定されている場合、調整時間の情報も抽出する。
【0044】
S730では、データ管理部41は、読み出したタイミングIDに対応するオブジェクト情報をHD24から抽出する。なお、データ管理部41は、複数種類の言語に対応するオブジェクト情報が存在するときは、全てのオブジェクト情報を抽出する。
次に、データ管理部41は、S410やS630と同様に、各HMDから受信した機器IDと各HMDから要求された言語の言語データとをもとに、要求された言語の字幕情報と抽出したオブジェクト情報とそのタイミングIDとを各HMDに通信部42を介して送信する。なお、データ管理部41は、タイミングIDに対応する字幕情報及びオブジェクト情報が抽出されていないときは、タイミングIDのみを送信する。
【0045】
図15は、表示制御処理に係るフローチャートの一例を示す図である。なお、S800の処理は、基本的には、S500の処理と同様であるので説明を省略する。
S810では、表示制御部31は、S510の処理と同様の処理を行うと共に、字幕情報と共に時間調整の情報が受信されたときは、タイマーに時間調整の情報(値)をセットする。
ここで、表示制御部31は、タイミングIDを受信すると、基本的には、現在表示している字幕情報を消去し、次のタイミングID及び字幕情報を受信すると、タイマーに値がセットされているときはその値が経過した後に、その字幕情報の表示を行う。ただし、入力装置16を介して字幕を延長して表示する旨の指定(延長表示指定)が入力部33で受け付けられているときは、表示制御部31は、タイマーにセットされた値が経過した後に、現在表示している字幕情報を消去して次の字幕情報の表示を行う。
【0046】
図16に、字幕の表示タイミングの一例を示す。上段には、延長表示指定が受け付けられていないときの字幕の表示タイミングを示し、下段には、延長表示指定が受け付けられているときの字幕の表示タイミングを示す。
ここで、本実施形態では、図16の上段に示すように、基本的には、シーンに応じた字幕が表示される。より具体的には、第1のシーン(シーン1)から第2のシーン(シーン2)に映像が切り替わると(第2のシーンのタイミングIDが受信されると)、第1のシーンの字幕が消去される。しかしながら、小学生などは、字幕を読む速度が遅いため、第1のシーンの字幕を読み終わる前に第1のシーンの字幕が消去されてしまうことがある。
そこで、本実施形態では、延長表示指定が受け付けられると、図16の下段に示すように、第2のシーンのタイミングIDが受信されて第2のシーンが開始されても、第2のシーンの字幕が表示されるまで(第2のシーンのタイミングIDを受信してから10秒後まで)は、第1のシーンの字幕を表示する。なお、字幕の長さに応じて字幕を表示する時間を変更する構成としてもよい。この場合、第1のシーンの字幕と第2のシーンの字幕とが第2のシーンで同時に表示されることがある。
このように、延長表示指示を受け付けることにより字幕を表示する時間を変更することができるので、観客は、字幕を把握しやすくなる。
【0047】
S820では、表示制御部31は、ひずみ処理を行う。ひずみ処理では、表示制御部31は、スクリーン900の歪みに応じて表示用のオブジェクトの形状を変形する。なお、形状を変形する処理については、一般的な手法を用いて実現できるので、詳細な説明は省略する。
また、表示制御部31は、オブジェクト情報と共に送信される大きさ調整の情報をもとに、ディスプレイ10におけるスクリーン900の大きさに対応して表示用のオブジェクトの大きさを変更する。本実施形態では、大きさ調整の情報は、スクリーン900の縦の長さを1としたときのオブジェクトの縦の長さを示す値(割合)である。
【0048】
S830では、表示制御部31は、歪み処理後のオブジェクト情報をディスプレイ10に表示する。より具体的には、表示制御部31は、オブジェクト情報と共に送信される表示位置の座標情報をもとに、ディスプレイ10における表示位置を決定する。本実施形態では、座標情報は、スクリーン900の左上に設けられているマーカ(マーカ910)を原点とした座標系のデータである。
例えば、HMD100で日本語の字幕の指定が受け付けられている場合、図17Aに示すような中国語の手紙60がスクリーン900に表示される際、図17Bに示すような日本語の手紙のオブジェクト情報がプロジェクタ200から送信され、スクリーン900上の中国語の手紙60に重ねられるように位置合わせが行われて日本語の手紙65がディスプレイ10に表示される。
【0049】
S840では、表示制御部31は、オプション処理を行う。オプション処理では、表示制御部31は、フリーデータを受信した場合、フリーデータに応じて処理を行う。
例えば、表示制御部31は、残虐なシーン、子供に見せたくないシーンなどを示すフリーデータをもとに、一部又は全部の映像を覆って隠す処理(モザイク処理)を行う。
本実施形態によれば、観客の年齢などに応じて字幕を提供することができる。また、本実施形態によれば、映像のオブジェクトについても、指定された言語に、より容易に対応することができる。なお、本実施形態では、第1の実施形態の効果、及び第2の実施形態の効果も奏する。
【0050】
また、本実施形態は、上述の構成に限られるものではない。
例えば、表示制御部31は、字幕情報の表示に係る処理(S810)とオブジェクト情報の表示に係る処理(S820、S830)とを並行して行ってもよいし、オブジェクト情報の表示に係る処理を字幕情報の表示に係る処理よりも先に行ってもよい。
また、例えば、表示制御部31は、映画館(会場)の明るさに応じてオブジェクト情報の明るさを調整する処理を行ってもよい。会場の明るさについては、撮影装置15の映像から取得してもよいし、明るさを検知する検知装置をHMD100に設けて、検知装置により取得されてもよい。
【0051】
HD24には3Dのオブジェクト情報が記憶されている。よって、表示制御部31は、映画が3D映画である場合、映画のシーンに合わせて3Dのオブジェクト情報をディスプレイ10に表示する。なお、表示制御部31は、2D映画である場合でも、映画のシーンに合わせて3Dのオブジェクト情報をディスプレイ10に表示してもよい。
また、観客の360oの顔写真を事前に登録し(HD24に記憶し)、プロジェクタ200は、予め規定したタイミングで顔写真を読み出してHMD100に送信し、HMD100は、ディスプレイ10に顔写真を表示する。例えば、映画に登場する特定の人物が映し出されるときに、自分の顔写真が特定の人物の顔に重ねられてディスプレイ10に表示される。
【0052】
なお、上述した実施形態では、映像がフィルムに記録されている例で説明したが、映像・音声・字幕をすべてデジタルデータで記録しても同様に実施することができる。
また、上述した実施形態では、HMD100側から言語データをプロジェクタ200に送信する例で説明したが、HMD100に言語選択スイッチ(入力装置16の一例)を設け、プロジェクタ200から多チャンネルで無線配信された字幕情報の中から、ユーザによる言語選択スイッチの操作に応じた言語の字幕情報(字幕情報チャンネル)を選択的に受信するようにしてもよい。この場合、言語選択スイッチは、物理的なスイッチでも、ソフトウェア構成のスイッチでも構わない。付言するならば、第1の実施形態、及び第2の実施形態についてもこの構成を採用することができる。
【0053】
(その他の実施形態)
また、上述の実施形態では、映画館のスクリーン900に適用して説明したが、家に設置されるテレビに適用してもよい。
また、記録媒体29、HD24、インタフェース装置28を介して接続される記憶装置は、記憶媒体の一例である。
付言するならば、上述した構成については、適宜組み合わせて採用することができる。
【0054】
上述した構成によれば、字幕を映しこむ場合、映像の一部に重なってしまう事態を避けることができ、作品のどこかに字幕が重なってしまい見栄えを悪くしてしまうことがない。
また、字幕は、基本的には台詞やキャプションなどに対応して表示されるが、作品によっては、映像に映し出される新聞紙や雑誌などの記事に意味があるものが存在する。これに対し、上述した構成によれば、意味のある記事の部分が原語表示されたままで表示される問題を解決できる。
このように、上述した構成によれば、字幕情報をより適切に表示することができる。
【0055】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0056】
100 HMD
200 プロジェクタ

【特許請求の範囲】
【請求項1】
表示部を有する表示装置であって、
当該表示装置の位置を検出する検出手段と、
前記検出手段で検出された位置に応じて特定される前記表示部における表示位置に字幕情報を表示する表示制御手段と、を有することを特徴とする表示装置。
【請求項2】
前記検出手段は、当該表示装置の姿勢を更に検出し、
前記表示制御手段は、前記検出手段で検出された位置及び姿勢に応じて特定される前記表示部における表示位置に前記字幕情報を表示することを特徴とする請求項1に記載の表示装置。
【請求項3】
前記検出手段は、当該表示装置の位置及び姿勢に応じて、情報を映し出すスクリーンを特定し、
前記表示制御手段は、前記表示部における表示位置として、前記表示部における前記スクリーンの外側の位置を決定し、決定した位置に前記字幕情報を表示することを特徴とする請求項2に記載の表示装置。
【請求項4】
前記スクリーンの四隅には、マーカが設けられ、
前記表示制御手段は、前記四隅のマーカにより前記スクリーンを特定することを特徴とする請求項3に記載の表示装置。
【請求項5】
字幕情報を送信する情報提供装置と、表示部を有する表示装置と、字幕情報が記憶された記憶媒体と、を含む情報提供システムであって、
前記情報提供装置は、
前記記憶媒体から字幕情報を取得する取得手段と、
前記取得手段で取得された字幕情報を前記表示装置に送信する送信手段と、を有し、
前記表示装置は、
前記情報提供装置から前記字幕情報を受信する受信手段と、
当該表示装置の位置を検出する検出手段と、
前記検出手段で検出された位置に応じて特定される前記表示部における表示位置に前記字幕情報を表示する表示制御手段と、を有することを特徴とする情報提供システム。
【請求項6】
前記記憶媒体には、スクリーンに映し出されるオブジェクトに係るオブジェクト情報が更に記憶され、
前記取得手段は、前記記憶媒体からオブジェクト情報を更に取得し、
前記送信手段は、前記取得手段で取得されたオブジェクト情報を前記表示装置に送信し、
前記受信手段は、前記情報提供装置から前記オブジェクト情報を受信し、
前記表示制御手段は、前記検出手段で検出された位置に応じて特定される前記表示部における表示位置に前記オブジェクト情報を表示することを特徴とする請求項5に記載の情報提供システム。
【請求項7】
前記記憶媒体には、複数種類の言語に対応する複数種類の字幕情報が記憶され、
前記表示装置は、ユーザ操作に応答して指定された言語を示す識別情報を前記情報提供装置に通知する通知手段を更に有し、
前記送信手段は、前記取得手段で取得された字幕情報のうち前記識別情報に対応する言語の字幕情報を前記表示装置に送信することを特徴とする請求項5又は6に記載の情報提供システム。
【請求項8】
前記記憶媒体には、複数種類の言語に対応する複数種類の字幕情報が記憶され、
前記取得手段は、前記記憶媒体から前記複数種類の字幕情報を取得し、
前記送信手段は、前記取得手段で取得された前記複数種類の字幕情報を前記表示装置に送信し、
前記受信手段は、前記複数種類の字幕情報のうちユーザ操作に応答して指定された言語の字幕情報を受信し、
前記表示制御手段は、前記受信手段で受信された言語の字幕情報を前記検出手段で検出された位置に応じて特定される前記表示部における表示位置に表示することを特徴とする請求項5又は6に記載の情報提供システム。
【請求項9】
表示部を有する表示装置における情報提供方法であって、
前記表示装置の位置を検出する検出工程と、
前記検出工程で検出された位置に応じて特定される前記表示部における表示位置に字幕情報を表示する表示制御工程と、を有することを特徴とする情報提供方法。
【請求項10】
字幕情報を送信する情報提供装置と、表示部を有する表示装置と、字幕情報が記憶された記憶媒体と、を含む情報提供システムにおける情報提供方法であって、
前記情報提供装置は、
前記記憶媒体から字幕情報を取得する取得工程と、
前記取得工程で取得された字幕情報を前記表示装置に送信する送信工程と、を有し、
前記表示装置は、
前記情報提供装置から前記字幕情報を受信する受信工程と、
当該表示装置の位置を検出する検出工程と、
前記検出工程で検出された位置に応じて特定される前記表示部における表示位置に前記字幕情報を表示する表示制御工程と、を有することを特徴とする情報提供方法。
【請求項11】
表示部を有するコンピュータを、
当該コンピュータの位置を検出する検出手段、
前記検出手段で検出された位置に応じて特定される前記表示部における表示位置に字幕情報を表示する表示制御手段、として機能させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9A】
image rotate

【図9B】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17A】
image rotate

【図17B】
image rotate


【公開番号】特開2012−163853(P2012−163853A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−25315(P2011−25315)
【出願日】平成23年2月8日(2011.2.8)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】