映像提示装置
【課題】運動視差を利用して立体感を表現する際に、複数人が同時に鑑賞する。
【解決手段】映像を表示する表示部１４０と、各鑑賞者の視点に応じた映像を表示部１４０に所定の表示順で時系列に切り替えながら表示するよう制御し、表示部１４０に所定の鑑賞者の位置に応じた立体映像を表示している期間にその所定の鑑賞者が前記立体映像を鑑賞できるようにさせる同期制御部と、同期制御部１２６によりその所定の鑑賞者に対し立体映像を鑑賞させる制御信号を、該制御信号に基づいて自装置を装着している鑑賞者に対し立体映像を鑑賞させる光透過制御装置に送信する通信部１５０と、を備える。
【解決手段】映像を表示する表示部１４０と、各鑑賞者の視点に応じた映像を表示部１４０に所定の表示順で時系列に切り替えながら表示するよう制御し、表示部１４０に所定の鑑賞者の位置に応じた立体映像を表示している期間にその所定の鑑賞者が前記立体映像を鑑賞できるようにさせる同期制御部と、同期制御部１２６によりその所定の鑑賞者に対し立体映像を鑑賞させる制御信号を、該制御信号に基づいて自装置を装着している鑑賞者に対し立体映像を鑑賞させる光透過制御装置に送信する通信部１５０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像提示装置に関する。
【背景技術】
【０００２】
三次元（３Ｄ）映画などの普及により、いわゆる両眼視差（左右の目に視差のある異なる映像を提示することによってユーザに立体感を知覚させること）による立体映像表現が盛んに行われている。特に、映画館など多人数で同じ立体映像を見る場合には、立体映像を専用の立体視眼鏡を利用して見ることが行われている。
【０００３】
このような立体視眼鏡を利用した手法は、多人数が大画面で同時に、同じコンテンツを鑑賞する用途には適している。しかし、鑑賞者の位置からディスプレイの位置に向かう方向に奥行きがある映像の場合、鑑賞者がその位置から別の位置に移動した際には、本来見えないはずの奥行きが見えることにより鑑賞者が違和感を抱くという問題がある。この問題は、特に通常の大きさのディスプレイで顕著にみられる。
【０００４】
これを解決する手段として、鑑賞位置に応じて立体表現される映像の向きが変わる手法が提案されている。具体的には、レンチキュラレンズ（非特許文献１）やパララックスバリア（非特許文献２）などを利用した多視点裸眼立体視手法が発明されている。
【０００５】
しかし，このような手法を用いた場合では、提供する視点数が増加するほど映像の解像度が低下する問題や、鑑賞可能エリアが狭いという問題がある。一方、非特許文献３によると、通常のディスプレイを鑑賞する距離においては両眼視差の他に運動視差が立体感に影響を与えていることが知られている。
【０００６】
このような特性を利用して、両眼視差ではなく運動視差を利用して立体感を表現する手法として非特許文献４の手法が提案されている。非特許文献４では、運動視差を利用することで、鑑賞範囲が大きく広がり、なおかつ両眼視差で生じる長時間の鑑賞による疲労感を与えにくいという利点がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】http://www.nissho-ele.co.jp/product/philips/
【非特許文献２】http://www.aec.co.jp/mm/products/tridelity.htm
【非特許文献３】Cutting, J. and Vishton, P., “Perceiving Layout and Knowing Distances,” Perception of Space and Motion, W. Epstein and S. Rogers, eds., Academic Press (1995), 69-117.
【非特許文献４】Zhang, C., Yin, Z., and Florencio, D., “Improving depth perception with motion parallax and its application in teleconferencing,” MMSP 2009, (2009), 1-6.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
運動視差を利用して立体感を表現する非特許文献４の手法では、ユーザの鑑賞位置を検出し、その検出位置に合わせた映像を提示するため、複数人での同時鑑賞ができないという問題がある．
【０００９】
そこで本発明は、上記問題に鑑みてなされたものであり、運動視差を利用して立体感を表現する際に、複数人での同時鑑賞を可能とする技術を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の一態様は、映像を表示する表示部と、各鑑賞者の視点に応じた映像を前記表示部に所定の表示順で時系列に切り替えながら表示するよう制御し、前記表示部に所定の鑑賞者の位置に応じた立体映像を表示している期間に前記所定の鑑賞者が前記立体映像を鑑賞できるようにさせる同期制御部と、前記同期制御部により前記所定の鑑賞者に対し前記立体映像を鑑賞させる制御信号を、該制御信号に基づいて自装置を装着している鑑賞者に対し前記立体映像を鑑賞させる光透過制御装置に送信する通信部と、を備えることを特徴とする映像提示装置である。
【発明の効果】
【００１１】
本発明によれば、運動視差を利用して立体感を表現する際に、複数人が同時に鑑賞することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における映像提示システムの概略構成図である。
【図２】本実施形態における映像提示装置のハードウェア構成を示す概略ブロック図である。
【図３】本実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図４】各鑑賞者位置算出部の処理の一例について説明するための図である。
【図５】本実施形態におけるシャッタ装置の斜視図である。
【図６】本実施形態におけるシャッタ装置のハードウェア構成を示す概略ブロック図である。
【図７】本実施形態における映像提示システムのシーケンス図の一例である。
【図８】本実施形態における映像提示装置の制御部の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における映像提示システム１の概略構成図である。映像提示システム１は、映像提示装置１００と、シャッタ装置２００＿１、２００＿２、…、２００＿ＮまでのＮ個のシャッタ装置２００＿ｉ（ｉは１からＮまでの整数）とを有する。
【００１４】
まず、本実施形態の映像提示装置１００の概要について説明する。本実施形態の映像提示装置１００は、複数人が同時に鑑賞可能な立体映像を提供する。本実施形態の映像提示装置１００は、従来の両眼視差による立体映像ではなく、鑑賞者の視点位置に応じて、自装置が備える表示部１４０に表示される画像の奥行き方向の見え方が変更される運動視差映像を生成し、生成した運動視差映像を表示部１４０に表示する。これにより、映像提示装置１００は表示部１４０に表示された物体の奥行きを表現することができる。
【００１５】
具体的には、映像提示装置１００は、１人または複数の鑑賞者を検出し、検出した鑑賞者に応じた運動視差映像を、検出した鑑賞者の人数分生成する。映像提示装置１００は、生成したそれぞれの運動視差映像を表示部１４０に所定の順番で時系列に切り替えながら表示する。
【００１６】
映像提示装置１００は、ｉ番目の鑑賞者の視界を制御する制御信号Ｓ＿ｉ（ｉは１からＮまでの整数）をシャッタ装置２００＿ｉへ無線で送信する。例えば、映像提示装置１００は、１番目の制御信号Ｓ＿１をシャッタ装置２００＿１へ無線で送信する。
【００１７】
シャッタ装置２００＿ｉは、映像提示装置１００から送信された制御信号Ｓ＿ｉを受信し、受信した制御信号Ｓ＿ｉに基づいて、自装置が備える液晶シャッタの光の透過率を時系列で変更する。
これにより、シャッタ装置２００＿ｉの液晶シャッタ越しに映像提示装置１００が提示する映像を鑑賞した鑑賞者は、当該鑑賞者向けに生成された映像のみを選択的に閲覧することができる。
【００１８】
これにより、映像提示システム１は、複数人での同時鑑賞を可能にすることができる。なお、従来の両眼視差を用いた立体映像表示システムにおける、シャッタ装置は、時分割に映像を切り替える際に、液晶シャッタの開閉を右目用液晶シャッタと左目用液晶シャッタとで交互に行った。それに対し、本発明におけるシャッタ装置２００＿ｉは、シャッタ装置２００＿ｉ毎に順番に行う。
【００１９】
図２は、本実施形態における映像提示装置１００のハードウェア構成を示す概略ブロック図である。映像提示装置１００は、撮像部１１０と、制御部１２０と、立体映像記憶部１３０と、表示部１４０と、通信部１５０とを備える。
撮像部１１０は、予め決められた所定の鑑賞エリアを撮像し、撮像により得られた画像データを制御部１２０に出力する。
【００２０】
立体映像記憶部１３０には、あらゆる視点から見た立体映像に変換可能な立体映像のデータが記憶されている。ここで、立体映像のデータは、例えばＤｉｒｅｃｔＸ（登録商標）やＯｐｅｎＧＬ（登録商標）などに代表されるコンピュータグラフィックス用の３Ｄモデルデータである。
【００２１】
具体的には、例えば、立体映像記憶部１３０には、奥行き情報をもつ人物画像のデータである人物レイヤのデータと、奥行き情報をもつ背景画像のデータである背景レイヤのデータとが記憶されている。ここで、背景レイヤの奥行き情報は、例えば、予め背景がカメラによって撮像された際に、カメラのＡＦ機能実行時に算出された値である。また、人物レイヤの奥行き情報は、例えば、鑑賞者の視点位置である。
【００２２】
なお、立体映像のデータは、文献（木全 英明, "多視点映像符号化MVCの国際標準化動向", 映像情報メディア学会誌, Vol. 61 (2007) , No. 4 pp.426-430）に挙げるような多視点の映像データでもよい。
【００２３】
制御部１２０は、撮像部１１０から供給された画像データから、鑑賞エリアに存在する全ての鑑賞者（ここで、鑑賞者をＮ人とする）を検出し、検出した鑑賞者の位置を鑑賞者毎に算出する。
制御部１２０は、立体映像記憶部１３０から立体映像のデータを読み出し、読み出した立体映像のデータと算出した鑑賞者毎の鑑賞者の位置とに基づいて、鑑賞者毎の立体映像を生成する。
【００２４】
制御部１２０は、鑑賞者の位置に応じた映像を表示部１４０に所定の表示順で時系列に切り替えながら表示させる。また、制御部１２０は、表示部１４０に所定の位置の鑑賞者向けの立体映像を表示している期間にその鑑賞者がこの映像を鑑賞できるようにさせるＮ個の制御信号Ｓ＿ｉ（ｉは１からＮまでの整数）を生成する。制御部１２０は、生成したＮ個の制御信号Ｓ＿ｉを通信部１５０に供給する。
【００２５】
表示部１４０は、制御部１２０による制御により、映像を表示する。これにより、表示部１４０は、鑑賞者の位置毎に、当該鑑賞者の視点に応じた立体映像を表示することができる。
【００２６】
通信部１５０は、無線（例えば、赤外線）によりＮ個のシャッタ装置２００＿ｉのそれぞれと通信可能に構成されている。通信部１５０は、制御部１２０から供給された各制御信号Ｓ＿ｉを変調し、変調後の制御信号Ｓ＿ｉをそれぞれ対応するシャッタ装置２００＿ｉに無線で送信する。
【００２７】
図３は、本実施形態における制御部１２０の論理的な構成を示す概略ブロック図である。制御部１２０は、鑑賞者検知部１２２と、位置検出部１２３と、映像生成部１２４と、同期制御部１２６とを備える。
【００２８】
鑑賞者検知部１２２は、撮像部１１０から供給された画像から、所定の鑑賞エリアに存在する全ての鑑賞者の画像領域（以下、「鑑賞者オブジェクト」と称する。）を検出する。具体的には、例えば、鑑賞者検知部１２２は、文献（http://www.seeingmachines.com/product/faceapi/）に記載の画像処理を用いて、鑑賞者の顔の画像領域を検出する。
【００２９】
なお、鑑賞者検知部１２２は、文献（http://www.naturalpoint.com/optitrack/products/）に記載の技術を用いて、鑑賞者が有する所定のマーカを検出することにより、所定の鑑賞エリアに存在する全ての鑑賞者オブジェクトを検出してもよい。
【００３０】
鑑賞者検知部１２２は、検知した鑑賞者オブジェクトそれぞれに対して鑑賞者オブジェクトを識別する鑑賞者識別情報Ｖｉｄを割り振る。具体的には、例えば、Ｎ個の鑑賞者オブジェクトが検出されたとすると、鑑賞者検知部１２２は、検知した鑑賞者オブジェクトそれぞれに対して鑑賞者識別情報Ｖｉｄとして、１からＮまでの整数を割り振る。
【００３１】
鑑賞者検知部１２２は、検出したＮ個の鑑賞者オブジェクトを示す情報Ｒ＿ｉ（ｉは１からＮまでの整数）を鑑賞者識別情報Ｖｉｄと関連付けて位置検出部１２３に出力する。ここで、鑑賞者オブジェクトを示す情報とは、例えば、画像領域の外縁の座標群を示す情報である。
【００３２】
位置検出部１２３は、鑑賞者検知部１２２から供給されたＮ個の鑑賞者オブジェクトを示す情報Ｒ＿ｉに基づいて、画像内における各鑑賞者オブジェクトの位置を算出する。ここで、位置検出部１２３は、鑑賞者位置算出部１２３＿１、１２３＿２、…、１２３＿ＮのＮ個の鑑賞者位置算出部１２３＿ｉ（ｉは１からＮまでの整数）を備える。
【００３３】
各鑑賞者位置算出部１２３＿ｉは、鑑賞者識別情報Ｖｉｄに関連付けられた鑑賞者オブジェクトを示す情報Ｒ＿ｉに基づいて、各鑑賞者の位置を算出する。具体的には、例えば、鑑賞者検知部１２２は、ディスプレイ座標系において、検出した鑑賞者の顔の画像領域の重心を当該画像内における鑑賞者の位置として算出する。ここで、ディスプレイ座標系とは、画像の左上を原点とする座標系である。
【００３４】
図４は、各鑑賞者位置算出部１２３＿ｉの処理の一例について説明するための図である。同図において、ディスプレイ座標系であるｐｑ座標系において、撮像部１１０により撮像された画像Ｆ４０の模式図が示されている。同図の画像Ｆ４０において、鑑賞者検知部１２２により検出された鑑賞者ｖ４１の顔に相当する画像領域ｆ４１と、鑑賞者ｖ４２の顔に相当する画像領域ｆ４２と、鑑賞者ｖ４３の顔に相当する画像領域ｆ４３とが示されている。また、画像領域ｆ４１の重心ｃ４１と、画像領域ｆ４２の重心ｃ４２と、画像領域ｆ４３の重心ｃ４３とが示されている。
【００３５】
鑑賞者検知部１２２により三つの鑑賞者オブジェクトが検出された場合（すなわちＮが３の場合）、鑑賞者位置算出部１２３＿１は、例えば、図４に示された鑑賞者ｖ４１の顔に相当する画像領域ｆ４１の重心ｃ４１の座標を算出する。また、鑑賞者位置算出部１２３＿２は図４に示された鑑賞者ｖ４２の顔に相当する画像領域ｆ４２の重心ｃ４２の座標を算出する。また、鑑賞者位置算出部１２３＿３は、図４に示された鑑賞者ｖ４３の顔に相当する画像領域ｆ４３の重心ｃ４３の座標を算出する。
【００３６】
図３に戻って、鑑賞者検知部１２２は、算出した各鑑賞者の位置を示す位置情報Ｐ＿ｉを鑑賞者識別情報Ｖｉｄと関連付けて、映像生成部１２４に出力する。
続いて、映像生成部１２４の処理の概要について説明する。映像生成部１２４は、位置算出部１２３から供給された位置情報Ｐ＿ｉ毎に、各鑑賞者の視点から見えるべき立体映像である運動視差映像のデータＴＤ＿ｉ（ｉは１からＮまでの整数）に立体映像のデータを変換する。
【００３７】
続いて、映像生成部１２４の処理の詳細について説明する。映像生成部１２４は、鑑賞者用映像生成部１２４＿１、１２４＿２、…、１２４＿ＮまでのＮ個の鑑賞者用映像生成部１２４＿ｉを備える。映像生成部１２４は、立体映像記憶部１３０から立体映像の人物レイヤのデータと背景レイヤのデータを読み出す。映像生成部１２４は、読み出した立体映像のデータがコンピュータグラフィック用の３Ｄモデルデータである場合、その立体映像のデータに対してＤｉｒｅｃｔＸ（登録商標）やＯｐｅｎＧＬ（登録商標）などを用いてＣＧレンダリングを行う。
【００３８】
各鑑賞者用映像生成部１２４＿ｉは、ＣＧレンダリング後の立体映像のデータを、位置情報Ｐ＿ｉに基づいて、当該鑑賞者の視点から見えるべき立体映像である運動視差映像のデータＴＤ＿ｉに変換する。
具体的には、例えば、各鑑賞者用映像生成部１２４＿ｉは、表示部１４０をディスプレイ面として、立体映像記憶部１３０から読み出した人物レイヤのデータと背景レイヤのデータとを位置情報Ｐ＿ｉに応じて、ディスプレイ面に非対称な透視投影変換を行うことで、当該鑑賞者の視点から見えるべき立体映像である運動視差映像のデータＴＤ＿ｉを生成する。
【００３９】
映像生成部１２４＿ｉは、生成した各運動視差映像のデータＴＤ＿ｉを同期制御部１２６に出力する。
なお、映像生成部１２４は、位置算出部１２３から供給された位置情報Ｐ＿ｉに基づいて、多視点映像符号化技術などを用いて映像合成を行うことにより、各々の鑑賞者の視点から見えるべき映像を生成してもよい。
【００４０】
同期制御部１２６は、映像生成部１２４から供給された各運動視差映像を表示部１４０に所定の表示順で時系列に切り替えながら表示させる。具体的には、同期制御部１２６は、生成した各鑑賞者の視点から見えるべき立体映像のデータＴＤ＿ｉを１フレーム毎に順に、表示部１４０に表示させる。
【００４１】
同期制御部１２６は、あるフレームの立体映像のデータＴＤ＿１、ＴＤ＿２、…、ＴＤ＿Ｎを順に表示部１４０に表示させると、次のフレームの立体映像のデータＴＤ＿１、ＴＤ＿２、…、ＴＤ＿Ｎを順に表示部１４０に表示させる。映像生成部１２４は、上記処理を立体映像のデータＴＤ＿ｉがなくなるまで繰り返す。
【００４２】
各鑑賞用同期制御部１２６＿ｉは、表示部１４０に所定の鑑賞者の視点から見えるべき立体映像を表示している期間にその鑑賞者がこの立体映像を鑑賞できるようにする。具体的には、各鑑賞用同期制御部１２６＿ｉは、その鑑賞者がこの立体映像を鑑賞できるようにさせる制御信号Ｓ＿ｉを生成する。そして、各鑑賞用同期制御部１２６＿ｉは、生成した制御信号Ｓ＿ｉを通信部１５０に出力する。
【００４３】
表示部１４０は、同期制御部１２６から供給された各運動視差映像を供給されたデータの順番に従って表示する。なお、各々の映像の表示時間の最短時間は使用するディスプレイの１秒間に画面を書き換える回数である垂直スキャンレートに依存する。すなわち、表示部１４０は、垂直スキャンレートが高いほど、当該最短時間を短くすることができる。
【００４４】
図５は、本実施形態におけるシャッタ装置２００＿ｉの斜視図である。シャッタ装置２００＿ｉは、液晶シャッタ２３０を有する。シャッタ装置２００＿ｉは、眼鏡型のシャッタ装置であり、鑑賞者はシャッタ装置２００＿ｉを掛けることができる。これにより、鑑賞者は液晶シャッタ２３０越しに映像提示装置１００が提示する映像を鑑賞する。
【００４５】
図６は、本実施形態におけるシャッタ装置２００＿ｉのハードウェア構成を示す概略ブロック図である。シャッタ装置２００＿ｉは、受信部２１０と、制御部２２０と、液晶シャッタ２３０とを備える。
受信部２１０は、映像提示装置１００から送信された変調後の制御信号Ｓ＿ｉを受信し、変調後の制御信号Ｓ＿ｉを復調する。受信部２１０は、復調により得られた制御信号Ｓ＿ｉを制御部２２０に出力する。
【００４６】
制御部２２０は、制御信号Ｓ＿ｉに基づいて、液晶シャッタ２３０の液晶の光の透過率を変更させ、液晶シャッタ２３０が光を通過させる状態と光を通過させない状態とを切り替える。これにより、制御部２２０は、自装置を掛けた鑑賞者の視点から見えるべき立体映像である運動視差映像由来の光だけを透過させることができるので、各鑑賞者は、自分の視点から見えるべき立体映像のみを見ることができる。
【００４７】
液晶シャッタ２３０は液晶を備え、制御部２２０の制御により、液晶の光の透過率を変更する。ここで、液晶が光を通過させる状態はシャッタが開いた状態であり、液晶が光を通過させない状態はシャッタが閉じた状態である。
【００４８】
続いて、本実施形態における映像提示システムの処理全体を図７を用いて説明する。図７は、本実施形態における映像提示システムのシーケンス図の一例である。また、映像提示装置１００もシャッタ装置２００＿ｉもラスタースキャンで、画面の向かって左端から画面の向かって右端に掛けて上から順にスキャンされることを前提とする。
【００４９】
図７Ａは、映像提示装置１００の走査タイミングの一例が示された図である。同図において、シャッタ装置２００＿１用の画像と、シャッタ装置２００＿２用の画像と、…、シャッタ装置２００＿Ｎ用の画像とが順番に１フレームずつ表示されることが示されている。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。各平行四辺形内の各点は、その平行四辺形に示されたシャッタ装置２００＿ｉ用の画像内の当該垂直位置における１行分の画像が、当該時刻において表示されることを示している。
【００５０】
図７Ｂは、制御信号Ｓ＿１とシャッタ装置２００＿１のシャッタの開閉を表す模式図ＯＣ＿１である。同図において、図７Ａに示されるように映像提示装置１００が画像を表示する場合において、シャッタ装置２００＿１の液晶シャッタ２３０の開閉を制御する制御信号Ｓ＿１の電圧波形Ｖ＿Ｓ＿１が示されている。
【００５１】
また、模式図ＯＣ＿１において、黒い領域は液晶シャッタ２３０のシャッタが閉じており、白い領域は液晶シャッタ２３０のシャッタが開いていることを示している。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。
同図において、制御信号Ｓ＿１の電圧がローからハイに切り替わると、上から順に液晶シャッタ２３０のシャッタが開いた状態になることが示されている。また、制御信号Ｓ＿１の電圧がハイからローに切り替わると、上から順に液晶シャッタ２３０のシャッタが閉じた状態になることが示されている。
【００５２】
これにより、シャッタ装置２００＿１は、映像提示装置１００がシャッタ装置２００＿１用の画像を表示している期間だけ、液晶シャッタ２３０を開くようにすることができる。
【００５３】
同様に、図７Ｃは、制御信号Ｓ＿２とシャッタ装置２００＿２のシャッタの開閉を表す模式図ＯＣ＿２とを示した図である。同図において、図７Ａに示されるように映像提示装置１００が画像を表示する場合において、シャッタ装置２００＿２の液晶シャッタ２３０の開閉を制御する制御信号Ｓ＿２の電圧波形Ｖ＿Ｓ＿２が示されている。
【００５４】
また、模式図ＯＣ＿２において、黒い領域は液晶シャッタ２３０のシャッタが閉じており、白い領域は液晶シャッタのシャッタが開いていることを示している。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。
同図において、制御信号Ｓ＿２の電圧がローからハイに切り替わると、上から順に液晶シャッタ２３０のシャッタが開いた状態になることが示されている。また、制御信号Ｓ＿２の電圧がハイからローに切り替わると、上から順に液晶シャッタ２３０のシャッタが閉じた状態になることが示されている。
【００５５】
これにより、シャッタ装置２００＿２は、映像提示装置１００がシャッタ装置２００＿２用の画像を表示している期間だけ、液晶シャッタ２３０を開くようにすることができる。
【００５６】
同様に、図７Ｄは、制御信号Ｓ＿Ｎとシャッタ装置２００＿Ｎのシャッタの開閉を表す模式図ＯＣ＿Ｎとを示した図である。同図において、図７Ａに示されるように映像提示装置１００が画像を表示する場合において、シャッタ装置２００＿Ｎの液晶シャッタ２３０の開閉を制御する制御信号Ｓ＿Ｎの電圧波形Ｖ＿Ｓ＿Ｎが示されている。
【００５７】
また、模式図ＯＣ＿Ｎにおいて、黒い領域は液晶シャッタ２３０のシャッタが閉じており、白い領域は液晶シャッタ２３０のシャッタが開いていることを示している。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。
同図において、制御信号Ｓ＿Ｎの電圧がローからハイに切り替わると、上から順に液晶シャッタ２３０のシャッタが開いた状態になることが示されている。また、制御信号Ｓ＿Ｎの電圧がハイからローに切り替わると、上から順に液晶シャッタ２３０のシャッタが閉じた状態になることが示されている。
【００５８】
これにより、シャッタ装置２００＿Ｎは、映像提示装置１００がシャッタ装置２００＿Ｎ用の画像を表示している期間だけ、液晶シャッタ２３０を開くようにすることができる。
【００５９】
図８は、本実施形態における映像提示装置１００の制御部１２０の処理の流れを示すフローチャートである。まず、鑑賞者検知部１２２は、撮像部１１０により撮像された画像から鑑賞者オブジェクトを抽出する（ステップＳ１０１）。次に、鑑賞者検知部１２２は、抽出した各鑑賞者オブジェクトに対して、鑑賞者識別情報Ｖｉｄを付与する（ステップＳ１０２）。
【００６０】
次に、位置算出部１２３は、各鑑賞者オブジェクトの位置を算出する（ステップＳ１０３）。次に、映像生成部１２４は、立体映像記憶部１３０に記憶されている立体映像のデータを読み出す（ステップＳ１０４）。次に、映像生成部１２４は、立体映像のデータと鑑賞者オブジェクトの位置とに基づいて、各鑑賞者の視点から見えるべき運動視差映像を生成する（ステップＳ１０５）。
【００６１】
次に、同期制御部１２６は、各鑑賞者の視点から見えるべき運動視差映像を表示する時刻に合わせて、各制御信号Ｓ＿ｉを生成する（ステップＳ１０６）。同期制御部１２６は、通信部１５０を介して生成した各制御信号Ｓ＿ｉをそれぞれシャッタ装置２００＿ｉに送信するよう制御する。次に、同期制御部１２６は、生成した各鑑賞者の視点から見えるべき運動視差映像を表示部１４０に１フレームずつ順に表示させる（ステップＳ１０８）。以上で、本フローチャートの処理を終了する。
【００６２】
以上、本実施形態の映像提示装置１００は、１人または複数の鑑賞者を検出し、検出した鑑賞者に応じた運動視差映像を、検出した鑑賞者の人数分生成する。映像提示装置１００は、各鑑賞者の視点に応じた運動視差映像を表示部１４０に所定の表示順で時系列に切り替えながら表示するよう制御する。
【００６３】
また、映像提示装置１００は、表示部１４０に所定の鑑賞者の視点に応じた運動視差映像を表示している期間にその鑑賞者がこの立体映像を鑑賞できるようにする。具体的には、映像提示装置１００は、シャッタ装置のシャッタの開閉を制御する制御信号Ｓ＿ｉをシャッタ装置２００＿ｉに無線で送信する。シャッタ装置２００＿ｉは、映像提示装置１００から供給された制御信号Ｓ＿ｉに基づいて、液晶シャッタ２３０を開閉する。
【００６４】
これにより、本実施形態の映像提示装置１００は、複数の鑑賞者にそれぞれ異なる運動視差映像を提示することができるので、運動視差による立体映像表現において、従来困難であった複数人での同時映像鑑賞を可能とすることができる。
また、本実施形態の映像提示装置１００が提示する運動視差映像は、両眼立体視による立体映像と比較して、鑑賞者の疲労感が少ないという利点を有する。また、本実施形態の映像提示装置１００は、視聴可能エリアの広い立体映像を提示することができる。
【００６５】
また、両眼視差を利用して裸眼で立体視を実現する従来の方法（多視点裸眼立体視手法）においては、提供する視点数が増加するほど映像の解像度が低下するため、高解像度の映像の鑑賞ができないという問題があった。
本実施形態の映像提示装置１００は、生成した各検出位置の運動視差映像をディスプレイに時系列に順番に切り替えながら表示を行うので、視点数が増加しても映像の解像度が低下することがない。その結果、本実施形態の映像提示装置１００は、視点数が増加しても高解像度の映像を提示することができる。
【００６６】
なお、本実施形態におけるシャッタ装置２００＿ｉは、液晶シャッタを用いて説明したがこれに限らず、機械式シャッタでもよく、映像提示装置１００に表示される映像由来の光が鑑賞者の眼に入射するのを、映像提示装置１００から供給された制御信号Ｓ＿ｉに応じて遮断または透過させることができる光透過制御装置であればよい。この場合、制御信号Ｓ＿ｉは、鑑賞者の視界を制御する制御信号である。
【００６７】
また、映像提示装置１００は、検出した鑑賞者の人数分、運動視差映像を生成したがこれに限らず、映像提示装置１００は、検出した鑑賞者の人数のうちの一部の鑑賞者の人数分運動視差映像を生成してもよい。その場合、映像提示装置１００は、所定の位置範囲にいる複数の鑑賞者に対して、同じ運動視差映像を提示してもよい。
【００６８】
また、本実施形態の映像提示装置１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像提示装置１００に係る上述した種々の処理を行ってもよい。
【００６９】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７１】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７２】
１ 映像提示システム
１００ 映像提示装置
１１０ 撮像部
１２２ 鑑賞者検知部
１２３ 位置算出部
１２３＿１、１２３＿２、…、１２３＿Ｎ 鑑賞者位置算出部
１２４ 映像生成部
１２４＿１、１２４＿２、…、１２４＿Ｎ 鑑賞者用映像生成部
１２６ 同期制御部
１２６＿１、１２６＿２、…、１２６＿Ｎ 鑑賞者用同期制御部
１３０ 立体映像記憶部
１４０ 表示部
１５０ 通信部
２００＿１、２００＿２、…、２００＿Ｎ シャッタ装置
２１０ 受信部
２２０ 制御部
２３０ 液晶シャッタ
【技術分野】
【０００１】
本発明は、映像提示装置に関する。
【背景技術】
【０００２】
三次元（３Ｄ）映画などの普及により、いわゆる両眼視差（左右の目に視差のある異なる映像を提示することによってユーザに立体感を知覚させること）による立体映像表現が盛んに行われている。特に、映画館など多人数で同じ立体映像を見る場合には、立体映像を専用の立体視眼鏡を利用して見ることが行われている。
【０００３】
このような立体視眼鏡を利用した手法は、多人数が大画面で同時に、同じコンテンツを鑑賞する用途には適している。しかし、鑑賞者の位置からディスプレイの位置に向かう方向に奥行きがある映像の場合、鑑賞者がその位置から別の位置に移動した際には、本来見えないはずの奥行きが見えることにより鑑賞者が違和感を抱くという問題がある。この問題は、特に通常の大きさのディスプレイで顕著にみられる。
【０００４】
これを解決する手段として、鑑賞位置に応じて立体表現される映像の向きが変わる手法が提案されている。具体的には、レンチキュラレンズ（非特許文献１）やパララックスバリア（非特許文献２）などを利用した多視点裸眼立体視手法が発明されている。
【０００５】
しかし，このような手法を用いた場合では、提供する視点数が増加するほど映像の解像度が低下する問題や、鑑賞可能エリアが狭いという問題がある。一方、非特許文献３によると、通常のディスプレイを鑑賞する距離においては両眼視差の他に運動視差が立体感に影響を与えていることが知られている。
【０００６】
このような特性を利用して、両眼視差ではなく運動視差を利用して立体感を表現する手法として非特許文献４の手法が提案されている。非特許文献４では、運動視差を利用することで、鑑賞範囲が大きく広がり、なおかつ両眼視差で生じる長時間の鑑賞による疲労感を与えにくいという利点がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】http://www.nissho-ele.co.jp/product/philips/
【非特許文献２】http://www.aec.co.jp/mm/products/tridelity.htm
【非特許文献３】Cutting, J. and Vishton, P., “Perceiving Layout and Knowing Distances,” Perception of Space and Motion, W. Epstein and S. Rogers, eds., Academic Press (1995), 69-117.
【非特許文献４】Zhang, C., Yin, Z., and Florencio, D., “Improving depth perception with motion parallax and its application in teleconferencing,” MMSP 2009, (2009), 1-6.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
運動視差を利用して立体感を表現する非特許文献４の手法では、ユーザの鑑賞位置を検出し、その検出位置に合わせた映像を提示するため、複数人での同時鑑賞ができないという問題がある．
【０００９】
そこで本発明は、上記問題に鑑みてなされたものであり、運動視差を利用して立体感を表現する際に、複数人での同時鑑賞を可能とする技術を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の一態様は、映像を表示する表示部と、各鑑賞者の視点に応じた映像を前記表示部に所定の表示順で時系列に切り替えながら表示するよう制御し、前記表示部に所定の鑑賞者の位置に応じた立体映像を表示している期間に前記所定の鑑賞者が前記立体映像を鑑賞できるようにさせる同期制御部と、前記同期制御部により前記所定の鑑賞者に対し前記立体映像を鑑賞させる制御信号を、該制御信号に基づいて自装置を装着している鑑賞者に対し前記立体映像を鑑賞させる光透過制御装置に送信する通信部と、を備えることを特徴とする映像提示装置である。
【発明の効果】
【００１１】
本発明によれば、運動視差を利用して立体感を表現する際に、複数人が同時に鑑賞することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における映像提示システムの概略構成図である。
【図２】本実施形態における映像提示装置のハードウェア構成を示す概略ブロック図である。
【図３】本実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図４】各鑑賞者位置算出部の処理の一例について説明するための図である。
【図５】本実施形態におけるシャッタ装置の斜視図である。
【図６】本実施形態におけるシャッタ装置のハードウェア構成を示す概略ブロック図である。
【図７】本実施形態における映像提示システムのシーケンス図の一例である。
【図８】本実施形態における映像提示装置の制御部の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における映像提示システム１の概略構成図である。映像提示システム１は、映像提示装置１００と、シャッタ装置２００＿１、２００＿２、…、２００＿ＮまでのＮ個のシャッタ装置２００＿ｉ（ｉは１からＮまでの整数）とを有する。
【００１４】
まず、本実施形態の映像提示装置１００の概要について説明する。本実施形態の映像提示装置１００は、複数人が同時に鑑賞可能な立体映像を提供する。本実施形態の映像提示装置１００は、従来の両眼視差による立体映像ではなく、鑑賞者の視点位置に応じて、自装置が備える表示部１４０に表示される画像の奥行き方向の見え方が変更される運動視差映像を生成し、生成した運動視差映像を表示部１４０に表示する。これにより、映像提示装置１００は表示部１４０に表示された物体の奥行きを表現することができる。
【００１５】
具体的には、映像提示装置１００は、１人または複数の鑑賞者を検出し、検出した鑑賞者に応じた運動視差映像を、検出した鑑賞者の人数分生成する。映像提示装置１００は、生成したそれぞれの運動視差映像を表示部１４０に所定の順番で時系列に切り替えながら表示する。
【００１６】
映像提示装置１００は、ｉ番目の鑑賞者の視界を制御する制御信号Ｓ＿ｉ（ｉは１からＮまでの整数）をシャッタ装置２００＿ｉへ無線で送信する。例えば、映像提示装置１００は、１番目の制御信号Ｓ＿１をシャッタ装置２００＿１へ無線で送信する。
【００１７】
シャッタ装置２００＿ｉは、映像提示装置１００から送信された制御信号Ｓ＿ｉを受信し、受信した制御信号Ｓ＿ｉに基づいて、自装置が備える液晶シャッタの光の透過率を時系列で変更する。
これにより、シャッタ装置２００＿ｉの液晶シャッタ越しに映像提示装置１００が提示する映像を鑑賞した鑑賞者は、当該鑑賞者向けに生成された映像のみを選択的に閲覧することができる。
【００１８】
これにより、映像提示システム１は、複数人での同時鑑賞を可能にすることができる。なお、従来の両眼視差を用いた立体映像表示システムにおける、シャッタ装置は、時分割に映像を切り替える際に、液晶シャッタの開閉を右目用液晶シャッタと左目用液晶シャッタとで交互に行った。それに対し、本発明におけるシャッタ装置２００＿ｉは、シャッタ装置２００＿ｉ毎に順番に行う。
【００１９】
図２は、本実施形態における映像提示装置１００のハードウェア構成を示す概略ブロック図である。映像提示装置１００は、撮像部１１０と、制御部１２０と、立体映像記憶部１３０と、表示部１４０と、通信部１５０とを備える。
撮像部１１０は、予め決められた所定の鑑賞エリアを撮像し、撮像により得られた画像データを制御部１２０に出力する。
【００２０】
立体映像記憶部１３０には、あらゆる視点から見た立体映像に変換可能な立体映像のデータが記憶されている。ここで、立体映像のデータは、例えばＤｉｒｅｃｔＸ（登録商標）やＯｐｅｎＧＬ（登録商標）などに代表されるコンピュータグラフィックス用の３Ｄモデルデータである。
【００２１】
具体的には、例えば、立体映像記憶部１３０には、奥行き情報をもつ人物画像のデータである人物レイヤのデータと、奥行き情報をもつ背景画像のデータである背景レイヤのデータとが記憶されている。ここで、背景レイヤの奥行き情報は、例えば、予め背景がカメラによって撮像された際に、カメラのＡＦ機能実行時に算出された値である。また、人物レイヤの奥行き情報は、例えば、鑑賞者の視点位置である。
【００２２】
なお、立体映像のデータは、文献（木全 英明, "多視点映像符号化MVCの国際標準化動向", 映像情報メディア学会誌, Vol. 61 (2007) , No. 4 pp.426-430）に挙げるような多視点の映像データでもよい。
【００２３】
制御部１２０は、撮像部１１０から供給された画像データから、鑑賞エリアに存在する全ての鑑賞者（ここで、鑑賞者をＮ人とする）を検出し、検出した鑑賞者の位置を鑑賞者毎に算出する。
制御部１２０は、立体映像記憶部１３０から立体映像のデータを読み出し、読み出した立体映像のデータと算出した鑑賞者毎の鑑賞者の位置とに基づいて、鑑賞者毎の立体映像を生成する。
【００２４】
制御部１２０は、鑑賞者の位置に応じた映像を表示部１４０に所定の表示順で時系列に切り替えながら表示させる。また、制御部１２０は、表示部１４０に所定の位置の鑑賞者向けの立体映像を表示している期間にその鑑賞者がこの映像を鑑賞できるようにさせるＮ個の制御信号Ｓ＿ｉ（ｉは１からＮまでの整数）を生成する。制御部１２０は、生成したＮ個の制御信号Ｓ＿ｉを通信部１５０に供給する。
【００２５】
表示部１４０は、制御部１２０による制御により、映像を表示する。これにより、表示部１４０は、鑑賞者の位置毎に、当該鑑賞者の視点に応じた立体映像を表示することができる。
【００２６】
通信部１５０は、無線（例えば、赤外線）によりＮ個のシャッタ装置２００＿ｉのそれぞれと通信可能に構成されている。通信部１５０は、制御部１２０から供給された各制御信号Ｓ＿ｉを変調し、変調後の制御信号Ｓ＿ｉをそれぞれ対応するシャッタ装置２００＿ｉに無線で送信する。
【００２７】
図３は、本実施形態における制御部１２０の論理的な構成を示す概略ブロック図である。制御部１２０は、鑑賞者検知部１２２と、位置検出部１２３と、映像生成部１２４と、同期制御部１２６とを備える。
【００２８】
鑑賞者検知部１２２は、撮像部１１０から供給された画像から、所定の鑑賞エリアに存在する全ての鑑賞者の画像領域（以下、「鑑賞者オブジェクト」と称する。）を検出する。具体的には、例えば、鑑賞者検知部１２２は、文献（http://www.seeingmachines.com/product/faceapi/）に記載の画像処理を用いて、鑑賞者の顔の画像領域を検出する。
【００２９】
なお、鑑賞者検知部１２２は、文献（http://www.naturalpoint.com/optitrack/products/）に記載の技術を用いて、鑑賞者が有する所定のマーカを検出することにより、所定の鑑賞エリアに存在する全ての鑑賞者オブジェクトを検出してもよい。
【００３０】
鑑賞者検知部１２２は、検知した鑑賞者オブジェクトそれぞれに対して鑑賞者オブジェクトを識別する鑑賞者識別情報Ｖｉｄを割り振る。具体的には、例えば、Ｎ個の鑑賞者オブジェクトが検出されたとすると、鑑賞者検知部１２２は、検知した鑑賞者オブジェクトそれぞれに対して鑑賞者識別情報Ｖｉｄとして、１からＮまでの整数を割り振る。
【００３１】
鑑賞者検知部１２２は、検出したＮ個の鑑賞者オブジェクトを示す情報Ｒ＿ｉ（ｉは１からＮまでの整数）を鑑賞者識別情報Ｖｉｄと関連付けて位置検出部１２３に出力する。ここで、鑑賞者オブジェクトを示す情報とは、例えば、画像領域の外縁の座標群を示す情報である。
【００３２】
位置検出部１２３は、鑑賞者検知部１２２から供給されたＮ個の鑑賞者オブジェクトを示す情報Ｒ＿ｉに基づいて、画像内における各鑑賞者オブジェクトの位置を算出する。ここで、位置検出部１２３は、鑑賞者位置算出部１２３＿１、１２３＿２、…、１２３＿ＮのＮ個の鑑賞者位置算出部１２３＿ｉ（ｉは１からＮまでの整数）を備える。
【００３３】
各鑑賞者位置算出部１２３＿ｉは、鑑賞者識別情報Ｖｉｄに関連付けられた鑑賞者オブジェクトを示す情報Ｒ＿ｉに基づいて、各鑑賞者の位置を算出する。具体的には、例えば、鑑賞者検知部１２２は、ディスプレイ座標系において、検出した鑑賞者の顔の画像領域の重心を当該画像内における鑑賞者の位置として算出する。ここで、ディスプレイ座標系とは、画像の左上を原点とする座標系である。
【００３４】
図４は、各鑑賞者位置算出部１２３＿ｉの処理の一例について説明するための図である。同図において、ディスプレイ座標系であるｐｑ座標系において、撮像部１１０により撮像された画像Ｆ４０の模式図が示されている。同図の画像Ｆ４０において、鑑賞者検知部１２２により検出された鑑賞者ｖ４１の顔に相当する画像領域ｆ４１と、鑑賞者ｖ４２の顔に相当する画像領域ｆ４２と、鑑賞者ｖ４３の顔に相当する画像領域ｆ４３とが示されている。また、画像領域ｆ４１の重心ｃ４１と、画像領域ｆ４２の重心ｃ４２と、画像領域ｆ４３の重心ｃ４３とが示されている。
【００３５】
鑑賞者検知部１２２により三つの鑑賞者オブジェクトが検出された場合（すなわちＮが３の場合）、鑑賞者位置算出部１２３＿１は、例えば、図４に示された鑑賞者ｖ４１の顔に相当する画像領域ｆ４１の重心ｃ４１の座標を算出する。また、鑑賞者位置算出部１２３＿２は図４に示された鑑賞者ｖ４２の顔に相当する画像領域ｆ４２の重心ｃ４２の座標を算出する。また、鑑賞者位置算出部１２３＿３は、図４に示された鑑賞者ｖ４３の顔に相当する画像領域ｆ４３の重心ｃ４３の座標を算出する。
【００３６】
図３に戻って、鑑賞者検知部１２２は、算出した各鑑賞者の位置を示す位置情報Ｐ＿ｉを鑑賞者識別情報Ｖｉｄと関連付けて、映像生成部１２４に出力する。
続いて、映像生成部１２４の処理の概要について説明する。映像生成部１２４は、位置算出部１２３から供給された位置情報Ｐ＿ｉ毎に、各鑑賞者の視点から見えるべき立体映像である運動視差映像のデータＴＤ＿ｉ（ｉは１からＮまでの整数）に立体映像のデータを変換する。
【００３７】
続いて、映像生成部１２４の処理の詳細について説明する。映像生成部１２４は、鑑賞者用映像生成部１２４＿１、１２４＿２、…、１２４＿ＮまでのＮ個の鑑賞者用映像生成部１２４＿ｉを備える。映像生成部１２４は、立体映像記憶部１３０から立体映像の人物レイヤのデータと背景レイヤのデータを読み出す。映像生成部１２４は、読み出した立体映像のデータがコンピュータグラフィック用の３Ｄモデルデータである場合、その立体映像のデータに対してＤｉｒｅｃｔＸ（登録商標）やＯｐｅｎＧＬ（登録商標）などを用いてＣＧレンダリングを行う。
【００３８】
各鑑賞者用映像生成部１２４＿ｉは、ＣＧレンダリング後の立体映像のデータを、位置情報Ｐ＿ｉに基づいて、当該鑑賞者の視点から見えるべき立体映像である運動視差映像のデータＴＤ＿ｉに変換する。
具体的には、例えば、各鑑賞者用映像生成部１２４＿ｉは、表示部１４０をディスプレイ面として、立体映像記憶部１３０から読み出した人物レイヤのデータと背景レイヤのデータとを位置情報Ｐ＿ｉに応じて、ディスプレイ面に非対称な透視投影変換を行うことで、当該鑑賞者の視点から見えるべき立体映像である運動視差映像のデータＴＤ＿ｉを生成する。
【００３９】
映像生成部１２４＿ｉは、生成した各運動視差映像のデータＴＤ＿ｉを同期制御部１２６に出力する。
なお、映像生成部１２４は、位置算出部１２３から供給された位置情報Ｐ＿ｉに基づいて、多視点映像符号化技術などを用いて映像合成を行うことにより、各々の鑑賞者の視点から見えるべき映像を生成してもよい。
【００４０】
同期制御部１２６は、映像生成部１２４から供給された各運動視差映像を表示部１４０に所定の表示順で時系列に切り替えながら表示させる。具体的には、同期制御部１２６は、生成した各鑑賞者の視点から見えるべき立体映像のデータＴＤ＿ｉを１フレーム毎に順に、表示部１４０に表示させる。
【００４１】
同期制御部１２６は、あるフレームの立体映像のデータＴＤ＿１、ＴＤ＿２、…、ＴＤ＿Ｎを順に表示部１４０に表示させると、次のフレームの立体映像のデータＴＤ＿１、ＴＤ＿２、…、ＴＤ＿Ｎを順に表示部１４０に表示させる。映像生成部１２４は、上記処理を立体映像のデータＴＤ＿ｉがなくなるまで繰り返す。
【００４２】
各鑑賞用同期制御部１２６＿ｉは、表示部１４０に所定の鑑賞者の視点から見えるべき立体映像を表示している期間にその鑑賞者がこの立体映像を鑑賞できるようにする。具体的には、各鑑賞用同期制御部１２６＿ｉは、その鑑賞者がこの立体映像を鑑賞できるようにさせる制御信号Ｓ＿ｉを生成する。そして、各鑑賞用同期制御部１２６＿ｉは、生成した制御信号Ｓ＿ｉを通信部１５０に出力する。
【００４３】
表示部１４０は、同期制御部１２６から供給された各運動視差映像を供給されたデータの順番に従って表示する。なお、各々の映像の表示時間の最短時間は使用するディスプレイの１秒間に画面を書き換える回数である垂直スキャンレートに依存する。すなわち、表示部１４０は、垂直スキャンレートが高いほど、当該最短時間を短くすることができる。
【００４４】
図５は、本実施形態におけるシャッタ装置２００＿ｉの斜視図である。シャッタ装置２００＿ｉは、液晶シャッタ２３０を有する。シャッタ装置２００＿ｉは、眼鏡型のシャッタ装置であり、鑑賞者はシャッタ装置２００＿ｉを掛けることができる。これにより、鑑賞者は液晶シャッタ２３０越しに映像提示装置１００が提示する映像を鑑賞する。
【００４５】
図６は、本実施形態におけるシャッタ装置２００＿ｉのハードウェア構成を示す概略ブロック図である。シャッタ装置２００＿ｉは、受信部２１０と、制御部２２０と、液晶シャッタ２３０とを備える。
受信部２１０は、映像提示装置１００から送信された変調後の制御信号Ｓ＿ｉを受信し、変調後の制御信号Ｓ＿ｉを復調する。受信部２１０は、復調により得られた制御信号Ｓ＿ｉを制御部２２０に出力する。
【００４６】
制御部２２０は、制御信号Ｓ＿ｉに基づいて、液晶シャッタ２３０の液晶の光の透過率を変更させ、液晶シャッタ２３０が光を通過させる状態と光を通過させない状態とを切り替える。これにより、制御部２２０は、自装置を掛けた鑑賞者の視点から見えるべき立体映像である運動視差映像由来の光だけを透過させることができるので、各鑑賞者は、自分の視点から見えるべき立体映像のみを見ることができる。
【００４７】
液晶シャッタ２３０は液晶を備え、制御部２２０の制御により、液晶の光の透過率を変更する。ここで、液晶が光を通過させる状態はシャッタが開いた状態であり、液晶が光を通過させない状態はシャッタが閉じた状態である。
【００４８】
続いて、本実施形態における映像提示システムの処理全体を図７を用いて説明する。図７は、本実施形態における映像提示システムのシーケンス図の一例である。また、映像提示装置１００もシャッタ装置２００＿ｉもラスタースキャンで、画面の向かって左端から画面の向かって右端に掛けて上から順にスキャンされることを前提とする。
【００４９】
図７Ａは、映像提示装置１００の走査タイミングの一例が示された図である。同図において、シャッタ装置２００＿１用の画像と、シャッタ装置２００＿２用の画像と、…、シャッタ装置２００＿Ｎ用の画像とが順番に１フレームずつ表示されることが示されている。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。各平行四辺形内の各点は、その平行四辺形に示されたシャッタ装置２００＿ｉ用の画像内の当該垂直位置における１行分の画像が、当該時刻において表示されることを示している。
【００５０】
図７Ｂは、制御信号Ｓ＿１とシャッタ装置２００＿１のシャッタの開閉を表す模式図ＯＣ＿１である。同図において、図７Ａに示されるように映像提示装置１００が画像を表示する場合において、シャッタ装置２００＿１の液晶シャッタ２３０の開閉を制御する制御信号Ｓ＿１の電圧波形Ｖ＿Ｓ＿１が示されている。
【００５１】
また、模式図ＯＣ＿１において、黒い領域は液晶シャッタ２３０のシャッタが閉じており、白い領域は液晶シャッタ２３０のシャッタが開いていることを示している。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。
同図において、制御信号Ｓ＿１の電圧がローからハイに切り替わると、上から順に液晶シャッタ２３０のシャッタが開いた状態になることが示されている。また、制御信号Ｓ＿１の電圧がハイからローに切り替わると、上から順に液晶シャッタ２３０のシャッタが閉じた状態になることが示されている。
【００５２】
これにより、シャッタ装置２００＿１は、映像提示装置１００がシャッタ装置２００＿１用の画像を表示している期間だけ、液晶シャッタ２３０を開くようにすることができる。
【００５３】
同様に、図７Ｃは、制御信号Ｓ＿２とシャッタ装置２００＿２のシャッタの開閉を表す模式図ＯＣ＿２とを示した図である。同図において、図７Ａに示されるように映像提示装置１００が画像を表示する場合において、シャッタ装置２００＿２の液晶シャッタ２３０の開閉を制御する制御信号Ｓ＿２の電圧波形Ｖ＿Ｓ＿２が示されている。
【００５４】
また、模式図ＯＣ＿２において、黒い領域は液晶シャッタ２３０のシャッタが閉じており、白い領域は液晶シャッタのシャッタが開いていることを示している。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。
同図において、制御信号Ｓ＿２の電圧がローからハイに切り替わると、上から順に液晶シャッタ２３０のシャッタが開いた状態になることが示されている。また、制御信号Ｓ＿２の電圧がハイからローに切り替わると、上から順に液晶シャッタ２３０のシャッタが閉じた状態になることが示されている。
【００５５】
これにより、シャッタ装置２００＿２は、映像提示装置１００がシャッタ装置２００＿２用の画像を表示している期間だけ、液晶シャッタ２３０を開くようにすることができる。
【００５６】
同様に、図７Ｄは、制御信号Ｓ＿Ｎとシャッタ装置２００＿Ｎのシャッタの開閉を表す模式図ＯＣ＿Ｎとを示した図である。同図において、図７Ａに示されるように映像提示装置１００が画像を表示する場合において、シャッタ装置２００＿Ｎの液晶シャッタ２３０の開閉を制御する制御信号Ｓ＿Ｎの電圧波形Ｖ＿Ｓ＿Ｎが示されている。
【００５７】
また、模式図ＯＣ＿Ｎにおいて、黒い領域は液晶シャッタ２３０のシャッタが閉じており、白い領域は液晶シャッタ２３０のシャッタが開いていることを示している。ここで、縦軸は画面内の垂直位置であり、横軸は時刻である。
同図において、制御信号Ｓ＿Ｎの電圧がローからハイに切り替わると、上から順に液晶シャッタ２３０のシャッタが開いた状態になることが示されている。また、制御信号Ｓ＿Ｎの電圧がハイからローに切り替わると、上から順に液晶シャッタ２３０のシャッタが閉じた状態になることが示されている。
【００５８】
これにより、シャッタ装置２００＿Ｎは、映像提示装置１００がシャッタ装置２００＿Ｎ用の画像を表示している期間だけ、液晶シャッタ２３０を開くようにすることができる。
【００５９】
図８は、本実施形態における映像提示装置１００の制御部１２０の処理の流れを示すフローチャートである。まず、鑑賞者検知部１２２は、撮像部１１０により撮像された画像から鑑賞者オブジェクトを抽出する（ステップＳ１０１）。次に、鑑賞者検知部１２２は、抽出した各鑑賞者オブジェクトに対して、鑑賞者識別情報Ｖｉｄを付与する（ステップＳ１０２）。
【００６０】
次に、位置算出部１２３は、各鑑賞者オブジェクトの位置を算出する（ステップＳ１０３）。次に、映像生成部１２４は、立体映像記憶部１３０に記憶されている立体映像のデータを読み出す（ステップＳ１０４）。次に、映像生成部１２４は、立体映像のデータと鑑賞者オブジェクトの位置とに基づいて、各鑑賞者の視点から見えるべき運動視差映像を生成する（ステップＳ１０５）。
【００６１】
次に、同期制御部１２６は、各鑑賞者の視点から見えるべき運動視差映像を表示する時刻に合わせて、各制御信号Ｓ＿ｉを生成する（ステップＳ１０６）。同期制御部１２６は、通信部１５０を介して生成した各制御信号Ｓ＿ｉをそれぞれシャッタ装置２００＿ｉに送信するよう制御する。次に、同期制御部１２６は、生成した各鑑賞者の視点から見えるべき運動視差映像を表示部１４０に１フレームずつ順に表示させる（ステップＳ１０８）。以上で、本フローチャートの処理を終了する。
【００６２】
以上、本実施形態の映像提示装置１００は、１人または複数の鑑賞者を検出し、検出した鑑賞者に応じた運動視差映像を、検出した鑑賞者の人数分生成する。映像提示装置１００は、各鑑賞者の視点に応じた運動視差映像を表示部１４０に所定の表示順で時系列に切り替えながら表示するよう制御する。
【００６３】
また、映像提示装置１００は、表示部１４０に所定の鑑賞者の視点に応じた運動視差映像を表示している期間にその鑑賞者がこの立体映像を鑑賞できるようにする。具体的には、映像提示装置１００は、シャッタ装置のシャッタの開閉を制御する制御信号Ｓ＿ｉをシャッタ装置２００＿ｉに無線で送信する。シャッタ装置２００＿ｉは、映像提示装置１００から供給された制御信号Ｓ＿ｉに基づいて、液晶シャッタ２３０を開閉する。
【００６４】
これにより、本実施形態の映像提示装置１００は、複数の鑑賞者にそれぞれ異なる運動視差映像を提示することができるので、運動視差による立体映像表現において、従来困難であった複数人での同時映像鑑賞を可能とすることができる。
また、本実施形態の映像提示装置１００が提示する運動視差映像は、両眼立体視による立体映像と比較して、鑑賞者の疲労感が少ないという利点を有する。また、本実施形態の映像提示装置１００は、視聴可能エリアの広い立体映像を提示することができる。
【００６５】
また、両眼視差を利用して裸眼で立体視を実現する従来の方法（多視点裸眼立体視手法）においては、提供する視点数が増加するほど映像の解像度が低下するため、高解像度の映像の鑑賞ができないという問題があった。
本実施形態の映像提示装置１００は、生成した各検出位置の運動視差映像をディスプレイに時系列に順番に切り替えながら表示を行うので、視点数が増加しても映像の解像度が低下することがない。その結果、本実施形態の映像提示装置１００は、視点数が増加しても高解像度の映像を提示することができる。
【００６６】
なお、本実施形態におけるシャッタ装置２００＿ｉは、液晶シャッタを用いて説明したがこれに限らず、機械式シャッタでもよく、映像提示装置１００に表示される映像由来の光が鑑賞者の眼に入射するのを、映像提示装置１００から供給された制御信号Ｓ＿ｉに応じて遮断または透過させることができる光透過制御装置であればよい。この場合、制御信号Ｓ＿ｉは、鑑賞者の視界を制御する制御信号である。
【００６７】
また、映像提示装置１００は、検出した鑑賞者の人数分、運動視差映像を生成したがこれに限らず、映像提示装置１００は、検出した鑑賞者の人数のうちの一部の鑑賞者の人数分運動視差映像を生成してもよい。その場合、映像提示装置１００は、所定の位置範囲にいる複数の鑑賞者に対して、同じ運動視差映像を提示してもよい。
【００６８】
また、本実施形態の映像提示装置１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像提示装置１００に係る上述した種々の処理を行ってもよい。
【００６９】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７１】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７２】
１ 映像提示システム
１００ 映像提示装置
１１０ 撮像部
１２２ 鑑賞者検知部
１２３ 位置算出部
１２３＿１、１２３＿２、…、１２３＿Ｎ 鑑賞者位置算出部
１２４ 映像生成部
１２４＿１、１２４＿２、…、１２４＿Ｎ 鑑賞者用映像生成部
１２６ 同期制御部
１２６＿１、１２６＿２、…、１２６＿Ｎ 鑑賞者用同期制御部
１３０ 立体映像記憶部
１４０ 表示部
１５０ 通信部
２００＿１、２００＿２、…、２００＿Ｎ シャッタ装置
２１０ 受信部
２２０ 制御部
２３０ 液晶シャッタ
【特許請求の範囲】
【請求項１】
映像を表示する表示部と、
各鑑賞者の視点に応じた映像を前記表示部に所定の表示順で時系列に切り替えながら表示するよう制御し、前記表示部に所定の鑑賞者の位置に応じた立体映像を表示している期間に前記所定の鑑賞者が前記立体映像を鑑賞できるようにさせる同期制御部と、
前記同期制御部により前記所定の鑑賞者に対し前記立体映像を鑑賞させる制御信号を、該制御信号に基づいて自装置を装着している鑑賞者に対し前記立体映像を鑑賞させる光透過制御装置に送信する通信部と、
を備えることを特徴とする映像提示装置。
【請求項１】
映像を表示する表示部と、
各鑑賞者の視点に応じた映像を前記表示部に所定の表示順で時系列に切り替えながら表示するよう制御し、前記表示部に所定の鑑賞者の位置に応じた立体映像を表示している期間に前記所定の鑑賞者が前記立体映像を鑑賞できるようにさせる同期制御部と、
前記同期制御部により前記所定の鑑賞者に対し前記立体映像を鑑賞させる制御信号を、該制御信号に基づいて自装置を装着している鑑賞者に対し前記立体映像を鑑賞させる光透過制御装置に送信する通信部と、
を備えることを特徴とする映像提示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４４４３３（Ｐ２０１２−２４４４３３Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２８０６（Ｐ２０１１−１１２８０６）
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１９日（２０１１．５．１９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]