立体映像表示装置及びその制御方法
【課題】 左眼左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報が映像コンテンツに付与されていない場合、立体映像コンテンツの適切な調整、表示ができない。
【解決手段】 撮影方式判定部７０は、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する。映像処理部４０は、撮影方式判定部７０により各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する。
【解決手段】 撮影方式判定部７０は、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する。映像処理部４０は、撮影方式判定部７０により各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体映像コンテンツを表示する立体映像表示装置及びその制御方法に関する。
【背景技術】
【０００２】
両眼視差を利用した立体映像の表示方式には、時分割して２つの映像を交互に見せる時分割方式と、偏光等が異なる２つの映像を同時に見せる偏波分割方式がある。また、立体視可能な映像コンテンツの撮影、制作方式には２つの方式がある。第１の方式は、左右両眼用の映像を、同じタイミングで撮影、制作する方式（偏波分割に対応した生成方式）である。第２の方式は、時分割式で見ることを想定して交互のタイミングで撮影、制作する方式（時分割方式に対応した撮影、制作方式）である。
【０００３】
立体映像コンテンツの撮影、制作方式と、その立体映像コンテンツを表示するときの表示方式とが対応していない場合、立体映像、特に動きのある映像が、滑らかに動いているように見えず、品位が低く感じる場合がある。
【０００４】
図９は左眼用映像、右眼用映像を撮影時には同時に撮影し、表示時には交互に表示する場合の立体映像コンテンツの表示と時間の関係を表す図である。２台のカメラを同期させて記録する場合など右眼用映像、左眼用映像を同時に撮影する場合、時間軸に対して撮影時の左眼用映像は１１１、１１２、１１３、右眼用映像は１２１、１２２、１２３のようになる。一方、立体映像を左右交互に表示する方式の立体映像表示装置で表示する場合、時間軸に対して表示時の左眼用映像は１３１、１３２、１３３、右眼用映像は１４１、１４２、１４３のようになる。
【０００５】
撮影時の左眼用映像１１１と同時に撮影した右眼用映像１２１を、表示時に１４１のタイミングでそのまま表示すると撮影時と表示時でタイミングが異なることになり、滑らかに動いているように見えず、品位が低く感じる場合がある。
【０００６】
従来、映像コンテンツに付与された撮影、制作時の方式を示す情報に基づいて映像を補間、調整し表示するものがあった（例えば、特許文献１参照）。図１０は左眼用映像、右眼用映像を撮影時には同時に撮影し、表示時には交互に表示する場合の従来技術における立体映像コンテンツの調整、表示と時間の関係を表す図である。図９と同様に、右眼用映像、左眼用映像を同時に撮影する場合、時間軸に対して撮影時の左眼用映像は２１１、２１２、２１３、右眼用映像は２２１、２２２、２２３のようになる。また、表示時の左眼用映像は２３１、２３２、２３３、右眼用映像は２４１、２４２、２４３のようになる。２４１のタイミングで表示する映像を２２１と２２２のタイミングで撮影した映像から補間、合成して生成する等の調整を行ってから表示することにより、撮影と表示のタイミングのずれが少なくなり、より高品位な表示を行うことができる。
【０００７】
図１１は左眼用映像、右眼用映像を撮影時には交互に切り換えて撮影し、表示時には同時に表示する場合の従来技術における立体映像コンテンツの調整、表示と時間の関係を表す図である。図１０に示した場合と同様に、交互に撮影した映像を、同時に表示すると品位が低く感じる場合があるため、従来、前後の映像フレームから映像を補間、合成等の調整を行って表示していた。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２５２７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、使用する機器や映像フォーマットによっては、左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報が映像コンテンツに付与されていない場合がある。また、左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報は、立体映像コンテンツの編集やネットワーク配信等の過程で不明になったり、異なった情報が付与される場合もある。左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報が映像コンテンツに付与されていないと、立体映像コンテンツの適切な調整、表示ができない場合があった。
【００１０】
そこで本発明は、立体映像コンテンツの映像から撮影、制作時の方式を判別し、これによって適切に立体映像コンテンツの調整、表示を行い高品位な立体映像を表示することができる立体映像表示装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一側面によれば、両眼視差を有する左眼用映像と右眼用映像とを時分割で交互に表示することで立体映像を表示する立体映像表示装置であって、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定手段と、前記判定手段により各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御手段とを有することを特徴とする立体映像表示装置が提供される。
【発明の効果】
【００１２】
本発明によれば、立体映像コンテンツの映像から撮影、制作時の方式を判別し、これによって適切に立体映像コンテンツの調整、表示を行い高品位な立体映像を表示することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態における立体映像表示装置の構成を表すブロック図。
【図２】実施形態における撮影方式判定部による処理を示すフローチャート。
【図３】実施形態における判定用輝度の例を示す図。
【図４】実施形態における判定用映像の例を示す図。
【図５】実施形態における映像処理部による処理を示すフローチャート。
【図６】実施形態における映像処理部による表示する映像フレーム数を切り換える処理を示すフローチャート。
【図７】実施形態における映像処理部の表示映像フレーム数切り換えと時間の関係を表す図。
【図８】実施形態における撮影方式判定部による処理を示すフローチャート。
【図９】立体映像コンテンツの撮影タイミングと表示タイミングの関係を表す図。
【図１０】従来技術における左右同時撮影した立体映像コンテンツの調整、表示と時間の関係を表す図。
【図１１】従来技術における左右交互撮影した立体映像コンテンツの調整、表示と時間の関係を表す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１５】
［実施形態１］
本発明の第１の実施形態では上下方向に移動する物体の位置を比較して撮影、制作時の方式を判別する立体映像表示装置について説明する。
【００１６】
図１は本実施形態における立体映像表示装置の構成を表すブロック図である。立体映像表示装置１は映像データ２を再生、表示する。立体映像表示装置１は立体映像を視聴するために両眼視差を有する右眼用、左眼用の映像を時分割で交互に表示する。映像データ２は一対の左眼用映像及び右眼用映像を有する映像データである。映像データ２は例えば圧縮符号化されており、光ディスク装置やネットワークから所定のフレームレートを持つデータとして入力される。
【００１７】
メガネ３は立体映像を視聴するためのものであり、映像切換指示部５０からの信号を受信して、右眼及び左眼に届く映像を遮断する液晶シャッターを備える。映像データ入力部１０は映像データ２に含まれる立体映像データを読み取り、右眼用、左眼用の映像データに分離し、それぞれ右眼用映像データデコード部２０、左眼用映像データデコード部３０に出力する。
【００１８】
右眼用映像データデコード部２０、左眼用映像データデコード部３０は、処理する映像データが右眼用か左眼用かの違いだけで同じ機能を有し、映像データ入力部１０から入力された映像データを復号し、右眼用映像及び左眼用映像を生成する。また映像データ復号時に使用する特定領域の映像の動きを表すデータである動きベクトル、及び特定領域の映像、輝度変化等を撮影方式判定部７０に渡す。映像の動きを表す動きベクトルは映像データに含まれるものを使用するだけでなく、生成した映像の前後の映像フレームを画像比較して動きベクトルに相当する動きを表すデータを生成しても良い。
【００１９】
表示制御手段としての映像処理部４０は、特定の周期に従って右眼用映像、左眼用映像のどちらを表示するかを表す表示種別情報を決定し、表示する映像を映像表示部６０に出力する。右眼用映像、左眼用映像の２つの映像を交互に表示するために、通常は右眼用映像、左眼用映像の２つの映像を撮影時の２倍の速度で表示する。
【００２０】
映像処理部４０はまた、撮影方式判定部７０からの情報を基に右眼用映像又は左眼用映像のどちらかをそのまま表示する代わりに、右眼用映像もしくは左眼用映像について複数の映像フレームから合成した映像を生成して表示する。複数の映像フレームからの映像の合成には、例えば映像中の物体の動きの大きさ、方向を基に、その動きの途中の位置に物体がある映像を合成するといった処理を行う。
【００２１】
映像処理部４０はまた、撮影方式判定部７０からの情報を基に右眼用映像及び左眼用映像を表示する周期を短くして表示速度を速めることにより、表示する映像フレーム数を増やして映像を表示する。
【００２２】
映像切換指示部５０は、映像処理部４０で決定した表示種別情報を基に右眼用映像及び左眼用映像それぞれをメガネ３で遮断して見えなくするかどうかを表す信号を送信する。映像表示部６０は映像処理部４０から渡された映像を表示するものであり、液晶パネル等によって構成されている。
【００２３】
撮影方式判定部７０は、右眼用映像データデコード部２０及び左眼用映像データデコード部３０から複数フレームの左眼用映像及び右眼用映像を受け取る。撮影方式判定部７０は、受け取った複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する。なお、以下では、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたもののことを、「左右同時」と略称する場合がある。また、各対の左眼用映像及び右眼用映像が所定の時間差で交互に撮影されたもののことを、「左右交互」と略称する場合がある。
【００２４】
図２は本実施形態における撮影方式判定部７０による処理を示すフローチャートである。撮影方式判定部７０は、左眼用映像データデコード部３０から、動きベクトルが上又は下方向の領域に関し、動きベクトルの値、領域の位置、及び当該領域を含む領域の左眼用映像を含む情報である左眼用判定映像情報を取得する（Ｓ２１０）。次に、撮影方式判定部７０は、右眼用映像データデコード部２０から、左眼用判定映像情報に対応する領域の情報として右眼用判定映像情報を取得する（Ｓ２２０）。
【００２５】
本実施形態では、左眼用判定映像情報に対応する領域として、例えば以下の（１）〜（３）の条件を満たす領域を検出する。
（１）左眼用判定映像情報が表す領域の位置を基準として、右方向に表示画面上のサイズで６５ｍｍ（一般的な人の両眼の間隔）までの範囲。
（２）左眼用判定映像情報が表す領域の位置を基準として、上下方向の範囲が動きベクトルの値以上の特定の範囲。
（３）左眼用判定映像情報に含まれる動きベクトルとほぼ同じ動きベクトルを持つ領域。
【００２６】
Ｓ２２０では、上記（１）〜（３）の全ての条件を満たす領域を検出して、その領域に関する右眼用判定映像情報を取得する。なお、上記（２）では、人が無限遠にある物体として立体的に認識可能な視差の値である、一般的な人の両眼の間隔（６５ｍｍ）を検出範囲の条件に含めているが、表示する映像の視差の最大値があらかじめ分かっている場合は、その値を使用しても良い。
【００２７】
次に、撮影方式判定部７０は、左眼用判定映像情報と右眼用判定映像情報の映像を比較する（Ｓ２３０）。この比較の結果、各々の映像中で同一の物体を指す領域の上下方向の位置がほぼ同じ場合には、処理はＳ２５０に進み、それ以外の場合はＳ２６０に進む。
【００２８】
Ｓ２５０においては、撮影方式判定部７０は、撮影時のタイミングが左右同時である撮影方式（偏波分割方式に対応した撮影方式）と判定し、その判定結果を映像処理部４０に対して通知する。映像処理部４０は撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）の場合、右眼用映像もしくは左眼用映像のどちらかについて複数の映像フレームから合成した映像を生成して表示する。
【００２９】
Ｓ２６０においては、撮影方式判定部７０は、撮影時のタイミングが左右交互である撮影方式（時分割方式に対応した撮影方式）と判定し、その判定結果を映像処理部４０に対して通知する。映像処理部４０は撮影時のタイミングが左右交互（時分割方式に対応した撮影方式）の場合、映像の生成を行わず、右眼用映像及び左眼用映像をそのまま表示する。
【００３０】
図４に判定用映像の例を示す。左眼用映像Ｌは時間的にＬ１，Ｌ２，Ｌ３の順に推移する映像である。左眼用映像Ｌに含まれる円形オブジェクト４１０は下方向に２単位ずつ移動しているものとする。範囲４１１は左眼用映像Ｌ内で円形オブジェクト４１０を基準として上記（１）〜（３）の条件を満たす領域の範囲である。範囲４１１は円形オブジェクト４１０を基準として右方向に画面上のサイズで６５ｍｍまで、左方向に画面上のサイズで１２０ｍｍまで、上下方向に円形オブジェクト４１０の動きを表す動きベクトルの値である２単位までの範囲である。
【００３１】
右眼用映像ＲＰは左眼用映像Ｌと同期して同時に撮影した映像であり、時間的にＲＰ１，ＲＰ２，ＲＰ３の順に推移する映像である。撮影方式判定部７０は左眼用映像Ｌの円形オブジェクト４１０に対応する領域として、範囲４１１に対応する右眼用映像ＲＰ内の範囲４２１から動きベクトルが円形オブジェクト４１０と同じである円形オブジェクト４２０を含む領域を取得する。撮影方式判定部７０は円形オブジェクト４１０と円形オブジェクト４２０を含む領域の画像からオブジェクトの上下方向の位置を比較する。このとき、下方向に移動する物体の上下方向の位置がほぼ同じため、左眼用映像Ｌと右眼用映像ＲＰは左右同時に撮影したものと判定される。
なお、上記した例においては左眼用映像と右眼用映像との関係を逆にしても良い。
【００３２】
右眼用映像ＲＳは左眼用映像Ｌと交互に撮影した映像であり、時間的にＲＳ１，ＲＳ２，ＲＳ３の順に推移する映像である。撮影方式判定部７０は左眼用映像Ｌの円形オブジェクト４１０に対応する領域として、範囲４１１に対応する右眼用映像ＲＳ内の範囲４３１から動きベクトルが円形オブジェクト４１０と同じである円形オブジェクト４３０を含む領域を取得する。撮影方式判定部７０は円形オブジェクト４１０と円形オブジェクト４３０を含む領域の画像からオブジェクトの上下方向の位置を比較する。このとき、上下方向の位置が異なるため、左眼用映像Ｌと右眼用映像ＲＳは左右交互に撮影したものと判定される。
【００３３】
図５は本実施形態における映像処理部４０の処理を示すフローチャートである。映像処理部４０はまず、撮影方式判定部７０が通知する撮影方式を示す情報を取得する（Ｓ５１０）。次に、映像処理部４０は撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）か否かを判定する（Ｓ５４０）。ここで、左右同時の場合はＳ５５０に進み、それ以外の場合はＳ５６０に進む。
【００３４】
Ｓ５５０において、映像処理部４０は右眼用映像もしくは左眼用映像のいずれか一方について複数の映像フレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する。Ｓ５６０においては、映像処理部４０は映像の生成を行わず、右眼用映像、及び左眼用映像をそのまま表示する。
【００３５】
以上説明したように、本実施形態によれば、立体映像の撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）か左右交互（時分割方式に対応した撮影方式）かを判定することができる。そしてその判定結果に応じた、立体映像の右眼用映像及び左眼用映像の表示を行うことができる。
【００３６】
なお、立体映像表示装置が左右眼用の映像を同時に表示する装置の場合は、撮影方式判定部７０の判定結果に基づいて行う動作が逆となる。即ち左右同時と判定した場合は、右眼用映像及び左眼用映像をそのまま表示し、左右交互と判定した場合は、右眼用映像もしくは左眼用映像のどちらかについて複数の映像フレームから合成した映像を生成して表示する。
【００３７】
また、Ｓ５５０及びＳ５６０において、映像処理部４０は撮影方式を示す情報に基づいて映像の生成を行うか否かの処理を行っているが、表示する映像フレーム数の切り換えを行っても良い。即ち、立体映像を時分割で左右交互に表示する立体映像表示装置において、撮影時のタイミングが左右交互（時分割方式に対応した撮影方式）の場合は、映像コンテンツの映像フレーム数を増やさず、左右で２つの映像フレームを撮影時の２倍の速度で表示する。
【００３８】
撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）と判定された場合、表示する映像フレーム数を増やして、左右映像で２つの映像フレームを４、６、・・・、２ｎ倍の速度で表示する。
【００３９】
図６は本実施形態における映像処理部４０によって実行される表示する映像フレーム数を切り換える処理を示すフローチャートである。Ｓ６１０、Ｓ６４０、及びＳ６６０はそれぞれ、図５のＳ５１０、Ｓ５４０、及びステップＳ５６０と同じ処理を表す。Ｓ６５０において、映像処理部４０は表示映像フレーム数を増やして表示を行う。即ち、映像処理部４０は、各対の左眼用映像及び右眼用映像が同時に撮影されたものであると判定された場合、通常のフレームレートのＮ倍（Ｎは２以上の自然数）のフレームレートで、入力した各フレームの左眼用映像と右眼用映像とを交互に表示する。
【００４０】
図７は立体映像を時分割で左右交互に表示する立体映像表示装置において、撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）であると判定した場合の処理を示す図である。具体的には同図は、表示する映像フレーム数を３倍に増やして６倍速で表示する場合の映像と時間の関係を表している。右眼用映像、左眼用映像を同時に撮影する場合、時間軸に対して撮影時の左眼用映像は７１１、７１２、７１３、右眼用映像は７２１、７２２、７２３のようになる。
【００４１】
撮影方式判定部７０により左右同時に撮影したものと判定すると映像処理部４０は表示する映像フレーム数を３倍にする。即ち撮影時の左眼用映像７１１を、表示用の左眼用映像として７３１，７３２，７３３のタイミングで表示する。また撮影時の右眼用映像７２１を、表示用の右眼用映像として７４１，７４２，７４３のタイミングで表示する。このように、左右交互に表示する立体映像表示装置において、表示する映像のフレームレートを増加させることにより、左右同時に近いタイミングで映像を表示することができる。
【００４２】
［実施形態２］
本発明の第２の実施形態では、フェードイン等で輝度が変化する映像を使って撮影、制作時の方式を判別する立体映像表示装置について説明する。本実施形態における立体映像表示装置の構成は実施形態１（図１）と同じである。
【００４３】
図８は本実施形態における撮影方式判定部７０による処理を示すフローチャートである。まず、撮影方式判定部７０は、左眼用映像データデコード部３０から、輝度が変化している領域の位置、輝度変化量、及び輝度が変化している領域の平均輝度を含む情報である左眼用輝度変化情報を取得する（Ｓ８１０）。輝度変化の有無、及び輝度変化量には映像符号化技術Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）における重み付き予測の重み係数を使用しても良い。また全画面に亘って輝度が変化している場合には左眼用輝度変化情報を単に全画面の平均輝度としてもよい。
【００４４】
次に、撮影方式判定部７０は右眼用映像データデコード部２０から左眼用輝度変化情報に対応する領域の情報として右眼用輝度変化情報を取得する（Ｓ８２０）。左眼用輝度変化情報に対応する領域の条件は、例えば以下の通りである。
（１）左眼用輝度変化情報が表す領域の位置を基準として、右方向の表示画面上のサイズで６５ｍｍ（一般的な人の両眼の間隔）までの範囲。
（２）左眼用輝度変化情報に含まれる輝度変化量とほぼ同じ輝度変化量を持つ領域。
【００４５】
なお、左眼用輝度変化情報を全画面の平均輝度とした場合は、上記条件によらず右眼用輝度変化情報を右眼用映像の全画面の平均輝度としてもよい。
【００４６】
次に、撮影方式判定部７０は、左眼用輝度変化情報と右眼用輝度変化情報の平均輝度を比較する（Ｓ８３０）。Ｓ８４０において、左眼用輝度変化情報と右眼用輝度変化情報の平均輝度がほぼ同じ場合、処理はＳ８５０に進み、それ以外の場合はＳ８６０に進む。Ｓ８５０及びＳ８６０はそれぞれ、図２のＳ２５０及びＳ２６０と同じ処理を表す。
【００４７】
図３に本実施形態における判定用輝度の例を示す。左眼用輝度ＢＬは左眼用映像における全画面の平均輝度を表し、時間的にＢＬ１，ＢＬ２，ＢＬ３の順に推移する。ＢＬ１，ＢＬ２，ＢＬ３での平均輝度の値は２，４，６であり、２単位ずつ明るくなっていく映像になっている。右眼用輝度ＢＲＰは左眼用映像と同期して撮影した映像の全画面の平均輝度を表し、時間的にＢＲＰ１，ＢＲＰ２，ＢＲＰ３の順に推移し、それぞれＢＬ１，ＢＬ２，ＢＬ３に対応する。ＢＲＰ１，ＢＲＰ２，ＢＲＰ３での平均輝度の値は２，４，６となり、左眼用輝度ＢＬと同様に２単位ずつ明るくなっていく映像になっている。ＢＬ１とＢＲＰ１のように対応する２つの映像の平均輝度を比較し、両方の平均輝度が２でほぼ同じであるため左右同時に撮影した映像と判定する。
【００４８】
右眼用輝度ＢＲＳは左眼用映像と交互に撮影した映像の全画面の平均輝度を表し、時間的にＢＲＳ１，ＢＲＳ２，ＢＲＳ３の順に推移し、それぞれＢＬ１，ＢＬ２，ＢＬ３に対応する。ＢＲＳ１，ＢＲＳ２，ＢＲＳ３での平均輝度の値は３，５，７となり、左眼用輝度ＢＬと同様に２単位ずつ明るくなっていく映像になっている。ＢＬ１とＢＲＳ１のように対応する２つの映像の平均輝度を比較し、それぞれの平均輝度が２と３で異なっているため左右交互に撮影した映像と判定する。
【００４９】
以上説明したように、本実施形態によれば、フェードイン等を行う立体映像の平均輝度が同じかどうかにより、撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）か左右交互（時分割方式に対応した撮影方式）かを判定することができる。そして、この判定結果に基づいて立体映像の右眼用映像及び左眼用映像を表示することができる。
【００５０】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は立体映像コンテンツを表示する立体映像表示装置及びその制御方法に関する。
【背景技術】
【０００２】
両眼視差を利用した立体映像の表示方式には、時分割して２つの映像を交互に見せる時分割方式と、偏光等が異なる２つの映像を同時に見せる偏波分割方式がある。また、立体視可能な映像コンテンツの撮影、制作方式には２つの方式がある。第１の方式は、左右両眼用の映像を、同じタイミングで撮影、制作する方式（偏波分割に対応した生成方式）である。第２の方式は、時分割式で見ることを想定して交互のタイミングで撮影、制作する方式（時分割方式に対応した撮影、制作方式）である。
【０００３】
立体映像コンテンツの撮影、制作方式と、その立体映像コンテンツを表示するときの表示方式とが対応していない場合、立体映像、特に動きのある映像が、滑らかに動いているように見えず、品位が低く感じる場合がある。
【０００４】
図９は左眼用映像、右眼用映像を撮影時には同時に撮影し、表示時には交互に表示する場合の立体映像コンテンツの表示と時間の関係を表す図である。２台のカメラを同期させて記録する場合など右眼用映像、左眼用映像を同時に撮影する場合、時間軸に対して撮影時の左眼用映像は１１１、１１２、１１３、右眼用映像は１２１、１２２、１２３のようになる。一方、立体映像を左右交互に表示する方式の立体映像表示装置で表示する場合、時間軸に対して表示時の左眼用映像は１３１、１３２、１３３、右眼用映像は１４１、１４２、１４３のようになる。
【０００５】
撮影時の左眼用映像１１１と同時に撮影した右眼用映像１２１を、表示時に１４１のタイミングでそのまま表示すると撮影時と表示時でタイミングが異なることになり、滑らかに動いているように見えず、品位が低く感じる場合がある。
【０００６】
従来、映像コンテンツに付与された撮影、制作時の方式を示す情報に基づいて映像を補間、調整し表示するものがあった（例えば、特許文献１参照）。図１０は左眼用映像、右眼用映像を撮影時には同時に撮影し、表示時には交互に表示する場合の従来技術における立体映像コンテンツの調整、表示と時間の関係を表す図である。図９と同様に、右眼用映像、左眼用映像を同時に撮影する場合、時間軸に対して撮影時の左眼用映像は２１１、２１２、２１３、右眼用映像は２２１、２２２、２２３のようになる。また、表示時の左眼用映像は２３１、２３２、２３３、右眼用映像は２４１、２４２、２４３のようになる。２４１のタイミングで表示する映像を２２１と２２２のタイミングで撮影した映像から補間、合成して生成する等の調整を行ってから表示することにより、撮影と表示のタイミングのずれが少なくなり、より高品位な表示を行うことができる。
【０００７】
図１１は左眼用映像、右眼用映像を撮影時には交互に切り換えて撮影し、表示時には同時に表示する場合の従来技術における立体映像コンテンツの調整、表示と時間の関係を表す図である。図１０に示した場合と同様に、交互に撮影した映像を、同時に表示すると品位が低く感じる場合があるため、従来、前後の映像フレームから映像を補間、合成等の調整を行って表示していた。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２５２７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、使用する機器や映像フォーマットによっては、左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報が映像コンテンツに付与されていない場合がある。また、左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報は、立体映像コンテンツの編集やネットワーク配信等の過程で不明になったり、異なった情報が付与される場合もある。左眼用映像及び右眼用映像の撮影、制作時の方式を示す情報が映像コンテンツに付与されていないと、立体映像コンテンツの適切な調整、表示ができない場合があった。
【００１０】
そこで本発明は、立体映像コンテンツの映像から撮影、制作時の方式を判別し、これによって適切に立体映像コンテンツの調整、表示を行い高品位な立体映像を表示することができる立体映像表示装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一側面によれば、両眼視差を有する左眼用映像と右眼用映像とを時分割で交互に表示することで立体映像を表示する立体映像表示装置であって、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定手段と、前記判定手段により各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御手段とを有することを特徴とする立体映像表示装置が提供される。
【発明の効果】
【００１２】
本発明によれば、立体映像コンテンツの映像から撮影、制作時の方式を判別し、これによって適切に立体映像コンテンツの調整、表示を行い高品位な立体映像を表示することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態における立体映像表示装置の構成を表すブロック図。
【図２】実施形態における撮影方式判定部による処理を示すフローチャート。
【図３】実施形態における判定用輝度の例を示す図。
【図４】実施形態における判定用映像の例を示す図。
【図５】実施形態における映像処理部による処理を示すフローチャート。
【図６】実施形態における映像処理部による表示する映像フレーム数を切り換える処理を示すフローチャート。
【図７】実施形態における映像処理部の表示映像フレーム数切り換えと時間の関係を表す図。
【図８】実施形態における撮影方式判定部による処理を示すフローチャート。
【図９】立体映像コンテンツの撮影タイミングと表示タイミングの関係を表す図。
【図１０】従来技術における左右同時撮影した立体映像コンテンツの調整、表示と時間の関係を表す図。
【図１１】従来技術における左右交互撮影した立体映像コンテンツの調整、表示と時間の関係を表す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１５】
［実施形態１］
本発明の第１の実施形態では上下方向に移動する物体の位置を比較して撮影、制作時の方式を判別する立体映像表示装置について説明する。
【００１６】
図１は本実施形態における立体映像表示装置の構成を表すブロック図である。立体映像表示装置１は映像データ２を再生、表示する。立体映像表示装置１は立体映像を視聴するために両眼視差を有する右眼用、左眼用の映像を時分割で交互に表示する。映像データ２は一対の左眼用映像及び右眼用映像を有する映像データである。映像データ２は例えば圧縮符号化されており、光ディスク装置やネットワークから所定のフレームレートを持つデータとして入力される。
【００１７】
メガネ３は立体映像を視聴するためのものであり、映像切換指示部５０からの信号を受信して、右眼及び左眼に届く映像を遮断する液晶シャッターを備える。映像データ入力部１０は映像データ２に含まれる立体映像データを読み取り、右眼用、左眼用の映像データに分離し、それぞれ右眼用映像データデコード部２０、左眼用映像データデコード部３０に出力する。
【００１８】
右眼用映像データデコード部２０、左眼用映像データデコード部３０は、処理する映像データが右眼用か左眼用かの違いだけで同じ機能を有し、映像データ入力部１０から入力された映像データを復号し、右眼用映像及び左眼用映像を生成する。また映像データ復号時に使用する特定領域の映像の動きを表すデータである動きベクトル、及び特定領域の映像、輝度変化等を撮影方式判定部７０に渡す。映像の動きを表す動きベクトルは映像データに含まれるものを使用するだけでなく、生成した映像の前後の映像フレームを画像比較して動きベクトルに相当する動きを表すデータを生成しても良い。
【００１９】
表示制御手段としての映像処理部４０は、特定の周期に従って右眼用映像、左眼用映像のどちらを表示するかを表す表示種別情報を決定し、表示する映像を映像表示部６０に出力する。右眼用映像、左眼用映像の２つの映像を交互に表示するために、通常は右眼用映像、左眼用映像の２つの映像を撮影時の２倍の速度で表示する。
【００２０】
映像処理部４０はまた、撮影方式判定部７０からの情報を基に右眼用映像又は左眼用映像のどちらかをそのまま表示する代わりに、右眼用映像もしくは左眼用映像について複数の映像フレームから合成した映像を生成して表示する。複数の映像フレームからの映像の合成には、例えば映像中の物体の動きの大きさ、方向を基に、その動きの途中の位置に物体がある映像を合成するといった処理を行う。
【００２１】
映像処理部４０はまた、撮影方式判定部７０からの情報を基に右眼用映像及び左眼用映像を表示する周期を短くして表示速度を速めることにより、表示する映像フレーム数を増やして映像を表示する。
【００２２】
映像切換指示部５０は、映像処理部４０で決定した表示種別情報を基に右眼用映像及び左眼用映像それぞれをメガネ３で遮断して見えなくするかどうかを表す信号を送信する。映像表示部６０は映像処理部４０から渡された映像を表示するものであり、液晶パネル等によって構成されている。
【００２３】
撮影方式判定部７０は、右眼用映像データデコード部２０及び左眼用映像データデコード部３０から複数フレームの左眼用映像及び右眼用映像を受け取る。撮影方式判定部７０は、受け取った複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する。なお、以下では、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたもののことを、「左右同時」と略称する場合がある。また、各対の左眼用映像及び右眼用映像が所定の時間差で交互に撮影されたもののことを、「左右交互」と略称する場合がある。
【００２４】
図２は本実施形態における撮影方式判定部７０による処理を示すフローチャートである。撮影方式判定部７０は、左眼用映像データデコード部３０から、動きベクトルが上又は下方向の領域に関し、動きベクトルの値、領域の位置、及び当該領域を含む領域の左眼用映像を含む情報である左眼用判定映像情報を取得する（Ｓ２１０）。次に、撮影方式判定部７０は、右眼用映像データデコード部２０から、左眼用判定映像情報に対応する領域の情報として右眼用判定映像情報を取得する（Ｓ２２０）。
【００２５】
本実施形態では、左眼用判定映像情報に対応する領域として、例えば以下の（１）〜（３）の条件を満たす領域を検出する。
（１）左眼用判定映像情報が表す領域の位置を基準として、右方向に表示画面上のサイズで６５ｍｍ（一般的な人の両眼の間隔）までの範囲。
（２）左眼用判定映像情報が表す領域の位置を基準として、上下方向の範囲が動きベクトルの値以上の特定の範囲。
（３）左眼用判定映像情報に含まれる動きベクトルとほぼ同じ動きベクトルを持つ領域。
【００２６】
Ｓ２２０では、上記（１）〜（３）の全ての条件を満たす領域を検出して、その領域に関する右眼用判定映像情報を取得する。なお、上記（２）では、人が無限遠にある物体として立体的に認識可能な視差の値である、一般的な人の両眼の間隔（６５ｍｍ）を検出範囲の条件に含めているが、表示する映像の視差の最大値があらかじめ分かっている場合は、その値を使用しても良い。
【００２７】
次に、撮影方式判定部７０は、左眼用判定映像情報と右眼用判定映像情報の映像を比較する（Ｓ２３０）。この比較の結果、各々の映像中で同一の物体を指す領域の上下方向の位置がほぼ同じ場合には、処理はＳ２５０に進み、それ以外の場合はＳ２６０に進む。
【００２８】
Ｓ２５０においては、撮影方式判定部７０は、撮影時のタイミングが左右同時である撮影方式（偏波分割方式に対応した撮影方式）と判定し、その判定結果を映像処理部４０に対して通知する。映像処理部４０は撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）の場合、右眼用映像もしくは左眼用映像のどちらかについて複数の映像フレームから合成した映像を生成して表示する。
【００２９】
Ｓ２６０においては、撮影方式判定部７０は、撮影時のタイミングが左右交互である撮影方式（時分割方式に対応した撮影方式）と判定し、その判定結果を映像処理部４０に対して通知する。映像処理部４０は撮影時のタイミングが左右交互（時分割方式に対応した撮影方式）の場合、映像の生成を行わず、右眼用映像及び左眼用映像をそのまま表示する。
【００３０】
図４に判定用映像の例を示す。左眼用映像Ｌは時間的にＬ１，Ｌ２，Ｌ３の順に推移する映像である。左眼用映像Ｌに含まれる円形オブジェクト４１０は下方向に２単位ずつ移動しているものとする。範囲４１１は左眼用映像Ｌ内で円形オブジェクト４１０を基準として上記（１）〜（３）の条件を満たす領域の範囲である。範囲４１１は円形オブジェクト４１０を基準として右方向に画面上のサイズで６５ｍｍまで、左方向に画面上のサイズで１２０ｍｍまで、上下方向に円形オブジェクト４１０の動きを表す動きベクトルの値である２単位までの範囲である。
【００３１】
右眼用映像ＲＰは左眼用映像Ｌと同期して同時に撮影した映像であり、時間的にＲＰ１，ＲＰ２，ＲＰ３の順に推移する映像である。撮影方式判定部７０は左眼用映像Ｌの円形オブジェクト４１０に対応する領域として、範囲４１１に対応する右眼用映像ＲＰ内の範囲４２１から動きベクトルが円形オブジェクト４１０と同じである円形オブジェクト４２０を含む領域を取得する。撮影方式判定部７０は円形オブジェクト４１０と円形オブジェクト４２０を含む領域の画像からオブジェクトの上下方向の位置を比較する。このとき、下方向に移動する物体の上下方向の位置がほぼ同じため、左眼用映像Ｌと右眼用映像ＲＰは左右同時に撮影したものと判定される。
なお、上記した例においては左眼用映像と右眼用映像との関係を逆にしても良い。
【００３２】
右眼用映像ＲＳは左眼用映像Ｌと交互に撮影した映像であり、時間的にＲＳ１，ＲＳ２，ＲＳ３の順に推移する映像である。撮影方式判定部７０は左眼用映像Ｌの円形オブジェクト４１０に対応する領域として、範囲４１１に対応する右眼用映像ＲＳ内の範囲４３１から動きベクトルが円形オブジェクト４１０と同じである円形オブジェクト４３０を含む領域を取得する。撮影方式判定部７０は円形オブジェクト４１０と円形オブジェクト４３０を含む領域の画像からオブジェクトの上下方向の位置を比較する。このとき、上下方向の位置が異なるため、左眼用映像Ｌと右眼用映像ＲＳは左右交互に撮影したものと判定される。
【００３３】
図５は本実施形態における映像処理部４０の処理を示すフローチャートである。映像処理部４０はまず、撮影方式判定部７０が通知する撮影方式を示す情報を取得する（Ｓ５１０）。次に、映像処理部４０は撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）か否かを判定する（Ｓ５４０）。ここで、左右同時の場合はＳ５５０に進み、それ以外の場合はＳ５６０に進む。
【００３４】
Ｓ５５０において、映像処理部４０は右眼用映像もしくは左眼用映像のいずれか一方について複数の映像フレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する。Ｓ５６０においては、映像処理部４０は映像の生成を行わず、右眼用映像、及び左眼用映像をそのまま表示する。
【００３５】
以上説明したように、本実施形態によれば、立体映像の撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）か左右交互（時分割方式に対応した撮影方式）かを判定することができる。そしてその判定結果に応じた、立体映像の右眼用映像及び左眼用映像の表示を行うことができる。
【００３６】
なお、立体映像表示装置が左右眼用の映像を同時に表示する装置の場合は、撮影方式判定部７０の判定結果に基づいて行う動作が逆となる。即ち左右同時と判定した場合は、右眼用映像及び左眼用映像をそのまま表示し、左右交互と判定した場合は、右眼用映像もしくは左眼用映像のどちらかについて複数の映像フレームから合成した映像を生成して表示する。
【００３７】
また、Ｓ５５０及びＳ５６０において、映像処理部４０は撮影方式を示す情報に基づいて映像の生成を行うか否かの処理を行っているが、表示する映像フレーム数の切り換えを行っても良い。即ち、立体映像を時分割で左右交互に表示する立体映像表示装置において、撮影時のタイミングが左右交互（時分割方式に対応した撮影方式）の場合は、映像コンテンツの映像フレーム数を増やさず、左右で２つの映像フレームを撮影時の２倍の速度で表示する。
【００３８】
撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）と判定された場合、表示する映像フレーム数を増やして、左右映像で２つの映像フレームを４、６、・・・、２ｎ倍の速度で表示する。
【００３９】
図６は本実施形態における映像処理部４０によって実行される表示する映像フレーム数を切り換える処理を示すフローチャートである。Ｓ６１０、Ｓ６４０、及びＳ６６０はそれぞれ、図５のＳ５１０、Ｓ５４０、及びステップＳ５６０と同じ処理を表す。Ｓ６５０において、映像処理部４０は表示映像フレーム数を増やして表示を行う。即ち、映像処理部４０は、各対の左眼用映像及び右眼用映像が同時に撮影されたものであると判定された場合、通常のフレームレートのＮ倍（Ｎは２以上の自然数）のフレームレートで、入力した各フレームの左眼用映像と右眼用映像とを交互に表示する。
【００４０】
図７は立体映像を時分割で左右交互に表示する立体映像表示装置において、撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）であると判定した場合の処理を示す図である。具体的には同図は、表示する映像フレーム数を３倍に増やして６倍速で表示する場合の映像と時間の関係を表している。右眼用映像、左眼用映像を同時に撮影する場合、時間軸に対して撮影時の左眼用映像は７１１、７１２、７１３、右眼用映像は７２１、７２２、７２３のようになる。
【００４１】
撮影方式判定部７０により左右同時に撮影したものと判定すると映像処理部４０は表示する映像フレーム数を３倍にする。即ち撮影時の左眼用映像７１１を、表示用の左眼用映像として７３１，７３２，７３３のタイミングで表示する。また撮影時の右眼用映像７２１を、表示用の右眼用映像として７４１，７４２，７４３のタイミングで表示する。このように、左右交互に表示する立体映像表示装置において、表示する映像のフレームレートを増加させることにより、左右同時に近いタイミングで映像を表示することができる。
【００４２】
［実施形態２］
本発明の第２の実施形態では、フェードイン等で輝度が変化する映像を使って撮影、制作時の方式を判別する立体映像表示装置について説明する。本実施形態における立体映像表示装置の構成は実施形態１（図１）と同じである。
【００４３】
図８は本実施形態における撮影方式判定部７０による処理を示すフローチャートである。まず、撮影方式判定部７０は、左眼用映像データデコード部３０から、輝度が変化している領域の位置、輝度変化量、及び輝度が変化している領域の平均輝度を含む情報である左眼用輝度変化情報を取得する（Ｓ８１０）。輝度変化の有無、及び輝度変化量には映像符号化技術Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）における重み付き予測の重み係数を使用しても良い。また全画面に亘って輝度が変化している場合には左眼用輝度変化情報を単に全画面の平均輝度としてもよい。
【００４４】
次に、撮影方式判定部７０は右眼用映像データデコード部２０から左眼用輝度変化情報に対応する領域の情報として右眼用輝度変化情報を取得する（Ｓ８２０）。左眼用輝度変化情報に対応する領域の条件は、例えば以下の通りである。
（１）左眼用輝度変化情報が表す領域の位置を基準として、右方向の表示画面上のサイズで６５ｍｍ（一般的な人の両眼の間隔）までの範囲。
（２）左眼用輝度変化情報に含まれる輝度変化量とほぼ同じ輝度変化量を持つ領域。
【００４５】
なお、左眼用輝度変化情報を全画面の平均輝度とした場合は、上記条件によらず右眼用輝度変化情報を右眼用映像の全画面の平均輝度としてもよい。
【００４６】
次に、撮影方式判定部７０は、左眼用輝度変化情報と右眼用輝度変化情報の平均輝度を比較する（Ｓ８３０）。Ｓ８４０において、左眼用輝度変化情報と右眼用輝度変化情報の平均輝度がほぼ同じ場合、処理はＳ８５０に進み、それ以外の場合はＳ８６０に進む。Ｓ８５０及びＳ８６０はそれぞれ、図２のＳ２５０及びＳ２６０と同じ処理を表す。
【００４７】
図３に本実施形態における判定用輝度の例を示す。左眼用輝度ＢＬは左眼用映像における全画面の平均輝度を表し、時間的にＢＬ１，ＢＬ２，ＢＬ３の順に推移する。ＢＬ１，ＢＬ２，ＢＬ３での平均輝度の値は２，４，６であり、２単位ずつ明るくなっていく映像になっている。右眼用輝度ＢＲＰは左眼用映像と同期して撮影した映像の全画面の平均輝度を表し、時間的にＢＲＰ１，ＢＲＰ２，ＢＲＰ３の順に推移し、それぞれＢＬ１，ＢＬ２，ＢＬ３に対応する。ＢＲＰ１，ＢＲＰ２，ＢＲＰ３での平均輝度の値は２，４，６となり、左眼用輝度ＢＬと同様に２単位ずつ明るくなっていく映像になっている。ＢＬ１とＢＲＰ１のように対応する２つの映像の平均輝度を比較し、両方の平均輝度が２でほぼ同じであるため左右同時に撮影した映像と判定する。
【００４８】
右眼用輝度ＢＲＳは左眼用映像と交互に撮影した映像の全画面の平均輝度を表し、時間的にＢＲＳ１，ＢＲＳ２，ＢＲＳ３の順に推移し、それぞれＢＬ１，ＢＬ２，ＢＬ３に対応する。ＢＲＳ１，ＢＲＳ２，ＢＲＳ３での平均輝度の値は３，５，７となり、左眼用輝度ＢＬと同様に２単位ずつ明るくなっていく映像になっている。ＢＬ１とＢＲＳ１のように対応する２つの映像の平均輝度を比較し、それぞれの平均輝度が２と３で異なっているため左右交互に撮影した映像と判定する。
【００４９】
以上説明したように、本実施形態によれば、フェードイン等を行う立体映像の平均輝度が同じかどうかにより、撮影時のタイミングが左右同時（偏波分割方式に対応した撮影方式）か左右交互（時分割方式に対応した撮影方式）かを判定することができる。そして、この判定結果に基づいて立体映像の右眼用映像及び左眼用映像を表示することができる。
【００５０】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
両眼視差を有する左眼用映像と右眼用映像とを時分割で交互に表示することで立体映像を表示する立体映像表示装置であって、
入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定手段と、
前記判定手段により各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御手段と、
を有することを特徴とする立体映像表示装置。
【請求項２】
両眼視差を有する左眼用映像と右眼用映像とを同時に表示することで立体映像を表示する立体映像表示装置であって、
入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定手段と、
前記判定手段により各対の左眼用映像及び右眼用映像が交互に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御手段と、
を有することを特徴とする立体映像表示装置。
【請求項３】
前記判定手段は、前記複数フレームにおいて上下方向に移動するオブジェクトを含む領域を検出し、各フレームの左眼用映像と右眼用映像とで該オブジェクトの位置を比較することにより、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定することを特徴とする請求項１又は２に記載の立体映像表示装置。
【請求項４】
前記判定手段は、前記複数フレームに亘る左眼用映像及び右眼用映像それぞれの輝度変化を比較することにより、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定することを特徴とする請求項１又は２に記載の立体映像表示装置。
【請求項５】
両眼視差を有する左眼用映像と右眼用映像とを時分割で交互に表示することで立体映像を表示する立体映像表示装置の制御方法であって、
判定手段が、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定ステップと、
表示制御手段が、前記判定ステップで各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御ステップと、
を有することを特徴とする立体映像表示装置の制御方法。
【請求項６】
両眼視差を有する左眼用映像と右眼用映像とを同時に表示することで立体映像を表示する立体映像表示装置の制御方法であって、
判定手段が、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定ステップと、
表示制御手段が、前記判定ステップで各対の左眼用映像及び右眼用映像が交互に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御ステップと、
を有することを特徴とする立体映像表示装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至４のいずれか１項に記載の立体映像表示装置が有する各手段として機能させるためのプログラム。
【請求項１】
両眼視差を有する左眼用映像と右眼用映像とを時分割で交互に表示することで立体映像を表示する立体映像表示装置であって、
入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定手段と、
前記判定手段により各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御手段と、
を有することを特徴とする立体映像表示装置。
【請求項２】
両眼視差を有する左眼用映像と右眼用映像とを同時に表示することで立体映像を表示する立体映像表示装置であって、
入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定手段と、
前記判定手段により各対の左眼用映像及び右眼用映像が交互に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御手段と、
を有することを特徴とする立体映像表示装置。
【請求項３】
前記判定手段は、前記複数フレームにおいて上下方向に移動するオブジェクトを含む領域を検出し、各フレームの左眼用映像と右眼用映像とで該オブジェクトの位置を比較することにより、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定することを特徴とする請求項１又は２に記載の立体映像表示装置。
【請求項４】
前記判定手段は、前記複数フレームに亘る左眼用映像及び右眼用映像それぞれの輝度変化を比較することにより、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定することを特徴とする請求項１又は２に記載の立体映像表示装置。
【請求項５】
両眼視差を有する左眼用映像と右眼用映像とを時分割で交互に表示することで立体映像を表示する立体映像表示装置の制御方法であって、
判定手段が、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定ステップと、
表示制御手段が、前記判定ステップで各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御ステップと、
を有することを特徴とする立体映像表示装置の制御方法。
【請求項６】
両眼視差を有する左眼用映像と右眼用映像とを同時に表示することで立体映像を表示する立体映像表示装置の制御方法であって、
判定手段が、入力した複数フレームの左眼用映像及び右眼用映像に基づいて、各対の左眼用映像及び右眼用映像がそれぞれ同時に撮影されたものであるか所定の時間差で交互に撮影されたものであるかを判定する判定ステップと、
表示制御手段が、前記判定ステップで各対の左眼用映像及び右眼用映像が交互に撮影されたものであると判定された場合、左眼用映像又は右眼用映像のいずれか一方について複数のフレームから合成した映像を順次生成するとともに、他方の映像と交互に表示する表示制御ステップと、
を有することを特徴とする立体映像表示装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至４のいずれか１項に記載の立体映像表示装置が有する各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−８０４６９（Ｐ２０１２−８０４６９Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２６０５９（Ｐ２０１０−２２６０５９）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]