画像処理装置及び画像処理方法、表示システム、映像生成装置、並びに再生装置
【課題】動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理する。
【解決手段】映像信号処理部１２０への入力信号の複数の画像ストリームが同一タイミングで撮像又は生成されたものである場合には、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。具体的には、複数の画像ストリームの補間画像を生成する時刻の時間差が、対応する視差画像を分離する動作の時間差と等しくなるよう、時間的な補間処理を行なう。
【解決手段】映像信号処理部１２０への入力信号の複数の画像ストリームが同一タイミングで撮像又は生成されたものである場合には、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。具体的には、複数の画像ストリームの補間画像を生成する時刻の時間差が、対応する視差画像を分離する動作の時間差と等しくなるよう、時間的な補間処理を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、時分割表示される複数の視差画像を処理する画像処理装置及び画像処理方法、複数の視差画像を表示する表示システム、映像生成装置、並びに再生装置に係り、特に、動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理する画像処理装置及び画像処理方法、動画表示時においても複数の視差画像の視差を正しく表示する表示システム、映像生成装置、並びに再生装置に関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に立体的に見える立体視画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、時分割立体視画像表示システムは、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼用画像及び右眼用画像の表示周期に同期して左眼用画像と右眼用画像を分離する機構からなる。観察者の左眼に左眼用画像を、右眼に右眼用画像をそれぞれ独立して視認させると、観察者の脳内ではこれらが融像され、立体的に認識される。
【０００４】
シャッター眼鏡式の時分割立体視画像表示システムの場合、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備え、シャッター眼鏡は、左眼用画像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用画像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する（例えば、特許文献１〜３を参照のこと）。すなわち、表示装置が左眼用画像及び右眼用画像を時分割表示するとともに、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察者に左眼用画像と右眼用画像を分離して視認させることができる。
【０００５】
また、アクティブ・リターダー式の時分割立体視画像表示システムの場合、ディスプレイ側に時分割で偏光を制御する機構を備えている。偏光制御機構は、表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板からなり、左眼用画像及び右眼用画像の表示周期に同期して左右それぞれの偏光方向に変更する。そして、観察者は、左右それぞれの偏光方向に対応した偏光眼鏡を掛けることで、左眼用画像と右眼用画像を分離して視認することができる。
【０００６】
また、時分割立体視画像表示システムは、眼鏡式に限定されるものでなく、例えば裸眼式でも解像度の低下を防ぐためにディスプレイ側にシャッターを備えるものも考案されている。
【０００７】
しかしながら、上記のように、左眼用画像と右眼用画像を時分割で表示する表示装置には、概して、動画表示時に視差量が変化してしまうという問題がある。この問題点について、以下で考察してみる。
【０００８】
立体視画像表示装置に入力される立体視画像は、多くの場合、左眼用画像と右眼用画像が同一時刻で撮像又は生成されたものである。表示装置には、図９に示すように、左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されるとする。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ並びにＲに付された数字はシーケンス番号である。シーケンス番号は、画像を撮像又は生成時刻に相当し、時間軸上での表示順序でもある。
【０００９】
表示装置が左眼用画像及び右眼用画像を時分割方式で表示する場合、上記の入力信号を、各時刻で左眼用画像、右眼用画像の順、すなわち、図１０に示すようにＬ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…のように並べ替えて表示する。例えば、左眼用画像及び右眼用画像の表示周期に同期して、シャッター眼鏡の左右の液晶レンズを開閉動作させることで、観察者の左眼に左眼用画像を、右眼に右眼用画像を、分離して視認させることができる。
【００１０】
ところが、本来は左右の眼で同時に視認されるべきＬ０Ｒ０、Ｌ１Ｒ１、…の各フレームが、厳密には、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、視認されてしまう。この結果、視差物体の動く向きや速度によっては、見かけ上の視差が変化してしまう。
【００１１】
例えば、図１１Ａに示すように、左眼用画像ストリームＬが右眼用画像ストリームＲより先に表示される場合（Ｌ０−Ｒ０−Ｌ１−Ｒ１−…）において、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の左から右へ移動する動画を上記の時分割方式で立体表示する場合について説明する。図１１Ｂには、この動画を、図１０のようにＬ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…と並べ替えて表示した様子を示している。上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ／２画素だけ右へ移動する。したがって、Ｌ０よりも０．５フレーム分だけ遅れてＲ０が表示される時刻には、観察者の頭の中では、左眼用画像フレームＬ０．５内の物体はグレーで示すようにΔｘ／２だけ右へ移動している。一方、Ｌ０よりも０．５フレームだけ遅れて表示される右眼用画像Ｒ０内の物体は、Ｌ０と比較してｄ画素だけ右側にあるが、観察者の頭の中で想起されている左眼用画像Ｌ０．５との間では視差が（ｄ−Δｘ／２）画素、すなわち、Δｘ／２画素だけ視差が小さくなる。この結果、観察者は、物体が実際よりも近くにあると感じてしまうことになる。
【００１２】
また、図１２Ａに示すように、左眼用画像ストリームＬが右眼用画像ストリームＲより先に表示される場合において、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の右から左へ移動する動画を上記の時分割方式で立体表示する場合について説明する。図１２Ｂには、この動画を、図１０のようにＬ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…と並べ替えて表示した様子を示している。上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ／２画素だけ左へ移動する。したがって、Ｌ０よりも０．５フレーム分だけ遅れてＲ０が表示される時刻には、観察者の頭の中では、左眼用画像フレーム内の物体はグレーで示すようにΔｘ／２だけ左へ移動している。一方、Ｌ０よりも０．５フレームだけ遅れて表示される右眼用画像Ｒ０内の物体は、Ｌ０と比較してｄ画素だけ右側にあるが、観察者の頭の中で想起されている左眼用画像との間では視差が（ｄ＋Δｘ／２）画素、すなわち、Δｘ／２画素だけ視差が大きくなる。この結果、観察者は、物体が実際よりも遠くにあると感じてしまうことになる。
【００１３】
上記は、左眼用映像及び右眼用画像を時分割表示する場合の例である。また、複数の画像をそれぞれユーザー１用並びにユーザー２用として表示する場合（Ｄｕａｌ Ｖｉｅｗ）においても、本来は双方のユーザーが同時に視認にすべきところ、同様の現象により、片方のユーザーが遅れた画像を視認することになる。これは、アクション性の高いゲームなどを行なう場合には好ましくない。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本明細書で開示する技術の目的は、時分割表示される複数の視差画像を好適に処理することができる優れた画像処理装置及び画像処理方法、複数の視差画像を好適に表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することにある。
【００１６】
本明細書で開示する技術のさらなる目的は、動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理することができる優れた画像処理装置及び画像処理方法、動画表示時においても複数の視差画像の視差を正しく表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することにある。
【課題を解決するための手段】
【００１７】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力部と、
を具備する画像処理装置である。
【００１８】
また、本願の請求項２に記載の技術は、
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理ステップと、
前記複数の画像ストリームのうち前記補間処理ステップにおいて補間処理しなかった各画像ストリーム並びに前記補間処理ステップにおいて補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力ステップと、
を有する画像処理方法である。
【００１９】
また、本願の請求項３に記載の技術は、
入力信号の複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて表示する表示部と、
前記表示部の表示切り換えに同期して各画像ストリームにそれぞれ対応する複数のシャッター機構の開閉動作を制御するシャッター制御部と、
を具備する表示システムである。
【００２０】
本願の請求項４に記載の技術によれば、請求項３に記載の表示システムの補間処理部は、同一タイミングで撮像又は生成された複数の画像ストリームを入力し、画像ストリームの補間画像を生成する時刻の時間差が前記複数のシャッター機構の開閉動作の時間差と等しくなるよう、時間的な補間画像の生成を行なうように構成されている。
【００２１】
本願の請求項５に記載の技術によれば、請求項３に記載の表示システムは、補間処理部が複数の画像ストリームのいずれに対してどの時刻の補間画像を生成するかを、入力信号に付加された情報、又は、ユーザーの選択に基づいて決定するように構成されている。
【００２２】
本願の請求項６に記載の技術によれば、請求項３に記載の表示システムへの入力信号となる複数の画像ストリームは、互いに視差を有する左眼用画像ストリーム及び右眼用画像ストリームである。
【００２３】
本願の請求項７に記載の技術によれば、請求項６に記載の表示システムにおいて、複数のシャッター機構は、左眼用シャッター及び右眼用シャッターを備えた、観察者が装着するシャッター眼鏡である。
【００２４】
本願の請求項８に記載の技術によれば、請求項６に記載の表示システムにおいて、複数のシャッター機構は、前記表示部の表示画面に備えられた、各視差画像に対応した液晶シャッターである。
【００２５】
本願の請求項９に記載の技術によれば、請求項６に記載の表示システムにおいて、複数のシャッター機構は、前記表示部の表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板と、観察者が装着する偏光眼鏡からなる。
【００２６】
また、本願の請求項１０に記載の技術は、複数の画像ストリームを生成して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する映像生成装置である。
【００２７】
本願の請求項１１に記載の技術によれば、請求項１０に記載の映像生成装置は、複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得するように構成されている。
【００２８】
本願の請求項１２に記載の技術によれば、請求項１１に記載の映像生成装置は、表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成するように構成されている。
【００２９】
また、本願の請求項１３に記載の技術は、記録メディアから複数の画像ストリームを再生して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する再生装置である。
【００３０】
本願の請求項１４に記載の技術によれば、請求項１３に記載の再生装置は、複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得するように構成されている。
【００３１】
本願の請求項１５に記載の技術によれば、請求項１４に記載の再生装置表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成するように構成されている。
【発明の効果】
【００３２】
本明細書で開示する技術によれば、時分割表示される複数の視差画像を好適に処理することができる優れた画像処理装置及び画像処理方法、複数の視差画像を好適に表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することができる。
【００３３】
また、本明細書で開示する技術によれば、動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理することができる優れた画像処理装置及び画像処理方法、動画表示時においても複数の視差画像の視差を正しく表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することができる。
【００３４】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３５】
【図１】図１は、複数の視差画像を時分割表示する表示装置１００とシャッター眼鏡１３０からなる時分割表示システムの構成例を示した図である。
【図２】図２は、時間的な補間画像を生成する前のオリジナルの視差画像と、左眼用シャッター・レンズ３０８及び右眼用シャッター・レンズ３０９の開閉動作を示したタイミング・チャートである。
【図３】図３は、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する様子を示した図である。
【図４Ａ】図４Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図４Ｂ】図４Ｂは、図４Ａに示した物体が画面の左から右へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示した図である。
【図５Ａ】図５Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図５Ｂ】図５Ｂは、図４５に示した物体が画面の右から左へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示した図である。
【図６】図６は、図４Ｂ並びに図５Ｂに示したように右眼用画像に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示した図である。
【図７】図７は、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち左眼用画像及び右眼用画像の双方に対して時間的な補間画像を生成する様子を示した図である。
【図８】図８は、左眼用画像及び右眼用画像の各々に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示した図である。
【図９】図９は、左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力される様子を示した図である。
【図１０】図１０は、入力信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…を、Ｌ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…のように並べ替えて表示する様子を示した図である。
【図１１Ａ】図１１Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図１１Ｂ】図１１Ｂは、図１１Ａに示した物体が画面の左から右へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像を時分割で表示する例を示した図である。
【図１２Ａ】図１２Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図１２Ｂ】図１２Ｂは、図１２Ａに示した物体が画面の右から左へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像を時分割で表示する例を示した図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３７】
図１には、複数の視差画像を時分割表示することが可能な表示装置１００とシャッター眼鏡１３０からなる時分割表示システムの構成例を示している。以下では、複数の視差画像として、立体視用の左眼用画像及び右眼用画像を例にとって説明する。
【００３８】
表示装置１００は、画像表示部１１０と、映像信号処理部１２０と、タイミング制御部１４０と、映像メモリー１５０と、シャッター制御部１６０を備えている。また、画像表示部１１０は、表示パネル１１２と、ゲート・ドライバー１１３と、データ・ドライバー１１４を備えている。
【００３９】
映像信号処理部１２０は、映像信号処理部１２０の外部からの映像信号の伝送を受けると、画像表示部１１０における立体視画像の表示に適したものとなるように各種信号処理を実行して、映像メモリー１５０に出力する。ここで言う、映像信号の伝送元となる「外部」には、ディジタル放送の受信機や、ブルーレイ・ディスク・プレイヤーなどのコンテンツ再生装置を挙げることができる。
【００４０】
本実施形態では、映像信号処理部１２０は、動画表示時において、同一タイミングで撮像又は生成された視差画像が時分割で表示されることに伴う見かけ上の視差の変化を抑制するために、時間的な補間画像を生成する補間処理を行なうが、この点の詳細については後述に譲る。
【００４１】
また、映像信号処理部１２０は、立体視画像の映像信号の切り替えのタイミングに同期して、データ・ドライバー１１３及びゲート・ドライバー１１４が動作するように、所定の制御信号をタイミング制御部１４０へ供給する。
【００４２】
ゲート・ドライバー１１３は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１４０から伝送された信号に応じて、表示パネル１１２内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１１４は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１４０から伝送された信号並びに映像メモリー１５０から読み出された映像信号に基づいてデータ線へ印加する信号を生成して出力する。
【００４３】
表示パネル１１２は、例えば格子状に配列された複数の画素を有するが、本明細書で開示する技術の要旨は特定の画素配列には限定されない。液晶表示パネルの場合し、ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、表示パネル１１２への信号の印加は、ゲート・ドライバー１１３、及び、データ・ドライバー１１４によって実行される。
【００４４】
シャッター制御部１６０は、表示部１１２における左眼用画像Ｌ及び右眼用画像Ｒの表示切り換えに同期して、シャッター眼鏡１３０のシャッター機構の開閉動作を制御する。シャッター制御部１６０は、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などのワイヤレス・ネットワークにおけるアクセスポイントとして動作する通信部（図示しない）を備えており、端末局として動作する１以上のシャッター眼鏡１３を自分の基本サービスセット（Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ：ＢＳＳ）に収容する。また、シャッター制御部１６０は、通信部から、シャッター眼鏡１３に対して、左右のシャッター３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットを送信する。
【００４５】
表示パネル１１２で左眼用画像Ｌの表示期間には、シャッター眼鏡１３０側では、表示装置１１側から無線伝送されるパケットに従って、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光がユーザーの左眼にのみ到達する。また、液晶パネル１１２で右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光がユーザーの右眼にのみ到達する。
【００４６】
同一タイミングで撮像又は生成された複数の視差画像を表示装置１００で時分割表示する際、動画表示時においては、図１１Ｂ又は図１２Ｂに示したように、視差物体の動く向きや速度によっては、見かけ上の視差が変化してしまう。そこで、本実施形態では、映像信号処理部１２０への入力信号の複数の画像ストリームが同一タイミングで撮像又は生成されたものである場合には、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。すなわち、複数の画像ストリームの補間画像を生成する時刻の時間差が、対応する視差画像を分離する動作の時間差（例えば、シャッター眼鏡１３０の左右のシャッター・レンズ３０８、３０９を開閉動作する時間差）と等しくなるよう、時間的な補間処理を行なう。
【００４７】
以下では、図１に示した時分割表示システムにおいて、視差のある左眼用画像Ｌ及び右眼用画像Ｒを時分割で表示し、シャッター眼鏡１３０のシャッター機構により表示切り換えに同期して画像選択を行なう場合を例にとり、時間的な補間画像を生成する仕組みについて説明する。
【００４８】
図２には、時間的な補間画像を生成する前のオリジナルの視差画像と、左眼用シャッター・レンズ３０８及び右眼用シャッター・レンズ３０９の開閉動作を、示している。
【００４９】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、図示のように、Ｌ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…のように並べ替えて、表示パネル１１２に表示される。入力される左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０、Ｌ１Ｒ１、Ｌ２Ｒ２、…は、それぞれ同一タイミングで撮像又は生成されたものである。
【００５０】
一方、シャッター眼鏡１３０側では、表示パネル１１２で左眼用画像Ｌの表示期間には、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光がユーザーの左眼にのみ到達する。また、液晶パネル１１２で右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光がユーザーの右眼にのみ到達する。
【００５１】
ところが、動画表示時においては、図１１Ｂ又は図１２Ｂに示したように、視差物体の動く向きや速度によっては、見かけ上の視差が変化してしまう。左眼用画像ストリームＬが右眼用画像ストリームＲより先に表示される場合（Ｌ０−Ｒ０−Ｌ１−Ｒ１−…）、物体が画面の左から右へ移動する動画では、観察者は、物体が実際よりも近くにあると感じてしまい、逆に、物体が画面の右から左へ移動する動画では、観察者は、物体が実際よりも遠くにあると感じてしまう。なお、右眼用画像ストリームＲが左眼用画像ストリームＬより先に表示される場合には（Ｒ０−Ｌ０−Ｒ１−Ｌ１−…）、逆の結果となる。
【００５２】
そこで、右眼用画像Ｒに対して、時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。
【００５３】
図３には、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する様子を示している。
【００５４】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、各フレーム周期の右眼用画像Ｒ０、Ｒ１、Ｒ２、…から、０．５フレーム分だけ時間的に遅延した補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を順次生成する。図示のように、Ｌ０−Ｒ０．５−Ｌ１−Ｒ１．５−Ｌ２−Ｒ２．５−…のように並べ替えて、表示パネル１１２に表示する。
【００５５】
ここで、右眼用画像についての補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を生成する時間差は０．５フレーム分であるが、これはシャッター眼鏡１３０の左右のシャッター・レンズ３０８、３０９を開閉動作する時間差に等しい。これにより、シャッター眼鏡１３０を掛けた観察者には視差量が正しく視認される。
【００５６】
例えば、図４Ａに示すように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の左から右へ移動する動画について、右眼用画像に対して時間的な補間画像を生成する場合について考えてみる。図４Ｂには、同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示している。
【００５７】
上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ画素だけ右へ移動する。これに対し、Ｌ０よりも０．５フレーム分だけ遅れて、右眼用画像として、シャッター・レンズ３０８、３０９を開閉動作する時間差に等しい時間的な補間画像Ｒ０．５が表示される。観察者の頭の中では、左眼用画像フレームＬ０．５内の物体はグレーで示すようにΔｘ／２だけ右へ移動している。一方、時間的な補間画像Ｒ０．５内の物体も、本来の左眼用画像Ｒ０内の物体の位置からΔｘ／２だけ右へ移動している。観察者の頭の中で想起されている左眼用画像Ｌ０．５との間では視差はｄ画素のまま保たれている。したがって、動画においても見かけ上の視差は変化しない。
【００５８】
また、図５Ａに示すように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の右から左へ移動する動画について、右眼用画像に対して時間的な補間画像を生成する場合について考えてみる。図５Ｂには、同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示している。
【００５９】
上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ／２画素だけ左へ移動する。これに対し、Ｌ０よりも０．５フレーム分だけ遅れて、右眼用画像として、シャッター・レンズ３０８、３０９を開閉動作する時間差に等しい時間的な補間画像Ｒ０．５が表示される。観察者の頭の中では、左眼用画像フレームＬ０．５内の物体はグレーで示すようにΔｘ／２だけ左へ移動している。一方、時間的な補間画像Ｒ０．５内の物体も、本来の左眼用画像Ｒ０内の物体の位置からΔｘ／２だけ左へ移動している。観察者の頭の中で想起されている左眼用画像Ｌ０．５との間では視差はｄ画素のまま保たれている。したがって、物体が右から左へ移動する場合も同様に、見かけ上の視差は変化しない。
【００６０】
図６には、図４Ｂ並びに図５Ｂに示したように右眼用画像に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示している。
【００６１】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、左右画像分離部６０１が、左眼用画像Ｌ０、Ｌ１、Ｌ２、…と右眼用画像Ｒ０、Ｒ１、Ｒ２、…に分離する。このうち右眼用画像Ｒ０、Ｒ１、Ｒ２、…はフレーム補間部６０２に入力される。フレーム補間部６０２は、各フレーム周期の右眼用画像Ｒ０、Ｒ１、Ｒ２、…から、０．５フレーム分だけ時間的に遅延した補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を順次生成する。そして、フレーム並べ替え部６０３は、左眼用画像Ｌ０、Ｌ１、Ｌ２、…と、時間的な補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を入力すると、Ｌ０−Ｒ０．５−Ｌ１−Ｒ１．５−Ｌ２−Ｒ２．５−…のように並べ替えて、画像メモリー１５０に順次書き込んでいく。
【００６２】
図３〜図５に示した例では、左眼用画像及び右眼用画像からなる立体視動画のうち、右眼用画像に対してのみ時間的な補間画像を生成するものである。補間画像を生成する際は、前後２フレームの元画像の情報を基に処理する（例えば、Ｒ０．５はＲ０及びＲ１から生成し、Ｒ１．５はＲ１及びＲ２から生成する）。
【００６３】
ここで、時間的な補間画像は、元画像に時間的に近い方が、より正確な補間を行なうことができるとともに処理時間が短くて済む、すなわち、破綻が少ないと言うことができる。例えば、元画像Ｒ１とＲ２から時間的な補間画像を生成する場合、Ｒ１．５を生成するよりも、Ｒ１．２５やＲ１．７５を生成する方が破綻は少ない。
【００６４】
そこで、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち、右眼用画像に対してだけ時間的な補間画像を生成するのではなく、左眼用画像及び右眼用画像の双方に対して時間的な補間画像を生成することで、各補間画像を元画像に時間的に近づけるようにして、全体的な破綻を少なくする方法も考えられる。
【００６５】
図７には、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち左眼用画像及び右眼用画像の双方に対して時間的な補間画像を生成する様子を示している。
【００６６】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、各フレーム周期の左眼用画像 Ｌ０、Ｌ１、Ｌ２、Ｌ３、…から０．２５フレーム分だけ時間的に遅延した補間画像Ｌ０．２５、Ｌ１．２５、Ｌ２．２５、…を順次生成するとともに、右眼用画像Ｒ０、Ｒ１、Ｒ２、Ｒ３、…から０．７５フレーム分だけ時間的に遅延した補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を順次生成する。そして、図示のように、Ｌ０．２５−Ｒ０．７５−Ｌ１．２５−Ｒ１．７５−Ｌ２．２５−Ｒ２．７５−…のように並べ替えて、表示パネル１１２に表示する。
【００６７】
ここで、左眼用画像についての補間画像Ｌ０．２５、Ｌ１．２５、Ｌ２．２５、…を生成する時刻と右眼用画像についての補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を生成する時刻の時間差は０．５フレーム分であるが、これはシャッター眼鏡１３０の左右のシャッター・レンズ３０８、３０９を開閉動作する時間差に等しい。これにより、シャッター眼鏡１３０を掛けた観察者には視差量が正しく視認される。
【００６８】
図８には、左眼用画像及び右眼用画像の各々に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示している。
【００６９】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、左右画像分離部８０１が、左眼用画像Ｌ０、Ｌ１、Ｌ２、…と右眼用画像Ｒ０、Ｒ１、Ｒ２、…に分離する。このうち左眼用画像Ｌ０、Ｌ１、Ｌ２、…はフレーム補間部８０２Ｌに入力され、右眼用画像Ｒ０、Ｒ１、Ｒ２、…はフレーム補間部８０２Ｒに入力される。フレーム補間部８０２Ｌは、各フレーム周期の右眼用画像Ｌ０、Ｌ１、Ｌ２、…から、０．２５フレーム分だけ時間的に遅延した補間画像Ｒ０．２５、Ｒ１．２５、Ｒ２．２５、…を順次生成する。また、フレーム補間部８０２Ｒは、各フレーム周期の右眼用画像Ｒ０、Ｒ１、Ｒ２、…から、０．７５フレーム分だけ時間的に遅延した補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を順次生成する。そして、フレーム並べ替え部８０３は、左眼用画像Ｌ０．２５、Ｌ１．２５、Ｌ２．２５、…と、時間的な補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を入力すると、Ｌ０．２５−Ｒ０．７５−Ｌ１．２５−Ｒ１．７５−Ｌ２．２５−Ｒ２．７５−…のように並べ替えて、画像メモリー１５０に順次書き込んでいく。
【００７０】
なお、図３や図７に示したように複数の視差画像のうち少なくとも一部の画像に対して時間的な補間画像を生成する際に、入力信号の画像ストリームが同一タイミングで撮像又は生成されたものであるかどうかを、入力信号に付与された情報により判断する。また、左眼用画像及び右眼用画像の各画像ストリームのうちいずれか（又は両方）から、どの時刻の補間画像を生成するかを、入力信号に付与された情報により判断する。入力信号にそのような情報が付与されていない場合には、ユーザーが選択するようにしてもよい。
【００７１】
上述した実施形態は、モニターやプロジェクターなど、複数の視差画像を時分割表示する表示装置側で、動画表示時における見かけ上の視差の変化を防ぐための対策である。左眼用画像と右眼用画像を分離するシャッター機構が、図１に示したようなシャッター眼鏡の他に、表示パネル１１２の表示画面に備えられた液晶シャッターの場合（すなわち、時分割裸眼方式）、表示パネル１１２の表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板と、観察者が装着する偏光眼鏡からなる場合（すなわち、アクティブ・リターダー方式）のいずれであっても、本明細書で開示する技術は、同様に、動画表示時における見かけ上の視差の変化を防ぐための対策となり得る。
【００７２】
また、モニターやプロジェクターなどの表示装置に代えて、同一タイミングで複数の視差画像を生成するゲーム機を始めとする映像生成装置や、同一タイミングで複数の視差画像を再生するＢＤプレイヤーなどの再生装置側においても、上記と同様の対策を行なうことも考えられる。これらの映像生成装置又は再生装置に接続される表示装置が時分割表示装置である場合には、出力する複数の画像フレームが撮影又は生成された時刻の時間差を対応する複数のシャッター機構の開閉タイミングの時間差に等しくなるように与えてやればよい。
【００７３】
映像生成装置であれば、複数の視差画像を生成した後、このうちの少なくとも１つの視差画像に対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。また、再生装置であれば、ＢＤなどの記録メディアから再生した複数の視差画像のうちの少なくとも１つの視差画像に対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。
【００７４】
このとき、映像生成装置又は再生装置は、接続された表示装置が時分割表示装置であるかどうかは、接続された表示装置からの信号で判断するようにしてもよいし、ユーザーが選択するようにしてよい。そして、映像生成装置又は再生装置は、接続された表示装置側において視差画像を分離する動作の時間差と等しくなるよう、複数の画像ストリームに対して時間的な補間画像を生成する。
【産業上の利用可能性】
【００７５】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７６】
本明細書では、液晶ディスプレイを表示装置に用いた実施形態について説明してきたが、本明細書で開示する技術の要旨は特定の表示デバイスに限定されるものではない。
【００７７】
また、本明細書で開示する技術の適用範囲は、立体視画像には限定されず、時分割表示方式で複数の視差画像を表示するさまざまな表示装置に適用することができる。また、シャッター眼鏡を用いる方式、裸眼方式を問わない。
【００７８】
要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７９】
１００…立体表示装置
１１０…画像表示部
１１２…表示パネル
１１３…ゲート・ドライバー
１１４…データ・ドライバー
１２０…映像信号処理部
１３０…シャッター眼鏡
１４０…タイミング制御部
１５０…映像メモリー
１６０…シャッター制御部
３０８…左眼用シャッター・レンズ、３０９…右眼用シャッター・レンズ
【技術分野】
【０００１】
本明細書で開示する技術は、時分割表示される複数の視差画像を処理する画像処理装置及び画像処理方法、複数の視差画像を表示する表示システム、映像生成装置、並びに再生装置に係り、特に、動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理する画像処理装置及び画像処理方法、動画表示時においても複数の視差画像の視差を正しく表示する表示システム、映像生成装置、並びに再生装置に関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に立体的に見える立体視画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、時分割立体視画像表示システムは、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼用画像及び右眼用画像の表示周期に同期して左眼用画像と右眼用画像を分離する機構からなる。観察者の左眼に左眼用画像を、右眼に右眼用画像をそれぞれ独立して視認させると、観察者の脳内ではこれらが融像され、立体的に認識される。
【０００４】
シャッター眼鏡式の時分割立体視画像表示システムの場合、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備え、シャッター眼鏡は、左眼用画像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用画像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する（例えば、特許文献１〜３を参照のこと）。すなわち、表示装置が左眼用画像及び右眼用画像を時分割表示するとともに、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察者に左眼用画像と右眼用画像を分離して視認させることができる。
【０００５】
また、アクティブ・リターダー式の時分割立体視画像表示システムの場合、ディスプレイ側に時分割で偏光を制御する機構を備えている。偏光制御機構は、表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板からなり、左眼用画像及び右眼用画像の表示周期に同期して左右それぞれの偏光方向に変更する。そして、観察者は、左右それぞれの偏光方向に対応した偏光眼鏡を掛けることで、左眼用画像と右眼用画像を分離して視認することができる。
【０００６】
また、時分割立体視画像表示システムは、眼鏡式に限定されるものでなく、例えば裸眼式でも解像度の低下を防ぐためにディスプレイ側にシャッターを備えるものも考案されている。
【０００７】
しかしながら、上記のように、左眼用画像と右眼用画像を時分割で表示する表示装置には、概して、動画表示時に視差量が変化してしまうという問題がある。この問題点について、以下で考察してみる。
【０００８】
立体視画像表示装置に入力される立体視画像は、多くの場合、左眼用画像と右眼用画像が同一時刻で撮像又は生成されたものである。表示装置には、図９に示すように、左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されるとする。ここで、Ｌは左眼用画像、Ｒは右眼用画像を示し、Ｌ並びにＲに付された数字はシーケンス番号である。シーケンス番号は、画像を撮像又は生成時刻に相当し、時間軸上での表示順序でもある。
【０００９】
表示装置が左眼用画像及び右眼用画像を時分割方式で表示する場合、上記の入力信号を、各時刻で左眼用画像、右眼用画像の順、すなわち、図１０に示すようにＬ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…のように並べ替えて表示する。例えば、左眼用画像及び右眼用画像の表示周期に同期して、シャッター眼鏡の左右の液晶レンズを開閉動作させることで、観察者の左眼に左眼用画像を、右眼に右眼用画像を、分離して視認させることができる。
【００１０】
ところが、本来は左右の眼で同時に視認されるべきＬ０Ｒ０、Ｌ１Ｒ１、…の各フレームが、厳密には、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、視認されてしまう。この結果、視差物体の動く向きや速度によっては、見かけ上の視差が変化してしまう。
【００１１】
例えば、図１１Ａに示すように、左眼用画像ストリームＬが右眼用画像ストリームＲより先に表示される場合（Ｌ０−Ｒ０−Ｌ１−Ｒ１−…）において、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の左から右へ移動する動画を上記の時分割方式で立体表示する場合について説明する。図１１Ｂには、この動画を、図１０のようにＬ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…と並べ替えて表示した様子を示している。上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ／２画素だけ右へ移動する。したがって、Ｌ０よりも０．５フレーム分だけ遅れてＲ０が表示される時刻には、観察者の頭の中では、左眼用画像フレームＬ０．５内の物体はグレーで示すようにΔｘ／２だけ右へ移動している。一方、Ｌ０よりも０．５フレームだけ遅れて表示される右眼用画像Ｒ０内の物体は、Ｌ０と比較してｄ画素だけ右側にあるが、観察者の頭の中で想起されている左眼用画像Ｌ０．５との間では視差が（ｄ−Δｘ／２）画素、すなわち、Δｘ／２画素だけ視差が小さくなる。この結果、観察者は、物体が実際よりも近くにあると感じてしまうことになる。
【００１２】
また、図１２Ａに示すように、左眼用画像ストリームＬが右眼用画像ストリームＲより先に表示される場合において、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の右から左へ移動する動画を上記の時分割方式で立体表示する場合について説明する。図１２Ｂには、この動画を、図１０のようにＬ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…と並べ替えて表示した様子を示している。上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ／２画素だけ左へ移動する。したがって、Ｌ０よりも０．５フレーム分だけ遅れてＲ０が表示される時刻には、観察者の頭の中では、左眼用画像フレーム内の物体はグレーで示すようにΔｘ／２だけ左へ移動している。一方、Ｌ０よりも０．５フレームだけ遅れて表示される右眼用画像Ｒ０内の物体は、Ｌ０と比較してｄ画素だけ右側にあるが、観察者の頭の中で想起されている左眼用画像との間では視差が（ｄ＋Δｘ／２）画素、すなわち、Δｘ／２画素だけ視差が大きくなる。この結果、観察者は、物体が実際よりも遠くにあると感じてしまうことになる。
【００１３】
上記は、左眼用映像及び右眼用画像を時分割表示する場合の例である。また、複数の画像をそれぞれユーザー１用並びにユーザー２用として表示する場合（Ｄｕａｌ Ｖｉｅｗ）においても、本来は双方のユーザーが同時に視認にすべきところ、同様の現象により、片方のユーザーが遅れた画像を視認することになる。これは、アクション性の高いゲームなどを行なう場合には好ましくない。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本明細書で開示する技術の目的は、時分割表示される複数の視差画像を好適に処理することができる優れた画像処理装置及び画像処理方法、複数の視差画像を好適に表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することにある。
【００１６】
本明細書で開示する技術のさらなる目的は、動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理することができる優れた画像処理装置及び画像処理方法、動画表示時においても複数の視差画像の視差を正しく表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することにある。
【課題を解決するための手段】
【００１７】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力部と、
を具備する画像処理装置である。
【００１８】
また、本願の請求項２に記載の技術は、
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理ステップと、
前記複数の画像ストリームのうち前記補間処理ステップにおいて補間処理しなかった各画像ストリーム並びに前記補間処理ステップにおいて補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力ステップと、
を有する画像処理方法である。
【００１９】
また、本願の請求項３に記載の技術は、
入力信号の複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて表示する表示部と、
前記表示部の表示切り換えに同期して各画像ストリームにそれぞれ対応する複数のシャッター機構の開閉動作を制御するシャッター制御部と、
を具備する表示システムである。
【００２０】
本願の請求項４に記載の技術によれば、請求項３に記載の表示システムの補間処理部は、同一タイミングで撮像又は生成された複数の画像ストリームを入力し、画像ストリームの補間画像を生成する時刻の時間差が前記複数のシャッター機構の開閉動作の時間差と等しくなるよう、時間的な補間画像の生成を行なうように構成されている。
【００２１】
本願の請求項５に記載の技術によれば、請求項３に記載の表示システムは、補間処理部が複数の画像ストリームのいずれに対してどの時刻の補間画像を生成するかを、入力信号に付加された情報、又は、ユーザーの選択に基づいて決定するように構成されている。
【００２２】
本願の請求項６に記載の技術によれば、請求項３に記載の表示システムへの入力信号となる複数の画像ストリームは、互いに視差を有する左眼用画像ストリーム及び右眼用画像ストリームである。
【００２３】
本願の請求項７に記載の技術によれば、請求項６に記載の表示システムにおいて、複数のシャッター機構は、左眼用シャッター及び右眼用シャッターを備えた、観察者が装着するシャッター眼鏡である。
【００２４】
本願の請求項８に記載の技術によれば、請求項６に記載の表示システムにおいて、複数のシャッター機構は、前記表示部の表示画面に備えられた、各視差画像に対応した液晶シャッターである。
【００２５】
本願の請求項９に記載の技術によれば、請求項６に記載の表示システムにおいて、複数のシャッター機構は、前記表示部の表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板と、観察者が装着する偏光眼鏡からなる。
【００２６】
また、本願の請求項１０に記載の技術は、複数の画像ストリームを生成して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する映像生成装置である。
【００２７】
本願の請求項１１に記載の技術によれば、請求項１０に記載の映像生成装置は、複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得するように構成されている。
【００２８】
本願の請求項１２に記載の技術によれば、請求項１１に記載の映像生成装置は、表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成するように構成されている。
【００２９】
また、本願の請求項１３に記載の技術は、記録メディアから複数の画像ストリームを再生して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する再生装置である。
【００３０】
本願の請求項１４に記載の技術によれば、請求項１３に記載の再生装置は、複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得するように構成されている。
【００３１】
本願の請求項１５に記載の技術によれば、請求項１４に記載の再生装置表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成するように構成されている。
【発明の効果】
【００３２】
本明細書で開示する技術によれば、時分割表示される複数の視差画像を好適に処理することができる優れた画像処理装置及び画像処理方法、複数の視差画像を好適に表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することができる。
【００３３】
また、本明細書で開示する技術によれば、動画表示時においても正しく視差を表示できるよう時分割表示される複数の視差画像を処理することができる優れた画像処理装置及び画像処理方法、動画表示時においても複数の視差画像の視差を正しく表示することができる優れた表示システム、映像生成装置、並びに再生装置を提供することができる。
【００３４】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３５】
【図１】図１は、複数の視差画像を時分割表示する表示装置１００とシャッター眼鏡１３０からなる時分割表示システムの構成例を示した図である。
【図２】図２は、時間的な補間画像を生成する前のオリジナルの視差画像と、左眼用シャッター・レンズ３０８及び右眼用シャッター・レンズ３０９の開閉動作を示したタイミング・チャートである。
【図３】図３は、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する様子を示した図である。
【図４Ａ】図４Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図４Ｂ】図４Ｂは、図４Ａに示した物体が画面の左から右へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示した図である。
【図５Ａ】図５Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図５Ｂ】図５Ｂは、図４５に示した物体が画面の右から左へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示した図である。
【図６】図６は、図４Ｂ並びに図５Ｂに示したように右眼用画像に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示した図である。
【図７】図７は、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち左眼用画像及び右眼用画像の双方に対して時間的な補間画像を生成する様子を示した図である。
【図８】図８は、左眼用画像及び右眼用画像の各々に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示した図である。
【図９】図９は、左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力される様子を示した図である。
【図１０】図１０は、入力信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…を、Ｌ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…のように並べ替えて表示する様子を示した図である。
【図１１Ａ】図１１Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図１１Ｂ】図１１Ｂは、図１１Ａに示した物体が画面の左から右へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像を時分割で表示する例を示した図である。
【図１２Ａ】図１２Ａは、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体を示した図である。
【図１２Ｂ】図１２Ｂは、図１２Ａに示した物体が画面の右から左へ移動する様子を同一タイミングで撮影又は生成した左眼用画像及び右眼用画像を時分割で表示する例を示した図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３７】
図１には、複数の視差画像を時分割表示することが可能な表示装置１００とシャッター眼鏡１３０からなる時分割表示システムの構成例を示している。以下では、複数の視差画像として、立体視用の左眼用画像及び右眼用画像を例にとって説明する。
【００３８】
表示装置１００は、画像表示部１１０と、映像信号処理部１２０と、タイミング制御部１４０と、映像メモリー１５０と、シャッター制御部１６０を備えている。また、画像表示部１１０は、表示パネル１１２と、ゲート・ドライバー１１３と、データ・ドライバー１１４を備えている。
【００３９】
映像信号処理部１２０は、映像信号処理部１２０の外部からの映像信号の伝送を受けると、画像表示部１１０における立体視画像の表示に適したものとなるように各種信号処理を実行して、映像メモリー１５０に出力する。ここで言う、映像信号の伝送元となる「外部」には、ディジタル放送の受信機や、ブルーレイ・ディスク・プレイヤーなどのコンテンツ再生装置を挙げることができる。
【００４０】
本実施形態では、映像信号処理部１２０は、動画表示時において、同一タイミングで撮像又は生成された視差画像が時分割で表示されることに伴う見かけ上の視差の変化を抑制するために、時間的な補間画像を生成する補間処理を行なうが、この点の詳細については後述に譲る。
【００４１】
また、映像信号処理部１２０は、立体視画像の映像信号の切り替えのタイミングに同期して、データ・ドライバー１１３及びゲート・ドライバー１１４が動作するように、所定の制御信号をタイミング制御部１４０へ供給する。
【００４２】
ゲート・ドライバー１１３は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１４０から伝送された信号に応じて、表示パネル１１２内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１１４は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１４０から伝送された信号並びに映像メモリー１５０から読み出された映像信号に基づいてデータ線へ印加する信号を生成して出力する。
【００４３】
表示パネル１１２は、例えば格子状に配列された複数の画素を有するが、本明細書で開示する技術の要旨は特定の画素配列には限定されない。液晶表示パネルの場合し、ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、表示パネル１１２への信号の印加は、ゲート・ドライバー１１３、及び、データ・ドライバー１１４によって実行される。
【００４４】
シャッター制御部１６０は、表示部１１２における左眼用画像Ｌ及び右眼用画像Ｒの表示切り換えに同期して、シャッター眼鏡１３０のシャッター機構の開閉動作を制御する。シャッター制御部１６０は、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などのワイヤレス・ネットワークにおけるアクセスポイントとして動作する通信部（図示しない）を備えており、端末局として動作する１以上のシャッター眼鏡１３を自分の基本サービスセット（Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ：ＢＳＳ）に収容する。また、シャッター制御部１６０は、通信部から、シャッター眼鏡１３に対して、左右のシャッター３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットを送信する。
【００４５】
表示パネル１１２で左眼用画像Ｌの表示期間には、シャッター眼鏡１３０側では、表示装置１１側から無線伝送されるパケットに従って、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光がユーザーの左眼にのみ到達する。また、液晶パネル１１２で右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光がユーザーの右眼にのみ到達する。
【００４６】
同一タイミングで撮像又は生成された複数の視差画像を表示装置１００で時分割表示する際、動画表示時においては、図１１Ｂ又は図１２Ｂに示したように、視差物体の動く向きや速度によっては、見かけ上の視差が変化してしまう。そこで、本実施形態では、映像信号処理部１２０への入力信号の複数の画像ストリームが同一タイミングで撮像又は生成されたものである場合には、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。すなわち、複数の画像ストリームの補間画像を生成する時刻の時間差が、対応する視差画像を分離する動作の時間差（例えば、シャッター眼鏡１３０の左右のシャッター・レンズ３０８、３０９を開閉動作する時間差）と等しくなるよう、時間的な補間処理を行なう。
【００４７】
以下では、図１に示した時分割表示システムにおいて、視差のある左眼用画像Ｌ及び右眼用画像Ｒを時分割で表示し、シャッター眼鏡１３０のシャッター機構により表示切り換えに同期して画像選択を行なう場合を例にとり、時間的な補間画像を生成する仕組みについて説明する。
【００４８】
図２には、時間的な補間画像を生成する前のオリジナルの視差画像と、左眼用シャッター・レンズ３０８及び右眼用シャッター・レンズ３０９の開閉動作を、示している。
【００４９】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、図示のように、Ｌ０−Ｒ０−Ｌ１−Ｒ１−Ｌ２−Ｒ２−…のように並べ替えて、表示パネル１１２に表示される。入力される左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０、Ｌ１Ｒ１、Ｌ２Ｒ２、…は、それぞれ同一タイミングで撮像又は生成されたものである。
【００５０】
一方、シャッター眼鏡１３０側では、表示パネル１１２で左眼用画像Ｌの表示期間には、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光がユーザーの左眼にのみ到達する。また、液晶パネル１１２で右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光がユーザーの右眼にのみ到達する。
【００５１】
ところが、動画表示時においては、図１１Ｂ又は図１２Ｂに示したように、視差物体の動く向きや速度によっては、見かけ上の視差が変化してしまう。左眼用画像ストリームＬが右眼用画像ストリームＲより先に表示される場合（Ｌ０−Ｒ０−Ｌ１−Ｒ１−…）、物体が画面の左から右へ移動する動画では、観察者は、物体が実際よりも近くにあると感じてしまい、逆に、物体が画面の右から左へ移動する動画では、観察者は、物体が実際よりも遠くにあると感じてしまう。なお、右眼用画像ストリームＲが左眼用画像ストリームＬより先に表示される場合には（Ｒ０−Ｌ０−Ｒ１−Ｌ１−…）、逆の結果となる。
【００５２】
そこで、右眼用画像Ｒに対して、時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。
【００５３】
図３には、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する様子を示している。
【００５４】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、各フレーム周期の右眼用画像Ｒ０、Ｒ１、Ｒ２、…から、０．５フレーム分だけ時間的に遅延した補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を順次生成する。図示のように、Ｌ０−Ｒ０．５−Ｌ１−Ｒ１．５−Ｌ２−Ｒ２．５−…のように並べ替えて、表示パネル１１２に表示する。
【００５５】
ここで、右眼用画像についての補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を生成する時間差は０．５フレーム分であるが、これはシャッター眼鏡１３０の左右のシャッター・レンズ３０８、３０９を開閉動作する時間差に等しい。これにより、シャッター眼鏡１３０を掛けた観察者には視差量が正しく視認される。
【００５６】
例えば、図４Ａに示すように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の左から右へ移動する動画について、右眼用画像に対して時間的な補間画像を生成する場合について考えてみる。図４Ｂには、同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示している。
【００５７】
上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ画素だけ右へ移動する。これに対し、Ｌ０よりも０．５フレーム分だけ遅れて、右眼用画像として、シャッター・レンズ３０８、３０９を開閉動作する時間差に等しい時間的な補間画像Ｒ０．５が表示される。観察者の頭の中では、左眼用画像フレームＬ０．５内の物体はグレーで示すようにΔｘ／２だけ右へ移動している。一方、時間的な補間画像Ｒ０．５内の物体も、本来の左眼用画像Ｒ０内の物体の位置からΔｘ／２だけ右へ移動している。観察者の頭の中で想起されている左眼用画像Ｌ０．５との間では視差はｄ画素のまま保たれている。したがって、動画においても見かけ上の視差は変化しない。
【００５８】
また、図５Ａに示すように、左眼用画像Ｌと右眼用画像Ｒとでｄ画素の視差がある物体が、フレーム周期当たりΔｘ画素の速度で画面の右から左へ移動する動画について、右眼用画像に対して時間的な補間画像を生成する場合について考えてみる。図５Ｂには、同一タイミングで撮影又は生成した左眼用画像及び右眼用画像のうち右眼用画像に対して時間的な補間画像を生成する例を示している。
【００５９】
上述したように、Ｒ０がＬ０よりも０．５フレーム分だけ遅れ、Ｒ１がＬ１よりも０．５フレーム分だけ遅れて、それぞれ視認される。Ｌ０とＬ１の間に、物体はΔｘ／２画素だけ左へ移動する。これに対し、Ｌ０よりも０．５フレーム分だけ遅れて、右眼用画像として、シャッター・レンズ３０８、３０９を開閉動作する時間差に等しい時間的な補間画像Ｒ０．５が表示される。観察者の頭の中では、左眼用画像フレームＬ０．５内の物体はグレーで示すようにΔｘ／２だけ左へ移動している。一方、時間的な補間画像Ｒ０．５内の物体も、本来の左眼用画像Ｒ０内の物体の位置からΔｘ／２だけ左へ移動している。観察者の頭の中で想起されている左眼用画像Ｌ０．５との間では視差はｄ画素のまま保たれている。したがって、物体が右から左へ移動する場合も同様に、見かけ上の視差は変化しない。
【００６０】
図６には、図４Ｂ並びに図５Ｂに示したように右眼用画像に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示している。
【００６１】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、左右画像分離部６０１が、左眼用画像Ｌ０、Ｌ１、Ｌ２、…と右眼用画像Ｒ０、Ｒ１、Ｒ２、…に分離する。このうち右眼用画像Ｒ０、Ｒ１、Ｒ２、…はフレーム補間部６０２に入力される。フレーム補間部６０２は、各フレーム周期の右眼用画像Ｒ０、Ｒ１、Ｒ２、…から、０．５フレーム分だけ時間的に遅延した補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を順次生成する。そして、フレーム並べ替え部６０３は、左眼用画像Ｌ０、Ｌ１、Ｌ２、…と、時間的な補間画像Ｒ０．５、Ｒ１．５、Ｒ２．５、…を入力すると、Ｌ０−Ｒ０．５−Ｌ１−Ｒ１．５−Ｌ２−Ｒ２．５−…のように並べ替えて、画像メモリー１５０に順次書き込んでいく。
【００６２】
図３〜図５に示した例では、左眼用画像及び右眼用画像からなる立体視動画のうち、右眼用画像に対してのみ時間的な補間画像を生成するものである。補間画像を生成する際は、前後２フレームの元画像の情報を基に処理する（例えば、Ｒ０．５はＲ０及びＲ１から生成し、Ｒ１．５はＲ１及びＲ２から生成する）。
【００６３】
ここで、時間的な補間画像は、元画像に時間的に近い方が、より正確な補間を行なうことができるとともに処理時間が短くて済む、すなわち、破綻が少ないと言うことができる。例えば、元画像Ｒ１とＲ２から時間的な補間画像を生成する場合、Ｒ１．５を生成するよりも、Ｒ１．２５やＲ１．７５を生成する方が破綻は少ない。
【００６４】
そこで、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち、右眼用画像に対してだけ時間的な補間画像を生成するのではなく、左眼用画像及び右眼用画像の双方に対して時間的な補間画像を生成することで、各補間画像を元画像に時間的に近づけるようにして、全体的な破綻を少なくする方法も考えられる。
【００６５】
図７には、同一タイミングで撮像又は生成された左眼用画像及び右眼用画像のうち左眼用画像及び右眼用画像の双方に対して時間的な補間画像を生成する様子を示している。
【００６６】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、各フレーム周期の左眼用画像 Ｌ０、Ｌ１、Ｌ２、Ｌ３、…から０．２５フレーム分だけ時間的に遅延した補間画像Ｌ０．２５、Ｌ１．２５、Ｌ２．２５、…を順次生成するとともに、右眼用画像Ｒ０、Ｒ１、Ｒ２、Ｒ３、…から０．７５フレーム分だけ時間的に遅延した補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を順次生成する。そして、図示のように、Ｌ０．２５−Ｒ０．７５−Ｌ１．２５−Ｒ１．７５−Ｌ２．２５−Ｒ２．７５−…のように並べ替えて、表示パネル１１２に表示する。
【００６７】
ここで、左眼用画像についての補間画像Ｌ０．２５、Ｌ１．２５、Ｌ２．２５、…を生成する時刻と右眼用画像についての補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を生成する時刻の時間差は０．５フレーム分であるが、これはシャッター眼鏡１３０の左右のシャッター・レンズ３０８、３０９を開閉動作する時間差に等しい。これにより、シャッター眼鏡１３０を掛けた観察者には視差量が正しく視認される。
【００６８】
図８には、左眼用画像及び右眼用画像の各々に対して時間的な補間画像を生成するための、映像信号処理部１２０内の機能ブロック図を示している。
【００６９】
左眼用画像及び右眼用画像の各信号Ｌ０Ｒ０−Ｌ１Ｒ１−Ｌ２Ｒ２−…が入力されると、左右画像分離部８０１が、左眼用画像Ｌ０、Ｌ１、Ｌ２、…と右眼用画像Ｒ０、Ｒ１、Ｒ２、…に分離する。このうち左眼用画像Ｌ０、Ｌ１、Ｌ２、…はフレーム補間部８０２Ｌに入力され、右眼用画像Ｒ０、Ｒ１、Ｒ２、…はフレーム補間部８０２Ｒに入力される。フレーム補間部８０２Ｌは、各フレーム周期の右眼用画像Ｌ０、Ｌ１、Ｌ２、…から、０．２５フレーム分だけ時間的に遅延した補間画像Ｒ０．２５、Ｒ１．２５、Ｒ２．２５、…を順次生成する。また、フレーム補間部８０２Ｒは、各フレーム周期の右眼用画像Ｒ０、Ｒ１、Ｒ２、…から、０．７５フレーム分だけ時間的に遅延した補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を順次生成する。そして、フレーム並べ替え部８０３は、左眼用画像Ｌ０．２５、Ｌ１．２５、Ｌ２．２５、…と、時間的な補間画像Ｒ０．７５、Ｒ１．７５、Ｒ２．７５、…を入力すると、Ｌ０．２５−Ｒ０．７５−Ｌ１．２５−Ｒ１．７５−Ｌ２．２５−Ｒ２．７５−…のように並べ替えて、画像メモリー１５０に順次書き込んでいく。
【００７０】
なお、図３や図７に示したように複数の視差画像のうち少なくとも一部の画像に対して時間的な補間画像を生成する際に、入力信号の画像ストリームが同一タイミングで撮像又は生成されたものであるかどうかを、入力信号に付与された情報により判断する。また、左眼用画像及び右眼用画像の各画像ストリームのうちいずれか（又は両方）から、どの時刻の補間画像を生成するかを、入力信号に付与された情報により判断する。入力信号にそのような情報が付与されていない場合には、ユーザーが選択するようにしてもよい。
【００７１】
上述した実施形態は、モニターやプロジェクターなど、複数の視差画像を時分割表示する表示装置側で、動画表示時における見かけ上の視差の変化を防ぐための対策である。左眼用画像と右眼用画像を分離するシャッター機構が、図１に示したようなシャッター眼鏡の他に、表示パネル１１２の表示画面に備えられた液晶シャッターの場合（すなわち、時分割裸眼方式）、表示パネル１１２の表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板と、観察者が装着する偏光眼鏡からなる場合（すなわち、アクティブ・リターダー方式）のいずれであっても、本明細書で開示する技術は、同様に、動画表示時における見かけ上の視差の変化を防ぐための対策となり得る。
【００７２】
また、モニターやプロジェクターなどの表示装置に代えて、同一タイミングで複数の視差画像を生成するゲーム機を始めとする映像生成装置や、同一タイミングで複数の視差画像を再生するＢＤプレイヤーなどの再生装置側においても、上記と同様の対策を行なうことも考えられる。これらの映像生成装置又は再生装置に接続される表示装置が時分割表示装置である場合には、出力する複数の画像フレームが撮影又は生成された時刻の時間差を対応する複数のシャッター機構の開閉タイミングの時間差に等しくなるように与えてやればよい。
【００７３】
映像生成装置であれば、複数の視差画像を生成した後、このうちの少なくとも１つの視差画像に対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。また、再生装置であれば、ＢＤなどの記録メディアから再生した複数の視差画像のうちの少なくとも１つの視差画像に対して時間的な補間画像を生成する補間処理を行ない、見かけ上の視差の変化を抑制するようにする。
【００７４】
このとき、映像生成装置又は再生装置は、接続された表示装置が時分割表示装置であるかどうかは、接続された表示装置からの信号で判断するようにしてもよいし、ユーザーが選択するようにしてよい。そして、映像生成装置又は再生装置は、接続された表示装置側において視差画像を分離する動作の時間差と等しくなるよう、複数の画像ストリームに対して時間的な補間画像を生成する。
【産業上の利用可能性】
【００７５】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７６】
本明細書では、液晶ディスプレイを表示装置に用いた実施形態について説明してきたが、本明細書で開示する技術の要旨は特定の表示デバイスに限定されるものではない。
【００７７】
また、本明細書で開示する技術の適用範囲は、立体視画像には限定されず、時分割表示方式で複数の視差画像を表示するさまざまな表示装置に適用することができる。また、シャッター眼鏡を用いる方式、裸眼方式を問わない。
【００７８】
要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７９】
１００…立体表示装置
１１０…画像表示部
１１２…表示パネル
１１３…ゲート・ドライバー
１１４…データ・ドライバー
１２０…映像信号処理部
１３０…シャッター眼鏡
１４０…タイミング制御部
１５０…映像メモリー
１６０…シャッター制御部
３０８…左眼用シャッター・レンズ、３０９…右眼用シャッター・レンズ
【特許請求の範囲】
【請求項１】
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力部と、
を具備する画像処理装置。
【請求項２】
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理ステップと、
前記複数の画像ストリームのうち前記補間処理ステップにおいて補間処理しなかった各画像ストリーム並びに前記補間処理ステップにおいて補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力ステップと、
を有する画像処理方法。
【請求項３】
入力信号の複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて表示する表示部と、
前記表示部の表示切り換えに同期して各画像ストリームにそれぞれ対応する複数のシャッター機構の開閉動作を制御するシャッター制御部と、
を具備する表示システム。
【請求項４】
前記補間処理部は、同一タイミングで撮像又は生成された複数の画像ストリームを入力し、画像ストリームの補間画像を生成する時刻の時間差が前記複数のシャッター機構の開閉動作の時間差と等しくなるよう、時間的な補間画像の生成を行なう、
請求項３に記載の表示システム。
【請求項５】
前記補間処理部が複数の画像ストリームのいずれに対してどの時刻の補間画像を生成するかを、入力信号に付加された情報、又は、ユーザーの選択に基づいて決定する、
請求項３に記載の表示システム。
【請求項６】
前記複数の画像ストリームは、互いに視差を有する左眼用画像ストリーム及び右眼用画像ストリームである、
請求項３に記載の表示システム。
【請求項７】
前記複数のシャッター機構は、左眼用シャッター及び右眼用シャッターを備えた、観察者が装着するシャッター眼鏡である、
請求項６に記載の表示システム。
【請求項８】
前記複数のシャッター機構は、前記表示部の表示画面に備えられた、各視差画像に対応した液晶シャッターである、
請求項６に記載の表示システム。
【請求項９】
前記複数のシャッター機構は、前記表示部の表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板と、観察者が装着する偏光眼鏡からなる、
請求項６に記載の表示システム。
【請求項１０】
複数の画像ストリームを生成して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する、
映像生成装置。
【請求項１１】
複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得する、
請求項１０に記載の映像生成装置。
【請求項１２】
前記表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する、
請求項１１に記載の映像生成装置。
【請求項１３】
記録メディアから複数の画像ストリームを再生して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する、
再生装置。
【請求項１４】
複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得する、
請求項１３に記載の再生装置。
【請求項１５】
前記表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する、
請求項１４に記載の再生装置。
【請求項１】
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力部と、
を具備する画像処理装置。
【請求項２】
複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理ステップと、
前記複数の画像ストリームのうち前記補間処理ステップにおいて補間処理しなかった各画像ストリーム並びに前記補間処理ステップにおいて補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて出力する出力ステップと、
を有する画像処理方法。
【請求項３】
入力信号の複数の画像ストリームのうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する補間処理部と、
前記複数の画像ストリームのうち前記補間処理部が補間処理しなかった各画像ストリーム並びに前記補間処理部が補間処理した後の各画像ストリームを、画像ストリームの順及び時間順で、時分割に切り換えて表示する表示部と、
前記表示部の表示切り換えに同期して各画像ストリームにそれぞれ対応する複数のシャッター機構の開閉動作を制御するシャッター制御部と、
を具備する表示システム。
【請求項４】
前記補間処理部は、同一タイミングで撮像又は生成された複数の画像ストリームを入力し、画像ストリームの補間画像を生成する時刻の時間差が前記複数のシャッター機構の開閉動作の時間差と等しくなるよう、時間的な補間画像の生成を行なう、
請求項３に記載の表示システム。
【請求項５】
前記補間処理部が複数の画像ストリームのいずれに対してどの時刻の補間画像を生成するかを、入力信号に付加された情報、又は、ユーザーの選択に基づいて決定する、
請求項３に記載の表示システム。
【請求項６】
前記複数の画像ストリームは、互いに視差を有する左眼用画像ストリーム及び右眼用画像ストリームである、
請求項３に記載の表示システム。
【請求項７】
前記複数のシャッター機構は、左眼用シャッター及び右眼用シャッターを備えた、観察者が装着するシャッター眼鏡である、
請求項６に記載の表示システム。
【請求項８】
前記複数のシャッター機構は、前記表示部の表示画面に備えられた、各視差画像に対応した液晶シャッターである、
請求項６に記載の表示システム。
【請求項９】
前記複数のシャッター機構は、前記表示部の表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板と、観察者が装着する偏光眼鏡からなる、
請求項６に記載の表示システム。
【請求項１０】
複数の画像ストリームを生成して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する、
映像生成装置。
【請求項１１】
複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得する、
請求項１０に記載の映像生成装置。
【請求項１２】
前記表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する、
請求項１１に記載の映像生成装置。
【請求項１３】
記録メディアから複数の画像ストリームを再生して、このうちの少なくとも１つの画像ストリームに対して時間的な補間画像を生成する、
再生装置。
【請求項１４】
複数の画像ストリームを時分割表示する表示装置を接続し、前記表示装置における方式を取得する、
請求項１３に記載の再生装置。
【請求項１５】
前記表示装置側において複数の画像ストリームを分離する動作の時間差と等しくなるよう、複数の画像ストリームのうち少なくとも１つに対して時間的な補間画像を生成する、
請求項１４に記載の再生装置。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【公開番号】特開２０１２−２３１２７５（Ｐ２０１２−２３１２７５Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９７９１６（Ｐ２０１１−９７９１６）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]