説明

立体表示装置、立体表示方法および立体表示システム

【課題】同時刻に撮影した左眼用画像および右眼用画像を表示する際に、左眼用画像または右眼用画像の表示における実時刻と表示時刻の時間差を解消し、利用者に対して眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示装置を提供することを目的とする。
【解決手段】本発明の立体表示装置100は、第1視差画像および第2視差画像を受信する信号処理部120と、信号処理部120が受信した第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成するFRC部123およびFRC制御部125と、第1視差画像と第2視差補間画像を表示する表示部130と、第1視差画像と第2視差補間画像を所定の表示フレームレートで順次交互に表示部130に表示する表示管理部124および表示管理制御部127とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体表示装置に表示された画像をシャッター眼鏡で視聴する立体表示技術に関するものである。特に、左右の視差画像の表示に係わる補正に関するものである。
【背景技術】
【0002】
近年、画像表示技術における一つの分野として、画像表示装置と視聴用のシャッター眼鏡を使用し、画像表示装置に交互に表示される左眼用画像および右眼用画像の表示に同期してシャッター眼鏡の左眼用シャターおよび右眼用シャッターを開閉することで立体画像を視聴可能にする立体表示システムが普及しつつある。
【0003】
この立体表示システムでは、左眼用画像および右眼用画像の表示に関し視認性に優れた立体表示を行う技術が重要であり、左眼用画像および右眼用画像の表示制御技術の良否が立体画像の表示品質、特に視認性を直接左右することになる。
【0004】
これに対し、左眼用画像および右眼用画像の表示に係わる従来の技術として、フレームメモリに書き込まれた左眼用画像と右眼用画像を、それぞれ2倍速で読み出して、交互に表示する事例が開示されている(例えば、特許文献1参照)。この方法は、左眼用画像の表示と右眼用画像の表示が交互に行われるため、左眼用画像または右眼用画像の表示において0.5フレーム期間だけ、実時刻と表示時刻の差異(時間差)が発生する。この場合、動きの少ない映像を表示する場合であれば利用者は時間差を認識する可能性は少ないが、比較的早い動きを示す映像を表示する場合には立体画像の視認性に悪影響を及ぼし、利用者に眼の疲れや不快感を与える原因となる。これを解消する事例として、立体映像の撮影時に左眼用画像と右眼用画像との間に時間差を設け、その時間差と連動させて左眼用画像と右眼用画像を交互に表示させることにより、シャッター眼鏡を介して利用者が見る左眼用画像または右眼用画像の実時刻と表示時刻との差を解消する方法が開示されている(例えば、特許文献2、3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開昭63−131686号公報
【特許文献2】特開平1−165293号公報
【特許文献3】特開平8−205199号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記従来技術では、カメラによって同時刻にサンプリングした映像やある時刻のサンプリング情報をシミュレートしてコンピュータグラフィクス等によって左右画像を生成した映像が入力された場合には、左眼用画像と右眼用画像との時間差を解消することはできない。
【0007】
本発明は、上記課題に対して、フレームレート変換(FRC)技術(動きベクトルを用いた補間技術)を用いて左眼用画像または右眼用画像の表示における時間差を補正する。すなわち、同時刻に撮影した左眼用画像および右眼用画像を表示する際に、左眼用画像または右眼用画像のいずれかに対して時間軸の位相を補正して表示を行うことにより、左眼用画像または右眼用画像の表示における時間軸上の位相差の発生を解消する。これにより、本発明は利用者に眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示装置、立体表示方法および立体表示システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明による立体表示装置は、第1視差画像および第2視差画像を受信する視差画像受信手段と、視差画像受信手段が受信した第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成する第2視差補間画像生成手段と、第1視差画像と第2視差補間画像を表示する表示手段と、第1視差画像と第2視差補間画像を所定の表示フレームレートで順次交互に表示手段に表示する表示制御手段とを有することを特徴とする。
【0009】
このような構成により、第1視差画像および第2視差画像を受信し、第2視差画像につき前後のフレームを用いて動き補償によるフレーム補間を行って第2視差補間画像を生成し、第1視差画像と第2視差補間画像を所定の表示フレームレートで順次交互に表示することが可能となる。したがって、同時刻に撮影した第1視差画像および第2視差画像を表示する際に、第1視差画像または第2視差画像のいずれかに対して時間軸の位相を補正して表示を行うことにより、第1視差画像または第2視差画像の表示における時間軸上の位相差の発生を解消することができる。よって、利用者に対して眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示装置を提供することができる。
【0010】
また、本発明による立体表示装置は、第2視差補間画像生成手段が生成する第2視差補間画像が第2視差画像に対して半フレーム位相遅れた画像である。このような構成により、第2視差画像に対して半フレーム位相遅れた補間画像を生成することが可能となる。したがって、第1視差画像または第2視差画像のいずれかに対して時間軸の位相を半フレーム分補正して表示を行うことができる。これにより、第1視差画像または第2視差画像の表示における時間軸上の位相差の発生を解消し、利用者に対して眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示装置を提供することができる。
【0011】
また、本発明による立体表示装置は、第1視差を利眼の視差として設定する利眼視差設定手段を更に有する。このような構成により、第1視差を利眼の視差として設定することで、補間されていない第1視差画像を利眼で補間された第2視差画像を利眼でない眼で見るといった利用者の両眼の特性を効果的に利用することができる。これにより、視認性の向上に更なる効果を発揮することができる。
【0012】
また、本発明による立体表示装置は、第1視差画像および第2視差画像を受信する視差画像受信手段と、視差画像受信手段が受信した第1視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第1視差補間画像を生成する第1視差補間画像生成手段と、視差画像受信手段が受信した第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成する第2視差補間画像生成手段と、第1視差補間画像と第2視差補間画像を表示する表示手段と、第1視差補間画像と第2視差補間画像を所定の表示フレームレートで順次交互に表示手段に表示する表示制御手段とを有する。
【0013】
このような構成により、第1視差画像および第2視差画像を受信し、第1視差画像につき前後のフレームを用いて動き補償によるフレーム補間を行って第1視差補間画像を生成するとともに、第2視差画像について前後のフレームを用いて動き補償によるフレーム補間を行って第2視差補間画像を生成し、第1視差補間画像と第2視差補間画像を所定の表示フレームレートで順次交互に表示することが可能となる。このように、時間軸上の位相を補正して表示することで、第1視差画像または第2視差画像の表示における時間軸上の位相差の発生を解消することができる。したがって、利用者に対して眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示装置を提供することができる。また、設計上の自由度を高めることができる。
【0014】
また、本発明による立体表示装置は、第1視差補間画像生成手段が生成する第1視差補間画像が第1視差画像に対してMフレーム位相(0<M<1)遅れた画像であって、第2視差補間画像生成手段が生成する第2視差補間画像が第2視差画像に対してNフレーム位相(0<N<1)遅れた画像である場合に、|M−N|=0.5となるように構成される。
【0015】
このような構成により、第1視差補間画像が第1視差画像に対してMフレーム位相(0<M<1)遅れた画像であり、第2視差補間画像が第2視差画像に対してNフレーム位相(0<N<1)遅れた画像である場合に、|M−N|=0.5とすることで、第1視差画像または第2視差画像の表示における時間軸上の位相差の発生を確実かつ効果的に解消することができる。したがって、視認性の向上に更なる効果を発揮することができる。
【0016】
また、本発明による立体表示装置は、|M−0.5|≧|N−0.5|の場合は第1視差を、|M−0.5|<|N−0.5|の場合は第2視差を利眼の視差として設定する利眼視差設定手段を更に有する。このような構成により、|M−0.5|≧|N−0.5|の場合は第1視差を、|M−0.5|<|N−0.5|の場合は第2視差を利眼の視差として設定することが可能となる。したがって、第1視差補間画像または第2視差補間画像の内、より補間前の元の視差画像に近い補間画像を利眼に対応させるといった利用者の両眼の特性を効果的に利用することができる。これにより、視認性の向上に更なる効果を発揮することができる。また、利眼の利用に関する設計上の自由度を高めることができる。
【0017】
また、本発明による立体表示装置は、第1視差に対する画像が左眼用の画像であって第2視差に対する画像が右眼用の画像であるか、または、第1視差に対する画像が右眼用の画像であって第2視差に対する画像が左眼用の画像である。このような構成により、視差画像として一般的な左眼用と右目用の画像を対象とする立体表示装置を提供することができる。
【0018】
また、本発明による立体表示装置は、第1視差および第2視差のいずれか一方を右眼の視差、他方を左眼の視差として設定する左右視差設定手段を更に有する。このような構成により、第1視差と第2視差に対する処理が異なる場合に、第1視差と第2視差に対応する右眼の視差と左眼の視差の設定を容易に変更することで利用者の利便性を高めることができる。
【0019】
また、本発明による立体表示装置は、補間画像のフレーム位相を設定する補間画像フレーム位相設定手段を更に有する。このような構成により、入力画像に合わせて適当な補間画像のフレーム位相を設定することが可能となり、利用者が見る立体映像の視認性の向上に更なる効果を発揮することができる。
【0020】
また、本発明による立体表示システムは、表示手段に第1視差に対する画像が表示されるタイミングで第1視差用シャッターが開いて第2視差用シャッターが閉じ、表示手段に第2視差に対する画像が表示されるタイミングで第2視差用シャッターが開いて第1視差用シャッターが閉じるシャッター眼鏡と、本発明に係る立体表示装置とから成る。
【0021】
このような立体表示システムでは、シャッター眼鏡を介して表示における時間差が補正された第1視差画像または/および第2視差画像を見ることになり、利用者に対して眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示映像を提供することができる。
【発明の効果】
【0022】
本発明の立体表示装置、立体表示方法および立体表示システムによれば、同時刻に撮影した左眼用画像および右眼用画像を表示する際に、左眼用画像または右眼用画像のいずれかに対して時間軸上の位相を補正して表示することにより、左眼用画像または右眼用画像の実時刻と表示時刻との差を解消することができる。したがって、眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示装置、立体表示方法および立体表示システムを提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施の形態1の立体表示システムを構成する立体表示装置およびシャッター眼鏡の概観を示す斜視図である。
【図2】本発明の実施の形態1の立体表示システムのハードウェアの主要構成を示すブロック図である。
【図3】本発明の実施の形態1の立体表示システムにおけるシャッター開閉動作を示すタイミングチャートである。
【図4】本発明の実施の形態1の立体表示装置の信号処理部のハードウェアの詳細な構成を示すブロック図である。
【図5】本発明の実施の形態1の立体表示システムにおける視差画像の表示とシャッター開閉動作の関係を示すタイミングチャートである。
【図6】本発明の実施の形態1の立体表示装置の信号処理部の動作を示す図である。
【図7】本発明の実施の形態1の立体表示システムに対する比較事例のハードウェアを示すブロック図である。
【図8】本発明の実施の形態1の立体表示システムに対する比較事例における視差画像の表示とシャッター開閉動作の関係を示すタイミングチャートである。
【図9】本発明の実施の形態1の立体表示装置における信号処理手順を示すフローチャートである。
【図10】本発明の実施の形態2の立体表示装置の信号処理部のハードウェアの詳細な構成を示すブロック図である。
【図11】本発明の実施の形態2の立体表示装置の信号処理部の動作を示す図である。
【図12】本発明の実施の形態2の立体表示装置における信号処理手順を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下の本発明の実施の形態では、視聴者(利用者)が立体表示装置の表示面に表示する視差画像をシャッター眼鏡を通して見ることにより、立体画像を視聴できる立体表示システムについて、図1〜図12を用いて説明する。
【0025】
以下の説明において、視差とは、二つの違った場所から同一物を見たときの方向の違いを指すものとし、利眼(利き眼:ききめ)とは、人の両眼の内、より効果的に働く一方の眼を指すものとする。
【0026】
(実施の形態1)
図1は、本実施の形態1の立体表示システム(以下、本システムと略記する)1を構成する立体表示装置100およびシャッター眼鏡200の概観を示す斜視図である。
【0027】
本システム1は、立体表示装置100およびシャッター眼鏡(立体画像視聴用眼鏡:以下、本システムの説明においては、「眼鏡」と略記する)200を備えている。
【0028】
立体表示装置100は、表示手段としての表示部130および赤外線発光素子151を備え、表示部130に、例えば、第1視差に対する画像である左眼用の画像(以下、「L画像」と略記する)と第2視差に対する画像である右眼用の画像(以下、「R画像」と略記する)を交互に表示し、赤外線発光素子151からはL画像およびR画像の表示開始タイミングを示す同期信号(以下、画像の表示開始タイミングを示す同期信号を「V同期信号」と略記する)に基づいて生成される眼鏡200のシャッター切替のタイミングを示す同期信号(以下、「シャッター切替同期信号」と略記する)を眼鏡200に対して送信する。
【0029】
眼鏡200は、左眼用シャッター(以下、「左シャッター」と略記する)210a、右眼用シャッター(以下、「右シャッター」と略記する)210bおよび赤外線受光素子221を備え、立体表示装置100の赤外線発光素子151から赤外線により送信されるシャッター切替同期信号を赤外線受光素子221で受信し、立体表示装置100に表示される画像と同期するように、左シャッター210aによって左眼に入射する光を制御し、右シャッター210bによって右眼に入射する光を制御する。
【0030】
左シャッター210aおよび右シャッター210bはそれぞれ光学フィルタ(図示せず)を備えており、赤外線受光素子221が受信したシャッター切替同期信号に基づいて入射する光のON(透過)/OFF(遮断)を制御することができる。なお、L画像とR画像は左眼と右眼の視差分だけ表示情報が異なっており、視聴者は表示される画像と同期して左シャッター210aと右シャッター210bが開閉される眼鏡200を介して画像を見ることで、立体表示装置100が表示する画像を立体的な画像として知覚することができる。
【0031】
つぎに、立体表示装置100および眼鏡200の詳細な構成および機能について、図2により説明する。
【0032】
図2は、本実施の形態1の立体表示システムのハードウェアの主要構成を示すブロック図である。
【0033】
立体表示装置100は、復号部110、信号処理部120、シャッター切替同期信号の送信を制御する送信制御部140、CPU160、メモリ170、クロック180、画像を表示する表示部130、およびシャッター切替同期信号を送信する送信部150を備える。
【0034】
復号部110は、入力される符号化された画像信号を復号化して画像データを所定の様式で出力する。画像の符号化には、MPEG(Motion Picture Experts Group)−2や、MPEG−4等の方式を使用する。
【0035】
信号処理部120は、復号部110から受信した画像データを立体画像として表示するための信号処理を行う。詳細な構成および機能については、後述する。
【0036】
送信制御部140は、信号処理部120が生成したV同期信号に基づいてシャッター切替同期信号を生成して送信部150に出力する。
【0037】
CPU160は、メモリ170に記憶されたプログラムに従って外部からの入力信号に基づいて、立体表示装置100の全体の制御を行う。
【0038】
メモリ170は、CPU160が実行するプログラムやプログラム実行時に必要なデータを記憶する。メモリ170としては、RAM(Random Access Memory)やROM(Read Only Memory)等、汎用の記憶素子が使用される。
【0039】
クロック180は、立体表示装置100の動作基準となるクロック信号を供給する。
【0040】
送信部150は赤外線発光素子151を備え、送信制御部140から出力されるシャッター切替同期信号を赤外線信号に変換して眼鏡200に送信する。これにより、眼鏡200に対して左シャッター210aおよび右シャッター210bの開閉の切り替え指示を行う。
【0041】
表示部130は、信号処理部120から出力される画像を表示するものであり、CRT、液晶表示パネル(LCD)、プラズマディスプレイパネル(PDP)、有機EL等である。
【0042】
一方、眼鏡200は、左シャッター210aと、右シャッター210bと、立体表示装置100から送信されてくるシャッター切替同期信号を受信する受信部220と、シャッターの開閉制御を行う開閉制御部230、メモリ240、およびクロック250とを備える。
【0043】
受信部220は赤外線受光素子221を備え、立体表示装置100の赤外線発光素子151から送信されるシャッター切替同期信号を受信する。
【0044】
開閉制御部230は、受信部220で受信したシャッター切替同期信号に基づいて、左シャッター210aおよび右シャッター210bの開閉指示をシャッター210に出力する。
【0045】
左シャッター210aおよび右シャッター210bは、利用者が眼鏡200を着用した際に、利用者の左眼および右眼に対応した位置にそれぞれ配設される。また、左シャッター210aおよび右シャッター210bは、それぞれ光の透過量を制御する光学フィルタ(図示せず)を備えており、開閉制御部230からの開閉指示に基づいて利用者の左眼および右眼に入射する光のON(入射)/OFF(遮断)を表示部130に表示される画像に同期するように制御され、利用者に所望の立体画像を視認させることができる。
【0046】
メモリ240は、CPUが実行するプログラムやプログラムの実行時に必要なデータを記憶する。
【0047】
クロック250は、眼鏡200の動作基準となるクロック信号を供給する。
【0048】
このような構成により、シャッター眼鏡200は、立体表示装置100の表示部130にL画像が表示されるタイミングで左シャッター210aを開いて右シャッター210bを閉じ、表示部130にR画像が表示されるタイミングで右シャッター210bを開いて左シャッター210aを閉じることができる。
【0049】
なお、本発明の実施の形態1では、立体表示装置100と眼鏡200との信号の送受信に赤外線を使用しているが、有線信号、他の無線信号、超音波等を使用することもできる。
【0050】
つぎに、本システム1におけるシャッターの開閉動作について説明する。
【0051】
なお、以下の説明では、眼鏡200のシャッターの切替制御のために、必ずL画像とR画像の表示切替のタイミングで立体表示装置100からシャッター切替同期信号が送信されるものとする。
【0052】
図3は、本発明の実施の形態1の立体表示システムにおけるシャッター開閉動作を示すタイミングチャートである。
【0053】
図3に示すように、立体表示装置100の表示部130にL画像とR画像が交互に表示されているとき、送信制御部140は、各画像の表示フレームのV同期信号に基づいてシャッター切替同期信号を生成し、送信部150に出力する。これにより、送信部150を経由して眼鏡200の左シャッター210aおよび右シャッター210bの切り替え制御を行う。
【0054】
例えば、L画像が表示されると、立体表示装置100から眼鏡200の左シャッター210aを開いて右シャッター210bを閉じることを指示するシャッター切替同期信号が眼鏡200に送信される。眼鏡200では受信したシャッター切替同期信号により眼鏡200の左シャッター210aが開かれ(透視状態)、右シャッター210bが閉じられる(遮蔽状態)。この結果、表示部130にL画像が表示されるときには、利用者はL画像を左眼だけで見ることになる。
【0055】
同様に、R画像が表示されると、立体表示装置100から眼鏡200の右シャッター210bを開いて左シャッター210aを閉じることを指示するシャッター切替同期信号が眼鏡200に送信される。眼鏡200では受信したシャッター切替同期信号により眼鏡200の右シャッター210bが開かれ(透視状態)、左シャッター210aが閉じられる(遮蔽状態)。この結果、表示部130にR画像が表示されるときには、利用者はR画像を右眼だけで見ることになる。
【0056】
なお、左右の視差画像の表示切替タイミングに一致させて左右のシャッターの開閉を行うと、残像効果によってクロストーク(L画像のR画像への、あるいは、R画像のL画像への漏れ込み現象)が発生する。このクロストークを防ぐために、左シャッターあるいは右シャッターを開いている期間が、図3に示すように、L画像あるいはR画像の表示期間より短くなるようにシャッター切替同期信号を生成している。
【0057】
以後、同様の手順で、L画像とR画像の表示の切り替えのタイミングと同期させて眼鏡200の左シャッター210aと右シャッター210bの切り替えを行うことにより、利用者は、眼鏡200を通して表示部130に表示される画像を立体的に視認することができる。
【0058】
つぎに、立体表示装置100における信号処理部120の詳細な構成および信号処理について、図4〜図6を用いて説明する。
【0059】
図4は立体表示装置100における信号処理部120のハードウェアの詳細な構成を示すブロック図、図5は本システム1における視差画像の表示とシャッター開閉動作の関係を示すタイミングチャート、図6は立体表示装置100の信号処理部120の動作を示す図である。
【0060】
図4に示すように、信号処理部120は、分離部121、フレームメモリ122、FRC部123、表示管理部124、メモリ制御部125、FRC制御部126および表示管理制御部127を備えている。
【0061】
分離部121は入力された立体映像信号からL画像およびR画像の分離を行い、フレームメモリ122は分離部121で分離されたL画像およびR画像を記録し、FRC部123はフレームメモリ122から読み出したR画像のフレームレート変換(時間軸方向のフレーム補間も含む)を行い、表示管理部124はフレームメモリ122から読み出したL画像およびFRC部123から受信したR画像の補間画像(以下、「R補間画像」と略記する)を表示部130に表示する制御を行う。また、メモリ制御部125、FRC制御部126および表示管理制御部127は、信号処理部120に入力されたV同期信号に基づき、それぞれフレームメモリ122、FRC部123および表示管理部124を制御する。
【0062】
左右両眼の視差角を伴って撮影し、またはコンピュータグラフィクス等によって生成された立体映像信号およびV同期信号が信号処理部120に入力される。入力された立体映像信号は、分離部121においてL画像とR画像とに分離され、L画像およびR画像はフレームメモリ122内のL画像メモリ122aおよびR画像メモリ122bにそれぞれ記録される。また、フレームメモリ122に記録されたL画像とR画像を呼び出す場合は、L画像については、表示周波数(フレーム周波数)を倍速化し、R補間画像の作成に併せて遅延量の調整を行う。また、R画像については、表示周波数を倍速化するとともに、FRC部123においてフレームレート変換を行い、L画像に対してフレーム位相が0.5遅れたR補間画像を生成する。ここで、補間画像の作成において、1フレーム期間をSとし、生成される補間画像の時間軸上の遅れをSとするとき、フレーム位相をS/Sで定義する。この事例ではR画像に対してのみ補間画像を生成するもので、補間対象となるR画像をその前後のフレームのR画像に基づいて動き補償を行ってR補間画像を生成する。書き込みおよび読み出しのタイミングについては、信号処理部120に入力されるV同期信号から生成される書き込みタイミングに基づいてフレームメモリ122に書き込んだ後、同期信号から生成される読み出しタイミングに基づいてL画像およびR画像の読み出しを行う。また、表示管理部124ではL画像およびR補間画像の表示に係わる制御を行い、L画像を2倍速で出力した後、0.5フレーム期間後にR画像を2倍速で出力することで、表示部130においてL画像およびR補間画像が交互に表示される。
【0063】
なお、FRC部123は、入力または記録された2フレーム〜数フレームの映像からサンプリング位相と異なる位相のフレーム(中間フレーム)を生成するが、中間フレームの生成には公知のフレームレート変換技術を用いることができる。また、信号処理部120はフレームメモリ122を備えており、信号処理部120において表示周波数を倍速化することができる。これにより、L画像およびR画像の表示期間(フレーム期間)を信号処理部120に入力される映像信号の1/2として、交互に表示部130に表示することができる。通常、フレームレート変換(FRC)を用いて中間フレームを生成する場合には数フレーム程度の遅延が発生するため、L画像はこの遅延を考慮のうえ、遅延の調整を行う必要がある。
【0064】
したがって、立体表示装置100によれば、図5に示すように、L画像0→R画像0.5→L画像1→R画像1.5→L画像2→R画像2.5→・・・・と、L画像およびR画像が交互に表示部130に表示することができる。また、R画像を先に表示する場合には、表示管理部124において適宜左右の信号を入れ替えることにより、R画像0→L画像0.5→R画像1→L画像1.5→R画像2→L画像2.5→・・・・と、R画像およびL画像が交互に表示部130に表示される。このとき、シャッター眼鏡200は、L画像を表示部130に表示するタイミングに併せて左シャッターを開き、右シャッターを閉じる。逆にR画像を表示部130に表示するタイミングに併せて右シャッターを開き、左シャッターを閉じる。これにより、シャッター眼鏡200において、左右の眼に別々の視差画像を表示し、利用者は視差画像を立体画像として視認することができる。また、R補間画像はL画像に対してフレーム位相が0.5遅れた、すなわち、0.5フレーム期間経過後の画像としてフレーム補間されており、利用者は時間差が解消されたR補間画像を視認することができる。したがって、利用者に対して、R画像の実時刻に対する表示時刻の時間差に起因する眼の疲れや不快感を与えることのない立体表示システムを提供することができる。
【0065】
なお、上記の説明ではR補間画像のフレーム位相を0.5(半フレーム)としたが、フレームメモリ122における読み出しのタイミングの最適化、FRC部123における中間フレームの最適化、表示管理部124における表示駆動の最適化等を行うことにより、フレーム位相を0.5より小さくしても良い。FRC部123においてフレーム位相を0.5として中間フレームを作成する場合は、R補間画像が原画の位相から0.5フレーム期間遅れた位相になるため、原画および次のフレーム映像との位相差が最も大きくなり、生成した補間画像に乱れが発生しやすい。したがって、フレーム位相が0.5から遠い、すなわち、0フレーム期間遅れ(フレーム位相が0)または1フレーム期間遅れ(フレーム位相が1)に近いことが望ましい。
【0066】
以上のことから、図6に示すように、立体表示装置100では、フレーム期間を1.0としたとき、フレーム位相N(Nは、0<N<1を満たす任意の数とする)のR補間画像を表示部130に表示することができる。シャッター眼鏡200は、L画像を表示部130に表示するタイミングに併せて左シャッター210aを開き、右シャッター210bを閉じる。逆にR補間画像を表示部130に表示するタイミングに併せて右シャッター210bを開き、左シャッター210aを閉じる。
【0067】
以上の通り、立体表示装置100は、左右両眼の視差角を伴って撮影された、またはコンピュータグラフィクス等によって生成された立体映像信号およびV同期信号を受信する視差画像受信手段としての信号処理部120を備えている。また、信号処理部120は分離部121、フレームメモリ122、メモリ制御部125、FRC部123およびFRC制御部126を備えており、信号処理部120が受信した立体映像信号のうちR画像について前後のフレームを用いて動き補償によるフレーム補間を行い、R補間画像を生成する。さらに、R補間画像を生成する一つの事例として、信号処理部120は、R補間画像を元のR画像に対して半フレーム位相(0.5フレーム期間)遅れた画像として生成する。
【0068】
さらに、信号処理部120は表示制御手段としての表示管理部124および表示管理部124を制御する表示管理制御部127を備え、表示手段としての表示部130においてL画像とR補間画像を所定の表示フレームレートで順次交互に表示する。したがって、カメラによって同時刻にサンプリングした映像、または同時刻のサンプリング情報をシミュレートしてコンピュータグラフィクス等によって生成された立体映像が入力された場合であっても、右眼で視認するR画像の実時刻と表示時刻の時間差を解消することができる。これにより、利用者に対してR画像の実時刻に対する表示時刻の時間差に起因する眼の疲れや不快感を与えることのない視認性に優れた高品質な立体表示装置を提供することができる。
【0069】
なお、立体表示装置100のリモコン装置の操作ボタン(図示せず)等を利用し、利用者の利眼と表示部130に表示する視差画像とを関連付けることにより、利用者に対して視認性を高めた視差画像をより効果的に提供することができる。例えば、リモコン装置に利眼視差設定用の操作ボタン等を備え、第1視差を利眼の視差として設定し、利眼でない側の画像について補間画像を生成することにより、本システム1の立体画像表示品質をさらに高める効果を発揮することができる。
【0070】
また、立体表示装置100のリモコン装置の操作ボタン(図示せず)等を利用し、利用者の両眼と表示部130に表示する2つの視差画像とを対応付け手段を設けることにより、利用者に対して第1視差および第2視差に対する左眼の視差および右眼の視差の設定を容易にすることができる。
【0071】
また、立体表示装置100のリモコン装置の操作ボタン(図示せず)等を利用し、利用者に補間画像のフレーム位相の設定を可能にする手段を設けることにより、利用者が入力画像に合わせて適当な補間画像のフレーム位相の設定ができる。
【0072】
以下に、本発明の実施の形態1における立体表示装置100の効果がより明確になるように、信号処理部120において、R画像の補間画像の生成に関わるFRC部123およびFRC制御部126が無い立体表示システムを比較事例として、図7および図8を用いて説明する。
【0073】
図7は比較事例のハードウェアを示すブロック図、図8は比較事例における視差画像の表示とシャッター開閉動作の関係を示すタイミングチャートである。
【0074】
図7に示すように、左右両眼の視差角を伴って撮影し、またはコンピュータグラフィクス等によって生成された立体映像信号およびV同期信号が信号処理部120に入力される。入力された映像信号は、分離部121においてL画像とR画像とに分離され、L画像およびR画像はフレームメモリ122内のL画像メモリ122aおよびR画像メモリ122bにそれぞれ記録される。また、フレームメモリ122に記録されたL画像およびR画像を呼び出す場合は、L画像およびR画像について、表示周波数(フレーム周波数)を倍速化する。これにより、L画像およびR画像の表示期間(フレーム期間)はそれぞれ信号処理部120に入力された映像信号の1/2となって、交互に表示部130に表示される。書き込みおよび読み出しのタイミングについては、信号処理部120に入力されるV同期信号から生成される書き込みタイミングに基づいてフレームメモリ122に書き込んだ後、V同期信号から生成される読み出しタイミングに基づいて2倍のスピードで読み出しを行う。また、選択部128ではL画像およびR画像の選択および表示制御を行い、L画像を2倍速で読み出した後、0.5フレーム期間後にR画像を2倍速で読み出し、表示部130にL画像およびR画像を交互に表示する。したがって、図8に示すように、L画像0→R画像0→L画像1→R画像1→L画像2→R画像2→・・・・と、L画像およびR画像を交互に表示部130に表示する。また、R画像を先に表示する場合には、選択部128において適宜左右の信号を入れ替えることにより、R画像0→L画像0→R画像1→L画像1→R画像2→L画像2→・・・・と、R画像およびL画像を交互に表示部130に表示する。
【0075】
この比較事例の場合では、同時刻に撮影されたL画像およびR画像が交互に表示部130に表示されるため、R画像に関しては0.5フレーム期間だけ実時刻と表示時刻に差異(時間差)が生じる。したがって、利用者にとっては、L画像と同時刻で撮影されたR画像を時間軸上で半フレーム遅れて見ることになる。この場合、時間差が僅少であれば利用者は時間差を認識する可能性は少ないが、例えば、テレビの表示周波数が60Hzの場合にはL画像とR画像との時間差は8.3msとなる。この数値は比較的早い動きを示す映像の場合には立体画像の視認性に悪影響を及ぼし、利用者に眼の疲れや不快感を与える原因となる。
【0076】
以上の通り、本システム1がこの比較事例に対して立体画像の視認性を向上させるものであることは明白である。
【0077】
つぎに、立体表示装置100の信号処理部120の動作について、図9を用いて説明する。
【0078】
図9は、本発明の実施の形態1の立体表示装置における信号処理手順を示すフローチャートである。
【0079】
立体表示装置100の信号処理部120は、復号部110(図2)で復号された映像信号を受信することで信号処理を開始する。
【0080】
ステップ1(S1)では、信号処理部120の分離部121が、復号部110から送信されてくる立体映像信号を取り込み、取り込んだ立体映像信号からL画像およびR画像を分離して、それらの画像をフレームメモリ122に送信し、ステップ2(S2)に移る。
【0081】
ステップ2(S2)では、フレームメモリ122が、ステップS1(S1)で分離されたL画像およびR画像をそれぞれL画像メモリ122aおよびR画像メモリ122bに記録し、ステップ3(S3)に移る。
【0082】
ステップ3(S3)では、フレームメモリ122内のL画像メモリ122aからL画像に係わる情報を読み出して表示管理部124に送信し、R画像メモリ122bからR画像に係わる情報を読み出してFRC部123に送信して、ステップ4(S4)に移る。
【0083】
ステップ4(S4)では、FRC部123が、R画像メモリ122bから受信したR画像に係わる情報に基づいて、前後のフレームを用いた動き補償によるフレーム補間によってR補間画像を生成し、生成したR補間画像を表示管理部124に送信して、ステップ5(S5)に移る。
【0084】
ステップ5(S5)では、表示管理部124が、フレームメモリ122から受信したL画像およびFRC部123から受信したR補間画像に基づき、表示部130で表示を行うための制御情報をL画像およびR補間画像と共に表示部130に送信して、ステップ6(S6)に移る。
【0085】
ステップ6(S6)では、表示部130が、表示管理部124から受信した制御情報に基づいてL画像とR補間画像を交互に表示する。
【0086】
なお、表示管理部124が表示部130に送信する制御情報としては、表示フレームレートなどの情報などである。
【0087】
なお、表示部130に表示されるL画像およびR補間画像の表示タイミングとシャッター眼鏡200のシャッター210の開閉タイミングとの同期制御は、既に述べた方法により、信号処理部120と接続される送信制御部140を介して行われる。
【0088】
なお、以上の説明において、第1視差に対する画像をL画像とし、第2視差に対する画像をR画像としているが、第1視差に対する画像をR画像とし、第2視差に対する画像をL画像としても、同様の効果が得られることは言うまでもない。
【0089】
(実施の形態2)
本発明の実施の形態2について、図10〜図12を用いて説明する。
【0090】
なお、実施の形態2において、実施の形態1と共通する部分についての説明は省略し、異なる部分についてのみ説明する。
【0091】
図10は本発明の実施の形態2の立体表示装置の信号処理部のハードウェアの詳細な構成を示すブロック図、図11は本発明の実施の形態2の立体表示装置の信号処理部の動作を示す図である。
【0092】
本発明の実施の形態1に対して、図10に示すように、本発明の実施の形態2の立体表示装置100の信号処理部120は、R画像だけではなくL画像についてもFRC部123により中間フレーム画像(以下、「L補間画像」と略記する)を生成する。
【0093】
本発明の実施の形態2における信号処理部120では、FRC処理部123がL補間画像生成部123aおよびR補間画像生成部123bを備えている。なお、L補間画像生成部123aおよびR補間画像生成部123bを1つの補間画像生成部で構成し、L補間画像およびR補間画像を順次生成するようにしても良い。
【0094】
FRC部123は、分離部121およびフレームメモリ122からL画像およびR画像に係わる情報を受信すると、フレーム期間を1とした場合、L補間画像生成部123aがL画像からフレーム位相M(Mは0<M<1を満たす任意の数とする)のL補間画像を生成し、R補間画像生成部123bがR画像からフレーム位相N(Nは0<N<1、M<Nを満たす任意の数とする)のR補間画像を生成する。
【0095】
表示管理部124は、FRC部123において生成したL補間画像を表示部130に表示した後、(N−M)フレーム期間後にR補間画像を表示部130に表示する。
【0096】
このような構成によって、例えば、M=0.25、N=0.75とすると、図11に示すように、表示部130において、L補間画像0.25→R補間画像0.75→L補間画像1.25→R補間画像1.75→L補間画像2.25→R補間画像2.75→・・・・とL補間画像とR補間画像を交互に表示することなどが可能となり、L画像0→R画像0.5→L画像1→R画像1.5→L画像2→R画像2.5→・・・・とする本発明の実施の形態1における表示方法に較べて、フレーム位相の選択の自由度を高めることができる。
【0097】
これにより、フレーム位相の選択にあたり、0.5およびその周辺の範囲に限定されることなく自由度の高い選択が可能となり、より乱れや破綻の少ない中間フレーム映像(L補間画像およびR補間画像)を生成することができる。したがって、利用者の両眼により視認される左右の映像の実時刻と表示時刻の時間差を小さくすることができ、利用者に対して眼の疲れや不快感を与えることがなく、視認性に優れた高品質な立体表示装置を提供することができる。
【0098】
なお、シャッター眼鏡200は、L補間画像を表示部130に表示するタイミングに基づいて左シャッター210aを開き、右シャッター210bを閉じる。逆に、R補間画像を表示部130に表示するタイミングに基づいて右シャッター210bを開き、左シャッター210aを閉じる。
【0099】
なお、上記のように、|M−N|=0.5となるようにL補間画像およびR補間画像のフレーム位相を設定すると、L補間画像およびR補間画像の表示タイミングが均等となり、利用者がシャッター眼鏡200を使用して両眼で表示部130に表示された映像を視認する際、左右の画像の切り替えが均等となり、円滑な動きとして視認することができ、特に、急激な変化を伴う映像を表示する場合には大きな効果を発揮する。
【0100】
また、利眼視差設定手段を設けて、|M−0.5|≧|N−0.5|の場合は第1視差を、|M−0.5|<|N−0.5|の場合は第2視差を利眼の視差として設定することで、L補間画像およびR補間画像の内、フレーム位相が原画に近い方の補間画像を利眼と対応させることができる。これにより、立体画像表示装置100の表示品質を更に高めることができる。
【0101】
つぎに、立体表示装置100の信号処理部120における信号処理手順について、図12を用いて説明する。
【0102】
図12は、本発明の実施の形態2の立体表示装置における信号処理手順を示すフローチャートである。
【0103】
立体表示装置100の信号処理部120では、復号部110(図2)で復号された立体映像信号を受信することで、信号処理が開始される。
【0104】
ステップ11(S11)では、分離部121が復号部110から送信されてくる立体映像信号を取り込み、取り込んだ立体映像信号からL画像およびR画像を分離して、それぞれの画像をフレームメモリ122に送信し、ステップ12(S12)に移る。
【0105】
ステップ12(S2)では、フレームメモリ122が、分離部121から受信したL画像およびR画像をそれぞれL画像メモリ122a、R画像メモリ122bに記録し、ステップ13(S13)に移る。
【0106】
ステップ13(S13)では、フレームメモリ122内のL画像メモリ122aからL画像に係わる情報を読み出し、R画像メモリ122bからR画像に係わる情報を読み出して、それぞれの情報をFRC部123に送信し、ステップ14(S14)に移る。
【0107】
ステップ14(S14)では、FRC部123において、フレームメモリ122から受信したL画像およびR画像に係わる情報に基づいて、前後のフレームを用いた動き補償によるフレーム補間によって補間画像を生成し、生成したL補間画像およびR補間画像を表示管理部124に送信し、ステップ15(S15)に移る。
【0108】
ステップ15(S15)では、表示管理部124において、FRC部123から受信したL補間画像およびR補間画像に係わる情報に基づき、表示部130で表示を行うための制御情報をL補間画像およびR補間画像と共にを表示部130に送信して、ステップ16(S16)に移る。
【0109】
なお、表示管理部124における制御情報としては、表示フレームレートなどの情報である。
【0110】
なお、以上の説明において、第1視差に対する画像をL画像とし、第2視差に対する画像をR画像としているが、第1視差に対する画像をR画像とし、第2視差に対する画像をL画像としても、同様の効果が得られることは言うまでもない。
【0111】
以上の通り、本発明の立体表示装置、立体表示方法および立体表示システムによれば、同時刻に撮影したL画像およびR画像を交互に表示する際に、L画像またはR画像の表示における実時刻との時間差を解消することができる。したがって、利用者に眼の疲れや不快感を与えることのない視認性に優れた高品質の立体表示を提供することができる。
【産業上の利用可能性】
【0112】
本発明の立体表示装置、立体表示方法および立体表示システムは、左眼用の画像と右眼用の画像を交互に表示する表示装置と、表示装置に表示される左眼用の画像と右眼用の画像と同期して左右のシャッターが開閉するシャッター眼鏡によって立体映像を視聴できる立体表示システムおよびその立体表示システムで使用される立体表示装置に適用することができる。
【符号の説明】
【0113】
1 立体表示システム
100 立体表示装置
110 復号部
120 信号処理部
121 分離部
122 フレームメモリ
122a L画像メモリ
122b R画像メモリ
123 FRC部
123a L補間画像生成部
123b R補間画像生成部
124 表示管理部
125 メモリ制御部
126 FRC制御部
127 表示管理制御部
128 選択部
129 選択制御部
130 表示部
140 送信制御部
150 送信部
151 赤外線発光素子
160 CPU
170,240 メモリ
180,250 クロック
200 シャッター眼鏡
210 シャッター
210a 左眼用シャッター(左シャッター)
210b 右眼用シャッター(右シャッター)
220 受信部
221 赤外線受光素子
230 開閉制御部

【特許請求の範囲】
【請求項1】
第1視差画像および第2視差画像を受信する視差画像受信手段と、
前記視差画像受信手段が受信した前記第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成する第2視差補間画像生成手段と、
前記第1視差画像と前記第2視差補間画像を表示する表示手段と、
前記第1視差画像と前記第2視差補間画像を所定の表示フレームレートで順次交互に前記表示手段に表示する表示制御手段と
を有する立体表示装置。
【請求項2】
前記第2視差補間画像生成手段が生成する前記第2視差補間画像が前記第2視差画像に対して半フレーム位相遅れた画像である請求項1記載の立体表示装置。
【請求項3】
前記第1視差を利眼の視差として設定する利眼視差設定手段を更に有する請求項1または2に記載の立体表示装置。
【請求項4】
第1視差画像および第2視差画像を受信する視差画像受信手段と、
前記視差画像受信手段が受信した前記第1視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第1視差補間画像を生成する第1視差補間画像生成手段と、
前記視差画像受信手段が受信した前記第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成する第2視差補間画像生成手段と、
前記第1視差補間画像と前記第2視差補間画像を表示する表示手段と、
前記第1視差補間画像と前記第2視差補間画像を所定の表示フレームレートで順次交互に前記表示手段に表示する表示制御手段と
を有する立体表示装置。
【請求項5】
前記第1視差補間画像生成手段が生成する前記第1視差補間画像が前記第1視差画像に対してMフレーム位相(0<M<1)遅れた画像であって、
前記第2視差補間画像生成手段が生成する前記第2視差補間画像が前記第2視差画像に対してNフレーム位相(0<N<1)遅れた画像である場合に、
|M−N|=0.5となる請求項4記載の立体表示装置。
【請求項6】
|M−0.5|≧|N−0.5|の場合は前記第1視差を、|M−0.5|<|N−0.5|の場合は前記第2視差を利眼の視差として設定する利眼視差設定手段を更に有する請求項4または5に記載の立体表示装置。
【請求項7】
前記第1視差に対する画像が左眼用の画像であって前記第2視差に対する画像が右眼用の画像であるか、または、前記第1視差に対する画像が右眼用の画像であって前記第2視差に対する画像が左眼用の画像である請求項1、2、4、5のいずれか1項に記載の立体表示装置。
【請求項8】
前記第1視差および前記第2視差のいずれか一方を右眼の視差、他方を左眼の視差として設定する左右視差設定手段を更に有する請求項1、2、4、5のいずれか1項に記載の立体表示装置。
【請求項9】
補間画像のフレーム位相を設定する補間画像フレーム位相設定手段を更に有する請求項1〜8のいずれか1項に記載の立体表示装置。
【請求項10】
前記表示手段に第1視差に対する画像が表示されるタイミングで第1視差用シャッターが開いて第2視差用シャッターが閉じ、前記表示手段に第2視差に対する画像が表示されるタイミングで第2視差用シャッターが開いて第1視差用シャッターが閉じるシャッター眼鏡と、
請求項1〜9のいずれか1項に記載の立体表示装置と
から成る立体表示システム。
【請求項11】
第1視差画像および第2視差画像を受信する視差画像受信ステップと、
前記視差画像受信ステップで受信した前記第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成する第2視差補間画像生成ステップと、
前記第1視差画像と前記第2視差補間画像を所定の表示フレームレートで順次交互に表示する表示ステップと
を有する立体表示方法。
【請求項12】
前記第2視差補間画像生成ステップで生成される前記第2視差補間画像が前記第2視差画像に対して半フレーム位相遅れた画像である請求項11記載の立体表示方法。
【請求項13】
前記第1視差を利眼の視差として設定する利眼視差設定ステップを更に含む請求項11または12に記載の立体表示方法。
【請求項14】
第1視差画像および第2視差画像を受信する視差画像受信ステップと、
前記視差画像受信ステップで受信した前記第1視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第1視差補間画像を生成する第1視差補間画像生成ステップと、
前記視差画像受信ステップで受信した前記第2視差画像を前後のフレームを用いて動き補償によるフレーム補間を行い、第2視差補間画像を生成する第2視差補間画像生成ステップと、
前記第1視差補間画像と前記第2視差補間画像を所定の表示フレームレートで順次交互に表示する表示ステップと
を有する立体表示方法。
【請求項15】
前記第1視差補間画像生成ステップで生成される前記第1視差補間画像が前記第1視差画像に対してMフレーム位相(0<M<1)遅れた画像であって、
前記第2視差補間画像生成ステップで生成される前記第2視差補間画像が前記第2視差画像に対してNフレーム位相(0<N<1)遅れた画像である場合に、
|M−N|=0.5となる請求項14記載の立体表示方法。
【請求項16】
|M−0.5|≧|N−0.5|の場合は前記第1視差を、|M−0.5|<|N−0.5|の場合は前記第2視差を利眼の視差として設定する利眼視差設定ステップを更に含む請求項14または15に記載の立体表示方法。
【請求項17】
第1視差に対する画像が左眼用の画像であって第2視差に対する画像が右眼用の画像であるか、または、前記第1視差に対する画像が右眼用の画像であって前記第2視差に対する画像が左眼用の画像である請求項11、12、14、15のいずれか1項に記載の立体表示方法。
【請求項18】
前記第1視差および前記第2視差のいずれか一方を右眼の視差、他方を左眼の視差として設定する左右視差設定手段を更に含む請求項11、12、14、15のいずれか1項に記載の立体表示方法。
【請求項19】
補間画像のフレーム位相を設定する補間画像フレーム位相設定ステップを更に含む請求項11〜18のいずれか1項に記載の立体表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2011−103504(P2011−103504A)
【公開日】平成23年5月26日(2011.5.26)
【国際特許分類】
【出願番号】特願2009−256735(P2009−256735)
【出願日】平成21年11月10日(2009.11.10)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】