説明

多視差画像表示装置

【課題】良好な立体画像を作成し、表示することのできる多視差画像表示装置を提供する。
【解決手段】マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、受信された画像信号に基づいて生成する多視差画像表示装置であって、前記表示装置に表示するためのメッセージを含む多視差画像を生成する生成部と、を備え、前記多視差画像に含まれる前記メッセージは視聴者が、正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、多視差画像受信装置に関する。
【背景技術】
【0002】
近年、多視差画像(3次元画像)受信装置が開発され、販売されている。しかし、3次元画像用のソフトの量は少ない。そこで、送信された符号化された2次元画像信号を受信し復号化した後、この復号化された2次元画像信号から多視差画像を生成し、この多視差画像を表示する多視差画像受信装置が提案されている。
【0003】
また、入力データが、奥行き情報を有しない2次元画像データ、2次元画像に奥行き情報を付加した3次元データ、または視差画像データのいずかであることを判別し、それぞれに対応した3次元画像を生成する立体表示装置が提案されている。しかし、この立体表示装置は、放送またはネットワークを介して配信された画像から多視差画像を生成することについては、開示されていない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−115151号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、放送またはネットワークを介して配信された画像を受信して多視差画像に変換して表示するとともに、入力された多視差画像を表示に適した多視差画像に変換して表示することができ、かつ電源がオンされたときに鮮明な立体感のある画像を表示することのできる多視差画像受信装置を提供することである。
【課題を解決するための手段】
【0006】
本実施形態による多視差画像表示装置は、マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、受信された画像信号に基づいて生成する多視差画像表示装置であって、前記表示装置に表示するためのメッセージを含む多視差画像を生成する生成部と、を備え、前記多視差画像に含まれる前記メッセージは視聴者が、正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示されることを特徴とする。
【図面の簡単な説明】
【0007】
【図1】第1実施形態による多視差画像受信装置を示すブロック図。
【図2】2次元画像の例を示す図。
【図3】図2に示す2次元画像から奥行き情報を生成する場合を説明する図。
【図4】1280×720の解像度を有する9個の視差画像を3840×2160の解像度を有する画面に表示した場合を示す図。
【図5】9個の視差画像を図4に示す画面に表示した場合の画素配列を示す図。
【図6】9視差画像信号3a、3b、3c、3dの1画面に配置された9視差画像30a〜30iを分離した場合を示す図。
【図7】図6に示す9個の視差画像30a〜30iを1280×720の画面に表示した場合の画素配列を示す図。
【図8】第2実施形態による多視差画像受信装置を示すブロック図。
【発明を実施するための形態】
【0008】
本実施形態の多視差画像受信装置は、画像信号を受信する画像信号受信処理部と、前記画像信号受信処理部によって受信された前記画像信号に基づいて第1の多視差画像を生成する多視差画像生成部と、多視差画像信号を受信し、第2の多視差画像に変換する多視差画像受信変換部と、電源がオンされたときに表示装置に表示するためのメッセージを含む第3の多視差画像を生成するメッセージ生成部と、電源がオンされたときに前記第3の多視差画像を選択して出力し、その後は制御信号に基づいて、前記第1または第2の多視差画像を選択して出力する選択部と、前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、を備えている。
【0009】
(第1実施形態)
第1実施形態による多視差画像受信装置を図1に示す。本実施形態の多視差画像受信装置は、画像信号受信処理部4と、奥行き情報生成部6と、多視差画像生成部8と、多視差画像受信変換部10と、メッセージ生成部12と、選択部14と、制御部16と、立体画像変換部18と、平面表示装置20とを備えている。
【0010】
平面表示装置20は、マトリクス状に配列された画素を有する表示パネル(平面表示部)20aと、この表示パネル20aに対向するように配置され、上記画素からの光線を制御する複数の射出瞳を有する光線制御素子20bと、を備えている。表示パネル20aとしては、例えば液晶パネル、プラズマディスプレイパネル等を用いることができる。光線制御素子20bは、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子20bの各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット板或いはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。すなわち、スリット板のスリット、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳となる。なお、本実施形態および後述する第2実施形態においては、平面表示装置は、複数の射出瞳を有する光線制御素素子を備えていたが、パララックスバリアを透過型液晶表示装置などにより電子式に発生させ、バリアパターンの形状や位置などを電子的に可変制御する平面表示装置を用いてもよく、後述する立体画像用表示用の画像が表示可能な表示装置であればよい。
【0011】
画像信号受信処理部4は、放送またはネットワークを介して入力される、符号化された2次元画像信号2または符号化された多視差画像信号3aを受信して復号化し、復号化された2次元画像信号または多視差画像信号を生成する。復号化された2次元画像信号を表示すると、例えば図2に示すようになる。
【0012】
奥行き情報生成部12は、復号化された2次元画像信号または多視差画像信号を解析し、画像の奥行き情報(デプス情報)を生成する。例えば、図2に示す2次元画像から物体40の奥行き情報を生成する。この奥行き情報の生成は、周知の方法、例えば、特開2000−261828号公報に記載の方法を用いて行う。この方法は、図2に示す背景領域42と、それ以外の領域の像40の信号に分離し、2次元画像の動きベクトルと、上記背景領域42の動きベクトルから、背景領域42の代表動きベクトルを算出し、上記2次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図3に示すように2次元画像信号の画像40の奥行き情報を生成する。
【0013】
多視差画像生成部8は、奥行き情報生成部6で生成された奥行き情報を用いて、例えば9方向から見た多視差画像を生成する。多視差画像生成部8では奥行き情報が手前にあると示されている物体(例えば図2に示す物体40)については、例えば左の方向から見た視差画像としては、その物体40は背景42にある物体よりも右側にずれて見えるので、右側にずらすような処理を画像に対して施すことにより、左の方向から見た視差画像を生成する。このようにして、水平方向に左から右にかけて9個の位置から見た視差画像を生成する。物体の位置をずらす処理を行うことは、本来ならばその背景の画像が見えるはずであるが、入力された画像にその情報はないため、単に画像を歪めるような処理となる。なお、多視差画像生成部8は、画像信号受信処理部4から送信される画像信号に奥行き情報が含まれている場合には、奥行き情報生成部6によって生成された奥行き情報を用いずに、画像信号(破線で示す画像信号)を用いて、多視差画像を生成する。
【0014】
多視差画像受信変換部10は、例えば、入力された多視差画像信号3a、3b、3c、3dを表示パネル20の表示に適した多視差画像に変換して出力する。例えば、入力された多視差画像信号の視差数をN、平面表示装置20の表示に適した視差数をnとしたとき、N>nの場合には入力された多視差画像信号を間引いて視差数がnの多視差画像として出力し、N<nの場合には入力された多視差画像信号を用いて補間することにより視差数がnの多視差画像を生成して出力し、N=nの場合は、入力された多視差画像信号をそのまま多視差画像として出力する。なお、多視差画像信号3a、3b、3c、3dは、放送またはネットワークを介して配信された画像信号であってもよいし、再生されたビデオ画像信号、またはPC(Personal Computer)で生成した多視差画像信号であってもよい。したがって、多視差画像受信変換部10は、入力された多視差画像信号3a、3b、3c、3dが符号化された画像信号の場合は復号化し、この復号化された多視差画像信号を、表示するのに適した多視差画像に変換して出力する。本実施形態においては、多視差画像受信変換部10は、多視差画像信号3a、3b、3c、3dがそれぞれ入力されるための端子、すなわち4個の入力端子を備えている。
【0015】
メッセージ生成部12は、電源がオンされたときに、平面表示装置20に表示するための鮮明な多視差画像を生成し、この多視差画像中には、正常な立体画像が見える領域(視域)の範囲外に視聴者がいる場合に、それを知らせるメッセージを含んでいる。このメッセージは、言葉を含む画像であってもよいし、警告画像であってもよい。そして、このメッセージは、視域内にいる視聴者には見えないように、表示する。すなわち、表示パネル20から視域外に出射される光線の出射元の画素からメッセージの信号が出力されるようにする。なお、メッセージ生成部12は、予め平面表示装置20に表示するための鮮明な多視差画像を記憶しておき、電源がオンされたときに、この記憶していたメッセージ付きの多視差画像を出力するようにしてもよい。
【0016】
選択部14は、制御部16からの制御信号に基づいて、多視差画像生成部8から出力された多視差画像、多視差画像受信変換部10から出力された多視差画像のいずれかの多視差画像を選択し、この選択された多視差画像と、メッセージ生成部12によって生成された多視差画像とを立体画像変換部18に送出する。
【0017】
制御部16は、視聴者が操作することにより発生する信号、例えば図示しないリモートコントローラを操作することにより発生される信号(例えば、赤外線による信号)に基づいて制御信号を発生し、この制御信号によって制御部選択部14を制御することができるとともに、電源がオンされたときに、メッセージ生成部12によって生成された多視差画像を選択して立体画像変換部18に送出する。
【0018】
立体画像変換部18は、選択部14を介して送出された多視差画像を、平面表示装置20の射出瞳ごとに各視差画像の構成要素である画素を並び替えて立体画像表示用の画像を平面表示装置20に送る。なお、各視差画像が3個のサブ画素(例えば、R(赤)、G(緑)、B(青))から構成されている場合には、画素単位の情報をサブ画素単位で並び替える処理を行って立体画像表示用の画像を生成する。また、特開2006−98779号公報に示すように、視差画像のうち実際に必要な部分のみをまとめることにより視差画像の伝送や圧縮に向くフォーマット(例えば、タイル画像)に変換してもよい。
【0019】
平面表示装置20は、立体画像変換部18から送られてくる立体画像表示用の画像を表示する。
【0020】
多視差画像生成部8で生成される多視差画像は原理的に擬似的な立体画像となる。一方、9台のカメラで撮影した画像や、CG(コンピーターグラフィックス)で画像を生成する場合は、9方向から見た画像を忠実に得ることができるため、これがそのまま平面表示装置20で表示すれば、よりきれいな立体画像を見ることができる。
【0021】
今、多視差画像信号3a、3b、3c、3dを9視差の画像信号とすると、9視差画像信号は、単純には通常の画像(2次元画像)の9視差分の画像となり、画素数は通常の画像の9倍の画素数が必要となる。例えば、通常の画像が1280×720の画素数の場合は、この9倍の画像、例えば縦横3倍ずつとすると、図4に示す3840×2160画素を有する画像が、多視差画像受信変換部10の4個の入力端子に入力される。ちょうどこれは、フルハイビジョンテレビ(1920×1080)の4倍となっており、フルハイビジョンテレビの画像伝送ができるHDMI(High-Definition Multimedia Interface)やDVI(Digital Visual Interface)の端子4つで受信することができる。図4に示す画像は9個の視差画像30a〜30iからなっており、それぞれの視差画像30j(j=a,・・・,i)を図4に示す画像として表示した場合の画素配列を図5に示す。記号j(l、k)は、視差画像30jのl列k行の画素の輝度値を示す。
【0022】
また、例えば表示パネル20の解像度が640×360である場合は9個分で1920×1080の画素に配置することができる。つまりHDMI端子ひとつで9視差の画像が収まる。本実施形態における画像受信処理部4の入力端子はHDMI端子ひとつの場合の例である。ここに通常の画像と9視差画像(この場合は640×360が9個)の画像を受信する。画像受信処理部4でOSD(オンスクリーンディスプレー)を重ねたり、グラフィックスを嵌め込むなどしてもよい。この画像受信処理部4の出力、あるいは多差画像受信変換部10に入力される9視差画像信号3a、3b、3c、3dの1画面に配置された9視差画像30a〜30iを分離し、図6に示すような形にする。この場合、図6に示す9個の視差画像30a〜30iの画素配列を図7に示す。記号j(l、k)は、視差画像30jのl列k行の画素の輝度値を示す。
【0023】
次に、本実施形態の多視差画像受信装置の動作を説明する。
【0024】
まず、本実施形態の多視差画像受信装置の電源がオンされると、メッセージ生成部12によって生成されたメッセージを含む多視差画像が制御部16によって選択されて、立体画像変換部18に送られ、立体画像変換部18によって立体画像表示用の画像に変換され、平面表示装置20によって立体画像が表示される。このとき、表示される立体画像は、メッセージ生成部12によって生成された鮮明な多視差画像に基づいているので、鮮明な立体感のある画像となる。また、メッセージ生成部12によって生成されたメッセージを含む多視差画像には、正常な立体画像が見える領域(視域)の範囲外に視聴者がいる場合に、それを知らせるメッセージを含んでいるので、視聴者が視域外にいるときには、それを視聴者が知ることが可能となり、視聴者が視域で視聴することができ、正常な立体画像を見ることを可能にする。
【0025】
なお、メッセージ生成部12によって生成されたメッセージを含む多視差画像による立体画像の表示は、電源がオンされてから所定の時間表示し、その後に、多視差画像生成部8または多視差画像受信変換部10から出力された多視差画像を選択するように制御部16が制御してもよい。
【0026】
また、メッセージ生成部12によって生成された多視差画像による立体画像の表示中に、視聴者が例えばリモートコントローラを操作することにより、多視差画像生成部8または多視差画像受信変換部10から出力された多視差画像を選択するように制御部16を制御してもよい。
【0027】
なお、視域外に視聴者がいる場合を知らせるメッセージは、多視差画像生成部8または多視差画像受信変換部10から出力された多視差画像が選択された後も平面表示装置20で表示されるようにしてもよい。
【0028】
制御部16によって、多視差画像生成部8または多視差画像受信変換部10から出力された多視差画像が選択されると、この選択された多視差画像が立体画像変換部18によって立体画像表示用の画像に変換され、立体画像が平面表示装置20によって表示される。
【0029】
以上説明したように、本実施形態によれば、放送またはネットワークを介して配信された画像を受信して多視差画像に変換して表示するとともに、入力された多視差画像を表示に適した多視差画像に変換して表示することができ、かつ電源がオンされたときに鮮明な立体感のある画像を表示することができる。すなわち、通常の画像入力に対しても、多視差画像入力に対しても、良好な立体画像を作成し、表示することができる。
【0030】
通常の放送や現行のDVDなどでは、このような画像を入手することはできない。しかし、本実施形態においては、通常の放送や現行のDVDなどからの画像信号に基づいて、多視差画像生成部8で擬似的ではあるが多視差画像を生成して立体画像を表示することができるとともに、例えば、PCで生成した多視差画像を受信して、鮮明な立体感を持った画像を表示することができる。
【0031】
(第2実施形態)
次に、第2実施形態による多視差画像受信装置を図8に示す。この第2実施形態の多視差画像受信装置は、図1に示す第1実施形態において、メッセージ生成部12によって生成されたメッセージを含む多視差画像を選択部14に入力する代わりに、多視差画像受信変換部10に入力するように構成されている。
【0032】
本実施形態においては、電源がオンされると、メッセージ生成部12によって生成されたメッセージを含む多視差画像が多視差画像受信変換部10に送られ、制御部16によって選択されて、立体画像変換部18に送られ、立体画像変換部18によって立体画像表示用の画像に変換され、平面表示装置20によって立体画像が表示される。このとき、表示される立体画像は、メッセージ生成部12によって生成された鮮明な多視差画像に基づいているので、鮮明な立体感のある画像となる。また、メッセージ生成部12によって生成されたメッセージを含む多視差画像には、正常な立体画像が見える領域(視域)の範囲外に視聴者がいる場合に、それを知らせるメッセージを含んでいるので、視聴者が視域外にいるときには、それを視聴者が知ることが可能となり、視聴者が視域で視聴することができ、正常な立体画像を見ることを可能にする。
【0033】
なお、メッセージ生成部12によって生成されたメッセージを含む多視差画像による立体画像の表示は、電源がオンされてから所定の時間表示し、その後に、多視差画像生成部8から出力される多視差画像(メッセージ生成部12によって生成された多視差画像を含まない多視差画像)または多視差画像受信変換部10から出力された多視差画像を選択するように制御部16が制御してもよい。
【0034】
また、メッセージ生成部12によって生成された多視差画像による立体画像の表示中に、視聴者が例えばリモートコントローラを操作することにより、多視差画像生成部8から出力される多視差画像(メッセージ生成部12によって生成された多視差画像を含まない多視差画像)または多視差画像受信変換部10から出力された多視差画像を選択するように制御部16を制御してもよい。
【0035】
なお、視域外に視聴者がいる場合を知らせるメッセージは、多視差画像生成部8から出力される多視差画像(メッセージ生成部12によって生成された多視差画像を含まない多視差画像)または多視差画像受信変換部10から出力された多視差画像が選択された後も平面表示装置20で表示されるようにしてもよい。
【0036】
以上説明したように、本実施形態も第1実施形態と同様に、放送またはネットワークを介して配信された画像を受信して多視差画像に変換して表示するとともに、入力された多視差画像を表示に適した多視差画像に変換して表示することができ、かつ電源がオンされたときに鮮明な立体感のある画像を表示することができる。すなわち、通常の画像入力に対しても、多視差画像入力に対しても、良好な立体画像を作成し、表示することができる。
【0037】
また、上記第1および第2実施形態の多視差画像受信装置は、表示装置を備えていたが、表示装置を有しない映像記録再生装置、例えばDVDプレイヤー等に用いることができる。
【0038】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0039】
2 2次元画像信号
3a、3b、3c、3d 多視差画像信号
4 画像信号受信部
6 奥行き情報生成部
8 多視差画像生成部
10 多視差画像受信変換部
12 メッセージ生成部
14 選択部
16 制御部
18 立体画像変換部
20 平面表示装置
20a 表示パネル
20b 光線制御素子

【特許請求の範囲】
【請求項1】
マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、受信された画像信号に基づいて生成する多視差画像表示装置であって、
前記表示装置に表示するためのメッセージを含む多視差画像を生成する生成部と、
を備え、
前記多視差画像に含まれる前記メッセージは視聴者が、正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示されることを特徴とする多視差画像表示装置。
【請求項2】
マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、受信された画像信号に基づいて生成する多視差画像表示装置であって、
前記表示装置に表示するためのメッセージを含む多視差画像を生成する生成部と、
を備え、
前記多視差画像に含まれる前記メッセージは視聴者が、正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは、正常な立体画像を見える領域の範囲内にいる視聴者には正常な立体画像を見える領域外にいる視聴者よりも見えないように表示されることを特徴とする多視差画像表示装置。
【請求項3】
マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、入力された画像を処理することにより生成する画像処理装置であって、
入力された画像信号に基づいて生成される第1の多視差画像と、前記表示装置に表示するためのメッセージを含む第2の多視差画像のうちから、前記第2の多視差画像を選択して出力し、その後は制御信号に基づいて前記第1の多視差画像を選択して出力する選択部と、
前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、
を備え、
前記多視差画像に含まれる前記メッセージは視聴者が正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示されることを特徴とする画像処理装置。
【請求項4】
マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、入力された画像を処理することにより生成する画像処理装置であって、
入力された画像信号に基づいて生成される第1の多視差画像と、前記表示装置に表示するためのメッセージを含む第2の多視差画像のうちから、前記第2の多視差画像を選択して出力し、その後は制御信号に基づいて前記第1の多視差画像を選択して出力する選択部と、
前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、
を備え、
前記多視差画像に含まれる前記メッセージは視聴者が正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは、正常な立体画像を見える領域の範囲内にいる視聴者には正常な立体画像を見える領域外にいる視聴者よりも見えないように表示されることを特徴とする画像処理装置。
【請求項5】
前記メッセージを含む多視差画像を記憶する記憶部を備える請求項3または4記載の画像処理装置。
【請求項6】
受信した多視差画像信号を多視差画像に変換する多視差画像変換部を備え、
前記メッセージを含む多視差画像は前記多視差画像変換部を介さずに前記選択部に入力される請求項3乃至5のいずれかに記載の画像処理装置。

【図1】
image rotate

【図5】
image rotate

【図7】
image rotate

【図8】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図6】
image rotate


【公開番号】特開2012−178863(P2012−178863A)
【公開日】平成24年9月13日(2012.9.13)
【国際特許分類】
【出願番号】特願2012−107372(P2012−107372)
【出願日】平成24年5月9日(2012.5.9)
【分割の表示】特願2010−224081(P2010−224081)の分割
【原出願日】平成22年10月1日(2010.10.1)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】