立体画像表示装置、方法およびプログラム
【課題】多重ボケを低減する。
【解決手段】立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する。表示部は最適要素画像を表示することを特徴とする。
【解決手段】立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する。表示部は最適要素画像を表示することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、立体画像表示装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、裸眼で観察可能な立体画像を表示する装置が開発されている。この立体画像表示装置の1つとして、観察者が移動したときに視点に応じて像が連続的に変化して見えるインテグラル・イメージング方式(以下II方式と称す)が知られている。このII方式では、従来の2次元画像を表示する2次元画像表示装置の前面に、光線の方向とその散らばり(光線分布)を制御する複数のレンズやバリアなどの光線制御子を設置し、観察者の右目と左目に異なる画像を提示する。これにより、観察者は両眼視差から奥行きと立体感を知覚する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−212666号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1のII方式の立体画像表示装置をある視点から片目で観察したときにその目に届く光(以下観測画像と称す)には、多重像もしくはボケが発生する問題がある。以下では多重像もしくはボケを多重ボケと呼ぶ。
【0005】
本実施形態は、多重ボケを低減する立体画像表示装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する。表示部は前記最適要素画像を表示することを特徴とする。
【0007】
また実施形態によれば、立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する。表示部は前記最適要素画像を表示することを特徴とする。
【図面の簡単な説明】
【0008】
【図1】立体画像表示装置の模式図。
【図2】立体画像表示装置の一部分を拡大した図。
【図3】II方式における立体映像の見え方を表す概念図。
【図4】要素画像とタイル画像の関係を表す概念図。
【図5】多重ボケが発生する原因を説明するための図。
【図6】多重ボケが発生する様子を表した概念図。
【図7】第1の実施形態に係わる立体画像表示装置を示すブロック図。
【図8】第1の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図9】第1の実施形態に係わる立体画像表示装置のハードウェア構成を表す図。
【図10】第2の実施形態に係わる立体画像表示装置を示すブロック図。
【図11】第2の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図12】第2の実施形態において問題を解決する手法を示す概念図。
【図13】第2の実施形態での処理内容を説明するための図。
【図14】第3の実施形態に係わる立体画像表示装置を示すブロック図。
【図15】第3の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図16】第4の実施形態に係わる立体画像表示装置を示すブロック図。
【図17】第4の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図18】第4の実施形態における立体画像表示装置の外観を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本発明の実施形態に係る立体画像表示装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
まず、多重ボケの発生原理について図1から図6を参照して説明する。
前述したようにII方式の立体画像表示装置100に含まれる2次元画像表示装置101の前方には、観察者の右目と左目に異なる画像を届けるための光線制御子102としてレンズ・アレイが配置される。特に、水平方向にのみ光線を制御するレンチキュラー・シートが用いられる方式を1次元II(以下1D−II)方式と呼ぶ。次に、図1の領域103を拡大した図を図2に示す。図2に示すように、2次元画像表示装置(液晶ディスプレイやCRTディスプレイ)の画素から発せられる光線は、レンズ201に入射し、進行方向と散らばりが制御されてディスプレイ前面に向けて射出される。観察者の両目に届く光線は、図3に示すように、両眼視差の効果によりあたかもディスプレイ面の前後に存在する物体から出ているように見え、観察者は立体像を視認する。図2における、視差番号とはレンズに対する相対位置が同じ画素に割り振られる番号である。例えば、レンズに所定の基準点を決め、画像の位置する順番に順に番号をふって、視差番号とする。また、以下視差番号の最大値を視差数と呼ぶ。ディスプレイ面上で発光させる表示データを要素画像と呼び、要素画像から同じ視差番号の画素を視差番号毎にまとめた画像をタイル画像と呼ぶ(図4参照)。図4に示す「A」から「F」までのそれぞれの例では、(1)、(2)および(3)の視差番号を有する3つの画素202からなる1つの要素画像がある。図4はタイル画像の幅は3、高さが2の場合である。
【0010】
ある視点で片目に届く光について説明する。説明を簡単にするために、1D−II方式の場合を例にとって説明する。図5にレンズ201が1つ、タイル画像数が3つ、各タイル画像の幅と高さが共に1(この場合画素となる)の光線分布の模式図を示す。1つの画素から発せられた光線はレンズに入射し、制御された方向に射出される。光線は散らばりを持つため、レンズから一定距離、離れた位置でその光線の強度を計測すると、図5に示すようにある一定の範囲に分布する。ここで、横軸が位置、縦軸が強度を表し、画素501の光線分布が506、画素502の光線分布が505、画素503の光線分布が504である。ある視点からこのレンズを観察したときに目に届く光はこの光線分布に従って、各画素の画素値が重ね合わされた(例えば混色された)ものになる。例えば、位置507からこのレンズを観察したときに目に届く光は各光線分布の位置507における値508、509、510を重みとして、画素501、502、503の値を重み付き加算したものとなる。
【0011】
複数のレンズの場合も同様に、II方式の立体画像表示装置をある視点から片目で観察したときに見える観測画像は、複数のタイル画像の各画素がその視点における光線分布の強度によって重なり合った重ね合わせ画像である。前述の通りタイル画像は両眼視差の効果を出すために物体の位置がずれた画像である。従って、それらタイル画像の重ね合わせ画像には多重ボケが発生する。例えば図6に示すように、タイル画像のそれぞれを、異なる位置から同じ被写体を撮像した画像に設定した場合、ある視点での観測画像は、異なる位置での撮像画像が互いに重なり合った画像となり、多重ボケが発生する。視点によって、光線分布が異なるため、観測画像は視点によって異なる画像となる。
【0012】
なお、実施形態では一例として視差数が3の場合について説明しているが、視差数は任意の値に設計することができ例えば視差数を9としてもよい。この場合での実施形態での説明は視差数が3の場合の説明と同様になる。
【0013】
(第1の実施形態)
第1の実施形態に係わる立体画像表示装置700について図7を参照して説明する。図7は、第1の実施形態に係わる立体画像表示装置700を示すブロック図である。
【0014】
この第1の実施形態に係わる立体画像表示装置700は、最適要素画像生成部701と、表示部702とを含む。最適要素画像生成部701は最適な要素画像を生成する。表示部702は上述した、2次元画像表示装置101および光線制御子102を含んでいる。
【0015】
最適要素画像生成部701は、初期要素画像751を入力してこの画像から最適な要素画像である最適要素画像752を生成する。初期要素画像751は、例えば特開2004−212666号公報に記載の手法で生成された要素画像の初期値画像である。最適要素画像生成部701は初期要素画像を生成する前の原画像等から最適要素画像752を生成してもよい。最適要素画像生成部701は、生成または入力した仮の要素画像である初期要素画像751の2つ以上の画素の値と、光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定することで、観測画像に多重ボケが生じないように初期要素画像751を変換して最適要素画像752を生成する。
【0016】
表示部702は、2次元画像表示装置101および光線制御子102を含む。2次元画像表示装置101は、複数の画素がマトリクス状に配置された表示面を有して、2次元平面上に画像を表示する。光線制御子102は、複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する。
【0017】
次に、第1の実施形態に係わる立体画像表示装置700の動作について図7および図8を参照して説明する。図8は第1の実施形態に係わる立体画像表示装置700の動作の一例を示すフローチャートである。
【0018】
ステップS801では、最適要素画像生成部701が初期要素画像751を入力してこの画像から最適な要素画像である最適要素画像752を生成する。
【0019】
表示ステップS802では、表示部702は、最適要素画像752を入力しこの画像を表示し、観察者に立体像を提示する。
【0020】
次に、立体画像表示装置700のハードウェア構成について図9を参照して説明する。なお、このハードウェア構成は第1の実施形態の立体画像表示装置700だけではなく、他の実施形態の立体画像表示装置でも同様である。
【0021】
立体画像表示装置700は、CPU(Central Processing Unit)901、表示部702、記憶部902を備え、各部はバス903により接続されている。
CPU901は、記憶部902、例えばRAM(Random Access Memory)の所定領域を作業領域として、ROM(Read Only Memory)に予め記憶された各種制御プログラムとの協働により各種処理を実行し、立体画像表示装置700を構成する各部の動作を統括的に制御する。また、CPU901は、記憶部902に予め記憶された所のプログラムとの協働により、上述した最適要素画像生成部701の機能を実現させる。
【0022】
記憶部902は、磁気的又は光学的に記録可能な記憶媒体を有し、取得された画像信号や、図示しない通信部やI/F(インターフェース)等を介して外部から入力される画像信号等のデータを記憶する。例えばROMに、立体画像表示装置700の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。例えばRAMは、SDRAM等の記憶手段であって、CPU901の作業エリアとして機能し、バッファ等の役割を果たす。
以上の第1の実施形態によれば、観測画像に多重ボケが生じない最適要素画像752を加重和によって生成するため、多重ボケを低減できる。
【0023】
(第2の実施形態)
第2の実施形態に係わる立体画像表示装置1000について図10を参照して説明する。図10は、第2の実施形態に係わる立体画像表示装置1000を示すブロック図である。第1の実施形態とは最適要素画像生成部が異なる。
【0024】
最適要素画像生成部1001は、初期要素画像751だけでなく、目的画像1052も入力して、これらの画像から最適な要素画像である最適要素画像752を生成する。目的画像1052は、観察者が立体画像表示装置1000を少なくとも1つの視点から片目で見たときに観察させたい画像である。
【0025】
次に、第2の実施形態に係わる立体画像表示装置1000の動作について図10および図11を参照して説明する。図11は、第2の実施形態に係わる立体画像表示装置1000の動作の一例を示すフローチャートである。
【0026】
ステップS1101では、最適要素画像生成部1001が初期要素画像751と目的画像1052を入力して、最適要素画像752を生成する。最適要素画像生成部1001は、目的画像1052に含まれる2つ以上の画素の値と、光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定することで、図12に示すように観測画像が目的画像になるように、初期要素画像751を変換して最適要素画像752を生成する。
【0027】
目的画像としては、任意に定めた視点から観察者に観察させたい画像を設定する。例えば、立体画像表示装置1000に表示させる物体を異なる位置で撮像した複数の視差画像の中から、その視点に対応する位置から撮像した視差画像を目的画像として用いれば、その物体をその位置から見た場合の、多重ボケのない視差画像を観察者に提示できる。目的画像を設定する視点は、その視点における観測画像を目的画像に制約することになるため、以下、制約視点と呼ぶ。また、目的画像は、物体を異なる位置で撮像した複数の視差画像の中から選択しなければならないわけではなく、この物体とは全く異なるものを含んだ画像でもよい。この場合には最適要素画像生成部が目的画像を入力することは必須となる。換言すれば、第2の実施形態の立体画像表示装置1000により目的画像が初期要素画像とは全く異なるものを含む画像である場合に見ることができる画像を、第1の実施形態の立体画像表示装置700では見ることができない。逆に、第2の実施形態の立体画像表示装置1000において目的画像が初期要素画像に含まれるものである場合には、第1の実施形態の立体画像表示装置700でも同様な画像を見ることができる。
【0028】
以下に、重みおよび初期要素画像の変換方法の一例について説明する。
議論を簡単にするために、図13に示すようにレンズ201が1つ、制約視点が1つ(u1)、タイル画像数が3つ、各タイル画像の幅と高さが共に1の場合について説明する。2次元画像表示装置に表示された3つのタイル画像(この例ではそれぞれ1画素のみから構成される画像)の輝度値をx1、x2、x3とし、各視点の位置uに関する画素i(=1,2,3)からの光線分布の強度を表す関数、すなわち、画素i(=1,2,3)の位置uに関する光線分布を表す関数をa1(u)、a2(u)、a3(u)とする。視点u1で観察される観測画像は1画素のみから構成され、その唯一の画素の輝度値y(u1)は以下の式で表される。
【数1】
【0029】
従って、視点u1で画像y(u1)あるいはそれに近い画像を観測させるためには、以下のエネルギー関数が最も小さくなるx1、x2、x3をタイル画像とすればよいことがわかる。すなわち、y(u1)とa1(u)、a2(u)、a3(u)とを既知としてエネルギー関数が最も小さくなるx1、x2、x3を求める。
【数2】
【0030】
上述の例を一般化するとエネルギー関数は数式3のように表される。
【数3】
【0031】
ここで、Xは求める要素画像の画素数の次元のベクトル、Yは1つ以上の制約視点での目的画像の画素値を一列に並べたベクトル、Aは光線分布の制約視点での値から構成される行列である。
【0032】
上述のエネルギー関数を最小化する最適要素画像752は次式で与えられる。
【数4】
【0033】
は例えば、次の数式5のようにムーアペンローズの一般逆行列を用いて算出することができる。
【数5】
【0034】
ここで、A†はムーアペンローズの一般逆行列、Iは単位行列を表す。ZはXと同じサイズの任意のベクトルである。ここで、制約視点の数が視差数より少ない場合は劣決定問題となる。解を一意に定めるには、Zの値を定める必要がある。以下ではZとして定めた値をZ0で表す。例えば、制約視点以外の視点からの画質を劣化させないために、Z0には初期要素画像751を用いることができる。
【0035】
また、制約視点の数が視差数より多く、優決定問題である場合は数式3のエネルギー関数を最小化する数式4で示される最適要素画像は以下のようになる。この場合、最適要素画像生成部1001は初期要素画像751を入力せず、目的画像1052のみを入力する。ここで、A†は予め計算しておき、テーブルとして最適要素画像生成部1001の内部に保持しておくことができる。この場合のブロック図は省略するが、図10で初期要素画像751がない場合に相当する。
【数6】
【0036】
行列Aは立体画像表示装置1000の光線制御子と目的画像を設定する制約視点に固有の値であるため、制約視点を事前に決定すれば、一般逆行列A†は予め計算しておくことができる。すなわち、制約視点を決定しておけば、一般逆行列A†はテーブルとして立体画像表示装置1000が記憶しておくことができる。立体画像表示装置1000は例えばROM904に一般逆行列A†のテーブルを記憶する。更に、目的画像YがZ0の線形変換で表せる場合、Yは数式7で表わせる。
【数7】
【0037】
ここで、TはZ0をYに変換する行列である。このとき、数式7を数式5に代入して更にZをZ0に置き換えることで、数式8が得られる。
【数8】
【0038】
ここで、Hは次の数式で示される。
【数9】
【0039】
この行列Hが上述した重みの一例である。この重みはテーブルとして最適要素画像生成部1001の内部に保持しておくことができる。例えばこのテーブルに含める値は製造時に決定してもよい。II方式の場合、1つのレンズに対応する視差数分の画素毎に上述のフィルタを構成することができる。例えば、図13のような1D−II方式の場合、Z0は3つの画素値x1、x2、x3を一列に並べたベクトル、Xは3次元ベクトル、Hは(3,3)型行列となる。従って、Xハットの各要素、すなわち、最適要素画像生成部1001の各画素は、Z0に対する3タップのフィルタで計算できる。なお、上述の例では視差数が3であったが,その他の値、例えば視差数が9の場合も同様に重みを計算することができる。
【0040】
また、数式4の左辺である最適要素画像752は、最急降下法や共役勾配法などの繰り返し計算を用いて算出できる。繰り返し計算を用いる場合も数式8と同様の形で表現することができる。例えば、繰り返し計算として最急降下法を用いる場合、t+1回目の繰り返し処理は以下の式で表せる。
【数10】
【0041】
ここで、εは定数である。このときYがXtの線形変換で表せる場合、Yは以下の式で表せる。
【数11】
【0042】
ここで、Tt’はXtをYに変換する行列である。このとき、数式10を数式9に代入することで、以下の式が得られる。
【数12】
【0043】
ここで、Ht’は以下の数式で表される。
【数13】
【0044】
n回の繰り返し処理を行う場合、数式4の左辺は以下の式で表せる。
【数14】
【0045】
ここで、制約視点以外の視点からの画質を劣化させないために、X0には初期要素画像751を用いることができる。
【0046】
(変形例) エネルギー関数の変形
エネルギー関数には、正則化項を加えた数式13に示すものを用いてもよい。
【数15】
【0047】
ここで、Rは微分を表す行列を表し、α、βは定数、ZはXと同じサイズのベクトルである。例えば、制約視点以外の視点からの画質を劣化させないために、Zには初期要素画像751を用いることができる。数式13のエネルギー関数を最小化する数式4の左辺は、ムーアペンローズの一般逆行列を用いて算出することができる。
【数16】
【0048】
また、以下のエネルギー関数を用いて、最急降下法や共役勾配法などの繰り返し計算で算出することもできる。
【数17】
【0049】
例えば、繰り返し計算として最急降下法を用いる場合、t+1回目の繰り返し処理は以下の式で表せる。
【数18】
【0050】
ここで、εは定数である。このときYがXtの線形変換で表せる場合、Yは以下の式で表せる。
【数19】
【0051】
ここで、Tt’はXtをYに変換する行列である。このとき、数式17を数式16に代入することで、以下の式が得られる。
【数20】
【0052】
ここで、Ht”は次の数式で表すことができる。
【数21】
【0053】
n回の繰り返し処理を行う場合、数式4の左辺は以下の式で表せる。
【数22】
【0054】
ここで、制約視点以外の視点からの画質を劣化させないために、X0には初期要素画像751を用いることができる。
【0055】
なお、制約視点の数は複数でもよく、制約視点の数が変化しても、計算する際の行列の大きさは変化しないので処理量は変わらない。
【0056】
このように、数式13に示す変形したエネルギー関数を用いた場合でも、目的画像に多重ボケのない画像を用いて、観測画像が目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また、要素画像に黒画素を挿入しないため、観測画像の輝度を低下させない。更に、正則化項の効果により、数式4の左辺である最適要素画像に不連続な破綻を防止し、自然な最適要素画像を生成することができる。
【0057】
以上の第2の実施形態によれば、目的画像に多重ボケのない画像を用いて、観測画像が目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また目的画像は任意に設定することができるため、制約視点での観測画像を任意に設計することができる。
【0058】
(第3の実施形態)
第3の実施形態に係わる立体画像表示装置1400について図14を参照して説明する。本実施形態の立体画像表示装置1400は、第2の実施形態の立体画像表示装置1000に視差画像生成部1401を追加したものである。
【0059】
視差画像生成部1401は、モデリングデータ1451を入力し、このデータから1つ以上の所定の視点から見たときの視差画像を生成し、この視差画像を目的画像1052として出力する。モデリングデータ1451は、立体画像表示装置1400に表示させる物体の3次元座標と輝度値を表す。視差画像生成部1401は、モデリングデータ1451を入力し、例えばCG(computer graphics)レンダリングを行って視差画像を生成する。
【0060】
次に、第3の実施形態に係わる立体画像表示装置1400の動作について図14および図15を参照して第2の実施形態とは異なる部分のみ説明する。図15は、第3の実施形態に係わる立体画像表示装置1400の動作の一例を示すフローチャートである。
【0061】
ステップS1501では、視差画像生成部1401が、モデリングデータ1451を入力し、このデータから1つ以上の所定の視点から見たときの視差画像を生成し、この視差画像を目的画像1052として出力する。
【0062】
以上の第3の実施形態によれば、観測画像が多重ボケのない目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また、目的画像となる視差画像をモデリングデータから自由に生成することができるため、予め制約視点における視差画像を撮像しておく必要が無い。
【0063】
(第4の実施形態)
第4の実施形態に係わる立体画像表示装置1600について図16を参照して説明する。本実施形態の立体画像表示装置1600は、第2の実施形態の立体画像表示装置1000に検出部1603および取得部1602を追加したものである。
【0064】
図18に示すように第4の実施形態に係わる立体画像表示装置1600には、立体画像表示装置1600を見ている観察者の頭部位置を検出するためにカメラ1801を設置する。
【0065】
取得部1602は、カメラ1801からの映像を取得してカメラ映像1651を出力する。
【0066】
検出部1603は、カメラ映像1651を入力しカメラ映像1651から顔検出により、1人以上の観察者の顔の領域を検出し、右目あるいは左目あるいは両目の位置を設定し、立体画像表示装置1600から見たときの観察者の空間的なX、Y座標を特定する。目の位置は例えば、顔領域内で統計的に目の存在する確率の最も高い位置を設定することができる。または、カメラ映像1651から目検出によって右目あるいは左目あるいは両目の位置を検出することもできる。または、カメラ映像1651に写っている顔の大きさを用いて、立体画像表示装置1600と観察者との距離を推定して、立体画像表示装置1600から見たときの観察者の空間的なZ座標を特定することもできる。これらX、Y、Z座標の1つ以上を観察者位置1652として出力する。
【0067】
最適要素画像生成部1601は、初期要素画像751と目的画像1052と観察者位置1652とを入力し、観察者位置1652を制約視点とすること以外は第2の実施形態の最適要素画像生成部1001と同様にして、最適要素画像752を生成する。
【0068】
次に、第4の実施形態に係わる立体画像表示装置1600の動作について図16および図17を参照して説明する。図17は、第4の実施形態に係わる立体画像表示装置1600の動作の一例を示すフローチャートである。
【0069】
ステップS1701では、取得部1602がカメラ1801からの映像を取得してカメラ映像1651を出力する。
【0070】
ステップS1702では、検出部1603が、カメラ映像1651を入力しカメラ映像1651から顔検出により、1人以上の観察者の顔の領域を検出し、右目あるいは左目あるいは両目の位置を設定し、立体画像表示装置1600から見たときの観察者の空間的なX、Y座標を特定する。
【0071】
ステップS1703では、最適要素画像生成部1601が、初期要素画像751と目的画像1052と観察者位置1652とを入力し、観察者位置1652を制約視点とすること以外は第2の実施形態の最適要素画像生成部1001と同様にして、最適要素画像752を生成する。
【0072】
このように、第4の実施形態に係わる立体画像表示装置1600によれば、観測画像が多重ボケのない目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また、第2の実施形態では事前に定めた所定の制約視点でしか観察者に目的画像を視認させられないのに対し、第4の実施形態では、カメラ1801により検出した観察者の位置に合わせて最適要素画像を生成することができるため、1人以上の観察者の右目あるいは左目あるいは両目の位置で目的画像を視認させることができる。
【0073】
以上の第4の実施形態によれば、表示画像の輝度を低下させることなく、多重ボケを低減することが可能となる。
【0074】
例えば多重ボケ低減のために、隣接する2画素のうちの1画素に黒を表示し、隣接する画素の光線分布の重なりを少なくすることができるが、要素画像に黒画素を挿入すると観測画像の輝度を低下させる。本実施形態によれば、表示画像の輝度を低下させることなく、多重ボケを低減することが可能になる。
【0075】
なお、これら立体画像表示装置において、視差画像生成部1401、取得部1602、検出部1603、および最適要素画像生成部701、1001、1601は、汎用のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【0076】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の立体画像表示装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の立体画像表示装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
更に、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【0077】
なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
【0078】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0079】
100…立体画像表示装置、101…2次元画像表示装置、102…光線制御子、103…領域、201…レンズ、202、501、502、503…画素、507…位置、508、509、510…値、700…立体画像表示装置、701…最適要素画像生成部、702…表示部、751…初期要素画像、752…最適要素画像、901…CPU、902…記憶部、903…バス、1000、1400、1600…立体画像表示装置、1001、1601…最適要素画像生成部、1052…目的画像、1401…視差画像生成部、1451…モデリングデータ、1602…取得部、1603…検出部、1651…カメラ映像、1652…観察者位置、1801…カメラ。
【技術分野】
【0001】
本発明の実施形態は、立体画像表示装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、裸眼で観察可能な立体画像を表示する装置が開発されている。この立体画像表示装置の1つとして、観察者が移動したときに視点に応じて像が連続的に変化して見えるインテグラル・イメージング方式(以下II方式と称す)が知られている。このII方式では、従来の2次元画像を表示する2次元画像表示装置の前面に、光線の方向とその散らばり(光線分布)を制御する複数のレンズやバリアなどの光線制御子を設置し、観察者の右目と左目に異なる画像を提示する。これにより、観察者は両眼視差から奥行きと立体感を知覚する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−212666号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1のII方式の立体画像表示装置をある視点から片目で観察したときにその目に届く光(以下観測画像と称す)には、多重像もしくはボケが発生する問題がある。以下では多重像もしくはボケを多重ボケと呼ぶ。
【0005】
本実施形態は、多重ボケを低減する立体画像表示装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する。表示部は前記最適要素画像を表示することを特徴とする。
【0007】
また実施形態によれば、立体画像表示装置は、表示部と、最適要素画像生成部と、を具備する。表示部は、複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む。最適要素画像生成部は、前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する。表示部は前記最適要素画像を表示することを特徴とする。
【図面の簡単な説明】
【0008】
【図1】立体画像表示装置の模式図。
【図2】立体画像表示装置の一部分を拡大した図。
【図3】II方式における立体映像の見え方を表す概念図。
【図4】要素画像とタイル画像の関係を表す概念図。
【図5】多重ボケが発生する原因を説明するための図。
【図6】多重ボケが発生する様子を表した概念図。
【図7】第1の実施形態に係わる立体画像表示装置を示すブロック図。
【図8】第1の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図9】第1の実施形態に係わる立体画像表示装置のハードウェア構成を表す図。
【図10】第2の実施形態に係わる立体画像表示装置を示すブロック図。
【図11】第2の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図12】第2の実施形態において問題を解決する手法を示す概念図。
【図13】第2の実施形態での処理内容を説明するための図。
【図14】第3の実施形態に係わる立体画像表示装置を示すブロック図。
【図15】第3の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図16】第4の実施形態に係わる立体画像表示装置を示すブロック図。
【図17】第4の実施形態に係わる立体画像表示装置の動作の一例を示すフローチャート。
【図18】第4の実施形態における立体画像表示装置の外観を示す図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本発明の実施形態に係る立体画像表示装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
まず、多重ボケの発生原理について図1から図6を参照して説明する。
前述したようにII方式の立体画像表示装置100に含まれる2次元画像表示装置101の前方には、観察者の右目と左目に異なる画像を届けるための光線制御子102としてレンズ・アレイが配置される。特に、水平方向にのみ光線を制御するレンチキュラー・シートが用いられる方式を1次元II(以下1D−II)方式と呼ぶ。次に、図1の領域103を拡大した図を図2に示す。図2に示すように、2次元画像表示装置(液晶ディスプレイやCRTディスプレイ)の画素から発せられる光線は、レンズ201に入射し、進行方向と散らばりが制御されてディスプレイ前面に向けて射出される。観察者の両目に届く光線は、図3に示すように、両眼視差の効果によりあたかもディスプレイ面の前後に存在する物体から出ているように見え、観察者は立体像を視認する。図2における、視差番号とはレンズに対する相対位置が同じ画素に割り振られる番号である。例えば、レンズに所定の基準点を決め、画像の位置する順番に順に番号をふって、視差番号とする。また、以下視差番号の最大値を視差数と呼ぶ。ディスプレイ面上で発光させる表示データを要素画像と呼び、要素画像から同じ視差番号の画素を視差番号毎にまとめた画像をタイル画像と呼ぶ(図4参照)。図4に示す「A」から「F」までのそれぞれの例では、(1)、(2)および(3)の視差番号を有する3つの画素202からなる1つの要素画像がある。図4はタイル画像の幅は3、高さが2の場合である。
【0010】
ある視点で片目に届く光について説明する。説明を簡単にするために、1D−II方式の場合を例にとって説明する。図5にレンズ201が1つ、タイル画像数が3つ、各タイル画像の幅と高さが共に1(この場合画素となる)の光線分布の模式図を示す。1つの画素から発せられた光線はレンズに入射し、制御された方向に射出される。光線は散らばりを持つため、レンズから一定距離、離れた位置でその光線の強度を計測すると、図5に示すようにある一定の範囲に分布する。ここで、横軸が位置、縦軸が強度を表し、画素501の光線分布が506、画素502の光線分布が505、画素503の光線分布が504である。ある視点からこのレンズを観察したときに目に届く光はこの光線分布に従って、各画素の画素値が重ね合わされた(例えば混色された)ものになる。例えば、位置507からこのレンズを観察したときに目に届く光は各光線分布の位置507における値508、509、510を重みとして、画素501、502、503の値を重み付き加算したものとなる。
【0011】
複数のレンズの場合も同様に、II方式の立体画像表示装置をある視点から片目で観察したときに見える観測画像は、複数のタイル画像の各画素がその視点における光線分布の強度によって重なり合った重ね合わせ画像である。前述の通りタイル画像は両眼視差の効果を出すために物体の位置がずれた画像である。従って、それらタイル画像の重ね合わせ画像には多重ボケが発生する。例えば図6に示すように、タイル画像のそれぞれを、異なる位置から同じ被写体を撮像した画像に設定した場合、ある視点での観測画像は、異なる位置での撮像画像が互いに重なり合った画像となり、多重ボケが発生する。視点によって、光線分布が異なるため、観測画像は視点によって異なる画像となる。
【0012】
なお、実施形態では一例として視差数が3の場合について説明しているが、視差数は任意の値に設計することができ例えば視差数を9としてもよい。この場合での実施形態での説明は視差数が3の場合の説明と同様になる。
【0013】
(第1の実施形態)
第1の実施形態に係わる立体画像表示装置700について図7を参照して説明する。図7は、第1の実施形態に係わる立体画像表示装置700を示すブロック図である。
【0014】
この第1の実施形態に係わる立体画像表示装置700は、最適要素画像生成部701と、表示部702とを含む。最適要素画像生成部701は最適な要素画像を生成する。表示部702は上述した、2次元画像表示装置101および光線制御子102を含んでいる。
【0015】
最適要素画像生成部701は、初期要素画像751を入力してこの画像から最適な要素画像である最適要素画像752を生成する。初期要素画像751は、例えば特開2004−212666号公報に記載の手法で生成された要素画像の初期値画像である。最適要素画像生成部701は初期要素画像を生成する前の原画像等から最適要素画像752を生成してもよい。最適要素画像生成部701は、生成または入力した仮の要素画像である初期要素画像751の2つ以上の画素の値と、光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定することで、観測画像に多重ボケが生じないように初期要素画像751を変換して最適要素画像752を生成する。
【0016】
表示部702は、2次元画像表示装置101および光線制御子102を含む。2次元画像表示装置101は、複数の画素がマトリクス状に配置された表示面を有して、2次元平面上に画像を表示する。光線制御子102は、複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する。
【0017】
次に、第1の実施形態に係わる立体画像表示装置700の動作について図7および図8を参照して説明する。図8は第1の実施形態に係わる立体画像表示装置700の動作の一例を示すフローチャートである。
【0018】
ステップS801では、最適要素画像生成部701が初期要素画像751を入力してこの画像から最適な要素画像である最適要素画像752を生成する。
【0019】
表示ステップS802では、表示部702は、最適要素画像752を入力しこの画像を表示し、観察者に立体像を提示する。
【0020】
次に、立体画像表示装置700のハードウェア構成について図9を参照して説明する。なお、このハードウェア構成は第1の実施形態の立体画像表示装置700だけではなく、他の実施形態の立体画像表示装置でも同様である。
【0021】
立体画像表示装置700は、CPU(Central Processing Unit)901、表示部702、記憶部902を備え、各部はバス903により接続されている。
CPU901は、記憶部902、例えばRAM(Random Access Memory)の所定領域を作業領域として、ROM(Read Only Memory)に予め記憶された各種制御プログラムとの協働により各種処理を実行し、立体画像表示装置700を構成する各部の動作を統括的に制御する。また、CPU901は、記憶部902に予め記憶された所のプログラムとの協働により、上述した最適要素画像生成部701の機能を実現させる。
【0022】
記憶部902は、磁気的又は光学的に記録可能な記憶媒体を有し、取得された画像信号や、図示しない通信部やI/F(インターフェース)等を介して外部から入力される画像信号等のデータを記憶する。例えばROMに、立体画像表示装置700の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。例えばRAMは、SDRAM等の記憶手段であって、CPU901の作業エリアとして機能し、バッファ等の役割を果たす。
以上の第1の実施形態によれば、観測画像に多重ボケが生じない最適要素画像752を加重和によって生成するため、多重ボケを低減できる。
【0023】
(第2の実施形態)
第2の実施形態に係わる立体画像表示装置1000について図10を参照して説明する。図10は、第2の実施形態に係わる立体画像表示装置1000を示すブロック図である。第1の実施形態とは最適要素画像生成部が異なる。
【0024】
最適要素画像生成部1001は、初期要素画像751だけでなく、目的画像1052も入力して、これらの画像から最適な要素画像である最適要素画像752を生成する。目的画像1052は、観察者が立体画像表示装置1000を少なくとも1つの視点から片目で見たときに観察させたい画像である。
【0025】
次に、第2の実施形態に係わる立体画像表示装置1000の動作について図10および図11を参照して説明する。図11は、第2の実施形態に係わる立体画像表示装置1000の動作の一例を示すフローチャートである。
【0026】
ステップS1101では、最適要素画像生成部1001が初期要素画像751と目的画像1052を入力して、最適要素画像752を生成する。最適要素画像生成部1001は、目的画像1052に含まれる2つ以上の画素の値と、光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定することで、図12に示すように観測画像が目的画像になるように、初期要素画像751を変換して最適要素画像752を生成する。
【0027】
目的画像としては、任意に定めた視点から観察者に観察させたい画像を設定する。例えば、立体画像表示装置1000に表示させる物体を異なる位置で撮像した複数の視差画像の中から、その視点に対応する位置から撮像した視差画像を目的画像として用いれば、その物体をその位置から見た場合の、多重ボケのない視差画像を観察者に提示できる。目的画像を設定する視点は、その視点における観測画像を目的画像に制約することになるため、以下、制約視点と呼ぶ。また、目的画像は、物体を異なる位置で撮像した複数の視差画像の中から選択しなければならないわけではなく、この物体とは全く異なるものを含んだ画像でもよい。この場合には最適要素画像生成部が目的画像を入力することは必須となる。換言すれば、第2の実施形態の立体画像表示装置1000により目的画像が初期要素画像とは全く異なるものを含む画像である場合に見ることができる画像を、第1の実施形態の立体画像表示装置700では見ることができない。逆に、第2の実施形態の立体画像表示装置1000において目的画像が初期要素画像に含まれるものである場合には、第1の実施形態の立体画像表示装置700でも同様な画像を見ることができる。
【0028】
以下に、重みおよび初期要素画像の変換方法の一例について説明する。
議論を簡単にするために、図13に示すようにレンズ201が1つ、制約視点が1つ(u1)、タイル画像数が3つ、各タイル画像の幅と高さが共に1の場合について説明する。2次元画像表示装置に表示された3つのタイル画像(この例ではそれぞれ1画素のみから構成される画像)の輝度値をx1、x2、x3とし、各視点の位置uに関する画素i(=1,2,3)からの光線分布の強度を表す関数、すなわち、画素i(=1,2,3)の位置uに関する光線分布を表す関数をa1(u)、a2(u)、a3(u)とする。視点u1で観察される観測画像は1画素のみから構成され、その唯一の画素の輝度値y(u1)は以下の式で表される。
【数1】
【0029】
従って、視点u1で画像y(u1)あるいはそれに近い画像を観測させるためには、以下のエネルギー関数が最も小さくなるx1、x2、x3をタイル画像とすればよいことがわかる。すなわち、y(u1)とa1(u)、a2(u)、a3(u)とを既知としてエネルギー関数が最も小さくなるx1、x2、x3を求める。
【数2】
【0030】
上述の例を一般化するとエネルギー関数は数式3のように表される。
【数3】
【0031】
ここで、Xは求める要素画像の画素数の次元のベクトル、Yは1つ以上の制約視点での目的画像の画素値を一列に並べたベクトル、Aは光線分布の制約視点での値から構成される行列である。
【0032】
上述のエネルギー関数を最小化する最適要素画像752は次式で与えられる。
【数4】
【0033】
は例えば、次の数式5のようにムーアペンローズの一般逆行列を用いて算出することができる。
【数5】
【0034】
ここで、A†はムーアペンローズの一般逆行列、Iは単位行列を表す。ZはXと同じサイズの任意のベクトルである。ここで、制約視点の数が視差数より少ない場合は劣決定問題となる。解を一意に定めるには、Zの値を定める必要がある。以下ではZとして定めた値をZ0で表す。例えば、制約視点以外の視点からの画質を劣化させないために、Z0には初期要素画像751を用いることができる。
【0035】
また、制約視点の数が視差数より多く、優決定問題である場合は数式3のエネルギー関数を最小化する数式4で示される最適要素画像は以下のようになる。この場合、最適要素画像生成部1001は初期要素画像751を入力せず、目的画像1052のみを入力する。ここで、A†は予め計算しておき、テーブルとして最適要素画像生成部1001の内部に保持しておくことができる。この場合のブロック図は省略するが、図10で初期要素画像751がない場合に相当する。
【数6】
【0036】
行列Aは立体画像表示装置1000の光線制御子と目的画像を設定する制約視点に固有の値であるため、制約視点を事前に決定すれば、一般逆行列A†は予め計算しておくことができる。すなわち、制約視点を決定しておけば、一般逆行列A†はテーブルとして立体画像表示装置1000が記憶しておくことができる。立体画像表示装置1000は例えばROM904に一般逆行列A†のテーブルを記憶する。更に、目的画像YがZ0の線形変換で表せる場合、Yは数式7で表わせる。
【数7】
【0037】
ここで、TはZ0をYに変換する行列である。このとき、数式7を数式5に代入して更にZをZ0に置き換えることで、数式8が得られる。
【数8】
【0038】
ここで、Hは次の数式で示される。
【数9】
【0039】
この行列Hが上述した重みの一例である。この重みはテーブルとして最適要素画像生成部1001の内部に保持しておくことができる。例えばこのテーブルに含める値は製造時に決定してもよい。II方式の場合、1つのレンズに対応する視差数分の画素毎に上述のフィルタを構成することができる。例えば、図13のような1D−II方式の場合、Z0は3つの画素値x1、x2、x3を一列に並べたベクトル、Xは3次元ベクトル、Hは(3,3)型行列となる。従って、Xハットの各要素、すなわち、最適要素画像生成部1001の各画素は、Z0に対する3タップのフィルタで計算できる。なお、上述の例では視差数が3であったが,その他の値、例えば視差数が9の場合も同様に重みを計算することができる。
【0040】
また、数式4の左辺である最適要素画像752は、最急降下法や共役勾配法などの繰り返し計算を用いて算出できる。繰り返し計算を用いる場合も数式8と同様の形で表現することができる。例えば、繰り返し計算として最急降下法を用いる場合、t+1回目の繰り返し処理は以下の式で表せる。
【数10】
【0041】
ここで、εは定数である。このときYがXtの線形変換で表せる場合、Yは以下の式で表せる。
【数11】
【0042】
ここで、Tt’はXtをYに変換する行列である。このとき、数式10を数式9に代入することで、以下の式が得られる。
【数12】
【0043】
ここで、Ht’は以下の数式で表される。
【数13】
【0044】
n回の繰り返し処理を行う場合、数式4の左辺は以下の式で表せる。
【数14】
【0045】
ここで、制約視点以外の視点からの画質を劣化させないために、X0には初期要素画像751を用いることができる。
【0046】
(変形例) エネルギー関数の変形
エネルギー関数には、正則化項を加えた数式13に示すものを用いてもよい。
【数15】
【0047】
ここで、Rは微分を表す行列を表し、α、βは定数、ZはXと同じサイズのベクトルである。例えば、制約視点以外の視点からの画質を劣化させないために、Zには初期要素画像751を用いることができる。数式13のエネルギー関数を最小化する数式4の左辺は、ムーアペンローズの一般逆行列を用いて算出することができる。
【数16】
【0048】
また、以下のエネルギー関数を用いて、最急降下法や共役勾配法などの繰り返し計算で算出することもできる。
【数17】
【0049】
例えば、繰り返し計算として最急降下法を用いる場合、t+1回目の繰り返し処理は以下の式で表せる。
【数18】
【0050】
ここで、εは定数である。このときYがXtの線形変換で表せる場合、Yは以下の式で表せる。
【数19】
【0051】
ここで、Tt’はXtをYに変換する行列である。このとき、数式17を数式16に代入することで、以下の式が得られる。
【数20】
【0052】
ここで、Ht”は次の数式で表すことができる。
【数21】
【0053】
n回の繰り返し処理を行う場合、数式4の左辺は以下の式で表せる。
【数22】
【0054】
ここで、制約視点以外の視点からの画質を劣化させないために、X0には初期要素画像751を用いることができる。
【0055】
なお、制約視点の数は複数でもよく、制約視点の数が変化しても、計算する際の行列の大きさは変化しないので処理量は変わらない。
【0056】
このように、数式13に示す変形したエネルギー関数を用いた場合でも、目的画像に多重ボケのない画像を用いて、観測画像が目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また、要素画像に黒画素を挿入しないため、観測画像の輝度を低下させない。更に、正則化項の効果により、数式4の左辺である最適要素画像に不連続な破綻を防止し、自然な最適要素画像を生成することができる。
【0057】
以上の第2の実施形態によれば、目的画像に多重ボケのない画像を用いて、観測画像が目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また目的画像は任意に設定することができるため、制約視点での観測画像を任意に設計することができる。
【0058】
(第3の実施形態)
第3の実施形態に係わる立体画像表示装置1400について図14を参照して説明する。本実施形態の立体画像表示装置1400は、第2の実施形態の立体画像表示装置1000に視差画像生成部1401を追加したものである。
【0059】
視差画像生成部1401は、モデリングデータ1451を入力し、このデータから1つ以上の所定の視点から見たときの視差画像を生成し、この視差画像を目的画像1052として出力する。モデリングデータ1451は、立体画像表示装置1400に表示させる物体の3次元座標と輝度値を表す。視差画像生成部1401は、モデリングデータ1451を入力し、例えばCG(computer graphics)レンダリングを行って視差画像を生成する。
【0060】
次に、第3の実施形態に係わる立体画像表示装置1400の動作について図14および図15を参照して第2の実施形態とは異なる部分のみ説明する。図15は、第3の実施形態に係わる立体画像表示装置1400の動作の一例を示すフローチャートである。
【0061】
ステップS1501では、視差画像生成部1401が、モデリングデータ1451を入力し、このデータから1つ以上の所定の視点から見たときの視差画像を生成し、この視差画像を目的画像1052として出力する。
【0062】
以上の第3の実施形態によれば、観測画像が多重ボケのない目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また、目的画像となる視差画像をモデリングデータから自由に生成することができるため、予め制約視点における視差画像を撮像しておく必要が無い。
【0063】
(第4の実施形態)
第4の実施形態に係わる立体画像表示装置1600について図16を参照して説明する。本実施形態の立体画像表示装置1600は、第2の実施形態の立体画像表示装置1000に検出部1603および取得部1602を追加したものである。
【0064】
図18に示すように第4の実施形態に係わる立体画像表示装置1600には、立体画像表示装置1600を見ている観察者の頭部位置を検出するためにカメラ1801を設置する。
【0065】
取得部1602は、カメラ1801からの映像を取得してカメラ映像1651を出力する。
【0066】
検出部1603は、カメラ映像1651を入力しカメラ映像1651から顔検出により、1人以上の観察者の顔の領域を検出し、右目あるいは左目あるいは両目の位置を設定し、立体画像表示装置1600から見たときの観察者の空間的なX、Y座標を特定する。目の位置は例えば、顔領域内で統計的に目の存在する確率の最も高い位置を設定することができる。または、カメラ映像1651から目検出によって右目あるいは左目あるいは両目の位置を検出することもできる。または、カメラ映像1651に写っている顔の大きさを用いて、立体画像表示装置1600と観察者との距離を推定して、立体画像表示装置1600から見たときの観察者の空間的なZ座標を特定することもできる。これらX、Y、Z座標の1つ以上を観察者位置1652として出力する。
【0067】
最適要素画像生成部1601は、初期要素画像751と目的画像1052と観察者位置1652とを入力し、観察者位置1652を制約視点とすること以外は第2の実施形態の最適要素画像生成部1001と同様にして、最適要素画像752を生成する。
【0068】
次に、第4の実施形態に係わる立体画像表示装置1600の動作について図16および図17を参照して説明する。図17は、第4の実施形態に係わる立体画像表示装置1600の動作の一例を示すフローチャートである。
【0069】
ステップS1701では、取得部1602がカメラ1801からの映像を取得してカメラ映像1651を出力する。
【0070】
ステップS1702では、検出部1603が、カメラ映像1651を入力しカメラ映像1651から顔検出により、1人以上の観察者の顔の領域を検出し、右目あるいは左目あるいは両目の位置を設定し、立体画像表示装置1600から見たときの観察者の空間的なX、Y座標を特定する。
【0071】
ステップS1703では、最適要素画像生成部1601が、初期要素画像751と目的画像1052と観察者位置1652とを入力し、観察者位置1652を制約視点とすること以外は第2の実施形態の最適要素画像生成部1001と同様にして、最適要素画像752を生成する。
【0072】
このように、第4の実施形態に係わる立体画像表示装置1600によれば、観測画像が多重ボケのない目的画像になるように最適要素画像752を加重和によって生成するため、多重ボケを低減できる。また、第2の実施形態では事前に定めた所定の制約視点でしか観察者に目的画像を視認させられないのに対し、第4の実施形態では、カメラ1801により検出した観察者の位置に合わせて最適要素画像を生成することができるため、1人以上の観察者の右目あるいは左目あるいは両目の位置で目的画像を視認させることができる。
【0073】
以上の第4の実施形態によれば、表示画像の輝度を低下させることなく、多重ボケを低減することが可能となる。
【0074】
例えば多重ボケ低減のために、隣接する2画素のうちの1画素に黒を表示し、隣接する画素の光線分布の重なりを少なくすることができるが、要素画像に黒画素を挿入すると観測画像の輝度を低下させる。本実施形態によれば、表示画像の輝度を低下させることなく、多重ボケを低減することが可能になる。
【0075】
なお、これら立体画像表示装置において、視差画像生成部1401、取得部1602、検出部1603、および最適要素画像生成部701、1001、1601は、汎用のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【0076】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の立体画像表示装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の立体画像表示装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
更に、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【0077】
なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
【0078】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0079】
100…立体画像表示装置、101…2次元画像表示装置、102…光線制御子、103…領域、201…レンズ、202、501、502、503…画素、507…位置、508、509、510…値、700…立体画像表示装置、701…最適要素画像生成部、702…表示部、751…初期要素画像、752…最適要素画像、901…CPU、902…記憶部、903…バス、1000、1400、1600…立体画像表示装置、1001、1601…最適要素画像生成部、1052…目的画像、1401…視差画像生成部、1451…モデリングデータ、1602…取得部、1603…検出部、1651…カメラ映像、1652…観察者位置、1801…カメラ。
【特許請求の範囲】
【請求項1】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部と、
生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する最適要素画像生成部と、を具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示装置。
【請求項2】
前記最適要素画像生成部は、前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像を入力し、前記光線分布から算出される前記視点での重ね合わせ画像と前記目的画像との差分を表すエネルギー関数を小さくする重みを求めることを特徴とする請求項1に記載の立体画像表示装置。
【請求項3】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部と、
前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する最適要素画像生成部と、を具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示装置。
【請求項4】
前記最適要素画像生成部は、前記光線分布から算出される前記視点での重ね合わせ画像と前記目的画像との差分を表すエネルギー関数を小さくする重みを求めることを特徴とする請求項3に記載の立体画像表示装置。
【請求項5】
前記最適要素画像生成部は、前記エネルギー関数の勾配に基づいて前記重みを算出することを特徴とする請求項2または請求項4に記載の立体画像表示装置。
【請求項6】
前記重みは前記エネルギー関数を小さくするものであり、前記最適要素画像生成部は、前記光線分布によって決定される行列の一般逆行列によって該重みを算出することを特徴とする請求項2または請求項4に記載の立体画像表示装置。
【請求項7】
前記目的画像は、立体画像表示装置に表示させる複数の視差画像の中から、前記視点に対応する位置から撮像した視差画像であることを特徴とする請求項2または請求項3に記載の立体画像表示装置。
【請求項8】
立体画像表示装置に表示させる物体の3次元座標と輝度値とから、任意の視点から見たときの視差画像を生成する視差画像生成部を更に具備し、
前記最適要素画像生成部は、前記目的画像として前記視差画像を入力することを特徴とする請求項2または請求項3に記載の立体画像表示装置。
【請求項9】
立体画像表示装置を見ている観察者の顔の領域を検出するためのカメラと、
前記カメラが撮像したカメラ映像を取得する取得部と、
前記カメラ映像から、観察者の顔の領域を表す観察者位置を検出する検出部と、を更に具備し、
前記最適要素画像生成部は、前記観察者位置を前記視点として前記最適要素画像を生成することを特徴とする請求項2または請求項3に記載の立体画像表示装置。
【請求項10】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部を用意し、
生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成することを具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示方法。
【請求項11】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部用意し、
前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成することを具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示方法。
【請求項12】
コンピュータを、
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部表示手段と、
生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する生成手段として機能させるためのものであり、
前記表示手段は前記最適要素画像を表示することを特徴とする立体画像表示プログラム。
【請求項13】
コンピュータを、
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部手段と、
前記表示手段を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する生成手段として機能させるためのものであり、
前記表示手段は前記最適要素画像を表示することを特徴とする立体画像表示プログラム。
【請求項1】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部と、
生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する最適要素画像生成部と、を具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示装置。
【請求項2】
前記最適要素画像生成部は、前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像を入力し、前記光線分布から算出される前記視点での重ね合わせ画像と前記目的画像との差分を表すエネルギー関数を小さくする重みを求めることを特徴とする請求項1に記載の立体画像表示装置。
【請求項3】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部と、
前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する最適要素画像生成部と、を具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示装置。
【請求項4】
前記最適要素画像生成部は、前記光線分布から算出される前記視点での重ね合わせ画像と前記目的画像との差分を表すエネルギー関数を小さくする重みを求めることを特徴とする請求項3に記載の立体画像表示装置。
【請求項5】
前記最適要素画像生成部は、前記エネルギー関数の勾配に基づいて前記重みを算出することを特徴とする請求項2または請求項4に記載の立体画像表示装置。
【請求項6】
前記重みは前記エネルギー関数を小さくするものであり、前記最適要素画像生成部は、前記光線分布によって決定される行列の一般逆行列によって該重みを算出することを特徴とする請求項2または請求項4に記載の立体画像表示装置。
【請求項7】
前記目的画像は、立体画像表示装置に表示させる複数の視差画像の中から、前記視点に対応する位置から撮像した視差画像であることを特徴とする請求項2または請求項3に記載の立体画像表示装置。
【請求項8】
立体画像表示装置に表示させる物体の3次元座標と輝度値とから、任意の視点から見たときの視差画像を生成する視差画像生成部を更に具備し、
前記最適要素画像生成部は、前記目的画像として前記視差画像を入力することを特徴とする請求項2または請求項3に記載の立体画像表示装置。
【請求項9】
立体画像表示装置を見ている観察者の顔の領域を検出するためのカメラと、
前記カメラが撮像したカメラ映像を取得する取得部と、
前記カメラ映像から、観察者の顔の領域を表す観察者位置を検出する検出部と、を更に具備し、
前記最適要素画像生成部は、前記観察者位置を前記視点として前記最適要素画像を生成することを特徴とする請求項2または請求項3に記載の立体画像表示装置。
【請求項10】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部を用意し、
生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成することを具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示方法。
【請求項11】
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部用意し、
前記表示部を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成することを具備し、
前記表示部は前記最適要素画像を表示することを特徴とする立体画像表示方法。
【請求項12】
コンピュータを、
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部表示手段と、
生成または入力した仮の要素画像である初期要素画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する生成手段として機能させるためのものであり、
前記表示手段は前記最適要素画像を表示することを特徴とする立体画像表示プログラム。
【請求項13】
コンピュータを、
複数の画素がマトリクス状に配置された表示面を有する2次元画像表示装置と、前記複数の画素の表示データである要素画像の位置に対応して該2次元画像表示装置の表示面上に設けられ、前記画素からの光線を制御する光線制御子とを含む表示部手段と、
前記表示手段を少なくとも1つの所定の視点から見たときに観察させたい目的画像の2つ以上の画素の値と、前記光線制御子からの光線の方向と散らばり具合を表す光線分布に基づいて算出される重みとの加重和によって少なくとも1つの画素の値を決定して最適要素画像を生成する生成手段として機能させるためのものであり、
前記表示手段は前記最適要素画像を表示することを特徴とする立体画像表示プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−105101(P2012−105101A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−252337(P2010−252337)
【出願日】平成22年11月10日(2010.11.10)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願日】平成22年11月10日(2010.11.10)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]