説明

中間画像生成方法、中間画像生成装置、立体画像生成方法、立体画像生成装置、立体画像生成システム

【課題】 従来の立体映像生成システムでは、画質の劣化を極力抑えるため複数視点の元画像から複雑な補間計算をリアルタイムで行い、立体画像を生成する必要があり、リソースの消費が大きく非常に特殊で高価なコンピュータ等が必要であり、さらに複数視点の元画像が標準的なフォーマットで出力または送信できないため、立体画像表示技術の普及にあたっての大きな課題となっていた。
【解決手段】 立体画像と同一の解像度を有し、視点毎の画素をまとめた中間画像を予め生成することで、高速で特殊なコンピュータ等を使用せずに画素の配置変換のみで立体画像の生成が可能であり、さらに各視点の画像をタイル状に配置した中間画像を用いれば、標準的な画像出力装置や画像配信サーバーにより標準的なフォーマットで出力または送信した中間画像を、簡易で安価な立体画像生成装置により立体画像を生成する全く新しい立体画像生成システムの実現が可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の視点から撮影された複数の視点画像を変換し、中間画像、立体画像を生成する方法、装置およびそれらを利用した立体画像を生成するシステムと、該立体画像を表示する装置とに関する。
【背景技術】
【0002】
従来、複数視点から撮影された画像を視点毎にピクセル単位あるいはサブピクセル単位で斜め方向に配列して表示画面を構成し、その前面にバリアを配置して視差を与えて立体画像を視認させる技術が広く利用されている(例えば、特許文献1)。
【0003】
また、画像の画素配置を立体画像表示装置に対応した画素配置に変換する既存の技術として、特許文献2には画像の画素配置をパララックスバリア方式の立体画像表示装置に対応した画素配置に変換する技術が段落0088および図1に開示されている。この段落0088および図1には、装置内に画像の画素配置を立体表示用に変換する技術的解決手段として、画像合成回路が備えられた立体画像表示装置が開示されている。
【0004】
また、非特許文献1には、パーソナルコンピュータ上において実行する、映像の画素配置を立体表示用に変換するためのソフトウェアが開示されている。
【0005】
このような立体画像の生成過程においては、一般的に大規模な立体画像表示システム、すなわち、撮影画像から立体画像生成のための複雑な演算処理を高速で実行できる特殊で高価なグラフィックボードを搭載したコンピュータ等が必須の要素となっている。
【0006】
このような立体画像の生成過程においては、一般的に大規模な立体画像表示システム、すなわち、撮影画像から立体画像生成のための複雑な演算処理を高速で実行できる特殊で高価なグラフィックボードを搭載したコンピュータ等が必須の要素となっている。
【0007】
特許文献3乃至5はRGBからなる三原色信号を、RGBY等の四原色、あるいは五原色の信号へと変換する処理方法が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2004−191570
【特許文献2】特開2004−179806
【特許文献3】特開2001−306023
【特許文献4】特表2004−529396
【特許文献5】特開2001−209047
【非特許文献】
【0009】
【非特許文献1】Visumotion GMBHが提供するソフトウェアである「Display Configurator」および「3D Movie Center」のマニュアル
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上述のように立体画像の提供には、高速のCPU、大容量のメモリ、高性能グラフィックボードなど、リソースの消費が大きく非常に特殊で高価なコンピュータ等が必要であり、立体画像表示技術の普及にあたっての大きな課題となっていた。
【0011】
また、すでに立体視可能な画像ファイルを圧縮した場合、それぞれの視点毎に撮影された画像がピクセルまたはサブピクセル毎に連続して配置されているため、互いに干渉し合い、解凍して再生する際には、もはや立体視できない程度にまで歪んでしまうという問題があり、立体画像は圧縮することができない。従って、視点毎の画像を圧縮して送信したり、記憶媒体に記憶させておき、立体画像の生成の際に視点毎の画像を解凍し、複雑な補間計算を高速で行い、立体画像を生成する必要があった。
【0012】
さらに、各視点の画像をタイル状に配置した画像は、解像度やアスペクト比が立体画像、すなわち裸眼立体ディスプレイの解像度とは異なる場合が多い。特に立体画像が生成された際の画質をできる限り高品質に近づけるため、各視点の画像において一定以上の解像度が必要になるため、タイル状に配置した画像は裸眼立体ディスプレイの解像度と比べ、非常に大きくなる。そのため、圧縮して送信するには、高スピードの送信網が必要であり、より大容量の記憶媒体が必要となる。もちろ、各視点の画像をタイル状に配置せず、独立した画像であっても、トータルでは全く同じ問題を抱えることになる。
このことから、最も大きな問題は、ブルーレイやSTBなどで映像を記憶したり、送信したりする場合の標準的なフォーマットで、立体画像生成のための視点毎の画像を提供することができないことである。
【0013】
そこで、本発明は上記課題を解決するため、最終出力画像である立体画像と同一の解像度を有し、視点毎の画素をまとめた中間画像を予め生成することで、高速で特殊なコンピュータ等を使用せずに画素の配置変換のみで立体画像の生成が可能であり、さらに各視点の画像をタイル状に配置した中間画像を用いれば、ブルーレイやSTBなどの標準的な画像出力装置や画像配信サーバーにより標準的なフォーマットで出力または送信した当該中間画像を、簡易で安価な立体画像生成装置(コンバーター)により立体画像を生成する立体画像生成システムを実現することを技術的課題とする。
【課題を解決するための手段】
【0014】
本願発明の課題解決手段について下記に説明する。本願は複数の独立請求項にかかる発明を備えるが、発明者が意図する技術思想は下記の5つである。
【0015】
本願第1の発明は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、RGBYからなるサブピクセルが斜め方向にコーナーで接して4行で配列されたRGBY階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGBY階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGBY値から補間して求め、該RGBY階段配置画素ユニットを構成するサブピクセルを水平方向にRGBYの順に並べて配列したRGBY並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の該RGBY階段配置画素ユニットと該複数の中間画像の該RGBY並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となることを特徴とする中間画像生成方法、である。
【0016】
本願第2の発明は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、前記N視点は3n+1(nは自然数)視点であり、RGBからなるサブピクセルが斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の該RGB階段配置画素ユニットと該複数の中間画像の該RGB並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となり、さらに、前記複数の中間画像を、画像フレームとして横方向に視点の数だけ分割された複数のベルト状に配置する、ことを特徴とする中間画像生成方法、である。
【0017】
本願第3の発明は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、前記N視点は4n+1(nは自然数)視点であり、RGBYからなるサブピクセルが斜め方向にコーナーで接して4行で配列されたRGBY階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGBY階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGBY値から補間して求め、該RGBY階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、B、Y、の順に並べて配列したRGBY並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の該RGBY階段配置画素ユニットと該複数の中間画像の該RGBY並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となり、さらに、前記複数の中間画像を、画像フレームとして横方向に視点の数だけ分割された複数のベルト状に配置する、ことを特徴とする中間画像生成方法、である。
【0018】
本願第4の発明は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、前記N視点は(3+m)n+1(n、mは自然数)視点であり、RGB、およびその他のm個の色からなるサブピクセルが斜め方向にコーナーで接して3+m行で配列された階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列した階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、およびその他の色の値を、該階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの値から補間して求め、該階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、B、その他の色の順に並べて配列した並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の該階段配置画素ユニットと該複数の中間画像の該並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となり、さらに、前記複数の中間画像を、画像フレームとして横方向に視点の数だけ分割された複数のベルト状に配置する、ことを特徴とする中間画像生成方法、である。
【0019】
本願第5の発明は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、RGB、またはRGBにC、M、Y、Wまたは他の色の内、少なくとも1色を加えたものからなるサブピクセルが垂直方向に連接して配列した画素ユニットを、水平方向に該1視点からN視点までを連接して配列した画素ブロックを繰り返し配置して該立体画像を生成するために、該画素ユニットを構成するサブピクセルの各々の値を、該画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの値から補間して求め、該画素ユニットを構成するサブピクセルを水平方向に並べて配列した並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、該立体画像の画素ユニットと該複数の中間画像の並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となることを特徴とする中間画像生成方法、である。
【発明の効果】
【0020】
本発明によれば、視点毎の画像を構成する画素数の合計が立体画像の画素数と同一となる最小限必要な解像度で、圧縮可能な中間画像の生成と、そのような中間画像を構成するサブピクセルの配置換え(マッピング)のみで立体視が可能な立体画像とを高速で特殊なコンピュータを使用せず生成することができ、さらに本発明に基づいて各視点の画像をタイル状に配置することにより中間画像と裸眼立体ディスプレイ(立体画像)の解像度・アスペクト比が同一となり、ブルーレイやSTBなどの標準的な画像出力装置や画像配信サーバーにより標準的なフォーマットで出力または送信された中間画像を、立体画像生成装置(コンバーター)で簡易に立体画像を生成できる、実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。
【図面の簡単な説明】
【0021】
【図1】中間画像生成装置、立体画像生成装置および立体画像生成システムの構成を概略的に示すブロック図である。
【図2】中間画像生成装置、立体画像生成システムによって実行される情報処理のフローチャートを示す図である。
【図3】中間画像の生成方法についての実施形態を説明する図である。
【図4】中間画像の生成方法についての実施形態を説明する図である。
【図5】中間画像の生成方法についての実施形態を説明する図である。
【図6】中間画像の生成方法についての実施形態を説明する図である。
【図7】中間画像生成テーブルについて説明する図である。
【図8】中間画像の画像フレームの配置の例を示す図である。
【図9】画像フレームの差異を説明する図である。
【図10】複数の中間画像からなる画像フレームの例を示す図である。
【図11】5視点フォーマットの画像フレームを示す図である。
【図12】ベルト状フォーマットの画像フレームの例を示す図である。
【図13】ベルト状フォーマットの画像フレームの例を示す図である。
【図14】ベルト状フォーマットの画像フレームの例を示す図である。
【図15】ベルト状フォーマットの画像フレームの例を示す図である。
【図16】RGB階段配置画素ユニットの配置例を示す図である。
【図17】立体画像生成装置の実施形態の一例を示す外観図である。
【図18】立体画像生成装置の他の実施形態の一例を示す外観図である。
【図19】複数視点の画像の例を示す図である。
【図20】複数視点の動画像の例を示す図である。
【図21】複数視点の動画像の例を示す図である。
【図22】複数視点の中間画像の第一の実施例を示す図である。
【図23】複数視点の中間画像の第二の実施例を示す図である。
【図24】複数視点の中間画像の第三の実施例を示す図である。
【図25】複数視点の中間画像の第四の実施例を示す図である。
【図26】画像情報が実際にどのような情報を意味するものであるのか説明する図である。
【図27】画像情報が実際にどのような情報を意味するものであるのか説明する図である。
【図28】平面画像と複数視点の中間画像の判別を行う方法を示したフローチャートを示す図である。
【図29】可視光透過部の横幅Shの適正値について説明する図である。
【図30】可視光透過部の横幅Shの適正値について説明する図である。
【図31】可視光透過部の高さSvを求める例を説明する図である。
【図32】可視光透過部の高さSvを求める例を説明する図である。
【図33】複数の可視光透過部の間隔Hhを求める例を説明する図である。
【図34】複数の可視光透過部の間隔Hhを求める例を説明する図である。
【図35】複数の可視光透過部の間隔Hhを求める例を示す図である。
【図36】複数の可視光透過部の間隔Hhを求める例を示す図である。
【図37】モアレについて説明する図である。
【図38】L2、L2n、L2fの相対的な関係を説明する図である。
【図39】可視光透過部の間隔Hvの値を求める方法について説明する図である。
【図40】可視光透過部とピクセルとの関係を説明する図である。
【図41】注視点間距離KとL3の関係を説明する図である。
【図42】可視光透過部の間隔Hvの値を求める方法について説明する図である。
【図43】可視光透過部の間隔Hvの値を求める方法について説明する図である。
【図44】可視光透過部の数について説明する図である。
【図45】[Hv×(Mv−1)]と[(Jr−1/β)×Pv]の関係を説明する図である。
【図46】L3nおよびL3fの値を求める例を示す図である。
【図47】L3nおよびL3fの値を求める例を示す図である。
【図48】L3nおよびL3fの値を求める例を示す図である。
【図49】パララックスバリアのスリットの形状の一例について説明する図である。
【図50】パララックスバリアのスリットの形状の一例について説明する図である。
【図51】パララックスバリアのスリットの形状の一例について説明する図である。
【図52】パララックスバリアのスリットの形状の一例について説明する図である。
【図53】パララックスバリアのスリットの形状の一例について説明する図である。
【図54】パララックスバリアのスリットの形状の一例について説明する図である。
【図55】モアレ適正解消領域について説明する図である。
【図56】裸眼立体画像表示装置におけるサブピクセルの形状の例を示す図である。
【図57】RGBサブピクセルを垂直方向に配置する立体画像を示す図である。
【図58】RGBサブピクセルを垂直方向に配置する立体画像を示す図である。
【図59】RGBサブピクセルを水平方向に配置する立体画像を示す図である。
【図60】RGBサブピクセルを水平方向に配置した立体画像の水平方向における見え方を示す図である。
【図61】RGBサブピクセルを水平方向に配置した立体画像の水平方向における見え方を示す図である。
【図62】立体画像生成テーブルについて説明する図である。
【図63】立体画像生成テーブルについて説明する図である。
【発明を実施するための形態】
【0022】
本発明の実施形態について説明する。
【0023】
図1は、本発明に係る中間画像生成装置101の構成、立体画像生成装置201の構成、および立体画像生成システム301の構成を概略的に示すブロック図である。
【0024】
<中間画像生成装置の構成>
図1(a)の中間画像生成装置101は、中央処理装置(その1)1011、記憶装置(その1)1012を備える。
【0025】
<記憶装置(その1)1012>
記憶装置(その1)1012は、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像601を記憶する。視点画像601の生成には、複数台のカメラ801を用いて異なる視点から対象物8012を撮影するほか、コンピュータグラフィックスを用いて描画することが挙げられる。
【0026】
<中央処理装置(その1)1011>
中央処理装置(その1)1011は、記憶装置(その1)1012に記憶された複数の視点画像601から複数の演算処理を行って中間画像401を生成する。
【0027】
<立体画像生成装置の構成>
図1(b)の立体画像生成装置201は、中央処理装置(その2)2011、記憶装置(その2)2012を備える。
【0028】
<中央処理装置(その2)2011>
中央処理装置(その2)2011は、入力された複数の中間画像401を、記憶装置(その2)2012(フレームバッファ)に記憶させ、画素配置の変換を行って立体画像501を生成する。
【0029】
<立体画像生成システムの構成>
図1(c)の立体画像生成システム301は、第一の情報処理装置3011、第二の情報処理装置3012から構成され、第一の情報処理装置3011は、中央処理装置(その3)30111、記憶装置(その3)30112、圧縮装置30113、送信装置30114を備え、第二の情報処理装置3012は、中央処理装置(その4)30121、記憶装置(その4)30122、解凍装置30123、受信装置30124を備える。
【0030】
<圧縮装置30113>
圧縮装置30113は、所定の方式で複数の中間画像401の非可逆圧縮を行う。圧縮の方式としては、静止画像では、JPEG、動画像では、MPEG−2、MPEG−4などの代表的な方式により行う。
【0031】
<送信装置30114>
送信装置30114は、圧縮装置30113により圧縮した複数の中間画像401を第二の情報処理装置3012に送信する。送信の方式としては、USBポートを介した有線による送信の他、光通信、BLUETOOTH(登録商標)、無線LANなどの無線による送信が考えられる。
【0032】
<受信装置30124>
受信装置30124は、送信装置30114により送信された複数の中間画像401の受信を行う。
【0033】
<解凍装置30123>
解凍装置30123は、圧縮装置30113により圧縮された複数の中間画像401の解凍を行う。
【0034】
<中間画像生成装置における中間画像の生成工程>
中間画像生成装置101によって実行される中間画像401の生成工程について説明する。
【0035】
図2(a)は、図1(a)の中間画像生成装置101によって実行される情報処理のフローチャートである。
【0036】
<ステップS201>
図2(a)において、まず、中間画像生成装置101に備えられた中央処理装置(その1)1011は、ユーザによる操作(1視点からN視点までの複数の視点からのカメラ801による対象物8012の撮影、または1視点からN視点までの複数の視点からのコンピュータグラフィックスによる描画)に応じて入力された複数の視点画像601を、中間画像生成装置101に備えられた記憶装置(その1)1012に記憶する(ステップS201)。
【0037】
<ステップS202>
次いで、中央処理装置(その1)1011は、制御情報の入力があるか否かを判別する(ステップS202)。制御情報とは、NTSC、PALといった走査方式、インターレス、プログレッシブといった送信方式、視点数、解像度、画素配置方法等を意味する。制御情報の入力は、中間画像生成装置101にさらに備えられたキーボードやマウス等を使用してユーザの操作により行う。これにより、フォーマットが定まることになる。
【0038】
<ステップS203>
ステップS202の判別の結果、制御情報の入力があると、該中央処理装置(その1)1011は、制御情報に基づく立体画像501の生成を行う(ステップS203)。ここで、立体画像501とは、ユーザに最終的に提示する立体視可能なサブピクセル配置を有する画像をいう。
【0039】
パララックスバリア等を用いた裸眼立体視の場合には、サブピクセルを斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニット5011を、水平方向に第1の視点から第Nの視点までを連接して配列したRGB階段配置画素ブロック5012を繰り返し配置して立体画像501を構成することが望ましい。
【0040】
ここで、1画素を構成するサブピクセルはRGBの他、C(シアン)、M(マゼンタ)、Y(イエロー)、あるいはW(ホワイト)、またはその他の色を備える場合があることは周知技術であるが、本明細書においては「RGB」と呼称する場合、「RGBY」や「RGBW」、「RGBYW」、「RGBCMY」等を含むものとする。
【0041】
RGB階段配置画素ユニット5011を構成するサブピクセルの代表的な配置には、例えば図16において示すものが考えられる。制御情報に基づく立体画像501の生成とは、例えば立体画像501の表示を予定しているディスプレイの解像度が1980×1080である場合には、出力を行うのに適した解像度の立体画像501、すなわち1980×1080の解像度を有する立体画像501の生成が行われる。なお、ステップS203で行われる立体画像501の生成については後述する。
【0042】
<ステップS204>
次いで、中央処理装置(その1)1011は、生成された立体画像501から複数の中間画像401を生成する(ステップS204)。中間画像401とは、立体画像501を生成するために用いられる画像であり、複数の中間画像401のそれぞれは、RGB階段配置画素ユニット5011を構成するサブピクセルを水平方向にR、G、B、および必要であればその他のサブピクセル、の順に並べて配列したRGB並列配置画素ユニットが4011、複数の視点毎にまとめて配置されている。本発明においては、複数の視点で撮影または描画された複数の視点画像601から予め立体画像501を生成または想定し、該立体画像501に基づいて中間画像401の生成を行っていく。ステップS204で行われる中間画像401の生成についてもステップS203と同様に下記に詳述する。
【0043】
<ステップS205>
次いで、中央処理装置(その1)1011は、ステップS204において生成された中間画像401を記憶装置(その1)1012に記憶する(ステップS205)。
【0044】
ステップS205において中間画像401が記憶されると、本処理が終了する。
【0045】
<中間画像生成装置の補足>
処理が終了した後、再びステップS203に戻ってもよい。例えば、同一の制御情報に基づいて繰り返し立体画像501、中間画像401の生成を行うような場合(視点画像601が次々に中間画像生成装置101に入力される場合)には、毎回の制御情報の入力は必要なく、ユーザビリティの向上が期待できる。この場合、連続して立体画像501、中間画像401の生成を行うことを中間画像生成装置101に認識させるために、キーボード等の特定の動作によりモード変更を行い、繰り返し立体画像501、中間画像401の生成を行う処理に関連付けてもよい。
【0046】
なお、図2(b)図示例のように、ステップS204において、実際に立体画像501の生成を行わずに立体画像501を想定して以下の処理を行ってもよい。
【0047】
<立体画像生成システムにおける立体画像の生成工程>
立体画像生成システム301によって実行される立体画像501の生成工程について説明する。
【0048】
図2(c)は、図1(b)の立体画像生成システム301によって実行される情報処理のフローチャートである。
【0049】
図2(c)は、図2(a)のステップS204までの処理とその構成が基本的に同じであり、同一の構成要素については重複説明を省略し、以下に異なる部分についてのみ説明する。
【0050】
第一の情報処理装置3011および第二の情報処理装置3012は、それぞれ図2(a)に用いられている中間画像生成装置101に圧縮装置30113、送信装置30114と解凍装置30123、受信装置30124をさらに備えた情報処理装置である。
【0051】
<ステップS205>
まず、第一の情報処理装置3011の中央処理装置(その3)30111は、ステップS204で生成された複数の中間画像401の圧縮を圧縮装置30113により行う(ステップS205)。
【0052】
<ステップS206>
次いで、ステップS205で圧縮された複数の中間画像401を記憶装置(その3)30112に記憶する(ステップS206)。
【0053】
<ステップS207>
次いで、該(その3)30111は、圧縮し記憶された複数の中間画像401を送信装置30114から第二の情報処理装置3012へ送信を行う(ステップS207)。
【0054】
<ステップS208>
第二の情報処理装置3012の中央処理装置(その4)30121は、ステップS207で第一の情報処理装置3011から送信された複数の中間画像401を受信装置30124により受信する(ステップS208)。
【0055】
<ステップS209>
次いで、該中央処理装置(その4)30121は、受信した複数の中間画像401を解凍装置30123により解凍する(ステップS209)。
【0056】
<ステップS210>
次いで、該中央処理装置(その4)30121は、解凍した複数の中間画像401から最終的にユーザに出力される立体画像501の生成を行う(ステップS210)。ステップS210における立体画像501とステップS203における立体画像501は同一のものである。ステップS210で行われる中間画像401の生成についてもステップS203、ステップS204と同様に下記に詳述する。
【0057】
ステップS210において立体画像501が生成されると、本処理が終了する。
【0058】
<立体画像生成システムの補足>
処理が終了した後、生成された中間画像401を立体画像表示装置701に出力してもよい。また、第一の情報処理装置3011から継続して中間画像401が送信される場合には、ステップS208からステップS210の処理を連続して行ってもよい。本図示例(c)におけるシステムによれば、例えばいずれかの地点において複数のカメラ801を設置して撮影を連続して行っておき、第一の情報処理装置3011で次々に生成される複数の視点毎の画像がタイル状に配置された中間画像401を既存のフォーマットで世界中に配信して多くのユーザに同時に、かつリアルタイムで立体画像501を視認させることが可能となる。
【0059】
すなわち、第一の情報処理装置3011にはリアルタイムで複数の中間画像401の生成処理を行うために高価なグラフィックボードや高速のCPUなどを搭載させておき、ユーザが使用する複数の第二の情報処理装置3012には比較的低速のCPUを搭載させておけば、ピクセルの配置変更だけで立体画像501の生成が可能な複数の中間画像401の特性を活かした今までにない立体画像視聴環境を既存のフォーマットで実現可能となる。つまり、視点毎の画像を構成する画素数の合計が立体画像501の画素数と同一となる最小限必要な解像度で、圧縮可能な中間画像401の生成と、そのような中間画像401を構成するサブピクセルの配置換え(マッピング)のみで立体視が可能な立体画像501とを高速で特殊なコンピュータを使用せず生成することができる。
【0060】
図3〜図6を参照して、本発明に係る複数の中間画像401の生成方法についての実施形態を説明する。
【0061】
図3は、ある対象物8012を、複数の異なる視点からカメラ801で撮影し、視点毎の視点画像601を生成する例を示している。6つの視点からカメラ801を用いて注視点8011を撮影しているため、6つの視点画像601が得られる。なお、この時点における視点画像601の解像度は任意である。なお、カメラ801は水平に並べ、それぞれのカメラ801の光軸が注視点8011に向かうように配置してもよい。
【0062】
なお、一般に普及する画像信号の規格は色をRGBの三原色により表現するが、立体画像表示装置701においてRGBYの四原色により色を表現する場合、あるいは五原色以上により表現する場合、特開2001−306023(セイコーエプソン株式会社)、特表2004−529396(ゲノア・テクノロジーズ・リミテッド他)、特開2001−209047(シャープ株式会社)、等に記載される周知の方法によりRGBの信号を、RGBY等の四原色以上の信号へと変換する処理を行う。
【0063】
図4は、図3で撮影された複数の視点画像601から、最終的にディスプレイ上に出力するためのサブピクセル配置を有する立体画像501を生成する例を示している。本図示例では、対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して、RGB階段配置画素ユニット5011のRGB値を求める例を示している。
【0064】
以下、図5を参照しながら、図2のステップS203で行われる立体画像の生成について詳述する。
【0065】
立体画像501を生成する際、前述した中央処理装置(その1)1011は、まず図2のステップS202で入力された最終出力を行うディスプレイの解像度に従って、立体画像501のサブピクセル配置を決定する。立体画像501のサブピクセル配置については、例えば図16で図示されているものを用いる。本図示例では、サブピクセルが1対3の比率で縦長の長方形である場合において、最も適切に立体視が可能な3個のサブピクセルが斜め方向にコーナーで接して3行1列で配列されたサブピクセルの配置を有する立体画像501を想定する。
【0066】
次いで、図5図示例(a)に示すような視点数に応じたRGB階段配置画素ブロック5012を想定する。RGB階段配置画素ブロック5012とは、サブピクセルを斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニット5011を、水平方向に1視点からN視点までを連接して配列したものを指す。図5図示例(a)では、図3で6視点から対象物8012を撮影しているため、18個のサブピクセルで構成される画素の集まりをRGB階段配置画素ブロック5012としている。
【0067】
次いで、RGB階段配置画素ブロック5012を繰り返し配置して立体画像501を構成し、RGB階段配置画素ユニット5011を構成するサブピクセルの各々のRGB値を取得していく。RGB値の取得は、RGB階段配置画素ブロック5012内のいずれかのRGB階段配置画素ユニット5011を基準として行うことが望ましく、RGB階段配置画素ユニット5011を構成するサブピクセルの立体画像501上の座標値と対応する視点画像601上の座標値に配置されたサブピクセルのRGB値から取得する。図5(a)に図示されているように、立体画像501上の座標値は、サブピクセル座標系として立体画像501上の横軸をU、縦軸をVとしており、本実施例において基準となる第一視点の最上段に配置されているサブピクセルは、図のように(U,V)と表すことができる。
【0068】
次いで、第1視点から撮影した視点画像601の対応する座標値を算出する。
【0069】
視点画像601上の座標値は、ピクセル座標系として横軸をx、縦軸をyとしており、本実施例において基準となる第一視点の視点画像601上におけるピクセルの座標値は、図のように(x,y)と表すことができる。
【0070】
通常、立体画像501と複数の視点画像601とでは、それぞれを構成するサブピクセル数が異なっており、また立体画像501上ではサブピクセル座標系、視点画像601上ではピクセル座標系を用いるため、所定の変換式が必要である。
【0071】
そこで、立体画像501を構成するサブピクセルの水平方向における総数をW、垂直方向における総数をH、第一視点における視点画像601を構成するピクセルの水平方向における総数をa、垂直方向における総数をbとした場合において、サブピクセル座標系からピクセル座標系への変換は、
【0072】
【数1】

で求めることができる。
【0073】
立体画像501上の座標値をサブピクセル座標系で表すことで、一つ一つのサブピクセル単位でRGB値を求めることができ、ピクセル単位でRGB値を求めるよりも高精細な立体画像501を生成することができる。
【0074】
この際、W:H=a:bとなるように、aおよびbを設定することが望ましい。もちろん、変形されても視点画像601を最大限表示したい場合は、その限りではない。
【0075】
しかしながら、図5(c)に示すように、ピクセル座標系ではそれぞれのピクセルの中心点しか定義されていないため、例えば(x,y)が図のような位置にある場合、立体画像501上のサブピクセルのRGB値を直接求めることができない。従って、当該(x,y)が属するピクセルの近辺に配置された画素ユニットから補間して求める。
先ず、α=x−x1、β=x2−x、γ=y−y1、δ=y3−y、
視点画像601のピクセルの中心点であるP1〜4のRGB値をそれぞれC1〜4とすると、PのRGB値は、線形補間により次式で表わされる。
【0076】
【数2】

ここで、計算対象となる立体画像501のサブピクセルが示すR、G、B、のいずれかのみのRGB値を求めればよい。なお、α+β=γ+δ=1であれば、
【0077】
【数3】

となる。
【0078】
次いで、同一のRGB階段配置画素ユニット5011を構成する他のサブピクセルのRGB値も同様に近辺の画素ユニットから補間して求める。なお、補間方法は様々な方法があり、適正な補間方法であれば、どのような補間方法を使用してもよい。
【0079】
次いで、基準とした第一視点のRGB階段配置画素ユニット5011以外のRGB階段配置画素ユニット5011を構成するサブピクセルのRGB値を算出していく。この場合、基準としたRGB階段配置画素ユニット5011を構成するサブピクセルの座標値を基準として算出することが望ましい。すなわち、例えばパララックスバリアを用いた6視点からなる立体画像を生成する時、画像提示対象者により同一のスリットまたは穴からのぞかれる複数視点の画像はそれぞれ対応している必要があるため、基準としたRGB階段配置画素ユニット5011を構成するサブピクセルの座標値と対応する視点画像601上の座標値と同一の位置にある他の視点画像601のピクセルからRGB値の算出を行う。複数の視点画像601と立体画像501の対応関係は、例えば図4図示例のようになる。
【0080】
以上のように補間計算により立体画像501を構成するサブピクセルのRGB値を取得し、立体画像501を生成または想定する。立体画像501を想定する場合には、複数の視点画像601から立体画像501を生成せずに直接中間画像401の生成(ステップS204)が行われるため、RGB値の取得のための補間計算や、その補間計算により得られた立体画像501のRGB階段配置画素ユニット5011を構成するサブピクセルを並べ替えて複数の中間画像401のRGB並列配置画素ユニット4011を求める必要がある。
【0081】
このように、RGB階段配置画素ユニット5011を構成するいずれかのサブピクセルを基準として他のサブピクセルのRGB値を求めることで、現実に基づいたシャープな立体画像501を表現することができる。その他、代表点を定めずに全てのサブピクセルのRGB値をそれぞれ求めた場合には、視点の移り変わりが滑らかな立体画像501を得ることができる。これらは、立体画像501を提示する状況、目的に合わせて適宜変更することが望ましい。
【0082】
次いで、ステップS204で行われる中間画像401の生成について詳述する。
【0083】
図6は、立体画像501から複数の中間画像401を生成する例を示す図である。
【0084】
本図示例では、図4で生成された立体画像501のRGB階段配置画素ユニット5011を構成するサブピクセルを水平方向にR、G、B、の順に並べて配列したRGB並列配置画素ユニット4011を、複数の視点毎にまとめて配置して、6つの中間画像401を生成している。
【0085】
RGB並列配置画素ユニット4011は、図のように階段状に並べられたスリットや階段状に並べられた穴から覗くサブピクセルをまとめて配列する。これを全てのRGB階段配置画素ユニット5011について行っていく。なお、立体画像501から複数の中間画像401の生成は、中間画像生成テーブル4013を用いて行うことが望ましい。
【0086】
図7は、中間画像生成テーブル4013について説明する図である。
【0087】
図7(a)は、立体画像501上のサブピクセルがいずれの視点画像を表示しているのか、R、G、B、のいずれを表示しているのか、および立体画像501上のサブピクセル座標系における座標値を示すテーブルであり、例えば一番左上隅のサブピクセルは、左上端から数えて一行目の一列目に位置するので、(1I1)となる。
【0088】
図7(b)は、中間画像401を構成するサブピクセルが、立体画像501上のサブピクセル座標系において、どこの地点に配置されているサブピクセルと対応しているのかを示している。例えば、第一視点の一番左上隅のサブピクセルは、立体画像501の一番左上隅に位置する1、(1I1)、Rのサブピクセルと対応しており、当該サブピクセルが中間画像401上に配置されることになる。同様に、第二視点の中間画像401の一番左上隅のサブピクセルは、立体画像501上の(2C1)の位置にあるサブピクセルと対応しており、立体画像501上の2行目の一列目に配置されているサブピクセルが中間画像401上に配置されることになる。なお、当該サブピクセルを有するRGB階段配置画素ユニット5011にはB値を有するサブピクセルが存在しないため、第二視点の一番左上隅に配置されている中間画像401を構成するRGB並列配置画素ユニット4011にも同様にB値を有するサブピクセルが配置されないことになる。
【0089】
このようにして、第一視点から第六視点までのRGB階段配置画素ユニット5011を水平方向に並べ替えてRGB並列配置画素ユニット4011を構成していき、一番左上隅に位置するRGB階段配置画素ブロック5012の配置変更が終了したら、続けて隣り合うRGB階段配置画素ブロック5012を構成するサブピクセルの配置も図のように変更していく。
【0090】
このように、立体画像501のRGB階段配置画素ユニット5011を構成するサブピクセルの位置と、複数の視点毎の中間画像401のRGB並列配置画素ユニット4011を構成するサブピクセルの位置とを関連付ける中間画像生成テーブル4013を予め作成しておけば、立体画像501を構成するサブピクセルの配置変更を行うだけで複雑な補間のための演算処理を要せずに視点毎の中間画像401を生成することができる。
【0091】
なお、当該中間画像生成テーブル4013は、中間画像生成装置101の記憶装置(その1)1012に記憶しておくことが望ましい。これにより、中間画像生成装置101を使用して立体画像501の生成を行う場合に再度テーブルを作成することなく、当該テーブルを立体画像生成テーブル5013として用いることが可能となる。
【0092】
<タイルフォーマット>
図8は、本発明に係る実施例において、特に望ましい中間画像401の画像フレーム4012の配置の例を示す図である。当該画像フレーム4012においては、視点毎の中間画像401が、例えば第一行の第一列に第一視点の画像、第二行の第一列に第二視点の画像、第三行の第一列に第三視点の画像、第一行の第二列に第四視点の画像、第二行の第二列に第五視点の画像、第三行の第二列に第六視点の画像が、タイル状に配置されている。
【0093】
これにより、立体画像501を構成するサブピクセルの総数と中間画像401がタイル状に配置された画像フレーム4012上にあるサブピクセルの総数とが縦横ともに同一となり、無駄な画素が存在せず、また視点毎の画素をまとめて配置しているので、異なる視点間での干渉がなく、非可逆性圧縮を用いることができる。このように中間画像401がタイル状に配置された画像フレーム4012と裸眼立体ディスプレイ(立体画像501)の解像度・アスペクト比が同一となることから、ブルーレイやSTBなどの標準的な映像再生装置や映像配信サーバーにより標準的なフォーマットで出力または送信された中間画像401を、立体画像生成装置(コンバーター)で簡易に立体画像501を生成できる、実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。
【0094】
図9は、複数の視点画像601をそのままタイル状の画像フレーム4012に配置した例を示す図であり、前述した中間画像401の画像フレーム4012との対比を行う図である。
【0095】
最終的に出力を行うディスプレイの解像度が16:9の場合、図9(a)における一視点分の視点画像601の縦横比も16:9となり、画像フレーム4012全体では32:27となる。
【0096】
一方、複数の中間画像401をタイル状の画像フレーム4012に配置した場合(図9(b))、立体画像501においては、RGB階段配置画素ユニット5011を構成する3行のサブピクセルを水平方向に並べてRGB並列配置画素ユニット4011を構成するので、垂直方向の総ピクセル数は1/3となる。さらに、視点数が例えば6の場合、水平方向の総ピクセル数は、
【0097】
【数4】

となる。立体画像501の縦横をそれぞれH、Wとすると、中間画像401を図8図示例と同様に3行×2列のタイルを有する画像フレーム4012に配置した場合、縦方向においては、
【0098】
【数5】

横方向においては、
【0099】
【数6】

となり、立体画像501と縦横方向ともに同一の解像度を有する画像フレーム4012を生成することができる。もし、従来のように複数の視点画像601をそのままタイル状の画像フレーム4012で、立体画像501の縦横比および解像度を同一となるように配置する場合、視点毎の画像の両サイドに糊代を付け加えて縦横比を同一にし、さらに各視点の画像の解像度を落としてタイル状に配置した際に解像度が同一となるようにする必要がある。この結果、立体画像501を生成するための視点画像601が低解像度となり、立体画像501の画質が著しく低下してしまう。一方、本発明では、高画質の各視点画像601から中間画像401を生成しているため、立体画像生成において必要不可欠な解像度を完全に保つことができる。
【0100】
図10は、複数の中間画像401からなる画像フレーム4012の例を示す図である。それぞれ2視点〜5視点、7視点〜11視点で立体画像501が生成される場合の画像フレーム4012を示しており、当該フレームに各視点の画素をタイル状に配置すれば立体画像501とアスペクト比が同一の画像ファイルを作成することができる。
【0101】
すなわち、立体画像501が2視点から構成される場合には、第一行のタイルに1視点の中間画像401の2/3と、第二行の第1のタイルに1視点の中間画像401の1/3と連接した第2のタイルに2視点の中間画像401の1/3と、第三行のタイルに2視点の該中間画像401の2/3を配置する。また、立体画像501が3視点から構成される場合には、各行のタイルに各視点の中間画像401を配置する。また、立体画像501が4〜6視点で構成される場合には、各行の先頭のタイルに1〜3視点の中間画像401と、1〜3視点の中間画像401に連接した第一行から第三行に配置されたタイルに残りの視点の中間画像401を配置する。立体画像501が7〜9視点で構成される場合においては、各行の先頭のタイルに1〜3視点の中間画像401と、1〜3視点の中間画像401に連接した第一行から第三行のタイルに4〜6視点の中間画像401と、4〜6視点の中間画像401に連接した第一行から第三行に配置されたタイルに残りの視点の中間画像401を配置する。同様に、立体画像501が10視点以上から構成される場合においても、1視点から順に各行のタイルに中間画像401の一部または全部を配置する。
【0102】
これにより、立体画像501と縦横方向ともに同一の解像度を有する画像フレーム4012を生成することができる。
【0103】
<ベルト状フォーマット>
中間画像401はタイルフォーマットの他に、水平方向に視点の数だけ分割して配置した。ベルト状フォーマットとしてもよい。
【0104】
ベルト状フォーマットにおける、立体画像表示装置701の1ピクセルを構成するサブピクセルと、中間画像401の視点数と、の関係において特に好ましい組み合わせについて説明する。
【0105】
<RGBの場合>
1画素を構成するサブピクセルが、R、G、Bの3色からなる場合、中間画像401の視点数は4視点(図12参照)、7視点(図13参照)、10視点、12視点等、「3n+1(nは自然数)」視点とすることが好ましい。
【0106】
視点数を3n+1とすることにより、非可逆性圧縮による画素への影響は各視点画像の両端にのみ生じるため、立体画像501はより鮮明に表示される。
【0107】
<RGB+1の場合>
1画素を構成するサブピクセルが、R、G、Bの3色にその他の1色(C(シアン)、M(マゼンタ)、Y(イエロー)、W(ホワイト)等)を加えた4色からなる場合、中間画像401の視点数は5視点(図14参照)、9視点(図15参照)、13視点等、「4n+1(nは自然数)」視点とすることが好ましい。
【0108】
視点数を4n+1とすることにより、非可逆性圧縮による画素への影響は各視点画像の両端にのみ生じるため、立体画像501はより鮮明に表示される。
【0109】
<RGB+mの場合>
1画素を構成するサブピクセルが、R、G、Bの3色にその他のm個の色を加えた3+m色からなる場合、中間画像401の視点数は「(3+m)n+1(nは自然数)」視点とすることが好ましい。
【0110】
視点数を(3+m)n+1とすることにより、非可逆性圧縮による画素への影響は各視点画像の両端にのみ生じるため、立体画像501はより鮮明に表示される。
【0111】
<RGB階段配置画素ユニット>
図16は、RGB階段配置画素ユニット5011の配置例を示す図である。
【0112】
図16(a)は、1視点から6視点までの視点画像601の画素ユニットを構成するサブピクセルを、斜め方向にコーナーで接して階段状に配列したRGB階段配置画素ユニット5011の例を示す図であり、3行1列で3個のサブピクセルから構成されている。当該RGB階段配置画素ユニット5011を有する立体画像501を中間画像401に変換する場合、RGB階段配置画素ユニット5011を構成するサブピクセルを水平方向に並べてRGB並列配置画素ユニット4011を構成する。次いで、当該RGB階段配置画素ユニット5011にコーナーで接して階段状に配列されている同一視点のRGB階段配置画素ユニット5011についても、図のように、水平方向に並べてRGB並列配置画素ユニット4011を構成し、そのRGB並列配置画素ユニット4011を斜め方向にコーナーで接して階段状に並べて中間画像401を構成する。
【0113】
図16(b)は、3行2列で6個のサブピクセルから構成されるRGB階段配置画素ユニット5011の例を示す図である。当該RGB階段配置画素ユニット5011を有する立体画像501を中間画像401に変換する場合、RGB階段配置画素ユニット5011を構成する1列目のサブピクセルの集まりをまず水平方向に並べてRGB並列配置画素ユニット4011を構成し、そのRGB並列配置画素ユニット4011にさらに水平方向に連接するように、2列目のサブピクセルの集まりを並べる。次いで、当該RGB階段配置画素ユニット5011にコーナーで接して階段状に配列されている同一視点のRGB階段配置画素ユニット5011についても、図のように、1列目のサブピクセルの集まりをまず水平方向に並べてRGB並列配置画素ユニット4011を構成し、そのRGB並列配置画素ユニット4011にさらに水平方向に連接するように、2列目のサブピクセルの集まりを並べる。
【0114】
図16(c)は、3行3列で9個のサブピクセルから構成されるRGB階段配置画素ユニット5011の例を示す図である。当該RGB階段配置画素ユニット5011を有する立体画像501を中間画像401に変換する場合についても同様に、RGB階段配置画素ユニット5011を構成する1列目のサブピクセルの集まりをまず水平方向に並べてRGB並列配置画素ユニット4011を構成し、そのRGB並列配置画素ユニット4011に水平方向に連接するように、2列目のRGB階段配置画素ユニット5011を構成するサブピクセルの集まりを並べ、さらに2列目のRGB並列配置画素ユニット4011に水平方向に連接するように3列目のRGB階段配置画素ユニット5011を構成するサブピクセルの集まりを並べる。
【0115】
図16に示したRGB階段配置画素ユニット5011の配列例においては、図5のように、それぞれのサブピクセル毎に複数の視点画像601からRGB値を取得することが望ましい。これにより、ピクセル単位でRGB値を計算して取得することに起因する解像度の低下(例えば、図16(b)では、図16(a)に対して水平解像度が1/2になる)を防止することができ、ユーザに鮮明な立体画像501を提供することができる。サブピクセルは、通常、1対3の比率で縦長の長方形である場合が多いが、サブピクセルの形状が、円形や、くの字、V型、Wを90度回転させたような形状(図56図示例参照)等、様々な形状のものがあり、その形状によって、3個のサブピクセルが1列に並んだRGB階段配置画素ユニット5011では立体が見えにくい場合がある。その場合は、立体画像501を覗き見るためのパララックスバリア704のスリットまたは穴の幅と、その配置間隔を大きくしたマスクを作成し、それに伴い適切に立体が表示できるよう3個のサブピクセルが(b)のように2列または、(c)のように3列に並んだRGB階段配置画素ユニット5011を生成することが望ましい。
【0116】
ただし、元の解像度が高ければ、解像度が低減しても立体画像501を視認するには十分な解像度が確保されるため、立体画像501においてRGBサブピクセルを垂直方向(図57、58)あるいは水平方向(図59)に配置することとしてもよい。この場合、パララックスバリア704のスリットは垂直方向に設けられる。
【0117】
また、好ましくはRGBサブピクセルを垂直方向に配置する。
【0118】
図60はRGBサブピクセルを水平方向に配置した立体画像501の、水平方向における見え方を示す図である。
【0119】
第1のビューポイント708からは垂直方向のスリットを有するパララックスバリア704を介してGBサブピクセルが視認され、Rサブピクセルが欠落するため、立体画像501は適正に視認されない。
【0120】
第1のビューポイント708よりも立体画像表示装置701から遠い位置にある第2のビューポイント709からは1組のRGBサブピクセルが、欠落なく視認される。したがって、第2のビューポイント709からは立体画像501が適正に視認される。
【0121】
第2のビューポイントよりもさらに立体画像表示装置701から遠い位置にある第3のビューポイント710からは1組のRGBサブピクセルに加えてRサブピクセルがさらに視認される。したがって、第3のビューポイント710から見る立体画像501は赤みがかって視認され、適正に視認されない。
【0122】
この点、図61に示すように1組のRGBサブピクセルを垂直方向に配置すれば、水平方向からは常に少なくとも1組のR、G、Bのサブピクセルが欠落なく視認されるため、どのビューポイントからも立体画像501は適正に視認される。
【0123】
次いで、図2のステップS210で行われる、複数の視点毎の中間画像401から最終的に出力される立体画像501の生成について詳述する。
【0124】
立体画像501の生成は、BLU―RAY DISC(登録商標)等の光ディスクや、サーバーもしくは前述した第一の情報処理装置から送信されてきた中間画像401のRGB並列配置画素ユニット4011を構成するサブピクセルの配置を立体視のための配置に変更することにより行う。すなわち、RGB並列配置画素ユニット4011を構成するサブピクセルを、再度階段状に並べ替えてRGB階段配置画素ユニット5011として構成することにより行うが、この場合、それらのサブピクセルの位置を関係付ける立体画像生成テーブル5013を用いることが望ましい。図7で示した中間画像生成テーブル4013は、RGB並列配置画素ユニット4011を構成するサブピクセルの位置と、RGB階段配置画素ユニット5011を構成するサブピクセルの位置を関係付けているため、立体画像生成テーブル5013として用いることが可能である。
【0125】
すなわち、図7の中間画像生成テーブル4013に示された配置規則の逆順に従って再びRGB階段配置画素ユニット5011を生成し、立体画像501を生成することができる。
【0126】
また、別の実施例として、タイルフォーマットの中間画像401より立体画像501を生成する場合は、図62に示す立体画像生成テーブル5013を用いてもよい。
【0127】
図62について詳細に説明すると、図62上段の「8視点タイルフォーマット」が中間画像401であり、「8視点パララックス立体画像」が立体画像501を示している。図62下段の「Rの座標変換テーブル」、「Gの座標変換テーブル」、「Bの座標変換テーブル」、「Yの座標変換テーブル」、が立体画像生成テーブル5013を示している。
【0128】
立体画像501を生成する際には、立体画像生成テーブル5013を参照して、中間画像401のピクセル座標(例えば1視点目の(x,y))のR値を取得し、当該座標と対応付けられている立体画像501のピクセル座標(X,Y)のR値として描画する。この処理を各視点の全ての座標に対して行うことにより、立体画像501に対するRサブピクセルの描画が完了する。Gサブピクセル、Bサブピクセル、Yサブピクセル、に対しても同様の処理を行い、立体画像501の生成が完了する。
【0129】
ベルト状フォーマットの中間画像401より立体画像501を生成する場合は、図
63に示す立体画像生成テーブル5013を用いる。
【0130】
図63について詳細に説明すると、図62上段の「4視点ベルトフォーマット」が中間画像401であり、「4視点パララックス立体画像」が立体画像501を示している。図62下段の「Rの座標変換テーブル」、「Gの座標変換テーブル」、「Bの座標変換テーブル」、が立体画像生成テーブル5013を示している。
【0131】
立体画像501の生成方法自体は図62の8視点タイルフォーマットの場合と共通であるから説明は省略する。すなわち、立体画像生成テーブル5013を用いた立体画像501の生成方法は、視点数と中間画像401のフォーマットに依存するものではなく、適宜変更して実施可能なのである。
【0132】
図62、図63に示す立体画像生成テーブル5013は、R、G、B、(Y)のサブピクセル毎に別々に作成することに特徴があり、メモリのアクセスサイズを小さくでき、最初にRのテーブルで、R値を全てマッピングし、順次G、B、(Y)と使用することにより、各テーブルを主記憶上に展開し易くなり、主記憶の容量を低減し、処理速度を向上させることができる。
【0133】
<立体画像生成装置>
図17は、本発明にかかる立体画像生成装置201の実施形態の一例を示す外観図である。
【0134】
同図に示すように、当該実施形態にかかる立体画像生成装置201は、一般的な画像出力装置1001と、一般的な立体画像表示装置701(ディスプレイ)と、の間に映像ケーブル702によって電気的に接続して用い、画像出力装置1001から画像信号(画像入力信号)として送信された複数視点の画像を受信し、予め設定された制御情報(走査方式、視点数、解像度、画素配置法等の情報)に基づいて立体画像表示用の画素配置に変換し、画素配置変換後の画像を画像信号(画像出力信号)として立体画像表示装置701に送信する。
【0135】
ここで、立体画像生成装置201、画像出力装置1001、立体画像表示装置701を電気的に接続する映像ケーブル702とは、具体的には、VDI、HMVI等の規格の、画像出力装置1001と立体画像表示装置701を電気的に接続して、画像信号を送信するケーブルとして従来から普及しているものを用いることができる。
【0136】
図18は、本発明にかかる立体画像生成装置201の他の実施形態の一例を示す外観図である。
【0137】
同図に示すように、立体画像生成装置201は、画像出力装置1001と、立体画像表示装置701とのいずれか一方または両方と制御ケーブル703によってさらに電気的に接続することにより、制御信号を受信してもよい。制御信号とは、立体画像生成装置201に対して、走査方式、解像度、視点数、画素配置方法等の画像以外の制御情報を与える信号を意味する。
【0138】
ここで、制御ケーブル703は具体的には、i・LINK、シリアル等の規格の画像出力装置1001と立体画像表示装置701を電気的に接続する制御ケーブル703として従来から普及しているものを用いることができる。
【0139】
ただし、説明の便宜を図るため同図においては映像ケーブル702と制御ケーブル703は別のケーブルであるものとして説明したが、これらのケーブルを束ねて一つのケーブルとしてもよい。
【0140】
なお、中間画像401(画像信号)の送信および制御信号の送信は、上記ケーブルに代えて無線LAN、Bluetooth(登録商標)、UWB、等の規格の無線通信手段として従来から普及しているものを用いてもよい。
【0141】
なお、画像出力装置1001は既存の画像出力技術をそのまま流用することが本発明の趣旨に照らして最も好ましい。すなわち、画像出力装置1001とは、既存の、動画像を地上波、衛星放送、インターネット上からのストリーミングまたはダウンロードにより取得するセットトップボックス、もしくはスタンドアローンのDVDプレーヤー、Blu−ray(登録商標)プレーヤー等の再生機器(録画機能を持つものも含める)であることが好ましい。
【0142】
また、立体画像表示装置701(ディスプレイ)は既存の立体画像表示装置に何ら改良を加えることなく、そのまま流用することが、本発明の趣旨に照らして最も好ましい。すなわち、立体画像表示装置701とは、既存の、パララックスバリア方式、レンチキュラー方式等を採用した、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ等の、裸眼立体画像表示装置あるいは、2視点画像を高速で交互に表示して、シャッター方式のメガネを通して視認するもの等であることが好ましい。ただし、上記の立体画像表示装置以外にも本発明にかかる立体画像生成装置201を用いることができることはいうまでもない。
【0143】
図19は本発明にかかる立体画像生成装置201が画像信号として受信する複数視点の画像の実施例を示す図である。本発明にかかる推奨の複数視点の画像の標準化タイルフォーマットであり、立体画像表示用の画素配置に変換するために複数視点の画像から読み出す画素のみが配置されている。通常、タイルフォーマットに配置した上で、所定の圧縮ファイルを生成する。解像度は任意であり、通常、非可逆性圧縮である圧縮規格MPG2を使用する場合が多い。図示しないが、本発明に基づいて任意の視点数に対応するタイルフォーマットで中間画像401を生成して複数視点の画像としてよい。特に、1画素のRGBを構成する3サブピクセルを3行3列で斜めに配置した画素配置方法で、16:9のアスペクト比で任意の解像度の画像を水平960画素に、垂直360画素で各視点の中間画像401を作成して、立体画像表示用の画素配置に変換することが望ましい。これにより、6視点のタイル画像の解像度は、1920×1080となり、ハイビジョンの画像としてタイル画像を受信し、最も画質欠落のない立体画像に変換できる。
【0144】
図20は本発明にかかる立体画像生成装置201が動画像信号として受信する複数視点の動画像の実施例を示す図である。かかる動画像は周知であり、圧縮規格MPG4のマルチストリーミングにより作成することが可能である。1ファイルに同期が取られた複数の動画像を記録できる。受信された1視点からN視点までの中間画像401を記憶手段に所定の配置で記憶して、立体画像表示用の画素配置に変換する。
【0145】
図21は本発明にかかる立体画像生成装置201が動画像信号として受信する複数視点の動画像の実施例を示す図である。複数視点の動画像は、各視点の動画像を連続する各フレームに割り当て、時間方向に繰り返し形成されている。受信された1視点からN視点までの中間画像401を順々に記憶手段に記憶して、立体画像表示用の画素配置に変換する。
【0146】
図22は本発明にかかる立体画像生成装置201が画像信号として受信する、画素情報4014が埋め込まれた複数視点の中間画像401の第一の実施例を示す図である。画素情報とは、所定の暗号であり、2Dの画像の区別や、解像度、視点数などの情報が定義されている。立体画像か通常画像かを立体画像生成装置やコンバーター(立体画像生成装置)に対して知らせるために埋め込まれるものである。
【0147】
同図(a)は、画像上における画素情報4014の埋め込み位置を示す図である。同図(a)によれば、画素情報4014は画像の左上端部に埋め込まれている。ただし、画素情報4014の埋め込み位置は予め定義された配置パターンに基づくものであるため、常に左上端部である必要はないが、画像の端部は立体画像生成装置201と接続される画像出力装置1001のモニタフレームと重畳する部分であってユーザには見えないため、画素情報4014を埋め込んでもユーザに対する立体画像の表示に影響を与えないというメリットがある。
【0148】
同図(b)は、埋め込まれた画素情報4014を示す拡大図である。同図(b)によれば、画素情報4014は横一列に隙間無く埋め込まれている。ただし、図示はしないが所定の間隔をおいて埋め込んでもよい。
【0149】
図23は本発明にかかる立体画像生成装置201が画像信号として受信する、画素情報4014が埋め込まれた複数視点の中間画像401の第二の実施例を示す図である。
【0150】
同図(a)は、画像上における画素情報4014の埋め込み位置を示す図である。
【0151】
同図(b)は、画素情報4014の埋め込まれた部分を拡大した図である。第二の実施例においては、同一の画像情報として定義された画素情報4014がXY方向に連続して複数配置された画素マトリクス4015が埋め込まれている。
【0152】
同図(c)は、同図(b)の画素マトリクス4015の1つを示す拡大図である。中央の太枠で囲まれた3×3のマトリクスが、画素マトリクス4015であり、同一の画像情報が定義された画素情報Cm・nが9個配置されている。本発明にかかる立体画像生成装置201においては丸印で示す画素マトリクス4015中央の画素情報4014から画像情報を解析する。なお、かかる画素マトリクス4015中央の画素情報4014の位置は、予め定義された配置パターンに基づき、画素情報4014のXY座標を特定することにより、位置を特定するのが適当である。ただし、画素マトリクス4015中の複数の画素情報4014の平均値から画像情報を求めてもよい。
【0153】
図24は本発明にかかる立体画像生成装置201が画像信号として受信する、画素情報4014が埋め込まれた複数視点の中間画像401の第三の実施例を示す図である。
【0154】
同図(a)は、画像上における画素情報4014の埋め込み位置を示す図である。
【0155】
同図(b)は、画素情報4014の埋め込まれた部分を拡大した図である。
【0156】
同図(c)は、同図(b)の画素マトリクス4015の1つを示す拡大図である。第三の実施例においては、画像情報として定義された画素情報4014が画素マトリクス4015中央に配置され、画素マトリクス4015の外周部分に、画素マトリクス4015に隣接する画素と、画素情報4014と、の中間値の画素情報4014が埋め込まれている。
【0157】
図25は本発明にかかる立体画像生成装置201が画像信号として受信する、画素情報4014が埋め込まれた複数視点の中間画像401の第四の実施例を示す図である。
【0158】
同図(a)は、画像上における画素情報4014の埋め込み位置を示す図である。
【0159】
同図(b)は、画素情報4014の埋め込まれた部分を拡大した図である。第四の実施例においては、画素マトリクス4015が2×3からなり、第三の実施例の画素マトリクス4015と比較すると上の一行の画素情報4014が除かれて、画像の上端部に配置されている。画素マトリクス4015の占める面積が小さくなると、画像に与える影響も小さくなるため、かかる実施例は好適である。
【0160】
同図(c)は、同図(b)の画素マトリクス4015の1つを示す拡大図である。画像情報を定義した画素情報4014は画素マトリクス4015の上の行中央部分に配置され、画素マトリクス4015の外周部分に、画素マトリクス4015に隣接する画素と、画素情報4014と、の中間値の画素または両画素に所定の重み付けをして補間した画素が配置されている。
【0161】
ここで、重み付けとは、画素情報4014が定義する画像情報をより確実に解析するため、中間値を求める際に画素情報4014の値を所定数倍することを意味する。同図(c)によれば重み付けは画素情報4014の値を2倍しているが、必要に応じて3倍、4倍、としてもよい。なお、第三の実施例においても重み付けは可能である点を補足しておく。
【0162】
図26、図27は上記の実施例において画像情報が実際にどのような情報を意味するものであるのか説明する図である。図26によれば、コードCからC23までは判定コード(ヘッダー)として用いる。かかる判定コードのRGB値の組み合わせは、自然界ではおよそあり得ない組み合わせとすることにより、画素情報が画像情報を定義するものとして埋め込まれたものであることを、中央処理装置(その2)2011が認識することができるようになる。
【0163】
コードC24からC29までは図26に示す通りのパリティチェックに用いる。コードC30からC89までは図27に具体的に示すように、制御情報を意味する。コードC90からC95は図27に示すように、パリティチェックに用いる。
【0164】
以上のように、画素情報4014を用いることで、映像信号として受信した画像が通常の平面画像であるのか、複数の中間画像401であるのかを判別することが可能となる。これは、立体画像生成装置201に入力された画像が通常の平面画像である場合、ピクセルの配置の変換等の処理を行わずに、立体画像表示装置701にそのまま出力する必要があるためである。なお、画素情報4014のRGB値は、前述のように非可逆性圧縮により変化するため、所定の桁数の上位ビットのみを参照して画像情報を解析することが好ましい。中央処理装置(その2)2011は、所定の配置パターンに基づいて画素情報4014の埋め込まれた位置を特定して、画像情報を照合するヘッダーの有無を判別して、ヘッダーがあるときは画像情報を解析する。
【0165】
図28は、複数視点の中間画像401に常に画像情報として定義された画素情報4014を埋め込むことにより、通常の平面画像と複数視点の中間画像401の判別を行う方法を示したフローチャートである。
【0166】
ただし、非可逆性圧縮による時間方向からの影響を防ぐため、複数視点の中間画像401が開始する瞬間のフレームの前後のフレームと、複数視点の中間画像401が終了する瞬間のフレームの前後のフレームと、にそれぞれと同一の画像情報として定義された画素情報4014を埋め込んでもよい。
【0167】
同図によれば、中央処理装置(その2)2011は、画像を受信すると、あらかじめ定義された所定の画素配置パターンに基づいて、所定位置のヘッダーの有無をフレームごとに解析する。(1)ヘッダーがあるときは、そのフレームは複数視点の中間画像401フレームであり、そのフレームには画像情報4013が定義されているため、中央処理装置(その2)2011は画像情報4013を解析する。(2)ヘッダーがないときは、そのフレームは通常の平面画像フレームであり、そのフレームには画像情報が定義されていないため、中央処理装置(その2)2011は画像情報4013を解析しない。上記の解析が終了すると、中央処理装置(その2)2011は次のフレームの解析に移る。
【0168】
<裸眼立体画像表示装置>
次に、図29〜図55を参照して、本発明に係る立体画像生成方法により生成された立体画像を出力する、パララックスバリア704を有する裸眼立体画像表示装置701について説明する。
【0169】
従来から用いられていたパララックスバリア方式を採用した裸眼立体画像表示装置は、画像提示対象者が可視光透過部から視認可能な範囲が異なり、各可視光透過部を通過して画像提示対象者側に進む光の強度に差が生じ、光が干渉しあってスジ状の干渉縞(モアレ)が画像提示対象者により視認され、表示画像の画質低下という問題があった。
【0170】
しかし、本実施形態に係る立体画像表示装置701の構成によれば、例えば、最も人溜まりのできる位置に所定の最適立体可視位置および所定の斜め方向のモアレ解消位置を設定し、これらの値から逆算してディスプレイの画像表示面からパララックスバリア704までの距離および一又は複数の可視光透過部7041の水平方向における隣り合う間隔を定めることが可能となるため、所定の斜め方向のモアレ解消位置において画像提示対象者は、パララックスバリア704の可視光透過部7041を通して、常に所定の視点の画像を表示するピクセルの所定位置を視認することができ、該所定のモアレ解消位置においては完全にモアレが解消されることになる。
【0171】
ここで、「可視光透過部7041」とは、パララックスバリア704を構成する可視光を透過しない面に設けられた可視光を透過する部分である。すなわち、本件発明にいう「可視光透過部7041」とは、そのスリットのエッジの形状が直線状、階段状、ジグザグ形状、または一定形状の円弧または楕円弧が連続した形状(団子形状)であっても良い。またスリットの配置の形状が正弦弧であっても良い。さらには、該可視光透過部7041はパララックスバリア704上に独立して配置された穴型であっても良い。
【0172】
なお、可視光を透過しないとは、(1)可視光を吸収する、(2)可視光を拡散反射する、(3)可視光を鏡面反射する、のいずれかの光学的特性を意味する。
【0173】
また、「最適立体可視位置」とは、画像提示対象者は立体効果を特に効果的に得られる位置である。すなわち、最適立体可視位置においては、画像提示対象者の両眼それぞれが、パララックスバリア704の可視光透過部7041を通して視認すべき視点分の立体表示用のピクセル707の中心を視認する。
【0174】
また、「モアレ解消位置」とは、画像提示対象者に対して、完全にモアレを低減させたかたちで、効果的に立体画像を視認させることのできる位置をいい、所定のモアレ解消位置において画像提示対象者は、左右いずれかの眼によって、パララックスバリア704の可視光透過部7041を通して、常に所定の視点の画像を表示する立体表示用のピクセル707の所定位置を視認することができる。モアレ解消位置においては、画像提示対象者が、裸眼立体ディスプレイに対して平行に左右または上下に移動したとしても、モアレ解消の効果は変わらない。なお、モアレ解消位置という概念には、後述の斜め方向モアレ解消位置および水平方向モアレ解消位置が含まれる。
【0175】
ただし、特に立体を効果的に視認することができる位置(最適立体可視位置)と、斜め方向のモアレを解消できる位置(斜め方向モアレ解消位置)や、水平方向のモアレを解消できる位置(水平方向モアレ解消位置)は、別の概念であり、必ずしもこれらの位置からパララックスバリア704までの距離は同一でなくても良い。
【0176】
ただし、これらの所定のモアレ解消位置を最適立体可視位置と同一距離とすると、ディスプレイの全面で立体を最も効果的に視認できる。
【0177】
このように、モアレ解消位置と最適立体可視位置とを別の距離、例えばモアレ解消位置を、最適立体可視位置よりパララックスバリア704から遠い距離に設定することにより、まず遠くにいる画像提示対象者に特にモアレが解消されている立体画像を、画像提示対象者に対してモアレのストレスを感じさせることなく視認させ、そうすることで画像提示対象者の注意を引き、最適立体可視位置まで近づいてもらい、特に立体効果の高い立体画像を視認させることも考えられる。
【0178】
まず、図29,図30を参照して、可視光透過部7041の横幅Shの適正値について説明する。
【0179】
Vhは幅Shの可視光透過部7041を通して片眼で視認される有効可視領域の幅、αPhは隣り合う視点の画像を表示する立体表示用のピクセル707の中心間の距離、Zはディスプレイの画像表示面から前記パララックスバリア704までの距離、L1は最適立体可視位置における画像提示対象者からパララックスバリア704までの距離、Wは画像提示対象者の左右の目の瞳間の距離、Kは画像提示対象者の両眼の注視点間距離をそれぞれ示す。また画像提示対象者の片眼からディスプレイに向かって伸びている一点鎖線は画像提示対象者の注視線を示す。
【0180】
例えば、最適立体可視位置は、立体画像表示装置の用途、設置場所等を考慮して、特に効果的に画像提示対象者に裸眼立体映画像を視認させたい位置とすれば良い。すなわち、最適立体可視位置からパララックスバリア704までの距離L1は任意の値を取ることができる。
【0181】
また、画像提示対象者の左右の目の瞳間の距離Wは、その立体画像の主たる対象者が、欧米人であれば60〜65mm、アジア人であれば65〜70mm、子供であれば50〜60mm程度に設定し計算すれば良い。
【0182】
また、隣り合う視点の画像を表示する立体表示用のピクセル707の中心間の距離αPhは、図30に例示するように、例えば、3つのサブピクセルで1つの立体表示用のピクセル707を構成し、サブピクセルを階段状に斜め方向に連結して配置した場合のαPhの値は1Phとなる。
【0183】
次に、パララックスバリア704の可視光透過部7041を通して画像提示対象者の片眼で視認される有効可視領域の幅Vhの値を決定する。
【0184】
有効可視領域とは、最適立体可視位置において、画像提示対象者が、パララックスバリア704の可視光透過部7041を通して視認することのできる画像表示面上の領域をいう。すなわち、最適立体可視位置において、画像提示対象者に対し視認させることを意図したディスプレイの範囲である。
【0185】
有効可視領域の幅Vhとは、人が移動した際に、他の視点の画像の視認への移り変わりの際の画像の乱れと、左右の眼が左右逆の視点の画像を視認する際に起きる、対象物の位置が前後に逆転するジャンプポイントを低減するために、本来両眼が視認すべき隣り合う視点の画像を表示する立体表示用のピクセル707を中心に、その左右の立体表示用のピクセル707の一部を視認して適度なビューミックスを生じさせるために必要な、画像表示面の片眼で視認させる水平方向の幅である。
【0186】
したがって、Vhが大きいと視点の移り変わりとジャンプポイントの低減になるが、その分だけ本来両眼が視認すべき隣り合う視点の画像を表示する立体表示用のピクセル707とは異なる立体表示用のピクセル707(特に、両眼がだぶって同一の画像を視認する)を視認するため立体感が乏しくなる。一方、Vhの値が小さいと画像の立体感は強調され立体画像は鮮明に映るが、ジャンプポイントは大きくなる。ただし、以上の効果は、スリットもしくは可視光透過部7041の形状と配置によって大きく異なる。
【0187】
このように、有効可視領域の幅の大きさを、立体画像の用途等に合わせて適宜広狭させることにより、画像提示対象者の需要や状況に対応させて、より効果的に立体画像を提供することができる。
【0188】
なお、図29からもわかるように、最適立体可視位置においては、画像提示対象者の注視線(図29、一点鎖線)が各立体表示用のピクセル707の中心を視認するのであるから、左右の眼の注視点間距離Kは、αPhと同じ値となる。
【0189】
次に、決定された有効可視領域の幅Vhの値に基づいて、ディスプレイの画像表示面からパララックスバリア704までの距離Zの値を求める。Zは次の式により算定される。
【0190】
なお、立体画像表示装置のディスプレイ面に移りこみ防止等の加工処理、または、写りこみ防止等の透明シートを貼りつけた場合であっても、Zはディスプレイ面からパララックスバリア704までの距離とする。
【0191】
図29からわかるように、Z:L1とαPh:Wとの間には、以下の数式により表される関係がある。
【0192】
【数7】

【0193】
したがって、前記距離Zは以下の数式によって表される。
【0194】
【数8】

【0195】
次に、決定された前記距離Zの値に基づいて、可視光透過部7041の横幅Shの値を求める。
【0196】
前記〈1〉の式から、L1は以下の数式のように表される。
【0197】
【数9】

【0198】
また、図29からわかるように、S:VhとL1:(L1+Z)の間には、以下の数式により表される関係がある。
【0199】
【数10】

【0200】
したがって、可視光透過部7041の高さShは以下の数式によって表される。
【0201】
【数11】

【0202】
そこで、〈3〉に式に〈2〉の式を代入すると、Shは以下の数式によって表される。
【0203】
【数12】

【0204】
このように、Shの値はW、αPh及びVhの値から求めることができる。
【0205】
次に、図31を参照して、パララックスバリア704を構成する可視光透過部7041であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリア704を構成する可視光透過部7041の形状が、独立して複数形成された穴形状である場合の、前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の高さSvを求める。
【0206】
ここで、パララックスバリア704の有効可視領域の高さVvは、最適立体可視位置において、高さSvの可視光透過部7041を通して視認されるディスプレイの範囲であり、その値は裸眼立体ディスプレイを設置する場所等の条件に合わせて、所定の値とすることができる。
【0207】
例えば、パララックスバリア704の開口率を抑え、ディスプレイの照度を落としたいときには、有効可視領域の値は小さくすれば良い。
【0208】
また、パララックスバリア704の開口率を調整する他の方法として、一つのサブピクセルに対し複数の連続するスリットのエッジの一単位または可視光透過部7041を用いるようにしても良いし、2以上のサブピクセルに対し、一の前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041を用いるようにしても良い。
【0209】
このように、一のサブピクセルに対する、可視光透過部7041の数の比率を、1:1以外とした場合であっても、前記有効可視領域の高さVvは、可視光透過部7041の高さを通して視認されるディスプレイの範囲を言う。
【0210】
図31からわかるように、Sv:VvとL1:(L1+Z)との間には、以下の数式により表される関係がある。
【0211】
【数13】

【0212】
したがって、可視光透過部7041の高さSvは以下の式により表される。
【0213】
【数14】

【0214】
このように、可視光透過部7041の高さSvの値も、まず当該有効可視領域高さVvの値を決定することで逆算することが可能である。
【0215】
また、可視光透過部7041の高さSvは、前記可視光透過部7041の間隔Hvに基づいて、以下の式により求めることもできる。
【0216】
【数15】

【0217】
すなわち、図32に示すように、まず、前記式に基づいて可視光透過部7041の間隔Hvを求めた後に、λの値(図面においては1/2)を決定し、前記式に代入することにより、前記可視光透過部7041の高さを求めることができる。
【0218】
次に図33を参照して、所定の斜め方向モアレ解消位置からパララックスバリア704までの距離をL2に基づき、水平方向に隣接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hhを求める。
【0219】
図33では、画像提示対象者は、所定の斜め方向モアレ解消位置において、片眼(左眼)で、パララックスバリア704の可視光透過部7041を通して、ディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルと、ディスプレイ右端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルを視認しており、画像提示対象者が視認している立体表示用のピクセルは同一視点の画像を表示するものである。
【0220】
このように、パララックスバリア704の可視光透過部7041を通して視認するサブピクセルが常に同一視点の画像を表示するものであれば、画像提示対象者が画面上のモアレを視認することはない。
【0221】
ここで、まず、所定の斜め方向モアレ解消位置における、ディスプレイ左端のRGB階段配置画素ブロック13に対する前記パララックスバリア704の可視光透過部7041から、ディスプレイ右端のRGB階段配置画素ブロック13に対する前記パララックスバリア704の可視光透過部7041までの間の、水平方向における可視光透過部7041の数Mhは、立体画像を表示するための視点数Nと、水平解像度Irを用いた以下の式により表すことができる。
【0222】
【数16】

【0223】
すなわち、水平解像度Irに3(R・G・B)を乗じた、3Irは水平方向におけるサブピクセルの数である。ここから1を引くのは、例えば図34において図示するように、視点数を仮に7とした場合、ディスプレイ右端のサブピクセルが該視点の最後の視点である第7視点の画像を表示せず、第1視点である場合があり、この場合には余った第1視点の画像を表示するサブピクセルの数を引いて計算をする必要があるからである。また、最後に1を足すのは、前記第1視点の画像を表示するサブピクセルがディスプレイ右端に余った場合以外の場合にも、全サブピクセル数から1を引いて整数化しているため、実際のMh値から1足りなくなるのでそれを補うためである。
【0224】
また、ディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルに対する可視光透過部7041の中心から、これと同一視点の画像を表示する立体表示用のピクセルであってディスプレイ右端のRGB階段配置画素ブロック13を構成するものに対する可視光透過部7041の中心までの距離は、Hh(水平方向における可視光透過部7041の間隔)に(Mh−1)を乗じた値となる。
【0225】
【数17】

【0226】
さらに、水平方向において、画像提示対象者がパララックスバリア704の可視光透過部7041を通して視認する、ディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルの中心から、これと同一視点の画像を表示する立体表示用のピクセルであってディスプレイ右端のRGB階段配置画素ブロック13を構成するものの中心までの距離は、裸眼立体画像を生成するための画像の視点数をNと、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhを用いた以下の式により表すことができる。
【0227】
【数18】

【0228】
図33からわかるように、[Hh×(Mh−1)]:[N×(Mh−1)×αPh]とL2:(Z+L2)の間には以下の式により表すことができる関係がある。
【0229】
【数19】

【0230】
従って、Hhの値は以下の式により求めることができる。
【0231】
【数20】

【0232】
このように、所定の斜め方向モアレ解消位置からパララックスバリア704までの距離をL2に基づき、水平方向に隣接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hhの値を求めることができる。
【0233】
次に、図35及び図36を参照して、パララックスバリア704から、斜め方向のモアレが1本発生する地点までの距離に基づいて前記水平方向に隣接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hhを求める。
【0234】
図35において例示する、斜め方向のモアレが一本発生する位置からパララックスバリア704までの距離であって、遠近二種の該位置のうち、より該パララックスバリア704に近い位置から、該パララックスバリア704までの所定の距離L2nにおいては、図37においても例示するように、画像提示対象者は、所定の斜め方向のモアレ解消位置(L2)と同様にディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルのうち第一視点用の画像を表示するものをパララックスバリア704の可視光透過部7041を通して視認しているが、視点が右方向にずれるにつれて、該可視光透過部7041を通して、第一視点用の立体表示用のピクセルではなく、他の視点用の立体表示用のピクセルを視認していくことになる。そして最終的には、L2の地点においてディスプレイ右端のRGB階段配置画素ブロック13のうち第一視点用の立体表示用のピクセルを視認する際に可視光が透過する可視光透過部7041を通して、ディスプレイ右端の右隣に仮想画素705を想定した場合、再び第一視点用の立体表示用のピクセル(仮想)を視認することとなる。この様なサイクルが一度発生しているため、L2nにおいてはモアレが一回発生していると考えられる。
【0235】
このようなL2nの値を所定の値とした場合に、この値に基づいて、前記水平方向に隣接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hhを求める。
【0236】
すなわち、図35からもわかるように、[Hh×(M−1)]:[N×M×αPh]とL2n:(Z+L2n)の間には以下の式に表されるような関係がある。
【0237】
【数21】

【0238】
従って、Hhは以下の式により求めることができる。
【0239】
【数22】

【0240】
また、L2nに基づいてHhの値を求めるのと同様に、斜め方向のモアレが一本発生する位置からパララックスバリア704までの距離であって、遠近二種の該位置のうち、より該パララックスバリア704に遠い位置から、該パララックスバリア704までの所定の距離L2fに基づいて、該Hhの値を求めることができる。
【0241】
図36において例示する、L2fの地点においては、画像提示対象者は、所定の斜め方向のモアレ解消位置(L2)と同様にディスプレイ左端のRGB階段配置画素ブロック13を構成する立体表示用のピクセルのうち第一視点用の画像を表示するものをパララックスバリア704の可視光透過部7041を通して視認しているが、視点が右方向にずれるにつれて、該可視光透過部7041を通して、第一視点用の立体表示用のピクセルではなく、他の視点用の立体表示用のピクセルを視認していくことになる。そして最終的には、L2の地点においてディスプレイ右端のRGB階段配置画素ブロック13のうち第一視点用の立体表示用のピクセルを視認する際に可視光が透過する可視光透過部7041を通して、ディスプレイ右端のRGB階段配置画素ブロック13の左隣のRGB階段配置画素ブロック13中の第一視点用の立体表示用のピクセル2を視認することとなる。この様なサイクルが一度発生しているため、L2fにおいてもモアレが一回発生していると考えられる。
【0242】
なお、図38においては、前記L2、L2n、L2fの相対的な関係を図示している。
【0243】
このような、L2fの値を所定の値とした場合に、この値に基づいて、前記水平方向に隣接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hhを求める。
【0244】
すなわち、図36からわかるように、[Hh×(M−1)]:[N×(M−2)×αPh]とZ:(Z+L2)の間には以下の式に表されるような関係がある。
【0245】
【数23】

【0246】
従って、Hhの値は以下の式により求めることができる。
【0247】
【数24】

【0248】
このように、モアレが一本発生する地点(L2n・L2f)の値に基づいて、水平方向に隣接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hhを求めることができるため、例えば、L2nの地点からL2fの地点までの領域を、モアレ適正解消領域として、立体画像が特に効果的に視認できる地点を画像提示対象者に対して明示することもできる。さらに、該モアレ解消領域を最も人溜まりができる範囲に設定することにより、画像提示対象者の注意を引きつけることもできる。
【0249】
次に、図39を参照して、パララックスバリア704を構成する可視光透過部7041であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリア704を構成する可視光透過部7041の形状が、独立して複数形成された穴形状である場合に、所定の水平方向のモアレ解消位置から前記パララックスバリア704までの距離L3の値に基づいて、前記パララックスバリア704の垂直方向に連接する前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の間隔Hvの値を求める方法について説明する。
【0250】
ここで、図39の一点鎖線は画像提示対象者の注視線を示し、Kは画像提示対象者の上下の注視点間距離を示す。
【0251】
パララックスバリア704から所定の水平方向のモアレ解消位置までの距離L3の値は、ディスプレイからどの距離をもって画像提示対象者に特にモアレを解消した形で立体画像を提供したいかによって決まる。
【0252】
また、水平方向のモアレ解消位置において、画像提示対象者は常に、パララックスバリア704の可視光透過部7041を通してサブピクセルの中心を注視することとなるため、画像提示対象者の注視点間距離Kは、サブピクセルの高さPvに等しい。
【0253】
また、βとは、一のサブピクセルに対応する可視光透過部7041の上下方向の数を表し、例えば、図40(a)(d)に示すように、1のサブピクセルに対して1の可視光透過部7041が形成されているような場合、βは1となる。また図40(b)(e)に示すように、1のサブピクセルに対して2の可視光透過部7041が形成されているような場合、βは2となる。さらに、図40(c)(f)に示すように、3のサブピクセル対して1の可視光透過部7041が形成されているような場合、βは1/3となる。
【0254】
すなわちβとは、一のサブピクセルに対応する、連続する前記形状の可視光透過部7041の一単位または前記複数の穴形状の可視光透過部7041上下方向の数である。
【0255】
なお、1のサブピクセルに対して設けられる複数の可視光透過部7041は、整数個であることが望ましい。また、複数のサブピクセルに対し1の可視光透過部7041を設ける場合には、1の立体表示用のピクセルに対し、整数個の可視光透過部7041を設けることが望ましい。
【0256】
ここで、該連続する一単位または該可視光透過部7041の間隔Hvの値を求める。
【0257】
図41からわかるように、Hv×β:L3における上下の注視点間距離K(=Pv)とL3:(L3+Z)の関係は以下の式により表すことができる。
【0258】
【数25】

【0259】
したがって、Hvは以下の式により表される。
【0260】
【数26】

【0261】
このように、所定の水平方向のモアレ解消位置において、L3の値から逆算して特にモアレを解消することのできるHvの値を定めることができる。
【0262】
図42及び図43を参照して、パララックスバリア704を構成する可視光透過部7041であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリア704を構成する可視光透過部7041の形状が、独立して複数形成された穴形状である場合に、水平方向のモアレが一本発生する位置からパララックスバリア704までの距離であって、遠近二種の該位置のうち、より該パララックスバリア704に近い位置から、該パララックスバリア704までの所定の距離をL3nの値に基づいて、前記パララックスバリア704の垂直方向に連接する前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の間隔Hvの値を求める方法について説明する。
【0263】
図42において例示する、前記L3nにおいては、画像提示対象者は、所定の横向のモアレ解消位置(L3)と同様にディスプレイ下端のサブピクセルをパララックスバリア704の可視光透過部7041を通して視認しているが、視点が上方向にずれるにつれて、L3の地点において本来視認すべきサブピクセルではなく、その上方のサブピクセルを、可視光透過部7041を通して視認することとなる。そして最終的には、L3の地点においてディスプレイ上端のサブピクセルを視認する際に可視光が透過する可視光透過部7041を通して、ディスプレイ上端の上方に仮想サブピクセル706を想定した場合、該仮想サブピクセル706を視認することとなる。この様なサイクルが一度発生しているため、L3nにおいてはモアレが一回発生していると考えられる。
【0264】
まず、前記ディスプレイ上端のサブピクセルに対する前記形状の可視光透過部7041から、ディスプレイ下端のサブピクセルに対する前記形状の可視光透過部7041までの間の、垂直方向において前記連続する前記形状の可視光透過部7041の一単位または前記複数の穴形状の可視光透過部7041の数Mvについて説明する。
【0265】
なお、Mvとは、図44(b)において示すように、所定の水平方向モアレ解消位置(L3)の一地点において、画像提示対象者が、ディスプレイ上の同一視点の画像を表示する立体表示用のピクセルを全て視認し、立体画像の効果を得るために必要な、パララックスバリア704の可視光透過部7041の数である。
【0266】
ここにいう、「前記連続する前記形状の可視光透過部7041の一単位の数」とは、例えば、パララックスバリア704の可視光透過部7041であるスリットの形状が楕円弧である場合、当該楕円弧が、同一視点の画像を表示する立体表示用のピクセルの並びに対応した各スリット上にいくつ形成されているかという数を意味する。また。「前記複数の穴形状の可視光透過部7041の数」とは、当該穴形状の可視光透過部7041が、同一視点の画像を表示する立体表示用のピクセルの並びに対応していくつ形成されているかという数を意味する。また、Jrとはディスプレイの垂直解像度を示す。
【0267】
従って、Mvは、Jr×βという式によって表すことができる。
【0268】
【数27】

【0269】
L3nの値を所定の値とした場合に、この値に基づいて、前記垂直方向に連接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hvを求める。
【0270】
すなわち、図42からもわかるように、[Hv(Mv−1)]:[(Jr−1/β+1)×Pv]とZ:(Z+L3n)の間には以下の式に表されるような関係がある。
【0271】
【数28】

【0272】
従って、Hvは以下の式により求めることができる。
【0273】
【数29】

【0274】
次に、パララックスバリア704を構成する可視光透過部7041であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリア704を構成する可視光透過部7041の形状が、独立して複数形成された穴形状である場合に、水平方向のモアレが一本発生する位置からパララックスバリア704までの距離であって、遠近二種の該位置のうち、より該パララックスバリア704に遠い位置から、該パララックスバリア704までの所定の距離をL3fの値に基づいて、前記パララックスバリア704の垂直方向に連接する前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の間隔Hvの値を求める方法について説明する。
【0275】
図43において例示する、前記L3fにおいては、画像提示対象者は、所定の横向のモアレ解消位置(L3)と同様に、ディスプレイ下端のサブピクセルをパララックスバリア704の可視光透過部7041を通して視認しているが、視点が上方向にずれるにつれて、L3の地点において本来視認すべきサブピクセルではなく、その下方のサブピクセルを、可視光透過部7041を通して視認することとなる。そして最終的には、L3の地点においてディスプレイ上端のサブピクセルを視認する際に可視光が透過する可視光透過部7041を通して、ディスプレイ上端の下方のサブピクセルを視認することとなる。この様なサイクルが一度発生しているため、L3nにおいてはモアレが一回発生していると考えられる。
【0276】
このようなL3fの値を所定の値とした場合に、この値に基づいて、前記垂直方向に連接するパララックスバリア704を構成する複数の可視光透過部7041の間隔Hvを求める。
【0277】
すなわち、図43からもわかるように、[Hv×(Mv−1)]:[(Jr−1/β−1)×Pv]とZ:(Z+L3f)の間には以下の式に表されるような関係がある。
【0278】
【数30】

【0279】
従って、Hvは以下の式により求めることができる。
【0280】
【数31】

【0281】
なお、β=2の場合には[Hv×(Mv−1)]と[(Jr−1/β)×Pv]の関係は図45において示すような関係となる。
【0282】
前記Hvの値は、垂直方向に連接するサブピクセルの間隔をHpvとした場合に、等式:Hv=Hpv/β(βは自然数)の関係を満足する値であることが望ましい。
【0283】
前記L3nおよびL3fの値は、L3の値に基づいて定めることもできる。図46から図48を参照して説明する。
【0284】
図46において、垂直解像度Jrに、各サブピクセルの高さPvを掛けると、ディスプレイ下端からディスプレイ上端までの距離となる。(Pv×Jr)よって、ディスプレイ下端のサブピクセルの中心から、ディスプレイ上端の上の仮想サブピクセル706の中心までの距離も、(Pv×Jr)と表すことができる。
【0285】
また、Jrに、垂直方向に連接する可視光透過部7041の間隔Hvを掛けると、モアレ解消位置において、ディスプレイ下端のサブピクセルに対応する可視光透過部7041の中心から、ディスプレイ上端の上の仮想サブピクセル706に対応する可視光透過部7041の中心までの距離となる。(Hv×Jr)
次に、図47を参照して、前記L3nを求める。
【0286】
L3nにおいては、画像提示対象者に垂直方向のモアレが1本視認されるため、垂直方向におけるサブピクセルの数より、画像提示対象者が立体画像を視認する際に透過するパララックスバリア704の可視光透過部7041の数が一つ少ないが、画像提示対象者は、該可視光透過部7041を通して全てのサブピクセルを視認していることとなる。
【0287】
したがって、L3nは垂直方向におけるモアレ発生のサイクルが一回発生した地点であるといえる。
【0288】
すなわち、L3nにおいて、ディスプレイ下端のサブピクセルに対応するパララックスバリア704の可視光透過部7041の中心から、ディスプレイ上端の上の仮想サブピクセル706に対応するパララックスバリア704の可視光透過部7041までの距離は、Hv×(Jr−1)と表す事ができる。
【0289】
ここで、前記(4)の式のHvを、これに代入すると、以下のように表す事ができる。
【0290】
【数32】

【0291】
また、図47からわかるように、
L3n:(L3n+Z)と
【0292】
【数33】

の間には、以下の式に表されるような関係がある。
【0293】
【数34】

【0294】
【数35】

【0295】
【数36】

【0296】
【数37】

【0297】
【数38】

【0298】
【数39】

したがって、L3nは以下の式により表される。
【0299】
【数40】

次に、図48を参照して、L3の値に基づいて、L3fの値を求める。
【0300】
L3fにおいても、画像提示対象者に垂直方向のモアレが1本視認されるため、垂直方向のサブピクセル数より、画像提示対象者が立体画像を視認する際に透過するパララックスバリア704の可視光透過部7041の数が一つ多いが、画像提示対象者は、該可視光透過部7041を通して全てのサブピクセルを視認していることとなる。
【0301】
すなわち、L3fにおいて、ディスプレイ下端のサブピクセルに対応するパララックスバリア704の可視光透過部7041の中心から、ディスプレイ上端の上の仮想サブピクセル706に対応するパララックスバリア704の可視光透過部7041までの距離は、Hv×(Jr+1)と表す事ができる。
【0302】
したがって、前記L3nを求める式と同様の考え方をすると、L3fは以下の式により表される。
【0303】
【数41】

【0304】
なお、前記L3nから前記L3fまでの範囲が、垂直方向における、モアレ適正解消領域である。
【0305】
ここで、フルハイビジョン40インチの裸眼立体ディスプレイの場合における実施形態を示す。この場合に、水平解像度Irは1920とし、垂直解像度Jrは1080とする。
【0306】
サブピクセルの横幅Phは0.15375mm、パララックスバリア704から最適立体可視位置までの距離L1は2500mm、視点数Nは5視点、画像提示対象者の左右の目の瞳間の距離Wは65mm、水平解像度Irは1920、垂直解像度Jrは1080とする。また、パララックスバリア704から斜め方向および水平方向のモアレ解消位置までの距離L2およびL3も2500mmとする。なお、当該実施例においてはL1、L2、L3は同じ値であるが、必ずしもL1、L2、L3は同じ値である必要はない。
【0307】
また、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhは1Phとし、パララックスバリア704の可視光透過部7041を通して画像提示対象者の片眼で視認される有効可視領域の幅Vhは1.2Phとする。
【0308】
したがって、αPhとVhの値は以下の値である。
【0309】
【数42】

【0310】
【数43】

【0311】
次に、前記距離Zの値が以下の式により求まる。
【0312】
【数44】

【0313】
【数45】

次に、求められたZ、Vhの値に基づきShを求める。
【0314】
【数46】

【0315】
なお、Vhに対して、Shがどれだけ短いかは以下の式の通りである。
【0316】
【数47】

【0317】
次に、パララックスバリア704を構成する可視光透過部7041であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリア704を構成する可視光透過部7041の形状が、独立して複数形成された穴形状である場合に、前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の高さSvの値を求める。
【0318】
パララックスバリア704の有効可視領域の高さVvの値は、ε×Pvとする。なお、εとは、Svを通して視認することのできるサブピクセルの範囲、すなわちサブピクセルの高さPvにおける有効可視領域の高さVvの割合を示す係数である。垂直方向におけるパララックスバリア704の開口率と言い換えることもできる。本実施例においてεは0.9とする。
【0319】
またここでは、RGBの3個のサブピクセルにおいて1画素が構成される裸眼立体ディスプレイであって、1画素が正方形である場合を想定しPvは3Ph(=0.46125)とする。
【0320】
また、一のサブピクセルに対応する、連続する前記形状の可視光透過部7041の一単位または前記複数の穴形状の可視光透過部7041の上下方向の数βは1とする。
【0321】
したがって、Vvの値は、以下の値となる。
【0322】
【数48】

【0323】
また、Svの値は、以下の値となる。
【0324】
【数49】

【0325】
【数50】

【0326】
なお、Vvの値に対して、Svがどれだけ短いかは、以下の式の通りである。
【0327】
【数51】

【0328】
次に、所定の斜め方向モアレ解消位置からパララックスバリア704までの距離をL2の値に基づいて、水平方向に隣接する該パララックスバリア704を構成する複数のスリット領域の間隔Hhを以下のように求める。
【0329】
【数52】

【0330】
【数53】

【0331】
なお、N×αPhに対して、Hhがどれだけ短いかは以下の式の通りである。
【0332】
【数54】

【0333】
また、水平方向に隣接するパララックスバリア704を構成する複数のスリット領域の間隔Hhの値は、斜め方向のモアレが一本発生する位置からパララックスバリア704までの距離であって、遠近二種の該位置のうち、より該パララックスバリア704に近い位置から該パララックスバリア704までの所定の距離L2n、または、より該パララックスバリアに遠い位置から該パララックスバリア704までの所定の距離L2fの値からも求めることができる。
【0334】
一例として、該L2nの所定の値を1000mm、該L2fの値を3000mmとして前記Hhの値を求める。
【0335】
まず、所定の斜め方向モアレ解消位置における、前記ディスプレイ左端のRGB階段配置画素ユニットに対する前記パララックスバリア704の可視光透過部7041から、ディスプレイ右端のRGB階段配置画素ユニットに対する前記パララックスバリア704の可視光透過部7041までの間の、水平方向における可視光透過部7041の数Mhの値は以下の式により求めることができる。
【0336】
【数55】

【0337】
【数56】

【0338】
従って、前記L2nの値(1000mm)の値に基づいて、前記Hhの値は以下の式により求めることができる。
【0339】
【数57】

【0340】
【数58】

【0341】
また、前記L2fの値(3000mm)の値に基づいて、前記Hhの値は以下の式により求めることができる。
【0342】
【数59】

【0343】
【数60】

【0344】
なお、前記L2nの値は、前記斜め方向のモアレ解消位置L2の値に基づいて定めることもできる。
【0345】
すなわち、前記L2の値を2500mmとした場合、前記L2nは以下の値となる。
【0346】
【数61】

【0347】
【数62】

【0348】
また、前記L2fの値は、前記斜め方向のモアレ解消位置L2の値に基づいて定めることもできる。
【0349】
すなわち、前記L2の値を2500mmとした場合、前記L2fは以下の値となる。
【0350】
【数63】

【0351】
【数64】

【0352】
次に、パララックスバリア704を構成する可視光透過部7041であるスリットのエッジの形状が、階段状もしくは円弧、楕円弧、多角形が連続した形状、または、前記パララックスバリア704を構成する可視光透過部7041の形状が、独立して複数形成された穴形状である場合の、垂直方向に連接する、前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の間隔Hvの値を以下のように求める。
【0353】
なお、本実施例において、パララックスバリア704の可視光透過部7041は、1のサブピクセルに対し、1つずつ設けられているものとし、前記βの値は1とする。
【0354】
よって、前記Hvの値は、以下のように求めることができる。
【0355】
【数65】

【0356】
【数66】

【0357】
なお、Pvの値に対して、Hvがどれだけ短いかは、以下の式の通りである。
【0358】
【数67】

【0359】
また、垂直方向に連接する、前記連続する前記形状の可視光透過部7041または前記複数の穴形状の可視光透過部7041の間隔Hvの値は、水平方向のモアレが一本発生する位置からパララックスバリア704までの距離であって、遠近二種の該位置のうち、より該パララックスバリア704に近い位置から該パララックスバリア704までの所定の距離L3n、または、より該パララックスバリア704に遠い位置から、該パララックスバリア704までの所定の距離をL3fの値に基づいて求めることもできる。
【0360】
一例として、該L3nの所定の値を1000mm、該L3fの値を3000mmとして前記Hvの値を求める。
【0361】
本実施例において前記β値は1とするため、所定の水平方向モアレ解消位置における、ディスプレイ上端のサブピクセルに対する前記形状の可視光透過部7041から、ディスプレイ下端のサブピクセルに対する前記形状の可視光透過部7041までの間の、垂直方向において前記連続する前記形状の可視光透過部7041の一単位または前記複数の穴形状の可視光透過部7041の数Mvの値は以下の値となる。
【0362】
【数68】

【0363】
【数69】

【0364】
前記L3nの値(1000mm)の値に基づいて、前記Hvの値は以下の式により求めることができる。
【0365】
【数70】

【0366】
【数71】

【0367】
また、前記L3fの値(3000mm)の値に基づいて、前記Hvの値は以下の式により求めることができる。
【0368】
【数72】

【0369】
【数73】

【0370】
なお、前記L3nの値は、前記水平方向のモアレ解消位置L3の値に基づいて定めることもできる。
【0371】
すなわち、前記L3の値を2500mmとした場合、前記L3nは以下の値となる。
【0372】
【数74】

【0373】
【数75】

【0374】
なお、前記L3fの値は、前記水平方向のモアレ解消位置L3の値に基づいて定めることもできる。
【0375】
すなわち、前記L3の値を2500mmとした場合、前記L3fは以下の値となる。
【0376】
【数76】

【0377】
【数77】

【0378】
次に、適正立体可視領域を求める。
【0379】
適正立体可視領域の最短距離L1nは以下の値となる。
【0380】
【数78】

【0381】
【数79】

【0382】
適正立体可視領域の最長距離L1fは以下の値となる。
【0383】
【数80】

【0384】
【数81】

【0385】
したがって、適正立体可視領域は2078mm〜4988mmとなる。
【0386】
なお、このようにVhを1.2Phとして計算する場合、L1n:L1は、およそ0.8:1の関係となる。
【0387】
ここで、フルハイビジョン40インチの裸眼立体ディスプレイの場合における、第二の実施例を記載する。
【0388】
第二の実施例では、前記L1n(最適立体可視領域までの最短距離)と、前記L2n(斜め方向のモアレ適正解消領域までの最短距離)、前記L3n(水平方向のモアレ適正解消領域までの最短距離)が同一距離に設定されている場合について説明する。
【0389】
なお、L1n、L2n、L3nは、前述したように、それぞれ別の概念であるため、本実施例に挙げるように、これら全てが同一距離の設定されている場合に限定されるものではない。
【0390】
この場合も第一の実施例と同様に、水平解像度Irは1920、垂直解像度Jrは1080、サブピクセルの横幅Phは0.15375mm、サブピクセルの高さは、0.46125mm、視点数Nは5視点、画像提示対象者の左右の目の瞳間の距離Wは65mm、パララックスバリア704から最適立体可視位置までの距離は2500mm、隣り合う視点の画像を表示する立体表示用のピクセルの中心間の距離αPhは0.15375mm、パララックスバリア704の可視光透過部7041を通して画像提示対象者の片眼で視認される有効可視領域の幅Vhは0.1845mm、パララックスバリア704の可視光透過部7041を通して画像提示対象者に視認される有効可視領域の高さVvは0.415125mmとする。
【0391】
また、所定の斜め方向モアレ解消位置における、前記ディスプレイ左端のRGB階段配置画素ブロックに対する前記パララックスバリア704の可視光透過部7041から、ディスプレイ右端のRGB階段配置画素ブロックに対する前記パララックスバリア704の可視光透過部7041までの間の、水平方向における可視光透過部7041の数Mhの値は1152個、一のサブピクセルに対応する可視光透過部7041の左右方向の数γは1、一のサブピクセルに対応する連続する前記形状の可視光透過部7041の一単位または前記複数の穴形状の可視光透過部7041の上下方向の数βは1とする。
【0392】
まず、L1nであるが、L1nは前記Z、W、Vhを用いた以下の式により求めることができる。
【0393】
【数82】

【0394】
従って、L1nは、以下の値となる。
【0395】
【数83】

【0396】
なお、この場合L1f(適正立体可視位領域までの最長距離)は以下の値となる。
【0397】
【数84】

【0398】
【数85】

【0399】
すなわち、適正立体可視領域は、2078mm〜4988mmである。
【0400】
そこで、前記L2nと前記L3nも、L1nと同一の距離である2078mmに設定されているものとする。
【0401】
次に、ディスプレイの画像表示面からパララックスバリア704までの距離Zを求める。
【0402】
前記Zの値は、L1nの値に基づいて求めることができる。
【0403】
【数86】

【0404】
従って、Zは、以下の値となる。
【0405】
【数87】

【0406】
次に、前記水平方向に隣接する可視光透過部7041の間隔Hhを求める。
【0407】
前記Hhの値は、L2nの値に基づいて求めることができる。
【0408】
【数88】

従って、Hhは、以下の値となる。
【0409】
【数89】

【0410】
次に、前記垂直方向に連接する可視光透過部7041の間隔Hvを求める。
【0411】
前記Hvの値は、L3nの値に基づいて求めることができる。
【0412】
【数90】

【0413】
従って、Hvは、以下の値となる。
【0414】
【数91】

【0415】
次に、パララックスバリア704の可視光透過部7041の幅Shを求める。
【0416】
前記Shの値は、以下の式に基づいて求めることができる。
【0417】
【数92】

【0418】
従って、Shは、以下の値となる。
【0419】
【数93】

【0420】
次に、パララックスバリア704の可視光透過部7041の高さSvを求める。
【0421】
前記Svの値は、以下の式に基づいて求めることができる。
【0422】
【数94】

従って、Svは、以下の値となる。
【0423】
【数95】

【0424】
図49〜図54は、パララックスバリア704のスリットの形状の一例について説明する図である。
【0425】
図49は、スリットのエッジの形状が階段状である場合を示す図である。ここで、スリットのエッジの形状が階段状である場合とは、図49(a)に示すような場合を言い、スリットのエッジの形状が円弧である場合とは、図49(b)において示すような場合を言う。
【0426】
また、スリットのエッジの形状が楕円弧である場合とは、図50(a)(b)において一例として示すような場合を言う。
【0427】
また、スリットのエッジの形状が多角形の開口部が連続した形状である場合とは、図51(a)(b)において一例として示すような場合を言う。
【0428】
また、可視光透過部7041の形状が独立して複数形成された穴形状の開口部である場合とは、図52、図53および図54において一例として示すように該可視光透過部7041の周囲がパララックスバリア704のマスク部によって囲まれた穴である状態のことである。
【0429】
本発明の実施形態についての説明は以上であるが、本発明は上記実施形態に限定されるものではなく、請求項に示した範囲で種々の組み合わせが可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0430】
本発明により、立体技術の発展に最適な実用性に富んだ立体画像表示システムを非常に安価な価格で提供することが可能となる。
【符号の説明】
【0431】
101 中間画像生成装置
1011 中央処理装置(その1)
1012 記憶装置(その1)
201 立体画像生成装置
2011 中央処理装置(その2)
2012 記憶装置(その2)
301 立体画像生成システム
3011 第一の情報処理装置
30111 中央処理装置(その3)
30112 記憶装置(その3)
30113 圧縮装置
30114 送信装置
3012 第二の情報処理装置
30121 中央処理装置(その4)
30122 記憶装置(その4)
30123 解凍装置
30124 受信装置
401 中間画像
4011 RGB並列配置画素ユニット
4012 画像フレーム
4013 中間画像生成テーブル
4014 画素情報
4015 画素マトリクス
501 立体画像
5011 RGB階段配置画素ユニット
5012 RGB階段配置画素ブロック
5013 立体画像生成テーブル
601 視点画像
701 立体画像表示装置
702 映像ケーブル
703 制御ケーブル
704 パララックスバリア
7041 可視光透過部
705 仮想画素
706 仮想サブピクセル
707 立体表示用のピクセル
708 第1のビューポイント
709 第2のビューポイント
710 第3のビューポイント
801 カメラ
8011 注視点
8012 対象物
1001 画像出力装置

【特許請求の範囲】
【請求項1】
1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、
RGBYからなるサブピクセルが斜め方向にコーナーで接して4行で配列されたRGBY階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGBY階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、
該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGBY値から補間して求め、
該RGBY階段配置画素ユニットを構成するサブピクセルを水平方向にRGBYの順に並べて配列したRGBY並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、
該立体画像の該RGBY階段配置画素ユニットと該複数の中間画像の該RGBY並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となる
ことを特徴とする中間画像生成方法。
【請求項2】
前記RGBY階段配置画素ユニットは、
各行毎のサブピクセルが1列であり、R値、G値、B値、Y値を有する4個の該サブピクセルから構成されており、
前記RGBY並列配置画素ユニットは、
1行に、該4個のサブピクセルがRGBYの順に4列並べて配列されている
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項3】
前記RGBY階段配置画素ユニットは、
各行毎のサブピクセルが2列であり、該2列の各列はR値、G値、B値、Y値を有する4個の該サブピクセルから構成されており、
前記RGBY並列配置画素ユニットは、
1行に、該RGBY階段配置画素ユニットの第一列に4行で配列された4個のサブピクセルがRGBYの順に4列並べて配列され、該配列に水平方向に連接して、該RGBY階段配置画素ユニットの第二列に4行で配列された4個のサブピクセルがRGBYの順に4列並べて配列されている
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項4】
前記RGBY階段配置画素ユニットは、
各行毎のサブピクセルが3列であり、該3列の各列はR値、G値、B値、Y値を有する4個の該サブピクセルから構成されており、
前記RGBY並列配置画素ユニットは、
1行に、該RGBY階段配置画素ユニットの第一列に4行で配列された4個のサブピクセルがRGBYの順に並べて配列され、該配列に水平方向に連接して、該RGBY階段配置画素ユニットの第二列に4行で配列された4個のサブピクセルがRGBYの順に並べて配列され、該配列にさらに連接して、該RGBY階段配置画素ユニットの第三列に配列された4個のサブピクセルがRGBYの順に並べて配列されている
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項5】
前記RGBY階段配置画素ユニットは、
各行毎のサブピクセルが4列であり、該4列の各列はR値、G値、B値、Y値を有する4個の該サブピクセルから構成されており、
前記RGBY並列配置画素ユニットは、
1行に、該RGBY階段配置画素ユニットの第一列に4行で配列された4個のサブピクセルがRGBYの順に並べて配列され、該配列に水平方向に連接して、該RGBY階段配置画素ユニットの第二列に4行で配列された4個のサブピクセルがRGBYの順に並べて配列され、該配列にさらに連接して、該RGBY階段配置画素ユニットの第三列に配列された4個のサブピクセルがRGBYの順に並べて配列され、RGBY並列配置画素ユニットの場合、該配列にさらに連接して、該RGBY階段配置画素ユニットの第四列に配列された4個のサブピクセルがRGBYの順に並べて配列されている
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項6】
前記複数の中間画像を、画像フレームとして少なくとも縦方向に四等分割された第一行乃至第四行からなる複数のタイル状に配置することによって、
前記RGBY階段配置画素ユニットを構成するサブピクセルと、前記RGBY並列配置画素ユニットを構成するサブピクセルと、が、
前記立体画像と該複数の中間画像が配置された該画像フレームにおいて、縦横方向ともに同数となる
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項7】
前記RGBY並列配置画素ユニットであって、
前記複数の視点が2視点である場合においては、前記第一行および第二行のタイルに1視点の前記中間画像と、前記第三行および第四行のタイルに2視点の該中間画像を、
前記複数の視点が3視点である場合においては、前記第一行のタイルに1視点の該中間画像の3/4と、前記第二行の第1のタイルに1視点の該中間画像の1/4と、これに連接した第2のタイルに2視点の該中間画像の1/2と、前記第三行の第1のタイルに2視点の該中間画像の1/2と、これに連接した第2のタイルに3視点の該中間画像の1/4と、前記第四行のタイルに2視点の該中間画像の3/4を、
前記複数の視点が4視点である場合においては、各行のタイルに各視点の中間画像を、
前記複数の視点が5〜8視点である場合においては、各行の先頭のタイルに1〜4視点の該中間画像と、1〜4視点の該中間画像に連接した第一行から第四行に配置されたタイルに残りの視点の該中間画像を、
前記複数の視点が9〜12視点である場合においては、各行の先頭のタイルに1〜4視点の該中間画像と、1〜4視点の該中間画像に連接した該第一行から該第四行のタイルに5〜8視点の該中間画像と、9〜12視点の該中間画像に連接した第一行から第四行に配置されたタイルに残りの視点の該中間画像を、
配置し、
前記複数の視点が13視点以上である場合においては、同様に1視点から順に各行のタイルに該中間画像の一部または全部を配置する
ことを特徴とする請求項5記載の中間画像生成方法。
【請求項8】
前記配置規則に代えて、前記立体画像の前記RGBY階段配置画素ユニットを構成するサブピクセルの位置と、該複数の視点毎の中間画像の前記RGBY並列配置画素ユニットを構成するサブピクセルの位置とを関連付ける、予め作成された中間画像生成テーブルを参照して、該RGBY階段配置画素ユニットを構成するサブピクセルを配列して該RGBY並列配置画素ユニットを生成する
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項9】
前記複数の視点画像のそれぞれと前記立体画像が同一のアスペクト比である場合において、
前記RGBY階段配置画素ブロックを構成する前記1視点からN視点までの前記RGBY階段配置画素ユニットのうち、
予め定められた基準視点の該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該基準視点の視点画像における対応位置近辺に配置された画素ユニットを構成するサブピクセルのRGBY値から補間して求め、
該基準視点以外の視点の該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該基準視点の該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該基準視点以外の視点の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの該視点画像のRGBY値から補間して求める
ことを特徴とする請求項1記載の中間画像生成方法。
【請求項10】
請求項1記載の方法により複数の中間画像を生成するための中間画像生成装置であって、
該中間画像生成装置は、
少なくとも中央処理装置と記憶装置を備えており、
該中央処理装置は、
サブピクセルが斜め方向にコーナーで接して4行で配列されたRGBY階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGBY階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該記憶装置に記憶された該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGBY値から補間して求め、
該RGBY階段配置画素ユニットを構成するサブピクセルを水平方向にRGBYの順に並べて配列したRGBY並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置し、
該立体画像の該RGBY階段配置画素ユニットと、その総数、またはそれぞれを構成するサブピクセルの総数が同数である該RGBY並列配置画素ユニットから構成される該複数の視点毎の中間画像を生成する
ことを特徴とする中間画像生成装置。
【請求項11】
請求項1記載の方法により生成された複数の中間画像から立体画像を生成する方法であって、
前記複数の視点毎の中間画像から前記配置規則の逆順に従って、前記RGBY並列配置画素ユニットを構成するサブピクセルを前記RGBY階段配置画素ユニットとして配置して該立体画像を生成する
ことを特徴とする立体画像生成方法。
【請求項12】
請求項11記載の立体画像生成方法において、
前記配置規則に代えて、前記複数の視点毎の中間画像の前記RGBY並列配置画素ユニットを構成するサブピクセルの位置と、前記立体画像の前記RGBY階段配置画素ユニットを構成するサブピクセルの位置とを関連付ける、予め作成された立体画像生成テーブルを参照して、
該RGBY並列配置画素ユニットを構成するサブピクセルを該RGBY階段配置画素ユニットとして配置する
ことを特徴とする立体画像生成方法。
【請求項13】
請求項11記載の方法により複数の中間画像から立体画像を生成するための立体画像生成装置であって、
該立体画像生成装置は、
少なくとも中央処理装置と記憶装置を備えており、
該中央処理装置は、
前記複数の視点毎の中間画像を該記憶装置に記憶し、
該複数の視点毎の中間画像から前記配置規則の逆順に従って、前記RGBY並列配置画素ユニットを構成するサブピクセルを前記RGBY階段配置画素ユニットとして配置して該立体画像を生成する
ことを特徴とする立体画像生成装置。
【請求項14】
少なくとも中央処理装置と記憶装置と圧縮装置と送信装置を備える、1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する第一の情報処理装置と、
少なくとも中央処理装置と記憶装置と解凍装置と受信装置を備える、該複数の中間画像から立体画像を生成する第二の情報処理装置と、を備える立体画像生成システムであって、
該第一の情報処理装置の該中央処理装置は、
RGBYからなるサブピクセルを斜め方向にコーナーで接して4行で配列されたRGBY階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGBY階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、
該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該第一の情報処理装置の記憶装置に記憶された該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGBY値から補間して求め、該RGBY階段配置画素ユニットを構成するサブピクセルを水平方向にRGBYの順に並べて配列したRGBY並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置し、
該立体画像の該RGBY階段配置画素ユニットと、その総数、またはそれぞれを構成するピクセル数が同数である該RGBY並列配置画素ユニットから構成される該複数の視点毎の中間画像を生成し、該複数の視点毎の中間画像を該圧縮装置により圧縮して、該送信装置により第二の情報処理装置に送信し、
該第二の情報処理装置の該中央処理装置は、
該第一の情報処理装置から送信された該複数の視点毎の中間画像を該受信装置により受信して、該複数の中間画像を解凍装置により解凍し、該解凍装置により解凍された該複数の視点毎の中間画像から該配置規則の逆順に従って、該RGBY並列配置画素ユニットを構成するサブピクセルを該RGBY階段配置画素ユニットとして配置して該立体画像を生成する
ことを特徴とする立体画像生成システム。
【請求項15】
1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、
前記N視点は3n+1(nは自然数)視点であり、
RGBからなるサブピクセルが斜め方向にコーナーで接して3行で配列されたRGB階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGB階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、
該RGB階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値を、該RGB階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGB値から補間して求め、
該RGB階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、Bの順に並べて配列したRGB並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、
該立体画像の該RGB階段配置画素ユニットと該複数の中間画像の該RGB並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となり、
さらに、前記複数の中間画像を、画像フレームとして横方向に視点の数だけ分割された複数のベルト状に配置する、
ことを特徴とする中間画像生成方法。
【請求項16】
1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、
前記N視点は4n+1(nは自然数)視点であり、
RGBYからなるサブピクセルが斜め方向にコーナーで接して4行で配列されたRGBY階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列したRGBY階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、
該RGBY階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、Y値を、該RGBY階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルのRGBY値から補間して求め、
該RGBY階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、B、Y、の順に並べて配列したRGBY並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、
該立体画像の該RGBY階段配置画素ユニットと該複数の中間画像の該RGBY並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となり、
さらに、前記複数の中間画像を、画像フレームとして横方向に視点の数だけ分割された複数のベルト状に配置する、
ことを特徴とする中間画像生成方法。
【請求項17】
1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、
前記N視点は(3+m)n+1(n、mは自然数)視点であり、
RGB、およびその他のm個の色からなるサブピクセルが斜め方向にコーナーで接して3+m行で配列された階段配置画素ユニットを、水平方向に該1視点からN視点までを連接して配列した階段配置画素ブロックを繰り返し配置して該立体画像を生成するために、
該階段配置画素ユニットを構成するサブピクセルの各々のR値、G値、B値、およびその他の色の値を、該階段配置画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの値から補間して求め、
該階段配置画素ユニットを構成するサブピクセルを水平方向にR、G、B、その他の色の順に並べて配列した並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、
該立体画像の該階段配置画素ユニットと該複数の中間画像の該並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となり、
さらに、前記複数の中間画像を、画像フレームとして横方向に視点の数だけ分割された複数のベルト状に配置する、
ことを特徴とする中間画像生成方法。
【請求項18】
前記サブピクセルは、RGBYに代えて、RGBC、RGBM、RGBWのいずれかからなる、請求項1から9いずれかに記載の中間画像生成方法、請求項10記載の中間画像生成装置、請求項11から12いずれかに記載の立体画像生成方法、請求項13記載の立体画像生成装置、請求項14記載の立体画像生成システム、請求項16記載の中間画像生成方法。
【請求項19】
前記サブピクセルは、RGBにC、M、Y、Wまたは他の色の内、少なくとも1色を加えたものからなる、請求項1から9いずれかに記載の中間画像生成方法、請求項10記載の中間画像生成装置、請求項11から12いずれかに記載の立体画像生成方法、請求項13記載の立体画像生成装置、請求項14記載の立体画像生成システム。
【請求項20】
1視点からN視点までの複数の視点で撮影および/または描画した複数の視点画像から変換される立体画像を生成するために用いられる複数の中間画像を生成する中間画像生成方法であって、
RGB、またはRGBにC、M、Y、Wまたは他の色の内、少なくとも1色を加えたものからなるサブピクセルが垂直方向に連接して配列した画素ユニットを、水平方向に該1視点からN視点までを連接して配列した画素ブロックを繰り返し配置して該立体画像を生成するために、
該画素ユニットを構成するサブピクセルの各々の値を、該画素ユニットを構成するサブピクセルの配置位置に対応する、該複数の視点画像における対応位置近辺に配置された少なくとも1以上の画素ユニットを構成するサブピクセルの値から補間して求め、
該画素ユニットを構成するサブピクセルを水平方向に並べて配列した並列配置画素ユニットを、該複数の視点毎にまとめて配置する配置規則に従って配置して、該複数の視点毎の該中間画像を生成することによって、
該立体画像の画素ユニットと該複数の中間画像の並列配置画素ユニットの総数、またはそれぞれを構成するサブピクセルの総数が同数となる
ことを特徴とする中間画像生成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図59】
image rotate

【図60】
image rotate

【図61】
image rotate

【図62】
image rotate

【図63】
image rotate


【公開番号】特開2012−186739(P2012−186739A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−49688(P2011−49688)
【出願日】平成23年3月7日(2011.3.7)
【出願人】(503349741)
【Fターム(参考)】