三次元画像表示の方法
【課題】3D画像品質と使用の利便性を大幅に向上させるという目的を達成する三次元画像表示の方法を提供する。
【解決手段】三次元画像表示の方法は、裸眼視三次元画像表示の欠点に対して、特に一般のフラットディスプレイスクリーン440と静態視差バリアー装置450を利用し、三次元画像を表示する時、観賞位置の即時検出方法410、観賞位置とシーン最適対位の方法420、動態マルチシーン3D画像合成の方法430、静態視差バリアー装置設計の方法452を提出し、最適可視面350上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる。
【解決手段】三次元画像表示の方法は、裸眼視三次元画像表示の欠点に対して、特に一般のフラットディスプレイスクリーン440と静態視差バリアー装置450を利用し、三次元画像を表示する時、観賞位置の即時検出方法410、観賞位置とシーン最適対位の方法420、動態マルチシーン3D画像合成の方法430、静態視差バリアー装置設計の方法452を提出し、最適可視面350上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元画像表示の方法に関し、特に裸眼視三次元画像表示の欠点に対して、特に一般のフラットディスプレイスクリーンと静態視差バリアー装置を利用し、三次元画像を表示する時、観賞位置の即時検出方法、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法と静態視差バリアー装置設計の方法を提出し、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる三次元画像表示の方法に関する。
【背景技術】
【０００２】
特許文献１が掲示するマルチシーン三次元画像表示の方法(Method of Displaying Multi-View 3D Image)は、マルチシーン裸目式三次元画像の表示において、マルチシーン3D画像合成の方法、傾斜ストリップ状視差バリアー(Slantwise Strip Parallax Barrier)最適化の設計を提出している。
こうして、最適観賞距離において、位置を固定した複数の最適視点を提供し、該最適視点において、単一シーン画像を個別に表示させる目的を達成する。
【０００３】
該傾斜ストリップ状視差バリアーは、固定された構造(以下では「静態視差バリアー装置」と総称)で、しかも該マルチシーン3D画像合成の方法は、固定された合成プロセス(以下では「静態マルチシーン3D画像合成方法」と総称)であるため、該単一の最適視点上では、単一の、しかも固定されたシーン画像しか表示することはできない。
光透過部品の開口幅を縮減することで、水平観賞自由度を拡大する目的を達成することはできるが、開口幅の縮減は、画像輝度の低下を招く他、拡大された水平観賞自由度には限界があるため、より大きな範囲の観賞位置の変化に対応することはできない。
【０００４】
また、水平方向上で、観賞者の観賞位置が、最適視点から離れ、しかも該水平許容観賞範囲を超えた時には、観賞者は、ゴーストイメージ(Ghost Image)、或いは左右画像が転倒する擬似立体画像(Pseudo Stereoscopic Image)を目にし、最終的には、使用の利便性は深刻なほど不十分となる。
また、同様の現象が存在する垂直観賞自由度に対しては、一切の検討、改善がなされていない。
本発明は、上記したマルチシーン三次元画像表示の方法の欠陥を解決するためになされたものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】台灣特許第100114446号明細書
【特許文献２】台灣特許第099127429号明細書
【特許文献３】台灣特許第099134699号明細書
【特許文献４】台灣特許第098128986号明細書
【特許文献５】台灣特許第099107311号明細書
【特許文献６】台灣特許第099108528号明細書
【特許文献７】台灣特許第099128602号明細書
【特許文献８】台灣特許第098145946号明細書
【特許文献９】台灣特許第096108692号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、静態視差バリアー装置と静態マルチシーン3D画像合成方法を利用し、三次元画像を表示させるという従来の技術の欠点に対して、静態視差バリアー装置設計の方法、動態マルチシーン3D画像合成の方法を提出し、観賞位置即時検出方法、観賞位置及びシーン最適対位の方法を対応させ、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる三次元画像表示の方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明は観賞位置の即時検出方法、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法と静態視差バリアー装置設計の方法を用い、上記課題を解決することができる。
【発明の効果】
【０００８】
本発明三次元画像表示の方法は、従来の裸眼視三次元画像表示の欠点に対して、特に一般のフラットディスプレイスクリーンと静態視差バリアー装置を利用し、三次元画像を表示する時、観賞位置の即時検出方法、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法と静態視差バリアー装置設計の方法を提出し、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる。
【図面の簡単な説明】
【０００９】
【図１】一般のR、G、Bサブピクセルが水平ストリップ状に配列するフラットディスプレイスクリーンの模式図である。
【図２】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図３】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図４】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図５】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図６】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図７】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図８】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図９】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図１０】傾斜特徴を備えないマルチシーン3D合成画像である。
【図１１】左傾斜特徴を備えるマルチシーン3D合成画像である。
【図１２】デュアルシーン用傾斜ストリップ状視差バリアー構造の模式図である。
【図１３】最適観賞面上に最適視点が分布する様子を示す模式図である。
【図１４】デュアルシーン3D合成画像表示原理の模式図である。
【図１５】n=2、m=3、しかもk=0である時の、最適視点Pk,i,j(xc,yc,Z0)中のi、j定義の模式図である。
【図１６】n=2、m=3、しかもk=0である時の、各水平最適視点の座標である。
【図１７】n=4、m=3、しかもk=0である時の、最適視点Pk,i,j(xc,yc,Z0)中のi、j定義の模式図である。
【図１８】n=4、m=3、しかもk=0である時の、各水平最適視点の座標である。
【図１９】ΔBH=BH/2である時の、ΔBHとΔXVFの関係を示す模式図である。
【図２０】ΔBH=2BH/3である時の、ΔBHとΔXVFの関係を示す模式図である。
【図２１】各種マルチシーン3D合成画像の模式図である。
【図２２】各種マルチシーン3D合成画像の模式図である。
【図２３】各種マルチシーン3D合成画像の模式図である。
【図２４】各種マルチシーン3D合成画像の模式図である。
【図２５】各種マルチシーン3D合成画像の模式図である。
【図２６】各種マルチシーン3D合成画像の模式図である。
【図２７】デュアルシーン用傾斜ストリップ状視差バリアー垂直方向光学作用の模式図である。
【図２８】ΔBV=BV/2である時の、ΔBVとΔYVFの関係を示す模式図である。
【図２９】ΔBV=2BV/3である時の、ΔBVとΔYVFの関係を示す模式図である。
【図３０】水平及び垂直許容観賞範囲特徴を備える最適視点の模式図である。
【図３１】傾斜角θ分布特徴を備える許容観賞範囲とゴーストイメージエリアの模式図である。
【図３２】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３３】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３４】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３５】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３６】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３７】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３８】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図３９】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４０】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４１】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４２】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４３】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４４】Δ=0である時の、中心線、境界線位置の模式図である。
【図４５】Δ=1である時の、中心線、境界線位置改変の模式図である。
【図４６】Δ=0とΔ=1の中心線、境界線位置のオーバーラップの模式図である。
【図４７】立体撮影構成と装置位置座標の模式図である。
【図４８】立体撮影構成と装置位置座標の模式図である。
【図４９】立体撮影装置の模式図である。
【図５０】最適観賞条件設定の模式図である。
【図５１】最適観賞条件設定の模式図である。
【図５２】最適観賞条件設定の模式図である。
【図５３】Δ=0、1、2である時の、Yi,j,Δ(x,y)の模式図である。
【図５４】Δ=0、-1、-2時である時の、Yi,j,Δ(x,y)の模式図である。
【図５５】Δ=0、1、2とΔ=-0、-1、-2である時に、計算して取得したYi,j,Δ(x,y)とX軸交点座標値x(i, j,Δ)を列記する表である。
【図５６】|Δ| ≦ mの条件下で、メイン最適視点x(i=0, j=0,Δ=0)位置変化を列記する表である。
【図５７】左、右の目の位置(xL, yL, zL)、(xR, yR, zR)を通過する斜線LL、LRの模式図である。
【図５８】最適可視面構成の模式図である。
【図５９】最適可視面が対応する最大水平可視区の通し番号の模式図である。
【図６０】最適可視面が対応する最大垂直可視区の通し番号の模式図である。
【図６１】デュアルシーン表示(n=2、m=3)で、しかもi=0、j=0の可視区を条件としたx(i, j,Δ)構成の模式図である。
【図６２】4シーン表示(n=4、m=3)で、しかもi=0、j=0、とi=1、j=0の可視区を条件としたx(i, j,Δ)構成の模式図である。
【図６３】4シーン表示(n=4、m=3)で、しかもi=0、j=2の可視区を条件としたx(i, j,Δ)構成の模式図である。
【図６４】本発明実施例の模式図である。
【発明を実施するための形態】
【００１０】
以下に図面を参照しながら本発明を実施するための最良の形態について詳細に説明する。
【実施例】
【００１１】
１. 静態視差バリアー装置設計の方法
図１は、一般のR、G、Bサブピクセルが水平ストリップ状配列(Horizontal Strip Configuration)のフラットディスプレイスクリーンの模式図である。
【００１２】
該フラットディスプレイスクリーン1は、一般の液晶スクリーン、プラズマスクリーン、或いはOLEDスクリーンで、N × M個のR、G、Bサブピクセルにより構成され、水平ストリップ状配列の特徴を備える。
内、Nは、該ディスプレイスクリーン水平方向(X軸)を構成するサブピクセルの総数で、Mは、該ディスプレイスクリーン垂直方向(Y軸)を構成する サブピクセルの総数である。
j、iはそれぞれ、単一のサブピクセル水平及び垂直位置の通し番号で、内、0≦j≦N-1、0≦i≦M-1である。
該単一のサブピクセルは、PH × PVの大きさを備え、内、PHは、サブピクセルの水平幅で、PVは、サブピクセルの垂直高度である。
各サブピクセル間の黒色間隔2(通常は非発光材料により構成し、黒色を呈する。例えば、液晶表示パネル上では、黒色フォトレジストにより構成し、Black Matrixと呼称する)は差し引く。
該単一のサブピクセルの有効発光サイズは、H × Vである。
【００１３】
いわゆる水平ストリップ状配列とは、以下を指す。
任意の１本の水平走査線において、該R、G、Bサブピクセルが水平方向に沿っており、しかもR、G、Bの配列順序で、色分布を備えるストリップ状構造物を構成し、垂直方向では、同一色のサブピクセルにより、単色のストリップ状構造物を構成する。
【００１４】
後続の図示説明の便のため、座標系XYZを定義する。
該座標系のX軸は、水平の方向に設置され、Y軸は、垂直の方向に設置され、Z軸は、該ディスプレイスクリーン1の方向に垂直に設置され、しかも該三軸の方向は、右手の法則(Right-hand rule)を遵守する。
また、該座標系XYZの原点は、該スクリーンの中心に設置する。
以下では、該座標系XYZを、スクリーン座標系と略称する。
【００１５】
R、G、Bサブピクセルが水平ストリップ状配列のフラットディスプレイを使用し、三次元画像を表示する時には、前記した特許に基づき、任意のマルチシーン画像は、n(n≧2)個の単一シーン画像Vkにより構成される。
よって、nは、総シーン数である。
また、該単一シーン画像Vkを以下のように定義できる。
【数１】
内、M、N、i、jは、前記の定義の通りで、kは、シーン通し番号で、しかも0≦k＜nである。
【数２】
は、該単一シーン画像Vk中において、(i,j)位置のサブピクセル画像データである。
【００１６】
また、R、G、Bサブピクセルが、垂直ストリップ状配列(Vertical Strip Configuration)、モザイク配列(Mosaic Configuration)、或いは三角状配列(Delta Configuration)であるディスプレイスクリーン(図示なし)を利用し、マルチシーン画像を表示する時には、式(1)も適用可能である(特許文献２、３参照)。
当然、節電目的で開発されたPentile配列(図示なし。RGBWを備える。Wは白色)では、式(1)により、該単一シーン画像Vkを定義する。
【００１７】
本発明では、水平ストリップ状配列のディスプレイスクリーンのみを例とし、本発明の機能と効果を説明し、重複記載は行わない。
該マルチシーン3D合成画像Σnは、以下の公式の演算により生まれる。
【数３】
内、Λは、シーン通し番号で、以下の公式の演算により生まれる。
【数４】
内、Λ＜ n 、 nは、総シーン数で、mは、横方向最小表示ユニットサブピクセル構成の数で、Qは、縦方向最小表示ユニットサブピクセル構成の数で、Δは、横方向移動フェーズで、IIは、横方向移動振幅である。
intは、整数を得る関数で、Modは、割り算の余りを求める関数である。
いわゆる横方向、縦方向最小表示ユニットとは、視差バリアー単一光透過部品の開口を通して、目にすることができるシーン画像の最小ユニットである。
【００１８】
R、G、Bサブピクセルが、モザイク配列、三角状配列、或いはPentile配列であるディスプレイスクリーン(図示なし)を利用し、マルチシーン画像を表示する時には、式(3)も適用可能である(特許文献２、特許文献３参照)。
本発明では、水平ストリップ状配列のディスプレイスクリーンのみを例とし、本発明の機能と効果を説明し、重複記載は行わない。
当然、式(3)に基づき得られるマルチシーン3D合成画像Σnは、右傾斜の特徴を備える。
左傾斜の特徴を備える画像合成については、下式のように表示する(特許文献２、特許文献３参照)。
【数５】
【００１９】
図２〜９は、式(3)に基づき、しかも各種異なるパラメータにおいて生まれる、右傾斜特徴を備えるマルチシーン3D合成画像Σnを示す。
図示の0、1、2、3は、シーン通し番号である。
式(3)に特殊なパラメータを代入すると、図１０に示すように、傾斜特徴を備えないマルチシーン3D合成画像Σnを生み出すことができる。
また、式(4)に基づき、 左傾斜特徴を備えるマルチシーン3D合成画像Σnを生み出すことができる(図１１参照)。
【００２０】
以下では、図示と本発明の機能と効果の説明を単純化するため、先ず、主にn=2、m=3、Q=1、Δ=0、II=1により構成する右傾斜特徴を備えるデュアルシーン3D合成画像(図４参照)を例とし、傾斜ストリップ状視差バリアーの構造、シーン分離作用、最適視点空間分布、水平及び垂直許容観賞範囲と自由度について説明する。
【００２１】
図１２は、デュアルシーン用傾斜ストリップ状視差バリアー構造の模式図である。
該デュアルシーン用傾斜ストリップ状視差バリアー310は、多数の傾斜ストリップ状光透過部品311、多数の傾斜ストリップ状遮蔽部品312により構成し、水平方向重複交差配列の特徴を備える。
該光透過部品311、該遮蔽部品312はそれぞれ、BH、
【数６】
の水平幅を備え、傾斜角度θを備える。
スクリーン座標系において、該デュアルシーン3D合成画像Σn(図４)の該デュアルシーン用傾斜ストリップ状視差バリアー310は、該3D合成画像Σnに、シーン分離の光学作用を行うことができる。
しかも、最適観賞距離(Optimum Viewing Distance)Z0上において、多数の位置を、固定の最適視点(Optimum Viewing Point)として提供し、該最適視点において、シーン分離の光学作用を行い、単一シーン画像を個別に表示させる目的を達成する。
【００２２】
該多数の最適視点の位置は、Pk,i,j(xc,yc,Z0)により定義する(図１３参照)。
内、xc、ycは、以下のように表示する。
xc =[n×i-(n-1)/2+j-k]×LH (5-1)
yc =k×LV (5-2)
内、nは、総シーン数で、iは、水平可視区の通し番号で、jは、シーン数の通し番号で、kは、垂直可視区の通し番号で、LHは、水平最適視点間隔距離(Horizontal Interval Between Two Optimum Viewing Points)で、LVは、垂直最適視点間隔距離(Vertical Interval Between Two Optimum Viewing Points)である。
i、j、k、LH、LV等パラメータについては、後述する。
すべてのPk,i,j(xc,yc,Z0)が存在する面は、Z = Z0の面で、「最適観賞面(Optimum Viewing Plane)」と呼ぶ。
【００２３】
先ず、yc=0(すなわち、k=0)水平線上に位置する最適視点P0,i,j(xc,yc,Z0)発生の原理について説明する。
図１４は、デュアルシーン3D合成画像表示原理の模式図である。
該フラットディスプレイスクリーン1上に表示するデュアルシーン3D合成画像(すなわち、
【数７】
【数８】
により構成する画像である。内、
【数９】
は、左画像で、
【数１０】
は、右画像)において、該デュアルシーン用傾斜ストリップ状視差バリアー310は、最適観賞距離Z0にあり、しかも水平方向上の多数の最適視点P0,-1,1、P0,0,0、P0,0,1、P0,1,0(該各最適視点間の水平距離は、水平最適視点間隔距離LHを構成)にあり、該デュアルシーン3D合成画像を、それぞれ
【数１１】
【数１２】
【数１３】
【数１４】
等の単一シーン画像に分離する。
【００２４】
Z0位置で、上記したシーン分離の機能と効果を達成するため、デュアルシーン用傾斜ストリップ状視差バリアー310を構成するBH、
【数１５】
LH、θは、下式に基づき設計しなければならない。
【数１６】
【数１７】
【数１８】
【数１９】
しかも、式(6)〜式(9)により構成する傾斜ストリップ状視差バリアー310装置を、Z=LB位置に設置する必要がある。
該Z0とLBの関係は、下式の通りである。
【数２０】
また、式(6)、(8)は、以下のように表示する。
【数２１】
【数２２】
【００２５】
上記した式(6)〜式(12)は、垂直ストリップ状式視差バリアー、傾斜グリッド式視差バリアー、垂直柱状レンズアレイ、傾斜柱状レンズアレイ、傾斜グリッドマイクロ柱状レンズアレイの設計に適用される(特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７参照)。
【００２６】
上記した各種視差バリアー、柱状レンズアレイ等シーン分離装置は、不可変光学構造の特徴(視差バリアー光透過部品の幅と装置の位置等)を備えるシーン分離装置であるため、「静態シーン分離装置」と通称する。
当然、上記した水平方向視差バリアー光学構造の設計の式(6)〜式(12)、及び垂直方向視差バリアー光学構造の設計(後述参照)は、特許文献８に開示する動態液晶視差バリアーの設計に適用することができる。
【００２７】
また、図１４に示す原理において、式(6)〜式(9)中では、n=2、m=3、Q=1である。
一般に、視差バリアーの設計において、該水平最適視点間隔距離LHは、両目の平均間隔距離(Iinterpupillary Distance、IPDと略称)LEに等しく、すなわち以下の通りである。
LH= LE (13)
以下では、LEを水平最適視点間隔距離LHとすることもできる。
よって、観賞者が、その左、右の目10、11を、 (P0,0,0、P0,0,1)等の適当な位置に個別に置きさえすれば、ゴーストイメージのない3D画像を見ることができる。
該2個の最適視点 P0,0,0、P0,0,1は、１組の可視区(Viewing Zone)を構成する。
よって、図１４に示す基本原理により、最適視点Pk,i,j(xc,yc,Z0)中のi、jの定義を説明することができる。
【００２８】
図１５に示すように、 iは、可視区の通し番号(Zone Number)で、整数で、jは、シーンの通し番号(View Number)で、ゼロを含む正の整数で、しかもj＜nである。
i=0である時、スクリーン中心位置の可視区に対して、i＞0は、スクリーン右側位置の可視区に分布し、i＜0は、スクリーン左側位置の可視区に位置する。
n=2である時、j=0は、左画像で、j=1は、右画像である。
よって、式(5-1)、k=0に基づき、i=0、i=±1、i=±2、i=±3等各可視区中の各水平最適視点の座標xcを算出することができる(図１６参照)。
内、xcの長さは、LEを単位として表示する。
【００２９】
図１７、１８は、n=4，i=0、i=±1等各可視区中の各水平最適視点の位置と座標の模式図である。
内、j=0は、最も左の画像を代表し、j=3は、最も右の画像を代表する。
左、右目10、11の観賞位置が、同一可視区内の隣接する最適視点にそれぞれ照準する時には、正確な三次元画像を目にすることができる。
照準する最適視点が、異なる可視区内に属する最適視点である時には、擬似立体の三次元画像が目に入る。
【００３０】
以下は、光透過部品開口水平幅の縮減と水平観賞自由度(Horizontal Viewing Freedom)の関係について説明する。
特許文献４、特許文献５に掲示する視差バリアー水平開口部品最適化の方法に基づき、開口幅を適当に縮減する方法を利用し、水平方向上の直接性ゴーストイメージの現象を解決でき、水平観賞自由度 (Degree of Horizontal Viewing Freedom )拡大の目的を達成することができる。
【００３１】
特許文献５に基づき、水平許容観賞範囲(Allowable Horizontal Viewing Range)ΔXVF、と光透過部品開口水平幅の縮減量ΔBHとの関係は、下式により定義される。
【数２３】
内、BH、LEは、前記定義の通りである。
また、水平観賞自由度Rxは、下式の通り定義する。
Rx=ΔBH/BH (15)
0≦ΔBH≦BHであるため、0≦Rx≦1である。
また、式(14)を式(15)に代入し、以下を得ることができる。
ΔXVF=Rx×LE (16)
【００３２】
図１９は、光透過部品開口水平幅の縮減量がΔBH=BH/2である時の、水平許容観賞範囲ΔXVFの模式図である。
ΔBH=BH/2である時、Rx=0.5、ΔXVF=0.5LEを得ることができる。
【００３３】
図２０に示すように、ΔBH=2BH/3である時、ΔRx=2/3、 XVF=2LE/3を得ることができる。
いわゆる「水平許容観賞範囲」とは、最適視点において、観賞位置を水平方向において改変する時、ゴーストイメージが発生しないという条件下で、許容可能な最大水平移動の範囲をいう。
「水平観賞自由度」とは、両目の平均間隔距離LEに対して、0と1との間の数値を定義し、水平観賞利便性の程度を評価するものである。
すなわち、該Rx値が大きくなればなるほど、得られる水平許容観賞範囲も大きくなり、観賞により便利となる。
【００３４】
該水平許容観賞範囲の位置をより精確に表現するため、任意の水平最適視点Pk,i,jにおいて、２位置、HPk,i,j+(xc+ΔxH, yc, Z0)、HPk,i,j-(xc-ΔxH, yc, Z0)を定義する。
これにより、該水平許容観賞範囲の両端点の位置を表現する。
ΔxHは、半水平許容観賞範囲で、しかもΔxHは下式のように表示される。
ΔxH=ΔXVF/2= Rx×LE/2 (17)
よって、図１９、図２０に示すように、該水平許容観賞範囲321(すなわち、水平無ゴーストイメージエリア)は、下式により定義される。
HPk,i,j- ≦ x ≦ HPk,i,j+ (18)
同一可視区内に存在する水平ゴーストイメージエリア322は、下式により定義される。
HPk,i,j+ ＜ x ＜ HPk,i,j+1- (19)
内、0≦j≦n-2である。
隣接する可視区内に存在する水平ゴーストイメージエリア323は、下式により定義される。
HPk,i-1,n-1+ ＜ x ＜HPk,i,0- (20)
【００３５】
上記したように、該傾斜ストリップ状視差バリアー(すべての静態シーン分離装置を含む)は、固定された構造で、しかも利用する該静態マルチシーン3D画像合成方法は、スクリーン上の固定位置で、該マルチシーン3D合成画像を産生し、表示する。よって、観賞者の両目の位置が、最適視点から離れ、しかも該水平許容観賞範囲321を超えた時、観賞者は、ゴーストイメージを目にし、さらには左右画像が転倒した擬似立体画像を目にし、観賞の不便(頭部を大きく水平移動させられない)、3D画像品質低下等問題を引き起こし、最終的には、めまいの現象が起きる(ゴーストイメージが深刻、或いは擬似立体画像を目にすると、人の脳は、左右画像を、立体画像に合成することができない)。
【００３６】
以下に、垂直方向の光学作用について説明する。
式(5-1)、(5-2)において、yc≠0(すなわち、k≠0)である時には、図１３に示すように、該最適視点Pk≠0,i,j(xc,yc,Z0)の分布位置で、yc=0(すなわち、k=0)である時には、Pk=0,i,j(xc,yc,Z0)の分布位置である。
実は、すべてのPk=0,i,j(xc,yc,Z0)を傾斜角度θをもつ斜線の方向に沿い移動させることにより、垂直方向上最適視点Pk≠0,i,j(xc,yc,Z0)の分布位置を得ることができる。
該斜線移動量の水平分量が、LH(=LE)である時には、該斜線移動量の垂直分量は、LVである。
【００３７】
開始観賞位置にいる観賞者にとって、観賞者の左目はPk=0,i=0,j=0(xc =-0.5LE, yc=0, Z0)にあることに対し、
該観賞者が垂直方向に沿って観賞位置を変え、しかも位置移動量が+LVに達すると、該観賞者左目の位置は、Pk=1,i=0,j=1(xc =-0.5LE, yc =LV, Z0)となる。
すなわち、垂直方向において観賞位置を改変すると、垂直方向もまたシーン分離の機能と効果があるため、垂直最適視点間隔距離LV距離を一つ隔てる毎に、異なる単一シーンを目にする。
よって、傾斜構造を備えるシーン分離装置において、その最適視点Pk,i,jの分布は、同様に傾斜の特徴を備える。
【００３８】
以下に、垂直方向シーン分離の光学作用、光透過部品開口垂直幅の縮減、垂直観賞自由度(Vertical Viewing Freedom)の関係について説明する。
シーン分離装置は、水平及び垂直方向シーン分離の光学作用を備える。
よって、式(3)、(4)が生み出すマルチシーン3D合成画像Σnにおいて、該シーン分離装置の作用は、該3D合成画像のなか、水平及び垂直方向において、共に周期分布の特徴を備える単一シーン画像に対し、シーン分離の作用を行う。
【００３９】
図２１〜２６は、各種異なるパラメータにより構成するマルチシーン3D合成画像Σnを示す。
該画像Σnにおいて、各単一シーン画像は、水平及び垂直周期分布の特徴を備える。内、該任意のサブピクセル上に表示する数字(0、1、2、3)は、単一シーン画像の通し番号を示す。
【００４０】
よって、マルチシーン3D合成画像Σn上において、該任意の単一シーンの画像は、水平方向上では、m×n個のサブピクセルを単位とし、周期性の配列を行う。
垂直方向上では、m×Q×n個のサブピクセルを単位とし、周期性の配列を行う。
当然、垂直方向の光学作用もまた、前記水平方向光学公式が規定する光学行為を遵守する。
よって、光透過部品垂直開口幅BV、垂直最適視点間隔距離LVは、下式により計算して得ることができる。
【数２４】
【数２５】
式(21)を式(11)で割ると、BVとBHの関係を、以下の通り得ることができる。
【数２６】
式(22)を式(8)で割ると、LVとLEの関係を、以下の通り得ることができる。
【数２７】
式(9)を式(24)に代入すると、以下を得ることができる。
【数２８】
【００４１】
図２７は、デュアルシーン用傾斜ストリップ状視差バリアー垂直方向光学作用の模式図である。
垂直許容観賞範囲と自由度の解析において、図２８は、光透過部品開口垂直幅の縮減量がΔBV=BV/2である時の、垂直許容観賞範囲(Allowable Vertical Viewing Range)ΔYVFの模式図である。
図２９は、光透過部品開口垂直幅の縮減量がΔBV=2BV/3である時の、垂直許容観賞範囲ΔYVFの模式図である。
【００４２】
前記のように、該垂直許容観賞範囲ΔYVFと該光透過部品開口垂直幅の縮減量ΔBVの関係は、下式により定義される。
【数２９】
内、BV、LVは、前記定義の通りである。
また、垂直観賞自由度RYは、下式の通り定義される。
RY=ΔBV/BV (27)
0≦ΔBV≦BVであるため、0≦RY≦1である。
また、式(27)を式(26)に代入すると、以下を得ることができる。
ΔYVF=RY×LV (28)
また、式(16)を式(28)で割ると、以下を得ることができる。
【数３０】
Rx = RYで、しかも式(25)を式(29)に代入すると、以下を得ることができる。
【数３１】
【００４３】
同様に、該垂直許容観賞範囲の位置をより精確に表現するため、任意の水平最適視点Pk,i,jにおいて、２位置VPk,i,j+( xc, yc+ΔyV, Z0)、VPk,i,j-( xc, yc-ΔyV, Z0)をさらに定義する。
これにより、該垂直許容観賞範囲の両端点の位置を表現する。
内、ΔyVは、半垂直許容観賞範囲で、しかもΔyVは下式のように表示される。
ΔyV=ΔYVF/2=RY×LV/2 (31)
【００４４】
よって、図２８、２９に示すように、該垂直許容観賞範囲331(すなわち、垂直無ゴーストイメージエリア)は、下式により定義される。
VPk,i,j- ≦ y ≦ VPk,i,j+ (32)
垂直ゴーストイメージエリア332は、下式により定義される。
VPk,i,j+ ＜ y＜ VPk+1,i’,j’- (33)
内、j＜n-1である時、i’=i、j’=j+1で、j=n-1である時、i’=i+1、j’=0である。
【００４５】
上記したように、式(5-1)〜(5-2)、(18)〜(20)、(32)〜(33)に基づき、任意の最適視点Pk,i,j(xc,yc,Z0)を定義する。
図３０に示すように、すべてに水平及び垂直の許容観賞範囲が存在する。
シーン分離装置は、光学傾斜の特徴を備えるため、上記した許容観賞範囲とゴーストイメージエリアは、該傾斜角θに沿って分布し、図３１に示すように、最終的に、傾斜帯状の許容観賞範囲341、傾斜帯状のゴーストイメージエリア342を構成する。
該傾斜帯状の許容観賞範囲341、該傾斜帯状のゴーストイメージエリア342は、該視差バリアー310光学構造の特徴のように、水平方向重複交差配列の特徴を備える。
上記した該傾斜帯状の許容観賞範囲341は、中心線Yi,j(x,y)を、下式の通り定義できる。
y = f(θ){ x - [n×i-(n-1)/2+j]×LE} (34)
【００４６】
該中心線Yi,j(x,y)は、すべての相同のi、jを備える最適視点Pk,i,j(xc,yc,Z0)を通過する。
また、該傾斜帯状の許容観賞範囲341と傾斜帯状のゴーストイメージエリア342との間の境界は、境界線Yi,j+(x,y)、Yi,j-(x,y)により構成する。
内、Yi,j+(x,y)は、下式により表示される。
y = f(θ){ x - [n×i-(n-1)/2+j + Rx/2]×LE} (35)
Yi,j-(x,y) は、下式により表示される。
y = f(θ){ x - [n×i-(n-1)/2+j - Rx/2]×LE} (36)
右傾斜構造を備えるシーン分離装置において、該f(θ) は、下式により表示される。
f(θ) = -tanθ (37)
左傾斜構造を備えるシーン分離装置において、該f(θ)は、下式により表示される。
f(θ) = tanθ (38)
【００４７】
また、θ=0(すなわち、tanθ=0)である時、該シーン分離装置は、垂直構造の特徴を備える(以下では、垂直構造を備えるシーン分離装置と呼称)。
該Yi,j(x,y)、Yi,j+(x,y)、Yi,j-(x,y)は、垂直線となり、それぞれ下式により表示される。
x = [n×i-(n-1)/2+j]×LE (39)
x = [n×i-(n-1)/2+j + Rx/2]×LE (40)
x = [n×i-(n-1)/2+j - Rx/2]×LE (41)
【００４８】
実は、式(34)〜(36)が示す該中心線Yi,j(x,y)、境界線Yi,j+(x,y)、Yi,j-(x,y)は、y=0である時、得られるx値は、式(39)〜(41)に示す。
すなわち、傾斜構造と垂直構造を備えるシーン分離装置において、z=Z0、y=0の水平線上には、相同のシーン分離の光学作用を備える。
或いは、簡単に言えば、傾斜構造と垂直構造は、相同の光学作用を備えるが、異なる点は、傾斜角度だけである。
【００４９】
以下では、該z=Z0、y=0の水平線を、最適観賞線(Optimum Viewing Line)と略称する。
上記したように、任意の傾斜構造を備えるシーン分離装置において、最適観賞距離上では、式(34)〜(41)は、すべての許容観賞範囲の中心線と境界線をはっきりと定義することができる。
よって、上記で用いた「傾斜帯状許容観賞範囲」、「傾斜帯状ゴーストイメージエリア」という専門用語を、以下では、「許容観賞区」、「ゴーストイメージエリア」と略称する。
上記したすべての最適視点、許容観賞区の中心線と境界線等が存在する平面(すなわち、Z=Z0)を、最適観賞面(Optimum Viewing Plane)と略称する。
【００５０】
上記したように、任意の傾斜構造を備える静態シーン分離装置、及び静態マルチシーン3D画像合成方法を利用し、三次元画像を表示する時、最適観賞面上では、図３１に示すように、該許容観賞範囲341とゴーストイメージエリア342は、公式(34)〜(41)により規定する。
最適観賞面上にいる観賞者の左、右の目の位置が、該許容観賞範囲341を離れる (すなわち、該ゴーストイメージエリア342に入る)と、観賞者は、ゴーストイメージを目にする。
また、観賞者の左、右の目の位置が、異なる可視区内にある時には、観賞者は、擬似立体画像を目にする。
上記した特徴に対して、任意の傾斜構造を備える静態シーン分離装置及び静態マルチシーン3D画像の合成を利用し、三次元画像を表示する方法を、以下では、静態三次元画像表示方法(Static Displaying Method of 3D Image)と略称する。
【００５１】
２. 動態マルチシーン3D画像合成の方法
続いて、「動態マルチシーン3D画像の合成」について説明する。
式(3)、式(4)が表示するマルチシーン3D画像合成の方法において、n、m、Q、II等のパラメータは、静態シーン分離装置のハードウェア構造設計と関係があり、時間に従い変化しない常数である。
図４に示すように、n=2、m=3、Q=1、II=1、Δ=0のデュアルシーン3D合成画像において、Δが1〜6へと変化する時、図３２〜３７に示すデュアルシーン3D合成画像Σn(Δ=1)〜Σn(Δ=6)を得ることができる。
該横方向移動フェーズがΔ＞0であれば、各シーンのすべてのサブピクセル画像データ
【数３２】
が、サブピクセルを単位とし、Δ個のサブピクセル分だけ右へと移動し、しかもn×mの周期を備え、Δ=6とΔ=0は相同の3D画像合成構造を備えることを示す。
【００５２】
当然、Δが、左移動の目的を達成することを示す。
周期性の関係により、Δ=A(A個のサブピクセル分だけ右へ移動)とΔ=A-n×m(n×m-A個のサブピクセル分だけ左へ移動)は、3D画像合成の構造を備える。
よって、図示による再説明は行わない。
【００５３】
上記のように、いわゆる「動態マルチシーン3D画像の合成」は、横方向移動フェーズΔを時間の関数等の変数とし、特定時間点に発生する特定条件(後述参照)下で、Δ(t)の値を設定する。
よって、式(3)、式(4)は、下式のように表示される。
【数３４】
【数３５】
前記静態三次元画像表示方法に比べ、本発明の方法は、時間を変数とする三次元画像の表示に適用される。
よって、動態三次元画像表示の方法(Dynamic Displaying Method of 3D Image)と見なすことができる。
以下に、数学公式の表示を単純化するため、横方向移動フェーズ、及び後述参照の左、右の目の座標値等の時間と関係のある相関パラメータについては、それが時間の関数であることを明示しない。
【００５４】
３. 観賞自由度最適化の方法
上記のように、横方向移動フェーズΔの値を変えると、3D画像合成の構造を変えることができる。
これにより、最適視点位置改変の目的を達成することができる。
デュアルシーン3D合成画像Σn(Δ=1)〜Σn(Δ=6)において、図１９に示すデュアルシーン用傾斜ストリップ状視差バリアーの作用を経た後は、元々のΔ=0時のすべての最適視点Pk,i,j(xc,yc,Z0)の位置に比べ、Δ≠0である時には、すべてのPk,i,j(xc,yc,Z0)は、同時に左へとΔxcの水平移動を行い、移動後の最適視点P’k,i,j(x’c,yc,Z0)となる。
【００５５】
以下では、Pk,i,j(xc,yc,Z0)をメイン最適視点と呼称する。
P’k,i,j(x’c,yc,Z0)をサブ最適視点と呼称する。
図３８〜４３に示すように、x’cは下式のように表示される。
x’c = xc - Δxc (44)
内、Δxcは下式の通りである。
Δxc = Δ × LE/m (45)
Δxcは、最適視点可調変間隔距離である。
Δ=1である時、Δxc0は最適視点可調変最小間隔距離で、下式の通りである。
Δxc0 = LE/m (46)
【００５６】
よって、mが大きければ大きいほど(上記した図示では、m=3を使用)、より小さいΔxc0を得ることができる。
また、シーン分離装置は、線性の光学システムであるため、許容観賞範囲341中の中心線Yi,j(x,y)、境界線Yi,j+(x,y)、Yi,j-(x,y)を、図４４(図示では、Δ=0を使用)に示すように、Δの値を変えることで、すべて左へと同一のΔxc量の移動を行わせることができる。
図４５(図示では、Δ=1を使用)に示すように、移動後の中心線、境界線は、それぞれY’i,j(x,y)、Y’i,j+(x,y)、Y’i,j-(x,y)となる。
すなわち、Δの値を変えれば、すべての許容観賞範囲341とゴーストイメージエリア342に、同時に左への水平移動(Δ＞0の時)、或いは右への水平移動(Δ＜0の時)を行わせることができる。
以下では、Yi,j(x,y)をメイン中心線、Y’i,j(x,y)をサブ中心線と呼称する。
【００５７】
図４６に示すように、Δ=0とΔ=1の図示を重ね、Δの改変前後の、許容観賞区移動の変化とオーバーラップの状況を観察する。
式(16)に基づき、許容観賞範囲341の幅ΔXVF(図示では、Rx=0.5を使用)を算出することができる。
式(46)に基づき、メイン最適視点可調変最小間隔距離Δxc0(図示では、m=3を使用)を算出することができる。
下式の条件が成立すると、
ΔXVF ＞ Δxc0 (47)
Δ改変前後の許容観賞区は、オーバーラップの現象を生じる。
該オーバーラップ区域345の幅ΔXOLは、下式のように表示される。
ΔXOL = ΔXVF - Δxc0 (48)
式(16)、(46)を式(48)に代入すると、以下を得ることができる。
ΔXOL = (Rx-1/m)×LE (49)
式(49)がゼロより大ければ、観賞自由度最適化の方法となり、すなわち、Rx ＞1/mで、最適観賞面上にゴーストイメージエリアを無くすという目的を達成することができる。
【００５８】
最適観賞面に位置する観賞者においては、その観賞位置が不適当、或いはその観賞位置を変えると、ゴーストイメージ或いは擬似立体画像を目にする恐れがある。
但し、観賞者の左、右の目の水平位置を即時に検出することができれば、Δの操作を通して、正確な許容観賞区を、観賞者の両目の所在位置へと移動させ、ゴーストイメージと擬似立体画像の現象を完全に解決でき、観賞自由度不足の問題を排除することができる。
【００５９】
４. 観賞位置の即時検出方法
前記のように、観賞位置とは、左、右の目が位置する三次元位置(スクリーン座標系)をいう。
特許文献９が掲示する視空間点認知の装置は、立体撮影の技術により、一対の左、右撮影装置を使用し、撮影、画像処理を通して、左、右撮影装置が捕捉した2D画像中から、左、右眼球(或いは瞳孔)の中心位置を検出 (以上は、デジカメ公知の技術)し、さらに左右画像対応と三次元座標転換計算の方法を利用し、左、右目の三次元の位置を得ることができる。
以下では、左右画像対応の方法と三次元座標転換計算の方法についてのみ、説明を行う。
【００６０】
先ず、該立体撮影構成の光学特徴について説明する。
図４７、４８に示すように、該立体撮影装置23は、左撮影装置20、右撮影装置21により構成する。
その装置の方式は、図４９では、内蔵方式で一般のフラットディスプレイスクリーンフレーム24の内に直接装置(左図参照)し、或いは外付けの方式により、一般のフラットディスプレイスクリーンフレーム24の外に設置(右図参照)する。
よって、該左右撮影装置20、21は、内蔵、或いは外付けの方式により、携帯電話端末、デジカメ、ビデオカメラ、ゲーム機、タブレットコンピュータ、ノート型コンピュータ、モニタ、テレビ、3Dテレビ等装置のケースの上に装置することができる。
【００６１】
また、該左、右撮影装置20、21は、相同の光学結像システムを備え、相同焦点距離fの光学結像レンズ(図示なし)、相同のイメージセンサー(CCD、或いはCMOS等。図示なし)を備える。
該左、右撮影装置20、21上にはそれぞれ、左画像座標系XLYLZL、右画像座標系XRYRZRを設置する。
これにより、該両画像座標系の原点は、該左、右撮影装置20、21イメージセンサーの中心にそれぞれ設置され、しかも該両画像座標系とスクリーン座標系の座標軸は、平行の関係を備える。
スクリーン座標系において、該両画像座標系の原点座標は、それぞれ(-S/2,H,0)、(S/2,H,0)である。
内、Sは、該左、右撮影装置20、21光軸間隔距離で、Hは、装置高度である。
また、ZL、ZRは、該左、右撮影装置20、21光軸上にそれぞれ設置する。
すなわち、該左、右撮影装置20、21の光軸は、Z軸に平行である。
【００６２】
図４８に示すように、該左、右撮影装置20、21結像の光学特徴は、スクリーン座標系中において、１個の物点P(XP, YP, ZP)に対して、左、右ビデオカメラ光学結像システムの作用を経て、左、右画像センサー上、すなわち左、右画像座標系上に、それぞれ１個の像点IL(xL,yL,0)、IR(xR,yR,0)を生じる。
これにより、IL(xL,yL,0)、IR(xR,yR,0)はP(XP, YP, ZP)の対応点となり、しかも以下の座標転換の関係を備える。
【数３６】
【数３７】
【数３８】
よって、式(50)〜(52)を観賞位置の検出に用いることができる。
スクリーン座標系XYZ中において、左、右目10、11の三次元の座標は、以下のように定義できる。
EL = (XL, YL , ZL) (53)
ER = (XR, YR , ZR) (54)
【００６３】
該左、右目10、11は、該左、右撮影装置20、21の光学レンズを通して、該左、右イメージセンサーにそれぞれ結像することができ、さらに画像処理を経て、左、右眼球(或いは瞳孔)中心の位置を以下に表示するように検出することができる。
【００６４】
左画像座標系中の、左、右眼球(或いは瞳孔)中心の位置は、下式のように表示される。
iL,L = (xL,L, yL,L, 0) (55)
iL,R = (xL,R, yL,R, 0) (56)
右画像座標系中の、左、右眼球(或いは瞳孔)中心の位置は、下式のように表示される。
iR,L = (xR,L, yR,L, 0) (57)
iR,R = (xR,R, yR,R, 0) (58)
よって、上記した左右画像対応の方法とは、左、右撮影装置20、21イメージセンサー上の左、右の眼球中心位置に対して、対応の処理を行うものである。
すなわち、左目位置ELは、iL,LとiR,Lにより対応し、右目位置ERは、iL,RとiR,Rにより対応する。
また、前記のように、該左、右撮影装置20、21は、同様の光学特徴を備えるため、yL,L=yR,L= yLで、しかもyL,R= yR,R= yRである。
【００６５】
よって、左眼球(或いは瞳孔)中心が対応する左、右画像座標系上の位置は、下式のように表示される。
iL,L = (xL,L, yL , 0) (59)
iR,L = (xR,L, yL , 0) (60)
右眼球(或いは瞳孔)中心が対応する左、右画像座標系上の位置は、下式のように表示される。
iL,R = (xL,R, yR , 0) (61)
iR,R = (xR,R, yR , 0) (62)
いわゆる「三次元座標転換計算の方法」は、画像座標系とスクリーン座標系間の座標転換を通して、画像座標系上に結像する左、右目の座標を、スクリーン座標系上の三次元座標に転換する。
【００６６】
上記のように、式(50)〜(52)に基づき、iL,L、iR,L に対して座標転換を行い、左目10三次元の座標を計算して得ることができる。
式(53)中の各座標は、下式のように表示される。
【数３９】
【数４０】
【数４１】
【００６７】
同様に、式(50)〜(52)に基づき、iL,R、iR,Rに対して座標転換を行い、右目11三次元の座標を計算して得ることができる。
式(54)中の各座標は、下式のように表示される。
【数４２】
【数４３】
【数４４】
【００６８】
５. 観賞条件最適化の方法
視差バリアー装置は、観賞自由度が制限される光学特徴を備えるため、以下の観賞距離とスクリーン正視等最適化条件の設定を行わなければ、最高品質の3D画像を表示する目的を達成することはできない。
【００６９】
(1)観賞距離最適化の条件
|ZL − Z0|＜ΔZ0 (69)
|ZR − Z0|＜ΔZ0 (70)
内、ΔZ0は、許容最適観賞距離の偏差量である。
式(69)〜(70)に設定する条件では、図５０では、観賞者は最適観賞位置からずれ、しかも所定範囲ΔZ0を超えることを検出すると、警告メッセージを発し、観賞者の両目の位置を、最適観賞距離Z0まで移すよう要求する。
【００７０】
(2)スクリーン正視最適化の条件
a. 観賞者が頭をずらし3D画像を側視することを排除
【数４５】
内、Δφは、許容水平観賞角度の偏差量で、
【数４６】
は、x軸の単位ベクトルで、ER、ELは座標ベクトルである。
式(71)に設定する条件では、図５１では、観賞者の視線は左へ、或いは右へ、スクリーンからずれており、しかも該偏向角度は、所定角度Δφを超えることを検出すると、警告メッセージを発し、観賞者に視線を更正し、スクリーンを正視するよう要求する。
【００７１】
b. 観賞者が首をひねり3D画像を斜視することを排除
【数４７】
内、Δρは、許容傾斜観賞角度の偏差量である。
式(72)に設定する条件では、図５２では、観賞者は首をひねり画像を観賞しており、しかも該ひねり角度は、所定角度Δρを超えることを検出すると、警告メッセージを発し、観賞者に視線を更正し、スクリーンを正視するよう要求する。
【００７２】
よって、式(69)〜(72)の条件に基づき、式(53)、(54)は、以下の関係を備える。
YL = YR = YE (73)
ZL = ZR = Z0 (74)
こうして、最終的に、左、右目の座標は、EL = (XL, YE, Z0)、ER = (XR, YE, Z0)となる。
すなわち、式(73)、(74)は、観賞者の最適観賞条件を表している。
観賞者の観賞位置が、(1)両目が同様の最適観賞距離を維持、(2)両目が同様の高度を保持(すなわち、水平状態保持)、(3)両目がスクリーンを正視、の条件を満たす時、最適な品質を備える3D画像を観賞することができる。
【００７３】
６. 観賞位置とシーン最適対位の方法
上記のように、いわゆる「観賞位置とシーン最適対位」とは、式(63)〜(68)に基づき得られた左、右目の位置EL、ER、及び式(73)〜(74)に示す最適観賞条件により、左、右目の特徴座標の計算、最適観賞線上最適視点座標の計算を通して、視点とシーン対位のプロセスを利用し、適当なΔを計算して取得後、正確な許容観賞区を、観賞者の両目の所在位置へと移動させ、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することを指す。
【００７４】
先ず、中心線を再定義する。
これにより、Yi,j,Δ(x,y)は、上記したすべてのメイン中心線Yi,j(x,y)、サブ中心線Y’i,j(x,y)に置換し、こうして観賞者の左、右の目が存在し得る許容観賞区を区画する。
すなわち、Yi,j,Δ=0(x,y)は、元々定義されていたメイン中心線で、Yi,j,Δ≠0(x,y)は、元々定義されていたサブ中心線である。
該中心線 Yi,j,Δ(x,y)は、以下のように表示する。
y = f(θ){ x - [n×i-(n-1)/2+j-Δ/m ]×LE} (75)
y=0である時、Yi,j,Δ(x,y)とX軸交点の座標値x(i, j,Δ)を得ることができる。
x(i, j,Δ) = [n×i-(n-1)/2+j-Δ/m ]×LE (76)
【００７５】
内、f(θ)、LE、n(=2)、m(=3)、i、jは、前記定義の通りである。
図５３は、Δ=0、1、2を式(75)に代入し、得られたYi,j,Δ(x,y)である。
よって、Δ＞0の操作により、すべてのメイン中心線Yi,j,0(x,y)を左へ移動させるという目的を達成することができる。
【００７６】
図５４は、Δ=-0、-1、-2を式(75)に代入し、得られたYi,j,Δ(x,y)である。
よって、Δ＜0の操作により、すべてのメイン中心線Yi,j,0(x,y)を右へ移動させるという目的を達成することができる。
【００７７】
図５５は、Δ=0、1、2とΔ=-0、-1、-2を、式(76)に代入し、計算して得られたYi,j,Δ(x,y)とX軸交点の座標値x(i, j,Δ)である。
Δ=0、1、2であっても、或いはΔ=-0、-1、-2であっても、得られた交点の座標値x(i, j,Δ)は一致する。
また、前記に基づき、x(i, j,Δ=0)は、メイン最適視点で、x(i, j,Δ≠0)は、サブ最適視点である。
Δ=±m(すなわち、±3)である時、すべてのメイン中心線、メイン最適視点は、両目間隔距離LEの分だけ、みな左へ(Δ=m)或いはみな右へ(Δ=-m)移動する。
以下では、すべてのx(i, j,Δ=0)とx(i, j,Δ≠0)を、最適観賞線上の最適視点と総称する。
【００７８】
図１９に示すように、左、右目10、11の観賞位置を、同一可視区内最適視点の許容観賞範囲321にそれぞれ置く時、正確な三次元画像を目にすることができる。
但し、該位置をずれるなら、ゴーストイメージエリア322、323に進入してしまう。
また、左、右目10、11の観賞位置を、異なる可視区内の最適視点に置く時には、擬似立体、或いはゴーストイメージ現象に接する可能性がある。
これら現象はみな、隣接する２個のメイン最適視点間において発生する。
よって、|Δ| ＜ mの操作により、ゴーストイメージと擬似立体の問題を完全に解決することができる。
【００７９】
図５６に示すように、メイン最適視点x(i=0, j=0,Δ=0) (左側の図参照)において、|Δ| ≦ mの操作を行い、左へ、或いは右への移動操作の目的を達成する。
すなわち、Δ=0、1、2、3(中央の図参照)とΔ=-0、-1、-2、-3(右側の図参照)を式(76)に代入すれば、メイン、サブ最適視点を得ることができる。
よって、左、右の目の位置を検出後、最も接近したYi,j,Δ(x,y)を求め、さらに|Δ| ≦mの操作を行えば、3D目追跡の目的を達成することができる。
【００８０】
該観賞位置とシーン最適対位の方法は、既に最適観賞条件を備える両目位置において、前記許容観賞範囲の中心線と境界線に基づき、先ず、左、右の目がそれぞれ個別に対応する可視区の通し番号i、最も接近したシーン通し番号j、最も接近した横方向移動フェーズΔを求める。
実際の実施方法は、以下に記述する。
【００８１】
図５７に示すように、先ず、同様の傾斜角度θを備える斜線LL、LRはそれぞれ、該左、右の目の位置(XL, YL, ZL)、(XR, YR, ZR)を通過し、X軸とxL0、xR0でそれぞれ交わる。
以下では、xL0、xR0を、左、右目の特徴座標と呼称する。
右傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる。
xL0= XL + tan(θ)×YL (77)
xR0= XR + tan(θ)×YR (78)
左傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる。
xL0= XL - tan(θ)×YL (79)
xR0= XR - tan(θ)×YR (80)
垂直構造の視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる。
xL0= XL (81)
xR0= XR (82)
【００８２】
よって、式(77)〜(82)に基づき、計算して得られた左、右目の特徴座標xL0、xR0と式(76)に基づき、計算して得られた最適観賞線上の最適視点x(i, j,Δ)を比較すれば、最も接近したi, j,Δ値を求めることができる。
Δの操作により、3D目追跡の目的を達成することができる。
以下では、実際の処理プロセスについて説明し、該プロセスを「視点とシーン対位のプロセス」と呼称する。
【００８３】
先ず、「最適可視面(Optimum Viewable Plane)」、「水平可視角(Horizontal Viewable Angle)」、「垂直可視角(Vertical Viewable Angle)」の補充定義を行う。
図５８に示すように、いわゆる「最適可視面」とは、該最適観賞面上に存在する面積が有限の可視面350で、該面上には、数量が有限の多数の最適視点Pk,i,jのみが存在する。
該多数の最適視点Pk,i,jは、左、右の目に対して、低ゴーストイメージと画像輝度接近を備える単一シーン画像を、それぞれ提供する。
該有限数量の最適視点Pk,i,jにより構成する面は、最適可視面である。
該最適観賞面350上に存在する任意の点座標(x,y,Z0)は、以下の関係を備える
-xmax≦x≦xmax (83)
-ymax≦y≦ymax (84)
内、xmax、ymaxは、該最適可視面の範囲を規定する。
すなわち、観賞者は、式(83)、(84)が定義する範囲内において、最適品質の3D画像を観賞することができる。
一般に、最適観賞面上で、3D画像に対する作実際の測定 (cross-talkと輝度測定等)を通して、該xmax、ymaxの値を得ることができる。
また、該xmax、ymaxに基づき、水平可視角ΩH、垂直可視角ΩVを定義し、下式のように表示される。
ΩH =2×tan-1(xmax/Z0) (85)
ΩV =2×tan-1(ymax/Z0) (86)
【００８４】
当然、該xmax、ymaxの値は、imax、kmax，にそれぞれ対応する。
図５９、６０に示すように、最適可視点Pk,i,jは、最適可視面上に存在する。
該Pk,i,j中の水平可視区の通し番号i、垂直可視区の通し番号kは、以下の関係を備える。
|i|≦imax (87)
|k|≦kmax (88)
また、xmaxとimax、ymaxとkmaxは、以下の関係を備える。
xmax = imax × n × LE (89)
ymax = kmax × LV (90)
【００８５】
観賞者の観賞視角が、ΩH、ΩVより小さい時には、高品質の3D画像を観賞することができる。
観賞の視角が大きくなり、しかも該ΩH、ΩVを超えると、シーン分離装置の加工と組み立て誤差により、前記したすべての線性光学の特徴を破壊してしまい、ゴーストイメージを深刻に悪化させる他、左、右目の画像輝度の差異が大きくなり過ぎ、3D画像品質の低下を招き、さらには3D画像を全く観賞できないという問題を引き起こす。
【００８６】
以下では、上記した定義と仮設観賞者の観賞観賞条件と位置は、前記式(69)〜(74)、式(83)〜(84)が定義する条件をそれぞれ満たす。
上記した該視点とシーン対位のプロセスに対する実施ステップを、以下に説明する。
【００８７】
前記のように、xL0、xR0の間隔距離は、両目間隔距離LEである。
よって、左目位置xL0、或いは右目位置xR0を、x(i, j,Δ)と比較すれば、最適なi,j,Δを求めることができる。
図示と説明を単純化するため、以下では、左目位置xL0を例とし、これを説明する。
【００８８】
ステップ一では、左、右の目の位置 (xL, yE, z0)、(xR, yE, z0)が、最適可視面範囲内に存在するかどうかを確認する。
もし、下式の関係を満たすなら、ステップ二に進む。
もし、下式の関係を満たさないなら、観賞位置が最適可視面範囲からずれていると発表し、ステップ五に進む。
| xL | ≦ xmax (91)
| xR | ≦ xmax (92)
| yE | ≦ ymax (93)
【００８９】
ステップ二では、開始値を、下式の通り設定する。
i=-imax (94)
j=0 (95)
【００９０】
ステップ三では、i, j,Δを式(76)に代入し、x(i, j,Δ)を算出する。
【００９１】
ステップ四では、xL0とx(i, j,Δ)を、下式の通り比較する。
|xL0 - x(i, j,Δ)| ≦ LE/2m (96)
【００９２】
状況１: もし、式(96)の関係を満たす１組の(i, j,Δ)パラメータが得られるなら、Δを式(3)、或いは(4)に代入し、3D目追跡成功を発表し、ステップ五に進む。
状況２: もし、式(96)の関係を満たす１組の(i, j,Δ)パラメータも得ることができなければ、以下の通りである。
j=j+2 (97)
もし、j＜n(すなわち、jはi可視区を未超過)なら、ステップ三に進む。
もし、j≧n(すなわち、jはi可視区を超過)なら、以下の通りである。
i=i+1 (98)
j=0 (99)
もし、i≦imaxなら、ステップ三に進む。
もし、i＞imaxなら、観賞位置が可視角範囲からずれていると発表し、
ステップ五に進む。
【００９３】
ステップ五では、比較を終了する。
【００９４】
上記した式(96)の比較演算において、図６１では、前記デュアルシーン表示(n=2、m=3)により、しかもi=0、j=0の可視区を例とし、xL0とx(0,0,3)、x(0,0,2)、x(0,0,1)、x(0,0,0)、x(0,0,-1)、x(0,0,-2)、x(0,0,-3)の比較を行う。
よって、xL0がx(0,0,3)-LE/6≦xL0≦x(0,0,-3)+LE/6の条件を満たせば、対応するΔ値を求めることができる。
図６２は、前記4シーン表示(n=4、m=3)により、しかもi=0、j=0とi=1、j=0の可視区を例とし、xL0の比較演算を行う。
図６３は、前記4シーン表示(n=4、m=3)により、しかもi=0、j=2の可視区を例とし、xL0の比較演算を行う。
【００９５】
当然、該視点とシーン対位のプロセスは、右目位置xR0においても、比較の演算を行うことができるが、下式の通りに、式(95)でのj開始値はj=1とし、式(96)のxR0をxL0に置換する。
|xR0 - x(iR, jR,Δ)| ＜ LE/m
(100)
jがi可視区を超過した時には、式(99)中のjは、j=1とする。
【００９６】
図６４は、本発明実施例の模式図である。
本発明マルチシーン三次元画像表示の方法400は、観賞位置即時検出方法410、観賞位置とシーン最適対位の方法420、動態マルチシーン3D画像合成の方法430、フラットディスプレイスクリーン440、静態視差バリアー装置450により構成される。
【００９７】
該観賞位置即時検出方法410は前記のように、一対の左、右撮影装置412を利用する。次に、撮影、画像処理を通して、左、右撮影装置が捕捉した2D画像中から、左、右画像座標系において、左、右眼球(或いは瞳孔)の中心位置を検出する(式(55)〜(58)参照)。
さらに、左右画像対応のプロセス414(式(59)〜(61)参照)、三次元座標転換計算のプロセス416(式(63)〜(68)参照)、観賞条件最適化のプロセス418(式(69)〜(74)参照)を利用し、左、右目三次元の位置EL = (XL, YE, Z0)、ER = (XR, YE, Z0)を求め、及び出力する。
【００９８】
該観賞位置とシーン最適対位の方法420は前記のように、該左、右目三次元位置EL、ERに基づき、左、右目の特徴座標計算のプロセス422(式(77)〜(82)参照)、最適観賞線上最適視点座標計算のプロセス424(式(76)参照)、視点とシーン対位のプロセス426を通して、適当なΔを計算して求め、及び出力する。
【００９９】
該動態マルチシーン3D画像合成の方法430は前記のように、マルチシーン画像432(式(1)参照)において、Δとマルチシーン3D画像合成のプロセス434(式(42)〜(43)参照)に基づき、マルチシーン3D合成画像Σnを産生する。
該フラットディスプレイスクリーン440は前記のように、該マルチシーン3D合成画像Σn を受け取り、表示する。
【０１００】
該静態視差バリアー装置450は前記のように、該マルチシーン3D合成画像Σnに対して、最適観賞距離上において、最適観賞面を提供し、該最適観賞面上において、多数の最適視点を提供し、該最適視点において、シーン分離の光学作用を行い、単一シーン画像を個別に表示させる目的を達成する。
【０１０１】
また、該視差バリアーの光学構造に対して、静態視差バリアー装置設計の方法452(式(6)〜(17)と式(23)〜(31)参照)、観賞自由度最適化の方法454(式(47)、(49)参照)を利用し、最適化設計の目的を達成する。
よって、ある最適可視面上において、該マルチシーン3D合成画像Σn(t)に、シーン分離の作用を行い、正確な左右画像を、観賞者の左、右の目10、11に投射し、三次元画像表示の目的を達成することができる。
【０１０２】
上記した「プロセス」とは、本発明中のすべての関連する公式計算を処理可能なソフトウェアプログラムで、しかも一般のマイクロプロセッサ、或いはDSP等計算装置を用いて、該ソフトウェアプログラムを執行することができる。
【０１０３】
上記したように、本発明三次元画像表示の方法は、一般のフラットディスプレイスクリーンと静態視差バリアー装置を利用し、三次元画像を表示する時、(1)静態視差バリアー装置設計の方法、(2)動態マルチシーン3D画像合成の方法、(3)観賞自由度最適化の方法、(4)観賞位置即時検出方法、(5)観賞条件最適化の方法、(6)観賞位置とシーン最適対位方法を提出する。
これにより、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる。
【０１０４】
本発明が開示する各方法、特に(2)動態マルチシーン3D画像合成の方法、(4)観賞位置即時検出方法、(5)観賞位置とシーン最適対位方法は、他の静態シーン分離装置(例えば柱状レンズアレイ)、動態シーン分離装置に適用することができる。
【０１０５】
上記の本発明名称と内容は、本発明技術内容の説明に用いたのみで、本発明を限定するものではない。
本発明の精神に基づく等価応用或いは部品(構造)の転換、置換、数量の増減はすべて、本発明の保護範囲に含むものとする。
【産業上の利用可能性】
【０１０６】
本発明は特許の要件である新規性を備え、従来の同類製品に比べ十分な進歩を有し、実用性が高く、社会のニーズに合致しており、産業上の利用価値は非常に大きい。
【符号の説明】
【０１０７】
1 フラットディスプレイスクリーン
2 各サブピクセル間の黒色間隔
3 裸眼視三次元画像ディスプレイスクリーン
10 左目
11 右目
20 左撮影装置
21 右撮影装置
23 立体撮影装置
24 フラットディスプレイスクリーンフレーム
310 デュアルシーン用傾斜ストリップ状視差バリアー
311 傾斜ストリップ状光透過部品
312 傾斜ストリップ状遮蔽部品
321 水平許容観賞範囲
322、323 水平ゴーストイメージエリア
331 垂直許容観賞範囲
332 垂直ゴーストイメージエリア
341 傾斜帯状の許容観賞範囲
342 傾斜帯状のゴーストイメージエリア
345 許容観賞区オーバーラップの区域
350 最適可視面
400 本発明の実施例
410 観賞位置即時検出方法
412 一対の左、右撮影装置
414 左右画像対応のプロセス
416 三次元座標転換計算のプロセス
418 観賞条件最適化のプロセス
420 観賞位置とシーン最適対位の方法
422 左、右目の特徴座標計算のプロセス
424 最適観賞線上最適視点座標計算のプロセス
426 視点とシーン対位のプロセス
430 動態マルチシーン3D画像合成の方法
432 マルチシーン画像
434 マルチシーン3D画像合成のプロセス
440 フラットディスプレイスクリーン
450 静態視差バリアー装置
452 静態視差バリアー装置設計の方法
454 観賞自由度最適化の方法
XYZ スクリーン座標系
X、Y、Z 座標軸方向
【数４８】
x軸の単位ベクトル
R 赤色
G 緑色
B 青色
W 白色
N ディスプレイスクリーン水平方向サブピクセルの総数
M ディスプレイスクリーン垂直方向サブピクセルの総数
j、i 単一のサブピクセルの水平及び垂直位置通し番号
PH サブピクセルの水平幅
PV サブピクセルの垂直高度
H × V 単一のサブピクセルの有効発光サイズ
Vk 単一シーン画像
k、Λ、0、1、2、3 シーン通し番号
【数４９】
Vk画像中の(i,j)位置にあるサブピクセル画像データ
Σn マルチシーン3D合成画像
Σn(t) 時間を変数とするマルチシーン3D合成画像
n 総シーン数
m 横方向最小表示ユニットサブピクセル構成の数
Q 縦方向最小表示ユニットサブピクセル構成の数
Δ 横方向移動フェーズ
Δ(t) 時間を変数とする横方向移動フェーズ
t 時間
II 横方向移動振幅
int 整数を得る関数
Mod 除数を得る関数
BH 光透過部品の水平幅
【数５０】
遮蔽部品の水平幅
ΔBH 光透過部品開口水平幅の縮減量
BV 光透過部品垂直開口幅
ΔBV 光透過部品開口垂直幅の縮減量
ΔXVF 水平許容観賞範囲
ΔYVF 垂直許容観賞範囲
Rx 水平観賞自由度
RY 垂直観賞自由度
θ 傾斜ストリップ状視差バリアーの傾斜角度
Z0 最適観賞距離
LB 傾斜ストリップ状視差バリアーの装置距離
Pk,i,j(xc,yc,Z0) 最適視点、メイン最適視点
P’k,i,j(x’c,yc,Z0) 移動後の最適視点、サブ最適視点
P0,-1,1、P0,0,0、P0,0,1、P0,1,0 最適視点の位置
xc 最適視点のx座標
yc 最適視点のy座標
Δxc 最適視点可調変間隔距離
Δxc0 最適視点可調変最小間隔距離
ΔXOL 許容観賞区オーバーラップ区域の幅
i 水平可視区の通し番号
j シーン数の通し番号
k 垂直可視区の通し番号
LH 水平最適視点間隔距離
LV 垂直最適視点間隔距離
【数５１】
左画像
【数５２】
右画像
HPk,i,j+(xc+ΔxH, yc, Z0) 水平許容観賞範囲右端点の位置
HPk,i,j-(xc-ΔxH, yc, Z0) 水平許容観賞範囲左端点の位置
ΔxH 半水平許容観賞範囲
VPk,i,j+( xc, yc+ΔyV, Z0) 垂直許容観賞範囲右端点の位置
VPk,i,j-( xc, yc-ΔyV, Z0) 垂直許容観賞範囲左端点の位置
ΔyV 半垂直許容観賞範囲
Yi,j(x,y)、Yi,j,Δ=0(x,y) メイン中心線
Y’i,j(x,y)、Yi,j,Δ≠0(x,y) サブ中心線
f 左、右ビデオカメラの焦点距離
S 左、右ビデオカメラ光軸間隔距離
H 左、右ビデオカメラ装置高度
XLYLZL 左画像座標系
XRYRZR 右画像座標系
P(XP, YP, ZP) 物点座標
IL(xL, yL, 0) 物点左結像位置
IR(xR, yR, 0) 物点右結像位置
EL = (XL, YL , ZL) XYZ座標系中左目の座標
ER = (XR, YR , ZR) XYZ座標系中右目の座標
iL,L = (xL,L, yL,L, 0) XLYLZL座標系中左眼球中心の座標
iL,R = (xL,R, yL,R, 0) XLYLZL座標系中右眼球中心の座標
iR,L = (xR,L, yR,L, 0) XRYRZR座標系中左眼球中心の座標
iR,R = (xR,R, yR,R, 0) XRYRZR座標系中右眼球中心の座標
ΔZ0 可許容最適観賞距離の偏差量
Δφ 可許容水平観賞角度の偏差量
Δρ 可許容傾斜観賞角度の偏差量
YE 最適観賞条件下での左、右の目のY軸座標
x(i, j,Δ=0) メイン最適視点
x(i, j,Δ≠0) サブ最適視点
LL、LR 左、右の目位置を通過する斜線
xL0、xR0 LL、LRとX軸交差点の座標
xmax、ymax 最適可視面の範囲
ΩH 水平可視角
ΩV 垂直可視角
imax 最適可視面が対応する最大水平可視区の通し番号
kmax 最適可視面が対応する最大垂直可視区の通し番号
【技術分野】
【０００１】
本発明は三次元画像表示の方法に関し、特に裸眼視三次元画像表示の欠点に対して、特に一般のフラットディスプレイスクリーンと静態視差バリアー装置を利用し、三次元画像を表示する時、観賞位置の即時検出方法、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法と静態視差バリアー装置設計の方法を提出し、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる三次元画像表示の方法に関する。
【背景技術】
【０００２】
特許文献１が掲示するマルチシーン三次元画像表示の方法(Method of Displaying Multi-View 3D Image)は、マルチシーン裸目式三次元画像の表示において、マルチシーン3D画像合成の方法、傾斜ストリップ状視差バリアー(Slantwise Strip Parallax Barrier)最適化の設計を提出している。
こうして、最適観賞距離において、位置を固定した複数の最適視点を提供し、該最適視点において、単一シーン画像を個別に表示させる目的を達成する。
【０００３】
該傾斜ストリップ状視差バリアーは、固定された構造(以下では「静態視差バリアー装置」と総称)で、しかも該マルチシーン3D画像合成の方法は、固定された合成プロセス(以下では「静態マルチシーン3D画像合成方法」と総称)であるため、該単一の最適視点上では、単一の、しかも固定されたシーン画像しか表示することはできない。
光透過部品の開口幅を縮減することで、水平観賞自由度を拡大する目的を達成することはできるが、開口幅の縮減は、画像輝度の低下を招く他、拡大された水平観賞自由度には限界があるため、より大きな範囲の観賞位置の変化に対応することはできない。
【０００４】
また、水平方向上で、観賞者の観賞位置が、最適視点から離れ、しかも該水平許容観賞範囲を超えた時には、観賞者は、ゴーストイメージ(Ghost Image)、或いは左右画像が転倒する擬似立体画像(Pseudo Stereoscopic Image)を目にし、最終的には、使用の利便性は深刻なほど不十分となる。
また、同様の現象が存在する垂直観賞自由度に対しては、一切の検討、改善がなされていない。
本発明は、上記したマルチシーン三次元画像表示の方法の欠陥を解決するためになされたものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】台灣特許第100114446号明細書
【特許文献２】台灣特許第099127429号明細書
【特許文献３】台灣特許第099134699号明細書
【特許文献４】台灣特許第098128986号明細書
【特許文献５】台灣特許第099107311号明細書
【特許文献６】台灣特許第099108528号明細書
【特許文献７】台灣特許第099128602号明細書
【特許文献８】台灣特許第098145946号明細書
【特許文献９】台灣特許第096108692号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、静態視差バリアー装置と静態マルチシーン3D画像合成方法を利用し、三次元画像を表示させるという従来の技術の欠点に対して、静態視差バリアー装置設計の方法、動態マルチシーン3D画像合成の方法を提出し、観賞位置即時検出方法、観賞位置及びシーン最適対位の方法を対応させ、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる三次元画像表示の方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明は観賞位置の即時検出方法、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法と静態視差バリアー装置設計の方法を用い、上記課題を解決することができる。
【発明の効果】
【０００８】
本発明三次元画像表示の方法は、従来の裸眼視三次元画像表示の欠点に対して、特に一般のフラットディスプレイスクリーンと静態視差バリアー装置を利用し、三次元画像を表示する時、観賞位置の即時検出方法、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法と静態視差バリアー装置設計の方法を提出し、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる。
【図面の簡単な説明】
【０００９】
【図１】一般のR、G、Bサブピクセルが水平ストリップ状に配列するフラットディスプレイスクリーンの模式図である。
【図２】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図３】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図４】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図５】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図６】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図７】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図８】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図９】右傾斜特徴を備える各種のマルチシーン3D合成画像である。
【図１０】傾斜特徴を備えないマルチシーン3D合成画像である。
【図１１】左傾斜特徴を備えるマルチシーン3D合成画像である。
【図１２】デュアルシーン用傾斜ストリップ状視差バリアー構造の模式図である。
【図１３】最適観賞面上に最適視点が分布する様子を示す模式図である。
【図１４】デュアルシーン3D合成画像表示原理の模式図である。
【図１５】n=2、m=3、しかもk=0である時の、最適視点Pk,i,j(xc,yc,Z0)中のi、j定義の模式図である。
【図１６】n=2、m=3、しかもk=0である時の、各水平最適視点の座標である。
【図１７】n=4、m=3、しかもk=0である時の、最適視点Pk,i,j(xc,yc,Z0)中のi、j定義の模式図である。
【図１８】n=4、m=3、しかもk=0である時の、各水平最適視点の座標である。
【図１９】ΔBH=BH/2である時の、ΔBHとΔXVFの関係を示す模式図である。
【図２０】ΔBH=2BH/3である時の、ΔBHとΔXVFの関係を示す模式図である。
【図２１】各種マルチシーン3D合成画像の模式図である。
【図２２】各種マルチシーン3D合成画像の模式図である。
【図２３】各種マルチシーン3D合成画像の模式図である。
【図２４】各種マルチシーン3D合成画像の模式図である。
【図２５】各種マルチシーン3D合成画像の模式図である。
【図２６】各種マルチシーン3D合成画像の模式図である。
【図２７】デュアルシーン用傾斜ストリップ状視差バリアー垂直方向光学作用の模式図である。
【図２８】ΔBV=BV/2である時の、ΔBVとΔYVFの関係を示す模式図である。
【図２９】ΔBV=2BV/3である時の、ΔBVとΔYVFの関係を示す模式図である。
【図３０】水平及び垂直許容観賞範囲特徴を備える最適視点の模式図である。
【図３１】傾斜角θ分布特徴を備える許容観賞範囲とゴーストイメージエリアの模式図である。
【図３２】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３３】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３４】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３５】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３６】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３７】異なるΔ値を備える各種デュアルシーン3D合成画像の模式図である。
【図３８】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図３９】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４０】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４１】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４２】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４３】ΔとPk,i,j(xc,yc,Z0)の関係を示す模式図である。
【図４４】Δ=0である時の、中心線、境界線位置の模式図である。
【図４５】Δ=1である時の、中心線、境界線位置改変の模式図である。
【図４６】Δ=0とΔ=1の中心線、境界線位置のオーバーラップの模式図である。
【図４７】立体撮影構成と装置位置座標の模式図である。
【図４８】立体撮影構成と装置位置座標の模式図である。
【図４９】立体撮影装置の模式図である。
【図５０】最適観賞条件設定の模式図である。
【図５１】最適観賞条件設定の模式図である。
【図５２】最適観賞条件設定の模式図である。
【図５３】Δ=0、1、2である時の、Yi,j,Δ(x,y)の模式図である。
【図５４】Δ=0、-1、-2時である時の、Yi,j,Δ(x,y)の模式図である。
【図５５】Δ=0、1、2とΔ=-0、-1、-2である時に、計算して取得したYi,j,Δ(x,y)とX軸交点座標値x(i, j,Δ)を列記する表である。
【図５６】|Δ| ≦ mの条件下で、メイン最適視点x(i=0, j=0,Δ=0)位置変化を列記する表である。
【図５７】左、右の目の位置(xL, yL, zL)、(xR, yR, zR)を通過する斜線LL、LRの模式図である。
【図５８】最適可視面構成の模式図である。
【図５９】最適可視面が対応する最大水平可視区の通し番号の模式図である。
【図６０】最適可視面が対応する最大垂直可視区の通し番号の模式図である。
【図６１】デュアルシーン表示(n=2、m=3)で、しかもi=0、j=0の可視区を条件としたx(i, j,Δ)構成の模式図である。
【図６２】4シーン表示(n=4、m=3)で、しかもi=0、j=0、とi=1、j=0の可視区を条件としたx(i, j,Δ)構成の模式図である。
【図６３】4シーン表示(n=4、m=3)で、しかもi=0、j=2の可視区を条件としたx(i, j,Δ)構成の模式図である。
【図６４】本発明実施例の模式図である。
【発明を実施するための形態】
【００１０】
以下に図面を参照しながら本発明を実施するための最良の形態について詳細に説明する。
【実施例】
【００１１】
１. 静態視差バリアー装置設計の方法
図１は、一般のR、G、Bサブピクセルが水平ストリップ状配列(Horizontal Strip Configuration)のフラットディスプレイスクリーンの模式図である。
【００１２】
該フラットディスプレイスクリーン1は、一般の液晶スクリーン、プラズマスクリーン、或いはOLEDスクリーンで、N × M個のR、G、Bサブピクセルにより構成され、水平ストリップ状配列の特徴を備える。
内、Nは、該ディスプレイスクリーン水平方向(X軸)を構成するサブピクセルの総数で、Mは、該ディスプレイスクリーン垂直方向(Y軸)を構成する サブピクセルの総数である。
j、iはそれぞれ、単一のサブピクセル水平及び垂直位置の通し番号で、内、0≦j≦N-1、0≦i≦M-1である。
該単一のサブピクセルは、PH × PVの大きさを備え、内、PHは、サブピクセルの水平幅で、PVは、サブピクセルの垂直高度である。
各サブピクセル間の黒色間隔2(通常は非発光材料により構成し、黒色を呈する。例えば、液晶表示パネル上では、黒色フォトレジストにより構成し、Black Matrixと呼称する)は差し引く。
該単一のサブピクセルの有効発光サイズは、H × Vである。
【００１３】
いわゆる水平ストリップ状配列とは、以下を指す。
任意の１本の水平走査線において、該R、G、Bサブピクセルが水平方向に沿っており、しかもR、G、Bの配列順序で、色分布を備えるストリップ状構造物を構成し、垂直方向では、同一色のサブピクセルにより、単色のストリップ状構造物を構成する。
【００１４】
後続の図示説明の便のため、座標系XYZを定義する。
該座標系のX軸は、水平の方向に設置され、Y軸は、垂直の方向に設置され、Z軸は、該ディスプレイスクリーン1の方向に垂直に設置され、しかも該三軸の方向は、右手の法則(Right-hand rule)を遵守する。
また、該座標系XYZの原点は、該スクリーンの中心に設置する。
以下では、該座標系XYZを、スクリーン座標系と略称する。
【００１５】
R、G、Bサブピクセルが水平ストリップ状配列のフラットディスプレイを使用し、三次元画像を表示する時には、前記した特許に基づき、任意のマルチシーン画像は、n(n≧2)個の単一シーン画像Vkにより構成される。
よって、nは、総シーン数である。
また、該単一シーン画像Vkを以下のように定義できる。
【数１】
内、M、N、i、jは、前記の定義の通りで、kは、シーン通し番号で、しかも0≦k＜nである。
【数２】
は、該単一シーン画像Vk中において、(i,j)位置のサブピクセル画像データである。
【００１６】
また、R、G、Bサブピクセルが、垂直ストリップ状配列(Vertical Strip Configuration)、モザイク配列(Mosaic Configuration)、或いは三角状配列(Delta Configuration)であるディスプレイスクリーン(図示なし)を利用し、マルチシーン画像を表示する時には、式(1)も適用可能である(特許文献２、３参照)。
当然、節電目的で開発されたPentile配列(図示なし。RGBWを備える。Wは白色)では、式(1)により、該単一シーン画像Vkを定義する。
【００１７】
本発明では、水平ストリップ状配列のディスプレイスクリーンのみを例とし、本発明の機能と効果を説明し、重複記載は行わない。
該マルチシーン3D合成画像Σnは、以下の公式の演算により生まれる。
【数３】
内、Λは、シーン通し番号で、以下の公式の演算により生まれる。
【数４】
内、Λ＜ n 、 nは、総シーン数で、mは、横方向最小表示ユニットサブピクセル構成の数で、Qは、縦方向最小表示ユニットサブピクセル構成の数で、Δは、横方向移動フェーズで、IIは、横方向移動振幅である。
intは、整数を得る関数で、Modは、割り算の余りを求める関数である。
いわゆる横方向、縦方向最小表示ユニットとは、視差バリアー単一光透過部品の開口を通して、目にすることができるシーン画像の最小ユニットである。
【００１８】
R、G、Bサブピクセルが、モザイク配列、三角状配列、或いはPentile配列であるディスプレイスクリーン(図示なし)を利用し、マルチシーン画像を表示する時には、式(3)も適用可能である(特許文献２、特許文献３参照)。
本発明では、水平ストリップ状配列のディスプレイスクリーンのみを例とし、本発明の機能と効果を説明し、重複記載は行わない。
当然、式(3)に基づき得られるマルチシーン3D合成画像Σnは、右傾斜の特徴を備える。
左傾斜の特徴を備える画像合成については、下式のように表示する(特許文献２、特許文献３参照)。
【数５】
【００１９】
図２〜９は、式(3)に基づき、しかも各種異なるパラメータにおいて生まれる、右傾斜特徴を備えるマルチシーン3D合成画像Σnを示す。
図示の0、1、2、3は、シーン通し番号である。
式(3)に特殊なパラメータを代入すると、図１０に示すように、傾斜特徴を備えないマルチシーン3D合成画像Σnを生み出すことができる。
また、式(4)に基づき、 左傾斜特徴を備えるマルチシーン3D合成画像Σnを生み出すことができる(図１１参照)。
【００２０】
以下では、図示と本発明の機能と効果の説明を単純化するため、先ず、主にn=2、m=3、Q=1、Δ=0、II=1により構成する右傾斜特徴を備えるデュアルシーン3D合成画像(図４参照)を例とし、傾斜ストリップ状視差バリアーの構造、シーン分離作用、最適視点空間分布、水平及び垂直許容観賞範囲と自由度について説明する。
【００２１】
図１２は、デュアルシーン用傾斜ストリップ状視差バリアー構造の模式図である。
該デュアルシーン用傾斜ストリップ状視差バリアー310は、多数の傾斜ストリップ状光透過部品311、多数の傾斜ストリップ状遮蔽部品312により構成し、水平方向重複交差配列の特徴を備える。
該光透過部品311、該遮蔽部品312はそれぞれ、BH、
【数６】
の水平幅を備え、傾斜角度θを備える。
スクリーン座標系において、該デュアルシーン3D合成画像Σn(図４)の該デュアルシーン用傾斜ストリップ状視差バリアー310は、該3D合成画像Σnに、シーン分離の光学作用を行うことができる。
しかも、最適観賞距離(Optimum Viewing Distance)Z0上において、多数の位置を、固定の最適視点(Optimum Viewing Point)として提供し、該最適視点において、シーン分離の光学作用を行い、単一シーン画像を個別に表示させる目的を達成する。
【００２２】
該多数の最適視点の位置は、Pk,i,j(xc,yc,Z0)により定義する(図１３参照)。
内、xc、ycは、以下のように表示する。
xc =[n×i-(n-1)/2+j-k]×LH (5-1)
yc =k×LV (5-2)
内、nは、総シーン数で、iは、水平可視区の通し番号で、jは、シーン数の通し番号で、kは、垂直可視区の通し番号で、LHは、水平最適視点間隔距離(Horizontal Interval Between Two Optimum Viewing Points)で、LVは、垂直最適視点間隔距離(Vertical Interval Between Two Optimum Viewing Points)である。
i、j、k、LH、LV等パラメータについては、後述する。
すべてのPk,i,j(xc,yc,Z0)が存在する面は、Z = Z0の面で、「最適観賞面(Optimum Viewing Plane)」と呼ぶ。
【００２３】
先ず、yc=0(すなわち、k=0)水平線上に位置する最適視点P0,i,j(xc,yc,Z0)発生の原理について説明する。
図１４は、デュアルシーン3D合成画像表示原理の模式図である。
該フラットディスプレイスクリーン1上に表示するデュアルシーン3D合成画像(すなわち、
【数７】
【数８】
により構成する画像である。内、
【数９】
は、左画像で、
【数１０】
は、右画像)において、該デュアルシーン用傾斜ストリップ状視差バリアー310は、最適観賞距離Z0にあり、しかも水平方向上の多数の最適視点P0,-1,1、P0,0,0、P0,0,1、P0,1,0(該各最適視点間の水平距離は、水平最適視点間隔距離LHを構成)にあり、該デュアルシーン3D合成画像を、それぞれ
【数１１】
【数１２】
【数１３】
【数１４】
等の単一シーン画像に分離する。
【００２４】
Z0位置で、上記したシーン分離の機能と効果を達成するため、デュアルシーン用傾斜ストリップ状視差バリアー310を構成するBH、
【数１５】
LH、θは、下式に基づき設計しなければならない。
【数１６】
【数１７】
【数１８】
【数１９】
しかも、式(6)〜式(9)により構成する傾斜ストリップ状視差バリアー310装置を、Z=LB位置に設置する必要がある。
該Z0とLBの関係は、下式の通りである。
【数２０】
また、式(6)、(8)は、以下のように表示する。
【数２１】
【数２２】
【００２５】
上記した式(6)〜式(12)は、垂直ストリップ状式視差バリアー、傾斜グリッド式視差バリアー、垂直柱状レンズアレイ、傾斜柱状レンズアレイ、傾斜グリッドマイクロ柱状レンズアレイの設計に適用される(特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７参照)。
【００２６】
上記した各種視差バリアー、柱状レンズアレイ等シーン分離装置は、不可変光学構造の特徴(視差バリアー光透過部品の幅と装置の位置等)を備えるシーン分離装置であるため、「静態シーン分離装置」と通称する。
当然、上記した水平方向視差バリアー光学構造の設計の式(6)〜式(12)、及び垂直方向視差バリアー光学構造の設計(後述参照)は、特許文献８に開示する動態液晶視差バリアーの設計に適用することができる。
【００２７】
また、図１４に示す原理において、式(6)〜式(9)中では、n=2、m=3、Q=1である。
一般に、視差バリアーの設計において、該水平最適視点間隔距離LHは、両目の平均間隔距離(Iinterpupillary Distance、IPDと略称)LEに等しく、すなわち以下の通りである。
LH= LE (13)
以下では、LEを水平最適視点間隔距離LHとすることもできる。
よって、観賞者が、その左、右の目10、11を、 (P0,0,0、P0,0,1)等の適当な位置に個別に置きさえすれば、ゴーストイメージのない3D画像を見ることができる。
該2個の最適視点 P0,0,0、P0,0,1は、１組の可視区(Viewing Zone)を構成する。
よって、図１４に示す基本原理により、最適視点Pk,i,j(xc,yc,Z0)中のi、jの定義を説明することができる。
【００２８】
図１５に示すように、 iは、可視区の通し番号(Zone Number)で、整数で、jは、シーンの通し番号(View Number)で、ゼロを含む正の整数で、しかもj＜nである。
i=0である時、スクリーン中心位置の可視区に対して、i＞0は、スクリーン右側位置の可視区に分布し、i＜0は、スクリーン左側位置の可視区に位置する。
n=2である時、j=0は、左画像で、j=1は、右画像である。
よって、式(5-1)、k=0に基づき、i=0、i=±1、i=±2、i=±3等各可視区中の各水平最適視点の座標xcを算出することができる(図１６参照)。
内、xcの長さは、LEを単位として表示する。
【００２９】
図１７、１８は、n=4，i=0、i=±1等各可視区中の各水平最適視点の位置と座標の模式図である。
内、j=0は、最も左の画像を代表し、j=3は、最も右の画像を代表する。
左、右目10、11の観賞位置が、同一可視区内の隣接する最適視点にそれぞれ照準する時には、正確な三次元画像を目にすることができる。
照準する最適視点が、異なる可視区内に属する最適視点である時には、擬似立体の三次元画像が目に入る。
【００３０】
以下は、光透過部品開口水平幅の縮減と水平観賞自由度(Horizontal Viewing Freedom)の関係について説明する。
特許文献４、特許文献５に掲示する視差バリアー水平開口部品最適化の方法に基づき、開口幅を適当に縮減する方法を利用し、水平方向上の直接性ゴーストイメージの現象を解決でき、水平観賞自由度 (Degree of Horizontal Viewing Freedom )拡大の目的を達成することができる。
【００３１】
特許文献５に基づき、水平許容観賞範囲(Allowable Horizontal Viewing Range)ΔXVF、と光透過部品開口水平幅の縮減量ΔBHとの関係は、下式により定義される。
【数２３】
内、BH、LEは、前記定義の通りである。
また、水平観賞自由度Rxは、下式の通り定義する。
Rx=ΔBH/BH (15)
0≦ΔBH≦BHであるため、0≦Rx≦1である。
また、式(14)を式(15)に代入し、以下を得ることができる。
ΔXVF=Rx×LE (16)
【００３２】
図１９は、光透過部品開口水平幅の縮減量がΔBH=BH/2である時の、水平許容観賞範囲ΔXVFの模式図である。
ΔBH=BH/2である時、Rx=0.5、ΔXVF=0.5LEを得ることができる。
【００３３】
図２０に示すように、ΔBH=2BH/3である時、ΔRx=2/3、 XVF=2LE/3を得ることができる。
いわゆる「水平許容観賞範囲」とは、最適視点において、観賞位置を水平方向において改変する時、ゴーストイメージが発生しないという条件下で、許容可能な最大水平移動の範囲をいう。
「水平観賞自由度」とは、両目の平均間隔距離LEに対して、0と1との間の数値を定義し、水平観賞利便性の程度を評価するものである。
すなわち、該Rx値が大きくなればなるほど、得られる水平許容観賞範囲も大きくなり、観賞により便利となる。
【００３４】
該水平許容観賞範囲の位置をより精確に表現するため、任意の水平最適視点Pk,i,jにおいて、２位置、HPk,i,j+(xc+ΔxH, yc, Z0)、HPk,i,j-(xc-ΔxH, yc, Z0)を定義する。
これにより、該水平許容観賞範囲の両端点の位置を表現する。
ΔxHは、半水平許容観賞範囲で、しかもΔxHは下式のように表示される。
ΔxH=ΔXVF/2= Rx×LE/2 (17)
よって、図１９、図２０に示すように、該水平許容観賞範囲321(すなわち、水平無ゴーストイメージエリア)は、下式により定義される。
HPk,i,j- ≦ x ≦ HPk,i,j+ (18)
同一可視区内に存在する水平ゴーストイメージエリア322は、下式により定義される。
HPk,i,j+ ＜ x ＜ HPk,i,j+1- (19)
内、0≦j≦n-2である。
隣接する可視区内に存在する水平ゴーストイメージエリア323は、下式により定義される。
HPk,i-1,n-1+ ＜ x ＜HPk,i,0- (20)
【００３５】
上記したように、該傾斜ストリップ状視差バリアー(すべての静態シーン分離装置を含む)は、固定された構造で、しかも利用する該静態マルチシーン3D画像合成方法は、スクリーン上の固定位置で、該マルチシーン3D合成画像を産生し、表示する。よって、観賞者の両目の位置が、最適視点から離れ、しかも該水平許容観賞範囲321を超えた時、観賞者は、ゴーストイメージを目にし、さらには左右画像が転倒した擬似立体画像を目にし、観賞の不便(頭部を大きく水平移動させられない)、3D画像品質低下等問題を引き起こし、最終的には、めまいの現象が起きる(ゴーストイメージが深刻、或いは擬似立体画像を目にすると、人の脳は、左右画像を、立体画像に合成することができない)。
【００３６】
以下に、垂直方向の光学作用について説明する。
式(5-1)、(5-2)において、yc≠0(すなわち、k≠0)である時には、図１３に示すように、該最適視点Pk≠0,i,j(xc,yc,Z0)の分布位置で、yc=0(すなわち、k=0)である時には、Pk=0,i,j(xc,yc,Z0)の分布位置である。
実は、すべてのPk=0,i,j(xc,yc,Z0)を傾斜角度θをもつ斜線の方向に沿い移動させることにより、垂直方向上最適視点Pk≠0,i,j(xc,yc,Z0)の分布位置を得ることができる。
該斜線移動量の水平分量が、LH(=LE)である時には、該斜線移動量の垂直分量は、LVである。
【００３７】
開始観賞位置にいる観賞者にとって、観賞者の左目はPk=0,i=0,j=0(xc =-0.5LE, yc=0, Z0)にあることに対し、
該観賞者が垂直方向に沿って観賞位置を変え、しかも位置移動量が+LVに達すると、該観賞者左目の位置は、Pk=1,i=0,j=1(xc =-0.5LE, yc =LV, Z0)となる。
すなわち、垂直方向において観賞位置を改変すると、垂直方向もまたシーン分離の機能と効果があるため、垂直最適視点間隔距離LV距離を一つ隔てる毎に、異なる単一シーンを目にする。
よって、傾斜構造を備えるシーン分離装置において、その最適視点Pk,i,jの分布は、同様に傾斜の特徴を備える。
【００３８】
以下に、垂直方向シーン分離の光学作用、光透過部品開口垂直幅の縮減、垂直観賞自由度(Vertical Viewing Freedom)の関係について説明する。
シーン分離装置は、水平及び垂直方向シーン分離の光学作用を備える。
よって、式(3)、(4)が生み出すマルチシーン3D合成画像Σnにおいて、該シーン分離装置の作用は、該3D合成画像のなか、水平及び垂直方向において、共に周期分布の特徴を備える単一シーン画像に対し、シーン分離の作用を行う。
【００３９】
図２１〜２６は、各種異なるパラメータにより構成するマルチシーン3D合成画像Σnを示す。
該画像Σnにおいて、各単一シーン画像は、水平及び垂直周期分布の特徴を備える。内、該任意のサブピクセル上に表示する数字(0、1、2、3)は、単一シーン画像の通し番号を示す。
【００４０】
よって、マルチシーン3D合成画像Σn上において、該任意の単一シーンの画像は、水平方向上では、m×n個のサブピクセルを単位とし、周期性の配列を行う。
垂直方向上では、m×Q×n個のサブピクセルを単位とし、周期性の配列を行う。
当然、垂直方向の光学作用もまた、前記水平方向光学公式が規定する光学行為を遵守する。
よって、光透過部品垂直開口幅BV、垂直最適視点間隔距離LVは、下式により計算して得ることができる。
【数２４】
【数２５】
式(21)を式(11)で割ると、BVとBHの関係を、以下の通り得ることができる。
【数２６】
式(22)を式(8)で割ると、LVとLEの関係を、以下の通り得ることができる。
【数２７】
式(9)を式(24)に代入すると、以下を得ることができる。
【数２８】
【００４１】
図２７は、デュアルシーン用傾斜ストリップ状視差バリアー垂直方向光学作用の模式図である。
垂直許容観賞範囲と自由度の解析において、図２８は、光透過部品開口垂直幅の縮減量がΔBV=BV/2である時の、垂直許容観賞範囲(Allowable Vertical Viewing Range)ΔYVFの模式図である。
図２９は、光透過部品開口垂直幅の縮減量がΔBV=2BV/3である時の、垂直許容観賞範囲ΔYVFの模式図である。
【００４２】
前記のように、該垂直許容観賞範囲ΔYVFと該光透過部品開口垂直幅の縮減量ΔBVの関係は、下式により定義される。
【数２９】
内、BV、LVは、前記定義の通りである。
また、垂直観賞自由度RYは、下式の通り定義される。
RY=ΔBV/BV (27)
0≦ΔBV≦BVであるため、0≦RY≦1である。
また、式(27)を式(26)に代入すると、以下を得ることができる。
ΔYVF=RY×LV (28)
また、式(16)を式(28)で割ると、以下を得ることができる。
【数３０】
Rx = RYで、しかも式(25)を式(29)に代入すると、以下を得ることができる。
【数３１】
【００４３】
同様に、該垂直許容観賞範囲の位置をより精確に表現するため、任意の水平最適視点Pk,i,jにおいて、２位置VPk,i,j+( xc, yc+ΔyV, Z0)、VPk,i,j-( xc, yc-ΔyV, Z0)をさらに定義する。
これにより、該垂直許容観賞範囲の両端点の位置を表現する。
内、ΔyVは、半垂直許容観賞範囲で、しかもΔyVは下式のように表示される。
ΔyV=ΔYVF/2=RY×LV/2 (31)
【００４４】
よって、図２８、２９に示すように、該垂直許容観賞範囲331(すなわち、垂直無ゴーストイメージエリア)は、下式により定義される。
VPk,i,j- ≦ y ≦ VPk,i,j+ (32)
垂直ゴーストイメージエリア332は、下式により定義される。
VPk,i,j+ ＜ y＜ VPk+1,i’,j’- (33)
内、j＜n-1である時、i’=i、j’=j+1で、j=n-1である時、i’=i+1、j’=0である。
【００４５】
上記したように、式(5-1)〜(5-2)、(18)〜(20)、(32)〜(33)に基づき、任意の最適視点Pk,i,j(xc,yc,Z0)を定義する。
図３０に示すように、すべてに水平及び垂直の許容観賞範囲が存在する。
シーン分離装置は、光学傾斜の特徴を備えるため、上記した許容観賞範囲とゴーストイメージエリアは、該傾斜角θに沿って分布し、図３１に示すように、最終的に、傾斜帯状の許容観賞範囲341、傾斜帯状のゴーストイメージエリア342を構成する。
該傾斜帯状の許容観賞範囲341、該傾斜帯状のゴーストイメージエリア342は、該視差バリアー310光学構造の特徴のように、水平方向重複交差配列の特徴を備える。
上記した該傾斜帯状の許容観賞範囲341は、中心線Yi,j(x,y)を、下式の通り定義できる。
y = f(θ){ x - [n×i-(n-1)/2+j]×LE} (34)
【００４６】
該中心線Yi,j(x,y)は、すべての相同のi、jを備える最適視点Pk,i,j(xc,yc,Z0)を通過する。
また、該傾斜帯状の許容観賞範囲341と傾斜帯状のゴーストイメージエリア342との間の境界は、境界線Yi,j+(x,y)、Yi,j-(x,y)により構成する。
内、Yi,j+(x,y)は、下式により表示される。
y = f(θ){ x - [n×i-(n-1)/2+j + Rx/2]×LE} (35)
Yi,j-(x,y) は、下式により表示される。
y = f(θ){ x - [n×i-(n-1)/2+j - Rx/2]×LE} (36)
右傾斜構造を備えるシーン分離装置において、該f(θ) は、下式により表示される。
f(θ) = -tanθ (37)
左傾斜構造を備えるシーン分離装置において、該f(θ)は、下式により表示される。
f(θ) = tanθ (38)
【００４７】
また、θ=0(すなわち、tanθ=0)である時、該シーン分離装置は、垂直構造の特徴を備える(以下では、垂直構造を備えるシーン分離装置と呼称)。
該Yi,j(x,y)、Yi,j+(x,y)、Yi,j-(x,y)は、垂直線となり、それぞれ下式により表示される。
x = [n×i-(n-1)/2+j]×LE (39)
x = [n×i-(n-1)/2+j + Rx/2]×LE (40)
x = [n×i-(n-1)/2+j - Rx/2]×LE (41)
【００４８】
実は、式(34)〜(36)が示す該中心線Yi,j(x,y)、境界線Yi,j+(x,y)、Yi,j-(x,y)は、y=0である時、得られるx値は、式(39)〜(41)に示す。
すなわち、傾斜構造と垂直構造を備えるシーン分離装置において、z=Z0、y=0の水平線上には、相同のシーン分離の光学作用を備える。
或いは、簡単に言えば、傾斜構造と垂直構造は、相同の光学作用を備えるが、異なる点は、傾斜角度だけである。
【００４９】
以下では、該z=Z0、y=0の水平線を、最適観賞線(Optimum Viewing Line)と略称する。
上記したように、任意の傾斜構造を備えるシーン分離装置において、最適観賞距離上では、式(34)〜(41)は、すべての許容観賞範囲の中心線と境界線をはっきりと定義することができる。
よって、上記で用いた「傾斜帯状許容観賞範囲」、「傾斜帯状ゴーストイメージエリア」という専門用語を、以下では、「許容観賞区」、「ゴーストイメージエリア」と略称する。
上記したすべての最適視点、許容観賞区の中心線と境界線等が存在する平面(すなわち、Z=Z0)を、最適観賞面(Optimum Viewing Plane)と略称する。
【００５０】
上記したように、任意の傾斜構造を備える静態シーン分離装置、及び静態マルチシーン3D画像合成方法を利用し、三次元画像を表示する時、最適観賞面上では、図３１に示すように、該許容観賞範囲341とゴーストイメージエリア342は、公式(34)〜(41)により規定する。
最適観賞面上にいる観賞者の左、右の目の位置が、該許容観賞範囲341を離れる (すなわち、該ゴーストイメージエリア342に入る)と、観賞者は、ゴーストイメージを目にする。
また、観賞者の左、右の目の位置が、異なる可視区内にある時には、観賞者は、擬似立体画像を目にする。
上記した特徴に対して、任意の傾斜構造を備える静態シーン分離装置及び静態マルチシーン3D画像の合成を利用し、三次元画像を表示する方法を、以下では、静態三次元画像表示方法(Static Displaying Method of 3D Image)と略称する。
【００５１】
２. 動態マルチシーン3D画像合成の方法
続いて、「動態マルチシーン3D画像の合成」について説明する。
式(3)、式(4)が表示するマルチシーン3D画像合成の方法において、n、m、Q、II等のパラメータは、静態シーン分離装置のハードウェア構造設計と関係があり、時間に従い変化しない常数である。
図４に示すように、n=2、m=3、Q=1、II=1、Δ=0のデュアルシーン3D合成画像において、Δが1〜6へと変化する時、図３２〜３７に示すデュアルシーン3D合成画像Σn(Δ=1)〜Σn(Δ=6)を得ることができる。
該横方向移動フェーズがΔ＞0であれば、各シーンのすべてのサブピクセル画像データ
【数３２】
が、サブピクセルを単位とし、Δ個のサブピクセル分だけ右へと移動し、しかもn×mの周期を備え、Δ=6とΔ=0は相同の3D画像合成構造を備えることを示す。
【００５２】
当然、Δが、左移動の目的を達成することを示す。
周期性の関係により、Δ=A(A個のサブピクセル分だけ右へ移動)とΔ=A-n×m(n×m-A個のサブピクセル分だけ左へ移動)は、3D画像合成の構造を備える。
よって、図示による再説明は行わない。
【００５３】
上記のように、いわゆる「動態マルチシーン3D画像の合成」は、横方向移動フェーズΔを時間の関数等の変数とし、特定時間点に発生する特定条件(後述参照)下で、Δ(t)の値を設定する。
よって、式(3)、式(4)は、下式のように表示される。
【数３４】
【数３５】
前記静態三次元画像表示方法に比べ、本発明の方法は、時間を変数とする三次元画像の表示に適用される。
よって、動態三次元画像表示の方法(Dynamic Displaying Method of 3D Image)と見なすことができる。
以下に、数学公式の表示を単純化するため、横方向移動フェーズ、及び後述参照の左、右の目の座標値等の時間と関係のある相関パラメータについては、それが時間の関数であることを明示しない。
【００５４】
３. 観賞自由度最適化の方法
上記のように、横方向移動フェーズΔの値を変えると、3D画像合成の構造を変えることができる。
これにより、最適視点位置改変の目的を達成することができる。
デュアルシーン3D合成画像Σn(Δ=1)〜Σn(Δ=6)において、図１９に示すデュアルシーン用傾斜ストリップ状視差バリアーの作用を経た後は、元々のΔ=0時のすべての最適視点Pk,i,j(xc,yc,Z0)の位置に比べ、Δ≠0である時には、すべてのPk,i,j(xc,yc,Z0)は、同時に左へとΔxcの水平移動を行い、移動後の最適視点P’k,i,j(x’c,yc,Z0)となる。
【００５５】
以下では、Pk,i,j(xc,yc,Z0)をメイン最適視点と呼称する。
P’k,i,j(x’c,yc,Z0)をサブ最適視点と呼称する。
図３８〜４３に示すように、x’cは下式のように表示される。
x’c = xc - Δxc (44)
内、Δxcは下式の通りである。
Δxc = Δ × LE/m (45)
Δxcは、最適視点可調変間隔距離である。
Δ=1である時、Δxc0は最適視点可調変最小間隔距離で、下式の通りである。
Δxc0 = LE/m (46)
【００５６】
よって、mが大きければ大きいほど(上記した図示では、m=3を使用)、より小さいΔxc0を得ることができる。
また、シーン分離装置は、線性の光学システムであるため、許容観賞範囲341中の中心線Yi,j(x,y)、境界線Yi,j+(x,y)、Yi,j-(x,y)を、図４４(図示では、Δ=0を使用)に示すように、Δの値を変えることで、すべて左へと同一のΔxc量の移動を行わせることができる。
図４５(図示では、Δ=1を使用)に示すように、移動後の中心線、境界線は、それぞれY’i,j(x,y)、Y’i,j+(x,y)、Y’i,j-(x,y)となる。
すなわち、Δの値を変えれば、すべての許容観賞範囲341とゴーストイメージエリア342に、同時に左への水平移動(Δ＞0の時)、或いは右への水平移動(Δ＜0の時)を行わせることができる。
以下では、Yi,j(x,y)をメイン中心線、Y’i,j(x,y)をサブ中心線と呼称する。
【００５７】
図４６に示すように、Δ=0とΔ=1の図示を重ね、Δの改変前後の、許容観賞区移動の変化とオーバーラップの状況を観察する。
式(16)に基づき、許容観賞範囲341の幅ΔXVF(図示では、Rx=0.5を使用)を算出することができる。
式(46)に基づき、メイン最適視点可調変最小間隔距離Δxc0(図示では、m=3を使用)を算出することができる。
下式の条件が成立すると、
ΔXVF ＞ Δxc0 (47)
Δ改変前後の許容観賞区は、オーバーラップの現象を生じる。
該オーバーラップ区域345の幅ΔXOLは、下式のように表示される。
ΔXOL = ΔXVF - Δxc0 (48)
式(16)、(46)を式(48)に代入すると、以下を得ることができる。
ΔXOL = (Rx-1/m)×LE (49)
式(49)がゼロより大ければ、観賞自由度最適化の方法となり、すなわち、Rx ＞1/mで、最適観賞面上にゴーストイメージエリアを無くすという目的を達成することができる。
【００５８】
最適観賞面に位置する観賞者においては、その観賞位置が不適当、或いはその観賞位置を変えると、ゴーストイメージ或いは擬似立体画像を目にする恐れがある。
但し、観賞者の左、右の目の水平位置を即時に検出することができれば、Δの操作を通して、正確な許容観賞区を、観賞者の両目の所在位置へと移動させ、ゴーストイメージと擬似立体画像の現象を完全に解決でき、観賞自由度不足の問題を排除することができる。
【００５９】
４. 観賞位置の即時検出方法
前記のように、観賞位置とは、左、右の目が位置する三次元位置(スクリーン座標系)をいう。
特許文献９が掲示する視空間点認知の装置は、立体撮影の技術により、一対の左、右撮影装置を使用し、撮影、画像処理を通して、左、右撮影装置が捕捉した2D画像中から、左、右眼球(或いは瞳孔)の中心位置を検出 (以上は、デジカメ公知の技術)し、さらに左右画像対応と三次元座標転換計算の方法を利用し、左、右目の三次元の位置を得ることができる。
以下では、左右画像対応の方法と三次元座標転換計算の方法についてのみ、説明を行う。
【００６０】
先ず、該立体撮影構成の光学特徴について説明する。
図４７、４８に示すように、該立体撮影装置23は、左撮影装置20、右撮影装置21により構成する。
その装置の方式は、図４９では、内蔵方式で一般のフラットディスプレイスクリーンフレーム24の内に直接装置(左図参照)し、或いは外付けの方式により、一般のフラットディスプレイスクリーンフレーム24の外に設置(右図参照)する。
よって、該左右撮影装置20、21は、内蔵、或いは外付けの方式により、携帯電話端末、デジカメ、ビデオカメラ、ゲーム機、タブレットコンピュータ、ノート型コンピュータ、モニタ、テレビ、3Dテレビ等装置のケースの上に装置することができる。
【００６１】
また、該左、右撮影装置20、21は、相同の光学結像システムを備え、相同焦点距離fの光学結像レンズ(図示なし)、相同のイメージセンサー(CCD、或いはCMOS等。図示なし)を備える。
該左、右撮影装置20、21上にはそれぞれ、左画像座標系XLYLZL、右画像座標系XRYRZRを設置する。
これにより、該両画像座標系の原点は、該左、右撮影装置20、21イメージセンサーの中心にそれぞれ設置され、しかも該両画像座標系とスクリーン座標系の座標軸は、平行の関係を備える。
スクリーン座標系において、該両画像座標系の原点座標は、それぞれ(-S/2,H,0)、(S/2,H,0)である。
内、Sは、該左、右撮影装置20、21光軸間隔距離で、Hは、装置高度である。
また、ZL、ZRは、該左、右撮影装置20、21光軸上にそれぞれ設置する。
すなわち、該左、右撮影装置20、21の光軸は、Z軸に平行である。
【００６２】
図４８に示すように、該左、右撮影装置20、21結像の光学特徴は、スクリーン座標系中において、１個の物点P(XP, YP, ZP)に対して、左、右ビデオカメラ光学結像システムの作用を経て、左、右画像センサー上、すなわち左、右画像座標系上に、それぞれ１個の像点IL(xL,yL,0)、IR(xR,yR,0)を生じる。
これにより、IL(xL,yL,0)、IR(xR,yR,0)はP(XP, YP, ZP)の対応点となり、しかも以下の座標転換の関係を備える。
【数３６】
【数３７】
【数３８】
よって、式(50)〜(52)を観賞位置の検出に用いることができる。
スクリーン座標系XYZ中において、左、右目10、11の三次元の座標は、以下のように定義できる。
EL = (XL, YL , ZL) (53)
ER = (XR, YR , ZR) (54)
【００６３】
該左、右目10、11は、該左、右撮影装置20、21の光学レンズを通して、該左、右イメージセンサーにそれぞれ結像することができ、さらに画像処理を経て、左、右眼球(或いは瞳孔)中心の位置を以下に表示するように検出することができる。
【００６４】
左画像座標系中の、左、右眼球(或いは瞳孔)中心の位置は、下式のように表示される。
iL,L = (xL,L, yL,L, 0) (55)
iL,R = (xL,R, yL,R, 0) (56)
右画像座標系中の、左、右眼球(或いは瞳孔)中心の位置は、下式のように表示される。
iR,L = (xR,L, yR,L, 0) (57)
iR,R = (xR,R, yR,R, 0) (58)
よって、上記した左右画像対応の方法とは、左、右撮影装置20、21イメージセンサー上の左、右の眼球中心位置に対して、対応の処理を行うものである。
すなわち、左目位置ELは、iL,LとiR,Lにより対応し、右目位置ERは、iL,RとiR,Rにより対応する。
また、前記のように、該左、右撮影装置20、21は、同様の光学特徴を備えるため、yL,L=yR,L= yLで、しかもyL,R= yR,R= yRである。
【００６５】
よって、左眼球(或いは瞳孔)中心が対応する左、右画像座標系上の位置は、下式のように表示される。
iL,L = (xL,L, yL , 0) (59)
iR,L = (xR,L, yL , 0) (60)
右眼球(或いは瞳孔)中心が対応する左、右画像座標系上の位置は、下式のように表示される。
iL,R = (xL,R, yR , 0) (61)
iR,R = (xR,R, yR , 0) (62)
いわゆる「三次元座標転換計算の方法」は、画像座標系とスクリーン座標系間の座標転換を通して、画像座標系上に結像する左、右目の座標を、スクリーン座標系上の三次元座標に転換する。
【００６６】
上記のように、式(50)〜(52)に基づき、iL,L、iR,L に対して座標転換を行い、左目10三次元の座標を計算して得ることができる。
式(53)中の各座標は、下式のように表示される。
【数３９】
【数４０】
【数４１】
【００６７】
同様に、式(50)〜(52)に基づき、iL,R、iR,Rに対して座標転換を行い、右目11三次元の座標を計算して得ることができる。
式(54)中の各座標は、下式のように表示される。
【数４２】
【数４３】
【数４４】
【００６８】
５. 観賞条件最適化の方法
視差バリアー装置は、観賞自由度が制限される光学特徴を備えるため、以下の観賞距離とスクリーン正視等最適化条件の設定を行わなければ、最高品質の3D画像を表示する目的を達成することはできない。
【００６９】
(1)観賞距離最適化の条件
|ZL − Z0|＜ΔZ0 (69)
|ZR − Z0|＜ΔZ0 (70)
内、ΔZ0は、許容最適観賞距離の偏差量である。
式(69)〜(70)に設定する条件では、図５０では、観賞者は最適観賞位置からずれ、しかも所定範囲ΔZ0を超えることを検出すると、警告メッセージを発し、観賞者の両目の位置を、最適観賞距離Z0まで移すよう要求する。
【００７０】
(2)スクリーン正視最適化の条件
a. 観賞者が頭をずらし3D画像を側視することを排除
【数４５】
内、Δφは、許容水平観賞角度の偏差量で、
【数４６】
は、x軸の単位ベクトルで、ER、ELは座標ベクトルである。
式(71)に設定する条件では、図５１では、観賞者の視線は左へ、或いは右へ、スクリーンからずれており、しかも該偏向角度は、所定角度Δφを超えることを検出すると、警告メッセージを発し、観賞者に視線を更正し、スクリーンを正視するよう要求する。
【００７１】
b. 観賞者が首をひねり3D画像を斜視することを排除
【数４７】
内、Δρは、許容傾斜観賞角度の偏差量である。
式(72)に設定する条件では、図５２では、観賞者は首をひねり画像を観賞しており、しかも該ひねり角度は、所定角度Δρを超えることを検出すると、警告メッセージを発し、観賞者に視線を更正し、スクリーンを正視するよう要求する。
【００７２】
よって、式(69)〜(72)の条件に基づき、式(53)、(54)は、以下の関係を備える。
YL = YR = YE (73)
ZL = ZR = Z0 (74)
こうして、最終的に、左、右目の座標は、EL = (XL, YE, Z0)、ER = (XR, YE, Z0)となる。
すなわち、式(73)、(74)は、観賞者の最適観賞条件を表している。
観賞者の観賞位置が、(1)両目が同様の最適観賞距離を維持、(2)両目が同様の高度を保持(すなわち、水平状態保持)、(3)両目がスクリーンを正視、の条件を満たす時、最適な品質を備える3D画像を観賞することができる。
【００７３】
６. 観賞位置とシーン最適対位の方法
上記のように、いわゆる「観賞位置とシーン最適対位」とは、式(63)〜(68)に基づき得られた左、右目の位置EL、ER、及び式(73)〜(74)に示す最適観賞条件により、左、右目の特徴座標の計算、最適観賞線上最適視点座標の計算を通して、視点とシーン対位のプロセスを利用し、適当なΔを計算して取得後、正確な許容観賞区を、観賞者の両目の所在位置へと移動させ、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することを指す。
【００７４】
先ず、中心線を再定義する。
これにより、Yi,j,Δ(x,y)は、上記したすべてのメイン中心線Yi,j(x,y)、サブ中心線Y’i,j(x,y)に置換し、こうして観賞者の左、右の目が存在し得る許容観賞区を区画する。
すなわち、Yi,j,Δ=0(x,y)は、元々定義されていたメイン中心線で、Yi,j,Δ≠0(x,y)は、元々定義されていたサブ中心線である。
該中心線 Yi,j,Δ(x,y)は、以下のように表示する。
y = f(θ){ x - [n×i-(n-1)/2+j-Δ/m ]×LE} (75)
y=0である時、Yi,j,Δ(x,y)とX軸交点の座標値x(i, j,Δ)を得ることができる。
x(i, j,Δ) = [n×i-(n-1)/2+j-Δ/m ]×LE (76)
【００７５】
内、f(θ)、LE、n(=2)、m(=3)、i、jは、前記定義の通りである。
図５３は、Δ=0、1、2を式(75)に代入し、得られたYi,j,Δ(x,y)である。
よって、Δ＞0の操作により、すべてのメイン中心線Yi,j,0(x,y)を左へ移動させるという目的を達成することができる。
【００７６】
図５４は、Δ=-0、-1、-2を式(75)に代入し、得られたYi,j,Δ(x,y)である。
よって、Δ＜0の操作により、すべてのメイン中心線Yi,j,0(x,y)を右へ移動させるという目的を達成することができる。
【００７７】
図５５は、Δ=0、1、2とΔ=-0、-1、-2を、式(76)に代入し、計算して得られたYi,j,Δ(x,y)とX軸交点の座標値x(i, j,Δ)である。
Δ=0、1、2であっても、或いはΔ=-0、-1、-2であっても、得られた交点の座標値x(i, j,Δ)は一致する。
また、前記に基づき、x(i, j,Δ=0)は、メイン最適視点で、x(i, j,Δ≠0)は、サブ最適視点である。
Δ=±m(すなわち、±3)である時、すべてのメイン中心線、メイン最適視点は、両目間隔距離LEの分だけ、みな左へ(Δ=m)或いはみな右へ(Δ=-m)移動する。
以下では、すべてのx(i, j,Δ=0)とx(i, j,Δ≠0)を、最適観賞線上の最適視点と総称する。
【００７８】
図１９に示すように、左、右目10、11の観賞位置を、同一可視区内最適視点の許容観賞範囲321にそれぞれ置く時、正確な三次元画像を目にすることができる。
但し、該位置をずれるなら、ゴーストイメージエリア322、323に進入してしまう。
また、左、右目10、11の観賞位置を、異なる可視区内の最適視点に置く時には、擬似立体、或いはゴーストイメージ現象に接する可能性がある。
これら現象はみな、隣接する２個のメイン最適視点間において発生する。
よって、|Δ| ＜ mの操作により、ゴーストイメージと擬似立体の問題を完全に解決することができる。
【００７９】
図５６に示すように、メイン最適視点x(i=0, j=0,Δ=0) (左側の図参照)において、|Δ| ≦ mの操作を行い、左へ、或いは右への移動操作の目的を達成する。
すなわち、Δ=0、1、2、3(中央の図参照)とΔ=-0、-1、-2、-3(右側の図参照)を式(76)に代入すれば、メイン、サブ最適視点を得ることができる。
よって、左、右の目の位置を検出後、最も接近したYi,j,Δ(x,y)を求め、さらに|Δ| ≦mの操作を行えば、3D目追跡の目的を達成することができる。
【００８０】
該観賞位置とシーン最適対位の方法は、既に最適観賞条件を備える両目位置において、前記許容観賞範囲の中心線と境界線に基づき、先ず、左、右の目がそれぞれ個別に対応する可視区の通し番号i、最も接近したシーン通し番号j、最も接近した横方向移動フェーズΔを求める。
実際の実施方法は、以下に記述する。
【００８１】
図５７に示すように、先ず、同様の傾斜角度θを備える斜線LL、LRはそれぞれ、該左、右の目の位置(XL, YL, ZL)、(XR, YR, ZR)を通過し、X軸とxL0、xR0でそれぞれ交わる。
以下では、xL0、xR0を、左、右目の特徴座標と呼称する。
右傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる。
xL0= XL + tan(θ)×YL (77)
xR0= XR + tan(θ)×YR (78)
左傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる。
xL0= XL - tan(θ)×YL (79)
xR0= XR - tan(θ)×YR (80)
垂直構造の視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる。
xL0= XL (81)
xR0= XR (82)
【００８２】
よって、式(77)〜(82)に基づき、計算して得られた左、右目の特徴座標xL0、xR0と式(76)に基づき、計算して得られた最適観賞線上の最適視点x(i, j,Δ)を比較すれば、最も接近したi, j,Δ値を求めることができる。
Δの操作により、3D目追跡の目的を達成することができる。
以下では、実際の処理プロセスについて説明し、該プロセスを「視点とシーン対位のプロセス」と呼称する。
【００８３】
先ず、「最適可視面(Optimum Viewable Plane)」、「水平可視角(Horizontal Viewable Angle)」、「垂直可視角(Vertical Viewable Angle)」の補充定義を行う。
図５８に示すように、いわゆる「最適可視面」とは、該最適観賞面上に存在する面積が有限の可視面350で、該面上には、数量が有限の多数の最適視点Pk,i,jのみが存在する。
該多数の最適視点Pk,i,jは、左、右の目に対して、低ゴーストイメージと画像輝度接近を備える単一シーン画像を、それぞれ提供する。
該有限数量の最適視点Pk,i,jにより構成する面は、最適可視面である。
該最適観賞面350上に存在する任意の点座標(x,y,Z0)は、以下の関係を備える
-xmax≦x≦xmax (83)
-ymax≦y≦ymax (84)
内、xmax、ymaxは、該最適可視面の範囲を規定する。
すなわち、観賞者は、式(83)、(84)が定義する範囲内において、最適品質の3D画像を観賞することができる。
一般に、最適観賞面上で、3D画像に対する作実際の測定 (cross-talkと輝度測定等)を通して、該xmax、ymaxの値を得ることができる。
また、該xmax、ymaxに基づき、水平可視角ΩH、垂直可視角ΩVを定義し、下式のように表示される。
ΩH =2×tan-1(xmax/Z0) (85)
ΩV =2×tan-1(ymax/Z0) (86)
【００８４】
当然、該xmax、ymaxの値は、imax、kmax，にそれぞれ対応する。
図５９、６０に示すように、最適可視点Pk,i,jは、最適可視面上に存在する。
該Pk,i,j中の水平可視区の通し番号i、垂直可視区の通し番号kは、以下の関係を備える。
|i|≦imax (87)
|k|≦kmax (88)
また、xmaxとimax、ymaxとkmaxは、以下の関係を備える。
xmax = imax × n × LE (89)
ymax = kmax × LV (90)
【００８５】
観賞者の観賞視角が、ΩH、ΩVより小さい時には、高品質の3D画像を観賞することができる。
観賞の視角が大きくなり、しかも該ΩH、ΩVを超えると、シーン分離装置の加工と組み立て誤差により、前記したすべての線性光学の特徴を破壊してしまい、ゴーストイメージを深刻に悪化させる他、左、右目の画像輝度の差異が大きくなり過ぎ、3D画像品質の低下を招き、さらには3D画像を全く観賞できないという問題を引き起こす。
【００８６】
以下では、上記した定義と仮設観賞者の観賞観賞条件と位置は、前記式(69)〜(74)、式(83)〜(84)が定義する条件をそれぞれ満たす。
上記した該視点とシーン対位のプロセスに対する実施ステップを、以下に説明する。
【００８７】
前記のように、xL0、xR0の間隔距離は、両目間隔距離LEである。
よって、左目位置xL0、或いは右目位置xR0を、x(i, j,Δ)と比較すれば、最適なi,j,Δを求めることができる。
図示と説明を単純化するため、以下では、左目位置xL0を例とし、これを説明する。
【００８８】
ステップ一では、左、右の目の位置 (xL, yE, z0)、(xR, yE, z0)が、最適可視面範囲内に存在するかどうかを確認する。
もし、下式の関係を満たすなら、ステップ二に進む。
もし、下式の関係を満たさないなら、観賞位置が最適可視面範囲からずれていると発表し、ステップ五に進む。
| xL | ≦ xmax (91)
| xR | ≦ xmax (92)
| yE | ≦ ymax (93)
【００８９】
ステップ二では、開始値を、下式の通り設定する。
i=-imax (94)
j=0 (95)
【００９０】
ステップ三では、i, j,Δを式(76)に代入し、x(i, j,Δ)を算出する。
【００９１】
ステップ四では、xL0とx(i, j,Δ)を、下式の通り比較する。
|xL0 - x(i, j,Δ)| ≦ LE/2m (96)
【００９２】
状況１: もし、式(96)の関係を満たす１組の(i, j,Δ)パラメータが得られるなら、Δを式(3)、或いは(4)に代入し、3D目追跡成功を発表し、ステップ五に進む。
状況２: もし、式(96)の関係を満たす１組の(i, j,Δ)パラメータも得ることができなければ、以下の通りである。
j=j+2 (97)
もし、j＜n(すなわち、jはi可視区を未超過)なら、ステップ三に進む。
もし、j≧n(すなわち、jはi可視区を超過)なら、以下の通りである。
i=i+1 (98)
j=0 (99)
もし、i≦imaxなら、ステップ三に進む。
もし、i＞imaxなら、観賞位置が可視角範囲からずれていると発表し、
ステップ五に進む。
【００９３】
ステップ五では、比較を終了する。
【００９４】
上記した式(96)の比較演算において、図６１では、前記デュアルシーン表示(n=2、m=3)により、しかもi=0、j=0の可視区を例とし、xL0とx(0,0,3)、x(0,0,2)、x(0,0,1)、x(0,0,0)、x(0,0,-1)、x(0,0,-2)、x(0,0,-3)の比較を行う。
よって、xL0がx(0,0,3)-LE/6≦xL0≦x(0,0,-3)+LE/6の条件を満たせば、対応するΔ値を求めることができる。
図６２は、前記4シーン表示(n=4、m=3)により、しかもi=0、j=0とi=1、j=0の可視区を例とし、xL0の比較演算を行う。
図６３は、前記4シーン表示(n=4、m=3)により、しかもi=0、j=2の可視区を例とし、xL0の比較演算を行う。
【００９５】
当然、該視点とシーン対位のプロセスは、右目位置xR0においても、比較の演算を行うことができるが、下式の通りに、式(95)でのj開始値はj=1とし、式(96)のxR0をxL0に置換する。
|xR0 - x(iR, jR,Δ)| ＜ LE/m
(100)
jがi可視区を超過した時には、式(99)中のjは、j=1とする。
【００９６】
図６４は、本発明実施例の模式図である。
本発明マルチシーン三次元画像表示の方法400は、観賞位置即時検出方法410、観賞位置とシーン最適対位の方法420、動態マルチシーン3D画像合成の方法430、フラットディスプレイスクリーン440、静態視差バリアー装置450により構成される。
【００９７】
該観賞位置即時検出方法410は前記のように、一対の左、右撮影装置412を利用する。次に、撮影、画像処理を通して、左、右撮影装置が捕捉した2D画像中から、左、右画像座標系において、左、右眼球(或いは瞳孔)の中心位置を検出する(式(55)〜(58)参照)。
さらに、左右画像対応のプロセス414(式(59)〜(61)参照)、三次元座標転換計算のプロセス416(式(63)〜(68)参照)、観賞条件最適化のプロセス418(式(69)〜(74)参照)を利用し、左、右目三次元の位置EL = (XL, YE, Z0)、ER = (XR, YE, Z0)を求め、及び出力する。
【００９８】
該観賞位置とシーン最適対位の方法420は前記のように、該左、右目三次元位置EL、ERに基づき、左、右目の特徴座標計算のプロセス422(式(77)〜(82)参照)、最適観賞線上最適視点座標計算のプロセス424(式(76)参照)、視点とシーン対位のプロセス426を通して、適当なΔを計算して求め、及び出力する。
【００９９】
該動態マルチシーン3D画像合成の方法430は前記のように、マルチシーン画像432(式(1)参照)において、Δとマルチシーン3D画像合成のプロセス434(式(42)〜(43)参照)に基づき、マルチシーン3D合成画像Σnを産生する。
該フラットディスプレイスクリーン440は前記のように、該マルチシーン3D合成画像Σn を受け取り、表示する。
【０１００】
該静態視差バリアー装置450は前記のように、該マルチシーン3D合成画像Σnに対して、最適観賞距離上において、最適観賞面を提供し、該最適観賞面上において、多数の最適視点を提供し、該最適視点において、シーン分離の光学作用を行い、単一シーン画像を個別に表示させる目的を達成する。
【０１０１】
また、該視差バリアーの光学構造に対して、静態視差バリアー装置設計の方法452(式(6)〜(17)と式(23)〜(31)参照)、観賞自由度最適化の方法454(式(47)、(49)参照)を利用し、最適化設計の目的を達成する。
よって、ある最適可視面上において、該マルチシーン3D合成画像Σn(t)に、シーン分離の作用を行い、正確な左右画像を、観賞者の左、右の目10、11に投射し、三次元画像表示の目的を達成することができる。
【０１０２】
上記した「プロセス」とは、本発明中のすべての関連する公式計算を処理可能なソフトウェアプログラムで、しかも一般のマイクロプロセッサ、或いはDSP等計算装置を用いて、該ソフトウェアプログラムを執行することができる。
【０１０３】
上記したように、本発明三次元画像表示の方法は、一般のフラットディスプレイスクリーンと静態視差バリアー装置を利用し、三次元画像を表示する時、(1)静態視差バリアー装置設計の方法、(2)動態マルチシーン3D画像合成の方法、(3)観賞自由度最適化の方法、(4)観賞位置即時検出方法、(5)観賞条件最適化の方法、(6)観賞位置とシーン最適対位方法を提出する。
これにより、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができる。
【０１０４】
本発明が開示する各方法、特に(2)動態マルチシーン3D画像合成の方法、(4)観賞位置即時検出方法、(5)観賞位置とシーン最適対位方法は、他の静態シーン分離装置(例えば柱状レンズアレイ)、動態シーン分離装置に適用することができる。
【０１０５】
上記の本発明名称と内容は、本発明技術内容の説明に用いたのみで、本発明を限定するものではない。
本発明の精神に基づく等価応用或いは部品(構造)の転換、置換、数量の増減はすべて、本発明の保護範囲に含むものとする。
【産業上の利用可能性】
【０１０６】
本発明は特許の要件である新規性を備え、従来の同類製品に比べ十分な進歩を有し、実用性が高く、社会のニーズに合致しており、産業上の利用価値は非常に大きい。
【符号の説明】
【０１０７】
1 フラットディスプレイスクリーン
2 各サブピクセル間の黒色間隔
3 裸眼視三次元画像ディスプレイスクリーン
10 左目
11 右目
20 左撮影装置
21 右撮影装置
23 立体撮影装置
24 フラットディスプレイスクリーンフレーム
310 デュアルシーン用傾斜ストリップ状視差バリアー
311 傾斜ストリップ状光透過部品
312 傾斜ストリップ状遮蔽部品
321 水平許容観賞範囲
322、323 水平ゴーストイメージエリア
331 垂直許容観賞範囲
332 垂直ゴーストイメージエリア
341 傾斜帯状の許容観賞範囲
342 傾斜帯状のゴーストイメージエリア
345 許容観賞区オーバーラップの区域
350 最適可視面
400 本発明の実施例
410 観賞位置即時検出方法
412 一対の左、右撮影装置
414 左右画像対応のプロセス
416 三次元座標転換計算のプロセス
418 観賞条件最適化のプロセス
420 観賞位置とシーン最適対位の方法
422 左、右目の特徴座標計算のプロセス
424 最適観賞線上最適視点座標計算のプロセス
426 視点とシーン対位のプロセス
430 動態マルチシーン3D画像合成の方法
432 マルチシーン画像
434 マルチシーン3D画像合成のプロセス
440 フラットディスプレイスクリーン
450 静態視差バリアー装置
452 静態視差バリアー装置設計の方法
454 観賞自由度最適化の方法
XYZ スクリーン座標系
X、Y、Z 座標軸方向
【数４８】
x軸の単位ベクトル
R 赤色
G 緑色
B 青色
W 白色
N ディスプレイスクリーン水平方向サブピクセルの総数
M ディスプレイスクリーン垂直方向サブピクセルの総数
j、i 単一のサブピクセルの水平及び垂直位置通し番号
PH サブピクセルの水平幅
PV サブピクセルの垂直高度
H × V 単一のサブピクセルの有効発光サイズ
Vk 単一シーン画像
k、Λ、0、1、2、3 シーン通し番号
【数４９】
Vk画像中の(i,j)位置にあるサブピクセル画像データ
Σn マルチシーン3D合成画像
Σn(t) 時間を変数とするマルチシーン3D合成画像
n 総シーン数
m 横方向最小表示ユニットサブピクセル構成の数
Q 縦方向最小表示ユニットサブピクセル構成の数
Δ 横方向移動フェーズ
Δ(t) 時間を変数とする横方向移動フェーズ
t 時間
II 横方向移動振幅
int 整数を得る関数
Mod 除数を得る関数
BH 光透過部品の水平幅
【数５０】
遮蔽部品の水平幅
ΔBH 光透過部品開口水平幅の縮減量
BV 光透過部品垂直開口幅
ΔBV 光透過部品開口垂直幅の縮減量
ΔXVF 水平許容観賞範囲
ΔYVF 垂直許容観賞範囲
Rx 水平観賞自由度
RY 垂直観賞自由度
θ 傾斜ストリップ状視差バリアーの傾斜角度
Z0 最適観賞距離
LB 傾斜ストリップ状視差バリアーの装置距離
Pk,i,j(xc,yc,Z0) 最適視点、メイン最適視点
P’k,i,j(x’c,yc,Z0) 移動後の最適視点、サブ最適視点
P0,-1,1、P0,0,0、P0,0,1、P0,1,0 最適視点の位置
xc 最適視点のx座標
yc 最適視点のy座標
Δxc 最適視点可調変間隔距離
Δxc0 最適視点可調変最小間隔距離
ΔXOL 許容観賞区オーバーラップ区域の幅
i 水平可視区の通し番号
j シーン数の通し番号
k 垂直可視区の通し番号
LH 水平最適視点間隔距離
LV 垂直最適視点間隔距離
【数５１】
左画像
【数５２】
右画像
HPk,i,j+(xc+ΔxH, yc, Z0) 水平許容観賞範囲右端点の位置
HPk,i,j-(xc-ΔxH, yc, Z0) 水平許容観賞範囲左端点の位置
ΔxH 半水平許容観賞範囲
VPk,i,j+( xc, yc+ΔyV, Z0) 垂直許容観賞範囲右端点の位置
VPk,i,j-( xc, yc-ΔyV, Z0) 垂直許容観賞範囲左端点の位置
ΔyV 半垂直許容観賞範囲
Yi,j(x,y)、Yi,j,Δ=0(x,y) メイン中心線
Y’i,j(x,y)、Yi,j,Δ≠0(x,y) サブ中心線
f 左、右ビデオカメラの焦点距離
S 左、右ビデオカメラ光軸間隔距離
H 左、右ビデオカメラ装置高度
XLYLZL 左画像座標系
XRYRZR 右画像座標系
P(XP, YP, ZP) 物点座標
IL(xL, yL, 0) 物点左結像位置
IR(xR, yR, 0) 物点右結像位置
EL = (XL, YL , ZL) XYZ座標系中左目の座標
ER = (XR, YR , ZR) XYZ座標系中右目の座標
iL,L = (xL,L, yL,L, 0) XLYLZL座標系中左眼球中心の座標
iL,R = (xL,R, yL,R, 0) XLYLZL座標系中右眼球中心の座標
iR,L = (xR,L, yR,L, 0) XRYRZR座標系中左眼球中心の座標
iR,R = (xR,R, yR,R, 0) XRYRZR座標系中右眼球中心の座標
ΔZ0 可許容最適観賞距離の偏差量
Δφ 可許容水平観賞角度の偏差量
Δρ 可許容傾斜観賞角度の偏差量
YE 最適観賞条件下での左、右の目のY軸座標
x(i, j,Δ=0) メイン最適視点
x(i, j,Δ≠0) サブ最適視点
LL、LR 左、右の目位置を通過する斜線
xL0、xR0 LL、LRとX軸交差点の座標
xmax、ymax 最適可視面の範囲
ΩH 水平可視角
ΩV 垂直可視角
imax 最適可視面が対応する最大水平可視区の通し番号
kmax 最適可視面が対応する最大垂直可視区の通し番号
【特許請求の範囲】
【請求項１】
三次元画像表示の方法は、裸眼視三次元画像表示の欠点に対して、以下の方法と部品の実施を通して、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができ、
観賞位置の即時検出方法、観賞条件最適化のプロセス、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法、フラットディスプレイスクリーン、静態視差バリアー装置を備え、
該観賞位置の即時検出方法は、一対の左、右撮影装置を利用し、撮影、画像処理を通して、左、右画像座標系において、左、右撮影装置が捕捉した2D画像中から、左眼球(或いは瞳孔)の中心位置(iL,L、iL,R)と右眼球(或いは瞳孔)の中心位置(iR,L、iR,R)を検出し、さらに左右画像対応のプロセス、三次元座標転換計算のプロセス、観賞条件最適化のプロセスを利用し、スクリーン座標系において、左目三次元の位置EL = (XL, YE, Z0)右目三次元の位置ER = (XR, YE, Z0)を求め、及び出力し、
該観賞位置とシーン最適対位の方法は、該左、右目三次元位置EL、ERに基づき、左、右目の特徴座標計算のプロセス、最適観賞線上最適視点座標計算のプロセス、視点とシーン対位のプロセスを通して、横方向移動フェーズΔを計算して求め、及び出力し、
該動態マルチシーン3D画像合成の方法は、マルチシーン画像に対して、該横方向移動フェーズΔとマルチシーン3D画像合成のプロセスに基づき、マルチシーン3D合成画像Σnを産生し、
該フラットディスプレイスクリーンは、該マルチシーン3D合成画像Σnを受け取り、表示し、
該静態視差バリアー装置は、静態シーン分離装置で、該マルチシーン3D合成画像Σnに対して、最適観賞距離上において、最適観賞面を提供し、該最適観賞面上において、多数の最適視点を提供し、該最適視点において、シーン分離の光学作用を行い、単一シーン画像を個別に表示させる目的を達成し、
該視差バリアーの光学構造は、静態視差バリアー装置設計の方法と観賞自由度最適化の方法を通して、最適化設計の目的を達成することを特徴とする三次元画像表示の方法。
【請求項２】
前記フラットディスプレイスクリーンは、一般の液晶スクリーン、プラズマスクリーン、或いはOLEDスクリーンにより構成し、
該スクリーンは、N × M個のRGBサブピクセル、或いはN × M個のRGBWサブピクセルにより構成し、
該Nは、該ディスプレイスクリーン水平方向(X軸)を構成するサブピクセルの総数で、該Mは、該ディスプレイスクリーン垂直方向(Y軸)を構成する サブピクセルの総数で、
該Rは赤色で、Gは緑色で、Bは青色で、Wは白色で、
該単一のサブピクセルは、PH × PVの大きさを備え、該PHは、サブピクセルの水平幅で、該PVは、サブピクセルの垂直高度で、
また、スクリーン座標系XYZを設置し、
該スクリーン座標系の原点は、該スクリーンの中心に設置し、
該スクリーン座標系のX軸は、水平の方向に設置し、
該スクリーン座標系のY軸は、垂直の方向に設置し、
該スクリーン座標系のZ軸は、該ディスプレイスクリーンに垂直の方向に設置することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項３】
前記サブピクセルの配列は、RGBは水平ストリップ状ストリップ状配列で、RGBは垂直ストリップ状ストリップ状配列で、RGBはモザイク配列で、RGBは三角状配列で、或いはRGBWはPentileの配列であることを特徴とする請求項２に記載の三次元画像表示の方法。
【請求項４】
前記マルチシーン画像は、n個の単一シーン画像Vkにより構成し、以下の公式に基づき表示され、
【数１】
内、各パラメータは、以下のように定義され、
【数２】
は、Vk画像中の(i,j)位置にあるサブピクセル画像データで、
Nは、ディスプレイスクリーン水平方向サブピクセルの総数で、
Mは、ディスプレイスクリーン垂直方向サブピクセルの総数で、
j、iは、単一のサブピクセル水平及び垂直位置の通し番号で、しかも 0≦j≦N-1、0≦i≦M-1で、
nは、総シーン数で、しかもn≧2で、
kは、シーン通し番号で、しかも0≦k＜nであることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項５】
前記マルチシーン3D画像合成のプロセスは、該マルチシーン画像に対して、以下の公式を通して、該マルチシーン3D合成画像Σnを産生し、
【数３】
内、Λは以下の通りで、
【数４】
該各パラメータと関数 int、Modは、以下のように定義され、
【数５】
は、VΛ画像中の(i,j)位置にあるサブピクセル画像データで、
Λは、シーン通し番号で、しかもΛ ＜ n で、
nは、総シーン数で、
Mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
IIは、横方向移動振幅で、
j、iは、単一のサブピクセル水平及び垂直位置の通し番号で、しかも 0≦j≦N-1、0≦i≦M-1で、
intは、整数を得る関数で、
Modは、割り算の余りを求める関数であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項６】
前記マルチシーン3D画像合成のプロセスは、該マルチシーン画像に対して、以下の公式を通して、該マルチシーン3D合成画像Σnを産生し、
【数６】
内、Λは以下の通りで、
【数７】
内、各パラメータと関数 int、Modは、以下のように定義され、
【数８】
は、VΛ画像中の(i,j)位置にあるサブピクセル画像データで、
Λは、シーン通し番号で、しかもΛ＜ nで、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
IIは、横方向移動振幅で、
j、iは、単一のサブピクセル水平及び垂直位置の通し番号で、しかも 0≦j≦N-1、0≦i≦M-1で、
intは、整数を得る関数で、
Modは、割り算の余りを求める関数であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項７】
前記静態視差バリアー装置設計の方法は、以下の公式に基づき、水平方向の基本光学構造を設計して、産生し、
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
該各パラメータの定義は、以下の通りで、
BHは、光透過部品の水平幅で、
【数１４】
は、遮蔽部品の水平幅で、
LHは、水平最適視点間隔距離で、
θは、傾斜ストリップ状視差バリアーの傾斜角度で、
Z0は、最適観賞距離で、
LBは、傾斜ストリップ状視差バリアーの装置距離で、
PHは、サブピクセルの水平幅で、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項８】
前記水平最適視点間隔距離LHと両目の平均間隔距離LEは、LH = LEの関係を備えることを特徴とする請求項７に記載の三次元画像表示の方法。
【請求項９】
前記光透過部品開口水平幅BHの最適化設計は、光透過部品開口水平幅縮減の処理を通して、水平許容観賞範囲ΔXVFを求め、
該水平許容観賞範囲ΔXVFと該光透過部品開口水平幅縮減量ΔBHは、ΔXVF=Rx × LHの関係を備え、
内、RxはRx=ΔBH/BHで、
該各パラメータの定義は、以下の通りで、
Rxは、水平観賞自由度で、しかも0≦Rx≦1で、
LHは、水平最適視点間隔距離であることを特徴とする請求項７に記載の三次元画像表示の方法。
【請求項１０】
前記静態視差バリアー装置設計の方法は、以下の公式に基づき、垂直方向の基本光学構造を設計して産生し、
【数１５】
【数１６】
該各パラメータの定義は、以下の通りで、
BVは、光透過部品垂直開口幅で、
LVは、垂直最適視点間隔距離で、
Z0は、最適観賞距離で、
LBは、傾斜ストリップ状視差バリアーの装置距離で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
PVは、サブピクセルの垂直高度であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１１】
前記光透過部品垂直開口幅BVと光透過部品の水平幅BHは、以下の関係を備え、
【数１７】
該各パラメータの定義は、以下の通りで、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
PVは、サブピクセルの垂直高度で、
PHは、サブピクセルの水平幅であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１２】
前記垂直最適視点間隔距離LVと水平最適視点間隔距離LHは、以下の関係を備え、
【数１８】
【数１９】
該各パラメータの定義は、以下の通りで、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
PVは、サブピクセルの垂直高度で、
PHは、サブピクセルの水平幅で、
θは、傾斜ストリップ状視差バリアーの傾斜角度であることを特徴とする請求項１０に記載の三次元画像表示の方法。
【請求項１３】
前記光透過部品開口垂直幅BVの最適化設計は、光透過部品開口垂直幅縮減の処理を通して、垂直許容観賞範囲ΔYVFを求め、
該垂直許容観賞範囲ΔYVFと該光透過部品開口垂直幅縮減量ΔBVは、ΔYVF=RY × LVの関係を備え、
内、RYはRY=ΔBV/BVの通りで、
該各パラメータの定義は、以下の通りで、
RYは、垂直観賞自由度で、しかも0≦Rx≦1で、
LVは、垂直最適視点間隔距離であることを特徴とする請求項１０に記載の三次元画像表示の方法。
【請求項１４】
前記垂直観賞自由度RYと水平観賞自由度Rxは、RY = RXの関係を備えることを特徴とする請求項１３に記載の三次元画像表示の方法。
【請求項１５】
前記垂直許容観賞範囲ΔYVFと水平許容観賞範囲ΔXVFは、
【数２０】
の関係を備えることを特徴とする請求項１３に記載の三次元画像表示の方法。
【請求項１６】
前記観賞自由度最適化の方法において、隣接する両許容観賞区間のオーバーラップ区域幅ΔXOLは、下式の関係を備え、
ΔXOL = (Rx-1/m)×LH ＞0
該各パラメータの定義は、以下の通りで、
Rxは、水平観賞自由度で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１７】
前記静態視差バリアーの装置は、垂直ストリップ状式視差バリアー、傾斜ストリップ状式視差バリアー、或いは傾斜グリッド式視差バリアーの構造を備えて構成することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１８】
前記多数の最適視点の位置は、スクリーン座標系中では、Pk,i,j(xc,yc,Z0)により表示され、下式の関係を備え、
xc =[n×i-(n-1)/2+j-k] × LH
yc =k × LV
また、該多数の最適視点Pk,i,j(xc,yc,Z0)は、水平許容観賞範囲ΔXVFと垂直許容観賞範囲ΔYVFを備え、光学構造傾斜の特徴に基づき、該傾斜角θに沿って分布し、水平方向重複交差配列特徴を備える許容観賞区とゴーストイメージエリアを構成し、
該許容観賞区は、中心線Yi,j(x,y)、両境界線Yi,j+(x,y)、Yi,j-(x,y)により構成し、下式の関係を備え、
中心線Yi,j(x,y)は、下式のように表示し、
y = f(θ){ x - [n×i-(n-1)/2+j ]×LH} (3)
右境界線Yi,j+(x,y)は、下式のように表示し、
y = f(θ){ x - [n×i-(n-1)/2+j + Rx/2]×LH} (4)
左境界線Yi,j-(x,y)は、下式のように表示し、
y = f(θ){ x - [n×i-(n-1)/2+j - Rx/2]×LH} (5)
内、右傾斜構造を備える視差バリアー装置において、該f(θ)は、下式の関係を備え、 f(θ) = -tanθ
左傾斜構造を備える視差バリアー装置において、該f(θ)は、下式により表示され、
f(θ) = tanθ
垂直構造を備える視差バリアー装置において、該θ=0で、しかもf(θ)=0で、該Yi,j(x,y)、Yi,j+(x,y)、Yi,j-(x,y)は、垂直線となり、それぞれ下式により表示され、
x = [n×i-(n-1)/2+j]×LH (6)
x = [n×i-(n-1)/2+j + Rx/2]×LH (7)
x = [n×i-(n-1)/2+j - Rx/2]×LH (8)
また、式(3)〜(5)が示す該中心線Yi,j(x,y)、境界線Yi,j+(x,y)、Yi,j-(x,y)において、y=0である時、得られるx値は、式(6)〜(8)に示す通りで、
すなわち、傾斜構造と垂直構造を備える視差バリアー装置において、z=Z0、y=0の水平線上には、相同のシーン分離の光学作用を備え、該z=Z0、y=0の水平線は、最適観賞線で、
また、上記した各公式中において、使用した該各パラメータは、以下のように定義され、
Z0は、最適観賞距離で、
nは、総シーン数で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
kは、垂直可視区の通し番号で、
LHは、水平最適視点間隔距離で、
LVは、垂直最適視点間隔距離で、
θは、傾斜ストリップ状視差バリアーの傾斜角度であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１９】
前記一対の左、右撮影装置は、相同の光学結像システムを備え、相同焦点距離fの光学結像レンズと相同のイメージセンサーを備え、
該左、右撮影装置上にはそれぞれ、左画像座標系XLYLZL、右画像座標系XRYRZRを設置し、
該両画像座標系の原点は、該左、右撮影装置イメージセンサーの中心にそれぞれ設置し、しかも該両画像座標系とスクリーン座標系の座標軸は、平行の関係を備え、該スクリーン座標系において、該両画像座標系の原点座標は、それぞれ(-S/2,H,0)、(S/2,H,0)で、 内、Sは、該左、右撮影装置光軸間隔距離で、Hは、装置高度で、
また、ZL、ZRは、該左、右撮影装置光軸上にそれぞれ設置し、すなわち、該左、右撮影装置の光軸は、Z軸に平行で、該左、右眼球(或いは瞳孔)中心の座標は、下式のように表示され、
左画像座標系中において、該左眼球(或いは瞳孔)中心の座標は、下式の通りで、
iL,L = (xL,L, yL,L, 0)
左画像座標系中において、該右眼球(或いは瞳孔)中心の座標は、下式の通りで、
iL,R = (xL,R, yL,R, 0 )
右画像座標系中において、左眼球(或いは瞳孔)中心の座標は、下式の通りで、
iR,L = (xR,L, yR,L, 0 )
右画像座標系中において、右眼球(或いは瞳孔)中心の座標は、下式の通りで、
iR,R = (xR,R, yR,R, 0 )
また、該左、右撮影装置は、同様の光学特徴を備えるため、yL,L=yR,L= yLで、しかもyL,R= yR,R= yRであることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２０】
前記左右画像対応のプロセスでは、左、右画像座標系中の左、右眼球中心座標とスクリーン座標系中の左、右目三次元座標に対応の処理を施し、
すなわち、左目位置ELは、iL,LとiR,Lにより対応し、右目位置ERは、iL,RとiR,Rにより対応することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２１】
前記三次元座標転換計算のプロセスは、画像座標系とスクリーン座標系間の座標転換を通して、画像座標系に結像した左目座標iL,LとiR,Lを、スクリーン座標系上の三次元座標EL=(XL, YL, ZL)に転換し、右目座標iL,R、iR,Rを、スクリーン座標系上の三次元座標ER= (XR, YR, ZR)に転換することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２２】
前記画像座標系とスクリーン座標系間の座標転換は、以下の関係を備え、
左目三次元の座標：
【数２１】
【数２２】
【数２３】
右目三次元の座標：
【数２４】
【数２５】
【数２６】
上記の通りであることを特徴とする請求項２１に記載の三次元画像表示の方法。
【請求項２３】
前記観賞条件最適化のプロセスは、以下の最適観賞条件により構成し、
観賞距離最適化の条件は、下式の条件により構成し、
|ZL−Z0|＜ΔZ0
|ZR−Z0|＜ΔZ0
内、ΔZ0は、許容最適観賞距離の偏差量で、すなわち、ZL、ZRとZ0の距離の差で、ΔZ0より小さい必要があり、
スクリーン正視最適化の条件は、下式の条件により構成し、
【数２７】
【数２８】
内、Δφは、許容水平観賞角度の偏差量で、Δρは、許容傾斜観賞角度の偏差量で、
【数２９】
は、x軸の単位ベクトルで、すなわち、左、右の目はスクリーンを正視する必要があり、しかも水平観賞角度の偏差量は、Δφより小さい必要があり、しかも傾斜観賞角度の偏差量は、Δρより小さい必要があり、
よって、上記した条件を単純化すると、以下のように表示され、
YL = YR = YE
ZL = ZR = Z0
すなわち、該観賞条件の最適化は、該観賞者の観賞位置を規定し、該観賞位置が(a)両目が同様の最適観賞距離を維持、(b)両目が同様の高度を保持(すなわち、水平状態保持)、(c)両目がスクリーンを正視、の条件を満たす時、最適品質を備える3D画像を観賞することができることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２４】
前記左、右撮影装置は、内蔵の方式、或いは以外付けの方式で、携帯電話端末、デジカメ、ビデオカメラ、ゲーム機、タブレットコンピュータ、ノート型コンピュータ、モニタ、テレビ、3Dテレビ等装置のケースの上に装置することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２５】
前記左、右目の特徴座標計算のプロセスにおいて、その計算の方法は、同様の傾斜角度θを備える斜線LL、LRは、それぞれ該左、右目の位置(XL, YL, ZL)、(XR, YR, ZR)を通過し、X軸とxL0、xR0において個別に交わり、該xL0、xR0は、以下の関係を備え、
右傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができ、
xL0= XL + tan(θ)×YL
xR0= XR + tan(θ)×YR
左傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができ、
xL0= XL - tan(θ)×YL
xR0= XR - tan(θ)×YR
垂直構造の視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる、
xL0= XL
xR0= XR
ことを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２６】
前記最適観賞線上最適視点座標計算のプロセスは、以下の公式を通して、該最適視点の座標x(i, j,Δ)を計算し、
x(i, j,Δ) = [n×i-(n-1)/2+j-Δ/m ]×LH
該各パラメータは、以下のように定義され、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
Δは、横方向移動フェーズで、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２７】
前記視点とシーン対位のプロセスにおいて、左目位置を基準とする時には、以下のステップにより構成し、
ステップ一では、左、右の目の位置 (XL, YE, Z0)、(XR, YE, Z0)が、最適可視面の範囲内にあるかどうかを確認し、
もし、下式の関係を満たすなら、ステップ二に進み、
もし、下式の関係を満たさないなら、観賞位置が最適可視面範囲からずれていると発表し、ステップ五に進み、
| XL | ≦ xmax
| XR | ≦ xmax
| YE | ≦ ymax
ステップ二では、開始値を、下式の通り設定し、
i=-imax
j=0
ステップ三では、x(i, j,Δ)を計算し、
ステップ四では、xL0とx(i, j,Δ)を、下式の通り比較し、
|xL0 - x(i, j,Δ)| ≦ LH/2m (9)
状況１: もし、式(9)の関係をみたす１組の(i, j,Δ)パラメータが得られなら、Δを式(1)、或いは(2)に代入し、3D目追跡成功を発表し、ステップ五に進み、
状況２: もし、式(9)の関係をみたす１組の(i, j,Δ)パラメータも得ることができなければ、j=j+2で、
もし、j＜n(すなわち、jはi可視区を未超過)なら、ステップ三に進み、
もし、j≧n(すなわち、jはi可視区を超過)なら、i=i+1で、j=0で、
もし、i≦imaxなら、ステップ三に進み、
もし、i＞imaxなら、観賞位置の最適可視面範囲からのずれを発表し、ステップ五に進み、
ステップ五では、比較を終了し、
該各パラメータの定義は、以下の通りで、
xmax、ymaxは、該最適可視面の範囲で、
imaxは、最適可視面が対応する最大水平可視区の通し番号で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２８】
前記視点とシーン対位のプロセスでは、右目位置を基準とする時には、以下のステップにより構成し、
ステップ一では、左、右の目の位置 (XL, YE, Z0)、(XR, YE, Z0) が、最適可視面の範囲内にあるかどうかを確認し、
もし、下式の関係を満たすなら、ステップ二に進み、
もし、下式の関係を満たさないなら、観賞位置が最適可視面範囲からずれていると発表し、ステップ五に進み、
| XL | ≦ xmax
| XR | ≦ xmax
| YE | ≦ ymax
ステップ二では、開始値を、下式の通り設定し、
i=-imaxで、j=1で、
ステップ三では、x(i, j,Δ)を計算し、
ステップ四では、xR0とx(i, j,Δ)を、下式の通り比較し、
|xR0 - x(i, j,Δ)| ≦ LH/2m (10)
状況１: もし、式(10)の関係をみたす１組の(i, j,Δ)パラメータが得られなら、Δ代を式(1)、或いは(2)に代入し、3D目追跡成功を発表し、ステップ五に進み、
状況２: もし、式(10)の関係をみたす１組の(i, j,Δ)パラメータも得ることができなければj=j+2で、
もし、j＜n(すなわち、jはi可視区を未超過)なら、ステップ三に進み、
もし、j≧n(すなわち、jはi可視区を超過)なら、i=i+1で、j=1で、
もし、i≦imaxなら、ステップ三に進み、
もし、i＞imaxなら、観賞位置の最適可視面範囲からのずれを発表し、ステップ五に進み、
ステップ五では、比較を終了し、
該各パラメータの定義は、以下の通りで、
xmax、ymaxは、該最適可視面の範囲で、
imaxは、最適可視面が対応する最大水平可視区の通し番号で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２９】
前記最適可視面は、該最適観賞面上に存在する面積が有限の可視面で、
該面上には、数量が有限の多数の最適視点のみ存在し、
該多数の最適視点は、左、右の目に対して、低ゴーストイメージと画像輝度接近を備える単一シーン画像をそれぞれ提供し、
該有限数量の最適視点により構成する面は、最適可視面で、
該最適可視面上に存在する任意の位置のx,yの座標値は、以下の関係を備え、
-xmax≦x≦xmax
-ymax≦y≦ymax
内、xmax、ymaxは、該最適可視面の範囲を規定し、
また、最適観賞面上で、3D画像に対して実際にcross-talkと輝度の測定を行い、該xmax、ymaxの値を求め、
該xmax、ymaxに基づき、下式により、水平可視角ΩHと垂直可視角ΩVを計算して求め、 ΩH =2×tan-1(xmax/Z0)
ΩV =2×tan-1(ymax/Z0)
内、Z0は、最適観賞距離で、
該xmax、ymaxの値は、imax、kmaxにそれぞれ対応し、
これにより、最適可視面上に存在する最適可視点Pk,i,jにおいて、該Pk,i,j中の水平可視区の通し番号i、垂直可視区の通し番号kは、以下の関係を備え、
|i|≦imax
|k|≦kmax
内、xmax、ymaxとimax、kmaxは、以下の関係を備え、
xmax = imax×n×LE
ymax = kmax×LVであることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１】
三次元画像表示の方法は、裸眼視三次元画像表示の欠点に対して、以下の方法と部品の実施を通して、最適可視面上において、ゴーストイメージ、擬似立体画像、水平及び垂直方向観賞自由度不足の問題を効果的に解決し、3D画像品質と使用の利便性を大幅に向上させるという目的を達成することができ、
観賞位置の即時検出方法、観賞条件最適化のプロセス、観賞位置とシーン最適対位の方法、動態マルチシーン3D画像合成の方法、フラットディスプレイスクリーン、静態視差バリアー装置を備え、
該観賞位置の即時検出方法は、一対の左、右撮影装置を利用し、撮影、画像処理を通して、左、右画像座標系において、左、右撮影装置が捕捉した2D画像中から、左眼球(或いは瞳孔)の中心位置(iL,L、iL,R)と右眼球(或いは瞳孔)の中心位置(iR,L、iR,R)を検出し、さらに左右画像対応のプロセス、三次元座標転換計算のプロセス、観賞条件最適化のプロセスを利用し、スクリーン座標系において、左目三次元の位置EL = (XL, YE, Z0)右目三次元の位置ER = (XR, YE, Z0)を求め、及び出力し、
該観賞位置とシーン最適対位の方法は、該左、右目三次元位置EL、ERに基づき、左、右目の特徴座標計算のプロセス、最適観賞線上最適視点座標計算のプロセス、視点とシーン対位のプロセスを通して、横方向移動フェーズΔを計算して求め、及び出力し、
該動態マルチシーン3D画像合成の方法は、マルチシーン画像に対して、該横方向移動フェーズΔとマルチシーン3D画像合成のプロセスに基づき、マルチシーン3D合成画像Σnを産生し、
該フラットディスプレイスクリーンは、該マルチシーン3D合成画像Σnを受け取り、表示し、
該静態視差バリアー装置は、静態シーン分離装置で、該マルチシーン3D合成画像Σnに対して、最適観賞距離上において、最適観賞面を提供し、該最適観賞面上において、多数の最適視点を提供し、該最適視点において、シーン分離の光学作用を行い、単一シーン画像を個別に表示させる目的を達成し、
該視差バリアーの光学構造は、静態視差バリアー装置設計の方法と観賞自由度最適化の方法を通して、最適化設計の目的を達成することを特徴とする三次元画像表示の方法。
【請求項２】
前記フラットディスプレイスクリーンは、一般の液晶スクリーン、プラズマスクリーン、或いはOLEDスクリーンにより構成し、
該スクリーンは、N × M個のRGBサブピクセル、或いはN × M個のRGBWサブピクセルにより構成し、
該Nは、該ディスプレイスクリーン水平方向(X軸)を構成するサブピクセルの総数で、該Mは、該ディスプレイスクリーン垂直方向(Y軸)を構成する サブピクセルの総数で、
該Rは赤色で、Gは緑色で、Bは青色で、Wは白色で、
該単一のサブピクセルは、PH × PVの大きさを備え、該PHは、サブピクセルの水平幅で、該PVは、サブピクセルの垂直高度で、
また、スクリーン座標系XYZを設置し、
該スクリーン座標系の原点は、該スクリーンの中心に設置し、
該スクリーン座標系のX軸は、水平の方向に設置し、
該スクリーン座標系のY軸は、垂直の方向に設置し、
該スクリーン座標系のZ軸は、該ディスプレイスクリーンに垂直の方向に設置することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項３】
前記サブピクセルの配列は、RGBは水平ストリップ状ストリップ状配列で、RGBは垂直ストリップ状ストリップ状配列で、RGBはモザイク配列で、RGBは三角状配列で、或いはRGBWはPentileの配列であることを特徴とする請求項２に記載の三次元画像表示の方法。
【請求項４】
前記マルチシーン画像は、n個の単一シーン画像Vkにより構成し、以下の公式に基づき表示され、
【数１】
内、各パラメータは、以下のように定義され、
【数２】
は、Vk画像中の(i,j)位置にあるサブピクセル画像データで、
Nは、ディスプレイスクリーン水平方向サブピクセルの総数で、
Mは、ディスプレイスクリーン垂直方向サブピクセルの総数で、
j、iは、単一のサブピクセル水平及び垂直位置の通し番号で、しかも 0≦j≦N-1、0≦i≦M-1で、
nは、総シーン数で、しかもn≧2で、
kは、シーン通し番号で、しかも0≦k＜nであることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項５】
前記マルチシーン3D画像合成のプロセスは、該マルチシーン画像に対して、以下の公式を通して、該マルチシーン3D合成画像Σnを産生し、
【数３】
内、Λは以下の通りで、
【数４】
該各パラメータと関数 int、Modは、以下のように定義され、
【数５】
は、VΛ画像中の(i,j)位置にあるサブピクセル画像データで、
Λは、シーン通し番号で、しかもΛ ＜ n で、
nは、総シーン数で、
Mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
IIは、横方向移動振幅で、
j、iは、単一のサブピクセル水平及び垂直位置の通し番号で、しかも 0≦j≦N-1、0≦i≦M-1で、
intは、整数を得る関数で、
Modは、割り算の余りを求める関数であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項６】
前記マルチシーン3D画像合成のプロセスは、該マルチシーン画像に対して、以下の公式を通して、該マルチシーン3D合成画像Σnを産生し、
【数６】
内、Λは以下の通りで、
【数７】
内、各パラメータと関数 int、Modは、以下のように定義され、
【数８】
は、VΛ画像中の(i,j)位置にあるサブピクセル画像データで、
Λは、シーン通し番号で、しかもΛ＜ nで、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
IIは、横方向移動振幅で、
j、iは、単一のサブピクセル水平及び垂直位置の通し番号で、しかも 0≦j≦N-1、0≦i≦M-1で、
intは、整数を得る関数で、
Modは、割り算の余りを求める関数であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項７】
前記静態視差バリアー装置設計の方法は、以下の公式に基づき、水平方向の基本光学構造を設計して、産生し、
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
該各パラメータの定義は、以下の通りで、
BHは、光透過部品の水平幅で、
【数１４】
は、遮蔽部品の水平幅で、
LHは、水平最適視点間隔距離で、
θは、傾斜ストリップ状視差バリアーの傾斜角度で、
Z0は、最適観賞距離で、
LBは、傾斜ストリップ状視差バリアーの装置距離で、
PHは、サブピクセルの水平幅で、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項８】
前記水平最適視点間隔距離LHと両目の平均間隔距離LEは、LH = LEの関係を備えることを特徴とする請求項７に記載の三次元画像表示の方法。
【請求項９】
前記光透過部品開口水平幅BHの最適化設計は、光透過部品開口水平幅縮減の処理を通して、水平許容観賞範囲ΔXVFを求め、
該水平許容観賞範囲ΔXVFと該光透過部品開口水平幅縮減量ΔBHは、ΔXVF=Rx × LHの関係を備え、
内、RxはRx=ΔBH/BHで、
該各パラメータの定義は、以下の通りで、
Rxは、水平観賞自由度で、しかも0≦Rx≦1で、
LHは、水平最適視点間隔距離であることを特徴とする請求項７に記載の三次元画像表示の方法。
【請求項１０】
前記静態視差バリアー装置設計の方法は、以下の公式に基づき、垂直方向の基本光学構造を設計して産生し、
【数１５】
【数１６】
該各パラメータの定義は、以下の通りで、
BVは、光透過部品垂直開口幅で、
LVは、垂直最適視点間隔距離で、
Z0は、最適観賞距離で、
LBは、傾斜ストリップ状視差バリアーの装置距離で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
PVは、サブピクセルの垂直高度であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１１】
前記光透過部品垂直開口幅BVと光透過部品の水平幅BHは、以下の関係を備え、
【数１７】
該各パラメータの定義は、以下の通りで、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
PVは、サブピクセルの垂直高度で、
PHは、サブピクセルの水平幅であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１２】
前記垂直最適視点間隔距離LVと水平最適視点間隔距離LHは、以下の関係を備え、
【数１８】
【数１９】
該各パラメータの定義は、以下の通りで、
Qは、縦方向最小表示ユニットサブピクセル構成の数で、
PVは、サブピクセルの垂直高度で、
PHは、サブピクセルの水平幅で、
θは、傾斜ストリップ状視差バリアーの傾斜角度であることを特徴とする請求項１０に記載の三次元画像表示の方法。
【請求項１３】
前記光透過部品開口垂直幅BVの最適化設計は、光透過部品開口垂直幅縮減の処理を通して、垂直許容観賞範囲ΔYVFを求め、
該垂直許容観賞範囲ΔYVFと該光透過部品開口垂直幅縮減量ΔBVは、ΔYVF=RY × LVの関係を備え、
内、RYはRY=ΔBV/BVの通りで、
該各パラメータの定義は、以下の通りで、
RYは、垂直観賞自由度で、しかも0≦Rx≦1で、
LVは、垂直最適視点間隔距離であることを特徴とする請求項１０に記載の三次元画像表示の方法。
【請求項１４】
前記垂直観賞自由度RYと水平観賞自由度Rxは、RY = RXの関係を備えることを特徴とする請求項１３に記載の三次元画像表示の方法。
【請求項１５】
前記垂直許容観賞範囲ΔYVFと水平許容観賞範囲ΔXVFは、
【数２０】
の関係を備えることを特徴とする請求項１３に記載の三次元画像表示の方法。
【請求項１６】
前記観賞自由度最適化の方法において、隣接する両許容観賞区間のオーバーラップ区域幅ΔXOLは、下式の関係を備え、
ΔXOL = (Rx-1/m)×LH ＞0
該各パラメータの定義は、以下の通りで、
Rxは、水平観賞自由度で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１７】
前記静態視差バリアーの装置は、垂直ストリップ状式視差バリアー、傾斜ストリップ状式視差バリアー、或いは傾斜グリッド式視差バリアーの構造を備えて構成することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１８】
前記多数の最適視点の位置は、スクリーン座標系中では、Pk,i,j(xc,yc,Z0)により表示され、下式の関係を備え、
xc =[n×i-(n-1)/2+j-k] × LH
yc =k × LV
また、該多数の最適視点Pk,i,j(xc,yc,Z0)は、水平許容観賞範囲ΔXVFと垂直許容観賞範囲ΔYVFを備え、光学構造傾斜の特徴に基づき、該傾斜角θに沿って分布し、水平方向重複交差配列特徴を備える許容観賞区とゴーストイメージエリアを構成し、
該許容観賞区は、中心線Yi,j(x,y)、両境界線Yi,j+(x,y)、Yi,j-(x,y)により構成し、下式の関係を備え、
中心線Yi,j(x,y)は、下式のように表示し、
y = f(θ){ x - [n×i-(n-1)/2+j ]×LH} (3)
右境界線Yi,j+(x,y)は、下式のように表示し、
y = f(θ){ x - [n×i-(n-1)/2+j + Rx/2]×LH} (4)
左境界線Yi,j-(x,y)は、下式のように表示し、
y = f(θ){ x - [n×i-(n-1)/2+j - Rx/2]×LH} (5)
内、右傾斜構造を備える視差バリアー装置において、該f(θ)は、下式の関係を備え、 f(θ) = -tanθ
左傾斜構造を備える視差バリアー装置において、該f(θ)は、下式により表示され、
f(θ) = tanθ
垂直構造を備える視差バリアー装置において、該θ=0で、しかもf(θ)=0で、該Yi,j(x,y)、Yi,j+(x,y)、Yi,j-(x,y)は、垂直線となり、それぞれ下式により表示され、
x = [n×i-(n-1)/2+j]×LH (6)
x = [n×i-(n-1)/2+j + Rx/2]×LH (7)
x = [n×i-(n-1)/2+j - Rx/2]×LH (8)
また、式(3)〜(5)が示す該中心線Yi,j(x,y)、境界線Yi,j+(x,y)、Yi,j-(x,y)において、y=0である時、得られるx値は、式(6)〜(8)に示す通りで、
すなわち、傾斜構造と垂直構造を備える視差バリアー装置において、z=Z0、y=0の水平線上には、相同のシーン分離の光学作用を備え、該z=Z0、y=0の水平線は、最適観賞線で、
また、上記した各公式中において、使用した該各パラメータは、以下のように定義され、
Z0は、最適観賞距離で、
nは、総シーン数で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
kは、垂直可視区の通し番号で、
LHは、水平最適視点間隔距離で、
LVは、垂直最適視点間隔距離で、
θは、傾斜ストリップ状視差バリアーの傾斜角度であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項１９】
前記一対の左、右撮影装置は、相同の光学結像システムを備え、相同焦点距離fの光学結像レンズと相同のイメージセンサーを備え、
該左、右撮影装置上にはそれぞれ、左画像座標系XLYLZL、右画像座標系XRYRZRを設置し、
該両画像座標系の原点は、該左、右撮影装置イメージセンサーの中心にそれぞれ設置し、しかも該両画像座標系とスクリーン座標系の座標軸は、平行の関係を備え、該スクリーン座標系において、該両画像座標系の原点座標は、それぞれ(-S/2,H,0)、(S/2,H,0)で、 内、Sは、該左、右撮影装置光軸間隔距離で、Hは、装置高度で、
また、ZL、ZRは、該左、右撮影装置光軸上にそれぞれ設置し、すなわち、該左、右撮影装置の光軸は、Z軸に平行で、該左、右眼球(或いは瞳孔)中心の座標は、下式のように表示され、
左画像座標系中において、該左眼球(或いは瞳孔)中心の座標は、下式の通りで、
iL,L = (xL,L, yL,L, 0)
左画像座標系中において、該右眼球(或いは瞳孔)中心の座標は、下式の通りで、
iL,R = (xL,R, yL,R, 0 )
右画像座標系中において、左眼球(或いは瞳孔)中心の座標は、下式の通りで、
iR,L = (xR,L, yR,L, 0 )
右画像座標系中において、右眼球(或いは瞳孔)中心の座標は、下式の通りで、
iR,R = (xR,R, yR,R, 0 )
また、該左、右撮影装置は、同様の光学特徴を備えるため、yL,L=yR,L= yLで、しかもyL,R= yR,R= yRであることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２０】
前記左右画像対応のプロセスでは、左、右画像座標系中の左、右眼球中心座標とスクリーン座標系中の左、右目三次元座標に対応の処理を施し、
すなわち、左目位置ELは、iL,LとiR,Lにより対応し、右目位置ERは、iL,RとiR,Rにより対応することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２１】
前記三次元座標転換計算のプロセスは、画像座標系とスクリーン座標系間の座標転換を通して、画像座標系に結像した左目座標iL,LとiR,Lを、スクリーン座標系上の三次元座標EL=(XL, YL, ZL)に転換し、右目座標iL,R、iR,Rを、スクリーン座標系上の三次元座標ER= (XR, YR, ZR)に転換することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２２】
前記画像座標系とスクリーン座標系間の座標転換は、以下の関係を備え、
左目三次元の座標：
【数２１】
【数２２】
【数２３】
右目三次元の座標：
【数２４】
【数２５】
【数２６】
上記の通りであることを特徴とする請求項２１に記載の三次元画像表示の方法。
【請求項２３】
前記観賞条件最適化のプロセスは、以下の最適観賞条件により構成し、
観賞距離最適化の条件は、下式の条件により構成し、
|ZL−Z0|＜ΔZ0
|ZR−Z0|＜ΔZ0
内、ΔZ0は、許容最適観賞距離の偏差量で、すなわち、ZL、ZRとZ0の距離の差で、ΔZ0より小さい必要があり、
スクリーン正視最適化の条件は、下式の条件により構成し、
【数２７】
【数２８】
内、Δφは、許容水平観賞角度の偏差量で、Δρは、許容傾斜観賞角度の偏差量で、
【数２９】
は、x軸の単位ベクトルで、すなわち、左、右の目はスクリーンを正視する必要があり、しかも水平観賞角度の偏差量は、Δφより小さい必要があり、しかも傾斜観賞角度の偏差量は、Δρより小さい必要があり、
よって、上記した条件を単純化すると、以下のように表示され、
YL = YR = YE
ZL = ZR = Z0
すなわち、該観賞条件の最適化は、該観賞者の観賞位置を規定し、該観賞位置が(a)両目が同様の最適観賞距離を維持、(b)両目が同様の高度を保持(すなわち、水平状態保持)、(c)両目がスクリーンを正視、の条件を満たす時、最適品質を備える3D画像を観賞することができることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２４】
前記左、右撮影装置は、内蔵の方式、或いは以外付けの方式で、携帯電話端末、デジカメ、ビデオカメラ、ゲーム機、タブレットコンピュータ、ノート型コンピュータ、モニタ、テレビ、3Dテレビ等装置のケースの上に装置することを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２５】
前記左、右目の特徴座標計算のプロセスにおいて、その計算の方法は、同様の傾斜角度θを備える斜線LL、LRは、それぞれ該左、右目の位置(XL, YL, ZL)、(XR, YR, ZR)を通過し、X軸とxL0、xR0において個別に交わり、該xL0、xR0は、以下の関係を備え、
右傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができ、
xL0= XL + tan(θ)×YL
xR0= XR + tan(θ)×YR
左傾斜構造を備える視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができ、
xL0= XL - tan(θ)×YL
xR0= XR - tan(θ)×YR
垂直構造の視差バリアー装置において、該xL0、xR0は、下式により計算して得ることができる、
xL0= XL
xR0= XR
ことを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２６】
前記最適観賞線上最適視点座標計算のプロセスは、以下の公式を通して、該最適視点の座標x(i, j,Δ)を計算し、
x(i, j,Δ) = [n×i-(n-1)/2+j-Δ/m ]×LH
該各パラメータは、以下のように定義され、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
Δは、横方向移動フェーズで、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２７】
前記視点とシーン対位のプロセスにおいて、左目位置を基準とする時には、以下のステップにより構成し、
ステップ一では、左、右の目の位置 (XL, YE, Z0)、(XR, YE, Z0)が、最適可視面の範囲内にあるかどうかを確認し、
もし、下式の関係を満たすなら、ステップ二に進み、
もし、下式の関係を満たさないなら、観賞位置が最適可視面範囲からずれていると発表し、ステップ五に進み、
| XL | ≦ xmax
| XR | ≦ xmax
| YE | ≦ ymax
ステップ二では、開始値を、下式の通り設定し、
i=-imax
j=0
ステップ三では、x(i, j,Δ)を計算し、
ステップ四では、xL0とx(i, j,Δ)を、下式の通り比較し、
|xL0 - x(i, j,Δ)| ≦ LH/2m (9)
状況１: もし、式(9)の関係をみたす１組の(i, j,Δ)パラメータが得られなら、Δを式(1)、或いは(2)に代入し、3D目追跡成功を発表し、ステップ五に進み、
状況２: もし、式(9)の関係をみたす１組の(i, j,Δ)パラメータも得ることができなければ、j=j+2で、
もし、j＜n(すなわち、jはi可視区を未超過)なら、ステップ三に進み、
もし、j≧n(すなわち、jはi可視区を超過)なら、i=i+1で、j=0で、
もし、i≦imaxなら、ステップ三に進み、
もし、i＞imaxなら、観賞位置の最適可視面範囲からのずれを発表し、ステップ五に進み、
ステップ五では、比較を終了し、
該各パラメータの定義は、以下の通りで、
xmax、ymaxは、該最適可視面の範囲で、
imaxは、最適可視面が対応する最大水平可視区の通し番号で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２８】
前記視点とシーン対位のプロセスでは、右目位置を基準とする時には、以下のステップにより構成し、
ステップ一では、左、右の目の位置 (XL, YE, Z0)、(XR, YE, Z0) が、最適可視面の範囲内にあるかどうかを確認し、
もし、下式の関係を満たすなら、ステップ二に進み、
もし、下式の関係を満たさないなら、観賞位置が最適可視面範囲からずれていると発表し、ステップ五に進み、
| XL | ≦ xmax
| XR | ≦ xmax
| YE | ≦ ymax
ステップ二では、開始値を、下式の通り設定し、
i=-imaxで、j=1で、
ステップ三では、x(i, j,Δ)を計算し、
ステップ四では、xR0とx(i, j,Δ)を、下式の通り比較し、
|xR0 - x(i, j,Δ)| ≦ LH/2m (10)
状況１: もし、式(10)の関係をみたす１組の(i, j,Δ)パラメータが得られなら、Δ代を式(1)、或いは(2)に代入し、3D目追跡成功を発表し、ステップ五に進み、
状況２: もし、式(10)の関係をみたす１組の(i, j,Δ)パラメータも得ることができなければj=j+2で、
もし、j＜n(すなわち、jはi可視区を未超過)なら、ステップ三に進み、
もし、j≧n(すなわち、jはi可視区を超過)なら、i=i+1で、j=1で、
もし、i≦imaxなら、ステップ三に進み、
もし、i＞imaxなら、観賞位置の最適可視面範囲からのずれを発表し、ステップ五に進み、
ステップ五では、比較を終了し、
該各パラメータの定義は、以下の通りで、
xmax、ymaxは、該最適可視面の範囲で、
imaxは、最適可視面が対応する最大水平可視区の通し番号で、
iは、水平可視区の通し番号で、
jは、シーン数の通し番号で、
nは、総シーン数で、
mは、横方向最小表示ユニットサブピクセル構成の数で、
Δは、横方向移動フェーズで、
LHは、水平最適視点間隔距離であることを特徴とする請求項１に記載の三次元画像表示の方法。
【請求項２９】
前記最適可視面は、該最適観賞面上に存在する面積が有限の可視面で、
該面上には、数量が有限の多数の最適視点のみ存在し、
該多数の最適視点は、左、右の目に対して、低ゴーストイメージと画像輝度接近を備える単一シーン画像をそれぞれ提供し、
該有限数量の最適視点により構成する面は、最適可視面で、
該最適可視面上に存在する任意の位置のx,yの座標値は、以下の関係を備え、
-xmax≦x≦xmax
-ymax≦y≦ymax
内、xmax、ymaxは、該最適可視面の範囲を規定し、
また、最適観賞面上で、3D画像に対して実際にcross-talkと輝度の測定を行い、該xmax、ymaxの値を求め、
該xmax、ymaxに基づき、下式により、水平可視角ΩHと垂直可視角ΩVを計算して求め、 ΩH =2×tan-1(xmax/Z0)
ΩV =2×tan-1(ymax/Z0)
内、Z0は、最適観賞距離で、
該xmax、ymaxの値は、imax、kmaxにそれぞれ対応し、
これにより、最適可視面上に存在する最適可視点Pk,i,jにおいて、該Pk,i,j中の水平可視区の通し番号i、垂直可視区の通し番号kは、以下の関係を備え、
|i|≦imax
|k|≦kmax
内、xmax、ymaxとimax、kmaxは、以下の関係を備え、
xmax = imax×n×LE
ymax = kmax×LVであることを特徴とする請求項１に記載の三次元画像表示の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【公開番号】特開２０１３−１０２４３４（Ｐ２０１３−１０２４３４Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２４６６７６（Ｐ２０１２−２４６６７６）
【出願日】平成２４年１１月８日（２０１２．１１．８）
【出願人】（５０８２３２６３３）原創奈米科技股▲ふん▼有限公司 (9)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２４年１１月８日（２０１２．１１．８）
【出願人】（５０８２３２６３３）原創奈米科技股▲ふん▼有限公司 (9)
【Ｆターム（参考）】
[ Back to top ]