説明

プログラム、情報記憶媒体及び画像生成装置

【課題】(1)立体視映像の観察者が、現在の観察位置が適視範囲であるのか否かを容易に判断できるようにし(2)最適な調整であるかを容易に判断できるようにする。
【解決手段】FV方式の立体視画像の生成において、想定観察位置からレンズ板の各レンズの境界線34を画素パネル20の表示面に投影して、画素パネルの各画素PEに対応するレンズを決定する。また、画素パネルを構成する画素PEのうち、投影境界線と交差する画素PEを立体視に適合しない不適合画素と判断し、交差しない画素PEを立体視に適合した適合画素と判断する。そして、適合画素については、立体視用オブジェクトを配置したオブジェクト空間をレンダリングして当該画素の色情報を決定し、不適合画素については、不適合用オブジェクトを配置したオブジェクト空間をレンダリングして当該画素の色情報を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報記憶媒体及び画像生成装置に関する。
【背景技術】
【0002】
従来から知られているように、LCD等のフラットパネルディスプレイとレンズアレイ(例えば、レンチキュラレンズアレイや蝿の眼レンズアレイ)やバリアアレイ(例えば、パララックスバリアアレイやピンホールアレイ)等の光学素子群を組み合わせることで、立体視映像表示装置を構成することができる。この立体視の方式の一つとして、「フラクショナル・ビュー方式(以下、「FV方式」という)」が知られている。
【0003】
図26は、FV方式による立体視画像生成の概要を示す図であり、ディスプレイの表示面22に対する垂直断面図を示している。同図に示すように、FV方式では、表示面22の画素PE毎に、(1)該画素PEの代表点(例えば、画素PEの中心)と該画素PEに対応するレンズ(光学素子)の主点とを通過した後の光線の逆方向を視線方向とする視線Vを決定し、(2)決定した視線Vの視線方向にある物体(オブジェクト空間)の色情報を該画素PEの色情報とする(レンダリング)、ことで立体視画像を生成する。
【0004】
FV方式では、ディスプレイの画素ピッチとレンズアレイのレンズピッチとが合っていない立体視映像表示装置において立体視を可能ならしめる点に大きな特徴がある。このため、個々のディスプレイの画素ピッチに合ったレンチキュラレンズ板を製造する必要が無くなり、既製のレンチキュラレンズ板を種々のディスプレイに適用できることとなって、レンズ板のコストを大幅に下げるという効果が得られる。また、選択可能な複数のレンズ板から最も目的に合ったものを選ぶこともできる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−48659号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上述のFV方式の立体視では、立体視映像の観察の際に生じる次のような不都合があった。
【0007】
(1)不適視範囲の存在
FV方式は2眼式や多眼式と比較して適視範囲の自由度が高いけれども、他の方式と同様、像が2重映りとなる不適視範囲も存在する。FV方式の場合には、ディスプレイの画素ピッチとレンズアレイのレンズピッチとが合っていないために、像が2重映りとなる不適視範囲が生じる。
【0008】
図27は、FV方式における画素とレンズとの対応を説明する図であり、ディスプレイの水平断面図を示している。同図に示すように、FV方式では、想定観察位置(想定した観察者の位置)40から、レンズ板30の各レンズ32を画素パネル20の表示面22に投影して、表示面22を各レンズ32の投影領域に分割し、表示面22の各画素PEについて、当該画素PEの代表点が含まれる投影領域のレンズ32を、当該画素PEに対応するレンズ32とする。そして、各画素PEについて、当該画素PEの代表点(例えば、中心点)と、当該画素PEに対応するレンズ32の主点とを通過する光線の方向をもとに、オブジェクト空間をレンダリング処理して、当該画素PEの色情報を算出する。
【0009】
ところが、FV方式では、表示パネルの画素ピッチとレンズピッチとが合っていなくとも良いため、画素PEの中には、投影した各レンズの境界線(投影境界線)が交差する画素PEがある。このような画素PEについては、当該画素PEの代表点が含まれる投影領域のレンズを、当該画素PEに対応するレンズとする。
【0010】
図28は、画素パネル20の部分拡大断面図である。同図では、画素PEaが、レンズ32の投影境界線34と交差してレンズ32a,32bの両方にまたがっているが、画素PEaの代表点はレンズ32aの投影領域に含まれるため、当該画素PEaに対応するレンズはレンズ32aとなる。つまり、画素PEaには、レンズ32aを通過する視線V1に基づく色情報が設定される。また、この画素PEaは、当該画素PEaの中心点とレンズ32bとを通過する視線V2の近傍(図中、斜線で示した範囲)でも観察されるが、このときに観察される色は視線V2に基づく色を再現したものではないため、視線V2の近傍から見たときに生じる2重映りの原因となってしまっていた。
【0011】
図29は、適視範囲のイメージ図であり、ディスプレイの水平断面図を示している。同図に示すように、画素パネル20の表示面に対して正面に設定された想定観察位置40を含む適視範囲と、観察者が左右方向(横方向)に移動すると繰り返し現れる不適視範囲(図中、斜線で示した範囲)が存在する。なお、同図は、あくまでも適視範囲のイメージであり、精確な適視範囲とは異なる。適視範囲では本来の立体視映像が観察されるが、観察者の左右の眼のどちらかが不適視範囲に位置すると、観察される像が2重映りとなってしまう。しかし、その場合でも、立体感は損なわれているにせよ、表示されているオブジェクトは観察されるため、不慣れな観察者にとっては、現在見ている位置が最も適切な観察位置(適切位置)であるかを判断することが難しかった。また、適視位置には個人差があるため、大凡の適視位置を教えることはできても、その人にとって完全な適視位置を他人が教えることは困難であった。
【0012】
(2)立体視映像表示装置の調整
また、FV方式の立体視画像を生成する際には、立体視画像生成の演算に用いた、ディスプレイの画素ピッチやレンズ板のレンズピッチといった値(以下、「諸元値」という)が実物に則した精確な値でないと、観察される立体視映像の品質が不充分なものとなってしまう。すなわち、レンズピッチについては、製造時の値(メーカ公称値)や、定規等で測定した値等を用いていた。また、配置角度については、切断加工時の設計値や、レンズ板をディスプレイに配置した後に分度器等で測定した値を用いていた。
【0013】
しかし、製造・加工時の設計値や定規等での測定による値では精度が不十分であるため、FV方式において要求される画素毎の光線方向を精確に求めることができず、結果として立体視映像の品質が不充分なものとなっていた。このため、担当者が、例えば表示されるテストパターンや実際の立体視画像を見ながら、ディスプレイに配置するレンズ板の位置や角度を物理的に変更したり、或いは、ソフトウェアにおいて立体視画像の生成に用いる諸元値を変更したりといったことによって、最も良好な立体視が観察されるように調整を行っていた(例えば、特開2007−65441に開示されている方法)。しかしながら、この調整を行う担当者がFV方式の立体視に不慣れであった場合には、その担当者にとって最適な調整となっているかの判断が難しく、最適な調整を行ったつもりであっても調整不足が生じ得る問題が生じていた。
【0014】
本発明は、上記事情に鑑みてなされたものであり、立体視映像の観察者が、現在の観察位置が適視範囲であるのか否かを自身で容易に判断できるようにするとともに、適視範囲外ならば、速やかに適視範囲内に移動できるようにすることを目的としている。また、他の目的として、最適な調整であるかを容易に判断できるようにするとともに、調整不足の場合には最適な調整を容易に行えるようにすることを目的としている。
【課題を解決するための手段】
【0015】
上記課題を解決するための第1の発明は、
表示パネル(例えば、図1,2の画素パネル20)と、該表示パネルの各画素の光線に指向性を与える光学素子群(例えば、図1,2のレンズ板30)とを備えた立体視表示装置(例えば、図1,2の立体視映像表示装置200A,200B)に表示させる画像をコンピュータに生成させるためのプログラム(例えば、図15の立体視画像生成プログラム410)であって、
前記表示パネルの各画素について、前記立体視表示装置の立体視適視位置と前記光学素子群を構成する各光学素子の境界とを結んだ面に交差する位置に基づいて、当該画素が立体視用の画素として適合する適合画素か、適合しない不適合画素かを判定する判定手段(例えば、図15の画素別視点設定部322)、
前記適合画素については所与の立体視画像の当該画素に対応する色情報とし、前記不適合画素については所与の不適位置用画像の当該画素に対応する色情報として前記立体視表示装置に表示させる画像を生成する画像生成手段(例えば、図15の色情報算出部324)、
として前記コンピュータを機能させるためのプログラムである。
【0016】
また、他の発明として、
表示パネルと、該表示パネルの各画素の光線に指向性を与える光学素子群とを備えた立体視表示装置に表示させる画像を生成する画像生成装置であって、
前記表示パネルの各画素について、前記立体視表示装置の立体視適視位置と前記光学素子群を構成する各光学素子の境界とを結んだ面に交差する位置に基づいて、当該画素が立体視用の画素として適合する適合画素か、適合しない不適合画素かを判定する判定手段と、
前記適合画素については所与の立体視画像の当該画素に対応する色情報とし、前記不適合画素については所与の不適位置用画像の当該画素に対応する色情報として前記立体視表示装置に表示させる画像を生成する画像生成手段と、
を備えた画像生成装置を構成しても良い。
【0017】
この第1の発明等によれば、表示パネルの各画素について、立体視表示装置の立体視適視位置と光学素子群を構成する各光学素子の境界とを結んだ面に交差する位置に基づいて、立体視用の画素として適合する適合画素か、適合しない不適合画素かが判定される。そして、適合画素については、所与の立体視画像の当該画素に対応する色情報とし、不適合画素については、所与の不適位置用画像の当該画素に対応する色情報として、立体視表示装置に表示させる画像が生成される。
【0018】
適合画素/不適合画素の具体的な判定としては、第2の発明として、第1の発明のプログラムであって、
前記判定手段が、前記各画素について、前記結んだ面に交差する位置に存在する画素か否かに応じて、当該画素を適合画素とするか不適合画素とするかを判定するように前記コンピュータを機能させるためのプログラムを構成しても良い。
【0019】
表示パネルの画素のうち、立体視適視位置と各光学素子の境界とを結んだ面に交差する位置に存在する画素は、当該境界を挟む複数の光学素子それぞれによって当該画素の光線が打ち分けられることで、異なる複数方向から観察され得る。これは、観察される像が2重映りとなる不適視範囲ができる原因となる。しかし、この第2の発明のように、交差する画素を不適合画素とし、交差しない画素を適合画素とすることで、適視範囲では殆ど観察されない不適位置用画像が不適視範囲で観察されることになる。つまり、不適位置用画像が見える位置は立体視の不適視範囲であり、観察者は、不適位置用画像が見えなくなるように位置を変えることで、容易に適視範囲に移動することが可能となる。また、立体視表示装置の調整が不充分な場合には、適視範囲/不適視範囲に関わらず、不適位置用画像が観察され得る。つまり、この不適位置用画像が可能な限り見えないようにするという簡単な調整で、最適な調整が実現される。
【0020】
また、第3の発明として、第1の発明のプログラムであって、
前記判定手段が、前記結んだ面に交差する位置に存在する画素のうち、当該結んだ面と当該画素との交差位置の集合でなる交差線で分割される当該画素の分割面積の比率が、所定の適否条件に合致するか否かに基づいて、当該画素を前記適合画素とするか前記不適合画素とするかを判定するように前記コンピュータを機能させるためのプログラムを構成しても良い。
【0021】
この第3の発明によれば、立体視適視位置と各光学素子とを結んだ面に交差する位置に存在する画素のうち、当該結んだ面と当該画素との交差位置の集合である交差線で分割される当該画素の分割面積の比率が所定の適否条件に合致するか否かに基づいて、当該画素を適合画素とするか不適合画素とするかが判定される。具体的には、分割面積の比率が一方に偏っている場合には適合画素とし、ほぼ二分されている場合には不適合画素とすることができる。すなわち、交差線で分割される画素であっても、その交差線の位置が画素の一部にかかっているのみであり、大きい方の分割面積に対する小さい方の分割面積の比率が小さい(所定比率以下)場合には、当該画素の2重映りは殆ど生じないため、適合画素と判断して差し支えない。こういった画素まで不適合画素と判断するようにすると、適視範囲がより狭くなってしまう。そのため、観察範囲を広く取ることを優先する場合には、不適合画素は、できるだけ少なくすることが望ましい。
【0022】
また、第4の発明として、第1の発明のプログラムであって、
前記判定手段が、前記結んだ面に交差する位置に存在する画素のうち、当該画素から、対応する光学素子への射出方向と、前記立体視適視位置への方向との成す角度が、所定の適否条件に合致するか否かに基づいて、当該画素を前記適合画素とするか前記不適合画素とするかを判定するように前記コンピュータを機能させるためのプログラムを構成しても良い。
【0023】
この第4の発明によれば、立体視適視位置と各光学素子とを結んだ面に交差する位置に存在する画素のうち、当該画素から対応する光学素子への射出方向と立体視適視位置への方向とが成す角度が所定の適否条件に合致するか否かに基づいて、当該画素を適合画素とするか不適合画素とするかが判定される。具体的には、例えば、適否条件を、画素から対応する光学素子への射出方向と立体視適視位置への方向とが成す角度が所定角度以下となる条件とし、この適否条件を満たす場合には当該画素を適合画素とし、満たさない場合には不適合画素とすることができる。すなわち、立体視適視位置と各光学素子とを結んだ面に交差する位置に存在する画素であっても、当該画素から対応する光学素子への射出方向と立体視適視位置への方向とが成す角度が小さい、すなわち、射出方向と立体視適視位置への方向とが近い場合には、立体視適視位置から観察した際に当該画素の色が正しく再現され得るため、適合画素と判断することが望ましい。
【0024】
また、第5の発明として、第3又は第4の発明のプログラムであって、
前記適否条件を可変して、前記結んだ面に交差する位置に存在する画素のうち、前記適合画素と判定される画素と前記不適合画素と判定される画素との割合を可変する適否条件可変手段として前記コンピュータを機能させるためのプログラムを構成しても良い。
【0025】
この第5の発明によれば、適否条件を可変して、立体視適視位置と各光学素子とを結んだ面に交差する位置に存在する画素のうち、適合画素と判定される画素と、不適合画素と判定される画素との割合が可変される。具体的には、実際の立体視の観察か調整かに応じて、適合画素と不適合画素との割合を可変することができる。すなわち、表示パネル全体に占める不適合画素の割合が高いほど、立体視の適視範囲が狭くなる。このため、立体視の観察を行う際には、不適合画素の割合を低くすることが望ましい。一方、調整を行う際には、不適合画素の割合を高くすることで、画像中の不適位置用画像の表示面積を大きくし、調整をし易くするといったことが可能となる。
【0026】
また、第6の発明として、第1〜第5の何れかの発明のプログラムであって、
前記所与の不適位置用画像として所与の文字情報をスクロール表示する画像を生成するスクロール画像生成手段として前記コンピュータを機能させるための記載のプログラムを構成しても良い。
【0027】
この第6の発明によれば、不適位置用画像として所与の文字情報をスクロール表示する画像が生成される。これにより、文字情報として、例えばこのメッセージが見えない位置への移動を促すメッセージとすることで、観察者に、現在の位置が不適視範囲であることを知らせるとともに、適切な観察位置まで容易に移動させるといったことが可能となる。また、文字情報をスクロール表示するため、不適合画素の数が少ない場合にも、眼の残像現象によって文字情報の内容を伝えることができる。
【0028】
また、第7の発明として、第1〜第5の何れかの発明のプログラムであって、
三次元仮想空間に立体視用オブジェクトと不適合用オブジェクトとを配置する配置手段として前記コンピュータを機能させ、
前記画像生成手段が、
前記適合画素の色情報を、前記配置手段により配置された不適合用オブジェクトを除いて前記三次元仮想空間をレンダリング処理することで求める適合画素色情報算出手段と、
前記不適合画素の色情報を、前記配置手段により配置された立体視用オブジェクトを除いて前記三次元仮想空間をレンダリング処理することで求める不適合画素色情報算出手段と、
を有するように前記コンピュータを機能させるためのプログラムを構成しても良い。
【0029】
この第7の発明によれば、三次元仮想空間に立体視用オブジェクトと不適合用オブジェクトとが配置され、適合画素の色情報は、不適合用オブジェクトを除いて三次元仮想空間をレンダリング処理することで求め、不適合画素の色情報は、立体視用オブジェクトを除いて三次元仮想空間をレンダリング処理することで求められる。ここで、不適合用オブジェクトは、三次元形状であっても二次元形状であっても良い。また、このオブジェクトにテキストやマーク等のテクスチャをマッピングして構成することとしても良い。
【0030】
また、第8の発明として、第7の発明のプログラムであって、
前記配置手段が、前記不適合用オブジェクトとして板状のオブジェクトを配置するように前記コンピュータを機能させ、
所与の文字情報をスクロール表示する画像を前記不適合用オブジェクトにマッピングする文字情報スクロール表示手段として前記コンピュータを機能させる、
ためのプログラムを構成しても良い。
【0031】
この第8の発明によれば、不適合用オブジェクトとして板状のオブジェクトが配置され、所与の文字情報をスクロール表示する画像が不適合用オブジェクトにマッピングされる。
【0032】
また、第9の発明として、第7又は第8の発明のプログラムであって、
前記配置手段が、前記不適合用オブジェクトを、前記三次元仮想空間中の前記立体視用オブジェクトの位置に配置するように前記コンピュータを機能させるためのプログラムを構成しても良い。
【0033】
この第9の発明によれば、不適合用オブジェクトが、三次元仮想空間中の立体視用オブジェクトの位置に配置される。つまり、観察される立体視用オブジェクトと不適合用オブジェクトとが奥行きがほぼ等しくなるため、観察者にストレスを与えない。
【0034】
また、第10の発明として、第1〜第9の何れかの発明のプログラムを記憶したコンピュータ読取可能な情報記憶媒体を構成しても良い。
【0035】
ここで、情報記憶媒体とは、記憶されている情報をコンピュータが読み取り可能な、例えばハードディスクやMO、CD−ROM、DVD、メモリカード、ICメモリ、BD(Blueray Disk)(登録商標)等の記憶媒体である。従って、この第10の発明によれば、情報記憶媒体に記憶されている情報をコンピュータに読み取らせて演算処理を実行させることで、第1〜第9の何れかの発明と同様の効果を奏することができる。
【図面の簡単な説明】
【0036】
【図1】垂直レンチキュラ方式の立体映像表示装置の概略構成図。
【図2】斜めレンチキュラ方式の立体視映像表示装置の概略構成図。
【図3】表示面に対する座標系設定の説明図。
【図4】想定観察位置が「正面」であることの説明図。
【図5】垂直レンチキュラ方式の立体視映像表示装置における想定観察位置が「正面」の場合の視線の決定の説明図。
【図6】垂直レンチキュラ方式の立体視映像表示装置における想定観察位置が「正面」の場合の視線の決定の説明図。
【図7】斜めレンチキュラ方式の立体視映像表示装置における想定観察位置が「正面」の場合の視線の決定の説明図。
【図8】斜めレンチキュラ方式の立体視映像表示装置における想定観察位置が「正面」の場合の視線の決定の説明図。
【図9】画素別視点の設定の説明図。
【図10】画素の色情報の算出の説明図。
【図11】斜めレンチキュラ方式における境界画素の説明図。
【図12】オブジェクト空間の設定の説明図。
【図13】不適合用オブジェクトのみを配置した場合の立体視画像の一例。
【図14】立体視用オブジェクト及び不適合用オブジェクトを配置した場合の立体視画像の一例。
【図15】立体視画像生成装置の構成図。
【図16】諸元データのデータ構成例。
【図17】画素データのデータ構成例。
【図18】立体視画像生成処理のフローチャート。
【図19】斜めパララックスバリアの平面図。
【図20】レンズの境界線による分割比率に応じた適合画素/不適合画素の判断の説明図。
【図21】(a)斜め5眼式の立体視映像表示装置の平面図、(b)斜め7眼式の立体視映像表示装置の平面図。
【図22】「ピッチが合う/合わない」ことの説明図。
【図23】蝿の目レンズアレイの平面図。
【図24】ピンホールアレイの平面図。
【図25】想定観察位置を斜め上方とした場合の説明図。
【図26】FV方式による立体視画像生成の概要図。
【図27】画素に対応するレンズの決定の説明図。
【図28】境界画素の説明図。
【図29】立体視の適視範囲/不適視範囲の概要図。
【発明を実施するための形態】
【0037】
以下、図面を参照して本発明の好適な実施形態を説明する。なお、各図面では、光線の方向を明確に示すために、あえて断面部分にハッチングを描いていない。また、以下では、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置に表示させる立体視画像を生成する場合について説明するが、本発明の適用がこれに限定されるものではない。
【0038】
[立体視画像の生成原理]
本実施形態では、レンチキュラ方式の立体視映像表示装置に表示させる立体視画像を生成する。レンチキュラ方式の立体視映像表示装置とは、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置であり、平面液晶ディスプレイ等のフラットパネルディスプレイの表示面から一定の距離にレンチキュラレンズアレイが装着され、観察者がレンチキュラレンズアレイを介して表示面に表示された画像を見る(観察する)ことで、観察者に立体視を認識せしめる表示装置である。
【0039】
ディスプレイに表示させる立体視画像の生成方式であるFV方式について説明する。FV方式では、図26に示したように、表示面22の画素PE毎に、(1)該画素PEの代表点(例えば、画素PEの中心)と該画素PEに対応するレンズ(光学素子)の主点とを通過した後の光線の逆方向を視線方向とする視線Vを決定し、(2)決定した視線Vの視線方向にある物体の色情報を該画素PEの色情報とする(レンダリング)、ことで立体視画像を生成する。
【0040】
(1)視線Vの決定
視線Vは、立体視画像を表示させることとなる立体視映像表示装置の構成パラメータ(後述するように、画素パネルとレンズ板との相対的な配置関係や画素パネルの画素ピッチ、レンズ板のレンズピッチや焦点距離等)と、想定した観察者の位置(以下、「想定観察位置」という)とに基づいて決定する。具体的には、画素PE毎に、立体視映像表示装置の構成パラメータ及び想定観察位置に基づいて該画素PEに対応するレンズ(光学素子)を決定し、該画素PEの代表点と決定した該画素PEに対応するレンズの主点とを通過した後の光線(代表光線)を算出する。そして、その代表光線PRと位置は同じで方向を逆にした視線を該画素の視線Vとして決定する。なお、想定観察位置は、立体視映像表示装置の表示面に対する相対的な観察者の視点の位置とする。
【0041】
立体視映像表示装置は、表示面とレンチキュラレンズアレイとの配置関係によって、(A)垂直レンチキュラ方式、(B)斜めレンチキュラ方式、の2種類に分類される。
【0042】
(A)垂直レンチキュラ方式の立体視映像表示装置
図1は、垂直レンチキュラ方式の立体視映像表示装置200Aの概略構造を示す図である。同図(a)は、立体視映像表示装置200Aの表示面に対する横方向(水平走査方向)断面図を示し、同図(b)は、観察者側から見た平面図を示している。
【0043】
同図によれば、立体視映像表示装置200Aは、主に、バックライト10と、画素パネル20と、レンズ板30とを備えて構成される。バックライト10、画素パネル20及びレンズ板30は、それぞれ板状体であって互いに平行に配置されている。
【0044】
バックライト10は光を出射し、その光は画素パネル20とレンズ板30とを通過して立体視映像表示装置200Aの外に進行する。すなわち、観察者は、レンズ板30を介して画素パネル20に表示される画像を見ることになる。
【0045】
画素パネル20は、画素(ピクセル)が一定の配列で配置されたカラー表示可能なディスプレイであり、レンズ板30と組み合わせることで立体視が可能となるものであれば種類は問わない。例えば、カラーフィルタ方式の液晶ディスプレイ、プラズマディスプレイ、無機ELディスプレイ或いは有機ELディスプレイ等がある。また、カラーフィルタを用いないものでも、単色発光素子を配列した有機ELディスプレイやLEDディスプレイのように、赤(R)、緑(G)及び青(B)等の単色に自発光する素子を配置したディスプレイであっても適用可能である。また、いわゆる同色に発光する画素が配置されたモノクロディスプレイであっても構わず、更には、R(赤)、G(緑)、B(青)以外の色の画素を持ったディスプレイであっても構わない。また、画素の配置については、格子状は勿論、画素の代表点の座標を求めることが可能なものであれば、デルタ配列やその他の配列であっても構わない。
【0046】
レンズ板30は、一方の面が、断面半円筒状(蒲鉾型)若しくはこれと光学的に等価な光学素子であるマイクロレンズ(以下、単に「レンズ」という)32が連接して成る凹凸面であり、他方の面が略平面状のレンチキュラレンズアレイである。レンズ板30の各レンズ32は、表示面22の各画素PEから射出される光線(射出光線)に指向性を与える働きをする。
【0047】
また、レンズ板30は、平面が画素パネル20の表示面22に対向し、且つ、レンズ板30の主点面と表示面22との間の距離Gが各レンズ32の焦点距離Fにほぼ一致するように配置されている。
【0048】
画素パネル20及びレンズ板30をこのように配置させることで、各レンズ32の焦点が画素パネル20の表示面22の一点に位置し、該焦点が位置する画素PEがレンズ32によって拡大されて見えることになる。なお、光学的にほぼ等価であるとみなせる場合には、レンズ板30の凹凸面を画素パネル20の表示面22に対向するように配置しても良い。
【0049】
また、レンズ板30は、同図(b)に示すように、各レンズ32の主点線36(主点の集合。レンチキュラレンズ板のマイクロレンズは断面円筒形状(蒲鉾型)であるため、主点の集合は直線となる)の方向が画素パネル20の縦方向の画素配列方向(鉛直走査方向)に一致するように配置される。同図(b)において、線32aはレンズ板30の各レンズ32の境界線(端部)を示している。
【0050】
また、FV方式の立体視映像表示装置では、レンズ板30は、レンズピッチが画素パネル20の画素ピッチと合わない(以下、単に「ピッチが合わない」という)ように設計されている。すなわち、図22において次式(1)が成立しない。
m・λ=n・σ ・・・(1)
式(1)において、「σ」は、実際(或いは、想定した)の観察者の視点から見た1つの画素PEに対する視角(対画素視角)である。「λ」は、この画素PEの射出光線に指向性を与える1つのレンズ32に対する視角(対レンズ視角)である。また、「m」及び「n」は自然数である。
【0051】
図22は、本実施形態の立体視映像表示装置の表示面に対する横方向断面図を示している。同図に示すように、実際に観察者が立体視映像表示装置に表示された立体視画像を見る場合、観察者の視点は表示面22から有限距離に位置する。つまり、表示面22の場所によって観察者の視線方向が異なり、このため、レンズ32と画素PEとの対応関係がずれる。
【0052】
なお、対画素視角σは式(2a)で与えられ、対レンズ視角λは次式(2b)で与えられる。
tanσ=S/(D+F) ・・・(2a)
tanλ=L/D ・・・(2b)
式(2a),(2b)において、「S」は画素パネル20のサブピクセル単位での画素ピッチの長さであり、「D」は観察者の視点とレンズの主点面との間の距離であり、「L」はレンズ32のレンズピッチの長さである。
【0053】
つまり、式(1)が成立するのは、対レンズ視角λのm倍が対画素視角σのn倍に一致する、すなわち、観察者の視点から見た実質的なレンズピッチL´のm倍が画素ピッチSのn倍に一致する場合であり、その場合が「ピッチが合う」状態であるといえる。逆に、一致しない場合が「ピッチが合わない」状態であるといえる。実質的なレンズピッチL´は、次式(3)で与えられる。
L´=L×(D+F)/D ・・・(3)
【0054】
(B)斜めレンチキュラ方式の立体視映像表示装置
図2は、斜めレンチキュラ方式の立体視映像表示装置200Bの概略構造を示す図である。同図(a)は、立体視映像表示装置200Bの表示面に対する横方向(水平走査方向)断面図を示し、同図(b)は、観察者側から見た平面図を示している。
【0055】
斜めレンチキュラ方式の立体視映像表示装置では、画素パネル20の画素配列方向に対してレンズ板30の主点線36の方向(レンズ32の境界線32a)が斜めに配置されるため、レンズ板30を介して画素パネル20を見たときに視認される映像に生じるモアレを分散させて目立たなくさせることが知られている。
【0056】
同図によれば、立体視映像表示装置200Bは、垂直レンチキュラ方式の立体視映像表示装置200Aと同様に、主に、板状体であって互いに平行配置されたバックライト10と、画素パネル20と、レンズ板30とを備えて構成される。
【0057】
そして、斜めレンチキュラ方式の立体視映像表示装置200Bでは、レンズ板30は、同図(b)に示すように、主点線36の方向が画素パネル20の縦方向の画素配列方向(鉛直走査方向)に対して角度θを成すように配置されている。従って、同図(a)に示す断面図におけるレンズピッチ(画素パネル20の画素ピッチ方向に沿ったレンズの幅)Mは、次式(4)で与えられる。
M=L/cosθ ・・(4)
また、レンズ板30は、同図(a)に示す断面図におけるレンズピッチMと画素パネル20の画素ピッチSとが合わないように配置されている。
すなわち、次式(5)が成立しない。
m・μ=n・σ ・・・(5)
式(5)において、「μ」は、式(2b)において、L←M、として与えられる、斜めに配置したレンズに対する対レンズ視角λである。
【0058】
つまり、式(5)が成立するのは、対レンズ視角μのm倍が対画素視角σのn倍に一致する、すなわち、観察者の視点から見た実質的なレンズピッチM´のm倍が画素ピッチSのn倍に一致する場合であり、その場合が「ピッチが合う」状態であるといえる。逆に、一致しない場合が「ピッチが合わない」状態であるといえる。実質的なレンズピッチM´は、次式(6)で与えられる。
M´=M×(D+F)/D ・・・(6)
なお、式(2a),(3),(6)におけるレンズの焦点距離「F」は、レンズの主点面と画素面との距離「G」とした方が適切であるが、距離Gの精確な測定は困難な場合もあり、また、理想的には、距離Gは焦点距離Fにできる限り近づけることが望ましいため、式(2a),(3),(6)では焦点距離Fを用いた。
【0059】
このように、FV方式では、ピッチが合っていない(すなわち、式(1),(5)が成立しない)立体視映像表示装置において立体視を可能ならしめる。従って、個々のディスプレイの画素ピッチに合ったレンチキュラレンズ板を製造する必要が無くなり、既製のレンチキュラレンズ板を種々のディスプレイに適用できることとなって、レンズ板のコストを大幅に下げるという効果が得られる。また、選択可能な複数のレンズ板から最も目的に合ったものを選ぶこともできる。更には、斜めレンチキュラ方式を採用する場合に、斜めの角度θも自由に設定できる。具体的には、新たなレンズを製造することなく、画素パネルに対するレンズ板の斜めの配置角度θを調節するだけで、モアレや色縞を軽減することができる。
【0060】
ここで、表示面22の座標系を、図3に示すように定義する。すなわち、表示面22の水平走査方向(横方向)に沿った方向をx軸方向とし、鉛直走査方向(縦方向)に沿った方向をy軸方向とし、表示面22から観察者側へ垂直に向かう方向をz軸正方向とする。
【0061】
また、想定観察位置40を、図4に示すように、立体視映像表示装置の表示面22に対して「正面」に設定する。「正面」の想定観察位置40とは、表示面22の中心Oを通過する観察視線方向が、表示面22に対して垂直となる位置である。以下、この想定観察位置40と表示面22との間の距離Dを「想定観察距離D」という。そして、想定観察位置40を「正面且つ有限距離の定位置」とした場合の視線Vの決定方法を、垂直/斜めレンチキュラ方式の立体視映像表示装置それぞれについて説明する。なお、以下では、1つの画素PEについての視線Vの決定方法を説明するが、他の画素PEについても勿論同様に決定できる。
【0062】
(A)垂直レンチキュラ方式の立体視映像表示装置
立体視映像表示装置が垂直レンチキュラ方式である場合の視線Vの決定方法を、図5,6を参照して説明する。図5は、垂直レンチキュラ方式の立体視映像表示装置200Aの部分概略斜視図である。また、図6は、立体視映像表示装置200Aの概略三面図であり、同図(a)は、図5のx−z平面に平行なA−A´位置での断面図(水平走査方向断面図)を示し、図6(b)は、図5のy−z平面に平行なB−B´位置での断面図(鉛直方向断面図)を示し、図6(c)は、x−y平面図を示している。なお、レンズ板30及び画素パネル20は、レンズ板30の各レンズ32の焦点距離Fを隔てて平行配置されている。
【0063】
先ず、対象画素PEに対応するレンズ32を決定する。具体的には、図6(a)において、想定観察位置40からレンズ板30の各レンズ32を画素パネル20の表示面22に投影して(すなわち、想定観察位置40から各レンズ32の境界線へと向かう面(同図では、線)によって)、表示面22を各レンズ32の投影領域に分割する。そして、対象画素PEの代表点がどの投影領域に属するかによって対応するレンズ32を決定する。但し、同図(a)は、対象画素PEの代表点を通過する断面図である。
【0064】
同図(a)では、表示面22は、レンズ32−7の投影領域26−7と、レンズ32−8の投影領域26−8と、レンズ32−9の投影領域26−9と、・・・、に分割される。そして、対象画素PEの代表点は投影領域26−7に属しているので、この対象画素PEに対応するレンズ32はレンズ32−7となる。
【0065】
次に、対象画素PEの代表点と、対象画素PEに対応するレンズ32の主点とを通過した後の代表光線を算出し、算出した代表光線と位置は同じで方向を逆にした視線を対象画素の視線Vとする。具体的には、図6(b)において、対象画素PEの代表点と想定観察位置40とを結ぶ直線LN1と、レンズ板30の主点面(各レンズ32の主点を含む面。表示面22に平行な平面である)35との交点のy座標を算出する。算出したy座標を「y1」とする。但し、同図(b)は、対象画素PEの代表点を通過する断面図である。次いで、対象画素PEに対応するレンズ32−1の主点線36の内、y座標が「y1」である点を算出し、これを代表主点36cとする。そして、対象画素PEの代表点と、この代表主点36cとを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を対象画素PEに対応する視線Vとする。
【0066】
(B)斜めレンチキュラ方式
次に、立体視映像表示装置が斜めレンチキュラ方式である場合の視線Vの決定方法を、図7,8を参照して説明する。図7は、斜めレンチキュラ方式の立体視映像表示装置200Bの部分概略斜視図である。また、図8は、立体視映像表示装置200Bの概略三面図であり、同図(a)は、図7のx−z平面に平行なC−C´位置での断面図(横方向断面図)を示し、図8(b)は、図7のy−z平面に平行なD−D´位置での断面図(縦方向断面図)を示し、図8(c)は、x−y平面図を示している。なお、画素パネル20及びレンズ板30は、レンズ板30の各レンズ32の焦点距離Fを隔てて平行配置されている。
【0067】
先ず、図8(b)において、対象画素PEの代表点と想定観察位置40とを結ぶ直線LN2と、レンズ板30の主点面35との交点のy座標を算出する。算出したy座標を「y2」とする。但し、同図(b)は、対象画素PEの代表点を通過する断面図である。
【0068】
次いで、図8(a)において、想定観察位置40から各レンズ32を表示面22に投影して、表示面22を各レンズ32の投影領域に分割する。そして、対象画素PEの代表点がどの投影領域に属するかによって対応するレンズ32を決定する。但し、同図(a)は、y座標が先に算出した「y2」である断面図である。
【0069】
同図(a)では、表示面22は、レンズ32−10の投影領域26−10と、レンズ32−11の投影領域26−11と、レンズ32−12の投影領域26−12と、・・・、に分割される。そして、対象画素PEの代表点は投影領域26−10に属しているので、この対象画素PEに対応するレンズ32はレンズ32−10となる。
【0070】
続いて、対象画素PEに対応するレンズ32の主点線36の内、y座標が「y2」である点を算出し、これを代表主点36dとする。そして、対象画素PEの代表点と、この代表主点36dとを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を対象画素PEの視線Vとする。
【0071】
このように、各画素に対応する視線Vを決定した後、図9に示すように、決定した視線Vを基に、仮想カメラに相当する画素別視点CMを画素PE毎に設定する。すなわち、画素別視点CMは、画素別視線Vの情報と位置の情報とを含む。なお、ここでは、画素PEに該画素PEに対応する画素別視点CMを設定するが、画素別視点CMを特に設定せず、全画素PEについての視線Vに共通なz方向の描画範囲を設定し、各視線Vについて描画を行うこととしても良い。
【0072】
図9は、画素別視点CMの設定を説明するための図であり、表示面22の一部横方向断面図を示している。同図に示すように、各画素PE(PE1,PE2,・・・)の画素別視点CM(CM1,CM2,・・・)は、その視線方向が対応する視線V(V1,V2,・・・)となるように設定する。また、各画素別視点CMと表示面22との間の距離は、例えば同図に示すように、表示面22に平行な同一平面上に位置するように設定する。
【0073】
同図では、画素PE1,PE2,・・・、のそれぞれの視線Vは視線V1,V2,・・・、である。従って、画素PE1の画素別視点CMは、視線V1がその視線方向の画素別視点CM1となる。また、画素PE2の画素別視点CMは、視線V2がその視線方向の画素別視点CM2となる。更に、画素PE3,PE4,・・・、についても同様に、それぞれの画素別視点CMは、視線V3,V4,・・・、がその視線方向の画素別視点CM3,CM4,・・・、となる。
【0074】
(2)レンダリング
各画素PEの画素別視点CMを設定した後、設定した各画素別視点CMを基に三次元仮想空間をレンダリングすることで立体視画像を生成する。具体的には、画素PE毎に、該画素PEに対応する画素別視点CMの視線方向のオブジェクト空間の色情報(RGB値やα値等)を算出し、算出した色情報を該画素PEの色情報とすることで立体視画像を生成する。
【0075】
図10は、色情報の算出を説明する図であり、表示面22の一部横方向断面図を示している。同図に示すように、表示面22の各画素PEについて、対応する画素別視点CMの視線方向のオブジェクト空間の色情報を算出し、算出した色情報を該画素PEの色情報とする。色情報の算出方法としては、例えば画素別視点CMからその視線方向に沿った光線を基に決定する、いわゆるレイトレーシング法等によって実現される。
【0076】
同図では、画素PE1,PE2,・・・、のそれぞれの画素別視点は画素別視点CM1,CM2,・・・、である。従って、画素PE1の色情報は、画素別視点CM1の視線方向のオブジェクト空間の色情報となり、また、画素PE2の色情報は、画素別視点CM2の視線方向のオブジェクト空間の色情報となる。更に、画素PE3,PE4,・・・、のそれぞれについても同様に、対応する画素別視点CM3,CM4,・・・、の視線方向のオブジェクト空間の色情報が該画素PE3,PE4,・・・、の色情報となる。
【0077】
このように、FV方式では、表示面の画素PE毎に、(1)視線Vを決定し、(2)決定した視線Vの視線方向の色情報を該画素PEの色情報とする(レンダリングする)、ことで立体視画像を生成する。
【0078】
ところで、FV方式では、レンズ板30の各レンズ32を画素パネル20の表示面に投影して各画素PEに対応するレンズ32を決定するが、画素パネル20の画素ピッチとレンズ板30のレンズピッチとが合っていないため、投影されたレンズ32の境界線と交差する画素PE(以下、「境界画素」という)が存在する。この境界画素によって、不適視範囲ができる。なお、境界画素に対応するレンズ32は、当該画素の代表点が含まれるレンズ32とする。
【0079】
図11は、斜めレンチキュラ方式の立体視映像表示装置200における画素パネル20の平面図である。同図に示すように、画素パネル20の画素PEのうち、境界線に沿って斜めに配列された画素PE(同図中、網掛け表示されている)が境界画素となる。本実施形態では、画素パネル20の画素PEのうち、不適合画素以外の画素についてのみ、立体視用の画像の描画に適合した画素(適合画素)として、立体視用のオブジェクトを描画する。そして、境界画素については、立体視用の画像の描画に不適合な画素(不適合画素)であるとして、立体視用のオブジェクトとは異なる所定のオブジェクトを描画する。
【0080】
具体的には、図12に示すように、オブジェクト空間において2つのオブジェクトOB1,OB2を配置する。オブジェクトOB1は、立体視したいオブジェクト(立体視用オブジェクト)である。オブジェクトOB2は、観察者に不適視範囲であることを知らせるためのオブジェクト(不適合用オブジェクト)であり、具体的には、板状オブジェクトに、不適視範囲であることを知らせる所定メッセージのテキストをスクロール表示する画像をマッピングして構成される。このスクロール表示は、いわゆるスクロールサインといった文字情報の看板と同様の表示である。そして、オブジェクトOB2は、その表示面を画素パネル20に対向させるとともに、その代表点の位置をオブジェクトOB1の代表点の位置に略一致させて、オブジェクト空間に配置される。オブジェクトOB1,OB2の位置を一致させることで、オブジェクトOB1,OB2の奥行きが一致するため、オブジェクトOB1からオブジェクトOB2へ、或いはその逆にオブジェクトOB2からオブジェクトOB1へといった観察対象を変更しようとした場合に、眼の焦点(より正確には、視差)の状態を変更せずに済むため、観察者が立体視画像を観察する際に疲れない。勿論、奥行き値の変化によって注意を促したい場合には、オブジェクトOB1とオブジェクトOB2との表示位置を、あえて明確に変えても良い。例えば、オブジェクトOB1の手前に雪が降っているかのようにオブジェクトOB2を表示することで、注意を喚起するような手法を用いても良い。
【0081】
そして、レンダリングの際には、画素パネル20の画素PEのうち、適合画素(境界画素以外の画素PE)については、オブジェクト空間にはオブジェクトOB1のみが存在するとして当該画素PEの色情報を決定する。また、不適合画素(境界画素)については、オブジェクト空間にはオブジェクトOB2のみが存在するとして当該画素PEの色情報を決定する。つまり、適合画素については、オブジェクトOB1を配置したオブジェクト空間をレンダリングした立体視画像の立体視画像の該当する画素の色情報が設定され、不適合画素については、オブジェクトOB2を配置したオブジェクト空間をレンダリングした不適視範囲用画像の該当する画素の色情報が設定される。
【0082】
図13は、オブジェクト空間にオブジェクトOB2のみを配置して生成した画像(不適視範囲画像)の一例である。但し、オブジェクトOB2を各画素別視点CMの画角より十分大きくして表示画面よりも大きくし、表示画面にはその一部が表示されるようにしている。同図に示すように、不適視範囲画像では、画像を構成する画素(ドット)のうち、斜めレンチキュラレンズの各レンズの境界線に該当する、左上から右下に向かって斜め方向に配列された画素(不適合画素)に、オブジェクトOB2が描画されている。すなわち、同図では、白く表示された画素(ドット)がオブジェクトOB2を描画した画素であり、画像全体としては、画像の上部にテキスト「N」,「A」,「M」が、下部にテキスト「G」が、それぞれ表示されている。
【0083】
図14は、オブジェクト空間にオブジェクトOB1,OB2を配置して生成した画像(立体視画像)の一例である。同図に示すように、立体視画像では、画像を構成する画素のうち、斜めレンチキュラレンズの各レンズの境界線に該当する、左上から右下に向かって斜め方向に配列された画素にオブジェクトOB2が描画され、これ以外の画素にオブジェクトOB1が描画されている。すなわち、オブジェクトOB1として、画像の中央に、複数の立方体を組み合わせた立体的なオブジェクトが描画されているとともに、オブジェクトOB2として、画像の上部にテキスト「N」,「A」,「M」が、下部にテキスト「G」が、それぞれ描画されている。
【0084】
このように生成される立体視画像を立体視映像表示装置200に表示させて観察すると、適視範囲では、オブジェクトOB1が立体的に見えるが、オブジェクトOB2はほとんど見えない。なお、原理的には、適視範囲内ではオブジェクトOB2は完全に見えなくなる。但し、現実には、レンズピッチやディスプレイの画素ピッチの製造時における不均一性や、調整時の誤差による影響のため、完全に見えなくはならない。一方、不適視範囲では、適視範囲に比較して、オブジェクトOB1が見え難くなるとともに、オブジェクトOB2がはっきりと見えるようになる。このような場合には、観察者は、オブジェクトOB2が殆ど見えなくなるような位置に移動することで、不適視範囲から適視範囲に移動することができる。このとき、オブジェクトOB2自体を、適視範囲への移動を促すような情報(例えば、「この文字が見えない位置まで移動してください」という文字列)とすることで、観察者に対して不適視範囲から適視範囲へ移動させることができる。
【0085】
また、FV方式の立体視では、画素パネル20の画素ピッチとレンズ板30のレンズピッチとが合っていなくとも良いが、画素ピッチやレンズピッチ、レンズ板30の斜めの配置角度θといった立体視映像表示装置200の諸元値を精確に設定する必要がある。諸元値が精確な値に設定されていない場合、適視範囲であっても、諸元値が精確な場合と比較してオブジェクトOB2がはっきりと見えてしまう。この場合、観察者は、適視範囲と思われる位置(例えば、画素パネル20に対して正面の位置)で、オブジェクトOB2が最も見えなくなるように諸元値を調整することで、諸元値を精確な値に設定することができる。
【0086】
[立体視画像生成装置]
次に、上述した原理に基づく立体視画像生成装置について説明する。かかる立体視画像生成装置は、動画の立体視を実現する立体視画像を生成するものである。
【0087】
図15は、本実施形態における立体視画像生成装置1の構成を示すブロック図である。同図によれば、立体視画像生成装置1は、入力部100と、立体視映像表示装置200と、処理部300と、記憶部400とを備えて構成される。
【0088】
入力部100は、ユーザによる操作指示を受け付け、操作に応じた操作信号を処理部300に出力する。この機能は、例えばボタンスイッチやレバー、ジョイスティック、ダイヤル、マウス、トラックボール、キーボード、タブレット、タッチパネル、各種センサ等の入力装置によって実現される。
【0089】
立体視映像表示装置200は、立体視画像生成部320により生成された立体視画像を表示して観察者に立体視映像を認識せしめる表示装置である。本実施形態では、例えば図2に示した垂直レンチキュラ方式の立体視映像表示装置200A、或いは、例えば図4に示した斜めレンチキュラ方式の立体視映像表示装置200Bの何れかにより実現される。
【0090】
ここで、立体視映像表示装置200についての諸元(構成パラメータ)は、諸元データ420に格納されている。図16は、諸元データ420のデータ構成の一例を示す図である。同図によれば、諸元データ420は、立体視映像表示装置200を構成する画素パネル20の画素ピッチ421と、レンズ板30のレンズピッチ422及び焦点距離423と、画素パネル20に対するレンズ板30の配置角度424とを格納する。配置角度424は、画素パネル20の画素ピッチ情報とレンズ板のレンズピッチ方向とのが成す角度θである。すなわち、立体視映像表示装置200が垂直レンチキュラ方式の場合には、配置角度θは「0°」となり、斜めレンチキュラ方式の場合には、配置角度θは「0°」以外となる。なお、この諸元データ420は、入力部100からの変更指示に従って任意に変更可能となっている。
【0091】
処理部300は、立体視画像生成装置1全体の制御や画像生成等の各種演算処理を行う。この機能は、例えばCPU(CISC型、RISC型)、ASIC(ゲートアレイ等)等の演算装置やその制御プログラムにより実現される。特に、本実施形態では、処理部300は、三次元仮想空間であるオブジェクト空間を設定するオブジェクト空間設定部310と、オブジェクト空間設定部310により設定されたオブジェクト空間の立体視画像を生成する立体視画像生成部320とを含む。
【0092】
立体視画像生成部320は、画素別視点設定部322と、色情報算出部324とを含み、記憶部400に記憶されている立体視画像生成プログラム410に従った処理を実行することで、オブジェクト空間設定部310により設定されたオブジェクト空間の立体視画像を生成し、生成した立体視画像を立体視映像表示装置200に表示させる。
【0093】
画素別視点設定部322は、立体視映像表示装置200の諸元や想定観察位置40をもとに、オブジェクト空間に画素別視点CMを設定する。すなわち、想定観察位置40から、立体視映像表示装置200のレンズ板30の各レンズ32を画素パネル20の表示面22に投影して、画素パネル20の各画素PEに対応するレンズ32を決定する。また、画素パネル20の画素PEそれぞれについて、想定観察位置40から投影したレンズ板30のレンズ32の境界線に対応する画素(境界画素)であるかを判断する。そして、画素パネル20の画素PEそれぞれについて、当該画素PEの代表点と、該画素PEに対応するレンズ32の主点(詳細には、代表主点)とを通過した後の代表光線PRを算出し、この代表光線PRと位置は同じで方向を逆にした視線を該画素PEの視線Vとする。
【0094】
このとき、画素PEに対応するレンズ32及び視線Vの決定は、立体視映像表示装置200に応じた方法で行う。すなわち、垂直レンチキュラ方式の立体視映像表示装置200Aであれば、図5,6を参照して説明したように行い、斜めレンチキュラ方式の立体視映像表示装置200Bであれば、図7,8を参照して説明したように行う。
【0095】
そして、画素別視点設定部322は、各画素PEについて、算出した視線Vを視線方向とする画素別視点CMを設定する。また、画素別視点CMの位置は、立体視画像生成部320によって決定された設定基準位置を基に設定する。具体的には、例えば図9に示したように、表示面22に平行な同一面上に各画素別視点CMを設定する。
【0096】
ここで、想定観察位置40は、想定観察位置データ430に格納されている。具体的には、立体視映像表示装置200の画素パネル20の表示面22と想定観察位置40との間の想定観察距離Dが格納されている。なお、この想定観察位置データ430は、ユーザによる入力部100からの操作指示に従って変更されることとしても良い。
【0097】
また、画素パネル20の各画素PEについてのデータは、画素データ440に格納される。図17は、画素データ440のデータ構成の一例を示す図である。同図によれば、画素データ440は、立体視映像表示装置200の画素パネル20の画素441それぞれについて、レンズ板30を構成するレンズ32のうちの対応するレンズ442と、境界画素フラグ443と、画素別視点444とを対応付けて格納している。境界画素フラグ443は、対応する画素PEが境界画素であるか否かを示すフラグである。
【0098】
色情報算出部324は、画素別視点設定部322により設定された画素別視点CMに基づいて、画素パネル20の各画素PEの色情報を算出する。具体的には、画素パネル20の画素PEのうち、適合画素(境界画素でない画素PE)については、オブジェクト空間にはオブジェクトOB2が存在しないとして、当該画素PEに設定された画素別視点CMの視線方向のオブジェクト空間の色情報を算出し、当該画素PEの色情報とする。また、不適合画素(境界画素)については、オブジェクト空間にはオブジェクトOB1が存在しないとして、同様に、当該画素PEに設定された画素別視点CMの視線方向のオブジェクト空間の色情報を算出し、当該画素PEの色情報とする。
【0099】
色情報算出部324により算出された各画素PEの色情報は、フレームバッファ460の該当位置に書き込まれる。フレームバッファ460は、立体視画像生成部320により生成された1フレーム分の画像データ(詳細には、各画素の色情報)を格納するメモリであり、立体視映像表示装置200の画素パネル20の解像度や色数に応じて用意される。
【0100】
記憶部400は、処理部300に立体視画像生成装置1の統合的に制御させるためのシステムプログラムやデータ等を記憶するとともに、処理部300の作業領域として用いられ、処理部300が各種プログラムに従って実行した演算結果や入力部100から入力される入力データ等を一時的に記憶する。この機能は、例えば各種ICメモリやハードディスク、フロッピー(登録商標)ディスク、CD−ROM、DVD、MO、RAM、VRAM、BD(Blueray Disk)(登録商標)等によって実現される。
【0101】
特に、本実施形態では、記憶部400は、処理部300を立体視画像生成部320として機能させるための立体視画像生成プログラム410と、諸元データ420と、想定観察位置データ430と、画素データ440と、オブジェクト情報450とを記憶するとともに、立体視画像生成部320により生成された画像のデータを格納するフレームバッファ460を備えている。
【0102】
オブジェクト情報450は、オブジェクト空間設定部310により設定されるオブジェクト空間に設定されるオブジェクトについてのデータであり、具体的には、オブジェクトOB1,OB2それぞれのモデルデータや、当該オブジェクトにマッピングされる画像のデータ、オブジェクトOB2にスクロール表示される文字情報のデータ等を含む。
【0103】
[処理の流れ]
図18は、本実施形態における立体視画像生成処理の流れを示すフローチャートである。この処理は、1フレーム毎に立体視画像を生成して表示させる、すなわちリアルタイムな動画の立体視を実現させる処理であり、立体視画像生成部320が記憶部400の立体視画像生成プログラム410を実行することで実現される。
【0104】
同図によれば、立体視画像生成部320は、先ず、立体視映像表示装置200の諸元を初期設定する(ステップS1)。この諸元の初期設定は、予め定められた所定値としても良いし、或いは、ユーザの入力指示に従って行うこととしても良い。次いで、画素別視点設定部322が、画素別視点CMの設定位置の基準となる基準位置(設定基準位置)を決定する(ステップS3)。続いて、立体視映像表示装置200の画素パネル20の各画素PEを対象としてループAの処理を実行することで、各画素PEの画素別視点CMをオブジェクト空間に設定する。
【0105】
ループAでは、画素別視点設定部322が、処理対象となっている画素PE(以下、「該画素」という)に対応するレンズ32を決定する(ステップS5)。すなわち、想定観察位置40からレンズ板30の各レンズ32を画素パネル20の表示面に投影して、当該画素PEに対応するレンズ32を決定する。また、当該画素が境界画素であるか否か、すなわち投影したレンズ32の境界線に対応するかを判断する(ステップS7)。次いで、該画素PEの代表点と、該画素PEに対応するレンズ32の主点(代表主点)とを通過した後の光線(代表光線)PRを算出し、その代表光線PRと位置は同じで方向を逆にした視線を視線Vとする。そして、その視線Vの方向を視線方向とする画素別視点CMを設定する(ステップS9)。ループAはこのように実行される。
【0106】
画素パネル20の全画素PEを処理対象としてループAの処理を行うと、ループAを終了する。ループAを終了すると、続いて、1フレーム(例えば、1/60秒)毎にループBの処理を実行する。ループBでは、先ず、オブジェクト空間設定部310によりオブジェクト空間が設定される(ステップS11)。オブジェクト空間には、立体視用のオブジェクトOB1と、不適合用のオブジェクトOB2とが配置されて構成される。
【0107】
続いて、立体視画像生成部320は、画素パネル20の各画素PEを対象としてループCの処理を実行する。ループCでは、色情報算出部324が、処理対象となっている画素PE(該画素)が境界画素であるか否かを判断する。境界画素でないならば(ステップS13:NO)、オブジェクト空間にはオブジェクトOB1のみが存在するとして、該画素PEの画素別視点CMの視線方向のオブジェクト色情報を算出し、該画素PEの色情報としてフレームバッファ460の該当位置に書き込む(ステップS17)。一方、境界画素ならば(ステップS13:YES)、オブジェクト空間にはオブジェクトOB2のみが存在するとして、該画素PEの画素別視点CMの視線方向のオブジェクト空間の色情報を算出し、該画素の色情報としてフレームバッファ460の該当位置に書き込む(ステップS15)。ループCはこのように実行される。
【0108】
そして、画素パネル20の全画素PEを対象としてループCの処理を行うと、ループCを終了する。ループCが終了すると、次いで、立体視画像生成部320は、フレームバッファ460に格納されている1フレーム分の画像を、立体視画像として立体視映像表示装置200に表示させる(ステップS19)。また、入力部100から立体視映像表示装置200の諸元の変更指示が入力されたかを判断し、諸元の変更指示が入力されたならば(ステップS21:YES)、入力指示に従って諸元を変更した後(ステップS25)、ステップS3に戻る
このように、1フレーム毎にループBの処理を繰り返し実行することで、動画の立体視が実現される。そして、例えば入力部100から立体視画像の生成終了指示が入力される等して立体視画像の生成終了が指示されると(ステップS23:YES)、立体視画像生成部320はループBを終了する。そして、画像生成処理を終了する。
【0109】
[変形例]
なお、本発明の適用は上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。例えば、次の変形例が挙げられる。
【0110】
(A)レンズ板
また、上述した実施形態では、光学素子群としてレンチキュラレンズアレイを用いた立体視映像表示装置の場合を説明したが、他の光学素子アレイとしても良い。
【0111】
(A−1)パララックスバリアアレイ
例えば、パララックスバリアアレイとしても良い。図19は、パララックスバリアアレイの一例を示す図であり、特に、バリア開口部が斜めに形成された斜めパララックスバリアを示している。パララックスバリアアレイとは、光を遮蔽する遮光板(バリア)に光を透過させるためのスリット状のバリア開口部(光学素子)が等間隔で多数設けられたものである。すなわち、スリット状のバリア開口部を有する単位パララックスバリアを連接させたバリアアレイであり、バリア開口部によって画素パネル20の各画素PEから射出される光線(射出光線)に指向性を与える。これによって、レンチキュラレンズアレイを用いた立体視映像表示装置と同様に立体視映像を認識させることが可能となる。なお、同図中、網掛け部分がバリア部分(遮光部分)である。この斜めパララックスバリアアレイを用いた場合、各画素PEの視線Vの決定は、上述した実施形態における、斜めレンチキュラ方式の立体視映像表示装置200Bの場合と同様に実現できる。また、単位パララックスバリアの境界線(図中、破線で示している)が、レンチキュラレンズの各レンズの境界線に該当する。
【0112】
(A−2)蝿の目レンズアレイ
また、蝿の目レンズアレイとしても良い。図23は、蝿の眼レンズアレイの一例を示す図である。同図に示すように、蝿の目レンズアレイとは、格子状の単位レンズが縦横に連続して配置された(連接された)レンズアレイ(レンズ板)のことである。蝿の目レンズアレイを用いた立体視映像表示装置では、蝿の目レンズアレイは、単位レンズの横方向の連接方向が画素パネル20の画素ピッチ方向(水平走査方向)と平行になるように配置される。またこのとき、蝿の目レンズアレイは、単位レンズのレンズピッチと画素パネル20の画素ピッチとが合わないように設計されている。この場合、不適合画素は、投影された単位レンズの縦横方向の境界線に沿って配列された画素となる。
【0113】
なお、蝿の目レンズアレイの横方向の連接方向と画素パネル20の画素ピッチ方向とが角度θを成すよう、斜めに配置することとしても良い。また、蝿の目レンズを構成する単位レンズを、格子形状(四角形)ではなく、例えば三角形や六角形等の多角形としても良い。
【0114】
(A−3)ピンホールアレイ
また、ピンホールアレイとしても良い。図24は、ピンホールアレイの一例を示す図である。同図に示すように、ピンホールアレイとは、光を遮断する遮断板(バリア)に光を透過させる孔状のピンホール(光学素子)が等間隔で多数配置されたバリアアレイである。すなわち、ピンホールを有する格子状の単位ピンホールバリアを縦横に連続して配置させた(連接させた)バリアアレイであり、ピンホールによって画素パネル20の各画素PEの射出光線に指向性を与える。ピンホールバリアアレイを用いた立体視映像表示装置では、ピンホールアレイは、単位ピンホールバリアの横方向が画素パネル20の画素ピッチ方向(水平走査方向)と平行になるように配置される。またこのとき、ピンホールアレイは単位ピンホールバリアのピッチと画素パネル20の画素ピッチとが合わないように設計されている。この場合、不適合画素は、投影された単位ピンホールバリアの縦横方向の境界線に沿って配列された画素となる。なお、単位ピンホールバリアの横方向と画素パネル20の画素ピッチ方向とが角度θを成すよう、斜めに配置することとしても良い。また、ピンホールアレイを構成する単位ピンホールバリアを、格子形状(四角形)ではなく、三角形や六角形等の多角形としても良い。
【0115】
(B)生成した立体視画像の扱い
また、上述した実施形態では、立体視画像生成装置1は、1フレーム毎に立体視画像を生成(描画)して表示させる、すなわちリアルタイムな立体視の動画を実現することとしたが、生成した立体視画像を直ぐに表示させずに蓄積記憶しておき、全フレームの画像生成が終了した後、蓄積画像をムービー画像として順次表示させることとしても良い。
【0116】
(C)立体視映像表示装置を別装置とする
また、上述した実施形態では、立体視画像生成装置1は、立体視映像表示装置200の一部として説明したが、立体視映像表示装置200を別装置として構成し、生成した立体視画像を、接続されている立体視映像表示装置200に出力して表示させることとしても良い。
【0117】
(D)適合画素の判断
また、上述した実施形態では、想定観察位置40から投影した各レンズ32の境界線(投影境界線)と交差する画素(境界画素)の全てを立体視用の画像の描画に不適合な画素(不適合画素)としたが、これを、レンズの投影境界線による分割面積の割合に応じて、適合画素/不適合画素を判断することとしても良い。
【0118】
図20は、画素パネル20の表示面22の部分拡大図である。同図では、画素PE1,PE2,PE3が境界画素であり、それぞれ、投影されたレンズ32の境界線(投影境界線)34によって二分割されている。そして、二分割された領域の面積割合(分割割合)の偏りが大きい境界画素については、適合画素と判断する。具体的には、画像全体の面積に占める大きい方の分割面積の割合が所定割合以上(例えば、80%以上)ならば適合画素と判断し、所定割合未満ならば不適合画素と判断する。
【0119】
例えば、同図に含まれる境界画素のうち、3つの境界画素PE1,PE2,PE3について考察する。但し、適合画素/不適合画素を判断する分割割合の閾値を「80%」とする。これらのうち、境界画素PE2は、投影境界線34によってほぼ二分割されており、画素全体に対する大きい方の分割面積の割合は60%程度である。つまり、この境界画素PE2は「不適合画素」と判断する。また、境界画素PE1は、投影境界線34がその左下角にかかっているのみであり、画素全体に対する大きい方の分割面積の割合は90%程度である。また、境界画素PE3は、投影境界線34がその右上角にかかっているのみであり、画素全体に対する大きい方の分割面積の割合は95%程度である。つまり、この境界画素PE1,PE3は「適合画素」と判断する。
【0120】
更に、この分割割合の閾値を変更可能としても良い。例えば、立体視画像生成装置1の「調整」を行う場合には、この閾値を「100%」として全ての境界画素を不適合画素と判断するようにし、一方、立体視の「観察」を行う場合には、この閾値を例えば「80%」として境界画素の一部を適合画素と判断するようにする。
【0121】
(E)不適合用オブジェクト
また、上述の実施形態では、不適合用オブジェクトであるオブジェクトOB2を、所定のメッセージのテキスト画像をマッピングした板状オブジェクトとしたが、これ以外でも良い。
【0122】
(E−1)三次元オブジェクト
例えば、オブジェクトOB1をオブジェクトOB1とは異なる所定のオブジェクトとしても良い。
【0123】
(E−2)オブジェクトOB1と同一
また、オブジェクトOB1,OB2を同一のオブジェクトとしても良い。この場合、適合画素については、このオブジェクトを本来の色としてレンダリングし、不適合画素については、このオブジェクトを本来の色とは異なる所定の色としてレンダリングする。例えば、立体視用オブジェクトとして、図14に示した複数の立方体から構成されるオブジェクトを描画する際には、適合画素については、本来の色(例えば、青)で描画し、不適合画素については、それ以外の所定の色(例えば、赤)で描画する。これにより、観察されるオブジェクトの色によって、立体視の適視位置であるのか否かを判断できる。
【0124】
(E−3)3次元オブジェクトを配置せず、テクスチャ等を利用
また、三次元仮想空間にはオブジェクトOB1のみを配置して、オブジェクトOB2を配置しなくとも良い。この場合、画素パネル20のうち、適合画素については、三次元仮想空間をレンダリングした色情報を設定し、不適合画素については、予め用意されたテクスチャ画像(不適視範囲用画像)の当該画素に該当する画素の色情報を設定する。不適視範囲用画像は、例えば所定のメッセージをテキスト表示した二次元画像である。
【0125】
(F)立体視画像の生成方法
(F−1)FV方式における他の描画方法
上述の実施形態では、FV方式における描画方法として、レイ・トレーシングによる方法について説明したが、画像生成方法は、FV方式の原理による描画を実現できる方法であれば如何なる方法であっても良い。例えば、特開2007−200307に開示されているように、通常画像とデプス画像から合成する方法や、特開2007−81873に開示されているように、Zバッファ法を応用した描画方法であっても良い。
【0126】
(F−2)FV方式以外の方法
また、画像生成方法はFV方式に限らず、他の方法であっても良い。例えば、多眼方式による斜めレンチキュラ方式の立体視映像表示装置の場合にも同様に適用可能である。図21(a)は、レンズピッチM´を画素ピッチSの2.5倍に一致させた斜め5眼式の場合であり、同図(b)は、レンズピッチM´を画素ピッチSの3.5倍に一致させた斜め7眼式の場合である。この場合も同様に、想定観察位置40から投影したレンズ板30の各レンズ32の境界線34が交差する画素PEそれぞれを立体視の不適合画素として、不適合用オブジェクトであるオブジェクトOB2をレンダリングし、これ以外の画素については、立体視用オブジェクトであるオブジェクトOB1をレンダリングする。
【0127】
(G)想定観察位置
また、上述の実施形態では、図4に示したように、想定観察位置40を表示面22の正面であるとして説明したが、正面以外としても良い。例えば、図25に示すように、立体視映像表示装置をその表示面22が水平且つ上方を向くように机の上に置き、観察者OBが斜め上方から表示面22を見るようにしても良い。
【符号の説明】
【0128】
1 立体視画像生成装置
200 立体視映像表示装置
20 画素パネル、22 表示面、PE 画素
30 レンズ板(レンチキュラレンズ板)、32 レンズ(マイクロレンズ)
300 処理部
310 オブジェクト空間設定部
320 立体視画像生成部、322 画素別視点設定部、324 色情報算出部
400 記憶部
410 立体視画像生成プログラム
420 諸元データ、430 想定観察位置データ、440 画素データ
450 オブジェクトデータ、460 フレームバッファ
40 想定観察位置
V 視線
CM 画素別視点

【特許請求の範囲】
【請求項1】
表示パネルと、該表示パネルの各画素の光線に指向性を与える光学素子群とを備えた立体視表示装置に表示させる画像をコンピュータに生成させるためのプログラムであって、
前記表示パネルの各画素について、前記立体視表示装置の立体視適視位置と前記光学素子群を構成する各光学素子の境界とを結んだ面に交差する位置に基づいて、当該画素が立体視用の画素として適合する適合画素か、適合しない不適合画素かを判定する判定手段、
前記適合画素については所与の立体視画像の当該画素に対応する色情報とし、前記不適合画素については所与の不適位置用画像の当該画素に対応する色情報として前記立体視表示装置に表示させる画像を生成する画像生成手段、
として前記コンピュータを機能させるためのプログラム。
【請求項2】
前記判定手段が、前記各画素について、前記結んだ面に交差する位置に存在する画素か否かに応じて、当該画素を適合画素とするか不適合画素とするかを判定するように前記コンピュータを機能させるための請求項1に記載のプログラム。
【請求項3】
前記判定手段が、前記結んだ面に交差する位置に存在する画素のうち、当該結んだ面と当該画素との交差位置の集合でなる交差線で分割される当該画素の分割面積の比率が、所定の適否条件に合致するか否かに基づいて、当該画素を前記適合画素とするか前記不適合画素とするかを判定するように前記コンピュータを機能させるための請求項1に記載のプログラム。
【請求項4】
前記判定手段が、前記結んだ面に交差する位置に存在する画素のうち、当該画素から、対応する光学素子への射出方向と、前記立体視適視位置への方向との成す角度が、所定の適否条件に合致するか否かに基づいて、当該画素を前記適合画素とするか前記不適合画素とするかを判定するように前記コンピュータを機能させるための請求項1に記載のプログラム。
【請求項5】
前記適否条件を可変して、前記結んだ面に交差する位置に存在する画素のうち、前記適合画素と判定される画素と前記不適合画素と判定される画素との割合を可変する適否条件可変手段として前記コンピュータを機能させるための請求項3又は4に記載のプログラム。
【請求項6】
前記所与の不適位置用画像として所与の文字情報をスクロール表示する画像を生成するスクロール画像生成手段として前記コンピュータを機能させるための請求項1〜5の何れか一項に記載のプログラム。
【請求項7】
三次元仮想空間に立体視用オブジェクトと不適合用オブジェクトとを配置する配置手段として前記コンピュータを機能させ、
前記画像生成手段が、
前記適合画素の色情報を、前記配置手段により配置された不適合用オブジェクトを除いて前記三次元仮想空間をレンダリング処理することで求める適合画素色情報算出手段と、
前記不適合画素の色情報を、前記配置手段により配置された立体視用オブジェクトを除いて前記三次元仮想空間をレンダリング処理することで求める不適合画素色情報算出手段と、
を有するように前記コンピュータを機能させるための請求項1〜5の何れか一項に記載のプログラム。
【請求項8】
前記配置手段が、前記不適合用オブジェクトとして板状のオブジェクトを配置するように前記コンピュータを機能させ、
所与の文字情報をスクロール表示する画像を前記不適合用オブジェクトにマッピングする文字情報スクロール表示手段として前記コンピュータを機能させる、
ための請求項7に記載のプログラム。
【請求項9】
前記配置手段が、前記不適合用オブジェクトを、前記三次元仮想空間中の前記立体視用オブジェクトの位置に配置するように前記コンピュータを機能させるための請求項7又は8に記載のプログラム。
【請求項10】
請求項1〜9の何れか一項に記載のプログラムを記憶したコンピュータ読取可能な情報記憶媒体。
【請求項11】
表示パネルと、該表示パネルの各画素の光線に指向性を与える光学素子群とを備えた立体視表示装置に表示させる画像を生成する画像生成装置であって、
前記表示パネルの各画素について、前記立体視表示装置の立体視適視位置と前記光学素子群を構成する各光学素子の境界とを結んだ面に交差する位置に基づいて、当該画素が立体視用の画素として適合する適合画素か、適合しない不適合画素かを判定する判定手段と、
前記適合画素については所与の立体視画像の当該画素に対応する色情報とし、前記不適合画素については所与の不適位置用画像の当該画素に対応する色情報として前記立体視表示装置に表示させる画像を生成する画像生成手段と、
を備えた画像生成装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2010−233158(P2010−233158A)
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願番号】特願2009−81092(P2009−81092)
【出願日】平成21年3月30日(2009.3.30)
【出願人】(000134855)株式会社バンダイナムコゲームス (1,157)
【Fターム(参考)】