立体表示装置並びに信号処理装置
【課題】光学素子と画素の関係に基づいて決定される最大視点数以下で、画面に表示する視差画像の数を変更する。
【解決手段】固有の最大視点数を持つ立体表示装置において、複数の視点の画素に同時に同じ画像を出力する、又は、寄与に応じて複数の視点画像を混合させて表示することにより、最大視点数以下の視点数にて視差画像の表示を行なうようになっている。このように表示を行なうことによって、運動視差に優れる多視点表示と、ゴースト及びエイリアシングに対して有利な少視点表示の間の任意の視点で、視差画像を表示することが可能である。
【解決手段】固有の最大視点数を持つ立体表示装置において、複数の視点の画素に同時に同じ画像を出力する、又は、寄与に応じて複数の視点画像を混合させて表示することにより、最大視点数以下の視点数にて視差画像の表示を行なうようになっている。このように表示を行なうことによって、運動視差に優れる多視点表示と、ゴースト及びエイリアシングに対して有利な少視点表示の間の任意の視点で、視差画像を表示することが可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者に立体視できる画像を提示する立体表示装置並びに信号処理装置に係り、特に、レンチキュラー・レンズやパララックス・バリアなどの光学素子を表示画面に相対して設置して、多視点の画像を表示する立体表示装置並びに信号処理装置に関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示させることで、観察者に立体視できる画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄ Ｒａｙ Ｔｕｂｅ）などの表示画面上に、レンチキュラー・レンズなどのレンズ・アレイ、あるいは、パララックス・バリアと呼ばれる開口を設けた遮光板などを設置することで、特定位置から見える画素を制御することができる。レンチキュラー・レンズ、パララックス・バリアともに、略直線状の構造体がアレイ状に連続的に配列されている点で類似する。以下では、レンチキュラー・レンズとパララックス・バリアを併せて「光学素子」と呼ぶことにする。画素毎に各視点の画像を表示させると、このような光学素子によって各視点画像が分離され、左右の眼には異なる画像が表示される。視点間隔を両眼間隔より狭くすれば、観察者は立体感を得ることができる。また、画面の表示する視点数を増やすと、頭の動きに応じて見える画像が切り替わり、運動視差を得ることができる。
【０００４】
上記の立体表示装置で表示できる視点数は、表示画面の解像度と、レンチキュラー・レンズやパララックス・バリアなどの光学素子との組み合わせなどによって決まる。また、視差画像は、対応する視点位置に設置されたカメラの撮像画像をソースとする。ここで、４視点、９視点、２４視点…といった具合に視点数が増すと、すべての視差画像を撮像するのはコストがかかるため、視点補間により視差画像を生成する方法がとられる。したがって、視点数を増やすと、画像の滑らかさが得られる反面、視点補間に伴う映像遅延を生じ易いという問題がある。したがって、視差画像の数を適切に制御する必要がある。
【０００５】
また、上記の立体表示装置では、表示画面の各画素を各視点画像の表示に割り当てることから、各視差画像の解像度は、表示画面本来の解像度の視点数分の１に低下する。例えば、画素が格子状に配置されている表示画面の場合、水平方向と垂直方向の解像度劣化を均等にすることと、画素間のブラック・マトリックスが周期的に投影されることによるモアレの発生を防止することを目的として、光学素子の延伸方向を表示画面の垂直方向に対し少し傾けて設置する立体表示装置が一般的である（例えば、特許文献１を参照のこと）。
【０００６】
また、光学素子を表示画面に設置して視差画像を提示することを前提として、特殊な画素設計をした立体表示装置も存在する。例えば、画素を正方格子形状ではなく、台形で斜め方向に配置して、光学素子の延伸方向を垂直に設置した光学素子についても提案されている（例えば、特許文献２を参照のこと）。
【０００７】
いずれの立体表示装置も、表示可能な最大視点数は、光学素子と画素の関係で決定されており、物理的に一意に決まる。特殊画素配列をした立体表示装置においては、最大視点数は設計次第であるため一概には言えないが、例えば、上記の特許文献２に記載された立体表示装置の場合、最小画素単位の水平、垂直長さをそれぞれＰｘ、Ｐｙとし、光学素子の幅をＬとすると、可能な最大視点数Ｎｍａｘは下式（１）のように表わされる。
【０００８】
【数１】
【０００９】
一方、画素の配列に対して光学素子を傾けて設置する場合の最大視点数Ｎｍａｘは、下式（２）のように表わされる。
【００１０】
【数２】
【００１１】
但し、上式（２）において、θは光学素子の延伸方向と表示画面の垂直方向のなす角を表す。また、記号《》は、整数を乗算して得られる最小の整数を表す。例えば、《１．４》は、５を乗算して最小の整数７から得られることから、《１．４》＝７である。
【００１２】
多視差画像を表示する立体表示装置は、上式（１）又は（２）から得られる最大視点数Ｎｍａｘ以下の事前に設定した視点数を固定値として扱っており、一旦設定した後に視点数を変更することはない。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許第６０６４４２４号公報
【特許文献２】特許第４４０２５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明の目的は、レンチキュラー・レンズやパララックス・バリアなどの光学素子を表示画面に相対して設置して、多視点の画像を好適に表示することができる、優れた立体表示装置並びに信号処理装置を提供することにある。
【００１５】
本発明のさらなる目的は、光学素子と画素の関係に基づいて決定される最大視点数以下で、画面に表示する視差画像の数を変更することができる、優れた立体表示装置並びに信号処理装置を提供することにある。
【課題を解決するための手段】
【００１６】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
複数の画素が配列され、２以上の視点数の視差画像を表示する表示部と、
前記の各視差画像をそれぞれ異なる方向に出射するように、前記表示部の画面に相対して設置された光学素子と、
前記光学素子と前記画素の関係に基づいて決定される最大視点数Ｎｍａｘ以内で視点数Ｎを変更した視差画像を処理する映像信号処理部と、
視差画像を表示出力するよう、前記表示画面の駆動を制御する駆動制御部と、
を具備する立体表示装置。
である。
【００１７】
本願の請求項２に記載の発明によれば、請求項１に記載の立体表示装置において、光学素子は、略直線状の構造体がアレイ状に連続的に配列されて構成され、延伸方向が前記表示画面の垂直方向に対して傾斜角θだけ傾けて配設されている。そして、最大視点数Ｎｍａｘは、光学素子の１構造体の水平方向の長さＬ、画素を構成する最小の色単位の水平、垂直方向それぞれの長さＰｘ、Ｐｙに基づいて決定される。
【００１８】
本願の請求項３に記載の発明によれば、請求項２に記載の立体表示装置の映像信号処理部は、表示画面の各画素に視点数Ｎにおける視点番号ｊを割り振る視点番号割り振り部と、各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部を備えている。そして、記駆動制御部は、合成画像を表示出力するよう、前記表示画面の駆動を制御するように構成されている。
【００１９】
本願の請求項４に記載の発明によれば、請求項３に記載の立体表示装置の視点番号割り振り部は、前記最大視点数Ｎｍａｘにおける元の視点番号が異なる複数の画素に対して視点数Ｎにおける新しい視点番号ｊを割り振る操作を、元の視点番号に従って行ない、視点数をＮｍａｘからＮへ変更する（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの整数）、ように構成されている。
【００２０】
本願の請求項５に記載の発明によれば、請求項３に記載の立体表示装置の視点番号割り振り部は、前記最大視点数Ｎｍａｘを、減少させた視点数Ｎで等分して、視点数Ｎにおける新しい視点番号ｊを生成し（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの数）、元の視点番号ｉの順に従って各画素に新しい視点番号ｊを割り振り直して、視点数をＮｍａｘからＮへ変更するように構成されている。
【００２１】
本願の請求項６に記載の発明によれば、請求項５に記載の立体表示装置の映像信号処理部は、Ｎ視点の視差画像を入力し、また、視点数Ｎにおける新しい視点番号ｊがｋ＜ｊ＜ｋ＋１となるときに（但し、ｋは１〜Ｎの整数、Ｎは３以上Ｎｍａｘ未満の整数、Ｎｍａｘは４以上の整数）、視点番号ｊの視差画像を、入力された前記Ｎ視点の視差画像の視点番号ｋの視差画像と視点番号（ｋ＋１）の視差画像を寄与に応じて混合して補間する画像補間部をさらに備えている。そして、画像補間部で補間された視差画像を適宜用いて、Ｎ視点の視差画像を合成するように構成されている。
【００２２】
本願の請求項７に記載の発明によれば、請求項５に記載の立体表示装置は、入力される視差画像の視点数が最大視点数Ｎｍａｘ以下のときに、前記映像信号処理部が視点数の補間を行なわずに直接出力するように構成されている。
【００２３】
本願の請求項８に記載の発明によれば、請求項１に記載の立体表示装置の映像信号処理部は、前記表示部の表示画面の少なくとも一部において、入力される視差画像の視差量に応じて視点数を変更するように構成されている。
【００２４】
本願の請求項９に記載の発明によれば、請求項１に記載の立体表示装置は、視差画像の視聴者が視点数を設定するユーザー設定部をさらに備えている。そして、映像信号処理部は、前記ユーザー設定部を介して設定された視点数へ、視差画像の視点数を変更するように構成されている。
【００２５】
また、本願の請求項１０に記載の発明は、
最大視点数Ｎｍａｘの表示装置の表示画面の各画素に、前記最大視点数Ｎｍａｘ以内となる視点数Ｎにおける視点番号を割り振る視点番号割り振り部と、
各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部と、
を具備する信号処理装置である。
【発明の効果】
【００２６】
本発明によれば、光学素子と画素の関係に基づいて決定される最大視点数以下で、画面に表示する視差画像の数を変更することができる、優れた立体表示装置並びに信号処理装置を提供することができる。
【００２７】
本発明によれば、固有の最大視点数を持つ立体表示装置において、複数の視点の画素に同時に同じ画像を出力することによって、運動視差に優れる多視点表示と、ゴースト及びエイリアシングに対して有利な少視点表示の間の任意の視点で、視差画像を表示することが可能である。
【００２８】
また、本発明によれば、固有の最大視点数を持つ立体表示装置において、寄与に応じて複数の視点画像を混合させて表示することにより、最大視点数以下の視点数にて視差画像の表示を行なうことによって、運動視差に優れる多視点表示と、ゴースト及びエイリアシングに対して有利な少視点表示の間の任意の視点で、視差画像を表示することが可能である。
【００２９】
また、本発明に係る立体表示装置並びに信号処理装置によれば、入力される視差画像が最大視点数以下の場合に、視点数の補間処理などを行なわずに、直接出力することが可能であり、回路コストの低減と映像遅延の減少を同時に実現することができる。
【００３０】
また、本発明に係る立体表示装置並びに信号処理装置によれば、最小視点数の２倍の視点数で視差画像の表示を行ない、且つ、視点番号が奇数又は偶数のいずれか一方の視点の画素を黒色表示とすることによって、ゴーストの少ない視差画像を表示させることができる。
【００３１】
また、本発明に係る立体表示装置並びに信号処理装置によれば、物理的手段によらず信号処理のみによって視点数の変更を実現することができるので、表示画面内での制御を容易に行なうことができる。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３３】
【図１】図１は、ＲＧＢ縦ストライプの画素配列の表面に、光学素子の１つであるレンチキュラー・レンズを設置した状態を示した図である。
【図２】図２は、図１に示した光学素子と画素配列の関係からなる表示画面において、各視点からの配光分布を例示した図である。
【図３】図３は、最大視点数２４の立体表示装置を８視点としての利用した場合の各視点からの配光分布を示した図である。
【図４】図４は、図１に示した立体表示装置において、最大視点数２４の視点状態で視点番号１の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合の画素状態を示した図である。
【図５】図５は、図１に示した立体表示装置において、８視点状態で視点番号１の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合の画素状態を示した図である。
【図６】図６は、最大視点数２４の立体表示装置の視点数を１６に設定し、視点番号が奇数又は偶数のいずれか一方の視点の画素を黒色に表示させたときの各視点からの配光分布を例示した図である。
【図７】図７は、多視点の視差画像を表示する立体表示装置１００の構成例を示した図である。
【図８】図８は、異なる複数の画素に対して新しい１つの視点番号を割り振って視点数を変更する方法を実現する映像信号処理部１２０の機能的構成例を示した図である。
【図９】図９は、最大視点数を新しい視点数で等分して、各画素に新たに視差番号を割り振って視点数を変更する方法を実現する映像信号処理部１２０の機能的構成例を示した図である。
【図１０】図１０は、視点数設定部４０１で設定された視点数Ｎに変更した視差画像を生成する映像信号処理部１２０の構成例を示した図である。
【図１１】図１１は、視点数設定部４０１で設定された視点数Ｎに変更した視差画像を生成する映像信号処理部１２０の構成例を示した図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００３５】
図７には、多視点の視差画像を表示する立体表示装置１００の構成例を示している。
【００３６】
立体表示装置１００は、画像表示部１１０と、映像信号処理部１２０と、タイミング制御部１４０と、映像メモリー１５０を備えている。また、画像表示部１１０は、表示パネル１１２と、ゲート・ドライバー１１３と、データ・ドライバー１１４を備えている。
【００３７】
映像信号処理部１２０は、映像信号処理部１２０の外部からの映像信号の伝送を受けると、画像表示部１１０における多視点の視差画像の表示に適したものとなるように各種信号処理を実行して出力する。具体的には、映像信号処理部１２０は、多視点の視差画像を入力とし、視点番号に従って各視差画像から切り出した画素同士を合成して、１フレーム内に各視点の画素の情報を含んだ合成視差画像を生成する。生成した合成視差画像は、映像メモリー１５０に供給される。本実施形態では、合成視差画像に含まれる視点数を変更することができるが、詳細については後述に譲る。なお、ここで言う、映像信号の伝送元となる「外部」には、ディジタル放送の受信機や、ブルーレイ・ディスク・プレイヤーなどのコンテンツ再生装置を挙げることができる。
【００３８】
また、映像信号処理部１２０は、合成視差画像の映像信号の切り替えのタイミングに同期して、データ・ドライバー１１３及びゲート・ドライバー１１４が動作するように、所定の制御信号をタイミング制御部１４０へ供給する。
【００３９】
ゲート・ドライバー１１３は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１４０から伝送された信号に応じて、表示パネル１１２内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１１４は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１４０から伝送された信号並びに映像メモリー１５０から読み出された映像信号に基づいてデータ線へ印加する信号を生成して出力する。
【００４０】
表示パネル１１２は、例えば格子状に配列された複数の画素を有するが、本発明の要旨は特定の画素配列には限定されない。液晶表示パネルの場合、ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、表示パネル１１２への信号の印加はゲート・ドライバー１１３及びデータ・ドライバー１１４によって実行される。
【００４１】
表示パネル１１２には、レンチキュラー・レンズやパララックス・バリアなどの、略直線状の構造体がアレイ状に連続的に配列されて構成される光学素子１６０が相対して設置されている。光学素子１６０は、表示パネル１１２から表示出力される各視差画像をそれぞれ異なる方向に出射するようになっている。光学素子１６０は、その延伸方向が表示パネル１１２の画素配列の垂直方向に対して傾斜角θだけ傾けて配設されている。表示パネル１１２で表示出力される視差画像の最大視点数Ｎｍａｘは、上式（２）により表わされる。
【００４２】
図１には、ＲＧＢ縦ストライプの画素配列の表面に、光学素子の１つであるレンチキュラー・レンズを設置した状態を示している。同図に示す例では、レンチキュラー・レンズは、その延伸方向が画素配列の方向に対してθだけ傾けて設置されている。また、同図は、２４視点の視差画像を表示している状態を例示しており、各画素の濃淡で色を表し、各画素の中に記されている１〜２４の番号は、画素の割り振られた視差番号を表している。
【００４３】
図１に示す例では、最小画素単位の水平、垂直方向のそれぞれ長さＰｘ、Ｐｙ、光学素子の幅Ｌの各パラメーターは、下式（３）に示す通りとなる。
【００４４】
【数３】
【００４５】
したがって、この場合の最大視点数Ｎｍａｘは、上式（２）を用いて下式（４）のように算出される。すなわち、図１に示した光学素子と画素の関係によれば、最大２４の視差画像を表示することが可能である。
【００４６】
【数４】
【００４７】
図２には、図１に示した光学素子と画素配列の関係からなる立体表示装置において、各視点からの配光分布を例示している。同図は、２４視点の各１視点のみに白画像を表示し、他の視点を黒とした場合の表示画面からの光の出射方向をプロットしたものである。同図より、この立体表示装置は、各視差画像がそれぞれ別の方向に出射していることが分かる。
【００４８】
このような立体表示装置を、例えば最大視点数２４以下である８視点の立体表示装置として利用する場合、１つの方法として、３視点分に同一の情報を表示する方法が挙げられる。すなわち、２４視点での視点番号１〜３に８視点での視点番号１の画像を表示し、２４視点での視点番号４〜６に８視点での視点番号２の画像を表示し、…というように、元の視点番号が異なる複数の画素に対して新しい１つの視点番号を割り振るという操作を、元の視点番号の順に従って行ない、最大視点数２４よりも小さい新しい視点数８における新しい視点番号を各画素に再割り当てする。そして、新しい視点番号が同じとなる複数の画素からの画像を表示することにより、同じ立体表示装置を８視点立体表示装置として機能させる。
【００４９】
図８には、上記の視点数の変更方法を実現する映像信号処理部１２０の機能的構成例を示している。新しい視点数をＮとすると、視点番号割り振り部２０１は、表示パネル１１２の各画素に対し、視点数Ｎにおける新しい視点番号ｊを割り振る。ここで、視点番号割り振り部２０１は、最大視点数Ｎｍａｘにおける元の視点番号が異なる複数の画素に対して視点数Ｎにおける新しい視点番号ｊを割り振る操作を、元の視点番号に従って行ない、視点数をＮｍａｘからＮへ変更する（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの整数）。次いで、画像合成部２０２は、Ｎ視点の視差画像が入力されると、各視差画像の該当する視点番号の画素を配列して、１フレーム内に各視点の画素の情報を含んだ合成視差画像を生成する。
【００５０】
図３には、最大視点数２４の立体表示装置を上記のように８視点としての利用した場合の各視点からの配光分布を示している。同図から、視点数を最大視点数よりも小さくしたときに、各視差画像がそれぞれ別の方向に出射していることが分かる。すなわち、最大視点数２４の立体表示装置は、３視点分に同一の情報を表示する方法によって、８視点の立体表示装置としても機能することが分かる。
【００５１】
また、最大視点数２４の立体表示装置を、最大視点数２４以下である８視点の立体表示装置として利用する他の方法として、２４視点を８等分して、各画素に新たに視差番号を割り振る方法が挙げられる。すなわち、２４視点立体表示装置として利用する場合の視点番号１、２、３、…、２４を、新たな視点数８で等分して、新しい視点番号１、１．３３、２．６６、３、…、７．６６、８を生成し、元の視点番号の順に従って各画素に新しい視点番号を割り振り直す。この場合、例えば、新しい視点番号１．３の画像を、８視点画像の視点番号１と視点番号２の各画像を、寄与に応じて適切に混合して表示させるようにしてもよい。
【００５２】
例えば、８視点の視差画像Ｖ1、Ｖ2、…、Ｖ8が入力されたとする。新しい視点番号１．３３の視差画像Ｖ1.33に対しては、隣接する視点１及び視点２の各視差画像Ｖ1、Ｖ2のみが寄与し、且つ、寄与率を線形的に評価する場合には、視点番号１．３３の視差画像Ｖ1.33は、下式（５）に表わすように視差画像Ｖ1とＶ2を混合して生成される。
【００５３】
【数５】
【００５４】
また、新しい視点番号２．６６の視差画像Ｖ2.66についても、同様に、隣接する視点２及び視点３の各視差画像Ｖ2、Ｖ3のみが寄与し、且つ、寄与率を線形的に評価すると、視点番号２．６６の視差画像Ｖ2.66は、下式（６）のように表わされる。
【００５５】
【数６】
【００５６】
勿論、新しい視点番号の視差画像に、隣接する視点以外の視差画像が寄与するという評価方法であってもよい。また、線形補間以外に、例えば補間曲線を用いた補間方法を適用することもできる。
【００５７】
図９には、最大視点数を新しい視点数で等分して、各画素に新たに視差番号を割り振って視点数の変更方法を実現する映像信号処理部１２０の機能的構成例を示している。新しい視点数をＮとすると、視点番号割り振り部３０１は、表示パネル１１２の各画素に対し、視点数Ｎにおける新しい視点番号ｊを割り振る。ここで、視点番号割り振り部３０１は、最大視点数Ｎｍａｘを、減少させた視点数Ｎで等分して、視点数Ｎにおける新しい視点番号ｊを生成し（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの数）、元の視点番号ｉに従って各画素に新しい視点番号ｊを割り振り直して、視点数をＮｍａｘからＮへ変更する。また、画像補間部３０２は、視点数Ｎにおける新しい視点番号ｊがｋ＜ｊ＜ｋ＋１となるときに（但し、ｋは１〜Ｎ−１の整数、Ｎは３以上Ｎｍａｘ未満の整数、Ｎｍａｘは４以上の整数）、視点番号ｊの視差画像を生成する。例えば、画像補間部３０２は、視点番号ｊの視差画像を、入力されたＮ視点の視差画像の視点番号ｋの視差画像と視点番号（ｋ＋１）の視差画像を、寄与に応じて混合して補間画像を生成する。次いで、画像合成部３０３は、入力画像並びに補間画像の組み合わせからなるＮ視点の視差画像が入力されると、各視差画像の該当する視点番号の画素を配列して、１フレーム内に各視点の画素の情報を含んだ合成視差画像を生成する。
【００５８】
前者の、最大視点数で立体表示装置を用いる場合の元の視点番号が異なる複数の画素に対して新しい１つの視点番号を割り振り、新しい視点番号が同じとなる複数の画素からの画像を表示するという視点数の変更方法によると、最大視点数の約数以外の視点数に変更した立体表示装置とすることは困難である。
【００５９】
これに対し、後者の、最大視点数を新しい視点数で等分して、各画素に新たに視差番号を割り振るという視点数の変更方法によれば、最大視点数以下の任意の視点数に変更することが可能である。しかしながら、２つの視差画像を混合させて視差画像を作成する（新たな視点番号に該当する視差画像を補間する）必要があるため、計算コストの増大を招く。
【００６０】
図２から、最大視点数２４の立体表示装置を最大視点数２４のまま利用すると、隣の視点の配光とのオーバーラップが大きく、各視差画像が分離されないことが分かる。言い換えれば、最大視点数２４の視差画像を表示する多視点状態では、隣接する視点の画像が同時に見える。このため、隣接視点が視差のない画像であれば問題ないが、視差がある画像を表示した場合には、本来の視点の近傍にゴースト像が見えることになり、像がぼけた印象を観察者に与える。
【００６１】
これに対し、最大視点数を新しい視点数で等分して各画素に新たに視差番号を割り振る方法で視点数を変更すると、図３に示したように、隣の視点の配光とのオーバーラップが少なくなり、各視差画像が分離されていることが分かる。視点数を間引くと、オーバーラップが減少することから、画像が鮮明化する。すなわち、最大視点数２４の立体表示装置で８視点の視差画像を表示している状態では、観察者には隣の視点の画像があまり見えない。隣の視点と視差がついた場所であっても、２４視点の画像を表示する場合と比較して、観察者はゴーストの少ない画像を見ることができる。
【００６２】
また、最大視点数２４の立体表示装置を最大視点数２４のまま利用すると、図２から分かるように、隣接する視点間で視点の角度差が小さい。このため、観察者が頭を左右に動かした場合でも、次々と異なる視差画像が見えることになり、滑らかな運動視差を得ることができる。これに対し、視点数を最大視点数２４から８に減少させると、図３に示したように、隣接する視点間での視点の角度差が大きくなる。このため、観察者が頭を左右に動かすと、離散的に視差画像が順次見えることになる。すなわち、視点数を減少させると、観察者が頭を動かしたときには、パタパタと不自然な運動視差となる。
【００６３】
図４には、図１に示した立体表示装置において、最大視点数２４の視点状態で視点番号１の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合における画素状態を示している。また、図５には、図１に示した立体表示装置において、８視点状態で視点番号１（１．０以上２．０未満）の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合における画素状態を示している。但し、最大視点数を新しい視点数で等分して各画素に新たに視差番号を割り振って視点数を８に減少させた方法とする。
【００６４】
図４と図５を比較して分かるように、２４視点状態では、視点番号１の画素が８視点状態と比べて疎となっている。このため、２４視点ではエイリアシングが発生して、細かな情報を表示することが困難となる。一方、８視点では、１視点画像が比較的密となるので、エイリアシングが起こり難くなっている。
【００６５】
以上のように、立体表示装置が最大視点数である２４視点の視差画像を表示することは運動視差において優れ、これに対し、視点数を減らして視差画像を表示することでゴーストとエイリアシングが改善することが分かる。
【００６６】
運動視差と、ゴースト若しくはエイリアシングのいずれを優先させて表示するかは、視聴者の嗜好や、表示される情報の内容、又は視聴環境などによって左右される。このため、いずれを優先させるか、すなわち視点数を事前に決定することは困難である。そこで、立体表示装置１００は、視聴者による指示に基づいて最大視点数Ｎｍａｘ以下の視点数Ｎを設定し、あるいは表示するコンテンツやその視聴環境に基づいて最大視点数Ｎｍａｘ以下の視点数を自動的に設定して、視点数Ｎの視差画像を表示するようにすればよい。図１０及び図１１には、最大視点数Ｎｍａｘの視差画像を入力し、視点数設定部４０１で設定された視点数Ｎに変更した視差画像を生成する映像信号処理部１２０の構成例を示している。
【００６７】
例えば、動画圧縮規格の１つであるＨ．２６４では、複数の視点で撮影された映像を効率的に圧縮するマルチビュー符号化（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ：ＭＶＣ）について規格化している。しかしながら、この種の標準規格において、表示したいコンテンツが個別の裸眼立体表示装置と合致した視点数を有しているとは限らない。すなわち、立体表示装置１００に入力される視差画像の視点数と、立体表示装置１００において表示可能な最大視点数Ｎｍａｘにかい離を生じる可能性がある。
【００６８】
例えば、入力される視差画像の視点数を、視点補間により立体表示装置１００に最適な視点数まで増減して表示させることができるが、この場合、回路コストの増大を招来する。また、視点補間により映像遅延が生じる場合があり、例えばゲーム機などでは映像遅延は好ましくない。これに対し、本実施形態に係る立体表示装置１００によれば、上述したような方法により入力される視差画像の視点数を変更することによって、視点補間を行なわずに、視差画像を直接出力することが可能である。すなわち、回路コストの増大を防ぎ、また、映像遅延を最小にして、視差画像を表示することが可能である。
【００６９】
本実施形態に係る立体表示装置１００が上述した２つの方法のいずれかにより視差画像の視点数を変更する際、視点数の最小値は、１視点間隔が視聴者の眼間距離となる値に設定されることが望ましい。図３には、３視点分に同一の情報を表示する方法により、最大視点数２４の立体表示装置を８視点としての利用した場合の各視点からの配光分布を示した。図示の例では、１視点間隔がおよそ１．２度となっている。この視点間隔は、１．５メートル離れたところにおいて平均的な人の眼間距離６５ミリメートルに相当する。したがって、本実施形態に係る立体表示装置であれば、変更可能な視点数の下限を８視点とすることが望ましい。
【００７０】
また、本実施形態に係る立体表示装置１００において、視点数を下限の視点数８の２倍である１６視点に設定して視差画像を表示させる際に、視点番号が奇数又は偶数のいずれか一方の視点の画素のみ本来の画像を表示させ、他方の画素には黒色表示にするようにしてもよい。図６には、この場合の各視点からの配光分布を例示している。
【００７１】
各視点の表示される角度を、図６と図３で比較すると、８視点としたときと同じである。これに対し、視点表示の状態を、図６と図３で比較すると、１６視点に設定して、視点番号が奇数又は偶数のいずれか一方の視点を黒色表示させた場合の方が、隣接視点とのオーバーラップが減少し、ゴーストの少ない画像を表示することが可能となっていることが分かる。但し、黒色挿入を行なった１６視点は、８視点と比べて輝度がおよそ半分となっているものの、１視差画像のみに注目すると、鮮明な画像を得ることができる。
【００７２】
なお、上記では、表示パネル１１２の画面全体において同一の視点数であることを前提として説明してきたが、画面内で視点数が変更する場合であっても、同様に本発明を適用することができる。例えば、画面内で大きな視差がつき、大きく飛び出す映像の場合は、該当部分だけ視点数を増加させることにより、滑らかな運動視差を表現して、より自然な立体映像としてもよい。但し、視点数を増加させすぎると、エイリアシングが生じるので、立体表示装置毎に視差と視点数の関係を形成するべきである、と本発明者らは思料する。
【産業上の利用可能性】
【００７３】
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７４】
本明細書では、図１に示したようにＲＧＢストライプ構造の画素に対して傾けて光学素子を設置した実施形態について説明してきたが、本発明の要旨は、特定のＲＧＢ画素配列や、画素と光学素子との特定の関係にのみ限定されるものではない。図示した以外の特殊な画素配置や特殊な画素構造を持った立体表示装置に対しても、同様に本発明を適用することができる。
【００７５】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７６】
１００…立体表示装置
１１０…画像表示部
１１２…表示パネル
１１３…ゲート・ドライバー
１１４…データ・ドライバー
１２０…映像信号処理部
１４０…タイミング制御部
１５０…映像メモリー
１６０…光学素子 ２０１…視点番号割り振り部
２０２…画像合成部
３０１…視点番号割り振り部
３０２…画像補間部
３０３…画像合成部
【技術分野】
【０００１】
本発明は、観察者に立体視できる画像を提示する立体表示装置並びに信号処理装置に係り、特に、レンチキュラー・レンズやパララックス・バリアなどの光学素子を表示画面に相対して設置して、多視点の画像を表示する立体表示装置並びに信号処理装置に関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示させることで、観察者に立体視できる画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄ Ｒａｙ Ｔｕｂｅ）などの表示画面上に、レンチキュラー・レンズなどのレンズ・アレイ、あるいは、パララックス・バリアと呼ばれる開口を設けた遮光板などを設置することで、特定位置から見える画素を制御することができる。レンチキュラー・レンズ、パララックス・バリアともに、略直線状の構造体がアレイ状に連続的に配列されている点で類似する。以下では、レンチキュラー・レンズとパララックス・バリアを併せて「光学素子」と呼ぶことにする。画素毎に各視点の画像を表示させると、このような光学素子によって各視点画像が分離され、左右の眼には異なる画像が表示される。視点間隔を両眼間隔より狭くすれば、観察者は立体感を得ることができる。また、画面の表示する視点数を増やすと、頭の動きに応じて見える画像が切り替わり、運動視差を得ることができる。
【０００４】
上記の立体表示装置で表示できる視点数は、表示画面の解像度と、レンチキュラー・レンズやパララックス・バリアなどの光学素子との組み合わせなどによって決まる。また、視差画像は、対応する視点位置に設置されたカメラの撮像画像をソースとする。ここで、４視点、９視点、２４視点…といった具合に視点数が増すと、すべての視差画像を撮像するのはコストがかかるため、視点補間により視差画像を生成する方法がとられる。したがって、視点数を増やすと、画像の滑らかさが得られる反面、視点補間に伴う映像遅延を生じ易いという問題がある。したがって、視差画像の数を適切に制御する必要がある。
【０００５】
また、上記の立体表示装置では、表示画面の各画素を各視点画像の表示に割り当てることから、各視差画像の解像度は、表示画面本来の解像度の視点数分の１に低下する。例えば、画素が格子状に配置されている表示画面の場合、水平方向と垂直方向の解像度劣化を均等にすることと、画素間のブラック・マトリックスが周期的に投影されることによるモアレの発生を防止することを目的として、光学素子の延伸方向を表示画面の垂直方向に対し少し傾けて設置する立体表示装置が一般的である（例えば、特許文献１を参照のこと）。
【０００６】
また、光学素子を表示画面に設置して視差画像を提示することを前提として、特殊な画素設計をした立体表示装置も存在する。例えば、画素を正方格子形状ではなく、台形で斜め方向に配置して、光学素子の延伸方向を垂直に設置した光学素子についても提案されている（例えば、特許文献２を参照のこと）。
【０００７】
いずれの立体表示装置も、表示可能な最大視点数は、光学素子と画素の関係で決定されており、物理的に一意に決まる。特殊画素配列をした立体表示装置においては、最大視点数は設計次第であるため一概には言えないが、例えば、上記の特許文献２に記載された立体表示装置の場合、最小画素単位の水平、垂直長さをそれぞれＰｘ、Ｐｙとし、光学素子の幅をＬとすると、可能な最大視点数Ｎｍａｘは下式（１）のように表わされる。
【０００８】
【数１】
【０００９】
一方、画素の配列に対して光学素子を傾けて設置する場合の最大視点数Ｎｍａｘは、下式（２）のように表わされる。
【００１０】
【数２】
【００１１】
但し、上式（２）において、θは光学素子の延伸方向と表示画面の垂直方向のなす角を表す。また、記号《》は、整数を乗算して得られる最小の整数を表す。例えば、《１．４》は、５を乗算して最小の整数７から得られることから、《１．４》＝７である。
【００１２】
多視差画像を表示する立体表示装置は、上式（１）又は（２）から得られる最大視点数Ｎｍａｘ以下の事前に設定した視点数を固定値として扱っており、一旦設定した後に視点数を変更することはない。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許第６０６４４２４号公報
【特許文献２】特許第４４０２５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明の目的は、レンチキュラー・レンズやパララックス・バリアなどの光学素子を表示画面に相対して設置して、多視点の画像を好適に表示することができる、優れた立体表示装置並びに信号処理装置を提供することにある。
【００１５】
本発明のさらなる目的は、光学素子と画素の関係に基づいて決定される最大視点数以下で、画面に表示する視差画像の数を変更することができる、優れた立体表示装置並びに信号処理装置を提供することにある。
【課題を解決するための手段】
【００１６】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
複数の画素が配列され、２以上の視点数の視差画像を表示する表示部と、
前記の各視差画像をそれぞれ異なる方向に出射するように、前記表示部の画面に相対して設置された光学素子と、
前記光学素子と前記画素の関係に基づいて決定される最大視点数Ｎｍａｘ以内で視点数Ｎを変更した視差画像を処理する映像信号処理部と、
視差画像を表示出力するよう、前記表示画面の駆動を制御する駆動制御部と、
を具備する立体表示装置。
である。
【００１７】
本願の請求項２に記載の発明によれば、請求項１に記載の立体表示装置において、光学素子は、略直線状の構造体がアレイ状に連続的に配列されて構成され、延伸方向が前記表示画面の垂直方向に対して傾斜角θだけ傾けて配設されている。そして、最大視点数Ｎｍａｘは、光学素子の１構造体の水平方向の長さＬ、画素を構成する最小の色単位の水平、垂直方向それぞれの長さＰｘ、Ｐｙに基づいて決定される。
【００１８】
本願の請求項３に記載の発明によれば、請求項２に記載の立体表示装置の映像信号処理部は、表示画面の各画素に視点数Ｎにおける視点番号ｊを割り振る視点番号割り振り部と、各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部を備えている。そして、記駆動制御部は、合成画像を表示出力するよう、前記表示画面の駆動を制御するように構成されている。
【００１９】
本願の請求項４に記載の発明によれば、請求項３に記載の立体表示装置の視点番号割り振り部は、前記最大視点数Ｎｍａｘにおける元の視点番号が異なる複数の画素に対して視点数Ｎにおける新しい視点番号ｊを割り振る操作を、元の視点番号に従って行ない、視点数をＮｍａｘからＮへ変更する（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの整数）、ように構成されている。
【００２０】
本願の請求項５に記載の発明によれば、請求項３に記載の立体表示装置の視点番号割り振り部は、前記最大視点数Ｎｍａｘを、減少させた視点数Ｎで等分して、視点数Ｎにおける新しい視点番号ｊを生成し（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの数）、元の視点番号ｉの順に従って各画素に新しい視点番号ｊを割り振り直して、視点数をＮｍａｘからＮへ変更するように構成されている。
【００２１】
本願の請求項６に記載の発明によれば、請求項５に記載の立体表示装置の映像信号処理部は、Ｎ視点の視差画像を入力し、また、視点数Ｎにおける新しい視点番号ｊがｋ＜ｊ＜ｋ＋１となるときに（但し、ｋは１〜Ｎの整数、Ｎは３以上Ｎｍａｘ未満の整数、Ｎｍａｘは４以上の整数）、視点番号ｊの視差画像を、入力された前記Ｎ視点の視差画像の視点番号ｋの視差画像と視点番号（ｋ＋１）の視差画像を寄与に応じて混合して補間する画像補間部をさらに備えている。そして、画像補間部で補間された視差画像を適宜用いて、Ｎ視点の視差画像を合成するように構成されている。
【００２２】
本願の請求項７に記載の発明によれば、請求項５に記載の立体表示装置は、入力される視差画像の視点数が最大視点数Ｎｍａｘ以下のときに、前記映像信号処理部が視点数の補間を行なわずに直接出力するように構成されている。
【００２３】
本願の請求項８に記載の発明によれば、請求項１に記載の立体表示装置の映像信号処理部は、前記表示部の表示画面の少なくとも一部において、入力される視差画像の視差量に応じて視点数を変更するように構成されている。
【００２４】
本願の請求項９に記載の発明によれば、請求項１に記載の立体表示装置は、視差画像の視聴者が視点数を設定するユーザー設定部をさらに備えている。そして、映像信号処理部は、前記ユーザー設定部を介して設定された視点数へ、視差画像の視点数を変更するように構成されている。
【００２５】
また、本願の請求項１０に記載の発明は、
最大視点数Ｎｍａｘの表示装置の表示画面の各画素に、前記最大視点数Ｎｍａｘ以内となる視点数Ｎにおける視点番号を割り振る視点番号割り振り部と、
各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部と、
を具備する信号処理装置である。
【発明の効果】
【００２６】
本発明によれば、光学素子と画素の関係に基づいて決定される最大視点数以下で、画面に表示する視差画像の数を変更することができる、優れた立体表示装置並びに信号処理装置を提供することができる。
【００２７】
本発明によれば、固有の最大視点数を持つ立体表示装置において、複数の視点の画素に同時に同じ画像を出力することによって、運動視差に優れる多視点表示と、ゴースト及びエイリアシングに対して有利な少視点表示の間の任意の視点で、視差画像を表示することが可能である。
【００２８】
また、本発明によれば、固有の最大視点数を持つ立体表示装置において、寄与に応じて複数の視点画像を混合させて表示することにより、最大視点数以下の視点数にて視差画像の表示を行なうことによって、運動視差に優れる多視点表示と、ゴースト及びエイリアシングに対して有利な少視点表示の間の任意の視点で、視差画像を表示することが可能である。
【００２９】
また、本発明に係る立体表示装置並びに信号処理装置によれば、入力される視差画像が最大視点数以下の場合に、視点数の補間処理などを行なわずに、直接出力することが可能であり、回路コストの低減と映像遅延の減少を同時に実現することができる。
【００３０】
また、本発明に係る立体表示装置並びに信号処理装置によれば、最小視点数の２倍の視点数で視差画像の表示を行ない、且つ、視点番号が奇数又は偶数のいずれか一方の視点の画素を黒色表示とすることによって、ゴーストの少ない視差画像を表示させることができる。
【００３１】
また、本発明に係る立体表示装置並びに信号処理装置によれば、物理的手段によらず信号処理のみによって視点数の変更を実現することができるので、表示画面内での制御を容易に行なうことができる。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３３】
【図１】図１は、ＲＧＢ縦ストライプの画素配列の表面に、光学素子の１つであるレンチキュラー・レンズを設置した状態を示した図である。
【図２】図２は、図１に示した光学素子と画素配列の関係からなる表示画面において、各視点からの配光分布を例示した図である。
【図３】図３は、最大視点数２４の立体表示装置を８視点としての利用した場合の各視点からの配光分布を示した図である。
【図４】図４は、図１に示した立体表示装置において、最大視点数２４の視点状態で視点番号１の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合の画素状態を示した図である。
【図５】図５は、図１に示した立体表示装置において、８視点状態で視点番号１の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合の画素状態を示した図である。
【図６】図６は、最大視点数２４の立体表示装置の視点数を１６に設定し、視点番号が奇数又は偶数のいずれか一方の視点の画素を黒色に表示させたときの各視点からの配光分布を例示した図である。
【図７】図７は、多視点の視差画像を表示する立体表示装置１００の構成例を示した図である。
【図８】図８は、異なる複数の画素に対して新しい１つの視点番号を割り振って視点数を変更する方法を実現する映像信号処理部１２０の機能的構成例を示した図である。
【図９】図９は、最大視点数を新しい視点数で等分して、各画素に新たに視差番号を割り振って視点数を変更する方法を実現する映像信号処理部１２０の機能的構成例を示した図である。
【図１０】図１０は、視点数設定部４０１で設定された視点数Ｎに変更した視差画像を生成する映像信号処理部１２０の構成例を示した図である。
【図１１】図１１は、視点数設定部４０１で設定された視点数Ｎに変更した視差画像を生成する映像信号処理部１２０の構成例を示した図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００３５】
図７には、多視点の視差画像を表示する立体表示装置１００の構成例を示している。
【００３６】
立体表示装置１００は、画像表示部１１０と、映像信号処理部１２０と、タイミング制御部１４０と、映像メモリー１５０を備えている。また、画像表示部１１０は、表示パネル１１２と、ゲート・ドライバー１１３と、データ・ドライバー１１４を備えている。
【００３７】
映像信号処理部１２０は、映像信号処理部１２０の外部からの映像信号の伝送を受けると、画像表示部１１０における多視点の視差画像の表示に適したものとなるように各種信号処理を実行して出力する。具体的には、映像信号処理部１２０は、多視点の視差画像を入力とし、視点番号に従って各視差画像から切り出した画素同士を合成して、１フレーム内に各視点の画素の情報を含んだ合成視差画像を生成する。生成した合成視差画像は、映像メモリー１５０に供給される。本実施形態では、合成視差画像に含まれる視点数を変更することができるが、詳細については後述に譲る。なお、ここで言う、映像信号の伝送元となる「外部」には、ディジタル放送の受信機や、ブルーレイ・ディスク・プレイヤーなどのコンテンツ再生装置を挙げることができる。
【００３８】
また、映像信号処理部１２０は、合成視差画像の映像信号の切り替えのタイミングに同期して、データ・ドライバー１１３及びゲート・ドライバー１１４が動作するように、所定の制御信号をタイミング制御部１４０へ供給する。
【００３９】
ゲート・ドライバー１１３は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１４０から伝送された信号に応じて、表示パネル１１２内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１１４は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１４０から伝送された信号並びに映像メモリー１５０から読み出された映像信号に基づいてデータ線へ印加する信号を生成して出力する。
【００４０】
表示パネル１１２は、例えば格子状に配列された複数の画素を有するが、本発明の要旨は特定の画素配列には限定されない。液晶表示パネルの場合、ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、表示パネル１１２への信号の印加はゲート・ドライバー１１３及びデータ・ドライバー１１４によって実行される。
【００４１】
表示パネル１１２には、レンチキュラー・レンズやパララックス・バリアなどの、略直線状の構造体がアレイ状に連続的に配列されて構成される光学素子１６０が相対して設置されている。光学素子１６０は、表示パネル１１２から表示出力される各視差画像をそれぞれ異なる方向に出射するようになっている。光学素子１６０は、その延伸方向が表示パネル１１２の画素配列の垂直方向に対して傾斜角θだけ傾けて配設されている。表示パネル１１２で表示出力される視差画像の最大視点数Ｎｍａｘは、上式（２）により表わされる。
【００４２】
図１には、ＲＧＢ縦ストライプの画素配列の表面に、光学素子の１つであるレンチキュラー・レンズを設置した状態を示している。同図に示す例では、レンチキュラー・レンズは、その延伸方向が画素配列の方向に対してθだけ傾けて設置されている。また、同図は、２４視点の視差画像を表示している状態を例示しており、各画素の濃淡で色を表し、各画素の中に記されている１〜２４の番号は、画素の割り振られた視差番号を表している。
【００４３】
図１に示す例では、最小画素単位の水平、垂直方向のそれぞれ長さＰｘ、Ｐｙ、光学素子の幅Ｌの各パラメーターは、下式（３）に示す通りとなる。
【００４４】
【数３】
【００４５】
したがって、この場合の最大視点数Ｎｍａｘは、上式（２）を用いて下式（４）のように算出される。すなわち、図１に示した光学素子と画素の関係によれば、最大２４の視差画像を表示することが可能である。
【００４６】
【数４】
【００４７】
図２には、図１に示した光学素子と画素配列の関係からなる立体表示装置において、各視点からの配光分布を例示している。同図は、２４視点の各１視点のみに白画像を表示し、他の視点を黒とした場合の表示画面からの光の出射方向をプロットしたものである。同図より、この立体表示装置は、各視差画像がそれぞれ別の方向に出射していることが分かる。
【００４８】
このような立体表示装置を、例えば最大視点数２４以下である８視点の立体表示装置として利用する場合、１つの方法として、３視点分に同一の情報を表示する方法が挙げられる。すなわち、２４視点での視点番号１〜３に８視点での視点番号１の画像を表示し、２４視点での視点番号４〜６に８視点での視点番号２の画像を表示し、…というように、元の視点番号が異なる複数の画素に対して新しい１つの視点番号を割り振るという操作を、元の視点番号の順に従って行ない、最大視点数２４よりも小さい新しい視点数８における新しい視点番号を各画素に再割り当てする。そして、新しい視点番号が同じとなる複数の画素からの画像を表示することにより、同じ立体表示装置を８視点立体表示装置として機能させる。
【００４９】
図８には、上記の視点数の変更方法を実現する映像信号処理部１２０の機能的構成例を示している。新しい視点数をＮとすると、視点番号割り振り部２０１は、表示パネル１１２の各画素に対し、視点数Ｎにおける新しい視点番号ｊを割り振る。ここで、視点番号割り振り部２０１は、最大視点数Ｎｍａｘにおける元の視点番号が異なる複数の画素に対して視点数Ｎにおける新しい視点番号ｊを割り振る操作を、元の視点番号に従って行ない、視点数をＮｍａｘからＮへ変更する（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの整数）。次いで、画像合成部２０２は、Ｎ視点の視差画像が入力されると、各視差画像の該当する視点番号の画素を配列して、１フレーム内に各視点の画素の情報を含んだ合成視差画像を生成する。
【００５０】
図３には、最大視点数２４の立体表示装置を上記のように８視点としての利用した場合の各視点からの配光分布を示している。同図から、視点数を最大視点数よりも小さくしたときに、各視差画像がそれぞれ別の方向に出射していることが分かる。すなわち、最大視点数２４の立体表示装置は、３視点分に同一の情報を表示する方法によって、８視点の立体表示装置としても機能することが分かる。
【００５１】
また、最大視点数２４の立体表示装置を、最大視点数２４以下である８視点の立体表示装置として利用する他の方法として、２４視点を８等分して、各画素に新たに視差番号を割り振る方法が挙げられる。すなわち、２４視点立体表示装置として利用する場合の視点番号１、２、３、…、２４を、新たな視点数８で等分して、新しい視点番号１、１．３３、２．６６、３、…、７．６６、８を生成し、元の視点番号の順に従って各画素に新しい視点番号を割り振り直す。この場合、例えば、新しい視点番号１．３の画像を、８視点画像の視点番号１と視点番号２の各画像を、寄与に応じて適切に混合して表示させるようにしてもよい。
【００５２】
例えば、８視点の視差画像Ｖ1、Ｖ2、…、Ｖ8が入力されたとする。新しい視点番号１．３３の視差画像Ｖ1.33に対しては、隣接する視点１及び視点２の各視差画像Ｖ1、Ｖ2のみが寄与し、且つ、寄与率を線形的に評価する場合には、視点番号１．３３の視差画像Ｖ1.33は、下式（５）に表わすように視差画像Ｖ1とＶ2を混合して生成される。
【００５３】
【数５】
【００５４】
また、新しい視点番号２．６６の視差画像Ｖ2.66についても、同様に、隣接する視点２及び視点３の各視差画像Ｖ2、Ｖ3のみが寄与し、且つ、寄与率を線形的に評価すると、視点番号２．６６の視差画像Ｖ2.66は、下式（６）のように表わされる。
【００５５】
【数６】
【００５６】
勿論、新しい視点番号の視差画像に、隣接する視点以外の視差画像が寄与するという評価方法であってもよい。また、線形補間以外に、例えば補間曲線を用いた補間方法を適用することもできる。
【００５７】
図９には、最大視点数を新しい視点数で等分して、各画素に新たに視差番号を割り振って視点数の変更方法を実現する映像信号処理部１２０の機能的構成例を示している。新しい視点数をＮとすると、視点番号割り振り部３０１は、表示パネル１１２の各画素に対し、視点数Ｎにおける新しい視点番号ｊを割り振る。ここで、視点番号割り振り部３０１は、最大視点数Ｎｍａｘを、減少させた視点数Ｎで等分して、視点数Ｎにおける新しい視点番号ｊを生成し（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの数）、元の視点番号ｉに従って各画素に新しい視点番号ｊを割り振り直して、視点数をＮｍａｘからＮへ変更する。また、画像補間部３０２は、視点数Ｎにおける新しい視点番号ｊがｋ＜ｊ＜ｋ＋１となるときに（但し、ｋは１〜Ｎ−１の整数、Ｎは３以上Ｎｍａｘ未満の整数、Ｎｍａｘは４以上の整数）、視点番号ｊの視差画像を生成する。例えば、画像補間部３０２は、視点番号ｊの視差画像を、入力されたＮ視点の視差画像の視点番号ｋの視差画像と視点番号（ｋ＋１）の視差画像を、寄与に応じて混合して補間画像を生成する。次いで、画像合成部３０３は、入力画像並びに補間画像の組み合わせからなるＮ視点の視差画像が入力されると、各視差画像の該当する視点番号の画素を配列して、１フレーム内に各視点の画素の情報を含んだ合成視差画像を生成する。
【００５８】
前者の、最大視点数で立体表示装置を用いる場合の元の視点番号が異なる複数の画素に対して新しい１つの視点番号を割り振り、新しい視点番号が同じとなる複数の画素からの画像を表示するという視点数の変更方法によると、最大視点数の約数以外の視点数に変更した立体表示装置とすることは困難である。
【００５９】
これに対し、後者の、最大視点数を新しい視点数で等分して、各画素に新たに視差番号を割り振るという視点数の変更方法によれば、最大視点数以下の任意の視点数に変更することが可能である。しかしながら、２つの視差画像を混合させて視差画像を作成する（新たな視点番号に該当する視差画像を補間する）必要があるため、計算コストの増大を招く。
【００６０】
図２から、最大視点数２４の立体表示装置を最大視点数２４のまま利用すると、隣の視点の配光とのオーバーラップが大きく、各視差画像が分離されないことが分かる。言い換えれば、最大視点数２４の視差画像を表示する多視点状態では、隣接する視点の画像が同時に見える。このため、隣接視点が視差のない画像であれば問題ないが、視差がある画像を表示した場合には、本来の視点の近傍にゴースト像が見えることになり、像がぼけた印象を観察者に与える。
【００６１】
これに対し、最大視点数を新しい視点数で等分して各画素に新たに視差番号を割り振る方法で視点数を変更すると、図３に示したように、隣の視点の配光とのオーバーラップが少なくなり、各視差画像が分離されていることが分かる。視点数を間引くと、オーバーラップが減少することから、画像が鮮明化する。すなわち、最大視点数２４の立体表示装置で８視点の視差画像を表示している状態では、観察者には隣の視点の画像があまり見えない。隣の視点と視差がついた場所であっても、２４視点の画像を表示する場合と比較して、観察者はゴーストの少ない画像を見ることができる。
【００６２】
また、最大視点数２４の立体表示装置を最大視点数２４のまま利用すると、図２から分かるように、隣接する視点間で視点の角度差が小さい。このため、観察者が頭を左右に動かした場合でも、次々と異なる視差画像が見えることになり、滑らかな運動視差を得ることができる。これに対し、視点数を最大視点数２４から８に減少させると、図３に示したように、隣接する視点間での視点の角度差が大きくなる。このため、観察者が頭を左右に動かすと、離散的に視差画像が順次見えることになる。すなわち、視点数を減少させると、観察者が頭を動かしたときには、パタパタと不自然な運動視差となる。
【００６３】
図４には、図１に示した立体表示装置において、最大視点数２４の視点状態で視点番号１の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合における画素状態を示している。また、図５には、図１に示した立体表示装置において、８視点状態で視点番号１（１．０以上２．０未満）の画素のみを白表示し、その他の視点番号の画素を黒表示とした場合における画素状態を示している。但し、最大視点数を新しい視点数で等分して各画素に新たに視差番号を割り振って視点数を８に減少させた方法とする。
【００６４】
図４と図５を比較して分かるように、２４視点状態では、視点番号１の画素が８視点状態と比べて疎となっている。このため、２４視点ではエイリアシングが発生して、細かな情報を表示することが困難となる。一方、８視点では、１視点画像が比較的密となるので、エイリアシングが起こり難くなっている。
【００６５】
以上のように、立体表示装置が最大視点数である２４視点の視差画像を表示することは運動視差において優れ、これに対し、視点数を減らして視差画像を表示することでゴーストとエイリアシングが改善することが分かる。
【００６６】
運動視差と、ゴースト若しくはエイリアシングのいずれを優先させて表示するかは、視聴者の嗜好や、表示される情報の内容、又は視聴環境などによって左右される。このため、いずれを優先させるか、すなわち視点数を事前に決定することは困難である。そこで、立体表示装置１００は、視聴者による指示に基づいて最大視点数Ｎｍａｘ以下の視点数Ｎを設定し、あるいは表示するコンテンツやその視聴環境に基づいて最大視点数Ｎｍａｘ以下の視点数を自動的に設定して、視点数Ｎの視差画像を表示するようにすればよい。図１０及び図１１には、最大視点数Ｎｍａｘの視差画像を入力し、視点数設定部４０１で設定された視点数Ｎに変更した視差画像を生成する映像信号処理部１２０の構成例を示している。
【００６７】
例えば、動画圧縮規格の１つであるＨ．２６４では、複数の視点で撮影された映像を効率的に圧縮するマルチビュー符号化（Ｍｕｌｔｉ Ｖｉｅｗ Ｃｏｄｉｎｇ：ＭＶＣ）について規格化している。しかしながら、この種の標準規格において、表示したいコンテンツが個別の裸眼立体表示装置と合致した視点数を有しているとは限らない。すなわち、立体表示装置１００に入力される視差画像の視点数と、立体表示装置１００において表示可能な最大視点数Ｎｍａｘにかい離を生じる可能性がある。
【００６８】
例えば、入力される視差画像の視点数を、視点補間により立体表示装置１００に最適な視点数まで増減して表示させることができるが、この場合、回路コストの増大を招来する。また、視点補間により映像遅延が生じる場合があり、例えばゲーム機などでは映像遅延は好ましくない。これに対し、本実施形態に係る立体表示装置１００によれば、上述したような方法により入力される視差画像の視点数を変更することによって、視点補間を行なわずに、視差画像を直接出力することが可能である。すなわち、回路コストの増大を防ぎ、また、映像遅延を最小にして、視差画像を表示することが可能である。
【００６９】
本実施形態に係る立体表示装置１００が上述した２つの方法のいずれかにより視差画像の視点数を変更する際、視点数の最小値は、１視点間隔が視聴者の眼間距離となる値に設定されることが望ましい。図３には、３視点分に同一の情報を表示する方法により、最大視点数２４の立体表示装置を８視点としての利用した場合の各視点からの配光分布を示した。図示の例では、１視点間隔がおよそ１．２度となっている。この視点間隔は、１．５メートル離れたところにおいて平均的な人の眼間距離６５ミリメートルに相当する。したがって、本実施形態に係る立体表示装置であれば、変更可能な視点数の下限を８視点とすることが望ましい。
【００７０】
また、本実施形態に係る立体表示装置１００において、視点数を下限の視点数８の２倍である１６視点に設定して視差画像を表示させる際に、視点番号が奇数又は偶数のいずれか一方の視点の画素のみ本来の画像を表示させ、他方の画素には黒色表示にするようにしてもよい。図６には、この場合の各視点からの配光分布を例示している。
【００７１】
各視点の表示される角度を、図６と図３で比較すると、８視点としたときと同じである。これに対し、視点表示の状態を、図６と図３で比較すると、１６視点に設定して、視点番号が奇数又は偶数のいずれか一方の視点を黒色表示させた場合の方が、隣接視点とのオーバーラップが減少し、ゴーストの少ない画像を表示することが可能となっていることが分かる。但し、黒色挿入を行なった１６視点は、８視点と比べて輝度がおよそ半分となっているものの、１視差画像のみに注目すると、鮮明な画像を得ることができる。
【００７２】
なお、上記では、表示パネル１１２の画面全体において同一の視点数であることを前提として説明してきたが、画面内で視点数が変更する場合であっても、同様に本発明を適用することができる。例えば、画面内で大きな視差がつき、大きく飛び出す映像の場合は、該当部分だけ視点数を増加させることにより、滑らかな運動視差を表現して、より自然な立体映像としてもよい。但し、視点数を増加させすぎると、エイリアシングが生じるので、立体表示装置毎に視差と視点数の関係を形成するべきである、と本発明者らは思料する。
【産業上の利用可能性】
【００７３】
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７４】
本明細書では、図１に示したようにＲＧＢストライプ構造の画素に対して傾けて光学素子を設置した実施形態について説明してきたが、本発明の要旨は、特定のＲＧＢ画素配列や、画素と光学素子との特定の関係にのみ限定されるものではない。図示した以外の特殊な画素配置や特殊な画素構造を持った立体表示装置に対しても、同様に本発明を適用することができる。
【００７５】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７６】
１００…立体表示装置
１１０…画像表示部
１１２…表示パネル
１１３…ゲート・ドライバー
１１４…データ・ドライバー
１２０…映像信号処理部
１４０…タイミング制御部
１５０…映像メモリー
１６０…光学素子 ２０１…視点番号割り振り部
２０２…画像合成部
３０１…視点番号割り振り部
３０２…画像補間部
３０３…画像合成部
【特許請求の範囲】
【請求項１】
複数の画素が配列され、２以上の視点数の視差画像を表示する表示部と、
前記の各視差画像をそれぞれ異なる方向に出射するように、前記表示部の画面に相対して設置された光学素子と、
前記光学素子と前記画素の関係に基づいて決定される最大視点数Ｎｍａｘ以内で視点数Ｎを変更した視差画像を処理する映像信号処理部と、
視差画像を表示出力するよう、前記表示画面の駆動を制御する駆動制御部と、
を具備する立体表示装置。
【請求項２】
前記光学素子は、略直線状の構造体がアレイ状に連続的に配列されて構成され、延伸方向が前記表示画面の垂直方向に対して傾斜角θだけ傾けて配設され、前記最大視点数Ｎｍａｘは下式により表わされる、
請求項１に記載の立体表示装置（但し、Ｌは光学素子の１構造体の水平方向の長さ、Ｐｘ、Ｐｙは前記画素を構成する最小の色単位の水平、垂直方向それぞれの長さを表し、記号《》は、整数を乗算して得られる最小の整数を表す）。
【数１】
【請求項３】
前記映像信号処理部は、
前記表示画面の各画素に視点数Ｎにおける視点番号を割り振る視点番号割り振り部と、
各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部と、
を備え、
前記駆動制御部は、合成画像を表示出力するよう、前記表示画面の駆動を制御する、
請求項２に記載の立体表示装置。
【請求項４】
前記視点番号割り振り部は、前記最大視点数Ｎｍａｘにおける元の視点番号が異なる複数の画素に対して視点数Ｎにおける新しい視点番号ｊを割り振る操作を、元の視点番号に従って行ない、視点数をＮｍａｘからＮへ変更する（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの整数）、
請求項３に記載の立体表示装置。
【請求項５】
前記視点番号割り振り部は、前記最大視点数Ｎｍａｘを、減少させた視点数Ｎで等分して、視点数Ｎにおける新しい視点番号ｊを生成し（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの数）、元の視点番号ｉの順に従って各画素に新しい視点番号ｊを割り振り直して、視点数をＮｍａｘからＮへ変更する、
請求項３に記載の立体表示装置。
【請求項６】
前記映像信号処理部は、Ｎ視点の視差画像を入力し、
視点数Ｎにおける新しい視点番号ｊがｋ＜ｊ＜ｋ＋１となるときに（但し、ｋは１〜Ｎの整数、Ｎは３以上Ｎｍａｘ未満の整数、Ｎｍａｘは４以上の整数）、視点番号ｊの視差画像を、入力された前記Ｎ視点の視差画像の視点番号ｋの視差画像と視点番号（ｋ＋１）の視差画像を混合して補間する画像補間部をさらに備え、
前記画像補間部で補間された視差画像を適宜用いて、Ｎ視点の視差画像を合成する、
請求項５に記載の立体表示装置。
【請求項７】
入力される視差画像の視点数が最大視点数Ｎｍａｘ以下のときに、前記映像信号処理部は、視点数の補間を行なわずに直接出力する、
請求項５に記載の立体表示装置。
【請求項８】
前記映像信号処理部は、前記表示部の表示画面の少なくとも一部において、入力される視差画像の視差量に応じて視点数を変更する、
請求項１に記載の立体表示装置。
【請求項９】
視差画像の視聴者が視点数を設定するユーザー設定部をさらに備え、
前記映像信号処理部は、前記ユーザー設定部を介して設定された視点数へ、視差画像の視点数を変更する、
請求項１に記載の立体表示装置。
【請求項１０】
最大視点数Ｎｍａｘの表示装置の表示画面の各画素に、前記最大視点数Ｎｍａｘ以内となる視点数Ｎにおける視点番号を割り振る視点番号割り振り部と、
各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部と、
を具備する信号処理装置。
【請求項１】
複数の画素が配列され、２以上の視点数の視差画像を表示する表示部と、
前記の各視差画像をそれぞれ異なる方向に出射するように、前記表示部の画面に相対して設置された光学素子と、
前記光学素子と前記画素の関係に基づいて決定される最大視点数Ｎｍａｘ以内で視点数Ｎを変更した視差画像を処理する映像信号処理部と、
視差画像を表示出力するよう、前記表示画面の駆動を制御する駆動制御部と、
を具備する立体表示装置。
【請求項２】
前記光学素子は、略直線状の構造体がアレイ状に連続的に配列されて構成され、延伸方向が前記表示画面の垂直方向に対して傾斜角θだけ傾けて配設され、前記最大視点数Ｎｍａｘは下式により表わされる、
請求項１に記載の立体表示装置（但し、Ｌは光学素子の１構造体の水平方向の長さ、Ｐｘ、Ｐｙは前記画素を構成する最小の色単位の水平、垂直方向それぞれの長さを表し、記号《》は、整数を乗算して得られる最小の整数を表す）。
【数１】
【請求項３】
前記映像信号処理部は、
前記表示画面の各画素に視点数Ｎにおける視点番号を割り振る視点番号割り振り部と、
各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部と、
を備え、
前記駆動制御部は、合成画像を表示出力するよう、前記表示画面の駆動を制御する、
請求項２に記載の立体表示装置。
【請求項４】
前記視点番号割り振り部は、前記最大視点数Ｎｍａｘにおける元の視点番号が異なる複数の画素に対して視点数Ｎにおける新しい視点番号ｊを割り振る操作を、元の視点番号に従って行ない、視点数をＮｍａｘからＮへ変更する（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの整数）、
請求項３に記載の立体表示装置。
【請求項５】
前記視点番号割り振り部は、前記最大視点数Ｎｍａｘを、減少させた視点数Ｎで等分して、視点数Ｎにおける新しい視点番号ｊを生成し（但し、Ｎは２以上Ｎｍａｘ未満の整数、ｊは１〜Ｎの数）、元の視点番号ｉの順に従って各画素に新しい視点番号ｊを割り振り直して、視点数をＮｍａｘからＮへ変更する、
請求項３に記載の立体表示装置。
【請求項６】
前記映像信号処理部は、Ｎ視点の視差画像を入力し、
視点数Ｎにおける新しい視点番号ｊがｋ＜ｊ＜ｋ＋１となるときに（但し、ｋは１〜Ｎの整数、Ｎは３以上Ｎｍａｘ未満の整数、Ｎｍａｘは４以上の整数）、視点番号ｊの視差画像を、入力された前記Ｎ視点の視差画像の視点番号ｋの視差画像と視点番号（ｋ＋１）の視差画像を混合して補間する画像補間部をさらに備え、
前記画像補間部で補間された視差画像を適宜用いて、Ｎ視点の視差画像を合成する、
請求項５に記載の立体表示装置。
【請求項７】
入力される視差画像の視点数が最大視点数Ｎｍａｘ以下のときに、前記映像信号処理部は、視点数の補間を行なわずに直接出力する、
請求項５に記載の立体表示装置。
【請求項８】
前記映像信号処理部は、前記表示部の表示画面の少なくとも一部において、入力される視差画像の視差量に応じて視点数を変更する、
請求項１に記載の立体表示装置。
【請求項９】
視差画像の視聴者が視点数を設定するユーザー設定部をさらに備え、
前記映像信号処理部は、前記ユーザー設定部を介して設定された視点数へ、視差画像の視点数を変更する、
請求項１に記載の立体表示装置。
【請求項１０】
最大視点数Ｎｍａｘの表示装置の表示画面の各画素に、前記最大視点数Ｎｍａｘ以内となる視点数Ｎにおける視点番号を割り振る視点番号割り振り部と、
各視差画像の該当する視点番号の画素を配列してＮ視点の視差画像を合成する画像合成部と、
を具備する信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２０３０５０（Ｐ２０１２−２０３０５０Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６４９９８（Ｐ２０１１−６４９９８）
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]