表示制御装置および方法、並びに表示装置
【課題】視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができるようにする。
【解決手段】複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成し、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づけ、視点毎に、平面画像から抽出された視点画像サブピクセルに基づいて、変換前のサブピクセルの値をサブピクセルの色毎に決定し、決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成する。
【解決手段】複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成し、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づけ、視点毎に、平面画像から抽出された視点画像サブピクセルに基づいて、変換前のサブピクセルの値をサブピクセルの色毎に決定し、決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示制御装置および方法、並びに表示装置に関し、特に、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができるようにする表示制御装置および方法、並びに表示装置に関する。
【背景技術】
【０００２】
近年、画像の３次元表示を実現するために、視差を有する画像の画像データの生成方式が数多く開発されている。
【０００３】
例えば、奇数番目の画素行では、奇数のカラー画素データが「右」「左」「右」の順番で合成され、偶数のカラー画素データが「左」「右」「左」の順番で合成されるようにする技術が提案されている（例えば、特許文献１参照）。このようにすることで、種類のカラー画素データが画素行の延在方向に交互に配置されるため、違和感のないスムーズな立体画像を表示可能な、視差画像データを合成することができる。
【０００４】
さらに、多視点からの画像を生成して観察位置に係らず、自然な立体画像を表示することも行われている（例えば、特許文献２参照）。
【０００５】
例えば、特殊な眼鏡を必要とせずに多視点映像表示を実現する方法として、パララックスバリア方式等が知られている。これらの方式は、複数視点の画像を例えば、縦方向の直線状に画面に交互に表示し（ストレートバリア方式）、この表示映像をスリットやレンチキュラーレンズ等で分離するものである。そして、分離した画像が各々の視点に位置する観察者に導かれることで多視点表示が行われる。
【０００６】
一般的な従来の液晶ディスプレイなどでは、ストライプ配列の画素が用いられることが多い。ストライプ配列の画素では、例えば、Ｒ，Ｇ，Ｂの各サブピクセルが縦長の矩形とされており、それら３つのサブピクセルを縦方向に並べることで１つの画素が構成される。
【０００７】
一方、近年では、スクエア配列の画素が用いられることもある。スクエア配列の画素では、例えば、Ｒ，Ｇ，Ｂ，Ｗの各サブピクセルが正方形とされており、それら４つのサブピクセルを、２行２列（いわゆる田の字型）に並べることで１つの画素が構成される。
【０００８】
例えば、ストライプ配列の画素を、スクエア配列の画素に変換する技術も提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１０９４１４号公報
【特許文献２】特開２００５−１１００１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、例えば、スクエア配列の画素を用いて視差を有する画像を生成する場合、サブピクセル間での混色の発生を抑止するために、横方向の解像度を２倍にする必要がある。
【００１１】
このような場合、ストライプ配列の画素を、スクエア配列の画素に変換するとき、ストライプ配列の画素と、スクエア配列の画素の配置のずれが発生する。このため、変換前と変換後の画素間の対応を充分に考慮した変換を行う必要がある。
【００１２】
本技術はこのような状況に鑑みて開示するものであり、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の第１の側面は、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、前記変換合成部は、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御装置である。
【００１４】
前記変換合成部は、３色のサブピクセルで構成されるストライプ配列の画素を、４色のサブピクセルで構成されるスクエア配列の画素に変換するようにすることができる。
【００１５】
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が２倍とされ、垂直方向の解像度が１／２とされるようにすることができる。
【００１６】
前記サブピクセル値決定部は、前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つ以上のサブピクセルが含まれている場合、前記２つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定するようにすることができる。
【００１７】
前記サブピクセル値決定部は、前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定するようにすることができる。
【００１８】
前記サブピクセル値決定部は、前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定するようにすることができる。
【００１９】
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察されるようにすることができる。
【００２０】
本技術の第１の側面は、変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、立体表示用画像を生成するステップでは、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される表示制御方法である。
【００２１】
本技術の第１の側面においては、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像が生成され、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される。
【００２２】
本技術の第２の側面は、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、前記表示制御部によって生成された立体表示用画像を表示する表示部と、前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、前記変換合成部は、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、前記表示制御部によって生成された立体表示用画像を表示する表示部と、前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備える表示装置である。
【００２３】
前記分離部を構成する光学分離素子として液晶レンズが用いられるようにすることができる。
【００２４】
本技術の第２の側面においては、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像が生成され、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される。また、前記生成された立体表示用画像が表示され、前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像が光学的に分離される。
【発明の効果】
【００２５】
本技術によれば、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができる。
【図面の簡単な説明】
【００２６】
【図１】４つ視点の画像による立体表示の例を説明する図である。
【図２】図１の表示装置で合成された合成画像の平面図である。
【図３】図１の表示装置の画像の他の例を示す平面図である。
【図４】ストレートバリア方式による多視点の画像により立体表示が行われる場合の例を示す図である。
【図５】ストレートバリア方式による多視点の画像により立体表示が行われる場合の例を示す図である。
【図６】ステップバリア方式での立体表示における第１視点用画像の画素の表示位置を示す図である。
【図７】ステップバリア方式での立体表示における第１視点用画像の変換前の画像を示す図である。
【図８】ステップバリア方式での立体表示における第１視点用画像の変換後の画像を示す図である。
【図９】ステップバリア方式での立体表示における第２視点用画像の変換前の画像を示す図である。
【図１０】ステップバリア方式での立体表示における２視点用画像の変換後の画像を示す図である。
【図１１】ステップバリア方式での立体表示における第３視点用画像の変換前の画像を示す図である。
【図１２】ステップバリア方式での立体表示における第３視点用画像の変換後の画像を示す図である。
【図１３】ステップバリア方式での立体表示における第４視点用画像の変換前の画像を示す図である。
【図１４】ステップバリア方式での立体表示における第４視点用画像の変換後の画像を示す図である。
【図１５】ステップバリア方式での立体表示における第５視点用画像の変換前の画像を示す図である。
【図１６】ステップバリア方式での立体表示における第５視点用画像の変換後の画像を示す図である。
【図１７】ステップバリア方式での立体表示における第６視点用画像の変換前の画像を示す図である。
【図１８】ステップバリア方式での立体表示における第６視点用画像の変換後の画像を示す図である。
【図１９】ステップバリア方式での立体表示における第７視点用画像の変換前の画像を示す図である。
【図２０】ステップバリア方式での立体表示における第７視点用画像の変換後の画像を示す図である。
【図２１】変換前後の画素の対応関係の別の例を説明する図である。
【図２２】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２３】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２４】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２５】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２６】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２７】本技術を適用した多視点立体表示システムの一実施の形態に係る構成例を示すブロック図である。
【図２８】図２７の視差画像合成部の詳細な構成例を示すブロック図である。
【図２９】多視点立体表示処理の例を説明するフローチャートである。
【図３０】視差画像生成処理の例を説明するフローチャートである。
【図３１】視差画像合成処理の例を説明するフローチャートである。
【図３２】画素変換処理の例を説明するフローチャートである。
【図３３】本技術を適用した多視点立体表示システムの一実施の形態に係る別の構成例を示すブロック図である。
【図３４】本技術を適用した多視点立体表示システムの一実施の形態に係るさらに別の構成例を示すブロック図である。
【図３５】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２８】
最初に多視点の画像による立体表示について説明する。
【００２９】
図１は、４視点の画像による立体表示の例を説明する図である。この表示装置においては、画面Ｗの水平方向に、第１視点用の画像、第２視点用の画像、第３視点用の画像及び第４視点用の画像を表示するサブピクセルが交互に配置されている。第１視点用の画像乃至第４視点用の画像を表示する４つのサブピクセルは、４つの画像を合成した合成画像の最小の表示単位である表示画素を構成する。画面Ｗには、このような表示画素がマトリクス状に複数配置されており、これら複数の表示画素によって、全体としての合成画像が形成されている。
【００３０】
なお、画像を構成する画素は、原則として、例えば、赤色のサブピクセル、緑色のサブピクセル、青色のサブピクセルの組み合わせを意味するが、サブピクセルを考慮する技術を説明する際に画素とサブピクセルを混同しやすい。本明細書では、サブピクセルと画素との区別を明確にするため、複数のサブピクセルの組み合わせを、適宜、表示画素と称することにする。
【００３１】
画面Ｗと観察者Ｈとの間には、第１視点用の画像乃至第４視点用の画像をそれぞれ空間的に分離するパララックスバリアＢが配置されている。パララックスバリアＢには、例えば、各表示画素に対応した複数のスリットＳが設けられており、各表示画素内に表示される第１視点用の画像乃至第４視点用の画像を分離して観察者Ｈに表示するようになっている。
【００３２】
図２は、画面Ｗ上に表示された合成画像の一部を示す平面図である。図２（ａ）は合成画像の平面図であり、図２（ｂ）はパララックスバリアＢを介して見た第４視点用の画像の平面図である。
【００３３】
図２（ａ）に示されるように、４つの画像は、それぞれ１列毎（１サブピクセル毎）に交互に表示されている。同図において、共通の数字ｎで表示された複数のサブピクセルは同一の視点（ｎ番目の視点）の画像を表示するサブピクセルである。図１に示した４つの画像は、それぞれ垂直方向に配列された１列分のサブピクセルによって形成される画像を示している。これらは水平方向に複数配列されることで、全体としての画像を形成する。
【００３４】
図２において「ｒ」「ｇ」「ｂ」は、それぞれ赤色、緑色、青色のサブピクセルである。第１視点用の画像乃至第４視点用の画像は、それぞれ赤色、緑色、青色の３つのサブピクセルを含む複数の表示画素によって構成されている。例えば、第４視点用の画像は、図２（ｂ）に示すように、４サブピクセル毎に配置される赤色、緑色、青色の３つのサブピクセルを含む表示画素Ｐによって構成されている。そして、マトリクス状に配置された複数の表示画素Ｐによって、全体としての第４視点用の画像が形成されている。
【００３５】
図２に示される方式は、各画像を構成するサブピクセルを縦方向に一直線に並べて表示させるものであり、ストレートバリア方式と称される。しかしながら、ストレートバリア方式の場合、表示画素Ｐは、３つのサブピクセルが３サブピクセル毎に配置されているため、通常の２次元画像を表示する場合に比べて表示画素全体が水平方向に４倍に（４画素分の大きさに）広がった状態となり、細かい形状を表示する場合に十分な再現性が得られない。
【００３６】
例えば、４つの画像を水平方向及び垂直方向の双方において交互に配置し、それに対応させてパララックスバリアＢを水平方向に対して斜めに配置するステップバリア方式も用いられている。
【００３７】
図３は、ステップバリア方式を用いた合成画像の一部を示す平面図である。図３（ａ）は合成画像の平面図であり、図３（ｂ）はパララックスバリアＢを介して見た第４視点用の画像の平面図である。
【００３８】
図３に示されるように、４つの画像はそれぞれ１サブピクセル毎に水平方向及び垂直方向に交互に表示されており、パララックスバリアＢを介して見た場合に、赤色、緑色、青色の３つのサブピクセルが水平方向に対して斜め方向にステップ状に配置されるようになっている。また、パララックスバリアＢのスリットは、斜め方向に配列した赤色、緑色、青色のサブピクセルの配列に対応して斜め方向にステップ状に配置されており、パララックスバリアＢを介して見た第４視点用の画像に他の視点の画像が表示されないようになっている。
【００３９】
ここでは、パララックスバリアとしてスリットを用いる例について説明したが、例えば、レンチキュラーレンズや液晶レンズなどを用いることも可能である。
【００４０】
このようにして、多視点の画像による立体表示が行われる。
【００４１】
ところで、一般的な従来の液晶ディスプレイなどでは、ストライプ配列の画素が用いられることが多い。ストライプ配列の画素では、例えば、Ｒ，Ｇ，Ｂ（赤色、緑色、青色）の各サブピクセルが縦長の矩形とされており、それら３つのサブピクセルを縦方向または横方向に並べることで１つの表示画素が構成される。
【００４２】
一方、近年では、スクエア配列の画素が用いられることもある。スクエア配列の画素では、例えば、Ｒ，Ｇ，Ｂ，Ｗ（赤色、緑色、青色、白色）の各サブピクセルが正方形とされており、それら４つのサブピクセルを、２行２列（いわゆる田の字型）に並べることで１つの表示画素が構成される。スクエア配列の画素を用いることにより、例えば、個々の表示画素の輝度値を高めるようにすることができる。
【００４３】
例えば、ストライプ配列の画素を、スクエア配列の画素に変換する技術も提案されている。すなわち、ストライプ配列において対応する位置の表示画素を構成する３つのサブピクセルを取得して解析することにより、スクエア配列における表示画素を構成する４つのサブピクセルが生成されることで、ストライプ配列の画素がスクエア配列の画素に変換される。
【００４４】
スクエア配列の画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて１つの表示画素を構成する４つのサブピクセルを並び替える必要がある。
【００４５】
例えば、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像を、スクエア配列の画素により構成される画像であって、立体表示における第ｎ番目の視点の画像に変換する場合を考える。
【００４６】
図４と図５は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合の例を示す図である。
【００４７】
図４には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向（水平方向）に１列に配置された表示画素によって構成される２次元画像が示されている。図４では、７つの視点に対応する各画像が画像５１乃至画像５７により示されている。すなわち、画像５１は第１視点用画像とされ、画像５２は第２視点用画像とされ、・・・画像５７は第７視点用画像とされる。
【００４８】
第１視点用の画像乃至第７視点用の画像により立体表示を行う場合、画像５１乃至画像５７を合成して１画面の画像とする必要がある。そして、合成された画像におけるスクエア配列の表示画素を構成する各サブピクセルを、第１視点用の画像乃至第７視点用の画像を構成するストライプ配列の表示画素を構成する各サブピクセルから生成する必要がある。
【００４９】
図５は、画像５１乃至画像５７を合成して得られる１画面の画像８０の例を示している。画像８０は、４つのサブピクセルから成るスクエア配列の表示画素により構成される画像とされる。上述したように、スクエア配列の表示画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて１つの表示画素を構成する４つのサブピクセルを並び替える必要がある。図５の例では、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルを縦一列に組み合わせて構成されるように並べ替えられている。
【００５０】
図５に示される矩形の領域９１は、７視点分の表示画素が表示される単位領域を表している。領域９１の中の表示画素８１−１は、第１視点用画像の画素であって、画面の左上端に配置される表示画素を表している。なお、領域９１の中の表示画素８１−１の右横に配置された４つのサブピクセルによって、第２視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。さらに、その右横の４つのサブピクセルによって、第３視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。このように、領域９１の中に第１視点用の画像乃至第７視点用の画像の表示画素がそれぞれ１つずつ配置される。
【００５１】
また、図５において、領域９１の下にもやはり領域９１と同じ形状／大きさの単位領域が存在することになり、表示画素８１−２は、第１視点用画像の画素であって、画面の左端の上から２番目に配置される表示画素とされる。
【００５２】
同様に、表示画素８１−３は、第１視点用画像の画素であって、画面の左端の上から３番目に配置される表示画素とされ、表示画素８１−４は、第１視点用画像の画素であって、画面の左下端に配置される表示画素とされる。
【００５３】
つまり、図５の領域９１の下には、領域９１と同じ形状／大きさの単位領域が３つ存在することになり、それぞれの単位領域に、７視点分の表示画素が表示されることになる。
【００５４】
また、図５の領域９１の右には、領域９１と同じ形状／大きさの単位領域が縦方向（垂直方向）１列に４つ存在することになり、それぞれの単位領域に、７視点分の表示画素が表示されることになる。表示画素８２−１乃至表示画素８２−４は、それぞれの単位領域に表示される第１視点用画像の画素とされる。
【００５５】
図５の表示画素８１−１を構成する各サブピクセルは、図４の表示画素６１−１を構成する各サブピクセルを取得し、それらのサブピクセルの値（輝度値など）を解析することにより生成される。同様に、図５の表示画素８１−２を構成する各サブピクセルは、図４の表示画素６１−２を構成する各サブピクセルに基づいて生成される。そして、図５の表示画素８１−３を構成する各サブピクセルは、図４の表示画素６１−３を構成する各サブピクセルに基づいて生成され、図５の表示画素８１−４を構成する各サブピクセルは、図４の表示画素６１−４を構成する各サブピクセルに基づいて生成されることになる。
【００５６】
このように、図５の画像８０の各画素は、図４の画像５１乃至画像５７において対応する位置の画素に基づいて生成される。
【００５７】
また、図４の画像から図５の画像が生成される際に、ストライプ配列の画素を、スクエア配列の画素に変換することになるが、変換前と変換後において画像の解像度は変更されない。
【００５８】
すなわち、図４の画像５１乃至画像５７は、それぞれ垂直方向に８画素（表示画素）、水平方向に８画素（表示画素）で構成されている。つまり、図４の画像５１乃至画像５７は、それぞれ３つのサブピクセルで構成されるストライプ配列の表示画素を、８×８個含んで構成される。
【００５９】
図５の画像８０も、やはり４つのサブピクセルで構成されるスクエア配列の画素を、８×８個含んで構成される。つまり、図５に示される画像を表示するディスプレイは、水平方向に２個のサブピクセル、垂直方向に２個のサブピクセルで構成される表示画素を、８×８個含んで構成される画像を表示することができる。ただし、図５の場合、上述したように、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルを縦一列に組み合わせて構成されるように並べ替えられている。従って、図５に表示される画像を表示するディスプレイなどは、本来、８×８の解像度を有しているが、サブピクセルが並べ替えられたことにより、水平方向の解像度が２倍となり、垂直方向の解像度が１／２となっている。
【００６０】
このように、多視点の画像を用いて立体表示を行う際に、ストライプ配列の画素を、スクエア配列の画素に変換する場合、変換前の画像の画素と、変換後の画像の画素とが１対１に対応しない場合がある。
【００６１】
例えば、図４の画像５１においては、図５の表示画素８２−１乃至表示画素８２−４に対応する位置の表示画素を特定できない。この場合、図４の画像５１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とを、図５の表示画素８２−１乃至表示画素８２−４に対応させざるを得ない。
【００６２】
このような場合、従来の方式ではストライプ配列の画素を、スクエア配列の画素に変換することができない。
【００６３】
そこで、本技術では、図５の表示画素８２−１乃至表示画素８２−４を生成する場合、図４の画像５１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、図４の画像５１の表示画素が左から順番にＲ，Ｇ，Ｂのサブピクセルで構成されている場合、画像５１の左から４番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から５番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素６２−１乃至仮想表示画素６２−４を生成する。ただし、仮想表示画素６２−１乃至仮想表示画素６２−４のＧのサブピクセルは、それぞれ左から４番目の表示画素のＧのサブピクセルの半分と、左から５番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【００６４】
本技術では、例えば、仮想表示画素６２−１のＲのサブピクセル、すなわち、画像５１の左から５番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素６２−１のＲのサブピクセル、すなわち、画像５１の左から４番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【００６５】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素８２−１が生成されることになる。
【００６６】
表示画素８２−２乃至表示画素８２−４も同様にして生成される。
【００６７】
ここでは、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすと説明したが、それ以外の方式が用いられても構わない。
【００６８】
例えば、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００６９】
あるいはまた、例えば、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００７０】
なお、図５における表示画素８３−１乃至表示画素８３−４は、図４の画像５１における表示画素６３−１乃至表示画素６３−４に基づいて生成されるが、図５における表示画素８３−１乃至表示画素８３−４の右側は、図４において対応する画素を取得できない。このため、表示画素８３−１乃至表示画素８３−４の右側は、例えば、サブピクセルを黒色（ＯＦＦ）とする。
【００７１】
このようにして、図４の画像５１から、図５の画像８０における第１視点用の画像の画素が１２個生成されることになる。同様に、図４の画像５２から、図５の画像８０における第２視点用の画像の画素が１２個生成されることになる。また、図４の画像５３から、図５の画像８０における第３視点用の画像の画素が１２個生成されることになり、・・・図４の画像５７から、図５の画像８０における第７視点用の画像の画素が１２個生成されることになる。
【００７２】
本技術では、このようにして多視点の画像を用いた立体表示のための画像が生成され、この際、ストライプ配列の画素がスクエア配列に変換される。
【００７３】
図４と図５においては、ストレートバリア方式での表示を前提とした例について説明したが、本技術をステップバリア方式での表示に適用することも可能である。
【００７４】
例えば、図６に示されるような形状のステップバリアを考える。図６は、ステップバリア方式での表示における第１視点用画像の画素の表示位置を示す図である。図中黒い正方形の位置に第１視点用画像の表示画素を構成するサブピクセルがそれぞれ配置される。図６において、表示画素はスクエア配列の画素とされ、例えば、Ｒ，Ｇ，Ｂ，Ｗの４つサブピクセルで構成され、図中垂直方向に並んだ２つのサブピクセル、および、その右下に垂直方向に並んだ２つのサブピクセルによって１つの表示画素が構成される。
【００７５】
図７と図８は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明する図である。図７と図８は、特に、第１視点用の画像に注目した図である。
【００７６】
図７には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０１は、第１視点用画像とされる。
【００７７】
図８は、第１視点用の画像乃至第７視点用の画像を合成して得られる１画面の画像２００の例を示している。画像２００は、４つのサブピクセルから成るスクエア配列の画素により構成される画像とされる。上述したように、スクエア配列の画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて１つの表示画素を構成する４つのサブピクセルを並び替える必要がある。図８の例では、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルをステップ形状に組み合わせて構成されるように並べ替えられている。
【００７８】
図８に示される矩形の領域２９１は、７視点分の表示画素が表示される単位領域を表している。領域２９１の中の表示画素２０１−１は、第１視点用画像の画素であって、画面の左上端に配置される表示画素を表している。なお、領域２９１の中の表示画素２０１−１の右横に配置されたステップ形状の４つのサブピクセルによって、第２視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。さらに、その右横のステップ形状の４つのサブピクセルによって、第３視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。このように、領域２９１の中に第１視点用の画像乃至第７視点用の画像の表示画素がそれぞれ１つずつ配置される。
【００７９】
また、図８において、領域２９１の右下にもやはり領域２９１と同じ形状／大きさの単位領域が存在することになり、表示画素２０１−２は、第１視点用画像の画素であって、画面の左側の上から２番目に配置される表示画素とされる。
【００８０】
同様に、表示画素２０１−３は、第１視点用画像の画素であって、画面の左側の上から３番目に配置される表示画素とされ、表示画素２０１−４は、第１視点用画像の画素であって、画面の左側の上から４番目に配置される表示画素とされる。
【００８１】
つまり、図８の領域２９１の右下方向には、領域２９１と同じ形状／大きさの単位領域が３つ存在することになり、それぞれの単位領域に、７視点分の表示画素が表示されることになる。
【００８２】
また、図８の領域２９１の右には、領域２９１と同じ形状／大きさの単位領域が存在し、その単位領域にやはり７視点分の表示画素が表示されることになり、表示画素２０２−１は、その単位領域に表示される第１視点用画像の画素とされる。同様に、表示画素２０２−２乃至表示画素２０２−４、および、表示画素２０３−１は、それぞれの領域における第１視点用の画像の表示画素とされる。
【００８３】
図８の表示画素２０１−１を構成する各サブピクセルは、図７の表示画素１１１−１を構成する各サブピクセルを取得し、それらのサブピクセルの値（輝度値など）を解析することにより生成される。同様に、図８の表示画素２０１−２を構成する各サブピクセルは、図７の表示画素１１１−２を構成する各サブピクセルに基づいて生成される。そして、図８の表示画素２０１−３を構成する各サブピクセルは、図７の表示画素１１１−３を構成する各サブピクセルに基づいて生成され、図８の表示画素２０１−４を構成する各サブピクセルは、図７の表示画素１１１−４を構成する各サブピクセルに基づいて生成されることになる。
【００８４】
このように、図８の画像２００の各画素は、図７の画像１０１などにおいて対応する位置の画素に基づいて生成される。
【００８５】
また、図７の画像から図８の画像が生成される際に、ストライプ配列の画素を、スクエア配列の画素に変換することになるが、変換前と変換後において画像の解像度は変更されない。
【００８６】
すなわち、図７の画像１０１は、それぞれ垂直方向に８画素（表示画素）、水平方向に８画素（表示画素）で構成されている。つまり、図７の画像１０１は、それぞれ３つのサブピクセルで構成されるストライプ配列の表示画素を、８×８個含んで構成される。
【００８７】
図８の画像２００も、やはり４つのサブピクセルで構成されるスクエア配列の表示画素を、８×８個含んで構成される。つまり、図８に示される画像を表示するディスプレイは、水平方向に２個のサブピクセル、垂直方向に２個のサブピクセルで構成される表示画素を、８×８個含んで構成される画像を表示することができる。ただし、図８の場合、上述したように、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルをステップ形状に組み合わせて構成されるように並べ替えられている。従って、図８に表示される画像を表示するディスプレイなどは、本来、８×８の解像度を有しているが、サブピクセルが並べ替えられたことにより、水平方向の解像度が２倍となり、垂直方向の解像度が１／２となっている。
【００８８】
このように、多視点の画像を用いて立体表示を行う際に、ストライプ配列の画素を、スクエア配列の画素に変換する場合、変換前の画像の画素と、変換後の画像の画素とが１対１に対応しない場合がある。
【００８９】
例えば、図７の画像１０１には、図８の表示画素２０２−１乃至表示画素２０２−４に対応する位置の表示画素を特定できない。この場合、例えば、図７の画像１０１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とを、図８の表示画素２０２−１に対応させざるを得ない。
【００９０】
このような場合、従来の方式ではストライプ配列の画素を、スクエア配列の画素に変換することができない。
【００９１】
そこで、本技術では、図４と図５を参照して上述した場合と同様に、例えば、図８の表示画素２０２−１を生成する場合、図７の画像１０１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、図７の画像１０１の表示画素が左から順番にＲ，Ｇ，Ｂのサブピクセルで構成されている場合、画像１０１の左から４番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から５番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１１２−１を生成する。ただし、仮想表示画素１１２−１のＧのサブピクセルは、それぞれ左から４番目の表示画素のＧのサブピクセルの半分と、左から５番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【００９２】
同様にして、仮想表示画素１１２−２乃至仮想表示画素１１２−４も生成される。
【００９３】
上述した場合と同様、本技術では、例えば、仮想表示画素１１２−１のＲのサブピクセル、すなわち、画像１０１の左から５番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１１２−１のＢのサブピクセル、すなわち、画像１０１の左から４番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【００９４】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２０２−１が生成されることになる。
【００９５】
表示画素２０２−２乃至表示画素２０２−４も同様にして生成される。
【００９６】
ここでは、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすと説明したが、それ以外の方式が用いられても構わない。
【００９７】
例えば、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００９８】
あるいはまた、例えば、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００９９】
なお、図８における表示画素２０３−１は、図７の画像１０１における表示画素１１３−１に基づいて生成される。また、図８において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１００】
図９と図１０は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図９と図１０は、特に、第２視点用の画像に注目した図である。
【０１０１】
図９には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０２は、第２視点用画像とされる。
【０１０２】
いまの場合、例えば、図１０の表示画素２１１−１を生成するとき、図９の画像１０２の左から１番目の表示画素の一部と左から２番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０２の左から１番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から２番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１２１−１を生成する。ただし、仮想表示画素１２１−１のＧのサブピクセルは、それぞれ左から１番目の表示画素のＧのサブピクセルの半分と、左から２番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１０３】
同様にして、仮想表示画素１２１−２乃至仮想表示画素１２１−４も生成される。
【０１０４】
上述した場合と同様、本技術では、例えば、仮想表示画素１２１−１のＲのサブピクセル、すなわち、画像１０２の左から２番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１２１−１のＢのサブピクセル、すなわち、画像１０２の左から１番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０２の左から１番目の表示画素のＧのサブピクセルの値と、左から２番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１０５】
また、仮想表示画素１２１−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１０６】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２１１−１が生成されることになる。
【０１０７】
表示画素２１１−２乃至表示画素２１１−４も同様にして生成される。
【０１０８】
また、図１０の表示画素２１２−１乃至表示画素２１２−４は、図９の表示画素１２２−１乃至表示画素１２２−４に基づいて生成される。図１０の表示画素２１３−１は、図９の表示画素１２３−１に基づいて生成される。さらに、図１０において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１０９】
図１１と図１２は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１１と図１２は、特に、第３視点用の画像に注目した図である。
【０１１０】
図１１には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０３は、第３視点用画像とされる。
【０１１１】
いまの場合、例えば、図１２の表示画素２２２−１を生成するとき、図１１の画像１０３の左から５番目の表示画素の一部と左から６番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０３の左から５番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から６番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１３２−１を生成する。ただし、仮想表示画素１３２−１のＧのサブピクセルは、それぞれ左から５番目の表示画素のＧのサブピクセルの半分と、左から６番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１１２】
同様にして、仮想表示画素１３２−２と仮想表示画素１３２−３も生成される。
【０１１３】
上述した場合と同様、本技術では、例えば、仮想表示画素１３２−１のＲのサブピクセル、すなわち、画像１０３の左から６番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１３２−１のＢのサブピクセル、すなわち、画像１０３の左から５番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０３の左から５番目の表示画素のＧのサブピクセルの値と、左から６番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１１４】
また、仮想表示画素１３２−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１１５】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２２２−１が生成されることになる。
【０１１６】
表示画素２２２−２と表示画素２２２−３も同様にして生成される。
【０１１７】
また、図１２の表示画素２２１−１乃至表示画素２２１−４は、図１１の表示画素１３１−１乃至表示画素１３１−４に基づいて生成される。図１２の表示画素２２３−１は、図１１の仮想表示画素１３３−１に基づいて生成される。さらに、図１２において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１１８】
図１３と図１４は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１３と図１４は、特に、第４視点用の画像に注目した図である。
【０１１９】
図１３には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０４は、第４視点用画像とされる。
【０１２０】
いまの場合、例えば、図１４の表示画素２３１−１を生成するとき、図１３の画像１０４の左から２番目の表示画素の一部と左から３番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０４の左から２番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から３番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１４１−１を生成する。ただし、仮想表示画素１４１−１のＧのサブピクセルは、それぞれ左から２番目の表示画素のＧのサブピクセルの半分と、左から３番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１２１】
同様にして、仮想表示画素１４１−２乃至仮想表示画素１４１−４も生成される。
【０１２２】
上述した場合と同様、本技術では、例えば、仮想表示画素１４１−１のＲのサブピクセル、すなわち、画像１０４の左から３番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１４１−１のＢのサブピクセル、すなわち、画像１０４の左から２番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０４の左から２番目の表示画素のＧのサブピクセルの値と、左から３番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１２３】
また、仮想表示画素１４１−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１２４】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２３１−１が生成されることになる。
【０１２５】
表示画素２３１−２乃至表示画素２３１−４も同様にして生成される。
【０１２６】
また、図１４の表示画素２３２−１乃至表示画素２３２−３は、図１３の表示画素１４２−１乃至表示画素１４２−３に基づいて生成される。図１４の表示画素２３３−１と表示画素２３３−２は、図１３の表示画素１４３−１と表示画素１４３−２に基づいて生成される。さらに、図１４において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１２７】
図１５と図１６は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１５と図１６は、特に、第５視点用の画像に注目した図である。
【０１２８】
図１５には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０５は、第５視点用画像とされる。
【０１２９】
いまの場合、例えば、図１６の表示画素２４２−１を生成するとき、図１５の画像１０５の左から６番目の表示画素の一部と左から７番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０５の左から６番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から７番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１５２−１を生成する。ただし、仮想表示画素１５２−１のＧのサブピクセルは、それぞれ左から６番目の表示画素のＧのサブピクセルの半分と、左から７番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１３０】
同様にして、仮想表示画素１５２−２も生成される。
【０１３１】
上述した場合と同様、本技術では、例えば、仮想表示画素１５２−１のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１５２−１のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０５の左から６番目の表示画素のＧのサブピクセルの値と、左から７番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１３２】
また、仮想表示画素１５２−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１３３】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２４２−１が生成されることになる。
【０１３４】
表示画素２４２−２も同様にして生成される。
【０１３５】
また、図１６の表示画素２４１−１乃至表示画素２４１−４は、図１５の表示画素１５１−１乃至表示画素１５１−４に基づいて生成される。図１６の表示画素２４３−１と表示画素２４３−２は、図１５の仮想表示画素１５３−１と仮想表示画素１５３−２に基づいて生成される。さらに、図１６において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１３６】
図１７と図１８は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１７と図１８は、特に、第６視点用の画像に注目した図である。
【０１３７】
図１７には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０６は、第６視点用画像とされる。
【０１３８】
いまの場合、例えば、図１８の表示画素２５１−１を生成するとき、図１７の画像１０６の左か３番目の表示画素の一部と左から４番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０６の左から３番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から４番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１６１−１を生成する。ただし、仮想表示画素１６１−１のＧのサブピクセルは、それぞれ左から３番目の表示画素のＧのサブピクセルの半分と、左から４番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１３９】
同様にして、仮想表示画素１６１−２乃至仮想表示画素１６１−４も生成される。
【０１４０】
上述した場合と同様、本技術では、例えば、仮想表示画素１６１−１のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１６１−１のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０６の左から３番目の表示画素のＧのサブピクセルの値と、左から４番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１４１】
また、仮想表示画素１６１−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１４２】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２０２−１が生成されることになる。
【０１４３】
表示画素２５１−２乃至表示画素２５１−４も同様にして生成される。
【０１４４】
また、図１８の表示画素２５２−１と表示画素２５２−２、図１７の表示画素１６２−１と表示画素１６２−２に基づいて生成される。図１８の表示画素２５３−１乃至表示画素２５３−３は、図１７の表示画素１６３−１乃至表示画素１６３−３に基づいて生成される。さらに、図１８において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１４５】
図１９と図２０は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１９と図２０は、特に、第７視点用の画像に注目した図である。
【０１４６】
図１９には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０７は、第７視点用画像とされる。
【０１４７】
いまの場合、例えば、図２０の表示画素２６２−１を生成するとき、図１９の画像１０７の左から７番目の表示画素の一部と左から８番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０７の左から７番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から８番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１７２−１を生成する。ただし、仮想表示画素１７２−１のＧのサブピクセルは、それぞれ左から７番目の表示画素のＧのサブピクセルの半分と、左から８番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１４８】
上述した場合と同様、本技術では、例えば、仮想表示画素１７２−１のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１７２−１のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０７の左から７番目の表示画素のＧのサブピクセルの値と、左から８番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１４９】
また、仮想表示画素１７２−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１５０】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２６２−１が生成されることになる。
【０１５１】
また、図２０の表示画素２６１−１は、図１９の表示画素１７１−１に基づいて生成される。図２０の表示画素２６３−１乃至表示画素２６３−３は、図１９の仮想表示画素１７３−１乃至仮想表示画素１７３−３に基づいて生成される。さらに、図２０において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１５２】
このように、第１視点用の画像乃至第７視点用の画像１０１乃至１０７の画素が合成されて多視点の画像２００が生成される。例えば、図８、図１０、図１２、図１４、図１６、図１８、および図２０に示される画像２００は、１つの画面の画像として合成されることになる。本技術では、このようにして多視点の画像を用いた立体表示のための画像が生成され、この際、ストライプ配列の画素がスクエア配列に変換される。
【０１５３】
本技術では、上述したように、ストライプ配列の画素を、スクエア配列の画素に変換するとき、ストライプ配列の画素と、スクエア配列の画素の配置のずれを考慮してサブピクセルが生成される。従って、例えば、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができる。
【０１５４】
図４乃至図２０を参照して上述した方式によりストライプ配列の画素をスクエア配列に変換した場合、上述したように、サブピクセルが並べ替えられたことにより、水平方向の解像度が２倍となり、垂直方向の解像度が１／２となっている。従って、変換前の画像の垂直方向の１つの表示画素に基づいて、変換後の画像の垂直方向の２つ表示画素が生成されることになる。
【０１５５】
このことは、変換後の画像の垂直方向の１つの表示画素が、変換前の画像の垂直方向の２つの表示画素に対応付けられることを意味する。図４乃至図２０を参照して上述した方式では、変換前の画像の垂直方向の２つの表示画素のうち、図中上側に位置する１つの表示画素（または仮想表示画素）の各サブピクセルの値に基づいて、変換後の１つの表示画素の各サブピクセルの値が求められるものとして説明した。しかし、変換前の画像の垂直方向の２つ（またはそれ以上）の表示画素のうち、図中下側に位置する１つの表示画素（または仮想表示画素）の各サブピクセルの値に基づいて、変換後の１つの表示画素の各サブピクセルの値が求められるようにすることも可能である。
【０１５６】
例えば、図８に示される第１視点用の表示画素２０１−１の各サブピクセルの値が、図２１に示される表示画素１８１−１の各サブピクセルの値に基づいて求められるようにしてもよい。図２１には、表示画素１８１−１のみが示されているが、図８に示される第１視点用の表示画素は、同様に、変換前の画像の垂直方向の２つの表示画素のうち、図中下側に位置する１つの表示画素に基づいて生成される。
【０１５７】
また、以上においては、ストライプ配列の１つの表示画素（または１つの仮想表示画素）を、スクエア配列の１つの表示画素に変換する例について説明した。しかし、例えば、ストライプ配列の２つの表示画素（または２つの仮想表示画素）を、スクエア配列の２つの表示画素に変換するようにしてもよい。
【０１５８】
例えば、図２２に示される第１視点用の画像１０１の表示画素群１８５−１に基づいて、図２３に示される第１視点用の画像乃至第７視点用の画像を合成して得られる１画面の画像２００の第１視点用の表示画素群２８１−１が生成されるようにしてもよい。すなわち、図２２の表示画素群１８５−１に含まれる６つのサブピクセルの値に基づいて、図２３の表示画素群２８１−１に含まれる８つのサブピクセルの値が求められるようにしてもよい。
【０１５９】
この場合、例えば、変換前の画像の表示画素群に含まれる６つのサブピクセルと、変換前の画像の表示画素群に含まれる８つのサブピクセルとを予め対応付けておき、対応するサブピクセルの値に基づいて変換後の各サブピクセルの値が演算される。あるいはまた、変換前の画像の表示画素群に含まれる各サブピクセルの値を、色（Ｒ，Ｇ，Ｂ）毎に平均し、それら平均値に基づいて変換後の各サブピクセルの値が演算されるようにしてもよい。さらに、変換前の画像の表示画素群に含まれる各サブピクセルの値について、色（Ｒ，Ｇ，Ｂ）毎に最大値、または最小値を選択し、それら最大値または最小値に基づいて変換後の各サブピクセルの値が演算されるようにしてもよい。
【０１６０】
あるいはまた、変換前の画像におけるストライプ配列の画素のサブピクセルが、不規則な形状で抽出されるようにしても構わない。例えば、図８に示される第１視点用の表示画素２０１−１の各サブピクセルの値が、図２４に示されるように、枠１９１内のサブピクセルの値に基づいて求められるようにしてもよい。
【０１６１】
この場合、例えば、図中左上端（第１行第１列目）のＲのサブピクセルを変換前の表示画素のＲのサブピクセルとみなし、第２行第３列目のＢのサブピクセルを変換前の表示画素のＢのサブピクセルとみなす。そして、第１行第２列目のサブピクセルと第２行第２列目のサブピクセルの値を平均して得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。なお、Ｇのサブピクセルについては、２つのサブピクセルの値のうち、大きい値（または小さい値）として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１６２】
あるいはまた、図２５に示される第２視点用の画像１０２の仮想表示画素群１９２−２に基づいて、図２６に示される第１視点用の画像乃至第７視点用の画像を合成して得られる１画面の画像２００の第２視点用の表示画素群２９２−１が生成されるようにしてもよい。
【０１６３】
この場合、例えば、図２５の画像１０２の第１行目左から１番目の表示画素の一部および第１行目左から２番目の表示画素の一部、並びに、第２行目左から１番目の表示画素の一部および第２行目左から２番目の表示画素の一部で構成される仮想表示画素群１９２−２が生成される。
【０１６４】
ただし、仮想表示画素群１９２−１の第１行目のＧのサブピクセルは、第１行目左から１番目の表示画素のＧのサブピクセルの半分と、第１行目左から２番目の表示画素のＧのサブピクセルの半分によって構成されることになる。また、仮想表示画素群１９２−１の第２行目のＧのサブピクセルは、第２行目左から１番目の表示画素のＧのサブピクセルの半分と、第２行目左から２番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１６５】
図２５と図２６の場合、例えば、仮想表示画素群１９２−１の画像１０２の第１行目左から１番目の表示画素のＧのサブピクセルの値と、第１行目左から２番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素群の第１行目のＧのサブピクセルとみなす。また、仮想表示画素群１９２−１の画像１０２の第２行目左から１番目の表示画素のＧのサブピクセルの値と、第２行目左から２番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素群の第２行目のＧのサブピクセルとみなす。
【０１６６】
また、仮想表示画素１９２−１の第１行目と第２行目のＧのサブピクセルについては、それぞれ２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１６７】
このようにして、仮想表示画素群１９２−１の各サブピクセルの値を特定し、図２２と図２３を参照して上述した場合と同様にして、図２６の表示画素群２９２−１に含まれる８つのサブピクセルの値が求められるようにしてもよい。
【０１６８】
このようにすることで、より高い精度でストライプ配列の画素により構成される画像をスクエア配列の画素により構成される画像に変換することができる。
【０１６９】
以上においては、ストレートバリア方式とステップバリア方式の場合の例について説明したが、パララックスバリアの光学開口が斜め方向に延びるようにした、斜めバリア方式にも本技術を適用することができる。
【０１７０】
図２７は、本技術を適用した多視点立体表示システムの一実施の形態に係る構成例を示すブロック図である。同図の例では、画像処理装置４０１とディスプレイ４０２により多視点立体表示システム４００が構成されている。
【０１７１】
画像処理装置４０１は、例えば、図４乃至図２６を参照して上述したように、複数の視点用の画像を合成して１画面の画像を生成するようになされている。また、この際、ストライプ配列の画素により構成される画像をスクエア配列の画素により構成される画像に変換するようになされている。
【０１７２】
ディスプレイ４０２は、立体表示を可能とするディスプレイとされ、例えば、図１を参照して上述したように、画面Ｗと観察者Ｈとの間に各視点用の画像をそれぞれ空間的に分離するパララックスバリアを有する構成とされる。例えば、パララックスバリアとしてスリット、レンチキュラーレンズ、液晶レンズなどが用いられる。
【０１７３】
また、パララックスバリアは、ストレートバリア方式、ステップバリア方式、斜めバリア方式のいずれであってもよい。
【０１７４】
図２７の画像処理装置４０１は、データ取得部４１１、視差画像生成部４１２、および視差画像合成部４１３により構成されている。
【０１７５】
データ取得部４１１は、例えば、多視点の画像を生成するために必要となる画像データを取得する。データ取得部４１１は、例えば、記録媒体に記録されているデータを取得するものであってもよいし、ネットワークを介して他の機器からデータを取得するものであってもよい。
【０１７６】
視差画像生成部４１２は、データ取得部４１１により取得された画像データに基づいて、複数の視点用の画像データを生成する。視差画像生成部４１２は、例えば、図７、図９、図１１、図１３、図１５、図１７、図１９に示した第１視点用の画像１０１乃至第７視点用の画像１０７の画像データを生成する。
【０１７７】
視差画像合成部４１３は、複数の視点用の画像を合成して１画面の画像を生成する。視差画像合成部４１３は、例えば、図８、図１０、図１２、図１４、図１６、図１８、および図２０に示される画像２００を、１つの画面の画像として合成する。
【０１７８】
図２８は、図２７の視差画像合成部４１３の詳細な構成例を示すブロック図である。同図に示されるように、視差画像合成部４１３は、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・、および合成部４３２を有する構成とされる。なお、画素変換部は、視差画像生成部４１２において生成される画像データの視点の数に対応する数だけ設けられる。例えば、視差画像生成部４１２において、第１視点用の画像乃至第Ｎ視点用の画像の画像データが生成される場合、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・画素変換部４３１−Ｎが設けられる。
【０１７９】
画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・画素変換部４３１−Ｎのそれぞれは同様の構成を有しており、図２８には、画素変換部４３１−１の詳細な構成が示されている。この例では、画素変換部４３１−１は、変換方式決定部４４１、変換前サブピクセル抽出部４４２、サブピクセル値決定部４４３、変換後サブピクセル生成部４４４を有する構成とされている。
【０１８０】
なお、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・画素変換部４３１−Ｎをそれぞれ区別する必要がない場合、まとめて画素変換部４３１と記述することにする。
【０１８１】
変換方式決定部４４１は、例えば、ディスプレイ４０２のパララックスバリアの形状（ストレートバリア方式、ステップバリア方式、斜めバリア方式など）を特定する。また、変換方式決定部４４１は、変換前後の画素間の対応関係を特定する。例えば、図７乃至図２０を参照して上述したように変換前後の画素を対応付けるのか、図２１を参照して上述したように変換前後の画素を対応付けるのか、図２２と図２３を参照して上述したように変換前後の画素を対応付けるのか、図２４を参照して上述したように変換前後の画素を対応付けるのかを特定する。あるいはまた、図２５と図２６を参照して上述したように変換前後の画素を対応付けるのかを特定する。
【０１８２】
変換前サブピクセル抽出部４４２は、変換方式決定部４４１により特定されたパララックスバリアの形状、および変換前後の画素間の対応関係に基づいて、これから変換する画素に対応するサブピクセルを変換前の画像から抽出する。
【０１８３】
サブピクセル値決定部４４３は、変換前のサブピクセルの値を決定する。
【０１８４】
例えば、変換前サブピクセル抽出部４４２により図７の表示画素１１１−１が抽出された場合、サブピクセル値決定部４４３は、表示画素１１１−１を構成するＲのサブピクセルの値、Ｇのサブピクセルの値、および、Ｂのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。
【０１８５】
また、例えば、変換前サブピクセル抽出部４４２により図７の仮想表示画素１１２−１が抽出された場合、サブピクセル値決定部４４３は、まず、画像１０１の左から第４番目の表示画素のＢのサブピクセルの値、および、左から第５番目の表示画素のＲのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。さらに、サブピクセル値決定部４４３は、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値を変換前のサブピクセルの値として決定する。なお、左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい方（または小さい方）の値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０１８６】
さらに、例えば、変換前サブピクセル抽出部４４２により図２４に示される枠１９１内のサブピクセルが抽出される場合、サブピクセル値決定部４４３は、まず、図中左上端（第１行第１列目）のＲのサブピクセルの値、第２行第３列目のＢのサブピクセルの値を変換前のサブピクセルの値として決定する。そして、サブピクセル値決定部４４３は、第１行第２列目のサブピクセルと第２行第２列目のサブピクセルの値を平均して得られる値を変換前のサブピクセルの値として決定する。なお、Ｇのサブピクセルについては、２つのサブピクセルの値のうち、大きい値（または小さい値）として得られるサブピクセルの値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０１８７】
変換後サブピクセル生成部４４４は、サブピクセル値決定部４４３により決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を演算し、変換後の画像の各表示画素を生成する。
【０１８８】
このようにして、画素変換部４３１−１によって第１視点用画像の表示画素のみで合成される画像が生成される。
【０１８９】
例えば、視差画像生成部４１２において、第１視点用の画像乃至第Ｎ視点用の画像の画像データが生成される場合、次のようになる。画素変換部４３１−１によって第１視点用画像の表示画素のみで合成される画像（例えば、図８に示される画像２００）が生成される。同様に、画素変換部４３１−２によって第２視点用画像の表示画素のみで合成される画像（例えば、図１０に示される画像２００）が生成され、・・・画素変換部４３１−７によって第７視点用画像の表示画素のみで合成される画像（例えば、図２０に示される画像２００）が生成される。
【０１９０】
そして、合成部４３２が、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・から出力される各画像を合成して１画面の画像を生成する。
【０１９１】
次に、図２９のフローチャートを参照して、図２７の多視点立体表示システム４００による多視点立体表示処理の例について説明する。
【０１９２】
ステップＳ２１において、画像処理装置４０１の視差画像生成部４１２は、視差画像生成処理を実行する。
【０１９３】
ここで、図３０のフローチャートを参照して、図２９のステップＳ２１の視差画像生成処理の詳細な例について説明する。
【０１９４】
ステップＳ４１において、視差画像生成部４１２は、元となる画像を取得する。このとき、例えば、データ取得部４１１を介して、多視点の画像を生成するために必要となる画像データが取得される。
【０１９５】
ステップＳ４２において、画像の視点を特定するための変数ｎの値が１にセットされる。
【０１９６】
ステップＳ４３において、視差画像生成部４１２は、ステップＳ４１の処理で取得された画像に基づいて、第ｎ番目の視点用の平面画像を生成する。
【０１９７】
ステップＳ４４において、変数ｎが生成すべき画像の視点の数Ｎと等しいか否かが判定される。変数ｎの値がＮと等しくないと判定された場合、処理は、ステップＳ４５に進み、変数ｎの値が１だけインクリメントされる。その後、処理は、ステップＳ４３に戻り、それ以降の処理が繰り返し実行される。
【０１９８】
ステップＳ４４において、変数ｎが生成すべき画像の視点の数Ｎと等しいと判定された場合、処理は、ステップＳ４６に進む。
【０１９９】
ステップＳ４６において、視差画像生成部４１２は、各視点用の画像データを出力する。これにより、第１視点用の画像乃至第Ｎ視点用の画像の画像データが出力される。例えば、図７、図９、図１１、図１３、図１５、図１７、図１９に示した第１視点用の画像１０１乃至第７視点用の画像１０７の画像データが生成されて出力されることになる。
【０２００】
このようにして、視差画像生成処理が実行される。
【０２０１】
図２９に戻って、ステップＳ２１の処理の後、処理は、ステップＳ２２に進む。
【０２０２】
ステップＳ２２において、画像処理装置４０１の視差画像合成部４１３は、視差画像合成処理を実行する。
【０２０３】
ここで、図３１のフローチャートを参照して、図２９のステップＳ２２の視差画像合成処理の詳細な例について説明する。
【０２０４】
ステップＳ６１において、視差画像合成部４１３の画素変換部４３１−１、画素変換部４３１−２、・・・画素変換部４３１−Ｎは、図３２を参照して後述する画素変換処理を実行する。これにより、例えば、図８、図１０、図１２、図１４、図１６、図１８、および図２０に示される画像２００がそれぞれ生成される。
【０２０５】
ステップＳ６２において、視差画像合成部４１３の合成部４３２は、ステップＳ６２の処理で生成された各視点用の画像を合成して１画面の画像を生成する。
【０２０６】
このようにして、視差画像合成処理が実行される。
【０２０７】
図２９に戻って、ステップＳ２２の処理の後、処理は、ステップＳ２３に進む。ステップＳ２３において、ステップＳ２２の処理で生成された画像がディスプレイ４０２に表示される。これにより、観察者に立体画像が提示されることになる。
【０２０８】
このようにして、多視点立体表示処理が実行される。
【０２０９】
次に、図３２のフローチャートを参照して、図３１のステップＳ６１の画素変換処理の詳細な例について説明する。この処理は、例えば、画素変換部４３１−１、・・・画素変換部４３１−Ｎのそれぞれによって並行して実行される。すなわち、画素変換部４３１−１、・・・画素変換部４３１−Ｎのそれぞれによって、第１視点用の画像、・・・第Ｎ視点用の画像に対応する処理が実行される。
【０２１０】
ステップＳ８１において、画素変換部４３１の変換方式決定部４４１は、変換方式を決定する。このとき、変換方式決定部４４１は、例えば、ディスプレイ４０２のパララックスバリアの形状（ストレートバリア方式、ステップバリア方式、斜めバリア方式など）を特定する。また、変換方式決定部４４１は、変換前後の画素間の対応関係を特定する。例えば、図７乃至図２０を参照して上述したように変換前後の画素を対応付けるのか、図２１を参照して上述したように変換前後の画素を対応付けるのか、図２２と図２３を参照して上述したように変換前後の画素を対応付けるのか、図２４を参照して上述したように変換前後の画素を対応付けるのかを特定する。あるいはまた、図２５と図２６を参照して上述したように変換前後の画素を対応付けるのかを特定する。
【０２１１】
ステップＳ８２において、ステップＳ８１の処理に伴って特定された変換前後の画素の対応関係に基づいて、変換前後のサブピクセルの位置を特定する。
【０２１２】
ステップＳ８３において、画素変換部４３１の変換前サブピクセル抽出部４４２は、ステップＳ８２の処理の結果特定された位置のサブピクセルであって、これから変換する画素に対応するサブピクセル（変換前のサブピクセル）を変換前の画像から抽出する。
【０２１３】
ステップＳ８４において、サブピクセル値決定部４４３は、変換前のサブピクセルの値を決定する。
【０２１４】
このとき、例えば、変換前サブピクセル抽出部４４２により図７の表示画素１１１−１が抽出された場合、サブピクセル値決定部４４３は、表示画素１１１−１を構成するＲのサブピクセルの値、Ｇのサブピクセルの値、および、Ｂのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。
【０２１５】
また、例えば、変換前サブピクセル抽出部４４２により図７の仮想表示画素１１２−１が抽出された場合、サブピクセル値決定部４４３は、まず、画像１０１の左から第４番目の表示画素のＢのサブピクセルの値、および、左から第５番目の表示画素のＢのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。さらに、サブピクセル値決定部４４３は、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値を変換前のサブピクセルの値として決定する。なお、左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい方（または小さい方）の値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０２１６】
さらに、例えば、変換前サブピクセル抽出部４４２により図２４に示される枠１９１内のサブピクセルが抽出される場合、サブピクセル値決定部４４３は、まず、図中左上端（第１行第１列目）のＲのサブピクセルの値、第２行第３列目のＢのサブピクセルの値を変換前のサブピクセルの値として決定する。そして、サブピクセル値決定部４４３は、第１行第２列目のサブピクセルと第２行第２列目のサブピクセルの値を平均して得られる値を変換前のサブピクセルの値として決定する。なお、Ｇのサブピクセルについては、２つのサブピクセルの値のうち、大きい値（または小さい値）として得られるサブピクセルの値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０２１７】
ステップＳ８５において、変換後サブピクセル生成部４４４は、ステップＳ８４の処理でサブピクセル値決定部４４３により決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を演算し、変換後の画像の各表示画素を生成する。
【０２１８】
ステップＳ８６において、当該視点用の画像について全画素分の処理がなされたか否かが判定され、まだ、全画素分の処理がなされていないと判定された場合、処理は、ステップＳ８２に戻り、それ以降の処理が繰り返し実行される。
【０２１９】
ステップＳ８６において、当該視点用の画像について全画素分の処理がなされたと判定された場合、処理は、終了する。
【０２２０】
このようにして、画素変換処理が実行される。
【０２２１】
図３３は、本技術を適用した多視点立体表示システムの一実施の形態に係る別の構成例を示すブロック図である。画像処理装置４０１とディスプレイ４０２により多視点立体表示システム４００が構成されているが、図３３の例の場合、画像処理装置４０１は、視差画像生成部４１２、および視差画像合成部４１３により構成されている。このように、例えば、データ取得部４１１を設けることなく、視差画像生成部が独自に各視点用の画像を生成する構成とされてもよい。
【０２２２】
図３４は、本技術を適用した多視点立体表示システムの一実施の形態に係るさらに別の構成例を示すブロック図である。画像処理装置４０１とディスプレイ４０２により多視点立体表示システム４００が構成されているが、図３４の例の場合、画像処理装置４０１は、データ取得部４１１、および視差画像合成部４１３により構成されている。このように、例えば、データ取得部４１１により、各視点用の画像が直接取得される構成とされてもよい。
【０２２３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３５に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２２４】
図３５において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２２５】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２２６】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２２７】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２２８】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２２９】
なお、この記録媒体は、図３５に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２３０】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３２】
なお、本技術は以下のような構成も取ることができる。
【０２３３】
（１）
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える
表示制御装置。
（２）
前記変換合成部は、
３色のサブピクセルで構成されるストライプ配列の画素を、４色のサブピクセルで構成されるスクエア配列の画素に変換する
（１）に記載の表示制御装置。
（３）
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が２倍とされ、垂直方向の解像度が１／２とされる
（１）または（２）に記載の表示制御装置。
（４）
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つ以上のサブピクセルが含まれている場合、前記２つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定する
（１）乃至（３）のいずれかに記載の表示制御装置。
（５）
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定する
（１）乃至（４）のいずれかに記載の表示制御装置。
（６）
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定する
（１）乃至（５）のいずれかに記載の表示制御装置。
（７）
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察される
（１）乃至（６）のいずれかに記載の表示制御装置。
（８）
変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、
立体表示用画像を生成するステップでは、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される
表示制御方法。
（９）
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部と
を備える表示装置。
（１０）
前記分離部を構成する光学分離素子として液晶レンズが用いられる
（９）に記載の表示装置。
【符号の説明】
【０２３４】
４００ 多視点立体表示システム， ４０１ 画像処理装置， ４０２ ディスプレイ， ４１１ データ取得部， ４１２ 視差画像生成部， ４１４ 視差画像合成部， ４３１ 画素変換部， ４３２ 合成部， ４４１ 変換方式決定部， ４４２ 変換前サブピクセル抽出部， ４４３ サブピクセル値決定部， ４４４ 変換後サブピクセル生成部
【技術分野】
【０００１】
本技術は、表示制御装置および方法、並びに表示装置に関し、特に、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができるようにする表示制御装置および方法、並びに表示装置に関する。
【背景技術】
【０００２】
近年、画像の３次元表示を実現するために、視差を有する画像の画像データの生成方式が数多く開発されている。
【０００３】
例えば、奇数番目の画素行では、奇数のカラー画素データが「右」「左」「右」の順番で合成され、偶数のカラー画素データが「左」「右」「左」の順番で合成されるようにする技術が提案されている（例えば、特許文献１参照）。このようにすることで、種類のカラー画素データが画素行の延在方向に交互に配置されるため、違和感のないスムーズな立体画像を表示可能な、視差画像データを合成することができる。
【０００４】
さらに、多視点からの画像を生成して観察位置に係らず、自然な立体画像を表示することも行われている（例えば、特許文献２参照）。
【０００５】
例えば、特殊な眼鏡を必要とせずに多視点映像表示を実現する方法として、パララックスバリア方式等が知られている。これらの方式は、複数視点の画像を例えば、縦方向の直線状に画面に交互に表示し（ストレートバリア方式）、この表示映像をスリットやレンチキュラーレンズ等で分離するものである。そして、分離した画像が各々の視点に位置する観察者に導かれることで多視点表示が行われる。
【０００６】
一般的な従来の液晶ディスプレイなどでは、ストライプ配列の画素が用いられることが多い。ストライプ配列の画素では、例えば、Ｒ，Ｇ，Ｂの各サブピクセルが縦長の矩形とされており、それら３つのサブピクセルを縦方向に並べることで１つの画素が構成される。
【０００７】
一方、近年では、スクエア配列の画素が用いられることもある。スクエア配列の画素では、例えば、Ｒ，Ｇ，Ｂ，Ｗの各サブピクセルが正方形とされており、それら４つのサブピクセルを、２行２列（いわゆる田の字型）に並べることで１つの画素が構成される。
【０００８】
例えば、ストライプ配列の画素を、スクエア配列の画素に変換する技術も提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−１０９４１４号公報
【特許文献２】特開２００５−１１００１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、例えば、スクエア配列の画素を用いて視差を有する画像を生成する場合、サブピクセル間での混色の発生を抑止するために、横方向の解像度を２倍にする必要がある。
【００１１】
このような場合、ストライプ配列の画素を、スクエア配列の画素に変換するとき、ストライプ配列の画素と、スクエア配列の画素の配置のずれが発生する。このため、変換前と変換後の画素間の対応を充分に考慮した変換を行う必要がある。
【００１２】
本技術はこのような状況に鑑みて開示するものであり、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の第１の側面は、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、前記変換合成部は、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御装置である。
【００１４】
前記変換合成部は、３色のサブピクセルで構成されるストライプ配列の画素を、４色のサブピクセルで構成されるスクエア配列の画素に変換するようにすることができる。
【００１５】
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が２倍とされ、垂直方向の解像度が１／２とされるようにすることができる。
【００１６】
前記サブピクセル値決定部は、前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つ以上のサブピクセルが含まれている場合、前記２つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定するようにすることができる。
【００１７】
前記サブピクセル値決定部は、前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定するようにすることができる。
【００１８】
前記サブピクセル値決定部は、前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定するようにすることができる。
【００１９】
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察されるようにすることができる。
【００２０】
本技術の第１の側面は、変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、立体表示用画像を生成するステップでは、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される表示制御方法である。
【００２１】
本技術の第１の側面においては、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像が生成され、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される。
【００２２】
本技術の第２の側面は、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、前記表示制御部によって生成された立体表示用画像を表示する表示部と、前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、前記変換合成部は、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、前記表示制御部によって生成された立体表示用画像を表示する表示部と、前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備える表示装置である。
【００２３】
前記分離部を構成する光学分離素子として液晶レンズが用いられるようにすることができる。
【００２４】
本技術の第２の側面においては、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像が生成され、複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される。また、前記生成された立体表示用画像が表示され、前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像が光学的に分離される。
【発明の効果】
【００２５】
本技術によれば、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができる。
【図面の簡単な説明】
【００２６】
【図１】４つ視点の画像による立体表示の例を説明する図である。
【図２】図１の表示装置で合成された合成画像の平面図である。
【図３】図１の表示装置の画像の他の例を示す平面図である。
【図４】ストレートバリア方式による多視点の画像により立体表示が行われる場合の例を示す図である。
【図５】ストレートバリア方式による多視点の画像により立体表示が行われる場合の例を示す図である。
【図６】ステップバリア方式での立体表示における第１視点用画像の画素の表示位置を示す図である。
【図７】ステップバリア方式での立体表示における第１視点用画像の変換前の画像を示す図である。
【図８】ステップバリア方式での立体表示における第１視点用画像の変換後の画像を示す図である。
【図９】ステップバリア方式での立体表示における第２視点用画像の変換前の画像を示す図である。
【図１０】ステップバリア方式での立体表示における２視点用画像の変換後の画像を示す図である。
【図１１】ステップバリア方式での立体表示における第３視点用画像の変換前の画像を示す図である。
【図１２】ステップバリア方式での立体表示における第３視点用画像の変換後の画像を示す図である。
【図１３】ステップバリア方式での立体表示における第４視点用画像の変換前の画像を示す図である。
【図１４】ステップバリア方式での立体表示における第４視点用画像の変換後の画像を示す図である。
【図１５】ステップバリア方式での立体表示における第５視点用画像の変換前の画像を示す図である。
【図１６】ステップバリア方式での立体表示における第５視点用画像の変換後の画像を示す図である。
【図１７】ステップバリア方式での立体表示における第６視点用画像の変換前の画像を示す図である。
【図１８】ステップバリア方式での立体表示における第６視点用画像の変換後の画像を示す図である。
【図１９】ステップバリア方式での立体表示における第７視点用画像の変換前の画像を示す図である。
【図２０】ステップバリア方式での立体表示における第７視点用画像の変換後の画像を示す図である。
【図２１】変換前後の画素の対応関係の別の例を説明する図である。
【図２２】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２３】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２４】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２５】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２６】変換前後の画素の対応関係のさらに別の例を説明する図である。
【図２７】本技術を適用した多視点立体表示システムの一実施の形態に係る構成例を示すブロック図である。
【図２８】図２７の視差画像合成部の詳細な構成例を示すブロック図である。
【図２９】多視点立体表示処理の例を説明するフローチャートである。
【図３０】視差画像生成処理の例を説明するフローチャートである。
【図３１】視差画像合成処理の例を説明するフローチャートである。
【図３２】画素変換処理の例を説明するフローチャートである。
【図３３】本技術を適用した多視点立体表示システムの一実施の形態に係る別の構成例を示すブロック図である。
【図３４】本技術を適用した多視点立体表示システムの一実施の形態に係るさらに別の構成例を示すブロック図である。
【図３５】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２８】
最初に多視点の画像による立体表示について説明する。
【００２９】
図１は、４視点の画像による立体表示の例を説明する図である。この表示装置においては、画面Ｗの水平方向に、第１視点用の画像、第２視点用の画像、第３視点用の画像及び第４視点用の画像を表示するサブピクセルが交互に配置されている。第１視点用の画像乃至第４視点用の画像を表示する４つのサブピクセルは、４つの画像を合成した合成画像の最小の表示単位である表示画素を構成する。画面Ｗには、このような表示画素がマトリクス状に複数配置されており、これら複数の表示画素によって、全体としての合成画像が形成されている。
【００３０】
なお、画像を構成する画素は、原則として、例えば、赤色のサブピクセル、緑色のサブピクセル、青色のサブピクセルの組み合わせを意味するが、サブピクセルを考慮する技術を説明する際に画素とサブピクセルを混同しやすい。本明細書では、サブピクセルと画素との区別を明確にするため、複数のサブピクセルの組み合わせを、適宜、表示画素と称することにする。
【００３１】
画面Ｗと観察者Ｈとの間には、第１視点用の画像乃至第４視点用の画像をそれぞれ空間的に分離するパララックスバリアＢが配置されている。パララックスバリアＢには、例えば、各表示画素に対応した複数のスリットＳが設けられており、各表示画素内に表示される第１視点用の画像乃至第４視点用の画像を分離して観察者Ｈに表示するようになっている。
【００３２】
図２は、画面Ｗ上に表示された合成画像の一部を示す平面図である。図２（ａ）は合成画像の平面図であり、図２（ｂ）はパララックスバリアＢを介して見た第４視点用の画像の平面図である。
【００３３】
図２（ａ）に示されるように、４つの画像は、それぞれ１列毎（１サブピクセル毎）に交互に表示されている。同図において、共通の数字ｎで表示された複数のサブピクセルは同一の視点（ｎ番目の視点）の画像を表示するサブピクセルである。図１に示した４つの画像は、それぞれ垂直方向に配列された１列分のサブピクセルによって形成される画像を示している。これらは水平方向に複数配列されることで、全体としての画像を形成する。
【００３４】
図２において「ｒ」「ｇ」「ｂ」は、それぞれ赤色、緑色、青色のサブピクセルである。第１視点用の画像乃至第４視点用の画像は、それぞれ赤色、緑色、青色の３つのサブピクセルを含む複数の表示画素によって構成されている。例えば、第４視点用の画像は、図２（ｂ）に示すように、４サブピクセル毎に配置される赤色、緑色、青色の３つのサブピクセルを含む表示画素Ｐによって構成されている。そして、マトリクス状に配置された複数の表示画素Ｐによって、全体としての第４視点用の画像が形成されている。
【００３５】
図２に示される方式は、各画像を構成するサブピクセルを縦方向に一直線に並べて表示させるものであり、ストレートバリア方式と称される。しかしながら、ストレートバリア方式の場合、表示画素Ｐは、３つのサブピクセルが３サブピクセル毎に配置されているため、通常の２次元画像を表示する場合に比べて表示画素全体が水平方向に４倍に（４画素分の大きさに）広がった状態となり、細かい形状を表示する場合に十分な再現性が得られない。
【００３６】
例えば、４つの画像を水平方向及び垂直方向の双方において交互に配置し、それに対応させてパララックスバリアＢを水平方向に対して斜めに配置するステップバリア方式も用いられている。
【００３７】
図３は、ステップバリア方式を用いた合成画像の一部を示す平面図である。図３（ａ）は合成画像の平面図であり、図３（ｂ）はパララックスバリアＢを介して見た第４視点用の画像の平面図である。
【００３８】
図３に示されるように、４つの画像はそれぞれ１サブピクセル毎に水平方向及び垂直方向に交互に表示されており、パララックスバリアＢを介して見た場合に、赤色、緑色、青色の３つのサブピクセルが水平方向に対して斜め方向にステップ状に配置されるようになっている。また、パララックスバリアＢのスリットは、斜め方向に配列した赤色、緑色、青色のサブピクセルの配列に対応して斜め方向にステップ状に配置されており、パララックスバリアＢを介して見た第４視点用の画像に他の視点の画像が表示されないようになっている。
【００３９】
ここでは、パララックスバリアとしてスリットを用いる例について説明したが、例えば、レンチキュラーレンズや液晶レンズなどを用いることも可能である。
【００４０】
このようにして、多視点の画像による立体表示が行われる。
【００４１】
ところで、一般的な従来の液晶ディスプレイなどでは、ストライプ配列の画素が用いられることが多い。ストライプ配列の画素では、例えば、Ｒ，Ｇ，Ｂ（赤色、緑色、青色）の各サブピクセルが縦長の矩形とされており、それら３つのサブピクセルを縦方向または横方向に並べることで１つの表示画素が構成される。
【００４２】
一方、近年では、スクエア配列の画素が用いられることもある。スクエア配列の画素では、例えば、Ｒ，Ｇ，Ｂ，Ｗ（赤色、緑色、青色、白色）の各サブピクセルが正方形とされており、それら４つのサブピクセルを、２行２列（いわゆる田の字型）に並べることで１つの表示画素が構成される。スクエア配列の画素を用いることにより、例えば、個々の表示画素の輝度値を高めるようにすることができる。
【００４３】
例えば、ストライプ配列の画素を、スクエア配列の画素に変換する技術も提案されている。すなわち、ストライプ配列において対応する位置の表示画素を構成する３つのサブピクセルを取得して解析することにより、スクエア配列における表示画素を構成する４つのサブピクセルが生成されることで、ストライプ配列の画素がスクエア配列の画素に変換される。
【００４４】
スクエア配列の画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて１つの表示画素を構成する４つのサブピクセルを並び替える必要がある。
【００４５】
例えば、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像を、スクエア配列の画素により構成される画像であって、立体表示における第ｎ番目の視点の画像に変換する場合を考える。
【００４６】
図４と図５は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合の例を示す図である。
【００４７】
図４には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向（水平方向）に１列に配置された表示画素によって構成される２次元画像が示されている。図４では、７つの視点に対応する各画像が画像５１乃至画像５７により示されている。すなわち、画像５１は第１視点用画像とされ、画像５２は第２視点用画像とされ、・・・画像５７は第７視点用画像とされる。
【００４８】
第１視点用の画像乃至第７視点用の画像により立体表示を行う場合、画像５１乃至画像５７を合成して１画面の画像とする必要がある。そして、合成された画像におけるスクエア配列の表示画素を構成する各サブピクセルを、第１視点用の画像乃至第７視点用の画像を構成するストライプ配列の表示画素を構成する各サブピクセルから生成する必要がある。
【００４９】
図５は、画像５１乃至画像５７を合成して得られる１画面の画像８０の例を示している。画像８０は、４つのサブピクセルから成るスクエア配列の表示画素により構成される画像とされる。上述したように、スクエア配列の表示画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて１つの表示画素を構成する４つのサブピクセルを並び替える必要がある。図５の例では、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルを縦一列に組み合わせて構成されるように並べ替えられている。
【００５０】
図５に示される矩形の領域９１は、７視点分の表示画素が表示される単位領域を表している。領域９１の中の表示画素８１−１は、第１視点用画像の画素であって、画面の左上端に配置される表示画素を表している。なお、領域９１の中の表示画素８１−１の右横に配置された４つのサブピクセルによって、第２視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。さらに、その右横の４つのサブピクセルによって、第３視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。このように、領域９１の中に第１視点用の画像乃至第７視点用の画像の表示画素がそれぞれ１つずつ配置される。
【００５１】
また、図５において、領域９１の下にもやはり領域９１と同じ形状／大きさの単位領域が存在することになり、表示画素８１−２は、第１視点用画像の画素であって、画面の左端の上から２番目に配置される表示画素とされる。
【００５２】
同様に、表示画素８１−３は、第１視点用画像の画素であって、画面の左端の上から３番目に配置される表示画素とされ、表示画素８１−４は、第１視点用画像の画素であって、画面の左下端に配置される表示画素とされる。
【００５３】
つまり、図５の領域９１の下には、領域９１と同じ形状／大きさの単位領域が３つ存在することになり、それぞれの単位領域に、７視点分の表示画素が表示されることになる。
【００５４】
また、図５の領域９１の右には、領域９１と同じ形状／大きさの単位領域が縦方向（垂直方向）１列に４つ存在することになり、それぞれの単位領域に、７視点分の表示画素が表示されることになる。表示画素８２−１乃至表示画素８２−４は、それぞれの単位領域に表示される第１視点用画像の画素とされる。
【００５５】
図５の表示画素８１−１を構成する各サブピクセルは、図４の表示画素６１−１を構成する各サブピクセルを取得し、それらのサブピクセルの値（輝度値など）を解析することにより生成される。同様に、図５の表示画素８１−２を構成する各サブピクセルは、図４の表示画素６１−２を構成する各サブピクセルに基づいて生成される。そして、図５の表示画素８１−３を構成する各サブピクセルは、図４の表示画素６１−３を構成する各サブピクセルに基づいて生成され、図５の表示画素８１−４を構成する各サブピクセルは、図４の表示画素６１−４を構成する各サブピクセルに基づいて生成されることになる。
【００５６】
このように、図５の画像８０の各画素は、図４の画像５１乃至画像５７において対応する位置の画素に基づいて生成される。
【００５７】
また、図４の画像から図５の画像が生成される際に、ストライプ配列の画素を、スクエア配列の画素に変換することになるが、変換前と変換後において画像の解像度は変更されない。
【００５８】
すなわち、図４の画像５１乃至画像５７は、それぞれ垂直方向に８画素（表示画素）、水平方向に８画素（表示画素）で構成されている。つまり、図４の画像５１乃至画像５７は、それぞれ３つのサブピクセルで構成されるストライプ配列の表示画素を、８×８個含んで構成される。
【００５９】
図５の画像８０も、やはり４つのサブピクセルで構成されるスクエア配列の画素を、８×８個含んで構成される。つまり、図５に示される画像を表示するディスプレイは、水平方向に２個のサブピクセル、垂直方向に２個のサブピクセルで構成される表示画素を、８×８個含んで構成される画像を表示することができる。ただし、図５の場合、上述したように、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルを縦一列に組み合わせて構成されるように並べ替えられている。従って、図５に表示される画像を表示するディスプレイなどは、本来、８×８の解像度を有しているが、サブピクセルが並べ替えられたことにより、水平方向の解像度が２倍となり、垂直方向の解像度が１／２となっている。
【００６０】
このように、多視点の画像を用いて立体表示を行う際に、ストライプ配列の画素を、スクエア配列の画素に変換する場合、変換前の画像の画素と、変換後の画像の画素とが１対１に対応しない場合がある。
【００６１】
例えば、図４の画像５１においては、図５の表示画素８２−１乃至表示画素８２−４に対応する位置の表示画素を特定できない。この場合、図４の画像５１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とを、図５の表示画素８２−１乃至表示画素８２−４に対応させざるを得ない。
【００６２】
このような場合、従来の方式ではストライプ配列の画素を、スクエア配列の画素に変換することができない。
【００６３】
そこで、本技術では、図５の表示画素８２−１乃至表示画素８２−４を生成する場合、図４の画像５１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、図４の画像５１の表示画素が左から順番にＲ，Ｇ，Ｂのサブピクセルで構成されている場合、画像５１の左から４番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から５番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素６２−１乃至仮想表示画素６２−４を生成する。ただし、仮想表示画素６２−１乃至仮想表示画素６２−４のＧのサブピクセルは、それぞれ左から４番目の表示画素のＧのサブピクセルの半分と、左から５番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【００６４】
本技術では、例えば、仮想表示画素６２−１のＲのサブピクセル、すなわち、画像５１の左から５番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素６２−１のＲのサブピクセル、すなわち、画像５１の左から４番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【００６５】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素８２−１が生成されることになる。
【００６６】
表示画素８２−２乃至表示画素８２−４も同様にして生成される。
【００６７】
ここでは、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすと説明したが、それ以外の方式が用いられても構わない。
【００６８】
例えば、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００６９】
あるいはまた、例えば、画像５１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００７０】
なお、図５における表示画素８３−１乃至表示画素８３−４は、図４の画像５１における表示画素６３−１乃至表示画素６３−４に基づいて生成されるが、図５における表示画素８３−１乃至表示画素８３−４の右側は、図４において対応する画素を取得できない。このため、表示画素８３−１乃至表示画素８３−４の右側は、例えば、サブピクセルを黒色（ＯＦＦ）とする。
【００７１】
このようにして、図４の画像５１から、図５の画像８０における第１視点用の画像の画素が１２個生成されることになる。同様に、図４の画像５２から、図５の画像８０における第２視点用の画像の画素が１２個生成されることになる。また、図４の画像５３から、図５の画像８０における第３視点用の画像の画素が１２個生成されることになり、・・・図４の画像５７から、図５の画像８０における第７視点用の画像の画素が１２個生成されることになる。
【００７２】
本技術では、このようにして多視点の画像を用いた立体表示のための画像が生成され、この際、ストライプ配列の画素がスクエア配列に変換される。
【００７３】
図４と図５においては、ストレートバリア方式での表示を前提とした例について説明したが、本技術をステップバリア方式での表示に適用することも可能である。
【００７４】
例えば、図６に示されるような形状のステップバリアを考える。図６は、ステップバリア方式での表示における第１視点用画像の画素の表示位置を示す図である。図中黒い正方形の位置に第１視点用画像の表示画素を構成するサブピクセルがそれぞれ配置される。図６において、表示画素はスクエア配列の画素とされ、例えば、Ｒ，Ｇ，Ｂ，Ｗの４つサブピクセルで構成され、図中垂直方向に並んだ２つのサブピクセル、および、その右下に垂直方向に並んだ２つのサブピクセルによって１つの表示画素が構成される。
【００７５】
図７と図８は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明する図である。図７と図８は、特に、第１視点用の画像に注目した図である。
【００７６】
図７には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０１は、第１視点用画像とされる。
【００７７】
図８は、第１視点用の画像乃至第７視点用の画像を合成して得られる１画面の画像２００の例を示している。画像２００は、４つのサブピクセルから成るスクエア配列の画素により構成される画像とされる。上述したように、スクエア配列の画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて１つの表示画素を構成する４つのサブピクセルを並び替える必要がある。図８の例では、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルをステップ形状に組み合わせて構成されるように並べ替えられている。
【００７８】
図８に示される矩形の領域２９１は、７視点分の表示画素が表示される単位領域を表している。領域２９１の中の表示画素２０１−１は、第１視点用画像の画素であって、画面の左上端に配置される表示画素を表している。なお、領域２９１の中の表示画素２０１−１の右横に配置されたステップ形状の４つのサブピクセルによって、第２視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。さらに、その右横のステップ形状の４つのサブピクセルによって、第３視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。このように、領域２９１の中に第１視点用の画像乃至第７視点用の画像の表示画素がそれぞれ１つずつ配置される。
【００７９】
また、図８において、領域２９１の右下にもやはり領域２９１と同じ形状／大きさの単位領域が存在することになり、表示画素２０１−２は、第１視点用画像の画素であって、画面の左側の上から２番目に配置される表示画素とされる。
【００８０】
同様に、表示画素２０１−３は、第１視点用画像の画素であって、画面の左側の上から３番目に配置される表示画素とされ、表示画素２０１−４は、第１視点用画像の画素であって、画面の左側の上から４番目に配置される表示画素とされる。
【００８１】
つまり、図８の領域２９１の右下方向には、領域２９１と同じ形状／大きさの単位領域が３つ存在することになり、それぞれの単位領域に、７視点分の表示画素が表示されることになる。
【００８２】
また、図８の領域２９１の右には、領域２９１と同じ形状／大きさの単位領域が存在し、その単位領域にやはり７視点分の表示画素が表示されることになり、表示画素２０２−１は、その単位領域に表示される第１視点用画像の画素とされる。同様に、表示画素２０２−２乃至表示画素２０２−４、および、表示画素２０３−１は、それぞれの領域における第１視点用の画像の表示画素とされる。
【００８３】
図８の表示画素２０１−１を構成する各サブピクセルは、図７の表示画素１１１−１を構成する各サブピクセルを取得し、それらのサブピクセルの値（輝度値など）を解析することにより生成される。同様に、図８の表示画素２０１−２を構成する各サブピクセルは、図７の表示画素１１１−２を構成する各サブピクセルに基づいて生成される。そして、図８の表示画素２０１−３を構成する各サブピクセルは、図７の表示画素１１１−３を構成する各サブピクセルに基づいて生成され、図８の表示画素２０１−４を構成する各サブピクセルは、図７の表示画素１１１−４を構成する各サブピクセルに基づいて生成されることになる。
【００８４】
このように、図８の画像２００の各画素は、図７の画像１０１などにおいて対応する位置の画素に基づいて生成される。
【００８５】
また、図７の画像から図８の画像が生成される際に、ストライプ配列の画素を、スクエア配列の画素に変換することになるが、変換前と変換後において画像の解像度は変更されない。
【００８６】
すなわち、図７の画像１０１は、それぞれ垂直方向に８画素（表示画素）、水平方向に８画素（表示画素）で構成されている。つまり、図７の画像１０１は、それぞれ３つのサブピクセルで構成されるストライプ配列の表示画素を、８×８個含んで構成される。
【００８７】
図８の画像２００も、やはり４つのサブピクセルで構成されるスクエア配列の表示画素を、８×８個含んで構成される。つまり、図８に示される画像を表示するディスプレイは、水平方向に２個のサブピクセル、垂直方向に２個のサブピクセルで構成される表示画素を、８×８個含んで構成される画像を表示することができる。ただし、図８の場合、上述したように、通常、サブピクセルを田の字型に組み合わせて構成される１つの表示画素が、サブピクセルをステップ形状に組み合わせて構成されるように並べ替えられている。従って、図８に表示される画像を表示するディスプレイなどは、本来、８×８の解像度を有しているが、サブピクセルが並べ替えられたことにより、水平方向の解像度が２倍となり、垂直方向の解像度が１／２となっている。
【００８８】
このように、多視点の画像を用いて立体表示を行う際に、ストライプ配列の画素を、スクエア配列の画素に変換する場合、変換前の画像の画素と、変換後の画像の画素とが１対１に対応しない場合がある。
【００８９】
例えば、図７の画像１０１には、図８の表示画素２０２−１乃至表示画素２０２−４に対応する位置の表示画素を特定できない。この場合、例えば、図７の画像１０１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とを、図８の表示画素２０２−１に対応させざるを得ない。
【００９０】
このような場合、従来の方式ではストライプ配列の画素を、スクエア配列の画素に変換することができない。
【００９１】
そこで、本技術では、図４と図５を参照して上述した場合と同様に、例えば、図８の表示画素２０２−１を生成する場合、図７の画像１０１の左から４番目の表示画素の一部と左から５番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、図７の画像１０１の表示画素が左から順番にＲ，Ｇ，Ｂのサブピクセルで構成されている場合、画像１０１の左から４番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から５番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１１２−１を生成する。ただし、仮想表示画素１１２−１のＧのサブピクセルは、それぞれ左から４番目の表示画素のＧのサブピクセルの半分と、左から５番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【００９２】
同様にして、仮想表示画素１１２−２乃至仮想表示画素１１２−４も生成される。
【００９３】
上述した場合と同様、本技術では、例えば、仮想表示画素１１２−１のＲのサブピクセル、すなわち、画像１０１の左から５番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１１２−１のＢのサブピクセル、すなわち、画像１０１の左から４番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【００９４】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２０２−１が生成されることになる。
【００９５】
表示画素２０２−２乃至表示画素２０２−４も同様にして生成される。
【００９６】
ここでは、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすと説明したが、それ以外の方式が用いられても構わない。
【００９７】
例えば、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００９８】
あるいはまた、例えば、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【００９９】
なお、図８における表示画素２０３−１は、図７の画像１０１における表示画素１１３−１に基づいて生成される。また、図８において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１００】
図９と図１０は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図９と図１０は、特に、第２視点用の画像に注目した図である。
【０１０１】
図９には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０２は、第２視点用画像とされる。
【０１０２】
いまの場合、例えば、図１０の表示画素２１１−１を生成するとき、図９の画像１０２の左から１番目の表示画素の一部と左から２番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０２の左から１番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から２番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１２１−１を生成する。ただし、仮想表示画素１２１−１のＧのサブピクセルは、それぞれ左から１番目の表示画素のＧのサブピクセルの半分と、左から２番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１０３】
同様にして、仮想表示画素１２１−２乃至仮想表示画素１２１−４も生成される。
【０１０４】
上述した場合と同様、本技術では、例えば、仮想表示画素１２１−１のＲのサブピクセル、すなわち、画像１０２の左から２番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１２１−１のＢのサブピクセル、すなわち、画像１０２の左から１番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０２の左から１番目の表示画素のＧのサブピクセルの値と、左から２番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１０５】
また、仮想表示画素１２１−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１０６】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２１１−１が生成されることになる。
【０１０７】
表示画素２１１−２乃至表示画素２１１−４も同様にして生成される。
【０１０８】
また、図１０の表示画素２１２−１乃至表示画素２１２−４は、図９の表示画素１２２−１乃至表示画素１２２−４に基づいて生成される。図１０の表示画素２１３−１は、図９の表示画素１２３−１に基づいて生成される。さらに、図１０において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１０９】
図１１と図１２は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１１と図１２は、特に、第３視点用の画像に注目した図である。
【０１１０】
図１１には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０３は、第３視点用画像とされる。
【０１１１】
いまの場合、例えば、図１２の表示画素２２２−１を生成するとき、図１１の画像１０３の左から５番目の表示画素の一部と左から６番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０３の左から５番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から６番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１３２−１を生成する。ただし、仮想表示画素１３２−１のＧのサブピクセルは、それぞれ左から５番目の表示画素のＧのサブピクセルの半分と、左から６番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１１２】
同様にして、仮想表示画素１３２−２と仮想表示画素１３２−３も生成される。
【０１１３】
上述した場合と同様、本技術では、例えば、仮想表示画素１３２−１のＲのサブピクセル、すなわち、画像１０３の左から６番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１３２−１のＢのサブピクセル、すなわち、画像１０３の左から５番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０３の左から５番目の表示画素のＧのサブピクセルの値と、左から６番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１１４】
また、仮想表示画素１３２−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１１５】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２２２−１が生成されることになる。
【０１１６】
表示画素２２２−２と表示画素２２２−３も同様にして生成される。
【０１１７】
また、図１２の表示画素２２１−１乃至表示画素２２１−４は、図１１の表示画素１３１−１乃至表示画素１３１−４に基づいて生成される。図１２の表示画素２２３−１は、図１１の仮想表示画素１３３−１に基づいて生成される。さらに、図１２において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１１８】
図１３と図１４は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１３と図１４は、特に、第４視点用の画像に注目した図である。
【０１１９】
図１３には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０４は、第４視点用画像とされる。
【０１２０】
いまの場合、例えば、図１４の表示画素２３１−１を生成するとき、図１３の画像１０４の左から２番目の表示画素の一部と左から３番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０４の左から２番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から３番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１４１−１を生成する。ただし、仮想表示画素１４１−１のＧのサブピクセルは、それぞれ左から２番目の表示画素のＧのサブピクセルの半分と、左から３番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１２１】
同様にして、仮想表示画素１４１−２乃至仮想表示画素１４１−４も生成される。
【０１２２】
上述した場合と同様、本技術では、例えば、仮想表示画素１４１−１のＲのサブピクセル、すなわち、画像１０４の左から３番目の表示画素のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１４１−１のＢのサブピクセル、すなわち、画像１０４の左から２番目の表示画素のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０４の左から２番目の表示画素のＧのサブピクセルの値と、左から３番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１２３】
また、仮想表示画素１４１−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１２４】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２３１−１が生成されることになる。
【０１２５】
表示画素２３１−２乃至表示画素２３１−４も同様にして生成される。
【０１２６】
また、図１４の表示画素２３２−１乃至表示画素２３２−３は、図１３の表示画素１４２−１乃至表示画素１４２−３に基づいて生成される。図１４の表示画素２３３−１と表示画素２３３−２は、図１３の表示画素１４３−１と表示画素１４３−２に基づいて生成される。さらに、図１４において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１２７】
図１５と図１６は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１５と図１６は、特に、第５視点用の画像に注目した図である。
【０１２８】
図１５には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０５は、第５視点用画像とされる。
【０１２９】
いまの場合、例えば、図１６の表示画素２４２−１を生成するとき、図１５の画像１０５の左から６番目の表示画素の一部と左から７番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０５の左から６番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から７番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１５２−１を生成する。ただし、仮想表示画素１５２−１のＧのサブピクセルは、それぞれ左から６番目の表示画素のＧのサブピクセルの半分と、左から７番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１３０】
同様にして、仮想表示画素１５２−２も生成される。
【０１３１】
上述した場合と同様、本技術では、例えば、仮想表示画素１５２−１のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１５２−１のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０５の左から６番目の表示画素のＧのサブピクセルの値と、左から７番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１３２】
また、仮想表示画素１５２−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１３３】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２４２−１が生成されることになる。
【０１３４】
表示画素２４２−２も同様にして生成される。
【０１３５】
また、図１６の表示画素２４１−１乃至表示画素２４１−４は、図１５の表示画素１５１−１乃至表示画素１５１−４に基づいて生成される。図１６の表示画素２４３−１と表示画素２４３−２は、図１５の仮想表示画素１５３−１と仮想表示画素１５３−２に基づいて生成される。さらに、図１６において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１３６】
図１７と図１８は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１７と図１８は、特に、第６視点用の画像に注目した図である。
【０１３７】
図１７には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０６は、第６視点用画像とされる。
【０１３８】
いまの場合、例えば、図１８の表示画素２５１−１を生成するとき、図１７の画像１０６の左か３番目の表示画素の一部と左から４番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０６の左から３番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から４番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１６１−１を生成する。ただし、仮想表示画素１６１−１のＧのサブピクセルは、それぞれ左から３番目の表示画素のＧのサブピクセルの半分と、左から４番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１３９】
同様にして、仮想表示画素１６１−２乃至仮想表示画素１６１−４も生成される。
【０１４０】
上述した場合と同様、本技術では、例えば、仮想表示画素１６１−１のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１６１−１のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０６の左から３番目の表示画素のＧのサブピクセルの値と、左から４番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１４１】
また、仮想表示画素１６１−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１４２】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２０２−１が生成されることになる。
【０１４３】
表示画素２５１−２乃至表示画素２５１−４も同様にして生成される。
【０１４４】
また、図１８の表示画素２５２−１と表示画素２５２−２、図１７の表示画素１６２−１と表示画素１６２−２に基づいて生成される。図１８の表示画素２５３−１乃至表示画素２５３−３は、図１７の表示画素１６３−１乃至表示画素１６３−３に基づいて生成される。さらに、図１８において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１４５】
図１９と図２０は、第１視点用の画像乃至第７視点用の画像により立体表示が行われる場合であって、図６に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図１９と図２０は、特に、第７視点用の画像に注目した図である。
【０１４６】
図１９には、ストライプ配列の画素により構成される画像であって、３つのサブピクセルが横方向に１列に配置された表示画素によって構成される２次元画像が示され、この画像１０７は、第７視点用画像とされる。
【０１４７】
いまの場合、例えば、図２０の表示画素２６２−１を生成するとき、図１９の画像１０７の左から７番目の表示画素の一部と左から８番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像１０７の左から７番目の表示画素のＧのサブピクセル、Ｂのサブピクセル、および、左から８番目の表示画素のＲのサブピクセル、Ｇのサブピクセルを含む仮想表示画素１７２−１を生成する。ただし、仮想表示画素１７２−１のＧのサブピクセルは、それぞれ左から７番目の表示画素のＧのサブピクセルの半分と、左から８番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１４８】
上述した場合と同様、本技術では、例えば、仮想表示画素１７２−１のＲのサブピクセルを、変換前の表示画素のＲのサブピクセルとみなす。また、仮想表示画素１７２−１のＢのサブピクセルを、変換前の表示画素のＢのサブピクセルとみなす。そして、本技術では、画像１０７の左から７番目の表示画素のＧのサブピクセルの値と、左から８番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。
【０１４９】
また、仮想表示画素１７２−１のＧのサブピクセルについては、２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１５０】
そして、変換前のＲ，Ｇ．Ｂの各サブピクセルの値に基づいて、変換後のＲ，Ｇ，Ｂ，Ｗの各サブピクセルの値が求められ、表示画素２６２−１が生成されることになる。
【０１５１】
また、図２０の表示画素２６１−１は、図１９の表示画素１７１−１に基づいて生成される。図２０の表示画素２６３−１乃至表示画素２６３−３は、図１９の仮想表示画素１７３−１乃至仮想表示画素１７３−３に基づいて生成される。さらに、図２０において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
【０１５２】
このように、第１視点用の画像乃至第７視点用の画像１０１乃至１０７の画素が合成されて多視点の画像２００が生成される。例えば、図８、図１０、図１２、図１４、図１６、図１８、および図２０に示される画像２００は、１つの画面の画像として合成されることになる。本技術では、このようにして多視点の画像を用いた立体表示のための画像が生成され、この際、ストライプ配列の画素がスクエア配列に変換される。
【０１５３】
本技術では、上述したように、ストライプ配列の画素を、スクエア配列の画素に変換するとき、ストライプ配列の画素と、スクエア配列の画素の配置のずれを考慮してサブピクセルが生成される。従って、例えば、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができる。
【０１５４】
図４乃至図２０を参照して上述した方式によりストライプ配列の画素をスクエア配列に変換した場合、上述したように、サブピクセルが並べ替えられたことにより、水平方向の解像度が２倍となり、垂直方向の解像度が１／２となっている。従って、変換前の画像の垂直方向の１つの表示画素に基づいて、変換後の画像の垂直方向の２つ表示画素が生成されることになる。
【０１５５】
このことは、変換後の画像の垂直方向の１つの表示画素が、変換前の画像の垂直方向の２つの表示画素に対応付けられることを意味する。図４乃至図２０を参照して上述した方式では、変換前の画像の垂直方向の２つの表示画素のうち、図中上側に位置する１つの表示画素（または仮想表示画素）の各サブピクセルの値に基づいて、変換後の１つの表示画素の各サブピクセルの値が求められるものとして説明した。しかし、変換前の画像の垂直方向の２つ（またはそれ以上）の表示画素のうち、図中下側に位置する１つの表示画素（または仮想表示画素）の各サブピクセルの値に基づいて、変換後の１つの表示画素の各サブピクセルの値が求められるようにすることも可能である。
【０１５６】
例えば、図８に示される第１視点用の表示画素２０１−１の各サブピクセルの値が、図２１に示される表示画素１８１−１の各サブピクセルの値に基づいて求められるようにしてもよい。図２１には、表示画素１８１−１のみが示されているが、図８に示される第１視点用の表示画素は、同様に、変換前の画像の垂直方向の２つの表示画素のうち、図中下側に位置する１つの表示画素に基づいて生成される。
【０１５７】
また、以上においては、ストライプ配列の１つの表示画素（または１つの仮想表示画素）を、スクエア配列の１つの表示画素に変換する例について説明した。しかし、例えば、ストライプ配列の２つの表示画素（または２つの仮想表示画素）を、スクエア配列の２つの表示画素に変換するようにしてもよい。
【０１５８】
例えば、図２２に示される第１視点用の画像１０１の表示画素群１８５−１に基づいて、図２３に示される第１視点用の画像乃至第７視点用の画像を合成して得られる１画面の画像２００の第１視点用の表示画素群２８１−１が生成されるようにしてもよい。すなわち、図２２の表示画素群１８５−１に含まれる６つのサブピクセルの値に基づいて、図２３の表示画素群２８１−１に含まれる８つのサブピクセルの値が求められるようにしてもよい。
【０１５９】
この場合、例えば、変換前の画像の表示画素群に含まれる６つのサブピクセルと、変換前の画像の表示画素群に含まれる８つのサブピクセルとを予め対応付けておき、対応するサブピクセルの値に基づいて変換後の各サブピクセルの値が演算される。あるいはまた、変換前の画像の表示画素群に含まれる各サブピクセルの値を、色（Ｒ，Ｇ，Ｂ）毎に平均し、それら平均値に基づいて変換後の各サブピクセルの値が演算されるようにしてもよい。さらに、変換前の画像の表示画素群に含まれる各サブピクセルの値について、色（Ｒ，Ｇ，Ｂ）毎に最大値、または最小値を選択し、それら最大値または最小値に基づいて変換後の各サブピクセルの値が演算されるようにしてもよい。
【０１６０】
あるいはまた、変換前の画像におけるストライプ配列の画素のサブピクセルが、不規則な形状で抽出されるようにしても構わない。例えば、図８に示される第１視点用の表示画素２０１−１の各サブピクセルの値が、図２４に示されるように、枠１９１内のサブピクセルの値に基づいて求められるようにしてもよい。
【０１６１】
この場合、例えば、図中左上端（第１行第１列目）のＲのサブピクセルを変換前の表示画素のＲのサブピクセルとみなし、第２行第３列目のＢのサブピクセルを変換前の表示画素のＢのサブピクセルとみなす。そして、第１行第２列目のサブピクセルと第２行第２列目のサブピクセルの値を平均して得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなす。なお、Ｇのサブピクセルについては、２つのサブピクセルの値のうち、大きい値（または小さい値）として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１６２】
あるいはまた、図２５に示される第２視点用の画像１０２の仮想表示画素群１９２−２に基づいて、図２６に示される第１視点用の画像乃至第７視点用の画像を合成して得られる１画面の画像２００の第２視点用の表示画素群２９２−１が生成されるようにしてもよい。
【０１６３】
この場合、例えば、図２５の画像１０２の第１行目左から１番目の表示画素の一部および第１行目左から２番目の表示画素の一部、並びに、第２行目左から１番目の表示画素の一部および第２行目左から２番目の表示画素の一部で構成される仮想表示画素群１９２−２が生成される。
【０１６４】
ただし、仮想表示画素群１９２−１の第１行目のＧのサブピクセルは、第１行目左から１番目の表示画素のＧのサブピクセルの半分と、第１行目左から２番目の表示画素のＧのサブピクセルの半分によって構成されることになる。また、仮想表示画素群１９２−１の第２行目のＧのサブピクセルは、第２行目左から１番目の表示画素のＧのサブピクセルの半分と、第２行目左から２番目の表示画素のＧのサブピクセルの半分によって構成されることになる。
【０１６５】
図２５と図２６の場合、例えば、仮想表示画素群１９２−１の画像１０２の第１行目左から１番目の表示画素のＧのサブピクセルの値と、第１行目左から２番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素群の第１行目のＧのサブピクセルとみなす。また、仮想表示画素群１９２−１の画像１０２の第２行目左から１番目の表示画素のＧのサブピクセルの値と、第２行目左から２番目の表示画素のＧのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素群の第２行目のＧのサブピクセルとみなす。
【０１６６】
また、仮想表示画素１９２−１の第１行目と第２行目のＧのサブピクセルについては、それぞれ２つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のＧのサブピクセルとみなすようにしてもよい。
【０１６７】
このようにして、仮想表示画素群１９２−１の各サブピクセルの値を特定し、図２２と図２３を参照して上述した場合と同様にして、図２６の表示画素群２９２−１に含まれる８つのサブピクセルの値が求められるようにしてもよい。
【０１６８】
このようにすることで、より高い精度でストライプ配列の画素により構成される画像をスクエア配列の画素により構成される画像に変換することができる。
【０１６９】
以上においては、ストレートバリア方式とステップバリア方式の場合の例について説明したが、パララックスバリアの光学開口が斜め方向に延びるようにした、斜めバリア方式にも本技術を適用することができる。
【０１７０】
図２７は、本技術を適用した多視点立体表示システムの一実施の形態に係る構成例を示すブロック図である。同図の例では、画像処理装置４０１とディスプレイ４０２により多視点立体表示システム４００が構成されている。
【０１７１】
画像処理装置４０１は、例えば、図４乃至図２６を参照して上述したように、複数の視点用の画像を合成して１画面の画像を生成するようになされている。また、この際、ストライプ配列の画素により構成される画像をスクエア配列の画素により構成される画像に変換するようになされている。
【０１７２】
ディスプレイ４０２は、立体表示を可能とするディスプレイとされ、例えば、図１を参照して上述したように、画面Ｗと観察者Ｈとの間に各視点用の画像をそれぞれ空間的に分離するパララックスバリアを有する構成とされる。例えば、パララックスバリアとしてスリット、レンチキュラーレンズ、液晶レンズなどが用いられる。
【０１７３】
また、パララックスバリアは、ストレートバリア方式、ステップバリア方式、斜めバリア方式のいずれであってもよい。
【０１７４】
図２７の画像処理装置４０１は、データ取得部４１１、視差画像生成部４１２、および視差画像合成部４１３により構成されている。
【０１７５】
データ取得部４１１は、例えば、多視点の画像を生成するために必要となる画像データを取得する。データ取得部４１１は、例えば、記録媒体に記録されているデータを取得するものであってもよいし、ネットワークを介して他の機器からデータを取得するものであってもよい。
【０１７６】
視差画像生成部４１２は、データ取得部４１１により取得された画像データに基づいて、複数の視点用の画像データを生成する。視差画像生成部４１２は、例えば、図７、図９、図１１、図１３、図１５、図１７、図１９に示した第１視点用の画像１０１乃至第７視点用の画像１０７の画像データを生成する。
【０１７７】
視差画像合成部４１３は、複数の視点用の画像を合成して１画面の画像を生成する。視差画像合成部４１３は、例えば、図８、図１０、図１２、図１４、図１６、図１８、および図２０に示される画像２００を、１つの画面の画像として合成する。
【０１７８】
図２８は、図２７の視差画像合成部４１３の詳細な構成例を示すブロック図である。同図に示されるように、視差画像合成部４１３は、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・、および合成部４３２を有する構成とされる。なお、画素変換部は、視差画像生成部４１２において生成される画像データの視点の数に対応する数だけ設けられる。例えば、視差画像生成部４１２において、第１視点用の画像乃至第Ｎ視点用の画像の画像データが生成される場合、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・画素変換部４３１−Ｎが設けられる。
【０１７９】
画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・画素変換部４３１−Ｎのそれぞれは同様の構成を有しており、図２８には、画素変換部４３１−１の詳細な構成が示されている。この例では、画素変換部４３１−１は、変換方式決定部４４１、変換前サブピクセル抽出部４４２、サブピクセル値決定部４４３、変換後サブピクセル生成部４４４を有する構成とされている。
【０１８０】
なお、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・画素変換部４３１−Ｎをそれぞれ区別する必要がない場合、まとめて画素変換部４３１と記述することにする。
【０１８１】
変換方式決定部４４１は、例えば、ディスプレイ４０２のパララックスバリアの形状（ストレートバリア方式、ステップバリア方式、斜めバリア方式など）を特定する。また、変換方式決定部４４１は、変換前後の画素間の対応関係を特定する。例えば、図７乃至図２０を参照して上述したように変換前後の画素を対応付けるのか、図２１を参照して上述したように変換前後の画素を対応付けるのか、図２２と図２３を参照して上述したように変換前後の画素を対応付けるのか、図２４を参照して上述したように変換前後の画素を対応付けるのかを特定する。あるいはまた、図２５と図２６を参照して上述したように変換前後の画素を対応付けるのかを特定する。
【０１８２】
変換前サブピクセル抽出部４４２は、変換方式決定部４４１により特定されたパララックスバリアの形状、および変換前後の画素間の対応関係に基づいて、これから変換する画素に対応するサブピクセルを変換前の画像から抽出する。
【０１８３】
サブピクセル値決定部４４３は、変換前のサブピクセルの値を決定する。
【０１８４】
例えば、変換前サブピクセル抽出部４４２により図７の表示画素１１１−１が抽出された場合、サブピクセル値決定部４４３は、表示画素１１１−１を構成するＲのサブピクセルの値、Ｇのサブピクセルの値、および、Ｂのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。
【０１８５】
また、例えば、変換前サブピクセル抽出部４４２により図７の仮想表示画素１１２−１が抽出された場合、サブピクセル値決定部４４３は、まず、画像１０１の左から第４番目の表示画素のＢのサブピクセルの値、および、左から第５番目の表示画素のＲのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。さらに、サブピクセル値決定部４４３は、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値を変換前のサブピクセルの値として決定する。なお、左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい方（または小さい方）の値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０１８６】
さらに、例えば、変換前サブピクセル抽出部４４２により図２４に示される枠１９１内のサブピクセルが抽出される場合、サブピクセル値決定部４４３は、まず、図中左上端（第１行第１列目）のＲのサブピクセルの値、第２行第３列目のＢのサブピクセルの値を変換前のサブピクセルの値として決定する。そして、サブピクセル値決定部４４３は、第１行第２列目のサブピクセルと第２行第２列目のサブピクセルの値を平均して得られる値を変換前のサブピクセルの値として決定する。なお、Ｇのサブピクセルについては、２つのサブピクセルの値のうち、大きい値（または小さい値）として得られるサブピクセルの値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０１８７】
変換後サブピクセル生成部４４４は、サブピクセル値決定部４４３により決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を演算し、変換後の画像の各表示画素を生成する。
【０１８８】
このようにして、画素変換部４３１−１によって第１視点用画像の表示画素のみで合成される画像が生成される。
【０１８９】
例えば、視差画像生成部４１２において、第１視点用の画像乃至第Ｎ視点用の画像の画像データが生成される場合、次のようになる。画素変換部４３１−１によって第１視点用画像の表示画素のみで合成される画像（例えば、図８に示される画像２００）が生成される。同様に、画素変換部４３１−２によって第２視点用画像の表示画素のみで合成される画像（例えば、図１０に示される画像２００）が生成され、・・・画素変換部４３１−７によって第７視点用画像の表示画素のみで合成される画像（例えば、図２０に示される画像２００）が生成される。
【０１９０】
そして、合成部４３２が、画素変換部４３１−１、画素変換部４３１−２、画素変換部４３１−３、・・・から出力される各画像を合成して１画面の画像を生成する。
【０１９１】
次に、図２９のフローチャートを参照して、図２７の多視点立体表示システム４００による多視点立体表示処理の例について説明する。
【０１９２】
ステップＳ２１において、画像処理装置４０１の視差画像生成部４１２は、視差画像生成処理を実行する。
【０１９３】
ここで、図３０のフローチャートを参照して、図２９のステップＳ２１の視差画像生成処理の詳細な例について説明する。
【０１９４】
ステップＳ４１において、視差画像生成部４１２は、元となる画像を取得する。このとき、例えば、データ取得部４１１を介して、多視点の画像を生成するために必要となる画像データが取得される。
【０１９５】
ステップＳ４２において、画像の視点を特定するための変数ｎの値が１にセットされる。
【０１９６】
ステップＳ４３において、視差画像生成部４１２は、ステップＳ４１の処理で取得された画像に基づいて、第ｎ番目の視点用の平面画像を生成する。
【０１９７】
ステップＳ４４において、変数ｎが生成すべき画像の視点の数Ｎと等しいか否かが判定される。変数ｎの値がＮと等しくないと判定された場合、処理は、ステップＳ４５に進み、変数ｎの値が１だけインクリメントされる。その後、処理は、ステップＳ４３に戻り、それ以降の処理が繰り返し実行される。
【０１９８】
ステップＳ４４において、変数ｎが生成すべき画像の視点の数Ｎと等しいと判定された場合、処理は、ステップＳ４６に進む。
【０１９９】
ステップＳ４６において、視差画像生成部４１２は、各視点用の画像データを出力する。これにより、第１視点用の画像乃至第Ｎ視点用の画像の画像データが出力される。例えば、図７、図９、図１１、図１３、図１５、図１７、図１９に示した第１視点用の画像１０１乃至第７視点用の画像１０７の画像データが生成されて出力されることになる。
【０２００】
このようにして、視差画像生成処理が実行される。
【０２０１】
図２９に戻って、ステップＳ２１の処理の後、処理は、ステップＳ２２に進む。
【０２０２】
ステップＳ２２において、画像処理装置４０１の視差画像合成部４１３は、視差画像合成処理を実行する。
【０２０３】
ここで、図３１のフローチャートを参照して、図２９のステップＳ２２の視差画像合成処理の詳細な例について説明する。
【０２０４】
ステップＳ６１において、視差画像合成部４１３の画素変換部４３１−１、画素変換部４３１−２、・・・画素変換部４３１−Ｎは、図３２を参照して後述する画素変換処理を実行する。これにより、例えば、図８、図１０、図１２、図１４、図１６、図１８、および図２０に示される画像２００がそれぞれ生成される。
【０２０５】
ステップＳ６２において、視差画像合成部４１３の合成部４３２は、ステップＳ６２の処理で生成された各視点用の画像を合成して１画面の画像を生成する。
【０２０６】
このようにして、視差画像合成処理が実行される。
【０２０７】
図２９に戻って、ステップＳ２２の処理の後、処理は、ステップＳ２３に進む。ステップＳ２３において、ステップＳ２２の処理で生成された画像がディスプレイ４０２に表示される。これにより、観察者に立体画像が提示されることになる。
【０２０８】
このようにして、多視点立体表示処理が実行される。
【０２０９】
次に、図３２のフローチャートを参照して、図３１のステップＳ６１の画素変換処理の詳細な例について説明する。この処理は、例えば、画素変換部４３１−１、・・・画素変換部４３１−Ｎのそれぞれによって並行して実行される。すなわち、画素変換部４３１−１、・・・画素変換部４３１−Ｎのそれぞれによって、第１視点用の画像、・・・第Ｎ視点用の画像に対応する処理が実行される。
【０２１０】
ステップＳ８１において、画素変換部４３１の変換方式決定部４４１は、変換方式を決定する。このとき、変換方式決定部４４１は、例えば、ディスプレイ４０２のパララックスバリアの形状（ストレートバリア方式、ステップバリア方式、斜めバリア方式など）を特定する。また、変換方式決定部４４１は、変換前後の画素間の対応関係を特定する。例えば、図７乃至図２０を参照して上述したように変換前後の画素を対応付けるのか、図２１を参照して上述したように変換前後の画素を対応付けるのか、図２２と図２３を参照して上述したように変換前後の画素を対応付けるのか、図２４を参照して上述したように変換前後の画素を対応付けるのかを特定する。あるいはまた、図２５と図２６を参照して上述したように変換前後の画素を対応付けるのかを特定する。
【０２１１】
ステップＳ８２において、ステップＳ８１の処理に伴って特定された変換前後の画素の対応関係に基づいて、変換前後のサブピクセルの位置を特定する。
【０２１２】
ステップＳ８３において、画素変換部４３１の変換前サブピクセル抽出部４４２は、ステップＳ８２の処理の結果特定された位置のサブピクセルであって、これから変換する画素に対応するサブピクセル（変換前のサブピクセル）を変換前の画像から抽出する。
【０２１３】
ステップＳ８４において、サブピクセル値決定部４４３は、変換前のサブピクセルの値を決定する。
【０２１４】
このとき、例えば、変換前サブピクセル抽出部４４２により図７の表示画素１１１−１が抽出された場合、サブピクセル値決定部４４３は、表示画素１１１−１を構成するＲのサブピクセルの値、Ｇのサブピクセルの値、および、Ｂのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。
【０２１５】
また、例えば、変換前サブピクセル抽出部４４２により図７の仮想表示画素１１２−１が抽出された場合、サブピクセル値決定部４４３は、まず、画像１０１の左から第４番目の表示画素のＢのサブピクセルの値、および、左から第５番目の表示画素のＢのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。さらに、サブピクセル値決定部４４３は、画像１０１の左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値の平均値を変換前のサブピクセルの値として決定する。なお、左から４番目の表示画素のＧのサブピクセルの値と、左から５番目の表示画素のＧのサブピクセルの値のうち、大きい方（または小さい方）の値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０２１６】
さらに、例えば、変換前サブピクセル抽出部４４２により図２４に示される枠１９１内のサブピクセルが抽出される場合、サブピクセル値決定部４４３は、まず、図中左上端（第１行第１列目）のＲのサブピクセルの値、第２行第３列目のＢのサブピクセルの値を変換前のサブピクセルの値として決定する。そして、サブピクセル値決定部４４３は、第１行第２列目のサブピクセルと第２行第２列目のサブピクセルの値を平均して得られる値を変換前のサブピクセルの値として決定する。なお、Ｇのサブピクセルについては、２つのサブピクセルの値のうち、大きい値（または小さい値）として得られるサブピクセルの値が変換前のサブピクセルの値として決定されるようにしてもよい。
【０２１７】
ステップＳ８５において、変換後サブピクセル生成部４４４は、ステップＳ８４の処理でサブピクセル値決定部４４３により決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を演算し、変換後の画像の各表示画素を生成する。
【０２１８】
ステップＳ８６において、当該視点用の画像について全画素分の処理がなされたか否かが判定され、まだ、全画素分の処理がなされていないと判定された場合、処理は、ステップＳ８２に戻り、それ以降の処理が繰り返し実行される。
【０２１９】
ステップＳ８６において、当該視点用の画像について全画素分の処理がなされたと判定された場合、処理は、終了する。
【０２２０】
このようにして、画素変換処理が実行される。
【０２２１】
図３３は、本技術を適用した多視点立体表示システムの一実施の形態に係る別の構成例を示すブロック図である。画像処理装置４０１とディスプレイ４０２により多視点立体表示システム４００が構成されているが、図３３の例の場合、画像処理装置４０１は、視差画像生成部４１２、および視差画像合成部４１３により構成されている。このように、例えば、データ取得部４１１を設けることなく、視差画像生成部が独自に各視点用の画像を生成する構成とされてもよい。
【０２２２】
図３４は、本技術を適用した多視点立体表示システムの一実施の形態に係るさらに別の構成例を示すブロック図である。画像処理装置４０１とディスプレイ４０２により多視点立体表示システム４００が構成されているが、図３４の例の場合、画像処理装置４０１は、データ取得部４１１、および視差画像合成部４１３により構成されている。このように、例えば、データ取得部４１１により、各視点用の画像が直接取得される構成とされてもよい。
【０２２３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３５に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２２４】
図３５において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２２５】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２２６】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２２７】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２２８】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２２９】
なお、この記録媒体は、図３５に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２３０】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３２】
なお、本技術は以下のような構成も取ることができる。
【０２３３】
（１）
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える
表示制御装置。
（２）
前記変換合成部は、
３色のサブピクセルで構成されるストライプ配列の画素を、４色のサブピクセルで構成されるスクエア配列の画素に変換する
（１）に記載の表示制御装置。
（３）
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が２倍とされ、垂直方向の解像度が１／２とされる
（１）または（２）に記載の表示制御装置。
（４）
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つ以上のサブピクセルが含まれている場合、前記２つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定する
（１）乃至（３）のいずれかに記載の表示制御装置。
（５）
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定する
（１）乃至（４）のいずれかに記載の表示制御装置。
（６）
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定する
（１）乃至（５）のいずれかに記載の表示制御装置。
（７）
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察される
（１）乃至（６）のいずれかに記載の表示制御装置。
（８）
変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、
立体表示用画像を生成するステップでは、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される
表示制御方法。
（９）
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部と
を備える表示装置。
（１０）
前記分離部を構成する光学分離素子として液晶レンズが用いられる
（９）に記載の表示装置。
【符号の説明】
【０２３４】
４００ 多視点立体表示システム， ４０１ 画像処理装置， ４０２ ディスプレイ， ４１１ データ取得部， ４１２ 視差画像生成部， ４１４ 視差画像合成部， ４３１ 画素変換部， ４３２ 合成部， ４４１ 変換方式決定部， ４４２ 変換前サブピクセル抽出部， ４４３ サブピクセル値決定部， ４４４ 変換後サブピクセル生成部
【特許請求の範囲】
【請求項１】
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える
表示制御装置。
【請求項２】
前記変換合成部は、
３色のサブピクセルで構成されるストライプ配列の画素を、４色のサブピクセルで構成されるスクエア配列の画素に変換する
請求項１に記載の表示制御装置。
【請求項３】
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が２倍とされ、垂直方向の解像度が１／２とされる
請求項１に記載の表示制御装置。
【請求項４】
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つ以上のサブピクセルが含まれている場合、前記２つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定する
請求項１に記載の表示制御装置。
【請求項５】
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定する
請求項１に記載の表示制御装置。
【請求項６】
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定する
請求項１に記載の表示制御装置。
【請求項７】
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察される
請求項１に記載の表示制御装置。
【請求項８】
変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、
立体表示用画像を生成するステップでは、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される
表示制御方法。
【請求項９】
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部と
を備える表示装置。
【請求項１０】
前記分離部を構成する光学分離素子として液晶レンズが用いられる
請求項９に記載の表示装置。
【請求項１】
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える
表示制御装置。
【請求項２】
前記変換合成部は、
３色のサブピクセルで構成されるストライプ配列の画素を、４色のサブピクセルで構成されるスクエア配列の画素に変換する
請求項１に記載の表示制御装置。
【請求項３】
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が２倍とされ、垂直方向の解像度が１／２とされる
請求項１に記載の表示制御装置。
【請求項４】
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つ以上のサブピクセルが含まれている場合、前記２つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定する
請求項１に記載の表示制御装置。
【請求項５】
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定する
請求項１に記載の表示制御装置。
【請求項６】
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、１色につき２つのサブピクセルが含まれている場合、前記２つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定する
請求項１に記載の表示制御装置。
【請求項７】
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察される
請求項１に記載の表示制御装置。
【請求項８】
変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、
立体表示用画像を生成するステップでは、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される
表示制御方法。
【請求項９】
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部と
を備える表示装置。
【請求項１０】
前記分離部を構成する光学分離素子として液晶レンズが用いられる
請求項９に記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１３−１０９２４１（Ｐ２０１３−１０９２４１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５５３４（Ｐ２０１１−２５５５３４）
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（５９８１７２３９８）株式会社ジャパンディスプレイウェスト (90)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（５９８１７２３９８）株式会社ジャパンディスプレイウェスト (90)
【Ｆターム（参考）】
[ Back to top ]