画像処理装置、表示装置及び画像処理方法
【課題】4色のサブ画素によって色表示を行う場合において、白色に対応するサブ画素の色及び位置を利用して視感上の画質の向上を図る。
【解決手段】表示装置は、R(赤)、G(緑)、B(青)、W(白)の4色のサブ画素によって画像を表示する。サブ画素Gは、サブ画素Wからみて対角線方向に位置する。また、サブ画素Rは、サブ画素WとX方向(図中の横方向)に対して隣り合い、サブ画素Bは、サブ画素WとY方向(図中の縦方向)に対して隣り合う。この構成において、Rの画像信号は、Y方向の高周波成分が制限され、Bの画像信号は、X方向の高周波成分が制限される。また、Gの画像信号とWの画像信号は、それぞれのサブ画素を同色のサブ画素であるとみなし、それぞれに対して同じような帯域制限を行う。加えて、表示装置は、R、G、Bの各色について、通過させる高周波成分の振幅を各色の高周波成分とWの高周波成分の比率に応じたパラメーターによって調整する。
【解決手段】表示装置は、R(赤)、G(緑)、B(青)、W(白)の4色のサブ画素によって画像を表示する。サブ画素Gは、サブ画素Wからみて対角線方向に位置する。また、サブ画素Rは、サブ画素WとX方向(図中の横方向)に対して隣り合い、サブ画素Bは、サブ画素WとY方向(図中の縦方向)に対して隣り合う。この構成において、Rの画像信号は、Y方向の高周波成分が制限され、Bの画像信号は、X方向の高周波成分が制限される。また、Gの画像信号とWの画像信号は、それぞれのサブ画素を同色のサブ画素であるとみなし、それぞれに対して同じような帯域制限を行う。加えて、表示装置は、R、G、Bの各色について、通過させる高周波成分の振幅を各色の高周波成分とWの高周波成分の比率に応じたパラメーターによって調整する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、4色のサブ画素によって色表示を行う場合の画像処理に関する。
【背景技術】
【0002】
3原色を用いた表示装置における画素の配置には、ストライプ配列やデルタ配列がある(例えば、特許文献1参照)。このような表示装置においては、3個のサブ画素によって1画素が構成される。また、ベイヤー(Bayer)配列は、色数は3色であるが、4個のサブ画素によって1画素を構成するものであり、G(緑)のサブ画素を2個、R(赤)、B(青)のサブ画素をそれぞれ1個用い、これらのサブ画素を縦方向及び横方向に2個ずつ配置したものである。
【0003】
画素がベイヤー配列によって構成された表示装置においては、一般に、入力された画像データの画素数の1/4の画素数の画像データによって色表示が行われる。この場合、入力された画像データの解像度よりも実際に用いられる画像データの解像度の方が低くなるため、画像信号の周波数帯域を制限するフィルター処理を実行し、折り返し雑音に起因するモアレを抑制することが行われる。例えば、RやBの画像信号の場合、高周波成分に起因するモアレを防ぐためには、縦方向及び横方向のいずれの周波数帯域も半分(すなわち1/2)に制限する必要がある。なお、Gの画像信号は、サブ画素の数がRやBのサブ画素に比べて2倍であるため、帯域の制限幅はこれらよりも少なくて済む。
【0004】
一方、色再現性や明るさの向上を目的に、4原色(ないしそれ以上の原色)を用いて色表示を行う場合がある。例えば、特許文献2には、ベイヤー配列におけるGのサブ画素の一方をW(白)やC(シアン)に置き換え、4色のサブ画素によって色表示を行う画像表示装置が開示されている。また、特許文献3には、4原色以上のカラー画像表示手段を有する場合において各色のカラー画像信号を算出するための技術が開示されている。なお、ここでいう「原色」は、(加法)混色の元となる色のことであり、光の3原色に限定されるものではない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平07−006703号公報
【特許文献2】特開2006−267541号公報
【特許文献3】特開2000−338950号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
4色のサブ画素によって色表示を行う場合において、それぞれの色毎に独立に画像信号の帯域を制限すると、いずれのサブ画素の画像信号も縦方向及び横方向双方の周波数帯域が半分に制限される。しかし、このような帯域制限を行うと、元の画像から失われてしまう情報が多くなってしまう。
そこで、本発明は、4色のサブ画素によって色表示を行う場合において、白色に対応するサブ画素の色及び位置を利用して視感上の画質の向上を図ることを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る画像処理装置は、第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理装置であって、前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出する高周波成分抽出部と、前記高周波成分抽出部により抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出するパラメーター算出部と、前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記パラメーター算出部により算出されたパラメーターを用いて調整するフィルター処理を実行するフィルター処理部とを備える。
この画像処理装置によれば、高周波帯域の振幅がパラメーターによって調整されることにより、視感上の画質の向上を図ることが可能である。
【0008】
好ましい態様において、前記フィルター処理部は、白色に対応する第1サブ画素を表示させる白色の画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第1サブ画素に対して対角線方向に位置する第2サブ画素の配置に応じた態様で制限する第1フィルター処理部と、前記第2サブ画素を表示させる画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第2サブ画素の配置に応じた態様で制限する第2フィルター処理部と、前記第1サブ画素と前記第1方向に隣り合う第3サブ画素を表示させる画像信号に対して、前記第2方向の周波数帯域を当該第3サブ画素の当該第2方向の間隔に応じた態様で制限する第3フィルター処理部と、前記第1サブ画素と前記第2方向に隣り合う第4サブ画素を表示させる画像信号に対して、前記第1方向の周波数帯域を当該第4サブ画素の当該第1方向の間隔に応じた態様で制限する第4フィルター処理部とを有する。
この態様によれば、白色表示に対応する第1サブ画素と他のサブ画素との配置に応じて画像信号の周波数帯域を制限することが可能である。
【0009】
別の好ましい態様において、前記第3フィルター処理部及び前記第4フィルター処理部の少なくとも一方は、入力される画像信号の周波数帯域のうちの通過させる帯域以外の帯域であって、かつ前記第1フィルタ処理部が通過させる帯域の位相を反転させて通過させ、当該帯域の振幅を前記パラメーターを用いて調整する。
この態様によれば、第1サブ画素の表示に起因するモアレや偽色を抑制することが可能である。
【0010】
さらに別の好ましい態様において、前記画像処理装置は、位相が反転されて通過される前記帯域の周波数応答が、前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素の輝度に応じて定まる。
この態様によれば、モアレや偽色の抑制をサブ画素の特性に応じて行うことが可能である。
【0011】
さらに別の好ましい態様において、前記フィルター処理部は、前記第1方向に4M個、前記第2方向に4N個の画素を表す画像信号を参照し、各色について、前記第1方向にM個、前記第2方向にN個の前記サブ画素を表す画像信号を出力し、前記パラメーター算出部は、前記フィルター処理部が出力する画像信号が表す前記サブ画素に対応する個数の前記パラメーターを算出する。
この態様によれば、不要なパラメーターの算出を省略することが可能である。
【0012】
さらに別の好ましい態様において、前記フィルター処理部は、白色以外の3色の画像信号のそれぞれに対して、あらかじめ決められた特定のフィルターの出力を前記パラメーターを用いて調整することにより前記フィルター処理を実行する。この態様によれば、複数のフィルターを用いる場合に比べ、フィルターの記憶に要するメモリーを少なくすることが可能である。
あるいは、前記フィルター処理部は、白色以外の3色の画像信号のそれぞれに対して、複数の前記パラメーター毎に決められた複数のフィルターから、前記パラメーター算出部により算出されたパラメーターに応じたものを選択することにより前記フィルター処理を実行するようにしてもよい。この態様によれば、特定のフィルターを用いる場合に比べ、フィルター処理の実行時の演算量を少なくすることが可能である。
【0013】
さらに別の好ましい態様において、前記第2フィルター処理部は、緑色に対応する画像信号に対してフィルター処理を実行し、前記第3フィルター処理部及び前記第4フィルター処理部は、各々が赤色又は青色に対応する画像信号に対してフィルター処理を実行する。
この態様によれば、(人間の目の分光感度が高い)緑色の画像の解像度を赤色や青色よりも高めることが可能である。
【0014】
本発明の他の態様に係る表示装置は、前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素によって構成され、マトリクス状に配置される複数の画素を有する表示パネルと、請求項1ないし8のいずれかに記載の画像処理装置とを備える。
この表示装置によれば、白色表示に対応する第1サブ画素と他のサブ画素との配置に応じて画像信号の周波数帯域が制限され、視感上の画質の向上を図ることが可能である。
【0015】
本発明の他の態様に係る画像処理方法は、第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理方法であって、前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出し、前記抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出し、前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記算出されたパラメーターを用いて調整するフィルター処理を実行する。
この画像処理方法によれば、白色表示に対応する第1サブ画素と他のサブ画素との配置に応じて画像信号の周波数帯域が制限され、視感上の画質の向上を図ることが可能である。
【図面の簡単な説明】
【0016】
【図1】表示システム10の構成を示すブロック図。
【図2】液晶パネルの画素の配置を示す図。
【図3】画像処理部の構成を示すブロック図。
【図4】各色のフィルターの特性を示す図。
【図5】比較例として示すフィルターの特性を示す図。
【図6】比較例として示すフィルターの特性を示す図。
【図7】ベイヤー配列のサブ画素によって形成される格子を示す図。
【図8】第1実施形態において生じるモアレを説明するための図。
【図9】各色のゲイン調整パラメーターとフィルターの周波数応答の関係を示す図。
【図10】モアレの原因となる周波数帯域を説明するための図。
【図11】R及びBのフィルターとその周波数特性とを説明するための図。
【図12】R及びBのフィルターの他の例を示す図。
【図13】サブ画素の配置の他の例を示す図。
【発明を実施するための形態】
【0017】
[第1実施形態]
図1は、本発明の一実施形態である表示システム10の構成を示すブロック図である。同図に示す表示システム10は、画像処理装置100と、プロジェクター200と、スクリーン300とを備え、外部装置から供給された画像データに応じた画像をスクリーン300に投写するものである。外部装置は、例えばパーソナルコンピューターであるが、デジタルスチルカメラなどであってもよい。なお、外部装置が供給する画像データは、R(赤)、G(緑)、B(青)の3色の色成分の画像信号によって各画素が表現されたデータである。
【0018】
プロジェクター200は、単板型のプロジェクターであって、光源210と、1つの液晶パネル220と、投写レンズ230とを備える。液晶パネル220は、入射する光を変調する光変調器として機能し、画像処理装置100から供給される画像データに応じた態様で光の透過状態を変化させることによって、光源210から照射された光の透過の度合いを制御する。投写レンズ230は、液晶パネル220を透過した光をスクリーン300に投写する。
【0019】
液晶パネル220は、4個のサブ画素によって1画素を構成し、カラーフィルターなどによって各サブ画素の光の透過状態が異なる平板状の表示パネルである。それぞれのサブ画素は、R(赤)、G(緑)、B(青)、W(白)の4色の表示に対応する。液晶パネル220の画素の配置は、ベイヤー配列における2個のGのサブ画素のうちの1個をWのサブ画素に置き換えたものである。なお、ここでいう白(白色)とは、R、G、Bのすべての色成分を適当な割合で含むものであれば、多少黄色がかっていたりグレーがかっていたりしてもよい。ただし、R、G、B、Wのサブ画素の輝度をそれぞれYR、YG、YB、YWとした場合に、これらがYW=YR+YG+YBという関係を満たすのが理想的であるため、本実施形態においてはこのような関係が満たされているものとする。
【0020】
図2は、液晶パネル220の画素の配置を示す図である。液晶パネル220は、図中のX方向と、これに直交するY方向とにサブ画素が並んで配置されており、X方向に隣り合う2個のサブ画素と、この2個のサブ画素とY方向に隣り合う2個のサブ画素とによって1画素が構成されるものである。液晶パネル220は、X方向に沿った奇数行にはGとBに対応するサブ画素が順番に並んでおり、X方向に沿った偶数行にはRとWに対応するサブ画素が順番に並んでいる。また、液晶パネル220は、Y方向に沿った奇数列にはGとRに対応するサブ画素が順番に並んでおり、Y方向に沿った偶数列にはBとWに対応するサブ画素が順番に並んでいる。なお、ここにおいて、X方向が本発明における第1方向に相当し、Y方向が本発明における第2方向に相当する。
【0021】
ここでは、各サブ画素は同サイズの正方形であり、それぞれの間隔がX方向及びY方向のいずれにも等しいとする。このようにすると、1画素を構成する4個のサブ画素は、正方形状に配置されていることになる。液晶パネル220は、このような正方形状の画素がX方向及びY方向にマトリクス状に配置されて構成される。ここにおいて、Gのサブ画素は、Wのサブ画素からみて対角線方向に位置し、Bのサブ画素とX方向に隣り合うとともに、Rのサブ画素とY方向に隣り合う。また、Rのサブ画素は、Wのサブ画素とX方向に隣り合うとともに、Gのサブ画素とY方向に隣り合う。また、Bのサブ画素は、Wのサブ画素とY方向に隣り合うとともに、Gのサブ画素とX方向に隣り合う。
【0022】
Wのサブ画素は、白色に対応するサブ画素であり、白色に対応する画像信号に応じて光の透過状態を変化させる。同様に、R、G、Bのサブ画素は、それぞれ赤色、緑色、青色に対応するサブ画素であり、それぞれの色の表示に対応する画像信号に応じて光の透過状態を変化させる。液晶パネル220のこれらのサブ画素は、図示せぬ駆動回路によって駆動されて光の透過状態を変化させる。
【0023】
以下においては、白色に対応するサブ画素のことを「サブ画素W」、サブ画素Wを表示させる画像信号のことを「W信号」、というように、対応する色を付記することによって各色に対応するサブ画素及び画像信号を区別するものとする。ここにおいて、サブ画素Wは、第1サブ画素に相当し、サブ画素Gは、第2サブ画素に相当する。また、サブ画素Rは、第3サブ画素に相当し、サブ画素Bは、第4サブ画素に相当する。
【0024】
画像処理装置100は、外部装置から画像データを取得し、これをプロジェクター200での表示に適した画像データに変換して供給する。すなわち、画像処理装置100は、R、G、Bの3色の画像信号を含んだ画像データからR、G、B、Wの4色の画像信号を含んだ画像データを生成し、これをプロジェクター200に供給する。
【0025】
画像処理装置100は、より詳細には、入力部110と、画像処理部120と、出力部130とを備える。入力部110は、R、G、Bの3色の画像信号を含む画像データを外部装置から取得し、画像処理部120に入力する。画像処理部120は、画像信号に対して後述する画像処理を実行することによってR、G、B、Wの4色の画像信号を生成し、これを画像データとして出力部130に供給する。出力部130は、画像処理部120によって生成された画像データをプロジェクター200に供給する。
【0026】
図3は、画像処理部120の構成を示すブロック図である。画像処理部120は、同図に示すように、色変換処理部121と、高周波成分抽出部122と、パラメーター算出部123と、フィルター処理部124と、間引き処理部125とを備える。また、フィルター処理部124は、より詳細には、フィルター処理部124R、フィルター処理部124G、フィルター処理部124B及びフィルター処理部124Wを含んで構成される。
【0027】
色変換処理部121は、R、G、Bの3色の画像信号をR、G、B、Wの4色の画像信号に変換する。色変換処理部121は、周知の方法(例えば、特許文献3に開示された方法)で画像信号を変換することが可能である。画像信号は、例えば、輝度(すなわち明るさ)を256階調で表現する8ビットのデータであるが、階調数がこれに限定されるわけではない。
【0028】
高周波成分抽出部122は、色変換処理部121により生成されたR、G、B、Wの4色の画像信号のそれぞれから、高周波成分を抽出する。ここにおいて、高周波成分とは、入力された画像信号の周波数帯域の中心よりも高周波側の成分のことをいう。以下においては、高周波成分抽出部122により抽出された白色の高周波成分のことをHwと表記し、他の3色についても同様に、それぞれHr、Hg、Hbと表記する。なお、高周波成分抽出部122は、X方向とY方向のそれぞれについて高周波成分を抽出してもよいし、その一方の方向のみについて高周波成分を抽出してもよい。
【0029】
また、以下においては、入力された画像信号の周波数帯域の中心よりも高周波側の帯域のことを「高周波帯域」といい、入力された画像信号の周波数帯域の中心よりも低周波側の帯域のことを「低周波帯域」という。すなわち、上述した高周波成分とは、ここでいう高周波帯域の成分のことである。なお、ここでいう周波数とは、画像の空間周波数のことである。
【0030】
パラメーター算出部123は、フィルター処理部124において用いられるパラメーター(以下「ゲイン調整パラメーター」という。)をサブ画素毎に算出する。パラメーター算出部123は、R、G、Bの3色の色成分について、以下の式で表されるゲイン調整パラメーターGr、Gg、Gbをそれぞれ算出する。すなわち、ゲイン調整パラメーターGr、Gg、Gbは、それぞれ、各色の高周波成分とWの高周波成分の比率に応じて定まる。
【0031】
Gr=|Hw|/|Hr|
Gg=|Hw|/|Hg|
Gb=|Hw|/|Hb|
【0032】
フィルター処理部124は、R、G、B、Wの4色の画像信号に対してフィルター処理を実行する。フィルター処理部124は、より詳細には、フィルター処理部124R、124G、124B及び124Wを含む。フィルター処理部124R、124G、124B及び124Wは、それぞれ、符号に対応する画像信号に対してフィルター処理を実行する。例えば、フィルター処理部124Rは、R信号に対してフィルター処理を実行する。フィルター処理部124Wは、第1フィルター処理部に相当し、フィルター処理部124Gは、第2フィルター処理部に相当する。また、フィルター処理部124Rは、第3フィルター処理部に相当し、フィルター処理部124Bは、第4フィルター処理部に相当する。
【0033】
フィルター処理部124は、R、G、B、Wの4色の画像信号のそれぞれに対して、当該色の色表示に対応するサブ画素の配置に応じた周波数帯域を制限するとともに、R、G、Bの3色の画像信号のそれぞれに対して、高周波帯域の振幅をパラメーター算出部123により算出されたゲイン調整パラメーターを用いて調整するフィルター処理を実行する。つまり、フィルター処理部124Wは、フィルター処理部124R、124G、124Bと異なり、ゲイン調整パラメーターによるゲインの調整(すなわち振幅の調整)を実行しない。
【0034】
フィルター処理部124は、輝度リニアな信号(信号の値の変化に対して実際の輝度の変化が線形な信号)に対してフィルター処理を実行する。入力される画像信号が輝度リニアでない場合、フィルター処理部124は、画像信号が輝度リニアになるようにこれを変換してからフィルター処理を実行し、フィルター処理の実行後に逆変換を行ってガンマ値を元に戻す。例えば、画像信号の色空間がsRGBで定義されている場合、そのガンマ値は「2.2」であるため、画像信号が輝度リニアではない。この場合、フィルター処理部124は、画像信号のガンマ値が「2.2」から「1.0」になるようにガンマ変換を実行し、その後、フィルター処理を実行した画像信号に対して、ガンマ値が「1.0」から「2.2」になるようにガンマ変換を再度実行する。
【0035】
フィルター処理部124R、124G、124Bによるフィルター処理の方法としては、以下の2つの方法を挙げることができる。なお、第1の方法は、第2の方法に比べ、フィルター(すなわちフィルター係数の集合)の記憶に要するメモリーを少なくすることが可能である。一方、第2の方法は、第1の方法に比べ、フィルター処理の実行時の演算量を少なくすることが可能である。
【0036】
第1の方法は、R、G、Bの3色の画像信号のそれぞれに対して、あらかじめ決められた特定のフィルターの出力をゲイン調整パラメーターを用いて調整することによってフィルター処理を実行する方法である。この場合のフィルターは、ゲインの調整を行わない場合(例えば、無彩色であるグレーを表示する場合)を基準として設計される。この場合、フィルター処理部124R、124G、124Bは、かかるフィルターによって得られる基準の出力を、必要に応じて、ゲイン調整パラメーターによって減衰させる。
【0037】
一方、第2の方法は、R、G、Bの3色の画像信号のそれぞれに対して、複数のゲイン調整パラメーター毎に決められた複数のフィルターから、パラメーター算出部123により算出されたゲイン調整パラメーターに応じたものを選択することによってフィルター処理を実行する方法である。この場合、フィルターを記憶するメモリーには、上述した第1の方法に対応するフィルターを含む複数のフィルターが記憶され、フィルター処理部124R、124G、124Bは、各サブ画素の画像信号について算出されたゲイン調整パラメーターに応じたフィルター係数を画素毎に読み出す。
【0038】
間引き処理部125は、フィルター処理部124によって帯域制限された各色の画像信号の画素数を減じる間引き処理を実行する。間引き処理部125は、各色の画像信号の画素数を、X方向及びY方向のそれぞれについて1/4に減じる。すなわち、間引き処理部125は、1面が4M×4N画素の画像データをM×N画素の画像データに変換する。ただし、間引き処理部125による変換後の画像データは、1画素が4個のサブ画素によって構成されるデータである。つまり、変換前の画像データの画素数と変換後の画像データのサブ画素の総数とを比較すると、前者は後者の4倍(X方向に2倍、Y方向に2倍)である。
【0039】
表示システム10の構成は、以上のとおりである。表示システム10は、この構成のもと、画像処理装置100によって3色(RGB)の4M×4N画素の画像データを4色(RGBW)のM×N画素の画像データに変換し、プロジェクター200によって画像データに応じた画像をスクリーン300に表示する。このとき、フィルター処理部124は、プロジェクター200における液晶パネル220の構成に基づいてフィルター処理を実行する。
【0040】
フィルター処理部124R、124G、124B及び124Wにより実行されるフィルター処理は、サブ画素の配置に応じて決められている。具体的には、各色のフィルター処理は、当該色のサブ画素のX方向及びY方向の間隔に応じた態様で、それぞれの方向の周波数帯域を制限し、制限されるべき帯域においてゲインを0にするものである。本実施形態のフィルター処理は、特に、サブ画素Wによる表示(すなわち白色表示)がRGB各色の色成分を含んでいることを利用している点に第1の特徴を有する。また、本実施形態のフィルター処理は、第1の特徴によって生じる新たな課題(詳細は後述)をゲイン調整パラメーターによって解決する点に第2の特徴を有する。なお、以下の説明は、フィルター処理部124が上述した第1の方法によってフィルター処理を実行する場合のものである。
【0041】
図4は、本実施形態の各色のフィルターの特性を示す図である。また、図5及び図6は、本実施形態の比較例として示すフィルターの特性であり、図5がベイヤー配列(本実施形態のサブ画素Wをサブ画素Gに置き換えたもの)において想定される一般的なフィルターの特性を示し、図6が本実施形態と同様の配置のサブ画素を用いた場合の他のフィルターの特性を示すものである。なお、同図において、横軸(fx)は、X方向の周波数を表し、縦軸(fy)は、Y方向の周波数を表している。また、同図において、実線で示される正方形は、入力される画像信号の周波数帯域を表し、ハッチングで示された部分は、フィルターが通過させる帯域を表している。
【0042】
図5に示すように、ベイヤー配列においては、サブ画素Rとサブ画素BについてはX方向とY方向の双方の帯域が低域側の半分(すなわち低周波領域)に制限されるのが一般的である。なぜならば、サブ画素Rとサブ画素Bは、いずれも、X方向とY方向のいずれにも1個おきに配置されており、入力された画像信号の半分の解像度でしか画像を表現できないからである。一方、サブ画素Gに対するフィルターは、サブ画素Gが1画素内に2個あるため、制限する帯域をサブ画素R又はサブ画素Bの半分にすることができる。具体的には、G信号に対して適用されるフィルターは、X方向とY方向の双方の周波数が高くなる領域をカットするように構成される。
【0043】
図7は、ベイヤー配列のサブ画素によって形成される格子を示す図である。同図に示すように、サブ画素Gにより構成される格子は、サブ画素R(又はサブ画素B)により構成される格子よりも1辺が短い正方形となり、かつ、サブ画素R(又はサブ画素B)により構成される格子に対して45°傾いた形状となる。また、各格子の辺の長さを、サブ画素Gの場合とサブ画素R(又はサブ画素B)の場合とで比較すると、前者は後者の√2/2(2の平方根を2で除した数)倍である。したがって、ベイヤー配列においては、G信号ではより高解像度の表示が可能であり、G信号の通過帯域をR信号又はB信号の通過帯域よりも広くすることが可能である。
【0044】
一方、本実施形態においては、図4に示すように、G信号及びW信号に対して適用されるフィルターを図7のベイヤー配列におけるG信号に対して適用されるフィルターと同一のものとしている。このような帯域制限を行う理由は、サブ画素Wによる表示がG成分を含んでいるためである。本実施形態においては、サブ画素Wをサブ画素Gとみなして、G信号及びW信号に対して適用されるフィルターが決められている。
【0045】
同様に、サブ画素Wによる表示は、R成分やB成分をも含んでいる。本実施形態においては、R信号及びB信号に対して適用されるフィルターの特性についても、このことを利用して決められている。具体的には、サブ画素Wをサブ画素Rとみなした場合、サブ画素RはX方向には隙間なく(他のサブ画素を挟むことなく)配置されることになり、入力された画像信号と同様の解像度で再現可能であるため、当該方向の帯域制限を行わないようにフィルターが構成されている。一方、サブ画素Wをサブ画素Rとみなした場合であっても、サブ画素RはY方向には1画素おきに配置されるため、当該方向の帯域は図5の場合と同様に制限される。つまり、R信号に対して適用されるフィルターは、Y方向については、低周波領域を通過させ、高周波領域を通過させないように構成される。
【0046】
なお、サブ画素Wをサブ画素Bとみなした場合のサブ画素Bの配置は、サブ画素Wをサブ画素Rとみなした場合のサブ画素Rの配置を90°回転させたものと同様になる。そのため、本実施形態においてB信号に対して適用されるフィルターは、R信号に対して適用されるフィルターの特性のX方向とY方向を入れ替えた特性となっている。
【0047】
このように、本実施形態の各色のフィルターは、R信号についてはY方向の帯域のみをサブ画素Rの間隔に応じた態様で制限し、B信号についてはX方向の帯域のみをサブ画素Bの間隔に応じた態様で制限する。また、G信号及びW信号に対するフィルターは、サブ画素G及びサブ画素Wの双方を同一視して組み合わせた場合のサブ画素の配置に応じた態様で各信号の帯域を制限する。つまり、本実施形態においては、サブ画素Wがサブ画素R、サブ画素G及びサブ画素Bのいずれとも光学的性質を共通にする要素が含まれることを利用し、各色の画像信号の周波数帯域を図5や図6の比較例の場合よりも広く確保できるようにしているのである。
【0048】
本実施形態のフィルターを図6のフィルターと比較すると、帯域の制限幅に相違がある。具体的には、R信号とB信号は、サブ画素Wをサブ画素R又はサブ画素Bとみなすことによって、X方向又はY方向のいずれかの制限が不要になるため、通過する帯域幅が2倍になる。また、G信号とW信号は、サブ画素Wをサブ画素Gとみなすことによって、それぞれを別のサブ画素として扱わなくてもよくなるため、図5のベイヤー配列の場合と同様の帯域制限にすることができる。
【0049】
したがって、本実施形態の表示システム10によれば、各色の画像信号に対して独立に(すなわち、他色のサブ画素の位置を考慮せずに)帯域制限を施す場合に比べ、帯域の制限幅を少なくすることが可能であるとともに、サブ画素Wに代えてサブ画素Gを用いる場合に比べ、投写される画像の輝度を向上させることが可能である。よって、表示システム10によれば、図5及び図6のいずれの比較例の場合よりも視感上の画質を向上させることが可能である。
【0050】
一方、本実施形態のような帯域制限を施すことによって、新たな課題が生じる。その課題とは、R、G、B、Wの各色の明るさの差に起因するモアレの発生である。本実施形態の構成においてモアレや偽色が発生する原理は、具体的には以下のとおりである。
【0051】
本実施形態のフィルターは、特定の色を基準として設計されるものである。本実施形態のフィルターは、無彩色であるグレーにおいてモアレが生じないように設計された場合、他の色(この場合、有彩色)においては、R、G、Bの少なくともいずれかの色においてモアレが生じる。より具体的には、本実施形態の構成においてモアレが生じるのは、R、G、Bのいずれかの色の色信号の色成分とW信号の当該いずれかの色の色成分(すなわち、白色光をR、G、Bの3色に分光した場合の色成分)とが等しくならず、その明るさに差が生じる場合である。
【0052】
図8は、本実施形態において生じるモアレを説明するための図であり、ここではR成分に着目した場合を示している。同図において、破線の直線は、R、Wそれぞれのサブ画素の位置を表しており、実線で示した正弦波は、ある高周波成分の画像信号を表している。また、正弦波上のプロット(点)は、それぞれのサブ画素によって表示される明るさを表している。
【0053】
図8(a)に示す例は、サブ画素Rとサブ画素Wが同じ明るさとなる場合を示している。この場合、サブ画素Rによる表示のみに着目すると、その明るさは、一点鎖線で示すように山なりに変化するため、モアレが生じる。しかし、この場合にサブ画素Wによる表示のみに着目すると、その明るさは、サブ画素Rによって生じるモアレとは反対のモアレ(すなわち位相がずれたモアレ)が生じるように変化する。したがって、これらのサブ画素が同時に観察されると、互いのモアレが打ち消しあうため、結果的にモアレが見えなくなる。
【0054】
これに対し、図8(b)に示す例は、サブ画素Rとサブ画素Wが同じ明るさとならず、サブ画素Wがサブ画素Rよりも明るくなる場合を示している。この場合においても、サブ画素Rによるモアレはサブ画素Wによるモアレを低減させる(すなわち目立たなくする)ようには作用するが、モアレを完全に打ち消すことはできないため、結果的にモアレが生じる。このようにして生じるモアレは、サブ画素Rとサブ画素Wの明るさの差(高周波成分の差)が大きくなるほど、より人間の目に知覚されやすくなる。
【0055】
本実施形態のゲイン調整パラメーターは、このようにして生じるモアレを低減させるように作用する。すなわち、フィルター処理部124は、W信号の高周波成分と他の色信号の高周波成分の差に応じたゲイン調整パラメーターによって他の色信号の高周波成分の振幅を調整することで、高周波成分において他色のサブ画素との間で生じる明るさの違いを低減させることを可能にしている。
【0056】
図9は、各色のゲイン調整パラメーターとフィルターの周波数応答の関係を示した図である。同図に示すように、フィルター処理部124Rは、X方向の高周波成分の周波数応答をゲイン調整パラメーターGrによって変化させる。例えば、フィルター処理部124Rは、Gr=1であれば、高周波成分の振幅を変化させずにそのまま出力する一方、Gr=0であれば、高周波成分の振幅を0にする。つまり、フィルター処理部124Rは、Gr=0の場合には、X方向の低周波成分を通過させて高周波成分をカットするローパスフィルターとして機能する。また、フィルター処理部124Rは、0<Gr<1の場合には、高周波成分の振幅をゲイン調整パラメーターGrの大きさに応じて減衰させる。なお、フィルター処理部124Rは、Y方向については、周波数応答をゲイン調整パラメーターGrによって変化させない。なぜならば、R信号は、Y方向の高周波成分がカットされているからである。
【0057】
一方、フィルター処理部124Bは、Y方向の高周波成分の周波数応答をゲイン調整パラメーターGbによって変化させ、X方向の周波数成分の周波数応答をゲイン調整パラメーターGrによって変化させない。また、フィルター処理部124Gは、X方向、Y方向双方の高周波成分の周波数応答をゲイン調整パラメーターGbによって変化させる。
【0058】
以上のように、本実施形態の表示システム10によれば、4色のサブ画素によって色表示を行う場合において、帯域の制限幅を狭くすることが可能であるとともに、特定の色においてモアレの発生を防ぐだけでなく、当該特定の色以外の他の色においても、モアレを抑制することが可能である。それゆえ、表示システム10によれば、ゲイン調整パラメーターを用いて高周波成分のゲインを調整しない場合よりも視感上の画質を向上させることが可能である。
【0059】
[第2実施形態]
本実施形態は、画像信号に対するフィルター処理が異なる点を除き、上述した第1実施形態と共通の構成を有するものである。そこで、本実施形態においては、第1実施形態と共通する構成要素については第1実施形態で用いた符号を用いることとし、重複する説明を適宜省略するものとする。
【0060】
本実施形態は、第1実施形態の構成において発生する可能性があるモアレや偽色を抑制することによって、いわゆる解像感を向上させ、視感上の画質をさらに向上させるものである。第1実施形態の構成においてモアレや偽色が発生する原理は、具体的には以下のとおりである。なお、本実施形態において着目するモアレは、図8を例示して示したモアレ理由とは別の理由によって生じるものである。
【0061】
フィルター処理後のR信号又はB信号は、W信号において制限されていない周波数帯域の情報が失われていたり、あるいはW信号において制限されている周波数帯域の情報が含まれていたり、というように、情報として含まれている周波数帯域がW信号と相違している。W信号に含まれ、R信号又はB信号に含まれない周波数帯域の情報は、ある観点からみれば余分な情報ともいえる。かかる情報は、その周波数帯域がナイキスト周波数(サンプリング周波数の1/2)を超えているため、折り返し雑音となってモアレを生じさせる。ここにおいて、サンプリング周波数は、入力された画像信号の1画素のサイズを基準にして定められる。なお、フィルター処理後のG信号は、情報として含まれている周波数帯域がW信号と同様であるため、通過する周波数帯域の相違に起因するモアレが生じることはない。
【0062】
また、第1実施形態の構成において、このようなモアレは、R又はBの色成分のみに発生する。すなわち、通過する周波数帯域の相違に起因するモアレは、色付きのモアレである。それゆえ、第1実施形態の構成において、特に高周波成分を含む画像を表示させようとした場合には、いわゆるエッジ(輪郭)部分などにおいて、画像に本来ある色とは異なる色、すなわち偽色が発生する。
【0063】
図10は、モアレの原因となる周波数帯域を説明するための図である。なお、同図においては、W信号において制限されずにR信号又はB信号において制限されている帯域をハッチングで示し、フィルターによる通過帯域(図4参照)は破線で示している。
【0064】
図10に示すように、Rのフィルターの特性とWのフィルターの特性とを比較すると、Y方向の高周波帯域に、W信号においては通過し、R信号においては通過しない帯域が存在する。一方、Bのフィルターの特性とWのフィルターの特性とを比較すると、X方向の高周波帯域に、W信号においては通過し、B信号においては通過しない帯域が存在する。
【0065】
そこで、本実施形態においては、R及びBの少なくとも一方(望ましくは双方)のフィルターにおいて、かかる帯域の影響を相殺するように周波数応答が調整される。具体的には、フィルター処理部124R及び124Bは、自らが通過させる帯域以外の帯域であって、かつフィルター処理部124Wが通過させる帯域の位相が反転するようにフィルター処理を実行することにより、W信号による影響を打ち消す。なお、ここでいう「相殺」とは、互いが完全に打ち消し合うことのみを指すものではなく、一方によって他方の影響が低減されることをいうものである。
【0066】
図11は、本実施形態のR及びBのフィルターとその周波数特性とを説明するための図である。本実施形態のR及びBのフィルターは、図中の帯域B1に対する処理は第1実施形態と同様であり、帯域B2に対する処理が第1実施形態と異なる。本実施形態のRのフィルターは、Y方向の高周波帯域(B2)の位相を反転させて通過させる点が第1実施形態と異なる。同様に、本実施形態のBのフィルターは、X方向の高周波帯域(B2)の位相を反転させて通過させる点が第1実施形態のそれと異なる。ここにおいて、周波数応答が負であるということは、画像信号は帯域B2の成分の位相が反転されて出力されるということを意味する。
【0067】
また、本実施形態のフィルターは、このように位相を反転させて通過させる帯域に対しても、ゲイン調整パラメーターによる調整を実行する。具体的には、フィルター処理部124Rは、X方向だけでなくY方向の高周波帯域である帯域B2についてもゲインの調整を実行し、フィルター処理部124Bは、Y方向だけでなくX方向の高周波帯域である帯域B2についてもゲインの調整を実行する。なお、ゲイン調整パラメーターが0である場合の挙動は、本実施形態と第1実施形態とで共通のものになる。
【0068】
本実施形態のフィルター処理によれば、有彩色のモアレや偽色を抑制することが可能である。また、モアレや偽色を抑制する効果は、有彩色の画像よりも無彩色の画像においてより顕著となる(人間の視覚的にも、無彩色の画像の中に生じる有彩色の偽色の方が、有彩色の画像の中に生じる有彩色の偽色よりも知覚しやすいといえる。)。
【0069】
なお、位相を反転させる帯域は、フィルター処理部124Wが通過させる帯域を含んでいればよいため、必ずしも図11に示した帯域に限定されるわけではない。
図12は、本実施形態のR及びBのフィルターの他の例を示す図である。同図に示すフィルターは、図11に示すフィルターよりも帯域B2が少なくなっているが、当該帯域はフィルター処理部124Wが通過させる帯域を含んでいるため、モアレや偽色を抑制する作用を奏する。
【0070】
[変形例]
本発明は、上述した実施形態に限らず、以下に例示するさまざまな形態でも実施可能である。なお、以下に示す変形例は、必要に応じて、各々を適宜組み合わせてもよいものである。
【0071】
(1)本発明の画素の配置は、上述した実施形態のように正方形状でなくてもよい。例えば、サブ画素が長方形である場合には、画素全体の配置も長方形状になる。また、第1方向と第2方向は、必ずしも直交する関係になくてもよく、交差する関係にあれば十分である。すなわち、本発明の画素は、2行2列の4個のサブ画素が四辺形状に並んだ形状で構成されるものであれば、その具体的な形状は問わないものである。
【0072】
また、画素内のサブ画素の位置関係も、上述した実施形態のものに限定されない。本発明の画素は、サブ画素Wと同様の帯域制限を施すサブ画素(実施形態ではサブ画素W)がサブ画素Wからみて四辺形の対角線方向に位置していれば、隣り合うサブ画素が実施形態と異なっていてもよい。
【0073】
図13は、サブ画素の配置の他の例を示す図である。図13(a)に示す配置は、上述した実施形態(図2参照)の配置からサブ画素Rとサブ画素Bの位置を入れ替えたものである。この場合、R信号に対するフィルター処理は、実施形態においてB信号に対して実行したフィルター処理と同様のものとし、B信号に対するフィルター処理は、実施形態においてR信号に対して実行したフィルター処理と同様のものとすればよい。また、図13(b)に示す配置は、上述した実施形態の配置からサブ画素Gとサブ画素Wの位置を入れ替えたものである。この場合、各色の画像信号に対するフィルター処理は、実施形態のものと同様である。加えて、サブ画素の配置は、図13(c)や図13(d)に示す例のように、各々の配置を点対称又は線対称に回転させた配置であってもよい。
【0074】
さらに、各色のサブ画素の位置関係は、サブ画素Wとサブ画素Gとが対角線方向に対向する配置でなくてもよい場合がある。例えば、表示装置が赤味の強い画像や赤色を多く含む画像を表示する場合や、赤色を他色よりも見やすく表示させたい場合などにおいては、サブ画素Wと対角線方向に対向するサブ画素をサブ画素Rとしてもよい。すなわち、サブ画素の配置は、表示装置が表示する画像や表示装置に要求される画質を考慮して決められてもよい。
【0075】
(2)上述した実施形態は、YW=YR+YG+YBという関係を満たす場合の例である。しかし、実際の液晶パネルは、このような関係を必ずしも満たさず、YWがYR、YG、YBの総和と等しくならない場合もある。このような場合において、R信号又はB信号に対するフィルター処理によって位相を反転させるときには、その周波数応答をサブ画素の実際の輝度に応じて定め、各色のサブ画素の輝度とのバランスを取るようにすることも可能である。すなわち、フィルター処理部124によるフィルター処理は、実際に使用する液晶パネル220の特性に基づいて決められてもよい。それゆえ、フィルター処理部124は、ユーザーが液晶パネル220の特性を考慮してフィルターの特性を調整できるように構成されてもよい。
【0076】
(3)上述した実施形態において、フィルター処理部124が出力する画像信号は、間引き処理部125によって間引かれる。しかし、本発明に係るフィルター処理部は、上述した実施形態のフィルター処理部124及び間引き処理部125の機能を兼備するように構成され、4M×4N画素分の画像信号を参照してM×N画素分の画像信号を出力するように構成されてもよい。この場合、パラメーター算出部123により算出されるゲイン調整パラメーターも、M×N画素分であれば十分である。したがって、この場合のパラメーター算出部123は、入力された画像信号の画素毎に4M×4N画素分のゲイン調整パラメーターを算出せずに、フィルター処理部が出力する画像信号のサブ画素に対応する個数のゲイン調整パラメーターだけを算出してもよい。
【0077】
(4)本発明は、上述した実施形態のように、光変調器が透過型の画素で構成されていることを必要とするものではなく、上述した実施形態と同様の画素配列を有するものであれば、有機EL(electroluminescence)ディスプレイやプラズマディスプレイなどのような自発光型の画素を有する表示パネルに対しても適用可能である。したがって、本発明に係る表示装置は、プロジェクターに限定されることもない。また、光変調器が液晶パネルである場合においても、これが透過型に限定されることはなく、反射型であってもよい。
【0078】
また、本発明に係る画像処理装置は、表示装置に内蔵された画像処理回路によって実現されてもよいし、パーソナルコンピューターなどのコンピューター装置が実行するソフトウェア処理によって実現されてもよい。さらに、本発明は、4色のそれぞれに応じた画像処理を実行する画像処理方法、かかる画像処理をコンピューター装置に実行させるためのプログラム、かかるプログラムを記録した記録媒体といった態様での提供も可能である。
【符号の説明】
【0079】
10…表示システム、100…画像処理装置、110…入力部、120…画像処理部、121…色変換処理部、122…高周波成分抽出部、123…パラメーター算出部、124、124R、124G、124B、124W…フィルター処理部、125…間引き処理部、130…出力部、200…プロジェクター、210…光源、220…液晶パネル、230…投写レンズ、300…スクリーン
【技術分野】
【0001】
本発明は、4色のサブ画素によって色表示を行う場合の画像処理に関する。
【背景技術】
【0002】
3原色を用いた表示装置における画素の配置には、ストライプ配列やデルタ配列がある(例えば、特許文献1参照)。このような表示装置においては、3個のサブ画素によって1画素が構成される。また、ベイヤー(Bayer)配列は、色数は3色であるが、4個のサブ画素によって1画素を構成するものであり、G(緑)のサブ画素を2個、R(赤)、B(青)のサブ画素をそれぞれ1個用い、これらのサブ画素を縦方向及び横方向に2個ずつ配置したものである。
【0003】
画素がベイヤー配列によって構成された表示装置においては、一般に、入力された画像データの画素数の1/4の画素数の画像データによって色表示が行われる。この場合、入力された画像データの解像度よりも実際に用いられる画像データの解像度の方が低くなるため、画像信号の周波数帯域を制限するフィルター処理を実行し、折り返し雑音に起因するモアレを抑制することが行われる。例えば、RやBの画像信号の場合、高周波成分に起因するモアレを防ぐためには、縦方向及び横方向のいずれの周波数帯域も半分(すなわち1/2)に制限する必要がある。なお、Gの画像信号は、サブ画素の数がRやBのサブ画素に比べて2倍であるため、帯域の制限幅はこれらよりも少なくて済む。
【0004】
一方、色再現性や明るさの向上を目的に、4原色(ないしそれ以上の原色)を用いて色表示を行う場合がある。例えば、特許文献2には、ベイヤー配列におけるGのサブ画素の一方をW(白)やC(シアン)に置き換え、4色のサブ画素によって色表示を行う画像表示装置が開示されている。また、特許文献3には、4原色以上のカラー画像表示手段を有する場合において各色のカラー画像信号を算出するための技術が開示されている。なお、ここでいう「原色」は、(加法)混色の元となる色のことであり、光の3原色に限定されるものではない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平07−006703号公報
【特許文献2】特開2006−267541号公報
【特許文献3】特開2000−338950号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
4色のサブ画素によって色表示を行う場合において、それぞれの色毎に独立に画像信号の帯域を制限すると、いずれのサブ画素の画像信号も縦方向及び横方向双方の周波数帯域が半分に制限される。しかし、このような帯域制限を行うと、元の画像から失われてしまう情報が多くなってしまう。
そこで、本発明は、4色のサブ画素によって色表示を行う場合において、白色に対応するサブ画素の色及び位置を利用して視感上の画質の向上を図ることを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る画像処理装置は、第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理装置であって、前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出する高周波成分抽出部と、前記高周波成分抽出部により抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出するパラメーター算出部と、前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記パラメーター算出部により算出されたパラメーターを用いて調整するフィルター処理を実行するフィルター処理部とを備える。
この画像処理装置によれば、高周波帯域の振幅がパラメーターによって調整されることにより、視感上の画質の向上を図ることが可能である。
【0008】
好ましい態様において、前記フィルター処理部は、白色に対応する第1サブ画素を表示させる白色の画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第1サブ画素に対して対角線方向に位置する第2サブ画素の配置に応じた態様で制限する第1フィルター処理部と、前記第2サブ画素を表示させる画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第2サブ画素の配置に応じた態様で制限する第2フィルター処理部と、前記第1サブ画素と前記第1方向に隣り合う第3サブ画素を表示させる画像信号に対して、前記第2方向の周波数帯域を当該第3サブ画素の当該第2方向の間隔に応じた態様で制限する第3フィルター処理部と、前記第1サブ画素と前記第2方向に隣り合う第4サブ画素を表示させる画像信号に対して、前記第1方向の周波数帯域を当該第4サブ画素の当該第1方向の間隔に応じた態様で制限する第4フィルター処理部とを有する。
この態様によれば、白色表示に対応する第1サブ画素と他のサブ画素との配置に応じて画像信号の周波数帯域を制限することが可能である。
【0009】
別の好ましい態様において、前記第3フィルター処理部及び前記第4フィルター処理部の少なくとも一方は、入力される画像信号の周波数帯域のうちの通過させる帯域以外の帯域であって、かつ前記第1フィルタ処理部が通過させる帯域の位相を反転させて通過させ、当該帯域の振幅を前記パラメーターを用いて調整する。
この態様によれば、第1サブ画素の表示に起因するモアレや偽色を抑制することが可能である。
【0010】
さらに別の好ましい態様において、前記画像処理装置は、位相が反転されて通過される前記帯域の周波数応答が、前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素の輝度に応じて定まる。
この態様によれば、モアレや偽色の抑制をサブ画素の特性に応じて行うことが可能である。
【0011】
さらに別の好ましい態様において、前記フィルター処理部は、前記第1方向に4M個、前記第2方向に4N個の画素を表す画像信号を参照し、各色について、前記第1方向にM個、前記第2方向にN個の前記サブ画素を表す画像信号を出力し、前記パラメーター算出部は、前記フィルター処理部が出力する画像信号が表す前記サブ画素に対応する個数の前記パラメーターを算出する。
この態様によれば、不要なパラメーターの算出を省略することが可能である。
【0012】
さらに別の好ましい態様において、前記フィルター処理部は、白色以外の3色の画像信号のそれぞれに対して、あらかじめ決められた特定のフィルターの出力を前記パラメーターを用いて調整することにより前記フィルター処理を実行する。この態様によれば、複数のフィルターを用いる場合に比べ、フィルターの記憶に要するメモリーを少なくすることが可能である。
あるいは、前記フィルター処理部は、白色以外の3色の画像信号のそれぞれに対して、複数の前記パラメーター毎に決められた複数のフィルターから、前記パラメーター算出部により算出されたパラメーターに応じたものを選択することにより前記フィルター処理を実行するようにしてもよい。この態様によれば、特定のフィルターを用いる場合に比べ、フィルター処理の実行時の演算量を少なくすることが可能である。
【0013】
さらに別の好ましい態様において、前記第2フィルター処理部は、緑色に対応する画像信号に対してフィルター処理を実行し、前記第3フィルター処理部及び前記第4フィルター処理部は、各々が赤色又は青色に対応する画像信号に対してフィルター処理を実行する。
この態様によれば、(人間の目の分光感度が高い)緑色の画像の解像度を赤色や青色よりも高めることが可能である。
【0014】
本発明の他の態様に係る表示装置は、前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素によって構成され、マトリクス状に配置される複数の画素を有する表示パネルと、請求項1ないし8のいずれかに記載の画像処理装置とを備える。
この表示装置によれば、白色表示に対応する第1サブ画素と他のサブ画素との配置に応じて画像信号の周波数帯域が制限され、視感上の画質の向上を図ることが可能である。
【0015】
本発明の他の態様に係る画像処理方法は、第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理方法であって、前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出し、前記抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出し、前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記算出されたパラメーターを用いて調整するフィルター処理を実行する。
この画像処理方法によれば、白色表示に対応する第1サブ画素と他のサブ画素との配置に応じて画像信号の周波数帯域が制限され、視感上の画質の向上を図ることが可能である。
【図面の簡単な説明】
【0016】
【図1】表示システム10の構成を示すブロック図。
【図2】液晶パネルの画素の配置を示す図。
【図3】画像処理部の構成を示すブロック図。
【図4】各色のフィルターの特性を示す図。
【図5】比較例として示すフィルターの特性を示す図。
【図6】比較例として示すフィルターの特性を示す図。
【図7】ベイヤー配列のサブ画素によって形成される格子を示す図。
【図8】第1実施形態において生じるモアレを説明するための図。
【図9】各色のゲイン調整パラメーターとフィルターの周波数応答の関係を示す図。
【図10】モアレの原因となる周波数帯域を説明するための図。
【図11】R及びBのフィルターとその周波数特性とを説明するための図。
【図12】R及びBのフィルターの他の例を示す図。
【図13】サブ画素の配置の他の例を示す図。
【発明を実施するための形態】
【0017】
[第1実施形態]
図1は、本発明の一実施形態である表示システム10の構成を示すブロック図である。同図に示す表示システム10は、画像処理装置100と、プロジェクター200と、スクリーン300とを備え、外部装置から供給された画像データに応じた画像をスクリーン300に投写するものである。外部装置は、例えばパーソナルコンピューターであるが、デジタルスチルカメラなどであってもよい。なお、外部装置が供給する画像データは、R(赤)、G(緑)、B(青)の3色の色成分の画像信号によって各画素が表現されたデータである。
【0018】
プロジェクター200は、単板型のプロジェクターであって、光源210と、1つの液晶パネル220と、投写レンズ230とを備える。液晶パネル220は、入射する光を変調する光変調器として機能し、画像処理装置100から供給される画像データに応じた態様で光の透過状態を変化させることによって、光源210から照射された光の透過の度合いを制御する。投写レンズ230は、液晶パネル220を透過した光をスクリーン300に投写する。
【0019】
液晶パネル220は、4個のサブ画素によって1画素を構成し、カラーフィルターなどによって各サブ画素の光の透過状態が異なる平板状の表示パネルである。それぞれのサブ画素は、R(赤)、G(緑)、B(青)、W(白)の4色の表示に対応する。液晶パネル220の画素の配置は、ベイヤー配列における2個のGのサブ画素のうちの1個をWのサブ画素に置き換えたものである。なお、ここでいう白(白色)とは、R、G、Bのすべての色成分を適当な割合で含むものであれば、多少黄色がかっていたりグレーがかっていたりしてもよい。ただし、R、G、B、Wのサブ画素の輝度をそれぞれYR、YG、YB、YWとした場合に、これらがYW=YR+YG+YBという関係を満たすのが理想的であるため、本実施形態においてはこのような関係が満たされているものとする。
【0020】
図2は、液晶パネル220の画素の配置を示す図である。液晶パネル220は、図中のX方向と、これに直交するY方向とにサブ画素が並んで配置されており、X方向に隣り合う2個のサブ画素と、この2個のサブ画素とY方向に隣り合う2個のサブ画素とによって1画素が構成されるものである。液晶パネル220は、X方向に沿った奇数行にはGとBに対応するサブ画素が順番に並んでおり、X方向に沿った偶数行にはRとWに対応するサブ画素が順番に並んでいる。また、液晶パネル220は、Y方向に沿った奇数列にはGとRに対応するサブ画素が順番に並んでおり、Y方向に沿った偶数列にはBとWに対応するサブ画素が順番に並んでいる。なお、ここにおいて、X方向が本発明における第1方向に相当し、Y方向が本発明における第2方向に相当する。
【0021】
ここでは、各サブ画素は同サイズの正方形であり、それぞれの間隔がX方向及びY方向のいずれにも等しいとする。このようにすると、1画素を構成する4個のサブ画素は、正方形状に配置されていることになる。液晶パネル220は、このような正方形状の画素がX方向及びY方向にマトリクス状に配置されて構成される。ここにおいて、Gのサブ画素は、Wのサブ画素からみて対角線方向に位置し、Bのサブ画素とX方向に隣り合うとともに、Rのサブ画素とY方向に隣り合う。また、Rのサブ画素は、Wのサブ画素とX方向に隣り合うとともに、Gのサブ画素とY方向に隣り合う。また、Bのサブ画素は、Wのサブ画素とY方向に隣り合うとともに、Gのサブ画素とX方向に隣り合う。
【0022】
Wのサブ画素は、白色に対応するサブ画素であり、白色に対応する画像信号に応じて光の透過状態を変化させる。同様に、R、G、Bのサブ画素は、それぞれ赤色、緑色、青色に対応するサブ画素であり、それぞれの色の表示に対応する画像信号に応じて光の透過状態を変化させる。液晶パネル220のこれらのサブ画素は、図示せぬ駆動回路によって駆動されて光の透過状態を変化させる。
【0023】
以下においては、白色に対応するサブ画素のことを「サブ画素W」、サブ画素Wを表示させる画像信号のことを「W信号」、というように、対応する色を付記することによって各色に対応するサブ画素及び画像信号を区別するものとする。ここにおいて、サブ画素Wは、第1サブ画素に相当し、サブ画素Gは、第2サブ画素に相当する。また、サブ画素Rは、第3サブ画素に相当し、サブ画素Bは、第4サブ画素に相当する。
【0024】
画像処理装置100は、外部装置から画像データを取得し、これをプロジェクター200での表示に適した画像データに変換して供給する。すなわち、画像処理装置100は、R、G、Bの3色の画像信号を含んだ画像データからR、G、B、Wの4色の画像信号を含んだ画像データを生成し、これをプロジェクター200に供給する。
【0025】
画像処理装置100は、より詳細には、入力部110と、画像処理部120と、出力部130とを備える。入力部110は、R、G、Bの3色の画像信号を含む画像データを外部装置から取得し、画像処理部120に入力する。画像処理部120は、画像信号に対して後述する画像処理を実行することによってR、G、B、Wの4色の画像信号を生成し、これを画像データとして出力部130に供給する。出力部130は、画像処理部120によって生成された画像データをプロジェクター200に供給する。
【0026】
図3は、画像処理部120の構成を示すブロック図である。画像処理部120は、同図に示すように、色変換処理部121と、高周波成分抽出部122と、パラメーター算出部123と、フィルター処理部124と、間引き処理部125とを備える。また、フィルター処理部124は、より詳細には、フィルター処理部124R、フィルター処理部124G、フィルター処理部124B及びフィルター処理部124Wを含んで構成される。
【0027】
色変換処理部121は、R、G、Bの3色の画像信号をR、G、B、Wの4色の画像信号に変換する。色変換処理部121は、周知の方法(例えば、特許文献3に開示された方法)で画像信号を変換することが可能である。画像信号は、例えば、輝度(すなわち明るさ)を256階調で表現する8ビットのデータであるが、階調数がこれに限定されるわけではない。
【0028】
高周波成分抽出部122は、色変換処理部121により生成されたR、G、B、Wの4色の画像信号のそれぞれから、高周波成分を抽出する。ここにおいて、高周波成分とは、入力された画像信号の周波数帯域の中心よりも高周波側の成分のことをいう。以下においては、高周波成分抽出部122により抽出された白色の高周波成分のことをHwと表記し、他の3色についても同様に、それぞれHr、Hg、Hbと表記する。なお、高周波成分抽出部122は、X方向とY方向のそれぞれについて高周波成分を抽出してもよいし、その一方の方向のみについて高周波成分を抽出してもよい。
【0029】
また、以下においては、入力された画像信号の周波数帯域の中心よりも高周波側の帯域のことを「高周波帯域」といい、入力された画像信号の周波数帯域の中心よりも低周波側の帯域のことを「低周波帯域」という。すなわち、上述した高周波成分とは、ここでいう高周波帯域の成分のことである。なお、ここでいう周波数とは、画像の空間周波数のことである。
【0030】
パラメーター算出部123は、フィルター処理部124において用いられるパラメーター(以下「ゲイン調整パラメーター」という。)をサブ画素毎に算出する。パラメーター算出部123は、R、G、Bの3色の色成分について、以下の式で表されるゲイン調整パラメーターGr、Gg、Gbをそれぞれ算出する。すなわち、ゲイン調整パラメーターGr、Gg、Gbは、それぞれ、各色の高周波成分とWの高周波成分の比率に応じて定まる。
【0031】
Gr=|Hw|/|Hr|
Gg=|Hw|/|Hg|
Gb=|Hw|/|Hb|
【0032】
フィルター処理部124は、R、G、B、Wの4色の画像信号に対してフィルター処理を実行する。フィルター処理部124は、より詳細には、フィルター処理部124R、124G、124B及び124Wを含む。フィルター処理部124R、124G、124B及び124Wは、それぞれ、符号に対応する画像信号に対してフィルター処理を実行する。例えば、フィルター処理部124Rは、R信号に対してフィルター処理を実行する。フィルター処理部124Wは、第1フィルター処理部に相当し、フィルター処理部124Gは、第2フィルター処理部に相当する。また、フィルター処理部124Rは、第3フィルター処理部に相当し、フィルター処理部124Bは、第4フィルター処理部に相当する。
【0033】
フィルター処理部124は、R、G、B、Wの4色の画像信号のそれぞれに対して、当該色の色表示に対応するサブ画素の配置に応じた周波数帯域を制限するとともに、R、G、Bの3色の画像信号のそれぞれに対して、高周波帯域の振幅をパラメーター算出部123により算出されたゲイン調整パラメーターを用いて調整するフィルター処理を実行する。つまり、フィルター処理部124Wは、フィルター処理部124R、124G、124Bと異なり、ゲイン調整パラメーターによるゲインの調整(すなわち振幅の調整)を実行しない。
【0034】
フィルター処理部124は、輝度リニアな信号(信号の値の変化に対して実際の輝度の変化が線形な信号)に対してフィルター処理を実行する。入力される画像信号が輝度リニアでない場合、フィルター処理部124は、画像信号が輝度リニアになるようにこれを変換してからフィルター処理を実行し、フィルター処理の実行後に逆変換を行ってガンマ値を元に戻す。例えば、画像信号の色空間がsRGBで定義されている場合、そのガンマ値は「2.2」であるため、画像信号が輝度リニアではない。この場合、フィルター処理部124は、画像信号のガンマ値が「2.2」から「1.0」になるようにガンマ変換を実行し、その後、フィルター処理を実行した画像信号に対して、ガンマ値が「1.0」から「2.2」になるようにガンマ変換を再度実行する。
【0035】
フィルター処理部124R、124G、124Bによるフィルター処理の方法としては、以下の2つの方法を挙げることができる。なお、第1の方法は、第2の方法に比べ、フィルター(すなわちフィルター係数の集合)の記憶に要するメモリーを少なくすることが可能である。一方、第2の方法は、第1の方法に比べ、フィルター処理の実行時の演算量を少なくすることが可能である。
【0036】
第1の方法は、R、G、Bの3色の画像信号のそれぞれに対して、あらかじめ決められた特定のフィルターの出力をゲイン調整パラメーターを用いて調整することによってフィルター処理を実行する方法である。この場合のフィルターは、ゲインの調整を行わない場合(例えば、無彩色であるグレーを表示する場合)を基準として設計される。この場合、フィルター処理部124R、124G、124Bは、かかるフィルターによって得られる基準の出力を、必要に応じて、ゲイン調整パラメーターによって減衰させる。
【0037】
一方、第2の方法は、R、G、Bの3色の画像信号のそれぞれに対して、複数のゲイン調整パラメーター毎に決められた複数のフィルターから、パラメーター算出部123により算出されたゲイン調整パラメーターに応じたものを選択することによってフィルター処理を実行する方法である。この場合、フィルターを記憶するメモリーには、上述した第1の方法に対応するフィルターを含む複数のフィルターが記憶され、フィルター処理部124R、124G、124Bは、各サブ画素の画像信号について算出されたゲイン調整パラメーターに応じたフィルター係数を画素毎に読み出す。
【0038】
間引き処理部125は、フィルター処理部124によって帯域制限された各色の画像信号の画素数を減じる間引き処理を実行する。間引き処理部125は、各色の画像信号の画素数を、X方向及びY方向のそれぞれについて1/4に減じる。すなわち、間引き処理部125は、1面が4M×4N画素の画像データをM×N画素の画像データに変換する。ただし、間引き処理部125による変換後の画像データは、1画素が4個のサブ画素によって構成されるデータである。つまり、変換前の画像データの画素数と変換後の画像データのサブ画素の総数とを比較すると、前者は後者の4倍(X方向に2倍、Y方向に2倍)である。
【0039】
表示システム10の構成は、以上のとおりである。表示システム10は、この構成のもと、画像処理装置100によって3色(RGB)の4M×4N画素の画像データを4色(RGBW)のM×N画素の画像データに変換し、プロジェクター200によって画像データに応じた画像をスクリーン300に表示する。このとき、フィルター処理部124は、プロジェクター200における液晶パネル220の構成に基づいてフィルター処理を実行する。
【0040】
フィルター処理部124R、124G、124B及び124Wにより実行されるフィルター処理は、サブ画素の配置に応じて決められている。具体的には、各色のフィルター処理は、当該色のサブ画素のX方向及びY方向の間隔に応じた態様で、それぞれの方向の周波数帯域を制限し、制限されるべき帯域においてゲインを0にするものである。本実施形態のフィルター処理は、特に、サブ画素Wによる表示(すなわち白色表示)がRGB各色の色成分を含んでいることを利用している点に第1の特徴を有する。また、本実施形態のフィルター処理は、第1の特徴によって生じる新たな課題(詳細は後述)をゲイン調整パラメーターによって解決する点に第2の特徴を有する。なお、以下の説明は、フィルター処理部124が上述した第1の方法によってフィルター処理を実行する場合のものである。
【0041】
図4は、本実施形態の各色のフィルターの特性を示す図である。また、図5及び図6は、本実施形態の比較例として示すフィルターの特性であり、図5がベイヤー配列(本実施形態のサブ画素Wをサブ画素Gに置き換えたもの)において想定される一般的なフィルターの特性を示し、図6が本実施形態と同様の配置のサブ画素を用いた場合の他のフィルターの特性を示すものである。なお、同図において、横軸(fx)は、X方向の周波数を表し、縦軸(fy)は、Y方向の周波数を表している。また、同図において、実線で示される正方形は、入力される画像信号の周波数帯域を表し、ハッチングで示された部分は、フィルターが通過させる帯域を表している。
【0042】
図5に示すように、ベイヤー配列においては、サブ画素Rとサブ画素BについてはX方向とY方向の双方の帯域が低域側の半分(すなわち低周波領域)に制限されるのが一般的である。なぜならば、サブ画素Rとサブ画素Bは、いずれも、X方向とY方向のいずれにも1個おきに配置されており、入力された画像信号の半分の解像度でしか画像を表現できないからである。一方、サブ画素Gに対するフィルターは、サブ画素Gが1画素内に2個あるため、制限する帯域をサブ画素R又はサブ画素Bの半分にすることができる。具体的には、G信号に対して適用されるフィルターは、X方向とY方向の双方の周波数が高くなる領域をカットするように構成される。
【0043】
図7は、ベイヤー配列のサブ画素によって形成される格子を示す図である。同図に示すように、サブ画素Gにより構成される格子は、サブ画素R(又はサブ画素B)により構成される格子よりも1辺が短い正方形となり、かつ、サブ画素R(又はサブ画素B)により構成される格子に対して45°傾いた形状となる。また、各格子の辺の長さを、サブ画素Gの場合とサブ画素R(又はサブ画素B)の場合とで比較すると、前者は後者の√2/2(2の平方根を2で除した数)倍である。したがって、ベイヤー配列においては、G信号ではより高解像度の表示が可能であり、G信号の通過帯域をR信号又はB信号の通過帯域よりも広くすることが可能である。
【0044】
一方、本実施形態においては、図4に示すように、G信号及びW信号に対して適用されるフィルターを図7のベイヤー配列におけるG信号に対して適用されるフィルターと同一のものとしている。このような帯域制限を行う理由は、サブ画素Wによる表示がG成分を含んでいるためである。本実施形態においては、サブ画素Wをサブ画素Gとみなして、G信号及びW信号に対して適用されるフィルターが決められている。
【0045】
同様に、サブ画素Wによる表示は、R成分やB成分をも含んでいる。本実施形態においては、R信号及びB信号に対して適用されるフィルターの特性についても、このことを利用して決められている。具体的には、サブ画素Wをサブ画素Rとみなした場合、サブ画素RはX方向には隙間なく(他のサブ画素を挟むことなく)配置されることになり、入力された画像信号と同様の解像度で再現可能であるため、当該方向の帯域制限を行わないようにフィルターが構成されている。一方、サブ画素Wをサブ画素Rとみなした場合であっても、サブ画素RはY方向には1画素おきに配置されるため、当該方向の帯域は図5の場合と同様に制限される。つまり、R信号に対して適用されるフィルターは、Y方向については、低周波領域を通過させ、高周波領域を通過させないように構成される。
【0046】
なお、サブ画素Wをサブ画素Bとみなした場合のサブ画素Bの配置は、サブ画素Wをサブ画素Rとみなした場合のサブ画素Rの配置を90°回転させたものと同様になる。そのため、本実施形態においてB信号に対して適用されるフィルターは、R信号に対して適用されるフィルターの特性のX方向とY方向を入れ替えた特性となっている。
【0047】
このように、本実施形態の各色のフィルターは、R信号についてはY方向の帯域のみをサブ画素Rの間隔に応じた態様で制限し、B信号についてはX方向の帯域のみをサブ画素Bの間隔に応じた態様で制限する。また、G信号及びW信号に対するフィルターは、サブ画素G及びサブ画素Wの双方を同一視して組み合わせた場合のサブ画素の配置に応じた態様で各信号の帯域を制限する。つまり、本実施形態においては、サブ画素Wがサブ画素R、サブ画素G及びサブ画素Bのいずれとも光学的性質を共通にする要素が含まれることを利用し、各色の画像信号の周波数帯域を図5や図6の比較例の場合よりも広く確保できるようにしているのである。
【0048】
本実施形態のフィルターを図6のフィルターと比較すると、帯域の制限幅に相違がある。具体的には、R信号とB信号は、サブ画素Wをサブ画素R又はサブ画素Bとみなすことによって、X方向又はY方向のいずれかの制限が不要になるため、通過する帯域幅が2倍になる。また、G信号とW信号は、サブ画素Wをサブ画素Gとみなすことによって、それぞれを別のサブ画素として扱わなくてもよくなるため、図5のベイヤー配列の場合と同様の帯域制限にすることができる。
【0049】
したがって、本実施形態の表示システム10によれば、各色の画像信号に対して独立に(すなわち、他色のサブ画素の位置を考慮せずに)帯域制限を施す場合に比べ、帯域の制限幅を少なくすることが可能であるとともに、サブ画素Wに代えてサブ画素Gを用いる場合に比べ、投写される画像の輝度を向上させることが可能である。よって、表示システム10によれば、図5及び図6のいずれの比較例の場合よりも視感上の画質を向上させることが可能である。
【0050】
一方、本実施形態のような帯域制限を施すことによって、新たな課題が生じる。その課題とは、R、G、B、Wの各色の明るさの差に起因するモアレの発生である。本実施形態の構成においてモアレや偽色が発生する原理は、具体的には以下のとおりである。
【0051】
本実施形態のフィルターは、特定の色を基準として設計されるものである。本実施形態のフィルターは、無彩色であるグレーにおいてモアレが生じないように設計された場合、他の色(この場合、有彩色)においては、R、G、Bの少なくともいずれかの色においてモアレが生じる。より具体的には、本実施形態の構成においてモアレが生じるのは、R、G、Bのいずれかの色の色信号の色成分とW信号の当該いずれかの色の色成分(すなわち、白色光をR、G、Bの3色に分光した場合の色成分)とが等しくならず、その明るさに差が生じる場合である。
【0052】
図8は、本実施形態において生じるモアレを説明するための図であり、ここではR成分に着目した場合を示している。同図において、破線の直線は、R、Wそれぞれのサブ画素の位置を表しており、実線で示した正弦波は、ある高周波成分の画像信号を表している。また、正弦波上のプロット(点)は、それぞれのサブ画素によって表示される明るさを表している。
【0053】
図8(a)に示す例は、サブ画素Rとサブ画素Wが同じ明るさとなる場合を示している。この場合、サブ画素Rによる表示のみに着目すると、その明るさは、一点鎖線で示すように山なりに変化するため、モアレが生じる。しかし、この場合にサブ画素Wによる表示のみに着目すると、その明るさは、サブ画素Rによって生じるモアレとは反対のモアレ(すなわち位相がずれたモアレ)が生じるように変化する。したがって、これらのサブ画素が同時に観察されると、互いのモアレが打ち消しあうため、結果的にモアレが見えなくなる。
【0054】
これに対し、図8(b)に示す例は、サブ画素Rとサブ画素Wが同じ明るさとならず、サブ画素Wがサブ画素Rよりも明るくなる場合を示している。この場合においても、サブ画素Rによるモアレはサブ画素Wによるモアレを低減させる(すなわち目立たなくする)ようには作用するが、モアレを完全に打ち消すことはできないため、結果的にモアレが生じる。このようにして生じるモアレは、サブ画素Rとサブ画素Wの明るさの差(高周波成分の差)が大きくなるほど、より人間の目に知覚されやすくなる。
【0055】
本実施形態のゲイン調整パラメーターは、このようにして生じるモアレを低減させるように作用する。すなわち、フィルター処理部124は、W信号の高周波成分と他の色信号の高周波成分の差に応じたゲイン調整パラメーターによって他の色信号の高周波成分の振幅を調整することで、高周波成分において他色のサブ画素との間で生じる明るさの違いを低減させることを可能にしている。
【0056】
図9は、各色のゲイン調整パラメーターとフィルターの周波数応答の関係を示した図である。同図に示すように、フィルター処理部124Rは、X方向の高周波成分の周波数応答をゲイン調整パラメーターGrによって変化させる。例えば、フィルター処理部124Rは、Gr=1であれば、高周波成分の振幅を変化させずにそのまま出力する一方、Gr=0であれば、高周波成分の振幅を0にする。つまり、フィルター処理部124Rは、Gr=0の場合には、X方向の低周波成分を通過させて高周波成分をカットするローパスフィルターとして機能する。また、フィルター処理部124Rは、0<Gr<1の場合には、高周波成分の振幅をゲイン調整パラメーターGrの大きさに応じて減衰させる。なお、フィルター処理部124Rは、Y方向については、周波数応答をゲイン調整パラメーターGrによって変化させない。なぜならば、R信号は、Y方向の高周波成分がカットされているからである。
【0057】
一方、フィルター処理部124Bは、Y方向の高周波成分の周波数応答をゲイン調整パラメーターGbによって変化させ、X方向の周波数成分の周波数応答をゲイン調整パラメーターGrによって変化させない。また、フィルター処理部124Gは、X方向、Y方向双方の高周波成分の周波数応答をゲイン調整パラメーターGbによって変化させる。
【0058】
以上のように、本実施形態の表示システム10によれば、4色のサブ画素によって色表示を行う場合において、帯域の制限幅を狭くすることが可能であるとともに、特定の色においてモアレの発生を防ぐだけでなく、当該特定の色以外の他の色においても、モアレを抑制することが可能である。それゆえ、表示システム10によれば、ゲイン調整パラメーターを用いて高周波成分のゲインを調整しない場合よりも視感上の画質を向上させることが可能である。
【0059】
[第2実施形態]
本実施形態は、画像信号に対するフィルター処理が異なる点を除き、上述した第1実施形態と共通の構成を有するものである。そこで、本実施形態においては、第1実施形態と共通する構成要素については第1実施形態で用いた符号を用いることとし、重複する説明を適宜省略するものとする。
【0060】
本実施形態は、第1実施形態の構成において発生する可能性があるモアレや偽色を抑制することによって、いわゆる解像感を向上させ、視感上の画質をさらに向上させるものである。第1実施形態の構成においてモアレや偽色が発生する原理は、具体的には以下のとおりである。なお、本実施形態において着目するモアレは、図8を例示して示したモアレ理由とは別の理由によって生じるものである。
【0061】
フィルター処理後のR信号又はB信号は、W信号において制限されていない周波数帯域の情報が失われていたり、あるいはW信号において制限されている周波数帯域の情報が含まれていたり、というように、情報として含まれている周波数帯域がW信号と相違している。W信号に含まれ、R信号又はB信号に含まれない周波数帯域の情報は、ある観点からみれば余分な情報ともいえる。かかる情報は、その周波数帯域がナイキスト周波数(サンプリング周波数の1/2)を超えているため、折り返し雑音となってモアレを生じさせる。ここにおいて、サンプリング周波数は、入力された画像信号の1画素のサイズを基準にして定められる。なお、フィルター処理後のG信号は、情報として含まれている周波数帯域がW信号と同様であるため、通過する周波数帯域の相違に起因するモアレが生じることはない。
【0062】
また、第1実施形態の構成において、このようなモアレは、R又はBの色成分のみに発生する。すなわち、通過する周波数帯域の相違に起因するモアレは、色付きのモアレである。それゆえ、第1実施形態の構成において、特に高周波成分を含む画像を表示させようとした場合には、いわゆるエッジ(輪郭)部分などにおいて、画像に本来ある色とは異なる色、すなわち偽色が発生する。
【0063】
図10は、モアレの原因となる周波数帯域を説明するための図である。なお、同図においては、W信号において制限されずにR信号又はB信号において制限されている帯域をハッチングで示し、フィルターによる通過帯域(図4参照)は破線で示している。
【0064】
図10に示すように、Rのフィルターの特性とWのフィルターの特性とを比較すると、Y方向の高周波帯域に、W信号においては通過し、R信号においては通過しない帯域が存在する。一方、Bのフィルターの特性とWのフィルターの特性とを比較すると、X方向の高周波帯域に、W信号においては通過し、B信号においては通過しない帯域が存在する。
【0065】
そこで、本実施形態においては、R及びBの少なくとも一方(望ましくは双方)のフィルターにおいて、かかる帯域の影響を相殺するように周波数応答が調整される。具体的には、フィルター処理部124R及び124Bは、自らが通過させる帯域以外の帯域であって、かつフィルター処理部124Wが通過させる帯域の位相が反転するようにフィルター処理を実行することにより、W信号による影響を打ち消す。なお、ここでいう「相殺」とは、互いが完全に打ち消し合うことのみを指すものではなく、一方によって他方の影響が低減されることをいうものである。
【0066】
図11は、本実施形態のR及びBのフィルターとその周波数特性とを説明するための図である。本実施形態のR及びBのフィルターは、図中の帯域B1に対する処理は第1実施形態と同様であり、帯域B2に対する処理が第1実施形態と異なる。本実施形態のRのフィルターは、Y方向の高周波帯域(B2)の位相を反転させて通過させる点が第1実施形態と異なる。同様に、本実施形態のBのフィルターは、X方向の高周波帯域(B2)の位相を反転させて通過させる点が第1実施形態のそれと異なる。ここにおいて、周波数応答が負であるということは、画像信号は帯域B2の成分の位相が反転されて出力されるということを意味する。
【0067】
また、本実施形態のフィルターは、このように位相を反転させて通過させる帯域に対しても、ゲイン調整パラメーターによる調整を実行する。具体的には、フィルター処理部124Rは、X方向だけでなくY方向の高周波帯域である帯域B2についてもゲインの調整を実行し、フィルター処理部124Bは、Y方向だけでなくX方向の高周波帯域である帯域B2についてもゲインの調整を実行する。なお、ゲイン調整パラメーターが0である場合の挙動は、本実施形態と第1実施形態とで共通のものになる。
【0068】
本実施形態のフィルター処理によれば、有彩色のモアレや偽色を抑制することが可能である。また、モアレや偽色を抑制する効果は、有彩色の画像よりも無彩色の画像においてより顕著となる(人間の視覚的にも、無彩色の画像の中に生じる有彩色の偽色の方が、有彩色の画像の中に生じる有彩色の偽色よりも知覚しやすいといえる。)。
【0069】
なお、位相を反転させる帯域は、フィルター処理部124Wが通過させる帯域を含んでいればよいため、必ずしも図11に示した帯域に限定されるわけではない。
図12は、本実施形態のR及びBのフィルターの他の例を示す図である。同図に示すフィルターは、図11に示すフィルターよりも帯域B2が少なくなっているが、当該帯域はフィルター処理部124Wが通過させる帯域を含んでいるため、モアレや偽色を抑制する作用を奏する。
【0070】
[変形例]
本発明は、上述した実施形態に限らず、以下に例示するさまざまな形態でも実施可能である。なお、以下に示す変形例は、必要に応じて、各々を適宜組み合わせてもよいものである。
【0071】
(1)本発明の画素の配置は、上述した実施形態のように正方形状でなくてもよい。例えば、サブ画素が長方形である場合には、画素全体の配置も長方形状になる。また、第1方向と第2方向は、必ずしも直交する関係になくてもよく、交差する関係にあれば十分である。すなわち、本発明の画素は、2行2列の4個のサブ画素が四辺形状に並んだ形状で構成されるものであれば、その具体的な形状は問わないものである。
【0072】
また、画素内のサブ画素の位置関係も、上述した実施形態のものに限定されない。本発明の画素は、サブ画素Wと同様の帯域制限を施すサブ画素(実施形態ではサブ画素W)がサブ画素Wからみて四辺形の対角線方向に位置していれば、隣り合うサブ画素が実施形態と異なっていてもよい。
【0073】
図13は、サブ画素の配置の他の例を示す図である。図13(a)に示す配置は、上述した実施形態(図2参照)の配置からサブ画素Rとサブ画素Bの位置を入れ替えたものである。この場合、R信号に対するフィルター処理は、実施形態においてB信号に対して実行したフィルター処理と同様のものとし、B信号に対するフィルター処理は、実施形態においてR信号に対して実行したフィルター処理と同様のものとすればよい。また、図13(b)に示す配置は、上述した実施形態の配置からサブ画素Gとサブ画素Wの位置を入れ替えたものである。この場合、各色の画像信号に対するフィルター処理は、実施形態のものと同様である。加えて、サブ画素の配置は、図13(c)や図13(d)に示す例のように、各々の配置を点対称又は線対称に回転させた配置であってもよい。
【0074】
さらに、各色のサブ画素の位置関係は、サブ画素Wとサブ画素Gとが対角線方向に対向する配置でなくてもよい場合がある。例えば、表示装置が赤味の強い画像や赤色を多く含む画像を表示する場合や、赤色を他色よりも見やすく表示させたい場合などにおいては、サブ画素Wと対角線方向に対向するサブ画素をサブ画素Rとしてもよい。すなわち、サブ画素の配置は、表示装置が表示する画像や表示装置に要求される画質を考慮して決められてもよい。
【0075】
(2)上述した実施形態は、YW=YR+YG+YBという関係を満たす場合の例である。しかし、実際の液晶パネルは、このような関係を必ずしも満たさず、YWがYR、YG、YBの総和と等しくならない場合もある。このような場合において、R信号又はB信号に対するフィルター処理によって位相を反転させるときには、その周波数応答をサブ画素の実際の輝度に応じて定め、各色のサブ画素の輝度とのバランスを取るようにすることも可能である。すなわち、フィルター処理部124によるフィルター処理は、実際に使用する液晶パネル220の特性に基づいて決められてもよい。それゆえ、フィルター処理部124は、ユーザーが液晶パネル220の特性を考慮してフィルターの特性を調整できるように構成されてもよい。
【0076】
(3)上述した実施形態において、フィルター処理部124が出力する画像信号は、間引き処理部125によって間引かれる。しかし、本発明に係るフィルター処理部は、上述した実施形態のフィルター処理部124及び間引き処理部125の機能を兼備するように構成され、4M×4N画素分の画像信号を参照してM×N画素分の画像信号を出力するように構成されてもよい。この場合、パラメーター算出部123により算出されるゲイン調整パラメーターも、M×N画素分であれば十分である。したがって、この場合のパラメーター算出部123は、入力された画像信号の画素毎に4M×4N画素分のゲイン調整パラメーターを算出せずに、フィルター処理部が出力する画像信号のサブ画素に対応する個数のゲイン調整パラメーターだけを算出してもよい。
【0077】
(4)本発明は、上述した実施形態のように、光変調器が透過型の画素で構成されていることを必要とするものではなく、上述した実施形態と同様の画素配列を有するものであれば、有機EL(electroluminescence)ディスプレイやプラズマディスプレイなどのような自発光型の画素を有する表示パネルに対しても適用可能である。したがって、本発明に係る表示装置は、プロジェクターに限定されることもない。また、光変調器が液晶パネルである場合においても、これが透過型に限定されることはなく、反射型であってもよい。
【0078】
また、本発明に係る画像処理装置は、表示装置に内蔵された画像処理回路によって実現されてもよいし、パーソナルコンピューターなどのコンピューター装置が実行するソフトウェア処理によって実現されてもよい。さらに、本発明は、4色のそれぞれに応じた画像処理を実行する画像処理方法、かかる画像処理をコンピューター装置に実行させるためのプログラム、かかるプログラムを記録した記録媒体といった態様での提供も可能である。
【符号の説明】
【0079】
10…表示システム、100…画像処理装置、110…入力部、120…画像処理部、121…色変換処理部、122…高周波成分抽出部、123…パラメーター算出部、124、124R、124G、124B、124W…フィルター処理部、125…間引き処理部、130…出力部、200…プロジェクター、210…光源、220…液晶パネル、230…投写レンズ、300…スクリーン
【特許請求の範囲】
【請求項1】
第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理装置であって、
前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部により抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出するパラメーター算出部と、
前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記パラメーター算出部により算出されたパラメーターを用いて調整するフィルター処理を実行するフィルター処理部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記フィルター処理部は、
白色に対応する第1サブ画素を表示させる白色の画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第1サブ画素に対して対角線方向に位置する第2サブ画素の配置に応じた態様で制限する第1フィルター処理部と、
前記第2サブ画素を表示させる画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第2サブ画素の配置に応じた態様で制限する第2フィルター処理部と、
前記第1サブ画素と前記第1方向に隣り合う第3サブ画素を表示させる画像信号に対して、前記第2方向の周波数帯域を当該第3サブ画素の当該第2方向の間隔に応じた態様で制限する第3フィルター処理部と、
前記第1サブ画素と前記第2方向に隣り合う第4サブ画素を表示させる画像信号に対して、前記第1方向の周波数帯域を当該第4サブ画素の当該第1方向の間隔に応じた態様で制限する第4フィルター処理部とを有する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第3フィルター処理部及び前記第4フィルター処理部の少なくとも一方は、
入力される画像信号の周波数帯域のうちの通過させる帯域以外の帯域であって、かつ前記第1フィルタ処理部が通過させる帯域の位相を反転させて通過させ、当該帯域の振幅を前記パラメーターを用いて調整する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
位相が反転されて通過される前記帯域の周波数応答が、前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素の輝度に応じて定まる
ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記フィルター処理部は、
前記第1方向に4M個、前記第2方向に4N個の画素を表す画像信号を参照し、各色について、前記第1方向にM個、前記第2方向にN個の前記サブ画素を表す画像信号を出力し、
前記パラメーター算出部は、
前記フィルター処理部が出力する画像信号が表す前記サブ画素に対応する個数の前記パラメーターを算出する
ことを特徴とする請求項1ないし4のいずれかに記載の画像処理装置。
【請求項6】
前記フィルター処理部は、
白色以外の3色の画像信号のそれぞれに対して、あらかじめ決められた特定のフィルターの出力を前記パラメーターを用いて調整することにより前記フィルター処理を実行する
ことを特徴とする請求項1ないし5のいずれかに記載の画像処理装置。
【請求項7】
前記フィルター処理部は、
白色以外の3色の画像信号のそれぞれに対して、複数の前記パラメーター毎に決められた複数のフィルターから、前記パラメーター算出部により算出されたパラメーターに応じたものを選択することにより前記フィルター処理を実行する
ことを特徴とする請求項1ないし5のいずれかに記載の画像処理装置。
【請求項8】
前記第2フィルター処理部は、緑色に対応する画像信号に対してフィルター処理を実行し、
前記第3フィルター処理部及び前記第4フィルター処理部は、各々が赤色又は青色に対応する画像信号に対してフィルター処理を実行する
ことを特徴とする請求項1ないし7のいずれかに記載の画像処理装置。
【請求項9】
前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素によって構成され、マトリクス状に配置される複数の画素を有する表示パネルと、
請求項1ないし8のいずれかに記載の画像処理装置と
を備えることを特徴とする表示装置。
【請求項10】
第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理方法であって、
前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出し、
前記抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出し、
前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記算出されたパラメーターを用いて調整するフィルター処理を実行する
ことを特徴とする画像処理方法。
【請求項1】
第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理装置であって、
前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部により抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出するパラメーター算出部と、
前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記パラメーター算出部により算出されたパラメーターを用いて調整するフィルター処理を実行するフィルター処理部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記フィルター処理部は、
白色に対応する第1サブ画素を表示させる白色の画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第1サブ画素に対して対角線方向に位置する第2サブ画素の配置に応じた態様で制限する第1フィルター処理部と、
前記第2サブ画素を表示させる画像信号に対して、前記第1方向及び前記第2方向の周波数帯域を、前記第1サブ画素及び前記第2サブ画素の配置に応じた態様で制限する第2フィルター処理部と、
前記第1サブ画素と前記第1方向に隣り合う第3サブ画素を表示させる画像信号に対して、前記第2方向の周波数帯域を当該第3サブ画素の当該第2方向の間隔に応じた態様で制限する第3フィルター処理部と、
前記第1サブ画素と前記第2方向に隣り合う第4サブ画素を表示させる画像信号に対して、前記第1方向の周波数帯域を当該第4サブ画素の当該第1方向の間隔に応じた態様で制限する第4フィルター処理部とを有する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第3フィルター処理部及び前記第4フィルター処理部の少なくとも一方は、
入力される画像信号の周波数帯域のうちの通過させる帯域以外の帯域であって、かつ前記第1フィルタ処理部が通過させる帯域の位相を反転させて通過させ、当該帯域の振幅を前記パラメーターを用いて調整する
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
位相が反転されて通過される前記帯域の周波数応答が、前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素の輝度に応じて定まる
ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記フィルター処理部は、
前記第1方向に4M個、前記第2方向に4N個の画素を表す画像信号を参照し、各色について、前記第1方向にM個、前記第2方向にN個の前記サブ画素を表す画像信号を出力し、
前記パラメーター算出部は、
前記フィルター処理部が出力する画像信号が表す前記サブ画素に対応する個数の前記パラメーターを算出する
ことを特徴とする請求項1ないし4のいずれかに記載の画像処理装置。
【請求項6】
前記フィルター処理部は、
白色以外の3色の画像信号のそれぞれに対して、あらかじめ決められた特定のフィルターの出力を前記パラメーターを用いて調整することにより前記フィルター処理を実行する
ことを特徴とする請求項1ないし5のいずれかに記載の画像処理装置。
【請求項7】
前記フィルター処理部は、
白色以外の3色の画像信号のそれぞれに対して、複数の前記パラメーター毎に決められた複数のフィルターから、前記パラメーター算出部により算出されたパラメーターに応じたものを選択することにより前記フィルター処理を実行する
ことを特徴とする請求項1ないし5のいずれかに記載の画像処理装置。
【請求項8】
前記第2フィルター処理部は、緑色に対応する画像信号に対してフィルター処理を実行し、
前記第3フィルター処理部及び前記第4フィルター処理部は、各々が赤色又は青色に対応する画像信号に対してフィルター処理を実行する
ことを特徴とする請求項1ないし7のいずれかに記載の画像処理装置。
【請求項9】
前記第1サブ画素、前記第2サブ画素、前記第3サブ画素及び前記第4サブ画素によって構成され、マトリクス状に配置される複数の画素を有する表示パネルと、
請求項1ないし8のいずれかに記載の画像処理装置と
を備えることを特徴とする表示装置。
【請求項10】
第1方向と、前記第1方向に交差する第2方向とに2個ずつ並んだ4個のサブ画素によって構成される各画素をマトリクス状に配置し、1画素を構成するサブ画素の1個が白色に対応する表示装置に、白色を含む4色の画像信号を供給するための画像処理方法であって、
前記4色の画像信号のそれぞれから、当該画像信号の周波数帯域の中心よりも高周波側である高周波帯域の成分を抽出し、
前記抽出された各色の成分に基づき、白色以外の3色の成分について、それぞれの成分と白色の成分との比率に応じて定まるパラメーターを算出し、
前記4色の画像信号のそれぞれに対して、当該色に対応する前記サブ画素の配置に応じた周波数帯域を制限するとともに、白色以外の3色の画像信号のそれぞれに対して、前記高周波帯域の振幅を前記算出されたパラメーターを用いて調整するフィルター処理を実行する
ことを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−25141(P2013−25141A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−160724(P2011−160724)
【出願日】平成23年7月22日(2011.7.22)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月22日(2011.7.22)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]