映像表示装置、映像表示方法及び映像処理装置
【課題】バックライトの調光により表現できる出力映像の階調を有効に使用し、出力映像に生じる小さな階調段差を解消すること。
【解決手段】映像表示部102は映像表示素子とバックライトを有し、調光値によってバックライトの輝度を調整する。映像処理部101は、入力映像信号よりバックライトの調光値を算出する調光値算出部13と、入力映像信号を調光値に応じて補正するための補正ゲインを算出する補正量算出部15と、入力映像信号に補正ゲインを乗算して映像信号を補正し映像表示部102に供給する映像補正部19とを備える。補正量算出部15は、入力映像信号と調光値から目標表示映像を設定し、目標表示映像を平滑化フィルタにより平滑化し、平滑化された目標表示映像と調光値から補正ゲインを算出する。
【解決手段】映像表示部102は映像表示素子とバックライトを有し、調光値によってバックライトの輝度を調整する。映像処理部101は、入力映像信号よりバックライトの調光値を算出する調光値算出部13と、入力映像信号を調光値に応じて補正するための補正ゲインを算出する補正量算出部15と、入力映像信号に補正ゲインを乗算して映像信号を補正し映像表示部102に供給する映像補正部19とを備える。補正量算出部15は、入力映像信号と調光値から目標表示映像を設定し、目標表示映像を平滑化フィルタにより平滑化し、平滑化された目標表示映像と調光値から補正ゲインを算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、照明用のバックライトの輝度を調整し映像を表示する映像表示装置と映像表示方法及び映像信号を補正する映像処理装置に関する。
【背景技術】
【0002】
液晶ディスプレイは、テレビジョンやパーソナルコンピュータを始め多くの映像機器等のモニタとして使用されている。液晶ディスプレイでは照明用のバックライトを備えるが、バックライト光源の消費電力低減を図るため、映像の陰影の分布と同期させて局所的に調光を行なうローカルディミング(Local Dimming)方式が提案され、製品化もなされている。ローカルディミング方式におけるバックライトの調光は、画面を所定数の区画(エリア)に分割しエリア単位で行われる。
【0003】
例えば特許文献1には、ローカルディミング方式におけるバックライトの照明輝度分布を考慮して画像信号を補正する方法について記載される。これによりコントラスト比が高くムラの少ない画像品質が得られることが述べられている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−258403号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
液晶ディスプレイの画面に表示される映像の輝度は、例えば白色光源のバックライトとRGB3原色の液晶で構成されるディスプレイの場合、バックライトの輝度値(単位:cd/m2)と、映像信号のR、G、Bそれぞれの値(以下、RGB値と呼ぶ)に応じて制御される液晶の透過率との乗算値で決定される。
【0006】
ローカルディミングの特徴として、バックライトの輝度値を調光できるため、輝度値を固定したバックライトの場合よりも出力映像のコントラスト比が高く、また、調光された各輝度値において映像信号の階調を設定できるため、出力映像の階調も増加する。バックライトの調光は、画面を分割してエリア単位で行われるので、出力映像の階調もエリア単位で設定することができる。
【0007】
しかし従来技術では、エリア間のバックライト輝度差に基づく映像信号の補正は、1画素の映像信号のRGB値とエリア単位のバックライト輝度値との乗算のみで算出されるため、表現できる階調を有効に使用できていない。例えば、従来技術によるグラデーション映像の補正は、エリア間のバックライト輝度差の補間により1画素単位で乗算されるために、出力映像に小さな階調段差が生じ、階調の斑模様が残る。映像の階調数を増やしても、この階調段差の階調幅が増えるだけで段差が減ることはない。
【0008】
本発明は、上記課題を解決し、バックライトの調光により表現できる出力映像の階調を有効に使用し、出力映像に生じる小さな階調段差を解消することを目的とする。
【課題を解決するための手段】
【0009】
本発明の映像表示装置は、映像表示部と映像処理部を有し、前記映像表示部は、映像信号により画素ごとに透過率を調整する映像表示素子と該映像表示素子を背面から照明するバックライトを有し、調光値によって該バックライトの輝度を調整するものであって、前記映像処理部は、入力映像信号より前記バックライトに対する調光値を算出する調光値算出部と、前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出する補正量算出部と、前記入力映像信号に前記補正ゲインを乗算して映像信号を補正し、前記映像表示部に供給する映像補正部とを備える。前記補正量算出部は、前記入力映像信号と前記調光値から目標表示映像を設定し、該目標表示映像を平滑化フィルタにより平滑化し、平滑化された目標表示映像と前記調光値から前記補正ゲインを算出する。
【発明の効果】
【0010】
本発明によれば、出力映像に生じる小さな階調段差を解消し、出力映像の階調感を向上することができる。
【図面の簡単な説明】
【0011】
【図1A】本発明による映像表示装置の一実施例を示す構成図(実施例1)。
【図1B】図1Aの構成において、メモリ23を設けた場合を示す図。
【図2】液晶ディスプレイ22のパネル構成を示す概略図。
【図3A】ローカルディミングを行なう液晶ディスプレイ22の例を示す図。
【図3B】1個のLED光源を点灯したときの輝度分布の例を示す図。
【図4A】ディスプレイのガンマ特性の入出力特性を示す図。
【図4B】ガンマ補正の入出力特性を示す図。
【図5】バックライトの調光階調と入力映像階調の関係を示す図。
【図6A】全面白色映像を入力した場合の入力映像階調を示す図。
【図6B】全面白色映像を入力した場合のバックライトの輝度分布を示す図。
【図7A】グラデーション映像を入力した場合の入力映像階調を示す図。
【図7B】グラデーション映像を入力した場合のバックライトの輝度分布を示す図。
【図8】周波数変換による低周波領域の検出方法を説明する図。
【図9】平均値フィルタによる平滑化処理を説明する図。
【図10A】グラデーション映像入力時の入力映像階調を示す図。
【図10B】グラデーション映像入力時のバックライト輝度値を示す図。
【図10C】グラデーション映像入力時の表示映像階調を示す図(ゲイン補正なし)。
【図11A】グラデーション映像入力時の目標表示映像階調を示す図(平滑化なし)。
【図11B】グラデーション映像入力時の補正ゲインを示す図(平滑化なし)。
【図11C】グラデーション映像入力時の補正映像階調を示す図(平滑化なし)。
【図12A】グラデーション映像入力時の目標表示映像階調を示す図(平滑化あり)。
【図12B】グラデーション映像入力時の補正ゲインを示す図(平滑化あり)。
【図12C】グラデーション映像入力時の補正映像階調を示す図(平滑化あり)。
【図13A】階調段差の発生に関連し入力映像階調を示す図。
【図13B】階調段差の発生に関連し補正ゲインを示す図(平滑化なし)。
【図13C】階調段差の発生に関連し補正映像階調を示す図(平滑化なし)。
【図14A】階調段差の低減に関連し入力映像階調を示す図。
【図14B】階調段差の低減に関連し補正ゲインを示す図(平滑化あり)。
【図14C】階調段差の低減に関連し補正映像階調を示す図(平滑化あり)。
【図15】本実施例の効果を映像表示画面で説明する図。
【図16】本発明による映像処理装置の一実施例を示す構成図(実施例2)。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
【実施例1】
【0013】
図1Aは、本発明による映像表示装置の一実施例を示す構成図である。映像表示装置100は、映像処理部101と映像表示部102を備え、映像処理部101には、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19を有し、映像表示部102には、タイミング制御部21と液晶ディスプレイ22を有する。液晶ディスプレイ22は映像表示素子である液晶パネルとローカルディミングを行うバックライトを含む。映像処理部101は映像表示部102に対し、入力映像信号10に応じてバックライト輝度を制御する調光値14を送る。また、調光値14に応じて入力映像信号10に対する補正ゲイン16を決定し、補正した補正映像信号20を供給する。映像表示部102の液晶ディスプレイ22は、調光値14によりバックライトの輝度を設定し、補正映像信号20により液晶パネルを駆動し、映像を表示する。
【0014】
図2は、液晶ディスプレイ22のパネル構成を示す概略図である。1は液晶パネル、2は拡散シート、3はバックライトである。バックライト3からの照明光は拡散シート2で広がり液晶パネル1を背面から照射し、液晶パネル1の透過率を変えることで照明光の透過量を調整して映像を表示する。なお、液晶パネル1には3原色カラーフィルタ層を設けて、これによりカラー映像を表示する。液晶パネル1の透過率は補正映像信号20により制御され、バックライト3の明るさ(輝度)は調光値14により制御される。
【0015】
図3Aは、ローカルディミングを行なう液晶ディスプレイ22の例を示す。ここには、直下方式のバックライト構造で、画面を4×4のエリアに分割した場合を示す。各エリア4には光源として1個の発光ダイオード(LED)5を配設している。図3Bは、1個のLED光源5を点灯したときの輝度分布の例を示す。エリア境界では輝度が徐々に低下し、隣接エリアに照明光が漏れ出す分布となっている。
【0016】
液晶ディスプレイ22の各エリアにおいて、入力する映像信号のRGB値をXとし、液晶パネル1の透過率をαとし、バックライト3による輝度値をBLとすると、表示される映像の輝度(RGB値)f(X)は〔数式1〕となる。
【0017】
【数1】
【0018】
このように、液晶ディスプレイ22は液晶パネル1の透過率αによって階調表現を行うものであり、表示映像の輝度値f(X)は、透過率αとバックライト3の輝度値BLの乗算で決まる。なお、入力映像信号のRGB値Xと透過率αとの関係は、表示映像の輝度特性がブラウン管を用いたディスプレイ(CRT)と同様になるように補正を行う。
【0019】
以下、映像処理装置101の各部の動作を詳細に説明する。
入力信号処理部11では、入力映像信号10の形式を映像表示部102に対応した形式の信号に変換し、例えばRGB3原色の液晶パネルであればRGBへの変換処理を行う。また入力映像信号10はガンマ補正されているため、ガンマ特性に適用する処理(以下、逆ガンマ補正と呼ぶ)を行い、逆ガンマ補正映像信号12を出力する。
【0020】
図4Aと図4Bは、ガンマ特性とガンマ補正を説明する図である。この図を用いて液晶ディスプレイの調整方法を説明する。CRTの持つ入出力特性は、入力値である入力映像のRGB値と出力値である表示映像の輝度値との関係は、比例関係ではなく入力値のべき乗で近似され、この特性をガンマ特性と呼ぶ。ここで、入力値Xとし入力値に対する指数をγ(ガンマ)とすると、出力値G(X)は〔数式2〕のように表される。一般に、γは1.8または2.2で設定されることが多い。
【0021】
【数2】
【0022】
図4Aは、γが2.2の場合のガンマ特性を示し、横軸は入力する映像階調、縦軸は出力する表示映像階調である。入力値の映像階調の小さい領域すなわち暗い領域では、出力階調が潰れてしまう。この階調潰れの問題を解消するためにガンマ補正を行う。ガンマ補正は入力値Xに対し、〔数式2〕の逆関数を用いて補正し、その出力値g(X)は〔数式3〕となる。
【0023】
【数3】
【0024】
図4Bは、γが2.2の場合のガンマ補正を示す。ガンマ特性を持つディスプレイにガンマ補正をした映像信号を入力すると、出力値はG(g(X))=Xとなり、入力値と出力値が比例関係となるため階調潰れが解消される。
【0025】
以上のように、入力データについてCRTとの整合性を保つために、液晶ディスプレイ22はガンマ特性を持つように設計されている。ガンマ補正は、入力映像階調の値と表示映像の輝度値とを比例関係にし、入力階調が階調潰れなく表示するための補正である。なお、以下の説明ではガンマ特性を持つディスプレイに対し常にガンマ補正が行われていると考え、液晶ディスプレイでの入出力特性は、γ=1、すなわち入力映像階調の値と液晶パネルの輝度値とは比例関係が成り立つとして説明を行う。
【0026】
調光値算出部13は、逆ガンマ補正映像信号12を入力し、バックライト(LED光源)の各エリアの輝度を設定する調光値14を出力する。ここでバックライトの調光は、例えば入力映像信号の階調を調光の階調数で均等に分割し、調光の1階調エリア内の入力映像信号の最大値により調光階調の値(調光値)を選択する。
【0027】
図5は、バックライトの調光階調と入力映像階調の関係を示す。横軸はバックライトの調光階調で16階調とし、縦軸は表示映像の輝度値で16階調とした場合である。図中の上側の点線で表した直線は、バックライトの各調光階調において、入力映像の最大値を与えた場合の輝度(白輝度レベル)で、下側の点線で表した直線は、入力映像の最小値を与えた場合の輝度(黒輝度レベル)を示す。点線間の実線直線群は、それぞれの調光階調において、映像信号が16階調ずつ割り当てられることを示す。また、エリア調光値の選定は、エリア内の入力映像の最大値が、例えば、表示映像の輝度値の約94%(全体の15/16)以上に存在する調光値を選べばよい。このようにして、最大輝度エリアを設定した後に順次隣接エリアの輝度を求めていく。
【0028】
なお、調光値算出部13は、ルックアップテーブルを用いて調光値を求めることができる。この場合は、画面全体のエリアに渡り調整するため、調光値算出部13で算出される調光値14は、映像補正部19で算出される補正映像信号20に比べ1フレーム分遅延する。この1フレーム遅延を解消するため、図1Bに示すようにメモリ23を設け、調光値算出部13以外の逆ガンマ補正映像信号12の入力を1フレーム分遅延させ、タイミングを合わせた後に各処理部へ入力すればよい。
【0029】
図6Aと図6Bは、全面白色の映像を入力した場合の入力映像階調(図6A)とバックライトの輝度(図6B)を示す図である。図中の横軸は図3Aにおけるディスプレイを横断する水平位置であり、エリアに分割して示している。図6Bの台形型の点線は、図3Bにて示した輝度分布を持つLED光源が4個並んでいることを示す。また、全面白色のため4個とも同じ輝度ピークで発光しており、これらを重ね合わせた加算値は実線で示す一定の輝度レベルとなる。
【0030】
図7Aと図7Bは、グラデーション映像を入力した場合の入力映像階調(図7A)とバックライトの輝度値(図7B)の分布を示す図である。図7Aには、映像階調が水平方向に緩やかに変化するグラデーション映像を示している。この場合のバックライト輝度値は、前記図5を用いて各エリアの入力映像の最大値から求める。図7Bの点線は各エリアの輝度値を示し、4個のLED光源が異なる輝度値で発光し、これらを重ね合わせた加算値は実線で示すように折れ線状の輝度分布を示している。
【0031】
次に、本実施例の特徴である低周波検出部17と補正ゲイン算出部15について説明する。
低周波検出部17は、逆ガンマ補正映像信号12を入力して平坦な低周波映像領域を検出し、注目画素に対して映像の平坦度を示すゲイン値(以下、低周波ゲインと呼ぶ)18を算出して出力する。低周波ゲインの算出方法は、例えばFFT(First Fourier Transform)やDCT(Discrete Cosine Transform)等の周波数変換を利用して平坦な低周波映像を検出し、低周波領域のスペクトラムに応じて低周波ゲイン18を算出する。
【0032】
図8は、周波数変換による低周波領域の検出方法を説明する図である。図中の映像空間(x,y)は注目画素を中央に含む8×8画素範囲を示し、周波数変換により8×8の周波数空間(u,v)に変換する。また、図中の閾値FTHにより、低周波側の周波数領域(領域a)と高周波側の周波数領域(領域b)に分割する。すなわち、低周波領域aに属する周波数空間(u,v)は、閾値FTHにより〔数式4〕で表される。
【0033】
【数4】
【0034】
次に低周波ゲインの算出方法を説明する。周波数(u,v)におけるスペクトルをs(u,v)とし、閾値FTH内の絶対値スペクトルの合計をSとすると、合計スペクトルSを〔数式5〕から求める。
【0035】
【数5】
【0036】
絶対値スペクトルの合計Sは映像の平坦度の大きさを示しており、Sの値を0〜1の値で規格化して低周波ゲインGainfreqとする。得られたS値に対して、低周波領域として判定する閾値をS0、後述する平滑化処理を適用する限界値をS1とすると、低周波ゲインGainfreqを〔数式6〕から求める。
【0037】
【数6】
【0038】
その他の低周波ゲインの算出方法として、DoG(Difference of Gaussian)フィルタを用いてエッジを算出し、エッジの大きさに応じてゲインを決めることもできる。例えばN×N(Nは正数)画素範囲におけるDoGフィルタは、分散値をσとし、スケール因子をkとし、映像座標(x,y)の映像信号(ここでは逆ガンマ補正映像信号)をX(x,y)とすると、〔数式7〕で表わされる。
【0039】
【数7】
【0040】
また、エッジ検出は、単純にX(x,y)に隣接する画素差に対する絶対値の合計値を用いてもよい。エッジ算出結果をエッジとしてEで表し、低周波領域として判定するエッジ閾値をE0、後述する平滑化処理を適用する限界値をE1とすると、低周波ゲインGainfreqを〔数式8〕から求める。
【0041】
【数8】
【0042】
補正ゲイン算出部15は、逆ガンマ補正映像信号12、調光値14、および低周波ゲイン18を入力し、映像補正部19に対して補正ゲイン信号16を出力する。まず、逆ガンマ補正映像信号12と調光値14により、理論的な表示目標である表示映像階調(以下、目標表示映像階調と呼ぶ)を作成する。次に、目標表示映像階調に対して本実施例の特徴である平滑化処理を施す。そして、平滑化処理された目標表示映像階調から補正ゲインを求めるとともに、低周波ゲイン18の大きさに応じてこれを適用する。入力映像のRGB値をXとし、固定バックライト値をBL0とすると、目標表示映像階調f(X)は、〔数式9〕で表わされる。
【0043】
【数9】
【0044】
次に、目標表示映像階調f(X)の平滑化処理では、例えば、注目画素を中心に含むN×N(Nは正数)画素範囲で平滑化フィルタfilter(x,y)を用いる。ここで平滑化フィルタとして、〔数式10〕で表わされる平均値フィルタを用いることができる。また図9は、平均値フィルタによる平滑化処理を説明する図で、ここでは、周囲7×7画素の範囲で平均化する処理を示す。
【0045】
【数10】
【0046】
映像座標(x,y)の映像信号をX(x,y)、目標表示映像階調をf(X)とすると、平滑化処理後の目標表示映像階調fflt(X(x、y))は〔数式11〕で表わされる。なお、添え字fltは平滑化フィルタ適用後の値であることを示す。
【0047】
【数11】
【0048】
その他の平滑化フィルタとして、〔数式7〕中のガウシアンフィルタGaussや加重平均フィルタを用いることもできる。
【0049】
また、平滑化処理として、周波数変換を利用したLPF(ローパスフィルタ)を用いてもよい。この時のLPFは、図8の領域aのみ通過させるようなフィルタである。領域aのみ通過させるフィルタをfilterLPFとし、DCTと逆DCT(DCT−1)を用いると〔数式12〕のようになる。
【0050】
【数12】
【0051】
次に、平滑化処理後の目標表示映像階調fflt(X(x、y))とバックライトの調光輝度値BL(X(x、y))から、平滑化時の補正ゲインGainBLfltを〔数式13〕により算出する。ここの添え字fltも、平滑化フィルタ適用後の値であることを示す。
【0052】
【数13】
【0053】
さらに、映像補正部19に出力する補正ゲイン信号16は、低周波ゲイン18に応じて平滑化時の補正ゲインGainBLfltと平滑化なしの補正ゲインGainBLとを使い分けて適用する。すなわち、低周波ゲインGainfreqが1に近い場合(映像の平坦度が大きい場合)には平滑化時の補正ゲインGainBLfltを適用し、低周波ゲインGainfreqが0に近い場合(映像の平坦度が小さい場合)には平滑化なしの補正ゲインGainBLを適用する。これを式で表わすと、低周波ゲインGainfreqに対し、最終的に出力する補正ゲイン信号Gainは〔数式14〕のように決定する。
【0054】
【数14】
【0055】
映像補正部19は、補正ゲイン算出部15から補正ゲイン信号16を入力し、逆ガンマ補正映像信号Xと補正ゲイン信号Gainとの乗算にて補正映像階調F(X)を作成する。そして、補正映像階調F(X)を補正映像信号20として映像表示部102へ出力する。
【0056】
映像表示部102のタイミング制御部21は、入力した補正映像信号20と水平・垂直同期信号に基づいて表示制御信号を生成し、液晶ディスプレイ22に対して映像表示信号と走査信号を送出する。液晶ディスプレイ22では、表示信号と走査信号を受けて、対応する画素領域の液晶パネルに映像階調に対応した電圧を印加し、透過率を制御することで映像を表示する。
【0057】
次に、ローカルディミング方式における階調段差の発生と本実施例による階調段差の低減機能について説明する。図10から図14は、図7Aに示すグラデーション映像が入力した場合に、エリア1とエリア2の境界付近における入力映像階調とこれに対するバックライト輝度値、補正ゲイン、表示映像階調などを示している。
【0058】
図10A、図10B、図10Cは、入力映像信号に対してゲイン補正を行わない場合であって、入力映像階調(図10A)と、バックライト輝度値(図10B)と表示映像階調(図10C)を拡大して示したものである。表示映像階調は、入力映像階調とバックライトの輝度値との乗算となるが、エリア1とエリア2のバックライトの輝度値(調光輝度値)に差があるため、境界付近で大きな階調段差ができる。これは、エリア毎に調光を行うためにできた階調段差であり、この階調段差を除くために、次に述べるように入力映像信号にゲイン補正を施して補正映像階調を作成する。
【0059】
図11A、図11B、図11Cは、入力映像信号に対してゲイン補正を行う場合(ただし平滑化処理なし)であって、目標表示映像階調(図11A)と、補正ゲイン(図11B)と補正映像階調(図11C)を示す。図10Aの入力映像階調に対し、図11Bの補正ゲインを乗算して図11Cの補正映像階調を生成する。これに図10Bのバックライト輝度値を適用することで、実際に表示される表示映像階調が得られる。
【0060】
補正ゲインは、目標となる表示映像階調(目標表示映像階調)を設定し、該目標表示映像階調をバックライトの輝度値と入力映像階調で除算することで求まる。図11Aは目標表示映像階調を示し、入力映像階調を固定輝度値のバックライトで表示した場合から設定したものである。図11Bはこれに対する補正ゲインを示し、結果的にはバックライトの固定の輝度値と調光された輝度値との比(バックライト比)として求まる。図11Cの補正映像階調に図10Bのバックライト輝度値を適用すれば、図11Aと同様の表示映像階調が得られる。
【0061】
これらの関係を演算式で示すと次のようになる。入力映像のRGB値をXとし、目標表示映像階調をf(X)、固定バックライト値をBL0、バックライトの調光輝度値をBL(X)とすると、補正ゲインGainBLと補正映像階調F(X)は〔数式15〕のようになる。
【0062】
【数15】
【0063】
また、目標表示映像階調を算出する方法は、例えば図5の黒輝度と白輝度間の映像信号階調特性において、エリア1の調光値における黒輝度値からエリア2の調光値における白輝度値までを表示映像階調として扱い、入力映像階調をこの表示映像の輝度値にマッピングすることで求まる。しかし、調光階調の分割の仕方によっては、エリア1とエリア2との調光階調差が大きい場合に、入力映像階調をマッピングできない領域ができるため、エリア1とエリア2の輝度値を正しく補間できない。
【0064】
この課題を解決するため、図5を用いた前記エリア内の入力映像の最大値を用いた調光値算出方法に、以下の条件を加えればよい。その条件は、全エリアすなわち画面全体で入力映像の最大値を持つエリアに対し、前記調光値算出方法にて選択する。該エリアを仮に最大輝度エリアと呼ぶ。次に、最大輝度エリアに隣接するエリアの調光値を求める。隣接エリアの調光階調は、最大輝度エリアの調光値における約6%(1/16)の輝度値以上で、隣接エリア内の入力映像の最大値における輝度が最小となる調光階調を選択すればよい。
【0065】
入力映像のRGB値をXとし、バックライトの調光輝度値をBL(X)とし、表示映像階調f(X)は入力映像階調がルックアップテーブルTblを用いてマッピングされたとしてTbl(X)とすると、補正ゲインGainBLと補正値F(X)は〔数式16〕のようになる。
【0066】
【数16】
【0067】
本実施例では補正ゲインの算出方法を2通り示したが、本例限らない。バックライトの調光輝度値と目標表示映像階調を作成できれば、他方式でもよい。
【0068】
前記図11A〜11Cによる補正映像階調の作成方法では、図11Cに示すようにエリア1に小さな階調段差が見られる。この階調段差はエリア間のバックライトの輝度差に比例して大きくなる。以下に、階調段差が生じる理由を説明する。
【0069】
図13A、図13B、図13Cは、入力映像階調に補正ゲインが適用された場合(平滑化処理なし)の階調段差の課題を説明する図である。横軸は、エリア1の中央部分の水平位置である。また、このエリア内において、バックライト輝度分布は図10Bのように平坦であるとする。図13Aは入力映像階調を示し、水平位置とともに緩やかに変化するグラデーション映像であり、例えばエリア内で3画素進む毎に映像階調が1階調上がる勾配となっている。これに対しローカルディミングにより、図13Bに示すような補正ゲイン(Gain=3)が適用されたとする。その結果補正映像階調は、図13Cのように変化し、3画素進む毎に3階調上がる階段状となる。このエリア内におけるバックライトの輝度は一定なため、表示されるグラデーション映像には階調段差が残ったままとなる。
【0070】
この階調段差は、仮に表示階調数を増やしても、図13Cで示すように階調段差の階調数が増すだけで段差が減ることはない。例えば、図13Aの階調数を2倍にしたとすると、図13Cの3階調の段差が6階調の段差となるだけである。
【0071】
これに対し図12A、図12B、図12Cは、本実施例の平滑化処理(例えば、図9の平均値フィルタ)を施した場合を示す図であって、目標表示映像階調(図12A)と、補正ゲイン(図12B)と補正映像階調(図12C)を示す。図12Aは、目標表示映像階調に対して平滑化処理を施したもので、前記図11Aの平滑化処理を行わない場合と比較して映像階調の変化が滑らかになっている。次に図12Bの補正ゲインは、図12Aの目標表示映像階調(平滑化処理あり)をバックライトの輝度値と入力映像階調で除算することで、画素単位で補正ゲインが細かに変化するようになる。図10Aの入力映像階調に対し図12Bの補正ゲインを乗算すると、図12Cの滑らかな補正映像階調が得られる。図12Cの補正映像階調では、図11Cで見られた階調段差は解消されている。
【0072】
図14A、図14B、図14Cは、平滑化処理による効果を説明する図である。図14Aは入力映像階調を示し前記図13Aと同様である。これに対する目標表示映像階調に平滑化処理を施すことで、図12Aのように滑らかな勾配とする。図14Bは補正ゲインを拡大して示したもので、エリア内で一定ではなく、画素ごとに異なる値を持つようになる。その結果補正映像階調は、図14Cのように1画素進む毎に1階調上がる階段状となる。すなわち前記13Cと比較して、階調段差の変化幅を3階調から最小幅の1階調に低減することができる。
【0073】
なお、図14Aにおいて入力映像に対し平滑化処理を施しても、階調段差が1階調であるため効果はない。入力映像階調は、ディザ処理等を施すと入力映像自体の階調感は上がるが、補正ゲイン乗算後は3倍の階調段差となるため、ノイズとして視覚されることになる。
【0074】
本実施例の技術は、調光されたバックライトと、補正映像信号によって設定された透過率の液晶パネルを組み合わせて表示される映像を想定し、目標表示映像階調を作成する。そして視覚対象である目標表示映像階調に対し平滑化処理を行うため、図12Cまたは図14Cのように階調段差のない滑らかな信号を作成することができる。
【0075】
図15は、本実施例の効果を映像表示画面で説明する図である。例えば表示画面として、夕空を背景に草原や木立を写した映像を想定する。バックライトの輝度はほぼ夕空の明るさのグラデーションに沿って調光される。この時、従来技術によるグラデーション表示では、図11Cで述べたように小さな階調段差ができ、拡大映像では斑模様となって表示されてしまう。これに対し本実施例の平滑化処理を導入することで、図12Cで述べたようにグラデーション部分の階調段差が滑らかになり、拡大映像で生じた斑模様は見られなくなる。
【0076】
また本実施例では、入力映像を周波数変換し、低周波領域の映像に対して平滑化処理を適用するようにしている。図15の周波数領域可視化映像において、白い領域(夕空の背景映像)は低周波領域、黒い領域(草原や木立の映像や夕日の輪郭)は高周波領域と判定される。低周波領域の程度は、前記〔数式6〕や〔数式8〕の低周波ゲインとして表わしている。そして、前記〔数式14〕で示したように、低周波領域の程度(低周波ゲイン)に応じて平滑化処理を適用し、高周波領域では平滑化処理による補正を行わないように制御する。これにより高周波領域に含まれる輪郭などのシャープな映像を保持した状態で、低周波領域から高周波領域に渡り滑らかに補正することができる。
【0077】
本実施例では、映像表示部の液晶ディスプレイに用いるバックライトは、画面を複数のエリアに分割してエリアごとに輝度を調整するローカルディミング方式を採用するものとした。しかしながら本実施例による階調段差の低減効果は、画面全体の輝度を一斉に調整するグローバルディミング方式においても有効である。すなわち、画面全体が暗い映像でバックライト輝度を下げる場合、グラデーション部分の階調段差を滑らかにする効果がある。
【実施例2】
【0078】
実施例1では、映像処理部と映像表示部(ディスプレイ)を備える映像表示装置について説明した。実施例2では、映像表示部(ディスプレイ)を外部装置として接続する映像処理装置について説明する。
【0079】
図16は、本発明による映像処理装置103の一実施例を示し、外部にディスプレイ装置104を接続したシステムとして示す。ここでディスプレイ装置104は液晶ディスプレイ22を搭載し、実施例1で説明した通り、CRTと入力データの整合性を保つためにガンマ特性を持つように調整されているものとする。よってディスプレイ装置104には、ガンマ補正された信号が入力される必要がある。
【0080】
映像処理装置103は、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19の他に、出力信号処理部24を追加して構成される。映像処理装置103では、実施例1と同様の方法にて調光値14と補正映像信号20を生成する。さらに出力信号処理部24は、補正映像信号20に対してガンマ補正を行い、ディスプレイ装置104に対してガンマ補正映像信号25を出力する。
【0081】
ディスプレイ装置104には、調光値14とガンマ補正映像信号25が入力される。入力信号処理部26は、ガンマ補正映像信号25を逆ガンマ補正し、逆ガンマ補正映像信号27をタイミング制御部21を介して液晶ディスプレイ22に供給する。また調光値14は、液晶ディスプレイ22のバックライトに供給される。
【0082】
以上より本実施例の映像処理装置103は、ガンマ特性を持つディスプレイ装置104との整合性を維持することができる。
【0083】
以上の各実施例では液晶ディスプレイを用いる場合を説明したが、映像表示素子は液晶パネル以外でも良く、照明用のバックライトを調光する方式に対応したディスプレイであれば良い。また、バックライトの光源はLED以外でも良く、その構造は導光板を用いるサイドライト方式でも良い。
【符号の説明】
【0084】
1…液晶パネル、
2…拡散シート、
3…バックライト、
4…エリア、
5…LED光源、
10…入力映像信号、
11…入力信号処理部、
12…逆ガンマ補正映像信号、
13…調光値算出部、
14…調光値、
15…補正ゲイン算出部、
16…補正ゲイン、
17…低周波検出部、
18…低周波ゲイン、
19…映像補正部、
20…補正映像信号、
21…タイミング制御部、
22…液晶ディスプレイ、
23…メモリ、
24…出力信号処理部、
25…ガンマ補正映像信号、
26…入力信号処理部、
27…逆ガンマ補正映像信号、
100…映像表示装置、
101…映像処理部、
102…映像表示部、
103…映像処理装置、
104…ディスプレイ装置。
【技術分野】
【0001】
本発明は、照明用のバックライトの輝度を調整し映像を表示する映像表示装置と映像表示方法及び映像信号を補正する映像処理装置に関する。
【背景技術】
【0002】
液晶ディスプレイは、テレビジョンやパーソナルコンピュータを始め多くの映像機器等のモニタとして使用されている。液晶ディスプレイでは照明用のバックライトを備えるが、バックライト光源の消費電力低減を図るため、映像の陰影の分布と同期させて局所的に調光を行なうローカルディミング(Local Dimming)方式が提案され、製品化もなされている。ローカルディミング方式におけるバックライトの調光は、画面を所定数の区画(エリア)に分割しエリア単位で行われる。
【0003】
例えば特許文献1には、ローカルディミング方式におけるバックライトの照明輝度分布を考慮して画像信号を補正する方法について記載される。これによりコントラスト比が高くムラの少ない画像品質が得られることが述べられている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−258403号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
液晶ディスプレイの画面に表示される映像の輝度は、例えば白色光源のバックライトとRGB3原色の液晶で構成されるディスプレイの場合、バックライトの輝度値(単位:cd/m2)と、映像信号のR、G、Bそれぞれの値(以下、RGB値と呼ぶ)に応じて制御される液晶の透過率との乗算値で決定される。
【0006】
ローカルディミングの特徴として、バックライトの輝度値を調光できるため、輝度値を固定したバックライトの場合よりも出力映像のコントラスト比が高く、また、調光された各輝度値において映像信号の階調を設定できるため、出力映像の階調も増加する。バックライトの調光は、画面を分割してエリア単位で行われるので、出力映像の階調もエリア単位で設定することができる。
【0007】
しかし従来技術では、エリア間のバックライト輝度差に基づく映像信号の補正は、1画素の映像信号のRGB値とエリア単位のバックライト輝度値との乗算のみで算出されるため、表現できる階調を有効に使用できていない。例えば、従来技術によるグラデーション映像の補正は、エリア間のバックライト輝度差の補間により1画素単位で乗算されるために、出力映像に小さな階調段差が生じ、階調の斑模様が残る。映像の階調数を増やしても、この階調段差の階調幅が増えるだけで段差が減ることはない。
【0008】
本発明は、上記課題を解決し、バックライトの調光により表現できる出力映像の階調を有効に使用し、出力映像に生じる小さな階調段差を解消することを目的とする。
【課題を解決するための手段】
【0009】
本発明の映像表示装置は、映像表示部と映像処理部を有し、前記映像表示部は、映像信号により画素ごとに透過率を調整する映像表示素子と該映像表示素子を背面から照明するバックライトを有し、調光値によって該バックライトの輝度を調整するものであって、前記映像処理部は、入力映像信号より前記バックライトに対する調光値を算出する調光値算出部と、前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出する補正量算出部と、前記入力映像信号に前記補正ゲインを乗算して映像信号を補正し、前記映像表示部に供給する映像補正部とを備える。前記補正量算出部は、前記入力映像信号と前記調光値から目標表示映像を設定し、該目標表示映像を平滑化フィルタにより平滑化し、平滑化された目標表示映像と前記調光値から前記補正ゲインを算出する。
【発明の効果】
【0010】
本発明によれば、出力映像に生じる小さな階調段差を解消し、出力映像の階調感を向上することができる。
【図面の簡単な説明】
【0011】
【図1A】本発明による映像表示装置の一実施例を示す構成図(実施例1)。
【図1B】図1Aの構成において、メモリ23を設けた場合を示す図。
【図2】液晶ディスプレイ22のパネル構成を示す概略図。
【図3A】ローカルディミングを行なう液晶ディスプレイ22の例を示す図。
【図3B】1個のLED光源を点灯したときの輝度分布の例を示す図。
【図4A】ディスプレイのガンマ特性の入出力特性を示す図。
【図4B】ガンマ補正の入出力特性を示す図。
【図5】バックライトの調光階調と入力映像階調の関係を示す図。
【図6A】全面白色映像を入力した場合の入力映像階調を示す図。
【図6B】全面白色映像を入力した場合のバックライトの輝度分布を示す図。
【図7A】グラデーション映像を入力した場合の入力映像階調を示す図。
【図7B】グラデーション映像を入力した場合のバックライトの輝度分布を示す図。
【図8】周波数変換による低周波領域の検出方法を説明する図。
【図9】平均値フィルタによる平滑化処理を説明する図。
【図10A】グラデーション映像入力時の入力映像階調を示す図。
【図10B】グラデーション映像入力時のバックライト輝度値を示す図。
【図10C】グラデーション映像入力時の表示映像階調を示す図(ゲイン補正なし)。
【図11A】グラデーション映像入力時の目標表示映像階調を示す図(平滑化なし)。
【図11B】グラデーション映像入力時の補正ゲインを示す図(平滑化なし)。
【図11C】グラデーション映像入力時の補正映像階調を示す図(平滑化なし)。
【図12A】グラデーション映像入力時の目標表示映像階調を示す図(平滑化あり)。
【図12B】グラデーション映像入力時の補正ゲインを示す図(平滑化あり)。
【図12C】グラデーション映像入力時の補正映像階調を示す図(平滑化あり)。
【図13A】階調段差の発生に関連し入力映像階調を示す図。
【図13B】階調段差の発生に関連し補正ゲインを示す図(平滑化なし)。
【図13C】階調段差の発生に関連し補正映像階調を示す図(平滑化なし)。
【図14A】階調段差の低減に関連し入力映像階調を示す図。
【図14B】階調段差の低減に関連し補正ゲインを示す図(平滑化あり)。
【図14C】階調段差の低減に関連し補正映像階調を示す図(平滑化あり)。
【図15】本実施例の効果を映像表示画面で説明する図。
【図16】本発明による映像処理装置の一実施例を示す構成図(実施例2)。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
【実施例1】
【0013】
図1Aは、本発明による映像表示装置の一実施例を示す構成図である。映像表示装置100は、映像処理部101と映像表示部102を備え、映像処理部101には、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19を有し、映像表示部102には、タイミング制御部21と液晶ディスプレイ22を有する。液晶ディスプレイ22は映像表示素子である液晶パネルとローカルディミングを行うバックライトを含む。映像処理部101は映像表示部102に対し、入力映像信号10に応じてバックライト輝度を制御する調光値14を送る。また、調光値14に応じて入力映像信号10に対する補正ゲイン16を決定し、補正した補正映像信号20を供給する。映像表示部102の液晶ディスプレイ22は、調光値14によりバックライトの輝度を設定し、補正映像信号20により液晶パネルを駆動し、映像を表示する。
【0014】
図2は、液晶ディスプレイ22のパネル構成を示す概略図である。1は液晶パネル、2は拡散シート、3はバックライトである。バックライト3からの照明光は拡散シート2で広がり液晶パネル1を背面から照射し、液晶パネル1の透過率を変えることで照明光の透過量を調整して映像を表示する。なお、液晶パネル1には3原色カラーフィルタ層を設けて、これによりカラー映像を表示する。液晶パネル1の透過率は補正映像信号20により制御され、バックライト3の明るさ(輝度)は調光値14により制御される。
【0015】
図3Aは、ローカルディミングを行なう液晶ディスプレイ22の例を示す。ここには、直下方式のバックライト構造で、画面を4×4のエリアに分割した場合を示す。各エリア4には光源として1個の発光ダイオード(LED)5を配設している。図3Bは、1個のLED光源5を点灯したときの輝度分布の例を示す。エリア境界では輝度が徐々に低下し、隣接エリアに照明光が漏れ出す分布となっている。
【0016】
液晶ディスプレイ22の各エリアにおいて、入力する映像信号のRGB値をXとし、液晶パネル1の透過率をαとし、バックライト3による輝度値をBLとすると、表示される映像の輝度(RGB値)f(X)は〔数式1〕となる。
【0017】
【数1】
【0018】
このように、液晶ディスプレイ22は液晶パネル1の透過率αによって階調表現を行うものであり、表示映像の輝度値f(X)は、透過率αとバックライト3の輝度値BLの乗算で決まる。なお、入力映像信号のRGB値Xと透過率αとの関係は、表示映像の輝度特性がブラウン管を用いたディスプレイ(CRT)と同様になるように補正を行う。
【0019】
以下、映像処理装置101の各部の動作を詳細に説明する。
入力信号処理部11では、入力映像信号10の形式を映像表示部102に対応した形式の信号に変換し、例えばRGB3原色の液晶パネルであればRGBへの変換処理を行う。また入力映像信号10はガンマ補正されているため、ガンマ特性に適用する処理(以下、逆ガンマ補正と呼ぶ)を行い、逆ガンマ補正映像信号12を出力する。
【0020】
図4Aと図4Bは、ガンマ特性とガンマ補正を説明する図である。この図を用いて液晶ディスプレイの調整方法を説明する。CRTの持つ入出力特性は、入力値である入力映像のRGB値と出力値である表示映像の輝度値との関係は、比例関係ではなく入力値のべき乗で近似され、この特性をガンマ特性と呼ぶ。ここで、入力値Xとし入力値に対する指数をγ(ガンマ)とすると、出力値G(X)は〔数式2〕のように表される。一般に、γは1.8または2.2で設定されることが多い。
【0021】
【数2】
【0022】
図4Aは、γが2.2の場合のガンマ特性を示し、横軸は入力する映像階調、縦軸は出力する表示映像階調である。入力値の映像階調の小さい領域すなわち暗い領域では、出力階調が潰れてしまう。この階調潰れの問題を解消するためにガンマ補正を行う。ガンマ補正は入力値Xに対し、〔数式2〕の逆関数を用いて補正し、その出力値g(X)は〔数式3〕となる。
【0023】
【数3】
【0024】
図4Bは、γが2.2の場合のガンマ補正を示す。ガンマ特性を持つディスプレイにガンマ補正をした映像信号を入力すると、出力値はG(g(X))=Xとなり、入力値と出力値が比例関係となるため階調潰れが解消される。
【0025】
以上のように、入力データについてCRTとの整合性を保つために、液晶ディスプレイ22はガンマ特性を持つように設計されている。ガンマ補正は、入力映像階調の値と表示映像の輝度値とを比例関係にし、入力階調が階調潰れなく表示するための補正である。なお、以下の説明ではガンマ特性を持つディスプレイに対し常にガンマ補正が行われていると考え、液晶ディスプレイでの入出力特性は、γ=1、すなわち入力映像階調の値と液晶パネルの輝度値とは比例関係が成り立つとして説明を行う。
【0026】
調光値算出部13は、逆ガンマ補正映像信号12を入力し、バックライト(LED光源)の各エリアの輝度を設定する調光値14を出力する。ここでバックライトの調光は、例えば入力映像信号の階調を調光の階調数で均等に分割し、調光の1階調エリア内の入力映像信号の最大値により調光階調の値(調光値)を選択する。
【0027】
図5は、バックライトの調光階調と入力映像階調の関係を示す。横軸はバックライトの調光階調で16階調とし、縦軸は表示映像の輝度値で16階調とした場合である。図中の上側の点線で表した直線は、バックライトの各調光階調において、入力映像の最大値を与えた場合の輝度(白輝度レベル)で、下側の点線で表した直線は、入力映像の最小値を与えた場合の輝度(黒輝度レベル)を示す。点線間の実線直線群は、それぞれの調光階調において、映像信号が16階調ずつ割り当てられることを示す。また、エリア調光値の選定は、エリア内の入力映像の最大値が、例えば、表示映像の輝度値の約94%(全体の15/16)以上に存在する調光値を選べばよい。このようにして、最大輝度エリアを設定した後に順次隣接エリアの輝度を求めていく。
【0028】
なお、調光値算出部13は、ルックアップテーブルを用いて調光値を求めることができる。この場合は、画面全体のエリアに渡り調整するため、調光値算出部13で算出される調光値14は、映像補正部19で算出される補正映像信号20に比べ1フレーム分遅延する。この1フレーム遅延を解消するため、図1Bに示すようにメモリ23を設け、調光値算出部13以外の逆ガンマ補正映像信号12の入力を1フレーム分遅延させ、タイミングを合わせた後に各処理部へ入力すればよい。
【0029】
図6Aと図6Bは、全面白色の映像を入力した場合の入力映像階調(図6A)とバックライトの輝度(図6B)を示す図である。図中の横軸は図3Aにおけるディスプレイを横断する水平位置であり、エリアに分割して示している。図6Bの台形型の点線は、図3Bにて示した輝度分布を持つLED光源が4個並んでいることを示す。また、全面白色のため4個とも同じ輝度ピークで発光しており、これらを重ね合わせた加算値は実線で示す一定の輝度レベルとなる。
【0030】
図7Aと図7Bは、グラデーション映像を入力した場合の入力映像階調(図7A)とバックライトの輝度値(図7B)の分布を示す図である。図7Aには、映像階調が水平方向に緩やかに変化するグラデーション映像を示している。この場合のバックライト輝度値は、前記図5を用いて各エリアの入力映像の最大値から求める。図7Bの点線は各エリアの輝度値を示し、4個のLED光源が異なる輝度値で発光し、これらを重ね合わせた加算値は実線で示すように折れ線状の輝度分布を示している。
【0031】
次に、本実施例の特徴である低周波検出部17と補正ゲイン算出部15について説明する。
低周波検出部17は、逆ガンマ補正映像信号12を入力して平坦な低周波映像領域を検出し、注目画素に対して映像の平坦度を示すゲイン値(以下、低周波ゲインと呼ぶ)18を算出して出力する。低周波ゲインの算出方法は、例えばFFT(First Fourier Transform)やDCT(Discrete Cosine Transform)等の周波数変換を利用して平坦な低周波映像を検出し、低周波領域のスペクトラムに応じて低周波ゲイン18を算出する。
【0032】
図8は、周波数変換による低周波領域の検出方法を説明する図である。図中の映像空間(x,y)は注目画素を中央に含む8×8画素範囲を示し、周波数変換により8×8の周波数空間(u,v)に変換する。また、図中の閾値FTHにより、低周波側の周波数領域(領域a)と高周波側の周波数領域(領域b)に分割する。すなわち、低周波領域aに属する周波数空間(u,v)は、閾値FTHにより〔数式4〕で表される。
【0033】
【数4】
【0034】
次に低周波ゲインの算出方法を説明する。周波数(u,v)におけるスペクトルをs(u,v)とし、閾値FTH内の絶対値スペクトルの合計をSとすると、合計スペクトルSを〔数式5〕から求める。
【0035】
【数5】
【0036】
絶対値スペクトルの合計Sは映像の平坦度の大きさを示しており、Sの値を0〜1の値で規格化して低周波ゲインGainfreqとする。得られたS値に対して、低周波領域として判定する閾値をS0、後述する平滑化処理を適用する限界値をS1とすると、低周波ゲインGainfreqを〔数式6〕から求める。
【0037】
【数6】
【0038】
その他の低周波ゲインの算出方法として、DoG(Difference of Gaussian)フィルタを用いてエッジを算出し、エッジの大きさに応じてゲインを決めることもできる。例えばN×N(Nは正数)画素範囲におけるDoGフィルタは、分散値をσとし、スケール因子をkとし、映像座標(x,y)の映像信号(ここでは逆ガンマ補正映像信号)をX(x,y)とすると、〔数式7〕で表わされる。
【0039】
【数7】
【0040】
また、エッジ検出は、単純にX(x,y)に隣接する画素差に対する絶対値の合計値を用いてもよい。エッジ算出結果をエッジとしてEで表し、低周波領域として判定するエッジ閾値をE0、後述する平滑化処理を適用する限界値をE1とすると、低周波ゲインGainfreqを〔数式8〕から求める。
【0041】
【数8】
【0042】
補正ゲイン算出部15は、逆ガンマ補正映像信号12、調光値14、および低周波ゲイン18を入力し、映像補正部19に対して補正ゲイン信号16を出力する。まず、逆ガンマ補正映像信号12と調光値14により、理論的な表示目標である表示映像階調(以下、目標表示映像階調と呼ぶ)を作成する。次に、目標表示映像階調に対して本実施例の特徴である平滑化処理を施す。そして、平滑化処理された目標表示映像階調から補正ゲインを求めるとともに、低周波ゲイン18の大きさに応じてこれを適用する。入力映像のRGB値をXとし、固定バックライト値をBL0とすると、目標表示映像階調f(X)は、〔数式9〕で表わされる。
【0043】
【数9】
【0044】
次に、目標表示映像階調f(X)の平滑化処理では、例えば、注目画素を中心に含むN×N(Nは正数)画素範囲で平滑化フィルタfilter(x,y)を用いる。ここで平滑化フィルタとして、〔数式10〕で表わされる平均値フィルタを用いることができる。また図9は、平均値フィルタによる平滑化処理を説明する図で、ここでは、周囲7×7画素の範囲で平均化する処理を示す。
【0045】
【数10】
【0046】
映像座標(x,y)の映像信号をX(x,y)、目標表示映像階調をf(X)とすると、平滑化処理後の目標表示映像階調fflt(X(x、y))は〔数式11〕で表わされる。なお、添え字fltは平滑化フィルタ適用後の値であることを示す。
【0047】
【数11】
【0048】
その他の平滑化フィルタとして、〔数式7〕中のガウシアンフィルタGaussや加重平均フィルタを用いることもできる。
【0049】
また、平滑化処理として、周波数変換を利用したLPF(ローパスフィルタ)を用いてもよい。この時のLPFは、図8の領域aのみ通過させるようなフィルタである。領域aのみ通過させるフィルタをfilterLPFとし、DCTと逆DCT(DCT−1)を用いると〔数式12〕のようになる。
【0050】
【数12】
【0051】
次に、平滑化処理後の目標表示映像階調fflt(X(x、y))とバックライトの調光輝度値BL(X(x、y))から、平滑化時の補正ゲインGainBLfltを〔数式13〕により算出する。ここの添え字fltも、平滑化フィルタ適用後の値であることを示す。
【0052】
【数13】
【0053】
さらに、映像補正部19に出力する補正ゲイン信号16は、低周波ゲイン18に応じて平滑化時の補正ゲインGainBLfltと平滑化なしの補正ゲインGainBLとを使い分けて適用する。すなわち、低周波ゲインGainfreqが1に近い場合(映像の平坦度が大きい場合)には平滑化時の補正ゲインGainBLfltを適用し、低周波ゲインGainfreqが0に近い場合(映像の平坦度が小さい場合)には平滑化なしの補正ゲインGainBLを適用する。これを式で表わすと、低周波ゲインGainfreqに対し、最終的に出力する補正ゲイン信号Gainは〔数式14〕のように決定する。
【0054】
【数14】
【0055】
映像補正部19は、補正ゲイン算出部15から補正ゲイン信号16を入力し、逆ガンマ補正映像信号Xと補正ゲイン信号Gainとの乗算にて補正映像階調F(X)を作成する。そして、補正映像階調F(X)を補正映像信号20として映像表示部102へ出力する。
【0056】
映像表示部102のタイミング制御部21は、入力した補正映像信号20と水平・垂直同期信号に基づいて表示制御信号を生成し、液晶ディスプレイ22に対して映像表示信号と走査信号を送出する。液晶ディスプレイ22では、表示信号と走査信号を受けて、対応する画素領域の液晶パネルに映像階調に対応した電圧を印加し、透過率を制御することで映像を表示する。
【0057】
次に、ローカルディミング方式における階調段差の発生と本実施例による階調段差の低減機能について説明する。図10から図14は、図7Aに示すグラデーション映像が入力した場合に、エリア1とエリア2の境界付近における入力映像階調とこれに対するバックライト輝度値、補正ゲイン、表示映像階調などを示している。
【0058】
図10A、図10B、図10Cは、入力映像信号に対してゲイン補正を行わない場合であって、入力映像階調(図10A)と、バックライト輝度値(図10B)と表示映像階調(図10C)を拡大して示したものである。表示映像階調は、入力映像階調とバックライトの輝度値との乗算となるが、エリア1とエリア2のバックライトの輝度値(調光輝度値)に差があるため、境界付近で大きな階調段差ができる。これは、エリア毎に調光を行うためにできた階調段差であり、この階調段差を除くために、次に述べるように入力映像信号にゲイン補正を施して補正映像階調を作成する。
【0059】
図11A、図11B、図11Cは、入力映像信号に対してゲイン補正を行う場合(ただし平滑化処理なし)であって、目標表示映像階調(図11A)と、補正ゲイン(図11B)と補正映像階調(図11C)を示す。図10Aの入力映像階調に対し、図11Bの補正ゲインを乗算して図11Cの補正映像階調を生成する。これに図10Bのバックライト輝度値を適用することで、実際に表示される表示映像階調が得られる。
【0060】
補正ゲインは、目標となる表示映像階調(目標表示映像階調)を設定し、該目標表示映像階調をバックライトの輝度値と入力映像階調で除算することで求まる。図11Aは目標表示映像階調を示し、入力映像階調を固定輝度値のバックライトで表示した場合から設定したものである。図11Bはこれに対する補正ゲインを示し、結果的にはバックライトの固定の輝度値と調光された輝度値との比(バックライト比)として求まる。図11Cの補正映像階調に図10Bのバックライト輝度値を適用すれば、図11Aと同様の表示映像階調が得られる。
【0061】
これらの関係を演算式で示すと次のようになる。入力映像のRGB値をXとし、目標表示映像階調をf(X)、固定バックライト値をBL0、バックライトの調光輝度値をBL(X)とすると、補正ゲインGainBLと補正映像階調F(X)は〔数式15〕のようになる。
【0062】
【数15】
【0063】
また、目標表示映像階調を算出する方法は、例えば図5の黒輝度と白輝度間の映像信号階調特性において、エリア1の調光値における黒輝度値からエリア2の調光値における白輝度値までを表示映像階調として扱い、入力映像階調をこの表示映像の輝度値にマッピングすることで求まる。しかし、調光階調の分割の仕方によっては、エリア1とエリア2との調光階調差が大きい場合に、入力映像階調をマッピングできない領域ができるため、エリア1とエリア2の輝度値を正しく補間できない。
【0064】
この課題を解決するため、図5を用いた前記エリア内の入力映像の最大値を用いた調光値算出方法に、以下の条件を加えればよい。その条件は、全エリアすなわち画面全体で入力映像の最大値を持つエリアに対し、前記調光値算出方法にて選択する。該エリアを仮に最大輝度エリアと呼ぶ。次に、最大輝度エリアに隣接するエリアの調光値を求める。隣接エリアの調光階調は、最大輝度エリアの調光値における約6%(1/16)の輝度値以上で、隣接エリア内の入力映像の最大値における輝度が最小となる調光階調を選択すればよい。
【0065】
入力映像のRGB値をXとし、バックライトの調光輝度値をBL(X)とし、表示映像階調f(X)は入力映像階調がルックアップテーブルTblを用いてマッピングされたとしてTbl(X)とすると、補正ゲインGainBLと補正値F(X)は〔数式16〕のようになる。
【0066】
【数16】
【0067】
本実施例では補正ゲインの算出方法を2通り示したが、本例限らない。バックライトの調光輝度値と目標表示映像階調を作成できれば、他方式でもよい。
【0068】
前記図11A〜11Cによる補正映像階調の作成方法では、図11Cに示すようにエリア1に小さな階調段差が見られる。この階調段差はエリア間のバックライトの輝度差に比例して大きくなる。以下に、階調段差が生じる理由を説明する。
【0069】
図13A、図13B、図13Cは、入力映像階調に補正ゲインが適用された場合(平滑化処理なし)の階調段差の課題を説明する図である。横軸は、エリア1の中央部分の水平位置である。また、このエリア内において、バックライト輝度分布は図10Bのように平坦であるとする。図13Aは入力映像階調を示し、水平位置とともに緩やかに変化するグラデーション映像であり、例えばエリア内で3画素進む毎に映像階調が1階調上がる勾配となっている。これに対しローカルディミングにより、図13Bに示すような補正ゲイン(Gain=3)が適用されたとする。その結果補正映像階調は、図13Cのように変化し、3画素進む毎に3階調上がる階段状となる。このエリア内におけるバックライトの輝度は一定なため、表示されるグラデーション映像には階調段差が残ったままとなる。
【0070】
この階調段差は、仮に表示階調数を増やしても、図13Cで示すように階調段差の階調数が増すだけで段差が減ることはない。例えば、図13Aの階調数を2倍にしたとすると、図13Cの3階調の段差が6階調の段差となるだけである。
【0071】
これに対し図12A、図12B、図12Cは、本実施例の平滑化処理(例えば、図9の平均値フィルタ)を施した場合を示す図であって、目標表示映像階調(図12A)と、補正ゲイン(図12B)と補正映像階調(図12C)を示す。図12Aは、目標表示映像階調に対して平滑化処理を施したもので、前記図11Aの平滑化処理を行わない場合と比較して映像階調の変化が滑らかになっている。次に図12Bの補正ゲインは、図12Aの目標表示映像階調(平滑化処理あり)をバックライトの輝度値と入力映像階調で除算することで、画素単位で補正ゲインが細かに変化するようになる。図10Aの入力映像階調に対し図12Bの補正ゲインを乗算すると、図12Cの滑らかな補正映像階調が得られる。図12Cの補正映像階調では、図11Cで見られた階調段差は解消されている。
【0072】
図14A、図14B、図14Cは、平滑化処理による効果を説明する図である。図14Aは入力映像階調を示し前記図13Aと同様である。これに対する目標表示映像階調に平滑化処理を施すことで、図12Aのように滑らかな勾配とする。図14Bは補正ゲインを拡大して示したもので、エリア内で一定ではなく、画素ごとに異なる値を持つようになる。その結果補正映像階調は、図14Cのように1画素進む毎に1階調上がる階段状となる。すなわち前記13Cと比較して、階調段差の変化幅を3階調から最小幅の1階調に低減することができる。
【0073】
なお、図14Aにおいて入力映像に対し平滑化処理を施しても、階調段差が1階調であるため効果はない。入力映像階調は、ディザ処理等を施すと入力映像自体の階調感は上がるが、補正ゲイン乗算後は3倍の階調段差となるため、ノイズとして視覚されることになる。
【0074】
本実施例の技術は、調光されたバックライトと、補正映像信号によって設定された透過率の液晶パネルを組み合わせて表示される映像を想定し、目標表示映像階調を作成する。そして視覚対象である目標表示映像階調に対し平滑化処理を行うため、図12Cまたは図14Cのように階調段差のない滑らかな信号を作成することができる。
【0075】
図15は、本実施例の効果を映像表示画面で説明する図である。例えば表示画面として、夕空を背景に草原や木立を写した映像を想定する。バックライトの輝度はほぼ夕空の明るさのグラデーションに沿って調光される。この時、従来技術によるグラデーション表示では、図11Cで述べたように小さな階調段差ができ、拡大映像では斑模様となって表示されてしまう。これに対し本実施例の平滑化処理を導入することで、図12Cで述べたようにグラデーション部分の階調段差が滑らかになり、拡大映像で生じた斑模様は見られなくなる。
【0076】
また本実施例では、入力映像を周波数変換し、低周波領域の映像に対して平滑化処理を適用するようにしている。図15の周波数領域可視化映像において、白い領域(夕空の背景映像)は低周波領域、黒い領域(草原や木立の映像や夕日の輪郭)は高周波領域と判定される。低周波領域の程度は、前記〔数式6〕や〔数式8〕の低周波ゲインとして表わしている。そして、前記〔数式14〕で示したように、低周波領域の程度(低周波ゲイン)に応じて平滑化処理を適用し、高周波領域では平滑化処理による補正を行わないように制御する。これにより高周波領域に含まれる輪郭などのシャープな映像を保持した状態で、低周波領域から高周波領域に渡り滑らかに補正することができる。
【0077】
本実施例では、映像表示部の液晶ディスプレイに用いるバックライトは、画面を複数のエリアに分割してエリアごとに輝度を調整するローカルディミング方式を採用するものとした。しかしながら本実施例による階調段差の低減効果は、画面全体の輝度を一斉に調整するグローバルディミング方式においても有効である。すなわち、画面全体が暗い映像でバックライト輝度を下げる場合、グラデーション部分の階調段差を滑らかにする効果がある。
【実施例2】
【0078】
実施例1では、映像処理部と映像表示部(ディスプレイ)を備える映像表示装置について説明した。実施例2では、映像表示部(ディスプレイ)を外部装置として接続する映像処理装置について説明する。
【0079】
図16は、本発明による映像処理装置103の一実施例を示し、外部にディスプレイ装置104を接続したシステムとして示す。ここでディスプレイ装置104は液晶ディスプレイ22を搭載し、実施例1で説明した通り、CRTと入力データの整合性を保つためにガンマ特性を持つように調整されているものとする。よってディスプレイ装置104には、ガンマ補正された信号が入力される必要がある。
【0080】
映像処理装置103は、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19の他に、出力信号処理部24を追加して構成される。映像処理装置103では、実施例1と同様の方法にて調光値14と補正映像信号20を生成する。さらに出力信号処理部24は、補正映像信号20に対してガンマ補正を行い、ディスプレイ装置104に対してガンマ補正映像信号25を出力する。
【0081】
ディスプレイ装置104には、調光値14とガンマ補正映像信号25が入力される。入力信号処理部26は、ガンマ補正映像信号25を逆ガンマ補正し、逆ガンマ補正映像信号27をタイミング制御部21を介して液晶ディスプレイ22に供給する。また調光値14は、液晶ディスプレイ22のバックライトに供給される。
【0082】
以上より本実施例の映像処理装置103は、ガンマ特性を持つディスプレイ装置104との整合性を維持することができる。
【0083】
以上の各実施例では液晶ディスプレイを用いる場合を説明したが、映像表示素子は液晶パネル以外でも良く、照明用のバックライトを調光する方式に対応したディスプレイであれば良い。また、バックライトの光源はLED以外でも良く、その構造は導光板を用いるサイドライト方式でも良い。
【符号の説明】
【0084】
1…液晶パネル、
2…拡散シート、
3…バックライト、
4…エリア、
5…LED光源、
10…入力映像信号、
11…入力信号処理部、
12…逆ガンマ補正映像信号、
13…調光値算出部、
14…調光値、
15…補正ゲイン算出部、
16…補正ゲイン、
17…低周波検出部、
18…低周波ゲイン、
19…映像補正部、
20…補正映像信号、
21…タイミング制御部、
22…液晶ディスプレイ、
23…メモリ、
24…出力信号処理部、
25…ガンマ補正映像信号、
26…入力信号処理部、
27…逆ガンマ補正映像信号、
100…映像表示装置、
101…映像処理部、
102…映像表示部、
103…映像処理装置、
104…ディスプレイ装置。
【特許請求の範囲】
【請求項1】
映像表示部と映像処理部を有する映像表示装置において、
前記映像表示部は、映像信号により画素ごとに透過率を調整する映像表示素子と該映像表示素子を背面から照明するバックライトを有し、調光値によって該バックライトの輝度を調整するものであって、
前記映像処理部は、
入力映像信号より前記バックライトに対する調光値を算出する調光値算出部と、
前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出する補正量算出部と、
前記入力映像信号に前記補正ゲインを乗算して映像信号を補正し、前記映像表示部に供給する映像補正部とを備え、
前記補正量算出部は、前記入力映像信号と前記調光値から目標表示映像を設定し、該目標表示映像を平滑化フィルタにより平滑化し、平滑化された目標表示映像と前記調光値から前記補正ゲインを算出することを特徴とする映像表示装置。
【請求項2】
請求項1に記載の映像表示装置において、
前記映像処理部は、前記入力映像信号から映像の平坦度を示す低周波ゲインを求める低周波検出部を備え、
前記補正量算出部は、前記低周波ゲインに応じて、前記平滑化された目標表示映像信号から求めた補正ゲインと平滑化しない目標表示映像信号から求めた補正ゲインの適用比率を調整することを特徴とする映像表示装置。
【請求項3】
請求項2に記載の映像表示装置において、
前記補正量算出部は、前記低周波ゲインにより映像の平坦度が大きいとされた場合、前記平滑化された目標表示映像信号から求めた補正ゲインを適用し、前記低周波ゲインにより映像の平坦度が小さいとされた場合、前記平滑化しない目標表示映像信号から求めた補正ゲインを適用することを特徴とする映像表示装置。
【請求項4】
請求項1に記載の映像表示装置において、
前記補正量算出部は前記平滑化フィルタとして、平均値フィルタ、ローパスフィルタ、ガウシアンフィルタのいずれかを用いることを特徴とする映像表示装置。
【請求項5】
請求項2に記載の映像表示装置において、
前記低周波検出部は前記低周波ゲインを求めるために、入力映像信号を周波数変換して検出した低周波領域の大きさ、または入力映像信号をフィルタ処理して検出したエッジの大きさを用いることを特徴とする映像表示装置。
【請求項6】
請求項1に記載の映像表示装置において、
前記映像表示部は、前記映像表示素子として液晶パネルを用いるとともに、前記バックライトは、複数のエリアに分割された表示画面に対応し各エリアごとに輝度を調整するものであることを特徴とする映像表示装置。
【請求項7】
映像信号を処理してディスプレイ装置に供給する映像処理装置において、
前記ディスプレイ装置は、映像信号により画素ごとに透過率を調整する映像表示素子と該映像表示素子を背面から照明するバックライトを有し、調光値によって該バックライトの輝度を調整するものであって、
前記映像処理装置は、
入力映像信号より前記バックライトに対する調光値を算出する調光値算出部と、
前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出する補正量算出部と、
前記入力映像信号に前記補正ゲインを乗算して映像信号を補正し、前記映像表示部に供給する映像補正部とを備え、
前記補正量算出部は、前記入力映像信号と前記調光値から表示目標となる目標表示映像信号を設定し、該目標表示映像信号を平滑化し、該平滑化された目標表示映像信号と前記調光値から前記補正ゲインを算出することを特徴とする映像処理装置。
【請求項8】
映像表示素子とバックライトを有するディスプレイ装置にて映像信号を表示する映像表示方法において、
入力映像信号より前記バックライトに対する調光値を算出するステップと、
前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出するステップと、
前記入力映像信号に前記補正ゲインを乗算して映像信号を補正するステップと、
前記ディスプレイ装置に前記調光値と前記補正した映像信号を供給するステップとを備え、
前記補正ゲインを算出するステップは、前記入力映像信号と前記調光値から目標表示映像を設定するステップと、該目標表示映像を平滑化フィルタにより平滑化するステップと、平滑化された目標表示映像と前記調光値から前記補正ゲインを算出するステップとを有することを特徴とする映像表示方法。
【請求項1】
映像表示部と映像処理部を有する映像表示装置において、
前記映像表示部は、映像信号により画素ごとに透過率を調整する映像表示素子と該映像表示素子を背面から照明するバックライトを有し、調光値によって該バックライトの輝度を調整するものであって、
前記映像処理部は、
入力映像信号より前記バックライトに対する調光値を算出する調光値算出部と、
前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出する補正量算出部と、
前記入力映像信号に前記補正ゲインを乗算して映像信号を補正し、前記映像表示部に供給する映像補正部とを備え、
前記補正量算出部は、前記入力映像信号と前記調光値から目標表示映像を設定し、該目標表示映像を平滑化フィルタにより平滑化し、平滑化された目標表示映像と前記調光値から前記補正ゲインを算出することを特徴とする映像表示装置。
【請求項2】
請求項1に記載の映像表示装置において、
前記映像処理部は、前記入力映像信号から映像の平坦度を示す低周波ゲインを求める低周波検出部を備え、
前記補正量算出部は、前記低周波ゲインに応じて、前記平滑化された目標表示映像信号から求めた補正ゲインと平滑化しない目標表示映像信号から求めた補正ゲインの適用比率を調整することを特徴とする映像表示装置。
【請求項3】
請求項2に記載の映像表示装置において、
前記補正量算出部は、前記低周波ゲインにより映像の平坦度が大きいとされた場合、前記平滑化された目標表示映像信号から求めた補正ゲインを適用し、前記低周波ゲインにより映像の平坦度が小さいとされた場合、前記平滑化しない目標表示映像信号から求めた補正ゲインを適用することを特徴とする映像表示装置。
【請求項4】
請求項1に記載の映像表示装置において、
前記補正量算出部は前記平滑化フィルタとして、平均値フィルタ、ローパスフィルタ、ガウシアンフィルタのいずれかを用いることを特徴とする映像表示装置。
【請求項5】
請求項2に記載の映像表示装置において、
前記低周波検出部は前記低周波ゲインを求めるために、入力映像信号を周波数変換して検出した低周波領域の大きさ、または入力映像信号をフィルタ処理して検出したエッジの大きさを用いることを特徴とする映像表示装置。
【請求項6】
請求項1に記載の映像表示装置において、
前記映像表示部は、前記映像表示素子として液晶パネルを用いるとともに、前記バックライトは、複数のエリアに分割された表示画面に対応し各エリアごとに輝度を調整するものであることを特徴とする映像表示装置。
【請求項7】
映像信号を処理してディスプレイ装置に供給する映像処理装置において、
前記ディスプレイ装置は、映像信号により画素ごとに透過率を調整する映像表示素子と該映像表示素子を背面から照明するバックライトを有し、調光値によって該バックライトの輝度を調整するものであって、
前記映像処理装置は、
入力映像信号より前記バックライトに対する調光値を算出する調光値算出部と、
前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出する補正量算出部と、
前記入力映像信号に前記補正ゲインを乗算して映像信号を補正し、前記映像表示部に供給する映像補正部とを備え、
前記補正量算出部は、前記入力映像信号と前記調光値から表示目標となる目標表示映像信号を設定し、該目標表示映像信号を平滑化し、該平滑化された目標表示映像信号と前記調光値から前記補正ゲインを算出することを特徴とする映像処理装置。
【請求項8】
映像表示素子とバックライトを有するディスプレイ装置にて映像信号を表示する映像表示方法において、
入力映像信号より前記バックライトに対する調光値を算出するステップと、
前記入力映像信号を前記調光値に応じて補正するための補正ゲインを算出するステップと、
前記入力映像信号に前記補正ゲインを乗算して映像信号を補正するステップと、
前記ディスプレイ装置に前記調光値と前記補正した映像信号を供給するステップとを備え、
前記補正ゲインを算出するステップは、前記入力映像信号と前記調光値から目標表示映像を設定するステップと、該目標表示映像を平滑化フィルタにより平滑化するステップと、平滑化された目標表示映像と前記調光値から前記補正ゲインを算出するステップとを有することを特徴とする映像表示方法。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図14C】
【図15】
【図16】
【図1B】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図14C】
【図15】
【図16】
【公開番号】特開2013−15630(P2013−15630A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−147388(P2011−147388)
【出願日】平成23年7月1日(2011.7.1)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願日】平成23年7月1日(2011.7.1)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】
[ Back to top ]