説明

画像表示装置及びその制御方法

【課題】液晶表示装置において動きのある映像を表示する際の表示品質のさらなる改善を図る。
【解決手段】画像表示装置は、液晶パネルと、バックライトと、前記バックライトの発光を制御する制御部と、を備える。制御部は、入力される映像信号を解析して、映像の動きを検出し、検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定する。さらに、制御部は、発光時間が短くなるほど発光強度が大きくなるように、設定された発光時間に応じて前記バックライトの発光強度を変更するとよい。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像表示装置及びその制御方法に関し、詳しくは液晶表示装置のバックライトの制御方法に関する。
【背景技術】
【0002】
従来より、液晶表示装置(LCD)の表示品質を向上するためのさまざまな方法が提案されている。例えば特許文献1では、液晶表示装置のようなホールド型ディスプレイに特有の動画ボケ(ホールドボケ)を改善するために、フレーム間の差分量に応じた黒信号レベルの黒フレームを映像フレームの間に挿入することが開示されている。なお、黒フレームの挿入によってフリッカが発生する可能性があるため、特許文献1では、黒信号レベルの高/低に応じてバックライトの輝度を高/低に制御することでフリッカの発生を軽減している。また特許文献2には、フレーム単位の映像信号のヒストグラムに基づいてバックライトの発光強度を制御することで、鮮やかな映像表示が得られることが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−096521号公報
【特許文献2】特開2008−134664号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のような黒フレーム挿入は、液晶表示装置でインパルス型ディスプレイと同じような表示を実現するものであり、動きの大きい映像におけるホールドボケの改善には有効である。しかし、本発明者らの検討により、動きの大きい映像の中にも、インパルス型の表示に向かないものがあることが分かってきた。例えば、物体が様々な方向・速度で動いているような映像に対して黒フレーム挿入を行うと、物体の動きの連続性が視覚的に感じられなくなり、物体がランダムな位置に現れては消えるように見えることがある。このような妨害感を本明細書ではランダム感とよぶ。従来方法では、このようなランダム感の発生を回避することはできない。
【0005】
本発明は上記実情に鑑みてなされたものであり、液晶表示装置において動きのある映像を表示する際の表示品質のさらなる改善を目的とする。
【課題を解決するための手段】
【0006】
本発明の第1態様は、液晶パネルと、バックライトと、前記バックライトの発光を制御する制御部と、を備え、前記制御部は、入力される映像信号を解析して、映像の動きを検出し、検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定する画像表示装置を提供する。
【0007】
本発明の第2態様は、液晶パネルとバックライトとを備えた画像表示装置の制御方法であって、入力される映像信号を解析して、映像の動きを検出するステップと、検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定するステップと、を有する画像表示装置の制御方法を提供する。
【発明の効果】
【0008】
本発明によれば、液晶表示装置において動きのある映像を表示する際の表示品質をさらに改善することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1の実施形態の画像表示装置のブロック図。
【図2】本発明の第2の実施形態の画像表示装置のブロック図。
【図3】本発明の第3の実施形態の画像表示装置のブロック図。
【図4】AM−LCDの構成を説明する構成図。
【図5】AM−LCDの動作を説明するタイミング図。
【図6】AM−LCDのバックライトの点灯動作を説明するタイミング図。
【図7】バックライトの好適な発光時間と発光強度の関係を示す図。
【図8】主要対象物の動きベクトルの算出方法の一例を示す図。
【図9】等速度運動の評価と等加速度運動の評価を説明するための図。
【図10】ずれ係数Kに対するバックライトの発光時間の特性の一例を示すグラフ。
【図11】等速度の評価を行う発光時間算出部の構成を示す図。
【図12】ずれ係数Lに対するバックライトの発光時間の特性の一例を示すグラフ。
【図13】等加速度の評価を行う発光時間算出部の構成を示す図。
【図14】V1、V2の重みと発光時間の関係の一例を示すグラフ。
【発明を実施するための形態】
【0010】
本発明は、バックライトを表示装置内に持つ透過型あるいは反射型の液晶表示装置(LCD)に好適に適用できる。本発明の実施形態では、観測者が直視する透過型のLCDを用いて説明するが、スクリーン等に投射する透過型あるいは反射型のLCDに対しても本発明は好適に適用できる。
【0011】
(LCDの原理)
はじめに、本発明に好適であるLCDの動作原理について概略を説明する。LCDは大別して、アクティブマトリクス型と単純マトリクス型がある。以下の実施形態では、現在TVセットやPCモニタ等で広く採用されているアクティブマトリクス型について説明する。ただし、本発明は単純マトリクス型のLCDにおいても同様に適用できる。
【0012】
図4はアクティブマトリクス型のLCD(AM−LCD)の液晶パネルの一部の構成を模式的に示している。図4において、101はソース配線、102はゲート配線、103は表示素子毎に形成されている薄膜トランジスタ、104は表示素子毎に形成されているコンデンサ、105は表示素子毎に形成されている液晶である。矢印106、107はコンデンサ104と液晶105の電極からの配線を示し、これらの配線106、107は不図示の対向電極に共通に接続されている。図4においてソース配線101とゲート配線102の数は、要求される表示装置の画素数に対応する。ここでは説明を簡単にするため、一例として、240×320画素の表示装置の例を説明する。240×320画素の表示装置では、ソース配線101の数は960本(320×3(RGB))、ゲート配線102の数は240本となる。
【0013】
次に、図4で示したAM−LCDの動作を図5のタイミング図を使用して説明する。図5において、横軸は時間、縦軸は電圧あるいは発光強度を模式的に示している。図5においてG1、G2、・・・G240の波形はゲート配線102に印加する電圧であり、液晶105に印加する電圧を走査するための信号である。図5においてS1、・・・S960の波形はソース配線101に印加する電圧である。ゲート配線102に印加する電圧が例えば+10Vの場合に表示素子毎に形成されている薄膜トランジスタ103のチャンネルが導通し、ソース配線101の電圧が対応する表示素子のコンデンサ104及び液晶10
5に印加される。ゲート配線102に印加する電圧が、例えば+10Vから−10Vに変化すると、薄膜トランジスタ103のチャンネルは非導通状態となり、コンデンサ104及び液晶105の電圧は保持される。ゲート配線102に印加する電圧を例えば表示画面の上から順次下方向に走査し、対応するソース配線101の電圧を所望の電圧に制御する。これによって、対応するソース配線101の電圧と対向電極の電圧の差であるところの電圧が、対応する表示素子毎に形成されているコンデンサ104及び液晶105に充電され、保持される。所望の電圧が印加された液晶105(及び不図示の偏光板)は液晶の応答時間後に透過率が確定する。そしてバックライトにより発せられた光の輝度が、表示素子毎に確定した液晶105(及び不図示の偏光板)の透過率によって変調され、画像が形成される。
【0014】
バックライトは常時点灯させることもできるが、図5のBLの波形に示したように、液晶105の応答時間後から次フィールドのゲート配線102にゲート電圧を印加するまでの間のみ点灯させることが好ましい。これにより、液晶105(及び不図示の偏光板)の透過率が確定していない時間の表示を行わないことができるので、画質が向上する。
【0015】
また、液晶自体に直流電圧を印加し続けると液晶物質は劣化、焼き付きが発生する。この劣化、焼き付きを避けるために、液晶に加わる電圧の極性を周期的に反転する駆動を行っている。図5において、Aで示されているフィールドでは、ソース配線101の電圧は−5Vから+5V、対向電極の電圧は−5Vとし、Bで示されているフィールドでは、ソース配線101の電圧は+5Vから−5V、対向電極の電圧は+5Vとしている。これにより、液晶にかかる電圧がフィールドごとに反転する。反転駆動の方法には、ライン単位、ドット単位があるが、本発明の本質的な構成に影響ないので詳細の説明は省略する。
【0016】
(バックライト)
図5のBLの波形に示したように、液晶105の応答時間後から次フィールドのゲート配線102にゲート電圧を印加するまでの間のみ点灯すると、液晶105(及び不図示の偏光板)の透過率が確定していない時間に表示が行われないため、画質が向上する。表示素子数の少ない表示装置では、1フィールド期間に対して走査時間は短いので、このようなバックライトの制御が可能である。しかしながら、表示素子数が多い表示装置では走査時間が長く必要でありバックライト発光時間が短くなり、図5のバックライトの制御方式では表示装置の輝度が小さくなる。
【0017】
図6(a)、図6(b)を使用して、更に説明を補足する。図6(a)、図6(b)において、横軸は時間、縦軸はゲート配線を意味する。201の太線はゲート配線に選択電位を印加する時刻を示している。202の斜線ハッチで示した部分は液晶の応答時間、203の縦線ハッチ部分はバックライトの発光時間を示す。204の点線はバックライトの光源の発光強度で加重された発光時間の時間重心(時間軸方向の中心)を示す。
【0018】
図6(a)は、図5と同じ数の表示素子(ゲート配線数)の表示装置である。一方、図6(b)は例えばフルハイビジョンの表示素子数を持つ表示装置の例であり、ゲート配線の数が1080本あり、全てのゲート配線に選択電位を与えるのに必要な走査時間は非常に長いものとなる。そのため、203で示したバックライトの発光時間が短くなり、輝度が小さくなる。バックライトの発光時間が短くなり、輝度が小さくなることへの対策として、図6(c)で示す方法が行われる。図6(c)において、201〜203で示す意味は前述したとおりである。204aの点線はバックライトの光源の発光強度で加重された発光時間の時間重心を示している。
【0019】
図6(c)のタイミング図で示した駆動を行うLCDでは、不図示ではあるが、バックライトを走査方向(上下方向)に10のブロックに分割しそれぞれ発光時間の制御が可能
な構成になっている。そして、10のブロックについてそれぞれ必要な液晶の応答時間経過後にバックライトを個別に点灯制御する。図6(c)に示したように、ブロック毎に液晶の応答時間経過後にバックライトの点灯を開始し、次のフィールドの走査期間直前に消灯することによって、バックライトの発光時間を図6(b)に比べ長くすることができる。バックライトの光源の発光強度で加重された発光時間の時間重心204aはブロック毎に異なっている。
【0020】
(ホールドボケ)
AM−LCDで問題となるホールドボケについて説明する。ホールドボケは、画面上の動く対象物を追従視した場合に発生する。追従視とは、対象物の動きに対して視線を追従させながら、動く対象物を観測することをいう。
【0021】
CRT、線順次駆動のFEDやSED(Surface-conduction Electron-emitter Display)を初めとするインパルス型ディスプレイでは、各フレーム(又はフィールド)におけ
る表示時間(発光時間)が非常に短い。そのため、動く対象物を追従視した場合でもボケは発生しない。
これに対し、AM−LCDを初めとするホールド型ディスプレイでは、1フレームのあいだ発光強度が保持されるため、動く対象物を追従視した場合に、対象物が移動方向に広がって網膜上に結像される。これがホールドボケとなって観測される。ホールドボケは、動く対象物を追従視した場合、ホールド型ディスプレイでは必ず発生する。このホールドボケを回避するためには、ホールド型ディスプレイで動く対象物を表示する際、バックライトの発光時間を短く制御して、インパルス型ディスプレイのように表示することが好ましい。
【0022】
一方、動く対象物を明らかに追従視できない映像の場合は、インパルス型ディスプレイでは、観測者は対象物の動きの連続性を視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるような不自然な表示に見える(ランダム感)。同様の映像をホールド型ディスプレイに表示すると、対象物の動きがボケるために、そのような不自然さの少ない映像を観測できる。追従視が困難な映像としては、例えば、滝や噴水の映像がある。滝や噴水の水滴は多くの方向に色々な速度で飛散するので追従視が不可能である。また、1つ又は少ない数の対象物であっても、様々な方向・速度で動いている場合には、動きを予測することができず、追従視が困難である。
【0023】
(バックライトの発光時間の制御)
次に、本実施形態の画像表示装置の特徴的な構成の一つである、バックライトの発光時間の制御について説明する。本実施形態では、表示する映像の質(追従視しやすい動きか否か)によってバックライトの表示時間を変化させる。さらにこのとき、観測者が感じる明るさ(輝度)が変わらないように、表示時間の長さに応じてバックライトの発光強度を変更する。
【0024】
図7に発光時間と発光強度の関係を示すタイミング図を示す。図7において、201はゲート配線の選択電位、202の斜線ハッチ部分で示した部分は液晶の応答時間、203の縦線ハッチ部分はバックライトの発光時間、204の点線はバックライトの光源の発光強度で加重された発光時間の時間重心を示す。203、203a、203b、203cの縦軸は発光強度を示す。なお、203、203a、203b、203cは、異なるフレームにおける発光時間であるが、図7では比較のためにこれらを同一の時間軸に並べて示している。
【0025】
図7に示したように、本実施形態では、発光時間の長さにより輝度(観測者が感じる明るさ)が変わらないように光源の発光強度を制御する。すなわち、発光時間が長い場合(
203a)は発光強度を下げ、発光時間が短い場合(203c)は発光強度を上げ、輝度が発光時間によって変化しないように制御する。発光強度と輝度が比例すると仮定した場合は、発光強度の時間積分(図7の203a、203b、203cの波形の面積)が等しくなるように、発光強度を制御すればよい。
【0026】
また、発光時間については、バックライトの光源の発光強度で加重された発光時間の時間重心204の位置(タイミング)がフレーム間で変わらないように、制御する。図7のように発光時間内における発光強度が一定の場合は、単純に、発光時間の中心が変わらないように、発光開始と発光終了のタイミングを決定すればよい。時間重心204を変えない理由は、以下のとおりである。フレーム毎に時間重心204が変わるということは、フレームの表示(発光)間隔が不均等になることと等価である。例えば、対象物が等速度で移動する映像の各フレームを不均等な間隔で表示した場合、対象物の動きが不自然に見えたり、動きボケが観測される。これは、観測者の視線の移動(予測位置)と対象物の表示位置とがずれる結果、観測者の網膜上の結像位置がばらつくために生じる問題である。そこで、図7のように、時間重心204が変わらないように(つまり、全てのフレームで時間重心204が同じになるように)発光時間を制御することで、動きの不自然さやボケの発生を抑制できる。
【0027】
(撮像時のボケ)
次に撮像時のボケについて説明する。撮像時のボケは撮像素子の撮像時間内で被写体である対象物が動いた場合に発生するものであり、モーションブラー(動きぶれ)ともよばれる。撮像時のボケを少なくするためには、撮像板の電子シャッタを制御し、フレーム時間より短い撮像時間で対象物を撮像する方法がある。
このような電子シャッタを用い短い撮像時間で撮影した対象物をインパルス型ディスプレイで観測すると、追従視できる対象物はボケが発生することなくはっきり見ることができる。
【0028】
一方、追従視の困難な対象物を短い撮像時間で撮影した映像をインパルス型ディスプレイで表示すると、ランダム感が発生する。この問題に対しては、本発明者の検討により、撮像時間を長く設定し、わざと撮像時のボケを加えて撮像することによってランダム感を除去できることがわかった。また、追従視の困難な対象物を短い撮像時間で撮影した場合でも、信号処理によって撮像時のボケに相当する低周波成分を映像信号自体に加えたり、ホールドボケが生じる表示を行うことによってランダム感を低減できることがわかった。
【0029】
(フリッカ)
フリッカは、表示フレームレートが低い場合に、インパルス型ディスプレイで問題となることが多い。同じフレームレートであっても、ホールド型ディスプレイは時間方向の輝度変化が少ないためフリッカによる妨害感がインパルス型ディスプレイより小さい。ただし、ホールド型ディスプレイであっても、バックライトの発光時間を短くし、連続するフレーム間に非発光時間を設けた場合にはフリッカが発生するおそれがある。
【0030】
<第1の実施形態>
本実施形態は、ホールド型ディスプレイであるAM−LCDのバックライト及び映像信号を最適に制御することによって、前述したホールドボケ、フリッカの妨害感等を少なくすると共に、追従視の困難な映像におけるランダム感の発生を抑制する方法を示す。具体的には、本実施形態の画像表示装置では、追従視の容易な映像の場合は、発光時間を短くかつ発光強度を大きくし、追従視の困難な映像の場合は、発光時間を長くかつ発光強度を小さくするように、バックライトを制御する。
【0031】
本発明の第1の実施形態の画像表示装置の主要部分のブロック図を図1に示す。
図1において、1は、例えば図4で示した液晶パネル、2は液晶パネル1の後方に設置された例えば発光ダイオード(LED)を光源とするバックライトを示す。3は映像入力端子、4は映像信号を解析して映像の動きを検出する動き検出部である。8は観測者が追従視すると期待できる主要対象物の動きを算出する主要対象物動き算出部である。5は所用対象物動き算出部8の出力を元にバックライト2の発光時間及び発光強度を算出する発光時間算出部、6は発光時間算出部5の出力にしたがってLEDの発光時間及び発光強度を制御するバックライト制御部である。本実施形態では、動き検出部4、主要対象物動き算出部8、発光時間算出部5、及びバックライト制御部6によって、バックライト2の発光を制御する制御部が構成されている。7は、動き検出部4、主要対象物動き算出部8、及び発光時間算出部5の処理に相当する時間分、映像信号を遅延するフレーム遅延部である。90は被写体である対象物、91は対象物を撮像するビデオカメラである。
【0032】
図1の構成において、対象物90を撮像したビデオカメラ91の映像出力は、画像表示装置の映像入力端子3に入力される。映像入力端子3に入力された映像信号は、動き検出部4で1フレーム単位の動きベクトルが計算される。
【0033】
動き検出部4は、例えば以下のように、映像上の複数のエリア(動きベクトル検出エリア)における局所的な動きベクトルの計算処理を行う。現在入力されているフレーム(現フレーム)と1つ前のフレーム(前フレーム)にそれぞれ動きベクトル検出単位エリアを設定する。前フレームの動きベクトル検出単位エリアを所定の探索範囲内で移動させながら、前フレームの映像と現フレームの映像との相関値を求める。そして、相関値が高い移動量を、その動きベクトル検出単位エリアの動きベクトルに決定する。この処理を、現フレーム上の複数の動きベクトル検出単位エリアごとに行う。動きベクトルは1フレーム時間で動きベクトル検出単位エリアがどのように動いたかを示す距離として、(x,y)座標で表現される。
【0034】
動きベクトル検出単位エリアの大きさはどのように設定してもよい。エリアを細かくすると動きベクトルの検出精度は上がるが、計算量が増加するとともに、ハードウエア(回路)のコスト上昇という問題が生じることがある。そこで通常、数十×数十から数百×数百程度の動きベクトル検出単位エリアに映像を分割するのが好ましい。動き検出部4の動きベクトルの計算量を削減するために、あらかじめ画素を間引くか平均化することで画素数を少なくしてから計算すると好適である。
【0035】
主要対象物動き算出部8は、動き検出部4で算出されたエリア毎の局所的な動きベクトルから、映像全体の代表的な動きベクトルを算出する。このとき、観測者が追従視すると期待できる映像中の対象物(主要対象物)の動きベクトルを、代表的な動きベクトルとして算出することが好ましい。主要対象物の動きベクトルは例えば以下の方法により算出することができる。
【0036】
第1の方法は、主要対象物動き算出部8が、動き検出部4で算出された局所的な動きベクトルの映像全体の平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。カメラをパンしたときのように、映像全体が同じ方向に同じ速度で移動している場合に、追従視の動きと、主要対象物動き算出部8から出力される動きベクトルとは良く合致する。第1の方法は、処理内容が単純であるとともに、ハードウエア化が容易であるという利点がある。
【0037】
第2の方法は、主要対象物動き算出部8が、予め設定された閾値以上の大きさをもつ局所的な動きベクトルのみの平均を算出し、その平均値を主要対象物の動きベクトルとして出力する方法である。ここで用いる閾値TH1は、映像のサイズ(解像度)やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、数画素か
ら十数画素程度に設定することができる。第2の方法も、第1の方法と同様、カメラをパンしたときのような映像に対して有効である。さらに第2の方法は、背景が静止若しくは殆ど動いておらず、対象物のみが動いているような映像の場合に、当該対象物の動きベクトルを第1の方法よりも正確に算出できるという利点がある。なお、第2の方法も、処理内容が比較的単純であり、ハードウエア化が容易である。
【0038】
第3の方法は、最も好適な算出方法である。例えば、映像中の主要対象物(観察者が追従視する対象物)があまり大きくなく、背景部分にも動く対象物が存在しているような映像を考える。背景部分の動きが小さい場合は、第2の方法でも主要対象物の動きベクトルを精度良く算出することができる。しかし、背景部分に動く対象物が多数含まれていたり、背景部分の対象物が大きく動いたり、ランダムな方向に動いていたりすると、主要対象物の動きベクトルの算出結果の誤差が大きくなる可能性がある。
そこで第3の方法では、同一又は類似の局所的な動きベクトルを有し、かつ、エリアの合計面積が閾値TH2以上となる、隣接した複数の動き検出単位エリアを、主要対象物として選択する。このとき、第2の方法と同じように、閾値TH1より小さい動きベクトルのエリアは除いて考えるとよい。複数の主要対象物候補が検出された場合には、それらの中で動きの最も大きいものを主要対象物に選べばよい。閾値TH2は、映像のサイズ(解像度)やフレームレート、動き検出単位エリアの大きさなどに応じて適宜設定すればよく、例えば、映像全体の面積の数%から十数%程度に設定することができる。なお、同一の動きベクトルとは、方向及び大きさがともに一致する動きベクトルをいい、類似の動きベクトルとは、方向の差及び大きさの差がともに非常に小さい動きベクトルをいう。例えば、方向の差が閾値TH3(例えば、数度から十数度程度)より小さく、かつ、大きさの差が閾値TH4(例えば、数画素から十数画素程度)より小さい場合に、類似の動きベクトルと判断すればよい。
【0039】
主要対象物動き算出部8は、上記の方法で主要対象物に対応するエリアを選択した後、選択したエリアの局所的な動きベクトルの平均を算出し、その平均値を主要対象物の動きベクトルとして出力する。これにより、主要対象物の動きベクトルを精度良く求めることができる。
【0040】
図8を参照して、第3の方法のアルゴリズムを具体的に説明する。図8において、各矩形領域801は動きベクトル検出単位エリアであり、この例では縦5×横8の40個の動きベクトル検出単位エリア801が示されている。802は、動きベクトル検出単位エリア801毎に算出された局所的な動きベクトルを模式的に示す矢印である。なお黒丸は、大きさゼロの動きベクトルを表す。斜線でハッチングした領域803が、主要対象物動き算出部8によって、同一又は類似の動きベクトルを有する隣接した複数の動きベクトル検出単位エリアと判断された領域である。閾値TH2が例えば映像全体の面積Sの5%に設定されていると仮定する。この場合、主要対象物動き算出部8は、領域803の合計面積が0.05×S以上であれば、この領域803を主要対象物とみなし、領域803内の11個のエリア801の動きベクトルを平均したものを主要対象物のベクトルとして出力する。
【0041】
主要対象物動き算出部8から出力された動きベクトルは、発光時間算出部5に入力される。発光時間算出部5は入力される動きベクトルから、LED等の光源からなるバックライトの発光時間および発光強度を制御するデータを生成し出力する。発光時間算出部5の詳細な動作については後述する。
【0042】
バックライト制御部6は発光時間算出部5の出力に応じてLED等の光源の発光時間および発光強度を制御する。バックライト制御部6は、例えば、演算増幅器を用いた負帰還によりLEDの発光強度をアナログ制御する回路から構成してもよいし、1フレーム時間
より短い周期でPWM変調をかけて発光強度を制御する回路から構成することもできる。PWM制御を行う構成は、アナログ制御に比べ、電力ロスが少ないメリットがある。
【0043】
バックライト2の構成には、全体の発光時間及び発光強度を一律に制御するタイプと、独立して発光時間及び発光強度を制御可能な複数のブロックに分割されているタイプとがある。本発明にはいずれのタイプのバックライト2を用いてもよい。前者の場合は、図6(a)、(b)に示したタイミングで、液晶パネル1及びバックライト2の光源を制御する。後者の場合は、図6(c)に示したように、各ブロックの光源を異なるタイミングで発光させる。ただし、発光開始時刻はブロックごとに異なるが、発光時間及び発光強度は全てのブロックで同じになるように制御される。
【0044】
図1において、フレーム遅延部7はフレームメモリで構成され、液晶パネル1に出力する映像信号を遅延する。遅延量は、動き検出部4、主要対象物動き算出部8、及び発光時間算出部5の演算時間によるバックライト制御の遅れ時間に合わすと好適である。フレーム遅延部7はフレームメモリが必要なため、ハードウエア量が多く比較的コストが高い。フレーム遅延部7を省いた場合、液晶パネル1の表示とバックライト2の発光とに時間的なずれが生じるが、通常の映像では違和感が少ないため、コストを下げるためフレーム遅延部7を省くことが可能である。液晶パネル1では、入力された映像信号に基づいて、前述したように各画素の透過率が設定される。図示しないが、発光時間算出部5にて算出された発光時間及び発光強度の情報は液晶パネル1にも入力され、必要に応じて液晶パネル1において表示素子の透過率の制御にも利用される。
【0045】
(バックライトの制御方法)
発光時間算出部5の構成及び動作の説明の前に、本実施形態におけるバックライトの制御のための考え方を示す。
【0046】
前述したようにインパルス型ディスプレイにおいて、追従視できない対象物については、ランダム感と呼ばれる妨害感が発生する。動きの連続性がなく対象物がランダムに現れたり消えたりするように見えるため、ホールド型ディスプレイで生じるホールドボケよりも不自然な表示となる。
【0047】
第1の実施形態におけるバックライトの制御方法はこのような不自然な表示を改善するための方法である。すなわち、映像信号から主要対象物の動きの質(追従視の容易な動きか否か)を評価して、追従視できる映像に対してはインパルス型ディスプレイのような駆動(バックライトの発光時間を短くする)を行うことでホールドボケを改善する。一方、追従視が困難な映像に対してはホールド型ディスプレイ本来の駆動(バックライトの発光時間を長くする)を行うことでランダム感の発生を抑制する。また、静止画及び追従視の困難な動きに対しては、バックライトの発光時間を長くすることで、フリッカを少なくすることも可能となる。
【0048】
次に、追従視可能な対象物の動きについて説明する。本発明者が、追従視できる対象物の動きを観察したところ、テロップの様な等速度で移動している対象物、あるいは、等加速度で移動する対象物については人間の目が良好に追従できることがわかった。
【0049】
このことから、等速度あるいは等加速度運動する対象物であればバックライトの発光時間を短くし、インパルス型ディスプレイの駆動に近づける。それによって、ホールドボケを防ぐことが可能となる。さらに等速度あるいは等加速度運動する対象物であれば追従視可能なためランダム感が発生しない。その他の動きについては、追従視が難しいので、ランダム感が発生しないようにバックライトの発光時間を長く取り、ホールド型ディスプレイ本来の駆動を行う。これにより、ホールドボケは生じるが、ランダム感の発生を抑制す
ることができる。
【0050】
(等速度の評価)
初めに、等速度の評価を行う例について記す。
図9(a)に等速度運動の評価を説明するためのグラフを示す。図9(a)において、縦軸は時刻、横軸はx方向の位置を示す。Tn−2、Tn−1、T、Tn+1はフレーム毎の時刻を示している。横軸はx方向として説明するが、x,y軸の両方の位置を評価すると好適である。図9(a)において401a、401b、401c、401dはそれぞれ時刻Tn−2、Tn−1、T、Tn+1の時の追従視している視線を模式的に示す。402a、402b、402c、402dは動く対象物であり、おおよそ等速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等速度に視線を移動させる。すなわち、対象物402cの様な等速度から外れた対象物については、視線401cとのずれ(ΔX)が発生する。このずれは網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【0051】
このボケの出具合、すなわち等速度で追従視する視線に対して対象物がどの程度ずれているかの比を「ずれ係数:K」として、本明細書では定義する。このずれ係数Kが小さな値であればランダム感は発生しにくいため、バックライトの発光時間を短くし、インパルス型のディスプレイ近づけたホールドボケのない表示を行う。
【0052】
前述したように、主要対象物動き算出部8は、観測者が追従視すると期待できる主要対象物が1フレームあたりにどのように動いたかを示す距離を動きベクトル(x,y)として出力する。図9(a)で説明した対象物は、主要対象物動き算出部8が算出する主要対象物の動きと考えればよい。
【0053】
主要対象物動き算出部8からの出力である主要対象物の動きベクトルから得られるm番目のフレームにおける1フレームあたりの移動量をXm、観測者の視線の1フレームあたりの平均移動量をXaveとする。現時刻であるn番目のフレームにおけるずれ係数Kを、式1)で定義する。
【数1】

ずれ係数Kは図9(a)に示したように、主要対象物の位置と視線の位置の差(ΔX)を1フレームあたりの視線の移動距離(Xave)で割った値で定義する。
【0054】
ずれ係数Kが例えば0であれば、視線の位置と主要対象物の位置がずれていないので、インパルス型ディスプレイのようにバックライトの発光時間を短くしても、ランダム感が生じない。一方、ずれ係数Kが0.5以上になると、追従視した時に1フレーム期間に動く距離の半分の距離、主要対象物がずれていることとなり、妨害感が顕著になり始める。そのため、ずれ係数Kの値に応じてバックライトの発光時間を制御する。具体的には、ずれ係数Kが小さく追従視できる映像信号ではバックライトの発光時間を短く制御して、ホールドボケを少なくする。一方、ずれ係数Kが大きく追従視した時にランダム感が生じる可能性がある映像信号では、バックライトの発光時間を長く制御し、ランダム感の発生を抑制する。
【0055】
ずれ係数Kの定義式をより簡略化するために、以下の様な式の変形を行い、ずれ係数を求めても好適である。すなわち式1)は、
【数2】

と、変形できる。現時刻nより前までは追従視できている(すなわち、視線の位置と主要対象物の位置がずれていない)と仮定する。式で示すと、
【数3】

となる。
式2)に式3)を代入し、
K=|Xn-Xave|/|Xave| ・・・・式4)
が求まる。
式1)あるいは、式2)により、ずれ係数Kを求め追従視可能かを判断すると好適である。
【0056】
次に、1フレームあたりの視線の移動距離(視線の速度)は、現時刻nより以前の1フレームあたりの主要対象物の移動距離の平均値であるので、
【数4】

と、求めることができる。
【0057】
本実施形態では式1)または式4)に式5)を代入して、ずれ係数Kを計算し、ずれ係数Kの大きさによりバックライトの発光時間を決定する。式5)の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
【0058】
静止している主要対象物の映像信号でXaveが0の場合、式1)、式4)の分母が0となる。主要対象物が静止しているときは追従視可能であるので、この場合は、式1)、式4)の計算は行わず、Kの値として小さな値(例えばK=0)を出力する。
【0059】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式5)の計算は、現時刻により重みを付けた計算(巡回型のフィルタ)で視線の移動距離(視線の速度)Xaveを計算するとよい。これによりハードウエアの量を削減でき、更に、実際の観測者の追従視の速度に近い値が得られる。時刻nのフレームの時の追従視の速度をXaveとすると、Xaveを求める式は、
Xaven=S1・Xn-1+S2・Xaven-1 ・・・・式6)
ただし、
S1+S2=1 ・・・・式7)
となる。S1、S2により、1フレーム前の視線の速度と1フレーム前の主要対象物の速度の重みを変えることができる。通常、S2がS1より大きくなるように、S1とS2を設定すると良い。
【0060】
さらに、簡便に視線の速度を計算するためには、以下の様な計算を行うと好適である。時刻nのフレームにおける視線の速度Xaveは直前の2フレームにおける主要対象物の速度の平均値から求めると計算量を少なくできる。すなわち、
Xaven=(1/2)・Xn-2+(1/2)・Xn-1 ・・・・式8)
で求める。
さらに、より簡便に視線の速度を計算するために、時刻nのフレームにおける視線の速度Xaveを単に直前の1フレームにおける主要対象物の速度から求めると良い。すなわち、
Xaven=Xn-1 ・・・・式9)
で求める。
式8)、式9)の視線の速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【0061】
式1)または式4)に式5)または式6)または式8)または式9)を代入して、ずれ係数Kを計算し、ずれ係数Kの大きさによりバックライトの発光時間を決定し、バックライトの発光時間を制御する。ずれ係数Kの値が大きければ、視線と主要対象物のずれが発生するので、発光時間は長く、ずれ係数Kの値が小さければ、視線と主要対象物のずれが少ないので、発光時間を短く設定し、ホールドボケを極力小さくする。図10(a)、(b)、(c)にずれ係数Kに対する好ましいバックライトの発光時間の関係の一例を示す。いずれの変換方法でも、等速度運動が検出された(ずれ係数Kがゼロか十分に小さい)場合は発光時間が最小値Tminとなり、等速度運動でない動きが検出された(ずれ係数Kがある程度大きい)場合は発光時間が最大値Tmaxとなる。TminとTmaxの間は等速度運動からのずれ量(ずれ係数Kの値)に応じて発光時間が段階的又は連続的に単調増加する。図10(a)の変換テーブルは、ずれ係数Kが所定のスレッショルド(例えば0.5)より大きければ第1の発光時間Tmaxを選択し、ずれ係数Kがスレッショルド以下であれば短い第2の発光時間Tminを選択するというものである。この方法でもランダム感の発生は抑制できるが、発光時間の切り換え時に違和感を生じるおそれがある。そのため、図10(b)、(c)に示すように、等速度運動からのずれ量に対して連続的に発光時間を変化させる方法がより好適である。なお、図10(a)、(b)、(c)は一例であり、例えば、TminからTmaxへ複数段階で発光時間を長くしてもよい。
【0062】
(等速度の評価を行う発光時間算出部)
図11に、等速度の評価を行う発光時間算出部の構成例を示す。図11において、501は主要対象物動き算出部8の出力である動きベクトルを入力する入力端子である。510は追従視速度算出部であり、前述した式5)、式6)、式8)、式9)のいずれかの方法で視線の速度(Xave)を計算する。511はK算出部であり、入力された視線の速度(Xave)と動きベクトルからずれ係数Kを算出する。508は変換テーブルであり、図10(a)、(b)、(c)に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Kに対して発光時間を出力する。509は変換テーブル508の出力に対して、時間方向の高域成分をカットするローパスフィルタである。
【0063】
504はローパスフィルタ509の出力である発光時間から発光タイミングを生成するタイミング生成部、505はローパスフィルタ509の出力である発光時間から図7で示したように発光強度を決定する発光強度計算部である。506はバックライト制御部6に発光時間を出力する出力端子、507はバックライト制御部6に発光強度を示す電圧を出力する出力端子、である。
【0064】
変換テーブル508の出力である発光時間データは、直接タイミング生成部504、発光強度計算部505に入力しても良いが、より好ましくは図11に示したようにローパスフィルタ509に入力する。ローパスフィルタ509を付けることによって、時間方向の発光時間の変化が緩やかになるため、時間的な発光時間の長さの変化による違和感が少なくなるからである。
【0065】
図11において、追従視速度検出部510は主要対象物の追従視速度を式5)または式
6)または式8)または式9)のいずれかの方法でフレーム単位の動きベクトル(x,y)として出力する。K計算部511は、追従視速度検出部510の出力である追従視速度と主要対象物の動きベクトルから、ずれ係数Kを算出する。そして変換テーブル508によりずれ係数Kが発光時間に変換される。
【0066】
変換テーブル508の出力である発光時間は、ローパスフィルタ509を介してタイミング生成部504に入力される。タイミング生成部504は、時間重心204がずれないように発光開始タイミングを決定し、発光開始及び終了のタイミング信号を出力端子506から出力する。さらに発光時間の長さによらず輝度が変わらないように、発光強度計算部505は発光強度を算出する。発光強度計算部505は例えば、メモリ等で実現されるテーブルで構成すると好適である。算出された発光強度は不図示のD/Aコンバータにより電圧に変換して出力される。
【0067】
また、図6(c)で示した構成のLCDにおいては、タイミング生成部504は、バックライト2の複数のブロックのそれぞれについて発光開始タイミングを決定し、各ブロックのタイミング信号を出力端子506から出力する。本実施形態では、全てのブロックの発光時間が同じになるように制御される。さらに発光時間の長さによらず輝度が変わらないように、発光強度計算部505が発光強度を算出する。
【0068】
説明をわかりやすくするために、X方向のずれ係数のみ説明したが、Y方向についても同様な評価を行うことが好ましい。X方向とY方向の評価を行うときは両方向のずれ係数がゼロ若しくは十分小さい場合に限って発光時間を短くすると好適である。例えば、X、Y方向でそれぞれ発光時間を求めた後、X、Y方向で算出された発光時間のうち、より長い発光時間を選択してバックライトの制御に用いるのが好適であった。実際には図11において、変換テーブル508までは、X、Yの2系統で処理し、変換テーブル508の出力である発光時間の大小を比較し、より大きな値をローパスフィルタ509に入力し、以降の処理は1系統で行うと良い。
【0069】
また、式1)、式4)で求めるずれ係数Kは、Xaveが0の時、0となるように決めた。しかし、X方向、Y方向の追従視の速度(Xave、Yave)両方が0の場合、静止していることに他ならないので、発光時間が長くともホールドボケは発生しないのは明白である。この場合は、フリッカを低減するために発光時間を長くすると好適である。実際は、Xave+Yaveの値を計算し閾値以下であれば静止していると判断し、変換テーブル508の出力である発光時間を強制的に最大値にすると良い。
【0070】
(等加速度の評価)
次に等加速度の評価を行う例について記す。
【0071】
図9(b)に等加速度運動の評価を説明するためのグラフを示す。図9(b)において、縦軸は時刻、横軸はx方向の速度を示す。Tn−2、Tn−1、T、Tn+1はフレーム毎の時刻を示している。横軸はx方向の速度として説明するが、x,y軸の両方の速度を評価すると好適である。図9(b)において401a、401b、401c、401dはそれぞれ時刻Tn−2、Tn−1、T、Tn+1の時の追従視している視線を模式的に示す。402a、402b、402c、402dは動く対象物であり、おおよそ等加速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等加速度で視線を移動させる。すなわち、対象物402cの様な等加速度から外れた対象物については、視線401cとの速度のずれ(ΔV)が発生する。この速度のずれ(ΔV)は等加速度で追従視している観測者にとって網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
【0072】
このボケの出具合、すなわち等加速度で追従視する視線に対して対象物の加速度がどの程度ずれているかの比を「ずれ係数:L」として、本明細書では定義する。このずれ係数Lが小さな値であればランダム感は発生しにくいため、バックライトの発光時間を短くし、インパルス型のディスプレイ近づけたホールドボケのない表示を行う。
【0073】
前述したように、主要対象物動き算出部8は、観測者が追従視すると期待できる主要対象物が1フレームあたりにどのように動いたかを示す距離を動きベクトル(x,y)として出力する。図9(a)で説明した対象物は、以降の説明では主要対象物動き算出部8が算出する主要対象物と置き換えて考えればよい。
【0074】
Anをn番目のフレームにおける主要対象物の加速度、Aaveを主要対象物の平均加速度(すなわち観測者が追従視する視線の平均加速度)とすると、ずれ係数Lを式10)で定義する。
L=|An-Aave|/|Aave| ・・・・式10)
すなわち、ずれ係数Lは、現時刻における加速度と観測者の視線の平均加速度の差の、
視線の平均加速度に対する比である。この比が0であれば、観測者の視線の動きと主要対象物の動きが同じであるので、インパルス型ディスプレイのようにバックライトの発光時間を短くしても、ランダム感が生じない。一方、ずれ係数Lが0.5以上になると、追従視した時に1フレーム期間に変化する速度の半分の速度に当たる距離、主要対象物がずれていることなり、妨害感が顕著になり始める。そのため、ずれ係数Lの値によりバックライトの発光時間を制御する。具体的には、ずれ係数Lが小さく追従視できる映像信号ではバックライトの発光時間を短く制御し、ホールドボケを少なくする。一方、ずれ係数Lが大きく追従視した時にランダム感が生じる可能性がある映像信号では、バックライトの発光時間を長く制御し、ランダム感の発生を抑制する。
【0075】
主要対象物動き算出部8から出力される動きベクトルは、1フレーム時間当たりの移動量、すなわち速度であるから、現時刻の加速度は主要対象物動き算出部8の出力の差で求めることができる。式10)は、
L=|{Xn-Xn-1}-Aave|/|Aave| ・・・・式11)
となる。
平均加速度は、
【数5】

でもとめることができる。
【0076】
式11)に式12)を代入して、ずれ係数Lを計算し、ずれ係数Lの大きさによりバックライトの発光時間を決定する。式12)の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
等速度運動している主要対象物の映像信号ではAaveが0となり、式10)、式11)の分母が0となる。主要対象物が等速度運動しているときは観測者は追従視可能であるので、この場合は、式10)、式11)の計算は行わず、Lの値として小さな値(例えばL=0)を出力する。
【0077】
これらの計算は、ソフトウエアで処理する場合は実装が容易であるが、ハードウエア化する場合は、ハードウエアの増加が懸念される。そこで、ハードウエアにより実現する場合は、式12)の計算は、現時刻により重みを付けた計算(巡回型のフィルタ)で視線の平均加速度Aaveを計算するとよい。これによりハードウエアの量を削減でき、更に、
実際の観測者の追従視の加速度に近い値が得られる。時刻nのフレームの時の追従視の加速度をAaveとすると、Aaveを求める式は、
Aaven=S1・(Xn-1-Xn-2)+S2・Aaven-1 ・・・・式13)
ただし、
S1+S2=1 ・・・・式14)
となる。S1、S2により、1フレーム前の視線の加速度と1フレーム前の主要対象物の加速度の重みを変えることができる。通常、S2がS1より大きくなるように、S1とS2を設定すると良い。
【0078】
さらに、簡便に視線の加速度を計算するためには、以下の様な計算を行うと好適である。時刻nのフレームにおける視線の加速度Aaveは直前の2フレームにおける主要対象物の加速度の平均値から求めても良い。すなわち、
Aaven={(Xn-2-Xn-3)+(Xn-1-Xn-2)}/2 ・・・・式15)
で求める。
【0079】
さらに、より簡便に追従視の加速度を計算するためには、時刻nのフレームにおける追
従視の加速度Aaveを単に直前の2フレームにおける主要対象物の加速度から求めても良い。すなわち、
Aaven=(Xn-1-Xn-2) ・・・・式16)
で求める。
式15)、式16)で求めた視線の加速度の計算は、誤差が多少大きくなるが、ハードウエアやソフトウエアでの計算量が少なくできる大きな利点がある。
【0080】
式11)に式12)または式13)または式15)または式16)を代入して、ずれ係数Lを計算し、ずれ係数Lの大きさによりバックライトの発光時間を制御する。ずれ係数Lの値が大きければ、視線と主要対象物のずれが発生するので、発光時間は長く、ずれ係数Lの値が小さければ、視線と主要対象物のずれが少ないので、発光時間を短く設定し、ホールドボケを極力小さくする。図12(a)、(b)、(c)にずれ係数Lに対する好ましいバックライトの発光時間の関係の一例を示す。いずれの変換方法でも、等加速度運動が検出された(ずれ係数Lがゼロか十分に小さい)場合は発光時間が最小値Tminとなり、等加速度運動でない運動が検出された(ずれ係数Lがある程度大きい)場合は発光時間が最大値Tmaxとなる。TminとTmaxの間は等速度運動からのずれ量(ずれ係数Lの値)に応じて発光時間が段階的又は連続的に単調増加する。図12(a)の変換テーブルは、ずれ係数Lが所定のスレッショルド(例えば0.5)より大きければ第1の発光時間Tmaxを選択し、ずれ係数Kがスレッショルド以下であれば短い第2の発光時間Tminを選択するというものである。この方法でもランダム感の発生は抑制できるが、発光時間の切り換え時に違和感を生じるおそれがある。そのため、図12(b)、(c)に示すように、等加速度運動からのずれ量に対して連続的に発光時間を変化させる方法がより好適である。なお、図12(a)、(b)、(c)は一例であり、例えば、TminからTmaxへ複数段階で発光時間を長くしてもよい。
【0081】
(等加速度の評価を行う発光時間算出部)
図13に、等加速度の評価を行う発光時間算出部の構成例を示す。図13において、図11と同様の構成ブロックについては説明を省略する。図13において、512は追従視加速度算出部であり、前述した式12)、式13)、式15)、式16)のいずれかの方法で視線の加速度(Aave)を計算する。513はL算出部であり、入力された視線の加速度(Aave)と動きベクトルからずれ係数Lを算出する。508は変換テーブルであり、図12(a)、(b)、(c)に示した特性等がルックアップテーブル形式で記憶されており、ずれ係数Lに対して発光時間を出力する。ローパスフィルタ509、タイミング生成部504、発光強度計算部505の構成及び処理内容は図11のものと同じであ
る。
【0082】
説明をわかりやすくするために、X方向のずれ係数のみ説明したが、Y方向についても同様な評価を行うことが好ましい。X方向とY方向の評価を行うときは両方向のずれ係数がゼロ若しくは十分小さい場合に限って発光時間を短くすると好適である。例えば、X、Y方向でそれぞれ発光時間を求めた後、X、Y方向で算出された発光時間のうち、より長い発光時間を選択してバックライトの制御に用いるのが好適であった。実際には図13において、変換テーブル508までは、X、Yの2系統で処理し、変換テーブル508の出力である発光時間の大小を比較し、より大きな値をローパスフィルタ509に入力し、以降の処理は1系統で行うと良い。
【0083】
以上、等速度の評価と等加速度の評価により、バックライト2の発光時間を決定する方法について説明した。これらの発光時間の決定法は単独で行っても効果がある。また2つの方法を組み合わせて行っても良好な効果が得られる。両方の方法を組み合わせる場合各々独立に発光時間を算出し、算出された発光時間のうち長いほうの発光時間を使用してバックライト2を制御すると好適である。また、等速度の評価と等加速度の評価については、等速度の評価によるバックライトの発光時間の制御による効果が、等加速度の評価によるバックライトの発光時間の制御による効果より大きいので、等速度の評価のみを行っても好適である。
【0084】
(第1の実施形態の利点)
第1の実施形態によれば、映像信号に基づいて主要対象物の追従視のしやすさを評価し、追従視の容易な映像信号では、バックライトの発光時間を短くしてインパルス型ディスプレイのような表示を行うことで、ホールドボケの少ない高品質な動画再生が実現できる。一方、追従視の困難な映像信号では、バックライトの発光時間を長くしてあえてホールドボケを発生させることで、ランダム感と呼ばれる妨害感の発生を防ぐことができる。また、静止している映像については、追従視可能であるが発光時間を長く設定するので、フリッカの発生を抑制できる。
【0085】
また本実施形態では、発光時間の長さによらず輝度が一定になるように、発光時間の長さに応じて発光強度を制御するので、発光時間の変動に起因する時間方向の輝度のばらつきを低減することができる。また本実施形態では、発光時間の長さによらず、その時間重心が予め定められた位置から変わらないように、発光開始及び発光終了のタイミングが制御される。これにより、フレームの表示間隔(発光間隔)を見かけ上均等にでき、対象物の動きが不自然になったりボケたりすることを防止できる。
【0086】
<第2の実施形態>
次に本発明の第2の実施形態について説明する。ビデオカメラの撮像時間が長い場合(シャッタースピードが遅い場合)、前述のように撮像時のボケが発生する。撮像時のボケを含む映像信号を表示する場合、たとえバックライトの発光時間を短くしても、撮像時のボケは改善されない。第2の実施形態では、撮像時のボケを改善するための方法を提案する。
【0087】
第2の実施形態の画像表示装置も、第1の実施形態の画像表示装置同様に映像の動きの質(追従視のしやすさ)を評価してバックライトの発光時間を決定する。すなわち、主要対象物の動きが追従視の容易な動きである映像信号に対しては発光時間を短く制御し、ホールドボケを少なくする。また主要対象物の動きが追従視の困難な動きである映像信号に対しては発光時間を長く制御し、ランダム感の発生を防止する。第2の実施形態では更に、動き検出部4の出力である動きベクトルの方向に関して、映像信号に高域強調処理を施す。その結果、動いている対象物の撮像時のボケが改善されるため、ホールドボケと撮像
時のボケの両方を低減できる。
【0088】
本発明の第2の実施形態の駆動回路の主要部分のブロック図を図2に示す。図2において第1の実施形態の図1と同じ番号の説明は省略する。図2において、11は動き方向高域強調フィルタ(ボケ低減部)、12はビデオ制御部、13はスイッチであり、他の部分は第1の実施形態の図1の構成と同じ動作を行う。
【0089】
動き検出部4は動きベクトル検出単位エリア毎に局所的な動きベクトルを算出する。局所的な動きベクトルは主要対象物動き算出部8に入力される。主要対象物動き算出部8は、第1の実施形態と同様、局所的な動きベクトルから代表的な動きベクトル(主要対象物の動きベクトル)を算出し、発光時間算出部5に出力する。そして前述したように、発光時間算出部5は等速度又は等加速度の動きが検出された映像信号の発光時間を短く制御する。ビデオ制御部12は発光時間算出部5で算出された発光時間によってスイッチ13を制御し、発光時間が短い場合は信号V2、発光時間が長い場合は信号V1に切り換える。入力端子3に入力される映像信号はフレーム遅延部7により必要な時間遅延される。また、入力端子3に入力される映像信号は動き方向高域強調フィルタ11に入力され、動き検出部4の出力である動きベクトルを元に、動き方向に関する高域強調処理がかけられる。このフィルタ処理により撮像時のボケが低減される。動き方向高域強調フィルタ11の処理は動きベクトルの大きさ及び方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向に応じた空間フィルタを選択し、動きベクトルの大きさに従って当該フィルタの高域の空間周波数の持ち上げ方を変化させると好適である。動きベクトルが大きな場合、撮像時のボケが大きいので、動き方向高域強調フィルタ11はより低い周波数から強調を行うと良い。動き方向高域強調フィルタ11はフレーム遅延部7同等の遅延時間を持つと好適である。なお、本実施形態では対象物の動きの方向に応じて適用するフィルタを変えているが、動きの方向にかかわらず同じフィルタ(方向依存性をもたないフィルタ)を用いる構成でも良い。
【0090】
スイッチ13はバックライトの発光時間に応じて信号V1、信号V2を切り換える。追従視の容易な動きが検出された場合(短い発光時間Tminの場合)は、撮像時のボケをキャンセルした信号V2が選択され、液晶パネル1に入力される。そして、信号V2に基づき表示素子(液晶)が駆動されることで、ボケのない表示が得られる。一方、動きが検出されなかった場合又は追従視困難な動きが検出された場合(長い発光時間Tmaxの場合)は、信号V1が選択され、液晶パネル1に入力される。信号V1に基づき表示素子が駆動されることで、オリジナル(入力映像)に忠実な表示が得られる。
【0091】
なお、信号V1とV2の切り換わりの際に映像が不連続となり観測者に違和感を与える可能性がある。そこで、信号V1とV2を択一的に切り換えるのではなく、信号V1からV2(又はV2からV1)へ連続的に変化させることが好適である。例えば、図14(a)、(b)、(c)に示すように、信号V1、V2に対して、発光時間に応じた重みを設定し、信号V1とV2を重み付け加算して出力する。このとき、信号V1、V2の重みの合計が1となるようにすると、輝度が変化しないので好適である。
【0092】
信号V1、V2は輝度と比例する値をもつデータであることが望ましい。ガンマ変換されている映像信号が入力された場合は、入力映像信号に逆ガンマ変換を行い輝度に比例するデータに変換した後で、上記の処理を行うと好適である。
【0093】
以上述べた本発明の第2の実施形態によれば、第1の実施形態同様に、追従視の容易な映像信号では、発光時間を短くしてホールドボケの少ない高品質な動画再生が実現でき、追従視の困難な映像信号では、ランダム感と呼ばれる妨害感の発生を防ぐことができる。また、発光時間が短い場合は、ボケが低減された信号V2、又は、オリジナル信号V1と
信号V2の合成信号を用いて液晶パネルを駆動するため、撮像時のボケが含まれる映像信号であっても、ボケの少ない高品質な動画表示が可能となる。また、静止している映像については、追従視可能であるが発光時間を長く設定するので、フリッカの発生を抑制できる。
【0094】
<第3の実施形態>
第3の実施形態では対象物を撮像するビデオカメラの撮像時間が短い場合(高速電子シャッターを併用した場合)の映像信号を表示する例を示す。ビデオカメラの撮像時間が短い場合、撮像時のボケは発生しない。しかし、そのようなボケの全くない映像を通常の(バックライトの発光時間が長い)液晶表示装置に表示した場合には、対象物の動きがカクカクしたぎこちない動きに見えることがある。本発明の実施形態では追従視の困難な映像信号の場合にバックライトの発光時間を長くするため、そのようなぎこちない動きが現れる可能性がある。第3の実施形態は、このような問題を解決するための方法を提案する。
【0095】
第3の実施形態の画像表示装置も、第1の実施形態の画像表示装置同様に映像信号の動きの質(追従視のしやすさ)を評価してバックライトの発光時間を決定する。すなわち、主要対象物の動きが追従視の困難な動きである映像信号に対しては、バックライトの発光時間を長くして、ホールドボケを発生させる。第3の実施形態では更に、動き検出部4の出力である動きベクトルの方向に関して、映像信号にローパスフィルタ処理を施す。その結果、長い発光時間が設定された場合に動いている対象物がぎこちない動きに見えることを防止することができる。
【0096】
本発明の第3の実施形態の駆動回路の主要部分のブロック図を図3に示す。図3において第1の実施形態の図1と同じ番号の説明は省略する。図3において、12はビデオ制御部、13はスイッチ、14は動き方向ローパスフィルタ(ボケ付加部)であり、他の部分は第1の実施形態の図1の構成と同じ動作を行う。
【0097】
動き検出部4は動きベクトル検出単位エリア毎に局所的な動きベクトルを算出する。局所的な動きベクトルは主要対象物動き算出部8に入力される。主要対象物動き算出部8は、第1の実施形態と同様、局所的な動きベクトルから代表的な動きベクトル(主要対象物の動きベクトル)を算出し、発光時間算出部5に出力する。そして前述したように、発光時間算出部5は等速度又は等加速度の動きが検出された映像信号の発光時間を短く制御する。ビデオ制御部12は発光時間算出部5で算出された発光時間によってスイッチ13を制御し、発光時間が短い場合は信号V1、発光時間が長い場合は信号V3に切り換える。入力端子3に入力される映像信号はフレーム遅延部7により必要な時間遅延される。また、入力端子3に入力される映像信号は動き方向ローパスフィルタ14に入力され、動き検出部4の出力である動きベクトルを元に、動き方向に関するローパスフィルタ処理によって動き方向のボケが付加される。動き方向ローパスフィルタ14の処理は動きベクトルの大きさ及び方向によりフィルタの特性を制御すると好適である。すなわち動きベクトルの方向に応じた空間フィルタを選択し、動きベクトルの大きさに従って高域の空間周波数の下げ方を変化させると好適である。動きベクトルが大きな場合、撮像時のボケが大きくなるべきであるので、動き方向ローパスフィルタ14はより低い周波数から高域の信号の減衰を行うと良い。動き方向ローパスフィルタ14はフレーム遅延部7同等の遅延時間を持つと好適である。なお、本実施形態では対象物の動きの方向に応じて適用するフィルタを変えているが、動きの方向にかかわらず同じフィルタ(方向依存性をもたないフィルタ)を用いる構成でも良い。
【0098】
スイッチ13はバックライトの発光時間に応じて信号V1、信号V3を切り換える。追従視の容易な動きが検出された場合(短い発光時間Tminの場合)は、信号V1が選択され、液晶パネル1に入力される。信号V1により表示素子が駆動されることで、ボケの
少ない表示が得られる。動きが検出されなかった場合又は追従視困難な動きが検出された場合(長い発光時間Tmaxの場合)は、動き方向ローパスフィルタ14により動き方向のボケが付加された信号V3が選択され、液晶パネル1に入力される。信号V3により表示素子が駆動されることで、動いている対象物に撮像時のボケを擬似的に付加した表示が得られる。信号V1とV3の切り換え時の違和感をなくすために、第2の実施形態の図14で説明したのと同じように、信号V1とV3を発光時間に応じた重みで合成した信号を出力することが好ましい。また、信号V1、V3も輝度と比例する値をもつデータであることが好ましい。
【0099】
以上述べた本発明の第3の実施形態によれば、第1の実施形態同様に、追従視の容易な映像信号では、発光時間を短くしてホールドボケの少ない高品質な動画再生が実現でき、追従視の困難な映像信号では、ランダム感と呼ばれる妨害感の発生を防ぐことができる。また、発光時間が長い場合は、ボケが付加された信号V3、又は、オリジナル信号V1と信号V3の合成信号が液晶パネルの駆動に利用される。よって、短い撮像時間で撮像された映像信号において見られる、カクカクとしたぎこちない動きの発生を抑制することができる。
【0100】
<その他の実施形態>
上記実施形態では、透過型直視式のAM−LCDによる画像表示装置の例を説明した。しかし、透過型投影式AM−LCDや反射型投影式AM−LCDであっても同様な効果が期待できる。
また、上記実施形態では、発光時間の長さによって輝度(明るさ感)が変わらないように発光強度を制御する例について説明した。しかし、映像の動きに応じてバックライトの発光時間を可変する技術を、近年開発されている画像信号によってブロックのバックライトの発光強度を制御する技術と組み合わせることも好適である。
【符号の説明】
【0101】
1:液晶パネル、2:バックライト、4:動き検出部、5:発光時間算出部、6:バックライト制御部、8:主要対象物動き算出部

【特許請求の範囲】
【請求項1】
液晶パネルと、
バックライトと、
前記バックライトの発光を制御する制御部と、
を備え、
前記制御部は、
入力される映像信号を解析して、映像の動きを検出し、
検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定する
ことを特徴とする画像表示装置。
【請求項2】
前記制御部は、
検出された動きと等速度又は等加速度の動きとのずれを算出し、
ずれがスレッショルドよりも大きい場合に最も長い第1の発光時間を設定し、
ずれのない場合に最も短い第2の発光時間を設定し、
前記第1の発光時間と前記第2の発光時間の間については、ずれの大きさに応じて段階的又は連続的に発光時間を長くする
ことを特徴とする請求項1に記載の画像表示装置。
【請求項3】
前記制御部は、
発光時間が短くなるほど発光強度が大きくなるように、設定された発光時間に応じて前記バックライトの発光強度を変更する
ことを特徴とする請求項1または2に記載の画像表示装置。
【請求項4】
前記制御部は、
発光強度で加重された発光時間の時間重心が、フレーム間で変わらないように、前記バックライトの発光開始及び発光終了のタイミングを設定する
ことを特徴とする請求項1〜3のうちいずれか1項に記載の画像表示装置。
【請求項5】
前記制御部は、
入力される映像信号を解析して、映像上の複数のエリアにおける局所的な動きベクトルをそれぞれ算出し、
前記複数のエリアの局所的な動きベクトルから、当該映像の代表的な動きベクトルを算出し、
算出された前記代表的な動きベクトルを用いて、当該映像の動きが等速度又は等加速度の動きであるかどうかを評価する
ことを特徴とする請求項1〜4のうちいずれか1項に記載の画像表示装置。
【請求項6】
前記制御部は、
前記複数のエリアの局所的な動きベクトルを平均することにより、又は、前記複数のエリアの局所的な動きベクトルのうち閾値以上の大きさのベクトルを平均することにより、前記代表的な動きベクトルを算出する
ことを特徴とする請求項5に記載の画像表示装置。
【請求項7】
前記制御部は、
前記複数のエリアの中から、同一又は類似の局所的な動きベクトルを有し、かつ、エリアの合計面積が閾値以上となる、隣接した複数のエリアを選択し、選択した複数のエリアの局所的な動きベクトルを平均することにより、前記代表的な動きベクトルを算出する
ことを特徴とする請求項5に記載の画像表示装置。
【請求項8】
映像信号に対しボケを低減するボケ低減部をさらに有し、
短い発光時間に設定された場合に、ボケが低減された映像信号、又は、入力された映像信号とボケが低減された映像信号とを合成した映像信号を用いて、前記液晶パネルが駆動される
ことを特徴とする請求項1〜7のうちいずれか1項に記載の画像表示装置。
【請求項9】
映像信号に対しボケを付加するボケ付加部をさらに有し、
長い発光時間に設定された場合に、ボケが付加された映像信号、又は、入力された映像信号とボケが付加された映像信号とを合成した映像信号を用いて、前記液晶パネルが駆動される
ことを特徴とする請求項1〜7のうちいずれか1項に記載の画像表示装置。
【請求項10】
液晶パネルとバックライトとを備えた画像表示装置の制御方法であって、
入力される映像信号を解析して、映像の動きを検出するステップと、
検出された動きが等速度又は等加速度の動きである場合の発光時間は短く、検出された動きが等速度又は等加速度の動きでない場合の発光時間は長くなるように、前記バックライトの発光時間を設定するステップと、
を有することを特徴とする画像表示装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−78589(P2012−78589A)
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願番号】特願2010−224190(P2010−224190)
【出願日】平成22年10月1日(2010.10.1)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】