画像処理装置及びその制御方法
【課題】補正後の画像データから求めたゲインを用いて補正前の画像データの輝度を調整する画像処理装置において、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力する。
【解決手段】輝度調整手段が、補正画像データから第１のゲインを算出して、該第１のゲインを補正前の画像データに乗算するフィードバックの輝度調整手段と、映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算するフィードフォワードの輝度調整手段とを有する。
【解決手段】輝度調整手段が、補正画像データから第１のゲインを算出して、該第１のゲインを補正前の画像データに乗算するフィードバックの輝度調整手段と、映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算するフィードフォワードの輝度調整手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びその制御方法に関し、特に映像の輝度を動的に制御する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
特許文献１には、入力画像データに対して補正を行い補正画像データを得ること、入力画像データ又は補正画像データに対してゲインを乗算して表示輝度を制御すること、が開示されている。また特許文献１には、フィードバック構成の輝度制御回路が開示されている。
また特許文献１及び２には、フレーム毎にゲインを算出する適応型ゲイン法において、ゲイン変動による画質の低下を抑制するために、ゲインにフィルタ処理を行ってゲイン変化の応答速度を遅くする方法が開示されている。さらに特許文献２には、シーン変化を検出した場合に、ゲインにかけるフィルタ処理を変更して、ゲイン変化の応答速度を早くする方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３３３４４号公報
【特許文献２】特開２００４−２４６２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図７は、フィードバック構成による輝度制御回路のブロック図である。
入力画像データ３０３はゲイン３０５を乗算されることにより、輝度制御後画像データ３０６となる。輝度制御後画像データ３０６は補正ブロック３０２で補正処理を施され、出力画像データ３０１として出力される。出力画像データ３０１は表示パネル（不図示）とゲイン算出ブロック３０４へ入力される。ゲイン算出ブロック３０４は、１フレーム分の出力画像データ３０１をもとにゲイン３０５を求める。ゲイン３０５は、このゲイン３０５を求めたフレームの次フレームの入力画像データ３０３に乗算される。
【０００５】
フィードバック構成のメリットは、補正ブロック３０２の前段で輝度制御が行われるため、補正ブロック３０２で補正された画像データをそのまま表示パネルに出力できることである。この出力を変調回路に入力すれば、明るさを制御することと同時に、補正を施した画像をそのまま表示することができるため、非常に好ましい。
【０００６】
一方、フィードバック構成のデメリットは、ゲインを求めるのに用いる画像データと、求めたゲインを乗じる画像データが異なってしまうことである。この課題をフィードバック調整の遅延と呼ぶ。ゲインの算出には、１フレーム分の画像データが必要である。そのため、ゲインは、１フレーム分の画像データが入力された後、つまりフレームの切り替わりのタイミングで算出される。一方ゲインの乗算は、画像データが入力されるとすぐに行われる。このときＮ番目のフレームの入力画像データに対して乗算されるゲインは、Ｎ−１番目のフレームの入力画像データをもとに算出されたゲインである。
【０００７】
出力画像が静止画像または輝度変化の小さい動画像である場合、求まるゲインの変化量も小さいため、フィードバック調整の遅延は大きな問題にはならない。しかし、静止画像を変えた時やシーンの切り替わりなど、輝度が大きく変化したときには、ゲインの変化量も大きくなる。ゲインの変化量が大きくなると、フィードバック調整の遅延による影響が
目立つことがある。例えば暗い画像から明るい画像へ切り替わったときには、画面が一瞬フラッシュのように光って見えることがある。その現象を図５（Ａ）及び図５（Ｂ）を用いて説明する。図５（Ａ）は入力画像の例であり、図５（Ｂ）は従来の輝度制御による出力画像の例である。また図５（Ａ）には各画像から算出されるゲイン（ＩＧＡＩＮ）を、図５（Ｂ）には各画像に乗算されるゲイン（ＦＢＧＡＩＮ）を示す。ＦＢＧＡＩＮは、ＩＧＡＩＮに対して１フレーム遅延している。黒画像の入力が続いた後に白画像に切り替わると、切り替わり直後の白画像（フレーム３）に対して黒画像（フレーム２）から算出されたゲインが乗算される。黒画像から算出されるゲインの値Ａは白画像に最適なゲインの値Ｂに比べて大きいため、フレーム３の出力画像は望ましい輝度よりも明るくなる。これがフラッシュのように見え、観察者に違和感を与える。
【０００８】
また別の課題としては、電源の出力容量に対する課題がある。図５（Ｄ）は画像表示装置の消費電流の時間的な変化を示している。図５（Ｂ）の従来の輝度制御による出力画像を表示した場合、問題のフレーム３において消費電流が急に変化する。このような急な消費電流の変化に対して電源が安定して出力を行うためには、電源の出力容量を大きくする必要がある。これは画像表示装置の小型化・薄型化及び低コスト化を阻害するため、好ましくない。
【０００９】
なお、補正後の画像データから求めたゲインをその画像データ自身に乗算するフィードフォワード構成にすれば、上述した遅延による問題は解決される。しかしながら、フィードフォワード構成の場合は、輝度調整前の画像データに対して補正処理を施すことになるとともに、補正後の画像データに対してゲインを乗算するため、良好な補正精度を実現することが難しい。特に、補正処理が画像データの値に対して非線形な変換を伴う場合は、補正精度の低下が顕著になる。それゆえ、画像品質の点からは、フィードフォワード構成よりも、フィードバック構成の輝度制御のほうが望ましい。
【００１０】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、補正後の画像データから求めたゲインを用いて補正前の画像データの輝度を調整する画像処理装置において、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力するための技術を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１態様は、画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置であって、各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力する補正手段と、前記補正手段から出力された補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整する輝度調整手段と、映像シーンの変化を検出する検出手段と、を有し、前記輝度調整手段は、前記補正画像データから第１のゲインを算出して、該第１のゲインを前記補正手段に入力される前の画像データに乗算する第１の輝度調整手段と、前記検出手段によって映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整手段とを有する画像処理装置を提供する。
【００１２】
本発明の第２態様は、画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置の制御方法であって、各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力するステップと、前記補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整するステップと、映像シーンの変化を検出するステップと、を有し、前記輝度を調整するステップは、前記補正画像データから第１のゲインを算出して、該第１のゲインを補正前の画像データに乗算する第１
の輝度調整ステップと、映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整ステップとを有する画像処理装置の制御方法を提供する。
【発明の効果】
【００１３】
本発明によれば、補正後の画像データから求めたゲインを用いて補正前の画像データの輝度を調整する画像処理装置において、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例の輝度制御回路の構成を示すブロック図である。
【図２】本発明の実施例の画像表示装置の構成を示すブロック図である。
【図３】図２の変調回路から出力される駆動パルスの波形を示す図である。
【図４】補正前と補正後の画像データと表示輝度の関係を示す図である。
【図５】従来の輝度制御の問題と、本発明の実施例の輝度制御の効果を説明する図。
【図６】本発明の実施例２のフィルタ処理の効果を説明するための図である。
【図７】従来の輝度制御回路の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明は、各フレームの画像データの値に応じて動的（適応的）に表示輝度を制御する画像処理装置及びその制御方法に関する。本発明は、画像表示装置（例えばテレビジョン装置、コンピュータ用モニタ、広告用ディスプレイ）に実装することもできるし、画像表示装置に映像信号を供給する装置（例えば映像再生装置、コンピュータ）に実装することも可能である。以下、表面伝導型放出素子などの冷陰極素子（電子放出素子）と蛍光体から構成される表示素子を用いた画像表示装置を例に挙げて、本発明の実施例を説明する。
【００１６】
［実施例１］
図２は画像表示装置の構成を示すブロック図である。
画像表示装置は、概略、表示部（表示パネル２０２、変調回路２０３、走査回路２０６）と画像処理部（逆ガンマ処理ブロック２０４、輝度制御回路２０１）とを有している。画像処理部には、入力信号、Ｈｓｙｎｃ（水平同期）信号、Ｖｓｙｎｃ（垂直同期）信号が入力される。逆ガンマ処理ブロック２０４は入力信号に逆ガンマ処理を行い、画像データを出力する。この画像データは輝度に対してリニアな値をもつデータである。輝度制御回路２０１は、逆ガンマ処理ブロック２０４から入力される画像データを表示部の特性に適合した出力画像データに調整する処理を行う。変調回路２０３は出力画像データに基づき駆動パルスを生成し、表示パネル２０２の各列配線に駆動パルスを出力する。タイミング発生回路２０５はＨｓｙｎｃ信号とＶｓｙｎｃ信号をもとに、走査信号を出力する。走査回路２０６は走査信号をもとに表示パネル２０２の行配線に対して順に選択信号を出力する。駆動パルスと選択信号の電位差に応じて冷陰極素子から電子が放出され、蛍光体が発光する。これにより画像表示が行われる。変調回路２０３は、パルス幅変調、振幅変調、パルス幅変調と振幅変調の組合せなど、いずれの変調方式を用いることもできる。本実施例では、図３に示すような波形の駆動パルスが用いられる。すなわち、低輝度領域（階調値＝１〜ｎ）では階調値に応じて三角波形を徐々に大きくし、中〜高輝度領域（階調値＞ｎ）では階調値に応じて台形波形のパルス幅を徐々に伸ばしていく。これにより低輝度領域の再現性を向上することができる。
【００１７】
（輝度制御回路）
輝度制御回路２０１の構成を図１に示す。本実施例の輝度制御回路２０１は、フィード
バック（ＦＢ）による輝度調整とフィードフォワード（ＦＦ）による輝度調整を、映像のシーン変化に応じて組み合わせて動作させることが特徴である。
【００１８】
輝度制御回路２０１は、補正手段としての補正ブロック１０と、検出手段としてのシーン変化検出ブロック１１と、輝度調整手段としてのゲイン算出部１２及び乗算器１３ａ、１３ｂと、データ遅延ブロック１４とを有している。ゲイン算出部１２は、ＦＢゲイン（第１のゲイン）を算出するＦＢゲイン算出部１２ａと、ＦＦゲイン（第２のゲイン）を算出するＦＦゲイン算出部１２ｂとを有する。以下、ＦＢゲイン算出部１２ａと乗算器１３ａを「ＦＢ調整ブロック」とよび、ＦＦゲイン算出部１２ｂと乗算器１３ｂを「ＦＦ調整ブロック」とよぶ。本実施例では、ＦＢ調整ブロックが本発明の第１の輝度調整手段に対応し、ＦＦ調整ブロックが本発明の第２の輝度調整手段に対応する。
【００１９】
入力画像データＳ１はＦＢ調整ブロックに入力され、乗算器１３ａでＦＢゲインＳ６を乗算されＦＢ調整後データＳ２として出力される。ＦＢ調整後データＳ２は補正ブロック１０に入力され、補正処理を施され補正画像データＳ３として出力される。補正画像データＳ３はデータ遅延ブロック１４に入力され、１フレーム時間遅延されて遅延後補正画像データＳ４として出力される。遅延後補正画像データＳ４はＦＦ調整ブロックに入力され、乗算器１３ｂでＦＦゲインＳ７を乗算され出力画像データＳ５として出力される。出力画像データＳ５は表示部の変調回路２０３（図２参照）に入力され、変調回路２０３の駆動用データとして使用される。
【００２０】
また、入力画像データＳ１はシーン変化検出ブロック１１にも入力される。シーン変化検出ブロック１１は入力画像データＳ１を解析して映像シーンの変化を検出し、シーン変化の有無を示すシーン変化信号Ｓ８を出力する。シーン変化については後述する。
【００２１】
補正画像データＳ３はゲイン算出部１２に入力される。ＦＢゲイン算出部１２ａは、補正画像データＳ３からＦＢゲインＳ６を算出する。ＦＢゲインＳ６は乗算器１３ａにより次フレームの画像データＳ１に乗算される。またＦＢゲインＳ６はゲイン算出部１２に一時的に保持され、ＦＦゲイン算出部１２ｂによるＦＦゲインの算出に利用される。ＦＦゲイン算出部１２ｂは、補正画像データＳ３から算出されたＦＢゲインと、当該補正画像データＳ３の補正前の画像データに対して実際に乗算されたＦＢゲインと、シーン変化信号Ｓ８とに基づき、ＦＦゲインＳ７を算出する。
【００２２】
（ＦＢ調整ブロック）
ＦＢ調整ブロックは、ＦＢゲイン算出部１２ａと乗算器１３ａから構成されている。以下に動作の説明を記す。
【００２３】
ＦＢゲイン算出部１２ａは、補正ブロック１０から出力される１フレーム分の補正画像データＳ３を用いて、ＦＢゲインを求める。このＦＢゲインは、映像全体の輝度を調整するために、１フレーム分の画像データに対して一律に乗算されるものである。
【００２４】
輝度調整の目的あるいは目標輝度などに応じて様々なゲイン算出方法を採り得る。たとえば、ＦＢゲイン算出部１２ａは、１フレーム分の補正画像データから最大値を検出し、表示部に入力可能なデータの上限値をその検出された最大値で除した値をＦＢゲインとすることができる。これにより、表示部のダイナミックレンジを最大限に利用した高輝度な表示映像を得ることができる。なお、暗い映像が非常に明るくなってしまうと、映像の明暗のバランスが崩れ、観察者に違和感を与えるおそれがある。よって、ゲインの値には上限（例えば２．０）を設けることが好ましい。他の方法として、ＦＢゲイン算出部１２ａは、１フレーム分の補正画像データから平均輝度レベル（ＡＰＬ；Average Picture Level）を算出し、ＡＰＬの値が所望の範囲に収まるようにゲインの値を設定することもでき
る。
【００２５】
乗算器１３ａは、ＦＢゲイン算出部１２ａで算出されたＦＢゲインＳ６を、補正ブロック１０に入力される前の画像データＳ１に乗算する。このフィードバック調整には、ゲインの算出に利用された補正画像データではなく、その次のフレームの画像データに対してゲインが乗算される、という問題がある。このように、次のフレームの画像データにゲインが乗算されることをフィードバック調整の遅延と呼ぶ。
【００２６】
（補正ブロック）
補正ブロック１０は、ＦＢ調整後データＳ２に対して、少なくとも１つ以上の補正処理を行い、補正画像データＳ３を出力する。
【００２７】
本実施例の表面伝導型放出素子を用いた画像表示装置は、表示パネル２０２の基板上に多数の表示素子が形成されている。表示素子は蛍光体を有しており、蛍光体には、図４（Ａ）に示すように、入力画像データに対して輝度が飽和する非線形の特性がある。この飽和特性は蛍光体の色ごとに相違する。入力画像データと表示輝度の関係が線形にならないと、入力画像データの意図した映像を再現出来ない。そのため、補正ブロック１０では、画像データと輝度の関係を図４（Ｂ）のような線形にするための補正を行うとよい。さらに、本実施例の画像表示装置では、素子ごとの電子放出特性のばらつきや、配線抵抗による電圧降下によって、輝度むら（輝度の空間的な不均一）が発生する可能性がある。それゆえ、補正ブロック１０において、素子位置と画像データをもとに、そのような輝度むらを補正することも好ましい。
【００２８】
補正ブロック１０で行う補正処理は、輝度調整のように一律にゲインを乗算する処理とは異なり、画像データの値に応じて補正量（補正係数）が変化し得る処理、言い換えれば、画像データの値に対して非線形な出力特性をもつ変換処理である。したがって、本実施例のように輝度調整と非線形な補正の両方の処理を行う場合は、補正の前に輝度調整を行う構成が望ましく、また、適切なゲインを得るために補正後の画像データからゲインを算出することが望ましい。
【００２９】
（データ遅延ブロック）
データ遅延ブロック１４は、１フレーム分の補正画像データＳ３を１フレーム期間保持した後、遅延後補正画像データＳ４として出力する。本実施例では、データを保持する時間を１フレーム期間としたが、データを保持する時間はこれに限られず、ＦＦゲインの算出に必要な時間に応じて適宜設定すればよい。
【００３０】
（シーン変化検出ブロック）
シーン変化検出ブロック１１は、フレームごとに入力画像データＳ１の値の統計量を算出し、フレーム間での統計量の差に基づいて映像シーンの変化を検出する。ここでは、連続で出力される２つのフレームの輝度が大きく変化することをシーン変化ととらえる。シーン変化検出ブロック１１は、シーン変化の有無を表すシーン変化信号Ｓ８をフレームごとに出力する。
【００３１】
たとえば、シーン変化検出ブロック１１は、あるフレームの入力画像データＳ１からＡＰＬを算出し、１つ前のフレームのＡＰＬと比較を行い、ＡＰＬの変化量が所定の閾値以上の場合は、シーン変化があったことを表すシーン変化信号Ｓ８を出力する。ＡＰＬの変化量が閾値未満の場合には、シーン変化が無かったことを表すシーン変化信号Ｓ８が出力される。
【００３２】
シーン変化検出ブロック１１のシーン変化検出方法は、上記の方法に限定されず、ＡＰ
Ｌ以外の統計量（最大値、最小値、分散、標準偏差、ヒストグラムなど）を用いてシーン変化を検出することもできる。たとえばヒストグラムを用いる方法では、１フレーム分の入力画像データから、明るさの分布を表すヒストグラムを算出し、１つ前のフレームのヒストグラムと比較を行い、分布に所定量以上の変化があった場合は、シーン変化ありと判定する。
【００３３】
（ＦＦ調整ブロック）
ＦＦ調整ブロックは、ＦＦゲイン算出部１２ｂと乗算器１３ｂから構成されている。以下に動作の説明を記す。
【００３４】
ＦＦゲイン算出部１２ｂは、補正画像データＳ３から算出されたＦＢゲインと、当該補正画像データＳ３の補正前の画像データに対して実際に乗算されたＦＢゲインと、シーン変化信号Ｓ８とに基づき、ＦＦゲインＳ７を算出する。
【００３５】
フィードバック調整の遅延があるため、補正画像データＳ３から算出されたＦＢゲイン（理想のゲイン）と、当該補正画像データＳ３の補正前の画像データに対して実際に乗算されたＦＢゲイン（実際のゲイン）とが、一致しないことがある。特にシーン変化がある場合には、シーン変化の前後で輝度が大きく変わり、理想のゲインと実際のゲインの差（誤差）が大きくなる傾向にある。
【００３６】
そこで、ＦＦゲイン算出部１２ｂは、シーン変化信号Ｓ８により、補正画像データＳ３のフレームとその前のフレームとの間にシーン変化があったか否かを判断する。シーン変化があった場合、ＦＦゲイン算出部１２ｂは、理想のゲインと実際のゲインとの差に基づき、その差を補正するためのＦＦゲインを算出し乗算器１３ｂに出力する。たとえば、理想のゲインの値を実際のゲインの値で除算した値をＦＦゲインとして用いるとよい。なお、理想のゲインは、現在のフレームの補正画像データから算出されたＦＢゲインであり、実際のゲインは、１つ前のフレームの補正画像データから算出されたＦＢゲインである。いずれのゲインもＦＢゲイン算出部１２ａから取得することができる。一方、シーン変化がなかった場合は、ＦＦゲインによる輝度調整は不要なため、ＦＦゲイン算出部１２ｂは１倍のＦＦゲインを出力する。
【００３７】
ＦＦゲインＳ７は、乗算器１３ｂにおいて、遅延後補正画像データＳ４に対して一律に乗算される。なお、本実施例では、シーン変化がない場合に１倍のＦＦゲインを乗算する構成としたが、シーン変化がない場合に乗算器１３ｂをバイパスさせて遅延後補正画像データＳ４をそのまま出力する構成でも同じ結果が得られる。
【００３８】
図５（Ａ）と図５（Ｃ）に、本実施例の輝度制御回路における入力画像と出力画像の例を示す。ただし、本実施例の輝度制御の利点をわかりやすく説明するために、補正処理を無視する。
図５（Ａ）のＩＧＡＩＮは、画像データから計算される理想のゲインの値を示す。フレーム１、２の黒画像では、ＩＧＡＩＮ＝Ａ、フレーム３、４の白画像では、ＩＧＡＩＮ＝Ｂであり、Ａ＞Ｂである。
【００３９】
図５（Ｃ）のＦＢＧＡＩＮは、画像データに乗算された実際のＦＢゲインを表す。ＦＢＧＡＩＮは、ＩＧＡＩＮに対して１フレーム遅延している。図５（Ｃ）のＦＦＧＡＩＮは、画像データに乗算されるＦＦゲインを表す。フレーム２およびフレーム４ではシーン変化がないため、ＦＦＧＡＩＮの値は１である。フレーム３ではシーン変化ありと判定され、フレーム３のＩＧＡＩＮの値ＢとＦＢＧＡＩＮの値Ａに基づいて、ＦＦＧＡＩＮの値Ｃが算出される。ここでは、Ｃ＝Ｂ／Ａのように、ＩＧＡＩＮをＦＢＧＡＩＮで除算することでＦＦＧＡＩＮが求められる。
図５（Ｃ）のＴｏｔａｌＧＡＩＮは、入力画像に乗算されるゲインの合計（積）、つまりＴｏｔａｌＧＡＩＮ＝ＦＢＧＡＩＮ×ＦＦＧＡＩＮを表す。このＴｏｔａｌＧＡＩＮと入力画像から計算される理想のゲインＩＧＡＩＮの値が一致することが理想である。シーン変化のあるフレーム３において、ＴｏｔａｌＧＡＩＮ＝Ａ×Ｃ＝Ａ×（Ｂ／Ａ）＝Ｂ＝ＩＧＡＩＮとなり、シーン変化のあるフレームに対しても適切な輝度制御が実現できることが分かる。
【００４０】
したがって、図５（Ａ）のように全黒画像が続いた後に全白画像になるような大きな輝度変化を伴う映像が入力された場合でも、図５（Ｂ）のような現象の発生を防ぎ、図５（Ｃ）のようにシーン変化に追従した適切な明るさでの映像表示を行うことが出来る。また、図５（Ｅ）は図５（Ｃ）の画像出力を行った際の、画像表示装置の消費電流の時間的な変化を表した図である。本実施例の輝度制御によれば、消費電力の急激な変化を抑制することが出来るため、電源などの回路に対する負荷を軽減することも出来る。これは、画像表示装置の小型化・薄型化および低コスト化にも寄与する。
【００４１】
以上述べたように、本実施例の構成によると、シーン変化が検出されない時は、フィードバック調整により、補正処理を行いながら良好な輝度制御が行われる。シーン変化が検出された時は、フィードバック調整とあわせてフィードフォワード調整を行うことにより、フィードバック調整の遅延から発生するゲインの誤差を補償することができる。これによりシーン変化の発生時に起こるフィードバック調整の遅延が実質的に無くなる。よって本実施例の構成によると、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力することが出来る。本実施例の構成は、画像データの値に応じて補正量が異なるような非線形な補正処理と輝度制御の両方が必要な場合に、特に大きな効果が期待できる。
【００４２】
なお、ＦＢゲイン算出部１２ａとＦＦゲイン算出部１２ｂは本実施例のように１つのブロックで構成してもよいし、別ブロックの回路構成にすることもできる。１ブロックのほうが回路の小規模化が可能であるため好ましい。また本実施例では、ＦＢゲイン算出部１２ａで算出されたＦＢゲインをＦＦゲインの計算に利用したが、ＦＦゲイン算出部１２ｂ自身が補正画像データからフレームごとのＦＢゲインを算出しても構わない。
【００４３】
［実施例２］
本実施例は、実施例１の輝度制御回路に、フレーム間でのゲインの変動を小さくするためのフィルタ処理を行う機能を組み合わせた構成である。
【００４４】
実施例１の構成によれば、シーン変化のときに画面が一瞬フラッシュのように光って見える現象を抑えることが出来る。しかし、シーン変化がないときには、ＦＢゲインの値が細かく振動することにより、表示画像がフリッカーのように見えてしまうことがある。図６の破線ｂ０１は、フィルタ無しの場合のＦＢゲインの変動の例を示している。このフリッカーは補正ブロック１０（図１参照）における補正処理の非線形性が高いときには特に顕著になる傾向がある。このため、本実施例では、ＦＢゲインの変動を抑えるための特殊なフィルタをＦＢ調整ブロックに追加する。
【００４５】
図１を用いて、本実施例の輝度制御回路について説明する。本実施例では、ＦＢゲイン算出部１２ａがローパスフィルタを持つ。ＦＢゲイン算出部１２ａは、補正画像データＳ３からゲインを算出した後に、そのゲインにフィルタ処理を施し、フィルタ後の値をＦＢゲインＳ６として出力する。ただし、シーン変化信号Ｓ８によりシーン変化ありと判断された場合は、ＦＢゲイン算出部１２ａはフィルタ処理を行わず、補正画像データＳ３から算出したゲインをそのままＦＢゲインＳ６として出力する。
【００４６】
たとえば、シーン変化がない場合に出力されるＦＢゲインは、
Gout(N)=Gout(N-1)+{Gnew(N)-Gout(N-1)}/F
シーン変化がある場合に出力されるＦＢゲインは、
Gout(N)=Gnew(N)
のように算出される。
ここで、
Gout(N)：Ｎフレーム目に出力されるＦＢゲイン、
Gnew(N)：Ｎフレーム目に算出されたＦＢゲイン、
F： フィルタ係数（F>1）
である。フィルタ係数Ｆの値が１より大きくなるほど、ゲイン変動の低減効果が大きくなる。
【００４７】
本実施例によると、ゲイン変動を図６の実線ｂ０２に示されるように小さくすることができる。これにより、ゲイン変動がフリッカーのように見えることを防ぐことができる。
【００４８】
本実施例のＦＢ調整ブロックにおいてもフィードバック調整の遅延は発生する。これは、フィルタ処理が施されたＦＢゲインが適用されるのは実施例１で説明したのと同様、１フレーム後になるためである。そこで、本実施例においても、シーン変化があった場合に、ＦＦゲイン算出部１２ｂが理想のゲイン（Gout(N)）と実際のゲイン（Gout(N-1)）からＦＦゲインを算出し、フィードフォワード調整を行うことで、実施例１と同じ効果を得ることができる。さらにシーン変化が発生していないときには、実施例１と比べ、ゲイン変動によるフリッカー感を低減することができ、より好ましい画像出力を行うことができる。
【００４９】
［実施例３］
複数フレームの画像データから１つの映像が構成されている場合がある。たとえば、右眼用と左眼用の２つの画像データから構成される立体映像、露出の異なる複数の画像データから構成されるＨＤＲ（High Dynamic Range）映像などがその例である。このような画像が入力された場合、実施例１のようにフレームごとにＦＢゲインとＦＦゲインを算出し乗算する処理方法では、１つの映像を構成する一群のフレームの間で輝度の倍率が異なってしまう可能性がある。輝度の倍率にばらつきがあると、観察者に違和感を与えたり、意図する映像を再現できない可能性があるため好ましくない。
【００５０】
そこで本実施例では、複数フレームの画像データから１つの映像が構成されている信号が入力された場合に、輝度制御回路２０１に対して連続フレーム数の情報を与える。連続フレーム数とは、１つの映像を構成する一群のフレームの数であり、たとえば立体映像の場合は２となる。なお連続フレーム数は、入力信号とともに与えられてもよいし、入力信号を解析することによって検出してもよい。
【００５１】
そして、本実施例の輝度制御回路２０１（図１参照）では、ＦＢゲイン算出部１２ａがＦＢゲインの算出を連続フレーム数の周期に一度だけ行い、ＦＦゲイン算出部１２ｂもＦＦゲインの算出を連続フレーム数の周期に一度だけ行う。またシーン変化検出ブロック１１もシーン変化の検出を連続フレーム数の周期に一度だけ行う。つまり、１つの映像を構成する一群のフレームの画像データを処理するあいだ、ゲイン算出部１２から同じ値のゲインが出力され続けるようにする。
【００５２】
上記構成により、一群のフレームの画像データに対して同じ値のゲインを乗算することが出来る。したがって、立体映像やＨＤＲ映像のように１つの映像が複数フレームの画像データで構成されている場合でも、適切な輝度調整を行い、違和感の無い高品質な画像表示を行うことが出来る。
【００５３】
［実施例４］
人の目は一瞬の明るい画像に対してはまぶしさから不快感を覚えやすいが、一瞬の暗い画像に対しては不快感を覚えにくい。また暗い画像の表示期間が短ければ短いほど不快感を覚えにくくなる傾向にある。本実施例の説明で言う一瞬とは１フレームから数フレームのことを指す。
したがって、フィードバック調整の遅延による表示輝度の不具合は、暗い画像から明るい画像へ輝度が変化する場合には目立つが、明るい画像から暗い画像へ輝度が変化する場合にはほとんど気にならない。
【００５４】
そこで、本実施例のＦＦゲイン算出部１２ｂは、暗い画像から明るい画像へのシーン変化なのか明るい画像から暗い画像へのシーン変化なのかを判断し、前者の場合は実施例１と同じ方法で算出したＦＦゲインを出力するが、後者の場合は１倍のゲインを出力する。
暗い画像から明るい画像へ変化するときは、理想のゲインよりも実際のゲインが大きいため、ＦＦゲイン算出部１２ｂで算出されるゲインの値は１よりも小さくなる。逆に、明るい画像から暗い画像へ変化するときは、ＦＦゲイン算出部１２ｂで算出されるゲインの値は１よりも大きくなる。したがって、ＦＦゲイン算出部１２ｂは、算出したゲインの値が１より小さいか否かで、算出したゲインを出力するか、１倍のゲインを出力するかを切り替えればよい。あるいは、ＦＦゲイン算出部１２ｂに、ＦＦゲインの値を１以下に制限するリミッタを付加しても、同様の処理が実現できる。
【００５５】
本実施例はシーン変化検出時のフィードフォワード調整を、暗い画像から明るい画像への変化のときのみ行うことが特徴である。本実施例によると、暗い画像から明るい画像へシーン変化が発生したときに、一瞬明るくなるという見た目の不快感を防ぐことが出来る。一方、明るい画像から暗い画像へのシーン変化の場合は、補正ブロック１０から出力された補正画像データがそのまま出力されるので、画質の劣化がないきれいな画像が表示される。
【００５６】
なお、シーン変化検出ブロック１１が、明るい画像から暗い画像への変化なのか、暗い画像から明るい画像への変化なのかを判断し、暗い画像から明るい画像への変化の場合にのみシーン変化があったことを表すシーン変化信号を出力する、という構成でもよい。この方法でも本実施例と同じ効果を得ることが出来る。
【符号の説明】
【００５７】
２０１：輝度制御回路、１０：補正ブロック、１１：シーン変化検出ブロック、１２：ゲイン算出部、１２ａ：ＦＢゲイン算出部、１２ｂ：ＦＦゲイン算出部
【技術分野】
【０００１】
本発明は画像処理装置及びその制御方法に関し、特に映像の輝度を動的に制御する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
特許文献１には、入力画像データに対して補正を行い補正画像データを得ること、入力画像データ又は補正画像データに対してゲインを乗算して表示輝度を制御すること、が開示されている。また特許文献１には、フィードバック構成の輝度制御回路が開示されている。
また特許文献１及び２には、フレーム毎にゲインを算出する適応型ゲイン法において、ゲイン変動による画質の低下を抑制するために、ゲインにフィルタ処理を行ってゲイン変化の応答速度を遅くする方法が開示されている。さらに特許文献２には、シーン変化を検出した場合に、ゲインにかけるフィルタ処理を変更して、ゲイン変化の応答速度を早くする方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３３３４４号公報
【特許文献２】特開２００４−２４６２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図７は、フィードバック構成による輝度制御回路のブロック図である。
入力画像データ３０３はゲイン３０５を乗算されることにより、輝度制御後画像データ３０６となる。輝度制御後画像データ３０６は補正ブロック３０２で補正処理を施され、出力画像データ３０１として出力される。出力画像データ３０１は表示パネル（不図示）とゲイン算出ブロック３０４へ入力される。ゲイン算出ブロック３０４は、１フレーム分の出力画像データ３０１をもとにゲイン３０５を求める。ゲイン３０５は、このゲイン３０５を求めたフレームの次フレームの入力画像データ３０３に乗算される。
【０００５】
フィードバック構成のメリットは、補正ブロック３０２の前段で輝度制御が行われるため、補正ブロック３０２で補正された画像データをそのまま表示パネルに出力できることである。この出力を変調回路に入力すれば、明るさを制御することと同時に、補正を施した画像をそのまま表示することができるため、非常に好ましい。
【０００６】
一方、フィードバック構成のデメリットは、ゲインを求めるのに用いる画像データと、求めたゲインを乗じる画像データが異なってしまうことである。この課題をフィードバック調整の遅延と呼ぶ。ゲインの算出には、１フレーム分の画像データが必要である。そのため、ゲインは、１フレーム分の画像データが入力された後、つまりフレームの切り替わりのタイミングで算出される。一方ゲインの乗算は、画像データが入力されるとすぐに行われる。このときＮ番目のフレームの入力画像データに対して乗算されるゲインは、Ｎ−１番目のフレームの入力画像データをもとに算出されたゲインである。
【０００７】
出力画像が静止画像または輝度変化の小さい動画像である場合、求まるゲインの変化量も小さいため、フィードバック調整の遅延は大きな問題にはならない。しかし、静止画像を変えた時やシーンの切り替わりなど、輝度が大きく変化したときには、ゲインの変化量も大きくなる。ゲインの変化量が大きくなると、フィードバック調整の遅延による影響が
目立つことがある。例えば暗い画像から明るい画像へ切り替わったときには、画面が一瞬フラッシュのように光って見えることがある。その現象を図５（Ａ）及び図５（Ｂ）を用いて説明する。図５（Ａ）は入力画像の例であり、図５（Ｂ）は従来の輝度制御による出力画像の例である。また図５（Ａ）には各画像から算出されるゲイン（ＩＧＡＩＮ）を、図５（Ｂ）には各画像に乗算されるゲイン（ＦＢＧＡＩＮ）を示す。ＦＢＧＡＩＮは、ＩＧＡＩＮに対して１フレーム遅延している。黒画像の入力が続いた後に白画像に切り替わると、切り替わり直後の白画像（フレーム３）に対して黒画像（フレーム２）から算出されたゲインが乗算される。黒画像から算出されるゲインの値Ａは白画像に最適なゲインの値Ｂに比べて大きいため、フレーム３の出力画像は望ましい輝度よりも明るくなる。これがフラッシュのように見え、観察者に違和感を与える。
【０００８】
また別の課題としては、電源の出力容量に対する課題がある。図５（Ｄ）は画像表示装置の消費電流の時間的な変化を示している。図５（Ｂ）の従来の輝度制御による出力画像を表示した場合、問題のフレーム３において消費電流が急に変化する。このような急な消費電流の変化に対して電源が安定して出力を行うためには、電源の出力容量を大きくする必要がある。これは画像表示装置の小型化・薄型化及び低コスト化を阻害するため、好ましくない。
【０００９】
なお、補正後の画像データから求めたゲインをその画像データ自身に乗算するフィードフォワード構成にすれば、上述した遅延による問題は解決される。しかしながら、フィードフォワード構成の場合は、輝度調整前の画像データに対して補正処理を施すことになるとともに、補正後の画像データに対してゲインを乗算するため、良好な補正精度を実現することが難しい。特に、補正処理が画像データの値に対して非線形な変換を伴う場合は、補正精度の低下が顕著になる。それゆえ、画像品質の点からは、フィードフォワード構成よりも、フィードバック構成の輝度制御のほうが望ましい。
【００１０】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、補正後の画像データから求めたゲインを用いて補正前の画像データの輝度を調整する画像処理装置において、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力するための技術を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１態様は、画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置であって、各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力する補正手段と、前記補正手段から出力された補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整する輝度調整手段と、映像シーンの変化を検出する検出手段と、を有し、前記輝度調整手段は、前記補正画像データから第１のゲインを算出して、該第１のゲインを前記補正手段に入力される前の画像データに乗算する第１の輝度調整手段と、前記検出手段によって映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整手段とを有する画像処理装置を提供する。
【００１２】
本発明の第２態様は、画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置の制御方法であって、各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力するステップと、前記補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整するステップと、映像シーンの変化を検出するステップと、を有し、前記輝度を調整するステップは、前記補正画像データから第１のゲインを算出して、該第１のゲインを補正前の画像データに乗算する第１
の輝度調整ステップと、映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整ステップとを有する画像処理装置の制御方法を提供する。
【発明の効果】
【００１３】
本発明によれば、補正後の画像データから求めたゲインを用いて補正前の画像データの輝度を調整する画像処理装置において、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例の輝度制御回路の構成を示すブロック図である。
【図２】本発明の実施例の画像表示装置の構成を示すブロック図である。
【図３】図２の変調回路から出力される駆動パルスの波形を示す図である。
【図４】補正前と補正後の画像データと表示輝度の関係を示す図である。
【図５】従来の輝度制御の問題と、本発明の実施例の輝度制御の効果を説明する図。
【図６】本発明の実施例２のフィルタ処理の効果を説明するための図である。
【図７】従来の輝度制御回路の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明は、各フレームの画像データの値に応じて動的（適応的）に表示輝度を制御する画像処理装置及びその制御方法に関する。本発明は、画像表示装置（例えばテレビジョン装置、コンピュータ用モニタ、広告用ディスプレイ）に実装することもできるし、画像表示装置に映像信号を供給する装置（例えば映像再生装置、コンピュータ）に実装することも可能である。以下、表面伝導型放出素子などの冷陰極素子（電子放出素子）と蛍光体から構成される表示素子を用いた画像表示装置を例に挙げて、本発明の実施例を説明する。
【００１６】
［実施例１］
図２は画像表示装置の構成を示すブロック図である。
画像表示装置は、概略、表示部（表示パネル２０２、変調回路２０３、走査回路２０６）と画像処理部（逆ガンマ処理ブロック２０４、輝度制御回路２０１）とを有している。画像処理部には、入力信号、Ｈｓｙｎｃ（水平同期）信号、Ｖｓｙｎｃ（垂直同期）信号が入力される。逆ガンマ処理ブロック２０４は入力信号に逆ガンマ処理を行い、画像データを出力する。この画像データは輝度に対してリニアな値をもつデータである。輝度制御回路２０１は、逆ガンマ処理ブロック２０４から入力される画像データを表示部の特性に適合した出力画像データに調整する処理を行う。変調回路２０３は出力画像データに基づき駆動パルスを生成し、表示パネル２０２の各列配線に駆動パルスを出力する。タイミング発生回路２０５はＨｓｙｎｃ信号とＶｓｙｎｃ信号をもとに、走査信号を出力する。走査回路２０６は走査信号をもとに表示パネル２０２の行配線に対して順に選択信号を出力する。駆動パルスと選択信号の電位差に応じて冷陰極素子から電子が放出され、蛍光体が発光する。これにより画像表示が行われる。変調回路２０３は、パルス幅変調、振幅変調、パルス幅変調と振幅変調の組合せなど、いずれの変調方式を用いることもできる。本実施例では、図３に示すような波形の駆動パルスが用いられる。すなわち、低輝度領域（階調値＝１〜ｎ）では階調値に応じて三角波形を徐々に大きくし、中〜高輝度領域（階調値＞ｎ）では階調値に応じて台形波形のパルス幅を徐々に伸ばしていく。これにより低輝度領域の再現性を向上することができる。
【００１７】
（輝度制御回路）
輝度制御回路２０１の構成を図１に示す。本実施例の輝度制御回路２０１は、フィード
バック（ＦＢ）による輝度調整とフィードフォワード（ＦＦ）による輝度調整を、映像のシーン変化に応じて組み合わせて動作させることが特徴である。
【００１８】
輝度制御回路２０１は、補正手段としての補正ブロック１０と、検出手段としてのシーン変化検出ブロック１１と、輝度調整手段としてのゲイン算出部１２及び乗算器１３ａ、１３ｂと、データ遅延ブロック１４とを有している。ゲイン算出部１２は、ＦＢゲイン（第１のゲイン）を算出するＦＢゲイン算出部１２ａと、ＦＦゲイン（第２のゲイン）を算出するＦＦゲイン算出部１２ｂとを有する。以下、ＦＢゲイン算出部１２ａと乗算器１３ａを「ＦＢ調整ブロック」とよび、ＦＦゲイン算出部１２ｂと乗算器１３ｂを「ＦＦ調整ブロック」とよぶ。本実施例では、ＦＢ調整ブロックが本発明の第１の輝度調整手段に対応し、ＦＦ調整ブロックが本発明の第２の輝度調整手段に対応する。
【００１９】
入力画像データＳ１はＦＢ調整ブロックに入力され、乗算器１３ａでＦＢゲインＳ６を乗算されＦＢ調整後データＳ２として出力される。ＦＢ調整後データＳ２は補正ブロック１０に入力され、補正処理を施され補正画像データＳ３として出力される。補正画像データＳ３はデータ遅延ブロック１４に入力され、１フレーム時間遅延されて遅延後補正画像データＳ４として出力される。遅延後補正画像データＳ４はＦＦ調整ブロックに入力され、乗算器１３ｂでＦＦゲインＳ７を乗算され出力画像データＳ５として出力される。出力画像データＳ５は表示部の変調回路２０３（図２参照）に入力され、変調回路２０３の駆動用データとして使用される。
【００２０】
また、入力画像データＳ１はシーン変化検出ブロック１１にも入力される。シーン変化検出ブロック１１は入力画像データＳ１を解析して映像シーンの変化を検出し、シーン変化の有無を示すシーン変化信号Ｓ８を出力する。シーン変化については後述する。
【００２１】
補正画像データＳ３はゲイン算出部１２に入力される。ＦＢゲイン算出部１２ａは、補正画像データＳ３からＦＢゲインＳ６を算出する。ＦＢゲインＳ６は乗算器１３ａにより次フレームの画像データＳ１に乗算される。またＦＢゲインＳ６はゲイン算出部１２に一時的に保持され、ＦＦゲイン算出部１２ｂによるＦＦゲインの算出に利用される。ＦＦゲイン算出部１２ｂは、補正画像データＳ３から算出されたＦＢゲインと、当該補正画像データＳ３の補正前の画像データに対して実際に乗算されたＦＢゲインと、シーン変化信号Ｓ８とに基づき、ＦＦゲインＳ７を算出する。
【００２２】
（ＦＢ調整ブロック）
ＦＢ調整ブロックは、ＦＢゲイン算出部１２ａと乗算器１３ａから構成されている。以下に動作の説明を記す。
【００２３】
ＦＢゲイン算出部１２ａは、補正ブロック１０から出力される１フレーム分の補正画像データＳ３を用いて、ＦＢゲインを求める。このＦＢゲインは、映像全体の輝度を調整するために、１フレーム分の画像データに対して一律に乗算されるものである。
【００２４】
輝度調整の目的あるいは目標輝度などに応じて様々なゲイン算出方法を採り得る。たとえば、ＦＢゲイン算出部１２ａは、１フレーム分の補正画像データから最大値を検出し、表示部に入力可能なデータの上限値をその検出された最大値で除した値をＦＢゲインとすることができる。これにより、表示部のダイナミックレンジを最大限に利用した高輝度な表示映像を得ることができる。なお、暗い映像が非常に明るくなってしまうと、映像の明暗のバランスが崩れ、観察者に違和感を与えるおそれがある。よって、ゲインの値には上限（例えば２．０）を設けることが好ましい。他の方法として、ＦＢゲイン算出部１２ａは、１フレーム分の補正画像データから平均輝度レベル（ＡＰＬ；Average Picture Level）を算出し、ＡＰＬの値が所望の範囲に収まるようにゲインの値を設定することもでき
る。
【００２５】
乗算器１３ａは、ＦＢゲイン算出部１２ａで算出されたＦＢゲインＳ６を、補正ブロック１０に入力される前の画像データＳ１に乗算する。このフィードバック調整には、ゲインの算出に利用された補正画像データではなく、その次のフレームの画像データに対してゲインが乗算される、という問題がある。このように、次のフレームの画像データにゲインが乗算されることをフィードバック調整の遅延と呼ぶ。
【００２６】
（補正ブロック）
補正ブロック１０は、ＦＢ調整後データＳ２に対して、少なくとも１つ以上の補正処理を行い、補正画像データＳ３を出力する。
【００２７】
本実施例の表面伝導型放出素子を用いた画像表示装置は、表示パネル２０２の基板上に多数の表示素子が形成されている。表示素子は蛍光体を有しており、蛍光体には、図４（Ａ）に示すように、入力画像データに対して輝度が飽和する非線形の特性がある。この飽和特性は蛍光体の色ごとに相違する。入力画像データと表示輝度の関係が線形にならないと、入力画像データの意図した映像を再現出来ない。そのため、補正ブロック１０では、画像データと輝度の関係を図４（Ｂ）のような線形にするための補正を行うとよい。さらに、本実施例の画像表示装置では、素子ごとの電子放出特性のばらつきや、配線抵抗による電圧降下によって、輝度むら（輝度の空間的な不均一）が発生する可能性がある。それゆえ、補正ブロック１０において、素子位置と画像データをもとに、そのような輝度むらを補正することも好ましい。
【００２８】
補正ブロック１０で行う補正処理は、輝度調整のように一律にゲインを乗算する処理とは異なり、画像データの値に応じて補正量（補正係数）が変化し得る処理、言い換えれば、画像データの値に対して非線形な出力特性をもつ変換処理である。したがって、本実施例のように輝度調整と非線形な補正の両方の処理を行う場合は、補正の前に輝度調整を行う構成が望ましく、また、適切なゲインを得るために補正後の画像データからゲインを算出することが望ましい。
【００２９】
（データ遅延ブロック）
データ遅延ブロック１４は、１フレーム分の補正画像データＳ３を１フレーム期間保持した後、遅延後補正画像データＳ４として出力する。本実施例では、データを保持する時間を１フレーム期間としたが、データを保持する時間はこれに限られず、ＦＦゲインの算出に必要な時間に応じて適宜設定すればよい。
【００３０】
（シーン変化検出ブロック）
シーン変化検出ブロック１１は、フレームごとに入力画像データＳ１の値の統計量を算出し、フレーム間での統計量の差に基づいて映像シーンの変化を検出する。ここでは、連続で出力される２つのフレームの輝度が大きく変化することをシーン変化ととらえる。シーン変化検出ブロック１１は、シーン変化の有無を表すシーン変化信号Ｓ８をフレームごとに出力する。
【００３１】
たとえば、シーン変化検出ブロック１１は、あるフレームの入力画像データＳ１からＡＰＬを算出し、１つ前のフレームのＡＰＬと比較を行い、ＡＰＬの変化量が所定の閾値以上の場合は、シーン変化があったことを表すシーン変化信号Ｓ８を出力する。ＡＰＬの変化量が閾値未満の場合には、シーン変化が無かったことを表すシーン変化信号Ｓ８が出力される。
【００３２】
シーン変化検出ブロック１１のシーン変化検出方法は、上記の方法に限定されず、ＡＰ
Ｌ以外の統計量（最大値、最小値、分散、標準偏差、ヒストグラムなど）を用いてシーン変化を検出することもできる。たとえばヒストグラムを用いる方法では、１フレーム分の入力画像データから、明るさの分布を表すヒストグラムを算出し、１つ前のフレームのヒストグラムと比較を行い、分布に所定量以上の変化があった場合は、シーン変化ありと判定する。
【００３３】
（ＦＦ調整ブロック）
ＦＦ調整ブロックは、ＦＦゲイン算出部１２ｂと乗算器１３ｂから構成されている。以下に動作の説明を記す。
【００３４】
ＦＦゲイン算出部１２ｂは、補正画像データＳ３から算出されたＦＢゲインと、当該補正画像データＳ３の補正前の画像データに対して実際に乗算されたＦＢゲインと、シーン変化信号Ｓ８とに基づき、ＦＦゲインＳ７を算出する。
【００３５】
フィードバック調整の遅延があるため、補正画像データＳ３から算出されたＦＢゲイン（理想のゲイン）と、当該補正画像データＳ３の補正前の画像データに対して実際に乗算されたＦＢゲイン（実際のゲイン）とが、一致しないことがある。特にシーン変化がある場合には、シーン変化の前後で輝度が大きく変わり、理想のゲインと実際のゲインの差（誤差）が大きくなる傾向にある。
【００３６】
そこで、ＦＦゲイン算出部１２ｂは、シーン変化信号Ｓ８により、補正画像データＳ３のフレームとその前のフレームとの間にシーン変化があったか否かを判断する。シーン変化があった場合、ＦＦゲイン算出部１２ｂは、理想のゲインと実際のゲインとの差に基づき、その差を補正するためのＦＦゲインを算出し乗算器１３ｂに出力する。たとえば、理想のゲインの値を実際のゲインの値で除算した値をＦＦゲインとして用いるとよい。なお、理想のゲインは、現在のフレームの補正画像データから算出されたＦＢゲインであり、実際のゲインは、１つ前のフレームの補正画像データから算出されたＦＢゲインである。いずれのゲインもＦＢゲイン算出部１２ａから取得することができる。一方、シーン変化がなかった場合は、ＦＦゲインによる輝度調整は不要なため、ＦＦゲイン算出部１２ｂは１倍のＦＦゲインを出力する。
【００３７】
ＦＦゲインＳ７は、乗算器１３ｂにおいて、遅延後補正画像データＳ４に対して一律に乗算される。なお、本実施例では、シーン変化がない場合に１倍のＦＦゲインを乗算する構成としたが、シーン変化がない場合に乗算器１３ｂをバイパスさせて遅延後補正画像データＳ４をそのまま出力する構成でも同じ結果が得られる。
【００３８】
図５（Ａ）と図５（Ｃ）に、本実施例の輝度制御回路における入力画像と出力画像の例を示す。ただし、本実施例の輝度制御の利点をわかりやすく説明するために、補正処理を無視する。
図５（Ａ）のＩＧＡＩＮは、画像データから計算される理想のゲインの値を示す。フレーム１、２の黒画像では、ＩＧＡＩＮ＝Ａ、フレーム３、４の白画像では、ＩＧＡＩＮ＝Ｂであり、Ａ＞Ｂである。
【００３９】
図５（Ｃ）のＦＢＧＡＩＮは、画像データに乗算された実際のＦＢゲインを表す。ＦＢＧＡＩＮは、ＩＧＡＩＮに対して１フレーム遅延している。図５（Ｃ）のＦＦＧＡＩＮは、画像データに乗算されるＦＦゲインを表す。フレーム２およびフレーム４ではシーン変化がないため、ＦＦＧＡＩＮの値は１である。フレーム３ではシーン変化ありと判定され、フレーム３のＩＧＡＩＮの値ＢとＦＢＧＡＩＮの値Ａに基づいて、ＦＦＧＡＩＮの値Ｃが算出される。ここでは、Ｃ＝Ｂ／Ａのように、ＩＧＡＩＮをＦＢＧＡＩＮで除算することでＦＦＧＡＩＮが求められる。
図５（Ｃ）のＴｏｔａｌＧＡＩＮは、入力画像に乗算されるゲインの合計（積）、つまりＴｏｔａｌＧＡＩＮ＝ＦＢＧＡＩＮ×ＦＦＧＡＩＮを表す。このＴｏｔａｌＧＡＩＮと入力画像から計算される理想のゲインＩＧＡＩＮの値が一致することが理想である。シーン変化のあるフレーム３において、ＴｏｔａｌＧＡＩＮ＝Ａ×Ｃ＝Ａ×（Ｂ／Ａ）＝Ｂ＝ＩＧＡＩＮとなり、シーン変化のあるフレームに対しても適切な輝度制御が実現できることが分かる。
【００４０】
したがって、図５（Ａ）のように全黒画像が続いた後に全白画像になるような大きな輝度変化を伴う映像が入力された場合でも、図５（Ｂ）のような現象の発生を防ぎ、図５（Ｃ）のようにシーン変化に追従した適切な明るさでの映像表示を行うことが出来る。また、図５（Ｅ）は図５（Ｃ）の画像出力を行った際の、画像表示装置の消費電流の時間的な変化を表した図である。本実施例の輝度制御によれば、消費電力の急激な変化を抑制することが出来るため、電源などの回路に対する負荷を軽減することも出来る。これは、画像表示装置の小型化・薄型化および低コスト化にも寄与する。
【００４１】
以上述べたように、本実施例の構成によると、シーン変化が検出されない時は、フィードバック調整により、補正処理を行いながら良好な輝度制御が行われる。シーン変化が検出された時は、フィードバック調整とあわせてフィードフォワード調整を行うことにより、フィードバック調整の遅延から発生するゲインの誤差を補償することができる。これによりシーン変化の発生時に起こるフィードバック調整の遅延が実質的に無くなる。よって本実施例の構成によると、フレーム間の輝度が大きく変化した場合でも適切な輝度制御を行い、高品質な映像を出力することが出来る。本実施例の構成は、画像データの値に応じて補正量が異なるような非線形な補正処理と輝度制御の両方が必要な場合に、特に大きな効果が期待できる。
【００４２】
なお、ＦＢゲイン算出部１２ａとＦＦゲイン算出部１２ｂは本実施例のように１つのブロックで構成してもよいし、別ブロックの回路構成にすることもできる。１ブロックのほうが回路の小規模化が可能であるため好ましい。また本実施例では、ＦＢゲイン算出部１２ａで算出されたＦＢゲインをＦＦゲインの計算に利用したが、ＦＦゲイン算出部１２ｂ自身が補正画像データからフレームごとのＦＢゲインを算出しても構わない。
【００４３】
［実施例２］
本実施例は、実施例１の輝度制御回路に、フレーム間でのゲインの変動を小さくするためのフィルタ処理を行う機能を組み合わせた構成である。
【００４４】
実施例１の構成によれば、シーン変化のときに画面が一瞬フラッシュのように光って見える現象を抑えることが出来る。しかし、シーン変化がないときには、ＦＢゲインの値が細かく振動することにより、表示画像がフリッカーのように見えてしまうことがある。図６の破線ｂ０１は、フィルタ無しの場合のＦＢゲインの変動の例を示している。このフリッカーは補正ブロック１０（図１参照）における補正処理の非線形性が高いときには特に顕著になる傾向がある。このため、本実施例では、ＦＢゲインの変動を抑えるための特殊なフィルタをＦＢ調整ブロックに追加する。
【００４５】
図１を用いて、本実施例の輝度制御回路について説明する。本実施例では、ＦＢゲイン算出部１２ａがローパスフィルタを持つ。ＦＢゲイン算出部１２ａは、補正画像データＳ３からゲインを算出した後に、そのゲインにフィルタ処理を施し、フィルタ後の値をＦＢゲインＳ６として出力する。ただし、シーン変化信号Ｓ８によりシーン変化ありと判断された場合は、ＦＢゲイン算出部１２ａはフィルタ処理を行わず、補正画像データＳ３から算出したゲインをそのままＦＢゲインＳ６として出力する。
【００４６】
たとえば、シーン変化がない場合に出力されるＦＢゲインは、
Gout(N)=Gout(N-1)+{Gnew(N)-Gout(N-1)}/F
シーン変化がある場合に出力されるＦＢゲインは、
Gout(N)=Gnew(N)
のように算出される。
ここで、
Gout(N)：Ｎフレーム目に出力されるＦＢゲイン、
Gnew(N)：Ｎフレーム目に算出されたＦＢゲイン、
F： フィルタ係数（F>1）
である。フィルタ係数Ｆの値が１より大きくなるほど、ゲイン変動の低減効果が大きくなる。
【００４７】
本実施例によると、ゲイン変動を図６の実線ｂ０２に示されるように小さくすることができる。これにより、ゲイン変動がフリッカーのように見えることを防ぐことができる。
【００４８】
本実施例のＦＢ調整ブロックにおいてもフィードバック調整の遅延は発生する。これは、フィルタ処理が施されたＦＢゲインが適用されるのは実施例１で説明したのと同様、１フレーム後になるためである。そこで、本実施例においても、シーン変化があった場合に、ＦＦゲイン算出部１２ｂが理想のゲイン（Gout(N)）と実際のゲイン（Gout(N-1)）からＦＦゲインを算出し、フィードフォワード調整を行うことで、実施例１と同じ効果を得ることができる。さらにシーン変化が発生していないときには、実施例１と比べ、ゲイン変動によるフリッカー感を低減することができ、より好ましい画像出力を行うことができる。
【００４９】
［実施例３］
複数フレームの画像データから１つの映像が構成されている場合がある。たとえば、右眼用と左眼用の２つの画像データから構成される立体映像、露出の異なる複数の画像データから構成されるＨＤＲ（High Dynamic Range）映像などがその例である。このような画像が入力された場合、実施例１のようにフレームごとにＦＢゲインとＦＦゲインを算出し乗算する処理方法では、１つの映像を構成する一群のフレームの間で輝度の倍率が異なってしまう可能性がある。輝度の倍率にばらつきがあると、観察者に違和感を与えたり、意図する映像を再現できない可能性があるため好ましくない。
【００５０】
そこで本実施例では、複数フレームの画像データから１つの映像が構成されている信号が入力された場合に、輝度制御回路２０１に対して連続フレーム数の情報を与える。連続フレーム数とは、１つの映像を構成する一群のフレームの数であり、たとえば立体映像の場合は２となる。なお連続フレーム数は、入力信号とともに与えられてもよいし、入力信号を解析することによって検出してもよい。
【００５１】
そして、本実施例の輝度制御回路２０１（図１参照）では、ＦＢゲイン算出部１２ａがＦＢゲインの算出を連続フレーム数の周期に一度だけ行い、ＦＦゲイン算出部１２ｂもＦＦゲインの算出を連続フレーム数の周期に一度だけ行う。またシーン変化検出ブロック１１もシーン変化の検出を連続フレーム数の周期に一度だけ行う。つまり、１つの映像を構成する一群のフレームの画像データを処理するあいだ、ゲイン算出部１２から同じ値のゲインが出力され続けるようにする。
【００５２】
上記構成により、一群のフレームの画像データに対して同じ値のゲインを乗算することが出来る。したがって、立体映像やＨＤＲ映像のように１つの映像が複数フレームの画像データで構成されている場合でも、適切な輝度調整を行い、違和感の無い高品質な画像表示を行うことが出来る。
【００５３】
［実施例４］
人の目は一瞬の明るい画像に対してはまぶしさから不快感を覚えやすいが、一瞬の暗い画像に対しては不快感を覚えにくい。また暗い画像の表示期間が短ければ短いほど不快感を覚えにくくなる傾向にある。本実施例の説明で言う一瞬とは１フレームから数フレームのことを指す。
したがって、フィードバック調整の遅延による表示輝度の不具合は、暗い画像から明るい画像へ輝度が変化する場合には目立つが、明るい画像から暗い画像へ輝度が変化する場合にはほとんど気にならない。
【００５４】
そこで、本実施例のＦＦゲイン算出部１２ｂは、暗い画像から明るい画像へのシーン変化なのか明るい画像から暗い画像へのシーン変化なのかを判断し、前者の場合は実施例１と同じ方法で算出したＦＦゲインを出力するが、後者の場合は１倍のゲインを出力する。
暗い画像から明るい画像へ変化するときは、理想のゲインよりも実際のゲインが大きいため、ＦＦゲイン算出部１２ｂで算出されるゲインの値は１よりも小さくなる。逆に、明るい画像から暗い画像へ変化するときは、ＦＦゲイン算出部１２ｂで算出されるゲインの値は１よりも大きくなる。したがって、ＦＦゲイン算出部１２ｂは、算出したゲインの値が１より小さいか否かで、算出したゲインを出力するか、１倍のゲインを出力するかを切り替えればよい。あるいは、ＦＦゲイン算出部１２ｂに、ＦＦゲインの値を１以下に制限するリミッタを付加しても、同様の処理が実現できる。
【００５５】
本実施例はシーン変化検出時のフィードフォワード調整を、暗い画像から明るい画像への変化のときのみ行うことが特徴である。本実施例によると、暗い画像から明るい画像へシーン変化が発生したときに、一瞬明るくなるという見た目の不快感を防ぐことが出来る。一方、明るい画像から暗い画像へのシーン変化の場合は、補正ブロック１０から出力された補正画像データがそのまま出力されるので、画質の劣化がないきれいな画像が表示される。
【００５６】
なお、シーン変化検出ブロック１１が、明るい画像から暗い画像への変化なのか、暗い画像から明るい画像への変化なのかを判断し、暗い画像から明るい画像への変化の場合にのみシーン変化があったことを表すシーン変化信号を出力する、という構成でもよい。この方法でも本実施例と同じ効果を得ることが出来る。
【符号の説明】
【００５７】
２０１：輝度制御回路、１０：補正ブロック、１１：シーン変化検出ブロック、１２：ゲイン算出部、１２ａ：ＦＢゲイン算出部、１２ｂ：ＦＦゲイン算出部
【特許請求の範囲】
【請求項１】
画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置であって、
各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力する補正手段と、
前記補正手段から出力された補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整する輝度調整手段と、
映像シーンの変化を検出する検出手段と、
を有し、
前記輝度調整手段は、
前記補正画像データから第１のゲインを算出して、該第１のゲインを前記補正手段に入力される前の画像データに乗算する第１の輝度調整手段と、
前記検出手段によって映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記第２の輝度調整手段は、前記補正画像データから算出される第１のゲインの値を、当該補正画像データの補正前の画像データに対して乗算された第１のゲインの値で除算することにより、前記第２のゲインを算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の輝度調整手段は、前記第２のゲインの値が１よりも小さい場合にのみ、前記第２のゲインを前記補正画像データに乗算する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正手段は、入力される画像データの値に対して非線形な出力特性をもつ補正を行うことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
【請求項５】
複数フレームの画像データから１つの映像が構成されている場合に、前記輝度調整手段は、１つの映像を構成する複数フレームの画像データに対して同じ値のゲインを乗算することを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記検出手段は、フレームごとに画像データの値の統計量を算出し、フレーム間での統計量の差に基づいて映像シーンの変化を検出する
ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の輝度調整手段は、
フレーム間での第１のゲインの変動を抑制するために、前記補正画像データから算出した第１のゲインに対してフィルタ処理を行う機能を有しており、
前記検出手段によって映像シーンの変化が検出された場合は、前記フィルタ処理を行わない
ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
【請求項８】
画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置の制御方法であって、
各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力するステップと、
前記補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整するステップと、
映像シーンの変化を検出するステップと、
を有し、
前記輝度を調整するステップは、
前記補正画像データから第１のゲインを算出して、該第１のゲインを補正前の画像データに乗算する第１の輝度調整ステップと、
映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整ステップとを有する
ことを特徴とする画像処理装置の制御方法。
【請求項１】
画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置であって、
各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力する補正手段と、
前記補正手段から出力された補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整する輝度調整手段と、
映像シーンの変化を検出する検出手段と、
を有し、
前記輝度調整手段は、
前記補正画像データから第１のゲインを算出して、該第１のゲインを前記補正手段に入力される前の画像データに乗算する第１の輝度調整手段と、
前記検出手段によって映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記第２の輝度調整手段は、前記補正画像データから算出される第１のゲインの値を、当該補正画像データの補正前の画像データに対して乗算された第１のゲインの値で除算することにより、前記第２のゲインを算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の輝度調整手段は、前記第２のゲインの値が１よりも小さい場合にのみ、前記第２のゲインを前記補正画像データに乗算する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正手段は、入力される画像データの値に対して非線形な出力特性をもつ補正を行うことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
【請求項５】
複数フレームの画像データから１つの映像が構成されている場合に、前記輝度調整手段は、１つの映像を構成する複数フレームの画像データに対して同じ値のゲインを乗算することを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記検出手段は、フレームごとに画像データの値の統計量を算出し、フレーム間での統計量の差に基づいて映像シーンの変化を検出する
ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の輝度調整手段は、
フレーム間での第１のゲインの変動を抑制するために、前記補正画像データから算出した第１のゲインに対してフィルタ処理を行う機能を有しており、
前記検出手段によって映像シーンの変化が検出された場合は、前記フィルタ処理を行わない
ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
【請求項８】
画像データを入力して該画像データに基づいた映像を表示部に表示させる画像処理装置の制御方法であって、
各フレームの画像データに対し該画像データの値に応じた補正を施して補正画像データを出力するステップと、
前記補正画像データからゲインを算出し、該ゲインを用いて映像全体の輝度を調整するステップと、
映像シーンの変化を検出するステップと、
を有し、
前記輝度を調整するステップは、
前記補正画像データから第１のゲインを算出して、該第１のゲインを補正前の画像データに乗算する第１の輝度調整ステップと、
映像シーンの変化が検出された場合に、前記補正画像データから算出される第１のゲインと、当該補正画像データの補正前の画像データに対して乗算された第１のゲインとの差に基づき、その差を補正するための第２のゲインを算出して、該第２のゲインを当該補正画像データに乗算する第２の輝度調整ステップとを有する
ことを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−８４９７（Ｐ２０１２−８４９７Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６７８０（Ｐ２０１０−１４６７８０）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]