説明

画像表示装置および画像処理方法

【課題】
より好適に領域分割を行って画質補正を行い、より好適に画像を高画質化する。
【解決手段】
画像データの一部を所定のサイズの画素ブロックとして抽出し、画素ブロック毎に直交変換係数を算出し、当該画素ブロックにおける前記直交変換係数を複数のグループに分け、当該複数のグループに属する直交変換係数に基づいて第1の画像特徴量を算出し、画像データにおける各画素の輝度値に基づいて第2の画像特徴量を算出し、第1の画像特徴量と第2の画像特徴量とに基づいて画素毎に領域の種類を決定し、各領域の画像データに画質補正処理を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを複数の領域に分割し、領域毎に画像データの補正量を変更する画像表示装置および画像処理方法に関する。
【背景技術】
【0002】
テレビなどの画像データには、様々なオブジェクト、例えば人、乗り物、空、川、建物等が含まれていて、画質を向上するために、オブジェクト毎、もしくは前景や背景等の領域毎に画像データを補正したいというニーズがある。
【0003】
特許文献1には、輝度色情報およびテクスチャ情報を用いて画像を領域分割し、続いて輝度色情報を用いて前記領域を統合することで、画像を複数の領域に分割する技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−258752号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のように輝度色情報を用いて領域を統合すると、エッジを含む領域とエッジを含まない領域を統合してしまい、その領域を用いて画像データのコントラスト補正やノイズリダクション等を行うと、動画表示時にノイズやぼやけが発生してしまう。
【0006】
また、画像を領域分割する上で、水平方向、垂直方向、斜め方向等のエッジ情報の検出が特に重要である。従来技術の特許文献1では、エッジ情報の算出方法によっては領域分割が適切に行われず、画質補正に使用できる領域分割とならないという課題がある。
【0007】
本発明の目的は、上記課題を鑑み、より好適に領域分割を行って画質補正を行い、より好適に画像を高画質化することである。
【課題を解決するための手段】
【0008】
本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【0009】
本発明によれば、より好適に領域分割を行って画質補正を行い、より好適に画像を高画質化することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施例に係る画像表示装置を示すブロック図。
【図2】本発明の一実施例に係るブロック抽出部の動作の一例を説明する図。
【図3】本発明の一実施例に係る直交変換部の直交変換結果の一例を説明する図。
【図4】本発明の一実施例に係る直交変換係数特徴判定部の直交変換係数グループ化の一例を説明する図。
【図5】本発明の一実施例に係る直交変換係数特徴判定部の動作を示すフローチャート。
【図6】本発明の一実施例に係る輝度判定部の動作を示すフローチャート。
【図7】本発明の一実施例に係る輝度判定部の輝度閾値算出の一例を説明する図。
【図8】本発明の一実施例に係る領域判定部の領域判定の一例を説明する図。
【図9】本発明の一実施例に係るコントラスト補正の一例を説明する図。
【図10】本発明の一実施例に係る画質補正部のコントラスト補正の組合せ一例を説明する図。
【図11】本発明の一実施例に係る本発明の画質補正部のノイズリダクションの一例を説明する図。
【発明を実施するための形態】
【0011】
以下、本発明の各実施例を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
【実施例1】
【0012】
図1は、本発明の第1の実施例に係る画像表示装置を示すブロック図である。画像表示装置1の構成は、入力部10、ブロック抽出部11、直交変換部12、直交変換係数特徴判定部13、輝度判定部14、領域判定部15、画質補正部16、画像表示部17、制御部20を備えている。
【0013】
各部の動作を説明する。入力部10には動画像データが入力される。例えば入力部10は、画像入力端子、ネットワーク接続端子などを備え、あるいはTV放送用のチューナーであっても良い。入力部10では、入力された動画像データに対して必要に応じて画像の前処理を行い、処理後の表示データをブロック抽出部11と輝度判定部14へ出力する。
【0014】
ブロック抽出部11では、入力画像から所定サイズのブロックに属する画素(以後、画素ブロックと呼ぶ)を抽出する。
【0015】
直交変換部12では、アダマール変換により画素ブロックを直交変換し、直交変換係数、即ちアダマール変換係数を算出する。アダマール変換には、アダマール変換行列、もしくは高速ウォルシュ・アダマール変換を用いてもよい。アダマール変換技術に関しては、既存の技術を用いればよい。
【0016】
直交変換係数特徴判定部13では、直交変換部12で求めたアダマール変換係数を複数のグループに分けて、各グループ毎に各アダマール変換係数の絶対値の総和Siを求め、各グループの総和Siを比較することで、画像の特徴、すなわち画素ブロック内の対象画素の直交変換係数特徴量mを画素毎に判定する。
【0017】
輝度判定部14では、入力部10より入力された各画素の輝度値を判定し、各画素がどの輝度範囲に含まれるかを示す輝度特徴量nを判定する。
【0018】
領域判定部15では、直交変換係数特徴判定部13で求めた直交変換係数特徴量mと、輝度判定部14で求めた輝度特徴量nを用いて、画素毎に各画素が属する領域を判定し、領域の種類を決定する。
【0019】
画質補正部16では、数種類の傾きaと切片bをもつ補正式y=ax+bやe(自然対数の底)のaX乗の補正式等を予め複数用意している。領域毎に前記補正式を複数組合せて、領域毎に画像データを補正する。
【0020】
画像表示部17では、画像補正部16で補正した画像データに基づいて、画像を表示する。
【0021】
制御部20は、表示装置内の各要素に接続される。表示装置の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部20の指示により動作する。
【0022】
このように本実施例の画像表示装置1では、直交変換係数特徴判定部13で求めた直交変換係数特徴量mと、輝度判定部14で求めた輝度特徴量nを用いて、画素毎に各画素が属する領域を判定し、画像補正部16にて領域毎に異なった補正式を用いて画像データを補正する。以下、各部の構成と動作を詳細に説明する。
【0023】
図2は、ブロック抽出部12の動作の一例を説明する図である。図2では、横軸は画像の水平方向、縦軸は画像の垂直方向を示す。従って、横軸は右に一つ移動すると座標値Xiが一つ増える。また、縦軸は下に一つ移動すると座標値Yiが一つ増える。ブロック抽出部12は、図2に示すように、対象画素を基点とした画素ブロックを入力画像から抽出する。また、対象画素を一つ右方向に移動して、次の画素ブロックを抽出する。ただし、対象画素は、画素ブロック内のどの画素を用いても良い。
【0024】
直交変換部12では、アダマール変換によりブロック抽出部12で求めた画素ブロックを直交変換し、図3に示す直交変換係数、即ちアダマール変換係数Dijを算出する。
【0025】
図5は、直交変換係数特徴判定部13の動作を示すフローチャートである。
【0026】
直交変換係数特徴判定部13では、画像の特徴、すなわち画素ブロック内の対象画素の直交変換係数特徴量mを画素毎に判定する。その手順を説明する。
【0027】
ステップ501にて、直交変換部12で求めた対象画素の画素ブロックに属する直交変換係数Dijを抽出する。
【0028】
ステップ502にて、各直交変換係数Dijの絶対値Fijを計算する。
【0029】
ステップ503にて、各アダマール変換係数の絶対値Fijを図4に示すようにグループに分け、グループGi毎に絶対値Fijの総和Si(i=1〜4)を計算する。
【0030】
ステップ504にて、Siと各閾値との比較を行う。すなわち、S2>閾値1、S3>閾値2、S4>閾値3の3つの比較を行う。3つの比較のうち、1つでも条件を満たす場合、ステップ505に進む。ステップ505にて、画像の特徴、すなわち直交変換係数特徴量mに1を設定する。前記条件にて、1つも条件を満たさなかった場合、ステップ506に進む。ステップ506にて、直交変換係数特徴量mに0を設定する。
【0031】
ステップ507にて、求めた直交変換係数特徴量mを出力する。
【0032】
ステップ508にて、対象フレーム内の全ての画素について、直交変換係数特徴量mを算出するまで、上記ステップ501から507を繰り返す。
【0033】
このように本実施例の直交変換係数特徴判定部13は、対象画素を含む画素ブロック内の直交変換係数を用いて、各対象画素の特徴を判定し、対象フレームの全ての画素について直交変換係数特徴量mを算出する。したがって、グループG1の低周波成分ではなく、グループG2〜G4の中高周波成分の検出に重点を置くことで、水平方向、垂直方向、斜め方向等のエッジ情報をより多く検出することが可能となる。
【0034】
図6は、輝度判定部14の動作を示すフローチャートである。
【0035】
ステップ601にて、入力部10で求めた対象画素の輝度値Yijを取得する。
【0036】
ステップ602にて、輝度値Yij<輝度閾値1を満たすか否かを判定する。条件を満たす場合、ステップ603に進み、輝度特徴量nを0(低輝度領域)とする。条件を満たさない場合、ステップ604に進む。
【0037】
ステップ604にて、輝度値Yij<輝度閾値2を満たすか否かを判定する。条件を満たす場合、ステップ605に進み、輝度特徴量nを1(中輝度領域)とする。条件を満たさない場合、ステップ606に進み、輝度特徴量nを2(高輝度領域)とする。
【0038】
ステップ607にて、上記輝度特徴量nを出力する。
【0039】
ステップ608にて、対象フレーム内の全ての画素について、上記輝度特徴量nを算出するまで、上記ステップ601から607を繰り返す。
【0040】
このように本実施例の輝度判定部14は、各対象画素の輝度値の範囲を判定し、対象フレームの全ての画素について輝度特徴量nを算出する。ここで、輝度閾値1と2は、対象フレーム内の各画素を、低輝度領域、中輝度領域、高輝度領域の3つの領域に分類するために使用する。各輝度閾値は、フレーム毎に同じ固定値でも良いし、フレーム毎に輝度ヒストグラムを作成して、フレーム毎に可変値としてもよい。例えば、固定値の場合、輝度閾値1に48、輝度閾値2に120をそれぞれ設定する。次に、図7を用いて、各輝度閾値の可変値の求め方の例を説明する。対象フレーム毎に、図7(a)に示す各輝度値のカウント数Nを求めた輝度ヒストグラムを作成する。ここで、図7(a)、(b)において、横軸は輝度値Yij、縦軸はカウント数を表す。また、Aは対象フレームの全画素数、「A*2/3」は全画素数の2/3の数、「A*1/3」は全画素数の1/3の数、a〜iは各輝度値のカウント数Nを表す。次に、図7(b)に示すように、最小輝度値より、各輝度値のカウント数の累積を順次算出する。最初に、最小輝度値「30」のカウント数aと次に値の大きい輝度値のカウント数bの累積値「a+b」を算出する。同様に、最大輝度値のカウント数iまで、順次カウント数の累積値を算出する。カウント数を累積していく過程で、求めたカウント数の累積値が判定値1の「A*1/3」を超えた場合、そのときのカウント数をもつ輝度値を輝度閾値1とする。すなわち、図7(b)では、カウント数dをもつ輝度値60を輝度閾値1とする。また、求めたカウント数の累積値が判定値2の「A*2/3」を超えた場合、そのときのカウント数をもつ輝度値を輝度閾値2とする。すなわち、図7(b)では、カウント数gをもつ輝度値120を輝度閾値2とする。これにより、フレーム毎に可変する各輝度閾値を算出することが可能となり、求めた各輝度閾値を用いて、各画素の輝度特徴を判定することが可能となる。本実施例において、輝度閾値と判定値の数がそれぞれ2つである場合について説明したが、対象フレーム内の輝度値数の範囲以内ならば、いくつでも輝度閾値と判定値を設定してもよい。
【0041】
図8は、領域判定部15にて行う領域判定の内容を示す。領域判定部15では、図8に示すように、直交変換係数特徴判定部13で求めた直交変換係数特徴量mと輝度判定部14で求めた輝度特徴量nとの組合せにより、画素毎に領域を判定し、領域の種類を決定する。図8において、直交変換係数特徴量mは、周波数成分の特徴を表す。すなわち、m=0の場合は、中高域成分が少ないことを表し、m=1の場合は、中高域成分が多いことを表す。また、輝度特徴量nは、各画素がどの輝度領域に属するかを表す。すなわち、n=0の場合は、対象画素が低輝度領域に属し、n=1の場合は、対象画素が中輝度領域に属し、n=2の場合は、対象画素が高輝度領域に属することを表す。図8に示すように、例えば、m=0かつn=0の場合、対象画素の領域番号ANに0、m=0かつn=1の場合、対象画素の領域番号ANに1、m=0かつn=2の場合、対象画素の領域番号ANに2を設定する。また、m=1かつn=0の場合、対象画素の領域番号ANに3、m=1かつn=1の場合、対象画素の領域番号ANに4、m=1かつn=2の場合、対象画素の領域番号ANに5を設定する。すなわち、輝度特徴量nを用いて、直交変換係数特徴量m=0(中高域成分少)の領域を3種類に分割し、また、直交変換係数特徴量m=1(中高域成分多)の領域を3種類に分割する。これにより、対象フレームの各画素を6種類の領域に分割することが可能となる。
【0042】
図9を用いて、画質補正部16の動作を説明する。図9(a)、(b)において、横軸は入力の輝度値yin、縦軸は出力の輝度値youtを表す。図9(a)は、a1>b1、a2<b2の関係を満たすコントラスト補正用の折れ線を表す。図9(a)の折れ線を用いて輝度値を補正すると、暗い画素はより暗く、明るい画素はより明るく補正されるため、コントラストが改善される。
【0043】
図9(b)は、a1<b1、a2>b2の関係を満たすコントラスト補正用の折れ線を表す。図9(b)の折れ線を用いて輝度値を補正すると、暗い画素はより明るく、明るい画素はより暗く補正される。図9(b)は、暗くて見えない領域を見えるように補正する場合等に使用する。図9(a)、(b)の点線は、入力の輝度値yinと出力の輝度値youtが等しい直線を表す。a1とb1、およびa2とb2の大小関係を色々変えることで、様々な折れ線を表現することが可能となる。図9(c)に示すように、a1とb1が等しく、かつa2とb2が等しい場合、すなわち入力の輝度値を補正しない場合、yinとyoutが等しくなり、点線と同じ直線を表現できる。
【0044】
画質補正部16では、領域判定部15で求めた領域番号AN毎に、各係数(a1、a2、b1、b2)を変えた図9(a)や(b)を割り当てることで、様々なコントラスト補正を実現できる。すなわち、領域番号AN=0に図9(b)の折れ線、領域番号AN=1に図9(a)の折れ線、領域番号AN=2に図9(a)の折れ線をそれぞれ割り当てると、図10(a)に示すコントラスト補正の折れ線、すなわちいくつかの直線を組合せた線となる。また、領域番号AN=3に図9(b)の折れ線、領域番号AN=4に図9(a)の折れ線、領域番号AN=5に図9(c)の折れ線をそれぞれ割り当てると、図10(b)に示すコントラスト補正の折れ線となる。ただし、各領域番号ANに割当てる図9(a)や(b)の各係数(a1、a2、b1、b2)は、領域番号毎に同じでも良いし、異なっていても良い。したがって、領域毎に好適なコントラスト補正を実現することができる。
【0045】
本実施例によれば、直交変換係数特徴と輝度特徴を用いることにより対象フレームを好適に領域分割することができる。
【0046】
また、アダマール変換の直交変換係数特徴を用いることで、小さい回路規模で画像を領域分割することが可能となる。
【0047】
また、分割した領域毎にコントラスト補正量を変えることで、動画表示時に発生するノイズを低減し、領域毎に好適なコントラスト補正を実現することができる。
【0048】
すなわち、本実施例によれば、直交変換係数特徴と輝度特徴を用いて対象フレームを領域分割し、領域毎にコントラスト補正量を変えることで、動画表示時に発生するノイズを低減し、領域毎に好適なコントラスト補正を実現することが可能となる。
【0049】
よって、本実施例によれば、より好適に画像を高画質化することが可能となる。
【実施例2】
【0050】
第2の実施例に係る画像表示装置は、前記実施例1の図1と同じ構成であるが、画質補正部16の動作を変更したものである。従って、ここでは構成が同じものについては説明を省略する。
【0051】
人間の視覚特性において、高周波成分のノイズと比較すると、低周波成分(すなわち、平坦部)のノイズの視感度が高いという特性がある。さらに、平坦部の中でも、暗い領域よりも明るい領域の方がノイズは目立つという特性がある。
【0052】
対象フレームの全面に対して、ノイズリダクションを行うとノイズが低減する。しかし、その反面、エッジやノイズの目立たない暗い平坦部等の領域までぼやけてしまうという課題がある。そこで本実施例の画質補正部16は、領域毎にノイズリダクションによる補正量、強度を変更する。
【0053】
図11は、画質補正部16の動作の一例を説明する図である。図11(a)は、領域判定部15により、対象フレームが6つの領域に分割された一例を示す図である。ここで、ANは領域番号を示す。図11(b)は、領域毎に設定したノイズリダクションの強弱の一例を示す図である。ここで、NRはノイズリダクションを示す。ノイズリダクション技術として、既存の技術を用いれば良く、例えば、バイラテラルフィルタを用いても良い。バイラテラルフィルタに関しては、既存の技術を用いればよい。図11(b)に示すように、AN=0、およびAN=3〜5の領域については、NRの適用割合を弱く設定し、AN=1〜2の領域については、NRの適用割合を強く設定する。これにより、エッジや暗い平坦部等の領域のぼやけを抑制し、ノイズが目立ちやすい前記以外の領域のノイズを低減することが可能となる。したがって、領域毎に好適なノイズリダクションが実現可能となる。例えば、ノイズが目立つ領域について、他の領域よりもノイズ低減効果を強めることできる。
【0054】
本実施例では、ノイズリダクションの設定量として強弱の2種類について説明したが、複数の強弱の設定量を用いても良い。また、領域毎に設定するノイズリダクションの強弱の組合せは、同様の効果が得られるのであれば、図11(b)以外の組合せを用いてもよい。
【0055】
本実施例によれば、領域のぼやけを抑制しつつ、ノイズが目立つ領域について、他の領域よりもノイズ低減効果を強めることできる。
【0056】
また、本実施例によれば、実施例1の効果に加え、領域毎にノイズ低減量を変えることで、領域のぼやけを抑制しつつ、ノイズが目立つ領域について、他の領域よりもノイズ低減効果を強めることできる。
【0057】
よって、本実施例によれば、より好適に画像を高画質化することが可能となる。
【0058】
なお、以上説明した各実施例については、次のような変形が可能である。
【0059】
直交変換部12において、直交変換としてアダマール変換を用いる例を説明したが、離散フーリエ変換、離散コサイン変換、離散ハートレー変換、カルーネン・レーブ変換、ウェーブレット変換等の直交変換を用いてもよい。
【0060】
直交変換係数特徴判定部13において、直交変換係数を4つのグループに分けて閾値と比較する例を説明したが、2つ以上のグループであればいくつに分けて閾値判定してもよい。
【0061】
また、直交変換係数特徴判定部13において、2つの直交変換係数特徴量を算出する例を説明したが、2つ以上であればいくつの直交変換係数特徴量を求めてもよい。
【0062】
また、輝度判定部14において、3つの輝度特徴量を算出する例を説明したが、これ以外の輝度特徴量を求めてもよい。また、輝度特徴量を用いずに、直交変換係数特徴量のみで領域分割を行ってもよい。
【0063】
また、輝度判定部14において、各輝度値のカウント数Nの累積値を用いて輝度閾値1と2を算出する例を説明したが、低中輝度や中高輝度の中から最もカウント数が多い輝度値を用いて輝度閾値1と2を求めてもよく、同様の効果を有する。
【0064】
また、以上説明した各図、各方法等の実施例のいずれを組み合わせても、本発明の実施の形態となりうる。
【符号の説明】
【0065】
1…画像表示装置、10…入力部、11…ブロック抽出部、12…直交変換部、13…直交変換係数特徴判定部、14…輝度判定部、15…領域判定部、16…画質補正部、17…画像表示部、20…制御部。

【特許請求の範囲】
【請求項1】
画像データを入力する入力部と、
前記画像データの一部を所定のサイズの画素ブロックとして抽出するブロック抽出部と、
前記ブロック抽出部が抽出した前記画素ブロック毎に直交変換係数を算出する直交変換部と、
前記直交変換係数に基づいて第1の画像特徴量を算出する直交変換係数特徴判定部と、
前記画像データにおける各画素の輝度値に基づいて第2の画像特徴量を算出する輝度判定部と、
前記直交変換係数特徴判定部で求めた第1の画像特徴量と前記輝度判定部で求めた第2の画像特徴量とに基づいて画素毎に領域の種類を決定する領域判定部と、
前記領域判定部で決定した各領域の画像データに画質補正処理を行う画質補正部と、
前記画質補正部が画質補正した画像データに基づいて画像を表示する画像表示部とを備え、
前記直交変換係数特徴判定部は、前記画素ブロックにおける前記直交変換係数を複数のグループに分けて、当該複数のグループに属する直交変換係数に基づいて、第1の画像特徴量を算出することを特徴とする画像表示装置。
【請求項2】
請求項1に記載の画像表示装置において、
前記直交変換部は、アダマール変換を行うことを特徴とする画像表示装置。
【請求項3】
請求項1に記載の画像表示装置において、
前記画質補正部は、領域毎に画質補正の補正量を変更することを特徴とする画像表示装置。
【請求項4】
前記画像データを入力する入力ステップと、
画像データの一部を所定のサイズの画素ブロックとして抽出するブロック抽出ステップと、
前記ブロック抽出ステップにおいて前記画素ブロック毎に直交変換係数を算出する直交変換ステップと、
前記直交変換係数に基づいて第1の画像特徴量を算出する直交変換係数特徴判定ステップと、
前記画像データにおける各画素の輝度値に基づいて第2の画像特徴量を算出する輝度判定ステップと、
前記直交変換係数特徴判定ステップで求めた第1の画像特徴量と前記輝度判定ステップで求めた第2の画像特徴量とに基づいて画素毎に領域の種類を決定する領域判定ステップと、
前記領域判定ステップで決定した各領域の画像データに画質補正処理を行う画質補正ステップとを備え、
前記直交変換係数特徴判定ステップは、前記画素ブロックにおける前記直交変換係数を複数のグループに分けて、当該複数のグループに属する直交変換係数に基づいて、第1の画像特徴量を算出することを特徴とする画像処理方法。
【請求項5】
請求項4に記載の画像処理方法において、
前記直交変換ステップは、アダマール変換を行うことを特徴とする画像処理方法。
【請求項6】
請求項4に記載の画像処理方法において、
前記画質補正ステップは、領域毎に画質補正の補正量を変更することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2010−200192(P2010−200192A)
【公開日】平成22年9月9日(2010.9.9)
【国際特許分類】
【出願番号】特願2009−45053(P2009−45053)
【出願日】平成21年2月27日(2009.2.27)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】