視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ
【課題】入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置を実現する。
【解決手段】入力画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力するゲイン型視覚処理部７０と、第１ゲイン信号に基づいて、入力画像信号を補正する補正部９とを備える。
【解決手段】入力画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力するゲイン型視覚処理部７０と、第１ゲイン信号に基づいて、入力画像信号を補正する補正部９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚処理装置、表示装置および集積回路に関し、特に、画像のコントラストを調整する視覚処理装置、表示装置および集積回路に関する。
【背景技術】
【０００２】
従来のカラーテレビジョン受像機では、画像の明暗を調整するためにコントラスト調整を行っていた。
コントラスト調整では、色バランスを崩さないように、ＲＧＢ信号を輝度信号と色度信号に分離し、輝度信号のコントラストを調整するようにしていた。
また、輝度信号レベルを大きくした部分では、色が薄く見え、逆に輝度信号レベルを小さくした部分では色が濃く見えて不自然な状態で出力されるので、輝度信号レベルの変化に対応するように色度信号のレベルも増減させるようにしていた。
従来の表示装置のコントラスト調整回路について図５２を用いて説明する。図５２は従来の表示装置のコントラスト調整回路の構成を示すブロック図である。図５２において、Ｙマトリクス１００はＲ、Ｇ、Ｂ信号を輝度信号Ｙａに変換するものである。同様に、Ｒ−Ｙマトリクス１０１はＲ、Ｇ、Ｂ信号を色度信号であるＲ−Ｙに、Ｂ−Ｙマトリクス１０２はＲ、Ｇ、Ｂ信号を色度信号であるＢ−Ｙに変換するものである。ガンマ補正回路１０４は輝度信号Ｙａのリニアリティを輝度信号Ｙｂに変換するものである。また、ガンマ補正回路１０４はルックアップテーブル（以下、「ＬＵＴ」という）より構成され、例えば図５３に示すような、ガンマ変換特性を有するテーブル値が書き込まれている。ここで、横軸が入力Ｙａ、縦軸が出力Ｙｂである。
【０００３】
除算回路１０５は、輝度信号Ｙｂを輝度信号Ｙａで除算し、変換率Ｙｂ／Ｙａを得る。係数器１０６は、変換率Ｙｂ／Ｙａと係数Ｋとの演算により、色信号を増幅する変換係数Ｋｃ＝１＋Ｋ（Ｙｂ／Ｙａ−１）を得る。ここで、係数Ｋを変更することで、色信号の増加を抑えることができる。また、乗算器１０７、１０８は、Ｒ−Ｙマトリクス１０１の出力、Ｂ−Ｙマトリクス１０２の出力に変換係数Ｋｃが乗算され、輝度コントラスト調整に対応した色度（Ｒ−Ｙ）信号および色度（Ｂ−Ｙ）信号が生成される（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−１５２７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記構成のコントラスト調整回路では、色度信号に対して、輝度信号が除算回路により除算された後（輝度信号を除算する処理は、演算処理数が多いため、除算結果が出力されるまで時間がかかるので、遅延が発生する。）、乗算器により乗算を行うための係数が取得され、取得された係数を色度信号に乗算するという処理を行うことになるので、出力される輝度信号と出力される色度信号との出力タイミングがずれたものとなり、別途、出力輝度信号と出力色度信号とのタイミングを合わせるため、遅延手段等が必要となるという課題がある。
本発明が解決しようとする課題は、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置を実現することである。また、その視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路を実現することである。
【課題を解決するための手段】
【０００６】
第１の発明は、入力された画像信号を補正して出力する視覚処理装置であって、視覚処理部と、補正部とを備える。視覚処理部は、画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力する。補正部は、第１ゲイン信号に基づいて画像信号を補正する。
この視覚処理装置では、画像信号に対して所定のゲイン特性を有する第１ゲイン信号が視覚処理部により出力され、第１ゲイン信号に基づいて、視覚処理装置に入力された画像信号が補正されるので、高性能な補正処理を簡易な構成で実現することができる。つまり、画像信号を補正するのに、直接階調補正するのではなく、ゲイン信号により補正するので、簡易な処理で画像信号の補正を行うことができ、例えば、ハードウェアで構成する場合等に回路規模を削減することができる。また、ゲイン信号による補正により画像信号の補正を実現するので、補正後の出力画像信号の出力タイミングを容易に合わせることができる。
【０００７】
第２の発明は、第１の発明であって、設定された所定の制限値で第１ゲイン信号を制限して第２ゲイン信号を出力するゲイン制限部をさらに備える。補正部は、第２ゲイン信号に基づいて画像信号を補正する。
このような構成により、高彩度色で所定の制限値でゲインを抑えることで、画像のコントラスト調整をしても高彩度色でゲイン信号を制限することができ、例えば、濃い赤色、濃い青色で色飽和を防止することができる。また、所定の制限値は簡易なハードウェアで実現できるため、画素単位で制限値を変更できる。
第３の発明は、第１または第２の発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力する。
【０００８】
これによれば、さらに、空間処理が施された処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域を飽和させることなく両方に最適なコントラスト調整ができる。また、周りが暗い中の明るい画素でもオーバーフローして飽和することなくコントラスト調整ができる。
第４の発明は、第１から第３のいずれか１つの発明であって、視覚処理部は、画像信号と処理信号とを入力とする２次元ルックアップテーブルを備えている。
これによれば、さらに、また、ルックアップテーブルのデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形の２次元ゲイン特性を容易に実現できる。また、２次元ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままルックアップテーブルのデータとするよりもメモリ容量を小さくできる。
【０００９】
第５の発明は、第１から第４のいずれか１つの発明であって、画像信号は、輝度信号および色度信号であり、補正部は、輝度信号と第２ゲイン信号とを乗算して補正された輝度信号を出力する第１乗算部と、色度信号と第２ゲイン信号とを乗算して補正された色度信号を出力する第２乗算部とを有する。
このような構成により、さらに、所定の制限値で抑えたゲイン信号と、輝度信号、色差信号を乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを調整できる。
第６の発明は、第１から第４のいずれか１つの発明であって、画像信号は、ＲＧＢ信号であり、補正部は、ＲＧＢ信号と第２ゲイン信号とを乗算して補正されたＲＧＢ信号を出力する。
【００１０】
これによれば、さらに、所定の制限値で抑えたゲイン信号と、ＲＧＢ信号を乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを調整できる。
第７の発明は、第１から第６のいずれか１つの発明であって、画像信号をＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出された最大値に応じて色飽和を抑える所定の制限値を算出する第１制限値算出部と、をさらに備える、
このような構成により、さらに、補正された画像信号が色飽和するゲイン信号の最大値を検出でき、色飽和しない制限値を算出できる。
第８の発明は、第１から第７のいずれか１つの発明であって、１フレーム内または１フィールド内の画像信号から検出した平均信号レベルに応じて所定の制限値を算出する信号レベル検出部をさらに備える。
【００１１】
このような構成により、さらに、画像信号から検出した平均信号レベルに応じて制限値を設定できるので、明るい画像でゲイン信号を制限し、信号レベルを抑えることができる。これにより、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能をもつプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
第９の発明は、第１から第８のいずれか１つの発明であって、画像信号に対して予め設定された重み関数に基づいて検出される肌色らしさ度に応じて所定の制限値を算出する肌色検出部をさらに備える。
【００１２】
このような構成により、肌色を検出して制限値を設定できるので、明るい肌色で制限値を下げることができ、色飽和を抑え、さらに顔のテカリを防止できる。また、画像中の明るい領域での顔の濃淡を飛ばさないようにできる。
第１０の発明は、第１から第９のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、受信したデータから番組情報を分離する番組情報分離部と、番組情報から検出した放送コンテンツに応じて所定の制限値を算出する放送内容検出部と、をさらに備える。
このような構成により、コンテンツごとに最適な制限値を設定でき、それぞれのコンテンツに必要なコントラスト調整値にあわせた制限値を設定できる。
第１１の発明は、第１から第１０のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、データを受信するときの電界強度値を検出し、電界強度値に応じて所定の制限値を算出する電界強度検出部と、をさらに備える。
【００１３】
このような構成により、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制限でき、Ｓ／Ｎが悪い画像のノイズの強調を抑えることができる。
第１２の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第１から第１１のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、画像の明るさ調整で色飽和を抑えた視覚処理ができる表示装置を実現できる。また、ゲイン信号を制限することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示画面の明るさに応じてバックライトを調整するような液晶パネルでも同様の効果を奏する。
【００１４】
第１３の発明は、画像データを入力するデータ入力部と、入力された画像データを視覚処理して出力信号を出力する第１から第１１のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、表示装置でも視覚処理装置と同様の効果を得ることが可能となる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００１５】
また、携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示部とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、本発明の携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００１６】
第１４の発明は、第１から第１１のいずれか１つの発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいた所定のゲイン特性を有するゲイン信号を出力し、補正部は、ゲイン信号に基づいて画像信号の階調を補正する。
このような構成により、局所領域の濃淡情報である処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域を飽和させることなく両方に最適なコントラスト調整ができ、色飽和を抑えられる。また、ゲイン特性は階調変換特性に比べて画像信号に対する特性の変化が緩やかであるため、画像信号と処理信号を粗く間引いても十分に処理精度を確保でき、信号のビット精度を落とすことができるためである。これにより、視覚処理部のハードウェアの回路規模を削減でき、ルックアップテーブルを備えた場合にはメモリ容量を削減できる。
【００１７】
第１５の発明は、第１から第１１、または第１４のいずれか１つの発明であって、視覚処理部は、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力する。
これによれば、さらに、入力された輝度信号の値が処理信号の値よりかなり大きい値で変化した場合であっても補正された出力のコントラストの低下を抑えることができる。これにより、例えば、輝度信号の信号レベルが高い信号に微小な高周波成分を有するような画像信号（例えば、高輝度のディテール部分に相当する画像信号）に対してもコントラストを低下させずに補正し、出力することができる。
第１６の発明は、第１から第１１、第１４、第１５のいずれか１つの発明であって、補正部は、画像信号のコントラストを強調した強調信号を出力するコントラスト強調部を有し、補正部は、強調信号の階調を補正する。
【００１８】
これによれば、さらに、画像信号のコントラストを強調できる。
第１７の発明は、第１から第１１、第１４から第１６のいずれか１つの発明であって、コントラスト強調部は、画像信号の空間周波数帯域を制限した帯域制限信号と画像信号とに基づいて強調信号を出力する。
これによれば、さらに、着目画素とその近傍の明るさにより画像信号のコントラストを強調できる。
第１８の発明は、第１から第１１、第１４から第１７のいずれか１つの発明であって、コントラスト強調部は、帯域制限信号と画像信号とを入力とする２次元ルックアップテーブルを備えている。
このような構成により、さらに、互いに異なる複数の演算結果を設定することで、様々なコントラストの強調を行うことが可能となる。
【００１９】
第１９の発明は、第１から第１１、第１４から第１７のいずれか１つの発明であって、コントラスト強調部は、帯域制限信号と画像信号との比に基づいた強調信号を出力する。
これによれば、さらに、コントラスト強調部は、帯域制限信号と画像信号との比に応じてコントラストを強調できる。
第２０の発明は、第１から第１１、第１４から第１７のいずれか１つの発明であって、コントラスト強調部は、帯域制限画像信号と画像信号との差に基づいた強調信号を出力する。
これによれば、さらに、コントラスト強調部は、帯域制限信号と画像信号との差に応じてコントラストを強調できる。
第２１の発明は、第１から第１１、第１４から第２０のいずれか１つの発明であって、視覚処理部は、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力し、補正部は、画像信号のコントラストを強調した強調信号を出力するコントラスト強調部を有する。補正部は、強調信号の階調を補正する。
【００２０】
これによれば、さらに、入力された輝度信号の値が処理信号の値よりかなり大きい値で変化した場合であっても補正された出力のコントラストの低下を抑えることができる。これにより、例えば、輝度信号の信号レベルが高い信号に微小な高周波成分を有するような画像信号（例えば、高輝度のディテール部分に相当する画像信号）に対してもコントラストを低下させずに補正し、出力することができる。さらに、画像信号のコントラストを強調できる。
第２２の発明は、第１の発明であって、設定された所定の補正値で第１ゲイン信号を補正して第２ゲイン信号を出力するゲイン制御部をさらに備える。補正部は、第２ゲイン信号に基づいて画像信号を補正する。
このような構成により、画像中の領域ごとに補正値でコントラストの強調、抑制ができる。よって、逆光シーン画像での暗部領域、特に人物の顔領域を適正な明るさに強調し、かつ、背景領域の高彩度色で抑制することができる。これにより、最適な明るさ調整を行いつつ、例えば、濃い赤色、濃い青色で階調、色の飽和を抑えることができる。また、簡易なハードウェアで構成できるため、画素単位に補正値を変更できる。
【００２１】
第２３の発明は、第２２の発明であって、ゲイン制御部は、所定の補正値で１倍と第１ゲイン信号との差を拡大または縮小する。
このような構成により、さらに、所定の補正値で第１ゲイン信号を増減でき、コントラストの強調と抑制ができる。
第２４の発明は、第２２の発明であって、ゲイン制御部は、所定の補正値で１倍と第１ゲイン信号とを内分または外分する。
このような構成により、さらに、第１ゲイン信号は１倍を中心に増減でき、コントラストの強調と抑制ができる。
第２５の発明は、第２２から第２４のいずれか１つの発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力する。
【００２２】
このような構成により、さらに、処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域の信号を飽和させることなく両方に最適なコントラスト調整ができる。よって、例えば、逆光シーン画像での暗部領域、特に人物の顔領域を適正な明るさに強調しても、明るい背景領域の信号が飽和しないようにできる。
第２６の発明は、第２５の発明であって、視覚処理部は、２次元ルックアップテーブルを有する。
このような構成により、さらに、２次元ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を小さくできる。また、テーブルデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形の２次元ゲイン特性を容易に実現できる。
【００２３】
第２７の発明は、第２２から第２６のいずれか１つの発明であって、画像信号は、輝度信号および色度信号であり、補正部は、輝度信号と第２ゲイン信号とを乗算して補正された輝度信号を出力する第１乗算部と、色度信号と第２ゲイン信号とを乗算して補正された色度信号を出力する第２乗算部と、を有する。
このような構成により、さらに、所定の補正値で強調または抑制したゲイン信号を輝度信号と色度信号に共通に乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを強調または抑制できる。
第２８の発明は、第２２から第２６のいずれか１つの発明であって、画像信号は、ＲＧＢ信号であり、補正部は、ＲＧＢ信号と第２ゲイン信号とを乗算して補正された画像信号を出力する。
【００２４】
このような構成により、さらに、所定の補正値で強調または抑制したゲイン信号をＲＧＢ信号に共通に乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを強調または抑制できる。
第２９の発明は、第２２から第２８のいずれか１つの発明であって、画像信号をＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出された最大値に応じて色飽和を抑える所定の補正値を算出する補正値算出部とをさらに備える。
このような構成により、さらに、補正された画像信号が色飽和するゲイン信号の最大値を検出でき、色飽和しない補正値を算出できる。
第３０の発明は、第２２から第２９のいずれか１つの発明であって、１フレーム内または１フィールド内の画像信号から検出した信号レベルの平均値に応じて所定の補正値を算出する信号レベル検出部をさらに備える。
【００２５】
このような構成により、さらに、画像信号から検出した信号レベルの平均値に応じて補正値を設定できるので、明るい画像でゲイン信号を制御し信号レベルを抑えることができる。これにより、例えば、プラズマディスプレイパネルなどの表示装置で耐熱性を高め、消費電力を抑えることができる。
また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
第３１の発明は、第２２から第３０のいずれか１つの発明であって、画像信号に対して予め設定された重み関数に基づいて検出される肌色らしさ度に応じて所定の補正値を算出する肌色検出部をさらに備える。
【００２６】
このような構成により、さらに、逆光シーンの肌色を検出して補正値を設定できるので、暗い肌色で補正値を上げて画像を明るくすることができ、顔領域にレフ板効果を持たせることができる。また、顔の肌色のくすみを防止できる。
第３２の発明は、第２２から第３１のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、受信したデータから番組情報を分離する番組情報分離部と、番組情報から検出した放送コンテンツに応じて所定の補正値を算出する放送内容検出部と、をさらに備える。
このような構成により、さらに、コンテンツごとに補正値を設定でき、それぞれのコンテンツに最適なコントラストにあわせた補正値を設定できる。
第３３の発明は、第２２から第３２のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、データを受信するときの電界強度値を検出し、電界強度値に応じて所定の補正値を算出する電界強度検出部と、をさらに備える。
【００２７】
このような構成により、さらに、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制御でき、ノイズの強調を抑えることができる。
第３４の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第２２から第３３のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、さらに、階調と色の飽和を抑えた視覚処理により画像の明るさ調整ができる表示装置を実現できる。また、ゲイン信号を制御することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示画面の明るさに応じてバックライトを調整するような液晶パネル等でも同様の効果を奏する。
【００２８】
第３５の発明は、画像データを入力するデータ入力部と、入力された画像データを視覚処理して出力信号を出力する第２２から第３３のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、さらに、表示装置でも視覚処理装置と同様の効果を得ることが可能となる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。
また、撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、さらに、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００２９】
携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示手段とを備えた構成であってもよい。
このような構成により、さらに、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。
このような構成により、さらに、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００３０】
第３６の発明は、第１から第１１、第１４から第３３のいずれか１つの発明である視覚処理装置を含む集積回路である。
このような構成により、さらに、集積回路でも視覚処理装置と同様の効果を得ることが可能となる。
【発明の効果】
【００３１】
本発明によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置を実現することができる。また、その視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路を実現することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態１における視覚処理装置の構成を示すブロック図
【図２】同２次元階調特性を説明する説明図
【図３】同２次元ゲイン特性を説明する説明図
【図４】同色飽和検出部の構成を示すブロック図
【図５】同第１制限値算出部を説明する説明図
【図６】同視覚処理装置の制限値決定部を説明する説明図
【図７】同制限値決定部の動作を説明する説明図
【図８】同ゲイン特性でのゲイン制限値を説明する説明図
【図９】同階調特性でのゲイン制限値を説明する説明図
【図１０】同視覚処理装置の変形例１の構成を示すブロック図
【図１１】同視覚処理装置の変形例２の構成を示すブロック図
【図１２】同差分信号ＤＩＦＦを説明する説明図
【図１３】本発明の実施形態２における表示装置の構成を示すブロック図
【図１４】同肌色検出部の構成を示すブロック図
【図１５】同肌色領域を説明する説明図
【図１６】（ａ）同色度信号ＣＲに対する重み値Ｋａを説明する説明図（ｂ）同色度信号ＣＢに対する重み値Ｋｂを説明する説明図（ｃ）同輝度信号Ｙに対する重み値Ｋｃを説明する説明図
【図１７】同放送内容検出部を説明する説明図
【図１８】本発明の実施形態３におけるゲイン型視覚処理部の構成を示すブロック図
【図１９】（ａ）同ゲイン型視覚処理部において着目画素周辺の明るさ情報を抽出する範囲を説明する説明図（ｂ）同ゲイン型視覚処理部７１におけるＹｉｎ信号、ＵＳ信号およびＵＳＨ信号の信号波形の一例を示す図
【図２０】（ａ）同ゲイン信号を帯域制限しないときの階調変換特性を説明する説明図（ｂ）同ゲイン信号を帯域制限したときの階調変換特性を説明する説明図
【図２１】同変形例３としてのゲイン型視覚処理部の構成を示すブロック図
【図２２】同変形例４としてのゲイン型視覚処理部の構成を示すブロック図
【図２３】本発明の実施形態４における視覚処理装置にコントラスト強調部を備えたときの構成例を説明する説明図
【図２４】同視覚処理装置においてコントラスト変換するときの階調変換特性を説明する説明図
【図２５】同コントラスト強調部の特性を説明する説明図
【図２６】同コントラスト強調部の構成を示すブロック図
【図２７】同変形例５としてのコントラスト強調部の構成を示すブロック図
【図２８】同変形例６としてのコントラスト強調部の構成を示すブロック図
【図２９】同変形例６のコントラスト強調部の特性を説明する説明図
【図３０】同変形例７としてのコントラスト強調部を備えた構成を示す構成図
【図３１】同変形例８としてのコントラスト強調部を備えた構成を示す構成図
【図３２】本発明の実施形態におけるゲイン型視覚処理部の他の変形例を示すブロック図
【図３３】本発明の実施形態５における視覚処理装置のブロック図
【図３４】同実施形態における色飽和検出部のブロック図
【図３５】同実施形態における第１補正値算出部の説明図
【図３６】同実施形態における視覚処理装置の補正値決定部の説明図
【図３７】同実施形態における補正値決定部の動作の説明図
【図３８】同実施形態におけるゲイン特性でのゲイン補正値の説明図
【図３９】同実施形態における階調特性でのゲイン補正値の説明図
【図４０】同実施形態における視覚処理装置の変形例１のブロック図
【図４１】同実施形態における視覚処理装置の変形例２のブロック図
【図４２】同実施形態における差分信号ＤＩＦＦの説明図
【図４３】本発明の実施形態６における表示装置のブロック図
【図４４】同実施形態における肌色検出部のブロック図
【図４５】（ａ）同実施形態における色度信号ＣＲに対する重み値Ｋａの説明図（ｂ）同実施形態における色度信号ＣＢに対する重み値Ｋｂの説明図（ｃ）同実施形態における輝度信号Ｙに対する重み値Ｋｃの説明図
【図４６】同実施形態における放送内容検出部の説明図
【図４７】本発明の実施形態７におけるコンテンツ供給システムの全体構成図
【図４８】同本発明の実施形態の視覚処理装置を搭載する携帯電話の正面図
【図４９】同携帯電話の全体構成を説明するブロック図
【図５０】同デジタル放送用システムの全体構成を説明する説明図
【図５１】本発明の実施形態におけるコンピュータの構成を示すブロック図
【図５２】従来のコントラスト調整回路の構成を示すブロック図
【図５３】従来のガンマ変換の特性を示す特性図
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態における視覚処理装置について図面を参照しながら説明する。
（実施形態１）
まず、実施形態１の視覚処理装置について説明する。ここで行う視覚処理とは人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値との対比に応じて出力信号の値を決定する処理である。
適用される処理として、逆光補正、ニー処理、Ｄレンジ圧縮処理、色処理、明るさ調整（階調処理、コントラスト調整を含む）などがある。なお、本発明では、ＹＣｂＣｒ色空間、ＹＵＶ色空間、Ｌａｂ色空間、Ｌｕｖ色空間、ＹＩＱ色空間、ＹＰｂＰｒ色空間のＹ（輝度成分および明度成分）を輝度信号と定義する。
また、ＹＣｂＣｒ色空間のＣｂＣｒ成分、ＹＵＶ色空間のＵＶ成分、Ｌａｂ色空間のａｂ成分、Ｌｕｖ色空間のｕｖ成分、ＹＩＱ色空間のＩＱ成分を色度信号と定義する。
【００３４】
図１は、本発明の実施形態１における視覚処理装置１のブロック図である。
図１において、視覚処理装置１は、画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力するゲイン型視覚処理部７０と、設定された所定の制限値で前記第１ゲイン信号を制限して第２ゲイン信号を出力するゲイン制限部５と、第２ゲイン信号に基づいて画像信号を補正する補正部９とを備えている。
また、視覚処理装置１は、第１ゲイン信号ＧＡＩＮを制限するための制限値Ｌを算出する制限値決定部４と、色飽和を検出する色飽和検出部１０とを備えている。
ゲイン型視覚処理部７０は、視覚処理部３と、空間処理部２とを備えている。
これにより、視覚処理装置１は、画像信号Ｙｉｎ、ＣＲｉｎ、ＣＢｉｎに視覚処理を行い視覚処理画像Ｙｏｕｔ、ＣＲｏｕｔ、ＣＢｏｕｔを出力する。
【００３５】
空間処理部２は、空間処理の対象となる対象画素の値と、対象画素の周辺領域の画素（以下、「周辺画素」という）の値とを輝度信号Ｙｉｎから取得する。取得した原画像の画素ごとの輝度値Ｙｉｎに空間処理を実行しアンシャープ信号ＵＳを出力する。アンシャープ信号ＵＳとは、輝度信号をローパスフィルタなどで帯域制限処理したボケ信号である。
視覚処理部３は、輝度信号Ｙｉｎおよびアンシャープ信号ＵＳから２次元ゲイン関数に基づいて第１ゲイン信号ＧＡＩＮを求め、出力する。
２次元ゲイン関数は、例えば、図２に示す階調変換特性と等価な入出力値を出すように階調変換曲線の傾きをゲインとする関数に設定されている。よって、輝度信号Ｙｉｎの値と２次元ゲイン関数に基づいて算出された出力の値とを乗算することで、図２の示す階調変換特性と等価な入出力値を得ることができる。
【００３６】
制限値決定部４は、第１ゲイン信号ＧＡＩＮを制限するための制限値Ｌを算出する。制限値Ｌによって、画像信号を補正しコントラストを制限する。例えば、明るい画像では画像の明るさを抑えて階調飽和、色飽和を防止することができる。
ゲイン制限部５は、制限値Ｌで第１ゲイン信号ＧＡＩＮを制限し、第２ゲイン信号ＧＡＩＮ２を出力する。第１ゲイン信号ＧＡＩＮを制限することで、明るさ調整を行ったときに色飽和の発生を抑えることができる。
補正部９は、乗算部６、乗算部７および乗算部８を備え、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。
乗算部６は、第２ゲイン信号ＧＡＩＮ２と輝度信号Ｙｉｎと乗算し、補正された輝度信号Ｙｏｕｔを出力する。この補正された輝度信号Ｙｏｕｔは、図２に示す階調変換特性と等価な出力である。乗算部７、乗算部８は第２ゲイン信号ＧＡＩＮ２と入力された色度信号ＣＲｉｎ、ＣＢｉｎとを乗算し、補正された色度信号ＣＲｏｕｔおよびＣＢｏｕｔを出力する。
【００３７】
つぎに、実施形態１における視覚処理装置１について、さらに詳細に説明する。
視覚処理装置１は、本発明の実施形態では、図２に示すように２次元階調変換特性を持つように設定される。ここで、図２の横軸は入力された輝度信号Ｙｉｎ、縦軸は変換された輝度信号Ｙｏｕｔである。
２次元階調変換特性とは、アンシャープ信号ＵＳの値および輝度信号Ｙｉｎの値を入力とし、その入力に対して出力の値を決定するための階調変換における入出力特性をいう。例えば、図２のアンシャープ信号ＵＳ０、ＵＳ１、ＵＳ２、・・・、ＵＳｎの信号レベルに応じて所定の階調変換特性を持つ。従って、輝度信号Ｙｉｎの画素値を、例えば、８ビットの値とすると、２５６段階に分けられた輝度信号Ｙｉｎの値に対する出力信号Ｙｏｕｔの画素値が所定の２次元階調変換特性により決定される。階調変換特性は所定のガンマ特性をもつ階調変換曲線であり、アンシャープ信号の添え字について、出力が単調減少する関係にある。なお、アンシャープ信号の添え字について、出力が一部分単調減少でない箇所があったとしても、実質的に単調減少であればよい。また、図２に示すように、２次元階調変換特性において、すべての輝度信号Ｙｉｎの明度値に対して、（ＵＳ＝ＵＳ０の場合の出力値）≧（ＵＳ＝ＵＳ１の場合の出力値）≧・・・≧（ＵＳ＝ＵＳｎの場合の出力値）の関係を満たしている。このように、入力された画像信号の対象画素値とその周辺画素値との対比により出力信号を決定するような階調処理により、人間の目の特性に近い視覚処理を実現できる。
【００３８】
つぎに、視覚処理部３の説明をする。図３は、視覚処理部３の第１ゲイン信号ＧＡＩＮの出力を示しており、図２の階調変換曲線の傾きをゲインとした２次元ゲイン特性を持つ。ここで、図３の横軸は入力された輝度信号Ｙｉｎ、縦軸は第１ゲイン信号ＧＡＩＮの出力である。また、アンシャープ信号の添え字について、出力が単調減少する関係にある。また、図３に示すＹｉｎ−Ｇａｉｎ入出力特性において、すべての輝度信号Ｙｉｎの明度値に対して、（ＵＳ＝ＵＳ０の場合の出力ＧＡＩＮの値）≧（ＵＳ＝ＵＳ１の場合の出力ＧＡＩＮの値）≧・・・≧（ＵＳ＝ＵＳｎの場合の出力ＧＡＩＮの値）の関係を満たしている。
本発明の実施形態１の視覚処理装置１は、ゲイン信号を用いて画像信号処理を行っているが、ゲインを用いることで回路規模を削減できるという利点がある。これは、Ｙｉｎ−Ｇａｉｎ入出力曲線（例えば、図３に示すＹｉｎ−Ｇａｉｎ入出力曲線）は、階調変換曲線（例えば、図２に示すＹｉｎ−Ｙｏｕｔ入出力曲線）に比べて輝度信号Ｙｉｎに対する曲線の変化が緩やかであるため、輝度信号Ｙｉｎ、アンシャープ信号ＵＳを粗く間引いても十分に処理精度を確保でき、視覚処理部３に入力する輝度信号Ｙｉｎのビット精度を落とすことができるためである。特に、Ｙｉｎが小さな値である場合（暗部に相当）、入出力特性を決定する曲線は、急勾配となる。例えば、図２に示すＹｉｎ−Ｙｏｕｔ入出力曲線では、図２の左下部分の急勾配な曲線部分がこれに相当する。このような急勾配な曲線による入出力特性による階調変換を実現するためには、階調変換において、高分解能が必要となる。このような階調変換を実現する場合、Ｙｉｎ−Ｙｏｕｔ入出力曲線の急勾配な曲線部分の高分解能を実現させなければならないので、入力および出力に多くのビット数を割り当てる必要が生じる。一方、Ｙｉｎ−Ｇａｉｎ入出力曲線（例えば、図３に示すＹｉｎ−Ｇａｉｎ入出力曲線）においては、Ｙｉｎが小さな値である場合であっても、入出力特性において急勾配となる部分はないので、階調変換において、高分解能とする必要がない。したがって、図３に示すようなＹｉｎ−Ｇａｉｎ入出力特性変換においては、入力および出力に多くのビット数を割り当てる必要はない。これにより、ハードウェア・ロジック設計では回路規模を削減できる。
【００３９】
なお、視覚処理部３を輝度信号Ｙｉｎおよびアンシャープ信号ＵＳと第１ゲイン信号ＧＡＩＮとの関係を与える２次元ルックアップテーブル（以下、「２次元ＬＵＴ」という）で構成し、輝度信号Ｙｉｎとアンシャープ信号ＵＳとに対して、２次元ＬＵＴを参照して第１ゲイン信号ＧＡＩＮを出力するようにしてもよい。これにより、２次元ＬＵＴに階調変換値を格納するよりもゲイン値を格納することで、２つの入力信号のビット数を削減でき、大幅にメモリ容量を削減できる。
また、２次元ＬＵＴで構成することで、複雑なゲイン特性も予め作成することができ、リードオンリーメモリ（以下、「ＲＯＭ」という）で提供することができる。また、ゲイン特性を更新できるようにするため、書き換え可能なメモリ、例えば、ランダムアクセスメモリ（以下、「ＲＡＭ」という）で構成してもよい。２次元ＬＵＴには予め設定される２次元ゲイン特性を有するゲインデータが格納されている。
【００４０】
さらに、２次元ゲイン特性を変更することで、様々な視覚効果を得ることができる。
また、外部より２次元ゲインデータをプロファイルデータとして登録することもできる。この２次元ゲインデータを書き換えることで、視覚処理装置１は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の階調処理、ダイナミックレンジ（以下、「Ｄレンジ」という）の圧縮処理、ニー処理、色処理など様々な視覚効果を同じ視覚処理回路、視覚処理プログラムにより実現できるので、汎用な集積回路、汎用な視覚処理プログラムを実現できる。この２次元ゲインデータの外部からの書き換え、登録についての詳細は後述する。
つぎに、空間処理部２は、空間処理の対象となる対象画素の画素値と、対象画素の周辺画素の画素値とを輝度信号Ｙｉｎから取得する。そして、空間処理部２は、取得した原画像の画素ごとの輝度値Ｙｉｎに空間処理を実行しアンシャープ信号ＵＳを出力する。
【００４１】
空間処理部２は、例えば、輝度信号Ｙｉｎの対象画素に対して低域空間のみを通過させる低域空間フィルタ演算によりアンシャープ信号ＵＳを得る。フィルタ演算では、対象画素と周辺画素の画素値を、例えば、（式１）に基づいて計算する。
ＵＳ＝（Σ［Ｗｉｊ］×［Ａｉｊ］）／（Σ［Ｗｉｊ］） （式１）
ここで、［Ｗｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の重み係数であり、［Ａｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の画素値である。また、「Σ」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。
より具体的には、それぞれの重み係数［Ｗｉｊ］を１、画素値［Ａｉｊ］をＡ（ｉ，ｊ）と表現して説明する。対象画素の画素値は、Ａ（１，１）が「１２８」、Ａ（０，０）が「１１０」、Ａ（０，１）が「１１５」、Ａ（０，２）が「１１７」、Ａ（１，０）が「１２３」、Ａ（１，２）が「１２０」、Ａ（２，０）が「１２０」、Ａ（２，１）が「１２７」、Ａ（２，２）が「１２５」とする。このとき、３画素×３画素の領域よりアンシャープ信号ＵＳを得るには、（式１）より、ＵＳ＝（１２８＋１１０＋１１５＋１１７＋１２３＋１２０＋１２０＋１２７＋１２５）／９の演算を行う。
【００４２】
なお、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられてもよいし、対象画素からの距離が大きいほど小さい重み係数が与えられてもよい。
また、周辺画素の領域は、効果に応じて、その領域の大きさが設定されるものである。周辺画素の領域は、視覚効果を得るためにはある程度大きな領域に設定することが好ましい。例えば、画像の大きさがＸＧＡ（１０２４×７６８）では、周辺画素の領域を８０画素×８０画素以上の大きさの領域に設定するのが好ましい。
また、低域空間フィルタとしては、アンシャープ信号ＵＳの生成に通常用いられるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタ、あるいはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタなどを用いる。
【００４３】
つぎに、図４、図５を用いて色飽和検出部１０について説明する。図４は色飽和検出部１０のブロック図である。
図４において、ＲＧＢ変換部１１は、輝度信号Ｙｉｎと色度信号ＣＢｉｎおよびＣＲｉｎとからＲＧＢ信号を生成する。最大値検出部１２は、レッド信号（以下、「Ｒ信号」という）、グリーン信号（以下、「Ｇ信号」という）、ブルー信号（以下、「Ｂ信号」という）のうち、最大値を検出する。第１制限値算出部１３は、検出されたＲＧＢ信号の最大値から制限値Ｌ１を算出する。制限値決定部４は、制限値Ｌ１、レジスタ２０に設定された制限値Ｌ２、外部から入力された制限値Ｌ３からＬ６を参照して制限値Ｌを決定し、出力する。制限値決定部４の詳細は後述する。
具体的には、第１制限値算出部１３は、制御後のゲイン信号ＧＡＩＮ２の最大値が図５に示す曲線２の値以下になるように設定された曲線１に基づいて、入力された画像信号の画素ごとに制限値Ｌ１を算出する。ここで、曲線２は色飽和を起こさない制限値の最大値を示している。
【００４４】
ＲＧＢ信号に第１ゲイン信号ＧＡＩＮを乗算しても、ＲＧＢ信号の各Ｒ信号、Ｇ信号、Ｂ信号の比が維持できれば色は変化しない。しかし、いずれかの信号の最大値が飽和すると、それ以上信号レベルを大きくできないため、ＲＧＢ信号の比のバランスが崩れ不自然な色の変化が発生する。この色飽和を防止するためには、ＲＧＢ信号の最大値に第１ゲイン信号ＧＡＩＮを乗算しても信号レベルの最大値を超えないようにすればよい。例えば、検出されたＲＧＢ信号の最大値が「１２７」のとき制限値は「２．０」となる。同様に、最大値が「８４」のとき制限値は「３．０」、最大値が「２１２」のとき制限値は「１．２」となる。ここで、ＲＧＢ信号は、「０」から「２５５」までの範囲をとる信号とする。よって、ＲＧＢ信号の最大値をＳｍａｘ、階調飽和、色飽和が抑えられる制御後の制限値Ｌの最大値をＬｍａｘとすると、次のようになる。
【００４５】
Ｌｍａｘ＝２５５／Ｓｍａｘ
このように、ゲイン信号ＧＡＩＮ２＜Ｌｍａｘ（曲線２）を満足する制限値Ｌ１（曲線１）を設定することで階調飽和、色飽和を抑え、色バランスを保持することができる。また、コントラストを強調した画像中に不自然な色の変化は発生しない。
なお、制限値Ｌ１の曲線１は、曲線２を折れ線近似した直線でもよいし、直線近似でもよい。ＲＧＢ信号の最大値が小さい値の時はノイズを強調しない程度の値に抑えるようにすることがより好ましい。
このように、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号をＲＧＢ信号に変換し、ＲＧＢ信号により、最終的にディスプレイ装置等で表示される画像において、階調飽和、色飽和等が起こるか否かを判断することができる。つまり、最終的にディスプレイ装置等で表示される信号は、ＲＧＢ信号であるので、予めＲＧＢ信号を取得し、ＲＧＢ信号において階調飽和、色飽和等が起きるか否かを判断しておくことで、最終的にディスプレイ装置等で表示される画像の状況を予め正確に知ることができるのである。したがって、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号からＲＧＢ信号を予め取得し、取得したＲＧＢ信号に基づいて、ＧＡＩＮ値の制限をかけるための制限値Ｌを決定することが効果的である。
【００４６】
つぎに、図６、図７を用いて制限値決定部４の動作を説明する。制限値決定部４は制限値Ｌ１からＬ６を入力し、演算することで画像信号の画像の種類、画像の特徴、集積回路の自己診断に応じた制限値Ｌを決定するようにしてもよい。
図６において、Ｍレジスタ２３は制限値決定部４の動作モードを決定する。例えば、図７の表２４に示すようにＭレジスタ２３に値「２」が設定されると、制限値決定部４はレジスタ２０に設定されている制限値Ｌ２の値を入力する。これにより、制限値Ｌは、制限値Ｌ２の固定値に設定される。視覚処理装置１において、視覚処理画像に不具合な異常が見られたときに集積回路の内部信号Ｌ１およびＬ３からＬ６をマスクし、外部より制限値Ｌ２を設定して制限値の影響を調べるなどの自己診断を行うことができる。また、内部信号Ｌ１およびＬ３からＬ６をマスクし、制限値Ｌ２に強制設定できるので、集積回路内の信号を確認するためのテスト信号に利用することもできる。
【００４７】
また、Ｍレジスタ２３に値「１」を設定すれば、制限値決定部４は、制限値Ｌ１を入力し、制限値ＬとしてＬ１を出力する。同様に、Ｍレジスタ２３に値「３」を設定すれば、制限値決定部４は、制限値Ｌ３を入力し、制限値ＬとしてＬ３を出力する。また、Ｍレジスタ２３に値「７」を設定すれば、制限値決定部４は、制限値Ｌ１とＬ３とを入力し、Ｌ１とＬ３とを演算して制限値Ｌを出力する。演算は、例えば、最小値ＭＩＮ（Ｌ１，Ｌ３）を算出する演算であってもよいし、平均値Ａｖｅ（Ｌ１，Ｌ３）を算出する演算であってもよい。
このように、制限値決定部４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して制限値Ｌを出力することができる。外部より入力される制限値Ｌ３からＬ６の詳細は後述する。
【００４８】
なお、制限値決定部４が、外部より入力された信号を選択して出力する場合は、入力された制限値をそのまま制限値Ｌとして用いてもよく、制限値決定部４は無くてもよい。
つぎに、ゲイン制限部５は、制限値Ｌで第１ゲイン信号ＧＡＩＮを制限し、第２ゲイン信号ＧＡＩＮ２を出力する。
具体的には、図８に示すように、第１ゲイン信号ＧＡＩＮが破線で示す各制限値Ｌを超える場合、ゲイン出力は、すべて制限値以下に制限される。例えば、制限値Ｌ＝１．２とすると、輝度信号Ｙｓで、アンシャープ信号ＵＳがＵＳ０である場合の出力は、Ｌ＝１．２に制限されて出力される。この制限により、図９に示すように輝度信号Ｙｓに対する出力信号Ｙｏｕｔは、Ｙｇ１からＹｇ２に制限される。すなわち、各制限値Ｌに対応する傾き以下に出力が制限されることとなる。
【００４９】
つぎに、補正部９は、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。補正部９は、乗算部６、乗算部７および乗算部８より構成される。
乗算部６は、第２ゲイン信号ＧＡＩＮ２と輝度信号Ｙｉｎとを乗算し、輝度信号Ｙｏｕｔを出力する。乗算部７および乗算部８は、第２ゲイン信号ＧＡＩＮ２と色度信号ＣＲｉｎおよびＣＢｉｎとをそれぞれ乗算し、色度信号ＣＲｏｕｔおよびＣＢｏｕｔを出力する。
なお、Ｙｏｕｔ信号、ＣＲｏｕｔ信号、ＣＢｏｕｔ信号は、それぞれ１つの乗算部（乗算部６〜８）により、同じゲイン値であるＧＡＩＮ２を乗算されて補正部９から出力されるので、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングのズレは生じない。したがって、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングを合わせるための遅延手段等を別途設ける必要はない。
【００５０】
このようにして補正部９は画像信号を補正する。よって、明るさ調整において、補正部９は輝度レベルを大きくした部分では色度信号も大きくするので、色が薄く見えることはなくなる。また、逆に輝度レベルを小さくした部分では色度信号も小さくするので色が濃く見えることがない。さらに、第２ゲイン信号ＧＡＩＮ２に応じて、入力された画像信号を補正することで輝度レベルを大きくした部分での色飽和を抑えることができる。
なお、視覚処理装置１（図１）の視覚処理部３は、輝度信号Ｙｉｎのみ入力し、輝度信号Ｙｉｎをガンマ変換した出力と等価になるゲイン信号を出力するようにしてもよい。この構成では、視覚処理部３は、１次元のゲイン特性を有するデータを格納したＬＵＴで構成できる。より具体的には、ＬＵＴに格納するデータとして、図３のＵＳ０からＵＳｎのいずれかひとつのゲイン特性を持つ変換曲線を選択してもよいし、予め設定される１次元のゲイン関数で作成してもよい。また、画像中の輝度信号のヒストグラム分布より求めた階調変換曲線と等価な出力が得られるゲイン関数でＬＵＴに格納するデータを作成してもよい。
【００５１】
これにより、視覚処理部３は、ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を削減できる。
また、入出力する画像信号が原色信号であるＲＧＢ信号であってもよい。図１０に、変形例１である視覚処理装置８０のブロック図を示す。重複を避けるため、視覚処理装置１と同じ処理の説明は省略する。視覚処理装置８０は、画像信号としてＲＧＢ信号を入力し、視覚処理により補正したＲＧＢ信号を出力する。
輝度色度変換部８５は、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを輝度信号Ｙｉｎと色度信号ＣＲｉｎ、ＣＢｉｎに変換する。ここで、輝度成分の情報の抽出は人間の視感度特性に合わせてＲｉｎ、Ｇｉｎ、Ｂｉｎ信号より生成する。例えば、輝度信号Ｙｉｎは、次のようになる。
【００５２】
Ｙｉｎ＝０．３×Ｒｉｎ＋０．５９×Ｇｉｎ＋０．１１×Ｂｉｎ
また、色度信号（ＣＲｉｎ、ＣＢｉｎ）は、次のようになる。
ＣＲｉｎ＝（−０．１６８７）×Ｒｉｎ＋（−０．３３１３）×Ｇｉｎ＋０．５×Ｂｉｎ
ＣＢｉｎ＝０．５×Ｒｉｎ＋（−０．４１８７）×Ｇｉｎ＋（−０．０８１３）×Ｂｉｎ
色飽和検出部１０（図１）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから補正値Ｋ１を算出する。なお、色飽和検出部１０のＲＧＢ変換部１１（図４）は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎおよび色度信号ＣＲｉｎからＲＧＢ信号を生成するようにしたが、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを直接利用してもよい。入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを直接利用する場合は、ＲＧＢ変換部１１を省略することもできる。
【００５３】
制限値決定部４(図６)は、制限値Ｌ１を参照して制限値Ｌを決定する。制限値決定部４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して制限値Ｌを出力、あるいは演算して制限値Ｌを出力する。
視覚処理部３は、空間処理部２の出力と輝度信号Ｙｉｎとを入力し、第１ゲイン信号ＧＡＩＮを算出する。
ゲイン制限部５は、入力された第１ゲイン信号ＧＡＩＮを制限値Ｌで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部８１は、乗算部８２、８３、８４より構成され、各乗算部８２、８３、８４は、それぞれ画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎと第２ゲイン信号ＧＡＩＮ２とを乗算することで、視覚処理されたＲＧＢ信号であるＲｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを出力する。
【００５４】
これにより、視覚処理装置８０では、Ｒｉｎ、Ｇｉｎ、Ｂｉｎの比を保持したまま、コントラストなどの明るさを調整できる。また、視覚処理装置８０では、制限値Ｌによりゲイン信号を制限できるので、コントラストなどの明るさを調整した場合であっても、階調のグラデーションの飽和、色飽和を抑えることができる。
また、視覚処理部３（図１）の出力を輝度信号Ｙｉｎとの差分信号に変更してもよい。図１１、図１２を用いて変形例２である視覚処理装置６０を説明する。
図１１は、変形例２の視覚処理装置６０のブロック図である。
視覚処理部６３は、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分を差分信号ＤＩＦＦとして出力するように構成したものである。差分信号ＤＩＦＦは、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分であり、図１２に示すように、アンシャープ信号ＵＳｎと輝度信号Ｙｉｎに基づいて決定される差分信号となる。よって、加算部６２で輝度信号Ｙｉｎと差分信号ＤＩＦＦを加算することで取得される信号は、図２に示す階調変換の出力信号と同じになる。
【００５５】
加算部６２は、輝度信号Ｙｉｎと差分信号ＤＩＦＦを加算し、加算値Ｙｘを算出する。この加算値Ｙｘは、図２の階調変換後の出力信号と等価な信号である。
除算部６１は、加算値Ｙｘを輝度信号Ｙｉｎの値で除算し、第１ゲイン信号ＧＡＩＮを算出する。すなわち、第１ゲイン信号ＧＡＩＮは、以下のようになる。
ＧＡＩＮ＝Ｙｘ／Ｙｉｎ
この第１ゲイン信号ＧＡＩＮは、図２の階調変換曲線の傾きをゲインとしたものと等価である。
色飽和検出部１０（図１）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから制限値Ｌ１を算出する。
制限値決定部４（図６）は、制限値Ｌ１を参照して制限値Ｌを決定する。制限値決定部４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して制限値Ｌを出力、あるいは演算して制限値Ｌを出力する。
【００５６】
ゲイン制限部５は、入力された第１ゲイン信号ＧＡＩＮを制限値Ｌで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部９は、乗算部６、乗算部７、乗算部８により、輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎと第２ゲイン信号ＧＡＩＮ２とをそれぞれ乗算し、輝度信号Ｙｏｕｔ、色度信号ＣＲｏｕｔおよび色度信号ＣＢｏｕｔを出力する。
なお、視覚処理部６３は、２次元ＬＵＴで構成してもよいし、輝度信号Ｙｉｎと差分信号ＤＩＦＦとの関数を格納した１次元ＬＵＴでもよい。
このように階調変換曲線の出力と輝度信号Ｙｉｎとの差分値をＬＵＴに格納することで、ガンマ変換値を格納するよりもメモリ容量を削減できる。
以上のように、本発明の実施形態１によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置１を実現することができる。さらに、第１ゲイン信号ＧＡＩＮを設定された所定の制限値で制限できるようにしているため、色飽和を抑えて、明るさを調整できる。特に、高彩度色でゲイン信号を制限することができ、濃い赤色、濃い青色で色飽和を防止することができる。
【００５７】
また、画像信号からＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出されたＲＧＢ信号の最大値に基づいて第１ゲイン信号を制限することで、色飽和が発生するゲイン信号のレベルを検出でき、色飽和しない制限値を算出できる。
また、視覚処理部３は、局所領域の濃淡情報であるアンシャープ信号ＵＳを用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域の画像信号を飽和させることなく両方に最適なコントラスト調整ができ、色飽和を抑えられる。これにより、逆光シーン画像での暗部領域、特に、人物の顔などの肌色領域を適正な明るさに調整し、かつ、背景領域の画像信号を飽和させないようにコントラスト調整ができる。
また、視覚処理部３は、ゲイン特性に基づいた出力を行うようにした。ゲイン特性は、階調変換特性に比べて画像信号に対する特性の変化が緩やかであるため、画像信号と処理信号を粗く間引いても十分に処理精度を確保でき、信号のビット精度を落とすことができる。これにより、視覚処理部３のハードウェアの回路規模を削減でき、ルックアップテーブル構成ではメモリ容量を削減できる。
【００５８】
また、視覚処理部３をＬＵＴで構成することで、ＬＵＴに格納するデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形のゲイン特性を容易に実現できる。
また、制限値Ｌによりコントラストの効果を弱めることができるので、効果の強さに応じたゲイン特性データを作り直す必要がない。これにより、いろいろな強さのデータをＬＵＴで用意しなくて済むため、メモリ容量が削減できる。また、ＬＵＴ内容を入れ替える必要がないため、制限値Ｌをリアルタイムに変更でき、画像中の領域ごとに効果の強さを変更することができる。具体的には、フレーム単位、画素単位で制限値Ｌが変更できる。
（実施形態２）
つぎに、本発明の実施形態２の表示装置について、図１３から図１７を用いて説明する。以下、実施形態１と同様の部分については、同一符号を付し、その詳細な説明は省略する。
【００５９】
本発明の実施形態２では、視覚処理装置１の第１ゲイン信号ＧＡＩＮの制限値を決定する例について図１３を用いて説明する。図１３は、本発明の実施形態２における表示装置３０の構成を示すブロック図である。
図１３において、表示装置３０は、番組情報を受信するチューナ３１と、番組情報を分離する番組情報分離部３２と、映像データと音声データを復号するＡＶ復号部３３と、映像データを視覚処理する視覚処理装置１と、処理された画像を表示する出力部３５とを備える。
また、表示装置３０は、映像信号の平均信号レベルを検出する信号レベル検出部３４、肌色領域を検出する肌色検出部３６、ジャンル情報や番組記述情報を検出する放送内容検出部３７、および受信電波の電界強度を検出する電界強度検出部３８の全部あるいはいずれかを備えるようにしてもよい。
【００６０】
チューナ３１は、アンテナによって受信された受信電波から目的の放送局の電波が選択され、これが復調されて１つのトランスポートストリーム（以下、「ＴＳ」という）が復元される。
番組情報分離部３２は、ＴＳをデスクランブル処理し、映像データ、音声データ、データ放送用各種データ、ＥＰＧ表示用データなどをコンテンツごとに分離する。
ＡＶ復号部３３は、番組情報分離部３２で分離された映像データ、音声データを映像信号、音声信号に復号化する。この映像信号は、例えば、ＹＣｂＣｒなどの輝度信号、色度信号である。
視覚処理装置１は、入力された映像信号を視覚処理し、出力部３５に出力する。出力部３５は、例えば、ＣＲＴ、プラズマディスプレイパネル、液晶パネルなどのディスプレイ部と、スピーカなどの音声出力部を備え、入力された音声信号と視覚処理された映像信号とを表示する。なお、出力部３５は、デバイスの表示色に合わせて入力された信号を変換して表示してもよい。例えば、輝度色度信号を原色信号であるＲＧＢ信号に変換して表示してもよい。
【００６１】
なお、視覚処理装置１は、出力部３５で扱える信号の構成に合わせて変形例が考えられる。例えば、輝度信号、色度信号を扱う場合は視覚処理装置１（図１）が好ましく、ＲＧＢ信号を扱うには視覚処理装置８０（図１０）の構成が好ましい。このように映像信号に合わせた構成を用いればよい。
つぎに、視覚処理装置１の第１ゲイン信号ＧＡＩＮの制限値を決定する方法について、図１３〜図１７を用いて説明する。
図１３に示す、信号レベル検出部３４は、映像信号をフレームメモリに記憶し、１フレーム内または１フィールド内の映像信号の平均値を演算し平均信号レベルを検出する。この検出した平均信号レベルに応じて制限値Ｌ３を算出する。例えば、平均信号レベルが所定の値ＰＨより高い画像を「明るい画像」と定義し、明るい画像では制限値Ｌ３を「１．０」に設定し、逆に、平均信号レベルが所定の値ＰＬより低い画像を「暗い画像」と定義し、暗い画像では制限値Ｌ３を「２．０」に設定する。これにより、画像の特徴により制限値を設定できる。平均信号レベルは、輝度信号を平均化した平均値でもよいし、ＲＧＢ信号のそれぞれの信号を平均したものを用いてもよい。また、ＲＧＢ信号のそれぞれの３つの平均値をさらに平均した値でもよい。
【００６２】
これにより、明るい画像でゲイン信号を制限し信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。
また、プラズマディスプレイパネルは、耐熱性を高め、消費電力を下げるために、表示する画像の平均輝度レベルが所定のレベルを超えると画面全体の明るさを下げるようにディスプレイパネル側で制御する表示制御機能がドライブ部に設けられている。さらに、この表示制御機能は、映像信号処理とは無関係に働く機能である。
よって、視覚処理で画像中の所定の明るさの領域を持ち上げたことにより、表示制御機能が働き、ドライブ部で画面全体の明るさを下げられてしまうと、視覚処理する前には十分明るかった領域まで暗くなり、画面全体としてめりはりのない画像となり画質が劣化する。つまり、せっかく行った視覚処理が無駄になってしまうおそれがある。そのために、視覚処理装置１において、ドライブ部の表示制御機能が働く平均信号レベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
【００６３】
つぎに、肌色検出部３６について、図１４〜図１６を用いて説明する。
肌色検出部３６は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎから肌色領域を検出し、制限値Ｌ４を算出する。図１４に示すように、肌色検出部３６は、色度信号ＣＲｉｎより所定の第１色領域を検出し重み値Ｋａを出力する第１色領域検出部３６１と、色度信号ＣＢｉｎより所定の第２色領域を検出し重み値Ｋｂを出力する第２色領域検出部３６２と、輝度信号Ｙｉｎより所定の明るさ領域を検出し重み値Ｋｃを出力する輝度領域検出部３６３とを備え、肌らしさ度を各重み値の積と定義し制限値Ｌ４を求める。例えば、制限値Ｌ４は、乗算部３６４、３６５によって、制限値Ｌ４＝Ｋａ×Ｋｂ×Ｋｃのように算出される。
ここで、肌色領域とは、図１５に示すように、予め定義した色度信号の所定の範囲の領域のことである。肌色検出部３６は、検出対象としている映像信号（輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎ）が肌色領域に属するか否かを検出する。例えば、色度信号ＣＢｉｎのＣＢ１からＣＢ２、色度信号ＣＲｉｎのＣＲ１からＣＲ２で囲まれる領域を肌色領域と定義する。さらに、輝度信号のＹｑからＹｐの範囲に入る画像信号の範囲を肌色領域とする。これにより、色に加え、画像の明るさに応じても制限値Ｌを設定できる。特に、明るい人物の顔の肌色領域では顔のテカリ、階調飽和、色飽和を抑えるように制限できるといった効果がある。
【００６４】
図１６を用いて、肌色検出部３６の動作を詳細に説明する。
第１色領域検出部３６１は色度信号ＣＲｉｎを入力し、図１６（ａ）に示す重み関数によって重み値Ｋａを出力する。同様に、第２色領域検出部３６２は色度信号ＣＢｉｎを入力し、図１６（ｂ）に示す重み関数によって重み値Ｋｂを出力する。輝度領域検出部３６３は輝度信号Ｙｉｎを入力し、図１６（ｃ）に示す重み関数によって重み値Ｋｃを出力する。肌らしさ度を各重み関数の積と定義し、制限値Ｌ４＝Ｋａ×Ｋｂ×Ｋｃのように算出する。肌色領域と領域外との境界付近で色が不自然にならないように、対象となる肌色領域の境界は徐々に重みが変化するようにする。なお、重み関数の形状は、台形でも三角形でもよい。画像評価などにより最適な関数を設定すればよい。なお、制限値Ｌ４をＫａ、Ｋｂ、Ｋｃの最小値としてもよく、平均値としてもよい。画像評価などにより最適な関数を設定すればよい。
【００６５】
肌色領域での各重み係数を下げ、例えば、最小値の「１．０」とすることで、肌色領域で制限値Ｌを抑えることができる。これにより、コントラスト調整しても、明るい画像で人物における顔の肌色のテカリを防止し、顔の濃淡を飛ばさないようにすることができる。なお、各重み係数の最小値、重み関数の形状はそれぞれ異なっていてもよい。
つぎに、放送内容検出部３７について、図１７を用いて説明する。
放送内容検出部３７は、番組情報分離部３２から分離されたＥＰＧ表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を検出し、制限値Ｌ５を算出する。なお、データのジャンル情報や画像の情報は、ＭＰＥＧのストリーム情報より検出してもよい。
放送内容検出部３７は、例えば、図１７に示すように「ニュース」「スポーツ」「ワイドショー」「映画」「ドラマ」などの受信したコンテンツの種類を検出し、それぞれ制限値Ｌ５を算出する。コンテンツの種類に応じて、例えば、コンテンツの種類が「ニュース」ならば制限値「３．０」、「スポーツ」ならば制限値「２．０」、「ワイドショー」ならば制限値「１．５」、「映画」ならば制限値「１．１」、「ドラマ」ならば制限値「１．４」を設定する。ニュース、スポーツにはめりはりをつけるため制限値を高めに設定し、ワイドショーはスタジオでの収録が多く、映像が調整されているのでほぼノーマルな設定とし、映画はシックな画像を再現するため、制限値を抑えるように設定する。このようにコンテンツに合わせて制限値を設定することで映像に最適な制限値が設定できる。制限値Ｌ５は、予めテーブル化されていてもよい。これにより、画像の種類に応じて最適な制限値Ｌ５を設定できる。なお、このテーブルを外部より変更できるようにしてもよい。
【００６６】
つぎに、電界強度検出部３８について説明する。
電界強度検出部３８は、チューナ３１で受信された受信電波の電界強度を検出し、電界強度の強弱に応じて制限値Ｌ６を算出する。例えば、電界強度が「強」の場合、制限値Ｌ６を「３．０」に設定し、電界強度が「弱」の場合、制限値Ｌ６を「１．０」に設定する。
これにより、電界強度が弱くＳ／Ｎの悪い画像のノイズが強調されないように制限値Ｌ６を設定できる。
以上のように、本発明の実施形態２によれば、信号レベル検出部３４は、１フレーム、または１フィールド内の画像信号から検出した平均信号レベルに応じて制限値Ｌ３を算出でき、視覚処理装置１は、制限値Ｌ３に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
【００６７】
これにより、画像信号から検出した平均信号レベルに応じて制限値を設定でき、明るい画像でゲイン信号を制限し信号レベルを抑えることができる。また、信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、ディスプレイパネル側で設定されているＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ）対応機能が働くレベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
また、肌色検出部３６は、予め設定される色度信号に応じた重み係数Ｋａ、Ｋｂと輝度信号に応じた重み係数Ｋｃの演算により肌色らしさに応じて制限値Ｌ４を算出する。視覚処理装置１は、制限値Ｌ４に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
これにより、肌色を検出して制限値を設定できるので、明るい画像の肌色領域で制限値を下げることができ、色飽和を抑え、さらに顔のテカリを防止できる。また、明るい場面での顔の濃淡を飛ばさないようにできる。
【００６８】
また、放送内容検出部３７は、受信したデータから番組情報を分離する番組情報分離部３２から検出した放送コンテンツに応じて制限値Ｌ５を算出する。視覚処理装置１は、制限値Ｌ５に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
これにより、コンテンツごとに最適な制限値を設定でき、コンテンツに必要なコントラスト調整値にあわせた制限値を設定できる。
また、電界強度検出部３８は、チューナ３１が画像データを受信したときの電界強度値に応じて制限値Ｌ６を算出する。視覚処理装置１は、制限値Ｌ６に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
これにより、電界強度値より制限値を設定でき、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制限でき、Ｓ／Ｎが悪い画像のノイズの強調を抑えることができる。
【００６９】
また、本発明の表示装置３０は、通信または放送された画像データを受信するチューナ３１と、画像データを映像信号に復号するＡＶ復号部３３と、復号された映像信号を視覚処理して出力する視覚処理装置１と、視覚処理された映像信号を表示する出力部３５を備えている。
この構成により、画像のコントラスト調整で色飽和を抑えた視覚処理ができる表示装置３０が実現できる。また、ゲイン信号を制限することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、ディスプレイパネル側の表示制御機能が働く平均信号レベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
以下、本発明の実施形態１におけるゲイン型視覚処理部７０、本発明の実施形態２におけるゲイン型視覚処理部７０の変形例について説明する。
【００７０】
（実施形態３）
本発明の実施形態３として、ゲイン型視覚処理部７０から出力されるゲイン信号ＧＡＩＮの空間周波数の帯域を制限し、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合に出力信号Ｙｏｕｔのコントラストの低下を抑える方法について図１８〜図２０を用いて説明する。
図１８は、ゲイン型視覚処理部７１の構成を示すブロック図、図１９（ａ）はゲイン型視覚処理部７１において着目画素周辺の明るさ情報を抽出する範囲を説明する説明図、図１９（ｂ）はゲイン型視覚処理部７１におけるＹｉｎ信号、ＵＳ信号およびＵＳＨ信号の信号波形の一例を示す図、図２０（ａ）はゲイン信号ＧＡＩＮを帯域制限しないときの階調変換特性を説明する説明図、図２０（ｂ）はゲイン信号ＧＡＩＮを帯域制限したときの階調変換特性を説明する説明図である。以下、実施形態１または実施形態２と同様の部分については、同一符号を付し、その詳細な説明は省略する。
【００７１】
図１８において、ゲイン型視覚処理部７１は、輝度信号Ｙｉｎに対して応答可能なゲイン信号ＧＡＩＮの空間周波数の帯域を制限するための帯域制限部９０と、帯域を制限された帯域制限信号ＵＳＨから輝度信号Ｙｉｎを増幅するためのゲイン信号ＧＡＩＮを出力するゲイン型視覚処理部７０とを備えている。ここで、ゲイン型視覚処理部７０において、空間処理部２は、帯域制限信号ＵＳＨからアンシャープ信号ＵＳを生成し、視覚処理部３は、帯域制限信号ＵＳＨとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する。
また、帯域制限されたゲイン信号ＧＡＩＮと入力された輝度信号Ｙｉｎとを乗算部６により乗算することで、階調変換された輝度信号Ｙｏｕｔを得ることができる。
これにより、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算して階調変換することで、入力された輝度信号Ｙｉｎの値がアンシャープ信号ＵＳよりかなり大きい値で変化した場合でも出力信号Ｙｏｕｔのコントラストの低下を抑えるものである。このコントラストの低下の詳細については後述する。
【００７２】
帯域制限部９０は、図１９（ａ）に示すように、着目画素２００の近傍の対象領域２０１内にある画素の値の平均値を算出するなどして入力された輝度信号Ｙｉｎ（例えば、図１９（ｂ）のＷ１の信号波形に相当）に対して応答可能な空間周波数の帯域が制限された帯域制限信号ＵＳＨ（例えば、図１９（ｂ）のＷ３の信号波形に相当）を生成する。
また、空間処理部２は、図１９（ａ）に示すように、帯域制限信号ＵＳＨの対象領域２０１より広範囲な対象領域２０２から画素の値を抽出し、着目画素２００の周辺領域での明るさ情報としてアンシャープ信号ＵＳ（例えば、図１９（ｂ）のＷ２の信号波形に相当）を生成する。例えば、対象領域２０２は、対象領域２０１の１０倍から１００倍程度の大きさの領域にするのが好ましい。これにより、アンシャープ信号ＵＳの空間周波数の帯域は、帯域制限信号ＵＳＨの空間周波数の帯域よりかなり低い帯域に制限されたものになる。
【００７３】
以下、入力された輝度信号Ｙｉｎの値がアンシャープ信号ＵＳよりかなり大きい値で変化する場合に出力信号Ｙｏｕｔのコントラスト低下を抑える方法について詳細に説明する。
まず、出力信号Ｙｏｕｔのコントラストが低下する場合について図２０（ａ）を用いて説明する。図２０（ａ）は、ゲイン信号ＧＡＩＮを帯域制限しないときの階調変換特性を説明するための説明図である。ここで、図２０（ａ）の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２０（ａ）において、着目画素２００の周辺の視覚処理に用いる広い対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに入力された着目画素２００の近傍の対象領域２０１から抽出した明るさ情報の値を「ＵＳｂ」とする。入力された着目画素２００の値Ｙｉｎは、通常広い範囲の値である「ＵＳａ」よりも近傍の値である「ＵＳｂ」に近い。
【００７４】
図２０（ａ）において、視覚処理部３において、階調曲線４００は、着目画素２００の輝度信号Ｙｉｎの値とアンシャープ信号ＵＳの値とが一致している場合の出力特性であり、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報によって選択された階調曲線により定まる曲線である。この階調曲線４００により、画面全体の明るさの変化を決定している。
また、視覚処理部３において、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線２０５の階調曲線が選択され、アンシャープ信号ＵＳ＜ＵＳａ（着目画素２００の周囲が「ＵＳａ」より暗い）のとき曲線２０３または曲線２０４が選択され、アンシャープ信号ＵＳ＞Ｕｓａ（着目画素２００の周囲が「ＵＳａ」より明るい）のとき、曲線２０６または曲線２０７が選択される。
【００７５】
これにより、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線２０５の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、着目画素２００の輝度信号Ｙｉｎの値に対する出力信号Ｙｏｕｔは階調曲線２０５にしたがって出力する。よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎの値が「ＵＳａ」に近いときは、階調曲線２０５の直線部分３００での傾きに応じたゲインで階調変換されるため、出力信号Ｙｏｕｔのコントラストは維持される。しかし、帯域制限部９０を備えていない構成では、視覚処理部３において、着目画素２００の近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる、即ち輝度信号Ｙｉｎがアンシャープ信号ＵＳの値と大きく離れているとき、階調曲線２０５の傾きがなだらかになり、領域３０１での傾きに応じたゲイン信号ＧＡＩＮを出力する。これにより、視覚処理装置１は、このゲイン信号ＧＡＩＮで階調変換するため、出力信号Ｙｏｕｔのコントラストは低下する。
【００７６】
つぎに、この出力信号Ｙｏｕｔのコントラスト低下を抑える方法について図２０（ｂ）を用いて説明する。図２０（ｂ）は、ゲイン信号ＧＡＩＮを帯域制限したときの視覚処理装置１の階調変換特性を説明するための説明図である。ここで、図２０（ｂ）の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２０（ｂ）において、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに着目画素２００の近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる。
また、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線２０５の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、輝度信号Ｙｉｎの空間周波数の帯域を制限した帯域制限信号ＵＳＨの値に対して出力信号Ｙｏｕｔを決定し、階調曲線２０５にしたがって出力する。
【００７７】
このとき帯域制限信号ＵＳＨは、着目画素２００の近傍の明るさ「ＵＳｂ」となる。
よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎがアンシャープ信号ＵＳの値よりかなり高い「ＵＳｂ」前後の範囲で変化しても、細部領域では帯域制限信号ＵＳＨの値は帯域制限により「ＵＳｂ」に固定されるため視覚処理部３が出力するゲイン信号ＧＡＩＮは変化しない。即ち、着目画素２００近傍の細部領域では、ゲイン信号ＧＡＩＮはほぼ一定値（直線２０９の傾き）を出力する。このように、帯域制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算して階調変換することで、出力信号Ｙｏｕｔのコントラストを維持することができる。つまり、この場合、ゲイン信号ＧＡＩＮがほぼ一定値であるので、出力信号Ｙｏｕｔは、入力輝度信号Ｙｉｎの信号レベルの変化にほぼ比例して出力されることになる。したがって、出力信号Ｙｏｕｔにおいて、入力輝度信号Ｙｉｎのコントラストが維持される。なお、直線２０９の傾きは、図２０（ａ）の曲線２０５の直線部分３００の傾きにより近いものであり、帯域制限信号ＵＳＨ＜「ＵＳｂ」のときは直線２０８、帯域制限信号ＵＳＨ＞「ＵＳｂ」のときは直線２１０となる。
【００７８】
以上のように、本発明の実施形態３によれば、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域を制限したゲイン信号ＧＡＩＮと輝度信号Ｙｉｎを乗算して階調変換するため、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
なお、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮを生成する方法は、ゲイン型視覚処理部７１の構成に限定されるものでない。
以下、ゲイン型視覚処理部７１の構成における他の変形例について説明する。
まず、ゲイン型視覚処理部７１の変形例を変形例３として、図２１を用いて説明する。図２１は、変形例３としてのゲイン型視覚処理部７２の構成を示すブロック図である。
【００７９】
図２１において、ゲイン型視覚処理部７２は、輝度信号Ｙｉｎに対して応答可能な帯域を制限した帯域制限信号ＵＳＨを出力する帯域制限部９０と、輝度信号Ｙｉｎからアンシャープ信号ＵＳを生成する空間処理部２と、帯域制限信号ＵＳＨとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する視覚処理部３とを備えている。
また、帯域制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算部６により乗算することで、階調変換された出力信号Ｙｏｕｔを得ることができる。
このような構成によっても、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮを生成でき、ゲイン型視覚処理部７１と同様に、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
【００８０】
つぎに、ゲイン型視覚処理部７１の変形例を変形例４として、図２２を用いて説明する。図２２は、変形例４としてのゲイン型視覚処理部７３の構成を示すブロック図である。
図２２において、ゲイン型視覚処理部７３は、輝度信号Ｙｉｎを入力して輝度信号Ｙｉｎを増幅するためのゲイン信号ＧＡＩＮを出力するゲイン型視覚処理部７０と、ゲイン型視覚処理部７０から出力されるゲイン信号ＧＡＩＮの空間周波数の帯域を制限するようにした帯域制限部９８とを備えている。ここで、ゲイン型視覚処理部７０において、空間処理部２は、輝度信号Ｙｉｎからアンシャープ信号ＵＳを生成し、視覚処理部３は、輝度信号Ｙｉｎとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する。
帯域制限部９８は、ゲイン型視覚処理部７０から出力されるゲイン信号ＧＡＩＮに対して帯域制限を行う。
【００８１】
この帯域制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算部６により乗算することで、階調変換された出力信号Ｙｏｕｔを得ることができる。
このような構成によっても、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮを生成でき、ゲイン型視覚処理部７１と同様に、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
なお、実施形態１または実施形態２におけるゲイン型視覚処理部７０をゲイン型視覚処理部７１に置き換えてもよい。
また、実施形態１または実施形態２におけるゲイン型視覚処理部７０をゲイン型視覚処理部７２に置き換えてもよい。
【００８２】
また、実施形態１または実施形態２におけるゲイン型視覚処理部７０をゲイン型視覚処理部７３に置き換えてもよい。
（実施形態４）
つぎに、本発明の実施形態４として、コントラスト強調部をさらに備えた構成について図２３〜図２５を用いて説明する。
図２３は、コントラスト強調部を備えたときの構成例を説明するための説明図、図２４は階調変換特性を説明するための説明図、図２５はコントラスト強調部の特性を説明するための説明図である。以下、実施形態１〜実施形態３と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図２３において、視覚処理装置１は、さらに、輝度信号Ｙｉｎを強調した強調信号Ｙｅを出力するコントラスト強調部９１を備えている。
【００８３】
以下、実施形態１におけるゲイン型視覚処理部７０をゲイン型視覚処理部７１に置き換えたものを実施形態４として説明する。
ゲイン型視覚処理部７１において、ゲイン型視覚処理部７０は、帯域制限部９０により帯域を制限された帯域制限信号ＵＳＨに応じて輝度信号Ｙｉｎを増幅するためのゲイン信号ＧＡＩＮを出力する。ここで、ゲイン型視覚処理部７０において、空間処理部２は帯域制限信号ＵＳＨからアンシャープ信号ＵＳを生成し、視覚処理部３は帯域制限信号ＵＳＨとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する。
コントラスト強調部９１は、輝度信号Ｙｉｎを強調した強調信号Ｙｅを出力する。
このゲイン信号ＧＡＩＮと強調信号Ｙｅとを乗算部６により乗算することでコントラストが強調された出力信号Ｙｏｕｔを得ることができる。
【００８４】
このように、コントラスト強調部９１を備えたことで、輝度信号Ｙｉｎのコントラストを強調でき、入力された輝度信号Ｙｉｎの値がアンシャープ信号ＵＳよりかなり明るい場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。コントラスト強調部９１については、後述する。
まず、出力信号Ｙｏｕｔのコントラストが低下する場合について図２４を用いて説明する。図２４は、視覚処理装置１においてコントラスト変換するときの階調変換特性を説明する説明図である。ここで、図２４の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２４において、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに入力された着目画素２００の近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる。
【００８５】
図２４において、視覚処理部３において、階調曲線５００は、着目画素２００の輝度信号Ｙｉｎの値とアンシャープ信号ＵＳの値とが一致している場合の出力特性であり、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報によって選択された階調曲線により定まる曲線である。この階調曲線５００により、画面全体の明るさの変化を決定している。
また、視覚処理部３において、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線６０３の階調曲線が選択され、アンシャープ信号ＵＳ＜ＵＳａ（着目画素２００の周囲が「ＵＳａ」より暗い）のとき曲線６０１または曲線６０２が選択され、アンシャープ信号ＵＳ＞Ｕｓａ（着目画素２００の周囲が「ＵＳａ」より明るい）のとき、曲線６０４または曲線６０５が選択される。
【００８６】
これにより、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線６０３の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、着目画素２００の輝度信号Ｙｉｎの値に対する出力信号Ｙｏｕｔは、階調曲線６０３にしたがって出力される。よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎの値が「ＵＳａ」に近いときは（図２４の領域７００あたりに対応。）、階調曲線６０３の領域７００での傾きが大きくなるため、ゲイン信号の変化も大きくなり、出力信号Ｙｏｕｔのコントラストは強調される。しかし、帯域制限部９０を備えていない構成では、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎの値が「ＵＳｂ」前後で、アンシャープ信号ＵＳの値よりかなり大きいときは階調曲線６０３の傾きがなだらかになり（図２４の領域７０１あたりに対応。）、領域７０１でのゲイン信号ＧＡＩＮの変化も小さくなるので、出力信号Ｙｏｕｔのコントラストは低下する。
【００８７】
つぎに、領域７０１での出力信号Ｙｏｕｔのコントラスト低下を抑える方法について図２５を用いて説明する。図２５は、コントラスト強調部９１の特性を説明する説明図である。ここで、図２５の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２５において、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに着目画素２００近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる。
また、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線６０３の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、輝度信号Ｙｉｎの空間周波数の帯域を制限した帯域制限信号ＵＳＨの値に対して出力信号Ｙｏｕｔを決定し、階調曲線６０３にしたがって出力する。階調曲線６０３は、値「ＵＳａ」の近傍において傾きが大きいため、ゲイン信号ＧＡＩＮの変化も大きくなり、コントラストを強調することができる。
【００８８】
一方、帯域制限信号ＵＳＨは、着目画素２００の近傍の明るさ「ＵＳｂ」になる。
よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎがアンシャープ信号ＵＳの値よりかなり高い「ＵＳｂ」前後の範囲で変化しても、細部領域では帯域制限信号ＵＳＨの値は帯域制限により「ＵＳｂ」に固定されるため視覚処理部３が出力するゲイン信号ＧＡＩＮは変化しない。即ち、着目画素２００近傍の細部領域では、ゲイン信号ＧＡＩＮはほぼ一定値（曲線６０３の直線部分近傍の傾き）を出力する。この場合、ゲイン信号ＧＡＩＮがほぼ一定値であるので、出力信号Ｙｏｕｔは、コントラスト強調部９１の出力Ｙｅの信号レベルの変化にほぼ比例して出力されることになる。そして、輝度信号Ｙｉｎをコントラスト強調部９１でコントラストを強調した信号Ｙｅと帯域制限されたゲイン信号ＧＡＩＮとを乗算して階調変換すれば、出力信号Ｙｏｕｔのコントラストを高めることができる。
【００８９】
つぎに、コントラスト強調部９１について説明する。コントラスト強調部９１は、輝度信号Ｙｉｎと帯域制限信号ＵＳＨとの比に基づいた（式２）のように強調信号Ｙｅを生成する。ここで、αは強調度合いを調節するパラメータである。
Ｙｅ＝Ｙｉｎα／（ＵＳＨ）α-1 （式２）
これにより、図２５に示すように、帯域制限信号ＵＳＨ＝ＵＳｂのとき、曲線８０２にしたがって輝度信号Ｙｉｎの値を強調することができる。また、帯域制限信号ＵＳＨ＜「ＵＳｂ」のときは曲線８０１、帯域制限信号ＵＳＨ＞「ＵＳｂ」のときは曲線８０３にそれぞれ従って輝度信号Ｙｉｎの値を強調することができる。
（式２）は、αを１以上（例えば１．５）にとると、着目画素２００の値と帯域制限信号ＵＳＨとの比を拡大する働きをするため、コントラストは強調される。
【００９０】
なお、コントラスト強調部９１は、輝度信号Ｙｉｎと帯域制限信号ＵＳＨとの差に基づいた（式３）ように強調信号Ｙｅを生成するようにしてもよい。
Ｙｅ＝Ｙｉｎ＋（α−１）×（Ｙｉｎ−ＵＳＨ） （式３）
（式３）も、αを１以上（例えば１．５）にとると、着目画素２００の値と帯域制限信号ＵＳＨとの差を拡大するよう作用するため、コントラストは強調される。
コントラスト強調部９１は、図２６に示すように、輝度信号Ｙｉｎと帯域制限信号ＵＳＨとを入力する２次元ＬＵＴを備えてもよい。ＬＵＴ９４には、（式２）または（式３）による演算結果を予め求めたデータを設定する。
以上のように、本発明の実施形態４によれば、コントラスト強調部９１を備えたことにより、輝度信号Ｙｉｎのコントラストを強調し、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
【００９１】
なお、コントラスト強調部９１の変形例を変形例５として図２７に示す。図２７は、変形例５としてのコントラスト強調部９２の構成を示すブロック図である。
図２７において、コントラスト強調部９２は、（式２）の演算をＬＵＴ９５とＬＵＴ９６および乗算部９００とによって実現している。ここで、ＬＵＴ９５にはＹｉｎαの演算結果を設定し、ＬＵＴ９６には（ＵＳＨ）1-αの演算結果を設定する。
また、コントラスト強調部９１の変形例を変形例６として図２８に示す。図２８は変形例６としてのコントラスト強調部９３の構成を示すブロック図である。
図２８において、コントラスト強調部９３は、（式３）の演算を加算部９０１と加算部９０２およびＬＵＴ９７とによって実現している。ここで、ＬＵＴ９７には、図２５に示すような出力特性のデータを設定する。ここで、図２９の横軸はＬＵＴ９７の入力、縦軸はＬＵＴ９７の出力である。
【００９２】
図２９に示すように、ＬＵＴ９７において、入力がＴｈｂからＴｈｃまでは出力を「０」とし、ノイズの強調を抑えている。また、ＬＵＴ９７において、入力がＴｈａからＴｈｂまで徐々に出力を増加させ、同様に、入力がＴｈｃからＴｈｄまで徐々に出力を増加させるようにしている。また、コントラストを強調しすぎないように、入力がＴｈａまたはＴｈｄのところまでは出力を増加させ、それ以上に輝度信号Ｙｉｎと帯域制限信号ＵＳＨとの差があるときは出力を飽和させるようにしている。なお、ＬＵＴ９７に変えて、乗算器を備え、加算部９０２の出力を（α−１）倍にするようにしてもよい。
なお、コントラスト強調部９１に入力する帯域制限信号ＵＳＨは、ゲイン型視覚処理部７１の帯域制限部９０の出力としたが、この構成に限定されるものでない。
構成の変形例を変形例７として、図３０に示す構成において、ゲイン型視覚処理部７２の帯域制限部９０の出力を使用する構成としてもよい。
【００９３】
また、構成の変形例を変形例８として、図３１に示す構成において、ゲイン型視覚処理部７３と独立に設けた帯域制限部９０の帯域制限信号ＵＳＨを使用する構成としてもよい。
以上のように、本発明の実施形態１から本発明の実施形態４によれば、色飽和を抑え、画像のコントラストを調整可能とする視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路を提供できる。
なお、図３２に示すように、ゲイン型視覚処理部７４は、輝度信号Ｙｉｎを階調変換した出力信号Ｙｏｕｔを出力する階調型視覚処理部７５を用いることによっても実現できる。
階調型視覚処理部７５を用いる場合は、階調型視覚処理部７５と、階調型視覚処理部７５の出力を輝度信号Ｙｉｎで除算する除算部６１とを備えることでゲイン型視覚処理部７４が実現できる。
【００９４】
階調型視覚処理部７５は、輝度信号Ｙｉｎからアンシャープ信号ＵＳを出力する空間処理部２と、輝度信号Ｙｉｎとアンシャープ信号ＵＳとに応じて階調変換し、出力信号Ｙｏｕｔを出力する視覚処理部６４とを備えている。視覚処理部６４は、例えば図２に示すような２次元階調変換特性にもとづいて出力信号Ｙｏｕｔを出力する。これにより、ゲイン型視覚処理部７４は、本発明の実施形態１のゲイン型視覚処理部７０と等価な特性となり、置き換えて使用することができる。
（実施形態５）
つぎに、実施形態５である視覚処理装置について説明する。
図３３は、本発明の実施形態５における視覚処理装置１’のブロック図である。視覚処理装置１’は画像信号Ｙｉｎ、ＣＲｉｎ、ＣＢｉｎに視覚処理を行い視覚処理画像Ｙｏｕｔ、ＣＲｏｕｔ、ＣＢｏｕｔを出力する。
【００９５】
空間処理部２は、空間処理の対象となる対象画素と、対象画素の周辺領域の画素（周辺画素）との画素値を輝度信号Ｙｉｎから取得する。取得した原画像の画素ごとの輝度値Ｙｉｎに空間処理を実行しアンシャープ信号ＵＳを出力する。アンシャープ信号ＵＳは輝度信号をローパスフィルタで処理したボケ信号である。
視覚処理部３は、輝度信号Ｙｉｎおよびアンシャープ信号ＵＳから２次元ゲイン関数に基づいて第１ゲイン信号ＧＡＩＮを求め、出力する。
２次元ゲイン関数は、例えば、図２の示す階調変換特性の傾きをゲインとする関数に設定される。よって、輝度信号Ｙｉｎと２次元ゲイン関数に基づいて算出された出力を乗算することで、図２の示す階調変換特性と等価な入出力特性を出すことができる。
補正値決定部３３４は第１ゲイン信号ＧＡＩＮを補正するための補正値Ｋを算出する。補正値Ｋによって、画像信号を補正しコントラストの強調または抑制を行う。例えば、暗い画像では画像を明るく強調でき、明るい画像では画像の明るさを抑えて階調飽和、色飽和を抑えることができる。
【００９６】
ゲイン制御部３３５は、補正値Ｋで第１ゲイン信号ＧＡＩＮを画素単位で補正し、第２ゲイン信号ＧＡＩＮ２を出力する。第１ゲイン信号ＧＡＩＮを補正値Ｋで補正することで、第１ゲイン信号ＧＡＩＮを変更せずに、コントラストの強調または抑制するための第２ゲイン信号ＧＡＩＮ２を生成できる。
補正部９は、乗算部６、乗算部７および乗算部８より構成され、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。補正により画像信号のコントラストの強調または抑制を行う。
乗算部６は、第２ゲイン信号ＧＡＩＮ２と輝度信号Ｙｉｎとを乗算し、補正された輝度信号Ｙｏｕｔを出力する。この補正された輝度信号Ｙｏｕｔは、図２に示す階調変換特性と等価な出力である。乗算部７、乗算部８は、第２ゲイン信号ＧＡＩＮ２と入力された色度信号ＣＲｉｎ、色度信号ＣＢｉｎとを乗算し、補正された色度信号ＣＲｏｕｔおよび色度信号ＣＢｏｕｔを出力する。
【００９７】
次に、本実施形態における視覚処理装置１’について、さらに詳しく説明する。
視覚処理装置１’は、本実施形態においては図２に示すように２次元階調変換特性を持つように設定される。ここで、横軸は入力された輝度信号Ｙｉｎ、縦軸は変換された輝度信号Ｙｏｕｔである。
視覚処理部３については、実施形態１で説明したものと同じであるので、ここでは説明を省略する。
本発明の実施形態５の視覚処理装置１’は、ゲイン信号を用いて画像信号処理を行っているが、ゲインを用いることで回路規模を削減できるという利点がある。これについても実施形態で説明したので、ここでは説明を省略する。
空間処理部２についても、実施形態１で説明したものと同じであるので、ここでは説明を省略する。
【００９８】
次に、図３４、図３５を用いて色飽和検出部３３１について説明する。図３４は色飽和検出部３３１のブロック図である。
図３４において、ＲＧＢ変換部１１は、輝度信号Ｙｉｎと色度信号ＣＲｉｎ、色度信号ＣＢｉｎからＲＧＢ信号を生成する。最大値検出部１２は、Ｒ信号、Ｇ信号、Ｂ信号のうち、最大値を検出する。第１補正値算出部３４１は、検出されたＲＧＢ信号の最大値から補正値Ｋ１を算出する。補正値決定部３３４は、補正値Ｋ１、レジスタ３４２に設定された補正値Ｋ２、外部から入力された補正値Ｋ３からＫ６を参照して補正値Ｋを決定し、出力する。補正値決定部３３４の詳細は後述する。
具体的には、第１補正値算出部３４１は、制御後のゲイン信号ＧＡＩＮ２の最大値が図３５に示す曲線２の値以下になるように設定された曲線１に基づいて、入力された画像信号の画素ごとに補正値Ｋ１を算出する。ここで、曲線２は色飽和を起こさない補正値の最大値を示している。
【００９９】
ＲＧＢ信号に第１ゲイン信号ＧＡＩＮを乗算しても、ＲＧＢ信号の各Ｒ信号、Ｇ信号、Ｂ信号の比が維持できれば色は変化しない。しかし、いずれかの信号の最大値が飽和すると、それ以上信号レベルを大きくできないため、ＲＧＢ信号の比のバランスが崩れ不自然な色の変化が生じてしまう。この色飽和を防止するためには、ＲＧＢ信号の最大値に第１ゲイン信号ＧＡＩＮを乗算しても信号レベルの最大値を超えないようにすればよい。例えば、検出されたＲＧＢ信号の最大値が「１２７」のときゲイン制御後の最大値は「２．０」となる。同様に、最大値が「８４」のときゲイン制御後の最大値は「３．０」、最大値が「２１２」のときゲイン制御後の最大値は「１．２」となる。ここで、ＲＧＢ信号は、「０」から「２５５」までの範囲をとる信号とする。よって、ＲＧＢ信号の最大値をＳｍａｘ、階調飽和、色飽和が抑えられる制御後のゲイン信号ＧＡＩＮ２の最大値をＫｍａｘとすると、Ｋｍａｘ＝２５５／Ｓｍａｘとなる。
【０１００】
このように、ゲイン信号ＧＡＩＮ２＜Ｋｍａｘ（曲線２）を満足する補正値Ｋ１（曲線１）を設定することで階調飽和、色飽和が抑え、色バランスを保持することができる。また、コントラストを強調した画像中に不自然な色の変化は発生しない。補正値Ｋによるゲイン制御の方法の詳細については後述する。
なお、補正値Ｋ１の曲線１は、曲線２を折れ線近似した直線でもよいし、直線近似でもよい。ＲＧＢ信号の最大値が小さい値のときはノイズを強調しない程度の値に抑えるようにすることがより好ましい。
このように、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号をＲＧＢ信号に変換し、ＲＧＢ信号により、最終的にディスプレイ装置等で表示される画像において、階調飽和、色飽和等が起こるか否かを判断することができる。つまり、最終的にディスプレイ装置等で表示される信号は、ＲＧＢ信号であるので、予めＲＧＢ信号を取得し、ＲＧＢ信号において階調飽和、色飽和等が起きるか否かを判断しておくことで、最終的にディスプレイ装置等で表示される画像の状況を予め正確に知ることができるのである。したがって、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号からＲＧＢ信号を予め取得し、取得したＲＧＢ信号に基づいて算出された補正値Ｋによりゲイン制御を行うことが効果的である。
【０１０１】
次に、図３６、図３７を用いて補正値決定部３３４の動作を説明する。補正値決定部３３４は、補正値Ｋ１からＫ６を入力し、演算することで画像信号の画像の種類、画像の特徴、集積回路の自己診断に応じた補正値Ｋを決定するようにしてもよい。
図３６において、Ｍレジスタ２３は補正値決定部３３４の動作モードを決定する。例えば、図３７の表３７１に示すようにＭレジスタ２３に値「２」が設定されると、補正値決定部３３４は、レジスタ３４２に設定される補正値Ｋ２の値を入力する。これにより、補正値Ｋは、補正値Ｋ２の固定値に設定され、視覚処理画像に不具合な異常が見られたときに集積回路の内部信号Ｋ１およびＫ３からＫ６をマスクし、外部より補正値Ｋ２を設定して補正値の影響を調べるなどの自己診断を行うことができる。また、内部信号Ｋ１およびＫ３からＫ６をマスクし、補正値Ｋ２に強制設定できるので、集積回路内の信号を確認するためのテスト信号に利用することもできる。
【０１０２】
また、Ｍレジスタ２３に値「１」を設定すれば、補正値決定部３３４は、補正値Ｋ１を入力し、補正値ＫとしてＫ１を出力する。同様に、Ｍレジスタ２３に値「３」を設定すれば、補正値決定部３３４は、補正値Ｋ３を入力し、補正値ＫとしてＫ３を出力する。また、Ｍレジスタ２３に値「７」を設定すれば、補正値決定部３３４は、補正値Ｋ１とＫ３とを入力し、Ｋ１とＫ３とを演算して補正値Ｋを出力する。演算は、例えば、最小値ＭＩＮ（Ｋ１，Ｋ３）を算出する演算であってもとしてもよいし、平均値Ａｖｅ（Ｋ１，Ｋ３）を算出する演算であってもよい。
このように、補正値決定部３３４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Ｋを出力することができる。外部より入力される補正値Ｋ３からＫ６の詳細は後述する。
【０１０３】
なお、補正値決定部３３４が、外部より入力された信号を選択して出力する場合は、入力された補正値をそのまま補正値Ｋとして用いてもよく、補正値決定部３３４は無くてもよい。
次に、ゲイン制御部３３５は、補正値Ｋで第１ゲイン信号ＧＡＩＮを補正し、第２ゲイン信号ＧＡＩＮ２を出力する。
より具体的に、設定される補正値Ｋによる制御方法について説明する。
まず、例えば、図３８に示すように補正値Ｋでゲイン１倍とゲイン信号ＧＡＩＮとを内分または外分して制御する方法（以下、「内分・外分制御」と記す）がある。ここで、ゲイン信号ＧＡＩＮ２はＧＡＩＮ２＝補正値Ｋ×ゲイン信号ＧＡＩＮ＋（１−補正値Ｋ）×１となる内分・外分演算を実施する。ここで、ゲイン信号を制御する演算は、Ｋ＞１なら外分演算になりゲインを強調し、Ｋ＝１で１倍、０＜Ｋ＜１で内分演算になりゲインを抑制する。また、式を変形してＧＡＩＮ２＝補正値Ｋ×（ゲイン信号ＧＡＩＮ−１）＋１としてもよい。いずれも、補正値Ｋで１倍とゲイン信号ＧＡＩＮの差を拡大または縮小するように補正する。
【０１０４】
なお、ＧＡＩＮ２＜Ｋｍａｘとなるように補正値Ｋを設定すれば、色飽和を抑えることができる。画質的には、Ｋ＞１ならコントラストが強くなり強調され、０＜Ｋ＜１でコントラストが弱く抑制される。色飽和を抑えるには、コントラストを抑制するように０＜Ｋ＜１とすればよい。
また、補正値の制御方法として図３９に示すように補正値Ｋ（Ｋｏｆｆｓｅｔ）を加算して制御する方法でもよい。ここで、ゲイン信号ＧＡＩＮ２はＧＡＩＮ２＝補正値Ｋ＋ゲイン信号ＧＡＩＮとなる。さらに、色飽和を抑えるには、ＧＡＩＮ２＜Ｋｍａｘとなるように補正値Ｋを設定する。
よって、Ｋ＞０ならゲインを強調する制御となり、Ｋ＝０なら補正なし、Ｋ＜０ならゲインを抑えるように制御される。画質的には、Ｋ＞０ならコントラストが強くなり強調され、Ｋ＜０でコントラストが弱くなり抑制される。色飽和を抑えるには、Ｋ＜０としコントラストを抑制する。
【０１０５】
なお、乗算値により増幅・減衰を制御する方法では、ＧＡＩＮ２＝補正値Ｋ×ゲイン信号ＧＡＩＮとなる。さらに、色飽和を抑えるには、ＧＡＩＮ２＜Ｋｍａｘとなるように補正値Ｋを設定するようにしてもよい。
このように、ゲイン制御部３３５は、補正値Ｋで第１ゲイン信号ＧＡＩＮを補正し、第２ゲイン信号ＧＡＩＮ２を出力することで、画像全体のコントラストを強調することも抑制することもできる。
次に、補正部９は、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。補正部９は、乗算部６、乗算部７および乗算部８より構成される。
乗算部６は、第２ゲイン信号ＧＡＩＮ２に輝度信号Ｙｉｎを乗算して輝度信号Ｙｏｕｔを出力する。乗算部７および乗算部８は第２ゲイン信号ＧＡＩＮ２に色度信号ＣＲｉｎおよび色度信号ＣＢｉｎを乗算し、色度信号ＣＲｏｕｔおよびＣＢｏｕｔを出力する。
【０１０６】
なお、Ｙｏｕｔ信号、ＣＲｏｕｔ信号、ＣＢｏｕｔ信号は、それぞれ１つの乗算部（乗算部６〜８）により、同じゲイン値であるＧＡＩＮ２を乗算されて補正部９から出力されるので、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングのズレは生じない。したがって、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングを合わせるための遅延手段等を別途設ける必要はない。
このように補正部９は画像信号を補正する。よって、明るさ調整において、補正部９は輝度レベルを大きくした部分では色度信号も大きくするので、色が薄く見えることはなくなる。また、逆に輝度レベルを小さくした部分では色度信号も小さくするので色が濃く見えることがない。さらに、第２ゲイン信号ＧＡＩＮ２に応じて、入力された画像信号を補正することで輝度レベルを大きくした部分での色飽和を抑えることができる。また、補正値により第２ゲイン信号ＧＡＩＮ２を制御し、逆光画像などの人物の暗くなった顔領域のみを強調するように明るく補正することもできる。
【０１０７】
なお、視覚処理装置１’（図３３）の視覚処理部３は、輝度信号Ｙｉｎのみ入力し、輝度信号Ｙｉｎをガンマ変換した出力と等価になるゲイン信号を出力するようにしてもよい。この構成では、視覚処理部３は、１次元のゲイン特性を有するデータを格納したＬＵＴで構成できる。より具体的には、ＬＵＴに格納するデータとして、図３のＵＳ０からＵＳｎのいずれか１つのゲイン特性を持つ変換曲線を選択してもよいし、予め設定される１次元のゲイン関数で作成してもよい。また、画像中の輝度信号のヒストグラム分布より求めた階調変換曲線と等価な出力が得られるゲイン関数でＬＵＴに格納するデータを作成してもよい。
これにより、視覚処理部３は、ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を削減できる。
【０１０８】
また、入出力される画像信号が原色信号であるＲＧＢ信号であってもよい。図４０に、変形例１である視覚処理装置８０’のブロック図を示す。重複を避けるため、視覚処理装置１と同じ処理の説明は省略する。視覚処理装置８０’は、画像信号としてＲＧＢ信号を入力し、視覚処理により補正したＲＧＢ信号を出力する。
輝度色度変換部８５は、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを輝度信号Ｙｉｎと色度信号ＣＲｉｎ、色度信号ＣＢｉｎに変換する。ここで、輝度成分の情報の抽出は人間の視感度特性に合わせてＲｉｎ、Ｇｉｎ、Ｂｉｎ信号より生成する。例えば、輝度信号Ｙｉｎは、Ｙｉｎ＝０．２９９×Ｒｉｎ＋０．５８７×Ｇｉｎ＋０．１１４×Ｂｉｎとする。また、色度信号（ＣＲｉｎ、ＣＢｉｎ）は、ＣＲｉｎ＝（−０．１６８７）×Ｒｉｎ＋（−０．３３１３）×Ｇｉｎ＋０．５×Ｂｉｎ、ＣＢｉｎ＝０．５×Ｒｉｎ＋（−０．４１８７）×Ｇｉｎ＋（−０．０８１３）×Ｂｉｎである。
【０１０９】
色飽和検出部３３１（図３３）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから補正値Ｋ１を算出する。なお、色飽和検出部３３１のＲＧＢ変換部１１（図３４）は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎおよび色度信号ＣＲｉｎからＲＧＢ信号を生成するようにしたが、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを直接利用してもよい。この場合、ＲＧＢ変換部１１はなくてもよい。
補正値決定部３３４（図３６）は、補正値Ｋ１を参照し、補正値Ｋを決定する。補正値Ｋは、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Ｋを出力する。
視覚処理部３は、空間処理部２の出力と輝度信号Ｙｉｎとを入力し、第１ゲイン信号ＧＡＩＮを算出する。
【０１１０】
ゲイン制御部３３５は、入力された第１ゲイン信号ＧＡＩＮを補正値Ｋで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部８１は、乗算部８２、８３、８４より構成され、各乗算部８２、８３、８４はそれぞれ画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎと第２ゲイン信号ＧＡＩＮ２とを乗算することで、視覚処理されたＲＧＢ信号であるＲｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを出力する。これにより、Ｒｉｎ、Ｇｉｎ、Ｂｉｎの比を保持したまま、コントラストを強調または抑制できる。また、補正値Ｋによりゲイン信号を強調または抑制するように制御できるので、階調のグラデーションの飽和、色飽和を抑えるように抑制できる。また、逆光シーンでの人物の顔の肌色のコントラストを強調するようにできる。
また、視覚処理部３（図３３）の出力を、階調変換後の出力信号と輝度信号Ｙｉｎとの差分信号に変更してもよい。図４１、図４２を用いて変形例２である視覚処理装置６０を説明する。
【０１１１】
図４１は変形例２の視覚処理装置６０’のブロック図である。視覚処理部６３は、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分を差分信号ＤＩＦＦとして出力するように構成したものである。差分信号ＤＩＦＦは、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分であり、図４２に示すように、アンシャープ信号ＵＳｎと輝度信号Ｙｉｎとに基づいて決定される差分信号となる。よって、加算部６２で輝度信号Ｙｉｎと差分信号ＤＩＦＦとを加算することで取得される信号は、図２に示す階調変換の出力信号と同じになる。
加算部６２は、輝度信号Ｙｉｎと差分信号ＤＩＦＦを加算し、加算値Ｙｘを算出する。この加算値Ｙｘは、図２の階調変換後の出力信号と等価な信号である。
除算部６１は、加算値Ｙｘを輝度信号Ｙｉｎの値で除算し、第１ゲイン信号ＧＡＩＮを算出する。すなわち、ＧＡＩＮ＝Ｙｘ／Ｙｉｎとなる。この第１ゲイン信号ＧＡＩＮは、図２の階調変換曲線の傾きをゲインとしたものと等価である。
【０１１２】
色飽和検出部３３１（図３３）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから補正値Ｋ１を算出する。
補正値決定部３３４（図３６）は、補正値Ｋ１を参照し、補正値Ｋを決定する。補正値Ｋは、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Ｋを出力する。
ゲイン制御部３３５は、入力された第１ゲイン信号ＧＡＩＮを補正値Ｋで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部９は、乗算部６、７、８で輝度信号Ｙｉｎ、色度信号ＣＲｉｎ、色度信号ＣＢｉｎに、それぞれ第２ゲイン信号ＧＡＩＮ２を乗算し、輝度信号Ｙｏｕｔ、色度信号ＣＲｏｕｔ、色度信号ＣＢｏｕｔを出力する。
【０１１３】
なお、視覚処理部６３は、２次元ＬＵＴで構成してもよいし、輝度信号Ｙｉｎと差分信号ＤＩＦＦとの関数を格納した１次元ＬＵＴでもよい。
このように階調変換曲線の出力と輝度信号Ｙｉｎとの差分値をＬＵＴに格納することで、階調変換曲線のガンマ変換値を格納するよりもメモリ容量を削減できる。
以上のように本実施形態によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置１を実現することができる。さらに、第１ゲイン信号ＧＡＩＮを設定された所定の補正値Ｋでゲイン信号を補正することで画像全体のコントラストを強調することも抑制することもできる。補正値Ｋでゲインを大きくすることで、逆光シーン画像での暗部にある人物の顔領域などを強調でき、レフ板効果を持たせることができる。また、補正値Ｋでゲインを小さくすることで、濃い赤色、濃い青色で色飽和、階調飽和を抑えることができる。
【０１１４】
また、画像信号からＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出されたＲＧＢ信号の最大値に基づいて第１ゲイン信号を制御することで、色飽和が発生するゲイン信号のレベルを検出でき、色飽和しない補正値を算出できる。
また、本実施形態の視覚処理装置１’では、ゲイン信号を用いて階調変換を行っている。ゲイン信号は、階調変換信号に比べて輝度信号Ｙｉｎに対する出力の変化が緩やかであるため、輝度信号Ｙｉｎ、アンシャープ信号ＵＳを粗く間引いても十分に処理精度を確保できる。よって、視覚処理部３に入力する輝度信号Ｙｉｎのビット精度を落とすことができ、ハードウェアの回路規模を削減できる。また、ＬＵＴで構成したときのメモリ容量を小さくできる。
さらに、本実施形態の視覚処理装置１’において、ゲイン特性を画像信号とアンシャープ信号ＵＳとから決定される２次元ゲイン特性とすることで、画像中の暗い領域は、アンシャープ信号ＵＳが小さいときのゲイン曲線で持ち上げて強調し、画像中の明るい領域は、アンシャープ信号ＵＳが大きいときのゲイン曲線で抑えるため暗部領域と明部領域の両方に最適な明るさ調整ができる。これにより、逆光シーン画像での暗部領域、特に、人物の顔領域を適正な明るさに持ち上げて強調しても、背景領域を飽和させないように階調変換できる。
【０１１５】
また、視覚処理部をＬＵＴで構成することで、テーブルデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形のゲイン特性を容易に実現できる。
また、補正値Ｋにより視覚処理の効果を強めることも弱めることもできるので、効果の強弱に応じたゲイン特性データを作り直す必要がない。これにより、いろいろな強さのデータのＬＵＴで用意しなくて済むため、メモリ容量を削減できる。また、ＬＵＴ内容を入れ替える必要がないため、変更する時間を大幅に短縮できる。補正値Ｋをリアルタイムに変更することで、画像中の領域ごとに効果の強さを変更することができる。具体的には、フレーム単位、画素単位で補正値Ｋを変更できる。
（実施形態６）
次に、実施形態６について、図１５および図４３から図４６を用いて説明する。以下、実施形態２および実施形態５と同様の部分については、同一符号を付し、その詳細な説明は省略する。
【０１１６】
実施形態６では、視覚処理装置１’の第１ゲイン信号ＧＡＩＮの補正値を決定する例について説明する。
図４３は本発明の実施形態６における表示装置３０’のブロック図である。
図４３において、視覚処理装置１’は、入力された映像信号を視覚処理し、出力部３５に出力する。出力部３５は、例えば、ＣＲＴ、プラズマディスプレイパネル、液晶パネルなどのディスプレイ部と、スピーカなどの音声出力部を備え、入力された音声信号と視覚処理された映像信号を表示する。なお、出力部３５はデバイスの表示色に合わせて入力された信号を変換して表示してもよい。例えば、輝度色度信号を原色信号であるＲＧＢ信号に変換する。なお、視覚処理装置１は出力部３５で扱える信号の構成に合わせて変形例が考えられる。例えば、輝度、色度信号を扱う場合は視覚処理装置１’（図３３）が好ましく、ＲＧＢ信号を扱うには視覚処理装置８０’（図４０）の構成が好ましい。このように映像信号に合わせた構成を用いればよい。
【０１１７】
次に、信号レベル検出部３４’は映像信号のうち、輝度信号をフレームメモリに記憶し、１フレーム内、または、１フィールド内の画像信号の平均値を演算し平均信号レベルを検出する。この検出した平均信号レベルから補正値Ｋ３を算出する。なお、平均信号レベルは、輝度信号を平均化した平均値でもよいし、ＲＧＢ信号のそれぞれの信号を平均し、さらに３つの平均値を平均した値でもよい。
例えば、ゲイン制御を内分・外分制御で行う場合を説明する。平均信号レベルが所定の値ＰＨより高い画像を「明るい画像」と定義し、明るい画像では補正値Ｋ３を「０．８」に設定し、逆に、平均信号レベルが所定の値ＰＬより低い画像を「暗い画像」と定義し、暗い画像では補正値Ｋ３を「１．２」に設定する。これにより、画像の特徴により補正値を設定できる。
【０１１８】
また、ゲイン制御をオフセット値で行う場合を説明する。平均信号レベルが所定の値ＰＨより高い画像を「明るい画像」と定義し、明るい画像では補正値Ｋ３を「−０．２」に設定し、逆に、平均信号レベルが所定の値ＰＬより低い画像を「暗い画像」と定義し、暗い画像では補正値Ｋ３を「＋０．２」に設定する。これにより、画像の特徴により補正値を設定できる。
これにより、明るい画像でゲイン信号を補正し信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。
また、プラズマディスプレイパネルは、耐熱性を高め、消費電力を下げるために、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるようにディスプレイパネル側で制御する表示制御機能がドライブ部に設けられている。さらに、この表示制御機能は映像信号処理とは無関係に働く機能である。
【０１１９】
よって、視覚処理で画像中の所定の明るさの領域を持ち上げたことにより、表示制御機能が働き、ドライブ部で画面全体の明るさを下げられてしまうと、視覚処理する前には十分明るかった領域まで暗くなり、画面全体としてめりはりのない画像となり画質が劣化する。つまり、せっかく行った視覚処理が無駄になってしまうおそれがある。そのために、ドライブ部の表示制御機能が働く平均信号レベル以下にゲイン信号を補正することで、効果の高いコントラスト調整ができる。
次に、肌色検出部３６’は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎから肌色領域を検出し、補正値Ｋ４を算出する。図４４に示すように肌色検出部３６’は、色度信号ＣＲｉｎより所定の第１色領域を検出し重み値Ｋａを出力する第１色領域検出部３６１’と、色度信号ＣＢｉｎより所定の第２色領域を検出し重み値Ｋｂを出力する第２色領域検出部３６２’と、輝度信号Ｙｉｎより所定の明るさ領域を検出し重み値Ｋｃを出力する輝度領域検出部３６３’とを備え、肌らしさ度を各重み値の積と定義し補正値Ｋ４を求める。例えば、補正値Ｋ４は、乗算部３６４、３６５によって補正値Ｋ４＝Ｋａ×Ｋｂ×Ｋｃのように算出される。
【０１２０】
肌色検出部３６’は、検出対象としている映像信号（輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎ）が図１５に示す肌色領域に属するか否かを検出する。これにより、色に加え、画像の明るさに応じても補正値Ｋを設定できる。特に、日陰にある暗くなった人物の顔の肌色領域を明るく強調（レフ板効果）することができるので、日が当たっている領域にあるもともと明るい人物の顔の肌色領域では顔のテカリ、階調飽和、色飽和を抑制することができる。
より具体的に図４５を用いて肌色検出部３６’の動作を説明する。ここでは、ゲイン制御を内分・外分制御で行うものとする。
第１色領域検出部３６１’は色度信号ＣＲｉｎを入力し、図４５（ａ）に示す重み関数によって重み値Ｋａを出力する。同様に、第２色領域検出部３６２’は色度信号ＣＢｉｎを入力し、図４５（ｂ）に示す重み関数によって重み値Ｋｂを出力する。輝度領域検出部３６３’は輝度信号Ｙｉｎを入力し、図４５（ｃ）に示す重み関数によって重み値Ｋｃを出力する。肌らしさ度を各重み関数の積と定義し、補正値Ｋ４＝Ｋａ×Ｋｂ×Ｋｃのように算出する。肌色領域と領域外との境界付近で色が不自然にならないように、対象となる肌色領域の境界は徐々に重みが変化するようにする。なお、重み関数の形状は台形でも三角形でもよい。画像評価などにより最適な関数を設定すればよい。なお、補正値Ｋ４をＫａ、Ｋｂ、Ｋｃの最大値としてもよく、平均値としてもよい。
【０１２１】
このように、輝度領域がＹｑ＜輝度値＜Ｙｐの肌色領域（暗部領域）で重み値Ｋｃを１倍より大きい値（補正値Ｋを大きな値）とすることで、日陰にある暗くなった人物の顔の肌色を明るく強調（レフ板効果）でき、また、日が当たっている領域（明部領域）にあるもともと明るい顔の肌色には、輝度信号に対する重み値Ｋｃを小さい値（肌色検出部３６’で算出される補正値Ｋ４を小さい値）とすることで、顔のテカリ、飽和を抑えることができる。よって、画像中の特徴によって補正値Ｋを制御して強調も抑制もできる。
なお、各重み係数の最小値、重み関数の形状はそれぞれ異なっていてもよい。また、ゲイン制御を内分・外分制御で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、肌色領域でＫ＞０、その他の領域でＫ＝０またはＫ＜０となる値を予め設定した関数とすることで、同様の効果を奏する。
【０１２２】
次に、放送内容検出部３７’は、番組情報分離部３２から分離されたＥＰＧ表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を検出し、補正値Ｋ５を算出する。なお、データのジャンル情報や画像の情報はＭＰＥＧのストリーム情報より検出してもよい。
放送内容検出部３７’は、例えば、図４６に示すように「ニュース」「スポーツ」「ワイドショー」「映画」「ドラマ」などの受信したコンテンツの種類を検出し、それぞれ補正値Ｋ５を算出する。ここでは、ゲイン制御を内分・外分制御で行う場合を説明する。
報道画像には撮影条件にばらつきがあり、暗い画像もあるのでめりはりをつけるため、コンテンツの種類が「ニュース」ならば補正値「１．３」を設定する。同様に、「スポーツ」ならば補正値「１．２」、スタジオなどで照明が考慮されている「ワイドショー」ならば補正値「１．０」、シックな映像が好ましい「映画」ならば補正値「０．７」、「ドラマ」ならば補正値「０．９」を設定する。このように、コンテンツに合わせて、補正値Ｋ５は予めテーブル化されている。これにより、画像の種類に応じて最適な補正値Ｋ５を設定できる。
【０１２３】
なお、このテーブルを外部より変更できるようにしてもよい。また、ゲイン制御を内分・外分制御で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、強調したいときはＫ＞０、補正なしはＫ＝０、抑制したときはＫ＜０となる値を設定することで、同様の効果を奏する。
次に、電界強度検出部３８’は、チューナ３１で受信された受信電波の電界強度を検出し、電界強度の強弱に応じて補正値Ｋ６を算出する。ゲイン制御を内分・外分制御で行う場合を説明する。例えば、電界強度が「強」の場合、補正値Ｋ６を「１．２」に設定し、電界強度が「弱」の場合、補正値Ｋ６を「０．８」に設定する。
なお、ゲイン制御を乗算値で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、電界強度が「強」の場合はＫ＝＋０．２となる値を設定し、電界強度が「弱」の場合はＫ＝−０．２となる値を設定することで、同様の効果を奏する。
【０１２４】
これにより、電界強度が弱くＳ／Ｎの悪い画像のノイズが強調されないように補正値Ｋ６を設定できる。
以上のように本実施形態によれば、信号レベル検出部３４’は、１フレーム内または１フィールド内の画像信号から検出した平均信号レベルに応じて補正値Ｋ３を算出する。視覚処理装置１’は、補正値Ｋ３に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
これにより、平均信号レベルに応じて補正値を設定でき、明るい画像でゲイン信号を制御し画像の信号レベルを抑えることができる。また、信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
【０１２５】
また、肌色検出部３６’は、予め設定される輝度信号、色度信号に応じた重み値Ｋａ、Ｋｂ、Ｋｃの演算により肌色らしさ度に応じて補正値Ｋ４を算出する。視覚処理装置１’は、補正値Ｋ４に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
これにより、所定の色領域と輝度領域で各重み値を上げる重み関数とすることで、日陰にある暗くなった人物の顔の肌色を明るく強調し、レフ板効果を持たせて肌色のくすみをとることができる。一方、日が当たっている領域にあるもともと明るい顔の肌色にテカリが出たり、飽和したりしないように抑制することができる。
また、放送内容検出部３７’は、受信したデータから番組情報を分離する番組情報分離部３２から検出した放送コンテンツに応じて補正値Ｋ５を算出する。視覚処理装置１’は補正値Ｋ５に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
【０１２６】
これにより、コンテンツごとに最適な補正値を設定でき、コンテンツに必要なコントラスト調整値に合わせた補正値を設定できる。
また、電界強度検出部３８’は、チューナ３１が画像データを受信したときの電界強度値に応じて補正値Ｋ６を算出する。視覚処理装置１’は補正値Ｋ６に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
これにより、電界強度値より補正値を設定でき、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制御でき、Ｓ／Ｎが悪い画像のノイズの強調を抑えることができる。
また、本発明の表示装置３０’は、通信または放送された画像データを受信するチューナ３１と、画像データを映像信号に復号するＡＶ復号部３３と、復号された映像信号を視覚処理して出力する視覚処理装置１’と、視覚処理された映像信号を表示する出力部３５を備えている。
【０１２７】
この構成により、画像のコントラスト調整で色飽和を抑えた視覚処理ができる表示装置３０’を実現できる。また、ゲイン信号を抑制することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を抑制できるので、効果の高いコントラスト調整ができる。
（実施形態７）
つぎに、本発明の実施形態７として、上記で説明した視覚処理装置１または視覚処理装置１’の応用例とそれを用いたシステムについて図４７〜図５０を用いて説明する。
図４７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１２８】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図４７のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラなどの動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）などであり、いずれでも構わない。
【０１２９】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信などが可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバなどで行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラなどの静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１などで読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１３０】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６などで撮影しているコンテンツ（例えば、音楽ライブを撮影した映像など）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などがある。このように、コンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの表示に際して、上記実施の形態で説明した視覚処理装置を用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などは、上記実施の形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであってもよい。
【０１３１】
また、ストリーミングサーバｅｘ１０３は、視覚処理装置に対して、インターネットｅｘ１０１を介して２次元ゲインデータ（プロファイル）を提供するものであってもよい。さらに、ストリーミングサーバｅｘ１０３は複数台存在し、それぞれ異なる２次元ゲインデータを提供するものであってもよい。さらに、ストリーミングサーバｅｘ１０３は２次元ゲインデータの作成を行うものであってもよい。このように、インターネットｅｘ１０１を介して、視覚処理装置が２次元ゲインデータを取得できる場合、視覚処理装置は予め視覚処理に用いる２次元ゲインデータを記憶しておく必要がなく、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットｅｘ１０１介して接続される複数のサーバから２次元ゲインデータを取得できるため、異なる視覚処理を実現することが可能となる。
【０１３２】
一例として携帯電話について説明する。
図４８は、上記実施の形態の視覚処理装置１または視覚処理装置１’を備えた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラなどの映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像などが復号化されたデータを表示する液晶ディスプレイなどの表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカなどの音声出力部ｅｘ２０８、音声入力をするためのマイクなどの音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータなど、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカードなどのプラスチックケース内に電気的に書き換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１３３】
さらに、携帯電話ｅｘ１１５について図４９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１３４】
携帯電話ｅｘ１１５は、中央処理装置（以下、「ＣＰＵ」という）、ＲＯＭ、ＲＡＭなどを備えた主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１３５】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してデジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１３６】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページなどにリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給するとともに当該音声データを音声処理部ｅｘ３０５に供給する。
【０１３７】
つぎに、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像復号化部ｅｘ３０９は、上記実施の形態の視覚処理装置を備えていてもよい。
なお、上記システムの例に限らず、最近は衛星、地上波によるデジタル放送が話題となっており、図５０に示すようにデジタル放送用システムにも上記実施の形態で説明した視覚処理装置を組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備を持つ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはＳＴＢｅｘ４０７などの装置が上記実施の形態で説明した視覚処理装置を備えていてもよい。また、上記実施の形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤなどの蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたＳＴＢｅｘ４０７内に上記実施の形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときＳＴＢではなく、テレビ内に上記実施の形態で説明した視覚処理装置を組み込んでもよい。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７などから信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３などの表示装置に動画を再生することも可能である。
【０１３８】
さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。さらに、ＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の視覚処理装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は、例えば図４９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１などでも考えられる。
【０１３９】
また、上記携帯電話ｅｘ１１４などの装置は、符号化器・復号化器を両方持つ送受信型の装置の他に、符号化器のみの送信装置、復号化器のみの受信装置の３通りの実装形式が考えられる。
以上のように、本発明の実施形態７によれば、上記実施形態で説明した本発明に係る視覚処理装置または表示装置を、本発明の実施形態７におけるいずれの機器またはシステムにも用いることができ、上記実施形態で説明した本発明に係る視覚処理装置、表示装置における効果を機器またはシステムでも得ることができる。
また、上記実施形態で説明した本発明に係る視覚処理装置、視覚処理部、表示装置およびシステムにおける空間処理機能、視覚処理機能、補正機能、帯域制限機能、コントラスト強調機能などの各種機能は、集積回路などを用いたハードウェアにより実施してもよいし、ＣＰＵ、デジタル信号処理装置などを用いて動作するソフトウェアにより実施してもよい。また、ハードウェアおよびソフトウェアの混在処理により実施してもよい。
【０１４０】
まず、各種機能をハードウェアで実施する場合は、本発明の実施形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように１チップ化された集積回路としてもよい。
また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
【０１４１】
つぎに、各種機能をソフトウェアで実施する場合について、図５１を用いて説明する。図５１は、本発明の実施形態におけるコンピュータ４０の構成を示すブロック図である。
図５１において、コンピュータ４０は、各種プログラムの命令を実行するＣＰＵ４１と、プログラムなどが格納されているＲＯＭ４２と、一時記憶のデータを格納するＲＡＭ４３と、画像を入力する入力部４４と、画像を出力する出力部４５と、プログラムや各種データを記憶する記憶部４６とを備えている。
さらに、外部との通信を行う通信部４７と、情報記憶媒体を適宜接続するドライブ４８とを備えるようにしてもよい。
また、各機能部はバス４９を経由して制御信号、データなどの送受信を行う。
ＣＰＵ４１は、ＲＯＭ４２に記憶されているプログラム、または、記憶部４６に記憶されているプログラムか、ＲＡＭ４３に記憶されたプログラムにしたがって各種機能の処理を実行する。
【０１４２】
ＲＯＭ４２は、視覚処理プログラム、特性データなどを記憶している。
ＲＡＭ４３は、ＣＰＵ４１により各種機能の処理に必要なデータを一時記憶する。
入力部４４は、画像を入力する。たとえば、電波を受信して放送用画像データを取得し、取得した符号化画像データを復号化して、視覚処理装置１または視覚処理装置１’が処理できる画像データに変換してもよい。これにより、入力された画像データをＣＰＵ４１で視覚処理装置１または視覚処理装置１’の処理ステップを実施し、出力部４５で表示することで、デジタルテレビを実現できる。また、直接に有線を経由してデジタル画像を取得するようにしてもよい。
出力部４５は、画像を出力する。たとえば、液晶表示装置やプラズマディスプレイなどのディスプレイ装置に出力する。
【０１４３】
記憶部４６は、磁気メモリなどで構成され、視覚処理に必要なプログラム群であるソフトウェアを記憶する。なお、視覚処理のソフトウェアを構成するプログラムは、あらかじめコンピュータに専用のハードウェアで組み込んでもよいし、ＲＯＭ４２、記憶部４６にあらかじめ組み込んで提供してもよい。
通信部４７は、ネットワークなどに接続され、ネットワークを経由してプログラムを取得、または必要に応じて記憶部４６に取得したプログラムをインストールするようにしてもよい。これにより、コンピュータ４０は、通信部４７を経由してプログラムのダウンロードが可能となる。
ドライブ４８は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、たとえば、磁気ディスク、光磁気ディスク、光ディスクなどのディスク５０、または半導体メモリなどのメモリカード５１などである。また、ディスク５０、または半導体メモリなどのメモリカード５１などに各種機能を有するプログラム、特性データなどを記憶し、コンピュータ４０に、その情報を与えるようにしてもよい。
【０１４４】
プログラムは、コンピュータ４０に、入力した画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力する視覚処理ステップと、設定された所定の制限値で第１ゲイン信号を制限して第２ゲイン信号を出力するゲイン制限ステップと、第２ゲイン信号に基づいて画像信号を補正する補正ステップとを実行させる。
また、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップをさらに実行し、視覚処理ステップでは画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力するようにしてもよい。
また、プログラムは、コンピュータ４０に、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、画像信号と処理信号とに基づいた所定のゲイン特性を有するゲイン信号を出力する視覚処理ステップと、ゲイン信号に基づいて画像信号の階調を補正する補正ステップとを実行させる。
【０１４５】
また、視覚処理ステップでは、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力するようにしてもよい。
また、通信部４７に放送用画像データの受信部を備え、通信または放送された符号化画像データを受信部で復号化して、視覚処理装置１が処理できる画像データに変換してもよい。これにより、入力した画像データをＣＰＵ４１で視覚処理装置１’の処理ステップを実施し、出力部４５で表示することで、デジタルテレビを実現できる。
ここで、視覚処理装置１’の処理ステップとは、入力した画像信号を補正して出力する視覚処理装置において、画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力する視覚処理ステップと、設定された所定の補正値で第１ゲイン信号を補正して第２ゲイン信号を出力するゲイン制御ステップと、第２ゲイン信号に基づいて画像信号を補正する補正ステップとを実施すればよい。
【０１４６】
ここで、ゲイン制御ステップは、所定の補正値で１倍と第１ゲイン信号との差を拡大または縮小するステップを実施するようにしてもよい。
また、ゲイン制御ステップを、所定の補正値で１倍と第１ゲイン信号とを内分または外分するステップを実施するようにしてもよい。
なお、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップをさらに実施し、画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力する視覚処理ステップを実施してもよい。
以上の処理ステップは、ＲＯＭ４２、記憶部４６に格納されたプログラムにより、逐次ＣＰＵ４１で実行される。ここで、２次元ＬＵＴの一時記憶などはＲＡＭ４３を用いるようにしてもよい。
【０１４７】
また、プログラムは、情報処理装置、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、ゲーム機器などの画像を取り扱う機器に適用できる。プログラムは、画像を取り扱う機器に内蔵、あるいは接続される装置において、メモリ、ハードディスク、ＲＯＭなどの記憶装置に記憶され、コンピュータに画像のコントラスト調整などの視覚処理を実行させる。プログラムは、例えば、メモリカード５１、ディスク５０などの記録媒体を介して、あるいはネットワークを介して提供される。
また、視覚処理装置は、動画像を取り扱う機器に内蔵あるいは接続し、フレームごと、またはフィールドごとの画像の処理を行う装置であってもよい。
（他の実施形態）
従来のコントラスト調整技術（例えば、特開平４−１５０１７１号公報のもの）では、Ｒ、Ｇ、Ｂ映像信号を入力し、中間調レベルの明るさを変えることにより、ダイナミックレンジ内で画像の視覚的な明るさを調節するようにしていた。ここでは、補正係数Ｍをガンマ変換前とガンマ変換後の輝度信号Ｙに対する比の値とし、補正係数ＭをＲ、Ｇ、Ｂ信号の各々に乗じて出力することでＲ、Ｇ、Ｂ信号の比のバランスを変えずに明るさ調整していた。このコントラスト調整技術では、画像信号が増幅されて飽和すると、階調のグラデーションも飽和（所定の信号レベルにあたった状態）し、擬似輪郭など階調歪が発生し画質を劣化させるという課題があった。
【０１４８】
また、色の飽和は画素ごとに発生するため、画像の一部領域の階調、色の飽和を抑えるために画像全体に対してコントラストを下げると、色度信号のコントラストを弱め、色が薄くなるという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
また、別のコントラスト調整技術（例えば、特開２００１−２７５０１５号公報のもの）では、画像の平滑化した信号のみからゲイン係数を決定し、画像信号にゲイン係数を乗ずることで画像の明るさを調整する。
このコントラスト調整技術では、画像の暗部を明るくするため、入力画像を平滑化した信号が小さい場合にゲインが大きくなるよう設定すると、出力画像がオーバーフローして飽和し画質劣化が生じるという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
【０１４９】
ＲＧＢ信号を輝度信号と色度信号に分離し、輝度信号のコントラスト調整に対応して色度信号のコントラスト調整を行うコントラスト調整技術では、コントラスト調整された輝度信号と色度信号を再びＲＧＢ信号に戻したときに信号が飽和し、色の飽和を起こす可能性があるという課題があった。また、色飽和が発生するとＲＧＢ信号の色バランスが崩れ、色が変化するという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
撮影機器では、屋外で日中撮影された映像は専用ビデオライトなどの照明がないために多くの場合人物が逆光シーンになっており、このまま表示装置などで表示すると人物の顔が黒く再現されてしまう。そこで、人物の顔が適正な明るさになるように明るさ調整する技術がある（例えば、特開２００２−１８５７７１号公報のもの）。
【０１５０】
この技術では、逆光シーン画像で暗くなった人物の顔領域を明るくすると、もともと明るかった背景領域の輝度も上げられるため、信号が持つレンジの最大値で制限され、階調が飽和する。階調が飽和（信号レベルが最大値に固定した状態）すると、擬似輪郭など階調歪が発生し画質を劣化するという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１５１】
本発明に係る視覚処理装置、表示装置および集積回路によれば、画像に対して、高性能なコントラスト調整を実施することができ、カラーテレビジョン装置、携帯装置、情報処理装置、撮影装置、携帯情報装置、デジタルスチルカメラおよびゲーム機器などに備えられた表示装置やプロジェクタおよびプリンタなどの出力装置などとして利用することができる。
【符号の説明】
【０１５２】
１，６０，８０、１’、６０’、８０’ 視覚処理装置
２ 空間処理部
３，６３ 視覚処理部
４、３３４ 制限値決定部
５ ゲイン制限部
３３５ ゲイン制御部
６，７，８，８２，８３，８４，９００ 乗算部
９，８１ 補正部
１０ 色飽和検出部
３３１ 色飽和検出部
１１ ＲＧＢ変換部
１２ 最大値検出部
１３ 第１制限値算出部
３４１ 第１補正値算出部
２０、３４２ レジスタ
２３、３６１ Ｍレジスタ
３１ チューナ
３２ 番組情報分離部
３３ ＡＶ復号部
３４、３４’ 信号レベル検出部
３５ 出力部
３６、３６’ 肌色検出部
３７、３７’ 放送内容検出部
３８、３８’ 電界強度検出部
４０ コンピュータ
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
４４ 入力部
４５ 出力部
４６ 記憶部
４７ 通信部
４８ ドライブ
４９ バス
５０ ディスク
５１ メモリカード
６１，９０３ 除算部
６２，９０１，９０２ 加算部
７０，７１，７２，７３，７４ ゲイン型視覚処理部
８５ 輝度色度変換部
９０，９８ 帯域制限部
９１，９２，９３ コントラスト強調部
【技術分野】
【０００１】
本発明は、視覚処理装置、表示装置および集積回路に関し、特に、画像のコントラストを調整する視覚処理装置、表示装置および集積回路に関する。
【背景技術】
【０００２】
従来のカラーテレビジョン受像機では、画像の明暗を調整するためにコントラスト調整を行っていた。
コントラスト調整では、色バランスを崩さないように、ＲＧＢ信号を輝度信号と色度信号に分離し、輝度信号のコントラストを調整するようにしていた。
また、輝度信号レベルを大きくした部分では、色が薄く見え、逆に輝度信号レベルを小さくした部分では色が濃く見えて不自然な状態で出力されるので、輝度信号レベルの変化に対応するように色度信号のレベルも増減させるようにしていた。
従来の表示装置のコントラスト調整回路について図５２を用いて説明する。図５２は従来の表示装置のコントラスト調整回路の構成を示すブロック図である。図５２において、Ｙマトリクス１００はＲ、Ｇ、Ｂ信号を輝度信号Ｙａに変換するものである。同様に、Ｒ−Ｙマトリクス１０１はＲ、Ｇ、Ｂ信号を色度信号であるＲ−Ｙに、Ｂ−Ｙマトリクス１０２はＲ、Ｇ、Ｂ信号を色度信号であるＢ−Ｙに変換するものである。ガンマ補正回路１０４は輝度信号Ｙａのリニアリティを輝度信号Ｙｂに変換するものである。また、ガンマ補正回路１０４はルックアップテーブル（以下、「ＬＵＴ」という）より構成され、例えば図５３に示すような、ガンマ変換特性を有するテーブル値が書き込まれている。ここで、横軸が入力Ｙａ、縦軸が出力Ｙｂである。
【０００３】
除算回路１０５は、輝度信号Ｙｂを輝度信号Ｙａで除算し、変換率Ｙｂ／Ｙａを得る。係数器１０６は、変換率Ｙｂ／Ｙａと係数Ｋとの演算により、色信号を増幅する変換係数Ｋｃ＝１＋Ｋ（Ｙｂ／Ｙａ−１）を得る。ここで、係数Ｋを変更することで、色信号の増加を抑えることができる。また、乗算器１０７、１０８は、Ｒ−Ｙマトリクス１０１の出力、Ｂ−Ｙマトリクス１０２の出力に変換係数Ｋｃが乗算され、輝度コントラスト調整に対応した色度（Ｒ−Ｙ）信号および色度（Ｂ−Ｙ）信号が生成される（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−１５２７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記構成のコントラスト調整回路では、色度信号に対して、輝度信号が除算回路により除算された後（輝度信号を除算する処理は、演算処理数が多いため、除算結果が出力されるまで時間がかかるので、遅延が発生する。）、乗算器により乗算を行うための係数が取得され、取得された係数を色度信号に乗算するという処理を行うことになるので、出力される輝度信号と出力される色度信号との出力タイミングがずれたものとなり、別途、出力輝度信号と出力色度信号とのタイミングを合わせるため、遅延手段等が必要となるという課題がある。
本発明が解決しようとする課題は、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置を実現することである。また、その視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路を実現することである。
【課題を解決するための手段】
【０００６】
第１の発明は、入力された画像信号を補正して出力する視覚処理装置であって、視覚処理部と、補正部とを備える。視覚処理部は、画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力する。補正部は、第１ゲイン信号に基づいて画像信号を補正する。
この視覚処理装置では、画像信号に対して所定のゲイン特性を有する第１ゲイン信号が視覚処理部により出力され、第１ゲイン信号に基づいて、視覚処理装置に入力された画像信号が補正されるので、高性能な補正処理を簡易な構成で実現することができる。つまり、画像信号を補正するのに、直接階調補正するのではなく、ゲイン信号により補正するので、簡易な処理で画像信号の補正を行うことができ、例えば、ハードウェアで構成する場合等に回路規模を削減することができる。また、ゲイン信号による補正により画像信号の補正を実現するので、補正後の出力画像信号の出力タイミングを容易に合わせることができる。
【０００７】
第２の発明は、第１の発明であって、設定された所定の制限値で第１ゲイン信号を制限して第２ゲイン信号を出力するゲイン制限部をさらに備える。補正部は、第２ゲイン信号に基づいて画像信号を補正する。
このような構成により、高彩度色で所定の制限値でゲインを抑えることで、画像のコントラスト調整をしても高彩度色でゲイン信号を制限することができ、例えば、濃い赤色、濃い青色で色飽和を防止することができる。また、所定の制限値は簡易なハードウェアで実現できるため、画素単位で制限値を変更できる。
第３の発明は、第１または第２の発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力する。
【０００８】
これによれば、さらに、空間処理が施された処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域を飽和させることなく両方に最適なコントラスト調整ができる。また、周りが暗い中の明るい画素でもオーバーフローして飽和することなくコントラスト調整ができる。
第４の発明は、第１から第３のいずれか１つの発明であって、視覚処理部は、画像信号と処理信号とを入力とする２次元ルックアップテーブルを備えている。
これによれば、さらに、また、ルックアップテーブルのデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形の２次元ゲイン特性を容易に実現できる。また、２次元ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままルックアップテーブルのデータとするよりもメモリ容量を小さくできる。
【０００９】
第５の発明は、第１から第４のいずれか１つの発明であって、画像信号は、輝度信号および色度信号であり、補正部は、輝度信号と第２ゲイン信号とを乗算して補正された輝度信号を出力する第１乗算部と、色度信号と第２ゲイン信号とを乗算して補正された色度信号を出力する第２乗算部とを有する。
このような構成により、さらに、所定の制限値で抑えたゲイン信号と、輝度信号、色差信号を乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを調整できる。
第６の発明は、第１から第４のいずれか１つの発明であって、画像信号は、ＲＧＢ信号であり、補正部は、ＲＧＢ信号と第２ゲイン信号とを乗算して補正されたＲＧＢ信号を出力する。
【００１０】
これによれば、さらに、所定の制限値で抑えたゲイン信号と、ＲＧＢ信号を乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを調整できる。
第７の発明は、第１から第６のいずれか１つの発明であって、画像信号をＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出された最大値に応じて色飽和を抑える所定の制限値を算出する第１制限値算出部と、をさらに備える、
このような構成により、さらに、補正された画像信号が色飽和するゲイン信号の最大値を検出でき、色飽和しない制限値を算出できる。
第８の発明は、第１から第７のいずれか１つの発明であって、１フレーム内または１フィールド内の画像信号から検出した平均信号レベルに応じて所定の制限値を算出する信号レベル検出部をさらに備える。
【００１１】
このような構成により、さらに、画像信号から検出した平均信号レベルに応じて制限値を設定できるので、明るい画像でゲイン信号を制限し、信号レベルを抑えることができる。これにより、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能をもつプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
第９の発明は、第１から第８のいずれか１つの発明であって、画像信号に対して予め設定された重み関数に基づいて検出される肌色らしさ度に応じて所定の制限値を算出する肌色検出部をさらに備える。
【００１２】
このような構成により、肌色を検出して制限値を設定できるので、明るい肌色で制限値を下げることができ、色飽和を抑え、さらに顔のテカリを防止できる。また、画像中の明るい領域での顔の濃淡を飛ばさないようにできる。
第１０の発明は、第１から第９のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、受信したデータから番組情報を分離する番組情報分離部と、番組情報から検出した放送コンテンツに応じて所定の制限値を算出する放送内容検出部と、をさらに備える。
このような構成により、コンテンツごとに最適な制限値を設定でき、それぞれのコンテンツに必要なコントラスト調整値にあわせた制限値を設定できる。
第１１の発明は、第１から第１０のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、データを受信するときの電界強度値を検出し、電界強度値に応じて所定の制限値を算出する電界強度検出部と、をさらに備える。
【００１３】
このような構成により、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制限でき、Ｓ／Ｎが悪い画像のノイズの強調を抑えることができる。
第１２の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第１から第１１のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、画像の明るさ調整で色飽和を抑えた視覚処理ができる表示装置を実現できる。また、ゲイン信号を制限することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示画面の明るさに応じてバックライトを調整するような液晶パネルでも同様の効果を奏する。
【００１４】
第１３の発明は、画像データを入力するデータ入力部と、入力された画像データを視覚処理して出力信号を出力する第１から第１１のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、表示装置でも視覚処理装置と同様の効果を得ることが可能となる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００１５】
また、携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示部とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、本発明の携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。
このような構成により、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００１６】
第１４の発明は、第１から第１１のいずれか１つの発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいた所定のゲイン特性を有するゲイン信号を出力し、補正部は、ゲイン信号に基づいて画像信号の階調を補正する。
このような構成により、局所領域の濃淡情報である処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域を飽和させることなく両方に最適なコントラスト調整ができ、色飽和を抑えられる。また、ゲイン特性は階調変換特性に比べて画像信号に対する特性の変化が緩やかであるため、画像信号と処理信号を粗く間引いても十分に処理精度を確保でき、信号のビット精度を落とすことができるためである。これにより、視覚処理部のハードウェアの回路規模を削減でき、ルックアップテーブルを備えた場合にはメモリ容量を削減できる。
【００１７】
第１５の発明は、第１から第１１、または第１４のいずれか１つの発明であって、視覚処理部は、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力する。
これによれば、さらに、入力された輝度信号の値が処理信号の値よりかなり大きい値で変化した場合であっても補正された出力のコントラストの低下を抑えることができる。これにより、例えば、輝度信号の信号レベルが高い信号に微小な高周波成分を有するような画像信号（例えば、高輝度のディテール部分に相当する画像信号）に対してもコントラストを低下させずに補正し、出力することができる。
第１６の発明は、第１から第１１、第１４、第１５のいずれか１つの発明であって、補正部は、画像信号のコントラストを強調した強調信号を出力するコントラスト強調部を有し、補正部は、強調信号の階調を補正する。
【００１８】
これによれば、さらに、画像信号のコントラストを強調できる。
第１７の発明は、第１から第１１、第１４から第１６のいずれか１つの発明であって、コントラスト強調部は、画像信号の空間周波数帯域を制限した帯域制限信号と画像信号とに基づいて強調信号を出力する。
これによれば、さらに、着目画素とその近傍の明るさにより画像信号のコントラストを強調できる。
第１８の発明は、第１から第１１、第１４から第１７のいずれか１つの発明であって、コントラスト強調部は、帯域制限信号と画像信号とを入力とする２次元ルックアップテーブルを備えている。
このような構成により、さらに、互いに異なる複数の演算結果を設定することで、様々なコントラストの強調を行うことが可能となる。
【００１９】
第１９の発明は、第１から第１１、第１４から第１７のいずれか１つの発明であって、コントラスト強調部は、帯域制限信号と画像信号との比に基づいた強調信号を出力する。
これによれば、さらに、コントラスト強調部は、帯域制限信号と画像信号との比に応じてコントラストを強調できる。
第２０の発明は、第１から第１１、第１４から第１７のいずれか１つの発明であって、コントラスト強調部は、帯域制限画像信号と画像信号との差に基づいた強調信号を出力する。
これによれば、さらに、コントラスト強調部は、帯域制限信号と画像信号との差に応じてコントラストを強調できる。
第２１の発明は、第１から第１１、第１４から第２０のいずれか１つの発明であって、視覚処理部は、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力し、補正部は、画像信号のコントラストを強調した強調信号を出力するコントラスト強調部を有する。補正部は、強調信号の階調を補正する。
【００２０】
これによれば、さらに、入力された輝度信号の値が処理信号の値よりかなり大きい値で変化した場合であっても補正された出力のコントラストの低下を抑えることができる。これにより、例えば、輝度信号の信号レベルが高い信号に微小な高周波成分を有するような画像信号（例えば、高輝度のディテール部分に相当する画像信号）に対してもコントラストを低下させずに補正し、出力することができる。さらに、画像信号のコントラストを強調できる。
第２２の発明は、第１の発明であって、設定された所定の補正値で第１ゲイン信号を補正して第２ゲイン信号を出力するゲイン制御部をさらに備える。補正部は、第２ゲイン信号に基づいて画像信号を補正する。
このような構成により、画像中の領域ごとに補正値でコントラストの強調、抑制ができる。よって、逆光シーン画像での暗部領域、特に人物の顔領域を適正な明るさに強調し、かつ、背景領域の高彩度色で抑制することができる。これにより、最適な明るさ調整を行いつつ、例えば、濃い赤色、濃い青色で階調、色の飽和を抑えることができる。また、簡易なハードウェアで構成できるため、画素単位に補正値を変更できる。
【００２１】
第２３の発明は、第２２の発明であって、ゲイン制御部は、所定の補正値で１倍と第１ゲイン信号との差を拡大または縮小する。
このような構成により、さらに、所定の補正値で第１ゲイン信号を増減でき、コントラストの強調と抑制ができる。
第２４の発明は、第２２の発明であって、ゲイン制御部は、所定の補正値で１倍と第１ゲイン信号とを内分または外分する。
このような構成により、さらに、第１ゲイン信号は１倍を中心に増減でき、コントラストの強調と抑制ができる。
第２５の発明は、第２２から第２４のいずれか１つの発明であって、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理部をさらに備える。視覚処理部は、画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力する。
【００２２】
このような構成により、さらに、処理信号を用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域の信号を飽和させることなく両方に最適なコントラスト調整ができる。よって、例えば、逆光シーン画像での暗部領域、特に人物の顔領域を適正な明るさに強調しても、明るい背景領域の信号が飽和しないようにできる。
第２６の発明は、第２５の発明であって、視覚処理部は、２次元ルックアップテーブルを有する。
このような構成により、さらに、２次元ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を小さくできる。また、テーブルデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形の２次元ゲイン特性を容易に実現できる。
【００２３】
第２７の発明は、第２２から第２６のいずれか１つの発明であって、画像信号は、輝度信号および色度信号であり、補正部は、輝度信号と第２ゲイン信号とを乗算して補正された輝度信号を出力する第１乗算部と、色度信号と第２ゲイン信号とを乗算して補正された色度信号を出力する第２乗算部と、を有する。
このような構成により、さらに、所定の補正値で強調または抑制したゲイン信号を輝度信号と色度信号に共通に乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを強調または抑制できる。
第２８の発明は、第２２から第２６のいずれか１つの発明であって、画像信号は、ＲＧＢ信号であり、補正部は、ＲＧＢ信号と第２ゲイン信号とを乗算して補正された画像信号を出力する。
【００２４】
このような構成により、さらに、所定の補正値で強調または抑制したゲイン信号をＲＧＢ信号に共通に乗算して補正できるので、色バランスを保持し、色飽和を抑えながら画像のコントラストを強調または抑制できる。
第２９の発明は、第２２から第２８のいずれか１つの発明であって、画像信号をＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出された最大値に応じて色飽和を抑える所定の補正値を算出する補正値算出部とをさらに備える。
このような構成により、さらに、補正された画像信号が色飽和するゲイン信号の最大値を検出でき、色飽和しない補正値を算出できる。
第３０の発明は、第２２から第２９のいずれか１つの発明であって、１フレーム内または１フィールド内の画像信号から検出した信号レベルの平均値に応じて所定の補正値を算出する信号レベル検出部をさらに備える。
【００２５】
このような構成により、さらに、画像信号から検出した信号レベルの平均値に応じて補正値を設定できるので、明るい画像でゲイン信号を制御し信号レベルを抑えることができる。これにより、例えば、プラズマディスプレイパネルなどの表示装置で耐熱性を高め、消費電力を抑えることができる。
また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
第３１の発明は、第２２から第３０のいずれか１つの発明であって、画像信号に対して予め設定された重み関数に基づいて検出される肌色らしさ度に応じて所定の補正値を算出する肌色検出部をさらに備える。
【００２６】
このような構成により、さらに、逆光シーンの肌色を検出して補正値を設定できるので、暗い肌色で補正値を上げて画像を明るくすることができ、顔領域にレフ板効果を持たせることができる。また、顔の肌色のくすみを防止できる。
第３２の発明は、第２２から第３１のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、受信したデータから番組情報を分離する番組情報分離部と、番組情報から検出した放送コンテンツに応じて所定の補正値を算出する放送内容検出部と、をさらに備える。
このような構成により、さらに、コンテンツごとに補正値を設定でき、それぞれのコンテンツに最適なコントラストにあわせた補正値を設定できる。
第３３の発明は、第２２から第３２のいずれか１つの発明であって、通信または放送されたデータを受信するデータ受信部と、データを受信するときの電界強度値を検出し、電界強度値に応じて所定の補正値を算出する電界強度検出部と、をさらに備える。
【００２７】
このような構成により、さらに、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制御でき、ノイズの強調を抑えることができる。
第３４の発明は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを映像データに復号する復号部と、復号された映像データを視覚処理して出力信号を出力する第２２から第３３のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、さらに、階調と色の飽和を抑えた視覚処理により画像の明るさ調整ができる表示装置を実現できる。また、ゲイン信号を制御することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示画面の明るさに応じてバックライトを調整するような液晶パネル等でも同様の効果を奏する。
【００２８】
第３５の発明は、画像データを入力するデータ入力部と、入力された画像データを視覚処理して出力信号を出力する第２２から第３３のいずれか１つの発明である視覚処理装置と、視覚処理装置により視覚処理された出力信号の表示を行う表示部と、を備える表示装置である。
このような構成により、さらに、表示装置でも視覚処理装置と同様の効果を得ることが可能となる。なお、表示装置以外に視覚処理装置を備える撮影装置または携帯情報端末装置を実現することもできる。
また、撮影装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理を行う視覚処理装置とを備えた構成であってもよい。
このような構成により、さらに、撮影装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００２９】
携帯情報装置は、通信または放送された画像データを受信するデータ受信部と、受信された画像データを視覚処理して出力信号を出力する視覚処理装置と、視覚処理された出力信号の表示を行う表示手段とを備えた構成であってもよい。
このような構成により、さらに、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
また、携帯情報装置は、画像の撮影を行う撮影部と、撮影部により撮影された画像を入力信号として視覚処理をして出力信号を出力する視覚処理装置と、視覚処理された出力信号を送信するデータ送信部とを備えた構成であってもよい。
このような構成により、さらに、携帯情報装置でも視覚処理装置と同様の効果を得ることが可能となる。
【００３０】
第３６の発明は、第１から第１１、第１４から第３３のいずれか１つの発明である視覚処理装置を含む集積回路である。
このような構成により、さらに、集積回路でも視覚処理装置と同様の効果を得ることが可能となる。
【発明の効果】
【００３１】
本発明によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置を実現することができる。また、その視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路を実現することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態１における視覚処理装置の構成を示すブロック図
【図２】同２次元階調特性を説明する説明図
【図３】同２次元ゲイン特性を説明する説明図
【図４】同色飽和検出部の構成を示すブロック図
【図５】同第１制限値算出部を説明する説明図
【図６】同視覚処理装置の制限値決定部を説明する説明図
【図７】同制限値決定部の動作を説明する説明図
【図８】同ゲイン特性でのゲイン制限値を説明する説明図
【図９】同階調特性でのゲイン制限値を説明する説明図
【図１０】同視覚処理装置の変形例１の構成を示すブロック図
【図１１】同視覚処理装置の変形例２の構成を示すブロック図
【図１２】同差分信号ＤＩＦＦを説明する説明図
【図１３】本発明の実施形態２における表示装置の構成を示すブロック図
【図１４】同肌色検出部の構成を示すブロック図
【図１５】同肌色領域を説明する説明図
【図１６】（ａ）同色度信号ＣＲに対する重み値Ｋａを説明する説明図（ｂ）同色度信号ＣＢに対する重み値Ｋｂを説明する説明図（ｃ）同輝度信号Ｙに対する重み値Ｋｃを説明する説明図
【図１７】同放送内容検出部を説明する説明図
【図１８】本発明の実施形態３におけるゲイン型視覚処理部の構成を示すブロック図
【図１９】（ａ）同ゲイン型視覚処理部において着目画素周辺の明るさ情報を抽出する範囲を説明する説明図（ｂ）同ゲイン型視覚処理部７１におけるＹｉｎ信号、ＵＳ信号およびＵＳＨ信号の信号波形の一例を示す図
【図２０】（ａ）同ゲイン信号を帯域制限しないときの階調変換特性を説明する説明図（ｂ）同ゲイン信号を帯域制限したときの階調変換特性を説明する説明図
【図２１】同変形例３としてのゲイン型視覚処理部の構成を示すブロック図
【図２２】同変形例４としてのゲイン型視覚処理部の構成を示すブロック図
【図２３】本発明の実施形態４における視覚処理装置にコントラスト強調部を備えたときの構成例を説明する説明図
【図２４】同視覚処理装置においてコントラスト変換するときの階調変換特性を説明する説明図
【図２５】同コントラスト強調部の特性を説明する説明図
【図２６】同コントラスト強調部の構成を示すブロック図
【図２７】同変形例５としてのコントラスト強調部の構成を示すブロック図
【図２８】同変形例６としてのコントラスト強調部の構成を示すブロック図
【図２９】同変形例６のコントラスト強調部の特性を説明する説明図
【図３０】同変形例７としてのコントラスト強調部を備えた構成を示す構成図
【図３１】同変形例８としてのコントラスト強調部を備えた構成を示す構成図
【図３２】本発明の実施形態におけるゲイン型視覚処理部の他の変形例を示すブロック図
【図３３】本発明の実施形態５における視覚処理装置のブロック図
【図３４】同実施形態における色飽和検出部のブロック図
【図３５】同実施形態における第１補正値算出部の説明図
【図３６】同実施形態における視覚処理装置の補正値決定部の説明図
【図３７】同実施形態における補正値決定部の動作の説明図
【図３８】同実施形態におけるゲイン特性でのゲイン補正値の説明図
【図３９】同実施形態における階調特性でのゲイン補正値の説明図
【図４０】同実施形態における視覚処理装置の変形例１のブロック図
【図４１】同実施形態における視覚処理装置の変形例２のブロック図
【図４２】同実施形態における差分信号ＤＩＦＦの説明図
【図４３】本発明の実施形態６における表示装置のブロック図
【図４４】同実施形態における肌色検出部のブロック図
【図４５】（ａ）同実施形態における色度信号ＣＲに対する重み値Ｋａの説明図（ｂ）同実施形態における色度信号ＣＢに対する重み値Ｋｂの説明図（ｃ）同実施形態における輝度信号Ｙに対する重み値Ｋｃの説明図
【図４６】同実施形態における放送内容検出部の説明図
【図４７】本発明の実施形態７におけるコンテンツ供給システムの全体構成図
【図４８】同本発明の実施形態の視覚処理装置を搭載する携帯電話の正面図
【図４９】同携帯電話の全体構成を説明するブロック図
【図５０】同デジタル放送用システムの全体構成を説明する説明図
【図５１】本発明の実施形態におけるコンピュータの構成を示すブロック図
【図５２】従来のコントラスト調整回路の構成を示すブロック図
【図５３】従来のガンマ変換の特性を示す特性図
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態における視覚処理装置について図面を参照しながら説明する。
（実施形態１）
まず、実施形態１の視覚処理装置について説明する。ここで行う視覚処理とは人間の目の見え方に近い特性を持たせた処理であり、入力された画像信号の対象画素の値とその周辺画素の値との対比に応じて出力信号の値を決定する処理である。
適用される処理として、逆光補正、ニー処理、Ｄレンジ圧縮処理、色処理、明るさ調整（階調処理、コントラスト調整を含む）などがある。なお、本発明では、ＹＣｂＣｒ色空間、ＹＵＶ色空間、Ｌａｂ色空間、Ｌｕｖ色空間、ＹＩＱ色空間、ＹＰｂＰｒ色空間のＹ（輝度成分および明度成分）を輝度信号と定義する。
また、ＹＣｂＣｒ色空間のＣｂＣｒ成分、ＹＵＶ色空間のＵＶ成分、Ｌａｂ色空間のａｂ成分、Ｌｕｖ色空間のｕｖ成分、ＹＩＱ色空間のＩＱ成分を色度信号と定義する。
【００３４】
図１は、本発明の実施形態１における視覚処理装置１のブロック図である。
図１において、視覚処理装置１は、画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力するゲイン型視覚処理部７０と、設定された所定の制限値で前記第１ゲイン信号を制限して第２ゲイン信号を出力するゲイン制限部５と、第２ゲイン信号に基づいて画像信号を補正する補正部９とを備えている。
また、視覚処理装置１は、第１ゲイン信号ＧＡＩＮを制限するための制限値Ｌを算出する制限値決定部４と、色飽和を検出する色飽和検出部１０とを備えている。
ゲイン型視覚処理部７０は、視覚処理部３と、空間処理部２とを備えている。
これにより、視覚処理装置１は、画像信号Ｙｉｎ、ＣＲｉｎ、ＣＢｉｎに視覚処理を行い視覚処理画像Ｙｏｕｔ、ＣＲｏｕｔ、ＣＢｏｕｔを出力する。
【００３５】
空間処理部２は、空間処理の対象となる対象画素の値と、対象画素の周辺領域の画素（以下、「周辺画素」という）の値とを輝度信号Ｙｉｎから取得する。取得した原画像の画素ごとの輝度値Ｙｉｎに空間処理を実行しアンシャープ信号ＵＳを出力する。アンシャープ信号ＵＳとは、輝度信号をローパスフィルタなどで帯域制限処理したボケ信号である。
視覚処理部３は、輝度信号Ｙｉｎおよびアンシャープ信号ＵＳから２次元ゲイン関数に基づいて第１ゲイン信号ＧＡＩＮを求め、出力する。
２次元ゲイン関数は、例えば、図２に示す階調変換特性と等価な入出力値を出すように階調変換曲線の傾きをゲインとする関数に設定されている。よって、輝度信号Ｙｉｎの値と２次元ゲイン関数に基づいて算出された出力の値とを乗算することで、図２の示す階調変換特性と等価な入出力値を得ることができる。
【００３６】
制限値決定部４は、第１ゲイン信号ＧＡＩＮを制限するための制限値Ｌを算出する。制限値Ｌによって、画像信号を補正しコントラストを制限する。例えば、明るい画像では画像の明るさを抑えて階調飽和、色飽和を防止することができる。
ゲイン制限部５は、制限値Ｌで第１ゲイン信号ＧＡＩＮを制限し、第２ゲイン信号ＧＡＩＮ２を出力する。第１ゲイン信号ＧＡＩＮを制限することで、明るさ調整を行ったときに色飽和の発生を抑えることができる。
補正部９は、乗算部６、乗算部７および乗算部８を備え、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。
乗算部６は、第２ゲイン信号ＧＡＩＮ２と輝度信号Ｙｉｎと乗算し、補正された輝度信号Ｙｏｕｔを出力する。この補正された輝度信号Ｙｏｕｔは、図２に示す階調変換特性と等価な出力である。乗算部７、乗算部８は第２ゲイン信号ＧＡＩＮ２と入力された色度信号ＣＲｉｎ、ＣＢｉｎとを乗算し、補正された色度信号ＣＲｏｕｔおよびＣＢｏｕｔを出力する。
【００３７】
つぎに、実施形態１における視覚処理装置１について、さらに詳細に説明する。
視覚処理装置１は、本発明の実施形態では、図２に示すように２次元階調変換特性を持つように設定される。ここで、図２の横軸は入力された輝度信号Ｙｉｎ、縦軸は変換された輝度信号Ｙｏｕｔである。
２次元階調変換特性とは、アンシャープ信号ＵＳの値および輝度信号Ｙｉｎの値を入力とし、その入力に対して出力の値を決定するための階調変換における入出力特性をいう。例えば、図２のアンシャープ信号ＵＳ０、ＵＳ１、ＵＳ２、・・・、ＵＳｎの信号レベルに応じて所定の階調変換特性を持つ。従って、輝度信号Ｙｉｎの画素値を、例えば、８ビットの値とすると、２５６段階に分けられた輝度信号Ｙｉｎの値に対する出力信号Ｙｏｕｔの画素値が所定の２次元階調変換特性により決定される。階調変換特性は所定のガンマ特性をもつ階調変換曲線であり、アンシャープ信号の添え字について、出力が単調減少する関係にある。なお、アンシャープ信号の添え字について、出力が一部分単調減少でない箇所があったとしても、実質的に単調減少であればよい。また、図２に示すように、２次元階調変換特性において、すべての輝度信号Ｙｉｎの明度値に対して、（ＵＳ＝ＵＳ０の場合の出力値）≧（ＵＳ＝ＵＳ１の場合の出力値）≧・・・≧（ＵＳ＝ＵＳｎの場合の出力値）の関係を満たしている。このように、入力された画像信号の対象画素値とその周辺画素値との対比により出力信号を決定するような階調処理により、人間の目の特性に近い視覚処理を実現できる。
【００３８】
つぎに、視覚処理部３の説明をする。図３は、視覚処理部３の第１ゲイン信号ＧＡＩＮの出力を示しており、図２の階調変換曲線の傾きをゲインとした２次元ゲイン特性を持つ。ここで、図３の横軸は入力された輝度信号Ｙｉｎ、縦軸は第１ゲイン信号ＧＡＩＮの出力である。また、アンシャープ信号の添え字について、出力が単調減少する関係にある。また、図３に示すＹｉｎ−Ｇａｉｎ入出力特性において、すべての輝度信号Ｙｉｎの明度値に対して、（ＵＳ＝ＵＳ０の場合の出力ＧＡＩＮの値）≧（ＵＳ＝ＵＳ１の場合の出力ＧＡＩＮの値）≧・・・≧（ＵＳ＝ＵＳｎの場合の出力ＧＡＩＮの値）の関係を満たしている。
本発明の実施形態１の視覚処理装置１は、ゲイン信号を用いて画像信号処理を行っているが、ゲインを用いることで回路規模を削減できるという利点がある。これは、Ｙｉｎ−Ｇａｉｎ入出力曲線（例えば、図３に示すＹｉｎ−Ｇａｉｎ入出力曲線）は、階調変換曲線（例えば、図２に示すＹｉｎ−Ｙｏｕｔ入出力曲線）に比べて輝度信号Ｙｉｎに対する曲線の変化が緩やかであるため、輝度信号Ｙｉｎ、アンシャープ信号ＵＳを粗く間引いても十分に処理精度を確保でき、視覚処理部３に入力する輝度信号Ｙｉｎのビット精度を落とすことができるためである。特に、Ｙｉｎが小さな値である場合（暗部に相当）、入出力特性を決定する曲線は、急勾配となる。例えば、図２に示すＹｉｎ−Ｙｏｕｔ入出力曲線では、図２の左下部分の急勾配な曲線部分がこれに相当する。このような急勾配な曲線による入出力特性による階調変換を実現するためには、階調変換において、高分解能が必要となる。このような階調変換を実現する場合、Ｙｉｎ−Ｙｏｕｔ入出力曲線の急勾配な曲線部分の高分解能を実現させなければならないので、入力および出力に多くのビット数を割り当てる必要が生じる。一方、Ｙｉｎ−Ｇａｉｎ入出力曲線（例えば、図３に示すＹｉｎ−Ｇａｉｎ入出力曲線）においては、Ｙｉｎが小さな値である場合であっても、入出力特性において急勾配となる部分はないので、階調変換において、高分解能とする必要がない。したがって、図３に示すようなＹｉｎ−Ｇａｉｎ入出力特性変換においては、入力および出力に多くのビット数を割り当てる必要はない。これにより、ハードウェア・ロジック設計では回路規模を削減できる。
【００３９】
なお、視覚処理部３を輝度信号Ｙｉｎおよびアンシャープ信号ＵＳと第１ゲイン信号ＧＡＩＮとの関係を与える２次元ルックアップテーブル（以下、「２次元ＬＵＴ」という）で構成し、輝度信号Ｙｉｎとアンシャープ信号ＵＳとに対して、２次元ＬＵＴを参照して第１ゲイン信号ＧＡＩＮを出力するようにしてもよい。これにより、２次元ＬＵＴに階調変換値を格納するよりもゲイン値を格納することで、２つの入力信号のビット数を削減でき、大幅にメモリ容量を削減できる。
また、２次元ＬＵＴで構成することで、複雑なゲイン特性も予め作成することができ、リードオンリーメモリ（以下、「ＲＯＭ」という）で提供することができる。また、ゲイン特性を更新できるようにするため、書き換え可能なメモリ、例えば、ランダムアクセスメモリ（以下、「ＲＡＭ」という）で構成してもよい。２次元ＬＵＴには予め設定される２次元ゲイン特性を有するゲインデータが格納されている。
【００４０】
さらに、２次元ゲイン特性を変更することで、様々な視覚効果を得ることができる。
また、外部より２次元ゲインデータをプロファイルデータとして登録することもできる。この２次元ゲインデータを書き換えることで、視覚処理装置１は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の階調処理、ダイナミックレンジ（以下、「Ｄレンジ」という）の圧縮処理、ニー処理、色処理など様々な視覚効果を同じ視覚処理回路、視覚処理プログラムにより実現できるので、汎用な集積回路、汎用な視覚処理プログラムを実現できる。この２次元ゲインデータの外部からの書き換え、登録についての詳細は後述する。
つぎに、空間処理部２は、空間処理の対象となる対象画素の画素値と、対象画素の周辺画素の画素値とを輝度信号Ｙｉｎから取得する。そして、空間処理部２は、取得した原画像の画素ごとの輝度値Ｙｉｎに空間処理を実行しアンシャープ信号ＵＳを出力する。
【００４１】
空間処理部２は、例えば、輝度信号Ｙｉｎの対象画素に対して低域空間のみを通過させる低域空間フィルタ演算によりアンシャープ信号ＵＳを得る。フィルタ演算では、対象画素と周辺画素の画素値を、例えば、（式１）に基づいて計算する。
ＵＳ＝（Σ［Ｗｉｊ］×［Ａｉｊ］）／（Σ［Ｗｉｊ］） （式１）
ここで、［Ｗｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の重み係数であり、［Ａｉｊ］は、対象画素および周辺画素において、ｉ行ｊ列目に位置する画素の画素値である。また、「Σ」は、対象画素および周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。
より具体的には、それぞれの重み係数［Ｗｉｊ］を１、画素値［Ａｉｊ］をＡ（ｉ，ｊ）と表現して説明する。対象画素の画素値は、Ａ（１，１）が「１２８」、Ａ（０，０）が「１１０」、Ａ（０，１）が「１１５」、Ａ（０，２）が「１１７」、Ａ（１，０）が「１２３」、Ａ（１，２）が「１２０」、Ａ（２，０）が「１２０」、Ａ（２，１）が「１２７」、Ａ（２，２）が「１２５」とする。このとき、３画素×３画素の領域よりアンシャープ信号ＵＳを得るには、（式１）より、ＵＳ＝（１２８＋１１０＋１１５＋１１７＋１２３＋１２０＋１２０＋１２７＋１２５）／９の演算を行う。
【００４２】
なお、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられてもよいし、対象画素からの距離が大きいほど小さい重み係数が与えられてもよい。
また、周辺画素の領域は、効果に応じて、その領域の大きさが設定されるものである。周辺画素の領域は、視覚効果を得るためにはある程度大きな領域に設定することが好ましい。例えば、画像の大きさがＸＧＡ（１０２４×７６８）では、周辺画素の領域を８０画素×８０画素以上の大きさの領域に設定するのが好ましい。
また、低域空間フィルタとしては、アンシャープ信号ＵＳの生成に通常用いられるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタ、あるいはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタなどを用いる。
【００４３】
つぎに、図４、図５を用いて色飽和検出部１０について説明する。図４は色飽和検出部１０のブロック図である。
図４において、ＲＧＢ変換部１１は、輝度信号Ｙｉｎと色度信号ＣＢｉｎおよびＣＲｉｎとからＲＧＢ信号を生成する。最大値検出部１２は、レッド信号（以下、「Ｒ信号」という）、グリーン信号（以下、「Ｇ信号」という）、ブルー信号（以下、「Ｂ信号」という）のうち、最大値を検出する。第１制限値算出部１３は、検出されたＲＧＢ信号の最大値から制限値Ｌ１を算出する。制限値決定部４は、制限値Ｌ１、レジスタ２０に設定された制限値Ｌ２、外部から入力された制限値Ｌ３からＬ６を参照して制限値Ｌを決定し、出力する。制限値決定部４の詳細は後述する。
具体的には、第１制限値算出部１３は、制御後のゲイン信号ＧＡＩＮ２の最大値が図５に示す曲線２の値以下になるように設定された曲線１に基づいて、入力された画像信号の画素ごとに制限値Ｌ１を算出する。ここで、曲線２は色飽和を起こさない制限値の最大値を示している。
【００４４】
ＲＧＢ信号に第１ゲイン信号ＧＡＩＮを乗算しても、ＲＧＢ信号の各Ｒ信号、Ｇ信号、Ｂ信号の比が維持できれば色は変化しない。しかし、いずれかの信号の最大値が飽和すると、それ以上信号レベルを大きくできないため、ＲＧＢ信号の比のバランスが崩れ不自然な色の変化が発生する。この色飽和を防止するためには、ＲＧＢ信号の最大値に第１ゲイン信号ＧＡＩＮを乗算しても信号レベルの最大値を超えないようにすればよい。例えば、検出されたＲＧＢ信号の最大値が「１２７」のとき制限値は「２．０」となる。同様に、最大値が「８４」のとき制限値は「３．０」、最大値が「２１２」のとき制限値は「１．２」となる。ここで、ＲＧＢ信号は、「０」から「２５５」までの範囲をとる信号とする。よって、ＲＧＢ信号の最大値をＳｍａｘ、階調飽和、色飽和が抑えられる制御後の制限値Ｌの最大値をＬｍａｘとすると、次のようになる。
【００４５】
Ｌｍａｘ＝２５５／Ｓｍａｘ
このように、ゲイン信号ＧＡＩＮ２＜Ｌｍａｘ（曲線２）を満足する制限値Ｌ１（曲線１）を設定することで階調飽和、色飽和を抑え、色バランスを保持することができる。また、コントラストを強調した画像中に不自然な色の変化は発生しない。
なお、制限値Ｌ１の曲線１は、曲線２を折れ線近似した直線でもよいし、直線近似でもよい。ＲＧＢ信号の最大値が小さい値の時はノイズを強調しない程度の値に抑えるようにすることがより好ましい。
このように、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号をＲＧＢ信号に変換し、ＲＧＢ信号により、最終的にディスプレイ装置等で表示される画像において、階調飽和、色飽和等が起こるか否かを判断することができる。つまり、最終的にディスプレイ装置等で表示される信号は、ＲＧＢ信号であるので、予めＲＧＢ信号を取得し、ＲＧＢ信号において階調飽和、色飽和等が起きるか否かを判断しておくことで、最終的にディスプレイ装置等で表示される画像の状況を予め正確に知ることができるのである。したがって、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号からＲＧＢ信号を予め取得し、取得したＲＧＢ信号に基づいて、ＧＡＩＮ値の制限をかけるための制限値Ｌを決定することが効果的である。
【００４６】
つぎに、図６、図７を用いて制限値決定部４の動作を説明する。制限値決定部４は制限値Ｌ１からＬ６を入力し、演算することで画像信号の画像の種類、画像の特徴、集積回路の自己診断に応じた制限値Ｌを決定するようにしてもよい。
図６において、Ｍレジスタ２３は制限値決定部４の動作モードを決定する。例えば、図７の表２４に示すようにＭレジスタ２３に値「２」が設定されると、制限値決定部４はレジスタ２０に設定されている制限値Ｌ２の値を入力する。これにより、制限値Ｌは、制限値Ｌ２の固定値に設定される。視覚処理装置１において、視覚処理画像に不具合な異常が見られたときに集積回路の内部信号Ｌ１およびＬ３からＬ６をマスクし、外部より制限値Ｌ２を設定して制限値の影響を調べるなどの自己診断を行うことができる。また、内部信号Ｌ１およびＬ３からＬ６をマスクし、制限値Ｌ２に強制設定できるので、集積回路内の信号を確認するためのテスト信号に利用することもできる。
【００４７】
また、Ｍレジスタ２３に値「１」を設定すれば、制限値決定部４は、制限値Ｌ１を入力し、制限値ＬとしてＬ１を出力する。同様に、Ｍレジスタ２３に値「３」を設定すれば、制限値決定部４は、制限値Ｌ３を入力し、制限値ＬとしてＬ３を出力する。また、Ｍレジスタ２３に値「７」を設定すれば、制限値決定部４は、制限値Ｌ１とＬ３とを入力し、Ｌ１とＬ３とを演算して制限値Ｌを出力する。演算は、例えば、最小値ＭＩＮ（Ｌ１，Ｌ３）を算出する演算であってもよいし、平均値Ａｖｅ（Ｌ１，Ｌ３）を算出する演算であってもよい。
このように、制限値決定部４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して制限値Ｌを出力することができる。外部より入力される制限値Ｌ３からＬ６の詳細は後述する。
【００４８】
なお、制限値決定部４が、外部より入力された信号を選択して出力する場合は、入力された制限値をそのまま制限値Ｌとして用いてもよく、制限値決定部４は無くてもよい。
つぎに、ゲイン制限部５は、制限値Ｌで第１ゲイン信号ＧＡＩＮを制限し、第２ゲイン信号ＧＡＩＮ２を出力する。
具体的には、図８に示すように、第１ゲイン信号ＧＡＩＮが破線で示す各制限値Ｌを超える場合、ゲイン出力は、すべて制限値以下に制限される。例えば、制限値Ｌ＝１．２とすると、輝度信号Ｙｓで、アンシャープ信号ＵＳがＵＳ０である場合の出力は、Ｌ＝１．２に制限されて出力される。この制限により、図９に示すように輝度信号Ｙｓに対する出力信号Ｙｏｕｔは、Ｙｇ１からＹｇ２に制限される。すなわち、各制限値Ｌに対応する傾き以下に出力が制限されることとなる。
【００４９】
つぎに、補正部９は、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。補正部９は、乗算部６、乗算部７および乗算部８より構成される。
乗算部６は、第２ゲイン信号ＧＡＩＮ２と輝度信号Ｙｉｎとを乗算し、輝度信号Ｙｏｕｔを出力する。乗算部７および乗算部８は、第２ゲイン信号ＧＡＩＮ２と色度信号ＣＲｉｎおよびＣＢｉｎとをそれぞれ乗算し、色度信号ＣＲｏｕｔおよびＣＢｏｕｔを出力する。
なお、Ｙｏｕｔ信号、ＣＲｏｕｔ信号、ＣＢｏｕｔ信号は、それぞれ１つの乗算部（乗算部６〜８）により、同じゲイン値であるＧＡＩＮ２を乗算されて補正部９から出力されるので、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングのズレは生じない。したがって、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングを合わせるための遅延手段等を別途設ける必要はない。
【００５０】
このようにして補正部９は画像信号を補正する。よって、明るさ調整において、補正部９は輝度レベルを大きくした部分では色度信号も大きくするので、色が薄く見えることはなくなる。また、逆に輝度レベルを小さくした部分では色度信号も小さくするので色が濃く見えることがない。さらに、第２ゲイン信号ＧＡＩＮ２に応じて、入力された画像信号を補正することで輝度レベルを大きくした部分での色飽和を抑えることができる。
なお、視覚処理装置１（図１）の視覚処理部３は、輝度信号Ｙｉｎのみ入力し、輝度信号Ｙｉｎをガンマ変換した出力と等価になるゲイン信号を出力するようにしてもよい。この構成では、視覚処理部３は、１次元のゲイン特性を有するデータを格納したＬＵＴで構成できる。より具体的には、ＬＵＴに格納するデータとして、図３のＵＳ０からＵＳｎのいずれかひとつのゲイン特性を持つ変換曲線を選択してもよいし、予め設定される１次元のゲイン関数で作成してもよい。また、画像中の輝度信号のヒストグラム分布より求めた階調変換曲線と等価な出力が得られるゲイン関数でＬＵＴに格納するデータを作成してもよい。
【００５１】
これにより、視覚処理部３は、ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を削減できる。
また、入出力する画像信号が原色信号であるＲＧＢ信号であってもよい。図１０に、変形例１である視覚処理装置８０のブロック図を示す。重複を避けるため、視覚処理装置１と同じ処理の説明は省略する。視覚処理装置８０は、画像信号としてＲＧＢ信号を入力し、視覚処理により補正したＲＧＢ信号を出力する。
輝度色度変換部８５は、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを輝度信号Ｙｉｎと色度信号ＣＲｉｎ、ＣＢｉｎに変換する。ここで、輝度成分の情報の抽出は人間の視感度特性に合わせてＲｉｎ、Ｇｉｎ、Ｂｉｎ信号より生成する。例えば、輝度信号Ｙｉｎは、次のようになる。
【００５２】
Ｙｉｎ＝０．３×Ｒｉｎ＋０．５９×Ｇｉｎ＋０．１１×Ｂｉｎ
また、色度信号（ＣＲｉｎ、ＣＢｉｎ）は、次のようになる。
ＣＲｉｎ＝（−０．１６８７）×Ｒｉｎ＋（−０．３３１３）×Ｇｉｎ＋０．５×Ｂｉｎ
ＣＢｉｎ＝０．５×Ｒｉｎ＋（−０．４１８７）×Ｇｉｎ＋（−０．０８１３）×Ｂｉｎ
色飽和検出部１０（図１）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから補正値Ｋ１を算出する。なお、色飽和検出部１０のＲＧＢ変換部１１（図４）は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎおよび色度信号ＣＲｉｎからＲＧＢ信号を生成するようにしたが、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを直接利用してもよい。入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを直接利用する場合は、ＲＧＢ変換部１１を省略することもできる。
【００５３】
制限値決定部４(図６)は、制限値Ｌ１を参照して制限値Ｌを決定する。制限値決定部４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して制限値Ｌを出力、あるいは演算して制限値Ｌを出力する。
視覚処理部３は、空間処理部２の出力と輝度信号Ｙｉｎとを入力し、第１ゲイン信号ＧＡＩＮを算出する。
ゲイン制限部５は、入力された第１ゲイン信号ＧＡＩＮを制限値Ｌで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部８１は、乗算部８２、８３、８４より構成され、各乗算部８２、８３、８４は、それぞれ画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎと第２ゲイン信号ＧＡＩＮ２とを乗算することで、視覚処理されたＲＧＢ信号であるＲｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを出力する。
【００５４】
これにより、視覚処理装置８０では、Ｒｉｎ、Ｇｉｎ、Ｂｉｎの比を保持したまま、コントラストなどの明るさを調整できる。また、視覚処理装置８０では、制限値Ｌによりゲイン信号を制限できるので、コントラストなどの明るさを調整した場合であっても、階調のグラデーションの飽和、色飽和を抑えることができる。
また、視覚処理部３（図１）の出力を輝度信号Ｙｉｎとの差分信号に変更してもよい。図１１、図１２を用いて変形例２である視覚処理装置６０を説明する。
図１１は、変形例２の視覚処理装置６０のブロック図である。
視覚処理部６３は、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分を差分信号ＤＩＦＦとして出力するように構成したものである。差分信号ＤＩＦＦは、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分であり、図１２に示すように、アンシャープ信号ＵＳｎと輝度信号Ｙｉｎに基づいて決定される差分信号となる。よって、加算部６２で輝度信号Ｙｉｎと差分信号ＤＩＦＦを加算することで取得される信号は、図２に示す階調変換の出力信号と同じになる。
【００５５】
加算部６２は、輝度信号Ｙｉｎと差分信号ＤＩＦＦを加算し、加算値Ｙｘを算出する。この加算値Ｙｘは、図２の階調変換後の出力信号と等価な信号である。
除算部６１は、加算値Ｙｘを輝度信号Ｙｉｎの値で除算し、第１ゲイン信号ＧＡＩＮを算出する。すなわち、第１ゲイン信号ＧＡＩＮは、以下のようになる。
ＧＡＩＮ＝Ｙｘ／Ｙｉｎ
この第１ゲイン信号ＧＡＩＮは、図２の階調変換曲線の傾きをゲインとしたものと等価である。
色飽和検出部１０（図１）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから制限値Ｌ１を算出する。
制限値決定部４（図６）は、制限値Ｌ１を参照して制限値Ｌを決定する。制限値決定部４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して制限値Ｌを出力、あるいは演算して制限値Ｌを出力する。
【００５６】
ゲイン制限部５は、入力された第１ゲイン信号ＧＡＩＮを制限値Ｌで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部９は、乗算部６、乗算部７、乗算部８により、輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎと第２ゲイン信号ＧＡＩＮ２とをそれぞれ乗算し、輝度信号Ｙｏｕｔ、色度信号ＣＲｏｕｔおよび色度信号ＣＢｏｕｔを出力する。
なお、視覚処理部６３は、２次元ＬＵＴで構成してもよいし、輝度信号Ｙｉｎと差分信号ＤＩＦＦとの関数を格納した１次元ＬＵＴでもよい。
このように階調変換曲線の出力と輝度信号Ｙｉｎとの差分値をＬＵＴに格納することで、ガンマ変換値を格納するよりもメモリ容量を削減できる。
以上のように、本発明の実施形態１によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置１を実現することができる。さらに、第１ゲイン信号ＧＡＩＮを設定された所定の制限値で制限できるようにしているため、色飽和を抑えて、明るさを調整できる。特に、高彩度色でゲイン信号を制限することができ、濃い赤色、濃い青色で色飽和を防止することができる。
【００５７】
また、画像信号からＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出されたＲＧＢ信号の最大値に基づいて第１ゲイン信号を制限することで、色飽和が発生するゲイン信号のレベルを検出でき、色飽和しない制限値を算出できる。
また、視覚処理部３は、局所領域の濃淡情報であるアンシャープ信号ＵＳを用いることで画像中の暗部領域と明部領域で異なるゲイン特性で画像信号を補正できるので、画像中の暗部を明るくしても、その背景の明部領域の画像信号を飽和させることなく両方に最適なコントラスト調整ができ、色飽和を抑えられる。これにより、逆光シーン画像での暗部領域、特に、人物の顔などの肌色領域を適正な明るさに調整し、かつ、背景領域の画像信号を飽和させないようにコントラスト調整ができる。
また、視覚処理部３は、ゲイン特性に基づいた出力を行うようにした。ゲイン特性は、階調変換特性に比べて画像信号に対する特性の変化が緩やかであるため、画像信号と処理信号を粗く間引いても十分に処理精度を確保でき、信号のビット精度を落とすことができる。これにより、視覚処理部３のハードウェアの回路規模を削減でき、ルックアップテーブル構成ではメモリ容量を削減できる。
【００５８】
また、視覚処理部３をＬＵＴで構成することで、ＬＵＴに格納するデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形のゲイン特性を容易に実現できる。
また、制限値Ｌによりコントラストの効果を弱めることができるので、効果の強さに応じたゲイン特性データを作り直す必要がない。これにより、いろいろな強さのデータをＬＵＴで用意しなくて済むため、メモリ容量が削減できる。また、ＬＵＴ内容を入れ替える必要がないため、制限値Ｌをリアルタイムに変更でき、画像中の領域ごとに効果の強さを変更することができる。具体的には、フレーム単位、画素単位で制限値Ｌが変更できる。
（実施形態２）
つぎに、本発明の実施形態２の表示装置について、図１３から図１７を用いて説明する。以下、実施形態１と同様の部分については、同一符号を付し、その詳細な説明は省略する。
【００５９】
本発明の実施形態２では、視覚処理装置１の第１ゲイン信号ＧＡＩＮの制限値を決定する例について図１３を用いて説明する。図１３は、本発明の実施形態２における表示装置３０の構成を示すブロック図である。
図１３において、表示装置３０は、番組情報を受信するチューナ３１と、番組情報を分離する番組情報分離部３２と、映像データと音声データを復号するＡＶ復号部３３と、映像データを視覚処理する視覚処理装置１と、処理された画像を表示する出力部３５とを備える。
また、表示装置３０は、映像信号の平均信号レベルを検出する信号レベル検出部３４、肌色領域を検出する肌色検出部３６、ジャンル情報や番組記述情報を検出する放送内容検出部３７、および受信電波の電界強度を検出する電界強度検出部３８の全部あるいはいずれかを備えるようにしてもよい。
【００６０】
チューナ３１は、アンテナによって受信された受信電波から目的の放送局の電波が選択され、これが復調されて１つのトランスポートストリーム（以下、「ＴＳ」という）が復元される。
番組情報分離部３２は、ＴＳをデスクランブル処理し、映像データ、音声データ、データ放送用各種データ、ＥＰＧ表示用データなどをコンテンツごとに分離する。
ＡＶ復号部３３は、番組情報分離部３２で分離された映像データ、音声データを映像信号、音声信号に復号化する。この映像信号は、例えば、ＹＣｂＣｒなどの輝度信号、色度信号である。
視覚処理装置１は、入力された映像信号を視覚処理し、出力部３５に出力する。出力部３５は、例えば、ＣＲＴ、プラズマディスプレイパネル、液晶パネルなどのディスプレイ部と、スピーカなどの音声出力部を備え、入力された音声信号と視覚処理された映像信号とを表示する。なお、出力部３５は、デバイスの表示色に合わせて入力された信号を変換して表示してもよい。例えば、輝度色度信号を原色信号であるＲＧＢ信号に変換して表示してもよい。
【００６１】
なお、視覚処理装置１は、出力部３５で扱える信号の構成に合わせて変形例が考えられる。例えば、輝度信号、色度信号を扱う場合は視覚処理装置１（図１）が好ましく、ＲＧＢ信号を扱うには視覚処理装置８０（図１０）の構成が好ましい。このように映像信号に合わせた構成を用いればよい。
つぎに、視覚処理装置１の第１ゲイン信号ＧＡＩＮの制限値を決定する方法について、図１３〜図１７を用いて説明する。
図１３に示す、信号レベル検出部３４は、映像信号をフレームメモリに記憶し、１フレーム内または１フィールド内の映像信号の平均値を演算し平均信号レベルを検出する。この検出した平均信号レベルに応じて制限値Ｌ３を算出する。例えば、平均信号レベルが所定の値ＰＨより高い画像を「明るい画像」と定義し、明るい画像では制限値Ｌ３を「１．０」に設定し、逆に、平均信号レベルが所定の値ＰＬより低い画像を「暗い画像」と定義し、暗い画像では制限値Ｌ３を「２．０」に設定する。これにより、画像の特徴により制限値を設定できる。平均信号レベルは、輝度信号を平均化した平均値でもよいし、ＲＧＢ信号のそれぞれの信号を平均したものを用いてもよい。また、ＲＧＢ信号のそれぞれの３つの平均値をさらに平均した値でもよい。
【００６２】
これにより、明るい画像でゲイン信号を制限し信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。
また、プラズマディスプレイパネルは、耐熱性を高め、消費電力を下げるために、表示する画像の平均輝度レベルが所定のレベルを超えると画面全体の明るさを下げるようにディスプレイパネル側で制御する表示制御機能がドライブ部に設けられている。さらに、この表示制御機能は、映像信号処理とは無関係に働く機能である。
よって、視覚処理で画像中の所定の明るさの領域を持ち上げたことにより、表示制御機能が働き、ドライブ部で画面全体の明るさを下げられてしまうと、視覚処理する前には十分明るかった領域まで暗くなり、画面全体としてめりはりのない画像となり画質が劣化する。つまり、せっかく行った視覚処理が無駄になってしまうおそれがある。そのために、視覚処理装置１において、ドライブ部の表示制御機能が働く平均信号レベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
【００６３】
つぎに、肌色検出部３６について、図１４〜図１６を用いて説明する。
肌色検出部３６は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎから肌色領域を検出し、制限値Ｌ４を算出する。図１４に示すように、肌色検出部３６は、色度信号ＣＲｉｎより所定の第１色領域を検出し重み値Ｋａを出力する第１色領域検出部３６１と、色度信号ＣＢｉｎより所定の第２色領域を検出し重み値Ｋｂを出力する第２色領域検出部３６２と、輝度信号Ｙｉｎより所定の明るさ領域を検出し重み値Ｋｃを出力する輝度領域検出部３６３とを備え、肌らしさ度を各重み値の積と定義し制限値Ｌ４を求める。例えば、制限値Ｌ４は、乗算部３６４、３６５によって、制限値Ｌ４＝Ｋａ×Ｋｂ×Ｋｃのように算出される。
ここで、肌色領域とは、図１５に示すように、予め定義した色度信号の所定の範囲の領域のことである。肌色検出部３６は、検出対象としている映像信号（輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎ）が肌色領域に属するか否かを検出する。例えば、色度信号ＣＢｉｎのＣＢ１からＣＢ２、色度信号ＣＲｉｎのＣＲ１からＣＲ２で囲まれる領域を肌色領域と定義する。さらに、輝度信号のＹｑからＹｐの範囲に入る画像信号の範囲を肌色領域とする。これにより、色に加え、画像の明るさに応じても制限値Ｌを設定できる。特に、明るい人物の顔の肌色領域では顔のテカリ、階調飽和、色飽和を抑えるように制限できるといった効果がある。
【００６４】
図１６を用いて、肌色検出部３６の動作を詳細に説明する。
第１色領域検出部３６１は色度信号ＣＲｉｎを入力し、図１６（ａ）に示す重み関数によって重み値Ｋａを出力する。同様に、第２色領域検出部３６２は色度信号ＣＢｉｎを入力し、図１６（ｂ）に示す重み関数によって重み値Ｋｂを出力する。輝度領域検出部３６３は輝度信号Ｙｉｎを入力し、図１６（ｃ）に示す重み関数によって重み値Ｋｃを出力する。肌らしさ度を各重み関数の積と定義し、制限値Ｌ４＝Ｋａ×Ｋｂ×Ｋｃのように算出する。肌色領域と領域外との境界付近で色が不自然にならないように、対象となる肌色領域の境界は徐々に重みが変化するようにする。なお、重み関数の形状は、台形でも三角形でもよい。画像評価などにより最適な関数を設定すればよい。なお、制限値Ｌ４をＫａ、Ｋｂ、Ｋｃの最小値としてもよく、平均値としてもよい。画像評価などにより最適な関数を設定すればよい。
【００６５】
肌色領域での各重み係数を下げ、例えば、最小値の「１．０」とすることで、肌色領域で制限値Ｌを抑えることができる。これにより、コントラスト調整しても、明るい画像で人物における顔の肌色のテカリを防止し、顔の濃淡を飛ばさないようにすることができる。なお、各重み係数の最小値、重み関数の形状はそれぞれ異なっていてもよい。
つぎに、放送内容検出部３７について、図１７を用いて説明する。
放送内容検出部３７は、番組情報分離部３２から分離されたＥＰＧ表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を検出し、制限値Ｌ５を算出する。なお、データのジャンル情報や画像の情報は、ＭＰＥＧのストリーム情報より検出してもよい。
放送内容検出部３７は、例えば、図１７に示すように「ニュース」「スポーツ」「ワイドショー」「映画」「ドラマ」などの受信したコンテンツの種類を検出し、それぞれ制限値Ｌ５を算出する。コンテンツの種類に応じて、例えば、コンテンツの種類が「ニュース」ならば制限値「３．０」、「スポーツ」ならば制限値「２．０」、「ワイドショー」ならば制限値「１．５」、「映画」ならば制限値「１．１」、「ドラマ」ならば制限値「１．４」を設定する。ニュース、スポーツにはめりはりをつけるため制限値を高めに設定し、ワイドショーはスタジオでの収録が多く、映像が調整されているのでほぼノーマルな設定とし、映画はシックな画像を再現するため、制限値を抑えるように設定する。このようにコンテンツに合わせて制限値を設定することで映像に最適な制限値が設定できる。制限値Ｌ５は、予めテーブル化されていてもよい。これにより、画像の種類に応じて最適な制限値Ｌ５を設定できる。なお、このテーブルを外部より変更できるようにしてもよい。
【００６６】
つぎに、電界強度検出部３８について説明する。
電界強度検出部３８は、チューナ３１で受信された受信電波の電界強度を検出し、電界強度の強弱に応じて制限値Ｌ６を算出する。例えば、電界強度が「強」の場合、制限値Ｌ６を「３．０」に設定し、電界強度が「弱」の場合、制限値Ｌ６を「１．０」に設定する。
これにより、電界強度が弱くＳ／Ｎの悪い画像のノイズが強調されないように制限値Ｌ６を設定できる。
以上のように、本発明の実施形態２によれば、信号レベル検出部３４は、１フレーム、または１フィールド内の画像信号から検出した平均信号レベルに応じて制限値Ｌ３を算出でき、視覚処理装置１は、制限値Ｌ３に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
【００６７】
これにより、画像信号から検出した平均信号レベルに応じて制限値を設定でき、明るい画像でゲイン信号を制限し信号レベルを抑えることができる。また、信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、ディスプレイパネル側で設定されているＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ）対応機能が働くレベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
また、肌色検出部３６は、予め設定される色度信号に応じた重み係数Ｋａ、Ｋｂと輝度信号に応じた重み係数Ｋｃの演算により肌色らしさに応じて制限値Ｌ４を算出する。視覚処理装置１は、制限値Ｌ４に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
これにより、肌色を検出して制限値を設定できるので、明るい画像の肌色領域で制限値を下げることができ、色飽和を抑え、さらに顔のテカリを防止できる。また、明るい場面での顔の濃淡を飛ばさないようにできる。
【００６８】
また、放送内容検出部３７は、受信したデータから番組情報を分離する番組情報分離部３２から検出した放送コンテンツに応じて制限値Ｌ５を算出する。視覚処理装置１は、制限値Ｌ５に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
これにより、コンテンツごとに最適な制限値を設定でき、コンテンツに必要なコントラスト調整値にあわせた制限値を設定できる。
また、電界強度検出部３８は、チューナ３１が画像データを受信したときの電界強度値に応じて制限値Ｌ６を算出する。視覚処理装置１は、制限値Ｌ６に応じて第１ゲイン信号ＧＡＩＮを制限することができる。
これにより、電界強度値より制限値を設定でき、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制限でき、Ｓ／Ｎが悪い画像のノイズの強調を抑えることができる。
【００６９】
また、本発明の表示装置３０は、通信または放送された画像データを受信するチューナ３１と、画像データを映像信号に復号するＡＶ復号部３３と、復号された映像信号を視覚処理して出力する視覚処理装置１と、視覚処理された映像信号を表示する出力部３５を備えている。
この構成により、画像のコントラスト調整で色飽和を抑えた視覚処理ができる表示装置３０が実現できる。また、ゲイン信号を制限することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、ディスプレイパネル側の表示制御機能が働く平均信号レベル以下にゲイン信号を制限することで、効果の高いコントラスト調整ができる。
以下、本発明の実施形態１におけるゲイン型視覚処理部７０、本発明の実施形態２におけるゲイン型視覚処理部７０の変形例について説明する。
【００７０】
（実施形態３）
本発明の実施形態３として、ゲイン型視覚処理部７０から出力されるゲイン信号ＧＡＩＮの空間周波数の帯域を制限し、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合に出力信号Ｙｏｕｔのコントラストの低下を抑える方法について図１８〜図２０を用いて説明する。
図１８は、ゲイン型視覚処理部７１の構成を示すブロック図、図１９（ａ）はゲイン型視覚処理部７１において着目画素周辺の明るさ情報を抽出する範囲を説明する説明図、図１９（ｂ）はゲイン型視覚処理部７１におけるＹｉｎ信号、ＵＳ信号およびＵＳＨ信号の信号波形の一例を示す図、図２０（ａ）はゲイン信号ＧＡＩＮを帯域制限しないときの階調変換特性を説明する説明図、図２０（ｂ）はゲイン信号ＧＡＩＮを帯域制限したときの階調変換特性を説明する説明図である。以下、実施形態１または実施形態２と同様の部分については、同一符号を付し、その詳細な説明は省略する。
【００７１】
図１８において、ゲイン型視覚処理部７１は、輝度信号Ｙｉｎに対して応答可能なゲイン信号ＧＡＩＮの空間周波数の帯域を制限するための帯域制限部９０と、帯域を制限された帯域制限信号ＵＳＨから輝度信号Ｙｉｎを増幅するためのゲイン信号ＧＡＩＮを出力するゲイン型視覚処理部７０とを備えている。ここで、ゲイン型視覚処理部７０において、空間処理部２は、帯域制限信号ＵＳＨからアンシャープ信号ＵＳを生成し、視覚処理部３は、帯域制限信号ＵＳＨとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する。
また、帯域制限されたゲイン信号ＧＡＩＮと入力された輝度信号Ｙｉｎとを乗算部６により乗算することで、階調変換された輝度信号Ｙｏｕｔを得ることができる。
これにより、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算して階調変換することで、入力された輝度信号Ｙｉｎの値がアンシャープ信号ＵＳよりかなり大きい値で変化した場合でも出力信号Ｙｏｕｔのコントラストの低下を抑えるものである。このコントラストの低下の詳細については後述する。
【００７２】
帯域制限部９０は、図１９（ａ）に示すように、着目画素２００の近傍の対象領域２０１内にある画素の値の平均値を算出するなどして入力された輝度信号Ｙｉｎ（例えば、図１９（ｂ）のＷ１の信号波形に相当）に対して応答可能な空間周波数の帯域が制限された帯域制限信号ＵＳＨ（例えば、図１９（ｂ）のＷ３の信号波形に相当）を生成する。
また、空間処理部２は、図１９（ａ）に示すように、帯域制限信号ＵＳＨの対象領域２０１より広範囲な対象領域２０２から画素の値を抽出し、着目画素２００の周辺領域での明るさ情報としてアンシャープ信号ＵＳ（例えば、図１９（ｂ）のＷ２の信号波形に相当）を生成する。例えば、対象領域２０２は、対象領域２０１の１０倍から１００倍程度の大きさの領域にするのが好ましい。これにより、アンシャープ信号ＵＳの空間周波数の帯域は、帯域制限信号ＵＳＨの空間周波数の帯域よりかなり低い帯域に制限されたものになる。
【００７３】
以下、入力された輝度信号Ｙｉｎの値がアンシャープ信号ＵＳよりかなり大きい値で変化する場合に出力信号Ｙｏｕｔのコントラスト低下を抑える方法について詳細に説明する。
まず、出力信号Ｙｏｕｔのコントラストが低下する場合について図２０（ａ）を用いて説明する。図２０（ａ）は、ゲイン信号ＧＡＩＮを帯域制限しないときの階調変換特性を説明するための説明図である。ここで、図２０（ａ）の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２０（ａ）において、着目画素２００の周辺の視覚処理に用いる広い対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに入力された着目画素２００の近傍の対象領域２０１から抽出した明るさ情報の値を「ＵＳｂ」とする。入力された着目画素２００の値Ｙｉｎは、通常広い範囲の値である「ＵＳａ」よりも近傍の値である「ＵＳｂ」に近い。
【００７４】
図２０（ａ）において、視覚処理部３において、階調曲線４００は、着目画素２００の輝度信号Ｙｉｎの値とアンシャープ信号ＵＳの値とが一致している場合の出力特性であり、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報によって選択された階調曲線により定まる曲線である。この階調曲線４００により、画面全体の明るさの変化を決定している。
また、視覚処理部３において、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線２０５の階調曲線が選択され、アンシャープ信号ＵＳ＜ＵＳａ（着目画素２００の周囲が「ＵＳａ」より暗い）のとき曲線２０３または曲線２０４が選択され、アンシャープ信号ＵＳ＞Ｕｓａ（着目画素２００の周囲が「ＵＳａ」より明るい）のとき、曲線２０６または曲線２０７が選択される。
【００７５】
これにより、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線２０５の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、着目画素２００の輝度信号Ｙｉｎの値に対する出力信号Ｙｏｕｔは階調曲線２０５にしたがって出力する。よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎの値が「ＵＳａ」に近いときは、階調曲線２０５の直線部分３００での傾きに応じたゲインで階調変換されるため、出力信号Ｙｏｕｔのコントラストは維持される。しかし、帯域制限部９０を備えていない構成では、視覚処理部３において、着目画素２００の近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる、即ち輝度信号Ｙｉｎがアンシャープ信号ＵＳの値と大きく離れているとき、階調曲線２０５の傾きがなだらかになり、領域３０１での傾きに応じたゲイン信号ＧＡＩＮを出力する。これにより、視覚処理装置１は、このゲイン信号ＧＡＩＮで階調変換するため、出力信号Ｙｏｕｔのコントラストは低下する。
【００７６】
つぎに、この出力信号Ｙｏｕｔのコントラスト低下を抑える方法について図２０（ｂ）を用いて説明する。図２０（ｂ）は、ゲイン信号ＧＡＩＮを帯域制限したときの視覚処理装置１の階調変換特性を説明するための説明図である。ここで、図２０（ｂ）の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２０（ｂ）において、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに着目画素２００の近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる。
また、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線２０５の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、輝度信号Ｙｉｎの空間周波数の帯域を制限した帯域制限信号ＵＳＨの値に対して出力信号Ｙｏｕｔを決定し、階調曲線２０５にしたがって出力する。
【００７７】
このとき帯域制限信号ＵＳＨは、着目画素２００の近傍の明るさ「ＵＳｂ」となる。
よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎがアンシャープ信号ＵＳの値よりかなり高い「ＵＳｂ」前後の範囲で変化しても、細部領域では帯域制限信号ＵＳＨの値は帯域制限により「ＵＳｂ」に固定されるため視覚処理部３が出力するゲイン信号ＧＡＩＮは変化しない。即ち、着目画素２００近傍の細部領域では、ゲイン信号ＧＡＩＮはほぼ一定値（直線２０９の傾き）を出力する。このように、帯域制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算して階調変換することで、出力信号Ｙｏｕｔのコントラストを維持することができる。つまり、この場合、ゲイン信号ＧＡＩＮがほぼ一定値であるので、出力信号Ｙｏｕｔは、入力輝度信号Ｙｉｎの信号レベルの変化にほぼ比例して出力されることになる。したがって、出力信号Ｙｏｕｔにおいて、入力輝度信号Ｙｉｎのコントラストが維持される。なお、直線２０９の傾きは、図２０（ａ）の曲線２０５の直線部分３００の傾きにより近いものであり、帯域制限信号ＵＳＨ＜「ＵＳｂ」のときは直線２０８、帯域制限信号ＵＳＨ＞「ＵＳｂ」のときは直線２１０となる。
【００７８】
以上のように、本発明の実施形態３によれば、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域を制限したゲイン信号ＧＡＩＮと輝度信号Ｙｉｎを乗算して階調変換するため、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
なお、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮを生成する方法は、ゲイン型視覚処理部７１の構成に限定されるものでない。
以下、ゲイン型視覚処理部７１の構成における他の変形例について説明する。
まず、ゲイン型視覚処理部７１の変形例を変形例３として、図２１を用いて説明する。図２１は、変形例３としてのゲイン型視覚処理部７２の構成を示すブロック図である。
【００７９】
図２１において、ゲイン型視覚処理部７２は、輝度信号Ｙｉｎに対して応答可能な帯域を制限した帯域制限信号ＵＳＨを出力する帯域制限部９０と、輝度信号Ｙｉｎからアンシャープ信号ＵＳを生成する空間処理部２と、帯域制限信号ＵＳＨとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する視覚処理部３とを備えている。
また、帯域制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算部６により乗算することで、階調変換された出力信号Ｙｏｕｔを得ることができる。
このような構成によっても、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮを生成でき、ゲイン型視覚処理部７１と同様に、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
【００８０】
つぎに、ゲイン型視覚処理部７１の変形例を変形例４として、図２２を用いて説明する。図２２は、変形例４としてのゲイン型視覚処理部７３の構成を示すブロック図である。
図２２において、ゲイン型視覚処理部７３は、輝度信号Ｙｉｎを入力して輝度信号Ｙｉｎを増幅するためのゲイン信号ＧＡＩＮを出力するゲイン型視覚処理部７０と、ゲイン型視覚処理部７０から出力されるゲイン信号ＧＡＩＮの空間周波数の帯域を制限するようにした帯域制限部９８とを備えている。ここで、ゲイン型視覚処理部７０において、空間処理部２は、輝度信号Ｙｉｎからアンシャープ信号ＵＳを生成し、視覚処理部３は、輝度信号Ｙｉｎとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する。
帯域制限部９８は、ゲイン型視覚処理部７０から出力されるゲイン信号ＧＡＩＮに対して帯域制限を行う。
【００８１】
この帯域制限されたゲイン信号ＧＡＩＮと輝度信号Ｙｉｎとを乗算部６により乗算することで、階調変換された出力信号Ｙｏｕｔを得ることができる。
このような構成によっても、輝度信号Ｙｉｎに対して応答可能な空間周波数の帯域が制限されたゲイン信号ＧＡＩＮを生成でき、ゲイン型視覚処理部７１と同様に、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
なお、実施形態１または実施形態２におけるゲイン型視覚処理部７０をゲイン型視覚処理部７１に置き換えてもよい。
また、実施形態１または実施形態２におけるゲイン型視覚処理部７０をゲイン型視覚処理部７２に置き換えてもよい。
【００８２】
また、実施形態１または実施形態２におけるゲイン型視覚処理部７０をゲイン型視覚処理部７３に置き換えてもよい。
（実施形態４）
つぎに、本発明の実施形態４として、コントラスト強調部をさらに備えた構成について図２３〜図２５を用いて説明する。
図２３は、コントラスト強調部を備えたときの構成例を説明するための説明図、図２４は階調変換特性を説明するための説明図、図２５はコントラスト強調部の特性を説明するための説明図である。以下、実施形態１〜実施形態３と同様の部分については、同一符号を付し、その詳細な説明は省略する。
図２３において、視覚処理装置１は、さらに、輝度信号Ｙｉｎを強調した強調信号Ｙｅを出力するコントラスト強調部９１を備えている。
【００８３】
以下、実施形態１におけるゲイン型視覚処理部７０をゲイン型視覚処理部７１に置き換えたものを実施形態４として説明する。
ゲイン型視覚処理部７１において、ゲイン型視覚処理部７０は、帯域制限部９０により帯域を制限された帯域制限信号ＵＳＨに応じて輝度信号Ｙｉｎを増幅するためのゲイン信号ＧＡＩＮを出力する。ここで、ゲイン型視覚処理部７０において、空間処理部２は帯域制限信号ＵＳＨからアンシャープ信号ＵＳを生成し、視覚処理部３は帯域制限信号ＵＳＨとアンシャープ信号ＵＳとに基づいてゲイン信号ＧＡＩＮを生成する。
コントラスト強調部９１は、輝度信号Ｙｉｎを強調した強調信号Ｙｅを出力する。
このゲイン信号ＧＡＩＮと強調信号Ｙｅとを乗算部６により乗算することでコントラストが強調された出力信号Ｙｏｕｔを得ることができる。
【００８４】
このように、コントラスト強調部９１を備えたことで、輝度信号Ｙｉｎのコントラストを強調でき、入力された輝度信号Ｙｉｎの値がアンシャープ信号ＵＳよりかなり明るい場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。コントラスト強調部９１については、後述する。
まず、出力信号Ｙｏｕｔのコントラストが低下する場合について図２４を用いて説明する。図２４は、視覚処理装置１においてコントラスト変換するときの階調変換特性を説明する説明図である。ここで、図２４の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２４において、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに入力された着目画素２００の近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる。
【００８５】
図２４において、視覚処理部３において、階調曲線５００は、着目画素２００の輝度信号Ｙｉｎの値とアンシャープ信号ＵＳの値とが一致している場合の出力特性であり、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報によって選択された階調曲線により定まる曲線である。この階調曲線５００により、画面全体の明るさの変化を決定している。
また、視覚処理部３において、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線６０３の階調曲線が選択され、アンシャープ信号ＵＳ＜ＵＳａ（着目画素２００の周囲が「ＵＳａ」より暗い）のとき曲線６０１または曲線６０２が選択され、アンシャープ信号ＵＳ＞Ｕｓａ（着目画素２００の周囲が「ＵＳａ」より明るい）のとき、曲線６０４または曲線６０５が選択される。
【００８６】
これにより、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線６０３の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、着目画素２００の輝度信号Ｙｉｎの値に対する出力信号Ｙｏｕｔは、階調曲線６０３にしたがって出力される。よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎの値が「ＵＳａ」に近いときは（図２４の領域７００あたりに対応。）、階調曲線６０３の領域７００での傾きが大きくなるため、ゲイン信号の変化も大きくなり、出力信号Ｙｏｕｔのコントラストは強調される。しかし、帯域制限部９０を備えていない構成では、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎの値が「ＵＳｂ」前後で、アンシャープ信号ＵＳの値よりかなり大きいときは階調曲線６０３の傾きがなだらかになり（図２４の領域７０１あたりに対応。）、領域７０１でのゲイン信号ＧＡＩＮの変化も小さくなるので、出力信号Ｙｏｕｔのコントラストは低下する。
【００８７】
つぎに、領域７０１での出力信号Ｙｏｕｔのコントラスト低下を抑える方法について図２５を用いて説明する。図２５は、コントラスト強調部９１の特性を説明する説明図である。ここで、図２５の横軸は入力された輝度信号Ｙｉｎ、縦軸は階調変換された出力信号Ｙｏｕｔである。
図２５において、着目画素２００の周辺の対象領域２０２から抽出した明るさ情報であるアンシャープ信号ＵＳの値を「ＵＳａ」とする。また、そのときに着目画素２００近傍の明るさが「ＵＳｂ」で輝度信号Ｙｉｎも「ＵＳｂ」に近い値をとる。
また、視覚処理部３は、アンシャープ信号ＵＳの値が「ＵＳａ」であるとき、階調曲線６０３の階調曲線を選択し、アンシャープ信号ＵＳに変化がなければ、輝度信号Ｙｉｎの空間周波数の帯域を制限した帯域制限信号ＵＳＨの値に対して出力信号Ｙｏｕｔを決定し、階調曲線６０３にしたがって出力する。階調曲線６０３は、値「ＵＳａ」の近傍において傾きが大きいため、ゲイン信号ＧＡＩＮの変化も大きくなり、コントラストを強調することができる。
【００８８】
一方、帯域制限信号ＵＳＨは、着目画素２００の近傍の明るさ「ＵＳｂ」になる。
よって、視覚処理部３において、着目画素２００の輝度信号Ｙｉｎがアンシャープ信号ＵＳの値よりかなり高い「ＵＳｂ」前後の範囲で変化しても、細部領域では帯域制限信号ＵＳＨの値は帯域制限により「ＵＳｂ」に固定されるため視覚処理部３が出力するゲイン信号ＧＡＩＮは変化しない。即ち、着目画素２００近傍の細部領域では、ゲイン信号ＧＡＩＮはほぼ一定値（曲線６０３の直線部分近傍の傾き）を出力する。この場合、ゲイン信号ＧＡＩＮがほぼ一定値であるので、出力信号Ｙｏｕｔは、コントラスト強調部９１の出力Ｙｅの信号レベルの変化にほぼ比例して出力されることになる。そして、輝度信号Ｙｉｎをコントラスト強調部９１でコントラストを強調した信号Ｙｅと帯域制限されたゲイン信号ＧＡＩＮとを乗算して階調変換すれば、出力信号Ｙｏｕｔのコントラストを高めることができる。
【００８９】
つぎに、コントラスト強調部９１について説明する。コントラスト強調部９１は、輝度信号Ｙｉｎと帯域制限信号ＵＳＨとの比に基づいた（式２）のように強調信号Ｙｅを生成する。ここで、αは強調度合いを調節するパラメータである。
Ｙｅ＝Ｙｉｎα／（ＵＳＨ）α-1 （式２）
これにより、図２５に示すように、帯域制限信号ＵＳＨ＝ＵＳｂのとき、曲線８０２にしたがって輝度信号Ｙｉｎの値を強調することができる。また、帯域制限信号ＵＳＨ＜「ＵＳｂ」のときは曲線８０１、帯域制限信号ＵＳＨ＞「ＵＳｂ」のときは曲線８０３にそれぞれ従って輝度信号Ｙｉｎの値を強調することができる。
（式２）は、αを１以上（例えば１．５）にとると、着目画素２００の値と帯域制限信号ＵＳＨとの比を拡大する働きをするため、コントラストは強調される。
【００９０】
なお、コントラスト強調部９１は、輝度信号Ｙｉｎと帯域制限信号ＵＳＨとの差に基づいた（式３）ように強調信号Ｙｅを生成するようにしてもよい。
Ｙｅ＝Ｙｉｎ＋（α−１）×（Ｙｉｎ−ＵＳＨ） （式３）
（式３）も、αを１以上（例えば１．５）にとると、着目画素２００の値と帯域制限信号ＵＳＨとの差を拡大するよう作用するため、コントラストは強調される。
コントラスト強調部９１は、図２６に示すように、輝度信号Ｙｉｎと帯域制限信号ＵＳＨとを入力する２次元ＬＵＴを備えてもよい。ＬＵＴ９４には、（式２）または（式３）による演算結果を予め求めたデータを設定する。
以上のように、本発明の実施形態４によれば、コントラスト強調部９１を備えたことにより、輝度信号Ｙｉｎのコントラストを強調し、入力された輝度信号Ｙｉｎの値（信号レベル）がアンシャープ信号ＵＳの値（信号レベル）よりかなり大きい値（信号レベル）で変化した場合であっても、出力信号Ｙｏｕｔのコントラストの低下を抑えることができる。
【００９１】
なお、コントラスト強調部９１の変形例を変形例５として図２７に示す。図２７は、変形例５としてのコントラスト強調部９２の構成を示すブロック図である。
図２７において、コントラスト強調部９２は、（式２）の演算をＬＵＴ９５とＬＵＴ９６および乗算部９００とによって実現している。ここで、ＬＵＴ９５にはＹｉｎαの演算結果を設定し、ＬＵＴ９６には（ＵＳＨ）1-αの演算結果を設定する。
また、コントラスト強調部９１の変形例を変形例６として図２８に示す。図２８は変形例６としてのコントラスト強調部９３の構成を示すブロック図である。
図２８において、コントラスト強調部９３は、（式３）の演算を加算部９０１と加算部９０２およびＬＵＴ９７とによって実現している。ここで、ＬＵＴ９７には、図２５に示すような出力特性のデータを設定する。ここで、図２９の横軸はＬＵＴ９７の入力、縦軸はＬＵＴ９７の出力である。
【００９２】
図２９に示すように、ＬＵＴ９７において、入力がＴｈｂからＴｈｃまでは出力を「０」とし、ノイズの強調を抑えている。また、ＬＵＴ９７において、入力がＴｈａからＴｈｂまで徐々に出力を増加させ、同様に、入力がＴｈｃからＴｈｄまで徐々に出力を増加させるようにしている。また、コントラストを強調しすぎないように、入力がＴｈａまたはＴｈｄのところまでは出力を増加させ、それ以上に輝度信号Ｙｉｎと帯域制限信号ＵＳＨとの差があるときは出力を飽和させるようにしている。なお、ＬＵＴ９７に変えて、乗算器を備え、加算部９０２の出力を（α−１）倍にするようにしてもよい。
なお、コントラスト強調部９１に入力する帯域制限信号ＵＳＨは、ゲイン型視覚処理部７１の帯域制限部９０の出力としたが、この構成に限定されるものでない。
構成の変形例を変形例７として、図３０に示す構成において、ゲイン型視覚処理部７２の帯域制限部９０の出力を使用する構成としてもよい。
【００９３】
また、構成の変形例を変形例８として、図３１に示す構成において、ゲイン型視覚処理部７３と独立に設けた帯域制限部９０の帯域制限信号ＵＳＨを使用する構成としてもよい。
以上のように、本発明の実施形態１から本発明の実施形態４によれば、色飽和を抑え、画像のコントラストを調整可能とする視覚処理装置、表示装置、撮影装置、携帯情報装置および集積回路を提供できる。
なお、図３２に示すように、ゲイン型視覚処理部７４は、輝度信号Ｙｉｎを階調変換した出力信号Ｙｏｕｔを出力する階調型視覚処理部７５を用いることによっても実現できる。
階調型視覚処理部７５を用いる場合は、階調型視覚処理部７５と、階調型視覚処理部７５の出力を輝度信号Ｙｉｎで除算する除算部６１とを備えることでゲイン型視覚処理部７４が実現できる。
【００９４】
階調型視覚処理部７５は、輝度信号Ｙｉｎからアンシャープ信号ＵＳを出力する空間処理部２と、輝度信号Ｙｉｎとアンシャープ信号ＵＳとに応じて階調変換し、出力信号Ｙｏｕｔを出力する視覚処理部６４とを備えている。視覚処理部６４は、例えば図２に示すような２次元階調変換特性にもとづいて出力信号Ｙｏｕｔを出力する。これにより、ゲイン型視覚処理部７４は、本発明の実施形態１のゲイン型視覚処理部７０と等価な特性となり、置き換えて使用することができる。
（実施形態５）
つぎに、実施形態５である視覚処理装置について説明する。
図３３は、本発明の実施形態５における視覚処理装置１’のブロック図である。視覚処理装置１’は画像信号Ｙｉｎ、ＣＲｉｎ、ＣＢｉｎに視覚処理を行い視覚処理画像Ｙｏｕｔ、ＣＲｏｕｔ、ＣＢｏｕｔを出力する。
【００９５】
空間処理部２は、空間処理の対象となる対象画素と、対象画素の周辺領域の画素（周辺画素）との画素値を輝度信号Ｙｉｎから取得する。取得した原画像の画素ごとの輝度値Ｙｉｎに空間処理を実行しアンシャープ信号ＵＳを出力する。アンシャープ信号ＵＳは輝度信号をローパスフィルタで処理したボケ信号である。
視覚処理部３は、輝度信号Ｙｉｎおよびアンシャープ信号ＵＳから２次元ゲイン関数に基づいて第１ゲイン信号ＧＡＩＮを求め、出力する。
２次元ゲイン関数は、例えば、図２の示す階調変換特性の傾きをゲインとする関数に設定される。よって、輝度信号Ｙｉｎと２次元ゲイン関数に基づいて算出された出力を乗算することで、図２の示す階調変換特性と等価な入出力特性を出すことができる。
補正値決定部３３４は第１ゲイン信号ＧＡＩＮを補正するための補正値Ｋを算出する。補正値Ｋによって、画像信号を補正しコントラストの強調または抑制を行う。例えば、暗い画像では画像を明るく強調でき、明るい画像では画像の明るさを抑えて階調飽和、色飽和を抑えることができる。
【００９６】
ゲイン制御部３３５は、補正値Ｋで第１ゲイン信号ＧＡＩＮを画素単位で補正し、第２ゲイン信号ＧＡＩＮ２を出力する。第１ゲイン信号ＧＡＩＮを補正値Ｋで補正することで、第１ゲイン信号ＧＡＩＮを変更せずに、コントラストの強調または抑制するための第２ゲイン信号ＧＡＩＮ２を生成できる。
補正部９は、乗算部６、乗算部７および乗算部８より構成され、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。補正により画像信号のコントラストの強調または抑制を行う。
乗算部６は、第２ゲイン信号ＧＡＩＮ２と輝度信号Ｙｉｎとを乗算し、補正された輝度信号Ｙｏｕｔを出力する。この補正された輝度信号Ｙｏｕｔは、図２に示す階調変換特性と等価な出力である。乗算部７、乗算部８は、第２ゲイン信号ＧＡＩＮ２と入力された色度信号ＣＲｉｎ、色度信号ＣＢｉｎとを乗算し、補正された色度信号ＣＲｏｕｔおよび色度信号ＣＢｏｕｔを出力する。
【００９７】
次に、本実施形態における視覚処理装置１’について、さらに詳しく説明する。
視覚処理装置１’は、本実施形態においては図２に示すように２次元階調変換特性を持つように設定される。ここで、横軸は入力された輝度信号Ｙｉｎ、縦軸は変換された輝度信号Ｙｏｕｔである。
視覚処理部３については、実施形態１で説明したものと同じであるので、ここでは説明を省略する。
本発明の実施形態５の視覚処理装置１’は、ゲイン信号を用いて画像信号処理を行っているが、ゲインを用いることで回路規模を削減できるという利点がある。これについても実施形態で説明したので、ここでは説明を省略する。
空間処理部２についても、実施形態１で説明したものと同じであるので、ここでは説明を省略する。
【００９８】
次に、図３４、図３５を用いて色飽和検出部３３１について説明する。図３４は色飽和検出部３３１のブロック図である。
図３４において、ＲＧＢ変換部１１は、輝度信号Ｙｉｎと色度信号ＣＲｉｎ、色度信号ＣＢｉｎからＲＧＢ信号を生成する。最大値検出部１２は、Ｒ信号、Ｇ信号、Ｂ信号のうち、最大値を検出する。第１補正値算出部３４１は、検出されたＲＧＢ信号の最大値から補正値Ｋ１を算出する。補正値決定部３３４は、補正値Ｋ１、レジスタ３４２に設定された補正値Ｋ２、外部から入力された補正値Ｋ３からＫ６を参照して補正値Ｋを決定し、出力する。補正値決定部３３４の詳細は後述する。
具体的には、第１補正値算出部３４１は、制御後のゲイン信号ＧＡＩＮ２の最大値が図３５に示す曲線２の値以下になるように設定された曲線１に基づいて、入力された画像信号の画素ごとに補正値Ｋ１を算出する。ここで、曲線２は色飽和を起こさない補正値の最大値を示している。
【００９９】
ＲＧＢ信号に第１ゲイン信号ＧＡＩＮを乗算しても、ＲＧＢ信号の各Ｒ信号、Ｇ信号、Ｂ信号の比が維持できれば色は変化しない。しかし、いずれかの信号の最大値が飽和すると、それ以上信号レベルを大きくできないため、ＲＧＢ信号の比のバランスが崩れ不自然な色の変化が生じてしまう。この色飽和を防止するためには、ＲＧＢ信号の最大値に第１ゲイン信号ＧＡＩＮを乗算しても信号レベルの最大値を超えないようにすればよい。例えば、検出されたＲＧＢ信号の最大値が「１２７」のときゲイン制御後の最大値は「２．０」となる。同様に、最大値が「８４」のときゲイン制御後の最大値は「３．０」、最大値が「２１２」のときゲイン制御後の最大値は「１．２」となる。ここで、ＲＧＢ信号は、「０」から「２５５」までの範囲をとる信号とする。よって、ＲＧＢ信号の最大値をＳｍａｘ、階調飽和、色飽和が抑えられる制御後のゲイン信号ＧＡＩＮ２の最大値をＫｍａｘとすると、Ｋｍａｘ＝２５５／Ｓｍａｘとなる。
【０１００】
このように、ゲイン信号ＧＡＩＮ２＜Ｋｍａｘ（曲線２）を満足する補正値Ｋ１（曲線１）を設定することで階調飽和、色飽和が抑え、色バランスを保持することができる。また、コントラストを強調した画像中に不自然な色の変化は発生しない。補正値Ｋによるゲイン制御の方法の詳細については後述する。
なお、補正値Ｋ１の曲線１は、曲線２を折れ線近似した直線でもよいし、直線近似でもよい。ＲＧＢ信号の最大値が小さい値のときはノイズを強調しない程度の値に抑えるようにすることがより好ましい。
このように、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号をＲＧＢ信号に変換し、ＲＧＢ信号により、最終的にディスプレイ装置等で表示される画像において、階調飽和、色飽和等が起こるか否かを判断することができる。つまり、最終的にディスプレイ装置等で表示される信号は、ＲＧＢ信号であるので、予めＲＧＢ信号を取得し、ＲＧＢ信号において階調飽和、色飽和等が起きるか否かを判断しておくことで、最終的にディスプレイ装置等で表示される画像の状況を予め正確に知ることができるのである。したがって、Ｙｉｎ信号、ＣＢｉｎ信号、ＣＲｉｎ信号からＲＧＢ信号を予め取得し、取得したＲＧＢ信号に基づいて算出された補正値Ｋによりゲイン制御を行うことが効果的である。
【０１０１】
次に、図３６、図３７を用いて補正値決定部３３４の動作を説明する。補正値決定部３３４は、補正値Ｋ１からＫ６を入力し、演算することで画像信号の画像の種類、画像の特徴、集積回路の自己診断に応じた補正値Ｋを決定するようにしてもよい。
図３６において、Ｍレジスタ２３は補正値決定部３３４の動作モードを決定する。例えば、図３７の表３７１に示すようにＭレジスタ２３に値「２」が設定されると、補正値決定部３３４は、レジスタ３４２に設定される補正値Ｋ２の値を入力する。これにより、補正値Ｋは、補正値Ｋ２の固定値に設定され、視覚処理画像に不具合な異常が見られたときに集積回路の内部信号Ｋ１およびＫ３からＫ６をマスクし、外部より補正値Ｋ２を設定して補正値の影響を調べるなどの自己診断を行うことができる。また、内部信号Ｋ１およびＫ３からＫ６をマスクし、補正値Ｋ２に強制設定できるので、集積回路内の信号を確認するためのテスト信号に利用することもできる。
【０１０２】
また、Ｍレジスタ２３に値「１」を設定すれば、補正値決定部３３４は、補正値Ｋ１を入力し、補正値ＫとしてＫ１を出力する。同様に、Ｍレジスタ２３に値「３」を設定すれば、補正値決定部３３４は、補正値Ｋ３を入力し、補正値ＫとしてＫ３を出力する。また、Ｍレジスタ２３に値「７」を設定すれば、補正値決定部３３４は、補正値Ｋ１とＫ３とを入力し、Ｋ１とＫ３とを演算して補正値Ｋを出力する。演算は、例えば、最小値ＭＩＮ（Ｋ１，Ｋ３）を算出する演算であってもとしてもよいし、平均値Ａｖｅ（Ｋ１，Ｋ３）を算出する演算であってもよい。
このように、補正値決定部３３４は、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Ｋを出力することができる。外部より入力される補正値Ｋ３からＫ６の詳細は後述する。
【０１０３】
なお、補正値決定部３３４が、外部より入力された信号を選択して出力する場合は、入力された補正値をそのまま補正値Ｋとして用いてもよく、補正値決定部３３４は無くてもよい。
次に、ゲイン制御部３３５は、補正値Ｋで第１ゲイン信号ＧＡＩＮを補正し、第２ゲイン信号ＧＡＩＮ２を出力する。
より具体的に、設定される補正値Ｋによる制御方法について説明する。
まず、例えば、図３８に示すように補正値Ｋでゲイン１倍とゲイン信号ＧＡＩＮとを内分または外分して制御する方法（以下、「内分・外分制御」と記す）がある。ここで、ゲイン信号ＧＡＩＮ２はＧＡＩＮ２＝補正値Ｋ×ゲイン信号ＧＡＩＮ＋（１−補正値Ｋ）×１となる内分・外分演算を実施する。ここで、ゲイン信号を制御する演算は、Ｋ＞１なら外分演算になりゲインを強調し、Ｋ＝１で１倍、０＜Ｋ＜１で内分演算になりゲインを抑制する。また、式を変形してＧＡＩＮ２＝補正値Ｋ×（ゲイン信号ＧＡＩＮ−１）＋１としてもよい。いずれも、補正値Ｋで１倍とゲイン信号ＧＡＩＮの差を拡大または縮小するように補正する。
【０１０４】
なお、ＧＡＩＮ２＜Ｋｍａｘとなるように補正値Ｋを設定すれば、色飽和を抑えることができる。画質的には、Ｋ＞１ならコントラストが強くなり強調され、０＜Ｋ＜１でコントラストが弱く抑制される。色飽和を抑えるには、コントラストを抑制するように０＜Ｋ＜１とすればよい。
また、補正値の制御方法として図３９に示すように補正値Ｋ（Ｋｏｆｆｓｅｔ）を加算して制御する方法でもよい。ここで、ゲイン信号ＧＡＩＮ２はＧＡＩＮ２＝補正値Ｋ＋ゲイン信号ＧＡＩＮとなる。さらに、色飽和を抑えるには、ＧＡＩＮ２＜Ｋｍａｘとなるように補正値Ｋを設定する。
よって、Ｋ＞０ならゲインを強調する制御となり、Ｋ＝０なら補正なし、Ｋ＜０ならゲインを抑えるように制御される。画質的には、Ｋ＞０ならコントラストが強くなり強調され、Ｋ＜０でコントラストが弱くなり抑制される。色飽和を抑えるには、Ｋ＜０としコントラストを抑制する。
【０１０５】
なお、乗算値により増幅・減衰を制御する方法では、ＧＡＩＮ２＝補正値Ｋ×ゲイン信号ＧＡＩＮとなる。さらに、色飽和を抑えるには、ＧＡＩＮ２＜Ｋｍａｘとなるように補正値Ｋを設定するようにしてもよい。
このように、ゲイン制御部３３５は、補正値Ｋで第１ゲイン信号ＧＡＩＮを補正し、第２ゲイン信号ＧＡＩＮ２を出力することで、画像全体のコントラストを強調することも抑制することもできる。
次に、補正部９は、第２ゲイン信号ＧＡＩＮ２に応じて画像信号を補正する。補正部９は、乗算部６、乗算部７および乗算部８より構成される。
乗算部６は、第２ゲイン信号ＧＡＩＮ２に輝度信号Ｙｉｎを乗算して輝度信号Ｙｏｕｔを出力する。乗算部７および乗算部８は第２ゲイン信号ＧＡＩＮ２に色度信号ＣＲｉｎおよび色度信号ＣＢｉｎを乗算し、色度信号ＣＲｏｕｔおよびＣＢｏｕｔを出力する。
【０１０６】
なお、Ｙｏｕｔ信号、ＣＲｏｕｔ信号、ＣＢｏｕｔ信号は、それぞれ１つの乗算部（乗算部６〜８）により、同じゲイン値であるＧＡＩＮ２を乗算されて補正部９から出力されるので、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングのズレは生じない。したがって、Ｙｏｕｔ信号、ＣＢｏｕｔ信号、ＣＲｏｕｔ信号の出力タイミングを合わせるための遅延手段等を別途設ける必要はない。
このように補正部９は画像信号を補正する。よって、明るさ調整において、補正部９は輝度レベルを大きくした部分では色度信号も大きくするので、色が薄く見えることはなくなる。また、逆に輝度レベルを小さくした部分では色度信号も小さくするので色が濃く見えることがない。さらに、第２ゲイン信号ＧＡＩＮ２に応じて、入力された画像信号を補正することで輝度レベルを大きくした部分での色飽和を抑えることができる。また、補正値により第２ゲイン信号ＧＡＩＮ２を制御し、逆光画像などの人物の暗くなった顔領域のみを強調するように明るく補正することもできる。
【０１０７】
なお、視覚処理装置１’（図３３）の視覚処理部３は、輝度信号Ｙｉｎのみ入力し、輝度信号Ｙｉｎをガンマ変換した出力と等価になるゲイン信号を出力するようにしてもよい。この構成では、視覚処理部３は、１次元のゲイン特性を有するデータを格納したＬＵＴで構成できる。より具体的には、ＬＵＴに格納するデータとして、図３のＵＳ０からＵＳｎのいずれか１つのゲイン特性を持つ変換曲線を選択してもよいし、予め設定される１次元のゲイン関数で作成してもよい。また、画像中の輝度信号のヒストグラム分布より求めた階調変換曲線と等価な出力が得られるゲイン関数でＬＵＴに格納するデータを作成してもよい。
これにより、視覚処理部３は、ゲイン特性に基づいたデータを格納することで、ガンマ変換値をそのままテーブルデータとして格納するよりもメモリ容量を削減できる。
【０１０８】
また、入出力される画像信号が原色信号であるＲＧＢ信号であってもよい。図４０に、変形例１である視覚処理装置８０’のブロック図を示す。重複を避けるため、視覚処理装置１と同じ処理の説明は省略する。視覚処理装置８０’は、画像信号としてＲＧＢ信号を入力し、視覚処理により補正したＲＧＢ信号を出力する。
輝度色度変換部８５は、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを輝度信号Ｙｉｎと色度信号ＣＲｉｎ、色度信号ＣＢｉｎに変換する。ここで、輝度成分の情報の抽出は人間の視感度特性に合わせてＲｉｎ、Ｇｉｎ、Ｂｉｎ信号より生成する。例えば、輝度信号Ｙｉｎは、Ｙｉｎ＝０．２９９×Ｒｉｎ＋０．５８７×Ｇｉｎ＋０．１１４×Ｂｉｎとする。また、色度信号（ＣＲｉｎ、ＣＢｉｎ）は、ＣＲｉｎ＝（−０．１６８７）×Ｒｉｎ＋（−０．３３１３）×Ｇｉｎ＋０．５×Ｂｉｎ、ＣＢｉｎ＝０．５×Ｒｉｎ＋（−０．４１８７）×Ｇｉｎ＋（−０．０８１３）×Ｂｉｎである。
【０１０９】
色飽和検出部３３１（図３３）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから補正値Ｋ１を算出する。なお、色飽和検出部３３１のＲＧＢ変換部１１（図３４）は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎおよび色度信号ＣＲｉｎからＲＧＢ信号を生成するようにしたが、入力された画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎを直接利用してもよい。この場合、ＲＧＢ変換部１１はなくてもよい。
補正値決定部３３４（図３６）は、補正値Ｋ１を参照し、補正値Ｋを決定する。補正値Ｋは、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Ｋを出力する。
視覚処理部３は、空間処理部２の出力と輝度信号Ｙｉｎとを入力し、第１ゲイン信号ＧＡＩＮを算出する。
【０１１０】
ゲイン制御部３３５は、入力された第１ゲイン信号ＧＡＩＮを補正値Ｋで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部８１は、乗算部８２、８３、８４より構成され、各乗算部８２、８３、８４はそれぞれ画像信号Ｒｉｎ、Ｇｉｎ、Ｂｉｎと第２ゲイン信号ＧＡＩＮ２とを乗算することで、視覚処理されたＲＧＢ信号であるＲｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを出力する。これにより、Ｒｉｎ、Ｇｉｎ、Ｂｉｎの比を保持したまま、コントラストを強調または抑制できる。また、補正値Ｋによりゲイン信号を強調または抑制するように制御できるので、階調のグラデーションの飽和、色飽和を抑えるように抑制できる。また、逆光シーンでの人物の顔の肌色のコントラストを強調するようにできる。
また、視覚処理部３（図３３）の出力を、階調変換後の出力信号と輝度信号Ｙｉｎとの差分信号に変更してもよい。図４１、図４２を用いて変形例２である視覚処理装置６０を説明する。
【０１１１】
図４１は変形例２の視覚処理装置６０’のブロック図である。視覚処理部６３は、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分を差分信号ＤＩＦＦとして出力するように構成したものである。差分信号ＤＩＦＦは、図２に示す階調変換の出力信号と輝度信号Ｙｉｎとの差分であり、図４２に示すように、アンシャープ信号ＵＳｎと輝度信号Ｙｉｎとに基づいて決定される差分信号となる。よって、加算部６２で輝度信号Ｙｉｎと差分信号ＤＩＦＦとを加算することで取得される信号は、図２に示す階調変換の出力信号と同じになる。
加算部６２は、輝度信号Ｙｉｎと差分信号ＤＩＦＦを加算し、加算値Ｙｘを算出する。この加算値Ｙｘは、図２の階調変換後の出力信号と等価な信号である。
除算部６１は、加算値Ｙｘを輝度信号Ｙｉｎの値で除算し、第１ゲイン信号ＧＡＩＮを算出する。すなわち、ＧＡＩＮ＝Ｙｘ／Ｙｉｎとなる。この第１ゲイン信号ＧＡＩＮは、図２の階調変換曲線の傾きをゲインとしたものと等価である。
【０１１２】
色飽和検出部３３１（図３３）は、変換された輝度信号Ｙｉｎ、色度信号ＣＲｉｎおよび色度信号ＣＢｉｎから補正値Ｋ１を算出する。
補正値決定部３３４（図３６）は、補正値Ｋ１を参照し、補正値Ｋを決定する。補正値Ｋは、Ｍレジスタ２３に設定された値に応じて、外部より入力された信号を選択して出力、あるいは演算して補正値Ｋを出力する。
ゲイン制御部３３５は、入力された第１ゲイン信号ＧＡＩＮを補正値Ｋで補正した第２ゲイン信号ＧＡＩＮ２を出力する。
補正部９は、乗算部６、７、８で輝度信号Ｙｉｎ、色度信号ＣＲｉｎ、色度信号ＣＢｉｎに、それぞれ第２ゲイン信号ＧＡＩＮ２を乗算し、輝度信号Ｙｏｕｔ、色度信号ＣＲｏｕｔ、色度信号ＣＢｏｕｔを出力する。
【０１１３】
なお、視覚処理部６３は、２次元ＬＵＴで構成してもよいし、輝度信号Ｙｉｎと差分信号ＤＩＦＦとの関数を格納した１次元ＬＵＴでもよい。
このように階調変換曲線の出力と輝度信号Ｙｉｎとの差分値をＬＵＴに格納することで、階調変換曲線のガンマ変換値を格納するよりもメモリ容量を削減できる。
以上のように本実施形態によれば、入力された画像信号に対して、高性能なコントラスト調整を実施することができ、かつ、出力される画像信号の出力タイミングにズレが生じない視覚処理装置１を実現することができる。さらに、第１ゲイン信号ＧＡＩＮを設定された所定の補正値Ｋでゲイン信号を補正することで画像全体のコントラストを強調することも抑制することもできる。補正値Ｋでゲインを大きくすることで、逆光シーン画像での暗部にある人物の顔領域などを強調でき、レフ板効果を持たせることができる。また、補正値Ｋでゲインを小さくすることで、濃い赤色、濃い青色で色飽和、階調飽和を抑えることができる。
【０１１４】
また、画像信号からＲＧＢ信号に変換したときの最大値を検出する最大値検出部と、検出されたＲＧＢ信号の最大値に基づいて第１ゲイン信号を制御することで、色飽和が発生するゲイン信号のレベルを検出でき、色飽和しない補正値を算出できる。
また、本実施形態の視覚処理装置１’では、ゲイン信号を用いて階調変換を行っている。ゲイン信号は、階調変換信号に比べて輝度信号Ｙｉｎに対する出力の変化が緩やかであるため、輝度信号Ｙｉｎ、アンシャープ信号ＵＳを粗く間引いても十分に処理精度を確保できる。よって、視覚処理部３に入力する輝度信号Ｙｉｎのビット精度を落とすことができ、ハードウェアの回路規模を削減できる。また、ＬＵＴで構成したときのメモリ容量を小さくできる。
さらに、本実施形態の視覚処理装置１’において、ゲイン特性を画像信号とアンシャープ信号ＵＳとから決定される２次元ゲイン特性とすることで、画像中の暗い領域は、アンシャープ信号ＵＳが小さいときのゲイン曲線で持ち上げて強調し、画像中の明るい領域は、アンシャープ信号ＵＳが大きいときのゲイン曲線で抑えるため暗部領域と明部領域の両方に最適な明るさ調整ができる。これにより、逆光シーン画像での暗部領域、特に、人物の顔領域を適正な明るさに持ち上げて強調しても、背景領域を飽和させないように階調変換できる。
【０１１５】
また、視覚処理部をＬＵＴで構成することで、テーブルデータを書き換えることにより異なる視覚特性を実現できる。また、複雑な非線形のゲイン特性を容易に実現できる。
また、補正値Ｋにより視覚処理の効果を強めることも弱めることもできるので、効果の強弱に応じたゲイン特性データを作り直す必要がない。これにより、いろいろな強さのデータのＬＵＴで用意しなくて済むため、メモリ容量を削減できる。また、ＬＵＴ内容を入れ替える必要がないため、変更する時間を大幅に短縮できる。補正値Ｋをリアルタイムに変更することで、画像中の領域ごとに効果の強さを変更することができる。具体的には、フレーム単位、画素単位で補正値Ｋを変更できる。
（実施形態６）
次に、実施形態６について、図１５および図４３から図４６を用いて説明する。以下、実施形態２および実施形態５と同様の部分については、同一符号を付し、その詳細な説明は省略する。
【０１１６】
実施形態６では、視覚処理装置１’の第１ゲイン信号ＧＡＩＮの補正値を決定する例について説明する。
図４３は本発明の実施形態６における表示装置３０’のブロック図である。
図４３において、視覚処理装置１’は、入力された映像信号を視覚処理し、出力部３５に出力する。出力部３５は、例えば、ＣＲＴ、プラズマディスプレイパネル、液晶パネルなどのディスプレイ部と、スピーカなどの音声出力部を備え、入力された音声信号と視覚処理された映像信号を表示する。なお、出力部３５はデバイスの表示色に合わせて入力された信号を変換して表示してもよい。例えば、輝度色度信号を原色信号であるＲＧＢ信号に変換する。なお、視覚処理装置１は出力部３５で扱える信号の構成に合わせて変形例が考えられる。例えば、輝度、色度信号を扱う場合は視覚処理装置１’（図３３）が好ましく、ＲＧＢ信号を扱うには視覚処理装置８０’（図４０）の構成が好ましい。このように映像信号に合わせた構成を用いればよい。
【０１１７】
次に、信号レベル検出部３４’は映像信号のうち、輝度信号をフレームメモリに記憶し、１フレーム内、または、１フィールド内の画像信号の平均値を演算し平均信号レベルを検出する。この検出した平均信号レベルから補正値Ｋ３を算出する。なお、平均信号レベルは、輝度信号を平均化した平均値でもよいし、ＲＧＢ信号のそれぞれの信号を平均し、さらに３つの平均値を平均した値でもよい。
例えば、ゲイン制御を内分・外分制御で行う場合を説明する。平均信号レベルが所定の値ＰＨより高い画像を「明るい画像」と定義し、明るい画像では補正値Ｋ３を「０．８」に設定し、逆に、平均信号レベルが所定の値ＰＬより低い画像を「暗い画像」と定義し、暗い画像では補正値Ｋ３を「１．２」に設定する。これにより、画像の特徴により補正値を設定できる。
【０１１８】
また、ゲイン制御をオフセット値で行う場合を説明する。平均信号レベルが所定の値ＰＨより高い画像を「明るい画像」と定義し、明るい画像では補正値Ｋ３を「−０．２」に設定し、逆に、平均信号レベルが所定の値ＰＬより低い画像を「暗い画像」と定義し、暗い画像では補正値Ｋ３を「＋０．２」に設定する。これにより、画像の特徴により補正値を設定できる。
これにより、明るい画像でゲイン信号を補正し信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。
また、プラズマディスプレイパネルは、耐熱性を高め、消費電力を下げるために、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるようにディスプレイパネル側で制御する表示制御機能がドライブ部に設けられている。さらに、この表示制御機能は映像信号処理とは無関係に働く機能である。
【０１１９】
よって、視覚処理で画像中の所定の明るさの領域を持ち上げたことにより、表示制御機能が働き、ドライブ部で画面全体の明るさを下げられてしまうと、視覚処理する前には十分明るかった領域まで暗くなり、画面全体としてめりはりのない画像となり画質が劣化する。つまり、せっかく行った視覚処理が無駄になってしまうおそれがある。そのために、ドライブ部の表示制御機能が働く平均信号レベル以下にゲイン信号を補正することで、効果の高いコントラスト調整ができる。
次に、肌色検出部３６’は、輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎから肌色領域を検出し、補正値Ｋ４を算出する。図４４に示すように肌色検出部３６’は、色度信号ＣＲｉｎより所定の第１色領域を検出し重み値Ｋａを出力する第１色領域検出部３６１’と、色度信号ＣＢｉｎより所定の第２色領域を検出し重み値Ｋｂを出力する第２色領域検出部３６２’と、輝度信号Ｙｉｎより所定の明るさ領域を検出し重み値Ｋｃを出力する輝度領域検出部３６３’とを備え、肌らしさ度を各重み値の積と定義し補正値Ｋ４を求める。例えば、補正値Ｋ４は、乗算部３６４、３６５によって補正値Ｋ４＝Ｋａ×Ｋｂ×Ｋｃのように算出される。
【０１２０】
肌色検出部３６’は、検出対象としている映像信号（輝度信号Ｙｉｎ、色度信号ＣＢｉｎ、色度信号ＣＲｉｎ）が図１５に示す肌色領域に属するか否かを検出する。これにより、色に加え、画像の明るさに応じても補正値Ｋを設定できる。特に、日陰にある暗くなった人物の顔の肌色領域を明るく強調（レフ板効果）することができるので、日が当たっている領域にあるもともと明るい人物の顔の肌色領域では顔のテカリ、階調飽和、色飽和を抑制することができる。
より具体的に図４５を用いて肌色検出部３６’の動作を説明する。ここでは、ゲイン制御を内分・外分制御で行うものとする。
第１色領域検出部３６１’は色度信号ＣＲｉｎを入力し、図４５（ａ）に示す重み関数によって重み値Ｋａを出力する。同様に、第２色領域検出部３６２’は色度信号ＣＢｉｎを入力し、図４５（ｂ）に示す重み関数によって重み値Ｋｂを出力する。輝度領域検出部３６３’は輝度信号Ｙｉｎを入力し、図４５（ｃ）に示す重み関数によって重み値Ｋｃを出力する。肌らしさ度を各重み関数の積と定義し、補正値Ｋ４＝Ｋａ×Ｋｂ×Ｋｃのように算出する。肌色領域と領域外との境界付近で色が不自然にならないように、対象となる肌色領域の境界は徐々に重みが変化するようにする。なお、重み関数の形状は台形でも三角形でもよい。画像評価などにより最適な関数を設定すればよい。なお、補正値Ｋ４をＫａ、Ｋｂ、Ｋｃの最大値としてもよく、平均値としてもよい。
【０１２１】
このように、輝度領域がＹｑ＜輝度値＜Ｙｐの肌色領域（暗部領域）で重み値Ｋｃを１倍より大きい値（補正値Ｋを大きな値）とすることで、日陰にある暗くなった人物の顔の肌色を明るく強調（レフ板効果）でき、また、日が当たっている領域（明部領域）にあるもともと明るい顔の肌色には、輝度信号に対する重み値Ｋｃを小さい値（肌色検出部３６’で算出される補正値Ｋ４を小さい値）とすることで、顔のテカリ、飽和を抑えることができる。よって、画像中の特徴によって補正値Ｋを制御して強調も抑制もできる。
なお、各重み係数の最小値、重み関数の形状はそれぞれ異なっていてもよい。また、ゲイン制御を内分・外分制御で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、肌色領域でＫ＞０、その他の領域でＫ＝０またはＫ＜０となる値を予め設定した関数とすることで、同様の効果を奏する。
【０１２２】
次に、放送内容検出部３７’は、番組情報分離部３２から分離されたＥＰＧ表示用データ、現在、受信されているデータのジャンル情報や番組記述情報を検出し、補正値Ｋ５を算出する。なお、データのジャンル情報や画像の情報はＭＰＥＧのストリーム情報より検出してもよい。
放送内容検出部３７’は、例えば、図４６に示すように「ニュース」「スポーツ」「ワイドショー」「映画」「ドラマ」などの受信したコンテンツの種類を検出し、それぞれ補正値Ｋ５を算出する。ここでは、ゲイン制御を内分・外分制御で行う場合を説明する。
報道画像には撮影条件にばらつきがあり、暗い画像もあるのでめりはりをつけるため、コンテンツの種類が「ニュース」ならば補正値「１．３」を設定する。同様に、「スポーツ」ならば補正値「１．２」、スタジオなどで照明が考慮されている「ワイドショー」ならば補正値「１．０」、シックな映像が好ましい「映画」ならば補正値「０．７」、「ドラマ」ならば補正値「０．９」を設定する。このように、コンテンツに合わせて、補正値Ｋ５は予めテーブル化されている。これにより、画像の種類に応じて最適な補正値Ｋ５を設定できる。
【０１２３】
なお、このテーブルを外部より変更できるようにしてもよい。また、ゲイン制御を内分・外分制御で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、強調したいときはＫ＞０、補正なしはＫ＝０、抑制したときはＫ＜０となる値を設定することで、同様の効果を奏する。
次に、電界強度検出部３８’は、チューナ３１で受信された受信電波の電界強度を検出し、電界強度の強弱に応じて補正値Ｋ６を算出する。ゲイン制御を内分・外分制御で行う場合を説明する。例えば、電界強度が「強」の場合、補正値Ｋ６を「１．２」に設定し、電界強度が「弱」の場合、補正値Ｋ６を「０．８」に設定する。
なお、ゲイン制御を乗算値で行う場合を説明したが、ゲイン制御をオフセット値で行う場合は、電界強度が「強」の場合はＫ＝＋０．２となる値を設定し、電界強度が「弱」の場合はＫ＝−０．２となる値を設定することで、同様の効果を奏する。
【０１２４】
これにより、電界強度が弱くＳ／Ｎの悪い画像のノイズが強調されないように補正値Ｋ６を設定できる。
以上のように本実施形態によれば、信号レベル検出部３４’は、１フレーム内または１フィールド内の画像信号から検出した平均信号レベルに応じて補正値Ｋ３を算出する。視覚処理装置１’は、補正値Ｋ３に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
これにより、平均信号レベルに応じて補正値を設定でき、明るい画像でゲイン信号を制御し画像の信号レベルを抑えることができる。また、信号レベルを抑えることで、プラズマディスプレイパネルなどのディスプレイ装置で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を制限できるので、効果の高いコントラスト調整ができる。
【０１２５】
また、肌色検出部３６’は、予め設定される輝度信号、色度信号に応じた重み値Ｋａ、Ｋｂ、Ｋｃの演算により肌色らしさ度に応じて補正値Ｋ４を算出する。視覚処理装置１’は、補正値Ｋ４に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
これにより、所定の色領域と輝度領域で各重み値を上げる重み関数とすることで、日陰にある暗くなった人物の顔の肌色を明るく強調し、レフ板効果を持たせて肌色のくすみをとることができる。一方、日が当たっている領域にあるもともと明るい顔の肌色にテカリが出たり、飽和したりしないように抑制することができる。
また、放送内容検出部３７’は、受信したデータから番組情報を分離する番組情報分離部３２から検出した放送コンテンツに応じて補正値Ｋ５を算出する。視覚処理装置１’は補正値Ｋ５に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
【０１２６】
これにより、コンテンツごとに最適な補正値を設定でき、コンテンツに必要なコントラスト調整値に合わせた補正値を設定できる。
また、電界強度検出部３８’は、チューナ３１が画像データを受信したときの電界強度値に応じて補正値Ｋ６を算出する。視覚処理装置１’は補正値Ｋ６に応じて第１ゲイン信号ＧＡＩＮを補正することができる。
これにより、電界強度値より補正値を設定でき、電界強度が弱く受信データのＳ／Ｎが悪い画像を検出して画像全体に対するゲイン信号を制御でき、Ｓ／Ｎが悪い画像のノイズの強調を抑えることができる。
また、本発明の表示装置３０’は、通信または放送された画像データを受信するチューナ３１と、画像データを映像信号に復号するＡＶ復号部３３と、復号された映像信号を視覚処理して出力する視覚処理装置１’と、視覚処理された映像信号を表示する出力部３５を備えている。
【０１２７】
この構成により、画像のコントラスト調整で色飽和を抑えた視覚処理ができる表示装置３０’を実現できる。また、ゲイン信号を抑制することで明るい画像での信号レベルを抑え、プラズマディスプレイパネルなどの表示部で耐熱性を高め、消費電力を抑えることができる。また、表示する画像の平均信号レベルが所定のレベルを超えると画面全体の明るさを下げるような機能を持つプラズマディスプレイパネルでも機能が働くレベル以下にゲイン信号を抑制できるので、効果の高いコントラスト調整ができる。
（実施形態７）
つぎに、本発明の実施形態７として、上記で説明した視覚処理装置１または視覚処理装置１’の応用例とそれを用いたシステムについて図４７〜図５０を用いて説明する。
図４７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１２８】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図４７のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラなどの動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）などであり、いずれでも構わない。
【０１２９】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信などが可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバなどで行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラなどの静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１などで読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１３０】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６などで撮影しているコンテンツ（例えば、音楽ライブを撮影した映像など）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などがある。このように、コンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
コンテンツの表示に際して、上記実施の形態で説明した視覚処理装置を用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などは、上記実施の形態で示した視覚処理装置を備え、視覚処理方法、視覚処理プログラムを実現するものであってもよい。
【０１３１】
また、ストリーミングサーバｅｘ１０３は、視覚処理装置に対して、インターネットｅｘ１０１を介して２次元ゲインデータ（プロファイル）を提供するものであってもよい。さらに、ストリーミングサーバｅｘ１０３は複数台存在し、それぞれ異なる２次元ゲインデータを提供するものであってもよい。さらに、ストリーミングサーバｅｘ１０３は２次元ゲインデータの作成を行うものであってもよい。このように、インターネットｅｘ１０１を介して、視覚処理装置が２次元ゲインデータを取得できる場合、視覚処理装置は予め視覚処理に用いる２次元ゲインデータを記憶しておく必要がなく、視覚処理装置の記憶容量を削減することも可能となる。また、インターネットｅｘ１０１介して接続される複数のサーバから２次元ゲインデータを取得できるため、異なる視覚処理を実現することが可能となる。
【０１３２】
一例として携帯電話について説明する。
図４８は、上記実施の形態の視覚処理装置１または視覚処理装置１’を備えた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラなどの映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像などが復号化されたデータを表示する液晶ディスプレイなどの表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカなどの音声出力部ｅｘ２０８、音声入力をするためのマイクなどの音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータなど、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカードなどのプラスチックケース内に電気的に書き換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１３３】
さらに、携帯電話ｅｘ１１５について図４９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１３４】
携帯電話ｅｘ１１５は、中央処理装置（以下、「ＣＰＵ」という）、ＲＯＭ、ＲＡＭなどを備えた主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１３５】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してデジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１３６】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページなどにリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給するとともに当該音声データを音声処理部ｅｘ３０５に供給する。
【０１３７】
つぎに、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
以上の構成において、画像復号化部ｅｘ３０９は、上記実施の形態の視覚処理装置を備えていてもよい。
なお、上記システムの例に限らず、最近は衛星、地上波によるデジタル放送が話題となっており、図５０に示すようにデジタル放送用システムにも上記実施の形態で説明した視覚処理装置を組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備を持つ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはＳＴＢｅｘ４０７などの装置が上記実施の形態で説明した視覚処理装置を備えていてもよい。また、上記実施の形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤなどの蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたＳＴＢｅｘ４０７内に上記実施の形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときＳＴＢではなく、テレビ内に上記実施の形態で説明した視覚処理装置を組み込んでもよい。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７などから信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３などの表示装置に動画を再生することも可能である。
【０１３８】
さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。さらに、ＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の視覚処理装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は、例えば図４９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１などでも考えられる。
【０１３９】
また、上記携帯電話ｅｘ１１４などの装置は、符号化器・復号化器を両方持つ送受信型の装置の他に、符号化器のみの送信装置、復号化器のみの受信装置の３通りの実装形式が考えられる。
以上のように、本発明の実施形態７によれば、上記実施形態で説明した本発明に係る視覚処理装置または表示装置を、本発明の実施形態７におけるいずれの機器またはシステムにも用いることができ、上記実施形態で説明した本発明に係る視覚処理装置、表示装置における効果を機器またはシステムでも得ることができる。
また、上記実施形態で説明した本発明に係る視覚処理装置、視覚処理部、表示装置およびシステムにおける空間処理機能、視覚処理機能、補正機能、帯域制限機能、コントラスト強調機能などの各種機能は、集積回路などを用いたハードウェアにより実施してもよいし、ＣＰＵ、デジタル信号処理装置などを用いて動作するソフトウェアにより実施してもよい。また、ハードウェアおよびソフトウェアの混在処理により実施してもよい。
【０１４０】
まず、各種機能をハードウェアで実施する場合は、本発明の実施形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように１チップ化された集積回路としてもよい。
また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
【０１４１】
つぎに、各種機能をソフトウェアで実施する場合について、図５１を用いて説明する。図５１は、本発明の実施形態におけるコンピュータ４０の構成を示すブロック図である。
図５１において、コンピュータ４０は、各種プログラムの命令を実行するＣＰＵ４１と、プログラムなどが格納されているＲＯＭ４２と、一時記憶のデータを格納するＲＡＭ４３と、画像を入力する入力部４４と、画像を出力する出力部４５と、プログラムや各種データを記憶する記憶部４６とを備えている。
さらに、外部との通信を行う通信部４７と、情報記憶媒体を適宜接続するドライブ４８とを備えるようにしてもよい。
また、各機能部はバス４９を経由して制御信号、データなどの送受信を行う。
ＣＰＵ４１は、ＲＯＭ４２に記憶されているプログラム、または、記憶部４６に記憶されているプログラムか、ＲＡＭ４３に記憶されたプログラムにしたがって各種機能の処理を実行する。
【０１４２】
ＲＯＭ４２は、視覚処理プログラム、特性データなどを記憶している。
ＲＡＭ４３は、ＣＰＵ４１により各種機能の処理に必要なデータを一時記憶する。
入力部４４は、画像を入力する。たとえば、電波を受信して放送用画像データを取得し、取得した符号化画像データを復号化して、視覚処理装置１または視覚処理装置１’が処理できる画像データに変換してもよい。これにより、入力された画像データをＣＰＵ４１で視覚処理装置１または視覚処理装置１’の処理ステップを実施し、出力部４５で表示することで、デジタルテレビを実現できる。また、直接に有線を経由してデジタル画像を取得するようにしてもよい。
出力部４５は、画像を出力する。たとえば、液晶表示装置やプラズマディスプレイなどのディスプレイ装置に出力する。
【０１４３】
記憶部４６は、磁気メモリなどで構成され、視覚処理に必要なプログラム群であるソフトウェアを記憶する。なお、視覚処理のソフトウェアを構成するプログラムは、あらかじめコンピュータに専用のハードウェアで組み込んでもよいし、ＲＯＭ４２、記憶部４６にあらかじめ組み込んで提供してもよい。
通信部４７は、ネットワークなどに接続され、ネットワークを経由してプログラムを取得、または必要に応じて記憶部４６に取得したプログラムをインストールするようにしてもよい。これにより、コンピュータ４０は、通信部４７を経由してプログラムのダウンロードが可能となる。
ドライブ４８は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、たとえば、磁気ディスク、光磁気ディスク、光ディスクなどのディスク５０、または半導体メモリなどのメモリカード５１などである。また、ディスク５０、または半導体メモリなどのメモリカード５１などに各種機能を有するプログラム、特性データなどを記憶し、コンピュータ４０に、その情報を与えるようにしてもよい。
【０１４４】
プログラムは、コンピュータ４０に、入力した画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力する視覚処理ステップと、設定された所定の制限値で第１ゲイン信号を制限して第２ゲイン信号を出力するゲイン制限ステップと、第２ゲイン信号に基づいて画像信号を補正する補正ステップとを実行させる。
また、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップをさらに実行し、視覚処理ステップでは画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力するようにしてもよい。
また、プログラムは、コンピュータ４０に、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップと、画像信号と処理信号とに基づいた所定のゲイン特性を有するゲイン信号を出力する視覚処理ステップと、ゲイン信号に基づいて画像信号の階調を補正する補正ステップとを実行させる。
【０１４５】
また、視覚処理ステップでは、画像信号に応答可能な空間周波数の帯域を制限したゲイン信号を出力するようにしてもよい。
また、通信部４７に放送用画像データの受信部を備え、通信または放送された符号化画像データを受信部で復号化して、視覚処理装置１が処理できる画像データに変換してもよい。これにより、入力した画像データをＣＰＵ４１で視覚処理装置１’の処理ステップを実施し、出力部４５で表示することで、デジタルテレビを実現できる。
ここで、視覚処理装置１’の処理ステップとは、入力した画像信号を補正して出力する視覚処理装置において、画像信号に対して所定のゲイン特性を有する第１ゲイン信号を出力する視覚処理ステップと、設定された所定の補正値で第１ゲイン信号を補正して第２ゲイン信号を出力するゲイン制御ステップと、第２ゲイン信号に基づいて画像信号を補正する補正ステップとを実施すればよい。
【０１４６】
ここで、ゲイン制御ステップは、所定の補正値で１倍と第１ゲイン信号との差を拡大または縮小するステップを実施するようにしてもよい。
また、ゲイン制御ステップを、所定の補正値で１倍と第１ゲイン信号とを内分または外分するステップを実施するようにしてもよい。
なお、画像信号に対して所定の空間処理を行い、処理信号を出力する空間処理ステップをさらに実施し、画像信号と処理信号とに基づいたゲイン特性を有する第１ゲイン信号を出力する視覚処理ステップを実施してもよい。
以上の処理ステップは、ＲＯＭ４２、記憶部４６に格納されたプログラムにより、逐次ＣＰＵ４１で実行される。ここで、２次元ＬＵＴの一時記憶などはＲＡＭ４３を用いるようにしてもよい。
【０１４７】
また、プログラムは、情報処理装置、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、ゲーム機器などの画像を取り扱う機器に適用できる。プログラムは、画像を取り扱う機器に内蔵、あるいは接続される装置において、メモリ、ハードディスク、ＲＯＭなどの記憶装置に記憶され、コンピュータに画像のコントラスト調整などの視覚処理を実行させる。プログラムは、例えば、メモリカード５１、ディスク５０などの記録媒体を介して、あるいはネットワークを介して提供される。
また、視覚処理装置は、動画像を取り扱う機器に内蔵あるいは接続し、フレームごと、またはフィールドごとの画像の処理を行う装置であってもよい。
（他の実施形態）
従来のコントラスト調整技術（例えば、特開平４−１５０１７１号公報のもの）では、Ｒ、Ｇ、Ｂ映像信号を入力し、中間調レベルの明るさを変えることにより、ダイナミックレンジ内で画像の視覚的な明るさを調節するようにしていた。ここでは、補正係数Ｍをガンマ変換前とガンマ変換後の輝度信号Ｙに対する比の値とし、補正係数ＭをＲ、Ｇ、Ｂ信号の各々に乗じて出力することでＲ、Ｇ、Ｂ信号の比のバランスを変えずに明るさ調整していた。このコントラスト調整技術では、画像信号が増幅されて飽和すると、階調のグラデーションも飽和（所定の信号レベルにあたった状態）し、擬似輪郭など階調歪が発生し画質を劣化させるという課題があった。
【０１４８】
また、色の飽和は画素ごとに発生するため、画像の一部領域の階調、色の飽和を抑えるために画像全体に対してコントラストを下げると、色度信号のコントラストを弱め、色が薄くなるという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
また、別のコントラスト調整技術（例えば、特開２００１−２７５０１５号公報のもの）では、画像の平滑化した信号のみからゲイン係数を決定し、画像信号にゲイン係数を乗ずることで画像の明るさを調整する。
このコントラスト調整技術では、画像の暗部を明るくするため、入力画像を平滑化した信号が小さい場合にゲインが大きくなるよう設定すると、出力画像がオーバーフローして飽和し画質劣化が生じるという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
【０１４９】
ＲＧＢ信号を輝度信号と色度信号に分離し、輝度信号のコントラスト調整に対応して色度信号のコントラスト調整を行うコントラスト調整技術では、コントラスト調整された輝度信号と色度信号を再びＲＧＢ信号に戻したときに信号が飽和し、色の飽和を起こす可能性があるという課題があった。また、色飽和が発生するとＲＧＢ信号の色バランスが崩れ、色が変化するという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
撮影機器では、屋外で日中撮影された映像は専用ビデオライトなどの照明がないために多くの場合人物が逆光シーンになっており、このまま表示装置などで表示すると人物の顔が黒く再現されてしまう。そこで、人物の顔が適正な明るさになるように明るさ調整する技術がある（例えば、特開２００２−１８５７７１号公報のもの）。
【０１５０】
この技術では、逆光シーン画像で暗くなった人物の顔領域を明るくすると、もともと明るかった背景領域の輝度も上げられるため、信号が持つレンジの最大値で制限され、階調が飽和する。階調が飽和（信号レベルが最大値に固定した状態）すると、擬似輪郭など階調歪が発生し画質を劣化するという課題があった。このような課題を、上記実施形態で説明した視覚処理装置を備える表示装置および、その視覚処理装置を含む集積回路により解決することができる。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１５１】
本発明に係る視覚処理装置、表示装置および集積回路によれば、画像に対して、高性能なコントラスト調整を実施することができ、カラーテレビジョン装置、携帯装置、情報処理装置、撮影装置、携帯情報装置、デジタルスチルカメラおよびゲーム機器などに備えられた表示装置やプロジェクタおよびプリンタなどの出力装置などとして利用することができる。
【符号の説明】
【０１５２】
１，６０，８０、１’、６０’、８０’ 視覚処理装置
２ 空間処理部
３，６３ 視覚処理部
４、３３４ 制限値決定部
５ ゲイン制限部
３３５ ゲイン制御部
６，７，８，８２，８３，８４，９００ 乗算部
９，８１ 補正部
１０ 色飽和検出部
３３１ 色飽和検出部
１１ ＲＧＢ変換部
１２ 最大値検出部
１３ 第１制限値算出部
３４１ 第１補正値算出部
２０、３４２ レジスタ
２３、３６１ Ｍレジスタ
３１ チューナ
３２ 番組情報分離部
３３ ＡＶ復号部
３４、３４’ 信号レベル検出部
３５ 出力部
３６、３６’ 肌色検出部
３７、３７’ 放送内容検出部
３８、３８’ 電界強度検出部
４０ コンピュータ
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
４４ 入力部
４５ 出力部
４６ 記憶部
４７ 通信部
４８ ドライブ
４９ バス
５０ ディスク
５１ メモリカード
６１，９０３ 除算部
６２，９０１，９０２ 加算部
７０，７１，７２，７３，７４ ゲイン型視覚処理部
８５ 輝度色度変換部
９０，９８ 帯域制限部
９１，９２，９３ コントラスト強調部
【特許請求の範囲】
【請求項１】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
視覚処理装置。
【請求項２】
前記出力信号作成部は、
前記画像信号の空間周波数の帯域を制限した修正画像信号であって、前記処理信号の空間周波数の帯域よりも広い帯域の空間周波数を持つ前記修正画像信号を出力する帯域制限部を更に有し、
前記視覚処理部は、前記処理信号および前記修正画像信号により決定されるゲイン信号を出力することを特徴とする、
請求項１に記載の視覚処理装置。
【請求項３】
前記出力信号作成部は、
前記ゲイン信号の空間周波数の帯域を制限した修正ゲイン信号であって、前記処理信号の空間周波数の帯域よりも広い帯域の空間周波数を持つ前記修正ゲイン信号を出力する帯域制限部を更に有し、
前記補正部は、前記修正ゲイン信号に基づいて前記画像信号を補正し出力信号として出力することを特徴とする、
請求項１に記載の視覚処理装置。
【請求項４】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、第１処理信号を出力する第１空間処理部と、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、第２処理信号を出力する第２空間処理部と、
前記第１処理信号と前記第２処理信号とを入力とし、
前記第２処理信号の値を所定のレベルに固定した場合に、前記第１処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記第１空間処理部が空間処理する対象画素の周囲の画素の範囲は、前記第２空間処理部が空間処理する対象画素の周囲の画素の範囲より広く、
前記第２処理信号における空間周波数の帯域は、前記画像信号の空間周波数の帯域よりも狭く、前記第１処理信号の空間周波数の帯域よりも広く、
前記出力信号作成部は、
前記第１処理信号と前記第２処理信号に応じて、ゲイン信号を出力するゲイン信号出力部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有することを特徴とする、
視覚処理装置。
【請求項５】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
画像表示装置。
【請求項６】
映像信号を受信する受信部と、
前記映像信号を復号し画像信号を出力する復号部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
テレビジョン。
【請求項７】
映像信号を受信する受信部と、
前記映像信号を復号し画像信号を出力する復号部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
携帯情報端末。
【請求項８】
画像を撮影して画像信号を作成する撮影部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
カメラ。
【請求項９】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップを含み、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
視覚処理方法。
【請求項１０】
画像出力装置に用いられる集積回路であって、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップとを実行し、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
画像出力装置に用いられる集積回路。
【請求項１１】
コンピュータにより視覚処理を行う画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップと、
を含む視覚処理方法をコンピュータに行わせるものであり、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
画像処理プログラム。
【請求項１】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
視覚処理装置。
【請求項２】
前記出力信号作成部は、
前記画像信号の空間周波数の帯域を制限した修正画像信号であって、前記処理信号の空間周波数の帯域よりも広い帯域の空間周波数を持つ前記修正画像信号を出力する帯域制限部を更に有し、
前記視覚処理部は、前記処理信号および前記修正画像信号により決定されるゲイン信号を出力することを特徴とする、
請求項１に記載の視覚処理装置。
【請求項３】
前記出力信号作成部は、
前記ゲイン信号の空間周波数の帯域を制限した修正ゲイン信号であって、前記処理信号の空間周波数の帯域よりも広い帯域の空間周波数を持つ前記修正ゲイン信号を出力する帯域制限部を更に有し、
前記補正部は、前記修正ゲイン信号に基づいて前記画像信号を補正し出力信号として出力することを特徴とする、
請求項１に記載の視覚処理装置。
【請求項４】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、第１処理信号を出力する第１空間処理部と、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、第２処理信号を出力する第２空間処理部と、
前記第１処理信号と前記第２処理信号とを入力とし、
前記第２処理信号の値を所定のレベルに固定した場合に、前記第１処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記第１空間処理部が空間処理する対象画素の周囲の画素の範囲は、前記第２空間処理部が空間処理する対象画素の周囲の画素の範囲より広く、
前記第２処理信号における空間周波数の帯域は、前記画像信号の空間周波数の帯域よりも狭く、前記第１処理信号の空間周波数の帯域よりも広く、
前記出力信号作成部は、
前記第１処理信号と前記第２処理信号に応じて、ゲイン信号を出力するゲイン信号出力部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有することを特徴とする、
視覚処理装置。
【請求項５】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
画像表示装置。
【請求項６】
映像信号を受信する受信部と、
前記映像信号を復号し画像信号を出力する復号部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
テレビジョン。
【請求項７】
映像信号を受信する受信部と、
前記映像信号を復号し画像信号を出力する復号部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
前記出力信号を表示する表示部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
携帯情報端末。
【請求項８】
画像を撮影して画像信号を作成する撮影部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理部と、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成部と、
を備え、
前記出力信号作成部は、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理部と、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正部と、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
カメラ。
【請求項９】
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップを含み、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
視覚処理方法。
【請求項１０】
画像出力装置に用いられる集積回路であって、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップとを実行し、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
画像出力装置に用いられる集積回路。
【請求項１１】
コンピュータにより視覚処理を行う画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号に対して、対象画素の周囲の画素を用いた所定の空間処理を行い、処理信号を出力する空間処理ステップと、
前記処理信号と前記画像信号とを入力とし、
前記画像信号の値を所定のレベルに固定した場合に、前記処理信号の値に対して単調減少特性となる出力信号を出力する出力信号作成ステップと、
を含む視覚処理方法をコンピュータに行わせるものであり、
前記出力信号作成ステップは、
前記処理信号および前記画像信号により決定されるゲイン信号を出力する視覚処理ステップと、
前記ゲイン信号に基づいて前記画像信号を補正し出力信号として出力する補正ステップと、
を有し、
前記ゲイン信号の空間周波数の帯域は、前記画像信号の空間周波数の帯域を制限したものであり、且つ、前記処理信号の空間周波数の帯域よりも広いことを特徴とする、
画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【公開番号】特開２０１２−１０３６１（Ｐ２０１２−１０３６１Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１１−１６６６３６（Ｐ２０１１−１６６６３６）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【分割の表示】特願２００９−１１３８２８（Ｐ２００９−１１３８２８）の分割
【原出願日】平成１８年１０月５日（２００６．１０．５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【分割の表示】特願２００９−１１３８２８（Ｐ２００９−１１３８２８）の分割
【原出願日】平成１８年１０月５日（２００６．１０．５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]