画像処理回路、半導体装置、画像処理装置
【課題】画像解析結果と照度検知結果とに基づいたバックライト制御が可能な画像処理回路、半導体装置、並びに、画像処理装置を提供する。
【解決手段】画像処理ＩＣ２０は、入力画像の輝度補正を行い出力画像を生成する輝度補正部２１と、出力画像の輝度平均値を算出する輝度平均値算出部２２と、入力画像の輝度平均値を算出する輝度平均値算出部２３と、セレクタ２４と、輝度平均値の差分を算出する差分算出部２５と、輝度平均値または差分値に基づいてデューティ値を決定するデューティ値算出部２６と、デューティ値の決定に用いられるテーブルを格納したレジスタ２７と、入力ＰＷＭ信号のデューティ値を算出するデューティ値算出部２８と、デューティ値を示す複数の制御信号を入力し、両制御信号が示すデューティ値に基づいて出力ＰＷＭ信号のデューティ値を決定する協調処理部２９と、を有する。
【解決手段】画像処理ＩＣ２０は、入力画像の輝度補正を行い出力画像を生成する輝度補正部２１と、出力画像の輝度平均値を算出する輝度平均値算出部２２と、入力画像の輝度平均値を算出する輝度平均値算出部２３と、セレクタ２４と、輝度平均値の差分を算出する差分算出部２５と、輝度平均値または差分値に基づいてデューティ値を決定するデューティ値算出部２６と、デューティ値の決定に用いられるテーブルを格納したレジスタ２７と、入力ＰＷＭ信号のデューティ値を算出するデューティ値算出部２８と、デューティ値を示す複数の制御信号を入力し、両制御信号が示すデューティ値に基づいて出力ＰＷＭ信号のデューティ値を決定する協調処理部２９と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、画像を表示する際におけるＬＣＤ（Liquid Crystal Display）のバックライト制御について、画像の階調を解析した結果や、照度センサで検知した照度に基づいてバックライト制御を行う制御方法が開示・提案されている（例えば特許文献１や特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４３２３号公報
【特許文献２】国際公開第２００８／１１７７８４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のバックライト制御ＩＣは、画像解析結果に基づいたバックライト制御か、或いは、照度センサの検知結果に基づいたバックライト制御の、いずれか一方しか行うことができなかった。
【０００５】
一方、ＬＣＤを備えた画像処理装置には、上記のバックライト制御ＩＣとは別に、画像処理ＩＣが含まれている。画像処理ＩＣは、入力画像データに輝度変換処理等を施して出力画像データを生成する。しかしながら、従来の画像処理ＩＣは、あくまでＬＣＤに出力画像データを供給するものであって、ＬＣＤのバックライト制御（特に、画像解析結果に応じたバックライト制御と照度センサの検知結果に基づいたバックライト制御との両立）を考慮したものではなかった。
【０００６】
本発明は、本願の発明者により見出された上記の問題点に鑑み、画像データの解析処理に加えて画像解析結果に基づいたバックライト制御と照度検知結果に基づいたバックライト制御とを両立することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像データに画像処理を施して出力画像データを生成する画像処理部と、外部入力されるＰＷＭ（Pulse Width Modulation）信号のデューティ値を判別し、該デューティ値を示す第１制御信号を生成する第１デューティ制御部と、前記画像処理部の処理結果に基づいたデューティ値を決定し、該デューティ値を示す第２制御信号を生成する第２デューティ制御部と、前記第１制御信号と前記第２制御信号とに基づいて、出力するＰＷＭ信号のデューティ値を決定する協調処理部と、を有する構成（第１の構成）とされている。
【０００８】
なお、上記第１の構成から成る画像処理回路は、前記協調処理部が、前記第１制御信号が示すデューティ値と前記第２制御信号が示すデューティ値とを乗算することにより、出力するＰＷＭ信号のデューティ値を決定する構成（第２の構成）にするとよい。
【０００９】
また、上記第２の構成から成る画像処理回路は、第１デューティ制御部が、照度センサの照度検知結果に基づいて生成されたＰＷＭ信号を入力とし、該ＰＷＭ信号のデューティ値を判別し、該デューティ値を示す前記第１制御信号を生成することを特徴とする構成（第３の構成）にするとよい。
【００１０】
また、上記第３の構成から成る画像処理回路は、前記画像処理部が、前記入力画像データの輝度ヒストグラムに基づいて前記入力画像データから前記出力画像データを生成し、前記画像処理回路は、前記出力画像データの輝度平均値を算出する第１輝度平均値算出部をさらに有し、前記第２デューティ制御部は、前記輝度平均値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする構成（第４の構成）にするとよい。
【００１１】
また、上記第４の構成から成る画像処理回路は、前記出力画像データの輝度平均値とデューティ値とを関連付けた第１テーブルを格納するレジスタをさらに有し、前記第２デューティ制御部は、デューティ値の決定に際して前記第１テーブルを参照することを特徴とする構成（第５の構成）にするとよい。
【００１２】
また、上記第５の構成から成る画像処理回路は、前記画像処理回路が、前記入力画像データの輝度平均値を算出する第２輝度平均値算出部と、前記第１輝度平均値算出部により算出された輝度平均値と前記第２輝度平均値算出部により算出された輝度平均値との差分値を算出する差分算出部とをさらに有し、前記第２デューティ制御部は、前記差分値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする構成（第６の構成）にするとよい。
【００１３】
また、上記第６の構成から成る画像処理回路は、前記差分値とデューティ値とを関連付けた第２テーブルを格納するレジスタをさらに有し、前記第２デューティ制御部は、デューティ値の決定に際して前記第２テーブルを参照する構成（第７の構成）としてもよい。
【００１４】
また、本発明に係る半導体装置は、上記第１〜第７いずれかの構成から成る画像処理回路を集積化した構成（第８の構成）とされている。
【００１５】
また、本発明に係る画像処理装置は、上記第８の構成から成る半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、を有する構成（第９の構成）とされている。
【００１６】
また、上記第９の構成から成る画像処理装置は、前記第１テーブル及び前記第２テーブルの内容を書き換えるためのインタフェイス部をさらに有する構成（第１０の構成）としてもよい。
【発明の効果】
【００１７】
本発明によれば、照度検知結果と画像解析結果とを協調した輝度制御を実施することが可能な画像処理回路及びこれを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る画像処理装置の第１実施形態を示すブロック図
【図２】画像処理の全体的な流れを説明するためのタイムチャート
【図３】輝度変換係数の算出処理を説明するためのフローチャート
【図４】エリア分割の態様を説明するための模式図
【図５】仮想エリアが設定された状態を説明するための模式図
【図６】ローパスフィルタの態様を説明するための模式図
【図７】バイリニア演算について説明するための模式図
【図８】本発明に係る画像処理装置の第２実施形態を示すブロック図
【図９】第１変換テーブルを示す模式図
【図１０】第２変換テーブルを示す模式図
【図１１】ＰＷＭ信号の波形を示す波形図
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。第１実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４を有する。
【００２０】
撮像部１０は、所定のレンズ群や撮像素子（例えば、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、撮像部１０で生成された入力画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。なお、入力画像データの生成手段は、撮像部１０に限定されるものではなく、その他の画像入力部（メディア再生装置や放送受信装置など）を用いても構わない。
【００２１】
輝度変換処理部１１は、撮像部１０からの入力画像データに輝度変換処理を施して出力画像データを生成する。この輝度変換処理は、入力画像データに含まれる各画素の輝度値を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。なお、輝度変換処理部１１で生成された出力画像データは、出力部１４に逐次出力される。
【００２２】
輝度変換係数算出部１２は、撮像部１０から入力されるフレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
【００２３】
輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。
【００２４】
出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば、車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像データを逐次表示する。
【００２５】
上記構成から成る画像処理装置１は、撮像部で得られた入力画像データに所定の輝度変換処理を施して出力画像データを生成し、この出力画像データに応じた映像表示を行う。
【００２６】
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。
【００２７】
次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。
【００２８】
図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。本図に示したように、第ｎ番目のフレームに係る入力画像データが到来すると、輝度変換係数算出部１２は、入力画像データに基づいて輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。
【００２９】
一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像データに対して、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
【００３０】
より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像データは、出力部１４を通じて出力される。
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ） ・・・（１）
【００３１】
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像データに対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理及び画像出力を実行することが可能となる。その結果、入力画像データに輝度変換処理を施した出力画像データを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【００３２】
なお、第ｎ番目のフレームに係る入力画像データに対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、入力画像データとして動きの大きい動画データを取り扱う場合に顕著となる。また、例えば、入力画像データとして静止画データを取り扱う場合などにおいては、第ｎ番目のフレームに係る入力画像データに対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。
【００３３】
次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。
【００３４】
図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。本フローチャートで例示する処理では、まず、１フレーム分の入力画像データに対してエリア分割を行う（ステップＳ１１）。
【００３５】
図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。なお、本図の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。
【００３６】
エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。なお、このエリア別変換係数の算出に際しては、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラムが算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像データにおいて高頻度な輝度範囲であるほど、出力画像データにおいて広い輝度範囲が割り当てられることとなる。
【００３７】
図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像データの輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることができる。
【００３８】
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。
【００３９】
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。
【００４０】
図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。
【００４１】
そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものであり、エリア別変換係数と同様の形式をとるものである。
【００４２】
上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。
【００４３】
なお、仮想係数の設定方法は、上述のほか、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。
【００４４】
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。
【００４５】
図６は、ローパスフィルタの態様を説明するための図である。
【００４６】
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。
【００４７】
例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。
ａ´（０）＝ａ（０）／２＋{ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）}／８
【００４８】
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおけるエリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
【００４９】
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像データの輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素毎に決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。
【００５０】
ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。
【００５１】
図７は、バイリニア演算について説明するための図である。ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。
【００５２】
そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数{ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）}と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。
【００５３】
より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。
ｐ（Ｐ）＝｛ ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ } ／（Ｘ×Ｙ）
【００５４】
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリア及び仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
【００５５】
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００５６】
上記したように、本実施形態の画像処理装置１であれば、画像全体からみると出現頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。
【００５７】
＜第２実施形態＞
次に、本発明に係る画像処理回路の第２実施形態について詳細に説明する。図８は、本発明に係る画像処理回路の第２実施形態を示すブロック図である。
【００５８】
画像処理ＩＣ２０は、撮像部１０で得られる入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する半導体装置である。図８に示すように、画像処理ＩＣ２０は、撮像部１０等から入力される入力画像信号であるＤＩに輝度変換処理を施し、出力画像信号であるＤＯを生成し、出力する。
【００５９】
まず、画像処理ＩＣ２０に外部接続される装置について説明する。照度センサ９０は、周囲光の照度に応じた検出信号を生成し、これをＣＰＵ９１に送出する。なお、照度センサ９０は、画像処理装置１に入射される周囲光の照度を精度良く測定すべく、できる限り画像処理装置１の近傍に配設することが望ましい。また、照度センサ９０の受光素子としては、フォトダイオードやフォトトランジスタを用いることができる。
【００６０】
また画像処理ＩＣ２０は、ＣＰＵ９１等から入力される入力ＰＷＭ信号であるＰＷＭＩに対し、後述する協調処理を施し、出力ＰＷＭ信号であるＰＷＭＯを生成し、バックライト３０へ出力する。
【００６１】
ＣＰＵ９１は、照度センサ９０で得られる検出信号に基づいて、バックライト制御用のＰＷＭ信号を生成するためのデューティ値を決定する。そして決定したデューティ値を用いて、ＰＷＭＩを生成し、画像処理ＩＣ２０へ送出する。
【００６２】
インタフェイス部９２は、後述するレジスタ２７に格納されている情報をユーザが書き換えるためのものである。より具体的には、操作ボタン、または制御信号の入力端子（共に不図示）等を含むように構成されている。
【００６３】
画像処理ＩＣ２０は、輝度補正部２１と、輝度平均値算出部２２と、輝度平均値算出部２３と、セレクタ２４と、差分算出部２５と、デューティ値算出部２６と、レジスタ２７と、デューティ値算出部２８と、協調処理部２９と、を集積化して成る。
【００６４】
輝度補正部２１は、ＤＩに輝度補正を施してＤＯを生成し、出力部１４と、次に説明する輝度平均値算出部２２とに出力する。なお輝度補正部２１が実施する輝度補正処理の詳細は、第１実施形態の輝度変換処理部１１、輝度変換係数算出部１２、及び輝度変換係数１３が実施する処理と同様であるため、ここでは説明を省略する。
【００６５】
輝度平均値算出部２２は、ＤＯに含まれる輝度成分をモニタすることで、出力画像の輝度平均値を算出する。そして算出した輝度平均値を、セレクタ２４を介して、デューティ値算出部２６へ送出する。なお、上記した輝度平均値の算出は、例えばＤＯに含まれる輝度ヒストグラムを取得することにより行う。或いは、ＤＯの各画素の輝度値を加算し、総画素数で除算することにより算出する方法でもよい。
【００６６】
輝度平均値算出部２３は、ＤＩに含まれる輝度平均をモニタすることで、入力画像の輝度ヒストグラムを取得して輝度平均値を算出する。そして算出した輝度平均値を、差分算出部２５へ送出する。なお、輝度平均値算出部２３が実施する処理の詳細は輝度平均値算出部２２と同様である。
【００６７】
セレクタ２４は、輝度平均値算出部２２より入力される信号と、差分算出部２５より入力される信号とのいずれか一方のみをデューティ値算出部２６へ出力する。つまり、出力画像の輝度平均値の算出結果を示す信号と、輝度平均値の差分値を示す信号とのいずれか一方のみをデューティ値算出部２６へ出力する。なお、いずれを出力するかの決定は、インタフェイス部９２等を用いて受け付けたユーザ指定に基づいて行う。
【００６８】
ユーザは、セレクタ２４を操作することにより、例えば輝度平均値を用いてデューティ値を決定したい場合に、輝度平均値算出部２２より入力される信号をデューティ値算出部２６へ送出するよう切り換えることが可能である。また、輝度平均値差分を用いてデューティ値を決定したい場合に、差分算出部２５より入力される信号をデューティ値算出部２６へ送出するよう切り換えることが可能である。
【００６９】
差分算出部２５は、輝度平均値２２で算出された輝度平均値と輝度平均値２３で算出された輝度平均値との差分値を算出する。そして算出した差分値を示す信号を、セレクタ２４を介して、デューティ値算出部２６へ送出する。
【００７０】
デューティ値算出部２６は、輝度平均値２２より入力される輝度平均値、または差分算出部２５より入力される輝度平均値差分に基づいて、バックライト３０の制御に用いられるＰＷＭ信号のデューティ値を算出する。そして算出したデューティ値を示す制御信号Ｓ２（第２制御信号）を、後述する協調処理部２９へ出力する。
【００７１】
より具体的には、デューティ値算出部２６は、輝度平均値２２より入力される輝度平均値をテーブル変換することで、ＰＷＭ信号のデューティ値を決定する。変換に用いる第１テーブルは、レジスタ２７に予め格納されている。
【００７２】
またデューティ値算出部２６は、差分算出部２５より入力される輝度平均値差分をテーブル変換することで、ＰＷＭ信号のデューティ値を決定する。変換に用いる第２テーブルは、レジスタ２７に予め格納されている。
【００７３】
なお、デューティ値算出部２６が上記の二つの処理のいずれを行うかは、入力されるデータの種別に応じて決定するものとする。つまり、輝度平均値が入力された場合は第１テーブルを参照し、輝度平均値差分が入力された場合は第２テーブルを参照する。
【００７４】
レジスタ２７は、入力画像データの輝度平均値とデューティ値とを関連付けた第１テーブル（図９）と、差分算出部２５により算出された差分値とデューティ値とを関連付けた第２テーブル（図１０）とを格納する。デューティ値算出部２６は、デューティ値の決定に際して第１テーブルまたは第２テーブルを参照する。
【００７５】
図９は、デューティ値算出部２６で用いられる第１テーブルの一例を示す図である。なお、図９の横軸は、輝度平均値算出部２２により得られた輝度平均値を示しており、縦軸は、ＰＷＭ信号のデューティ値を示している。
【００７６】
図１０は、デューティ値算出部２６で用いられる第２テーブルの一例を示す図である。なお、図１０の横軸は、差分値算出部２５により得られた輝度平均値差分を示しており、縦軸は、ＰＷＭ信号のデューティ値を示している。
【００７７】
上記の変換テーブルを用いることで、輝度平均値または輝度平均値差分と、ＰＷＭ信号のデューティ値との相関関係、延いては、ＰＷＭ信号のハイレベル幅（Ｈ幅）を任意に設定することが可能となる。また、上記の変換テーブルは、インタフェイス部９２を用いてユーザが任意に書き換えられる。
【００７８】
デューティ値算出部２８は、ＰＷＭＩの波形を計測し、ＰＷＭＩのデューティ値を算出する。そして算出したデューティ値を示す制御信号Ｓ１（第一制御信号）を、協調処理部２９へ出力する。
【００７９】
協調処理部２９は、Ｓ１とＳ２とを入力し、両制御信号が示すデューティ値に基づいて、ＰＷＭＯのデューティ値を決定する。そして決定したデューティ値によるＰＷＭＯを生成して、バックライト３０へ送出する。
【００８０】
より具体的には、協調処理部２９は、上記の両制御信号が示すデューティ値を乗算することにより、ＰＷＭＯのデューティ値を決定する。この算出処理の一例を、図１１を用いて説明する。
【００８１】
図１１（ａ）はＰＷＭＩの波形を示したものであり、ＰＷＭＩのデューティ値はＳ１に基づいて生成可能なＰＷＭ信号を模式的に表したものである。また図１１（ｂ）は、ＰＷＭＯの波形を示したものである。また図１１（ｃ）は、Ｓ２に基づいて生成可能なＰＷＭ信号を模式的に表したものである。
【００８２】
図１１に示すように、ＰＷＭ信号は、所定のサイクルでハイレベル期間（オン期間）とローレベル期間（オフ期間）を交互に繰り返すパルス信号である。このデューティ値を可変制御することで、バックライト３０に流す駆動電流の平均値を調整することが可能となる。すなわち、ＰＷＭ信号のデューティ値を大きくするほど、バックライト３０は明るくなり、ＰＷＭ信号のデューティ値を小さくするほど、バックライト３０は暗くなる。
【００８３】
協調処理部２９は、Ｓ１が示すデューティ値をｄ（Ｓ１）、Ｓ２が示すデューティ値をｄ（Ｓ２）、ＰＷＭＯのデューティ値をｄ（Ｓ３）とした場合、ｄ（Ｓ３）を次のように求める。
ｄ（Ｓ３）＝ｄ（Ｓ１）×ｄ（Ｓ２）
【００８４】
例えば本図左に示すように、Ｓ１のデューティ値が５０％であり、Ｓ２のデューティ値が１００％である場合、協調処理部２９は下記のように演算を行う。
（５０／１００）×（１００／１００）＝（５０／１００）
この結果、ＰＷＭＯのデューティ値は５０％となる。
【００８５】
また例えば本図中央に示すように、Ｓ１のデューティ値が５０％であり、Ｓ２のデューティ値が５０％である場合、協調処理部２９は下記のように演算を行う。
（５０／１００）×（５０／１００）＝（２５／１００）
この結果、ＰＷＭＯのデューティ値は２５％となる。
【００８６】
また例えば本図右に示すように、Ｓ１のデューティ値が５０％であり、Ｓ２のデューティ値が２５％である場合、協調処理部２９は下記のように演算を行う。
（５０／１００）×（２５／１００）＝（１２．５／１００）
この結果、ＰＷＭＯのデューティ値は１２．５％となる。
【００８７】
以上のように、Ｓ１が示すデューティ値とＳ２が示すデューティ値とを乗算することにより、照度センサ９０による検知結果と、輝度補正部２１による輝度補正結果との両方を考慮したＰＷＭ信号を生成することが可能である。これにより、照度検知結果と画像解析結果とを協調した輝度制御を実施することが可能である。
＜その他の変形例＞
【００８８】
なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【００８９】
なお上記の実施形態では、フレーム単位での輝度制御を前提としており、従ってローカルディミングを行っていない。しかし、画素（もしくはエリア）単位の輝度制御を実施するローカルディミングにおいて、本発明の輝度制御を実施する形態でもよい。この際、変換テーブルの内容も、ローカルディミングの制御内容に併せて適宜変更することが可能である。
【００９０】
また上記の実施形態では、輝度補正部２１による輝度補正結果に基づいてＳ２を生成しているが、これ以外の画像処理結果、例えば色調変換処理等の処理結果に基づいてＳ２を生成する形態でもよい。
【００９１】
また本発明の画像処理装置としては、例えばテレビジョン装置、ハードディスクレコーダ、ビデオカメラ等の装置のほか、インターネットを介して提供される映像コンテンツの再生機能を備えたパーソナルコンピュータ等を用いることができる。
【産業上の利用可能性】
【００９２】
本発明は、入力画像データに輝度変換処理を施して出力画像データを生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の視認性を高める上で有用な技術である。
【符号の説明】
【００９３】
１ 画像処理装置
１０ 撮像部
１１ 輝度変換処理部
１２ 輝度変換係数算出部
１３ 輝度変換係数記憶部
１４ 出力部
２０ 画像処理ＩＣ（半導体装置）
２１ 輝度補正部（画像処理部）
２２ 輝度平均値算出部（第１輝度平均値算出部）
２３ 輝度平均値算出部（第２輝度平均値算出部）
２４ セレクタ
２５ 差分算出部
２６ デューティ値算出部（第２デューティ制御部）
２７ レジスタ
２８ デューティ値算出部（第１デューティ制御部）
２９ 協調処理部
３０ バックライト
９０ 照度センサ
９１ ＣＰＵ
９２ インタフェイス部
【技術分野】
【０００１】
本発明は、画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、画像を表示する際におけるＬＣＤ（Liquid Crystal Display）のバックライト制御について、画像の階調を解析した結果や、照度センサで検知した照度に基づいてバックライト制御を行う制御方法が開示・提案されている（例えば特許文献１や特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４３２３号公報
【特許文献２】国際公開第２００８／１１７７８４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のバックライト制御ＩＣは、画像解析結果に基づいたバックライト制御か、或いは、照度センサの検知結果に基づいたバックライト制御の、いずれか一方しか行うことができなかった。
【０００５】
一方、ＬＣＤを備えた画像処理装置には、上記のバックライト制御ＩＣとは別に、画像処理ＩＣが含まれている。画像処理ＩＣは、入力画像データに輝度変換処理等を施して出力画像データを生成する。しかしながら、従来の画像処理ＩＣは、あくまでＬＣＤに出力画像データを供給するものであって、ＬＣＤのバックライト制御（特に、画像解析結果に応じたバックライト制御と照度センサの検知結果に基づいたバックライト制御との両立）を考慮したものではなかった。
【０００６】
本発明は、本願の発明者により見出された上記の問題点に鑑み、画像データの解析処理に加えて画像解析結果に基づいたバックライト制御と照度検知結果に基づいたバックライト制御とを両立することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像データに画像処理を施して出力画像データを生成する画像処理部と、外部入力されるＰＷＭ（Pulse Width Modulation）信号のデューティ値を判別し、該デューティ値を示す第１制御信号を生成する第１デューティ制御部と、前記画像処理部の処理結果に基づいたデューティ値を決定し、該デューティ値を示す第２制御信号を生成する第２デューティ制御部と、前記第１制御信号と前記第２制御信号とに基づいて、出力するＰＷＭ信号のデューティ値を決定する協調処理部と、を有する構成（第１の構成）とされている。
【０００８】
なお、上記第１の構成から成る画像処理回路は、前記協調処理部が、前記第１制御信号が示すデューティ値と前記第２制御信号が示すデューティ値とを乗算することにより、出力するＰＷＭ信号のデューティ値を決定する構成（第２の構成）にするとよい。
【０００９】
また、上記第２の構成から成る画像処理回路は、第１デューティ制御部が、照度センサの照度検知結果に基づいて生成されたＰＷＭ信号を入力とし、該ＰＷＭ信号のデューティ値を判別し、該デューティ値を示す前記第１制御信号を生成することを特徴とする構成（第３の構成）にするとよい。
【００１０】
また、上記第３の構成から成る画像処理回路は、前記画像処理部が、前記入力画像データの輝度ヒストグラムに基づいて前記入力画像データから前記出力画像データを生成し、前記画像処理回路は、前記出力画像データの輝度平均値を算出する第１輝度平均値算出部をさらに有し、前記第２デューティ制御部は、前記輝度平均値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする構成（第４の構成）にするとよい。
【００１１】
また、上記第４の構成から成る画像処理回路は、前記出力画像データの輝度平均値とデューティ値とを関連付けた第１テーブルを格納するレジスタをさらに有し、前記第２デューティ制御部は、デューティ値の決定に際して前記第１テーブルを参照することを特徴とする構成（第５の構成）にするとよい。
【００１２】
また、上記第５の構成から成る画像処理回路は、前記画像処理回路が、前記入力画像データの輝度平均値を算出する第２輝度平均値算出部と、前記第１輝度平均値算出部により算出された輝度平均値と前記第２輝度平均値算出部により算出された輝度平均値との差分値を算出する差分算出部とをさらに有し、前記第２デューティ制御部は、前記差分値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする構成（第６の構成）にするとよい。
【００１３】
また、上記第６の構成から成る画像処理回路は、前記差分値とデューティ値とを関連付けた第２テーブルを格納するレジスタをさらに有し、前記第２デューティ制御部は、デューティ値の決定に際して前記第２テーブルを参照する構成（第７の構成）としてもよい。
【００１４】
また、本発明に係る半導体装置は、上記第１〜第７いずれかの構成から成る画像処理回路を集積化した構成（第８の構成）とされている。
【００１５】
また、本発明に係る画像処理装置は、上記第８の構成から成る半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、を有する構成（第９の構成）とされている。
【００１６】
また、上記第９の構成から成る画像処理装置は、前記第１テーブル及び前記第２テーブルの内容を書き換えるためのインタフェイス部をさらに有する構成（第１０の構成）としてもよい。
【発明の効果】
【００１７】
本発明によれば、照度検知結果と画像解析結果とを協調した輝度制御を実施することが可能な画像処理回路及びこれを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る画像処理装置の第１実施形態を示すブロック図
【図２】画像処理の全体的な流れを説明するためのタイムチャート
【図３】輝度変換係数の算出処理を説明するためのフローチャート
【図４】エリア分割の態様を説明するための模式図
【図５】仮想エリアが設定された状態を説明するための模式図
【図６】ローパスフィルタの態様を説明するための模式図
【図７】バイリニア演算について説明するための模式図
【図８】本発明に係る画像処理装置の第２実施形態を示すブロック図
【図９】第１変換テーブルを示す模式図
【図１０】第２変換テーブルを示す模式図
【図１１】ＰＷＭ信号の波形を示す波形図
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。第１実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４を有する。
【００２０】
撮像部１０は、所定のレンズ群や撮像素子（例えば、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、撮像部１０で生成された入力画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。なお、入力画像データの生成手段は、撮像部１０に限定されるものではなく、その他の画像入力部（メディア再生装置や放送受信装置など）を用いても構わない。
【００２１】
輝度変換処理部１１は、撮像部１０からの入力画像データに輝度変換処理を施して出力画像データを生成する。この輝度変換処理は、入力画像データに含まれる各画素の輝度値を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。なお、輝度変換処理部１１で生成された出力画像データは、出力部１４に逐次出力される。
【００２２】
輝度変換係数算出部１２は、撮像部１０から入力されるフレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
【００２３】
輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。
【００２４】
出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば、車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像データを逐次表示する。
【００２５】
上記構成から成る画像処理装置１は、撮像部で得られた入力画像データに所定の輝度変換処理を施して出力画像データを生成し、この出力画像データに応じた映像表示を行う。
【００２６】
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。
【００２７】
次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。
【００２８】
図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。本図に示したように、第ｎ番目のフレームに係る入力画像データが到来すると、輝度変換係数算出部１２は、入力画像データに基づいて輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。
【００２９】
一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像データに対して、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
【００３０】
より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像データは、出力部１４を通じて出力される。
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ） ・・・（１）
【００３１】
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像データに対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理及び画像出力を実行することが可能となる。その結果、入力画像データに輝度変換処理を施した出力画像データを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【００３２】
なお、第ｎ番目のフレームに係る入力画像データに対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、入力画像データとして動きの大きい動画データを取り扱う場合に顕著となる。また、例えば、入力画像データとして静止画データを取り扱う場合などにおいては、第ｎ番目のフレームに係る入力画像データに対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。
【００３３】
次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。
【００３４】
図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。本フローチャートで例示する処理では、まず、１フレーム分の入力画像データに対してエリア分割を行う（ステップＳ１１）。
【００３５】
図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。なお、本図の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。
【００３６】
エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。なお、このエリア別変換係数の算出に際しては、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラムが算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像データにおいて高頻度な輝度範囲であるほど、出力画像データにおいて広い輝度範囲が割り当てられることとなる。
【００３７】
図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像データの輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることができる。
【００３８】
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。
【００３９】
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。
【００４０】
図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。
【００４１】
そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものであり、エリア別変換係数と同様の形式をとるものである。
【００４２】
上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。
【００４３】
なお、仮想係数の設定方法は、上述のほか、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。
【００４４】
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。
【００４５】
図６は、ローパスフィルタの態様を説明するための図である。
【００４６】
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。
【００４７】
例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。
ａ´（０）＝ａ（０）／２＋{ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）}／８
【００４８】
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおけるエリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
【００４９】
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像データの輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素毎に決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。
【００５０】
ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。
【００５１】
図７は、バイリニア演算について説明するための図である。ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。
【００５２】
そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数{ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）}と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。
【００５３】
より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。
ｐ（Ｐ）＝｛ ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ } ／（Ｘ×Ｙ）
【００５４】
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリア及び仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
【００５５】
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００５６】
上記したように、本実施形態の画像処理装置１であれば、画像全体からみると出現頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。
【００５７】
＜第２実施形態＞
次に、本発明に係る画像処理回路の第２実施形態について詳細に説明する。図８は、本発明に係る画像処理回路の第２実施形態を示すブロック図である。
【００５８】
画像処理ＩＣ２０は、撮像部１０で得られる入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する半導体装置である。図８に示すように、画像処理ＩＣ２０は、撮像部１０等から入力される入力画像信号であるＤＩに輝度変換処理を施し、出力画像信号であるＤＯを生成し、出力する。
【００５９】
まず、画像処理ＩＣ２０に外部接続される装置について説明する。照度センサ９０は、周囲光の照度に応じた検出信号を生成し、これをＣＰＵ９１に送出する。なお、照度センサ９０は、画像処理装置１に入射される周囲光の照度を精度良く測定すべく、できる限り画像処理装置１の近傍に配設することが望ましい。また、照度センサ９０の受光素子としては、フォトダイオードやフォトトランジスタを用いることができる。
【００６０】
また画像処理ＩＣ２０は、ＣＰＵ９１等から入力される入力ＰＷＭ信号であるＰＷＭＩに対し、後述する協調処理を施し、出力ＰＷＭ信号であるＰＷＭＯを生成し、バックライト３０へ出力する。
【００６１】
ＣＰＵ９１は、照度センサ９０で得られる検出信号に基づいて、バックライト制御用のＰＷＭ信号を生成するためのデューティ値を決定する。そして決定したデューティ値を用いて、ＰＷＭＩを生成し、画像処理ＩＣ２０へ送出する。
【００６２】
インタフェイス部９２は、後述するレジスタ２７に格納されている情報をユーザが書き換えるためのものである。より具体的には、操作ボタン、または制御信号の入力端子（共に不図示）等を含むように構成されている。
【００６３】
画像処理ＩＣ２０は、輝度補正部２１と、輝度平均値算出部２２と、輝度平均値算出部２３と、セレクタ２４と、差分算出部２５と、デューティ値算出部２６と、レジスタ２７と、デューティ値算出部２８と、協調処理部２９と、を集積化して成る。
【００６４】
輝度補正部２１は、ＤＩに輝度補正を施してＤＯを生成し、出力部１４と、次に説明する輝度平均値算出部２２とに出力する。なお輝度補正部２１が実施する輝度補正処理の詳細は、第１実施形態の輝度変換処理部１１、輝度変換係数算出部１２、及び輝度変換係数１３が実施する処理と同様であるため、ここでは説明を省略する。
【００６５】
輝度平均値算出部２２は、ＤＯに含まれる輝度成分をモニタすることで、出力画像の輝度平均値を算出する。そして算出した輝度平均値を、セレクタ２４を介して、デューティ値算出部２６へ送出する。なお、上記した輝度平均値の算出は、例えばＤＯに含まれる輝度ヒストグラムを取得することにより行う。或いは、ＤＯの各画素の輝度値を加算し、総画素数で除算することにより算出する方法でもよい。
【００６６】
輝度平均値算出部２３は、ＤＩに含まれる輝度平均をモニタすることで、入力画像の輝度ヒストグラムを取得して輝度平均値を算出する。そして算出した輝度平均値を、差分算出部２５へ送出する。なお、輝度平均値算出部２３が実施する処理の詳細は輝度平均値算出部２２と同様である。
【００６７】
セレクタ２４は、輝度平均値算出部２２より入力される信号と、差分算出部２５より入力される信号とのいずれか一方のみをデューティ値算出部２６へ出力する。つまり、出力画像の輝度平均値の算出結果を示す信号と、輝度平均値の差分値を示す信号とのいずれか一方のみをデューティ値算出部２６へ出力する。なお、いずれを出力するかの決定は、インタフェイス部９２等を用いて受け付けたユーザ指定に基づいて行う。
【００６８】
ユーザは、セレクタ２４を操作することにより、例えば輝度平均値を用いてデューティ値を決定したい場合に、輝度平均値算出部２２より入力される信号をデューティ値算出部２６へ送出するよう切り換えることが可能である。また、輝度平均値差分を用いてデューティ値を決定したい場合に、差分算出部２５より入力される信号をデューティ値算出部２６へ送出するよう切り換えることが可能である。
【００６９】
差分算出部２５は、輝度平均値２２で算出された輝度平均値と輝度平均値２３で算出された輝度平均値との差分値を算出する。そして算出した差分値を示す信号を、セレクタ２４を介して、デューティ値算出部２６へ送出する。
【００７０】
デューティ値算出部２６は、輝度平均値２２より入力される輝度平均値、または差分算出部２５より入力される輝度平均値差分に基づいて、バックライト３０の制御に用いられるＰＷＭ信号のデューティ値を算出する。そして算出したデューティ値を示す制御信号Ｓ２（第２制御信号）を、後述する協調処理部２９へ出力する。
【００７１】
より具体的には、デューティ値算出部２６は、輝度平均値２２より入力される輝度平均値をテーブル変換することで、ＰＷＭ信号のデューティ値を決定する。変換に用いる第１テーブルは、レジスタ２７に予め格納されている。
【００７２】
またデューティ値算出部２６は、差分算出部２５より入力される輝度平均値差分をテーブル変換することで、ＰＷＭ信号のデューティ値を決定する。変換に用いる第２テーブルは、レジスタ２７に予め格納されている。
【００７３】
なお、デューティ値算出部２６が上記の二つの処理のいずれを行うかは、入力されるデータの種別に応じて決定するものとする。つまり、輝度平均値が入力された場合は第１テーブルを参照し、輝度平均値差分が入力された場合は第２テーブルを参照する。
【００７４】
レジスタ２７は、入力画像データの輝度平均値とデューティ値とを関連付けた第１テーブル（図９）と、差分算出部２５により算出された差分値とデューティ値とを関連付けた第２テーブル（図１０）とを格納する。デューティ値算出部２６は、デューティ値の決定に際して第１テーブルまたは第２テーブルを参照する。
【００７５】
図９は、デューティ値算出部２６で用いられる第１テーブルの一例を示す図である。なお、図９の横軸は、輝度平均値算出部２２により得られた輝度平均値を示しており、縦軸は、ＰＷＭ信号のデューティ値を示している。
【００７６】
図１０は、デューティ値算出部２６で用いられる第２テーブルの一例を示す図である。なお、図１０の横軸は、差分値算出部２５により得られた輝度平均値差分を示しており、縦軸は、ＰＷＭ信号のデューティ値を示している。
【００７７】
上記の変換テーブルを用いることで、輝度平均値または輝度平均値差分と、ＰＷＭ信号のデューティ値との相関関係、延いては、ＰＷＭ信号のハイレベル幅（Ｈ幅）を任意に設定することが可能となる。また、上記の変換テーブルは、インタフェイス部９２を用いてユーザが任意に書き換えられる。
【００７８】
デューティ値算出部２８は、ＰＷＭＩの波形を計測し、ＰＷＭＩのデューティ値を算出する。そして算出したデューティ値を示す制御信号Ｓ１（第一制御信号）を、協調処理部２９へ出力する。
【００７９】
協調処理部２９は、Ｓ１とＳ２とを入力し、両制御信号が示すデューティ値に基づいて、ＰＷＭＯのデューティ値を決定する。そして決定したデューティ値によるＰＷＭＯを生成して、バックライト３０へ送出する。
【００８０】
より具体的には、協調処理部２９は、上記の両制御信号が示すデューティ値を乗算することにより、ＰＷＭＯのデューティ値を決定する。この算出処理の一例を、図１１を用いて説明する。
【００８１】
図１１（ａ）はＰＷＭＩの波形を示したものであり、ＰＷＭＩのデューティ値はＳ１に基づいて生成可能なＰＷＭ信号を模式的に表したものである。また図１１（ｂ）は、ＰＷＭＯの波形を示したものである。また図１１（ｃ）は、Ｓ２に基づいて生成可能なＰＷＭ信号を模式的に表したものである。
【００８２】
図１１に示すように、ＰＷＭ信号は、所定のサイクルでハイレベル期間（オン期間）とローレベル期間（オフ期間）を交互に繰り返すパルス信号である。このデューティ値を可変制御することで、バックライト３０に流す駆動電流の平均値を調整することが可能となる。すなわち、ＰＷＭ信号のデューティ値を大きくするほど、バックライト３０は明るくなり、ＰＷＭ信号のデューティ値を小さくするほど、バックライト３０は暗くなる。
【００８３】
協調処理部２９は、Ｓ１が示すデューティ値をｄ（Ｓ１）、Ｓ２が示すデューティ値をｄ（Ｓ２）、ＰＷＭＯのデューティ値をｄ（Ｓ３）とした場合、ｄ（Ｓ３）を次のように求める。
ｄ（Ｓ３）＝ｄ（Ｓ１）×ｄ（Ｓ２）
【００８４】
例えば本図左に示すように、Ｓ１のデューティ値が５０％であり、Ｓ２のデューティ値が１００％である場合、協調処理部２９は下記のように演算を行う。
（５０／１００）×（１００／１００）＝（５０／１００）
この結果、ＰＷＭＯのデューティ値は５０％となる。
【００８５】
また例えば本図中央に示すように、Ｓ１のデューティ値が５０％であり、Ｓ２のデューティ値が５０％である場合、協調処理部２９は下記のように演算を行う。
（５０／１００）×（５０／１００）＝（２５／１００）
この結果、ＰＷＭＯのデューティ値は２５％となる。
【００８６】
また例えば本図右に示すように、Ｓ１のデューティ値が５０％であり、Ｓ２のデューティ値が２５％である場合、協調処理部２９は下記のように演算を行う。
（５０／１００）×（２５／１００）＝（１２．５／１００）
この結果、ＰＷＭＯのデューティ値は１２．５％となる。
【００８７】
以上のように、Ｓ１が示すデューティ値とＳ２が示すデューティ値とを乗算することにより、照度センサ９０による検知結果と、輝度補正部２１による輝度補正結果との両方を考慮したＰＷＭ信号を生成することが可能である。これにより、照度検知結果と画像解析結果とを協調した輝度制御を実施することが可能である。
＜その他の変形例＞
【００８８】
なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【００８９】
なお上記の実施形態では、フレーム単位での輝度制御を前提としており、従ってローカルディミングを行っていない。しかし、画素（もしくはエリア）単位の輝度制御を実施するローカルディミングにおいて、本発明の輝度制御を実施する形態でもよい。この際、変換テーブルの内容も、ローカルディミングの制御内容に併せて適宜変更することが可能である。
【００９０】
また上記の実施形態では、輝度補正部２１による輝度補正結果に基づいてＳ２を生成しているが、これ以外の画像処理結果、例えば色調変換処理等の処理結果に基づいてＳ２を生成する形態でもよい。
【００９１】
また本発明の画像処理装置としては、例えばテレビジョン装置、ハードディスクレコーダ、ビデオカメラ等の装置のほか、インターネットを介して提供される映像コンテンツの再生機能を備えたパーソナルコンピュータ等を用いることができる。
【産業上の利用可能性】
【００９２】
本発明は、入力画像データに輝度変換処理を施して出力画像データを生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の視認性を高める上で有用な技術である。
【符号の説明】
【００９３】
１ 画像処理装置
１０ 撮像部
１１ 輝度変換処理部
１２ 輝度変換係数算出部
１３ 輝度変換係数記憶部
１４ 出力部
２０ 画像処理ＩＣ（半導体装置）
２１ 輝度補正部（画像処理部）
２２ 輝度平均値算出部（第１輝度平均値算出部）
２３ 輝度平均値算出部（第２輝度平均値算出部）
２４ セレクタ
２５ 差分算出部
２６ デューティ値算出部（第２デューティ制御部）
２７ レジスタ
２８ デューティ値算出部（第１デューティ制御部）
２９ 協調処理部
３０ バックライト
９０ 照度センサ
９１ ＣＰＵ
９２ インタフェイス部
【特許請求の範囲】
【請求項１】
入力画像データに画像処理を施して出力画像データを生成する画像処理部と、
外部入力されるＰＷＭ（Pulse Width Modulation）信号のデューティ値を判別し、該デューティ値を示す第１制御信号を生成する第１デューティ制御部と、
前記画像処理部の処理結果に基づいたデューティ値を決定し、該デューティ値を示す第２制御信号を生成する第２デューティ制御部と、
前記第１制御信号と前記第２制御信号とに基づいて、出力するＰＷＭ信号のデューティ値を決定する協調処理部とを有することを特徴とする画像処理回路。
【請求項２】
前記協調処理部は、前記第１制御信号が示すデューティ値と前記第２制御信号が示すデューティ値とを乗算することにより、出力するＰＷＭ信号のデューティ値を決定することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
第１デューティ制御部は、照度センサの照度検知結果に基づいて生成されたＰＷＭ信号を入力とし、該ＰＷＭ信号のデューティ値を判別し、該デューティ値を示す前記第１制御信号を生成することを特徴とする請求項２に記載の画像処理回路。
【請求項４】
前記画像処理部は、前記入力画像データの輝度ヒストグラムに基づいて前記入力画像データから前記出力画像データを生成し、
前記画像処理回路は、前記出力画像データの輝度平均値を算出する第１輝度平均値算出部をさらに有し、
前記第２デューティ制御部は、前記輝度平均値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする請求項３に記載の画像処理回路。
【請求項５】
前記出力画像データの輝度平均値とデューティ値とを関連付けた第１テーブルを格納するレジスタをさらに有し、
前記第２デューティ制御部は、デューティ値の決定に際して前記第１テーブルを参照することを特徴とする請求項４に記載の画像処理回路。
【請求項６】
前記画像処理回路は、前記入力画像データの輝度平均値を算出する第２輝度平均値算出部と、前記第１輝度平均値算出部により算出された輝度平均値と前記第２輝度平均値算出部により算出された輝度平均値との差分値を算出する差分算出部とをさらに有し、
前記第２デューティ制御部は、前記差分値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする請求項５に記載の画像処理回路。
【請求項７】
前記差分値とデューティ値とを関連付けた第２テーブルを格納するレジスタをさらに有し、
前記第２デューティ制御部は、デューティ値の決定に際して前記第２テーブルを参照することを特徴とする請求項６に記載の画像処理回路。
【請求項８】
請求項１〜請求項７のいずれか一項に記載の画像処理回路を集積化したことを特徴とする半導体装置。
【請求項９】
請求項８に記載の半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、を有することを特徴とする画像処理装置。
【請求項１０】
前記第１テーブル及び前記第２テーブルの内容を書き換えるためのインタフェイス部をさらに有することを特徴とする請求項９に記載の画像処理装置。
【請求項１】
入力画像データに画像処理を施して出力画像データを生成する画像処理部と、
外部入力されるＰＷＭ（Pulse Width Modulation）信号のデューティ値を判別し、該デューティ値を示す第１制御信号を生成する第１デューティ制御部と、
前記画像処理部の処理結果に基づいたデューティ値を決定し、該デューティ値を示す第２制御信号を生成する第２デューティ制御部と、
前記第１制御信号と前記第２制御信号とに基づいて、出力するＰＷＭ信号のデューティ値を決定する協調処理部とを有することを特徴とする画像処理回路。
【請求項２】
前記協調処理部は、前記第１制御信号が示すデューティ値と前記第２制御信号が示すデューティ値とを乗算することにより、出力するＰＷＭ信号のデューティ値を決定することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
第１デューティ制御部は、照度センサの照度検知結果に基づいて生成されたＰＷＭ信号を入力とし、該ＰＷＭ信号のデューティ値を判別し、該デューティ値を示す前記第１制御信号を生成することを特徴とする請求項２に記載の画像処理回路。
【請求項４】
前記画像処理部は、前記入力画像データの輝度ヒストグラムに基づいて前記入力画像データから前記出力画像データを生成し、
前記画像処理回路は、前記出力画像データの輝度平均値を算出する第１輝度平均値算出部をさらに有し、
前記第２デューティ制御部は、前記輝度平均値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする請求項３に記載の画像処理回路。
【請求項５】
前記出力画像データの輝度平均値とデューティ値とを関連付けた第１テーブルを格納するレジスタをさらに有し、
前記第２デューティ制御部は、デューティ値の決定に際して前記第１テーブルを参照することを特徴とする請求項４に記載の画像処理回路。
【請求項６】
前記画像処理回路は、前記入力画像データの輝度平均値を算出する第２輝度平均値算出部と、前記第１輝度平均値算出部により算出された輝度平均値と前記第２輝度平均値算出部により算出された輝度平均値との差分値を算出する差分算出部とをさらに有し、
前記第２デューティ制御部は、前記差分値に基づいたデューティ値を決定し、該デューティ値を示す前記第２制御信号を生成することを特徴とする請求項５に記載の画像処理回路。
【請求項７】
前記差分値とデューティ値とを関連付けた第２テーブルを格納するレジスタをさらに有し、
前記第２デューティ制御部は、デューティ値の決定に際して前記第２テーブルを参照することを特徴とする請求項６に記載の画像処理回路。
【請求項８】
請求項１〜請求項７のいずれか一項に記載の画像処理回路を集積化したことを特徴とする半導体装置。
【請求項９】
請求項８に記載の半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、を有することを特徴とする画像処理装置。
【請求項１０】
前記第１テーブル及び前記第２テーブルの内容を書き換えるためのインタフェイス部をさらに有することを特徴とする請求項９に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図５】
【公開番号】特開２０１２−２２０７１７（Ｐ２０１２−２２０７１７Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６２４９（Ｐ２０１１−８６２４９）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
[ Back to top ]