説明

画像処理回路、半導体装置、画像処理装置

【課題】輝度変換処理の内容をきめ細かく調整する。
【解決手段】画像処理回路100は、入力画像データDIの輝度ヒストグラムを取得する輝度ヒストグラム取得部101と、前記輝度ヒストグラムに基づいて輝度変換係数αを算出する輝度変換係数算出部102と、輝度変換係数αに基づいて入力画像データDIから出力画像データDOを生成する輝度変換処理部103と、入力画像データDIの輝度平均値Y_AVを算出する輝度平均値算出部104と、所定の決定基準に従って入力画像データDIの輝度最大値Y_MAXを決定する輝度最大値決定部105と、入力画像データDIの輝度平均値Y_AVに基づいて前記輝度ヒストグラムの下限値HMINを調整する輝度ヒストグラム調整部106と、入力画像データDIの輝度最大値Y_MAXに基づいて輝度変換処理部103の補正強度係数βを算出する補正強度係数算出部107と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【0002】
従来より、入力画像データに輝度変換処理(輝度ダイナミックレンジ補正処理)を施して出力画像データを生成する画像処理回路が開示・提案されている(例えば本願出願人による特許文献1や特許文献2を参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−200762号公報
【特許文献2】国際公開第2007/142134号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記従来の画像処理回路は、入力画像データの輝度ヒストグラムのみに基づいて、輝度変換処理の内容(補正カーブや補正強度など)を決定する構成とされていた。そのため、上記従来の画像処理回路では、画像コンテンツの特性やユーザの嗜好に応じて輝度変換処理の内容をきめ細かく調整することが困難であった。
【0005】
本発明は、本願の発明者により見出された上記の問題点に鑑み、輝度変換処理の内容をきめ細かく調整することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像データの輝度ヒストグラムを取得する輝度ヒストグラム取得部と、前記輝度ヒストグラムに基づいて輝度変換係数を算出する輝度変換係数算出部と、前記輝度変換係数に基づいて前記入力画像データから出力画像データを生成する輝度変換処理部と、前記入力画像データの輝度平均値を算出する輝度平均値算出部と、所定の決定基準に従って前記入力画像データの輝度最大値を決定する輝度最大値決定部と、前記入力画像データの輝度平均値に基づいて前記輝度ヒストグラムの下限値を調整する輝度ヒストグラム調整部と、前記入力画像データの輝度最大値に基づいて前記輝度変換処理部の補正強度係数を算出する補正強度係数算出部と、を有する構成(第1の構成)とされている。
【0007】
なお、上記第1の構成から成る画像処理回路は、前記入力画像データの輝度平均値と前記輝度ヒストグラムの下限値とを関連付けた第1テーブルと、前記入力画像データの輝度最大値と前記補正強度係数とを関連付けた第2テーブルと、を格納するレジスタをさらに有し、前記輝度ヒストグラム調整部は、前記輝度ヒストグラムの調整に際して前記第1テーブルを参照し、前記補正強度係数算出部は、前記補正強度係数の算出に際して前記第2テーブルを参照する構成(第2の構成)にするとよい。
【0008】
また、上記第2の構成から成る画像処理回路は、前記第1テーブル及び前記第2テーブルの内容を書き換えるためのインタフェイス部をさらに有する構成(第3の構成)にするとよい。
【0009】
また、本発明に係る画像処理回路は、入力画像データの輝度ヒストグラムを取得する輝度ヒストグラム取得部と、前記輝度ヒストグラムに基づいて輝度変換係数を算出する輝度変換係数算出部と、前記輝度変換係数に基づいて前記入力画像データから出力画像データを生成する輝度変換処理部と、前記入力画像データの輝度平均値を算出する輝度平均値算出部と、前記入力画像データの輝度平均値に基づいて前記輝度ヒストグラムの下限値を調整する輝度ヒストグラム調整部と、を有する構成(第4の構成)としてもよい。
【0010】
なお、上記第4の構成から成る画像処理回路は、前記入力画像データの輝度平均値と前記輝度ヒストグラムの下限値とを関連付けたテーブルを格納するレジスタをさらに有し、前記輝度ヒストグラム調整部は、前記輝度ヒストグラムの調整に際して前記テーブルを参照する構成(第5の構成)にするとよい。
【0011】
また、上記第5の構成から成る画像処理回路は、前記テーブルの内容を書き換えるためのインタフェイス部をさらに有する構成(第6の構成)にするとよい。
【0012】
また、本発明に係る画像処理回路は、入力画像データの輝度ヒストグラムを取得する輝度ヒストグラム取得部と、前記輝度ヒストグラムに基づいて輝度変換係数を算出する輝度変換係数算出部と、前記輝度変換係数に基づいて前記入力画像データから出力画像データを生成する輝度変換処理部と、所定の決定基準に従って前記入力画像データの輝度最大値を決定する輝度最大値決定部と、前記入力画像データの輝度最大値に基づいて前記輝度変換処理部の補正強度係数を算出する補正強度係数算出部と、を有する構成(第7の構成)としてもよい。
【0013】
なお、上記第7の構成から成る画像処理回路は、前記入力画像データの輝度最大値と前記補正強度係数とを関連付けたテーブルを格納するレジスタをさらに有し、前記補正強度係数算出部は、前記補正強度係数の算出に際して前記テーブルを参照する構成(第8の構成)にするとよい。
【0014】
また、上記第8の構成から成る画像処理回路は、前記テーブルの内容を書き換えるためのインタフェイス部をさらに有する構成(第9の構成)にするとよい。
【0015】
また、上記第1〜第9いずれかの構成から成る画像処理回路において、前記輝度ヒストグラム取得部は、モード切替信号に基づいて、一つのフレームを複数のエリアに分割して各エリア毎に前記輝度ヒストグラムを取得する第1モードと、一つのフレームを複数のエリアに分割することなく各フレーム毎に前記輝度ヒストグラムを取得する第2モードと、を切り替える構成(第10の構成)にするとよい。
【0016】
また、本発明に係る半導体装置は、上記第1〜第10いずれかの構成から成る画像処理回路を集積化した構成(第11の構成)とされている。
【0017】
また、本発明に係る画像処理装置は、上記第11の構成から成る半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、を有する構成(第12の構成)とされている。
【発明の効果】
【0018】
本発明によれば、輝度変換処理の内容をきめ細かく調整することが可能な画像処理回路及びこれを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【0019】
【図1】本発明に係る画像処理装置の第1実施形態を示すブロック図
【図2】画像処理の全体的な流れを説明するためのタイムチャート
【図3】輝度変換係数の算出処理を説明するためのフローチャート
【図4】エリア分割の態様を説明するための模式図
【図5】仮想エリアが設定された状態を説明するための模式図
【図6】ローパスフィルタの態様を説明するための模式図
【図7】バイリニア演算について説明するための模式図
【図8】本発明に係る画像処理装置の第2実施形態を示すブロック図
【図9】輝度平均値Y_AVと輝度ヒストグラムの下限値HMINとの相関図
【図10A】下限値HMINの第1設定例(Y_AV:高)を示す輝度ヒストグラム
【図10B】下限値HMINの第2設定例(Y_AV:低)を示す輝度ヒストグラム
【図11A】輝度最大値Y_MAXの第1決定例を示す輝度ヒストグラム
【図11B】輝度最大値Y_MAXの第2決定例を示す輝度ヒストグラム
【図11C】輝度最大値Y_MAXの第3決定例を示す輝度ヒストグラム
【図12】輝度最大値Y_MAXと補正強度係数βとの相関図
【図13】画像入力部A2の一構成例を示すブロック図
【図14A】第1モード(分割モード)選択時の補正カーブを示す模式図
【図14B】第2モード(非分割モード)選択時の補正カーブを示す模式図
【発明を実施するための形態】
【0020】
<第1実施形態>
図1は、本発明に係る画像処理装置の第1実施形態を示すブロック図である。第1実施形態の画像処理装置1は、撮像部10と、輝度変換処理部11と、輝度変換係数算出部12と、輝度変換係数記憶部13と、出力部14を有する。
【0021】
撮像部10は、所定のレンズ群や撮像素子(例えば、CMOS[Complementary Metal-Oxide Semiconductor]センサやCCD[Charge Coupled Devices]センサ)等を備えており、被写体の光学像を結像させることで被写体の撮像処理(例えば30フレーム毎秒の動画撮像)を行う。なお、撮像部10で生成された入力画像データは、輝度変換処理部11及び輝度変換係数算出部12に逐次出力される。なお、入力画像データの生成手段は、撮像部10に限定されるものではなく、その他の画像入力部(メディア再生装置や放送受信装置など)を用いても構わない。
【0022】
輝度変換処理部11は、撮像部10からの入力画像データに輝度変換処理を施して出力画像データを生成する。この輝度変換処理は、入力画像データに含まれる各画素の輝度値を、輝度変換係数記憶部13に記憶されている輝度変換係数に応じて変換することにより行われる。なお、輝度変換処理部11で生成された出力画像データは、出力部14に逐次出力される。
【0023】
輝度変換係数算出部12は、撮像部10から入力される各フレーム毎の画像データ(入力画像)に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
【0024】
輝度変換係数記憶部13は、輝度変換係数算出部12によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部11における輝度変換処理において用いられることとなる。
【0025】
出力部14は、LCD[Liquid Crystal Display]等のディスプレイ(例えば、車載モニタ)を備えており、輝度変換処理部11によって輝度変換処理のなされた出力画像データを逐次表示する。
【0026】
上記構成から成る画像処理装置1は、撮像部で得られた入力画像データに所定の輝度変換処理を施して出力画像データを生成し、この出力画像データに応じた映像表示を行う。
【0027】
なお、上記構成要素のうち、輝度変換処理部11、輝度変換係数算出部12、及び、輝度変換係数記憶部13については、半導体装置に集積化するとよい。
【0028】
次に、画像処理装置1における画像処理の全体的な流れについて、図2を参照しながら説明する。
【0029】
図2は、画像処理装置1における画像処理の全体的な流れを説明するための図である。本図に示したように、第n番目のフレームに係る入力画像データが到来すると、輝度変換係数算出部12は、入力画像データに基づいて輝度変換係数の算出を行う。これにより、第n番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部13に一旦格納される。
【0030】
一方、輝度変換処理部11は、到来した第n番目のフレームに係る入力画像データに対して、既に輝度変換係数記憶部13に格納されている第(n−1)番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
【0031】
より具体的には、n番目のフレームにおける座標(i,j)の画素について、輝度変換処理前の輝度をIij(n)、輝度変換処理後の輝度をOij(n)とし、(n−1)番目のフレームに基づいて、座標(i,j)の画素に対して定められた輝度変換係数をTij(n−1)とすると、各フレームの各画素に係る輝度は、下記の(1)式に基づいて、変換処理される。そして、輝度変換処理部11にて輝度変換処理のなされた出力画像データは、出力部14を通じて出力される。
Oij(n)=Tij(n−1)×Iij(n) ・・・(1)
【0032】
このように、本実施形態の画像処理装置1は、第n番目のフレームに係る入力画像データに対しては、第(n−1)番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第n番目の輝度変換係数の算出を待たずに、第n番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像データに輝度変換処理を施した出力画像データを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【0033】
なお、第n番目のフレームに係る入力画像データに対して、第(n−2)番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、入力画像データとして動きの大きい動画データを取り扱う場合に顕著となる。また、例えば、入力画像データとして静止画データを取り扱う場合などにおいては、第n番目のフレームに係る入力画像データに対して、第n番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。
【0034】
次に、輝度変換係数の算出処理の内容について、図3のフローチャートを参照しながら説明する。
【0035】
図3は、画像処理装置1における輝度変換係数の算出処理を説明するためのフローチャートである。本フローチャートで例示する処理では、まず、1フレーム分の入力画像データに対してエリア分割を行う(ステップS11)。
【0036】
図4は、画像処理装置1におけるエリア分割の態様を説明するための図である。なお、本図の例では、1フレームが縦40×横64(=2560)の画素から構成されているものとし、1エリアは8×8画素分の大きさとする。従って、エリアの総数は、縦5エリア×横8エリア=40エリアとなる。また、各エリアについては、左上から順に、A0、A1、・・・、An、・・・、A39と称することにする。
【0037】
エリア分割が完了したら、次に、エリア別変換係数の算出を行う(図3のステップS12)。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。なお、このエリア別変換係数の算出に際しては、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラムが算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像データにおいて高頻度な輝度範囲であるほど、出力画像データにおいて広い輝度範囲が割り当てられることとなる。
【0038】
図3のステップS12では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像データの輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることができる。
【0039】
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち(輝度の分布が高周波となり)、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。
【0040】
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。
【0041】
図5は、仮想エリア(図中のA40〜A69)が設定された状態を説明するための図である。
【0042】
そして、これらの仮想エリアA40〜A69に対して、仮想のエリア別変換係数(以下では、仮想係数と呼ぶ)を設定する(図3のステップS13)。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものであり、エリア別変換係数と同様の形式をとるものである。
【0043】
上記の仮想係数は、仮想エリアに隣り合う各エリア(画像領域の外縁に位置する各エリア)を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、A41はA0に対してA8と対称であるから、A41の仮想係数は、A8のエリア別変換係数と同値とする。同様に、A42はA1に対してA9と対称であるから、A42の仮想係数は、A9のエリア別変換係数と同値とする。一方、四隅に位置するA40はA0に対してA9と対称であるから、A40の仮想係数は、A9のエリア別変換係数と同値とする。
【0044】
なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁(図5中の太線)に対して対称となるように設定しても良い。この場合、A41は画像領域の外縁に対してA0と対称であるから、A40の仮想係数は、A0のエリア別変換係数と同値とする。同様に、A42は画像領域の外縁に対してA1と対称であるから、A42の仮想係数は、A1のエリア別変換係数と同値とする。一方、四隅に位置するA40は画像領域の外縁に対してA0と対称であるから、A40の仮想係数は、A0のエリア別変換係数と同値とする。
【0045】
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理(フィルタ処理)を実行する(図3のステップS14)。
【0046】
図6は、ローパスフィルタの態様を説明するための図である。
【0047】
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲(この場合は上下左右の4エリア)に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。
【0048】
例えば、エリアA0におけるフィルタ処理後のエリア別変換係数a’(0)は、以下のようになる。なお、a(n)は、エリアAn(n=0,1,8,41,50)における当該フィルタ処理前のエリア別変換係数を示している。また、a(41)とa(50)は、それぞれ仮想エリアA41とA50における仮想係数である。
a´(0)=a(0)/2+{a(1)+a(8)+a(41)+a(50)}/8
【0049】
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図6に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
【0050】
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像データの輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される(同一エリア内でも、各画素に共通とは限らない)画素別変換係数を算出し(図3のステップS15)、これを輝度変換係数として適用する(図3のステップS16)。
【0051】
ここで、この画素別変換係数の算出方法(バイリニア演算)について、図7を参照しながら説明する。
【0052】
図7は、バイリニア演算について説明するための図である。ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る4個のエリアに着目する。例えば、図7における画素Pが注目画素であるときは、A0、A1、A8、及び、A9のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、4個のエリアを選ぶこととする。
【0053】
そして、注目画素Pの画素別変換係数は、これら4個のエリアの各々におけるフィルタ処理後のエリア別変換係数{a´(0)、a´(1)、a´(8)、a´(9)}と、注目画素Pの位置と、当該4個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。
【0054】
より具体的には、図7に示すように、横方向のエリア間距離をX、縦方向のエリア間距離をY、エリアA0の中心と注目画素Pとの横方向の距離をa、同じく縦方向の距離をbとした場合、注目画素Pの画素別変換係数p(P)は、次のように求められる。
p(P)={ a´(0)×(X−a)×(Y−b)
+a´(1)×a×(Y−b)
+a´(8)×(X−a)×b
+a´(9)×a×b } /(X×Y)
【0055】
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する4個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
【0056】
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【0057】
なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。
【0058】
また、先述の輝度変換係数記憶部13には、エリア別変換係数(エリア毎の係数)のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数(画素毎の係数)については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部13のメモリ容量が少なくて済むようになる。
【0059】
また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばRGB(赤・緑・青)の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。
【0060】
また、上述した「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。
【0061】
また、上述した「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。
【0062】
上記したように、本実施形態の画像処理装置1であれば、画像全体からみると出現頻度の低い輝度(或いは輝度範囲)に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。
【0063】
<第2実施形態>
図8は、本発明に係る画像処理装置の第2実施形態を示すブロック図である。第2実施形態の画像処理装置Aは、半導体装置A1と、画像入力部A2と、画像出力部A3と、を有する。
【0064】
半導体装置A1は、画像処理回路100を集積化した画像処理ICである。画像処理回路100は、入力画像データDIに所定の画像処理を施して出力画像データDOを生成する。この画像処理回路100の構成及び動作については、後ほど詳細に説明する。
【0065】
画像入力部A2は、半導体装置A1に入力画像データDIを供給する。画像入力部A2としては、撮像装置やメディア再生装置、若しくは、放送受信装置などを用いることができる。なお、上記の撮像装置としては、動画撮影を行うデジタルビデオカメラや静止画撮影を行うデジタルスチルカメラなどを用いることができる。画像入力部A2として撮像装置を用いた場合、入力画像データDIは、撮像装置で得られた撮像画像となる。また、上記のメディア再生装置としては、各種メディア(ビデオCD、DVD、ブルーレイディスク、ハードディスク、半導体メモリなど)の再生機能を備えたドライブ装置のほか、インターネットを介して提供される映像コンテンツの再生機能を備えたパーソナルコンピュータなどを用いることができる。画像入力部A2としてメディア再生装置を用いた場合、入力画像データDIは、メディア再生装置で得られた再生画像となる。また、上記の放送受信装置としては、デジタルテレビジョン放送の受信装置などを用いることができる。画像入力部A2として放送受信装置を用いた場合、入力画像データDIは、放送受信装置で得られた受信画像となる。
【0066】
画像出力部A3は、半導体装置A1で所定の画像処理を施された出力画像データDOを表示する。なお、画像出力部A3としては、液晶ディスプレイや有機ELディスプレイなどを好適に用いることができる。
【0067】
次に、画像処理回路100の構成及び動作について詳細に説明する。画像処理回路100は、輝度ヒストグラム取得部101と、輝度変換係数算出部102と、輝度変換処理部103と、輝度平均値算出部104と、輝度最大値決定部105と、輝度ヒストグラム調整部106と、補正強度係数算出部107と、レジスタ108と、インタフェイス部109と、を有する。
【0068】
輝度ヒストグラム取得部101は、入力画像を形成する複数の画素を各々の輝度値に基づいて複数の階級(輝度範囲)に区分し、入力画像データDIの輝度ヒストグラム(各階級に属する画素の度数分布(出現頻度))を取得する。なお、輝度ヒストグラム取得部101は、モード切替信号MODEに基づいて、一つのフレームを複数のエリアに分割して各エリア毎に輝度ヒストグラムを取得する第1モード(分割モード)と、一つのフレームを複数のエリアに分割することなく各フレーム毎に輝度ヒストグラムを取得する第2モード(非分割モード)と、を切り替えるモード切替機能を備えている。このモード切替機能については、後ほど詳細に説明する。
【0069】
輝度変換係数算出部102は、輝度ヒストグラム取得部101で取得された輝度ヒストグラムに基づいて輝度変換処理部103の輝度変換係数αを算出する。より具体的に述べると、輝度変換係数算出部102は、入力画像データDIの輝度ヒストグラムを参照し、より度数の大きい階級(画素の出現頻度が高い階級)ほど出力画像データDOにおいて広い輝度範囲を割り当てるように、逆に、より度数の小さい階級(画素の出現頻度が低い階級)ほど出力画像データDOにおいて狭い輝度範囲を割り当てるように、輝度補正係数αの算出を行う。なお、輝度変換係数αの詳細な算出手法については、先述の第1実施形態と同様であるため、重複した説明は割愛する。
【0070】
輝度変換処理部103は、輝度変換係数αに基づいて入力画像データDIから出力画像データDOを生成する。このような輝度変換処理により、出力画像の全体的なコントラストを高めて、出力画像の画質や視認性を向上させることが可能となる。また、輝度変換処理部103は、輝度変換処理部103は、輝度変換処理後の入力画像データDI’(=α×DI)と、輝度変換処理前の入力画像データDIと、を補正強度係数β(ただし0≦β≦1)に応じた比率(β:(1−β))で足し合わせることにより、最終的な出力画像データDO(=β×DI’+(1−β)×DI)を生成する。その結果、補正強度係数βの値が大きいほど、輝度変換処理を強く効かせる形となり、逆に、補正強度係数βの値が小さいほど、輝度変換処理を弱く効かせる形となる。
【0071】
輝度平均値算出部104は、入力画像データDIの輝度平均値Y_AVを算出する。なお、先述のモード切替信号MODEに基づいて、第1モード(分割モード)が選択されている場合にはエリア毎の輝度平均値Y_AVが算出され、第2モード(非分割モード)が選択されている場合にはフレーム毎の輝度平均値Y_AVが算出される。
【0072】
輝度最大値決定部105は、入力画像データDIの輝度ヒストグラムに応じた所定の決定基準に従って入力画像データDIの輝度最大値Y_MAXを決定する。なお、輝度最大値Y_MAXの決定手法については、後ほど詳細に説明する。
【0073】
輝度ヒストグラム調整部106は、入力画像データDIの輝度平均値Y_AVに基づいて、輝度ヒストグラム取得部101で取得された輝度ヒストグラムの下限値HMINを調整する。その際、輝度ヒストグラム調整部106は、入力画像データDIの輝度平均値Y_AVと輝度ヒストグラムの下限値HMINとを関連付けた第1テーブルTBL1をレジスタ108から読み出して参照する。このように、輝度ヒストグラム取得部101で取得された入力画像データDIの輝度ヒストグラムをそのまま輝度変換係数算出部102に送出するのではなく、入力画像データDIの輝度平均値Y_AVに基づいて下限値HMINが調整された輝度ヒストグラムを輝度変換係数算出部102に送出することにより、画像コンテンツの内容に応じて輝度変換処理の内容をきめ細かく調整することが可能となる。なお、輝度ヒストグラム調整部106の動作については、後ほど詳細に説明する。
【0074】
補正強度係数算出部107は、入力画像データDIの輝度最大値Y_MAXに基づいて輝度変換処理部103の補正強度係数βを算出する。その際、補正強度係数算出部107は、入力画像データDIの輝度最大値Y_MAXと補正強度係数βとを関連付けた第2テーブルTBL2をレジスタ108から読み出して参照する。このような構成とすることにより、画像コンテンツの内容に応じて輝度変換処理の内容をきめ細かく調整することが可能となる。なお、補正強度係数算出部107の動作については、後ほど詳細に説明する。
【0075】
レジスタ108は、第1テーブルTBL1と第2テーブルTBL2を格納する。なお、第1テーブルTBL1としては、入力画像データDIの輝度平均値Y_AVに対する輝度ヒストグラムの下限値HMINを離散的に設定しておき、輝度ヒストグラム調整部106で各離散値間を補間するようにすればよい。同様に、第2テーブルTBL2としては、入力画像データDIの輝度最大値Y_MAXに対する輝度変換処理部103の補正強度係数βを離散的に設定しておき、輝度変換処理部103で各離散値間を補間するようにすればよい。このような構成とすることにより、第1テーブルTBL1及び第2テーブルTBL2のデータ量(延いては、レジスタ108の回路規模)を縮小することが可能となる。また、図8では示されていないが、レジスタ108には、画像処理回路100で用いられる種々のパラメータ(先述の輝度ヒストグラム、輝度変換係数α、補正強度係数βを含む)も適宜格納される。
【0076】
インタフェイス部109は、半導体装置A1の外部からレジスタ108の内容(第1テーブルTBL1や第2TBL2を含む)を書き換えたり読み出したりするためのフロントエンドである。このように、第1テーブルTBL1や第2テーブルTBL2の内容をユーザが任意に書き換えられる構成であれば、ユーザの嗜好に応じて輝度変換処理の内容をきめ細かく調整することが可能となる。
【0077】
次に、輝度ヒストグラム調整部106の動作について詳細な説明を行う。図9は、輝度平均値Y_AVと輝度ヒストグラムの下限値HMINとの相関図である。この相関図は、第1テーブルTBL1としてレジスタ108に格納されている。ただし、先にも述べたように、第1テーブルTBL1の内容は、ユーザが任意に書き換えられるものであり、図9の相関図はあくまで一例である。
【0078】
輝度平均値Y_AVと輝度ヒストグラムの下限値HMINとの間に、図9の相関関係が定義されている場合には、輝度平均値Y_AVが高い入力画像データ(明るい入力画像)ほど、輝度ヒストグラムの下限値HMINが大きく設定される。
【0079】
図10Aは、下限値HMINの第1設定例(Y_AV:高)を示す輝度ヒストグラムである。なお、白抜きの棒グラフは、輝度ヒストグラム取得部101で取得された生の輝度ヒストグラムを示しており、ハッチングが付された棒グラフは、輝度ヒストグラム調整部106によって度数が水増しされた部分を示している。このように、輝度平均値Y_AVが高い入力画像データに対して、輝度ヒストグラムの下限値HMINを大きく設定することにより、明るい入力画像に対する補正が掛かりにくくなる。
【0080】
一方、輝度平均値Y_AVと輝度ヒストグラムの下限値HMINとの間に、図9の相関関係が定義されている場合には、輝度平均値Y_AVが低い入力画像データ(暗い入力画像)ほど、輝度ヒストグラムの下限値HMINが小さく設定される。
【0081】
図10Bは、下限値HMINの第2設定例(Y_AV:低)を示す輝度ヒストグラムである。なお、図10Aと同様、白抜きの棒グラフは、輝度ヒストグラム取得部101で取得された生の輝度ヒストグラムを示しており、ハッチングが付された棒グラフは、輝度ヒストグラム調整部106によって度数が水増しされた部分を示している。このように、輝度平均値Y_AVが低い入力画像データDIに対して、輝度ヒストグラムの下限値HMINを小さく設定することにより、暗い入力画像に対して強い補正が掛かることになる。
【0082】
次に、輝度最大値決定部105の動作について詳細な説明を行う。輝度最大値決定部105は、先にも述べたように、入力画像データDIの輝度ヒストグラムに応じた所定の決定基準に従って入力画像データDIの輝度最大値Y_MAXを決定する。このときに参照する輝度ヒストグラムとしては、輝度ヒストグラム取得部101で取得された輝度ヒストグラムをそのまま流用してもよいし、或いは、輝度最大値Y_MAXの決定処理専用に別途の輝度ヒストグラムを取得しても構わない。
【0083】
輝度最大値決定部105は、入力画像データDIの輝度ヒストグラムについて、最も度数の大きい階級を判別し、その階級を起点として輝度値の高い方向に各階級の度数チェックを順次行っていく。そして、その度数が所定の閾値THを下回る直前の階級を判別し、その階級の輝度値(例えば輝度範囲の中央値)を入力画像データDIの最大輝度値Y_MAXとして決定する。
【0084】
なお、上記の閾値THは、入力画像データDIの輝度ヒストグラムが複数パターンのいずれに該当するかに応じて可変制御される。例えば、入力画像データDIの輝度ヒストグラムが図11Aのパターン(輝度値の低い階級から輝度値の高い階級に向けて度数がなだらかに減少していくパターン)に該当する場合には、閾値THが低く設定される。一方、入力画像データDIの輝度ヒストグラムが図11Bのパターン(明分布と暗分布が2分割されているパターン)や図11Cのパターン(明分布がほとんど存在しないパターン)に該当する場合には、閾値THが高く設定される。このような構成とすることにより、画像コンテンツの内容に応じて輝度変換処理の内容をきめ細かく調整することが可能となる。
【0085】
次に、補正強度係数算出部107の動作について詳細な説明を行う。図12は、輝度最大値Y_MAXと補正強度係数βとの相関図である。この相関図は、第2テーブルTBL2としてレジスタ108に格納されている。ただし、先にも述べたように、第2テーブルTBL2の内容は、ユーザが任意に書き換えられるものであり、図12の相関図はあくまで一例である。
【0086】
輝度最大値Y_MAXと補正強度係数βとの間に、図12の相関関係が定義されている場合には、輝度最大値Y_MAXが高い入力画像データ(明るい入力画像)ほど補正強度係数βが小さく設定され、輝度最大値Y_MAXが低い入力画像データ(暗い入力画像)ほど補正強度係数βが大きく設定される。このような設定を行うことにより、暗い入力画像に対する補正を強める一方、明るい入力画像に対する補正を弱めることができる。
【0087】
次に、画像コンテンツに合わせたアルゴリズム選択機能(モード切替信号MODEに応じた動作モード切替機能)について、詳細な説明を行う。図13は、画像入力部A2の一構成例を示すブロック図である。本構成例の画像入力部A2は、カメラ部A21と、DVD再生部A22と、スイッチ部A23と、アナログ/デジタル変換部A24と、を含む。以下では、本構成例の画像入力部A2を備えた画像処理装置Aとして、カーナビゲーション装置を例に挙げて説明を行う。
【0088】
カメラ部A21は、車両の外部を動画撮影して第1アナログ画像データを出力するビデオカメラユニットである。
【0089】
DVD再生部A22は、映画などの画像コンテンツが収められたDVDを再生して第2アナログ画像データを出力するメディア再生ユニットである。
【0090】
スイッチ部A23は、制御部A4(CPUなど)から入力されるモード切替信号MODEに基づいて、カメラ部A21とDVD再生部A22のいずれか一方を選択してA/D変換部A24に接続する。カメラ部A21が選択されている場合には、カメラ部A21で生成された第1アナログ画像データがアナログ/デジタル変換部A24に出力されることになり、DVD再生部A22が選択されている場合には、DVD再生部A22で生成された第2アナログ画像データがアナログ/デジタル変換部A24に出力されることになる。
【0091】
アナログ/デジタル変換部A24は、スイッチ部A23を介して入力される第1アナログ画像データまたは第2アナログ画像データをデジタル画像データに変換した上で、このデジタル画像データを入力画像データDIとして半導体装置A1に出力する。
【0092】
ところで、カメラ部A21で撮影された入力画像には、明るい領域と暗い領域が混在していることが多く、また、暗い領域に写っている物を明瞭に表示しなければならない場合もあり得る。そのため、カメラ部A21で撮影された入力画像については、入力画像を複数のエリアに分割して各エリア毎に適切な補正カーブで輝度変換処理を施すことが望ましい(図14Aを参照)。
【0093】
一方、DVD再生部A22で再生された入力画像は、基本的にコンテンツの作成者の意図に沿った映像調整がなされており、入力画像を部分的に補正してしまうと不自然な出力画像が得られるおそれがある。そのため、DVD再生部A22で再生された入力画像については、入力画像を複数のエリアに分割することなく各フレーム毎に適切な補正カーブで輝度変換処理を施すことが望ましい(図14Bを参照)。
【0094】
そこで、先にも述べた通り、第2実施形態の画像処理回路100において、輝度ヒストグラム取得部101は、制御部A4から入力されるモード切替信号MODEに基づいて、一つのフレームを複数のエリアに分割して各エリア毎に輝度ヒストグラムを取得する第1モード(分割モード)と、一つのフレームを複数のエリアに分割することなく各フレーム毎に輝度ヒストグラムを取得する第2モード(非分割モード)と、を切り替える機能を備えている。
【0095】
より具体的に述べると、輝度ヒストグラム取得部101は、制御部A4によってカメラ部A21が選択されている場合には、第1モード(分割モード)で入力画像データDIの輝度ヒストグラムの取得を行い、制御部A4によってDVD再生部A22が選択されている場合には、第2モード(非分割モード)で入力画像データDIの輝度ヒストグラムの取得を行う。このような構成とすることにより、画像コンテンツの内容に応じて輝度変換処理の内容をきめ細かく調整することが可能となる。
【0096】
なお、上記の第2実施形態では、種々の技術的特徴を複合的に備えた画像処理回路100を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、種々の技術的特徴を選択的に採用することも可能である。より具体的に述べると、第2実施形態の画像処理回路100は、輝度平均値Y_AVに基づいて輝度ヒストグラムの下限値HMINを調整するという第1の技術的特徴と、輝度最大値Y_MAXに基づいて輝度変換処理部103の補正強度係数βを調整するという第2の技術的特徴と、モード切替信号に基づいて第1動作モード(分割モード)と第2動作モード(非分割モード)を切り替えるという第3の技術的特徴という3つの技術的特徴を少なくとも含んでいる。しかしながら、これらの技術的特徴については、各々単独で採用しても構わないし、或いは、いずれか2つを組み合わせても構わない。
【0097】
<その他の変形例>
本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【産業上の利用可能性】
【0098】
本発明は、入力画像データに輝度変換処理を施して出力画像データを生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の画質や視認性を高める上で有用な技術である。
【符号の説明】
【0099】
1 画像処理装置
10 撮像部
11 輝度変換処理部
12 輝度変換係数算出部
13 輝度変換係数記憶部
14 出力部
A 画像処理装置
A1 半導体装置(画像処理IC)
A2 画像入力部
A21 カメラ部
A22 DVD再生部
A23 スイッチ部
A24 アナログ/デジタル変換部
A3 画像出力部
A4 制御部(CPU)
100 画像処理回路
101 輝度ヒストグラム取得部
102 輝度変換係数算出部
103 輝度変換処理部
104 輝度平均値算出部
105 輝度最大値決定部
106 輝度ヒストグラム調整部
107 補正強度係数算出部
108 レジスタ
109 インタフェイス部

【特許請求の範囲】
【請求項1】
入力画像データの輝度ヒストグラムを取得する輝度ヒストグラム取得部と、
前記輝度ヒストグラムに基づいて輝度変換係数を算出する輝度変換係数算出部と、
前記輝度変換係数に基づいて前記入力画像データから出力画像データを生成する輝度変換処理部と、
前記入力画像データの輝度平均値を算出する輝度平均値算出部と、
所定の決定基準に従って前記入力画像データの輝度最大値を決定する輝度最大値決定部と、
前記入力画像データの輝度平均値に基づいて前記輝度ヒストグラムの下限値を調整する輝度ヒストグラム調整部と、
前記入力画像データの輝度最大値に基づいて前記輝度変換処理部の補正強度係数を算出する補正強度係数算出部と、
を有することを特徴とする画像処理回路。
【請求項2】
前記入力画像データの輝度平均値と前記輝度ヒストグラムの下限値とを関連付けた第1テーブルと、前記入力画像データの輝度最大値と前記補正強度係数とを関連付けた第2テーブルと、を格納するレジスタをさらに有し、
前記輝度ヒストグラム調整部は、前記輝度ヒストグラムの調整に際して前記第1テーブルを参照し、
前記補正強度係数算出部は、前記補正強度係数の算出に際して前記第2テーブルを参照することを特徴とする請求項2に記載の画像処理回路。
【請求項3】
前記第1テーブル及び前記第2テーブルの内容を書き換えるためのインタフェイス部をさらに有することを特徴とする請求項2に記載の画像処理回路。
【請求項4】
入力画像データの輝度ヒストグラムを取得する輝度ヒストグラム取得部と、
前記輝度ヒストグラムに基づいて輝度変換係数を算出する輝度変換係数算出部と、
前記輝度変換係数に基づいて前記入力画像データから出力画像データを生成する輝度変換処理部と、
前記入力画像データの輝度平均値を算出する輝度平均値算出部と、
前記入力画像データの輝度平均値に基づいて前記輝度ヒストグラムの下限値を調整する輝度ヒストグラム調整部と、
を有することを特徴とする画像処理回路。
【請求項5】
前記入力画像データの輝度平均値と前記輝度ヒストグラムの下限値とを関連付けたテーブルを格納するレジスタをさらに有し、
前記輝度ヒストグラム調整部は、前記輝度ヒストグラムの調整に際して前記テーブルを参照することを特徴とする請求項4に記載の画像処理回路。
【請求項6】
前記テーブルの内容を書き換えるためのインタフェイス部をさらに有することを特徴とする請求項5に記載の画像処理回路。
【請求項7】
入力画像データの輝度ヒストグラムを取得する輝度ヒストグラム取得部と、
前記輝度ヒストグラムに基づいて輝度変換係数を算出する輝度変換係数算出部と、
前記輝度変換係数に基づいて前記入力画像データから出力画像データを生成する輝度変換処理部と、
所定の決定基準に従って前記入力画像データの輝度最大値を決定する輝度最大値決定部と、
前記入力画像データの輝度最大値に基づいて前記輝度変換処理部の補正強度係数を算出する補正強度係数算出部と、
を有することを特徴とする画像処理回路。
【請求項8】
前記入力画像データの輝度最大値と前記補正強度係数とを関連付けたテーブルを格納するレジスタをさらに有し、
前記補正強度係数算出部は、前記補正強度係数の算出に際して前記テーブルを参照することを特徴とする請求項7に記載の画像処理回路。
【請求項9】
前記テーブルの内容を書き換えるためのインタフェイス部をさらに有することを特徴とする請求項8に記載の画像処理回路。
【請求項10】
前記輝度ヒストグラム取得部は、モード切替信号に基づいて、一つのフレームを複数のエリアに分割して各エリア毎に前記輝度ヒストグラムを取得する第1モードと、一つのフレームを複数のエリアに分割することなく各フレーム毎に前記輝度ヒストグラムを取得する第2モードと、を切り替えることを特徴とする請求項1〜請求項9のいずれか一項に記載の画像処理回路。
【請求項11】
請求項1〜請求項10のいずれか一項に記載の画像処理回路を集積化したことを特徴とする半導体装置。
【請求項12】
請求項11に記載の半導体装置と、前記半導体装置に前記入力画像データを供給する画像入力部と、を有することを特徴とする画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図11A】
image rotate

【図11B】
image rotate

【図11C】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14A】
image rotate

【図14B】
image rotate


【公開番号】特開2012−221208(P2012−221208A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−86098(P2011−86098)
【出願日】平成23年4月8日(2011.4.8)
【出願人】(000116024)ローム株式会社 (3,539)
【Fターム(参考)】