説明

画像処理装置及び画像処理方法

【課題】ダイナミックレンジの圧縮後に色温度や彩度・色相が変わることなく、コントラスト、彩度が過度になるのを抑制した画像処理装置を提供する。
【解決手段】輝度信号と第1,第2の色差信号を入力する信号供給部と、前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第1、第2の色差信号に乗算して出力する乗算部とを具備する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮影した広ダイナミックレンジの画像信号を圧縮処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来、車載用カメラや防犯用の監視カメラが普及しており、例えば車両にカメラを搭載して車両周辺の映像を撮影してディスプレイに表示し、運転者の支援を図っている。ところで、車載用カメラの撮像環境は晴天下から暗がりまであり、広ダイナミックレンジが要求される。例えば、照度0.15〜150000lxを想定するとダイナミックレンジは120dBとなり、20bitデータ幅が必要になる。またカメラで撮影した画像を圧縮処理する場合、一般にイメージセンサの光電変換部に非線形回路を導入し、光入力120dBを圧縮して10〜12bit程度の信号を出力するようにしている。
【0003】
一方、カメラで撮影された画像を表示する車載用のディスプレイ装置のダイナミックレンジは、36dB〜48dB (6〜8bit)程度であり、広ダイナミックレンジの画像信号をディスプレイ装置に表示するには、更にダイナミックレンジの圧縮が必要である。しかしながら、単純に10〜12bitを6〜8bitに圧縮すると、コントラストの低い視認性の悪い画像になってしまう。
【0004】
また従来のダイナミックレンジ圧縮技術として、非特許文献1に記載のようなRetinexモデルを用いる例が周知である。非特許文献1には視覚特性を考慮したRetinexモデルと、画像の領域毎に適したマッピンクカーブを作成する手法を用いて撮影画像の明るさやコントラストを見やすく自動で変換する画像処理技術が開示されている。
【0005】
この非特許文献1では、反射率成分と照明明光成分をそれぞれ抽出する成分抽出部と、反射率成分の強度を変換する強度変換部と、照明光成分を領域分割し領域毎に適したマッピングカーブを作成してトーンマッピングを行うトーンマッピング部を有している。
【0006】
また特許文献1には、入力画像のダイナミックレンジを圧縮する画像処理装置について開示されている。この特許文献1の例では、入力画像から照明成分と反射率成分をそれぞれ抽出する抽出手段と、抽出した照明成分のダイナミックレンジを圧縮する圧縮手段と、圧縮された照明成分と抽出された反射率成分を合成する合成手段とを備えている。
【0007】
特許文献1では、ベイヤ配列のような周期的に分光感度の異なる画素(RGB)配列をもった光電変換信号から、同様に周期的なダウンサンプリングに基づく処理を階層的に行い、照明成分Lの推定を行っている。即ち、3つの異なる信号(RGB)が夫々独立な処理を受け、RGBの夫々についての照明成分を推定し、この照明成分を用いてRGB各々の反射率成分を求め、夫々の照明成分を圧縮し、夫々の反射率成分との積により圧縮されたR’G’B’を得るようにしている。
【0008】
しかしながら、上記した従来の圧縮技術では、RGB信号夫々が非線形な処理を受けるため、入力RGB信号の相対レベルに対して出力RGB信号の相対レベルが常に同一となる保証はない。このため、画像の内容によっては色温度及び彩度・色相が入力と出力では異なる場合が現れる。また、Retinexモデルに基づく圧縮においては、照明成分が圧縮されるため相対的に反射成分の寄与が大きくなり、圧縮率を大きく設定するとコントラスト、彩度が過度になる可能性がある。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】東芝レビュー Vol.64,No.6(2009)「撮影画像の明るさ最適化技術ContrastMagic TM」
【特許文献】
【0010】
【特許文献1】特開2009−77274号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
従来の圧縮技術では、RGB信号夫々が非線形な処理を受けるため、入力RGB信号の相対レベルに対して出力RGB信号の相対レベルが常に同一となる保証がなく、画像の内容によっては、色温度及び彩度・色相が入力と出力では異なる場合が現れる。また、Retinexモデルに基づく圧縮においては、照明成分が圧縮されるため相対的に反射成分の寄与が大きくなり、コントラスト、彩度が過度になる可能性がある。
【0012】
本発明はこのような事情に鑑み、ダイナミックレンジの圧縮後に色温度や彩度・色相が変わることなく、コントラスト、彩度が過度になるのを抑制した画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
請求項1記載の実施形態による画像処理装置は、輝度信号と第1,第2の色差信号を入力する信号供給部と、前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第1、第2の色差信号に乗算して出力する乗算部とを具備し、変換された輝度信号と色差信号を出力することを特徴とする。
【0014】
請求項4記載の実施形態による画像処理装置は、輝度信号と第1,第2の色差信号を入力する信号供給部と、前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた第1の係数αを前記第1、第2の色差信号に乗算して出力する第1の乗算部と、特定の色領域を設定し、前記特定の色領域に前記第1、第2の色差信号が存在する場合に、前記第1の係数αに第2の係数β(>1)を乗算して色差信号を増大して出力する第2の乗算部と、を具備することを特徴とする。
【0015】
また請求項5記載の実施形態による画像処理方法は、輝度信号と第1,第2の色差信号を入力し、前記入力された輝度信号のダイナミックレンジを圧縮して出力し、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第1、第2の色差信号に乗算して出力することを特徴とする。
【発明の効果】
【0016】
本発明の実施形態による画像処理装置によれば、ダイナミックレンジの圧縮前と後とで色温度及び彩度・色相が変わることはなく、ダイナミックレンジの圧縮後に過度な彩度になるのを防ぐことができる。また予め設定した色領域の信号の彩度を強調して出力することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係る画像処理装置の全体構成を示すブロック図。
【図2】ダイナミックレンジ圧縮部の一例を示すブロック図。
【図3】図2のダイナミックレンジ圧縮部の入出力特性を示す特性図。
【図4】色判定部で設定する特定の色領域を説明する色度図。
【発明を実施するための形態】
【0018】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例1】
【0019】
図1は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図1において画像処理装置10は、カメラ20で撮影して得たRGB信号を輝度信号(Y)と色差信号(U,V)に変換するマトリクス回路11と、輝度信号Yのダイナミックレンジを圧縮するダイナミックレンジ圧縮部12(以下、単に圧縮部12と称す)を備える。マトリクス回路11は、輝度信号と第1,第2の色差信号を入力する信号供給部を構成する。
【0020】
また圧縮前の輝度信号Yと圧縮後の輝度信号Y’との比率(Y’/Y)によって決まる係数αを算出する算出部13と、算出部13で算出した係数α(=Y’/Y)を色差信U,Vに乗じて出力色差信号U’,V’得る乗算回路14,15を備える。さらに、色判定部17によって特定の色領域(例えば、赤、黄、青)を予め設定し、色差信号U,Vが特定の色領域に相当すると判断した場合に、色差信号U,Vに乗じる係数αに適当な係数β(>1)を乗じて、特定の色領域の彩度を強調する乗算回路16とを備える。
【0021】
また圧縮された輝度信号Y’と、所定の係数が乗算された色差信号U’,V’をRGB信号に変換し、出力R’,G’,B’信号を得る変換回路18を備え、出力R’,G’,B’信号をディスプレイ装置30に供給するようにしている。
【0022】
図1の実施形態では、広ダイナミックレンジのカメラ出力(RGB信号)をマトリックス回路11で輝度信号Yと、色差信号U,Vに変換した後、圧縮部12で輝度信号Yのダイナミックレンジを圧縮してY’に変換する。次いで算出部13で係数α(=Y’/Y)を求め、乗算部14,15で色差信号U,Vに係数αを乗じて色差信号U’,V’を得る。Y’,U’,V’信号を以下、変換出力と呼ぶ場合もある。
【0023】
変換出力Y’,U’,V’は、輝度信号YをY’に圧縮変換するので、色温度は圧縮後も変わらない。また色差信号U,Vは、夫々同じ係数α(=Y’/Y)を乗じて色差信号U’,V’に変換するので、輝度と同じ割合でダイナミックレンジが圧縮され、過度な彩度は防止され色相も変わらない。
【0024】
図2は、ダイナミックレンジ圧縮部12の一例を示すブロック図である。ダイナミックレンジ圧縮部12は、例えばRetinexモデルに基づく手法で輝度信号Yのダイナミックレンジを圧縮してY’信号に変換するもので、照明成分検出部121と、圧縮部122と、反射率成分検出部123と、乗算回路124を含む。
【0025】
Retinexによると、入力画素値Iは、照明光成分Lと反射率成分Rの積、つまり、I=L×Rによってモデル化できる。照明光成分Lは被写体に照射された照明光の成分であり、反射率成分Rは被写体の画像成分である。
【0026】
照明成分検出部121は、入力画素値Iから例えばローパスフィルタを用いたフィルタ処理により画素毎の照明光成分Lを検出する。圧縮部122は、照明成分検出部121で検出した照明成分のダイナミックレンジを予め設定した圧縮特性で圧縮するもので、例えば照明成分Lの増加に対して出力照明成分L’の傾きが緩やかになる放物線特性を有する。
【0027】
反射率成分検出部123は、入力画素値Iから例えばハイパスフィルタを用いたフィルタ処理により画素毎の反射率成分Rを検出する。乗算回路124は、ダイナミックレンジが圧縮された照明成分L’と反射率成分Rの乗算を行い、出力画素値I’=L‘×Rを生成する。
【0028】
図3は、図2のダイナミックレンジ圧縮部12の入出力特性を示す特性図である。図3(a)は入力された照明成分と反射率成分を示し、(b)は出力された照明成分と反射率成分を示す。図3から分かるようにダイナミックレンジの圧縮は照明成分に対して行われ、反射率成分の圧縮は行われない。したがって、コントラストが低下して視認性が悪くなるのを防ぐことができる。
【0029】
また、図1の色判定部17は、特定の色領域(例えば、赤、黄、青)を予め設定し、特定の色領域に色差信号U,Vが存在すると判断した場合に、乗算回路16は、色差信号U,Vに乗じる係数αに適当な係数β(>1)を乗じて、特定の色領域の彩度を上げて強調するようにしている。
【0030】
例えば、車載用のカメラで車両周辺の映像を撮影する場合、緊急車両の警告灯の色領域は赤、黄、青の成分を含んでいる。したがって、警告灯を正確に撮影したい場合は、予め赤、黄、青の色領域を設定し、色差信号U,Vがこの色領域に相当すると判断したときには、色差信号U,Vに乗じる係数αに係数β(>1)を乗じて、警告灯の色領域の彩度を上げるようにしている。これによりディスプレイ30に表示したとき警告灯の色領域の彩度を強調表示することができる。
【0031】
図4は、色判定部17で設定する特定の色領域を説明する色度図である。図4において、RGBで示す三角形はディスプレイ30で現わせる色範囲であり、色判定部17で設定する色領域を3つの円(赤、黄、青)で示している。尚、色判定部17で設定する色領域は、赤、黄、青に限らず、他の色領域を設定することもできる。
【0032】
以上説明した実施形態によれば、輝度信号YをY’に圧縮変換するので、単にレベルが変わるだけであり、色温度は圧縮後も変わらない。また色差信号U,Vに同じ係数α(=Y’/Y)を乗じて色差信号U’,V’に圧縮変換するのでY’,U’,V’の相対的なレベルは変わらず、ダイナミックレンジの圧縮前と後とで彩度・色相が変わることはない。また輝度と同じレベルで色差信号U,Vが圧縮されるため、圧縮後に過度な彩度になるのをこと防ぐことができる。また予め設定した色領域の信号の彩度を強調して出力することができ、特定の色領域、例えば緊急車両の警告灯を強調して表示することができ、車両用のカメラ等の画像を表示する場合に有効である。
【0033】
尚、以上説明した実施形態による画像処理装置は、車両用に限らず監視用カメラ等で得た画像を処理する場合にも適用することができ、本発明の実施形態は、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【0034】
10…画像処理装置
11・・・マトリクス回路
12…ダイナミックレンジ圧縮部
13…算出部
14,15…係数αの乗算部
16…係数βの乗算部
17…色判定部
18…変換部
20…カメラ
30…ディスプレイ
121…照明成分検出部
122…圧縮部
123…反射率成分検出部
124…乗算部

【特許請求の範囲】
【請求項1】
輝度信号と第1,第2の色差信号を入力する信号供給部と、
前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、
前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第1、第2の色差信号に乗算して出力する乗算部と、を具備し、
変換された輝度信号と色差信号を出力することを特徴とする画像処理装置。
【請求項2】
前記信号供給部は、カメラで撮影して得たRGB信号を輝度信号Yと第1、第2の色差信号U,Vに変換するマトリクス回路を含み、
前記ダイナミックレンジ圧縮部は前記輝度信号Yのダイナミックレンジを圧縮した輝度信号Y’を出力し、
前記乗算部は、前記係数(α=Y’/Y)を前記第1、第2の色差信号U,Vに乗算して出力することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記ダイナミックレンジが圧縮された輝度信号Y’、及び前記係数αが乗算された第1、第2の色差信号U’,V’をRGBに変換する変換回路を備えたことを特徴とする請求項2記載の画像処理装置。
【請求項4】
輝度信号と第1,第2の色差信号を入力する信号供給部と、
前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、
前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた第1の係数αを前記第1、第2の色差信号に乗算して出力する第1の乗算部と、
特定の色領域を設定し、前記特定の色領域に前記第1、第2の色差信号が存在する場合に、前記第1の係数αに第2の係数β(>1)を乗算して色差信号を増大して出力する第2の乗算部と、を具備することを特徴とする画像処理装置。
【請求項5】
輝度信号と第1,第2の色差信号を入力し、
前記入力された輝度信号のダイナミックレンジを圧縮して出力し、
前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第1、第2の色差信号に乗算して出力することを特徴とする画像処理方法。
【請求項6】
前記ダイナミックレンジが圧縮された輝度信号、及び前記係数が乗算された第1、第2の色差信号をRGBに変換してディスプレイに供給することを特徴とする請求項5記載の画像処理方法。
【請求項7】
特定の色領域を設定し、前記特定の色領域に前記第1、第2の色差信号が存在する場合に、前記係数に第2の係数(>1)を乗算して色差信号を増大して出力することを特徴とする請求項5記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2011−250260(P2011−250260A)
【公開日】平成23年12月8日(2011.12.8)
【国際特許分類】
【出願番号】特願2010−122692(P2010−122692)
【出願日】平成22年5月28日(2010.5.28)
【出願人】(504113008)東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Fターム(参考)】