説明

画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム

【課題】肉眼で知覚されるシーンと同等の画質を維持しつつ画像のダイナミックレンジの圧縮を行う処理を従来よりも少ない演算量で実現する。
【解決手段】画像データの表す画像を構成する各画素の輝度に基づき、その画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値を領域内において同じくする互いに排他的な複数の領域に分割し、当該輝度補正値とその値を適用する領域の所在とを示す領域輝度データを生成する。次いで、画像データからN(Nは2以上の整数)階層のラプラシアンピラミッドを生成する一方、領域輝度データからガウシアンピラミッドを生成する。そして、ラプラシアンピラミッドの各階層の画素に対し、ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行って、新たなラプラシアンピラミッドを生成し、そのラプラシアンピラミッドから画像データを復元する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像のダイナミックレンジの圧縮を行う技術に関する。
【背景技術】
【0002】
CCD(Charge Coupled Device)イメージセンサなどの撮像素子で撮像された画像の表示には、CRT(Cathode Ray Tube)や液晶ディスプレイなどの表示装置が用いられる。しかし、この種の表示装置のダイナミックレンジは一般に狭く、自然画像のようにダイナミックレンジの広い画像が表示対象である場合など、表示対象の画像のダイナミックレンジがその表示性能を超えている場合には、その表示性能に合わせて画像のダイナミックレンジの圧縮を行う必要がある。従来、この種のダイナミックレンジの圧縮は、撮像された画像のダイナミックレンジを単純な線形圧縮、対数による圧縮、人間の目をシミュレートして感度を決定する方法や、ヒストグラムを用いる方法などいろいろな方法で行われているが、画像全体を一度に同じ規則によって圧縮する方法では、肉眼で知覚されるシーンと同等な画質の表示画像が得られなかった。そこで、表示装置の表示画像の画質を肉眼で知覚されるシーンと同等な画質となるように圧縮する為に、画像を全体でなく局所ごとに最適となるようにダイナミックレンジの圧縮を行う技術が種々提案されており、かかる技術に関する先行技術文献の一例としては非特許文献1が挙げられる。
【0003】
非特許文献1では、「人間の脳は、無意識のうちに視覚情報を明るいところと暗いところとに分けて、各々別個に補正し、それら補正結果を合成してシーンを認識している」ということを示唆する実験結果が報告されている。この実験結果を踏まえて、非特許文献1では、「同一シーンについての互いに異なる露光量で撮像された複数の画像の各々をその露光量に応じた輝度補正を施した後に多重解像度表現に変換し、その後、有効露光域に基づく統合を行うことでダイナミックレンジを圧縮する方法」が提案されており、かかる方法により、我々が知覚するような自然な画像が再現されることが報告されている。なお、有効露光域とは、互いに異なる露光量で撮像された画像の各々において、実際の輝度がダイナミックレンジの範囲内に収まっており、撮像により得られた輝度が信頼できるものであると推定される画素からなる領域のことである。
【0004】
画像の多重解像度表現としては種々のものが考えられるが、非特許文献1では、ガウシアンピラミッドおよびラプラシアンピラミッド(非特許文献2参照)を用いることが提案されている。これら2種類の多重解像度表現は、多重解像度表現への変換対象である画像(以下、元画像)にReduce処理およびExpand処理と呼ばれる2種類の処理を施すことによって得られる。ここで、Reduce処理とは、画像に対してガウシアンフィルタ(ローパスフィルタ)処理を施した後、さらにダウンサンプリングを行って画像を縮小する処理である。一方、Expand処理とは、補間により画像を拡大する処理である。図7に示すように、ガウシアンピラミッドは、処理対象の画像に対して上記Reduce処理を順次施すことによって得られ、ラプラシアンピラミッドは、処理対象の画像から、Expand処理により拡大されたガウシアン画像を差し引くことにより生成される。
以下、互いに異なる4種類の露光量で撮像された4枚の画像を用いてダイナミックレンジの圧縮を行う場合を例にとって非特許文献1に開示された技術について説明する。
【0005】
図8は、非特許文献1に開示されたダイナミックレンジ圧縮方法を説明するための図である。図8に示すように非特許文献1に開示されたダイナミックレンジ圧縮方法は、ステップA1〜A4の4つのステップからなる。ステップA1では、各々異なる露光量(図示の例では、4種類の露光量)で撮像された画像I(i=1〜4)において、その露光量における有効露光域を示す有効露光域画像W(i=1〜4)の生成が行われるとともに、それら4種類の露光量に応じて各画素の輝度を補正した輝度補正画像(a×I)の生成が行われる。ここで、有効露光域画像Wとは、画像Iにおいてその有効露光域に属する画素の画素値を1とし、他の画素の画素値を0として得られる2値画像である。一方、画像Iは、そのx行y列目の画素の画素値I(x、y)が以下の式(1)にしたがった演算で求められる画像であり、i番目の露光量に対応する輝度補正値aは、以下の式(2)にしたがって算出される値である。
I(x、y)={ I(x、y)×W(x、y)
+I(x、y)×W(x、y)
+I(x、y)×W(x、y)
+I(x、y)×W(x、y)}/WG(x、y)・・・(1)
ただし、WG(x、y)={W(x、y)+W(x、y)+W(x、y)+W(x、y)}
=2Gaini・・・(2)
式(2)のGainは、i番目の露光量で撮像した画像Iにおける最大輝度と撮像シーン全体に亘っての最大輝度との比の対数値Cを以下の式(3)に代入して得られる値である(詳細については、非特許文献1の式(5)およびその説明を参照)。なお、式(3)にて、^はべき乗を示す演算子であり(以下、本明細書にて同じ)、k、kおよびkは所定の定数である。
Gain=k^2+k+k・・・(3)
【0006】
次いで、図8のステップA2では、上記4つの輝度補正画像a×Iの各々を、前述したラプラシアンピラミッドに分解するとともに、上記4つの有効露光域画像Wの各々を、N(Nは2以上の整数)階層のガウシアンピラミッドに分解する処理が実行される。図8では、輝度補正画像a×Iの各々を第0〜第3階層までの4階層のラプラシアンピラミッドに分解し、有効露光域画像Wを同じく4階層のガウシアンピラミッドに分解する場合について例示されている。なお、上記ラプラシアンピラミッドを生成する際には、輝度補正画像a×Iの各画素の輝度の対数値を画素値とする画像について上記ラプラシアンピラミッドを生成するようにしても勿論良い。
【0007】
図8のステップA3では、上記4つのラプラシアンピラミッドの各々について、各階層の画素に対する同一露光量のガウシアンピラミッドにおける同一階層の同一画素による重み付け、およびその重み付結果の相加平均を以下の式(4)にしたがって演算する処理が行われる。なお、式(4)において、Lmi(x、y)は、i(i=1〜4)番目の露光量のラプラシアンピラミッドのm(m=0〜3)番目の階層が表す画像のx行y列目の画素の画素値であり、Gmi(x、y)は、i番目の露光量の有効露光域画像Wのガウシアンピラミッドのm番目の階層が表す画像のx行y列目の画素の画素値であり、L’(x、y)は、このステップA3の処理で得られる新たなラプラシアンピラミッドのm番目の階層が表す画像のx行y列目の画素の画素値である。
’(x、y)= { Lm1(x、y)×Gm1(x、y)
+Lm2(x、y)×Gm2(x、y)
+Lm3(x、y)×Gm3(x、y)
+Lm4(x、y)×Gm4(x、y)}/G(x、y)・・・(4)
ただし、G(x、y)=Gm1(x、y)+Gm2(x、y)+Gm3(x、y)+Gm4(x、y)
そして、ステップA4では、上記ステップA3で得られた新たなラプラシアンピラミッドから画像I’を復元する処理が行われる。具体的には、上記新たなラプラシアンピラミッドの各階層に、その階層数に応じた回数のExpand処理を施し、その処理結果を加算することで画像I’が復元される(詳細については非特許文献2参照)。
【0008】
以上のステップA1〜A4までの処理により得られた画像I’においては、ガウシアンピラミッドに分解された有効露光域画像にしたがって周波数依存的な統合が為されている。具体的には、画像の高周波成分についてはスムージングされた有効露光域画像が用いられる為、有効露光域が切り替わる境界を含む広い範囲に亘って滑らかに融合される一方、画像の低周波成分については各露光量の画像の有効露光域部分を単純に貼り合わせたように(すなわち、境界部分でシャープに画像が切り替わるように)融合される。これにより情報の欠落を極力抑えて画像のダイナミックレンジを圧縮し、肉眼で知覚されるシーンと同等の画質の表示画像を得ることが可能になるのである。
【非特許文献1】中内茂樹、林宏二、臼井支朗、「広ダイナミックレンジシーンのWYSIWYG的再現:多重解像度表現による輝度補正画像の統合」、2004年5月、電子情報通信学会論文誌 D-II Vol.J87-D-II No.5、pp.1153-1161
【非特許文献2】PeterJ.BURT、EDWARD H.ADELSON、「TheLaplacian Pyramid as a Compact Image Code」、1983年4月、IEEETRANSACTIONS ON COMMUNICATIONS VOL.COM-31、No.4
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかし、非特許文献1に開示された技術では、輝度補正の細やかさ(輝度補正値の個数)の分だけラプラシアンピラミッドおよびガウシアンピラミッドの生成を行う必要があるため、その数が増えるほどダイナミックレンジの圧縮に要する演算量が増加するといった問題がある。
本発明は上記課題に鑑みて為されたものであり、肉眼で知覚されるシーンと同等の画質を維持しつつ画像のダイナミックレンジの圧縮を行う処理を従来よりも少ない演算量で実現することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明は、画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する第1のステップと、前記画像データからN(Nは2以上の整数)階層の第1のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成する第2のステップと、前記第1のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第2のラプラシアンピラミッドを生成する第3のステップと、前記第2のラプラシアンピラミッドから画像データを生成する第4のステップと、を含むことを特徴とする画像のダイナミックレンジ圧縮方法、この方法により画像のダイナミックレンジの圧縮を行う画像処理回路、および、この方法をコンピュータ装置に実行させるプログラムを提供する。
【0011】
このようなダイナミックレンジ圧縮方法、画像処理回路およびプログラムによれば、ダイナミックレンジの圧縮対象である画像をその多重解像度表現であるラプラシアンピラミッドに変換し、その画像のダイナミックレンジの圧縮を行う際の輝度補正値を画素値とする画素をその輝度補正値を適用するべき画素の位置に配置して得られる画像をその多重解像度表現であるガウシアンピラミッドに変換する処理とが実行され、非特許文献1に開示された技術と同様に、そのラプラシアンピラミッドをガウシアンピラミッドによって重み付けした後に、その重み付け後のラプラシアンピラミッドから画像を復元することによってダイナミックレンジの圧縮が実現される。
【0012】
本発明の別の好ましい態様においては、撮像画像に応じた画像データを出力する撮像部を備えた撮像装置に上記画像処理回路を組み込み、その撮像部から出力される画像データの表す画像のダイナミックレンジを上記画像処理回路によって圧縮し、その処理結果である画像データを出力するようにしても良い。
【発明を実施するための最良の形態】
【0013】
(A:本実施形態の基本原理)
まず、初めに本発明の一実施形態に係るダイナミックレンジ圧縮方法の基本原理について説明する。図8のステップA2の処理結果であるガウシアンピラミッドの1段目(すなわち、第0階層の画像G0i(x、y)は有効露光域画像W(x、y)そのものである。そして、同ガウシアンピラミッドのk(kは2以上の自然数)段目(すなわち、第k−1階層の画像Gk−1i(x、y))とk−1段目(第k−2階層目の画像Gk−2i(x、y))との間には、以下の式(5)に示す関係がある。以下では、G0i(x、y)、W(x、y)、I(x、y)、L0i(x、y)、WG(x、y)等の添字(x、y)は省略する。
k−1i=Gk−2i*g(m,n)・・・(5)
なお、式(5)において、*は空間畳み込み演算を示す記号(以下、同じ)であり、g(m、n)は空間ローパスフィルタであるガウシアンフィルタである。
【0014】
一方、図8のステップA2の処理結果である各ラプラシアンピラミッドの1段目の画像L0i(i=1〜4)は、実際には、同ステップA1の処理結果である画像(a×I)対して以下の式(6)に示す演算を施すことにより生成される。
0i=(a×I)*l(m,n)・・・(6)
なお、式(6)においてl(m,n)は、元画像にガウシアンフィルタg(m,n)を畳み込み、ダウンサンプリング処理を施し、その結果をガウシアンフィルタによりExpand処理し(空間周波数の折り返し防止処理)、元画像との差分を取る処理である。したがって、l(m,n)は、
0i=(a×I)−(a×I)*g(m,n)*g(m,n)
=(a×I)*{1−g(m,n)*g(m,n)}
よって、
l(m,n)=1−g(m,n)*g(m,n)
空間ハイパスフィルタである所の、ラプラシアンフィルタである。
【0015】
そして、図8のステップA3にて生成される新たなラプラシアンピラミッドの1段目の画像は、露光量毎にガウシアンピラミッド出力でラプラシアンピラミッド出力を重み付けし、それらを加算して得られるのであるから、以下の式(7)の演算により求まる。なお、他の階層についても同様の演算により求めることができることは勿論である。
01×G01+L02×G02+L03×G03+L04×G04
={(a×I)*l(m,n)}×W
+ (a×I)*l(m,n)}×W
+ (a×I)*l(m,n)}×W
+ (a×I)*l(m,n)}×W}/WG・・・(7)
ただし、WG=W+W+W+W
【0016】
ここで、注目すべき点は、有効露光域画像W、W、W、およびWの各々が互いに排他的(すなわち、図1に示すように、Wにおいて画素値が1である画素に対応するW(j≠i)の画素の画素値が0)であるならば、上記式(7)を以下の式(8)のようにまとめることができる点である。
{I*l(m,n)}×{a×W+a×W+a×W+a×W}・・・(8)
ただし、W、W、WおよびWの各々が排他的であるため、
WG=W+W+W+W=1(すべての画素値で‘1’)
【0017】
上記式(8)において、{a×W+a×W+a×W+a×W}は、上記4種類の露光量の各々に対応した輝度補正値aをその輝度補正値を適用するべき画素位置に埋め込んで得られる画像W(図1参照、以下、領域輝度画像と呼ぶ)についてのガウシアン出力の第0階層であり、{I*l(m,n)}は、画像Iについてのラプラシアン出力の第0階層である。つまり、上記式(8)は、前述した4つの有効露光域画像Wが互いに排他的であるならば、これら4つの有効露光域画像Wおよび輝度補正値aを用いて4組のラプラシアンピラミッドおよびガウシアンピラミッドの生成および統合により画像のダイナミックレンジを圧縮することと、図1に示す領域輝度画像Wを用いて一組のラプラシアンピラミッドおよびガウシアンピラミッドの生成および統合により画像のダイナミックレンジを圧縮することとは等価であることを示している。
【0018】
本実施形態に係る画像のダイナミックレンジの圧縮方法は、上記4つの有効露光域画像に換えて領域輝度画像(図1参照)を用いることにより、一組のピラミッド処理およびその処理結果の統合により画像のダイナミックレンジの圧縮を行うようにしたものである。図2を参照すれば明らかように、本実施形態に係る画像のダイナミックレンジの圧縮方法によれば、常に一組のピラミッド処理で画像のダイナミックレンジの圧縮を行うことが可能になるため、非特許文献1に開示された手法による場合に比較して演算量が少なくなり、輝度補正の細やかさに応じて演算量が変化することもない。また、式(7)と式(8)とは等価であるから、本実施形態に係る画像のダイナミックレンジの圧縮方法によっても非特許文献1に開示された技術と同様、肉眼で視認されるシーンに近い画質の画像を得ることができることは勿論である。以上が、本実施形態に係る画像のダイナミックレンジの圧縮方法の基本原理およびその効果である。
【0019】
しかし、ここで問題となるのは、多重露光処理により得られる現実の画像においては、例えば図3(A)に示すように、各有効露光域画像Wが互いに排他的であるとは限らず、上記基本原理をそのまま適用することができない、という点である。これに対して、本願発明者は、各有効露光域画像が互いに排他的ではない場合には、以下に述べるように各有効露光域画像を互いの重なり具合に応じて再分割することにより上記問題を解決する方策を見出したのである。以下、各有効露光域画像が互いに排他的ではない場合への上記基本原理を適用するための手法について説明する。
【0020】
(B:有効露光域画像が排他的ではない場合への適用手法)
図3(A)に示す4つの有効露光域画像Wの各々については、互いの重なり具合に応じて再分割することができる。例えば、有効露光域画像Wについては、以下の式(9−1)に示すように再分割することができる。
=W11+W12+W13+W14+W123+W124+W134+W1234・・・(9−1)
なお、式(9−1)において、W11は、W1単独で重なり無しの領域、Wij(i≠j)は、WとWとが重なった領域、Wijk(i≠j、j≠k、i≠k)は、WとWとWとが重なった領域、W1234は、WとWとWとWとが重なった領域、である。また、図3(A)に示す他の3つの有効露光域画像(W、WおよびW)の各々についても、Wと同様に以下の式(9−2)から(9−4)に示すように再分割することができる。
=W22+W12+W23+W24+W123+W124+W234+W1234・・・(9−2)
=W33+W13+W23+W34+W123+W134+W234+W1234・・・(9−3)
=W44+W14+W24+W34+W124+W134+W234+W1234・・・(9−4)
【0021】
そして、式(9−1)から(9−4)を前掲式(7)へ代入すると、
01×G01+L02×G02+L03×G03+L04×G04
={ (a×I)*l(m,n)}
×{W11+W12+W13+W14+W123+W124+W134+W1234
+ (a×I)*l(m,n)}
×{W22+W12+W23+W24+W123+W124+W234+W1234
+ (a×I)*l(m,n)}
×{W33+W13+W23+W34+W123+W134+W234+W1234
+ (a×I)*l(m,n)}
×{W44+W14+W24+W34+W124+W134+W234+W1234
}/WG・・・(7−1)
となる。
【0022】
そして、式(7−1)については、さらに、以下の式(8−1)へと変形することができる。
01×G01+L02×G02+L03×G03+L04×G04
= { I*l(m,n)}
×{ a×W11+a×W22+a×W33+a×W44
+a12×W12+a13×W13+a14×W14
+a23×W23+a24×W24+a34×W34
+a123×W123+a124×W124+a134×W134+a234×W234
+a1234×W1234}・・・(8−1)
なお、式(8−1)において、aij=(a+a)/2(ただし、i≠j)、aijk=(a+a+a)/3(ただし、i≠j、j≠k、i≠k)、a1234=(a+a+a+a)/4、である。
【0023】
上記式(8−1)は、前掲図8に示す4組のピラミッド処理と、上記15個の新たな有効露光域画像(W11、W22…W1234)および上記15個の新たな輝度補正値(a,a…、a1234)を用いた15組のピラミッド処理とが等価であることを示している。上記のように各有効露光域画像を互いの重なり具合に応じて分割した後に非特許文献1に開示されたダイナミックレンジ圧縮方法を実行したのでは、当該非特許文献1に開示された技術に比較してピラミッド処理の数が増加し、演算量をかえって増加させてしまう。しかし、ここで注目すべき点は、互いの重なり具合に応じて再分割した15個の新たな有効露光域画像(W11、W22…W1234)の各々は互いに排他的である点、すなわち、前述した基本原理をそのまま適用することができる点である。上記15個の有効露光域画像(W11、W22…W1234)の各々は互いに排他的であるから、式(8−1)における{a×W11+a×W22+a×W33+a×W44+a12×W12+a13×W13+a14×W14+a23×W23+a24×W24+a34×W34+a123×W123+a124×W124+a134×W134+a234×W234+a1234×W1234}は、図3(B)に示す新たな領域輝度画像を表す。つまり、式(8−1)は、上記15個の新たな有効露光域画像および輝度補正値を用いて15組のピラミッド処理を行うことと、図3(B)に示す領域輝度画像を用いて1組のピラミッド処理を行うこととは等価であることを示している。
【0024】
したがって、多重露光処理により得られた画像の各有効露光域を示す有効露光域画像の各々が互いに排他的ではない場合には、それら複数の有効露光域画像の各々を互いの重なり具合に応じて再分割し、かかる再分割により得られた新たな有効露光域画像の各々について、画素値が1である部分にその有効露光域画像に適用する輝度補正値を埋め込んで領域輝度画像を生成した後に、前述した基本原理を適用するようにすれば良い。このようにすることで、非特許文献1に開示された技術よりも少ない演算量で、非特許文献1に開示された技術と同様、肉眼で視認されるシーンに近い画質の画像を得ることができるのである。
【0025】
また、aij、aijkおよびa1234は、元画像を統合する際の各有効露光域の画素に与えるゲインであるので、単純にaij=(a+a)/2のような関係でなくても良い。例えば、非特許文献1に開示された技術では、前述した式(3)で求めたゲインGainを用いて、以下の式(10)にしたがって元画像の統合が為される。なお、式(10)におけるΣは、添え字iに関して1〜4までの総和を求めることを示す。
M(x、y)=(1/W(x、y))ΣW(x,y)・(I(x、y)×2^Gain)・・・(10)
非特許文献1に開示された技術では、上記式(10)にしたがって元画像の統合が行われる為、それぞれの領域には、以下の式(11)に示すゲインが掛けられている。
(1/W(x、y))ΣW(x,y)・2^Gain・・・(11)
このことは、画像のダイナミックレンジを圧縮する為に適切なゲインを掛ければ良いことを意味しており、その画像のダイナミックレンジの圧縮方法によって適切な値が選ばれる。また、上述した手法では、有効露光域の重なり具合に応じて再分割された各有効露光域に対して同じ固定値を使用したが、例えば、Wij(aijを適用する有効露光域)に関しては、aからa領域に対して直線補間等の補間によってaの値からaの値へ滑らかに変化するゲインを埋め込んだ輝度補正画像を用いても良い。このようにすると、画素毎に自由に輝度補正値を設定することができる為、より自然な画質の画像を得る為に画素毎に補間等の方法により滑らかな輝度補正値を設定することも可能になる。
【0026】
(C:本実施形態に係るダイナミックレンジ圧縮方法を実行する装置の具体例)
次いで、コンビニエンスストアなどにおける防犯監視を行うための監視システムに本発明を適用する場合を例にとって、以上に説明したダイナミックレンジ圧縮方法により画像のダイナミックレンジの圧縮を行う装置の具体例について説明する。
図4は、上記監視システムの構成例を示すブロック図である。この監視システムには、コンビニエンスストアなどの入り口付近に設置され、その店舗内および屋外の映像を撮像してその映像を表す画像データを出力する撮像装置100と、撮像装置100から出力される画像データに応じた画像を表示する表示装置200とが含まれる。
【0027】
このように、撮像装置100は、店舗内と屋外といった広いダイナミックレンジの映像を撮像する必要があるため、本実施形態では、充分に広いダイナミックレンジを有する撮像素子が用いられている。これは、撮像素子のダイナミックレンジが充分でないと、店舗内での映像に黒ツブレが生じたり、逆に、屋外の映像に白トビが生じるなどして監視に支障をきたすからである。そして、図4に示す監視システムでは、撮像装置100が有する撮像部120のダイナミックレンジよりも、表示装置200のダイナミックレンジが狭いのであるが(一般にCRT、液晶ディスプレイ等、表示装置のダイナミックレンジは屋内、屋外の光の輝度のダイナミックレンジより非常に狭い)、本発明に係る方法でダイナミックレンジの圧縮を行う処理を撮像装置100に行わせることによって、演算量の増加を回避しつつ、肉眼で知覚されるシーンと同等な画質の表示画像を得ることを可能にしているのである。このように、肉眼で知覚されるシーンと同等な画質の表示画像が得られるため、例えば盗難の発生時の表示画像からその犯人の顔や特徴を識別する際に、現実のものとは異なった印象が与えられることを回避することが可能になる。
以下、撮像装置100の構成を中心に説明する。
【0028】
図4に示すように、撮像装置100は、制御部110、撮像部120、画像処理部130、および出力インタフェース(以下、I/F)部140を含んでいる。
制御部110は、例えばCPU(Central Processing Unit)であり、撮像装置100の各構成要素の作動制御を行う制御中枢の役割を果たす。撮像部120は、前述したように広ダイナミックレンジCCDイメージセンサなどの撮像素子を含んでおり、撮像した画像を表す画像データIdを出力する。
【0029】
画像処理回路130は、撮像部120から出力される画像データIdに各種画像処理を施し、その処理結果である画像データId´を出力I/F部140に与える。この画像処理回路130は、例えばDSP(Digital Signal Processor)であり、図示せぬメモリに記憶されている制御プログラムにしたがって上記各種画像処理を実行する。画像処理回路130が実行する画像処理には、色変換処理など一般的な画像処理回路が行う処理の他に、本実施形態に係るダイナミックレンジ圧縮処理が含まれている。このダイナミックレンジ圧縮処理の詳細については後に明らかにする。
【0030】
出力I/F部140には、表示装置200が接続されている。この出力I/F部140は、画像処理回路130から与えられる画像データId’を表示装置200の入力インタフェイス(例えば、RGB21ピン端子)に応じた信号形式に変換して出力する。これにより、画像データId’に応じた画像が表示装置200に表示されるのである。
以上が撮像装置100の構成である。
【0031】
次いで、画像処理回路130が実行するダイナミックレンジ圧縮処理について説明する。
図5は、画像処理回路130が実行するダイナミックレンジ圧縮処理を示す図である。
図5に示すように、画像処理回路130が実行するダイナミックレンジ圧縮処理は、領域輝度データ生成処理131、ピラミッドデータ生成処理132、重み付け処理133および画像復元処理134の4つの処理に大別される。
【0032】
領域輝度データ生成処理131は、画像データIdの表す画像I(すなわち、ダイナミックレンジの圧縮を行う対象である画像)を構成する各画素の輝度に基づき、その画像Iを、領域内において輝度の範囲を同じくする互いに排他的な複数の領域に分割し、ダイナミックレンジの圧縮を行う際に当該輝度の範囲についての輝度補正値とその輝度補正値を適用する領域(互いに排他的な領域)の当該画像I内での所在を示す領域輝度データWd(すなわち、前述した領域輝度画像Wを表すデータ)を生成する処理である。
【0033】
より詳細に説明すると、画像処理回路130のメモリに書き込まれている制御プログラムには、撮像部120から出力される画像データIdの表す画像Iを構成する各画素の輝度と、その画像のダイナミックレンジ(例えば、−160〜0デシベルの範囲)を表示装置200で再現可能なダイナミックレンジ(例えば、−80〜0デシベルの範囲)まで圧縮する際の輝度の範囲毎の輝度補正値aとの関係を示すテーブル若しくは計算式が内蔵されており、領域輝度データ生成処理131では、このテーブル若しくは計算式を参照して領域輝度データWdの生成が行われる。例えば、テーブルを使った場合、図6に示すように輝度の値が−40〜0デシベルの範囲にある画素については、輝度補正値aでその輝度を補正すべきこと、輝度の値が−80〜−41デシベルの範囲にある画素については、輝度補正値aでその輝度を補正すべきこと、輝度の値が−120〜−81デシベルの範囲にある画素については、輝度補正値aでその輝度を補正すべきこと、輝度の値が−160〜−121の範囲にある画素については、輝度補正値aでその輝度を補正すべきことを示すテーブルが上記制御プログラムに内蔵されている状況下で、図6に示す画像Iを表す画像データIdが撮像部120から画像処理回路130に与えられる場合には、以下の要領で、領域輝度データWdの生成が行われる。すなわち、画像Iの1行1列目の画素の輝度は−86であるから、領域輝度画像Wの1行1列目の画素の画素値にはaがセットされる。以下、領域輝度画像Wの3行3列目の画素の画素値にはaが、…50行100列目の画素の画素値にはaがセットされる。そして、このようにして生成される領域輝度画像Wを表す領域輝度データWdが生成されるのである。また、a、a、a、a、の補正値の境目に遷移領域を設け、aからaへ、aからaへ、aからaへ滑らかに変化するように設定しても良い。これは、有効露光域画像が互いに排他的ではない場合への適用手法にて説明した領域の重なりに関して最大15種類の輝度補正値を設定する事と同じ意味であり、輝度の変化をよりスムーズに行う効果がある。
【0034】
ピラミッドデータ生成処理132は、前述したExpand処理およびReduce処理により、画像データIdの表す画像IをN(Nは2以上の整数)階層のラプラシアンピラミッドPd1に分解する一方、領域輝度データWdの表す領域輝度画像WをN階層のガウシアンピラミッドPd2に分解する処理である。なお、このピラミッドデータ生成処理132においても、前述した非特許文献1に開示された技術と同様、画像Iの各画素の輝度の対数値を画素値とする画像についてのラプラシアンピラミッドPd1を生成するようにしても勿論良い。
【0035】
重み付け処理133は、前述した非特許文献1に開示された技術におけるステップA3(図8参照)に対応する処理である。この重み付け処理133では、ラプラシアンピラミッドPd1の各階層の画像を構成する画素の輝度を、ガウシアンピラミッドPd2における同一階層の同一画素の画素値で重み付けをして得られる新たなラプラシアンピラミッドPd3が生成される。
【0036】
画像復元処理134は、前述した非特許文献1に開示された技術におけるステップA4(図8参照)に対応する処理である。この画像復元処理134では、ラプラシアンピラミッドPd3の各階層にその階層数に応じた回数だけ下からExpand処理を施し加算して戻してゆく事によって画像データId´の生成が行われる。このようにして生成された画像データId´が出力I/F部140に与えられるのである。
以上が画像処理回路130で実行されるダイナミックレンジ圧縮処理である。
【0037】
以上に説明したように、本実施形態においては、1組のピラミッド処理を行う画像処理回路130において本発明に係るダイナミックレンジ圧縮処理が実行されるため、非特許文献1に開示された技術に比較して少ない演算量で上記ダイナミックレンジの圧縮が実現されるとともに、非特許文献1に開示された技術と同等な画質の表示画像(すなわち、肉眼で知覚されるシーンと同等な画質を有する表示画像)を得ることが可能になる。
【0038】
(D:その他の実施形態)
以上、本発明の実施形態について説明したが、かかる実施形態を以下のように変形しても良い。
(1)上述した実施形態では、本発明に係る画像のダイナミックレンジ圧縮方法を監視システムの撮像装置100に適用した。しかし、乗用車などの車両の周囲の映像を撮像し、そのインストルメントパネルなどに配置された液晶ディスプレイにその映像を表示させる車載カメラに本発明を適用しても勿論良い。このような車載カメラにおいても、例えばトンネルの出入り口付近では、広ダイナミックレンジの画像を撮像することが要求されるとともに、上記液晶ディスプレイの表示画像の画質が肉眼で視認されるものと異なったのでは、運転者の感覚を狂わせ予期せぬ危険を招く虞があるからである。また、本発明に係るダイナミックレンジ圧縮方法によりダイナミックレンジが圧縮された画像I’を表す画像データId’の出力先は、表示装置に限定されるものではない。例えば、ハードディスク等の不揮発性メモリを備えた記録装置であっても良く、また、通信回線を介して他の装置と通信する通信装置であっても良い。このように、本発明には、広いダイナミックレンジを有する画像の利用を、従来の狭いダイナミックレンジを利用した画像の記録、流通及び再生などへの幅を広げることが可能になるといった効果もある。
【0039】
(2)上述した実施形態では、表示装置200のダイナミックレンジよりも広いダイナミックレンジを有する撮像部120により撮像された画像のダイナミックレンジを画像処理回路130によって圧縮し、その処理結果である画像データを表示装置200に与えた。しかし、多重露光処理により得られる画像のダイナミックレンジの圧縮を行う際にも本発明を適用することができることは勿論である。
【0040】
具体的には、ダイナミックレンジの狭い撮像部と、同一シーンを各々異なる露光量で上記撮像部によって撮像して得られる複数の画像の各々を表す画像データとそれら複数の画像の各々についての有効露光域画像を表す有効露光域画像データとから多重露光処理により広ダイナミックレンジの画像を表す画像データを生成して出力するとともに上記各有効露光域画像を表す有効露光域画像データを出力する多重露光処理部と、この多重露光処理画像のダイナミックレンジの圧縮を行うための画像処理回路130と、出力I/F部140とを組み合わせて撮像装置を構成するようにすれば良い。なお、上記有効露光域画像データの各々が表す有効露光域が排他的ではない場合には、それら有効露光域の重なり具合に応じて互いに排他的な複数の領域に分割した後に領域輝度画像データを生成する処理(前述した基本原理の適用手法で説明した処理)を画像処理回路130に実行させるようにすれば良い。また、このようにして再分割された有効露光域に基づいて領域輝度データを生成する際には、各領域について、ダイナミックレンジの圧縮を行う際の輝度補正値の範囲(例えば、前述したようにaijが適用されるべき領域であれば、aからaまでの範囲)とその輝度補正値の範囲が適用される領域の所在とを示すように領域輝度画像データを生成しても良い。
【0041】
(3)上述した実施形態では、本発明に係るダイナミックレンジ圧縮処理をソフトウェアモジュールで実現したが、ハードウェアモジュールで実現しても勿論良い。具体的には、領域輝度データ生成処理131を実行する領域輝度データ生成部、ピラミッドデータ生成処理132を実行するピラミッド処理部、重み付け処理133を実行する重み付け処理部、および画像復元処理134を実行する復元処理部の各々を電子回路で構成し、これらを組み合わせて画像処理回路130を構成しても良い。また、上述した実施形態では、本発明に係るダイナミックレンジ圧縮処理を実現するためのプラグラムが画像処理回路130のメモリに予め書き込まれていたが、例えばCD−ROM(Compact Disk Read Only)などのコンピュータ装置読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。
【図面の簡単な説明】
【0042】
【図1】本発明の一実施形態に係るダイナミックレンジ圧縮方法にて使用する領域輝度画像を説明するための図である。
【図2】同ダイナミックレンジ圧縮方法の効果を説明するための図である。
【図3】有効露光域画像が互いに排他的ではない場合における、同ダイナミックレンジ圧縮方法の適用手法を説明するための図である。
【図4】本発明の一実施形態に係る撮像装置100を含む監視システムの構成例を示す図である。
【図5】同撮像装置100の画像処理回路130が実行する処理の一例を示す図である。
【図6】同画像処理回路130が実行する領域輝度データ生成処理を説明するための図である。
【図7】非特許文献1に開示されたダイナミックレンジ圧縮方法で使用するガウシアンピラミッドおよびラプラシアンピラミッドの生成手順について説明するための図である。
【図8】非特許文献1に開示されたダイナミックレンジ圧縮方法について説明するための図である。
【符号の説明】
【0043】
100…撮像装置、110…制御部、120…撮像部、130…画像処理部、131…領域輝度データ生成処理、132…ピラミッドデータ生成処理、133…重み付け処理、134…画像復元処理、140…出力I/F部、200…表示装置。

【特許請求の範囲】
【請求項1】
画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する第1のステップと、
前記画像データからN(Nは2以上の整数)階層の第1のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成する第2のステップと、
前記第1のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第2のラプラシアンピラミッドを生成する第3のステップと、
前記第2のラプラシアンピラミッドから画像データを生成する第4のステップと、
を含むことを特徴とする画像のダイナミックレンジ圧縮方法。
【請求項2】
画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する領域輝度データ生成部と、
前記画像データからN(Nは2以上の整数)階層の第1のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成するピラミッド処理部と、
前記第1のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第2のラプラシアンピラミッドを生成する重み付け処理部と、
前記第2のラプラシアンピラミッドから画像データを生成する復元処理部と、
を有することを特徴とする画像処理回路。
【請求項3】
撮像画像に応じた画像データを出力する撮像部と、請求項2に記載の画像処理回路とを備え、前記撮像部から出力される画像データの表す画像のダイナミックレンジを前記画像処理回路によって圧縮し、その処理結果である画像データを出力する
ことを特徴とする撮像装置。
【請求項4】
コンピュータ装置に、
画像データが示す各画素の輝度に基づき、前記画像データが表す画像を、その画像のダイナミックレンジの圧縮を行う際の輝度補正値またはその範囲を領域内において同じくする互いに排他的な複数の領域に分割し、前記輝度補正値またはその範囲と当該輝度補正値を適用する領域の前記画像内での所在とを示す領域輝度データを生成する第1のステップと、
前記画像データからN(Nは2以上の整数)階層の第1のラプラシアンピラミッドを生成する一方、前記領域輝度データからガウシアンピラミッドを生成する第2のステップと、
前記第1のラプラシアンピラミッドの各階層の画素に対し、前記ガウシアンピラミッドにおける同一階層の同一画素による重み付けを行うことにより、第2のラプラシアンピラミッドを生成する第3のステップと、
前記第2のラプラシアンピラミッドから画像データを生成する第4のステップと、
を実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2009−224901(P2009−224901A)
【公開日】平成21年10月1日(2009.10.1)
【国際特許分類】
【出願番号】特願2008−64802(P2008−64802)
【出願日】平成20年3月13日(2008.3.13)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成19年度、文部科学省、知的クラスター創生事業第II期、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(000004075)ヤマハ株式会社 (5,930)
【出願人】(304027349)国立大学法人豊橋技術科学大学 (391)
【Fターム(参考)】