画像処理装置及び画像処理方法
【課題】 様々な輝度の被写体について、高画質な合成画像を得ることのできる画像処理装置を提供する。
【解決手段】 画像処理装置1は、露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理装置であって、露光時間の長い方のLong信号の信号レベルを変換するLong信号レベル変換部14と、露光時間の短い方のShort信号の信号レベルを変換するShort信号レベル変換部16と、Long信号に基づいてミックス係数を算出するLong基準ミックス係数算出部18と、Short信号に基づいてミックス係数を算出するShort基準ミックス係数算出部20と、Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部22と、レベル変換後のLong信号とレベル変換後のShort信号を最終ミックス係数で示される割合でミックスする画像合成部24とを備える。
【解決手段】 画像処理装置1は、露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理装置であって、露光時間の長い方のLong信号の信号レベルを変換するLong信号レベル変換部14と、露光時間の短い方のShort信号の信号レベルを変換するShort信号レベル変換部16と、Long信号に基づいてミックス係数を算出するLong基準ミックス係数算出部18と、Short信号に基づいてミックス係数を算出するShort基準ミックス係数算出部20と、Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部22と、レベル変換後のLong信号とレベル変換後のShort信号を最終ミックス係数で示される割合でミックスする画像合成部24とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を得る画像処理装置に関する。
【背景技術】
【0002】
カメラ信号処理において、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を得る技術が広く知られている。例えば、特許文献1は、動きのある被写体の合成画像を生成する発明を開示している。
【0003】
図21は、特許文献1に記載のダイナミックレンジ拡大カメラの要部構成を示す図である。短時間露光信号に対して階調特性を抑圧する信号レベル抑圧手段110と、信号レベル抑圧手段110の出力信号に対して所定のオフセットSを加算するオフセット調整手段112とを有している。
【0004】
信号合成手段114には、長時間露光信号とオフセット調整手段112を通して出力される短時間露光信号とが入力される。信号合成手段114は、Long信号の入出力特性に対して乗換レベルLL以上の部分でLong信号に減衰係数を乗算し、Long信号の寄与を下げる重み付け処理を行う。また、信号合成手段114は、Short信号の乗換レベルLH以下の部分で重み付け処理を行う。
【0005】
このように信号合成手段114は、入力信号レベルが、出力信号レベルに換算して第1の乗換レベルLLと第2の乗換レベルLHとの間にあるときにのみ、重み付け加算を行う。
【0006】
この際、オフセット調整手段112にて加算するオフセットSを、Long信号の飽和レベルとShort信号が交点を有するように設定するとよい。その結果、乗り換えを行う場合にLong信号とShort信号とのレベル差が減少し、エッジに不要な低レベル信号が付加することがない。
【0007】
また、オフセット調整手段112にて加算する所定のオフセットS2を、信号合成における乗換レベルLLより大きいか、又は等しく設定する方法でもよい。この場合は、エッジ部にてLong信号から乗り換えたShort信号が必ずLong信号より高い信号レベルとなり、不要なエッジ二重線を回避できる。
【特許文献1】特開2001−169177号公報(第3−4頁、図1)
【発明の開示】
【発明が解決しようとする課題】
【0008】
撮像装置の実運用においては、被写体の輝度はシーンによって異なり、ダイナミックレンジ拡大処理が必要な被写体の輝度差の大きい画像から、ダイナミックレンジ拡大処理が必要ない被写体の輝度差の小さい画像まで、様々が画像が撮像される。従って、常に高画質な合成画像を得るためには、被写体に合わせた画像処理が必要である。また、輝度差の大きい被写体を撮像した状態から、輝度差の小さな被写体を撮像した状態までの画像処理の連続性を考慮する必要がある。
【0009】
また、輝度差の小さな被写体の場合、センサの仕様等により、Short信号レベルを十分に上げることができないことも考えられる。
【0010】
さらに、露光時間の異なる複数の画像を得るために、時間をずらして2回撮像を行うので、被写体が動いたりカメラが動いたりする場合、合成した画像には被写体の輪郭が2重に写ってしまい、画質が劣化してしまうという問題が生ずる。なお、たとえ複数の撮像素子を用いて同時に撮像したとしても、露光時間が異なるため、2重像の問題は完全には解決しない。
【0011】
2重像を原理的に消し去るには、複数の撮像素子に異なる感度特性の減光フィルタ(NDフィルタ)を貼り付け、複数の画像を完全に同タイミングで撮像すればよいが、被写体の輝度差の変化に合わせてNDフィルタの感度特性を変えることは難しく、現実的ではない。従って、2重像をできるだけ目立たないようにすることが望ましい。
【0012】
特許文献1に記載された発明では、2重像の影響をある程度低減できるが、Short信号のレベルを持ち上げたものそのものが見えるため、色相などにおいて違和感が残る。
【0013】
そこで、本発明は上記背景に鑑み、様々な輝度の被写体について、高画質な合成画像を得ることのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明の画像処理装置は、露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理装置であって、露光時間の長い方のLong信号の信号レベルを変換するLong信号レベル変換部と、露光時間の短い方のShort信号の信号レベルを変換するShort信号レベル変換部と、Long信号に基づいてLong基準ミックス係数を算出するLong基準ミックス係数算出部と、Short信号に基づいてShort基準ミックス係数を算出するShort基準ミックス係数算出部と、前記Long基準ミックス係数と前記Short基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部と、レベル変換後のLong信号とレベル変換後のShort信号を前記最終ミックス係数で示される割合でミックスする画像合成部とを備えた構成を有する。
【0015】
この構成により、Long信号に基づいて求めたLong基準ミックス係数とShort信号に基づいて求めたShort基準ミックス係数の両方を用いて最終ミックス係数を求めるので、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても、適正なミックス特性を得ることができる。また、最終ミックス係数は、Long信号とShort信号の両方の特性を反映した係数であるので、この係数を用いて合成画像を生成することにより、2重像を目立たないようにし、動物体の周囲部分においても違和感を低減することができる。
【0016】
本発明の画像処理装置において、前記Long基準ミックス係数算出部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいて、Long基準ミックス係数を算出し、前記Short基準ミックス係数算出部は、前記露光比に基づいてShort基準ミックス係数を算出し、前記最終ミックス係数算出部は、前記露光比に基づいて最終ミックス係数を算出する構成を有する。
【0017】
この構成により、被写体の輝度に関わらず、各ミックス係数を適切に求めることができる。
【0018】
本発明の画像処理装置において、前記Long信号レベル変換部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいてLong信号レベルを変換し、前記Short信号レベル変換部は、前記露光比に基づいてShort信号レベルを変換する構成を有する。
【0019】
この構成により、露光比に基づいて、Long信号レベルおよびShort信号レベルの信号レベルを適切に変換できる。
【0020】
本発明の画像処理装置において、前記Short信号レベル変換部は、入力の低レベル部分に前記露光比に基づく大きさのオフセットを加えた信号レベル変換特性を用いてShort信号レベルを変換する構成を有する。
【0021】
この構成により、露光比に応じて、合成信号に含まれるShort信号の信号レベルを適切に調整できる。例えば、露光比のレベルを第1の閾値と第2の閾値(第1の閾値<第2の閾値)を用いて3つの段階に分け、露光比が第1の閾値より小さい場合と露光比が第2の閾値より大きい場合に露光比に基づくオフセットを加え、露光比が第1の閾値と第2の閾値との間にある場合にはオフセットを加えない処理を行う。これにより、被写体の輝度差が比較的小さくかつShort信号の露光時間を延ばせないという状況において、Long信号が飽和し、かつShort信号レベルが足りない場合の合成画像の画質を向上できる。また、動物体付近でShort信号が見えてしまう場合の悪影響を低減できる。
【0022】
本発明の画像処理装置において、Short信号よりLong信号を多用するようなShort基準ミックス係数を算出する構成を有する。
【0023】
この構成により、Long信号を多用するので、Long信号とShort信号の露光タイミングの差から生じる合成画像のノイズを低減できる。
【0024】
本発明の画像処理装置は、Long信号レベルとShort信号レベルとを比較することにより被写体の動き部分を検出する動き検出部を備え、前記最終ミックス係数算出部は、前記動き検出部からの出力により、被写体の動きの有無に基づいて前記最終ミックス係数を算出する構成を有する。
【0025】
この構成により、被写体の動きの有無に応じて適切な合成画像を生成できる。例えば、動きのある部分では、Long信号とShort信号の両方を併用する最終ミックス係数を用いて画像信号を合成することで、動物体の合成画像の違和感を低減できる。
【0026】
本発明の画像処理方法は、露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理方法であって、露光時間の長い方のLong信号の信号レベルを変換するステップと、露光時間の短い方のShort信号の信号レベルを変換するステップと、Long信号に基づいてミックス係数を算出するステップと、Short信号に基づいてミックス係数を算出するステップと、Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出するステップと、レベル変換後のLong信号とレベル変換後のShort信号を最終ミックス係数で示される割合でミックスするステップとを備えた構成を有する。
【0027】
この構成により、上記した画像処理装置と同様に、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正なミックス特性が得られると共に、動物体の周囲部分においても合成画像の違和感を低減できる。なお、本発明の画像処理装置の各種の構成を本発明の画像処理方法にも適用できる。
【発明の効果】
【0028】
本発明によれば、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正な合成画像が得られるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【0029】
以下、本発明の実施の形態について、図面を用いて説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態の画像処理装置1を示す図である。第1の実施の形態の画像処理装置1は、Long信号入力部10と、Short信号入力部12と、Long信号レベル変換部14と、Short信号レベル変換部16と、Long基準ミックス係数算出部18と、Short基準ミックス係数算出部20と、最終ミックス係数算出部22と、画像合成部24とを有している。
【0030】
以下では、まず、図1に示す各構成の概要について説明し、続いて、画像合成の詳しい画像処理について説明する。Long信号入力部10とShort信号入力部12には、ラインメモリ(図示せず)等にて同時化されたLong信号とShort信号がそれぞれ入力される。
【0031】
Long信号レベル変換部14は、露光比に応じてLong信号の信号レベル変換を行う。Short信号レベル変換部16は、露光比に応じてShort信号の信号レベル変換を行う。Long信号レベル変換部14とShort信号レベル変換部16は、異なる特性で非線形に信号レベル変換を行う。
【0032】
Long基準ミックス係数算出部18は、入力されたLong信号レベルに基づいて画像合成部24でのミックス係数(Long基準ミックス係数)を算出する。同様に、Short基準ミックス係数算出部20は、入力されたShort信号レベルに基づいて画像合成部24でのミックス係数(Short基準ミックス係数)を算出する。最終ミックス係数算出部22は、Long基準ミックス係数算出部18とShort基準ミックス係数算出部20から出力されたミックス係数を加重加算し、最終ミックス係数を算出する。
【0033】
画像合成部24は、Long信号レベル変換部14から出力されたレベル変換後の画像信号とShort信号レベル変換部16から出力されたレベル変換後の画像信号を、最終ミックス係数算出部22から出力された最終ミックス係数に基づいて加重加算し、画像の合成処理を行う。これにより、画像合成部24は、ダイナミックレンジの広い画像を生成する。
【0034】
次に、図1に示す画像処理装置1による画像処理について図2〜図6を用いて説明する。最初に、被写体の輝度差が小さい状態から被写体の輝度差が大きい状態まで変化したときの理想的な画像処理について説明する。
【0035】
輝度差の小さい被写体の場合には、ダイナミックレンジ拡大処理は不要である。この場合、Long信号レベル変換部14でのレベル変換特性は、リニア特性(図2(a)参照)または信号の高域部を寝かせるニー特性(図2(b)参照)とし、最終ミックス係数算出部22の出力としてLong信号を100%使用する。これにより、ダイナミックレンジ拡大処理を行わなかった場合と同等の画像を得ることができる。
【0036】
被写体の輝度差が大きくなってきた場合、露光比を1倍として、入射光量に対する信号レベルをLong信号とShort信号で同等にし、さらに、Long信号レベル変換部14、Short信号レベル変換部16でのレベル変換特性は、リニア特性(図2(a)(c)参照)または信号の高域部を寝かせるニー特性(図2(b)(d)参照)する。すなわち、Long信号のレベル変換特性とShort信号のレベル変換特性を、全く同じ特性とする。
【0037】
被写体の輝度差がさらに大きくなった場合には、被写体の輝度差の拡大に合わせてShort信号の露光時間を短くすると共に、最終ミックス係数算出部22は、入射光量に従ってShort信号を使用する割合を増やす。以上の画像処理が理想的であり、時間的な不連続点のない滑らかな画像が得られる。
【0038】
しかしながら、センサの仕様等の問題でShort露光時間をLong露光時間と同等にまで延ばせない場合には、入射光量に対するShort信号の特性は、図2(e)に示すようになり、十分な信号レベルは得られない。この状態で、Long信号とShort信号を合成すると、Long信号が飽和していても、Short信号の信号レベルが十分に上がっていないので、合成画像においてLong信号が飽和した部分でShort信号が使用されることにより、逆にその部分が暗くなってしまうという弊害が起こる。このとき、Short信号を単純に露光比倍してLong信号と同じ特性にすることもできるが、Short信号のノイズ成分も強調されてしまい、SNが低下する。
【0039】
そこで、Short信号レベル変換部16は、Short信号のレベル変換特性の傾きを上げると共に、オフセット特性を与えて、図2(f)に示すようにShort信号の出力特性を定める。
【0040】
Long信号が飽和してShort信号を使用し始めた時、Short信号のレベルがLong信号レベル同等まで持ち上がっていれば、Long信号からShort信号への乗換えの境界は目立たない。
【0041】
図3(a)〜図3(d)は、輝度差の大きい画像に対する画像処理を説明するための図である。ダイナミックレンジ拡大処理が必要な被写体の輝度差の大きい画像の場合、Long信号は図3(c)に示すように、ある程度の入射光量で飽和してしまう。撮像装置は、Long信号の入射光量の飽和にはかかわらず、暗い部分の輝度を確保できるようにレンズ絞りを制御する。その上で、Short信号が図3(a)に示すような適正露光になるようにShort露光時間を短くする。
【0042】
Long信号とShort信号の信号レベルを合わせて正しく合成するためには、Short信号に露光比を乗じるか、Long信号に1/露光比を乗じる必要がある。しかし、Long信号とShort信号とを合成すると、露光比倍率が高い場合には、合成後のLong信号の画像領域の信号レベルが低くなりすぎる。そこで、本実施の形態では、Short信号レベル変換部16は、図3(b)に示すように上に凸の非線形変換を行う。また、Long信号レベル変換部14は、Short信号のレベル変換特性に合わせて、図3(d)に示すように、Short信号のレベル変換特性のうちの前半の1/露光比の部分を、入力信号側に露光比倍引き伸ばした特性で、上に凸の非線形変換を行う。
【0043】
図4(a)〜図4(d)は、被写体の輝度差がさらに大きい場合の画像処理について説明するための図である。被写体の輝度差が大きいほど、露光比を大きくする必要がある。Long信号は図4(c)に示すように、Short信号が飽和する入射光量に対して、図3(c)に示す例より少ない入射光量で飽和する。このため、Long信号レベル変換部14、Short信号レベル変換部16は、露光比が大きい時に図4(b)(d)に示すように非線形変換特性の上に凸の度合いを上げることで、合成後のLong信号の画像領域の信号レベル低下を防ぐ。
【0044】
Long基準ミックス係数算出部18は、入力されたLong信号に基づいてLong基準ミックス係数を算出する。Long基準ミックス係数は、Long信号によって定まるLong信号とShort信号をミックスする際の重み付けの係数である。仮に、従来と同様に、Long信号のみにより重み付けが決まるとすれば、係数値0の時は、Long信号が100%使用され、係数値1の時はShort信号が100%使用されることを示す係数である。
【0045】
図5は、Long基準ミックス係数算出部18にて、Long基準ミックス係数を算出するための関係式を示す図である。Long基準ミックス係数算出部18は、図5に示すように、ある入力信号レベル30に対する係数値31と、傾き32と、係数値の上限値33と、係数値の下限値34とによってLong基準ミックス係数を定める。Long信号の信号レベルが低い時は、Long基準ミックス係数は、下限値34をとり、信号レベルの上昇に合わせて、傾き32にて上限値33まで線形に上昇する。
【0046】
図6は、Short基準ミックス係数算出部20にて、Short基準ミックス係数を算出するための関係式を示す図である。Short基準ミックス係数算出部20も、Long基準ミックス係数算出部18と同様に、Short信号のレベルに基づいてShort基準ミックス係数を算出する。制御パラメータ35〜39は、Long基準ミックス係数算出部18の制御パラメータ30〜34とは異なる値である。図5および図6に示す各制御パラメータ30〜39は露光比によって制御される。
【0047】
また、Long基準ミックス係数とShort基準ミックス係数のミックス比率も露光比によって制御される。例えば、被写体の輝度差が小さく、露光比が小さくてShort信号のレベルが十分に上がらないような場合、Long信号を多用するようなミックス係数とし、かつLong基準ミックス係数を多用する最終ミックス係数でLong信号とShort信号を合成する。以上、第1の実施の形態の画像処理装置の構成および画像処理方法について説明した。
【0048】
Long信号レベル変換部14、Short信号レベル変換部16は、露光比に合わせてレベル変換特性を変化させるので、被写体の輝度差の大きい画像から被写体の輝度差の小さい画像まで、常に合成信号全体の信号レベルとLong信号の信号レベルを適正に制御することができる。
【0049】
また、Long基準ミックス係数算出部18、Short基準ミックス係数算出部20で求めたミックス係数を最終ミックス係数算出部22でミックスするので、被写体の輝度差の大きい画像から小さい画像まで、常に適正なミックス特性を得ることができる。また、この構成により、ミックス特性はLong信号とShort信号の両方を併用しているので、2重像を目立たなくする効果があり、動物体の合成画像の違和感を低減することができる。
【0050】
(第2の実施の形態)
本発明の第2の実施の形態の画像処理装置の基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第2の実施の形態の画像処理装置は、画像処理の方法が異なる。第2の実施の形態の画像処理方法を図7〜図12を用いて説明する。
【0051】
Short信号レベル変換部16は、図7に示すように、Short信号レベルを入力の低レベル部分の出力レベルが高くなる変換特性によって信号変換する。図7に示す変換特性は、第1の実施の形態で説明したShort信号レベルの変換特性(図3(b)参照)と比較して、低レベル側の出力レベルがより高くなっている。この変換特性により、センサの仕様等の問題でShort露光時間をLong露光時間と同等にまで延ばせない場合での低輝度差の被写体の画質の改善、ならびに、動物体の画質の改善を行うことができる。
【0052】
被写体の輝度差が小さい場合の画質を、Short信号レベル変換特性を入力の低レベル部分の出力レベルが高くなる変換特性とすることにより改善できることは第1の実施の形態で説明したとおりである。
【0053】
以下では、動物体に対する画質改善効果について説明する。ここでは、図8(a)に示すように、暗い背景の中を明るい物体が右に移動した場合と、逆に、図8(b)に示すように明るい背景の中を暗い物体が右に移動した場合に生じ得る問題点について説明する。
【0054】
図9(a)(b)は、それぞれ図8(a)(b)に示す被写体を撮像することによって得られたLong信号およびShort信号の信号レベルを示す図である。ただし、図9(a)(b)では、図8(a)(b)に示す被写体を横切るX軸方向(紙面の横方向)の直線上において取得した信号を示している。なお、図9(a)(b)では、Long信号とShort信号の露光比を考慮して信号レベルを合わせてある。
【0055】
図9(a)(b)において、信号41はLong信号レベルを示す。Long信号41は、露光時間が長いため、動きボケが生じて信号変化はなだらかであり、かつ、実体よりも幅が大きくなっている。また、信号が飽和しているため、信号レベルが上がりきっていない。
【0056】
図9(a)(b)において、信号42はShort信号レベルを示す。Short信号42は、Long信号41と信号レベルを合わせている。露光時間が短いため、Long信号41と比較してエッジはシャープである。また、Long信号41とShort信号42の露光タイミングの差から、Long信号41とShort信号42の位置はずれている。
【0057】
図10(a)(b)は、Long基準ミックス係数算出部18の出力を示す図である。図10(a)(b)において、信号43はLong基準ミックス係数であり。値が0の時にLong信号100%、値が1の時にShort100%のミックス比率となる。図10(a)(b)において信号44は、(1−Long基準ミックス係数)であり、値が1の時にLong100%、値が0の時にShort100%のミックス比率となる。
【0058】
前述したように、Long信号レベル41の幅は実体よりも大きいので、Long基準ミックス係数が変化する場所も実体のエッジとは異なる場所となってしまう。
【0059】
図11(a)(b)は、Long基準ミックス係数を用いてLong信号とShort信号をミックスした信号を示す図である。図11(a)(b)において、信号45は、Long信号×(1−Long基準ミックス係数)であり、信号46は、Short信号×Long基準ミックス係数である。信号47は、信号45と信号46の加算結果であり、ミックス後の最終信号である。
【0060】
図11(a)(b)に示す最終信号47において、部分48が画質的に問題となる。図11(a)を例に説明すると、部分48において、Long信号は動きボケのために早々に信号レベルが上がり、Long基準ミックス係数はShort信号を多用するような係数になる。しかし、Short信号42(図9(a)(b)参照)の部分48は背景であるため、合成すると暗い背景そのものが見えてしまう。
【0061】
本実施の形態では、Short信号レベル変換部16は、図7に示すように、入力の低レベル部分の出力レベルが高くなる信号レベル変換を行う。これにより、Long基準ミックス係数でLong信号とShort信号をミックスした結果は、図12(a)(b)に示すような特性となる。
【0062】
最終信号51において部分52のShort信号は、Short信号レベル変換特性により持ち上げられて明るくなり、背景が暗く見えてしまう状況は回避される。Short信号レベル変換特性のオフセット成分を、Long信号とShort信号の乗換え信号レベルと同じ程度になるように調整することで、動物体前後に現れる暗い影による画質劣化を低減できる。
【0063】
また、例えば、入力信号レベルに対する係数値31または係数の傾き32を少し上げるなどして(図5参照)、Long基準ミックス係数を、Long信号を多用するような係数にすることで、Short信号の使用される割合を減らすことで、背景が見えてしまう面積を小さくすることができる。
【0064】
(第3の実施の形態)
本発明の第3の実施の形態の画像処理装置の基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第3の実施の形態の画像処理装置は、画像処理の方法が異なる。本発明の第3の実施の形態の画像処理方法を図13〜図16を用いて説明する。
【0065】
Short基準ミックス係数算出部20では、Short信号の信号レベルに基づいてLong信号とShort信号のミックス係数を算出する。
【0066】
図13(a)(b)は、図8(a)(b)に対するShort基準ミックス係数算出部20の出力を示す図である。図13(a)(b)において信号60は、Short基準ミックス係数である。値が0の時にLong100%、値が1の時にShort100%のミックス比率となる。信号61は、(1−Short基準ミックス係数)であり、値が1の時にLong100%、値が0の時にShort100%のミックス比率となる。
【0067】
図14(a)(b)は、図13(a)(b)に示すShort基準ミックス係数にてLong信号とShort信号をミックスした信号を示す図である。信号62は、Long信号×(1−Short基準ミックス係数)であり、信号63は、Short信号×Short基準ミックス係数である。信号64は、信号62と信号63の加算結果であり、ミックス後の最終信号である。
【0068】
図14(a)(b)に示す信号64において、部分65が画質的に問題となる。Long信号とShort信号の露光タイミングのずれのため、Long信号の飽和レベルが見えてしまったり、動物体の前後に楔状のノイズが見えてしまったりしている。
【0069】
そこで、本実施の形態では、Short基準ミックス係数算出部20で、Long信号を多用するようなミックス係数特性となるように閾値制御を行う。例えば、Short信号入力を元にShort基準ミックス係数を求めるための制御パラメータ35(図6参照)の値を少し上げる。
【0070】
図15(a)(b)は図8(a)(b)に対する新しいShort基準ミックス係数を示す図、図16(a)(b)は新しいShort基準ミックス係数にてLong信号とShort信号をミックスした最終信号を示す図である。
【0071】
本実施の形態によれば、動物体の前後に現れた楔状のノイズを消すことができる。Long信号の飽和レベルが見える面積は大きくなるが、画質の劣化としては楔状ノイズの影響の方が大きいので、画質改善効果がある。
【0072】
(第4の実施の形態)
本発明の第4の実施の形態の画像処理装置の基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第4の実施の形態の画像処理装置は、画像処理の方法が異なる。本発明の第4の実施の形態の画像処理方法を図17、図18を用いて説明する。
【0073】
第4の実施の形態の画像処理装置は、図8(a),(b)に示した動物体に対して、第2の実施の形態で示したようなShort信号レベル変換部16と、第3の実施の形態で示したようなShort基準ミックス係数算出部20を用いる。Long基準ミックス係数は図10(a),(b)に示し、Short基準ミックス係数は図13(a),(b)に示した。
【0074】
図17(a)(b)は、図10(a)(b)に示すLong基準ミックス係数と図13(a)(b)に示すShort基準ミックス係数とを、等分で加算平均した最終ミックス係数を示す図である。図17(a)(b)において、信号72の部分は動きによりLong信号とShort信号の信号レベルに差がある部分であるが、Long基準ミックス係数とShort基準ミックス係数を加算したことにより、Long信号とShort信号両方を併用する値となっている。
【0075】
図18(a)(b)は、図17(a)(b)に示す最終ミックス係数を用いてLong信号とShort信号をミックスした信号を示す図である。信号中の部分73は、図12(a)(b)に示した部分52では、Short信号の背景画像のレベルを上げた信号のみであったのに対して、さらにLong信号を加算しており、動物体の画質をより改善することができる。
【0076】
(第5の実施の形態)
図19は、本発明の第5の実施の形態の画像処理装置5の構成を示す図である。第5の実施の形態の画像処理装置5は、第1の実施の形態の画像処理装置1と基本的な構成は同じであるが、Long基準ミックス係数算出部18およびShort基準ミックス係数算出部20に代えて、動き検出部26を有している。
【0077】
動き検出部26は、Long信号とShort信号を入力し、その差分から動きの有無を判定する機能を有する。被写体に動きが無ければ、Long信号とShort信号にはほぼ比例の関係が成り立つ。逆に、Long信号レベルが高くてShort信号が低い部分や、Long信号レベルが低くてShort信号が高い部分は、動きのある画像と判定することができる。
【0078】
図20は、Long信号およびShort信号と動きの有無の関係を示す図である。図20に示すように、本実施の形態では、Long信号およびShort信号をそれぞれ2つの閾値で3つに分け、全部で9つの領域に分けて動きの判定を行い、ミックス係数を決定する。
【0079】
Long信号もShort信号も小さい領域80は、画像が暗くてLong信号を使用すべき領域と考えられるので、この部分では、Long信号を多用するミックス係数とする。逆にLong信号もShort信号も大きい領域88は、画像が明るくてShort信号を使用すべき領域と考えられるので、この部分では、Short信号を多用するミックス係数とする。
【0080】
Long信号もShort信号も中間レベルの領域84は、適正な輝度が得られている領域と考えられるので、SNの良いLong信号を多用しつつ、信号レベルに合わせてShort信号を使用するミックス係数とする。
【0081】
Long信号レベルが高くてShort信号が低い領域86や、Long信号レベルが低くてShort信号が高い領域82は、動きのある領域と考えることができるので、Long信号とShort信号を半々程度にミックスするミックス係数とする。残りの領域81、83、85、87は中間的な領域と考え、領域80、82、84、86、88のミックス係数を線形補間して求める。
【0082】
これにより、動物体周囲の信号レベルは、図18に示す信号の部分73と同様に、レベルを上げた背景画像にLong信号を加算したものとなり。動物体の合成画像の画質を改善することができる。
【0083】
以上、本発明の画像処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。本発明は、Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出する構成を有する様々な変形例を含む。
【産業上の利用可能性】
【0084】
以上説明したように、本発明によれば、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正なミックス特性が得られるというすぐれた効果を有し、露光時間の異なる信号を合成してダイナミックレンジの広い画像を得る画像処理装置等として有用である。
【図面の簡単な説明】
【0085】
【図1】第1の実施の形態の画像処理装置を示す図
【図2】(a)入射光量―Long信号レベルを示すグラフ、(b)Long信号レベル−Long信号変換出力を示すグラフ、(c)入射光量―Short信号レベルを示すグラフ、(d)Short信号レベル−Short信号変換出力を示すグラフ、(e)入射光量―Short信号レベルを示すグラフ、(f)Short信号レベル−Short信号変換出力を示すグラフ
【図3】(a)入射光量―Short信号レベルを示すグラフ、(b)Short信号レベル−Short信号変換出力を示すグラフ、(c)入射光量―Long信号レベルを示すグラフ、(d)Long信号レベル−Long信号変換出力を示すグラフ
【図4】(a)入射光量―Short信号レベルを示すグラフ、(b)Short信号レベル−Short信号変換出力を示すグラフ、(c)入射光量―Long信号レベルを示すグラフ、(d)Long信号レベル−Long信号変換出力を示すグラフ
【図5】Long信号レベル―Long基準ミックスレベルの関係のグラフ
【図6】Short信号レベル―Short基準ミックスレベルの関係のグラフ
【図7】Short信号レベル―Short信号レベル変換出力の関係のグラフ
【図8】(a)動物体のイメージ図、(b)動物体のイメージ図
【図9】(a)動物体の信号レベルを示す図、(b)動物体の信号レベルを示す図
【図10】(a)Long基準ミックス係数を示す図、(b)Long基準ミックス係数を示す図
【図11】(a)Long基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Long基準ミックス係数を用いた合成画像の信号レベルを示す図
【図12】(a)Long基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Long基準ミックス係数を用いた合成画像の信号レベルを示す図
【図13】(a)Short基準ミックス係数を示す図、(b)Short基準ミックス係数を示す図
【図14】(a)Short基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Short基準ミックス係数を用いた合成画像の信号レベルを示す図
【図15】(a)Short基準ミックス係数を示す図、(b)Short基準ミックス係数を示す図
【図16】(a)Short基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Short基準ミックス係数を用いた合成画像の信号レベルを示す図
【図17】(a)Long基準ミックス係数とShort基準ミックス係数をミックスした最終ミックス係数を示す図、(b)Long基準ミックス係数とShort基準ミックス係数をミックスした最終ミックス係数を示す図
【図18】(a)最終ミックス係数を用いた合成画像の信号レベルを示す図、(b)最終ミックス係数を用いた合成画像の信号レベルを示す図
【図19】第5の実施の形態の画像処理装置の構成を示す図
【図20】Long信号およびShort信号と動きの有無の関係を示す図
【図21】特許文献1に記載のダイナミックレンジ拡大カメラの要部構成を示す図
【符号の説明】
【0086】
1 画像処理装置
10 Long信号入力部
12 Short信号入力部
14 Long信号レベル変換部
16 Short信号レベル変換部
18 Long基準ミックス係数算出部
20 Short基準ミックス係数算出部
22 最終ミックス係数算出部
24 画像合成部
26 動き検出部
【技術分野】
【0001】
本発明は、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を得る画像処理装置に関する。
【背景技術】
【0002】
カメラ信号処理において、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を得る技術が広く知られている。例えば、特許文献1は、動きのある被写体の合成画像を生成する発明を開示している。
【0003】
図21は、特許文献1に記載のダイナミックレンジ拡大カメラの要部構成を示す図である。短時間露光信号に対して階調特性を抑圧する信号レベル抑圧手段110と、信号レベル抑圧手段110の出力信号に対して所定のオフセットSを加算するオフセット調整手段112とを有している。
【0004】
信号合成手段114には、長時間露光信号とオフセット調整手段112を通して出力される短時間露光信号とが入力される。信号合成手段114は、Long信号の入出力特性に対して乗換レベルLL以上の部分でLong信号に減衰係数を乗算し、Long信号の寄与を下げる重み付け処理を行う。また、信号合成手段114は、Short信号の乗換レベルLH以下の部分で重み付け処理を行う。
【0005】
このように信号合成手段114は、入力信号レベルが、出力信号レベルに換算して第1の乗換レベルLLと第2の乗換レベルLHとの間にあるときにのみ、重み付け加算を行う。
【0006】
この際、オフセット調整手段112にて加算するオフセットSを、Long信号の飽和レベルとShort信号が交点を有するように設定するとよい。その結果、乗り換えを行う場合にLong信号とShort信号とのレベル差が減少し、エッジに不要な低レベル信号が付加することがない。
【0007】
また、オフセット調整手段112にて加算する所定のオフセットS2を、信号合成における乗換レベルLLより大きいか、又は等しく設定する方法でもよい。この場合は、エッジ部にてLong信号から乗り換えたShort信号が必ずLong信号より高い信号レベルとなり、不要なエッジ二重線を回避できる。
【特許文献1】特開2001−169177号公報(第3−4頁、図1)
【発明の開示】
【発明が解決しようとする課題】
【0008】
撮像装置の実運用においては、被写体の輝度はシーンによって異なり、ダイナミックレンジ拡大処理が必要な被写体の輝度差の大きい画像から、ダイナミックレンジ拡大処理が必要ない被写体の輝度差の小さい画像まで、様々が画像が撮像される。従って、常に高画質な合成画像を得るためには、被写体に合わせた画像処理が必要である。また、輝度差の大きい被写体を撮像した状態から、輝度差の小さな被写体を撮像した状態までの画像処理の連続性を考慮する必要がある。
【0009】
また、輝度差の小さな被写体の場合、センサの仕様等により、Short信号レベルを十分に上げることができないことも考えられる。
【0010】
さらに、露光時間の異なる複数の画像を得るために、時間をずらして2回撮像を行うので、被写体が動いたりカメラが動いたりする場合、合成した画像には被写体の輪郭が2重に写ってしまい、画質が劣化してしまうという問題が生ずる。なお、たとえ複数の撮像素子を用いて同時に撮像したとしても、露光時間が異なるため、2重像の問題は完全には解決しない。
【0011】
2重像を原理的に消し去るには、複数の撮像素子に異なる感度特性の減光フィルタ(NDフィルタ)を貼り付け、複数の画像を完全に同タイミングで撮像すればよいが、被写体の輝度差の変化に合わせてNDフィルタの感度特性を変えることは難しく、現実的ではない。従って、2重像をできるだけ目立たないようにすることが望ましい。
【0012】
特許文献1に記載された発明では、2重像の影響をある程度低減できるが、Short信号のレベルを持ち上げたものそのものが見えるため、色相などにおいて違和感が残る。
【0013】
そこで、本発明は上記背景に鑑み、様々な輝度の被写体について、高画質な合成画像を得ることのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明の画像処理装置は、露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理装置であって、露光時間の長い方のLong信号の信号レベルを変換するLong信号レベル変換部と、露光時間の短い方のShort信号の信号レベルを変換するShort信号レベル変換部と、Long信号に基づいてLong基準ミックス係数を算出するLong基準ミックス係数算出部と、Short信号に基づいてShort基準ミックス係数を算出するShort基準ミックス係数算出部と、前記Long基準ミックス係数と前記Short基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部と、レベル変換後のLong信号とレベル変換後のShort信号を前記最終ミックス係数で示される割合でミックスする画像合成部とを備えた構成を有する。
【0015】
この構成により、Long信号に基づいて求めたLong基準ミックス係数とShort信号に基づいて求めたShort基準ミックス係数の両方を用いて最終ミックス係数を求めるので、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても、適正なミックス特性を得ることができる。また、最終ミックス係数は、Long信号とShort信号の両方の特性を反映した係数であるので、この係数を用いて合成画像を生成することにより、2重像を目立たないようにし、動物体の周囲部分においても違和感を低減することができる。
【0016】
本発明の画像処理装置において、前記Long基準ミックス係数算出部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいて、Long基準ミックス係数を算出し、前記Short基準ミックス係数算出部は、前記露光比に基づいてShort基準ミックス係数を算出し、前記最終ミックス係数算出部は、前記露光比に基づいて最終ミックス係数を算出する構成を有する。
【0017】
この構成により、被写体の輝度に関わらず、各ミックス係数を適切に求めることができる。
【0018】
本発明の画像処理装置において、前記Long信号レベル変換部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいてLong信号レベルを変換し、前記Short信号レベル変換部は、前記露光比に基づいてShort信号レベルを変換する構成を有する。
【0019】
この構成により、露光比に基づいて、Long信号レベルおよびShort信号レベルの信号レベルを適切に変換できる。
【0020】
本発明の画像処理装置において、前記Short信号レベル変換部は、入力の低レベル部分に前記露光比に基づく大きさのオフセットを加えた信号レベル変換特性を用いてShort信号レベルを変換する構成を有する。
【0021】
この構成により、露光比に応じて、合成信号に含まれるShort信号の信号レベルを適切に調整できる。例えば、露光比のレベルを第1の閾値と第2の閾値(第1の閾値<第2の閾値)を用いて3つの段階に分け、露光比が第1の閾値より小さい場合と露光比が第2の閾値より大きい場合に露光比に基づくオフセットを加え、露光比が第1の閾値と第2の閾値との間にある場合にはオフセットを加えない処理を行う。これにより、被写体の輝度差が比較的小さくかつShort信号の露光時間を延ばせないという状況において、Long信号が飽和し、かつShort信号レベルが足りない場合の合成画像の画質を向上できる。また、動物体付近でShort信号が見えてしまう場合の悪影響を低減できる。
【0022】
本発明の画像処理装置において、Short信号よりLong信号を多用するようなShort基準ミックス係数を算出する構成を有する。
【0023】
この構成により、Long信号を多用するので、Long信号とShort信号の露光タイミングの差から生じる合成画像のノイズを低減できる。
【0024】
本発明の画像処理装置は、Long信号レベルとShort信号レベルとを比較することにより被写体の動き部分を検出する動き検出部を備え、前記最終ミックス係数算出部は、前記動き検出部からの出力により、被写体の動きの有無に基づいて前記最終ミックス係数を算出する構成を有する。
【0025】
この構成により、被写体の動きの有無に応じて適切な合成画像を生成できる。例えば、動きのある部分では、Long信号とShort信号の両方を併用する最終ミックス係数を用いて画像信号を合成することで、動物体の合成画像の違和感を低減できる。
【0026】
本発明の画像処理方法は、露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理方法であって、露光時間の長い方のLong信号の信号レベルを変換するステップと、露光時間の短い方のShort信号の信号レベルを変換するステップと、Long信号に基づいてミックス係数を算出するステップと、Short信号に基づいてミックス係数を算出するステップと、Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出するステップと、レベル変換後のLong信号とレベル変換後のShort信号を最終ミックス係数で示される割合でミックスするステップとを備えた構成を有する。
【0027】
この構成により、上記した画像処理装置と同様に、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正なミックス特性が得られると共に、動物体の周囲部分においても合成画像の違和感を低減できる。なお、本発明の画像処理装置の各種の構成を本発明の画像処理方法にも適用できる。
【発明の効果】
【0028】
本発明によれば、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正な合成画像が得られるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【0029】
以下、本発明の実施の形態について、図面を用いて説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態の画像処理装置1を示す図である。第1の実施の形態の画像処理装置1は、Long信号入力部10と、Short信号入力部12と、Long信号レベル変換部14と、Short信号レベル変換部16と、Long基準ミックス係数算出部18と、Short基準ミックス係数算出部20と、最終ミックス係数算出部22と、画像合成部24とを有している。
【0030】
以下では、まず、図1に示す各構成の概要について説明し、続いて、画像合成の詳しい画像処理について説明する。Long信号入力部10とShort信号入力部12には、ラインメモリ(図示せず)等にて同時化されたLong信号とShort信号がそれぞれ入力される。
【0031】
Long信号レベル変換部14は、露光比に応じてLong信号の信号レベル変換を行う。Short信号レベル変換部16は、露光比に応じてShort信号の信号レベル変換を行う。Long信号レベル変換部14とShort信号レベル変換部16は、異なる特性で非線形に信号レベル変換を行う。
【0032】
Long基準ミックス係数算出部18は、入力されたLong信号レベルに基づいて画像合成部24でのミックス係数(Long基準ミックス係数)を算出する。同様に、Short基準ミックス係数算出部20は、入力されたShort信号レベルに基づいて画像合成部24でのミックス係数(Short基準ミックス係数)を算出する。最終ミックス係数算出部22は、Long基準ミックス係数算出部18とShort基準ミックス係数算出部20から出力されたミックス係数を加重加算し、最終ミックス係数を算出する。
【0033】
画像合成部24は、Long信号レベル変換部14から出力されたレベル変換後の画像信号とShort信号レベル変換部16から出力されたレベル変換後の画像信号を、最終ミックス係数算出部22から出力された最終ミックス係数に基づいて加重加算し、画像の合成処理を行う。これにより、画像合成部24は、ダイナミックレンジの広い画像を生成する。
【0034】
次に、図1に示す画像処理装置1による画像処理について図2〜図6を用いて説明する。最初に、被写体の輝度差が小さい状態から被写体の輝度差が大きい状態まで変化したときの理想的な画像処理について説明する。
【0035】
輝度差の小さい被写体の場合には、ダイナミックレンジ拡大処理は不要である。この場合、Long信号レベル変換部14でのレベル変換特性は、リニア特性(図2(a)参照)または信号の高域部を寝かせるニー特性(図2(b)参照)とし、最終ミックス係数算出部22の出力としてLong信号を100%使用する。これにより、ダイナミックレンジ拡大処理を行わなかった場合と同等の画像を得ることができる。
【0036】
被写体の輝度差が大きくなってきた場合、露光比を1倍として、入射光量に対する信号レベルをLong信号とShort信号で同等にし、さらに、Long信号レベル変換部14、Short信号レベル変換部16でのレベル変換特性は、リニア特性(図2(a)(c)参照)または信号の高域部を寝かせるニー特性(図2(b)(d)参照)する。すなわち、Long信号のレベル変換特性とShort信号のレベル変換特性を、全く同じ特性とする。
【0037】
被写体の輝度差がさらに大きくなった場合には、被写体の輝度差の拡大に合わせてShort信号の露光時間を短くすると共に、最終ミックス係数算出部22は、入射光量に従ってShort信号を使用する割合を増やす。以上の画像処理が理想的であり、時間的な不連続点のない滑らかな画像が得られる。
【0038】
しかしながら、センサの仕様等の問題でShort露光時間をLong露光時間と同等にまで延ばせない場合には、入射光量に対するShort信号の特性は、図2(e)に示すようになり、十分な信号レベルは得られない。この状態で、Long信号とShort信号を合成すると、Long信号が飽和していても、Short信号の信号レベルが十分に上がっていないので、合成画像においてLong信号が飽和した部分でShort信号が使用されることにより、逆にその部分が暗くなってしまうという弊害が起こる。このとき、Short信号を単純に露光比倍してLong信号と同じ特性にすることもできるが、Short信号のノイズ成分も強調されてしまい、SNが低下する。
【0039】
そこで、Short信号レベル変換部16は、Short信号のレベル変換特性の傾きを上げると共に、オフセット特性を与えて、図2(f)に示すようにShort信号の出力特性を定める。
【0040】
Long信号が飽和してShort信号を使用し始めた時、Short信号のレベルがLong信号レベル同等まで持ち上がっていれば、Long信号からShort信号への乗換えの境界は目立たない。
【0041】
図3(a)〜図3(d)は、輝度差の大きい画像に対する画像処理を説明するための図である。ダイナミックレンジ拡大処理が必要な被写体の輝度差の大きい画像の場合、Long信号は図3(c)に示すように、ある程度の入射光量で飽和してしまう。撮像装置は、Long信号の入射光量の飽和にはかかわらず、暗い部分の輝度を確保できるようにレンズ絞りを制御する。その上で、Short信号が図3(a)に示すような適正露光になるようにShort露光時間を短くする。
【0042】
Long信号とShort信号の信号レベルを合わせて正しく合成するためには、Short信号に露光比を乗じるか、Long信号に1/露光比を乗じる必要がある。しかし、Long信号とShort信号とを合成すると、露光比倍率が高い場合には、合成後のLong信号の画像領域の信号レベルが低くなりすぎる。そこで、本実施の形態では、Short信号レベル変換部16は、図3(b)に示すように上に凸の非線形変換を行う。また、Long信号レベル変換部14は、Short信号のレベル変換特性に合わせて、図3(d)に示すように、Short信号のレベル変換特性のうちの前半の1/露光比の部分を、入力信号側に露光比倍引き伸ばした特性で、上に凸の非線形変換を行う。
【0043】
図4(a)〜図4(d)は、被写体の輝度差がさらに大きい場合の画像処理について説明するための図である。被写体の輝度差が大きいほど、露光比を大きくする必要がある。Long信号は図4(c)に示すように、Short信号が飽和する入射光量に対して、図3(c)に示す例より少ない入射光量で飽和する。このため、Long信号レベル変換部14、Short信号レベル変換部16は、露光比が大きい時に図4(b)(d)に示すように非線形変換特性の上に凸の度合いを上げることで、合成後のLong信号の画像領域の信号レベル低下を防ぐ。
【0044】
Long基準ミックス係数算出部18は、入力されたLong信号に基づいてLong基準ミックス係数を算出する。Long基準ミックス係数は、Long信号によって定まるLong信号とShort信号をミックスする際の重み付けの係数である。仮に、従来と同様に、Long信号のみにより重み付けが決まるとすれば、係数値0の時は、Long信号が100%使用され、係数値1の時はShort信号が100%使用されることを示す係数である。
【0045】
図5は、Long基準ミックス係数算出部18にて、Long基準ミックス係数を算出するための関係式を示す図である。Long基準ミックス係数算出部18は、図5に示すように、ある入力信号レベル30に対する係数値31と、傾き32と、係数値の上限値33と、係数値の下限値34とによってLong基準ミックス係数を定める。Long信号の信号レベルが低い時は、Long基準ミックス係数は、下限値34をとり、信号レベルの上昇に合わせて、傾き32にて上限値33まで線形に上昇する。
【0046】
図6は、Short基準ミックス係数算出部20にて、Short基準ミックス係数を算出するための関係式を示す図である。Short基準ミックス係数算出部20も、Long基準ミックス係数算出部18と同様に、Short信号のレベルに基づいてShort基準ミックス係数を算出する。制御パラメータ35〜39は、Long基準ミックス係数算出部18の制御パラメータ30〜34とは異なる値である。図5および図6に示す各制御パラメータ30〜39は露光比によって制御される。
【0047】
また、Long基準ミックス係数とShort基準ミックス係数のミックス比率も露光比によって制御される。例えば、被写体の輝度差が小さく、露光比が小さくてShort信号のレベルが十分に上がらないような場合、Long信号を多用するようなミックス係数とし、かつLong基準ミックス係数を多用する最終ミックス係数でLong信号とShort信号を合成する。以上、第1の実施の形態の画像処理装置の構成および画像処理方法について説明した。
【0048】
Long信号レベル変換部14、Short信号レベル変換部16は、露光比に合わせてレベル変換特性を変化させるので、被写体の輝度差の大きい画像から被写体の輝度差の小さい画像まで、常に合成信号全体の信号レベルとLong信号の信号レベルを適正に制御することができる。
【0049】
また、Long基準ミックス係数算出部18、Short基準ミックス係数算出部20で求めたミックス係数を最終ミックス係数算出部22でミックスするので、被写体の輝度差の大きい画像から小さい画像まで、常に適正なミックス特性を得ることができる。また、この構成により、ミックス特性はLong信号とShort信号の両方を併用しているので、2重像を目立たなくする効果があり、動物体の合成画像の違和感を低減することができる。
【0050】
(第2の実施の形態)
本発明の第2の実施の形態の画像処理装置の基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第2の実施の形態の画像処理装置は、画像処理の方法が異なる。第2の実施の形態の画像処理方法を図7〜図12を用いて説明する。
【0051】
Short信号レベル変換部16は、図7に示すように、Short信号レベルを入力の低レベル部分の出力レベルが高くなる変換特性によって信号変換する。図7に示す変換特性は、第1の実施の形態で説明したShort信号レベルの変換特性(図3(b)参照)と比較して、低レベル側の出力レベルがより高くなっている。この変換特性により、センサの仕様等の問題でShort露光時間をLong露光時間と同等にまで延ばせない場合での低輝度差の被写体の画質の改善、ならびに、動物体の画質の改善を行うことができる。
【0052】
被写体の輝度差が小さい場合の画質を、Short信号レベル変換特性を入力の低レベル部分の出力レベルが高くなる変換特性とすることにより改善できることは第1の実施の形態で説明したとおりである。
【0053】
以下では、動物体に対する画質改善効果について説明する。ここでは、図8(a)に示すように、暗い背景の中を明るい物体が右に移動した場合と、逆に、図8(b)に示すように明るい背景の中を暗い物体が右に移動した場合に生じ得る問題点について説明する。
【0054】
図9(a)(b)は、それぞれ図8(a)(b)に示す被写体を撮像することによって得られたLong信号およびShort信号の信号レベルを示す図である。ただし、図9(a)(b)では、図8(a)(b)に示す被写体を横切るX軸方向(紙面の横方向)の直線上において取得した信号を示している。なお、図9(a)(b)では、Long信号とShort信号の露光比を考慮して信号レベルを合わせてある。
【0055】
図9(a)(b)において、信号41はLong信号レベルを示す。Long信号41は、露光時間が長いため、動きボケが生じて信号変化はなだらかであり、かつ、実体よりも幅が大きくなっている。また、信号が飽和しているため、信号レベルが上がりきっていない。
【0056】
図9(a)(b)において、信号42はShort信号レベルを示す。Short信号42は、Long信号41と信号レベルを合わせている。露光時間が短いため、Long信号41と比較してエッジはシャープである。また、Long信号41とShort信号42の露光タイミングの差から、Long信号41とShort信号42の位置はずれている。
【0057】
図10(a)(b)は、Long基準ミックス係数算出部18の出力を示す図である。図10(a)(b)において、信号43はLong基準ミックス係数であり。値が0の時にLong信号100%、値が1の時にShort100%のミックス比率となる。図10(a)(b)において信号44は、(1−Long基準ミックス係数)であり、値が1の時にLong100%、値が0の時にShort100%のミックス比率となる。
【0058】
前述したように、Long信号レベル41の幅は実体よりも大きいので、Long基準ミックス係数が変化する場所も実体のエッジとは異なる場所となってしまう。
【0059】
図11(a)(b)は、Long基準ミックス係数を用いてLong信号とShort信号をミックスした信号を示す図である。図11(a)(b)において、信号45は、Long信号×(1−Long基準ミックス係数)であり、信号46は、Short信号×Long基準ミックス係数である。信号47は、信号45と信号46の加算結果であり、ミックス後の最終信号である。
【0060】
図11(a)(b)に示す最終信号47において、部分48が画質的に問題となる。図11(a)を例に説明すると、部分48において、Long信号は動きボケのために早々に信号レベルが上がり、Long基準ミックス係数はShort信号を多用するような係数になる。しかし、Short信号42(図9(a)(b)参照)の部分48は背景であるため、合成すると暗い背景そのものが見えてしまう。
【0061】
本実施の形態では、Short信号レベル変換部16は、図7に示すように、入力の低レベル部分の出力レベルが高くなる信号レベル変換を行う。これにより、Long基準ミックス係数でLong信号とShort信号をミックスした結果は、図12(a)(b)に示すような特性となる。
【0062】
最終信号51において部分52のShort信号は、Short信号レベル変換特性により持ち上げられて明るくなり、背景が暗く見えてしまう状況は回避される。Short信号レベル変換特性のオフセット成分を、Long信号とShort信号の乗換え信号レベルと同じ程度になるように調整することで、動物体前後に現れる暗い影による画質劣化を低減できる。
【0063】
また、例えば、入力信号レベルに対する係数値31または係数の傾き32を少し上げるなどして(図5参照)、Long基準ミックス係数を、Long信号を多用するような係数にすることで、Short信号の使用される割合を減らすことで、背景が見えてしまう面積を小さくすることができる。
【0064】
(第3の実施の形態)
本発明の第3の実施の形態の画像処理装置の基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第3の実施の形態の画像処理装置は、画像処理の方法が異なる。本発明の第3の実施の形態の画像処理方法を図13〜図16を用いて説明する。
【0065】
Short基準ミックス係数算出部20では、Short信号の信号レベルに基づいてLong信号とShort信号のミックス係数を算出する。
【0066】
図13(a)(b)は、図8(a)(b)に対するShort基準ミックス係数算出部20の出力を示す図である。図13(a)(b)において信号60は、Short基準ミックス係数である。値が0の時にLong100%、値が1の時にShort100%のミックス比率となる。信号61は、(1−Short基準ミックス係数)であり、値が1の時にLong100%、値が0の時にShort100%のミックス比率となる。
【0067】
図14(a)(b)は、図13(a)(b)に示すShort基準ミックス係数にてLong信号とShort信号をミックスした信号を示す図である。信号62は、Long信号×(1−Short基準ミックス係数)であり、信号63は、Short信号×Short基準ミックス係数である。信号64は、信号62と信号63の加算結果であり、ミックス後の最終信号である。
【0068】
図14(a)(b)に示す信号64において、部分65が画質的に問題となる。Long信号とShort信号の露光タイミングのずれのため、Long信号の飽和レベルが見えてしまったり、動物体の前後に楔状のノイズが見えてしまったりしている。
【0069】
そこで、本実施の形態では、Short基準ミックス係数算出部20で、Long信号を多用するようなミックス係数特性となるように閾値制御を行う。例えば、Short信号入力を元にShort基準ミックス係数を求めるための制御パラメータ35(図6参照)の値を少し上げる。
【0070】
図15(a)(b)は図8(a)(b)に対する新しいShort基準ミックス係数を示す図、図16(a)(b)は新しいShort基準ミックス係数にてLong信号とShort信号をミックスした最終信号を示す図である。
【0071】
本実施の形態によれば、動物体の前後に現れた楔状のノイズを消すことができる。Long信号の飽和レベルが見える面積は大きくなるが、画質の劣化としては楔状ノイズの影響の方が大きいので、画質改善効果がある。
【0072】
(第4の実施の形態)
本発明の第4の実施の形態の画像処理装置の基本的な構成は、第1の実施の形態と同じであるが(図1参照)、第4の実施の形態の画像処理装置は、画像処理の方法が異なる。本発明の第4の実施の形態の画像処理方法を図17、図18を用いて説明する。
【0073】
第4の実施の形態の画像処理装置は、図8(a),(b)に示した動物体に対して、第2の実施の形態で示したようなShort信号レベル変換部16と、第3の実施の形態で示したようなShort基準ミックス係数算出部20を用いる。Long基準ミックス係数は図10(a),(b)に示し、Short基準ミックス係数は図13(a),(b)に示した。
【0074】
図17(a)(b)は、図10(a)(b)に示すLong基準ミックス係数と図13(a)(b)に示すShort基準ミックス係数とを、等分で加算平均した最終ミックス係数を示す図である。図17(a)(b)において、信号72の部分は動きによりLong信号とShort信号の信号レベルに差がある部分であるが、Long基準ミックス係数とShort基準ミックス係数を加算したことにより、Long信号とShort信号両方を併用する値となっている。
【0075】
図18(a)(b)は、図17(a)(b)に示す最終ミックス係数を用いてLong信号とShort信号をミックスした信号を示す図である。信号中の部分73は、図12(a)(b)に示した部分52では、Short信号の背景画像のレベルを上げた信号のみであったのに対して、さらにLong信号を加算しており、動物体の画質をより改善することができる。
【0076】
(第5の実施の形態)
図19は、本発明の第5の実施の形態の画像処理装置5の構成を示す図である。第5の実施の形態の画像処理装置5は、第1の実施の形態の画像処理装置1と基本的な構成は同じであるが、Long基準ミックス係数算出部18およびShort基準ミックス係数算出部20に代えて、動き検出部26を有している。
【0077】
動き検出部26は、Long信号とShort信号を入力し、その差分から動きの有無を判定する機能を有する。被写体に動きが無ければ、Long信号とShort信号にはほぼ比例の関係が成り立つ。逆に、Long信号レベルが高くてShort信号が低い部分や、Long信号レベルが低くてShort信号が高い部分は、動きのある画像と判定することができる。
【0078】
図20は、Long信号およびShort信号と動きの有無の関係を示す図である。図20に示すように、本実施の形態では、Long信号およびShort信号をそれぞれ2つの閾値で3つに分け、全部で9つの領域に分けて動きの判定を行い、ミックス係数を決定する。
【0079】
Long信号もShort信号も小さい領域80は、画像が暗くてLong信号を使用すべき領域と考えられるので、この部分では、Long信号を多用するミックス係数とする。逆にLong信号もShort信号も大きい領域88は、画像が明るくてShort信号を使用すべき領域と考えられるので、この部分では、Short信号を多用するミックス係数とする。
【0080】
Long信号もShort信号も中間レベルの領域84は、適正な輝度が得られている領域と考えられるので、SNの良いLong信号を多用しつつ、信号レベルに合わせてShort信号を使用するミックス係数とする。
【0081】
Long信号レベルが高くてShort信号が低い領域86や、Long信号レベルが低くてShort信号が高い領域82は、動きのある領域と考えることができるので、Long信号とShort信号を半々程度にミックスするミックス係数とする。残りの領域81、83、85、87は中間的な領域と考え、領域80、82、84、86、88のミックス係数を線形補間して求める。
【0082】
これにより、動物体周囲の信号レベルは、図18に示す信号の部分73と同様に、レベルを上げた背景画像にLong信号を加算したものとなり。動物体の合成画像の画質を改善することができる。
【0083】
以上、本発明の画像処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。本発明は、Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出する構成を有する様々な変形例を含む。
【産業上の利用可能性】
【0084】
以上説明したように、本発明によれば、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正なミックス特性が得られるというすぐれた効果を有し、露光時間の異なる信号を合成してダイナミックレンジの広い画像を得る画像処理装置等として有用である。
【図面の簡単な説明】
【0085】
【図1】第1の実施の形態の画像処理装置を示す図
【図2】(a)入射光量―Long信号レベルを示すグラフ、(b)Long信号レベル−Long信号変換出力を示すグラフ、(c)入射光量―Short信号レベルを示すグラフ、(d)Short信号レベル−Short信号変換出力を示すグラフ、(e)入射光量―Short信号レベルを示すグラフ、(f)Short信号レベル−Short信号変換出力を示すグラフ
【図3】(a)入射光量―Short信号レベルを示すグラフ、(b)Short信号レベル−Short信号変換出力を示すグラフ、(c)入射光量―Long信号レベルを示すグラフ、(d)Long信号レベル−Long信号変換出力を示すグラフ
【図4】(a)入射光量―Short信号レベルを示すグラフ、(b)Short信号レベル−Short信号変換出力を示すグラフ、(c)入射光量―Long信号レベルを示すグラフ、(d)Long信号レベル−Long信号変換出力を示すグラフ
【図5】Long信号レベル―Long基準ミックスレベルの関係のグラフ
【図6】Short信号レベル―Short基準ミックスレベルの関係のグラフ
【図7】Short信号レベル―Short信号レベル変換出力の関係のグラフ
【図8】(a)動物体のイメージ図、(b)動物体のイメージ図
【図9】(a)動物体の信号レベルを示す図、(b)動物体の信号レベルを示す図
【図10】(a)Long基準ミックス係数を示す図、(b)Long基準ミックス係数を示す図
【図11】(a)Long基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Long基準ミックス係数を用いた合成画像の信号レベルを示す図
【図12】(a)Long基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Long基準ミックス係数を用いた合成画像の信号レベルを示す図
【図13】(a)Short基準ミックス係数を示す図、(b)Short基準ミックス係数を示す図
【図14】(a)Short基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Short基準ミックス係数を用いた合成画像の信号レベルを示す図
【図15】(a)Short基準ミックス係数を示す図、(b)Short基準ミックス係数を示す図
【図16】(a)Short基準ミックス係数を用いた合成画像の信号レベルを示す図、(b)Short基準ミックス係数を用いた合成画像の信号レベルを示す図
【図17】(a)Long基準ミックス係数とShort基準ミックス係数をミックスした最終ミックス係数を示す図、(b)Long基準ミックス係数とShort基準ミックス係数をミックスした最終ミックス係数を示す図
【図18】(a)最終ミックス係数を用いた合成画像の信号レベルを示す図、(b)最終ミックス係数を用いた合成画像の信号レベルを示す図
【図19】第5の実施の形態の画像処理装置の構成を示す図
【図20】Long信号およびShort信号と動きの有無の関係を示す図
【図21】特許文献1に記載のダイナミックレンジ拡大カメラの要部構成を示す図
【符号の説明】
【0086】
1 画像処理装置
10 Long信号入力部
12 Short信号入力部
14 Long信号レベル変換部
16 Short信号レベル変換部
18 Long基準ミックス係数算出部
20 Short基準ミックス係数算出部
22 最終ミックス係数算出部
24 画像合成部
26 動き検出部
【特許請求の範囲】
【請求項1】
露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理装置であって、
露光時間の長い方のLong信号の信号レベルを変換するLong信号レベル変換部と、
露光時間の短い方のShort信号の信号レベルを変換するShort信号レベル変換部と、
Long信号に基づいてLong基準ミックス係数を算出するLong基準ミックス係数算出部と、
Short信号に基づいてShort基準ミックス係数を算出するShort基準ミックス係数算出部と、
前記Long基準ミックス係数と前記Short基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部と、
レベル変換後のLong信号とレベル変換後のShort信号を前記最終ミックス係数で示される割合でミックスする画像合成部と、
を備えた画像処理装置。
【請求項2】
前記Long基準ミックス係数算出部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいて、Long基準ミックス係数を算出し、
前記Short基準ミックス係数算出部は、前記露光比に基づいてShort基準ミックス係数を算出し、
前記最終ミックス係数算出部は、前記露光比に基づいて最終ミックス係数を算出する請求項1に記載の画像処理装置。
【請求項3】
前記Long信号レベル変換部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいてLong信号レベルを変換し、
前記Short信号レベル変換部は、前記露光比に基づいてShort信号レベルを変換する請求項1または2に記載の画像処理装置。
【請求項4】
前記Short信号レベル変換部は、入力の低レベル部分に前記露光比に基づく大きさのオフセットを加えた信号レベル変換特性を用いてShort信号レベルを変換する請求項3に記載の画像処理装置。
【請求項5】
前記Short信号基準ミックス係数算出部は、Short信号よりLong信号を多用するShort基準ミックス係数を算出する請求項1〜4のいずれかに記載の画像処理装置。
【請求項6】
Long信号レベルとShort信号レベルとを比較することにより被写体の動き部分を検出する動き検出部を備え、
前記最終ミックス係数算出部は、前記動き検出部からの出力により、被写体の動きの有無に基づいて前記最終ミックス係数を算出する請求項1〜5のいずれかに記載の画像処理装置。
【請求項7】
露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理方法であって、
露光時間の長い方のLong信号の信号レベルを変換するステップと、
露光時間の短い方のShort信号の信号レベルを変換するステップと、
Long信号に基づいてミックス係数を算出するステップと、
Short信号に基づいてミックス係数を算出するステップと、
Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出するステップと、
レベル変換後のLong信号とレベル変換後のShort信号を前記最終ミックス係数で示される割合でミックスするステップと、
を備えた画像処理方法。
【請求項1】
露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理装置であって、
露光時間の長い方のLong信号の信号レベルを変換するLong信号レベル変換部と、
露光時間の短い方のShort信号の信号レベルを変換するShort信号レベル変換部と、
Long信号に基づいてLong基準ミックス係数を算出するLong基準ミックス係数算出部と、
Short信号に基づいてShort基準ミックス係数を算出するShort基準ミックス係数算出部と、
前記Long基準ミックス係数と前記Short基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部と、
レベル変換後のLong信号とレベル変換後のShort信号を前記最終ミックス係数で示される割合でミックスする画像合成部と、
を備えた画像処理装置。
【請求項2】
前記Long基準ミックス係数算出部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいて、Long基準ミックス係数を算出し、
前記Short基準ミックス係数算出部は、前記露光比に基づいてShort基準ミックス係数を算出し、
前記最終ミックス係数算出部は、前記露光比に基づいて最終ミックス係数を算出する請求項1に記載の画像処理装置。
【請求項3】
前記Long信号レベル変換部は、Long信号の露光時間とShort信号の露光時間との露光比に基づいてLong信号レベルを変換し、
前記Short信号レベル変換部は、前記露光比に基づいてShort信号レベルを変換する請求項1または2に記載の画像処理装置。
【請求項4】
前記Short信号レベル変換部は、入力の低レベル部分に前記露光比に基づく大きさのオフセットを加えた信号レベル変換特性を用いてShort信号レベルを変換する請求項3に記載の画像処理装置。
【請求項5】
前記Short信号基準ミックス係数算出部は、Short信号よりLong信号を多用するShort基準ミックス係数を算出する請求項1〜4のいずれかに記載の画像処理装置。
【請求項6】
Long信号レベルとShort信号レベルとを比較することにより被写体の動き部分を検出する動き検出部を備え、
前記最終ミックス係数算出部は、前記動き検出部からの出力により、被写体の動きの有無に基づいて前記最終ミックス係数を算出する請求項1〜5のいずれかに記載の画像処理装置。
【請求項7】
露光時間の異なる2つの画像信号を合成して合成画像を生成する画像処理方法であって、
露光時間の長い方のLong信号の信号レベルを変換するステップと、
露光時間の短い方のShort信号の信号レベルを変換するステップと、
Long信号に基づいてミックス係数を算出するステップと、
Short信号に基づいてミックス係数を算出するステップと、
Long基準ミックス係数とShort基準ミックス係数とに基づいて最終ミックス係数を算出するステップと、
レベル変換後のLong信号とレベル変換後のShort信号を前記最終ミックス係数で示される割合でミックスするステップと、
を備えた画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2010−45510(P2010−45510A)
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願番号】特願2008−207002(P2008−207002)
【出願日】平成20年8月11日(2008.8.11)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成22年2月25日(2010.2.25)
【国際特許分類】
【出願日】平成20年8月11日(2008.8.11)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]