画像処理装置、撮像装置および画像処理プログラム
【課題】明暗の差が大きい被写体を撮影した場合でも、より少ない情報処理量によって、色つぶれや色飽和の影響の少ないカラー画像を形成可能とする。
【解決手段】画像処理装置１０４は、同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する画像入力部１０５と、Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部１０６とを備える。合成処理部１０６は、Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を出力画像の前記各画素位置における色成分信号とする。
【解決手段】画像処理装置１０４は、同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する画像入力部１０５と、Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部１０６とを備える。合成処理部１０６は、Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を出力画像の前記各画素位置における色成分信号とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の明暗の差（ダイナミックレンジ）が大きい被写体に対しても、飽和や黒つぶれの抑制されたカラー画像を形成可能な技術に関する。
【背景技術】
【０００２】
近年、車載カメラや監視カメラ等で夜間のシーンを撮影し、人々の暮らしの安全・安心に役立てるための研究開発が盛んに行われている。このような夜間のシーンでは明暗の差が非常に大きく、一般の撮像素子ではダイナミックレンジの限界を超えてしまうため、一般に「白飛び」、「黒潰れ」、「色飽和」と呼ばれる現象が発生してしまうことがあった。特に、被写体の色（色度）を撮影後の画像認識処理等に利用する場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）といった色成分中の特定色のものだけが飽和してしまうと、結果として得られる画像の色が被写体の実際の色と異なる画像になってしまい、カラー画像を適切に形成できなくなる場合があった。例えば、被写体中に赤いランプが存在していて、そのランプの輝度が高まると画像中の赤成分が飽和する。すると、画像中では緑成分、青成分が相対的に増すことになるので、生成される画像中で赤いランプの部分が白っぽくなってしまう。
【０００３】
これに対し特許文献１には、特定の色で飽和を生じた場合でも、適切なカラー画像作成に必要な情報を得ることができる画像入力装置の提供を目的とした技術が開示されている。この技術では、第１のシャッタスピードで撮影して得られた画像Ｉｍｇ２と、第１のシャッタスピードよりも速い第２のシャッタスピードで撮影して得られた画像Ｉｍｇ１とを得る。これらの画像について、画像Ｉｍｇ２中の飽和画素と画像Ｉｍｇ１中の高輝度画素とで座標を比較する。これらの画素が同じ座標位置にあれば、同じ被写体を撮影したものと推定し、画像Ｉｍｇ１における高輝度画素からの信号に含まれる色度に合せるように、画像Ｉｍｇ２中で同じ座標を持つ飽和画素からの信号に含まれる色度を、以下の式を用いて調節するように構成している。
【０００４】
すなわち、カラー画像Ｉｍｇ１の高輝度画素の輝度信号をＹ１（ｘ，ｙ）、色差信号をＣｂ１（ｘ，ｙ）、Ｃｒ１（ｘ，ｙ）とし、カラー画像Ｉｍｇ２の飽和画素から出力された輝度信号をＹ２（ｘ，ｙ）としたときに、以下の式を用い、補正された色差信号Ｃｂ２'（ｘ，ｙ）、Ｃｒ２'（ｘ，ｙ）を算出する。
Ｃｂ２'（ｘ，ｙ）＝Ｃｂ１（ｘ，ｙ）×Ｙ２（ｘ，ｙ）／Ｙ１（ｘ，ｙ） … （１）
Ｃｒ２'（ｘ，ｙ）＝Ｃｒ１（ｘ，ｙ）×Ｙ２（ｘ，ｙ）／Ｙ１（ｘ，ｙ） … （２）
そして、カラー画像Ｉｍｇ１中の飽和画素から出力されたカラー画像信号中の色差信号を、上記の補正された色差信号で置き換える技術が示されている。ここで、（ｘ，ｙ）は撮像素子の撮像面上の座標を表す。
【０００５】
また、特許文献２には、ＣＣＤ等の撮像素子を用いた撮像装置で、ダイナミックレンジの拡大のために複数画像を合成する技術が開示されている。この技術では、異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理をして、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出する指標化手段と、指標に基づいて分割領域毎に複数の原信号の画像信号の内から１の画像信号を選択する選択手段と、選択された画像信号から一つの合成画像信号を生成する画像手段とを備える撮像装置が開示される。
【０００６】
このとき、分割領域毎に複数の原信号の画像信号の内から１の画像信号を選択する際に用いる指標Ｃを、輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、比較する他の画像の輝度信号Ｙ'、所定の値αを用いて、下記（３）〜（５）式のいずれから算出することが開示される。
Ｃ＝｛（Ｒ−Ｙ）2＋（Ｂ−Ｙ）2｝／（Ｙ＋α）2 … （３）
Ｃ＝｛（Ｒ−Ｙ）2＋（Ｂ−Ｙ）2｝×（Ｙ'＋α）2 … （４）
Ｃ＝｛｜Ｒ−Ｙ｜＋｜Ｂ−Ｙ｜｝／（Ｙ'＋α）2 … （５）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１０／１１６９２２号パンフレット
【特許文献２】特許第３９１４８１０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した従来技術では、（１）〜（５）式に示したように、演算式として除算（／）や乗算（×）が用いられている。除算（／）や乗算（×）を、演算能力の低いプロセッサ（CPU：Central Processing Unit）を用いてソフトウェアで処理しようとすると、処理に必要な時間が大きくなってしまい、リアルタイム処理できなくなったり、単位時間（例えば１秒間）あたりの画像フレーム数を減らす必要があったり、他の演算（例えば画像認識処理）の精度を落とさざるを得なくなる、などの課題がある。あるいは、演算能力の高いプロセッサや専用のハードウェアを利用した場合は、装置全体のコストアップを引き起こす。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、その目的は、明暗の差が大きい被写体を撮影した場合にも、より少ない情報処理量によって、色つぶれや色飽和の少ないカラー画像を生成可能とする技術を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の代表的な一例を示せば以下の通りである。すなわち、画像処理装置は、同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する画像入力部と、
前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部とを備え、
前記合成処理部が、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする。
【発明の効果】
【００１１】
本発明によれば、明暗差の大きい被写体を撮影した場合であっても、色つぶれや色飽和の少ないカラー画像をより少ない情報処理量で生成することが可能となり、より性能の低いプロセッサでの処理や、画像生成処理の高速化を実現可能となる。
【図面の簡単な説明】
【００１２】
【図１】被写界中に比較的広い輝度範囲の被写体が存在する例を示す図である。
【図２】色飽和を生じていないＲＧＢ画像信号と色飽和を生じているＲＧＢ画像信号の例を棒グラフで示す図である。
【図３】本発明の第１の実施の形態に係る画像処理装置およびこの画像処理装置が組み込まれる撮像装置の構成を概略的に説明するブロック図である。
【図４】露光レベルの異なる複数枚の画像を得る方法を説明する図であり、（ａ）は露光レベルの異なる複数枚の画像を時系列に得る例を、（ｂ）は露光レベルの異なる複数枚の画像を略同時に得る例を、それぞれ示す図である。
【図５】本発明の第１の実施の形態に係る画像処理装置において、複数枚からなる一組の原画像に対応して一枚の出力画像が生成される様子を概念的に示す図である。
【図６】本発明の第１の実施の形態に係る画像処理装置において、露光レベルの異なる２枚の画像の対応する画素位置の各画素値をもとに、出力画像の当該画素位置における画素値が決定される様子を概念的に示す図である。
【図７】本発明の第１の実施の形態に係る画像処理装置において実行される画像合成の処理手順を説明するフローチャートである。
【図８】本発明の第２の実施の形態に係る画像処理装置において、露光レベルの異なる２枚の画像の対応する画素位置の各画素値をもとに、出力画像の当該画素位置における画素値が決定される様子を概念的に示す図である。
【図９】時間的に相前後する撮像タイミングで撮像して得られた長露光画像と短露光画像、そして短露光画像と長露光画像との組み合わせそれぞれに対応して出力画像が生成される様子を概念的に説明する図である。
【図１０】露光レベルの異なる３枚からなる一組の原画像に対して一枚の出力画像が生成される様子を概念的に示す図である。
【発明を実施するための形態】
【００１３】
最初に、被写界中に比較的広い輝度範囲の被写体が存在する例について図１を参照して説明する。図１は、車載カメラや監視カメラを用いて、夜間の道路を撮影して得られる画像模擬的に示したものである。以下では、車載カメラの搭載される車両を自車と称し、自車の前方を走行する車両を先行車両、自車に向かう方向に走行する車両を対向車両とそれぞれ称する。図１には、撮影シーン中に先行車両ＬＣ、対向車両ＯＣが、背景ＢＧ、路側に設置される反射装置Ｒ１、Ｒ２などともに存在する様子が示される。先行車両ＬＣは、その尾灯ＴＬが点灯状態にある。対向車両ＯＣは、その前照灯ＨＬが点灯状態にある。反射装置Ｒ１、Ｒ２は、自車や自車の後方を走行する車両の前照灯から発せられた光等を反射し、黄色から橙色に近い色の光を発している。
【００１４】
先行車両の尾灯ＴＬ部分の画像に着目して説明をすると、先行車両と自車との車間距離が比較的長い場合、車載カメラによって捉えられて生成される尾灯ＴＬの画像部分の画素値は飽和しない。しかし、自車と先行車両との車間距離が詰まると撮影シーン全体の中で尾灯ＴＬ部分の輝度が増す。尾灯ＴＬから出射される光は、Ｒ（赤）色の成分がＧ（緑）色およびＢ（青）色の成分に比して多いので、尾灯ＴＬ部分の輝度が増すとやがてＲ色の成分が飽和する。特に、夜間のシーンでは、明暗の差が非常に大きく、背景ＢＧ等の輝度を基準として露光量が定められると、自車の近くにある車両に備えられる光源から発せられる光に対応する部分の画像は飽和する可能性が高まる。
【００１５】
その様子が図２に示されている。図２において、縦軸には８ビット深度の画素値（最小値：０ 最大値：２５５）、横軸にはＲ色、Ｇ色、Ｂ色の各成分が示されている。図２において、符号ＮＭＬの付される画素値の組み合わせは飽和していない状態の例を示し、符号ＳＡＴの付される画素値の組み合わせはＲ色の画素値が飽和している状態の例を示す。以下ではこれらの画素値の組み合わせを画素値ＮＭＬ、画素値ＳＡＴと称する。画素値ＮＭＬでは、Ｒ色成分が相対的に多く、この画素値に基づく画像は赤くなる。一方、画素値ＳＡＴでは、Ｒ色成分が飽和していて、Ｇ色、Ｂ色の成分が相対的に増加している。その結果、本来は赤色と再現されるべき画像であるにもかかわらず、赤みが減じられてしまい、図２に示す例では画素値ＳＡＴに基づいて再現される色は白に近い黄色となる。
【００１６】
色味が実際の色に対して大きくずれてしまっていると、色を参酌して画像認識を行う場合に正しい判定を行うことが困難となる。例えば、撮影シーン中の尾灯（先行車両）の有無の判定、あるいは反射装置（Ｒ１、Ｒ２）か尾灯（先行車両）かの判定を行うような用途では、白飛び、あるいは色飽和を生じると色に基づく判定ができなくなるので、正確な判定が困難となる。ここで、白飛びとは、Ｒ色、Ｇ色、Ｂ色すべてのチャンネルにおける画素値が飽和、乃至は飽和に近い状態にあることを意味する。色飽和とは、特定の色のチャンネルで画素値が飽和状態にあることを意味する。
【００１７】
上述したように、被写体輝度の分布範囲の広いシーンを撮影すると、シーン中の輝度によっては撮像素子のダイナミックレンジ外となり、白飛びや色飽和を生じ易くなる。この白飛びや色飽和を抑制するために露光量を減じると、今度は被写界中の低輝度部分で十分な大きさの画素値を得ることができず、黒くつぶれてしまって物体の輪郭や色等に基づく画像認識処理を行うことが困難となる。この問題に対処するため、本発明の実施の形態においては、同一被写体を異なる露光レベルで撮影して得た複数枚の画像を合成処理する。
【００１８】
− 第１の実施の形態 −
図３は、本発明の第１の実施の形態に係る画像処理装置１０４が撮像装置１００内に備えられる例を説明するブロック図である。撮像装置１００は、撮影レンズ１０１と、撮像部１０２と、撮像制御部１０３と、画像処理装置１０４とを備える。画像処理装置１０４は、画像入力部１０５と、合成処理部１０６とを備える。以下では上述した構成要素が一体に構成されるものとして説明するが、撮影レンズ１０１、撮像部１０２および撮像制御部１０３からなるカメラユニットと、画像処理装置１０４とが別体に構成されていてもよい。撮影レンズ１０１はカメラユニットに固定されるものであっても、カメラユニットに対して着脱自在に構成されていて、目的に応じて様々なタイプの撮影レンズに交換可能に構成されていてもよい。画像処理装置１０４は、専用のハードウェアによって構成されていてもよいし、ＣＰＵ、メモリ、記憶装置等を備えたコンピュータと、このコンピュータによって実行されるプログラムとによって構成されていてもよい。その場合、プログラムは、光ディスク、磁気記憶媒体、フラッシュメモリ等の非一時的コンピュータ可読媒体に格納される。
【００１９】
撮像部１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、プリプロセッサとを備える。本実施の形態において撮像素子はＲ、Ｇ、Ｂ各色のベイヤ配列のオンチップカラーフィルタが受光面上に形成された単板式のＣＭＯＳイメージセンサであるものとする。ＣＭＯＳイメージセンサは、ＣＤＳ（Correlated Double Sampling）回路やＡＧＣ（Automatic Gain Control）回路、そしてＡ／Ｄ変換回路等のアナログ・フロントエンドを内蔵し、ディジタルのＣＦＡ（Color Filter Array）画像を出力可能に構成される。ＣＦＡ画像は、デモザイク処理される前の、１画素あたり１色の信号値を有する画像である。このＣＭＯＳイメージセンサはまた、電子シャッタの機能を備えるものとする。プリプロセッサは、ＣＦＡ画像にデモザイキング、ノイズ低減、階調補正、ホワイトバランス調整等の処理をしてＲＧＢ画像を生成する。なお、プリプロセッサを省略して、撮像部１０２はＣＦＡ画像を出力するものとし、画像処理装置１０４の側でデモザイキング、ノイズ低減、階調補正、ホワイトバランス調整等を含めて処理を行うようにしてもよい。
【００２０】
撮影レンズ１０１は、被写体像を撮像部１０２の受光面上に形成する。撮影レンズ１０１は、単焦点レンズであってもよいし、可変焦点距離レンズであってもよい。可変焦点距離レンズである場合、焦点距離を変化させるための変倍駆動装置が撮影レンズ１０１内に組み込まれていても良い。また、焦点調節用のレンズを駆動するための焦点調節装置が撮影レンズ１０１内に組み込まれていても良い。撮影レンズ１０１は、絞り装置を内蔵して絞り値（Ｆ値）を可変に構成される。
【００２１】
撮像制御部１０３は、撮像部１０２における撮像動作のタイミングと露光量とを制御する。本実施の形態において撮像制御部１０３は、３０ｆｐｓ、６０ｆｐｓなどといったフレームレートで撮像動作が撮像部１０２で繰り返し行われるようにタイミング信号を撮像部１０２に出力する。このとき、撮像制御部１０３は、撮像部１０２に露光量制御信号も出力する。撮像制御部１０３から出力されるこれらの信号に基づき、撮像部１０２では露光レベルを変化させての撮像動作が繰り返し行われる。
【００２２】
ここで、露光レベルについて説明する。一般に、撮像素子に与えるべき基準露光量（基準像面露光量）は、イメージセンサの感度、アナログ・フロントエンドでの増幅率、ノイズレベル、ディジタル信号処理部でのノイズ低減処理の優劣等に応じて決まる。一般に、イメージセンサを構成する各画素（光電変換部）のサイズが大きいほど、そしてイメージセンサおよびアナログ・フロントエンドでのＳ／Ｎ比が優れていて高ゲインでの増幅が可能なほど、さらにディジタル信号処理部でのノイズ低減処理が優れているほど、撮像素子で設定可能な感度を高めることが可能となる。このように、撮像素子で設定可能な感度は様々な要因に基づいて変わるので、本明細書ではシステム感度と称する。このシステム感度を高めることが可能なほど、基準露光量を減じることが可能となる。露光レベルは、設定されたシステム感度に応じて定められる。標準的な明るさの被写体を撮像して得られた画像が標準的な明るさのものとなるように定められるのが基準露光レベルである。
【００２３】
この基準露光レベルよりも多い露光レベルで撮像すると、明るめ（オーバー目）の画像が得られる。明るめの画像は、被写体中の明るい部分で白飛びや色飽和を生じる可能性を有する反面、被写体中の暗い部分ではより鮮やかに色を再現することが可能となる。一方、基準露光レベルよりも少ない露光レベルで撮像すると、暗め（アンダー目）の画像が得られる。暗めの画像は、被写体の暗い部分で黒つぶれを生じる可能性を有する反面、被写体中に太陽光や人工照明等による明るい部分が存在していても、その部分に対応する画像で白飛びや色飽和を生じる可能性を減じることが可能となる。
【００２４】
露光レベルを変える方法としては、撮影レンズ１０１の絞りを変える方法、撮像部１０２での露光時間を変える方法などがある。異なる露光レベルの複数の画像を得る際、絞りや露光時間を変える方法では、異なる露光量の複数の画像を同時に得ることができないので、時系列に撮像動作を繰り返しながら絞りまたは露光時間、あるいは両方を変える必要がある。もしくは、絞り、露光時間は一定とし、撮影レンズ１０１の前側または後ろ側に配置された光学濃度可変式フィルタの濃度を変化させることも可能である。このような方法により、露光レベルの異なるＮ枚（Ｎ：２以上の整数）の画像を得る場合、露光レベルを変えながら時系列にＮ回の撮像を行うことを周期的に繰り返すことになる。図４（ａ）には、露光レベルを交互に増減させて撮像を繰り返す様子が描かれている。図４（ａ）では、露光レベルを増減させるために露光時間を交互に変化させて、多めの露光時間による露光（長露光）、少なめの露光時間による露光（短露光）を繰り返す様子が示される。
【００２５】
また、撮像装置全体として撮影レンズ１０１および撮像部１０２をＮセット備え、それらが同一の被写体を捉えるように配列されている場合、セットごとに露光レベルを変えることにより、露光レベルの異なるＮ枚の画像を略同時に得ることが可能となる。
【００２６】
あるいは、撮像素子の受光面上に感度の異なる複数種類の画素が入り交じるように規則正しく配列されている場合（ここでは説明を簡略化するため、高感度画素、低感度画素の２種類が配列されているものとする）、１回の露光動作で露光レベルの異なるＮ枚（上記例では２枚）の画像を同時に得ることが可能となる。何故なら、高感度画素、低感度画素に対する基準像面露光量は異なるので、同じ露光量をこれらの高感度画素、低感度画素に与えると結果として露光レベルは違ったものになるからである。さらに、撮影レンズの後方にハーフミラーやプリズム等を用いたビームスプリッタを配置し、複数の撮像素子に対して被写体光を不等光量比で導く構成を備えることも可能である。このような構成を備えることにより、複数の撮像素子で略同時、略同じ露光時間の露光を行って、露光レベルの異なる複数の画像を得ることが可能となる。
【００２７】
図４（ｂ）には、異なる露光レベルでの複数の露光が略同時に行われる様子が示されている。図４（ｂ）に示す例では、露光時間を変えての複数の露光が略同時に行われる様子が示される。しかし、撮影レンズおよび撮像素子の組み合わせを複数セット備えるものでは、絞りを変えることにより複数の露光を略同じ露光時間で略同時に行うことが可能である。また、高感度画素および低感度画素を備える撮像素子、あるいは被写体光が不等光量比で導かれる複数の撮像素子を用いて、複数の露光を略同じ露光時間で略同時に行うことによって複数の異なる露光レベルの画像を得ることが可能である。
【００２８】
比較的速く動く被写体を撮像する用途では、露光レベルの異なる複数の画像ができるだけ短時間のうちに得られるようにすることが後で行われる合成処理の結果をより良いものとする上で望ましい。その理由は、異なるタイミングで撮影された複数の画像間において、画像内で被写体の写る位置が変化することがあり、これが後で行われる合成処理を難しくするからである。
【００２９】
以下では、撮像部１０２での露光時間（電子シャッタタイム）をフレームごとに変化させながら時系列に撮像動作を行い、露光レベルの異なる複数の画像を得る場合を例に説明する。撮像制御部１０３は、撮像部１０２で例えば６０ｆｐｓといったフレームレートで撮像動作が行われるように制御信号を撮像部１０２に出力する。このとき撮像制御部１０３は、フレームごとに異なる露光レベルでの撮像動作が繰り返し行われるように撮像部１０２に制御信号を発する。
【００３０】
図５には一例として、二つの異なる露光レベルでの撮像動作が撮像部１０２で行われて、露光レベルの比較的高い画像と、露光レベルの比較的低い画像とが時間的に交互に生成される様子が示されている。本例では露光レベルを変化させるために露光時間の長さを変えているので、露光レベルの比較的高い画像を長露光画像（ＩＬ）と称し、露光レベルの比較的低い画像を短露光画像（ＩＳ）と称する。これらの長露光画像（ＩＬ）、短露光画像（ＩＳ）が画像処理装置１０４の画像入力部１０５に順次入力され、合成処理部１０６で処理されて出力画像（Ｉｏｕｔ）が生成される。画像入力部１０５に入力される長露光画像（ＩＬ）、短露光画像（ＩＳ）、すなわち合成処理前の画像を本明細書中では原画像と称する。図５において、生成される出力画像（Ｉｏｕｔ）のフレームレートは、撮像フレームレートの１／２となっている。
【００３１】
画像入力部１０５は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の、アクセス速度に優れる記憶装置で構成することが可能である。撮像部１０２から逐次出力される原画像を画像処理装置１０４がリアルタイムで処理をする場合、画像入力部１０５は撮像部１０２から出力される原画像を入力する。メモリカードやハードディスクドライブ、ＳＳＤ（Solid State Drive）等に蓄積された原画像を画像処理部１０４が処理する場合、画像入力部１０５はこれらのメモリカードやハードディスク、あるいはＳＳＤ等から原画像を入力する。画像入力部１０５は、前述したようように、原画像としてＣＦＡ画像を入力するものであっても、デモザイク処理後の画像を入力するものであってもよい。以下ではデモザイク処理されたＲＧＢ画像を画像入力部１０５が入力するものとして説明をする。
【００３２】
画像入力部１０５は、Ｎ枚、本例では長露光画像（ＩＬ）および短露光画像（ＩＳ）からなる２枚の原画像を一組として合成処理部１０６に出力する。合成処理部１０６は、ＲＧＢ色空間の原画像を、輝度成分信号と色成分信号とを含む信号に変換した後、合成処理を行う。本例では輝度成分信号と色成分信号とを含む信号として、合成処理部１０６はＹＵＶ信号に変換するものとする。このＹＵＶ信号では、画像信号がＹ、すなわち輝度成分と、ＵおよびＶ、すなわち色差成分で表される。ここで、ＲＧＢ画像の各色の画素値を（Ｒ、Ｇ、Ｂ）とし、ＹＵＶ信号で表される画素値を（Ｙ、Ｕ、Ｖ）とすると、以下の式を用いてＲＧＢ画素値からＹＵＶ画素値を得ることが可能である。
Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（６）
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ …（７）
Ｖ＝ ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ …（８）
【００３３】
上記の式（６）から式（８）を用いることにより、原画像中の各画素位置の画素に対応して輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）を求めることが可能となる。
【００３４】
また、上記ＹＵＶ信号に代えて、輝度信号（Ｙ）と、色差信号（Ｂ−Ｙ）および（Ｒ−Ｙ）とを、以下の式（９）から式（１１）を用いて導出して用いることが可能である。
Ｙ ＝ ０．３００×Ｒ＋０．５９０×Ｇ＋０．１１０×Ｂ …（９）
Ｂ−Ｙ＝−０．３００×Ｒ−０．５９０×Ｇ＋０．８９０×Ｂ …（１０）
Ｒ−Ｙ＝ ０．７００×Ｒ−０．５９０×Ｇ−０．１１０×Ｂ …（１１）
【００３５】
さらに、上記ＹＵＶ信号に代えて、輝度信号（Ｙ）と、色差信号（ＣｂおよびＣｒ）とを、以下の式（１２）から式（１４）を用いて導出して用いることも可能である。
Ｙ ＝ ０．２５７×Ｒ＋０．５０４×Ｇ＋０．０９８×Ｂ …（１２）
Ｃｂ＝−０．１４８×Ｒ−０．２９１×Ｇ＋０．４３９×Ｂ …（１３）
Ｃｒ＝ ０．４３９×Ｒ−０．３６８×Ｇ−０．０７１×Ｂ …（１４）
【００３６】
また、ＹＣｂＣｒに類似するものとして輝度信号（Ｙ）と、色差信号（Ｐｂ）および（Ｐｒ）とを導出して用いることも可能である。
【００３７】
以下ではＹＵＶ信号で処理を行うものとして説明する。ここで、（Ｙ、Ｕ、Ｖ）の各画素値と、再現される色との関係について説明する。例えば、先行車両との車間距離が徐々に縮まり、尾灯の部分の画像の明るさが徐々に増して、やがて色飽和や白飛びを生じる状況を例にとり、説明する。
【００３８】
色飽和や白飛びを生じる程に明るくない状況では、画像の明るさが増すにつれて輝度信号（Ｙ）の値が増す。このとき、色差信号（Ｕ，Ｖ）の絶対値も増加する。例えば、先行車両ＬＣの尾灯ＴＬの部分の画像を例に説明すると、先行車両ＬＣが離れていて比較的暗く写っている場合、当該部分の画像の輝度信号（Ｙ）の値は比較的小さく、色差信号（Ｕ，Ｖ）の絶対値も比較的小さくなる。このときに再現される色は、暗めの赤となる。そして、先行車両ＬＣに近づくにつれて、尾灯（ＴＬ）の部分の画像の明るさが増し、輝度信号（Ｙ）の値も色差信号（Ｕ，Ｖ）の絶対値も増加する。つまり、再現される色は、黒みを帯びた赤から彩度の高い鮮やかな赤へと変化する。
【００３９】
ところが、画像がさらに明るくなって、色飽和を生じ始めると、輝度信号（Ｙ）の値は増す一方で、色差信号（Ｕ，Ｖ）の絶対値は減少し始める。色差信号（Ｕ，Ｖ）の絶対値が減るほど色は薄くなる（彩度が低下する）。このときに得られる信号から再現される色は、色相が変化して尾灯本来の色とは異なるものとなり、やがて色差信号（Ｕ，Ｖ）の値が（０，０）に近づき、色は白に近いものとなる。
【００４０】
また、色差信号（Ｕ，Ｖ）の絶対値を一定の値に固定して、輝度信号（Ｙ）の値のみを変化させたときに再現される色の変化について考えると、輝度信号（Ｙ）の値がより小さい方が逆の場合よりも色が濃くなる。（Ｙ，Ｕ，Ｖ）の画素値としてＵ，Ｖに適宜の値を設定した上でＹの値のみを増減させ、それらの画素値の組み合わせに対応する（Ｒ，Ｇ，Ｂ）の画素値を求める（ＹＵＶ色空間からＲＧＢ色空間への変換式については後で（１７）式から（１９）式を参照して説明する）と、Ｙの値が減少するにつれて、対応する（Ｒ，Ｇ，Ｂ）画素値の間で差が増し、色度が明確になることが判る。例えば、二つの色に対応する二点を、色相および彩度で規定される二次元平面上にプロットしたとき、これらの二点が遠ざかる（二点間の距離が増す）ほど、色度が明確になる、と表現することができる。
【００４１】
以上の性質を利用して、合成処理部１０６は、ＹＵＶ色空間で表された長露光画像（ＩＬ）、短露光画像（ＩＳ）を、以下に説明するように合成処理する。以下では長露光画像（ＩＬ）、短露光画像（ＩＳ）それぞれの画素値（Ｙ，Ｕ，Ｖ）を区別するため、長露光画像（ＩＬ）の画素値を（ＹＬ，ＵＬ，ＶＬ）とし、短露光画像（ＩＳ）の画素値を（ＹＳ，ＵＳ，ＶＳ）とする。合成処理部１０６は、長露光画像（ＩＬ）、短露光画像（ＩＳ）について、両画像の対応する画素位置における値（ＹＬとＹＳ、ＵＬとＵＳ）を比較し、絶対値の大きい方の値を当該画素位置における出力値（ＵＯ，ＶＯ）とすることを点順次に行う。このとき、輝度値（ＹＯ）については、短露光画像（ＩＳ）の輝度値（ＹＳ）を選択する。
【００４２】
図６は、上述のようにして長露光画像（ＩＬ）、短露光画像（ＩＳ）から出力画像（Ｉｏｕｔ）が生成される様子を概念的に示す図である。図６では、長露光画像（ＩＬ）から抽出される画素値（ＵＬ，ＶＬ）と、短露光画像（ＩＳ）から抽出される画素値（ＵＳ，ＶＳ）とが合成処理部１０６において、画素値ＵＬとＵＳ、ＶＬとＶＳとで比較される。そして、絶対値の大きい方の値が選択されて出力画像Ｉｏｕｔの画素値ＵＯ、ＶＯとされる。また、出力画像Ｉｏｕｔの輝度値ＹＯについては、短露光画像ＩＳの輝度値が用いられる様子が示されている。
【００４３】
図７は、合成処理部１０６で実行される画像合成処理の手順を概略的に示すフローチャートである。図７に示される処理が一度実行されると合成処理部１０６で１フレーム分の出力画像Ｉｏｕｔが生成される。つまり、３０ｆｐｓのフレームレートで出力画像Ｉｏｕｔが生成される場合、図７に示される処理が１秒間に３０回実行される。
【００４４】
図７に示される処理は、色差信号（Ｕ，Ｖ）がオフセット（１２８）付きバイナリデータである場合の処理を示している。つまり、８ビット深度のＲＧＢ画像データに対して式（６）から式（８）を用いて（Ｙ，Ｕ，Ｖ）の値を導出した場合、Ｕ値、Ｖ値は負の値をとりうる。そこで、導出されたＵ値、Ｖ値に１２８を一律に加算して正の数とした上で整数化することにより、Ｕ値、Ｖ値を符号無しのバイナリデータとして扱うことが可能となる。Ｓ７００中に記載される「／／色差信号（Ｕ）の値がオフセット（１２８）付きバイナリデータの場合」およびＳ７０２中に記載される「／／色差信号（Ｖ）の値がオフセット（１２８）付きバイナリデータの場合」は、プログラム中のリマークを意味している。
【００４５】
Ｓ７００において合成処理部１０６は、処理対象となっている画素位置の長露光画像（ＩＬ）、短露光画像（ＩＳ）の色差の値ＵＬ、ＵＳからそれぞれオフセット値の１２８を減算し、絶対値をとる。こうして求められるのがＵＬ＿ａｂｓ、ＵＳ＿ａｂｓである。そしてＵＬ＿ａｂｓとＵＳ＿ａｂｓとを比較し、ＵＬ＿ａｂｓの値がＵＳ＿ａｂｓの値以上と判定されるときにはＵＯ＝ＵＬとする。一方、ＵＬ＿ａｂｓの値がＵＳ＿ａｂｓの値を下回るときにはＵＯ＝ＵＳとする。この処理の内容がＳ７００の処理ブロック中で以下のようなプログラムステートメントで示されている。
ＵＬ＿ａｂｓ＝ａｂｓ（ＵＬ−１２８）
ＵＳ＿ａｂｓ＝ａｂｓ（ＵＳ−１２８）
ｉｆ （ＵＬ＿ａｂｓ＞＝ＵＳ＿ａｂｓ） ＵＯ＝ＵＬ
ｅｌｓｅ ＵＯ＝ＵＳ …（１５）
【００４６】
Ｓ７０２において合成処理部１０６は、処理対象となっている画素位置の長露光画像（ＩＬ）、短露光画像（ＩＳ）の色差の値ＶＬ、ＶＳからそれぞれオフセット値の１２８を減算し、絶対値をとる。こうして求められるのがＶＬ＿ａｂｓ、ＶＳ＿ａｂｓである。そしてＶＬ＿ａｂｓとＶＳ＿ａｂｓとを比較し、ＶＬ＿ａｂｓの値がＶＳ＿ａｂｓの値以上と判定されるときにはＶＯ＝ＶＬとする。一方、ＶＬ＿ａｂｓの値がＶＳ＿ａｂｓの値を下回るときにはＶＯ＝ＶＳとする。この処理の内容がＳ７０２の処理ブロック中で以下のようなプログラムステートメントで示されている。
ＶＬ＿ａｂｓ＝ａｂｓ（ＶＬ−１２８）
ＶＳ＿ａｂｓ＝ａｂｓ（ＶＳ−１２８）
ｉｆ （ＶＬ＿ａｂｓ＞＝ＶＳ＿ａｂｓ） ＶＯ＝ＶＬ
ｅｌｓｅ ＶＯ＝ＶＳ … （１６）
【００４７】
Ｓ７０４において合成処理部１０６は、短露光画像（ＩＳ）中、処理対象となっている画素位置の輝度の値（ＹＳ）を出力画像（Ｉｏｕｔ）の輝度の値ＹＯとする。
【００４８】
合成処理部１０６はＳ７０６において、１フレーム分の画像中の全画素について処理を完了したか否かを判定し、この判定が否定される間、上述したＳ７００からＳ７０４までの処理を繰り返し行う。Ｓ７０６の判定が肯定された場合、１フレーム分の出力画像（Ｉｏｕｔ）を生成する処理が完了する。
【００４９】
以上に説明したＳ７００、Ｓ７０２、Ｓ７０４の各処理については、必ずしも図７に例示される順に従う必要はなく、処理順を入れ替えることも可能である。
【００５０】
以上に説明したように、本発明の第１の実施の形態によれば、除算（／）や乗算（×）の使用を減じて、絶対値演算（ａｂｓ）、減算（−）、条件分岐（ｉｆ）の処理で出力画像の生成が可能となり、プロセッサの処理負荷を低減することが可能となる。あるいは、同じ処理性能のプロセッサであれば処理速度を向上させることが可能となる。加えて、単純な処理でありながら、生成された出力画像に画像認識等の処理を行い、色の違いをもとに被写体の判別等を行う際に、判別の確度を向上させることが可能となる。例えば、車載カメラの画像を処理して先行車両の点灯中の尾灯の存否を判定するような応用例で、方向指示灯（ターンシグナル）や路側に設置される反射装置等からの橙色の光を誤って尾灯と判定することを抑制可能となる。
【００５１】
以上では、長露光画像（ＩＬ）、短露光画像（ＩＳ）からなる２枚の原画像が画像処理部１０４に入力されて処理される例について説明した。しかし、本発明はこれに限られるものではなく、１フレーム分の出力画像に対応して３枚以上の原画像が入力されて処理されてもよい。このとき、出力画像信号の輝度成分信号に関しては、Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を出力画像の各画素位置における輝度成分信号とすることが望ましい。
【００５２】
原画像の枚数を増すことにより、被写界のより広い輝度範囲に対応した広ダイナミックレンジの出力画像を生成することが可能となる。その場合、本発明によればプロセッサの処理負荷を減じることが可能なので、単位時間あたりに生成可能な出力画像のフレーム数を増すことが可能となる。
【００５３】
− 第２の実施の形態 −
図８に、本発明の第２の実施の形態に係る画像処理装置の合成処理部１０６Ａ−１の動作を示し、その特徴について述べる。その他の構成は、第１の実施の形態で説明したものと同様であるのでその説明を省略する。
【００５４】
図８は、図６に示されるものと同様、長露光画像（ＩＬ）、短露光画像（ＩＳ）から出力画像（Ｉｏｕｔ）が生成される様子を概念的に示す図である。図８では、長露光画像（ＩＬ）から抽出される画素値（ＵＬ，ＶＬ）と、短露光画像（ＩＳ）から抽出される画素値（ＵＳ，ＶＳ）とが合成処理部１０６Ａ−１において、画素値ＵＬとＵＳ、ＶＬとＶＳとで比較される。そして、絶対値の大きい方の値が選択されて出力画像Ｉｏｕｔの画素値ＵＯ、ＶＯとされる。この点は第１の実施の形態における合成処理部１０６での処理と同じである。第１の実施の形態と異なるのは、出力画像Ｉｏｕｔの輝度値ＹＯとして、長露光画像（ＩＬ）の輝度値ＹＬ、短露光画像（ＩＳ）の輝度値ＹＳのうち、選択されたいずれかの輝度値（ＹＬまたはＹＳ）が用いられる点である。そして、用いられる輝度値がＹＬであるかＹＳであるかに応じた減衰比で合成処理部１０６Ａ−２において輝度値ＹＬ、ＹＳが減衰される点もまた第１の実施の形態と相違する。
【００５５】
前述のように、長露光画像の色差信号（ＵＬ，ＶＬ）と短露光画像の色差信号（ＵＬ，ＶＬ）の各絶対値をＵ，Ｖそれぞれで画素ごとに比較し、絶対値が大きい方の色差信号を（ＵＯ，ＶＯ）と出力している。このとき、輝度信号（ＹＬまたはＹＳ）を、そのまま輝度信号（ＹＯ）として出力すると、以下の問題を生じる可能性がある。すなわち、（６）〜（８）式の逆関数である、以下に示す（１７）〜（１９）式に出力信号（ＹＯ，ＵＯ，ＶＯ）を代入して（Ｒ，Ｇ，Ｂ）の値を導出したときに、これらの値の少なくともいずれかが２５５以上あるいは０未満となって飽和してしまう場合がある。例えば、合成処理部１０６Ａから出力されるＹＵＶ色空間の画像を再びＲＧＢ色空間の画像に変換して別の処理をするような場合に、上記飽和は問題となり得る。
【００５６】
そこで、例えば１より小さい固定係数を輝度信号ＹＬまたはＹＳに乗じるなどの処理をして輝度信号値を減衰させ（１０６Ａ−１）、出力画像（Ｉｏｕｔ）の輝度信号（ＹＯ）とすることにより、（Ｒ，Ｇ，Ｂ）の飽和を避けることができる。なお、この固定係数は、大きい（すなわち１に近い）値では（Ｒ，Ｇ，Ｂ）の値が飽和しやすく、小さい（すなわち０に近い）値では出力画像が黒潰れしやすい、というトレードオフの関係にあるため、実際の使用目的に合わせて適宜の値に設定すればよい。第１の実施の形態と異なり、ここでは乗算の処理ステップが付加されることになるが、ビットシフトの処理で済むように固定係数を設定することにより、処理負荷の増加を抑制可能となる。
Ｒ＝ １．０００×Ｙ ＋１．４０２×Ｖ …（１７）
Ｇ＝ １．０００×Ｙ−０．３４４×Ｕ−０，７１４×Ｖ …（１８）
Ｂ＝ １．０００×Ｙ＋１．７７２×Ｕ …（１９）
【００５７】
なお、固定係数を輝度信号ＹＬまたはＹＳに乗じる際に、長露光画像（ＩＬ）の輝度信号ＹＬに対してはより強く減衰されるように係数を設定することが望ましい。理由は、長露光画像（ＩＬ）の輝度信号ＹＬの値は短露光画像（ＩＳ）の輝度信号ＹＳの値よりも傾向として大きくなるからである。
【００５８】
以上説明した本発明の第２の実施の形態によれば、前述した第１の実施の形態で説明した効果に加えて、（Ｒ，Ｇ，Ｂ）の値が飽和しにくくなる。従って、ＹＵＶ色空間の画像をＲＧＢ色空間の画像に変換して例えば表示や印刷等の処理を行うのに適した画像信号を生成することが可能となる。
【００５９】
以上の第１および第２の実施の形態では、説明を簡単にするために、１枚の長露光画像と１枚の短露光画像とから１枚の出力画像を得る例について説明したが、本発明はこれに限定されるわけではない。また、原画像を得る際のフレームレート（撮像フレームレート）よりも減じられたフレームレートで出力画像を生成する例について説明したが、本発明はこれに限定されるわけではない。
【００６０】
まず、出力画像を生成する際のフレームレートを撮像フレームレートと同じとする例について図９を参照して説明する。第１および第２の実施の形態において、長露光画像（ＩＬ）と、それに続いて撮像して得られた短露光画像（ＩＳ）とを用いて一つの出力画像（Ｉｏｕｔ）が生成される例について説明した。これに対し、図９では、ある撮像タイミングで撮像して得られた長露光画像（ＩＬ−１）と、続く撮像タイミングで撮像して得られた短露光画像（ＩＳ−１）とを用いて出力画像（Ｉｏｕｔ−１）が生成される。この点はこれまでに説明したものと変わりはない。異なるのは、続く撮像タイミングで撮像して得られた長露光画像（ＩＬ−２）と、一つ前の撮像タイミングで撮像して得られた短露光画像（ＩＳ−１）とを用いて出力画像画像（Ｉｏｕｔ−２）が生成される点である。つまり、長露光画像（ＩＬ−１）と短露光画像（ＩＳ−１）とから出力画像（Ｉｏｕｔ−１）、短露光画像（ＩＳ−１）と長露光画像（ＩＬ−２）とから出力画像（Ｉｏｕｔ−２）、長露光画像（ＩＬ−２）と短露光画像（ＩＳ−２）とから出力画像（Ｉｏｕｔ−３）、…というように出力画像が生成される。換言すると、時間的に相前後する撮像タイミングで撮像して得られた長露光画像と短露光画像、そして短露光画像と長露光画像との組み合わせそれぞれに対応して出力画像が生成される。このようにして、撮像フレームレートと同等のフレームレートで出力画像を生成することが可能となる。
【００６１】
続いて図１０を参照し、３枚の原画像から１枚の出力画像を生成する例について説明する。撮像部１０２（図３）では、三つの異なる露光レベルで被写体を撮像する動作が繰り返し行われる。図１０では、これら三つの異なる露光レベルで被写体を撮像して得られる画像を長露光画像（ＩＬ）、中露光画像（ＩＭ）、短露光画像（ＩＳ）として示す。また、これらの長露光画像（ＩＬ）、中露光画像（ＩＭ）、短露光画像（ＩＳ）に対応するＹＵＶ信号を、（ＹＬ，ＵＬ，ＶＬ）、（ＹＭ，ＵＭ，ＶＭ）、（ＹＳ，ＵＳ，ＶＳ）と称する。
【００６２】
合成処理部１０６は、３枚の入力画像中の色差信号（ＵＬ，ＶＬ）、（ＵＭ，ＶＭ）、（ＵＳ，ＶＳ）についてそれぞれ絶対値をとり、それらの絶対値をＵＬ、ＵＭ、ＵＳの間で、そしてＶＬ、ＶＭ、ＶＳの間で比較する。そして、ＵＬ、ＵＭ、ＵＳの中で絶対値の最も大きい信号、ＶＬ、ＶＭ、ＶＳの中で絶対値の最も大きい信号をそれぞれＵＯ、ＶＯとする。
【００６３】
三つの信号の中から絶対値の最も大きい信号を求めるためには、図７のフローチャートにおいてＳ７００の処理、Ｓ７０２の処理をそれぞれ２回繰り返せばよい。そして、一回目の処理では長露光画像（ＩＬ）の色差信号（ＵＬ，ＶＬ）と中露光画像（ＩＭ）の色差信号（ＵＭ，ＵＭ）とで比較する。そして、二回目の処理では、一回目の処理で選択された方の色差信号（ＵＬまたはＵＭ）および（ＶＬまたはＶＭ）の各絶対値と、短露光画像（ＩＳ）の色差信号ＵＳおよびＶＳの各絶対値とを比較する。このようにして、ＵＬ、ＵＭ、ＵＳの中で絶対値の最も大きい信号、ＶＬ、ＶＭ、ＶＳの中で絶対値の最も大きい信号をそれぞれＵＯ、ＶＯと決定することが可能となる。
【００６４】
また、輝度信号については、ＹＬ、ＹＭ、ＹＳのうち、露光レベルの最も高い長露光画像（ＩＬ）の輝度値（ＹＬ）を除いたもの、すなわち本例ではＹＭまたはＹＳをＹＯとすることができる。このとき、中露光画像（ＩＭ）の輝度信号（ＹＭ）を用いる場合と短露光画像（ＩＳ）の輝度信号（ＹＳ）を用いる場合とを比較すると、前者では白飛びしやすく、後者では黒つぶれしやすい。したがって、生成された出力画像の使用目的等に応じていずれかを選択すればよい。さらにまた、出力画像の輝度値（ＹＯ）として長露光画像（ＩＬ）の輝度信号（ＹＬ）を含めた三つの輝度信号（ＹＬ，ＹＭ，ＹＳ）の中からいずれかを選択可能に構成されるものであってもよい。このとき、第２の実施の形態で説明した理由により、どの露光レベルで得られた画像の輝度値を用いるかに応じて決定した減衰係数を乗じてＹＯを導出することが望ましい。
【００６５】
このように、露光レベルの異なる原画像の枚数を増すことにより、明暗の差がより大きい被写体に対応することが可能となる。例えば、上述した応用例では、先行車両との車間距離がより遠い場合であっても、より近い場合であっても、尾灯の赤色をより明確に判定することが可能な画像を生成することが可能となる。
【００６６】
図１０を参照しての以上の説明において、長露光画像（ＩＬ）、中露光画像（ＩＭ）、短露光画像（ＩＳ）を得る際の時間的な撮像順序は任意である。例えば、短露光画像（ＩＳ）、中露光画像（ＩＭ）、長露光画像（ＩＬ）の順で画像が得られるように撮像動作を行っても良いし、中露光画像（ＩＭ）、短露光画像（ＩＳ）、長露光画像（ＩＬ）の順で画像が得られるように撮像動作を行っても良い。また、本発明の露光レベルは、以上に説明した２種類、３種類に限定されるわけではなく、４種類以上に増やしてもよいことは明らかである。その場合の露光の順序も、任意に設定可能である。
【００６７】
さらに、図１０では、出力画像のフレームレートが撮像フレームレートの１／３となる例について説明したが、図９を参照して説明したのと同様の方法を用いて出力画像のフレームレート低下を抑止することも可能である。ここで、ある時点から数えて１回目、２回目、３回目の撮像タイミングで得られる画像をそれぞれ長露光画像（ＩＬ−１）、中露光画像（ＩＭ−１）、短露光画像（ＩＳ−１）とする。そして、続く４回目、５回目、６回目の撮像タイミングで得られる画像をそれぞれ長露光画像（ＩＬ−２）、中露光画像（ＩＭ−２）、短露光画像（ＩＳ−２）とする。最初に生成される出力画像を（Ｉｏｕｔ−１）、次に生成される出力画像を（Ｉｏｕｔ−２）とすると、出力画像（Ｉｏｕｔ−１）は、長露光画像（ＩＬ−１）、中露光画像（ＩＭ−１）、短露光画像（ＩＳ−１）を用いて生成することができる。続いて、出力画像（Ｉｏｕｔ−２）は、中露光画像（ＩＭ−１）、短露光画像（ＩＳ−１）、長露光画像（ＩＬ−２）を用いて生成することができる。このように、相前後するタイミングで行われた（長露光、中露光、短露光）、（中露光、短露光、長露光）、あるいは（短露光、長露光、中露光）といった、３種類の露光レベルで得られた画像データを用いることにより、撮像フレームと同等のフレームレートで出力画像を生成することが可能となる。これは、露光レベルを４種類以上に増やした場合にも同様である。つまり、相前後するタイミングで行われたＮ種類の露光露光レベルで得られた画像データを用いることにより、撮像フレームと同等のフレームレートで出力画像を生成することが可能となる。
【００６８】
また、図１０を参照しての上記説明においては、異なる露光レベルで得られたＮ枚（Ｎフレーム）の原画像に対応して１枚（１フレーム）の出力画像が生成される例について説明したが、複数枚の出力画像が生成されるようにしてもよい。例えば、長露光、中露光、短露光の３種類の露光レベルで原画像が得られる場合について説明する。この場合、長露光、中露光の２枚の原画像をもとに第１の出力画像を生成することができる。そして、中露光、短露光の２枚の原画像をもとに第２の出力画像を生成することができる。これら第１の出力画像、第２の出力画像は、後段で行われる画像認識処理等の内容や被写体の輝度分布等の状況に応じて、出力画像を用いて画像認識処理等を行う際に使い分けることができる。本例では、第１の出力画像は傾向として露光レベルが高めのものであるので、低輝度の被写体の色を良好に区別可能とする用途等に向く。また、第２の出力画像は傾向として露光レベルが低めのものであるので、高輝度の被写体の色を良好に区別可能とする用途等に向く。
【００６９】
以上の説明では、夜間に先行車両の尾灯の赤色を明確に再現可能とする出力画像を生成する場合を例に本発明の説明をしたが、本発明はこれに限定されるわけではない。例えば、信号機の青色（緑色）、黄色、赤色を識別したり、夜間に車両の塗色、人物の服装の色、建物の色などを識別したりする用途などにも利用可能である。このように、明暗の差が大きい被写体に対応して色の区別をより的確に行う用途に適した画像を生成することが可能となる。
【００７０】
以上では原画像信号中の色成分信号を比較した結果に基づいて出力画像の色成分信号を導出する際に、ＲＧＢ色空間の画像を、ＹＵＶ、ＹＣｂＣｒ、Ｙ（Ｂ−Ｙ）（Ｒ−Ｙ）、ＹＰｂＰｒの色空間の画像に変換して色差信号同士を比較する例について説明した。これに関して、ＨＳＶ（ＨＳＬ）、Ｌａ＊ｂ＊等の色空間の画像に変換してもよい。例えばＨＳＶ色空間の画像に変換した場合、異なる露光レベルで得られた複数の画像について、色成分としてＳ信号同士で対応する画素位置の信号を比較して、より高い彩度が得られる方の信号を選択して出力画像を生成することが可能である。輝度成分信号としては、第１、第２の実施の形態で説明したＬ信号と同様に、短露光画像および長露光画像いずれかの画像のＶ信号が利用可能で、必要に応じて減衰係数を乗じたものを出力画像の輝度成分信号としてもよい。なお、Ｈ信号に関しては、色飽和の生じにくい短露光画像のものを利用することが可能である。また、Ｌａ＊ｂ＊の色空間に変換した場合、異なる露光レベルで得られた複数の画像について、色成分としてａ＊、ｂ＊信号同士で対応する画素位置の信号を比較して、絶対値の大きい方のａ＊信号、ｂ＊信号を出力画像の色成分信号とすることが可能である。輝度成分信号としては、第１、第２の実施の形態で説明したＬ信号と同様に、短露光画像および長露光画像いずれかの画像のＬ信号が利用可能で、必要に応じて減衰係数を乗じたものを出力画像の輝度成分信号としてもよい。
【００７１】
以上では撮像部で生成される動画像をリアルタイムで処理する例について説明したが、一度蓄積された画像データを後で処理するものであってもよい。また、処理対象の画像は動画像であっても静止画像であってもよい。一度蓄積された画像データを後で処理する場合、画像処理装置としては撮像装置とは別体に構成されたものであってもよい。このとき、画像処理装置としては専用のハードウェアやファームウェア等で実現されてもよいし、図７を参照して説明した処理手順を実行するためのプログラムと、このプログラムを実行可能なコンピュータとによって実現されてもよい。
【００７２】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形実施可能であり、上述した各実施の形態を適宜組み合わせることが可能であることは、当業者に理解されよう。
【符号の説明】
【００７３】
１００ … 撮像装置
１０１ … 撮影レンズ
１０２ … 撮像部
１０３ … 撮影制御部
１０４ … 画像処理装置
１０５ … 画像入力部
１０６、１０６Ａ−１、１０６Ａ−２ … 合成処理部
ＢＧ … 背景
ＨＬ … 前照灯
ＬＣ … 先行車両
ＯＣ … 対向車両
Ｒ１、Ｒ２ … 反射装置
ＴＬ … 尾灯
【技術分野】
【０００１】
本発明は、被写体の明暗の差（ダイナミックレンジ）が大きい被写体に対しても、飽和や黒つぶれの抑制されたカラー画像を形成可能な技術に関する。
【背景技術】
【０００２】
近年、車載カメラや監視カメラ等で夜間のシーンを撮影し、人々の暮らしの安全・安心に役立てるための研究開発が盛んに行われている。このような夜間のシーンでは明暗の差が非常に大きく、一般の撮像素子ではダイナミックレンジの限界を超えてしまうため、一般に「白飛び」、「黒潰れ」、「色飽和」と呼ばれる現象が発生してしまうことがあった。特に、被写体の色（色度）を撮影後の画像認識処理等に利用する場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）といった色成分中の特定色のものだけが飽和してしまうと、結果として得られる画像の色が被写体の実際の色と異なる画像になってしまい、カラー画像を適切に形成できなくなる場合があった。例えば、被写体中に赤いランプが存在していて、そのランプの輝度が高まると画像中の赤成分が飽和する。すると、画像中では緑成分、青成分が相対的に増すことになるので、生成される画像中で赤いランプの部分が白っぽくなってしまう。
【０００３】
これに対し特許文献１には、特定の色で飽和を生じた場合でも、適切なカラー画像作成に必要な情報を得ることができる画像入力装置の提供を目的とした技術が開示されている。この技術では、第１のシャッタスピードで撮影して得られた画像Ｉｍｇ２と、第１のシャッタスピードよりも速い第２のシャッタスピードで撮影して得られた画像Ｉｍｇ１とを得る。これらの画像について、画像Ｉｍｇ２中の飽和画素と画像Ｉｍｇ１中の高輝度画素とで座標を比較する。これらの画素が同じ座標位置にあれば、同じ被写体を撮影したものと推定し、画像Ｉｍｇ１における高輝度画素からの信号に含まれる色度に合せるように、画像Ｉｍｇ２中で同じ座標を持つ飽和画素からの信号に含まれる色度を、以下の式を用いて調節するように構成している。
【０００４】
すなわち、カラー画像Ｉｍｇ１の高輝度画素の輝度信号をＹ１（ｘ，ｙ）、色差信号をＣｂ１（ｘ，ｙ）、Ｃｒ１（ｘ，ｙ）とし、カラー画像Ｉｍｇ２の飽和画素から出力された輝度信号をＹ２（ｘ，ｙ）としたときに、以下の式を用い、補正された色差信号Ｃｂ２'（ｘ，ｙ）、Ｃｒ２'（ｘ，ｙ）を算出する。
Ｃｂ２'（ｘ，ｙ）＝Ｃｂ１（ｘ，ｙ）×Ｙ２（ｘ，ｙ）／Ｙ１（ｘ，ｙ） … （１）
Ｃｒ２'（ｘ，ｙ）＝Ｃｒ１（ｘ，ｙ）×Ｙ２（ｘ，ｙ）／Ｙ１（ｘ，ｙ） … （２）
そして、カラー画像Ｉｍｇ１中の飽和画素から出力されたカラー画像信号中の色差信号を、上記の補正された色差信号で置き換える技術が示されている。ここで、（ｘ，ｙ）は撮像素子の撮像面上の座標を表す。
【０００５】
また、特許文献２には、ＣＣＤ等の撮像素子を用いた撮像装置で、ダイナミックレンジの拡大のために複数画像を合成する技術が開示されている。この技術では、異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理をして、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出する指標化手段と、指標に基づいて分割領域毎に複数の原信号の画像信号の内から１の画像信号を選択する選択手段と、選択された画像信号から一つの合成画像信号を生成する画像手段とを備える撮像装置が開示される。
【０００６】
このとき、分割領域毎に複数の原信号の画像信号の内から１の画像信号を選択する際に用いる指標Ｃを、輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、比較する他の画像の輝度信号Ｙ'、所定の値αを用いて、下記（３）〜（５）式のいずれから算出することが開示される。
Ｃ＝｛（Ｒ−Ｙ）2＋（Ｂ−Ｙ）2｝／（Ｙ＋α）2 … （３）
Ｃ＝｛（Ｒ−Ｙ）2＋（Ｂ−Ｙ）2｝×（Ｙ'＋α）2 … （４）
Ｃ＝｛｜Ｒ−Ｙ｜＋｜Ｂ−Ｙ｜｝／（Ｙ'＋α）2 … （５）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１０／１１６９２２号パンフレット
【特許文献２】特許第３９１４８１０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した従来技術では、（１）〜（５）式に示したように、演算式として除算（／）や乗算（×）が用いられている。除算（／）や乗算（×）を、演算能力の低いプロセッサ（CPU：Central Processing Unit）を用いてソフトウェアで処理しようとすると、処理に必要な時間が大きくなってしまい、リアルタイム処理できなくなったり、単位時間（例えば１秒間）あたりの画像フレーム数を減らす必要があったり、他の演算（例えば画像認識処理）の精度を落とさざるを得なくなる、などの課題がある。あるいは、演算能力の高いプロセッサや専用のハードウェアを利用した場合は、装置全体のコストアップを引き起こす。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、その目的は、明暗の差が大きい被写体を撮影した場合にも、より少ない情報処理量によって、色つぶれや色飽和の少ないカラー画像を生成可能とする技術を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の代表的な一例を示せば以下の通りである。すなわち、画像処理装置は、同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する画像入力部と、
前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部とを備え、
前記合成処理部が、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする。
【発明の効果】
【００１１】
本発明によれば、明暗差の大きい被写体を撮影した場合であっても、色つぶれや色飽和の少ないカラー画像をより少ない情報処理量で生成することが可能となり、より性能の低いプロセッサでの処理や、画像生成処理の高速化を実現可能となる。
【図面の簡単な説明】
【００１２】
【図１】被写界中に比較的広い輝度範囲の被写体が存在する例を示す図である。
【図２】色飽和を生じていないＲＧＢ画像信号と色飽和を生じているＲＧＢ画像信号の例を棒グラフで示す図である。
【図３】本発明の第１の実施の形態に係る画像処理装置およびこの画像処理装置が組み込まれる撮像装置の構成を概略的に説明するブロック図である。
【図４】露光レベルの異なる複数枚の画像を得る方法を説明する図であり、（ａ）は露光レベルの異なる複数枚の画像を時系列に得る例を、（ｂ）は露光レベルの異なる複数枚の画像を略同時に得る例を、それぞれ示す図である。
【図５】本発明の第１の実施の形態に係る画像処理装置において、複数枚からなる一組の原画像に対応して一枚の出力画像が生成される様子を概念的に示す図である。
【図６】本発明の第１の実施の形態に係る画像処理装置において、露光レベルの異なる２枚の画像の対応する画素位置の各画素値をもとに、出力画像の当該画素位置における画素値が決定される様子を概念的に示す図である。
【図７】本発明の第１の実施の形態に係る画像処理装置において実行される画像合成の処理手順を説明するフローチャートである。
【図８】本発明の第２の実施の形態に係る画像処理装置において、露光レベルの異なる２枚の画像の対応する画素位置の各画素値をもとに、出力画像の当該画素位置における画素値が決定される様子を概念的に示す図である。
【図９】時間的に相前後する撮像タイミングで撮像して得られた長露光画像と短露光画像、そして短露光画像と長露光画像との組み合わせそれぞれに対応して出力画像が生成される様子を概念的に説明する図である。
【図１０】露光レベルの異なる３枚からなる一組の原画像に対して一枚の出力画像が生成される様子を概念的に示す図である。
【発明を実施するための形態】
【００１３】
最初に、被写界中に比較的広い輝度範囲の被写体が存在する例について図１を参照して説明する。図１は、車載カメラや監視カメラを用いて、夜間の道路を撮影して得られる画像模擬的に示したものである。以下では、車載カメラの搭載される車両を自車と称し、自車の前方を走行する車両を先行車両、自車に向かう方向に走行する車両を対向車両とそれぞれ称する。図１には、撮影シーン中に先行車両ＬＣ、対向車両ＯＣが、背景ＢＧ、路側に設置される反射装置Ｒ１、Ｒ２などともに存在する様子が示される。先行車両ＬＣは、その尾灯ＴＬが点灯状態にある。対向車両ＯＣは、その前照灯ＨＬが点灯状態にある。反射装置Ｒ１、Ｒ２は、自車や自車の後方を走行する車両の前照灯から発せられた光等を反射し、黄色から橙色に近い色の光を発している。
【００１４】
先行車両の尾灯ＴＬ部分の画像に着目して説明をすると、先行車両と自車との車間距離が比較的長い場合、車載カメラによって捉えられて生成される尾灯ＴＬの画像部分の画素値は飽和しない。しかし、自車と先行車両との車間距離が詰まると撮影シーン全体の中で尾灯ＴＬ部分の輝度が増す。尾灯ＴＬから出射される光は、Ｒ（赤）色の成分がＧ（緑）色およびＢ（青）色の成分に比して多いので、尾灯ＴＬ部分の輝度が増すとやがてＲ色の成分が飽和する。特に、夜間のシーンでは、明暗の差が非常に大きく、背景ＢＧ等の輝度を基準として露光量が定められると、自車の近くにある車両に備えられる光源から発せられる光に対応する部分の画像は飽和する可能性が高まる。
【００１５】
その様子が図２に示されている。図２において、縦軸には８ビット深度の画素値（最小値：０ 最大値：２５５）、横軸にはＲ色、Ｇ色、Ｂ色の各成分が示されている。図２において、符号ＮＭＬの付される画素値の組み合わせは飽和していない状態の例を示し、符号ＳＡＴの付される画素値の組み合わせはＲ色の画素値が飽和している状態の例を示す。以下ではこれらの画素値の組み合わせを画素値ＮＭＬ、画素値ＳＡＴと称する。画素値ＮＭＬでは、Ｒ色成分が相対的に多く、この画素値に基づく画像は赤くなる。一方、画素値ＳＡＴでは、Ｒ色成分が飽和していて、Ｇ色、Ｂ色の成分が相対的に増加している。その結果、本来は赤色と再現されるべき画像であるにもかかわらず、赤みが減じられてしまい、図２に示す例では画素値ＳＡＴに基づいて再現される色は白に近い黄色となる。
【００１６】
色味が実際の色に対して大きくずれてしまっていると、色を参酌して画像認識を行う場合に正しい判定を行うことが困難となる。例えば、撮影シーン中の尾灯（先行車両）の有無の判定、あるいは反射装置（Ｒ１、Ｒ２）か尾灯（先行車両）かの判定を行うような用途では、白飛び、あるいは色飽和を生じると色に基づく判定ができなくなるので、正確な判定が困難となる。ここで、白飛びとは、Ｒ色、Ｇ色、Ｂ色すべてのチャンネルにおける画素値が飽和、乃至は飽和に近い状態にあることを意味する。色飽和とは、特定の色のチャンネルで画素値が飽和状態にあることを意味する。
【００１７】
上述したように、被写体輝度の分布範囲の広いシーンを撮影すると、シーン中の輝度によっては撮像素子のダイナミックレンジ外となり、白飛びや色飽和を生じ易くなる。この白飛びや色飽和を抑制するために露光量を減じると、今度は被写界中の低輝度部分で十分な大きさの画素値を得ることができず、黒くつぶれてしまって物体の輪郭や色等に基づく画像認識処理を行うことが困難となる。この問題に対処するため、本発明の実施の形態においては、同一被写体を異なる露光レベルで撮影して得た複数枚の画像を合成処理する。
【００１８】
− 第１の実施の形態 −
図３は、本発明の第１の実施の形態に係る画像処理装置１０４が撮像装置１００内に備えられる例を説明するブロック図である。撮像装置１００は、撮影レンズ１０１と、撮像部１０２と、撮像制御部１０３と、画像処理装置１０４とを備える。画像処理装置１０４は、画像入力部１０５と、合成処理部１０６とを備える。以下では上述した構成要素が一体に構成されるものとして説明するが、撮影レンズ１０１、撮像部１０２および撮像制御部１０３からなるカメラユニットと、画像処理装置１０４とが別体に構成されていてもよい。撮影レンズ１０１はカメラユニットに固定されるものであっても、カメラユニットに対して着脱自在に構成されていて、目的に応じて様々なタイプの撮影レンズに交換可能に構成されていてもよい。画像処理装置１０４は、専用のハードウェアによって構成されていてもよいし、ＣＰＵ、メモリ、記憶装置等を備えたコンピュータと、このコンピュータによって実行されるプログラムとによって構成されていてもよい。その場合、プログラムは、光ディスク、磁気記憶媒体、フラッシュメモリ等の非一時的コンピュータ可読媒体に格納される。
【００１９】
撮像部１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、プリプロセッサとを備える。本実施の形態において撮像素子はＲ、Ｇ、Ｂ各色のベイヤ配列のオンチップカラーフィルタが受光面上に形成された単板式のＣＭＯＳイメージセンサであるものとする。ＣＭＯＳイメージセンサは、ＣＤＳ（Correlated Double Sampling）回路やＡＧＣ（Automatic Gain Control）回路、そしてＡ／Ｄ変換回路等のアナログ・フロントエンドを内蔵し、ディジタルのＣＦＡ（Color Filter Array）画像を出力可能に構成される。ＣＦＡ画像は、デモザイク処理される前の、１画素あたり１色の信号値を有する画像である。このＣＭＯＳイメージセンサはまた、電子シャッタの機能を備えるものとする。プリプロセッサは、ＣＦＡ画像にデモザイキング、ノイズ低減、階調補正、ホワイトバランス調整等の処理をしてＲＧＢ画像を生成する。なお、プリプロセッサを省略して、撮像部１０２はＣＦＡ画像を出力するものとし、画像処理装置１０４の側でデモザイキング、ノイズ低減、階調補正、ホワイトバランス調整等を含めて処理を行うようにしてもよい。
【００２０】
撮影レンズ１０１は、被写体像を撮像部１０２の受光面上に形成する。撮影レンズ１０１は、単焦点レンズであってもよいし、可変焦点距離レンズであってもよい。可変焦点距離レンズである場合、焦点距離を変化させるための変倍駆動装置が撮影レンズ１０１内に組み込まれていても良い。また、焦点調節用のレンズを駆動するための焦点調節装置が撮影レンズ１０１内に組み込まれていても良い。撮影レンズ１０１は、絞り装置を内蔵して絞り値（Ｆ値）を可変に構成される。
【００２１】
撮像制御部１０３は、撮像部１０２における撮像動作のタイミングと露光量とを制御する。本実施の形態において撮像制御部１０３は、３０ｆｐｓ、６０ｆｐｓなどといったフレームレートで撮像動作が撮像部１０２で繰り返し行われるようにタイミング信号を撮像部１０２に出力する。このとき、撮像制御部１０３は、撮像部１０２に露光量制御信号も出力する。撮像制御部１０３から出力されるこれらの信号に基づき、撮像部１０２では露光レベルを変化させての撮像動作が繰り返し行われる。
【００２２】
ここで、露光レベルについて説明する。一般に、撮像素子に与えるべき基準露光量（基準像面露光量）は、イメージセンサの感度、アナログ・フロントエンドでの増幅率、ノイズレベル、ディジタル信号処理部でのノイズ低減処理の優劣等に応じて決まる。一般に、イメージセンサを構成する各画素（光電変換部）のサイズが大きいほど、そしてイメージセンサおよびアナログ・フロントエンドでのＳ／Ｎ比が優れていて高ゲインでの増幅が可能なほど、さらにディジタル信号処理部でのノイズ低減処理が優れているほど、撮像素子で設定可能な感度を高めることが可能となる。このように、撮像素子で設定可能な感度は様々な要因に基づいて変わるので、本明細書ではシステム感度と称する。このシステム感度を高めることが可能なほど、基準露光量を減じることが可能となる。露光レベルは、設定されたシステム感度に応じて定められる。標準的な明るさの被写体を撮像して得られた画像が標準的な明るさのものとなるように定められるのが基準露光レベルである。
【００２３】
この基準露光レベルよりも多い露光レベルで撮像すると、明るめ（オーバー目）の画像が得られる。明るめの画像は、被写体中の明るい部分で白飛びや色飽和を生じる可能性を有する反面、被写体中の暗い部分ではより鮮やかに色を再現することが可能となる。一方、基準露光レベルよりも少ない露光レベルで撮像すると、暗め（アンダー目）の画像が得られる。暗めの画像は、被写体の暗い部分で黒つぶれを生じる可能性を有する反面、被写体中に太陽光や人工照明等による明るい部分が存在していても、その部分に対応する画像で白飛びや色飽和を生じる可能性を減じることが可能となる。
【００２４】
露光レベルを変える方法としては、撮影レンズ１０１の絞りを変える方法、撮像部１０２での露光時間を変える方法などがある。異なる露光レベルの複数の画像を得る際、絞りや露光時間を変える方法では、異なる露光量の複数の画像を同時に得ることができないので、時系列に撮像動作を繰り返しながら絞りまたは露光時間、あるいは両方を変える必要がある。もしくは、絞り、露光時間は一定とし、撮影レンズ１０１の前側または後ろ側に配置された光学濃度可変式フィルタの濃度を変化させることも可能である。このような方法により、露光レベルの異なるＮ枚（Ｎ：２以上の整数）の画像を得る場合、露光レベルを変えながら時系列にＮ回の撮像を行うことを周期的に繰り返すことになる。図４（ａ）には、露光レベルを交互に増減させて撮像を繰り返す様子が描かれている。図４（ａ）では、露光レベルを増減させるために露光時間を交互に変化させて、多めの露光時間による露光（長露光）、少なめの露光時間による露光（短露光）を繰り返す様子が示される。
【００２５】
また、撮像装置全体として撮影レンズ１０１および撮像部１０２をＮセット備え、それらが同一の被写体を捉えるように配列されている場合、セットごとに露光レベルを変えることにより、露光レベルの異なるＮ枚の画像を略同時に得ることが可能となる。
【００２６】
あるいは、撮像素子の受光面上に感度の異なる複数種類の画素が入り交じるように規則正しく配列されている場合（ここでは説明を簡略化するため、高感度画素、低感度画素の２種類が配列されているものとする）、１回の露光動作で露光レベルの異なるＮ枚（上記例では２枚）の画像を同時に得ることが可能となる。何故なら、高感度画素、低感度画素に対する基準像面露光量は異なるので、同じ露光量をこれらの高感度画素、低感度画素に与えると結果として露光レベルは違ったものになるからである。さらに、撮影レンズの後方にハーフミラーやプリズム等を用いたビームスプリッタを配置し、複数の撮像素子に対して被写体光を不等光量比で導く構成を備えることも可能である。このような構成を備えることにより、複数の撮像素子で略同時、略同じ露光時間の露光を行って、露光レベルの異なる複数の画像を得ることが可能となる。
【００２７】
図４（ｂ）には、異なる露光レベルでの複数の露光が略同時に行われる様子が示されている。図４（ｂ）に示す例では、露光時間を変えての複数の露光が略同時に行われる様子が示される。しかし、撮影レンズおよび撮像素子の組み合わせを複数セット備えるものでは、絞りを変えることにより複数の露光を略同じ露光時間で略同時に行うことが可能である。また、高感度画素および低感度画素を備える撮像素子、あるいは被写体光が不等光量比で導かれる複数の撮像素子を用いて、複数の露光を略同じ露光時間で略同時に行うことによって複数の異なる露光レベルの画像を得ることが可能である。
【００２８】
比較的速く動く被写体を撮像する用途では、露光レベルの異なる複数の画像ができるだけ短時間のうちに得られるようにすることが後で行われる合成処理の結果をより良いものとする上で望ましい。その理由は、異なるタイミングで撮影された複数の画像間において、画像内で被写体の写る位置が変化することがあり、これが後で行われる合成処理を難しくするからである。
【００２９】
以下では、撮像部１０２での露光時間（電子シャッタタイム）をフレームごとに変化させながら時系列に撮像動作を行い、露光レベルの異なる複数の画像を得る場合を例に説明する。撮像制御部１０３は、撮像部１０２で例えば６０ｆｐｓといったフレームレートで撮像動作が行われるように制御信号を撮像部１０２に出力する。このとき撮像制御部１０３は、フレームごとに異なる露光レベルでの撮像動作が繰り返し行われるように撮像部１０２に制御信号を発する。
【００３０】
図５には一例として、二つの異なる露光レベルでの撮像動作が撮像部１０２で行われて、露光レベルの比較的高い画像と、露光レベルの比較的低い画像とが時間的に交互に生成される様子が示されている。本例では露光レベルを変化させるために露光時間の長さを変えているので、露光レベルの比較的高い画像を長露光画像（ＩＬ）と称し、露光レベルの比較的低い画像を短露光画像（ＩＳ）と称する。これらの長露光画像（ＩＬ）、短露光画像（ＩＳ）が画像処理装置１０４の画像入力部１０５に順次入力され、合成処理部１０６で処理されて出力画像（Ｉｏｕｔ）が生成される。画像入力部１０５に入力される長露光画像（ＩＬ）、短露光画像（ＩＳ）、すなわち合成処理前の画像を本明細書中では原画像と称する。図５において、生成される出力画像（Ｉｏｕｔ）のフレームレートは、撮像フレームレートの１／２となっている。
【００３１】
画像入力部１０５は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の、アクセス速度に優れる記憶装置で構成することが可能である。撮像部１０２から逐次出力される原画像を画像処理装置１０４がリアルタイムで処理をする場合、画像入力部１０５は撮像部１０２から出力される原画像を入力する。メモリカードやハードディスクドライブ、ＳＳＤ（Solid State Drive）等に蓄積された原画像を画像処理部１０４が処理する場合、画像入力部１０５はこれらのメモリカードやハードディスク、あるいはＳＳＤ等から原画像を入力する。画像入力部１０５は、前述したようように、原画像としてＣＦＡ画像を入力するものであっても、デモザイク処理後の画像を入力するものであってもよい。以下ではデモザイク処理されたＲＧＢ画像を画像入力部１０５が入力するものとして説明をする。
【００３２】
画像入力部１０５は、Ｎ枚、本例では長露光画像（ＩＬ）および短露光画像（ＩＳ）からなる２枚の原画像を一組として合成処理部１０６に出力する。合成処理部１０６は、ＲＧＢ色空間の原画像を、輝度成分信号と色成分信号とを含む信号に変換した後、合成処理を行う。本例では輝度成分信号と色成分信号とを含む信号として、合成処理部１０６はＹＵＶ信号に変換するものとする。このＹＵＶ信号では、画像信号がＹ、すなわち輝度成分と、ＵおよびＶ、すなわち色差成分で表される。ここで、ＲＧＢ画像の各色の画素値を（Ｒ、Ｇ、Ｂ）とし、ＹＵＶ信号で表される画素値を（Ｙ、Ｕ、Ｖ）とすると、以下の式を用いてＲＧＢ画素値からＹＵＶ画素値を得ることが可能である。
Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（６）
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ …（７）
Ｖ＝ ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ …（８）
【００３３】
上記の式（６）から式（８）を用いることにより、原画像中の各画素位置の画素に対応して輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）を求めることが可能となる。
【００３４】
また、上記ＹＵＶ信号に代えて、輝度信号（Ｙ）と、色差信号（Ｂ−Ｙ）および（Ｒ−Ｙ）とを、以下の式（９）から式（１１）を用いて導出して用いることが可能である。
Ｙ ＝ ０．３００×Ｒ＋０．５９０×Ｇ＋０．１１０×Ｂ …（９）
Ｂ−Ｙ＝−０．３００×Ｒ−０．５９０×Ｇ＋０．８９０×Ｂ …（１０）
Ｒ−Ｙ＝ ０．７００×Ｒ−０．５９０×Ｇ−０．１１０×Ｂ …（１１）
【００３５】
さらに、上記ＹＵＶ信号に代えて、輝度信号（Ｙ）と、色差信号（ＣｂおよびＣｒ）とを、以下の式（１２）から式（１４）を用いて導出して用いることも可能である。
Ｙ ＝ ０．２５７×Ｒ＋０．５０４×Ｇ＋０．０９８×Ｂ …（１２）
Ｃｂ＝−０．１４８×Ｒ−０．２９１×Ｇ＋０．４３９×Ｂ …（１３）
Ｃｒ＝ ０．４３９×Ｒ−０．３６８×Ｇ−０．０７１×Ｂ …（１４）
【００３６】
また、ＹＣｂＣｒに類似するものとして輝度信号（Ｙ）と、色差信号（Ｐｂ）および（Ｐｒ）とを導出して用いることも可能である。
【００３７】
以下ではＹＵＶ信号で処理を行うものとして説明する。ここで、（Ｙ、Ｕ、Ｖ）の各画素値と、再現される色との関係について説明する。例えば、先行車両との車間距離が徐々に縮まり、尾灯の部分の画像の明るさが徐々に増して、やがて色飽和や白飛びを生じる状況を例にとり、説明する。
【００３８】
色飽和や白飛びを生じる程に明るくない状況では、画像の明るさが増すにつれて輝度信号（Ｙ）の値が増す。このとき、色差信号（Ｕ，Ｖ）の絶対値も増加する。例えば、先行車両ＬＣの尾灯ＴＬの部分の画像を例に説明すると、先行車両ＬＣが離れていて比較的暗く写っている場合、当該部分の画像の輝度信号（Ｙ）の値は比較的小さく、色差信号（Ｕ，Ｖ）の絶対値も比較的小さくなる。このときに再現される色は、暗めの赤となる。そして、先行車両ＬＣに近づくにつれて、尾灯（ＴＬ）の部分の画像の明るさが増し、輝度信号（Ｙ）の値も色差信号（Ｕ，Ｖ）の絶対値も増加する。つまり、再現される色は、黒みを帯びた赤から彩度の高い鮮やかな赤へと変化する。
【００３９】
ところが、画像がさらに明るくなって、色飽和を生じ始めると、輝度信号（Ｙ）の値は増す一方で、色差信号（Ｕ，Ｖ）の絶対値は減少し始める。色差信号（Ｕ，Ｖ）の絶対値が減るほど色は薄くなる（彩度が低下する）。このときに得られる信号から再現される色は、色相が変化して尾灯本来の色とは異なるものとなり、やがて色差信号（Ｕ，Ｖ）の値が（０，０）に近づき、色は白に近いものとなる。
【００４０】
また、色差信号（Ｕ，Ｖ）の絶対値を一定の値に固定して、輝度信号（Ｙ）の値のみを変化させたときに再現される色の変化について考えると、輝度信号（Ｙ）の値がより小さい方が逆の場合よりも色が濃くなる。（Ｙ，Ｕ，Ｖ）の画素値としてＵ，Ｖに適宜の値を設定した上でＹの値のみを増減させ、それらの画素値の組み合わせに対応する（Ｒ，Ｇ，Ｂ）の画素値を求める（ＹＵＶ色空間からＲＧＢ色空間への変換式については後で（１７）式から（１９）式を参照して説明する）と、Ｙの値が減少するにつれて、対応する（Ｒ，Ｇ，Ｂ）画素値の間で差が増し、色度が明確になることが判る。例えば、二つの色に対応する二点を、色相および彩度で規定される二次元平面上にプロットしたとき、これらの二点が遠ざかる（二点間の距離が増す）ほど、色度が明確になる、と表現することができる。
【００４１】
以上の性質を利用して、合成処理部１０６は、ＹＵＶ色空間で表された長露光画像（ＩＬ）、短露光画像（ＩＳ）を、以下に説明するように合成処理する。以下では長露光画像（ＩＬ）、短露光画像（ＩＳ）それぞれの画素値（Ｙ，Ｕ，Ｖ）を区別するため、長露光画像（ＩＬ）の画素値を（ＹＬ，ＵＬ，ＶＬ）とし、短露光画像（ＩＳ）の画素値を（ＹＳ，ＵＳ，ＶＳ）とする。合成処理部１０６は、長露光画像（ＩＬ）、短露光画像（ＩＳ）について、両画像の対応する画素位置における値（ＹＬとＹＳ、ＵＬとＵＳ）を比較し、絶対値の大きい方の値を当該画素位置における出力値（ＵＯ，ＶＯ）とすることを点順次に行う。このとき、輝度値（ＹＯ）については、短露光画像（ＩＳ）の輝度値（ＹＳ）を選択する。
【００４２】
図６は、上述のようにして長露光画像（ＩＬ）、短露光画像（ＩＳ）から出力画像（Ｉｏｕｔ）が生成される様子を概念的に示す図である。図６では、長露光画像（ＩＬ）から抽出される画素値（ＵＬ，ＶＬ）と、短露光画像（ＩＳ）から抽出される画素値（ＵＳ，ＶＳ）とが合成処理部１０６において、画素値ＵＬとＵＳ、ＶＬとＶＳとで比較される。そして、絶対値の大きい方の値が選択されて出力画像Ｉｏｕｔの画素値ＵＯ、ＶＯとされる。また、出力画像Ｉｏｕｔの輝度値ＹＯについては、短露光画像ＩＳの輝度値が用いられる様子が示されている。
【００４３】
図７は、合成処理部１０６で実行される画像合成処理の手順を概略的に示すフローチャートである。図７に示される処理が一度実行されると合成処理部１０６で１フレーム分の出力画像Ｉｏｕｔが生成される。つまり、３０ｆｐｓのフレームレートで出力画像Ｉｏｕｔが生成される場合、図７に示される処理が１秒間に３０回実行される。
【００４４】
図７に示される処理は、色差信号（Ｕ，Ｖ）がオフセット（１２８）付きバイナリデータである場合の処理を示している。つまり、８ビット深度のＲＧＢ画像データに対して式（６）から式（８）を用いて（Ｙ，Ｕ，Ｖ）の値を導出した場合、Ｕ値、Ｖ値は負の値をとりうる。そこで、導出されたＵ値、Ｖ値に１２８を一律に加算して正の数とした上で整数化することにより、Ｕ値、Ｖ値を符号無しのバイナリデータとして扱うことが可能となる。Ｓ７００中に記載される「／／色差信号（Ｕ）の値がオフセット（１２８）付きバイナリデータの場合」およびＳ７０２中に記載される「／／色差信号（Ｖ）の値がオフセット（１２８）付きバイナリデータの場合」は、プログラム中のリマークを意味している。
【００４５】
Ｓ７００において合成処理部１０６は、処理対象となっている画素位置の長露光画像（ＩＬ）、短露光画像（ＩＳ）の色差の値ＵＬ、ＵＳからそれぞれオフセット値の１２８を減算し、絶対値をとる。こうして求められるのがＵＬ＿ａｂｓ、ＵＳ＿ａｂｓである。そしてＵＬ＿ａｂｓとＵＳ＿ａｂｓとを比較し、ＵＬ＿ａｂｓの値がＵＳ＿ａｂｓの値以上と判定されるときにはＵＯ＝ＵＬとする。一方、ＵＬ＿ａｂｓの値がＵＳ＿ａｂｓの値を下回るときにはＵＯ＝ＵＳとする。この処理の内容がＳ７００の処理ブロック中で以下のようなプログラムステートメントで示されている。
ＵＬ＿ａｂｓ＝ａｂｓ（ＵＬ−１２８）
ＵＳ＿ａｂｓ＝ａｂｓ（ＵＳ−１２８）
ｉｆ （ＵＬ＿ａｂｓ＞＝ＵＳ＿ａｂｓ） ＵＯ＝ＵＬ
ｅｌｓｅ ＵＯ＝ＵＳ …（１５）
【００４６】
Ｓ７０２において合成処理部１０６は、処理対象となっている画素位置の長露光画像（ＩＬ）、短露光画像（ＩＳ）の色差の値ＶＬ、ＶＳからそれぞれオフセット値の１２８を減算し、絶対値をとる。こうして求められるのがＶＬ＿ａｂｓ、ＶＳ＿ａｂｓである。そしてＶＬ＿ａｂｓとＶＳ＿ａｂｓとを比較し、ＶＬ＿ａｂｓの値がＶＳ＿ａｂｓの値以上と判定されるときにはＶＯ＝ＶＬとする。一方、ＶＬ＿ａｂｓの値がＶＳ＿ａｂｓの値を下回るときにはＶＯ＝ＶＳとする。この処理の内容がＳ７０２の処理ブロック中で以下のようなプログラムステートメントで示されている。
ＶＬ＿ａｂｓ＝ａｂｓ（ＶＬ−１２８）
ＶＳ＿ａｂｓ＝ａｂｓ（ＶＳ−１２８）
ｉｆ （ＶＬ＿ａｂｓ＞＝ＶＳ＿ａｂｓ） ＶＯ＝ＶＬ
ｅｌｓｅ ＶＯ＝ＶＳ … （１６）
【００４７】
Ｓ７０４において合成処理部１０６は、短露光画像（ＩＳ）中、処理対象となっている画素位置の輝度の値（ＹＳ）を出力画像（Ｉｏｕｔ）の輝度の値ＹＯとする。
【００４８】
合成処理部１０６はＳ７０６において、１フレーム分の画像中の全画素について処理を完了したか否かを判定し、この判定が否定される間、上述したＳ７００からＳ７０４までの処理を繰り返し行う。Ｓ７０６の判定が肯定された場合、１フレーム分の出力画像（Ｉｏｕｔ）を生成する処理が完了する。
【００４９】
以上に説明したＳ７００、Ｓ７０２、Ｓ７０４の各処理については、必ずしも図７に例示される順に従う必要はなく、処理順を入れ替えることも可能である。
【００５０】
以上に説明したように、本発明の第１の実施の形態によれば、除算（／）や乗算（×）の使用を減じて、絶対値演算（ａｂｓ）、減算（−）、条件分岐（ｉｆ）の処理で出力画像の生成が可能となり、プロセッサの処理負荷を低減することが可能となる。あるいは、同じ処理性能のプロセッサであれば処理速度を向上させることが可能となる。加えて、単純な処理でありながら、生成された出力画像に画像認識等の処理を行い、色の違いをもとに被写体の判別等を行う際に、判別の確度を向上させることが可能となる。例えば、車載カメラの画像を処理して先行車両の点灯中の尾灯の存否を判定するような応用例で、方向指示灯（ターンシグナル）や路側に設置される反射装置等からの橙色の光を誤って尾灯と判定することを抑制可能となる。
【００５１】
以上では、長露光画像（ＩＬ）、短露光画像（ＩＳ）からなる２枚の原画像が画像処理部１０４に入力されて処理される例について説明した。しかし、本発明はこれに限られるものではなく、１フレーム分の出力画像に対応して３枚以上の原画像が入力されて処理されてもよい。このとき、出力画像信号の輝度成分信号に関しては、Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を出力画像の各画素位置における輝度成分信号とすることが望ましい。
【００５２】
原画像の枚数を増すことにより、被写界のより広い輝度範囲に対応した広ダイナミックレンジの出力画像を生成することが可能となる。その場合、本発明によればプロセッサの処理負荷を減じることが可能なので、単位時間あたりに生成可能な出力画像のフレーム数を増すことが可能となる。
【００５３】
− 第２の実施の形態 −
図８に、本発明の第２の実施の形態に係る画像処理装置の合成処理部１０６Ａ−１の動作を示し、その特徴について述べる。その他の構成は、第１の実施の形態で説明したものと同様であるのでその説明を省略する。
【００５４】
図８は、図６に示されるものと同様、長露光画像（ＩＬ）、短露光画像（ＩＳ）から出力画像（Ｉｏｕｔ）が生成される様子を概念的に示す図である。図８では、長露光画像（ＩＬ）から抽出される画素値（ＵＬ，ＶＬ）と、短露光画像（ＩＳ）から抽出される画素値（ＵＳ，ＶＳ）とが合成処理部１０６Ａ−１において、画素値ＵＬとＵＳ、ＶＬとＶＳとで比較される。そして、絶対値の大きい方の値が選択されて出力画像Ｉｏｕｔの画素値ＵＯ、ＶＯとされる。この点は第１の実施の形態における合成処理部１０６での処理と同じである。第１の実施の形態と異なるのは、出力画像Ｉｏｕｔの輝度値ＹＯとして、長露光画像（ＩＬ）の輝度値ＹＬ、短露光画像（ＩＳ）の輝度値ＹＳのうち、選択されたいずれかの輝度値（ＹＬまたはＹＳ）が用いられる点である。そして、用いられる輝度値がＹＬであるかＹＳであるかに応じた減衰比で合成処理部１０６Ａ−２において輝度値ＹＬ、ＹＳが減衰される点もまた第１の実施の形態と相違する。
【００５５】
前述のように、長露光画像の色差信号（ＵＬ，ＶＬ）と短露光画像の色差信号（ＵＬ，ＶＬ）の各絶対値をＵ，Ｖそれぞれで画素ごとに比較し、絶対値が大きい方の色差信号を（ＵＯ，ＶＯ）と出力している。このとき、輝度信号（ＹＬまたはＹＳ）を、そのまま輝度信号（ＹＯ）として出力すると、以下の問題を生じる可能性がある。すなわち、（６）〜（８）式の逆関数である、以下に示す（１７）〜（１９）式に出力信号（ＹＯ，ＵＯ，ＶＯ）を代入して（Ｒ，Ｇ，Ｂ）の値を導出したときに、これらの値の少なくともいずれかが２５５以上あるいは０未満となって飽和してしまう場合がある。例えば、合成処理部１０６Ａから出力されるＹＵＶ色空間の画像を再びＲＧＢ色空間の画像に変換して別の処理をするような場合に、上記飽和は問題となり得る。
【００５６】
そこで、例えば１より小さい固定係数を輝度信号ＹＬまたはＹＳに乗じるなどの処理をして輝度信号値を減衰させ（１０６Ａ−１）、出力画像（Ｉｏｕｔ）の輝度信号（ＹＯ）とすることにより、（Ｒ，Ｇ，Ｂ）の飽和を避けることができる。なお、この固定係数は、大きい（すなわち１に近い）値では（Ｒ，Ｇ，Ｂ）の値が飽和しやすく、小さい（すなわち０に近い）値では出力画像が黒潰れしやすい、というトレードオフの関係にあるため、実際の使用目的に合わせて適宜の値に設定すればよい。第１の実施の形態と異なり、ここでは乗算の処理ステップが付加されることになるが、ビットシフトの処理で済むように固定係数を設定することにより、処理負荷の増加を抑制可能となる。
Ｒ＝ １．０００×Ｙ ＋１．４０２×Ｖ …（１７）
Ｇ＝ １．０００×Ｙ−０．３４４×Ｕ−０，７１４×Ｖ …（１８）
Ｂ＝ １．０００×Ｙ＋１．７７２×Ｕ …（１９）
【００５７】
なお、固定係数を輝度信号ＹＬまたはＹＳに乗じる際に、長露光画像（ＩＬ）の輝度信号ＹＬに対してはより強く減衰されるように係数を設定することが望ましい。理由は、長露光画像（ＩＬ）の輝度信号ＹＬの値は短露光画像（ＩＳ）の輝度信号ＹＳの値よりも傾向として大きくなるからである。
【００５８】
以上説明した本発明の第２の実施の形態によれば、前述した第１の実施の形態で説明した効果に加えて、（Ｒ，Ｇ，Ｂ）の値が飽和しにくくなる。従って、ＹＵＶ色空間の画像をＲＧＢ色空間の画像に変換して例えば表示や印刷等の処理を行うのに適した画像信号を生成することが可能となる。
【００５９】
以上の第１および第２の実施の形態では、説明を簡単にするために、１枚の長露光画像と１枚の短露光画像とから１枚の出力画像を得る例について説明したが、本発明はこれに限定されるわけではない。また、原画像を得る際のフレームレート（撮像フレームレート）よりも減じられたフレームレートで出力画像を生成する例について説明したが、本発明はこれに限定されるわけではない。
【００６０】
まず、出力画像を生成する際のフレームレートを撮像フレームレートと同じとする例について図９を参照して説明する。第１および第２の実施の形態において、長露光画像（ＩＬ）と、それに続いて撮像して得られた短露光画像（ＩＳ）とを用いて一つの出力画像（Ｉｏｕｔ）が生成される例について説明した。これに対し、図９では、ある撮像タイミングで撮像して得られた長露光画像（ＩＬ−１）と、続く撮像タイミングで撮像して得られた短露光画像（ＩＳ−１）とを用いて出力画像（Ｉｏｕｔ−１）が生成される。この点はこれまでに説明したものと変わりはない。異なるのは、続く撮像タイミングで撮像して得られた長露光画像（ＩＬ−２）と、一つ前の撮像タイミングで撮像して得られた短露光画像（ＩＳ−１）とを用いて出力画像画像（Ｉｏｕｔ−２）が生成される点である。つまり、長露光画像（ＩＬ−１）と短露光画像（ＩＳ−１）とから出力画像（Ｉｏｕｔ−１）、短露光画像（ＩＳ−１）と長露光画像（ＩＬ−２）とから出力画像（Ｉｏｕｔ−２）、長露光画像（ＩＬ−２）と短露光画像（ＩＳ−２）とから出力画像（Ｉｏｕｔ−３）、…というように出力画像が生成される。換言すると、時間的に相前後する撮像タイミングで撮像して得られた長露光画像と短露光画像、そして短露光画像と長露光画像との組み合わせそれぞれに対応して出力画像が生成される。このようにして、撮像フレームレートと同等のフレームレートで出力画像を生成することが可能となる。
【００６１】
続いて図１０を参照し、３枚の原画像から１枚の出力画像を生成する例について説明する。撮像部１０２（図３）では、三つの異なる露光レベルで被写体を撮像する動作が繰り返し行われる。図１０では、これら三つの異なる露光レベルで被写体を撮像して得られる画像を長露光画像（ＩＬ）、中露光画像（ＩＭ）、短露光画像（ＩＳ）として示す。また、これらの長露光画像（ＩＬ）、中露光画像（ＩＭ）、短露光画像（ＩＳ）に対応するＹＵＶ信号を、（ＹＬ，ＵＬ，ＶＬ）、（ＹＭ，ＵＭ，ＶＭ）、（ＹＳ，ＵＳ，ＶＳ）と称する。
【００６２】
合成処理部１０６は、３枚の入力画像中の色差信号（ＵＬ，ＶＬ）、（ＵＭ，ＶＭ）、（ＵＳ，ＶＳ）についてそれぞれ絶対値をとり、それらの絶対値をＵＬ、ＵＭ、ＵＳの間で、そしてＶＬ、ＶＭ、ＶＳの間で比較する。そして、ＵＬ、ＵＭ、ＵＳの中で絶対値の最も大きい信号、ＶＬ、ＶＭ、ＶＳの中で絶対値の最も大きい信号をそれぞれＵＯ、ＶＯとする。
【００６３】
三つの信号の中から絶対値の最も大きい信号を求めるためには、図７のフローチャートにおいてＳ７００の処理、Ｓ７０２の処理をそれぞれ２回繰り返せばよい。そして、一回目の処理では長露光画像（ＩＬ）の色差信号（ＵＬ，ＶＬ）と中露光画像（ＩＭ）の色差信号（ＵＭ，ＵＭ）とで比較する。そして、二回目の処理では、一回目の処理で選択された方の色差信号（ＵＬまたはＵＭ）および（ＶＬまたはＶＭ）の各絶対値と、短露光画像（ＩＳ）の色差信号ＵＳおよびＶＳの各絶対値とを比較する。このようにして、ＵＬ、ＵＭ、ＵＳの中で絶対値の最も大きい信号、ＶＬ、ＶＭ、ＶＳの中で絶対値の最も大きい信号をそれぞれＵＯ、ＶＯと決定することが可能となる。
【００６４】
また、輝度信号については、ＹＬ、ＹＭ、ＹＳのうち、露光レベルの最も高い長露光画像（ＩＬ）の輝度値（ＹＬ）を除いたもの、すなわち本例ではＹＭまたはＹＳをＹＯとすることができる。このとき、中露光画像（ＩＭ）の輝度信号（ＹＭ）を用いる場合と短露光画像（ＩＳ）の輝度信号（ＹＳ）を用いる場合とを比較すると、前者では白飛びしやすく、後者では黒つぶれしやすい。したがって、生成された出力画像の使用目的等に応じていずれかを選択すればよい。さらにまた、出力画像の輝度値（ＹＯ）として長露光画像（ＩＬ）の輝度信号（ＹＬ）を含めた三つの輝度信号（ＹＬ，ＹＭ，ＹＳ）の中からいずれかを選択可能に構成されるものであってもよい。このとき、第２の実施の形態で説明した理由により、どの露光レベルで得られた画像の輝度値を用いるかに応じて決定した減衰係数を乗じてＹＯを導出することが望ましい。
【００６５】
このように、露光レベルの異なる原画像の枚数を増すことにより、明暗の差がより大きい被写体に対応することが可能となる。例えば、上述した応用例では、先行車両との車間距離がより遠い場合であっても、より近い場合であっても、尾灯の赤色をより明確に判定することが可能な画像を生成することが可能となる。
【００６６】
図１０を参照しての以上の説明において、長露光画像（ＩＬ）、中露光画像（ＩＭ）、短露光画像（ＩＳ）を得る際の時間的な撮像順序は任意である。例えば、短露光画像（ＩＳ）、中露光画像（ＩＭ）、長露光画像（ＩＬ）の順で画像が得られるように撮像動作を行っても良いし、中露光画像（ＩＭ）、短露光画像（ＩＳ）、長露光画像（ＩＬ）の順で画像が得られるように撮像動作を行っても良い。また、本発明の露光レベルは、以上に説明した２種類、３種類に限定されるわけではなく、４種類以上に増やしてもよいことは明らかである。その場合の露光の順序も、任意に設定可能である。
【００６７】
さらに、図１０では、出力画像のフレームレートが撮像フレームレートの１／３となる例について説明したが、図９を参照して説明したのと同様の方法を用いて出力画像のフレームレート低下を抑止することも可能である。ここで、ある時点から数えて１回目、２回目、３回目の撮像タイミングで得られる画像をそれぞれ長露光画像（ＩＬ−１）、中露光画像（ＩＭ−１）、短露光画像（ＩＳ−１）とする。そして、続く４回目、５回目、６回目の撮像タイミングで得られる画像をそれぞれ長露光画像（ＩＬ−２）、中露光画像（ＩＭ−２）、短露光画像（ＩＳ−２）とする。最初に生成される出力画像を（Ｉｏｕｔ−１）、次に生成される出力画像を（Ｉｏｕｔ−２）とすると、出力画像（Ｉｏｕｔ−１）は、長露光画像（ＩＬ−１）、中露光画像（ＩＭ−１）、短露光画像（ＩＳ−１）を用いて生成することができる。続いて、出力画像（Ｉｏｕｔ−２）は、中露光画像（ＩＭ−１）、短露光画像（ＩＳ−１）、長露光画像（ＩＬ−２）を用いて生成することができる。このように、相前後するタイミングで行われた（長露光、中露光、短露光）、（中露光、短露光、長露光）、あるいは（短露光、長露光、中露光）といった、３種類の露光レベルで得られた画像データを用いることにより、撮像フレームと同等のフレームレートで出力画像を生成することが可能となる。これは、露光レベルを４種類以上に増やした場合にも同様である。つまり、相前後するタイミングで行われたＮ種類の露光露光レベルで得られた画像データを用いることにより、撮像フレームと同等のフレームレートで出力画像を生成することが可能となる。
【００６８】
また、図１０を参照しての上記説明においては、異なる露光レベルで得られたＮ枚（Ｎフレーム）の原画像に対応して１枚（１フレーム）の出力画像が生成される例について説明したが、複数枚の出力画像が生成されるようにしてもよい。例えば、長露光、中露光、短露光の３種類の露光レベルで原画像が得られる場合について説明する。この場合、長露光、中露光の２枚の原画像をもとに第１の出力画像を生成することができる。そして、中露光、短露光の２枚の原画像をもとに第２の出力画像を生成することができる。これら第１の出力画像、第２の出力画像は、後段で行われる画像認識処理等の内容や被写体の輝度分布等の状況に応じて、出力画像を用いて画像認識処理等を行う際に使い分けることができる。本例では、第１の出力画像は傾向として露光レベルが高めのものであるので、低輝度の被写体の色を良好に区別可能とする用途等に向く。また、第２の出力画像は傾向として露光レベルが低めのものであるので、高輝度の被写体の色を良好に区別可能とする用途等に向く。
【００６９】
以上の説明では、夜間に先行車両の尾灯の赤色を明確に再現可能とする出力画像を生成する場合を例に本発明の説明をしたが、本発明はこれに限定されるわけではない。例えば、信号機の青色（緑色）、黄色、赤色を識別したり、夜間に車両の塗色、人物の服装の色、建物の色などを識別したりする用途などにも利用可能である。このように、明暗の差が大きい被写体に対応して色の区別をより的確に行う用途に適した画像を生成することが可能となる。
【００７０】
以上では原画像信号中の色成分信号を比較した結果に基づいて出力画像の色成分信号を導出する際に、ＲＧＢ色空間の画像を、ＹＵＶ、ＹＣｂＣｒ、Ｙ（Ｂ−Ｙ）（Ｒ−Ｙ）、ＹＰｂＰｒの色空間の画像に変換して色差信号同士を比較する例について説明した。これに関して、ＨＳＶ（ＨＳＬ）、Ｌａ＊ｂ＊等の色空間の画像に変換してもよい。例えばＨＳＶ色空間の画像に変換した場合、異なる露光レベルで得られた複数の画像について、色成分としてＳ信号同士で対応する画素位置の信号を比較して、より高い彩度が得られる方の信号を選択して出力画像を生成することが可能である。輝度成分信号としては、第１、第２の実施の形態で説明したＬ信号と同様に、短露光画像および長露光画像いずれかの画像のＶ信号が利用可能で、必要に応じて減衰係数を乗じたものを出力画像の輝度成分信号としてもよい。なお、Ｈ信号に関しては、色飽和の生じにくい短露光画像のものを利用することが可能である。また、Ｌａ＊ｂ＊の色空間に変換した場合、異なる露光レベルで得られた複数の画像について、色成分としてａ＊、ｂ＊信号同士で対応する画素位置の信号を比較して、絶対値の大きい方のａ＊信号、ｂ＊信号を出力画像の色成分信号とすることが可能である。輝度成分信号としては、第１、第２の実施の形態で説明したＬ信号と同様に、短露光画像および長露光画像いずれかの画像のＬ信号が利用可能で、必要に応じて減衰係数を乗じたものを出力画像の輝度成分信号としてもよい。
【００７１】
以上では撮像部で生成される動画像をリアルタイムで処理する例について説明したが、一度蓄積された画像データを後で処理するものであってもよい。また、処理対象の画像は動画像であっても静止画像であってもよい。一度蓄積された画像データを後で処理する場合、画像処理装置としては撮像装置とは別体に構成されたものであってもよい。このとき、画像処理装置としては専用のハードウェアやファームウェア等で実現されてもよいし、図７を参照して説明した処理手順を実行するためのプログラムと、このプログラムを実行可能なコンピュータとによって実現されてもよい。
【００７２】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形実施可能であり、上述した各実施の形態を適宜組み合わせることが可能であることは、当業者に理解されよう。
【符号の説明】
【００７３】
１００ … 撮像装置
１０１ … 撮影レンズ
１０２ … 撮像部
１０３ … 撮影制御部
１０４ … 画像処理装置
１０５ … 画像入力部
１０６、１０６Ａ−１、１０６Ａ−２ … 合成処理部
ＢＧ … 背景
ＨＬ … 前照灯
ＬＣ … 先行車両
ＯＣ … 対向車両
Ｒ１、Ｒ２ … 反射装置
ＴＬ … 尾灯
【特許請求の範囲】
【請求項１】
同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する画像入力部と、
前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部とを備え、
前記合成処理部が、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする画像処理装置。
【請求項２】
前記合成処理部が、前記Ｎ枚の原画像の間での前記色成分信号同士の比較に際し、前記色成分信号に含まれる第１の色差信号および第２の色差信号について前記第１の色差信号同士および前記第２の色差信号同士を比較し、それぞれ絶対値の大きい方の色差信号の組み合わせを前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成処理部が、
前記原画像として、ＹＵＶ、ＹＣｂＣｒおよびＹＰｂＰｒの色空間のうち、いずれかの色空間で表される信号を処理する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記合成処理部が、前記Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成処理部が、前記Ｎ枚の原画像中から選択された１枚の原画像中の、対応する各画素位置の信号に含まれる輝度成分信号に所定の減衰係数を乗じたものを前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
同一被写体を同時または時系列に撮像し、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を生成する撮像部と、
前記撮像部で生成される前記Ｎ枚の原画像を入力する画像入力部と、
前記Ｎ枚の原画像を、輝度成分信号と色成分信号とを含む画像に変換する変換処理部と、
前記変換処理部で変換処理された前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部とを備え、
前記合成処理部が、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる前記輝度成分信号と前記色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする撮像装置。
【請求項７】
前記合成処理部が、前記Ｎ枚の原画像の間での前記色成分信号同士の比較に際し、前記色成分信号に含まれる第１の色差信号および第２の色差信号について前記第１の色差信号同士および前記第２の色差信号同士を比較し、それぞれ絶対値の大きい方の色差信号の組み合わせを前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記合成処理部が、
前記原画像として、ＹＵＶ、ＹＣｂＣｒおよびＹＰｂＰｒの色空間のうち、いずれかの色空間で表される信号を処理することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記合成処理部が、前記Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記合成処理部が、前記Ｎ枚の原画像中から選択された１枚の原画像中の、対応する各画素位置の信号に含まれる輝度成分信号に所定の減衰係数を乗じたものを前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
演算処理を行うプロセッサと、前記プロセッサに接続された記憶部と、前記プロセッサに接続されたインターフェースとを有する計算機で実行される画像処理プログラムであって、
同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する手順と、
前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理手順であって、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする合成処理手順と
を前記計算機に実行させることを特徴とする画像処理プログラム。
【請求項１２】
前記合成処理手順が、前記Ｎ枚の原画像の間での前記色成分信号同士の比較に際し、前記色成分信号に含まれる第１の色差信号および第２の色差信号について前記第１の色差信号同士および前記第２の色差信号同士を比較し、それぞれ絶対値の大きい方の色差信号の組み合わせを前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする請求項１１に記載の画像処理プログラム。
【請求項１３】
前記合成処理手順が、
前記原画像として、ＹＵＶ、ＹＣｂＣｒおよびＹＰｂＰｒの色空間のうち、いずれかの色空間で表される信号を処理する
ことを特徴とする請求項１２に記載の画像処理プログラム。
【請求項１４】
前記合成処理手順が、前記Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項１３に記載の画像処理プログラム。
【請求項１５】
前記合成処理手順が、前記Ｎ枚の原画像中から選択された１枚の原画像中の、対応する各画素位置の信号に含まれる輝度成分信号に所定の減衰係数を乗じたものを前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項１３に記載の画像処理プログラム。
【請求項１】
同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する画像入力部と、
前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部とを備え、
前記合成処理部が、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする画像処理装置。
【請求項２】
前記合成処理部が、前記Ｎ枚の原画像の間での前記色成分信号同士の比較に際し、前記色成分信号に含まれる第１の色差信号および第２の色差信号について前記第１の色差信号同士および前記第２の色差信号同士を比較し、それぞれ絶対値の大きい方の色差信号の組み合わせを前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成処理部が、
前記原画像として、ＹＵＶ、ＹＣｂＣｒおよびＹＰｂＰｒの色空間のうち、いずれかの色空間で表される信号を処理する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記合成処理部が、前記Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成処理部が、前記Ｎ枚の原画像中から選択された１枚の原画像中の、対応する各画素位置の信号に含まれる輝度成分信号に所定の減衰係数を乗じたものを前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
同一被写体を同時または時系列に撮像し、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を生成する撮像部と、
前記撮像部で生成される前記Ｎ枚の原画像を入力する画像入力部と、
前記Ｎ枚の原画像を、輝度成分信号と色成分信号とを含む画像に変換する変換処理部と、
前記変換処理部で変換処理された前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理部とを備え、
前記合成処理部が、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる前記輝度成分信号と前記色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする撮像装置。
【請求項７】
前記合成処理部が、前記Ｎ枚の原画像の間での前記色成分信号同士の比較に際し、前記色成分信号に含まれる第１の色差信号および第２の色差信号について前記第１の色差信号同士および前記第２の色差信号同士を比較し、それぞれ絶対値の大きい方の色差信号の組み合わせを前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記合成処理部が、
前記原画像として、ＹＵＶ、ＹＣｂＣｒおよびＹＰｂＰｒの色空間のうち、いずれかの色空間で表される信号を処理することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記合成処理部が、前記Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記合成処理部が、前記Ｎ枚の原画像中から選択された１枚の原画像中の、対応する各画素位置の信号に含まれる輝度成分信号に所定の減衰係数を乗じたものを前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
演算処理を行うプロセッサと、前記プロセッサに接続された記憶部と、前記プロセッサに接続されたインターフェースとを有する計算機で実行される画像処理プログラムであって、
同一被写体を同時または時系列に撮像して得られた、露光レベルの異なるＮ枚（Ｎは２以上の整数）の原画像を入力する手順と、
前記Ｎ枚の原画像を合成処理してＭ枚（Ｍは１以上Ｎ未満の整数）の出力画像を生成する合成処理手順であって、前記Ｎ枚の原画像の間で、対応する各画素位置の信号に含まれる輝度成分信号と色成分信号とのうち、色成分信号同士を比較し、より高い彩度が得られる方の色成分信号を前記出力画像の前記各画素位置における色成分信号とする合成処理手順と
を前記計算機に実行させることを特徴とする画像処理プログラム。
【請求項１２】
前記合成処理手順が、前記Ｎ枚の原画像の間での前記色成分信号同士の比較に際し、前記色成分信号に含まれる第１の色差信号および第２の色差信号について前記第１の色差信号同士および前記第２の色差信号同士を比較し、それぞれ絶対値の大きい方の色差信号の組み合わせを前記出力画像の前記各画素位置における色成分信号とする
ことを特徴とする請求項１１に記載の画像処理プログラム。
【請求項１３】
前記合成処理手順が、
前記原画像として、ＹＵＶ、ＹＣｂＣｒおよびＹＰｂＰｒの色空間のうち、いずれかの色空間で表される信号を処理する
ことを特徴とする請求項１２に記載の画像処理プログラム。
【請求項１４】
前記合成処理手順が、前記Ｎ枚の原画像中、露光レベルの最も高い原画像を除くＮ−１枚の原画像中から選択された１枚の原画像の、対応する各画素位置の信号に含まれる輝度成分信号を前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項１３に記載の画像処理プログラム。
【請求項１５】
前記合成処理手順が、前記Ｎ枚の原画像中から選択された１枚の原画像中の、対応する各画素位置の信号に含まれる輝度成分信号に所定の減衰係数を乗じたものを前記出力画像の前記各画素位置における輝度成分信号とする
ことを特徴とする請求項１３に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９８８０５（Ｐ２０１３−９８８０５Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４０６７２（Ｐ２０１１−２４０６７２）
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]