撮像装置
【課題】Ｓ／Ｎ比の高い輝度信号及び色情報信号を生成する。
【解決手段】撮像素子３は、可視波長領域と赤外波長領域とを有感度波長帯域とするｙｅ画素、Ｒ画素、Ｂｌｋ画素、及びＷ画素とを含む単位画素部３１がマトリックス状に配列されている。信号生成部４４は、色補間部４３により補間処理が施されたｙｅ画像成分Ｄｙｅと、Ｒ画像成分ＤＲと、赤外画像成分ＤＢｌｋと、輝度画像成分ＤＷとを合成して、各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色信号ｄＢ，ｄＲ，ｄＧを生成する。
【解決手段】撮像素子３は、可視波長領域と赤外波長領域とを有感度波長帯域とするｙｅ画素、Ｒ画素、Ｂｌｋ画素、及びＷ画素とを含む単位画素部３１がマトリックス状に配列されている。信号生成部４４は、色補間部４３により補間処理が施されたｙｅ画像成分Ｄｙｅと、Ｒ画像成分ＤＲと、赤外画像成分ＤＢｌｋと、輝度画像成分ＤＷとを合成して、各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色信号ｄＢ，ｄＲ，ｄＧを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子と、その撮像素子により撮像された画像を画像処理する撮像装置に関するものである。
【背景技術】
【０００２】
近年、夜間のシーンをカラーで撮像する撮像装置が知られている。特許文献１には、Ｒ，Ｇ，Ｂのフィルタを備える画素により撮像された画像からＲ，Ｇ，Ｂの色成分からなる可視画像データを抽出する可視画像抽出手段と、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する赤外画像抽出手段と、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する輝度情報抽出手段と、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似カラー画像を生成する疑似カラー画像生成手段とを備え、晴天の日ではｗ１＝１とし、夜間の暗がりではｗ１＝０とし、その中間的な状況下では１＞ｗ１＞０とするカラー画像再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８４８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、晴天や暗がりに応じて重み係数を変更することが開示されているが、晴天や暗がりをどのようにして判別し、それを基に重みｗ１，ｗ２をどのように決定するかについての開示が全くなされていないため、被写体の明るさに応じて適切な比率で可視画像の輝度成分と赤外画像の輝度成分とを合成することができないという問題がある。
【０００５】
また、特許文献１では、赤外成分を含む赤色、緑色、及び青色の受光素子における受光量をＨＳＶ色空間に変換することで、輝度成分Ｖが求められているが、Ｒ，Ｇ，Ｂのフィルタは赤外領域における感度がそれぞれ異なることが一般的であるため、輝度成分を精度良く求めることができず、また、色再現性も悪いという問題がある。
【０００６】
本発明の目的は、Ｓ／Ｎ比の高い輝度信号及び色情報を生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一局面による撮像装置は、カラーフィルタを備える画素と、赤外フィルタを備える画素と、少なくとも可視波長領域と赤外波長領域との光を受光する画素とが配列された撮像素子を含む撮像装置であって、前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、少なくとも可視波長領域と赤外波長領域との光を受光する画素であり、前記第１〜第４の画素の画素信号から画像の色情報を算出する色情報算出手段と、前記第１〜第４の画素の画素信号から画像の輝度情報を算出する輝度情報算出手段とを備える。
【発明の効果】
【０００８】
本発明によれば、Ｓ／Ｎ比の高い輝度信号及び色情報を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１による撮像装置のブロック図を示している。
【図２】本発明の実施の形態１による撮像素子の画素の配列を示す図である。
【図３】ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図である。
【図４】実施の形態１における画像処理部と制御部とのブロック図を示している。
【図５】重み係数ｋ，ｋｗの特性を示すグラフである。
【図６】色空間変換部の処理の説明図である。
【図７】本発明の実施の形態２による画像処理部と制御部とのブロック図を示している。
【図８】評価値ｅにおけるゲインの特性を示したグラフである。
【図９】評価値ｅＢｌｋにおけるゲインの特性を示したグラフである。
【図１０】実施の形態３における画像処理部と制御部とのブロック図を示している。
【図１１】乗算値ｅ・ｅＢｌｋにおけるゲインの特性を示したグラフである。
【発明を実施するための形態】
【００１０】
（実施の形態１）
以下、本発明の実施の形態１による撮像装置１について説明する。図１は、本発明の実施の形態１による撮像装置１のブロック図を示している。図１に示すように撮像装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。
【００１１】
レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。
【００１２】
撮像素子３は、複数の画素がマトリックス状に配列された画素部と、画素部から画素信号を読み出す読出回路と、撮像素子３を駆動する駆動回路等を含み、光量に応じたレベルを有する画像信号を生成する。ここで、撮像素子３としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor）イメージセンサ、及びＣＣＤ（Charge Coupled Device Image Sensor）イメージセンサ等の種々の撮像センサを採用することができる。
【００１３】
また、画素は、ＰＤ（フォトダイオード）からなる受光部と、受光部により蓄積された電荷に応じた画像信号を生成する画素回路とを備える。
【００１４】
そして、本実施の形態において、撮像素子３は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、少なくとも可視波長領域と赤外波長領域との光を受光する画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する。
【００１５】
ここで、カラーフィルタは、少なくとも可視波長領域の一部を透過させるカラーフィルタである。また、少なくとも可視波長領域と赤外波長領域との光を受光する画素は、フィルタを取り付けないことにより容易に実現することができる。
【００１６】
画像処理部４は、画像信号に演算を行う演算回路及び画像信号を格納するメモリ等を含み、撮像素子３から出力された画像信号をＡ／Ｄ（アナログ／デジタル）変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。
【００１７】
制御部５は、ＣＰＵ（Central Processing Unit）及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、撮像素子３及び画像処理部４を制御する制御信号を出力する。また、制御部５は画像処理部４から出力される後述する評価値を受け、評価値を基に後述する各種処理を行う。
【００１８】
図２は、撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３は、可視波長領域と赤外波長領域とを有感度波長帯域とするｙｅ画素（第１の画素の一例）、Ｒ画素（第２の画素の一例）、Ｂｌｋ画素（第３の画素の一例）、及びＷ画素（第４の画素の一例）とを含む単位画素部３１がマトリックス状に配列されている。
【００１９】
図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＢｌｋ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にｙｅ画素が配列されるというように、Ｒ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素は千鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素を千鳥状に配列してもよい。
【００２０】
ｙｅ画素はｙｅフィルタ（第１のカラーフィルタの一例）を備えているため、ｙｅ（イエロー）の可視カラー画像成分（以下、「ｙｅ画像成分」と呼ぶ。）を撮像し、Ｒ画素はＲフィルタ（第２のカラーフィルタの一例）を備えているため、Ｒ（赤）の可視カラー画像成分（以下、「Ｒ画像成分」と呼ぶ）を撮像し、Ｂｌｋ画素はＢｌｋフィルタ（赤外フィルタの一例）を備えているため、赤外画像成分を撮像し、Ｗ画素はフィルタを備えていないため、少なくとも可視波長領域と赤外波長領域との光を受光することができ、可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する。
【００２１】
図３は、ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜６４０ｎｍが可視波長領域とされ、６４０ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。
【００２２】
図３に示すように、ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、ｙｅフィルタは主にイエローの光と赤外光とを透過する。
【００２３】
Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。
【００２４】
Ｂｌｋフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。
【００２５】
図４は、画像処理部４と制御部５とのブロック図を示している。画像処理部４は、評価値算出部４１、露出補正部４２、色補間部４３、信号生成部４４、評価値算出部４５、ＷＢ（ホワイトバランス）補正部４６、及び色空間変換部４７を備える。制御部５は、係数決定部５１、露出補正値算出部５２、及びＷＢ補正値算出部５３を備える。
【００２６】
評価値算出部４１は、被写体の明るさを評価するための評価値を算出する。具体的には、評価値算出部４１は、撮像素子３で撮像された１フレームの画像内の所定行×所定列の画素からなる局所領域において、Ｗ画素の画素値、すなわち輝度画像成分の画素値を加算して評価値ｅＤＷを算出し、かつＢｌｋ画素の画素値、すなわち赤外画像成分の画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅＤＷから評価値ｅＢｌｋを減じた値を評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）として制御部５に出力する。
【００２７】
係数決定部５１は、被写体が明るくなるにつれて増大する予め定められた特性を有する重み係数ｋ（第１の重み係数の一例）と、被写体が明るくなるにつれて減少する予め定められた特性を有する重み係数ｋｗ（第２の重み係数の一例）とを、評価値算出部４１により算出された評価値ｅを用いて決定する。
【００２８】
図５は、重み係数ｋ，ｋｗの特性を示すグラフであり、縦軸が重み係数ｋ，ｋｗを示し横軸が評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を示している。図５に示すように重み係数ｋは評価値ｅが増大するにつれて例えば線形に増大する特性を有し、重み係数ｋｗは評価値ｅが増大するにつれて例えば線形に減少する特性を有していることが分かる。
【００２９】
なお、図５において、重み係数ｋ，ｋｗの特性を示す直線の傾きは実験的に得られた予め定められた値が採用されている。具体的には、重み係数ｋ，ｋｗはｋ＋ｋｗ＝１の関係を有しており、重み係数ｋ，ｋｗの特性を示す直線の傾きは、評価値ｅが最大値を示すときにｋ＝１、ｋｗ＝０となり、評価値ｅが最小値を示すときにｋ＝０、ｋｗ＝１となるような値を有している。
【００３０】
露出補正値算出部５２は、係数決定部５１により決定された重み係数ｋ，ｋｗを次式に代入することで輝度評価値ｅｄＹを算出し、輝度評価値ｅｄＹを所定の値で除すことで露出補正値Ｈ１を算出し、露出補正部４２に出力する。ここで、所定の値としては、上述の局所領域におけるＤＢｌｋ画素とＤＷ画素との総画素数を採用することができる。
【００３１】
ｅｄＹ＝ｋｗ×ｅＤＷ＋ｋ×（ｅＤＷ−ｅＤＢｌｋ）
露出補正部４２は、露出補正値Ｈ１を、撮像素子３により撮像されたｙｅ画像成分、Ｒ画像成分、赤外画像成分、及び輝度画像成分のそれぞれの各画素に乗ずることで、ｙｅ画像成分、Ｒ画像成分、赤外画像成分、及び輝度画像成分を露出補正する。
【００３２】
色補間部４３は、千鳥状に配列されたＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素の欠落画素を補間するために、Ｒ画像成分、赤外画像成分、輝度画像成分、及びｙｅ画像成分のそれぞれに補間処理を施し、撮像素子３の画素数と同一画素数からなるＲ画像成分、赤外画像成分、輝度画像成分、及びｙｅ画像成分を生成する。ここで、補間処理としては、例えば線形補間処理を採用することができる。
【００３３】
信号生成部４４は、色補間部４３により補間処理が施された輝度画像成分から赤外画像成分を減じて可視輝度画像成分を生成する。
【００３４】
そして、信号生成部４４は、係数決定部５１により決定された重み係数ｋにより可視輝度画像成分（ＤＷ−ＤＢｌｋ）を重み付け、係数決定部５１により決定された重み係数ｋｗを用いて輝度画像成分ＤＷを重み付け、可視輝度画像成分（ＤＷ−ＤＢｌｋ）と輝度画像成分ＤＷとを式（１）により合成して、各画素の輝度信号ｄＹを生成する。
【００３５】
また、信号生成部４４は、色補間部４３により補間処理が施されたｙｅ画像成分Ｄｙｅと、Ｒ画像成分ＤＲと、赤外画像成分ＤＢｌｋと、輝度画像成分ＤＷとを式（２）により合成して、各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色信号ｄＢ，ｄＲ，ｄＧ（色情報信号の一例）を生成する。
【００３６】
ｄＹ＝ｋｗ×ＤＷ＋ｋ×（ＤＷ−ＤＢｌｋ） （１）
ｄＢ＝ＤＷ−Ｄｙｅ
ｄＲ＝ＤＲ−ＤＢｌｋ （２）
ｄＧ＝ＤＷ−ＤＢｌｋ−ｄＲ−ｄＢ
なお、信号生成部４４は、式（１）に代えて、ｄＹ＝ｋｗ×ＤＢｌｋ＋ｋ×（ＤＷ−ＤＢｌｋ）により輝度信号ｄＹを算出する、すなわち、輝度画像成分ＤＷに代えて赤外画像成分ＤＢｌｋを重み係数ｋｗを用いて重み付けることで、輝度信号ｄＹを算出してもよい。
【００３７】
いずれにしても、重み係数ｋは可視輝度画像成分（ＤＷ−ＤＢｌｋ）の大きさを示す評価値ｅが大きいほど大きな値とされ、可視輝度画像成分（ＤＷ−ＤＢｌｋ）の大きさを示す評価値ｅが大きいほど小さな値とされる。
【００３８】
そのため、晴天等の被写体が明るい場合、輝度信号ｄＹにおいて、可視輝度画像成分（ＤＷ−ＤＢｌｋ）の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。
【００３９】
一方、暗がり等の被写体が暗い場合、輝度信号ｄＹにおいて、赤外画像成分ＤＢｌｋの占める割合が大きくなり、赤外領域の輝度信号を多く用いてＳ／Ｎ比のよい画像を得ることができる。
【００４０】
評価値算出部４５は、上述した局所領域において、各画素の色信号ｄＲ，ｄＧ，ｄＢの値を加算し、色信号ｄＲの加算値Ｒａｖｅと、色信号ｄＧの加算値Ｇａｖｅと、色信号ｄＢの加算値Ｂａｖｅとを算出し、制御部５に出力する。
【００４１】
ＷＢ補正値算出部５３は、加算値Ｒａｖｅと、加算値Ｇａｖｅと、加算値Ｂａｖｅとから次式によりＲの利得ＲｇａｉｎとＢの利得Ｂｇａｉｎとを算出する。
【００４２】
Ｒｇａｉｎ＝Ｇａｖｅ÷Ｒａｖｅ
Ｂｇａｉｎ＝Ｇａｖｅ÷Ｂａｖｅ
ＷＢ補正部４６は、ＷＢ補正値算出部５３により算出された利得Ｒｇａｉｎを、信号生成部４４により生成された各画素の色信号ｄＲに乗じ、色信号ｄＲを補正する。また、ＷＢ補正部４６は、ＷＢ補正値算出部５３により算出された利得Ｂｇａｉｎを、信号生成部４４により生成された各画素の色信号ｄＢに乗じ、色信号ｄＢを補正する。これにより、色信号ｄＲ，ｄＧ，ｄＢは色信号ｄＧを基準としてＷＢ補正が施される。
【００４３】
なお、ＷＢ補正部４６は、色信号ｄＧに代えて、色信号ｄＲ又は色信号ｄＢを基準としてＷＢ補正を行ってもよい。この場合、ＷＢ補正値算出部５３は、ＷＢ補正部４６が基準とする色信号ｄＲ又はｄＢに応じた利得を算出すればよい。
【００４４】
色空間変換部４７は、可視輝度画像成分が大きくなるにつれて信号生成部４４により生成された輝度信号ｄＹにおける可視輝度画像成分の重み付けを大きくするための予め定められた１２種類の係数ｋ１〜ｋ１２を、評価値ｅ又は重み係数ｋ，ｋｗから決定し、決定した係数ｋ１〜ｋ１２を用いて下記の式により輝度信号ｄＹ及び色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ（色情報信号の一例）で表される色空間に変換する。ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示し、輝度信号Ｙは、色差信号Ｃｂ，Ｃｒに対応する輝度信号を示す。
【００４５】
Ｙ＝ｋ１×ｄＹ＋ｋ２×ｄＲ＋ｋ３×ｄＧ＋ｋ４×ｄＢ
Ｃｂ＝ｋ５×ｄＹ＋ｋ６×ｄＲ＋ｋ７×ｄＧ＋ｋ８×ｄＢ （３）
Ｃｒ＝ｋ９×ｄＹ＋ｋ１０×ｄＲ＋ｋ１１×ｄＧ＋ｋ１２×ｄＢ
ここで、色空間変換部４７は、図６（ａ）に示すように評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）に応じて予め定められた１２個の係数ｋ１〜ｋ１２の値を格納するＬＵＴを用いて係数ｋ１〜ｋ１２を決定すればよい。
【００４６】
また、色空間変換部４７は、評価値ｅに代えて、重み係数ｋ，ｋｗから係数ｋ１〜ｋ１２を決定してもよい。この場合、色空間変換部４７は、図６（ｂ）に示すように重み係数ｋ，ｋｗの値に応じて予め定められた１２個の係数ｋ１〜ｋ１２の値を格納するＬＵＴを用いて係数ｋ１〜ｋ１２を決定すればよい。
【００４７】
次に、撮像装置１の動作について説明する。まず、制御部５は、撮像素子３に１フレームの画像を撮像させる。ここで、撮像素子３は、ｙｅ画素によりｙｅ画像成分Ｄｙｅを撮像し、Ｒ画素によりＲ画像成分ＤＲを撮像し、Ｂｌｋ画素により赤外画像成分ＤＢｌｋを撮像し、Ｗ画素により輝度画像成分ＤＷを撮像する。なお、撮像装置１が動画像を撮像する場合、制御部５は、１／３０ｓ、１／６０ｓといったフレームレートで撮像素子３に画像を撮像させればよい。また、撮像装置１が静止画像を撮像する場合、制御部５は、ユーザによりレリースボタンが押されたときに、撮像素子３に画像を撮像させればよい。
【００４８】
次に、評価値算出部４１は、局所領域における輝度画像成分ＤＷの画素値を加算して評価値ｅＤＷを算出し、赤外画像成分ＤＢｌｋの画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を算出する。
【００４９】
次に、係数決定部５１は、評価値ｅから重み係数ｋ，ｋｗを決定する。次に、露出補正値算出部５２は、重み係数ｋ，ｋｗから露出補正値Ｈ１を算出する。
【００５０】
次に、露出補正部４２は、露出補正値Ｈ１を、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷのそれぞれの各画素に乗ずることで、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを露出補正する。
【００５１】
次に、色補間部４３は、露出補正されたｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを補間処理する。
【００５２】
次に、信号生成部４４は、式（１）により各画素の輝度信号ｄＹを算出し、かつ、式（２）により色信号ｄＲ，ｄＧ，ｄＢを算出する。
【００５３】
次に、評価値算出部４５は、加算値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。次に、ＷＢ補正値算出部５３は、加算値Ｒａｖｅ，Ｇａｖｅ、Ｂａｖｅを用いて利得Ｒｇａｉｎ，Ｂｇａｉｎを算出する。次に、ＷＢ補正部４６は、利得Ｒｇａｉｎ，Ｂｇａｉｎを用いて各画素の色信号ｄＲ，ｄＧ，ｄＢをＷＢ補正する。
【００５４】
次に、色空間変換部４７は、係数ｋ１〜ｋ１２を決定し、式（３）を用いて、輝度信号ｄＹ及び色信号ｄＲ，ｄＧ，ｄＢの色空間を変換し、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを求める。
【００５５】
このように、撮像装置１によれば、晴天等の被写体が明るい場合、輝度信号における可視輝度画像成分の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。
【００５６】
一方、暗がり等の被写体が暗い場合、輝度信号における赤外画像成分の占める割合が大きくなり、赤外領域の輝度信号を多く用いてＳ／Ｎ比のよい画像を得ることができる。
【００５７】
また、可視カラー画像成分と赤外画像成分と輝度画像成分とを合成して色信号が生成されているが、輝度画像成分は少なくとも可視波長領域と赤外波長領域との光を受光する画素により撮像されたものであり、カラーフィルタとして、赤外成分に同じ感度特性を有するカラーフィルタが採用されているため、可視カラー画像成分から赤外画像成分を差し引くことで、可視カラー画像成分を正確に求めることができ、この可視カラー画像成分から色信号を生成しているため、色再現性の高い色信号を得ることができる。
【００５８】
なお、上記説明では、係数決定部５１は、１フレームの画像単位で重み係数ｋ，ｋｗを決定したが、本発明はこれに限定されず、１フレームの画像を構成する各画素における重み係数ｋ，ｋｗを算出してもよい。
【００５９】
この場合、色補間部４３を評価値算出部４１の前段に設け、評価値算出部４１は、各画素における輝度画像成分ＤＷから赤外画像成分ＤＢｌｋを減じて、各画素における評価値ｅを算出する。そして、係数決定部５１は、各画素における評価値ｅから各画素における重み係数ｋ，ｋｗを決定すればよい。
【００６０】
そして、信号生成部４４は、各画素における重み係数ｋ，ｋｗを用いて式（１）により輝度信号ｄＹを算出すればよい。
【００６１】
また、露出補正値算出部５２は、各画素における重み係数ｋ，ｋｗから各画素における輝度評価値ｅｄＹを算出し、各画素における露出補正値Ｈ１を算出すればよい。
【００６２】
そして、露出補正部４２は、各画素における露出補正値Ｈ１を、ｙｅ画像成分、Ｒ画像成分、赤外画像成分、及び輝度画像成分のそれぞれの各画素に乗ずることで露出補正を行えばよい。
【００６３】
また、色空間変換部４７は、各画素における重み係数ｋ，ｋｗ又は評価値ｅから各画素における係数ｋ１〜ｋ１２を決定し、色空間変換を行えばよい。
【００６４】
また、評価値算出部４１は、局所領域の赤外画像成分のみを用いて評価値ｅを算出してもよいし、局所領域の可視輝度画像成分のみを用いて評価値ｅを算出してもよい。
【００６５】
（実施の形態２）
本発明の実施の形態２による撮像装置１は、被写体の明るさ及び暗さの少なくともいずれか一方を基に色差信号（色情報信号の一例）のゲインを設定することを特徴とする。なお、本実施の形態２において、実施の形態１と同一のものは説明を省く。
【００６６】
図７は、本実施の形態における画像処理部４と制御部５とのブロック図を示している。図４との相違点は、ゲイン設定部４８が設けられている点にある。ゲイン設定部４８は、被写体が明るくなるにつれて色差信号のゲインを増大させる。
【００６７】
具体的には、ゲイン設定部４８は、評価値算出部４１により算出された評価値ｅ（＝ｅＤＷ−ｅＤｂｌｋ）を用いて、色空間変換部４７により算出された色差信号Ｃｂ，Ｃｒに対するゲインαｂ，αｒを求め、求めたゲインαｂ，αｒを色差信号Ｃｂ，Ｃｒのそれぞれのゲインとして設定する。
【００６８】
そして、ゲイン設定部４８は、式（４）に示すように、設定したゲインαｂを色差信号Ｃｂに乗じ、かつ、設定したゲインαｒを色差信号Ｃｒに乗じ、色差信号Ｃｂ，Ｃｒを補正する。
【００６９】
Ｃｂ´＝αｂ×Ｃｂ
Ｃｒ´＝αｒ×Ｃｒ （４）
図８は、評価値ｅに対するゲインαｂ，αｒの特性を示すグラフであり、縦軸はゲインを示し、横軸は評価値ｅを示している。図８に示すように、ゲインαｂ，αｒは同じ特性を有し、評価値ｅが増大する、つまり、被写体が明るくなるにつれて、増大する特性を有している。具体的には、評価値ｅが最大値であるｅｍａｘの１／４以下においては、ゲインαｂ，αｒは０であり、評価値ｅがｅｍａｘの１／４付近に到達すると、ゲインαｂ，αｒは緩やかに増大した後、急激に１付近まで増大し、再度、緩やかに増大して１になる。
【００７０】
したがって、ゲイン設定部４８は、予め実験により得られたゲインαｂ，αｒと評価値ｅとの関係を示すルックアップテーブルを予め記憶し、このルックアップテーブルを用いて、ゲインαｂ，αｒを求めればよい。又は、図８に示すゲインαｂ，αｒと評価値ｅとの関係を示す関数を予め記憶し、この関数を用いてゲインαｂ，αｒを求めればよい。
【００７１】
これにより、被写体が明るく、色差信号Ｃｂ，ＣｒのＳ／Ｎ比が高い場合は、色差信号Ｃｂ，Ｃｒのゲインαｂ，αｒが増大する一方、被写体が暗く色差信号Ｃｂ，ＣｒのＳ／Ｎ比が低い場合は、色差信号Ｃｂ，Ｃｒのゲインαｂ，αｒが減少するため、Ｓ／Ｎ比の高い色差信号を得ることができる。
【００７２】
なお、図８においては、ゲインαｂ，αｒは評価値ｅがｅｍａｘの１／４となる付近で急激に変化したが、これに限定されず、評価値ｅがｅｍａｘの１／４以外のｅｍａｘの１／２、ｅｍａｘの１／３等の他の値となる付近で急激に変化させてもよい。
【００７３】
また、ゲインαｂ，αｒとを異なる特性としてもよい。この場合、ゲインαｂ，αｒは、ホワイトバランスが維持されるような特性を持つようにすることが好ましい。
【００７４】
また、上記説明では、ゲイン設定部４８は、評価値ｅを用いたがこれに限定されず、評価値算出部４１により算出された評価値ｅＢｌｋを用いて、ゲインαｂ，αｒを求めてもよい。図９は、評価値ｅＢｌｋに対するゲインαｂ，αｒの特性を示したグラフであり、縦軸はゲインαｂ，αｒを示し、横軸は評価値ｅＢｌｋを示している。図９に示すようにゲインαｂ，αｒは、評価値ｅＢｌｋが増大するにつれて、すなわち、被写体が暗くなるにつれて、減少する特性を有していることが分かる。
【００７５】
具体的には、評価値ｅＢｌｋが評価値ｅＢｌｋの最大値であるｅＢｌｋ−ｍａｘの３／４以下においては、ゲインαｂ，αｒは１であり、評価値ｅＢｌｋがｅＢｌｋ−ｍａｘの３／４付近に到達すると、ゲインαｂ，αｒは１から緩やかに減少した後、急激に０付近まで減少し、再度、緩やかに減少して０になる。
【００７６】
したがって、ゲイン設定部４８は、評価値ｅの場合と同様、図９に示すゲインαｂ，αｒと評価値ｅＢｌｋとの関係を示す予め作成されたルックアップテーブル又は関数を記憶し、このルックアップテーブル又は関数を用いてゲインαｂ，αｒを求めればよい。
【００７７】
また、ゲイン設定部４８は、評価値ｅ又は評価値ｅＢｌｋを用いてゲインαｂ，αｒを求めたが、これに限定されず、被写体の明るさを表すパラメータであれば、評価値ｅ，ｅＢｌｋ以外のパラメータを用いて、ゲインαｂ，αｒを求めても良い。
【００７８】
例えば、重み係数ｋ，ｋｗは、評価値ｅを用いて定められており、被写体の明るさが反映された値を有している。したがって、ゲイン設定部４８は、重み係数ｋ又はｋｗを用いてゲインαｂ，αｒを求めればよい。この場合、ゲイン設定部４８は、重み係数ｋ又はｋｗとゲインαｂ，αｒとの関係を示すルックアップテーブル又は関数を記憶し、このルックアップテーブル又は関数を用いてゲインαｂ，αｒを求めればよい。
【００７９】
また、ゲイン設定部４８は、被写体の明るさと暗さとの両方に基づいて、ゲインαｂ，αｒを求めてもよい。具体的には、評価値ｅと評価値ｅＢｌｋとの乗算値（＝ｅ・ｅＢｌｋ）からゲインαｂ，αｒを求めるようにすればよい。図１１は、乗算値ｅ・ｅＢｌｋに対するゲインαｂ，αｒの特性を示したグラフであり、縦軸はゲインαｂ，αｒを示し、横軸は乗算値ｅ・ｅＢｌｋを示している。
【００８０】
図１１に示すように、ゲインαｂ，αｒは、図８に示すグラフと図９に示すグラフとを乗じた特性、すなわち、乗算値ｅ・ｅＢｌｋが乗算値ｅ・ｅＢｌｋの最大値（ｅ・ｅＢｌｋ−ｍａｘ）の１／２のときに、ゲインαｂ，αｒ＝１となってピークとなり、ｅ・ｅＢｌｋ−ｍａｘの１／２を中心として左右対称な上に凸の特性を有している。
【００８１】
こうすることで、評価値ｅと評価値ｅＢｌｋとの両方の評価値を加味して、ゲインαｂ，αｒを算出することができる。
【００８２】
この場合、ゲイン設定部４８は、評価値ｅ又は評価値ｅＢｌｋの場合と同様、ゲインαｂ，αｒと乗算値ｅ・ｅＢｌｋとの関係を示す予め作成されたルックアップテーブル又は関数を記憶し、このルックアップテーブル又は関数を用いてゲインαｂ，αｒを求めればよい。
【００８３】
（実施の形態３）
図１０は、本発明の実施の形態３の撮像装置１の制御部５と画像処理部４とのブロック図を示している。実施の形態３の撮像装置１は、ゲイン設定部４８をＷＢ補正部４６と色空間変換部４７との間に設けたことを特徴とする。
【００８４】
本実施の形態において、ゲイン設定部４８は、被写体が明るくなるにつれて、ＷＢ補正部４６により補正された色信号ｄＲ，ｄＧ，ｄＢ（色情報信号の一例）のゲインβｒ，βｇ，βｂを大きく設定することを特徴とする。
【００８５】
この場合、ゲイン設定部４８は、評価値算出部４１により算出された評価値ｅを用いて、ゲインβｒ，βｇ，βｂを求めればよい。具体的には、ゲイン設定部４８は、ゲインβｒ，βｇ，βｂと評価値ｅとの関係を示すルックアップテーブル又は関数を予め記憶し、このルックアップテーブル又は関数から評価値ｅに対するゲインβｒ，βｇ，βｂを求めればよい。そして、ゲイン設定部４８は、式（５）に示すように、求めたゲインβｒ，βｇ，βｂをＷＢ補正部４６から出力された色信号ｄＲ，ｄＧ，ｄＢに乗じて、色信号ｄＲ，ｄＧ，ｄＢを修正すればよい。
【００８６】
ｄＲ´＝βｒ×ｄＲ
ｄＧ´＝βｇ×ｄＧ （５）
ｄＢ´＝βｂ×ｄＢ
このとき、色空間変換部４７は、色信号ｄＲ´、ｄＧ´、ｄＢ´を用いて色差信号Ｃｒ，Ｃｂ及び輝度信号Ｙを求めればよい。
【００８７】
なお、評価値ｅに対するゲインβｒ，βｇ，βｂの特性としては、図８に示すゲインαｒ，αｂと同様の特性を採用すればよい。
【００８８】
また、ゲイン設定部４８は、評価値ｅに代えて評価値ｅＢｌｋを用いてゲインβｒ，βｇ，βｂを求めてもよい。この場合、ゲインβｒ，βｇ，βｂとしては、図９と同様、評価値ｅＢｌｋが増大するにつれて、値が小さくなる特性を持たせればよい。そして、ゲイン設定部４８は、評価値ｅＢｌｋとゲインβｒ，βｇ，βｂとの関係を示すルックアップテーブル又は関数を予め記憶し、この関数又はルックアップテーブルを用いて、評価値ｅＢｌｋに応じたゲインβｒ，βｇ，βｂを求めればよい。
【００８９】
また、本実施の形態においても実施の形態２と同様、被写体の明るさを示すパラメータであれば、評価値ｅ，ｅＢｌｋ以外のパラメータである例えば重み係数ｋ，ｋｗを用いて、ゲインβｒ，βｇ，βｂを求めても良い。
【００９０】
また、ゲイン設定部４８は、評価値ｅと評価値ｅＢｌｋとの乗算値ｅ・ｅＢｌｋを用いてゲインβｒ，βｇ，βｂを求めてもよい。この場合、ゲインβｒ，βｇ，βｂとしては、図１１と同じ特性を持たせればよい。そして、ゲイン設定部４８は、乗算値ｅ・ｅＢｌｋとゲインβｒ，βｇ，βｂとの関係を示すルックアップテーブル又は関数を予め記憶し、この関数又はルックアップテーブルを用いて、乗算値ｅ・ｅＢｌｋに応じたゲインβｒ，βｇ，βｂを求めればよい。
【００９１】
このように本実施の形態の撮像装置１によれば、Ｓ／Ｎ比の高い色信号ｄＲ，ｄＧ，ｄＢを得ることができる。
【００９２】
また、本実施の形態では、図５に示すように評価値ｅから重み係数ｋ，ｋｗを求め、重み係数ｋ，ｋｗを用いて、輝度信号ｄＹを算出する手法を示したが、これに限定されず、重み係数ｋ，ｋｗを用いずに、評価値ｅから輝度信号ｄＹを算出するようにしてもよい。
【００９３】
この場合、信号生成部４４は、例えば、輝度画像成分ＤＷ及び赤外画像成分ＤＢｌｋと、輝度信号ｄＹとの関係を予め定めるルックアップテーブル又は関数を用いて、輝度信号ｄＹを求めるようにすればよい。すなわち、信号生成部４４は、輝度画像成分ＤＷ及び赤外画像成分ＤＢｌｋを入力とし、輝度信号ｄＹを出力とするルックアップテーブル又は関数を用いて、輝度信号ｄＹを算出するようにすればよい。
【００９４】
上記撮像装置の技術的特徴を纏めると下記のようになる。
【００９５】
（１）上記撮像装置は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、少なくとも可視波長領域と赤外波長領域との光を受光する画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する撮像素子と、前記輝度画像成分及び前記赤外画像成分を基に、被写体の明るさを評価するための評価値を算出する評価値算出部と、被写体が明るくなるにつれて増大する予め定められた特性を有する第１の重み係数と、被写体が明るくなるにつれて減少する予め定められた特性を有する第２の重み係数とを、前記評価値を用いて決定する係数決定部と、前記輝度画像成分から前記赤外画像成分を減じて前記可視輝度画像成分を生成し、前記係数決定部により決定された第１の重み係数を用いて重み付けをした前記可視輝度画像成分と、前記係数決定部により決定された第２の重み係数を用いて重み付けをした前記輝度画像成分又は前記赤外画像成分とを合成して輝度信号を生成し、かつ、前記可視カラー画像成分と前記赤外画像成分と前記輝度画像成分とを合成して色情報信号を生成する信号生成部とを備えることを特徴とする。
【００９６】
この構成によれば、可視輝度画像成分及び赤外画像成分を基に、被写体の明るさを評価するための評価値が算出され、この評価値を基に第１の重み係数と第２の重み係数とが決定される。ここで、第１の重み係数は、被写体が明るくなるにつれて増大する特性を有し、第２の重み係数は、被写体が明るくなるにつれて減少する特性を有する。そして、第１の重み係数により重み付けされた可視輝度画像成分と第２の重み係数により重み付けされた輝度画像成分とが合成され、輝度信号が生成される。
【００９７】
よって、晴天等の被写体が明るい場合は、輝度信号における可視輝度画像成分の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。
【００９８】
一方、暗がり等の被写体が暗い場合は、輝度信号における赤外画像成分の占める割合が大きくなり、赤外領域の輝度信号を多く用いてＳ／Ｎ比のよい画像を得ることができる。すなわち、被写体が暗い場合は、可視輝度画像成分は、被写体の情報を多く含んでいない、つまり、ノイズを多く含んでいると考えられる。そこで、被写体が暗い場合、赤外画像成分の割合を多くする一方、可視輝度画像成分の割合が少なくなるようにして両画像成分を合成して輝度信号を生成する。これにより、Ｓ／Ｎ比の高い輝度信号を得ることができる。
【００９９】
また、輝度画像成分は少なくとも可視波長領域と赤外波長領域との光を受光する画素により分光されずに撮像されたものであるため、Ｒ，Ｇ，Ｂ，ＩＲのフィルタを備える画素により分光して撮像された画像成分から輝度信号を求める場合に比べて、Ｓ／Ｎ比の高い輝度信号を生成することができる。
【０１００】
すなわち、Ｒ，Ｇ，Ｂ，ＩＲのフィルタの感度特性を重ね合わせれば分かるように、これらのフィルタのみでは可視領域において取得することができない帯域が発生してしまう。一方、少なくとも可視波長領域と赤外波長領域との光を受光する画素の感度特性は、可視領域及び赤外領域の全域をカバーしている。そのため、少なくとも可視波長領域と赤外波長領域との光を受光する画素により撮像された画像は、Ｒ，Ｇ，Ｂ，ＩＲのフィルタを備える画素により撮像された画像に比べて、可視領域における情報量が多くなり、Ｓ／Ｎ比の高い輝度信号を生成することができる。
【０１０１】
また、可視カラー画像成分と赤外画像成分と輝度画像成分とを合成して色情報信号が生成されているが、輝度画像成分は少なくとも可視波長領域と赤外波長領域との光を受光する画素により撮像されたものであるため、Ｓ／Ｎ比の高い色情報信号を求めることができる。特に、カラーフィルタとして、赤外成分に同じ感度特性を有するカラーフィルタを採用すれば、可視カラー画像成分から赤外画像成分を差し引くことで、可視カラー画像成分を精度良く求めることができ、この可視カラー画像成分から色情報信号を生成することで、Ｓ／Ｎ比の高い色情報信号を得ることができる。
【０１０２】
（２）前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、少なくとも可視波長領域と赤外波長領域との光を受光する画素であることが好ましい。
【０１０３】
この構成によれば、第１の画素は、第１のカラーフィルタを備えているため、青色領域を除く有感度波長帯域の画像を可視カラー画像成分として撮像することができ、第２の画素は、第２のカラーフィルタを備えているため、青色領域及び緑色領域を除く有感度波長帯域の画像をカラー画像成分として撮像することができ、第３の画素は、可視波長領域を除く有感度波長帯域の画像を赤外画像成分として撮像することができ、第４の画像は、少なくとも可視波長領域と赤外波長領域との光を受光するため、有感度波長帯域の画像を輝度画像成分として撮像することができる。
【０１０４】
そして、撮像素子は、第１〜第４の画素を備える単位画素部がマトリックス状に配列されているため、可視カラー画像成分と赤外画像成分と輝度画像成分とを偏りなく撮像することができる。
【０１０５】
（３）前記係数決定部により決定された第１及び第２の重み係数を基に、露出補正値を算出する露出補正値算出部と、前記露出補正値算出部により算出された露出補正値を用いて、前記撮像素子により撮像された画像の露出補正を行う露出補正部とを更に備えることが好ましい。
【０１０６】
この構成によれば、係数決定部により決定された第１及び第２の重み係数を用いて、露出補正値が算出され、この露出補正値を用いて露出補正が行われているため、晴天や暗がりといった被写体の明るさに応じた適切な露出補正値を用いて露出補正を行うことができる。
【０１０７】
（４）前記信号生成部により生成された色情報信号を基にホワイトバランス補正値を算出するホワイトバランス補正値算出部と、前記ホワイトバランス補正値算出部により算出されたホワイトバランス補正値を用いて、前記画像撮像素子により撮像された画像のホワイトバランス補正を行うホワイトバランス補正部とを更に備えることが好ましい。
【０１０８】
この構成によれば、信号生成部により生成されたＳ／Ｎ比の高い色信号を基にホワイトバランス補正値が算出され、ホワイトバランス補正が行われているため、ホワイトバランス補正を精度良く行うことができる。
【０１０９】
（５）前記信号生成部は、以下に示す式を用いて輝度信号を生成することが好ましい。
【０１１０】
ｄＹ＝ｋｗ×ＤＷ＋ｋ×（ＤＷ−ＤＢｌｋ）
但し、ｄＹ：輝度信号、ｋ：第１の重み係数、ｋｗ：第２の重み係数、ＤＷ：輝度画像成分、ＤＢｌｋ：赤外画像成分、ＤＷ−ＤＢｌｋ：可視輝度画像成分
【０１１１】
この構成によれば、第１の重み係数により重み付けされた輝度画像成分と第２の重み係数により重み付けされた可視輝度画像成分とを適切に合成することができる。
【０１１２】
（６）前記色情報信号は、色信号ｄＲ，ｄＧ，ｄＢ及び色差信号Ｃｂ，Ｃｒを含み、前記可視輝度画像成分が大きくなるにつれて前記信号生成部により生成された輝度信号ｄＹにおける前記可視輝度画像成分の重み付けを大きくするための予め定められた１２種類の係数ｋ１〜ｋ１２を、前記評価値又は前記第１及び第２の重み係数ｋ，ｋｗから決定し、決定した係数ｋ１〜ｋ１２を用いて下記の式により輝度信号ｄＹ及び色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒで表される色空間に変換する色空間変換部を更に備えることが好ましい。
【０１１３】
Ｙ＝ｋ１×ｄＹ＋ｋ２×ｄＲ＋ｋ３×ｄＧ＋ｋ４×ｄＢ
Ｃｂ＝ｋ５×ｄＹ＋ｋ６×ｄＲ＋ｋ７×ｄＧ＋ｋ８×ｄＢ
Ｃｒ＝ｋ９×ｄＹ＋ｋ１０×ｄＲ＋ｋ１１×ｄＧ＋ｋ１２×ｄＢ
この構成によれば、可視輝度画像成分が大きくなるにつれて可視輝度画像成分の重み付けを大きくするための予め定められた１２種類の係数ｋ１〜ｋ１２を用いて輝度信号ｄＹ、色信号ｄＲ，ｄＢ，ｄＧが輝度信号Ｙ、色差信号Ｃｂ，Ｃｒの色空間に変換されるため、晴天や暗がりといった被写体の明るさに応じて適切な輝度信号Ｙ，色差信号Ｃｂ，Ｃｒを得ることができる。
【０１１４】
（７）前記係数決定部は、各画素における前記評価値を求め、各画素における第１の重み係数と第２の重み係数とを決定することが好ましい。
【０１１５】
この構成によれば、画素単位で第１の重み係数と第２の重み係数とが決定されるため、画素毎に適切な第１の重み係数と第２の重み係数とを用いて輝度信号を得ることができる。
【０１１６】
（８）被写体の明るさ及び暗さの少なくともいずれか一方を基に、前記色情報信号のゲインを設定するゲイン設定部を更に備えることが好ましい。
【０１１７】
暗い被写体の場合、色信号は被写体の情報を多く含んでいない、つまり、ノイズを多く含んでいると考えられる。そこで、被写体の明るさ及び暗さの少なくともいずれか一方に基づいて、色情報信号のゲインを設定することで、Ｓ／Ｎ比の高い色情報信号を得ることができる。具体的には、被写体が明るくなるにつれて、色情報信号のゲインを増大させる、又は被写体が暗くなるにつれて、色情報信号のゲインを減少させる等すればよい。
【０１１８】
（９）本発明の別の局面による撮像素子は、カラーフィルタを備える画素と、赤外フィルタを備える画素と、少なくとも可視波長領域と赤外波長領域との光を受光する画素とが配列されたものである。
【０１１９】
この構成によれば、Ｓ／Ｎ比の高い輝度信号及び色情報信号を生成することのできる撮像素子を提供することができる。
【符号の説明】
【０１２０】
１ 画像入力装置
３ 撮像素子
４ 画像処理部
５ 制御部
３１ 単位画素部
４１ 評価値算出部
４２ 露出補正部
４３ 色補間部
４４ 信号生成部
４５ 評価値算出部
４６ 補正部
４７ 色空間変換部
５１ 係数決定部
５２ 露出補正値算出部
５３ ＷＢ補正値算出部
【技術分野】
【０００１】
本発明は、撮像素子と、その撮像素子により撮像された画像を画像処理する撮像装置に関するものである。
【背景技術】
【０００２】
近年、夜間のシーンをカラーで撮像する撮像装置が知られている。特許文献１には、Ｒ，Ｇ，Ｂのフィルタを備える画素により撮像された画像からＲ，Ｇ，Ｂの色成分からなる可視画像データを抽出する可視画像抽出手段と、Ｉｒのフィルタを備える画素により撮像された画像から赤外画像データを抽出する赤外画像抽出手段と、可視画像データをＨＳＶ変換して第１の輝度情報を抽出し、かつ赤外画像データから第２の輝度情報を抽出する輝度情報抽出手段と、第１の輝度情報を重み係数ｗ１で重み付け、第２の輝度情報を重み係数ｗ２（ｗ１＋ｗ２＝１）で重み付け、疑似カラー画像を生成する疑似カラー画像生成手段とを備え、晴天の日ではｗ１＝１とし、夜間の暗がりではｗ１＝０とし、その中間的な状況下では１＞ｗ１＞０とするカラー画像再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８４８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、晴天や暗がりに応じて重み係数を変更することが開示されているが、晴天や暗がりをどのようにして判別し、それを基に重みｗ１，ｗ２をどのように決定するかについての開示が全くなされていないため、被写体の明るさに応じて適切な比率で可視画像の輝度成分と赤外画像の輝度成分とを合成することができないという問題がある。
【０００５】
また、特許文献１では、赤外成分を含む赤色、緑色、及び青色の受光素子における受光量をＨＳＶ色空間に変換することで、輝度成分Ｖが求められているが、Ｒ，Ｇ，Ｂのフィルタは赤外領域における感度がそれぞれ異なることが一般的であるため、輝度成分を精度良く求めることができず、また、色再現性も悪いという問題がある。
【０００６】
本発明の目的は、Ｓ／Ｎ比の高い輝度信号及び色情報を生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一局面による撮像装置は、カラーフィルタを備える画素と、赤外フィルタを備える画素と、少なくとも可視波長領域と赤外波長領域との光を受光する画素とが配列された撮像素子を含む撮像装置であって、前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、少なくとも可視波長領域と赤外波長領域との光を受光する画素であり、前記第１〜第４の画素の画素信号から画像の色情報を算出する色情報算出手段と、前記第１〜第４の画素の画素信号から画像の輝度情報を算出する輝度情報算出手段とを備える。
【発明の効果】
【０００８】
本発明によれば、Ｓ／Ｎ比の高い輝度信号及び色情報を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１による撮像装置のブロック図を示している。
【図２】本発明の実施の形態１による撮像素子の画素の配列を示す図である。
【図３】ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図である。
【図４】実施の形態１における画像処理部と制御部とのブロック図を示している。
【図５】重み係数ｋ，ｋｗの特性を示すグラフである。
【図６】色空間変換部の処理の説明図である。
【図７】本発明の実施の形態２による画像処理部と制御部とのブロック図を示している。
【図８】評価値ｅにおけるゲインの特性を示したグラフである。
【図９】評価値ｅＢｌｋにおけるゲインの特性を示したグラフである。
【図１０】実施の形態３における画像処理部と制御部とのブロック図を示している。
【図１１】乗算値ｅ・ｅＢｌｋにおけるゲインの特性を示したグラフである。
【発明を実施するための形態】
【００１０】
（実施の形態１）
以下、本発明の実施の形態１による撮像装置１について説明する。図１は、本発明の実施の形態１による撮像装置１のブロック図を示している。図１に示すように撮像装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。
【００１１】
レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。
【００１２】
撮像素子３は、複数の画素がマトリックス状に配列された画素部と、画素部から画素信号を読み出す読出回路と、撮像素子３を駆動する駆動回路等を含み、光量に応じたレベルを有する画像信号を生成する。ここで、撮像素子３としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor）イメージセンサ、及びＣＣＤ（Charge Coupled Device Image Sensor）イメージセンサ等の種々の撮像センサを採用することができる。
【００１３】
また、画素は、ＰＤ（フォトダイオード）からなる受光部と、受光部により蓄積された電荷に応じた画像信号を生成する画素回路とを備える。
【００１４】
そして、本実施の形態において、撮像素子３は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、少なくとも可視波長領域と赤外波長領域との光を受光する画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する。
【００１５】
ここで、カラーフィルタは、少なくとも可視波長領域の一部を透過させるカラーフィルタである。また、少なくとも可視波長領域と赤外波長領域との光を受光する画素は、フィルタを取り付けないことにより容易に実現することができる。
【００１６】
画像処理部４は、画像信号に演算を行う演算回路及び画像信号を格納するメモリ等を含み、撮像素子３から出力された画像信号をＡ／Ｄ（アナログ／デジタル）変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。
【００１７】
制御部５は、ＣＰＵ（Central Processing Unit）及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、撮像素子３及び画像処理部４を制御する制御信号を出力する。また、制御部５は画像処理部４から出力される後述する評価値を受け、評価値を基に後述する各種処理を行う。
【００１８】
図２は、撮像素子３の画素の配列を示す図である。図２に示すように撮像素子３は、可視波長領域と赤外波長領域とを有感度波長帯域とするｙｅ画素（第１の画素の一例）、Ｒ画素（第２の画素の一例）、Ｂｌｋ画素（第３の画素の一例）、及びＷ画素（第４の画素の一例）とを含む単位画素部３１がマトリックス状に配列されている。
【００１９】
図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＢｌｋ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にｙｅ画素が配列されるというように、Ｒ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素は千鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素を千鳥状に配列してもよい。
【００２０】
ｙｅ画素はｙｅフィルタ（第１のカラーフィルタの一例）を備えているため、ｙｅ（イエロー）の可視カラー画像成分（以下、「ｙｅ画像成分」と呼ぶ。）を撮像し、Ｒ画素はＲフィルタ（第２のカラーフィルタの一例）を備えているため、Ｒ（赤）の可視カラー画像成分（以下、「Ｒ画像成分」と呼ぶ）を撮像し、Ｂｌｋ画素はＢｌｋフィルタ（赤外フィルタの一例）を備えているため、赤外画像成分を撮像し、Ｗ画素はフィルタを備えていないため、少なくとも可視波長領域と赤外波長領域との光を受光することができ、可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する。
【００２１】
図３は、ｙｅ，Ｒ，Ｂｌｋフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜６４０ｎｍが可視波長領域とされ、６４０ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。
【００２２】
図３に示すように、ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、ｙｅフィルタは主にイエローの光と赤外光とを透過する。
【００２３】
Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。
【００２４】
Ｂｌｋフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。
【００２５】
図４は、画像処理部４と制御部５とのブロック図を示している。画像処理部４は、評価値算出部４１、露出補正部４２、色補間部４３、信号生成部４４、評価値算出部４５、ＷＢ（ホワイトバランス）補正部４６、及び色空間変換部４７を備える。制御部５は、係数決定部５１、露出補正値算出部５２、及びＷＢ補正値算出部５３を備える。
【００２６】
評価値算出部４１は、被写体の明るさを評価するための評価値を算出する。具体的には、評価値算出部４１は、撮像素子３で撮像された１フレームの画像内の所定行×所定列の画素からなる局所領域において、Ｗ画素の画素値、すなわち輝度画像成分の画素値を加算して評価値ｅＤＷを算出し、かつＢｌｋ画素の画素値、すなわち赤外画像成分の画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅＤＷから評価値ｅＢｌｋを減じた値を評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）として制御部５に出力する。
【００２７】
係数決定部５１は、被写体が明るくなるにつれて増大する予め定められた特性を有する重み係数ｋ（第１の重み係数の一例）と、被写体が明るくなるにつれて減少する予め定められた特性を有する重み係数ｋｗ（第２の重み係数の一例）とを、評価値算出部４１により算出された評価値ｅを用いて決定する。
【００２８】
図５は、重み係数ｋ，ｋｗの特性を示すグラフであり、縦軸が重み係数ｋ，ｋｗを示し横軸が評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を示している。図５に示すように重み係数ｋは評価値ｅが増大するにつれて例えば線形に増大する特性を有し、重み係数ｋｗは評価値ｅが増大するにつれて例えば線形に減少する特性を有していることが分かる。
【００２９】
なお、図５において、重み係数ｋ，ｋｗの特性を示す直線の傾きは実験的に得られた予め定められた値が採用されている。具体的には、重み係数ｋ，ｋｗはｋ＋ｋｗ＝１の関係を有しており、重み係数ｋ，ｋｗの特性を示す直線の傾きは、評価値ｅが最大値を示すときにｋ＝１、ｋｗ＝０となり、評価値ｅが最小値を示すときにｋ＝０、ｋｗ＝１となるような値を有している。
【００３０】
露出補正値算出部５２は、係数決定部５１により決定された重み係数ｋ，ｋｗを次式に代入することで輝度評価値ｅｄＹを算出し、輝度評価値ｅｄＹを所定の値で除すことで露出補正値Ｈ１を算出し、露出補正部４２に出力する。ここで、所定の値としては、上述の局所領域におけるＤＢｌｋ画素とＤＷ画素との総画素数を採用することができる。
【００３１】
ｅｄＹ＝ｋｗ×ｅＤＷ＋ｋ×（ｅＤＷ−ｅＤＢｌｋ）
露出補正部４２は、露出補正値Ｈ１を、撮像素子３により撮像されたｙｅ画像成分、Ｒ画像成分、赤外画像成分、及び輝度画像成分のそれぞれの各画素に乗ずることで、ｙｅ画像成分、Ｒ画像成分、赤外画像成分、及び輝度画像成分を露出補正する。
【００３２】
色補間部４３は、千鳥状に配列されたＲ画素、Ｂｌｋ画素、Ｗ画素、及びｙｅ画素の欠落画素を補間するために、Ｒ画像成分、赤外画像成分、輝度画像成分、及びｙｅ画像成分のそれぞれに補間処理を施し、撮像素子３の画素数と同一画素数からなるＲ画像成分、赤外画像成分、輝度画像成分、及びｙｅ画像成分を生成する。ここで、補間処理としては、例えば線形補間処理を採用することができる。
【００３３】
信号生成部４４は、色補間部４３により補間処理が施された輝度画像成分から赤外画像成分を減じて可視輝度画像成分を生成する。
【００３４】
そして、信号生成部４４は、係数決定部５１により決定された重み係数ｋにより可視輝度画像成分（ＤＷ−ＤＢｌｋ）を重み付け、係数決定部５１により決定された重み係数ｋｗを用いて輝度画像成分ＤＷを重み付け、可視輝度画像成分（ＤＷ−ＤＢｌｋ）と輝度画像成分ＤＷとを式（１）により合成して、各画素の輝度信号ｄＹを生成する。
【００３５】
また、信号生成部４４は、色補間部４３により補間処理が施されたｙｅ画像成分Ｄｙｅと、Ｒ画像成分ＤＲと、赤外画像成分ＤＢｌｋと、輝度画像成分ＤＷとを式（２）により合成して、各画素のＲ（赤），Ｇ（緑），Ｂ（青）の色信号ｄＢ，ｄＲ，ｄＧ（色情報信号の一例）を生成する。
【００３６】
ｄＹ＝ｋｗ×ＤＷ＋ｋ×（ＤＷ−ＤＢｌｋ） （１）
ｄＢ＝ＤＷ−Ｄｙｅ
ｄＲ＝ＤＲ−ＤＢｌｋ （２）
ｄＧ＝ＤＷ−ＤＢｌｋ−ｄＲ−ｄＢ
なお、信号生成部４４は、式（１）に代えて、ｄＹ＝ｋｗ×ＤＢｌｋ＋ｋ×（ＤＷ−ＤＢｌｋ）により輝度信号ｄＹを算出する、すなわち、輝度画像成分ＤＷに代えて赤外画像成分ＤＢｌｋを重み係数ｋｗを用いて重み付けることで、輝度信号ｄＹを算出してもよい。
【００３７】
いずれにしても、重み係数ｋは可視輝度画像成分（ＤＷ−ＤＢｌｋ）の大きさを示す評価値ｅが大きいほど大きな値とされ、可視輝度画像成分（ＤＷ−ＤＢｌｋ）の大きさを示す評価値ｅが大きいほど小さな値とされる。
【００３８】
そのため、晴天等の被写体が明るい場合、輝度信号ｄＹにおいて、可視輝度画像成分（ＤＷ−ＤＢｌｋ）の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。
【００３９】
一方、暗がり等の被写体が暗い場合、輝度信号ｄＹにおいて、赤外画像成分ＤＢｌｋの占める割合が大きくなり、赤外領域の輝度信号を多く用いてＳ／Ｎ比のよい画像を得ることができる。
【００４０】
評価値算出部４５は、上述した局所領域において、各画素の色信号ｄＲ，ｄＧ，ｄＢの値を加算し、色信号ｄＲの加算値Ｒａｖｅと、色信号ｄＧの加算値Ｇａｖｅと、色信号ｄＢの加算値Ｂａｖｅとを算出し、制御部５に出力する。
【００４１】
ＷＢ補正値算出部５３は、加算値Ｒａｖｅと、加算値Ｇａｖｅと、加算値Ｂａｖｅとから次式によりＲの利得ＲｇａｉｎとＢの利得Ｂｇａｉｎとを算出する。
【００４２】
Ｒｇａｉｎ＝Ｇａｖｅ÷Ｒａｖｅ
Ｂｇａｉｎ＝Ｇａｖｅ÷Ｂａｖｅ
ＷＢ補正部４６は、ＷＢ補正値算出部５３により算出された利得Ｒｇａｉｎを、信号生成部４４により生成された各画素の色信号ｄＲに乗じ、色信号ｄＲを補正する。また、ＷＢ補正部４６は、ＷＢ補正値算出部５３により算出された利得Ｂｇａｉｎを、信号生成部４４により生成された各画素の色信号ｄＢに乗じ、色信号ｄＢを補正する。これにより、色信号ｄＲ，ｄＧ，ｄＢは色信号ｄＧを基準としてＷＢ補正が施される。
【００４３】
なお、ＷＢ補正部４６は、色信号ｄＧに代えて、色信号ｄＲ又は色信号ｄＢを基準としてＷＢ補正を行ってもよい。この場合、ＷＢ補正値算出部５３は、ＷＢ補正部４６が基準とする色信号ｄＲ又はｄＢに応じた利得を算出すればよい。
【００４４】
色空間変換部４７は、可視輝度画像成分が大きくなるにつれて信号生成部４４により生成された輝度信号ｄＹにおける可視輝度画像成分の重み付けを大きくするための予め定められた１２種類の係数ｋ１〜ｋ１２を、評価値ｅ又は重み係数ｋ，ｋｗから決定し、決定した係数ｋ１〜ｋ１２を用いて下記の式により輝度信号ｄＹ及び色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ（色情報信号の一例）で表される色空間に変換する。ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示し、輝度信号Ｙは、色差信号Ｃｂ，Ｃｒに対応する輝度信号を示す。
【００４５】
Ｙ＝ｋ１×ｄＹ＋ｋ２×ｄＲ＋ｋ３×ｄＧ＋ｋ４×ｄＢ
Ｃｂ＝ｋ５×ｄＹ＋ｋ６×ｄＲ＋ｋ７×ｄＧ＋ｋ８×ｄＢ （３）
Ｃｒ＝ｋ９×ｄＹ＋ｋ１０×ｄＲ＋ｋ１１×ｄＧ＋ｋ１２×ｄＢ
ここで、色空間変換部４７は、図６（ａ）に示すように評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）に応じて予め定められた１２個の係数ｋ１〜ｋ１２の値を格納するＬＵＴを用いて係数ｋ１〜ｋ１２を決定すればよい。
【００４６】
また、色空間変換部４７は、評価値ｅに代えて、重み係数ｋ，ｋｗから係数ｋ１〜ｋ１２を決定してもよい。この場合、色空間変換部４７は、図６（ｂ）に示すように重み係数ｋ，ｋｗの値に応じて予め定められた１２個の係数ｋ１〜ｋ１２の値を格納するＬＵＴを用いて係数ｋ１〜ｋ１２を決定すればよい。
【００４７】
次に、撮像装置１の動作について説明する。まず、制御部５は、撮像素子３に１フレームの画像を撮像させる。ここで、撮像素子３は、ｙｅ画素によりｙｅ画像成分Ｄｙｅを撮像し、Ｒ画素によりＲ画像成分ＤＲを撮像し、Ｂｌｋ画素により赤外画像成分ＤＢｌｋを撮像し、Ｗ画素により輝度画像成分ＤＷを撮像する。なお、撮像装置１が動画像を撮像する場合、制御部５は、１／３０ｓ、１／６０ｓといったフレームレートで撮像素子３に画像を撮像させればよい。また、撮像装置１が静止画像を撮像する場合、制御部５は、ユーザによりレリースボタンが押されたときに、撮像素子３に画像を撮像させればよい。
【００４８】
次に、評価値算出部４１は、局所領域における輝度画像成分ＤＷの画素値を加算して評価値ｅＤＷを算出し、赤外画像成分ＤＢｌｋの画素値を加算して評価値ｅＤＢｌｋを算出し、評価値ｅ（＝ｅＤＷ−ｅＤＢｌｋ）を算出する。
【００４９】
次に、係数決定部５１は、評価値ｅから重み係数ｋ，ｋｗを決定する。次に、露出補正値算出部５２は、重み係数ｋ，ｋｗから露出補正値Ｈ１を算出する。
【００５０】
次に、露出補正部４２は、露出補正値Ｈ１を、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷのそれぞれの各画素に乗ずることで、ｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを露出補正する。
【００５１】
次に、色補間部４３は、露出補正されたｙｅ画像成分Ｄｙｅ、Ｒ画像成分ＤＲ、赤外画像成分ＤＢｌｋ、及び輝度画像成分ＤＷを補間処理する。
【００５２】
次に、信号生成部４４は、式（１）により各画素の輝度信号ｄＹを算出し、かつ、式（２）により色信号ｄＲ，ｄＧ，ｄＢを算出する。
【００５３】
次に、評価値算出部４５は、加算値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。次に、ＷＢ補正値算出部５３は、加算値Ｒａｖｅ，Ｇａｖｅ、Ｂａｖｅを用いて利得Ｒｇａｉｎ，Ｂｇａｉｎを算出する。次に、ＷＢ補正部４６は、利得Ｒｇａｉｎ，Ｂｇａｉｎを用いて各画素の色信号ｄＲ，ｄＧ，ｄＢをＷＢ補正する。
【００５４】
次に、色空間変換部４７は、係数ｋ１〜ｋ１２を決定し、式（３）を用いて、輝度信号ｄＹ及び色信号ｄＲ，ｄＧ，ｄＢの色空間を変換し、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒを求める。
【００５５】
このように、撮像装置１によれば、晴天等の被写体が明るい場合、輝度信号における可視輝度画像成分の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。
【００５６】
一方、暗がり等の被写体が暗い場合、輝度信号における赤外画像成分の占める割合が大きくなり、赤外領域の輝度信号を多く用いてＳ／Ｎ比のよい画像を得ることができる。
【００５７】
また、可視カラー画像成分と赤外画像成分と輝度画像成分とを合成して色信号が生成されているが、輝度画像成分は少なくとも可視波長領域と赤外波長領域との光を受光する画素により撮像されたものであり、カラーフィルタとして、赤外成分に同じ感度特性を有するカラーフィルタが採用されているため、可視カラー画像成分から赤外画像成分を差し引くことで、可視カラー画像成分を正確に求めることができ、この可視カラー画像成分から色信号を生成しているため、色再現性の高い色信号を得ることができる。
【００５８】
なお、上記説明では、係数決定部５１は、１フレームの画像単位で重み係数ｋ，ｋｗを決定したが、本発明はこれに限定されず、１フレームの画像を構成する各画素における重み係数ｋ，ｋｗを算出してもよい。
【００５９】
この場合、色補間部４３を評価値算出部４１の前段に設け、評価値算出部４１は、各画素における輝度画像成分ＤＷから赤外画像成分ＤＢｌｋを減じて、各画素における評価値ｅを算出する。そして、係数決定部５１は、各画素における評価値ｅから各画素における重み係数ｋ，ｋｗを決定すればよい。
【００６０】
そして、信号生成部４４は、各画素における重み係数ｋ，ｋｗを用いて式（１）により輝度信号ｄＹを算出すればよい。
【００６１】
また、露出補正値算出部５２は、各画素における重み係数ｋ，ｋｗから各画素における輝度評価値ｅｄＹを算出し、各画素における露出補正値Ｈ１を算出すればよい。
【００６２】
そして、露出補正部４２は、各画素における露出補正値Ｈ１を、ｙｅ画像成分、Ｒ画像成分、赤外画像成分、及び輝度画像成分のそれぞれの各画素に乗ずることで露出補正を行えばよい。
【００６３】
また、色空間変換部４７は、各画素における重み係数ｋ，ｋｗ又は評価値ｅから各画素における係数ｋ１〜ｋ１２を決定し、色空間変換を行えばよい。
【００６４】
また、評価値算出部４１は、局所領域の赤外画像成分のみを用いて評価値ｅを算出してもよいし、局所領域の可視輝度画像成分のみを用いて評価値ｅを算出してもよい。
【００６５】
（実施の形態２）
本発明の実施の形態２による撮像装置１は、被写体の明るさ及び暗さの少なくともいずれか一方を基に色差信号（色情報信号の一例）のゲインを設定することを特徴とする。なお、本実施の形態２において、実施の形態１と同一のものは説明を省く。
【００６６】
図７は、本実施の形態における画像処理部４と制御部５とのブロック図を示している。図４との相違点は、ゲイン設定部４８が設けられている点にある。ゲイン設定部４８は、被写体が明るくなるにつれて色差信号のゲインを増大させる。
【００６７】
具体的には、ゲイン設定部４８は、評価値算出部４１により算出された評価値ｅ（＝ｅＤＷ−ｅＤｂｌｋ）を用いて、色空間変換部４７により算出された色差信号Ｃｂ，Ｃｒに対するゲインαｂ，αｒを求め、求めたゲインαｂ，αｒを色差信号Ｃｂ，Ｃｒのそれぞれのゲインとして設定する。
【００６８】
そして、ゲイン設定部４８は、式（４）に示すように、設定したゲインαｂを色差信号Ｃｂに乗じ、かつ、設定したゲインαｒを色差信号Ｃｒに乗じ、色差信号Ｃｂ，Ｃｒを補正する。
【００６９】
Ｃｂ´＝αｂ×Ｃｂ
Ｃｒ´＝αｒ×Ｃｒ （４）
図８は、評価値ｅに対するゲインαｂ，αｒの特性を示すグラフであり、縦軸はゲインを示し、横軸は評価値ｅを示している。図８に示すように、ゲインαｂ，αｒは同じ特性を有し、評価値ｅが増大する、つまり、被写体が明るくなるにつれて、増大する特性を有している。具体的には、評価値ｅが最大値であるｅｍａｘの１／４以下においては、ゲインαｂ，αｒは０であり、評価値ｅがｅｍａｘの１／４付近に到達すると、ゲインαｂ，αｒは緩やかに増大した後、急激に１付近まで増大し、再度、緩やかに増大して１になる。
【００７０】
したがって、ゲイン設定部４８は、予め実験により得られたゲインαｂ，αｒと評価値ｅとの関係を示すルックアップテーブルを予め記憶し、このルックアップテーブルを用いて、ゲインαｂ，αｒを求めればよい。又は、図８に示すゲインαｂ，αｒと評価値ｅとの関係を示す関数を予め記憶し、この関数を用いてゲインαｂ，αｒを求めればよい。
【００７１】
これにより、被写体が明るく、色差信号Ｃｂ，ＣｒのＳ／Ｎ比が高い場合は、色差信号Ｃｂ，Ｃｒのゲインαｂ，αｒが増大する一方、被写体が暗く色差信号Ｃｂ，ＣｒのＳ／Ｎ比が低い場合は、色差信号Ｃｂ，Ｃｒのゲインαｂ，αｒが減少するため、Ｓ／Ｎ比の高い色差信号を得ることができる。
【００７２】
なお、図８においては、ゲインαｂ，αｒは評価値ｅがｅｍａｘの１／４となる付近で急激に変化したが、これに限定されず、評価値ｅがｅｍａｘの１／４以外のｅｍａｘの１／２、ｅｍａｘの１／３等の他の値となる付近で急激に変化させてもよい。
【００７３】
また、ゲインαｂ，αｒとを異なる特性としてもよい。この場合、ゲインαｂ，αｒは、ホワイトバランスが維持されるような特性を持つようにすることが好ましい。
【００７４】
また、上記説明では、ゲイン設定部４８は、評価値ｅを用いたがこれに限定されず、評価値算出部４１により算出された評価値ｅＢｌｋを用いて、ゲインαｂ，αｒを求めてもよい。図９は、評価値ｅＢｌｋに対するゲインαｂ，αｒの特性を示したグラフであり、縦軸はゲインαｂ，αｒを示し、横軸は評価値ｅＢｌｋを示している。図９に示すようにゲインαｂ，αｒは、評価値ｅＢｌｋが増大するにつれて、すなわち、被写体が暗くなるにつれて、減少する特性を有していることが分かる。
【００７５】
具体的には、評価値ｅＢｌｋが評価値ｅＢｌｋの最大値であるｅＢｌｋ−ｍａｘの３／４以下においては、ゲインαｂ，αｒは１であり、評価値ｅＢｌｋがｅＢｌｋ−ｍａｘの３／４付近に到達すると、ゲインαｂ，αｒは１から緩やかに減少した後、急激に０付近まで減少し、再度、緩やかに減少して０になる。
【００７６】
したがって、ゲイン設定部４８は、評価値ｅの場合と同様、図９に示すゲインαｂ，αｒと評価値ｅＢｌｋとの関係を示す予め作成されたルックアップテーブル又は関数を記憶し、このルックアップテーブル又は関数を用いてゲインαｂ，αｒを求めればよい。
【００７７】
また、ゲイン設定部４８は、評価値ｅ又は評価値ｅＢｌｋを用いてゲインαｂ，αｒを求めたが、これに限定されず、被写体の明るさを表すパラメータであれば、評価値ｅ，ｅＢｌｋ以外のパラメータを用いて、ゲインαｂ，αｒを求めても良い。
【００７８】
例えば、重み係数ｋ，ｋｗは、評価値ｅを用いて定められており、被写体の明るさが反映された値を有している。したがって、ゲイン設定部４８は、重み係数ｋ又はｋｗを用いてゲインαｂ，αｒを求めればよい。この場合、ゲイン設定部４８は、重み係数ｋ又はｋｗとゲインαｂ，αｒとの関係を示すルックアップテーブル又は関数を記憶し、このルックアップテーブル又は関数を用いてゲインαｂ，αｒを求めればよい。
【００７９】
また、ゲイン設定部４８は、被写体の明るさと暗さとの両方に基づいて、ゲインαｂ，αｒを求めてもよい。具体的には、評価値ｅと評価値ｅＢｌｋとの乗算値（＝ｅ・ｅＢｌｋ）からゲインαｂ，αｒを求めるようにすればよい。図１１は、乗算値ｅ・ｅＢｌｋに対するゲインαｂ，αｒの特性を示したグラフであり、縦軸はゲインαｂ，αｒを示し、横軸は乗算値ｅ・ｅＢｌｋを示している。
【００８０】
図１１に示すように、ゲインαｂ，αｒは、図８に示すグラフと図９に示すグラフとを乗じた特性、すなわち、乗算値ｅ・ｅＢｌｋが乗算値ｅ・ｅＢｌｋの最大値（ｅ・ｅＢｌｋ−ｍａｘ）の１／２のときに、ゲインαｂ，αｒ＝１となってピークとなり、ｅ・ｅＢｌｋ−ｍａｘの１／２を中心として左右対称な上に凸の特性を有している。
【００８１】
こうすることで、評価値ｅと評価値ｅＢｌｋとの両方の評価値を加味して、ゲインαｂ，αｒを算出することができる。
【００８２】
この場合、ゲイン設定部４８は、評価値ｅ又は評価値ｅＢｌｋの場合と同様、ゲインαｂ，αｒと乗算値ｅ・ｅＢｌｋとの関係を示す予め作成されたルックアップテーブル又は関数を記憶し、このルックアップテーブル又は関数を用いてゲインαｂ，αｒを求めればよい。
【００８３】
（実施の形態３）
図１０は、本発明の実施の形態３の撮像装置１の制御部５と画像処理部４とのブロック図を示している。実施の形態３の撮像装置１は、ゲイン設定部４８をＷＢ補正部４６と色空間変換部４７との間に設けたことを特徴とする。
【００８４】
本実施の形態において、ゲイン設定部４８は、被写体が明るくなるにつれて、ＷＢ補正部４６により補正された色信号ｄＲ，ｄＧ，ｄＢ（色情報信号の一例）のゲインβｒ，βｇ，βｂを大きく設定することを特徴とする。
【００８５】
この場合、ゲイン設定部４８は、評価値算出部４１により算出された評価値ｅを用いて、ゲインβｒ，βｇ，βｂを求めればよい。具体的には、ゲイン設定部４８は、ゲインβｒ，βｇ，βｂと評価値ｅとの関係を示すルックアップテーブル又は関数を予め記憶し、このルックアップテーブル又は関数から評価値ｅに対するゲインβｒ，βｇ，βｂを求めればよい。そして、ゲイン設定部４８は、式（５）に示すように、求めたゲインβｒ，βｇ，βｂをＷＢ補正部４６から出力された色信号ｄＲ，ｄＧ，ｄＢに乗じて、色信号ｄＲ，ｄＧ，ｄＢを修正すればよい。
【００８６】
ｄＲ´＝βｒ×ｄＲ
ｄＧ´＝βｇ×ｄＧ （５）
ｄＢ´＝βｂ×ｄＢ
このとき、色空間変換部４７は、色信号ｄＲ´、ｄＧ´、ｄＢ´を用いて色差信号Ｃｒ，Ｃｂ及び輝度信号Ｙを求めればよい。
【００８７】
なお、評価値ｅに対するゲインβｒ，βｇ，βｂの特性としては、図８に示すゲインαｒ，αｂと同様の特性を採用すればよい。
【００８８】
また、ゲイン設定部４８は、評価値ｅに代えて評価値ｅＢｌｋを用いてゲインβｒ，βｇ，βｂを求めてもよい。この場合、ゲインβｒ，βｇ，βｂとしては、図９と同様、評価値ｅＢｌｋが増大するにつれて、値が小さくなる特性を持たせればよい。そして、ゲイン設定部４８は、評価値ｅＢｌｋとゲインβｒ，βｇ，βｂとの関係を示すルックアップテーブル又は関数を予め記憶し、この関数又はルックアップテーブルを用いて、評価値ｅＢｌｋに応じたゲインβｒ，βｇ，βｂを求めればよい。
【００８９】
また、本実施の形態においても実施の形態２と同様、被写体の明るさを示すパラメータであれば、評価値ｅ，ｅＢｌｋ以外のパラメータである例えば重み係数ｋ，ｋｗを用いて、ゲインβｒ，βｇ，βｂを求めても良い。
【００９０】
また、ゲイン設定部４８は、評価値ｅと評価値ｅＢｌｋとの乗算値ｅ・ｅＢｌｋを用いてゲインβｒ，βｇ，βｂを求めてもよい。この場合、ゲインβｒ，βｇ，βｂとしては、図１１と同じ特性を持たせればよい。そして、ゲイン設定部４８は、乗算値ｅ・ｅＢｌｋとゲインβｒ，βｇ，βｂとの関係を示すルックアップテーブル又は関数を予め記憶し、この関数又はルックアップテーブルを用いて、乗算値ｅ・ｅＢｌｋに応じたゲインβｒ，βｇ，βｂを求めればよい。
【００９１】
このように本実施の形態の撮像装置１によれば、Ｓ／Ｎ比の高い色信号ｄＲ，ｄＧ，ｄＢを得ることができる。
【００９２】
また、本実施の形態では、図５に示すように評価値ｅから重み係数ｋ，ｋｗを求め、重み係数ｋ，ｋｗを用いて、輝度信号ｄＹを算出する手法を示したが、これに限定されず、重み係数ｋ，ｋｗを用いずに、評価値ｅから輝度信号ｄＹを算出するようにしてもよい。
【００９３】
この場合、信号生成部４４は、例えば、輝度画像成分ＤＷ及び赤外画像成分ＤＢｌｋと、輝度信号ｄＹとの関係を予め定めるルックアップテーブル又は関数を用いて、輝度信号ｄＹを求めるようにすればよい。すなわち、信号生成部４４は、輝度画像成分ＤＷ及び赤外画像成分ＤＢｌｋを入力とし、輝度信号ｄＹを出力とするルックアップテーブル又は関数を用いて、輝度信号ｄＹを算出するようにすればよい。
【００９４】
上記撮像装置の技術的特徴を纏めると下記のようになる。
【００９５】
（１）上記撮像装置は、カラーフィルタを備える画素により可視カラー画像成分を撮像し、赤外フィルタを備える画素により赤外画像成分を撮像し、少なくとも可視波長領域と赤外波長領域との光を受光する画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を撮像する撮像素子と、前記輝度画像成分及び前記赤外画像成分を基に、被写体の明るさを評価するための評価値を算出する評価値算出部と、被写体が明るくなるにつれて増大する予め定められた特性を有する第１の重み係数と、被写体が明るくなるにつれて減少する予め定められた特性を有する第２の重み係数とを、前記評価値を用いて決定する係数決定部と、前記輝度画像成分から前記赤外画像成分を減じて前記可視輝度画像成分を生成し、前記係数決定部により決定された第１の重み係数を用いて重み付けをした前記可視輝度画像成分と、前記係数決定部により決定された第２の重み係数を用いて重み付けをした前記輝度画像成分又は前記赤外画像成分とを合成して輝度信号を生成し、かつ、前記可視カラー画像成分と前記赤外画像成分と前記輝度画像成分とを合成して色情報信号を生成する信号生成部とを備えることを特徴とする。
【００９６】
この構成によれば、可視輝度画像成分及び赤外画像成分を基に、被写体の明るさを評価するための評価値が算出され、この評価値を基に第１の重み係数と第２の重み係数とが決定される。ここで、第１の重み係数は、被写体が明るくなるにつれて増大する特性を有し、第２の重み係数は、被写体が明るくなるにつれて減少する特性を有する。そして、第１の重み係数により重み付けされた可視輝度画像成分と第２の重み係数により重み付けされた輝度画像成分とが合成され、輝度信号が生成される。
【００９７】
よって、晴天等の被写体が明るい場合は、輝度信号における可視輝度画像成分の占める割合が大きくなり、人が目視している被写体と同等の画像を得ることができる。
【００９８】
一方、暗がり等の被写体が暗い場合は、輝度信号における赤外画像成分の占める割合が大きくなり、赤外領域の輝度信号を多く用いてＳ／Ｎ比のよい画像を得ることができる。すなわち、被写体が暗い場合は、可視輝度画像成分は、被写体の情報を多く含んでいない、つまり、ノイズを多く含んでいると考えられる。そこで、被写体が暗い場合、赤外画像成分の割合を多くする一方、可視輝度画像成分の割合が少なくなるようにして両画像成分を合成して輝度信号を生成する。これにより、Ｓ／Ｎ比の高い輝度信号を得ることができる。
【００９９】
また、輝度画像成分は少なくとも可視波長領域と赤外波長領域との光を受光する画素により分光されずに撮像されたものであるため、Ｒ，Ｇ，Ｂ，ＩＲのフィルタを備える画素により分光して撮像された画像成分から輝度信号を求める場合に比べて、Ｓ／Ｎ比の高い輝度信号を生成することができる。
【０１００】
すなわち、Ｒ，Ｇ，Ｂ，ＩＲのフィルタの感度特性を重ね合わせれば分かるように、これらのフィルタのみでは可視領域において取得することができない帯域が発生してしまう。一方、少なくとも可視波長領域と赤外波長領域との光を受光する画素の感度特性は、可視領域及び赤外領域の全域をカバーしている。そのため、少なくとも可視波長領域と赤外波長領域との光を受光する画素により撮像された画像は、Ｒ，Ｇ，Ｂ，ＩＲのフィルタを備える画素により撮像された画像に比べて、可視領域における情報量が多くなり、Ｓ／Ｎ比の高い輝度信号を生成することができる。
【０１０１】
また、可視カラー画像成分と赤外画像成分と輝度画像成分とを合成して色情報信号が生成されているが、輝度画像成分は少なくとも可視波長領域と赤外波長領域との光を受光する画素により撮像されたものであるため、Ｓ／Ｎ比の高い色情報信号を求めることができる。特に、カラーフィルタとして、赤外成分に同じ感度特性を有するカラーフィルタを採用すれば、可視カラー画像成分から赤外画像成分を差し引くことで、可視カラー画像成分を精度良く求めることができ、この可視カラー画像成分から色情報信号を生成することで、Ｓ／Ｎ比の高い色情報信号を得ることができる。
【０１０２】
（２）前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、前記第４の画素は、少なくとも可視波長領域と赤外波長領域との光を受光する画素であることが好ましい。
【０１０３】
この構成によれば、第１の画素は、第１のカラーフィルタを備えているため、青色領域を除く有感度波長帯域の画像を可視カラー画像成分として撮像することができ、第２の画素は、第２のカラーフィルタを備えているため、青色領域及び緑色領域を除く有感度波長帯域の画像をカラー画像成分として撮像することができ、第３の画素は、可視波長領域を除く有感度波長帯域の画像を赤外画像成分として撮像することができ、第４の画像は、少なくとも可視波長領域と赤外波長領域との光を受光するため、有感度波長帯域の画像を輝度画像成分として撮像することができる。
【０１０４】
そして、撮像素子は、第１〜第４の画素を備える単位画素部がマトリックス状に配列されているため、可視カラー画像成分と赤外画像成分と輝度画像成分とを偏りなく撮像することができる。
【０１０５】
（３）前記係数決定部により決定された第１及び第２の重み係数を基に、露出補正値を算出する露出補正値算出部と、前記露出補正値算出部により算出された露出補正値を用いて、前記撮像素子により撮像された画像の露出補正を行う露出補正部とを更に備えることが好ましい。
【０１０６】
この構成によれば、係数決定部により決定された第１及び第２の重み係数を用いて、露出補正値が算出され、この露出補正値を用いて露出補正が行われているため、晴天や暗がりといった被写体の明るさに応じた適切な露出補正値を用いて露出補正を行うことができる。
【０１０７】
（４）前記信号生成部により生成された色情報信号を基にホワイトバランス補正値を算出するホワイトバランス補正値算出部と、前記ホワイトバランス補正値算出部により算出されたホワイトバランス補正値を用いて、前記画像撮像素子により撮像された画像のホワイトバランス補正を行うホワイトバランス補正部とを更に備えることが好ましい。
【０１０８】
この構成によれば、信号生成部により生成されたＳ／Ｎ比の高い色信号を基にホワイトバランス補正値が算出され、ホワイトバランス補正が行われているため、ホワイトバランス補正を精度良く行うことができる。
【０１０９】
（５）前記信号生成部は、以下に示す式を用いて輝度信号を生成することが好ましい。
【０１１０】
ｄＹ＝ｋｗ×ＤＷ＋ｋ×（ＤＷ−ＤＢｌｋ）
但し、ｄＹ：輝度信号、ｋ：第１の重み係数、ｋｗ：第２の重み係数、ＤＷ：輝度画像成分、ＤＢｌｋ：赤外画像成分、ＤＷ−ＤＢｌｋ：可視輝度画像成分
【０１１１】
この構成によれば、第１の重み係数により重み付けされた輝度画像成分と第２の重み係数により重み付けされた可視輝度画像成分とを適切に合成することができる。
【０１１２】
（６）前記色情報信号は、色信号ｄＲ，ｄＧ，ｄＢ及び色差信号Ｃｂ，Ｃｒを含み、前記可視輝度画像成分が大きくなるにつれて前記信号生成部により生成された輝度信号ｄＹにおける前記可視輝度画像成分の重み付けを大きくするための予め定められた１２種類の係数ｋ１〜ｋ１２を、前記評価値又は前記第１及び第２の重み係数ｋ，ｋｗから決定し、決定した係数ｋ１〜ｋ１２を用いて下記の式により輝度信号ｄＹ及び色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒで表される色空間に変換する色空間変換部を更に備えることが好ましい。
【０１１３】
Ｙ＝ｋ１×ｄＹ＋ｋ２×ｄＲ＋ｋ３×ｄＧ＋ｋ４×ｄＢ
Ｃｂ＝ｋ５×ｄＹ＋ｋ６×ｄＲ＋ｋ７×ｄＧ＋ｋ８×ｄＢ
Ｃｒ＝ｋ９×ｄＹ＋ｋ１０×ｄＲ＋ｋ１１×ｄＧ＋ｋ１２×ｄＢ
この構成によれば、可視輝度画像成分が大きくなるにつれて可視輝度画像成分の重み付けを大きくするための予め定められた１２種類の係数ｋ１〜ｋ１２を用いて輝度信号ｄＹ、色信号ｄＲ，ｄＢ，ｄＧが輝度信号Ｙ、色差信号Ｃｂ，Ｃｒの色空間に変換されるため、晴天や暗がりといった被写体の明るさに応じて適切な輝度信号Ｙ，色差信号Ｃｂ，Ｃｒを得ることができる。
【０１１４】
（７）前記係数決定部は、各画素における前記評価値を求め、各画素における第１の重み係数と第２の重み係数とを決定することが好ましい。
【０１１５】
この構成によれば、画素単位で第１の重み係数と第２の重み係数とが決定されるため、画素毎に適切な第１の重み係数と第２の重み係数とを用いて輝度信号を得ることができる。
【０１１６】
（８）被写体の明るさ及び暗さの少なくともいずれか一方を基に、前記色情報信号のゲインを設定するゲイン設定部を更に備えることが好ましい。
【０１１７】
暗い被写体の場合、色信号は被写体の情報を多く含んでいない、つまり、ノイズを多く含んでいると考えられる。そこで、被写体の明るさ及び暗さの少なくともいずれか一方に基づいて、色情報信号のゲインを設定することで、Ｓ／Ｎ比の高い色情報信号を得ることができる。具体的には、被写体が明るくなるにつれて、色情報信号のゲインを増大させる、又は被写体が暗くなるにつれて、色情報信号のゲインを減少させる等すればよい。
【０１１８】
（９）本発明の別の局面による撮像素子は、カラーフィルタを備える画素と、赤外フィルタを備える画素と、少なくとも可視波長領域と赤外波長領域との光を受光する画素とが配列されたものである。
【０１１９】
この構成によれば、Ｓ／Ｎ比の高い輝度信号及び色情報信号を生成することのできる撮像素子を提供することができる。
【符号の説明】
【０１２０】
１ 画像入力装置
３ 撮像素子
４ 画像処理部
５ 制御部
３１ 単位画素部
４１ 評価値算出部
４２ 露出補正部
４３ 色補間部
４４ 信号生成部
４５ 評価値算出部
４６ 補正部
４７ 色空間変換部
５１ 係数決定部
５２ 露出補正値算出部
５３ ＷＢ補正値算出部
【特許請求の範囲】
【請求項１】
カラーフィルタを備える画素と、赤外フィルタを備える画素と、少なくとも可視波長領域と赤外波長領域との光を受光する画素とが配列された撮像素子を含む撮像装置であって、
前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、
前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、
前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、
前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、
前記第４の画素は、少なくとも可視波長領域と赤外波長領域との光を受光する画素であり、
前記第１〜第４の画素の画素信号から画像の色情報を算出する色情報算出手段と、
前記第１〜第４の画素の画素信号から画像の輝度情報を算出する輝度情報算出手段とを備えることを特徴とする撮像装置。
【請求項２】
前記色情報算出手段は、以下の演算により色情報を算出する請求項１記載の撮像装置。
ｄＢ＝ＤＷ−Ｄｙｅ
ｄＲ＝ＤＲ−ＤＢｌｋ
ｄＧ＝ＤＷ−ＤＢｌｋ−ｄＲ−ｄＢ（＝Ｄｙｅ−ＤＲ）
但し、ｄＢ、ｄＲ、ｄＧは色情報、Ｄｙｅは第１の画素の画素信号、ＤＲは第２の画素の画素信号、ＤＢｌｋは第３の画素の画素信号、及びＤＷは第４の画素の画素信号を示す。
【請求項１】
カラーフィルタを備える画素と、赤外フィルタを備える画素と、少なくとも可視波長領域と赤外波長領域との光を受光する画素とが配列された撮像素子を含む撮像装置であって、
前記撮像素子は、可視波長領域と赤外波長領域とを有感度波長帯域とする第１の画素、第２の画素、第３の画素、及び第４の画素とを含む単位画素部がマトリックス状に配列され、
前記第１の画素は、前記可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する第１のカラーフィルタを備え、
前記第２の画素は、前記可視波長領域の青色領域及び緑色領域を除く前記有感度波長帯域の光を透過する第２のカラーフィルタを備え、
前記第３の画素は、前記可視波長領域を除く前記有感度波長帯域の光を透過する赤外フィルタを備え、
前記第４の画素は、少なくとも可視波長領域と赤外波長領域との光を受光する画素であり、
前記第１〜第４の画素の画素信号から画像の色情報を算出する色情報算出手段と、
前記第１〜第４の画素の画素信号から画像の輝度情報を算出する輝度情報算出手段とを備えることを特徴とする撮像装置。
【請求項２】
前記色情報算出手段は、以下の演算により色情報を算出する請求項１記載の撮像装置。
ｄＢ＝ＤＷ−Ｄｙｅ
ｄＲ＝ＤＲ−ＤＢｌｋ
ｄＧ＝ＤＷ−ＤＢｌｋ−ｄＲ−ｄＢ（＝Ｄｙｅ−ＤＲ）
但し、ｄＢ、ｄＲ、ｄＧは色情報、Ｄｙｅは第１の画素の画素信号、ＤＲは第２の画素の画素信号、ＤＢｌｋは第３の画素の画素信号、及びＤＷは第４の画素の画素信号を示す。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８１２４５（Ｐ２０１３−８１２４５Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２８２９８１（Ｐ２０１２−２８２９８１）
【出願日】平成２４年１２月２６日（２０１２．１２．２６）
【分割の表示】特願２０１０−５１０１６５（Ｐ２０１０−５１０１６５）の分割
【原出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２４年１２月２６日（２０１２．１２．２６）
【分割の表示】特願２０１０−５１０１６５（Ｐ２０１０−５１０１６５）の分割
【原出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（３０３０００４０８）コニカミノルタアドバンストレイヤー株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]