撮像装置
【課題】夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供すること。
【解決手段】赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データをダイナミックレンジ圧縮して赤外波長成分を含む輝度信号を生成し、原画像データから可視波長成分の色差信号を生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【解決手段】赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データをダイナミックレンジ圧縮して赤外波長成分を含む輝度信号を生成し、原画像データから可視波長成分の色差信号を生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に広ダイナミックレンジな原画像データを画像処理してカラー画像を生成する撮像装置に関する。
【背景技術】
【０００２】
一般的な線形の光電変換特性を有する撮像素子は、そのダイナミックレンジが狭いために、通常の被写体であっても、暗部あるいは明部の輝度分布が正確に撮像されない。また、対数変換型の光電変換特性を有する撮像素子は、通常の被写体に対しては十分広いダイナミックレンジを有するが、低輝度側の感度に難点がある。
【０００３】
そこで、例えば特許文献１に示すように、入射光量に応じて線形特性と対数特性との２つの光電変換特性（以下、リニアログ特性と言う）を有する、線形対数変換型撮像素子（以下、リニアログセンサと言う）が知られている。リニアログセンサによれば、低輝度側を感度の高い線形特性で撮像し、高輝度側をダイナミックレンジの広い対数特性で撮像することで、感度と広ダイナミックレンジとを両立させることができる。
【０００４】
あるいは、例えば特許文献２に示すように、線形の光電変換特性を有する撮像素子を用いて、露出時間を変えて撮像された画像を合成することで、ダイナミックレンジの広い画像を得る方法が知られている。その他に、ニー特性と呼ばれる入射光量によって傾きの異なる折れ線形の線形の光電変換特性を有するセンサも提案されている。
【０００５】
一方、例えば非特許文献１に示したように、自動車に近赤外カメラを搭載し、夜間の歩行者や前方車両等をモニタに映し出す所謂ナイトビュー機能が開発されている。しかし、近赤外カメラの画像はモノクロであり、肉眼で見たものとはイメージが異なり、違和感がある。
【０００６】
また、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば特許文献３には、Ｒ、Ｇ、Ｂの３色のカラーフィルタと赤外光を透過するＩｒフィルタとを備えた撮像素子で撮像した画像データを用いて、Ｒ、Ｇ、Ｂの色成分からなる可視画像データと赤外画像データとを抽出し、可視画像データから得られる輝度情報と赤外画像データから得られる輝度情報とに重み付けを施して輝度情報を生成することで、疑似カラー画像を生成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−７７７３３号公報
【特許文献２】特開平６−１４１２２９号公報
【特許文献３】特開２００７−１８４８０５号公報
【非特許文献】
【０００８】
【非特許文献１】トヨタ自動車：企業情報＞研究・技術＞ナイトビュー（ｈｔｔｐ：／／ｗｗｗ２．ｔｏｙｏｔａ．ｃｏ．ｊｐ／ｊｐ／ｔｅｃｈ／ｓａｆｅｔｙ／ｔｅｃｈｎｏｌｏｇｉｅｓ／ａｃｔｉｖｅ／ｎｉｇｈｔ＿ｖｉｅｗ．ｈｔｍｌ）２００９年１２月１７日検索
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、夜間はフォトンの量が少ないため、撮像された画像のＳ／Ｎ比が小さくなると言う問題があるが、特許文献３ではこのようなことが考慮されていない。
【００１０】
また、非特許文献１では、対向車のヘッドライト等の強い光によって幻惑されて、画像が見にくくなるという問題もある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的は、下記構成により達成することができる。
【００１３】
１．被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【００１４】
２．被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データをダイナミックレンジ圧縮し、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【００１５】
３．前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
全可視波長域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする前記１または２に記載の撮像装置。
【００１６】
４．前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域を除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の赤色領域を除く波長域と赤外波長域とを有感度波長域とする第３の画素と、
可視波長域と赤外波長域とを有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする前記１または２に記載の撮像装置。
【００１７】
５．前記撮像素子は、
可視波長の赤色領域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の青色領域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする前記１または２に記載の撮像装置。
【００１８】
６．前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする前記１から５の何れか１項に記載の撮像装置。
【００１９】
７．前記撮像素子は、線形の光電変換特性を有し、
前記画像処理部は、露出時間の異なる少なくとも２枚の連続した原画像データに基づいて、１枚の画像データを生成し、これを原画像データとしてカラー画像を生成することを特徴とする前記１から５の何れか１項に記載の撮像装置。
【００２０】
８．前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする前記１から５の何れか１項に記載の撮像装置。
【発明の効果】
【００２１】
本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号とを生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【００２２】
また、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データをダイナミックレンジ圧縮して赤外波長成分を含む輝度信号を生成し、原画像データから可視波長成分の色差信号を生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明における撮像装置の第１の実施の形態を示すブロック図である。
【図２】撮像素子の構成および特性を示す模式図である。
【図３】撮像素子の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図４】画像処理部の構成を示すブロック図である。
【図５】画像処理部の画素補正部の動作を示すフローチャートである。
【図６】画像処理部のダイナミックレンジ圧縮部の動作と構成とを示す模式図である。
【図７】画像処理部の色処理部の動作を示すフローチャートである。
【図８】色処理部の偽色抑制部の構成と動作とを示す模式図である。
【図９】画像処理部のカラー画像生成部の動作を示すフローチャートである。
【図１０】撮像素子の構成の第２の例を示す模式図である。
【図１１】撮像素子の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図１２】撮像素子の構成の第３の例を示す模式図である。
【図１３】撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図１４】撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図である。
【図１５】撮像素子の各フィルタの分光特性の例と、フォトダイオードの分光感度特性の例とを示す模式図である。
【図１６】第２の実施の形態における画像処理部の構成を示すブロック図である。
【図１７】撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
【発明を実施するための形態】
【００２４】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限定されない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略することがある。
【００２５】
最初に、本発明における撮像装置の第１の実施の形態について、図１を用いて説明する、図１は、本発明における撮像装置の第１の実施の形態を示すブロック図である。
【００２６】
図１において、撮像装置１は、撮像光学系２、撮像素子３、画像処理部４、制御部５、記憶部６、表示部７およびインターフェース部（以下、Ｉ／Ｆ部と言う）８等で構成される。
【００２７】
撮像光学系２は、レンズ等で構成され、光軸２１上に被写体の像を結像させる。
【００２８】
撮像素子３は、撮像光学系によって光軸２１上に結像された被写体の像を光電変換し、アナログ／デジタル変換（以下、Ａ／Ｄ変換と言う）して、デジタルの原画像データとして出力する。撮像素子３については、図２および図３で詳述する。被写体は、少なくとも赤外光によって照明されている、あるいは赤外光を発光していることが望ましい。
【００２９】
画像処理部４は、後述する制御部５の制御下で、撮像素子３から出力された原画像データに画像処理を施して、カラー画像を出力する。画像処理部４の構成および動作については、図４から図８で詳述する。
【００３０】
制御部５は、例えばＣＰＵ等で構成され、後述する記憶部６に格納されたプログラムに従って撮像装置１の動作を制御するとともに、Ｉ／Ｆ部８を介して、撮像装置１が接続される外部システムと交信を行う。
【００３１】
記憶部６は、ＲＯＭ、ＲＡＭ等で構成され、制御部５を構成するＣＰＵの動作を規定するプログラムを格納するとともに、制御部５の制御下で、画像処理部から出力されたカラー画像を記憶し出力し、撮像装置１の各部に関する調整データ等を記憶し出力する。
【００３２】
表示部７は、制御部５の制御下で、記憶部６に記憶されたカラー画像を表示する。
【００３３】
Ｉ／Ｆ部８は、制御部５の制御下で、撮像装置１と外部システムとの交信を行う。
【００３４】
次に、撮像素子３の構成および特性について、図２を用いて説明する。図２は、撮像素子３の構成および特性を示す模式図で、図２（ａ）は撮像素子３の光学フィルタ構成を示す模式図であり、図２（ｂ）は撮像素子３の光電変換特性を示す模式図である。
【００３５】
図２（ａ）において、撮像素子３は、リニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、レッド（Ｒｅ）フィルタ、赤外透過（ＩＲ）フィルタの３種類のフィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１との４種類の画素３１が規則的に配置されている。
【００３６】
図示の例では、ある行に、Ｒｅフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＩＲフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【００３７】
図３に、撮像素子３の分光特性の例を示す。図３は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
【００３８】
図３において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｒｅフィルタは、可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、ＩＲおよびＷについても、色と呼ぶ。
【００３９】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【００４０】
従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでを有感度域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度域とする。
【００４１】
このように、フォトンをなるべく受けられる分光感度を持つフィルタを用いることで、フォトダイオードで発生するショットノイズを低減することができる。
【００４２】
図２（ｂ）において、グラフの横軸は撮像素子３の画素３１に入射する光の光量Ｌを対数軸で示してあり、縦軸は画素３１の出力のＡ／Ｄ変換後の出力ＶＬを示してある。撮像素子３の各画素３１の光電変換特性は、変曲点Ｐｔよりも入射光量Ｌが少ない低輝度領域Ａ１では線形特性を示し、変曲点Ｐｔよりも入射光量Ｌが多い高輝度領域Ａ２では対数特性を示すリニアログ特性であり、広いダイナミックレンジ（以下、Ｄレンジと言う）を有している。
【００４３】
ただし、実際には、線形特性と対数特性とは、変曲点を境に完全に切り替わるのではなく、変曲点近傍では、線形でも対数でもない過渡的な特性の領域が存在する。この特性を線形対数特性と呼び、過渡的な領域を線形対数領域と呼ぶ。線形対数領域については、例えば特開２００７−２５１８９８号公報等に記載されている。また、撮像素子３の画素３１の構成や駆動方法、リニアログ特性の変曲点Ｐｔの調整方法等は、上述した特許文献１を始め、多くの文献に詳述されている。
【００４４】
また、撮像素子３にはＡ／Ｄ変換器が内蔵されており、撮像素子３からは、例えば各々１４ｂｉｔのリニアログ特性のＹｅ画像成分、Ｒｅ画像成分、ＩＲ画像成分およびＷ画像成分の各色の画像成分で構成される原画像データＤ３が出力される。なお、Ａ／Ｄ変換器は、撮像素子３の外部に設けられてもよいし、制御部５に内蔵されてもよい。
【００４５】
次に、画像処理部４の構成について、図４を用いて説明する。図４は、画像処理部４の構成を示すブロック図である。
【００４６】
図４において、画像処理部４は、画素補正部４１、輝度信号生成部４３、色処理部４５およびカラー画像生成部４７等で構成される。各部は、ハードウェアで構成されてもよいし、ＣＰＵとソフトウェアとで構成されてもよいし、ハードウェアとＣＰＵおよびソフトウェアとの混成で構成されてもよい。
【００４７】
画素補正部４１は、撮像素子３から出力された原画像データＤ３に、黒オフセット補正、変曲点補正、リニアログ特性の対数特性への変換、欠陥画素補正、露出補正等の処理を施して、画素補正画像データＤ４１を出力する。画素補正画像データＤ４１は、各々１６ｂｉｔの対数特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される。画素補正部４１の動作の詳細は図５で説明する。
【００４８】
輝度信号生成部４３は、画素補正部４１から出力された画素補正画像データＤ４１に、Ｄレンジ圧縮、対数特性の線形特性への変換、色画素補間等の処理を施して、各々１２ｂｉｔの線形特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される第２補正画像データＤ４３を得、第２補正画像データＤ４３から輝度信号Ｙａｄｄを生成する。輝度信号Ｙａｄｄは、１２ｂｉｔの線形データである。輝度信号生成部４３の動作の詳細は図６で説明する。
【００４９】
色処理部４５は、輝度信号生成部４３から出力された輝度信号Ｙａｄｄと、画素補正部４１から出力された画素補正画像データＤ４１とを用いて、特許文献４の方法を改良した各処理を行い、色信号Ｄ４５を出力する。色信号Ｄ４５は、各々８ｂｉｔの線形の赤（Ｒ）画像成分、緑（Ｇ）画像成分、青（Ｂ）画像成分の各画像成分で構成される。色処理部４５の動作の詳細は図７および図８で説明する。
【００５０】
カラー画像生成部４７は、色処理部４５から出力された色信号Ｄ４５に対して、ホワイトバランス補正、色補正、ガンマ補正、色空間変換、エッジ強調等の処理を施し、カラー画像Ｄ４を出力する。カラー画像Ｄ４は、各々８ｂｉｔの線形の輝度信号Ｙ４と色差信号Ｃｂ４、Ｃｒ４とで構成される。カラー画像生成部４７の動作の詳細は図９で説明する。
【００５１】
図５は、画像処理部４の画素補正部４１の動作を示すフローチャートである。
【００５２】
図５において、ステップＳ４１１で、撮像素子３から出力された原画像データＤ３に、画素単位での黒レベルのオフセット補正が施されて、黒補正原画像データＤ４１１（Ｙｅ１、Ｒｅ１、ＩＲ１、Ｗ１）が生成される。各画素のオフセット値は、予め測定されて、記憶部６に記憶されている。黒オフセット補正については、例えば特開２００５−０７９７６６号公報等に詳述されている。
【００５３】
ステップＳ４１３で、ステップＳ４１１で黒オフセット補正が施された黒補正原画像データＤ４１１の光電変換特性が、リニアログ特性から基準の対数特性に特性変換され、対数原画像データＤ４１３（Ｙｅ２、Ｒｅ２、ＩＲ２、Ｗ２）が生成される。対数原画像データＤ４１３は、１６ｂｉｔの対数特性データである。
【００５４】
特性変換は、リニアログ特性を、線形特性、変曲点近傍の過渡的な特性である線形対数特性および対数特性の３つのブロックに分けて、各ブロック毎に行われる。特性変換によって、画素毎の変曲点バラツキも補正される。特性変換については、例えば特開２００７−０７４４８８号公報や特開２００７−２５１８９８号公報等に詳述されている。
【００５５】
また、さらに必要に応じて、対数特性を、傾きの異なる第１対数特性と第２対数特性との２つのブロックに分け、合計４つの領域に分けて特性変換してもよい。
【００５６】
ステップＳ４１５で、対数原画像データＤ４１３の画素欠陥のある位置に、画素欠陥補正が施され、欠陥補正原画像データＤ４１５（Ｙｅ３、Ｒｅ３、ＩＲ３、Ｗ３）が生成される。画素欠陥補正は、隣接の同色の画素のデータを用いて線形補間する等のデジタルカメラ等で周知の方法で行われればよい。
【００５７】
ステップＳ４１７で、欠陥補正原画像データＤ４１５の各データの平均値が所定値になるようなゲインが演算され、欠陥補正原画像データＤ４１５に乗算されて、画素補正画像データＤ４１（Ｙｅ４、Ｒｅ４、ＩＲ４、Ｗ４）が生成される。これによって、画像の暗部が黒ツブレすることなく再現される。
【００５８】
図６は、画像処理部４の輝度信号生成部４３の動作と構成とを示す模式図で、図６（ａ）は輝度信号生成部４３の動作を示すフローチャートであり、図６（ｂ）は輝度信号生成部４３の中の照明成分抽出部および照明成分圧縮部の構成を示すブロック図である。
【００５９】
図６（ａ）において、ステップＳ４３１で、画素補正画像データＤ４１の照明成分Ｌが抽出され、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。
【００６０】
ステップＳ４３３で、照明成分Ｌが圧縮されて圧縮照明成分Ｌ’が生成され、圧縮照明成分Ｌ’と反射率成分Ｒとが加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３（Ｙｅ５、Ｒｅ５、ＩＲ５、Ｗ５）が生成される。
【００６１】
ステップＳ４３１およびＳ４３３の動作は、図６（ｂ）に示す構成によって実現される。図６（ｂ）において、照明成分抽出部４３１は、例えば階層化ローパスフィルタ等で構成され、入力された画素補正画像データＤ４１の低周波成分が照明成分Ｌとして抽出される。照明成分圧縮部４３３は、例えば乗算器等で構成され、所定値Ｇｄｒｃと照明成分Ｌとを乗算することで、圧縮照明成分Ｌ’を得る。ここに、
Ｌ’＝Ｌ×Ｇｄｒｃ ・・・（１式）
である。
【００６２】
一方、減算器４３２によって、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。圧縮照明成分Ｌ’と反射率成分Ｒとが加算器４３４によって加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が生成される。照明成分を圧縮することで、局所的なコントラストを保存したま全体のＤレンジを圧縮することができる。なお、Ｄレンジ圧縮処理については、例えば特開２００１−２７５０１５号公報や特開２００９−０８１５２６号公報等に詳述されている。
【００６３】
図６（ａ）に戻って、ステップＳ４３５で、対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が、線形特性の線形Ｄレンジ圧縮画像データＤ４３５（Ｙｅ６、Ｒｅ６、ＩＲ６、Ｗ６）に変換される。変換は所定の変換テーブルによって行われ、１６ｂｉｔの対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が１２ｂｉｔの線形特性の線形Ｄレンジ圧縮画像データＤ４３５に変換される。
【００６４】
ステップＳ４３７で、線形Ｄレンジ圧縮画像データＤ４３５の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、色画素補間画像データＤ４３７（Ｙｅ７、Ｒｅ７、ＩＲ７、Ｗ７）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
【００６５】
ステップＳ４３９で、色画素補間画像データＤ４３７の各画素での各画像成分を加算平均することで、画像処理の対象となっている原画像データＤ３の色空間の輝度信号Ｙａｄｄが生成される。ここに、
Ｙａｄｄ＝（Ｙｅ７＋Ｒｅ７＋ＩＲ７＋Ｗ７）／４ ・・・（２式）
である。
【００６６】
輝度信号Ｙａｄｄは、赤外光を含む原画像データＤ３に基づいて、Ｄレンジ圧縮処理を施した信号を加算して得られた輝度信号である。このように、画像表示時に視覚的に目立つ輝度成分を加算のみで生成するために、ノイズを低減することができる。また、可視光に対して赤外光が強い場合には、輝度信号Ｙａｄｄを用いることで解像度の高い画像を得ることができる。なお、輝度信号生成部４３は、ステップＳ４３９の動作を実行することで、本発明における輝度信号生成部として機能する。
【００６７】
なお、輝度信号Ｙａｄｄは、色画素補間画像データＤ４３７の各画素での各画像成分に重み付けをして加算することで求められてもよい。ここに、
Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｒｅ７＋ａ３×ＩＲ７＋ａ４×Ｗ７）／４ ・・・（２’式）
である。ただし、ａ１、ａ２、ａ３、ａ４は重み付け係数で、ａ１＋ａ２＋ａ３＋ａ４＝１である。重み付け係数は、例えば予め決められた値を用いればよい。
【００６８】
図７は、画像処理部４の色処理部４５の動作を示すフローチャートである。
【００６９】
図７において、ステップＳ４５１で、画素補正部４１で生成された１６ｂｉｔの対数特性の画素補正画像データＤ４１に所定の変換テーブルを適用することで、３２ｂｉｔの線形特性に特性変換が行われ、線形画像データＤ４５１（Ｙｅ８、Ｒｅ８、ＩＲ８、Ｗ８）が得られる。
【００７０】
ステップＳ４５２で、線形画像データＤ４５１の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、補間画像データＤ４５２（Ｙｅ９、Ｒｅ９、ＩＲ９、Ｗ９）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
【００７１】
ステップＳ４５３で、補間画像データＤ４５２から、可視光の色信号である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号が演算され、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）が得られる。各色信号の演算式は、
Ｒ＝Ｒｅ９−ＩＲ９ ・・・（３−１式）
Ｇ＝Ｙｅ９−Ｒｅ９ ・・・（３−２式）
Ｂ＝Ｗ９−Ｙｅ９ ・・・（３−３式）
である。ただし、演算結果が負になった場合には、０（ゼロ）に置き換える。
【００７２】
色信号データＤ４５３は、赤外光を含む原画像データＤ３から色画素補間された補間画像データＤ４５２の可視光成分のみが抽出された信号であり、補間画像データＤ４５２には、Ｄレンジ圧縮は施されていない。
【００７３】
これは、ステップＳ４３７で生成された色画素補間画像データＤ４３７のような赤外光を含んだ原画像データにＤレンジ圧縮を施した信号を用いて色信号を生成すると、原画像データ中の可視光成分のＤレンジに関係なくＤレンジ圧縮された信号に基づいて色信号が生成されるために、色信号の彩度が低下するので、それを防止するためである。
【００７４】
ステップＳ４５４で、上述した各処理で歪んだ色信号データＤ４５３のホワイトバランス（以下、ＷＢと言う）をとるために、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に所定の第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）が乗算されて、第１ＷＢ補正色信号Ｄ４５４（Ｒ１、Ｇ１、Ｂ１）が生成される。ここに、
Ｒ１＝Ｒ×ｇｒ ・・・（４−１式）
Ｇ１＝Ｇ×ｇｇ ・・・（４−２式）
Ｂ１＝Ｂ×ｇｂ ・・・（４−３式）
である。なお、第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）は、予め求められて記憶部６に記憶されていればよい。
【００７５】
ステップＳ４５５で、第１ＷＢ補正色信号Ｄ４５４から、可視輝度信号Ｙと色差信号Ｃｂ、Ｃｒとが演算されて、輝度色差信号Ｄ４５５（Ｙ、Ｃｂ、Ｃｒ）が生成される。演算式は、
Ｙ＝０．２９９×Ｒ１＋０．５８７×Ｇ１＋０．１１４×Ｂ１ ・・・（５−１式）
Ｃｂ＝−０．１６９×Ｒ１−０．３３１×Ｇ１＋０．５００×Ｂ１・・・（５−２式）
Ｃｒ＝０．５００×Ｒ１−０．４１９×Ｇ１−０．０８１×Ｇ１ ・・・（５−３式）
である。なお、ステップＳ４５５は、本発明における色差信号生成部として機能する。
【００７６】
ここで、ステップＳ４５３で得られた色信号データＤ４５３は、可視光成分のみのデータであるので、ステップＳ４５３の後にステップＳ４９１を設け、色信号データＤ４５３に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色信号を生成してもよい。
【００７７】
あるいは、ステップＳ４５５で得られた輝度色差信号Ｄ４５５も可視光成分のみのデータであるので、ステップＳ４５５の後にステップＳ４９２を設け、輝度色差信号Ｄ４５５に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色差信号を生成してもよい。
【００７８】
いずれにしても、Ｄレンジ圧縮を施すことで、照明成分を圧縮して、局所的なコントラストを保存したま全体のＤレンジを圧縮することができ、データサイズを小さくして、以後の演算を容易にすることができる。
【００７９】
ステップＳ４５６で、輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒと、図６のステップＳ４３９で求められた輝度信号Ｙａｄｄとから、原画像のエッジ部に発生する偽色を抑制した色差信号Ｃｂ’、Ｃｒ’が生成される。詳細は、図８で説明する。
【００８０】
図８は、図７のステップＳ４５６に相当する色処理部４５の偽色抑制部４５６の構成と動作とを示す模式図で、図８（ａ）は偽色抑制部４５６の構成を示すブロック図であり、図８（ｂ）は偽色抑制部４５６で使用されるフィルタの構成図であり、図８（ｃ）は偽色抑制部４５６で使用される係数を示すグラフである。
【００８１】
図８（ａ）において、偽色抑制部４５６は、輝度高周波検出部４５６ａと色差信号変調部４５６ｂとの２つのブロックで構成されている。
【００８２】
輝度高周波検出部４５６ａは、原画像のエッジ検出を行うために、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄに、図８（ｂ）で示すＰｒｅｗｉｔｔフィルタ（水平方向がｇＨＳ、垂直方向がｇＶＳ）を適用して、エッジ量Ｙｅｄｇｅを算出する。ここに、
Ｙｅｄｇｅ＝｜ｇＨＳ×Ｙａｄｄ｜＋｜ｇＶＳ×Ｙａｄｄ｜ ・・・（６式）
である。
【００８３】
次に、エッジ量Ｙｅｄｇｅから、輝度高周波信号Ｙ’ｅｄｇｅが算出され、色差信号変調部４５６ｂに出力される。ここに、
Ｙ’ｅｄｇｅ＝Ｙｅｄｇｅ／（Ｙａｄｄ×９） ・・・（７式）
である。輝度高周波信号Ｙ’ｅｄｇｅは、１以上となる場合もある。
【００８４】
一方、色差信号変調部４５６ｂは、輝度高周波検出部４５６ａで生成された輝度高周波信号Ｙ’ｅｄｇｅに基づいて、図８（ｃ）に示す偽色抑制係数ｋを決定する。ここに、偽色抑制係数ｋは、
Ｙ’ｅｄｇｅ＜閾値αの時、
ｋ＝１
閾値α≦Ｙ’ｅｄｇｅ≦閾値βの時、
ｋ＝−Ｙ’ｅｄｇｅ／（β−α）−β／（β−α）
閾値β＜Ｙ’ｅｄｇｅの時、
ｋ＝０
である。閾値αおよびβは、画像の種類や用途等によって予め決定され、記憶部６に記憶されればよい。
【００８５】
この偽色抑制係数ｋを用いて、図７のステップＳ４５５で生成された輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒを変調することで、エッジ部の色信号が抑制された変調色差信号Ｄ４５６（Ｃｂ１、Ｃｒ１）が得られる。ここに、
Ｃｂ１＝ｋ×Ｃｂ ・・・（８−１式）
Ｃｒ１＝ｋ×Ｃｒ ・・・（８−２式）
である。
【００８６】
これによって、撮像素子３の光学フィルタ配列に起因して原画像のエッジ部に発生する偽色を抑制することができる。また、後述するステップＳ４５８でのスムージング処理の前にステップＳ４５６で偽色抑制を行っておくことで、エッジ部に発生する偽色を、より効果的に抑制することができる。
【００８７】
図７に戻って、ステップＳ４５７で、赤外光成分に比べて可視光成分が少ない場合に画像の彩度が高くなりすぎるのを防止するために、変調色差信号Ｄ４５６に、赤外光に対する可視光の量に応じた所定の係数ｖｂ、ｖｒを乗算することで、変調色差信号Ｄ４５６の彩度を赤外光に対する可視光の量に応じて抑圧した彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）が生成される。ここに、
Ｃｂ２＝Ｃｂ１×ｖｂ ・・・（９−１式）
Ｃｒ２＝Ｃｒ１×ｖｒ ・・・（９−２式）
である。
【００８８】
可視光の成分の量は、ステップＳ４５２で得られた補間画像データＤ４５２のＷ画像成分とＩＲ画像成分との差（Ｗ−ＩＲ）や、Ｗ画像成分とＩＲ画像成分との比（Ｗ／ＩＲ）等で算出できる。また、所定の係数（ｖｂ、ｖｒ）は、例えば、Ｗ画像成分とＩＲ画像成分との差や比等に応じて、予めルックアップテーブル（以下、ＬＵＴと言う）の形で用意され、記憶部６に記憶されればよい。
【００８９】
ステップＳ４５８で、画素単位でのノイズ低減のために、ステップＳ４５７で得られた彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）に３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、ノイズ成分がぼかされてＳ／Ｎ比が向上された色差低周波信号Ｃｂｓ、Ｃｒｓが得られる。
【００９０】
ステップＳ４５３での色信号の演算では減算が用いられているのでノイズが増えるが、ステップＳ４５８でのスムージング処理によってノイズが減り、かつ人間の目の視覚特性のために、スムージング処理してもぼけて見えることはない。
【００９１】
同様に、ステップＳ４５５で得られた可視光の輝度色差信号Ｄ４５５の可視輝度信号Ｙに、３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、可視輝度信号Ｙの低周波成分が抽出された可視輝度低周波信号Ｙｓが抽出される。
【００９２】
ステップＳ４５９で、図６のステップＳ４３９で生成された色差低周波信号Ｃｂｓ、Ｃｒｓが、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙとに基づいて補正されて、補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）が生成される。補正に際して、輝度と色との空間周波数帯域を揃えることによって、輝度差の大きいエッジ領域に偽色が発生することを防止する。
【００９３】
そこで、単に、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）
として補正するだけでなく、例えば、可視光の輝度の高周波成分と低周波成分とを含む可視輝度信号Ｙと、低周波成分のみを含む可視輝度低周波信号Ｙｓとの比（Ｙ／Ｙｓ）をとることで抽出した高輝度成分を、上述した補正項に重畳することで、輝度と色の空間周波数帯域を揃える。ここに、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ） ・・・（１０−１式）
である。同様に、
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ） ・・・（１０−２式）
である。色差低周波信号Ｃｂｓ、Ｃｒｓは１２ビットの線形特性の信号である。
【００９４】
あるいは、（１０−１式）および（１０−２式）から可視輝度信号Ｙを約分して消去した、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ） ・・・（１０−１’式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ） ・・・（１０−２’式）
でもよい。
【００９５】
このように、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙ、あるいは輝度低周波信号Ｙａｄｄｓと可視輝度低周波信号Ｙｓとに基づいて補正色差信号Ｄ４５９を求めることで、変換対象となる色空間における色差信号と輝度信号とをバランスよく算出することができる。
【００９６】
さらに、補正色差信号Ｄ４５９を求めるのに、輝度成分から抽出した高周波成分を重畳することで、輝度信号と色信号との空間周波数帯域がそろうために、輝度差の大きいエッジ領域等に偽色が発生することが緩和される。
【００９７】
ステップＳ４６０で、ステップＳ４５９で得られた補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）と、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄとから、色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）が演算される。演算式は、
Ｒ２＝Ｙａｄｄ＋１．４０２×Ｃｒｍ ・・・（１１−１式）
Ｇ２＝Ｙａｄｄ−０．３４４×Ｃｂｍ−０．７１４×Ｃｒｍ・・・（１１−２式）
Ｂ２＝Ｙａｄｄ＋１．７７２×Ｃｂｍ ・・・（１１−３式）
である。色信号Ｄ４５は、各々８ｂｉｔの線形特性のデータである。
【００９８】
色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）は、上述の処理を経て演算されたものであるため、ステップＳ４５３で補間画像データＤ４５２から減算処理によって演算された色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に比べてはるかに精度の高い色信号となっている。
【００９９】
なお、上述した（１０−１式）および（１０−２式）、あるいは（１０−１’式）および（１０−２’式）の処理は、赤外光領域を含まない構成であっても成り立つ。赤外光領域を含まない構成とは、通常の原色系あるいは補色系のフィルタと、赤外カットフィルタとの組み合わせであって、例えば、撮像素子のある行にイェロー（Ｙｅ）フィルタを設けた画素（Ｙｅ画素と言う）とフィルタを設けない画素（Ｗ画素と言う）とが交互に配列され、隣接する行にレッド（Ｒｅ）フィルタを設けた画素（Ｒｅ画素）とＷ画素とが交互に配列され、これが行毎に交互に繰り返されている組み合わせの全体に赤外カットフィルタを設けた構成が考えられる。
【０１００】
その他に考えられる画素配列としては、
１）撮像素子のある行にＹｅ画素とＷ画素とが交互に配列され、隣接する行にグリーンフィルタを設けた画素（Ｇ画素）とＷ画素とが交互に配列されたもの
２）撮像素子のある行にシアンフィルタを設けた画素（Ｃ画素）とマゼンタフィルタを設けた画素（Ｍ画素）とが交互に配列され、隣接する行にＹｅ画素とＧ画素とが交互に配列されたもの
３）撮像素子のある行にＲｅ画素とＧ画素とが交互に配列され、隣接する行にＧ画素とブルー（Ｂ）フィルタを設けた画素（Ｂ画素）とが交互に配列されたもの
等がある。ただし、画素配列は、これに限定されるものではない。
【０１０１】
従来の可視補色フィルタを用いた場合、ＣＭＹ画像からＲＧＢ画像を得て、ＲＧＢ画像から求めた輝度Ｙを加算輝度Ｙａｄｄに置き換えることで輝度のＳ／Ｎ向上させることができるが、以降の処理で再度ＲＧＢに置換した場合に、輝度Ｙと加算輝度Ｙａｄｄとの違いが色の違いとして現れるという問題がある。
【０１０２】
しかし、上述した（１０−１式）および（１０−２式）、あるいは（１０−１’式）および（１０−２’式）の処理を施すことで、ＲＧＢの色の比が保存されるので、色再現性が向上する効果がある。
【０１０３】
図９は、画像処理部４のカラー画像生成部４７の動作を示すフローチャートである。
【０１０４】
図９において、ステップＳ４７１で、ステップＳ４５４以降の各処理で歪んだＷＢを補正するために、ステップＳ４６０で得られた色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）に所定の第２のＷＢゲイン（ｇｒ２、ｇｇ２、ｇｂ２）が乗算されて、第２ＷＢ補正色信号Ｄ４７１（Ｒ３、Ｇ３、Ｂ３）が得られる。ここに、
Ｒ３＝Ｒ２×ｇｒ２ ・・・（１２−１式）
Ｇ３＝Ｇ２×ｇｇ２ ・・・（１２−２式）
Ｂ３＝Ｂ２×ｇｂ２ ・・・（１２−３式）
である。
【０１０５】
ステップＳ４７３で、第２ＷＢ補正色信号Ｄ４７１に所定の行列を用いて色補正が施され、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）が生成される。ここに、
【０１０６】
【数１】
【０１０７】
である。所定の行列は、予め決定されて、記憶部６に記憶されればよい。
【０１０８】
ステップＳ４７５で、例えば表示部７や外部のディスプレイ等のような出力機器のガンマ特性に合わせて、色補正色信号Ｄ４７３にガンマ補正を施し、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）が生成される。
【０１０９】
ガンマ補正は、例えば表示部７のような出力機器のガンマ特性に合わせて予め用意されたガンマ補正ＬＵＴを用いて、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）を変換すればよい。あるいは、例えばＩＥＣ ６１９６６−２−１ ｓＲＧＢ規格のような標準的なディスプレイの規格に合わせてガンマ補正してもよい。
【０１１０】
ステップＳ４７７で、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）から輝度信号Ｙ３と色差信号Ｃｂ３、Ｃｒ３とが演算されて、第２輝度色差信号Ｄ４７７（Ｙ３、Ｃｂ３、Ｃｒ３）が生成される。演算式はステップＳ４５５と同様で、
Ｙ３＝０．２９９×Ｒ５＋０．５８７×Ｇ５＋０．１１４×Ｂ５ ・・・（１４−１式）
Ｃｂ３＝−０．１６９×Ｒ５−０．３３１×Ｇ５＋０．５００×Ｂ５・・・（１４−２式）
Ｃｒ３＝０．５００×Ｒ５−０．４１９×Ｇ５−０．０８１×Ｇ５ ・・・（１４−３式）
である。
【０１１１】
ステップＳ４７９で、第２輝度色差信号Ｄ４７７にエッジ強調処理が施されて、カラー画像Ｄ４（Ｙ４、Ｃｂ４、Ｃｒ４）が生成され、画像処理部４から出力される。カラー画像Ｄ４は、各々８ｂｉｔの線形の信号である。
【０１１２】
上述した第１の実施の形態は、図２に示した例とは異なる構成の撮像素子にも適用できる。そこで、撮像素子の構成の第２の例について、図１０および図１１を用いて説明する。図１０は、撮像素子の構成の第２の例を示す模式図である。
【０１１３】
図１０において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂ）フィルタ、緑（Ｇ）フィルタ、赤（Ｒ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。
【０１１４】
図示の例では、ある行に、Ｂフィルタが設けられた画素３１とＲフィルタが設けられた画素３１とが交互に配列され、次の行にはＧフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１１５】
図１１に、撮像素子３の分光特性の一例を示す。図１１は、撮像素子の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【０１１６】
図１１において、Ｂフィルタは可視波長の青色領域を透過させる。Ｇフィルタは可視波長の緑色領域を透過させる。Ｒフィルタは可視波長の赤色領域を透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
【０１１７】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１１８】
従って、撮像素子３のＢフィルタが設けられた画素３１（以下、Ｂ画素と言う。各色とも同じである。）は、可視波長域の青色を有感度域とし、Ｇ画素は可視波長域の緑色を有感度域とし、Ｒ画素は可視波長域の赤色を有感度域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とする。
【０１１９】
撮像素子３の構成の第２の例を用いる場合には、色フィルタの構成が図２の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、
Ｙａｄｄ＝（Ｂ７＋Ｇ７＋Ｒ７＋ＩＲ７）／４ ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｂ７＋ａ２×Ｇ７＋ａ３×Ｒ７＋ａ４×ＩＲ７）／４ ・・・（２’式）
Ｒ＝Ｒ９ ・・・（３−１式）
Ｇ＝Ｇ９ ・・・（３−２式）
Ｂ＝Ｂ９ ・・・（３−３式）
である。
【０１２０】
さらに、撮像素子の構成の第３の例について、図１２および図１３を用いて説明する。図１２は、撮像素子の構成の第３の例を示す模式図である。
【０１２１】
図１２において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂｌ）フィルタ、緑（Ｇｒ）フィルタ、赤（Ｒｅ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。図１０の第２の例と記号が異なるのは、図１３に示す各フィルタの分光感度が異なるからである。
【０１２２】
図示の例では、ある行に、Ｂｌフィルタが設けられた画素３１とＲｅフィルタが設けられた画素３１とが交互に配列され、次の行にはＧｒフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１２３】
図１３に、撮像素子３の分光特性の一例を示す。図１３は、撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【０１２４】
図１３において、Ｂｌフィルタは可視波長の青色領域と赤外波長域とを透過させる。Ｇｒフィルタは可視波長の緑色領域と赤外波長域とを透過させる。Ｒｅフィルタは可視波長の赤色領域と赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
【０１２５】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１２６】
従って、撮像素子３のＢｌ画素は、可視波長域の青色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度域とし、Ｇｒ画素は可視波長域の緑色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでとを有感度域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とする。
【０１２７】
撮像素子３の構成の第３の例を用いる場合には、色フィルタの構成が図２および図１０の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、
Ｙａｄｄ＝（Ｂｌ７＋Ｇｒ７＋Ｒｅ７＋ＩＲ７）／４ ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｂｌ７＋ａ２×Ｇｒ７＋ａ３×Ｒｅ７＋ａ４×ＩＲ７）／４ ・・・（２’式）
Ｒ＝Ｒｅ９−ＩＲ９ ・・・（３−１式）
Ｇ＝Ｇｒ９−ＩＲ９ ・・・（３−２式）
Ｂ＝Ｂｌ９−ＩＲ９ ・・・（３−３式）
である。
【０１２８】
上述したように、第１の実施の形態によれば、撮像光学系と、リニアログ特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１２９】
次に、本発明における撮像装置の第２の実施の形態について、図１４から図１６を用いて説明する。撮像装置の第２の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１４は、撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図で、図１４（ａ）は撮像素子の光電変換特性を示す模式図であり、図１４（ｂ）は撮像素子のフィルタ構成を示す模式図である。
【０１３０】
図１４（ａ）において、撮像素子３は、通常の線形特性の光電変換特性を有している。通常の線形特性の光電変換特性を有する撮像素子３を用いて、第１の輝度範囲Ａ１を第１のシャッタ速度ＳＳ１で撮像することで、第１の光電変換特性Ｓ１が得られる。同様に、第１の輝度範囲Ａ１よりも明るく、第１の輝度範囲Ａ１と重なる輝度領域Ａ３を有する第２の輝度範囲Ａ２を、第１のシャッタ速度ＳＳ１よりも早い第２のシャッタ速度ＳＳ２で撮像することで、第２の光電変換特性Ｓ２が得られる。
【０１３１】
画像処理部４によって、第１の光電変換特性Ｓ１と第２の光電変換特性Ｓ２とを、重なる輝度領域Ａ３の部分で連結することで、輝度範囲（Ａ１＋Ａ２）をカバーする広いＤレンジを有する光電変換特性Ｓ３を合成することができる。理論的には重なる輝度領域Ａ３はなくてもよいので、この方法で通常の線形特性の光電変換特性の最大２倍のＤレンジを得ることができる。
【０１３２】
従って、第１の光電変換特性Ｓ１および第２の光電変換特性Ｓ２が例えば１４ビットのデータの場合、光電変換特性Ｓ３は最大２８ビットのデータとなる。同様にして３つ以上の輝度範囲を連結することも可能である。
【０１３３】
図１４（ｂ）において、撮像素子３は、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、マゼンタ（Ｍ）フィルタ、シアン（Ｃ）フィルタの３種類の補色フィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１とが規則的に配置されている。
【０１３４】
図示の例では、ある行に、Ｍフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＣフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１３５】
図１５に、撮像素子３の分光特性の例を示す。図１５は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
【０１３６】
図１５において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｍフィルタは、可視波長の緑色領域を除く波長域と赤外波長域とを透過させる。Ｃフィルタは、可視波長の赤色領域を除く波長域と赤外波長域とを透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、Ｗについても、色と呼ぶ。
【０１３７】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１３８】
従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度域とし、Ｍ画素は可視波長域の青色と赤色と赤外波長域の１１００ｎｍまでを有感度域とし、Ｃ画素は可視波長域の青色と緑色と赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度域とする。
【０１３９】
図１６は、第２の実施の形態における画像処理部４の構成を示すブロック図である。
【０１４０】
図１６において、画像処理部４は、図４に示した第１の実施の形態の画素補正部４１の前に、Ｄレンジ拡大部４９を有している。
【０１４１】
Ｄレンジ拡大部４９は、撮像素子３で第１のシャッタ速度ＳＳ１で撮像された原画像データＤ３１（Ｙｅ、Ｍ、Ｃ、Ｗ）と、原画像データＤ３１に連続して第２のシャッタ速度ＳＳ２で撮像された原画像データＤ３２（Ｙｅ、Ｍ、Ｃ、Ｗ）とに基づいて、図１４（ａ）で説明した方法により、Ｄレンジが拡大された原画像データＤ３（Ｙｅ、Ｍ、Ｃ、Ｗ）を合成する。これ以降は、原画像データＤ３を用いて画像処理を行う。画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。
【０１４２】
原画像データＤ３は線形特性のデータであるので、図５から図９に示した画像処理部４の各部の動作の中で、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要であり、画像処理部４の各部の動作は全て線形特性で取り扱うことができる。
【０１４３】
ただし、上述したように、原画像データＤ３はビット数の大きいデータであるので、ステップＳ４１３（線形対数変換）で対数圧縮することで、ビット数の小さいデータに変換してから、それ以降の演算を行うことでもよい。その場合には、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）での線形伸張が必要となる。
【０１４４】
また、第２の実施の形態の撮像素子３は、色フィルタの構成が第１の実施の形態とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、
Ｙａｄｄ＝（Ｙｅ７＋Ｍ７＋Ｃ７＋Ｗ７）／４ ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｍ７＋ａ３×Ｃ７＋ａ４×Ｗ７）／４ ・・・（２’式）
Ｒ＝Ｗ９−Ｃ９ ・・・（３−１式）
Ｇ＝Ｗ９−Ｍ９ ・・・（３−２式）
Ｂ＝Ｗ９−Ｙｅ９ ・・・（３−３式）
である。
【０１４５】
第２の実施の形態の画像処理部４の各部のその他の動作は、図５から図９に示したものと同じであるので、説明は省略する。
【０１４６】
上述したように、第２の実施の形態によれば、撮像光学系と、線形特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて異なるシャッタ速度で撮像された２枚の画像を合成した原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１４７】
次に、本発明における撮像装置の第３の実施の形態について、図１７を用いて説明する。撮像装置の第３の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１７は、撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
【０１４８】
図１７において、撮像素子３は、ニー特性と呼ばれる折れ線形の線形の光電変換特性を有している。ニー特性は、入射光量が少ない低輝度域Ａ１では傾きの大きい線形の第１の光電変換特性Ｓ１を有し、入射光量が多い高輝度域Ａ２では傾きの小さい線形の第２の光電変換特性Ｓ２を有している。
【０１４９】
第２の実施の形態と同様に、図１６に示した画像処理部４のＤレンジ拡大部４９によって、第２の光電変換特性Ｓ２を、第１の光電変換特性Ｓ１の延長線上に伸張することで、輝度範囲（Ａ１＋Ａ２）をカバーする広いＤレンジを有する線形の光電変換特性Ｓ３を得ることができる。あるいは、第１の光電変換特性Ｓ１の傾きを第２の光電変換特性の傾きに合わせて寝かせ、第２の光電変換特性Ｓ２と連結することで、輝度範囲（Ａ１＋Ａ２）をカバーするビット数の小さい線形の光電変換特性Ｓ４を得ることもできる。
【０１５０】
画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。また、得られる原画像データは線形特性であるので、第２の実施の形態と同様に、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要である。さらに、色処理に関しては、用いるフィルタに合わせて、第１の実施の形態の式か第２の実施の形態の式かを使い分ければよい。
【０１５１】
上述したように、第３の実施の形態によれば、撮像光学系と、ニー特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５２】
なお、上述した第１から第３の実施の形態では、撮像素子３は４種類の異なるフィルタを備えているとしたが、これに限定されるものではなく、少なくとも３種類のフィルタを備えていればよい。この場合、フィルタの種類として、各フィルタの分光透過特性から赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を生成することができる種類のものを採用すればよい。
【０１５３】
以上に述べたように、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号とを生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５４】
また、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データをダイナミックレンジ圧縮して赤外波長成分を含む輝度信号を生成し、原画像データから可視波長成分の色差信号を生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５５】
なお、本発明に係る撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【０１５６】
１ 撮像装置
２撮像光学系
２１ 光軸
３ 撮像素子
３１ 画素
４ 画像処理部
４１ 画素補正部
４３ 輝度信号生成部
４３１ 照明成分抽出部
４３３ 照明成分圧縮部
４５ 色処理部
４５６ 偽色抑制部
４５６ａ 輝度高周波検出部
４５６ｂ 色差信号変調部
４７ カラー画像生成部
４９ Ｄレンジ拡大部
５ 制御部
６ 記憶部
７ 表示部
８ インターフェース（Ｉ／Ｆ）部
Ｌ 光量
ＶＬ 出力
Ｐｔ 変曲点
Ｙａｄｄ 輝度信号
Ｙ 可視輝度信号
Ｃｂ、Ｃｒ 色差信号
Ｄ４ カラー画像
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に広ダイナミックレンジな原画像データを画像処理してカラー画像を生成する撮像装置に関する。
【背景技術】
【０００２】
一般的な線形の光電変換特性を有する撮像素子は、そのダイナミックレンジが狭いために、通常の被写体であっても、暗部あるいは明部の輝度分布が正確に撮像されない。また、対数変換型の光電変換特性を有する撮像素子は、通常の被写体に対しては十分広いダイナミックレンジを有するが、低輝度側の感度に難点がある。
【０００３】
そこで、例えば特許文献１に示すように、入射光量に応じて線形特性と対数特性との２つの光電変換特性（以下、リニアログ特性と言う）を有する、線形対数変換型撮像素子（以下、リニアログセンサと言う）が知られている。リニアログセンサによれば、低輝度側を感度の高い線形特性で撮像し、高輝度側をダイナミックレンジの広い対数特性で撮像することで、感度と広ダイナミックレンジとを両立させることができる。
【０００４】
あるいは、例えば特許文献２に示すように、線形の光電変換特性を有する撮像素子を用いて、露出時間を変えて撮像された画像を合成することで、ダイナミックレンジの広い画像を得る方法が知られている。その他に、ニー特性と呼ばれる入射光量によって傾きの異なる折れ線形の線形の光電変換特性を有するセンサも提案されている。
【０００５】
一方、例えば非特許文献１に示したように、自動車に近赤外カメラを搭載し、夜間の歩行者や前方車両等をモニタに映し出す所謂ナイトビュー機能が開発されている。しかし、近赤外カメラの画像はモノクロであり、肉眼で見たものとはイメージが異なり、違和感がある。
【０００６】
また、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば特許文献３には、Ｒ、Ｇ、Ｂの３色のカラーフィルタと赤外光を透過するＩｒフィルタとを備えた撮像素子で撮像した画像データを用いて、Ｒ、Ｇ、Ｂの色成分からなる可視画像データと赤外画像データとを抽出し、可視画像データから得られる輝度情報と赤外画像データから得られる輝度情報とに重み付けを施して輝度情報を生成することで、疑似カラー画像を生成する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−７７７３３号公報
【特許文献２】特開平６−１４１２２９号公報
【特許文献３】特開２００７−１８４８０５号公報
【非特許文献】
【０００８】
【非特許文献１】トヨタ自動車：企業情報＞研究・技術＞ナイトビュー（ｈｔｔｐ：／／ｗｗｗ２．ｔｏｙｏｔａ．ｃｏ．ｊｐ／ｊｐ／ｔｅｃｈ／ｓａｆｅｔｙ／ｔｅｃｈｎｏｌｏｇｉｅｓ／ａｃｔｉｖｅ／ｎｉｇｈｔ＿ｖｉｅｗ．ｈｔｍｌ）２００９年１２月１７日検索
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、夜間はフォトンの量が少ないため、撮像された画像のＳ／Ｎ比が小さくなると言う問題があるが、特許文献３ではこのようなことが考慮されていない。
【００１０】
また、非特許文献１では、対向車のヘッドライト等の強い光によって幻惑されて、画像が見にくくなるという問題もある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的は、下記構成により達成することができる。
【００１３】
１．被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【００１４】
２．被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データをダイナミックレンジ圧縮し、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【００１５】
３．前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
全可視波長域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする前記１または２に記載の撮像装置。
【００１６】
４．前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域を除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の赤色領域を除く波長域と赤外波長域とを有感度波長域とする第３の画素と、
可視波長域と赤外波長域とを有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする前記１または２に記載の撮像装置。
【００１７】
５．前記撮像素子は、
可視波長の赤色領域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の青色領域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする前記１または２に記載の撮像装置。
【００１８】
６．前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする前記１から５の何れか１項に記載の撮像装置。
【００１９】
７．前記撮像素子は、線形の光電変換特性を有し、
前記画像処理部は、露出時間の異なる少なくとも２枚の連続した原画像データに基づいて、１枚の画像データを生成し、これを原画像データとしてカラー画像を生成することを特徴とする前記１から５の何れか１項に記載の撮像装置。
【００２０】
８．前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする前記１から５の何れか１項に記載の撮像装置。
【発明の効果】
【００２１】
本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号とを生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【００２２】
また、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データをダイナミックレンジ圧縮して赤外波長成分を含む輝度信号を生成し、原画像データから可視波長成分の色差信号を生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明における撮像装置の第１の実施の形態を示すブロック図である。
【図２】撮像素子の構成および特性を示す模式図である。
【図３】撮像素子の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図４】画像処理部の構成を示すブロック図である。
【図５】画像処理部の画素補正部の動作を示すフローチャートである。
【図６】画像処理部のダイナミックレンジ圧縮部の動作と構成とを示す模式図である。
【図７】画像処理部の色処理部の動作を示すフローチャートである。
【図８】色処理部の偽色抑制部の構成と動作とを示す模式図である。
【図９】画像処理部のカラー画像生成部の動作を示すフローチャートである。
【図１０】撮像素子の構成の第２の例を示す模式図である。
【図１１】撮像素子の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図１２】撮像素子の構成の第３の例を示す模式図である。
【図１３】撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図１４】撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図である。
【図１５】撮像素子の各フィルタの分光特性の例と、フォトダイオードの分光感度特性の例とを示す模式図である。
【図１６】第２の実施の形態における画像処理部の構成を示すブロック図である。
【図１７】撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
【発明を実施するための形態】
【００２４】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限定されない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略することがある。
【００２５】
最初に、本発明における撮像装置の第１の実施の形態について、図１を用いて説明する、図１は、本発明における撮像装置の第１の実施の形態を示すブロック図である。
【００２６】
図１において、撮像装置１は、撮像光学系２、撮像素子３、画像処理部４、制御部５、記憶部６、表示部７およびインターフェース部（以下、Ｉ／Ｆ部と言う）８等で構成される。
【００２７】
撮像光学系２は、レンズ等で構成され、光軸２１上に被写体の像を結像させる。
【００２８】
撮像素子３は、撮像光学系によって光軸２１上に結像された被写体の像を光電変換し、アナログ／デジタル変換（以下、Ａ／Ｄ変換と言う）して、デジタルの原画像データとして出力する。撮像素子３については、図２および図３で詳述する。被写体は、少なくとも赤外光によって照明されている、あるいは赤外光を発光していることが望ましい。
【００２９】
画像処理部４は、後述する制御部５の制御下で、撮像素子３から出力された原画像データに画像処理を施して、カラー画像を出力する。画像処理部４の構成および動作については、図４から図８で詳述する。
【００３０】
制御部５は、例えばＣＰＵ等で構成され、後述する記憶部６に格納されたプログラムに従って撮像装置１の動作を制御するとともに、Ｉ／Ｆ部８を介して、撮像装置１が接続される外部システムと交信を行う。
【００３１】
記憶部６は、ＲＯＭ、ＲＡＭ等で構成され、制御部５を構成するＣＰＵの動作を規定するプログラムを格納するとともに、制御部５の制御下で、画像処理部から出力されたカラー画像を記憶し出力し、撮像装置１の各部に関する調整データ等を記憶し出力する。
【００３２】
表示部７は、制御部５の制御下で、記憶部６に記憶されたカラー画像を表示する。
【００３３】
Ｉ／Ｆ部８は、制御部５の制御下で、撮像装置１と外部システムとの交信を行う。
【００３４】
次に、撮像素子３の構成および特性について、図２を用いて説明する。図２は、撮像素子３の構成および特性を示す模式図で、図２（ａ）は撮像素子３の光学フィルタ構成を示す模式図であり、図２（ｂ）は撮像素子３の光電変換特性を示す模式図である。
【００３５】
図２（ａ）において、撮像素子３は、リニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、レッド（Ｒｅ）フィルタ、赤外透過（ＩＲ）フィルタの３種類のフィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１との４種類の画素３１が規則的に配置されている。
【００３６】
図示の例では、ある行に、Ｒｅフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＩＲフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【００３７】
図３に、撮像素子３の分光特性の例を示す。図３は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
【００３８】
図３において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｒｅフィルタは、可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、ＩＲおよびＷについても、色と呼ぶ。
【００３９】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【００４０】
従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでを有感度域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度域とする。
【００４１】
このように、フォトンをなるべく受けられる分光感度を持つフィルタを用いることで、フォトダイオードで発生するショットノイズを低減することができる。
【００４２】
図２（ｂ）において、グラフの横軸は撮像素子３の画素３１に入射する光の光量Ｌを対数軸で示してあり、縦軸は画素３１の出力のＡ／Ｄ変換後の出力ＶＬを示してある。撮像素子３の各画素３１の光電変換特性は、変曲点Ｐｔよりも入射光量Ｌが少ない低輝度領域Ａ１では線形特性を示し、変曲点Ｐｔよりも入射光量Ｌが多い高輝度領域Ａ２では対数特性を示すリニアログ特性であり、広いダイナミックレンジ（以下、Ｄレンジと言う）を有している。
【００４３】
ただし、実際には、線形特性と対数特性とは、変曲点を境に完全に切り替わるのではなく、変曲点近傍では、線形でも対数でもない過渡的な特性の領域が存在する。この特性を線形対数特性と呼び、過渡的な領域を線形対数領域と呼ぶ。線形対数領域については、例えば特開２００７−２５１８９８号公報等に記載されている。また、撮像素子３の画素３１の構成や駆動方法、リニアログ特性の変曲点Ｐｔの調整方法等は、上述した特許文献１を始め、多くの文献に詳述されている。
【００４４】
また、撮像素子３にはＡ／Ｄ変換器が内蔵されており、撮像素子３からは、例えば各々１４ｂｉｔのリニアログ特性のＹｅ画像成分、Ｒｅ画像成分、ＩＲ画像成分およびＷ画像成分の各色の画像成分で構成される原画像データＤ３が出力される。なお、Ａ／Ｄ変換器は、撮像素子３の外部に設けられてもよいし、制御部５に内蔵されてもよい。
【００４５】
次に、画像処理部４の構成について、図４を用いて説明する。図４は、画像処理部４の構成を示すブロック図である。
【００４６】
図４において、画像処理部４は、画素補正部４１、輝度信号生成部４３、色処理部４５およびカラー画像生成部４７等で構成される。各部は、ハードウェアで構成されてもよいし、ＣＰＵとソフトウェアとで構成されてもよいし、ハードウェアとＣＰＵおよびソフトウェアとの混成で構成されてもよい。
【００４７】
画素補正部４１は、撮像素子３から出力された原画像データＤ３に、黒オフセット補正、変曲点補正、リニアログ特性の対数特性への変換、欠陥画素補正、露出補正等の処理を施して、画素補正画像データＤ４１を出力する。画素補正画像データＤ４１は、各々１６ｂｉｔの対数特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される。画素補正部４１の動作の詳細は図５で説明する。
【００４８】
輝度信号生成部４３は、画素補正部４１から出力された画素補正画像データＤ４１に、Ｄレンジ圧縮、対数特性の線形特性への変換、色画素補間等の処理を施して、各々１２ｂｉｔの線形特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される第２補正画像データＤ４３を得、第２補正画像データＤ４３から輝度信号Ｙａｄｄを生成する。輝度信号Ｙａｄｄは、１２ｂｉｔの線形データである。輝度信号生成部４３の動作の詳細は図６で説明する。
【００４９】
色処理部４５は、輝度信号生成部４３から出力された輝度信号Ｙａｄｄと、画素補正部４１から出力された画素補正画像データＤ４１とを用いて、特許文献４の方法を改良した各処理を行い、色信号Ｄ４５を出力する。色信号Ｄ４５は、各々８ｂｉｔの線形の赤（Ｒ）画像成分、緑（Ｇ）画像成分、青（Ｂ）画像成分の各画像成分で構成される。色処理部４５の動作の詳細は図７および図８で説明する。
【００５０】
カラー画像生成部４７は、色処理部４５から出力された色信号Ｄ４５に対して、ホワイトバランス補正、色補正、ガンマ補正、色空間変換、エッジ強調等の処理を施し、カラー画像Ｄ４を出力する。カラー画像Ｄ４は、各々８ｂｉｔの線形の輝度信号Ｙ４と色差信号Ｃｂ４、Ｃｒ４とで構成される。カラー画像生成部４７の動作の詳細は図９で説明する。
【００５１】
図５は、画像処理部４の画素補正部４１の動作を示すフローチャートである。
【００５２】
図５において、ステップＳ４１１で、撮像素子３から出力された原画像データＤ３に、画素単位での黒レベルのオフセット補正が施されて、黒補正原画像データＤ４１１（Ｙｅ１、Ｒｅ１、ＩＲ１、Ｗ１）が生成される。各画素のオフセット値は、予め測定されて、記憶部６に記憶されている。黒オフセット補正については、例えば特開２００５−０７９７６６号公報等に詳述されている。
【００５３】
ステップＳ４１３で、ステップＳ４１１で黒オフセット補正が施された黒補正原画像データＤ４１１の光電変換特性が、リニアログ特性から基準の対数特性に特性変換され、対数原画像データＤ４１３（Ｙｅ２、Ｒｅ２、ＩＲ２、Ｗ２）が生成される。対数原画像データＤ４１３は、１６ｂｉｔの対数特性データである。
【００５４】
特性変換は、リニアログ特性を、線形特性、変曲点近傍の過渡的な特性である線形対数特性および対数特性の３つのブロックに分けて、各ブロック毎に行われる。特性変換によって、画素毎の変曲点バラツキも補正される。特性変換については、例えば特開２００７−０７４４８８号公報や特開２００７−２５１８９８号公報等に詳述されている。
【００５５】
また、さらに必要に応じて、対数特性を、傾きの異なる第１対数特性と第２対数特性との２つのブロックに分け、合計４つの領域に分けて特性変換してもよい。
【００５６】
ステップＳ４１５で、対数原画像データＤ４１３の画素欠陥のある位置に、画素欠陥補正が施され、欠陥補正原画像データＤ４１５（Ｙｅ３、Ｒｅ３、ＩＲ３、Ｗ３）が生成される。画素欠陥補正は、隣接の同色の画素のデータを用いて線形補間する等のデジタルカメラ等で周知の方法で行われればよい。
【００５７】
ステップＳ４１７で、欠陥補正原画像データＤ４１５の各データの平均値が所定値になるようなゲインが演算され、欠陥補正原画像データＤ４１５に乗算されて、画素補正画像データＤ４１（Ｙｅ４、Ｒｅ４、ＩＲ４、Ｗ４）が生成される。これによって、画像の暗部が黒ツブレすることなく再現される。
【００５８】
図６は、画像処理部４の輝度信号生成部４３の動作と構成とを示す模式図で、図６（ａ）は輝度信号生成部４３の動作を示すフローチャートであり、図６（ｂ）は輝度信号生成部４３の中の照明成分抽出部および照明成分圧縮部の構成を示すブロック図である。
【００５９】
図６（ａ）において、ステップＳ４３１で、画素補正画像データＤ４１の照明成分Ｌが抽出され、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。
【００６０】
ステップＳ４３３で、照明成分Ｌが圧縮されて圧縮照明成分Ｌ’が生成され、圧縮照明成分Ｌ’と反射率成分Ｒとが加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３（Ｙｅ５、Ｒｅ５、ＩＲ５、Ｗ５）が生成される。
【００６１】
ステップＳ４３１およびＳ４３３の動作は、図６（ｂ）に示す構成によって実現される。図６（ｂ）において、照明成分抽出部４３１は、例えば階層化ローパスフィルタ等で構成され、入力された画素補正画像データＤ４１の低周波成分が照明成分Ｌとして抽出される。照明成分圧縮部４３３は、例えば乗算器等で構成され、所定値Ｇｄｒｃと照明成分Ｌとを乗算することで、圧縮照明成分Ｌ’を得る。ここに、
Ｌ’＝Ｌ×Ｇｄｒｃ ・・・（１式）
である。
【００６２】
一方、減算器４３２によって、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。圧縮照明成分Ｌ’と反射率成分Ｒとが加算器４３４によって加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が生成される。照明成分を圧縮することで、局所的なコントラストを保存したま全体のＤレンジを圧縮することができる。なお、Ｄレンジ圧縮処理については、例えば特開２００１−２７５０１５号公報や特開２００９−０８１５２６号公報等に詳述されている。
【００６３】
図６（ａ）に戻って、ステップＳ４３５で、対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が、線形特性の線形Ｄレンジ圧縮画像データＤ４３５（Ｙｅ６、Ｒｅ６、ＩＲ６、Ｗ６）に変換される。変換は所定の変換テーブルによって行われ、１６ｂｉｔの対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が１２ｂｉｔの線形特性の線形Ｄレンジ圧縮画像データＤ４３５に変換される。
【００６４】
ステップＳ４３７で、線形Ｄレンジ圧縮画像データＤ４３５の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、色画素補間画像データＤ４３７（Ｙｅ７、Ｒｅ７、ＩＲ７、Ｗ７）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
【００６５】
ステップＳ４３９で、色画素補間画像データＤ４３７の各画素での各画像成分を加算平均することで、画像処理の対象となっている原画像データＤ３の色空間の輝度信号Ｙａｄｄが生成される。ここに、
Ｙａｄｄ＝（Ｙｅ７＋Ｒｅ７＋ＩＲ７＋Ｗ７）／４ ・・・（２式）
である。
【００６６】
輝度信号Ｙａｄｄは、赤外光を含む原画像データＤ３に基づいて、Ｄレンジ圧縮処理を施した信号を加算して得られた輝度信号である。このように、画像表示時に視覚的に目立つ輝度成分を加算のみで生成するために、ノイズを低減することができる。また、可視光に対して赤外光が強い場合には、輝度信号Ｙａｄｄを用いることで解像度の高い画像を得ることができる。なお、輝度信号生成部４３は、ステップＳ４３９の動作を実行することで、本発明における輝度信号生成部として機能する。
【００６７】
なお、輝度信号Ｙａｄｄは、色画素補間画像データＤ４３７の各画素での各画像成分に重み付けをして加算することで求められてもよい。ここに、
Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｒｅ７＋ａ３×ＩＲ７＋ａ４×Ｗ７）／４ ・・・（２’式）
である。ただし、ａ１、ａ２、ａ３、ａ４は重み付け係数で、ａ１＋ａ２＋ａ３＋ａ４＝１である。重み付け係数は、例えば予め決められた値を用いればよい。
【００６８】
図７は、画像処理部４の色処理部４５の動作を示すフローチャートである。
【００６９】
図７において、ステップＳ４５１で、画素補正部４１で生成された１６ｂｉｔの対数特性の画素補正画像データＤ４１に所定の変換テーブルを適用することで、３２ｂｉｔの線形特性に特性変換が行われ、線形画像データＤ４５１（Ｙｅ８、Ｒｅ８、ＩＲ８、Ｗ８）が得られる。
【００７０】
ステップＳ４５２で、線形画像データＤ４５１の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、補間画像データＤ４５２（Ｙｅ９、Ｒｅ９、ＩＲ９、Ｗ９）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
【００７１】
ステップＳ４５３で、補間画像データＤ４５２から、可視光の色信号である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号が演算され、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）が得られる。各色信号の演算式は、
Ｒ＝Ｒｅ９−ＩＲ９ ・・・（３−１式）
Ｇ＝Ｙｅ９−Ｒｅ９ ・・・（３−２式）
Ｂ＝Ｗ９−Ｙｅ９ ・・・（３−３式）
である。ただし、演算結果が負になった場合には、０（ゼロ）に置き換える。
【００７２】
色信号データＤ４５３は、赤外光を含む原画像データＤ３から色画素補間された補間画像データＤ４５２の可視光成分のみが抽出された信号であり、補間画像データＤ４５２には、Ｄレンジ圧縮は施されていない。
【００７３】
これは、ステップＳ４３７で生成された色画素補間画像データＤ４３７のような赤外光を含んだ原画像データにＤレンジ圧縮を施した信号を用いて色信号を生成すると、原画像データ中の可視光成分のＤレンジに関係なくＤレンジ圧縮された信号に基づいて色信号が生成されるために、色信号の彩度が低下するので、それを防止するためである。
【００７４】
ステップＳ４５４で、上述した各処理で歪んだ色信号データＤ４５３のホワイトバランス（以下、ＷＢと言う）をとるために、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に所定の第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）が乗算されて、第１ＷＢ補正色信号Ｄ４５４（Ｒ１、Ｇ１、Ｂ１）が生成される。ここに、
Ｒ１＝Ｒ×ｇｒ ・・・（４−１式）
Ｇ１＝Ｇ×ｇｇ ・・・（４−２式）
Ｂ１＝Ｂ×ｇｂ ・・・（４−３式）
である。なお、第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）は、予め求められて記憶部６に記憶されていればよい。
【００７５】
ステップＳ４５５で、第１ＷＢ補正色信号Ｄ４５４から、可視輝度信号Ｙと色差信号Ｃｂ、Ｃｒとが演算されて、輝度色差信号Ｄ４５５（Ｙ、Ｃｂ、Ｃｒ）が生成される。演算式は、
Ｙ＝０．２９９×Ｒ１＋０．５８７×Ｇ１＋０．１１４×Ｂ１ ・・・（５−１式）
Ｃｂ＝−０．１６９×Ｒ１−０．３３１×Ｇ１＋０．５００×Ｂ１・・・（５−２式）
Ｃｒ＝０．５００×Ｒ１−０．４１９×Ｇ１−０．０８１×Ｇ１ ・・・（５−３式）
である。なお、ステップＳ４５５は、本発明における色差信号生成部として機能する。
【００７６】
ここで、ステップＳ４５３で得られた色信号データＤ４５３は、可視光成分のみのデータであるので、ステップＳ４５３の後にステップＳ４９１を設け、色信号データＤ４５３に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色信号を生成してもよい。
【００７７】
あるいは、ステップＳ４５５で得られた輝度色差信号Ｄ４５５も可視光成分のみのデータであるので、ステップＳ４５５の後にステップＳ４９２を設け、輝度色差信号Ｄ４５５に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色差信号を生成してもよい。
【００７８】
いずれにしても、Ｄレンジ圧縮を施すことで、照明成分を圧縮して、局所的なコントラストを保存したま全体のＤレンジを圧縮することができ、データサイズを小さくして、以後の演算を容易にすることができる。
【００７９】
ステップＳ４５６で、輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒと、図６のステップＳ４３９で求められた輝度信号Ｙａｄｄとから、原画像のエッジ部に発生する偽色を抑制した色差信号Ｃｂ’、Ｃｒ’が生成される。詳細は、図８で説明する。
【００８０】
図８は、図７のステップＳ４５６に相当する色処理部４５の偽色抑制部４５６の構成と動作とを示す模式図で、図８（ａ）は偽色抑制部４５６の構成を示すブロック図であり、図８（ｂ）は偽色抑制部４５６で使用されるフィルタの構成図であり、図８（ｃ）は偽色抑制部４５６で使用される係数を示すグラフである。
【００８１】
図８（ａ）において、偽色抑制部４５６は、輝度高周波検出部４５６ａと色差信号変調部４５６ｂとの２つのブロックで構成されている。
【００８２】
輝度高周波検出部４５６ａは、原画像のエッジ検出を行うために、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄに、図８（ｂ）で示すＰｒｅｗｉｔｔフィルタ（水平方向がｇＨＳ、垂直方向がｇＶＳ）を適用して、エッジ量Ｙｅｄｇｅを算出する。ここに、
Ｙｅｄｇｅ＝｜ｇＨＳ×Ｙａｄｄ｜＋｜ｇＶＳ×Ｙａｄｄ｜ ・・・（６式）
である。
【００８３】
次に、エッジ量Ｙｅｄｇｅから、輝度高周波信号Ｙ’ｅｄｇｅが算出され、色差信号変調部４５６ｂに出力される。ここに、
Ｙ’ｅｄｇｅ＝Ｙｅｄｇｅ／（Ｙａｄｄ×９） ・・・（７式）
である。輝度高周波信号Ｙ’ｅｄｇｅは、１以上となる場合もある。
【００８４】
一方、色差信号変調部４５６ｂは、輝度高周波検出部４５６ａで生成された輝度高周波信号Ｙ’ｅｄｇｅに基づいて、図８（ｃ）に示す偽色抑制係数ｋを決定する。ここに、偽色抑制係数ｋは、
Ｙ’ｅｄｇｅ＜閾値αの時、
ｋ＝１
閾値α≦Ｙ’ｅｄｇｅ≦閾値βの時、
ｋ＝−Ｙ’ｅｄｇｅ／（β−α）−β／（β−α）
閾値β＜Ｙ’ｅｄｇｅの時、
ｋ＝０
である。閾値αおよびβは、画像の種類や用途等によって予め決定され、記憶部６に記憶されればよい。
【００８５】
この偽色抑制係数ｋを用いて、図７のステップＳ４５５で生成された輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒを変調することで、エッジ部の色信号が抑制された変調色差信号Ｄ４５６（Ｃｂ１、Ｃｒ１）が得られる。ここに、
Ｃｂ１＝ｋ×Ｃｂ ・・・（８−１式）
Ｃｒ１＝ｋ×Ｃｒ ・・・（８−２式）
である。
【００８６】
これによって、撮像素子３の光学フィルタ配列に起因して原画像のエッジ部に発生する偽色を抑制することができる。また、後述するステップＳ４５８でのスムージング処理の前にステップＳ４５６で偽色抑制を行っておくことで、エッジ部に発生する偽色を、より効果的に抑制することができる。
【００８７】
図７に戻って、ステップＳ４５７で、赤外光成分に比べて可視光成分が少ない場合に画像の彩度が高くなりすぎるのを防止するために、変調色差信号Ｄ４５６に、赤外光に対する可視光の量に応じた所定の係数ｖｂ、ｖｒを乗算することで、変調色差信号Ｄ４５６の彩度を赤外光に対する可視光の量に応じて抑圧した彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）が生成される。ここに、
Ｃｂ２＝Ｃｂ１×ｖｂ ・・・（９−１式）
Ｃｒ２＝Ｃｒ１×ｖｒ ・・・（９−２式）
である。
【００８８】
可視光の成分の量は、ステップＳ４５２で得られた補間画像データＤ４５２のＷ画像成分とＩＲ画像成分との差（Ｗ−ＩＲ）や、Ｗ画像成分とＩＲ画像成分との比（Ｗ／ＩＲ）等で算出できる。また、所定の係数（ｖｂ、ｖｒ）は、例えば、Ｗ画像成分とＩＲ画像成分との差や比等に応じて、予めルックアップテーブル（以下、ＬＵＴと言う）の形で用意され、記憶部６に記憶されればよい。
【００８９】
ステップＳ４５８で、画素単位でのノイズ低減のために、ステップＳ４５７で得られた彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）に３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、ノイズ成分がぼかされてＳ／Ｎ比が向上された色差低周波信号Ｃｂｓ、Ｃｒｓが得られる。
【００９０】
ステップＳ４５３での色信号の演算では減算が用いられているのでノイズが増えるが、ステップＳ４５８でのスムージング処理によってノイズが減り、かつ人間の目の視覚特性のために、スムージング処理してもぼけて見えることはない。
【００９１】
同様に、ステップＳ４５５で得られた可視光の輝度色差信号Ｄ４５５の可視輝度信号Ｙに、３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、可視輝度信号Ｙの低周波成分が抽出された可視輝度低周波信号Ｙｓが抽出される。
【００９２】
ステップＳ４５９で、図６のステップＳ４３９で生成された色差低周波信号Ｃｂｓ、Ｃｒｓが、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙとに基づいて補正されて、補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）が生成される。補正に際して、輝度と色との空間周波数帯域を揃えることによって、輝度差の大きいエッジ領域に偽色が発生することを防止する。
【００９３】
そこで、単に、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）
として補正するだけでなく、例えば、可視光の輝度の高周波成分と低周波成分とを含む可視輝度信号Ｙと、低周波成分のみを含む可視輝度低周波信号Ｙｓとの比（Ｙ／Ｙｓ）をとることで抽出した高輝度成分を、上述した補正項に重畳することで、輝度と色の空間周波数帯域を揃える。ここに、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ） ・・・（１０−１式）
である。同様に、
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ） ・・・（１０−２式）
である。色差低周波信号Ｃｂｓ、Ｃｒｓは１２ビットの線形特性の信号である。
【００９４】
あるいは、（１０−１式）および（１０−２式）から可視輝度信号Ｙを約分して消去した、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ） ・・・（１０−１’式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ） ・・・（１０−２’式）
でもよい。
【００９５】
このように、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙ、あるいは輝度低周波信号Ｙａｄｄｓと可視輝度低周波信号Ｙｓとに基づいて補正色差信号Ｄ４５９を求めることで、変換対象となる色空間における色差信号と輝度信号とをバランスよく算出することができる。
【００９６】
さらに、補正色差信号Ｄ４５９を求めるのに、輝度成分から抽出した高周波成分を重畳することで、輝度信号と色信号との空間周波数帯域がそろうために、輝度差の大きいエッジ領域等に偽色が発生することが緩和される。
【００９７】
ステップＳ４６０で、ステップＳ４５９で得られた補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）と、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄとから、色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）が演算される。演算式は、
Ｒ２＝Ｙａｄｄ＋１．４０２×Ｃｒｍ ・・・（１１−１式）
Ｇ２＝Ｙａｄｄ−０．３４４×Ｃｂｍ−０．７１４×Ｃｒｍ・・・（１１−２式）
Ｂ２＝Ｙａｄｄ＋１．７７２×Ｃｂｍ ・・・（１１−３式）
である。色信号Ｄ４５は、各々８ｂｉｔの線形特性のデータである。
【００９８】
色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）は、上述の処理を経て演算されたものであるため、ステップＳ４５３で補間画像データＤ４５２から減算処理によって演算された色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に比べてはるかに精度の高い色信号となっている。
【００９９】
なお、上述した（１０−１式）および（１０−２式）、あるいは（１０−１’式）および（１０−２’式）の処理は、赤外光領域を含まない構成であっても成り立つ。赤外光領域を含まない構成とは、通常の原色系あるいは補色系のフィルタと、赤外カットフィルタとの組み合わせであって、例えば、撮像素子のある行にイェロー（Ｙｅ）フィルタを設けた画素（Ｙｅ画素と言う）とフィルタを設けない画素（Ｗ画素と言う）とが交互に配列され、隣接する行にレッド（Ｒｅ）フィルタを設けた画素（Ｒｅ画素）とＷ画素とが交互に配列され、これが行毎に交互に繰り返されている組み合わせの全体に赤外カットフィルタを設けた構成が考えられる。
【０１００】
その他に考えられる画素配列としては、
１）撮像素子のある行にＹｅ画素とＷ画素とが交互に配列され、隣接する行にグリーンフィルタを設けた画素（Ｇ画素）とＷ画素とが交互に配列されたもの
２）撮像素子のある行にシアンフィルタを設けた画素（Ｃ画素）とマゼンタフィルタを設けた画素（Ｍ画素）とが交互に配列され、隣接する行にＹｅ画素とＧ画素とが交互に配列されたもの
３）撮像素子のある行にＲｅ画素とＧ画素とが交互に配列され、隣接する行にＧ画素とブルー（Ｂ）フィルタを設けた画素（Ｂ画素）とが交互に配列されたもの
等がある。ただし、画素配列は、これに限定されるものではない。
【０１０１】
従来の可視補色フィルタを用いた場合、ＣＭＹ画像からＲＧＢ画像を得て、ＲＧＢ画像から求めた輝度Ｙを加算輝度Ｙａｄｄに置き換えることで輝度のＳ／Ｎ向上させることができるが、以降の処理で再度ＲＧＢに置換した場合に、輝度Ｙと加算輝度Ｙａｄｄとの違いが色の違いとして現れるという問題がある。
【０１０２】
しかし、上述した（１０−１式）および（１０−２式）、あるいは（１０−１’式）および（１０−２’式）の処理を施すことで、ＲＧＢの色の比が保存されるので、色再現性が向上する効果がある。
【０１０３】
図９は、画像処理部４のカラー画像生成部４７の動作を示すフローチャートである。
【０１０４】
図９において、ステップＳ４７１で、ステップＳ４５４以降の各処理で歪んだＷＢを補正するために、ステップＳ４６０で得られた色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）に所定の第２のＷＢゲイン（ｇｒ２、ｇｇ２、ｇｂ２）が乗算されて、第２ＷＢ補正色信号Ｄ４７１（Ｒ３、Ｇ３、Ｂ３）が得られる。ここに、
Ｒ３＝Ｒ２×ｇｒ２ ・・・（１２−１式）
Ｇ３＝Ｇ２×ｇｇ２ ・・・（１２−２式）
Ｂ３＝Ｂ２×ｇｂ２ ・・・（１２−３式）
である。
【０１０５】
ステップＳ４７３で、第２ＷＢ補正色信号Ｄ４７１に所定の行列を用いて色補正が施され、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）が生成される。ここに、
【０１０６】
【数１】
【０１０７】
である。所定の行列は、予め決定されて、記憶部６に記憶されればよい。
【０１０８】
ステップＳ４７５で、例えば表示部７や外部のディスプレイ等のような出力機器のガンマ特性に合わせて、色補正色信号Ｄ４７３にガンマ補正を施し、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）が生成される。
【０１０９】
ガンマ補正は、例えば表示部７のような出力機器のガンマ特性に合わせて予め用意されたガンマ補正ＬＵＴを用いて、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）を変換すればよい。あるいは、例えばＩＥＣ ６１９６６−２−１ ｓＲＧＢ規格のような標準的なディスプレイの規格に合わせてガンマ補正してもよい。
【０１１０】
ステップＳ４７７で、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）から輝度信号Ｙ３と色差信号Ｃｂ３、Ｃｒ３とが演算されて、第２輝度色差信号Ｄ４７７（Ｙ３、Ｃｂ３、Ｃｒ３）が生成される。演算式はステップＳ４５５と同様で、
Ｙ３＝０．２９９×Ｒ５＋０．５８７×Ｇ５＋０．１１４×Ｂ５ ・・・（１４−１式）
Ｃｂ３＝−０．１６９×Ｒ５−０．３３１×Ｇ５＋０．５００×Ｂ５・・・（１４−２式）
Ｃｒ３＝０．５００×Ｒ５−０．４１９×Ｇ５−０．０８１×Ｇ５ ・・・（１４−３式）
である。
【０１１１】
ステップＳ４７９で、第２輝度色差信号Ｄ４７７にエッジ強調処理が施されて、カラー画像Ｄ４（Ｙ４、Ｃｂ４、Ｃｒ４）が生成され、画像処理部４から出力される。カラー画像Ｄ４は、各々８ｂｉｔの線形の信号である。
【０１１２】
上述した第１の実施の形態は、図２に示した例とは異なる構成の撮像素子にも適用できる。そこで、撮像素子の構成の第２の例について、図１０および図１１を用いて説明する。図１０は、撮像素子の構成の第２の例を示す模式図である。
【０１１３】
図１０において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂ）フィルタ、緑（Ｇ）フィルタ、赤（Ｒ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。
【０１１４】
図示の例では、ある行に、Ｂフィルタが設けられた画素３１とＲフィルタが設けられた画素３１とが交互に配列され、次の行にはＧフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１１５】
図１１に、撮像素子３の分光特性の一例を示す。図１１は、撮像素子の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【０１１６】
図１１において、Ｂフィルタは可視波長の青色領域を透過させる。Ｇフィルタは可視波長の緑色領域を透過させる。Ｒフィルタは可視波長の赤色領域を透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
【０１１７】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１１８】
従って、撮像素子３のＢフィルタが設けられた画素３１（以下、Ｂ画素と言う。各色とも同じである。）は、可視波長域の青色を有感度域とし、Ｇ画素は可視波長域の緑色を有感度域とし、Ｒ画素は可視波長域の赤色を有感度域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とする。
【０１１９】
撮像素子３の構成の第２の例を用いる場合には、色フィルタの構成が図２の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、
Ｙａｄｄ＝（Ｂ７＋Ｇ７＋Ｒ７＋ＩＲ７）／４ ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｂ７＋ａ２×Ｇ７＋ａ３×Ｒ７＋ａ４×ＩＲ７）／４ ・・・（２’式）
Ｒ＝Ｒ９ ・・・（３−１式）
Ｇ＝Ｇ９ ・・・（３−２式）
Ｂ＝Ｂ９ ・・・（３−３式）
である。
【０１２０】
さらに、撮像素子の構成の第３の例について、図１２および図１３を用いて説明する。図１２は、撮像素子の構成の第３の例を示す模式図である。
【０１２１】
図１２において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂｌ）フィルタ、緑（Ｇｒ）フィルタ、赤（Ｒｅ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。図１０の第２の例と記号が異なるのは、図１３に示す各フィルタの分光感度が異なるからである。
【０１２２】
図示の例では、ある行に、Ｂｌフィルタが設けられた画素３１とＲｅフィルタが設けられた画素３１とが交互に配列され、次の行にはＧｒフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１２３】
図１３に、撮像素子３の分光特性の一例を示す。図１３は、撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【０１２４】
図１３において、Ｂｌフィルタは可視波長の青色領域と赤外波長域とを透過させる。Ｇｒフィルタは可視波長の緑色領域と赤外波長域とを透過させる。Ｒｅフィルタは可視波長の赤色領域と赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
【０１２５】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１２６】
従って、撮像素子３のＢｌ画素は、可視波長域の青色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度域とし、Ｇｒ画素は可視波長域の緑色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでとを有感度域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とする。
【０１２７】
撮像素子３の構成の第３の例を用いる場合には、色フィルタの構成が図２および図１０の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、
Ｙａｄｄ＝（Ｂｌ７＋Ｇｒ７＋Ｒｅ７＋ＩＲ７）／４ ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｂｌ７＋ａ２×Ｇｒ７＋ａ３×Ｒｅ７＋ａ４×ＩＲ７）／４ ・・・（２’式）
Ｒ＝Ｒｅ９−ＩＲ９ ・・・（３−１式）
Ｇ＝Ｇｒ９−ＩＲ９ ・・・（３−２式）
Ｂ＝Ｂｌ９−ＩＲ９ ・・・（３−３式）
である。
【０１２８】
上述したように、第１の実施の形態によれば、撮像光学系と、リニアログ特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１２９】
次に、本発明における撮像装置の第２の実施の形態について、図１４から図１６を用いて説明する。撮像装置の第２の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１４は、撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図で、図１４（ａ）は撮像素子の光電変換特性を示す模式図であり、図１４（ｂ）は撮像素子のフィルタ構成を示す模式図である。
【０１３０】
図１４（ａ）において、撮像素子３は、通常の線形特性の光電変換特性を有している。通常の線形特性の光電変換特性を有する撮像素子３を用いて、第１の輝度範囲Ａ１を第１のシャッタ速度ＳＳ１で撮像することで、第１の光電変換特性Ｓ１が得られる。同様に、第１の輝度範囲Ａ１よりも明るく、第１の輝度範囲Ａ１と重なる輝度領域Ａ３を有する第２の輝度範囲Ａ２を、第１のシャッタ速度ＳＳ１よりも早い第２のシャッタ速度ＳＳ２で撮像することで、第２の光電変換特性Ｓ２が得られる。
【０１３１】
画像処理部４によって、第１の光電変換特性Ｓ１と第２の光電変換特性Ｓ２とを、重なる輝度領域Ａ３の部分で連結することで、輝度範囲（Ａ１＋Ａ２）をカバーする広いＤレンジを有する光電変換特性Ｓ３を合成することができる。理論的には重なる輝度領域Ａ３はなくてもよいので、この方法で通常の線形特性の光電変換特性の最大２倍のＤレンジを得ることができる。
【０１３２】
従って、第１の光電変換特性Ｓ１および第２の光電変換特性Ｓ２が例えば１４ビットのデータの場合、光電変換特性Ｓ３は最大２８ビットのデータとなる。同様にして３つ以上の輝度範囲を連結することも可能である。
【０１３３】
図１４（ｂ）において、撮像素子３は、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、マゼンタ（Ｍ）フィルタ、シアン（Ｃ）フィルタの３種類の補色フィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１とが規則的に配置されている。
【０１３４】
図示の例では、ある行に、Ｍフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＣフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１３５】
図１５に、撮像素子３の分光特性の例を示す。図１５は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
【０１３６】
図１５において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｍフィルタは、可視波長の緑色領域を除く波長域と赤外波長域とを透過させる。Ｃフィルタは、可視波長の赤色領域を除く波長域と赤外波長域とを透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、Ｗについても、色と呼ぶ。
【０１３７】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１３８】
従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度域とし、Ｍ画素は可視波長域の青色と赤色と赤外波長域の１１００ｎｍまでを有感度域とし、Ｃ画素は可視波長域の青色と緑色と赤外波長域の７００ｎｍから１１００ｎｍまでを有感度域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度域とする。
【０１３９】
図１６は、第２の実施の形態における画像処理部４の構成を示すブロック図である。
【０１４０】
図１６において、画像処理部４は、図４に示した第１の実施の形態の画素補正部４１の前に、Ｄレンジ拡大部４９を有している。
【０１４１】
Ｄレンジ拡大部４９は、撮像素子３で第１のシャッタ速度ＳＳ１で撮像された原画像データＤ３１（Ｙｅ、Ｍ、Ｃ、Ｗ）と、原画像データＤ３１に連続して第２のシャッタ速度ＳＳ２で撮像された原画像データＤ３２（Ｙｅ、Ｍ、Ｃ、Ｗ）とに基づいて、図１４（ａ）で説明した方法により、Ｄレンジが拡大された原画像データＤ３（Ｙｅ、Ｍ、Ｃ、Ｗ）を合成する。これ以降は、原画像データＤ３を用いて画像処理を行う。画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。
【０１４２】
原画像データＤ３は線形特性のデータであるので、図５から図９に示した画像処理部４の各部の動作の中で、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要であり、画像処理部４の各部の動作は全て線形特性で取り扱うことができる。
【０１４３】
ただし、上述したように、原画像データＤ３はビット数の大きいデータであるので、ステップＳ４１３（線形対数変換）で対数圧縮することで、ビット数の小さいデータに変換してから、それ以降の演算を行うことでもよい。その場合には、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）での線形伸張が必要となる。
【０１４４】
また、第２の実施の形態の撮像素子３は、色フィルタの構成が第１の実施の形態とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、
Ｙａｄｄ＝（Ｙｅ７＋Ｍ７＋Ｃ７＋Ｗ７）／４ ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｍ７＋ａ３×Ｃ７＋ａ４×Ｗ７）／４ ・・・（２’式）
Ｒ＝Ｗ９−Ｃ９ ・・・（３−１式）
Ｇ＝Ｗ９−Ｍ９ ・・・（３−２式）
Ｂ＝Ｗ９−Ｙｅ９ ・・・（３−３式）
である。
【０１４５】
第２の実施の形態の画像処理部４の各部のその他の動作は、図５から図９に示したものと同じであるので、説明は省略する。
【０１４６】
上述したように、第２の実施の形態によれば、撮像光学系と、線形特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて異なるシャッタ速度で撮像された２枚の画像を合成した原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１４７】
次に、本発明における撮像装置の第３の実施の形態について、図１７を用いて説明する。撮像装置の第３の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１７は、撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
【０１４８】
図１７において、撮像素子３は、ニー特性と呼ばれる折れ線形の線形の光電変換特性を有している。ニー特性は、入射光量が少ない低輝度域Ａ１では傾きの大きい線形の第１の光電変換特性Ｓ１を有し、入射光量が多い高輝度域Ａ２では傾きの小さい線形の第２の光電変換特性Ｓ２を有している。
【０１４９】
第２の実施の形態と同様に、図１６に示した画像処理部４のＤレンジ拡大部４９によって、第２の光電変換特性Ｓ２を、第１の光電変換特性Ｓ１の延長線上に伸張することで、輝度範囲（Ａ１＋Ａ２）をカバーする広いＤレンジを有する線形の光電変換特性Ｓ３を得ることができる。あるいは、第１の光電変換特性Ｓ１の傾きを第２の光電変換特性の傾きに合わせて寝かせ、第２の光電変換特性Ｓ２と連結することで、輝度範囲（Ａ１＋Ａ２）をカバーするビット数の小さい線形の光電変換特性Ｓ４を得ることもできる。
【０１５０】
画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。また、得られる原画像データは線形特性であるので、第２の実施の形態と同様に、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要である。さらに、色処理に関しては、用いるフィルタに合わせて、第１の実施の形態の式か第２の実施の形態の式かを使い分ければよい。
【０１５１】
上述したように、第３の実施の形態によれば、撮像光学系と、ニー特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５２】
なお、上述した第１から第３の実施の形態では、撮像素子３は４種類の異なるフィルタを備えているとしたが、これに限定されるものではなく、少なくとも３種類のフィルタを備えていればよい。この場合、フィルタの種類として、各フィルタの分光透過特性から赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を生成することができる種類のものを採用すればよい。
【０１５３】
以上に述べたように、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号とを生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５４】
また、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データをダイナミックレンジ圧縮して赤外波長成分を含む輝度信号を生成し、原画像データから可視波長成分の色差信号を生成し、輝度信号のエッジを検出して輝度高周波信号を生成し、輝度高周波信号に基づいて色差信号の変調を行うことで、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５５】
なお、本発明に係る撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【０１５６】
１ 撮像装置
２撮像光学系
２１ 光軸
３ 撮像素子
３１ 画素
４ 画像処理部
４１ 画素補正部
４３ 輝度信号生成部
４３１ 照明成分抽出部
４３３ 照明成分圧縮部
４５ 色処理部
４５６ 偽色抑制部
４５６ａ 輝度高周波検出部
４５６ｂ 色差信号変調部
４７ カラー画像生成部
４９ Ｄレンジ拡大部
５ 制御部
６ 記憶部
７ 表示部
８ インターフェース（Ｉ／Ｆ）部
Ｌ 光量
ＶＬ 出力
Ｐｔ 変曲点
Ｙａｄｄ 輝度信号
Ｙ 可視輝度信号
Ｃｂ、Ｃｒ 色差信号
Ｄ４ カラー画像
【特許請求の範囲】
【請求項１】
被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【請求項２】
被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データをダイナミックレンジ圧縮し、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【請求項３】
前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
全可視波長域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域を除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の赤色領域を除く波長域と赤外波長域とを有感度波長域とする第３の画素と、
可視波長域と赤外波長域とを有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記撮像素子は、
可視波長の赤色領域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の青色領域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項７】
前記撮像素子は、線形の光電変換特性を有し、
前記画像処理部は、露出時間の異なる少なくとも２枚の連続した原画像データに基づいて、１枚の画像データを生成し、これを原画像データとしてカラー画像を生成することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項８】
前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項１】
被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【請求項２】
被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データをダイナミックレンジ圧縮し、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
前記輝度信号のエッジを検出して輝度高周波信号を生成する輝度高周波検出部と、
前記輝度高周波信号に基づいて前記色差信号の変調を行い、変調色差信号を生成する色差信号変調部と、
前記輝度信号と前記変調色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【請求項３】
前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
全可視波長域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域を除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の赤色領域を除く波長域と赤外波長域とを有感度波長域とする第３の画素と、
可視波長域と赤外波長域とを有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記撮像素子は、
可視波長の赤色領域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の青色領域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項７】
前記撮像素子は、線形の光電変換特性を有し、
前記画像処理部は、露出時間の異なる少なくとも２枚の連続した原画像データに基づいて、１枚の画像データを生成し、これを原画像データとしてカラー画像を生成することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項８】
前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２５９０６０（Ｐ２０１１−２５９０６０Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１２９７２７（Ｐ２０１０−１２９７２７）
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（３０３０００４０８）コニカミノルタオプト株式会社 (3,255)
【Ｆターム（参考）】
[ Back to top ]