説明

撮像装置

【課題】近赤外光を吸収する霧でも青い光を吸収する細かい土埃でも映像信号の暗部レベル上昇とコントラスト低下を低減する。
【解決手段】可視光近赤外光兼用レンズと可視光近赤外光兼用撮像素子と映像信号処理機能と上記撮像素子直前に選択挿入する駆動部を備えた複数の光学フィルタとを有し、光学フィルタは可視光のみを通過させる光学フィルタと、600-700nm、740nm、780nm、860nm、1040nm、1200-1250nm、1550-1650nmの水蒸気を透過する波長帯域を通過させる光学フィルタを複数含み、可視光の映像信号の暗部レベルが持ち上がった場合は、上記水蒸気を透過する波長帯域を通過させる光学フィルタで撮像して暗部レベルを比較し、最も暗部レベルの低い波長帯域の撮像映像を出力し、多画素輪郭補正の強調の中心となる垂直水平周波数を低くし黒レベルを低減させ暗部立ち上がりを補正する撮像装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視システムに用いる固体撮像装置の改良に関するものである。
【背景技術】
【0002】
オンチップカラーフイルタ付き固体撮像素子を1ヶ用いたカラー固体撮像装置(以下単板カラーカメラ)はIT(Interline Transfer)−CCD(Charge Coupled Device)撮像素子(以下IT−CCD)と雑音を除去するCDS(Correlated Double Sampling)と暗電流補正と利得可変増幅回路(Automatic Gain Control以下AGC)と14bit程度の撮像装置内部映像信号Viに変換するADC(Analog Digital Converter)とを内蔵したアナログフロントエンド(Analog Front End:AFE)とCCD駆動回路と信号処理回路からなる。上記の全ての機能を実現したCMOS撮像素子を用いても良い。
【0003】
ところで、霧でも黄砂でも空気中に直径1μm程度の粒子があると、可視光の短波長が乱反射され、遠距離の被写体の黒が持ち上がりコントラストが減少する。
さらに空気中の酸素は約680nmの赤を少し吸収し減衰し短波長可視光に比較して1/2に減衰し、約760nmの近赤外光を吸収し短波長可視光に比較して1/10に減衰する。標高が低い地表や海上では、太陽光が水蒸気等に吸収されて減衰し、約700nmの赤は少し吸収減衰する。さらに約820nmと約900nmから約1000nmまでと約1120nmから約1160nmまでと約1300nmから約1500nmまでの近赤外光を吸収減衰する。特に、約970nm付近と、約1130nm付近の近赤外光の大気中の透過率は、可視光に比較して1/20以下と小さい。したがって、水蒸気がある霞や霧は近赤外光を吸収し、遠距離の被写体の近赤外光光がカメラに届かない(非特許文献1参照)。従って、水蒸気がある霞や霧の場合、近赤外光カットの可視光撮影が良く、水蒸気がない細かい土埃の場合、可視光カットの近赤外光撮影が良い。
【0004】
使用波長帯域は一般に1オクターブの約400−800nm波長帯域となり、広帯域としても一般に1.5オクターブの約400−1200nm波長帯域となり、反射防止コーティングは一般に1/4波長の厚さなので、広い波長帯域用には多層の反射防止コーティングを用いることが困難ある。従って、ズームレンズの場合、例えば、30面程度のレンズ面の反射が多くなるため、映像信号の暗部レベルが持ち上がるフレアが目立つので、反射防止の面で単焦点レンズが一般的に有利である。
生産量が多く、安価な昼夜兼用レンズの場合、収差補正の波長帯域が一般に約400−900nmの可視光と可視光近傍の近赤外光となり、さらに長い近赤外光では、一般に収差が増加しコントラストも解像度も低下する。
また、少ない数のレンズで3倍程度に焦点距離を可変し焦点面の変動はカムで機械補正するか電動で補正するレンズが発売された。
【0005】
また、約400−700nmの可視光と約700−1200nmの可視光近傍の近赤外光が処理可能なフォトダイオード下の近赤外光を反射する微細構造やEM−CCD(Electron Multiplying−Charge Coupled Device)等高感度で暗電流の少なく撮像素子も生産量が多く安価に入手できる。約400−800nmなら撮像素子表面に反射防止フィルムを貼ることも可能である。さらに、裏面照射構造または光ガイド内蔵とすれば短波長光の感度が向上する(非特許文献5参照)。
従って、従来は、帯域通過光学フイルタで波長が長い可視光つまり赤を選択し、収差補正と反射防止を施したレンズで入射光を結像し、可視光と可視光近傍の近赤外光に高感度の撮像素子を用いていた。
また、約900−1700nm近赤外光に感度のあるインジウムガリウム砒素(InGaAs)製の撮像素子も入手可能になった。この波長帯域内では、空気中の水蒸気と酸素との分子に吸収されず透過する波長帯域が比較的広いので、光学帯域通過フィルタの製作は容易で、感度も確保しやすい。そこで、約900−1700nmの近赤外光に感度のあるInGaAs製の撮像素子と反射防止コーティングを用いないレンズ面の少ない単焦点レンズで撮像していたが、暗電流のばらつきが多く、冷却が必要だった(非特許文献6参照)。
【0006】
映像信号からは霞や霧も土埃も、灰色の山肌や砂も、白く持ち上がり区別がつきにくい。
そこで、従来の固体撮像装置(単板カラーカメラ)を用いた監視システムのブロック図の図7のように、映像信号処理部の4Fの後ろに外付けした暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の5Fで、コントラストを増強していた。映像信号処理部の4Fから暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の5Fに受け渡す信号は8bit諧調であり、黒が持ち上がりコントラストが減少した映像には信号諧調が欠落しているので、コントラスト増強で偽信号増加による実効雑音が目立つ。そのため、受信処理と画像伸長と画像処理含む記録再生部の7での侵入者検知等の画像
処理が困難になっている。
【0007】
具体的には、従来の固体撮像装置(単板カラーカメラ)の入射光量応答(入射光の輝度分布とカメラ出力の輝度分布とコントラスト増強出力の輝度分布対応)を示す模式図の図8のように、靄が濃く霧がかかったり、長距離の靄越しの被写体では、入射光の暗部レベルが定格の約30%(出力信号の55〜65%)まで上昇し、ハイライトが定格の約0%(出力信号の85〜90%)まで低下し、輝度出力信号の振幅が約30%まで低下する。
【0008】
SMPTE244-1995により、NTSCのアナログ複合映像信号(Video Burst Sync以下VBSと省略)の白レベルを100%(NTSC正式単位は100IREだがPALやコンポーネント信号の単位%と揃えるため、以下100%と省略)として同期先端レベル−40%の下の最低量子化レベル−42.1%からピーククロマレベル130.8%の上の最高量子化レベル端138.6%までをサンプリングしてデジタル化する。スタジオ機器では、10bit、階調1024の4から1019までを割り当てるが、低価格の汎用機器では8bit、階調256の1から254までを割り当て、ブランキングレベルは60で白レベルは200となる。
したがって、図7の単板カラーカメラの映像信号処理部の4Fの出力にコントラストが一定になるまで増強する汎用8bit、256階調の暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の5Fを外付けしても、単板カラーカメラの映像信号処理部の4Fの出力信号輝度出力信号の振幅が約30%、42階調、約5.4bitを無理に暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の5Fの出力では、140階調、約7.1bitに伸張するので、5Fで雑音低減しても偽信号増加による実効雑音が目立つ。そのため、受信処理と画像伸長と画像処理含む記録再生部の7での侵入者検知等の画像処理が困難になっている。
【0009】
また、入射光の暗部レベル上昇とハイライトピーク低下と色信号ピーク低下による映像信号のコントラスト低下を補正するため、少なくとも1つ以上の撮像素子を有し、利得可変と自動絞り制御と自動電子感度制御とブラックレベル可変とガンマ可変と暗部伸張圧縮可変と白圧縮伸張可変と高輝度色伸張と色差演算増強と色信号利得可変と輪郭強調可変とフレア補正との少なくとも一つの機能を有する撮像装置において、2次元コントラスト増強と連動して利得と自動絞りと自動電子感度とブラックレベルとガンマ補正と暗部伸張と暗部圧縮と白圧縮と白伸張と色差演算増強と色信号利得と輪郭強調とフレア補正との少なくとも一つを可変する方法も提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2003−259385号公報
【非特許文献】
【0011】
【非特許文献1】土田聡、「可視・近赤外域における大気補正」、資源・環境リモートセンシング実用シリーズ2:地球観測データの処理、p.124-139,2002
【非特許文献2】近赤外光超高感度構造新世代 ソニー CX-PALNo62 2004.10
【非特許文献3】シリコンの高感度近赤外検出素子 浜松ホトニクス http://jp.hamamatsu.com/hamamatsu/press/2010/2010_01_13.html
【非特許文献4】TI製品カタログ、TC246CYM-B0 680 x 500 PIXELIMPACTRONTM PRIMARY COLOR CCDIMAGESENSOR 、SOCS089 MAY 2005
【非特許文献5】光ガイド内蔵撮像素子 日経エレクトロニクス 2010.07.12P15
【非特許文献6】900−1700nmInGaAsCCD http://www.xenics.com/documents/20090714_LR_Xeva-1.7-640_scientific_A4.pdf
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明は上記欠点を除去し、近赤外光を吸収する霞や霧でも、青い光を吸収する細かい土埃でも画面所定部分の暗部レベル上昇と映像信号のコントラスト低下を低減し、遠距離の被写体からコントラストの高い映像を撮影することができるカメラを実現することを目的とする。
【課題を解決するための手段】
【0013】
そこで本発明は上記課題を解決するため、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部と可視光通過し近赤外光を除去する光学フィルタとを有し、赤通過する帯域通過光学フィルタと近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタとの内の少なくとも1つを有し、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の有効コントラストが第一の所定レベルを下回った場合は、赤通過する帯域通過光学フィルタ又は近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することを特徴とする撮像装置である。
【0014】
具体的には、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部と可視光通過し近赤外光を除去する光学フィルタとを有し、(A)赤通過する帯域通過光学フィルタと近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタとを有し、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することと、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することと、(B)可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合、又は、該当映像信号のハイライトレベルが第二の所定レベルを下回る場合は、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを測定し、近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した上記撮像素子の映像信号の暗部レベルを測定し、上記測定した映像信号の暗部レベルのうち大きくない暗部レベルに対応する光学フィルタを入射光路に挿入した上記撮像素子の映像信号を出力すること、(C)赤通過する帯域通過光学フィルタと近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタと湿度計とを有し、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、湿度計の湿度が所定値より高い場合は前記赤通過する帯域通過光学フィルタを選択挿入し白黒撮像し、湿度計の湿度が所定値より高くない場合は前記近赤外線の内の空気中の分子を透過する波長の帯域通過光学フィルタを選択挿入し白黒撮像することと、の少なくとも一方を特徴とする撮像装置である。
【0015】
また、上記の撮像装置において、被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストの変化を検出するコントラスト検出部を有し、入力映像信号を走査線期間遅延する映像信号走査線遅延部(ラインメモリ)を6ヶ以上の偶数2Mヶと上記入力映像信号と走査線期間遅延後の映像信号とから垂直輪郭信号を生成する多画素垂直輪郭信号生成部と上記入力映像信号と走査線期間遅延後の映像信号とを画素遅延する映像信号画素遅延部を各6ヶ以上の偶数2Nヶ合計4MNヶと上記入力映像信号をM走査線期間遅延した映像信号とM走査線期間遅延し各画素遅延後の映像信号とから水平輪郭信号を生成する多画素水平輪郭信号生成部と上記入力映像信号をM走査線期間遅延しN画素遅延した映像信号に上記多画素垂直輪郭信号と上記多画素水平輪郭信号とを加算する多画素輪郭補正部と、上記入力映像信号を垂直走査線期間遅延する映像信号画面遅延部(画面メモリ)を1ヶ以上と上記入力映像信号と垂直走査線期間遅延した映像信号とを走査線期間遅延する映像信号走査線遅延部(ラインメモリ)を各6ヶ以上の偶数2Mヶと上記入力映像信号と垂直走査線期間遅延した映像信号とを走査線期間遅延した映像信号とを各6ヶ以上の偶数2Nヶ合計4MNヶと上記入力映像信号をM走査線期間遅延しN画素遅延した映像信号と上記入力映像信号と垂直走査線期間遅延した映像信号とそれぞれ垂直走査線期間遅延した映像信号とそれぞれ画素遅延した信号との相関を検出し相関の高い信号を相関に比例して重点加算平均した相関平均信号を生成する相関平均信号生成部と上記入力映像信号をM走査線期間遅延しN画素遅延した映像信号と上記相関平均信号との平均をとる相関平均部と、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強部と、の少なくとも一方を有し、少なくとも被写体の可視光及び近赤外光の撮像の映像信号の暗部レベルが第一の所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、多画素輪郭補正の垂直輪郭補正の強調中心となる走査線本数を多く(垂直周波数を低く)することと、多画素輪郭補正の水平輪郭補正の強調中心となる周波数を低くすることと、多画素輪郭補正を強くすることと、暗部の輪郭補正を強くすることと、ハイライトの輪郭強調を強くすることと、相関平均を強くすることと、黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、ハイライト圧縮を弱めることと、の少なくとも一方を行うことを特徴とする撮像装置である。
【0016】
可視光と近赤外光を透過する解放絞り値F2以上の非球面レンズで焦点距離を可変し焦点面の変動はカムで機械補正するか電動で補正するレンズと、5.6μm以上深いフォトダイオードとフォトダイオード下の近赤外光を反射する微細構造と電荷増倍電極との少なくとも一つを含んだ可視光と近赤外光に感度を有する撮像素子と、12bit以上のアナログフロントエンドと12bit以上の複数ラインメモリ機能とフィールドメモリ機能とを含んだ雑音低減部との、少なくとも一つを有し、少なくとも可視光撮像の映像信号の暗部レベルが第一の所定レベルを上回った場合は、可視光除去し近赤外光を通過する光学フィルタを入射光路に挿入した上記撮像素子のレンズ絞りを開くことと撮像素子で増倍することとアナログフロントエンドの増幅を増加し複数ラインメモリとフィールドメモリとを用いた雑音低減することとの少なくとも一つを行った映像信号の暗部レベルを測定すること、赤帯域通過光学フィルタを入射光路に挿入した上記撮像素子のレンズ絞りを開くことと撮像素子で増倍することとアナログフロントエンドの増幅を増加することとの少なくとも一つを行った映像信号の暗部レベルを測定すること、近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長約740nm、約780nm、約860nm、約1040nmの帯域通過光学フィルタを上記撮像素子の入射光路に挿入しレンズ絞りを開くことと撮像素子で増倍することとアナログフロントエンドの増幅を増加し複数ラインメモリとフィールドメモリとを用いた雑音低減することとの少なくとも一つを行った映像信号の暗部レベルを測定すること、約1650nmまでの近赤外光帯域通過レンズと約1200−1250nmと約1550−1650nmとの少なくとも一方の帯域通過光学フィルタを入射光路に挿入し冷却した約1700nmまで感度を持つ少なくともフォトダイオードがInGaAs製の撮像素子で撮像した映像信号の暗部レベルを測定すること、の2つ以上を測定し、映像信号の暗部レベルが最も低い光学フィルタを入射光路に挿入した上記撮像素子の映像信号の黒レベルを低減させて出力し、上記映像信号を出力する撮像素子を冷却するか、暗電流のばらつきを画素単位で補正することを特徴とする撮像装置である。
【0017】
撮像素子と映像信号処理機能と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタとを有する撮像装置において、上記光学フィルタには赤外光カットで可視光透過フィルタと可視光カットで赤外光透過フィルタと青と緑と赤外光とをカットで赤透過のフィルタつまり赤通過する帯域通過光学フィルタとを含み、湿度計と映像信号の暗部レベルを検出する機能とを有し、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが持ち上がった場合と動作命令を受けた場合は、湿度計の湿度が高い場合は前記赤通過する帯域通過光学フィルタを選択挿入し湿度計の湿度が低い場合は前記可視光カットで赤外光透過フィルタを選択挿入することと、前記赤通過する帯域通過光学フィルタを選択挿入し映像信号の暗部レベルを測定し、前記可視光カットで赤外光透過フィルタを選択挿入映像信号の暗部レベルを測定し、前記赤通過する帯域通過光学フィルタと前記可視光カットで赤外光透過フィルタとの映像信号の暗部レベルの測定結果のより低い方のフィルタを選択挿入し、前記赤通過する帯域通過光学フィルタと前記可視光カットで赤外光透過フィルタとの映像信号の暗部レベルが所定以下しか下がらない場合は赤外光カットで可視光透過フィルタを選択挿入することとの、の少なくとも一方を行うことを特徴とする撮像装置である。
【0018】
また、撮像素子と映像信号処理機能と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも1枚以上の光学フィルタとを有する撮像装置において、上記光学フィルタには赤通過する帯域通過光学フィルタを含み、映像信号の暗部レベルを検出する機能とを有し、映像信号の暗部レベルが持ち上がった場合は、赤通過する帯域通過光学フィルタを選択挿入することを特徴とする撮像装置である。
【発明の効果】
【0019】
上記によると、映像信号の暗部レベルを検出する機能により、撮像素子直前に光学フィルタを選択挿入し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【図面の簡単な説明】
【0020】
【図1A】本発明の1実施例の固体撮像装置を用いた監視システムのブロック図(レンズと撮像素子は1組)
【図1B】本発明の1実施例の固体撮像装置を用いた監視システムのブロック図(レンズと撮像素子は2組)
【図1C】本発明の1実施例の固体撮像装置を用いた監視システムのブロック図(レンズと撮像素子は3組)
【図2A】本発明の1実施例のフローチャート(レンズと撮像素子が1組)
【図2B】本発明の1実施例のフローチャート(レンズと撮像素子が2組)
【図2C】本発明の1実施例のフローチャート(レンズと撮像素子が3組)
【図2D】本発明の1実施例のフローチャート(レンズと撮像素子が1組)
【図2E】本発明の1実施例のフローチャート(湿度計有り)
【図3】本発明の1実施例の固体撮像装置の撮像部と映像信号処理部を示すブロック図
【図4A】本発明の1実施例の固体撮像装置の入射光の輝度分布と内部映像信号Viの輝度分布と出力映像信号Voの輝度分布対応を示す模式図
【図4B】本発明の1実施例の固体撮像装置の入射光の輝度分布と内部映像信号Viの輝度分布と出力映像信号Voの輝度分布対応を示す模式図
【図5】本発明の1実施例の相関平均含む多画素輪郭補正部を示すブロック図
【図6】本発明の1実施例の多画素輪郭補正の動作を示す模式図
【図7】従来の固体撮像装置を用いた監視システムのブロック図
【図8】従来の固体撮像装置の入射光量応答を示す模式図
【発明を実施するための形態】
【0021】
以下、本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Aと図1Bと図1Cと、本発明の1実施例のフローチャートの図2Aと図2Bと図2Cと図2Dと図2Eと、本発明の1実施例の固体撮像装置の撮像部と映像信号処理部を示すブロック図の図3と、を用いて、本発明の実施例の概要を説明する。次に、レンズと撮像素子が1組の本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Aと本発明の1実施例のフローチャートの図2Aと図2Dと図2Eとを用い実施例1を説明する。次に、レンズと撮像素子が2組の本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Bと本発明の1実施例のフローチャートの図2Bとを用い実施例2を説明する。さらに、レンズと撮像素子が3組の本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Cと本発明の1実施例のフローチャートの図2Cとを用い実施例3を説明する。
なお、本発明の1実施例の固体撮像装置を用いた監視システムの動作は、本発明の1実施例のフローチャートの図2A〜図2Eに限らず、図2A〜図2Eの動作を組み合わせても良い。
【0022】
図1A、図1B、図1Cの本発明の1実施例の固体撮像装置を用いた監視システムのブロック図において、1A、1B、1Cは固体撮像装置、2と17と20は可視光と近赤外光とを結像するレンズ、19は近赤外光を結像するレンズ、3は可視光と近赤外光の撮像部撮像部で3A,3B,3Dはシリコン(Si)撮像部、3Cはインジウムガリウム砒素(InGaAs)撮像部である。4は全画素暗電流ばらつき補正と相関平均と多画素輪郭補正とコントラスト増強含む映像信号処理部であり、5は画像圧縮含む送信処理部、6はCPUである。7は受信処理と画像伸長と画像処理含む記録再生部であり、8は湿度計であり、9は8bit相当のアナログVBS(Video Burst Sync)入力の監視用モニタの表示部である。10Aは撮像素子直前に選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタで400−700nm通過と、600−700nm通過と、700nm以上の水蒸気透過帯域(約740nm,約780nm,約860nm,約1040nm,約1200−1250nm,約1550−1650nm)の通過との帯域通過光学フィルタを含む。10Bは撮像素子直前に選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタであって、400−700nm通過と、600−700nm通過と、700nm以上の水蒸気透過帯域(約740nm、約780nm、約860nm、約1040nm)通過の光学フィルタを含む。また、18は近赤外光の内の空気中の(水蒸気と酸素の)分子透過帯域(約1200−1250nm、約1550−1650nm)通過の光学フィルタを含む。14は電動雲台、21は分光光学系である。Linは入射光で、LaとLbとLcとLdとLeとは光学フィルタを通過した入射光である。Viは固体撮像装置内部映像信号(14bit)で、Voは外部出力映像信号(8bit相当)で、VIPはインタネットプロトコル画像パケット信号で、VBSはアナログ複合映像信号(8bit相当)である。外部出力映像信号Voを記録再生部7や監視用モニタ9に入力しても良い。
【0023】
本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Aと、従来の固体撮像装置を用いた監視システムのブロック図の図7との相違は、8の湿度計の有無と、10Aの光学フィルタの通過波長と、全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強含む映像信号処理部の4である。つまり詳細は後で述べるが、全画素暗電流ばらつき補正と相関平均とによる雑音低減と、多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強とが、映像信号処理部の4の中において14bitで処理されていることである。
【0024】
図3は、固体撮像装置のCCDを用いた撮像部3と映像信号処理部4の一例であり、撮像部3においてCCDの代わりにCMOS撮像素子を用いても良い。図3の撮像部3において、6はCPU、12はAFE(Analog
Front End)、13は垂直転送駆動部、22は冷却部、23は冷却駆動部、24は温度センサである。図3の映像信号処理部4において、25はOB(Optical
Black)検出含むコントラスト検出部、26は全画素基準暗電流画面メモリ、27は乗算器、28は減算器、29は周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部、であり、30は黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強部含む映像信号処理部である。
図1Aの入射光Linを光学フィルタ10Aを通過し図3のCCD11で電気信号に変換し、アナログフロントエンド(AFE)12で14bit程度の撮像装置内部映像信号Viとする。図3の温度センサ24でCCD11の温度を検出し、暗電流の変化量を算出する。CCD11がEM−CCDでは温度と電荷増倍の積で暗電流の変化量が定まるので、詳細は後述するがOB検出含むコントラスト検出部の25で、V−OBのH−OB平均値から暗電流の変化量とを算出する。全画素基準暗電流画面メモリの26に記憶された全画素でばらついた基準暗電流に乗算器の27で暗電流の変化量をかけ全画素でばらついた暗電流を算出し、減算器28で映像信号Viから減算し、全画素の暗電流ばらつきを補正する。詳細は後述するが、周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部の29で相関平均と多画素輪郭補正を行い、映像信号処理部の30で、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かでコントラストを増強し、ガンマ補正とニー補正して8bit程度の出力映像信号Voとする。
【実施例1】
【0025】
本発明の1実施例の固体撮像装置を用いた監視システムはブロック図の図1Aのように、可視光と近赤外光を透過するレンズ2と可視光と近赤外光に感度を有する撮像部3と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタ10Aと映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出する図3のコントラスト検出部25を含む映像信号処理部の4とを有する。そこで、本発明の1実施例のフローチャートの図2Aと図2Dとのように、カラー撮像の映像信号の有効コントラストが第一の所定レベルを下回った場合は、近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力する。
【0026】
図2Dは、本発明の1実施例の一例のフローチャートであり、61の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、62のカラー撮像映像信号の暗部は第一の所定値より持ち上がっているかの判定で、Noなら64の可視光透過近赤外光カットのフィルタでカラー撮像する。62の判定で、Yesなら63の青緑カット赤透過近赤外光カットのフィルタで白黒撮像する。63のあと80の「映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Noなら67の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになる。65の判定で、Yesなら66の可視光カットで空気中(水蒸気と酸素との)分子透過の近赤外光を透過のフィルタで白黒撮像してから67になる。67のあと、68の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、69の終了となる。図2Aから図2Eにおいて、62または80は「映像信号のハイライトレベルレベルが第二の所定レベルを下回るか」でも良い。
【0027】
つまり、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部とを有し、可視光撮像の映像信号の暗部レベルが第一の所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、赤又は近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力し、赤撮像の映像信号の暗部レベルが第一の所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することを特徴とする撮像装置である。
また、上記光学フィルタは、約400−700nmと、約600−700nmと、約700nm以上の水蒸気透過帯域通過の光学フィルタであり、順次挿入し、映像信号の暗部レベルが低い方のフィルタを選択挿入し撮影することもできる。例として本発明の1実施例の他の例のフローチャートの図2Aのように、61の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、62の「カラー撮像映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Noなら64の可視光透過近赤外光カットのフィルタでカラー撮像する。62の判定で、Yesなら63の青緑カット赤透過近赤外光カットのフィルタで白黒撮像し66の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像する。65の「66の映像信号の暗部は63の映像信号の暗部より持ち上がっているか」の判定で、Noなら66で撮像した映像に対して67で多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになる。65の判定で、Yesなら63の青緑カット赤透過近赤外光カットのフィルタで白黒撮像してから67になる。67のあと、68の黒レベルを下げ暗部立ち上がりとハイライト圧縮とを補正するとなり、69の終了となる。
上記によると、近赤外光を吸収する霞や霧でも青い光を吸収する細かい土埃でも、映像信号の暗部レベル上昇とコントラスト低下の検出でも灰色の岩肌と霧と判別が困難であっても、映像信号の暗部レベルを検出する機能とフィルタ交換の映像信号の暗部レベルの測定により、撮像素子直前に光学フィルタを選択挿入し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【0028】
また簡易には、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の有効コントラストが第一の所定レベルを下回った場合は、赤通過する帯域通過光学フィルタ又は近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力する。
この方法でも近赤外光を吸収する霞や霧でも青い光を吸収する細かい土埃でも、画面所定部分の暗部レベル上昇と映像信号のコントラスト低下を低減し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【0029】
また、湿度計8を有するので、本発明の1実施例のまた他の例のフローチャートの図2Eのように、61の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、62の「カラー撮像映像信号の暗部第一の所定値より持ち上がっているか」の判定で、Noなら64の可視光透過近赤外光カットのフィルタでカラー撮像する。62の判定で、Yesなら70の「湿度計の湿度は所定値より持ち上がっているか」の判定し、Noなら66の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像する。70の判定で、Yesなら、63の青緑カット赤透過近赤外光カットのフィルタで白黒撮像する。63と66のあと67の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするとなり、68の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、69の終了となる。
つまり、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが持ち上がった場合は、湿度計の湿度が高い場合は前記青緑カットで赤透過フィルタを選択挿入し白黒撮像し、湿度計の湿度が低い場合は前記可視光カットで赤外光透過フィルタを選択挿入し白黒撮像する。
湿度計8は、撮像装置1Aの近くより、監視する被写体の近くの方が、被写体の近くの霧と細かい土埃との判定には、好ましい。
【0030】
以下、本発明の1実施例の映像信号の黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強補正の動作を、本発明の1実施例の固体撮像装置の入射光の輝度分布と内部映像信号Viの輝度分布と出力映像信号Voの輝度分布対応を示す図の図4Aと図4Bとを用いて、説明する。
【0031】
入射光の暗部が少し上がっても、映像信号の黒レベルを下げてガンマ補正を増強しなかったり低減すると、出力映像信号Voのコントラストを確保できる。入射光の暗部が定格の25%(出力信号の50〜60%)付近まで上がると、映像信号の黒レベルを下げてガンマ補正を増強しないほうが出力のコントラスト確保できる。入射光の暗部が定格の30%(出力信号の55〜65%)付近まで上がると、映像信号の黒レベルを下げて暗部のガンマ補正を低減し暗部を圧縮し制限する暗部補正のほうが出力のコントラスト確保できる。映像信号の黒レベルを下げて暗部のガンマ補正を低減し暗部を圧縮し制限する映像信号処理は、画面全体に均一に行うより、画面各部で行うか画素単位で行う方が効果が高い。
また、暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成すれば、アイリスが絞られず、ハイライトレベルの低下が少なく、定格の約85%(出力信号の85〜95%)まで回復する。
【0032】
図4Aと図4Bとに本発明の1実施例の撮像装置の画面の所定の部分のコントラスト増強の、入射光の輝度分布と内部映像信号Viの輝度分布と出力映像信号Voの輝度分布対応を示す。図4Aでは、暗部の入射光量が定格の約30%の場合、映像信号の黒レベルを定格の−50%付近まで大きく下げて暗部のガンマ補正を低減し、映像信号の暗部レベルを出力信号の約55%から約15%まで下げる。また、利得を上げるか絞りを開くか電子シャッタを遅くして、入射光の暗部が上がったことと、映像信号の黒レベルを下げたことによるハイライトの低下を、例えば、定格の約60%、出力信号の約80%から、定格の約70%、出力信号の約85%まで回復させる。輝度出力信号の振幅が約70%105階調約6.8bitになる。さらに輪郭強調を強くする。
【0033】
図4Bに、本発明の他の1実施例の撮像装置の入射光の輝度分布と出力映像信号Voの輝度分布と対応を示す。図4Bでは、入力映像信号の暗部レベル上昇を検出して、映像信号の黒レベルを定格の−100%付近まで大きく下げ暗部圧縮と暗部制限を実施し、暗部のガンマ補正を低減し、暗部の輪郭強調を強くして、出力映像信号の暗部レベルを一定(図4Bでは約5%)にする。映像信号の暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成し、出力信号のハイライトを回復する。さらに、入力映像信号のハイライトレベル低下を検出して、ハイライト圧縮を弱め、ハイライト色伸張を強くし、ハイライトの輪郭強調を強くして、出力映像信号のハイライトレベルを一定(図4Bでは約95%)にする。コントラストが確保されている映像信号では暗部とハイライトの輪郭強調を弱くする。
【0034】
以下、本発明の1実施例の霞や霧や細かい土埃で、変調度が低域から低下することを補正する例を、本発明の1実施例の相関平均含む多画素輪郭補正部を示すブロック図の図5と、本発明の1実施例の多画素輪郭補正の動作を示す模式図の図6とを用い、説明する。
図5において、29は相関平均含む多画素輪郭補正部であり、31と43は画面内遅延部、0〜2Mヶ (6以上の偶数, 本発明の1実施例では,
M=3)画素遅延を行う32〜38は画素遅延6ヶ部、40は映像レベル判定部、41と42は輪郭信号生成部、44は相関平均部、45〜52は加算器、53は正負と増幅度を可変する掛け算器、54は小振幅大振幅の圧縮制限部、55は輪郭補正部、56はスイッチ、M1〜M6はラインメモリ部、M7は画面メモリ部、N0〜N6は負の掛け算器、P3は正の掛け算器である。
【0035】
補正前信号は、画面内遅延部の31において、2Nヶ(6以上の偶数, 本発明の1実施例では, N=3)のM1〜M6のラインメモリ部で走査線(H)期間遅延し0Hから6Hの合計7Hの信号となる。3H信号は、さらに38の画素遅延6ヶ部で画素時間つまりCCDクロック時間し合計7組の遅延信号となる。合計7Hの信号と合計7組の遅延信号とは、41と42との輪郭信号生成部に入り、垂直輪郭信号と水平輪郭信号とになり、加算器51で加算され、小振幅大振幅圧縮制限部54で小振幅と大振幅とを圧縮制限され、3H3画素遅延信号を入力した映像レベル判定部40の制御を受ける正負掛算器53で輪郭補正信号となり、3H3画素遅延信号または相関平均加算の3H3画素遅延信号に加算されて、補正後信号となる。
その結果、本発明の1実施例の多画素輪郭補正部の動作を示す模式図である図6の(a)低周波数から低い変調度の補正前信号のように低周波数から変調度が低下していても、(b)輪郭補正7画素成分と、(c)輪郭補正5画素成分と、(d)輪郭補正3画素成分とを合成し、(e)本発明補正後信号のように、輪郭が補正できる。つまり、低周波数から変調度が低下していても、輪郭が再現できる。
【0036】
また、合計7Hの信号は32から38の画素遅延6ヶ部で画素時間つまりCCDクロック時間遅延し各Hで合計7組で総計49ヶの遅延信号となる。さらに、補正前信号は、画面メモリのM7で、垂直走査(V)期間遅延され、画面内遅延部の43において画面内遅延部の31と同様に、走査線(H)期間遅延し0Hから6Hの合計7Hの信号となり、画素時間つまりCCDクロック時間遅延し各Hで合計7組で総計49ヶの遅延信号となる。
画面内遅延部の31からの49ヶの遅延信号と画面内遅延部の43からの49ヶの遅延信号との総計98ヶの遅延信号は相関平均部44で98ヶの遅延信号と3H3画素遅延信号との相関を算出され、98ヶの遅延信号の内相関の高い信号を重点加算平均する。すなわち、3H3画素遅延信号と98ヶの遅延信号の相関を検出し、
相関の高い信号を相関に比例して重点加算平均した相関平均信号を生成し、上記入力映像信号をM走査線期間遅延しN画素遅延した映像信号と上記相関平均信号との平均をとる。その結果、雑音が低減する。
被写体の可視光及び近赤外光の撮像の映像信号の暗部レベルが所定レベルを上回る場合は、多画素輪郭補正の垂直輪郭補正の強調中心となる走査線本数を多くすることと、多画素輪郭補正の水平輪郭補正の強調中心となる周波数を低くすることと、多画素輪郭補正を強くすることと、相関平均を強くすることと、黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、の少なくとも一方を行う。
【0037】
コントラスト増強後のVoのS/N(Signal to Noise ratio)確保のため、AFE12と映像信号処理部4とは、AFE12の増幅を増加しなくても、図2の映像信号処理のダイナミックレンジ確保とに最低でも8bit+2bitで10bit以上は必要であり、12bit以上が好ましい。AFE12の増幅を4bit(16倍)増加する際は、S/N確保のため、AFEは10bit+4bitで14bit以上は必要である。図1B,図1Cの撮像部3A、3B、3C、3Dも同様である。
【0038】
湿度計に連動するという制御機能の追加のみで、暗部レベルが出力信号の約5%に下がり、暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成するのでアイリスが絞られず、ハイライトが出力信号の約95%と上がり、出力輝度信号振幅が出力信号の約90%確保できる。
靄が濃く霧がかかったり、長距離の靄越しの被写体では、入射光の暗部レベルが定格の約30%まで上昇し、ハイライトが定格の約70%まで低下しても、出力映像信号の被写体成分のコントラストが容易に判別できる。そのため、撮像装置の大型化や原価上昇することなく、遠距離監視が可能になる。
【0039】
つまり、撮像装置において、映像信号の第一の所定以上の暗部レベルを検出した場合、映像信号の黒レベルを低減させることを特徴とする撮像装置である。
実施例1は、図1Aのレンズ2と撮像部3とが1組で小型化が容易なので、霧や土埃の多い鉄道沿線や高速道路の監視に適している。
【0040】
可視光に近い近赤外光の空気中の(水蒸気と酸素との)分子を透過する波長のでは約740nm,約780nm,約860nm,約1040nm,約1200−1250nm,約1550−1650nmと狭帯域の帯域通過となり、入射光のエネルギーが減衰する。従って、下記の実効感度向上策のいずれか一つがが必要となる。
解放絞りの大きいレンズを用い入射光を増加させる。解放絞りの大きいレンズは大型で高価となる。
前述の非特許文献2の様に、約5.6μm以上深いフォトダイオードのSi撮像素子を用いて(約+4.5dBの)高感度とする。または、前述の非特許文献3の様に、フォトダイオード下に近赤外光を反射する微細構造を形成し近赤外光を閉じ込めて吸収率を増やすSi撮像素子を用いて(約+9dBの)高感度とする。微細構造を形成したSi撮像素子でも約400−1200nmの高感度撮像も可能である。さらに、前述の非特許文献4の様に、電荷増倍電極の撮像素子を用いて(+40dB以上の)高感度とする。微細加工の進歩で撮像素子の改良が進んでいる。いずれにせよ、暗電流が目立つので、撮像素子を冷却するか、暗電流のばらつきを画素単位で補正するかが必要になる。
【0041】
撮像素子の暗電流は温度の指数関数に比例する。具体的にはSi撮像素子の暗電流は、6℃温度上昇で2倍になる。従って、撮像素子の温度を温度センサで検出し、検出した温度から記憶しておいた非増倍時の撮像面の全画素の基準暗電流の測定時の撮像素子温度を減算した値で2のべき乗を算出し、記憶しておいた非増倍時の撮像面の全画素の基準暗電流とAFE12の増幅度とを掛け算すれば、現在の非増倍時の撮像面の全画素の暗電流の補正値を算出できる。
【0042】
また、CCD11がEM−CCDでは温度と電荷増倍の積で暗電流の変化量が定まる。そこで、CCD撮像素子の垂直方向の光学的黒画素( Vertical-Optical Black:V−OB)ライン内のH−OBを加算平均した値、またはV−OBライン内のH−OBの最小値を、V−OBライン内のH−OBの暗電流の代表値とする。V−OBライン内のH−OBには、垂直スミア成分も水平スミア成分もない。従って、映像信号処理部で、現在のV−OBライン内のH−OBの代表値を検出して、検出した現在のV−OBライン内のH−OBの代表値を記憶しておいた非増倍時のV−OBライン内のH−OBの基準代表値で除算し、記憶しておいた非増倍時の撮像面の全画素の基準暗電流を掛け算すれば、現在の撮像面の全画素の暗電流の補正値を算出できる。算出した現在の撮像面の全画素の暗電流の補正値を映像信号から減算すれば、撮像面の全画素の暗電流のばらつきを補正でき、S/Nが向上し、実効的に感度が向上する。
または、AFE12の増幅を増加し複数ラインメモリとフィールドメモリとを用い周辺画素と前画面画素との適応型平均により雑音低減し実効的な(約12dBの)高感度とする。AFE12の増幅を4bit(16倍)増加する際は、S/N確保のため、AFEは8bit+4bitで12bit以上は必要であり、14bit以上が好ましい。全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強含む映像信号処理部4ともAFEと同一bit以上が好ましい。
【0043】
前述の非特許文献5の短波長光が減衰せずにフォトダイオードに届く裏面照射構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約400−1700nmの高感度撮像も可能である。短波長光がほとんど減衰せずにフォトダイオードに届く光ガイド内蔵構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約600−1700nmの高感度撮像も可能である。短波長光の透過率の良い光ガイドで、光ガイド内蔵構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約400−1700nmの高感度撮像も可能である。フォトダイオードがInGaAs製の方が約900−1700nmの高感度撮像が容易であり、フォトダイオード以外はSi製の方が微細加工が容易である。
【0044】
アッベ数95と分散のほとんどないガラスを用いた非球面レンズで、反射防止コーティングを各波長向けを単層とし、焦点距離を可変した際の焦点面の変動はカムで機械補正するか電動で補正するズームレンズ相当のバリフォーカルレンズを製作すれば、空気とレンズの境界で光が反射する面が少なくなり、収差も少なく、約400−1700nmのコントラストの高い結像も可能である。
【0045】
上記によると、映像信号の暗部レベル上昇とコントラスト低下の検出でも灰色の岩肌と霧と判別が困難であっても、映像信号の暗部レベルを検出する機能と湿度計とにより、撮像素子直前に光学フィルタを選択挿入し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【実施例2】
【0046】
実施例1と同様の動作の説明は省略し、実施例2特有の構成と動作を、本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Bと本発明の1実施例のフローチャートの図2Bとを用いて説明する。
【0047】
本発明の実施例2の固体撮像装置を用いた監視システムのブロック図の図1Bのように、可視光と近赤外光を透過するレンズ17と可視光と近赤外光に感度を有する撮像部3Dと上記撮像素子直前に選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタ10Bと、近赤外光を透過するレンズ19と近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタ18と近赤外光に感度を有する撮像部3Cと、映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出する図3のコントラスト検出部25を含む全画素暗電流ばらつき補正と相関適応型平均含む映像信号処理部4とを有する。
【0048】
そこで、本発明の1実施例のフローチャートの図2Bのように、カラー撮像の映像信号の暗部レベルが第一の所定レベルを上回った場合は、光学フィルタ10Bの内で近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入し撮像部3Dで撮像した映像の暗部レベルと撮像部3Cで撮像した映像の暗部レベルとを比較し、暗部レベルの低い映像信号を出力する。
具体的には、図2Bの61の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、62の「カラー撮像映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Noなら64の可視光透過近赤外光カットのフィルタでカラー撮像する。62の判定で、Yesなら66の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像する。また、90のInGaAs撮像素子を用いて空気中の水蒸気を透過する近赤外光を撮像する。その後、71の「66の映像信号の暗部は90のInGaAs撮像映像信号の暗部より持ち上がっているか」の判定で、Noなら73の可視光カットで空気中分子透過の近赤外光を透過のフィルタでシリコン撮像部3Dにより白黒撮像した映像信号を出力する。65の判定で、Yesなら、72のInGaAs撮像映像信号を出力する。72または73の後は、67の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになり、68の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、69の終了となる。
【0049】
本発明の実施例2のレンズと撮像素子は2組の固体撮像装置を用いた監視システムのブロック図の図1Bのように、約400−900nmの可視光と近赤外光を結像するレンズと、5.6μm以上深いフォトダイオード(+4.5dB)のSi撮像素子と約400−700nm通過と、約600−700nm通過と、約700nm以上の水蒸気透過帯域(約740nm,約780nm,約860nm,約1040nm)の通過との帯域通過光学フィルタと使用し、可視光と約740nm,約780nm,約860nm,約1040nmの酸素と水蒸気とを透過する近赤外光を撮像し、約1000−1650nm用レンズと、InGaAs撮像素子を使用し、約1040nm,約1200−1250nm,約1550−1650nmの水蒸気を透過する近赤外光を撮像しても良い。
約400−1000nmの可視光と近赤外光を結像するレンズと、フォトダイオード下の近赤外光を反射する微細構造のSi撮像素子を使用し約740nm,約780nm,約860nm,約1040nmの酸素と水蒸気とを透過する近赤外光を撮像し、約1200−1650nm用レンズと、InGaAs撮像素子を使用し約1200−1250nm,約1550−1650nmの水蒸気を透過する近赤外光を撮像しても良い。
【0050】
映像信号の暗部レベルが最も低い光学フィルタを入射光路に挿入した撮像素子の映像信号を出力すれば、ネットワーク等の伝送路が有効に活用できる。
実施例2は、図1Bのレンズ17と19とが受け持つ波長帯域が上記の様に比較的狭いので高倍率望遠ズーム化が容易なので、霧や土埃の多い海岸や海峡や国境等の遠距離の監視に適している。
【実施例3】
【0051】
実施例1と実施例2と同様の動作の説明は省略し、実施例3特有の構成と動作を本発明の実施例3の固体撮像装置を用いた監視システムのブロック図の図1Cと本発明の実施例3のフローチャートの図2Cとを用いて説明する。
説明する。
【0052】
本発明の1実施例の固体撮像装置を用いた監視システムのブロック図の図1Cのように、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタと映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部とを有する。
【0053】
そこで、本発明の1実施例のフローチャートの図2Cのように、カラー撮像の映像信号の暗部レベルが第一の所定レベルを上回った場合は、約740nm,約780nm,約860nm,約1040nm,約1200−1250nm,約1550−1650nm等の近赤外光の内の空気中の(水蒸気と酸素との)分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力する。
具体的には、61の開始のあと61の開示のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、62の「カラー撮像映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Noなら64の可視光透過近赤外光カットのフィルタでカラー撮像する。62の判定で、Yesなら74の青緑光カットで赤透過で近赤外光カットのフィルタつまり赤透過の帯域通過光学フィルタで白黒撮像する。また、90のInGaAs撮像素子を用いて空気中の水蒸気を透過する近赤外光を撮像する。その後、75の「74の映像信号の暗部は90のInGaAs撮像映像信号の暗部より持ち上がっているか」の判定で、Noなら76の青緑光カットで赤透過で近赤外光カットのフィルタで白黒撮像した映像信号を出力する。75の判定で、Yesなら、66の可視光カットで空気中の(水蒸気と酸素との)分子透過の近赤外光を透過のフィルタで白黒撮像し、91のInGaAs撮像素子を用いて空気中の水蒸気を透過する近赤外光を撮像する。そして、77の「66の映像信号の暗部は91のInGaAs撮像映像信号の暗部より持ち上がっているか」の判定で、Noなら、73の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像した映像信号を出力する。77の判定でYesなら、72のInGaAs撮像映像信号を出力する。76、72または73の後は、67の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになり、68の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、69の終了となる。
【0054】
本発明の1実施例のレンズと撮像素子は3組の固体撮像装置を用いた監視システムのブロック図の図1Cのように、NDフィルタと、素通しフィルタと、約600nm以上通過フィルタとの光学フィルタと、分光プリズムまたは分光ミラーの約400−700nmと約740nm,約780nm,約860nm,約1040nm,約1200−1250nm,約1550−1650nmとの分光光学系を設ける。約400−700nmをSi製可視光用撮像素子と約740nm,約780nm,約860nm,約1040nmをSi製近赤外光用撮像素子と約1200−1250nm,約1550−1650nmを少なくともフォトダイオードがInGaAs製の撮像素子を使用すると良い。
また、NDフィルタと、素通しフィルタと、青緑除去し赤近赤外透過とのフィルタとを含む電動フィルタディスクを用いる。
【0055】
NDフィルタまたは素通しフィルタを選択して可視光を撮像した映像信号の暗部レベルが持ち上がった場合は、青緑除去し赤近赤外透過とのフィルタを選択して、映像信号の暗部レベルが最も低い撮像素子の映像信号を出力すれば、ネットワーク等の伝送路が有効に活用できる。
実施例3は、図1Cの撮像部3A,3B,3Cが各波長帯ごとに独立し,複数ラインメモリと暗部レベル検出含む映像信号処理部30で常時各波長帯の撮像映像信号の暗部レベルが検出できるので、天候が急変する、霧や土埃の多い山岳やダムや海峡等の監視に適している。
【符号の説明】
【0056】
1A,1B,1C,1E:固体撮像装置、
2,17,20:可視光と近赤外光とを結像するレンズ、
3:可視光と近赤外光の撮像部、
3A,3B,3C,3D,3E:シリコン(Si)撮像部、
3C:インジウムガリウム砒素(InGaAs)撮像部、
4:全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強含む映像信号処理部、
4F:映像信号処理部、5:画像圧縮含む送信処理部、
5F:暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部、
6:CPU、7:受信処理と画像伸長と画像処理含む記録再生部、
8:湿度計、9:表示部(監視用モニタ)、
10A、10B:選択挿入する駆動部を備えた少なくとも3枚以上の光学フィルタ、
11:CCD、12:AFE、13:垂直転送駆動部、14:電動雲台、
19:近赤外光を結像するレンズ、
21:分光光学系、22:冷却部、23:冷却駆動部、24:温度センサ、
25:OB検出含むコントラスト検出部、26:全画素基準暗電流画面メモリ、
27:乗算器、28:減算器、
29:周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部、
30:黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する(暗部補正)かハイライト圧縮を弱める(ハイライト補正)かの少なくとも一方を行うコントラスト増強部含む映像信号処理部、
31,43:画面内遅延部、32〜38:画素遅延6ヶ部、40:映像レベル判定部、
41,42:輪郭信号生成部、44:相関平均部、45〜52:加算器、
53:正負と増幅度を可変する掛け算器、54:小振幅大振幅の圧縮制限部、
55:輪郭補正部、56:スイッチ、
M1〜M6:ラインメモリ部、M7:画面メモリ、
N1〜N7:負の掛け算器、P3:正の掛け算器、
Lin:入射光、Vi:固体撮像装置内部映像信号(14bit)、
Vo:外部出力映像信号(8bit)、VBS:アナログ複合映像信号(8bit相当)


【特許請求の範囲】
【請求項1】
可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部と可視光通過し近赤外光を除去する光学フィルタとを有し、赤通過する帯域通過光学フィルタと近赤外光の内の空気中の分子を透過する波長の帯域通過光学フィルタとの内の少なくとも1つを有し、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の有効コントラストが第一の所定レベルを下回った場合は、赤通過する帯域通過光学フィルタ又は近赤外光の内の空気中の分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することを特徴とする撮像装置。
【請求項2】
可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部と可視光通過し近赤外光を除去する光学フィルタとを有し、(A)赤通過する帯域通過光学フィルタと近赤外光の内の空気中の分子を透過する波長の帯域通過光学フィルタとを有し、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することと、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、近赤外光の内の空気中の分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することと、(B)可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合、又は、該当映像信号のハイライトレベルが第二の所定レベルを下回る場合は、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを測定し、近赤外光の内の空気中の分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した上記撮像素子の映像信号の暗部レベルを測定し、上記測定した映像信号の暗部レベルのうち大きくない暗部レベルに対応する光学フィルタを入射光路に挿入した上記撮像素子の映像信号を出力することと、(C)赤通過する帯域通過光学フィルタと近赤外光の内の空気中の分子を透過する波長の帯域通過光学フィルタと湿度計とを有し、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、湿度計の湿度が所定値より高い場合は前記赤通過する帯域通過光学フィルタを選択挿入し白黒撮像し、湿度計の湿度が所定値より高くない場合は前記近赤外線の内の空気中の分子を透過する波長の帯域通過光学フィルタを選択挿入し白黒撮像することと、との少なくとも一方を特徴とする撮像装置。
【請求項3】
請求項1乃至請求項2の撮像装置において、
被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストの変化を検出するコントラスト検出部と、
入力映像信号を走査線期間遅延する6ヶ以上の偶数2Mヶの第1映像信号走査線遅延部と、
上記入力映像信号と走査線期間遅延後の映像信号とから垂直輪郭信号を生成する多画素垂直輪郭信号生成部と、
上記入力映像信号と走査線期間遅延後の映像信号とを0から6ヶ以上の偶数2Nヶの画素遅延する第1映像信号画素遅延部と、
上記入力映像信号をM走査線期間遅延した映像信号とM走査線期間遅延し各画素遅延後の映像信号とから水平輪郭信号を生成する多画素水平輪郭信号生成部と、
上記入力映像信号をM走査線期間遅延しN画素遅延した映像信号に上記多画素垂直輪郭信号と上記多画素水平輪郭信号とを加算する多画素輪郭補正部と、
上記入力映像信号を垂直走査線期間遅延する映像信号画面遅延部と、
垂直走査線期間遅延した映像信号を走査線期間遅延する6ヶ以上の偶数2Mヶの第2映像信号走査線遅延部 と、
上記垂直走査線期間遅延した映像信号を走査線期間遅延した後の映像信号を各0から6ヶ以上の偶数2Nヶの画素遅延する第2映像信号画素遅延部と、
上記入力映像信号をM走査線期間遅延し上記入力映像信号とM走査線期間遅延した後の映像信号をN画素遅延した映像信号と、上記入力映像信号を垂直走査線期間遅延し走査線期間遅延した映像信号をそれぞれ画素遅延した信号と、の相関を検出し、相関の高い信号を相関に比例して重点加算平均した相関平均信号を生成し、
上記入力映像信号をM走査線期間遅延しN画素遅延した映像信号と上記相関平均信号との平均をとる相関平均部と、
黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限するかハイライト圧縮を弱めるかの少なくとも一方を行うコントラスト増強部と、
を有し、
少なくとも被写体の可視光及び近赤外光の撮像の映像信号の暗部レベルが所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルが第二の所定レベルを下回る場合は、多画素輪郭補正の垂直輪郭補正の強調中心となる走査線本数を多くすることと、多画素輪郭補正の水平輪郭補正の強調中心となる周波数を低くすることと、多画素輪郭補正を強くすることと、暗部の輪郭補正を強くすることと、ハイライトの輪郭強調を強くすることと、相関平均を強くすることと、黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、ハイライト圧縮を弱めることと、の少なくとも一方を行うことを特徴とする撮像装置。


【図1A】
image rotate

【図1B】
image rotate

【図1C】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図2C】
image rotate

【図2D】
image rotate

【図2E】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−54904(P2012−54904A)
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願番号】特願2010−285775(P2010−285775)
【出願日】平成22年12月22日(2010.12.22)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】