撮像装置
【課題】太陽光が直接照射される地表付近や海上付近において、遠距離被写体の撮像位置が短時間に不規則に変化することを補正する撮像装置を提供する。
【解決手段】水平走査に同期した水平走査より短い時間、ＬＥＤまたはＬＤを用いた光源から出力された所定の波長帯の光を目標物体に照射し、照射された所定の波長帯の光による目標物体からの反射光を、画面一斉の水平走査に同期した電子シャッタ露光で撮像し、撮像された映像について、前記近赤外光の画面の輪郭成分と可視光画面の輪郭成分との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正する。
【解決手段】水平走査に同期した水平走査より短い時間、ＬＥＤまたはＬＤを用いた光源から出力された所定の波長帯の光を目標物体に照射し、照射された所定の波長帯の光による目標物体からの反射光を、画面一斉の水平走査に同期した電子シャッタ露光で撮像し、撮像された映像について、前記近赤外光の画面の輪郭成分と可視光画面の輪郭成分との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地表や海上等、遠距離に存在する物体を撮像する技術に関するものである。
【背景技術】
【０００２】
従来から、天体望遠鏡では、山頂の大気の揺らぎを検出し、所定の補正をかけて光学的に大気の揺らぎを補正している。例えば、天体望遠鏡では、５８９［ｎｍ］のナトリウムＤ２波長のレーザー光を大気圏上層部のナトリウム高濃度層にスポット照射し、ナトリウム原子を５８９［ｎｍ］の波長で発光させる。このナトリウム原子から発光された５８９［ｎｍ］の波長の光を、大気の揺らぎによる波面の乱れ（地表大気揺らぎ成分）として検出し、大気の揺らぎ（地表大気揺らぎ成分）が打ち消されるように可変形状反射鏡面を変形させて波面の乱れを打ち消す。この結果、光学的に大気の揺らぎを補正している。ただし、大気の乱れが変わらないうちに補正する必要がある（非特許文献１参照）。
【０００３】
また、太陽光が直接照射される地表や海上では、照射された太陽光で暖められた大気が不規則に上昇し、陽炎と呼ばれる、時間的に不規則に振動する光の屈折現象（例えば、もや状やしま模様の影、即ち、地表大気の揺らぎ）が発生することがある。このような現象が発生したときには、特に遠距離の場合に、撮像装置が撮像した映像の撮像位置は、肉眼では観測できなくても、不規則に振動する。さらに、標高が低い地表や海上では、太陽光が水蒸気等に吸収されて減衰し、９７０［ｎｍ］付近と、１１３０［ｎｍ］付近の近赤外光の大気中の透過率は、可視光に比較して１／２０以下と小さい。また、波長の短い青色成分の可視光は、霞や霧などのもや、及び土埃等で乱反射される。これらの乱反射の影響を受け難いのは、赤色成分の可視光とされている。
さらにまた、撮像装置においては、霞や霧などが発生した大気中で撮像する場合のもや等の乱反射の除去方法として、可視光短時間パルスＬＥＤ（ Light Emitting Diode ）を目標物体に照射し、電子シャッタ露光により、所定距離以外の乱反射光を除去して、所定距離の目標物体の反射光のみ撮影することが提案されている（特許文献１参照）。
【０００４】
さて、大気中の光の透過率が高い波長域のことを大気の窓と呼ぶことがある。可視光についても同様で、大気の窓の波長域の太陽光（当該色成分の太陽光）は、特に地表付近や海上付近（標高が低い地表や海上）で、あまり減衰せずに照射される。しかし、近赤外光の波長域は、大気中の分子に吸収され、太陽光が地表に届く前に減衰する。特に、９７０［ｎｍ］付近、１１３０［ｎｍ］付近、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、及び、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の波長帯の近赤外光は、９割以上が水蒸気に吸収されほとんど地表に届かない。また、約７６０［ｎｍ］の輝線スペクトラムも、酸素に吸収されほとんど地表に届かない（非特許文献２参照）。
【０００５】
なお、１４００［ｎｍ］以上の波長の赤外光は、人間の眼の硝子体の液体によって伝達されない。このため、その波長帯の赤外光が照射されても、網膜に送られる可能性は低い。この場合、角膜の表面が損傷する可能性はあるが、目の焦点合わせ機能によって出力密度が拡大されることはない。従って、非常に大きな出力でない限り、損傷が発生することはない。
また、放送用テレビカメラのレンズ絞りの調整確認用として、ビューファインダや確認用映像に基準輝度レベルのゼブラを重畳している。
【０００６】
また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰ（ Digital Signal Processor ）だけでなく、安価な汎用のＦＰＧＡ（ Field Programmable Gate Array ）でも容易に実現できるようになった。ただし、信号処理の諧調数をなるべく減らさないと回路規模が増大する。
さらに、ＣＣＤ（ Charge Coupled Device ）から出力された信号から雑音を除去するＣＤＳ（ Correlated Double Sampling ）、暗電流補正と利得可変増幅回路（ Automatic Gain Control 、以下、ＡＧＣと称する）、及び、デジタル映像信号Ｖｉに変換するＡＤＣ（ Analog Digital Converter ）を内蔵したＡＦＥ（ Analog Front End ）が普及してきた。ＡＦＥのＡＤＣの階調は、従来１０ビットだったが、１２ビットや１４ビットが一般化し、１６ビットも製品化された。その上さらに、フレームメモリを内蔵したＤＮＲ（ Digital Noise Reduction ）専用ＩＣ（ Integrated Circuit ）も低価格で発売された。
また、手ぶれ電子補正では、動き検出信号を元に画像メモリに書き込まれている映像信号を水平と垂直方向に手ぶれによって移動した後の位置から読み出し、元の被写体の同一の点が重ね合わされるように合成している。（特許文献２参照）。
【０００７】
また、有効信号の一部を繰り返すガードバンド付き直交周波数分割多重（ Orthogonal Frequency Division Multiplexing 、以下、ＯＦＤＭと称する）映像伝送方式では、ＦＰＧＡを用い、受信したＯＦＤＭ信号と該ＯＦＤＭ信号を有効シンボル遅延した信号と複素乗算し加算して、ガード相関のＩ成分の絶対値とＱ成分の絶対値を加算し、ピーク値の二乗値または二乗値の平方根値の平均値から上記受信信号のレベルを算出している（特許文献３参照）。
また、ＯＦＤＭ伝送方式では、受信信号を離散フーリエ変換し、周波数の大きさの順に連続的に並べ替えて算出した複素ベクトル信号の列からなる全キャリア信号を、所定の周波数でキャリア方向に変調、周波数シフト後、キャリア方向内挿演算を実施し、基準信号を再生していた（特許文献４参照）。
【０００８】
さらに、電子増倍型ＣＣＤ撮像素子（例えば、Electron Multiplying-ＣＣＤ：ＥＭ−ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできる。このため、該撮像素子を用いた撮像装置（電子増倍型ＣＣＤ撮像装置）では、可視光と近赤外光による撮影によって、夜間や暗い場所において、照明なしの準動画の取得が可能となり、特に監視用途で使用している。
電子増倍型ＣＣＤは、電子冷却と組み合わせて感度を高くできる。例えば、ＥＭ−ＣＣＤの電子増倍電極（以下、ＣＭＧと称する）の振幅電圧が０．１Ｖ高くなると１．４倍増幅率が高くなり、ＥＭ−ＣＣＤの温度が１１℃低くなると１．８倍電子増倍率が高くなる。このため、駆動波形の電圧振幅確保と高安定性と発熱低減、つまり消費電力の低減が求められる。
さらに電子増倍率は、ＣＭＧの振幅電圧に強く相関して、ＣＭＧ一段当たり０〜２％の確率で発生し、例えば、一段当たり１％とすると、ＣＭＧが６４０段では、ＥＭ−ＣＣＤとしては、“１．０１”の６４９乗で、約５８３倍の電子増倍率となる。そのため、ＣＭＧの振幅電圧が０．１Ｖ高くなると、ＥＭ−ＣＣＤの電子増倍率が約１．４倍高くなる。従って、非常に低い周波数で、電子増倍率の変動が不規則に揺らぎ、画像信号が不規則に変調され、偽信号が発生する。また、電子増倍の低入射光量レベル側の増倍感度を高くすると、画面の目視上でも非常に目立つ雑音となり、実効感度が大幅劣化する。さらに高電子増倍時は、高電子増倍率と入射光量との積の累積で電子増倍率が低下する。そのため、ＥＭ−ＣＣＤを特に強く電子冷却してＣＭＧ電圧の振幅を最小限にする必要がある（非特許文献１と非特許文献２参照）。しかし、ＥＭ−ＣＣＤは、密閉状態で使用する必要があり、熱発生部を電子冷却し、撮像装置自体を密閉された空間内に収納し、冷却ファンで空気を対流循環させている。このため、放熱が困難で、電子冷却の冷却効果が小さい。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１０９６３９号公報
【特許文献２】特開２００３−１８９３１８号公報
【特許文献３】特開２００３−１１５７８７号公報
【特許文献４】特開２００２−２３２３８２号公報
【非特許文献】
【００１０】
【非特許文献１】竹本宗一郎、「すばる望遠鏡のレーザーガイド星補償光学系の実用化」、誠文堂新光社、天文ガイド、2009 No.10 October P19-P23
【非特許文献２】土田聡、「可視・近赤外域における大気補正」、資源・環境リモートセンシング実用シリーズ２：地球観測データの処理、p.124-139，2002
【非特許文献３】ＴＩ製品カタログ、TC246RGB-B0 680 x 500 PIXEL IMPACTRONTM PRIMARY COLOR CCD IMAGE SENSOR 、SOCS087 - DECEMBER 2004 - REVISED MARCH 2005
【非特許文献４】浜松ホトニクス、「高感度カメラの原理と技術」 Cat No.SCAS0020J01 、DEC／2006
【非特許文献５】「 Longevity in EMCCD and ICCD Part I−EMCCD 」、ANDOR Technical Note 、14−Mar−06
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の従来技術では、太陽光が直接照射される地表付近や海上付近では、陽炎により遠距離被写体の撮像位置が短時間に不規則に変化する。このような変化は、山頂の大気の揺らぎと異なり、遠距離照射の基準可視光が太陽光より弱い。このため、従来の撮像装置では、撮像位置の変化を検出することが困難であった。
本発明は、上記の問題に鑑み、太陽光が直接照射される地表付近や海上付近において、遠距離被写体の撮像位置が短時間に不規則に変化することを補正する撮像装置を提供することが目的である。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、水平走査に同期した水平走査より短い時間、ＬＥＤ（ Light Emitting Diode ）またはＬＤ（ Laser Diode ）を用いた光源から出力された所定の波長帯の光を目標物体に照射し、照射された所定の波長帯の光による目標物体からの反射光を、画面一斉の水平走査に同期した電子シャッタ露光で撮像し、撮像された映像について、前記近赤外光の画面の輪郭成分と可視光画面の輪郭成分との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正することを特徴とする撮像装置である。
前記所定の波長帯の光は、大気中の気体分子で吸収される近赤外光の光である。
また、前記可視光画面は、前記近赤外光の画面と別に、カラー映像を撮像する色分解系のＣＣＤ撮像素子で構成される。
若しくは、前記可視光画面は、前記近赤外光の画面と別に、カラー映像を撮像する色分離フィルタ付きのＣＣＤ撮像素子で構成される。
また、前記近赤外光画面の輪郭成分は、往復で２倍の地表大気の揺らぎを検出することであり、前記可視光画面の輪郭成分は、片道での地表大気の揺らぎである。
さらに、前記近赤外光画面の輪郭成分は、ＬＥＤまたはＬＤから照射される近赤外光の往路と、該ＬＥＤまたはＬＤから照射された所定の波長帯の光による目標物体からの反射光の復路を通った往復分の映像である。
【００１３】
また、上記本発明の撮像装置は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系と、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくともいずれか一方を特徴とする撮像装置である。
さらに、上記本発明の撮像装置は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、近赤外光分解光学系と可視光と高速電子シャッタを有するシリコン近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくとも一方を特徴とする撮像装置である。
また、上記本発明の撮像装置は、１３５０［ｎｍ］〜１４３０［ｎｍ］付近と１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用い、可視光と近赤外光とを透過する光学系と、近赤外光分解光学系とシリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子とを有し、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくとも一方を特徴とする。
【００１４】
また、上記本発明の撮像装置は、目標物体設定時には、ＬＥＤから出力され、画面ごとに可変させた基準近赤外光パルスであって、水平走査に同期し、水平走査期間より短い時間の基準近赤外光パルスを目標物体に照射し、該目標物体から反射した基準近赤外光パルスを電子シャッタ露光し、目標物体までの基準近赤外光パルスの往復時間を検出し、目標物体までの基準近赤外光パルスの往復時間に合わせて、照射し電子シャッタ露光することを特徴とする。
【００１５】
また、上記本発明の撮像装置は、赤の輪郭成分と近赤外光の輪郭成分との相関を検出し、画面各部の片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、検出した移動ベクトルに基づいて赤緑青の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正することを特徴とする。
【００１６】
また、上記本発明の撮像装置は、少なくとも調整時の本線の輪郭成分との相関を検出し補正している画面部分に、特定の色を重畳することを特徴とする。
好ましくは、上記特定の色は黄色である。
【００１７】
また、上記本発明の撮像装置は、近赤外光と赤緑青とに分光する色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子とを有する撮像装置を含む監視装置であり、９７０［ｎｍ］付近または１１３０［ｎｍ］付近の近赤外光を水平走査に同期した水平走査より短い時間ＬＥＤまたはＬＤを目標物体に照射し反射光を電子シャッタ露光での前記近赤外光画面の輪郭成分（往復で２倍地表大気の揺らぎ）と可視光画面の輪郭成分（片道地表大気の揺らぎ）との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正し、（霞や土埃の影響を受けにくい）赤の映像の（霞や土埃の影響で浮きあがった）暗部を沈めた映像信号で侵入者を検知することを特徴とする監視装置である。
【発明の効果】
【００１８】
本発明によれば、大気の窓の外で地表太陽光が弱い近赤外光の水平走査に同期したパルス発光と水平走査に同期した高速電子シャッタにより、リアルタイムで画面の目標物体の可視光に隣接の近赤外光の大気の揺らぎを検出し可視光の映像の大気の揺らぎを補正する。
【図面の簡単な説明】
【００１９】
【図１Ａ】近赤外反射鏡と単板ＥＭ−ＣＣＤと色分離フィルタ付きＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｂ】色分解光学系と４ケのＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｃ】近赤外反射鏡と単板ＩＴ−ＣＣＤと色分離フィルタ付きＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｄ】近赤外反射鏡と単板ＦＩＴ−ＣＣＤと色分離フィルタ付きＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｅ】色分解光学系と４ケのＦＩＴ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｆ】色分解光学系と４ケのＩＴ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｇ】色分解光学系と単板のＣＭＯＳ撮像素子を用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｈ】色分解光学系と４ケのＣＭＯＳ撮像素子を用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図２Ａ】本発明のＣＣＤ撮像装置の一実施例における光源の発光と撮像とのタイミングチャートを示す図である。
【図２Ｂ】本発明のＣＣＤ撮像装置の一実施例における光源の発光と撮像とのタイミングチャートを示す図である。
【図３Ａ】本発明の一実施例や従来技術での画面片道の大気の揺らぎの模式図。
【図３Ｂ】本発明の一実施例での画面の往復の大気の揺らぎを示す模式図。
【図３Ｃ】本発明の一実施例の画面片道の大気の揺らぎの補正後の模式図。
【図４】本発明のＣＣＤ撮像装置の陽炎補正部一実施例の構成を示すブロック図である。
【図５】本発明のＣＣＤ撮像装置の陽炎補正部の相関をとる一実施例を説明するための模式図である。
【発明を実施するための形態】
【００２０】
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
【００２１】
まず、図３Ａ、図３Ｂ、及び図３Ｃによって、本発明の陽炎補正について簡単に説明する。図３Ａ、図３Ｂ、及び図３Ｃは、地表上の電信柱を撮像装置が撮像した映像を示す図である。図３Ａは、陽炎と呼ばれる現象が発生した時に、撮像装置が撮像した場合の映像を示す図である。図３Ｂは、ＬＥＤ（ Light Emitting Diode ）またはＬＤ（ Laser Diode ）等の光源から出力された光が電信柱に照射され、照射された光が電信柱から反射して戻ってきた被写体像（反射光）を撮像装置が撮像した場合の映像を示す図である。図３Ｃは、本発明によって陽炎補正した場合に撮像装置が撮像した場合の映像の一実施例を示す図である。３０１ａ、３０１ｂ、３０１ｃは、それぞれ、ＣＣＤ撮像装置が撮像した視野内全体（画角全体）の表示映像出力（ Video Out ）画像である。３０２ａは画像３０１ａ内の電信柱の被写体像、３０２ｂは画像３０１ｂ内の電信柱の被写体像、３０２ｃは画像３０１ｃ内の電信柱の被写体像である。
【００２２】
通常、陽炎等、大気の揺らぎがない時には、電信柱の被写体像は、肉眼による視認や撮像装置が監視視野内を撮像した全体画像中では、図３Ｃの画像３０２ｂのように見える。しかし、陽炎等、大気の揺らぎが発生した時には、電信柱の被写体像は、肉眼による視認や撮像装置が撮像した画像では、図３ａの画像３０２ｂのように見える。この画像は、被写体から、その可視光の反射光が、被写体像としてＣＣＤ撮像装置の撮像部まで到達することによる。この場合、太陽光が被写体に照射され、その反射光が被写体像として観察される。被写体像は、時間的に不規則に振動する大気中を通過するため、光の屈折現象が発生し、図３ａのように、陽炎現象として見える。この場合は、大気中を通過する光は片道分の屈折現象は、片道分でしか影響を受けない。大気は上空方向から入射するので、揺らぎの影響がないとする。
また、この光の道筋は、被写体像からＣＣＤ撮像素子まで間だけの片道（復路）だけである。さらに、大気は、地表上付近や海上付近は、可視光の大半の波長帯が乱反射し、赤色成分（赤の波長帯）だけが通過する。このため、ＣＣＤ撮像装置が撮像した映像は、画像全体が赤色に見える。
【００２３】
本発明の図３Ａ、Ｂの実施例では、ＣＣＤ撮像装置側のＬＥＤ、ＬＤ等の光源から、可視光より長い波長帯の光（例えば、近赤外光）を出力し、目標物体（被写体）に照射する。この光は、図３Ａに示したように、大気の揺らぎが発生している時において、目標物体（被写体）に到達するまでの道筋（往路）で、陽炎等の大気の揺らぎによる、時間的に不規則に振動する大気中を通過する。このため、目標物体に到達した近赤外光は、すでに、屈折した光となっている。
そして、この屈折した光が目標物体に照射され、反射光が出力光源から出力された場合には、さらに復路（被写体からＣＣＤ撮像装置の撮像面に至る道筋）で光の屈折現象が発生する。この結果、図３Ｂの画像３０１ｂの被写体像３０２ｂのように、２倍に屈折した陽炎現象が見える。即ち、時間的に不規則に振動する大気中を、２回通過するため、光の屈折現象を２重に発生し、図３ｂのように、陽炎現象として見える。
そして、図３Ａの可視光による画像と、図３Ｂの近赤外光による画像について、それぞれ、目標物体の輪郭成分抽出し、抽出された近赤外光による画像の輪郭成分と、可視光による画像の輪郭成分との相関演算を検出する。そして、検出された輪郭の各部（画素ごと）の往復分と片道分との差から、片道分の大気の揺らぎ成分の移動ベクトルを検出し、可視光による画像の画面各部（例えば、画素ごとまたは、画素ブロックごと）に検出した移動ベクトルにより画面の補正を行う。即ち、画素ごとまたは画素ブロックごとに検出した移動ベクトル量分を逆方向に画像を移動する。
なお、好ましくは、相関を採るための可視光の画像は、ＣＣＤ撮像装置の撮像視野内全体（画角全体）を撮像した画像の映像信号である。また好ましくは、相関を採るための可視光の画像は、可視光の赤（Ｒ）成分の映像信号である。
【００２４】
具体的には、本発明の撮像装置の一実施形態は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系と、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくともいずれかを備える。
さらに、本発明の撮像装置の一実施形態は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、近赤外光分解光学系と可視光と高速電子シャッタを有するシリコン近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくともいずれかを備える。
【００２５】
また、本発明の撮像装置の一実施形態は、１３５０［ｎｍ］〜１４３０［ｎｍ］付近と１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用い、可視光と近赤外光とを透過する光学系と、近赤外光分解光学系とシリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子とを有し、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差（近赤外光の可視光に対する倍率色収差）を電子的に補正するか、の少なくともいずれかを備える。
【００２６】
また、本発明の一実施例の出力回路含む陽炎補正部の内部構成を示すブロック図の図４（後述）のように、赤の輪郭成分と近赤外光の輪郭成分との相関を検出し、画面各部の片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、赤緑青の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正する。
また、後述の図２Ａによって説明するＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤを用いた場合の本発明の一実施例の発光と撮像とのタイミングチャートのように、あるいは、後述の図２Ｂによって説明するＩＴ−ＣＣＤを用いた場合の本発明の一実施例の発光と撮像とのタイミングチャートのように、目標物体を設定した時には、高原より出力された基準近赤外光パルスを目標物体に照射し電子シャッタ露光し、目標物体までの光の往復時を検出し、目標物体までの光の往復時に合わせて照射し電子シャッタ露光する。好ましくは、上記において、ＬＥＤ若しくはＬＤを光源とする。また好ましくは、上記基準近赤外光パルスは、画面ごとに可変させたものである。また好ましくは、上記基準近赤外光パルスは、水平走査パルスに同期した、水平走査パルスより短い期間のパルスである。
さらに、好ましくは、本発明の撮像装置の一実施例の全体構成の図１Ａ〜図１Ｈ（後述する）で説明するように、調整時の本線（可視光）の輪郭成分との相関を検出し補正している画面部分に、特定色を重畳する。好ましくは、本線（可視光）の輪郭成分のうち、赤（Ｒ）成分を用いる。
また好ましくは、上記電子シャッタ露光は、画面一斉の水平走査に同期した露光である。即ち、好ましくは、上記電子シャッタ露光は、汎用ＣＭＯＳ撮像素子のローリングシャッタ方式の露光ではない。
【００２７】
図３Ａ、図３Ｂ、図３Ｃで説明した実施例について、さらに図２Ａと図２Ｂを用いて説明する。図２Ａと図２Ｂは、それぞれ、本発明の一実施例のＣＣＤ撮像装置における光源の発光と撮像とのタイミングチャートを示す図である。
なお、図２Ａは、本発明の一実施例のＥＭ−ＣＣＤ撮像装置を含むＦＩＴ（ Frame Interline Transfer ）方式を説明するタイミングチャートであり、図２Ｂは、本発明の一実施例のＥＭ−ＣＣＤ撮像装置を含むＩＴ（ Interline Transfer ）方式を説明するタイミングチャートである。
【００２８】
図２Ａにおいて、（１）は、映像信号期間を、映像信号２０１ａ、２０２ａ、・・・、２１１ａ、２１２ａ、２１３ａ、２１４ａ、２１５ａ、・・・として示す。また（２）は、ＬＥＤの発光駆動パルス２２０ａ、・・・、２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａ、２２６ａ、・・・を示す。図２Ａに示すように、ＬＥＤの発光駆動パルス長は、それぞれの映像信号期間より短い。好ましくは、ＬＥＤの発光駆動パルスは、映像信号期間それぞれと同期して立上がる。
また（３）は、ＣＣＤの掃き捨てタイミングクロック（φＳｕｂ）２３０ａ、・・・、２３１ａ、２３２ａ、２３３ａ、２３４ａ、２３５ａ、２３６ａ、・・・を示す。
【００２９】
（４）と（６）は、受光部のそれぞれの素子から、信号電荷をそれぞれ読出すための１対の垂直転送パルスＶ１ＡとＶ３Ａの読出パルス２４０ａと２６０Ａ、・・・、２４１ａ、２４２ａと２６２Ａ、２４３ａと２６３Ａ、２４４ａと２６４Ａ、２４５ａと２６５Ａ、２４６ａと２６６Ａ、・・・、転送パルス２４０ｃと２６０Ｃ、２４４ｃと２６６Ｃ、・・・、及び、映像信号転送区間２４１ｃと２６１Ｃ、２４５ｃと２６５Ｃ、・・・を示す。
また（５）と（７）は、読出した信号電荷を蓄積部に高速転送するための転送パルスである。なお、映像信号転送区間２５１ｃと２７１Ｃ、２５５ｃと２７５Ｃは、それぞれ映像信号転送区間２４１ｃと２６１Ｃ、２４５ｃと２６５Ｃと同じものである。
（５）は、垂直転送パルスＶ２Ａの映像信号転送区間２５１ｃ、２５５ｃ、・・・を示す。（７）は、垂直転送パルスＶ４Ａの映像信号転送区間２７１ｃ、２７４ｃ、・・・を示す。
【００３０】
（８）〜（１１）は、それぞれ、蓄積部の垂直転送パルスを示す。
（８）は、垂直転送パルスＶ１Ｂの転送パルス２８０ａ、・・・、２８１ａ、２８２ａ、２８３ａ、２８４ａ、２８５ａ、２８６ａ、２８７ａ、・・・と、映像信号転送区間２８１ｃ、２８５ｃ、・・・を示す。（９）は、垂直転送パルスＶ２Ｂの転送パルス２９０ａ、・・・、２９１ａ、２９２ａ、２９３ａ、２９４ａ、２９５ａ、２９６ａ、２９７ａ、・・・と、映像信号転送区間２９１ｃ、２９５ｃ、・・・を示す。（１０）は、垂直転送パルスＶ３Ｂの転送パルス２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、・・・と、映像信号転送区間２１０１ｃ、２１０４ｃ、・・・を示す。（１１）は、垂直転送パルスＶ４Ｂの転送パルス２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ、・・・と、映像信号転送区間２１１１ｃ、２１１４ｃ、・・・を示す。
【００３１】
（１２）は、被写体（目標物体）が近距離に存在する場合のＬＥＤから照射された近赤外光による目標物体からの反射光がＣＣＤに蓄積される場合の信号電荷２１２１ａ、２１２２ａ、２１２３ａ、２１２４ａ、２１２５ａ、・・・を示す。（１３）は、被写体（目標物体）が遠距離に存在する場合のＬＥＤから照射された近赤外光による目標物体からの反射光がＣＣＤに蓄積される場合の信号電荷を示す。
なお横軸は、（１）〜（１３）に共通の時間軸である。
【００３２】
図２Ａにおいて、１垂直走査期間（１Ｖ期間）は約１７［ｍｓ］、垂直ブランキング期間（Ｖ．ＢＬ）は、約１．２［ｍｓ］、水平走査期間（１Ｈ期間）は、約６４［μｓ］、水平ブランキング期間（Ｈ．ＢＬ）は、約１１［μｓ］である。
（１）ＬＥＤが発光（パルス２２１ａ）した直後には、ＬＥＤの発光駆動（φＳｕｂ）パルス（パルス２３１ａ）が立上り、ＣＣＤの受光部の信号電荷が掃き捨てられる。その後ＣＣＤの受光部に蓄積された信号電荷の読出しが、パルス２４２Ａ及びパルス２６２Ａで開始される。
パルス２２１ａによりＬＥＤから発光した近赤外光が目標物体（被写体）に到達して反射し、被写体像としてＣＣＤに戻ってくる前に、掃き捨てのためのパルス２３１ａが立上り、その後、信号電荷の蓄積が始まる。この結果、パルス２２１ａの反射による被写体像だけが受光し、そのパルスに基づく信号電荷だけが読出される（読出しパルス２４２ａ、２６２ａ）。即ち、掃き捨てパルス２３１ａの立上り時刻（または立下り時刻）から読出しパルス２４２ａ（パルス２６２ａ）の立上り時刻（または立下り時刻）までの時間が、電子シャッタの露光時間である。
【００３３】
従って、（１３）の実線で示す信号電荷２１３０ａ、２１３１ａ、２１３２ａ、２１３３ａ、２１３４ａ、２１３５ａ、・・・が、ＣＣＤから転送出力される。なお、（１２）の破線で示す信号電荷２１２１ａ、２１２２ａ、２１２３ａ、２１２４ａ、２１２５ａ、・・・は、近距離に目標物体が存在する場合には、近赤外光が反射して戻ってくるまでの往復の時間が早い。従って、ＣＣＤが信号電荷を掃き捨てるタイミングの時刻の前に受光する。このため、信号電荷として、ＣＣＤから転送出力されない。
なお、ＬＥＤ発光パルス２２２ｂと掃き捨てパルス２３２ｂの立上り時間差を調整することによって、ＣＣＤが露光可能な目標物体までの距離が定まる。即ち、ＬＥＤから近赤外光が出力され、目標物体から反射して戻ってくるまでの時間が、上記時間差の最大値である。従って、陽炎等の地表付近または海上付近の大気の乱れの補正は、ＬＥＤやＬＤ等の近赤外光を出力する光源から、目標物体に照射されその被写体像が戻ってくるまでの時間で定まる。
好ましくは、ＬＥＤまたはＬＤ等の光源の１回の発光している時間は、発光パルスの開始時刻（立上り時刻）から、掃き捨てパルス２３１ａの立上り時刻までの時間より長い。
【００３４】
次に、図２Ｂにおいても、図２Ａと同様に、１垂直走査期間（１Ｖ期間）は約１７［ｍｓ］、垂直ブランキング期間（Ｖ．ＢＬ）は、約１．２［ｍｓ］、水平走査期間（１Ｈ期間）は、約６４［μｓ］、水平ブランキング期間（Ｈ．ＢＬ）は、約１１［μｓ］である。なお横軸は、（１）〜（１０）に共通の時間軸である。
ＬＥＤが発光（パルス２２２ｂ）した直後には、ＬＥＤの発光駆動（φＳｕｂ）パルス（パルス２３２ｂ）が立上り、ＣＣＤの受光部の信号電荷が掃き捨てられる。その後ＣＣＤに蓄積された信号電荷の読出しが、パルス２４２ｂ及びパルス２６２ｂで開始される（以下、パルス２２３ｂ〜２３５ｂ。・・・でも同様）。その横方向の信号電荷の読出しと共に、垂直方向にもパルス毎に転送がなされ（例えば、（５）の転送パルス２５２ｄ〜２５７ｄ、・・・、（７）の転送パルス２７２ｄ〜２７７ｄ、・・・参照）によりフレームメモリに転送され（例えば、（８）のフレームメモリ入力期間２８１ｂ〜２８６ｂ、・・・参照）、ＣＣＤから転送出力される。
なお、図２Ａの実施例では、フレームメモリの動作については記述していない。しかし、一般的にＣＣＤから転送出力された信号電荷は、一度、フレームメモリに保存されてから、フレーム毎またはフィールド毎に出力される。
【００３５】
即ち、ＬＥＤから発光した（パルス２２２ｂ）近赤外光が目標物体（被写体）に到達して反射し、被写体像としてＣＣＤに戻ってくる前に、掃き捨てのためのパルス２３２ｂが立上り、その後、信号電荷の蓄積が始まる。この結果、パルス２２２ｂの反射による被写体像だけが受光され、そのパルスに基づく信号電荷だけが読出転送される。即ち、掃き捨てパルス２３２ｂの立上り時刻（または立下り時刻）から読出しパルス２４２ｂ（パルス２６２ｂ）の立上り時刻（または立下り時刻）までの時間が、電子シャッタの露光時間である。
【００３６】
従って、（１０）の実線で示す信号電荷２１０２ｂ、２１０３ｂ、２１０４ｂ、２１０５ｂ、・・・が、ＣＣＤから転送出力される。なお、（９）の破線で示す信号電荷２９２ｂ、２９３ｂ、２９４ｂ、２９５ｂ、・・・は、近距離に目標物体が存在する場合には、近赤外光が反射して戻ってくるまでの往復の時間が早い。従って、ＣＣＤが信号電荷を掃き捨てるタイミングの時刻の前に受光する。このため、信号電荷として、ＣＣＤから転送出力されない。
なお、ＬＥＤ発光パルス２２２ｂと掃き捨てパルス２３２ｂの立上り時間差を調整することによって、ＣＣＤが露光可能な目標物体までの距離が定まる。即ち、ＬＥＤから近赤外光が出力され、目標物体から反射して戻ってくるまでの時間が、上記時間差の最大値である。従って、陽炎等の地表付近または海上付近の大気の乱れの補正は、ＬＥＤやＬＤ等の近赤外光を出力する光源から、目標物体に照射されその被写体像が戻ってくるまでの時間で定まる。
好ましくは、ＬＥＤまたはＬＤ等の光源の１回の発光している時間は、発光パルスの開始時刻（立上り時刻）から、掃き捨てパルス２３１ａの立上り時刻までの時間より長い。
【００３７】
なお、図２Ａまたは図２Ｂのタイミングチャートのように、目標物体設定時は、画面ごとに可変させた水平走査に同期した短時間の基準近赤外光パルスＬＥＤを目標物体に照射し水平走査に同期した電子シャッタ露光し、目標物体までの光の往復時を検出し、目標物体までの光の往復時に合わせて水平走査に同期した短時間の基準近赤外光パルスＬＥＤを照射し平走査に同期した電子シャッタ露光する。
また、ＨＤＴＶの場合には、図２Ａまたは図２Ｂにおいて、１垂直走査期間（１Ｖ期間）は約１７または２０［ｍｓ］、垂直ブランキング期間（Ｖ．ＢＬ）は、約０．２［ｍｓ］、水平走査期間（１Ｈ期間）は、約３０または３６［μｓ］、水平ブランキング期間（Ｈ．ＢＬ）は、約３０［μｓ］である。
【００３８】
図１Ａは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ａは、近赤外反射鏡と単板ＣＣＤと色分離フィルタ付きＣＣＤを用いた撮像装置の一実施例のブロック構成図である。
【００３９】
１００Ａは、本発明の一実施例の撮像装置、１は入射光を結像するレンズ等の光学系、２Ａは入射光を近赤外光と可視光とに分光する分光光学系、３Ａと３Ｃは分光光学系２Ａから入射した光を電気信号に変換する電子増倍型ＣＣＤである。また、１２はＬＥＤ、１３はＬＥＤ駆動部である。分光光学系２Ａにおいて、１２１は分光部、１２２は反射鏡である。ＣＣＤ（ＣＣＤ３Ａ、または３Ｃ）において、１０１は撮像部のフォトダイオード（ Photo Diode ）、１０２は撮像部の垂直転送部、１０３は蓄積部の垂直転送部、１０４はＣＭＧ、１０５は電圧変換部である。なお、ＣＣＤ３Ａ、３Ｃは、例えば、ＥＭ−ＣＣＤ等の電子増倍型ＣＣＤである。
４Ａと４Ｃはメモリ付映像信号処理部、５は撮像装置１００Ａ内の各部を制御するＣＰＵ（ Central Processing Unit ）、６はオーバーフロードレイン（ＯＤ）駆動部、７は撮像部の垂直転送駆動部、８は蓄積部の垂直転送駆動部、９はタイミング発生部（ Timing Generator:ＴＧ）、１０は電子増倍の利得制御を行うためのＣＭＧ駆動部である。ＴＧ９において、１０６は水平周期シャッタタイミング（ＴＧ）発生部、１０７は水平周期読出パルスと垂直転送タイミング（ＴＧ）発生部、１０８は垂直転送タイミング（ＴＧ）発生部である。
１１ＡはＣＣＤ３Ａが接続されるＡＦＥ、１１ＣはＣＣＤ３Ｃが接続されるＡＦＥ（ Analog Front End ）である。ＡＦＥ１１Ａ及び１１Ｃは、ＣＣＤ３Ａ、３Ｃから出力された信号から、雑音を除去するＣＤＳ１０９と暗電流補正と信号の利得を調整するＡＧＣ１１０とデジタル映像信号Ｖｉに変換する１４ｂｉｔ以上のＡＤＣ１１１からなるＡＦＥで構成される。なお、ＡＧＣ１１０を、ＡＦＥに含まず、別に設けても良い。また、ＡＦＥ１１Ａ、１１Ｃには水平転送とリセットとＣＤＳ１０９とＡＧＣ１１０とのタイミング発生部（ Timing Generator:ＴＧ）を含む。
また、１４は陽炎補正部である。
【００４０】
図１Ａにおいて、ＣＰＵ５は、ＴＧ９の水平周期シャッタＴＧ１０６を介して、発光駆動パルスをＬＥＤ駆動部１３に出力する。ＬＥＤ駆動部１３は、入力された発光駆動パルスに基づいてＬＥＤ１２を駆動し、ＬＥＤ１２は、ＬＥＤ駆動部１３に駆動されて、所定のスペクトルまたは所定の波長帯の近赤外光を出力する。
光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、分光光学系２Ａに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射され、復路を通って光学系１に入射するものである。
光学系１を介して入力された光は、分光光学系２Ａの分光部１２１に入力される。分光光学系２Ａの分光部１２１は、入力された光の可視光成分を透過し、ＣＣＤ３Ｃに入射する。また分光部１２１は、近赤外光成分を反射し、反射光１２２に出射する。反射鏡１２２は入射された近赤外光をＣＣＤ３Ａに出射する。
ＣＣＤ３Ａに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＣＤ３Ｃに入射された可視光は、電気信号に変換され、メモリ付映像信号処理部４Ｃを介して陽炎補正部１４に入力される。
【００４１】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ａの映像信号Ｖｉとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。なお、好ましくは、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉと、メモリ付映像信号処理部４Ｃの可視光の赤（Ｒ）成分との相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動する。
【００４２】
図１Ｄは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｄは、近赤外反射鏡と単板ＦＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｄの撮像装置１００Ｄは、図１Ａの撮像装置１００Ａにおいて、ＣＣＤ３Ａ及び３ＣをＥＭ−ＣＣＤからＦＩＴ−ＣＣＤに替え、ＣＭＧ１０４を除くことによって構成される。
また、図１Ｃは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｃは、近赤外反射鏡と単板ＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｃの撮像装置１００Ｃは、図１Ｄの撮像装置１００Ｄにおいて、ＣＣＤ３Ａ及び３ＣをＦＩＴ−ＣＣＤからＩＴ−ＣＣＤに替え、さらに、蓄積部垂直転送部１０３を除くことによって構成される。
【００４３】
図１Ａ、図１Ｄ、及び図１Ｃの実施例では、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を、ＬＥＤ若しくはＬＤ等の光源から、目標物体に照射する。
そして、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有する。
若しくは、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、光軸上近赤外光収差をピエゾ素子（図示しない）等で機械的に補正し、倍率近赤外光収差（近赤外光の可視光に対する倍率色収差）を電子的に補正する機能を備えた撮像素子を備える。具体的には、図示しないピエゾ素子は、図１Ａ、図１Ｄ、若しくは図１Ｃにおいて、近赤外光を撮像する撮像素子に設けられ、ＣＰＵ５の制御により上下方向に微小移動して色収差を補正する。
なお、目標物体に照射する光源から照射される近赤外光の波長は、上記以外でもよく、例えば、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用いても良い。撮像素子としては、シリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子、またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子でも良い。
【００４４】
図１Ｂは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｂは、色分解光学系と４ケのＣＣＤを用いた撮像装置の一実施例のブロック構成図である。図１Ａ、図１Ｃ、または図１Ｄと同一の機能のものには同一の符号を付し、説明をできるだけ省略する。
【００４５】
１００Ｂは本発明の一実施例の撮像装置、２Ｃは入射光を近赤外光と赤と緑と青とに分光する色分解光学系、３Ａ、３Ｒ、３Ｇ、及び３Ｂは色分解光学系２Ｃから入射した光を電気信号に変換するＣＣＤ、４Ａ、４Ｒ、４Ｇ、及び４Ｂはメモリ付映像信号処理部である。なお、ＣＣＤ３Ａ、３Ｒ、３Ｇ、及び３Ｂは、例えば、ＥＭ−ＣＣＤ等の電子増倍型ＣＣＤである。
４Ａ、４Ｒ、４Ｂ、及び４Ｂはメモリ付映像信号処理部、１１ＡはＣＣＤ３Ａが接続されるＡＦＥ、１１ＲはＣＣＤ３Ｒが接続されるＡＦＥ、１１ＧはＣＣＤ３Ｇが接続されるＡＦＥ、１１ＢはＣＣＤ３Ｂが接続されるＡＦＥである。ＡＦＥ１１Ａ、１１Ｒ、１１Ｇ、及び１１Ｂは、ＣＣＤ３Ａ、３Ｒ、３Ｇ、３Ｂからそれぞれ出力された信号から、雑音を除去するＣＤＳ１０９と暗電流補正と信号の利得を調整するＡＧＣ１１０とデジタル映像信号Ｖｉに変換する１４ｂｉｔ以上のＡＤＣ１１１から構成される。なお、ＡＧＣ１１０を、ＡＦＥに含まず、別に設けても良い。また、ＡＦＥ１１Ａ、１１Ｒ、１１Ｇ、１１Ｂには水平転送とリセットとＣＤＳ１０９とＡＧＣ１１０とのＴＧを含む。
【００４６】
図１Ｂにおいて、光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、色分解光学系２Ｃに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射され、復路を通って光学系１に入射するものである。
色分解光学系２Ｃは、入力された光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び近赤外光（ＩＲ）に分光し、分光されたＲをＣＣＤ３Ｒ、分光されたＧをＣＣＤ３Ｇ、分光されたＢをＣＣＤ３Ｂ、分光されたＩＲをＣＣＤ３Ａに出射する。
ＣＣＤ３Ａに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＣＤ３Ｒに入射された可視光の赤（Ｒ）は、電気信号に変換され、メモリ付映像信号処理部４Ｒを介して陽炎補正部１４に入力される。同様に、ＣＣＤ３Ｇに入射された可視光の緑（Ｇ）は、電気信号に変換され、メモリ付映像信号処理部４Ｇを介して陽炎補正部１４に入力される。また同様に、ＣＣＤ３Ｂに入射された可視光の青（Ｂ）は、電気信号に変換され、メモリ付映像信号処理部４Ｂを介して陽炎補正部１４に入力される。
【００４７】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ｒとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｒ、４Ｇ、及び４Ｂから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。
【００４８】
図１Ｅは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｅは、色分解光学系と４ケのＦＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｅの撮像装置１００Ｅは、図１Ｂの撮像装置１００Ｂにおいて、ＣＣＤ３Ａ、３Ｒ、３Ｇ、及び３ＢをＥＭ−ＣＣＤからＦＩＴ−ＣＣＤに替え、ＣＭＧ１０４を除くことによって構成される。
また、図１Ｆは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｆは、色分解光学系と４ケのＦＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｆの撮像装置１００Ｆは、図１Ｅの撮像装置１００Ｅにおいて、ＣＣＤ３Ａ、３Ｒ、３Ｇ、及び３ＢをＦＩＴ−ＣＣＤからＩＴ−ＣＣＤに替え、さらに、蓄積部垂直転送部１０３を除くことによって構成される。
【００４９】
図１Ｂ、図１Ｅ、及び図１Ｆの実施例では、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を、ＬＥＤ若しくはＬＤ等の光源から、目標物体に照射する。
そして、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有する。
若しくは、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、光軸上近赤外光収差をピエゾ素子（図示しない）等で機械的に補正し、倍率近赤外光収差を電子的に補正する機能を備えた撮像素子を備える。具体的には、図示しないピエゾ素子は、図１Ｂ、図１Ｅ、若しくは図１Ｆにおいて、近赤外光を撮像する撮像素子に設けられ、ＣＰＵ５の制御により上下方向に微小移動して色収差を補正する。
なお、目標物体に照射する光源から照射される近赤外光の波長は、上記以外でもよく、例えば、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用いても良い。撮像素子としては、シリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子、またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子でも良い。
【００５０】
図１Ｇは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｇは、近赤外反射鏡と色分離フィルタ付き単板ＣＭＯＳ撮像素子とを用いた撮像装置の一実施例のブロック構成図である。
１００Ｇは、本発明の一実施例の撮像装置である。光学系１、分光光学系２Ａ、メモリ付映像信号処理部４Ａ、４Ｃ、ＬＥＤ１２、ＬＥＤ駆動部１３、及び陽炎補正部１４は、図１Ａ、図１Ｃ、図１Ｄと同様である。
また、１Ｄと１Ｃは、それぞれ、分光光学系２Ａから入射した光を電気信号に変換するＣＭＯＳ撮像素子である。分光光学系２Ａにおいて、１２１は分光部、１２２は反射鏡である。ＣＭＯＳ撮像素子１Ｄと１Ｃは、それぞれ、ＣＭＯＳ１Ｄ及び１Ｃは、例えば、ＴＧ（ Timing Generator ）、駆動部、ノイズリダクション（ＮＲ：Noise Reduction ）部、及びＡＤＣを内蔵したＣＭＯＳ撮像素子である。
また５は撮像装置１００Ａ内の各部を制御するＣＰＵ、９はＴＧである。
【００５１】
図１Ｇにおいて、ＣＰＵ５は、ＴＧ９を介して、発光駆動パルスをＬＥＤ駆動部１３に出力する。また、ＣＰＵ５は、ＴＧ９を介して、ＣＭＯＳ撮像素子１Ｄ及び１Ｃにも駆動パルスを出力し、ＣＭＯＳ撮像素子１Ｄ及び１Ｃを駆動する。ＬＥＤ駆動部１３は、入力された発光駆動パルスに基づいてＬＥＤ１２を駆動し、ＬＥＤ１２は、ＬＥＤ駆動部１３に駆動されて、所定のスペクトルまたは所定の波長帯の近赤外光を出力する。
光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、分光光学系２Ａに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射され、復路を通って光学系１に入射するものである。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射される。
光学系１を介して入力された光は、分光光学系２Ａの分光部１２１に入力される。分光光学系２Ａの分光部１２１は、入力された光の可視光成分を透過し、ＣＭＯＳ撮像素子１Ｃに入射する。また分光部１２１は、近赤外光成分を反射し、反射光１２２に出射する。反射鏡１２２は入射された近赤外光をＣＭＯＳ撮像素子１Ｄに出射する。
ＣＭＯＳ撮像素子１Ｄに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＭＯＳ撮像素子１Ｃに入射された可視光は、電気信号に変換され、メモリ付映像信号処理部４Ｃを介して陽炎補正部１４に入力される。
【００５２】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ａの映像信号Ｖｉとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。なお、好ましくは、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉと、メモリ付映像信号処理部４Ｃの可視光の赤（Ｒ）成分との相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動する。
【００５３】
図１Ｈは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｈは、色分解光学系と４ケのＣＭＯＳ撮像素子とを用いた撮像装置の一実施例のブロック構成図である。
１００Ｈは、本発明の一実施例の撮像装置である。光学系１、色分解光学系２Ｃ、メモリ付映像信号処理部４Ａ、４Ｒ、４Ｇ、４Ｂ、ＬＥＤ１２、ＬＥＤ駆動部１３、及び陽炎補正部１４は、図１Ｂ、図１Ｅ、図１Ｆと同様である。
また、１Ｄ、１Ｒ、１Ｇ、及び１Ｂは、それぞれ、色分解光学系２Ｃから入射した光を電気信号に変換するＣＭＯＳ撮像素子である。ＣＭＯＳ撮像素子１Ｄ、１Ｒ、１Ｇ、及び１Ｂは、それぞれ、例えば、ＴＧ（ Timing Generator ）、駆動部、ノイズリダクション（ＮＲ：Noise Reduction ）部、及びＡＤＣを内蔵したＣＭＯＳ撮像素子である。
また５は、図１Ｇと同様に、撮像装置１００Ａ内の各部を制御するＣＰＵ、９はＴＧである。
【００５４】
図１Ｈにおいて、ＣＰＵ５は、ＴＧ９を介して、発光駆動パルスをＬＥＤ駆動部１３に出力する。また、ＣＰＵ５は、ＴＧ９を介して、ＣＭＯＳ撮像素子１Ｄ、１Ｒ、１Ｇ、及び１Ｂにも駆動パルスを出力し、ＣＭＯＳ撮像素子１Ｄ、１Ｒ、１Ｇ、及び１Ｂを駆動する。ＬＥＤ駆動部１３は、入力された発光駆動パルスに基づいてＬＥＤ１２を駆動し、ＬＥＤ１２は、ＬＥＤ駆動部１３に駆動されて、所定のスペクトルまたは所定の波長帯の近赤外光を出力する。
光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、色光学系２Ｃに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射される。
色分解光学系２Ｃは、入力された光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び近赤外光（ＩＲ）に分光し、分光されたＲをＣＭＯＳ撮像素子１Ｒ、分光されたＧをＣＭＯＳ撮像素子１Ｇ、分光されたＢをＣＭＯＳ撮像素子１Ｂ、分光されたＩＲをＣＭＯＳ撮像素子１Ｄに出射する。
ＣＭＯＳ撮像素子１Ｄに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＭＯＳ撮像素子１Ｒに入射された可視光の赤（Ｒ）成分は、電気信号に変換され、メモリ付映像信号処理部４Ｒを介して陽炎補正部１４に入力される。さらに、ＣＭＯＳ撮像素子１Ｇに入射された可視光の緑（Ｇ）成分は、電気信号に変換され、メモリ付映像信号処理部４Ｇを介して陽炎補正部１４に入力される。またさらに、ＣＭＯＳ撮像素子１Ｂに入射された可視光の青（Ｂ）成分は、電気信号に変換され、メモリ付映像信号処理部４Ｂを介して陽炎補正部１４に入力される。
【００５５】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ｒとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｒ、４Ｇ、及び４Ｂから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。
【００５６】
図１Ｇ及び図１Ｈの実施例では、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を、ＬＥＤ若しくはＬＤ等の光源から、目標物体に照射する。
そして、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有する。
若しくは、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、光軸上近赤外光収差をピエゾ素子（図示しない）等で機械的に補正し、倍率近赤外光収差を電子的に補正する機能を備えた撮像素子を備える。具体的には、図示しないピエゾ素子は、図１Ｇ、若しくは図１Ｈにおいて、近赤外光を撮像する撮像素子に設けられ、ＣＰＵ５の制御により上下方向に微小移動して色収差を補正する。
なお、目標物体に照射する光源から照射される近赤外光の波長は、上記以外でもよく、例えば、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用いても良い。撮像素子としては、シリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子でも良い。
【００５７】
次に、図１Ａ、図２Ａ、図４、及び図５を用いて、本発明の陽炎補正部の一実施例について説明する。図４は、本発明のＣＣＤ撮像装置の陽炎補正部一実施例の構成を示すブロック図である。１４は本発明のＣＣＤ撮像装置の一実施例の陽炎補正部、１５は映像メモリ、１６は相関検出部、１７は画素移動読出しアドレス部、１８は出力部、１９は画像処理部である。図５は、本発明のＣＣＤ撮像装置の陽炎補正部の相関をとる一実施例を説明するための模式図である。図５（１）は赤（Ｒ）の画像、図５（２）は近赤外光の画像を示す。
図４の陽炎補正回路では、図３Ａ、図３Ｂ、及び図３Ｃで説明したように、ＣＰＵ６の制御に基づいて、以下のように補正を行う。
【００５８】
図４及び図５において、映像メモリ１５には、近赤外光のデジタル映像信号ＩＲＶｉ、赤（Ｒ）のデジタル映像信号ＲＶｉ、緑（Ｇ）のデジタル映像信号ＧＶｉ、青（Ｂ）のデジタル映像信号ＢＶｉが入力され、保存される。
映像メモリ１５は、入力されたデジタル映像信号ＩＲＶｉから近赤外光の映像データＥIR1H、・・・、ＥIRkH、・・・、ＥIRnH（ IRは近赤外光を示し、kHはk番目の水平ラインであることを示す。1＜k＜nであり、n=243である）と、赤（Ｒ）のデジタル映像信号ＲＶｉから赤の映像ラインの映像データＥR1H、・・・、ＥRmH、・・・、ＥRnH（ Rは可視光の赤色成分を示し、mHはm番目の水平ラインであることを示す。1＜m＜nであり、n=243である）とを相関検出部１６に出力する。
【００５９】
相関検出部１６は、入力された近赤外光の映像データＥIR1H、・・・、ＥIRkH、・・・、ＥIRnHのそれぞれについて、入力された赤の映像ラインの映像データＥR1H、・・・、ＥRmH、・・・、ＥRnHとの相関を採り、映像ライン間で最も相関の高い映像データＥIRkHt1及びＥRmHt2を検出する。検出した最も相関の高い映像データＥIRkHt1及びＥRmHt2について、近赤外光の映像データＥIRkHt1の垂直ライン番号をｊ、水平時間をｔ１とし、赤色成分の映像データＥRmHt2の垂直ライン番号をｉ、水平時間をｔ２とする。その時、垂直差ｄＶ（ｄＶ＝ｉ−ｊ）及び水平差ｄＨ（ｄＨ＝ｔ２−ｔ１）を算出し、算出した垂直差ｄＶ及び水平差ｄＨを画素移動読出しアドレス部１７に出力する。
例えば、相関検出部１６は、ＥＭ−ＣＣＤ等の電子増倍型ＣＣＤであるときに、近赤外光の映像ラインの映像データＥIRkHが奇数フィールドである場合には、赤の映像ラインのＥR0H、ＥR1H、ＥR2H、・・・、ＥRmH、・・・、ＥR243Hと相関を採る。また、近赤外光の映像ラインＥIRkHが偶数フィールドである時には、赤の映像ラインのＥR263HとＥR2H、・・・、ＥR2mH、・・・、ＥR505Hと相関を採る。
好ましくは、相関検出部１６は、相関を採るときに、輪郭信号を発生する。
【００６０】
画素移動読出しアドレス部１７は、入力された垂直差ｄＶと水平差ｄＨとから、読出しアドレスを算出し、映像メモリ１５から、赤の映像ＲＶｉ、緑の映像ＧＶｉ、及び青の映像ＢＶｉを読出す。即ち、映像メモリ１５は、画素移動読出しアドレス部１７から指定されたアドレスの映像データを出力部１８及び画像処理部１９に出力する。
即ち、画素移動読出しアドレス部１７は、垂直差ｄＶと水平差ｄＨとから読出しアドレスを算出して出力部１８に出力する。なお、色倍率収差を更に算出して、読み出しアドレスを補正して、出力部１８に出力しても良い。
出力部１８及び画像処理部１９には、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各画素を近赤外光と最も相関の高い画素を、垂直差ｄＶ及び水平差ｄＨ分逆方向に移動した映像が入力される。このため、図４の実施例によれば、大気の窓の外で地表太陽光が弱い近赤外光の水平走査に同期したパルス発光と水平走査に同期した高速電子シャッタにより、リアルタイムで画面の目標物体の可視光に隣接の近赤外光の大気の揺らぎを検出し可視光の映像の大気の揺らぎを補正することが可能となる。
即ち、出力部１８は、入力された読出しアドレスに基づいて、映像メモリ１５から赤（Ｒ）の映像信号ＲＶｏ、緑（Ｇ）の映像信号ＧＶｏ、及び青（Ｂ）の映像信号ＢＶｏとして読出すことにより、赤（Ｒ）のＥRmHt2、緑（Ｇ）のＥGmHt2、青（Ｂ）のＥBmHt2の各画素を近赤外光の映像信号ＩＲＶｉと最も相関の高い画素との移動ベクトルと逆方向に移動させる。
その結果、出力部１８は、地表付近または海上付近の大気の揺らぎが補正された画像を出力する。
その結果、画像処理部１９は、大気の揺らぎが補正された画像によって、正確な画像処理が可能となる。例えば、侵入物体の検出が的確に実行することができるため、監視等の用途に用いるための撮像装置を提供できる。
なお、画像処理部１９を除去した撮像装置も可能であり、また、その場合に、出力部１８の後段（撮像装置の後段）に画像処理部を別に設けることもできる。
【００６１】
上記図４、図５の実施例は、近赤外光と赤緑青とに分光する色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子とを有する撮像装置であり、約９７０［ｎｍ］付近または約１１３０［ｎｍ］付近の近赤外光を、水平走査期間より短い時間、ＬＥＤまたはＬＤを目標物体に照射し、電子シャッタ露光を用いその反射光を取得する。そして、近赤外光の１画面分の輪郭成分（往復で距離が２倍の地表大気の揺らぎが発生する）と可視光画面の輪郭成分（片道で距離が１倍の地表大気の揺らぎ）との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気揺らぎの移動ベクトルを補正する。この結果、霞や土埃の影響を受け難い赤の映像の、霞、もや、または土埃の影響で浮きあがった暗部を沈めた映像信号で侵入者を検知することができる。
【００６２】
なお好ましくは、図４において、相関検出部１６は、輪郭信号を発生し、画素移動読出しアドレス部１７に出力する。画素移動読出しアドレス部１７は、入力された輪郭信号に基づいて出力部１８に陽炎補正の画素移動読出し用のマーカ信号を出力する。出力部１８は、陽炎調整時の本線（可視光映像）の輪郭成分との相関を検出して補正している画面部分に、特定色を重畳する。従って、出力映像をモニタ等に表示する場合には、特定の色が重畳されて表示される（図示しない）。このため、陽炎補正処理中か否かが表示画面で確認でき、より好ましくは、ＧＵＩ（ Graphical User Interface ）等によって、オペレータが、陽炎補正処理を調整可能となる。なお、特定色としては、光の３原色の補色の内で目立つ黄色が好ましい。
【００６３】
なお、上記図１〜図５の実施例において、近赤外光を出力する光源が、ＬＥＤであれば出力レベルについての安全上での制限を受けず、ＬＤのような完全な平行ビームではないので、レンズとの光軸調整精度も緩くて構わない。
また、上記図１〜図５の実施例において、さらに、近赤外光を電気信号に変換する撮像素子について、軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正する。この結果、地表上に太陽光がほとんどない状態に等しいので、近赤外光収差を補正すれば、基準となる照射ＬＥＤの光量は少なくても良い。
またさらに、１４００［ｎｍ］以上の赤外光は、人間の眼の硝子体の液体によって伝達されないため、安全上の出力レベル制限が減るので取扱いも容易である。
さらにまた、約１３５０［ｎｍ］〜１４３０［ｎｍ］付近の光であれば、シリコン製の撮像素子であっても、ＦＩＴ−ＣＣＤや横型オーバーフロードレインＣＣＤやＣＭＯＳで深くフォトダイオードを形成した撮像素子なら撮像可能である。フォトダイオードをサブストレート内に深く形成することによって、暗電流のばらつき及び経時劣化の発生を低減できる。なおさらに好ましくは、ＣＣＤを冷却すると、ＣＣＤの結晶欠陥を低減し、電界集中を低減することができる。
【００６４】
また上記図１〜図５の実施例では、赤の輪郭成分と近赤外光の輪郭成分との相関を検出し、画面各部の片道分の地表大気揺らぎ成分の移動ベクトルを検出し、赤緑青の画面各部ごとに片道分の地表大気揺らぎの移動ベクトルを補正している。近赤外光の映像と赤の映像との比較なので、目立たない彩度の低い色の被写体なら、分光反射率の影響は少なく、色収差の少ない安価なガラスを用いても本発明の撮像装置が実現可能である。この場合、近赤外光と赤を使用するので、色収差の影響が少ない。
【００６５】
上述の実施例によれば、上記実施例の撮像装置によれば、太陽光が直接照射される地表付近や海上付近において、遠距離被写体の撮像位置が短時間に不規則に変化することを補正することできる。
また、近赤外光と赤との比較なので、被写体の分光反射率、つまり色とレンズの色収差との影響をほとんど受けない。このため、地表大気揺らぎの移動ベクトルを補正する誤差が少ない。更に、レンズの色収差との影響をほとんど受けないので、赤の映像のＭＴＦ（ Modulation Transfer Function ）が高い。
【００６６】
本発明は、元々、霞、もや、土埃、等の影響を受け難い赤色成分の映像を使用している。この赤色成分の映像は、霞、もや、または土埃の影響で浮きあがった暗部を沈めた映像信号となる。このため、更に、霞や土埃の影響によるコントラスト低下が少なくなり、検出が容易になる。
【００６７】
以上シリコン製のＥＭ−ＣＣＤを用いた撮像装置について詳細に説明し、ＦＴ−ＣＣＤやＣＭＯＳ撮像素子やＩｎＧａＡｓインジウムガリウム砒素製製の撮像素子の概略を説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の近赤外光に高感度なＣＣＤや近赤外光に高感度なＣＭＯＳ撮像素子を用いた撮像装置他の撮像装置に広く適用することができることは言うまでもない。
【符号の説明】
【００６８】
１：光学系、 ２Ａ：分光光学系、 ２Ｃ：色分解光学系、 ３Ａ、３Ｃ、３Ｒ、３Ｇ、３Ｂ：ＣＣＤ、 ４Ａ、４Ｃ、４Ｒ、４Ｇ、４Ｂ：メモリ付映像信号処理部、 ５：ＣＰＵ、 ６：ＯＤ駆動部、 ７：撮像部の垂直転送駆動部、 ８：蓄積部の垂直転送駆動部、 ９：ＴＧ、 １０：ＣＭＧ駆動部、 １１Ａ、１１Ｃ：ＡＦＥ、 １２：ＬＥＤ、 １３：ＬＥＤ駆動部、 １５：映像メモリ、 １６：相関検出部、 １７：画素移動読出しアドレス部、 １８：出力部、 １９：画像処理部、 １００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、１００Ｇ、１００Ｈ：撮像装置、 １０１：フォトダイオード、 １０２：撮像部の垂直転送部、 １０３：蓄積部の垂直転送部、 １０４：ＣＭＧ、 １０５：電圧変換部、 １０６：水平周期シャッタＴＧ、 １０７：水平周期読出パルスと垂直転送ＴＧ、 １０８：垂直転送ＴＧ、 １０９：ＣＤＳ、 １１０：ＡＧＣ、 １１１：ＡＤＣ、 １１２：ＴＧ、 １２１：分光部、１２２：反射鏡、 ２００：撮像装置、 ２０１ａ、２０２ａ、・・・、２１１ａ、２１２ａ、２１３ａ、２１４ａ、２１５ａ・・・：映像信号、 ２０１ｂ、２０２ｂ、・・・、２１１ｂ、２１２ｂ、２１３ｂ、２１４ｂ、２１５ｂ、・・・：映像信号、 ２２０ａ、・・・、２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａ、２２６ａ、・・・：ＬＥＤの発光駆動パルス、 ２２０ｂ、２２１ｂ、・・・、２２２ｂ、２２３ｂ、２２４ｂ、２２５ｂ、・・・：ＬＥＤの発光駆動パルス、 ２３０ａ、・・・、２３１ａ、２３２ａ、２３３ａ、２３４ａ、２３５ａ、２３６ａ、・・・：ＣＣＤの掃き捨てタイミングクロック、 ２３０ｂ、２３１ｂ、・・・、２３２ｂ、２３３ｂ、２３４ｂ、２３５ｂ、・・・：ＣＣＤの掃き捨てタイミングクロック、 ２４０ａ、・・・、２４１ａ、２４２ａ、２４３ａ、２４４ａ、２４５ａ、２４６ａ、・・・：垂直転送パルスＶ１Ａの読出パルス、 ２４０ｃ、２４４ｃ、・・・：垂直転送パルスＶ１Ａの転送パルス、 ２４１ｃ、２４５ｃ、・・・：垂直転送パルスＶ１Ａの映像信号転送区間、 ２４１ｃ、２４５ｃ、・・・：垂直転送パルスＶ１Ａの映像信号転送区間、 ２４０ｂ、２４１ｂ、・・・、２４２ｂ、２４３ｂ、２４４ｂ、２４５ｂ、・・・：読出パルス、 ２４２ｄ、２４３ｄ、２４４ｄ、２４５ｄ、２４６ｄ、２４７ｄ、・・・：転送パルス、 ２５１ｃ、２５５ｃ、・・・：垂直転送パルスＶ２Ａの映像信号転送区間、 ２５２ｄ、２５３ｄ、２５４ｄ、２５５ｄ、２５６ｄ、２５７ｄ、・・・：転送パルス、 ２６０ａ、・・・、２６２ａ、２６３ａ、２６４ａ、２６５ａ、２６６ａ、・・・：垂直転送パルスＶ３Ａの読出パルス、 ２６０ｃ、２６４ｃ、・・・：垂直転送パルスＶ３Ａの転送パルス、 ２６１ｃ、２６５ｃ、・・・：垂直転送パルスＶ３Ａの映像信号転送区間、 ２６０ｂ、２６１ｂ、・・・、２６２ｂ、２６３ｂ、２６４ｂ、２６５ｂ、・・・：読出パルス、 ２６２ｄ、２６３ｄ、２６４ｄ、２６５ｄ、２６６ｄ、２６７ｄ、・・・：転送パルス、 ２７１ｃ、２７４ｃ、・・・：垂直転送パルスＶ４Ａの映像信号転送区間、 ２７２ｄ、２７３ｄ、２７４ｄ、２７５ｄ、２７６ｄ、２７７ｄ、・・・：転送パルス、 ２８０ａ、・・・、２８１ａ、２８２ａ、２８３ａ、２８４ａ、２８５ａ、２８６ａ、２８７ａ、・・・：垂直転送パルスＶ１Ｂの転送パルス、 ２８１ｃ、２８５ｃ、・・・：垂直転送パルスＶ１Ｂの映像信号転送区間、 ２８１ｂ、２８２ｂ、２８３ｂ、２８４ｂ、２８５ｂ、２８６ｂ、・・・：フレームメモリ入力信号期間、 ２９０ａ、・・・、２９１ａ、２９２ａ、２９３ａ、２９４ａ、２９５ａ、２９６ａ、２９７ａ、・・・：垂直転送パルスＶ２Ｂの転送パルス、 ２９１ｃ、２９５ｃ、・・・：垂直転送パルスＶ２Ｂの映像信号転送区間、 ２９０ｂ、２９１ｂ、・・・、２９２ｂ、２９３ｂ、２９０ｂ、２９１ｂ、・・・、２９２ｂ、２９３ｂ、２９４ｂ、２９５ｂ、・・・：信号電荷、 ２１００ｂ、２１０１ｂ、・・・、２１０２ｂ、２１０３ｂ、２１０４ｂ、２１０５ｂ、・・・：信号電荷、 ２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、・・・：垂直転送パルスＶ３Ｂの転送パルス、 ２１０１ｃ、２１０４ｃ、・・・：垂直転送パルスＶ３Ｂの映像信号転送区間、 ２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ、・・・：垂直転送パルスＶ４Ｂの転送パルス、 ２１１１ｃ、２１１４ｃ、・・・：垂直転送パルスＶ４Ｂの映像信号転送区間、 ２１２１ａ、２１２２ａ、２１２３ａ、２１２４ａ、２１２５ａ、・・・：信号電荷、 ２１３０ａ、２１３１ａ、２１３２ａ、２１３３ａ、２１３４ａ、２１３５ａ、・・・：信号電荷、 ３０１ａ、３０１ｂ、３０１ｃ：画像、 ３０２ａ、３０２ｂ、３０２ｃ：電信柱の被写体像。
【技術分野】
【０００１】
本発明は、地表や海上等、遠距離に存在する物体を撮像する技術に関するものである。
【背景技術】
【０００２】
従来から、天体望遠鏡では、山頂の大気の揺らぎを検出し、所定の補正をかけて光学的に大気の揺らぎを補正している。例えば、天体望遠鏡では、５８９［ｎｍ］のナトリウムＤ２波長のレーザー光を大気圏上層部のナトリウム高濃度層にスポット照射し、ナトリウム原子を５８９［ｎｍ］の波長で発光させる。このナトリウム原子から発光された５８９［ｎｍ］の波長の光を、大気の揺らぎによる波面の乱れ（地表大気揺らぎ成分）として検出し、大気の揺らぎ（地表大気揺らぎ成分）が打ち消されるように可変形状反射鏡面を変形させて波面の乱れを打ち消す。この結果、光学的に大気の揺らぎを補正している。ただし、大気の乱れが変わらないうちに補正する必要がある（非特許文献１参照）。
【０００３】
また、太陽光が直接照射される地表や海上では、照射された太陽光で暖められた大気が不規則に上昇し、陽炎と呼ばれる、時間的に不規則に振動する光の屈折現象（例えば、もや状やしま模様の影、即ち、地表大気の揺らぎ）が発生することがある。このような現象が発生したときには、特に遠距離の場合に、撮像装置が撮像した映像の撮像位置は、肉眼では観測できなくても、不規則に振動する。さらに、標高が低い地表や海上では、太陽光が水蒸気等に吸収されて減衰し、９７０［ｎｍ］付近と、１１３０［ｎｍ］付近の近赤外光の大気中の透過率は、可視光に比較して１／２０以下と小さい。また、波長の短い青色成分の可視光は、霞や霧などのもや、及び土埃等で乱反射される。これらの乱反射の影響を受け難いのは、赤色成分の可視光とされている。
さらにまた、撮像装置においては、霞や霧などが発生した大気中で撮像する場合のもや等の乱反射の除去方法として、可視光短時間パルスＬＥＤ（ Light Emitting Diode ）を目標物体に照射し、電子シャッタ露光により、所定距離以外の乱反射光を除去して、所定距離の目標物体の反射光のみ撮影することが提案されている（特許文献１参照）。
【０００４】
さて、大気中の光の透過率が高い波長域のことを大気の窓と呼ぶことがある。可視光についても同様で、大気の窓の波長域の太陽光（当該色成分の太陽光）は、特に地表付近や海上付近（標高が低い地表や海上）で、あまり減衰せずに照射される。しかし、近赤外光の波長域は、大気中の分子に吸収され、太陽光が地表に届く前に減衰する。特に、９７０［ｎｍ］付近、１１３０［ｎｍ］付近、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、及び、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の波長帯の近赤外光は、９割以上が水蒸気に吸収されほとんど地表に届かない。また、約７６０［ｎｍ］の輝線スペクトラムも、酸素に吸収されほとんど地表に届かない（非特許文献２参照）。
【０００５】
なお、１４００［ｎｍ］以上の波長の赤外光は、人間の眼の硝子体の液体によって伝達されない。このため、その波長帯の赤外光が照射されても、網膜に送られる可能性は低い。この場合、角膜の表面が損傷する可能性はあるが、目の焦点合わせ機能によって出力密度が拡大されることはない。従って、非常に大きな出力でない限り、損傷が発生することはない。
また、放送用テレビカメラのレンズ絞りの調整確認用として、ビューファインダや確認用映像に基準輝度レベルのゼブラを重畳している。
【０００６】
また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰ（ Digital Signal Processor ）だけでなく、安価な汎用のＦＰＧＡ（ Field Programmable Gate Array ）でも容易に実現できるようになった。ただし、信号処理の諧調数をなるべく減らさないと回路規模が増大する。
さらに、ＣＣＤ（ Charge Coupled Device ）から出力された信号から雑音を除去するＣＤＳ（ Correlated Double Sampling ）、暗電流補正と利得可変増幅回路（ Automatic Gain Control 、以下、ＡＧＣと称する）、及び、デジタル映像信号Ｖｉに変換するＡＤＣ（ Analog Digital Converter ）を内蔵したＡＦＥ（ Analog Front End ）が普及してきた。ＡＦＥのＡＤＣの階調は、従来１０ビットだったが、１２ビットや１４ビットが一般化し、１６ビットも製品化された。その上さらに、フレームメモリを内蔵したＤＮＲ（ Digital Noise Reduction ）専用ＩＣ（ Integrated Circuit ）も低価格で発売された。
また、手ぶれ電子補正では、動き検出信号を元に画像メモリに書き込まれている映像信号を水平と垂直方向に手ぶれによって移動した後の位置から読み出し、元の被写体の同一の点が重ね合わされるように合成している。（特許文献２参照）。
【０００７】
また、有効信号の一部を繰り返すガードバンド付き直交周波数分割多重（ Orthogonal Frequency Division Multiplexing 、以下、ＯＦＤＭと称する）映像伝送方式では、ＦＰＧＡを用い、受信したＯＦＤＭ信号と該ＯＦＤＭ信号を有効シンボル遅延した信号と複素乗算し加算して、ガード相関のＩ成分の絶対値とＱ成分の絶対値を加算し、ピーク値の二乗値または二乗値の平方根値の平均値から上記受信信号のレベルを算出している（特許文献３参照）。
また、ＯＦＤＭ伝送方式では、受信信号を離散フーリエ変換し、周波数の大きさの順に連続的に並べ替えて算出した複素ベクトル信号の列からなる全キャリア信号を、所定の周波数でキャリア方向に変調、周波数シフト後、キャリア方向内挿演算を実施し、基準信号を再生していた（特許文献４参照）。
【０００８】
さらに、電子増倍型ＣＣＤ撮像素子（例えば、Electron Multiplying-ＣＣＤ：ＥＭ−ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできる。このため、該撮像素子を用いた撮像装置（電子増倍型ＣＣＤ撮像装置）では、可視光と近赤外光による撮影によって、夜間や暗い場所において、照明なしの準動画の取得が可能となり、特に監視用途で使用している。
電子増倍型ＣＣＤは、電子冷却と組み合わせて感度を高くできる。例えば、ＥＭ−ＣＣＤの電子増倍電極（以下、ＣＭＧと称する）の振幅電圧が０．１Ｖ高くなると１．４倍増幅率が高くなり、ＥＭ−ＣＣＤの温度が１１℃低くなると１．８倍電子増倍率が高くなる。このため、駆動波形の電圧振幅確保と高安定性と発熱低減、つまり消費電力の低減が求められる。
さらに電子増倍率は、ＣＭＧの振幅電圧に強く相関して、ＣＭＧ一段当たり０〜２％の確率で発生し、例えば、一段当たり１％とすると、ＣＭＧが６４０段では、ＥＭ−ＣＣＤとしては、“１．０１”の６４９乗で、約５８３倍の電子増倍率となる。そのため、ＣＭＧの振幅電圧が０．１Ｖ高くなると、ＥＭ−ＣＣＤの電子増倍率が約１．４倍高くなる。従って、非常に低い周波数で、電子増倍率の変動が不規則に揺らぎ、画像信号が不規則に変調され、偽信号が発生する。また、電子増倍の低入射光量レベル側の増倍感度を高くすると、画面の目視上でも非常に目立つ雑音となり、実効感度が大幅劣化する。さらに高電子増倍時は、高電子増倍率と入射光量との積の累積で電子増倍率が低下する。そのため、ＥＭ−ＣＣＤを特に強く電子冷却してＣＭＧ電圧の振幅を最小限にする必要がある（非特許文献１と非特許文献２参照）。しかし、ＥＭ−ＣＣＤは、密閉状態で使用する必要があり、熱発生部を電子冷却し、撮像装置自体を密閉された空間内に収納し、冷却ファンで空気を対流循環させている。このため、放熱が困難で、電子冷却の冷却効果が小さい。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１０９６３９号公報
【特許文献２】特開２００３−１８９３１８号公報
【特許文献３】特開２００３−１１５７８７号公報
【特許文献４】特開２００２−２３２３８２号公報
【非特許文献】
【００１０】
【非特許文献１】竹本宗一郎、「すばる望遠鏡のレーザーガイド星補償光学系の実用化」、誠文堂新光社、天文ガイド、2009 No.10 October P19-P23
【非特許文献２】土田聡、「可視・近赤外域における大気補正」、資源・環境リモートセンシング実用シリーズ２：地球観測データの処理、p.124-139，2002
【非特許文献３】ＴＩ製品カタログ、TC246RGB-B0 680 x 500 PIXEL IMPACTRONTM PRIMARY COLOR CCD IMAGE SENSOR 、SOCS087 - DECEMBER 2004 - REVISED MARCH 2005
【非特許文献４】浜松ホトニクス、「高感度カメラの原理と技術」 Cat No.SCAS0020J01 、DEC／2006
【非特許文献５】「 Longevity in EMCCD and ICCD Part I−EMCCD 」、ANDOR Technical Note 、14−Mar−06
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の従来技術では、太陽光が直接照射される地表付近や海上付近では、陽炎により遠距離被写体の撮像位置が短時間に不規則に変化する。このような変化は、山頂の大気の揺らぎと異なり、遠距離照射の基準可視光が太陽光より弱い。このため、従来の撮像装置では、撮像位置の変化を検出することが困難であった。
本発明は、上記の問題に鑑み、太陽光が直接照射される地表付近や海上付近において、遠距離被写体の撮像位置が短時間に不規則に変化することを補正する撮像装置を提供することが目的である。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明は、水平走査に同期した水平走査より短い時間、ＬＥＤ（ Light Emitting Diode ）またはＬＤ（ Laser Diode ）を用いた光源から出力された所定の波長帯の光を目標物体に照射し、照射された所定の波長帯の光による目標物体からの反射光を、画面一斉の水平走査に同期した電子シャッタ露光で撮像し、撮像された映像について、前記近赤外光の画面の輪郭成分と可視光画面の輪郭成分との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正することを特徴とする撮像装置である。
前記所定の波長帯の光は、大気中の気体分子で吸収される近赤外光の光である。
また、前記可視光画面は、前記近赤外光の画面と別に、カラー映像を撮像する色分解系のＣＣＤ撮像素子で構成される。
若しくは、前記可視光画面は、前記近赤外光の画面と別に、カラー映像を撮像する色分離フィルタ付きのＣＣＤ撮像素子で構成される。
また、前記近赤外光画面の輪郭成分は、往復で２倍の地表大気の揺らぎを検出することであり、前記可視光画面の輪郭成分は、片道での地表大気の揺らぎである。
さらに、前記近赤外光画面の輪郭成分は、ＬＥＤまたはＬＤから照射される近赤外光の往路と、該ＬＥＤまたはＬＤから照射された所定の波長帯の光による目標物体からの反射光の復路を通った往復分の映像である。
【００１３】
また、上記本発明の撮像装置は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系と、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくともいずれか一方を特徴とする撮像装置である。
さらに、上記本発明の撮像装置は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、近赤外光分解光学系と可視光と高速電子シャッタを有するシリコン近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくとも一方を特徴とする撮像装置である。
また、上記本発明の撮像装置は、１３５０［ｎｍ］〜１４３０［ｎｍ］付近と１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用い、可視光と近赤外光とを透過する光学系と、近赤外光分解光学系とシリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子とを有し、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくとも一方を特徴とする。
【００１４】
また、上記本発明の撮像装置は、目標物体設定時には、ＬＥＤから出力され、画面ごとに可変させた基準近赤外光パルスであって、水平走査に同期し、水平走査期間より短い時間の基準近赤外光パルスを目標物体に照射し、該目標物体から反射した基準近赤外光パルスを電子シャッタ露光し、目標物体までの基準近赤外光パルスの往復時間を検出し、目標物体までの基準近赤外光パルスの往復時間に合わせて、照射し電子シャッタ露光することを特徴とする。
【００１５】
また、上記本発明の撮像装置は、赤の輪郭成分と近赤外光の輪郭成分との相関を検出し、画面各部の片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、検出した移動ベクトルに基づいて赤緑青の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正することを特徴とする。
【００１６】
また、上記本発明の撮像装置は、少なくとも調整時の本線の輪郭成分との相関を検出し補正している画面部分に、特定の色を重畳することを特徴とする。
好ましくは、上記特定の色は黄色である。
【００１７】
また、上記本発明の撮像装置は、近赤外光と赤緑青とに分光する色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子とを有する撮像装置を含む監視装置であり、９７０［ｎｍ］付近または１１３０［ｎｍ］付近の近赤外光を水平走査に同期した水平走査より短い時間ＬＥＤまたはＬＤを目標物体に照射し反射光を電子シャッタ露光での前記近赤外光画面の輪郭成分（往復で２倍地表大気の揺らぎ）と可視光画面の輪郭成分（片道地表大気の揺らぎ）との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正し、（霞や土埃の影響を受けにくい）赤の映像の（霞や土埃の影響で浮きあがった）暗部を沈めた映像信号で侵入者を検知することを特徴とする監視装置である。
【発明の効果】
【００１８】
本発明によれば、大気の窓の外で地表太陽光が弱い近赤外光の水平走査に同期したパルス発光と水平走査に同期した高速電子シャッタにより、リアルタイムで画面の目標物体の可視光に隣接の近赤外光の大気の揺らぎを検出し可視光の映像の大気の揺らぎを補正する。
【図面の簡単な説明】
【００１９】
【図１Ａ】近赤外反射鏡と単板ＥＭ−ＣＣＤと色分離フィルタ付きＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｂ】色分解光学系と４ケのＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｃ】近赤外反射鏡と単板ＩＴ−ＣＣＤと色分離フィルタ付きＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｄ】近赤外反射鏡と単板ＦＩＴ−ＣＣＤと色分離フィルタ付きＥＭ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｅ】色分解光学系と４ケのＦＩＴ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｆ】色分解光学系と４ケのＩＴ−ＣＣＤを用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｇ】色分解光学系と単板のＣＭＯＳ撮像素子を用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図１Ｈ】色分解光学系と４ケのＣＭＯＳ撮像素子を用いた本発明の撮像装置の一実施例の全体構成を示すブロック図である。
【図２Ａ】本発明のＣＣＤ撮像装置の一実施例における光源の発光と撮像とのタイミングチャートを示す図である。
【図２Ｂ】本発明のＣＣＤ撮像装置の一実施例における光源の発光と撮像とのタイミングチャートを示す図である。
【図３Ａ】本発明の一実施例や従来技術での画面片道の大気の揺らぎの模式図。
【図３Ｂ】本発明の一実施例での画面の往復の大気の揺らぎを示す模式図。
【図３Ｃ】本発明の一実施例の画面片道の大気の揺らぎの補正後の模式図。
【図４】本発明のＣＣＤ撮像装置の陽炎補正部一実施例の構成を示すブロック図である。
【図５】本発明のＣＣＤ撮像装置の陽炎補正部の相関をとる一実施例を説明するための模式図である。
【発明を実施するための形態】
【００２０】
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
【００２１】
まず、図３Ａ、図３Ｂ、及び図３Ｃによって、本発明の陽炎補正について簡単に説明する。図３Ａ、図３Ｂ、及び図３Ｃは、地表上の電信柱を撮像装置が撮像した映像を示す図である。図３Ａは、陽炎と呼ばれる現象が発生した時に、撮像装置が撮像した場合の映像を示す図である。図３Ｂは、ＬＥＤ（ Light Emitting Diode ）またはＬＤ（ Laser Diode ）等の光源から出力された光が電信柱に照射され、照射された光が電信柱から反射して戻ってきた被写体像（反射光）を撮像装置が撮像した場合の映像を示す図である。図３Ｃは、本発明によって陽炎補正した場合に撮像装置が撮像した場合の映像の一実施例を示す図である。３０１ａ、３０１ｂ、３０１ｃは、それぞれ、ＣＣＤ撮像装置が撮像した視野内全体（画角全体）の表示映像出力（ Video Out ）画像である。３０２ａは画像３０１ａ内の電信柱の被写体像、３０２ｂは画像３０１ｂ内の電信柱の被写体像、３０２ｃは画像３０１ｃ内の電信柱の被写体像である。
【００２２】
通常、陽炎等、大気の揺らぎがない時には、電信柱の被写体像は、肉眼による視認や撮像装置が監視視野内を撮像した全体画像中では、図３Ｃの画像３０２ｂのように見える。しかし、陽炎等、大気の揺らぎが発生した時には、電信柱の被写体像は、肉眼による視認や撮像装置が撮像した画像では、図３ａの画像３０２ｂのように見える。この画像は、被写体から、その可視光の反射光が、被写体像としてＣＣＤ撮像装置の撮像部まで到達することによる。この場合、太陽光が被写体に照射され、その反射光が被写体像として観察される。被写体像は、時間的に不規則に振動する大気中を通過するため、光の屈折現象が発生し、図３ａのように、陽炎現象として見える。この場合は、大気中を通過する光は片道分の屈折現象は、片道分でしか影響を受けない。大気は上空方向から入射するので、揺らぎの影響がないとする。
また、この光の道筋は、被写体像からＣＣＤ撮像素子まで間だけの片道（復路）だけである。さらに、大気は、地表上付近や海上付近は、可視光の大半の波長帯が乱反射し、赤色成分（赤の波長帯）だけが通過する。このため、ＣＣＤ撮像装置が撮像した映像は、画像全体が赤色に見える。
【００２３】
本発明の図３Ａ、Ｂの実施例では、ＣＣＤ撮像装置側のＬＥＤ、ＬＤ等の光源から、可視光より長い波長帯の光（例えば、近赤外光）を出力し、目標物体（被写体）に照射する。この光は、図３Ａに示したように、大気の揺らぎが発生している時において、目標物体（被写体）に到達するまでの道筋（往路）で、陽炎等の大気の揺らぎによる、時間的に不規則に振動する大気中を通過する。このため、目標物体に到達した近赤外光は、すでに、屈折した光となっている。
そして、この屈折した光が目標物体に照射され、反射光が出力光源から出力された場合には、さらに復路（被写体からＣＣＤ撮像装置の撮像面に至る道筋）で光の屈折現象が発生する。この結果、図３Ｂの画像３０１ｂの被写体像３０２ｂのように、２倍に屈折した陽炎現象が見える。即ち、時間的に不規則に振動する大気中を、２回通過するため、光の屈折現象を２重に発生し、図３ｂのように、陽炎現象として見える。
そして、図３Ａの可視光による画像と、図３Ｂの近赤外光による画像について、それぞれ、目標物体の輪郭成分抽出し、抽出された近赤外光による画像の輪郭成分と、可視光による画像の輪郭成分との相関演算を検出する。そして、検出された輪郭の各部（画素ごと）の往復分と片道分との差から、片道分の大気の揺らぎ成分の移動ベクトルを検出し、可視光による画像の画面各部（例えば、画素ごとまたは、画素ブロックごと）に検出した移動ベクトルにより画面の補正を行う。即ち、画素ごとまたは画素ブロックごとに検出した移動ベクトル量分を逆方向に画像を移動する。
なお、好ましくは、相関を採るための可視光の画像は、ＣＣＤ撮像装置の撮像視野内全体（画角全体）を撮像した画像の映像信号である。また好ましくは、相関を採るための可視光の画像は、可視光の赤（Ｒ）成分の映像信号である。
【００２４】
具体的には、本発明の撮像装置の一実施形態は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系と、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくともいずれかを備える。
さらに、本発明の撮像装置の一実施形態は、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を用い、近赤外光分解光学系と可視光と高速電子シャッタを有するシリコン近赤外光撮像素子と有するか、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正するか、の少なくともいずれかを備える。
【００２５】
また、本発明の撮像装置の一実施形態は、１３５０［ｎｍ］〜１４３０［ｎｍ］付近と１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用い、可視光と近赤外光とを透過する光学系と、近赤外光分解光学系とシリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子とを有し、光軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差（近赤外光の可視光に対する倍率色収差）を電子的に補正するか、の少なくともいずれかを備える。
【００２６】
また、本発明の一実施例の出力回路含む陽炎補正部の内部構成を示すブロック図の図４（後述）のように、赤の輪郭成分と近赤外光の輪郭成分との相関を検出し、画面各部の片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、赤緑青の画面各部ごとに片道分の地表大気の揺らぎの移動ベクトルを補正する。
また、後述の図２Ａによって説明するＥＭ−ＣＣＤまたはＦＩＴ−ＣＣＤを用いた場合の本発明の一実施例の発光と撮像とのタイミングチャートのように、あるいは、後述の図２Ｂによって説明するＩＴ−ＣＣＤを用いた場合の本発明の一実施例の発光と撮像とのタイミングチャートのように、目標物体を設定した時には、高原より出力された基準近赤外光パルスを目標物体に照射し電子シャッタ露光し、目標物体までの光の往復時を検出し、目標物体までの光の往復時に合わせて照射し電子シャッタ露光する。好ましくは、上記において、ＬＥＤ若しくはＬＤを光源とする。また好ましくは、上記基準近赤外光パルスは、画面ごとに可変させたものである。また好ましくは、上記基準近赤外光パルスは、水平走査パルスに同期した、水平走査パルスより短い期間のパルスである。
さらに、好ましくは、本発明の撮像装置の一実施例の全体構成の図１Ａ〜図１Ｈ（後述する）で説明するように、調整時の本線（可視光）の輪郭成分との相関を検出し補正している画面部分に、特定色を重畳する。好ましくは、本線（可視光）の輪郭成分のうち、赤（Ｒ）成分を用いる。
また好ましくは、上記電子シャッタ露光は、画面一斉の水平走査に同期した露光である。即ち、好ましくは、上記電子シャッタ露光は、汎用ＣＭＯＳ撮像素子のローリングシャッタ方式の露光ではない。
【００２７】
図３Ａ、図３Ｂ、図３Ｃで説明した実施例について、さらに図２Ａと図２Ｂを用いて説明する。図２Ａと図２Ｂは、それぞれ、本発明の一実施例のＣＣＤ撮像装置における光源の発光と撮像とのタイミングチャートを示す図である。
なお、図２Ａは、本発明の一実施例のＥＭ−ＣＣＤ撮像装置を含むＦＩＴ（ Frame Interline Transfer ）方式を説明するタイミングチャートであり、図２Ｂは、本発明の一実施例のＥＭ−ＣＣＤ撮像装置を含むＩＴ（ Interline Transfer ）方式を説明するタイミングチャートである。
【００２８】
図２Ａにおいて、（１）は、映像信号期間を、映像信号２０１ａ、２０２ａ、・・・、２１１ａ、２１２ａ、２１３ａ、２１４ａ、２１５ａ、・・・として示す。また（２）は、ＬＥＤの発光駆動パルス２２０ａ、・・・、２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａ、２２６ａ、・・・を示す。図２Ａに示すように、ＬＥＤの発光駆動パルス長は、それぞれの映像信号期間より短い。好ましくは、ＬＥＤの発光駆動パルスは、映像信号期間それぞれと同期して立上がる。
また（３）は、ＣＣＤの掃き捨てタイミングクロック（φＳｕｂ）２３０ａ、・・・、２３１ａ、２３２ａ、２３３ａ、２３４ａ、２３５ａ、２３６ａ、・・・を示す。
【００２９】
（４）と（６）は、受光部のそれぞれの素子から、信号電荷をそれぞれ読出すための１対の垂直転送パルスＶ１ＡとＶ３Ａの読出パルス２４０ａと２６０Ａ、・・・、２４１ａ、２４２ａと２６２Ａ、２４３ａと２６３Ａ、２４４ａと２６４Ａ、２４５ａと２６５Ａ、２４６ａと２６６Ａ、・・・、転送パルス２４０ｃと２６０Ｃ、２４４ｃと２６６Ｃ、・・・、及び、映像信号転送区間２４１ｃと２６１Ｃ、２４５ｃと２６５Ｃ、・・・を示す。
また（５）と（７）は、読出した信号電荷を蓄積部に高速転送するための転送パルスである。なお、映像信号転送区間２５１ｃと２７１Ｃ、２５５ｃと２７５Ｃは、それぞれ映像信号転送区間２４１ｃと２６１Ｃ、２４５ｃと２６５Ｃと同じものである。
（５）は、垂直転送パルスＶ２Ａの映像信号転送区間２５１ｃ、２５５ｃ、・・・を示す。（７）は、垂直転送パルスＶ４Ａの映像信号転送区間２７１ｃ、２７４ｃ、・・・を示す。
【００３０】
（８）〜（１１）は、それぞれ、蓄積部の垂直転送パルスを示す。
（８）は、垂直転送パルスＶ１Ｂの転送パルス２８０ａ、・・・、２８１ａ、２８２ａ、２８３ａ、２８４ａ、２８５ａ、２８６ａ、２８７ａ、・・・と、映像信号転送区間２８１ｃ、２８５ｃ、・・・を示す。（９）は、垂直転送パルスＶ２Ｂの転送パルス２９０ａ、・・・、２９１ａ、２９２ａ、２９３ａ、２９４ａ、２９５ａ、２９６ａ、２９７ａ、・・・と、映像信号転送区間２９１ｃ、２９５ｃ、・・・を示す。（１０）は、垂直転送パルスＶ３Ｂの転送パルス２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、・・・と、映像信号転送区間２１０１ｃ、２１０４ｃ、・・・を示す。（１１）は、垂直転送パルスＶ４Ｂの転送パルス２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ、・・・と、映像信号転送区間２１１１ｃ、２１１４ｃ、・・・を示す。
【００３１】
（１２）は、被写体（目標物体）が近距離に存在する場合のＬＥＤから照射された近赤外光による目標物体からの反射光がＣＣＤに蓄積される場合の信号電荷２１２１ａ、２１２２ａ、２１２３ａ、２１２４ａ、２１２５ａ、・・・を示す。（１３）は、被写体（目標物体）が遠距離に存在する場合のＬＥＤから照射された近赤外光による目標物体からの反射光がＣＣＤに蓄積される場合の信号電荷を示す。
なお横軸は、（１）〜（１３）に共通の時間軸である。
【００３２】
図２Ａにおいて、１垂直走査期間（１Ｖ期間）は約１７［ｍｓ］、垂直ブランキング期間（Ｖ．ＢＬ）は、約１．２［ｍｓ］、水平走査期間（１Ｈ期間）は、約６４［μｓ］、水平ブランキング期間（Ｈ．ＢＬ）は、約１１［μｓ］である。
（１）ＬＥＤが発光（パルス２２１ａ）した直後には、ＬＥＤの発光駆動（φＳｕｂ）パルス（パルス２３１ａ）が立上り、ＣＣＤの受光部の信号電荷が掃き捨てられる。その後ＣＣＤの受光部に蓄積された信号電荷の読出しが、パルス２４２Ａ及びパルス２６２Ａで開始される。
パルス２２１ａによりＬＥＤから発光した近赤外光が目標物体（被写体）に到達して反射し、被写体像としてＣＣＤに戻ってくる前に、掃き捨てのためのパルス２３１ａが立上り、その後、信号電荷の蓄積が始まる。この結果、パルス２２１ａの反射による被写体像だけが受光し、そのパルスに基づく信号電荷だけが読出される（読出しパルス２４２ａ、２６２ａ）。即ち、掃き捨てパルス２３１ａの立上り時刻（または立下り時刻）から読出しパルス２４２ａ（パルス２６２ａ）の立上り時刻（または立下り時刻）までの時間が、電子シャッタの露光時間である。
【００３３】
従って、（１３）の実線で示す信号電荷２１３０ａ、２１３１ａ、２１３２ａ、２１３３ａ、２１３４ａ、２１３５ａ、・・・が、ＣＣＤから転送出力される。なお、（１２）の破線で示す信号電荷２１２１ａ、２１２２ａ、２１２３ａ、２１２４ａ、２１２５ａ、・・・は、近距離に目標物体が存在する場合には、近赤外光が反射して戻ってくるまでの往復の時間が早い。従って、ＣＣＤが信号電荷を掃き捨てるタイミングの時刻の前に受光する。このため、信号電荷として、ＣＣＤから転送出力されない。
なお、ＬＥＤ発光パルス２２２ｂと掃き捨てパルス２３２ｂの立上り時間差を調整することによって、ＣＣＤが露光可能な目標物体までの距離が定まる。即ち、ＬＥＤから近赤外光が出力され、目標物体から反射して戻ってくるまでの時間が、上記時間差の最大値である。従って、陽炎等の地表付近または海上付近の大気の乱れの補正は、ＬＥＤやＬＤ等の近赤外光を出力する光源から、目標物体に照射されその被写体像が戻ってくるまでの時間で定まる。
好ましくは、ＬＥＤまたはＬＤ等の光源の１回の発光している時間は、発光パルスの開始時刻（立上り時刻）から、掃き捨てパルス２３１ａの立上り時刻までの時間より長い。
【００３４】
次に、図２Ｂにおいても、図２Ａと同様に、１垂直走査期間（１Ｖ期間）は約１７［ｍｓ］、垂直ブランキング期間（Ｖ．ＢＬ）は、約１．２［ｍｓ］、水平走査期間（１Ｈ期間）は、約６４［μｓ］、水平ブランキング期間（Ｈ．ＢＬ）は、約１１［μｓ］である。なお横軸は、（１）〜（１０）に共通の時間軸である。
ＬＥＤが発光（パルス２２２ｂ）した直後には、ＬＥＤの発光駆動（φＳｕｂ）パルス（パルス２３２ｂ）が立上り、ＣＣＤの受光部の信号電荷が掃き捨てられる。その後ＣＣＤに蓄積された信号電荷の読出しが、パルス２４２ｂ及びパルス２６２ｂで開始される（以下、パルス２２３ｂ〜２３５ｂ。・・・でも同様）。その横方向の信号電荷の読出しと共に、垂直方向にもパルス毎に転送がなされ（例えば、（５）の転送パルス２５２ｄ〜２５７ｄ、・・・、（７）の転送パルス２７２ｄ〜２７７ｄ、・・・参照）によりフレームメモリに転送され（例えば、（８）のフレームメモリ入力期間２８１ｂ〜２８６ｂ、・・・参照）、ＣＣＤから転送出力される。
なお、図２Ａの実施例では、フレームメモリの動作については記述していない。しかし、一般的にＣＣＤから転送出力された信号電荷は、一度、フレームメモリに保存されてから、フレーム毎またはフィールド毎に出力される。
【００３５】
即ち、ＬＥＤから発光した（パルス２２２ｂ）近赤外光が目標物体（被写体）に到達して反射し、被写体像としてＣＣＤに戻ってくる前に、掃き捨てのためのパルス２３２ｂが立上り、その後、信号電荷の蓄積が始まる。この結果、パルス２２２ｂの反射による被写体像だけが受光され、そのパルスに基づく信号電荷だけが読出転送される。即ち、掃き捨てパルス２３２ｂの立上り時刻（または立下り時刻）から読出しパルス２４２ｂ（パルス２６２ｂ）の立上り時刻（または立下り時刻）までの時間が、電子シャッタの露光時間である。
【００３６】
従って、（１０）の実線で示す信号電荷２１０２ｂ、２１０３ｂ、２１０４ｂ、２１０５ｂ、・・・が、ＣＣＤから転送出力される。なお、（９）の破線で示す信号電荷２９２ｂ、２９３ｂ、２９４ｂ、２９５ｂ、・・・は、近距離に目標物体が存在する場合には、近赤外光が反射して戻ってくるまでの往復の時間が早い。従って、ＣＣＤが信号電荷を掃き捨てるタイミングの時刻の前に受光する。このため、信号電荷として、ＣＣＤから転送出力されない。
なお、ＬＥＤ発光パルス２２２ｂと掃き捨てパルス２３２ｂの立上り時間差を調整することによって、ＣＣＤが露光可能な目標物体までの距離が定まる。即ち、ＬＥＤから近赤外光が出力され、目標物体から反射して戻ってくるまでの時間が、上記時間差の最大値である。従って、陽炎等の地表付近または海上付近の大気の乱れの補正は、ＬＥＤやＬＤ等の近赤外光を出力する光源から、目標物体に照射されその被写体像が戻ってくるまでの時間で定まる。
好ましくは、ＬＥＤまたはＬＤ等の光源の１回の発光している時間は、発光パルスの開始時刻（立上り時刻）から、掃き捨てパルス２３１ａの立上り時刻までの時間より長い。
【００３７】
なお、図２Ａまたは図２Ｂのタイミングチャートのように、目標物体設定時は、画面ごとに可変させた水平走査に同期した短時間の基準近赤外光パルスＬＥＤを目標物体に照射し水平走査に同期した電子シャッタ露光し、目標物体までの光の往復時を検出し、目標物体までの光の往復時に合わせて水平走査に同期した短時間の基準近赤外光パルスＬＥＤを照射し平走査に同期した電子シャッタ露光する。
また、ＨＤＴＶの場合には、図２Ａまたは図２Ｂにおいて、１垂直走査期間（１Ｖ期間）は約１７または２０［ｍｓ］、垂直ブランキング期間（Ｖ．ＢＬ）は、約０．２［ｍｓ］、水平走査期間（１Ｈ期間）は、約３０または３６［μｓ］、水平ブランキング期間（Ｈ．ＢＬ）は、約３０［μｓ］である。
【００３８】
図１Ａは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ａは、近赤外反射鏡と単板ＣＣＤと色分離フィルタ付きＣＣＤを用いた撮像装置の一実施例のブロック構成図である。
【００３９】
１００Ａは、本発明の一実施例の撮像装置、１は入射光を結像するレンズ等の光学系、２Ａは入射光を近赤外光と可視光とに分光する分光光学系、３Ａと３Ｃは分光光学系２Ａから入射した光を電気信号に変換する電子増倍型ＣＣＤである。また、１２はＬＥＤ、１３はＬＥＤ駆動部である。分光光学系２Ａにおいて、１２１は分光部、１２２は反射鏡である。ＣＣＤ（ＣＣＤ３Ａ、または３Ｃ）において、１０１は撮像部のフォトダイオード（ Photo Diode ）、１０２は撮像部の垂直転送部、１０３は蓄積部の垂直転送部、１０４はＣＭＧ、１０５は電圧変換部である。なお、ＣＣＤ３Ａ、３Ｃは、例えば、ＥＭ−ＣＣＤ等の電子増倍型ＣＣＤである。
４Ａと４Ｃはメモリ付映像信号処理部、５は撮像装置１００Ａ内の各部を制御するＣＰＵ（ Central Processing Unit ）、６はオーバーフロードレイン（ＯＤ）駆動部、７は撮像部の垂直転送駆動部、８は蓄積部の垂直転送駆動部、９はタイミング発生部（ Timing Generator:ＴＧ）、１０は電子増倍の利得制御を行うためのＣＭＧ駆動部である。ＴＧ９において、１０６は水平周期シャッタタイミング（ＴＧ）発生部、１０７は水平周期読出パルスと垂直転送タイミング（ＴＧ）発生部、１０８は垂直転送タイミング（ＴＧ）発生部である。
１１ＡはＣＣＤ３Ａが接続されるＡＦＥ、１１ＣはＣＣＤ３Ｃが接続されるＡＦＥ（ Analog Front End ）である。ＡＦＥ１１Ａ及び１１Ｃは、ＣＣＤ３Ａ、３Ｃから出力された信号から、雑音を除去するＣＤＳ１０９と暗電流補正と信号の利得を調整するＡＧＣ１１０とデジタル映像信号Ｖｉに変換する１４ｂｉｔ以上のＡＤＣ１１１からなるＡＦＥで構成される。なお、ＡＧＣ１１０を、ＡＦＥに含まず、別に設けても良い。また、ＡＦＥ１１Ａ、１１Ｃには水平転送とリセットとＣＤＳ１０９とＡＧＣ１１０とのタイミング発生部（ Timing Generator:ＴＧ）を含む。
また、１４は陽炎補正部である。
【００４０】
図１Ａにおいて、ＣＰＵ５は、ＴＧ９の水平周期シャッタＴＧ１０６を介して、発光駆動パルスをＬＥＤ駆動部１３に出力する。ＬＥＤ駆動部１３は、入力された発光駆動パルスに基づいてＬＥＤ１２を駆動し、ＬＥＤ１２は、ＬＥＤ駆動部１３に駆動されて、所定のスペクトルまたは所定の波長帯の近赤外光を出力する。
光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、分光光学系２Ａに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射され、復路を通って光学系１に入射するものである。
光学系１を介して入力された光は、分光光学系２Ａの分光部１２１に入力される。分光光学系２Ａの分光部１２１は、入力された光の可視光成分を透過し、ＣＣＤ３Ｃに入射する。また分光部１２１は、近赤外光成分を反射し、反射光１２２に出射する。反射鏡１２２は入射された近赤外光をＣＣＤ３Ａに出射する。
ＣＣＤ３Ａに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＣＤ３Ｃに入射された可視光は、電気信号に変換され、メモリ付映像信号処理部４Ｃを介して陽炎補正部１４に入力される。
【００４１】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ａの映像信号Ｖｉとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。なお、好ましくは、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉと、メモリ付映像信号処理部４Ｃの可視光の赤（Ｒ）成分との相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動する。
【００４２】
図１Ｄは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｄは、近赤外反射鏡と単板ＦＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｄの撮像装置１００Ｄは、図１Ａの撮像装置１００Ａにおいて、ＣＣＤ３Ａ及び３ＣをＥＭ−ＣＣＤからＦＩＴ−ＣＣＤに替え、ＣＭＧ１０４を除くことによって構成される。
また、図１Ｃは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｃは、近赤外反射鏡と単板ＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｃの撮像装置１００Ｃは、図１Ｄの撮像装置１００Ｄにおいて、ＣＣＤ３Ａ及び３ＣをＦＩＴ−ＣＣＤからＩＴ−ＣＣＤに替え、さらに、蓄積部垂直転送部１０３を除くことによって構成される。
【００４３】
図１Ａ、図１Ｄ、及び図１Ｃの実施例では、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を、ＬＥＤ若しくはＬＤ等の光源から、目標物体に照射する。
そして、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有する。
若しくは、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、光軸上近赤外光収差をピエゾ素子（図示しない）等で機械的に補正し、倍率近赤外光収差（近赤外光の可視光に対する倍率色収差）を電子的に補正する機能を備えた撮像素子を備える。具体的には、図示しないピエゾ素子は、図１Ａ、図１Ｄ、若しくは図１Ｃにおいて、近赤外光を撮像する撮像素子に設けられ、ＣＰＵ５の制御により上下方向に微小移動して色収差を補正する。
なお、目標物体に照射する光源から照射される近赤外光の波長は、上記以外でもよく、例えば、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用いても良い。撮像素子としては、シリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子、またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子でも良い。
【００４４】
図１Ｂは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｂは、色分解光学系と４ケのＣＣＤを用いた撮像装置の一実施例のブロック構成図である。図１Ａ、図１Ｃ、または図１Ｄと同一の機能のものには同一の符号を付し、説明をできるだけ省略する。
【００４５】
１００Ｂは本発明の一実施例の撮像装置、２Ｃは入射光を近赤外光と赤と緑と青とに分光する色分解光学系、３Ａ、３Ｒ、３Ｇ、及び３Ｂは色分解光学系２Ｃから入射した光を電気信号に変換するＣＣＤ、４Ａ、４Ｒ、４Ｇ、及び４Ｂはメモリ付映像信号処理部である。なお、ＣＣＤ３Ａ、３Ｒ、３Ｇ、及び３Ｂは、例えば、ＥＭ−ＣＣＤ等の電子増倍型ＣＣＤである。
４Ａ、４Ｒ、４Ｂ、及び４Ｂはメモリ付映像信号処理部、１１ＡはＣＣＤ３Ａが接続されるＡＦＥ、１１ＲはＣＣＤ３Ｒが接続されるＡＦＥ、１１ＧはＣＣＤ３Ｇが接続されるＡＦＥ、１１ＢはＣＣＤ３Ｂが接続されるＡＦＥである。ＡＦＥ１１Ａ、１１Ｒ、１１Ｇ、及び１１Ｂは、ＣＣＤ３Ａ、３Ｒ、３Ｇ、３Ｂからそれぞれ出力された信号から、雑音を除去するＣＤＳ１０９と暗電流補正と信号の利得を調整するＡＧＣ１１０とデジタル映像信号Ｖｉに変換する１４ｂｉｔ以上のＡＤＣ１１１から構成される。なお、ＡＧＣ１１０を、ＡＦＥに含まず、別に設けても良い。また、ＡＦＥ１１Ａ、１１Ｒ、１１Ｇ、１１Ｂには水平転送とリセットとＣＤＳ１０９とＡＧＣ１１０とのＴＧを含む。
【００４６】
図１Ｂにおいて、光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、色分解光学系２Ｃに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射され、復路を通って光学系１に入射するものである。
色分解光学系２Ｃは、入力された光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び近赤外光（ＩＲ）に分光し、分光されたＲをＣＣＤ３Ｒ、分光されたＧをＣＣＤ３Ｇ、分光されたＢをＣＣＤ３Ｂ、分光されたＩＲをＣＣＤ３Ａに出射する。
ＣＣＤ３Ａに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＣＤ３Ｒに入射された可視光の赤（Ｒ）は、電気信号に変換され、メモリ付映像信号処理部４Ｒを介して陽炎補正部１４に入力される。同様に、ＣＣＤ３Ｇに入射された可視光の緑（Ｇ）は、電気信号に変換され、メモリ付映像信号処理部４Ｇを介して陽炎補正部１４に入力される。また同様に、ＣＣＤ３Ｂに入射された可視光の青（Ｂ）は、電気信号に変換され、メモリ付映像信号処理部４Ｂを介して陽炎補正部１４に入力される。
【００４７】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ｒとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｒ、４Ｇ、及び４Ｂから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。
【００４８】
図１Ｅは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｅは、色分解光学系と４ケのＦＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｅの撮像装置１００Ｅは、図１Ｂの撮像装置１００Ｂにおいて、ＣＣＤ３Ａ、３Ｒ、３Ｇ、及び３ＢをＥＭ−ＣＣＤからＦＩＴ−ＣＣＤに替え、ＣＭＧ１０４を除くことによって構成される。
また、図１Ｆは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｆは、色分解光学系と４ケのＦＩＴ−ＣＣＤとを用いた撮像装置の一実施例のブロック構成図である。
図１Ｆの撮像装置１００Ｆは、図１Ｅの撮像装置１００Ｅにおいて、ＣＣＤ３Ａ、３Ｒ、３Ｇ、及び３ＢをＦＩＴ−ＣＣＤからＩＴ−ＣＣＤに替え、さらに、蓄積部垂直転送部１０３を除くことによって構成される。
【００４９】
図１Ｂ、図１Ｅ、及び図１Ｆの実施例では、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を、ＬＥＤ若しくはＬＤ等の光源から、目標物体に照射する。
そして、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有する。
若しくは、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、光軸上近赤外光収差をピエゾ素子（図示しない）等で機械的に補正し、倍率近赤外光収差を電子的に補正する機能を備えた撮像素子を備える。具体的には、図示しないピエゾ素子は、図１Ｂ、図１Ｅ、若しくは図１Ｆにおいて、近赤外光を撮像する撮像素子に設けられ、ＣＰＵ５の制御により上下方向に微小移動して色収差を補正する。
なお、目標物体に照射する光源から照射される近赤外光の波長は、上記以外でもよく、例えば、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用いても良い。撮像素子としては、シリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子、またはフレームトランスファーＣＣＤや横型オーバーフロードレインＣＣＤで深くフォトダイオードを形成したシリコン製撮像素子でも良い。
【００５０】
図１Ｇは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｇは、近赤外反射鏡と色分離フィルタ付き単板ＣＭＯＳ撮像素子とを用いた撮像装置の一実施例のブロック構成図である。
１００Ｇは、本発明の一実施例の撮像装置である。光学系１、分光光学系２Ａ、メモリ付映像信号処理部４Ａ、４Ｃ、ＬＥＤ１２、ＬＥＤ駆動部１３、及び陽炎補正部１４は、図１Ａ、図１Ｃ、図１Ｄと同様である。
また、１Ｄと１Ｃは、それぞれ、分光光学系２Ａから入射した光を電気信号に変換するＣＭＯＳ撮像素子である。分光光学系２Ａにおいて、１２１は分光部、１２２は反射鏡である。ＣＭＯＳ撮像素子１Ｄと１Ｃは、それぞれ、ＣＭＯＳ１Ｄ及び１Ｃは、例えば、ＴＧ（ Timing Generator ）、駆動部、ノイズリダクション（ＮＲ：Noise Reduction ）部、及びＡＤＣを内蔵したＣＭＯＳ撮像素子である。
また５は撮像装置１００Ａ内の各部を制御するＣＰＵ、９はＴＧである。
【００５１】
図１Ｇにおいて、ＣＰＵ５は、ＴＧ９を介して、発光駆動パルスをＬＥＤ駆動部１３に出力する。また、ＣＰＵ５は、ＴＧ９を介して、ＣＭＯＳ撮像素子１Ｄ及び１Ｃにも駆動パルスを出力し、ＣＭＯＳ撮像素子１Ｄ及び１Ｃを駆動する。ＬＥＤ駆動部１３は、入力された発光駆動パルスに基づいてＬＥＤ１２を駆動し、ＬＥＤ１２は、ＬＥＤ駆動部１３に駆動されて、所定のスペクトルまたは所定の波長帯の近赤外光を出力する。
光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、分光光学系２Ａに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射され、復路を通って光学系１に入射するものである。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射される。
光学系１を介して入力された光は、分光光学系２Ａの分光部１２１に入力される。分光光学系２Ａの分光部１２１は、入力された光の可視光成分を透過し、ＣＭＯＳ撮像素子１Ｃに入射する。また分光部１２１は、近赤外光成分を反射し、反射光１２２に出射する。反射鏡１２２は入射された近赤外光をＣＭＯＳ撮像素子１Ｄに出射する。
ＣＭＯＳ撮像素子１Ｄに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＭＯＳ撮像素子１Ｃに入射された可視光は、電気信号に変換され、メモリ付映像信号処理部４Ｃを介して陽炎補正部１４に入力される。
【００５２】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ａの映像信号Ｖｉとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。なお、好ましくは、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉと、メモリ付映像信号処理部４Ｃの可視光の赤（Ｒ）成分との相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｃから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動する。
【００５３】
図１Ｈは、本発明の一実施例の撮像装置の全体構成を示すブロック図である。図１Ｈは、色分解光学系と４ケのＣＭＯＳ撮像素子とを用いた撮像装置の一実施例のブロック構成図である。
１００Ｈは、本発明の一実施例の撮像装置である。光学系１、色分解光学系２Ｃ、メモリ付映像信号処理部４Ａ、４Ｒ、４Ｇ、４Ｂ、ＬＥＤ１２、ＬＥＤ駆動部１３、及び陽炎補正部１４は、図１Ｂ、図１Ｅ、図１Ｆと同様である。
また、１Ｄ、１Ｒ、１Ｇ、及び１Ｂは、それぞれ、色分解光学系２Ｃから入射した光を電気信号に変換するＣＭＯＳ撮像素子である。ＣＭＯＳ撮像素子１Ｄ、１Ｒ、１Ｇ、及び１Ｂは、それぞれ、例えば、ＴＧ（ Timing Generator ）、駆動部、ノイズリダクション（ＮＲ：Noise Reduction ）部、及びＡＤＣを内蔵したＣＭＯＳ撮像素子である。
また５は、図１Ｇと同様に、撮像装置１００Ａ内の各部を制御するＣＰＵ、９はＴＧである。
【００５４】
図１Ｈにおいて、ＣＰＵ５は、ＴＧ９を介して、発光駆動パルスをＬＥＤ駆動部１３に出力する。また、ＣＰＵ５は、ＴＧ９を介して、ＣＭＯＳ撮像素子１Ｄ、１Ｒ、１Ｇ、及び１Ｂにも駆動パルスを出力し、ＣＭＯＳ撮像素子１Ｄ、１Ｒ、１Ｇ、及び１Ｂを駆動する。ＬＥＤ駆動部１３は、入力された発光駆動パルスに基づいてＬＥＤ１２を駆動し、ＬＥＤ１２は、ＬＥＤ駆動部１３に駆動されて、所定のスペクトルまたは所定の波長帯の近赤外光を出力する。
光学系１には、復路を通って反射された近赤外光が入射する。また、光学系１には、大気を通過して目標物体に照射され、復路を通って反射された可視光が入射する。光学系１は、これらの光を集束し、色光学系２Ｃに出力する。なお、目標物体から反射する近赤外光は、ＬＥＤ１２から往路を通って照射される。
色分解光学系２Ｃは、入力された光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び近赤外光（ＩＲ）に分光し、分光されたＲをＣＭＯＳ撮像素子１Ｒ、分光されたＧをＣＭＯＳ撮像素子１Ｇ、分光されたＢをＣＭＯＳ撮像素子１Ｂ、分光されたＩＲをＣＭＯＳ撮像素子１Ｄに出射する。
ＣＭＯＳ撮像素子１Ｄに入射された近赤外光は、電気信号に変換され、メモリ付映像信号処理部４Ａを介して陽炎補正部１４に入力される。また、ＣＭＯＳ撮像素子１Ｒに入射された可視光の赤（Ｒ）成分は、電気信号に変換され、メモリ付映像信号処理部４Ｒを介して陽炎補正部１４に入力される。さらに、ＣＭＯＳ撮像素子１Ｇに入射された可視光の緑（Ｇ）成分は、電気信号に変換され、メモリ付映像信号処理部４Ｇを介して陽炎補正部１４に入力される。またさらに、ＣＭＯＳ撮像素子１Ｂに入射された可視光の青（Ｂ）成分は、電気信号に変換され、メモリ付映像信号処理部４Ｂを介して陽炎補正部１４に入力される。
【００５５】
陽炎補正部１４内での処理は、すでに、図３Ａ、図３Ｂ、及び図３Ｃ、並びに、図２Ａ及び図２Ｂを用いて説明した。
即ち、陽炎補正部１４は、メモリ付映像信号処理部４Ａから出力される近赤外光の映像信号ＩＲＶｉとメモリ付映像信号処理部４Ｒとの相関を取り、その移動ベクトルを算出し、算出した移動ベクトルに応じて、メモリ付映像信号処理部４Ｒ、４Ｇ、及び４Ｂから出力される可視光の映像信号ＲＶｉとＧＶｉとＢＶｉとの各部の画素を移動させ、ＮＴＳＣ（ National Television System Committee ）方式またはＰＡＬ（ Phase Alternating by Line ）方式の複合映像信号（ Video Burst Sync 、以下、ＶＢＳと称する）、またはＳＤＩ（ Serial Digital Interface ）映像信号、あるいはＨＤＴＶのＳＤＩ（ＨＤ−ＳＤＩ）等の所定方式の映像信号に変換して出力する映像信号処理部である。
【００５６】
図１Ｇ及び図１Ｈの実施例では、波長が約７６０［ｎｍ］の酸素輝線スペクトラム、９７０［ｎｍ］付近、または、９７０［ｎｍ］付近のいずれかの近赤外光を、ＬＥＤ若しくはＬＤ等の光源から、目標物体に照射する。
そして、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子と有する。
若しくは、光学系では、色収差を補正し、可視光と近赤外光とを透過し、ガラスを透過するように収差補正するレンズ等の集束光学系、及び、光軸上近赤外光収差をピエゾ素子（図示しない）等で機械的に補正し、倍率近赤外光収差を電子的に補正する機能を備えた撮像素子を備える。具体的には、図示しないピエゾ素子は、図１Ｇ、若しくは図１Ｈにおいて、近赤外光を撮像する撮像素子に設けられ、ＣＰＵ５の制御により上下方向に微小移動して色収差を補正する。
なお、目標物体に照射する光源から照射される近赤外光の波長は、上記以外でもよく、例えば、１３５０［ｎｍ］〜１４３０［ｎｍ］付近、１８２０［ｎｍ］〜１９５０［ｎｍ］付近の近赤外光を用いても良い。撮像素子としては、シリコン可視光撮像素子と高速電子シャッタを有するＩｎＧａＡｓ（インジウムガリウム砒素）製近赤外光撮像素子でも良い。
【００５７】
次に、図１Ａ、図２Ａ、図４、及び図５を用いて、本発明の陽炎補正部の一実施例について説明する。図４は、本発明のＣＣＤ撮像装置の陽炎補正部一実施例の構成を示すブロック図である。１４は本発明のＣＣＤ撮像装置の一実施例の陽炎補正部、１５は映像メモリ、１６は相関検出部、１７は画素移動読出しアドレス部、１８は出力部、１９は画像処理部である。図５は、本発明のＣＣＤ撮像装置の陽炎補正部の相関をとる一実施例を説明するための模式図である。図５（１）は赤（Ｒ）の画像、図５（２）は近赤外光の画像を示す。
図４の陽炎補正回路では、図３Ａ、図３Ｂ、及び図３Ｃで説明したように、ＣＰＵ６の制御に基づいて、以下のように補正を行う。
【００５８】
図４及び図５において、映像メモリ１５には、近赤外光のデジタル映像信号ＩＲＶｉ、赤（Ｒ）のデジタル映像信号ＲＶｉ、緑（Ｇ）のデジタル映像信号ＧＶｉ、青（Ｂ）のデジタル映像信号ＢＶｉが入力され、保存される。
映像メモリ１５は、入力されたデジタル映像信号ＩＲＶｉから近赤外光の映像データＥIR1H、・・・、ＥIRkH、・・・、ＥIRnH（ IRは近赤外光を示し、kHはk番目の水平ラインであることを示す。1＜k＜nであり、n=243である）と、赤（Ｒ）のデジタル映像信号ＲＶｉから赤の映像ラインの映像データＥR1H、・・・、ＥRmH、・・・、ＥRnH（ Rは可視光の赤色成分を示し、mHはm番目の水平ラインであることを示す。1＜m＜nであり、n=243である）とを相関検出部１６に出力する。
【００５９】
相関検出部１６は、入力された近赤外光の映像データＥIR1H、・・・、ＥIRkH、・・・、ＥIRnHのそれぞれについて、入力された赤の映像ラインの映像データＥR1H、・・・、ＥRmH、・・・、ＥRnHとの相関を採り、映像ライン間で最も相関の高い映像データＥIRkHt1及びＥRmHt2を検出する。検出した最も相関の高い映像データＥIRkHt1及びＥRmHt2について、近赤外光の映像データＥIRkHt1の垂直ライン番号をｊ、水平時間をｔ１とし、赤色成分の映像データＥRmHt2の垂直ライン番号をｉ、水平時間をｔ２とする。その時、垂直差ｄＶ（ｄＶ＝ｉ−ｊ）及び水平差ｄＨ（ｄＨ＝ｔ２−ｔ１）を算出し、算出した垂直差ｄＶ及び水平差ｄＨを画素移動読出しアドレス部１７に出力する。
例えば、相関検出部１６は、ＥＭ−ＣＣＤ等の電子増倍型ＣＣＤであるときに、近赤外光の映像ラインの映像データＥIRkHが奇数フィールドである場合には、赤の映像ラインのＥR0H、ＥR1H、ＥR2H、・・・、ＥRmH、・・・、ＥR243Hと相関を採る。また、近赤外光の映像ラインＥIRkHが偶数フィールドである時には、赤の映像ラインのＥR263HとＥR2H、・・・、ＥR2mH、・・・、ＥR505Hと相関を採る。
好ましくは、相関検出部１６は、相関を採るときに、輪郭信号を発生する。
【００６０】
画素移動読出しアドレス部１７は、入力された垂直差ｄＶと水平差ｄＨとから、読出しアドレスを算出し、映像メモリ１５から、赤の映像ＲＶｉ、緑の映像ＧＶｉ、及び青の映像ＢＶｉを読出す。即ち、映像メモリ１５は、画素移動読出しアドレス部１７から指定されたアドレスの映像データを出力部１８及び画像処理部１９に出力する。
即ち、画素移動読出しアドレス部１７は、垂直差ｄＶと水平差ｄＨとから読出しアドレスを算出して出力部１８に出力する。なお、色倍率収差を更に算出して、読み出しアドレスを補正して、出力部１８に出力しても良い。
出力部１８及び画像処理部１９には、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各画素を近赤外光と最も相関の高い画素を、垂直差ｄＶ及び水平差ｄＨ分逆方向に移動した映像が入力される。このため、図４の実施例によれば、大気の窓の外で地表太陽光が弱い近赤外光の水平走査に同期したパルス発光と水平走査に同期した高速電子シャッタにより、リアルタイムで画面の目標物体の可視光に隣接の近赤外光の大気の揺らぎを検出し可視光の映像の大気の揺らぎを補正することが可能となる。
即ち、出力部１８は、入力された読出しアドレスに基づいて、映像メモリ１５から赤（Ｒ）の映像信号ＲＶｏ、緑（Ｇ）の映像信号ＧＶｏ、及び青（Ｂ）の映像信号ＢＶｏとして読出すことにより、赤（Ｒ）のＥRmHt2、緑（Ｇ）のＥGmHt2、青（Ｂ）のＥBmHt2の各画素を近赤外光の映像信号ＩＲＶｉと最も相関の高い画素との移動ベクトルと逆方向に移動させる。
その結果、出力部１８は、地表付近または海上付近の大気の揺らぎが補正された画像を出力する。
その結果、画像処理部１９は、大気の揺らぎが補正された画像によって、正確な画像処理が可能となる。例えば、侵入物体の検出が的確に実行することができるため、監視等の用途に用いるための撮像装置を提供できる。
なお、画像処理部１９を除去した撮像装置も可能であり、また、その場合に、出力部１８の後段（撮像装置の後段）に画像処理部を別に設けることもできる。
【００６１】
上記図４、図５の実施例は、近赤外光と赤緑青とに分光する色分解光学系と赤緑青と高速電子シャッタ近赤外光撮像素子とを有する撮像装置であり、約９７０［ｎｍ］付近または約１１３０［ｎｍ］付近の近赤外光を、水平走査期間より短い時間、ＬＥＤまたはＬＤを目標物体に照射し、電子シャッタ露光を用いその反射光を取得する。そして、近赤外光の１画面分の輪郭成分（往復で距離が２倍の地表大気の揺らぎが発生する）と可視光画面の輪郭成分（片道で距離が１倍の地表大気の揺らぎ）との相関を検出し、画面各部の往復分と片道分の差から片道分の地表大気の揺らぎ成分の移動ベクトルを検出し、可視光映像の画面各部ごとに片道分の地表大気揺らぎの移動ベクトルを補正する。この結果、霞や土埃の影響を受け難い赤の映像の、霞、もや、または土埃の影響で浮きあがった暗部を沈めた映像信号で侵入者を検知することができる。
【００６２】
なお好ましくは、図４において、相関検出部１６は、輪郭信号を発生し、画素移動読出しアドレス部１７に出力する。画素移動読出しアドレス部１７は、入力された輪郭信号に基づいて出力部１８に陽炎補正の画素移動読出し用のマーカ信号を出力する。出力部１８は、陽炎調整時の本線（可視光映像）の輪郭成分との相関を検出して補正している画面部分に、特定色を重畳する。従って、出力映像をモニタ等に表示する場合には、特定の色が重畳されて表示される（図示しない）。このため、陽炎補正処理中か否かが表示画面で確認でき、より好ましくは、ＧＵＩ（ Graphical User Interface ）等によって、オペレータが、陽炎補正処理を調整可能となる。なお、特定色としては、光の３原色の補色の内で目立つ黄色が好ましい。
【００６３】
なお、上記図１〜図５の実施例において、近赤外光を出力する光源が、ＬＥＤであれば出力レベルについての安全上での制限を受けず、ＬＤのような完全な平行ビームではないので、レンズとの光軸調整精度も緩くて構わない。
また、上記図１〜図５の実施例において、さらに、近赤外光を電気信号に変換する撮像素子について、軸上近赤外光収差をピエゾ素子等で機械的に補正し、倍率近赤外光収差を電子的に補正する。この結果、地表上に太陽光がほとんどない状態に等しいので、近赤外光収差を補正すれば、基準となる照射ＬＥＤの光量は少なくても良い。
またさらに、１４００［ｎｍ］以上の赤外光は、人間の眼の硝子体の液体によって伝達されないため、安全上の出力レベル制限が減るので取扱いも容易である。
さらにまた、約１３５０［ｎｍ］〜１４３０［ｎｍ］付近の光であれば、シリコン製の撮像素子であっても、ＦＩＴ−ＣＣＤや横型オーバーフロードレインＣＣＤやＣＭＯＳで深くフォトダイオードを形成した撮像素子なら撮像可能である。フォトダイオードをサブストレート内に深く形成することによって、暗電流のばらつき及び経時劣化の発生を低減できる。なおさらに好ましくは、ＣＣＤを冷却すると、ＣＣＤの結晶欠陥を低減し、電界集中を低減することができる。
【００６４】
また上記図１〜図５の実施例では、赤の輪郭成分と近赤外光の輪郭成分との相関を検出し、画面各部の片道分の地表大気揺らぎ成分の移動ベクトルを検出し、赤緑青の画面各部ごとに片道分の地表大気揺らぎの移動ベクトルを補正している。近赤外光の映像と赤の映像との比較なので、目立たない彩度の低い色の被写体なら、分光反射率の影響は少なく、色収差の少ない安価なガラスを用いても本発明の撮像装置が実現可能である。この場合、近赤外光と赤を使用するので、色収差の影響が少ない。
【００６５】
上述の実施例によれば、上記実施例の撮像装置によれば、太陽光が直接照射される地表付近や海上付近において、遠距離被写体の撮像位置が短時間に不規則に変化することを補正することできる。
また、近赤外光と赤との比較なので、被写体の分光反射率、つまり色とレンズの色収差との影響をほとんど受けない。このため、地表大気揺らぎの移動ベクトルを補正する誤差が少ない。更に、レンズの色収差との影響をほとんど受けないので、赤の映像のＭＴＦ（ Modulation Transfer Function ）が高い。
【００６６】
本発明は、元々、霞、もや、土埃、等の影響を受け難い赤色成分の映像を使用している。この赤色成分の映像は、霞、もや、または土埃の影響で浮きあがった暗部を沈めた映像信号となる。このため、更に、霞や土埃の影響によるコントラスト低下が少なくなり、検出が容易になる。
【００６７】
以上シリコン製のＥＭ−ＣＣＤを用いた撮像装置について詳細に説明し、ＦＴ−ＣＣＤやＣＭＯＳ撮像素子やＩｎＧａＡｓインジウムガリウム砒素製製の撮像素子の概略を説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の近赤外光に高感度なＣＣＤや近赤外光に高感度なＣＭＯＳ撮像素子を用いた撮像装置他の撮像装置に広く適用することができることは言うまでもない。
【符号の説明】
【００６８】
１：光学系、 ２Ａ：分光光学系、 ２Ｃ：色分解光学系、 ３Ａ、３Ｃ、３Ｒ、３Ｇ、３Ｂ：ＣＣＤ、 ４Ａ、４Ｃ、４Ｒ、４Ｇ、４Ｂ：メモリ付映像信号処理部、 ５：ＣＰＵ、 ６：ＯＤ駆動部、 ７：撮像部の垂直転送駆動部、 ８：蓄積部の垂直転送駆動部、 ９：ＴＧ、 １０：ＣＭＧ駆動部、 １１Ａ、１１Ｃ：ＡＦＥ、 １２：ＬＥＤ、 １３：ＬＥＤ駆動部、 １５：映像メモリ、 １６：相関検出部、 １７：画素移動読出しアドレス部、 １８：出力部、 １９：画像処理部、 １００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、１００Ｇ、１００Ｈ：撮像装置、 １０１：フォトダイオード、 １０２：撮像部の垂直転送部、 １０３：蓄積部の垂直転送部、 １０４：ＣＭＧ、 １０５：電圧変換部、 １０６：水平周期シャッタＴＧ、 １０７：水平周期読出パルスと垂直転送ＴＧ、 １０８：垂直転送ＴＧ、 １０９：ＣＤＳ、 １１０：ＡＧＣ、 １１１：ＡＤＣ、 １１２：ＴＧ、 １２１：分光部、１２２：反射鏡、 ２００：撮像装置、 ２０１ａ、２０２ａ、・・・、２１１ａ、２１２ａ、２１３ａ、２１４ａ、２１５ａ・・・：映像信号、 ２０１ｂ、２０２ｂ、・・・、２１１ｂ、２１２ｂ、２１３ｂ、２１４ｂ、２１５ｂ、・・・：映像信号、 ２２０ａ、・・・、２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａ、２２６ａ、・・・：ＬＥＤの発光駆動パルス、 ２２０ｂ、２２１ｂ、・・・、２２２ｂ、２２３ｂ、２２４ｂ、２２５ｂ、・・・：ＬＥＤの発光駆動パルス、 ２３０ａ、・・・、２３１ａ、２３２ａ、２３３ａ、２３４ａ、２３５ａ、２３６ａ、・・・：ＣＣＤの掃き捨てタイミングクロック、 ２３０ｂ、２３１ｂ、・・・、２３２ｂ、２３３ｂ、２３４ｂ、２３５ｂ、・・・：ＣＣＤの掃き捨てタイミングクロック、 ２４０ａ、・・・、２４１ａ、２４２ａ、２４３ａ、２４４ａ、２４５ａ、２４６ａ、・・・：垂直転送パルスＶ１Ａの読出パルス、 ２４０ｃ、２４４ｃ、・・・：垂直転送パルスＶ１Ａの転送パルス、 ２４１ｃ、２４５ｃ、・・・：垂直転送パルスＶ１Ａの映像信号転送区間、 ２４１ｃ、２４５ｃ、・・・：垂直転送パルスＶ１Ａの映像信号転送区間、 ２４０ｂ、２４１ｂ、・・・、２４２ｂ、２４３ｂ、２４４ｂ、２４５ｂ、・・・：読出パルス、 ２４２ｄ、２４３ｄ、２４４ｄ、２４５ｄ、２４６ｄ、２４７ｄ、・・・：転送パルス、 ２５１ｃ、２５５ｃ、・・・：垂直転送パルスＶ２Ａの映像信号転送区間、 ２５２ｄ、２５３ｄ、２５４ｄ、２５５ｄ、２５６ｄ、２５７ｄ、・・・：転送パルス、 ２６０ａ、・・・、２６２ａ、２６３ａ、２６４ａ、２６５ａ、２６６ａ、・・・：垂直転送パルスＶ３Ａの読出パルス、 ２６０ｃ、２６４ｃ、・・・：垂直転送パルスＶ３Ａの転送パルス、 ２６１ｃ、２６５ｃ、・・・：垂直転送パルスＶ３Ａの映像信号転送区間、 ２６０ｂ、２６１ｂ、・・・、２６２ｂ、２６３ｂ、２６４ｂ、２６５ｂ、・・・：読出パルス、 ２６２ｄ、２６３ｄ、２６４ｄ、２６５ｄ、２６６ｄ、２６７ｄ、・・・：転送パルス、 ２７１ｃ、２７４ｃ、・・・：垂直転送パルスＶ４Ａの映像信号転送区間、 ２７２ｄ、２７３ｄ、２７４ｄ、２７５ｄ、２７６ｄ、２７７ｄ、・・・：転送パルス、 ２８０ａ、・・・、２８１ａ、２８２ａ、２８３ａ、２８４ａ、２８５ａ、２８６ａ、２８７ａ、・・・：垂直転送パルスＶ１Ｂの転送パルス、 ２８１ｃ、２８５ｃ、・・・：垂直転送パルスＶ１Ｂの映像信号転送区間、 ２８１ｂ、２８２ｂ、２８３ｂ、２８４ｂ、２８５ｂ、２８６ｂ、・・・：フレームメモリ入力信号期間、 ２９０ａ、・・・、２９１ａ、２９２ａ、２９３ａ、２９４ａ、２９５ａ、２９６ａ、２９７ａ、・・・：垂直転送パルスＶ２Ｂの転送パルス、 ２９１ｃ、２９５ｃ、・・・：垂直転送パルスＶ２Ｂの映像信号転送区間、 ２９０ｂ、２９１ｂ、・・・、２９２ｂ、２９３ｂ、２９０ｂ、２９１ｂ、・・・、２９２ｂ、２９３ｂ、２９４ｂ、２９５ｂ、・・・：信号電荷、 ２１００ｂ、２１０１ｂ、・・・、２１０２ｂ、２１０３ｂ、２１０４ｂ、２１０５ｂ、・・・：信号電荷、 ２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、・・・：垂直転送パルスＶ３Ｂの転送パルス、 ２１０１ｃ、２１０４ｃ、・・・：垂直転送パルスＶ３Ｂの映像信号転送区間、 ２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ、・・・：垂直転送パルスＶ４Ｂの転送パルス、 ２１１１ｃ、２１１４ｃ、・・・：垂直転送パルスＶ４Ｂの映像信号転送区間、 ２１２１ａ、２１２２ａ、２１２３ａ、２１２４ａ、２１２５ａ、・・・：信号電荷、 ２１３０ａ、２１３１ａ、２１３２ａ、２１３３ａ、２１３４ａ、２１３５ａ、・・・：信号電荷、 ３０１ａ、３０１ｂ、３０１ｃ：画像、 ３０２ａ、３０２ｂ、３０２ｃ：電信柱の被写体像。
【特許請求の範囲】
【請求項１】
水平走査に同期した所定の波長の光を目標物体に照射する光源と、前記照射された所定の波長の光による前記目標物体からの第１の反射光を前記水平走査に同期した電子シャッタ露光で撮像する第１の撮像素子と、前記目標物体を含む撮像視野内全体を撮像するための可視光による第２の反射光を前記電子シャッタで露光して撮像し、撮像された前記第１の反射光による映像信号の第１の輪郭成分と、前記第２の反射光による映像信号の第２の輪郭成分との相関を採り、前記第１の輪郭成分と前記第２の輪郭成分の映像信号の、最も相関の高い映像データについて移動ベクトルを算出し、前記算出された移動ベクトルと逆方向に移動して映像出力する陽炎補正部と、撮像装置を制御する制御部とを備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、前記光源は、ＬＥＤまたはレーザダイオードであり、前記光源は、近赤外光の波長であることを特徴とする撮像装置。
【請求項３】
請求項１または請求項２のいずれかに記載の撮像装置において、前記第１の反射光による映像信号の第１の輪郭成分と相関を採る前記第２の反射光は、可視光の赤色成分であることを特徴とする撮像装置。
【請求項１】
水平走査に同期した所定の波長の光を目標物体に照射する光源と、前記照射された所定の波長の光による前記目標物体からの第１の反射光を前記水平走査に同期した電子シャッタ露光で撮像する第１の撮像素子と、前記目標物体を含む撮像視野内全体を撮像するための可視光による第２の反射光を前記電子シャッタで露光して撮像し、撮像された前記第１の反射光による映像信号の第１の輪郭成分と、前記第２の反射光による映像信号の第２の輪郭成分との相関を採り、前記第１の輪郭成分と前記第２の輪郭成分の映像信号の、最も相関の高い映像データについて移動ベクトルを算出し、前記算出された移動ベクトルと逆方向に移動して映像出力する陽炎補正部と、撮像装置を制御する制御部とを備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、前記光源は、ＬＥＤまたはレーザダイオードであり、前記光源は、近赤外光の波長であることを特徴とする撮像装置。
【請求項３】
請求項１または請求項２のいずれかに記載の撮像装置において、前記第１の反射光による映像信号の第１の輪郭成分と相関を採る前記第２の反射光は、可視光の赤色成分であることを特徴とする撮像装置。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図１Ｅ】
【図１Ｆ】
【図１Ｇ】
【図１Ｈ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図１Ｅ】
【図１Ｆ】
【図１Ｇ】
【図１Ｈ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５】
【公開番号】特開２０１１−１９７７５５（Ｐ２０１１−１９７７５５Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６０９４０（Ｐ２０１０−６０９４０）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]