撮像装置
【課題】小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供する。
【解決手段】可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、第１の画像信号に変換する。遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、第２の画像信号に変換する。エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する。そして、出力画像データ生成部５６０は、エッジ比較部５５０による比較の結果に基づいて、第１の画像信号及び第２の画像信号から出力画像データを生成する。
【解決手段】可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、第１の画像信号に変換する。遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、第２の画像信号に変換する。エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する。そして、出力画像データ生成部５６０は、エッジ比較部５５０による比較の結果に基づいて、第１の画像信号及び第２の画像信号から出力画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラや、デジタルビデオカメラ、監視カメラなどの撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラや、デジタルビデオカメラ、監視カメラなどの撮像装置は、用途に応じて、様々な種類に展開されている。例えば、一般的なカメラのように可視光線波長帯の光に対応した撮像装置や、夜間監視用のカメラのように遠赤外線波長帯に対応した撮像装置が知られている。
【０００３】
このとき、各撮像装置は、被写体からの反射光の波長帯に応じて、レンズの材料を変更する必要がある。すなわち、可視光線波長帯の光に対応した撮像装置では、例えば透明ガラス材のレンズを用いればよい。透明ガラス材は、可視光線波長帯の光を透過するが、遠赤外線波長帯の光を透過しない特性を有する。透明ガラス材の原料には、例えば珪石、硼酸、酸化ランタン、酸化ガドリニウム、酸化ニオブ、酸化ジルコニウム、バリウム、カリウムなど、不純物の少ない高純度なものが使用される。一方、遠赤外線波長帯の光に対応した撮像装置では、例えばゲルマニウム（元素記号：Ｇｅ）などの特殊な材料を用いる必要がある。ゲルマニウムは、遠赤外線波長帯の光を透過するが、可視光線波長帯の光を透過しない特性を有する。
【０００４】
このように、被写体からの反射光の波長帯に対応したレンズを設けて、可視光線波長帯用の撮像装置と、遠赤外光線波長帯用の撮像装置をそれぞれ別個に構成していた。そして、可視光線波長帯用の撮像装置と、遠赤外光線波長帯用の撮像装置とが、用途に応じて、別々に消費者に提供されてきた。
【０００５】
一方、近年、例えば、昼夜問わず稼働する監視カメラのように、撮像環境が明るいときには可視光線波長帯で被写体を撮像し、撮像環境が暗いときや、煙や霧などによって視界が悪いときなどには遠赤外線波長帯で被写体を撮像することができる撮像装置が、要求されている。この場合、例えば、可視光線波長帯用と遠赤外光線波長帯用の２台の撮像装置を用意して、同じ場所に配置すればよい。
【０００６】
なお、特許文献１には、本発明の参考技術として、可視光域から遠赤外域に感度を有する撮像素子が開示されている。また、特許文献２には、可視光用と赤外光用とに切り換えられるように構成された撮像素子が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０４９７８号公報
【特許文献２】特開２００９−１４５５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、可視光線波長帯用と遠赤外光線波長帯用の２台の撮像装置を用意する場合、撮像装置ごとにレンズや撮像素子を設ける必要があった。また、各撮像装置による撮像画像を合成する場合に、様々な調整を必要とされていた。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供できる技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、可視光線波長帯及び遠赤外光線波長帯の光を透過するレンズと、前記レンズを透過する前記可視光線波長帯の光を受光して、第１の画像信号に変換する可視光線用撮像部と、前記レンズを透過する前記遠赤外光線波長帯の光を受光して、第２の画像信号に変換する遠赤外光線用撮像部と、前記第１の画像信号から得られる画像データのエッジ部と、前記第２の画像信号から得られる画像データのエッジ部とを比較するエッジ比較部と、前記エッジ比較部による比較の結果に基づいて、前記第１の画像信号及び前記第２の画像信号から前記出力画像データを生成する出力画像データ生成部とを備えている。
【発明の効果】
【００１１】
本発明にかかる技術によれば、小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態にかかる撮像装置の構成を示す図である。
【図２】レンズの透過率の一例を示す図である。
【図３】撮像部の構成の一例を示す図である。
【図４】可視光線用ＡＦＥ部及び遠赤外光線用ＡＦＥ部の内部構成と、周辺の構成要素との関係を示す図である。
【図５】本発明の実施の形態にかかる撮像装置の動作フローを示す図である。
【発明を実施するための形態】
【００１３】
＜実施の形態＞
図１は、本発明の実施の形態にかかる撮像装置の構成を示す図である。図１に示されるように、撮像装置１０００は、レンズ１００と、撮像部２００と、可視光線用ＡＦＥ部３００と、遠赤外光線用ＡＦＥ部４００と、信号処理部５００と、出力部６００とを含んで構成されている。
【００１４】
レンズ１００は、少なくとも可視光線波長帯及び遠赤外光線波長帯の光を透過するように形成されている。また、レンズ１００は、撮像装置１０００の被写体の反射光を結像する。図２は、レンズ１００の透過率の一例を示す図である。ここでは、レンズ１００の材料にフッ化バリウム（ＢａＦ２）を用いたものを例示している。図２に示されるように、少なくとも可視光線波長帯域の０．３６μｍ〜０．８３μｍ（日本標準規格ＪＩＳ Ｚ８１２０に準拠）と、遠赤外光線波長帯域の約７μｍ〜約１６μｍのうち、約７μｍ〜１０μｍの帯域で、透過率８５％を超えている。なお、レンズ１００の材料には、フッ化バリウム（ＢａＦ２）以外に、フッ化カルシウム（ＣａＦ２）や、臭化カリウム（ＫＢｒ）や、塩化ナトリウム（ＮａＣｌ）などを用いてもよい。また、ポリエチレンや、硫化亜鉛［ジンクセレン］ＡＲ（Anti Reflection）コート（ＺｎＳｅ）などを用いてもよい。
【００１５】
図１に戻って、撮像部２００は、可視光線用撮像部２１０と、遠赤外光線用撮像部２２０とを有している。可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、この光を第１の画像信号に光電変換する。可視光線用撮像部２１０の一例として、ＣＣＤ（Charge Coupled Device）を用いることができる。ＣＣＤは、画像を画像信号に変換する際に、電荷結合素子と呼ばれる回路素子を用いて、受光素子が光から発生した電荷を読み出すために転送を行う。ＣＣＤは、ＭＯＳ構造半導体素子の一種で、シリコン基板表面の酸化膜上に多数の電極を設け、各電極に隣同士で異なる電圧を与えることによりポテンシャルウェルを作り出し、これを利用して電荷を保持できるようにしたものである。ＣＣＤでは、各電極に加える電圧を適切に制御することにより各素子の電荷が隣の素子にいっせいに転送される。これにより各素子が保持する画素ごとの電荷をバケツリレー式に順次外部に取り出すことができる。この性質を利用して一列の端から入力した電荷を素子数分の転送回数に相当する遅延を持たせて反対側の端から取り出せば、遅延線（ディレイライン）として動作させることができる。
【００１６】
遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、これを第２の画像信号に光電変換する。遠赤外光線用撮像部２２０の一例として、マイクロボロメータを用いることができる。このマイクロボロメータは、マイクロボロメータと呼ばれる特殊な赤外線検出素子で構成されており、この素子を用いて遠赤外線を検出する。
【００１７】
図３は、撮像部２００の構成の一例を示す図である。図３（ａ）は、撮像部２００の平面図であり、図３（ｂ）はＡ部の拡大平面図である。図３（ｂ）に示されるように、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０は、互いに交互にマトリックス状に配列されている。このように、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０を撮像部２００の集光面に均一に配置することによって、可視光線用の撮像部２１０により撮像された可視光画像と、遠赤外光線用撮像部２２０により撮像された遠赤外光画像を、同一の画角で取得することができる。この結果、可視光画像と遠赤外光画像を簡単に合成することができる。なお、図３で示した例は、撮像部２００の一例であって、これに限定されない。すなわち、図３の例では、最も好ましい態様として、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０をマトリックス状に配列するとしたが、本発明では、レンズ１００からの入射光を結像できる範囲であれば、可視光線用撮像部２１０と遠赤外光線用撮像部２２０をマトリクス状に配置する形態に限定されない。
【００１８】
可視光線用ＡＦＥ（Analog Front End）部３００は、可視光線用撮像部２１０により生成される第１の画像信号を、アナログ信号からデジタル信号へ変換する。また、遠赤外光線用ＡＦＥ部４００は、遠赤外光線用撮像部２２０により生成される第２の画像信号を、アナログ信号からデジタル信号へ変換する。
【００１９】
ここで、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００の構成について詳細に説明する。図４は、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００の内部構成と、周辺の構成要素との関係を示す図である。
【００２０】
図４に示されるように、可視光線用ＡＦＥ部３００は、ＣＤＳ（Correlated Double Sampling）部３１０と、ＡＧＣ（Automatic Gain Control）部３２０と、Ａ／Ｄ（Analog to Digital）変換部３３０とを有している。同様に、遠赤外光線用ＡＦＥ部４００は、ＣＤＳ部４１０と、ＡＧＣ部４２０と、Ａ／Ｄ変換部４３０とを有している。
【００２１】
ＣＤＳ部３１０は、可視光線用撮像部２１０から入力される第１の画像信号の雑音を除去するための回路である。同様に、遠赤外光線用撮像部２２０から入力される第２の画像信号の雑音を除去するための回路である。ＣＤＳ部３１０、４１０は、相関二重サンプリング法に基づいて構成されている。
【００２２】
具体的には、ＣＤＳ部３１０は、２つのクランクパルスを有しており、１つ目のクランクパルスで第１の画像信号のフィールドスルー期間をクランプし、２つ目のクランクパスで、第１の画像信号の信号期間をクランプする。そして、ＣＤＳ部３１０は、１つ目のクランプパルスでクランプされた電圧と、２つ目のクランクパルスでクランプされた電圧の差分を取り出し、第１の画像信号中の余計な雑音を除去する。同様にして、ＣＤＳ部４１０も、２つのクランクパルスを有しており、１つ目のクランクパルスで第２の画像信号のフィールドスルー期間をクランプし、２つ目のクランクパルスで、第２の画像信号の信号期間をクランプする。ＣＤＳ部４１０は、１つ目のクランプパルスでクランプされた電圧と、２つ目のクランクパスでクランプされた電圧の差分を取り出し、第２の画像信号中の余計な雑音を除去する。
【００２３】
ＡＧＣ部３２０、４２０は、撮像装置１０００の制御部（不図示）の制御により制御され、第１の画像信号及び第２の画像信号のゲインをプログラマブルに変更する。具体的には、ＡＧＣ部３２０、４２０は、ＣＤＳ部３１０、４１０により処理された各画像信号の成分をゲイン調整する。これにより、２次元で撮像された被写体画像全体の輝度を調整することができる。例えば、ゲインを下げれば暗い絵柄の画像となり、ゲインを上げれば明るい絵柄の画像となる。ＡＧＣ部３２０、４２０は、プログラマブルにゲインを調整することにより、画像全体の輝度バランスをとり、見やすい図柄の画像を生成する。
【００２４】
Ａ／Ｄ変換部３３０、４３０は、ＡＧＣ部３２０、４２０によりゲイン調整された各画像信号をデジタル信号に変換する。このとき、Ａ／Ｄ変換部３３０、４３０は、信号処理部５００のインターフェイスに合わせて、各画像信号をアナログデジタル変換する。撮像部２００から出力された各画像信号をデジタル化することにより、信号処理部５００での信号処理を容易にすることができる。
【００２５】
なお、図３に示されるように、タイミングジェネレータ部７００が、可視光線用撮像部２１０、遠赤外光線用撮像部２２０、ＣＤＳ部３１０、４１０、ＡＧＣ部３２０、４２０、Ａ／Ｄ変換部３３０、４３０及び信号処理部５００に接続されている。このタイミングジェネレータ部７００は、各部の処理のタイミング信号や、撮像部２００を駆動する基準信号を出力する。タイミングジェネレータ部７００は、前記ＣＤＳ部３１０、４１０のクランクパルスも出力する。
【００２６】
図１に戻って、信号処理部５００は、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００から入力される画像信号（二次元画像のデジタル信号）を受けて、当該信号の強弱やエッジ部を判断し、これらの判断結果などに基づいて第１の画像信号および第２の画像信号を用いて出力画像データを生成する。信号処理部５００は、可視光線用濃度変換部５１０と、遠赤外光線用濃度変換部５２０と、可視光線用特徴抽出フィルタ部５３０と、遠赤外光線用特徴抽出フィルタ部５４０と、エッジ比較部５５０と、出力画像データ生成部５６０とを含んで構成されている。以下に、信号処理部５００内の各構成について説明する。
【００２７】
可視光線用濃度変換部５１０は、可視光線用ＡＦＥ部３００から出力される第１の画像信号に対して、画像解析の前処理として濃度変換を行う。また、可視光線用濃度変換部５１０は、濃度変換後の第１の画像信号を可視光線用特徴抽出フィルタ部５３０と出力画像データ生成部５６０へ出力する。同様にして、遠赤外光線用濃度変換部５２０は、遠赤外光線用ＡＦＥ部４００から出力される第２の画像信号に対して、画像解析の前処理として濃度変換を行う。また、遠赤外光線用濃度変換部５２０は、濃度変換後の第２の画像信号を遠赤外光線用特徴抽出フィルタ部５４０と出力画像データ生成部５６０へ出力する。
【００２８】
ここで、濃度変換とは、コントラストの改善をするもので、濃度分布の偏りや、ある範囲に集中している信号を改善するものである。すなわち、可視光線用濃度変換部５１０及び遠赤外光線用濃度変換部５２０は、例えば暗すぎる画像を明るくする処理を行い、明るすぎる画像を暗くする処理を行う。濃度変換処理では、同じ輝度値を有する画素を抽出することにより、画像の輝度分布がどのようになっているかを識別する。また、例えば撮像装置１０００のダイナミックレンジが２４６階調であるのに対して、第１または第２の画像信号で得られる画像が１２８階調しかなかった場合には、撮像装置１０００のダイナミックレンジを最大限に有効活用できるように、第１または第２の画像信号に対して２４６階調の画像に対応させる補正処理を行う。なお、可視光線用濃度変換部５１０及び遠赤外光線用濃度変換部５２０は、線形、非線形にかかわらず、濃度変換を行うことができる。
【００２９】
可視光線用特徴抽出フィルタ部５３０は、可視光線用濃度変換部５１０により濃度変換処理が施された第１の画像信号から得られる画像データのエッジ部（境界）を抽出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、遠赤外光線用濃度変換部５２０により濃度変換処理が施された第２の画像信号から得られる画像データのエッジ部（境界）を抽出する。
【００３０】
ここで、画像内で、輝度値、色、模様（テクスチャ）などの特徴が互いに類似する部分を、１つの画像領域とする。このとき、エッジ部（境界）とは、ある画像領域と、これに隣接する画像領域の間の境目をいう。可視光線用特徴抽出フィルタ部５３０及び遠赤外光線用特徴抽出フィルタ部５４０は、例えば、入力される画像信号を微分することにより、エッジ部を抽出する。
【００３１】
この微分処理では、微分フィルタを用いて、低い周波数成分（領域）を削除する処理を行う。微分フィルタには、１次微分フィルタ、２次微分フィルタがある。１次微分フィルタには、例えば、ＲｏｂｅｒｔｓフィルタやＰｒｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ、線検出フィルタなどを用いることができる。２次微分フィルタには、例えば、Ｌａｐｌａｃｉａｎフィルタなどを用いることができる。
【００３２】
このような微分処理の中で、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値を算出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値を算出する。
【００３３】
また、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数を算出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数を算出する。
【００３４】
可視光線用特徴抽出フィルタ部５３０または遠赤外光線用特徴抽出フィルタ部５４０により算出された第１または第２のエッジ輝度微分値と、エッジ部周縁の領域の輝度の微分値との差分値が大きい程、エッジ部（境界）が明瞭に存在することになる。また、前記差分値が大きい箇所が多い程、エッジ部が多くなり、細かなディテールが再現されている画像と言える。エッジ部が明瞭となる画像信号や、エッジ部の数が多い画像信号に基づいて生成される画像は、高い解像感で見やすい画像となる。エッジ部の個数の算出では、例えば、第１または第２のエッジ輝度微分値と、エッジ部周縁の領域の輝度の微分値との差分値にしきい値を設けて、前記差分値が所定のしきい値以上である場合に、エッジ部としてカウントするようにする。
【００３５】
エッジ比較部５５０は、可視光線用特徴抽出フィルタ部５３０により入力される情報と、遠赤外光線用特徴抽出フィルタ部５４０により入力される情報とを比較する。具体的には、エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する。すなわち、エッジ比較部５５０は、第１のエッジ輝度微分値と、第２のエッジ輝度微分値とを比較し、比較結果を出力画像データ生成部５６０へ出力する。また、併せて、エッジ比較部５５０は、第１のエッジ個数と、第２のエッジ個数とを比較し、この比較結果を出力画像データ生成部５６０へ出力する。
【００３６】
出力画像データ生成部５６０は、エッジ比較部５５０による比較結果に基づいて、第１の画像信号及び第２の画像信号から出力画像データを生成する。ここでの第１及び第２の画像信号は、可視光線用濃度変換部５１０及び遠赤外光線用濃度変換部５２０により濃度変換されたものを用いる。
【００３７】
そして、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より大きいと判断したときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成する。一方、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より小さいと判断したときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。このように、出力画像データ生成部５６０が、第１又は第２の画像信号から得られる画像のうち、エッジ輝度微分値が大きい方の画像信号を用いて、出力画像データを生成するので、撮像装置１０００の利用者に対して、高い解像感で、視覚的に見やすい画像を提供することができる。
【００３８】
更に、例えば、第１の画像信号と第２の画像信号との間で、エッジ輝度微分値の差が小さい場合などは、出力画像データ生成部５６０は、第１の画像信号又は第２の画像信号のいずれかを選ぶのではなく、両画像信号を合成して出力画像データを生成する。すなわち、エッジ比較部５５０が、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて合成した出力画像データを生成する。このように、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値のしきい値を自由に設定できるようにすることにより、被写体の特性に合わせた出力画像データを生成することができる。このとき、第１の画像信号又は第２の画像信号に対して、重み付けもすることができる。
【００３９】
また、エッジ比較部５５０が、第１のエッジ個数が、第２のエッジ個数より大きいときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成してもよい。逆に、エッジ比較部５５０が、第２のエッジ個数が、第１のエッジ個数より大きいときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成してもよい。このように、出力画像データ生成部５６０が、第１又は第２の画像信号から得られる画像のうち、エッジ部の個数の多い方の画像信号を用いて、出力画像データを生成するので、撮像装置１０００の利用者に対して、視覚的に見やすい画像を提供することができる。
【００４０】
また、エッジ比較部５５０が、第１のエッジ個数と第２のエッジ個数の差分が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成してもよい。このように、第１のエッジ個数と第２のエッジ個数の差分値のしきい値を自由に設定できるようにすることにより、被写体の特性に合わせた出力画像データを生成することができる。このとき、第１の画像信号又は第２の画像信号に対して、重み付けもすることができる。
【００４１】
図１に戻って、出力部６００は、出力画像データ生成部５６０により生成された出力画像データに基づいて、例えばモニタなどの表示装置（不図示）に対して画像を出力する。具体的には、出力部６００は、出力画像データに対して解像度変換などを行った後、画像を表示部へ出力する。出力部６００の出力信号は、アナログ表示装置用の場合、ＮＴＳＣ（National Television System Committee：全米テレビジョン放送方式標準化委員会）出力やＲＧＢ出力用アナログ出力とし、デジタル表示装置用の場合、ＤＶＩ（Digital Visual Interface：）−Ｉ出力やＨＤＭＩ（High-Definition Multimedia Interface：高解像度マルチメディアインターフェース）用デジタル出力とする。また、出力部６００にコーデック（Codec）を搭載すれば、デジタル信号をエンコード圧縮して、可視光画像と遠赤外光画像をそれぞれ単独で出力することもでき、更にはこれらの画像を合成した画像を出力することができる。また、可視光画像、遠赤外光画像およびこれらの合成画像の各出力である最大３本の出力を、ＩＰ網で伝送できるプロトコルに変換して、出力することができる。
【００４２】
次に、本発明の実施の形態にかかる撮像装置の動作について説明する。図５は、本発明の実施の形態にかかる撮像装置の動作フローを示す図である。
【００４３】
図５に示されるように、撮像装置１０００により被写体の撮像が開始されると、まず、被写体の反射光がレンズ１００を透過し、撮像部２００へ入射する（ステップ（以下、Ｓと称する）５０１）。このとき、レンズ１００は、少なくとも可視光線波長帯の光と、遠赤外光線波長帯の光を透過する。
【００４４】
撮像部２００は、レンズ１００を透過する光を受光し、この光を第１の画像信号と第２の画像信号に変換する（Ｓ５０２）。具体的には、可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、この光を第１の画像信号に光電変換する。また、遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、この光を第２の画像信号に光電変換する。
【００４５】
次に、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００が、撮像部２００から入力される第１の画像信号及び第２の画像信号にアナログデジタル変換を行い、各画像信号をデジタル信号に変換する（Ｓ５０３）。ここでは、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００内の各ＣＤＳ部３１０、４１０が、各画像信号の雑音を除去する。また、各ＡＧＣ部３２０、４２０が、各画像信号のゲインを調整する。そして、各Ａ／Ｄ変換部３３０、４３０が、ゲイン調整された各画像信号をデジタル信号に変換し、これらを信号処理部５００へ出力する。
【００４６】
信号処理部５００は、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００から入力される画像信号を受けて、当該信号の強弱やエッジ部を判断し、これらの判断結果などに基づいて、第１の画像信号及び第２の画像信号を用いて、出力画像データを生成する。
【００４７】
可視光線用濃度変換部５１０が第１の画像信号に対して濃度変換を行い、同時に遠赤外光線用濃度変換部５２０が第２の画像信号に対して濃度変換を行う（Ｓ５０４）。可視光線用濃度変換部５１０は、濃度変換後の第１の画像信号を可視光線用特徴抽出フィルタ部５３０と出力画像データ生成部５６０へ出力する。同様にして、遠赤外光線用濃度変換部５２０は、濃度変換後の第２の画像信号を遠赤外光線用特徴抽出フィルタ部５４０と出力画像データ生成部５６０へ出力する。
【００４８】
次に、可視光線用特徴抽出フィルタ部５３０が、濃度変換後の第１の画像信号から得られる画像データのエッジ部を抽出し、遠赤外光線用特徴抽出フィルタ部５４０が、濃度変換後の第２の画像信号から得られる画像データのエッジ部を抽出する（Ｓ５０５）。具体的には、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値を算出する。また、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値を算出する。また、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数を算出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数を算出する。可視光線用特徴抽出フィルタ部５３０及び遠赤外光線用特徴抽出フィルタ部５４０によるエッジ部の抽出結果は、エッジ比較部５５０へ出力される。
【００４９】
エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する（Ｓ５０６）。具体的には、エッジ比較部５５０は、第１のエッジ輝度微分値と、第２のエッジ輝度微分値とを比較し、比較結果を出力画像データ生成部５６０へ出力する。また、併せて、エッジ比較部５５０は、第１のエッジ個数と、第２のエッジ個数とを比較し、この比較結果を出力画像データ生成部５６０へ出力する。
【００５０】
そして、出力画像データ生成部５６０は、エッジ比較部５５０の比較結果に基づいて、出力画像データを生成する（Ｓ５０７）。
【００５１】
具体的には、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より大きいと判断したときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成する。一方、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より小さいと判断したときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。更に、エッジ比較部５５０が、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて合成した出力画像データを生成する。
【００５２】
また、エッジ比較部５５０が、第１のエッジ個数が、第２のエッジ個数より大きいときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成してもよい。逆に、エッジ比較部５５０が、第２のエッジ個数が、第１のエッジ個数より大きいときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成してもよい。更に、エッジ比較部５５０が、第１のエッジ個数と第２のエッジ個数の差分が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成してもよい。
【００５３】
最後に、出力部６００が、出力画像データ生成部５６０により生成された画像データに基づいて、表示装置（不図示）に対して画像を出力する（Ｓ５０８）。
【００５４】
以上のように、本発明の実施の形態にかかる撮像装置１０００は、レンズ１００と、可視光線用撮像部２１０と、遠赤外光線用撮像部２２０と、エッジ比較部５５０と、出力画像データ生成部５６０とを最低限の構成として有している。レンズ１００は、可視光線波長帯及び遠赤外光線波長帯の光を透過する。可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、第１の画像信号に変換する。遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、第２の画像信号に変換する。エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する。そして、出力画像データ生成部５６０は、エッジ比較部５５０による比較の結果に基づいて、第１の画像信号及び第２の画像信号から出力画像データを生成する。
【００５５】
このように、本発明では、可視光線波長帯及び遠赤外光線波長帯の光を透過するレンズ１００を設けて、このレンズ１００を透過する可視光線波長帯の光と遠赤外光線波長帯の光を第１の画像信号と第２の画像信号に変換している。これにより、可視光画像に対応した画像信号と、遠赤外光画像に対応した画像信号が得られる。また、これらの画像信号から得られる画像データのエッジ部をエッジ比較部５５０により比較することで、可視光画像または遠赤外光画像のうちで、高い解像感で視覚的に見やすい画像を識別することができる。そして、出力画像データ生成部５６０が、エッジ比較部５５０による比較の結果に基づいて、出力画像データを生成するので、可視光線波長帯用と遠赤外光線波長帯用の２台の撮像装置を用意する場合と比較して、小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供できる。
【００５６】
また、本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値と、第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値とを比較する。これにより、可視光画像のエッジ部の輝度の変化の度合いと、遠赤外光画像のエッジ部の輝度の変化の度合いを比較することができる。
【００５７】
本発明の実施の形態にかかる撮像装置１０００において、出力画像データ生成部５６０は、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より大きいと判断したとき、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成し、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より小さいと判断したとき、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。これにより、可視光画像のエッジ部の輝度の変化の度合いと、遠赤外光画像のエッジ部の輝度の変化の度合いを比較した結果、変化の度合いが大きい方の画像信号を用いて、出力画像データを生成することができる。この結果、可視光画像又は遠赤外光画像のうち、より見やすい方の画像を提供することができる。
【００５８】
例えば、可視光画像では、撮像対象である被写体との間に煙や霧などが生じると、当該被写体の外形等が不鮮明となり、被写体を検知することが難しい。したがって、この状態で撮像した画像は、解像感が低く、曇りガラス越しに被写体を見たような画像となる。一方、遠赤外光画像では、熱を感知して画像データを生成することから、煙や霧などの影響を受けにくく、可視光線用撮像部２１０によって被写体の検知できない場合であっても、熱源の感知により被写体を検知することができる。被写体の熱源が均一である場合、遠赤外光画像では、低い解像感で被写体の外形等が不鮮明となり、被写体を検知することが難しい。一方、可視光画像では、可視光を感知するので、熱源の温度の影響を受けずに、撮像ができる。このようにして、可視光線用撮像部２１０及び遠赤外光線撮像部２２０の双方の特性を活かして、出力画像データを生成することにより、被写体画像をより見やすい画像を提供することができる。
【００５９】
本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０が、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成する。これにより、可視光画像のエッジ部の輝度の変化の度合いと、遠赤外光画像のエッジ部の輝度の変化の度合いを比較した結果、変化の度合いに大きく差がない場合にも、可視光画像と遠赤外光画像の合成画像によって、見やすい画像を提供することができる。
【００６０】
本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数と、第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数とを比較する。これにより、可視光画像のエッジ部の個数と、遠赤外光画像のエッジ部の個数を比較することができる。
【００６１】
本発明の実施の形態にかかる撮像装置１０００において、出力画像データ生成部５６０は、エッジ比較部５５０が、第１のエッジ個数が第２のエッジ個数より大きいと判断したとき、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成し、エッジ比較部５５０が、第１のエッジ個数が第２のエッジ個数より小さいと判断したとき、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。これにより、可視光画像のエッジ部の個数と、遠赤外光画像のエッジ部の個数を比較した結果、エッジ部の個数が大きい方の画像信号を用いて、出力画像データを生成することができる。この結果、可視光画像又は遠赤外光画像のうち、より見やすい方の画像を提供することができる。
【００６２】
本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０が、第１のエッジ個数と第２のエッジ個数の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成する。これにより、可視光画像のエッジ部の個数と、遠赤外光画像のエッジ部の個数を比較した結果、個数に大きく差がない場合にも、可視光画像と遠赤外光画像の合成画像によって、見やすい画像を提供することができる。
【００６３】
本発明の実施の形態にかかる撮像装置１０００において、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０は、好ましくは同一の基板上に形成されている。これにより、可視光線用と遠赤外光線用の撮像部を別々に製造する場合と比較して、より簡単に撮像装置１０００を製造できる。
【００６４】
また、好ましくは、可視光線用撮像部及び遠赤外光線用撮像部は、互いに交互にマトリックス状に配列されている。このように、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０を、互いに交互にマトリックス状に配列することで、撮像部２００に均一に配置することによって、可視光線用の撮像部２１０により撮像された可視光画像と、遠赤外光線用撮像部２２０により撮像された遠赤外光画像を、同一の画角で取得することができる。この結果、可視光画像と遠赤外光画像を簡単に合成することができる。
【００６５】
特に、可視光線波長帯用の撮像装置により撮像された可視光画像と、遠赤外光線波長帯用の撮像装置により撮像された遠赤外光画像とを合成したい場合などに様々な問題が生じていた。可視光画像と遠赤外光画像とを合成するには、光学的に合わせる方法と、電気的に合わせる方法が知られている。
【００６６】
しかし、光学的に合わせる方法によれば、各撮像装置のレンズの画角（ズーム・フォーカス）を合わせる必要がある。このため、各撮像装置により撮像された被写体画像のデータ出力を外部の画像処理装置で検出したうえで、その結果を外部の光学制御装置によりフィードバックさせるなど、複数の外部装置間で連係を要することになり、制御が煩雑になるという問題があった。
【００６７】
また、電気的に合わせる方法によれば、各撮像装置から出力された画像から、双方のレンズの画角内の重複領域の画像を切り出すために、外部の画像処理装置を設ける必要があり、この外部の画像処理装置による処理が複雑で順次の処理が難しいなどの問題があった。
【００６８】
本発明では、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０の配列方法を工夫することにより、可視光画像と遠赤外光画像を同一の画角で取得するようにした。このため、前述したような外部の光学制御装置の制御や処理の問題を生じさせることなく、可視光画像と遠赤外光画像を簡単に合成することができる。
【００６９】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述各実施の形態に対して、さまざまな変更、増減、組合せを加えてもよい。これらの変更、増減、組合せが加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００７０】
１００ レンズ
２００ 撮像部
２１０ 可視光線用撮像部
２２０ 遠赤外光線用撮像部
３００ 可視光線用ＡＦＥ部
４００ 遠赤外光線用ＡＦＥ部
５００ 信号処理部
５１０ 可視光線用濃度変換部
５２０ 遠赤外光線用濃度変換部
５３０ 可視光線用特徴抽出フィルタ部
５４０ 遠赤外光線用特徴抽出フィルタ部
５５０ エッジ比較部
５６０ 出力画像データ生成部
６００ 出力部
１０００ 撮像装置
【技術分野】
【０００１】
本発明は、例えばデジタルカメラや、デジタルビデオカメラ、監視カメラなどの撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラや、デジタルビデオカメラ、監視カメラなどの撮像装置は、用途に応じて、様々な種類に展開されている。例えば、一般的なカメラのように可視光線波長帯の光に対応した撮像装置や、夜間監視用のカメラのように遠赤外線波長帯に対応した撮像装置が知られている。
【０００３】
このとき、各撮像装置は、被写体からの反射光の波長帯に応じて、レンズの材料を変更する必要がある。すなわち、可視光線波長帯の光に対応した撮像装置では、例えば透明ガラス材のレンズを用いればよい。透明ガラス材は、可視光線波長帯の光を透過するが、遠赤外線波長帯の光を透過しない特性を有する。透明ガラス材の原料には、例えば珪石、硼酸、酸化ランタン、酸化ガドリニウム、酸化ニオブ、酸化ジルコニウム、バリウム、カリウムなど、不純物の少ない高純度なものが使用される。一方、遠赤外線波長帯の光に対応した撮像装置では、例えばゲルマニウム（元素記号：Ｇｅ）などの特殊な材料を用いる必要がある。ゲルマニウムは、遠赤外線波長帯の光を透過するが、可視光線波長帯の光を透過しない特性を有する。
【０００４】
このように、被写体からの反射光の波長帯に対応したレンズを設けて、可視光線波長帯用の撮像装置と、遠赤外光線波長帯用の撮像装置をそれぞれ別個に構成していた。そして、可視光線波長帯用の撮像装置と、遠赤外光線波長帯用の撮像装置とが、用途に応じて、別々に消費者に提供されてきた。
【０００５】
一方、近年、例えば、昼夜問わず稼働する監視カメラのように、撮像環境が明るいときには可視光線波長帯で被写体を撮像し、撮像環境が暗いときや、煙や霧などによって視界が悪いときなどには遠赤外線波長帯で被写体を撮像することができる撮像装置が、要求されている。この場合、例えば、可視光線波長帯用と遠赤外光線波長帯用の２台の撮像装置を用意して、同じ場所に配置すればよい。
【０００６】
なお、特許文献１には、本発明の参考技術として、可視光域から遠赤外域に感度を有する撮像素子が開示されている。また、特許文献２には、可視光用と赤外光用とに切り換えられるように構成された撮像素子が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０４９７８号公報
【特許文献２】特開２００９−１４５５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、可視光線波長帯用と遠赤外光線波長帯用の２台の撮像装置を用意する場合、撮像装置ごとにレンズや撮像素子を設ける必要があった。また、各撮像装置による撮像画像を合成する場合に、様々な調整を必要とされていた。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供できる技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、可視光線波長帯及び遠赤外光線波長帯の光を透過するレンズと、前記レンズを透過する前記可視光線波長帯の光を受光して、第１の画像信号に変換する可視光線用撮像部と、前記レンズを透過する前記遠赤外光線波長帯の光を受光して、第２の画像信号に変換する遠赤外光線用撮像部と、前記第１の画像信号から得られる画像データのエッジ部と、前記第２の画像信号から得られる画像データのエッジ部とを比較するエッジ比較部と、前記エッジ比較部による比較の結果に基づいて、前記第１の画像信号及び前記第２の画像信号から前記出力画像データを生成する出力画像データ生成部とを備えている。
【発明の効果】
【００１１】
本発明にかかる技術によれば、小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態にかかる撮像装置の構成を示す図である。
【図２】レンズの透過率の一例を示す図である。
【図３】撮像部の構成の一例を示す図である。
【図４】可視光線用ＡＦＥ部及び遠赤外光線用ＡＦＥ部の内部構成と、周辺の構成要素との関係を示す図である。
【図５】本発明の実施の形態にかかる撮像装置の動作フローを示す図である。
【発明を実施するための形態】
【００１３】
＜実施の形態＞
図１は、本発明の実施の形態にかかる撮像装置の構成を示す図である。図１に示されるように、撮像装置１０００は、レンズ１００と、撮像部２００と、可視光線用ＡＦＥ部３００と、遠赤外光線用ＡＦＥ部４００と、信号処理部５００と、出力部６００とを含んで構成されている。
【００１４】
レンズ１００は、少なくとも可視光線波長帯及び遠赤外光線波長帯の光を透過するように形成されている。また、レンズ１００は、撮像装置１０００の被写体の反射光を結像する。図２は、レンズ１００の透過率の一例を示す図である。ここでは、レンズ１００の材料にフッ化バリウム（ＢａＦ２）を用いたものを例示している。図２に示されるように、少なくとも可視光線波長帯域の０．３６μｍ〜０．８３μｍ（日本標準規格ＪＩＳ Ｚ８１２０に準拠）と、遠赤外光線波長帯域の約７μｍ〜約１６μｍのうち、約７μｍ〜１０μｍの帯域で、透過率８５％を超えている。なお、レンズ１００の材料には、フッ化バリウム（ＢａＦ２）以外に、フッ化カルシウム（ＣａＦ２）や、臭化カリウム（ＫＢｒ）や、塩化ナトリウム（ＮａＣｌ）などを用いてもよい。また、ポリエチレンや、硫化亜鉛［ジンクセレン］ＡＲ（Anti Reflection）コート（ＺｎＳｅ）などを用いてもよい。
【００１５】
図１に戻って、撮像部２００は、可視光線用撮像部２１０と、遠赤外光線用撮像部２２０とを有している。可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、この光を第１の画像信号に光電変換する。可視光線用撮像部２１０の一例として、ＣＣＤ（Charge Coupled Device）を用いることができる。ＣＣＤは、画像を画像信号に変換する際に、電荷結合素子と呼ばれる回路素子を用いて、受光素子が光から発生した電荷を読み出すために転送を行う。ＣＣＤは、ＭＯＳ構造半導体素子の一種で、シリコン基板表面の酸化膜上に多数の電極を設け、各電極に隣同士で異なる電圧を与えることによりポテンシャルウェルを作り出し、これを利用して電荷を保持できるようにしたものである。ＣＣＤでは、各電極に加える電圧を適切に制御することにより各素子の電荷が隣の素子にいっせいに転送される。これにより各素子が保持する画素ごとの電荷をバケツリレー式に順次外部に取り出すことができる。この性質を利用して一列の端から入力した電荷を素子数分の転送回数に相当する遅延を持たせて反対側の端から取り出せば、遅延線（ディレイライン）として動作させることができる。
【００１６】
遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、これを第２の画像信号に光電変換する。遠赤外光線用撮像部２２０の一例として、マイクロボロメータを用いることができる。このマイクロボロメータは、マイクロボロメータと呼ばれる特殊な赤外線検出素子で構成されており、この素子を用いて遠赤外線を検出する。
【００１７】
図３は、撮像部２００の構成の一例を示す図である。図３（ａ）は、撮像部２００の平面図であり、図３（ｂ）はＡ部の拡大平面図である。図３（ｂ）に示されるように、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０は、互いに交互にマトリックス状に配列されている。このように、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０を撮像部２００の集光面に均一に配置することによって、可視光線用の撮像部２１０により撮像された可視光画像と、遠赤外光線用撮像部２２０により撮像された遠赤外光画像を、同一の画角で取得することができる。この結果、可視光画像と遠赤外光画像を簡単に合成することができる。なお、図３で示した例は、撮像部２００の一例であって、これに限定されない。すなわち、図３の例では、最も好ましい態様として、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０をマトリックス状に配列するとしたが、本発明では、レンズ１００からの入射光を結像できる範囲であれば、可視光線用撮像部２１０と遠赤外光線用撮像部２２０をマトリクス状に配置する形態に限定されない。
【００１８】
可視光線用ＡＦＥ（Analog Front End）部３００は、可視光線用撮像部２１０により生成される第１の画像信号を、アナログ信号からデジタル信号へ変換する。また、遠赤外光線用ＡＦＥ部４００は、遠赤外光線用撮像部２２０により生成される第２の画像信号を、アナログ信号からデジタル信号へ変換する。
【００１９】
ここで、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００の構成について詳細に説明する。図４は、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００の内部構成と、周辺の構成要素との関係を示す図である。
【００２０】
図４に示されるように、可視光線用ＡＦＥ部３００は、ＣＤＳ（Correlated Double Sampling）部３１０と、ＡＧＣ（Automatic Gain Control）部３２０と、Ａ／Ｄ（Analog to Digital）変換部３３０とを有している。同様に、遠赤外光線用ＡＦＥ部４００は、ＣＤＳ部４１０と、ＡＧＣ部４２０と、Ａ／Ｄ変換部４３０とを有している。
【００２１】
ＣＤＳ部３１０は、可視光線用撮像部２１０から入力される第１の画像信号の雑音を除去するための回路である。同様に、遠赤外光線用撮像部２２０から入力される第２の画像信号の雑音を除去するための回路である。ＣＤＳ部３１０、４１０は、相関二重サンプリング法に基づいて構成されている。
【００２２】
具体的には、ＣＤＳ部３１０は、２つのクランクパルスを有しており、１つ目のクランクパルスで第１の画像信号のフィールドスルー期間をクランプし、２つ目のクランクパスで、第１の画像信号の信号期間をクランプする。そして、ＣＤＳ部３１０は、１つ目のクランプパルスでクランプされた電圧と、２つ目のクランクパルスでクランプされた電圧の差分を取り出し、第１の画像信号中の余計な雑音を除去する。同様にして、ＣＤＳ部４１０も、２つのクランクパルスを有しており、１つ目のクランクパルスで第２の画像信号のフィールドスルー期間をクランプし、２つ目のクランクパルスで、第２の画像信号の信号期間をクランプする。ＣＤＳ部４１０は、１つ目のクランプパルスでクランプされた電圧と、２つ目のクランクパスでクランプされた電圧の差分を取り出し、第２の画像信号中の余計な雑音を除去する。
【００２３】
ＡＧＣ部３２０、４２０は、撮像装置１０００の制御部（不図示）の制御により制御され、第１の画像信号及び第２の画像信号のゲインをプログラマブルに変更する。具体的には、ＡＧＣ部３２０、４２０は、ＣＤＳ部３１０、４１０により処理された各画像信号の成分をゲイン調整する。これにより、２次元で撮像された被写体画像全体の輝度を調整することができる。例えば、ゲインを下げれば暗い絵柄の画像となり、ゲインを上げれば明るい絵柄の画像となる。ＡＧＣ部３２０、４２０は、プログラマブルにゲインを調整することにより、画像全体の輝度バランスをとり、見やすい図柄の画像を生成する。
【００２４】
Ａ／Ｄ変換部３３０、４３０は、ＡＧＣ部３２０、４２０によりゲイン調整された各画像信号をデジタル信号に変換する。このとき、Ａ／Ｄ変換部３３０、４３０は、信号処理部５００のインターフェイスに合わせて、各画像信号をアナログデジタル変換する。撮像部２００から出力された各画像信号をデジタル化することにより、信号処理部５００での信号処理を容易にすることができる。
【００２５】
なお、図３に示されるように、タイミングジェネレータ部７００が、可視光線用撮像部２１０、遠赤外光線用撮像部２２０、ＣＤＳ部３１０、４１０、ＡＧＣ部３２０、４２０、Ａ／Ｄ変換部３３０、４３０及び信号処理部５００に接続されている。このタイミングジェネレータ部７００は、各部の処理のタイミング信号や、撮像部２００を駆動する基準信号を出力する。タイミングジェネレータ部７００は、前記ＣＤＳ部３１０、４１０のクランクパルスも出力する。
【００２６】
図１に戻って、信号処理部５００は、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００から入力される画像信号（二次元画像のデジタル信号）を受けて、当該信号の強弱やエッジ部を判断し、これらの判断結果などに基づいて第１の画像信号および第２の画像信号を用いて出力画像データを生成する。信号処理部５００は、可視光線用濃度変換部５１０と、遠赤外光線用濃度変換部５２０と、可視光線用特徴抽出フィルタ部５３０と、遠赤外光線用特徴抽出フィルタ部５４０と、エッジ比較部５５０と、出力画像データ生成部５６０とを含んで構成されている。以下に、信号処理部５００内の各構成について説明する。
【００２７】
可視光線用濃度変換部５１０は、可視光線用ＡＦＥ部３００から出力される第１の画像信号に対して、画像解析の前処理として濃度変換を行う。また、可視光線用濃度変換部５１０は、濃度変換後の第１の画像信号を可視光線用特徴抽出フィルタ部５３０と出力画像データ生成部５６０へ出力する。同様にして、遠赤外光線用濃度変換部５２０は、遠赤外光線用ＡＦＥ部４００から出力される第２の画像信号に対して、画像解析の前処理として濃度変換を行う。また、遠赤外光線用濃度変換部５２０は、濃度変換後の第２の画像信号を遠赤外光線用特徴抽出フィルタ部５４０と出力画像データ生成部５６０へ出力する。
【００２８】
ここで、濃度変換とは、コントラストの改善をするもので、濃度分布の偏りや、ある範囲に集中している信号を改善するものである。すなわち、可視光線用濃度変換部５１０及び遠赤外光線用濃度変換部５２０は、例えば暗すぎる画像を明るくする処理を行い、明るすぎる画像を暗くする処理を行う。濃度変換処理では、同じ輝度値を有する画素を抽出することにより、画像の輝度分布がどのようになっているかを識別する。また、例えば撮像装置１０００のダイナミックレンジが２４６階調であるのに対して、第１または第２の画像信号で得られる画像が１２８階調しかなかった場合には、撮像装置１０００のダイナミックレンジを最大限に有効活用できるように、第１または第２の画像信号に対して２４６階調の画像に対応させる補正処理を行う。なお、可視光線用濃度変換部５１０及び遠赤外光線用濃度変換部５２０は、線形、非線形にかかわらず、濃度変換を行うことができる。
【００２９】
可視光線用特徴抽出フィルタ部５３０は、可視光線用濃度変換部５１０により濃度変換処理が施された第１の画像信号から得られる画像データのエッジ部（境界）を抽出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、遠赤外光線用濃度変換部５２０により濃度変換処理が施された第２の画像信号から得られる画像データのエッジ部（境界）を抽出する。
【００３０】
ここで、画像内で、輝度値、色、模様（テクスチャ）などの特徴が互いに類似する部分を、１つの画像領域とする。このとき、エッジ部（境界）とは、ある画像領域と、これに隣接する画像領域の間の境目をいう。可視光線用特徴抽出フィルタ部５３０及び遠赤外光線用特徴抽出フィルタ部５４０は、例えば、入力される画像信号を微分することにより、エッジ部を抽出する。
【００３１】
この微分処理では、微分フィルタを用いて、低い周波数成分（領域）を削除する処理を行う。微分フィルタには、１次微分フィルタ、２次微分フィルタがある。１次微分フィルタには、例えば、ＲｏｂｅｒｔｓフィルタやＰｒｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ、線検出フィルタなどを用いることができる。２次微分フィルタには、例えば、Ｌａｐｌａｃｉａｎフィルタなどを用いることができる。
【００３２】
このような微分処理の中で、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値を算出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値を算出する。
【００３３】
また、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数を算出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数を算出する。
【００３４】
可視光線用特徴抽出フィルタ部５３０または遠赤外光線用特徴抽出フィルタ部５４０により算出された第１または第２のエッジ輝度微分値と、エッジ部周縁の領域の輝度の微分値との差分値が大きい程、エッジ部（境界）が明瞭に存在することになる。また、前記差分値が大きい箇所が多い程、エッジ部が多くなり、細かなディテールが再現されている画像と言える。エッジ部が明瞭となる画像信号や、エッジ部の数が多い画像信号に基づいて生成される画像は、高い解像感で見やすい画像となる。エッジ部の個数の算出では、例えば、第１または第２のエッジ輝度微分値と、エッジ部周縁の領域の輝度の微分値との差分値にしきい値を設けて、前記差分値が所定のしきい値以上である場合に、エッジ部としてカウントするようにする。
【００３５】
エッジ比較部５５０は、可視光線用特徴抽出フィルタ部５３０により入力される情報と、遠赤外光線用特徴抽出フィルタ部５４０により入力される情報とを比較する。具体的には、エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する。すなわち、エッジ比較部５５０は、第１のエッジ輝度微分値と、第２のエッジ輝度微分値とを比較し、比較結果を出力画像データ生成部５６０へ出力する。また、併せて、エッジ比較部５５０は、第１のエッジ個数と、第２のエッジ個数とを比較し、この比較結果を出力画像データ生成部５６０へ出力する。
【００３６】
出力画像データ生成部５６０は、エッジ比較部５５０による比較結果に基づいて、第１の画像信号及び第２の画像信号から出力画像データを生成する。ここでの第１及び第２の画像信号は、可視光線用濃度変換部５１０及び遠赤外光線用濃度変換部５２０により濃度変換されたものを用いる。
【００３７】
そして、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より大きいと判断したときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成する。一方、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より小さいと判断したときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。このように、出力画像データ生成部５６０が、第１又は第２の画像信号から得られる画像のうち、エッジ輝度微分値が大きい方の画像信号を用いて、出力画像データを生成するので、撮像装置１０００の利用者に対して、高い解像感で、視覚的に見やすい画像を提供することができる。
【００３８】
更に、例えば、第１の画像信号と第２の画像信号との間で、エッジ輝度微分値の差が小さい場合などは、出力画像データ生成部５６０は、第１の画像信号又は第２の画像信号のいずれかを選ぶのではなく、両画像信号を合成して出力画像データを生成する。すなわち、エッジ比較部５５０が、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて合成した出力画像データを生成する。このように、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値のしきい値を自由に設定できるようにすることにより、被写体の特性に合わせた出力画像データを生成することができる。このとき、第１の画像信号又は第２の画像信号に対して、重み付けもすることができる。
【００３９】
また、エッジ比較部５５０が、第１のエッジ個数が、第２のエッジ個数より大きいときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成してもよい。逆に、エッジ比較部５５０が、第２のエッジ個数が、第１のエッジ個数より大きいときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成してもよい。このように、出力画像データ生成部５６０が、第１又は第２の画像信号から得られる画像のうち、エッジ部の個数の多い方の画像信号を用いて、出力画像データを生成するので、撮像装置１０００の利用者に対して、視覚的に見やすい画像を提供することができる。
【００４０】
また、エッジ比較部５５０が、第１のエッジ個数と第２のエッジ個数の差分が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成してもよい。このように、第１のエッジ個数と第２のエッジ個数の差分値のしきい値を自由に設定できるようにすることにより、被写体の特性に合わせた出力画像データを生成することができる。このとき、第１の画像信号又は第２の画像信号に対して、重み付けもすることができる。
【００４１】
図１に戻って、出力部６００は、出力画像データ生成部５６０により生成された出力画像データに基づいて、例えばモニタなどの表示装置（不図示）に対して画像を出力する。具体的には、出力部６００は、出力画像データに対して解像度変換などを行った後、画像を表示部へ出力する。出力部６００の出力信号は、アナログ表示装置用の場合、ＮＴＳＣ（National Television System Committee：全米テレビジョン放送方式標準化委員会）出力やＲＧＢ出力用アナログ出力とし、デジタル表示装置用の場合、ＤＶＩ（Digital Visual Interface：）−Ｉ出力やＨＤＭＩ（High-Definition Multimedia Interface：高解像度マルチメディアインターフェース）用デジタル出力とする。また、出力部６００にコーデック（Codec）を搭載すれば、デジタル信号をエンコード圧縮して、可視光画像と遠赤外光画像をそれぞれ単独で出力することもでき、更にはこれらの画像を合成した画像を出力することができる。また、可視光画像、遠赤外光画像およびこれらの合成画像の各出力である最大３本の出力を、ＩＰ網で伝送できるプロトコルに変換して、出力することができる。
【００４２】
次に、本発明の実施の形態にかかる撮像装置の動作について説明する。図５は、本発明の実施の形態にかかる撮像装置の動作フローを示す図である。
【００４３】
図５に示されるように、撮像装置１０００により被写体の撮像が開始されると、まず、被写体の反射光がレンズ１００を透過し、撮像部２００へ入射する（ステップ（以下、Ｓと称する）５０１）。このとき、レンズ１００は、少なくとも可視光線波長帯の光と、遠赤外光線波長帯の光を透過する。
【００４４】
撮像部２００は、レンズ１００を透過する光を受光し、この光を第１の画像信号と第２の画像信号に変換する（Ｓ５０２）。具体的には、可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、この光を第１の画像信号に光電変換する。また、遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、この光を第２の画像信号に光電変換する。
【００４５】
次に、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００が、撮像部２００から入力される第１の画像信号及び第２の画像信号にアナログデジタル変換を行い、各画像信号をデジタル信号に変換する（Ｓ５０３）。ここでは、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００内の各ＣＤＳ部３１０、４１０が、各画像信号の雑音を除去する。また、各ＡＧＣ部３２０、４２０が、各画像信号のゲインを調整する。そして、各Ａ／Ｄ変換部３３０、４３０が、ゲイン調整された各画像信号をデジタル信号に変換し、これらを信号処理部５００へ出力する。
【００４６】
信号処理部５００は、可視光線用ＡＦＥ部３００及び遠赤外光線用ＡＦＥ部４００から入力される画像信号を受けて、当該信号の強弱やエッジ部を判断し、これらの判断結果などに基づいて、第１の画像信号及び第２の画像信号を用いて、出力画像データを生成する。
【００４７】
可視光線用濃度変換部５１０が第１の画像信号に対して濃度変換を行い、同時に遠赤外光線用濃度変換部５２０が第２の画像信号に対して濃度変換を行う（Ｓ５０４）。可視光線用濃度変換部５１０は、濃度変換後の第１の画像信号を可視光線用特徴抽出フィルタ部５３０と出力画像データ生成部５６０へ出力する。同様にして、遠赤外光線用濃度変換部５２０は、濃度変換後の第２の画像信号を遠赤外光線用特徴抽出フィルタ部５４０と出力画像データ生成部５６０へ出力する。
【００４８】
次に、可視光線用特徴抽出フィルタ部５３０が、濃度変換後の第１の画像信号から得られる画像データのエッジ部を抽出し、遠赤外光線用特徴抽出フィルタ部５４０が、濃度変換後の第２の画像信号から得られる画像データのエッジ部を抽出する（Ｓ５０５）。具体的には、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値を算出する。また、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値を算出する。また、可視光線用特徴抽出フィルタ部５３０は、第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数を算出する。同様に、遠赤外光線用特徴抽出フィルタ部５４０は、第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数を算出する。可視光線用特徴抽出フィルタ部５３０及び遠赤外光線用特徴抽出フィルタ部５４０によるエッジ部の抽出結果は、エッジ比較部５５０へ出力される。
【００４９】
エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する（Ｓ５０６）。具体的には、エッジ比較部５５０は、第１のエッジ輝度微分値と、第２のエッジ輝度微分値とを比較し、比較結果を出力画像データ生成部５６０へ出力する。また、併せて、エッジ比較部５５０は、第１のエッジ個数と、第２のエッジ個数とを比較し、この比較結果を出力画像データ生成部５６０へ出力する。
【００５０】
そして、出力画像データ生成部５６０は、エッジ比較部５５０の比較結果に基づいて、出力画像データを生成する（Ｓ５０７）。
【００５１】
具体的には、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より大きいと判断したときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成する。一方、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より小さいと判断したときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。更に、エッジ比較部５５０が、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて合成した出力画像データを生成する。
【００５２】
また、エッジ比較部５５０が、第１のエッジ個数が、第２のエッジ個数より大きいときには、出力画像データ生成部５６０は、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成してもよい。逆に、エッジ比較部５５０が、第２のエッジ個数が、第１のエッジ個数より大きいときには、出力画像データ生成部５６０は、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成してもよい。更に、エッジ比較部５５０が、第１のエッジ個数と第２のエッジ個数の差分が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成してもよい。
【００５３】
最後に、出力部６００が、出力画像データ生成部５６０により生成された画像データに基づいて、表示装置（不図示）に対して画像を出力する（Ｓ５０８）。
【００５４】
以上のように、本発明の実施の形態にかかる撮像装置１０００は、レンズ１００と、可視光線用撮像部２１０と、遠赤外光線用撮像部２２０と、エッジ比較部５５０と、出力画像データ生成部５６０とを最低限の構成として有している。レンズ１００は、可視光線波長帯及び遠赤外光線波長帯の光を透過する。可視光線用撮像部２１０は、レンズ１００を透過する可視光線波長帯の光を受光して、第１の画像信号に変換する。遠赤外光線用撮像部２２０は、レンズ１００を透過する遠赤外光線波長帯の光を受光して、第２の画像信号に変換する。エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部と、第２の画像信号から得られる画像データのエッジ部とを比較する。そして、出力画像データ生成部５６０は、エッジ比較部５５０による比較の結果に基づいて、第１の画像信号及び第２の画像信号から出力画像データを生成する。
【００５５】
このように、本発明では、可視光線波長帯及び遠赤外光線波長帯の光を透過するレンズ１００を設けて、このレンズ１００を透過する可視光線波長帯の光と遠赤外光線波長帯の光を第１の画像信号と第２の画像信号に変換している。これにより、可視光画像に対応した画像信号と、遠赤外光画像に対応した画像信号が得られる。また、これらの画像信号から得られる画像データのエッジ部をエッジ比較部５５０により比較することで、可視光画像または遠赤外光画像のうちで、高い解像感で視覚的に見やすい画像を識別することができる。そして、出力画像データ生成部５６０が、エッジ比較部５５０による比較の結果に基づいて、出力画像データを生成するので、可視光線波長帯用と遠赤外光線波長帯用の２台の撮像装置を用意する場合と比較して、小型かつ簡単な構成で、昼夜や撮像環境を問わず、見やすい画像を提供できる。
【００５６】
また、本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値と、第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値とを比較する。これにより、可視光画像のエッジ部の輝度の変化の度合いと、遠赤外光画像のエッジ部の輝度の変化の度合いを比較することができる。
【００５７】
本発明の実施の形態にかかる撮像装置１０００において、出力画像データ生成部５６０は、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より大きいと判断したとき、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成し、エッジ比較部５５０が、第１のエッジ輝度微分値が第２のエッジ輝度微分値より小さいと判断したとき、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。これにより、可視光画像のエッジ部の輝度の変化の度合いと、遠赤外光画像のエッジ部の輝度の変化の度合いを比較した結果、変化の度合いが大きい方の画像信号を用いて、出力画像データを生成することができる。この結果、可視光画像又は遠赤外光画像のうち、より見やすい方の画像を提供することができる。
【００５８】
例えば、可視光画像では、撮像対象である被写体との間に煙や霧などが生じると、当該被写体の外形等が不鮮明となり、被写体を検知することが難しい。したがって、この状態で撮像した画像は、解像感が低く、曇りガラス越しに被写体を見たような画像となる。一方、遠赤外光画像では、熱を感知して画像データを生成することから、煙や霧などの影響を受けにくく、可視光線用撮像部２１０によって被写体の検知できない場合であっても、熱源の感知により被写体を検知することができる。被写体の熱源が均一である場合、遠赤外光画像では、低い解像感で被写体の外形等が不鮮明となり、被写体を検知することが難しい。一方、可視光画像では、可視光を感知するので、熱源の温度の影響を受けずに、撮像ができる。このようにして、可視光線用撮像部２１０及び遠赤外光線撮像部２２０の双方の特性を活かして、出力画像データを生成することにより、被写体画像をより見やすい画像を提供することができる。
【００５９】
本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０が、第１のエッジ輝度微分値と第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成する。これにより、可視光画像のエッジ部の輝度の変化の度合いと、遠赤外光画像のエッジ部の輝度の変化の度合いを比較した結果、変化の度合いに大きく差がない場合にも、可視光画像と遠赤外光画像の合成画像によって、見やすい画像を提供することができる。
【００６０】
本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０は、第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数と、第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数とを比較する。これにより、可視光画像のエッジ部の個数と、遠赤外光画像のエッジ部の個数を比較することができる。
【００６１】
本発明の実施の形態にかかる撮像装置１０００において、出力画像データ生成部５６０は、エッジ比較部５５０が、第１のエッジ個数が第２のエッジ個数より大きいと判断したとき、第１の画像信号を用い、第２の画像信号を用いずに、出力画像データを生成し、エッジ比較部５５０が、第１のエッジ個数が第２のエッジ個数より小さいと判断したとき、第２の画像信号を用い、第１の画像信号を用いずに、出力画像データを生成する。これにより、可視光画像のエッジ部の個数と、遠赤外光画像のエッジ部の個数を比較した結果、エッジ部の個数が大きい方の画像信号を用いて、出力画像データを生成することができる。この結果、可視光画像又は遠赤外光画像のうち、より見やすい方の画像を提供することができる。
【００６２】
本発明の実施の形態にかかる撮像装置１０００において、エッジ比較部５５０が、第１のエッジ個数と第２のエッジ個数の差分値が所定値以下であると判断したとき、第１の画像信号及び第２の画像信号の双方を用いて、出力画像データを生成する。これにより、可視光画像のエッジ部の個数と、遠赤外光画像のエッジ部の個数を比較した結果、個数に大きく差がない場合にも、可視光画像と遠赤外光画像の合成画像によって、見やすい画像を提供することができる。
【００６３】
本発明の実施の形態にかかる撮像装置１０００において、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０は、好ましくは同一の基板上に形成されている。これにより、可視光線用と遠赤外光線用の撮像部を別々に製造する場合と比較して、より簡単に撮像装置１０００を製造できる。
【００６４】
また、好ましくは、可視光線用撮像部及び遠赤外光線用撮像部は、互いに交互にマトリックス状に配列されている。このように、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０を、互いに交互にマトリックス状に配列することで、撮像部２００に均一に配置することによって、可視光線用の撮像部２１０により撮像された可視光画像と、遠赤外光線用撮像部２２０により撮像された遠赤外光画像を、同一の画角で取得することができる。この結果、可視光画像と遠赤外光画像を簡単に合成することができる。
【００６５】
特に、可視光線波長帯用の撮像装置により撮像された可視光画像と、遠赤外光線波長帯用の撮像装置により撮像された遠赤外光画像とを合成したい場合などに様々な問題が生じていた。可視光画像と遠赤外光画像とを合成するには、光学的に合わせる方法と、電気的に合わせる方法が知られている。
【００６６】
しかし、光学的に合わせる方法によれば、各撮像装置のレンズの画角（ズーム・フォーカス）を合わせる必要がある。このため、各撮像装置により撮像された被写体画像のデータ出力を外部の画像処理装置で検出したうえで、その結果を外部の光学制御装置によりフィードバックさせるなど、複数の外部装置間で連係を要することになり、制御が煩雑になるという問題があった。
【００６７】
また、電気的に合わせる方法によれば、各撮像装置から出力された画像から、双方のレンズの画角内の重複領域の画像を切り出すために、外部の画像処理装置を設ける必要があり、この外部の画像処理装置による処理が複雑で順次の処理が難しいなどの問題があった。
【００６８】
本発明では、可視光線用撮像部２１０及び遠赤外光線用撮像部２２０の配列方法を工夫することにより、可視光画像と遠赤外光画像を同一の画角で取得するようにした。このため、前述したような外部の光学制御装置の制御や処理の問題を生じさせることなく、可視光画像と遠赤外光画像を簡単に合成することができる。
【００６９】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述各実施の形態に対して、さまざまな変更、増減、組合せを加えてもよい。これらの変更、増減、組合せが加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００７０】
１００ レンズ
２００ 撮像部
２１０ 可視光線用撮像部
２２０ 遠赤外光線用撮像部
３００ 可視光線用ＡＦＥ部
４００ 遠赤外光線用ＡＦＥ部
５００ 信号処理部
５１０ 可視光線用濃度変換部
５２０ 遠赤外光線用濃度変換部
５３０ 可視光線用特徴抽出フィルタ部
５４０ 遠赤外光線用特徴抽出フィルタ部
５５０ エッジ比較部
５６０ 出力画像データ生成部
６００ 出力部
１０００ 撮像装置
【特許請求の範囲】
【請求項１】
可視光線波長帯及び遠赤外光線波長帯の光を透過するレンズと、
前記レンズを透過する前記可視光線波長帯の光を受光して、第１の画像信号に変換する可視光線用撮像部と、
前記レンズを透過する前記遠赤外光線波長帯の光を受光して、第２の画像信号に変換する遠赤外光線用撮像部と、
前記第１の画像信号から得られる画像データのエッジ部と、前記第２の画像信号から得られる画像データのエッジ部とを比較するエッジ比較部と、
前記エッジ比較部による比較結果に基づいて、前記第１の画像信号及び前記第２の画像信号から前記出力画像データを生成する出力画像データ生成部とを備えた撮像装置。
【請求項２】
前記エッジ比較部は、前記第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値と、前記第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値とを比較する請求項１に記載の撮像装置。
【請求項３】
前記出力画像データ生成部は、
前記エッジ比較部が、前記第１のエッジ輝度微分値が前記第２のエッジ輝度微分値より大きいと判断したとき、前記第１の画像信号を用い、前記第２の画像信号を用いずに、前記出力画像データを生成し、
前記エッジ比較部が、前記第１のエッジ輝度微分値が前記第２のエッジ輝度微分値より小さいと判断したとき、前記第２の画像信号を用い、前記第１の画像信号を用いずに、前記出力画像データを生成する請求項２に記載の撮像装置。
【請求項４】
前記エッジ比較部が、前記第１のエッジ輝度微分値と前記第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、前記第１の画像信号及び前記第２の画像信号の双方を用いて、前記出力画像データを生成する請求項２または３に記載の撮像装置。
【請求項５】
前記エッジ比較部は、前記第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数と、前記第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数とを比較する請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記出力画像データ生成部は、
前記エッジ比較部が、前記第１のエッジ個数が前記第２のエッジ個数より大きいと判断したとき、前記第１の画像信号を用い、前記第２の画像信号を用いずに、前記出力画像データを生成し、
前記エッジ比較部が、前記第１のエッジ個数が前記第２のエッジ個数より小さいと判断したとき、前記第２の画像信号を用い、前記第１の画像信号を用いずに、前記出力画像データを生成する請求項５に記載の撮像装置。
【請求項７】
前記エッジ比較部が、前記第１のエッジ個数と前記第２のエッジ個数の差分値が所定値以下であると判断したとき、前記第１の画像信号及び前記第２の画像信号の双方を用いて、前記出力画像データを生成する請求項５または６に記載の撮像装置。
【請求項８】
前記可視光線用撮像部及び前記遠赤外光線用撮像部は、同一の基板上に形成された請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記可視光線用撮像部及び前記遠赤外光線用撮像部は、互いに交互にマトリックス状に配列されている請求項８に記載の撮像装置。
【請求項１】
可視光線波長帯及び遠赤外光線波長帯の光を透過するレンズと、
前記レンズを透過する前記可視光線波長帯の光を受光して、第１の画像信号に変換する可視光線用撮像部と、
前記レンズを透過する前記遠赤外光線波長帯の光を受光して、第２の画像信号に変換する遠赤外光線用撮像部と、
前記第１の画像信号から得られる画像データのエッジ部と、前記第２の画像信号から得られる画像データのエッジ部とを比較するエッジ比較部と、
前記エッジ比較部による比較結果に基づいて、前記第１の画像信号及び前記第２の画像信号から前記出力画像データを生成する出力画像データ生成部とを備えた撮像装置。
【請求項２】
前記エッジ比較部は、前記第１の画像信号から得られる画像データのエッジ部の輝度の微分値である第１のエッジ輝度微分値と、前記第２の画像信号から得られる画像データのエッジ部の輝度の微分値である第２のエッジ輝度微分値とを比較する請求項１に記載の撮像装置。
【請求項３】
前記出力画像データ生成部は、
前記エッジ比較部が、前記第１のエッジ輝度微分値が前記第２のエッジ輝度微分値より大きいと判断したとき、前記第１の画像信号を用い、前記第２の画像信号を用いずに、前記出力画像データを生成し、
前記エッジ比較部が、前記第１のエッジ輝度微分値が前記第２のエッジ輝度微分値より小さいと判断したとき、前記第２の画像信号を用い、前記第１の画像信号を用いずに、前記出力画像データを生成する請求項２に記載の撮像装置。
【請求項４】
前記エッジ比較部が、前記第１のエッジ輝度微分値と前記第２のエッジ輝度微分値の差分値が所定値以下であると判断したとき、前記第１の画像信号及び前記第２の画像信号の双方を用いて、前記出力画像データを生成する請求項２または３に記載の撮像装置。
【請求項５】
前記エッジ比較部は、前記第１の画像信号から得られる画像データのエッジ部の個数である第１のエッジ個数と、前記第２の画像信号から得られる画像データのエッジ部の個数である第２のエッジ個数とを比較する請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記出力画像データ生成部は、
前記エッジ比較部が、前記第１のエッジ個数が前記第２のエッジ個数より大きいと判断したとき、前記第１の画像信号を用い、前記第２の画像信号を用いずに、前記出力画像データを生成し、
前記エッジ比較部が、前記第１のエッジ個数が前記第２のエッジ個数より小さいと判断したとき、前記第２の画像信号を用い、前記第１の画像信号を用いずに、前記出力画像データを生成する請求項５に記載の撮像装置。
【請求項７】
前記エッジ比較部が、前記第１のエッジ個数と前記第２のエッジ個数の差分値が所定値以下であると判断したとき、前記第１の画像信号及び前記第２の画像信号の双方を用いて、前記出力画像データを生成する請求項５または６に記載の撮像装置。
【請求項８】
前記可視光線用撮像部及び前記遠赤外光線用撮像部は、同一の基板上に形成された請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記可視光線用撮像部及び前記遠赤外光線用撮像部は、互いに交互にマトリックス状に配列されている請求項８に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１８２６２６（Ｐ２０１２−１８２６２６Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４３７４５（Ｐ２０１１−４３７４５）
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]