車両用の走行情報記録装置
【課題】光電変換手段において提案されている特性の車両用走行情報記録装置への好適な活用を提案する。
【解決手段】それぞれ可視光域および赤外光域において６０％以上の量子効率を有する光電変換部の赤画像を赤領域および赤外光域の受光に兼用し、赤外光カットフィルタと可視光カットフィルタを代替的に光電変換部への光路に差し換えることで状況に応じ可視光画像または赤外画像で車両前後の走行情報を記録する。可視光画像と赤外画像の切換えは光電変換部の平均照度またはコントラストによって自動的に行う。走行中に後続車が車間を詰めてきたとき後方撮影を告知する。後方撮影時、運転席画像とナンバープレート画像にモザイクを入れる。衝突時等の画像からはモザイクを外す。
【解決手段】それぞれ可視光域および赤外光域において６０％以上の量子効率を有する光電変換部の赤画像を赤領域および赤外光域の受光に兼用し、赤外光カットフィルタと可視光カットフィルタを代替的に光電変換部への光路に差し換えることで状況に応じ可視光画像または赤外画像で車両前後の走行情報を記録する。可視光画像と赤外画像の切換えは光電変換部の平均照度またはコントラストによって自動的に行う。走行中に後続車が車間を詰めてきたとき後方撮影を告知する。後方撮影時、運転席画像とナンバープレート画像にモザイクを入れる。衝突時等の画像からはモザイクを外す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光電変換手段とその活用に関する。
【背景技術】
【０００２】
光電変換手段としては、日々、種々の特性のものが提案されている。さらにこれらの光電変換手段を活用した種々の車両用の走行情報記録装置の提案がなされている。例えば特開２００６−９６３１２号公報（特許文献１）には、車両の前後左右を撮像するカメラと車両の左右および後方の距離情報を各画素毎に取得する赤外線レーザカメラを備え、各カメラからの画像情報と赤外線レーザカメラからの各画素毎の距離情報に基づいて駐車支援情報を提供するとともに少なくとも一つのカメラにより車両走行中に撮像された画像をドライブレコーダとしての記録媒体に記録することが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−９６３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、光電変換手段において提案されている種々の特性はまだ充分活用されているとは言えず、さらに検討すべき課題が多い。
【０００５】
本発明の課題は、上記に鑑み、光電変換手段において提案されている特性の車両用走行情報記録装置への好適な活用を提案することにある。
【課題を解決するための手段】
【０００６】
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の受光部を有する光電変換部と、前記光電変換部に被写体像を結像させる撮像レンズと、前記光電変換部より取得される可視光像および赤外光像を記録する記録部とを有することを特徴とする車両用の走行情報記録装置を提供する。これによって、光電変換部の可視光域から赤外光域に渡る広い感度域が有効に利用され、種々の状況下において走行画像を記録することができる。
【０００７】
本発明の具体的な特徴によれば、光電変換部より可視光像を取得するための赤外光カットフィルタと光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に光電変換部への光路に配するフィルタ駆動部を有するので、種々の状況に応じ光電変換部から可視光像または赤外光像を選択的に取得することができる。
【０００８】
本発明の他の特徴によれば、光電変換部の出力に基づいて出力画像の平均照度を検知する平均照度検知部が設けられ、この平均照度検知部の検知する平均照度に基づいて記録部に可視光像および赤外光像の一方を選択して記録させる、これによって、可視光による撮影を赤外光による暗視撮影に自動的に切換えて車両の走行情報を記録することができる。本発明のさらに他の特徴によれば、光電変換部の出力に基づいて出力画像のコントラストを検知するコントラスト度検知部が設けられ、このコントラスト検知部の検知するコントラストに基づいて記録部に可視光像および赤外光像の一方を選択して記録させる。これによって、可視光による撮影を、霧や雨など見通しの悪い状況に対応する赤外光撮影に自動的に切換えて車両の走行情報を記録することができる。
【０００９】
本発明の他の特徴によれば、青領域に感度を有する複数の受光部と、緑領域に感度を有する複数の受光部と、赤領域および赤外光域に感度を有する複数の受光部が規則的に配列された光電変換部と、光電変換部に被写体像を結像させる撮像レンズと、光電変換部より可視光像を取得するための赤外光カットフィルタと光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に光電変換部への光路に配するフィルタ駆動部と、光電変換部からの画像情報を記録する記録部とを有する車両用の走行情報記録装置が提供される。これによって、赤領域および赤外光域の受光部を兼用した簡単なフィルタ構成により、可視光域から赤外光域に渡る広い感度域を有効に利用した走行画像の記録ができる。上記本発明の具体的な特徴によれば、赤領域および赤外光域に感度を有する複数の受光部は太陽光が大気の吸収によって地表において微弱となる赤外光域においても感度を有するとともに、赤外光カットフィルタおよび可視光カットフィルはいずれも太陽光が大気の吸収によって地表において微弱となる赤外光域の光を透過させる。これによって可視光撮影においても赤外光撮影においても、太陽光が大気の吸収によって地表において微弱となる赤外光域を有効に利用することができる。例えば、太陽光が地表において微弱となる赤外光域の赤外光を投射する赤外光投射部を設け、光電変換部に赤外光投射部から投射された赤外光の反射光を受光するよう構成することができる。
【００１０】
本発明の他の特徴によれば、光電変換部と、車両後方の被写体像を光電変換部に結像させる撮像レンズと、光電変換部より取得される画像を記録する記録部と、車両後方の撮像を後続車両に告知する告知部とを有する車両用の走行情報記録装置が提供される。車両後方を撮影すると後続車両の運転者の顔が記録される可能性があるが、上記のような告知を行うことにより、撮影を嫌う後続車は車間距離を開ければよいことになり、車間距離の維持および後続車とのトラブル回避策として有用である。上記本発明の具体的な特徴によれば、後続車両までの距離を検知する距離検知部が設けられ、告知部は距離検知部に基づいて後続車両への告知を行う。これによって、後続車が車間距離を詰めてきたときなどに有効に告知を行うことができる。さらに具体的な特徴によれば、車両が走行中か否かを判断する判断手段が設けられ、告知部は距離検知部および判断手段に基づいて後続車両への告知を行う。信号待ちなど車両停車中は車間距離が縮まる。上記の構成によって停車中に無意味な告知をしないようにすることで無用なトラブルの種を撒くことを防止できる。
【００１１】
本発明の他の特徴によれば、光電変換部と、車両後方の被写体像を前記光電変換部に結像させる撮像レンズと、光電変換部より取得される画像を記録する記録部と、記録部に記録される車両後方画像にプライバシー保護を施す保護手段を有する車両用の走行情報記録装置が提供される。車両後方を撮影すると後続車両の運転者の顔が記録される可能性があるが、上記のような保護手段により、例えば後続車両画像のフロントガラス部やナンバープレートなどにモザイクをかけるなどのプライバシー保護手段を施すことが可能となり、トラブル回避策として有用である。上記本発明の具体的な特徴によれば、車両に異常加速度がかかったことを検知する異常加速度検知部が設けられ、プライバシー保護手段は異常加速度検知部に基づき後続車両へのプライバシー保護を解除する。これによって事故などの異常事態においては、プライバシー情報も含め記録を証拠として保全することができる。これは裏を返せば、異常事態が起こらない限りプライバシーを保護する保証でもある。
【発明の効果】
【００１２】
上記のように、本発明によれば、光電変換手段において提案されている種々の特性を生かした車両用の走行情報記録装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施例を示すブロック図である。（実施例１）
【図２】図１の測光兼用ＡＦセンサおよびライブビューセンサの構成を関連する部分とともに詳細に示したブロック図である
【図３】図２のＣＩＧＳ撮像センサおよびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度をシリコンのＣＭＯＳセンサと比較したグラフである。
【図４】第１実施例におけるカメラ制御部の動作のフローチャートである。
【図５】本発明の第２実施例を示すブロック図である。（実施例２）
【図６】第２実施例におけるカメラ制御部の動作のフローチャートである。
【図７】図２または図５のライブビューセンサに用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。
【図８】ＣＩＧＳ撮像センサのフィルタ配列の第２例である。
【図９】図８のフィルタ配列を採用したＣＩＧＳセンサの模式断面図である。
【図１０】ＣＩＧＳ撮像センサのフィルタ配列の第３例である。
【図１１】図５の第２実施例においてライブビューセンサの画像を記録する際のカメラ制御部の動作を示すフローチャートである。
【図１２】図１１のステップＳ１０８およびステップＳ１１４に共通して利用できる処理の詳細を示すフローチャートである。
【図１３】本発明の第３実施例を示すブロック図である。（実施例３）
【図１４】第３実施例に採用可能なＬＥＤの配置の第１の例を示す正面図である。
【図１５】第３実施例に採用可能なＬＥＤの配置の第２の例を示す正面図である。
【図１６】第３実施例に採用可能なＬＥＤの配置の第３の例を示す正面図である。
【図１７】第３実施例に採用可能なＬＥＤの配置の第４の例を示す正面図である。
【図１８】第３実施例のカラー・赤外モードでの動作タイミングチャートである。
【図１９】図１８の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２０】第３実施例の精細カラーモードでの動作タイミングチャートである。
【図２１】図２０の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２２】第３実施例の赤外モードでの動作タイミングチャートである。
【図２３】第３実施例における内視鏡制御部の動作のフローチャートである。
【図２４】図２３のステップＳ１７０の詳細を示すフローチャートである。
【図２５】図２４のステップＳ２０８の詳細を示すフローチャートである。
【図２６】図２３のステップＳ１７２の詳細を示すフローチャートである。
【図２７】第３実施例におけるモニタ制御部の動作を示すフローチャートである。
【図２８】本発明の第４実施例のカラー・赤外モードでの動作タイミングチャートである。（実施例４）
【図２９】第４実施例の精細カラーモードでの動作タイミングチャートである。
【図３０】本発明の第５実施例を示すブロック図である。（実施例５）
【図３１】第５実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。
【図３２】第５実施例のＣＩＧＳ撮像センサによって撮像された画像の概念図である。
【図３３】第５実施例におけるＣＩＧＳ撮像センサのフィルタの分光透過特性のグラフである。
【図３４】第５実施例における監視記録制御部の動作のフローチャートである。
【図３５】図３４のステップＳ３３６の詳細を示すフローチャートである。
【図３６】図３４のステップＳ３０８および図３５のステップＳ３４６の詳細を示すフローチャートである。
【図３７】本発明の第６実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。（実施例６）
【図３８】第６実施例におけるＣＩＧＳ撮像センサのフィルタの分光透過特性のグラフである。
【図３９】図３７の第６実施例における監視記録制御部の動作のフローチャートである。
【図４０】ＣＩＧＳ撮像センサのフィルタ配列の第４例であり、本発明の第７実施例に用いられる。（実施例７）
【図４１】第７実施例におけるＣＩＧＳ撮像センサのフィルタの分光透過特性のグラフである。
【図４２】本発明の第８実施例の前方および車両用監視装置に用いられるＣＩＧＳ撮像センサのカラーフィルタの分光透過特性のグラフである。（実施例８）
【発明を実施するための形態】
【実施例１】
【００１４】
図１は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第１実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ２およびこれに交換可能に着脱される交換レンズ４を有している。交換レンズ４のレンズ光学系６から入射した被写体光は、観察位置にあるミラー８で上方に反射され、焦点板１０の位置に結像する。この像はペンタリズム１２で反射された後、アイピース１４で観察され、撮像ための構図決めなどが行われる。
【００１５】
撮影の際には、操作部１５のシャッタレリーズボタンを操作することによって、ミラー８がオートフォーカス用サブミラー１６とともに撮影位置に退避するとともにフォーカルプレーンシャッタ１８が開き、交換レンズ４のレンズ光学系６から入射した被写体光が撮像部２０に結像して撮像される。撮像部２０によって撮像された画像情報は、画像処理部２２で画像処理された後、カメラ制御部２４の制御により画像記憶部２６に記憶される。画像記憶部２６に記憶された画像情報は、適宜媒体スロット２８に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部２６に記憶された画像情報は、カメラ制御部２４の制御により、適宜入出力部３０から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部２４から表示部３２に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
【００１６】
画像再生の際には、操作部１５の操作により、画像記憶部２６または媒体スロット２８に記憶された画像情報がカメラ制御部２４によって読み出され、カメラボディ２の背面に設けられた液晶等からなる表示部３２に表示される。以上が、図１のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー８が観察位置にあるときは、撮像部２０による被写体像の撮像は行われないので、以上の構成だけではアイピース１４で観察できるリアルタイムの被写体像は表示部３２に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部３２の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
【００１７】
次に、図１のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ４のレンズ光学系６から入射した被写体光の一部は、観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射されて測光兼用オートフォーカス（以下「ＡＦ」）センサに導かれる。測光兼用ＡＦセンサ３４はサブミラー１６から入射する光をＡＦセンサ上に再結像して分析し結果をカメラ制御部２４に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部２０の撮像面とレンズ光学系６による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部２４は、測光兼用ＡＦセンサ３４から得られたレンズ光学系６による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系６の駆動量および駆動方向の情報を、ＡＦ制御部３６に送る。ＡＦ駆動部３８は、カメラボディ２と交換レンズ４との機械的または電気的インターフェースによってＡＦ制御部３６から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系６を駆動し、自動焦点合わせを行う。なお、測光兼用ＡＦセンサ３４の構成の詳細については後述する。
【００１８】
ライブビューセンサ４０は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム１２の反射面１２ａ全体が半透過性になっており、ライブビューセンサ４０は、焦点板１０の画像をＣＩＧＳ撮像センサ上に再結像させることにより、焦点版１０の画像全体を撮像できるようになっている。ＣＩＧＳ撮像センサは、銅（Ｃｕ）、インジウム（Ｉｎ）、ガリウム（Ｇａ）およびセレン（Ｓｅ）を材料とする光センサであり、その詳細は後述する。
【００１９】
ペンタプリズム１２の反射面１２ａは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース１４で焦点版１０の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ４０に採用されているＣＩＧＳ撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面１２ａの光透過率がわずかであっても、可視光領域における焦点版１０の像を充分撮像することが可能である。このライブビューセンサ４０への可視光の配分は、アイピース１４により光学的に被写体を観察し難い暗さになったとき、ＣＩＧＳ撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。ＣＩＧＳ撮像センサを用いたライブビューセンサ４０の詳細については後述する。ライブビューセンサ４０で撮像された画像はカメラ制御部２４に送られ、これが表示部３２で表示されるので、図１のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めが可能である。
【００２０】
図２は、図１のオートフォーカスデジタル一眼レフカメラの第１実施例における測光兼用ＡＦセンサ３４およびライブビューセンサ４０の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム１２の反射面１２ａは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜５２はこのような分光透過特性を実現するために反射面１２ａにコーティングされたものである。
【００２１】
ライブビューセンサ４０は、このような多層膜５２を透過した焦点面１０からの光束をＣＩＧＳ撮像センサ５４の撮像面に再結像させるための再結像レンズ５６を備えている。赤外光カットフィルタ５８は、多層膜５２を透過してきた可視光領域以外の光を実質的にカットしてＣＩＧＳ撮像センサ５４の波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部２４に送り、図１の表示部３２でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
【００２２】
ライブビューセンサ４０は、さらに焦点板１０における明るさを測定する全画面測光を可能にしている。つまり、ＣＩＧＳ撮像センサ５４から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部２４で処理され、必要に応じＡＦ対応部分測光センサ７２の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などをコントロールする自動露出制御が行われる。
【００２３】
可視光カットフィルタ６０は赤外光カットフィルタ５８と差し替えてＣＩＧＳ撮像センサ５４への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜５２からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、可視光よりも長波長側域の光がＣＩＧＳ撮像センサ５４に入射するようになる。ＣＩＧＳ撮像センサ５４は、後述するように、長波長側が１３００ｎｍにおよぶ分光感度を持っている。従って、可視光カットフィルタ６０の挿入によってライブビューセンサ４０はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。
【００２４】
ミラー／フィルタ駆動部６２は、操作部１５によるモード切換に応じたカメラ制御部２４の制御により、上記の可視光カットフィルタ６０と赤外光カットフィルタ５８の差し替えを駆動する。なお、図２では、撮影位置に退避したミラー８ａおよびサブミラー１６ａが二点鎖線で図示されているが、このようなミラー８とサブミラー１６における観察位置と撮影位置の間の駆動も、カメラ制御部２４の制御によりラー／フィルタ駆動部６２が行う。
【００２５】
測光兼用ＡＦセンサ３４の再結像レンズ６４は、交換レンズ４から入射して観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射される被写体光を再結像させるためのものである。再結像レンズ６４からの光束は、波長選択性のない可動半透ミラー６６および赤外光カットフィルタ６８を透過してＣＩＧＳＡＦセンサ７０上に結像する。ＣＩＧＳＡＦセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ６８は、ＣＩＧＳＡＦセンサ７０をＡＦセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、ＣＩＧＳ撮像センサ５４のための赤外光カットフィルタ５８とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ８は赤外光カットフィルタ５８よりも狭い透過分光特性に設定される。
【００２６】
このため、被写体が通常の明るさのときに減光のために可動半透ミラー６６を図示の位置に挿入し、ＣＩＧＳＡＦセンサへの入射光量をＣＩＧＳＡＦセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のＡＦセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを６４ａの位置に退避させ、減光なしに被写体像をＣＩＧＳセンサに結像させる。なお、このとき可動半透ミラー６６の有無による光路長の補償が必要である。例えば、可動半透ミラー６６を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが６４ａの位置に退避した状態では、ＡＦ対応部分測光センサ７２による測光はできなくなる。
【００２７】
ＣＩＧＳＡＦセンサ７０への減光のために再結像光路中に可動半透ミラー６６が挿入されている時、これを反射した光は、ＡＦ対応部分測光センサ７２に入射する。ＡＦ対応部分測光センサ７２は、ＣＩＧＳＡＦセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるＣＩＧＳＡＦセンサ７０への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
【００２８】
ＡＦ対応部分測光センサ７２からの部分測光情報は、ライブビューセンサ４０のＣＩＧＳ撮像センサ５４からの全画面に関する測光情報と組合せてカメラ制御部２４で処理され、最終的に、交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などがコントロールされる。
【００２９】
センサ制御部７４は、可動半透ミラー６６が挿入されている時および退避しているときのいずれの場合においても、ＣＩＧＳＡＦセンサ７０の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー６６が挿入されているのか退避しているのかの情報も用いられる。センサ制御部７４は、また、ＣＩＧＳＡＦセンサ７０およびＡＦ対応部分測光センサ７２に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部２４に出力させる。
【００３０】
一方、ライブビューセンサ４０が「長波長モード」に設定され、多層膜５２からＣＩＧＳ撮像センサ５４への光路に赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、測光兼用ＡＦセンサ３４でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー６６の退避を前提として赤外光カットフィルタ６８が可視光カットフィルタ７６に差し替えられる。これによって、ＣＩＧＳ撮像センサ５４による長波長域での撮像のための焦点検出が、減光なしに、ＣＩＧＳＡＦセンサ７０によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
【００３１】
以上のような可動半透ミラー６６の移動および赤外光カットフィルタ６８と可視光カットフィルタ７６との差し替えは、操作部１５によるモード切換操作に基づくカメラ制御部２４の制御により、ミラー／フィルタ駆動部７８が司る。
【００３２】
図１および図２の第1実施例は、上記のような基本機能に加え、「複合ＡＦ機能」が可能である。操作部１５の操作により、「複合ＡＦ機能」が選択されると、ライブビュー機能が停止され、「複合ＡＦ機能」の開始が指示される。具体的には、操作部１５の操作により、「複合ＡＦ機能」が選択されると、カメラ制御部２４は、赤外光カットフィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行うとともにＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止する。
【００３３】
これに替わり、可視光カットフィルタ６０により長波長側の感度域となったＣＩＧＳ撮像センサ５４の画像信号は、赤外光カットフィルタ６８により可視光の感度域にあるＣＩＧＳＡＦセンサの出力と組み合わされ、「複合ＡＦ機能」が実行される。具体的には、ＣＩＧＳ撮像センサ５４の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、ＣＩＧＳＡＦセンサによる焦点検出領域が決定される。
【００３４】
図３は、図２のＣＩＧＳ撮像センサ５４およびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度（量子効率）をシリコンのＣＭＯＳセンサと比較したものである。図３（Ａ）は、各波長におけるＣＩＧＳセンサの量子効率（％）を示すものであり、図３（Ｂ）におけるシリコンのＣＭＯＳセンサについての同様の量子効率（％）と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図３（Ａ）のＣＩＧＳセンサは、波長１３００ｎｍ近くにわたる広い感度域を持つ。さらに、４００ｎｍ付近から１２００ｎｍ付近の広い波長域に渡り量子効率５０％を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性は、図３（Ｂ）におけるようなシリコンのＣＭＯＳセンサでは期待できないものである。
【００３５】
図４は、図１および図２の第１実施例におけるカメラ制御部２４の動作のフローチャートである。操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４に進み、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００３６】
なお、ステップＳ４の指示に応答するミラー／フィルタ駆動部７８による可動半透ミラー６６設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー６６がＣＩＧＳＡＦセンサ７０への光路にセットされている状態で可動半透ミラー６６を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー６６を光路内にセットする指示が続いて行われたような場合には、ミラー／フィルタ駆動部７８は実際には可動半透ミラー６６の駆動を実行せず、可動半透ミラー６６が光路内に設定されている状態が継続する。換言すれば、ミラー／フィルタ駆動部７８は遅延時間内に可動半透ミラー６６を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー６６の駆動を実行することになる。なお、既に可動半透ミラー６６がＣＩＧＳＡＦセンサ７０の光路に設定されている状態でステップＳ４の指示が行われた時は、当然ながら、ミラー／フィルタ駆動部７８は可動半透ミラー６６に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
【００３７】
次いでステップＳ６に進み、ライブビュー用の赤外光フィルタ５８をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に行う。なお、ミラー／フィルタ駆動部６２のミラー差し替え動作についても、上記でミラー／フィルタ駆動部７８において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
【００３８】
次いで、ステップＳ８でＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ１０に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ１２に進んで、可動半透ミラー６６を光路から退避させる減光解除の指示を行ってステップＳ１４に移行する。一方、被写体が充分明るい場合は直接ステップＳ１４に移行する。
【００３９】
ステップＳ１４では、操作部１５によって「複合ＡＦモード」が選択されたかどうかのチェックを行う。そして選択があればステップＳ１６に進み、複合ＡＦを行うために赤外光フィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ１８でＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止するとともに、長波長側の感度域のＣＩＧＳ撮像センサ５４の画像信号と可視光の感度域にあるＣＩＧＳＡＦセンサの出力とを組み合わせる「複合ＡＦ機能」の開始が指示してステップＳ２０に移行する。一方、ステップＳ１４で「ＡＦモード」の選択が検出されない場合は、直接ステップＳ２０に移行する。
【００４０】
ステップＳ２０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップＳ２０で光量不足が検知されるとステップＳ２２に進み、操作部１５の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップＳ２４に進み、赤外光フィルタ５８に替えてライブビュー用の可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ２６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行ってステップＳ２８に移行する。
【００４１】
一方、ステップＳ２０で撮像部の光量不足が検出されない場合は、直接ステップＳ２８に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップＳ２２に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部１５で特別の操作を行うことによってステップＳ２２に進むことも可能である。また、ステップＳ２２で「長波長モード」設定が検出されない場合も、直接ステップＳ２８に移行する。
【００４２】
ステップＳ２８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ３０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ２に戻り、以下、ステップＳ２で再生モード操作が検出されるかステップＳ２８でレリーズ操作が検出されない限り、ステップＳ２からステップＳ３０を繰り返す。
【００４３】
上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部６２、７８に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ１０、ステップＳ１４、ステップＳ２０およびステップＳ２２に基づく検知結果が変化するとミラー／フィルタ駆動部６２、７８の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部６２、７８による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００４４】
なお、ステップＳ２で操作部１５による再生モード設定操作が検出された時はステップＳ３２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【実施例２】
【００４５】
一方、ステップＳ２８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ３４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ２に戻る。なお、ステップＳ３０でカメラオフ操作が検出されたときは、図４のフローが終了となる。
【００４６】
図５は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第２実施例を示すブロック図である。その構成の大部分は図１の第１実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図５の第２実施例が図１の第１実施例と異なるのは、カメラボディ１００であり、特にそのライブビューセンサ１０２およびこれに関連する構成および機能が第１実施例と異なる。
【００４７】
第１実施例のライブビューセンサ４０では、半透過性の反射面１２ａを介して光を受けるよう構成され、反射面１２ａを透過する可視光領域の光が抑えられている。これは、アイピース１４で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ４０にはＣＩＧＳ撮像センサが用いられているので、反射面１２ａを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース１４で充分観察できないような暗い被写体の場合は、ライブビューセンサ４０でも光量が不足する。これに対し、図５の第２実施例は、アイピース１４で充分観察できないような暗い被写体の場合でも、ライブビューセンサ１０２に採用したｃＩＧＳ撮像センサによってライブビューが可能となるよう構成している。なお、図５のライブビューセンサ１０２の詳細構造は、図２におけるライブビューセンサ４０と基本的には同様であって、再結像光学系およびＣＩＧＳ撮像センサを有する。但し、ペンタプリズム１０４に対するライブビューセンサ１０２の配置場所が異なるので、その再結像光学系は図２の再結像レンズ５６とは異なったものとなる。
【００４８】
上記の考え方に基づき、第２実施例では、通常のペンタプリズム１０４が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム１０４からの光はすべてアイピースに向かう。このとき可動全反射ミラー１０６は図５のようにアイピース１４への光路から退避している。従ってこの状態ではライブビューができない。
【００４９】
操作部１５の操作によってライブピューモードを選択すると、可動全反射ミラーが１０６ａの位置に下がり、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射する。従って、アイピース１４による光学的なファインダー像の観察はできなくなる。可動減光フィルタ１０８は、被写体が通常の明るさのときに図５のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ１０２への入射光量をＣＩＧＳ撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ１０８がライブビューセンサ１０２への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ１０８の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図５の第２実施例の場合にはＣＩＧＳ撮像センサによりライブビューが可能となる。このライブビューセンサ１０２からの可視光域の画像は表示部３２でのライブビューだけでなく、画像記憶部２６に記録することも可能である。したりすることが可能となる。
【００５０】
赤外光カットフィルタ１１０は、ライブビューモードにおいて可動全反射ミラー１０６ａから反射される可視光領域以外の光をカットし、ＣＩＧＳ撮像センサの波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部１１６に送り、自然なライブビューを可能にする。
【００５１】
可視光カットフィルタ１１２は、赤外光カットフィルタ１１０と差し替えてライブビューセンサ１０２への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー１０６ａからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ１１０に替えて可視光カットフィルタ１１２がライブビューセンサ１０２への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ１０２のＣＩＧＳ撮像センサに入射するようになる。従って、第１実施例と同様、長波長域の画像についてその画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。なお、可視光カットフィルタ１１２を用いる長波長モードにおいては、可動減光フィルタ１０８をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが１０６、可動減光フィルタ１０８、赤外光カットフィルタ１１０および可視光カットフィルタ１１２の駆動は、カメラ制御部１１６によって制御されるミラー／フィルタ駆動部１１４によって行われる。
【００５２】
図６は、図５の第２実施例におけるカメラ制御部１１６の動作のフローチャートである。第１実施例と同様にして操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ４２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４４に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー１０６がアイピース14への光路中から退避するようミラー／フィルタ駆動部１１４に指示する。ステップＳ４４ではさらに、可動減光フィルタ１０８をライブビューセンサ１０２への光路中に挿入して入射光量を減光する指示をミラー／フィルタ駆動部１１４に行とともに、図２における可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００５３】
次いでステップＳ４６に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ４８に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー１０６をアイピース14への光路中に進出させるようミラー／フィルタ駆動部１１４に指示してステップＳ５０に移行する。この指示が実行されると、ファインダ像をアイピース１４から光学的に観察することはできなくなり、代わりにライブビューセンサ１０２の出力に基づく表示部３２でのライブビューが可能となる。ステップＳ４８ではさらに、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に行う。なお、ミラー／フィルタ駆動部１１４についても、第１実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップＳ４６で「ライブビューモード」への設定が検知されない場合は、直接ステップＳ５０に移行する。
【００５４】
ステップＳ５０では、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ５２に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ５４に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ５６に進み、可動減光フィルタ１０８をライブビューセンサ１０２への光路から退避させる減光解除の指示を行ってステップＳ５８に移行する。一方、ステップＳ５４で「ライブビューモード」の設定が検知されなければ直接ステップＳ５８に移行する。そして、ステップＳ５８では、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路から退避させてＡＦ用の減光を解除する指示を行う。このように、ステップＳ５２で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずＡＦ用の減光を解除する。
【００５５】
次いで、ステップＳ６０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップＳ６２に進み、操作部１５の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップＳ６４に進み、赤外光フィルタ１１０に替えてライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行う。さらに、ステップＳ６６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。
【００５６】
以上のステップを経て、フローはステップＳ６８に進む。一方、ステップＳ５２で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップＳ６０で撮像部２０による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップＳ６２で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップＳ６８に移行する。
【００５７】
ステップＳ６８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ７０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ４２に戻り、以下、ステップＳ４２で再生モード操作が検出されるかステップＳ６８でレリーズ操作が検出されない限り、ステップＳ４２からステップＳ７０を繰り返す。
【００５８】
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部７８、１１４に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ４６、ステップＳ５２、ステップＳ５４、ステップＳ６０およびステップＳ６２に基づく検知結果が変化するとミラー／フィルタ駆動部７８、１１４の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部７８、１１４による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００５９】
なお、第１実施例と同様にして、ステップＳ４２で操作部１５による再生モード設定操作が検出された時はステップＳ７２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【００６０】
また、ステップＳ６８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ７４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ４２に戻る。なお、ステップＳ７０でカメラオフ操作が検出されたとき、図６のフローは終了となる。
【００６１】
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第１実施例においては、可視光カットフィルタ６０により長波長域に感度を有するＣＩＧＳ撮像センサ５４と赤外光カットフィルタ６８により可視光に感度域を有するＣＩＧＳＡＦセンサの出力とを組合せて「複合ＡＦ機能」は実施するものとして説明した。しかしながら、「複合ＡＦ機能」の実施はこのようなものに限るものではない。例えば、図２における波長選択性のない可動半透ミラー６６をダイクロイックミラーで構成し、可視光透過させてＣＩＧＳＡＦセンサ７０上に導くとともに、長波長域を反射させてＡＦ対応部分測光センサ７２に導くようにする。そして、ＡＦ対応部分測光センサ７２にも、ＣＩＧＳセンサを用いるようにする。なお、この場合、赤外光カットフィルタ６８は不要となる。
【００６２】
以上のように構成すれば、長波長域に感度を有するＡＦ対応部分測光センサ７２によりＡＦ対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことが可能となる。
【００６３】
さらに「複合ＡＦ機能」の実施は以上のように二つのＣＩＧＳセンサを用いるものに限るものではない。例えば図２において、可視光カットフィルタ７６がＣＩＧＳＡＦセンサの光路中に挿入された状態においてＣＩＧＳＡＦセンサ自体でＡＦ対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ１８が光路中に挿入された状態においてその部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことも可能である。このように広い感度領域を有する一つのＣＩＧＳを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合ＡＦ機能」を実現することも可能である。
【００６４】
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。
【００６５】
上記の実施例においては、可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてＣＩＧＳセンサを用いている。ＣＩＧＳセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のＣＩＧＳ系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「ＣＩＳ系薄膜」とも称されるが、本明細書で「ＣＩＧＳセンサ」という場合は、このようなガリウムを含まない「ＣＩＳ系薄膜」を用いた光電センサをも意味するものとする。
【００６６】
図７は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタＲ１１、青透過フィルタＢ１２、緑透過フィルタＧ２２および赤透過フィルタＲ２１が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のＣＩＧＳ撮像センサは、図３のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図７の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
【００６７】
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタＢ１２に対応する画素については、基本的にはその両側にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ１３に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタＲ２１に対応する画素については、同様にその上下にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタＧ２２に対応する画素については、その周囲にある赤外光透過フィルタＩＲ１１に対応する画素のデータ、赤外光透過フィルタＩＲ１３に対応する画素のデータ、赤外光透過フィルタＩＲ３３に対応する画素のデータおよび赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
【００６８】
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタＲ２１に対応する画素の赤外光画像の補間において、赤透過フィルタＲ２１に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
【００６９】
図８は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第２例である。この第２例にでは、カラーフィルタ配列自体は図７の第１例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタＩＲ１１および緑透過フィルタＧ２２については、画素に許される最大の受光面積を確保しているが、青透過フィルタＢ１２は遮光部２０２を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。同様に赤透過フィルタＲ２１についても、遮光部２０４を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
【００７０】
本発明のＣＩＧＳ撮像センサは、図３のように可視光域において高感度を有するため、上記のように青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積比を変えることも可能である。
【００７１】
図９は、図８のフィルタ配列の第２例を採用したＣＩＧＳセンサの模式断面図である。図９（Ａ）に示すように、本発明のＣＩＧＳ撮像センサはＬＳＩ４００の上にＣＩＧＳ系薄膜４０２を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ４０４が乗せられている。この図９（Ａ）の模式断面図における基本構造自体は、フィルタ配列の第２例に限られるものでなく、本発明のＣＩＧＳセンサに共通である。
【００７２】
図９（Ｂ）は、図９（Ａ）の部分４０６を拡大した模式断面図であり、図８のフィルタ配列の第２例の断面を概念的に示している。なお、図８および図９（Ａ）では対応する部分には同じ番号を付す。図９（Ｂ）に明らかなように、ＣＩＧＳ系薄膜４０２はそれぞれ画素をなすフォトダイオード４０８、４１０等に区分されており、フォトダイオード４０８の上には、赤外光透過フィルタＩＲ１１が載せられている。そして、フォトダイオード４１０の上には、受光面積を減らすための遮光部２０２および青透過フィルタＢ１２が載せられている。
【００７３】
図１０は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第３例である。この例は、ベイヤー配列における緑透過フィルタの全数の４分の１を規則的に赤外光透過フィルタＩＲ１１、ＩＲ３３、ＩＲ５１等に置き換えたものである。残りの４分の３は、ベイヤー配列と同様に緑透過フィルタＧ１３、Ｇ２２，Ｇ３１、Ｇ４２、Ｇ４４、Ｇ３５、Ｇ２４等となっている。
【００７４】
この結果、緑透過フィルタＧ１３等の全数の割合は、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の１．５倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図１０のフィルタ配列においても、図８のフィルタ配列の考え方を加味し、赤透過フィルタＲ２３等と青透過フィルタＢ３２等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
【００７５】
一方、赤外光透過フィルタＩＲ１１等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の半分となっている。本発明のＣＩＧＳ撮像センサは、図３のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
【００７６】
次に、図１０のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタＧ３５に対応する画素については、その二つ上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータ、二つ左方にある赤外光透過フィルタＩＲ３３に対応する画素のデータ、二つ下方にある赤外光透過フィルタＩＲ５５に対応する画素のデータおよび二つ右方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタＧ２４に対応する画素については、その右上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと左下方にある赤外光透過フィルタＩＲ３３に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタＧ２６に対応する画素については、その左上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと右下方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。
【００７７】
そして、赤透過フィルタＲ２５に対応する画素について、上記のように補間して求めた緑透過フィルタＧ３５、Ｇ２４、Ｇ２６にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタＩＲ１５に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにＩＲ１５、ＩＲ３３、ＩＲ５５およびＩＲ３７に対応する赤外光画像データの重み付け平均となる。
｛（ＩＲ１５＋ＩＲ３３＋ＩＲ５５＋ＩＲ３７）／４＋（ＩＲ１５＋ＩＲ３３）／２
＋（ＩＲ１５＋ＩＲ３７）／２＋ＩＲ１５｝／４
＝（９ＩＲ１５＋３ＩＲ３３＋ＩＲ５５＋３ＩＲ３７）／１６
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
【００７８】
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタＩＲ３３に対応する画像をその周囲の緑透過フィルタＧ２２、Ｇ４２、Ｇ４４、Ｇ２４に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタＩＲ３３に対応する画像の緑画像データと、緑透過フィルタＧ２２、Ｇ３１およびＧ４２の緑画像データの平均をとって、これらの中心にある赤透過フィルタＢ３２に対応する画像も緑画像データを補間する。これを整理すると、次のようにＧ２２、Ｇ３１、Ｇ４２、Ｇ４４およびＧ２４の重み付け平均となる。
｛（Ｇ２２＋Ｇ４２＋Ｇ４４＋Ｇ２４）／４＋Ｇ２２＋Ｇ３１＋Ｇ４２｝／４
＝（５Ｇ２２＋４Ｇ３１＋５Ｇ４２＋Ｇ４４＋Ｇ２４）／１６
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図７と同様である。
【００７９】
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図７で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
【００８０】
図１１は、第２実施例においてライブビューセンサ１０２の画像を画像記憶部２６に記録する際のカメラ制御部１１６の動作を示すフローチャートである。操作部１５によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップＳ８２で可動全反射ミラーを１０６ａの位置に下げ、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射するよう光路切り替えを指示する。そしてステップＳ８４においてミラー８を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップＳ８６で表示部３２による表示を行わせる。
【００８１】
次いでステップＳ８８で赤外光モードが選択されているかどうかチェックし、該当すればステップＳ９０に進み、ＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。さらに、ステップＳ９２で、ライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８２】
一方、ステップＳ８８で、赤外光モードが選択されていないことが検知されるとステップＳ９６に進み、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。そしてステップＳ９８に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
【００８３】
ステップＳ９８で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップＳ１００に進み、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８４】
これに対し、ステップＳ９８で画像融合モードへの設定が検出されると、ステップＳ１０２に進み、ライブビューセンサ１０２への光路から赤外光カットフィルタ１１０および可視光カットフィルタ１１２を両者とも除去する指示をミラー／フィルタ駆動部１１４に対して行う。これは、ライブビューセンサ１０２によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
【００８５】
次いでステップＳ１０４で表示部３２によるライブビュー表示を禁止する指示を出してステップＳ９４に移行する。これは交換レンズ４による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部３２に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップＳ１０４においては、表示部３２による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方（通常は可視光像）の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップＳ１０４で選択された方の指示を出すようにしてもよい。
【００８６】
ステップＳ９４では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップＳ８６に戻り、以下、レリーズ操作が検出されるまでステップＳ８６からステップＳ１０４を繰り返す。これによって、操作部１５によるモード切り替えに対応する。なお、図４で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図１１においても、実際にモード切り替えが行われない限り、ステップＳ８６からステップＳ１０４の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップＳ８６およびステップＳ１０４による表示部３２の表示と禁止の切り替えについても同様である。
【００８７】
ステップＳ９４では、レリーズ操作が検出されるとステップＳ１０６に進み、レンズ光学系６のＡＦ駆動が行われ、これによってピンとが合うとステップＳ１０８のライブビュー記録処理を行う。このＡＦ駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップＳ１１０で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
【００８８】
一方、ステップＳ１１０で画像融合モードの設定が検出されるとステップＳ１１２に進み、ＡＦ制御部３６によってレンズ光学系６を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップＳ１０６におけるＡＦ駆動およびステップＳ１０８におけるライブビュー記録処理は可視光像に対するものであるが、ステップＳ１１２では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をＡＦ駆動部３８によってレンズ光学系６に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップＳ１１４のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップＳ１０８にて可視光画像の記録を行い、引き続いてほぼ同時にステップＳ１１４において赤外光画像の記録を行うものである。
【００８９】
図１２は、図１１のステップＳ１０８におけるライブビュー記録処理およびステップＳ１１４におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップＳ１２２で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップＳ１２４に進み、ＲＧＢの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップＳ１２６でＲＧＢの補間処理を行う。次いで、ステップＳ１２８では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップＳ１３０に進んでＲＧＢの可視光カラー画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９０】
一方、ステップＳ１２２で赤外光モードへの設定が検出されるとステップＳ１３４に進み、ＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。次いで、ステップＳ１３８では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップＳ１４０に進み、赤外光画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９１】
さらにステップＳ１２８で画像融合モードへの設定が検出された場合、ステップＳ１３４に進んでＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。これらによって、ステップＳ１２４、１２６による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップＳ１３８で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップＳ１４２に進み、ステップＳ１３４およびステップＳ１３６の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。
【００９２】
ここで、ステップＳ１４２に該当するか否かがどのような意味を持つかについて補足する。まず、ステップＳ１４２に該当しない場合は、図１２のフローが図１１のステップＳ１０８で実行されている場合に相当する。そしてステップＳ１２４およびステップＳ１２６で得られる可視光画像は図１１のステップＳ１０６における可視光に対するＡＦ駆動によりピントが合ったものであり、ステップＳ１３４およびステップＳ１３６で得られる赤外光画像はピントがずれたものとなっている。一方、ステップＳ１４２に該当する場合は、図１２のフローが図１１のステップＳ１１４で実行されている場合に相当する。そしてステップＳ１３４およびステップＳ１３６で得られる赤外光画像は図１１のステップＳ１１２における赤外光補正駆動によりピントが合ったものであり、ステップＳ１２４およびステップＳ１２６で得られる可視光画像はピントがずれたものとなっている。
【００９３】
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップＳ１４２で判断された場合はステップＳ１４４に進み、ピントの合っているＲＧＢの可視光画像について画像処理をおこなう。次いでステップＳ１４６においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップＳ１４８において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップＳ１３２に進み、ステップＳ１４４、ステップＳ１４６およびステップＳ１４８で得られたそれぞれの画像を記録してフローを終了する。
【００９４】
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップＳ１４２で判断された場合はステップＳ１５０に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップＳ１５２においてピントの合っていないＲＧＢの可視光画像について補助的に画像処理を行う。そしてステップＳ１５６において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。
【００９５】
さらに、ステップＳ１５６では、図１１のステップＳ１０８で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップＳ１５８でこれらの画像に基づく画像融合処理が行われる。
【００９６】
ステップＳ１５８の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部１５により設定できるが、被写体に応じ自動的に選択することも可能である。
【００９７】
以上のようなステップＳ１５８の処理が終了すると、ステップＳ１３２に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップＳ１３２において記録する画像は、ステップＳ１５８で処理した全ての画像であってもよく、またはステップＳ１５８の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部１５により設定できるが、処理結果に応じてステップＳ１５８の中で自動的に選択するよう構成することも可能である。
【００９８】
上記の図１１および図１２の画像記録機能に関するフローチャートの適用対象は、第２実施例におけるような一眼レフカメラのライブビューセンサ１０２の画像記録に限るものではなく、例えば、ＣＩＧＳセンサへの画像記録専用に構成した可視光／赤外光画像記録カメラにも適用可能である。このような可視光／赤外光画像記録カメラは、例えば図５において焦点板１０、ペンタプリズム１０４およびアイピース１４などの光学ファインダ系を除去するとともに、撮像部２０に代えてその位置にＣＩＧＳ撮像センサを配置することによって構成可能である。その際、レンズ光学系６からＣＩＧＳ撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ１１０および可視光カットフィルタ１１２を設ける。また、可動ミラー８に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用ＡＦセンサ３４に向かう固定のハーフミラーを設ける。
【実施例３】
【００９９】
図１３は、本発明の第３実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡５０２と、送信されて画像データを体外で受信してモニタする体外モニタ５０４を有する。カプセル内視鏡５０２は、透明な保護窓５０６を有する密閉構造になっており、保護窓５０６を通り撮像レンズ５０８によって結像される消化器内部の画像がＣＩＧＳ撮像センサ５１０で撮像される。ＣＩＧＳ画像センサ５１０は、図３で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ５０８は、レンズ駆動部５１２によってその画角およびピント位置が調節可能である。
【０１００】
第３実施例のＣＩＧＳセンサ５１０は、図７から図１０に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第３実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード（以下適宜「ＬＥＤ」と称する）が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるＣＩＧＳセンサ５１０撮像出力が、各色での画像データとなる。
【０１０１】
ＬＥＤは撮像レンズ５０８の光軸まわりに同心的に多数設けられているが、図１３では、簡単のため、例として緑ＬＥＤ５１４および赤外ＬＥＤ５１６をそれぞれ一つ図示している。例えば緑ＬＥＤ５１４が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が緑画像データとなるとともに、赤外ＬＥＤ５１６が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部５１２が結像位置を調節する。第３実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
【０１０２】
ＬＥＤドライバ５１８は、内視鏡制御部５２０の指示に基づいてＬＥＤ５１４、５１６の点灯タイミングを制御する。内視鏡制御部５２０はカプセル内視鏡５０２全体を制御するもので、その機能は記憶部５２２に記憶されたプログラムに従う。記憶部５２２は、さらに内視鏡制御部５２０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０３】
センサドライバ５２４は内視鏡制御部５２０の指示に基づいてＣＩＧＳ撮像センサ５１０を制御するとともにＣＩＧＳ撮像センサからの各色別画像ＲＡＷデータを画像バッファ５２６に格納する。画像バッファ５２６は所定撮像回数分の各色別画像ＲＡＷデータを格納可能であり、無線通信部５２８は画像バッファ５２６の各色別画像ＲＡＷデータをＦＩＦＯで取り出してアンテナ５３０から体外に送信する。電池５３２はボタン電池などで構成され、カプセル内視鏡５０２全体に電力を供給する。
【０１０４】
体外モニタ５０４は、無線通信部５３４を有し、カプセル内視鏡５０２から送信された各色別画像ＲＡＷデータをアンテナ５３６で受信して画像バッファ５３８に格納する。これらの機能はモニタ制御部５４０によって制御される。モニタ制御部５４０は記憶部５４２に記憶されたプログラムに従って体外モニタ５０４全体を制御する。記憶部５４２は、さらにモニタ制御部５４０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０５】
画像処理部５４４は、モニタ制御部５４０の指示に基づき画像バッファ５４８に格納されている各色別ＲＡＷデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ５４６に記憶する。また、赤外画像信号についてもこれをレコーダ５４６に記録する。記録されたデータは適宜表示部５４８でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部５４８により直接モニタすることもできる。
【０１０６】
図１４は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第１の例を示す正面図である。図１３と対応する部分には同一番号を付す。図１４から明らかなように、透明の保護窓５０６の内側の撮像レンズ５０８の周囲には緑ＬＥＤ５１４が互いに９０度ずつ隔てた回転対象に４個設けられている。これらを結んだ線５５０は正方形である。また、緑ＬＥＤ５１４から４５度回転した正方形５５２の頂点部分には、赤外ＬＥＤ５１６が互いに９０度ずつ隔てた回転対象に４個設けられている。さらに、縦長長方形５５４の頂点部分には赤ＬＥＤ５５６が４個設けられているとともに、横長長方形５５８の頂点部分には青ＬＥＤ５６０が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
【０１０７】
図１５は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第２の例を示す正面図である。図１５においても、図１３と対応する部分には同一番号を付す。図１５における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、赤ＬＥＤ５６２は、緑ＬＥＤ５１４から左に２２．５度回転した正方形５６４の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。また、青ダイオード５６６は、緑ＬＥＤ５１４から右に２２．５度回転した正方形５６８の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ５０８の光軸まわりに互いに回転対象の配置となる。
【０１０８】
図１６は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第３の例を示す正面図である。図１６においても、図１３と対応する部分には同一番号を付す。図１６における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、左に４５度傾いた縦長長方形５７０の頂点部分には赤ＬＥＤ５７２が４個設けられているとともに、右に４５度傾いた縦長長方形５７４の頂点部分には青ＬＥＤ５７６が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１６図で見て対抗する赤外ＬＥＤを結ぶ左４５度傾いた線および右４５度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各ＬＥＤは図１６図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。
【０１０９】
以上、図１４から図１６に示したＬＥＤの配置例は、各図において緑ＬＥＤが上下左右に配置され、赤外ＬＥＤがこれから４５度回転した位置に配されているが、全体の配置はこれに限るものではなく、ＣＩＧＳ撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図１４から図１６に示したＬＥＤの配置例は、ＣＩＧＳ撮像センサの画素配置の升目の上下左右方向を基準として緑ＬＥＤが上下左右に配置したものであるが、これを全体に４５度回転させ、赤外ＬＥＤが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑ＬＥＤがこれから４５度回転した位置に配置されることになる。
【０１１０】
図１７は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第４の例を示す正面図である。赤、緑、青および赤外のＬＥＤを撮像レンズ５０８の光軸まわりに配置する場合、全ての色のＬＥＤを互いに同数とすることに限るものではない。図１７はこのようなものの例として、４個の緑ＬＥＤ５１４、２個の赤ＬＥＤ５７８および２個の青ＬＥＤ５８０を採用している。緑ＬＥＤ５１４の数が赤ＬＥＤ５７８および青ＬＥＤ５８０の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図１７では８個の赤外ＬＥＤ５８２を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
【０１１１】
なお、図１４から図１７ではすべて合計１６個のＬＥＤを採用しているが、これに限られるものではない。配置が可能な場合、ＬＥＤの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のＬＥＤを採用し合計８個のＬＥＤを採用して構成を簡単にすることも可能である。この場合、緑ＬＥＤの対を結ぶ線と赤外ＬＥＤの対を結ぶ線を９０度で交差させるとともに、赤ＬＥＤの対と青ＬＥＤの対については、それらを結ぶ線が緑ＬＥＤの対を結ぶ線の左右にそれぞれ４５度回転した状態の配置として、赤と青のＬＥＤが緑ＬＥＤの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように８個のＬＥＤを等間隔に配置するのに代えて、赤と青のＬＥＤを緑ＬＥＤの両側に密接させ、赤、緑、青ＬＥＤ相互の位置ズレができるだけ少なくなるようにした配置も可能である。
【０１１２】
図１８は、第３実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図１８から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６、すべての赤外ＬＥＤはｔ７からｔ８のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、４色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ９からｔ１０のタイミングで点灯し、以下同様にして緑、青、赤外のＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。ｔ１からｔ８までの時間は通常のカラー動画の１フレーム時間程度であり、各色の発光量は時分割しない場合の４分の１以下となるが、図３に示すようにＣＩＧＳセンサは通常のＣＭＯＳセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
【０１１３】
図１８のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
【０１１４】
図１８の光電変換部のタイミングチャートから明らかなように、光電変換部は赤ＬＥＤの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤ＬＥＤの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図１８から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青ＬＥＤの発光および赤外ＬＥＤの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
【０１１５】
図１８のＡＤ変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からＡＤ変換を開始する。例えば、赤のＡＤ変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のＡＤ変換を継続する。図１８の無線通信部のタイミングチャート（Ａ）から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のＡＤ変換終了直後に開始される。そして次の緑のＡＤ変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてＡＤ変換および通信が行われる。
【０１１６】
なお、通信に関しては、カプセル内視鏡５０２と体外モニタ５０４との関係によっては、ＡＤ変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図１８の無線通信部のタイミングチャート（Ｂ）のように通信環境が充分となったタイミングで通信を実行する。例えば、ＩＲデータの送信５９２はタイミングチャート（Ａ）に比べて遅く実行されており、次のＲデータの直前で実行されている。また、Ｇデータの送信５９４およびＢデータの送信５９６も遅れて実行されているが、これらの通信時間の調整は、図１３の画像バッファ５２６の容量が満杯となってＦＩＦＯに破綻を来たさない限り可能である。
【０１１７】
図１９は、図１８で示したカラー・赤外モードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図１９に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、ｔ１１で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ１３で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ２で示す１フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図１３に示した体外モニタ５０４の画像処理部５４４で行われる。また、図１８の無線通信部のタイミングチャート（Ｂ）で示したように体外モニタ５０４による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色ＬＥＤの発光タイミングによって決まるので図１９の関係が成り立つ。
【０１１８】
また、図１９に示すように、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ９で開始される赤ＬＥＤの発光に基づく赤画像によってもＲＧＢ三色のデータが揃うので、これらによってＩ１で示す１フレームのカラー補間画像が作成される。同様にして、ｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ１１で開始される緑ＬＥＤの発光に基づく緑画像によって、Ｉ２で示す１フレームのカラー補間画像が作成される。これらの補間画像はＲＧＢの各色が揃うまでに赤外ＬＥＤの発光が介在しており、ＲＧＢが揃うまでの時間が若干長くなるとともにＲＧＢの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
【０１１９】
一方、赤外画像については、図１９に示すように、ｔ７で開始される赤外ＬＥＤの発光に基づく画像ＩＲ１、ｔ１５で開始される赤外ＬＥＤの発光に基づく画像ＩＲ２等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像Ｉ２およびＩ２の取得時間帯が共に赤外画像ＩＲ１の取得時間を含んでいるので、カラー補間画像Ｉ１およびＩ２またなその平均を赤外画像ＩＲ１と合成することが可能である。
【０１２０】
図２０は、第３実施例のカプセル内視鏡５０２における精細カラーモードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外ＬＥＤは発光しない。図２０から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、ＲＧＢ３色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ７からｔ８のタイミングで点灯し、以下同様にして緑、青、ＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なｔ１からｔ６までの時間は図１８のｔ１からｔ８よりも短くなり。動画が精細になる。図２０の無線通信部（Ｂ）のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
【０１２１】
図２０のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
【０１２２】
図２１は、図２０で示した精細カラーモードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図２１に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。次に、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ７で開始される赤ＬＥＤの発光に基づく赤画像によってＦ２で示す１フレームのカラー画像が作成される。同様にｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ７で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ９で開始される緑ＬＥＤの発光に基づく緑画像によってＦ３で示す１フレームのカラー画像が作成される。以下同様にしてＦ４で示す１フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のＬＥＤが新たに発光する毎に輪番で新たに１フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
【０１２３】
図２２は、第３実施例のカプセル内視鏡５０２における赤外モードでの動作の赤外ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外ＬＥＤ以外のＬＥＤは発光しない。図２２から明らかなように、すべての赤外ＬＥＤはｔ１からちｔ２、ｔ３からｔ４のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回１フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
【０１２４】
図２２のように、赤外モードにおいて赤外光のみを発光させる場合も、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
【０１２５】
図２３は、図１３の第３実施例における内視鏡制御部５２０の動作のフローチャートである。カプセル内視鏡５０２に電池５３２がセットされるとフローがスタートし、ステップＳ１６２で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップＳ１５４で撮像レンズ５０８が広角およびパンフォーカス状態に設定される。次いでステップＳ１６６では、赤、緑、青および赤外の全てのＬＥＤが所定の順所で順次輪番で発光するよう設定される。そしてステップＳ１６８でこれらの設定が行われている状態であることを外部送信し、体外モニタ５０４に報告する。
【０１２６】
次にステップＳ１７０で撮像処理、ステップＳ１７２で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップＳ１７４に進み、動作停止信号を体外モニタ５０４から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップＳ１７６に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップＳ１７８に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップＳ１６４に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップＳ１６６以下の動作に進む。
【０１２７】
一方、ステップＳ１７８で変更されたモードがカラー・赤外モードでなかったときはステップＳ１８０に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップＳ１８２でレンズの画角を狭角（望遠）にするとともに可視光フォーカス状態に設定するとともに、ステップＳ１８４で可視光のＬＥＤのみが順次輪番で発光するよう設定する。そして、ステップＳ１８６でこれらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２８】
また、ステップＳ１８０で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップＳ１８８に移行し、レンズの画角を狭角（望遠）にするとともに赤外光フォーカス状態に設定する。さらにステップＳ１９０で赤外ＬＥＤのみが発光するよう設定する。そして、ステップＳ１８６に移行し、これらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２９】
図２４は、図２３のステップＳ１７０における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１９２でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップＳ１９４に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップＳ１９６に進み、蓄積電荷の読出し開始処理を行う。さらにステップＳ１９８でＬＥＤの発光停止を指示する。さらにステップＳ２００で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップＳ２００を繰り返しながら完了を待つ。
【０１３０】
ステップＳ２００で読出し完了が検知されるとステップＳ２０６に進み残留電荷の掃捨て開始処理を行ってステップＳ２０８のＬＥＤ選択処理に移行する。これは次に発光すべきＬＥＤを選択する処理であるがその詳細は後述する。さらにステップＳ２１０ではステップＳ２０８で選択されたＬＥＤの発光開始を指示する。次にステップＳ２１２では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップＳ２１２を繰り返しながら完了を待つ。
【０１３１】
ステップＳ２１２で蓄積電荷の掃捨て完了が検知されるとステップＳ２１４に移行し、露光を開始するとともにステップＳ２１６で露光時間のカウントを開始し、フローを終了する。一方、ステップＳ１９４で露光時間が完了していなければ直ちにフローを終了する。また、ステップＳ１９２でモードの選択または変更が検出されるとステップＳ２１８に移行し、撮像処理のイニシャライズを行ってステップＳ２０８のＬＥＤ選択処理に進む。
【０１３２】
図２５は、図２４のステップＳ２０８におけるＬＥＤ選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２２２で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップＳ２２４に進み、図２４のステップＳ２１８によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップＳ２２６に進み、前回に選択されたＬＥＤ記憶を読み出す。そしてステップＳ２２８で読み出された記憶に基づき前回発光したのが赤ＬＥＤであったかどうかチェックする。該当しなければ、さらにステップＳ２３０で前回したのが緑ＬＥＤであったかどうかチェックする。
【０１３３】
ステップＳ２３０で前回発光が緑ＬＥＤでなかったときはステップＳ２３２に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３４に進み、次の順番に当たる赤ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３４】
一方、ステップＳ２３２で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３８に進み、次の順番に当たる赤外ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３５】
また、ステップＳ２２８で前回発光したのが赤ＬＥＤであったときはステップＳ２４２に進み、次の順番にあたる緑ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。さらに、ステップＳ２２２で赤外モードであったときはステップＳ２４４に進み、赤外ＬＥＤを選択する。そして赤外モードの場合は選択されるのは常に赤外ＬＥＤであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップＳ２２４で撮像処理のイニシャライズが行われていたときはステップＳ２４２に進み最初の発光ＬＥＤとして緑ＬＥＤを選択する。
【０１３６】
図２６は、図２３のステップＳ１７２における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２５２でデータの送信中かどうかのチェックを行う。送信中でなければステップＳ２５４に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップＳ２５６でこれを画像バッファより消去してステップＳ２５８に移行する。一方、ステップＳ２５４で送信成功データがなければ直接ステップＳ２５８に移行する。
【０１３７】
ステップＳ２５８では、ＡＤ変換が完了したかどうかチェックし、該当すればＡＤ変換したデータを画像バッファに格納してステップＳ２６２に移行する。一方、ＡＤ変換が終了していなければ直接ステップＳ２６２に移行する。ステップＳ２６２では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップＳ２６４で通信状態がＯＫかどうかチェックする。そしてＯＫであればステップＳ２６６で画像バッファからＦＩＦＯ（先入れ先出し）でデータを読出し、ステップＳ２６８で読み出したデータの送信開始を指示してフローを終了する。なお、ステップＳ２５２でデータ送信中であったとき、ステップＳ２６２で画像バッファにデータの格納がなかったとき、またはステップＳ２６４で通信状態がＯＫでなかったときはそれぞれ直ちにフローを終了する。
【０１３８】
図２７は、図１３の第３実施例における体外モニタ５０４のモニタ制御部５４０の動作を示すフローチャートであり、カプセル内視鏡５０２との通信開始でフローがスタートする。フローがスタートするとステップＳ２７２で画像データの新着の有無をチェックする。新着データがあればステップＳ２７４に進み、新着データが完全かどうかチェックする。そして完全であればステップＳ２７６に進んでこれを画像バッファ５３８に格納するよう支持してステップＳ２７８に移行する。なお、ステップＳ２７２でデータの新着がないか、またはステップＳ２７４で新着データが完全でなかったときはいずれもステップＳ２７２に戻る。
【０１３９】
ステップＳ２７８では、赤外モードであるかどうかチェックし、該当しなければステップＳ２８０でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップＳ２８２に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップＳ２８４に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップＳ２８６に移行する。ステップＳ２８４の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
【０１４０】
ステップＳ２８６では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップＳ２９０に進み、新着データ直前の可視２色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の３色が揃うからステップＳ２９２に進み、保管カラー画像を作成する指示をしてステップＳ２７２に戻る。ステップＳ２９２の指示によって作成される画像は、図１９のカラー補間画像Ｉ１またはＩ２に相当する。
【０１４１】
ステップＳ２７８で赤外モードであったときは新着データは赤外画像データであるからステップＳ２９４に移行し、赤外画像の作成を指示してステップＳ２７２に戻る。また、ステップＳ２８２で新着データが赤外画像データであったときもステップＳ２９４に移行する。一方、ステップＳ２８６で新着データが青画像データであったときはステップＳ２９６に進み、直前の２色（この場合は赤および緑）の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する３色が揃うのでステップＳ２９８に進み、カラー画像作成の指示を行ってステップＳ２７２に戻る。この指示によって作成される画像は、図１９のカラー画像Ｆ１またはＦ２に該当する。
【０１４２】
また、ステップＳ２８０でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップＳ２９６に移行し、直前の可視２色データが格納されているかどうかのチェックに入り、直前２色があればステップＳ２９８のカラー画像作成を指示する。この指示によって作成される画像は、図２１のカラー画像Ｆ１、Ｆ２、Ｆ３等に該当する。なお、ステップＳ２９０またはステップＳ２９６で直前の可視２色データの格納がなかったときは直ちにステップＳ２７２に戻る。
【実施例４】
【０１４３】
図２８は、本発明の第４実施例の動作タイミングの関係を示すタイミングチャートである。第４実施例は基本的には図１３から図１７に示す内視鏡システムと共通の構成なので、以下の説明では、図１３のブロック図の符号を適宜用いて説明する。第４実施例が第３実施例と異なるのは、ＣＩＧＳ撮像センサの構成およびＬＥＤの発光タイミングである。すなわち、第３実施例のＣＩＧＳセンサ５１０はカラーフィルタを有さず、色の分解はＬＥＤの時分割発光によっていたが、第４実施例のＣＩＧＳ撮像センサ５１０は、図７から図１０に示すようなカラーフィルタを有し、第１実施例および第２実施例と同様にしてＣＩＧＳ撮像センサ自体で色分解を行う。そして、ＬＥＤの発光は時分割ではなく全色同時に行われる。
【０１４４】
図２８は、このような第４実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤ＬＥＤ、全ての緑ＬＥＤ、すべての青ＬＥＤおよびすべての赤外ＬＥＤは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各ＬＥＤは、図２８のように点滅発光するかわりに連続発光しても差し支えない。なお、図２８のカラー・赤外モードにおいては、撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図１８のカラー・赤外モードの場合と共通である。
【０１４５】
図２９は、第４実施例のカプセル内視鏡５０２における精細カラーモードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図２９に明らかなように、すべての赤ＬＥＤ、全ての緑ＬＥＤおよびすべての青ＬＥＤが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外ＬＥＤは発光しない。図２９のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図２０の精細カラーモードの場合と共通である。
【０１４６】
第４実施例における赤外モードのタイミングチャートは、第３実施例における図２２と共通である。また、赤外モードにおける撮像レンズ５０８の画角がレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図２２の赤外モードと共通である。第４実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第３実施例と共通である。
【０１４７】
なお、上記第３実施例および第４実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図１３のアンテナ５３０および５４６による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、ＣＩＧＳ画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図１４から図１７の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第３実施例および第４実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
【実施例５】
【０１４８】
図３０は、本発明の第５実施例のブロック図であり、車両用監視装置を構成している。その車両監視機能は、衝突防止のための車両前後の車間距離の検知機能およびドライブレコーダとしての車両前後の画像撮影記録機能である。また検知された車間距離はドライブレコーダに記録されるとともに、画像撮影のためのフォーカス調整にも利用される。図３０において、車両６０２は、ガソリンエンジン車または電気自動車またはガソリンエンジンとモータを併用するいわゆるハイブリッドタ車のいずれかとして構成される。
【０１４９】
車両６０２は、車両全体を制御するコンピュータからなる車両制御部６０４を有し、車両の運転者による操作に応じて、動力６０６およびブレーキ６０８などを有する車両機能部６１０を制御し車両６０２を走行させる。動力６０６はガソリンエンジンまたはモータまたはその両者を含むよう構成される。車両制御部６０４は、車両６０２の制御に必要なソフトウエアおよびデータを格納する記憶部を有する。また、車両制御部６０４は、車内出力部６１２を制御し、その画像出力部６１４によって車両の操作に必要によるＧＵＩ表示を行わせるとともに制御結果の表示を行わせる。また、音声出力部６１６によって運転者へのアナウンスなども行わせる。
【０１５０】
ＧＰＳ部６１８は、ＧＰＳシステムに基づいて衛星および最寄の放送局より車両６０２の絶対位置情報である緯度、経度、および高度の情報を得て車両制御部６０４に送る。カーナビゲーション機能部６２０は、車両制御部６０４経由で得られるＧＰＳ部６１８からの絶対位置情報を処理し、地図上での車両６０２の位置を画像出力部６１４に表示させる。
【０１５１】
次に車両用監視装置に関する構成を必要に応じ上記の構成とも関連づけて説明する。第５実施例は、車両の前方および後方の監視のためにほぼ同様の監視装置を備えている。そこで、まず、車両後方の監視装置について説明する。後方カメラ／センサ６２２は、撮像レンズ６２４およびＣＩＧＳ撮像センサ６２６よりなるカメラおよびマイク６２８を備えており、車両６０２が走行状態にあるとき常時車両前方等の画像および周囲の音が入力される。
【０１５２】
ＣＩＧＳ撮像センサ６２６は、基本的には、これまでの実施例において説明した図３のような特性を有し、図７から図１０で説明したようなカラーフィルタ配列を有するものである。但し、そのカラーフィルタの分光透過率については実施例５特有の特徴を有し、赤透過フィルタ、青透過フィルタおよび緑透過フィルタおよびはそれぞれの狭い可視光領域の光を透過させるバンドパスフィルタとなっているとともに赤外光透過フィルタについては、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタとなっている。ソーラーブラインドとは地球に到達した太陽光のうち大気の吸収によって地表には到達しえないか到達しても微弱となる波長領域であり、例えば、１１００ｎｍ近辺にこのような領域があることが知られている。実施例５では、図３のようなＣＩＧＳセンサの受光感度と上記のようなフィルタの組合せにより、赤、青、緑画素によって可視光画像を撮影するとともに、赤外画素によって太陽光の有無にかかわらない距離検知を行うものである。その詳細については後述する。
【０１５３】
赤外ビームスキャナ６３０は、監視記録制御部６３２の制御下でソーラーブラインド領域の赤外光ビームを投射し、車両後方をスキャンする。投射された赤外光ビームが後続車両によって反射されると、これがＣＩＧＳ撮像センサ６２６の赤外画素によって受光される。ＣＩＧＳセンサ６２６の画像信号は、後方センサドライバ６３４を介して後方画像処理部６３６によって処理され、赤外ビームの反射位置が検知される。監視記録制御部６３２は、後方画像処理部６３６が検知した反射位置情報およびその時の赤外光ビーム投射角度から、この赤外光ビームを反射した後続車両までの車間距離を算出する。監視記録制御部６３２は算出した車間距離に応じて後方ＡＦ（オートフォーカス）制御部６３８を制御し、ＡＦ駆動部６４０により撮像レンズ６２４を駆動させて赤外光ビームを反射した後続車両に対し、可視光でのピントを合わせる。
【０１５４】
一方、上記のようなピント合わせに基づきＣＩＧＳ撮像センサ６２６の可視光画素により検知された可視光画像情報は、後方センサドライバ６３４を介して後方画像処理部６３６によって可視画像に処理され、監視記録制御部６３２を介してマイク６２８からの音声情報とともにＦＩＦＯ（先入れ先出し記録部）６４２に入力される。ＦＩＦＯ（先入れ先出し記録部）６４２は、２０秒程度の容量の不揮発性バッファメモリを備えており、後方画像処理部６３６およびマイク６２８から入力された画像および音の情報を先入れ先出しで記憶する。つまり最新２０秒の情報が常時上書き記憶され続ける。
【０１５５】
そして、異常加速度検知部６４４が衝突などによる大きな加速度変化を検知したとき、または特に記録を指示する手動操作があったとき、ＦＩＦＯ６４２の記録が証拠として保全されることになる。具体的には、監視記録制御部６３２は、車両制御部６０４と連記しており、異常加速度検知部６４４による異常加速度検知または手動操作が車両制御部６０４を介して監視記録制御部６３２に伝えられると、後方画像処理部６３６およびマイク６２８が破壊されずに情報入力が継続していれば、その時点からさらに１０秒程度のＦＩＦ０６４２への記憶を続ける。これによってＦＩＦＯ６４２には、加速度変化の検知または手動操作の時点の前後それぞれ１０秒程度の画像および音情報が最終的に保持される。そして、この前後１０秒程度の画像および音情報は、不揮発性の記録部６４６に自動転送され証拠として保存される。これによってドライブレコーダ機能が達成される。なお、衝突等でドライブレコーダ機能の大半が破壊された場合でも、不揮発性のＦＩＦＯ６４２さえ無事ならば、事故前２０秒程度の記録が保全されることになる。
【０１５６】
なお、後続車両の画像を記録する場合、車間距離が短くなると後続車両のナンバーはもちろんのことフロントガラスを介して前部座席の運転者等の顔も鮮明に記録されることになる。これらの画像は、異常がない限り、ＦＩＦＯで２０秒後には捨てられることにはなるが、プライバシー問題への配慮のため、後続車両が所定以上に車間距離を詰めてきたことを監視記録制御部６３２が検出するとこれを車両制御部６０４に送る。車両制御部６０４はこれに応答して、後方車ドラレコ（ドライブレコーダ）告知表示部６４８により、車両６０２の後部窓に「後方撮影中です」などの告知表示を行わせる。これは、万一のトラブルを軽減するための事前告知となるとともに、撮影を嫌う後続車両に自発的に適切な車間距離をとらせることが期待できる。さらに、
【０１５７】
第５実施例は、以上説明した後方監視装置と同様の監視装置を車両前方にも備えている。その構成は後方監視装置と共通なので、対応する構成については７００番台で１０の位および１の位が同じ番号を付し、特に必要ない限り説明は省略する。なお、前方監視装置の前方画像処理部７３６からの前方可視光画像情報は、後方可視光画像と同様にしてＦＩＦＯ６４２および記録部６４６に記録される。このためＦＩＦＯ６４２および記録部６４６はそれぞれ後方用および前方用の記録領域を有する。
【０１５８】
なお、前方監視装置の場合、自車両６０２が所定以上に前方車両への車間距離を詰めてしまったことを監視記録制御部６３２が検出し、これが車両制御部６０４に送られたときは、車内出力部６１２の音声出力部６１６に「車間距離をとってください」などの警告アナウンスを行わせるとともに、居眠り等により車間距離が危険領域にまで縮まったときは、ブレーキ６０８を自動的に作動させ、衝突を防止する。
【０１５９】
図３１は、後方カメラ／センサ６２２の詳細を距離検知原理とともに示したブロック図であり、上面から見た配置概念図となっている。なお、図３０と同一部分には同一番号を付している。図３１において、赤外ビームスキャナ６３０は、レーザまたは発光ダイオードからなりビームを投射するソーラーブラインドビーム光源８０２と、投射ビームを反射して道路面と平行にスキャンさせるためのポリゴンミラー、共振型ガルバノミラーまたは音響光学偏向素子などからなる二次元走査系８０４を有する。なお、ソーラーブラインドビーム光源８０２からのビームは、道路のアップダウンに対応して後続車両をカバーするため、後述のように断面が縦長になっている。なお、同様の目的で道路のアップダウンに対応して水平垂直方向に位置する可能性のある後続車両をカバーするためには、二次元走査系８０４を縦方向のスキャンも含む空間走査系として構成してもよい。
【０１６０】
ＣＩＧＳ撮像センサ６２６の光軸８０６はほぼ車両６０２の中心に配置されるが、二次元走査系８０４による走査ビームの回転中心は、この光軸８０６から離れた位置設けられる。投射ビームの回転中心と光軸８０６の距離はいわゆる三角測距の基線長となるので、原理的には両者間はできるだけ離れているのが望ましい。従って、配置が可能であれば、例えば赤外ビームスキャナ６３０は尾灯の一部に設けるのが好適である。しかしながら、一方で、後方カメラ／センサ６２２を出来るだけユニットとしてコンパクトにまとめることを優先する場合には、精度が保証できる限り、赤外ビームスキャナ６３０とＣＩＧＳ撮像センサを近接して配置するのが好適である。
【０１６１】
後方カメラ／センサ６２２は以上のような構成であるので、例えば後続車両が車両６２２の真後ろの位置８１０に存在した時、角度８１２にある投射ビームの反射光８１４がＣＩＧＳ撮像センサ６２６に向かう。つまり、反射ビーム８１４の像はＣＩＧＳ撮像センサ６２６の光軸８０６上、すなわち画面の左右方向中央に撮像される。この反射ビーム８１４の像の位置と投射ビームの角度の組合せは後続車両の位置８１０によって一義的に決まり、その時の投射ビームの角度８１２は監視記録制御部で把握されているので、投射ビームの角度と反射ビーム８１４の撮像位置の組合せから位置８１０にいる後続車両までの距離が求まることになる。
【０１６２】
同様にして、後続車両が車両６２２の真後ろの位置８１６に存在したときは、角度８１８にある投射ビームによる反射ビーム８２０がＣＩＧＳ撮像センサ６２６に向かう。このときも反射ビーム８２０の像はＣＩＧＳ撮像センサ６２６の画面の左右方向中央に撮像されるが、投射ビームが異なる角度８１８にあるので、後続車がより遠い位置８１６にあることがわかる。なお、後続車が位置８２２にいたときには、位置８１６にいるときと同様、投射ビームが角度８１８にあるときの反射光ビーム８２４の像がＣＩＧＳ撮像センサ６２６に撮像される。しかしこのときの反射光ビーム８２４の撮像位置は、画面の左右中央ではなく、主光線８２６の延長線上の、図３１で画面中央より右側の位置に撮像されるので、位置８２２が位置８１６と混同されることはない。
【０１６３】
図３２は、ＣＩＧＳ撮像センサ６２４によって撮像された画像を車内出力部６１２の画像出力部６１４で見たときの概念図である。図３２（Ａ）は、図３１のような位置に後続車両があるときに対応したものであり、最も近い真後ろの位置８１０にある後続車両とこれによる反射ビーム８１４が観察される。なお、上記のように投射ビームの断面が縦長なので後続車両による反射ビーム８１４の像も縦長形状をしている。また、反射ビーム８１４は、簡単のため位置８１０にいる後続車両の中央にのみ図示しているが、実際には後続車両前面の左端から右端まで投射ビームがスキャンされる間、反射ビームが帯状に検知される。なお、スキャン速度は車両速度よりも充分高速なのでスキャン中の車両位置の動きは無視できる。そこで、このように帯状に車両前面全体に渡っている反射ビームの像から、図３２（Ａ）に示すような反射ビーム８１４の像を求めこれに対応する投射ビームの角度を確定するためには、車両前面に渡っている帯状の反射ビーム像の重心を求める処理が必要である。このような重心を求めて処理することについては後述する。
【０１６４】
図３２（Ａ）では、上記のような位置８１０にいる後続車両と同様にして、より遠い真後ろの位置８１６にある後続車両とこれによる反射ビーム８２０の重心、および右側にずれた位置８２２を走行している後続車両とこれによる反射ビーム８２４の重心が、画像出力部６１４内に図示されている。なお、図３２は概念図であって、説明の都合上、複数の後続車両を同時に鳥瞰的に図示しているが、実際の画像はこれと異なる。つまり、車両６０２および各後続車両が平地を走行している場合、ＣＩＧＳ撮像センサの光軸８０６が道路面に平行に設定されているため、位置８１６にいる後続車両は、その真ん前の位置８１０に後続車両がいる場合、その陰に隠れて全く見えない。また、斜め後方の位置８２２を走行している後続車両は、前方の位置８１０の後続車両と重なって撮像される。なお、このように複数の後続車両が重なっている場合の処理については後述する。
【０１６５】
図３２（Ｂ）は後続車両が位置８２６に示すように異常接近した場合を図示しており、上記のように、このような後続車両に対しては、後方車ドラレコ告知表示部６４８から「後方撮影中です」などの告知表示が行われる。またプライバシーへの配慮のため、異常状態がない限りは、画像に対し、フロントガラス部モザイク処理８２８およびナンバープレートモザイク処理８３０が施される。なお、このモザイク処理は、事故等により異常加速度検知部６４４による異常加速度検知が行われたときには解除される。従って、証拠保全のためには、運転者の顔やナンバープレート等が写った画像が記録されることになる。
【０１６６】
図３３は、第５実施例におけるＣＩＧＳ撮像センサ６２６のフィルタの分光透過特性を説明するためのグラフである。ＣＩＧＳセンサの分光感度（量子効率）８３２は図３（Ａ）と同じものを概念的に示したものである。これに対し、地表における太陽光の分光放射照度８３４は、大気の吸収を受けて櫛歯上に太陽光の分光放射照度が低くなるソーラーブラインド領域を有する。１１００ｎｍ近辺や１４００ｎｍ近辺がこれに相当する。両者を比較すると、ＣＩＧＳセンサは１１００ｎｍ近辺における太陽光のソーラーブラインド領域において高い分光感度を有することがわかる。そこで、第５実施例では、図７から図１０で説明したようなカラーフィルタ配列における赤外光透過フィルタとして、１１００ｎｍ近辺における太陽光のソーラーブラインド領域にピークを持つ分光透過率８３６のバンドパスフィルタを採用する。図３１のソーラーブラインドビーム光源は、このバンドパスフィルタの透過領域に強い分光強度を有するものである。このようにして、ＣＩＧＳ撮像センサ６２６の赤外画素数は、太陽光の存在にかかわらず、赤外ビームスキャナから投射されるビームの反射光を検知できる。
【０１６７】
図３３には、さらに赤透過フィルタ、緑透過フィルタおよび青透過フィルタにそれぞれ採用される狭い可視光領域のバンドパスフィルタの分光透過率８３８、８４０および８４２をそれぞれ図示している。これらの波長域では、地表における太陽光の分光放射照度８３４は充分であり、かつ、ＣＩＧＳセンサの分光感度（量子効率）８３２も極めて高いので、可視光の撮像が可能となる。このように、第５実施例では、赤透過フィルタの分光透過率８３８を含め、すべてのフィルタが狭い領域の波長域を透過させるバンドパスフィルタとなっているので、可視光の撮像およびソーラーブラインド領域の投射ビームによる距離検知を同時に行うことが可能である。なお、撮像レンズ６０４のピント位置は可視光を基準にして行う。この場合、赤外画素についてはピントが合わないが、反射ビームの重心を求める目的からは問題はない。
【０１６８】
図３４は、図３０の第５実施例における監視記録制御部６３２の動作のフローチャートである。フローは、車両６０２が走行を開始するとスタートし、ステップＳ３０２でドライブレコーダ記録の開始を指示するとともに、ステップＳ３０４でソーラーブラインド赤外ビームによるスキャン開始を指示してステップＳ３０６に至る。ステップＳ３０６では、上記の指示に基づいて前方および後方画像処理部から送られる可視画像、前方および後方マイクからの音声、前方および前方の検知距離のＦＩＦＯ記録を指示する。
【０１６９】
次いでステップＳ３０８では、赤外ビームスキャナ６３０からのビーム角度およびＣＩＧＳ撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。この車間距離検知は前方車両および後方車両の両者について行われるものであるが、その詳細は後述する。ステップＳ３０８で前方および後方の車間距離が検知されると、ステップＳ３１０ではこれに基づいて、前方カメラ／センサ７２２および後方カメラ／センサ６２２についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。
【０１７０】
次のステップＳ３１２では、ステップＳ３０８で検知した前方車間距離に基づいて、前方車への異常接近の有無がチェックされる。そして前方車間異常接近が検知されるとステップＳ３１４に進み、ブレーキを安全な強度で自動作動させて減速する指示を行うとともにステップＳ３１６で異常車間距離のアナウンスを指示してステップＳ３１８に移行する。一方、ステップＳ３１２で前方車間異常接近が検知されなければ直接ステップＳ３１８に移行する。ここで、車間距離に応じたよりきめ細かい処理を望む場合は、ステップＳ３１２の車間距離判断を二段階にし、車間距離が比較的大きい時はステップＳ３１６の警告アナウンス指示のみに留めるとともに、車間距離がより短くなったときのみステップＳ３１４のブレーキ自動作動を加えるよう構成する。また、このようなきめ細かい処置にするか図３４通りの一段階の処理にするかを予め選択しておくよう構成することもできる。
【０１７１】
ステップＳ３１８では、ステップＳ３０８で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。そして後方車間異常接近が検知されるとステップＳ３３２０に進み、異常車間距離のアナウンスを指示する。さらに、ステップＳ３２２では、後方車両運転者に見えるよう車両６０２の後部窓に「後方撮影中です」などの告知表示を行わせる。また、ステップＳ３２４では、後方カメラ／センサ６２２が撮像する後方車の画像に対し、フロントガラス部モザイク処理８２８およびナンバープレートモザイク処理８３０を施す指示を出してステップＳ３２６に移行する。一方、ステップＳ３１８で後方車間異常接近が検知されなければステップＳ３２８に進み、ステップＳ３２０からステップＳ３２４に該当する後方車対策を解除してステップＳ３２６に移行する。これは、異常接近状態の検知に対応して後方車との車間距離が広がり、正常状態に復帰したときに必要な処理である。
【０１７２】
ステップＳ３２６では、異常加速度が検知されたかどうかがチェックされ、検知があればステップＳ３３０で後方車フロント／ナンバープレートモザイク処理を解除する。さらにステップＳ３３２では、異常加速度検知後１０秒の画像／音声／距離がＦＩＦＯ６４２に入力されるのを待つとともにこのようにして確保されたＦＩＦＯ６４２における異常加速度検知前後１０秒分の画像／音声／距離を記録部６４６に記録してステップＳ３３４に移行する。一方、ステップＳ３２６で異常加速度が検知されなければ直接ステップＳ３３４に移行する。
【０１７３】
ステップＳ３３４では、車両が停止したかどうかチェックし、停止していなければステップＳ３０６に戻って、以下ステップＳ３０６からステップＳ３３４を繰り返し、前方カメラ／センサ７２２および後方カメラ／センサ６２２による記録と検知を継続しながら種々の状態に対処する。一方、ステップＳ３３４で車両の停止が検知されるとステップＳ３３６の停車中処理に移行する。車両の事故は、車両の走行中だけでなく、例えば信号で停車中に後方から追突される等のケースもある。停車中処理はこのような車両停止中の事故にたいしても証拠保全するためのものである。
【０１７４】
図３５は、図３４の停車中処理の詳細を示すフローチャートである。図３４のステップＳ３３４から図３５の停車中処理に移行すると、まず、ステップＳ３４２で車両が走行しているかどうかチェックする。ここで走行していることが検知されると図３４のステップＳ３０６に戻る。一方、停車が継続されていることが確認されるとステップＳ３４４に進み、継続して前方および後方画像処理部から送られてきている可視画像、前方および後方マイクからの音声、前方および前方の検知距離のＦＩＦＯ記録を指示する。
【０１７５】
次いでステップＳ３３６では、赤外ビームスキャナ６３０からのビーム角度およびＣＩＧＳ撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。これは、図３４のステップＳ３０８と同じ処理である。ステップＳ３４６で前方および後方の車間距離が検知されると、ステップＳ３４８ではこれに基づいて、前方カメラ／センサ７２２および後方カメラ／センサ６２２についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。これも図３４のステップＳ３１０と同じものである。
【０１７６】
次のステップＳ３５０では、ステップＳ３０８で検知した前方車間距離に基づいて、前方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準は図３４のステップＳ３１２よりも近接した距離である。既に車両６０２は停車しているので、このような場合は、前方車が気付かずバックしてきた場合などに相当する。従って、停車前提前方車間異常接近が検知されるとステップＳ３５２に進み、自動的にクラクションを作動させて前方車に注意を促し、ステップＳ３５４に移行する。一方、ステップＳ３５２０で停車前提前方車間異常接近が検知されなければ直接ステップＳ３５４に移行する。
【０１７７】
ステップＳ３５４では、ステップＳ３０８で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。このチェック基準は図３４のステップＳ３１８と同じものである。但しここで後方車異常接近が検地されたときは、図３４のような警告アナウンス指示や後方車ドラレコ告知表示指示は行わず、ステップＳ３５６の後方車フロント／ナンバーモザイク処理のみを行ってステップＳ３５８に移行する。これは、信号待ち停車等においては後方車との車間距離が短くなるのが当然であり、このような状態での警告アナウンス指示は無用であるとともに、後方車ドラレコ告知表示指示はかえって後方車とのトラブルの原因になるからである。そこで、後方車フロント／ナンバーモザイク処理によるプライバシー配慮のみに留めている。一方、ステップＳ３５６で後方車間異常接近が検知されなければステップＳ３６０に進み、後方車対策を解除してステップＳ３５８に移行する。これは、自車両停車時に後方車が遠くにいる状態において後方車フロント／ナンバーモザイク処理を解除するためである。
【０１７８】
ステップＳ３５８では、ステップＳ３０８で検知した前方車間距離に基づいて、後方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準はステップＳ３５４におけるよりも近接した距離である。そしてこのような異常接近が検知されるとステップＳ３６２に進み、フットブレーキを自動作動させてステップＳ３６４に移行する。これは、サイドブレーキのみで停車している場合において、万一追突された場合に車両の停止能力を高めてショックを少しでも軽減するためである。一方、ステップＳ３５８で停車前提後方車間異常接近が検知されなければ直接ステップＳ３６４に移行する。
【０１７９】
ステップＳ３６２では、異常加速度が検知されたかどうかがチェックされ、検知があればステップＳ３６６で後方車フロント／ナンバープレートモザイク処理を解除する。さらにステップＳ３６８では、異常加速度検知後１０秒の画像／音声／距離がＦＩＦＯ６４２に入力されるのを待つとともにこのようにして確保されたＦＩＦＯ６４２における異常加速度検知前後１０秒分の画像／音声／距離を記録部６４６に記録してステップＳ３３４に移行する。これらは図３４のステップＳ３３０およびステップＳ３３２と同じである。一方、ステップＳ３６４で異常加速度が検知されなければ直接ステップＳ３７０に移行する。
【０１８０】
ステップＳ３７０では、動力が停止したかどうかチェックし、停止していればステップＳ３７２に進んで、前方カメラ／センサ７２２および後方カメラ／センサ６２２からの信号に基づく前方画像処理部７３６および後方画像処理部６３６の画像処理により、画像中に動体が写っていない状態が所定時間以上続いているかどうかチェックする。そして動体が検知されればステップＳ３４２に戻り、以下ステップＳ３４２からステップＳ３７２を繰り返し、前方カメラ／センサ７２２および後方カメラ／センサ６２２による記録と検知を継続しながら種々の状態に対処する。ステップＳ３７２で動体が検知されたときステップＳ３４２に戻るのは、車両６０２が停車しかつ動力が停止させられていても周囲に走行中の車両があれば事故に巻き込まれるおそれがあるのでその場合の証拠保全を行うためである。一方、ステップＳ３７２で所定時間以上動体検知がなければ車両６０２が車庫など安全な位置に格納されたことを意味するのでフローを終了する。なお、ステップＳ３７０で動力が停止していないことが検知された時もステップＳ３４２に戻り、前方カメラ／センサ７２２および後方カメラ／センサ６２２による記録と検知を継続しながら種々の状態に対処する。
【０１８１】
図３６は、図３４のステップＳ３０８および図３５のステップＳ３４６における車間距離検知処理の詳細を示すフローチャートである。このフローは前方カメラ／センサ７２２の画像および後方カメラ／センサ６２２のそれぞれについて実施されるものであるが、以下の説明では簡単のため、後方カメラ／センサ６２２からの画像についての処理として説明する。フローがスタートすると、ステップＳ３８２で可視光画像の処理が行われる。そしてこの処理に基づき、ステップＳ３８４で車両６０２と同一車線内後方に車両画像があるかどうかチェックする。そして画像があればステップＳ３８６に進み、その画像の対象性をチェックする。これは複数の車両が重なって写っていないかどうかチェックすることを意味する。対象性がなければ、ステップＳ３８８に進み、予め用意された何パターンかの車両重なり画像とそれぞれマッチングを行う。
【０１８２】
次いで、ステップＳ３８６では一致するパターンが見つかりそのパターンに基づいて重なっている複数の車両のうちの最も近いもののみの画像が分離できたかどうかチェックし、分離が出来ればステップＳ３９２に移行する。一方、ステップＳ３８６で車両画像に対称性があれば重なりはないものとして直接ステップＳ３９２に移行する。そして、ステップＳ３９２で分離した単独車両の画像の大きさからその車両の距離を判断する。しかしながら、この距離判断は車両自体に軽自動車から大型バス等にわたる大きさのばらつきがあるためあくまで大まかなものである。さらにステップＳ３９４では、分離した単独車両の可視光画像における重心を検知してステップＳ３９６に移行する。
【０１８３】
ステップＳ３９６では、ソーラーブラインド画素の画像処理が行われる。そして、ステップＳ３９８において、出力が所定以上の画像群があるかどうかのチェックが行われる。これは、後方をスキャンしているソーラーブラインド領域の投射ビームが後方車両により反射されこれが後方カメラ／センサ６２２のソーラーブラインド画素で検知されているかどうかをチェックしていることに相当する。車両等の近接物体がない限り、投射ビームの反射光が所定以上の強度をもつことはないからである。
【０１８４】
ステップＳ３９８で出力所定以上の画素群があればステップＳ４００に進み、画素群の中にステップＳ４９４で検知した可視光画像重心に一致する部分があるかどうかチェックする。そして該当する部分があれば、これを反射ビームの重心と看做し、ステップＳ４０２においてこの反射ビーム重心の元になった投射ビームの角度情報を取得する。これによって、ステップＳ４０４では、ステップＳ４０２で得た投射ビーム角度およびステップＳ３９４で得た画像重心位置より投射ビームを反射した車両までの距離を仮決定する。このようにして仮決定された距離は、次のステップＳ４０６においてステップＳ３９２で求めた画像大きさに基づく距離に矛盾しないかどうかチェックする。そして矛盾がなければステップＳ４０４で仮決定した距離を正式に検知車両までの距離として本決定しフローを終了する。
【０１８５】
一方、ステップＳ４０６で距離に矛盾があればステップＳ４１０に進み、画像処理が所定回数以上行われたかどうかチェックして、まだ所定回数の達していなければステップＳ３８２に戻り、可視光画像処理から処理をやり直す。このようにして、ステップＳ４０６で画像大きさ距離に矛盾しないソーラーブラインド検知距離が求まったことが確認されるか又はステップＳ４１０で画像処理が所定回数以上行われたことが検知されない限りステップＳ３８２からステップＳ４１０が繰り返される。なお、ステップＳ３８４で同一車線内車両画像が検知されなかったとき、またはステップＳ３９０で重なり画像から単独車両が分離できなかったとき、またはステップＳ３９８で出力が所定以上のソーラーブラインド画素がなかったとき、またはステップＳ４００でソーラーブラインド画素群に可視光画像重心と一致する部分がなかったときは、いずれも直ちにステップＳ４１０に移行し、画像処理の繰り返しに入る。
【０１８６】
これに対し、ステップＳ４１０で距離の本決定ができないまま画像処理が所定回数以上くりかえされたことが検知されたときはステップＳ４１２に進み、ステップＳ３９２により画像大きさ距離の有無をチェックする。そして、画像大きさ距離があればステップＳ４１４に進んでそのうちの最新の画像大きさ距離を採用してフローを終了する。一方、ステップＳ４１２で画像大きさ距離がなかった時はステップＳ４１６に進み、無限遠から中近距離までの車両後方の大半にピントが合うパンフォーカス距離を採用してフローを終了する。これによって、少なくとも図３４のステップＳ３１０または図３５のステップＳ３４８のカメラＡＦのための何らかの距離を決定してフローが終了される。
【実施例６】
【０１８７】
図３７は、本発明の第６実施例の車両用監視装置の後方カメラ／センサの詳細を距離検知原理とともに示したブロック図である。第６実施例は、図３０の全体構成ブロックを含め基本的には第５実施例と共通の構成を有しているが、前方カメラセンサおよび後方カメラ／センサにおけるＣＩＧＳセンサ周辺の構成が若干異なるなるものである。図３７には、図３１の第５実施例と同様にして代表として後方カメラ／センサ９２２を図示しているが、第５実施例と共通する部分には図３１と共通の番号を付し、特に必要ない限り、説明は省略する。
【０１８８】
第６実施例のＣＩＧＳ撮像センサ９２６はカラーフィルタの構成が異なり、赤透過フィルタは狭い領域を透過させるバンドパスフィルタではなく、赤より長波長側を透過させるローパスフィルタが採用されている。また、赤外光透過フィルタについても、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタではなく、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっている。これらのローパスフィルタは、バンドパスフィルタよりも構成が簡単である。このため、まずソーラーブラインド領域より長波長側をカットするための、固定ハイパスフィルタ９０１がＣＩＧＳセンサ９２６への光路中に設けられる。さらに、赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットする可動帯域カットフィルタ９０３がＣＩＧＳセンサ９２６への光路中に設けられる。これらの組合せにより、結果的に図３３と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる。
【０１８９】
第６実施例はさらに、赤外撮影が可能となっている。このためには、可動帯域カットフィルタ９０３がＣＩＧＳ撮像センサ９２６への光路から退避させられ、代わりに、可視光領域をカットして赤外領域を透過させる可動ローパスフィルタ９０５がＣＩＧＳセンサ９２６への光路中に設けられる。可動帯域カットフィルタ９０３および可動ローパスフィルタ９０５の差し換えはフィルタ駆動部９０７が行う。平均照度検知部９０９は、ＣＩＧＳセンサの可視光出力に基づき、平均照度が小さくなったとき、すなわち夕暮から夜間に相当する状況になったものと判断し、フィルタ駆動部９０７に指示して、可動帯域カットフィルタ９０３を可動ローパスフィルタ９０５に自動切換えさせる。さらに、コントラスト検知部９０９は、ＣＩＧＳセンサの可視光出力に基づき、コントラストが小さくなったとき、雨や霧で視界が悪くなったものと判断し、フィルタ駆動部９０７に指示して、可動帯域カットフィルタ９０３を可動ローパスフィルタ９０５に自動切換えさせる。
【０１９０】
以上のようにして、第６実施例はでは、暗いときまたは視界が悪い時において、可視光撮影を赤外光撮影に自動切換えすることができる。なお、平均照度検知部９０９およびコントラスト検知部９０９は、ＣＩＧＳセンサの赤外光出力に基づき、平均照度またはコントラストが大きくなったとき可動ローパスフィルタ９０５を可動帯域カットフィルタ９０３に自動切換えさせて赤外光撮影から可視光撮影へ切換えさせる。なお、ＡＦ駆動部９４０は上記のようなフィルタの差し換えに連動し、赤外撮影が行われるときはピント合わせに赤外補正を加える。
【０１９１】
図３８は、第６実施例におけるＣＩＧＳ撮像センサ６２６のフィルタの分光透過特性を説明するためのグラフであり、図３８（Ａ）は可視光撮影の状態、図３８（Ｂ）は赤外光撮影の状態をそれぞれ示している。ＣＩＧＳセンサの分光感度８３２、太陽光の分光放射照度８３４、緑透過フィルタの分光透過率８４０のおよび青透過フィルタの分光透過率８４２はそれぞれ図３３と同じである。これに対し、赤透過フィルタの分光透過率９３２は、赤より長波長側を透過させるローパスフィルタとなっている。また、赤外光透過フィルタの分光透過率９３６は、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっており、図３８（Ｂ）からわかるようにソーラーブラインド領域よりも短波長側の近赤外領域を比較的広く透過させている。さらに、固定ハイパスフィルタ９０１の分光感度は、ソーラーブラインド領域より長波長側をカットするハイパスフィルタとなっている。
【０１９２】
以上のような構成において、図３８（Ａ）では、斜線部に示すように、可動帯域カットフィルタ９０３が赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットしている。この結果、図３３と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる合成分光透過率が達成されている。なお、図３８（Ａ）の状態では、赤画素においても赤画像に重畳してソーラーブラインド投射ビームの反射光が感知される。この反射光は予めわかっているビーム投射タイミングでしか感知されないので、このタイミングにおける出力変化から投射ビーム反射光を検知して距離検知情報に利用することもできる。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はない。
【０１９３】
これに対し、図３８（Ｂ）では、可動帯域カットフィルタ９０３が除去され、斜線部に示すように、可動ローパスフィルタ９０５が可視光領域をカットしている。この結果、近赤外のかなり広い帯域の光が赤外画素に入射することになる。これによって太陽光を光源とするものも含めた赤外光による撮像が可能となる。また、ソーラーブラインド領域の光も入射可能なので、投射ビームによる距離測定も可能である。ここで図３８（Ｂ）の状態では赤画素は赤外画素とほぼ同じ分光透過率を持つことになるので、赤外撮影においては、赤画素を赤外画素と看做して撮像情報に活用することができる。
【０１９４】
なお、第６実施例において広い帯域の近赤外光を入射させることによる収差およびピント位置のずれが問題になるときは、赤外光透過フィルタの分光透過率９３６のカットオフ波長を例えば１０００ｎｍ程度としてソーラーブラインド領域に近づけるとともに、可動ローパスフィルタ９０５のカットオフ波長もこれに対応して１０００ｎｍ程度にシフトさせ、短波長側の近赤外光をカットするようにする。これによって赤外光撮影の帯域を狭くし、収差およびピント位置のずれを軽減す売ることができる。但し、これによって赤外光撮影の光量が低下するので両者の兼ね合いから赤外光撮影の透過帯域幅を決定する。また、目的に応じ、そのピークをどこにするかの選択も可能である。
【０１９５】
図３９は、図３７の第６実施例における監視記録制御部６３２の動作のフローチャートである。その内容は、図３４の第５実施例におけるフローチャートと共通するところが多いので、共通するところには同一のステップ番号を付すとともに、図３４と関係付けて説明する。まず、図３９におけるステップＳ３０２からステップＳ３０８、ステップＳ３３４は図３４の同一番号ステップと同じである。また、図３９のステップＳ４２２における車両異常接近処理は、図３４のステップＳ３１２からステップＳ３２４およびステップＳ３２８をまとめたものであって、その内容は同一である。同様に、図３９のステップＳ４２４における異常加速度検知処理は、図３４のステップＳ３２６、ステップＳ３３０およびステップＳ３３２をまとめたものであって、その内容は同一である。そして、図３４のステップＳ３１０の部分が、図３９のステップＳ４２６からステップＳ４４２に置き換わっている。なお、図３９のステップＳ４４４における停車中処理の内容は、図３５のステップＳ３４８の部分を図３９のステップＳ４２６からステップＳ４４２に置き換えたものである。
【０１９６】
以上の前提のもとで、図３９のステップＳ４２６からステップＳ４４２について説明する。これらの部分は、図３７で説明した可動ローパスフィルタ９０５と可動帯域カットフィルタ９０３の自動切換えおよび、これに連動するＡＦ駆動部９４０の赤外補正に関するものである。図３９において、ステップＳ３０８で前方および後方の車間距離が検知されると、ステップＳ４２６では手動で赤外撮影が選択されたかどうかチェックする。選択がなければステップＳ４２８に移行し、平均照度検知部９０９により検知される照度が所定以下かどうかチェックする。照度が所定以下でなければさらにステップＳ４３０でコントラスト検知部９１１により検知されるコントラストが所定以下であるかどうかチェックする。
【０１９７】
ステップＳ４３０でコントラストが所定以下であると判断されたときはステップＳ４３２に進み、可視光帯域をカットする可動ローパスフィルタ９０５を挿入する指示をフィルタ制御部９０７に行う。なお、ステップＳ４２６で手動赤外撮影選択が検知されたとき、またはステップＳ４２８で照度が所定以下であることが検知されたときは直ちにステップＳ４３２に移行する。次いで、ステップＳ４３４では、ＡＦ駆動部９４０に赤外補正つきのカメラＡＦによるピント合わせを行うよう指示する。さらにステップＳ４３６では赤外光画像出力を選択するよう画像処理部に指示してステップＳ４２２に移行する。
【０１９８】
一方、ステップＳ４３０でコントラストについても所定以下でなかったときはステップＳ４３８に移行し、ソーラーブラインド以外の赤外帯域をカットする可動帯域カットフィルタ９０３を挿入する指示をフィルタ制御部９０７に行う。次いで、ステップＳ４４０では、ＡＦ駆動部９４０に赤外補正なしのカメラＡＦによるピント合わせを行うよう指示する。さらにステップＳ４３６では可視光画像出力を選択するよう画像処理部に指示してステップＳ４２２に移行する。
【実施例７】
【０１９９】
図４０は、本発明の第７実施例の車両用監視装置の前方および後方カメラ／センサに用いられるＣＩＧＳ撮像センサのカラーフィルタ配列である。このフィルタ配列は、基本的には原色カラーフィルタにおいて代表的なベイヤー配列と全く同様であって、赤透過フィルタＲ２１（ＩＲ２１）、緑透過フィルタＧ１１、Ｇ２２、および青透過フィルタＢ１２を有する。但し、第７実施例では、後述のようにフィルタ切換えによって赤透過フィルタＲ２１(ＩＲ２１)に該当する画素の出力が赤外光出力としても兼用される。本発明の第７実施例の車両用監視装置の前方および後方カメラ／センサの構成は、図３７に示した第６実施例と共通であり、上記のようにＣＩＧＳ撮像センサ９２６のフィルタ配列のみが異なる。
【０２００】
図４１は、第７実施例におけるＣＩＧＳ撮像センサ６２６のフィルタの分光透過特性を説明するためのグラフであり、図３８の場合と同様にして、図４１（Ａ）は可視光撮影の状態、図４１（Ｂ）は赤外光撮影の状態をそれぞれ示している。ＣＩＧＳセンサの分光感度８３２、太陽光の分光放射照度８３４、緑透過フィルタの分光透過率８４０、青透過フィルタの分光透過率８４２、赤透過フィルタの分光透過率９３２、固定ハイパスフィルタ９０１の分光感度および可動帯域カットフィルタ９０３の分光感度は、それぞれ図３８（Ａ）と同じである。つまり、第７実施例では、上記のＣＩＧＳ撮像センサのカラーフィルタ配列により、赤外専用の画素が除かれたことだけが第６実施例と異なる。
【０２０１】
この結果、図４１（Ａ）の状態では、図４０のＲ２１（ＩＲ２１）とうに該当する分光透過率９３２の赤画素に赤画像に重畳してソーラーブラインド投射ビームの反射光が感知されることになる。第７実施例ではソーラーブラインド反射光検出のための専用画像を持たないので、赤画素の赤画像出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離する。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はないことは第６実施例と同様である。
【０２０２】
これに対し、図４１（Ｂ）では、可動帯域カットフィルタ９０３が除去され、斜線部に示すように、可動ローパスフィルタ９０５が可視光領域および１０００ｎｍ近辺までの近赤外領域をカットしている。この結果、分光透過率９３２の赤画素には１０００ｎｍから１１００ｎｍ近辺までの太陽光に基づく赤外光およびソーラーブラインド投射ビームの反射光が検知される。ここでも、赤画素の赤外光出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、図４１（Ａ）の場合と同様、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離することができる。
【０２０３】
なお、図４１（Ｂ）において、可動ローパスフィルタ９０５が可視光領域および１０００ｎｍ近辺までの近赤外領域をカットしている例を示したが、これは第７実施例に特有のことではない。既に第６実施例において、収差およびピント位置の問題への対処のため可動ローパスフィルタ９０５のカットオフ波長を１０００ｎｍ程度にシフトさせることについて説明したが、図４１（Ｂ）はこのような構成を採用した例を具体的に示したものである。第７実施例においても、ソーラーブラインド反射光成分の分離、および収差およびピント位置のずれの観点で問題がない場合は、第６実施例と同様にして、赤外撮影状態における可動ローパスフィルタ９０５のカットオフ波長を短波長側にシフトしてもよい。
【実施例８】
【０２０４】
図４２は、本発明の第８実施例の車両用監視装置の前方および後方カメラ／センサに用いられるＣＩＧＳ撮像センサのカラーフィルタの分光透過特性を説明するためのグラフである。第８実施例は、基本的には第７実施例と同様の構成を持つ。すなわちＣＩＧＳ撮像センサのフィルタ配列は、図４０に示すようなベイヤー配列であり、第７実施例と同様にしてフィルタ切換えにより赤透過フィルタＲ２１に該当する画素の出力が赤外光出力としても兼用される。また、第７実施例と同様にして、車両用監視装置の前方および後方カメラ／センサの構成は、図３７に示した第６実施例と共通のものである。図４２の第８実施例が第７実施例と異なるのは、ソーラーブラインドビーム反射光検知による距離検知機能を省略し、専ら可視光による通常昼間の可視光ドライブレコーダおよび夜間または霧中などにおける赤外光ドライブレコーダの自動切換えに機能を絞った点にある。
【０２０５】
第８実施例においても、図３８および図４１と同様にして、図４２（Ａ）は可視光撮影の状態、図４２（Ｂ）は赤外光撮影の状態をそれぞれ示している。また、図４２において、ＣＩＧＳセンサの分光感度８３２、太陽光の分光放射照度８３４、緑透過フィルタの分光透過率８４０、青透過フィルタの分光透過率８４２、赤透過フィルタの分光透過率９３２、および可動帯域カットフィルタ９０３の分光感度は、それぞれ図４１（Ａ）と同じである。図４２が図４１と異なるのは、固定ハイパスフィルタ９０１が１１００ｎｍ近辺のソーラーブラインド領域を含めこれより長い波長域をカットする分光透過率となっており、ＣＩＧＳセンサのソーラーブラインド領域の感度を利用していない点である。
【０２０６】
これによって、可動帯域カットフィルタ９０３が挿入されている図４２（Ａ）の状態では分光透過率９３２の赤画素に赤画像のみが感知されることになる。これに対し、図４２（Ｂ）では、可動帯域カットフィルタ９０３が除去され、斜線部に示すように、可動ローパスフィルタ９０５が可視光領域および１０００ｎｍ近辺までの近赤外領域をカットしている。この結果、分光透過率９３２の赤画素には１０００ｎｍから１１００ｎｍ近辺までの太陽光に基づく赤外光が検知される。このようにして、ＣＩＧＳセンサの広い分光感度を利用し、ベイヤー配列における赤画素が可視光撮影における赤画像検知および赤外光撮影における赤外画像検知に切換えて利用される。なお、このような第８実施例のＣＩＧＳセンサはドライブレコーダに限らず、第１実施例、第２実施例におけるカメラ、また第４実施例におけるような内視鏡においても採用が可能なものである。
【産業上の利用可能性】
【０２０７】
本発明は、ドライブレコーダなどの車両用の走行情報記録装置を提供するものである。
【符号の説明】
【０２０８】
６２６ 光電変換部
６２４ 撮像レンズ
６４２、６４６ 記録部
９０３ 赤外カットフィルタ
９０５ 可視光カットフィルタ
９０７ フィルタ駆動部
６３２ 制御部
９１１ コントラスト検知部
６４８ 告知部
６３２、６３６ 保護手段
６３０ 赤外光投射部
６３０、６２６、６３６、６３２ 距離検知部
６３２ 判断手段
６４４ 異常加速度検知部
【技術分野】
【０００１】
本発明は、光電変換手段とその活用に関する。
【背景技術】
【０００２】
光電変換手段としては、日々、種々の特性のものが提案されている。さらにこれらの光電変換手段を活用した種々の車両用の走行情報記録装置の提案がなされている。例えば特開２００６−９６３１２号公報（特許文献１）には、車両の前後左右を撮像するカメラと車両の左右および後方の距離情報を各画素毎に取得する赤外線レーザカメラを備え、各カメラからの画像情報と赤外線レーザカメラからの各画素毎の距離情報に基づいて駐車支援情報を提供するとともに少なくとも一つのカメラにより車両走行中に撮像された画像をドライブレコーダとしての記録媒体に記録することが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−９６３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、光電変換手段において提案されている種々の特性はまだ充分活用されているとは言えず、さらに検討すべき課題が多い。
【０００５】
本発明の課題は、上記に鑑み、光電変換手段において提案されている特性の車両用走行情報記録装置への好適な活用を提案することにある。
【課題を解決するための手段】
【０００６】
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の受光部を有する光電変換部と、前記光電変換部に被写体像を結像させる撮像レンズと、前記光電変換部より取得される可視光像および赤外光像を記録する記録部とを有することを特徴とする車両用の走行情報記録装置を提供する。これによって、光電変換部の可視光域から赤外光域に渡る広い感度域が有効に利用され、種々の状況下において走行画像を記録することができる。
【０００７】
本発明の具体的な特徴によれば、光電変換部より可視光像を取得するための赤外光カットフィルタと光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に光電変換部への光路に配するフィルタ駆動部を有するので、種々の状況に応じ光電変換部から可視光像または赤外光像を選択的に取得することができる。
【０００８】
本発明の他の特徴によれば、光電変換部の出力に基づいて出力画像の平均照度を検知する平均照度検知部が設けられ、この平均照度検知部の検知する平均照度に基づいて記録部に可視光像および赤外光像の一方を選択して記録させる、これによって、可視光による撮影を赤外光による暗視撮影に自動的に切換えて車両の走行情報を記録することができる。本発明のさらに他の特徴によれば、光電変換部の出力に基づいて出力画像のコントラストを検知するコントラスト度検知部が設けられ、このコントラスト検知部の検知するコントラストに基づいて記録部に可視光像および赤外光像の一方を選択して記録させる。これによって、可視光による撮影を、霧や雨など見通しの悪い状況に対応する赤外光撮影に自動的に切換えて車両の走行情報を記録することができる。
【０００９】
本発明の他の特徴によれば、青領域に感度を有する複数の受光部と、緑領域に感度を有する複数の受光部と、赤領域および赤外光域に感度を有する複数の受光部が規則的に配列された光電変換部と、光電変換部に被写体像を結像させる撮像レンズと、光電変換部より可視光像を取得するための赤外光カットフィルタと光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に光電変換部への光路に配するフィルタ駆動部と、光電変換部からの画像情報を記録する記録部とを有する車両用の走行情報記録装置が提供される。これによって、赤領域および赤外光域の受光部を兼用した簡単なフィルタ構成により、可視光域から赤外光域に渡る広い感度域を有効に利用した走行画像の記録ができる。上記本発明の具体的な特徴によれば、赤領域および赤外光域に感度を有する複数の受光部は太陽光が大気の吸収によって地表において微弱となる赤外光域においても感度を有するとともに、赤外光カットフィルタおよび可視光カットフィルはいずれも太陽光が大気の吸収によって地表において微弱となる赤外光域の光を透過させる。これによって可視光撮影においても赤外光撮影においても、太陽光が大気の吸収によって地表において微弱となる赤外光域を有効に利用することができる。例えば、太陽光が地表において微弱となる赤外光域の赤外光を投射する赤外光投射部を設け、光電変換部に赤外光投射部から投射された赤外光の反射光を受光するよう構成することができる。
【００１０】
本発明の他の特徴によれば、光電変換部と、車両後方の被写体像を光電変換部に結像させる撮像レンズと、光電変換部より取得される画像を記録する記録部と、車両後方の撮像を後続車両に告知する告知部とを有する車両用の走行情報記録装置が提供される。車両後方を撮影すると後続車両の運転者の顔が記録される可能性があるが、上記のような告知を行うことにより、撮影を嫌う後続車は車間距離を開ければよいことになり、車間距離の維持および後続車とのトラブル回避策として有用である。上記本発明の具体的な特徴によれば、後続車両までの距離を検知する距離検知部が設けられ、告知部は距離検知部に基づいて後続車両への告知を行う。これによって、後続車が車間距離を詰めてきたときなどに有効に告知を行うことができる。さらに具体的な特徴によれば、車両が走行中か否かを判断する判断手段が設けられ、告知部は距離検知部および判断手段に基づいて後続車両への告知を行う。信号待ちなど車両停車中は車間距離が縮まる。上記の構成によって停車中に無意味な告知をしないようにすることで無用なトラブルの種を撒くことを防止できる。
【００１１】
本発明の他の特徴によれば、光電変換部と、車両後方の被写体像を前記光電変換部に結像させる撮像レンズと、光電変換部より取得される画像を記録する記録部と、記録部に記録される車両後方画像にプライバシー保護を施す保護手段を有する車両用の走行情報記録装置が提供される。車両後方を撮影すると後続車両の運転者の顔が記録される可能性があるが、上記のような保護手段により、例えば後続車両画像のフロントガラス部やナンバープレートなどにモザイクをかけるなどのプライバシー保護手段を施すことが可能となり、トラブル回避策として有用である。上記本発明の具体的な特徴によれば、車両に異常加速度がかかったことを検知する異常加速度検知部が設けられ、プライバシー保護手段は異常加速度検知部に基づき後続車両へのプライバシー保護を解除する。これによって事故などの異常事態においては、プライバシー情報も含め記録を証拠として保全することができる。これは裏を返せば、異常事態が起こらない限りプライバシーを保護する保証でもある。
【発明の効果】
【００１２】
上記のように、本発明によれば、光電変換手段において提案されている種々の特性を生かした車両用の走行情報記録装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施例を示すブロック図である。（実施例１）
【図２】図１の測光兼用ＡＦセンサおよびライブビューセンサの構成を関連する部分とともに詳細に示したブロック図である
【図３】図２のＣＩＧＳ撮像センサおよびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度をシリコンのＣＭＯＳセンサと比較したグラフである。
【図４】第１実施例におけるカメラ制御部の動作のフローチャートである。
【図５】本発明の第２実施例を示すブロック図である。（実施例２）
【図６】第２実施例におけるカメラ制御部の動作のフローチャートである。
【図７】図２または図５のライブビューセンサに用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。
【図８】ＣＩＧＳ撮像センサのフィルタ配列の第２例である。
【図９】図８のフィルタ配列を採用したＣＩＧＳセンサの模式断面図である。
【図１０】ＣＩＧＳ撮像センサのフィルタ配列の第３例である。
【図１１】図５の第２実施例においてライブビューセンサの画像を記録する際のカメラ制御部の動作を示すフローチャートである。
【図１２】図１１のステップＳ１０８およびステップＳ１１４に共通して利用できる処理の詳細を示すフローチャートである。
【図１３】本発明の第３実施例を示すブロック図である。（実施例３）
【図１４】第３実施例に採用可能なＬＥＤの配置の第１の例を示す正面図である。
【図１５】第３実施例に採用可能なＬＥＤの配置の第２の例を示す正面図である。
【図１６】第３実施例に採用可能なＬＥＤの配置の第３の例を示す正面図である。
【図１７】第３実施例に採用可能なＬＥＤの配置の第４の例を示す正面図である。
【図１８】第３実施例のカラー・赤外モードでの動作タイミングチャートである。
【図１９】図１８の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２０】第３実施例の精細カラーモードでの動作タイミングチャートである。
【図２１】図２０の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２２】第３実施例の赤外モードでの動作タイミングチャートである。
【図２３】第３実施例における内視鏡制御部の動作のフローチャートである。
【図２４】図２３のステップＳ１７０の詳細を示すフローチャートである。
【図２５】図２４のステップＳ２０８の詳細を示すフローチャートである。
【図２６】図２３のステップＳ１７２の詳細を示すフローチャートである。
【図２７】第３実施例におけるモニタ制御部の動作を示すフローチャートである。
【図２８】本発明の第４実施例のカラー・赤外モードでの動作タイミングチャートである。（実施例４）
【図２９】第４実施例の精細カラーモードでの動作タイミングチャートである。
【図３０】本発明の第５実施例を示すブロック図である。（実施例５）
【図３１】第５実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。
【図３２】第５実施例のＣＩＧＳ撮像センサによって撮像された画像の概念図である。
【図３３】第５実施例におけるＣＩＧＳ撮像センサのフィルタの分光透過特性のグラフである。
【図３４】第５実施例における監視記録制御部の動作のフローチャートである。
【図３５】図３４のステップＳ３３６の詳細を示すフローチャートである。
【図３６】図３４のステップＳ３０８および図３５のステップＳ３４６の詳細を示すフローチャートである。
【図３７】本発明の第６実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。（実施例６）
【図３８】第６実施例におけるＣＩＧＳ撮像センサのフィルタの分光透過特性のグラフである。
【図３９】図３７の第６実施例における監視記録制御部の動作のフローチャートである。
【図４０】ＣＩＧＳ撮像センサのフィルタ配列の第４例であり、本発明の第７実施例に用いられる。（実施例７）
【図４１】第７実施例におけるＣＩＧＳ撮像センサのフィルタの分光透過特性のグラフである。
【図４２】本発明の第８実施例の前方および車両用監視装置に用いられるＣＩＧＳ撮像センサのカラーフィルタの分光透過特性のグラフである。（実施例８）
【発明を実施するための形態】
【実施例１】
【００１４】
図１は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第１実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ２およびこれに交換可能に着脱される交換レンズ４を有している。交換レンズ４のレンズ光学系６から入射した被写体光は、観察位置にあるミラー８で上方に反射され、焦点板１０の位置に結像する。この像はペンタリズム１２で反射された後、アイピース１４で観察され、撮像ための構図決めなどが行われる。
【００１５】
撮影の際には、操作部１５のシャッタレリーズボタンを操作することによって、ミラー８がオートフォーカス用サブミラー１６とともに撮影位置に退避するとともにフォーカルプレーンシャッタ１８が開き、交換レンズ４のレンズ光学系６から入射した被写体光が撮像部２０に結像して撮像される。撮像部２０によって撮像された画像情報は、画像処理部２２で画像処理された後、カメラ制御部２４の制御により画像記憶部２６に記憶される。画像記憶部２６に記憶された画像情報は、適宜媒体スロット２８に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部２６に記憶された画像情報は、カメラ制御部２４の制御により、適宜入出力部３０から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部２４から表示部３２に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
【００１６】
画像再生の際には、操作部１５の操作により、画像記憶部２６または媒体スロット２８に記憶された画像情報がカメラ制御部２４によって読み出され、カメラボディ２の背面に設けられた液晶等からなる表示部３２に表示される。以上が、図１のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー８が観察位置にあるときは、撮像部２０による被写体像の撮像は行われないので、以上の構成だけではアイピース１４で観察できるリアルタイムの被写体像は表示部３２に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部３２の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
【００１７】
次に、図１のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ４のレンズ光学系６から入射した被写体光の一部は、観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射されて測光兼用オートフォーカス（以下「ＡＦ」）センサに導かれる。測光兼用ＡＦセンサ３４はサブミラー１６から入射する光をＡＦセンサ上に再結像して分析し結果をカメラ制御部２４に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部２０の撮像面とレンズ光学系６による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部２４は、測光兼用ＡＦセンサ３４から得られたレンズ光学系６による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系６の駆動量および駆動方向の情報を、ＡＦ制御部３６に送る。ＡＦ駆動部３８は、カメラボディ２と交換レンズ４との機械的または電気的インターフェースによってＡＦ制御部３６から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系６を駆動し、自動焦点合わせを行う。なお、測光兼用ＡＦセンサ３４の構成の詳細については後述する。
【００１８】
ライブビューセンサ４０は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム１２の反射面１２ａ全体が半透過性になっており、ライブビューセンサ４０は、焦点板１０の画像をＣＩＧＳ撮像センサ上に再結像させることにより、焦点版１０の画像全体を撮像できるようになっている。ＣＩＧＳ撮像センサは、銅（Ｃｕ）、インジウム（Ｉｎ）、ガリウム（Ｇａ）およびセレン（Ｓｅ）を材料とする光センサであり、その詳細は後述する。
【００１９】
ペンタプリズム１２の反射面１２ａは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース１４で焦点版１０の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ４０に採用されているＣＩＧＳ撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面１２ａの光透過率がわずかであっても、可視光領域における焦点版１０の像を充分撮像することが可能である。このライブビューセンサ４０への可視光の配分は、アイピース１４により光学的に被写体を観察し難い暗さになったとき、ＣＩＧＳ撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。ＣＩＧＳ撮像センサを用いたライブビューセンサ４０の詳細については後述する。ライブビューセンサ４０で撮像された画像はカメラ制御部２４に送られ、これが表示部３２で表示されるので、図１のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めが可能である。
【００２０】
図２は、図１のオートフォーカスデジタル一眼レフカメラの第１実施例における測光兼用ＡＦセンサ３４およびライブビューセンサ４０の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム１２の反射面１２ａは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜５２はこのような分光透過特性を実現するために反射面１２ａにコーティングされたものである。
【００２１】
ライブビューセンサ４０は、このような多層膜５２を透過した焦点面１０からの光束をＣＩＧＳ撮像センサ５４の撮像面に再結像させるための再結像レンズ５６を備えている。赤外光カットフィルタ５８は、多層膜５２を透過してきた可視光領域以外の光を実質的にカットしてＣＩＧＳ撮像センサ５４の波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部２４に送り、図１の表示部３２でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
【００２２】
ライブビューセンサ４０は、さらに焦点板１０における明るさを測定する全画面測光を可能にしている。つまり、ＣＩＧＳ撮像センサ５４から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部２４で処理され、必要に応じＡＦ対応部分測光センサ７２の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などをコントロールする自動露出制御が行われる。
【００２３】
可視光カットフィルタ６０は赤外光カットフィルタ５８と差し替えてＣＩＧＳ撮像センサ５４への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜５２からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、可視光よりも長波長側域の光がＣＩＧＳ撮像センサ５４に入射するようになる。ＣＩＧＳ撮像センサ５４は、後述するように、長波長側が１３００ｎｍにおよぶ分光感度を持っている。従って、可視光カットフィルタ６０の挿入によってライブビューセンサ４０はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。
【００２４】
ミラー／フィルタ駆動部６２は、操作部１５によるモード切換に応じたカメラ制御部２４の制御により、上記の可視光カットフィルタ６０と赤外光カットフィルタ５８の差し替えを駆動する。なお、図２では、撮影位置に退避したミラー８ａおよびサブミラー１６ａが二点鎖線で図示されているが、このようなミラー８とサブミラー１６における観察位置と撮影位置の間の駆動も、カメラ制御部２４の制御によりラー／フィルタ駆動部６２が行う。
【００２５】
測光兼用ＡＦセンサ３４の再結像レンズ６４は、交換レンズ４から入射して観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射される被写体光を再結像させるためのものである。再結像レンズ６４からの光束は、波長選択性のない可動半透ミラー６６および赤外光カットフィルタ６８を透過してＣＩＧＳＡＦセンサ７０上に結像する。ＣＩＧＳＡＦセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ６８は、ＣＩＧＳＡＦセンサ７０をＡＦセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、ＣＩＧＳ撮像センサ５４のための赤外光カットフィルタ５８とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ８は赤外光カットフィルタ５８よりも狭い透過分光特性に設定される。
【００２６】
このため、被写体が通常の明るさのときに減光のために可動半透ミラー６６を図示の位置に挿入し、ＣＩＧＳＡＦセンサへの入射光量をＣＩＧＳＡＦセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のＡＦセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを６４ａの位置に退避させ、減光なしに被写体像をＣＩＧＳセンサに結像させる。なお、このとき可動半透ミラー６６の有無による光路長の補償が必要である。例えば、可動半透ミラー６６を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが６４ａの位置に退避した状態では、ＡＦ対応部分測光センサ７２による測光はできなくなる。
【００２７】
ＣＩＧＳＡＦセンサ７０への減光のために再結像光路中に可動半透ミラー６６が挿入されている時、これを反射した光は、ＡＦ対応部分測光センサ７２に入射する。ＡＦ対応部分測光センサ７２は、ＣＩＧＳＡＦセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるＣＩＧＳＡＦセンサ７０への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
【００２８】
ＡＦ対応部分測光センサ７２からの部分測光情報は、ライブビューセンサ４０のＣＩＧＳ撮像センサ５４からの全画面に関する測光情報と組合せてカメラ制御部２４で処理され、最終的に、交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などがコントロールされる。
【００２９】
センサ制御部７４は、可動半透ミラー６６が挿入されている時および退避しているときのいずれの場合においても、ＣＩＧＳＡＦセンサ７０の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー６６が挿入されているのか退避しているのかの情報も用いられる。センサ制御部７４は、また、ＣＩＧＳＡＦセンサ７０およびＡＦ対応部分測光センサ７２に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部２４に出力させる。
【００３０】
一方、ライブビューセンサ４０が「長波長モード」に設定され、多層膜５２からＣＩＧＳ撮像センサ５４への光路に赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、測光兼用ＡＦセンサ３４でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー６６の退避を前提として赤外光カットフィルタ６８が可視光カットフィルタ７６に差し替えられる。これによって、ＣＩＧＳ撮像センサ５４による長波長域での撮像のための焦点検出が、減光なしに、ＣＩＧＳＡＦセンサ７０によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
【００３１】
以上のような可動半透ミラー６６の移動および赤外光カットフィルタ６８と可視光カットフィルタ７６との差し替えは、操作部１５によるモード切換操作に基づくカメラ制御部２４の制御により、ミラー／フィルタ駆動部７８が司る。
【００３２】
図１および図２の第1実施例は、上記のような基本機能に加え、「複合ＡＦ機能」が可能である。操作部１５の操作により、「複合ＡＦ機能」が選択されると、ライブビュー機能が停止され、「複合ＡＦ機能」の開始が指示される。具体的には、操作部１５の操作により、「複合ＡＦ機能」が選択されると、カメラ制御部２４は、赤外光カットフィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行うとともにＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止する。
【００３３】
これに替わり、可視光カットフィルタ６０により長波長側の感度域となったＣＩＧＳ撮像センサ５４の画像信号は、赤外光カットフィルタ６８により可視光の感度域にあるＣＩＧＳＡＦセンサの出力と組み合わされ、「複合ＡＦ機能」が実行される。具体的には、ＣＩＧＳ撮像センサ５４の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、ＣＩＧＳＡＦセンサによる焦点検出領域が決定される。
【００３４】
図３は、図２のＣＩＧＳ撮像センサ５４およびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度（量子効率）をシリコンのＣＭＯＳセンサと比較したものである。図３（Ａ）は、各波長におけるＣＩＧＳセンサの量子効率（％）を示すものであり、図３（Ｂ）におけるシリコンのＣＭＯＳセンサについての同様の量子効率（％）と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図３（Ａ）のＣＩＧＳセンサは、波長１３００ｎｍ近くにわたる広い感度域を持つ。さらに、４００ｎｍ付近から１２００ｎｍ付近の広い波長域に渡り量子効率５０％を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性は、図３（Ｂ）におけるようなシリコンのＣＭＯＳセンサでは期待できないものである。
【００３５】
図４は、図１および図２の第１実施例におけるカメラ制御部２４の動作のフローチャートである。操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４に進み、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００３６】
なお、ステップＳ４の指示に応答するミラー／フィルタ駆動部７８による可動半透ミラー６６設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー６６がＣＩＧＳＡＦセンサ７０への光路にセットされている状態で可動半透ミラー６６を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー６６を光路内にセットする指示が続いて行われたような場合には、ミラー／フィルタ駆動部７８は実際には可動半透ミラー６６の駆動を実行せず、可動半透ミラー６６が光路内に設定されている状態が継続する。換言すれば、ミラー／フィルタ駆動部７８は遅延時間内に可動半透ミラー６６を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー６６の駆動を実行することになる。なお、既に可動半透ミラー６６がＣＩＧＳＡＦセンサ７０の光路に設定されている状態でステップＳ４の指示が行われた時は、当然ながら、ミラー／フィルタ駆動部７８は可動半透ミラー６６に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
【００３７】
次いでステップＳ６に進み、ライブビュー用の赤外光フィルタ５８をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に行う。なお、ミラー／フィルタ駆動部６２のミラー差し替え動作についても、上記でミラー／フィルタ駆動部７８において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
【００３８】
次いで、ステップＳ８でＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ１０に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ１２に進んで、可動半透ミラー６６を光路から退避させる減光解除の指示を行ってステップＳ１４に移行する。一方、被写体が充分明るい場合は直接ステップＳ１４に移行する。
【００３９】
ステップＳ１４では、操作部１５によって「複合ＡＦモード」が選択されたかどうかのチェックを行う。そして選択があればステップＳ１６に進み、複合ＡＦを行うために赤外光フィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ１８でＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止するとともに、長波長側の感度域のＣＩＧＳ撮像センサ５４の画像信号と可視光の感度域にあるＣＩＧＳＡＦセンサの出力とを組み合わせる「複合ＡＦ機能」の開始が指示してステップＳ２０に移行する。一方、ステップＳ１４で「ＡＦモード」の選択が検出されない場合は、直接ステップＳ２０に移行する。
【００４０】
ステップＳ２０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップＳ２０で光量不足が検知されるとステップＳ２２に進み、操作部１５の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップＳ２４に進み、赤外光フィルタ５８に替えてライブビュー用の可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ２６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行ってステップＳ２８に移行する。
【００４１】
一方、ステップＳ２０で撮像部の光量不足が検出されない場合は、直接ステップＳ２８に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップＳ２２に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部１５で特別の操作を行うことによってステップＳ２２に進むことも可能である。また、ステップＳ２２で「長波長モード」設定が検出されない場合も、直接ステップＳ２８に移行する。
【００４２】
ステップＳ２８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ３０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ２に戻り、以下、ステップＳ２で再生モード操作が検出されるかステップＳ２８でレリーズ操作が検出されない限り、ステップＳ２からステップＳ３０を繰り返す。
【００４３】
上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部６２、７８に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ１０、ステップＳ１４、ステップＳ２０およびステップＳ２２に基づく検知結果が変化するとミラー／フィルタ駆動部６２、７８の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部６２、７８による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００４４】
なお、ステップＳ２で操作部１５による再生モード設定操作が検出された時はステップＳ３２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【実施例２】
【００４５】
一方、ステップＳ２８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ３４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ２に戻る。なお、ステップＳ３０でカメラオフ操作が検出されたときは、図４のフローが終了となる。
【００４６】
図５は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第２実施例を示すブロック図である。その構成の大部分は図１の第１実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図５の第２実施例が図１の第１実施例と異なるのは、カメラボディ１００であり、特にそのライブビューセンサ１０２およびこれに関連する構成および機能が第１実施例と異なる。
【００４７】
第１実施例のライブビューセンサ４０では、半透過性の反射面１２ａを介して光を受けるよう構成され、反射面１２ａを透過する可視光領域の光が抑えられている。これは、アイピース１４で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ４０にはＣＩＧＳ撮像センサが用いられているので、反射面１２ａを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース１４で充分観察できないような暗い被写体の場合は、ライブビューセンサ４０でも光量が不足する。これに対し、図５の第２実施例は、アイピース１４で充分観察できないような暗い被写体の場合でも、ライブビューセンサ１０２に採用したｃＩＧＳ撮像センサによってライブビューが可能となるよう構成している。なお、図５のライブビューセンサ１０２の詳細構造は、図２におけるライブビューセンサ４０と基本的には同様であって、再結像光学系およびＣＩＧＳ撮像センサを有する。但し、ペンタプリズム１０４に対するライブビューセンサ１０２の配置場所が異なるので、その再結像光学系は図２の再結像レンズ５６とは異なったものとなる。
【００４８】
上記の考え方に基づき、第２実施例では、通常のペンタプリズム１０４が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム１０４からの光はすべてアイピースに向かう。このとき可動全反射ミラー１０６は図５のようにアイピース１４への光路から退避している。従ってこの状態ではライブビューができない。
【００４９】
操作部１５の操作によってライブピューモードを選択すると、可動全反射ミラーが１０６ａの位置に下がり、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射する。従って、アイピース１４による光学的なファインダー像の観察はできなくなる。可動減光フィルタ１０８は、被写体が通常の明るさのときに図５のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ１０２への入射光量をＣＩＧＳ撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ１０８がライブビューセンサ１０２への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ１０８の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図５の第２実施例の場合にはＣＩＧＳ撮像センサによりライブビューが可能となる。このライブビューセンサ１０２からの可視光域の画像は表示部３２でのライブビューだけでなく、画像記憶部２６に記録することも可能である。したりすることが可能となる。
【００５０】
赤外光カットフィルタ１１０は、ライブビューモードにおいて可動全反射ミラー１０６ａから反射される可視光領域以外の光をカットし、ＣＩＧＳ撮像センサの波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部１１６に送り、自然なライブビューを可能にする。
【００５１】
可視光カットフィルタ１１２は、赤外光カットフィルタ１１０と差し替えてライブビューセンサ１０２への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー１０６ａからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ１１０に替えて可視光カットフィルタ１１２がライブビューセンサ１０２への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ１０２のＣＩＧＳ撮像センサに入射するようになる。従って、第１実施例と同様、長波長域の画像についてその画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。なお、可視光カットフィルタ１１２を用いる長波長モードにおいては、可動減光フィルタ１０８をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが１０６、可動減光フィルタ１０８、赤外光カットフィルタ１１０および可視光カットフィルタ１１２の駆動は、カメラ制御部１１６によって制御されるミラー／フィルタ駆動部１１４によって行われる。
【００５２】
図６は、図５の第２実施例におけるカメラ制御部１１６の動作のフローチャートである。第１実施例と同様にして操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ４２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４４に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー１０６がアイピース14への光路中から退避するようミラー／フィルタ駆動部１１４に指示する。ステップＳ４４ではさらに、可動減光フィルタ１０８をライブビューセンサ１０２への光路中に挿入して入射光量を減光する指示をミラー／フィルタ駆動部１１４に行とともに、図２における可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００５３】
次いでステップＳ４６に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ４８に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー１０６をアイピース14への光路中に進出させるようミラー／フィルタ駆動部１１４に指示してステップＳ５０に移行する。この指示が実行されると、ファインダ像をアイピース１４から光学的に観察することはできなくなり、代わりにライブビューセンサ１０２の出力に基づく表示部３２でのライブビューが可能となる。ステップＳ４８ではさらに、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に行う。なお、ミラー／フィルタ駆動部１１４についても、第１実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップＳ４６で「ライブビューモード」への設定が検知されない場合は、直接ステップＳ５０に移行する。
【００５４】
ステップＳ５０では、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ５２に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ５４に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ５６に進み、可動減光フィルタ１０８をライブビューセンサ１０２への光路から退避させる減光解除の指示を行ってステップＳ５８に移行する。一方、ステップＳ５４で「ライブビューモード」の設定が検知されなければ直接ステップＳ５８に移行する。そして、ステップＳ５８では、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路から退避させてＡＦ用の減光を解除する指示を行う。このように、ステップＳ５２で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずＡＦ用の減光を解除する。
【００５５】
次いで、ステップＳ６０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップＳ６２に進み、操作部１５の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップＳ６４に進み、赤外光フィルタ１１０に替えてライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行う。さらに、ステップＳ６６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。
【００５６】
以上のステップを経て、フローはステップＳ６８に進む。一方、ステップＳ５２で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップＳ６０で撮像部２０による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップＳ６２で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップＳ６８に移行する。
【００５７】
ステップＳ６８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ７０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ４２に戻り、以下、ステップＳ４２で再生モード操作が検出されるかステップＳ６８でレリーズ操作が検出されない限り、ステップＳ４２からステップＳ７０を繰り返す。
【００５８】
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部７８、１１４に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ４６、ステップＳ５２、ステップＳ５４、ステップＳ６０およびステップＳ６２に基づく検知結果が変化するとミラー／フィルタ駆動部７８、１１４の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部７８、１１４による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００５９】
なお、第１実施例と同様にして、ステップＳ４２で操作部１５による再生モード設定操作が検出された時はステップＳ７２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【００６０】
また、ステップＳ６８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ７４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ４２に戻る。なお、ステップＳ７０でカメラオフ操作が検出されたとき、図６のフローは終了となる。
【００６１】
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第１実施例においては、可視光カットフィルタ６０により長波長域に感度を有するＣＩＧＳ撮像センサ５４と赤外光カットフィルタ６８により可視光に感度域を有するＣＩＧＳＡＦセンサの出力とを組合せて「複合ＡＦ機能」は実施するものとして説明した。しかしながら、「複合ＡＦ機能」の実施はこのようなものに限るものではない。例えば、図２における波長選択性のない可動半透ミラー６６をダイクロイックミラーで構成し、可視光透過させてＣＩＧＳＡＦセンサ７０上に導くとともに、長波長域を反射させてＡＦ対応部分測光センサ７２に導くようにする。そして、ＡＦ対応部分測光センサ７２にも、ＣＩＧＳセンサを用いるようにする。なお、この場合、赤外光カットフィルタ６８は不要となる。
【００６２】
以上のように構成すれば、長波長域に感度を有するＡＦ対応部分測光センサ７２によりＡＦ対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことが可能となる。
【００６３】
さらに「複合ＡＦ機能」の実施は以上のように二つのＣＩＧＳセンサを用いるものに限るものではない。例えば図２において、可視光カットフィルタ７６がＣＩＧＳＡＦセンサの光路中に挿入された状態においてＣＩＧＳＡＦセンサ自体でＡＦ対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ１８が光路中に挿入された状態においてその部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことも可能である。このように広い感度領域を有する一つのＣＩＧＳを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合ＡＦ機能」を実現することも可能である。
【００６４】
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。
【００６５】
上記の実施例においては、可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてＣＩＧＳセンサを用いている。ＣＩＧＳセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のＣＩＧＳ系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「ＣＩＳ系薄膜」とも称されるが、本明細書で「ＣＩＧＳセンサ」という場合は、このようなガリウムを含まない「ＣＩＳ系薄膜」を用いた光電センサをも意味するものとする。
【００６６】
図７は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタＲ１１、青透過フィルタＢ１２、緑透過フィルタＧ２２および赤透過フィルタＲ２１が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のＣＩＧＳ撮像センサは、図３のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図７の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
【００６７】
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタＢ１２に対応する画素については、基本的にはその両側にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ１３に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタＲ２１に対応する画素については、同様にその上下にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタＧ２２に対応する画素については、その周囲にある赤外光透過フィルタＩＲ１１に対応する画素のデータ、赤外光透過フィルタＩＲ１３に対応する画素のデータ、赤外光透過フィルタＩＲ３３に対応する画素のデータおよび赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
【００６８】
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタＲ２１に対応する画素の赤外光画像の補間において、赤透過フィルタＲ２１に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
【００６９】
図８は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第２例である。この第２例にでは、カラーフィルタ配列自体は図７の第１例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタＩＲ１１および緑透過フィルタＧ２２については、画素に許される最大の受光面積を確保しているが、青透過フィルタＢ１２は遮光部２０２を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。同様に赤透過フィルタＲ２１についても、遮光部２０４を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
【００７０】
本発明のＣＩＧＳ撮像センサは、図３のように可視光域において高感度を有するため、上記のように青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積比を変えることも可能である。
【００７１】
図９は、図８のフィルタ配列の第２例を採用したＣＩＧＳセンサの模式断面図である。図９（Ａ）に示すように、本発明のＣＩＧＳ撮像センサはＬＳＩ４００の上にＣＩＧＳ系薄膜４０２を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ４０４が乗せられている。この図９（Ａ）の模式断面図における基本構造自体は、フィルタ配列の第２例に限られるものでなく、本発明のＣＩＧＳセンサに共通である。
【００７２】
図９（Ｂ）は、図９（Ａ）の部分４０６を拡大した模式断面図であり、図８のフィルタ配列の第２例の断面を概念的に示している。なお、図８および図９（Ａ）では対応する部分には同じ番号を付す。図９（Ｂ）に明らかなように、ＣＩＧＳ系薄膜４０２はそれぞれ画素をなすフォトダイオード４０８、４１０等に区分されており、フォトダイオード４０８の上には、赤外光透過フィルタＩＲ１１が載せられている。そして、フォトダイオード４１０の上には、受光面積を減らすための遮光部２０２および青透過フィルタＢ１２が載せられている。
【００７３】
図１０は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第３例である。この例は、ベイヤー配列における緑透過フィルタの全数の４分の１を規則的に赤外光透過フィルタＩＲ１１、ＩＲ３３、ＩＲ５１等に置き換えたものである。残りの４分の３は、ベイヤー配列と同様に緑透過フィルタＧ１３、Ｇ２２，Ｇ３１、Ｇ４２、Ｇ４４、Ｇ３５、Ｇ２４等となっている。
【００７４】
この結果、緑透過フィルタＧ１３等の全数の割合は、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の１．５倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図１０のフィルタ配列においても、図８のフィルタ配列の考え方を加味し、赤透過フィルタＲ２３等と青透過フィルタＢ３２等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
【００７５】
一方、赤外光透過フィルタＩＲ１１等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の半分となっている。本発明のＣＩＧＳ撮像センサは、図３のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
【００７６】
次に、図１０のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタＧ３５に対応する画素については、その二つ上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータ、二つ左方にある赤外光透過フィルタＩＲ３３に対応する画素のデータ、二つ下方にある赤外光透過フィルタＩＲ５５に対応する画素のデータおよび二つ右方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタＧ２４に対応する画素については、その右上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと左下方にある赤外光透過フィルタＩＲ３３に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタＧ２６に対応する画素については、その左上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと右下方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。
【００７７】
そして、赤透過フィルタＲ２５に対応する画素について、上記のように補間して求めた緑透過フィルタＧ３５、Ｇ２４、Ｇ２６にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタＩＲ１５に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにＩＲ１５、ＩＲ３３、ＩＲ５５およびＩＲ３７に対応する赤外光画像データの重み付け平均となる。
｛（ＩＲ１５＋ＩＲ３３＋ＩＲ５５＋ＩＲ３７）／４＋（ＩＲ１５＋ＩＲ３３）／２
＋（ＩＲ１５＋ＩＲ３７）／２＋ＩＲ１５｝／４
＝（９ＩＲ１５＋３ＩＲ３３＋ＩＲ５５＋３ＩＲ３７）／１６
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
【００７８】
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタＩＲ３３に対応する画像をその周囲の緑透過フィルタＧ２２、Ｇ４２、Ｇ４４、Ｇ２４に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタＩＲ３３に対応する画像の緑画像データと、緑透過フィルタＧ２２、Ｇ３１およびＧ４２の緑画像データの平均をとって、これらの中心にある赤透過フィルタＢ３２に対応する画像も緑画像データを補間する。これを整理すると、次のようにＧ２２、Ｇ３１、Ｇ４２、Ｇ４４およびＧ２４の重み付け平均となる。
｛（Ｇ２２＋Ｇ４２＋Ｇ４４＋Ｇ２４）／４＋Ｇ２２＋Ｇ３１＋Ｇ４２｝／４
＝（５Ｇ２２＋４Ｇ３１＋５Ｇ４２＋Ｇ４４＋Ｇ２４）／１６
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図７と同様である。
【００７９】
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図７で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
【００８０】
図１１は、第２実施例においてライブビューセンサ１０２の画像を画像記憶部２６に記録する際のカメラ制御部１１６の動作を示すフローチャートである。操作部１５によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップＳ８２で可動全反射ミラーを１０６ａの位置に下げ、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射するよう光路切り替えを指示する。そしてステップＳ８４においてミラー８を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップＳ８６で表示部３２による表示を行わせる。
【００８１】
次いでステップＳ８８で赤外光モードが選択されているかどうかチェックし、該当すればステップＳ９０に進み、ＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。さらに、ステップＳ９２で、ライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８２】
一方、ステップＳ８８で、赤外光モードが選択されていないことが検知されるとステップＳ９６に進み、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。そしてステップＳ９８に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
【００８３】
ステップＳ９８で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップＳ１００に進み、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８４】
これに対し、ステップＳ９８で画像融合モードへの設定が検出されると、ステップＳ１０２に進み、ライブビューセンサ１０２への光路から赤外光カットフィルタ１１０および可視光カットフィルタ１１２を両者とも除去する指示をミラー／フィルタ駆動部１１４に対して行う。これは、ライブビューセンサ１０２によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
【００８５】
次いでステップＳ１０４で表示部３２によるライブビュー表示を禁止する指示を出してステップＳ９４に移行する。これは交換レンズ４による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部３２に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップＳ１０４においては、表示部３２による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方（通常は可視光像）の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップＳ１０４で選択された方の指示を出すようにしてもよい。
【００８６】
ステップＳ９４では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップＳ８６に戻り、以下、レリーズ操作が検出されるまでステップＳ８６からステップＳ１０４を繰り返す。これによって、操作部１５によるモード切り替えに対応する。なお、図４で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図１１においても、実際にモード切り替えが行われない限り、ステップＳ８６からステップＳ１０４の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップＳ８６およびステップＳ１０４による表示部３２の表示と禁止の切り替えについても同様である。
【００８７】
ステップＳ９４では、レリーズ操作が検出されるとステップＳ１０６に進み、レンズ光学系６のＡＦ駆動が行われ、これによってピンとが合うとステップＳ１０８のライブビュー記録処理を行う。このＡＦ駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップＳ１１０で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
【００８８】
一方、ステップＳ１１０で画像融合モードの設定が検出されるとステップＳ１１２に進み、ＡＦ制御部３６によってレンズ光学系６を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップＳ１０６におけるＡＦ駆動およびステップＳ１０８におけるライブビュー記録処理は可視光像に対するものであるが、ステップＳ１１２では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をＡＦ駆動部３８によってレンズ光学系６に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップＳ１１４のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップＳ１０８にて可視光画像の記録を行い、引き続いてほぼ同時にステップＳ１１４において赤外光画像の記録を行うものである。
【００８９】
図１２は、図１１のステップＳ１０８におけるライブビュー記録処理およびステップＳ１１４におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップＳ１２２で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップＳ１２４に進み、ＲＧＢの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップＳ１２６でＲＧＢの補間処理を行う。次いで、ステップＳ１２８では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップＳ１３０に進んでＲＧＢの可視光カラー画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９０】
一方、ステップＳ１２２で赤外光モードへの設定が検出されるとステップＳ１３４に進み、ＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。次いで、ステップＳ１３８では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップＳ１４０に進み、赤外光画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９１】
さらにステップＳ１２８で画像融合モードへの設定が検出された場合、ステップＳ１３４に進んでＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。これらによって、ステップＳ１２４、１２６による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップＳ１３８で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップＳ１４２に進み、ステップＳ１３４およびステップＳ１３６の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。
【００９２】
ここで、ステップＳ１４２に該当するか否かがどのような意味を持つかについて補足する。まず、ステップＳ１４２に該当しない場合は、図１２のフローが図１１のステップＳ１０８で実行されている場合に相当する。そしてステップＳ１２４およびステップＳ１２６で得られる可視光画像は図１１のステップＳ１０６における可視光に対するＡＦ駆動によりピントが合ったものであり、ステップＳ１３４およびステップＳ１３６で得られる赤外光画像はピントがずれたものとなっている。一方、ステップＳ１４２に該当する場合は、図１２のフローが図１１のステップＳ１１４で実行されている場合に相当する。そしてステップＳ１３４およびステップＳ１３６で得られる赤外光画像は図１１のステップＳ１１２における赤外光補正駆動によりピントが合ったものであり、ステップＳ１２４およびステップＳ１２６で得られる可視光画像はピントがずれたものとなっている。
【００９３】
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップＳ１４２で判断された場合はステップＳ１４４に進み、ピントの合っているＲＧＢの可視光画像について画像処理をおこなう。次いでステップＳ１４６においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップＳ１４８において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップＳ１３２に進み、ステップＳ１４４、ステップＳ１４６およびステップＳ１４８で得られたそれぞれの画像を記録してフローを終了する。
【００９４】
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップＳ１４２で判断された場合はステップＳ１５０に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップＳ１５２においてピントの合っていないＲＧＢの可視光画像について補助的に画像処理を行う。そしてステップＳ１５６において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。
【００９５】
さらに、ステップＳ１５６では、図１１のステップＳ１０８で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップＳ１５８でこれらの画像に基づく画像融合処理が行われる。
【００９６】
ステップＳ１５８の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部１５により設定できるが、被写体に応じ自動的に選択することも可能である。
【００９７】
以上のようなステップＳ１５８の処理が終了すると、ステップＳ１３２に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップＳ１３２において記録する画像は、ステップＳ１５８で処理した全ての画像であってもよく、またはステップＳ１５８の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部１５により設定できるが、処理結果に応じてステップＳ１５８の中で自動的に選択するよう構成することも可能である。
【００９８】
上記の図１１および図１２の画像記録機能に関するフローチャートの適用対象は、第２実施例におけるような一眼レフカメラのライブビューセンサ１０２の画像記録に限るものではなく、例えば、ＣＩＧＳセンサへの画像記録専用に構成した可視光／赤外光画像記録カメラにも適用可能である。このような可視光／赤外光画像記録カメラは、例えば図５において焦点板１０、ペンタプリズム１０４およびアイピース１４などの光学ファインダ系を除去するとともに、撮像部２０に代えてその位置にＣＩＧＳ撮像センサを配置することによって構成可能である。その際、レンズ光学系６からＣＩＧＳ撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ１１０および可視光カットフィルタ１１２を設ける。また、可動ミラー８に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用ＡＦセンサ３４に向かう固定のハーフミラーを設ける。
【実施例３】
【００９９】
図１３は、本発明の第３実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡５０２と、送信されて画像データを体外で受信してモニタする体外モニタ５０４を有する。カプセル内視鏡５０２は、透明な保護窓５０６を有する密閉構造になっており、保護窓５０６を通り撮像レンズ５０８によって結像される消化器内部の画像がＣＩＧＳ撮像センサ５１０で撮像される。ＣＩＧＳ画像センサ５１０は、図３で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ５０８は、レンズ駆動部５１２によってその画角およびピント位置が調節可能である。
【０１００】
第３実施例のＣＩＧＳセンサ５１０は、図７から図１０に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第３実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード（以下適宜「ＬＥＤ」と称する）が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるＣＩＧＳセンサ５１０撮像出力が、各色での画像データとなる。
【０１０１】
ＬＥＤは撮像レンズ５０８の光軸まわりに同心的に多数設けられているが、図１３では、簡単のため、例として緑ＬＥＤ５１４および赤外ＬＥＤ５１６をそれぞれ一つ図示している。例えば緑ＬＥＤ５１４が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が緑画像データとなるとともに、赤外ＬＥＤ５１６が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部５１２が結像位置を調節する。第３実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
【０１０２】
ＬＥＤドライバ５１８は、内視鏡制御部５２０の指示に基づいてＬＥＤ５１４、５１６の点灯タイミングを制御する。内視鏡制御部５２０はカプセル内視鏡５０２全体を制御するもので、その機能は記憶部５２２に記憶されたプログラムに従う。記憶部５２２は、さらに内視鏡制御部５２０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０３】
センサドライバ５２４は内視鏡制御部５２０の指示に基づいてＣＩＧＳ撮像センサ５１０を制御するとともにＣＩＧＳ撮像センサからの各色別画像ＲＡＷデータを画像バッファ５２６に格納する。画像バッファ５２６は所定撮像回数分の各色別画像ＲＡＷデータを格納可能であり、無線通信部５２８は画像バッファ５２６の各色別画像ＲＡＷデータをＦＩＦＯで取り出してアンテナ５３０から体外に送信する。電池５３２はボタン電池などで構成され、カプセル内視鏡５０２全体に電力を供給する。
【０１０４】
体外モニタ５０４は、無線通信部５３４を有し、カプセル内視鏡５０２から送信された各色別画像ＲＡＷデータをアンテナ５３６で受信して画像バッファ５３８に格納する。これらの機能はモニタ制御部５４０によって制御される。モニタ制御部５４０は記憶部５４２に記憶されたプログラムに従って体外モニタ５０４全体を制御する。記憶部５４２は、さらにモニタ制御部５４０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０５】
画像処理部５４４は、モニタ制御部５４０の指示に基づき画像バッファ５４８に格納されている各色別ＲＡＷデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ５４６に記憶する。また、赤外画像信号についてもこれをレコーダ５４６に記録する。記録されたデータは適宜表示部５４８でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部５４８により直接モニタすることもできる。
【０１０６】
図１４は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第１の例を示す正面図である。図１３と対応する部分には同一番号を付す。図１４から明らかなように、透明の保護窓５０６の内側の撮像レンズ５０８の周囲には緑ＬＥＤ５１４が互いに９０度ずつ隔てた回転対象に４個設けられている。これらを結んだ線５５０は正方形である。また、緑ＬＥＤ５１４から４５度回転した正方形５５２の頂点部分には、赤外ＬＥＤ５１６が互いに９０度ずつ隔てた回転対象に４個設けられている。さらに、縦長長方形５５４の頂点部分には赤ＬＥＤ５５６が４個設けられているとともに、横長長方形５５８の頂点部分には青ＬＥＤ５６０が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
【０１０７】
図１５は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第２の例を示す正面図である。図１５においても、図１３と対応する部分には同一番号を付す。図１５における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、赤ＬＥＤ５６２は、緑ＬＥＤ５１４から左に２２．５度回転した正方形５６４の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。また、青ダイオード５６６は、緑ＬＥＤ５１４から右に２２．５度回転した正方形５６８の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ５０８の光軸まわりに互いに回転対象の配置となる。
【０１０８】
図１６は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第３の例を示す正面図である。図１６においても、図１３と対応する部分には同一番号を付す。図１６における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、左に４５度傾いた縦長長方形５７０の頂点部分には赤ＬＥＤ５７２が４個設けられているとともに、右に４５度傾いた縦長長方形５７４の頂点部分には青ＬＥＤ５７６が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１６図で見て対抗する赤外ＬＥＤを結ぶ左４５度傾いた線および右４５度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各ＬＥＤは図１６図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。
【０１０９】
以上、図１４から図１６に示したＬＥＤの配置例は、各図において緑ＬＥＤが上下左右に配置され、赤外ＬＥＤがこれから４５度回転した位置に配されているが、全体の配置はこれに限るものではなく、ＣＩＧＳ撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図１４から図１６に示したＬＥＤの配置例は、ＣＩＧＳ撮像センサの画素配置の升目の上下左右方向を基準として緑ＬＥＤが上下左右に配置したものであるが、これを全体に４５度回転させ、赤外ＬＥＤが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑ＬＥＤがこれから４５度回転した位置に配置されることになる。
【０１１０】
図１７は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第４の例を示す正面図である。赤、緑、青および赤外のＬＥＤを撮像レンズ５０８の光軸まわりに配置する場合、全ての色のＬＥＤを互いに同数とすることに限るものではない。図１７はこのようなものの例として、４個の緑ＬＥＤ５１４、２個の赤ＬＥＤ５７８および２個の青ＬＥＤ５８０を採用している。緑ＬＥＤ５１４の数が赤ＬＥＤ５７８および青ＬＥＤ５８０の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図１７では８個の赤外ＬＥＤ５８２を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
【０１１１】
なお、図１４から図１７ではすべて合計１６個のＬＥＤを採用しているが、これに限られるものではない。配置が可能な場合、ＬＥＤの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のＬＥＤを採用し合計８個のＬＥＤを採用して構成を簡単にすることも可能である。この場合、緑ＬＥＤの対を結ぶ線と赤外ＬＥＤの対を結ぶ線を９０度で交差させるとともに、赤ＬＥＤの対と青ＬＥＤの対については、それらを結ぶ線が緑ＬＥＤの対を結ぶ線の左右にそれぞれ４５度回転した状態の配置として、赤と青のＬＥＤが緑ＬＥＤの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように８個のＬＥＤを等間隔に配置するのに代えて、赤と青のＬＥＤを緑ＬＥＤの両側に密接させ、赤、緑、青ＬＥＤ相互の位置ズレができるだけ少なくなるようにした配置も可能である。
【０１１２】
図１８は、第３実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図１８から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６、すべての赤外ＬＥＤはｔ７からｔ８のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、４色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ９からｔ１０のタイミングで点灯し、以下同様にして緑、青、赤外のＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。ｔ１からｔ８までの時間は通常のカラー動画の１フレーム時間程度であり、各色の発光量は時分割しない場合の４分の１以下となるが、図３に示すようにＣＩＧＳセンサは通常のＣＭＯＳセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
【０１１３】
図１８のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
【０１１４】
図１８の光電変換部のタイミングチャートから明らかなように、光電変換部は赤ＬＥＤの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤ＬＥＤの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図１８から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青ＬＥＤの発光および赤外ＬＥＤの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
【０１１５】
図１８のＡＤ変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からＡＤ変換を開始する。例えば、赤のＡＤ変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のＡＤ変換を継続する。図１８の無線通信部のタイミングチャート（Ａ）から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のＡＤ変換終了直後に開始される。そして次の緑のＡＤ変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてＡＤ変換および通信が行われる。
【０１１６】
なお、通信に関しては、カプセル内視鏡５０２と体外モニタ５０４との関係によっては、ＡＤ変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図１８の無線通信部のタイミングチャート（Ｂ）のように通信環境が充分となったタイミングで通信を実行する。例えば、ＩＲデータの送信５９２はタイミングチャート（Ａ）に比べて遅く実行されており、次のＲデータの直前で実行されている。また、Ｇデータの送信５９４およびＢデータの送信５９６も遅れて実行されているが、これらの通信時間の調整は、図１３の画像バッファ５２６の容量が満杯となってＦＩＦＯに破綻を来たさない限り可能である。
【０１１７】
図１９は、図１８で示したカラー・赤外モードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図１９に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、ｔ１１で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ１３で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ２で示す１フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図１３に示した体外モニタ５０４の画像処理部５４４で行われる。また、図１８の無線通信部のタイミングチャート（Ｂ）で示したように体外モニタ５０４による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色ＬＥＤの発光タイミングによって決まるので図１９の関係が成り立つ。
【０１１８】
また、図１９に示すように、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ９で開始される赤ＬＥＤの発光に基づく赤画像によってもＲＧＢ三色のデータが揃うので、これらによってＩ１で示す１フレームのカラー補間画像が作成される。同様にして、ｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ１１で開始される緑ＬＥＤの発光に基づく緑画像によって、Ｉ２で示す１フレームのカラー補間画像が作成される。これらの補間画像はＲＧＢの各色が揃うまでに赤外ＬＥＤの発光が介在しており、ＲＧＢが揃うまでの時間が若干長くなるとともにＲＧＢの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
【０１１９】
一方、赤外画像については、図１９に示すように、ｔ７で開始される赤外ＬＥＤの発光に基づく画像ＩＲ１、ｔ１５で開始される赤外ＬＥＤの発光に基づく画像ＩＲ２等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像Ｉ２およびＩ２の取得時間帯が共に赤外画像ＩＲ１の取得時間を含んでいるので、カラー補間画像Ｉ１およびＩ２またなその平均を赤外画像ＩＲ１と合成することが可能である。
【０１２０】
図２０は、第３実施例のカプセル内視鏡５０２における精細カラーモードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外ＬＥＤは発光しない。図２０から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、ＲＧＢ３色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ７からｔ８のタイミングで点灯し、以下同様にして緑、青、ＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なｔ１からｔ６までの時間は図１８のｔ１からｔ８よりも短くなり。動画が精細になる。図２０の無線通信部（Ｂ）のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
【０１２１】
図２０のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
【０１２２】
図２１は、図２０で示した精細カラーモードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図２１に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。次に、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ７で開始される赤ＬＥＤの発光に基づく赤画像によってＦ２で示す１フレームのカラー画像が作成される。同様にｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ７で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ９で開始される緑ＬＥＤの発光に基づく緑画像によってＦ３で示す１フレームのカラー画像が作成される。以下同様にしてＦ４で示す１フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のＬＥＤが新たに発光する毎に輪番で新たに１フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
【０１２３】
図２２は、第３実施例のカプセル内視鏡５０２における赤外モードでの動作の赤外ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外ＬＥＤ以外のＬＥＤは発光しない。図２２から明らかなように、すべての赤外ＬＥＤはｔ１からちｔ２、ｔ３からｔ４のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回１フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
【０１２４】
図２２のように、赤外モードにおいて赤外光のみを発光させる場合も、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
【０１２５】
図２３は、図１３の第３実施例における内視鏡制御部５２０の動作のフローチャートである。カプセル内視鏡５０２に電池５３２がセットされるとフローがスタートし、ステップＳ１６２で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップＳ１５４で撮像レンズ５０８が広角およびパンフォーカス状態に設定される。次いでステップＳ１６６では、赤、緑、青および赤外の全てのＬＥＤが所定の順所で順次輪番で発光するよう設定される。そしてステップＳ１６８でこれらの設定が行われている状態であることを外部送信し、体外モニタ５０４に報告する。
【０１２６】
次にステップＳ１７０で撮像処理、ステップＳ１７２で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップＳ１７４に進み、動作停止信号を体外モニタ５０４から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップＳ１７６に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップＳ１７８に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップＳ１６４に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップＳ１６６以下の動作に進む。
【０１２７】
一方、ステップＳ１７８で変更されたモードがカラー・赤外モードでなかったときはステップＳ１８０に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップＳ１８２でレンズの画角を狭角（望遠）にするとともに可視光フォーカス状態に設定するとともに、ステップＳ１８４で可視光のＬＥＤのみが順次輪番で発光するよう設定する。そして、ステップＳ１８６でこれらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２８】
また、ステップＳ１８０で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップＳ１８８に移行し、レンズの画角を狭角（望遠）にするとともに赤外光フォーカス状態に設定する。さらにステップＳ１９０で赤外ＬＥＤのみが発光するよう設定する。そして、ステップＳ１８６に移行し、これらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２９】
図２４は、図２３のステップＳ１７０における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１９２でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップＳ１９４に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップＳ１９６に進み、蓄積電荷の読出し開始処理を行う。さらにステップＳ１９８でＬＥＤの発光停止を指示する。さらにステップＳ２００で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップＳ２００を繰り返しながら完了を待つ。
【０１３０】
ステップＳ２００で読出し完了が検知されるとステップＳ２０６に進み残留電荷の掃捨て開始処理を行ってステップＳ２０８のＬＥＤ選択処理に移行する。これは次に発光すべきＬＥＤを選択する処理であるがその詳細は後述する。さらにステップＳ２１０ではステップＳ２０８で選択されたＬＥＤの発光開始を指示する。次にステップＳ２１２では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップＳ２１２を繰り返しながら完了を待つ。
【０１３１】
ステップＳ２１２で蓄積電荷の掃捨て完了が検知されるとステップＳ２１４に移行し、露光を開始するとともにステップＳ２１６で露光時間のカウントを開始し、フローを終了する。一方、ステップＳ１９４で露光時間が完了していなければ直ちにフローを終了する。また、ステップＳ１９２でモードの選択または変更が検出されるとステップＳ２１８に移行し、撮像処理のイニシャライズを行ってステップＳ２０８のＬＥＤ選択処理に進む。
【０１３２】
図２５は、図２４のステップＳ２０８におけるＬＥＤ選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２２２で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップＳ２２４に進み、図２４のステップＳ２１８によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップＳ２２６に進み、前回に選択されたＬＥＤ記憶を読み出す。そしてステップＳ２２８で読み出された記憶に基づき前回発光したのが赤ＬＥＤであったかどうかチェックする。該当しなければ、さらにステップＳ２３０で前回したのが緑ＬＥＤであったかどうかチェックする。
【０１３３】
ステップＳ２３０で前回発光が緑ＬＥＤでなかったときはステップＳ２３２に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３４に進み、次の順番に当たる赤ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３４】
一方、ステップＳ２３２で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３８に進み、次の順番に当たる赤外ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３５】
また、ステップＳ２２８で前回発光したのが赤ＬＥＤであったときはステップＳ２４２に進み、次の順番にあたる緑ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。さらに、ステップＳ２２２で赤外モードであったときはステップＳ２４４に進み、赤外ＬＥＤを選択する。そして赤外モードの場合は選択されるのは常に赤外ＬＥＤであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップＳ２２４で撮像処理のイニシャライズが行われていたときはステップＳ２４２に進み最初の発光ＬＥＤとして緑ＬＥＤを選択する。
【０１３６】
図２６は、図２３のステップＳ１７２における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２５２でデータの送信中かどうかのチェックを行う。送信中でなければステップＳ２５４に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップＳ２５６でこれを画像バッファより消去してステップＳ２５８に移行する。一方、ステップＳ２５４で送信成功データがなければ直接ステップＳ２５８に移行する。
【０１３７】
ステップＳ２５８では、ＡＤ変換が完了したかどうかチェックし、該当すればＡＤ変換したデータを画像バッファに格納してステップＳ２６２に移行する。一方、ＡＤ変換が終了していなければ直接ステップＳ２６２に移行する。ステップＳ２６２では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップＳ２６４で通信状態がＯＫかどうかチェックする。そしてＯＫであればステップＳ２６６で画像バッファからＦＩＦＯ（先入れ先出し）でデータを読出し、ステップＳ２６８で読み出したデータの送信開始を指示してフローを終了する。なお、ステップＳ２５２でデータ送信中であったとき、ステップＳ２６２で画像バッファにデータの格納がなかったとき、またはステップＳ２６４で通信状態がＯＫでなかったときはそれぞれ直ちにフローを終了する。
【０１３８】
図２７は、図１３の第３実施例における体外モニタ５０４のモニタ制御部５４０の動作を示すフローチャートであり、カプセル内視鏡５０２との通信開始でフローがスタートする。フローがスタートするとステップＳ２７２で画像データの新着の有無をチェックする。新着データがあればステップＳ２７４に進み、新着データが完全かどうかチェックする。そして完全であればステップＳ２７６に進んでこれを画像バッファ５３８に格納するよう支持してステップＳ２７８に移行する。なお、ステップＳ２７２でデータの新着がないか、またはステップＳ２７４で新着データが完全でなかったときはいずれもステップＳ２７２に戻る。
【０１３９】
ステップＳ２７８では、赤外モードであるかどうかチェックし、該当しなければステップＳ２８０でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップＳ２８２に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップＳ２８４に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップＳ２８６に移行する。ステップＳ２８４の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
【０１４０】
ステップＳ２８６では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップＳ２９０に進み、新着データ直前の可視２色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の３色が揃うからステップＳ２９２に進み、保管カラー画像を作成する指示をしてステップＳ２７２に戻る。ステップＳ２９２の指示によって作成される画像は、図１９のカラー補間画像Ｉ１またはＩ２に相当する。
【０１４１】
ステップＳ２７８で赤外モードであったときは新着データは赤外画像データであるからステップＳ２９４に移行し、赤外画像の作成を指示してステップＳ２７２に戻る。また、ステップＳ２８２で新着データが赤外画像データであったときもステップＳ２９４に移行する。一方、ステップＳ２８６で新着データが青画像データであったときはステップＳ２９６に進み、直前の２色（この場合は赤および緑）の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する３色が揃うのでステップＳ２９８に進み、カラー画像作成の指示を行ってステップＳ２７２に戻る。この指示によって作成される画像は、図１９のカラー画像Ｆ１またはＦ２に該当する。
【０１４２】
また、ステップＳ２８０でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップＳ２９６に移行し、直前の可視２色データが格納されているかどうかのチェックに入り、直前２色があればステップＳ２９８のカラー画像作成を指示する。この指示によって作成される画像は、図２１のカラー画像Ｆ１、Ｆ２、Ｆ３等に該当する。なお、ステップＳ２９０またはステップＳ２９６で直前の可視２色データの格納がなかったときは直ちにステップＳ２７２に戻る。
【実施例４】
【０１４３】
図２８は、本発明の第４実施例の動作タイミングの関係を示すタイミングチャートである。第４実施例は基本的には図１３から図１７に示す内視鏡システムと共通の構成なので、以下の説明では、図１３のブロック図の符号を適宜用いて説明する。第４実施例が第３実施例と異なるのは、ＣＩＧＳ撮像センサの構成およびＬＥＤの発光タイミングである。すなわち、第３実施例のＣＩＧＳセンサ５１０はカラーフィルタを有さず、色の分解はＬＥＤの時分割発光によっていたが、第４実施例のＣＩＧＳ撮像センサ５１０は、図７から図１０に示すようなカラーフィルタを有し、第１実施例および第２実施例と同様にしてＣＩＧＳ撮像センサ自体で色分解を行う。そして、ＬＥＤの発光は時分割ではなく全色同時に行われる。
【０１４４】
図２８は、このような第４実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤ＬＥＤ、全ての緑ＬＥＤ、すべての青ＬＥＤおよびすべての赤外ＬＥＤは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各ＬＥＤは、図２８のように点滅発光するかわりに連続発光しても差し支えない。なお、図２８のカラー・赤外モードにおいては、撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図１８のカラー・赤外モードの場合と共通である。
【０１４５】
図２９は、第４実施例のカプセル内視鏡５０２における精細カラーモードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図２９に明らかなように、すべての赤ＬＥＤ、全ての緑ＬＥＤおよびすべての青ＬＥＤが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外ＬＥＤは発光しない。図２９のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図２０の精細カラーモードの場合と共通である。
【０１４６】
第４実施例における赤外モードのタイミングチャートは、第３実施例における図２２と共通である。また、赤外モードにおける撮像レンズ５０８の画角がレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図２２の赤外モードと共通である。第４実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第３実施例と共通である。
【０１４７】
なお、上記第３実施例および第４実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図１３のアンテナ５３０および５４６による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、ＣＩＧＳ画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図１４から図１７の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第３実施例および第４実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
【実施例５】
【０１４８】
図３０は、本発明の第５実施例のブロック図であり、車両用監視装置を構成している。その車両監視機能は、衝突防止のための車両前後の車間距離の検知機能およびドライブレコーダとしての車両前後の画像撮影記録機能である。また検知された車間距離はドライブレコーダに記録されるとともに、画像撮影のためのフォーカス調整にも利用される。図３０において、車両６０２は、ガソリンエンジン車または電気自動車またはガソリンエンジンとモータを併用するいわゆるハイブリッドタ車のいずれかとして構成される。
【０１４９】
車両６０２は、車両全体を制御するコンピュータからなる車両制御部６０４を有し、車両の運転者による操作に応じて、動力６０６およびブレーキ６０８などを有する車両機能部６１０を制御し車両６０２を走行させる。動力６０６はガソリンエンジンまたはモータまたはその両者を含むよう構成される。車両制御部６０４は、車両６０２の制御に必要なソフトウエアおよびデータを格納する記憶部を有する。また、車両制御部６０４は、車内出力部６１２を制御し、その画像出力部６１４によって車両の操作に必要によるＧＵＩ表示を行わせるとともに制御結果の表示を行わせる。また、音声出力部６１６によって運転者へのアナウンスなども行わせる。
【０１５０】
ＧＰＳ部６１８は、ＧＰＳシステムに基づいて衛星および最寄の放送局より車両６０２の絶対位置情報である緯度、経度、および高度の情報を得て車両制御部６０４に送る。カーナビゲーション機能部６２０は、車両制御部６０４経由で得られるＧＰＳ部６１８からの絶対位置情報を処理し、地図上での車両６０２の位置を画像出力部６１４に表示させる。
【０１５１】
次に車両用監視装置に関する構成を必要に応じ上記の構成とも関連づけて説明する。第５実施例は、車両の前方および後方の監視のためにほぼ同様の監視装置を備えている。そこで、まず、車両後方の監視装置について説明する。後方カメラ／センサ６２２は、撮像レンズ６２４およびＣＩＧＳ撮像センサ６２６よりなるカメラおよびマイク６２８を備えており、車両６０２が走行状態にあるとき常時車両前方等の画像および周囲の音が入力される。
【０１５２】
ＣＩＧＳ撮像センサ６２６は、基本的には、これまでの実施例において説明した図３のような特性を有し、図７から図１０で説明したようなカラーフィルタ配列を有するものである。但し、そのカラーフィルタの分光透過率については実施例５特有の特徴を有し、赤透過フィルタ、青透過フィルタおよび緑透過フィルタおよびはそれぞれの狭い可視光領域の光を透過させるバンドパスフィルタとなっているとともに赤外光透過フィルタについては、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタとなっている。ソーラーブラインドとは地球に到達した太陽光のうち大気の吸収によって地表には到達しえないか到達しても微弱となる波長領域であり、例えば、１１００ｎｍ近辺にこのような領域があることが知られている。実施例５では、図３のようなＣＩＧＳセンサの受光感度と上記のようなフィルタの組合せにより、赤、青、緑画素によって可視光画像を撮影するとともに、赤外画素によって太陽光の有無にかかわらない距離検知を行うものである。その詳細については後述する。
【０１５３】
赤外ビームスキャナ６３０は、監視記録制御部６３２の制御下でソーラーブラインド領域の赤外光ビームを投射し、車両後方をスキャンする。投射された赤外光ビームが後続車両によって反射されると、これがＣＩＧＳ撮像センサ６２６の赤外画素によって受光される。ＣＩＧＳセンサ６２６の画像信号は、後方センサドライバ６３４を介して後方画像処理部６３６によって処理され、赤外ビームの反射位置が検知される。監視記録制御部６３２は、後方画像処理部６３６が検知した反射位置情報およびその時の赤外光ビーム投射角度から、この赤外光ビームを反射した後続車両までの車間距離を算出する。監視記録制御部６３２は算出した車間距離に応じて後方ＡＦ（オートフォーカス）制御部６３８を制御し、ＡＦ駆動部６４０により撮像レンズ６２４を駆動させて赤外光ビームを反射した後続車両に対し、可視光でのピントを合わせる。
【０１５４】
一方、上記のようなピント合わせに基づきＣＩＧＳ撮像センサ６２６の可視光画素により検知された可視光画像情報は、後方センサドライバ６３４を介して後方画像処理部６３６によって可視画像に処理され、監視記録制御部６３２を介してマイク６２８からの音声情報とともにＦＩＦＯ（先入れ先出し記録部）６４２に入力される。ＦＩＦＯ（先入れ先出し記録部）６４２は、２０秒程度の容量の不揮発性バッファメモリを備えており、後方画像処理部６３６およびマイク６２８から入力された画像および音の情報を先入れ先出しで記憶する。つまり最新２０秒の情報が常時上書き記憶され続ける。
【０１５５】
そして、異常加速度検知部６４４が衝突などによる大きな加速度変化を検知したとき、または特に記録を指示する手動操作があったとき、ＦＩＦＯ６４２の記録が証拠として保全されることになる。具体的には、監視記録制御部６３２は、車両制御部６０４と連記しており、異常加速度検知部６４４による異常加速度検知または手動操作が車両制御部６０４を介して監視記録制御部６３２に伝えられると、後方画像処理部６３６およびマイク６２８が破壊されずに情報入力が継続していれば、その時点からさらに１０秒程度のＦＩＦ０６４２への記憶を続ける。これによってＦＩＦＯ６４２には、加速度変化の検知または手動操作の時点の前後それぞれ１０秒程度の画像および音情報が最終的に保持される。そして、この前後１０秒程度の画像および音情報は、不揮発性の記録部６４６に自動転送され証拠として保存される。これによってドライブレコーダ機能が達成される。なお、衝突等でドライブレコーダ機能の大半が破壊された場合でも、不揮発性のＦＩＦＯ６４２さえ無事ならば、事故前２０秒程度の記録が保全されることになる。
【０１５６】
なお、後続車両の画像を記録する場合、車間距離が短くなると後続車両のナンバーはもちろんのことフロントガラスを介して前部座席の運転者等の顔も鮮明に記録されることになる。これらの画像は、異常がない限り、ＦＩＦＯで２０秒後には捨てられることにはなるが、プライバシー問題への配慮のため、後続車両が所定以上に車間距離を詰めてきたことを監視記録制御部６３２が検出するとこれを車両制御部６０４に送る。車両制御部６０４はこれに応答して、後方車ドラレコ（ドライブレコーダ）告知表示部６４８により、車両６０２の後部窓に「後方撮影中です」などの告知表示を行わせる。これは、万一のトラブルを軽減するための事前告知となるとともに、撮影を嫌う後続車両に自発的に適切な車間距離をとらせることが期待できる。さらに、
【０１５７】
第５実施例は、以上説明した後方監視装置と同様の監視装置を車両前方にも備えている。その構成は後方監視装置と共通なので、対応する構成については７００番台で１０の位および１の位が同じ番号を付し、特に必要ない限り説明は省略する。なお、前方監視装置の前方画像処理部７３６からの前方可視光画像情報は、後方可視光画像と同様にしてＦＩＦＯ６４２および記録部６４６に記録される。このためＦＩＦＯ６４２および記録部６４６はそれぞれ後方用および前方用の記録領域を有する。
【０１５８】
なお、前方監視装置の場合、自車両６０２が所定以上に前方車両への車間距離を詰めてしまったことを監視記録制御部６３２が検出し、これが車両制御部６０４に送られたときは、車内出力部６１２の音声出力部６１６に「車間距離をとってください」などの警告アナウンスを行わせるとともに、居眠り等により車間距離が危険領域にまで縮まったときは、ブレーキ６０８を自動的に作動させ、衝突を防止する。
【０１５９】
図３１は、後方カメラ／センサ６２２の詳細を距離検知原理とともに示したブロック図であり、上面から見た配置概念図となっている。なお、図３０と同一部分には同一番号を付している。図３１において、赤外ビームスキャナ６３０は、レーザまたは発光ダイオードからなりビームを投射するソーラーブラインドビーム光源８０２と、投射ビームを反射して道路面と平行にスキャンさせるためのポリゴンミラー、共振型ガルバノミラーまたは音響光学偏向素子などからなる二次元走査系８０４を有する。なお、ソーラーブラインドビーム光源８０２からのビームは、道路のアップダウンに対応して後続車両をカバーするため、後述のように断面が縦長になっている。なお、同様の目的で道路のアップダウンに対応して水平垂直方向に位置する可能性のある後続車両をカバーするためには、二次元走査系８０４を縦方向のスキャンも含む空間走査系として構成してもよい。
【０１６０】
ＣＩＧＳ撮像センサ６２６の光軸８０６はほぼ車両６０２の中心に配置されるが、二次元走査系８０４による走査ビームの回転中心は、この光軸８０６から離れた位置設けられる。投射ビームの回転中心と光軸８０６の距離はいわゆる三角測距の基線長となるので、原理的には両者間はできるだけ離れているのが望ましい。従って、配置が可能であれば、例えば赤外ビームスキャナ６３０は尾灯の一部に設けるのが好適である。しかしながら、一方で、後方カメラ／センサ６２２を出来るだけユニットとしてコンパクトにまとめることを優先する場合には、精度が保証できる限り、赤外ビームスキャナ６３０とＣＩＧＳ撮像センサを近接して配置するのが好適である。
【０１６１】
後方カメラ／センサ６２２は以上のような構成であるので、例えば後続車両が車両６２２の真後ろの位置８１０に存在した時、角度８１２にある投射ビームの反射光８１４がＣＩＧＳ撮像センサ６２６に向かう。つまり、反射ビーム８１４の像はＣＩＧＳ撮像センサ６２６の光軸８０６上、すなわち画面の左右方向中央に撮像される。この反射ビーム８１４の像の位置と投射ビームの角度の組合せは後続車両の位置８１０によって一義的に決まり、その時の投射ビームの角度８１２は監視記録制御部で把握されているので、投射ビームの角度と反射ビーム８１４の撮像位置の組合せから位置８１０にいる後続車両までの距離が求まることになる。
【０１６２】
同様にして、後続車両が車両６２２の真後ろの位置８１６に存在したときは、角度８１８にある投射ビームによる反射ビーム８２０がＣＩＧＳ撮像センサ６２６に向かう。このときも反射ビーム８２０の像はＣＩＧＳ撮像センサ６２６の画面の左右方向中央に撮像されるが、投射ビームが異なる角度８１８にあるので、後続車がより遠い位置８１６にあることがわかる。なお、後続車が位置８２２にいたときには、位置８１６にいるときと同様、投射ビームが角度８１８にあるときの反射光ビーム８２４の像がＣＩＧＳ撮像センサ６２６に撮像される。しかしこのときの反射光ビーム８２４の撮像位置は、画面の左右中央ではなく、主光線８２６の延長線上の、図３１で画面中央より右側の位置に撮像されるので、位置８２２が位置８１６と混同されることはない。
【０１６３】
図３２は、ＣＩＧＳ撮像センサ６２４によって撮像された画像を車内出力部６１２の画像出力部６１４で見たときの概念図である。図３２（Ａ）は、図３１のような位置に後続車両があるときに対応したものであり、最も近い真後ろの位置８１０にある後続車両とこれによる反射ビーム８１４が観察される。なお、上記のように投射ビームの断面が縦長なので後続車両による反射ビーム８１４の像も縦長形状をしている。また、反射ビーム８１４は、簡単のため位置８１０にいる後続車両の中央にのみ図示しているが、実際には後続車両前面の左端から右端まで投射ビームがスキャンされる間、反射ビームが帯状に検知される。なお、スキャン速度は車両速度よりも充分高速なのでスキャン中の車両位置の動きは無視できる。そこで、このように帯状に車両前面全体に渡っている反射ビームの像から、図３２（Ａ）に示すような反射ビーム８１４の像を求めこれに対応する投射ビームの角度を確定するためには、車両前面に渡っている帯状の反射ビーム像の重心を求める処理が必要である。このような重心を求めて処理することについては後述する。
【０１６４】
図３２（Ａ）では、上記のような位置８１０にいる後続車両と同様にして、より遠い真後ろの位置８１６にある後続車両とこれによる反射ビーム８２０の重心、および右側にずれた位置８２２を走行している後続車両とこれによる反射ビーム８２４の重心が、画像出力部６１４内に図示されている。なお、図３２は概念図であって、説明の都合上、複数の後続車両を同時に鳥瞰的に図示しているが、実際の画像はこれと異なる。つまり、車両６０２および各後続車両が平地を走行している場合、ＣＩＧＳ撮像センサの光軸８０６が道路面に平行に設定されているため、位置８１６にいる後続車両は、その真ん前の位置８１０に後続車両がいる場合、その陰に隠れて全く見えない。また、斜め後方の位置８２２を走行している後続車両は、前方の位置８１０の後続車両と重なって撮像される。なお、このように複数の後続車両が重なっている場合の処理については後述する。
【０１６５】
図３２（Ｂ）は後続車両が位置８２６に示すように異常接近した場合を図示しており、上記のように、このような後続車両に対しては、後方車ドラレコ告知表示部６４８から「後方撮影中です」などの告知表示が行われる。またプライバシーへの配慮のため、異常状態がない限りは、画像に対し、フロントガラス部モザイク処理８２８およびナンバープレートモザイク処理８３０が施される。なお、このモザイク処理は、事故等により異常加速度検知部６４４による異常加速度検知が行われたときには解除される。従って、証拠保全のためには、運転者の顔やナンバープレート等が写った画像が記録されることになる。
【０１６６】
図３３は、第５実施例におけるＣＩＧＳ撮像センサ６２６のフィルタの分光透過特性を説明するためのグラフである。ＣＩＧＳセンサの分光感度（量子効率）８３２は図３（Ａ）と同じものを概念的に示したものである。これに対し、地表における太陽光の分光放射照度８３４は、大気の吸収を受けて櫛歯上に太陽光の分光放射照度が低くなるソーラーブラインド領域を有する。１１００ｎｍ近辺や１４００ｎｍ近辺がこれに相当する。両者を比較すると、ＣＩＧＳセンサは１１００ｎｍ近辺における太陽光のソーラーブラインド領域において高い分光感度を有することがわかる。そこで、第５実施例では、図７から図１０で説明したようなカラーフィルタ配列における赤外光透過フィルタとして、１１００ｎｍ近辺における太陽光のソーラーブラインド領域にピークを持つ分光透過率８３６のバンドパスフィルタを採用する。図３１のソーラーブラインドビーム光源は、このバンドパスフィルタの透過領域に強い分光強度を有するものである。このようにして、ＣＩＧＳ撮像センサ６２６の赤外画素数は、太陽光の存在にかかわらず、赤外ビームスキャナから投射されるビームの反射光を検知できる。
【０１６７】
図３３には、さらに赤透過フィルタ、緑透過フィルタおよび青透過フィルタにそれぞれ採用される狭い可視光領域のバンドパスフィルタの分光透過率８３８、８４０および８４２をそれぞれ図示している。これらの波長域では、地表における太陽光の分光放射照度８３４は充分であり、かつ、ＣＩＧＳセンサの分光感度（量子効率）８３２も極めて高いので、可視光の撮像が可能となる。このように、第５実施例では、赤透過フィルタの分光透過率８３８を含め、すべてのフィルタが狭い領域の波長域を透過させるバンドパスフィルタとなっているので、可視光の撮像およびソーラーブラインド領域の投射ビームによる距離検知を同時に行うことが可能である。なお、撮像レンズ６０４のピント位置は可視光を基準にして行う。この場合、赤外画素についてはピントが合わないが、反射ビームの重心を求める目的からは問題はない。
【０１６８】
図３４は、図３０の第５実施例における監視記録制御部６３２の動作のフローチャートである。フローは、車両６０２が走行を開始するとスタートし、ステップＳ３０２でドライブレコーダ記録の開始を指示するとともに、ステップＳ３０４でソーラーブラインド赤外ビームによるスキャン開始を指示してステップＳ３０６に至る。ステップＳ３０６では、上記の指示に基づいて前方および後方画像処理部から送られる可視画像、前方および後方マイクからの音声、前方および前方の検知距離のＦＩＦＯ記録を指示する。
【０１６９】
次いでステップＳ３０８では、赤外ビームスキャナ６３０からのビーム角度およびＣＩＧＳ撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。この車間距離検知は前方車両および後方車両の両者について行われるものであるが、その詳細は後述する。ステップＳ３０８で前方および後方の車間距離が検知されると、ステップＳ３１０ではこれに基づいて、前方カメラ／センサ７２２および後方カメラ／センサ６２２についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。
【０１７０】
次のステップＳ３１２では、ステップＳ３０８で検知した前方車間距離に基づいて、前方車への異常接近の有無がチェックされる。そして前方車間異常接近が検知されるとステップＳ３１４に進み、ブレーキを安全な強度で自動作動させて減速する指示を行うとともにステップＳ３１６で異常車間距離のアナウンスを指示してステップＳ３１８に移行する。一方、ステップＳ３１２で前方車間異常接近が検知されなければ直接ステップＳ３１８に移行する。ここで、車間距離に応じたよりきめ細かい処理を望む場合は、ステップＳ３１２の車間距離判断を二段階にし、車間距離が比較的大きい時はステップＳ３１６の警告アナウンス指示のみに留めるとともに、車間距離がより短くなったときのみステップＳ３１４のブレーキ自動作動を加えるよう構成する。また、このようなきめ細かい処置にするか図３４通りの一段階の処理にするかを予め選択しておくよう構成することもできる。
【０１７１】
ステップＳ３１８では、ステップＳ３０８で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。そして後方車間異常接近が検知されるとステップＳ３３２０に進み、異常車間距離のアナウンスを指示する。さらに、ステップＳ３２２では、後方車両運転者に見えるよう車両６０２の後部窓に「後方撮影中です」などの告知表示を行わせる。また、ステップＳ３２４では、後方カメラ／センサ６２２が撮像する後方車の画像に対し、フロントガラス部モザイク処理８２８およびナンバープレートモザイク処理８３０を施す指示を出してステップＳ３２６に移行する。一方、ステップＳ３１８で後方車間異常接近が検知されなければステップＳ３２８に進み、ステップＳ３２０からステップＳ３２４に該当する後方車対策を解除してステップＳ３２６に移行する。これは、異常接近状態の検知に対応して後方車との車間距離が広がり、正常状態に復帰したときに必要な処理である。
【０１７２】
ステップＳ３２６では、異常加速度が検知されたかどうかがチェックされ、検知があればステップＳ３３０で後方車フロント／ナンバープレートモザイク処理を解除する。さらにステップＳ３３２では、異常加速度検知後１０秒の画像／音声／距離がＦＩＦＯ６４２に入力されるのを待つとともにこのようにして確保されたＦＩＦＯ６４２における異常加速度検知前後１０秒分の画像／音声／距離を記録部６４６に記録してステップＳ３３４に移行する。一方、ステップＳ３２６で異常加速度が検知されなければ直接ステップＳ３３４に移行する。
【０１７３】
ステップＳ３３４では、車両が停止したかどうかチェックし、停止していなければステップＳ３０６に戻って、以下ステップＳ３０６からステップＳ３３４を繰り返し、前方カメラ／センサ７２２および後方カメラ／センサ６２２による記録と検知を継続しながら種々の状態に対処する。一方、ステップＳ３３４で車両の停止が検知されるとステップＳ３３６の停車中処理に移行する。車両の事故は、車両の走行中だけでなく、例えば信号で停車中に後方から追突される等のケースもある。停車中処理はこのような車両停止中の事故にたいしても証拠保全するためのものである。
【０１７４】
図３５は、図３４の停車中処理の詳細を示すフローチャートである。図３４のステップＳ３３４から図３５の停車中処理に移行すると、まず、ステップＳ３４２で車両が走行しているかどうかチェックする。ここで走行していることが検知されると図３４のステップＳ３０６に戻る。一方、停車が継続されていることが確認されるとステップＳ３４４に進み、継続して前方および後方画像処理部から送られてきている可視画像、前方および後方マイクからの音声、前方および前方の検知距離のＦＩＦＯ記録を指示する。
【０１７５】
次いでステップＳ３３６では、赤外ビームスキャナ６３０からのビーム角度およびＣＩＧＳ撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。これは、図３４のステップＳ３０８と同じ処理である。ステップＳ３４６で前方および後方の車間距離が検知されると、ステップＳ３４８ではこれに基づいて、前方カメラ／センサ７２２および後方カメラ／センサ６２２についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。これも図３４のステップＳ３１０と同じものである。
【０１７６】
次のステップＳ３５０では、ステップＳ３０８で検知した前方車間距離に基づいて、前方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準は図３４のステップＳ３１２よりも近接した距離である。既に車両６０２は停車しているので、このような場合は、前方車が気付かずバックしてきた場合などに相当する。従って、停車前提前方車間異常接近が検知されるとステップＳ３５２に進み、自動的にクラクションを作動させて前方車に注意を促し、ステップＳ３５４に移行する。一方、ステップＳ３５２０で停車前提前方車間異常接近が検知されなければ直接ステップＳ３５４に移行する。
【０１７７】
ステップＳ３５４では、ステップＳ３０８で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。このチェック基準は図３４のステップＳ３１８と同じものである。但しここで後方車異常接近が検地されたときは、図３４のような警告アナウンス指示や後方車ドラレコ告知表示指示は行わず、ステップＳ３５６の後方車フロント／ナンバーモザイク処理のみを行ってステップＳ３５８に移行する。これは、信号待ち停車等においては後方車との車間距離が短くなるのが当然であり、このような状態での警告アナウンス指示は無用であるとともに、後方車ドラレコ告知表示指示はかえって後方車とのトラブルの原因になるからである。そこで、後方車フロント／ナンバーモザイク処理によるプライバシー配慮のみに留めている。一方、ステップＳ３５６で後方車間異常接近が検知されなければステップＳ３６０に進み、後方車対策を解除してステップＳ３５８に移行する。これは、自車両停車時に後方車が遠くにいる状態において後方車フロント／ナンバーモザイク処理を解除するためである。
【０１７８】
ステップＳ３５８では、ステップＳ３０８で検知した前方車間距離に基づいて、後方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準はステップＳ３５４におけるよりも近接した距離である。そしてこのような異常接近が検知されるとステップＳ３６２に進み、フットブレーキを自動作動させてステップＳ３６４に移行する。これは、サイドブレーキのみで停車している場合において、万一追突された場合に車両の停止能力を高めてショックを少しでも軽減するためである。一方、ステップＳ３５８で停車前提後方車間異常接近が検知されなければ直接ステップＳ３６４に移行する。
【０１７９】
ステップＳ３６２では、異常加速度が検知されたかどうかがチェックされ、検知があればステップＳ３６６で後方車フロント／ナンバープレートモザイク処理を解除する。さらにステップＳ３６８では、異常加速度検知後１０秒の画像／音声／距離がＦＩＦＯ６４２に入力されるのを待つとともにこのようにして確保されたＦＩＦＯ６４２における異常加速度検知前後１０秒分の画像／音声／距離を記録部６４６に記録してステップＳ３３４に移行する。これらは図３４のステップＳ３３０およびステップＳ３３２と同じである。一方、ステップＳ３６４で異常加速度が検知されなければ直接ステップＳ３７０に移行する。
【０１８０】
ステップＳ３７０では、動力が停止したかどうかチェックし、停止していればステップＳ３７２に進んで、前方カメラ／センサ７２２および後方カメラ／センサ６２２からの信号に基づく前方画像処理部７３６および後方画像処理部６３６の画像処理により、画像中に動体が写っていない状態が所定時間以上続いているかどうかチェックする。そして動体が検知されればステップＳ３４２に戻り、以下ステップＳ３４２からステップＳ３７２を繰り返し、前方カメラ／センサ７２２および後方カメラ／センサ６２２による記録と検知を継続しながら種々の状態に対処する。ステップＳ３７２で動体が検知されたときステップＳ３４２に戻るのは、車両６０２が停車しかつ動力が停止させられていても周囲に走行中の車両があれば事故に巻き込まれるおそれがあるのでその場合の証拠保全を行うためである。一方、ステップＳ３７２で所定時間以上動体検知がなければ車両６０２が車庫など安全な位置に格納されたことを意味するのでフローを終了する。なお、ステップＳ３７０で動力が停止していないことが検知された時もステップＳ３４２に戻り、前方カメラ／センサ７２２および後方カメラ／センサ６２２による記録と検知を継続しながら種々の状態に対処する。
【０１８１】
図３６は、図３４のステップＳ３０８および図３５のステップＳ３４６における車間距離検知処理の詳細を示すフローチャートである。このフローは前方カメラ／センサ７２２の画像および後方カメラ／センサ６２２のそれぞれについて実施されるものであるが、以下の説明では簡単のため、後方カメラ／センサ６２２からの画像についての処理として説明する。フローがスタートすると、ステップＳ３８２で可視光画像の処理が行われる。そしてこの処理に基づき、ステップＳ３８４で車両６０２と同一車線内後方に車両画像があるかどうかチェックする。そして画像があればステップＳ３８６に進み、その画像の対象性をチェックする。これは複数の車両が重なって写っていないかどうかチェックすることを意味する。対象性がなければ、ステップＳ３８８に進み、予め用意された何パターンかの車両重なり画像とそれぞれマッチングを行う。
【０１８２】
次いで、ステップＳ３８６では一致するパターンが見つかりそのパターンに基づいて重なっている複数の車両のうちの最も近いもののみの画像が分離できたかどうかチェックし、分離が出来ればステップＳ３９２に移行する。一方、ステップＳ３８６で車両画像に対称性があれば重なりはないものとして直接ステップＳ３９２に移行する。そして、ステップＳ３９２で分離した単独車両の画像の大きさからその車両の距離を判断する。しかしながら、この距離判断は車両自体に軽自動車から大型バス等にわたる大きさのばらつきがあるためあくまで大まかなものである。さらにステップＳ３９４では、分離した単独車両の可視光画像における重心を検知してステップＳ３９６に移行する。
【０１８３】
ステップＳ３９６では、ソーラーブラインド画素の画像処理が行われる。そして、ステップＳ３９８において、出力が所定以上の画像群があるかどうかのチェックが行われる。これは、後方をスキャンしているソーラーブラインド領域の投射ビームが後方車両により反射されこれが後方カメラ／センサ６２２のソーラーブラインド画素で検知されているかどうかをチェックしていることに相当する。車両等の近接物体がない限り、投射ビームの反射光が所定以上の強度をもつことはないからである。
【０１８４】
ステップＳ３９８で出力所定以上の画素群があればステップＳ４００に進み、画素群の中にステップＳ４９４で検知した可視光画像重心に一致する部分があるかどうかチェックする。そして該当する部分があれば、これを反射ビームの重心と看做し、ステップＳ４０２においてこの反射ビーム重心の元になった投射ビームの角度情報を取得する。これによって、ステップＳ４０４では、ステップＳ４０２で得た投射ビーム角度およびステップＳ３９４で得た画像重心位置より投射ビームを反射した車両までの距離を仮決定する。このようにして仮決定された距離は、次のステップＳ４０６においてステップＳ３９２で求めた画像大きさに基づく距離に矛盾しないかどうかチェックする。そして矛盾がなければステップＳ４０４で仮決定した距離を正式に検知車両までの距離として本決定しフローを終了する。
【０１８５】
一方、ステップＳ４０６で距離に矛盾があればステップＳ４１０に進み、画像処理が所定回数以上行われたかどうかチェックして、まだ所定回数の達していなければステップＳ３８２に戻り、可視光画像処理から処理をやり直す。このようにして、ステップＳ４０６で画像大きさ距離に矛盾しないソーラーブラインド検知距離が求まったことが確認されるか又はステップＳ４１０で画像処理が所定回数以上行われたことが検知されない限りステップＳ３８２からステップＳ４１０が繰り返される。なお、ステップＳ３８４で同一車線内車両画像が検知されなかったとき、またはステップＳ３９０で重なり画像から単独車両が分離できなかったとき、またはステップＳ３９８で出力が所定以上のソーラーブラインド画素がなかったとき、またはステップＳ４００でソーラーブラインド画素群に可視光画像重心と一致する部分がなかったときは、いずれも直ちにステップＳ４１０に移行し、画像処理の繰り返しに入る。
【０１８６】
これに対し、ステップＳ４１０で距離の本決定ができないまま画像処理が所定回数以上くりかえされたことが検知されたときはステップＳ４１２に進み、ステップＳ３９２により画像大きさ距離の有無をチェックする。そして、画像大きさ距離があればステップＳ４１４に進んでそのうちの最新の画像大きさ距離を採用してフローを終了する。一方、ステップＳ４１２で画像大きさ距離がなかった時はステップＳ４１６に進み、無限遠から中近距離までの車両後方の大半にピントが合うパンフォーカス距離を採用してフローを終了する。これによって、少なくとも図３４のステップＳ３１０または図３５のステップＳ３４８のカメラＡＦのための何らかの距離を決定してフローが終了される。
【実施例６】
【０１８７】
図３７は、本発明の第６実施例の車両用監視装置の後方カメラ／センサの詳細を距離検知原理とともに示したブロック図である。第６実施例は、図３０の全体構成ブロックを含め基本的には第５実施例と共通の構成を有しているが、前方カメラセンサおよび後方カメラ／センサにおけるＣＩＧＳセンサ周辺の構成が若干異なるなるものである。図３７には、図３１の第５実施例と同様にして代表として後方カメラ／センサ９２２を図示しているが、第５実施例と共通する部分には図３１と共通の番号を付し、特に必要ない限り、説明は省略する。
【０１８８】
第６実施例のＣＩＧＳ撮像センサ９２６はカラーフィルタの構成が異なり、赤透過フィルタは狭い領域を透過させるバンドパスフィルタではなく、赤より長波長側を透過させるローパスフィルタが採用されている。また、赤外光透過フィルタについても、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタではなく、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっている。これらのローパスフィルタは、バンドパスフィルタよりも構成が簡単である。このため、まずソーラーブラインド領域より長波長側をカットするための、固定ハイパスフィルタ９０１がＣＩＧＳセンサ９２６への光路中に設けられる。さらに、赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットする可動帯域カットフィルタ９０３がＣＩＧＳセンサ９２６への光路中に設けられる。これらの組合せにより、結果的に図３３と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる。
【０１８９】
第６実施例はさらに、赤外撮影が可能となっている。このためには、可動帯域カットフィルタ９０３がＣＩＧＳ撮像センサ９２６への光路から退避させられ、代わりに、可視光領域をカットして赤外領域を透過させる可動ローパスフィルタ９０５がＣＩＧＳセンサ９２６への光路中に設けられる。可動帯域カットフィルタ９０３および可動ローパスフィルタ９０５の差し換えはフィルタ駆動部９０７が行う。平均照度検知部９０９は、ＣＩＧＳセンサの可視光出力に基づき、平均照度が小さくなったとき、すなわち夕暮から夜間に相当する状況になったものと判断し、フィルタ駆動部９０７に指示して、可動帯域カットフィルタ９０３を可動ローパスフィルタ９０５に自動切換えさせる。さらに、コントラスト検知部９０９は、ＣＩＧＳセンサの可視光出力に基づき、コントラストが小さくなったとき、雨や霧で視界が悪くなったものと判断し、フィルタ駆動部９０７に指示して、可動帯域カットフィルタ９０３を可動ローパスフィルタ９０５に自動切換えさせる。
【０１９０】
以上のようにして、第６実施例はでは、暗いときまたは視界が悪い時において、可視光撮影を赤外光撮影に自動切換えすることができる。なお、平均照度検知部９０９およびコントラスト検知部９０９は、ＣＩＧＳセンサの赤外光出力に基づき、平均照度またはコントラストが大きくなったとき可動ローパスフィルタ９０５を可動帯域カットフィルタ９０３に自動切換えさせて赤外光撮影から可視光撮影へ切換えさせる。なお、ＡＦ駆動部９４０は上記のようなフィルタの差し換えに連動し、赤外撮影が行われるときはピント合わせに赤外補正を加える。
【０１９１】
図３８は、第６実施例におけるＣＩＧＳ撮像センサ６２６のフィルタの分光透過特性を説明するためのグラフであり、図３８（Ａ）は可視光撮影の状態、図３８（Ｂ）は赤外光撮影の状態をそれぞれ示している。ＣＩＧＳセンサの分光感度８３２、太陽光の分光放射照度８３４、緑透過フィルタの分光透過率８４０のおよび青透過フィルタの分光透過率８４２はそれぞれ図３３と同じである。これに対し、赤透過フィルタの分光透過率９３２は、赤より長波長側を透過させるローパスフィルタとなっている。また、赤外光透過フィルタの分光透過率９３６は、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっており、図３８（Ｂ）からわかるようにソーラーブラインド領域よりも短波長側の近赤外領域を比較的広く透過させている。さらに、固定ハイパスフィルタ９０１の分光感度は、ソーラーブラインド領域より長波長側をカットするハイパスフィルタとなっている。
【０１９２】
以上のような構成において、図３８（Ａ）では、斜線部に示すように、可動帯域カットフィルタ９０３が赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットしている。この結果、図３３と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる合成分光透過率が達成されている。なお、図３８（Ａ）の状態では、赤画素においても赤画像に重畳してソーラーブラインド投射ビームの反射光が感知される。この反射光は予めわかっているビーム投射タイミングでしか感知されないので、このタイミングにおける出力変化から投射ビーム反射光を検知して距離検知情報に利用することもできる。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はない。
【０１９３】
これに対し、図３８（Ｂ）では、可動帯域カットフィルタ９０３が除去され、斜線部に示すように、可動ローパスフィルタ９０５が可視光領域をカットしている。この結果、近赤外のかなり広い帯域の光が赤外画素に入射することになる。これによって太陽光を光源とするものも含めた赤外光による撮像が可能となる。また、ソーラーブラインド領域の光も入射可能なので、投射ビームによる距離測定も可能である。ここで図３８（Ｂ）の状態では赤画素は赤外画素とほぼ同じ分光透過率を持つことになるので、赤外撮影においては、赤画素を赤外画素と看做して撮像情報に活用することができる。
【０１９４】
なお、第６実施例において広い帯域の近赤外光を入射させることによる収差およびピント位置のずれが問題になるときは、赤外光透過フィルタの分光透過率９３６のカットオフ波長を例えば１０００ｎｍ程度としてソーラーブラインド領域に近づけるとともに、可動ローパスフィルタ９０５のカットオフ波長もこれに対応して１０００ｎｍ程度にシフトさせ、短波長側の近赤外光をカットするようにする。これによって赤外光撮影の帯域を狭くし、収差およびピント位置のずれを軽減す売ることができる。但し、これによって赤外光撮影の光量が低下するので両者の兼ね合いから赤外光撮影の透過帯域幅を決定する。また、目的に応じ、そのピークをどこにするかの選択も可能である。
【０１９５】
図３９は、図３７の第６実施例における監視記録制御部６３２の動作のフローチャートである。その内容は、図３４の第５実施例におけるフローチャートと共通するところが多いので、共通するところには同一のステップ番号を付すとともに、図３４と関係付けて説明する。まず、図３９におけるステップＳ３０２からステップＳ３０８、ステップＳ３３４は図３４の同一番号ステップと同じである。また、図３９のステップＳ４２２における車両異常接近処理は、図３４のステップＳ３１２からステップＳ３２４およびステップＳ３２８をまとめたものであって、その内容は同一である。同様に、図３９のステップＳ４２４における異常加速度検知処理は、図３４のステップＳ３２６、ステップＳ３３０およびステップＳ３３２をまとめたものであって、その内容は同一である。そして、図３４のステップＳ３１０の部分が、図３９のステップＳ４２６からステップＳ４４２に置き換わっている。なお、図３９のステップＳ４４４における停車中処理の内容は、図３５のステップＳ３４８の部分を図３９のステップＳ４２６からステップＳ４４２に置き換えたものである。
【０１９６】
以上の前提のもとで、図３９のステップＳ４２６からステップＳ４４２について説明する。これらの部分は、図３７で説明した可動ローパスフィルタ９０５と可動帯域カットフィルタ９０３の自動切換えおよび、これに連動するＡＦ駆動部９４０の赤外補正に関するものである。図３９において、ステップＳ３０８で前方および後方の車間距離が検知されると、ステップＳ４２６では手動で赤外撮影が選択されたかどうかチェックする。選択がなければステップＳ４２８に移行し、平均照度検知部９０９により検知される照度が所定以下かどうかチェックする。照度が所定以下でなければさらにステップＳ４３０でコントラスト検知部９１１により検知されるコントラストが所定以下であるかどうかチェックする。
【０１９７】
ステップＳ４３０でコントラストが所定以下であると判断されたときはステップＳ４３２に進み、可視光帯域をカットする可動ローパスフィルタ９０５を挿入する指示をフィルタ制御部９０７に行う。なお、ステップＳ４２６で手動赤外撮影選択が検知されたとき、またはステップＳ４２８で照度が所定以下であることが検知されたときは直ちにステップＳ４３２に移行する。次いで、ステップＳ４３４では、ＡＦ駆動部９４０に赤外補正つきのカメラＡＦによるピント合わせを行うよう指示する。さらにステップＳ４３６では赤外光画像出力を選択するよう画像処理部に指示してステップＳ４２２に移行する。
【０１９８】
一方、ステップＳ４３０でコントラストについても所定以下でなかったときはステップＳ４３８に移行し、ソーラーブラインド以外の赤外帯域をカットする可動帯域カットフィルタ９０３を挿入する指示をフィルタ制御部９０７に行う。次いで、ステップＳ４４０では、ＡＦ駆動部９４０に赤外補正なしのカメラＡＦによるピント合わせを行うよう指示する。さらにステップＳ４３６では可視光画像出力を選択するよう画像処理部に指示してステップＳ４２２に移行する。
【実施例７】
【０１９９】
図４０は、本発明の第７実施例の車両用監視装置の前方および後方カメラ／センサに用いられるＣＩＧＳ撮像センサのカラーフィルタ配列である。このフィルタ配列は、基本的には原色カラーフィルタにおいて代表的なベイヤー配列と全く同様であって、赤透過フィルタＲ２１（ＩＲ２１）、緑透過フィルタＧ１１、Ｇ２２、および青透過フィルタＢ１２を有する。但し、第７実施例では、後述のようにフィルタ切換えによって赤透過フィルタＲ２１(ＩＲ２１)に該当する画素の出力が赤外光出力としても兼用される。本発明の第７実施例の車両用監視装置の前方および後方カメラ／センサの構成は、図３７に示した第６実施例と共通であり、上記のようにＣＩＧＳ撮像センサ９２６のフィルタ配列のみが異なる。
【０２００】
図４１は、第７実施例におけるＣＩＧＳ撮像センサ６２６のフィルタの分光透過特性を説明するためのグラフであり、図３８の場合と同様にして、図４１（Ａ）は可視光撮影の状態、図４１（Ｂ）は赤外光撮影の状態をそれぞれ示している。ＣＩＧＳセンサの分光感度８３２、太陽光の分光放射照度８３４、緑透過フィルタの分光透過率８４０、青透過フィルタの分光透過率８４２、赤透過フィルタの分光透過率９３２、固定ハイパスフィルタ９０１の分光感度および可動帯域カットフィルタ９０３の分光感度は、それぞれ図３８（Ａ）と同じである。つまり、第７実施例では、上記のＣＩＧＳ撮像センサのカラーフィルタ配列により、赤外専用の画素が除かれたことだけが第６実施例と異なる。
【０２０１】
この結果、図４１（Ａ）の状態では、図４０のＲ２１（ＩＲ２１）とうに該当する分光透過率９３２の赤画素に赤画像に重畳してソーラーブラインド投射ビームの反射光が感知されることになる。第７実施例ではソーラーブラインド反射光検出のための専用画像を持たないので、赤画素の赤画像出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離する。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はないことは第６実施例と同様である。
【０２０２】
これに対し、図４１（Ｂ）では、可動帯域カットフィルタ９０３が除去され、斜線部に示すように、可動ローパスフィルタ９０５が可視光領域および１０００ｎｍ近辺までの近赤外領域をカットしている。この結果、分光透過率９３２の赤画素には１０００ｎｍから１１００ｎｍ近辺までの太陽光に基づく赤外光およびソーラーブラインド投射ビームの反射光が検知される。ここでも、赤画素の赤外光出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、図４１（Ａ）の場合と同様、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離することができる。
【０２０３】
なお、図４１（Ｂ）において、可動ローパスフィルタ９０５が可視光領域および１０００ｎｍ近辺までの近赤外領域をカットしている例を示したが、これは第７実施例に特有のことではない。既に第６実施例において、収差およびピント位置の問題への対処のため可動ローパスフィルタ９０５のカットオフ波長を１０００ｎｍ程度にシフトさせることについて説明したが、図４１（Ｂ）はこのような構成を採用した例を具体的に示したものである。第７実施例においても、ソーラーブラインド反射光成分の分離、および収差およびピント位置のずれの観点で問題がない場合は、第６実施例と同様にして、赤外撮影状態における可動ローパスフィルタ９０５のカットオフ波長を短波長側にシフトしてもよい。
【実施例８】
【０２０４】
図４２は、本発明の第８実施例の車両用監視装置の前方および後方カメラ／センサに用いられるＣＩＧＳ撮像センサのカラーフィルタの分光透過特性を説明するためのグラフである。第８実施例は、基本的には第７実施例と同様の構成を持つ。すなわちＣＩＧＳ撮像センサのフィルタ配列は、図４０に示すようなベイヤー配列であり、第７実施例と同様にしてフィルタ切換えにより赤透過フィルタＲ２１に該当する画素の出力が赤外光出力としても兼用される。また、第７実施例と同様にして、車両用監視装置の前方および後方カメラ／センサの構成は、図３７に示した第６実施例と共通のものである。図４２の第８実施例が第７実施例と異なるのは、ソーラーブラインドビーム反射光検知による距離検知機能を省略し、専ら可視光による通常昼間の可視光ドライブレコーダおよび夜間または霧中などにおける赤外光ドライブレコーダの自動切換えに機能を絞った点にある。
【０２０５】
第８実施例においても、図３８および図４１と同様にして、図４２（Ａ）は可視光撮影の状態、図４２（Ｂ）は赤外光撮影の状態をそれぞれ示している。また、図４２において、ＣＩＧＳセンサの分光感度８３２、太陽光の分光放射照度８３４、緑透過フィルタの分光透過率８４０、青透過フィルタの分光透過率８４２、赤透過フィルタの分光透過率９３２、および可動帯域カットフィルタ９０３の分光感度は、それぞれ図４１（Ａ）と同じである。図４２が図４１と異なるのは、固定ハイパスフィルタ９０１が１１００ｎｍ近辺のソーラーブラインド領域を含めこれより長い波長域をカットする分光透過率となっており、ＣＩＧＳセンサのソーラーブラインド領域の感度を利用していない点である。
【０２０６】
これによって、可動帯域カットフィルタ９０３が挿入されている図４２（Ａ）の状態では分光透過率９３２の赤画素に赤画像のみが感知されることになる。これに対し、図４２（Ｂ）では、可動帯域カットフィルタ９０３が除去され、斜線部に示すように、可動ローパスフィルタ９０５が可視光領域および１０００ｎｍ近辺までの近赤外領域をカットしている。この結果、分光透過率９３２の赤画素には１０００ｎｍから１１００ｎｍ近辺までの太陽光に基づく赤外光が検知される。このようにして、ＣＩＧＳセンサの広い分光感度を利用し、ベイヤー配列における赤画素が可視光撮影における赤画像検知および赤外光撮影における赤外画像検知に切換えて利用される。なお、このような第８実施例のＣＩＧＳセンサはドライブレコーダに限らず、第１実施例、第２実施例におけるカメラ、また第４実施例におけるような内視鏡においても採用が可能なものである。
【産業上の利用可能性】
【０２０７】
本発明は、ドライブレコーダなどの車両用の走行情報記録装置を提供するものである。
【符号の説明】
【０２０８】
６２６ 光電変換部
６２４ 撮像レンズ
６４２、６４６ 記録部
９０３ 赤外カットフィルタ
９０５ 可視光カットフィルタ
９０７ フィルタ駆動部
６３２ 制御部
９１１ コントラスト検知部
６４８ 告知部
６３２、６３６ 保護手段
６３０ 赤外光投射部
６３０、６２６、６３６、６３２ 距離検知部
６３２ 判断手段
６４４ 異常加速度検知部
【特許請求の範囲】
【請求項１】
それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の受光部を有する光電変換部と、前記光電変換部に被写体像を結像させる撮像レンズと、前記光電変換部より取得される可視光像および赤外光像を記録する記録部とを有することを特徴とする車両用の走行情報記録装置。
【請求項２】
前記光電変換部より可視光像を取得するための赤外光カットフィルタと前記光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に前記光電変換部への光路に配するフィルタ駆動部を有することを特徴とする請求項１記載の車両用の走行情報記録装置。
【請求項３】
前記光電変換部の出力に基づいて出力画像の平均照度を検知する平均照度検知部を有し、前記平均照度検知部の検知する平均照度に基づいて前記記録部に可視光像および赤外光像の一方を選択して記録させる制御部を有することを特徴とする請求項１または２記載の車両用の走行情報記録装置。
【請求項４】
前記光電変換部の出力に基づいて出力画像のコントラストを検知するコントラスト度検知部を有し、前記コントラスト検知部の検知するコントラストに基づいて前記記録部に可視光像および赤外光像の一方を選択して記録させる制御部を有することを特徴とする請求項１から３のいずれかに記載の車両用の走行情報記録装置。
【請求項５】
前記撮像レンズは車両後方の被写体像を前記光電変換素子に結像させるとともに、車両後方の撮像を後続車両に告知する告知部を有することを特徴とする請求項１から４のいずれかに記載の車両用の走行情報記録装置。
【請求項６】
前記撮像レンズは車両後方の被写体増を前記光電変換素子に結像させるとともに、前記記録部に記録される車両後方画像にプライバシー保護を施す保護手段を有することを特徴とする請求項１から５のいずれかに記載の車両用の走行情報記録装置。
【請求項７】
前記光電変換部は、青領域に感度を有する複数の受光部と緑領域に感度を有する複数の受光部と赤領域および赤外光域に感度を有する複数の受光部が規則的に配列されてなるとともに、前記光電変換部より可視光像を取得するための赤外光カットフィルタと前記光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に前記光電変換部への光路に配するフィルタ駆動部を有することを特徴とする請求項１から６のいずれかに記載の車両用の走行情報記録装置。
【請求項８】
青領域に感度を有する複数の受光部と、緑領域に感度を有する複数の受光部と、赤領域および赤外光域に感度を有する複数の受光部が規則的に配列された光電変換部と、前記光電変換部に被写体像を結像させる撮像レンズと、前記光電変換部より可視光像を取得するための赤外光カットフィルタと前記光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に前記光電変換部への光路に配するフィルタ駆動部と、前記光電変換部からの画像情報を記録する記録部とを有することを特徴とする車両用の走行情報記録装置。
【請求項９】
前記赤領域および赤外光域に感度を有する複数の受光部は太陽光が大気の吸収によって地表において微弱となる赤外光域においても感度を有するとともに、前記赤外光カットフィルタおよび前記可視光カットフィルはいずれも前記太陽光が大気の吸収によって地表において微弱となる赤外光域の光を透過させることを特徴とする請求項８記載の車両用の走行情報記録装置。
【請求項１０】
前記太陽光が地表において微弱となる赤外光域の赤外光を投射する赤外光投射部を有し、前記光電変換部は前記赤外光投射部から投射された赤外光の反射光を受光することを特徴とする請求項９記載の車両用の走行情報記録装置。
【請求項１１】
光電変換部と、車両後方の被写体像を前記光電変換部に結像させる撮像レンズと、前記光電変換部より取得される画像を記録する記録部と、車両後方の撮像を後続車両に告知する告知部とを有することを特徴とする車両用の走行情報記録装置。
【請求項１２】
後続車両までの距離を検知する距離検知部を有し、前記告知部は前記距離検知部に基づいて後続車両への告知を行うことを特徴とする請求項１１記載の車両用の走行情報記録装置。
【請求項１３】
車両が走行中か否かを判断する判断手段を有し、前記告知部は前記距離検知部および前記判断手段に基づいて後続車両への告知を行うことを特徴とする請求項１２記載の車両用の走行情報記録装置。
【請求項１４】
光電変換部と、車両後方の被写体像を前記光電変換部に結像させる撮像レンズと、前記光電変換部より取得される画像を記録する記録部と、前記記録部に記録される車両後方画像にプライバシー保護を施す保護手段を有することを特徴とする車両用の走行情報記録装置。
【請求項１５】
後続車両までの距離を検知する距離検知部を有し、前記保護手段は前記距離検知部に基づいて後続車両へのプライバシー保護を施すことを特徴とする請求項１４記載の車両用の走行情報記録装置。
【請求項１６】
車両に異常加速度がかかったことを検知する異常加速度検知部を有し、前記プライバシー保護手段は前記異常加速度検知部に基づき後続車両へのプライバシー保護を解除することを特徴とする請求項１４または１５記載の車両用の走行情報記録装置。
【請求項１】
それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の受光部を有する光電変換部と、前記光電変換部に被写体像を結像させる撮像レンズと、前記光電変換部より取得される可視光像および赤外光像を記録する記録部とを有することを特徴とする車両用の走行情報記録装置。
【請求項２】
前記光電変換部より可視光像を取得するための赤外光カットフィルタと前記光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に前記光電変換部への光路に配するフィルタ駆動部を有することを特徴とする請求項１記載の車両用の走行情報記録装置。
【請求項３】
前記光電変換部の出力に基づいて出力画像の平均照度を検知する平均照度検知部を有し、前記平均照度検知部の検知する平均照度に基づいて前記記録部に可視光像および赤外光像の一方を選択して記録させる制御部を有することを特徴とする請求項１または２記載の車両用の走行情報記録装置。
【請求項４】
前記光電変換部の出力に基づいて出力画像のコントラストを検知するコントラスト度検知部を有し、前記コントラスト検知部の検知するコントラストに基づいて前記記録部に可視光像および赤外光像の一方を選択して記録させる制御部を有することを特徴とする請求項１から３のいずれかに記載の車両用の走行情報記録装置。
【請求項５】
前記撮像レンズは車両後方の被写体像を前記光電変換素子に結像させるとともに、車両後方の撮像を後続車両に告知する告知部を有することを特徴とする請求項１から４のいずれかに記載の車両用の走行情報記録装置。
【請求項６】
前記撮像レンズは車両後方の被写体増を前記光電変換素子に結像させるとともに、前記記録部に記録される車両後方画像にプライバシー保護を施す保護手段を有することを特徴とする請求項１から５のいずれかに記載の車両用の走行情報記録装置。
【請求項７】
前記光電変換部は、青領域に感度を有する複数の受光部と緑領域に感度を有する複数の受光部と赤領域および赤外光域に感度を有する複数の受光部が規則的に配列されてなるとともに、前記光電変換部より可視光像を取得するための赤外光カットフィルタと前記光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に前記光電変換部への光路に配するフィルタ駆動部を有することを特徴とする請求項１から６のいずれかに記載の車両用の走行情報記録装置。
【請求項８】
青領域に感度を有する複数の受光部と、緑領域に感度を有する複数の受光部と、赤領域および赤外光域に感度を有する複数の受光部が規則的に配列された光電変換部と、前記光電変換部に被写体像を結像させる撮像レンズと、前記光電変換部より可視光像を取得するための赤外光カットフィルタと前記光電変換部より赤外光像を取得するための可視光カットフィルタを代替的に前記光電変換部への光路に配するフィルタ駆動部と、前記光電変換部からの画像情報を記録する記録部とを有することを特徴とする車両用の走行情報記録装置。
【請求項９】
前記赤領域および赤外光域に感度を有する複数の受光部は太陽光が大気の吸収によって地表において微弱となる赤外光域においても感度を有するとともに、前記赤外光カットフィルタおよび前記可視光カットフィルはいずれも前記太陽光が大気の吸収によって地表において微弱となる赤外光域の光を透過させることを特徴とする請求項８記載の車両用の走行情報記録装置。
【請求項１０】
前記太陽光が地表において微弱となる赤外光域の赤外光を投射する赤外光投射部を有し、前記光電変換部は前記赤外光投射部から投射された赤外光の反射光を受光することを特徴とする請求項９記載の車両用の走行情報記録装置。
【請求項１１】
光電変換部と、車両後方の被写体像を前記光電変換部に結像させる撮像レンズと、前記光電変換部より取得される画像を記録する記録部と、車両後方の撮像を後続車両に告知する告知部とを有することを特徴とする車両用の走行情報記録装置。
【請求項１２】
後続車両までの距離を検知する距離検知部を有し、前記告知部は前記距離検知部に基づいて後続車両への告知を行うことを特徴とする請求項１１記載の車両用の走行情報記録装置。
【請求項１３】
車両が走行中か否かを判断する判断手段を有し、前記告知部は前記距離検知部および前記判断手段に基づいて後続車両への告知を行うことを特徴とする請求項１２記載の車両用の走行情報記録装置。
【請求項１４】
光電変換部と、車両後方の被写体像を前記光電変換部に結像させる撮像レンズと、前記光電変換部より取得される画像を記録する記録部と、前記記録部に記録される車両後方画像にプライバシー保護を施す保護手段を有することを特徴とする車両用の走行情報記録装置。
【請求項１５】
後続車両までの距離を検知する距離検知部を有し、前記保護手段は前記距離検知部に基づいて後続車両へのプライバシー保護を施すことを特徴とする請求項１４記載の車両用の走行情報記録装置。
【請求項１６】
車両に異常加速度がかかったことを検知する異常加速度検知部を有し、前記プライバシー保護手段は前記異常加速度検知部に基づき後続車両へのプライバシー保護を解除することを特徴とする請求項１４または１５記載の車両用の走行情報記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図３２】
【公開番号】特開２０１１−５５１７６（Ｐ２０１１−５５１７６Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０１２１５（Ｐ２００９−２０１２１５）
【出願日】平成２１年９月１日（２００９．９．１）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月１日（２００９．９．１）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
[ Back to top ]