生体情報取得装置
【課題】日常生活で容易に使用できる生体情報取得装置を提案する。
【課題を解決するための手段】それぞれ可視光域および赤外光域において60%以上の量子効率を有し複数の波長域の光による像を撮像するために規則的に配列された複数の受光部を有する光電変換部の受光情報に基づいて、肌水分測定、肌撮影、静脈パターン検知、脈波検知、血中酸素飽和度測定等が可能な携帯電話を提供する。汗等の誤測定を防止する。一種の発光ダイオードを光電電変換部における複数の波長域の検知の光源に兼用する。ソーラーブラインド領域の波長域を採用する。複数の波長域の像に基づきピントを判定する。光電変換部出力で表示明るさを調節する。表示バックライトを撮像照明に兼用する。測定波長光源点灯時、肌近接検知でバックライトを消灯する。
【課題を解決するための手段】それぞれ可視光域および赤外光域において60%以上の量子効率を有し複数の波長域の光による像を撮像するために規則的に配列された複数の受光部を有する光電変換部の受光情報に基づいて、肌水分測定、肌撮影、静脈パターン検知、脈波検知、血中酸素飽和度測定等が可能な携帯電話を提供する。汗等の誤測定を防止する。一種の発光ダイオードを光電電変換部における複数の波長域の検知の光源に兼用する。ソーラーブラインド領域の波長域を採用する。複数の波長域の像に基づきピントを判定する。光電変換部出力で表示明るさを調節する。表示バックライトを撮像照明に兼用する。測定波長光源点灯時、肌近接検知でバックライトを消灯する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体情報取得装置に関する。
【背景技術】
【0002】
生体情報取得装置に関しては種々の提案が行われており、健康チェックの面からの関心が高まっている。例えば、特開平11−19060号公報(特許文献1)や、特開2003−169788号公報(特許文献2)には、種々の肌水分検知装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−19060号公報
【特許文献2】特開2003−169788号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、使用の容易な生体情報取得装置を日常生活に供するにはさらに検討すべき課題が多い。
【0005】
本発明の課題は、上記に鑑み、日常生活で容易に使用できる生体情報取得装置を提案することにある。
【課題を解決するための手段】
【0006】
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において60%以上の量子効率を有し複数の波長域の光を検知する光電変換部と、光線変換部により検知される受光情報に基づいて生体情報を取得する処理部とを有する生体情報取得装置が提供される。これによって効果的に生体情報を取得することが可能となる。本発明の具体的な特徴によれば、光電変換部は、複数の波長域の光による像を撮像するため規則的に配列された複数の受光部を有する。また、他の具体的な特徴によれば、光源として発光ダイオードを用いるとともに、一つのピーク波長の発光ダイオードを前記光電変換部における複数の波長域の検知の光源とする。上記の光電変換部における量子効率の特徴はこの具体的な特徴のために有用である。なお、本発明の生体情報取得装置は携帯電話に組み込んで構成するのに好適である。
【0007】
本発明の具体的な特徴によれば、光電変換部により肌水分の情報が取得される。より具体的な特徴によれば、肌水分の情報は前記光電変換部により非接触で取得されるとともに、取得された肌水分が通常測定範囲外にあることを判定する手段を有する。これによって、汗などの影響による誤測定を防止することができる。他の具体的な特徴によれば、光電変換部により静脈パターンの情報が取得される。このように構成することによって、光線変換部を肌水分の測定および静脈パターンの情報の取得という、ともに生体が近接する状況での情報取得に兼用することができる。他の具体的な特徴によれば、前記光電変換部により脈波の情報が取得され、さらには光電変換部により取得される脈波の情報に基づいて血中酸素飽和度が取得される。このように構成することによって、光線変換部を肌水分の測定および脈波の情報の取得という、ともに生体が近接する状況での情報取得に兼用することができる。また、静脈パターンの情報の取得と脈波の情報の取得が組み合わされる場合は、生体認証のための静脈パターン取得のたびに併せて健康状態をチェックすることができる。さらに他の具体的な特徴によれば、光線変換部により肌の撮像が行われ、肌水分の数値と合わせ、多角的に肌の状態をチェックすることができる。
【0008】
本発明の他の具体的な特徴によれば、複数の波長域の一つは太陽光が地表に到達しない領域に設定される。これによって、太陽光の外乱の影響を除去した測定が可能となる。他の具体的な特徴によれば、波長域の光による複数の波長域の像に基づき対象物へのピント状態を判定する判定部が生体情報取得装置に設けられる。上記の光電変換部における広い波長域に渡る高量子効率の特徴はこの具体的な特徴のために有用である。
【0009】
本発明の他の特徴によれば、複数の波長域の光を検知する光電変換部と、光電変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示する表示部と、光電変換部の出力により表示部の表示明るさを調節する制御部とを有する生体情報取得装置が提供される。これによって、情報取得後の情報表示の際においても光電変換部の出力を有効に活用できる。
【0010】
本発明の他の特徴によれば、複数の波長域の光を検知する光電変換部と、光電変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、光電変換部により生体情報を取得するときは対象物を照明するためにバックライトを点灯させる制御部とを有する生体情報取得装置が提供される。この構成によれば、例えば光電変換部を近接させて肌の撮像を行う場合、肌に面する表示部のバックライトを利用して近接状態で肌を照明することができる。
【0011】
本発明の他の特徴によれば、複数の波長域の光を検知する光電変換部と、光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、検知のための光源部と、光電変換部が対象物に近接しているかどうかを検知する近接検知部と、近接検知部が対象物の近接を検知すると光源部を点灯させるとともにバックライトを消灯させる制御部とを有する生体情報取得装置が提供される。この構成によれば、例えば光源部からの特定の波長の光を用いて肌水分等を測定する場合において、バックライトが測定に悪影響を与えることを防止できる。
【発明の効果】
【0012】
上記のように、本発明によれば、日常生活で容易に使用できる生体情報取得装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第1実施例を示すブロック図である。(実施例1)
【図2】図1の測光兼用AFセンサおよびライブビューセンサの構成を関連する部分とともに詳細に示したブロック図である
【図3】図2のCIGS撮像センサおよびCIGSAFセンサに用いられるCIGSセンサの分光感度をシリコンのCMOSセンサと比較したグラフである。
【図4】第1実施例におけるカメラ制御部の動作のフローチャートである。
【図5】本発明の第2実施例を示すブロック図である。(実施例2)
【図6】第2実施例におけるカメラ制御部の動作のフローチャートである。
【図7】図2または図5のライブビューセンサに用いられるCIGS撮像センサのカラーフィルタ配列の第1例である。
【図8】CIGS撮像センサのフィルタ配列の第2例である。
【図9】図8のフィルタ配列を採用したCIGSセンサの模式断面図である。
【図10】CIGS撮像センサのフィルタ配列の第3例である。
【図11】図5の第2実施例においてライブビューセンサの画像を記録する際のカメラ制御部の動作を示すフローチャートである。
【図12】図11のステップS108およびステップS114に共通して利用できる処理の詳細を示すフローチャートである。
【図13】本発明の第3実施例を示すブロック図である。(実施例3)
【図14】第3実施例に採用可能なLEDの配置の第1の例を示す正面図である。
【図15】第3実施例に採用可能なLEDの配置の第2の例を示す正面図である。
【図16】第3実施例に採用可能なLEDの配置の第3の例を示す正面図である。
【図17】第3実施例に採用可能なLEDの配置の第4の例を示す正面図である。
【図18】第3実施例のカラー・赤外モードでの動作タイミングチャートである。
【図19】図18の動作とカラー画像作成の関係を示すタイミングチャートである。
【図20】第3実施例の精細カラーモードでの動作タイミングチャートである。
【図21】図20の動作とカラー画像作成の関係を示すタイミングチャートである。
【図22】第3実施例の赤外モードでの動作タイミングチャートである。
【図23】第3実施例における内視鏡制御部の動作のフローチャートである。
【図24】図23のステップS170の詳細を示すフローチャートである。
【図25】図24のステップS208の詳細を示すフローチャートである。
【図26】図23のステップS172の詳細を示すフローチャートである。
【図27】第3実施例におけるモニタ制御部の動作を示すフローチャートである。
【図28】本発明の第4実施例のカラー・赤外モードでの動作タイミングチャートである。(実施例4)
【図29】第4実施例の精細カラーモードでの動作タイミングチャートである。
【図30】本発明の第5実施例を示すブロック図である。(実施例5)
【図31】第5実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。
【図32】第5実施例のCIGS撮像センサによって撮像された画像の概念図である。
【図33】第5実施例におけるCIGS撮像センサのフィルタの分光透過特性のグラフである。
【図34】第5実施例における監視記録制御部の動作のフローチャートである。
【図35】図34のステップS336の詳細を示すフローチャートである。
【図36】図34のステップS308および図35のステップS346の詳細を示すフローチャートである。
【図37】本発明の第6実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。(実施例6)
【図38】第6実施例におけるCIGS撮像センサのフィルタの分光透過特性のグラフである。
【図39】図37の第6実施例における監視記録制御部の動作のフローチャートである。
【図40】CIGS撮像センサのフィルタ配列の第4例であり、本発明の第7実施例に用いられる。(実施例7)
【図41】第7実施例におけるCIGS撮像センサのフィルタの分光透過特性のグラフである。
【図42】本発明の第8実施例の前方および車両用監視装置に用いられるCIGS撮像センサのカラーフィルタの分光透過特性のグラフである。(実施例8)
【図43】本発明の第9実施例の携帯電話における上面外観図である。(実施例9)
【図44】図43の実施例9のブロック図である。
【図45】第9実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。
【図46】第9実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図47】第9実施例に採用可能なLEDの配置の例を示す正面図である。
【図48】第9実施例における制御部の動作のフローチャートである。
【図49】図48のステップ458の詳細を示すフローチャートである。
【図50】図48のステップS464の詳細を示すフローチャートである。
【図51】携帯電話において実施される本発明の第10実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである。(実施例10)
【図52】第10実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図53】第10実施例に採用可能なLEDの配置の例を示す正面図である。
【図54】携帯電話において実施される本発明の第11実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである。(実施例11)
【図55】第11実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図56】第11実施例に採用可能なLEDの配置の例を示す正面図である。
【図57】携帯電話において実施される本発明の第12実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである。(実施例12)
【図58】第12実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図59】第12実施例に採用可能なLEDの配置の例を示す正面図である。
【図60】携帯電話において実施される本発明の第13実施例におけるシリコン撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである(実施例13)
【発明を実施するための形態】
【実施例1】
【0014】
図1は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第1実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ2およびこれに交換可能に着脱される交換レンズ4を有している。交換レンズ4のレンズ光学系6から入射した被写体光は、観察位置にあるミラー8で上方に反射され、焦点板10の位置に結像する。この像はペンタリズム12で反射された後、アイピース14で観察され、撮像ための構図決めなどが行われる。
【0015】
撮影の際には、操作部15のシャッタレリーズボタンを操作することによって、ミラー8がオートフォーカス用サブミラー16とともに撮影位置に退避するとともにフォーカルプレーンシャッタ18が開き、交換レンズ4のレンズ光学系6から入射した被写体光が撮像部20に結像して撮像される。撮像部20によって撮像された画像情報は、画像処理部22で画像処理された後、カメラ制御部24の制御により画像記憶部26に記憶される。画像記憶部26に記憶された画像情報は、適宜媒体スロット28に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部26に記憶された画像情報は、カメラ制御部24の制御により、適宜入出力部30から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部24から表示部32に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
【0016】
画像再生の際には、操作部15の操作により、画像記憶部26または媒体スロット28に記憶された画像情報がカメラ制御部24によって読み出され、カメラボディ2の背面に設けられた液晶等からなる表示部32に表示される。以上が、図1のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー8が観察位置にあるときは、撮像部20による被写体像の撮像は行われないので、以上の構成だけではアイピース14で観察できるリアルタイムの被写体像は表示部32に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部32の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
【0017】
次に、図1のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ4のレンズ光学系6から入射した被写体光の一部は、観察位置にあるミラー8中央にある半透過部を透過し、サブミラー16で下方に反射されて測光兼用オートフォーカス(以下「AF」)センサに導かれる。測光兼用AFセンサ34はサブミラー16から入射する光をAFセンサ上に再結像して分析し結果をカメラ制御部24に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部20の撮像面とレンズ光学系6による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部24は、測光兼用AFセンサ34から得られたレンズ光学系6による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系6の駆動量および駆動方向の情報を、AF制御部36に送る。AF駆動部38は、カメラボディ2と交換レンズ4との機械的または電気的インターフェースによってAF制御部36から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系6を駆動し、自動焦点合わせを行う。なお、測光兼用AFセンサ34の構成の詳細については後述する。
【0018】
ライブビューセンサ40は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部32の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム12の反射面12a全体が半透過性になっており、ライブビューセンサ40は、焦点板10の画像をCIGS撮像センサ上に再結像させることにより、焦点版10の画像全体を撮像できるようになっている。CIGS撮像センサは、銅(Cu)、インジウム(In)、ガリウム(Ga)およびセレン(Se)を材料とする光センサであり、その詳細は後述する。
【0019】
ペンタプリズム12の反射面12aは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース14で焦点版10の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ40に採用されているCIGS撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面12aの光透過率がわずかであっても、可視光領域における焦点版10の像を充分撮像することが可能である。このライブビューセンサ40への可視光の配分は、アイピース14により光学的に被写体を観察し難い暗さになったとき、CIGS撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。CIGS撮像センサを用いたライブビューセンサ40の詳細については後述する。ライブビューセンサ40で撮像された画像はカメラ制御部24に送られ、これが表示部32で表示されるので、図1のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部32の画像を観察しながら構図決めが可能である。
【0020】
図2は、図1のオートフォーカスデジタル一眼レフカメラの第1実施例における測光兼用AFセンサ34およびライブビューセンサ40の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム12の反射面12aは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜52はこのような分光透過特性を実現するために反射面12aにコーティングされたものである。
【0021】
ライブビューセンサ40は、このような多層膜52を透過した焦点面10からの光束をCIGS撮像センサ54の撮像面に再結像させるための再結像レンズ56を備えている。赤外光カットフィルタ58は、多層膜52を透過してきた可視光領域以外の光を実質的にカットしてCIGS撮像センサ54の波長感度特性を撮像部20の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部24に送り、図1の表示部32でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
【0022】
ライブビューセンサ40は、さらに焦点板10における明るさを測定する全画面測光を可能にしている。つまり、CIGS撮像センサ54から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部24で処理され、必要に応じAF対応部分測光センサ72の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ4の絞り径、フォーカルプレーンシャッタ18によるシャッタ速度、および撮像部20の感度などをコントロールする自動露出制御が行われる。
【0023】
可視光カットフィルタ60は赤外光カットフィルタ58と差し替えてCIGS撮像センサ54への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜52からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ58に替えて可視光カットフィルタ60が光路に挿入された場合は、可視光よりも長波長側域の光がCIGS撮像センサ54に入射するようになる。CIGS撮像センサ54は、後述するように、長波長側が1300nmにおよぶ分光感度を持っている。従って、可視光カットフィルタ60の挿入によってライブビューセンサ40はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部32でリアルタイムに観察したり、画像記憶部26に記録したりすることが可能となる。
【0024】
ミラー/フィルタ駆動部62は、操作部15によるモード切換に応じたカメラ制御部24の制御により、上記の可視光カットフィルタ60と赤外光カットフィルタ58の差し替えを駆動する。なお、図2では、撮影位置に退避したミラー8aおよびサブミラー16aが二点鎖線で図示されているが、このようなミラー8とサブミラー16における観察位置と撮影位置の間の駆動も、カメラ制御部24の制御によりラー/フィルタ駆動部62が行う。
【0025】
測光兼用AFセンサ34の再結像レンズ64は、交換レンズ4から入射して観察位置にあるミラー8中央にある半透過部を透過し、サブミラー16で下方に反射される被写体光を再結像させるためのものである。再結像レンズ64からの光束は、波長選択性のない可動半透ミラー66および赤外光カットフィルタ68を透過してCIGSAFセンサ70上に結像する。CIGSAFセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ68は、CIGSAFセンサ70をAFセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、CIGS撮像センサ54のための赤外光カットフィルタ58とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ8は赤外光カットフィルタ58よりも狭い透過分光特性に設定される。
【0026】
このため、被写体が通常の明るさのときに減光のために可動半透ミラー66を図示の位置に挿入し、CIGSAFセンサへの入射光量をCIGSAFセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のAFセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを64aの位置に退避させ、減光なしに被写体像をCIGSセンサに結像させる。なお、このとき可動半透ミラー66の有無による光路長の補償が必要である。例えば、可動半透ミラー66を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが64aの位置に退避した状態では、AF対応部分測光センサ72による測光はできなくなる。
【0027】
CIGSAFセンサ70への減光のために再結像光路中に可動半透ミラー66が挿入されている時、これを反射した光は、AF対応部分測光センサ72に入射する。AF対応部分測光センサ72は、CIGSAFセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるCIGSAFセンサ70への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
【0028】
AF対応部分測光センサ72からの部分測光情報は、ライブビューセンサ40のCIGS撮像センサ54からの全画面に関する測光情報と組合せてカメラ制御部24で処理され、最終的に、交換レンズ4の絞り径、フォーカルプレーンシャッタ18によるシャッタ速度、および撮像部20の感度などがコントロールされる。
【0029】
センサ制御部74は、可動半透ミラー66が挿入されている時および退避しているときのいずれの場合においても、CIGSAFセンサ70の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー66が挿入されているのか退避しているのかの情報も用いられる。センサ制御部74は、また、CIGSAFセンサ70およびAF対応部分測光センサ72に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部24に出力させる。
【0030】
一方、ライブビューセンサ40が「長波長モード」に設定され、多層膜52からCIGS撮像センサ54への光路に赤外光カットフィルタ58に替えて可視光カットフィルタ60が光路に挿入された場合は、測光兼用AFセンサ34でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー66の退避を前提として赤外光カットフィルタ68が可視光カットフィルタ76に差し替えられる。これによって、CIGS撮像センサ54による長波長域での撮像のための焦点検出が、減光なしに、CIGSAFセンサ70によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
【0031】
以上のような可動半透ミラー66の移動および赤外光カットフィルタ68と可視光カットフィルタ76との差し替えは、操作部15によるモード切換操作に基づくカメラ制御部24の制御により、ミラー/フィルタ駆動部78が司る。
【0032】
図1および図2の第1実施例は、上記のような基本機能に加え、「複合AF機能」が可能である。操作部15の操作により、「複合AF機能」が選択されると、ライブビュー機能が停止され、「複合AF機能」の開始が指示される。具体的には、操作部15の操作により、「複合AF機能」が選択されると、カメラ制御部24は、赤外光カットフィルタ58に替えて可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行うとともにCIGS撮像センサ54の出力に基づく表示部32でのライブビュー表示を停止する。
【0033】
これに替わり、可視光カットフィルタ60により長波長側の感度域となったCIGS撮像センサ54の画像信号は、赤外光カットフィルタ68により可視光の感度域にあるCIGSAFセンサの出力と組み合わされ、「複合AF機能」が実行される。具体的には、CIGS撮像センサ54の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、CIGSAFセンサによる焦点検出領域が決定される。
【0034】
図3は、図2のCIGS撮像センサ54およびCIGSAFセンサに用いられるCIGSセンサの分光感度(量子効率)をシリコンのCMOSセンサと比較したものである。図3(A)は、各波長におけるCIGSセンサの量子効率(%)を示すものであり、図3(B)におけるシリコンのCMOSセンサについての同様の量子効率(%)と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図3(A)のCIGSセンサは、波長1300nm近くにわたる広い感度域を持つ。さらに、400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性は、図3(B)におけるようなシリコンのCMOSセンサでは期待できないものである。
【0035】
図4は、図1および図2の第1実施例におけるカメラ制御部24の動作のフローチャートである。操作部15によってカメラのメインスイッチがオンになるとフローがスタートし、ステップS2においてオートフォーカスデジタル一眼レフカメラが操作部15によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップS4に進み、可動半透ミラー66をCIGSAFセンサ70への光路内に設定して入射光量を減光する指示をミラー/フィルタ駆動部78に行う。
【0036】
なお、ステップS4の指示に応答するミラー/フィルタ駆動部78による可動半透ミラー66設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー66がCIGSAFセンサ70への光路にセットされている状態で可動半透ミラー66を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー66を光路内にセットする指示が続いて行われたような場合には、ミラー/フィルタ駆動部78は実際には可動半透ミラー66の駆動を実行せず、可動半透ミラー66が光路内に設定されている状態が継続する。換言すれば、ミラー/フィルタ駆動部78は遅延時間内に可動半透ミラー66を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー66の駆動を実行することになる。なお、既に可動半透ミラー66がCIGSAFセンサ70の光路に設定されている状態でステップS4の指示が行われた時は、当然ながら、ミラー/フィルタ駆動部78は可動半透ミラー66に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
【0037】
次いでステップS6に進み、ライブビュー用の赤外光フィルタ58をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に行う。なお、ミラー/フィルタ駆動部62のミラー差し替え動作についても、上記でミラー/フィルタ駆動部78において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
【0038】
次いで、ステップS8でAF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に行う。そして、ステップS10に進み、CIGSAFセンサ70の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップS12に進んで、可動半透ミラー66を光路から退避させる減光解除の指示を行ってステップS14に移行する。一方、被写体が充分明るい場合は直接ステップS14に移行する。
【0039】
ステップS14では、操作部15によって「複合AFモード」が選択されたかどうかのチェックを行う。そして選択があればステップS16に進み、複合AFを行うために赤外光フィルタ58に替えて可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行う。さらに、ステップS18でCIGS撮像センサ54の出力に基づく表示部32でのライブビュー表示を停止するとともに、長波長側の感度域のCIGS撮像センサ54の画像信号と可視光の感度域にあるCIGSAFセンサの出力とを組み合わせる「複合AF機能」の開始が指示してステップS20に移行する。一方、ステップS14で「AFモード」の選択が検出されない場合は、直接ステップS20に移行する。
【0040】
ステップS20では、撮像部20による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップS20で光量不足が検知されるとステップS22に進み、操作部15の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップS24に進み、赤外光フィルタ58に替えてライブビュー用の可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行う。さらに、ステップS26で、赤外光カットフィルタ68に替えてAF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行ってステップS28に移行する。
【0041】
一方、ステップS20で撮像部の光量不足が検出されない場合は、直接ステップS28に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップS22に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部15で特別の操作を行うことによってステップS22に進むことも可能である。また、ステップS22で「長波長モード」設定が検出されない場合も、直接ステップS28に移行する。
【0042】
ステップS28では、操作部15のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップS30に進み、操作部15によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップS2に戻り、以下、ステップS2で再生モード操作が検出されるかステップS28でレリーズ操作が検出されない限り、ステップS2からステップS30を繰り返す。
【0043】
上記の繰返しは充分高速で行われ、上記したミラー/フィルタ駆動部62、78に設けられる遅延時間内に何度も繰り返される。従って、ステップS10、ステップS14、ステップS20およびステップS22に基づく検知結果が変化するとミラー/フィルタ駆動部62、78の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー/フィルタ駆動部62、78による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定/解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【0044】
なお、ステップS2で操作部15による再生モード設定操作が検出された時はステップS32の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップS4に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【実施例2】
【0045】
一方、ステップS28で操作部15のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップS34の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップS2に戻る。なお、ステップS30でカメラオフ操作が検出されたときは、図4のフローが終了となる。
【0046】
図5は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第2実施例を示すブロック図である。その構成の大部分は図1の第1実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図5の第2実施例が図1の第1実施例と異なるのは、カメラボディ100であり、特にそのライブビューセンサ102およびこれに関連する構成および機能が第1実施例と異なる。
【0047】
第1実施例のライブビューセンサ40では、半透過性の反射面12aを介して光を受けるよう構成され、反射面12aを透過する可視光領域の光が抑えられている。これは、アイピース14で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ40にはCIGS撮像センサが用いられているので、反射面12aを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース14で充分観察できないような暗い被写体の場合は、ライブビューセンサ40でも光量が不足する。これに対し、図5の第2実施例は、アイピース14で充分観察できないような暗い被写体の場合でも、ライブビューセンサ102に採用したcIGS撮像センサによってライブビューが可能となるよう構成している。なお、図5のライブビューセンサ102の詳細構造は、図2におけるライブビューセンサ40と基本的には同様であって、再結像光学系およびCIGS撮像センサを有する。但し、ペンタプリズム104に対するライブビューセンサ102の配置場所が異なるので、その再結像光学系は図2の再結像レンズ56とは異なったものとなる。
【0048】
上記の考え方に基づき、第2実施例では、通常のペンタプリズム104が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム104からの光はすべてアイピースに向かう。このとき可動全反射ミラー106は図5のようにアイピース14への光路から退避している。従ってこの状態ではライブビューができない。
【0049】
操作部15の操作によってライブピューモードを選択すると、可動全反射ミラーが106aの位置に下がり、ペンタプリズム104からの光を全てライブビューセンサ102の方向に反射する。従って、アイピース14による光学的なファインダー像の観察はできなくなる。可動減光フィルタ108は、被写体が通常の明るさのときに図5のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ102への入射光量をCIGS撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ108がライブビューセンサ102への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ108の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図5の第2実施例の場合にはCIGS撮像センサによりライブビューが可能となる。このライブビューセンサ102からの可視光域の画像は表示部32でのライブビューだけでなく、画像記憶部26に記録することも可能である。したりすることが可能となる。
【0050】
赤外光カットフィルタ110は、ライブビューモードにおいて可動全反射ミラー106aから反射される可視光領域以外の光をカットし、CIGS撮像センサの波長感度特性を撮像部20の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部116に送り、自然なライブビューを可能にする。
【0051】
可視光カットフィルタ112は、赤外光カットフィルタ110と差し替えてライブビューセンサ102への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー106aからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ110に替えて可視光カットフィルタ112がライブビューセンサ102への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ102のCIGS撮像センサに入射するようになる。従って、第1実施例と同様、長波長域の画像についてその画像出力を表示部32でリアルタイムに観察したり、画像記憶部26に記録したりすることが可能となる。なお、可視光カットフィルタ112を用いる長波長モードにおいては、可動減光フィルタ108をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが106、可動減光フィルタ108、赤外光カットフィルタ110および可視光カットフィルタ112の駆動は、カメラ制御部116によって制御されるミラー/フィルタ駆動部114によって行われる。
【0052】
図6は、図5の第2実施例におけるカメラ制御部116の動作のフローチャートである。第1実施例と同様にして操作部15によってカメラのメインスイッチがオンになるとフローがスタートし、ステップS42においてオートフォーカスデジタル一眼レフカメラが操作部15によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップS44に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー106がアイピース14への光路中から退避するようミラー/フィルタ駆動部114に指示する。ステップS44ではさらに、可動減光フィルタ108をライブビューセンサ102への光路中に挿入して入射光量を減光する指示をミラー/フィルタ駆動部114に行とともに、図2における可動半透ミラー66をCIGSAFセンサ70への光路内に設定して入射光量を減光する指示をミラー/フィルタ駆動部78に行う。
【0053】
次いでステップS46に進み、操作部15によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップS48に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー106をアイピース14への光路中に進出させるようミラー/フィルタ駆動部114に指示してステップS50に移行する。この指示が実行されると、ファインダ像をアイピース14から光学的に観察することはできなくなり、代わりにライブビューセンサ102の出力に基づく表示部32でのライブビューが可能となる。ステップS48ではさらに、ライブビュー用の赤外光カットフィルタ110をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に行う。なお、ミラー/フィルタ駆動部114についても、第1実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップS46で「ライブビューモード」への設定が検知されない場合は、直接ステップS50に移行する。
【0054】
ステップS50では、AF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に行う。そして、ステップS52に進み、CIGSAFセンサ70の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップS54に進み、操作部15によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップS56に進み、可動減光フィルタ108をライブビューセンサ102への光路から退避させる減光解除の指示を行ってステップS58に移行する。一方、ステップS54で「ライブビューモード」の設定が検知されなければ直接ステップS58に移行する。そして、ステップS58では、可動半透ミラー66をCIGSAFセンサ70への光路から退避させてAF用の減光を解除する指示を行う。このように、ステップS52で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずAF用の減光を解除する。
【0055】
次いで、ステップS60では、撮像部20による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップS62に進み、操作部15の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップS64に進み、赤外光フィルタ110に替えてライブビュー用の可視光カットフィルタ112をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行う。さらに、ステップS66で、赤外光カットフィルタ68に替えてAF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。
【0056】
以上のステップを経て、フローはステップS68に進む。一方、ステップS52で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップS60で撮像部20による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップS62で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップS68に移行する。
【0057】
ステップS68では、操作部15のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップS70に進み、操作部15によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップS42に戻り、以下、ステップS42で再生モード操作が検出されるかステップS68でレリーズ操作が検出されない限り、ステップS42からステップS70を繰り返す。
【0058】
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー/フィルタ駆動部78、114に設けられる遅延時間内に何度も繰り返される。従って、ステップS46、ステップS52、ステップS54、ステップS60およびステップS62に基づく検知結果が変化するとミラー/フィルタ駆動部78、114の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー/フィルタ駆動部78、114による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定/解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【0059】
なお、第1実施例と同様にして、ステップS42で操作部15による再生モード設定操作が検出された時はステップS72の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップS44に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【0060】
また、ステップS68で操作部15のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップS74の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップS42に戻る。なお、ステップS70でカメラオフ操作が検出されたとき、図6のフローは終了となる。
【0061】
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第1実施例においては、可視光カットフィルタ60により長波長域に感度を有するCIGS撮像センサ54と赤外光カットフィルタ68により可視光に感度域を有するCIGSAFセンサの出力とを組合せて「複合AF機能」は実施するものとして説明した。しかしながら、「複合AF機能」の実施はこのようなものに限るものではない。例えば、図2における波長選択性のない可動半透ミラー66をダイクロイックミラーで構成し、可視光透過させてCIGSAFセンサ70上に導くとともに、長波長域を反射させてAF対応部分測光センサ72に導くようにする。そして、AF対応部分測光センサ72にも、CIGSセンサを用いるようにする。なお、この場合、赤外光カットフィルタ68は不要となる。
【0062】
以上のように構成すれば、長波長域に感度を有するAF対応部分測光センサ72によりAF対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してCIGSAFセンサ70による焦点検出を行うことが可能となる。
【0063】
さらに「複合AF機能」の実施は以上のように二つのCIGSセンサを用いるものに限るものではない。例えば図2において、可視光カットフィルタ76がCIGSAFセンサの光路中に挿入された状態においてCIGSAFセンサ自体でAF対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ18が光路中に挿入された状態においてその部分に対してCIGSAFセンサ70による焦点検出を行うことも可能である。このように広い感度領域を有する一つのCIGSを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合AF機能」を実現することも可能である。
【0064】
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。
【0065】
上記の実施例においては、可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてCIGSセンサを用いている。CIGSセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のCIGS系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「CIS系薄膜」とも称されるが、本明細書で「CIGSセンサ」という場合は、このようなガリウムを含まない「CIS系薄膜」を用いた光電センサをも意味するものとする。
【0066】
図7は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタR11、青透過フィルタB12、緑透過フィルタG22および赤透過フィルタR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のCIGS撮像センサは、図3のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図7の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
【0067】
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタB12に対応する画素については、基本的にはその両側にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR13に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタR21に対応する画素については、同様にその上下にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタG22に対応する画素については、その周囲にある赤外光透過フィルタIR11に対応する画素のデータ、赤外光透過フィルタIR13に対応する画素のデータ、赤外光透過フィルタIR33に対応する画素のデータおよび赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
【0068】
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタR21に対応する画素の赤外光画像の補間において、赤透過フィルタR21に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
【0069】
図8は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのフィルタ配列の第2例である。この第2例にでは、カラーフィルタ配列自体は図7の第1例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタIR11および緑透過フィルタG22については、画素に許される最大の受光面積を確保しているが、青透過フィルタB12は遮光部202を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。同様に赤透過フィルタR21についても、遮光部204を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
【0070】
本発明のCIGS撮像センサは、図3のように可視光域において高感度を有するため、上記のように青透過フィルタB12と赤透過フィルタR21の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタB12と赤透過フィルタR21の受光面積比を変えることも可能である。
【0071】
図9は、図8のフィルタ配列の第2例を採用したCIGSセンサの模式断面図である。図9(A)に示すように、本発明のCIGS撮像センサはLSI400の上にCIGS系薄膜402を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ404が乗せられている。この図9(A)の模式断面図における基本構造自体は、フィルタ配列の第2例に限られるものでなく、本発明のCIGSセンサに共通である。
【0072】
図9(B)は、図9(A)の部分406を拡大した模式断面図であり、図8のフィルタ配列の第2例の断面を概念的に示している。なお、図8および図9(A)では対応する部分には同じ番号を付す。図9(B)に明らかなように、CIGS系薄膜402はそれぞれ画素をなすフォトダイオード408、410等に区分されており、フォトダイオード408の上には、赤外光透過フィルタIR11が載せられている。そして、フォトダイオード410の上には、受光面積を減らすための遮光部202および青透過フィルタB12が載せられている。
【0073】
図10は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのフィルタ配列の第3例である。この例は、ベイヤー配列における緑透過フィルタの全数の4分の1を規則的に赤外光透過フィルタIR11、IR33、IR51等に置き換えたものである。残りの4分の3は、ベイヤー配列と同様に緑透過フィルタG13、G22,G31、G42、G44、G35、G24等となっている。
【0074】
この結果、緑透過フィルタG13等の全数の割合は、赤透過フィルタR23や、青透過フィルタB32の全数の割合の1.5倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図10のフィルタ配列においても、図8のフィルタ配列の考え方を加味し、赤透過フィルタR23等と青透過フィルタB32等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
【0075】
一方、赤外光透過フィルタIR11等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタR23や、青透過フィルタB32の全数の割合の半分となっている。本発明のCIGS撮像センサは、図3のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
【0076】
次に、図10のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタG35に対応する画素については、その二つ上方にある赤外光透過フィルタIR15に対応する画素のデータ、二つ左方にある赤外光透過フィルタIR33に対応する画素のデータ、二つ下方にある赤外光透過フィルタIR55に対応する画素のデータおよび二つ右方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタG24に対応する画素については、その右上方にある赤外光透過フィルタIR15に対応する画素のデータと左下方にある赤外光透過フィルタIR33に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタG26に対応する画素については、その左上方にある赤外光透過フィルタIR15に対応する画素のデータと右下方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。
【0077】
そして、赤透過フィルタR25に対応する画素について、上記のように補間して求めた緑透過フィルタG35、G24、G26にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタIR15に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにIR15、IR33、IR55およびIR37に対応する赤外光画像データの重み付け平均となる。
{(IR15+IR33+IR55+IR37)/4+(IR15+IR33)/2
+(IR15+IR37)/2+IR15}/4
=(9IR15+3IR33+IR55+3IR37)/16
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
【0078】
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタIR33に対応する画像をその周囲の緑透過フィルタG22、G42、G44、G24に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタIR33に対応する画像の緑画像データと、緑透過フィルタG22、G31およびG42の緑画像データの平均をとって、これらの中心にある赤透過フィルタB32に対応する画像も緑画像データを補間する。これを整理すると、次のようにG22、G31、G42、G44およびG24の重み付け平均となる。
{(G22+G42+G44+G24)/4+G22+G31+G42}/4
=(5G22+4G31+5G42+G44+G24)/16
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図7と同様である。
【0079】
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図7で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
【0080】
図11は、第2実施例においてライブビューセンサ102の画像を画像記憶部26に記録する際のカメラ制御部116の動作を示すフローチャートである。操作部15によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップS82で可動全反射ミラーを106aの位置に下げ、ペンタプリズム104からの光を全てライブビューセンサ102の方向に反射するよう光路切り替えを指示する。そしてステップS84においてミラー8を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップS86で表示部32による表示を行わせる。
【0081】
次いでステップS88で赤外光モードが選択されているかどうかチェックし、該当すればステップS90に進み、AF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。さらに、ステップS92で、ライブビュー用の可視光カットフィルタ112をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行い、ステップS94に移行する。
【0082】
一方、ステップS88で、赤外光モードが選択されていないことが検知されるとステップS96に進み、AF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。そしてステップS98に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
【0083】
ステップS98で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップS100に進み、ライブビュー用の赤外光カットフィルタ110をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行い、ステップS94に移行する。
【0084】
これに対し、ステップS98で画像融合モードへの設定が検出されると、ステップS102に進み、ライブビューセンサ102への光路から赤外光カットフィルタ110および可視光カットフィルタ112を両者とも除去する指示をミラー/フィルタ駆動部114に対して行う。これは、ライブビューセンサ102によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
【0085】
次いでステップS104で表示部32によるライブビュー表示を禁止する指示を出してステップS94に移行する。これは交換レンズ4による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部32に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップS104においては、表示部32による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方(通常は可視光像)の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップS104で選択された方の指示を出すようにしてもよい。
【0086】
ステップS94では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップS86に戻り、以下、レリーズ操作が検出されるまでステップS86からステップS104を繰り返す。これによって、操作部15によるモード切り替えに対応する。なお、図4で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図11においても、実際にモード切り替えが行われない限り、ステップS86からステップS104の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップS86およびステップS104による表示部32の表示と禁止の切り替えについても同様である。
【0087】
ステップS94では、レリーズ操作が検出されるとステップS106に進み、レンズ光学系6のAF駆動が行われ、これによってピンとが合うとステップS108のライブビュー記録処理を行う。このAF駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップS110で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
【0088】
一方、ステップS110で画像融合モードの設定が検出されるとステップS112に進み、AF制御部36によってレンズ光学系6を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップS106におけるAF駆動およびステップS108におけるライブビュー記録処理は可視光像に対するものであるが、ステップS112では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をAF駆動部38によってレンズ光学系6に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップS114のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップS108にて可視光画像の記録を行い、引き続いてほぼ同時にステップS114において赤外光画像の記録を行うものである。
【0089】
図12は、図11のステップS108におけるライブビュー記録処理およびステップS114におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップS122で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップS124に進み、RGBの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップS126でRGBの補間処理を行う。次いで、ステップS128では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップS130に進んでRGBの可視光カラー画像について画像処理を行う。そしてステップS132に進み、その画像を画像記録部26に記録してフローを終了する。
【0090】
一方、ステップS122で赤外光モードへの設定が検出されるとステップS134に進み、IRの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップS136でIRの補間処理を行う。次いで、ステップS138では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップS140に進み、赤外光画像について画像処理を行う。そしてステップS132に進み、その画像を画像記録部26に記録してフローを終了する。
【0091】
さらにステップS128で画像融合モードへの設定が検出された場合、ステップS134に進んでIRの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップS136でIRの補間処理を行う。これらによって、ステップS124、126による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップS138で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップS142に進み、ステップS134およびステップS136の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。
【0092】
ここで、ステップS142に該当するか否かがどのような意味を持つかについて補足する。まず、ステップS142に該当しない場合は、図12のフローが図11のステップS108で実行されている場合に相当する。そしてステップS124およびステップS126で得られる可視光画像は図11のステップS106における可視光に対するAF駆動によりピントが合ったものであり、ステップS134およびステップS136で得られる赤外光画像はピントがずれたものとなっている。一方、ステップS142に該当する場合は、図12のフローが図11のステップS114で実行されている場合に相当する。そしてステップS134およびステップS136で得られる赤外光画像は図11のステップS112における赤外光補正駆動によりピントが合ったものであり、ステップS124およびステップS126で得られる可視光画像はピントがずれたものとなっている。
【0093】
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップS142で判断された場合はステップS144に進み、ピントの合っているRGBの可視光画像について画像処理をおこなう。次いでステップS146においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップS148において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップS132に進み、ステップS144、ステップS146およびステップS148で得られたそれぞれの画像を記録してフローを終了する。
【0094】
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップS142で判断された場合はステップS150に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップS152においてピントの合っていないRGBの可視光画像について補助的に画像処理を行う。そしてステップS156において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。
【0095】
さらに、ステップS156では、図11のステップS108で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップS158でこれらの画像に基づく画像融合処理が行われる。
【0096】
ステップS158の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部15により設定できるが、被写体に応じ自動的に選択することも可能である。
【0097】
以上のようなステップS158の処理が終了すると、ステップS132に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップS132において記録する画像は、ステップS158で処理した全ての画像であってもよく、またはステップS158の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部15により設定できるが、処理結果に応じてステップS158の中で自動的に選択するよう構成することも可能である。
【0098】
上記の図11および図12の画像記録機能に関するフローチャートの適用対象は、第2実施例におけるような一眼レフカメラのライブビューセンサ102の画像記録に限るものではなく、例えば、CIGSセンサへの画像記録専用に構成した可視光/赤外光画像記録カメラにも適用可能である。このような可視光/赤外光画像記録カメラは、例えば図5において焦点板10、ペンタプリズム104およびアイピース14などの光学ファインダ系を除去するとともに、撮像部20に代えてその位置にCIGS撮像センサを配置することによって構成可能である。その際、レンズ光学系6からCIGS撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ110および可視光カットフィルタ112を設ける。また、可動ミラー8に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用AFセンサ34に向かう固定のハーフミラーを設ける。
【実施例3】
【0099】
図13は、本発明の第3実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡502と、送信されて画像データを体外で受信してモニタする体外モニタ504を有する。カプセル内視鏡502は、透明な保護窓506を有する密閉構造になっており、保護窓506を通り撮像レンズ508によって結像される消化器内部の画像がCIGS撮像センサ510で撮像される。CIGS画像センサ510は、図3で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ508は、レンズ駆動部512によってその画角およびピント位置が調節可能である。
【0100】
第3実施例のCIGSセンサ510は、図7から図10に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第3実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード(以下適宜「LED」と称する)が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるCIGSセンサ510撮像出力が、各色での画像データとなる。
【0101】
LEDは撮像レンズ508の光軸まわりに同心的に多数設けられているが、図13では、簡単のため、例として緑LED514および赤外LED516をそれぞれ一つ図示している。例えば緑LED514が発光しているときのCIGS撮像センサ510の撮像出力が緑画像データとなるとともに、赤外LED516が発光しているときのCIGS撮像センサ510の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部512が結像位置を調節する。第3実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
【0102】
LEDドライバ518は、内視鏡制御部520の指示に基づいてLED514、516の点灯タイミングを制御する。内視鏡制御部520はカプセル内視鏡502全体を制御するもので、その機能は記憶部522に記憶されたプログラムに従う。記憶部522は、さらに内視鏡制御部520の機能に必要なデータ等を必要に応じ一時的に記憶する。
【0103】
センサドライバ524は内視鏡制御部520の指示に基づいてCIGS撮像センサ510を制御するとともにCIGS撮像センサからの各色別画像RAWデータを画像バッファ526に格納する。画像バッファ526は所定撮像回数分の各色別画像RAWデータを格納可能であり、無線通信部528は画像バッファ526の各色別画像RAWデータをFIFOで取り出してアンテナ530から体外に送信する。電池532はボタン電池などで構成され、カプセル内視鏡502全体に電力を供給する。
【0104】
体外モニタ504は、無線通信部534を有し、カプセル内視鏡502から送信された各色別画像RAWデータをアンテナ536で受信して画像バッファ538に格納する。これらの機能はモニタ制御部540によって制御される。モニタ制御部540は記憶部542に記憶されたプログラムに従って体外モニタ504全体を制御する。記憶部542は、さらにモニタ制御部540の機能に必要なデータ等を必要に応じ一時的に記憶する。
【0105】
画像処理部544は、モニタ制御部540の指示に基づき画像バッファ548に格納されている各色別RAWデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ546に記憶する。また、赤外画像信号についてもこれをレコーダ546に記録する。記録されたデータは適宜表示部548でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部548により直接モニタすることもできる。
【0106】
図14は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第1の例を示す正面図である。図13と対応する部分には同一番号を付す。図14から明らかなように、透明の保護窓506の内側の撮像レンズ508の周囲には緑LED514が互いに90度ずつ隔てた回転対象に4個設けられている。これらを結んだ線550は正方形である。また、緑LED514から45度回転した正方形552の頂点部分には、赤外LED516が互いに90度ずつ隔てた回転対象に4個設けられている。さらに、縦長長方形554の頂点部分には赤LED556が4個設けられているとともに、横長長方形558の頂点部分には青LED560が4個設けられている。この結果、赤、緑および青の各LEDは図14図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
【0107】
図15は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第2の例を示す正面図である。図15においても、図13と対応する部分には同一番号を付す。図15における緑LED514および赤外LED516の配置は、図14と共通である。これに対し、赤LED562は、緑LED514から左に22.5度回転した正方形564の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。また、青ダイオード566は、緑LED514から右に22.5度回転した正方形568の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。この結果、赤、緑および青の各LEDは図14図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ508の光軸まわりに互いに回転対象の配置となる。
【0108】
図16は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第3の例を示す正面図である。図16においても、図13と対応する部分には同一番号を付す。図16における緑LED514および赤外LED516の配置は、図14と共通である。これに対し、左に45度傾いた縦長長方形570の頂点部分には赤LED572が4個設けられているとともに、右に45度傾いた縦長長方形574の頂点部分には青LED576が4個設けられている。この結果、赤、緑および青の各LEDは図16図で見て対抗する赤外LEDを結ぶ左45度傾いた線および右45度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各LEDは図16図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。
【0109】
以上、図14から図16に示したLEDの配置例は、各図において緑LEDが上下左右に配置され、赤外LEDがこれから45度回転した位置に配されているが、全体の配置はこれに限るものではなく、CIGS撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図14から図16に示したLEDの配置例は、CIGS撮像センサの画素配置の升目の上下左右方向を基準として緑LEDが上下左右に配置したものであるが、これを全体に45度回転させ、赤外LEDが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑LEDがこれから45度回転した位置に配置されることになる。
【0110】
図17は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第4の例を示す正面図である。赤、緑、青および赤外のLEDを撮像レンズ508の光軸まわりに配置する場合、全ての色のLEDを互いに同数とすることに限るものではない。図17はこのようなものの例として、4個の緑LED514、2個の赤LED578および2個の青LED580を採用している。緑LED514の数が赤LED578および青LED580の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図17では8個の赤外LED582を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
【0111】
なお、図14から図17ではすべて合計16個のLEDを採用しているが、これに限られるものではない。配置が可能な場合、LEDの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のLEDを採用し合計8個のLEDを採用して構成を簡単にすることも可能である。この場合、緑LEDの対を結ぶ線と赤外LEDの対を結ぶ線を90度で交差させるとともに、赤LEDの対と青LEDの対については、それらを結ぶ線が緑LEDの対を結ぶ線の左右にそれぞれ45度回転した状態の配置として、赤と青のLEDが緑LEDの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように8個のLEDを等間隔に配置するのに代えて、赤と青のLEDを緑LEDの両側に密接させ、赤、緑、青LED相互の位置ズレができるだけ少なくなるようにした配置も可能である。
【0112】
図18は、第3実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図18から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6、すべての赤外LEDはt7からt8のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、4色のLEDの点灯が一巡すると、再び全ての赤LEDがt9からt10のタイミングで点灯し、以下同様にして緑、青、赤外のLEDが点灯して同様の循環で時分割点灯を繰り返す。t1からt8までの時間は通常のカラー動画の1フレーム時間程度であり、各色の発光量は時分割しない場合の4分の1以下となるが、図3に示すようにCIGSセンサは通常のCMOSセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
【0113】
図18のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
【0114】
図18の光電変換部のタイミングチャートから明らかなように、光電変換部は赤LEDの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤LEDの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図18から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青LEDの発光および赤外LEDの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
【0115】
図18のAD変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からAD変換を開始する。例えば、赤のAD変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のAD変換を継続する。図18の無線通信部のタイミングチャート(A)から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のAD変換終了直後に開始される。そして次の緑のAD変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてAD変換および通信が行われる。
【0116】
なお、通信に関しては、カプセル内視鏡502と体外モニタ504との関係によっては、AD変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図18の無線通信部のタイミングチャート(B)のように通信環境が充分となったタイミングで通信を実行する。例えば、IRデータの送信592はタイミングチャート(A)に比べて遅く実行されており、次のRデータの直前で実行されている。また、Gデータの送信594およびBデータの送信596も遅れて実行されているが、これらの通信時間の調整は、図13の画像バッファ526の容量が満杯となってFIFOに破綻を来たさない限り可能である。
【0117】
図19は、図18で示したカラー・赤外モードにおける第3実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図19に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、t9で開始される赤LEDの発光に基づく赤画像、t11で開始される緑LEDの発光に基づく緑画像、およびt13で開始される青LEDの発光に基づく青画像によって、F2で示す1フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図13に示した体外モニタ504の画像処理部544で行われる。また、図18の無線通信部のタイミングチャート(B)で示したように体外モニタ504による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色LEDの発光タイミングによって決まるので図19の関係が成り立つ。
【0118】
また、図19に示すように、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt9で開始される赤LEDの発光に基づく赤画像によってもRGB三色のデータが揃うので、これらによってI1で示す1フレームのカラー補間画像が作成される。同様にして、t5で開始される青LEDの発光に基づく青画像、t9で開始される赤LEDの発光に基づく赤画像、およびt11で開始される緑LEDの発光に基づく緑画像によって、I2で示す1フレームのカラー補間画像が作成される。これらの補間画像はRGBの各色が揃うまでに赤外LEDの発光が介在しており、RGBが揃うまでの時間が若干長くなるとともにRGBの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
【0119】
一方、赤外画像については、図19に示すように、t7で開始される赤外LEDの発光に基づく画像IR1、t15で開始される赤外LEDの発光に基づく画像IR2等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像I2およびI2の取得時間帯が共に赤外画像IR1の取得時間を含んでいるので、カラー補間画像I1およびI2またなその平均を赤外画像IR1と合成することが可能である。
【0120】
図20は、第3実施例のカプセル内視鏡502における精細カラーモードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外LEDは発光しない。図20から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、RGB3色のLEDの点灯が一巡すると、再び全ての赤LEDがt7からt8のタイミングで点灯し、以下同様にして緑、青、LEDが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なt1からt6までの時間は図18のt1からt8よりも短くなり。動画が精細になる。図20の無線通信部(B)のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
【0121】
図20のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
【0122】
図21は、図20で示した精細カラーモードにおける第3実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図21に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。次に、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt7で開始される赤LEDの発光に基づく赤画像によってF2で示す1フレームのカラー画像が作成される。同様にt5で開始される青LEDの発光に基づく青画像、t7で開始される赤LEDの発光に基づく赤画像、およびt9で開始される緑LEDの発光に基づく緑画像によってF3で示す1フレームのカラー画像が作成される。以下同様にしてF4で示す1フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のLEDが新たに発光する毎に輪番で新たに1フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
【0123】
図22は、第3実施例のカプセル内視鏡502における赤外モードでの動作の赤外LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外LED以外のLEDは発光しない。図22から明らかなように、すべての赤外LEDはt1からちt2、t3からt4のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回1フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
【0124】
図22のように、赤外モードにおいて赤外光のみを発光させる場合も、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
【0125】
図23は、図13の第3実施例における内視鏡制御部520の動作のフローチャートである。カプセル内視鏡502に電池532がセットされるとフローがスタートし、ステップS162で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップS154で撮像レンズ508が広角およびパンフォーカス状態に設定される。次いでステップS166では、赤、緑、青および赤外の全てのLEDが所定の順所で順次輪番で発光するよう設定される。そしてステップS168でこれらの設定が行われている状態であることを外部送信し、体外モニタ504に報告する。
【0126】
次にステップS170で撮像処理、ステップS172で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップS174に進み、動作停止信号を体外モニタ504から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップS176に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップS178に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップS164に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップS166以下の動作に進む。
【0127】
一方、ステップS178で変更されたモードがカラー・赤外モードでなかったときはステップS180に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップS182でレンズの画角を狭角(望遠)にするとともに可視光フォーカス状態に設定するとともに、ステップS184で可視光のLEDのみが順次輪番で発光するよう設定する。そして、ステップS186でこれらの設定状態を外部に送信した後、ステップS170に戻る。
【0128】
また、ステップS180で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップS188に移行し、レンズの画角を狭角(望遠)にするとともに赤外光フォーカス状態に設定する。さらにステップS190で赤外LEDのみが発光するよう設定する。そして、ステップS186に移行し、これらの設定状態を外部に送信した後、ステップS170に戻る。
【0129】
図24は、図23のステップS170における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップS192でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップS194に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップS196に進み、蓄積電荷の読出し開始処理を行う。さらにステップS198でLEDの発光停止を指示する。さらにステップS200で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップS200を繰り返しながら完了を待つ。
【0130】
ステップS200で読出し完了が検知されるとステップS206に進み残留電荷の掃捨て開始処理を行ってステップS208のLED選択処理に移行する。これは次に発光すべきLEDを選択する処理であるがその詳細は後述する。さらにステップS210ではステップS208で選択されたLEDの発光開始を指示する。次にステップS212では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップS212を繰り返しながら完了を待つ。
【0131】
ステップS212で蓄積電荷の掃捨て完了が検知されるとステップS214に移行し、露光を開始するとともにステップS216で露光時間のカウントを開始し、フローを終了する。一方、ステップS194で露光時間が完了していなければ直ちにフローを終了する。また、ステップS192でモードの選択または変更が検出されるとステップS218に移行し、撮像処理のイニシャライズを行ってステップS208のLED選択処理に進む。
【0132】
図25は、図24のステップS208におけるLED選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップS222で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップS224に進み、図24のステップS218によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップS226に進み、前回に選択されたLED記憶を読み出す。そしてステップS228で読み出された記憶に基づき前回発光したのが赤LEDであったかどうかチェックする。該当しなければ、さらにステップS230で前回したのが緑LEDであったかどうかチェックする。
【0133】
ステップS230で前回発光が緑LEDでなかったときはステップS232に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS234に進み、次の順番に当たる赤LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。
【0134】
一方、ステップS232で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS238に進み、次の順番に当たる赤外LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。
【0135】
また、ステップS228で前回発光したのが赤LEDであったときはステップS242に進み、次の順番にあたる緑LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。さらに、ステップS222で赤外モードであったときはステップS244に進み、赤外LEDを選択する。そして赤外モードの場合は選択されるのは常に赤外LEDであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップS224で撮像処理のイニシャライズが行われていたときはステップS242に進み最初の発光LEDとして緑LEDを選択する。
【0136】
図26は、図23のステップS172における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップS252でデータの送信中かどうかのチェックを行う。送信中でなければステップS254に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップS256でこれを画像バッファより消去してステップS258に移行する。一方、ステップS254で送信成功データがなければ直接ステップS258に移行する。
【0137】
ステップS258では、AD変換が完了したかどうかチェックし、該当すればAD変換したデータを画像バッファに格納してステップS262に移行する。一方、AD変換が終了していなければ直接ステップS262に移行する。ステップS262では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップS264で通信状態がOKかどうかチェックする。そしてOKであればステップS266で画像バッファからFIFO(先入れ先出し)でデータを読出し、ステップS268で読み出したデータの送信開始を指示してフローを終了する。なお、ステップS252でデータ送信中であったとき、ステップS262で画像バッファにデータの格納がなかったとき、またはステップS264で通信状態がOKでなかったときはそれぞれ直ちにフローを終了する。
【0138】
図27は、図13の第3実施例における体外モニタ504のモニタ制御部540の動作を示すフローチャートであり、カプセル内視鏡502との通信開始でフローがスタートする。フローがスタートするとステップS272で画像データの新着の有無をチェックする。新着データがあればステップS274に進み、新着データが完全かどうかチェックする。そして完全であればステップS276に進んでこれを画像バッファ538に格納するよう支持してステップS278に移行する。なお、ステップS272でデータの新着がないか、またはステップS274で新着データが完全でなかったときはいずれもステップS272に戻る。
【0139】
ステップS278では、赤外モードであるかどうかチェックし、該当しなければステップS280でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップS282に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップS284に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップS286に移行する。ステップS284の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
【0140】
ステップS286では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップS290に進み、新着データ直前の可視2色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の3色が揃うからステップS292に進み、保管カラー画像を作成する指示をしてステップS272に戻る。ステップS292の指示によって作成される画像は、図19のカラー補間画像I1またはI2に相当する。
【0141】
ステップS278で赤外モードであったときは新着データは赤外画像データであるからステップS294に移行し、赤外画像の作成を指示してステップS272に戻る。また、ステップS282で新着データが赤外画像データであったときもステップS294に移行する。一方、ステップS286で新着データが青画像データであったときはステップS296に進み、直前の2色(この場合は赤および緑)の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する3色が揃うのでステップS298に進み、カラー画像作成の指示を行ってステップS272に戻る。この指示によって作成される画像は、図19のカラー画像F1またはF2に該当する。
【0142】
また、ステップS280でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップS296に移行し、直前の可視2色データが格納されているかどうかのチェックに入り、直前2色があればステップS298のカラー画像作成を指示する。この指示によって作成される画像は、図21のカラー画像F1、F2、F3等に該当する。なお、ステップS290またはステップS296で直前の可視2色データの格納がなかったときは直ちにステップS272に戻る。
【実施例4】
【0143】
図28は、本発明の第4実施例の動作タイミングの関係を示すタイミングチャートである。第4実施例は基本的には図13から図17に示す内視鏡システムと共通の構成なので、以下の説明では、図13のブロック図の符号を適宜用いて説明する。第4実施例が第3実施例と異なるのは、CIGS撮像センサの構成およびLEDの発光タイミングである。すなわち、第3実施例のCIGSセンサ510はカラーフィルタを有さず、色の分解はLEDの時分割発光によっていたが、第4実施例のCIGS撮像センサ510は、図7から図10に示すようなカラーフィルタを有し、第1実施例および第2実施例と同様にしてCIGS撮像センサ自体で色分解を行う。そして、LEDの発光は時分割ではなく全色同時に行われる。
【0144】
図28は、このような第4実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作のLEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤LED、全ての緑LED、すべての青LEDおよびすべての赤外LEDは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各LEDは、図28のように点滅発光するかわりに連続発光しても差し支えない。なお、図28のカラー・赤外モードにおいては、撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図18のカラー・赤外モードの場合と共通である。
【0145】
図29は、第4実施例のカプセル内視鏡502における精細カラーモードでの動作のLEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図29に明らかなように、すべての赤LED、全ての緑LEDおよびすべての青LEDが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外LEDは発光しない。図29のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図20の精細カラーモードの場合と共通である。
【0146】
第4実施例における赤外モードのタイミングチャートは、第3実施例における図22と共通である。また、赤外モードにおける撮像レンズ508の画角がレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図22の赤外モードと共通である。第4実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第3実施例と共通である。
【0147】
なお、上記第3実施例および第4実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図13のアンテナ530および546による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、CIGS画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図14から図17の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第3実施例および第4実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
【実施例5】
【0148】
図30は、本発明の第5実施例のブロック図であり、車両用監視装置を構成している。その車両監視機能は、衝突防止のための車両前後の車間距離の検知機能およびドライブレコーダとしての車両前後の画像撮影記録機能である。また検知された車間距離はドライブレコーダに記録されるとともに、画像撮影のためのフォーカス調整にも利用される。図30において、車両602は、ガソリンエンジン車または電気自動車またはガソリンエンジンとモータを併用するいわゆるハイブリッドタ車のいずれかとして構成される。
【0149】
車両602は、車両全体を制御するコンピュータからなる車両制御部604を有し、車両の運転者による操作に応じて、動力606およびブレーキ608などを有する車両機能部610を制御し車両602を走行させる。動力606はガソリンエンジンまたはモータまたはその両者を含むよう構成される。車両制御部604は、車両602の制御に必要なソフトウエアおよびデータを格納する記憶部を有する。また、車両制御部604は、車内出力部612を制御し、その画像出力部614によって車両の操作に必要によるGUI表示を行わせるとともに制御結果の表示を行わせる。また、音声出力部616によって運転者へのアナウンスなども行わせる。
【0150】
GPS部618は、GPSシステムに基づいて衛星および最寄の放送局より車両602の絶対位置情報である緯度、経度、および高度の情報を得て車両制御部604に送る。カーナビゲーション機能部620は、車両制御部604経由で得られるGPS部618からの絶対位置情報を処理し、地図上での車両602の位置を画像出力部614に表示させる。
【0151】
次に車両用監視装置に関する構成を必要に応じ上記の構成とも関連づけて説明する。第5実施例は、車両の前方および後方の監視のためにほぼ同様の監視装置を備えている。そこで、まず、車両後方の監視装置について説明する。後方カメラ/センサ622は、撮像レンズ624およびCIGS撮像センサ626よりなるカメラおよびマイク628を備えており、車両602が走行状態にあるとき常時車両前方等の画像および周囲の音が入力される。
【0152】
CIGS撮像センサ626は、基本的には、これまでの実施例において説明した図3のような特性を有し、図7から図10で説明したようなカラーフィルタ配列を有するものである。但し、そのカラーフィルタの分光透過率については実施例5特有の特徴を有し、赤透過フィルタ、青透過フィルタおよび緑透過フィルタおよびはそれぞれの狭い可視光領域の光を透過させるバンドパスフィルタとなっているとともに赤外光透過フィルタについては、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタとなっている。ソーラーブラインドとは地球に到達した太陽光のうち大気の吸収によって地表には到達しえないか到達しても微弱となる波長領域であり、例えば、1100nm近辺にこのような領域があることが知られている。実施例5では、図3のようなCIGSセンサの受光感度と上記のようなフィルタの組合せにより、赤、青、緑画素によって可視光画像を撮影するとともに、赤外画素によって太陽光の有無にかかわらない距離検知を行うものである。その詳細については後述する。
【0153】
赤外ビームスキャナ630は、監視記録制御部632の制御下でソーラーブラインド領域の赤外光ビームを投射し、車両後方をスキャンする。投射された赤外光ビームが後続車両によって反射されると、これがCIGS撮像センサ626の赤外画素によって受光される。CIGSセンサ626の画像信号は、後方センサドライバ634を介して後方画像処理部636によって処理され、赤外ビームの反射位置が検知される。監視記録制御部632は、後方画像処理部636が検知した反射位置情報およびその時の赤外光ビーム投射角度から、この赤外光ビームを反射した後続車両までの車間距離を算出する。監視記録制御部632は算出した車間距離に応じて後方AF(オートフォーカス)制御部638を制御し、AF駆動部640により撮像レンズ624を駆動させて赤外光ビームを反射した後続車両に対し、可視光でのピントを合わせる。
【0154】
一方、上記のようなピント合わせに基づきCIGS撮像センサ626の可視光画素により検知された可視光画像情報は、後方センサドライバ634を介して後方画像処理部636によって可視画像に処理され、監視記録制御部632を介してマイク628からの音声情報とともにFIFO(先入れ先出し記録部)642に入力される。FIFO(先入れ先出し記録部)642は、20秒程度の容量の不揮発性バッファメモリを備えており、後方画像処理部636およびマイク628から入力された画像および音の情報を先入れ先出しで記憶する。つまり最新20秒の情報が常時上書き記憶され続ける。
【0155】
そして、異常加速度検知部644が衝突などによる大きな加速度変化を検知したとき、または特に記録を指示する手動操作があったとき、FIFO642の記録が証拠として保全されることになる。具体的には、監視記録制御部632は、車両制御部604と連記しており、異常加速度検知部644による異常加速度検知または手動操作が車両制御部604を介して監視記録制御部632に伝えられると、後方画像処理部636およびマイク628が破壊されずに情報入力が継続していれば、その時点からさらに10秒程度のFIF0642への記憶を続ける。これによってFIFO642には、加速度変化の検知または手動操作の時点の前後それぞれ10秒程度の画像および音情報が最終的に保持される。そして、この前後10秒程度の画像および音情報は、不揮発性の記録部646に自動転送され証拠として保存される。これによってドライブレコーダ機能が達成される。なお、衝突等でドライブレコーダ機能の大半が破壊された場合でも、不揮発性のFIFO642さえ無事ならば、事故前20秒程度の記録が保全されることになる。
【0156】
なお、後続車両の画像を記録する場合、車間距離が短くなると後続車両のナンバーはもちろんのことフロントガラスを介して前部座席の運転者等の顔も鮮明に記録されることになる。これらの画像は、異常がない限り、FIFOで20秒後には捨てられることにはなるが、プライバシー問題への配慮のため、後続車両が所定以上に車間距離を詰めてきたことを監視記録制御部632が検出するとこれを車両制御部604に送る。車両制御部604はこれに応答して、後方車ドラレコ(ドライブレコーダ)告知表示部648により、車両602の後部窓に「後方撮影中です」などの告知表示を行わせる。これは、万一のトラブルを軽減するための事前告知となるとともに、撮影を嫌う後続車両に自発的に適切な車間距離をとらせることが期待できる。さらに、
【0157】
第5実施例は、以上説明した後方監視装置と同様の監視装置を車両前方にも備えている。その構成は後方監視装置と共通なので、対応する構成については700番台で10の位および1の位が同じ番号を付し、特に必要ない限り説明は省略する。なお、前方監視装置の前方画像処理部736からの前方可視光画像情報は、後方可視光画像と同様にしてFIFO642および記録部646に記録される。このためFIFO642および記録部646はそれぞれ後方用および前方用の記録領域を有する。
【0158】
なお、前方監視装置の場合、自車両602が所定以上に前方車両への車間距離を詰めてしまったことを監視記録制御部632が検出し、これが車両制御部604に送られたときは、車内出力部612の音声出力部616に「車間距離をとってください」などの警告アナウンスを行わせるとともに、居眠り等により車間距離が危険領域にまで縮まったときは、ブレーキ608を自動的に作動させ、衝突を防止する。
【0159】
図31は、後方カメラ/センサ622の詳細を距離検知原理とともに示したブロック図であり、上面から見た配置概念図となっている。なお、図30と同一部分には同一番号を付している。図31において、赤外ビームスキャナ630は、レーザまたは発光ダイオードからなりビームを投射するソーラーブラインドビーム光源802と、投射ビームを反射して道路面と平行にスキャンさせるためのポリゴンミラー、共振型ガルバノミラーまたは音響光学偏向素子などからなる二次元走査系804を有する。なお、ソーラーブラインドビーム光源802からのビームは、道路のアップダウンに対応して後続車両をカバーするため、後述のように断面が縦長になっている。なお、同様の目的で道路のアップダウンに対応して水平垂直方向に位置する可能性のある後続車両をカバーするためには、二次元走査系804を縦方向のスキャンも含む空間走査系として構成してもよい。
【0160】
CIGS撮像センサ626の光軸806はほぼ車両602の中心に配置されるが、二次元走査系804による走査ビームの回転中心は、この光軸806から離れた位置設けられる。投射ビームの回転中心と光軸806の距離はいわゆる三角測距の基線長となるので、原理的には両者間はできるだけ離れているのが望ましい。従って、配置が可能であれば、例えば赤外ビームスキャナ630は尾灯の一部に設けるのが好適である。しかしながら、一方で、後方カメラ/センサ622を出来るだけユニットとしてコンパクトにまとめることを優先する場合には、精度が保証できる限り、赤外ビームスキャナ630とCIGS撮像センサを近接して配置するのが好適である。
【0161】
後方カメラ/センサ622は以上のような構成であるので、例えば後続車両が車両622の真後ろの位置810に存在した時、角度812にある投射ビームの反射光814がCIGS撮像センサ626に向かう。つまり、反射ビーム814の像はCIGS撮像センサ626の光軸806上、すなわち画面の左右方向中央に撮像される。この反射ビーム814の像の位置と投射ビームの角度の組合せは後続車両の位置810によって一義的に決まり、その時の投射ビームの角度812は監視記録制御部で把握されているので、投射ビームの角度と反射ビーム814の撮像位置の組合せから位置810にいる後続車両までの距離が求まることになる。
【0162】
同様にして、後続車両が車両622の真後ろの位置816に存在したときは、角度818にある投射ビームによる反射ビーム820がCIGS撮像センサ626に向かう。このときも反射ビーム820の像はCIGS撮像センサ626の画面の左右方向中央に撮像されるが、投射ビームが異なる角度818にあるので、後続車がより遠い位置816にあることがわかる。なお、後続車が位置822にいたときには、位置816にいるときと同様、投射ビームが角度818にあるときの反射光ビーム824の像がCIGS撮像センサ626に撮像される。しかしこのときの反射光ビーム824の撮像位置は、画面の左右中央ではなく、主光線826の延長線上の、図31で画面中央より右側の位置に撮像されるので、位置822が位置816と混同されることはない。
【0163】
図32は、CIGS撮像センサ624によって撮像された画像を車内出力部612の画像出力部614で見たときの概念図である。図32(A)は、図31のような位置に後続車両があるときに対応したものであり、最も近い真後ろの位置810にある後続車両とこれによる反射ビーム814が観察される。なお、上記のように投射ビームの断面が縦長なので後続車両による反射ビーム814の像も縦長形状をしている。また、反射ビーム814は、簡単のため位置810にいる後続車両の中央にのみ図示しているが、実際には後続車両前面の左端から右端まで投射ビームがスキャンされる間、反射ビームが帯状に検知される。なお、スキャン速度は車両速度よりも充分高速なのでスキャン中の車両位置の動きは無視できる。そこで、このように帯状に車両前面全体に渡っている反射ビームの像から、図32(A)に示すような反射ビーム814の像を求めこれに対応する投射ビームの角度を確定するためには、車両前面に渡っている帯状の反射ビーム像の重心を求める処理が必要である。このような重心を求めて処理することについては後述する。
【0164】
図32(A)では、上記のような位置810にいる後続車両と同様にして、より遠い真後ろの位置816にある後続車両とこれによる反射ビーム820の重心、および右側にずれた位置822を走行している後続車両とこれによる反射ビーム824の重心が、画像出力部614内に図示されている。なお、図32は概念図であって、説明の都合上、複数の後続車両を同時に鳥瞰的に図示しているが、実際の画像はこれと異なる。つまり、車両602および各後続車両が平地を走行している場合、CIGS撮像センサの光軸806が道路面に平行に設定されているため、位置816にいる後続車両は、その真ん前の位置810に後続車両がいる場合、その陰に隠れて全く見えない。また、斜め後方の位置822を走行している後続車両は、前方の位置810の後続車両と重なって撮像される。なお、このように複数の後続車両が重なっている場合の処理については後述する。
【0165】
図32(B)は後続車両が位置826に示すように異常接近した場合を図示しており、上記のように、このような後続車両に対しては、後方車ドラレコ告知表示部648から「後方撮影中です」などの告知表示が行われる。またプライバシーへの配慮のため、異常状態がない限りは、画像に対し、フロントガラス部モザイク処理828およびナンバープレートモザイク処理830が施される。なお、このモザイク処理は、事故等により異常加速度検知部644による異常加速度検知が行われたときには解除される。従って、証拠保全のためには、運転者の顔やナンバープレート等が写った画像が記録されることになる。
【0166】
図33は、第5実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフである。CIGSセンサの分光感度(量子効率)832は図3(A)と同じものを概念的に示したものである。これに対し、地表における太陽光の分光放射照度834は、大気の吸収を受けて櫛歯上に太陽光の分光放射照度が低くなるソーラーブラインド領域を有する。1100nm近辺や1400nm近辺がこれに相当する。両者を比較すると、CIGSセンサは1100nm近辺における太陽光のソーラーブラインド領域において高い分光感度を有することがわかる。そこで、第5実施例では、図7から図10で説明したようなカラーフィルタ配列における赤外光透過フィルタとして、1100nm近辺における太陽光のソーラーブラインド領域にピークを持つ分光透過率836のバンドパスフィルタを採用する。図31のソーラーブラインドビーム光源は、このバンドパスフィルタの透過領域に強い分光強度を有するものである。このようにして、CIGS撮像センサ626の赤外画素数は、太陽光の存在にかかわらず、赤外ビームスキャナから投射されるビームの反射光を検知できる。
【0167】
図33には、さらに赤透過フィルタ、緑透過フィルタおよび青透過フィルタにそれぞれ採用される狭い可視光領域のバンドパスフィルタの分光透過率838、840および842をそれぞれ図示している。これらの波長域では、地表における太陽光の分光放射照度834は充分であり、かつ、CIGSセンサの分光感度(量子効率)832も極めて高いので、可視光の撮像が可能となる。このように、第5実施例では、赤透過フィルタの分光透過率838を含め、すべてのフィルタが狭い領域の波長域を透過させるバンドパスフィルタとなっているので、可視光の撮像およびソーラーブラインド領域の投射ビームによる距離検知を同時に行うことが可能である。なお、撮像レンズ604のピント位置は可視光を基準にして行う。この場合、赤外画素についてはピントが合わないが、反射ビームの重心を求める目的からは問題はない。
【0168】
図34は、図30の第5実施例における監視記録制御部632の動作のフローチャートである。フローは、車両602が走行を開始するとスタートし、ステップS302でドライブレコーダ記録の開始を指示するとともに、ステップS304でソーラーブラインド赤外ビームによるスキャン開始を指示してステップS306に至る。ステップS306では、上記の指示に基づいて前方および後方画像処理部から送られる可視画像、前方および後方マイクからの音声、前方および前方の検知距離のFIFO記録を指示する。
【0169】
次いでステップS308では、赤外ビームスキャナ630からのビーム角度およびCIGS撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。この車間距離検知は前方車両および後方車両の両者について行われるものであるが、その詳細は後述する。ステップS308で前方および後方の車間距離が検知されると、ステップS310ではこれに基づいて、前方カメラ/センサ722および後方カメラ/センサ622についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。
【0170】
次のステップS312では、ステップS308で検知した前方車間距離に基づいて、前方車への異常接近の有無がチェックされる。そして前方車間異常接近が検知されるとステップS314に進み、ブレーキを安全な強度で自動作動させて減速する指示を行うとともにステップS316で異常車間距離のアナウンスを指示してステップS318に移行する。一方、ステップS312で前方車間異常接近が検知されなければ直接ステップS318に移行する。ここで、車間距離に応じたよりきめ細かい処理を望む場合は、ステップS312の車間距離判断を二段階にし、車間距離が比較的大きい時はステップS316の警告アナウンス指示のみに留めるとともに、車間距離がより短くなったときのみステップS314のブレーキ自動作動を加えるよう構成する。また、このようなきめ細かい処置にするか図34通りの一段階の処理にするかを予め選択しておくよう構成することもできる。
【0171】
ステップS318では、ステップS308で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。そして後方車間異常接近が検知されるとステップS3320に進み、異常車間距離のアナウンスを指示する。さらに、ステップS322では、後方車両運転者に見えるよう車両602の後部窓に「後方撮影中です」などの告知表示を行わせる。また、ステップS324では、後方カメラ/センサ622が撮像する後方車の画像に対し、フロントガラス部モザイク処理828およびナンバープレートモザイク処理830を施す指示を出してステップS326に移行する。一方、ステップS318で後方車間異常接近が検知されなければステップS328に進み、ステップS320からステップS324に該当する後方車対策を解除してステップS326に移行する。これは、異常接近状態の検知に対応して後方車との車間距離が広がり、正常状態に復帰したときに必要な処理である。
【0172】
ステップS326では、異常加速度が検知されたかどうかがチェックされ、検知があればステップS330で後方車フロント/ナンバープレートモザイク処理を解除する。さらにステップS332では、異常加速度検知後10秒の画像/音声/距離がFIFO642に入力されるのを待つとともにこのようにして確保されたFIFO642における異常加速度検知前後10秒分の画像/音声/距離を記録部646に記録してステップS334に移行する。一方、ステップS326で異常加速度が検知されなければ直接ステップS334に移行する。
【0173】
ステップS334では、車両が停止したかどうかチェックし、停止していなければステップS306に戻って、以下ステップS306からステップS334を繰り返し、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。一方、ステップS334で車両の停止が検知されるとステップS336の停車中処理に移行する。車両の事故は、車両の走行中だけでなく、例えば信号で停車中に後方から追突される等のケースもある。停車中処理はこのような車両停止中の事故にたいしても証拠保全するためのものである。
【0174】
図35は、図34の停車中処理の詳細を示すフローチャートである。図34のステップS334から図35の停車中処理に移行すると、まず、ステップS342で車両が走行しているかどうかチェックする。ここで走行していることが検知されると図34のステップS306に戻る。一方、停車が継続されていることが確認されるとステップS344に進み、継続して前方および後方画像処理部から送られてきている可視画像、前方および後方マイクからの音声、前方および前方の検知距離のFIFO記録を指示する。
【0175】
次いでステップS336では、赤外ビームスキャナ630からのビーム角度およびCIGS撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。これは、図34のステップS308と同じ処理である。ステップS346で前方および後方の車間距離が検知されると、ステップS348ではこれに基づいて、前方カメラ/センサ722および後方カメラ/センサ622についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。これも図34のステップS310と同じものである。
【0176】
次のステップS350では、ステップS308で検知した前方車間距離に基づいて、前方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準は図34のステップS312よりも近接した距離である。既に車両602は停車しているので、このような場合は、前方車が気付かずバックしてきた場合などに相当する。従って、停車前提前方車間異常接近が検知されるとステップS352に進み、自動的にクラクションを作動させて前方車に注意を促し、ステップS354に移行する。一方、ステップS3520で停車前提前方車間異常接近が検知されなければ直接ステップS354に移行する。
【0177】
ステップS354では、ステップS308で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。このチェック基準は図34のステップS318と同じものである。但しここで後方車異常接近が検地されたときは、図34のような警告アナウンス指示や後方車ドラレコ告知表示指示は行わず、ステップS356の後方車フロント/ナンバーモザイク処理のみを行ってステップS358に移行する。これは、信号待ち停車等においては後方車との車間距離が短くなるのが当然であり、このような状態での警告アナウンス指示は無用であるとともに、後方車ドラレコ告知表示指示はかえって後方車とのトラブルの原因になるからである。そこで、後方車フロント/ナンバーモザイク処理によるプライバシー配慮のみに留めている。一方、ステップS356で後方車間異常接近が検知されなければステップS360に進み、後方車対策を解除してステップS358に移行する。これは、自車両停車時に後方車が遠くにいる状態において後方車フロント/ナンバーモザイク処理を解除するためである。
【0178】
ステップS358では、ステップS308で検知した前方車間距離に基づいて、後方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準はステップS354におけるよりも近接した距離である。そしてこのような異常接近が検知されるとステップS362に進み、フットブレーキを自動作動させてステップS364に移行する。これは、サイドブレーキのみで停車している場合において、万一追突された場合に車両の停止能力を高めてショックを少しでも軽減するためである。一方、ステップS358で停車前提後方車間異常接近が検知されなければ直接ステップS364に移行する。
【0179】
ステップS362では、異常加速度が検知されたかどうかがチェックされ、検知があればステップS366で後方車フロント/ナンバープレートモザイク処理を解除する。さらにステップS368では、異常加速度検知後10秒の画像/音声/距離がFIFO642に入力されるのを待つとともにこのようにして確保されたFIFO642における異常加速度検知前後10秒分の画像/音声/距離を記録部646に記録してステップS334に移行する。これらは図34のステップS330およびステップS332と同じである。一方、ステップS364で異常加速度が検知されなければ直接ステップS370に移行する。
【0180】
ステップS370では、動力が停止したかどうかチェックし、停止していればステップS372に進んで、前方カメラ/センサ722および後方カメラ/センサ622からの信号に基づく前方画像処理部736および後方画像処理部636の画像処理により、画像中に動体が写っていない状態が所定時間以上続いているかどうかチェックする。そして動体が検知されればステップS342に戻り、以下ステップS342からステップS372を繰り返し、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。ステップS372で動体が検知されたときステップS342に戻るのは、車両602が停車しかつ動力が停止させられていても周囲に走行中の車両があれば事故に巻き込まれるおそれがあるのでその場合の証拠保全を行うためである。一方、ステップS372で所定時間以上動体検知がなければ車両602が車庫など安全な位置に格納されたことを意味するのでフローを終了する。なお、ステップS370で動力が停止していないことが検知された時もステップS342に戻り、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。
【0181】
図36は、図34のステップS308および図35のステップS346における車間距離検知処理の詳細を示すフローチャートである。このフローは前方カメラ/センサ722の画像および後方カメラ/センサ622のそれぞれについて実施されるものであるが、以下の説明では簡単のため、後方カメラ/センサ622からの画像についての処理として説明する。フローがスタートすると、ステップS382で可視光画像の処理が行われる。そしてこの処理に基づき、ステップS384で車両602と同一車線内後方に車両画像があるかどうかチェックする。そして画像があればステップS386に進み、その画像の対象性をチェックする。これは複数の車両が重なって写っていないかどうかチェックすることを意味する。対象性がなければ、ステップS388に進み、予め用意された何パターンかの車両重なり画像とそれぞれマッチングを行う。
【0182】
次いで、ステップS386では一致するパターンが見つかりそのパターンに基づいて重なっている複数の車両のうちの最も近いもののみの画像が分離できたかどうかチェックし、分離が出来ればステップS392に移行する。一方、ステップS386で車両画像に対称性があれば重なりはないものとして直接ステップS392に移行する。そして、ステップS392で分離した単独車両の画像の大きさからその車両の距離を判断する。しかしながら、この距離判断は車両自体に軽自動車から大型バス等にわたる大きさのばらつきがあるためあくまで大まかなものである。さらにステップS394では、分離した単独車両の可視光画像における重心を検知してステップS396に移行する。
【0183】
ステップS396では、ソーラーブラインド画素の画像処理が行われる。そして、ステップS398において、出力が所定以上の画像群があるかどうかのチェックが行われる。これは、後方をスキャンしているソーラーブラインド領域の投射ビームが後方車両により反射されこれが後方カメラ/センサ622のソーラーブラインド画素で検知されているかどうかをチェックしていることに相当する。車両等の近接物体がない限り、投射ビームの反射光が所定以上の強度をもつことはないからである。
【0184】
ステップS398で出力所定以上の画素群があればステップS400に進み、画素群の中にステップS494で検知した可視光画像重心に一致する部分があるかどうかチェックする。そして該当する部分があれば、これを反射ビームの重心と看做し、ステップS402においてこの反射ビーム重心の元になった投射ビームの角度情報を取得する。これによって、ステップS404では、ステップS402で得た投射ビーム角度およびステップS394で得た画像重心位置より投射ビームを反射した車両までの距離を仮決定する。このようにして仮決定された距離は、次のステップS406においてステップS392で求めた画像大きさに基づく距離に矛盾しないかどうかチェックする。そして矛盾がなければステップS404で仮決定した距離を正式に検知車両までの距離として本決定しフローを終了する。
【0185】
一方、ステップS406で距離に矛盾があればステップS410に進み、画像処理が所定回数以上行われたかどうかチェックして、まだ所定回数の達していなければステップS382に戻り、可視光画像処理から処理をやり直す。このようにして、ステップS406で画像大きさ距離に矛盾しないソーラーブラインド検知距離が求まったことが確認されるか又はステップS410で画像処理が所定回数以上行われたことが検知されない限りステップS382からステップS410が繰り返される。なお、ステップS384で同一車線内車両画像が検知されなかったとき、またはステップS390で重なり画像から単独車両が分離できなかったとき、またはステップS398で出力が所定以上のソーラーブラインド画素がなかったとき、またはステップS400でソーラーブラインド画素群に可視光画像重心と一致する部分がなかったときは、いずれも直ちにステップS410に移行し、画像処理の繰り返しに入る。
【0186】
これに対し、ステップS410で距離の本決定ができないまま画像処理が所定回数以上くりかえされたことが検知されたときはステップS412に進み、ステップS392により画像大きさ距離の有無をチェックする。そして、画像大きさ距離があればステップS414に進んでそのうちの最新の画像大きさ距離を採用してフローを終了する。一方、ステップS412で画像大きさ距離がなかった時はステップS416に進み、無限遠から中近距離までの車両後方の大半にピントが合うパンフォーカス距離を採用してフローを終了する。これによって、少なくとも図34のステップS310または図35のステップS348のカメラAFのための何らかの距離を決定してフローが終了される。
【実施例6】
【0187】
図37は、本発明の第6実施例の車両用監視装置の後方カメラ/センサの詳細を距離検知原理とともに示したブロック図である。第6実施例は、図30の全体構成ブロックを含め基本的には第5実施例と共通の構成を有しているが、前方カメラセンサおよび後方カメラ/センサにおけるCIGSセンサ周辺の構成が若干異なるなるものである。図37には、図31の第5実施例と同様にして代表として後方カメラ/センサ922を図示しているが、第5実施例と共通する部分には図31と共通の番号を付し、特に必要ない限り、説明は省略する。
【0188】
第6実施例のCIGS撮像センサ926はカラーフィルタの構成が異なり、赤透過フィルタは狭い領域を透過させるバンドパスフィルタではなく、赤より長波長側を透過させるローパスフィルタが採用されている。また、赤外光透過フィルタについても、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタではなく、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっている。これらのローパスフィルタは、バンドパスフィルタよりも構成が簡単である。このため、まずソーラーブラインド領域より長波長側をカットするための、固定ハイパスフィルタ901がCIGSセンサ926への光路中に設けられる。さらに、赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットする可動帯域カットフィルタ903がCIGSセンサ926への光路中に設けられる。これらの組合せにより、結果的に図33と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる。
【0189】
第6実施例はさらに、赤外撮影が可能となっている。このためには、可動帯域カットフィルタ903がCIGS撮像センサ926への光路から退避させられ、代わりに、可視光領域をカットして赤外領域を透過させる可動ローパスフィルタ905がCIGSセンサ926への光路中に設けられる。可動帯域カットフィルタ903および可動ローパスフィルタ905の差し換えはフィルタ駆動部907が行う。平均照度検知部909は、CIGSセンサの可視光出力に基づき、平均照度が小さくなったとき、すなわち夕暮から夜間に相当する状況になったものと判断し、フィルタ駆動部907に指示して、可動帯域カットフィルタ903を可動ローパスフィルタ905に自動切換えさせる。さらに、コントラスト検知部909は、CIGSセンサの可視光出力に基づき、コントラストが小さくなったとき、雨や霧で視界が悪くなったものと判断し、フィルタ駆動部907に指示して、可動帯域カットフィルタ903を可動ローパスフィルタ905に自動切換えさせる。
【0190】
以上のようにして、第6実施例はでは、暗いときまたは視界が悪い時において、可視光撮影を赤外光撮影に自動切換えすることができる。なお、平均照度検知部909およびコントラスト検知部909は、CIGSセンサの赤外光出力に基づき、平均照度またはコントラストが大きくなったとき可動ローパスフィルタ905を可動帯域カットフィルタ903に自動切換えさせて赤外光撮影から可視光撮影へ切換えさせる。なお、AF駆動部940は上記のようなフィルタの差し換えに連動し、赤外撮影が行われるときはピント合わせに赤外補正を加える。
【0191】
図38は、第6実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフであり、図38(A)は可視光撮影の状態、図38(B)は赤外光撮影の状態をそれぞれ示している。CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840のおよび青透過フィルタの分光透過率842はそれぞれ図33と同じである。これに対し、赤透過フィルタの分光透過率932は、赤より長波長側を透過させるローパスフィルタとなっている。また、赤外光透過フィルタの分光透過率936は、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっており、図38(B)からわかるようにソーラーブラインド領域よりも短波長側の近赤外領域を比較的広く透過させている。さらに、固定ハイパスフィルタ901の分光感度は、ソーラーブラインド領域より長波長側をカットするハイパスフィルタとなっている。
【0192】
以上のような構成において、図38(A)では、斜線部に示すように、可動帯域カットフィルタ903が赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットしている。この結果、図33と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる合成分光透過率が達成されている。なお、図38(A)の状態では、赤画素においても赤画像に重畳してソーラーブラインド投射ビームの反射光が感知される。この反射光は予めわかっているビーム投射タイミングでしか感知されないので、このタイミングにおける出力変化から投射ビーム反射光を検知して距離検知情報に利用することもできる。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はない。
【0193】
これに対し、図38(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域をカットしている。この結果、近赤外のかなり広い帯域の光が赤外画素に入射することになる。これによって太陽光を光源とするものも含めた赤外光による撮像が可能となる。また、ソーラーブラインド領域の光も入射可能なので、投射ビームによる距離測定も可能である。ここで図38(B)の状態では赤画素は赤外画素とほぼ同じ分光透過率を持つことになるので、赤外撮影においては、赤画素を赤外画素と看做して撮像情報に活用することができる。
【0194】
なお、第6実施例において広い帯域の近赤外光を入射させることによる収差およびピント位置のずれが問題になるときは、赤外光透過フィルタの分光透過率936のカットオフ波長を例えば1000nm程度としてソーラーブラインド領域に近づけるとともに、可動ローパスフィルタ905のカットオフ波長もこれに対応して1000nm程度にシフトさせ、短波長側の近赤外光をカットするようにする。これによって赤外光撮影の帯域を狭くし、収差およびピント位置のずれを軽減す売ることができる。但し、これによって赤外光撮影の光量が低下するので両者の兼ね合いから赤外光撮影の透過帯域幅を決定する。また、目的に応じ、そのピークをどこにするかの選択も可能である。
【0195】
図39は、図37の第6実施例における監視記録制御部632の動作のフローチャートである。その内容は、図34の第5実施例におけるフローチャートと共通するところが多いので、共通するところには同一のステップ番号を付すとともに、図34と関係付けて説明する。まず、図39におけるステップS302からステップS308、ステップS334は図34の同一番号ステップと同じである。また、図39のステップS422における車両異常接近処理は、図34のステップS312からステップS324およびステップS328をまとめたものであって、その内容は同一である。同様に、図39のステップS424における異常加速度検知処理は、図34のステップS326、ステップS330およびステップS332をまとめたものであって、その内容は同一である。そして、図34のステップS310の部分が、図39のステップS426からステップS442に置き換わっている。なお、図39のステップS444における停車中処理の内容は、図35のステップS348の部分を図39のステップS426からステップS442に置き換えたものである。
【0196】
以上の前提のもとで、図39のステップS426からステップS442について説明する。これらの部分は、図37で説明した可動ローパスフィルタ905と可動帯域カットフィルタ903の自動切換えおよび、これに連動するAF駆動部940の赤外補正に関するものである。図39において、ステップS308で前方および後方の車間距離が検知されると、ステップS426では手動で赤外撮影が選択されたかどうかチェックする。選択がなければステップS428に移行し、平均照度検知部909により検知される照度が所定以下かどうかチェックする。照度が所定以下でなければさらにステップS430でコントラスト検知部911により検知されるコントラストが所定以下であるかどうかチェックする。
【0197】
ステップS430でコントラストが所定以下であると判断されたときはステップS432に進み、可視光帯域をカットする可動ローパスフィルタ905を挿入する指示をフィルタ制御部907に行う。なお、ステップS426で手動赤外撮影選択が検知されたとき、またはステップS428で照度が所定以下であることが検知されたときは直ちにステップS432に移行する。次いで、ステップS434では、AF駆動部940に赤外補正つきのカメラAFによるピント合わせを行うよう指示する。さらにステップS436では赤外光画像出力を選択するよう画像処理部に指示してステップS422に移行する。
【0198】
一方、ステップS430でコントラストについても所定以下でなかったときはステップS438に移行し、ソーラーブラインド以外の赤外帯域をカットする可動帯域カットフィルタ903を挿入する指示をフィルタ制御部907に行う。次いで、ステップS440では、AF駆動部940に赤外補正なしのカメラAFによるピント合わせを行うよう指示する。さらにステップS436では可視光画像出力を選択するよう画像処理部に指示してステップS422に移行する。
【実施例7】
【0199】
図40は、本発明の第7実施例の車両用監視装置の前方および後方カメラ/センサに用いられるCIGS撮像センサのカラーフィルタ配列である。このフィルタ配列は、基本的には原色カラーフィルタにおいて代表的なベイヤー配列と全く同様であって、赤透過フィルタR21(IR21)、緑透過フィルタG11、G22、および青透過フィルタB12を有する。但し、第7実施例では、後述のようにフィルタ切換えによって赤透過フィルタR21(IR21)に該当する画素の出力が赤外光出力としても兼用される。本発明の第7実施例の車両用監視装置の前方および後方カメラ/センサの構成は、図37に示した第6実施例と共通であり、上記のようにCIGS撮像センサ926のフィルタ配列のみが異なる。
【0200】
図41は、第7実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフであり、図38の場合と同様にして、図41(A)は可視光撮影の状態、図41(B)は赤外光撮影の状態をそれぞれ示している。CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840、青透過フィルタの分光透過率842、赤透過フィルタの分光透過率932、固定ハイパスフィルタ901の分光感度および可動帯域カットフィルタ903の分光感度は、それぞれ図38(A)と同じである。つまり、第7実施例では、上記のCIGS撮像センサのカラーフィルタ配列により、赤外専用の画素が除かれたことだけが第6実施例と異なる。
【0201】
この結果、図41(A)の状態では、図40のR21(IR21)とうに該当する分光透過率932の赤画素に赤画像に重畳してソーラーブラインド投射ビームの反射光が感知されることになる。第7実施例ではソーラーブラインド反射光検出のための専用画像を持たないので、赤画素の赤画像出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離する。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はないことは第6実施例と同様である。
【0202】
これに対し、図41(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている。この結果、分光透過率932の赤画素には1000nmから1100nm近辺までの太陽光に基づく赤外光およびソーラーブラインド投射ビームの反射光が検知される。ここでも、赤画素の赤外光出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、図41(A)の場合と同様、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離することができる。
【0203】
なお、図41(B)において、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている例を示したが、これは第7実施例に特有のことではない。既に第6実施例において、収差およびピント位置の問題への対処のため可動ローパスフィルタ905のカットオフ波長を1000nm程度にシフトさせることについて説明したが、図41(B)はこのような構成を採用した例を具体的に示したものである。第7実施例においても、ソーラーブラインド反射光成分の分離、および収差およびピント位置のずれの観点で問題がない場合は、第6実施例と同様にして、赤外撮影状態における可動ローパスフィルタ905のカットオフ波長を短波長側にシフトしてもよい。
【実施例8】
【0204】
図42は、本発明の第8実施例の車両用監視装置の前方および後方カメラ/センサに用いられるCIGS撮像センサのカラーフィルタの分光透過特性を説明するためのグラフである。第8実施例は、基本的には第7実施例と同様の構成を持つ。すなわちCIGS撮像センサのフィルタ配列は、図40に示すようなベイヤー配列であり、第7実施例と同様にしてフィルタ切換えにより赤透過フィルタR21に該当する画素の出力が赤外光出力としても兼用される。また、第7実施例と同様にして、車両用監視装置の前方および後方カメラ/センサの構成は、図37に示した第6実施例と共通のものである。図42の第8実施例が第7実施例と異なるのは、ソーラーブラインドビーム反射光検知による距離検知機能を省略し、専ら可視光による通常昼間の可視光ドライブレコーダおよび夜間または霧中などにおける赤外光ドライブレコーダの自動切換えに機能を絞った点にある。
【0205】
第8実施例においても、図38および図41と同様にして、図42(A)は可視光撮影の状態、図42(B)は赤外光撮影の状態をそれぞれ示している。また、図42において、CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840、青透過フィルタの分光透過率842、赤透過フィルタの分光透過率932、および可動帯域カットフィルタ903の分光感度は、それぞれ図41(A)と同じである。図42が図41と異なるのは、固定ハイパスフィルタ901が1100nm近辺のソーラーブラインド領域を含めこれより長い波長域をカットする分光透過率となっており、CIGSセンサのソーラーブラインド領域の感度を利用していない点である。
【0206】
これによって、可動帯域カットフィルタ903が挿入されている図42(A)の状態では分光透過率932の赤画素に赤画像のみが感知されることになる。これに対し、図42(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている。この結果、分光透過率932の赤画素には1000nmから1100nm近辺までの太陽光に基づく赤外光が検知される。このようにして、CIGSセンサの広い分光感度を利用し、ベイヤー配列における赤画素が可視光撮影における赤画像検知および赤外光撮影における赤外画像検知に切換えて利用される。なお、このような第8実施例のCIGSセンサはドライブレコーダに限らず、第1実施例、第2実施例におけるカメラ、また第4実施例におけるような内視鏡においても採用が可能なものである。
【実施例9】
【0207】
図43は、本発明の第9実施例の上面外観図であり、携帯電話1として構成されている。携帯電話1は、ヒンジ部3によって表示部5を有する上部7がテンキーなどの操作部9を有する下部11の上に折り畳み可能に構成される。上部7には電話機能を構成する受話口13が設けられるとともに、携帯電話1をテレビ電話として利用する場合において表示部5を見ている操作者の顔を写すことができるとともに、自分撮りの際にも利用される内側カメラ17が配置されている。さらに、上部7には、携帯電話1が通話のために顔に近接していることを検知するための赤外光発光部19および顔からの赤外反射光を受光する赤外光近接センサ21が設けられており、赤外光近接センサ21の出力が所定以上あることで顔の接近が検知されると、省電力のため表示部5のバックライトを消灯する。なお、図43では図示しないが、上部7の背面には背面カメラが設けられており、携帯電話1の背面側にあって表示部5でモニタされる被写体を撮影することができる。
【0208】
一方、下部11には、その下方に電話機能を構成する送話口23が設けられるとともに、情報にはCIGS撮像センサ25が配置されている。CIGS撮像センサ25は、図3(A)に示すように波長1300nm近くにわたる広い感度域を持つとともに400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有するものであり、後述するように、頬の肌の撮影、頬の肌水分の測定、親指静脈の認証、脈波による健康チェックなどの諸機能を有する。そしてその周囲には、上記の種々の目的のためのLEDを有する光源部27が配されている。CIGS撮像センサ25および光源部27は下部11の上方、すなわち携帯電話1全体で見るとその中央部近くに設けられているため、指静脈の認証の際に携帯電話1を保持する手の親指の認証が片手操作にて可能である。
【0209】
頬の肌の撮影および頬の肌水分の測定は、携帯電話1が通話のために顔に近接している状態で測定され、通話が終わると表示部5において肌水分表示29が自動的に所定時間行われる。一方、親指による静脈認証や脈波検知は、上記のように携帯電話1を持つ手の親指をCIGS撮像センサ25近傍上方にて非接触でかざすことにより可能である。このとき、CIGS撮像センサ25の出力によるフォーカス検知機能に基づき、親指を近づける旨の指示31または親指を離す旨の指示32が表示部5に表示される。また、親指認証時に同時に親指の脈波が検知され、検知された脈波の形状に基づく血管状態の健康診断結果や脈波に基づくパルスオキシメータの血中酸素飽和度などの健康チェック情報35が表示部5に表示される。なお、図43では、説明の都合上、表示部5に現に表示されている指示31を実践で囲んで示し、適宜表示が可能な他の情報を破線で囲んで図示している。また、表示のレイアウトは図43に限るものではなく、各表示は、同時に表示する必要のない限り、表示部5一杯に表示してよい。
【0210】
図44は、実施例9のブロック図であり、同一部分には図43と同一番号を付し、必要のない限り、説明は省略する。携帯電話1は、記憶部37に記憶されるプログラムに従って動作する制御部39によって制御される。記憶部37は、また制御部39の制御に必要なデータを一時記憶するとともに、種々の測定データや画像も記憶することができる。表示部5の表示は制御部39の制御に基づき表示ドライバ41の保持する表示データに基づいて行われる。表示部5は表示バックライト43を有しており、このバックライトの明るさはCIGS撮像センサ25が検出する周囲の明るさに基づいて制御39が調節する。
【0211】
受話口13および送話口23を含む電話機能部45は、制御部39の制御下にある電話通信部47により、無線電話回線に接続可能である。また携帯電話1は近距離通信部49により、電話回線とは異なる近距離通信システムに基づき、近辺にある機器と無線でデータ通信が可能である。スピーカ51は、制御部39の制御により着信音や種々の案内を行うとともにテレビ電話時の相手の声を出力する。また、画像処理部53は、制御部39に制御されて内側カメラ17および背面カメラ55によって撮像される画像を処理するとともに、CIGS撮像センサ25の画像も処理し、これらの処理結果の画像を記憶部37に入力する。
【0212】
図45は、第9実施例におけるCIGS撮像センサ25のフィルタの分光透過特性および撮像センサ光源部27のピーク波長を説明するためのグラフである。CIGS撮像センサ25の分光感度(量子効率)101は、図3(A)と同じものを概念的に示したもので、波長1300nm近くにわたる広い感度域を持つとともに400nm付近から1200nm付近までの広い波長域に渡る高量子効率を示すものである。図45(A)は、このようなCIGS撮像センサ25の分光感度101に重ね、波長を示す横軸を共通にして水の吸光度特性103を示したものである。なお、縦軸は分光感度101と水の吸光度特性103の波長依存の相対変化をそれぞれの示すだけのものであり、両者間の絶対的な値には意味はない。図45(A)に明らかなように、水の吸光度特性103は970nm、1200nm、1450nm等にピークを持っている。
【0213】
一方、図45(B)は、CIGS撮像センサ25の分光感度101に重ね、波長を示す横軸を共通にして酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107を示したものである。なお、図45(B)においても、縦軸は分光感度101と酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107のそれぞれの波長依存の相対変化を示すだけであり、両者間の絶対的な値には意味はない。図45(B)に明らかなように、酸化ヘモグロビンの吸光度特性105は、660nm付近から900nm付近にかけて徐々に大きくなる。これに対し還元ヘモグロビンの吸光度特性10は、660nm付近で大きい吸光度を示すとともに、全体として900nm付近にかけて徐々に吸光度が小さくなる。そしてこの間、760nm付近において一度吸光度の山があるとともに、805nm付近において酸化ヘモグロビンの吸光度特性105とクロスし、両者の吸光度が等しくなっている。
【0214】
図45は、以上のようなCIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107を前提として設定したCIGS撮像センサ25の複数種カラーフィルタにそれぞれ採用されるバンドパスフィルタの分光透過率、および光源部27として用いられる複数種のLEDのピーク波長を示している。まず肌水分の測定に関するものについて図45(A)を参照して説明する。バンドパスフィルタ109は、水の吸光度特性103に示される970nm付近のピークに合せ970nmをピーク波長として設定される。この波長領域をカバーする光源としてピーク波長が940nmのLED111(図示の簡単化のためピーク波長のみを一点鎖線で示す。以下同様。)が設けられる。一方、バンドパスフィルタ113は、水の吸光度特性103に示すように吸光度の低い領域の805nmをピーク波長として設定される。また、この波長領域をカバーする光源としてはピーク波長が850nmのLEDが設けられる。このように、所望の出力が得られる限りはコスト面を考慮し、LEDとバンドパスフィルタのピーク波長を厳密に一致させる必要はない。バンドパスフィルタ113のピークとややずれたピーク波長のLED115の採用は、その一例である。なお、CIGS撮像センサは量子効率が高く感度が良いのでこのようなことへの許容度も大きい。
【0215】
次に、図45(B)を用いて、親指静脈の認証に関する説明を行う。なお、各バンドパスフィルタおよび各LEDのピーク波長は図45(A)および図45(B)で共通である。バンドパスフィルタ117は、還元ヘモグロビンの吸光度特性107における760nm付近の吸光度の山に合せ760nmをピーク波長として設定される。なお、760nm付近においては吸光度特性105から明らかなように酸化ヘモグロビの吸光度は充分小さい。この波長領域をカバーする光源としてピーク波長が750nmのLED119が設けられる。親指静脈認証のための親指静脈の画像は、このピーク波長750nmのLED119を光源とし、ピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力に基づいて撮像される。これによって還元ヘモグロビンの多い静脈の画像が抽出可能となる。このとき、参照画像を取得するため、上記の肌水分検知において説明したピーク波長850nmのLED115を光源としてピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力が利用される。ピーク波長805nmの画像は酸化ヘモグロビンと還元ヘモグロビンの吸光度が等しくなっているので参照画像として好適である。
【0216】
さらに、図45(B)を用いて、脈波の検出およびこれに基づく血中酸素飽和度の測定について説明する。バンドパスフィルタ201は、還元ヘモグロビンの吸光度特性107において吸光度の高い660nmをピーク波長として設定される。なお、660nm付近においては吸光度特性105から明らかなように酸化ヘモグロビの吸光度が最も小さくなっており、酸化ヘモグロビンと還元ヘモグロビンの吸光度の差が大きい。この波長領域をカバーする光源としてピーク波長が660nmのLED203が設けられる。脈波の検出は、このピーク波長660nmのLED203を光源とするピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、および上記のピーク波長850nmのLED115を光源とするピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力に基づいて検出される。つまり、両出力に基づいて親指内における動脈血の増減がわかるのでこれに基づいて脈波が検出される。さらに脈波に対応する動脈血の厚みの変化に基づき、周知の理論により動脈血の酸素飽和度を求めることができる。
【0217】
なお、肌水分の測定、親指静脈の認証、および脈波の検出と血中酸素飽和度の測定におけるCIGS撮像センサ25の画素出力の利用は、上記のような2波長の画素出力に限らず、適宜3波長以上を組み合わせることも可能である。例えば、肌水分の測定において、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力またはピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。同様に、親指静脈の認証において、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力またはピーク波長970nmのバンドパスフィルタ109が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。さらに、脈波検出または血中酸素飽和度の測定において、ピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力またはピーク波長970nmのバンドパスフィルタ109が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。逆に、設計条件によっては、肌水分の測定、親指静脈の認証、および脈波の検出と血中酸素飽和度の測定のそれぞれ利用する波長域を兼用することによりバンドパスフィルタとLEDの種類を減らすことも可能である。
【0218】
図46は、図43から図45における第9実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図46の例においては、ピーク波長805nmの赤外光透過フィルタIRref11、ピーク波長660nmの赤透過フィルタR12、ピーク波長970nmの赤外透過フィルタIR21およびピーク波長760nmの赤外透過フィルタbIR22が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図45におけるバンドパスフィルタ113、バンドパスフィルタ201、バンドパスフィルタ109およびバンドパスフィルタ117に対応する。なお、図46におけるそれぞれの画素においてカラーフィルタの波長域以外の画像情報を補間することについては、本明細書において図7等で他の実施例について説明した構成を適宜採用することができる。なお、肌水分測定と合わせて、肌画像を撮像するときは、赤および複数波長の赤外画像による多波長画像が得られるので、これらを適宜可視光色に置き換えて画像化することにより肌の状態を画像により目視することができる。
【0219】
図47は、第9実施例に採用可能なLEDの配置の例を示す正面図であり、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図47において図45と対応する部分には同一番号を付す。図47から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111、ピーク波長850nmのLED115およびピーク波長750nmのLED119がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。一方、ピーク波長660nmのLED203については、レンズ205の光軸周りに60度ずつずれてLED111、LED115およびLED119の隙間に6個、回転対象に配されている。ピーク波長660nmのLED203は比較的小さく構成できるのでこのような実装が可能である。また、個数を増やすことで、個々の発光強度が小さいLEDを用いることが可能となりコストダウンを図ることができる。なお、光軸周りの対象性を問題としない設計の場合は、LEDの個数を各波長についてそれぞれ一個に減少させることもできる。
【0220】
図48は、図44の第9実施例における制御部39の動作のフローチャートである。フローは、携帯電話1の操作部9による主電源のオンでスタートし、ステップS452で初期立上および各部機能チェックを行うとともに表示部5における画面表示を開始する。次いでステップS454では、撮像センサ光源部27を消灯させる。なお、元々消灯状態にあるときはここでは何もしない。さらにステップS456では、携帯電話1が所定時間放置されているなど無操作状態にあるかどうかチェックする。この場合、着信を検知するなど携帯電話1が自身で機能する場合も無操作状態ではないものとする。ステップS456で所定時間の無操作が検知されない場合はステップS458に進み、表示バックライト43を点灯させる。併せてステップS460でCIGS撮像センサ25を活性化する。これによって、ステップS454からステップS460を経た場合、CIGS撮像センサは光源なしに受光を行う状態となる。
【0221】
次いで、ステップS462では、CIGS撮像センサ25の出力に基づいて表示バックライトの明るさを調整する。具体的にはCIGS撮像センサの主に赤領域のLED203の出力に基づき、これが大きい時はバックライトを明るくするとともに、LED203の出力が小さい時はバックライトを暗くする。そしてフローはステップS464に移行する。一方、ステップS456で所定時間無操作が検知されたときはステップS466に移行し、表示バックライトを消灯させるとともに、ステップS468でCIGS撮像センサ25を不活性化してステップS464に移行する。この場合は、表示バックライトが消灯するのでその明るさの調整も行われない。
【0222】
ステップS464では、携帯電話1に電話の着信があったかどうかチェックする。なければステップS450で電話番号操作などの発信のための操作があったかどうかチェックする。そして発信操作が検知された時はステップS452に移行する。なお、ステップS464で着信が検知された時もステップS452に移行する。ステップS452は、バックライトが消灯されていたときはこれを復活するとともにその明るさを調整するための撮像センサを活性化するための処理(ステップS458からステップS462と同様の処理)、および着信または発信に基づく通話を開始するための処理を行うステップである。
【0223】
ステップS452のバックライト復活/通話開始処理が完了するとステップS454に進み、赤外光近接センサ21の出力に基づいて携帯電話1に頬が近接しているかどうかチェックする。この状態は、携帯電話1を耳と口に近づけて通話体勢に入ることによって生じる。そして頬近接が検知されない場合はステップS456に移行する。これは、通話開始状態になってもまだ携帯電話1が耳と口に近づけられていないか、またはテレビ電話により通話が行われている場合に該当する。一方、ステップS450で発信操作が検知されなかったときは直接ステップS456に移行する。
【0224】
ステップS456では肌水分を測定するための手動操作が行われたかどうかチェックされ、この操作が検知されたときはステップS458の肌水分測定/肌撮影処理に移行する。一方、ステップS454において頬近接が検知されたときはステップS460に移行し、表示バックライトを消灯するとともにステップS458に移行する。このように頬近接が検知されたときには何も操作しなくても自動的に肌水分測定処理が行われる。ステップS458の肌水分測定/肌撮影処理の詳細は後述する。なお、ステップS460の表示バックライト消灯は、表示部5を見ることができない状態での省電力の意味があるとともに、後述のよう頬接近による肌水分の自動測定の場合は測定姿勢の調整を省略するので、測定姿勢のバラツキによりバックライトによる肌の照明状態が測定に影響するのを防止する意味がある。これに対し、手動測定の場合は、後述のように肌の撮影も行われるとともにそのフォーカシングなど測定条件が調整されるので、表示バックライトを積極的に肌撮影のための(少なくともCIGS撮像センサの可視光画素用の)補助照明光として利用する。
【0225】
ステップS458の肌水分測定処理が完了するとステップS462で通話中かどうかチェックする。また、ステップS456で肌水分測定手動操作が検知されなかったときもステップS462に移行する。ステップS462で通話中であることが検知された時はステップS454に戻り、以下ステップS462で通話中であることが検知されている限りステップS454からステップS462を繰り返す。これによって通話中の種々の状況変化(例えばテレビ電話中に手動で肌水分測定を行うなど)に対応するとともに、ステップS458の肌水分測定処理を繰り返すことで、測定情報量を増加させる。
【0226】
ステップ462で通話中であることが検知されない場合はステップS464に進み、バックライト復活/肌水分表示処理に入る。その詳細は後述する。このように、ステップS458の肌水分測定/肌撮影処理458による情報がある場合は、通話が終わると表示部5にその結果が自動的に表示される。ステップS464のバックライト復活/肌水分表示処理が完了するとステップS466で認証の必要な操作(例えば、メールの閲覧や電話帳情報の変更)が行われたかどうかチェックし、これらの操作が検知されなければステップS468に移行する。一方、ステップS466で認証要操作が検知されたときは、ステップS470を経てステップS468に移行する。ステップS470は、親指静脈認証処理を行うと同時に脈波を行い、脈波および血中酸素飽和度に基づく健康チェックを行う処理であり、認証成功と同時に自動的に健康チェック結果も表示部5に表示される。ステップS468は操作部9によって主電源がオフされたかどうかをチェックしており、主電源オフが検知されなければステップS454に戻り、以下、主電源がオフされない限り、ステップS454からステップS470を繰り返して種々の状況に対応する。一方、ステップS468で主電源のオフが検知されたときは、直ちにフローを終了する。
【0227】
図49は、図48のステップ458における肌水分測定/肌撮影処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS472において手動操作で肌水分測定/肌撮影処理に入ったのかどうかチェックされる。そして手動操作経由であればステップS474に進み、ピーク波長が940nmのLED111、ピーク波長が850nmのLED115、ピーク波長が750nmのLED119およびピーク波長が660nmのLED203の全てが点灯させられてステップS476に進む。一方、ステップS472で手動操作経由でなかった場合は、頬近接検知経由であることを意味するからステップS478に進み、ピーク波長が940nmのLED111およびピーク波長が850nmのLED115が点灯させられてステップS476に進む。この場合、他のLEDは点灯させられない。
【0228】
ステップS476では、CIGS撮像センサ画像の読出しが行われるとともにステップS480に進み、再び手動操作経由かどうかのチェックが行われる。そして手動操作経由であればステップS482に進んで肌画像の撮像が成功して既に記憶が完了かどうかチェックされる。このとき肌画像記憶完でなければステップS484に進み、カラーフィルタとしてそれぞれピーク波長970nmのバンドパスフィルタ109、ピーク波長805nmのバンドパスフィルタ113、ピーク波長760nmのバンドパスフィルタ117およびピーク波長660nmのバンドパスフィルタ201がそれぞれかけられたCIGS撮像センサ25の各画素の画像が抽出される。そしてステップS486で各画素による画像のコントラストを検出するとともにこれらを相互比較してステップS488に進む。
【0229】
ステップS488では、ピーク波長970nmのバンドパスフィルタ109がかけられたCIGS撮像センサ25の画素による画像(以下「970nm画像」と略称。他の画像も同様。)のコントラストが760nm画像のコントラストより大きいかどうかがチェックされる。該当しない場合はステップS490に進み、660nm画像のコントラストが805nm画像のコントラストより大きいかどうかがチェックされる。そしてこれにも該当しない場合は、波長760nmと波長660nmの間の光による像のピントが結像画像CIGS撮像センサに合っている可能性が高いのでステップS492に進み、ステップS484で抽出された各波長の画素による画像情報に基づいて各画素の補間処理が行われる。
【0230】
これに対し、970nm画像のコントラストが760nm画像のコントラストより大きいことがステップS488において検知された場合はステップS494に進み、受話口13において「お肌のチェック中です。携帯電話をもう少し肌に近づけてください。」等のアナウンスを行う指示をしてステップS476に戻る。また、660nm画像のコントラストが805nm画像のコントラストより大きいことがステップS490において検知された場合はステップS496に進み、受話口13において「お肌のチェック中です。携帯電話をもう少し肌から離してください。」等のアナウンスを行う指示をしてステップS476に戻る。以下、ステップS488およびステップS490のいずれにも該当しない状態になるまでステップS476からステップS490およびステップS494ならびにステップS496が繰り返され、携帯電話と肌との距離の変更とCIGS撮像センサ画像の読出しが繰り返される。なお、ステップS488およびステップS490は、簡単のためコントラスト情報そのものを比較するものとして説明したが、実際には、フォーカス状態の実測により実験的に求めた所定のバイアスを付加した上で大小比較を行う。
【0231】
ステップS492における各画素画像補間処理が完了するとステップS498に進み、頬の肌の可視化画像を作成するとともにこれを記憶する処理がおこなわれる。ステップS492の補間処理により4つの波長により撮像された4つの画像が得られるが、これらは赤および3つの赤外波長による画像なので、ステップS498ではこれら4つの画像を適宜4つの可視光画像に置き換え、目で観察できる「カラー画像」に変換する。このようにして可視化された「カラー」画像は現実の肌の色ではないが、4つの波長により撮像することで肌の健康状態の目視による観察が可能となる。肌の撮像は携帯電話1を頬に極近接させたマクロ撮影となるので、肌の詳細が観察可能な拡大画像が得られる。
【0232】
次いで、ステップS500では、970nm画素のすべての出力および805nm画素の全て出力がそれぞれ加算され970nmおよび805nmの受光出力の総和がそれぞれ求められる。なお、ステップS480で手動操作経由であることが検知されなかった時は、頬近接検知に基づく自動測定なので肌の画像情報の取得やピント調節は行わず直ちにステップS500に移行する。さらに、ステップS482において既にステップS498による肌画像の作成と記憶が完了していることが検知された場合も直ちにステップS500に移行する。次いでステップS502では、これら970nmおよび805nmの受光出力居基づいて肌水分の演算が行われる。ステップS502では、さらに、図48のステップS454からステップS462の繰り返しを通じてこれまでに演算された肌水分の情報があればそれに対し今回演算された肌水分を累積して統計処理し、平均値を算出する。
【0233】
次いで、ステップS504ではステップS502で求められた肌水分が20%以上かどうかのチェックが行われる。そして該当しない場合はステップS506に進み、ステップS502で求められた肌水分を記憶してフローを終了する。これに対し、ステップS504で肌水分が20%以上であることが検知されたときはステップS508に進みエラーメッセージを記憶してフローを終了する。通常、肌水分は10〜15%程度であることが知られているので、肌水分が20%以上もあるときは汗の影響などによるエラーと考えられるからである。
【0234】
図50は、図48のステップS464におけるバックライト復活/肌水分表示処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS512において頬近接検知結果が検知有から検知無へ変化したかどうかチェックされる。これは、携帯電話1を頬から離す動作があったかどうかのチェックに該当する。この変化が検知されないときは直ちにフローを終了するので、この場合、図48のステップS464では何も行われないことになる。
【0235】
一方、図50のステップS512で該当する頬建設検知の変化が確認されたときはステップS514に進み、図49のステップS506またはステップS508の機能に基づく肌水分の記憶またはエラーメッセージの記憶があるかどうかチェックされる。そしていずれかの記憶があればステップS516で表示バックライトを点灯させるとともに、ステップS518CIGS撮像センサ25を活性化する。さらに、ステップS520では、CIGS撮像センサ25の出力に基づいて表示バックライトの明るさを調整する。これによってバックライトの点灯およびその調整状態が復活する。
【0236】
次いで、ステップS522では、肌水分の記憶またはエラーメッセージの記憶を読み出すとともにステップS524で読み出した記憶を表示する。そしてステップS526で操作部による操作があったかどうかチェックする。操作の検知がなければステップS528に進み、ステップS524の機能により肌水分またはエラーメッセージが開始されてから所定時間が経過したかどうかチェックする。所定時間の経過がなければステップS524に戻る。以下ステップS526による操作部操作の検知またはステップS528による所定時間経過が検知されない限りステップS524からステップS528を繰り返し、肌水分またはエラーメッセージの表示を継続する。一方、ステップS528で所定時間経過が検知された時はステップS530に移行し、肌水分またはエラーメッセージの表示を終了してステップS532に進む。また、ステップS526で操作部の操作が検知された時は直ちにステップS530に移行して表示を終了する。一方、ステップS514で肌水分またはエラーメッセージの記憶が検知されないときは直接ステップS532に移行する。このようにして、肌水分の記憶またはエラーメッセージの記憶があるときは携帯電話1を肌から話すことによって自動的にこれらが所定時間だけ表示部5に表示される。
【0237】
ステップS532では、図49のステップS498の機能に基づく頬の肌の可視化画像の記憶があるかどうかチェックされる。そして記憶があればステップS534に進み、所定時間内にその再生を行うための操作が行われたかどうかチェックする。所定時間内に操作検知されるとステップS536に進み、頬の肌の可視化画像記憶を読み出すとともにステップS538で読み出した記憶を表示する。そしてステップS540で表示を終了するための操作部による操作があったかどうかチェックする。操作が検知されない場合はステップS538に戻り、以下ステップS540で表示終了操作が検知されない限りステップS538とステップS540を繰り返して表示を継続する。一方、ステップS540で表示終了操作が検知されるとフローは終了となる。なお、ステップS532で頬の肌の可視化画像の記憶があることが検知されなかったとき、またはステップS534で頬の可視化画像の再生操作が所定時間内に検知されなかったときは直ちにフローを終了する。
【実施例10】
【0238】
図51は、携帯電話において実施される本発明の第10実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第10実施例は、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第10実施例が第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。図51は図45に準じて理解できるものであり、共通する部分には共通する番号を付す。具体的には、図51におけるCIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。
【0239】
また、図51の第10実施例においては、970nmをピーク波長とするバンドパスフィルタ109、その光源として用いられるピーク波長が940nmのLED111、805nmをピーク波長とするバンドパスフィルタ113、その高原として用いられるピーク波長が850nmのLED115、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203も、図45の第9実施例と共通である。但し、760nmをピーク波長とするバンドパスフィルタ117およびその光源として用いられるピーク波長が750nmのLED119が図51の第10実施例では省略されている。
【0240】
第10実施例では、上記の構成において、静脈認証と脈波検出に用いられる波長域の兼用が行われる。つまり、親指静脈認証のための親指静脈の画像は、このピーク波長660nmのLED203を光源とし、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力に基づいて撮像され、これによって還元ヘモグロビンの多い静脈の画像が抽出可能となる。また、参照画像は、ピーク波長850nmのLED115を光源としてピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力が利用される。
【0241】
第10実施例における、脈波の検出およびこれに基づく血中酸素飽和度の測定は第9実施例と同様にして行われる。つまり、脈波の検出は、ピーク波長660nmのLED203を光源とするピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、および上記のピーク波長850nmのLED115を光源とするピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力に基づいて検出される。
【0242】
図52は、第10実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図52の例においては、ピーク波長660nmの赤透過フィルタR11およびR22、ピーク波長805nmの赤外透過フィルタIRref12、ピーク波長970nmの赤外透過フィルタIR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図51におけるバンドパスフィルタ201、バンドパスフィルタ113およびバンドパスフィルタ109に対応する。なお、図52では、ピーク波長660nmのカラーフィルタがかけられた画素の数が他の画素の2倍となっている。これは、後述のようにピーク波長660nmのLEDとして発光強度の小さいものを採用することと対応している。これは、ピーク波長660nmに限るものではなく、一般にコストダウンを目的とし、CIGS撮像センサにおける特定波長域の画素数を増やして感度を高めることにより対応する波長域の光源として発光強度の小さいものを用いることが可能である。
【0243】
図53は、第10実施例に採用可能なLEDの配置の例を示す正面図であり、図47の実施例9の場合と同様、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図53において図47と対応する部分には同一番号を付す。図53から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111、ピーク波長850nmのLED115およびピーク波長660nmのLED203がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。ピーク波長660nmのLED203は比較的小さく構成できるので、図53のような配置にすると上下方向の実装スペースを小さくすることができる。また、図52に示すようにピーク波長660の波長域を受光するCIGS撮像センサの画素数が倍になっていて感度が高いのでピーク波長660のLEDとして発光強度の小さいものを用いコストダウンを図ることができる。
【0244】
なお、第10実施例における肌の「カラー」撮像は、660nm画像、805nm画像および970nm画像に基づいて行われる。このときフォーカス検知に関しては、図49のステップS488は「970nm画像>805nm画像?」と読替えるものとする。これによって、805nm画像のコントラストが最も高いときステップS492に移行することになる。
【実施例11】
【0245】
図54は、携帯電話において実施される本発明の第11実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第11実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第11実施例についても第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。なお、図54においても、CIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。
【0246】
図54の第11実施例では、970nmをピーク波長とするバンドパスフィルタ109、その光源として用いられるピーク波長が940nmのLED111、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203は図45の第9実施例と共通である。そして、第9実施例に用いられていた805nmをピーク波長とするバンドパスフィルタ113、その高原として用いられるピーク波長が850nmのLED115、760nmをピーク波長とするバンドパスフィルタ117およびその光源として用いられるピーク波長が750nmのLED119が図54の第11実施例では省略されている。これに代わり、900nmをピーク波長とするバンドパスフィルタ207が追加されている。そしてその光源としては、ピーク波長が940nmのLED111が兼用されている。さらに、可視光の緑色領域の540nmをピーク波長とするバンドパスフィルタ209およびその光源として用いられるピーク波長が550nmのLED211が追加されている。
【0247】
第11実施例では上記の構成において、肌水分の測定は、ピーク波長970nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力と、ピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。そして両者の光源としてピーク波長940nmのLED111が兼用される。一方、第11実施例における、静脈認証および脈波の検出と血中酸素飽和度の測定は、ピーク波長660nmのLED203を光源とし、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力と、ピーク波長940nmのLED115を光源としてピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。
【0248】
なお、第11実施例における肌の撮像は、基本的に緑領域の540nm画像および赤領域の660nm画像に基づいた2波長の可視光による簡易カラー画像として撮像される。このときフォーカス検知に関しては、図49のステップS488は「970nm画像>660nm画像?」、ステップS490は「900nm画像>540nm画像?」にそれぞれ読替えるものとする。さらにこのままでは、ステップS488およびステップS490のいずれにも該当しない場合は、波長660nmと波長900nmの間の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してしまうことになるので、ピント位置を波長660nmと波長900nmの中間である700nm程度から赤と緑の中間である600nm程度にシフトすることを見込んだバイアスをステップS488およびステップS490に付加した上で大小比較を行う。
【0249】
以上これによって、ピント位置が可視域の波長540nmと波長660nmの間の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してステップS492に移行することができる。また、第11実施例の場合、撮像される像自体が可視光像であって頬可視化画像作成処理は不要なので、図49のステップS498は、基本的には、単なる「画像記憶処理」に読替えて理解することができる。なお、第11実施例における肌の撮像においても、赤外の900nm画像および970画像を補助的に加味することができる。この場合は、図49のステップS498において「頬肌可視化画像作成処理」が必要となる。
【0250】
図55は、第11実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図55の例においては、ピーク波長900nmの赤外透過フィルタIRref11、ピーク波長540nmの緑透過フィルタG12、ピーク波長970nmの赤外透過フィルタIR21およびピーク波長660nmの赤透過フィルタR22が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図54におけるバンドパスフィルタ207、バンドパスフィルタ209、バンドパスフィルタ109およびバンドパスフィルタ201に対応する。
【0251】
図56は、第11実施例に採用可能なLEDの配置の例を示す正面図であり、図47の実施例9の場合と同様、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図56において図54と対応する部分には同一番号を付す。図56から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111が一対、レンズ205の光軸を挟んで設けられている。また、LED111の間には、ピーク波長660nmのLED203およびピーク波長550nmのLED211がそれぞれ6個ずつ交互にレンズ205の光軸を挟んで回転対象に設けられている。このように、ピーク波長660nmのLED203およびピーク波長550nmのLED209は面積が比較的小さく個々の出力が小さいものに分割して設けられている。このような配置は、図53の第10実施例と同様、上下方向の実装スペースを小さくすることができる。
【0252】
上記の第11実施例では、図54に示すように、970nmをピーク波長とするバンドパスフィルタ109と900nmをピーク波長とするバンドパスフィルタ207においてピーク波長が940nmのLED111が兼用されている。これは、CIGS撮像センサの量子効率が高く感度が良いことに寄ったものである。しかしながら第11実施例の変形実施例としては、970nmをピーク波長とするバンドパスフィルタ109と900nmをピーク波長とするバンドパスフィルタ207のためにそれぞれ専用のピーク波長900nmのLEDおよびピーク波長950nmのLED用いるよう構成することも可能である。この場合、図55のカラーフィルタ配列はそのまま採用できるが、LEDの種類が4つに増えるので、例えば、図47における第9実施例のような実装配置を採用することができる。
【実施例12】
【0253】
図57は、携帯電話において実施される本発明の第12実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第12実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第12実施例についても第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。なお、図57においても、CIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。これに加え、図57(A)では、図41、図42と同様の地表における太陽光の分光放射照度834が加えられている。
【0254】
図57の第12実施例では、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203が設けられるとともに、805nmをピーク波長とするバンドパスフィルタ113、900nmをピーク波長とするバンドパスフィルタ207およびこれらの光源に兼用されるピーク波長が850nmのLED115が設けられる。図57の第12実施例では、さらに、1200nmの水の吸光度の山に合わせたピーク波長1200nmのバンドパスフィルタ213、その光源としてのピーク波長1200nmのLED215、波長1100nm近辺のソーラーブラインド領域であって水の吸光度が低くなっている波長に合わせたピーク波長1120nmのバンドパスフィルタ217およびその光源としてのピーク波長1070nmのLED219が設けられている。
【0255】
第12実施例では、上記の構成に基づき、水の吸光度の大きいピーク波長1200nmのバンドパスフィルタ213が配されたCIGS撮像センサの画素出力と、水の吸光度が小さくソーラーブラインドになっているピーク波長1120nmのバンドパスフィルタ217が配されたCIGS撮像センサの画素出力とに基づいて肌水分の測定が行われる。このようにして参照波長の情報を太陽光の影響なしに取得することができる。一方、第12実施例における静脈認証および脈波の検出と血中酸素飽和度の測定は、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、ピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力およびピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。このように3波長を用いることにより、静脈認証および脈波の検出のための情報が豊かになる。
【0256】
なお、第12実施例における肌の撮像は、660nm画像、805nm画像、900nm画像、1120nm画像および1200nm画像の5波長域にて行われる。このときフォーカス検知に関しては、図49のステップS488は「1200nm画像>805nm画像?」、ステップS490は「1120nm画像>660nm画像?」にそれぞれ読替えるものとする。これによって、ピント位置が波長900nm付近の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してステップS492に移行することができる。
【0257】
図58は、第12実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図58の例においては、ピーク波長1120nmの赤外透過フィルタmIRref11およびmIRref33、ピーク波長805nmの赤外過フィルタsIRref12、sIRref14、sIRref32およびsIRref34、ピーク波長900nmの赤外透過フィルタcIRref13およびcIRref31、ピーク波長1200の赤外透過フィルタmIR21、mIR23、mIR41およびmIR43、並びにピーク波長660nmの赤透過フィルタR22、R24、R42およびR44が図示のように配列され、これら12画素を一つの単位として繰り返す配列となっている。これらはそれぞれ、図57におけるバンドパスフィルタ217、バンドパスフィルタ113、バンドパスフィルタ217、バンドパスフィルタ201およびバンドパスフィルタ213に対応する。
【0258】
図59は、第12実施例に採用可能なLEDの配置の例を示す正面図であり、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図59において図57と対応する部分には同一番号を付す。図57から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長850nmのLED115、ピーク波長1200nmのLED215およびピーク波長1070nmのLED217がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。一方、ピーク波長660nmのLED203については、レンズ205の光軸周りに60度ずつずれてLED115、LED215およびLED217の隙間に6個、回転対象に配されている。ピーク波長660nmのLED203は比較的小さく構成できるのでこのような実装が可能である。また、個数を増やすことで、個々の発光強度が小さいLEDを用いることが可能となりコストダウンを図ることができる。なお、光軸周りの対象性を問題としない設計の場合は、LEDの個数を各波長についてそれぞれ一個に減少させることもできる。
【0259】
上記の第12実施例では、図57に示すように、805nmをピーク波長とするバンドパスフィルタ113と900nmをピーク波長とするバンドパスフィルタ207においてピーク波長が850nmのLED115が兼用されている。これは、CIGS撮像センサの量子効率が高く感度が良いことに寄ったものである。しかしながら第12実施例の変形実施例としては、805nmをピーク波長とするバンドパスフィルタ113と900nmをピーク波長とするバンドパスフィルタ207のためにそれぞれ専用のピーク波長800nmのLEDおよびピーク波長900nmのLED用いるよう構成することも可能である。この場合、図55のカラーフィルタ配列はそのまま採用できるが、LEDの種類も5つに増えるので図59を少し変形し、大面積を割り当てるLEDの対を60度ずつではなく46度ずつずらして4種類配置するとともにその隙間に5種目のLEDを8個配置するようにする。
【実施例13】
【0260】
図60は、携帯電話において実施される本発明の第13実施例におけるフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第13実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第13実施例が他の実施例と異なるのは撮像センサである。つまり、第9実施例から第12実施例までの携帯電話における肌水分測定用等の撮像センサがCIGS撮像センサで構成されていたのに対し、第13実施例の撮像センサはシリコン撮像センサである。従って、図60においては撮像センサの分光感度(量子効率)として図3(A)のCIGS撮像センサのものではなく、図3(B)に対応するシリコン撮像センサの分光感度(量子効率)221が概念的に図示されている。なお、分光感度221はあくまで相対的な概念を示すもので、縦軸の絶対的な値には意味はない。
【0261】
図60に示した第13実施例は上記の撮像センサの分光感度を除き、第10実施例と共通の構造を持つ。従って、撮像センサのカラーフィルタ配列は基本的に図52に示したものが採用できる。また、光源としてのLEDの配置も基本的に図53の例が採用可能である。第13実施例はシリコン撮像センサを採用しているため、全体的な量子効率が低いとともに、ピーク波長790nmの感度もやや不充分である。しかしながら、設計条件によっては第13実施例のようにシリコン撮像センサを採用することによりコストダウンを図ることが可能である。なお、ピーク波長790nmの感度不足を補うためには、図52のカラーフィルタ配列を若干変更し、2倍の画素数になる波長域を660nmから970nmに変更することができる。また、図53のLEDの実装についても、光量不足となる可能性のある940nmLEDの数を他のLEDよりも増やすよう変更することが可能である。
【0262】
上記本発明の種々の特徴は上記の実施例に限るものではなく、他の種々の実施が可能である。例えば、上記実施例においては肌水分測定機能が携帯電話に組み込まれており、それによる種々の利点があるが、より一般的には専用の測定装置として構成することもできるし、他の装置に組み込んで実施することもできる。また、携帯電話に組み込む場合においても、図43および図44における赤外光発光部19および赤外光近接センサ21を省略し、これらが担っていた肌近接検知機能をCIGS撮像センサに兼ねさせることもできる。このとき、操作時の指の接近を誤検知することを防止するため携帯電話1に加速度センサを設け、重力加速度の検知によって携帯電話1の姿勢を検知する。これによって、携帯電話1が立てられていることを加速度センサが検知した状態においてCIGS撮像センサへの近接が検知されたときのみ肌近接検知とするようにし、携帯電話1が水平に近い状態で操作部9が操作されている状態で指が撮像センサに近接しても表示部5のバックライトが消されないよう構成する。
【産業上の利用可能性】
【0263】
本発明は、肌水分測定装置等の生体情報測定装置に摘要することができる。
【符号の説明】
【0264】
25 光電変換部
39 処理部
27 光源部
111、115、119、203、211、215、219 発光ダイオード
39 判定手段
5 表示部
43 バックライト
39 判定部
19、21 近接検知部
1 携帯電話
39 制御部
【技術分野】
【0001】
本発明は、生体情報取得装置に関する。
【背景技術】
【0002】
生体情報取得装置に関しては種々の提案が行われており、健康チェックの面からの関心が高まっている。例えば、特開平11−19060号公報(特許文献1)や、特開2003−169788号公報(特許文献2)には、種々の肌水分検知装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−19060号公報
【特許文献2】特開2003−169788号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、使用の容易な生体情報取得装置を日常生活に供するにはさらに検討すべき課題が多い。
【0005】
本発明の課題は、上記に鑑み、日常生活で容易に使用できる生体情報取得装置を提案することにある。
【課題を解決するための手段】
【0006】
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において60%以上の量子効率を有し複数の波長域の光を検知する光電変換部と、光線変換部により検知される受光情報に基づいて生体情報を取得する処理部とを有する生体情報取得装置が提供される。これによって効果的に生体情報を取得することが可能となる。本発明の具体的な特徴によれば、光電変換部は、複数の波長域の光による像を撮像するため規則的に配列された複数の受光部を有する。また、他の具体的な特徴によれば、光源として発光ダイオードを用いるとともに、一つのピーク波長の発光ダイオードを前記光電変換部における複数の波長域の検知の光源とする。上記の光電変換部における量子効率の特徴はこの具体的な特徴のために有用である。なお、本発明の生体情報取得装置は携帯電話に組み込んで構成するのに好適である。
【0007】
本発明の具体的な特徴によれば、光電変換部により肌水分の情報が取得される。より具体的な特徴によれば、肌水分の情報は前記光電変換部により非接触で取得されるとともに、取得された肌水分が通常測定範囲外にあることを判定する手段を有する。これによって、汗などの影響による誤測定を防止することができる。他の具体的な特徴によれば、光電変換部により静脈パターンの情報が取得される。このように構成することによって、光線変換部を肌水分の測定および静脈パターンの情報の取得という、ともに生体が近接する状況での情報取得に兼用することができる。他の具体的な特徴によれば、前記光電変換部により脈波の情報が取得され、さらには光電変換部により取得される脈波の情報に基づいて血中酸素飽和度が取得される。このように構成することによって、光線変換部を肌水分の測定および脈波の情報の取得という、ともに生体が近接する状況での情報取得に兼用することができる。また、静脈パターンの情報の取得と脈波の情報の取得が組み合わされる場合は、生体認証のための静脈パターン取得のたびに併せて健康状態をチェックすることができる。さらに他の具体的な特徴によれば、光線変換部により肌の撮像が行われ、肌水分の数値と合わせ、多角的に肌の状態をチェックすることができる。
【0008】
本発明の他の具体的な特徴によれば、複数の波長域の一つは太陽光が地表に到達しない領域に設定される。これによって、太陽光の外乱の影響を除去した測定が可能となる。他の具体的な特徴によれば、波長域の光による複数の波長域の像に基づき対象物へのピント状態を判定する判定部が生体情報取得装置に設けられる。上記の光電変換部における広い波長域に渡る高量子効率の特徴はこの具体的な特徴のために有用である。
【0009】
本発明の他の特徴によれば、複数の波長域の光を検知する光電変換部と、光電変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示する表示部と、光電変換部の出力により表示部の表示明るさを調節する制御部とを有する生体情報取得装置が提供される。これによって、情報取得後の情報表示の際においても光電変換部の出力を有効に活用できる。
【0010】
本発明の他の特徴によれば、複数の波長域の光を検知する光電変換部と、光電変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、光電変換部により生体情報を取得するときは対象物を照明するためにバックライトを点灯させる制御部とを有する生体情報取得装置が提供される。この構成によれば、例えば光電変換部を近接させて肌の撮像を行う場合、肌に面する表示部のバックライトを利用して近接状態で肌を照明することができる。
【0011】
本発明の他の特徴によれば、複数の波長域の光を検知する光電変換部と、光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、検知のための光源部と、光電変換部が対象物に近接しているかどうかを検知する近接検知部と、近接検知部が対象物の近接を検知すると光源部を点灯させるとともにバックライトを消灯させる制御部とを有する生体情報取得装置が提供される。この構成によれば、例えば光源部からの特定の波長の光を用いて肌水分等を測定する場合において、バックライトが測定に悪影響を与えることを防止できる。
【発明の効果】
【0012】
上記のように、本発明によれば、日常生活で容易に使用できる生体情報取得装置を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第1実施例を示すブロック図である。(実施例1)
【図2】図1の測光兼用AFセンサおよびライブビューセンサの構成を関連する部分とともに詳細に示したブロック図である
【図3】図2のCIGS撮像センサおよびCIGSAFセンサに用いられるCIGSセンサの分光感度をシリコンのCMOSセンサと比較したグラフである。
【図4】第1実施例におけるカメラ制御部の動作のフローチャートである。
【図5】本発明の第2実施例を示すブロック図である。(実施例2)
【図6】第2実施例におけるカメラ制御部の動作のフローチャートである。
【図7】図2または図5のライブビューセンサに用いられるCIGS撮像センサのカラーフィルタ配列の第1例である。
【図8】CIGS撮像センサのフィルタ配列の第2例である。
【図9】図8のフィルタ配列を採用したCIGSセンサの模式断面図である。
【図10】CIGS撮像センサのフィルタ配列の第3例である。
【図11】図5の第2実施例においてライブビューセンサの画像を記録する際のカメラ制御部の動作を示すフローチャートである。
【図12】図11のステップS108およびステップS114に共通して利用できる処理の詳細を示すフローチャートである。
【図13】本発明の第3実施例を示すブロック図である。(実施例3)
【図14】第3実施例に採用可能なLEDの配置の第1の例を示す正面図である。
【図15】第3実施例に採用可能なLEDの配置の第2の例を示す正面図である。
【図16】第3実施例に採用可能なLEDの配置の第3の例を示す正面図である。
【図17】第3実施例に採用可能なLEDの配置の第4の例を示す正面図である。
【図18】第3実施例のカラー・赤外モードでの動作タイミングチャートである。
【図19】図18の動作とカラー画像作成の関係を示すタイミングチャートである。
【図20】第3実施例の精細カラーモードでの動作タイミングチャートである。
【図21】図20の動作とカラー画像作成の関係を示すタイミングチャートである。
【図22】第3実施例の赤外モードでの動作タイミングチャートである。
【図23】第3実施例における内視鏡制御部の動作のフローチャートである。
【図24】図23のステップS170の詳細を示すフローチャートである。
【図25】図24のステップS208の詳細を示すフローチャートである。
【図26】図23のステップS172の詳細を示すフローチャートである。
【図27】第3実施例におけるモニタ制御部の動作を示すフローチャートである。
【図28】本発明の第4実施例のカラー・赤外モードでの動作タイミングチャートである。(実施例4)
【図29】第4実施例の精細カラーモードでの動作タイミングチャートである。
【図30】本発明の第5実施例を示すブロック図である。(実施例5)
【図31】第5実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。
【図32】第5実施例のCIGS撮像センサによって撮像された画像の概念図である。
【図33】第5実施例におけるCIGS撮像センサのフィルタの分光透過特性のグラフである。
【図34】第5実施例における監視記録制御部の動作のフローチャートである。
【図35】図34のステップS336の詳細を示すフローチャートである。
【図36】図34のステップS308および図35のステップS346の詳細を示すフローチャートである。
【図37】本発明の第6実施例の車両用監視装置の詳細を距離検知原理とともに示したブロック図である。(実施例6)
【図38】第6実施例におけるCIGS撮像センサのフィルタの分光透過特性のグラフである。
【図39】図37の第6実施例における監視記録制御部の動作のフローチャートである。
【図40】CIGS撮像センサのフィルタ配列の第4例であり、本発明の第7実施例に用いられる。(実施例7)
【図41】第7実施例におけるCIGS撮像センサのフィルタの分光透過特性のグラフである。
【図42】本発明の第8実施例の前方および車両用監視装置に用いられるCIGS撮像センサのカラーフィルタの分光透過特性のグラフである。(実施例8)
【図43】本発明の第9実施例の携帯電話における上面外観図である。(実施例9)
【図44】図43の実施例9のブロック図である。
【図45】第9実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。
【図46】第9実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図47】第9実施例に採用可能なLEDの配置の例を示す正面図である。
【図48】第9実施例における制御部の動作のフローチャートである。
【図49】図48のステップ458の詳細を示すフローチャートである。
【図50】図48のステップS464の詳細を示すフローチャートである。
【図51】携帯電話において実施される本発明の第10実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである。(実施例10)
【図52】第10実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図53】第10実施例に採用可能なLEDの配置の例を示す正面図である。
【図54】携帯電話において実施される本発明の第11実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである。(実施例11)
【図55】第11実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図56】第11実施例に採用可能なLEDの配置の例を示す正面図である。
【図57】携帯電話において実施される本発明の第12実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである。(実施例12)
【図58】第12実施例におけるCIGS撮像センサのカラーフィルタ配列の例である。
【図59】第12実施例に採用可能なLEDの配置の例を示す正面図である。
【図60】携帯電話において実施される本発明の第13実施例におけるシリコン撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長のグラフである(実施例13)
【発明を実施するための形態】
【実施例1】
【0014】
図1は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第1実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ2およびこれに交換可能に着脱される交換レンズ4を有している。交換レンズ4のレンズ光学系6から入射した被写体光は、観察位置にあるミラー8で上方に反射され、焦点板10の位置に結像する。この像はペンタリズム12で反射された後、アイピース14で観察され、撮像ための構図決めなどが行われる。
【0015】
撮影の際には、操作部15のシャッタレリーズボタンを操作することによって、ミラー8がオートフォーカス用サブミラー16とともに撮影位置に退避するとともにフォーカルプレーンシャッタ18が開き、交換レンズ4のレンズ光学系6から入射した被写体光が撮像部20に結像して撮像される。撮像部20によって撮像された画像情報は、画像処理部22で画像処理された後、カメラ制御部24の制御により画像記憶部26に記憶される。画像記憶部26に記憶された画像情報は、適宜媒体スロット28に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部26に記憶された画像情報は、カメラ制御部24の制御により、適宜入出力部30から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部24から表示部32に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
【0016】
画像再生の際には、操作部15の操作により、画像記憶部26または媒体スロット28に記憶された画像情報がカメラ制御部24によって読み出され、カメラボディ2の背面に設けられた液晶等からなる表示部32に表示される。以上が、図1のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー8が観察位置にあるときは、撮像部20による被写体像の撮像は行われないので、以上の構成だけではアイピース14で観察できるリアルタイムの被写体像は表示部32に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部32の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
【0017】
次に、図1のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ4のレンズ光学系6から入射した被写体光の一部は、観察位置にあるミラー8中央にある半透過部を透過し、サブミラー16で下方に反射されて測光兼用オートフォーカス(以下「AF」)センサに導かれる。測光兼用AFセンサ34はサブミラー16から入射する光をAFセンサ上に再結像して分析し結果をカメラ制御部24に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部20の撮像面とレンズ光学系6による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部24は、測光兼用AFセンサ34から得られたレンズ光学系6による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系6の駆動量および駆動方向の情報を、AF制御部36に送る。AF駆動部38は、カメラボディ2と交換レンズ4との機械的または電気的インターフェースによってAF制御部36から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系6を駆動し、自動焦点合わせを行う。なお、測光兼用AFセンサ34の構成の詳細については後述する。
【0018】
ライブビューセンサ40は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部32の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム12の反射面12a全体が半透過性になっており、ライブビューセンサ40は、焦点板10の画像をCIGS撮像センサ上に再結像させることにより、焦点版10の画像全体を撮像できるようになっている。CIGS撮像センサは、銅(Cu)、インジウム(In)、ガリウム(Ga)およびセレン(Se)を材料とする光センサであり、その詳細は後述する。
【0019】
ペンタプリズム12の反射面12aは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース14で焦点版10の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ40に採用されているCIGS撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面12aの光透過率がわずかであっても、可視光領域における焦点版10の像を充分撮像することが可能である。このライブビューセンサ40への可視光の配分は、アイピース14により光学的に被写体を観察し難い暗さになったとき、CIGS撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。CIGS撮像センサを用いたライブビューセンサ40の詳細については後述する。ライブビューセンサ40で撮像された画像はカメラ制御部24に送られ、これが表示部32で表示されるので、図1のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部32の画像を観察しながら構図決めが可能である。
【0020】
図2は、図1のオートフォーカスデジタル一眼レフカメラの第1実施例における測光兼用AFセンサ34およびライブビューセンサ40の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム12の反射面12aは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜52はこのような分光透過特性を実現するために反射面12aにコーティングされたものである。
【0021】
ライブビューセンサ40は、このような多層膜52を透過した焦点面10からの光束をCIGS撮像センサ54の撮像面に再結像させるための再結像レンズ56を備えている。赤外光カットフィルタ58は、多層膜52を透過してきた可視光領域以外の光を実質的にカットしてCIGS撮像センサ54の波長感度特性を撮像部20の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部24に送り、図1の表示部32でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
【0022】
ライブビューセンサ40は、さらに焦点板10における明るさを測定する全画面測光を可能にしている。つまり、CIGS撮像センサ54から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部24で処理され、必要に応じAF対応部分測光センサ72の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ4の絞り径、フォーカルプレーンシャッタ18によるシャッタ速度、および撮像部20の感度などをコントロールする自動露出制御が行われる。
【0023】
可視光カットフィルタ60は赤外光カットフィルタ58と差し替えてCIGS撮像センサ54への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜52からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ58に替えて可視光カットフィルタ60が光路に挿入された場合は、可視光よりも長波長側域の光がCIGS撮像センサ54に入射するようになる。CIGS撮像センサ54は、後述するように、長波長側が1300nmにおよぶ分光感度を持っている。従って、可視光カットフィルタ60の挿入によってライブビューセンサ40はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部32でリアルタイムに観察したり、画像記憶部26に記録したりすることが可能となる。
【0024】
ミラー/フィルタ駆動部62は、操作部15によるモード切換に応じたカメラ制御部24の制御により、上記の可視光カットフィルタ60と赤外光カットフィルタ58の差し替えを駆動する。なお、図2では、撮影位置に退避したミラー8aおよびサブミラー16aが二点鎖線で図示されているが、このようなミラー8とサブミラー16における観察位置と撮影位置の間の駆動も、カメラ制御部24の制御によりラー/フィルタ駆動部62が行う。
【0025】
測光兼用AFセンサ34の再結像レンズ64は、交換レンズ4から入射して観察位置にあるミラー8中央にある半透過部を透過し、サブミラー16で下方に反射される被写体光を再結像させるためのものである。再結像レンズ64からの光束は、波長選択性のない可動半透ミラー66および赤外光カットフィルタ68を透過してCIGSAFセンサ70上に結像する。CIGSAFセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ68は、CIGSAFセンサ70をAFセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、CIGS撮像センサ54のための赤外光カットフィルタ58とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ8は赤外光カットフィルタ58よりも狭い透過分光特性に設定される。
【0026】
このため、被写体が通常の明るさのときに減光のために可動半透ミラー66を図示の位置に挿入し、CIGSAFセンサへの入射光量をCIGSAFセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のAFセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを64aの位置に退避させ、減光なしに被写体像をCIGSセンサに結像させる。なお、このとき可動半透ミラー66の有無による光路長の補償が必要である。例えば、可動半透ミラー66を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが64aの位置に退避した状態では、AF対応部分測光センサ72による測光はできなくなる。
【0027】
CIGSAFセンサ70への減光のために再結像光路中に可動半透ミラー66が挿入されている時、これを反射した光は、AF対応部分測光センサ72に入射する。AF対応部分測光センサ72は、CIGSAFセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるCIGSAFセンサ70への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
【0028】
AF対応部分測光センサ72からの部分測光情報は、ライブビューセンサ40のCIGS撮像センサ54からの全画面に関する測光情報と組合せてカメラ制御部24で処理され、最終的に、交換レンズ4の絞り径、フォーカルプレーンシャッタ18によるシャッタ速度、および撮像部20の感度などがコントロールされる。
【0029】
センサ制御部74は、可動半透ミラー66が挿入されている時および退避しているときのいずれの場合においても、CIGSAFセンサ70の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー66が挿入されているのか退避しているのかの情報も用いられる。センサ制御部74は、また、CIGSAFセンサ70およびAF対応部分測光センサ72に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部24に出力させる。
【0030】
一方、ライブビューセンサ40が「長波長モード」に設定され、多層膜52からCIGS撮像センサ54への光路に赤外光カットフィルタ58に替えて可視光カットフィルタ60が光路に挿入された場合は、測光兼用AFセンサ34でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー66の退避を前提として赤外光カットフィルタ68が可視光カットフィルタ76に差し替えられる。これによって、CIGS撮像センサ54による長波長域での撮像のための焦点検出が、減光なしに、CIGSAFセンサ70によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
【0031】
以上のような可動半透ミラー66の移動および赤外光カットフィルタ68と可視光カットフィルタ76との差し替えは、操作部15によるモード切換操作に基づくカメラ制御部24の制御により、ミラー/フィルタ駆動部78が司る。
【0032】
図1および図2の第1実施例は、上記のような基本機能に加え、「複合AF機能」が可能である。操作部15の操作により、「複合AF機能」が選択されると、ライブビュー機能が停止され、「複合AF機能」の開始が指示される。具体的には、操作部15の操作により、「複合AF機能」が選択されると、カメラ制御部24は、赤外光カットフィルタ58に替えて可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行うとともにCIGS撮像センサ54の出力に基づく表示部32でのライブビュー表示を停止する。
【0033】
これに替わり、可視光カットフィルタ60により長波長側の感度域となったCIGS撮像センサ54の画像信号は、赤外光カットフィルタ68により可視光の感度域にあるCIGSAFセンサの出力と組み合わされ、「複合AF機能」が実行される。具体的には、CIGS撮像センサ54の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、CIGSAFセンサによる焦点検出領域が決定される。
【0034】
図3は、図2のCIGS撮像センサ54およびCIGSAFセンサに用いられるCIGSセンサの分光感度(量子効率)をシリコンのCMOSセンサと比較したものである。図3(A)は、各波長におけるCIGSセンサの量子効率(%)を示すものであり、図3(B)におけるシリコンのCMOSセンサについての同様の量子効率(%)と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図3(A)のCIGSセンサは、波長1300nm近くにわたる広い感度域を持つ。さらに、400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性は、図3(B)におけるようなシリコンのCMOSセンサでは期待できないものである。
【0035】
図4は、図1および図2の第1実施例におけるカメラ制御部24の動作のフローチャートである。操作部15によってカメラのメインスイッチがオンになるとフローがスタートし、ステップS2においてオートフォーカスデジタル一眼レフカメラが操作部15によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップS4に進み、可動半透ミラー66をCIGSAFセンサ70への光路内に設定して入射光量を減光する指示をミラー/フィルタ駆動部78に行う。
【0036】
なお、ステップS4の指示に応答するミラー/フィルタ駆動部78による可動半透ミラー66設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー66がCIGSAFセンサ70への光路にセットされている状態で可動半透ミラー66を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー66を光路内にセットする指示が続いて行われたような場合には、ミラー/フィルタ駆動部78は実際には可動半透ミラー66の駆動を実行せず、可動半透ミラー66が光路内に設定されている状態が継続する。換言すれば、ミラー/フィルタ駆動部78は遅延時間内に可動半透ミラー66を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー66の駆動を実行することになる。なお、既に可動半透ミラー66がCIGSAFセンサ70の光路に設定されている状態でステップS4の指示が行われた時は、当然ながら、ミラー/フィルタ駆動部78は可動半透ミラー66に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
【0037】
次いでステップS6に進み、ライブビュー用の赤外光フィルタ58をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に行う。なお、ミラー/フィルタ駆動部62のミラー差し替え動作についても、上記でミラー/フィルタ駆動部78において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
【0038】
次いで、ステップS8でAF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に行う。そして、ステップS10に進み、CIGSAFセンサ70の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップS12に進んで、可動半透ミラー66を光路から退避させる減光解除の指示を行ってステップS14に移行する。一方、被写体が充分明るい場合は直接ステップS14に移行する。
【0039】
ステップS14では、操作部15によって「複合AFモード」が選択されたかどうかのチェックを行う。そして選択があればステップS16に進み、複合AFを行うために赤外光フィルタ58に替えて可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行う。さらに、ステップS18でCIGS撮像センサ54の出力に基づく表示部32でのライブビュー表示を停止するとともに、長波長側の感度域のCIGS撮像センサ54の画像信号と可視光の感度域にあるCIGSAFセンサの出力とを組み合わせる「複合AF機能」の開始が指示してステップS20に移行する。一方、ステップS14で「AFモード」の選択が検出されない場合は、直接ステップS20に移行する。
【0040】
ステップS20では、撮像部20による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップS20で光量不足が検知されるとステップS22に進み、操作部15の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップS24に進み、赤外光フィルタ58に替えてライブビュー用の可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行う。さらに、ステップS26で、赤外光カットフィルタ68に替えてAF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行ってステップS28に移行する。
【0041】
一方、ステップS20で撮像部の光量不足が検出されない場合は、直接ステップS28に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップS22に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部15で特別の操作を行うことによってステップS22に進むことも可能である。また、ステップS22で「長波長モード」設定が検出されない場合も、直接ステップS28に移行する。
【0042】
ステップS28では、操作部15のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップS30に進み、操作部15によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップS2に戻り、以下、ステップS2で再生モード操作が検出されるかステップS28でレリーズ操作が検出されない限り、ステップS2からステップS30を繰り返す。
【0043】
上記の繰返しは充分高速で行われ、上記したミラー/フィルタ駆動部62、78に設けられる遅延時間内に何度も繰り返される。従って、ステップS10、ステップS14、ステップS20およびステップS22に基づく検知結果が変化するとミラー/フィルタ駆動部62、78の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー/フィルタ駆動部62、78による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定/解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【0044】
なお、ステップS2で操作部15による再生モード設定操作が検出された時はステップS32の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップS4に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【実施例2】
【0045】
一方、ステップS28で操作部15のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップS34の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップS2に戻る。なお、ステップS30でカメラオフ操作が検出されたときは、図4のフローが終了となる。
【0046】
図5は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第2実施例を示すブロック図である。その構成の大部分は図1の第1実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図5の第2実施例が図1の第1実施例と異なるのは、カメラボディ100であり、特にそのライブビューセンサ102およびこれに関連する構成および機能が第1実施例と異なる。
【0047】
第1実施例のライブビューセンサ40では、半透過性の反射面12aを介して光を受けるよう構成され、反射面12aを透過する可視光領域の光が抑えられている。これは、アイピース14で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ40にはCIGS撮像センサが用いられているので、反射面12aを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース14で充分観察できないような暗い被写体の場合は、ライブビューセンサ40でも光量が不足する。これに対し、図5の第2実施例は、アイピース14で充分観察できないような暗い被写体の場合でも、ライブビューセンサ102に採用したcIGS撮像センサによってライブビューが可能となるよう構成している。なお、図5のライブビューセンサ102の詳細構造は、図2におけるライブビューセンサ40と基本的には同様であって、再結像光学系およびCIGS撮像センサを有する。但し、ペンタプリズム104に対するライブビューセンサ102の配置場所が異なるので、その再結像光学系は図2の再結像レンズ56とは異なったものとなる。
【0048】
上記の考え方に基づき、第2実施例では、通常のペンタプリズム104が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム104からの光はすべてアイピースに向かう。このとき可動全反射ミラー106は図5のようにアイピース14への光路から退避している。従ってこの状態ではライブビューができない。
【0049】
操作部15の操作によってライブピューモードを選択すると、可動全反射ミラーが106aの位置に下がり、ペンタプリズム104からの光を全てライブビューセンサ102の方向に反射する。従って、アイピース14による光学的なファインダー像の観察はできなくなる。可動減光フィルタ108は、被写体が通常の明るさのときに図5のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ102への入射光量をCIGS撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ108がライブビューセンサ102への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ108の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図5の第2実施例の場合にはCIGS撮像センサによりライブビューが可能となる。このライブビューセンサ102からの可視光域の画像は表示部32でのライブビューだけでなく、画像記憶部26に記録することも可能である。したりすることが可能となる。
【0050】
赤外光カットフィルタ110は、ライブビューモードにおいて可動全反射ミラー106aから反射される可視光領域以外の光をカットし、CIGS撮像センサの波長感度特性を撮像部20の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部116に送り、自然なライブビューを可能にする。
【0051】
可視光カットフィルタ112は、赤外光カットフィルタ110と差し替えてライブビューセンサ102への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー106aからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ110に替えて可視光カットフィルタ112がライブビューセンサ102への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ102のCIGS撮像センサに入射するようになる。従って、第1実施例と同様、長波長域の画像についてその画像出力を表示部32でリアルタイムに観察したり、画像記憶部26に記録したりすることが可能となる。なお、可視光カットフィルタ112を用いる長波長モードにおいては、可動減光フィルタ108をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが106、可動減光フィルタ108、赤外光カットフィルタ110および可視光カットフィルタ112の駆動は、カメラ制御部116によって制御されるミラー/フィルタ駆動部114によって行われる。
【0052】
図6は、図5の第2実施例におけるカメラ制御部116の動作のフローチャートである。第1実施例と同様にして操作部15によってカメラのメインスイッチがオンになるとフローがスタートし、ステップS42においてオートフォーカスデジタル一眼レフカメラが操作部15によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップS44に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー106がアイピース14への光路中から退避するようミラー/フィルタ駆動部114に指示する。ステップS44ではさらに、可動減光フィルタ108をライブビューセンサ102への光路中に挿入して入射光量を減光する指示をミラー/フィルタ駆動部114に行とともに、図2における可動半透ミラー66をCIGSAFセンサ70への光路内に設定して入射光量を減光する指示をミラー/フィルタ駆動部78に行う。
【0053】
次いでステップS46に進み、操作部15によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップS48に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー106をアイピース14への光路中に進出させるようミラー/フィルタ駆動部114に指示してステップS50に移行する。この指示が実行されると、ファインダ像をアイピース14から光学的に観察することはできなくなり、代わりにライブビューセンサ102の出力に基づく表示部32でのライブビューが可能となる。ステップS48ではさらに、ライブビュー用の赤外光カットフィルタ110をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に行う。なお、ミラー/フィルタ駆動部114についても、第1実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップS46で「ライブビューモード」への設定が検知されない場合は、直接ステップS50に移行する。
【0054】
ステップS50では、AF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に行う。そして、ステップS52に進み、CIGSAFセンサ70の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップS54に進み、操作部15によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップS56に進み、可動減光フィルタ108をライブビューセンサ102への光路から退避させる減光解除の指示を行ってステップS58に移行する。一方、ステップS54で「ライブビューモード」の設定が検知されなければ直接ステップS58に移行する。そして、ステップS58では、可動半透ミラー66をCIGSAFセンサ70への光路から退避させてAF用の減光を解除する指示を行う。このように、ステップS52で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずAF用の減光を解除する。
【0055】
次いで、ステップS60では、撮像部20による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップS62に進み、操作部15の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップS64に進み、赤外光フィルタ110に替えてライブビュー用の可視光カットフィルタ112をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行う。さらに、ステップS66で、赤外光カットフィルタ68に替えてAF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。
【0056】
以上のステップを経て、フローはステップS68に進む。一方、ステップS52で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップS60で撮像部20による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップS62で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップS68に移行する。
【0057】
ステップS68では、操作部15のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップS70に進み、操作部15によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップS42に戻り、以下、ステップS42で再生モード操作が検出されるかステップS68でレリーズ操作が検出されない限り、ステップS42からステップS70を繰り返す。
【0058】
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー/フィルタ駆動部78、114に設けられる遅延時間内に何度も繰り返される。従って、ステップS46、ステップS52、ステップS54、ステップS60およびステップS62に基づく検知結果が変化するとミラー/フィルタ駆動部78、114の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー/フィルタ駆動部78、114による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定/解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【0059】
なお、第1実施例と同様にして、ステップS42で操作部15による再生モード設定操作が検出された時はステップS72の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップS44に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【0060】
また、ステップS68で操作部15のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップS74の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップS42に戻る。なお、ステップS70でカメラオフ操作が検出されたとき、図6のフローは終了となる。
【0061】
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第1実施例においては、可視光カットフィルタ60により長波長域に感度を有するCIGS撮像センサ54と赤外光カットフィルタ68により可視光に感度域を有するCIGSAFセンサの出力とを組合せて「複合AF機能」は実施するものとして説明した。しかしながら、「複合AF機能」の実施はこのようなものに限るものではない。例えば、図2における波長選択性のない可動半透ミラー66をダイクロイックミラーで構成し、可視光透過させてCIGSAFセンサ70上に導くとともに、長波長域を反射させてAF対応部分測光センサ72に導くようにする。そして、AF対応部分測光センサ72にも、CIGSセンサを用いるようにする。なお、この場合、赤外光カットフィルタ68は不要となる。
【0062】
以上のように構成すれば、長波長域に感度を有するAF対応部分測光センサ72によりAF対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してCIGSAFセンサ70による焦点検出を行うことが可能となる。
【0063】
さらに「複合AF機能」の実施は以上のように二つのCIGSセンサを用いるものに限るものではない。例えば図2において、可視光カットフィルタ76がCIGSAFセンサの光路中に挿入された状態においてCIGSAFセンサ自体でAF対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ18が光路中に挿入された状態においてその部分に対してCIGSAFセンサ70による焦点検出を行うことも可能である。このように広い感度領域を有する一つのCIGSを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合AF機能」を実現することも可能である。
【0064】
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。
【0065】
上記の実施例においては、可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてCIGSセンサを用いている。CIGSセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のCIGS系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「CIS系薄膜」とも称されるが、本明細書で「CIGSセンサ」という場合は、このようなガリウムを含まない「CIS系薄膜」を用いた光電センサをも意味するものとする。
【0066】
図7は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタR11、青透過フィルタB12、緑透過フィルタG22および赤透過フィルタR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のCIGS撮像センサは、図3のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図7の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
【0067】
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタB12に対応する画素については、基本的にはその両側にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR13に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタR21に対応する画素については、同様にその上下にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタG22に対応する画素については、その周囲にある赤外光透過フィルタIR11に対応する画素のデータ、赤外光透過フィルタIR13に対応する画素のデータ、赤外光透過フィルタIR33に対応する画素のデータおよび赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
【0068】
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタR21に対応する画素の赤外光画像の補間において、赤透過フィルタR21に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
【0069】
図8は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのフィルタ配列の第2例である。この第2例にでは、カラーフィルタ配列自体は図7の第1例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタIR11および緑透過フィルタG22については、画素に許される最大の受光面積を確保しているが、青透過フィルタB12は遮光部202を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。同様に赤透過フィルタR21についても、遮光部204を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
【0070】
本発明のCIGS撮像センサは、図3のように可視光域において高感度を有するため、上記のように青透過フィルタB12と赤透過フィルタR21の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタB12と赤透過フィルタR21の受光面積比を変えることも可能である。
【0071】
図9は、図8のフィルタ配列の第2例を採用したCIGSセンサの模式断面図である。図9(A)に示すように、本発明のCIGS撮像センサはLSI400の上にCIGS系薄膜402を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ404が乗せられている。この図9(A)の模式断面図における基本構造自体は、フィルタ配列の第2例に限られるものでなく、本発明のCIGSセンサに共通である。
【0072】
図9(B)は、図9(A)の部分406を拡大した模式断面図であり、図8のフィルタ配列の第2例の断面を概念的に示している。なお、図8および図9(A)では対応する部分には同じ番号を付す。図9(B)に明らかなように、CIGS系薄膜402はそれぞれ画素をなすフォトダイオード408、410等に区分されており、フォトダイオード408の上には、赤外光透過フィルタIR11が載せられている。そして、フォトダイオード410の上には、受光面積を減らすための遮光部202および青透過フィルタB12が載せられている。
【0073】
図10は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのフィルタ配列の第3例である。この例は、ベイヤー配列における緑透過フィルタの全数の4分の1を規則的に赤外光透過フィルタIR11、IR33、IR51等に置き換えたものである。残りの4分の3は、ベイヤー配列と同様に緑透過フィルタG13、G22,G31、G42、G44、G35、G24等となっている。
【0074】
この結果、緑透過フィルタG13等の全数の割合は、赤透過フィルタR23や、青透過フィルタB32の全数の割合の1.5倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図10のフィルタ配列においても、図8のフィルタ配列の考え方を加味し、赤透過フィルタR23等と青透過フィルタB32等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
【0075】
一方、赤外光透過フィルタIR11等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタR23や、青透過フィルタB32の全数の割合の半分となっている。本発明のCIGS撮像センサは、図3のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
【0076】
次に、図10のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタG35に対応する画素については、その二つ上方にある赤外光透過フィルタIR15に対応する画素のデータ、二つ左方にある赤外光透過フィルタIR33に対応する画素のデータ、二つ下方にある赤外光透過フィルタIR55に対応する画素のデータおよび二つ右方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタG24に対応する画素については、その右上方にある赤外光透過フィルタIR15に対応する画素のデータと左下方にある赤外光透過フィルタIR33に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタG26に対応する画素については、その左上方にある赤外光透過フィルタIR15に対応する画素のデータと右下方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。
【0077】
そして、赤透過フィルタR25に対応する画素について、上記のように補間して求めた緑透過フィルタG35、G24、G26にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタIR15に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにIR15、IR33、IR55およびIR37に対応する赤外光画像データの重み付け平均となる。
{(IR15+IR33+IR55+IR37)/4+(IR15+IR33)/2
+(IR15+IR37)/2+IR15}/4
=(9IR15+3IR33+IR55+3IR37)/16
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
【0078】
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタIR33に対応する画像をその周囲の緑透過フィルタG22、G42、G44、G24に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタIR33に対応する画像の緑画像データと、緑透過フィルタG22、G31およびG42の緑画像データの平均をとって、これらの中心にある赤透過フィルタB32に対応する画像も緑画像データを補間する。これを整理すると、次のようにG22、G31、G42、G44およびG24の重み付け平均となる。
{(G22+G42+G44+G24)/4+G22+G31+G42}/4
=(5G22+4G31+5G42+G44+G24)/16
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図7と同様である。
【0079】
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図7で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
【0080】
図11は、第2実施例においてライブビューセンサ102の画像を画像記憶部26に記録する際のカメラ制御部116の動作を示すフローチャートである。操作部15によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップS82で可動全反射ミラーを106aの位置に下げ、ペンタプリズム104からの光を全てライブビューセンサ102の方向に反射するよう光路切り替えを指示する。そしてステップS84においてミラー8を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップS86で表示部32による表示を行わせる。
【0081】
次いでステップS88で赤外光モードが選択されているかどうかチェックし、該当すればステップS90に進み、AF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。さらに、ステップS92で、ライブビュー用の可視光カットフィルタ112をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行い、ステップS94に移行する。
【0082】
一方、ステップS88で、赤外光モードが選択されていないことが検知されるとステップS96に進み、AF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。そしてステップS98に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
【0083】
ステップS98で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップS100に進み、ライブビュー用の赤外光カットフィルタ110をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行い、ステップS94に移行する。
【0084】
これに対し、ステップS98で画像融合モードへの設定が検出されると、ステップS102に進み、ライブビューセンサ102への光路から赤外光カットフィルタ110および可視光カットフィルタ112を両者とも除去する指示をミラー/フィルタ駆動部114に対して行う。これは、ライブビューセンサ102によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
【0085】
次いでステップS104で表示部32によるライブビュー表示を禁止する指示を出してステップS94に移行する。これは交換レンズ4による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部32に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップS104においては、表示部32による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方(通常は可視光像)の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップS104で選択された方の指示を出すようにしてもよい。
【0086】
ステップS94では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップS86に戻り、以下、レリーズ操作が検出されるまでステップS86からステップS104を繰り返す。これによって、操作部15によるモード切り替えに対応する。なお、図4で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図11においても、実際にモード切り替えが行われない限り、ステップS86からステップS104の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップS86およびステップS104による表示部32の表示と禁止の切り替えについても同様である。
【0087】
ステップS94では、レリーズ操作が検出されるとステップS106に進み、レンズ光学系6のAF駆動が行われ、これによってピンとが合うとステップS108のライブビュー記録処理を行う。このAF駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップS110で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
【0088】
一方、ステップS110で画像融合モードの設定が検出されるとステップS112に進み、AF制御部36によってレンズ光学系6を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップS106におけるAF駆動およびステップS108におけるライブビュー記録処理は可視光像に対するものであるが、ステップS112では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をAF駆動部38によってレンズ光学系6に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップS114のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップS108にて可視光画像の記録を行い、引き続いてほぼ同時にステップS114において赤外光画像の記録を行うものである。
【0089】
図12は、図11のステップS108におけるライブビュー記録処理およびステップS114におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップS122で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップS124に進み、RGBの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップS126でRGBの補間処理を行う。次いで、ステップS128では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップS130に進んでRGBの可視光カラー画像について画像処理を行う。そしてステップS132に進み、その画像を画像記録部26に記録してフローを終了する。
【0090】
一方、ステップS122で赤外光モードへの設定が検出されるとステップS134に進み、IRの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップS136でIRの補間処理を行う。次いで、ステップS138では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップS140に進み、赤外光画像について画像処理を行う。そしてステップS132に進み、その画像を画像記録部26に記録してフローを終了する。
【0091】
さらにステップS128で画像融合モードへの設定が検出された場合、ステップS134に進んでIRの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップS136でIRの補間処理を行う。これらによって、ステップS124、126による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップS138で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップS142に進み、ステップS134およびステップS136の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。
【0092】
ここで、ステップS142に該当するか否かがどのような意味を持つかについて補足する。まず、ステップS142に該当しない場合は、図12のフローが図11のステップS108で実行されている場合に相当する。そしてステップS124およびステップS126で得られる可視光画像は図11のステップS106における可視光に対するAF駆動によりピントが合ったものであり、ステップS134およびステップS136で得られる赤外光画像はピントがずれたものとなっている。一方、ステップS142に該当する場合は、図12のフローが図11のステップS114で実行されている場合に相当する。そしてステップS134およびステップS136で得られる赤外光画像は図11のステップS112における赤外光補正駆動によりピントが合ったものであり、ステップS124およびステップS126で得られる可視光画像はピントがずれたものとなっている。
【0093】
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップS142で判断された場合はステップS144に進み、ピントの合っているRGBの可視光画像について画像処理をおこなう。次いでステップS146においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップS148において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップS132に進み、ステップS144、ステップS146およびステップS148で得られたそれぞれの画像を記録してフローを終了する。
【0094】
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップS142で判断された場合はステップS150に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップS152においてピントの合っていないRGBの可視光画像について補助的に画像処理を行う。そしてステップS156において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。
【0095】
さらに、ステップS156では、図11のステップS108で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップS158でこれらの画像に基づく画像融合処理が行われる。
【0096】
ステップS158の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部15により設定できるが、被写体に応じ自動的に選択することも可能である。
【0097】
以上のようなステップS158の処理が終了すると、ステップS132に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップS132において記録する画像は、ステップS158で処理した全ての画像であってもよく、またはステップS158の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部15により設定できるが、処理結果に応じてステップS158の中で自動的に選択するよう構成することも可能である。
【0098】
上記の図11および図12の画像記録機能に関するフローチャートの適用対象は、第2実施例におけるような一眼レフカメラのライブビューセンサ102の画像記録に限るものではなく、例えば、CIGSセンサへの画像記録専用に構成した可視光/赤外光画像記録カメラにも適用可能である。このような可視光/赤外光画像記録カメラは、例えば図5において焦点板10、ペンタプリズム104およびアイピース14などの光学ファインダ系を除去するとともに、撮像部20に代えてその位置にCIGS撮像センサを配置することによって構成可能である。その際、レンズ光学系6からCIGS撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ110および可視光カットフィルタ112を設ける。また、可動ミラー8に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用AFセンサ34に向かう固定のハーフミラーを設ける。
【実施例3】
【0099】
図13は、本発明の第3実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡502と、送信されて画像データを体外で受信してモニタする体外モニタ504を有する。カプセル内視鏡502は、透明な保護窓506を有する密閉構造になっており、保護窓506を通り撮像レンズ508によって結像される消化器内部の画像がCIGS撮像センサ510で撮像される。CIGS画像センサ510は、図3で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ508は、レンズ駆動部512によってその画角およびピント位置が調節可能である。
【0100】
第3実施例のCIGSセンサ510は、図7から図10に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第3実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード(以下適宜「LED」と称する)が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるCIGSセンサ510撮像出力が、各色での画像データとなる。
【0101】
LEDは撮像レンズ508の光軸まわりに同心的に多数設けられているが、図13では、簡単のため、例として緑LED514および赤外LED516をそれぞれ一つ図示している。例えば緑LED514が発光しているときのCIGS撮像センサ510の撮像出力が緑画像データとなるとともに、赤外LED516が発光しているときのCIGS撮像センサ510の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部512が結像位置を調節する。第3実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
【0102】
LEDドライバ518は、内視鏡制御部520の指示に基づいてLED514、516の点灯タイミングを制御する。内視鏡制御部520はカプセル内視鏡502全体を制御するもので、その機能は記憶部522に記憶されたプログラムに従う。記憶部522は、さらに内視鏡制御部520の機能に必要なデータ等を必要に応じ一時的に記憶する。
【0103】
センサドライバ524は内視鏡制御部520の指示に基づいてCIGS撮像センサ510を制御するとともにCIGS撮像センサからの各色別画像RAWデータを画像バッファ526に格納する。画像バッファ526は所定撮像回数分の各色別画像RAWデータを格納可能であり、無線通信部528は画像バッファ526の各色別画像RAWデータをFIFOで取り出してアンテナ530から体外に送信する。電池532はボタン電池などで構成され、カプセル内視鏡502全体に電力を供給する。
【0104】
体外モニタ504は、無線通信部534を有し、カプセル内視鏡502から送信された各色別画像RAWデータをアンテナ536で受信して画像バッファ538に格納する。これらの機能はモニタ制御部540によって制御される。モニタ制御部540は記憶部542に記憶されたプログラムに従って体外モニタ504全体を制御する。記憶部542は、さらにモニタ制御部540の機能に必要なデータ等を必要に応じ一時的に記憶する。
【0105】
画像処理部544は、モニタ制御部540の指示に基づき画像バッファ548に格納されている各色別RAWデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ546に記憶する。また、赤外画像信号についてもこれをレコーダ546に記録する。記録されたデータは適宜表示部548でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部548により直接モニタすることもできる。
【0106】
図14は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第1の例を示す正面図である。図13と対応する部分には同一番号を付す。図14から明らかなように、透明の保護窓506の内側の撮像レンズ508の周囲には緑LED514が互いに90度ずつ隔てた回転対象に4個設けられている。これらを結んだ線550は正方形である。また、緑LED514から45度回転した正方形552の頂点部分には、赤外LED516が互いに90度ずつ隔てた回転対象に4個設けられている。さらに、縦長長方形554の頂点部分には赤LED556が4個設けられているとともに、横長長方形558の頂点部分には青LED560が4個設けられている。この結果、赤、緑および青の各LEDは図14図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
【0107】
図15は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第2の例を示す正面図である。図15においても、図13と対応する部分には同一番号を付す。図15における緑LED514および赤外LED516の配置は、図14と共通である。これに対し、赤LED562は、緑LED514から左に22.5度回転した正方形564の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。また、青ダイオード566は、緑LED514から右に22.5度回転した正方形568の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。この結果、赤、緑および青の各LEDは図14図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ508の光軸まわりに互いに回転対象の配置となる。
【0108】
図16は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第3の例を示す正面図である。図16においても、図13と対応する部分には同一番号を付す。図16における緑LED514および赤外LED516の配置は、図14と共通である。これに対し、左に45度傾いた縦長長方形570の頂点部分には赤LED572が4個設けられているとともに、右に45度傾いた縦長長方形574の頂点部分には青LED576が4個設けられている。この結果、赤、緑および青の各LEDは図16図で見て対抗する赤外LEDを結ぶ左45度傾いた線および右45度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各LEDは図16図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。
【0109】
以上、図14から図16に示したLEDの配置例は、各図において緑LEDが上下左右に配置され、赤外LEDがこれから45度回転した位置に配されているが、全体の配置はこれに限るものではなく、CIGS撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図14から図16に示したLEDの配置例は、CIGS撮像センサの画素配置の升目の上下左右方向を基準として緑LEDが上下左右に配置したものであるが、これを全体に45度回転させ、赤外LEDが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑LEDがこれから45度回転した位置に配置されることになる。
【0110】
図17は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第4の例を示す正面図である。赤、緑、青および赤外のLEDを撮像レンズ508の光軸まわりに配置する場合、全ての色のLEDを互いに同数とすることに限るものではない。図17はこのようなものの例として、4個の緑LED514、2個の赤LED578および2個の青LED580を採用している。緑LED514の数が赤LED578および青LED580の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図17では8個の赤外LED582を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
【0111】
なお、図14から図17ではすべて合計16個のLEDを採用しているが、これに限られるものではない。配置が可能な場合、LEDの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のLEDを採用し合計8個のLEDを採用して構成を簡単にすることも可能である。この場合、緑LEDの対を結ぶ線と赤外LEDの対を結ぶ線を90度で交差させるとともに、赤LEDの対と青LEDの対については、それらを結ぶ線が緑LEDの対を結ぶ線の左右にそれぞれ45度回転した状態の配置として、赤と青のLEDが緑LEDの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように8個のLEDを等間隔に配置するのに代えて、赤と青のLEDを緑LEDの両側に密接させ、赤、緑、青LED相互の位置ズレができるだけ少なくなるようにした配置も可能である。
【0112】
図18は、第3実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図18から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6、すべての赤外LEDはt7からt8のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、4色のLEDの点灯が一巡すると、再び全ての赤LEDがt9からt10のタイミングで点灯し、以下同様にして緑、青、赤外のLEDが点灯して同様の循環で時分割点灯を繰り返す。t1からt8までの時間は通常のカラー動画の1フレーム時間程度であり、各色の発光量は時分割しない場合の4分の1以下となるが、図3に示すようにCIGSセンサは通常のCMOSセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
【0113】
図18のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
【0114】
図18の光電変換部のタイミングチャートから明らかなように、光電変換部は赤LEDの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤LEDの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図18から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青LEDの発光および赤外LEDの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
【0115】
図18のAD変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からAD変換を開始する。例えば、赤のAD変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のAD変換を継続する。図18の無線通信部のタイミングチャート(A)から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のAD変換終了直後に開始される。そして次の緑のAD変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてAD変換および通信が行われる。
【0116】
なお、通信に関しては、カプセル内視鏡502と体外モニタ504との関係によっては、AD変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図18の無線通信部のタイミングチャート(B)のように通信環境が充分となったタイミングで通信を実行する。例えば、IRデータの送信592はタイミングチャート(A)に比べて遅く実行されており、次のRデータの直前で実行されている。また、Gデータの送信594およびBデータの送信596も遅れて実行されているが、これらの通信時間の調整は、図13の画像バッファ526の容量が満杯となってFIFOに破綻を来たさない限り可能である。
【0117】
図19は、図18で示したカラー・赤外モードにおける第3実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図19に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、t9で開始される赤LEDの発光に基づく赤画像、t11で開始される緑LEDの発光に基づく緑画像、およびt13で開始される青LEDの発光に基づく青画像によって、F2で示す1フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図13に示した体外モニタ504の画像処理部544で行われる。また、図18の無線通信部のタイミングチャート(B)で示したように体外モニタ504による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色LEDの発光タイミングによって決まるので図19の関係が成り立つ。
【0118】
また、図19に示すように、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt9で開始される赤LEDの発光に基づく赤画像によってもRGB三色のデータが揃うので、これらによってI1で示す1フレームのカラー補間画像が作成される。同様にして、t5で開始される青LEDの発光に基づく青画像、t9で開始される赤LEDの発光に基づく赤画像、およびt11で開始される緑LEDの発光に基づく緑画像によって、I2で示す1フレームのカラー補間画像が作成される。これらの補間画像はRGBの各色が揃うまでに赤外LEDの発光が介在しており、RGBが揃うまでの時間が若干長くなるとともにRGBの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
【0119】
一方、赤外画像については、図19に示すように、t7で開始される赤外LEDの発光に基づく画像IR1、t15で開始される赤外LEDの発光に基づく画像IR2等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像I2およびI2の取得時間帯が共に赤外画像IR1の取得時間を含んでいるので、カラー補間画像I1およびI2またなその平均を赤外画像IR1と合成することが可能である。
【0120】
図20は、第3実施例のカプセル内視鏡502における精細カラーモードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外LEDは発光しない。図20から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、RGB3色のLEDの点灯が一巡すると、再び全ての赤LEDがt7からt8のタイミングで点灯し、以下同様にして緑、青、LEDが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なt1からt6までの時間は図18のt1からt8よりも短くなり。動画が精細になる。図20の無線通信部(B)のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
【0121】
図20のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
【0122】
図21は、図20で示した精細カラーモードにおける第3実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図21に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。次に、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt7で開始される赤LEDの発光に基づく赤画像によってF2で示す1フレームのカラー画像が作成される。同様にt5で開始される青LEDの発光に基づく青画像、t7で開始される赤LEDの発光に基づく赤画像、およびt9で開始される緑LEDの発光に基づく緑画像によってF3で示す1フレームのカラー画像が作成される。以下同様にしてF4で示す1フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のLEDが新たに発光する毎に輪番で新たに1フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
【0123】
図22は、第3実施例のカプセル内視鏡502における赤外モードでの動作の赤外LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外LED以外のLEDは発光しない。図22から明らかなように、すべての赤外LEDはt1からちt2、t3からt4のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回1フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
【0124】
図22のように、赤外モードにおいて赤外光のみを発光させる場合も、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
【0125】
図23は、図13の第3実施例における内視鏡制御部520の動作のフローチャートである。カプセル内視鏡502に電池532がセットされるとフローがスタートし、ステップS162で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップS154で撮像レンズ508が広角およびパンフォーカス状態に設定される。次いでステップS166では、赤、緑、青および赤外の全てのLEDが所定の順所で順次輪番で発光するよう設定される。そしてステップS168でこれらの設定が行われている状態であることを外部送信し、体外モニタ504に報告する。
【0126】
次にステップS170で撮像処理、ステップS172で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップS174に進み、動作停止信号を体外モニタ504から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップS176に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップS178に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップS164に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップS166以下の動作に進む。
【0127】
一方、ステップS178で変更されたモードがカラー・赤外モードでなかったときはステップS180に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップS182でレンズの画角を狭角(望遠)にするとともに可視光フォーカス状態に設定するとともに、ステップS184で可視光のLEDのみが順次輪番で発光するよう設定する。そして、ステップS186でこれらの設定状態を外部に送信した後、ステップS170に戻る。
【0128】
また、ステップS180で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップS188に移行し、レンズの画角を狭角(望遠)にするとともに赤外光フォーカス状態に設定する。さらにステップS190で赤外LEDのみが発光するよう設定する。そして、ステップS186に移行し、これらの設定状態を外部に送信した後、ステップS170に戻る。
【0129】
図24は、図23のステップS170における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップS192でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップS194に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップS196に進み、蓄積電荷の読出し開始処理を行う。さらにステップS198でLEDの発光停止を指示する。さらにステップS200で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップS200を繰り返しながら完了を待つ。
【0130】
ステップS200で読出し完了が検知されるとステップS206に進み残留電荷の掃捨て開始処理を行ってステップS208のLED選択処理に移行する。これは次に発光すべきLEDを選択する処理であるがその詳細は後述する。さらにステップS210ではステップS208で選択されたLEDの発光開始を指示する。次にステップS212では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップS212を繰り返しながら完了を待つ。
【0131】
ステップS212で蓄積電荷の掃捨て完了が検知されるとステップS214に移行し、露光を開始するとともにステップS216で露光時間のカウントを開始し、フローを終了する。一方、ステップS194で露光時間が完了していなければ直ちにフローを終了する。また、ステップS192でモードの選択または変更が検出されるとステップS218に移行し、撮像処理のイニシャライズを行ってステップS208のLED選択処理に進む。
【0132】
図25は、図24のステップS208におけるLED選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップS222で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップS224に進み、図24のステップS218によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップS226に進み、前回に選択されたLED記憶を読み出す。そしてステップS228で読み出された記憶に基づき前回発光したのが赤LEDであったかどうかチェックする。該当しなければ、さらにステップS230で前回したのが緑LEDであったかどうかチェックする。
【0133】
ステップS230で前回発光が緑LEDでなかったときはステップS232に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS234に進み、次の順番に当たる赤LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。
【0134】
一方、ステップS232で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS238に進み、次の順番に当たる赤外LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。
【0135】
また、ステップS228で前回発光したのが赤LEDであったときはステップS242に進み、次の順番にあたる緑LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。さらに、ステップS222で赤外モードであったときはステップS244に進み、赤外LEDを選択する。そして赤外モードの場合は選択されるのは常に赤外LEDであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップS224で撮像処理のイニシャライズが行われていたときはステップS242に進み最初の発光LEDとして緑LEDを選択する。
【0136】
図26は、図23のステップS172における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップS252でデータの送信中かどうかのチェックを行う。送信中でなければステップS254に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップS256でこれを画像バッファより消去してステップS258に移行する。一方、ステップS254で送信成功データがなければ直接ステップS258に移行する。
【0137】
ステップS258では、AD変換が完了したかどうかチェックし、該当すればAD変換したデータを画像バッファに格納してステップS262に移行する。一方、AD変換が終了していなければ直接ステップS262に移行する。ステップS262では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップS264で通信状態がOKかどうかチェックする。そしてOKであればステップS266で画像バッファからFIFO(先入れ先出し)でデータを読出し、ステップS268で読み出したデータの送信開始を指示してフローを終了する。なお、ステップS252でデータ送信中であったとき、ステップS262で画像バッファにデータの格納がなかったとき、またはステップS264で通信状態がOKでなかったときはそれぞれ直ちにフローを終了する。
【0138】
図27は、図13の第3実施例における体外モニタ504のモニタ制御部540の動作を示すフローチャートであり、カプセル内視鏡502との通信開始でフローがスタートする。フローがスタートするとステップS272で画像データの新着の有無をチェックする。新着データがあればステップS274に進み、新着データが完全かどうかチェックする。そして完全であればステップS276に進んでこれを画像バッファ538に格納するよう支持してステップS278に移行する。なお、ステップS272でデータの新着がないか、またはステップS274で新着データが完全でなかったときはいずれもステップS272に戻る。
【0139】
ステップS278では、赤外モードであるかどうかチェックし、該当しなければステップS280でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップS282に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップS284に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップS286に移行する。ステップS284の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
【0140】
ステップS286では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップS290に進み、新着データ直前の可視2色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の3色が揃うからステップS292に進み、保管カラー画像を作成する指示をしてステップS272に戻る。ステップS292の指示によって作成される画像は、図19のカラー補間画像I1またはI2に相当する。
【0141】
ステップS278で赤外モードであったときは新着データは赤外画像データであるからステップS294に移行し、赤外画像の作成を指示してステップS272に戻る。また、ステップS282で新着データが赤外画像データであったときもステップS294に移行する。一方、ステップS286で新着データが青画像データであったときはステップS296に進み、直前の2色(この場合は赤および緑)の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する3色が揃うのでステップS298に進み、カラー画像作成の指示を行ってステップS272に戻る。この指示によって作成される画像は、図19のカラー画像F1またはF2に該当する。
【0142】
また、ステップS280でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップS296に移行し、直前の可視2色データが格納されているかどうかのチェックに入り、直前2色があればステップS298のカラー画像作成を指示する。この指示によって作成される画像は、図21のカラー画像F1、F2、F3等に該当する。なお、ステップS290またはステップS296で直前の可視2色データの格納がなかったときは直ちにステップS272に戻る。
【実施例4】
【0143】
図28は、本発明の第4実施例の動作タイミングの関係を示すタイミングチャートである。第4実施例は基本的には図13から図17に示す内視鏡システムと共通の構成なので、以下の説明では、図13のブロック図の符号を適宜用いて説明する。第4実施例が第3実施例と異なるのは、CIGS撮像センサの構成およびLEDの発光タイミングである。すなわち、第3実施例のCIGSセンサ510はカラーフィルタを有さず、色の分解はLEDの時分割発光によっていたが、第4実施例のCIGS撮像センサ510は、図7から図10に示すようなカラーフィルタを有し、第1実施例および第2実施例と同様にしてCIGS撮像センサ自体で色分解を行う。そして、LEDの発光は時分割ではなく全色同時に行われる。
【0144】
図28は、このような第4実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作のLEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤LED、全ての緑LED、すべての青LEDおよびすべての赤外LEDは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各LEDは、図28のように点滅発光するかわりに連続発光しても差し支えない。なお、図28のカラー・赤外モードにおいては、撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図18のカラー・赤外モードの場合と共通である。
【0145】
図29は、第4実施例のカプセル内視鏡502における精細カラーモードでの動作のLEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図29に明らかなように、すべての赤LED、全ての緑LEDおよびすべての青LEDが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外LEDは発光しない。図29のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図20の精細カラーモードの場合と共通である。
【0146】
第4実施例における赤外モードのタイミングチャートは、第3実施例における図22と共通である。また、赤外モードにおける撮像レンズ508の画角がレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図22の赤外モードと共通である。第4実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第3実施例と共通である。
【0147】
なお、上記第3実施例および第4実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図13のアンテナ530および546による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、CIGS画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図14から図17の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第3実施例および第4実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
【実施例5】
【0148】
図30は、本発明の第5実施例のブロック図であり、車両用監視装置を構成している。その車両監視機能は、衝突防止のための車両前後の車間距離の検知機能およびドライブレコーダとしての車両前後の画像撮影記録機能である。また検知された車間距離はドライブレコーダに記録されるとともに、画像撮影のためのフォーカス調整にも利用される。図30において、車両602は、ガソリンエンジン車または電気自動車またはガソリンエンジンとモータを併用するいわゆるハイブリッドタ車のいずれかとして構成される。
【0149】
車両602は、車両全体を制御するコンピュータからなる車両制御部604を有し、車両の運転者による操作に応じて、動力606およびブレーキ608などを有する車両機能部610を制御し車両602を走行させる。動力606はガソリンエンジンまたはモータまたはその両者を含むよう構成される。車両制御部604は、車両602の制御に必要なソフトウエアおよびデータを格納する記憶部を有する。また、車両制御部604は、車内出力部612を制御し、その画像出力部614によって車両の操作に必要によるGUI表示を行わせるとともに制御結果の表示を行わせる。また、音声出力部616によって運転者へのアナウンスなども行わせる。
【0150】
GPS部618は、GPSシステムに基づいて衛星および最寄の放送局より車両602の絶対位置情報である緯度、経度、および高度の情報を得て車両制御部604に送る。カーナビゲーション機能部620は、車両制御部604経由で得られるGPS部618からの絶対位置情報を処理し、地図上での車両602の位置を画像出力部614に表示させる。
【0151】
次に車両用監視装置に関する構成を必要に応じ上記の構成とも関連づけて説明する。第5実施例は、車両の前方および後方の監視のためにほぼ同様の監視装置を備えている。そこで、まず、車両後方の監視装置について説明する。後方カメラ/センサ622は、撮像レンズ624およびCIGS撮像センサ626よりなるカメラおよびマイク628を備えており、車両602が走行状態にあるとき常時車両前方等の画像および周囲の音が入力される。
【0152】
CIGS撮像センサ626は、基本的には、これまでの実施例において説明した図3のような特性を有し、図7から図10で説明したようなカラーフィルタ配列を有するものである。但し、そのカラーフィルタの分光透過率については実施例5特有の特徴を有し、赤透過フィルタ、青透過フィルタおよび緑透過フィルタおよびはそれぞれの狭い可視光領域の光を透過させるバンドパスフィルタとなっているとともに赤外光透過フィルタについては、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタとなっている。ソーラーブラインドとは地球に到達した太陽光のうち大気の吸収によって地表には到達しえないか到達しても微弱となる波長領域であり、例えば、1100nm近辺にこのような領域があることが知られている。実施例5では、図3のようなCIGSセンサの受光感度と上記のようなフィルタの組合せにより、赤、青、緑画素によって可視光画像を撮影するとともに、赤外画素によって太陽光の有無にかかわらない距離検知を行うものである。その詳細については後述する。
【0153】
赤外ビームスキャナ630は、監視記録制御部632の制御下でソーラーブラインド領域の赤外光ビームを投射し、車両後方をスキャンする。投射された赤外光ビームが後続車両によって反射されると、これがCIGS撮像センサ626の赤外画素によって受光される。CIGSセンサ626の画像信号は、後方センサドライバ634を介して後方画像処理部636によって処理され、赤外ビームの反射位置が検知される。監視記録制御部632は、後方画像処理部636が検知した反射位置情報およびその時の赤外光ビーム投射角度から、この赤外光ビームを反射した後続車両までの車間距離を算出する。監視記録制御部632は算出した車間距離に応じて後方AF(オートフォーカス)制御部638を制御し、AF駆動部640により撮像レンズ624を駆動させて赤外光ビームを反射した後続車両に対し、可視光でのピントを合わせる。
【0154】
一方、上記のようなピント合わせに基づきCIGS撮像センサ626の可視光画素により検知された可視光画像情報は、後方センサドライバ634を介して後方画像処理部636によって可視画像に処理され、監視記録制御部632を介してマイク628からの音声情報とともにFIFO(先入れ先出し記録部)642に入力される。FIFO(先入れ先出し記録部)642は、20秒程度の容量の不揮発性バッファメモリを備えており、後方画像処理部636およびマイク628から入力された画像および音の情報を先入れ先出しで記憶する。つまり最新20秒の情報が常時上書き記憶され続ける。
【0155】
そして、異常加速度検知部644が衝突などによる大きな加速度変化を検知したとき、または特に記録を指示する手動操作があったとき、FIFO642の記録が証拠として保全されることになる。具体的には、監視記録制御部632は、車両制御部604と連記しており、異常加速度検知部644による異常加速度検知または手動操作が車両制御部604を介して監視記録制御部632に伝えられると、後方画像処理部636およびマイク628が破壊されずに情報入力が継続していれば、その時点からさらに10秒程度のFIF0642への記憶を続ける。これによってFIFO642には、加速度変化の検知または手動操作の時点の前後それぞれ10秒程度の画像および音情報が最終的に保持される。そして、この前後10秒程度の画像および音情報は、不揮発性の記録部646に自動転送され証拠として保存される。これによってドライブレコーダ機能が達成される。なお、衝突等でドライブレコーダ機能の大半が破壊された場合でも、不揮発性のFIFO642さえ無事ならば、事故前20秒程度の記録が保全されることになる。
【0156】
なお、後続車両の画像を記録する場合、車間距離が短くなると後続車両のナンバーはもちろんのことフロントガラスを介して前部座席の運転者等の顔も鮮明に記録されることになる。これらの画像は、異常がない限り、FIFOで20秒後には捨てられることにはなるが、プライバシー問題への配慮のため、後続車両が所定以上に車間距離を詰めてきたことを監視記録制御部632が検出するとこれを車両制御部604に送る。車両制御部604はこれに応答して、後方車ドラレコ(ドライブレコーダ)告知表示部648により、車両602の後部窓に「後方撮影中です」などの告知表示を行わせる。これは、万一のトラブルを軽減するための事前告知となるとともに、撮影を嫌う後続車両に自発的に適切な車間距離をとらせることが期待できる。さらに、
【0157】
第5実施例は、以上説明した後方監視装置と同様の監視装置を車両前方にも備えている。その構成は後方監視装置と共通なので、対応する構成については700番台で10の位および1の位が同じ番号を付し、特に必要ない限り説明は省略する。なお、前方監視装置の前方画像処理部736からの前方可視光画像情報は、後方可視光画像と同様にしてFIFO642および記録部646に記録される。このためFIFO642および記録部646はそれぞれ後方用および前方用の記録領域を有する。
【0158】
なお、前方監視装置の場合、自車両602が所定以上に前方車両への車間距離を詰めてしまったことを監視記録制御部632が検出し、これが車両制御部604に送られたときは、車内出力部612の音声出力部616に「車間距離をとってください」などの警告アナウンスを行わせるとともに、居眠り等により車間距離が危険領域にまで縮まったときは、ブレーキ608を自動的に作動させ、衝突を防止する。
【0159】
図31は、後方カメラ/センサ622の詳細を距離検知原理とともに示したブロック図であり、上面から見た配置概念図となっている。なお、図30と同一部分には同一番号を付している。図31において、赤外ビームスキャナ630は、レーザまたは発光ダイオードからなりビームを投射するソーラーブラインドビーム光源802と、投射ビームを反射して道路面と平行にスキャンさせるためのポリゴンミラー、共振型ガルバノミラーまたは音響光学偏向素子などからなる二次元走査系804を有する。なお、ソーラーブラインドビーム光源802からのビームは、道路のアップダウンに対応して後続車両をカバーするため、後述のように断面が縦長になっている。なお、同様の目的で道路のアップダウンに対応して水平垂直方向に位置する可能性のある後続車両をカバーするためには、二次元走査系804を縦方向のスキャンも含む空間走査系として構成してもよい。
【0160】
CIGS撮像センサ626の光軸806はほぼ車両602の中心に配置されるが、二次元走査系804による走査ビームの回転中心は、この光軸806から離れた位置設けられる。投射ビームの回転中心と光軸806の距離はいわゆる三角測距の基線長となるので、原理的には両者間はできるだけ離れているのが望ましい。従って、配置が可能であれば、例えば赤外ビームスキャナ630は尾灯の一部に設けるのが好適である。しかしながら、一方で、後方カメラ/センサ622を出来るだけユニットとしてコンパクトにまとめることを優先する場合には、精度が保証できる限り、赤外ビームスキャナ630とCIGS撮像センサを近接して配置するのが好適である。
【0161】
後方カメラ/センサ622は以上のような構成であるので、例えば後続車両が車両622の真後ろの位置810に存在した時、角度812にある投射ビームの反射光814がCIGS撮像センサ626に向かう。つまり、反射ビーム814の像はCIGS撮像センサ626の光軸806上、すなわち画面の左右方向中央に撮像される。この反射ビーム814の像の位置と投射ビームの角度の組合せは後続車両の位置810によって一義的に決まり、その時の投射ビームの角度812は監視記録制御部で把握されているので、投射ビームの角度と反射ビーム814の撮像位置の組合せから位置810にいる後続車両までの距離が求まることになる。
【0162】
同様にして、後続車両が車両622の真後ろの位置816に存在したときは、角度818にある投射ビームによる反射ビーム820がCIGS撮像センサ626に向かう。このときも反射ビーム820の像はCIGS撮像センサ626の画面の左右方向中央に撮像されるが、投射ビームが異なる角度818にあるので、後続車がより遠い位置816にあることがわかる。なお、後続車が位置822にいたときには、位置816にいるときと同様、投射ビームが角度818にあるときの反射光ビーム824の像がCIGS撮像センサ626に撮像される。しかしこのときの反射光ビーム824の撮像位置は、画面の左右中央ではなく、主光線826の延長線上の、図31で画面中央より右側の位置に撮像されるので、位置822が位置816と混同されることはない。
【0163】
図32は、CIGS撮像センサ624によって撮像された画像を車内出力部612の画像出力部614で見たときの概念図である。図32(A)は、図31のような位置に後続車両があるときに対応したものであり、最も近い真後ろの位置810にある後続車両とこれによる反射ビーム814が観察される。なお、上記のように投射ビームの断面が縦長なので後続車両による反射ビーム814の像も縦長形状をしている。また、反射ビーム814は、簡単のため位置810にいる後続車両の中央にのみ図示しているが、実際には後続車両前面の左端から右端まで投射ビームがスキャンされる間、反射ビームが帯状に検知される。なお、スキャン速度は車両速度よりも充分高速なのでスキャン中の車両位置の動きは無視できる。そこで、このように帯状に車両前面全体に渡っている反射ビームの像から、図32(A)に示すような反射ビーム814の像を求めこれに対応する投射ビームの角度を確定するためには、車両前面に渡っている帯状の反射ビーム像の重心を求める処理が必要である。このような重心を求めて処理することについては後述する。
【0164】
図32(A)では、上記のような位置810にいる後続車両と同様にして、より遠い真後ろの位置816にある後続車両とこれによる反射ビーム820の重心、および右側にずれた位置822を走行している後続車両とこれによる反射ビーム824の重心が、画像出力部614内に図示されている。なお、図32は概念図であって、説明の都合上、複数の後続車両を同時に鳥瞰的に図示しているが、実際の画像はこれと異なる。つまり、車両602および各後続車両が平地を走行している場合、CIGS撮像センサの光軸806が道路面に平行に設定されているため、位置816にいる後続車両は、その真ん前の位置810に後続車両がいる場合、その陰に隠れて全く見えない。また、斜め後方の位置822を走行している後続車両は、前方の位置810の後続車両と重なって撮像される。なお、このように複数の後続車両が重なっている場合の処理については後述する。
【0165】
図32(B)は後続車両が位置826に示すように異常接近した場合を図示しており、上記のように、このような後続車両に対しては、後方車ドラレコ告知表示部648から「後方撮影中です」などの告知表示が行われる。またプライバシーへの配慮のため、異常状態がない限りは、画像に対し、フロントガラス部モザイク処理828およびナンバープレートモザイク処理830が施される。なお、このモザイク処理は、事故等により異常加速度検知部644による異常加速度検知が行われたときには解除される。従って、証拠保全のためには、運転者の顔やナンバープレート等が写った画像が記録されることになる。
【0166】
図33は、第5実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフである。CIGSセンサの分光感度(量子効率)832は図3(A)と同じものを概念的に示したものである。これに対し、地表における太陽光の分光放射照度834は、大気の吸収を受けて櫛歯上に太陽光の分光放射照度が低くなるソーラーブラインド領域を有する。1100nm近辺や1400nm近辺がこれに相当する。両者を比較すると、CIGSセンサは1100nm近辺における太陽光のソーラーブラインド領域において高い分光感度を有することがわかる。そこで、第5実施例では、図7から図10で説明したようなカラーフィルタ配列における赤外光透過フィルタとして、1100nm近辺における太陽光のソーラーブラインド領域にピークを持つ分光透過率836のバンドパスフィルタを採用する。図31のソーラーブラインドビーム光源は、このバンドパスフィルタの透過領域に強い分光強度を有するものである。このようにして、CIGS撮像センサ626の赤外画素数は、太陽光の存在にかかわらず、赤外ビームスキャナから投射されるビームの反射光を検知できる。
【0167】
図33には、さらに赤透過フィルタ、緑透過フィルタおよび青透過フィルタにそれぞれ採用される狭い可視光領域のバンドパスフィルタの分光透過率838、840および842をそれぞれ図示している。これらの波長域では、地表における太陽光の分光放射照度834は充分であり、かつ、CIGSセンサの分光感度(量子効率)832も極めて高いので、可視光の撮像が可能となる。このように、第5実施例では、赤透過フィルタの分光透過率838を含め、すべてのフィルタが狭い領域の波長域を透過させるバンドパスフィルタとなっているので、可視光の撮像およびソーラーブラインド領域の投射ビームによる距離検知を同時に行うことが可能である。なお、撮像レンズ604のピント位置は可視光を基準にして行う。この場合、赤外画素についてはピントが合わないが、反射ビームの重心を求める目的からは問題はない。
【0168】
図34は、図30の第5実施例における監視記録制御部632の動作のフローチャートである。フローは、車両602が走行を開始するとスタートし、ステップS302でドライブレコーダ記録の開始を指示するとともに、ステップS304でソーラーブラインド赤外ビームによるスキャン開始を指示してステップS306に至る。ステップS306では、上記の指示に基づいて前方および後方画像処理部から送られる可視画像、前方および後方マイクからの音声、前方および前方の検知距離のFIFO記録を指示する。
【0169】
次いでステップS308では、赤外ビームスキャナ630からのビーム角度およびCIGS撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。この車間距離検知は前方車両および後方車両の両者について行われるものであるが、その詳細は後述する。ステップS308で前方および後方の車間距離が検知されると、ステップS310ではこれに基づいて、前方カメラ/センサ722および後方カメラ/センサ622についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。
【0170】
次のステップS312では、ステップS308で検知した前方車間距離に基づいて、前方車への異常接近の有無がチェックされる。そして前方車間異常接近が検知されるとステップS314に進み、ブレーキを安全な強度で自動作動させて減速する指示を行うとともにステップS316で異常車間距離のアナウンスを指示してステップS318に移行する。一方、ステップS312で前方車間異常接近が検知されなければ直接ステップS318に移行する。ここで、車間距離に応じたよりきめ細かい処理を望む場合は、ステップS312の車間距離判断を二段階にし、車間距離が比較的大きい時はステップS316の警告アナウンス指示のみに留めるとともに、車間距離がより短くなったときのみステップS314のブレーキ自動作動を加えるよう構成する。また、このようなきめ細かい処置にするか図34通りの一段階の処理にするかを予め選択しておくよう構成することもできる。
【0171】
ステップS318では、ステップS308で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。そして後方車間異常接近が検知されるとステップS3320に進み、異常車間距離のアナウンスを指示する。さらに、ステップS322では、後方車両運転者に見えるよう車両602の後部窓に「後方撮影中です」などの告知表示を行わせる。また、ステップS324では、後方カメラ/センサ622が撮像する後方車の画像に対し、フロントガラス部モザイク処理828およびナンバープレートモザイク処理830を施す指示を出してステップS326に移行する。一方、ステップS318で後方車間異常接近が検知されなければステップS328に進み、ステップS320からステップS324に該当する後方車対策を解除してステップS326に移行する。これは、異常接近状態の検知に対応して後方車との車間距離が広がり、正常状態に復帰したときに必要な処理である。
【0172】
ステップS326では、異常加速度が検知されたかどうかがチェックされ、検知があればステップS330で後方車フロント/ナンバープレートモザイク処理を解除する。さらにステップS332では、異常加速度検知後10秒の画像/音声/距離がFIFO642に入力されるのを待つとともにこのようにして確保されたFIFO642における異常加速度検知前後10秒分の画像/音声/距離を記録部646に記録してステップS334に移行する。一方、ステップS326で異常加速度が検知されなければ直接ステップS334に移行する。
【0173】
ステップS334では、車両が停止したかどうかチェックし、停止していなければステップS306に戻って、以下ステップS306からステップS334を繰り返し、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。一方、ステップS334で車両の停止が検知されるとステップS336の停車中処理に移行する。車両の事故は、車両の走行中だけでなく、例えば信号で停車中に後方から追突される等のケースもある。停車中処理はこのような車両停止中の事故にたいしても証拠保全するためのものである。
【0174】
図35は、図34の停車中処理の詳細を示すフローチャートである。図34のステップS334から図35の停車中処理に移行すると、まず、ステップS342で車両が走行しているかどうかチェックする。ここで走行していることが検知されると図34のステップS306に戻る。一方、停車が継続されていることが確認されるとステップS344に進み、継続して前方および後方画像処理部から送られてきている可視画像、前方および後方マイクからの音声、前方および前方の検知距離のFIFO記録を指示する。
【0175】
次いでステップS336では、赤外ビームスキャナ630からのビーム角度およびCIGS撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。これは、図34のステップS308と同じ処理である。ステップS346で前方および後方の車間距離が検知されると、ステップS348ではこれに基づいて、前方カメラ/センサ722および後方カメラ/センサ622についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。これも図34のステップS310と同じものである。
【0176】
次のステップS350では、ステップS308で検知した前方車間距離に基づいて、前方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準は図34のステップS312よりも近接した距離である。既に車両602は停車しているので、このような場合は、前方車が気付かずバックしてきた場合などに相当する。従って、停車前提前方車間異常接近が検知されるとステップS352に進み、自動的にクラクションを作動させて前方車に注意を促し、ステップS354に移行する。一方、ステップS3520で停車前提前方車間異常接近が検知されなければ直接ステップS354に移行する。
【0177】
ステップS354では、ステップS308で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。このチェック基準は図34のステップS318と同じものである。但しここで後方車異常接近が検地されたときは、図34のような警告アナウンス指示や後方車ドラレコ告知表示指示は行わず、ステップS356の後方車フロント/ナンバーモザイク処理のみを行ってステップS358に移行する。これは、信号待ち停車等においては後方車との車間距離が短くなるのが当然であり、このような状態での警告アナウンス指示は無用であるとともに、後方車ドラレコ告知表示指示はかえって後方車とのトラブルの原因になるからである。そこで、後方車フロント/ナンバーモザイク処理によるプライバシー配慮のみに留めている。一方、ステップS356で後方車間異常接近が検知されなければステップS360に進み、後方車対策を解除してステップS358に移行する。これは、自車両停車時に後方車が遠くにいる状態において後方車フロント/ナンバーモザイク処理を解除するためである。
【0178】
ステップS358では、ステップS308で検知した前方車間距離に基づいて、後方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準はステップS354におけるよりも近接した距離である。そしてこのような異常接近が検知されるとステップS362に進み、フットブレーキを自動作動させてステップS364に移行する。これは、サイドブレーキのみで停車している場合において、万一追突された場合に車両の停止能力を高めてショックを少しでも軽減するためである。一方、ステップS358で停車前提後方車間異常接近が検知されなければ直接ステップS364に移行する。
【0179】
ステップS362では、異常加速度が検知されたかどうかがチェックされ、検知があればステップS366で後方車フロント/ナンバープレートモザイク処理を解除する。さらにステップS368では、異常加速度検知後10秒の画像/音声/距離がFIFO642に入力されるのを待つとともにこのようにして確保されたFIFO642における異常加速度検知前後10秒分の画像/音声/距離を記録部646に記録してステップS334に移行する。これらは図34のステップS330およびステップS332と同じである。一方、ステップS364で異常加速度が検知されなければ直接ステップS370に移行する。
【0180】
ステップS370では、動力が停止したかどうかチェックし、停止していればステップS372に進んで、前方カメラ/センサ722および後方カメラ/センサ622からの信号に基づく前方画像処理部736および後方画像処理部636の画像処理により、画像中に動体が写っていない状態が所定時間以上続いているかどうかチェックする。そして動体が検知されればステップS342に戻り、以下ステップS342からステップS372を繰り返し、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。ステップS372で動体が検知されたときステップS342に戻るのは、車両602が停車しかつ動力が停止させられていても周囲に走行中の車両があれば事故に巻き込まれるおそれがあるのでその場合の証拠保全を行うためである。一方、ステップS372で所定時間以上動体検知がなければ車両602が車庫など安全な位置に格納されたことを意味するのでフローを終了する。なお、ステップS370で動力が停止していないことが検知された時もステップS342に戻り、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。
【0181】
図36は、図34のステップS308および図35のステップS346における車間距離検知処理の詳細を示すフローチャートである。このフローは前方カメラ/センサ722の画像および後方カメラ/センサ622のそれぞれについて実施されるものであるが、以下の説明では簡単のため、後方カメラ/センサ622からの画像についての処理として説明する。フローがスタートすると、ステップS382で可視光画像の処理が行われる。そしてこの処理に基づき、ステップS384で車両602と同一車線内後方に車両画像があるかどうかチェックする。そして画像があればステップS386に進み、その画像の対象性をチェックする。これは複数の車両が重なって写っていないかどうかチェックすることを意味する。対象性がなければ、ステップS388に進み、予め用意された何パターンかの車両重なり画像とそれぞれマッチングを行う。
【0182】
次いで、ステップS386では一致するパターンが見つかりそのパターンに基づいて重なっている複数の車両のうちの最も近いもののみの画像が分離できたかどうかチェックし、分離が出来ればステップS392に移行する。一方、ステップS386で車両画像に対称性があれば重なりはないものとして直接ステップS392に移行する。そして、ステップS392で分離した単独車両の画像の大きさからその車両の距離を判断する。しかしながら、この距離判断は車両自体に軽自動車から大型バス等にわたる大きさのばらつきがあるためあくまで大まかなものである。さらにステップS394では、分離した単独車両の可視光画像における重心を検知してステップS396に移行する。
【0183】
ステップS396では、ソーラーブラインド画素の画像処理が行われる。そして、ステップS398において、出力が所定以上の画像群があるかどうかのチェックが行われる。これは、後方をスキャンしているソーラーブラインド領域の投射ビームが後方車両により反射されこれが後方カメラ/センサ622のソーラーブラインド画素で検知されているかどうかをチェックしていることに相当する。車両等の近接物体がない限り、投射ビームの反射光が所定以上の強度をもつことはないからである。
【0184】
ステップS398で出力所定以上の画素群があればステップS400に進み、画素群の中にステップS494で検知した可視光画像重心に一致する部分があるかどうかチェックする。そして該当する部分があれば、これを反射ビームの重心と看做し、ステップS402においてこの反射ビーム重心の元になった投射ビームの角度情報を取得する。これによって、ステップS404では、ステップS402で得た投射ビーム角度およびステップS394で得た画像重心位置より投射ビームを反射した車両までの距離を仮決定する。このようにして仮決定された距離は、次のステップS406においてステップS392で求めた画像大きさに基づく距離に矛盾しないかどうかチェックする。そして矛盾がなければステップS404で仮決定した距離を正式に検知車両までの距離として本決定しフローを終了する。
【0185】
一方、ステップS406で距離に矛盾があればステップS410に進み、画像処理が所定回数以上行われたかどうかチェックして、まだ所定回数の達していなければステップS382に戻り、可視光画像処理から処理をやり直す。このようにして、ステップS406で画像大きさ距離に矛盾しないソーラーブラインド検知距離が求まったことが確認されるか又はステップS410で画像処理が所定回数以上行われたことが検知されない限りステップS382からステップS410が繰り返される。なお、ステップS384で同一車線内車両画像が検知されなかったとき、またはステップS390で重なり画像から単独車両が分離できなかったとき、またはステップS398で出力が所定以上のソーラーブラインド画素がなかったとき、またはステップS400でソーラーブラインド画素群に可視光画像重心と一致する部分がなかったときは、いずれも直ちにステップS410に移行し、画像処理の繰り返しに入る。
【0186】
これに対し、ステップS410で距離の本決定ができないまま画像処理が所定回数以上くりかえされたことが検知されたときはステップS412に進み、ステップS392により画像大きさ距離の有無をチェックする。そして、画像大きさ距離があればステップS414に進んでそのうちの最新の画像大きさ距離を採用してフローを終了する。一方、ステップS412で画像大きさ距離がなかった時はステップS416に進み、無限遠から中近距離までの車両後方の大半にピントが合うパンフォーカス距離を採用してフローを終了する。これによって、少なくとも図34のステップS310または図35のステップS348のカメラAFのための何らかの距離を決定してフローが終了される。
【実施例6】
【0187】
図37は、本発明の第6実施例の車両用監視装置の後方カメラ/センサの詳細を距離検知原理とともに示したブロック図である。第6実施例は、図30の全体構成ブロックを含め基本的には第5実施例と共通の構成を有しているが、前方カメラセンサおよび後方カメラ/センサにおけるCIGSセンサ周辺の構成が若干異なるなるものである。図37には、図31の第5実施例と同様にして代表として後方カメラ/センサ922を図示しているが、第5実施例と共通する部分には図31と共通の番号を付し、特に必要ない限り、説明は省略する。
【0188】
第6実施例のCIGS撮像センサ926はカラーフィルタの構成が異なり、赤透過フィルタは狭い領域を透過させるバンドパスフィルタではなく、赤より長波長側を透過させるローパスフィルタが採用されている。また、赤外光透過フィルタについても、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタではなく、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっている。これらのローパスフィルタは、バンドパスフィルタよりも構成が簡単である。このため、まずソーラーブラインド領域より長波長側をカットするための、固定ハイパスフィルタ901がCIGSセンサ926への光路中に設けられる。さらに、赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットする可動帯域カットフィルタ903がCIGSセンサ926への光路中に設けられる。これらの組合せにより、結果的に図33と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる。
【0189】
第6実施例はさらに、赤外撮影が可能となっている。このためには、可動帯域カットフィルタ903がCIGS撮像センサ926への光路から退避させられ、代わりに、可視光領域をカットして赤外領域を透過させる可動ローパスフィルタ905がCIGSセンサ926への光路中に設けられる。可動帯域カットフィルタ903および可動ローパスフィルタ905の差し換えはフィルタ駆動部907が行う。平均照度検知部909は、CIGSセンサの可視光出力に基づき、平均照度が小さくなったとき、すなわち夕暮から夜間に相当する状況になったものと判断し、フィルタ駆動部907に指示して、可動帯域カットフィルタ903を可動ローパスフィルタ905に自動切換えさせる。さらに、コントラスト検知部909は、CIGSセンサの可視光出力に基づき、コントラストが小さくなったとき、雨や霧で視界が悪くなったものと判断し、フィルタ駆動部907に指示して、可動帯域カットフィルタ903を可動ローパスフィルタ905に自動切換えさせる。
【0190】
以上のようにして、第6実施例はでは、暗いときまたは視界が悪い時において、可視光撮影を赤外光撮影に自動切換えすることができる。なお、平均照度検知部909およびコントラスト検知部909は、CIGSセンサの赤外光出力に基づき、平均照度またはコントラストが大きくなったとき可動ローパスフィルタ905を可動帯域カットフィルタ903に自動切換えさせて赤外光撮影から可視光撮影へ切換えさせる。なお、AF駆動部940は上記のようなフィルタの差し換えに連動し、赤外撮影が行われるときはピント合わせに赤外補正を加える。
【0191】
図38は、第6実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフであり、図38(A)は可視光撮影の状態、図38(B)は赤外光撮影の状態をそれぞれ示している。CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840のおよび青透過フィルタの分光透過率842はそれぞれ図33と同じである。これに対し、赤透過フィルタの分光透過率932は、赤より長波長側を透過させるローパスフィルタとなっている。また、赤外光透過フィルタの分光透過率936は、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっており、図38(B)からわかるようにソーラーブラインド領域よりも短波長側の近赤外領域を比較的広く透過させている。さらに、固定ハイパスフィルタ901の分光感度は、ソーラーブラインド領域より長波長側をカットするハイパスフィルタとなっている。
【0192】
以上のような構成において、図38(A)では、斜線部に示すように、可動帯域カットフィルタ903が赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットしている。この結果、図33と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる合成分光透過率が達成されている。なお、図38(A)の状態では、赤画素においても赤画像に重畳してソーラーブラインド投射ビームの反射光が感知される。この反射光は予めわかっているビーム投射タイミングでしか感知されないので、このタイミングにおける出力変化から投射ビーム反射光を検知して距離検知情報に利用することもできる。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はない。
【0193】
これに対し、図38(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域をカットしている。この結果、近赤外のかなり広い帯域の光が赤外画素に入射することになる。これによって太陽光を光源とするものも含めた赤外光による撮像が可能となる。また、ソーラーブラインド領域の光も入射可能なので、投射ビームによる距離測定も可能である。ここで図38(B)の状態では赤画素は赤外画素とほぼ同じ分光透過率を持つことになるので、赤外撮影においては、赤画素を赤外画素と看做して撮像情報に活用することができる。
【0194】
なお、第6実施例において広い帯域の近赤外光を入射させることによる収差およびピント位置のずれが問題になるときは、赤外光透過フィルタの分光透過率936のカットオフ波長を例えば1000nm程度としてソーラーブラインド領域に近づけるとともに、可動ローパスフィルタ905のカットオフ波長もこれに対応して1000nm程度にシフトさせ、短波長側の近赤外光をカットするようにする。これによって赤外光撮影の帯域を狭くし、収差およびピント位置のずれを軽減す売ることができる。但し、これによって赤外光撮影の光量が低下するので両者の兼ね合いから赤外光撮影の透過帯域幅を決定する。また、目的に応じ、そのピークをどこにするかの選択も可能である。
【0195】
図39は、図37の第6実施例における監視記録制御部632の動作のフローチャートである。その内容は、図34の第5実施例におけるフローチャートと共通するところが多いので、共通するところには同一のステップ番号を付すとともに、図34と関係付けて説明する。まず、図39におけるステップS302からステップS308、ステップS334は図34の同一番号ステップと同じである。また、図39のステップS422における車両異常接近処理は、図34のステップS312からステップS324およびステップS328をまとめたものであって、その内容は同一である。同様に、図39のステップS424における異常加速度検知処理は、図34のステップS326、ステップS330およびステップS332をまとめたものであって、その内容は同一である。そして、図34のステップS310の部分が、図39のステップS426からステップS442に置き換わっている。なお、図39のステップS444における停車中処理の内容は、図35のステップS348の部分を図39のステップS426からステップS442に置き換えたものである。
【0196】
以上の前提のもとで、図39のステップS426からステップS442について説明する。これらの部分は、図37で説明した可動ローパスフィルタ905と可動帯域カットフィルタ903の自動切換えおよび、これに連動するAF駆動部940の赤外補正に関するものである。図39において、ステップS308で前方および後方の車間距離が検知されると、ステップS426では手動で赤外撮影が選択されたかどうかチェックする。選択がなければステップS428に移行し、平均照度検知部909により検知される照度が所定以下かどうかチェックする。照度が所定以下でなければさらにステップS430でコントラスト検知部911により検知されるコントラストが所定以下であるかどうかチェックする。
【0197】
ステップS430でコントラストが所定以下であると判断されたときはステップS432に進み、可視光帯域をカットする可動ローパスフィルタ905を挿入する指示をフィルタ制御部907に行う。なお、ステップS426で手動赤外撮影選択が検知されたとき、またはステップS428で照度が所定以下であることが検知されたときは直ちにステップS432に移行する。次いで、ステップS434では、AF駆動部940に赤外補正つきのカメラAFによるピント合わせを行うよう指示する。さらにステップS436では赤外光画像出力を選択するよう画像処理部に指示してステップS422に移行する。
【0198】
一方、ステップS430でコントラストについても所定以下でなかったときはステップS438に移行し、ソーラーブラインド以外の赤外帯域をカットする可動帯域カットフィルタ903を挿入する指示をフィルタ制御部907に行う。次いで、ステップS440では、AF駆動部940に赤外補正なしのカメラAFによるピント合わせを行うよう指示する。さらにステップS436では可視光画像出力を選択するよう画像処理部に指示してステップS422に移行する。
【実施例7】
【0199】
図40は、本発明の第7実施例の車両用監視装置の前方および後方カメラ/センサに用いられるCIGS撮像センサのカラーフィルタ配列である。このフィルタ配列は、基本的には原色カラーフィルタにおいて代表的なベイヤー配列と全く同様であって、赤透過フィルタR21(IR21)、緑透過フィルタG11、G22、および青透過フィルタB12を有する。但し、第7実施例では、後述のようにフィルタ切換えによって赤透過フィルタR21(IR21)に該当する画素の出力が赤外光出力としても兼用される。本発明の第7実施例の車両用監視装置の前方および後方カメラ/センサの構成は、図37に示した第6実施例と共通であり、上記のようにCIGS撮像センサ926のフィルタ配列のみが異なる。
【0200】
図41は、第7実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフであり、図38の場合と同様にして、図41(A)は可視光撮影の状態、図41(B)は赤外光撮影の状態をそれぞれ示している。CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840、青透過フィルタの分光透過率842、赤透過フィルタの分光透過率932、固定ハイパスフィルタ901の分光感度および可動帯域カットフィルタ903の分光感度は、それぞれ図38(A)と同じである。つまり、第7実施例では、上記のCIGS撮像センサのカラーフィルタ配列により、赤外専用の画素が除かれたことだけが第6実施例と異なる。
【0201】
この結果、図41(A)の状態では、図40のR21(IR21)とうに該当する分光透過率932の赤画素に赤画像に重畳してソーラーブラインド投射ビームの反射光が感知されることになる。第7実施例ではソーラーブラインド反射光検出のための専用画像を持たないので、赤画素の赤画像出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離する。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はないことは第6実施例と同様である。
【0202】
これに対し、図41(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている。この結果、分光透過率932の赤画素には1000nmから1100nm近辺までの太陽光に基づく赤外光およびソーラーブラインド投射ビームの反射光が検知される。ここでも、赤画素の赤外光出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、図41(A)の場合と同様、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離することができる。
【0203】
なお、図41(B)において、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている例を示したが、これは第7実施例に特有のことではない。既に第6実施例において、収差およびピント位置の問題への対処のため可動ローパスフィルタ905のカットオフ波長を1000nm程度にシフトさせることについて説明したが、図41(B)はこのような構成を採用した例を具体的に示したものである。第7実施例においても、ソーラーブラインド反射光成分の分離、および収差およびピント位置のずれの観点で問題がない場合は、第6実施例と同様にして、赤外撮影状態における可動ローパスフィルタ905のカットオフ波長を短波長側にシフトしてもよい。
【実施例8】
【0204】
図42は、本発明の第8実施例の車両用監視装置の前方および後方カメラ/センサに用いられるCIGS撮像センサのカラーフィルタの分光透過特性を説明するためのグラフである。第8実施例は、基本的には第7実施例と同様の構成を持つ。すなわちCIGS撮像センサのフィルタ配列は、図40に示すようなベイヤー配列であり、第7実施例と同様にしてフィルタ切換えにより赤透過フィルタR21に該当する画素の出力が赤外光出力としても兼用される。また、第7実施例と同様にして、車両用監視装置の前方および後方カメラ/センサの構成は、図37に示した第6実施例と共通のものである。図42の第8実施例が第7実施例と異なるのは、ソーラーブラインドビーム反射光検知による距離検知機能を省略し、専ら可視光による通常昼間の可視光ドライブレコーダおよび夜間または霧中などにおける赤外光ドライブレコーダの自動切換えに機能を絞った点にある。
【0205】
第8実施例においても、図38および図41と同様にして、図42(A)は可視光撮影の状態、図42(B)は赤外光撮影の状態をそれぞれ示している。また、図42において、CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840、青透過フィルタの分光透過率842、赤透過フィルタの分光透過率932、および可動帯域カットフィルタ903の分光感度は、それぞれ図41(A)と同じである。図42が図41と異なるのは、固定ハイパスフィルタ901が1100nm近辺のソーラーブラインド領域を含めこれより長い波長域をカットする分光透過率となっており、CIGSセンサのソーラーブラインド領域の感度を利用していない点である。
【0206】
これによって、可動帯域カットフィルタ903が挿入されている図42(A)の状態では分光透過率932の赤画素に赤画像のみが感知されることになる。これに対し、図42(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている。この結果、分光透過率932の赤画素には1000nmから1100nm近辺までの太陽光に基づく赤外光が検知される。このようにして、CIGSセンサの広い分光感度を利用し、ベイヤー配列における赤画素が可視光撮影における赤画像検知および赤外光撮影における赤外画像検知に切換えて利用される。なお、このような第8実施例のCIGSセンサはドライブレコーダに限らず、第1実施例、第2実施例におけるカメラ、また第4実施例におけるような内視鏡においても採用が可能なものである。
【実施例9】
【0207】
図43は、本発明の第9実施例の上面外観図であり、携帯電話1として構成されている。携帯電話1は、ヒンジ部3によって表示部5を有する上部7がテンキーなどの操作部9を有する下部11の上に折り畳み可能に構成される。上部7には電話機能を構成する受話口13が設けられるとともに、携帯電話1をテレビ電話として利用する場合において表示部5を見ている操作者の顔を写すことができるとともに、自分撮りの際にも利用される内側カメラ17が配置されている。さらに、上部7には、携帯電話1が通話のために顔に近接していることを検知するための赤外光発光部19および顔からの赤外反射光を受光する赤外光近接センサ21が設けられており、赤外光近接センサ21の出力が所定以上あることで顔の接近が検知されると、省電力のため表示部5のバックライトを消灯する。なお、図43では図示しないが、上部7の背面には背面カメラが設けられており、携帯電話1の背面側にあって表示部5でモニタされる被写体を撮影することができる。
【0208】
一方、下部11には、その下方に電話機能を構成する送話口23が設けられるとともに、情報にはCIGS撮像センサ25が配置されている。CIGS撮像センサ25は、図3(A)に示すように波長1300nm近くにわたる広い感度域を持つとともに400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有するものであり、後述するように、頬の肌の撮影、頬の肌水分の測定、親指静脈の認証、脈波による健康チェックなどの諸機能を有する。そしてその周囲には、上記の種々の目的のためのLEDを有する光源部27が配されている。CIGS撮像センサ25および光源部27は下部11の上方、すなわち携帯電話1全体で見るとその中央部近くに設けられているため、指静脈の認証の際に携帯電話1を保持する手の親指の認証が片手操作にて可能である。
【0209】
頬の肌の撮影および頬の肌水分の測定は、携帯電話1が通話のために顔に近接している状態で測定され、通話が終わると表示部5において肌水分表示29が自動的に所定時間行われる。一方、親指による静脈認証や脈波検知は、上記のように携帯電話1を持つ手の親指をCIGS撮像センサ25近傍上方にて非接触でかざすことにより可能である。このとき、CIGS撮像センサ25の出力によるフォーカス検知機能に基づき、親指を近づける旨の指示31または親指を離す旨の指示32が表示部5に表示される。また、親指認証時に同時に親指の脈波が検知され、検知された脈波の形状に基づく血管状態の健康診断結果や脈波に基づくパルスオキシメータの血中酸素飽和度などの健康チェック情報35が表示部5に表示される。なお、図43では、説明の都合上、表示部5に現に表示されている指示31を実践で囲んで示し、適宜表示が可能な他の情報を破線で囲んで図示している。また、表示のレイアウトは図43に限るものではなく、各表示は、同時に表示する必要のない限り、表示部5一杯に表示してよい。
【0210】
図44は、実施例9のブロック図であり、同一部分には図43と同一番号を付し、必要のない限り、説明は省略する。携帯電話1は、記憶部37に記憶されるプログラムに従って動作する制御部39によって制御される。記憶部37は、また制御部39の制御に必要なデータを一時記憶するとともに、種々の測定データや画像も記憶することができる。表示部5の表示は制御部39の制御に基づき表示ドライバ41の保持する表示データに基づいて行われる。表示部5は表示バックライト43を有しており、このバックライトの明るさはCIGS撮像センサ25が検出する周囲の明るさに基づいて制御39が調節する。
【0211】
受話口13および送話口23を含む電話機能部45は、制御部39の制御下にある電話通信部47により、無線電話回線に接続可能である。また携帯電話1は近距離通信部49により、電話回線とは異なる近距離通信システムに基づき、近辺にある機器と無線でデータ通信が可能である。スピーカ51は、制御部39の制御により着信音や種々の案内を行うとともにテレビ電話時の相手の声を出力する。また、画像処理部53は、制御部39に制御されて内側カメラ17および背面カメラ55によって撮像される画像を処理するとともに、CIGS撮像センサ25の画像も処理し、これらの処理結果の画像を記憶部37に入力する。
【0212】
図45は、第9実施例におけるCIGS撮像センサ25のフィルタの分光透過特性および撮像センサ光源部27のピーク波長を説明するためのグラフである。CIGS撮像センサ25の分光感度(量子効率)101は、図3(A)と同じものを概念的に示したもので、波長1300nm近くにわたる広い感度域を持つとともに400nm付近から1200nm付近までの広い波長域に渡る高量子効率を示すものである。図45(A)は、このようなCIGS撮像センサ25の分光感度101に重ね、波長を示す横軸を共通にして水の吸光度特性103を示したものである。なお、縦軸は分光感度101と水の吸光度特性103の波長依存の相対変化をそれぞれの示すだけのものであり、両者間の絶対的な値には意味はない。図45(A)に明らかなように、水の吸光度特性103は970nm、1200nm、1450nm等にピークを持っている。
【0213】
一方、図45(B)は、CIGS撮像センサ25の分光感度101に重ね、波長を示す横軸を共通にして酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107を示したものである。なお、図45(B)においても、縦軸は分光感度101と酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107のそれぞれの波長依存の相対変化を示すだけであり、両者間の絶対的な値には意味はない。図45(B)に明らかなように、酸化ヘモグロビンの吸光度特性105は、660nm付近から900nm付近にかけて徐々に大きくなる。これに対し還元ヘモグロビンの吸光度特性10は、660nm付近で大きい吸光度を示すとともに、全体として900nm付近にかけて徐々に吸光度が小さくなる。そしてこの間、760nm付近において一度吸光度の山があるとともに、805nm付近において酸化ヘモグロビンの吸光度特性105とクロスし、両者の吸光度が等しくなっている。
【0214】
図45は、以上のようなCIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107を前提として設定したCIGS撮像センサ25の複数種カラーフィルタにそれぞれ採用されるバンドパスフィルタの分光透過率、および光源部27として用いられる複数種のLEDのピーク波長を示している。まず肌水分の測定に関するものについて図45(A)を参照して説明する。バンドパスフィルタ109は、水の吸光度特性103に示される970nm付近のピークに合せ970nmをピーク波長として設定される。この波長領域をカバーする光源としてピーク波長が940nmのLED111(図示の簡単化のためピーク波長のみを一点鎖線で示す。以下同様。)が設けられる。一方、バンドパスフィルタ113は、水の吸光度特性103に示すように吸光度の低い領域の805nmをピーク波長として設定される。また、この波長領域をカバーする光源としてはピーク波長が850nmのLEDが設けられる。このように、所望の出力が得られる限りはコスト面を考慮し、LEDとバンドパスフィルタのピーク波長を厳密に一致させる必要はない。バンドパスフィルタ113のピークとややずれたピーク波長のLED115の採用は、その一例である。なお、CIGS撮像センサは量子効率が高く感度が良いのでこのようなことへの許容度も大きい。
【0215】
次に、図45(B)を用いて、親指静脈の認証に関する説明を行う。なお、各バンドパスフィルタおよび各LEDのピーク波長は図45(A)および図45(B)で共通である。バンドパスフィルタ117は、還元ヘモグロビンの吸光度特性107における760nm付近の吸光度の山に合せ760nmをピーク波長として設定される。なお、760nm付近においては吸光度特性105から明らかなように酸化ヘモグロビの吸光度は充分小さい。この波長領域をカバーする光源としてピーク波長が750nmのLED119が設けられる。親指静脈認証のための親指静脈の画像は、このピーク波長750nmのLED119を光源とし、ピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力に基づいて撮像される。これによって還元ヘモグロビンの多い静脈の画像が抽出可能となる。このとき、参照画像を取得するため、上記の肌水分検知において説明したピーク波長850nmのLED115を光源としてピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力が利用される。ピーク波長805nmの画像は酸化ヘモグロビンと還元ヘモグロビンの吸光度が等しくなっているので参照画像として好適である。
【0216】
さらに、図45(B)を用いて、脈波の検出およびこれに基づく血中酸素飽和度の測定について説明する。バンドパスフィルタ201は、還元ヘモグロビンの吸光度特性107において吸光度の高い660nmをピーク波長として設定される。なお、660nm付近においては吸光度特性105から明らかなように酸化ヘモグロビの吸光度が最も小さくなっており、酸化ヘモグロビンと還元ヘモグロビンの吸光度の差が大きい。この波長領域をカバーする光源としてピーク波長が660nmのLED203が設けられる。脈波の検出は、このピーク波長660nmのLED203を光源とするピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、および上記のピーク波長850nmのLED115を光源とするピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力に基づいて検出される。つまり、両出力に基づいて親指内における動脈血の増減がわかるのでこれに基づいて脈波が検出される。さらに脈波に対応する動脈血の厚みの変化に基づき、周知の理論により動脈血の酸素飽和度を求めることができる。
【0217】
なお、肌水分の測定、親指静脈の認証、および脈波の検出と血中酸素飽和度の測定におけるCIGS撮像センサ25の画素出力の利用は、上記のような2波長の画素出力に限らず、適宜3波長以上を組み合わせることも可能である。例えば、肌水分の測定において、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力またはピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。同様に、親指静脈の認証において、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力またはピーク波長970nmのバンドパスフィルタ109が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。さらに、脈波検出または血中酸素飽和度の測定において、ピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力またはピーク波長970nmのバンドパスフィルタ109が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。逆に、設計条件によっては、肌水分の測定、親指静脈の認証、および脈波の検出と血中酸素飽和度の測定のそれぞれ利用する波長域を兼用することによりバンドパスフィルタとLEDの種類を減らすことも可能である。
【0218】
図46は、図43から図45における第9実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図46の例においては、ピーク波長805nmの赤外光透過フィルタIRref11、ピーク波長660nmの赤透過フィルタR12、ピーク波長970nmの赤外透過フィルタIR21およびピーク波長760nmの赤外透過フィルタbIR22が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図45におけるバンドパスフィルタ113、バンドパスフィルタ201、バンドパスフィルタ109およびバンドパスフィルタ117に対応する。なお、図46におけるそれぞれの画素においてカラーフィルタの波長域以外の画像情報を補間することについては、本明細書において図7等で他の実施例について説明した構成を適宜採用することができる。なお、肌水分測定と合わせて、肌画像を撮像するときは、赤および複数波長の赤外画像による多波長画像が得られるので、これらを適宜可視光色に置き換えて画像化することにより肌の状態を画像により目視することができる。
【0219】
図47は、第9実施例に採用可能なLEDの配置の例を示す正面図であり、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図47において図45と対応する部分には同一番号を付す。図47から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111、ピーク波長850nmのLED115およびピーク波長750nmのLED119がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。一方、ピーク波長660nmのLED203については、レンズ205の光軸周りに60度ずつずれてLED111、LED115およびLED119の隙間に6個、回転対象に配されている。ピーク波長660nmのLED203は比較的小さく構成できるのでこのような実装が可能である。また、個数を増やすことで、個々の発光強度が小さいLEDを用いることが可能となりコストダウンを図ることができる。なお、光軸周りの対象性を問題としない設計の場合は、LEDの個数を各波長についてそれぞれ一個に減少させることもできる。
【0220】
図48は、図44の第9実施例における制御部39の動作のフローチャートである。フローは、携帯電話1の操作部9による主電源のオンでスタートし、ステップS452で初期立上および各部機能チェックを行うとともに表示部5における画面表示を開始する。次いでステップS454では、撮像センサ光源部27を消灯させる。なお、元々消灯状態にあるときはここでは何もしない。さらにステップS456では、携帯電話1が所定時間放置されているなど無操作状態にあるかどうかチェックする。この場合、着信を検知するなど携帯電話1が自身で機能する場合も無操作状態ではないものとする。ステップS456で所定時間の無操作が検知されない場合はステップS458に進み、表示バックライト43を点灯させる。併せてステップS460でCIGS撮像センサ25を活性化する。これによって、ステップS454からステップS460を経た場合、CIGS撮像センサは光源なしに受光を行う状態となる。
【0221】
次いで、ステップS462では、CIGS撮像センサ25の出力に基づいて表示バックライトの明るさを調整する。具体的にはCIGS撮像センサの主に赤領域のLED203の出力に基づき、これが大きい時はバックライトを明るくするとともに、LED203の出力が小さい時はバックライトを暗くする。そしてフローはステップS464に移行する。一方、ステップS456で所定時間無操作が検知されたときはステップS466に移行し、表示バックライトを消灯させるとともに、ステップS468でCIGS撮像センサ25を不活性化してステップS464に移行する。この場合は、表示バックライトが消灯するのでその明るさの調整も行われない。
【0222】
ステップS464では、携帯電話1に電話の着信があったかどうかチェックする。なければステップS450で電話番号操作などの発信のための操作があったかどうかチェックする。そして発信操作が検知された時はステップS452に移行する。なお、ステップS464で着信が検知された時もステップS452に移行する。ステップS452は、バックライトが消灯されていたときはこれを復活するとともにその明るさを調整するための撮像センサを活性化するための処理(ステップS458からステップS462と同様の処理)、および着信または発信に基づく通話を開始するための処理を行うステップである。
【0223】
ステップS452のバックライト復活/通話開始処理が完了するとステップS454に進み、赤外光近接センサ21の出力に基づいて携帯電話1に頬が近接しているかどうかチェックする。この状態は、携帯電話1を耳と口に近づけて通話体勢に入ることによって生じる。そして頬近接が検知されない場合はステップS456に移行する。これは、通話開始状態になってもまだ携帯電話1が耳と口に近づけられていないか、またはテレビ電話により通話が行われている場合に該当する。一方、ステップS450で発信操作が検知されなかったときは直接ステップS456に移行する。
【0224】
ステップS456では肌水分を測定するための手動操作が行われたかどうかチェックされ、この操作が検知されたときはステップS458の肌水分測定/肌撮影処理に移行する。一方、ステップS454において頬近接が検知されたときはステップS460に移行し、表示バックライトを消灯するとともにステップS458に移行する。このように頬近接が検知されたときには何も操作しなくても自動的に肌水分測定処理が行われる。ステップS458の肌水分測定/肌撮影処理の詳細は後述する。なお、ステップS460の表示バックライト消灯は、表示部5を見ることができない状態での省電力の意味があるとともに、後述のよう頬接近による肌水分の自動測定の場合は測定姿勢の調整を省略するので、測定姿勢のバラツキによりバックライトによる肌の照明状態が測定に影響するのを防止する意味がある。これに対し、手動測定の場合は、後述のように肌の撮影も行われるとともにそのフォーカシングなど測定条件が調整されるので、表示バックライトを積極的に肌撮影のための(少なくともCIGS撮像センサの可視光画素用の)補助照明光として利用する。
【0225】
ステップS458の肌水分測定処理が完了するとステップS462で通話中かどうかチェックする。また、ステップS456で肌水分測定手動操作が検知されなかったときもステップS462に移行する。ステップS462で通話中であることが検知された時はステップS454に戻り、以下ステップS462で通話中であることが検知されている限りステップS454からステップS462を繰り返す。これによって通話中の種々の状況変化(例えばテレビ電話中に手動で肌水分測定を行うなど)に対応するとともに、ステップS458の肌水分測定処理を繰り返すことで、測定情報量を増加させる。
【0226】
ステップ462で通話中であることが検知されない場合はステップS464に進み、バックライト復活/肌水分表示処理に入る。その詳細は後述する。このように、ステップS458の肌水分測定/肌撮影処理458による情報がある場合は、通話が終わると表示部5にその結果が自動的に表示される。ステップS464のバックライト復活/肌水分表示処理が完了するとステップS466で認証の必要な操作(例えば、メールの閲覧や電話帳情報の変更)が行われたかどうかチェックし、これらの操作が検知されなければステップS468に移行する。一方、ステップS466で認証要操作が検知されたときは、ステップS470を経てステップS468に移行する。ステップS470は、親指静脈認証処理を行うと同時に脈波を行い、脈波および血中酸素飽和度に基づく健康チェックを行う処理であり、認証成功と同時に自動的に健康チェック結果も表示部5に表示される。ステップS468は操作部9によって主電源がオフされたかどうかをチェックしており、主電源オフが検知されなければステップS454に戻り、以下、主電源がオフされない限り、ステップS454からステップS470を繰り返して種々の状況に対応する。一方、ステップS468で主電源のオフが検知されたときは、直ちにフローを終了する。
【0227】
図49は、図48のステップ458における肌水分測定/肌撮影処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS472において手動操作で肌水分測定/肌撮影処理に入ったのかどうかチェックされる。そして手動操作経由であればステップS474に進み、ピーク波長が940nmのLED111、ピーク波長が850nmのLED115、ピーク波長が750nmのLED119およびピーク波長が660nmのLED203の全てが点灯させられてステップS476に進む。一方、ステップS472で手動操作経由でなかった場合は、頬近接検知経由であることを意味するからステップS478に進み、ピーク波長が940nmのLED111およびピーク波長が850nmのLED115が点灯させられてステップS476に進む。この場合、他のLEDは点灯させられない。
【0228】
ステップS476では、CIGS撮像センサ画像の読出しが行われるとともにステップS480に進み、再び手動操作経由かどうかのチェックが行われる。そして手動操作経由であればステップS482に進んで肌画像の撮像が成功して既に記憶が完了かどうかチェックされる。このとき肌画像記憶完でなければステップS484に進み、カラーフィルタとしてそれぞれピーク波長970nmのバンドパスフィルタ109、ピーク波長805nmのバンドパスフィルタ113、ピーク波長760nmのバンドパスフィルタ117およびピーク波長660nmのバンドパスフィルタ201がそれぞれかけられたCIGS撮像センサ25の各画素の画像が抽出される。そしてステップS486で各画素による画像のコントラストを検出するとともにこれらを相互比較してステップS488に進む。
【0229】
ステップS488では、ピーク波長970nmのバンドパスフィルタ109がかけられたCIGS撮像センサ25の画素による画像(以下「970nm画像」と略称。他の画像も同様。)のコントラストが760nm画像のコントラストより大きいかどうかがチェックされる。該当しない場合はステップS490に進み、660nm画像のコントラストが805nm画像のコントラストより大きいかどうかがチェックされる。そしてこれにも該当しない場合は、波長760nmと波長660nmの間の光による像のピントが結像画像CIGS撮像センサに合っている可能性が高いのでステップS492に進み、ステップS484で抽出された各波長の画素による画像情報に基づいて各画素の補間処理が行われる。
【0230】
これに対し、970nm画像のコントラストが760nm画像のコントラストより大きいことがステップS488において検知された場合はステップS494に進み、受話口13において「お肌のチェック中です。携帯電話をもう少し肌に近づけてください。」等のアナウンスを行う指示をしてステップS476に戻る。また、660nm画像のコントラストが805nm画像のコントラストより大きいことがステップS490において検知された場合はステップS496に進み、受話口13において「お肌のチェック中です。携帯電話をもう少し肌から離してください。」等のアナウンスを行う指示をしてステップS476に戻る。以下、ステップS488およびステップS490のいずれにも該当しない状態になるまでステップS476からステップS490およびステップS494ならびにステップS496が繰り返され、携帯電話と肌との距離の変更とCIGS撮像センサ画像の読出しが繰り返される。なお、ステップS488およびステップS490は、簡単のためコントラスト情報そのものを比較するものとして説明したが、実際には、フォーカス状態の実測により実験的に求めた所定のバイアスを付加した上で大小比較を行う。
【0231】
ステップS492における各画素画像補間処理が完了するとステップS498に進み、頬の肌の可視化画像を作成するとともにこれを記憶する処理がおこなわれる。ステップS492の補間処理により4つの波長により撮像された4つの画像が得られるが、これらは赤および3つの赤外波長による画像なので、ステップS498ではこれら4つの画像を適宜4つの可視光画像に置き換え、目で観察できる「カラー画像」に変換する。このようにして可視化された「カラー」画像は現実の肌の色ではないが、4つの波長により撮像することで肌の健康状態の目視による観察が可能となる。肌の撮像は携帯電話1を頬に極近接させたマクロ撮影となるので、肌の詳細が観察可能な拡大画像が得られる。
【0232】
次いで、ステップS500では、970nm画素のすべての出力および805nm画素の全て出力がそれぞれ加算され970nmおよび805nmの受光出力の総和がそれぞれ求められる。なお、ステップS480で手動操作経由であることが検知されなかった時は、頬近接検知に基づく自動測定なので肌の画像情報の取得やピント調節は行わず直ちにステップS500に移行する。さらに、ステップS482において既にステップS498による肌画像の作成と記憶が完了していることが検知された場合も直ちにステップS500に移行する。次いでステップS502では、これら970nmおよび805nmの受光出力居基づいて肌水分の演算が行われる。ステップS502では、さらに、図48のステップS454からステップS462の繰り返しを通じてこれまでに演算された肌水分の情報があればそれに対し今回演算された肌水分を累積して統計処理し、平均値を算出する。
【0233】
次いで、ステップS504ではステップS502で求められた肌水分が20%以上かどうかのチェックが行われる。そして該当しない場合はステップS506に進み、ステップS502で求められた肌水分を記憶してフローを終了する。これに対し、ステップS504で肌水分が20%以上であることが検知されたときはステップS508に進みエラーメッセージを記憶してフローを終了する。通常、肌水分は10〜15%程度であることが知られているので、肌水分が20%以上もあるときは汗の影響などによるエラーと考えられるからである。
【0234】
図50は、図48のステップS464におけるバックライト復活/肌水分表示処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS512において頬近接検知結果が検知有から検知無へ変化したかどうかチェックされる。これは、携帯電話1を頬から離す動作があったかどうかのチェックに該当する。この変化が検知されないときは直ちにフローを終了するので、この場合、図48のステップS464では何も行われないことになる。
【0235】
一方、図50のステップS512で該当する頬建設検知の変化が確認されたときはステップS514に進み、図49のステップS506またはステップS508の機能に基づく肌水分の記憶またはエラーメッセージの記憶があるかどうかチェックされる。そしていずれかの記憶があればステップS516で表示バックライトを点灯させるとともに、ステップS518CIGS撮像センサ25を活性化する。さらに、ステップS520では、CIGS撮像センサ25の出力に基づいて表示バックライトの明るさを調整する。これによってバックライトの点灯およびその調整状態が復活する。
【0236】
次いで、ステップS522では、肌水分の記憶またはエラーメッセージの記憶を読み出すとともにステップS524で読み出した記憶を表示する。そしてステップS526で操作部による操作があったかどうかチェックする。操作の検知がなければステップS528に進み、ステップS524の機能により肌水分またはエラーメッセージが開始されてから所定時間が経過したかどうかチェックする。所定時間の経過がなければステップS524に戻る。以下ステップS526による操作部操作の検知またはステップS528による所定時間経過が検知されない限りステップS524からステップS528を繰り返し、肌水分またはエラーメッセージの表示を継続する。一方、ステップS528で所定時間経過が検知された時はステップS530に移行し、肌水分またはエラーメッセージの表示を終了してステップS532に進む。また、ステップS526で操作部の操作が検知された時は直ちにステップS530に移行して表示を終了する。一方、ステップS514で肌水分またはエラーメッセージの記憶が検知されないときは直接ステップS532に移行する。このようにして、肌水分の記憶またはエラーメッセージの記憶があるときは携帯電話1を肌から話すことによって自動的にこれらが所定時間だけ表示部5に表示される。
【0237】
ステップS532では、図49のステップS498の機能に基づく頬の肌の可視化画像の記憶があるかどうかチェックされる。そして記憶があればステップS534に進み、所定時間内にその再生を行うための操作が行われたかどうかチェックする。所定時間内に操作検知されるとステップS536に進み、頬の肌の可視化画像記憶を読み出すとともにステップS538で読み出した記憶を表示する。そしてステップS540で表示を終了するための操作部による操作があったかどうかチェックする。操作が検知されない場合はステップS538に戻り、以下ステップS540で表示終了操作が検知されない限りステップS538とステップS540を繰り返して表示を継続する。一方、ステップS540で表示終了操作が検知されるとフローは終了となる。なお、ステップS532で頬の肌の可視化画像の記憶があることが検知されなかったとき、またはステップS534で頬の可視化画像の再生操作が所定時間内に検知されなかったときは直ちにフローを終了する。
【実施例10】
【0238】
図51は、携帯電話において実施される本発明の第10実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第10実施例は、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第10実施例が第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。図51は図45に準じて理解できるものであり、共通する部分には共通する番号を付す。具体的には、図51におけるCIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。
【0239】
また、図51の第10実施例においては、970nmをピーク波長とするバンドパスフィルタ109、その光源として用いられるピーク波長が940nmのLED111、805nmをピーク波長とするバンドパスフィルタ113、その高原として用いられるピーク波長が850nmのLED115、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203も、図45の第9実施例と共通である。但し、760nmをピーク波長とするバンドパスフィルタ117およびその光源として用いられるピーク波長が750nmのLED119が図51の第10実施例では省略されている。
【0240】
第10実施例では、上記の構成において、静脈認証と脈波検出に用いられる波長域の兼用が行われる。つまり、親指静脈認証のための親指静脈の画像は、このピーク波長660nmのLED203を光源とし、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力に基づいて撮像され、これによって還元ヘモグロビンの多い静脈の画像が抽出可能となる。また、参照画像は、ピーク波長850nmのLED115を光源としてピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力が利用される。
【0241】
第10実施例における、脈波の検出およびこれに基づく血中酸素飽和度の測定は第9実施例と同様にして行われる。つまり、脈波の検出は、ピーク波長660nmのLED203を光源とするピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、および上記のピーク波長850nmのLED115を光源とするピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力に基づいて検出される。
【0242】
図52は、第10実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図52の例においては、ピーク波長660nmの赤透過フィルタR11およびR22、ピーク波長805nmの赤外透過フィルタIRref12、ピーク波長970nmの赤外透過フィルタIR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図51におけるバンドパスフィルタ201、バンドパスフィルタ113およびバンドパスフィルタ109に対応する。なお、図52では、ピーク波長660nmのカラーフィルタがかけられた画素の数が他の画素の2倍となっている。これは、後述のようにピーク波長660nmのLEDとして発光強度の小さいものを採用することと対応している。これは、ピーク波長660nmに限るものではなく、一般にコストダウンを目的とし、CIGS撮像センサにおける特定波長域の画素数を増やして感度を高めることにより対応する波長域の光源として発光強度の小さいものを用いることが可能である。
【0243】
図53は、第10実施例に採用可能なLEDの配置の例を示す正面図であり、図47の実施例9の場合と同様、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図53において図47と対応する部分には同一番号を付す。図53から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111、ピーク波長850nmのLED115およびピーク波長660nmのLED203がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。ピーク波長660nmのLED203は比較的小さく構成できるので、図53のような配置にすると上下方向の実装スペースを小さくすることができる。また、図52に示すようにピーク波長660の波長域を受光するCIGS撮像センサの画素数が倍になっていて感度が高いのでピーク波長660のLEDとして発光強度の小さいものを用いコストダウンを図ることができる。
【0244】
なお、第10実施例における肌の「カラー」撮像は、660nm画像、805nm画像および970nm画像に基づいて行われる。このときフォーカス検知に関しては、図49のステップS488は「970nm画像>805nm画像?」と読替えるものとする。これによって、805nm画像のコントラストが最も高いときステップS492に移行することになる。
【実施例11】
【0245】
図54は、携帯電話において実施される本発明の第11実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第11実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第11実施例についても第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。なお、図54においても、CIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。
【0246】
図54の第11実施例では、970nmをピーク波長とするバンドパスフィルタ109、その光源として用いられるピーク波長が940nmのLED111、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203は図45の第9実施例と共通である。そして、第9実施例に用いられていた805nmをピーク波長とするバンドパスフィルタ113、その高原として用いられるピーク波長が850nmのLED115、760nmをピーク波長とするバンドパスフィルタ117およびその光源として用いられるピーク波長が750nmのLED119が図54の第11実施例では省略されている。これに代わり、900nmをピーク波長とするバンドパスフィルタ207が追加されている。そしてその光源としては、ピーク波長が940nmのLED111が兼用されている。さらに、可視光の緑色領域の540nmをピーク波長とするバンドパスフィルタ209およびその光源として用いられるピーク波長が550nmのLED211が追加されている。
【0247】
第11実施例では上記の構成において、肌水分の測定は、ピーク波長970nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力と、ピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。そして両者の光源としてピーク波長940nmのLED111が兼用される。一方、第11実施例における、静脈認証および脈波の検出と血中酸素飽和度の測定は、ピーク波長660nmのLED203を光源とし、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力と、ピーク波長940nmのLED115を光源としてピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。
【0248】
なお、第11実施例における肌の撮像は、基本的に緑領域の540nm画像および赤領域の660nm画像に基づいた2波長の可視光による簡易カラー画像として撮像される。このときフォーカス検知に関しては、図49のステップS488は「970nm画像>660nm画像?」、ステップS490は「900nm画像>540nm画像?」にそれぞれ読替えるものとする。さらにこのままでは、ステップS488およびステップS490のいずれにも該当しない場合は、波長660nmと波長900nmの間の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してしまうことになるので、ピント位置を波長660nmと波長900nmの中間である700nm程度から赤と緑の中間である600nm程度にシフトすることを見込んだバイアスをステップS488およびステップS490に付加した上で大小比較を行う。
【0249】
以上これによって、ピント位置が可視域の波長540nmと波長660nmの間の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してステップS492に移行することができる。また、第11実施例の場合、撮像される像自体が可視光像であって頬可視化画像作成処理は不要なので、図49のステップS498は、基本的には、単なる「画像記憶処理」に読替えて理解することができる。なお、第11実施例における肌の撮像においても、赤外の900nm画像および970画像を補助的に加味することができる。この場合は、図49のステップS498において「頬肌可視化画像作成処理」が必要となる。
【0250】
図55は、第11実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図55の例においては、ピーク波長900nmの赤外透過フィルタIRref11、ピーク波長540nmの緑透過フィルタG12、ピーク波長970nmの赤外透過フィルタIR21およびピーク波長660nmの赤透過フィルタR22が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図54におけるバンドパスフィルタ207、バンドパスフィルタ209、バンドパスフィルタ109およびバンドパスフィルタ201に対応する。
【0251】
図56は、第11実施例に採用可能なLEDの配置の例を示す正面図であり、図47の実施例9の場合と同様、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図56において図54と対応する部分には同一番号を付す。図56から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111が一対、レンズ205の光軸を挟んで設けられている。また、LED111の間には、ピーク波長660nmのLED203およびピーク波長550nmのLED211がそれぞれ6個ずつ交互にレンズ205の光軸を挟んで回転対象に設けられている。このように、ピーク波長660nmのLED203およびピーク波長550nmのLED209は面積が比較的小さく個々の出力が小さいものに分割して設けられている。このような配置は、図53の第10実施例と同様、上下方向の実装スペースを小さくすることができる。
【0252】
上記の第11実施例では、図54に示すように、970nmをピーク波長とするバンドパスフィルタ109と900nmをピーク波長とするバンドパスフィルタ207においてピーク波長が940nmのLED111が兼用されている。これは、CIGS撮像センサの量子効率が高く感度が良いことに寄ったものである。しかしながら第11実施例の変形実施例としては、970nmをピーク波長とするバンドパスフィルタ109と900nmをピーク波長とするバンドパスフィルタ207のためにそれぞれ専用のピーク波長900nmのLEDおよびピーク波長950nmのLED用いるよう構成することも可能である。この場合、図55のカラーフィルタ配列はそのまま採用できるが、LEDの種類が4つに増えるので、例えば、図47における第9実施例のような実装配置を採用することができる。
【実施例12】
【0253】
図57は、携帯電話において実施される本発明の第12実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第12実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第12実施例についても第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。なお、図57においても、CIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。これに加え、図57(A)では、図41、図42と同様の地表における太陽光の分光放射照度834が加えられている。
【0254】
図57の第12実施例では、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203が設けられるとともに、805nmをピーク波長とするバンドパスフィルタ113、900nmをピーク波長とするバンドパスフィルタ207およびこれらの光源に兼用されるピーク波長が850nmのLED115が設けられる。図57の第12実施例では、さらに、1200nmの水の吸光度の山に合わせたピーク波長1200nmのバンドパスフィルタ213、その光源としてのピーク波長1200nmのLED215、波長1100nm近辺のソーラーブラインド領域であって水の吸光度が低くなっている波長に合わせたピーク波長1120nmのバンドパスフィルタ217およびその光源としてのピーク波長1070nmのLED219が設けられている。
【0255】
第12実施例では、上記の構成に基づき、水の吸光度の大きいピーク波長1200nmのバンドパスフィルタ213が配されたCIGS撮像センサの画素出力と、水の吸光度が小さくソーラーブラインドになっているピーク波長1120nmのバンドパスフィルタ217が配されたCIGS撮像センサの画素出力とに基づいて肌水分の測定が行われる。このようにして参照波長の情報を太陽光の影響なしに取得することができる。一方、第12実施例における静脈認証および脈波の検出と血中酸素飽和度の測定は、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、ピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力およびピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。このように3波長を用いることにより、静脈認証および脈波の検出のための情報が豊かになる。
【0256】
なお、第12実施例における肌の撮像は、660nm画像、805nm画像、900nm画像、1120nm画像および1200nm画像の5波長域にて行われる。このときフォーカス検知に関しては、図49のステップS488は「1200nm画像>805nm画像?」、ステップS490は「1120nm画像>660nm画像?」にそれぞれ読替えるものとする。これによって、ピント位置が波長900nm付近の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してステップS492に移行することができる。
【0257】
図58は、第12実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図58の例においては、ピーク波長1120nmの赤外透過フィルタmIRref11およびmIRref33、ピーク波長805nmの赤外過フィルタsIRref12、sIRref14、sIRref32およびsIRref34、ピーク波長900nmの赤外透過フィルタcIRref13およびcIRref31、ピーク波長1200の赤外透過フィルタmIR21、mIR23、mIR41およびmIR43、並びにピーク波長660nmの赤透過フィルタR22、R24、R42およびR44が図示のように配列され、これら12画素を一つの単位として繰り返す配列となっている。これらはそれぞれ、図57におけるバンドパスフィルタ217、バンドパスフィルタ113、バンドパスフィルタ217、バンドパスフィルタ201およびバンドパスフィルタ213に対応する。
【0258】
図59は、第12実施例に採用可能なLEDの配置の例を示す正面図であり、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図59において図57と対応する部分には同一番号を付す。図57から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長850nmのLED115、ピーク波長1200nmのLED215およびピーク波長1070nmのLED217がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。一方、ピーク波長660nmのLED203については、レンズ205の光軸周りに60度ずつずれてLED115、LED215およびLED217の隙間に6個、回転対象に配されている。ピーク波長660nmのLED203は比較的小さく構成できるのでこのような実装が可能である。また、個数を増やすことで、個々の発光強度が小さいLEDを用いることが可能となりコストダウンを図ることができる。なお、光軸周りの対象性を問題としない設計の場合は、LEDの個数を各波長についてそれぞれ一個に減少させることもできる。
【0259】
上記の第12実施例では、図57に示すように、805nmをピーク波長とするバンドパスフィルタ113と900nmをピーク波長とするバンドパスフィルタ207においてピーク波長が850nmのLED115が兼用されている。これは、CIGS撮像センサの量子効率が高く感度が良いことに寄ったものである。しかしながら第12実施例の変形実施例としては、805nmをピーク波長とするバンドパスフィルタ113と900nmをピーク波長とするバンドパスフィルタ207のためにそれぞれ専用のピーク波長800nmのLEDおよびピーク波長900nmのLED用いるよう構成することも可能である。この場合、図55のカラーフィルタ配列はそのまま採用できるが、LEDの種類も5つに増えるので図59を少し変形し、大面積を割り当てるLEDの対を60度ずつではなく46度ずつずらして4種類配置するとともにその隙間に5種目のLEDを8個配置するようにする。
【実施例13】
【0260】
図60は、携帯電話において実施される本発明の第13実施例におけるフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第13実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第13実施例が他の実施例と異なるのは撮像センサである。つまり、第9実施例から第12実施例までの携帯電話における肌水分測定用等の撮像センサがCIGS撮像センサで構成されていたのに対し、第13実施例の撮像センサはシリコン撮像センサである。従って、図60においては撮像センサの分光感度(量子効率)として図3(A)のCIGS撮像センサのものではなく、図3(B)に対応するシリコン撮像センサの分光感度(量子効率)221が概念的に図示されている。なお、分光感度221はあくまで相対的な概念を示すもので、縦軸の絶対的な値には意味はない。
【0261】
図60に示した第13実施例は上記の撮像センサの分光感度を除き、第10実施例と共通の構造を持つ。従って、撮像センサのカラーフィルタ配列は基本的に図52に示したものが採用できる。また、光源としてのLEDの配置も基本的に図53の例が採用可能である。第13実施例はシリコン撮像センサを採用しているため、全体的な量子効率が低いとともに、ピーク波長790nmの感度もやや不充分である。しかしながら、設計条件によっては第13実施例のようにシリコン撮像センサを採用することによりコストダウンを図ることが可能である。なお、ピーク波長790nmの感度不足を補うためには、図52のカラーフィルタ配列を若干変更し、2倍の画素数になる波長域を660nmから970nmに変更することができる。また、図53のLEDの実装についても、光量不足となる可能性のある940nmLEDの数を他のLEDよりも増やすよう変更することが可能である。
【0262】
上記本発明の種々の特徴は上記の実施例に限るものではなく、他の種々の実施が可能である。例えば、上記実施例においては肌水分測定機能が携帯電話に組み込まれており、それによる種々の利点があるが、より一般的には専用の測定装置として構成することもできるし、他の装置に組み込んで実施することもできる。また、携帯電話に組み込む場合においても、図43および図44における赤外光発光部19および赤外光近接センサ21を省略し、これらが担っていた肌近接検知機能をCIGS撮像センサに兼ねさせることもできる。このとき、操作時の指の接近を誤検知することを防止するため携帯電話1に加速度センサを設け、重力加速度の検知によって携帯電話1の姿勢を検知する。これによって、携帯電話1が立てられていることを加速度センサが検知した状態においてCIGS撮像センサへの近接が検知されたときのみ肌近接検知とするようにし、携帯電話1が水平に近い状態で操作部9が操作されている状態で指が撮像センサに近接しても表示部5のバックライトが消されないよう構成する。
【産業上の利用可能性】
【0263】
本発明は、肌水分測定装置等の生体情報測定装置に摘要することができる。
【符号の説明】
【0264】
25 光電変換部
39 処理部
27 光源部
111、115、119、203、211、215、219 発光ダイオード
39 判定手段
5 表示部
43 バックライト
39 判定部
19、21 近接検知部
1 携帯電話
39 制御部
【特許請求の範囲】
【請求項1】
それぞれ可視光域および赤外光域において60%以上の量子効率を有し複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部とを有することを特徴とする生体情報取得装置。
【請求項2】
前記光電変換部は、複数の波長域の光による像を撮像するため規則的に配列された複数の受光部を有することを特徴とする請求項1記載の生体情報取得装置。
【請求項3】
光源として発光ダイオードを用いるとともに、一つのピーク波長の発光ダイオードを前記光電変換部における複数の波長域の検知の光源とすることを特徴とする請求項1または2記載の生体情報取得装置。
【請求項4】
前記光電変換部により肌水分の情報を取得することを特徴とする請求項1から3のいずれかに記載の生体情報取得装置。
【請求項5】
上記肌水分の情報は前記光電変換部により非接触で取得されるとともに、取得された肌水分が通常測定範囲外にあることを判定する判定手段を有することを特徴とする請求項4記載の生体情報取得装置。
【請求項6】
前記光電変換部により静脈パターンの情報を取得することを特徴とする請求項4または5記載の生体情報取得装置。
【請求項7】
前記光電変換部により脈波の情報を取得することを特徴とする請求項4から6のいずれかに記載の生体情報取得装置。
【請求項8】
前記光電変換部により取得される脈波の情報に基づいて血中酸素飽和度を取得することを特徴とする請求項7記載の生体情報取得装置。
【請求項9】
肌の撮像を行うことを特徴とする請求項4から8のいずれかに記載の生体情報取得装置。
【請求項10】
取得した生体情報を表示する表示部を有し、前記光電変換部の出力により前記表示部の表示明るさを調節することを特徴とする請求項1から9のいずれかに記載の生体情報取得装置。
【請求項11】
前記表示部は表示の明るさを調節するバックライトを有し、前記光電変換部の出力により前記バックライトを制御することを特徴とする請求項10記載の生体情報取得装置。
【請求項12】
前記複数の波長域の一つは太陽光が地表に到達しない領域に設定されることを特徴とする請求項1から11のいずれかに記載の生体情報取得装置。
【請求項13】
前記複数の波長域の光による複数の波長域の像に基づき対象物へのピント状態を判定する判定部を有することを特徴とする請求項2記載の生体情報取得装置。
【請求項14】
撮像された像を表示するとともにバックライトを備えた表示部を有し、前記光電変換部により像を撮像するときは対象物を照明するために前記バックライトを点灯させることを特徴とする請求項2記載の生体情報取得装置。
【請求項15】
検知のための光源部と、前記光電変換部が対象物に近接しているかどうかを検知する近接検知部とを有し、撮像が行われないときに前記近接検知部が対象物の近接を検知すると前記光源部を点灯させるとともに前記バックライトを消灯させることを特徴とする請求項14記載の生体情報取得装置。
【請求項16】
携帯電話として構成されることを特徴とする請求項1から15のいずれかに記載の生体情報取得装置。
【請求項17】
複数の波長域の光を検知する光電変換部を有し、前記光線変換部により検知される受光情報に基づいて肌水分の情報および静脈パターン情報を取得することを特徴とする生体情報取得装置。
【請求項18】
前記光電変換部により健康情報を取得することを特徴とする請求項17記載の生体情報取得装置。
【請求項19】
複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示する表示部と、前記光電変換部の出力により前記表示部の表示明るさを調節する制御部とを有することを特徴とする生体情報取得装置。
【請求項20】
複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、前記光電変換部により生体情報を取得するときは対象物を照明するために前記バックライトを点灯させる制御部とを有することを特徴とする生体情報取得装置。
【請求項21】
複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、検知のための光源部と、前記光電変換部が対象物に近接しているかどうかを検知する近接検知部と、前記近接検知部が対象物の近接を検知すると前記光源部を点灯させるとともに前記バックライトを消灯させる制御部とを有することを特徴とする生体情報取得装置。
【請求項1】
それぞれ可視光域および赤外光域において60%以上の量子効率を有し複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部とを有することを特徴とする生体情報取得装置。
【請求項2】
前記光電変換部は、複数の波長域の光による像を撮像するため規則的に配列された複数の受光部を有することを特徴とする請求項1記載の生体情報取得装置。
【請求項3】
光源として発光ダイオードを用いるとともに、一つのピーク波長の発光ダイオードを前記光電変換部における複数の波長域の検知の光源とすることを特徴とする請求項1または2記載の生体情報取得装置。
【請求項4】
前記光電変換部により肌水分の情報を取得することを特徴とする請求項1から3のいずれかに記載の生体情報取得装置。
【請求項5】
上記肌水分の情報は前記光電変換部により非接触で取得されるとともに、取得された肌水分が通常測定範囲外にあることを判定する判定手段を有することを特徴とする請求項4記載の生体情報取得装置。
【請求項6】
前記光電変換部により静脈パターンの情報を取得することを特徴とする請求項4または5記載の生体情報取得装置。
【請求項7】
前記光電変換部により脈波の情報を取得することを特徴とする請求項4から6のいずれかに記載の生体情報取得装置。
【請求項8】
前記光電変換部により取得される脈波の情報に基づいて血中酸素飽和度を取得することを特徴とする請求項7記載の生体情報取得装置。
【請求項9】
肌の撮像を行うことを特徴とする請求項4から8のいずれかに記載の生体情報取得装置。
【請求項10】
取得した生体情報を表示する表示部を有し、前記光電変換部の出力により前記表示部の表示明るさを調節することを特徴とする請求項1から9のいずれかに記載の生体情報取得装置。
【請求項11】
前記表示部は表示の明るさを調節するバックライトを有し、前記光電変換部の出力により前記バックライトを制御することを特徴とする請求項10記載の生体情報取得装置。
【請求項12】
前記複数の波長域の一つは太陽光が地表に到達しない領域に設定されることを特徴とする請求項1から11のいずれかに記載の生体情報取得装置。
【請求項13】
前記複数の波長域の光による複数の波長域の像に基づき対象物へのピント状態を判定する判定部を有することを特徴とする請求項2記載の生体情報取得装置。
【請求項14】
撮像された像を表示するとともにバックライトを備えた表示部を有し、前記光電変換部により像を撮像するときは対象物を照明するために前記バックライトを点灯させることを特徴とする請求項2記載の生体情報取得装置。
【請求項15】
検知のための光源部と、前記光電変換部が対象物に近接しているかどうかを検知する近接検知部とを有し、撮像が行われないときに前記近接検知部が対象物の近接を検知すると前記光源部を点灯させるとともに前記バックライトを消灯させることを特徴とする請求項14記載の生体情報取得装置。
【請求項16】
携帯電話として構成されることを特徴とする請求項1から15のいずれかに記載の生体情報取得装置。
【請求項17】
複数の波長域の光を検知する光電変換部を有し、前記光線変換部により検知される受光情報に基づいて肌水分の情報および静脈パターン情報を取得することを特徴とする生体情報取得装置。
【請求項18】
前記光電変換部により健康情報を取得することを特徴とする請求項17記載の生体情報取得装置。
【請求項19】
複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示する表示部と、前記光電変換部の出力により前記表示部の表示明るさを調節する制御部とを有することを特徴とする生体情報取得装置。
【請求項20】
複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、前記光電変換部により生体情報を取得するときは対象物を照明するために前記バックライトを点灯させる制御部とを有することを特徴とする生体情報取得装置。
【請求項21】
複数の波長域の光を検知する光電変換部と、前記光線変換部により検知される受光情報に基づいて生体情報を取得する処理部と、取得した生体情報を表示するとともにバックライトを備えた表示部と、検知のための光源部と、前記光電変換部が対象物に近接しているかどうかを検知する近接検知部と、前記近接検知部が対象物の近接を検知すると前記光源部を点灯させるとともに前記バックライトを消灯させる制御部とを有することを特徴とする生体情報取得装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【公開番号】特開2011−147469(P2011−147469A)
【公開日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願番号】特願2010−8694(P2010−8694)
【出願日】平成22年1月19日(2010.1.19)
【出願人】(000116024)ローム株式会社 (3,539)
【Fターム(参考)】
【公開日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願日】平成22年1月19日(2010.1.19)
【出願人】(000116024)ローム株式会社 (3,539)
【Fターム(参考)】
[ Back to top ]