皮膚領域検出撮像装置
【課題】皮膚領域検出撮像装置において、被写体が環境光の日なたになっているか日陰になっているかに係らず、正確な皮膚領域の検出を行う。
【解決手段】皮膚領域検出撮像装置１は、異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射する（Ｓ１）ＬＥＤストロボを有する。これにより、撮像エリア内の全ての部分における上記２種類の波長の照射光の強度比を一定にすることができるので、撮像エリア内の全ての部分における上記２種類の波長の反射光の強度比を、被写体が有する、上記２種類の波長の照射光に対する反射率の比に応じたものとすることができる。従って、被写体が環境光の日なたになっているか日陰になっているかに係らず、被写体からの２種類の波長の反射光の強度比に基づいて、撮像エリア内の皮膚領域を正確に検出することができる（Ｓ５）。
【解決手段】皮膚領域検出撮像装置１は、異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射する（Ｓ１）ＬＥＤストロボを有する。これにより、撮像エリア内の全ての部分における上記２種類の波長の照射光の強度比を一定にすることができるので、撮像エリア内の全ての部分における上記２種類の波長の反射光の強度比を、被写体が有する、上記２種類の波長の照射光に対する反射率の比に応じたものとすることができる。従って、被写体が環境光の日なたになっているか日陰になっているかに係らず、被写体からの２種類の波長の反射光の強度比に基づいて、撮像エリア内の皮膚領域を正確に検出することができる（Ｓ５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、皮膚領域検出撮像装置に関し、詳しくは、近赤外線領域の光によって照明された被写体の撮像画像から人体の皮膚領域を検出する皮膚領域検出撮像装置に関する。
【背景技術】
【０００２】
人体の皮膚領域は、近赤外線領域における異なった波長の照射光に対して異なった反射率を有している（例えば、８５０ｎｍの照射光に対する皮膚の反射率と９５０ｎｍの照射光に対する皮膚の反射率との比は、１．２：１．０程度である）。従来より、この性質を利用して監視カメラ等における人体検出を行うことが提案されている。例えば、本出願人は、被写体からの光を集光し固体撮像素子上に２つの個眼像Ａ、Ｂを形成する２つの光学レンズと、２つの個眼像を順に読み出すローリングシャッタ装置と、近赤外線領域における異なった波長（８５０ｎｍ、９４０ｎｍ）の光を発する２つのＬＥＤとを備え、個眼像Ａが読み出されるときに８５０ｎｍの波長の光を照射するＬＥＤを点灯させ、個眼像Ｂが読み出されるときに９４０ｎｍの波長の光を照射するＬＥＤを点灯させる皮膚領域検出撮像装置を出願した（特願２００７−０１２９２１）。この皮膚領域検出撮像装置によれば、近赤外線領域の２種類の波長の光に対する皮膚領域の反射率の相違を利用して、個眼像Ａ、Ｂを比較して明るさの差が所定値以上である領域を皮膚領域として検出する。
【０００３】
しかしながら、太陽光等の環境光は、ＬＥＤからの照射光に比べて強力である場合が多いため、撮像エリアの全てをＬＥＤ照射光のスペクトル特性に合致した光で照明できない場合がある。
【０００４】
例えば、環境光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が２：１である場合に、８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が１：１の光を照射するＬＥＤストロボを時分割発光させて撮像を行うとする。ここで、太陽光等の環境光は、ＬＥＤストロボからの照射光に比べて非常に強力である。また、撮像エリア内には、環境光が殆ど当たらず、陰となっている場所もある。
【０００５】
画像が撮像される時に撮像エリア内の被写体に当たっている光（照射光）のスペクトル特性を考えると、環境光の陰（日陰）になっている部分については、殆どＬＥＤストロボのみで照明されていると考えてよいので、この部分への照射光における、８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比は、概ね１：１となる。これに対して、撮像エリア内の被写体のうち、環境光が強く当たっている部分については、ＬＥＤストロボからの照射光は殆ど影響を与えることができないため、この部分への照射光における、８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比は、環境光における強度比と殆ど同じ値（２：１に近い値）になると考えられる。
【０００６】
次に、被写体からの反射光のスペクトル特性を考える。８５０ｎｍの波長の光に対する人間の皮膚の反射率と９５０ｎｍの波長の光に対する人間の皮膚の反射率との比は、１．２：１．０程度である。これに対して、人間の皮膚以外の物質については、８５０ｎｍの波長の光と９５０ｎｍの波長の光に対する反射率の比は、概ね１．０：１．０程度となる。反射光のスペクトル特性は入射光のスペクトル特性と反射率のスペクトル特性を乗算することで得られる（反射光のスペクトル比（強度比）は入射光のスペクトル比（強度比）と反射率の比を乗算することで得られる）ので、撮像エリア内の被写体について、環境光の日なた/日陰、人間の皮膚/皮膚以外 の２×２の４種の場合で、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光のスペクトル比（強度比）を概算すると、図１６に示されるようになる。すなわち、（１）環境光日なた・人間の皮膚・・・２．４：１．０（＝２．４／１．０＝２．４）、（２）環境光日なた・皮膚以外・・・２．０：１．０（＝２．０／１．０＝２．０）、（３）環境光日陰・人間の皮膚・・・１．２：１．０（＝１．２／１．０＝１．２）、（４）環境光日陰・皮膚以外・・・１．０：１．０（＝１．０／１．０＝１．０）となる。
【０００７】
特願２００７−０１２９２１で提案した皮膚領域検出撮像装置は、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光のスペクトル比（強度比）が、人間の皮膚からの反射光については大きくなり、それ以外の物質からの反射光については小さくなることを期待して皮膚領域の検出を行うが、上の（１）〜（４）では皮膚以外の領域である（２）の強度比（２．０）の方が、皮膚領域である（３）の強度比（１．２）よりも大きくなっている。従って、特願２００７−０１２９２１で提案した皮膚領域検出撮像装置では、正確な皮膚領域の検出を行えない場合が発生する。
【０００８】
なお、撮像装置の分野において、複数の光学系を備えた複眼撮像装置が知られている（例えば、特許文献１乃至５参照）。けれども、特許文献１乃至５に記載の発明では、上記の問題を解決することができない。
【特許文献１】特開２００７−２９５１４１号公報
【特許文献２】特開２００５−３０３６９４号公報
【特許文献３】特開２００７−６５３３５号公報
【特許文献４】特開２００５−３４１３０１号公報
【特許文献５】特開２００７−１７４５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記の問題を解決するためになされたものであり、被写体が環境光の日なたになっているか日陰になっているかに係らず、正確な皮膚領域の検出を行うことが可能な皮膚領域検出撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために請求項１の発明は、被写体からの光を集光する複数の光学レンズと、前記複数の光学レンズにより集光された被写体からの光を用いて、近赤外線領域における異なった２種類の波長の照射光に対応した２種類の被写体像を形成する異種類像形成手段と、前記異種類像形成手段によって形成された２種類の被写体像を撮像する固体撮像素子と、前記固体撮像素子上の各画素に蓄積された電荷に応じた電圧（以下、蓄積電荷電圧と略す）を読取ライン毎に読み出すことにより、前記固体撮像素子上に形成された２種類の被写体像を順に読み出すためのローリングシャッタ装置と、前記ローリングシャッタ装置の１回のシャッタ動作内に読み出された前記２種類の被写体像を画像として記憶する記憶手段と、前記記憶手段に記憶された２種類の画像に基づいて、前記２種類の波長の照射光に対応した、被写体からの２種類の波長の反射光の強度を判定して、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する皮膚領域検出手段とを備えた皮膚領域検出撮像装置において、前記異種類像形成手段は、前記異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するフラッシュ光源を含むものである。
【００１１】
請求項２の発明は、請求項１に記載の皮膚領域検出撮像装置において、前記異種類像形成手段は、前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段をさらに含むものである。
【００１２】
請求項３の発明は、請求項１に記載の皮膚領域検出撮像装置において、前記異種類像形成手段は、前記複数の光学レンズによる集光路に配置され、前記各集光路ごとに近赤外線領域における異なった２種類の波長の光を選択的に透過するための２種類のバンドパスフィルタをさらに含むものである。
【００１３】
請求項４の発明は、請求項１に記載の皮膚領域検出撮像装置において、前記固体撮像素子上の一部の撮像エリア（以下、「部分撮像エリア」という）に環境光を取り込むための拡散板と、前記拡散板を通して取り込んだ環境光の前記部分撮像エリアへの通過路に配置され、前記各通過路ごとに前記２種類の波長の照射光を選択的に透過するための２種類のバンドパスフィルタと、前記拡散板と前記２種類のバンドパスフィルタとを介して取り込んだ２種類の波長の環境光を前記部分撮像エリアで受光して、前記ローリングシャッタ装置で読み取った前記部分撮像エリア内の画素の蓄積電荷に基づいて、環境光における前記２種類の波長の光の強度比を判定する環境光強度比検出手段とをさらに備え、前記異種類像形成手段は、前記環境光強度比検出手段により検出した、環境光における前記２種類の波長の光の強度比で、前記フラッシュ光源が前記２種類の波長の光を発光するように制御する発光強度制御手段と、前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段とをさらに含むものである。
【発明の効果】
【００１４】
請求項１の発明によれば、フラッシュ光源が、近赤外線領域における異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するので、撮像エリア内の全ての部分における上記２種類の波長の照射光の強度比を一定にすることが可能になる。ここで、２種類の波長の反射光の強度比は、２種類の波長の照射光の強度比と、被写体が有する、上記２種類の波長の照射光に対する反射率の比とを乗算することで得ることができるので、上記のように撮像エリア内の全ての部分において２種類の波長の照射光の強度比を一定にすることができるようにしたことにより、撮像エリア内の全ての部分における上記２種類の波長の反射光の強度比を、被写体が有する、上記２種類の波長の照射光に対する反射率の比に応じたものとすることができる。従って、被写体が環境光の日なたになっているか日陰になっているかに係らず、被写体からの２種類の波長の反射光の強度比に基づいて、撮像エリア内の皮膚領域を正確に検出することができる。
【００１５】
また、ローリングシャッタ装置の１回のシャッタ動作内に読み出された２種類の被写体像を画像として記憶し、これらの２種類の画像を用いて皮膚領域を検出するようにしたことにより、短時間のうちに皮膚領域を検出することができる。
【００１６】
請求項２及び３の発明によれば、上記請求項１に記載の発明の効果を的確に得ることができる。
【００１７】
請求項４の発明によれば、撮像エリア内の環境光における上記２種類の波長の光の強度比を実際に計測して、フラッシュ光源が、実際の環境光における上記２種類の波長の光の強度比と同じ強度比で被写体を照射することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の第１の実施形態に係る皮膚領域検出撮像装置について、図１乃至図７を参照して説明する。第１の実施形態は、請求項１及び請求項２に対応する。本実施形態の皮膚領域検出撮像装置１は、図１乃至図３に示されるように、被写体からの光を集光して焦点位置にある固体撮像素子２上に上下２個の像（以下、個眼像という）Ａ、Ｂを形成する２つの光学レンズを含むレンズ光学系３と、これら２個の個眼像Ａ、Ｂを撮像する固体撮像素子２と、固体撮像素子２上に形成された２個の個眼像Ａ、Ｂを電子的に処理して皮膚領域の検出を行う電子回路４と、電子回路４からのタイミング信号ＳＧ２，ＳＧ３に応じて近赤外線領域における異なった２種類の波長を中心波長として持つ２つのＬＥＤ５ａ、５ｂを交代的に（時間的に切替えて）発光するＬＥＤストロボ５（フラッシュ光源）と、電子回路４が検出した皮膚領域の画像等を表示する液晶パネル等から構成される表示装置６と、制御データの入力や画像データの取込み等を行うパソコン等の外部装置７とを備えている。また、電子回路４は、装置全体の制御を行うマイクロプロセッサ（切替え制御手段、皮膚領域検出手段）２４を有している。
【００１９】
ＬＥＤストロボ５における２つのＬＥＤ５ａ、５ｂは、一方が８５０ｎｍの中心波長の近赤外線を発光するＬＥＤ５ａであり、他方が９４０ｎｍの中心波長の近赤外線を発光するＬＥＤ５ｂである。マイクロプロセッサ２４は、ＬＥＤストロボ５が、異なった２種類の波長（８５０ｎｍ及び９４０ｎｍ）の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するように電圧調整回路１０を制御する。また、マイクロプロセッサ２４は、ＬＥＤ５ａによる８５０ｎｍの中心波長の近赤外線の発光と、ＬＥＤ５ｂによる８５０ｎｍの中心波長の近赤外線の発光との切替えタイミングを、後述するローリングシャッタ装置１９により読み出す像を切替えるタイミングに合わせる。本実施形態では、マイクロプロセッサ２４とＬＥＤストロボ５とが、請求項における異種類像形成手段に相当する。また、固体撮像素子２は、これらの異種類像形成手段によって形成された２種類の被写体像（個眼像Ａ、Ｂ）を撮像する。
【００２０】
レンズ光学系３は、図１及び図２に示されるように、光軸Ｌが互いに平行になるように上下に配置された２個の光学レンズ８と、光学レンズ８の支持フレーム９に形成された絞り開口１１と、光学レンズ８と固体撮像素子２の間に、各光学レンズ８から固体撮像素子２へ向けてそれぞれ出射される光同士が干渉しないように配置された隔壁１２と、固体撮像素子２の前方に配置された光学フィルタ１３とを備えている。光学フィルタ１３は、近赤外線領域の光を透過するフィルタである。
【００２１】
固体撮像素子２は、基板１４上に形成されたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成され、行列方向（図３及び図４のＸ、Ｙ方向）に多数の単位画素１５を有している。
【００２２】
各光学レンズ８によって固体撮像素子２上に集光されて形成される個眼像Ａ、Ｂが、図３において、それぞれ円形で表わされる。各個眼像Ａ、Ｂは、固体撮像素子２によってアナログの画像情報（画素に蓄積される電荷に応じた電圧（蓄積電荷電圧））に変換され後述するローリングシャッタ装置１９によって個眼像Ａ、個眼像Ｂの順に読み出される。
【００２３】
固体撮像素子２と同一の基板１４上には、固体撮像素子２の垂直走査回路１６と水平走査回路１７にタイミング信号ＳＧ４を出力するタイミングジェネレータ（ＴＧ）１８が備えられ、該タイミング信号ＳＧ４に基づいて固体撮像素子２の単位画素１５（の蓄積電荷電圧）が後に詳述する所定の順序で読み出され、個眼像Ａ、個眼像Ｂが、この順に読み出される。タイミングジェネレータ１８と垂直走査回路１６と水平走査回路１７によってローリングシャッタ装置１９が構成されている。
【００２４】
次に、電子回路４について、図１を参照して説明する。電子回路４は、固体撮像素子２から出力されるアナログの画像情報をＡＤコンバータ２１を介してディジタル信号として取込む画像処理プロセッサ２２と、画像処理プロセッサ２２に取込まれた画像情報を一時的に記憶するＲＡＭ（記憶手段）２３と、画像処理プロセッサ２２に取込まれた画像情報を後述の処理手順に従って処理して皮膚領域を検出する、上記のマイクロプロセッサ２４と、検出した皮膚領域の画像情報を一時的に記憶するＲＡＭ２５とを備える。
【００２５】
画像処理プロセッサ２２は、固体撮像素子２へ制御信号を出力して露光調整やゲイン調整等の制御を行い、取込んだ画像情報にガンマ補正やホワイトバランス補正等の画像処理も行う。
【００２６】
マイクロプロセッサ２４は、タイミングジェネレータ１８に接続され、タイミングジェネレータ１８が出力する水平同期信号ＳＧ５に基づいて所定のタイミングで、電圧調整回路１０を介してＬＥＤストロボ５を発光させるためのタイミング信号ＳＧ１を出力するように構成されている。また、タイミング信号ＳＧ１には、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光の強度比（例えば、２：１）と同じ強度比でＬＥＤ５ａとＬＥＤ５ｂとを発光させるように制御するための制御情報が含まれている。
【００２７】
ＲＡＭ２３は、上記の異種類像形成手段（マイクロプロセッサ２４とＬＥＤストロボ５）によって固体撮像素子２上に形成され、ローリングシャッタ装置１９の１回のシャッタ動作内に読み出された２種類の個眼像Ａ、Ｂを画像として記憶する。マイクロプロセッサ２４は、ＲＡＭ２３に記憶された２種類の個眼像Ａ、Ｂに基づいて、異なった２種類の波長（８５０ｎｍと９４０ｎｍ）の照射光に対応した、被写体からの２種類の波長（８５０ｎｍ及び９４０ｎｍ）の反射光の強度を判定して、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する。
【００２８】
以下、ローリングシャッタ装置１９による固体撮像素子２上の個眼像Ａ、Ｂの読み出し手順と、ＬＥＤストロボ５の２つのＬＥＤ５ａ、５ｂの発光の切替わりタイミングについて、図４を参照して説明する。
【００２９】
まず、固体撮像素子２上の個眼像Ａ、Ｂの読み出し手順について説明する。ローリングシャッタ装置１９は、単位画素１５の配列された行列方向の原点Ｓを起点にして行方向（Ｘ方向）に沿って１行目の単位画素１５（の蓄積電荷電圧）を読み出した後、列方向（Ｙ方向）において原点Ｓから遠ざかった次の行（読取ライン）の単位画素１５を順次繰り返して読み出すことによって、最終的に全ての単位画素１５を読み出し、個眼像Ａ、Ｂをこの順で読み出す。図４において、単位画素１５が読み出される順序は、矢印Ｒａ、Ｒｂ、Ｒｃ、・・の順である。なお、矢印Ｒａ、Ｒｂ、Ｒｃ、・・は、請求項における読取ラインを模式的に間引いて表したものであり、実際の読取ラインは、図３における固体撮像素子２上のＸ方向に沿った各単位画素１５で構成されるラインである。
【００３０】
タイミングジェネレータ１８は、各行の読み出しが終了する度にマイクロプロセッサ２４へ水平同期信号ＳＧ５を出力し、マイクロプロセッサ２４は、水平同期信号ＳＧ５をカウントすることによって個眼像Ａの読み出しの開始と終了、及び個眼像Ｂの読み出しの開始と終了のタイミングを認識し、個眼像Ａの読み出しの開始と終了に合わせてＬＥＤ５ａへ点灯指令信号と消灯指令信号を出力し、個眼像Ｂの読み出しの開始と終了に合わせてＬＥＤ５ｂへ点灯指令信号と消灯指令信号を出力する。なお、ＬＥＤ５ａ、５ｂへの点灯指令信号及び消灯指令信号は、上述したタイミング信号ＳＧ１の一種であり、ＬＥＤ５ａ、５ｂへの点灯指令信号には、ＬＥＤ５ａとＬＥＤ５ｂの発光強度についての（環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光の強度比と同じ強度比でＬＥＤ５ａとＬＥＤ５ｂとを発光させるように制御するための）制御情報が含まれる。
【００３１】
図４において、ＬＥＤ５ａの点灯・消灯のタイミングとＬＥＤ５ｂの点灯・消灯のタイミングが、それぞれ上方から下方へ向かうパルス波形Ｐａ、Ｐｂとして示される。このパルス波形Ｐａ、Ｐｂにおいて、単位画素１５の原点Ｓから読み出しが開始された時点をｔ＝０とし、最後の単位画素１５が読み出された時点をｔ＝Ｔとすると、個眼像Ａの読み出しが開始された時点（ｔ１）でＬＥＤ５ａが点灯され、個眼像Ａの読み出しが終了された時点（ｔ２）でＬＥＤ５ａが消灯され、個眼像Ｂの読み出しが開始された時点（ｔ３）でＬＥＤ５ｂが点灯され、個眼像Ｂの読み出しが終了された時点（ｔ４）でＬＥＤ５ｂが消灯される。ＬＥＤ５ａの発光強度とＬＥＤ５ｂの発光強度との比は、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光の強度比と同じ比である。例えば、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光との強度比が、２：１である場合は、ＬＥＤ５ａからの照射光の強度とＬＥＤ５ｂからの照射光の強度との比も、２：１である。
【００３２】
背景技術で説明したように、特願２００７−０１２９２１で提案した皮膚領域検出撮像装置では、ＬＥＤストロボからの照射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が、環境光におけるこれらの波長の光の強度比と異なるため、図１６に示されるように、被写体における同一部分からの反射光であっても、環境光が日なたであるか日陰であるかによって、反射光に含まれる８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が異なる。従って、反射光に含まれる８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比に基づいて、正確な皮膚領域の検出を行えない場合がある。
【００３３】
本発明では、ＬＥＤストロボ５からの照射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比を、環境光におけるこれらの波長の光の強度比と同じになるようにすることで、上記の問題を解消する。例えば、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光との強度比が、２：１である場合は、ＬＥＤ５ａからの照射光の強度とＬＥＤ５ｂからの照射光の強度との比も、２：１にする。
【００３４】
これにより、環境光が日なたの部分も日陰の部分も、いずれも８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が２：１の照射光で照明することができる。ここで、一般に、異なる波長の照射光に対する物体からの反射光の強度比は、照射光中におけるこれらの波長の照射光の強度比に、これらの波長の照射光に対する物体固有の反射率の比を乗算することで得られる。従って、上記のように、環境光が日なたの部分についても日陰の部分についても同じ強度比で、８５０ｎｍの波長の光と９５０ｎｍの波長の光とを照射することで、反射光中におけるこれらの波長の光の強度比を、これらの波長の照射光に対する物体固有の反射率の比と実質的に同じにすることができる。
【００３５】
例えば、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光との強度比が、２：１である場合には、ＬＥＤストロボ５からの照射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比を２：１にすることで、環境光が日なたの部分についても日陰の部分についても２：１の強度比で、８５０ｎｍの波長の光と９５０ｎｍの波長の光とを照射することができる。これにより、反射光中における８５０ｎｍの波長の光と９５０ｎｍの波長の光の強度比は、図５に示されるように、環境光が日なたの部分であるか日陰の部分であるかに係らず、人間の皮膚の領域では、２．４：１．０となり、人間の皮膚以外の領域では、２．０：１．０となる。従って、例えば反射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が２．２：１．０よりも大きい領域を皮膚領域と判定することにより、皮膚領域と皮膚以外の領域とを判別することができる。
【００３６】
なお、一般に、環境光の日陰になっている部分については、照り返しなどによって環境光と異なるスペクトル比（周波数成分毎の光の強度比）で照明される場合が多い。従って、この照り返しの影響を除くためにＬＥＤストロボ５を用いる必要がある。照り返しは、直射する環境光に比べて非常に弱いため、ＬＥＤストロボ５を照射することで照り返しの影響を除去することが可能になる。
【００３７】
次に、本実施形態の皮膚領域検出撮像装置１における皮膚領域の検出手順について、図６のフローチャートを参照して説明する。
【００３８】
撮像開始前に、マイクロプロセッサ２４は、ＬＥＤ５ａとＬＥＤ５ｂの発光強度比が、環境光における上記２種類の波長（８５０ｎｍ及び９４０ｎｍ）の光の強度比と同じになるように、電圧調整回路１０にＬＥＤ５ａとＬＥＤ５ｂの発光強度の設定を行う（Ｓ１）。撮像が開始されると、マイクロプロセッサ２４は、ＬＥＤ５ａによる８５０ｎｍの中心波長の近赤外線の発光と、ＬＥＤ５ｂによる９４０ｎｍの中心波長の近赤外線の発光との切替えタイミングを、ローリングシャッタ装置１９により読み出す像を切替えるタイミングに合わせながら、ＬＥＤストロボ５が、上記２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するように制御する。これにより、８５０ｎｍ中心波長と９４０ｎｍ中心波長の照射光に対応した２種類の被写体像（個眼像Ａ、Ｂ）が、固体撮像素子２上に形成される。個眼像Ａは、ＬＥＤ５ａが発光することにより８５０ｎｍを中心波長とする近赤外光によって照明された被写体の像であり、個眼像Ｂは、ＬＥＤ５ｂが発光することにより９４０ｎｍを中心波長とする近赤外光によって照明された被写体の像である。ローリングシャッタ装置１９は、固体撮像素子２上の各単位画素１５の蓄積電荷電圧を読取ライン毎に読み出すことにより、固体撮像素子２上に形成された２種類の個眼像Ａ、Ｂを順に読み出す。マイクロプロセッサ２４は、画像処理プロセッサ２２が個眼像Ａ、Ｂの画像情報を取得して（Ｓ２）、各画像情報を所定の長方形状に切出す（Ｓ３）ように制御する。ローリングシャッタ装置の１回のシャッタ動作内に読み出されて画像処理プロセッサ２２により切り出された個眼像Ａ、Ｂは、画像としてＲＡＭ２３に記憶される。
【００３９】
個眼像Ａと個眼像Ｂの具体的な例が図７（ａ）、図７（ｂ）に示される。被写体中の人物Ｊの顔等の皮膚領域Ｊａについては、ＬＥＤ５ａで照明された個眼像Ａ（図７（ａ））の方がＬＥＤ５ｂで照明された個眼像Ｂ（図７（ｂ））よりも明るく表示されるが、人物Ｊの髪や衣服等の皮膚以外の領域Ｊｂについては、近赤外線に対する反射率がほぼ同等であるのでＬＥＤ５ａで照明された個眼像Ａ（図７（ａ））とＬＥＤ５ｂで照明された個眼像Ｂ（図７（ｂ））との間に大きな差が生じない。
【００４０】
図８に近赤外線領域の各波長の光に対する皮膚領域の反射率特性を示す。波長が８５０ｎｍの近赤外光に対する反射率と、波長が９４０ｎｍの近赤外光に対する反射率との比は、１．２：１．０程度である。なお、波長が８５０ｎｍよりも短い領域は可視光の赤色の領域であり、また、波長が９４０ｎｍよりも長い領域では固体撮像素子２の感度が急激に低下する。
【００４１】
次に、マイクロプロセッサ２４は、ＲＡＭ２３に記憶された個眼像Ａと個眼像Ｂに基づいて、８５０ｎｍと９４０ｎｍの２種類の波長の照射光に対応した、被写体からの２種類の波長の反射光の強度を判定して（図６のＳ４）、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する（Ｓ５）。
【００４２】
上記の例であれば、人物Ｊの顔と衣服から露出している手部分とが皮膚領域Ｊａとして検出される。マイクロプロセッサ２４は、検出した皮膚領域Ｊａの画像を表示装置６に表示する（Ｓ６）。表示装置６に表示される画像の例が図７（ｃ）に示される。
【００４３】
以上のように、本実施形態の皮膚領域検出撮像装置１によれば、ＬＥＤストロボ５が、近赤外線領域における異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するので、撮像エリア内に環境光の日なたになっている部分と日陰になっている部分とがある場合でも、撮像エリア内の全ての部分における上記２種類の波長の照射光の強度比を一定にすることが可能になる。ここで、２種類の波長の反射光の強度比は、２種類の波長の照射光の強度比と、被写体が有する、上記２種類の波長の照射光に対する反射率の比とを乗算することで得ることができるので、上記のように撮像エリア内の全ての部分において２種類の波長の照射光の強度比を一定にすることができるようにしたことにより、撮像エリア内の全ての部分における上記２種類の波長の反射光の強度比を、被写体が有する、上記２種類の波長の照射光に対する反射率の比に応じたものとすることができる。従って、被写体が環境光の日なたになっているか日陰になっているかに係らず、被写体からの２種類の波長の反射光の強度比に基づいて、撮像エリア内の皮膚領域を正確に検出することができる。
【００４４】
また、ローリングシャッタ装置１９の１回のシャッタ動作内に読み出された２種類の被写体像を画像として記憶し、これらの２種類の画像（個眼像Ａ、Ｂ）を用いて皮膚領域を検出するようにしたことにより、短時間のうちに皮膚領域を検出することができる。
【００４５】
次に、第２の実施形態について、図９乃至図１１を参照して説明する。第２の実施形態は、請求項１及び請求項３に対応する。第２の実施形態の皮膚領域検出撮像装置１は、第１の実施形態の皮膚領域検出撮像装置１と類似した構造であり、相違するところは、第１の実施形態の光学フィルタ１３に代えて、２つの光学レンズ８による集光路３０ａ、３０ｂごとに、近赤外線領域における異なった２種類の波長の光を選択的に透過するバンドパスフィルタ３１ａ、３１ｂを設けた点と、ＬＥＤ５ａによる発光とＬＥＤ５ｂによる発光の切替えを行わず、ＬＥＤ５ａによる発光とＬＥＤ５ｂによる発光を同時に行なうという点である。以下、各相違点について詳細に説明する。
【００４６】
第２の実施形態では、ＬＥＤストロボ５におけるＬＥＤ５ａとＬＥＤ５ｂの点灯・消灯を所定のタイミングで切替えず、被写体の撮像が行われている間中、ＬＥＤ５ａとＬＥＤ５ｂの両方を継続して発光させる。
【００４７】
バンドパスフィルタ３１ａ、３１ｂは、それぞれ２つの光学レンズ８に固有の集光路３０ａ、３０ｂに配置され、バンドパスフィルタ３１ａは、中心波長が８５０ｎｍ付近の近赤外光を透過するフィルタであり、バンドパスフィルタ３１ｂは、中心波長が９４０ｎｍ付近の近赤外光を透過するフィルタである。図１０にバンドパスフィルタ３１ａの透過率特性が示され、図１１にバンドパスフィルタ３１ｂの透過率特性が示される。
【００４８】
バンドパスフィルタ３１ａによって選択的に透過される近赤外光によって形成される個眼像Ａは、皮膚領域Ｊａが比較的明るく表された画像（図７（ａ））になり、バンドパスフィルタ３１ｂによって選択的に透過される近赤外光によって形成される個眼像Ｂは、皮膚領域Ｊａが比較的暗く表された画像（図７（ｂ））になる。
【００４９】
第２の実施形態における皮膚領域の検出手順では、マイクロプロセッサ２４は、電圧調整回路１０を用いて、ＬＥＤストロボ５が、環境光における２種類の波長（８５０ｎｍ及び９４０ｎｍ）の光の強度比と同じ強度比で、これら２種類の波長の光を同時に照射するように制御する。この後、マイクロプロセッサ２４は、第１の実施形態と同様に、画像情報の取得、所定形状の画像への切り出し、２種類の波長の反射光の強度判定、皮膚領域の検出、画像の表示を実行し、皮膚領域Ｊａの検出及び画像表示を行う。
【００５０】
第２の実施形態の皮膚領域検出撮像装置１においても、上記請求項１と同様な効果を得ることができる。
【００５１】
この第２の実施形態におけるバンドパスフィルタ３１ａ、３１ｂは、光透過領域として可視光領域を含むものに代えられてもよい。この場合には、各バンドパスフィルタ３１ａ、３１ｂが可視光領域の光も透過するので、個眼像Ａ、Ｂ自体を色彩等が正常な通常の被写体画像として得ることができる。また、ユーザは、得られる画像を表示装置６に表示して見ることができ、本皮膚領域検出撮像装置１を監視カメラ装置として利用することができる。
【００５２】
次に、第３の実施形態について、図１２乃至図１５を参照して説明する。第３の実施形態は、請求項１及び請求項４に対応する。図１２は、第３の実施形態に係る皮膚領域検出撮像装置１の概略構成を示し、図１３は、皮膚領域検出撮像装置１の前面を示す。また、図１４は、固体撮像素子２上の各部分撮像エリアの読み出し順序と、２つのＬＥＤ５ａ、５ｂの発光タイミングを示す。第３の実施形態の皮膚領域検出撮像装置１は、第１の実施形態の皮膚領域検出撮像装置１に類似した構造であり、主な相違点は、環境光における異なった２種類の波長（８５０ｎｍ及び９４０ｎｍ）の光の強度比を実際に検出する手段を設けた点と、マイクロプロセッサ２４が、検出した強度比でＬＥＤストロボ５が２種類の波長の光を発光するように制御する点である。
【００５３】
図１２乃至図１４に示されるように、第３の実施形態の皮膚領域検出撮像装置１は、固体撮像素子２上の部分撮像エリア２ｃ，２ｄに環境光を取り込むための拡散板４１ａ，４１ｂと、拡散板４１ａ，４１ｂを通して取り込んだ環境光の部分撮像エリア２ｃ，２ｄへの通過路４０ａ，４０ｂに配置され、各通過路４０ａ，４０ｂごとに異なった２種類の波長の照射光を選択的に透過するための２種類のバンドパスフィルタ４２ａ，４２ｂとを備える。バンドパスフィルタ４２ａは、中心波長が８５０ｎｍ付近の近赤外光を透過するフィルタであり、バンドパスフィルタ４２ｂは、中心波長が９４０ｎｍ付近の近赤外光を透過するフィルタである。
【００５４】
本実施形態の皮膚領域検出撮像装置１は、拡散板４１ａ，４１ｂと２種類のバンドパスフィルタ４２ａ，４２ｂとを介して取り込んだ２種類（８５０ｎｍ付近と９４０ｎｍ付近）の波長の環境光を部分撮像エリア２ｃ，２ｄで受光して、ローリングシャッタ装置１９で読み取った部分撮像エリア２ｃ，２ｄ内の単位画素１５の蓄積電荷電圧に基づいて、環境光における８５０ｎｍ付近と９４０ｎｍ付近の波長の光の強度比を判定する。なお、図１４に示されるように、部分撮像エリア２ｃ，２ｄを撮像するタイミングでは、ＬＥＤストロボ５がオフとなる（消灯する）ように、タイミングジェネレータ１８が予め設定されている。マイクロプロセッサ２４は、上記のようにして検出した、環境光における２種類の波長の光の強度比で、ＬＥＤストロボ５が８５０ｎｍと９４０ｎｍの波長の光を発光するように制御する。マイクロプロセッサ２４が請求項４における環境光強度比検出手段、発光強度制御手段及び切替え制御手段に相当する。なお、図１２及び図１４に示される部分撮像エリア２ａ，２ｂは、それぞれ個眼像Ａ、Ｂを撮像するための撮像エリアである。
【００５５】
図１５は、第３の実施形態における皮膚領域の検出手順を示す。まず、マイクロプロセッサ２４は、２種類のバンドパスフィルタ４２ａ，４２ｂに対応した部分撮像エリア２ｃ，２ｄ内の単位画素１５の蓄積電荷電圧に基づいて、環境光における８５０ｎｍ付近と９４０ｎｍ付近の波長の光の強度比を判定し、この強度比に基づいて、８５０ｎｍの中心波長の光を照射するＬＥＤ５ａと、９４０ｎｍの中心波長の光を照射するＬＥＤ５ｂとの発光強度（比）を決定する（Ｓ１１）。そして、マイクロプロセッサ２４は、決定した強度（比）に基づき、電圧調整回路１０にＬＥＤ５ａとＬＥＤ５ｂの発光強度の設定を行う（Ｓ１２）。そして、撮像が開始されると、マイクロプロセッサ２４は、図１４に示されるように、ＬＥＤ５ａとＬＥＤ５ｂとを時分割発光させて、第１の実施形態と同様に、画像情報の取得（Ｓ１３）、所定形状の画像への切り出し（Ｓ１４）、２種類の波長の反射光の強度判定（Ｓ１５）、皮膚領域の検出（Ｓ１６）、画像の表示（Ｓ１７）を実行し、皮膚領域Ｊａの検出及び画像表示を行う。
【００５６】
以上のように、第３の実施形態の皮膚領域検出撮像装置１によれば、撮像エリア内の環境光における上記２種類の波長の光の強度比を実際に計測して、ＬＥＤストロボ５が、実際の環境光における上記２種類の波長の光の強度比と同じ強度比で被写体を照射することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施形態に係る皮膚領域検出撮像装置の概略構成を示す図。
【図２】同皮膚領域検出撮像装置の正面図。
【図３】同皮膚領域検出撮像装置における固体撮像素子の正面図。
【図４】同皮膚領域検出撮像装置における個眼像が読み出される順序と２つのＬＥＤの発光タイミングを示す説明図。
【図５】同皮膚領域検出撮像装置における環境光の日なた/日陰、人間の皮膚/皮膚以外の４種類の場合の、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光の強度比を示す図。
【図６】同皮膚領域検出撮像装置における皮膚領域の検出手順を示すフローチャート。
【図７】（ａ）は同皮膚領域検出撮像装置において中心波長が８５０ｎｍの近赤外光によって照明された被写体の個眼像の例を示す図、（ｂ）は中心波長が９４０ｎｍの近赤外光によって照明された被写体の個眼像の例を示す図、（ｃ）は皮膚領域の検出画像の例を示す図。
【図８】近赤外線領域の各波長の光に対する皮膚領域の反射率を示す図。
【図９】本発明の第２の実施形態に係る皮膚領域検出撮像装置の概略構成を示す図。
【図１０】同皮膚領域検出撮像装置における中心波長が８５０ｎｍ付近の近赤外光を透過するバンドパスフィルタの透過率特性を示す図。
【図１１】同皮膚領域検出撮像装置における中心波長が９４０ｎｍ付近の近赤外光を透過するバンドパスフィルタの透過率特性を示す図。
【図１２】本発明の第３の実施形態に係る皮膚領域検出撮像装置の概略構成を示す図。
【図１３】同皮膚領域検出撮像装置の正面図。
【図１４】同皮膚領域検出撮像装置における各部分撮像エリアの読み出し順序と２つのＬＥＤの発光タイミングを示す説明図。
【図１５】同皮膚領域検出撮像装置における皮膚領域の検出手順を示すフローチャート。
【図１６】従来例の皮膚領域検出撮像装置における環境光の日なた/日陰、人間の皮膚/皮膚以外の４種類の場合の、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光の強度比を示す図。
【符号の説明】
【００５８】
１ 皮膚領域検出撮像装置
２ 固体撮像素子
２ｃ，２ｄ 部分撮像エリア
５ ＬＥＤストロボ（異種類像形成手段、フラッシュ光源）
５ａ、５ｂ ＬＥＤ
８ 光学レンズ
１９ ローリングシャッタ装置
２３ ＲＡＭ（記憶手段）
２４ マイクロプロセッサ（切替え制御手段、皮膚領域検出手段、環境光強度比検出手段、発光強度制御手段）
３０ａ、３０ｂ 集光路
３１ａ、３１ｂ バンドパスフィルタ（異種類像形成手段）
４０ａ，４０ｂ 通過路
４１ａ，４１ｂ 拡散板
４２ａ，４２ｂ バンドパスフィルタ
Ａ、Ｂ 個眼像（２種類の画像）
Ｊａ 皮膚領域
【技術分野】
【０００１】
本発明は、皮膚領域検出撮像装置に関し、詳しくは、近赤外線領域の光によって照明された被写体の撮像画像から人体の皮膚領域を検出する皮膚領域検出撮像装置に関する。
【背景技術】
【０００２】
人体の皮膚領域は、近赤外線領域における異なった波長の照射光に対して異なった反射率を有している（例えば、８５０ｎｍの照射光に対する皮膚の反射率と９５０ｎｍの照射光に対する皮膚の反射率との比は、１．２：１．０程度である）。従来より、この性質を利用して監視カメラ等における人体検出を行うことが提案されている。例えば、本出願人は、被写体からの光を集光し固体撮像素子上に２つの個眼像Ａ、Ｂを形成する２つの光学レンズと、２つの個眼像を順に読み出すローリングシャッタ装置と、近赤外線領域における異なった波長（８５０ｎｍ、９４０ｎｍ）の光を発する２つのＬＥＤとを備え、個眼像Ａが読み出されるときに８５０ｎｍの波長の光を照射するＬＥＤを点灯させ、個眼像Ｂが読み出されるときに９４０ｎｍの波長の光を照射するＬＥＤを点灯させる皮膚領域検出撮像装置を出願した（特願２００７−０１２９２１）。この皮膚領域検出撮像装置によれば、近赤外線領域の２種類の波長の光に対する皮膚領域の反射率の相違を利用して、個眼像Ａ、Ｂを比較して明るさの差が所定値以上である領域を皮膚領域として検出する。
【０００３】
しかしながら、太陽光等の環境光は、ＬＥＤからの照射光に比べて強力である場合が多いため、撮像エリアの全てをＬＥＤ照射光のスペクトル特性に合致した光で照明できない場合がある。
【０００４】
例えば、環境光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が２：１である場合に、８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が１：１の光を照射するＬＥＤストロボを時分割発光させて撮像を行うとする。ここで、太陽光等の環境光は、ＬＥＤストロボからの照射光に比べて非常に強力である。また、撮像エリア内には、環境光が殆ど当たらず、陰となっている場所もある。
【０００５】
画像が撮像される時に撮像エリア内の被写体に当たっている光（照射光）のスペクトル特性を考えると、環境光の陰（日陰）になっている部分については、殆どＬＥＤストロボのみで照明されていると考えてよいので、この部分への照射光における、８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比は、概ね１：１となる。これに対して、撮像エリア内の被写体のうち、環境光が強く当たっている部分については、ＬＥＤストロボからの照射光は殆ど影響を与えることができないため、この部分への照射光における、８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比は、環境光における強度比と殆ど同じ値（２：１に近い値）になると考えられる。
【０００６】
次に、被写体からの反射光のスペクトル特性を考える。８５０ｎｍの波長の光に対する人間の皮膚の反射率と９５０ｎｍの波長の光に対する人間の皮膚の反射率との比は、１．２：１．０程度である。これに対して、人間の皮膚以外の物質については、８５０ｎｍの波長の光と９５０ｎｍの波長の光に対する反射率の比は、概ね１．０：１．０程度となる。反射光のスペクトル特性は入射光のスペクトル特性と反射率のスペクトル特性を乗算することで得られる（反射光のスペクトル比（強度比）は入射光のスペクトル比（強度比）と反射率の比を乗算することで得られる）ので、撮像エリア内の被写体について、環境光の日なた/日陰、人間の皮膚/皮膚以外 の２×２の４種の場合で、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光のスペクトル比（強度比）を概算すると、図１６に示されるようになる。すなわち、（１）環境光日なた・人間の皮膚・・・２．４：１．０（＝２．４／１．０＝２．４）、（２）環境光日なた・皮膚以外・・・２．０：１．０（＝２．０／１．０＝２．０）、（３）環境光日陰・人間の皮膚・・・１．２：１．０（＝１．２／１．０＝１．２）、（４）環境光日陰・皮膚以外・・・１．０：１．０（＝１．０／１．０＝１．０）となる。
【０００７】
特願２００７−０１２９２１で提案した皮膚領域検出撮像装置は、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光のスペクトル比（強度比）が、人間の皮膚からの反射光については大きくなり、それ以外の物質からの反射光については小さくなることを期待して皮膚領域の検出を行うが、上の（１）〜（４）では皮膚以外の領域である（２）の強度比（２．０）の方が、皮膚領域である（３）の強度比（１．２）よりも大きくなっている。従って、特願２００７−０１２９２１で提案した皮膚領域検出撮像装置では、正確な皮膚領域の検出を行えない場合が発生する。
【０００８】
なお、撮像装置の分野において、複数の光学系を備えた複眼撮像装置が知られている（例えば、特許文献１乃至５参照）。けれども、特許文献１乃至５に記載の発明では、上記の問題を解決することができない。
【特許文献１】特開２００７−２９５１４１号公報
【特許文献２】特開２００５−３０３６９４号公報
【特許文献３】特開２００７−６５３３５号公報
【特許文献４】特開２００５−３４１３０１号公報
【特許文献５】特開２００７−１７４５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記の問題を解決するためになされたものであり、被写体が環境光の日なたになっているか日陰になっているかに係らず、正確な皮膚領域の検出を行うことが可能な皮膚領域検出撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために請求項１の発明は、被写体からの光を集光する複数の光学レンズと、前記複数の光学レンズにより集光された被写体からの光を用いて、近赤外線領域における異なった２種類の波長の照射光に対応した２種類の被写体像を形成する異種類像形成手段と、前記異種類像形成手段によって形成された２種類の被写体像を撮像する固体撮像素子と、前記固体撮像素子上の各画素に蓄積された電荷に応じた電圧（以下、蓄積電荷電圧と略す）を読取ライン毎に読み出すことにより、前記固体撮像素子上に形成された２種類の被写体像を順に読み出すためのローリングシャッタ装置と、前記ローリングシャッタ装置の１回のシャッタ動作内に読み出された前記２種類の被写体像を画像として記憶する記憶手段と、前記記憶手段に記憶された２種類の画像に基づいて、前記２種類の波長の照射光に対応した、被写体からの２種類の波長の反射光の強度を判定して、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する皮膚領域検出手段とを備えた皮膚領域検出撮像装置において、前記異種類像形成手段は、前記異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するフラッシュ光源を含むものである。
【００１１】
請求項２の発明は、請求項１に記載の皮膚領域検出撮像装置において、前記異種類像形成手段は、前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段をさらに含むものである。
【００１２】
請求項３の発明は、請求項１に記載の皮膚領域検出撮像装置において、前記異種類像形成手段は、前記複数の光学レンズによる集光路に配置され、前記各集光路ごとに近赤外線領域における異なった２種類の波長の光を選択的に透過するための２種類のバンドパスフィルタをさらに含むものである。
【００１３】
請求項４の発明は、請求項１に記載の皮膚領域検出撮像装置において、前記固体撮像素子上の一部の撮像エリア（以下、「部分撮像エリア」という）に環境光を取り込むための拡散板と、前記拡散板を通して取り込んだ環境光の前記部分撮像エリアへの通過路に配置され、前記各通過路ごとに前記２種類の波長の照射光を選択的に透過するための２種類のバンドパスフィルタと、前記拡散板と前記２種類のバンドパスフィルタとを介して取り込んだ２種類の波長の環境光を前記部分撮像エリアで受光して、前記ローリングシャッタ装置で読み取った前記部分撮像エリア内の画素の蓄積電荷に基づいて、環境光における前記２種類の波長の光の強度比を判定する環境光強度比検出手段とをさらに備え、前記異種類像形成手段は、前記環境光強度比検出手段により検出した、環境光における前記２種類の波長の光の強度比で、前記フラッシュ光源が前記２種類の波長の光を発光するように制御する発光強度制御手段と、前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段とをさらに含むものである。
【発明の効果】
【００１４】
請求項１の発明によれば、フラッシュ光源が、近赤外線領域における異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するので、撮像エリア内の全ての部分における上記２種類の波長の照射光の強度比を一定にすることが可能になる。ここで、２種類の波長の反射光の強度比は、２種類の波長の照射光の強度比と、被写体が有する、上記２種類の波長の照射光に対する反射率の比とを乗算することで得ることができるので、上記のように撮像エリア内の全ての部分において２種類の波長の照射光の強度比を一定にすることができるようにしたことにより、撮像エリア内の全ての部分における上記２種類の波長の反射光の強度比を、被写体が有する、上記２種類の波長の照射光に対する反射率の比に応じたものとすることができる。従って、被写体が環境光の日なたになっているか日陰になっているかに係らず、被写体からの２種類の波長の反射光の強度比に基づいて、撮像エリア内の皮膚領域を正確に検出することができる。
【００１５】
また、ローリングシャッタ装置の１回のシャッタ動作内に読み出された２種類の被写体像を画像として記憶し、これらの２種類の画像を用いて皮膚領域を検出するようにしたことにより、短時間のうちに皮膚領域を検出することができる。
【００１６】
請求項２及び３の発明によれば、上記請求項１に記載の発明の効果を的確に得ることができる。
【００１７】
請求項４の発明によれば、撮像エリア内の環境光における上記２種類の波長の光の強度比を実際に計測して、フラッシュ光源が、実際の環境光における上記２種類の波長の光の強度比と同じ強度比で被写体を照射することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の第１の実施形態に係る皮膚領域検出撮像装置について、図１乃至図７を参照して説明する。第１の実施形態は、請求項１及び請求項２に対応する。本実施形態の皮膚領域検出撮像装置１は、図１乃至図３に示されるように、被写体からの光を集光して焦点位置にある固体撮像素子２上に上下２個の像（以下、個眼像という）Ａ、Ｂを形成する２つの光学レンズを含むレンズ光学系３と、これら２個の個眼像Ａ、Ｂを撮像する固体撮像素子２と、固体撮像素子２上に形成された２個の個眼像Ａ、Ｂを電子的に処理して皮膚領域の検出を行う電子回路４と、電子回路４からのタイミング信号ＳＧ２，ＳＧ３に応じて近赤外線領域における異なった２種類の波長を中心波長として持つ２つのＬＥＤ５ａ、５ｂを交代的に（時間的に切替えて）発光するＬＥＤストロボ５（フラッシュ光源）と、電子回路４が検出した皮膚領域の画像等を表示する液晶パネル等から構成される表示装置６と、制御データの入力や画像データの取込み等を行うパソコン等の外部装置７とを備えている。また、電子回路４は、装置全体の制御を行うマイクロプロセッサ（切替え制御手段、皮膚領域検出手段）２４を有している。
【００１９】
ＬＥＤストロボ５における２つのＬＥＤ５ａ、５ｂは、一方が８５０ｎｍの中心波長の近赤外線を発光するＬＥＤ５ａであり、他方が９４０ｎｍの中心波長の近赤外線を発光するＬＥＤ５ｂである。マイクロプロセッサ２４は、ＬＥＤストロボ５が、異なった２種類の波長（８５０ｎｍ及び９４０ｎｍ）の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するように電圧調整回路１０を制御する。また、マイクロプロセッサ２４は、ＬＥＤ５ａによる８５０ｎｍの中心波長の近赤外線の発光と、ＬＥＤ５ｂによる８５０ｎｍの中心波長の近赤外線の発光との切替えタイミングを、後述するローリングシャッタ装置１９により読み出す像を切替えるタイミングに合わせる。本実施形態では、マイクロプロセッサ２４とＬＥＤストロボ５とが、請求項における異種類像形成手段に相当する。また、固体撮像素子２は、これらの異種類像形成手段によって形成された２種類の被写体像（個眼像Ａ、Ｂ）を撮像する。
【００２０】
レンズ光学系３は、図１及び図２に示されるように、光軸Ｌが互いに平行になるように上下に配置された２個の光学レンズ８と、光学レンズ８の支持フレーム９に形成された絞り開口１１と、光学レンズ８と固体撮像素子２の間に、各光学レンズ８から固体撮像素子２へ向けてそれぞれ出射される光同士が干渉しないように配置された隔壁１２と、固体撮像素子２の前方に配置された光学フィルタ１３とを備えている。光学フィルタ１３は、近赤外線領域の光を透過するフィルタである。
【００２１】
固体撮像素子２は、基板１４上に形成されたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成され、行列方向（図３及び図４のＸ、Ｙ方向）に多数の単位画素１５を有している。
【００２２】
各光学レンズ８によって固体撮像素子２上に集光されて形成される個眼像Ａ、Ｂが、図３において、それぞれ円形で表わされる。各個眼像Ａ、Ｂは、固体撮像素子２によってアナログの画像情報（画素に蓄積される電荷に応じた電圧（蓄積電荷電圧））に変換され後述するローリングシャッタ装置１９によって個眼像Ａ、個眼像Ｂの順に読み出される。
【００２３】
固体撮像素子２と同一の基板１４上には、固体撮像素子２の垂直走査回路１６と水平走査回路１７にタイミング信号ＳＧ４を出力するタイミングジェネレータ（ＴＧ）１８が備えられ、該タイミング信号ＳＧ４に基づいて固体撮像素子２の単位画素１５（の蓄積電荷電圧）が後に詳述する所定の順序で読み出され、個眼像Ａ、個眼像Ｂが、この順に読み出される。タイミングジェネレータ１８と垂直走査回路１６と水平走査回路１７によってローリングシャッタ装置１９が構成されている。
【００２４】
次に、電子回路４について、図１を参照して説明する。電子回路４は、固体撮像素子２から出力されるアナログの画像情報をＡＤコンバータ２１を介してディジタル信号として取込む画像処理プロセッサ２２と、画像処理プロセッサ２２に取込まれた画像情報を一時的に記憶するＲＡＭ（記憶手段）２３と、画像処理プロセッサ２２に取込まれた画像情報を後述の処理手順に従って処理して皮膚領域を検出する、上記のマイクロプロセッサ２４と、検出した皮膚領域の画像情報を一時的に記憶するＲＡＭ２５とを備える。
【００２５】
画像処理プロセッサ２２は、固体撮像素子２へ制御信号を出力して露光調整やゲイン調整等の制御を行い、取込んだ画像情報にガンマ補正やホワイトバランス補正等の画像処理も行う。
【００２６】
マイクロプロセッサ２４は、タイミングジェネレータ１８に接続され、タイミングジェネレータ１８が出力する水平同期信号ＳＧ５に基づいて所定のタイミングで、電圧調整回路１０を介してＬＥＤストロボ５を発光させるためのタイミング信号ＳＧ１を出力するように構成されている。また、タイミング信号ＳＧ１には、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光の強度比（例えば、２：１）と同じ強度比でＬＥＤ５ａとＬＥＤ５ｂとを発光させるように制御するための制御情報が含まれている。
【００２７】
ＲＡＭ２３は、上記の異種類像形成手段（マイクロプロセッサ２４とＬＥＤストロボ５）によって固体撮像素子２上に形成され、ローリングシャッタ装置１９の１回のシャッタ動作内に読み出された２種類の個眼像Ａ、Ｂを画像として記憶する。マイクロプロセッサ２４は、ＲＡＭ２３に記憶された２種類の個眼像Ａ、Ｂに基づいて、異なった２種類の波長（８５０ｎｍと９４０ｎｍ）の照射光に対応した、被写体からの２種類の波長（８５０ｎｍ及び９４０ｎｍ）の反射光の強度を判定して、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する。
【００２８】
以下、ローリングシャッタ装置１９による固体撮像素子２上の個眼像Ａ、Ｂの読み出し手順と、ＬＥＤストロボ５の２つのＬＥＤ５ａ、５ｂの発光の切替わりタイミングについて、図４を参照して説明する。
【００２９】
まず、固体撮像素子２上の個眼像Ａ、Ｂの読み出し手順について説明する。ローリングシャッタ装置１９は、単位画素１５の配列された行列方向の原点Ｓを起点にして行方向（Ｘ方向）に沿って１行目の単位画素１５（の蓄積電荷電圧）を読み出した後、列方向（Ｙ方向）において原点Ｓから遠ざかった次の行（読取ライン）の単位画素１５を順次繰り返して読み出すことによって、最終的に全ての単位画素１５を読み出し、個眼像Ａ、Ｂをこの順で読み出す。図４において、単位画素１５が読み出される順序は、矢印Ｒａ、Ｒｂ、Ｒｃ、・・の順である。なお、矢印Ｒａ、Ｒｂ、Ｒｃ、・・は、請求項における読取ラインを模式的に間引いて表したものであり、実際の読取ラインは、図３における固体撮像素子２上のＸ方向に沿った各単位画素１５で構成されるラインである。
【００３０】
タイミングジェネレータ１８は、各行の読み出しが終了する度にマイクロプロセッサ２４へ水平同期信号ＳＧ５を出力し、マイクロプロセッサ２４は、水平同期信号ＳＧ５をカウントすることによって個眼像Ａの読み出しの開始と終了、及び個眼像Ｂの読み出しの開始と終了のタイミングを認識し、個眼像Ａの読み出しの開始と終了に合わせてＬＥＤ５ａへ点灯指令信号と消灯指令信号を出力し、個眼像Ｂの読み出しの開始と終了に合わせてＬＥＤ５ｂへ点灯指令信号と消灯指令信号を出力する。なお、ＬＥＤ５ａ、５ｂへの点灯指令信号及び消灯指令信号は、上述したタイミング信号ＳＧ１の一種であり、ＬＥＤ５ａ、５ｂへの点灯指令信号には、ＬＥＤ５ａとＬＥＤ５ｂの発光強度についての（環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光の強度比と同じ強度比でＬＥＤ５ａとＬＥＤ５ｂとを発光させるように制御するための）制御情報が含まれる。
【００３１】
図４において、ＬＥＤ５ａの点灯・消灯のタイミングとＬＥＤ５ｂの点灯・消灯のタイミングが、それぞれ上方から下方へ向かうパルス波形Ｐａ、Ｐｂとして示される。このパルス波形Ｐａ、Ｐｂにおいて、単位画素１５の原点Ｓから読み出しが開始された時点をｔ＝０とし、最後の単位画素１５が読み出された時点をｔ＝Ｔとすると、個眼像Ａの読み出しが開始された時点（ｔ１）でＬＥＤ５ａが点灯され、個眼像Ａの読み出しが終了された時点（ｔ２）でＬＥＤ５ａが消灯され、個眼像Ｂの読み出しが開始された時点（ｔ３）でＬＥＤ５ｂが点灯され、個眼像Ｂの読み出しが終了された時点（ｔ４）でＬＥＤ５ｂが消灯される。ＬＥＤ５ａの発光強度とＬＥＤ５ｂの発光強度との比は、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光の強度比と同じ比である。例えば、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光との強度比が、２：１である場合は、ＬＥＤ５ａからの照射光の強度とＬＥＤ５ｂからの照射光の強度との比も、２：１である。
【００３２】
背景技術で説明したように、特願２００７−０１２９２１で提案した皮膚領域検出撮像装置では、ＬＥＤストロボからの照射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が、環境光におけるこれらの波長の光の強度比と異なるため、図１６に示されるように、被写体における同一部分からの反射光であっても、環境光が日なたであるか日陰であるかによって、反射光に含まれる８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が異なる。従って、反射光に含まれる８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比に基づいて、正確な皮膚領域の検出を行えない場合がある。
【００３３】
本発明では、ＬＥＤストロボ５からの照射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比を、環境光におけるこれらの波長の光の強度比と同じになるようにすることで、上記の問題を解消する。例えば、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光との強度比が、２：１である場合は、ＬＥＤ５ａからの照射光の強度とＬＥＤ５ｂからの照射光の強度との比も、２：１にする。
【００３４】
これにより、環境光が日なたの部分も日陰の部分も、いずれも８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が２：１の照射光で照明することができる。ここで、一般に、異なる波長の照射光に対する物体からの反射光の強度比は、照射光中におけるこれらの波長の照射光の強度比に、これらの波長の照射光に対する物体固有の反射率の比を乗算することで得られる。従って、上記のように、環境光が日なたの部分についても日陰の部分についても同じ強度比で、８５０ｎｍの波長の光と９５０ｎｍの波長の光とを照射することで、反射光中におけるこれらの波長の光の強度比を、これらの波長の照射光に対する物体固有の反射率の比と実質的に同じにすることができる。
【００３５】
例えば、環境光における８５０ｎｍの波長の光と９４０ｎｍの波長の光との強度比が、２：１である場合には、ＬＥＤストロボ５からの照射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比を２：１にすることで、環境光が日なたの部分についても日陰の部分についても２：１の強度比で、８５０ｎｍの波長の光と９５０ｎｍの波長の光とを照射することができる。これにより、反射光中における８５０ｎｍの波長の光と９５０ｎｍの波長の光の強度比は、図５に示されるように、環境光が日なたの部分であるか日陰の部分であるかに係らず、人間の皮膚の領域では、２．４：１．０となり、人間の皮膚以外の領域では、２．０：１．０となる。従って、例えば反射光における８５０ｎｍの波長の光と９５０ｎｍの波長の光との強度比が２．２：１．０よりも大きい領域を皮膚領域と判定することにより、皮膚領域と皮膚以外の領域とを判別することができる。
【００３６】
なお、一般に、環境光の日陰になっている部分については、照り返しなどによって環境光と異なるスペクトル比（周波数成分毎の光の強度比）で照明される場合が多い。従って、この照り返しの影響を除くためにＬＥＤストロボ５を用いる必要がある。照り返しは、直射する環境光に比べて非常に弱いため、ＬＥＤストロボ５を照射することで照り返しの影響を除去することが可能になる。
【００３７】
次に、本実施形態の皮膚領域検出撮像装置１における皮膚領域の検出手順について、図６のフローチャートを参照して説明する。
【００３８】
撮像開始前に、マイクロプロセッサ２４は、ＬＥＤ５ａとＬＥＤ５ｂの発光強度比が、環境光における上記２種類の波長（８５０ｎｍ及び９４０ｎｍ）の光の強度比と同じになるように、電圧調整回路１０にＬＥＤ５ａとＬＥＤ５ｂの発光強度の設定を行う（Ｓ１）。撮像が開始されると、マイクロプロセッサ２４は、ＬＥＤ５ａによる８５０ｎｍの中心波長の近赤外線の発光と、ＬＥＤ５ｂによる９４０ｎｍの中心波長の近赤外線の発光との切替えタイミングを、ローリングシャッタ装置１９により読み出す像を切替えるタイミングに合わせながら、ＬＥＤストロボ５が、上記２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するように制御する。これにより、８５０ｎｍ中心波長と９４０ｎｍ中心波長の照射光に対応した２種類の被写体像（個眼像Ａ、Ｂ）が、固体撮像素子２上に形成される。個眼像Ａは、ＬＥＤ５ａが発光することにより８５０ｎｍを中心波長とする近赤外光によって照明された被写体の像であり、個眼像Ｂは、ＬＥＤ５ｂが発光することにより９４０ｎｍを中心波長とする近赤外光によって照明された被写体の像である。ローリングシャッタ装置１９は、固体撮像素子２上の各単位画素１５の蓄積電荷電圧を読取ライン毎に読み出すことにより、固体撮像素子２上に形成された２種類の個眼像Ａ、Ｂを順に読み出す。マイクロプロセッサ２４は、画像処理プロセッサ２２が個眼像Ａ、Ｂの画像情報を取得して（Ｓ２）、各画像情報を所定の長方形状に切出す（Ｓ３）ように制御する。ローリングシャッタ装置の１回のシャッタ動作内に読み出されて画像処理プロセッサ２２により切り出された個眼像Ａ、Ｂは、画像としてＲＡＭ２３に記憶される。
【００３９】
個眼像Ａと個眼像Ｂの具体的な例が図７（ａ）、図７（ｂ）に示される。被写体中の人物Ｊの顔等の皮膚領域Ｊａについては、ＬＥＤ５ａで照明された個眼像Ａ（図７（ａ））の方がＬＥＤ５ｂで照明された個眼像Ｂ（図７（ｂ））よりも明るく表示されるが、人物Ｊの髪や衣服等の皮膚以外の領域Ｊｂについては、近赤外線に対する反射率がほぼ同等であるのでＬＥＤ５ａで照明された個眼像Ａ（図７（ａ））とＬＥＤ５ｂで照明された個眼像Ｂ（図７（ｂ））との間に大きな差が生じない。
【００４０】
図８に近赤外線領域の各波長の光に対する皮膚領域の反射率特性を示す。波長が８５０ｎｍの近赤外光に対する反射率と、波長が９４０ｎｍの近赤外光に対する反射率との比は、１．２：１．０程度である。なお、波長が８５０ｎｍよりも短い領域は可視光の赤色の領域であり、また、波長が９４０ｎｍよりも長い領域では固体撮像素子２の感度が急激に低下する。
【００４１】
次に、マイクロプロセッサ２４は、ＲＡＭ２３に記憶された個眼像Ａと個眼像Ｂに基づいて、８５０ｎｍと９４０ｎｍの２種類の波長の照射光に対応した、被写体からの２種類の波長の反射光の強度を判定して（図６のＳ４）、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する（Ｓ５）。
【００４２】
上記の例であれば、人物Ｊの顔と衣服から露出している手部分とが皮膚領域Ｊａとして検出される。マイクロプロセッサ２４は、検出した皮膚領域Ｊａの画像を表示装置６に表示する（Ｓ６）。表示装置６に表示される画像の例が図７（ｃ）に示される。
【００４３】
以上のように、本実施形態の皮膚領域検出撮像装置１によれば、ＬＥＤストロボ５が、近赤外線領域における異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するので、撮像エリア内に環境光の日なたになっている部分と日陰になっている部分とがある場合でも、撮像エリア内の全ての部分における上記２種類の波長の照射光の強度比を一定にすることが可能になる。ここで、２種類の波長の反射光の強度比は、２種類の波長の照射光の強度比と、被写体が有する、上記２種類の波長の照射光に対する反射率の比とを乗算することで得ることができるので、上記のように撮像エリア内の全ての部分において２種類の波長の照射光の強度比を一定にすることができるようにしたことにより、撮像エリア内の全ての部分における上記２種類の波長の反射光の強度比を、被写体が有する、上記２種類の波長の照射光に対する反射率の比に応じたものとすることができる。従って、被写体が環境光の日なたになっているか日陰になっているかに係らず、被写体からの２種類の波長の反射光の強度比に基づいて、撮像エリア内の皮膚領域を正確に検出することができる。
【００４４】
また、ローリングシャッタ装置１９の１回のシャッタ動作内に読み出された２種類の被写体像を画像として記憶し、これらの２種類の画像（個眼像Ａ、Ｂ）を用いて皮膚領域を検出するようにしたことにより、短時間のうちに皮膚領域を検出することができる。
【００４５】
次に、第２の実施形態について、図９乃至図１１を参照して説明する。第２の実施形態は、請求項１及び請求項３に対応する。第２の実施形態の皮膚領域検出撮像装置１は、第１の実施形態の皮膚領域検出撮像装置１と類似した構造であり、相違するところは、第１の実施形態の光学フィルタ１３に代えて、２つの光学レンズ８による集光路３０ａ、３０ｂごとに、近赤外線領域における異なった２種類の波長の光を選択的に透過するバンドパスフィルタ３１ａ、３１ｂを設けた点と、ＬＥＤ５ａによる発光とＬＥＤ５ｂによる発光の切替えを行わず、ＬＥＤ５ａによる発光とＬＥＤ５ｂによる発光を同時に行なうという点である。以下、各相違点について詳細に説明する。
【００４６】
第２の実施形態では、ＬＥＤストロボ５におけるＬＥＤ５ａとＬＥＤ５ｂの点灯・消灯を所定のタイミングで切替えず、被写体の撮像が行われている間中、ＬＥＤ５ａとＬＥＤ５ｂの両方を継続して発光させる。
【００４７】
バンドパスフィルタ３１ａ、３１ｂは、それぞれ２つの光学レンズ８に固有の集光路３０ａ、３０ｂに配置され、バンドパスフィルタ３１ａは、中心波長が８５０ｎｍ付近の近赤外光を透過するフィルタであり、バンドパスフィルタ３１ｂは、中心波長が９４０ｎｍ付近の近赤外光を透過するフィルタである。図１０にバンドパスフィルタ３１ａの透過率特性が示され、図１１にバンドパスフィルタ３１ｂの透過率特性が示される。
【００４８】
バンドパスフィルタ３１ａによって選択的に透過される近赤外光によって形成される個眼像Ａは、皮膚領域Ｊａが比較的明るく表された画像（図７（ａ））になり、バンドパスフィルタ３１ｂによって選択的に透過される近赤外光によって形成される個眼像Ｂは、皮膚領域Ｊａが比較的暗く表された画像（図７（ｂ））になる。
【００４９】
第２の実施形態における皮膚領域の検出手順では、マイクロプロセッサ２４は、電圧調整回路１０を用いて、ＬＥＤストロボ５が、環境光における２種類の波長（８５０ｎｍ及び９４０ｎｍ）の光の強度比と同じ強度比で、これら２種類の波長の光を同時に照射するように制御する。この後、マイクロプロセッサ２４は、第１の実施形態と同様に、画像情報の取得、所定形状の画像への切り出し、２種類の波長の反射光の強度判定、皮膚領域の検出、画像の表示を実行し、皮膚領域Ｊａの検出及び画像表示を行う。
【００５０】
第２の実施形態の皮膚領域検出撮像装置１においても、上記請求項１と同様な効果を得ることができる。
【００５１】
この第２の実施形態におけるバンドパスフィルタ３１ａ、３１ｂは、光透過領域として可視光領域を含むものに代えられてもよい。この場合には、各バンドパスフィルタ３１ａ、３１ｂが可視光領域の光も透過するので、個眼像Ａ、Ｂ自体を色彩等が正常な通常の被写体画像として得ることができる。また、ユーザは、得られる画像を表示装置６に表示して見ることができ、本皮膚領域検出撮像装置１を監視カメラ装置として利用することができる。
【００５２】
次に、第３の実施形態について、図１２乃至図１５を参照して説明する。第３の実施形態は、請求項１及び請求項４に対応する。図１２は、第３の実施形態に係る皮膚領域検出撮像装置１の概略構成を示し、図１３は、皮膚領域検出撮像装置１の前面を示す。また、図１４は、固体撮像素子２上の各部分撮像エリアの読み出し順序と、２つのＬＥＤ５ａ、５ｂの発光タイミングを示す。第３の実施形態の皮膚領域検出撮像装置１は、第１の実施形態の皮膚領域検出撮像装置１に類似した構造であり、主な相違点は、環境光における異なった２種類の波長（８５０ｎｍ及び９４０ｎｍ）の光の強度比を実際に検出する手段を設けた点と、マイクロプロセッサ２４が、検出した強度比でＬＥＤストロボ５が２種類の波長の光を発光するように制御する点である。
【００５３】
図１２乃至図１４に示されるように、第３の実施形態の皮膚領域検出撮像装置１は、固体撮像素子２上の部分撮像エリア２ｃ，２ｄに環境光を取り込むための拡散板４１ａ，４１ｂと、拡散板４１ａ，４１ｂを通して取り込んだ環境光の部分撮像エリア２ｃ，２ｄへの通過路４０ａ，４０ｂに配置され、各通過路４０ａ，４０ｂごとに異なった２種類の波長の照射光を選択的に透過するための２種類のバンドパスフィルタ４２ａ，４２ｂとを備える。バンドパスフィルタ４２ａは、中心波長が８５０ｎｍ付近の近赤外光を透過するフィルタであり、バンドパスフィルタ４２ｂは、中心波長が９４０ｎｍ付近の近赤外光を透過するフィルタである。
【００５４】
本実施形態の皮膚領域検出撮像装置１は、拡散板４１ａ，４１ｂと２種類のバンドパスフィルタ４２ａ，４２ｂとを介して取り込んだ２種類（８５０ｎｍ付近と９４０ｎｍ付近）の波長の環境光を部分撮像エリア２ｃ，２ｄで受光して、ローリングシャッタ装置１９で読み取った部分撮像エリア２ｃ，２ｄ内の単位画素１５の蓄積電荷電圧に基づいて、環境光における８５０ｎｍ付近と９４０ｎｍ付近の波長の光の強度比を判定する。なお、図１４に示されるように、部分撮像エリア２ｃ，２ｄを撮像するタイミングでは、ＬＥＤストロボ５がオフとなる（消灯する）ように、タイミングジェネレータ１８が予め設定されている。マイクロプロセッサ２４は、上記のようにして検出した、環境光における２種類の波長の光の強度比で、ＬＥＤストロボ５が８５０ｎｍと９４０ｎｍの波長の光を発光するように制御する。マイクロプロセッサ２４が請求項４における環境光強度比検出手段、発光強度制御手段及び切替え制御手段に相当する。なお、図１２及び図１４に示される部分撮像エリア２ａ，２ｂは、それぞれ個眼像Ａ、Ｂを撮像するための撮像エリアである。
【００５５】
図１５は、第３の実施形態における皮膚領域の検出手順を示す。まず、マイクロプロセッサ２４は、２種類のバンドパスフィルタ４２ａ，４２ｂに対応した部分撮像エリア２ｃ，２ｄ内の単位画素１５の蓄積電荷電圧に基づいて、環境光における８５０ｎｍ付近と９４０ｎｍ付近の波長の光の強度比を判定し、この強度比に基づいて、８５０ｎｍの中心波長の光を照射するＬＥＤ５ａと、９４０ｎｍの中心波長の光を照射するＬＥＤ５ｂとの発光強度（比）を決定する（Ｓ１１）。そして、マイクロプロセッサ２４は、決定した強度（比）に基づき、電圧調整回路１０にＬＥＤ５ａとＬＥＤ５ｂの発光強度の設定を行う（Ｓ１２）。そして、撮像が開始されると、マイクロプロセッサ２４は、図１４に示されるように、ＬＥＤ５ａとＬＥＤ５ｂとを時分割発光させて、第１の実施形態と同様に、画像情報の取得（Ｓ１３）、所定形状の画像への切り出し（Ｓ１４）、２種類の波長の反射光の強度判定（Ｓ１５）、皮膚領域の検出（Ｓ１６）、画像の表示（Ｓ１７）を実行し、皮膚領域Ｊａの検出及び画像表示を行う。
【００５６】
以上のように、第３の実施形態の皮膚領域検出撮像装置１によれば、撮像エリア内の環境光における上記２種類の波長の光の強度比を実際に計測して、ＬＥＤストロボ５が、実際の環境光における上記２種類の波長の光の強度比と同じ強度比で被写体を照射することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施形態に係る皮膚領域検出撮像装置の概略構成を示す図。
【図２】同皮膚領域検出撮像装置の正面図。
【図３】同皮膚領域検出撮像装置における固体撮像素子の正面図。
【図４】同皮膚領域検出撮像装置における個眼像が読み出される順序と２つのＬＥＤの発光タイミングを示す説明図。
【図５】同皮膚領域検出撮像装置における環境光の日なた/日陰、人間の皮膚/皮膚以外の４種類の場合の、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光の強度比を示す図。
【図６】同皮膚領域検出撮像装置における皮膚領域の検出手順を示すフローチャート。
【図７】（ａ）は同皮膚領域検出撮像装置において中心波長が８５０ｎｍの近赤外光によって照明された被写体の個眼像の例を示す図、（ｂ）は中心波長が９４０ｎｍの近赤外光によって照明された被写体の個眼像の例を示す図、（ｃ）は皮膚領域の検出画像の例を示す図。
【図８】近赤外線領域の各波長の光に対する皮膚領域の反射率を示す図。
【図９】本発明の第２の実施形態に係る皮膚領域検出撮像装置の概略構成を示す図。
【図１０】同皮膚領域検出撮像装置における中心波長が８５０ｎｍ付近の近赤外光を透過するバンドパスフィルタの透過率特性を示す図。
【図１１】同皮膚領域検出撮像装置における中心波長が９４０ｎｍ付近の近赤外光を透過するバンドパスフィルタの透過率特性を示す図。
【図１２】本発明の第３の実施形態に係る皮膚領域検出撮像装置の概略構成を示す図。
【図１３】同皮膚領域検出撮像装置の正面図。
【図１４】同皮膚領域検出撮像装置における各部分撮像エリアの読み出し順序と２つのＬＥＤの発光タイミングを示す説明図。
【図１５】同皮膚領域検出撮像装置における皮膚領域の検出手順を示すフローチャート。
【図１６】従来例の皮膚領域検出撮像装置における環境光の日なた/日陰、人間の皮膚/皮膚以外の４種類の場合の、８５０ｎｍと９５０ｎｍの波長の照射光に対する反射光の強度比を示す図。
【符号の説明】
【００５８】
１ 皮膚領域検出撮像装置
２ 固体撮像素子
２ｃ，２ｄ 部分撮像エリア
５ ＬＥＤストロボ（異種類像形成手段、フラッシュ光源）
５ａ、５ｂ ＬＥＤ
８ 光学レンズ
１９ ローリングシャッタ装置
２３ ＲＡＭ（記憶手段）
２４ マイクロプロセッサ（切替え制御手段、皮膚領域検出手段、環境光強度比検出手段、発光強度制御手段）
３０ａ、３０ｂ 集光路
３１ａ、３１ｂ バンドパスフィルタ（異種類像形成手段）
４０ａ，４０ｂ 通過路
４１ａ，４１ｂ 拡散板
４２ａ，４２ｂ バンドパスフィルタ
Ａ、Ｂ 個眼像（２種類の画像）
Ｊａ 皮膚領域
【特許請求の範囲】
【請求項１】
被写体からの光を集光する複数の光学レンズと、
前記複数の光学レンズにより集光された被写体からの光を用いて、近赤外線領域における異なった２種類の波長の照射光に対応した２種類の被写体像を形成する異種類像形成手段と、
前記異種類像形成手段によって形成された２種類の被写体像を撮像する固体撮像素子と、
前記固体撮像素子上の各画素に蓄積された電荷に応じた電圧（以下、蓄積電荷電圧と略す）を読取ライン毎に読み出すことにより、前記固体撮像素子上に形成された２種類の被写体像を順に読み出すためのローリングシャッタ装置と、
前記ローリングシャッタ装置の１回のシャッタ動作内に読み出された前記２種類の被写体像を画像として記憶する記憶手段と、
前記記憶手段に記憶された２種類の画像に基づいて、前記２種類の波長の照射光に対応した、被写体からの２種類の波長の反射光の強度を判定して、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する皮膚領域検出手段とを備えた皮膚領域検出撮像装置において、
前記異種類像形成手段は、前記異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するフラッシュ光源を含むことを特徴とする皮膚領域検出撮像装置。
【請求項２】
前記異種類像形成手段は、前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段をさらに含むことを特徴とする請求項１に記載の皮膚領域検出撮像装置。
【請求項３】
前記異種類像形成手段は、
前記複数の光学レンズによる集光路に配置され、前記各集光路ごとに近赤外線領域における異なった２種類の波長の光を選択的に透過するための２種類のバンドパスフィルタをさらに含むことを特徴とする請求項１に記載の皮膚領域検出撮像装置。
【請求項４】
前記固体撮像素子上の一部の撮像エリア（以下、「部分撮像エリア」という）に環境光を取り込むための拡散板と、
前記拡散板を通して取り込んだ環境光の前記部分撮像エリアへの通過路に配置され、前記各通過路ごとに前記２種類の波長の照射光を選択的に透過するための２種類のバンドパスフィルタと、
前記拡散板と前記２種類のバンドパスフィルタとを介して取り込んだ２種類の波長の環境光を前記部分撮像エリアで受光して、前記ローリングシャッタ装置で読み取った前記部分撮像エリア内の画素の蓄積電荷に基づいて、環境光における前記２種類の波長の光の強度比を判定する環境光強度比検出手段とをさらに備え、
前記異種類像形成手段は、
前記環境光強度比検出手段により検出した、環境光における前記２種類の波長の光の強度比で、前記フラッシュ光源が前記２種類の波長の光を発光するように制御する発光強度制御手段と、
前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段とをさらに含むことを特徴とする請求項１に記載の皮膚領域検出撮像装置。
【請求項１】
被写体からの光を集光する複数の光学レンズと、
前記複数の光学レンズにより集光された被写体からの光を用いて、近赤外線領域における異なった２種類の波長の照射光に対応した２種類の被写体像を形成する異種類像形成手段と、
前記異種類像形成手段によって形成された２種類の被写体像を撮像する固体撮像素子と、
前記固体撮像素子上の各画素に蓄積された電荷に応じた電圧（以下、蓄積電荷電圧と略す）を読取ライン毎に読み出すことにより、前記固体撮像素子上に形成された２種類の被写体像を順に読み出すためのローリングシャッタ装置と、
前記ローリングシャッタ装置の１回のシャッタ動作内に読み出された前記２種類の被写体像を画像として記憶する記憶手段と、
前記記憶手段に記憶された２種類の画像に基づいて、前記２種類の波長の照射光に対応した、被写体からの２種類の波長の反射光の強度を判定して、これらの２種類の波長の反射光の強度比が所定値以上である領域を皮膚領域として検出する皮膚領域検出手段とを備えた皮膚領域検出撮像装置において、
前記異種類像形成手段は、前記異なった２種類の波長の照射光を、環境光におけるこれらの波長の光の強度比と同じ強度比で照射するフラッシュ光源を含むことを特徴とする皮膚領域検出撮像装置。
【請求項２】
前記異種類像形成手段は、前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段をさらに含むことを特徴とする請求項１に記載の皮膚領域検出撮像装置。
【請求項３】
前記異種類像形成手段は、
前記複数の光学レンズによる集光路に配置され、前記各集光路ごとに近赤外線領域における異なった２種類の波長の光を選択的に透過するための２種類のバンドパスフィルタをさらに含むことを特徴とする請求項１に記載の皮膚領域検出撮像装置。
【請求項４】
前記固体撮像素子上の一部の撮像エリア（以下、「部分撮像エリア」という）に環境光を取り込むための拡散板と、
前記拡散板を通して取り込んだ環境光の前記部分撮像エリアへの通過路に配置され、前記各通過路ごとに前記２種類の波長の照射光を選択的に透過するための２種類のバンドパスフィルタと、
前記拡散板と前記２種類のバンドパスフィルタとを介して取り込んだ２種類の波長の環境光を前記部分撮像エリアで受光して、前記ローリングシャッタ装置で読み取った前記部分撮像エリア内の画素の蓄積電荷に基づいて、環境光における前記２種類の波長の光の強度比を判定する環境光強度比検出手段とをさらに備え、
前記異種類像形成手段は、
前記環境光強度比検出手段により検出した、環境光における前記２種類の波長の光の強度比で、前記フラッシュ光源が前記２種類の波長の光を発光するように制御する発光強度制御手段と、
前記フラッシュ光源による２種類の波長の照射光の発光切替えタイミングを、前記ローリングシャッタ装置により読み出す像を切替えるタイミングに合わせて制御する切替え制御手段とをさらに含むことを特徴とする請求項１に記載の皮膚領域検出撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２１２８２４（Ｐ２００９−２１２８２４Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５３７６４（Ｐ２００８−５３７６４）
【出願日】平成２０年３月４日（２００８．３．４）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月４日（２００８．３．４）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
[ Back to top ]