画像識別装置
【課題】、外乱光の影響を精度よく除去して、顔の識別対象の部位や識別対象物を精度よく識別することができるようにする。
【解決手段】撮像装置１２によって、第１光源１４の点灯時の顔画像と、第２光源１６の点灯時の顔画像とを撮像する。特徴量算出部２７によって、髪領域及び肌領域の各々の差分に関する特徴量を算出し、補正量算出部２８によって、予め求められた髪領域及び肌領域の各々の差分に関する特徴量の分布が得られるように、補正量を算出する。補正部３０によって、第２光源１６の点灯時の顔画像を補正し、特徴量算出部２７によって、補正された顔画像を用いて、差分に関する特徴量を各画素について算出する。候補領域抽出部３４によって、算出された各画素の特徴量に対して閾値処理して、候補領域を抽出し、部位識別部３６によって、顔の黒目を表わす領域を識別する。
【解決手段】撮像装置１２によって、第１光源１４の点灯時の顔画像と、第２光源１６の点灯時の顔画像とを撮像する。特徴量算出部２７によって、髪領域及び肌領域の各々の差分に関する特徴量を算出し、補正量算出部２８によって、予め求められた髪領域及び肌領域の各々の差分に関する特徴量の分布が得られるように、補正量を算出する。補正部３０によって、第２光源１６の点灯時の顔画像を補正し、特徴量算出部２７によって、補正された顔画像を用いて、差分に関する特徴量を各画素について算出する。候補領域抽出部３４によって、算出された各画素の特徴量に対して閾値処理して、候補領域を抽出し、部位識別部３６によって、顔の黒目を表わす領域を識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像識別装置に係り、特に、撮像した画像から、識別対象者の顔の部位や識別対象物を識別する画像識別装置に関する。
【背景技術】
【０００２】
従来より、第１の波長域の光及び第２の波長域の光の照射をオンオフして、対象物及び標準白色板を撮像し、第１の波長域の光で照明した状態で撮影した対象物の画像の画素値、第１の波長域の光で照明した状態で撮影した白色板の画像の画素値、第２の波長域の光で照明した状態で撮影した対象物の画像の画素値、及び第２の波長域の光で照明した状態で撮影した白色板の画像の画素値を演算し、演算結果を用いて外乱光の影響を除去し、対象物の各部位、例えばドライバの肌、髪、眼球を判別する部位判別装置が知られている（特許文献１）。
【特許文献１】特開２００６−２４２９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１の技術では、標準白色板と対象物とに同じように外乱光が照射するとは限らないため、外乱光の影響を精度よく除去することができない、という問題がある。また、設置した標準白色板が、対象物以外の物体によって隠れてしまった場合には、隠れていることを検知できずに、外乱光の影響を誤って除去してしまう、という問題がある。
【０００４】
本発明は、上記の問題点を解決するためになされたもので、外乱光の影響を精度よく除去して、顔の識別対象の部位や識別対象物を精度よく識別することができる画像識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために第１の発明に係る画像識別装置は、第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象者の顔に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象者の顔に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、前記第１の画像データにおける前記識別対象者の顔の予め定められた第１部位を表わす領域の画像データと前記第２の画像データにおける前記第１部位を表わす領域の画像データとの差分に関する特徴量を算出すると共に、前記第１の画像データにおける前記顔の前記第１部位と異なる第２部位を表わす領域の画像データと前記第２の画像データにおける前記第２部位を表わす領域の画像データとの差分に関する特徴量を算出する第１特徴量算出手段と、前記第１特徴量算出手段によって算出された前記第１部位を表わす領域の前記差分に関する特徴量及び前記第２部位を表わす領域の前記差分に関する特徴量に基づいて、予め求められた、前記第１部位を表わす領域の前記差分に関する特徴量と前記第２部位を表わす領域の前記差分に関する特徴量とが得られるように、画像データを補正するための補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された前記補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する第２特徴量算出手段と、前記第２特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、顔の識別対象の部位を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象の部位を検出する検出手段とを含んで構成されている。
【０００６】
第１の発明に係る画像識別装置によれば、第１の波長及び第１の波長と異なる第２の波長を含む波長域に感度を有する撮像手段によって、第１の波長を含みかつ、第２の波長を含まない第１の波長域の光を識別対象者の顔に照射して撮像するか、または識別対象者の顔から反射された反射光から第１の波長域の光を透過させて識別対象者の顔を撮像することにより、第１の画像データを出力する。また、撮像手段によって、第２波長を含みかつ第１の波長を含まない第２の波長域の光を識別対象者の顔に照射して撮像するか、または反射光から第２の波長域の光を透過させて識別対象者の顔を撮像することにより、第２の画像データを出力する。
【０００７】
第１特徴量算出手段によって、第１の画像データにおける識別対象者の顔の予め定められた第１部位を表わす領域の画像データと第２の画像データにおける第１部位を表わす領域の画像データとの差分に関する特徴量を算出すると共に、第１の画像データにおける顔の第１部位と異なる第２部位を表わす領域の画像データと第２の画像データにおける第２部位を表わす領域の画像データとの差分に関する特徴量を算出する。
【０００８】
そして、補正量算出手段によって、第１特徴量算出手段によって算出された第１部位を表わす領域の差分に関する特徴量及び第２部位を表わす領域の差分に関する特徴量に基づいて、予め求められた、第１部位を表わす領域の差分に関する特徴量と第２部位を表わす領域の差分に関する特徴量とが得られるように、画像データを補正するための補正量を算出する。
【０００９】
そして、第２特徴量算出手段によって、補正量算出手段によって算出された補正量に基づいて第１の画像データ及び第２の画像データの少なくとも一方の画像データを補正したときの、第１の画像データと第２の画像データとの差分に関する特徴量を各画素について算出する。検出手段によって、第２特徴量算出手段によって算出された各画素の差分に関する特徴量と、顔の識別対象の部位を表わす領域の画像データについて予め求められた差分に関する特徴量とを比較して、第１の画像データ及び第２の画像データの少なくとも一方から、識別対象の部位を検出する。
【００１０】
このように、顔の第１部位を表わす領域の差分に関する特徴量と第２部位を表わす領域の差分に関する特徴量とに基づいて、補正量を算出し、補正された画像データを用いて、顔の識別対象の部位を検出することにより、外乱光の影響を精度よく除去して、顔の識別対象の部位を精度よく識別することができる。
【００１１】
第２の発明に係る画像識別装置は、第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力し、前記識別対象物に光を照射せずに撮像することにより、第３の画像データを出力する撮像手段と、前記第３の画像データに基づいて、画像データを補正するための補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段とを含んで構成されている。
【００１２】
第２の発明に係る画像識別装置によれば、第１の波長及び第１の波長と異なる第２の波長を含む波長域に感度を有する撮像手段によって、第１の波長を含みかつ、第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または識別対象者の顔から反射された反射光から第１の波長域の光を透過させて識別対象者の顔を撮像することにより、第１の画像データを出力する。また、撮像手段によって、第２波長を含みかつ第１の波長を含まない第２の波長域の光を識別対象物に照射して撮像するか、または反射光から第２の波長域の光を透過させて識別対象者の顔を撮像することにより、第２の画像データを出力する。また、撮像手段によって、識別対象物に光を照射せずに撮像することにより、第３の画像データを出力する。
【００１３】
そして、補正量算出手段によって、第３の画像データに基づいて、画像データを補正するための補正量を算出する。
【００１４】
そして、特徴量算出手段によって、補正量算出手段によって算出された補正量に基づいて第１の画像データ及び第２の画像データの少なくとも一方の画像データを補正したときの、第１の画像データと第２の画像データとの差分に関する特徴量を各画素について算出する。検出手段によって、特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、識別対象物を表わす領域の画像データについて予め求められた差分に関する特徴量とを比較して、第１の画像データ及び第２の画像データの少なくとも一方から、識別対象物を検出する。
【００１５】
このように、光を照射せずに撮像された画像データに基づいて、補正量を算出し、補正された画像データを用いて、識別対象物を検出することにより、外乱光の影響を精度よく除去して、識別対象物を精度よく識別することができる。
【００１６】
第３の発明に係る画像識別装置は、光の照度を計測する照度計と、第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象物から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、前記照度計によって計測された光の照度に基づいて、前記計測された光を前記撮像手段によって受光した量が除外されるように、画像データを補正するための補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段とを含んで構成されている。
【００１７】
第３の発明に係る画像識別装置によれば、照度計によって、光の照度を計測する。また、第１の波長及び第１の波長と異なる第２の波長を含む波長域に感度を有する撮像手段によって、第１の波長を含みかつ、第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または識別対象物から反射された反射光から第１の波長域の光を透過させて識別対象者の顔を撮像することにより、第１の画像データを出力する。また、撮像手段によって、第２波長を含みかつ第１の波長を含まない第２の波長域の光を識別対象物に照射して撮像するか、または反射光から第２の波長域の光を透過させて識別対象者の顔を撮像することにより、第２の画像データを出力する。
【００１８】
そして、補正量算出手段によって、照度計によって計測された光の照度に基づいて、計測された光を撮像手段によって受光した量が除外されるように、画像データを補正するための補正量を算出する。
【００１９】
そして、特徴量算出手段によって、補正量算出手段によって算出された補正量に基づいて第１の画像データ及び第２の画像データの少なくとも一方の画像データを補正したときの、第１の画像データと第２の画像データとの差分に関する特徴量を各画素について算出する。検出手段によって、特徴量算出手段によって算出された各画素の差分に関する特徴量と、識別対象物を表わす領域の画像データについて予め求められた差分に関する特徴量とを比較して、第１の画像データ及び第２の画像データの少なくとも一方から、識別対象物を検出する。
【００２０】
このように、照度計によって計測された光の照度に基づいて、補正量を算出し、補正された画像データを用いて、識別対象物を検出することにより、外乱光の影響を精度よく除去して、識別対象物を精度よく識別することができる。
【００２１】
第１の発明に係る画像識別装置は、検出手段によって検出された識別対象者の顔の部位を表わす領域の画像データの差分に関する特徴量に基づいて、予め定められた差分に関する特徴量を更新する更新手段を更に含むことができる。これによって、検出対象者の個人の特性や光源の特性に対応して、識別対象者の顔の部位を精度よく検出することができる。
【００２２】
第１の発明に係る第１部位を、髪部分とし、第２部位を、肌部分とすることができる。
【００２３】
第２の発明及び第３の発明に係る画像識別装置は、検出手段によって検出された識別対象物を表わす領域の画像データの差分に関する特徴量に基づいて、予め定められた差分に関する特徴量を更新する更新手段を更に含むことができる。これによって、検出対象者の個体の特性や光源の特性に合わせて、識別対象物を精度よく検出することができる。
【００２４】
上記の第１の波長域及び第２の波長域の各々を、８００〜１１００ｎｍの範囲内とすることができる。また、第１の波長域を、８００〜９５０ｎｍとし、第２の波長域を、９５０〜１１００ｎｍとすることができる。
【発明の効果】
【００２５】
以上説明したように、本発明の画像識別装置によれば、画像データから外乱光の影響を精度よく除去して、顔の識別対象の部位又は識別対象物を精度よく識別することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、運転者の顔の黒目領域を識別する画像識別装置に本発明を適用した場合を例に説明する。
【００２７】
図１に示すように、第１の実施の形態に係る画像識別装置１０は、識別対象者としての運転者の顔を含む範囲を撮像するように設けられた撮像装置１２と、第１波長域（例えば、８７０ｎｍを含む８００ｎｍ〜９５０ｎｍの波長域）の近赤外光を運転者の顔を含む範囲に照射するように設けられた第１光源１４と、第２波長域（例えば、９７０ｎｍを含む９５０ｎｍ〜１１００ｎｍの波長域）の近赤外光を運転者の顔を含む範囲に照射するように設けられた第２光源１６と、第１光源１４及び第２光源１６による照射のオンオフと撮像装置１２による撮像とを制御すると共に、撮像した顔画像に対して画像処理を行って運転者の顔の黒目領域を識別するコンピュータ１８とを備えている。
【００２８】
撮像装置１２は、識別対象者である運転者の顔を含む範囲を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。また、撮像装置１２の撮像部の撮像素子は、第１波長域及び第２波長域を含む波長域に感度を有している。
【００２９】
第１光源１４によって照射される光の第１波長域と第２光源１６によって照射される光の第２波長域とは、主要な波長域が異なっており、第１波長域に、第２波長域の主要な波長９７０ｎｍが含まれず、第２波長域に、第１波長域の主要な波長８７０ｎｍが含まれなければ、波長域の一部が重複していてもよい。
【００３０】
コンピュータ１８は、ＣＰＵ、後述する識別処理ルーチンの識別プログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２によって２枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、第１光源１４及び第２光源１６の各々のオンオフを切り替える撮像光源制御部２０と、撮像装置１２から出力される第１光源１４の点灯時の濃淡画像である顔画像及び第２光源１６の点灯時の顔画像を入力する画像入力部２２と、画像入力部２２によって入力された２枚の顔画像の各画素の差分値に基づいて、顔画像から髪を表わす領域及び肌を表わす領域の各々を抽出する髪肌領域抽出部２６と、２枚の顔画像における、抽出された髪を表わす領域及び肌を表わす領域の画像データに基づいて、髪を表わす領域及び肌を表わす領域の各々の差分に関する特徴量を算出すると共に、後述する補正部３０によって補正された顔画像を用いて、２枚の顔画像から差分に関する特徴量を各画素について算出する特徴量算出部２７と、抽出された髪を表わす領域及び肌を表わす領域の各々の特徴量に基づいて、顔画像を補正するための補正量を算出する補正量算出部２８と、算出された補正量に従って、画像入力部２２によって入力された顔画像を補正する補正部３０とを備えている。
【００３１】
撮像光源制御部２０は、撮像装置１２によって連続して２枚の顔画像を撮像するように制御すると共に、撮像装置１２の撮像タイミングに合わせて、一方の顔画像の撮像時に、第２光源１６を消灯させたまま、第１光源１４を点灯させ、他方の顔画像の撮像時に、第１光源１４を消灯させて第２光源１６を点灯させるように、第１光源１４及び第２光源１６を制御する。これによって、撮像装置１２から、第１光源１４の点灯時に撮影された顔画像と第２光源１６の点灯時に撮影された顔画像が順番に出力される。
【００３２】
画像入力部２２は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
【００３３】
肌と髪とでは、図２に示すような分光反射特性が得られる。図２では、横軸が光の波長を示し、縦軸が反射率を示している。近赤外の８００ｎｍ〜１０００ｎｍの波長域では、髪の反射率は右肩上がり（波長が長いほど反射率が高い）の特性を持ち、肌の反射率は右肩下がり（波長が長いほど反射率が低い）の特性を持つ。また、近赤外領域の２つの波長、例えば８７０ｎｍと９７０ｎｍとの近赤外光の反射率で比較すると、肌は、８７０ｎｍの近赤外光の方を強く反射し、髪や黒目は、９７０ｎｍの近赤外光の方を強く反射する特性を持つ。したがって、８７０ｎｍの近赤外光を照射して撮影した画像から、９７０ｎｍの近赤外光を照射して撮影した画像を引く（対応する画素の差分を算出する）と、肌を表わす領域の画素の差分値は、正の値となり、髪や黒目を表わす領域の画素の差分値は、負の値となる。
【００３４】
そこで、髪肌領域抽出部２６は、以下の（１）式に示すように、２枚の顔画像の各画素の差分値、及び差分値に関する正の閾値と負の閾値に基づいて、対象画素が髪を表わしているかを識別すると共に、肌を表わしているかを識別し、髪を表わす領域及び肌を表わす領域を抽出する。
【００３５】
【数１】
【００３６】
ここで、ｆ８７０（ｉ，ｊ）は、第１光源１４から８７０ｎｍの波長を含む第１波長域の光を照射したときに撮像された顔画像中の画素（ｉ，ｊ）の画素値を表わし、ｆ９７０（ｉ，ｊ）は、第２光源１６から９７０ｎｍの波長を含む第２波長域の光を照射したときに撮像された顔画像中の画素（ｉ，ｊ）の画素値を表わしている。また、Ｔｈ１は、正の閾値であり、Ｔｈ２は、負の閾値である。上記のように、肌領域と髪領域とでは、画素値の差分値が大きく異なるため、外乱光の影響で、顔画像における、第１光源１４及び第２光源１６の２つの波長域の明度バランスが崩れた状態でも、比較的容易に両者を分離する閾値を探索することが可能である。従って、実験的又は統計的に、肌領域と髪領域とを分離する正の閾値と負の閾値とを調べておき、上記の閾値として予め設定しておけばよい。
【００３７】
特徴量算出部２７は、２枚の顔画像の髪を表わす領域の各画素の画素値、２枚の顔画像の肌を表わす領域の各画素の画素値、及び２枚の顔画像の各画素の画素値に基づいて、各画素に対して以下の（２）式の演算を行い、各画素（ｉ，ｊ）の差分に関する特徴量ｆｎ（ｉ，ｊ）を算出する。
【００３８】
【数２】
【００３９】
光源から撮像対象までの距離によって、撮像画像中での対象物の明るさが変化してしまう。そのため、上記（２）式では、注目画素の画素値の差を、対象物に照射される光の波長域が異なる２枚の撮像画像における注目画素の画素値の和で正規化し、距離に依存した明るさ変化に影響されない特徴量を算出している。また、正規化しているため、上記（２）式で表される特徴量は、−１から１の範囲内の値となる。
【００４０】
また、上記特許文献１に開示されているとおり、肌や髪、黒目（瞳孔、虹彩）は、近赤外領域においてそれぞれ異なる分光反射特性を持つため、図３に示すように、顔の各部位を表わす領域について、異なる特徴量の分布が得られる。なお、黒目領域の特徴量の分布は、肌領域や白目領域の特徴量の分布と異なり、髪領域の特徴量の分布に近い。
【００４１】
また、２つの波長域の光（８７０ｎｍを含む波長域と９７０ｎｍを含む波長域）の強度バランスは、外乱光に含まれる２つの波長域の光の量によって影響を受ける。したがって、太陽光などの強い外乱光が存在する場合には、上記（２）式で算出される特徴量の値が変化し、図４（Ａ）、図４（Ｂ）に示すように、肌や髪を表わす領域の特徴量の分布が偏ってしまうため、特徴量の分布に基づく肌や髪を表わす領域の分離が困難になる。また、上記図３に示したように瞳孔や虹彩を表わす領域の特徴量の分布は、肌を表わす領域の特徴量の分布と髪を表わす領域の特徴量の分布との中間に位置するため、特徴量の分布に基づく肌や髪を表わす領域の分離がさらに難しくなり、精度よく識別することができなくなる。
【００４２】
そこで、補正量算出部２８は、抽出された髪を表わす領域及び肌を表わす領域の各々の特徴量の分布が、予め定められた、図４（Ｃ）に示すような外乱光の影響がない場合における特徴量の軸で差が大きい特徴量の分布となるように、以下に説明するように、画像を補正するための補正量を算出する。
【００４３】
まず、顔画像における８７０ｎｍを含む第１波長域と９７０ｎｍを含む第２波長域との強度バランスを補正するために第２光源１６の点灯時の顔画像を補正する補正量をαとすると、補正量αで補正された場合の差分に関する特徴量は、以下の（３）式で表される。
【００４４】
【数３】
【００４５】
上記の補正量αを様々に変化させ、上記（３）式で算出される肌領域及び髪領域の各々の特徴量の分布が、予め記憶されている肌領域及び髪領域の各々の特徴量の分布に近くなるときの補正量αを求め、第２光源１６の点灯時の顔画像を補正するための補正量を決定する。
【００４６】
なお、予め定められた肌領域の特徴量の分布と髪領域の特徴量の分布との差が大きいという関係が得られるように、肌領域と髪領域から算出された特徴量の分布の差を大きくする補正量を決定するようにしてもよい。
【００４７】
補正部３０は、補正量算出部２８によって算出された補正量に従って、第２光源１６の点灯時の顔画像の各画素の画素値を補正する。これによって、第１光源１６の点灯時の顔画像と第２光源１６の点灯時の補正後の顔画像とから算出される差分に関する特徴量の分布は、上記図４（Ｃ）のようになるため、肌と髪との各々を表わす領域の特徴量の分布の中間に位置する、瞳孔や虹彩を表わす領域の特徴量の分布を分離しやすくなり、黒目領域の識別が可能となる。
【００４８】
また、コンピュータ１８は、図１に示すように、黒目領域の特徴量の分布に基づく特徴量の範囲を規定する閾値を記憶した閾値記憶部３２と、補正された顔画像を用いて算出された差分に関する各画素の特徴量、及び閾値記憶部３２に記憶された特徴量に関する閾値とに基づいて、顔画像から黒目領域の候補領域を抽出する候補領域抽出部３４と、抽出された候補領域から、識別対象部位としての黒目を表わす領域を識別する部位識別部３６と、識別された黒目領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新する更新部３８とを備えている。
【００４９】
閾値記憶部３２に記憶された閾値は以下のように決定される。まず、外乱光の影響が除去された顔画像又は外乱光の影響がない顔画像から、黒目領域の特徴量の分布を求めておき、求められた黒目領域の特徴量の分布に基づいて、黒目領域の特徴量の範囲を定め、定められた特徴量の範囲を規定する閾値を決定して、閾値記憶部３２に記憶しておく。
【００５０】
候補領域抽出部３４は、補正された顔画像を用いて算出された差分に関する各画素の特徴量に基づいて、抽出された肌領域の内側から、特徴量が、閾値で定められる範囲内となる領域を、黒目領域の候補領域として抽出する。このとき、黒目領域の特徴量の分布と髪領域の特徴量の分布とが近いため、眉を表わす領域も、黒目領域の候補領域として抽出される。
【００５１】
部位識別部３６は、顔画像における、抽出された黒目領域の候補領域の位置関係から、上側に存在する候補領域を、眉を表わす領域として除外して、黒目領域の候補領域から、黒目を表わす領域を検出して、黒目を表わす領域を識別する。
【００５２】
黒目領域における近赤外光の反射特性は個人差を持ち、黒目内の部位（瞳孔や虹彩）によって反射率は異なるため、図５（Ａ）、（Ｂ）に示すように、瞳孔の大きさ（周辺環境の明るさや光源の明るさにより変化）に応じて、差分に関する特徴量の値や分布が変化する。また、図６（Ａ）、（Ｂ）に示すように、差分に関する特徴量は、光源（LEDなど）の照射強度や撮像条件(シャッター速度やゲイン制御)にも影響を受けるため、光源装置の個体差や周辺の明るさなどに応じて、特徴量の値や分布が変化する。
【００５３】
そこで、更新部３８では、閾値記憶部３２に記憶された閾値が、運転者の瞳孔の大きさや第１光源１４及び第２光源１６から照射される光の強度を考慮した特徴量の分布から求められる閾値となるように、識別された黒目領域の特徴量の分布に応じて、閾値記憶部３２に記憶された閾値を更新する。
【００５４】
次に、第１の実施の形態に係る画像識別装置１０の作用について説明する。以下では、撮像装置１２の撮像範囲、第１光源１４の照射範囲、及び第２光源１６の照射範囲に、識別対象者である運転者の顔が位置している場合を例に説明する。
【００５５】
コンピュータ１８において、図７に示す識別処理ルーチンが実行される。まず、ステップ１００において、第１光源１４及び第２光源１６がオンオフするように制御すると共に、第１光源１４のみの点灯時及び第２光源１６のみの点灯時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【００５６】
そして、ステップ１０２において、撮像装置１２から、第１光源１４の点灯時の顔画像と第２光源１６の点灯時の顔画像とを取得し、次のステップ１０４で、上記ステップ１０２で取得した２枚の顔画像の画素値に基づいて、各画素の差分値を算出する。
【００５７】
そして、ステップ１０６で、上記ステップ１０４で算出された各画素の差分値に基づいて、上記（１）式に従って、髪を表わす領域を抽出し、ステップ１０８で、上記ステップ１０４で算出された各画素の差分値に基づいて、上記（１）式に従って、肌を表わす領域を抽出する。
【００５８】
次のステップ１０９では、上記ステップ１０６で抽出された髪を表わす領域について、上記ステップ１０２で取得した２枚の顔画像の画素値に基づいて、上記（２）式に従って、各画素の特徴量を算出し、上記ステップ１０８で抽出された肌を表わす領域について、同様に、各画素の特徴量を算出する。
【００５９】
そして、ステップ１１０では、上記ステップ１０９で算出された髪を表わす領域の特徴量の分布、肌を表わす領域の特徴量の分布、及び予め定められた髪を表わす領域と肌を表わす領域の各々の特徴量の分布に基づいて、第２光源１６の点灯時の顔画像を補正するための補正量を算出する。
【００６０】
そして、ステップ１１２において、上記ステップ１０２で取得された第２光源１６の点灯時の顔画像の各画素の画素値を、上記ステップ１１０で算出された補正量に従って補正する。
【００６１】
次のステップ１１４では、上記ステップ１０２で取得された第１光源１４の点灯時の顔画像の画素値と、上記ステップ１１２で補正された第２光源１６の点灯時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。
【００６２】
そして、ステップ１１６において、上記ステップ１１４で算出された特徴量に基づいて、上記ステップ１０８で抽出された肌領域の内側から、特徴量が、閾値記憶部３２で記憶された閾値で規定される範囲内となる領域を、黒目領域の候補領域として抽出する。次のステップ１１８では、上記ステップ１１６で抽出された黒目領域の候補領域の中から、顔画像における黒目領域の候補領域の位置関係に基づいて、黒目を表わす領域を識別する。
【００６３】
そして、ステップ１２０において、上記ステップ１１８で識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【００６４】
以上説明したように、第１の実施の形態に係る画像識別装置によれば、顔の髪を表わす領域について算出された差分に関する特徴量の分布と肌を表わす領域について算出された差分に関する特徴量の分布とが、所定の特徴量の分布となるように、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【００６５】
また、運転者の黒目の反射特性の個人差や光源の照射強度の個体差に対応して、運転者の顔の黒目を表わす領域を精度よく検出することができる。
【００６６】
また、顔領域に含まれる肌と髪とは反射特性が既知であるため、顔画像における肌と髪の領域の明るさから、正確な補正量を算出でき、運転者に照射されている太陽光などの外乱光の影響を除去するように補正することができる。
【００６７】
なお、上記の実施の形態では、黒目領域の候補領域から、候補領域の位置関係に基づいて、黒目を表わす領域を検出する場合を例に説明したが、これに限定されるものではなく、黒目領域の候補領域における特徴量の分布を手掛かりに、パターン認識手法により、黒目を表わす領域を検出してもよい。図８（Ａ）、（Ｂ）に示すような顔画像において、黒目を表わす領域では、図８（Ｃ）に示すような特徴量の分布が得られるため、この特徴量の分布を用いたパターン認識手法により、候補領域から黒目を表わす領域を検出するようにすればよい。
【００６８】
また、補正量に従って第２光源の点灯時の顔画像のみを補正する場合を例に説明したが、これに限定されるものではなく、第１光源の点灯時の顔画像と第２光源の点灯時の顔画像との双方を補正するようにしてもよい。この場合には、抽出された髪を表わす領域及び肌を表わす領域の各々の特徴量の分布が、予め定められた各々の特徴量の分布に近くなるときの、第１光源の点灯時の顔画像を補正するための補正量及び第２光源の点灯時の顔画像を補正するための補正量を求めるようにすればよい。また、第１光源の点灯時の顔画像のみを補正するようにしてもよい。
【００６９】
また、２枚の顔画像の差分値に基づいて、肌領域と髪領域とを抽出する場合を例に説明したが、これに限定されるものではなく、顔画像における肌領域及び髪領域の各々の位置を予め設定してもおいてもよい。また、顔画像に対して、エッジ情報などから人の頭部領域を探索し、探索結果を用いて、肌領域と髪領域とを抽出するようにしてもよい。
【００７０】
また、補正量を算出するために、差分に関する特徴量を算出する場合と、補正された顔画像から差分に関する特徴量を算出する場合とにおいて、上記（２）式で表される同じ算出式を用いて、差分に関する特徴量を算出する場合を例に説明したが、これに限定されるものではなく、補正量を算出するために、差分に関する特徴量を算出する場合と、補正された顔画像から差分に関する特徴量を算出する場合とにおいて、異なる算出式を使い分けて、差分に関する特徴量を算出するようにしてもよい。
【００７１】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００７２】
第２の実施の形態では、光源の消灯時の顔画像に基づいて、補正量を算出している点が第１の実施の形態と異なっている。
【００７３】
図９に示すように、第２の実施の形態に係る画像識別装置２１０のコンピュータ２１８は、撮像装置１２によって３枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、第１光源１４及び第２光源１６の各々のオンオフを切り替える撮像光源制御部２２０と、撮像装置１２から出力される第１光源１４の点灯時の顔画像、第２光源１６の点灯時の顔画像、及び第１光源１４と第２光源１６との双方の消灯時の顔画像を入力する画像入力部２２２と、消灯時の顔画像に基づいて、顔画像の補正量を算出する補正量算出部２２８と、算出された補正量に従って、画像入力部２２２によって入力された第１光源１４の点灯時の顔画像及び第２光源１６の点灯時の顔画像の各々を補正する補正部２３０と、補正部２３０によって補正された顔画像を用いて、差分に関する特徴量を各画素について算出する特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【００７４】
撮像光源制御部２２０は、撮像装置１２によって連続して３枚の顔画像を撮像するように制御すると共に、撮像装置１２の撮像タイミングに合わせて、１枚目の顔画像の撮像時に、第２光源１６を消灯させたまま、第１光源１４を点灯させ、２枚目の顔画像の撮像時に、第１光源１４を消灯させて第２光源１６を点灯させ、３枚目の顔画像の撮像時に、第１光源１４と第２光源１６とを消灯させるように、第１光源１４及び第２光源１６を制御する。これによって、撮像装置１２から、第１光源１４の点灯時に撮影された顔画像と、第２光源１６の点灯時で撮影された顔画像と、光源消灯時に撮像された顔画像とが順番に出力される。
【００７５】
光源消灯時の顔画像の各画素の値が、外乱光成分であると推定されるため、補正量算出部２２８は、消灯時に撮像された顔画像の各画素の画素値を、補正量として算出する。
【００７６】
補正部２３０は、算出された各画素の補正量に従って、第１光源１４の点灯時に撮影された顔画像、及び第２光源１６の点灯時に撮影された顔画像の各画素の画素値から、対応する補正量だけ引くことにより補正を行う。
【００７７】
特徴量算出部２２７は、補正された第１光源１４の点灯時の顔画像及び補正された第２光源１６の点灯時の顔画像の各画素値に基づいて、各画素（ｉ，ｊ）に対して、上記（２）式に従って、差分に関する特徴量ｆｎ（ｉ，ｊ） を算出する。
【００７８】
次に、第２の実施の形態に係る識別処理ルーチンの内容について図１０を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して説明を省略する。
【００７９】
まず、ステップ２５０において、第１光源１４及び第２光源１６がオンオフするように制御すると共に、第１光源１４のみの点灯時、第２光源１６のみの点灯時、及び第１光源１４と第２光源１６との双方の消灯時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。次のステップ２５２において、撮像装置１２から、第１光源１４の点灯時の顔画像と第２光源１６の点灯時の顔画像と光源消灯時の顔画像とを取得する。
【００８０】
そして、ステップ２５４で、上記ステップ２５２で取得された光源消灯時の顔画像に基づいて、顔画像を補正するための補正量を各画素について算出し、ステップ２５６において、上記ステップ２５２で取得された第１光源１４の点灯時の顔画像及び第２光源１６の点灯時の顔画像の各々について、上記ステップ２５４で算出された補正量に従って各画素の画素値を補正する。
【００８１】
次のステップ１１４では、上記ステップ２５６で補正された第１光源１４の点灯時の顔画像の画素値と第２光源１６の点灯時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。
【００８２】
そして、ステップ１１６において、上記ステップ１１４で算出された特徴量に基づいて、黒目領域の候補領域を抽出し、次のステップ１１８では、上記ステップ１１６で抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。
【００８３】
そして、ステップ１２０において、上記ステップ１１８で識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【００８４】
上記で説明したように、第２の実施の形態に係る画像識別装置によれば、光源消灯時に撮像された顔画像に基づいて、補正量を算出し、補正された顔画像を用いて、顔の黒目を表わす領域を検出することにより、外乱光の影響を精度よく除去して、黒目を表わす領域を精度よく識別することができる。
【００８５】
また、光源消灯時の顔画像の明るさから、外乱光がどの程度含まれるかを推測することができるため、黒目識別のために適切な画像の補正量を算出することができ、運転者に照射されている外乱光の影響を除去するように補正することができる。
【００８６】
なお、補正量に従って第１光源の点灯時の顔画像と第２光源の点灯時の顔画像との双方を補正する場合を例に説明したが、これに限定されるものではなく、第１光源の点灯時の顔画像のみ、または第２光源の点灯時の顔画像のみを補正するようにしてもよい。この場合には、消灯時の顔画像に基づいて、第１光源の点灯時の顔画像のみを補正するための補正量、または第２光源の点灯時の顔画像のみを補正するための補正量を求めるようにすればよい。
【００８７】
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８８】
第３の実施の形態では、照度計によって計測された照度に基づいて、顔画像を補正するための補正量を算出している点が第１の実施の形態と異なっている。
【００８９】
図１１に示すように、第３の実施の形態に係る画像識別装置３１０は、撮像装置１２と、第１光源１４と、第２光源１６と、撮像装置１２の撮像素子に入射する光の照度を計測するように設けられた照度計３１２と、第１光源１４及び第２光源１６による照射のオンオフと撮像装置１２による撮像とを制御すると共に、照度計３１２によって計測された照度を用いて、撮像した顔画像に対して画像処理を行って、運転者の顔の黒目を表わす領域を識別するコンピュータ３１８とを備えている。
【００９０】
また、コンピュータ３１８は、撮像光源制御部２０と、画像入力部２２と、照度計３１２によって計測された照度に基づいて、顔画像の補正量を算出する補正量算出部３２８と、算出された補正量に従って、画像入力部２２２によって入力された２枚の顔画像の各々を補正する補正部３３０と、特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【００９１】
ここで、本実施の形態の原理について説明する。太陽光や道路周辺照明などの外乱光のスペクトル強度については、前もって知ることができる。また、撮像装置の撮像素子の分光感度やレンズなどの分光透過率も、前もって知ることができる。したがって、上記のスペクトル強度や、分光感度、分光透過率を予め調べておき、撮像装置に入射する光の照度を計測すれば、撮像画像の画素値に含まれる外乱光の比率を推定することが可能である。
【００９２】
そこで、本実施の形態では、補正量算出部３２８によって、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、及びレンズの分光透過率と、照度計３１２によって計測された光の照度とに基づいて、計測された光を撮像装置１２によって受光した量として、撮像画像の画素値に含まれる外乱光の比率を算出し、算出した比率を、顔画像を補正するための補正量とする。
【００９３】
補正部３３０は、算出された補正量に従って、第１光源１４の点灯時に撮影された顔画像及び第２光源１６の点灯時で撮影された顔画像の各画素の画素値を補正する。
【００９４】
次に、第３の実施の形態に係る識別処理ルーチンについて図１２を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して説明を省略する。
【００９５】
まず、ステップ１００において、第１光源１４及び第２光源１６がオンオフするように制御すると共に、第１光源１４のみの点灯時及び第２光源１６のみの点灯時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【００９６】
そして、ステップ１０２において、撮像装置１２から、第１光源１４の点灯時の顔画像と第２光源１６の点灯時の顔画像とを取得し、次のステップ３５０で、照度計３１２より計測された光の照度を取得する。
【００９７】
そして、ステップ３５２において、上記ステップ３５０で取得された光の照度と、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、及びレンズの分光透過率とに基づいて、顔画像を補正するための補正量を算出し、ステップ３５４において、上記ステップ１０２で取得された第１光源１４の点灯時の顔画像及び第２光源１６の点灯時の顔画像の各々について、上記ステップ３５２で算出された補正量に従って各画素の画素値を補正する。
【００９８】
次のステップ１１４では、上記ステップ３５４で補正された第１光源１４の点灯時の顔画像の画素値と第２光源１６の点灯時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。
【００９９】
そして、ステップ１１６において、上記ステップ１１４で算出された特徴量に基づいて、黒目領域の候補領域を抽出し、次のステップ１１８では、上記ステップ１１６で抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。
【０１００】
そして、ステップ１２０において、上記ステップ１１８で識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１０１】
以上説明したように、第３の実施の形態に係る画像識別装置によれば、照度計によって計測された光の照度に基づいて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目を表わす領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目を表わす領域を精度よく識別することができる。
【０１０２】
また、外乱光のスペクトル分布を予め調べておき、照度計で光の照度を計測することにより、外乱光がどの程度含まれるかを推測することができるため、黒目識別のために適切な画像の補正量を算出することができ、運転者に照射されている外乱光の影響を除去するように補正することができる。
【０１０３】
なお、補正量に従って第１光源の点灯時の顔画像と第２光源の点灯時の顔画像との双方を補正する場合を例に説明したが、これに限定されるものではなく、第１光源の点灯時の顔画像のみ、または第２光源の点灯時の顔画像のみを補正するようにしてもよい。この場合には、予め求められた外乱光のスペクトル強度等と計測された光の照度とに基づいて、撮像画像の画素値に含まれる外乱光の比率を算出し、外乱光の比率に基づいて、第１光源の点灯時の顔画像のみを補正するための補正量、または第２光源の点灯時の顔画像のみを補正するための補正量を求めるようにすればよい。
【０１０４】
次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については同一符号を付して説明を省略する。
【０１０５】
第４の実施の形態では、バンドパスフィルタを用いて、運転者の顔からの反射光から第１波長域及び第２波長域の各々の近赤外光を透過させて、顔画像を撮像している点が第１の実施の形態と異なっている。
【０１０６】
図１３に示すように、第４の実施の形態に係る画像識別装置４１０は、撮像装置１２と、運転者の顔から反射された光のうち、第１波長域（例えば、８７０ｎｍを含む８００ｎｍ〜９５０ｎｍの波長域）の近赤外光、及び第２波長域（例えば、９７０ｎｍを含む９５０ｎｍ〜１１００ｎｍの波長域）の近赤外光を切り替えて、撮像装置１２に透過させるバンドパスフィルタ４１４と、バンドパスフィルタ４１４によって透過させる波長域の切り替えと撮像装置１２による撮像とを制御すると共に、撮像した顔画像に対して画像処理を行って運転者の顔の黒目を表わす領域を識別するコンピュータ４１８とを備えている。
【０１０７】
バンドパスフィルタ４１４は、第１波長域の近赤外光を透過させるフィルタと、第２波長域の近赤外光を透過させるフィルタと、２つのフィルタを切り替える機構とを備え、コンピュータ４１８からの制御に応じて、運転者の顔から反射された光のうち、撮像装置１２に透過させる光の波長域を、第１波長域及び第２波長域の何れかに切り替える。
【０１０８】
コンピュータ４１８は、撮像装置１２によって２枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の何れかに切り替える撮像フィルタ制御部４２０と、撮像装置１２から出力される第１波長域の近赤外光透過時の顔画像及び第２波長域の近赤外光透過時の顔画像を入力する画像入力部４２２と、髪肌領域抽出部２６と、特徴量算出部２７と、補正量算出部２８と、補正部３０と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【０１０９】
第４の実施の形態に係る識別処理ルーチンでは、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【０１１０】
そして、撮像装置１２から、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを取得し、取得した２枚の顔画像の画素値に基づいて、各画素の差分値を算出する。次に、算出された各画素の差分値に基づいて、第１の実施の形態と同様に、上記（１）式に従って、髪を表わす領域を抽出すると共に、肌を表わす領域を抽出する。
【０１１１】
そして、抽出された髪を表わす領域について、第１の実施の形態と同様に、上記（２）式に従って、差分に関する各画素の特徴量を算出すると共に、抽出された肌を表わす領域について、同様に、差分に関する各画素の特徴量を算出する。次に、算出された髪を表わす領域の特徴量の分布、肌を表わす領域の特徴量の分布、及び予め定められた髪を表わす領域と肌を表わす領域との各々の特徴量の分布に基づいて、第１の実施の形態と同様な方法により、第２波長域の近赤外光透過時の顔画像を補正するための補正量を算出する。そして、取得された第２波長域の近赤外光透過時の顔画像の各画素の画素値を、算出された補正量に従って補正する。
【０１１２】
次に、取得された第１波長域の近赤外光透過時の顔画像の画素値と、補正された第２波長域の近赤外光透過時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。そして、算出された特徴量に基づいて、上記で抽出された肌領域の内側から、特徴量が、閾値記憶部３２で記憶された閾値で規定される範囲内となる領域を、黒目領域の候補領域として抽出する。次に、抽出された黒目領域の候補領域の中から、顔画像における黒目領域の候補領域の位置関係に基づいて、黒目を表わす領域を識別する。
【０１１３】
そして、識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１１４】
このように、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを用いて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【０１１５】
次に、第５の実施の形態について説明する。なお、第１の実施の形態〜第４の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１１６】
第５の実施の形態では、バンドパスフィルタを用いて、運転者の顔からの反射光から第１波長域及び第２波長域の各々の近赤外光を透過させて、顔画像を撮像している点が第３の実施の形態と異なっている。
【０１１７】
図１４に示すように、第５の実施の形態に係る画像識別装置５１０は、撮像装置１２と、バンドパスフィルタ４１４と、照度計３１２と、バンドパスフィルタ４１４によって透過させる波長域の切り替えと撮像装置１２による撮像とを制御すると共に、照度計３１２によって計測された照度を用いて、撮像した顔画像に対して画像処理を行って、運転者の顔の黒目を表わす領域を識別するコンピュータ５１８とを備えている。
【０１１８】
コンピュータ５１８は、撮像フィルタ制御部４２０と、画像入力部４２２と、補正量算出部３２８と、補正部３３０と、特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【０１１９】
補正量算出部３２８では、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、レンズの分光透過率、及びバンドパスフィルタ４１４の各フィルタの分光透過率と、照度計３１２によって計測された光の照度とに基づいて、撮像画像の画素値に含まれる外乱光の比率を、顔画像を補正するための補正量として、第１波長域及び第２波長域の各々について、算出する。
【０１２０】
第５の実施の形態に係る識別処理ルーチンでは、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【０１２１】
そして、撮像装置１２から、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを取得し、次に、照度計３５０より計測された光の照度を取得する。
【０１２２】
そして、取得された光の照度と、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、レンズの分光透過率、及びバンドパスフィルタ４１４の各フィルタの分光透過率とに基づいて、顔画像を補正するための補正量を、第１波長域の近赤外光透過時の顔画像及び第２波長域の近赤外光透過時の顔画像の各々について算出し、取得された第１波長域の近赤外光透過時の顔画像及び第２波長域の近赤外光透過時の顔画像の各々について、対応する補正量に従って各画素の画素値を補正する。
【０１２３】
次に、補正された第１波長域の近赤外光透過時の顔画像の画素値と第２波長域の近赤外光透過時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。そして、算出された特徴量に基づいて、黒目領域の候補領域を抽出し、抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。
【０１２４】
そして、識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１２５】
このように、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを用いて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【０１２６】
次に、第６の実施の形態について説明する。なお、第１の実施の形態〜第４の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１２７】
第６の実施の形態では、バンドパスフィルタを用いて、運転者の顔からの反射光から第１波長域及び第２波長域の各々の近赤外光を透過させて、顔画像を撮像している点が第２の実施の形態と異なっている。
【０１２８】
図１５に示すように、第６の実施の形態に係る画像識別装置６１０は、撮像装置１２と、バンドパスフィルタ４１４と、第１波長域及び第２波長域を含む広い波長域の光を運転者の顔に照射する光源６１４と、バンドパスフィルタ４１４によって透過させる波長域の切り替えと撮像装置１２による撮像と光源６１４のオンオフとを制御すると共に、撮像した顔画像に対して画像処理を行って、運転者の顔の黒目を表わす領域を識別するコンピュータ６１８とを備えている。
【０１２９】
コンピュータ６１８は、撮像装置１２によって４枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の何れかに切り替え、光源６１４のオンオフを切り替える撮像光源フィルタ制御部６２０と、撮像装置１２から出力される、光源６１４の点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像、光源６１４の点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像、光源６１４の消灯時であって、かつ、第１波長域の近赤外光透過時の顔画像、及び光源６１４の消灯時であって、かつ、第２波長域の近赤外光透過時の顔画像を入力する画像入力部６２２と、光源消灯時かつ第１波長域の近赤外光透過時の顔画像、及び光源消灯時かつ第２波長域の近赤外光透過時の顔画像の各々に基づいて、顔画像の補正量を算出する補正量算出部６２８と、算出された補正量に従って、画像入力部６２２によって入力された、光源点灯時かつ第１波長域の近赤外光透過時の顔画像、及び光源点灯時かつ第２波長域の近赤外光透過時の顔画像の各々を補正する補正部６３０と、特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【０１３０】
撮像光源フィルタ制御部６２０は、撮像装置１２によって連続して４枚の顔画像を撮像するように制御する。また、撮像光源フィルタ制御部６２０は、撮像装置１２の撮像タイミングに合わせて、１枚目の顔画像の撮像時に、光源６１４を点灯させると共に、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域に切り替え、２枚目の顔画像の撮像時に、光源６１４を点灯させたまま、バンドパスフィルタ４１４によって透過させる光の波長域を、第２波長域に切り替える。また、撮像光源フィルタ制御部６２０は、３枚目の顔画像の撮像時に、光源６１４を消灯させると共に、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域に切り替え、４枚目の顔画像の撮像時に、光源６１４を消灯させたまま、バンドパスフィルタ４１４によって透過させる光の波長域を、第２波長域に切り替える。
【０１３１】
補正量算出部６２８は、光源６１４の消灯時であって、かつ第１波長域の近赤外光透過時に撮像された顔画像の各画素の画素値を、第１波長域に対する補正量として算出し、また、光源６１４の消灯時であって、かつ第２波長域の近赤外光透過時に撮像された顔画像の各画素の画素値を、第２波長域に対する補正量として算出する。
【０１３２】
補正部６３０は、算出された第１波長域に対する各画素の補正量に従って、光源６１４の点灯時であって、かつ第１波長域の近赤外光透過時に撮影された顔画像の各画素の画素値から、対応する補正量だけ引くことにより補正を行う。また、補正部６３０は、算出された第２波長域に対する各画素の補正量に従って、光源６１４の点灯時であって、かつ第２波長域の近赤外光透過時に撮影された顔画像の各画素の画素値から、対応する補正量だけ引くことにより補正を行う。
【０１３３】
第６の実施の形態に係る識別処理ルーチンでは、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、光源６１４を点灯させて、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。また、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、光源６１４を消灯させて、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【０１３４】
そして、撮像装置１２から、光源点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像と、光源点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像と、光源消灯時であって、かつ、第１波長域の近赤外光透過時の顔画像と、光源消灯時であって、かつ、第２波長域の近赤外光透過時の顔画像とを取得する。
【０１３５】
そして、取得された光源消灯時の２枚の顔画像に基づいて、第１波長域の近赤外光透過時の顔画像を補正するための補正量を各画素について算出すると共に、第２波長域の近赤外光透過時の顔画像を補正するための補正量を各画素について算出する。
【０１３６】
そして、取得された光源点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像、及び光源点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像の各々について、算出された対応する補正量に従って、各画素の画素値を補正する。次に、補正された光源点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像の画素値と、光源点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像の画素値とに基づいて、差分に関する特徴量を各画素について算出する。
【０１３７】
そして、算出された特徴量に基づいて、黒目領域の候補領域を抽出し、抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。次に、識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１３８】
このように、光源消灯時であって、かつ第１波長域の近赤外光透過時の顔画像と、光源消灯時であって、かつ第２波長域の近赤外光透過時の顔画像とを用いて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【０１３９】
なお、上記の第４の実施の形態〜第６の実施の形態では、バンドパスフィルタを用いて、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを撮像する場合を例に説明したが、これに限定されるものではなく、第１波長域の光及び第２波長域の光をそれぞれ分離することができるプリズムを用いて、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを撮像するようにしてもよい。また、運転者の顔からの反射光をプリズムで分光した後に、バンドパスフィルタによって第１波長域の近赤外光を透過させて、顔画像を撮像すると共に、同様に反射光をプリズムで分光した後に、バンドパスフィルタによって第２波長域の近赤外光を透過させて、顔画像を撮像するようにしてもよい。
【０１４０】
また、画素や画素列単位で、異なる波長域を透過させるバンドパスフィルタを設置するようにしてもよい。この場合には、画素や画素列単位で、第１波長域の近赤外光を透過させるためのバンドパスフィルタと第２波長域の近赤外光を透過させるためのバンドパスフィルタとを設置し、撮像した画像データから、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを取得するようにすればよい。
【０１４１】
また、第１波長域及び第２波長域を含む広い波長域の光を運転者の顔に照射する光源を更に設けて、顔画像の撮像時に光源を点灯させるようにしてもよい。
【０１４２】
また、上記の第１の実施の形態〜第６の実施の形態では、第１波長域及び第２波長域が、近赤外光の波長域内に含まれている場合を例に説明したが、これに限定されるものではなく、第１波長域及び第２波長域が、可視光波長域を含んでいてもよい。
【０１４３】
また、算出した補正量に基づいて補正された２枚の顔画像から、差分に関する特徴量を算出する場合を例に説明したが、これに限定されるものではなく、顔画像を補正せずに、補正前の２枚の顔画像と算出した補正量とに基づいて、補正量に基づいて２枚の顔画像を補正した場合に得られる、差分に関する特徴量を算出するようにしてもよい。
【０１４４】
また、撮像装置から濃淡画像が出力される場合を例に説明したが、これに限定されるものではなく、撮像装置からカラー画像が出力されるようにしてもよい。
【図面の簡単な説明】
【０１４５】
【図１】本発明の第１の実施の形態に係る画像識別装置を示すブロック図である。
【図２】髪及び肌についての光の波長域と反射率との関係を示すグラフ図である。
【図３】顔の各部位の特徴量の分布を示すイメージ図である。
【図４】（Ａ）外乱光の影響により偏っている特徴量の分布を示すグラフ、（Ｂ）外乱光の影響により偏っている特徴量の分布を示すグラフ、及び（Ｃ）外乱光の影響がない場合の特徴量の分布を示すグラフである。
【図５】（Ａ）瞳孔の大きさが小さい場合の特徴量の分布を示すイメージ図、及び（Ｂ）瞳孔の大きさが大きい場合の特徴量の分布を示すイメージ図である。
【図６】（Ａ）光源の照射強度が小さい場合の特徴量の分布を示すイメージ図、及び（Ｂ）光源の照射強度が大きい場合の特徴量の分布を示すイメージ図である。
【図７】本発明の第１の実施の形態に係る画像識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図８】（Ａ）顔画像を示すイメージ図、（Ｂ）顔画像の拡大画像を示すイメージ図、及び（Ｂ）黒目を表わす領域の特徴量の分布を示すイメージ図である。
【図９】本発明の第２の実施の形態に係る画像識別装置を示すブロック図である。
【図１０】本発明の第２の実施の形態に係る画像識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図１１】本発明の第３の実施の形態に係る画像識別装置を示すブロック図である。
【図１２】本発明の第３の実施の形態に係る画像識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図１３】本発明の第４の実施の形態に係る画像識別装置を示すブロック図である。
【図１４】本発明の第５の実施の形態に係る画像識別装置を示すブロック図である。
【図１５】本発明の第６の実施の形態に係る画像識別装置を示すブロック図である。
【符号の説明】
【０１４６】
１０、２１０、３１０、４１０、５１０、６１０ 画像識別装置
１２ 撮像装置
１４ 第１光源
１６ 第２光源
１８、２１８、３１８、４１８、５１８、６１８ コンピュータ
２０、２２０ 撮像光源制御部
２６ 髪肌領域抽出部
２７、２２７ 特徴量算出部
２８、２２８、３２８、６２８ 補正量算出部
３０、２３０、３３０、６３０ 補正部
３２ 閾値記憶部
３４ 候補領域抽出部
３６ 部位識別部
３８ 更新部
３１２ 照度計
４１４ バンドパスフィルタ
４２０ 撮像フィルタ制御部
６２０ 撮像光源フィルタ制御部
【技術分野】
【０００１】
本発明は、画像識別装置に係り、特に、撮像した画像から、識別対象者の顔の部位や識別対象物を識別する画像識別装置に関する。
【背景技術】
【０００２】
従来より、第１の波長域の光及び第２の波長域の光の照射をオンオフして、対象物及び標準白色板を撮像し、第１の波長域の光で照明した状態で撮影した対象物の画像の画素値、第１の波長域の光で照明した状態で撮影した白色板の画像の画素値、第２の波長域の光で照明した状態で撮影した対象物の画像の画素値、及び第２の波長域の光で照明した状態で撮影した白色板の画像の画素値を演算し、演算結果を用いて外乱光の影響を除去し、対象物の各部位、例えばドライバの肌、髪、眼球を判別する部位判別装置が知られている（特許文献１）。
【特許文献１】特開２００６−２４２９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１の技術では、標準白色板と対象物とに同じように外乱光が照射するとは限らないため、外乱光の影響を精度よく除去することができない、という問題がある。また、設置した標準白色板が、対象物以外の物体によって隠れてしまった場合には、隠れていることを検知できずに、外乱光の影響を誤って除去してしまう、という問題がある。
【０００４】
本発明は、上記の問題点を解決するためになされたもので、外乱光の影響を精度よく除去して、顔の識別対象の部位や識別対象物を精度よく識別することができる画像識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために第１の発明に係る画像識別装置は、第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象者の顔に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象者の顔に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、前記第１の画像データにおける前記識別対象者の顔の予め定められた第１部位を表わす領域の画像データと前記第２の画像データにおける前記第１部位を表わす領域の画像データとの差分に関する特徴量を算出すると共に、前記第１の画像データにおける前記顔の前記第１部位と異なる第２部位を表わす領域の画像データと前記第２の画像データにおける前記第２部位を表わす領域の画像データとの差分に関する特徴量を算出する第１特徴量算出手段と、前記第１特徴量算出手段によって算出された前記第１部位を表わす領域の前記差分に関する特徴量及び前記第２部位を表わす領域の前記差分に関する特徴量に基づいて、予め求められた、前記第１部位を表わす領域の前記差分に関する特徴量と前記第２部位を表わす領域の前記差分に関する特徴量とが得られるように、画像データを補正するための補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された前記補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する第２特徴量算出手段と、前記第２特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、顔の識別対象の部位を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象の部位を検出する検出手段とを含んで構成されている。
【０００６】
第１の発明に係る画像識別装置によれば、第１の波長及び第１の波長と異なる第２の波長を含む波長域に感度を有する撮像手段によって、第１の波長を含みかつ、第２の波長を含まない第１の波長域の光を識別対象者の顔に照射して撮像するか、または識別対象者の顔から反射された反射光から第１の波長域の光を透過させて識別対象者の顔を撮像することにより、第１の画像データを出力する。また、撮像手段によって、第２波長を含みかつ第１の波長を含まない第２の波長域の光を識別対象者の顔に照射して撮像するか、または反射光から第２の波長域の光を透過させて識別対象者の顔を撮像することにより、第２の画像データを出力する。
【０００７】
第１特徴量算出手段によって、第１の画像データにおける識別対象者の顔の予め定められた第１部位を表わす領域の画像データと第２の画像データにおける第１部位を表わす領域の画像データとの差分に関する特徴量を算出すると共に、第１の画像データにおける顔の第１部位と異なる第２部位を表わす領域の画像データと第２の画像データにおける第２部位を表わす領域の画像データとの差分に関する特徴量を算出する。
【０００８】
そして、補正量算出手段によって、第１特徴量算出手段によって算出された第１部位を表わす領域の差分に関する特徴量及び第２部位を表わす領域の差分に関する特徴量に基づいて、予め求められた、第１部位を表わす領域の差分に関する特徴量と第２部位を表わす領域の差分に関する特徴量とが得られるように、画像データを補正するための補正量を算出する。
【０００９】
そして、第２特徴量算出手段によって、補正量算出手段によって算出された補正量に基づいて第１の画像データ及び第２の画像データの少なくとも一方の画像データを補正したときの、第１の画像データと第２の画像データとの差分に関する特徴量を各画素について算出する。検出手段によって、第２特徴量算出手段によって算出された各画素の差分に関する特徴量と、顔の識別対象の部位を表わす領域の画像データについて予め求められた差分に関する特徴量とを比較して、第１の画像データ及び第２の画像データの少なくとも一方から、識別対象の部位を検出する。
【００１０】
このように、顔の第１部位を表わす領域の差分に関する特徴量と第２部位を表わす領域の差分に関する特徴量とに基づいて、補正量を算出し、補正された画像データを用いて、顔の識別対象の部位を検出することにより、外乱光の影響を精度よく除去して、顔の識別対象の部位を精度よく識別することができる。
【００１１】
第２の発明に係る画像識別装置は、第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力し、前記識別対象物に光を照射せずに撮像することにより、第３の画像データを出力する撮像手段と、前記第３の画像データに基づいて、画像データを補正するための補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段とを含んで構成されている。
【００１２】
第２の発明に係る画像識別装置によれば、第１の波長及び第１の波長と異なる第２の波長を含む波長域に感度を有する撮像手段によって、第１の波長を含みかつ、第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または識別対象者の顔から反射された反射光から第１の波長域の光を透過させて識別対象者の顔を撮像することにより、第１の画像データを出力する。また、撮像手段によって、第２波長を含みかつ第１の波長を含まない第２の波長域の光を識別対象物に照射して撮像するか、または反射光から第２の波長域の光を透過させて識別対象者の顔を撮像することにより、第２の画像データを出力する。また、撮像手段によって、識別対象物に光を照射せずに撮像することにより、第３の画像データを出力する。
【００１３】
そして、補正量算出手段によって、第３の画像データに基づいて、画像データを補正するための補正量を算出する。
【００１４】
そして、特徴量算出手段によって、補正量算出手段によって算出された補正量に基づいて第１の画像データ及び第２の画像データの少なくとも一方の画像データを補正したときの、第１の画像データと第２の画像データとの差分に関する特徴量を各画素について算出する。検出手段によって、特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、識別対象物を表わす領域の画像データについて予め求められた差分に関する特徴量とを比較して、第１の画像データ及び第２の画像データの少なくとも一方から、識別対象物を検出する。
【００１５】
このように、光を照射せずに撮像された画像データに基づいて、補正量を算出し、補正された画像データを用いて、識別対象物を検出することにより、外乱光の影響を精度よく除去して、識別対象物を精度よく識別することができる。
【００１６】
第３の発明に係る画像識別装置は、光の照度を計測する照度計と、第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象物から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、前記照度計によって計測された光の照度に基づいて、前記計測された光を前記撮像手段によって受光した量が除外されるように、画像データを補正するための補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段とを含んで構成されている。
【００１７】
第３の発明に係る画像識別装置によれば、照度計によって、光の照度を計測する。また、第１の波長及び第１の波長と異なる第２の波長を含む波長域に感度を有する撮像手段によって、第１の波長を含みかつ、第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または識別対象物から反射された反射光から第１の波長域の光を透過させて識別対象者の顔を撮像することにより、第１の画像データを出力する。また、撮像手段によって、第２波長を含みかつ第１の波長を含まない第２の波長域の光を識別対象物に照射して撮像するか、または反射光から第２の波長域の光を透過させて識別対象者の顔を撮像することにより、第２の画像データを出力する。
【００１８】
そして、補正量算出手段によって、照度計によって計測された光の照度に基づいて、計測された光を撮像手段によって受光した量が除外されるように、画像データを補正するための補正量を算出する。
【００１９】
そして、特徴量算出手段によって、補正量算出手段によって算出された補正量に基づいて第１の画像データ及び第２の画像データの少なくとも一方の画像データを補正したときの、第１の画像データと第２の画像データとの差分に関する特徴量を各画素について算出する。検出手段によって、特徴量算出手段によって算出された各画素の差分に関する特徴量と、識別対象物を表わす領域の画像データについて予め求められた差分に関する特徴量とを比較して、第１の画像データ及び第２の画像データの少なくとも一方から、識別対象物を検出する。
【００２０】
このように、照度計によって計測された光の照度に基づいて、補正量を算出し、補正された画像データを用いて、識別対象物を検出することにより、外乱光の影響を精度よく除去して、識別対象物を精度よく識別することができる。
【００２１】
第１の発明に係る画像識別装置は、検出手段によって検出された識別対象者の顔の部位を表わす領域の画像データの差分に関する特徴量に基づいて、予め定められた差分に関する特徴量を更新する更新手段を更に含むことができる。これによって、検出対象者の個人の特性や光源の特性に対応して、識別対象者の顔の部位を精度よく検出することができる。
【００２２】
第１の発明に係る第１部位を、髪部分とし、第２部位を、肌部分とすることができる。
【００２３】
第２の発明及び第３の発明に係る画像識別装置は、検出手段によって検出された識別対象物を表わす領域の画像データの差分に関する特徴量に基づいて、予め定められた差分に関する特徴量を更新する更新手段を更に含むことができる。これによって、検出対象者の個体の特性や光源の特性に合わせて、識別対象物を精度よく検出することができる。
【００２４】
上記の第１の波長域及び第２の波長域の各々を、８００〜１１００ｎｍの範囲内とすることができる。また、第１の波長域を、８００〜９５０ｎｍとし、第２の波長域を、９５０〜１１００ｎｍとすることができる。
【発明の効果】
【００２５】
以上説明したように、本発明の画像識別装置によれば、画像データから外乱光の影響を精度よく除去して、顔の識別対象の部位又は識別対象物を精度よく識別することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、運転者の顔の黒目領域を識別する画像識別装置に本発明を適用した場合を例に説明する。
【００２７】
図１に示すように、第１の実施の形態に係る画像識別装置１０は、識別対象者としての運転者の顔を含む範囲を撮像するように設けられた撮像装置１２と、第１波長域（例えば、８７０ｎｍを含む８００ｎｍ〜９５０ｎｍの波長域）の近赤外光を運転者の顔を含む範囲に照射するように設けられた第１光源１４と、第２波長域（例えば、９７０ｎｍを含む９５０ｎｍ〜１１００ｎｍの波長域）の近赤外光を運転者の顔を含む範囲に照射するように設けられた第２光源１６と、第１光源１４及び第２光源１６による照射のオンオフと撮像装置１２による撮像とを制御すると共に、撮像した顔画像に対して画像処理を行って運転者の顔の黒目領域を識別するコンピュータ１８とを備えている。
【００２８】
撮像装置１２は、識別対象者である運転者の顔を含む範囲を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。また、撮像装置１２の撮像部の撮像素子は、第１波長域及び第２波長域を含む波長域に感度を有している。
【００２９】
第１光源１４によって照射される光の第１波長域と第２光源１６によって照射される光の第２波長域とは、主要な波長域が異なっており、第１波長域に、第２波長域の主要な波長９７０ｎｍが含まれず、第２波長域に、第１波長域の主要な波長８７０ｎｍが含まれなければ、波長域の一部が重複していてもよい。
【００３０】
コンピュータ１８は、ＣＰＵ、後述する識別処理ルーチンの識別プログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２によって２枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、第１光源１４及び第２光源１６の各々のオンオフを切り替える撮像光源制御部２０と、撮像装置１２から出力される第１光源１４の点灯時の濃淡画像である顔画像及び第２光源１６の点灯時の顔画像を入力する画像入力部２２と、画像入力部２２によって入力された２枚の顔画像の各画素の差分値に基づいて、顔画像から髪を表わす領域及び肌を表わす領域の各々を抽出する髪肌領域抽出部２６と、２枚の顔画像における、抽出された髪を表わす領域及び肌を表わす領域の画像データに基づいて、髪を表わす領域及び肌を表わす領域の各々の差分に関する特徴量を算出すると共に、後述する補正部３０によって補正された顔画像を用いて、２枚の顔画像から差分に関する特徴量を各画素について算出する特徴量算出部２７と、抽出された髪を表わす領域及び肌を表わす領域の各々の特徴量に基づいて、顔画像を補正するための補正量を算出する補正量算出部２８と、算出された補正量に従って、画像入力部２２によって入力された顔画像を補正する補正部３０とを備えている。
【００３１】
撮像光源制御部２０は、撮像装置１２によって連続して２枚の顔画像を撮像するように制御すると共に、撮像装置１２の撮像タイミングに合わせて、一方の顔画像の撮像時に、第２光源１６を消灯させたまま、第１光源１４を点灯させ、他方の顔画像の撮像時に、第１光源１４を消灯させて第２光源１６を点灯させるように、第１光源１４及び第２光源１６を制御する。これによって、撮像装置１２から、第１光源１４の点灯時に撮影された顔画像と第２光源１６の点灯時に撮影された顔画像が順番に出力される。
【００３２】
画像入力部２２は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
【００３３】
肌と髪とでは、図２に示すような分光反射特性が得られる。図２では、横軸が光の波長を示し、縦軸が反射率を示している。近赤外の８００ｎｍ〜１０００ｎｍの波長域では、髪の反射率は右肩上がり（波長が長いほど反射率が高い）の特性を持ち、肌の反射率は右肩下がり（波長が長いほど反射率が低い）の特性を持つ。また、近赤外領域の２つの波長、例えば８７０ｎｍと９７０ｎｍとの近赤外光の反射率で比較すると、肌は、８７０ｎｍの近赤外光の方を強く反射し、髪や黒目は、９７０ｎｍの近赤外光の方を強く反射する特性を持つ。したがって、８７０ｎｍの近赤外光を照射して撮影した画像から、９７０ｎｍの近赤外光を照射して撮影した画像を引く（対応する画素の差分を算出する）と、肌を表わす領域の画素の差分値は、正の値となり、髪や黒目を表わす領域の画素の差分値は、負の値となる。
【００３４】
そこで、髪肌領域抽出部２６は、以下の（１）式に示すように、２枚の顔画像の各画素の差分値、及び差分値に関する正の閾値と負の閾値に基づいて、対象画素が髪を表わしているかを識別すると共に、肌を表わしているかを識別し、髪を表わす領域及び肌を表わす領域を抽出する。
【００３５】
【数１】
【００３６】
ここで、ｆ８７０（ｉ，ｊ）は、第１光源１４から８７０ｎｍの波長を含む第１波長域の光を照射したときに撮像された顔画像中の画素（ｉ，ｊ）の画素値を表わし、ｆ９７０（ｉ，ｊ）は、第２光源１６から９７０ｎｍの波長を含む第２波長域の光を照射したときに撮像された顔画像中の画素（ｉ，ｊ）の画素値を表わしている。また、Ｔｈ１は、正の閾値であり、Ｔｈ２は、負の閾値である。上記のように、肌領域と髪領域とでは、画素値の差分値が大きく異なるため、外乱光の影響で、顔画像における、第１光源１４及び第２光源１６の２つの波長域の明度バランスが崩れた状態でも、比較的容易に両者を分離する閾値を探索することが可能である。従って、実験的又は統計的に、肌領域と髪領域とを分離する正の閾値と負の閾値とを調べておき、上記の閾値として予め設定しておけばよい。
【００３７】
特徴量算出部２７は、２枚の顔画像の髪を表わす領域の各画素の画素値、２枚の顔画像の肌を表わす領域の各画素の画素値、及び２枚の顔画像の各画素の画素値に基づいて、各画素に対して以下の（２）式の演算を行い、各画素（ｉ，ｊ）の差分に関する特徴量ｆｎ（ｉ，ｊ）を算出する。
【００３８】
【数２】
【００３９】
光源から撮像対象までの距離によって、撮像画像中での対象物の明るさが変化してしまう。そのため、上記（２）式では、注目画素の画素値の差を、対象物に照射される光の波長域が異なる２枚の撮像画像における注目画素の画素値の和で正規化し、距離に依存した明るさ変化に影響されない特徴量を算出している。また、正規化しているため、上記（２）式で表される特徴量は、−１から１の範囲内の値となる。
【００４０】
また、上記特許文献１に開示されているとおり、肌や髪、黒目（瞳孔、虹彩）は、近赤外領域においてそれぞれ異なる分光反射特性を持つため、図３に示すように、顔の各部位を表わす領域について、異なる特徴量の分布が得られる。なお、黒目領域の特徴量の分布は、肌領域や白目領域の特徴量の分布と異なり、髪領域の特徴量の分布に近い。
【００４１】
また、２つの波長域の光（８７０ｎｍを含む波長域と９７０ｎｍを含む波長域）の強度バランスは、外乱光に含まれる２つの波長域の光の量によって影響を受ける。したがって、太陽光などの強い外乱光が存在する場合には、上記（２）式で算出される特徴量の値が変化し、図４（Ａ）、図４（Ｂ）に示すように、肌や髪を表わす領域の特徴量の分布が偏ってしまうため、特徴量の分布に基づく肌や髪を表わす領域の分離が困難になる。また、上記図３に示したように瞳孔や虹彩を表わす領域の特徴量の分布は、肌を表わす領域の特徴量の分布と髪を表わす領域の特徴量の分布との中間に位置するため、特徴量の分布に基づく肌や髪を表わす領域の分離がさらに難しくなり、精度よく識別することができなくなる。
【００４２】
そこで、補正量算出部２８は、抽出された髪を表わす領域及び肌を表わす領域の各々の特徴量の分布が、予め定められた、図４（Ｃ）に示すような外乱光の影響がない場合における特徴量の軸で差が大きい特徴量の分布となるように、以下に説明するように、画像を補正するための補正量を算出する。
【００４３】
まず、顔画像における８７０ｎｍを含む第１波長域と９７０ｎｍを含む第２波長域との強度バランスを補正するために第２光源１６の点灯時の顔画像を補正する補正量をαとすると、補正量αで補正された場合の差分に関する特徴量は、以下の（３）式で表される。
【００４４】
【数３】
【００４５】
上記の補正量αを様々に変化させ、上記（３）式で算出される肌領域及び髪領域の各々の特徴量の分布が、予め記憶されている肌領域及び髪領域の各々の特徴量の分布に近くなるときの補正量αを求め、第２光源１６の点灯時の顔画像を補正するための補正量を決定する。
【００４６】
なお、予め定められた肌領域の特徴量の分布と髪領域の特徴量の分布との差が大きいという関係が得られるように、肌領域と髪領域から算出された特徴量の分布の差を大きくする補正量を決定するようにしてもよい。
【００４７】
補正部３０は、補正量算出部２８によって算出された補正量に従って、第２光源１６の点灯時の顔画像の各画素の画素値を補正する。これによって、第１光源１６の点灯時の顔画像と第２光源１６の点灯時の補正後の顔画像とから算出される差分に関する特徴量の分布は、上記図４（Ｃ）のようになるため、肌と髪との各々を表わす領域の特徴量の分布の中間に位置する、瞳孔や虹彩を表わす領域の特徴量の分布を分離しやすくなり、黒目領域の識別が可能となる。
【００４８】
また、コンピュータ１８は、図１に示すように、黒目領域の特徴量の分布に基づく特徴量の範囲を規定する閾値を記憶した閾値記憶部３２と、補正された顔画像を用いて算出された差分に関する各画素の特徴量、及び閾値記憶部３２に記憶された特徴量に関する閾値とに基づいて、顔画像から黒目領域の候補領域を抽出する候補領域抽出部３４と、抽出された候補領域から、識別対象部位としての黒目を表わす領域を識別する部位識別部３６と、識別された黒目領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新する更新部３８とを備えている。
【００４９】
閾値記憶部３２に記憶された閾値は以下のように決定される。まず、外乱光の影響が除去された顔画像又は外乱光の影響がない顔画像から、黒目領域の特徴量の分布を求めておき、求められた黒目領域の特徴量の分布に基づいて、黒目領域の特徴量の範囲を定め、定められた特徴量の範囲を規定する閾値を決定して、閾値記憶部３２に記憶しておく。
【００５０】
候補領域抽出部３４は、補正された顔画像を用いて算出された差分に関する各画素の特徴量に基づいて、抽出された肌領域の内側から、特徴量が、閾値で定められる範囲内となる領域を、黒目領域の候補領域として抽出する。このとき、黒目領域の特徴量の分布と髪領域の特徴量の分布とが近いため、眉を表わす領域も、黒目領域の候補領域として抽出される。
【００５１】
部位識別部３６は、顔画像における、抽出された黒目領域の候補領域の位置関係から、上側に存在する候補領域を、眉を表わす領域として除外して、黒目領域の候補領域から、黒目を表わす領域を検出して、黒目を表わす領域を識別する。
【００５２】
黒目領域における近赤外光の反射特性は個人差を持ち、黒目内の部位（瞳孔や虹彩）によって反射率は異なるため、図５（Ａ）、（Ｂ）に示すように、瞳孔の大きさ（周辺環境の明るさや光源の明るさにより変化）に応じて、差分に関する特徴量の値や分布が変化する。また、図６（Ａ）、（Ｂ）に示すように、差分に関する特徴量は、光源（LEDなど）の照射強度や撮像条件(シャッター速度やゲイン制御)にも影響を受けるため、光源装置の個体差や周辺の明るさなどに応じて、特徴量の値や分布が変化する。
【００５３】
そこで、更新部３８では、閾値記憶部３２に記憶された閾値が、運転者の瞳孔の大きさや第１光源１４及び第２光源１６から照射される光の強度を考慮した特徴量の分布から求められる閾値となるように、識別された黒目領域の特徴量の分布に応じて、閾値記憶部３２に記憶された閾値を更新する。
【００５４】
次に、第１の実施の形態に係る画像識別装置１０の作用について説明する。以下では、撮像装置１２の撮像範囲、第１光源１４の照射範囲、及び第２光源１６の照射範囲に、識別対象者である運転者の顔が位置している場合を例に説明する。
【００５５】
コンピュータ１８において、図７に示す識別処理ルーチンが実行される。まず、ステップ１００において、第１光源１４及び第２光源１６がオンオフするように制御すると共に、第１光源１４のみの点灯時及び第２光源１６のみの点灯時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【００５６】
そして、ステップ１０２において、撮像装置１２から、第１光源１４の点灯時の顔画像と第２光源１６の点灯時の顔画像とを取得し、次のステップ１０４で、上記ステップ１０２で取得した２枚の顔画像の画素値に基づいて、各画素の差分値を算出する。
【００５７】
そして、ステップ１０６で、上記ステップ１０４で算出された各画素の差分値に基づいて、上記（１）式に従って、髪を表わす領域を抽出し、ステップ１０８で、上記ステップ１０４で算出された各画素の差分値に基づいて、上記（１）式に従って、肌を表わす領域を抽出する。
【００５８】
次のステップ１０９では、上記ステップ１０６で抽出された髪を表わす領域について、上記ステップ１０２で取得した２枚の顔画像の画素値に基づいて、上記（２）式に従って、各画素の特徴量を算出し、上記ステップ１０８で抽出された肌を表わす領域について、同様に、各画素の特徴量を算出する。
【００５９】
そして、ステップ１１０では、上記ステップ１０９で算出された髪を表わす領域の特徴量の分布、肌を表わす領域の特徴量の分布、及び予め定められた髪を表わす領域と肌を表わす領域の各々の特徴量の分布に基づいて、第２光源１６の点灯時の顔画像を補正するための補正量を算出する。
【００６０】
そして、ステップ１１２において、上記ステップ１０２で取得された第２光源１６の点灯時の顔画像の各画素の画素値を、上記ステップ１１０で算出された補正量に従って補正する。
【００６１】
次のステップ１１４では、上記ステップ１０２で取得された第１光源１４の点灯時の顔画像の画素値と、上記ステップ１１２で補正された第２光源１６の点灯時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。
【００６２】
そして、ステップ１１６において、上記ステップ１１４で算出された特徴量に基づいて、上記ステップ１０８で抽出された肌領域の内側から、特徴量が、閾値記憶部３２で記憶された閾値で規定される範囲内となる領域を、黒目領域の候補領域として抽出する。次のステップ１１８では、上記ステップ１１６で抽出された黒目領域の候補領域の中から、顔画像における黒目領域の候補領域の位置関係に基づいて、黒目を表わす領域を識別する。
【００６３】
そして、ステップ１２０において、上記ステップ１１８で識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【００６４】
以上説明したように、第１の実施の形態に係る画像識別装置によれば、顔の髪を表わす領域について算出された差分に関する特徴量の分布と肌を表わす領域について算出された差分に関する特徴量の分布とが、所定の特徴量の分布となるように、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【００６５】
また、運転者の黒目の反射特性の個人差や光源の照射強度の個体差に対応して、運転者の顔の黒目を表わす領域を精度よく検出することができる。
【００６６】
また、顔領域に含まれる肌と髪とは反射特性が既知であるため、顔画像における肌と髪の領域の明るさから、正確な補正量を算出でき、運転者に照射されている太陽光などの外乱光の影響を除去するように補正することができる。
【００６７】
なお、上記の実施の形態では、黒目領域の候補領域から、候補領域の位置関係に基づいて、黒目を表わす領域を検出する場合を例に説明したが、これに限定されるものではなく、黒目領域の候補領域における特徴量の分布を手掛かりに、パターン認識手法により、黒目を表わす領域を検出してもよい。図８（Ａ）、（Ｂ）に示すような顔画像において、黒目を表わす領域では、図８（Ｃ）に示すような特徴量の分布が得られるため、この特徴量の分布を用いたパターン認識手法により、候補領域から黒目を表わす領域を検出するようにすればよい。
【００６８】
また、補正量に従って第２光源の点灯時の顔画像のみを補正する場合を例に説明したが、これに限定されるものではなく、第１光源の点灯時の顔画像と第２光源の点灯時の顔画像との双方を補正するようにしてもよい。この場合には、抽出された髪を表わす領域及び肌を表わす領域の各々の特徴量の分布が、予め定められた各々の特徴量の分布に近くなるときの、第１光源の点灯時の顔画像を補正するための補正量及び第２光源の点灯時の顔画像を補正するための補正量を求めるようにすればよい。また、第１光源の点灯時の顔画像のみを補正するようにしてもよい。
【００６９】
また、２枚の顔画像の差分値に基づいて、肌領域と髪領域とを抽出する場合を例に説明したが、これに限定されるものではなく、顔画像における肌領域及び髪領域の各々の位置を予め設定してもおいてもよい。また、顔画像に対して、エッジ情報などから人の頭部領域を探索し、探索結果を用いて、肌領域と髪領域とを抽出するようにしてもよい。
【００７０】
また、補正量を算出するために、差分に関する特徴量を算出する場合と、補正された顔画像から差分に関する特徴量を算出する場合とにおいて、上記（２）式で表される同じ算出式を用いて、差分に関する特徴量を算出する場合を例に説明したが、これに限定されるものではなく、補正量を算出するために、差分に関する特徴量を算出する場合と、補正された顔画像から差分に関する特徴量を算出する場合とにおいて、異なる算出式を使い分けて、差分に関する特徴量を算出するようにしてもよい。
【００７１】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００７２】
第２の実施の形態では、光源の消灯時の顔画像に基づいて、補正量を算出している点が第１の実施の形態と異なっている。
【００７３】
図９に示すように、第２の実施の形態に係る画像識別装置２１０のコンピュータ２１８は、撮像装置１２によって３枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、第１光源１４及び第２光源１６の各々のオンオフを切り替える撮像光源制御部２２０と、撮像装置１２から出力される第１光源１４の点灯時の顔画像、第２光源１６の点灯時の顔画像、及び第１光源１４と第２光源１６との双方の消灯時の顔画像を入力する画像入力部２２２と、消灯時の顔画像に基づいて、顔画像の補正量を算出する補正量算出部２２８と、算出された補正量に従って、画像入力部２２２によって入力された第１光源１４の点灯時の顔画像及び第２光源１６の点灯時の顔画像の各々を補正する補正部２３０と、補正部２３０によって補正された顔画像を用いて、差分に関する特徴量を各画素について算出する特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【００７４】
撮像光源制御部２２０は、撮像装置１２によって連続して３枚の顔画像を撮像するように制御すると共に、撮像装置１２の撮像タイミングに合わせて、１枚目の顔画像の撮像時に、第２光源１６を消灯させたまま、第１光源１４を点灯させ、２枚目の顔画像の撮像時に、第１光源１４を消灯させて第２光源１６を点灯させ、３枚目の顔画像の撮像時に、第１光源１４と第２光源１６とを消灯させるように、第１光源１４及び第２光源１６を制御する。これによって、撮像装置１２から、第１光源１４の点灯時に撮影された顔画像と、第２光源１６の点灯時で撮影された顔画像と、光源消灯時に撮像された顔画像とが順番に出力される。
【００７５】
光源消灯時の顔画像の各画素の値が、外乱光成分であると推定されるため、補正量算出部２２８は、消灯時に撮像された顔画像の各画素の画素値を、補正量として算出する。
【００７６】
補正部２３０は、算出された各画素の補正量に従って、第１光源１４の点灯時に撮影された顔画像、及び第２光源１６の点灯時に撮影された顔画像の各画素の画素値から、対応する補正量だけ引くことにより補正を行う。
【００７７】
特徴量算出部２２７は、補正された第１光源１４の点灯時の顔画像及び補正された第２光源１６の点灯時の顔画像の各画素値に基づいて、各画素（ｉ，ｊ）に対して、上記（２）式に従って、差分に関する特徴量ｆｎ（ｉ，ｊ） を算出する。
【００７８】
次に、第２の実施の形態に係る識別処理ルーチンの内容について図１０を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して説明を省略する。
【００７９】
まず、ステップ２５０において、第１光源１４及び第２光源１６がオンオフするように制御すると共に、第１光源１４のみの点灯時、第２光源１６のみの点灯時、及び第１光源１４と第２光源１６との双方の消灯時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。次のステップ２５２において、撮像装置１２から、第１光源１４の点灯時の顔画像と第２光源１６の点灯時の顔画像と光源消灯時の顔画像とを取得する。
【００８０】
そして、ステップ２５４で、上記ステップ２５２で取得された光源消灯時の顔画像に基づいて、顔画像を補正するための補正量を各画素について算出し、ステップ２５６において、上記ステップ２５２で取得された第１光源１４の点灯時の顔画像及び第２光源１６の点灯時の顔画像の各々について、上記ステップ２５４で算出された補正量に従って各画素の画素値を補正する。
【００８１】
次のステップ１１４では、上記ステップ２５６で補正された第１光源１４の点灯時の顔画像の画素値と第２光源１６の点灯時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。
【００８２】
そして、ステップ１１６において、上記ステップ１１４で算出された特徴量に基づいて、黒目領域の候補領域を抽出し、次のステップ１１８では、上記ステップ１１６で抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。
【００８３】
そして、ステップ１２０において、上記ステップ１１８で識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【００８４】
上記で説明したように、第２の実施の形態に係る画像識別装置によれば、光源消灯時に撮像された顔画像に基づいて、補正量を算出し、補正された顔画像を用いて、顔の黒目を表わす領域を検出することにより、外乱光の影響を精度よく除去して、黒目を表わす領域を精度よく識別することができる。
【００８５】
また、光源消灯時の顔画像の明るさから、外乱光がどの程度含まれるかを推測することができるため、黒目識別のために適切な画像の補正量を算出することができ、運転者に照射されている外乱光の影響を除去するように補正することができる。
【００８６】
なお、補正量に従って第１光源の点灯時の顔画像と第２光源の点灯時の顔画像との双方を補正する場合を例に説明したが、これに限定されるものではなく、第１光源の点灯時の顔画像のみ、または第２光源の点灯時の顔画像のみを補正するようにしてもよい。この場合には、消灯時の顔画像に基づいて、第１光源の点灯時の顔画像のみを補正するための補正量、または第２光源の点灯時の顔画像のみを補正するための補正量を求めるようにすればよい。
【００８７】
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８８】
第３の実施の形態では、照度計によって計測された照度に基づいて、顔画像を補正するための補正量を算出している点が第１の実施の形態と異なっている。
【００８９】
図１１に示すように、第３の実施の形態に係る画像識別装置３１０は、撮像装置１２と、第１光源１４と、第２光源１６と、撮像装置１２の撮像素子に入射する光の照度を計測するように設けられた照度計３１２と、第１光源１４及び第２光源１６による照射のオンオフと撮像装置１２による撮像とを制御すると共に、照度計３１２によって計測された照度を用いて、撮像した顔画像に対して画像処理を行って、運転者の顔の黒目を表わす領域を識別するコンピュータ３１８とを備えている。
【００９０】
また、コンピュータ３１８は、撮像光源制御部２０と、画像入力部２２と、照度計３１２によって計測された照度に基づいて、顔画像の補正量を算出する補正量算出部３２８と、算出された補正量に従って、画像入力部２２２によって入力された２枚の顔画像の各々を補正する補正部３３０と、特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【００９１】
ここで、本実施の形態の原理について説明する。太陽光や道路周辺照明などの外乱光のスペクトル強度については、前もって知ることができる。また、撮像装置の撮像素子の分光感度やレンズなどの分光透過率も、前もって知ることができる。したがって、上記のスペクトル強度や、分光感度、分光透過率を予め調べておき、撮像装置に入射する光の照度を計測すれば、撮像画像の画素値に含まれる外乱光の比率を推定することが可能である。
【００９２】
そこで、本実施の形態では、補正量算出部３２８によって、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、及びレンズの分光透過率と、照度計３１２によって計測された光の照度とに基づいて、計測された光を撮像装置１２によって受光した量として、撮像画像の画素値に含まれる外乱光の比率を算出し、算出した比率を、顔画像を補正するための補正量とする。
【００９３】
補正部３３０は、算出された補正量に従って、第１光源１４の点灯時に撮影された顔画像及び第２光源１６の点灯時で撮影された顔画像の各画素の画素値を補正する。
【００９４】
次に、第３の実施の形態に係る識別処理ルーチンについて図１２を用いて説明する。なお、第１の実施の形態と同様の処理については同一符号を付して説明を省略する。
【００９５】
まず、ステップ１００において、第１光源１４及び第２光源１６がオンオフするように制御すると共に、第１光源１４のみの点灯時及び第２光源１６のみの点灯時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【００９６】
そして、ステップ１０２において、撮像装置１２から、第１光源１４の点灯時の顔画像と第２光源１６の点灯時の顔画像とを取得し、次のステップ３５０で、照度計３１２より計測された光の照度を取得する。
【００９７】
そして、ステップ３５２において、上記ステップ３５０で取得された光の照度と、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、及びレンズの分光透過率とに基づいて、顔画像を補正するための補正量を算出し、ステップ３５４において、上記ステップ１０２で取得された第１光源１４の点灯時の顔画像及び第２光源１６の点灯時の顔画像の各々について、上記ステップ３５２で算出された補正量に従って各画素の画素値を補正する。
【００９８】
次のステップ１１４では、上記ステップ３５４で補正された第１光源１４の点灯時の顔画像の画素値と第２光源１６の点灯時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。
【００９９】
そして、ステップ１１６において、上記ステップ１１４で算出された特徴量に基づいて、黒目領域の候補領域を抽出し、次のステップ１１８では、上記ステップ１１６で抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。
【０１００】
そして、ステップ１２０において、上記ステップ１１８で識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１０１】
以上説明したように、第３の実施の形態に係る画像識別装置によれば、照度計によって計測された光の照度に基づいて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目を表わす領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目を表わす領域を精度よく識別することができる。
【０１０２】
また、外乱光のスペクトル分布を予め調べておき、照度計で光の照度を計測することにより、外乱光がどの程度含まれるかを推測することができるため、黒目識別のために適切な画像の補正量を算出することができ、運転者に照射されている外乱光の影響を除去するように補正することができる。
【０１０３】
なお、補正量に従って第１光源の点灯時の顔画像と第２光源の点灯時の顔画像との双方を補正する場合を例に説明したが、これに限定されるものではなく、第１光源の点灯時の顔画像のみ、または第２光源の点灯時の顔画像のみを補正するようにしてもよい。この場合には、予め求められた外乱光のスペクトル強度等と計測された光の照度とに基づいて、撮像画像の画素値に含まれる外乱光の比率を算出し、外乱光の比率に基づいて、第１光源の点灯時の顔画像のみを補正するための補正量、または第２光源の点灯時の顔画像のみを補正するための補正量を求めるようにすればよい。
【０１０４】
次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については同一符号を付して説明を省略する。
【０１０５】
第４の実施の形態では、バンドパスフィルタを用いて、運転者の顔からの反射光から第１波長域及び第２波長域の各々の近赤外光を透過させて、顔画像を撮像している点が第１の実施の形態と異なっている。
【０１０６】
図１３に示すように、第４の実施の形態に係る画像識別装置４１０は、撮像装置１２と、運転者の顔から反射された光のうち、第１波長域（例えば、８７０ｎｍを含む８００ｎｍ〜９５０ｎｍの波長域）の近赤外光、及び第２波長域（例えば、９７０ｎｍを含む９５０ｎｍ〜１１００ｎｍの波長域）の近赤外光を切り替えて、撮像装置１２に透過させるバンドパスフィルタ４１４と、バンドパスフィルタ４１４によって透過させる波長域の切り替えと撮像装置１２による撮像とを制御すると共に、撮像した顔画像に対して画像処理を行って運転者の顔の黒目を表わす領域を識別するコンピュータ４１８とを備えている。
【０１０７】
バンドパスフィルタ４１４は、第１波長域の近赤外光を透過させるフィルタと、第２波長域の近赤外光を透過させるフィルタと、２つのフィルタを切り替える機構とを備え、コンピュータ４１８からの制御に応じて、運転者の顔から反射された光のうち、撮像装置１２に透過させる光の波長域を、第１波長域及び第２波長域の何れかに切り替える。
【０１０８】
コンピュータ４１８は、撮像装置１２によって２枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の何れかに切り替える撮像フィルタ制御部４２０と、撮像装置１２から出力される第１波長域の近赤外光透過時の顔画像及び第２波長域の近赤外光透過時の顔画像を入力する画像入力部４２２と、髪肌領域抽出部２６と、特徴量算出部２７と、補正量算出部２８と、補正部３０と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【０１０９】
第４の実施の形態に係る識別処理ルーチンでは、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【０１１０】
そして、撮像装置１２から、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを取得し、取得した２枚の顔画像の画素値に基づいて、各画素の差分値を算出する。次に、算出された各画素の差分値に基づいて、第１の実施の形態と同様に、上記（１）式に従って、髪を表わす領域を抽出すると共に、肌を表わす領域を抽出する。
【０１１１】
そして、抽出された髪を表わす領域について、第１の実施の形態と同様に、上記（２）式に従って、差分に関する各画素の特徴量を算出すると共に、抽出された肌を表わす領域について、同様に、差分に関する各画素の特徴量を算出する。次に、算出された髪を表わす領域の特徴量の分布、肌を表わす領域の特徴量の分布、及び予め定められた髪を表わす領域と肌を表わす領域との各々の特徴量の分布に基づいて、第１の実施の形態と同様な方法により、第２波長域の近赤外光透過時の顔画像を補正するための補正量を算出する。そして、取得された第２波長域の近赤外光透過時の顔画像の各画素の画素値を、算出された補正量に従って補正する。
【０１１２】
次に、取得された第１波長域の近赤外光透過時の顔画像の画素値と、補正された第２波長域の近赤外光透過時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。そして、算出された特徴量に基づいて、上記で抽出された肌領域の内側から、特徴量が、閾値記憶部３２で記憶された閾値で規定される範囲内となる領域を、黒目領域の候補領域として抽出する。次に、抽出された黒目領域の候補領域の中から、顔画像における黒目領域の候補領域の位置関係に基づいて、黒目を表わす領域を識別する。
【０１１３】
そして、識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１１４】
このように、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを用いて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【０１１５】
次に、第５の実施の形態について説明する。なお、第１の実施の形態〜第４の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１１６】
第５の実施の形態では、バンドパスフィルタを用いて、運転者の顔からの反射光から第１波長域及び第２波長域の各々の近赤外光を透過させて、顔画像を撮像している点が第３の実施の形態と異なっている。
【０１１７】
図１４に示すように、第５の実施の形態に係る画像識別装置５１０は、撮像装置１２と、バンドパスフィルタ４１４と、照度計３１２と、バンドパスフィルタ４１４によって透過させる波長域の切り替えと撮像装置１２による撮像とを制御すると共に、照度計３１２によって計測された照度を用いて、撮像した顔画像に対して画像処理を行って、運転者の顔の黒目を表わす領域を識別するコンピュータ５１８とを備えている。
【０１１８】
コンピュータ５１８は、撮像フィルタ制御部４２０と、画像入力部４２２と、補正量算出部３２８と、補正部３３０と、特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【０１１９】
補正量算出部３２８では、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、レンズの分光透過率、及びバンドパスフィルタ４１４の各フィルタの分光透過率と、照度計３１２によって計測された光の照度とに基づいて、撮像画像の画素値に含まれる外乱光の比率を、顔画像を補正するための補正量として、第１波長域及び第２波長域の各々について、算出する。
【０１２０】
第５の実施の形態に係る識別処理ルーチンでは、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【０１２１】
そして、撮像装置１２から、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを取得し、次に、照度計３５０より計測された光の照度を取得する。
【０１２２】
そして、取得された光の照度と、予め求められた、外乱光のスペクトル強度、撮像装置１２の撮像素子の分光感度、レンズの分光透過率、及びバンドパスフィルタ４１４の各フィルタの分光透過率とに基づいて、顔画像を補正するための補正量を、第１波長域の近赤外光透過時の顔画像及び第２波長域の近赤外光透過時の顔画像の各々について算出し、取得された第１波長域の近赤外光透過時の顔画像及び第２波長域の近赤外光透過時の顔画像の各々について、対応する補正量に従って各画素の画素値を補正する。
【０１２３】
次に、補正された第１波長域の近赤外光透過時の顔画像の画素値と第２波長域の近赤外光透過時の顔画像の画素値とに基づいて、上記（２）式に従って、差分に関する特徴量を各画素について算出する。そして、算出された特徴量に基づいて、黒目領域の候補領域を抽出し、抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。
【０１２４】
そして、識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１２５】
このように、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを用いて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【０１２６】
次に、第６の実施の形態について説明する。なお、第１の実施の形態〜第４の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１２７】
第６の実施の形態では、バンドパスフィルタを用いて、運転者の顔からの反射光から第１波長域及び第２波長域の各々の近赤外光を透過させて、顔画像を撮像している点が第２の実施の形態と異なっている。
【０１２８】
図１５に示すように、第６の実施の形態に係る画像識別装置６１０は、撮像装置１２と、バンドパスフィルタ４１４と、第１波長域及び第２波長域を含む広い波長域の光を運転者の顔に照射する光源６１４と、バンドパスフィルタ４１４によって透過させる波長域の切り替えと撮像装置１２による撮像と光源６１４のオンオフとを制御すると共に、撮像した顔画像に対して画像処理を行って、運転者の顔の黒目を表わす領域を識別するコンピュータ６１８とを備えている。
【０１２９】
コンピュータ６１８は、撮像装置１２によって４枚の顔画像を連続して撮像させると共に、撮像装置１２の撮像タイミング（シャッタータイミング）に合わせて、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の何れかに切り替え、光源６１４のオンオフを切り替える撮像光源フィルタ制御部６２０と、撮像装置１２から出力される、光源６１４の点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像、光源６１４の点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像、光源６１４の消灯時であって、かつ、第１波長域の近赤外光透過時の顔画像、及び光源６１４の消灯時であって、かつ、第２波長域の近赤外光透過時の顔画像を入力する画像入力部６２２と、光源消灯時かつ第１波長域の近赤外光透過時の顔画像、及び光源消灯時かつ第２波長域の近赤外光透過時の顔画像の各々に基づいて、顔画像の補正量を算出する補正量算出部６２８と、算出された補正量に従って、画像入力部６２２によって入力された、光源点灯時かつ第１波長域の近赤外光透過時の顔画像、及び光源点灯時かつ第２波長域の近赤外光透過時の顔画像の各々を補正する補正部６３０と、特徴量算出部２２７と、閾値記憶部３２と、候補領域抽出部３４と、部位識別部３６と、更新部３８とを備えている。
【０１３０】
撮像光源フィルタ制御部６２０は、撮像装置１２によって連続して４枚の顔画像を撮像するように制御する。また、撮像光源フィルタ制御部６２０は、撮像装置１２の撮像タイミングに合わせて、１枚目の顔画像の撮像時に、光源６１４を点灯させると共に、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域に切り替え、２枚目の顔画像の撮像時に、光源６１４を点灯させたまま、バンドパスフィルタ４１４によって透過させる光の波長域を、第２波長域に切り替える。また、撮像光源フィルタ制御部６２０は、３枚目の顔画像の撮像時に、光源６１４を消灯させると共に、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域に切り替え、４枚目の顔画像の撮像時に、光源６１４を消灯させたまま、バンドパスフィルタ４１４によって透過させる光の波長域を、第２波長域に切り替える。
【０１３１】
補正量算出部６２８は、光源６１４の消灯時であって、かつ第１波長域の近赤外光透過時に撮像された顔画像の各画素の画素値を、第１波長域に対する補正量として算出し、また、光源６１４の消灯時であって、かつ第２波長域の近赤外光透過時に撮像された顔画像の各画素の画素値を、第２波長域に対する補正量として算出する。
【０１３２】
補正部６３０は、算出された第１波長域に対する各画素の補正量に従って、光源６１４の点灯時であって、かつ第１波長域の近赤外光透過時に撮影された顔画像の各画素の画素値から、対応する補正量だけ引くことにより補正を行う。また、補正部６３０は、算出された第２波長域に対する各画素の補正量に従って、光源６１４の点灯時であって、かつ第２波長域の近赤外光透過時に撮影された顔画像の各画素の画素値から、対応する補正量だけ引くことにより補正を行う。
【０１３３】
第６の実施の形態に係る識別処理ルーチンでは、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、光源６１４を点灯させて、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。また、バンドパスフィルタ４１４によって透過させる光の波長域を、第１波長域及び第２波長域の一方から他方に切り替えるように制御すると共に、光源６１４を消灯させて、第１波長域の近赤外光透過時及び第２波長域の近赤外光透過時に、撮像装置１２によって、運転者の顔を含む領域を連続して撮像するように制御する。
【０１３４】
そして、撮像装置１２から、光源点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像と、光源点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像と、光源消灯時であって、かつ、第１波長域の近赤外光透過時の顔画像と、光源消灯時であって、かつ、第２波長域の近赤外光透過時の顔画像とを取得する。
【０１３５】
そして、取得された光源消灯時の２枚の顔画像に基づいて、第１波長域の近赤外光透過時の顔画像を補正するための補正量を各画素について算出すると共に、第２波長域の近赤外光透過時の顔画像を補正するための補正量を各画素について算出する。
【０１３６】
そして、取得された光源点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像、及び光源点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像の各々について、算出された対応する補正量に従って、各画素の画素値を補正する。次に、補正された光源点灯時であって、かつ、第１波長域の近赤外光透過時の顔画像の画素値と、光源点灯時であって、かつ、第２波長域の近赤外光透過時の顔画像の画素値とに基づいて、差分に関する特徴量を各画素について算出する。
【０１３７】
そして、算出された特徴量に基づいて、黒目領域の候補領域を抽出し、抽出された黒目領域の候補領域の中から、黒目を表わす領域を識別する。次に、識別された黒目を表わす領域の特徴量の分布に基づいて、閾値記憶部３２に記憶された閾値を更新して、識別処理ルーチンを終了する。
【０１３８】
このように、光源消灯時であって、かつ第１波長域の近赤外光透過時の顔画像と、光源消灯時であって、かつ第２波長域の近赤外光透過時の顔画像とを用いて、顔画像を補正するための補正量を算出し、補正された顔画像を用いて、顔の黒目領域を検出することにより、外乱光の影響を精度よく除去して、顔の黒目領域を精度よく識別することができる。
【０１３９】
なお、上記の第４の実施の形態〜第６の実施の形態では、バンドパスフィルタを用いて、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを撮像する場合を例に説明したが、これに限定されるものではなく、第１波長域の光及び第２波長域の光をそれぞれ分離することができるプリズムを用いて、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを撮像するようにしてもよい。また、運転者の顔からの反射光をプリズムで分光した後に、バンドパスフィルタによって第１波長域の近赤外光を透過させて、顔画像を撮像すると共に、同様に反射光をプリズムで分光した後に、バンドパスフィルタによって第２波長域の近赤外光を透過させて、顔画像を撮像するようにしてもよい。
【０１４０】
また、画素や画素列単位で、異なる波長域を透過させるバンドパスフィルタを設置するようにしてもよい。この場合には、画素や画素列単位で、第１波長域の近赤外光を透過させるためのバンドパスフィルタと第２波長域の近赤外光を透過させるためのバンドパスフィルタとを設置し、撮像した画像データから、第１波長域の近赤外光透過時の顔画像と第２波長域の近赤外光透過時の顔画像とを取得するようにすればよい。
【０１４１】
また、第１波長域及び第２波長域を含む広い波長域の光を運転者の顔に照射する光源を更に設けて、顔画像の撮像時に光源を点灯させるようにしてもよい。
【０１４２】
また、上記の第１の実施の形態〜第６の実施の形態では、第１波長域及び第２波長域が、近赤外光の波長域内に含まれている場合を例に説明したが、これに限定されるものではなく、第１波長域及び第２波長域が、可視光波長域を含んでいてもよい。
【０１４３】
また、算出した補正量に基づいて補正された２枚の顔画像から、差分に関する特徴量を算出する場合を例に説明したが、これに限定されるものではなく、顔画像を補正せずに、補正前の２枚の顔画像と算出した補正量とに基づいて、補正量に基づいて２枚の顔画像を補正した場合に得られる、差分に関する特徴量を算出するようにしてもよい。
【０１４４】
また、撮像装置から濃淡画像が出力される場合を例に説明したが、これに限定されるものではなく、撮像装置からカラー画像が出力されるようにしてもよい。
【図面の簡単な説明】
【０１４５】
【図１】本発明の第１の実施の形態に係る画像識別装置を示すブロック図である。
【図２】髪及び肌についての光の波長域と反射率との関係を示すグラフ図である。
【図３】顔の各部位の特徴量の分布を示すイメージ図である。
【図４】（Ａ）外乱光の影響により偏っている特徴量の分布を示すグラフ、（Ｂ）外乱光の影響により偏っている特徴量の分布を示すグラフ、及び（Ｃ）外乱光の影響がない場合の特徴量の分布を示すグラフである。
【図５】（Ａ）瞳孔の大きさが小さい場合の特徴量の分布を示すイメージ図、及び（Ｂ）瞳孔の大きさが大きい場合の特徴量の分布を示すイメージ図である。
【図６】（Ａ）光源の照射強度が小さい場合の特徴量の分布を示すイメージ図、及び（Ｂ）光源の照射強度が大きい場合の特徴量の分布を示すイメージ図である。
【図７】本発明の第１の実施の形態に係る画像識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図８】（Ａ）顔画像を示すイメージ図、（Ｂ）顔画像の拡大画像を示すイメージ図、及び（Ｂ）黒目を表わす領域の特徴量の分布を示すイメージ図である。
【図９】本発明の第２の実施の形態に係る画像識別装置を示すブロック図である。
【図１０】本発明の第２の実施の形態に係る画像識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図１１】本発明の第３の実施の形態に係る画像識別装置を示すブロック図である。
【図１２】本発明の第３の実施の形態に係る画像識別装置における識別処理ルーチンの内容を示すフローチャートである。
【図１３】本発明の第４の実施の形態に係る画像識別装置を示すブロック図である。
【図１４】本発明の第５の実施の形態に係る画像識別装置を示すブロック図である。
【図１５】本発明の第６の実施の形態に係る画像識別装置を示すブロック図である。
【符号の説明】
【０１４６】
１０、２１０、３１０、４１０、５１０、６１０ 画像識別装置
１２ 撮像装置
１４ 第１光源
１６ 第２光源
１８、２１８、３１８、４１８、５１８、６１８ コンピュータ
２０、２２０ 撮像光源制御部
２６ 髪肌領域抽出部
２７、２２７ 特徴量算出部
２８、２２８、３２８、６２８ 補正量算出部
３０、２３０、３３０、６３０ 補正部
３２ 閾値記憶部
３４ 候補領域抽出部
３６ 部位識別部
３８ 更新部
３１２ 照度計
４１４ バンドパスフィルタ
４２０ 撮像フィルタ制御部
６２０ 撮像光源フィルタ制御部
【特許請求の範囲】
【請求項１】
第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象者の顔に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象者の顔に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、
前記第１の画像データにおける前記識別対象者の顔の予め定められた第１部位を表わす領域の画像データと前記第２の画像データにおける前記第１部位を表わす領域の画像データとの差分に関する特徴量を算出すると共に、前記第１の画像データにおける前記顔の前記第１部位と異なる第２部位を表わす領域の画像データと前記第２の画像データにおける前記第２部位を表わす領域の画像データとの差分に関する特徴量を算出する第１特徴量算出手段と、
前記第１特徴量算出手段によって算出された前記第１部位を表わす領域の前記差分に関する特徴量及び前記第２部位を表わす領域の前記差分に関する特徴量に基づいて、予め求められた、前記第１部位を表わす領域の前記差分に関する特徴量と前記第２部位を表わす領域の前記差分に関する特徴量とが得られるように、画像データを補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する第２特徴量算出手段と、
前記第２特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、顔の識別対象の部位を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象の部位を検出する検出手段と、
を含む画像識別装置。
【請求項２】
第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力し、前記識別対象物に光を照射せずに撮像することにより、第３の画像データを出力する撮像手段と、
前記第３の画像データに基づいて、画像データを補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、
前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段と、
を含む画像識別装置。
【請求項３】
光の照度を計測する照度計と、
第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象物から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、
前記照度計によって計測された光の照度に基づいて、前記計測された光を前記撮像手段によって受光した量が除外されるように、画像データを補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、
前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段と、
を含む画像識別装置。
【請求項４】
前記検出手段によって検出された前記識別対象者の顔の部位を表わす領域の画像データの前記差分に関する特徴量に基づいて、前記予め定められた前記差分に関する特徴量を更新する更新手段を更に含む請求項１記載の画像識別装置。
【請求項５】
前記第１部位を、髪部分とし、
前記第２部位を、肌部分とした請求項１又は４記載の画像識別装置。
【請求項６】
前記検出手段によって検出された前記識別対象物を表わす領域の画像データの前記差分に関する特徴量に基づいて、前記予め定められた前記差分に関する特徴量を更新する更新手段を更に含む請求項２又は３記載の画像識別装置。
【請求項７】
前記第１の波長域及び第２の波長域の各々を、８００〜１１００ｎｍの範囲内とした請求項１〜請求項６の何れか１項記載の画像識別装置。
【請求項８】
前記第１の波長域を、８００〜９５０ｎｍとし、
前記第２の波長域を、９５０〜１１００ｎｍとした請求項１〜請求項７の何れか１項記載の画像識別装置。
【請求項１】
第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象者の顔に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象者の顔に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、
前記第１の画像データにおける前記識別対象者の顔の予め定められた第１部位を表わす領域の画像データと前記第２の画像データにおける前記第１部位を表わす領域の画像データとの差分に関する特徴量を算出すると共に、前記第１の画像データにおける前記顔の前記第１部位と異なる第２部位を表わす領域の画像データと前記第２の画像データにおける前記第２部位を表わす領域の画像データとの差分に関する特徴量を算出する第１特徴量算出手段と、
前記第１特徴量算出手段によって算出された前記第１部位を表わす領域の前記差分に関する特徴量及び前記第２部位を表わす領域の前記差分に関する特徴量に基づいて、予め求められた、前記第１部位を表わす領域の前記差分に関する特徴量と前記第２部位を表わす領域の前記差分に関する特徴量とが得られるように、画像データを補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する第２特徴量算出手段と、
前記第２特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、顔の識別対象の部位を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象の部位を検出する検出手段と、
を含む画像識別装置。
【請求項２】
第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象者の顔から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力し、前記識別対象物に光を照射せずに撮像することにより、第３の画像データを出力する撮像手段と、
前記第３の画像データに基づいて、画像データを補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、
前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段と、
を含む画像識別装置。
【請求項３】
光の照度を計測する照度計と、
第１の波長及び前記第１の波長と異なる第２の波長を含む波長域に感度を有し、前記第１の波長を含みかつ、前記第２の波長を含まない第１の波長域の光を識別対象物に照射して撮像するか、または前記識別対象物から反射された反射光から前記第１の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第１の画像データを出力すると共に、前記第２波長を含みかつ前記第１の波長を含まない第２の波長域の光を前記識別対象物に照射して撮像するか、または前記反射光から前記第２の波長域の光を透過させて前記識別対象者の顔を撮像することにより、第２の画像データを出力する撮像手段と、
前記照度計によって計測された光の照度に基づいて、前記計測された光を前記撮像手段によって受光した量が除外されるように、画像データを補正するための補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された補正量に基づいて前記第１の画像データ及び前記第２の画像データの少なくとも一方の画像データを補正したときの、前記第１の画像データと前記第２の画像データとの差分に関する特徴量を各画素について算出する特徴量算出手段と、
前記特徴量算出手段によって算出された各画素の前記差分に関する特徴量と、前記識別対象物を表わす領域の画像データについて予め求められた前記差分に関する特徴量とを比較して、前記第１の画像データ及び前記第２の画像データの少なくとも一方から、前記識別対象物を検出する検出手段と、
を含む画像識別装置。
【請求項４】
前記検出手段によって検出された前記識別対象者の顔の部位を表わす領域の画像データの前記差分に関する特徴量に基づいて、前記予め定められた前記差分に関する特徴量を更新する更新手段を更に含む請求項１記載の画像識別装置。
【請求項５】
前記第１部位を、髪部分とし、
前記第２部位を、肌部分とした請求項１又は４記載の画像識別装置。
【請求項６】
前記検出手段によって検出された前記識別対象物を表わす領域の画像データの前記差分に関する特徴量に基づいて、前記予め定められた前記差分に関する特徴量を更新する更新手段を更に含む請求項２又は３記載の画像識別装置。
【請求項７】
前記第１の波長域及び第２の波長域の各々を、８００〜１１００ｎｍの範囲内とした請求項１〜請求項６の何れか１項記載の画像識別装置。
【請求項８】
前記第１の波長域を、８００〜９５０ｎｍとし、
前記第２の波長域を、９５０〜１１００ｎｍとした請求項１〜請求項７の何れか１項記載の画像識別装置。
【図１】
【図２】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図３】
【図５】
【図６】
【図８】
【図２】
【図４】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図３】
【図５】
【図６】
【図８】
【公開番号】特開２００９−２９４８５４（Ｐ２００９−２９４８５４Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４７０５５（Ｐ２００８−１４７０５５）
【出願日】平成２０年６月４日（２００８．６．４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月４日（２００８．６．４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]