眼検出装置、及び当該装置において用いられる方法
【課題】人の眼の形状に個人差があったとしても、目尻、及び目頭を正確に検出できる眼検出装置を提供する。
【解決手段】人の顔を撮像した顔画像の輪郭を強調した輪郭強調画像を生成する。生成した輪郭強調画像に基づき、上瞼、及び下瞼をそれぞれ示す画素の候補を上瞼候補、及び下瞼候補としてそれぞれ検出する。検出した上瞼候補、及び下瞼候補を瞼候補として組み合わせ、組み合わせた瞼候補毎に、瞼の形状の指標となる形状値を算出し、算出した形状値に応じて、適切な目尻目頭パターンを選択してパターンマッチング処理をする。
【解決手段】人の顔を撮像した顔画像の輪郭を強調した輪郭強調画像を生成する。生成した輪郭強調画像に基づき、上瞼、及び下瞼をそれぞれ示す画素の候補を上瞼候補、及び下瞼候補としてそれぞれ検出する。検出した上瞼候補、及び下瞼候補を瞼候補として組み合わせ、組み合わせた瞼候補毎に、瞼の形状の指標となる形状値を算出し、算出した形状値に応じて、適切な目尻目頭パターンを選択してパターンマッチング処理をする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像に基づいて人の眼を検出する検出装置、及び方法に関する。
【背景技術】
【０００２】
従来、人の顔を含む画像を撮像し、撮像した画像に基づいて人の眼を検出する様々な検出装置が開発されている。このような検出装置の一例として、例えば、特許文献１に記載の眼検出装置（以下、従来技術と称する）が挙げられる。
【０００３】
従来技術では、車両を運転している運転者の背景を含む顔を顔画像として撮像する。顔画像を撮像すると、従来技術では、例えば、横エッジ検出用ソーベルフィルタ、及び縦エッジ検出用ソーベルフィルタなどのフィルタ処理を顔画像に対してすることによって、顔画像の中から運転者の上瞼と下瞼との組み合わせの候補を瞼候補として検出する。瞼候補を検出すると、従来技術では、瞼候補の中から瞼を特定するために、それぞれの瞼候補の下瞼の左右端に目尻目頭領域をそれぞれ設定する。
【０００４】
従来技術では、予め定められた目尻目頭パターンを、フィルタ処理をする前の顔画像における目尻目頭領域に重畳させ、重畳させた目尻目頭パターンにおける肌部分の画素と重複する顔画像の画素の輝度値の平均値（以下、肌画素平均値と称する）と、重複させた目尻目頭パターンにおける眼部分の画素と重複する顔画像の画素の輝度値の平均値（以下、眼画素平均値と称する）とを算出する。肌画素平均値と、眼画素平均値とを算出するとき、従来技術では、瞼候補毎に左右の目尻目頭領域の肌画素平均値と、眼画素平均値とをそれぞれ算出する。
【０００５】
瞼候補毎に左右の肌画素平均値と、眼画素平均値とを算出すると、従来技術では、肌画素平均値から眼画素平均値を引いた目尻目頭評価値を、設定した目尻目頭領域毎に算出する。従来技術では、それぞれの瞼候補の左右の目尻目頭領域毎に目尻目頭評価値を算出する。目尻目頭評価値を算出すると、従来技術では、左の目尻目頭評価値と右の目尻目頭評価値との加算値を、それぞれの瞼候補の左右の目尻目頭領域毎に算出し、算出した加算値が最も大きい瞼候補と、２番目に大きい瞼候補とを目尻目頭パターンで示される目尻、及び目頭に最も近い目尻、及び目頭と２番目に近い目尻、及び目頭をそれぞれ有する左右の瞼として特定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２２６１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、以下に述べるような課題を有する。すなわち、人の眼の形状には、丸目、及び細目などの個人差がある。しかし、上記従来技術では、１種類の目尻目頭パターンだけを用いて目尻目頭評価値を算出するため、当該目尻目頭パターンと大きく異なる形状の眼の目尻、及び目頭に近い目尻、及び目頭を有する瞼候補を瞼として正確に検出することができない。
【０００８】
それ故に、本発明は、人の眼の形状に個人差があったとしても、目尻、及び目頭を正確に検出できる眼検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するために、以下に示すような特徴を有する。
第１の発明は、対象者の顔を含む画像を顔画像として撮像する撮像手段と、撮像手段によって撮像された顔画像に基づき、対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出手段と、顔画像の中で検出手段によって検出された瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の目尻目頭パターンを２以上だけ記憶する記憶手段と、検出手段によって検出された瞼候補毎の形状を示す形状値に基づき、記憶手段に記憶された目尻目頭パターンの中から１つの目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択手段と、顔画像の中で検出手段によって検出された瞼候補毎の目尻、及び目頭を示す画像と、選択手段によって当該瞼候補毎に選択された目尻目頭パターンの画像との類似度をそれぞれ算出する特定手段とを備える。
【００１０】
第２の発明は、上記第１の発明に従属する発明であって、検出手段によって検出された瞼候補として組み合わされた下瞼の候補を示す画素の目尻側、及び目頭側の少なくともいずれか一方の端点と、上瞼の候補を示す画素の中で顔画像における垂直方向の最も高い頂点の画素とを結ぶ線の傾きを形状値として検出する傾き検出手段をさらに備え、選択手段は、傾き検出手段によって検出された傾きに基づき、目尻目頭パターンを選択する。
【００１１】
第３の発明は、上記第２の発明に従属する発明であって、傾き検出手段は、検出手段によって検出された瞼候補としてそれぞれ組み合わされる下瞼の候補を示す画素の目尻側の端点と、頂点の画素とを結ぶ線の傾きを形状値として検出する。
【００１２】
第４の発明は、上記第２の発明に従属する発明であって、傾き検出手段は、検出手段によって検出された瞼候補としてそれぞれ組み合わされる下瞼の候補を示す画素の目頭側の端点と、頂点の画素とを結ぶ線の傾きを形状値として検出する。
【００１３】
第５の発明は、上記第２の発明に従属する発明であって、傾き検出手段は、検出手段によって検出された瞼候補としてそれぞれ組み合わされる下瞼の候補の目尻側の端点の画素と目頭側の端点の画素とのそれぞれと頂点の画素とを結ぶ線の傾きを形状値として検出する。
【００１４】
第６の発明は、上記第１の発明に従属する発明であって、検出手段によって検出された瞼候補毎に瞼の開度を形状値として検出する開度検出手段をさらに備え、選択手段は、開度検出手段によって検出された開度に基づき、目尻目頭パターンを選択する。
【００１５】
第７の発明は、上記第１の発明に従属する発明であって、検出手段によって検出された瞼候補毎に、当該瞼候補として組み合わされた上瞼の候補の画素の曲率を形状値として検出する曲率検出手段をさらに備え、選択手段は、曲率検出手段によって検出された曲率に基づき、目尻目頭パターンを選択する。
【００１６】
第８の発明は、上記第１の発明に従属する発明であって、対象者に照射される環境光の照度を検出する照度検出手段をさらに備え、選択手段は、照度検出手段によって検出される環境光の照度が予め定められたしきい値未満であるとき、目尻目頭パターンを選択する。
【００１７】
第９の発明は、上記第１の発明に従属する発明であって、現在の時刻を検知する時刻検知手段をさらに備え、選択手段は、時刻検知手段によって検出される時刻が夜間を示すとき、目尻目頭パターンを選択する。
【００１８】
第１０の発明は、上記第１の発明に従属する発明であって、車両に搭載され、車両のワイパーが作動しているか否かを判断する作動検出手段をさらに備え、選択手段は、作動検出手段によってワイパーが作動していると判断されたとき、目尻目頭パターンを選択する。
【００１９】
第１１の発明は、対象者の顔を含む画像を顔画像として撮像する撮像ステップと、撮像ステップで撮像された顔画像に基づき、対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出ステップと、顔画像の中で検出ステップにおいて検出された瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の２以上の目尻目頭パターンの中から、当該瞼候補毎の形状を示す形状値に基づき、１つの目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択ステップと、顔画像の中で検出ステップにおいて検出された瞼候補毎の目尻、及び目頭を示す画像と、選択ステップにおいて当該瞼候補毎に選択された目尻目頭パターンの画像との類似度をそれぞれ算出する特定ステップとを備える。
【発明の効果】
【００２０】
上記第１の発明によれば、顔画像における瞼候補の形状に基づいて、顔画像における目尻、及び目頭を検出するための目尻目頭パターンを選択するので、人の眼の形状に個人差があったとしても、目尻、及び目頭を正確に検出できる。
【００２１】
上記第２の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目頭側、及び目尻側の少なくともいずれか一方の端点と、当該上瞼候補を示す画素の頂点とを結ぶ線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２２】
上記第３の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目尻側の端点と、当該上瞼候補を示す画素の頂点とを結ぶ線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２３】
上記第４の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目頭側の端点と、当該上瞼候補を示す画素の頂点とを結ぶ線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２４】
上記第５の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目頭側の端点と目頭側の端点とを結ぶ線とのそれぞれと上瞼候補を示す画素の頂点とを結ぶそれぞれの線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２５】
上記第６の発明によれば、瞼の開度に基づいて、目尻目頭パターンを選択できる。
【００２６】
上記第７の発明によれば、上瞼候補を示す画素の曲率半径に基づいて、目尻目頭パターンを選択できる。
【００２７】
上記第８の発明によれば、環境光の影響を受けずに撮像した顔画像に基づいて目尻目頭パターンを選択できる。
【００２８】
上記第９の発明によれば、環境光の影響を受けずに撮像した顔画像に基づいて目尻目頭パターンを選択できる。
【００２９】
上記第１０の発明によれば、雨天のために環境光の影響を受けずに撮像した運転者の顔画像に基づいて目尻目頭パターンを選択できる。
【００３０】
また、本発明における眼検出方法によれば、本発明に係る上述した眼検出装置と同様の効果を得ることができる。
【図面の簡単な説明】
【００３１】
【図１】第１の実施形態に係る眼検出装置の機能構成を示す機能ブロック図
【図２】本発明において撮像される顔画像の一例を示す図
【図３】本発明における撮像部の設置位置の一例を示す図
【図４】本発明における輪郭強調画像の一例を示す図
【図５】上瞼候補と下瞼候補とを組み合わせを説明する図
【図６】第１の実施形態で算出される形状値の一例を示す図
【図７Ａ】瞼候補の形状が細目の場合の形状値の一例を示す図
【図７Ｂ】瞼候補の形状が標準の場合の形状値の一例を示す図
【図７Ｃ】瞼候補の形状が丸目の場合の形状値の一例を示す図
【図８Ａ】細目の瞼候補に対応する目尻目頭パターンの一例を示す図
【図８Ｂ】標準の瞼候補に対応する目尻目頭パターンの一例を示す図
【図８Ｃ】丸目の瞼候補に対応する目尻目頭パターンの一例を示す図
【図９】第１の実施形態に係る眼検出装置の処理を示すフローチャート
【図１０】開度として算出される形状値の一例を示す図
【図１１Ａ】瞼候補の形状が細目の場合の開度の一例を示す図
【図１１Ｂ】瞼候補の形状が標準の場合の開度の一例を示す図
【図１１Ｃ】瞼候補の形状が丸目の場合の開度の一例を示す図
【図１２】曲率として算出される形状値の一例を示す図
【図１３Ａ】瞼候補の形状が細目の場合に曲率を算出するときの円の一例を示す図
【図１３Ｂ】瞼候補の形状が標準の場合に曲率を算出するときの円の一例を示す図
【図１３Ｃ】瞼候補の形状が丸目の場合に曲率を算出するときの円の一例を示す図
【発明を実施するための形態】
【００３２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る眼検出装置１の機能構成を示す機能ブロック図である。本実施形態に係る眼検出装置１は、撮像部１０１と、検出部１０２と、組み合わせ部１０３と、形状値算出部１０４と、選択部１０５と、特定部１０６と、記憶部１０７とを備える。尚、本実施形態の説明では、眼検出装置１で、車両を運転している運転者の顔を含む画像を撮像した顔画像を処理する場合を一例として説明する。
【００３３】
撮像部１０１は、典型的にはＣＣＤカメラであって、図２に一例として示すような、運転者の顔を含む画像を顔画像として逐次撮像し、顔画像を撮像する度に、撮像した顔画像を示す顔画像データを生成する。撮像部１０１の車両における設置位置は、本実施形態に係る眼検出装置１で運転者の顔の目尻、及び目頭などを正確に認識できるのであればどのような設置位置であってもよいが、一例としては、図３に示すように、運転席に着座した運転者の顔を正面から撮像できるように車両のステアリングコラムの上部に設置してもよい。また、撮像部１０１を設置するときに、撮像部１０１の撮像範囲に赤外光を照射する光源も設置し、赤外領域の波長の光に対する感度を相対的に高めた撮像部１０１を用いて顔画像を撮像してもよい。
【００３４】
検出部１０２と、組み合わせ部１０３と、形状値算出部１０４と、選択部１０５と、特定部１０６との機能構成は、典型的には、ＣＰＵ、ＬＳＩ、及びマイクロコンピュータなどの集積回路からなる制御部であって、記憶部１０７から予め定められたプログラムを当該制御部が読み出して解釈実行することによって、当該制御部がそれぞれの機能構成として適宜処理をすることによって実現される。
【００３５】
検出部１０２は、撮像部１０１によって顔画像データが生成される度に生成された顔画像データを取得する。顔画像データを取得すると、検出部１０２は、取得した顔画像データを記憶部１０７に記憶させる。顔画像データを記憶部１０７に記憶させると、検出部１０２は、記憶部１０７に記憶されている顔画像データによって示される顔画像から、上瞼、下瞼、鼻孔、及び口などの顔の部品（以下、顔部品と称する）の中で少なくとも上瞼と下瞼とをそれぞれ示す画素の候補を検出する処理をする。
【００３６】
より詳細には、検出部１０２は、まず、記憶部１０７に記憶されている顔画像データによって示される顔画像に対して輪郭を強調するフィルタ処理などをして、顔画像データによって示される顔画像における顔部品の輪郭を強調した画像を輪郭強調画像として生成する処理をする。輪郭強調画像を生成すると、検出部１０２は、生成した輪郭強調画像をさらに記憶部１０７に記憶させる。輪郭強調画像を記憶部１０７に記憶させると、検出部１０２は、パターンマッチングなどの手法を用いて、記憶部１０７に記憶されている輪郭強調画像の中から上瞼と下瞼とをそれぞれ示す画素の候補をそれぞれ上瞼候補、及び下瞼候補として検出する。
【００３７】
検出部１０２は、上瞼候補、及び下瞼候補をそれぞれ検出するとき、輪郭強調画像に基づいて上瞼候補、及び下瞼候補を検出するときの検出精度を高める処理をさらにしてもよい。検出部１０２が、上瞼候補、及び下瞼候補を検出するときの検出精度を高める処理の一例としては、輪郭強調画像においてパターンマッチングなどの手法を用いた処理で上瞼、或いは下瞼を示す候補であると判断された画素の中から、予め定められた距離よりも近い画素同士を同一の上瞼、或いは同一の下瞼を示す画素の候補として纏めて１つの上瞼候補、或いは１つの下瞼候補としてグループ化する処理が挙げられる。また、検出部１０２が、上瞼候補、及び下瞼候補を検出するときの検出精度を高める処理の他の一例としては、輪郭強調画像における全ての上瞼候補、及び下瞼候補を検出した後、検出した上瞼候補、及び下瞼候補の中でそれぞれ互いに重複した画素を含む上瞼候補同士、或いは下瞼候補同士をそれぞれ１つの上瞼候補、或いは下瞼候補として纏めてグループ化する処理が挙げられる。
【００３８】
図４は、検出部１０２によって検出された上瞼候補、及び下瞼候補の一例を示す図である。図４に示す例では、上瞼候補ｕｍ１乃至ｕｍ５の５つの上瞼候補と、下瞼候補ｓｍ１乃至ｓｍ３の３つの下瞼候補とが検出部１０２によって検出された場合を示している。図４に示す上瞼候補ｕｍ１、ｕｍ３、及びｕｍ５は、それぞれ実際には眉、及び口の輪郭を強調した画素であるが、上述した上瞼候補、及び下瞼候補をそれぞれ検出する手法では、眉の輪郭を示す画素など、上瞼、或いは下瞼に形状の似ている画素が、上瞼候補、及び下瞼候補としてそれぞれ１以上だけ検出される場合もある。
【００３９】
尚、図４には説明の便宜のため、上瞼候補、及び下瞼候補をそれぞれ破線で示しているが、輪郭強調画像において上瞼候補、及び下瞼候補を示す画素は破線で示されなくてもよい。また、検出部１０２によって検出される上瞼候補、及び下瞼候補は、それぞれ図４に示すように線形状として検出されてもよいし、上瞼、或いは下瞼の形状に似た形状の画素の集まりとして検出されてもよい。また、検出部１０２が、上瞼候補、及び下瞼候補をそれぞれ検出するときには、撮像部１０１から取得した顔画像データによって示される顔画像に対して水平方向のソーベルフィルタ処理をすることによって生成した輪郭強調画像を用いてもよい。
【００４０】
検出部１０２は、上瞼候補と下瞼候補とをそれぞれ検出すると、検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれの候補であるかを、検出した上瞼候補毎、及び下瞼候補毎にそれぞれ判断する。検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれの候補であるかを判断するとき、検出部１０２は、撮像部１０１から取得した顔画像データによって示される顔画像に対して、顔画像の垂直方向の輪郭を強調するフィルタ処理をして生成した垂直輪郭強調画像に基づいて判断してもよい。
【００４１】
より詳細には、検出部１０２は、検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれの候補であるかを判断するとき、まず、記憶部１０７に記憶されている顔画像データによって示される顔画像に対して、顔画像の垂直方向の輪郭を強調するフィルタ処理（例えば、垂直方向のソーベルフィルタ処理など）をすることによって垂直輪郭強調画像を生成し、記憶部１０７にさらに記憶させる。垂直輪郭強調画像を記憶部１０７に記憶させると、検出部１０２は、垂直輪郭強調画像の画素の輝度値を垂直方向の画素列毎に積算して、積算した画素の輝度値を水平方向に沿って並べた垂直輪郭強調画像のヒストグラムを作成する。この垂直輪郭強調画像のヒストグラムの横軸は、垂直輪郭強調画像の水平方向の画素の位置を示し、縦軸が積算した輝度値を示すことになる。そして、垂直輪郭強調画像のヒストグラムには、顔の両端に相当する水平方向の位置にそれぞれピーク値が生じる。検出部１０２は、垂直輪郭強調画像のヒストグラムに生じるピーク値の水平方向の位置に基づいて、顔の左端の水平方向の位置、及び顔の右端の水平方向の位置を検出し、さらに、検出したそれぞれの水平方向の位置の中心を顔の中心の水平方向の位置として検出する。
【００４２】
顔の中心の水平方向の位置を検出すると、検出部１０２は、検出した顔の中心の水平方向の位置と、既に検出した上瞼候補、及び下瞼候補のそれぞれを示す画素の位置とを比較する。本実施形態では、顔画像、輪郭強調画像、及び垂直輪郭強調画像などの画像における画素の位置は、図３、及び図４などに一例として示すように、画像の原点を基準とするＸ−Ｙ座標系で示されるものとする。そして、検出部１０２は、輪郭強調画像において顔の中心の水平方向の位置よりも左に位置する上瞼候補、及び下瞼候補、すなわち、顔の中心のＸ座標よりも小さいＸ座標に位置する画素の上瞼候補、及び下瞼候補をそれぞれ顔の右側の上瞼候補、及び下瞼候補と判断する。一方、検出部１０２は、輪郭強調画像において顔の中心の水平方向の位置よりも右に位置する上瞼候補、及び下瞼候補、すなわち、顔の中心のＸ座標よりも大きいＸ座標に位置する画素の上瞼候補、及び下瞼候補をそれぞれ顔の左側の上瞼候補、及び下瞼候補と判断する。これにより、検出部１０２は、検出した上瞼候補、及び下瞼候補が顔画像における顔の左右のいずれに存在するかを判断することができる。
【００４３】
尚、検出部１０２によって検出される上瞼候補、及び下瞼候補は、それぞれ上述したように線形状、又は、瞼（上瞼、又は下瞼）の形状に似た形状の画素の集まり、すなわち、複数の画素の集まりとして検出される。そして、検出部１０２が、検出した顔の中心の水平方向の位置と、既に検出した上瞼候補、及び下瞼候補のそれそれを示す画素の位置とを比較するときには、上瞼候補、又は下瞼候補をそれぞれ示す画素のいずれの位置と、顔の中心の水平方向の位置とを比較してもよいが、一例としては、上瞼候補、又は下瞼候補をそれぞれ示す画素の水平方向の位置の平均値と、顔の中心の水平方向の位置とを比較する手法が挙げられる。
【００４４】
検出部１０２は、上瞼候補と下瞼候補とをそれぞれ検出し、検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれに存在するかを判断すると、検出した上瞼候補と下瞼候補とをそれぞれ示す上下瞼候補データを生成する。より具体的には、検出部１０２は、検出した上瞼候補毎に、１つの上瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、上瞼候補が顔の左右のいずれに存在するかを示す情報と、上瞼候補をそれぞれ識別するための識別子とを対応付けて示す上瞼候補データを生成する。さらに、検出部１０２は、検出した下瞼候補毎に、１つの下瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、下瞼候補が顔の左右のいずれに存在するかを示す情報と、下瞼候補をそれぞれ識別するための識別子とを対応付けて示す下瞼候補データを生成する。そして、検出部１０２は、上瞼候補データと下瞼候補データとをそれぞれ生成すると、生成した上瞼候補データと下瞼候補データとを纏めて示すデータを上下瞼候補データとして生成し、記憶部１０７に記憶させる。
【００４５】
組み合わせ部１０３は、記憶部１０７に記憶されている上下瞼候補データによって示される上瞼候補と、下瞼候補とをそれぞれ瞼候補として組み合わせる。より詳細には、記憶部１０７に上下瞼候補データが記憶されると、組み合わせ部１０３は、記憶部１０７に記憶されている上下瞼候補データとして纏められている上瞼候補データと、下瞼候補データとによってそれぞれ示される上瞼候補と、下瞼候補とを組み合わせて瞼候補とする。
【００４６】
組み合わせ部１０３は、上瞼候補と下瞼候補とを組み合わせるとき、左右に存在する上瞼候補、及び下瞼候補を分けてそれぞれ組み合わせる。より具体的には、組み合わせ部１０３は、上瞼候補と下瞼候補とを組み合わせるとき、左の上瞼候補と下瞼候補とをそれぞれ組み合わせ、右の上瞼候補と下瞼候補とをそれぞれ組み合わせる。また、組み合わせ部１０３は、上瞼候補と下瞼候補とを組み合わせるとき、図５に示すように、輪郭強調画像上の上瞼候補の垂直方向の位置から予め定められた画素数ｓｔだけ下方向の領域に存在する下瞼候補と当該上瞼候補とをそれぞれ組み合わせるようにしてもよい。このときの上瞼候補の垂直方向の輪郭強調画像上の位置とは、１つの上瞼候補を示す画素の中で最も高い垂直方向の位置に存在する画素の位置であってもよい。
【００４７】
組み合わせ部１０３は、上瞼候補と下瞼候補とを瞼候補として組み合わせると、上瞼候補と下瞼候補とを組み合わせた瞼候補を示す瞼候補データを生成する。より詳細には、組み合わせ部１０３は、瞼候補毎に、組み合わせた上瞼候補の識別子と、組み合わせた下瞼候補の識別子と、瞼候補を識別するための識別子とを対応付けて示す瞼候補データを生成する。瞼候補データを生成すると、組み合わせ部１０３は、生成した瞼候補データを記憶部１０７に記憶させる。尚、図５に示す例では、上瞼候補ｕｍ１と下瞼候補ｓｍ１との組、上瞼候補ｕｍ２と下瞼候補ｓｍ１との組、上瞼候補ｕｍ３と下瞼候補ｓｍ２との組、上瞼候補ｕｍ４と下瞼候補ｓｍ２との組がそれぞれ組み合わせ部１０３によって瞼候補として組み合わせられ、組み合わせられた瞼候補を示す瞼候補データが生成される。これに対して、上瞼候補ｕｍ５と下瞼候補ｓｍ３とは、それぞれ組み合わせられる上瞼候補、又は下瞼候補が存在しないため、上瞼候補ｕｍ５と下瞼候補ｓｍ３とをそれぞれ組み合わせに含む瞼候補は、瞼候補データによって示される瞼候補とならない。
【００４８】
尚、検出部１０２が上瞼候補、及び下瞼候補を検出するときから、組み合わせ部１０３で瞼候補データを生成するまでの処理は、上述で説明したように上瞼候補、及び下瞼候補を検出でき、形状値算出部１０４、選択部１０５、及び特定部１０６が後述するように処理できるデータを生成できるのであれば、上述した処理の代わりに、任意の公知の手法を用いて構わない。
【００４９】
形状値算出部１０４は、記憶部１０７に瞼候補データが記憶されたとき、記憶されている瞼候補データによって示される瞼候補毎に、瞼候補の形状を示す値を形状値として算出する。
【００５０】
図６は、形状値算出部１０４が算出する形状値の一例を示す図である。図６には、説明の便宜のため、図５に示す上瞼候補、及び下瞼候補の内、上瞼候補ｕｍ２と下瞼候補ｓｍ１とを拡大して示している。形状値算出部１０４は、１つの瞼候補の形状値を算出するとき、図６に示すように、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として対応付けられている識別子の下瞼候補を示す画素の目尻側の端点ｍｊ、及び目頭側の端点ｍｇの少なくともいずれか一方の端点とを結ぶ直線の傾きを形状値として算出する。尚、１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、顔画像における当該位置とは同じ位置である。
【００５１】
形状値算出部１０４が算出する傾きは、１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として瞼候補データによって対応付けられている識別子の下瞼候補を示す目尻側の端点ｍｊとを結ぶ直線ｍｊｌの傾き（以下、目尻傾きと称する）であってもよい。また、形状値算出部１０４が算出する傾きは、１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として瞼候補データによって対応付けられている識別子の下瞼候補を示す目頭側の端点ｍｇとを結ぶ直線ｍｇｌの傾き（以下、目頭傾きと称する）であってもよい。また、形状値算出部１０４が算出する傾きは、前述の目尻傾きと、前述の目頭傾きとの両方の傾きであってもよい。
【００５２】
図７Ａ乃至図７Ｃは、それぞれ検出部１０２によって検出された上瞼候補ｕｍ２、及び下瞼候補ｓｍ１とを組み合わせた瞼候補の形状がそれぞれ細目に近い形状、標準の形状に近い形状、及び丸目に近い形状であった場合の目尻傾きｍｊｋ、及び目頭傾きｍｇｋの一例をそれぞれ示す図である。図７Ａ乃至図７Ｃにそれぞれ示すように、形状値算出部１０４によって形状値として算出される目尻傾きｍｊｋ、及び目頭傾きｍｇｋは、それぞれ細目、標準、及び丸目の順番に大きくなり、上瞼候補、及び下瞼候補を組み合わせた瞼候補の形状の指標となる。尚、形状値算出部１０４によって形状値として算出される目尻傾きｍｊｋ、及び目頭傾きｍｇｋはそれぞれ、図７Ａ乃至図７Ｃにそれぞれ示すように角度で示されてもよいし、それぞれの直線の傾きであってもよい。
【００５３】
形状値算出部１０４は、記憶部１０７に記憶された瞼候補データによって示される瞼候補毎に形状値を算出すると、算出した形状値を、瞼候補データによって示される瞼候補の識別子にそれぞれ対応付けて、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。
【００５４】
選択部１０５は、形状値算出部１０４によって、記憶部１０７に記憶されている瞼候補データに形状値が追加されると、瞼候補データによって示される瞼候補毎に目尻、及び目頭をそれぞれ特定部１０６で特定するための目尻目頭パターンを選択する。
【００５５】
ここで、記憶部１０７に予め記憶されている目尻目頭パターンについて、図８Ａ乃至図８Ｃを参照しながら説明する。図８Ａ乃至図８Ｃは、それぞれ本実施形態に係る記憶部１０７に予め記憶されている目尻目頭パターンをそれぞれ示す図である。図８Ａ乃至図８Ｃには、一例として、右の瞼候補の目尻、及び目頭を特定部１０６で特定するための目尻目頭パターンを示している。
【００５６】
本実施形態における目尻目頭パターンとは、図８Ａ乃至図８Ｃにそれぞれ示す目尻パターンと目頭パターンとを組み合わせたパターンのことである。そして、目尻パターンと目頭パターンとは、それぞれ目尻、及び目頭における肌部分と眼部分とに相当する２つの領域を有する予め定められた広さを有し、実際の人の目尻、及び目頭を模した画像である。また、本実施形態における目尻目頭パターンは、それぞれの画像の画素の輝度値の上限値で肌部分（図８Ａ乃至図８Ｃでは白部分）を示し、それぞれの画像の画素の輝度値の下限値で眼部分（図８Ａ乃至図８Ｃでは黒部分）を示すものとするが、目尻目頭パターンにおける肌部分、及び眼部分の示し方は、これに限られなくてもよい。また、記憶部１０７に記憶されている目尻パターン、及び目頭パターンには、それぞれ特定部１０６が目尻パターン、及び目頭パターンを顔画像上に配置するために、これらのパターンの下瞼候補を示す画素の端点（上瞼候補との接点側の端点）に相当する箇所の画素の位置が基準点として予め定められている。
【００５７】
本実施形態では、一例として、図８Ａ乃至図８Ｃにそれぞれ示す、細目、標準、及び丸目の瞼候補の形状にそれぞれ対応する３つの目尻目頭パターンを予め定めてそれぞれを識別する識別子と共に記憶部１０７に記憶させるものとする。図８Ａ乃至図８Ｃから明らかなように、細目、標準、及び丸目にそれぞれ対応する目尻目頭パターンでは、目尻パターン、及び目頭パターンのそれぞれにおける肌部分と眼部分との領域の割合が互いに異なる。より具体的には、細目に対応する目尻目頭パターンの目尻パターン、及び目頭パターンでは、肌部分の割合が最も大きく、眼部分の割合が最も小さい。これに対して、丸目に対応する目尻目頭パターンの目尻パターン、及び目頭パターンでは、肌部分の割合が最も小さく、眼部分の割合が最も大きい。
【００５８】
このように、本実施形態では、図８Ａ乃至図８Ｃに示すように、前述の予め定められた広さにおいて、細目、標準、及び丸目などの眼の形状によって変化する目尻、及び目頭のそれぞれにおける肌部分と眼部分との領域の割合をそれぞれの形状に応じて近くなるように予め定めた目尻目頭パターンを記憶部１０７に記憶させている。
【００５９】
選択部１０５には、記憶部１０７に記憶されている瞼候補データによって瞼候補と対応付けられている形状値に応じて記憶部１０７に記憶されている目尻目頭パターンを選択するためのしきい値が予め定められている。本実施形態に係る選択部１０５には、一例として、記憶部１０７に記憶されている３つの目尻目頭パターンを選択するために、大きさが順番に大きくなるしきい値ａ、及びしきい値ｂの２つのしきい値が予め定められている。ここで、しきい値ａとしきい値ｂとの間には、ａ＜ｂの関係があるものとする。
【００６０】
選択部１０５は、記憶部１０７に記憶されている瞼候補データに形状値が追加されると、記憶されている瞼候補データによって示される瞼候補毎に対応付けられている形状値としきい値とを比較する。形状値としきい値とを比較するとき、選択部１０５は、まず、１つの瞼候補に対応付けられた形状値と、最も小さいしきい値ａとを比較する。そして、選択部１０５は、比較した形状値がしきい値ａよりも小さいと判断したとき、当該形状値に対応付けられた瞼候補の形状は細目であると判断して、細目に対応する目尻目頭パターンの識別子を当該瞼候補の識別子に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。また、選択部１０５は、比較した形状値がしきい値ａ以上であると判断したとき、しきい値ａの次に大きいしきい値ｂと当該形状値とを比較する。選択部１０５は、比較した形状値がしきい値ｂよりも小さいと判断したとき、当該形状値に対応付けられた瞼候補の形状は標準であると判断して、標準に対応する目尻目頭パターンの識別子を当該瞼候補の識別子に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。また、選択部１０５は、比較した形状値がしきい値ｂ以上であると判断したとき、当該形状値に対応付けられた瞼候補の形状は丸目であると判断して、丸目に対応する目尻目頭パターンの識別子を当該瞼候補に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。
【００６１】
このように、選択部１０５が、瞼候補の形状値に応じて記憶部１０７に記憶されている目尻目頭パターンを選択することにより、上述したように瞼候補の形状の指標となる形状値に応じて、瞼候補の形状に応じて上述したように予め定めた目尻目頭パターンの中から、瞼候補データによって示される瞼候補毎に適切な目尻目頭パターンを選択することができる。
【００６２】
特定部１０６は、記憶部１０７に記憶されている瞼候補データに目尻目頭パターンの識別子が追加されると、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に目尻、及び目頭の位置を特定する。
【００６３】
より詳細には、特定部１０６は、瞼候補の目尻、及び目頭の位置を特定するとき、当該瞼候補に対応付けられた目尻目頭パターンの目尻パターン、及び目頭パターンのそれぞれを記憶部１０７に記憶されている顔画像に配置する処理をする。より具体的には、特定部１０６は、記憶部１０７に記憶されている瞼候補データによって瞼候補毎に対応付けられている識別子の下瞼候補の目尻側の端点の画素の位置に、当該瞼候補に対応付けられている識別子の目尻目頭パターンの目尻パターンの基準点を一致させて、当該目尻パターンを顔画像上に重畳させて配置する処理をする。また、特定部１０６は、記憶部１０７に記憶されている瞼候補データによって瞼候補毎に対応付けられている下瞼候補の目頭側の端点の画素の位置に、当該瞼候補に対応付けられている識別子の目尻目頭パターンの目頭パターンの基準点を一致させて、当該目頭パターンを顔画像上に重畳させて配置する処理をする。尚、特定部１０６によって、目尻パターン、及び目頭パターンとがそれぞれ重畳させられている顔画像の中の画像は、瞼候補データによって示される瞼候補毎の目尻、及び目頭を示すと考えられる画像となる。
【００６４】
尚、記憶部１０７に記憶されている下瞼候補の画素の位置は、輪郭強調画像上における位置であるが、本実施形態では、輪郭強調画像と顔画像との画素数は、輪郭を強調する処理をしたとしても変わらないため、輪郭強調画像上における下瞼候補の画素の位置は、そのまま顔画像上の位置と対応している。
【００６５】
より詳細には、本実施形態では、輪郭強調画像を生成するときに、顔画像データによって示される顔画像に対してそのままフィルタ処理をし、互いの画像の間で画素数が変化することがないため、輪郭強調画像における画素の位置と、顔画像における画素の位置とはそのまま対応している。しかしながら、輪郭強調画像を生成するときの処理の負担を低減するために、顔画像データによって示される顔画像の画素を間引いてから輪郭強調画像を生成する処理をする場合には、輪郭強調画像における画素の位置と、顔画像における画素の位置とがそのまま対応しない。したがって、特定部１０６が、顔画像の画素を間引いてから生成された輪郭強調画像において検出された下瞼候補の目尻側の端点の位置、及び目頭側の端点の位置に基づいて、顔画像上に目尻パターン、及び目頭パターンを重畳させる場合には、これらの目尻側の端点の画素の位置、及び目頭側の端点の画素の位置をそれぞれ顔画像上の画素の位置に変換して対応させる処理もしなければならない。
【００６６】
特定部１０６は、目尻パターン、及び目頭パターンを顔画像上に重畳させる処理をするとき、右側の下瞼候補の目頭側、及び目尻側のそれぞれの端点の画素の位置に対応する顔画像上の位置には、図８Ａ乃至図８Ｃを参照しながら説明した右用の目尻パターン、及び目頭パターンをそれぞれそのまま重畳させ、左側の下瞼候補の目頭側、及び目尻側のそれぞれの端点の画素の位置に対応する顔画像上の位置には、図８Ａ乃至図８Ｃを参照しながら説明した右用の目尻パターン、及び目頭パターンの左右をそれぞれ反転させたパターンをそれぞれ重畳させる。尚、他の一実施形態では、記憶部１０７に左右のそれぞれの目尻目頭パターンを予め定めて記憶させ、左右の下瞼候補の目頭側、及び目尻側のそれぞれの端点の画素の位置に対応する顔画像上の位置に左右の目尻目頭パターンをそれぞれ重畳させてもよい。
【００６７】
特定部１０６は、目尻パターン、及び目頭パターンを顔画像上に重畳させると、顔画像上において目尻パターン、及び目頭パターンがそれぞれ重畳している領域の画像と、重畳させた目尻パターン、及び目頭パターンとして定められている画像との類似度を算出するパターンマッチング処理をする。特定部１０６は、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に全てパターンマッチング処理をした後、顔画像における左右のそれぞれにおいて、目尻、及び目頭の類似度の和が最も大きい瞼候補をそれぞれ左右の瞼として特定する。尚、特定部１０６によって為されるパターンマッチング処理は、任意の公知の手法を用いて構わない。
【００６８】
以上が、本実施形態に係る眼検出装置１の概略構成の説明である。次に、図９に示すフローチャートを参照しながら、本実施形態に係る眼検出装置１の処理を説明する。尚、図９のフローチャートに示す処理は、上述したように、予め定められたプログラムを記憶部１０７から読み込んだ制御部が、それぞれ検出部１０２、組み合わせ部１０３、形状値算出部１０４、選択部１０５、及び特定部１０６の機能構成として適宜処理をして機能することによって、当該制御部によって実行される。
【００６９】
ステップＳ１０１において、制御部は、検出部１０２として、撮像部１０１によって顔画像データが生成されたか否かを判断する。制御部は、ステップＳ１０１において、顔画像データが生成されたと判断したとき、ステップＳ１０２へ処理を進める。一方、制御部は、ステップＳ１０１において、顔画像データが生成されていないと判断したとき、ステップＳ１０１の処理を繰り返す。
【００７０】
ステップＳ１０２において、制御部は、検出部１０２として、撮像部１０１によって生成された顔画像データを取得して記憶部１０７に記憶させ、記憶部１０７に記憶させた顔画像データによって示される顔画像に対して、上述した輪郭を強調するフィルタ処理をして、輪郭強調画像を生成し、生成した輪郭強調画像を記憶部１０７に記憶させる。制御部は、ステップＳ１０２の処理を完了すると、ステップＳ１０３へ処理を進める。
【００７１】
ステップＳ１０３において、制御部は、検出部１０２として、記憶部１０７に記憶させた輪郭強調画像に基づいて、パターンマッチング処理などをすることによって、上述した上瞼候補を検出する。制御部は、ステップＳ１０３の処理を完了すると、ステップＳ１０４へ処理を進める。
【００７２】
ステップＳ１０４において、制御部は、検出部１０２として、記憶部１０７に記憶させた輪郭強調画像に基づいて、パターンマッチングなどの手法を用いて、上述した下瞼候補を検出する。制御部は、ステップＳ１０４の処理を完了すると、ステップＳ１０５へ処理を進める。
【００７３】
ステップＳ１０５において、制御部は、検出部１０２として、上述した上下瞼候補データを生成する。より詳細には、ステップＳ１０５において、制御部は、ステップＳ１０３で検出した上瞼候補毎に、１つの上瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、上瞼候補が顔の左右のいずれに存在するかを示す情報と、上瞼候補をそれぞれ識別するための識別子とを対応付けて示す上瞼候補データを生成する。さらに、ステップＳ１０５において、制御部は、ステップＳ１０４で検出した下瞼候補毎に、１つの下瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、下瞼候補が顔の左右のいずれに存在するかを示す情報と、下瞼候補をそれぞれ識別するための識別子とを対応付けて示す下瞼候補データを生成する。さらに、制御部は、ステップＳ１０５において、上瞼候補データと、下瞼候補データとをそれぞれ生成すると、生成した上瞼候補データと下瞼候補データとを纏めて示すデータを上下瞼候補データとして生成し、記憶部１０７に記憶させる。制御部は、ステップＳ１０５の処理を完了すると、ステップＳ１０６へ処理を進める。
【００７４】
ステップＳ１０６において、制御部は、組み合わせ部１０３として、記憶部１０７に記憶されている上下瞼候補データによって示される上瞼候補と、下瞼候補とを、上述したようにそれぞれ瞼候補として組み合わせて、組み合わせた瞼候補を示す瞼候補データを生成し、生成した瞼候補データを記憶部１０７に記憶させる。制御部は、ステップＳ１０６の処理を完了すると、ステップＳ１０７へ処理を進める。
【００７５】
ステップＳ１０７において、制御部は、形状値算出部１０４として、記憶部１０７に記憶された瞼候補データによって示される瞼候補毎に形状値を算出し、算出した形状値を、瞼候補データによって示される瞼候補の識別子にそれぞれ対応付けて、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。制御部は、ステップＳ１０７の処理を完了すると、ステップＳ１０８へ処理を進める。
【００７６】
ステップＳ１０８において、制御部は、選択部１０５として、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に、上述したように瞼候補の形状値に応じて記憶部１０７に記憶されている目尻目頭パターンを選択し、選択した目尻目頭パターンの識別子を当該瞼候補に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。制御部は、ステップＳ１０８の処理を完了すると、ステップＳ１０９へ処理を進める。
【００７７】
ステップＳ１０９において、制御部は、特定部１０６として、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に、瞼候補として組み合わされている下瞼候補の画素の目尻側の端点の画素の位置、及び目頭側の端点の画素の位置にそれぞれ対応する顔画像上の位置に、それぞれ当該瞼候補に対応付けられた識別子の目尻目頭パターンの目尻パターン、及び目頭パターンを上述したように重畳させてパターンマッチング処理をし、顔画像における左右の瞼をそれぞれ特定する。制御部は、ステップＳ１０９の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００７８】
以上が、本実施形態に係る眼検出装置１の説明である。本実施形態に係る眼検出装置１によれば、輪郭強調画像に基づいて検出した瞼候補の形状に応じて、パターンマッチング処理に用いる適切な目尻目頭パターンを選択でき、人の眼の形状に個人差があったとしても、正確に瞼を特定できる。
【００７９】
また、本実施形態に係る眼検出装置１によれば、有限の数の目尻目頭パターンを記憶部１０７に記憶させておくだけで、人の眼の形状に個人差があったとしても、正確に瞼を特定することができ、記憶部１０７に記憶させる情報量を削減することができる。
【００８０】
尚、第１の実施形態の説明では、形状値算出部１０４は、形状値として、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として対応付けられている識別子の下瞼候補を示す画素の目尻側の端点ｍｊ、及び目頭側の端点ｍｇの少なくともいずれか一方の端点とを結ぶ直線の傾きを形状値として算出するものとした。しかしながら、他の一実施形態に係る形状値算出部１０４は、瞼候補データによって示される瞼候補毎に瞼候補の開度を形状値として算出してもよい。
【００８１】
図１０は、他の一実施形態に係る形状値算出部１０４によって算出される瞼候補の開度を説明する図である。図１０には、説明の便宜のため、図５に示す上瞼候補、及び下瞼候補の内、上瞼候補ｕｍ２と下瞼候補ｓｍ１とを拡大して示している。形状値算出部１０４は、１つの瞼候補の形状値として瞼候補の開度を算出するとき、図１０に示すように、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔと、当該上瞼候補の識別子に瞼候補として対応付けられている識別子の下瞼候補を示す画素の中で垂直方向の最も低い位置に存在する頂点の画素ｄｔとを結ぶ直線の長さを開度として算出してもよい。
【００８２】
図１１Ａ乃至図１１Ｃは、それぞれ検出部１０２によって検出された上瞼候補ｕｍ２、及び下瞼候補ｓｍ１とを組み合わせた瞼候補の形状がそれぞれ細目に近い形状、標準の形状に近い形状、及び丸目に近い形状であった場合の開度ｋｄの一例をそれぞれ示す図である。図１１Ａ乃至図１１Ｃにそれぞれ示すように、形状値算出部１０４によって形状値として算出される開度ｋｄは、それぞれ細目、標準、及び丸目の順番に大きくなり、上述で説明した傾きと同様に、上瞼候補、及び下瞼候補を組み合わせた瞼候補の眼の形状の指標となる。
【００８３】
形状値算出部１０４が形状値として開度を算出する場合でも、選択部１０５は、上述したように形状値としきい値とを比較することにより、形状値として傾きを算出する場合と同様に、瞼候補の形状の指標となる形状値に応じて、瞼候補の形状に応じて上述したように予め定めた目尻目頭パターンの中から、瞼候補データによって示される瞼候補毎に適切な目尻目頭パターンを選択することができる。
【００８４】
また、他の一実施形態に係る形状値算出部１０４は、形状値として、瞼候補として組み合わされている上瞼候補の形状に最も近い円の曲率を瞼候補毎に算出してもよい。
【００８５】
図１２は、他の一実施形態に係る形状値算出部１０４によって算出される瞼候補の曲率を説明する図である。図１２には、説明の便宜のため、図５に示す上瞼候補、及び下瞼候補の内、上瞼候補ｕｍ２と下瞼候補ｓｍ１とを拡大して示している。形状値算出部１０４は、１つの瞼候補の形状値として瞼候補の曲率を算出するとき、図１２に示すように、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の形状に最も近い半径Ｒの円を求める演算をし、演算した円の曲率を形状値として算出してもよい。
【００８６】
図１３Ａ乃至図１３Ｃは、それぞれ検出部１０２によって検出された上瞼候補ｕｍ２、及び下瞼候補ｓｍ１とを組み合わせた瞼候補の形状がそれぞれ細目に近い形状、標準の形状に近い形状、及び丸目に近い形状であった場合に曲率を算出する半径Ｒの円の一例をそれぞれ示す図である。図１３Ａ乃至図１３Ｃにそれぞれ示すように、形状値算出部１０４によって形状値として算出される曲率は、前述の円の半径Ｒがそれぞれ細目、標準、及び丸目の順番に小さくなるため、それぞれ細目、標準、及び丸目の順番に大きくなり、上述で説明した傾きと同様に、上瞼候補、及び下瞼候補を組み合わせた瞼候補の眼の形状の指標となる。
【００８７】
形状値算出部１０４が形状値として曲率を算出する場合でも、上述したようにしきい値を定めた選択部１０５で上述したように形状値としきい値とを比較することにより、形状値として傾きを算出する場合と同様に、瞼候補の形状の指標となる形状値に応じて、瞼候補の形状に応じて上述したように予め定めた目尻目頭パターンの中から、瞼候補データによって示される瞼候補毎に適切な目尻目頭パターンを選択することができる。
【００８８】
また、他の一実施形態に係る眼検出装置１では、図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理を、例えば、車両に取り付けられた照度センサ（コンライトセンサ）によって検出される環境光の照度が予め定められたしきい値未満であるときのみに行うようにしてもよい。そして、一度目尻目頭パターンを選択した後は、運転者が変わらない限り、選択部１０５の処理を省略したステップＳ１０１乃至ステップＳ１０９までの処理をして、瞼の特定をしてよい。車両に取り付けられた照度センサとは、例えば、図３に示すように車両の速度などを示す計器盤の背面方向のインストルメントパネル上に設置され、車両の周囲の環境光の照度を検出する照度センサであってもよい。照度センサによって検出される環境光の照度が予め定められたしきい値未満であるときのみに目尻目頭パターンの選択をすることにより、太陽光などを含む環境光の影響を受けない顔画像に基づいて、より正確に目尻目頭パターンを選択した後に、より正確な目尻目頭パターンで瞼の特定をすることができる。
【００８９】
また、他の一実施形態に係る眼検出装置１では、現在の時刻を検出する時計、或いはタイマーなどの計時装置を用いて、例えば、計時装置によって示される時刻が夜間を示すときにのみ、図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理をするようにしてもよい。そして、一度目尻目頭パターンを選択した後は、運転者が変わらない限り、選択部１０５の処理を省略したステップＳ１０１乃至ステップＳ１０９までの処理をして、瞼の特定をしてよい。夜間であるときのみに目尻目頭パターンの選択をすることにより、太陽光などを含む環境光の影響を受けない顔画像に基づいて、より正確に目尻目頭パターンを選択した後に、より正確な目尻目頭パターンで瞼の特定をすることができる。
【００９０】
また、他の一実施形態に係る眼検出装置１では、車両に搭載されたワイパーが作動しているときにのみ、図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理をするようにしてもよい。そして、一度目尻目頭パターンを選択した後は、運転者が変わらない限り、選択部１０５の処理を省略したステップＳ１０１乃至ステップＳ１０９までの処理をして、瞼の特定をしてよい。ワイパーが作動しているときのみに目尻目頭パターンの選択をすることにより、雨天であって太陽光の影響を受けない顔画像に基づいて、より正確に目尻目頭パターンを選択した後に、より正確な目尻目頭パターンで瞼の特定をすることができる。
【００９１】
また、本発明に係る眼検出装置１は、例えば、近年、車両などの移動体に搭載されている運転者の状態を監視する、一般的には、ドライバーモニタシステムと呼ばれるシステムに適用することができる。より詳細には、近年、車両などの移動体には、運転者の顔画像に基づいて瞼の開度、及び顔向きの角度などを検出し、居眠り運転、及び脇見運転などをしていると判断したときに運転者に警告を発するシステムが搭載されている。このようなシステムでは、運転者の瞼の開度、及び顔向きの角度などを検出するときに、本発明で類似度を算出した瞼候補の開度のみを算出し、さらに、このようにして算出した瞼候補の開度に基づき瞬きをしたと判断した瞼候補の位置を運転者の眼の顔画像における位置として確定する手法が採用されている場合がある。そして、このように確定した顔画像における運転者の眼の位置に基づき、前述のシステムでは顔向きの角度を検出している場合もある。本発明によれば、このようなシステムにおいて類似度を算出するときの精度を向上させることもできる。
【００９２】
また、上述したように環境光の照度がしきい値未満であるときのみ、夜間であるときのみ、及びワイパーが作動しているときのみに図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理をする他の一実施形態で、本発明を上述したシステムに適用する場合には、当該システムが瞼を特定しようとするタイミングで、一度も目尻目頭パターンが選択されていない場合が生じる可能性がある。このようなときは、予めデフォルトとして定めた目尻目頭パターンを用いて瞼を特定するようにしてもよい。
【００９３】
以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の一例にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
【産業上の利用可能性】
【００９４】
本発明によれば、人の顔の中でも特に目尻、及び目頭を正確に検出できる眼検出装置を提供することができ、例えば、自動車などの移動体に搭載される眼検出装置などに利用できる。
【符号の説明】
【００９５】
１ 眼検出装置
１０１ 撮像部
１０２ 検出部
１０３ 組み合わせ部
１０４ 形状値算出部
１０５ 選択部
１０６ 特定部
１０７ 記憶部
【技術分野】
【０００１】
本発明は、顔画像に基づいて人の眼を検出する検出装置、及び方法に関する。
【背景技術】
【０００２】
従来、人の顔を含む画像を撮像し、撮像した画像に基づいて人の眼を検出する様々な検出装置が開発されている。このような検出装置の一例として、例えば、特許文献１に記載の眼検出装置（以下、従来技術と称する）が挙げられる。
【０００３】
従来技術では、車両を運転している運転者の背景を含む顔を顔画像として撮像する。顔画像を撮像すると、従来技術では、例えば、横エッジ検出用ソーベルフィルタ、及び縦エッジ検出用ソーベルフィルタなどのフィルタ処理を顔画像に対してすることによって、顔画像の中から運転者の上瞼と下瞼との組み合わせの候補を瞼候補として検出する。瞼候補を検出すると、従来技術では、瞼候補の中から瞼を特定するために、それぞれの瞼候補の下瞼の左右端に目尻目頭領域をそれぞれ設定する。
【０００４】
従来技術では、予め定められた目尻目頭パターンを、フィルタ処理をする前の顔画像における目尻目頭領域に重畳させ、重畳させた目尻目頭パターンにおける肌部分の画素と重複する顔画像の画素の輝度値の平均値（以下、肌画素平均値と称する）と、重複させた目尻目頭パターンにおける眼部分の画素と重複する顔画像の画素の輝度値の平均値（以下、眼画素平均値と称する）とを算出する。肌画素平均値と、眼画素平均値とを算出するとき、従来技術では、瞼候補毎に左右の目尻目頭領域の肌画素平均値と、眼画素平均値とをそれぞれ算出する。
【０００５】
瞼候補毎に左右の肌画素平均値と、眼画素平均値とを算出すると、従来技術では、肌画素平均値から眼画素平均値を引いた目尻目頭評価値を、設定した目尻目頭領域毎に算出する。従来技術では、それぞれの瞼候補の左右の目尻目頭領域毎に目尻目頭評価値を算出する。目尻目頭評価値を算出すると、従来技術では、左の目尻目頭評価値と右の目尻目頭評価値との加算値を、それぞれの瞼候補の左右の目尻目頭領域毎に算出し、算出した加算値が最も大きい瞼候補と、２番目に大きい瞼候補とを目尻目頭パターンで示される目尻、及び目頭に最も近い目尻、及び目頭と２番目に近い目尻、及び目頭をそれぞれ有する左右の瞼として特定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２２６１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、以下に述べるような課題を有する。すなわち、人の眼の形状には、丸目、及び細目などの個人差がある。しかし、上記従来技術では、１種類の目尻目頭パターンだけを用いて目尻目頭評価値を算出するため、当該目尻目頭パターンと大きく異なる形状の眼の目尻、及び目頭に近い目尻、及び目頭を有する瞼候補を瞼として正確に検出することができない。
【０００８】
それ故に、本発明は、人の眼の形状に個人差があったとしても、目尻、及び目頭を正確に検出できる眼検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するために、以下に示すような特徴を有する。
第１の発明は、対象者の顔を含む画像を顔画像として撮像する撮像手段と、撮像手段によって撮像された顔画像に基づき、対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出手段と、顔画像の中で検出手段によって検出された瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の目尻目頭パターンを２以上だけ記憶する記憶手段と、検出手段によって検出された瞼候補毎の形状を示す形状値に基づき、記憶手段に記憶された目尻目頭パターンの中から１つの目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択手段と、顔画像の中で検出手段によって検出された瞼候補毎の目尻、及び目頭を示す画像と、選択手段によって当該瞼候補毎に選択された目尻目頭パターンの画像との類似度をそれぞれ算出する特定手段とを備える。
【００１０】
第２の発明は、上記第１の発明に従属する発明であって、検出手段によって検出された瞼候補として組み合わされた下瞼の候補を示す画素の目尻側、及び目頭側の少なくともいずれか一方の端点と、上瞼の候補を示す画素の中で顔画像における垂直方向の最も高い頂点の画素とを結ぶ線の傾きを形状値として検出する傾き検出手段をさらに備え、選択手段は、傾き検出手段によって検出された傾きに基づき、目尻目頭パターンを選択する。
【００１１】
第３の発明は、上記第２の発明に従属する発明であって、傾き検出手段は、検出手段によって検出された瞼候補としてそれぞれ組み合わされる下瞼の候補を示す画素の目尻側の端点と、頂点の画素とを結ぶ線の傾きを形状値として検出する。
【００１２】
第４の発明は、上記第２の発明に従属する発明であって、傾き検出手段は、検出手段によって検出された瞼候補としてそれぞれ組み合わされる下瞼の候補を示す画素の目頭側の端点と、頂点の画素とを結ぶ線の傾きを形状値として検出する。
【００１３】
第５の発明は、上記第２の発明に従属する発明であって、傾き検出手段は、検出手段によって検出された瞼候補としてそれぞれ組み合わされる下瞼の候補の目尻側の端点の画素と目頭側の端点の画素とのそれぞれと頂点の画素とを結ぶ線の傾きを形状値として検出する。
【００１４】
第６の発明は、上記第１の発明に従属する発明であって、検出手段によって検出された瞼候補毎に瞼の開度を形状値として検出する開度検出手段をさらに備え、選択手段は、開度検出手段によって検出された開度に基づき、目尻目頭パターンを選択する。
【００１５】
第７の発明は、上記第１の発明に従属する発明であって、検出手段によって検出された瞼候補毎に、当該瞼候補として組み合わされた上瞼の候補の画素の曲率を形状値として検出する曲率検出手段をさらに備え、選択手段は、曲率検出手段によって検出された曲率に基づき、目尻目頭パターンを選択する。
【００１６】
第８の発明は、上記第１の発明に従属する発明であって、対象者に照射される環境光の照度を検出する照度検出手段をさらに備え、選択手段は、照度検出手段によって検出される環境光の照度が予め定められたしきい値未満であるとき、目尻目頭パターンを選択する。
【００１７】
第９の発明は、上記第１の発明に従属する発明であって、現在の時刻を検知する時刻検知手段をさらに備え、選択手段は、時刻検知手段によって検出される時刻が夜間を示すとき、目尻目頭パターンを選択する。
【００１８】
第１０の発明は、上記第１の発明に従属する発明であって、車両に搭載され、車両のワイパーが作動しているか否かを判断する作動検出手段をさらに備え、選択手段は、作動検出手段によってワイパーが作動していると判断されたとき、目尻目頭パターンを選択する。
【００１９】
第１１の発明は、対象者の顔を含む画像を顔画像として撮像する撮像ステップと、撮像ステップで撮像された顔画像に基づき、対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出ステップと、顔画像の中で検出ステップにおいて検出された瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の２以上の目尻目頭パターンの中から、当該瞼候補毎の形状を示す形状値に基づき、１つの目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択ステップと、顔画像の中で検出ステップにおいて検出された瞼候補毎の目尻、及び目頭を示す画像と、選択ステップにおいて当該瞼候補毎に選択された目尻目頭パターンの画像との類似度をそれぞれ算出する特定ステップとを備える。
【発明の効果】
【００２０】
上記第１の発明によれば、顔画像における瞼候補の形状に基づいて、顔画像における目尻、及び目頭を検出するための目尻目頭パターンを選択するので、人の眼の形状に個人差があったとしても、目尻、及び目頭を正確に検出できる。
【００２１】
上記第２の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目頭側、及び目尻側の少なくともいずれか一方の端点と、当該上瞼候補を示す画素の頂点とを結ぶ線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２２】
上記第３の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目尻側の端点と、当該上瞼候補を示す画素の頂点とを結ぶ線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２３】
上記第４の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目頭側の端点と、当該上瞼候補を示す画素の頂点とを結ぶ線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２４】
上記第５の発明によれば、瞼候補として上瞼候補と組み合わされる下瞼候補を示す画素の目頭側の端点と目頭側の端点とを結ぶ線とのそれぞれと上瞼候補を示す画素の頂点とを結ぶそれぞれの線の傾きとして検出された形状値に基づいて、目尻目頭パターンを選択できる。
【００２５】
上記第６の発明によれば、瞼の開度に基づいて、目尻目頭パターンを選択できる。
【００２６】
上記第７の発明によれば、上瞼候補を示す画素の曲率半径に基づいて、目尻目頭パターンを選択できる。
【００２７】
上記第８の発明によれば、環境光の影響を受けずに撮像した顔画像に基づいて目尻目頭パターンを選択できる。
【００２８】
上記第９の発明によれば、環境光の影響を受けずに撮像した顔画像に基づいて目尻目頭パターンを選択できる。
【００２９】
上記第１０の発明によれば、雨天のために環境光の影響を受けずに撮像した運転者の顔画像に基づいて目尻目頭パターンを選択できる。
【００３０】
また、本発明における眼検出方法によれば、本発明に係る上述した眼検出装置と同様の効果を得ることができる。
【図面の簡単な説明】
【００３１】
【図１】第１の実施形態に係る眼検出装置の機能構成を示す機能ブロック図
【図２】本発明において撮像される顔画像の一例を示す図
【図３】本発明における撮像部の設置位置の一例を示す図
【図４】本発明における輪郭強調画像の一例を示す図
【図５】上瞼候補と下瞼候補とを組み合わせを説明する図
【図６】第１の実施形態で算出される形状値の一例を示す図
【図７Ａ】瞼候補の形状が細目の場合の形状値の一例を示す図
【図７Ｂ】瞼候補の形状が標準の場合の形状値の一例を示す図
【図７Ｃ】瞼候補の形状が丸目の場合の形状値の一例を示す図
【図８Ａ】細目の瞼候補に対応する目尻目頭パターンの一例を示す図
【図８Ｂ】標準の瞼候補に対応する目尻目頭パターンの一例を示す図
【図８Ｃ】丸目の瞼候補に対応する目尻目頭パターンの一例を示す図
【図９】第１の実施形態に係る眼検出装置の処理を示すフローチャート
【図１０】開度として算出される形状値の一例を示す図
【図１１Ａ】瞼候補の形状が細目の場合の開度の一例を示す図
【図１１Ｂ】瞼候補の形状が標準の場合の開度の一例を示す図
【図１１Ｃ】瞼候補の形状が丸目の場合の開度の一例を示す図
【図１２】曲率として算出される形状値の一例を示す図
【図１３Ａ】瞼候補の形状が細目の場合に曲率を算出するときの円の一例を示す図
【図１３Ｂ】瞼候補の形状が標準の場合に曲率を算出するときの円の一例を示す図
【図１３Ｃ】瞼候補の形状が丸目の場合に曲率を算出するときの円の一例を示す図
【発明を実施するための形態】
【００３２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る眼検出装置１の機能構成を示す機能ブロック図である。本実施形態に係る眼検出装置１は、撮像部１０１と、検出部１０２と、組み合わせ部１０３と、形状値算出部１０４と、選択部１０５と、特定部１０６と、記憶部１０７とを備える。尚、本実施形態の説明では、眼検出装置１で、車両を運転している運転者の顔を含む画像を撮像した顔画像を処理する場合を一例として説明する。
【００３３】
撮像部１０１は、典型的にはＣＣＤカメラであって、図２に一例として示すような、運転者の顔を含む画像を顔画像として逐次撮像し、顔画像を撮像する度に、撮像した顔画像を示す顔画像データを生成する。撮像部１０１の車両における設置位置は、本実施形態に係る眼検出装置１で運転者の顔の目尻、及び目頭などを正確に認識できるのであればどのような設置位置であってもよいが、一例としては、図３に示すように、運転席に着座した運転者の顔を正面から撮像できるように車両のステアリングコラムの上部に設置してもよい。また、撮像部１０１を設置するときに、撮像部１０１の撮像範囲に赤外光を照射する光源も設置し、赤外領域の波長の光に対する感度を相対的に高めた撮像部１０１を用いて顔画像を撮像してもよい。
【００３４】
検出部１０２と、組み合わせ部１０３と、形状値算出部１０４と、選択部１０５と、特定部１０６との機能構成は、典型的には、ＣＰＵ、ＬＳＩ、及びマイクロコンピュータなどの集積回路からなる制御部であって、記憶部１０７から予め定められたプログラムを当該制御部が読み出して解釈実行することによって、当該制御部がそれぞれの機能構成として適宜処理をすることによって実現される。
【００３５】
検出部１０２は、撮像部１０１によって顔画像データが生成される度に生成された顔画像データを取得する。顔画像データを取得すると、検出部１０２は、取得した顔画像データを記憶部１０７に記憶させる。顔画像データを記憶部１０７に記憶させると、検出部１０２は、記憶部１０７に記憶されている顔画像データによって示される顔画像から、上瞼、下瞼、鼻孔、及び口などの顔の部品（以下、顔部品と称する）の中で少なくとも上瞼と下瞼とをそれぞれ示す画素の候補を検出する処理をする。
【００３６】
より詳細には、検出部１０２は、まず、記憶部１０７に記憶されている顔画像データによって示される顔画像に対して輪郭を強調するフィルタ処理などをして、顔画像データによって示される顔画像における顔部品の輪郭を強調した画像を輪郭強調画像として生成する処理をする。輪郭強調画像を生成すると、検出部１０２は、生成した輪郭強調画像をさらに記憶部１０７に記憶させる。輪郭強調画像を記憶部１０７に記憶させると、検出部１０２は、パターンマッチングなどの手法を用いて、記憶部１０７に記憶されている輪郭強調画像の中から上瞼と下瞼とをそれぞれ示す画素の候補をそれぞれ上瞼候補、及び下瞼候補として検出する。
【００３７】
検出部１０２は、上瞼候補、及び下瞼候補をそれぞれ検出するとき、輪郭強調画像に基づいて上瞼候補、及び下瞼候補を検出するときの検出精度を高める処理をさらにしてもよい。検出部１０２が、上瞼候補、及び下瞼候補を検出するときの検出精度を高める処理の一例としては、輪郭強調画像においてパターンマッチングなどの手法を用いた処理で上瞼、或いは下瞼を示す候補であると判断された画素の中から、予め定められた距離よりも近い画素同士を同一の上瞼、或いは同一の下瞼を示す画素の候補として纏めて１つの上瞼候補、或いは１つの下瞼候補としてグループ化する処理が挙げられる。また、検出部１０２が、上瞼候補、及び下瞼候補を検出するときの検出精度を高める処理の他の一例としては、輪郭強調画像における全ての上瞼候補、及び下瞼候補を検出した後、検出した上瞼候補、及び下瞼候補の中でそれぞれ互いに重複した画素を含む上瞼候補同士、或いは下瞼候補同士をそれぞれ１つの上瞼候補、或いは下瞼候補として纏めてグループ化する処理が挙げられる。
【００３８】
図４は、検出部１０２によって検出された上瞼候補、及び下瞼候補の一例を示す図である。図４に示す例では、上瞼候補ｕｍ１乃至ｕｍ５の５つの上瞼候補と、下瞼候補ｓｍ１乃至ｓｍ３の３つの下瞼候補とが検出部１０２によって検出された場合を示している。図４に示す上瞼候補ｕｍ１、ｕｍ３、及びｕｍ５は、それぞれ実際には眉、及び口の輪郭を強調した画素であるが、上述した上瞼候補、及び下瞼候補をそれぞれ検出する手法では、眉の輪郭を示す画素など、上瞼、或いは下瞼に形状の似ている画素が、上瞼候補、及び下瞼候補としてそれぞれ１以上だけ検出される場合もある。
【００３９】
尚、図４には説明の便宜のため、上瞼候補、及び下瞼候補をそれぞれ破線で示しているが、輪郭強調画像において上瞼候補、及び下瞼候補を示す画素は破線で示されなくてもよい。また、検出部１０２によって検出される上瞼候補、及び下瞼候補は、それぞれ図４に示すように線形状として検出されてもよいし、上瞼、或いは下瞼の形状に似た形状の画素の集まりとして検出されてもよい。また、検出部１０２が、上瞼候補、及び下瞼候補をそれぞれ検出するときには、撮像部１０１から取得した顔画像データによって示される顔画像に対して水平方向のソーベルフィルタ処理をすることによって生成した輪郭強調画像を用いてもよい。
【００４０】
検出部１０２は、上瞼候補と下瞼候補とをそれぞれ検出すると、検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれの候補であるかを、検出した上瞼候補毎、及び下瞼候補毎にそれぞれ判断する。検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれの候補であるかを判断するとき、検出部１０２は、撮像部１０１から取得した顔画像データによって示される顔画像に対して、顔画像の垂直方向の輪郭を強調するフィルタ処理をして生成した垂直輪郭強調画像に基づいて判断してもよい。
【００４１】
より詳細には、検出部１０２は、検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれの候補であるかを判断するとき、まず、記憶部１０７に記憶されている顔画像データによって示される顔画像に対して、顔画像の垂直方向の輪郭を強調するフィルタ処理（例えば、垂直方向のソーベルフィルタ処理など）をすることによって垂直輪郭強調画像を生成し、記憶部１０７にさらに記憶させる。垂直輪郭強調画像を記憶部１０７に記憶させると、検出部１０２は、垂直輪郭強調画像の画素の輝度値を垂直方向の画素列毎に積算して、積算した画素の輝度値を水平方向に沿って並べた垂直輪郭強調画像のヒストグラムを作成する。この垂直輪郭強調画像のヒストグラムの横軸は、垂直輪郭強調画像の水平方向の画素の位置を示し、縦軸が積算した輝度値を示すことになる。そして、垂直輪郭強調画像のヒストグラムには、顔の両端に相当する水平方向の位置にそれぞれピーク値が生じる。検出部１０２は、垂直輪郭強調画像のヒストグラムに生じるピーク値の水平方向の位置に基づいて、顔の左端の水平方向の位置、及び顔の右端の水平方向の位置を検出し、さらに、検出したそれぞれの水平方向の位置の中心を顔の中心の水平方向の位置として検出する。
【００４２】
顔の中心の水平方向の位置を検出すると、検出部１０２は、検出した顔の中心の水平方向の位置と、既に検出した上瞼候補、及び下瞼候補のそれぞれを示す画素の位置とを比較する。本実施形態では、顔画像、輪郭強調画像、及び垂直輪郭強調画像などの画像における画素の位置は、図３、及び図４などに一例として示すように、画像の原点を基準とするＸ−Ｙ座標系で示されるものとする。そして、検出部１０２は、輪郭強調画像において顔の中心の水平方向の位置よりも左に位置する上瞼候補、及び下瞼候補、すなわち、顔の中心のＸ座標よりも小さいＸ座標に位置する画素の上瞼候補、及び下瞼候補をそれぞれ顔の右側の上瞼候補、及び下瞼候補と判断する。一方、検出部１０２は、輪郭強調画像において顔の中心の水平方向の位置よりも右に位置する上瞼候補、及び下瞼候補、すなわち、顔の中心のＸ座標よりも大きいＸ座標に位置する画素の上瞼候補、及び下瞼候補をそれぞれ顔の左側の上瞼候補、及び下瞼候補と判断する。これにより、検出部１０２は、検出した上瞼候補、及び下瞼候補が顔画像における顔の左右のいずれに存在するかを判断することができる。
【００４３】
尚、検出部１０２によって検出される上瞼候補、及び下瞼候補は、それぞれ上述したように線形状、又は、瞼（上瞼、又は下瞼）の形状に似た形状の画素の集まり、すなわち、複数の画素の集まりとして検出される。そして、検出部１０２が、検出した顔の中心の水平方向の位置と、既に検出した上瞼候補、及び下瞼候補のそれそれを示す画素の位置とを比較するときには、上瞼候補、又は下瞼候補をそれぞれ示す画素のいずれの位置と、顔の中心の水平方向の位置とを比較してもよいが、一例としては、上瞼候補、又は下瞼候補をそれぞれ示す画素の水平方向の位置の平均値と、顔の中心の水平方向の位置とを比較する手法が挙げられる。
【００４４】
検出部１０２は、上瞼候補と下瞼候補とをそれぞれ検出し、検出した上瞼候補、及び下瞼候補がそれぞれ左右のいずれに存在するかを判断すると、検出した上瞼候補と下瞼候補とをそれぞれ示す上下瞼候補データを生成する。より具体的には、検出部１０２は、検出した上瞼候補毎に、１つの上瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、上瞼候補が顔の左右のいずれに存在するかを示す情報と、上瞼候補をそれぞれ識別するための識別子とを対応付けて示す上瞼候補データを生成する。さらに、検出部１０２は、検出した下瞼候補毎に、１つの下瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、下瞼候補が顔の左右のいずれに存在するかを示す情報と、下瞼候補をそれぞれ識別するための識別子とを対応付けて示す下瞼候補データを生成する。そして、検出部１０２は、上瞼候補データと下瞼候補データとをそれぞれ生成すると、生成した上瞼候補データと下瞼候補データとを纏めて示すデータを上下瞼候補データとして生成し、記憶部１０７に記憶させる。
【００４５】
組み合わせ部１０３は、記憶部１０７に記憶されている上下瞼候補データによって示される上瞼候補と、下瞼候補とをそれぞれ瞼候補として組み合わせる。より詳細には、記憶部１０７に上下瞼候補データが記憶されると、組み合わせ部１０３は、記憶部１０７に記憶されている上下瞼候補データとして纏められている上瞼候補データと、下瞼候補データとによってそれぞれ示される上瞼候補と、下瞼候補とを組み合わせて瞼候補とする。
【００４６】
組み合わせ部１０３は、上瞼候補と下瞼候補とを組み合わせるとき、左右に存在する上瞼候補、及び下瞼候補を分けてそれぞれ組み合わせる。より具体的には、組み合わせ部１０３は、上瞼候補と下瞼候補とを組み合わせるとき、左の上瞼候補と下瞼候補とをそれぞれ組み合わせ、右の上瞼候補と下瞼候補とをそれぞれ組み合わせる。また、組み合わせ部１０３は、上瞼候補と下瞼候補とを組み合わせるとき、図５に示すように、輪郭強調画像上の上瞼候補の垂直方向の位置から予め定められた画素数ｓｔだけ下方向の領域に存在する下瞼候補と当該上瞼候補とをそれぞれ組み合わせるようにしてもよい。このときの上瞼候補の垂直方向の輪郭強調画像上の位置とは、１つの上瞼候補を示す画素の中で最も高い垂直方向の位置に存在する画素の位置であってもよい。
【００４７】
組み合わせ部１０３は、上瞼候補と下瞼候補とを瞼候補として組み合わせると、上瞼候補と下瞼候補とを組み合わせた瞼候補を示す瞼候補データを生成する。より詳細には、組み合わせ部１０３は、瞼候補毎に、組み合わせた上瞼候補の識別子と、組み合わせた下瞼候補の識別子と、瞼候補を識別するための識別子とを対応付けて示す瞼候補データを生成する。瞼候補データを生成すると、組み合わせ部１０３は、生成した瞼候補データを記憶部１０７に記憶させる。尚、図５に示す例では、上瞼候補ｕｍ１と下瞼候補ｓｍ１との組、上瞼候補ｕｍ２と下瞼候補ｓｍ１との組、上瞼候補ｕｍ３と下瞼候補ｓｍ２との組、上瞼候補ｕｍ４と下瞼候補ｓｍ２との組がそれぞれ組み合わせ部１０３によって瞼候補として組み合わせられ、組み合わせられた瞼候補を示す瞼候補データが生成される。これに対して、上瞼候補ｕｍ５と下瞼候補ｓｍ３とは、それぞれ組み合わせられる上瞼候補、又は下瞼候補が存在しないため、上瞼候補ｕｍ５と下瞼候補ｓｍ３とをそれぞれ組み合わせに含む瞼候補は、瞼候補データによって示される瞼候補とならない。
【００４８】
尚、検出部１０２が上瞼候補、及び下瞼候補を検出するときから、組み合わせ部１０３で瞼候補データを生成するまでの処理は、上述で説明したように上瞼候補、及び下瞼候補を検出でき、形状値算出部１０４、選択部１０５、及び特定部１０６が後述するように処理できるデータを生成できるのであれば、上述した処理の代わりに、任意の公知の手法を用いて構わない。
【００４９】
形状値算出部１０４は、記憶部１０７に瞼候補データが記憶されたとき、記憶されている瞼候補データによって示される瞼候補毎に、瞼候補の形状を示す値を形状値として算出する。
【００５０】
図６は、形状値算出部１０４が算出する形状値の一例を示す図である。図６には、説明の便宜のため、図５に示す上瞼候補、及び下瞼候補の内、上瞼候補ｕｍ２と下瞼候補ｓｍ１とを拡大して示している。形状値算出部１０４は、１つの瞼候補の形状値を算出するとき、図６に示すように、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として対応付けられている識別子の下瞼候補を示す画素の目尻側の端点ｍｊ、及び目頭側の端点ｍｇの少なくともいずれか一方の端点とを結ぶ直線の傾きを形状値として算出する。尚、１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、顔画像における当該位置とは同じ位置である。
【００５１】
形状値算出部１０４が算出する傾きは、１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として瞼候補データによって対応付けられている識別子の下瞼候補を示す目尻側の端点ｍｊとを結ぶ直線ｍｊｌの傾き（以下、目尻傾きと称する）であってもよい。また、形状値算出部１０４が算出する傾きは、１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として瞼候補データによって対応付けられている識別子の下瞼候補を示す目頭側の端点ｍｇとを結ぶ直線ｍｇｌの傾き（以下、目頭傾きと称する）であってもよい。また、形状値算出部１０４が算出する傾きは、前述の目尻傾きと、前述の目頭傾きとの両方の傾きであってもよい。
【００５２】
図７Ａ乃至図７Ｃは、それぞれ検出部１０２によって検出された上瞼候補ｕｍ２、及び下瞼候補ｓｍ１とを組み合わせた瞼候補の形状がそれぞれ細目に近い形状、標準の形状に近い形状、及び丸目に近い形状であった場合の目尻傾きｍｊｋ、及び目頭傾きｍｇｋの一例をそれぞれ示す図である。図７Ａ乃至図７Ｃにそれぞれ示すように、形状値算出部１０４によって形状値として算出される目尻傾きｍｊｋ、及び目頭傾きｍｇｋは、それぞれ細目、標準、及び丸目の順番に大きくなり、上瞼候補、及び下瞼候補を組み合わせた瞼候補の形状の指標となる。尚、形状値算出部１０４によって形状値として算出される目尻傾きｍｊｋ、及び目頭傾きｍｇｋはそれぞれ、図７Ａ乃至図７Ｃにそれぞれ示すように角度で示されてもよいし、それぞれの直線の傾きであってもよい。
【００５３】
形状値算出部１０４は、記憶部１０７に記憶された瞼候補データによって示される瞼候補毎に形状値を算出すると、算出した形状値を、瞼候補データによって示される瞼候補の識別子にそれぞれ対応付けて、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。
【００５４】
選択部１０５は、形状値算出部１０４によって、記憶部１０７に記憶されている瞼候補データに形状値が追加されると、瞼候補データによって示される瞼候補毎に目尻、及び目頭をそれぞれ特定部１０６で特定するための目尻目頭パターンを選択する。
【００５５】
ここで、記憶部１０７に予め記憶されている目尻目頭パターンについて、図８Ａ乃至図８Ｃを参照しながら説明する。図８Ａ乃至図８Ｃは、それぞれ本実施形態に係る記憶部１０７に予め記憶されている目尻目頭パターンをそれぞれ示す図である。図８Ａ乃至図８Ｃには、一例として、右の瞼候補の目尻、及び目頭を特定部１０６で特定するための目尻目頭パターンを示している。
【００５６】
本実施形態における目尻目頭パターンとは、図８Ａ乃至図８Ｃにそれぞれ示す目尻パターンと目頭パターンとを組み合わせたパターンのことである。そして、目尻パターンと目頭パターンとは、それぞれ目尻、及び目頭における肌部分と眼部分とに相当する２つの領域を有する予め定められた広さを有し、実際の人の目尻、及び目頭を模した画像である。また、本実施形態における目尻目頭パターンは、それぞれの画像の画素の輝度値の上限値で肌部分（図８Ａ乃至図８Ｃでは白部分）を示し、それぞれの画像の画素の輝度値の下限値で眼部分（図８Ａ乃至図８Ｃでは黒部分）を示すものとするが、目尻目頭パターンにおける肌部分、及び眼部分の示し方は、これに限られなくてもよい。また、記憶部１０７に記憶されている目尻パターン、及び目頭パターンには、それぞれ特定部１０６が目尻パターン、及び目頭パターンを顔画像上に配置するために、これらのパターンの下瞼候補を示す画素の端点（上瞼候補との接点側の端点）に相当する箇所の画素の位置が基準点として予め定められている。
【００５７】
本実施形態では、一例として、図８Ａ乃至図８Ｃにそれぞれ示す、細目、標準、及び丸目の瞼候補の形状にそれぞれ対応する３つの目尻目頭パターンを予め定めてそれぞれを識別する識別子と共に記憶部１０７に記憶させるものとする。図８Ａ乃至図８Ｃから明らかなように、細目、標準、及び丸目にそれぞれ対応する目尻目頭パターンでは、目尻パターン、及び目頭パターンのそれぞれにおける肌部分と眼部分との領域の割合が互いに異なる。より具体的には、細目に対応する目尻目頭パターンの目尻パターン、及び目頭パターンでは、肌部分の割合が最も大きく、眼部分の割合が最も小さい。これに対して、丸目に対応する目尻目頭パターンの目尻パターン、及び目頭パターンでは、肌部分の割合が最も小さく、眼部分の割合が最も大きい。
【００５８】
このように、本実施形態では、図８Ａ乃至図８Ｃに示すように、前述の予め定められた広さにおいて、細目、標準、及び丸目などの眼の形状によって変化する目尻、及び目頭のそれぞれにおける肌部分と眼部分との領域の割合をそれぞれの形状に応じて近くなるように予め定めた目尻目頭パターンを記憶部１０７に記憶させている。
【００５９】
選択部１０５には、記憶部１０７に記憶されている瞼候補データによって瞼候補と対応付けられている形状値に応じて記憶部１０７に記憶されている目尻目頭パターンを選択するためのしきい値が予め定められている。本実施形態に係る選択部１０５には、一例として、記憶部１０７に記憶されている３つの目尻目頭パターンを選択するために、大きさが順番に大きくなるしきい値ａ、及びしきい値ｂの２つのしきい値が予め定められている。ここで、しきい値ａとしきい値ｂとの間には、ａ＜ｂの関係があるものとする。
【００６０】
選択部１０５は、記憶部１０７に記憶されている瞼候補データに形状値が追加されると、記憶されている瞼候補データによって示される瞼候補毎に対応付けられている形状値としきい値とを比較する。形状値としきい値とを比較するとき、選択部１０５は、まず、１つの瞼候補に対応付けられた形状値と、最も小さいしきい値ａとを比較する。そして、選択部１０５は、比較した形状値がしきい値ａよりも小さいと判断したとき、当該形状値に対応付けられた瞼候補の形状は細目であると判断して、細目に対応する目尻目頭パターンの識別子を当該瞼候補の識別子に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。また、選択部１０５は、比較した形状値がしきい値ａ以上であると判断したとき、しきい値ａの次に大きいしきい値ｂと当該形状値とを比較する。選択部１０５は、比較した形状値がしきい値ｂよりも小さいと判断したとき、当該形状値に対応付けられた瞼候補の形状は標準であると判断して、標準に対応する目尻目頭パターンの識別子を当該瞼候補の識別子に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。また、選択部１０５は、比較した形状値がしきい値ｂ以上であると判断したとき、当該形状値に対応付けられた瞼候補の形状は丸目であると判断して、丸目に対応する目尻目頭パターンの識別子を当該瞼候補に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。
【００６１】
このように、選択部１０５が、瞼候補の形状値に応じて記憶部１０７に記憶されている目尻目頭パターンを選択することにより、上述したように瞼候補の形状の指標となる形状値に応じて、瞼候補の形状に応じて上述したように予め定めた目尻目頭パターンの中から、瞼候補データによって示される瞼候補毎に適切な目尻目頭パターンを選択することができる。
【００６２】
特定部１０６は、記憶部１０７に記憶されている瞼候補データに目尻目頭パターンの識別子が追加されると、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に目尻、及び目頭の位置を特定する。
【００６３】
より詳細には、特定部１０６は、瞼候補の目尻、及び目頭の位置を特定するとき、当該瞼候補に対応付けられた目尻目頭パターンの目尻パターン、及び目頭パターンのそれぞれを記憶部１０７に記憶されている顔画像に配置する処理をする。より具体的には、特定部１０６は、記憶部１０７に記憶されている瞼候補データによって瞼候補毎に対応付けられている識別子の下瞼候補の目尻側の端点の画素の位置に、当該瞼候補に対応付けられている識別子の目尻目頭パターンの目尻パターンの基準点を一致させて、当該目尻パターンを顔画像上に重畳させて配置する処理をする。また、特定部１０６は、記憶部１０７に記憶されている瞼候補データによって瞼候補毎に対応付けられている下瞼候補の目頭側の端点の画素の位置に、当該瞼候補に対応付けられている識別子の目尻目頭パターンの目頭パターンの基準点を一致させて、当該目頭パターンを顔画像上に重畳させて配置する処理をする。尚、特定部１０６によって、目尻パターン、及び目頭パターンとがそれぞれ重畳させられている顔画像の中の画像は、瞼候補データによって示される瞼候補毎の目尻、及び目頭を示すと考えられる画像となる。
【００６４】
尚、記憶部１０７に記憶されている下瞼候補の画素の位置は、輪郭強調画像上における位置であるが、本実施形態では、輪郭強調画像と顔画像との画素数は、輪郭を強調する処理をしたとしても変わらないため、輪郭強調画像上における下瞼候補の画素の位置は、そのまま顔画像上の位置と対応している。
【００６５】
より詳細には、本実施形態では、輪郭強調画像を生成するときに、顔画像データによって示される顔画像に対してそのままフィルタ処理をし、互いの画像の間で画素数が変化することがないため、輪郭強調画像における画素の位置と、顔画像における画素の位置とはそのまま対応している。しかしながら、輪郭強調画像を生成するときの処理の負担を低減するために、顔画像データによって示される顔画像の画素を間引いてから輪郭強調画像を生成する処理をする場合には、輪郭強調画像における画素の位置と、顔画像における画素の位置とがそのまま対応しない。したがって、特定部１０６が、顔画像の画素を間引いてから生成された輪郭強調画像において検出された下瞼候補の目尻側の端点の位置、及び目頭側の端点の位置に基づいて、顔画像上に目尻パターン、及び目頭パターンを重畳させる場合には、これらの目尻側の端点の画素の位置、及び目頭側の端点の画素の位置をそれぞれ顔画像上の画素の位置に変換して対応させる処理もしなければならない。
【００６６】
特定部１０６は、目尻パターン、及び目頭パターンを顔画像上に重畳させる処理をするとき、右側の下瞼候補の目頭側、及び目尻側のそれぞれの端点の画素の位置に対応する顔画像上の位置には、図８Ａ乃至図８Ｃを参照しながら説明した右用の目尻パターン、及び目頭パターンをそれぞれそのまま重畳させ、左側の下瞼候補の目頭側、及び目尻側のそれぞれの端点の画素の位置に対応する顔画像上の位置には、図８Ａ乃至図８Ｃを参照しながら説明した右用の目尻パターン、及び目頭パターンの左右をそれぞれ反転させたパターンをそれぞれ重畳させる。尚、他の一実施形態では、記憶部１０７に左右のそれぞれの目尻目頭パターンを予め定めて記憶させ、左右の下瞼候補の目頭側、及び目尻側のそれぞれの端点の画素の位置に対応する顔画像上の位置に左右の目尻目頭パターンをそれぞれ重畳させてもよい。
【００６７】
特定部１０６は、目尻パターン、及び目頭パターンを顔画像上に重畳させると、顔画像上において目尻パターン、及び目頭パターンがそれぞれ重畳している領域の画像と、重畳させた目尻パターン、及び目頭パターンとして定められている画像との類似度を算出するパターンマッチング処理をする。特定部１０６は、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に全てパターンマッチング処理をした後、顔画像における左右のそれぞれにおいて、目尻、及び目頭の類似度の和が最も大きい瞼候補をそれぞれ左右の瞼として特定する。尚、特定部１０６によって為されるパターンマッチング処理は、任意の公知の手法を用いて構わない。
【００６８】
以上が、本実施形態に係る眼検出装置１の概略構成の説明である。次に、図９に示すフローチャートを参照しながら、本実施形態に係る眼検出装置１の処理を説明する。尚、図９のフローチャートに示す処理は、上述したように、予め定められたプログラムを記憶部１０７から読み込んだ制御部が、それぞれ検出部１０２、組み合わせ部１０３、形状値算出部１０４、選択部１０５、及び特定部１０６の機能構成として適宜処理をして機能することによって、当該制御部によって実行される。
【００６９】
ステップＳ１０１において、制御部は、検出部１０２として、撮像部１０１によって顔画像データが生成されたか否かを判断する。制御部は、ステップＳ１０１において、顔画像データが生成されたと判断したとき、ステップＳ１０２へ処理を進める。一方、制御部は、ステップＳ１０１において、顔画像データが生成されていないと判断したとき、ステップＳ１０１の処理を繰り返す。
【００７０】
ステップＳ１０２において、制御部は、検出部１０２として、撮像部１０１によって生成された顔画像データを取得して記憶部１０７に記憶させ、記憶部１０７に記憶させた顔画像データによって示される顔画像に対して、上述した輪郭を強調するフィルタ処理をして、輪郭強調画像を生成し、生成した輪郭強調画像を記憶部１０７に記憶させる。制御部は、ステップＳ１０２の処理を完了すると、ステップＳ１０３へ処理を進める。
【００７１】
ステップＳ１０３において、制御部は、検出部１０２として、記憶部１０７に記憶させた輪郭強調画像に基づいて、パターンマッチング処理などをすることによって、上述した上瞼候補を検出する。制御部は、ステップＳ１０３の処理を完了すると、ステップＳ１０４へ処理を進める。
【００７２】
ステップＳ１０４において、制御部は、検出部１０２として、記憶部１０７に記憶させた輪郭強調画像に基づいて、パターンマッチングなどの手法を用いて、上述した下瞼候補を検出する。制御部は、ステップＳ１０４の処理を完了すると、ステップＳ１０５へ処理を進める。
【００７３】
ステップＳ１０５において、制御部は、検出部１０２として、上述した上下瞼候補データを生成する。より詳細には、ステップＳ１０５において、制御部は、ステップＳ１０３で検出した上瞼候補毎に、１つの上瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、上瞼候補が顔の左右のいずれに存在するかを示す情報と、上瞼候補をそれぞれ識別するための識別子とを対応付けて示す上瞼候補データを生成する。さらに、ステップＳ１０５において、制御部は、ステップＳ１０４で検出した下瞼候補毎に、１つの下瞼候補を示す全ての画素の輪郭強調画像におけるそれぞれの位置と、下瞼候補が顔の左右のいずれに存在するかを示す情報と、下瞼候補をそれぞれ識別するための識別子とを対応付けて示す下瞼候補データを生成する。さらに、制御部は、ステップＳ１０５において、上瞼候補データと、下瞼候補データとをそれぞれ生成すると、生成した上瞼候補データと下瞼候補データとを纏めて示すデータを上下瞼候補データとして生成し、記憶部１０７に記憶させる。制御部は、ステップＳ１０５の処理を完了すると、ステップＳ１０６へ処理を進める。
【００７４】
ステップＳ１０６において、制御部は、組み合わせ部１０３として、記憶部１０７に記憶されている上下瞼候補データによって示される上瞼候補と、下瞼候補とを、上述したようにそれぞれ瞼候補として組み合わせて、組み合わせた瞼候補を示す瞼候補データを生成し、生成した瞼候補データを記憶部１０７に記憶させる。制御部は、ステップＳ１０６の処理を完了すると、ステップＳ１０７へ処理を進める。
【００７５】
ステップＳ１０７において、制御部は、形状値算出部１０４として、記憶部１０７に記憶された瞼候補データによって示される瞼候補毎に形状値を算出し、算出した形状値を、瞼候補データによって示される瞼候補の識別子にそれぞれ対応付けて、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。制御部は、ステップＳ１０７の処理を完了すると、ステップＳ１０８へ処理を進める。
【００７６】
ステップＳ１０８において、制御部は、選択部１０５として、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に、上述したように瞼候補の形状値に応じて記憶部１０７に記憶されている目尻目頭パターンを選択し、選択した目尻目頭パターンの識別子を当該瞼候補に対応付け、記憶部１０７に記憶されている瞼候補データに追加して記憶させる。制御部は、ステップＳ１０８の処理を完了すると、ステップＳ１０９へ処理を進める。
【００７７】
ステップＳ１０９において、制御部は、特定部１０６として、記憶部１０７に記憶されている瞼候補データによって示される瞼候補毎に、瞼候補として組み合わされている下瞼候補の画素の目尻側の端点の画素の位置、及び目頭側の端点の画素の位置にそれぞれ対応する顔画像上の位置に、それぞれ当該瞼候補に対応付けられた識別子の目尻目頭パターンの目尻パターン、及び目頭パターンを上述したように重畳させてパターンマッチング処理をし、顔画像における左右の瞼をそれぞれ特定する。制御部は、ステップＳ１０９の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００７８】
以上が、本実施形態に係る眼検出装置１の説明である。本実施形態に係る眼検出装置１によれば、輪郭強調画像に基づいて検出した瞼候補の形状に応じて、パターンマッチング処理に用いる適切な目尻目頭パターンを選択でき、人の眼の形状に個人差があったとしても、正確に瞼を特定できる。
【００７９】
また、本実施形態に係る眼検出装置１によれば、有限の数の目尻目頭パターンを記憶部１０７に記憶させておくだけで、人の眼の形状に個人差があったとしても、正確に瞼を特定することができ、記憶部１０７に記憶させる情報量を削減することができる。
【００８０】
尚、第１の実施形態の説明では、形状値算出部１０４は、形状値として、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔの位置と、当該上瞼候補の識別子に瞼候補として対応付けられている識別子の下瞼候補を示す画素の目尻側の端点ｍｊ、及び目頭側の端点ｍｇの少なくともいずれか一方の端点とを結ぶ直線の傾きを形状値として算出するものとした。しかしながら、他の一実施形態に係る形状値算出部１０４は、瞼候補データによって示される瞼候補毎に瞼候補の開度を形状値として算出してもよい。
【００８１】
図１０は、他の一実施形態に係る形状値算出部１０４によって算出される瞼候補の開度を説明する図である。図１０には、説明の便宜のため、図５に示す上瞼候補、及び下瞼候補の内、上瞼候補ｕｍ２と下瞼候補ｓｍ１とを拡大して示している。形状値算出部１０４は、１つの瞼候補の形状値として瞼候補の開度を算出するとき、図１０に示すように、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の中で垂直方向の最も高い位置に存在する頂点の画素ｕｔと、当該上瞼候補の識別子に瞼候補として対応付けられている識別子の下瞼候補を示す画素の中で垂直方向の最も低い位置に存在する頂点の画素ｄｔとを結ぶ直線の長さを開度として算出してもよい。
【００８２】
図１１Ａ乃至図１１Ｃは、それぞれ検出部１０２によって検出された上瞼候補ｕｍ２、及び下瞼候補ｓｍ１とを組み合わせた瞼候補の形状がそれぞれ細目に近い形状、標準の形状に近い形状、及び丸目に近い形状であった場合の開度ｋｄの一例をそれぞれ示す図である。図１１Ａ乃至図１１Ｃにそれぞれ示すように、形状値算出部１０４によって形状値として算出される開度ｋｄは、それぞれ細目、標準、及び丸目の順番に大きくなり、上述で説明した傾きと同様に、上瞼候補、及び下瞼候補を組み合わせた瞼候補の眼の形状の指標となる。
【００８３】
形状値算出部１０４が形状値として開度を算出する場合でも、選択部１０５は、上述したように形状値としきい値とを比較することにより、形状値として傾きを算出する場合と同様に、瞼候補の形状の指標となる形状値に応じて、瞼候補の形状に応じて上述したように予め定めた目尻目頭パターンの中から、瞼候補データによって示される瞼候補毎に適切な目尻目頭パターンを選択することができる。
【００８４】
また、他の一実施形態に係る形状値算出部１０４は、形状値として、瞼候補として組み合わされている上瞼候補の形状に最も近い円の曲率を瞼候補毎に算出してもよい。
【００８５】
図１２は、他の一実施形態に係る形状値算出部１０４によって算出される瞼候補の曲率を説明する図である。図１２には、説明の便宜のため、図５に示す上瞼候補、及び下瞼候補の内、上瞼候補ｕｍ２と下瞼候補ｓｍ１とを拡大して示している。形状値算出部１０４は、１つの瞼候補の形状値として瞼候補の曲率を算出するとき、図１２に示すように、瞼候補データによって対応付けられている１つの上瞼候補を示す画素の形状に最も近い半径Ｒの円を求める演算をし、演算した円の曲率を形状値として算出してもよい。
【００８６】
図１３Ａ乃至図１３Ｃは、それぞれ検出部１０２によって検出された上瞼候補ｕｍ２、及び下瞼候補ｓｍ１とを組み合わせた瞼候補の形状がそれぞれ細目に近い形状、標準の形状に近い形状、及び丸目に近い形状であった場合に曲率を算出する半径Ｒの円の一例をそれぞれ示す図である。図１３Ａ乃至図１３Ｃにそれぞれ示すように、形状値算出部１０４によって形状値として算出される曲率は、前述の円の半径Ｒがそれぞれ細目、標準、及び丸目の順番に小さくなるため、それぞれ細目、標準、及び丸目の順番に大きくなり、上述で説明した傾きと同様に、上瞼候補、及び下瞼候補を組み合わせた瞼候補の眼の形状の指標となる。
【００８７】
形状値算出部１０４が形状値として曲率を算出する場合でも、上述したようにしきい値を定めた選択部１０５で上述したように形状値としきい値とを比較することにより、形状値として傾きを算出する場合と同様に、瞼候補の形状の指標となる形状値に応じて、瞼候補の形状に応じて上述したように予め定めた目尻目頭パターンの中から、瞼候補データによって示される瞼候補毎に適切な目尻目頭パターンを選択することができる。
【００８８】
また、他の一実施形態に係る眼検出装置１では、図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理を、例えば、車両に取り付けられた照度センサ（コンライトセンサ）によって検出される環境光の照度が予め定められたしきい値未満であるときのみに行うようにしてもよい。そして、一度目尻目頭パターンを選択した後は、運転者が変わらない限り、選択部１０５の処理を省略したステップＳ１０１乃至ステップＳ１０９までの処理をして、瞼の特定をしてよい。車両に取り付けられた照度センサとは、例えば、図３に示すように車両の速度などを示す計器盤の背面方向のインストルメントパネル上に設置され、車両の周囲の環境光の照度を検出する照度センサであってもよい。照度センサによって検出される環境光の照度が予め定められたしきい値未満であるときのみに目尻目頭パターンの選択をすることにより、太陽光などを含む環境光の影響を受けない顔画像に基づいて、より正確に目尻目頭パターンを選択した後に、より正確な目尻目頭パターンで瞼の特定をすることができる。
【００８９】
また、他の一実施形態に係る眼検出装置１では、現在の時刻を検出する時計、或いはタイマーなどの計時装置を用いて、例えば、計時装置によって示される時刻が夜間を示すときにのみ、図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理をするようにしてもよい。そして、一度目尻目頭パターンを選択した後は、運転者が変わらない限り、選択部１０５の処理を省略したステップＳ１０１乃至ステップＳ１０９までの処理をして、瞼の特定をしてよい。夜間であるときのみに目尻目頭パターンの選択をすることにより、太陽光などを含む環境光の影響を受けない顔画像に基づいて、より正確に目尻目頭パターンを選択した後に、より正確な目尻目頭パターンで瞼の特定をすることができる。
【００９０】
また、他の一実施形態に係る眼検出装置１では、車両に搭載されたワイパーが作動しているときにのみ、図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理をするようにしてもよい。そして、一度目尻目頭パターンを選択した後は、運転者が変わらない限り、選択部１０５の処理を省略したステップＳ１０１乃至ステップＳ１０９までの処理をして、瞼の特定をしてよい。ワイパーが作動しているときのみに目尻目頭パターンの選択をすることにより、雨天であって太陽光の影響を受けない顔画像に基づいて、より正確に目尻目頭パターンを選択した後に、より正確な目尻目頭パターンで瞼の特定をすることができる。
【００９１】
また、本発明に係る眼検出装置１は、例えば、近年、車両などの移動体に搭載されている運転者の状態を監視する、一般的には、ドライバーモニタシステムと呼ばれるシステムに適用することができる。より詳細には、近年、車両などの移動体には、運転者の顔画像に基づいて瞼の開度、及び顔向きの角度などを検出し、居眠り運転、及び脇見運転などをしていると判断したときに運転者に警告を発するシステムが搭載されている。このようなシステムでは、運転者の瞼の開度、及び顔向きの角度などを検出するときに、本発明で類似度を算出した瞼候補の開度のみを算出し、さらに、このようにして算出した瞼候補の開度に基づき瞬きをしたと判断した瞼候補の位置を運転者の眼の顔画像における位置として確定する手法が採用されている場合がある。そして、このように確定した顔画像における運転者の眼の位置に基づき、前述のシステムでは顔向きの角度を検出している場合もある。本発明によれば、このようなシステムにおいて類似度を算出するときの精度を向上させることもできる。
【００９２】
また、上述したように環境光の照度がしきい値未満であるときのみ、夜間であるときのみ、及びワイパーが作動しているときのみに図９のフローチャートに示す処理の内、ステップＳ１０１乃至ステップＳ１０８までの処理、すなわち、目尻目頭パターンの選択までの処理をする他の一実施形態で、本発明を上述したシステムに適用する場合には、当該システムが瞼を特定しようとするタイミングで、一度も目尻目頭パターンが選択されていない場合が生じる可能性がある。このようなときは、予めデフォルトとして定めた目尻目頭パターンを用いて瞼を特定するようにしてもよい。
【００９３】
以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の一例にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
【産業上の利用可能性】
【００９４】
本発明によれば、人の顔の中でも特に目尻、及び目頭を正確に検出できる眼検出装置を提供することができ、例えば、自動車などの移動体に搭載される眼検出装置などに利用できる。
【符号の説明】
【００９５】
１ 眼検出装置
１０１ 撮像部
１０２ 検出部
１０３ 組み合わせ部
１０４ 形状値算出部
１０５ 選択部
１０６ 特定部
１０７ 記憶部
【特許請求の範囲】
【請求項１】
対象者の顔を含む画像を顔画像として撮像する撮像手段と、
前記撮像手段によって撮像された前記顔画像に基づき、前記対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出手段と、
前記顔画像の中で前記検出手段によって検出された前記瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の目尻目頭パターンを２以上だけ記憶する記憶手段と、
前記検出手段によって検出された前記瞼候補毎の形状を示す形状値に基づき、前記記憶手段に記憶された前記目尻目頭パターンの中から１つの前記目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択手段と、
前記顔画像の中で前記検出手段によって検出された前記瞼候補毎の目尻、及び目頭を示す画像と、前記選択手段によって当該瞼候補毎に選択された前記目尻目頭パターンの画像との前記類似度をそれぞれ算出する特定手段とを備える、眼検出装置。
【請求項２】
前記検出手段によって検出された前記瞼候補として組み合わされた前記下瞼の候補を示す画素の目尻側、及び目頭側の少なくともいずれか一方の端点と、前記上瞼の候補を示す画素の中で前記顔画像における垂直方向の最も高い頂点の画素とを結ぶ線の傾きを前記形状値として検出する傾き検出手段をさらに備え、
前記選択手段は、前記傾き検出手段によって検出された前記傾きに基づき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項３】
前記傾き検出手段は、前記検出手段によって検出された前記瞼候補としてそれぞれ組み合わされる前記下瞼の候補を示す画素の目尻側の端点と、前記頂点の画素とを結ぶ線の傾きを前記形状値として検出する、請求項２に記載の眼検出装置。
【請求項４】
前記傾き検出手段は、前記検出手段によって検出された前記瞼候補としてそれぞれ組み合わされる前記下瞼の候補を示す画素の目頭側の端点と、前記頂点の画素とを結ぶ線の傾きを前記形状値として検出する、請求項２に記載の眼検出装置。
【請求項５】
前記傾き検出手段は、前記検出手段によって検出された前記瞼候補としてそれぞれ組み合わされる前記下瞼の候補の目尻側の端点の画素と目頭側の端点の画素とのそれぞれと前記頂点の画素とを結ぶ線の傾きを前記形状値として検出する、請求項２に記載の眼検出装置。
【請求項６】
前記検出手段によって検出された前記瞼候補毎に瞼の開度を前記形状値として検出する開度検出手段をさらに備え、
前記選択手段は、前記開度検出手段によって検出された前記開度に基づき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項７】
前記検出手段によって検出された前記瞼候補毎に、当該瞼候補として組み合わされた前記上瞼の候補の画素の曲率を前記形状値として検出する曲率検出手段をさらに備え、
前記選択手段は、前記曲率検出手段によって検出された前記曲率に基づき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項８】
前記対象者に照射される環境光の照度を検出する照度検出手段をさらに備え、
前記選択手段は、前記照度検出手段によって検出される環境光の照度が予め定められたしきい値未満であるとき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項９】
現在の時刻を検知する時刻検知手段をさらに備え、
前記選択手段は、前記時刻検知手段によって検出される時刻が夜間を示すとき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項１０】
車両に搭載され、
前記車両のワイパーが作動しているか否かを判断する作動検出手段をさらに備え、
前記選択手段は、前記作動検出手段によってワイパーが作動していると判断されたとき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項１１】
対象者の顔を含む画像を顔画像として撮像する撮像ステップと、
前記撮像ステップで撮像された前記顔画像に基づき、前記対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出ステップと、
前記顔画像の中で前記検出ステップにおいて検出された前記瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の２以上の目尻目頭パターンの中から、当該瞼候補毎の形状を示す形状値に基づき、１つの前記目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択ステップと、
前記顔画像の中で前記検出ステップにおいて検出された前記瞼候補毎の目尻、及び目頭を示す画像と、前記選択ステップにおいて当該瞼候補毎に選択された前記目尻目頭パターンの画像との前記類似度をそれぞれ算出する特定ステップとを備える、眼検出方法。
【請求項１】
対象者の顔を含む画像を顔画像として撮像する撮像手段と、
前記撮像手段によって撮像された前記顔画像に基づき、前記対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出手段と、
前記顔画像の中で前記検出手段によって検出された前記瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の目尻目頭パターンを２以上だけ記憶する記憶手段と、
前記検出手段によって検出された前記瞼候補毎の形状を示す形状値に基づき、前記記憶手段に記憶された前記目尻目頭パターンの中から１つの前記目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択手段と、
前記顔画像の中で前記検出手段によって検出された前記瞼候補毎の目尻、及び目頭を示す画像と、前記選択手段によって当該瞼候補毎に選択された前記目尻目頭パターンの画像との前記類似度をそれぞれ算出する特定手段とを備える、眼検出装置。
【請求項２】
前記検出手段によって検出された前記瞼候補として組み合わされた前記下瞼の候補を示す画素の目尻側、及び目頭側の少なくともいずれか一方の端点と、前記上瞼の候補を示す画素の中で前記顔画像における垂直方向の最も高い頂点の画素とを結ぶ線の傾きを前記形状値として検出する傾き検出手段をさらに備え、
前記選択手段は、前記傾き検出手段によって検出された前記傾きに基づき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項３】
前記傾き検出手段は、前記検出手段によって検出された前記瞼候補としてそれぞれ組み合わされる前記下瞼の候補を示す画素の目尻側の端点と、前記頂点の画素とを結ぶ線の傾きを前記形状値として検出する、請求項２に記載の眼検出装置。
【請求項４】
前記傾き検出手段は、前記検出手段によって検出された前記瞼候補としてそれぞれ組み合わされる前記下瞼の候補を示す画素の目頭側の端点と、前記頂点の画素とを結ぶ線の傾きを前記形状値として検出する、請求項２に記載の眼検出装置。
【請求項５】
前記傾き検出手段は、前記検出手段によって検出された前記瞼候補としてそれぞれ組み合わされる前記下瞼の候補の目尻側の端点の画素と目頭側の端点の画素とのそれぞれと前記頂点の画素とを結ぶ線の傾きを前記形状値として検出する、請求項２に記載の眼検出装置。
【請求項６】
前記検出手段によって検出された前記瞼候補毎に瞼の開度を前記形状値として検出する開度検出手段をさらに備え、
前記選択手段は、前記開度検出手段によって検出された前記開度に基づき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項７】
前記検出手段によって検出された前記瞼候補毎に、当該瞼候補として組み合わされた前記上瞼の候補の画素の曲率を前記形状値として検出する曲率検出手段をさらに備え、
前記選択手段は、前記曲率検出手段によって検出された前記曲率に基づき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項８】
前記対象者に照射される環境光の照度を検出する照度検出手段をさらに備え、
前記選択手段は、前記照度検出手段によって検出される環境光の照度が予め定められたしきい値未満であるとき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項９】
現在の時刻を検知する時刻検知手段をさらに備え、
前記選択手段は、前記時刻検知手段によって検出される時刻が夜間を示すとき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項１０】
車両に搭載され、
前記車両のワイパーが作動しているか否かを判断する作動検出手段をさらに備え、
前記選択手段は、前記作動検出手段によってワイパーが作動していると判断されたとき、前記目尻目頭パターンを選択する、請求項１に記載の眼検出装置。
【請求項１１】
対象者の顔を含む画像を顔画像として撮像する撮像ステップと、
前記撮像ステップで撮像された前記顔画像に基づき、前記対象者の上瞼と下瞼とをそれぞれ示す画素の候補の組み合わせをそれぞれ瞼候補として検出する検出ステップと、
前記顔画像の中で前記検出ステップにおいて検出された前記瞼候補毎の目尻、及び目頭を示す画像との類似度を算出するために予め定められた画像の２以上の目尻目頭パターンの中から、当該瞼候補毎の形状を示す形状値に基づき、１つの前記目尻目頭パターンを当該瞼候補毎に選択して対応付ける選択ステップと、
前記顔画像の中で前記検出ステップにおいて検出された前記瞼候補毎の目尻、及び目頭を示す画像と、前記選択ステップにおいて当該瞼候補毎に選択された前記目尻目頭パターンの画像との前記類似度をそれぞれ算出する特定ステップとを備える、眼検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【公開番号】特開２０１０−２０５０７６（Ｐ２０１０−２０５０７６Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−５１２２２（Ｐ２００９−５１２２２）
【出願日】平成２１年３月４日（２００９．３．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月４日（２００９．３．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]