顔向き検知装置
【課題】サングラスを着用したひとの顔の中心位置の検出精度を向上させる。
【解決手段】顔向き検知装置１０は、ひとの顔を撮像する乗員カメラ１２から出力された顔画像から、撮像用光源１４から照射された光の反射点を抽出する反射点抽出部２１と、反射点の面積が最大となる１対の反射点を選択する反射点選択部２２と、１対の反射点間の中心座標を算出する中心座標算出部２３と、サングラス着用判定部２７から出力された判定結果においてひとがサングラスを着用していると判定された場合に、中心座標算出部２３から出力された中心座標に基づき、ひとの顔中心位置を検出する位置検出部２８と、ひとの顔中心位置に基づき、ひとの顔向き方向を検知する顔向き検知部２９とを備える。
【解決手段】顔向き検知装置１０は、ひとの顔を撮像する乗員カメラ１２から出力された顔画像から、撮像用光源１４から照射された光の反射点を抽出する反射点抽出部２１と、反射点の面積が最大となる１対の反射点を選択する反射点選択部２２と、１対の反射点間の中心座標を算出する中心座標算出部２３と、サングラス着用判定部２７から出力された判定結果においてひとがサングラスを着用していると判定された場合に、中心座標算出部２３から出力された中心座標に基づき、ひとの顔中心位置を検出する位置検出部２８と、ひとの顔中心位置に基づき、ひとの顔向き方向を検知する顔向き検知部２９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔向き検知装置に関する。
【背景技術】
【０００２】
従来、例えばサングラスを着用している運転者の顔画像からサングラスの位置を検出し、この検出結果に基づいて運転者の眼の位置を推定し、この推定結果に基づいて顔の中心位置（顔中心位置）を検出する顔中心位置検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−７２６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る顔中心位置検出装置によれば、検出したサングラスの位置から眼の位置を推定していることから、例えば運転者の顔向き角度に応じてサングラスの位置と眼の位置との対応関係が変動する場合には、所望の精度を確保して眼の位置を推定することができず、顔の中心位置（顔中心位置）の検出精度を向上させることができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、演算負荷が増大してしまうことを抑制しつつ、サングラスを着用したひとの顔の中心位置（顔中心位置）の検出精度を向上させることが可能な顔向き検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る顔向き検知装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段（例えば、実施の形態での位置検出部２８）と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段（例えば、実施の形態での顔向き検知部２９）とを備える顔向き検知装置であって、前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段（例えば、実施の形態でのサングラス着用判定部２７）と、前記ひとが存在する方向に向かって光を照射可能に配置された光源（例えば、実施の形態での撮像用光源１４）と、前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段（例えば、実施の形態での反射点抽出部２１）と、前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる１対の前記反射点を選択して選択結果を出力する反射点選択手段（例えば、実施の形態での反射点選択部２２）と、前記反射点選択手段から出力された前記選択結果に基づき、前記１対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段（例えば、実施の形態での中心座標算出部２３）とを備え、前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出する。
【０００７】
さらに、本発明の第２態様に係る顔向き検知装置は、前記撮像手段から出力された前記顔画像の縦方向及び横方向での輝度値のヒストグラムを算出して算出結果を出力するヒストグラム算出手段（例えば、実施の形態でのヒストグラム算出部２４）と、前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段（例えば、実施の形態での領域設定部２５）と、前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段（例えば、実施の形態での輝度算出部２６）とを備え、前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定する。
【発明の効果】
【０００８】
本発明の第１態様に係る顔向き検知装置によれば、ひとがサングラスを着用している場合であっても、このサングラスの左右のレンズ上の１対の反射点間の中心座標に基づいてひとの顔中心位置を精度良く検出することができる。これにより、例えばひとがサングラスを着用していない場合に直接検出可能な両眼の中心位置に基づき顔中心位置を検出する手段との併用によって、演算負荷が増大してしまうことを抑制しつつ顔中心位置に基づく顔向き検知のロバスト性を向上させることができる。
【０００９】
さらに、本発明の第２態様に係る顔向き検知装置によれば、輝度値のヒストグラムに基づきサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、ひとがサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る顔向き検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員カメラ及び撮像用光源の配置例を示す図である。
【図３】本発明の実施の形態に係る乗員カメラから出力された顔画像から抽出されたサングラスのレンズ上での反射領域の例を示すフローチャートである。
【図４】本発明の実施の形態に係る乗員カメラから出力された顔画像に基づく横方向ヒストグラムＨＹ及び縦方向ヒストグラムＨＸに基づく左右の判定領域ＤＡの例を示す図である。
【図５】本発明の実施の形態に係る運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θの一例を示す図である。
【図６】本発明の実施の形態に係る顔中心位置を検出する処理を示すフローチャートである。
【図７】本発明の実施の形態に係る顔向きを検出する処理を示すフローチャートである。
【図８】本発明の実施の形態に係るサングラス検出処理を示すフローチャートである。
【図９】本発明の実施の形態に係るサングラス探索領域の縦位置算出の処理を示すフローチャートである。
【図１０】本発明の実施の形態に係るサングラス探索領域の横位置算出の処理を示すフローチャートである。
【図１１】本発明の実施の形態に係る判定領域の輝度中央値算出の処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の顔向き検知装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による顔向き検知装置１０は、例えば図１に示すように、撮像制御装置１１と、乗員カメラ１２と、光源制御装置１３と、撮像用光源１４と、処理装置１５とを備えて構成され、さらに、処理装置１５は、反射点抽出部２１と、反射点選択部２２と、中心座標算出部２３と、ヒストグラム算出部２４と、領域設定部２５と、輝度算出部２６と、サングラス着用判定部２７と、位置検出部２８と、顔向き検知部２９とを備えて構成されている。
【００１２】
撮像制御装置１１により制御される乗員カメラ１２は、例えば図２（Ａ）〜（Ｄ）に示すように、車室内のインスツルメントパネルに配置され、少なくとも車両の運転席に着座した運転者Ｄの顔を撮像対象として撮像領域Ａ内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
光源制御装置１３により制御される撮像用光源１４は、例えば車室内のインスツルメントパネルにおいて乗員カメラ１２から左右にずれた位置に配置され、少なくとも車両の運転席に着座した運転者Ｄに向かい、例えば可視光線または赤外線などの光を照射可能である。
【００１３】
処理装置１２の反射点抽出部２１は、例えば図３に示すように、乗員カメラ１２から出力された顔画像（例えば図３に示す顔画像ＦＰ）に基づき、例えば２値化処理などの画像処理を行なうことによって、撮像用光源１４から照射された光の反射領域（例えば図３に示す運転者が着用しているサングラスでの反射領域ＲＡ）を抽出し、各反射領域毎に重心位置などからなる反射点を抽出する。
反射点抽出部２１は、例えば、反射領域として、撮像用光源１４から照射された光の明るさに応じた所定輝度以上、かつ、撮像用光源１４の配置位置及び撮像用光源１４から照射された光の収束性及び所定の照射対象（例えば、サングラスのレンズ表面など）の形状などに応じた所定面積範囲の領域を抽出したり、さらに、所定のパターンマッチングの処理の併用などによって所定形状の領域を抽出する。
【００１４】
反射点選択部２２は、反射点抽出部２１により抽出された複数の反射領域のうちから、例えば面積が最大となる１対の反射領域であって反射点間の距離が所定距離範囲（例えば、所定の閾距離以上の範囲など）である反射領域（例えば図３に示す運転者が着用しているサングラスＧのレンズ上での反射領域ＲＰＡ）を選択する。
中心座標算出部２３は、反射点選択部２２により選択された１対の反射領域の各反射点に基づき、１対の反射領域間の中心座標（例えば図３に示す水平方向座標ＸＡ）を算出する。
【００１５】
ヒストグラム算出部２４は、乗員カメラ１２から出力された顔画像（例えば図４に示す顔画像ＦＰ）に基づき、顔画像の横方向（水平方向）及び縦方向（鉛直方向）での画素の輝度値によるヒストグラム（例えば図４に示す横方向ヒストグラムＨＹ及び縦方向ヒストグラムＨＸ）を算出する。
なお、横方向ヒストグラムＨＹは、例えば、乗員カメラ１２から出力された顔画像（例えば図４に示す顔画像ＦＰ）の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる。
また、縦方向ヒストグラムＨＸは、例えば、乗員カメラ１２から出力された顔画像（例えば図４に示す顔画像ＦＰ）において、後述する所定の高さ幅領域での所定の横位置毎において縦方向の全画素の輝度値を積算して得られる。
【００１６】
領域設定部２５は、例えば図４に示すように、ヒストグラム算出部２４により算出されたヒストグラム（例えば図４に示す横方向ヒストグラムＨＹ及び縦方向ヒストグラムＨＸ）に基づき、所定の判定領域ＤＡを設定する。
例えば、領域設定部２５は、先ず、横方向ヒストグラムＨＹにおいて、極大及び極小を抽出し、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ（例えば図４に示す極大Ｍａ１と極小Ｍｂ１と極大Ｍａ２）を抽出する。
そして、抽出した組み合わせ（例えば図４に示す極大Ｍａ１と極小Ｍｂ１と極大Ｍａ２）の極小の位置（例えば図４に示す極小Ｍｂ１の位置）をサングラス探索領域の探索領域縦位置Ｙａに設定する。さらに、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方（例えば図４に示す極大Ｍａ１と極小Ｍｂ１との間の縦方向距離ｈ）をサングラス探索領域の高さに設定する。
【００１７】
そして、領域設定部２５は、探索領域縦位置Ｙａを中心としてサングラス探索領域の高さに応じた所定の高さ幅（例えば、サングラス探索領域の高さの２倍：２ｈなど）を有する領域（高さ幅領域）での縦方向ヒストグラムＨＸにおいて、極大及び極小を抽出する。
そして、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ（例えば図４に示す極小Ｍｄ１と極大Ｍｃ１と極小Ｍｄ２）を抽出する。
そして、抽出した組み合わせ（例えば図４に示す極小Ｍｄ１と極大Ｍｃ１と極小Ｍｄ２）の極大の位置（例えば図４に示す極大Ｍｃ１の位置）をサングラス探索領域の探索領域横位置Ｘａに設定する。さらに、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方（例えば図４に示す極大Ｍｃ１と極小Ｍｄ２との間の横方向距離ｗ）をサングラス探索領域の幅に設定する。
【００１８】
そして、領域設定部２５は、サングラス探索領域の探索領域縦位置Ｙａと探索領域横位置Ｘａとの交点をサングラス探索領域の中心Ｃとして、この中心Ｃから横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた１対の対称な位置を、左右の判定領域の中心位置とする。そして、各中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左右の判定領域ＤＡとして設定する。
【００１９】
輝度値算出部２６は、領域設定部２５により設定された所定の左右の判定領域ＤＡ内の全画素の輝度値に基づき、左右の判定領域ＤＡ毎に所定輝度以上の領域を除外した後の各判定領域ＤＡ内での輝度値の中央値（輝度中央値）を算出する。
サングラス着用判定部２７は、輝度値算出部２６により算出された各判定領域ＤＡ毎の輝度中央値に基づき、例えば、左右の判定領域ＤＡ毎に、輝度中央値が所定の第１輝度未満の場合、あるいは、輝度中央値が所定の第１輝度以上かつ第２輝度（＞第１輝度）未満であって判定領域ＤＡに対する両方の縦方向での所定の上下の領域の輝度（例えば平均輝度など）が所定の第３輝度よりも大きい場合には、運転者が着用しているサングラスが有ると判定する。そして、これら以外の場合には、サングラスが無いと判定する。
【００２０】
位置検出部２８は、乗員カメラ１２から出力された顔画像に基づき、運転者の顔の幅方向（横方向）の中心位置（顔中心位置ＦＣ）および顔の幅方向（横方向）の端の位置（左右の顔端位置ＦＥ１，ＦＥ２）を検出する。
例えば、位置検出部２８は、サングラス着用判定部２７により運転者が着用しているサングラスが有ると判定された場合には、中心座標算出部２３により算出された中心座標（例えば図３に示す水平方向座標ＸＡからなる中心座標）の輝度を検出し、この検出結果による輝度が所定の閾輝度以上であれば、この中心座標を、顔中心位置ＦＣとして設定する。
また、位置検出部２８は、乗員カメラ１２から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置ＦＥ１，ＦＥ２を検出する。
【００２１】
顔向き検知部２９は、位置検出部２８により検出された顔中心位置ＦＣ及び左右の顔端位置ＦＥ１，ＦＥ２に基づき、例えばひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。
顔向き検知部２９は、例えば図５に示すように、左右の顔端位置ＦＥ１，ＦＥ２間の中央位置ＣＯと顔中心位置ＦＣとの間の左右方向での距離を顔中心のずれｒとし、左右の顔端位置ＦＥ１，ＦＥ２間の距離を顔の幅２Ｒとし、中央位置ＣＯから乗員カメラ１２に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれｒと顔の幅２Ｒとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θを算出する。例えば角度β＝９０−αとして、正弦定理による下記数式（１）を変形して下記数式（２）が得られ、この下記数式（２）から角度θが下記数式（３）に示すように記述される。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
【数３】
【００２５】
なお、顔向き検知部２９は、例えば左右の顔端位置ＦＥ１，ＦＥ２から反射点選択部２２により選択された１対の反射領域の各反射点までの距離の比（つまり、左側の顔端位置ＦＥ１から左側の反射点までの距離と右側の顔端位置ＦＥ２から右側の反射点までの距離との比）などに基づいて顔向き方向を検知してもよい。
【００２６】
この実施の形態による顔向き検知装置１０は上記構成を備えており、次に、この顔向き検知装置１０の動作について説明する。
【００２７】
先ず、以下に顔中心位置ＦＣを検出する処理について説明する。
例えば図６に示すステップＳ０１においては、後述するサングラス検出処理の検出結果において運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ０２に進み、このステップＳ０２においては、顔中心位置ＦＣが検出されない（顔中心不検出）として、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進む。
そして、ステップＳ０３においては、乗員カメラ１２から出力された顔画像に基づき、撮像用光源１４から照射された光の反射領域のうち、運転者が着用しているサングラスのレンズ上での反射領域（例えば、所定輝度以上かつ所定面積範囲かつ所定形状の反射領域）を検出し、反射領域の重心位置などからなる反射点を抽出する。
【００２８】
次に、ステップＳ０４においては、運転者が着用しているサングラスのレンズ上で複数の反射領域を検出したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
次に、ステップＳ０５においては、複数の反射領域のうちから反射領域の距離（例えば、反射領域の反射点間の距離）が閾距離以上であって、面積が最大となる１対の反射領域が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。
【００２９】
次に、ステップＳ０６においては、反射領域の距離が閾距離以上であって、面積が最大となる１対の反射領域の重心（例えば、反射点間の中心座標）を算出する。
次に、ステップＳ０７においては、重心の輝度を検出する。
次に、ステップＳ０８においては、重心の輝度が所定の閾輝度以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
そして、ステップＳ０９においては、重心を、顔中心位置ＦＣとして設定し、エンドに進む。
【００３０】
以下に、顔向きを検出する処理について説明する。
例えば図７に示すステップＳ１１においては、乗員カメラ１２から出力された顔画像を取得する。
次に、ステップＳ１２においては、前回の処理にて運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１３に進む。
次に、ステップＳ１３においては、例えば撮像用光源１４から照射された光の運転者の角膜での反射などを用いた所定の視線検出の処理を実行する。
次に、ステップＳ１４においては、運転者の視線を検出したか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
【００３１】
次に、ステップＳ１５においては、運転者の視線を出力し、エンドに進む。
また、ステップＳ１６においては、後述するサングラス検出処理を実行する。
次に、ステップＳ１７においては、乗員カメラ１２から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置ＦＥ１，ＦＥ２を検出する。そして、上述したステップＳ０１〜ステップＳ０９の処理によって検出された顔中心位置ＦＣと、左右の顔端位置ＦＥ１，ＦＥ２とに基づき、例えばシリンダー法などによって、運転者の顔向きの方向を検出する。
次に、ステップＳ１８においては、運転者の顔向きを出力し、エンドに進む。
【００３２】
以下に、顔向きを検出する処理について説明する。
例えば図８に示すステップＳ２１においては、後述するサングラス探索領域の縦位置算出の処理を実行する。
次に、ステップＳ２２においては、後述するサングラス探索領域の横位置算出の処理を実行する。
次に、ステップＳ２３においては、サングラス探索領域の探索領域縦位置Ｙａと探索領域横位置Ｘａとの交点をサングラス探索領域の中心として算出する。
【００３３】
次に、ステップＳ２４においては、サングラス探索領域の中心から横方向の左側にずれた位置での左側の判定領域を設定する。
次に、ステップＳ２５においては、左側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップＳ２６においては、左側の判定領域に対する輝度中央値が所定の第１輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３０に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２７に進む。
【００３４】
次に、ステップＳ２７においては、左側の判定領域に対する輝度中央値が所定の第１輝度よりも大きい第２輝度未満であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２８に進み、このステップＳ２８においては、運転者がサングラスを着用していないと判断して、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進む。
そして、ステップＳ２９においては、左側の判定領域に対する両方の縦方向での所定の上下の領域の輝度（例えば平均輝度など）が所定の第３輝度（例えば、第２輝度よりも大きい輝度など）よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３０に進む。
【００３５】
次に、ステップＳ３０においては、サングラス探索領域の中心から横方向の右側にずれた位置での右側の判定領域を設定する。
次に、ステップＳ３１においては、右側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップＳ３２においては、右側の判定領域に対する輝度中央値が所定の第１輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ３３に進み、このステップＳ３３においては、運転者がサングラスを着用していると判断して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３４に進む。
【００３６】
次に、ステップＳ３４においては、右側の判定領域に対する輝度中央値が所定の第１輝度よりも大きい第２輝度未満であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３５に進む。
そして、ステップＳ３５においては、右側の判定領域に対する両方の縦方向での所定の上下の領域の輝度（例えば平均輝度など）が所定の第３輝度（例えば、第２輝度よりも大きい輝度など）よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、上述したステップＳ３３に進む。
【００３７】
以下に、サングラス探索領域の縦位置算出の処理について説明する。
例えば図９に示すステップＳ４１においては、乗員カメラ１２から出力された顔画像の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる横方向ヒストグラムＨＹを作成する。
次に、ステップＳ４２においては、横方向ヒストグラムＨＹにおいて、極大及び極小を抽出する。
【００３８】
次に、ステップＳ４３においては、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせを抽出する。
次に、ステップＳ４４においては、抽出した組み合わせの極小の位置をサングラス探索領域の探索領域縦位置Ｙａに設定する。
次に、ステップＳ４５においては、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方をサングラス探索領域の高さに設定し、リターンに進む。
【００３９】
以下に、サングラス探索領域の横位置算出の処理について説明する。
例えば図１０に示すステップＳ５１においては、乗員カメラ１２から出力された顔画像の所定の横位置毎において縦方向の全画素の輝度値を積算して得られる縦方向ヒストグラムＨＸを作成する。
次に、ステップＳ５２においては、縦方向ヒストグラムＨＸにおいて、極大及び極小を抽出する。
【００４０】
次に、ステップＳ５３においては、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせを抽出する。
次に、ステップＳ５４においては、抽出した組み合わせの極大の位置をサングラス探索領域の探索領域横位置Ｘａに設定する。
次に、ステップＳ５５においては、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方をサングラス探索領域の幅に設定し、リターンに進む。
【００４１】
以下に、判定領域の輝度中央値算出の処理について説明する。
例えば図１１に示すステップＳ６１においては、サングラス探索領域の中心から横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた１対の対称な位置を、左右の判定領域の中心位置とする。
次に、ステップＳ６２においては、左右の中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左側及び右側の判定領域とする。
【００４２】
次に、ステップＳ６３においては、判定領域内に所定輝度以上の領域が存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ６４に進み、このステップＳ６４においては、判定領域内から所定輝度以上の領域を除外して、ステップＳ６５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ６５に進む。
そして、ステップＳ６５においては、判定領域内の輝度の中央値を算出して、エンドに進む。
【００４３】
上述したように、本実施の形態による顔向き検知装置１０によれば、運転者がサングラスを着用している場合であっても、このサングラスの左右のレンズ上の１対の反射領域（例えば図３に示す運転者が着用しているサングラスＧのレンズ上での反射領域ＲＰＡ）の反射点間の中心座標に基づいて、運転者の顔中心位置ＦＣを精度良く検出することができる。これにより、例えば運転者がサングラスを着用していない場合に直接検出可能な両眼の中心位置に基づき顔中心位置を検出する方法との併用によって、演算負荷が増大してしまうことを抑制しつつ運転者の顔中心位置ＦＣに基づく顔向き検知のロバスト性を向上させることができる。
さらに、顔画像の画素の輝度値のヒストグラムに基づき運転者がサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、運転者がサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。
【符号の説明】
【００４４】
１０ 顔向き検知装置
１２ 乗員カメラ（撮像手段）
１４ 撮像用光源（光源）
２１ 反射点抽出部（反射点抽出手段）
２２ 反射点選択部（反射点選択手段）
２３ 中心座標算出部（中心座標算出手段）
２４ ヒストグラム算出部（ヒストグラム算出手段）
２５ 領域設定部（領域設定手段）
２６ 輝度算出部（輝度算出手段）
２７ サングラス着用判定部（サングラス着用判定手段）
２８ 位置検出部（位置検出手段）
２９ 顔向き検知部（顔向き検知手段）
【技術分野】
【０００１】
本発明は、顔向き検知装置に関する。
【背景技術】
【０００２】
従来、例えばサングラスを着用している運転者の顔画像からサングラスの位置を検出し、この検出結果に基づいて運転者の眼の位置を推定し、この推定結果に基づいて顔の中心位置（顔中心位置）を検出する顔中心位置検出装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−７２６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る顔中心位置検出装置によれば、検出したサングラスの位置から眼の位置を推定していることから、例えば運転者の顔向き角度に応じてサングラスの位置と眼の位置との対応関係が変動する場合には、所望の精度を確保して眼の位置を推定することができず、顔の中心位置（顔中心位置）の検出精度を向上させることができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、演算負荷が増大してしまうことを抑制しつつ、サングラスを着用したひとの顔の中心位置（顔中心位置）の検出精度を向上させることが可能な顔向き検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る顔向き検知装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１２）と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段（例えば、実施の形態での位置検出部２８）と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段（例えば、実施の形態での顔向き検知部２９）とを備える顔向き検知装置であって、前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段（例えば、実施の形態でのサングラス着用判定部２７）と、前記ひとが存在する方向に向かって光を照射可能に配置された光源（例えば、実施の形態での撮像用光源１４）と、前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段（例えば、実施の形態での反射点抽出部２１）と、前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる１対の前記反射点を選択して選択結果を出力する反射点選択手段（例えば、実施の形態での反射点選択部２２）と、前記反射点選択手段から出力された前記選択結果に基づき、前記１対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段（例えば、実施の形態での中心座標算出部２３）とを備え、前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出する。
【０００７】
さらに、本発明の第２態様に係る顔向き検知装置は、前記撮像手段から出力された前記顔画像の縦方向及び横方向での輝度値のヒストグラムを算出して算出結果を出力するヒストグラム算出手段（例えば、実施の形態でのヒストグラム算出部２４）と、前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段（例えば、実施の形態での領域設定部２５）と、前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段（例えば、実施の形態での輝度算出部２６）とを備え、前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定する。
【発明の効果】
【０００８】
本発明の第１態様に係る顔向き検知装置によれば、ひとがサングラスを着用している場合であっても、このサングラスの左右のレンズ上の１対の反射点間の中心座標に基づいてひとの顔中心位置を精度良く検出することができる。これにより、例えばひとがサングラスを着用していない場合に直接検出可能な両眼の中心位置に基づき顔中心位置を検出する手段との併用によって、演算負荷が増大してしまうことを抑制しつつ顔中心位置に基づく顔向き検知のロバスト性を向上させることができる。
【０００９】
さらに、本発明の第２態様に係る顔向き検知装置によれば、輝度値のヒストグラムに基づきサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、ひとがサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る顔向き検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員カメラ及び撮像用光源の配置例を示す図である。
【図３】本発明の実施の形態に係る乗員カメラから出力された顔画像から抽出されたサングラスのレンズ上での反射領域の例を示すフローチャートである。
【図４】本発明の実施の形態に係る乗員カメラから出力された顔画像に基づく横方向ヒストグラムＨＹ及び縦方向ヒストグラムＨＸに基づく左右の判定領域ＤＡの例を示す図である。
【図５】本発明の実施の形態に係る運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θの一例を示す図である。
【図６】本発明の実施の形態に係る顔中心位置を検出する処理を示すフローチャートである。
【図７】本発明の実施の形態に係る顔向きを検出する処理を示すフローチャートである。
【図８】本発明の実施の形態に係るサングラス検出処理を示すフローチャートである。
【図９】本発明の実施の形態に係るサングラス探索領域の縦位置算出の処理を示すフローチャートである。
【図１０】本発明の実施の形態に係るサングラス探索領域の横位置算出の処理を示すフローチャートである。
【図１１】本発明の実施の形態に係る判定領域の輝度中央値算出の処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の顔向き検知装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による顔向き検知装置１０は、例えば図１に示すように、撮像制御装置１１と、乗員カメラ１２と、光源制御装置１３と、撮像用光源１４と、処理装置１５とを備えて構成され、さらに、処理装置１５は、反射点抽出部２１と、反射点選択部２２と、中心座標算出部２３と、ヒストグラム算出部２４と、領域設定部２５と、輝度算出部２６と、サングラス着用判定部２７と、位置検出部２８と、顔向き検知部２９とを備えて構成されている。
【００１２】
撮像制御装置１１により制御される乗員カメラ１２は、例えば図２（Ａ）〜（Ｄ）に示すように、車室内のインスツルメントパネルに配置され、少なくとも車両の運転席に着座した運転者Ｄの顔を撮像対象として撮像領域Ａ内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
光源制御装置１３により制御される撮像用光源１４は、例えば車室内のインスツルメントパネルにおいて乗員カメラ１２から左右にずれた位置に配置され、少なくとも車両の運転席に着座した運転者Ｄに向かい、例えば可視光線または赤外線などの光を照射可能である。
【００１３】
処理装置１２の反射点抽出部２１は、例えば図３に示すように、乗員カメラ１２から出力された顔画像（例えば図３に示す顔画像ＦＰ）に基づき、例えば２値化処理などの画像処理を行なうことによって、撮像用光源１４から照射された光の反射領域（例えば図３に示す運転者が着用しているサングラスでの反射領域ＲＡ）を抽出し、各反射領域毎に重心位置などからなる反射点を抽出する。
反射点抽出部２１は、例えば、反射領域として、撮像用光源１４から照射された光の明るさに応じた所定輝度以上、かつ、撮像用光源１４の配置位置及び撮像用光源１４から照射された光の収束性及び所定の照射対象（例えば、サングラスのレンズ表面など）の形状などに応じた所定面積範囲の領域を抽出したり、さらに、所定のパターンマッチングの処理の併用などによって所定形状の領域を抽出する。
【００１４】
反射点選択部２２は、反射点抽出部２１により抽出された複数の反射領域のうちから、例えば面積が最大となる１対の反射領域であって反射点間の距離が所定距離範囲（例えば、所定の閾距離以上の範囲など）である反射領域（例えば図３に示す運転者が着用しているサングラスＧのレンズ上での反射領域ＲＰＡ）を選択する。
中心座標算出部２３は、反射点選択部２２により選択された１対の反射領域の各反射点に基づき、１対の反射領域間の中心座標（例えば図３に示す水平方向座標ＸＡ）を算出する。
【００１５】
ヒストグラム算出部２４は、乗員カメラ１２から出力された顔画像（例えば図４に示す顔画像ＦＰ）に基づき、顔画像の横方向（水平方向）及び縦方向（鉛直方向）での画素の輝度値によるヒストグラム（例えば図４に示す横方向ヒストグラムＨＹ及び縦方向ヒストグラムＨＸ）を算出する。
なお、横方向ヒストグラムＨＹは、例えば、乗員カメラ１２から出力された顔画像（例えば図４に示す顔画像ＦＰ）の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる。
また、縦方向ヒストグラムＨＸは、例えば、乗員カメラ１２から出力された顔画像（例えば図４に示す顔画像ＦＰ）において、後述する所定の高さ幅領域での所定の横位置毎において縦方向の全画素の輝度値を積算して得られる。
【００１６】
領域設定部２５は、例えば図４に示すように、ヒストグラム算出部２４により算出されたヒストグラム（例えば図４に示す横方向ヒストグラムＨＹ及び縦方向ヒストグラムＨＸ）に基づき、所定の判定領域ＤＡを設定する。
例えば、領域設定部２５は、先ず、横方向ヒストグラムＨＹにおいて、極大及び極小を抽出し、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ（例えば図４に示す極大Ｍａ１と極小Ｍｂ１と極大Ｍａ２）を抽出する。
そして、抽出した組み合わせ（例えば図４に示す極大Ｍａ１と極小Ｍｂ１と極大Ｍａ２）の極小の位置（例えば図４に示す極小Ｍｂ１の位置）をサングラス探索領域の探索領域縦位置Ｙａに設定する。さらに、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方（例えば図４に示す極大Ｍａ１と極小Ｍｂ１との間の縦方向距離ｈ）をサングラス探索領域の高さに設定する。
【００１７】
そして、領域設定部２５は、探索領域縦位置Ｙａを中心としてサングラス探索領域の高さに応じた所定の高さ幅（例えば、サングラス探索領域の高さの２倍：２ｈなど）を有する領域（高さ幅領域）での縦方向ヒストグラムＨＸにおいて、極大及び極小を抽出する。
そして、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ（例えば図４に示す極小Ｍｄ１と極大Ｍｃ１と極小Ｍｄ２）を抽出する。
そして、抽出した組み合わせ（例えば図４に示す極小Ｍｄ１と極大Ｍｃ１と極小Ｍｄ２）の極大の位置（例えば図４に示す極大Ｍｃ１の位置）をサングラス探索領域の探索領域横位置Ｘａに設定する。さらに、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方（例えば図４に示す極大Ｍｃ１と極小Ｍｄ２との間の横方向距離ｗ）をサングラス探索領域の幅に設定する。
【００１８】
そして、領域設定部２５は、サングラス探索領域の探索領域縦位置Ｙａと探索領域横位置Ｘａとの交点をサングラス探索領域の中心Ｃとして、この中心Ｃから横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた１対の対称な位置を、左右の判定領域の中心位置とする。そして、各中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左右の判定領域ＤＡとして設定する。
【００１９】
輝度値算出部２６は、領域設定部２５により設定された所定の左右の判定領域ＤＡ内の全画素の輝度値に基づき、左右の判定領域ＤＡ毎に所定輝度以上の領域を除外した後の各判定領域ＤＡ内での輝度値の中央値（輝度中央値）を算出する。
サングラス着用判定部２７は、輝度値算出部２６により算出された各判定領域ＤＡ毎の輝度中央値に基づき、例えば、左右の判定領域ＤＡ毎に、輝度中央値が所定の第１輝度未満の場合、あるいは、輝度中央値が所定の第１輝度以上かつ第２輝度（＞第１輝度）未満であって判定領域ＤＡに対する両方の縦方向での所定の上下の領域の輝度（例えば平均輝度など）が所定の第３輝度よりも大きい場合には、運転者が着用しているサングラスが有ると判定する。そして、これら以外の場合には、サングラスが無いと判定する。
【００２０】
位置検出部２８は、乗員カメラ１２から出力された顔画像に基づき、運転者の顔の幅方向（横方向）の中心位置（顔中心位置ＦＣ）および顔の幅方向（横方向）の端の位置（左右の顔端位置ＦＥ１，ＦＥ２）を検出する。
例えば、位置検出部２８は、サングラス着用判定部２７により運転者が着用しているサングラスが有ると判定された場合には、中心座標算出部２３により算出された中心座標（例えば図３に示す水平方向座標ＸＡからなる中心座標）の輝度を検出し、この検出結果による輝度が所定の閾輝度以上であれば、この中心座標を、顔中心位置ＦＣとして設定する。
また、位置検出部２８は、乗員カメラ１２から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置ＦＥ１，ＦＥ２を検出する。
【００２１】
顔向き検知部２９は、位置検出部２８により検出された顔中心位置ＦＣ及び左右の顔端位置ＦＥ１，ＦＥ２に基づき、例えばひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。
顔向き検知部２９は、例えば図５に示すように、左右の顔端位置ＦＥ１，ＦＥ２間の中央位置ＣＯと顔中心位置ＦＣとの間の左右方向での距離を顔中心のずれｒとし、左右の顔端位置ＦＥ１，ＦＥ２間の距離を顔の幅２Ｒとし、中央位置ＣＯから乗員カメラ１２に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれｒと顔の幅２Ｒとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θを算出する。例えば角度β＝９０−αとして、正弦定理による下記数式（１）を変形して下記数式（２）が得られ、この下記数式（２）から角度θが下記数式（３）に示すように記述される。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
【数３】
【００２５】
なお、顔向き検知部２９は、例えば左右の顔端位置ＦＥ１，ＦＥ２から反射点選択部２２により選択された１対の反射領域の各反射点までの距離の比（つまり、左側の顔端位置ＦＥ１から左側の反射点までの距離と右側の顔端位置ＦＥ２から右側の反射点までの距離との比）などに基づいて顔向き方向を検知してもよい。
【００２６】
この実施の形態による顔向き検知装置１０は上記構成を備えており、次に、この顔向き検知装置１０の動作について説明する。
【００２７】
先ず、以下に顔中心位置ＦＣを検出する処理について説明する。
例えば図６に示すステップＳ０１においては、後述するサングラス検出処理の検出結果において運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ０２に進み、このステップＳ０２においては、顔中心位置ＦＣが検出されない（顔中心不検出）として、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進む。
そして、ステップＳ０３においては、乗員カメラ１２から出力された顔画像に基づき、撮像用光源１４から照射された光の反射領域のうち、運転者が着用しているサングラスのレンズ上での反射領域（例えば、所定輝度以上かつ所定面積範囲かつ所定形状の反射領域）を検出し、反射領域の重心位置などからなる反射点を抽出する。
【００２８】
次に、ステップＳ０４においては、運転者が着用しているサングラスのレンズ上で複数の反射領域を検出したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
次に、ステップＳ０５においては、複数の反射領域のうちから反射領域の距離（例えば、反射領域の反射点間の距離）が閾距離以上であって、面積が最大となる１対の反射領域が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。
【００２９】
次に、ステップＳ０６においては、反射領域の距離が閾距離以上であって、面積が最大となる１対の反射領域の重心（例えば、反射点間の中心座標）を算出する。
次に、ステップＳ０７においては、重心の輝度を検出する。
次に、ステップＳ０８においては、重心の輝度が所定の閾輝度以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
そして、ステップＳ０９においては、重心を、顔中心位置ＦＣとして設定し、エンドに進む。
【００３０】
以下に、顔向きを検出する処理について説明する。
例えば図７に示すステップＳ１１においては、乗員カメラ１２から出力された顔画像を取得する。
次に、ステップＳ１２においては、前回の処理にて運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１３に進む。
次に、ステップＳ１３においては、例えば撮像用光源１４から照射された光の運転者の角膜での反射などを用いた所定の視線検出の処理を実行する。
次に、ステップＳ１４においては、運転者の視線を検出したか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
【００３１】
次に、ステップＳ１５においては、運転者の視線を出力し、エンドに進む。
また、ステップＳ１６においては、後述するサングラス検出処理を実行する。
次に、ステップＳ１７においては、乗員カメラ１２から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置ＦＥ１，ＦＥ２を検出する。そして、上述したステップＳ０１〜ステップＳ０９の処理によって検出された顔中心位置ＦＣと、左右の顔端位置ＦＥ１，ＦＥ２とに基づき、例えばシリンダー法などによって、運転者の顔向きの方向を検出する。
次に、ステップＳ１８においては、運転者の顔向きを出力し、エンドに進む。
【００３２】
以下に、顔向きを検出する処理について説明する。
例えば図８に示すステップＳ２１においては、後述するサングラス探索領域の縦位置算出の処理を実行する。
次に、ステップＳ２２においては、後述するサングラス探索領域の横位置算出の処理を実行する。
次に、ステップＳ２３においては、サングラス探索領域の探索領域縦位置Ｙａと探索領域横位置Ｘａとの交点をサングラス探索領域の中心として算出する。
【００３３】
次に、ステップＳ２４においては、サングラス探索領域の中心から横方向の左側にずれた位置での左側の判定領域を設定する。
次に、ステップＳ２５においては、左側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップＳ２６においては、左側の判定領域に対する輝度中央値が所定の第１輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３０に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２７に進む。
【００３４】
次に、ステップＳ２７においては、左側の判定領域に対する輝度中央値が所定の第１輝度よりも大きい第２輝度未満であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２８に進み、このステップＳ２８においては、運転者がサングラスを着用していないと判断して、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進む。
そして、ステップＳ２９においては、左側の判定領域に対する両方の縦方向での所定の上下の領域の輝度（例えば平均輝度など）が所定の第３輝度（例えば、第２輝度よりも大きい輝度など）よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３０に進む。
【００３５】
次に、ステップＳ３０においては、サングラス探索領域の中心から横方向の右側にずれた位置での右側の判定領域を設定する。
次に、ステップＳ３１においては、右側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップＳ３２においては、右側の判定領域に対する輝度中央値が所定の第１輝度未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ３３に進み、このステップＳ３３においては、運転者がサングラスを着用していると判断して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３４に進む。
【００３６】
次に、ステップＳ３４においては、右側の判定領域に対する輝度中央値が所定の第１輝度よりも大きい第２輝度未満であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３５に進む。
そして、ステップＳ３５においては、右側の判定領域に対する両方の縦方向での所定の上下の領域の輝度（例えば平均輝度など）が所定の第３輝度（例えば、第２輝度よりも大きい輝度など）よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、上述したステップＳ３３に進む。
【００３７】
以下に、サングラス探索領域の縦位置算出の処理について説明する。
例えば図９に示すステップＳ４１においては、乗員カメラ１２から出力された顔画像の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる横方向ヒストグラムＨＹを作成する。
次に、ステップＳ４２においては、横方向ヒストグラムＨＹにおいて、極大及び極小を抽出する。
【００３８】
次に、ステップＳ４３においては、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせを抽出する。
次に、ステップＳ４４においては、抽出した組み合わせの極小の位置をサングラス探索領域の探索領域縦位置Ｙａに設定する。
次に、ステップＳ４５においては、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方をサングラス探索領域の高さに設定し、リターンに進む。
【００３９】
以下に、サングラス探索領域の横位置算出の処理について説明する。
例えば図１０に示すステップＳ５１においては、乗員カメラ１２から出力された顔画像の所定の横位置毎において縦方向の全画素の輝度値を積算して得られる縦方向ヒストグラムＨＸを作成する。
次に、ステップＳ５２においては、縦方向ヒストグラムＨＸにおいて、極大及び極小を抽出する。
【００４０】
次に、ステップＳ５３においては、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせを抽出する。
次に、ステップＳ５４においては、抽出した組み合わせの極大の位置をサングラス探索領域の探索領域横位置Ｘａに設定する。
次に、ステップＳ５５においては、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方をサングラス探索領域の幅に設定し、リターンに進む。
【００４１】
以下に、判定領域の輝度中央値算出の処理について説明する。
例えば図１１に示すステップＳ６１においては、サングラス探索領域の中心から横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた１対の対称な位置を、左右の判定領域の中心位置とする。
次に、ステップＳ６２においては、左右の中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左側及び右側の判定領域とする。
【００４２】
次に、ステップＳ６３においては、判定領域内に所定輝度以上の領域が存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ６４に進み、このステップＳ６４においては、判定領域内から所定輝度以上の領域を除外して、ステップＳ６５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ６５に進む。
そして、ステップＳ６５においては、判定領域内の輝度の中央値を算出して、エンドに進む。
【００４３】
上述したように、本実施の形態による顔向き検知装置１０によれば、運転者がサングラスを着用している場合であっても、このサングラスの左右のレンズ上の１対の反射領域（例えば図３に示す運転者が着用しているサングラスＧのレンズ上での反射領域ＲＰＡ）の反射点間の中心座標に基づいて、運転者の顔中心位置ＦＣを精度良く検出することができる。これにより、例えば運転者がサングラスを着用していない場合に直接検出可能な両眼の中心位置に基づき顔中心位置を検出する方法との併用によって、演算負荷が増大してしまうことを抑制しつつ運転者の顔中心位置ＦＣに基づく顔向き検知のロバスト性を向上させることができる。
さらに、顔画像の画素の輝度値のヒストグラムに基づき運転者がサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、運転者がサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。
【符号の説明】
【００４４】
１０ 顔向き検知装置
１２ 乗員カメラ（撮像手段）
１４ 撮像用光源（光源）
２１ 反射点抽出部（反射点抽出手段）
２２ 反射点選択部（反射点選択手段）
２３ 中心座標算出部（中心座標算出手段）
２４ ヒストグラム算出部（ヒストグラム算出手段）
２５ 領域設定部（領域設定手段）
２６ 輝度算出部（輝度算出手段）
２７ サングラス着用判定部（サングラス着用判定手段）
２８ 位置検出部（位置検出手段）
２９ 顔向き検知部（顔向き検知手段）
【特許請求の範囲】
【請求項１】
ひとの顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段とを備える顔向き検知装置であって、
前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段と、
前記ひとが存在する方向に向かって光を照射可能に配置された光源と、
前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段と、
前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる１対の前記反射点を選択して選択結果を出力する反射点選択手段と、
前記反射点選択手段から出力された前記選択結果に基づき、前記１対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段とを備え、
前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出することを特徴とする顔向き検知装置。
【請求項２】
前記撮像手段から出力された前記顔画像の縦方向及び横方向での輝度値のヒストグラムを算出して算出結果を出力するヒストグラム算出手段と、
前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段と、
前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段とを備え、
前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定することを特徴とする請求項１に記載の顔向き検知装置。
【請求項１】
ひとの顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段とを備える顔向き検知装置であって、
前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段と、
前記ひとが存在する方向に向かって光を照射可能に配置された光源と、
前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段と、
前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる１対の前記反射点を選択して選択結果を出力する反射点選択手段と、
前記反射点選択手段から出力された前記選択結果に基づき、前記１対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段とを備え、
前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出することを特徴とする顔向き検知装置。
【請求項２】
前記撮像手段から出力された前記顔画像の縦方向及び横方向での輝度値のヒストグラムを算出して算出結果を出力するヒストグラム算出手段と、
前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段と、
前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段とを備え、
前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定することを特徴とする請求項１に記載の顔向き検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１４５８６３（Ｐ２０１１−１４５８６３Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−５８０８（Ｐ２０１０−５８０８）
【出願日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]