眼画像処理装置
【課題】誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供すること。
【解決手段】眼画像に基づいて推定された眼の幅と、眼画像に基づいて抽出された横方向エッジとを比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定する。そして、横方向エッジが眼の幅より外側に連続している場合に、当該横方向エッジを眼の輪郭線の候補から除外することで、眼の輪郭線の検出精度を向上させる。
【解決手段】眼画像に基づいて推定された眼の幅と、眼画像に基づいて抽出された横方向エッジとを比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定する。そして、横方向エッジが眼の幅より外側に連続している場合に、当該横方向エッジを眼の輪郭線の候補から除外することで、眼の輪郭線の検出精度を向上させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う眼画像処理装置に関するものである。
【背景技術】
【０００２】
従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている（例えば、特許文献１参照）。この特許文献１に記載の技術では、取得された対象者の眼画像からエッジ抽出によって瞼を検出し、開閉眼の判定を行っている。
【特許文献１】特開２００７−２５７３３２号公報
【特許文献２】特開２００４−３４１９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上記従来技術では、対象者が眼鏡を着用している場合に、眼鏡フレームに起因するエッジを瞼に起因するエッジとして誤検出してしまうおそれがあり、まぶた曲線の検出精度の向上が求められている。
【０００４】
本発明は、このような課題を解決するために成されたものであり、誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による眼画像処理装置は、眼画像を取得する眼画像取得手段と、眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、眼画像に基づいて目頭及び目尻間の長さである眼の幅を推定する幅推定手段と、幅推定手段によって推定された眼の幅とエッジ抽出手段によって抽出された横方向エッジとを比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定するエッジ幅判定手段と、エッジ幅判定手段によって、横方向エッジが眼の幅より外側に連続していると判定された場合に、横方向エッジを眼の輪郭線の候補から除外して、眼の輪郭線を検出することを特徴とする。
【０００６】
このような眼画像処理装置によれば、眼画像に基づいて推定された眼の幅と、眼画像に基づいて抽出された横方向エッジとを比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定することができる。そのため、横方向エッジが眼の幅より外側に連続している場合に、当該横方向エッジを眼の輪郭線の候補から除外することができ、眼の輪郭線の検出精度を向上させることができる。
【０００７】
ここで、エッジ幅判定手段は、目頭／目尻を通り顔の上下方向に延在する境界線を設定し、境界線の両側の画素値を比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定することが好ましい。
【発明の効果】
【０００８】
本発明によれば、横方向エッジが眼の幅より外側に連続している場合に、当該横方向エッジを眼の輪郭線の候補から除外することができるため、誤検出を防止して眼の輪郭線の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置を示す構成図、図２は、運転者の顔画像の一例を示すものであり、設定された矩形領域を示すものである。
【００１０】
図１に示す顔画像処理装置（眼画像処理装置）１０は、車両（以下、「自車両」という）に搭載され運転者Ｄの眼画像を含む顔画像を取得するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。
【００１１】
顔画像撮像カメラ（眼画像撮像手段）１２は、例えばコラムカバー１６の上面に設置され、運転者Ｄの眼画像を含む顔画像を取得する。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。
【００１２】
顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの開眼度判定（覚醒度判定）に利用される。
【００１３】
ここで、本発明の顔画像処理装置１０は、顔の横方向に形成された横方向エッジが眼の幅（目頭／目尻間）より外側に連続している場合に、当該横方向エッジをまぶた曲線（眼の輪郭線）の候補から除外する機能を有している。
【００１４】
顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、横ソーベルフィルタ画像作成部（エッジ抽出手段）、目頭目尻検出部（位置検出手段）、連続性評価部（幅推定手段、エッジ幅判定手段）、眼検出部が構成される。
【００１５】
顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータ、その他連続性評価に関するデータなどを記憶する記憶手段として機能する。
【００１６】
また、顔画像処理ＥＣＵ１４は、運転者Ｄの顔向き角度を検出する。例えば、検出された顔の横幅Ｘ、顔中心位置Ｙとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Ｄが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。
【００１７】
横ソーベルフィルタ画像作成部は、入力された画像信号（顔画像）に基づいて画像処理を行い、運転者の顔画像の横ソーベルフィルタ画像を作成する。具体的には、横ソーベルフィルタ画像作成部は、運転者の顔画像に基づく濃淡画像にソーベルフィルタ処理を行う。ここでは、濃淡画像の画素値に対し、３×３のフィルタ値を掛け、縦方向と横方向のエッジを強調した画像を作成する。例えば３×３のフィルタの値は、上段左側“１”、上段中央“２”、上段右側“１”、中段左側“０”、中段中央“０”、中段右側“０”、下段左側“−１”、下段中央“−２”、下段右側“−１”である。そして、作成された横ソーベルフィルタ画像に基づいて、横方向エッジ（水平エッジ）が検出される。また、眼周辺の横方向エッジは、眼の輪郭線（上まぶた曲線、下まぶた曲線）候補となる。
【００１８】
目頭目尻検出部は、入力された画像信号に基づいて画像処理を行い、既存技術であるテンプレートマッチング手法を用いて、図２に示すように、運転者Ｄの目頭ＱＡ／目尻ＱＣの位置を検出する。ここでは、記憶部に記憶された３次元顔モデルと比較することにより、目頭ＱＡ／目尻ＱＣの位置を検出する。
【００１９】
また、顔画像処理ＥＣＵ１４では、運転者Ｄの眼画像（横ソーベルフィルタ画像）に基づいて、眼の輪郭線の候補となる仮想まぶた曲線を作成することができる。ここでは、例えばベジェ曲線等を利用して、探索範囲内において、目頭ＱＡ／目尻ＱＣを結ぶ複数の仮想まぶた曲線を作成する。なお、探索範囲は、過去のデータ等に基づいて、眼近傍に設定される。
【００２０】
連続性評価部（幅推定手段、エッジ幅判定手段）は、眼画像に基づいて目頭及び目尻間の長さである眼の幅を推定し、推定された眼の幅とエッジ抽出手段によって抽出された横方向エッジとを比較する。このエッジ幅判定部では、眼の幅より外側に横方向エッジが連続する場合には、当該横方向エッジは、メガネフレーム１８に起因する横方向エッジの可能性が高いと判定する。そして、眼の幅より外側に連続している横方向エッジを眼の輪郭線の候補から除外する。
【００２１】
本実施形態の連続性評価部では、単純なＨａａｒＬｉｋｅ特徴量を用いて、横方向エッジが目尻ＱＡ／目頭ＱＣより外側に連続しているか否かを判定し、横連続性評価を行っている。具体的には、目頭ＱＡ／目尻ＱＣを通り顔の上下方向に延在する境界線ＬＡ，ＬＢを各々設定し、この境界線ＬＡ，ＬＢを挟んで両側に矩形領域Ａ１〜Ａ１２を設定する。そして、連続性評価部では、矩形領域Ａ１〜Ａ１２ごとに画素値平均を求め、境界線を挟んで隣接する矩形領域の画素値平均の差分を算出する。
【００２２】
例えば、眼の輪郭線に起因する横方向エッジを検出している場合には、矩形領域の画素値平均に差分が生じるはずであり、差分が判定閾値以下である場合には、目頭ＱＡ／目尻ＱＣの外側へ連続する横方向エッジを検出していると判定することができる。そして、この場合、メガネフレーム１８であると判定し、当該矩形領域において、輪郭線の探索を実行しないことで、演算負荷の増大を抑制することができる。
【００２３】
なお、上記の判定閾値は、実験データなど、過去のデータに基づいて、予め設定された値であり、横方向エッジが、目頭ＱＡ／目尻ＱＣの外側に連続しているか否かを判定するための基準値である。また、矩形領域Ａ１〜Ａ１２は、過去のデータ等に基づいて設定される。例えば、矩形領域Ａ１〜Ａ１２の上下方向の長さは、眼の幅の２／３程度にしてもよい。また、メガネフレーム１８の曲線を考慮して、矩形領域Ａ１〜Ａ１２を設定することで、好適にメガネフレーム１８を検出することができる。
【００２４】
眼検出部は、複数の仮想まぶた曲線のうち、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、曲線尤度の高い仮想まぶた曲線を眼の輪郭線として検出する。すなわち、仮想まぶた曲線のうち最も曲線尤度の高いものが眼の輪郭線として検出される。
【００２５】
次に、このように構成された顔画像処理装置１０の作用について説明する。図３は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力し、横ソーベルフィルタ画像を作成する（Ｓ１）。
【００２６】
次に、顔画像処理ＥＣＵ１４は、入力された画像信号に基づいて、目頭ＱＡ／目尻ＱＣのテンプレートマッチング等を行い、運転者の目尻ＱＡ、目頭ＱＣの位置を検出する（Ｓ２）。続いて、顔画像処理ＥＣＵ１４は、まぶた探索領域Ａ１〜Ａ１２を設定する（Ｓ３）。
【００２７】
次に、顔画像処理ＥＣＵ１４は、ＨａａｒＬｉｋｅ特徴量を用いて横連続性評価を行い、まぶた探索領域（矩形領域Ａ１〜Ａ１２）において検出された横方向エッジがメガネフレーム１８に起因する横方向エッジであるか否かを判定する（Ｓ４）。ここでは、矩形領域Ａ１〜Ａ１２内の横ソーベルフィルタの画素値平均を求め、隣接する矩形領域Ａ１〜Ａ１２の画素値平均の差分を算出する。算出された差分が判定閾値以下である場合には、矩形領域Ａ５，Ａ６，Ａ１１，Ａ１２にメガネフレーム１８に起因する横方向エッジが検出されたと判定する。メガネフレーム１８に起因する横方向エッジが検出された場合には、メガネフレーム１８有りと判定し、ステップ１１に進む。一方、メガネフレーム１８に起因する横方向エッジが検出されない場合には、メガネフレーム１８有りと判定せずに、ステップ５に進む。
【００２８】
ステップ５では、顔画像処理ＥＣＵ１４は、尤度の初期化を行い、「尤度＝０」と設定する。続く、ステップ６では、顔画像処理ＥＣＵ１４は、ベジェ曲線を利用して、仮想まぶた曲線を作成し、仮想まぶた曲線上に複数の抽出点を設定する。次に、顔画像処理ＥＣＵ１４は、仮想まぶた曲線上の抽出点Ｑにおいて、横ソーベルフィルタ画像値（横方向エッジのエッジ強度）を取得する（Ｓ７）。次に、顔画像処理ＥＣＵ１４は、ステップ８に進み「尤度＝｜画素値｜」と設定する。
【００２９】
続くステップ９では、設定された全ての抽出点について尤度の設定が終了したか否かを判定する。全ての抽出点について尤度の設定が終了していない場合には、ステップ７〜ステップ９の処理を繰り返し、全ての抽出点について尤度の設定が終了した後に、ステップ１０に進む。ステップ１０では、顔画像処理ＥＣＵ１４は、仮想まぶた曲線上の各抽出点の尤度を合算して、曲線尤度を算出する。算出された曲線尤度は、記憶部に記憶される。
【００３０】
続くステップ１１では、顔画像処理ＥＣＵ１４は、探索範囲において、全ての仮想まぶた曲線の曲線尤度の算出が終了したか否かを判定する。探索範囲において曲線尤度の設定が終了していない場合には、ステップ４〜ステップ１１の処理を繰り返し、作成された分の仮想まぶた曲線の曲線尤度の設定が終了した後に、ステップ１２に進む。
【００３１】
ステップ１２では、顔画像処理ＥＣＵ１４は、作成された複数の仮想まぶた曲線の曲線尤度に基づいて、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、最も曲線尤度の高い仮想まぶた曲線Ｌ１を眼の輪郭線として検出して処理を終了する。すなわち、横連続性評価によって、眼の幅より外側に連続する横方向エッジが検出された場合には、めがねフレーム１８の可能性が高いと判定し、その領域Ａ５，Ａ６，Ａ１１，Ａ１２において、仮想まぶた曲線の設定（眼の輪郭線の探索）を実行しないこととしている。
【００３２】
このような顔画像処理装置１０によれば、眼画像に基づいて推定された目頭ＱＡ／目尻ＱＣの位置（眼の幅）と、眼画像に基づいて抽出された横ソーベルフィルタの画素値（横方向エッジ）とを比較して、横方向エッジが眼の幅より外側に連続しているか否かの判定が行われる。そして、横方向エッジが眼の幅より外側に連続している場合には、当該横方向エッジを眼の輪郭線の候補から除外することで、誤検出が防止され、眼の輪郭線の検出精度の向上が図られている。
【００３３】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。上記実施形態では、図２を用いて、下まぶたに起因する眼の輪郭線の検出について、例示しているが、上まぶたに起因する眼の輪郭線の検出についても同様に実行可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態に係る顔画像処理装置を示す構成図である。
【図２】運転者の顔画像の一例を示すものであり、設定された矩形領域を示すものである。
【図３】本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。
【符号の説明】
【００３５】
１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…メガネフレーム、Ａ１〜Ａ１２…矩形領域、Ｌ１…眼の輪郭線、ＬＡ，ＬＣ…境界線、ＱＡ…目頭、ＱＣ…目尻。
【技術分野】
【０００１】
本発明は、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行う眼画像処理装置に関するものである。
【背景技術】
【０００２】
従来、車両の運転者の顔画像を取得し、取得された顔画像に基づいて画像処理を行い運転者の目を検出する技術が知られている（例えば、特許文献１参照）。この特許文献１に記載の技術では、取得された対象者の眼画像からエッジ抽出によって瞼を検出し、開閉眼の判定を行っている。
【特許文献１】特開２００７−２５７３３２号公報
【特許文献２】特開２００４−３４１９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら上記従来技術では、対象者が眼鏡を着用している場合に、眼鏡フレームに起因するエッジを瞼に起因するエッジとして誤検出してしまうおそれがあり、まぶた曲線の検出精度の向上が求められている。
【０００４】
本発明は、このような課題を解決するために成されたものであり、誤検出を防止して、まぶた曲線の検出精度の向上が図られた眼画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による眼画像処理装置は、眼画像を取得する眼画像取得手段と、眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、眼画像に基づいて目頭及び目尻間の長さである眼の幅を推定する幅推定手段と、幅推定手段によって推定された眼の幅とエッジ抽出手段によって抽出された横方向エッジとを比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定するエッジ幅判定手段と、エッジ幅判定手段によって、横方向エッジが眼の幅より外側に連続していると判定された場合に、横方向エッジを眼の輪郭線の候補から除外して、眼の輪郭線を検出することを特徴とする。
【０００６】
このような眼画像処理装置によれば、眼画像に基づいて推定された眼の幅と、眼画像に基づいて抽出された横方向エッジとを比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定することができる。そのため、横方向エッジが眼の幅より外側に連続している場合に、当該横方向エッジを眼の輪郭線の候補から除外することができ、眼の輪郭線の検出精度を向上させることができる。
【０００７】
ここで、エッジ幅判定手段は、目頭／目尻を通り顔の上下方向に延在する境界線を設定し、境界線の両側の画素値を比較して、横方向エッジが眼の幅より外側に連続しているか否かを判定することが好ましい。
【発明の効果】
【０００８】
本発明によれば、横方向エッジが眼の幅より外側に連続している場合に、当該横方向エッジを眼の輪郭線の候補から除外することができるため、誤検出を防止して眼の輪郭線の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る顔画像処理装置を示す構成図、図２は、運転者の顔画像の一例を示すものであり、設定された矩形領域を示すものである。
【００１０】
図１に示す顔画像処理装置（眼画像処理装置）１０は、車両（以下、「自車両」という）に搭載され運転者Ｄの眼画像を含む顔画像を取得するものである。この顔画像処理装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。
【００１１】
顔画像撮像カメラ（眼画像撮像手段）１２は、例えばコラムカバー１６の上面に設置され、運転者Ｄの眼画像を含む顔画像を取得する。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。
【００１２】
顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの開眼度判定（覚醒度判定）に利用される。
【００１３】
ここで、本発明の顔画像処理装置１０は、顔の横方向に形成された横方向エッジが眼の幅（目頭／目尻間）より外側に連続している場合に、当該横方向エッジをまぶた曲線（眼の輪郭線）の候補から除外する機能を有している。
【００１４】
顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、横ソーベルフィルタ画像作成部（エッジ抽出手段）、目頭目尻検出部（位置検出手段）、連続性評価部（幅推定手段、エッジ幅判定手段）、眼検出部が構成される。
【００１５】
顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータ、その他連続性評価に関するデータなどを記憶する記憶手段として機能する。
【００１６】
また、顔画像処理ＥＣＵ１４は、運転者Ｄの顔向き角度を検出する。例えば、検出された顔の横幅Ｘ、顔中心位置Ｙとの相対位置関係から顔向き角度を算出する。なお、顔向き角度の算出は、既存の技術であり、そのほかの手法を用いて、顔向き角度を検出しても良い。「顔向き角度」としては、運転者Ｄが車両正面を向いている状態を基準とし、この基準に対する角度が挙げられる。
【００１７】
横ソーベルフィルタ画像作成部は、入力された画像信号（顔画像）に基づいて画像処理を行い、運転者の顔画像の横ソーベルフィルタ画像を作成する。具体的には、横ソーベルフィルタ画像作成部は、運転者の顔画像に基づく濃淡画像にソーベルフィルタ処理を行う。ここでは、濃淡画像の画素値に対し、３×３のフィルタ値を掛け、縦方向と横方向のエッジを強調した画像を作成する。例えば３×３のフィルタの値は、上段左側“１”、上段中央“２”、上段右側“１”、中段左側“０”、中段中央“０”、中段右側“０”、下段左側“−１”、下段中央“−２”、下段右側“−１”である。そして、作成された横ソーベルフィルタ画像に基づいて、横方向エッジ（水平エッジ）が検出される。また、眼周辺の横方向エッジは、眼の輪郭線（上まぶた曲線、下まぶた曲線）候補となる。
【００１８】
目頭目尻検出部は、入力された画像信号に基づいて画像処理を行い、既存技術であるテンプレートマッチング手法を用いて、図２に示すように、運転者Ｄの目頭ＱＡ／目尻ＱＣの位置を検出する。ここでは、記憶部に記憶された３次元顔モデルと比較することにより、目頭ＱＡ／目尻ＱＣの位置を検出する。
【００１９】
また、顔画像処理ＥＣＵ１４では、運転者Ｄの眼画像（横ソーベルフィルタ画像）に基づいて、眼の輪郭線の候補となる仮想まぶた曲線を作成することができる。ここでは、例えばベジェ曲線等を利用して、探索範囲内において、目頭ＱＡ／目尻ＱＣを結ぶ複数の仮想まぶた曲線を作成する。なお、探索範囲は、過去のデータ等に基づいて、眼近傍に設定される。
【００２０】
連続性評価部（幅推定手段、エッジ幅判定手段）は、眼画像に基づいて目頭及び目尻間の長さである眼の幅を推定し、推定された眼の幅とエッジ抽出手段によって抽出された横方向エッジとを比較する。このエッジ幅判定部では、眼の幅より外側に横方向エッジが連続する場合には、当該横方向エッジは、メガネフレーム１８に起因する横方向エッジの可能性が高いと判定する。そして、眼の幅より外側に連続している横方向エッジを眼の輪郭線の候補から除外する。
【００２１】
本実施形態の連続性評価部では、単純なＨａａｒＬｉｋｅ特徴量を用いて、横方向エッジが目尻ＱＡ／目頭ＱＣより外側に連続しているか否かを判定し、横連続性評価を行っている。具体的には、目頭ＱＡ／目尻ＱＣを通り顔の上下方向に延在する境界線ＬＡ，ＬＢを各々設定し、この境界線ＬＡ，ＬＢを挟んで両側に矩形領域Ａ１〜Ａ１２を設定する。そして、連続性評価部では、矩形領域Ａ１〜Ａ１２ごとに画素値平均を求め、境界線を挟んで隣接する矩形領域の画素値平均の差分を算出する。
【００２２】
例えば、眼の輪郭線に起因する横方向エッジを検出している場合には、矩形領域の画素値平均に差分が生じるはずであり、差分が判定閾値以下である場合には、目頭ＱＡ／目尻ＱＣの外側へ連続する横方向エッジを検出していると判定することができる。そして、この場合、メガネフレーム１８であると判定し、当該矩形領域において、輪郭線の探索を実行しないことで、演算負荷の増大を抑制することができる。
【００２３】
なお、上記の判定閾値は、実験データなど、過去のデータに基づいて、予め設定された値であり、横方向エッジが、目頭ＱＡ／目尻ＱＣの外側に連続しているか否かを判定するための基準値である。また、矩形領域Ａ１〜Ａ１２は、過去のデータ等に基づいて設定される。例えば、矩形領域Ａ１〜Ａ１２の上下方向の長さは、眼の幅の２／３程度にしてもよい。また、メガネフレーム１８の曲線を考慮して、矩形領域Ａ１〜Ａ１２を設定することで、好適にメガネフレーム１８を検出することができる。
【００２４】
眼検出部は、複数の仮想まぶた曲線のうち、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、曲線尤度の高い仮想まぶた曲線を眼の輪郭線として検出する。すなわち、仮想まぶた曲線のうち最も曲線尤度の高いものが眼の輪郭線として検出される。
【００２５】
次に、このように構成された顔画像処理装置１０の作用について説明する。図３は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力し、横ソーベルフィルタ画像を作成する（Ｓ１）。
【００２６】
次に、顔画像処理ＥＣＵ１４は、入力された画像信号に基づいて、目頭ＱＡ／目尻ＱＣのテンプレートマッチング等を行い、運転者の目尻ＱＡ、目頭ＱＣの位置を検出する（Ｓ２）。続いて、顔画像処理ＥＣＵ１４は、まぶた探索領域Ａ１〜Ａ１２を設定する（Ｓ３）。
【００２７】
次に、顔画像処理ＥＣＵ１４は、ＨａａｒＬｉｋｅ特徴量を用いて横連続性評価を行い、まぶた探索領域（矩形領域Ａ１〜Ａ１２）において検出された横方向エッジがメガネフレーム１８に起因する横方向エッジであるか否かを判定する（Ｓ４）。ここでは、矩形領域Ａ１〜Ａ１２内の横ソーベルフィルタの画素値平均を求め、隣接する矩形領域Ａ１〜Ａ１２の画素値平均の差分を算出する。算出された差分が判定閾値以下である場合には、矩形領域Ａ５，Ａ６，Ａ１１，Ａ１２にメガネフレーム１８に起因する横方向エッジが検出されたと判定する。メガネフレーム１８に起因する横方向エッジが検出された場合には、メガネフレーム１８有りと判定し、ステップ１１に進む。一方、メガネフレーム１８に起因する横方向エッジが検出されない場合には、メガネフレーム１８有りと判定せずに、ステップ５に進む。
【００２８】
ステップ５では、顔画像処理ＥＣＵ１４は、尤度の初期化を行い、「尤度＝０」と設定する。続く、ステップ６では、顔画像処理ＥＣＵ１４は、ベジェ曲線を利用して、仮想まぶた曲線を作成し、仮想まぶた曲線上に複数の抽出点を設定する。次に、顔画像処理ＥＣＵ１４は、仮想まぶた曲線上の抽出点Ｑにおいて、横ソーベルフィルタ画像値（横方向エッジのエッジ強度）を取得する（Ｓ７）。次に、顔画像処理ＥＣＵ１４は、ステップ８に進み「尤度＝｜画素値｜」と設定する。
【００２９】
続くステップ９では、設定された全ての抽出点について尤度の設定が終了したか否かを判定する。全ての抽出点について尤度の設定が終了していない場合には、ステップ７〜ステップ９の処理を繰り返し、全ての抽出点について尤度の設定が終了した後に、ステップ１０に進む。ステップ１０では、顔画像処理ＥＣＵ１４は、仮想まぶた曲線上の各抽出点の尤度を合算して、曲線尤度を算出する。算出された曲線尤度は、記憶部に記憶される。
【００３０】
続くステップ１１では、顔画像処理ＥＣＵ１４は、探索範囲において、全ての仮想まぶた曲線の曲線尤度の算出が終了したか否かを判定する。探索範囲において曲線尤度の設定が終了していない場合には、ステップ４〜ステップ１１の処理を繰り返し、作成された分の仮想まぶた曲線の曲線尤度の設定が終了した後に、ステップ１２に進む。
【００３１】
ステップ１２では、顔画像処理ＥＣＵ１４は、作成された複数の仮想まぶた曲線の曲線尤度に基づいて、曲線尤度の低い仮想まぶた曲線を眼の輪郭線の候補から除外し、最も曲線尤度の高い仮想まぶた曲線Ｌ１を眼の輪郭線として検出して処理を終了する。すなわち、横連続性評価によって、眼の幅より外側に連続する横方向エッジが検出された場合には、めがねフレーム１８の可能性が高いと判定し、その領域Ａ５，Ａ６，Ａ１１，Ａ１２において、仮想まぶた曲線の設定（眼の輪郭線の探索）を実行しないこととしている。
【００３２】
このような顔画像処理装置１０によれば、眼画像に基づいて推定された目頭ＱＡ／目尻ＱＣの位置（眼の幅）と、眼画像に基づいて抽出された横ソーベルフィルタの画素値（横方向エッジ）とを比較して、横方向エッジが眼の幅より外側に連続しているか否かの判定が行われる。そして、横方向エッジが眼の幅より外側に連続している場合には、当該横方向エッジを眼の輪郭線の候補から除外することで、誤検出が防止され、眼の輪郭線の検出精度の向上が図られている。
【００３３】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。上記実施形態では、図２を用いて、下まぶたに起因する眼の輪郭線の検出について、例示しているが、上まぶたに起因する眼の輪郭線の検出についても同様に実行可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態に係る顔画像処理装置を示す構成図である。
【図２】運転者の顔画像の一例を示すものであり、設定された矩形領域を示すものである。
【図３】本発明の実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。
【符号の説明】
【００３５】
１０…顔画像処理装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…メガネフレーム、Ａ１〜Ａ１２…矩形領域、Ｌ１…眼の輪郭線、ＬＡ，ＬＣ…境界線、ＱＡ…目頭、ＱＣ…目尻。
【特許請求の範囲】
【請求項１】
眼画像を取得する眼画像取得手段と、
前記眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、
前記眼画像に基づいて目頭及び目尻間の長さである眼の幅を推定する幅推定手段と、
前記幅推定手段によって推定された前記眼の幅と前記エッジ抽出手段によって抽出された横方向エッジとを比較して、前記横方向エッジが前記眼の幅より外側に連続しているか否かを判定するエッジ幅判定手段と、
前記エッジ幅判定手段によって、前記横方向エッジが前記眼の幅より外側に連続していると判定された場合に、前記横方向エッジを眼の輪郭線の候補から除外して、眼の輪郭線を検出すること特徴とする眼画像処理装置。
【請求項２】
前記エッジ幅判定手段は、前記目頭／目尻を通り顔の上下方向に延在する境界線を設定し、前記境界線の両側の画素値を比較して、前記横方向エッジが前記眼の幅より外側に連続しているか否かを判定することを特徴とする請求項１記載の眼画像処理装置。
【請求項１】
眼画像を取得する眼画像取得手段と、
前記眼画像に基づいて横方向エッジを抽出するエッジ抽出手段と、
前記眼画像に基づいて目頭及び目尻間の長さである眼の幅を推定する幅推定手段と、
前記幅推定手段によって推定された前記眼の幅と前記エッジ抽出手段によって抽出された横方向エッジとを比較して、前記横方向エッジが前記眼の幅より外側に連続しているか否かを判定するエッジ幅判定手段と、
前記エッジ幅判定手段によって、前記横方向エッジが前記眼の幅より外側に連続していると判定された場合に、前記横方向エッジを眼の輪郭線の候補から除外して、眼の輪郭線を検出すること特徴とする眼画像処理装置。
【請求項２】
前記エッジ幅判定手段は、前記目頭／目尻を通り顔の上下方向に延在する境界線を設定し、前記境界線の両側の画素値を比較して、前記横方向エッジが前記眼の幅より外側に連続しているか否かを判定することを特徴とする請求項１記載の眼画像処理装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−９１４０（Ｐ２０１０−９１４０Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６４９４１（Ｐ２００８−１６４９４１）
【出願日】平成２０年６月２４日（２００８．６．２４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２４日（２００８．６．２４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]