開眼状態検出装置
【課題】開眼状態の検出精度低下を防止することができる開眼状態検出装置を提供する。
【解決手段】画像情報に基づいて開眼状態を検出する開眼状態検出装置１であって、前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼候補選定部２３及び瞼検出部２４と、上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出部２５と、を備え、瞼候補選定部２３及び瞼検出部２４は、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることを特徴として構成する。
【解決手段】画像情報に基づいて開眼状態を検出する開眼状態検出装置１であって、前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼候補選定部２３及び瞼検出部２４と、上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出部２５と、を備え、瞼候補選定部２３及び瞼検出部２４は、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることを特徴として構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、開眼状態を検出する装置に関するものである。
【背景技術】
【０００２】
従来、開眼状態を検出する装置として、画像情報を用いて開眼状態を検出するものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、瞳孔を通り上下に延びる計測列において画素の濃度値を検出し、濃度値の変化に基づいて上瞼の下端及び下瞼の上端を検出し、両端の間隔を眼の開度として検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１０２５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置にあっては、撮像環境によっては開眼状態を正確に検出できないおそれがある。
【０００５】
そこで、本発明はこのような技術課題を解決するためになされたものであって、開眼状態の検出精度低下を防止することができる開眼状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち本発明に係る開眼状態検出装置は、画像情報に基づいて開眼状態を検出する開眼状態検出装置であって、前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼検出手段と、上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出手段と、を備え、前記瞼検出手段は、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることを特徴として構成される。
【０００７】
本発明に係る開眼状態検出装置では、瞼検出手段により、赤目領域の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくして上瞼の位置又は下瞼の位置が検出される。このため、撮像された眼に赤目領域が含まれている場合であっても赤目領域の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができるので、開眼状態の検出精度低下を防止することが可能となる。
【０００８】
ここで、前記瞼検出手段は、目尻及び目頭を結ぶ曲線に基づいて上瞼の位置又は下瞼の位置を検出してもよい。また、前記瞼検出手段は、前記曲線上のエッジ強度又は前記曲線の両側に位置する領域の濃淡差に基づいて上瞼の下端又は下瞼の上端を通過する曲線を取得してもよい。
【０００９】
また、前記瞼検出手段は、目尻と目頭との中心を含む中心領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることが好適である。このように構成することで、赤目領域の位置を検出することなく、赤目領域の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができる。
【００１０】
さらに、前記瞼検出手段は、前記中心領域の前記画像情報の重みを他の領域の画像情報よりも小さくする、又は、前記中心領域の前記画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外することが好適である。このように構成することで、中心領域の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくすることができる。
【発明の効果】
【００１１】
本発明によれば、開眼状態の検出精度低下を防止することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る開眼状態検出装置を備える車両の構成概要を示すブロック図である。
【図２】実施形態に係る開眼状態検出装置の動作を示すフローチャートである。
【図３】実施形態に係る開眼状態検出装置の入力画像の一例である。
【図４】実施形態に係る開眼状態検出装置の顔特徴量検出処理を説明する概要図である。
【図５】顔姿勢を説明する概要図である。
【図６】実施形態に係る開眼状態検出装置の瞼候補を説明する概要図である。
【図７】瞼候補選定処理を説明する概要図である。
【図８】濃淡差の算出を説明する概要図である。
【図９】濃淡差を用いた瞼候補選定処理を説明する概要図である。
【図１０】エッジ強度を用いた瞼候補選定処理を説明する概要図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１４】
本実施形態に係る開眼状態検出装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。なお、開眼状態とは、眼の開度又は開眼の有無等である。
【００１５】
最初に、本実施形態に係る開眼状態検出装置を備える車両の概要から説明する。図１は、本実施形態に係る開眼状態検出装置１を備える車両の概要図である。図１に示す車両３は、画像センサ３１及びＥＣＵ（Electronic Control Unit）２を備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
【００１６】
画像センサ３１は、運転者の画像を撮像するセンサである。画像センサ３１として、例えばＣＣＤカメラ等が用いられる。また、画像センサ３１は、撮像した画像情報をＥＣＵ２へ出力する機能を有している。
【００１７】
ＥＣＵ２は、画像センサ３１に接続されており、顔位置検出部２０、顔特徴点検出部２１、顔姿勢推定部２２、瞼候補選定部（瞼検出手段）２３、瞼検出部（瞼検出手段）２４及び開眼状態検出部（開眼状態検出手段）２５を備えている。
【００１８】
顔位置検出部２０は、画像センサ３１が出力した画像に写された顔の位置を検出する機能を有している。例えば、顔位置検出部２０は、ブースティング又はニューラルネットワーク等の統計手法を用いて運転者の顔位置を画像の中から発見する。また、顔位置検出部２０は、発見された顔位置を顔特徴点検出部２１へ出力する機能を有している。
【００１９】
顔特徴点検出部２１は、顔位置検出部２０により発見された顔位置の画像領域の中から、顔の特徴点を検出する機能を有している。例えば、顔特徴点検出部２１は、ブースティング又はニューラルネットワーク等の統計手法を用いて運転者の顔の特徴点を発見する。顔特徴点としては、例えば、目尻、目頭、鼻腔中心、口端等が用いられる。顔特徴点検出部２１は、検出された顔特徴点を顔姿勢推定部２２及び瞼候補選定部２３へ出力する機能を有している。
【００２０】
顔姿勢推定部２２は、顔特徴点検出部２１により出力された顔特徴点に基づいて、画像に映された顔の姿勢を検出する機能を有している。例えば、顔姿勢推定部２２は、検出された顔特徴点の座標位置に顔の３Ｄモデルをフィッティングさせて運転者の位置、向きを算出する。また、顔姿勢推定部２２は、検出された顔姿勢を瞼候補選定部２３へ出力する機能を有している。
【００２１】
瞼候補選定部２３は、瞼の候補となる曲線を選定する機能を有している。例えば、瞼候補選定部２３は、顔姿勢推定部２２により検出された顔姿勢において、顔特徴点検出部２１が出力した顔特徴点の特徴量（目尻及び目頭）に基づいて、複数の曲線を算出して画像（濃淡画像）に投影する機能を有している。そして、瞼候補選定部２３は、投影された曲線周辺の濃淡差を算出し、算出した濃淡差に基づいて投影された曲線の中から瞼の候補となる曲線を選定する機能を有している。ここで、瞼候補選定部２３は、瞳孔を透過した光が網膜で反射されて発生する赤目領域が存在する確率の高い領域（目尻と目頭との中心を含む中心領域）については、他の領域（中心領域以外の領域）に比べて、判定結果に与える影響が小さくなるように濃淡差を算出する機能を有している。例えば、瞼候補選定部２３は、濃淡差を算出する際に、赤目領域が存在する確率の高い曲線中心付近について計算の対象から除外する機能を有している。なお、赤目領域には、撮像の際に投光された光がそのまま反射されて映り込んだ反射領域を含む。また、中心領域は、例えばシミュレーション等の結果に基づいて予め定められた範囲が用いられる。また、瞼候補選定部２３は、選定した瞼候補の曲線を瞼検出部２４へ出力する機能を有している。
【００２２】
瞼検出部２４は、瞼候補選定部２３により選定された瞼候補の曲線に基づいて上瞼の下端及び下瞼の上端を検出する機能を有している。例えば、瞼検出部２４は、瞼候補の曲線が存在する画像領域からエッジ画像を生成し、生成されたエッジ画像上に瞼候補の曲線を投影する機能を有している。そして、瞼検出部２４は、曲線上に存在するエッジ強度の総和を曲線ごとにそれぞれ算出し、瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を瞼として検出する。なお、上下の瞼を検出するため、最初に、瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を取得し、その後、取得した曲線を除いた瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を取得する。ここで、瞼検出部２４は、赤目領域が存在する確率の高い中心領域については、他の領域に比べて判定結果に与える影響が小さくなるようにエッジ強度を算出する機能を有している。例えば、瞼検出部２４は、曲線位置に応じてエッジ強度に対して重みを積算し、曲線上のエッジ強度の総和を算出する機能を有している。瞼検出部２４は、例えば中心領域付近のエッジ強度の重みを、中心領域付近以外の領域のエッジ強度の重みに比べて小さくすることにより、赤目領域の存在が判定結果に与える影響を小さくすることができる。また、瞼検出部２４は、検出した上瞼の下端及び下瞼の上端を開眼状態検出部２５へ出力する機能を有している。
【００２３】
開眼状態検出部２５は、運転者の眼が開いている度合いを示す開眼度を算出する機能を有している。開眼状態検出部２５は、瞼検出部２４により検出された上瞼の下端及び下瞼の上端に基づいて、運転者の眼が開いている度合いを示す開眼度を検出する機能を有している。例えば、開眼状態検出部２５は、上瞼の下端の位置と下瞼の上端の位置との差分を用いて開眼度を算出する。算出された開眼度は、開眼の有無の判定や、居眠り判定等の入力情報として用いられる。
【００２４】
上述した顔位置検出部２０、顔特徴点検出部２１、顔姿勢推定部２２、瞼候補選定部２３、瞼検出部２４及び開眼状態検出部２５を備えて開眼状態検出装置１は構成される。
【００２５】
次に、本実施形態に係る開眼状態検出装置１の動作について説明する。図２は、本実施形態に係る開眼状態検出装置１の開眼状態検出動作を示すフローチャートである。図２に示す制御処理は、例えばイグニッションオンされたタイミングから所定の間隔で繰り返し実行される。
【００２６】
図２に示すように、開眼状態検出装置１は、最初に顔位置検出処理から開始する（Ｓ１０）。Ｓ１０の処理では、顔位置検出部２０が画像センサ３１から画像を入力して、運転者の顔位置を検出する。例えば、顔位置検出部２０は、図３に示す運転者の顔が写された画像Ｆ１を入力する。そして、顔位置検出部２０は、ニューラルネットワークを用いて入力した画像Ｆ１全体の範囲を探索して顔位置を発見する。なお、顔位置を発見するアルゴリズムは、ニューラルネットワークに限られる事は無く、Ｂｏｏｓｔｉｎｇ等の他の手法であってもよい。Ｓ１０の処理が終了すると、顔特徴点検出処理へ移行する（Ｓ１２）。
【００２７】
Ｓ１２の処理では、顔特徴点検出部２１が、Ｓ１０の処理で入力された画像Ｆ１のうち、顔を含む所定領域の画像（顔の存在範囲の画像領域）に対して、ニューラルネットワーク等を用いて顔の特徴点の位置を検出する。この処理について、図４を用いて説明する。図４は、顔を含む所定領域の画像Ｇ１に対する特徴点検出処理を説明するための概要図である。図４に示す画像Ｇ１は、Ｓ１０の処理で入力された画像Ｆ１の一部である。顔特徴点検出部２１は、例えば図４に示すように、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等を特徴点Ｈとして検出する。なお、特徴点を検出するアルゴリズムは、ニューラルネットワークに限られる事は無く、Ｂｏｏｓｔｉｎｇ等の他の手法であってもよい。Ｓ１２の処理が終了すると、顔姿勢推定処理へ移行する（Ｓ１４）。
【００２８】
Ｓ１４の処理では、顔姿勢推定部２２が、Ｓ１２の処理で得られた顔特徴点に基づいて、顔姿勢を推定する。この処理について、図５を用いて説明する。図５は、３Ｄ顔モデルの一例を示す概要図である。図５に示すように、顔の上下方向に沿ったＹｍ方向、顔の左右方向に沿ったＸｍ方向、顔の前後方向に沿ったＺｍ方向において頭部回転中心からの距離を特徴点ごとに保持したものを３Ｄ顔モデルとしている。Ｙｍ軸周りの回転をヨー、Ｘｍ軸周りの回転をピッチ、Ｚｍ軸周りの回転をロールとしている。顔姿勢推定部２２は、図５に示すように、３Ｄ顔モデルを図４の画像Ｇ１に示す顔特徴点にフィッティングさせて最も一致するときの位置及び回転（ヨー、ピッチ、ロール）をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。Ｓ１４の処理が終了すると、瞼候補選定処理へ移行する（Ｓ１６）。
【００２９】
Ｓ１６の処理では、瞼候補選定部２３が、複数の曲線を濃淡画像上に投影して瞼候補の選定を行う。この処理について、図６〜９を用いて説明する。図６〜９は、瞼候補選定処理を説明するための概要図である。図６に示すように、瞼候補選定部２３は、Ｓ１２の処理で得られた顔特徴点である目尻Ｈ１，目頭Ｈ２を結ぶ複数の曲線ＱＮ（Ｎ：整数）を作成し、作成した曲線ＱＮを目尻Ｈ１，目頭Ｈ２含む濃淡画像の所定領域Ｇ２に対して投影する。曲線ＱＮとして、例えば、ベジェ曲線が用いられる。次に、瞼候補選定部２３は、曲線ＱＮの両側に位置する領域の濃淡差に基づいて、曲線ＱＮが眼領域と肌領域との境界上に存在するか否かを判断する。瞼候補選定部２３は、曲線ＱＮの両側に位置する領域の濃淡差が所定値以上であれば、曲線ＱＮが眼領域と肌領域との境界上に存在すると判定する。ここで、瞼候補選定部２３は、曲線ＱＮを複数の線分に分割して各線分に対して濃淡差の判定を行う。例えば、図７の（ａ）に示す曲線ＱＮを、図７の（ｂ）に示すようにブロック単位で分割する。ブロックＢＮ（Ｎ：整数）は、大きさがそれぞれ同一であって、曲線ＱＮによって分割され両側に位置するブロック内領域の大きさがほぼ等しくなるように設定される。図中では曲線ＱＮを、Ｂ１〜Ｂ１０までの１０個のブロックで分割している。そして、瞼候補選定部２３は、図７の（ｃ）に示すように、曲線ＱＮを構成する線分のうち目尻Ｈ１と目頭Ｈ２との中心を含む中心領域Ｄを通過するブロックＢ５〜Ｂ７については濃淡差の演算の処理対象とせず、ブロックＢ１〜Ｂ４，Ｂ８〜Ｂ１０についてのみ濃淡差の演算の処理対象とする。すなわち、赤目領域（反射領域含む）の画像情報が瞼選定の判定結果に影響を与えないように、赤目領域が発生する可能性の高い中心領域Ｄの画像情報については濃淡差を判断する情報から除外する。なお、赤目領域が発生する可能性の高い中心領域Ｄについては、予めシミュレーション等により得られた値が用いられ、ここでは目尻Ｈ１と目頭Ｈ２との間において、目尻Ｈ１と目頭Ｈ２との中心を含む３５％の範囲を用いている。
【００３０】
次に、各ブロックの濃淡差の演算について図８を用いて説明する。図８では、ブロックＢ１を一例として示している。図８に示すように、ブロックＢ１は、曲線Ｑの両側に位置する領域Ｂ１ａ，Ｂ１ｂを有している。瞼候補選定部２３は、領域Ｂ１ａの濃淡及び領域Ｂ１ｂの濃淡を算出し、その差分を演算する。そして、瞼候補選定部２３は、算出された各ブロックの濃淡差が所定値以上の濃淡差であるか否かをブロックごとに判断する。そして、ブロックの濃淡差が所定値以上であるブロック数をカウントし、カウントされたブロック数が所定値未満であれば瞼候補から除外し、カウントされたブロック数が所定値以上であれば瞼候補として選定する。この処理について図９を用いて説明する。図９は、瞼候補の選定を説明する概要図である。図９では、赤目領域Ｒｅ１及び反射領域Ｌｅ１が発生した眼において、一例として曲線Ｑ１，Ｑ２について判定する例を示している。図９に示すように、曲線Ｑ１については、眼領域と瞼領域の境界上に位置しているため、各ブロックで演算された濃淡差はそれぞれ所定値以上となる。従って、瞼候補選定部２３は、曲線Ｑ１については条件を満たすブロックとしてカウントしたブロック数が所定値よりも大きいと判断し、曲線Ｑ１を瞼候補として選定する。一方、曲線Ｑ２は、眼領域と瞼領域の境界上に位置していないため、各ブロックの濃淡差が所定値以上とならず、瞼候補として選定されない。瞼候補選定部２３は、上述した瞼候補の選定を左右の眼について行う。Ｓ１６の処理が終了すると、瞼検出処理へ移行する（Ｓ１８）。
【００３１】
Ｓ１８の処理では、瞼検出部２４が、Ｓ１６の処理で取得した瞼候補に基づいて瞼を検出する。この処理について、図１０を用いて説明する。図１０は、エッジ強度により瞼を検出する例を説明する概要図である。図１０に示すように、例えば、瞼検出部２４は、Ｓ１２の処理で検出された顔特徴点である目尻Ｈ１，目頭Ｈ２を含む一定領域に対してソーベルフィルタ等を適用して、エッジを強調した画像であるエッジ画像Ｇ３を生成する。そして、Ｓ１６の処理で選定された瞼候補の曲線ＱＮを生成したエッジ画像Ｇ３へ投影し、曲線ＱＮ上のエッジの強度（エッジ画像の画素値の和）を算出する。ここで、瞼検出部２４は、赤目領域が存在する可能性が高い中心領域Ｄのエッジ強度については、他の領域のエッジ強度に比べて重みを軽くして演算を行う。例えば、エッジ画像Ｇ３の位置と重みとの関係を示す図１０のグラフのように、中心領域Ｄのエッジ強度の重みをＸ（Ｘ＜１）とし、その他の領域については、エッジ強度の重みを１として設定する。そして、瞼候補の曲線についてエッジ強度の和を全て算出し、エッジ強度の和が最も大きいもの、次に大きいものを瞼として検出する。なお、重みの与え方は図１０に示すものに限られるものではなく、中心領域Ｄの重みが他の領域よりも小さければ、効果を奏することができる。瞼検出部２４は、上述した瞼の検出を左右の眼について行う。Ｓ１８の処理が終了すると、開眼状態検出処理へ移行する（Ｓ２０）。
【００３２】
Ｓ２０の処理では、開眼状態検出部２５が、Ｓ１８の処理で取得された上瞼の下端の位置及び下瞼の上端の位置に基づいて、開眼状態を検出する。例えば、開眼状態検出部２５は、上瞼の下端及び下瞼の上端に基づいて開眼度を検出する。Ｓ２０の処理が終了すると、図２に示す制御処理を終了する。
【００３３】
以上で図２に示す制御処理を終了する。図２に示す制御処理を実行することにより、エッジ情報と濃淡情報の両方を利用して赤目領域の検出を行わずに瞼の検知を直接行うことができる。例えば、目尻Ｈ１及び目頭Ｈ２を結ぶ曲線ＱＮとエッジ画像とのフィッティング度合い（エッジ強度）を算出する際に、曲線ＱＮ上の各点に重みを導入し中心領域Ｄの重みを低く設定することで、赤目領域の画像情報によって判定結果に与えられる影響が小さくされる。また、濃淡情報（眼領域と肌領域の濃淡差）を用いて瞼を判定する際に、中心領域Ｄの画像情報を利用しないことで、赤目領域の画像情報によって判定結果に与えられる影響が小さくされる。このため、赤目領域が発生しやすい夜間に撮像された画像であっても、開眼状態の検出精度低下を防止することができる。
【００３４】
ところで、赤目領域は、ソーベルフィルタを用いてエッジの抽出をすると瞼の探索の際に赤目領域の外縁に発生するエッジに強く反応する。このため、赤目領域の外縁を瞼候補として誤検知することを回避すべく、例えば赤目領域を検知して赤目領域周辺の不要なエッジを瞼候補から除外する手法が考えられる。しかしながら、反射領域等、赤目領域とは別の類似したパターンが赤目領域探索範囲に存在すると反射領域を赤目領域であると誤検知するおそれがある。
【００３５】
これに対して、本実施形態に係る開眼状態検出装置１によれば、瞼候補選定部２３及び瞼検出部２４により、赤目領域Ｒｅ１の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくして上瞼の位置又は下瞼の位置が検出される。このため、撮像された眼に赤目領域Ｒｅ１が含まれている場合であっても赤目領域Ｒｅ１の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができるので、開眼状態の検出精度低下を防止することが可能となる。また、本実施形態に係る開眼状態検出装置１によれば、瞼候補選定部２３及び瞼検出部２４により、目尻Ｈ１と目頭Ｈ２との中心を含む中心領域Ｄの画像情報によって検出結果に与えられる影響が他の領域の画像情報よりも小さくされるので、赤目領域Ｒｅ１の位置を検出することなく、赤目領域Ｒｅ１の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができる。
【００３６】
なお、上述した実施形態は本発明に係る開眼状態検出装置の一例を示すものである。本発明に係る開眼状態検出装置は、実施形態に係る開眼状態検出装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る開眼状態検出装置を変形し、又は他のものに適用したものであってもよい。
【００３７】
例えば、上述した実施形態では、Ｓ１６の処理で濃淡情報に基づいて瞼候補を選定し、Ｓ１８の処理でエッジ情報に基づいて瞼を検出する例を説明したが、目尻Ｈ１及び目頭Ｈ２を結ぶ曲線を目尻Ｈ１及び目頭Ｈ２を含む一定領域に対して投影した後に、Ｓ１８の処理をＳ１６の処理よりも先に実行して、瞼候補をエッジ強度の総和が一定値上であることを条件に選定してから、一定値以上の濃淡差を満たすブロックの数が最も多い曲線を瞼として検出してもよい。
【００３８】
また、上述した実施形態では、Ｓ１６の処理で濃淡情報に基づいて瞼候補を選定し、Ｓ１８の処理でエッジ情報に基づいて瞼を検出する例を説明したが、目尻Ｈ１及び目頭Ｈ２を結ぶ曲線を目尻Ｈ１及び目頭Ｈ２を含む一定領域に対して投影した後に、Ｓ１６の処理とＳ１８の処理とを同時に実行し、エッジ強度の条件と、濃淡差の条件を同時に満たす場合に瞼として検出してもよい。
【００３９】
さらに、上述した実施形態では、開眼状態検出装置１が、顔位置検出部２０、顔特徴点検出部２１、顔姿勢推定部２２、瞼候補選定部２３、瞼検出部２４及び開眼状態検出部２５を備える例を説明したが、顔位置検出部２０、顔特徴点検出部２１及び顔姿勢推定部２２は、必要に応じて備えればよい。
【符号の説明】
【００４０】
１…開眼状態検出装置、２…ＥＣＵ、３…車両、２０…顔位置検出部、２１…顔特徴点検出部、２２…顔姿勢推定部、２３…瞼候補選定部（瞼検出手段）、２４…瞼検出部（瞼検出手段）、２５…開眼状態検出部（開眼状態検出手段）、３１…画像センサ。
【技術分野】
【０００１】
本発明は、開眼状態を検出する装置に関するものである。
【背景技術】
【０００２】
従来、開眼状態を検出する装置として、画像情報を用いて開眼状態を検出するものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、瞳孔を通り上下に延びる計測列において画素の濃度値を検出し、濃度値の変化に基づいて上瞼の下端及び下瞼の上端を検出し、両端の間隔を眼の開度として検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１０２５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置にあっては、撮像環境によっては開眼状態を正確に検出できないおそれがある。
【０００５】
そこで、本発明はこのような技術課題を解決するためになされたものであって、開眼状態の検出精度低下を防止することができる開眼状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち本発明に係る開眼状態検出装置は、画像情報に基づいて開眼状態を検出する開眼状態検出装置であって、前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼検出手段と、上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出手段と、を備え、前記瞼検出手段は、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることを特徴として構成される。
【０００７】
本発明に係る開眼状態検出装置では、瞼検出手段により、赤目領域の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくして上瞼の位置又は下瞼の位置が検出される。このため、撮像された眼に赤目領域が含まれている場合であっても赤目領域の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができるので、開眼状態の検出精度低下を防止することが可能となる。
【０００８】
ここで、前記瞼検出手段は、目尻及び目頭を結ぶ曲線に基づいて上瞼の位置又は下瞼の位置を検出してもよい。また、前記瞼検出手段は、前記曲線上のエッジ強度又は前記曲線の両側に位置する領域の濃淡差に基づいて上瞼の下端又は下瞼の上端を通過する曲線を取得してもよい。
【０００９】
また、前記瞼検出手段は、目尻と目頭との中心を含む中心領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすることが好適である。このように構成することで、赤目領域の位置を検出することなく、赤目領域の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができる。
【００１０】
さらに、前記瞼検出手段は、前記中心領域の前記画像情報の重みを他の領域の画像情報よりも小さくする、又は、前記中心領域の前記画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外することが好適である。このように構成することで、中心領域の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくすることができる。
【発明の効果】
【００１１】
本発明によれば、開眼状態の検出精度低下を防止することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る開眼状態検出装置を備える車両の構成概要を示すブロック図である。
【図２】実施形態に係る開眼状態検出装置の動作を示すフローチャートである。
【図３】実施形態に係る開眼状態検出装置の入力画像の一例である。
【図４】実施形態に係る開眼状態検出装置の顔特徴量検出処理を説明する概要図である。
【図５】顔姿勢を説明する概要図である。
【図６】実施形態に係る開眼状態検出装置の瞼候補を説明する概要図である。
【図７】瞼候補選定処理を説明する概要図である。
【図８】濃淡差の算出を説明する概要図である。
【図９】濃淡差を用いた瞼候補選定処理を説明する概要図である。
【図１０】エッジ強度を用いた瞼候補選定処理を説明する概要図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１４】
本実施形態に係る開眼状態検出装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。なお、開眼状態とは、眼の開度又は開眼の有無等である。
【００１５】
最初に、本実施形態に係る開眼状態検出装置を備える車両の概要から説明する。図１は、本実施形態に係る開眼状態検出装置１を備える車両の概要図である。図１に示す車両３は、画像センサ３１及びＥＣＵ（Electronic Control Unit）２を備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
【００１６】
画像センサ３１は、運転者の画像を撮像するセンサである。画像センサ３１として、例えばＣＣＤカメラ等が用いられる。また、画像センサ３１は、撮像した画像情報をＥＣＵ２へ出力する機能を有している。
【００１７】
ＥＣＵ２は、画像センサ３１に接続されており、顔位置検出部２０、顔特徴点検出部２１、顔姿勢推定部２２、瞼候補選定部（瞼検出手段）２３、瞼検出部（瞼検出手段）２４及び開眼状態検出部（開眼状態検出手段）２５を備えている。
【００１８】
顔位置検出部２０は、画像センサ３１が出力した画像に写された顔の位置を検出する機能を有している。例えば、顔位置検出部２０は、ブースティング又はニューラルネットワーク等の統計手法を用いて運転者の顔位置を画像の中から発見する。また、顔位置検出部２０は、発見された顔位置を顔特徴点検出部２１へ出力する機能を有している。
【００１９】
顔特徴点検出部２１は、顔位置検出部２０により発見された顔位置の画像領域の中から、顔の特徴点を検出する機能を有している。例えば、顔特徴点検出部２１は、ブースティング又はニューラルネットワーク等の統計手法を用いて運転者の顔の特徴点を発見する。顔特徴点としては、例えば、目尻、目頭、鼻腔中心、口端等が用いられる。顔特徴点検出部２１は、検出された顔特徴点を顔姿勢推定部２２及び瞼候補選定部２３へ出力する機能を有している。
【００２０】
顔姿勢推定部２２は、顔特徴点検出部２１により出力された顔特徴点に基づいて、画像に映された顔の姿勢を検出する機能を有している。例えば、顔姿勢推定部２２は、検出された顔特徴点の座標位置に顔の３Ｄモデルをフィッティングさせて運転者の位置、向きを算出する。また、顔姿勢推定部２２は、検出された顔姿勢を瞼候補選定部２３へ出力する機能を有している。
【００２１】
瞼候補選定部２３は、瞼の候補となる曲線を選定する機能を有している。例えば、瞼候補選定部２３は、顔姿勢推定部２２により検出された顔姿勢において、顔特徴点検出部２１が出力した顔特徴点の特徴量（目尻及び目頭）に基づいて、複数の曲線を算出して画像（濃淡画像）に投影する機能を有している。そして、瞼候補選定部２３は、投影された曲線周辺の濃淡差を算出し、算出した濃淡差に基づいて投影された曲線の中から瞼の候補となる曲線を選定する機能を有している。ここで、瞼候補選定部２３は、瞳孔を透過した光が網膜で反射されて発生する赤目領域が存在する確率の高い領域（目尻と目頭との中心を含む中心領域）については、他の領域（中心領域以外の領域）に比べて、判定結果に与える影響が小さくなるように濃淡差を算出する機能を有している。例えば、瞼候補選定部２３は、濃淡差を算出する際に、赤目領域が存在する確率の高い曲線中心付近について計算の対象から除外する機能を有している。なお、赤目領域には、撮像の際に投光された光がそのまま反射されて映り込んだ反射領域を含む。また、中心領域は、例えばシミュレーション等の結果に基づいて予め定められた範囲が用いられる。また、瞼候補選定部２３は、選定した瞼候補の曲線を瞼検出部２４へ出力する機能を有している。
【００２２】
瞼検出部２４は、瞼候補選定部２３により選定された瞼候補の曲線に基づいて上瞼の下端及び下瞼の上端を検出する機能を有している。例えば、瞼検出部２４は、瞼候補の曲線が存在する画像領域からエッジ画像を生成し、生成されたエッジ画像上に瞼候補の曲線を投影する機能を有している。そして、瞼検出部２４は、曲線上に存在するエッジ強度の総和を曲線ごとにそれぞれ算出し、瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を瞼として検出する。なお、上下の瞼を検出するため、最初に、瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を取得し、その後、取得した曲線を除いた瞼候補の曲線の中で最もエッジ強度の総和の大きい曲線を取得する。ここで、瞼検出部２４は、赤目領域が存在する確率の高い中心領域については、他の領域に比べて判定結果に与える影響が小さくなるようにエッジ強度を算出する機能を有している。例えば、瞼検出部２４は、曲線位置に応じてエッジ強度に対して重みを積算し、曲線上のエッジ強度の総和を算出する機能を有している。瞼検出部２４は、例えば中心領域付近のエッジ強度の重みを、中心領域付近以外の領域のエッジ強度の重みに比べて小さくすることにより、赤目領域の存在が判定結果に与える影響を小さくすることができる。また、瞼検出部２４は、検出した上瞼の下端及び下瞼の上端を開眼状態検出部２５へ出力する機能を有している。
【００２３】
開眼状態検出部２５は、運転者の眼が開いている度合いを示す開眼度を算出する機能を有している。開眼状態検出部２５は、瞼検出部２４により検出された上瞼の下端及び下瞼の上端に基づいて、運転者の眼が開いている度合いを示す開眼度を検出する機能を有している。例えば、開眼状態検出部２５は、上瞼の下端の位置と下瞼の上端の位置との差分を用いて開眼度を算出する。算出された開眼度は、開眼の有無の判定や、居眠り判定等の入力情報として用いられる。
【００２４】
上述した顔位置検出部２０、顔特徴点検出部２１、顔姿勢推定部２２、瞼候補選定部２３、瞼検出部２４及び開眼状態検出部２５を備えて開眼状態検出装置１は構成される。
【００２５】
次に、本実施形態に係る開眼状態検出装置１の動作について説明する。図２は、本実施形態に係る開眼状態検出装置１の開眼状態検出動作を示すフローチャートである。図２に示す制御処理は、例えばイグニッションオンされたタイミングから所定の間隔で繰り返し実行される。
【００２６】
図２に示すように、開眼状態検出装置１は、最初に顔位置検出処理から開始する（Ｓ１０）。Ｓ１０の処理では、顔位置検出部２０が画像センサ３１から画像を入力して、運転者の顔位置を検出する。例えば、顔位置検出部２０は、図３に示す運転者の顔が写された画像Ｆ１を入力する。そして、顔位置検出部２０は、ニューラルネットワークを用いて入力した画像Ｆ１全体の範囲を探索して顔位置を発見する。なお、顔位置を発見するアルゴリズムは、ニューラルネットワークに限られる事は無く、Ｂｏｏｓｔｉｎｇ等の他の手法であってもよい。Ｓ１０の処理が終了すると、顔特徴点検出処理へ移行する（Ｓ１２）。
【００２７】
Ｓ１２の処理では、顔特徴点検出部２１が、Ｓ１０の処理で入力された画像Ｆ１のうち、顔を含む所定領域の画像（顔の存在範囲の画像領域）に対して、ニューラルネットワーク等を用いて顔の特徴点の位置を検出する。この処理について、図４を用いて説明する。図４は、顔を含む所定領域の画像Ｇ１に対する特徴点検出処理を説明するための概要図である。図４に示す画像Ｇ１は、Ｓ１０の処理で入力された画像Ｆ１の一部である。顔特徴点検出部２１は、例えば図４に示すように、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等を特徴点Ｈとして検出する。なお、特徴点を検出するアルゴリズムは、ニューラルネットワークに限られる事は無く、Ｂｏｏｓｔｉｎｇ等の他の手法であってもよい。Ｓ１２の処理が終了すると、顔姿勢推定処理へ移行する（Ｓ１４）。
【００２８】
Ｓ１４の処理では、顔姿勢推定部２２が、Ｓ１２の処理で得られた顔特徴点に基づいて、顔姿勢を推定する。この処理について、図５を用いて説明する。図５は、３Ｄ顔モデルの一例を示す概要図である。図５に示すように、顔の上下方向に沿ったＹｍ方向、顔の左右方向に沿ったＸｍ方向、顔の前後方向に沿ったＺｍ方向において頭部回転中心からの距離を特徴点ごとに保持したものを３Ｄ顔モデルとしている。Ｙｍ軸周りの回転をヨー、Ｘｍ軸周りの回転をピッチ、Ｚｍ軸周りの回転をロールとしている。顔姿勢推定部２２は、図５に示すように、３Ｄ顔モデルを図４の画像Ｇ１に示す顔特徴点にフィッティングさせて最も一致するときの位置及び回転（ヨー、ピッチ、ロール）をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。Ｓ１４の処理が終了すると、瞼候補選定処理へ移行する（Ｓ１６）。
【００２９】
Ｓ１６の処理では、瞼候補選定部２３が、複数の曲線を濃淡画像上に投影して瞼候補の選定を行う。この処理について、図６〜９を用いて説明する。図６〜９は、瞼候補選定処理を説明するための概要図である。図６に示すように、瞼候補選定部２３は、Ｓ１２の処理で得られた顔特徴点である目尻Ｈ１，目頭Ｈ２を結ぶ複数の曲線ＱＮ（Ｎ：整数）を作成し、作成した曲線ＱＮを目尻Ｈ１，目頭Ｈ２含む濃淡画像の所定領域Ｇ２に対して投影する。曲線ＱＮとして、例えば、ベジェ曲線が用いられる。次に、瞼候補選定部２３は、曲線ＱＮの両側に位置する領域の濃淡差に基づいて、曲線ＱＮが眼領域と肌領域との境界上に存在するか否かを判断する。瞼候補選定部２３は、曲線ＱＮの両側に位置する領域の濃淡差が所定値以上であれば、曲線ＱＮが眼領域と肌領域との境界上に存在すると判定する。ここで、瞼候補選定部２３は、曲線ＱＮを複数の線分に分割して各線分に対して濃淡差の判定を行う。例えば、図７の（ａ）に示す曲線ＱＮを、図７の（ｂ）に示すようにブロック単位で分割する。ブロックＢＮ（Ｎ：整数）は、大きさがそれぞれ同一であって、曲線ＱＮによって分割され両側に位置するブロック内領域の大きさがほぼ等しくなるように設定される。図中では曲線ＱＮを、Ｂ１〜Ｂ１０までの１０個のブロックで分割している。そして、瞼候補選定部２３は、図７の（ｃ）に示すように、曲線ＱＮを構成する線分のうち目尻Ｈ１と目頭Ｈ２との中心を含む中心領域Ｄを通過するブロックＢ５〜Ｂ７については濃淡差の演算の処理対象とせず、ブロックＢ１〜Ｂ４，Ｂ８〜Ｂ１０についてのみ濃淡差の演算の処理対象とする。すなわち、赤目領域（反射領域含む）の画像情報が瞼選定の判定結果に影響を与えないように、赤目領域が発生する可能性の高い中心領域Ｄの画像情報については濃淡差を判断する情報から除外する。なお、赤目領域が発生する可能性の高い中心領域Ｄについては、予めシミュレーション等により得られた値が用いられ、ここでは目尻Ｈ１と目頭Ｈ２との間において、目尻Ｈ１と目頭Ｈ２との中心を含む３５％の範囲を用いている。
【００３０】
次に、各ブロックの濃淡差の演算について図８を用いて説明する。図８では、ブロックＢ１を一例として示している。図８に示すように、ブロックＢ１は、曲線Ｑの両側に位置する領域Ｂ１ａ，Ｂ１ｂを有している。瞼候補選定部２３は、領域Ｂ１ａの濃淡及び領域Ｂ１ｂの濃淡を算出し、その差分を演算する。そして、瞼候補選定部２３は、算出された各ブロックの濃淡差が所定値以上の濃淡差であるか否かをブロックごとに判断する。そして、ブロックの濃淡差が所定値以上であるブロック数をカウントし、カウントされたブロック数が所定値未満であれば瞼候補から除外し、カウントされたブロック数が所定値以上であれば瞼候補として選定する。この処理について図９を用いて説明する。図９は、瞼候補の選定を説明する概要図である。図９では、赤目領域Ｒｅ１及び反射領域Ｌｅ１が発生した眼において、一例として曲線Ｑ１，Ｑ２について判定する例を示している。図９に示すように、曲線Ｑ１については、眼領域と瞼領域の境界上に位置しているため、各ブロックで演算された濃淡差はそれぞれ所定値以上となる。従って、瞼候補選定部２３は、曲線Ｑ１については条件を満たすブロックとしてカウントしたブロック数が所定値よりも大きいと判断し、曲線Ｑ１を瞼候補として選定する。一方、曲線Ｑ２は、眼領域と瞼領域の境界上に位置していないため、各ブロックの濃淡差が所定値以上とならず、瞼候補として選定されない。瞼候補選定部２３は、上述した瞼候補の選定を左右の眼について行う。Ｓ１６の処理が終了すると、瞼検出処理へ移行する（Ｓ１８）。
【００３１】
Ｓ１８の処理では、瞼検出部２４が、Ｓ１６の処理で取得した瞼候補に基づいて瞼を検出する。この処理について、図１０を用いて説明する。図１０は、エッジ強度により瞼を検出する例を説明する概要図である。図１０に示すように、例えば、瞼検出部２４は、Ｓ１２の処理で検出された顔特徴点である目尻Ｈ１，目頭Ｈ２を含む一定領域に対してソーベルフィルタ等を適用して、エッジを強調した画像であるエッジ画像Ｇ３を生成する。そして、Ｓ１６の処理で選定された瞼候補の曲線ＱＮを生成したエッジ画像Ｇ３へ投影し、曲線ＱＮ上のエッジの強度（エッジ画像の画素値の和）を算出する。ここで、瞼検出部２４は、赤目領域が存在する可能性が高い中心領域Ｄのエッジ強度については、他の領域のエッジ強度に比べて重みを軽くして演算を行う。例えば、エッジ画像Ｇ３の位置と重みとの関係を示す図１０のグラフのように、中心領域Ｄのエッジ強度の重みをＸ（Ｘ＜１）とし、その他の領域については、エッジ強度の重みを１として設定する。そして、瞼候補の曲線についてエッジ強度の和を全て算出し、エッジ強度の和が最も大きいもの、次に大きいものを瞼として検出する。なお、重みの与え方は図１０に示すものに限られるものではなく、中心領域Ｄの重みが他の領域よりも小さければ、効果を奏することができる。瞼検出部２４は、上述した瞼の検出を左右の眼について行う。Ｓ１８の処理が終了すると、開眼状態検出処理へ移行する（Ｓ２０）。
【００３２】
Ｓ２０の処理では、開眼状態検出部２５が、Ｓ１８の処理で取得された上瞼の下端の位置及び下瞼の上端の位置に基づいて、開眼状態を検出する。例えば、開眼状態検出部２５は、上瞼の下端及び下瞼の上端に基づいて開眼度を検出する。Ｓ２０の処理が終了すると、図２に示す制御処理を終了する。
【００３３】
以上で図２に示す制御処理を終了する。図２に示す制御処理を実行することにより、エッジ情報と濃淡情報の両方を利用して赤目領域の検出を行わずに瞼の検知を直接行うことができる。例えば、目尻Ｈ１及び目頭Ｈ２を結ぶ曲線ＱＮとエッジ画像とのフィッティング度合い（エッジ強度）を算出する際に、曲線ＱＮ上の各点に重みを導入し中心領域Ｄの重みを低く設定することで、赤目領域の画像情報によって判定結果に与えられる影響が小さくされる。また、濃淡情報（眼領域と肌領域の濃淡差）を用いて瞼を判定する際に、中心領域Ｄの画像情報を利用しないことで、赤目領域の画像情報によって判定結果に与えられる影響が小さくされる。このため、赤目領域が発生しやすい夜間に撮像された画像であっても、開眼状態の検出精度低下を防止することができる。
【００３４】
ところで、赤目領域は、ソーベルフィルタを用いてエッジの抽出をすると瞼の探索の際に赤目領域の外縁に発生するエッジに強く反応する。このため、赤目領域の外縁を瞼候補として誤検知することを回避すべく、例えば赤目領域を検知して赤目領域周辺の不要なエッジを瞼候補から除外する手法が考えられる。しかしながら、反射領域等、赤目領域とは別の類似したパターンが赤目領域探索範囲に存在すると反射領域を赤目領域であると誤検知するおそれがある。
【００３５】
これに対して、本実施形態に係る開眼状態検出装置１によれば、瞼候補選定部２３及び瞼検出部２４により、赤目領域Ｒｅ１の画像情報が検出結果に与える影響を他の領域の画像情報よりも小さくして上瞼の位置又は下瞼の位置が検出される。このため、撮像された眼に赤目領域Ｒｅ１が含まれている場合であっても赤目領域Ｒｅ１の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができるので、開眼状態の検出精度低下を防止することが可能となる。また、本実施形態に係る開眼状態検出装置１によれば、瞼候補選定部２３及び瞼検出部２４により、目尻Ｈ１と目頭Ｈ２との中心を含む中心領域Ｄの画像情報によって検出結果に与えられる影響が他の領域の画像情報よりも小さくされるので、赤目領域Ｒｅ１の位置を検出することなく、赤目領域Ｒｅ１の外縁を上瞼の位置又は下瞼の位置として検出することを回避することができる。
【００３６】
なお、上述した実施形態は本発明に係る開眼状態検出装置の一例を示すものである。本発明に係る開眼状態検出装置は、実施形態に係る開眼状態検出装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る開眼状態検出装置を変形し、又は他のものに適用したものであってもよい。
【００３７】
例えば、上述した実施形態では、Ｓ１６の処理で濃淡情報に基づいて瞼候補を選定し、Ｓ１８の処理でエッジ情報に基づいて瞼を検出する例を説明したが、目尻Ｈ１及び目頭Ｈ２を結ぶ曲線を目尻Ｈ１及び目頭Ｈ２を含む一定領域に対して投影した後に、Ｓ１８の処理をＳ１６の処理よりも先に実行して、瞼候補をエッジ強度の総和が一定値上であることを条件に選定してから、一定値以上の濃淡差を満たすブロックの数が最も多い曲線を瞼として検出してもよい。
【００３８】
また、上述した実施形態では、Ｓ１６の処理で濃淡情報に基づいて瞼候補を選定し、Ｓ１８の処理でエッジ情報に基づいて瞼を検出する例を説明したが、目尻Ｈ１及び目頭Ｈ２を結ぶ曲線を目尻Ｈ１及び目頭Ｈ２を含む一定領域に対して投影した後に、Ｓ１６の処理とＳ１８の処理とを同時に実行し、エッジ強度の条件と、濃淡差の条件を同時に満たす場合に瞼として検出してもよい。
【００３９】
さらに、上述した実施形態では、開眼状態検出装置１が、顔位置検出部２０、顔特徴点検出部２１、顔姿勢推定部２２、瞼候補選定部２３、瞼検出部２４及び開眼状態検出部２５を備える例を説明したが、顔位置検出部２０、顔特徴点検出部２１及び顔姿勢推定部２２は、必要に応じて備えればよい。
【符号の説明】
【００４０】
１…開眼状態検出装置、２…ＥＣＵ、３…車両、２０…顔位置検出部、２１…顔特徴点検出部、２２…顔姿勢推定部、２３…瞼候補選定部（瞼検出手段）、２４…瞼検出部（瞼検出手段）、２５…開眼状態検出部（開眼状態検出手段）、３１…画像センサ。
【特許請求の範囲】
【請求項１】
画像情報に基づいて開眼状態を検出する開眼状態検出装置であって、
前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼検出手段と、
上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出手段と、
を備え、
前記瞼検出手段は、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすること、
を特徴とする開眼状態検出装置。
【請求項２】
前記瞼検出手段は、目尻及び目頭を結ぶ曲線に基づいて上瞼の位置又は下瞼の位置を検出する請求項１に記載の開眼状態検出装置。
【請求項３】
前記瞼検出手段は、前記曲線上のエッジ強度又は前記曲線の両側に位置する領域の濃淡差に基づいて上瞼の下端又は下瞼の上端を通過する曲線を取得する請求項２に記載の開眼状態検出装置。
【請求項４】
前記瞼検出手段は、目尻と目頭との中心を含む中心領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくする請求項２又は３に記載の開眼状態検出装置。
【請求項５】
前記瞼検出手段は、前記中心領域の前記画像情報の重みを他の領域の画像情報よりも小さくする、又は、前記中心領域の前記画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外する請求項４に記載の開眼状態検出装置。
【請求項１】
画像情報に基づいて開眼状態を検出する開眼状態検出装置であって、
前記画像情報に基づいて上瞼の位置及び下瞼の位置を検出する瞼検出手段と、
上瞼の位置及び下瞼の位置に基づいて開眼状態を検出する開眼状態検出手段と、
を備え、
前記瞼検出手段は、瞳孔を透過し網膜で反射される光によって発生する赤目領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくすること、
を特徴とする開眼状態検出装置。
【請求項２】
前記瞼検出手段は、目尻及び目頭を結ぶ曲線に基づいて上瞼の位置又は下瞼の位置を検出する請求項１に記載の開眼状態検出装置。
【請求項３】
前記瞼検出手段は、前記曲線上のエッジ強度又は前記曲線の両側に位置する領域の濃淡差に基づいて上瞼の下端又は下瞼の上端を通過する曲線を取得する請求項２に記載の開眼状態検出装置。
【請求項４】
前記瞼検出手段は、目尻と目頭との中心を含む中心領域の前記画像情報が検出結果に与える影響を他の領域の前記画像情報よりも小さくする請求項２又は３に記載の開眼状態検出装置。
【請求項５】
前記瞼検出手段は、前記中心領域の前記画像情報の重みを他の領域の画像情報よりも小さくする、又は、前記中心領域の前記画像情報を上瞼の位置及び下瞼の位置を検出するための情報から除外する請求項４に記載の開眼状態検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−８８８３７（Ｐ２０１２−８８８３７Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３５５９（Ｐ２０１０−２３３５５９）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]