まぶた検出装置及びプログラム
【課題】まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができるようにする。
【解決手段】目画像におけるまぶたの境界における縦方向の濃淡変化の１次微分値と２次微分値とに基づいて、２次微分値を、まぶたの境界における濃淡変化の周波数の周期の１／４だけ、上方向にずらし、１次微分値と２次微分値とを組み合わせて、上瞼特徴量を算出する。算出された上瞼特徴量の縦方向のピーク点に基づいて、上まぶたと眼球との境界を検出する。
【解決手段】目画像におけるまぶたの境界における縦方向の濃淡変化の１次微分値と２次微分値とに基づいて、２次微分値を、まぶたの境界における濃淡変化の周波数の周期の１／４だけ、上方向にずらし、１次微分値と２次微分値とを組み合わせて、上瞼特徴量を算出する。算出された上瞼特徴量の縦方向のピーク点に基づいて、上まぶたと眼球との境界を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、まぶた検出装置及びプログラムに係り、特に、目を含む領域の画像から、まぶたの境界点を検出するまぶた検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、濃淡画像の濃淡変化の大きさを表す１次元エッジ画像上で、エッジ値が極大値又は極小値となる点に基づいて、まぶたと眼球との境界点を検出するまぶたの開度検出装置が知られている（特許文献１）。
【０００３】
また、１次微分値（エッジ値）の極大値ではなく、大きく値が変化する部分を瞼特徴量として、まぶたと眼球との境界点を検出するまぶた検出装置が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３１４３８１９号
【特許文献２】特許第４３０９９２７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、１次微分値（エッジ値）の極大値を瞼位置としているため、まぶたにアイシャドーが塗られ、化粧している場合には、まぶたと眼球との境界から離れた場所を境界点として検出してしまい、正しい境界点を検出することができない、という問題がある。
【０００６】
また、上記特許文献２に記載の技術では、１次微分値（エッジ値）が大きく変化する位置を決めるために閾値を設定する必要があり、様々な画像を考慮した場合には、閾値の設定が困難である、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができるまぶた検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係るまぶた検出装置は、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段と、前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段と、前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するまぶた検出手段と、を含んで構成されている。
【０００９】
また、本発明に係るプログラムは、コンピュータを、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段、前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段、及び前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するまぶた検出手段として機能させるためのプログラムである。
【００１０】
本発明によれば、生成手段によって、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の所定方向の画素値変化の大きさの所定方向の変化率を表わす２次エッジ画像を生成する。特徴量算出手段によって、画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらし、各画素について、１次エッジ画像の該画素の画素値及び２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する。
【００１１】
そして、まぶた検出手段によって、算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出する。
【００１２】
このように、まぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらし、各画素について、１次エッジ画像及び２次エッジ画像に基づいて特徴量を算出し、上まぶたと眼球との境界又は下まぶたと眼球との境界を検出することにより、まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができる。
【００１３】
本発明に係るまぶた検出装置は、画像から、目の大きさを検出する目検出手段を更に含み、特徴量算出手段は、検出された目の大きさに対応して予め定められたまぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらして、各画素について特徴量を算出するようにすることができる。
【００１４】
本発明に係るまぶた検出装置は、画像から、まぶたの境界における画素値変化を抽出する画素値変化抽出手段と、抽出された画素値変化の周波数を検出する周波数検出手段とを更に含み、特徴量算出手段は、周波数検出手段によって検出された画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらして、各画素について特徴量を算出するようにすることができる。
【００１５】
本発明に係る特徴量算出手段は、画像におけるまぶたの境界における画素値変化の周波数の周期の１／４だけ、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらして、各画素について特徴量を算出するようにすることができる。これによって、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせることができる。
【００１６】
上記の所定方向を、まばたき方向とすることができる。
【００１７】
上記の特徴量算出手段は、１次エッジ画像を、まばたき方向であって、かつ、下方向にずらし、各画素について前記特徴量を算出し、まぶた検出手段は、算出された特徴量に基づいて、上まぶたと眼球との境界を検出するようにすることができる。これによって、１次エッジ画像及び２次エッジ画像の、上まぶたの境界における画素値変化の位相のずれを合わせて、特徴量を算出して、上まぶたと眼球との境界を正しく検出することができる。
【００１８】
本発明に係る特徴量算出手段は、２次エッジ画像を、まばたき方向であって、かつ、上方向にずらし、各画素について特徴量を算出し、まぶた検出手段は、算出された特徴量に基づいて、上まぶたと眼球との境界を検出するようにすることができる。これによって、１次エッジ画像及び２次エッジ画像の、上まぶたの境界における画素値変化の位相のずれを合わせて、特徴量を算出して、上まぶたと眼球との境界を正しく検出することができる。
【００１９】
上記の特徴量算出手段は、各画素について、１次エッジ画像の該画素の画素値及び２次エッジ画像の該画素の画素値の重み付き加算又は乗算により、特徴量を算出するようにすることができる。
【００２０】
上記のまぶた検出手段は、算出された特徴量の所定方向におけるピーク点に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するようにすることができる。
【発明の効果】
【００２１】
以上説明したように、本発明のまぶた検出装置及びプログラムによれば、まぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらし、各画素について、１次エッジ画像及び２次エッジ画像に基づいて特徴量を算出し、上まぶたと眼球との境界又は下まぶたと眼球との境界を検出することにより、まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施の形態に係るまぶた検出装置の構成を示すブロック図である。
【図２】（Ａ）目画像を示すイメージ図、及び（Ｂ）縦方向の濃淡値の変化、１次微分値の変化、２次微分値の変化を示すグラフである。
【図３】（Ａ）Ｐｒｅｗｉｔｔフィルタを示すイメージ図、（Ｂ）Ｓｏｂｅｌフィルタを示すイメージ図、及び（Ｃ）単純差分フィルタを示すイメージ図である。
【図４】（Ａ）〜（Ｆ）縦方向２次微分フィルタの例を示すイメージ図である。
【図５】正弦波を示す図である。
【図６】正弦波をフィッティングする領域を示す図である。
【図７】正弦波をフィッティングする様子を示すイメージ図である。
【図８】縦方向の濃淡値の変化、１次微分値の変化、２次微分値の変化、及び上瞼特徴量の変化を示すグラフである。
【図９】本発明の第１の実施の形態に係るまぶた検出装置における画像処理ルーチンの内容を示すフローチャートである。
【図１０】本発明の第２の実施の形態に係るまぶた検出装置の構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係るまぶた検出装置における画像処理ルーチンの内容を示すフローチャートである。
【図１２】本発明の第３の実施の形態に係るまぶた検出装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、濃淡画像からまぶたの開度を求めて出力するまぶた検出装置に本発明を適用した場合を例に説明する。
【００２４】
図１に示すように、第１の実施の形態に係るまぶた検出装置１０は、検出対象者の顔を含む画像を撮影するＣＣＤカメラ等からなる画像撮像部１２と、画像撮像部１２のシャッターの作動に同期して撮影対象を照明するための、赤外ストロボや赤外ＬＥＤ等からなる照明部１４と、画像処理を行うコンピュータ１６と、ＣＲＴ等で構成された表示装置１８とを備えている。
【００２５】
コンピュータ１６は、ＣＰＵ、後述する画像処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１６は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の中から目を含む小領域の画像、すなわち目画像を抽出する目画像抽出部２２と、目画像抽出部２２で抽出された目画像に対して、縦方向の１次微分値を算出して、１次エッジ画像を生成すると共に、縦方向の２次微分値を算出して、２次エッジ画像を生成するエッジ画像生成部２４と、１次エッジ画像及び２次エッジ画像に基づいて、各画素について瞼特徴量を算出する特徴量算出部２６と、算出された瞼特徴量に基づいて、まぶた位置を検出し、まぶた開度を表示装置１８に表示させるまぶた位置検出部２８とを備えている。
【００２６】
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
【００２７】
また、目画像抽出部２２は、顔画像から目領域を検索して、抽出位置を特定し、特定された抽出位置に基づいて目を含む小領域の画像を目画像として抽出する。
【００２８】
また、エッジ画像生成部２４は、図２（Ａ）に示すような目画像から、縦方向１次微分フィルタとして、図３（Ａ）に示すようなＰｒｅｗｉｔｔ（ペレウィット）フィルタを用いて、図２（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向の画素毎の濃淡変化の大きさを表す１次微分値を画素値とする１次エッジ画像を生成する。なお、縦方向１次微分フィルタとして、図３（Ｂ）に示すようなＳｏｂｅｌフィルタや、図３（Ｃ）に示すような単純差分フィルタを用いて、１次エッジ画像を生成してもよい。
【００２９】
また、エッジ画像生成部２４は、上記図２（Ａ）に示すような目画像から、図４（Ａ）に示すような縦方向２次微分フィルタを用いて、上記図２（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向の画素毎の濃淡変化の大きさの変化率を表す２次微分値を画素値とする２次エッジ画像を生成する。
【００３０】
なお、縦方向２次微分フィルタとして、図４（Ｂ）〜図４（Ｆ）に示すようなフィルタを用いて、２次エッジ画像を生成してもよい。
【００３１】
次に、まぶた特徴量を算出する原理について説明する。
【００３２】
一般に、眼球部分は皮膚部分であるまぶたに比べて、反射率が小さいため、暗く撮影されるので、上記図２（Ａ）に示すような、目の写っている画像で、上記図２（Ｂ）に示すように、上から下への方向で、「明るい（肌）」→「暗い（肌と眼球の境界部分）」と変化している部分が上瞼の境界として検出され、「暗い」→「明るい」と変化している部分が下瞼の境界として検出される
【００３３】
この変化を抽出するために、エッジ画像生成部２４では、画像の１次微分値（エッジ値）を計算している。１次微分値は、濃淡変化部分で値が大きくなるので、１次微分値の大きい部分を検出すれば瞼の境界を検出可能である。
【００３４】
しかし、瞼の上側にアイシャドーを塗って化粧をしている場合には、１次微分値が大きくなるので、化粧部分を瞼の境界として誤検出する場合がある。
【００３５】
ここで、化粧部分の１次微分値はなだらかに変化し、一方、実際の瞼部分の１次微分値は、変化が急峻となる、という違いがある。
【００３６】
この違いを抽出するために、エッジ画像生成部２４では、１次微分値に対してさらに微分を行い、２次微分値を計算している。
【００３７】
本実施の形態では、１次微分値と２次微分値とを組み合わせて、瞼特徴量を算出する。
【００３８】
ここで、微分することにより、１次微分値と２次微分値のピークの位置が、１／４周期ずれる。例えば、ｓｉｎθを微分するとｃｏｓθとなるが、１周期が２πであり、ｃｏｓθ＝ｓｉｎ（θ＋π／２）であるため、１／４周期ずれている。
【００３９】
そこで、本実施の形態では、１次微分値と２次微分値のピーク位置をそろえるために、２次微分値を１／４周期ずらし、１次微分値とずらした２次微分値とを組み合わせて、瞼特徴量を算出する。
【００４０】
特徴量算出部２６は、予め求められた、まぶたの境界における縦方向の濃度変化の周波数の周期に基づいて、１／４周期だけ、２次エッジ画像を、画像の上方向及び下方向にずらす。
【００４１】
ここで、まぶたの境界における縦方向の濃度変化の周波数の周期は、以下に説明するように予め求めておく。
【００４２】
まず、画像撮像部１２によって撮像された画像から目画像を抽出し、目画像から、まぶた境界における縦方向の濃淡変化を抽出する。抽出された縦方向の濃淡変化について、図５に示すような正弦波を用いて、濃淡変化の周波数を検出する。周波数の検出に使用する正弦波の区間は、例えば、上記図５に示すように、クロスポイント間とするか、又は、極大点と極小点との間とする。
【００４３】
正弦波の予め定めた区間を用いて、周波数と振幅を変更しながら、図６に示すような、瞼位置に応じた範囲の濃淡変化に合うようにフィッティングを行い、図７に示すように、まぶたの境界における濃淡変化における周波数を推定し、周波数の周期を求めて、メモリ（図示省略）に記憶しておく。
【００４４】
なお、正弦波ではなく三角波を用いて、濃淡変化の周波数を推定するようにしても良い。
【００４５】
特徴量算出部２６は、図８に示すように、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、２次エッジ画像を、まばたき方向であって、かつ、画像の上方向にずらし、１次エッジ画像と、上方向にずらした２次エッジ画像とに基づいて、各画素の画素値から、以下の（１）式に示すように、各画素の上瞼特徴量ｅupper（ｘ，ｙ）を算出する。
【００４６】
【数１】
【００４７】
ただし、ｅ1（ｘ，ｙ）は、１次エッジ画像の座標位置（ｘ、ｙ）での１次微分値である。ｔは、位相ずらし量であり、ｅ2（ｘ，ｙ＋ｔ）は、座標位置（ｘ、ｙ）に対応する、ずらし前の２次エッジ画像の座標位置（ｘ、ｙ＋ｔ）での２次微分値である。また、０≦α≦１であり、上記（１）式は、ｅ1（ｘ，ｙ）にαを重み付け、ｅ2（ｘ，ｙ＋ｔ）に、−（１−α）を重み付けて、加算している。なお、図８の例では、α＝０．２５、ｔ＝２とし、瞼に化粧をして目を閉じている場合を示している。
【００４８】
また、特徴量算出部２６は、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、２次エッジ画像を、画像の下方向にずらし、１次エッジ画像と、下方向にずらした２次エッジ画像とに基づいて、各画素の画素値から、以下の（２）式に示すように、各画素の下瞼特徴量ｅlower（ｘ，ｙ）を算出する。
【００４９】
【数２】
【００５０】
ただし、ｅ1（ｘ，ｙ）は、１次エッジ画像の座標位置（ｘ、ｙ）での１次微分値である。ｔは、位相ずらし量であり、ｅ2（ｘ，ｙ−ｔ）は、座標位置（ｘ、ｙ）に対応する、ずらし前の２次エッジ画像の座標位置（ｘ、ｙ−ｔ）での２次微分値である。また、０≦β≦１であり、上記（２）式は、ｅ1（ｘ，ｙ）にβを重み付け、ｅ2（ｘ，ｙ−ｔ）に、（１−β）を重み付けて、加算している。
【００５１】
まぶた位置検出部２８は、上瞼特徴量の縦方向のピーク点を、上まぶたと眼球との境界を示す第１の境界点として、各画素について算出された上瞼特徴量の縦方向のピーク点の集合に対して、目尻・目頭位置を含んだ上瞼形状モデル（２次元でも３次元でも良い）のパラメータを様々に変更して瞼形状フィッティングを行い、評価値が最大となる上瞼形状及び位置を検出する。また、まぶた位置検出部２８は、下瞼特徴量の縦方向のピーク点を、下まぶたと眼球との境界を示す第２の境界点として、各画素について算出された下瞼特徴量の縦方向のピーク点の集合に対して、目尻・目頭位置を含んだ下瞼形状モデル（２次元でも３次元でも良い）のパラメータを様々に変更して瞼形状フィッティングを行い、評価値が最大となる下瞼形状及び位置を検出する。なお、フィッティング評価値には、算出した上瞼特徴量又は下瞼特徴量を用いればよい。
【００５２】
また、まぶた位置検出部２８は、検出された上瞼形状と下瞼形状から、まぶた開度を計測し、表示装置１８に出力する。
【００５３】
次に、まぶた検出装置１０の動作について説明する。まず、画像撮像部１２で被験者の顔画像を撮影する。この際に、周囲の外乱光の影響を低減させるために、例えば、赤外ストロボからなる照明部１４を、画像撮像部１２の撮影と同期して発光させることにより、被験者の顔部を照明する。なお、照明部１４から連続光を発光させれば、画像撮像部１２との同期は不要となり、構成が簡単になる。
【００５４】
そして、コンピュータ１６において、図９に示す画像処理ルーチンを実行する。まず、ステップ１００において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。本実施例においては、以降の処理は、このディジタル画像に基づいて、ディジタル処理により行われるので、以後、単に画像という場合にはディジタル画像を意味することとする。
【００５５】
そして、ステップ１０４において、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、ステップ１０６で、片目を含む小領域を目画像として抽出する。なお、目の領域を検索するには、例えば、テンプレートマッチング法による画像処理により顔画像の中から目の領域を検索してもよいし、あるいは、操作者がキーボード、マウス、電子ペンまたはライトペン等の目領域指示手段により顔画像の上で目を指し示すことにより目の領域を指示してもよい。
【００５６】
そして、ステップ１０８で、上記ステップ１０６で抽出された目画像に対して、上記図３（Ａ）に示すようなＰｒｅｗｉｔｔフィルタを用いたエッジ処理を行い、上から下へ向かう方向の画素毎の画素値変化としての濃淡変化の大きさを表す１次微分値を画素値とする１次エッジ画像を生成する。例えば、現在の画像座標を（ｘ、ｙ）とし、（ｘ、ｙ）での画素値をＡ（ｘ、ｙ）とすると、１次エッジ画像における（ｘ、ｙ）の１次微分値Ｅ（ｘ、ｙ）は、以下の式で求められる。
【００５７】
Ｅ（ｘ、ｙ）＝Ａ（ｘ−１、ｙ−１）＋Ａ（ｘ、ｙ−１）＋Ａ（ｘ＋１、ｙ−１）
−Ａ（ｘ−１、ｙ＋１）−Ａ（ｘ、ｙ＋１）−Ａ（ｘ＋１、ｙ＋１）
【００５８】
次のステップ１１０では、上記ステップ１０６で抽出された目画像に対して、上記図４（Ａ）に示すような縦方向２次微分フィルタを用いたエッジ処理を行い、上から下へ向かう方向の画素毎の画素値変化としての濃淡変化の大きさの変化率を表す２次微分値を画素値とする２次エッジ画像を生成する。例えば、現在の画像座標を（ｘ、ｙ）とし、（ｘ、ｙ）での画素値をＡ（ｘ、ｙ）とすると、２次エッジ画像における（ｘ、ｙ）の２次微分値Ｅ´（ｘ、ｙ）は、以下の式で求められる。
【００５９】
Ｅ´（ｘ、ｙ）＝Ａ（ｘ−１、ｙ−１）＋Ａ（ｘ、ｙ−１）＋Ａ（ｘ＋１、ｙ−１）
−２Ａ（ｘ−１、ｙ）−２Ａ（ｘ、ｙ）−２Ａ（ｘ＋１、ｙ）
＋Ａ（ｘ−１、ｙ＋１）＋Ａ（ｘ、ｙ＋１）＋Ａ（ｘ＋１、ｙ＋１）
【００６０】
次のステップ１１２では、予め求められた、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、上瞼特徴量の算出用に、２次エッジ画像を画像の上方向にずらすと共に、下瞼特徴量の算出用に、２次エッジ画像を画像の下方向にずらす。
【００６１】
そして、ステップ１１４において、上記ステップ１０８で生成された１次エッジ画像と、上記ステップ１１２で上方向にずらされた２次エッジ画像とに基づいて、各画素について、上瞼特徴量を算出する。また、上記ステップ１０８で生成された１次エッジ画像と、上記ステップ１１２で下方向にずらされた２次エッジ画像とに基づいて、各画素について、下瞼特徴量を算出する。
【００６２】
次のステップ１１６では、上記ステップ１１４で算出された上瞼特徴量の縦方向のピーク点を検出すると共に、下瞼特徴量の縦方向のピーク点を検出する。ステップ１１８において、上記ステップ１１６で検出された上瞼特徴量の縦方向のピーク点の集合から、上瞼形状及び位置を検出すると共に、上記ステップ１１６で検出された下瞼特徴量の縦方向のピーク点の集合から、下瞼形状及び位置を検出する。
【００６３】
そして、ステップ１２０において、上記ステップ１１８で検出された上瞼形状及び位置と、下瞼形状及び位置とから求められるまぶた開度を、表示装置１８に表示させて、画像処理ルーチンを終了する。
【００６４】
以上説明したように、第１の実施の形態に係るまぶた検出装置によれば、まぶたの境界における濃淡変化の周波数の周期の１／４だけ、２次エッジ画像を縦方向にずらして、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせ、各画素について、１次エッジ画像及び２次エッジ画像に基づいて上瞼特徴量及び下瞼特徴量を算出し、まぶた位置を検出することにより、まぶたに化粧をしている場合であっても、まぶた位置を正しく検出することができる。
【００６５】
また、瞼に化粧していると、化粧部分と実際の瞼部分の間で瞼特徴量（１次微分値）の差が出にくいため、１次微分値が変化する部分を捉えるために、１次微分値の変化量、即ち、２次微分値を計算し、２次微分値の位相をずらした値を、瞼特徴量として加えて、実際の瞼に近い場所で瞼特徴量が大きくなるように算出する。これによって、アイシャドーなどにより瞼に化粧をしている場合でも、瞼位置に近い所で瞼特徴量を大きくでき、まぶた位置を高精度に検出することができる。
【００６６】
また、まぶた位置を正確に検出することにより、まぶたの開度を高精度に計測することができる。
【００６７】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６８】
第２の実施の形態では、まぶた位置を検出する度に、目画像から得られる濃淡変化から周波数を検出している点が、第１の実施の形態と異なっている。
【００６９】
図１０に示すように、第２の実施の形態に係るまぶた検出装置２１０のコンピュータ２１６は、画像入力部２０と、目画像抽出部２２と、エッジ画像生成部２４と、目画像から、まぶたの境界における縦方向の濃度変化を抽出する濃淡変化抽出部２３０と、抽出された濃淡変化の周波数を検出する周波数検出部２３２と、特徴量算出部２６と、まぶた位置検出部２８とを備えている。
【００７０】
濃淡変化抽出部２３０は、目画像抽出部２２によって抽出された目画像から、予め求められた、まぶた境界を含む領域における縦方向の濃淡変化を抽出する。
【００７１】
周波数検出部２３２は、抽出された縦方向の濃淡変化について、正弦波の予め定めた区間を用いて、周波数と振幅を変更しながら、瞼位置に応じた範囲の濃淡変化に合うようにフィッティングを行い、まぶたの境界における濃淡変化における周波数を検出する。
【００７２】
特徴量算出部２６は、２次エッジ画像を、検出された周波数の周期の１／４だけ上方向にずらして、上記（１）式に従って、各画素の上瞼特徴量ｅupper（ｘ，ｙ）を算出する。
【００７３】
また、特徴量算出部２６は、２次エッジ画像を、検出された周波数の周期の１／４だけ、下方向にずらして、上記（２）式に従って、各画素の下瞼特徴量ｅlower（ｘ，ｙ）を算出する。
【００７４】
次に、第２の実施の形態に係る画像処理ルーチンについて、図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７５】
まず、ステップ１００において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ステップ１０２で、２次元ディジタル画像を生成する。そして、ステップ１０４において、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、ステップ１０６で、片目を含む小領域を目画像として抽出する。
【００７６】
そして、ステップ１０８で、上記ステップ１０６で抽出された目画像に対して、エッジ処理を行い、１次エッジ画像を生成する。次のステップ１１０では、上記ステップ１０６で抽出された目画像に対して、縦方向２次微分フィルタを用いたエッジ処理を行い、２次エッジ画像を生成する。
【００７７】
そして、ステップ２００において、上記ステップ１０６で抽出された目画像の、予め求められた、まぶた境界を含む領域から、縦方向の濃淡変化を抽出する。次のステップ２０２において、上記ステップ２００で抽出した縦方向の濃淡変化の周波数を検出する。
【００７８】
そして、ステップ２０４において、上記ステップ２０２で検出された周波数の周期の１／４だけ、上瞼特徴量の算出用に、２次エッジ画像を画像の上方向にずらすと共に、下瞼特徴量の算出用に、２次エッジ画像を画像の下方向にずらす。
【００７９】
そして、ステップ１１４において、各画素について、上瞼特徴量を算出すると共に下瞼特徴量を算出する。次のステップ１１６では、上記ステップ１１４で算出された上瞼特徴量の縦方向のピーク点を検出すると共に、下瞼特徴量の縦方向のピーク点を検出する。ステップ１１８において、上記ステップ１１６で検出された上瞼特徴量の縦方向のピーク点の集合から、上瞼形状及び位置を検出すると共に、上記ステップ１１６で検出された下瞼特徴量の縦方向のピーク点の集合から、下瞼形状及び位置を検出する。
【００８０】
そして、ステップ１２０において、上記ステップ１１８で検出された上瞼形状及び位置と、下瞼形状及び位置とから求められるまぶた開度を、表示装置１８に表示させて、画像処理ルーチンを終了する。
【００８１】
このように、まぶた位置を検出する度に、まぶたの境界における画素値変化の周波数を検出し、検出した周波数の周期の１／４だけ、２次エッジ画像を縦方向にずらすことにより、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせることができ、実際の瞼に近い場所で瞼特徴量が大きくなるように算出することができる。
【００８２】
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８３】
第３の実施の形態では、目画像から目の大きさを検出し、目の大きさから、まぶた境界における濃淡変化の周波数を決定している点が、第１の実施の形態と異なっている。
【００８４】
図１２に示すように、第３の実施の形態に係るまぶた検出装置３１０のコンピュータ３１６は、画像入力部２０と、目画像抽出部２２と、エッジ画像生成部２４と、目画像を取得し、目の大きさを検出する目サイズ検出部３３０と、検出された目の大きさに応じた、まぶた境界の濃淡変化の周波数を決定する周波数決定部３３２と、特徴量算出部２６と、まぶた位置検出部２８とを備えている。
【００８５】
目サイズ検出部３３０は、目画像抽出部２２によって抽出された目画像を取得し、当該目画像から、目の大きさ（例えば、目尻・目頭間の距離など）を検出する。
【００８６】
周波数決定部３３２には、目の大きさと、まぶた境界における縦方向の濃淡変化の周波数との対応関係が予め記憶されており、当該対応関係に基づいて、検出された目の大きさに対応する、まぶたの境界における濃淡変化の周波数を決定する。
【００８７】
特徴量算出部２６は、２次エッジ画像を、決定された周波数の周期の１／４だけ上方向にずらして、上記（１）式に従って、各画素の上瞼特徴量ｅupper（ｘ，ｙ）を算出する。
【００８８】
また、特徴量算出部２６は、２次エッジ画像を、決定された周波数の周期の１／４だけ、下方向にずらして、上記（２）式に従って、各画素の下瞼特徴量ｅlower（ｘ，ｙ）を算出する。
【００８９】
次に、第３の実施の形態に係るまぶた検出装置３１０の動作について説明する。
【００９０】
まず、コンピュータ３１６において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成し、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、片目を含む小領域を目画像として抽出する。
【００９１】
そして、コンピュータ３１６は、抽出された目画像から、目の大きさを検出し、検出された目の大きさに対応する、まぶたの境界における濃淡変化の周波数を決定して、メモリ（図示省略）に記憶する。
【００９２】
そして、コンピュータ３１６において、上述した第１の実施の形態と同様に画像処理ルーチンを実行する。
【００９３】
このように、目画像から目の大きさを検出し、目の大きさに応じて、まぶたの境界における濃度変化の周波数を決定して、決定した周波数の周期の１／４だけ、２次エッジ画像を縦方向にずらす。これにより、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせることができ、実際の瞼に近い場所で瞼特徴量が大きくなるように算出することができる。
【００９４】
なお、上記の実施の形態では、目の大きさと、まぶたの境界における濃度変化の周波数との対応関係を予め記憶しておく場合を例に説明したが、これに限定されるものではなく、目の大きさと、まぶたの境界における濃度変化の周波数の周期との対応関係を予め記憶しておくようにしてもよい。
【００９５】
また、上記の第１の実施の形態〜第３の実施の形態では、画像入力部で入力した濃淡画像から濃淡変化の大きさを表すエッジ画像を生成する場合を例に説明したが、画像入力部で入力した画像がカラー画像であってもよい。この場合には、カラー画像の濃度値の変化の大きさを表すエッジ画像を生成すればよい。
【００９６】
また、目画像に対して、縦方向２次微分フィルタを用いたエッジ処理を行うことにより、２次微分値を計算する場合を例に説明したが、これに限定されるものではなく、１次エッジ画像に対して、縦方向１次微分フィルタを用いたエッジ処理をもう１度行って、２次微分値を計算するようにしてもよい。
【００９７】
また、２次エッジ画像をまばたき方向（縦方向）にずらす場合を例に説明したが、これに限定されるものではなく、１次エッジ画像をまばたき方向にずらすようにしてもよい。この場合には、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、１次エッジ画像を、まばたき方向の下方向にずらし、下方向にずらした１次エッジ画像と、２次エッジ画像とに基づいて、各画素の上瞼特徴量を算出するようにすればよい。また、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、１次エッジ画像を、まばたき方向の上方向にずらし、上方向にずらした１次エッジ画像と、２次エッジ画像とに基づいて、各画素の下瞼特徴量を算出するようにすればよい。
【００９８】
また、化粧は上瞼に塗られるので、上瞼特徴量の算出用にのみ、１次エッジ画像及び２次エッジ画像の何れか一方をまばたき方向にずらすようにしてもよい。
【００９９】
また、１次エッジ画像の画素値と２次エッジ画像の画素値とを重み付け加算して、瞼特徴量を算出する場合を例に説明したが、これに限定されるものではなく、１次エッジ画像の画素値と２次エッジ画像の画素値とを乗算して、各画素の瞼特徴量を算出するようにしてもよい。
【０１００】
また、瞼特徴量のピーク点の集合に対して、瞼形状をフィッティングして、まぶた位置を検出する場合を例に説明したが、これに限定されるものではなく、他の手法により、まぶた位置を検出するようにしてもよい。
【０１０１】
本発明のプログラムを、記憶媒体に格納して提供することも可能である。
【符号の説明】
【０１０２】
１０、２１０、３１０ まぶた検出装置
１２ 画像撮像部
１６、２１６、３１６ コンピュータ
２２ 目画像抽出部
２４ エッジ画像生成部
２６ 特徴量算出部
２８ 位置検出部
２３０ 濃淡変化抽出部
２３２ 周波数検出部
３３０ 目サイズ検出部
３３２ 周波数決定部
【技術分野】
【０００１】
本発明は、まぶた検出装置及びプログラムに係り、特に、目を含む領域の画像から、まぶたの境界点を検出するまぶた検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、濃淡画像の濃淡変化の大きさを表す１次元エッジ画像上で、エッジ値が極大値又は極小値となる点に基づいて、まぶたと眼球との境界点を検出するまぶたの開度検出装置が知られている（特許文献１）。
【０００３】
また、１次微分値（エッジ値）の極大値ではなく、大きく値が変化する部分を瞼特徴量として、まぶたと眼球との境界点を検出するまぶた検出装置が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３１４３８１９号
【特許文献２】特許第４３０９９２７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、１次微分値（エッジ値）の極大値を瞼位置としているため、まぶたにアイシャドーが塗られ、化粧している場合には、まぶたと眼球との境界から離れた場所を境界点として検出してしまい、正しい境界点を検出することができない、という問題がある。
【０００６】
また、上記特許文献２に記載の技術では、１次微分値（エッジ値）が大きく変化する位置を決めるために閾値を設定する必要があり、様々な画像を考慮した場合には、閾値の設定が困難である、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができるまぶた検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係るまぶた検出装置は、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段と、前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段と、前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するまぶた検出手段と、を含んで構成されている。
【０００９】
また、本発明に係るプログラムは、コンピュータを、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段、前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段、及び前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するまぶた検出手段として機能させるためのプログラムである。
【００１０】
本発明によれば、生成手段によって、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の所定方向の画素値変化の大きさの所定方向の変化率を表わす２次エッジ画像を生成する。特徴量算出手段によって、画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらし、各画素について、１次エッジ画像の該画素の画素値及び２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する。
【００１１】
そして、まぶた検出手段によって、算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出する。
【００１２】
このように、まぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらし、各画素について、１次エッジ画像及び２次エッジ画像に基づいて特徴量を算出し、上まぶたと眼球との境界又は下まぶたと眼球との境界を検出することにより、まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができる。
【００１３】
本発明に係るまぶた検出装置は、画像から、目の大きさを検出する目検出手段を更に含み、特徴量算出手段は、検出された目の大きさに対応して予め定められたまぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらして、各画素について特徴量を算出するようにすることができる。
【００１４】
本発明に係るまぶた検出装置は、画像から、まぶたの境界における画素値変化を抽出する画素値変化抽出手段と、抽出された画素値変化の周波数を検出する周波数検出手段とを更に含み、特徴量算出手段は、周波数検出手段によって検出された画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらして、各画素について特徴量を算出するようにすることができる。
【００１５】
本発明に係る特徴量算出手段は、画像におけるまぶたの境界における画素値変化の周波数の周期の１／４だけ、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらして、各画素について特徴量を算出するようにすることができる。これによって、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせることができる。
【００１６】
上記の所定方向を、まばたき方向とすることができる。
【００１７】
上記の特徴量算出手段は、１次エッジ画像を、まばたき方向であって、かつ、下方向にずらし、各画素について前記特徴量を算出し、まぶた検出手段は、算出された特徴量に基づいて、上まぶたと眼球との境界を検出するようにすることができる。これによって、１次エッジ画像及び２次エッジ画像の、上まぶたの境界における画素値変化の位相のずれを合わせて、特徴量を算出して、上まぶたと眼球との境界を正しく検出することができる。
【００１８】
本発明に係る特徴量算出手段は、２次エッジ画像を、まばたき方向であって、かつ、上方向にずらし、各画素について特徴量を算出し、まぶた検出手段は、算出された特徴量に基づいて、上まぶたと眼球との境界を検出するようにすることができる。これによって、１次エッジ画像及び２次エッジ画像の、上まぶたの境界における画素値変化の位相のずれを合わせて、特徴量を算出して、上まぶたと眼球との境界を正しく検出することができる。
【００１９】
上記の特徴量算出手段は、各画素について、１次エッジ画像の該画素の画素値及び２次エッジ画像の該画素の画素値の重み付き加算又は乗算により、特徴量を算出するようにすることができる。
【００２０】
上記のまぶた検出手段は、算出された特徴量の所定方向におけるピーク点に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するようにすることができる。
【発明の効果】
【００２１】
以上説明したように、本発明のまぶた検出装置及びプログラムによれば、まぶたの境界における画素値変化の周波数の周期に応じて、１次エッジ画像及び２次エッジ画像の何れか一方を所定方向にずらし、各画素について、１次エッジ画像及び２次エッジ画像に基づいて特徴量を算出し、上まぶたと眼球との境界又は下まぶたと眼球との境界を検出することにより、まぶたに化粧をしている場合であっても、まぶたと眼球との境界を正しく検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施の形態に係るまぶた検出装置の構成を示すブロック図である。
【図２】（Ａ）目画像を示すイメージ図、及び（Ｂ）縦方向の濃淡値の変化、１次微分値の変化、２次微分値の変化を示すグラフである。
【図３】（Ａ）Ｐｒｅｗｉｔｔフィルタを示すイメージ図、（Ｂ）Ｓｏｂｅｌフィルタを示すイメージ図、及び（Ｃ）単純差分フィルタを示すイメージ図である。
【図４】（Ａ）〜（Ｆ）縦方向２次微分フィルタの例を示すイメージ図である。
【図５】正弦波を示す図である。
【図６】正弦波をフィッティングする領域を示す図である。
【図７】正弦波をフィッティングする様子を示すイメージ図である。
【図８】縦方向の濃淡値の変化、１次微分値の変化、２次微分値の変化、及び上瞼特徴量の変化を示すグラフである。
【図９】本発明の第１の実施の形態に係るまぶた検出装置における画像処理ルーチンの内容を示すフローチャートである。
【図１０】本発明の第２の実施の形態に係るまぶた検出装置の構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係るまぶた検出装置における画像処理ルーチンの内容を示すフローチャートである。
【図１２】本発明の第３の実施の形態に係るまぶた検出装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、濃淡画像からまぶたの開度を求めて出力するまぶた検出装置に本発明を適用した場合を例に説明する。
【００２４】
図１に示すように、第１の実施の形態に係るまぶた検出装置１０は、検出対象者の顔を含む画像を撮影するＣＣＤカメラ等からなる画像撮像部１２と、画像撮像部１２のシャッターの作動に同期して撮影対象を照明するための、赤外ストロボや赤外ＬＥＤ等からなる照明部１４と、画像処理を行うコンピュータ１６と、ＣＲＴ等で構成された表示装置１８とを備えている。
【００２５】
コンピュータ１６は、ＣＰＵ、後述する画像処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１６は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の中から目を含む小領域の画像、すなわち目画像を抽出する目画像抽出部２２と、目画像抽出部２２で抽出された目画像に対して、縦方向の１次微分値を算出して、１次エッジ画像を生成すると共に、縦方向の２次微分値を算出して、２次エッジ画像を生成するエッジ画像生成部２４と、１次エッジ画像及び２次エッジ画像に基づいて、各画素について瞼特徴量を算出する特徴量算出部２６と、算出された瞼特徴量に基づいて、まぶた位置を検出し、まぶた開度を表示装置１８に表示させるまぶた位置検出部２８とを備えている。
【００２６】
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
【００２７】
また、目画像抽出部２２は、顔画像から目領域を検索して、抽出位置を特定し、特定された抽出位置に基づいて目を含む小領域の画像を目画像として抽出する。
【００２８】
また、エッジ画像生成部２４は、図２（Ａ）に示すような目画像から、縦方向１次微分フィルタとして、図３（Ａ）に示すようなＰｒｅｗｉｔｔ（ペレウィット）フィルタを用いて、図２（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向の画素毎の濃淡変化の大きさを表す１次微分値を画素値とする１次エッジ画像を生成する。なお、縦方向１次微分フィルタとして、図３（Ｂ）に示すようなＳｏｂｅｌフィルタや、図３（Ｃ）に示すような単純差分フィルタを用いて、１次エッジ画像を生成してもよい。
【００２９】
また、エッジ画像生成部２４は、上記図２（Ａ）に示すような目画像から、図４（Ａ）に示すような縦方向２次微分フィルタを用いて、上記図２（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向の画素毎の濃淡変化の大きさの変化率を表す２次微分値を画素値とする２次エッジ画像を生成する。
【００３０】
なお、縦方向２次微分フィルタとして、図４（Ｂ）〜図４（Ｆ）に示すようなフィルタを用いて、２次エッジ画像を生成してもよい。
【００３１】
次に、まぶた特徴量を算出する原理について説明する。
【００３２】
一般に、眼球部分は皮膚部分であるまぶたに比べて、反射率が小さいため、暗く撮影されるので、上記図２（Ａ）に示すような、目の写っている画像で、上記図２（Ｂ）に示すように、上から下への方向で、「明るい（肌）」→「暗い（肌と眼球の境界部分）」と変化している部分が上瞼の境界として検出され、「暗い」→「明るい」と変化している部分が下瞼の境界として検出される
【００３３】
この変化を抽出するために、エッジ画像生成部２４では、画像の１次微分値（エッジ値）を計算している。１次微分値は、濃淡変化部分で値が大きくなるので、１次微分値の大きい部分を検出すれば瞼の境界を検出可能である。
【００３４】
しかし、瞼の上側にアイシャドーを塗って化粧をしている場合には、１次微分値が大きくなるので、化粧部分を瞼の境界として誤検出する場合がある。
【００３５】
ここで、化粧部分の１次微分値はなだらかに変化し、一方、実際の瞼部分の１次微分値は、変化が急峻となる、という違いがある。
【００３６】
この違いを抽出するために、エッジ画像生成部２４では、１次微分値に対してさらに微分を行い、２次微分値を計算している。
【００３７】
本実施の形態では、１次微分値と２次微分値とを組み合わせて、瞼特徴量を算出する。
【００３８】
ここで、微分することにより、１次微分値と２次微分値のピークの位置が、１／４周期ずれる。例えば、ｓｉｎθを微分するとｃｏｓθとなるが、１周期が２πであり、ｃｏｓθ＝ｓｉｎ（θ＋π／２）であるため、１／４周期ずれている。
【００３９】
そこで、本実施の形態では、１次微分値と２次微分値のピーク位置をそろえるために、２次微分値を１／４周期ずらし、１次微分値とずらした２次微分値とを組み合わせて、瞼特徴量を算出する。
【００４０】
特徴量算出部２６は、予め求められた、まぶたの境界における縦方向の濃度変化の周波数の周期に基づいて、１／４周期だけ、２次エッジ画像を、画像の上方向及び下方向にずらす。
【００４１】
ここで、まぶたの境界における縦方向の濃度変化の周波数の周期は、以下に説明するように予め求めておく。
【００４２】
まず、画像撮像部１２によって撮像された画像から目画像を抽出し、目画像から、まぶた境界における縦方向の濃淡変化を抽出する。抽出された縦方向の濃淡変化について、図５に示すような正弦波を用いて、濃淡変化の周波数を検出する。周波数の検出に使用する正弦波の区間は、例えば、上記図５に示すように、クロスポイント間とするか、又は、極大点と極小点との間とする。
【００４３】
正弦波の予め定めた区間を用いて、周波数と振幅を変更しながら、図６に示すような、瞼位置に応じた範囲の濃淡変化に合うようにフィッティングを行い、図７に示すように、まぶたの境界における濃淡変化における周波数を推定し、周波数の周期を求めて、メモリ（図示省略）に記憶しておく。
【００４４】
なお、正弦波ではなく三角波を用いて、濃淡変化の周波数を推定するようにしても良い。
【００４５】
特徴量算出部２６は、図８に示すように、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、２次エッジ画像を、まばたき方向であって、かつ、画像の上方向にずらし、１次エッジ画像と、上方向にずらした２次エッジ画像とに基づいて、各画素の画素値から、以下の（１）式に示すように、各画素の上瞼特徴量ｅupper（ｘ，ｙ）を算出する。
【００４６】
【数１】
【００４７】
ただし、ｅ1（ｘ，ｙ）は、１次エッジ画像の座標位置（ｘ、ｙ）での１次微分値である。ｔは、位相ずらし量であり、ｅ2（ｘ，ｙ＋ｔ）は、座標位置（ｘ、ｙ）に対応する、ずらし前の２次エッジ画像の座標位置（ｘ、ｙ＋ｔ）での２次微分値である。また、０≦α≦１であり、上記（１）式は、ｅ1（ｘ，ｙ）にαを重み付け、ｅ2（ｘ，ｙ＋ｔ）に、−（１−α）を重み付けて、加算している。なお、図８の例では、α＝０．２５、ｔ＝２とし、瞼に化粧をして目を閉じている場合を示している。
【００４８】
また、特徴量算出部２６は、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、２次エッジ画像を、画像の下方向にずらし、１次エッジ画像と、下方向にずらした２次エッジ画像とに基づいて、各画素の画素値から、以下の（２）式に示すように、各画素の下瞼特徴量ｅlower（ｘ，ｙ）を算出する。
【００４９】
【数２】
【００５０】
ただし、ｅ1（ｘ，ｙ）は、１次エッジ画像の座標位置（ｘ、ｙ）での１次微分値である。ｔは、位相ずらし量であり、ｅ2（ｘ，ｙ−ｔ）は、座標位置（ｘ、ｙ）に対応する、ずらし前の２次エッジ画像の座標位置（ｘ、ｙ−ｔ）での２次微分値である。また、０≦β≦１であり、上記（２）式は、ｅ1（ｘ，ｙ）にβを重み付け、ｅ2（ｘ，ｙ−ｔ）に、（１−β）を重み付けて、加算している。
【００５１】
まぶた位置検出部２８は、上瞼特徴量の縦方向のピーク点を、上まぶたと眼球との境界を示す第１の境界点として、各画素について算出された上瞼特徴量の縦方向のピーク点の集合に対して、目尻・目頭位置を含んだ上瞼形状モデル（２次元でも３次元でも良い）のパラメータを様々に変更して瞼形状フィッティングを行い、評価値が最大となる上瞼形状及び位置を検出する。また、まぶた位置検出部２８は、下瞼特徴量の縦方向のピーク点を、下まぶたと眼球との境界を示す第２の境界点として、各画素について算出された下瞼特徴量の縦方向のピーク点の集合に対して、目尻・目頭位置を含んだ下瞼形状モデル（２次元でも３次元でも良い）のパラメータを様々に変更して瞼形状フィッティングを行い、評価値が最大となる下瞼形状及び位置を検出する。なお、フィッティング評価値には、算出した上瞼特徴量又は下瞼特徴量を用いればよい。
【００５２】
また、まぶた位置検出部２８は、検出された上瞼形状と下瞼形状から、まぶた開度を計測し、表示装置１８に出力する。
【００５３】
次に、まぶた検出装置１０の動作について説明する。まず、画像撮像部１２で被験者の顔画像を撮影する。この際に、周囲の外乱光の影響を低減させるために、例えば、赤外ストロボからなる照明部１４を、画像撮像部１２の撮影と同期して発光させることにより、被験者の顔部を照明する。なお、照明部１４から連続光を発光させれば、画像撮像部１２との同期は不要となり、構成が簡単になる。
【００５４】
そして、コンピュータ１６において、図９に示す画像処理ルーチンを実行する。まず、ステップ１００において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。本実施例においては、以降の処理は、このディジタル画像に基づいて、ディジタル処理により行われるので、以後、単に画像という場合にはディジタル画像を意味することとする。
【００５５】
そして、ステップ１０４において、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、ステップ１０６で、片目を含む小領域を目画像として抽出する。なお、目の領域を検索するには、例えば、テンプレートマッチング法による画像処理により顔画像の中から目の領域を検索してもよいし、あるいは、操作者がキーボード、マウス、電子ペンまたはライトペン等の目領域指示手段により顔画像の上で目を指し示すことにより目の領域を指示してもよい。
【００５６】
そして、ステップ１０８で、上記ステップ１０６で抽出された目画像に対して、上記図３（Ａ）に示すようなＰｒｅｗｉｔｔフィルタを用いたエッジ処理を行い、上から下へ向かう方向の画素毎の画素値変化としての濃淡変化の大きさを表す１次微分値を画素値とする１次エッジ画像を生成する。例えば、現在の画像座標を（ｘ、ｙ）とし、（ｘ、ｙ）での画素値をＡ（ｘ、ｙ）とすると、１次エッジ画像における（ｘ、ｙ）の１次微分値Ｅ（ｘ、ｙ）は、以下の式で求められる。
【００５７】
Ｅ（ｘ、ｙ）＝Ａ（ｘ−１、ｙ−１）＋Ａ（ｘ、ｙ−１）＋Ａ（ｘ＋１、ｙ−１）
−Ａ（ｘ−１、ｙ＋１）−Ａ（ｘ、ｙ＋１）−Ａ（ｘ＋１、ｙ＋１）
【００５８】
次のステップ１１０では、上記ステップ１０６で抽出された目画像に対して、上記図４（Ａ）に示すような縦方向２次微分フィルタを用いたエッジ処理を行い、上から下へ向かう方向の画素毎の画素値変化としての濃淡変化の大きさの変化率を表す２次微分値を画素値とする２次エッジ画像を生成する。例えば、現在の画像座標を（ｘ、ｙ）とし、（ｘ、ｙ）での画素値をＡ（ｘ、ｙ）とすると、２次エッジ画像における（ｘ、ｙ）の２次微分値Ｅ´（ｘ、ｙ）は、以下の式で求められる。
【００５９】
Ｅ´（ｘ、ｙ）＝Ａ（ｘ−１、ｙ−１）＋Ａ（ｘ、ｙ−１）＋Ａ（ｘ＋１、ｙ−１）
−２Ａ（ｘ−１、ｙ）−２Ａ（ｘ、ｙ）−２Ａ（ｘ＋１、ｙ）
＋Ａ（ｘ−１、ｙ＋１）＋Ａ（ｘ、ｙ＋１）＋Ａ（ｘ＋１、ｙ＋１）
【００６０】
次のステップ１１２では、予め求められた、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、上瞼特徴量の算出用に、２次エッジ画像を画像の上方向にずらすと共に、下瞼特徴量の算出用に、２次エッジ画像を画像の下方向にずらす。
【００６１】
そして、ステップ１１４において、上記ステップ１０８で生成された１次エッジ画像と、上記ステップ１１２で上方向にずらされた２次エッジ画像とに基づいて、各画素について、上瞼特徴量を算出する。また、上記ステップ１０８で生成された１次エッジ画像と、上記ステップ１１２で下方向にずらされた２次エッジ画像とに基づいて、各画素について、下瞼特徴量を算出する。
【００６２】
次のステップ１１６では、上記ステップ１１４で算出された上瞼特徴量の縦方向のピーク点を検出すると共に、下瞼特徴量の縦方向のピーク点を検出する。ステップ１１８において、上記ステップ１１６で検出された上瞼特徴量の縦方向のピーク点の集合から、上瞼形状及び位置を検出すると共に、上記ステップ１１６で検出された下瞼特徴量の縦方向のピーク点の集合から、下瞼形状及び位置を検出する。
【００６３】
そして、ステップ１２０において、上記ステップ１１８で検出された上瞼形状及び位置と、下瞼形状及び位置とから求められるまぶた開度を、表示装置１８に表示させて、画像処理ルーチンを終了する。
【００６４】
以上説明したように、第１の実施の形態に係るまぶた検出装置によれば、まぶたの境界における濃淡変化の周波数の周期の１／４だけ、２次エッジ画像を縦方向にずらして、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせ、各画素について、１次エッジ画像及び２次エッジ画像に基づいて上瞼特徴量及び下瞼特徴量を算出し、まぶた位置を検出することにより、まぶたに化粧をしている場合であっても、まぶた位置を正しく検出することができる。
【００６５】
また、瞼に化粧していると、化粧部分と実際の瞼部分の間で瞼特徴量（１次微分値）の差が出にくいため、１次微分値が変化する部分を捉えるために、１次微分値の変化量、即ち、２次微分値を計算し、２次微分値の位相をずらした値を、瞼特徴量として加えて、実際の瞼に近い場所で瞼特徴量が大きくなるように算出する。これによって、アイシャドーなどにより瞼に化粧をしている場合でも、瞼位置に近い所で瞼特徴量を大きくでき、まぶた位置を高精度に検出することができる。
【００６６】
また、まぶた位置を正確に検出することにより、まぶたの開度を高精度に計測することができる。
【００６７】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６８】
第２の実施の形態では、まぶた位置を検出する度に、目画像から得られる濃淡変化から周波数を検出している点が、第１の実施の形態と異なっている。
【００６９】
図１０に示すように、第２の実施の形態に係るまぶた検出装置２１０のコンピュータ２１６は、画像入力部２０と、目画像抽出部２２と、エッジ画像生成部２４と、目画像から、まぶたの境界における縦方向の濃度変化を抽出する濃淡変化抽出部２３０と、抽出された濃淡変化の周波数を検出する周波数検出部２３２と、特徴量算出部２６と、まぶた位置検出部２８とを備えている。
【００７０】
濃淡変化抽出部２３０は、目画像抽出部２２によって抽出された目画像から、予め求められた、まぶた境界を含む領域における縦方向の濃淡変化を抽出する。
【００７１】
周波数検出部２３２は、抽出された縦方向の濃淡変化について、正弦波の予め定めた区間を用いて、周波数と振幅を変更しながら、瞼位置に応じた範囲の濃淡変化に合うようにフィッティングを行い、まぶたの境界における濃淡変化における周波数を検出する。
【００７２】
特徴量算出部２６は、２次エッジ画像を、検出された周波数の周期の１／４だけ上方向にずらして、上記（１）式に従って、各画素の上瞼特徴量ｅupper（ｘ，ｙ）を算出する。
【００７３】
また、特徴量算出部２６は、２次エッジ画像を、検出された周波数の周期の１／４だけ、下方向にずらして、上記（２）式に従って、各画素の下瞼特徴量ｅlower（ｘ，ｙ）を算出する。
【００７４】
次に、第２の実施の形態に係る画像処理ルーチンについて、図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７５】
まず、ステップ１００において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ステップ１０２で、２次元ディジタル画像を生成する。そして、ステップ１０４において、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、ステップ１０６で、片目を含む小領域を目画像として抽出する。
【００７６】
そして、ステップ１０８で、上記ステップ１０６で抽出された目画像に対して、エッジ処理を行い、１次エッジ画像を生成する。次のステップ１１０では、上記ステップ１０６で抽出された目画像に対して、縦方向２次微分フィルタを用いたエッジ処理を行い、２次エッジ画像を生成する。
【００７７】
そして、ステップ２００において、上記ステップ１０６で抽出された目画像の、予め求められた、まぶた境界を含む領域から、縦方向の濃淡変化を抽出する。次のステップ２０２において、上記ステップ２００で抽出した縦方向の濃淡変化の周波数を検出する。
【００７８】
そして、ステップ２０４において、上記ステップ２０２で検出された周波数の周期の１／４だけ、上瞼特徴量の算出用に、２次エッジ画像を画像の上方向にずらすと共に、下瞼特徴量の算出用に、２次エッジ画像を画像の下方向にずらす。
【００７９】
そして、ステップ１１４において、各画素について、上瞼特徴量を算出すると共に下瞼特徴量を算出する。次のステップ１１６では、上記ステップ１１４で算出された上瞼特徴量の縦方向のピーク点を検出すると共に、下瞼特徴量の縦方向のピーク点を検出する。ステップ１１８において、上記ステップ１１６で検出された上瞼特徴量の縦方向のピーク点の集合から、上瞼形状及び位置を検出すると共に、上記ステップ１１６で検出された下瞼特徴量の縦方向のピーク点の集合から、下瞼形状及び位置を検出する。
【００８０】
そして、ステップ１２０において、上記ステップ１１８で検出された上瞼形状及び位置と、下瞼形状及び位置とから求められるまぶた開度を、表示装置１８に表示させて、画像処理ルーチンを終了する。
【００８１】
このように、まぶた位置を検出する度に、まぶたの境界における画素値変化の周波数を検出し、検出した周波数の周期の１／４だけ、２次エッジ画像を縦方向にずらすことにより、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせることができ、実際の瞼に近い場所で瞼特徴量が大きくなるように算出することができる。
【００８２】
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８３】
第３の実施の形態では、目画像から目の大きさを検出し、目の大きさから、まぶた境界における濃淡変化の周波数を決定している点が、第１の実施の形態と異なっている。
【００８４】
図１２に示すように、第３の実施の形態に係るまぶた検出装置３１０のコンピュータ３１６は、画像入力部２０と、目画像抽出部２２と、エッジ画像生成部２４と、目画像を取得し、目の大きさを検出する目サイズ検出部３３０と、検出された目の大きさに応じた、まぶた境界の濃淡変化の周波数を決定する周波数決定部３３２と、特徴量算出部２６と、まぶた位置検出部２８とを備えている。
【００８５】
目サイズ検出部３３０は、目画像抽出部２２によって抽出された目画像を取得し、当該目画像から、目の大きさ（例えば、目尻・目頭間の距離など）を検出する。
【００８６】
周波数決定部３３２には、目の大きさと、まぶた境界における縦方向の濃淡変化の周波数との対応関係が予め記憶されており、当該対応関係に基づいて、検出された目の大きさに対応する、まぶたの境界における濃淡変化の周波数を決定する。
【００８７】
特徴量算出部２６は、２次エッジ画像を、決定された周波数の周期の１／４だけ上方向にずらして、上記（１）式に従って、各画素の上瞼特徴量ｅupper（ｘ，ｙ）を算出する。
【００８８】
また、特徴量算出部２６は、２次エッジ画像を、決定された周波数の周期の１／４だけ、下方向にずらして、上記（２）式に従って、各画素の下瞼特徴量ｅlower（ｘ，ｙ）を算出する。
【００８９】
次に、第３の実施の形態に係るまぶた検出装置３１０の動作について説明する。
【００９０】
まず、コンピュータ３１６において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成し、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、片目を含む小領域を目画像として抽出する。
【００９１】
そして、コンピュータ３１６は、抽出された目画像から、目の大きさを検出し、検出された目の大きさに対応する、まぶたの境界における濃淡変化の周波数を決定して、メモリ（図示省略）に記憶する。
【００９２】
そして、コンピュータ３１６において、上述した第１の実施の形態と同様に画像処理ルーチンを実行する。
【００９３】
このように、目画像から目の大きさを検出し、目の大きさに応じて、まぶたの境界における濃度変化の周波数を決定して、決定した周波数の周期の１／４だけ、２次エッジ画像を縦方向にずらす。これにより、１次エッジ画像及び２次エッジ画像の、まぶたの境界における画素値変化の位相のずれを合わせることができ、実際の瞼に近い場所で瞼特徴量が大きくなるように算出することができる。
【００９４】
なお、上記の実施の形態では、目の大きさと、まぶたの境界における濃度変化の周波数との対応関係を予め記憶しておく場合を例に説明したが、これに限定されるものではなく、目の大きさと、まぶたの境界における濃度変化の周波数の周期との対応関係を予め記憶しておくようにしてもよい。
【００９５】
また、上記の第１の実施の形態〜第３の実施の形態では、画像入力部で入力した濃淡画像から濃淡変化の大きさを表すエッジ画像を生成する場合を例に説明したが、画像入力部で入力した画像がカラー画像であってもよい。この場合には、カラー画像の濃度値の変化の大きさを表すエッジ画像を生成すればよい。
【００９６】
また、目画像に対して、縦方向２次微分フィルタを用いたエッジ処理を行うことにより、２次微分値を計算する場合を例に説明したが、これに限定されるものではなく、１次エッジ画像に対して、縦方向１次微分フィルタを用いたエッジ処理をもう１度行って、２次微分値を計算するようにしてもよい。
【００９７】
また、２次エッジ画像をまばたき方向（縦方向）にずらす場合を例に説明したが、これに限定されるものではなく、１次エッジ画像をまばたき方向にずらすようにしてもよい。この場合には、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、１次エッジ画像を、まばたき方向の下方向にずらし、下方向にずらした１次エッジ画像と、２次エッジ画像とに基づいて、各画素の上瞼特徴量を算出するようにすればよい。また、まぶたの境界における縦方向の濃度変化の周波数の周期の１／４だけ、１次エッジ画像を、まばたき方向の上方向にずらし、上方向にずらした１次エッジ画像と、２次エッジ画像とに基づいて、各画素の下瞼特徴量を算出するようにすればよい。
【００９８】
また、化粧は上瞼に塗られるので、上瞼特徴量の算出用にのみ、１次エッジ画像及び２次エッジ画像の何れか一方をまばたき方向にずらすようにしてもよい。
【００９９】
また、１次エッジ画像の画素値と２次エッジ画像の画素値とを重み付け加算して、瞼特徴量を算出する場合を例に説明したが、これに限定されるものではなく、１次エッジ画像の画素値と２次エッジ画像の画素値とを乗算して、各画素の瞼特徴量を算出するようにしてもよい。
【０１００】
また、瞼特徴量のピーク点の集合に対して、瞼形状をフィッティングして、まぶた位置を検出する場合を例に説明したが、これに限定されるものではなく、他の手法により、まぶた位置を検出するようにしてもよい。
【０１０１】
本発明のプログラムを、記憶媒体に格納して提供することも可能である。
【符号の説明】
【０１０２】
１０、２１０、３１０ まぶた検出装置
１２ 画像撮像部
１６、２１６、３１６ コンピュータ
２２ 目画像抽出部
２４ エッジ画像生成部
２６ 特徴量算出部
２８ 位置検出部
２３０ 濃淡変化抽出部
２３２ 周波数検出部
３３０ 目サイズ検出部
３３２ 周波数決定部
【特許請求の範囲】
【請求項１】
目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段と、
前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段と、
前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するまぶた検出手段と、
を含むまぶた検出装置。
【請求項２】
前記画像から、目の大きさを検出する目検出手段を更に含み、
前記特徴量算出手段は、前記検出された目の大きさに対応して予め定められた前記まぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらして、各画素について前記特徴量を算出する請求項１記載のまぶた検出装置。
【請求項３】
前記画像から、まぶたの境界における画素値変化を抽出する画素値変化抽出手段と、
前記抽出された画素値変化の周波数を検出する周波数検出手段とを更に含み、
前記特徴量算出手段は、前記周波数検出手段によって検出された前記画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらして、各画素について前記特徴量を算出する請求項１記載のまぶた検出装置。
【請求項４】
前記特徴量算出手段は、前記画像におけるまぶたの境界における画素値変化の周波数の周期の１／４だけ、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらして、各画素について前記特徴量を算出する請求項１〜請求項３の何れか１項記載のまぶた検出装置。
【請求項５】
前記所定方向を、まばたき方向とした請求項１〜請求項４の何れか１項記載のまぶた検出装置。
【請求項６】
前記特徴量算出手段は、前記１次エッジ画像を、前記まばたき方向であって、かつ、下方向にずらし、各画素について前記特徴量を算出し、
前記まぶた検出手段は、前記算出された特徴量に基づいて、上まぶたと眼球との境界を検出する請求項５記載のまぶた検出装置。
【請求項７】
前記特徴量算出手段は、前記２次エッジ画像を、前記まばたき方向であって、かつ、上方向にずらし、各画素について前記特徴量を算出し、
前記まぶた検出手段は、前記算出された特徴量に基づいて、上まぶたと眼球との境界を検出する請求項５記載のまぶた検出装置。
【請求項８】
前記特徴量算出手段は、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値の重み付き加算又は乗算により、前記特徴量を算出する請求項１〜請求項７の何れか１項記載のまぶた検出装置。
【請求項９】
前記まぶた検出手段は、前記算出された特徴量の前記所定方向におけるピーク点に基づいて、前記上まぶたと眼球との境界及び前記下まぶたと眼球との境界の少なくとも一方を検出する請求項１〜請求項８の何れか１項記載のまぶた検出装置。
【請求項１０】
コンピュータを、
目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段、
前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段、及び
前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及びの少なくとも一方を検出するまぶた検出手段
として機能させるためのプログラム。
【請求項１】
目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段と、
前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段と、
前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及び下まぶたと眼球との境界の少なくとも一方を検出するまぶた検出手段と、
を含むまぶた検出装置。
【請求項２】
前記画像から、目の大きさを検出する目検出手段を更に含み、
前記特徴量算出手段は、前記検出された目の大きさに対応して予め定められた前記まぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらして、各画素について前記特徴量を算出する請求項１記載のまぶた検出装置。
【請求項３】
前記画像から、まぶたの境界における画素値変化を抽出する画素値変化抽出手段と、
前記抽出された画素値変化の周波数を検出する周波数検出手段とを更に含み、
前記特徴量算出手段は、前記周波数検出手段によって検出された前記画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらして、各画素について前記特徴量を算出する請求項１記載のまぶた検出装置。
【請求項４】
前記特徴量算出手段は、前記画像におけるまぶたの境界における画素値変化の周波数の周期の１／４だけ、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらして、各画素について前記特徴量を算出する請求項１〜請求項３の何れか１項記載のまぶた検出装置。
【請求項５】
前記所定方向を、まばたき方向とした請求項１〜請求項４の何れか１項記載のまぶた検出装置。
【請求項６】
前記特徴量算出手段は、前記１次エッジ画像を、前記まばたき方向であって、かつ、下方向にずらし、各画素について前記特徴量を算出し、
前記まぶた検出手段は、前記算出された特徴量に基づいて、上まぶたと眼球との境界を検出する請求項５記載のまぶた検出装置。
【請求項７】
前記特徴量算出手段は、前記２次エッジ画像を、前記まばたき方向であって、かつ、上方向にずらし、各画素について前記特徴量を算出し、
前記まぶた検出手段は、前記算出された特徴量に基づいて、上まぶたと眼球との境界を検出する請求項５記載のまぶた検出装置。
【請求項８】
前記特徴量算出手段は、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値の重み付き加算又は乗算により、前記特徴量を算出する請求項１〜請求項７の何れか１項記載のまぶた検出装置。
【請求項９】
前記まぶた検出手段は、前記算出された特徴量の前記所定方向におけるピーク点に基づいて、前記上まぶたと眼球との境界及び前記下まぶたと眼球との境界の少なくとも一方を検出する請求項１〜請求項８の何れか１項記載のまぶた検出装置。
【請求項１０】
コンピュータを、
目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表す１次エッジ画像、及び該領域における画素毎の前記所定方向の画素値変化の大きさの前記所定方向の変化率を表わす２次エッジ画像を生成する生成手段、
前記画像におけるまぶたの境界における画素値変化の周波数の周期に応じて、前記１次エッジ画像及び前記２次エッジ画像の何れか一方を前記所定方向にずらし、各画素について、前記１次エッジ画像の該画素の画素値及び前記２次エッジ画像の該画素の画素値に基づいて、特徴量を算出する特徴量算出手段、及び
前記算出された各画素の特徴量に基づいて、上まぶたと眼球との境界及びの少なくとも一方を検出するまぶた検出手段
として機能させるためのプログラム。
【図１】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図６】
【図８】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図６】
【図８】
【公開番号】特開２０１２−２２５３１（Ｐ２０１２−２２５３１Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６００５３（Ｐ２０１０−１６００５３）
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]