目開閉判定装置およびプログラム
【課題】人物の変化に対する耐性および環境の変化に対する耐性を有した目開閉状態の判定を行うことが可能な技術を提供する。また、複数のエッジ部分から瞼のエッジ部分を選択する困難さを伴わない目開閉状態の判定を行うことが可能な技術を提供する。
【解決手段】画像に存在する目の開閉状態を判定する目開閉判定装置１０において、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部１１０と、複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部１２０と、１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部１３０と、を備えることを特徴とする、目開閉判定装置１０が提供される。
【解決手段】画像に存在する目の開閉状態を判定する目開閉判定装置１０において、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部１１０と、複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部１２０と、１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部１３０と、を備えることを特徴とする、目開閉判定装置１０が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目開閉判定装置およびプログラムに関するものである。
【背景技術】
【０００２】
近年、目の状態が開眼状態と閉眼状態とのいずれであるかを示す目開閉状態を判定する手法として様々な技術が開示されている。例えば、特許文献１には、睡眠の有無を判定するために目開閉状態を判定する手法がいくつか開示されている。この特許文献１には、具体的に、目開閉状態を判定する手法として、露出している瞳のサイズを利用する手法、目領域を構成する部位の変動方向を利用する手法、テンプレートマッチングを利用する手法、瞼の位置を利用する手法などが挙げられている。
【０００３】
露出している瞳のサイズを利用する手法では、まず、画像に映る目領域を２値化（または白黒化）する処理が行われる。また、２値化されたデータに基づいて縦方向の黒色画素数が検出され、黒色画素数に基づいて目が開いている程度を表す指標が算出される。そして、この指標と閾値との関係に基づいて目開閉状態が判定される。なお、この指標としては、例えば、現在のフレームにおける黒色画素数を所定時間内のフレームにおける黒色画素数の最大値により除して得られる値が使用される。
【０００４】
目領域を構成する部位の変動方向を利用する手法では、フレーム間における目領域の差分情報に基づいて目領域を構成する部位の垂直方向への変動方向が把握される。そして、変動方向に基づいて目開閉状態の遷移が判定される。例えば、下方向への変動は、開眼状態から閉眼状態への遷移として検出される。
【０００５】
テンプレートマッチングを利用する手法では、開眼状態と閉眼状態の各々の状態が映されたサンプル画像がテンプレートとして記憶されている。そして、撮像画像から検出された目領域とテンプレートとの照合の結果、撮像画像に映る目の状態が開眼状態と閉眼状態とのいずれに近いかが判定されることにより目開閉状態が判定される。
【０００６】
瞼の位置を利用する手法では、まず、画像から瞼のエッジ部分が検出される。そして、瞼のエッジ部分が目領域よりも上側にあれば開眼状態、下側にあれば閉眼状態と判定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０５０７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、露出している瞳のサイズを利用する手法では、環境の変化に対する耐性が低い。例えば、目領域全体が明るい場合は黒色画素数が少なくなるために被写体の目が閉眼状態と判定され易くなり、目領域全体が暗い場合は黒色画素数が多くなるために被写体の目が開眼状態と判定され易くなる。そのため、被写体が明るい場所から暗い場所に移動した場合には、被写体の目が実際には閉眼状態であるが開眼状態であると判定されたり、被写体が暗い場所から明るい場所に移動した場合には、被写体の目が実際には開眼状態であるが閉眼状態であると判定されたりするといった誤判定が起こる可能性がある。
【０００９】
目領域を構成する部位の変動方向を利用する手法では、環境の変化に対する耐性が低い。例えば、環境が変化した場合には、画像全体または一部を構成する１または複数の画素の各々の値が大きく変化するため、目領域を構成する部位が上下どちらに変動したかを推定することが困難である。
【００１０】
テンプレートマッチングを利用する手法では、被写体となる人物の変化に対する耐性が低い。開眼状態と閉眼状態とのいずれの場合であっても、目領域の画像には個人差がある。しかし、様々な人物に適用できるテンプレートの作成は困難である。また、被写体となる人物ごとにテンプレートを作成することは、目開閉状態の判定の利便性を低下させる要因となり得る。
【００１１】
瞼の位置を利用する手法では、上記したような環境の変化に対する耐性が低いという問題、被写体となる人物の変化に対する耐性が低いという問題などはないが、瞼のエッジ部分を検出するのが困難であるという問題がある。例えば、開眼状態であっても目領域には多数のエッジ部分が存在する。そのため、多数のエッジ部分から瞼のエッジ部分を選択するのは困難である。
【００１２】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、人物の変化に対する耐性および環境の変化に対する耐性を有した目開閉状態の判定を行うことが可能な技術を提供することにある。また、本発明の目的とするところは、複数のエッジ部分から瞼のエッジ部分を選択する困難さを伴わない目開閉状態の判定を行うことが可能な技術を提供することにある。
【課題を解決するための手段】
【００１３】
上記問題を解決するために、本発明のある観点によれば、画像に存在する目の開閉状態を判定する目開閉判定装置において、前記画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、を備えることを特徴とする、目開閉判定装置が提供される。
【００１４】
前記勾配抽出処理部は、前記複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて前記濃度勾配を複数方向のいずれかに分類することにより前記濃度勾配方向を抽出してもよい。
【００１５】
前記瞼候補領域抽出処理部は、前記複数の画素の各々に対して、隣接画素との間における前記濃度勾配方向の変化に応じた得点を付与し、前記複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を前記１または複数の瞼候補領域として抽出してもよい。
【００１６】
前記瞼候補領域抽出処理部は、前記濃度勾配方向の変化が縦方向の場合には、前記濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与してもよい。
【００１７】
前記開閉判定処理部は、前記１または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、前記瞼領域の横幅に基づいて目の開閉状態を判定してもよい。
【００１８】
前記目開閉判定装置は、前記１または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部をさらに備えてもよい。
【００１９】
前記目開閉判定装置は、前記開閉判定処理部により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部をさらに備えてもよい。
【００２０】
また、本発明の別の観点によれば、コンピュータを、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、を備える目開閉判定装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、人物の変化に対する耐性および環境の変化に対する耐性を有した目開閉状態の判定を行うことが可能となる。本発明によれば、複数のエッジ部分から瞼のエッジ部分を選択する困難さを伴わない目開閉状態の判定を行うことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】目開閉判定システムの動作を示すフローチャートである。
【図２】第１の実施形態に係る目開閉判定装置の機能構成を示すブロック図である。
【図３】第１の実施形態に係る目開閉判定装置の動作を示すフローチャートである。
【図４】顔検出処理の処理結果の例を示す図である。
【図５】目領域検出処理の処理結果の例を示す図である。
【図６】ノイズ除去処理の処理結果の例を示す図である。
【図７】勾配抽出処理の処理結果の例を示す図である。
【図８】画素の色と濃度勾配方向との対応を示す図である。
【図９】各画素の濃度勾配方向に対する得点の与え方の一例を示す図である。
【図１０】各画素の濃度勾配方向に対する得点の与え方の他の一例を示す図である。
【図１１】各画素の濃度勾配方向に対して得点が付与された結果の例を示す図である。
【図１２】瞼候補領域から検出された瞼領域の例を示す図である。
【図１３】第２の実施形態に係る目開閉判定装置の機能構成を示すブロック図である。
【図１４】第２の実施形態に係る目開閉判定装置の動作を示すフローチャートである。
【図１５】瞼候補領域抽出処理の処理結果（補正前）の例を示す図である。
【図１６】瞼候補領域抽出処理の処理結果（補正後）の例を示す図である。
【図１７】第３の実施形態に係る目開閉判定装置の機能構成を示すブロック図である。
【図１８】第３の実施形態に係る目開閉判定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２５】
［目開閉判定システムの構成］
図１は、目開閉判定システムの動作を示すフローチャートである。図１を参照しながら、目開閉判定システムの動作について説明する。この目開閉判定システムの動作は、以下に説明する本発明の第１の実施形態〜第３の実施形態の前提となる動作である。なお、以下において、画像には被写体の顔が映されており、画像を構成する複数の画素の各々の値を単に「画素」と言う場合もある。
【００２６】
図１に示すように、目開閉判定システムによる動作は、顔検出処理（Ｓ１０）、目領域検出処理（Ｓ２０）および目開閉判定処理（Ｓ３０）を含んでいる。顔検出処理（Ｓ１０）は、画像を取得し、画像中の人物の顔領域を検出する処理である。この顔検出処理（Ｓ１０）は、例えば、図示しない顔検出装置により実行され得る。目領域検出処理（Ｓ２０）は、画像と顔領域の位置とを取得し、画像と顔領域の位置とに基づいて顔領域中の目領域の位置を画像から検出する処理である。この目領域検出処理（Ｓ２０）は、例えば、図示しない目領域検出装置により実行され得る。
【００２７】
目開閉判定処理（Ｓ３０）は、画像と目領域の位置とを取得し、画像と目領域の位置とに基づいて目領域中にある目が開眼状態および閉眼状態のいずれであるかを判定する。この目開閉判定処理（Ｓ３０）は、例えば、目開閉判定装置１０により実行され得る。図示しない顔検出装置、図示しない目領域検出装置および目開閉判定装置１０の各々は、別体に構成されていてもよく、これらの装置のいずれか２つまたは３つ全てが一体化されていてもよい。
【００２８】
［第１の実施形態の説明］
まず、本発明の第１の実施形態について説明する。図２は、第１の実施形態に係る目開閉判定装置１０Ａの機能構成を示すブロック図である。図２に示すように、第１の実施形態に係る目開閉判定装置１０Ａは、勾配抽出処理部１１０、瞼候補領域抽出処理部１２０および開閉判定処理部１３０を備える。勾配抽出処理部１１０、瞼候補領域抽出処理部１２０および開閉判定処理部１３０の各々が有する機能の詳細は、後に説明する。
【００２９】
図３は、第１の実施形態に係る目開閉判定装置１０Ａの動作を示すフローチャートである。図３に示すように、目開閉判定装置１０Ａの動作は、ノイズ除去処理（Ｓ１１０）、勾配抽出処理（Ｓ１２０）、瞼候補領域抽出処理（Ｓ１３０）および開閉判定処理（Ｓ１４０）を含んでいる。ノイズ除去処理（Ｓ１１０）は、画像と目領域の位置とを取得し、画像と目領域の位置とに基づいて画像中の目領域からノイズを除去する処理である。ノイズ除去処理（Ｓ１１０）は、勾配抽出処理部１１０により実行される。ノイズ除去処理（Ｓ１１０）は、目開閉状態の判定精度を向上させるために実行されるため、特に実行されなくてもよい。
【００３０】
勾配抽出処理（Ｓ１２０）は、ノイズが除去された目領域画像を取得し、目領域画像中の各画素の濃度勾配方向を抽出する処理である。勾配抽出処理（Ｓ１２０）は、勾配抽出処理部１１０により実行される。瞼候補領域抽出処理（Ｓ１３０）は、各画素の濃度勾配方向を取得し、各画素と周辺画素との関係に基づいて各画素に関する濃度勾配方向を得点化し、これらの得点をエッジ部分の強度として扱うことで瞼候補領域を抽出する処理である。瞼候補領域抽出処理（Ｓ１３０）は、瞼候補領域抽出処理部１２０により実行される。開閉判定処理（Ｓ１４０）は、瞼候補領域を取得し、瞼候補領域に基づいて目開閉状態を判定する処理である。開閉判定処理（Ｓ１４０）は、開閉判定処理部１３０により実行される。
【００３１】
［各処理の詳細と処理結果の例］
続いて、各処理の詳細と処理結果の例について説明する。
【００３２】
［顔検出処理（Ｓ１０）］
まず、顔検出処理（Ｓ１０）の詳細と処理結果の例について説明する。顔検出処理（Ｓ１０）には様々な手法が応用可能である。例えば、P.Viola and M.Jones, “Rapid object Detection using a Boosted Cascade of
Simple Features”, Proc.of IEEE
Conf.CVPR,1,pp.511-518,2001.に記載されている手法などが利用できる。顔検出処理（Ｓ１０）の処理結果の例を図４に示す。図４には、画像から検出された開眼状態の顔領域を含む矩形領域の輪郭Ｆ１と画像から検出された閉眼状態の顔領域を含む矩形領域の輪郭Ｆ２とが示されている。顔検出処理（Ｓ１０）により輪郭Ｆ１または輪郭Ｆ２が検出される。
【００３３】
［目領域検出処理（Ｓ２０）］
続いて、目領域検出処理（Ｓ２０）の詳細と処理結果の例について説明する。目領域検出処理（Ｓ２０）には様々な手法が応用可能である。例えば、T.F.Cootes, G.J.Edwards, and C.J.Taylor, “Active
Appearance Models”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE
INTELLIGENCE, VOL.23,NO.6, JUNE 2001,pp.681-685に記載されている手法などが利用できる。目領域検出処理（Ｓ２０）の処理結果の例を図５に示す。図５には、開眼状態の右目領域Ｅ１１と開眼状態の左目領域Ｅ１２とが示されている。また、図５には、閉眼状態の右目領域Ｅ２１と閉眼状態の左目領域Ｅ２２とが示されている。
【００３４】
図５では、開眼状態の右目領域Ｅ１１、開眼状態の左目領域Ｅ１２、閉眼状態の右目領域Ｅ２１および閉眼状態の左目領域Ｅ２２が、各目領域を含む矩形領域として表現されているが、各目領域を含む領域であれば特に矩形領域に限定されない。開眼状態の顔が画像に映っている場合には、目領域検出処理（Ｓ２０）により開眼状態の右目領域Ｅ１１および開眼状態の左目領域Ｅ１２の少なくともいずれか一方が検出される。また、閉眼状態の顔が画像に映っている場合には、目領域検出処理（Ｓ２０）により閉眼状態の右目領域Ｅ２１および閉眼状態の左目領域２２の少なくともいずれか一方が検出される。左右の目領域が検出された場合には、左右の目領域に関して以降の処理が実行され得るが、第１の実施形態および第２の実施形態では、目領域として右目領域が検出される場合について説明する。
【００３５】
［目開閉判定処理（Ｓ３０）］
続いて、目開閉判定処理（Ｓ３０）の詳細と処理結果の例について説明する。目開閉判定処理（Ｓ３０）では、目領域検出処理（Ｓ２０）により検出された目領域に対して目開閉状態の判定が行われる。上記したように、目開閉判定処理（Ｓ３０）には、ノイズ除去処理（Ｓ１１０）、勾配抽出処理（Ｓ１２０）、瞼候補領域抽出処理（Ｓ１３０）および開閉判定処理（Ｓ１４０）が含まれている。各処理の詳細と処理結果の例について説明する。
【００３６】
［ノイズ除去処理（Ｓ１１０）］
続いて、ノイズ除去処理（Ｓ１１０）の詳細と処理結果の例について説明する。ノイズ除去処理（Ｓ１１０）には様々な手法が応用可能である。例えば、ノイズ除去処理にはガウシアンフィルタやメディアンフィルタなどが利用できる。ノイズ除去処理の処理結果の例を図６に示す。図６には、開眼状態の右目領域Ｅ１１に対するノイズ除去処理の処理結果が目領域Ｅ１１１として示され、閉眼状態の右目領域Ｅ２１に対するノイズ除去処理の処理結果が目領域Ｅ２１１として示されている。なお、上記したように、ノイズ除去処理（Ｓ１１０）は、目開閉状態の判定精度を向上させるために実行されるため、特に実行されなくてもよい。
【００３７】
［勾配抽出処理（Ｓ１２０）］
続いて、勾配抽出処理（Ｓ１２０）の詳細と処理結果の例について説明する。勾配抽出処理部１１０は、画像を構成する複数の画素の各々の濃度勾配方向を抽出する。より詳細には、勾配抽出処理部１１０は、画像を構成する複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて濃度勾配を複数方向のいずれかに分類することにより濃度勾配方向を抽出する。濃度勾配の分類には以下の手法を利用することができる。
【００３８】
・上方向、下方向、左方向、右方向の４方向のいずれかに分類する手法
・左上方向、右上方向、左下方向、右下方向の４方向のいずれかに分類する手法
・上方向、下方向、左上方向、右上方向、左下方向、右下方向の６方向のいずれかに分類する手法
・上記４方向をさらに２つに分割し、８方向のいずれかに分類する手法
【００３９】
これらの濃度勾配の分類手法は例にすぎず、他の手法により複数の方向のいずれかに分類してもよい。例えば、画素の濃度勾配を、上方向、下方向、左方向、右方向の４方向のいずれかに分類する手法を採用する場合、右隣の画素と自分自身の画素との差分（ｄｘ）と下隣の画素と自分自身の画素との差分（ｄｙ）とを利用して、以下のように濃度勾配を分類する手法を採用することができる。なお、ここでは、右方向をｘ軸方向、下方向をｙ軸方向としている。
【００４０】
・ｄｙの絶対値がｄｘの絶対値以上でありｄｙが０未満の場合、上方向に分類
・ｄｙの絶対値がｄｘの絶対値以上でありｄｙが０以上の場合、下方向に分類
・ｄｙの絶対値がｄｘの絶対値未満でありｄｘが０未満の場合、左方向に分類
・ｄｙの絶対値がｄｘの絶対値未満でありｄｘが０以上の場合、右方向に分類
【００４１】
上記した濃度勾配方向の求め方は例にすぎないため、利用する画素が異なっていたり、閾値が異なっていたりしてもよい。勾配抽出処理の処理結果の例を図７に示す。図７に示した例では、ノイズ除去後の画像を構成する各画素の濃度勾配を上記に例示した手法により上下左右の４種類の濃度勾配方向のいずれかに分類している。図７には、特に、開眼状態における各画素の濃度勾配方向が目領域Ｅ１１２として示され、閉眼状態における各画素の濃度勾配方向が目領域Ｅ２１２として示されている。図７に示された画素の色と濃度勾配方向との対応を図８に示す。例えば、図７に示された白色領域は、その画素における濃度勾配方向が下方向であることを示している。すなわち、白色領域は、その画素の周辺画素との関係が、「上」から「下」に向けて濃度が「明」から「暗」に変化しており、この変化が左右方向の変化よりも大きいことを示している。
【００４２】
［瞼候補領域抽出処理（Ｓ１３０）］
続いて、瞼候補領域抽出処理（Ｓ１３０）の詳細と処理結果の例について説明する。閉眼状態では横方向または斜め方向のエッジ部分が長く続く領域が現れ、開眼状態では横方向または斜め方向に続くエッジ部分が分散して複数現れる。瞼候補領域抽出処理（Ｓ１３０）では、この横方向または斜め方向のエッジ部分が長く続く領域の有無を判定するために、隣接画素間での濃度勾配方向の変化を得点化し、この得点を瞼候補領域らしさとすることで１または複数の瞼候補領域を抽出する。すなわち、瞼候補領域抽出処理部１２０は、勾配抽出処理部１１０により抽出された複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する。
【００４３】
このように、濃度勾配方向の変化に基づいて付与された得点を利用する手法を採用することにより、例えば、特許文献１に記載された手法が有する課題を解決することができる。隣接画素間における濃度勾配方向の変化は環境の変化に対する依存度が小さいため、この得点を利用する手法は、環境の変化に対する耐性が高いと言える。また、上記した横方向または斜め方向のエッジ部分が長く続く領域の出現は、閉眼状態における一般的な特徴であるため、この得点を利用する手法は、人物の変化に対する耐性が高いと言える。また、この得点を利用する手法は、横方向または斜め方向のエッジ部分が長く続く領域の有無により目開閉状態を判定するため、多数のエッジ部分から瞼のエッジ部分を選択する必要がない。
【００４４】
例えば、瞼候補領域抽出処理部１２０は、複数の画素の各々に対して、隣接画素との間における濃度勾配方向の変化に応じた得点を付与すればよい。そして、瞼候補領域抽出処理部１２０は、複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を１または複数の瞼候補領域として抽出すればよい。
【００４５】
さらに、閉眼状態においては横方向または斜め方向のエッジ部分が長く続く領域が現れるという特徴を踏まえると、瞼候補領域抽出処理部１２０は、濃度勾配方向の変化が縦方向の場合には、濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与するようにするとよい。各画素の濃度勾配方向に対する得点の与え方の一例を図９に示す。図９に示した例では、縦方向に隣接する２画素間で縦方向の濃度勾配変化があれば「２点」、縦方向に隣接する２画素間で斜め方向または横方向の濃度勾配変化があれば「１点」が付与される。
【００４６】
また、各画素の濃度勾配方向に対する得点の与え方の他の一例を図１０に示す。図１０に示す例のように、縦方向の濃度勾配変化に対して高い得点を付与し、斜め方向の濃度勾配変化に対して中程度の得点を付与し、横方向の勾配変化に対して低い得点を付与してもよい。より詳細には、図１０に示した例では、縦方向に隣接する２画素間で縦方向の濃度勾配変化があれば「３点」、縦方向に隣接する２画素間で斜め方向の濃度勾配変化があれば「２点」、縦方向に隣接する２画素間で横方向の濃度勾配変化があれば「１点」が付与される。
【００４７】
図９および図１０に示した得点の与え方は、例にすぎない。したがって、縦方向以外の方向に隣接する２画素間での濃度勾配変化が利用されてもよく、濃度勾配変化に対して与えられる得点も特に限定されない。各画素の濃度勾配方向に対して得点が付与された結果の例を図１１に示す。図１１には、図７に目領域Ｅ１１２として示された開眼状態における各画素の濃度勾配方向に対して図９に示した得点の与え方により得点が付与された結果が、目領域Ｅ１１３として示されている。同様に、図１１には、図７に目領域Ｅ２１２として示された閉眼状態における各画素の濃度勾配方向に対して図９に示した得点の与え方により得点が付与された結果が、目領域Ｅ２１３として示されている。なお、目領域Ｅ１１３および目領域Ｅ２１３に示された白色領域には「２点」、灰色領域には「１点」、黒色領域には「０点」が付与されている。
【００４８】
なお、図１１に示した例では、（ｘ，ｙ）と（ｘ，ｙ＋１）との組み合わせに対して与えられる得点が（ｘ，ｙ）における得点とされているが、（ｘ，ｙ−１）と（ｘ，ｙ）との組み合わせに対して与えられる得点と、（ｘ，ｙ）と（ｘ，ｙ＋１）との組み合わせに対して与えられる得点とが加算された結果が（ｘ，ｙ）における得点とされてもよい。あるいは、複数の組み合わせの各々に対して付与される得点が加算された結果が（ｘ，ｙ）における得点とされてもよい。いくつの組み合わせが利用されるかは、画像の縮小程度などに応じて調整されてもよい。
【００４９】
目領域Ｅ１１３に示されたように、開眼状態には白色領域（すなわち、得点の高い領域）が分散して複数現れるのに対して、目領域Ｅ２１３に示されたように、閉眼状態には白色領域（すなわち、得点の高い領域）が斜め方向または横方向に長く現れることが分かる。上記したように、瞼候補領域抽出処理部１２０は、複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を１または複数の瞼候補領域として抽出すればよい。例えば、瞼候補領域抽出処理部１２０は、「２点」が付与された白色領域を瞼候補領域として抽出すればよい。
【００５０】
なお、瞼候補領域は、４連結により規定されてもよい。すなわち、得点の高い複数の画素同士が、上方向、下方向、左方向または右方向に隣接する場合には、その複数の画素が同一の瞼候補領域を構成するとみなされてもよい。あるいは、瞼候補領域は、８連結により規定されてもよい。すなわち、得点の高い複数の画素同士が、上記４方向の他に、右上方向、右下方向、左上方向または左下方向に隣接する場合には、その複数の画素が同一の瞼候補領域を構成するとみなされてもよい。
【００５１】
また、得点が付与された各画素に対して２値化処理が行われてもよい。例えば、閾値を「２点」とし、得点が閾値以上である領域が白色領域とされ、得点が閾値未満である領域が黒色領域とされもよい。このように、２値化処理が行われた結果として抽出される白色領域（すなわち、閾値以上の得点が付与された領域）が１または複数の瞼候補領域として抽出されてもよい。
【００５２】
［開閉判定処理（Ｓ１４０）］
続いて、開閉判定処理（Ｓ１４０）の詳細と処理結果の例について説明する。開閉判定処理（Ｓ１４０）では、抽出された１または複数の瞼候補領域に基づいて目開閉状態を判定する。より詳細には、開閉判定処理（Ｓ１４０）では、抽出された１または複数の瞼候補領域から高得点が付与された画素が横方向に長く連続する領域の検出の成否によって、目開閉状態を判定する。すなわち、開閉判定処理部１３０は、１または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、瞼領域の横幅に基づいて目の開閉状態を判定する。
【００５３】
瞼候補領域から検出された瞼領域の例を図１２に示す。図１２には、得点が付与された目領域Ｅ１１３に対する２値化処理の結果として複数の瞼候補領域が抽出され、複数の瞼領域の中から検出された横幅の最も長い領域が瞼領域（目領域Ｅ１１４に示されている白色領域）として示されている。また、図１２には、得点が付与された目領域Ｅ２１３に対する２値化処理の結果として複数の瞼候補領域が抽出され、複数の瞼領域の中から検出された横幅の最も長い領域が瞼領域（目領域Ｅ２１４に示されている白色領域）として示されている。
【００５４】
開閉判定処理（Ｓ１４０）においては、このようにして検出された瞼候補領域に基づいて目開閉状態が判定される。例えば、閉眼状態においては目領域Ｅ２１４に横に長い瞼領域が出現するのが一般的である。この横に長い瞼領域は、大抵の場合には上瞼に相当する。したがって、瞼領域の横幅が閾値以上である場合には閉眼状態であると判定されてもよい。一方、例えば、開眼状態においては目領域Ｅ１１４に横に短い瞼領域が出現するのが一般的である。この横に短い瞼領域は、大抵の場合には上瞼または下瞼のいずれか一方の一部に相当する。したがって、瞼領域の横幅が閾値未満である場合には開眼状態であると判定されてもよい。
【００５５】
［効果の説明］
以上に説明したように、画像に存在する目の開閉状態を判定する目開閉判定装置１０Ａは、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部１１０を備えている。また、目開閉判定装置１０Ａは、複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部１２０と、１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部１３０と、をさらに備えている。
【００５６】
濃度勾配方向は環境に対する依存度が小さいため、かかる構成によれば、環境の変化に対する耐性が高い目開閉状態の判定を行うことができる。また、濃度勾配方向は、被写体となる人物に対する依存度も小さいため、かかる構成によれば、人物の変化に対する耐性が高い目開閉状態の判定を行うことができると言える。また、横方向または斜め方向のエッジ部分が長く続く領域の有無により目開閉状態を判定するため、かかる構成によれば、多数のエッジ部分から瞼のエッジ部分を選択する必要がないという利点を享受することができる。
【００５７】
［第２の実施形態の説明］
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態に係る目開閉判定システムの動作は、図１に示した本発明の第１の実施形態に係る目開閉判定システムの動作と同様になされる。図１３は、第２の実施形態に係る目開閉判定装置１０Ｂの機能構成を示すブロック図である。図１３に示すように、第２の実施形態に係る目開閉判定装置１０Ｂは、第１の実施形態に係る目開閉判定装置１０Ａが備える機能ブロックの他に、瞼候補領域補正処理部１２１を備える。瞼候補領域補正処理部１２１が有する機能の詳細は、後に説明する。
【００５８】
図１４は、第２の実施形態に係る目開閉判定装置１０Ｂの動作を示すフローチャートである。図１４に示すように、目開閉判定装置１０Ｂの動作は、図３に示した動作の他に瞼候補領域補正処理（Ｓ１３１）を含んでいる。瞼候補領域補正処理（Ｓ１３１）は、１または複数の瞼候補領域のいずれかを補正する処理である。瞼候補領域補正処理（Ｓ１３１）は、瞼候補領域補正処理部１２１により実行される。
【００５９】
［瞼候補領域補正処理の詳細と処理結果の例］
続いて、瞼候補領域補正処理の詳細と処理結果の例について説明する。
【００６０】
［瞼候補領域補正処理（Ｓ１３１）］
瞼候補領域補正処理（Ｓ１３１）では、目領域中に目以外のものが含まれる場合に対応するために、１または複数の瞼候補領域のいずれかを補正する。目領域中に含まれる目以外のものとしては、髪の毛、眼鏡、環境の眼鏡への映り込みなどが考えられる。このような場合、本来であれば瞼候補領域に含まれると判定されるべき画素が瞼候補領域に含まれないと判定されることがある。瞼候補領域抽出処理の処理結果（補正前）の例を図１５に示す。図１５には、閉眼状態における右目の目領域に対する瞼候補領域抽出処理の処理結果（補正前）として目領域Ｅ２１５が示されている。
【００６１】
目領域Ｅ２１５には、本来であれば白色領域に含まれると判定されるべき画素が灰色領域に含まれると判定されてしまっている画素が存在する。これは、目領域中に目以外のものが含まれることが原因となり、その画素に低い得点（例えば、「１点」）が付与されたからであると考えられる。瞼候補領域補正処理（Ｓ１３１）では、このような場合に目開閉状態の判定を失敗することを防ぐための補正処理を実行する。具体的には、所定の長さ以上の長さを有する２つの瞼候補領域が画像中の同じ高さに同じ角度で現れた場合に、その２つの瞼候補領域の間の画素の得点を高くする補正処理が考えられる。
【００６２】
同じ高さである場合には、２つの瞼候補領域の高さが完全に一致する場合ばかりでなく、高さの差が所定の範囲内に収まっている場合も含まれる。同様に、同じ角度である場合には、２つの瞼候補領域の角度が完全に一致する場合ばかりでなく、角度の差が所定の範囲内に収まっている場合も含まれる。瞼候補領域抽出処理の処理結果（補正後）の例を図１６に示す。図１６には、目領域Ｅ２１５に対して補正が行われた後の画像として目領域Ｅ２１６が示されている。図１６に示された例では、２つの瞼候補領域の間の画素の得点を高くする補正がなされている。
【００６３】
このような補正が行われることにより、図１５に示したように瞼候補領域が抽出された場合であっても正しく目開閉状態の判定が行われ得る。なお、瞼候補領域補正処理（Ｓ１３１）においては、瞼候補領域の抽出結果のみを利用する例示したが、目領域の画像を利用して目以外のものが目領域中に含まれることを判定してもよく、画像以外の情報を利用して目以外のものが目領域中に含まれることを判定してもよい。
【００６４】
［効果の説明］
以上に説明したように、目開閉判定装置１０Ｂは、１または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部１２１をさらに備えている。かかる構成によれば、目領域中に目以外のものが含まれる場合に対応した目開閉状態の判定を行うことが可能となる。
【００６５】
［第３の実施形態の説明］
続いて、本発明の第３の実施形態について説明する。本発明の第３の実施形態に係る目開閉判定システムの動作は、図１に示した本発明の第１の実施形態に係る目開閉判定システムの動作と同様になされる。図１７は、第３の実施形態に係る目開閉判定装置１０Ｃの機能構成を示すブロック図である。図１７に示すように、第３の実施形態に係る目開閉判定装置１０Ｃは、第１の実施形態に係る目開閉判定装置１０Ａが備える機能ブロックの他に、左右統合判定処理部１４０を備える。左右統合判定処理部１４０が有する機能の詳細は、後に説明する。
【００６６】
図１７は、第３の実施形態に係る目開閉判定装置１０Ｃの動作を示すフローチャートである。図１７に示すように、目開閉判定装置１０Ｃの動作は、図３に示した動作の他に左右統合判定処理（Ｓ１５０）を含んでいる。左右統合判定処理（Ｓ１５０）は、開閉判定処理部１３０により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する処理である。左右統合判定処理（Ｓ１５０）は、左右統合判定処理部１４０により実行される。
【００６７】
［左右統合判定処理の詳細と処理結果の例］
続いて、左右統合判定処理の詳細と処理結果の例について説明する。
【００６８】
［左右統合判定処理（Ｓ１５０）］
左右統合判定処理（Ｓ１５０）では、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する処理である。左右統合判定処理（Ｓ１５０）では、左右の判定結果間において不均衡がある場合に対応するために、左右の判定結果を統合した目開閉状態判定を行う。例えば、画像中で左右に大きな環境の違いがある場合などは、左右の目開閉状態の判定結果の信頼性が異なる。
【００６９】
そのため、例えば、片側（例えば、左側）が良好な環境であり他の片側（例えば、右側）が劣悪な環境である場合などには、片側（例えば、左側）の判定結果のみを利用することで、画像中の目が閉眼状態であるか開眼状態であるかを判定することができる。環境が良好であるか劣悪であるかを判定する手法は特に限定されない。例えば、領域ごとに平均輝度を算出することにより領域ごとの輝度を取得し、閾値よりも輝度が高い領域は環境が良好であり、閾値よりも輝度が低い領域は環境が劣悪であると判定され得る。閾値と輝度が同じ領域はいずれに判定されてもよい。
【００７０】
また、環境が同じ場合であっても、左右の判定結果が異なる場合には、開閉判定処理（Ｓ３０）で利用された瞼領域の横幅の値を左右に関して加算した値と閾値との関係に基づいて、目開閉状態の判定がなされてもよい。例えば、閾値よりも加算値が大きい場合は閉眼状態であり、閾値よりも加算値が小さい場合は開眼状態であると判定され得る。閾値と加算値が同じ場合はいずれに判定されてもよい。
【００７１】
［効果の説明］
以上に説明したように、目開閉判定装置１０Ｃは、開閉判定処理部１３０により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部１４０をさらに備えている。かかる構成によれば、左右の不均衡に対応した目開閉状態判定を行うことが可能となる。
【００７２】
［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７３】
本実施形態では、勾配抽出処理において、４種類、６種類または８種類の濃度勾配方向に濃度勾配を分類する場合を例示している。しかしながら、勾配抽出処理はこのような分類手法に限定される必要はない。例えば、他の分類手法により濃度勾配が濃度勾配方向に分類されてもよい。
【００７４】
また、本実施形態では、勾配抽出処理において、隣接画素との差分の取得手法として、右隣の画素との差分と下隣の画素との差分とを利用する場合を例示しているが、勾配抽出処理における隣接画素との差分取得手法はこのような取得手法に限定される必要はない。例えば、左隣の画素との差分や上隣の画素との差分や斜め方向に隣接する画素を利用してもよい。
【００７５】
また、本実施形態では、瞼候候補領域抽出処理において、隣接画素との濃度勾配方向の変化として縦方向の隣接画素を利用する場合を例示しているが、瞼候補領域抽出処理における隣接画素との濃度勾配方向の変化の取得手法はこのような取得手法に限定される必要はない。例えば、横方向の左隣画素や斜め方向の隣接画素を利用してもよい。
【００７６】
本実施形態では、瞼候補領域抽出処理において、図９または図１０に示されたような得点を利用する場合を例示しているが、瞼候補領域抽出処理で与えられる得点はこれらの手法に限定される必要はない。例えば、例示していない組み合わせを利用したり、例示していない得点を利用したりしてもよい。
【００７７】
本実施形態では、瞼候補領域補正処理において、２つの瞼候補領域をつなげる場合を例示しているが、瞼候補領域補正処理はこのような手法に限定される必要はない。例えば、例示していない補正処理を実施してもよい。
【００７８】
本実施形態では、左右統合判定処理において、画像中の環境を利用する場合と左右の瞼領域の横幅を加算した値を利用する場合とを例示しているが、左右統合判定処理はこのような手法に限定される必要はない。例えば、例示していない左右統合判定処理を実施してもよい。
【００７９】
本実施形態では、第１の実施形態に対して、第２の実施形態と第３の実施形態とでそれぞれ特殊な条件への対応と左右不均衡への対応とを行う場合を例示している。しかしながら、第２の実施形態および第３の実施形態の各々は排他的に実施しなければならないものではない。例えば、第１の実施形態に対して第２の実施形態で示した瞼候補領域補正処理を行う機能と第３の実施形態で示した左右統合判定処理を行う機能との両方を追加することにより、特殊な条件への対応と左右不均衡への対応との両方を実施してもよい。
【００８０】
さらに、目開閉判定装置１０を構成する各ブロックは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶装置により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、目開閉判定装置１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００８１】
本実施形態に係る目開閉判定装置１０は、様々な分野に適用され得る。例えば、撮像装置により被写体が撮像される場面に適用される例を想定すると、目開閉判定装置１０により撮像画像に映る被写体が閉眼状態であると判定された場合には、撮像装置により再度自動的に被写体が撮像されるようにしてもよい。目開閉判定装置１０により撮像画像に映る被写体が閉眼状態であると判定された場合には、撮像画像が加工されるようにしてもよい。また、例えば、被写体による自動車の運転時に適用される例を想定すると、目開閉判定装置１０により撮像画像に映る被写体が閉眼状態であると判定された場合には、被写体が居眠りをしている可能性があるため、居眠り防止のための処理が実行されるようにしてもよい。
【００８２】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００８３】
１０（１０Ａ，１０Ｂ，１０Ｃ） 目開閉判定装置
１１０ 勾配抽出処理部
１２０ 瞼候補領域抽出処理部
１２１ 瞼候補領域補正処理部
１３０ 開閉判定処理部
１４０ 左右統合判定処理部
【技術分野】
【０００１】
本発明は、目開閉判定装置およびプログラムに関するものである。
【背景技術】
【０００２】
近年、目の状態が開眼状態と閉眼状態とのいずれであるかを示す目開閉状態を判定する手法として様々な技術が開示されている。例えば、特許文献１には、睡眠の有無を判定するために目開閉状態を判定する手法がいくつか開示されている。この特許文献１には、具体的に、目開閉状態を判定する手法として、露出している瞳のサイズを利用する手法、目領域を構成する部位の変動方向を利用する手法、テンプレートマッチングを利用する手法、瞼の位置を利用する手法などが挙げられている。
【０００３】
露出している瞳のサイズを利用する手法では、まず、画像に映る目領域を２値化（または白黒化）する処理が行われる。また、２値化されたデータに基づいて縦方向の黒色画素数が検出され、黒色画素数に基づいて目が開いている程度を表す指標が算出される。そして、この指標と閾値との関係に基づいて目開閉状態が判定される。なお、この指標としては、例えば、現在のフレームにおける黒色画素数を所定時間内のフレームにおける黒色画素数の最大値により除して得られる値が使用される。
【０００４】
目領域を構成する部位の変動方向を利用する手法では、フレーム間における目領域の差分情報に基づいて目領域を構成する部位の垂直方向への変動方向が把握される。そして、変動方向に基づいて目開閉状態の遷移が判定される。例えば、下方向への変動は、開眼状態から閉眼状態への遷移として検出される。
【０００５】
テンプレートマッチングを利用する手法では、開眼状態と閉眼状態の各々の状態が映されたサンプル画像がテンプレートとして記憶されている。そして、撮像画像から検出された目領域とテンプレートとの照合の結果、撮像画像に映る目の状態が開眼状態と閉眼状態とのいずれに近いかが判定されることにより目開閉状態が判定される。
【０００６】
瞼の位置を利用する手法では、まず、画像から瞼のエッジ部分が検出される。そして、瞼のエッジ部分が目領域よりも上側にあれば開眼状態、下側にあれば閉眼状態と判定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０５０７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、露出している瞳のサイズを利用する手法では、環境の変化に対する耐性が低い。例えば、目領域全体が明るい場合は黒色画素数が少なくなるために被写体の目が閉眼状態と判定され易くなり、目領域全体が暗い場合は黒色画素数が多くなるために被写体の目が開眼状態と判定され易くなる。そのため、被写体が明るい場所から暗い場所に移動した場合には、被写体の目が実際には閉眼状態であるが開眼状態であると判定されたり、被写体が暗い場所から明るい場所に移動した場合には、被写体の目が実際には開眼状態であるが閉眼状態であると判定されたりするといった誤判定が起こる可能性がある。
【０００９】
目領域を構成する部位の変動方向を利用する手法では、環境の変化に対する耐性が低い。例えば、環境が変化した場合には、画像全体または一部を構成する１または複数の画素の各々の値が大きく変化するため、目領域を構成する部位が上下どちらに変動したかを推定することが困難である。
【００１０】
テンプレートマッチングを利用する手法では、被写体となる人物の変化に対する耐性が低い。開眼状態と閉眼状態とのいずれの場合であっても、目領域の画像には個人差がある。しかし、様々な人物に適用できるテンプレートの作成は困難である。また、被写体となる人物ごとにテンプレートを作成することは、目開閉状態の判定の利便性を低下させる要因となり得る。
【００１１】
瞼の位置を利用する手法では、上記したような環境の変化に対する耐性が低いという問題、被写体となる人物の変化に対する耐性が低いという問題などはないが、瞼のエッジ部分を検出するのが困難であるという問題がある。例えば、開眼状態であっても目領域には多数のエッジ部分が存在する。そのため、多数のエッジ部分から瞼のエッジ部分を選択するのは困難である。
【００１２】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、人物の変化に対する耐性および環境の変化に対する耐性を有した目開閉状態の判定を行うことが可能な技術を提供することにある。また、本発明の目的とするところは、複数のエッジ部分から瞼のエッジ部分を選択する困難さを伴わない目開閉状態の判定を行うことが可能な技術を提供することにある。
【課題を解決するための手段】
【００１３】
上記問題を解決するために、本発明のある観点によれば、画像に存在する目の開閉状態を判定する目開閉判定装置において、前記画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、を備えることを特徴とする、目開閉判定装置が提供される。
【００１４】
前記勾配抽出処理部は、前記複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて前記濃度勾配を複数方向のいずれかに分類することにより前記濃度勾配方向を抽出してもよい。
【００１５】
前記瞼候補領域抽出処理部は、前記複数の画素の各々に対して、隣接画素との間における前記濃度勾配方向の変化に応じた得点を付与し、前記複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を前記１または複数の瞼候補領域として抽出してもよい。
【００１６】
前記瞼候補領域抽出処理部は、前記濃度勾配方向の変化が縦方向の場合には、前記濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与してもよい。
【００１７】
前記開閉判定処理部は、前記１または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、前記瞼領域の横幅に基づいて目の開閉状態を判定してもよい。
【００１８】
前記目開閉判定装置は、前記１または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部をさらに備えてもよい。
【００１９】
前記目開閉判定装置は、前記開閉判定処理部により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部をさらに備えてもよい。
【００２０】
また、本発明の別の観点によれば、コンピュータを、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、を備える目開閉判定装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、人物の変化に対する耐性および環境の変化に対する耐性を有した目開閉状態の判定を行うことが可能となる。本発明によれば、複数のエッジ部分から瞼のエッジ部分を選択する困難さを伴わない目開閉状態の判定を行うことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】目開閉判定システムの動作を示すフローチャートである。
【図２】第１の実施形態に係る目開閉判定装置の機能構成を示すブロック図である。
【図３】第１の実施形態に係る目開閉判定装置の動作を示すフローチャートである。
【図４】顔検出処理の処理結果の例を示す図である。
【図５】目領域検出処理の処理結果の例を示す図である。
【図６】ノイズ除去処理の処理結果の例を示す図である。
【図７】勾配抽出処理の処理結果の例を示す図である。
【図８】画素の色と濃度勾配方向との対応を示す図である。
【図９】各画素の濃度勾配方向に対する得点の与え方の一例を示す図である。
【図１０】各画素の濃度勾配方向に対する得点の与え方の他の一例を示す図である。
【図１１】各画素の濃度勾配方向に対して得点が付与された結果の例を示す図である。
【図１２】瞼候補領域から検出された瞼領域の例を示す図である。
【図１３】第２の実施形態に係る目開閉判定装置の機能構成を示すブロック図である。
【図１４】第２の実施形態に係る目開閉判定装置の動作を示すフローチャートである。
【図１５】瞼候補領域抽出処理の処理結果（補正前）の例を示す図である。
【図１６】瞼候補領域抽出処理の処理結果（補正後）の例を示す図である。
【図１７】第３の実施形態に係る目開閉判定装置の機能構成を示すブロック図である。
【図１８】第３の実施形態に係る目開閉判定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２５】
［目開閉判定システムの構成］
図１は、目開閉判定システムの動作を示すフローチャートである。図１を参照しながら、目開閉判定システムの動作について説明する。この目開閉判定システムの動作は、以下に説明する本発明の第１の実施形態〜第３の実施形態の前提となる動作である。なお、以下において、画像には被写体の顔が映されており、画像を構成する複数の画素の各々の値を単に「画素」と言う場合もある。
【００２６】
図１に示すように、目開閉判定システムによる動作は、顔検出処理（Ｓ１０）、目領域検出処理（Ｓ２０）および目開閉判定処理（Ｓ３０）を含んでいる。顔検出処理（Ｓ１０）は、画像を取得し、画像中の人物の顔領域を検出する処理である。この顔検出処理（Ｓ１０）は、例えば、図示しない顔検出装置により実行され得る。目領域検出処理（Ｓ２０）は、画像と顔領域の位置とを取得し、画像と顔領域の位置とに基づいて顔領域中の目領域の位置を画像から検出する処理である。この目領域検出処理（Ｓ２０）は、例えば、図示しない目領域検出装置により実行され得る。
【００２７】
目開閉判定処理（Ｓ３０）は、画像と目領域の位置とを取得し、画像と目領域の位置とに基づいて目領域中にある目が開眼状態および閉眼状態のいずれであるかを判定する。この目開閉判定処理（Ｓ３０）は、例えば、目開閉判定装置１０により実行され得る。図示しない顔検出装置、図示しない目領域検出装置および目開閉判定装置１０の各々は、別体に構成されていてもよく、これらの装置のいずれか２つまたは３つ全てが一体化されていてもよい。
【００２８】
［第１の実施形態の説明］
まず、本発明の第１の実施形態について説明する。図２は、第１の実施形態に係る目開閉判定装置１０Ａの機能構成を示すブロック図である。図２に示すように、第１の実施形態に係る目開閉判定装置１０Ａは、勾配抽出処理部１１０、瞼候補領域抽出処理部１２０および開閉判定処理部１３０を備える。勾配抽出処理部１１０、瞼候補領域抽出処理部１２０および開閉判定処理部１３０の各々が有する機能の詳細は、後に説明する。
【００２９】
図３は、第１の実施形態に係る目開閉判定装置１０Ａの動作を示すフローチャートである。図３に示すように、目開閉判定装置１０Ａの動作は、ノイズ除去処理（Ｓ１１０）、勾配抽出処理（Ｓ１２０）、瞼候補領域抽出処理（Ｓ１３０）および開閉判定処理（Ｓ１４０）を含んでいる。ノイズ除去処理（Ｓ１１０）は、画像と目領域の位置とを取得し、画像と目領域の位置とに基づいて画像中の目領域からノイズを除去する処理である。ノイズ除去処理（Ｓ１１０）は、勾配抽出処理部１１０により実行される。ノイズ除去処理（Ｓ１１０）は、目開閉状態の判定精度を向上させるために実行されるため、特に実行されなくてもよい。
【００３０】
勾配抽出処理（Ｓ１２０）は、ノイズが除去された目領域画像を取得し、目領域画像中の各画素の濃度勾配方向を抽出する処理である。勾配抽出処理（Ｓ１２０）は、勾配抽出処理部１１０により実行される。瞼候補領域抽出処理（Ｓ１３０）は、各画素の濃度勾配方向を取得し、各画素と周辺画素との関係に基づいて各画素に関する濃度勾配方向を得点化し、これらの得点をエッジ部分の強度として扱うことで瞼候補領域を抽出する処理である。瞼候補領域抽出処理（Ｓ１３０）は、瞼候補領域抽出処理部１２０により実行される。開閉判定処理（Ｓ１４０）は、瞼候補領域を取得し、瞼候補領域に基づいて目開閉状態を判定する処理である。開閉判定処理（Ｓ１４０）は、開閉判定処理部１３０により実行される。
【００３１】
［各処理の詳細と処理結果の例］
続いて、各処理の詳細と処理結果の例について説明する。
【００３２】
［顔検出処理（Ｓ１０）］
まず、顔検出処理（Ｓ１０）の詳細と処理結果の例について説明する。顔検出処理（Ｓ１０）には様々な手法が応用可能である。例えば、P.Viola and M.Jones, “Rapid object Detection using a Boosted Cascade of
Simple Features”, Proc.of IEEE
Conf.CVPR,1,pp.511-518,2001.に記載されている手法などが利用できる。顔検出処理（Ｓ１０）の処理結果の例を図４に示す。図４には、画像から検出された開眼状態の顔領域を含む矩形領域の輪郭Ｆ１と画像から検出された閉眼状態の顔領域を含む矩形領域の輪郭Ｆ２とが示されている。顔検出処理（Ｓ１０）により輪郭Ｆ１または輪郭Ｆ２が検出される。
【００３３】
［目領域検出処理（Ｓ２０）］
続いて、目領域検出処理（Ｓ２０）の詳細と処理結果の例について説明する。目領域検出処理（Ｓ２０）には様々な手法が応用可能である。例えば、T.F.Cootes, G.J.Edwards, and C.J.Taylor, “Active
Appearance Models”, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE
INTELLIGENCE, VOL.23,NO.6, JUNE 2001,pp.681-685に記載されている手法などが利用できる。目領域検出処理（Ｓ２０）の処理結果の例を図５に示す。図５には、開眼状態の右目領域Ｅ１１と開眼状態の左目領域Ｅ１２とが示されている。また、図５には、閉眼状態の右目領域Ｅ２１と閉眼状態の左目領域Ｅ２２とが示されている。
【００３４】
図５では、開眼状態の右目領域Ｅ１１、開眼状態の左目領域Ｅ１２、閉眼状態の右目領域Ｅ２１および閉眼状態の左目領域Ｅ２２が、各目領域を含む矩形領域として表現されているが、各目領域を含む領域であれば特に矩形領域に限定されない。開眼状態の顔が画像に映っている場合には、目領域検出処理（Ｓ２０）により開眼状態の右目領域Ｅ１１および開眼状態の左目領域Ｅ１２の少なくともいずれか一方が検出される。また、閉眼状態の顔が画像に映っている場合には、目領域検出処理（Ｓ２０）により閉眼状態の右目領域Ｅ２１および閉眼状態の左目領域２２の少なくともいずれか一方が検出される。左右の目領域が検出された場合には、左右の目領域に関して以降の処理が実行され得るが、第１の実施形態および第２の実施形態では、目領域として右目領域が検出される場合について説明する。
【００３５】
［目開閉判定処理（Ｓ３０）］
続いて、目開閉判定処理（Ｓ３０）の詳細と処理結果の例について説明する。目開閉判定処理（Ｓ３０）では、目領域検出処理（Ｓ２０）により検出された目領域に対して目開閉状態の判定が行われる。上記したように、目開閉判定処理（Ｓ３０）には、ノイズ除去処理（Ｓ１１０）、勾配抽出処理（Ｓ１２０）、瞼候補領域抽出処理（Ｓ１３０）および開閉判定処理（Ｓ１４０）が含まれている。各処理の詳細と処理結果の例について説明する。
【００３６】
［ノイズ除去処理（Ｓ１１０）］
続いて、ノイズ除去処理（Ｓ１１０）の詳細と処理結果の例について説明する。ノイズ除去処理（Ｓ１１０）には様々な手法が応用可能である。例えば、ノイズ除去処理にはガウシアンフィルタやメディアンフィルタなどが利用できる。ノイズ除去処理の処理結果の例を図６に示す。図６には、開眼状態の右目領域Ｅ１１に対するノイズ除去処理の処理結果が目領域Ｅ１１１として示され、閉眼状態の右目領域Ｅ２１に対するノイズ除去処理の処理結果が目領域Ｅ２１１として示されている。なお、上記したように、ノイズ除去処理（Ｓ１１０）は、目開閉状態の判定精度を向上させるために実行されるため、特に実行されなくてもよい。
【００３７】
［勾配抽出処理（Ｓ１２０）］
続いて、勾配抽出処理（Ｓ１２０）の詳細と処理結果の例について説明する。勾配抽出処理部１１０は、画像を構成する複数の画素の各々の濃度勾配方向を抽出する。より詳細には、勾配抽出処理部１１０は、画像を構成する複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて濃度勾配を複数方向のいずれかに分類することにより濃度勾配方向を抽出する。濃度勾配の分類には以下の手法を利用することができる。
【００３８】
・上方向、下方向、左方向、右方向の４方向のいずれかに分類する手法
・左上方向、右上方向、左下方向、右下方向の４方向のいずれかに分類する手法
・上方向、下方向、左上方向、右上方向、左下方向、右下方向の６方向のいずれかに分類する手法
・上記４方向をさらに２つに分割し、８方向のいずれかに分類する手法
【００３９】
これらの濃度勾配の分類手法は例にすぎず、他の手法により複数の方向のいずれかに分類してもよい。例えば、画素の濃度勾配を、上方向、下方向、左方向、右方向の４方向のいずれかに分類する手法を採用する場合、右隣の画素と自分自身の画素との差分（ｄｘ）と下隣の画素と自分自身の画素との差分（ｄｙ）とを利用して、以下のように濃度勾配を分類する手法を採用することができる。なお、ここでは、右方向をｘ軸方向、下方向をｙ軸方向としている。
【００４０】
・ｄｙの絶対値がｄｘの絶対値以上でありｄｙが０未満の場合、上方向に分類
・ｄｙの絶対値がｄｘの絶対値以上でありｄｙが０以上の場合、下方向に分類
・ｄｙの絶対値がｄｘの絶対値未満でありｄｘが０未満の場合、左方向に分類
・ｄｙの絶対値がｄｘの絶対値未満でありｄｘが０以上の場合、右方向に分類
【００４１】
上記した濃度勾配方向の求め方は例にすぎないため、利用する画素が異なっていたり、閾値が異なっていたりしてもよい。勾配抽出処理の処理結果の例を図７に示す。図７に示した例では、ノイズ除去後の画像を構成する各画素の濃度勾配を上記に例示した手法により上下左右の４種類の濃度勾配方向のいずれかに分類している。図７には、特に、開眼状態における各画素の濃度勾配方向が目領域Ｅ１１２として示され、閉眼状態における各画素の濃度勾配方向が目領域Ｅ２１２として示されている。図７に示された画素の色と濃度勾配方向との対応を図８に示す。例えば、図７に示された白色領域は、その画素における濃度勾配方向が下方向であることを示している。すなわち、白色領域は、その画素の周辺画素との関係が、「上」から「下」に向けて濃度が「明」から「暗」に変化しており、この変化が左右方向の変化よりも大きいことを示している。
【００４２】
［瞼候補領域抽出処理（Ｓ１３０）］
続いて、瞼候補領域抽出処理（Ｓ１３０）の詳細と処理結果の例について説明する。閉眼状態では横方向または斜め方向のエッジ部分が長く続く領域が現れ、開眼状態では横方向または斜め方向に続くエッジ部分が分散して複数現れる。瞼候補領域抽出処理（Ｓ１３０）では、この横方向または斜め方向のエッジ部分が長く続く領域の有無を判定するために、隣接画素間での濃度勾配方向の変化を得点化し、この得点を瞼候補領域らしさとすることで１または複数の瞼候補領域を抽出する。すなわち、瞼候補領域抽出処理部１２０は、勾配抽出処理部１１０により抽出された複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する。
【００４３】
このように、濃度勾配方向の変化に基づいて付与された得点を利用する手法を採用することにより、例えば、特許文献１に記載された手法が有する課題を解決することができる。隣接画素間における濃度勾配方向の変化は環境の変化に対する依存度が小さいため、この得点を利用する手法は、環境の変化に対する耐性が高いと言える。また、上記した横方向または斜め方向のエッジ部分が長く続く領域の出現は、閉眼状態における一般的な特徴であるため、この得点を利用する手法は、人物の変化に対する耐性が高いと言える。また、この得点を利用する手法は、横方向または斜め方向のエッジ部分が長く続く領域の有無により目開閉状態を判定するため、多数のエッジ部分から瞼のエッジ部分を選択する必要がない。
【００４４】
例えば、瞼候補領域抽出処理部１２０は、複数の画素の各々に対して、隣接画素との間における濃度勾配方向の変化に応じた得点を付与すればよい。そして、瞼候補領域抽出処理部１２０は、複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を１または複数の瞼候補領域として抽出すればよい。
【００４５】
さらに、閉眼状態においては横方向または斜め方向のエッジ部分が長く続く領域が現れるという特徴を踏まえると、瞼候補領域抽出処理部１２０は、濃度勾配方向の変化が縦方向の場合には、濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与するようにするとよい。各画素の濃度勾配方向に対する得点の与え方の一例を図９に示す。図９に示した例では、縦方向に隣接する２画素間で縦方向の濃度勾配変化があれば「２点」、縦方向に隣接する２画素間で斜め方向または横方向の濃度勾配変化があれば「１点」が付与される。
【００４６】
また、各画素の濃度勾配方向に対する得点の与え方の他の一例を図１０に示す。図１０に示す例のように、縦方向の濃度勾配変化に対して高い得点を付与し、斜め方向の濃度勾配変化に対して中程度の得点を付与し、横方向の勾配変化に対して低い得点を付与してもよい。より詳細には、図１０に示した例では、縦方向に隣接する２画素間で縦方向の濃度勾配変化があれば「３点」、縦方向に隣接する２画素間で斜め方向の濃度勾配変化があれば「２点」、縦方向に隣接する２画素間で横方向の濃度勾配変化があれば「１点」が付与される。
【００４７】
図９および図１０に示した得点の与え方は、例にすぎない。したがって、縦方向以外の方向に隣接する２画素間での濃度勾配変化が利用されてもよく、濃度勾配変化に対して与えられる得点も特に限定されない。各画素の濃度勾配方向に対して得点が付与された結果の例を図１１に示す。図１１には、図７に目領域Ｅ１１２として示された開眼状態における各画素の濃度勾配方向に対して図９に示した得点の与え方により得点が付与された結果が、目領域Ｅ１１３として示されている。同様に、図１１には、図７に目領域Ｅ２１２として示された閉眼状態における各画素の濃度勾配方向に対して図９に示した得点の与え方により得点が付与された結果が、目領域Ｅ２１３として示されている。なお、目領域Ｅ１１３および目領域Ｅ２１３に示された白色領域には「２点」、灰色領域には「１点」、黒色領域には「０点」が付与されている。
【００４８】
なお、図１１に示した例では、（ｘ，ｙ）と（ｘ，ｙ＋１）との組み合わせに対して与えられる得点が（ｘ，ｙ）における得点とされているが、（ｘ，ｙ−１）と（ｘ，ｙ）との組み合わせに対して与えられる得点と、（ｘ，ｙ）と（ｘ，ｙ＋１）との組み合わせに対して与えられる得点とが加算された結果が（ｘ，ｙ）における得点とされてもよい。あるいは、複数の組み合わせの各々に対して付与される得点が加算された結果が（ｘ，ｙ）における得点とされてもよい。いくつの組み合わせが利用されるかは、画像の縮小程度などに応じて調整されてもよい。
【００４９】
目領域Ｅ１１３に示されたように、開眼状態には白色領域（すなわち、得点の高い領域）が分散して複数現れるのに対して、目領域Ｅ２１３に示されたように、閉眼状態には白色領域（すなわち、得点の高い領域）が斜め方向または横方向に長く現れることが分かる。上記したように、瞼候補領域抽出処理部１２０は、複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を１または複数の瞼候補領域として抽出すればよい。例えば、瞼候補領域抽出処理部１２０は、「２点」が付与された白色領域を瞼候補領域として抽出すればよい。
【００５０】
なお、瞼候補領域は、４連結により規定されてもよい。すなわち、得点の高い複数の画素同士が、上方向、下方向、左方向または右方向に隣接する場合には、その複数の画素が同一の瞼候補領域を構成するとみなされてもよい。あるいは、瞼候補領域は、８連結により規定されてもよい。すなわち、得点の高い複数の画素同士が、上記４方向の他に、右上方向、右下方向、左上方向または左下方向に隣接する場合には、その複数の画素が同一の瞼候補領域を構成するとみなされてもよい。
【００５１】
また、得点が付与された各画素に対して２値化処理が行われてもよい。例えば、閾値を「２点」とし、得点が閾値以上である領域が白色領域とされ、得点が閾値未満である領域が黒色領域とされもよい。このように、２値化処理が行われた結果として抽出される白色領域（すなわち、閾値以上の得点が付与された領域）が１または複数の瞼候補領域として抽出されてもよい。
【００５２】
［開閉判定処理（Ｓ１４０）］
続いて、開閉判定処理（Ｓ１４０）の詳細と処理結果の例について説明する。開閉判定処理（Ｓ１４０）では、抽出された１または複数の瞼候補領域に基づいて目開閉状態を判定する。より詳細には、開閉判定処理（Ｓ１４０）では、抽出された１または複数の瞼候補領域から高得点が付与された画素が横方向に長く連続する領域の検出の成否によって、目開閉状態を判定する。すなわち、開閉判定処理部１３０は、１または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、瞼領域の横幅に基づいて目の開閉状態を判定する。
【００５３】
瞼候補領域から検出された瞼領域の例を図１２に示す。図１２には、得点が付与された目領域Ｅ１１３に対する２値化処理の結果として複数の瞼候補領域が抽出され、複数の瞼領域の中から検出された横幅の最も長い領域が瞼領域（目領域Ｅ１１４に示されている白色領域）として示されている。また、図１２には、得点が付与された目領域Ｅ２１３に対する２値化処理の結果として複数の瞼候補領域が抽出され、複数の瞼領域の中から検出された横幅の最も長い領域が瞼領域（目領域Ｅ２１４に示されている白色領域）として示されている。
【００５４】
開閉判定処理（Ｓ１４０）においては、このようにして検出された瞼候補領域に基づいて目開閉状態が判定される。例えば、閉眼状態においては目領域Ｅ２１４に横に長い瞼領域が出現するのが一般的である。この横に長い瞼領域は、大抵の場合には上瞼に相当する。したがって、瞼領域の横幅が閾値以上である場合には閉眼状態であると判定されてもよい。一方、例えば、開眼状態においては目領域Ｅ１１４に横に短い瞼領域が出現するのが一般的である。この横に短い瞼領域は、大抵の場合には上瞼または下瞼のいずれか一方の一部に相当する。したがって、瞼領域の横幅が閾値未満である場合には開眼状態であると判定されてもよい。
【００５５】
［効果の説明］
以上に説明したように、画像に存在する目の開閉状態を判定する目開閉判定装置１０Ａは、画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部１１０を備えている。また、目開閉判定装置１０Ａは、複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部１２０と、１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部１３０と、をさらに備えている。
【００５６】
濃度勾配方向は環境に対する依存度が小さいため、かかる構成によれば、環境の変化に対する耐性が高い目開閉状態の判定を行うことができる。また、濃度勾配方向は、被写体となる人物に対する依存度も小さいため、かかる構成によれば、人物の変化に対する耐性が高い目開閉状態の判定を行うことができると言える。また、横方向または斜め方向のエッジ部分が長く続く領域の有無により目開閉状態を判定するため、かかる構成によれば、多数のエッジ部分から瞼のエッジ部分を選択する必要がないという利点を享受することができる。
【００５７】
［第２の実施形態の説明］
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態に係る目開閉判定システムの動作は、図１に示した本発明の第１の実施形態に係る目開閉判定システムの動作と同様になされる。図１３は、第２の実施形態に係る目開閉判定装置１０Ｂの機能構成を示すブロック図である。図１３に示すように、第２の実施形態に係る目開閉判定装置１０Ｂは、第１の実施形態に係る目開閉判定装置１０Ａが備える機能ブロックの他に、瞼候補領域補正処理部１２１を備える。瞼候補領域補正処理部１２１が有する機能の詳細は、後に説明する。
【００５８】
図１４は、第２の実施形態に係る目開閉判定装置１０Ｂの動作を示すフローチャートである。図１４に示すように、目開閉判定装置１０Ｂの動作は、図３に示した動作の他に瞼候補領域補正処理（Ｓ１３１）を含んでいる。瞼候補領域補正処理（Ｓ１３１）は、１または複数の瞼候補領域のいずれかを補正する処理である。瞼候補領域補正処理（Ｓ１３１）は、瞼候補領域補正処理部１２１により実行される。
【００５９】
［瞼候補領域補正処理の詳細と処理結果の例］
続いて、瞼候補領域補正処理の詳細と処理結果の例について説明する。
【００６０】
［瞼候補領域補正処理（Ｓ１３１）］
瞼候補領域補正処理（Ｓ１３１）では、目領域中に目以外のものが含まれる場合に対応するために、１または複数の瞼候補領域のいずれかを補正する。目領域中に含まれる目以外のものとしては、髪の毛、眼鏡、環境の眼鏡への映り込みなどが考えられる。このような場合、本来であれば瞼候補領域に含まれると判定されるべき画素が瞼候補領域に含まれないと判定されることがある。瞼候補領域抽出処理の処理結果（補正前）の例を図１５に示す。図１５には、閉眼状態における右目の目領域に対する瞼候補領域抽出処理の処理結果（補正前）として目領域Ｅ２１５が示されている。
【００６１】
目領域Ｅ２１５には、本来であれば白色領域に含まれると判定されるべき画素が灰色領域に含まれると判定されてしまっている画素が存在する。これは、目領域中に目以外のものが含まれることが原因となり、その画素に低い得点（例えば、「１点」）が付与されたからであると考えられる。瞼候補領域補正処理（Ｓ１３１）では、このような場合に目開閉状態の判定を失敗することを防ぐための補正処理を実行する。具体的には、所定の長さ以上の長さを有する２つの瞼候補領域が画像中の同じ高さに同じ角度で現れた場合に、その２つの瞼候補領域の間の画素の得点を高くする補正処理が考えられる。
【００６２】
同じ高さである場合には、２つの瞼候補領域の高さが完全に一致する場合ばかりでなく、高さの差が所定の範囲内に収まっている場合も含まれる。同様に、同じ角度である場合には、２つの瞼候補領域の角度が完全に一致する場合ばかりでなく、角度の差が所定の範囲内に収まっている場合も含まれる。瞼候補領域抽出処理の処理結果（補正後）の例を図１６に示す。図１６には、目領域Ｅ２１５に対して補正が行われた後の画像として目領域Ｅ２１６が示されている。図１６に示された例では、２つの瞼候補領域の間の画素の得点を高くする補正がなされている。
【００６３】
このような補正が行われることにより、図１５に示したように瞼候補領域が抽出された場合であっても正しく目開閉状態の判定が行われ得る。なお、瞼候補領域補正処理（Ｓ１３１）においては、瞼候補領域の抽出結果のみを利用する例示したが、目領域の画像を利用して目以外のものが目領域中に含まれることを判定してもよく、画像以外の情報を利用して目以外のものが目領域中に含まれることを判定してもよい。
【００６４】
［効果の説明］
以上に説明したように、目開閉判定装置１０Ｂは、１または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部１２１をさらに備えている。かかる構成によれば、目領域中に目以外のものが含まれる場合に対応した目開閉状態の判定を行うことが可能となる。
【００６５】
［第３の実施形態の説明］
続いて、本発明の第３の実施形態について説明する。本発明の第３の実施形態に係る目開閉判定システムの動作は、図１に示した本発明の第１の実施形態に係る目開閉判定システムの動作と同様になされる。図１７は、第３の実施形態に係る目開閉判定装置１０Ｃの機能構成を示すブロック図である。図１７に示すように、第３の実施形態に係る目開閉判定装置１０Ｃは、第１の実施形態に係る目開閉判定装置１０Ａが備える機能ブロックの他に、左右統合判定処理部１４０を備える。左右統合判定処理部１４０が有する機能の詳細は、後に説明する。
【００６６】
図１７は、第３の実施形態に係る目開閉判定装置１０Ｃの動作を示すフローチャートである。図１７に示すように、目開閉判定装置１０Ｃの動作は、図３に示した動作の他に左右統合判定処理（Ｓ１５０）を含んでいる。左右統合判定処理（Ｓ１５０）は、開閉判定処理部１３０により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する処理である。左右統合判定処理（Ｓ１５０）は、左右統合判定処理部１４０により実行される。
【００６７】
［左右統合判定処理の詳細と処理結果の例］
続いて、左右統合判定処理の詳細と処理結果の例について説明する。
【００６８】
［左右統合判定処理（Ｓ１５０）］
左右統合判定処理（Ｓ１５０）では、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する処理である。左右統合判定処理（Ｓ１５０）では、左右の判定結果間において不均衡がある場合に対応するために、左右の判定結果を統合した目開閉状態判定を行う。例えば、画像中で左右に大きな環境の違いがある場合などは、左右の目開閉状態の判定結果の信頼性が異なる。
【００６９】
そのため、例えば、片側（例えば、左側）が良好な環境であり他の片側（例えば、右側）が劣悪な環境である場合などには、片側（例えば、左側）の判定結果のみを利用することで、画像中の目が閉眼状態であるか開眼状態であるかを判定することができる。環境が良好であるか劣悪であるかを判定する手法は特に限定されない。例えば、領域ごとに平均輝度を算出することにより領域ごとの輝度を取得し、閾値よりも輝度が高い領域は環境が良好であり、閾値よりも輝度が低い領域は環境が劣悪であると判定され得る。閾値と輝度が同じ領域はいずれに判定されてもよい。
【００７０】
また、環境が同じ場合であっても、左右の判定結果が異なる場合には、開閉判定処理（Ｓ３０）で利用された瞼領域の横幅の値を左右に関して加算した値と閾値との関係に基づいて、目開閉状態の判定がなされてもよい。例えば、閾値よりも加算値が大きい場合は閉眼状態であり、閾値よりも加算値が小さい場合は開眼状態であると判定され得る。閾値と加算値が同じ場合はいずれに判定されてもよい。
【００７１】
［効果の説明］
以上に説明したように、目開閉判定装置１０Ｃは、開閉判定処理部１３０により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部１４０をさらに備えている。かかる構成によれば、左右の不均衡に対応した目開閉状態判定を行うことが可能となる。
【００７２】
［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７３】
本実施形態では、勾配抽出処理において、４種類、６種類または８種類の濃度勾配方向に濃度勾配を分類する場合を例示している。しかしながら、勾配抽出処理はこのような分類手法に限定される必要はない。例えば、他の分類手法により濃度勾配が濃度勾配方向に分類されてもよい。
【００７４】
また、本実施形態では、勾配抽出処理において、隣接画素との差分の取得手法として、右隣の画素との差分と下隣の画素との差分とを利用する場合を例示しているが、勾配抽出処理における隣接画素との差分取得手法はこのような取得手法に限定される必要はない。例えば、左隣の画素との差分や上隣の画素との差分や斜め方向に隣接する画素を利用してもよい。
【００７５】
また、本実施形態では、瞼候候補領域抽出処理において、隣接画素との濃度勾配方向の変化として縦方向の隣接画素を利用する場合を例示しているが、瞼候補領域抽出処理における隣接画素との濃度勾配方向の変化の取得手法はこのような取得手法に限定される必要はない。例えば、横方向の左隣画素や斜め方向の隣接画素を利用してもよい。
【００７６】
本実施形態では、瞼候補領域抽出処理において、図９または図１０に示されたような得点を利用する場合を例示しているが、瞼候補領域抽出処理で与えられる得点はこれらの手法に限定される必要はない。例えば、例示していない組み合わせを利用したり、例示していない得点を利用したりしてもよい。
【００７７】
本実施形態では、瞼候補領域補正処理において、２つの瞼候補領域をつなげる場合を例示しているが、瞼候補領域補正処理はこのような手法に限定される必要はない。例えば、例示していない補正処理を実施してもよい。
【００７８】
本実施形態では、左右統合判定処理において、画像中の環境を利用する場合と左右の瞼領域の横幅を加算した値を利用する場合とを例示しているが、左右統合判定処理はこのような手法に限定される必要はない。例えば、例示していない左右統合判定処理を実施してもよい。
【００７９】
本実施形態では、第１の実施形態に対して、第２の実施形態と第３の実施形態とでそれぞれ特殊な条件への対応と左右不均衡への対応とを行う場合を例示している。しかしながら、第２の実施形態および第３の実施形態の各々は排他的に実施しなければならないものではない。例えば、第１の実施形態に対して第２の実施形態で示した瞼候補領域補正処理を行う機能と第３の実施形態で示した左右統合判定処理を行う機能との両方を追加することにより、特殊な条件への対応と左右不均衡への対応との両方を実施してもよい。
【００８０】
さらに、目開閉判定装置１０を構成する各ブロックは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶装置により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、目開閉判定装置１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００８１】
本実施形態に係る目開閉判定装置１０は、様々な分野に適用され得る。例えば、撮像装置により被写体が撮像される場面に適用される例を想定すると、目開閉判定装置１０により撮像画像に映る被写体が閉眼状態であると判定された場合には、撮像装置により再度自動的に被写体が撮像されるようにしてもよい。目開閉判定装置１０により撮像画像に映る被写体が閉眼状態であると判定された場合には、撮像画像が加工されるようにしてもよい。また、例えば、被写体による自動車の運転時に適用される例を想定すると、目開閉判定装置１０により撮像画像に映る被写体が閉眼状態であると判定された場合には、被写体が居眠りをしている可能性があるため、居眠り防止のための処理が実行されるようにしてもよい。
【００８２】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００８３】
１０（１０Ａ，１０Ｂ，１０Ｃ） 目開閉判定装置
１１０ 勾配抽出処理部
１２０ 瞼候補領域抽出処理部
１２１ 瞼候補領域補正処理部
１３０ 開閉判定処理部
１４０ 左右統合判定処理部
【特許請求の範囲】
【請求項１】
画像に存在する目の開閉状態を判定する目開閉判定装置において、
前記画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、
前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、
前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、
を備えることを特徴とする、目開閉判定装置。
【請求項２】
前記勾配抽出処理部は、
前記複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて前記濃度勾配を複数方向のいずれかに分類することにより前記濃度勾配方向を抽出する、
ことを特徴とする、請求項１に記載の目開閉判定装置。
【請求項３】
前記瞼候補領域抽出処理部は、
前記複数の画素の各々に対して、隣接画素との間における前記濃度勾配方向の変化に応じた得点を付与し、前記複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を前記１または複数の瞼候補領域として抽出する、
ことを特徴とする、請求項１または２に記載の目開閉判定装置。
【請求項４】
前記瞼候補領域抽出処理部は、
前記濃度勾配方向の変化が縦方向の場合には、前記濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与する、
ことを特徴とする、請求項３に記載の目開閉判定装置。
【請求項５】
前記開閉判定処理部は、
前記１または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、前記瞼領域の横幅に基づいて目の開閉状態を判定する、
ことを特徴とする、請求項１から４のいずれか一項に記載の目開閉判定装置。
【請求項６】
前記目開閉判定装置は、
前記１または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部をさらに備える、
ことを特徴とする、請求項１から５のいずれか一項に記載の目開閉判定装置。
【請求項７】
前記目開閉判定装置は、
前記開閉判定処理部により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部をさらに備える、
ことを特徴とする、請求項１から６のいずれか一項に記載の目開閉判定装置。
【請求項８】
コンピュータを、
画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、
前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、
前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、
を備える目開閉判定装置として機能させるためのプログラム。
【請求項１】
画像に存在する目の開閉状態を判定する目開閉判定装置において、
前記画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、
前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、
前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、
を備えることを特徴とする、目開閉判定装置。
【請求項２】
前記勾配抽出処理部は、
前記複数の画素の各々に関して、隣接画素との差分に基づいて濃度勾配を求めて前記濃度勾配を複数方向のいずれかに分類することにより前記濃度勾配方向を抽出する、
ことを特徴とする、請求項１に記載の目開閉判定装置。
【請求項３】
前記瞼候補領域抽出処理部は、
前記複数の画素の各々に対して、隣接画素との間における前記濃度勾配方向の変化に応じた得点を付与し、前記複数の画素のうち所定の得点よりも高い得点が付与された画素により構成される領域を前記１または複数の瞼候補領域として抽出する、
ことを特徴とする、請求項１または２に記載の目開閉判定装置。
【請求項４】
前記瞼候補領域抽出処理部は、
前記濃度勾配方向の変化が縦方向の場合には、前記濃度勾配方向の変化が斜め方向および横方向の場合よりも高い得点を付与する、
ことを特徴とする、請求項３に記載の目開閉判定装置。
【請求項５】
前記開閉判定処理部は、
前記１または複数の瞼候補領域の中から横幅の最も長い領域を瞼領域として検出し、前記瞼領域の横幅に基づいて目の開閉状態を判定する、
ことを特徴とする、請求項１から４のいずれか一項に記載の目開閉判定装置。
【請求項６】
前記目開閉判定装置は、
前記１または複数の瞼候補領域のいずれかを補正する瞼候補領域補正処理部をさらに備える、
ことを特徴とする、請求項１から５のいずれか一項に記載の目開閉判定装置。
【請求項７】
前記目開閉判定装置は、
前記開閉判定処理部により、左目および右目の各々に関して異なる開閉状態が判定された場合に、いずれかの判定を選択する左右統合判定処理部をさらに備える、
ことを特徴とする、請求項１から６のいずれか一項に記載の目開閉判定装置。
【請求項８】
コンピュータを、
画像を構成する複数の画素の各々の濃度勾配方向を抽出する勾配抽出処理部と、
前記勾配抽出処理部により抽出された前記複数の画素の各々の濃度勾配方向に基づいて１または複数の瞼候補領域を抽出する瞼候補領域抽出処理部と、
前記瞼候補領域抽出処理部により抽出された１または複数の瞼候補領域に基づいて目の開閉状態を判定する開閉判定処理部と、
を備える目開閉判定装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−１０９４０１（Ｐ２０１３−１０９４０１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５１７５０（Ｐ２０１１−２５１７５０）
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]