眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム
【課題】
画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出プログラムを提供する。
【解決手段】
被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第１領域や第２領域として指定したうえで、元画像から第１領域および第２領域に相当する部分を被検者の左眼部分および右眼部分として抽出する。
画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出プログラムを提供する。
【解決手段】
被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第１領域や第２領域として指定したうえで、元画像から第１領域および第２領域に相当する部分を被検者の左眼部分および右眼部分として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を抽出するための眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラムに関する。
【背景技術】
【０００２】
被検者のまばたき、視線方向、眼球震盪などを検出するため、被験者を撮影した画像データから、被検者の眼部領域を抽出するための画像処理技術が求められている。被検者の顔全体から眼部領域を自動的に抽出することが容易となれば、被検者の眼の動きも自動的に解析することができ、また、眼部領域を画像データから切り出して範囲を限定することで、眼部について高速かつ詳細な解析が可能となる。
【０００３】
一方、被験者を撮影した画像データについて、その濃度値（画素値）を微分すると、被検者１の瞼等といった特徴的な部分が抽出され、眼部の検出が容易となる。
特許文献１、特許文献２ならびに特許文献３では、被検者を撮影した画像データについて、輝度値を縦方向でスムージング処理してから微分演算を行い、抽出特徴点（微分値が大きい値を取る点）の隣り合う横方向のラインで連続データを生成して、抽出特徴点が横方向で比較的長く続くものを眼の位置として抽出している。
【０００４】
特に、特許文献１では、顔画像を縦方向に走査して、濃度値の片方向のピーク前の微分値が所定値を超えることを条件に抽出点を出し、その抽出点に近接した他の抽出点と連結して曲線データを抽出し、動的であると判断された曲線データを眼の位置として特定している。
また、特許文献２では、顔画像を縦方向に走査して、濃度値の片方向のピーク前の微分値が所定値を超えることを条件に抽出点を出し、その抽出点に近接した他の抽出点と連結して曲線群を抽出し、メガネの有無の判断、鼻の位置、左右対称性などから、眼の位置を特定している。
【０００５】
【特許文献１】特開平１１−１８３１２７号公報（おもに、明細書段落番号００５５〜００６０）
【特許文献２】特開２０００−０６７２２５号公報（おもに、明細書段落番号００１５〜００１９）
【特許文献３】特開２００３−２７１９３２号公報（おもに、明細書段落番号００３５〜００３８）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、これら従来技術によれば、被検者の眼部を抽出するために、抽出特徴点から複数の連続データを生成しなければならず、特徴として抽出すべき瞼のほか、眉毛、鼻、口、しわ等といった複数の連続データが抽出されてしまうため、これらの選別を行う必要がある。また、画像に含まれるノイズが含まれる場合には、たとえ輝度値をスムージング処理したとしても、そういったノイズを完全に取り除くことは困難であり、そのノイズを含んだ画素に対しても連続データが生成され、その分、演算処理が増えることとなる。結果として、横方向のラインで見た時の抽出特徴点の比較や、部位の選別において、計算機の演算時間と記憶容量を多く確保しなければならないといった問題がある。
【０００７】
このほか、特許文献１に記載された技術によれば、動的であると判断した曲線データを眼の位置として特定するため、撮影を開始してからしばらくの間(まばたきなどで上下瞼が動くまでの時間)は、目の位置を特定することができないといった問題があるほか、被験者の顔全体が動いているような場合や、口が動いているような場合には、目の位置を特定できないといった問題がある。
また、特許文献２に記載された技術によれば、鼻の穴の影(暗い部分)によって鼻の位置を特定しているが、鼻の穴の影がしっかり映りこむためにはカメラをやや下方に設置する必要があり、被験者と正対してカメラを設置した場合では、被検者の鼻の穴の影が写り込みにくく、眼の位置を特定することが困難となる。
【０００８】
特に、被検者のまばたき、視線方向、眼球震盪などを検出するためには、画像取得のフレームレートを高くする必要がある。とりわけ、眼球震盪を検出するためには、数Ｈｚ周期の眼球運動を検出する必要があることから、フレームレートとして数十ＦＰＳ(frame par second)程度の動画を処理する必要がある。したがって、眼球運動をリアルタイムで解析するためには、動画のフレームレートに応じた高速な画像処理が求められる。
【０００９】
そこで、本発明は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラムを提供する。
【課題を解決するための手段】
【００１０】
前述した課題を解決するため、本発明第１の構成による眼部領域検出プログラムでは、被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成するステップＳ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成するステップＳ２と、前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得するステップＳ３と、前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成するステップＳ４と、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成するステップＳ５と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成するステップＳ６と、によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第７の構成による眼部領域検出方法では、被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向から微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成する手順Ｓ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成する手順Ｓ２と、前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得する手順Ｓ３と、前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成する手順Ｓ４と、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成する手順Ｓ５と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成する手順Ｓ６と、によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
【００１１】
また、本発明第２の構成による眼部領域検出プログラムでは、前記ステップＳ１からＳ４までの各ステップと、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得するステップＳ７と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得するステップＳ８と、前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成するステップＳ９と、前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成するステップＳ１０と、前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成するステップＳ１１と、前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成するステップＳ１２と、によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第８の構成による眼部領域検出方法では、前記手順Ｓ１からＳ４までの各手順と、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得する手順Ｓ７と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得する手順Ｓ８と、前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成する手順Ｓ９と、前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成する手順Ｓ１０と、前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成する手順Ｓ１１と、前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成する手順Ｓ１２と、によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
【００１２】
また、本発明第３の構成による眼部領域検出プログラムでは、前記ステップＳ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成するステップＳ１３と、前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得するステップＳ１４と、前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得するステップＳ１５と、前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成するステップＳ１６と、前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成するステップＳ１７と、前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成するステップＳ１８と、前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成するステップＳ１９と、によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第９の構成による眼部領域検出方法では、前記手順Ｓ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成する手順Ｓ１３と、前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得する手順Ｓ１４と、前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得する手順Ｓ１５と、前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成する手順Ｓ１６と、前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成する手順Ｓ１７と、前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成する手順Ｓ１８と、前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成する手順Ｓ１９と、によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
【００１３】
また、本発明第４の構成による眼部領域検出プログラムでは、第１ないし第３の構成に加え、前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが２本以上存在するときには、その直前のフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定することを特徴としている。
【００１４】
また、本発明第５の構成による眼部領域検出プログラムでは、第１ないし第３の構成に加え、前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い前記仮想ラインを横方向または縦方向のラインとして指定することを特徴としている。
【００１５】
また、本発明第６の構成による眼部領域検出プログラムでは、第１ないし第３の構成に加え、前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、前記各粒子ｉについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、前記各粒子ｉについて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、前記尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、前記パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、前記尤度Ｒ（ｉ）または前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する前記仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定することを特徴としている。
【００１６】
また、本発明第１０の構成による眼部領域検出装置では、被検者の顔部を撮影するビデオカメラと、前記ビデオカメラによって撮影された被検者の顔部の映像を取得するビデオキャプチャと、前記ビデオキャプチャによって取得された画像を元画像として前記被検者の左眼部分および右眼部分を抽出する請求項１ないし請求項６のいずれかに記載する眼部領域検出プログラムと、を備えたことを特徴としている。
【００１７】
また、本発明第１１の構成による眼部領域検出装置では、第１０の発明の構成に加え、さらに、前記被検者に赤外領域の光を照射する赤外照明を備え、前記ビデオカメラは前記赤外領域の像を撮影する赤外カメラであることを特徴としている。
【発明の効果】
【００１８】
本発明第１の構成による眼部領域検出プログラムおよび本発明第７の構成による眼部領域検出方法によれば、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第１領域や第２領域として指定したうえで、元画像から第１領域および第２領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、微分・積算・最大値または極大値算出といった簡単な演算処理で被検者の眼部領域を検出できるほか、被検者を撮影した画像データから、被検者の眼部領域を高速で抽出することができる。
【００１９】
また、本発明第２の構成による眼部領域検出プログラムおよび本発明第８の構成による眼部領域検出方法によれば、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第３画像や縦方向微分第４画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第３領域や第４領域として指定したうえで、元画像から第３領域および第４領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２０】
また、本発明第３の構成による眼部領域検出プログラムおよび本発明第９の構成による眼部領域検出方法によれば、被検者の顔を含んだ元画像の濃度値を縦方向で微分して縦方向微分第１画像を生成させ、その縦方向微分第１画像を左右に分割して、その微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第５画像や縦方向微分第６画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第５領域と第６領域として指定したうえで、元画像から第５領域および第６領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２１】
また、本発明第４の構成による眼部領域検出プログラムによれば、ステップＳ３等において、ヒストグラムが極大となるラインが２本以上存在したとしても、直前のフレーム画像を元画像としたときに得られたラインと最も近い位置にあるラインを指定するので、前述した効果に加えて、画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２２】
また、本発明第５の構成による眼部領域検出プログラムによれば、ステップＳ３等において、ヒストグラムのとる値の大きさに応じてランダムに発生する仮想ラインを複数本発生させ、複数本の仮想ラインのなかから、前に取得したフレーム画像を元画像としたときに得られたラインと類似性が最も高いものを指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２３】
また、本発明第６の構成による眼部領域検出プログラムによれば、ステップＳ３等において、パーティクルフィルタ法による粒子ｉと、その粒子に対応する仮想ラインを複数本発生させ、各粒子に対応する仮想ラインと、前に取得したフレーム画像を元画像としたときに得られたラインとの画素パターンを比較して尤度Ｒ（ｉ）を算出し、尤度Ｒ（ｉ）とヒストグラムのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の値の大きさに応じてパーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）またはＲ（ｉ）×ｆ（ｘｉ（ｔ））が最も高い粒子に対応する仮想ラインを横方向または縦方向のラインとして指定し、あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２４】
また、本発明第１０の構成による眼部領域検出装置によれば、ビデオカメラによって撮影された被検者の顔部の映像を元画像として、前述した眼部領域検出プログラムにより被検者の右眼部分と左眼部分を高速で抽出できるので、抽出した両眼の画像データを用いて被検者のまばたき、視線方向、眼球震盪などをリアルタイムで解析することができる。
【００２５】
また、本発明第１１の構成による眼部領域検出装置によれば、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、前述した効果に加えて、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の右眼部分と左眼部分を高速で抽出することができる。
【発明を実施するための最良の形態】
【００２６】
本発明の実施形態を実施例１ないし実施例５にて説明する。なお、実施例１ないし実施例４は本件発明にかかる、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラムに関するものであり、実施例５は、画像データから被検者の眼部を抽出したあとの応用として、被検者の瞼の開度を検出するための技術について説明している。
【実施例１】
【００２７】
実施例１を図１〜図８に基づいて説明する。
図１は、実施例１にかかる眼部領域検出装置の構成を示す説明図である。
図１において、眼部領域検出装置１０は、計算機１１と、ビデオカメラ１６を備える。計算機１１は外部装置としてディスプレイ１１ｆとキーボード１１ｇを備えており、検査者２は、ディスプレイ１１ｆとキーボード１１ｇにより眼部領域検出装置１０を制御し、あるいは、検出結果等の観察等を行う。
また、ビデオカメラ１６は被検者１の顔部を撮影するものであり、計算機１１の内部に備えるビデオキャプチャ１１ｅによって映像を取得する。ビデオカメラ１６のフレームレートは３０〜６０ＦＰＳ程度である。
計算機１１は、このほか、ＣＰＵ（中央演算処理装置）１１ａと、クロック１１ｂと、ディスプレイ１１ｆに画像信号を送信するグラフィックカード１１ｃと、キーボード１１ｇからの入力信号を受信する入力端子１１ｄと、プログラム記憶領域１３および画像データ記憶領域１４の記憶領域が確保された記憶装置１２と、メモリ１５をその内部に備える。
メモリ１５には、眼部領域を抽出する過程で生成される各種のデータ（たとえば、元画像データ１５ａ、縦方向微分第１画像１５ｂ、横方向第１ヒストグラム１５ｃ、縦方向微分第２画像１５ｄ、縦方向第１ヒストグラム１５ｅ、第１領域１５ｆ、第２領域１５ｇなど）が一時的に記憶される。これらの各データの内容については、後で説明する。
【００２８】
画像データ記憶領域１４は、元画像データ１４ａ、左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃの記憶領域が確保されており、それぞれ、ビデオカメラ１６で撮影した被検者１の顔画像、左眼部分の画像、右眼部分の画像が記憶される。
そして、プログラム記憶領域１３は、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１４ａとして記録するビデオ画像取得プログラム１３ｂと、元画像データ１４ａから被検者の左眼部分および右眼部分を画像処理によって抽出して、左眼部分画像データ１４ｂと右眼部分画像データ１４ｃとして記録する眼部領域検出プログラム１３ａが記録されている。眼部領域検出プログラム１３ａの処理内容については後で説明する。
【００２９】
このように、ビデオカメラによって撮影された被検者の顔部の映像を元画像として、前述した眼部領域検出プログラムにより被検者の右眼部分と左眼部分を高速で抽出できるので、抽出した両眼の画像データを用いて被検者のまばたき、視線方向、眼球震盪などをリアルタイムで解析することができる。
【００３０】
また、眼部領域検出装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１６は赤外領域の像を撮影する赤外カメラとすることが好ましい。具体的には、赤外照明１７に特定領域の赤外光を通過させるＩＲフィルタ（たとえば、７６０ｎｍ以下の波長の光を遮断するようにしたものが好適である）を備えて、これを被検者１に向けて照射するとともに、ビデオカメラ１６のレンズの手前に同様のＩＲフィルタ（たとえば、８５０ｎｍ以上の波長の光のみを透過するようにしたものが好適である）を備えて、被検者１の反射光を撮影するようにする。
【００３１】
このように、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、前述した効果に加えて、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の右眼部分と左眼部分を高速で抽出することができる。
【００３２】
続いて、眼部領域検出プログラム１３ａの処理の流れを図２のフロチャートに基づいて説明する。
ビデオ画像取得プログラム１３ｂにより、被検者１の新たな顔画像が元画像データ１４ａとして記録されると、眼部領域検出プログラム１３ａが起動する。すなわち、眼部領域検出プログラム１３ａは、ビデオカメラ１６のフレームレートと同じ間隔で繰り返し起動することとなる。
【００３３】
眼部領域検出プログラム１３ａが起動すると、被検者の顔を含んだ元画像データを取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成するステップＳ１の処理が行われる。具体的には、まず、画像データ記憶領域１４から元画像データ１４ａを取得して、これをメモリ１５の元画像データ１５ａとして記憶する（ステップＳ１−１）。なお、元画像データ１４ａは、図３（ａ）のような画像（大きさは縦４８０ピクセル、横６４０ピクセル）であり、被検者１の顔として右眼、左眼のほか、眉毛や鼻等の領域が含まれている。続いて、元画像データ１５ａの各画素の濃度値を縦方向で微分して（ステップＳ１−２）、微分した画像を縦方向微分第１画像１５ｂとして、メモリ１５に記憶させる（ステップＳ１−３）。微分した値の絶対値を濃度とする画像を表すと、図３（ｂ）のようになり、被検者の瞼の淵部分や眉毛、鼻などといった特徴的な部位が現れる。また、元画像データ１５ａを上方向から微分して、微分した値の正値または負値を濃度とする画像で表すと、それぞれ、図４（ａ）または図４（ｂ）のようになり、同じく特徴的な部位が現れる。なお、図４（ａ）または図４（ｂ）は、図３（ａ）の画素が上方向から見て、元画像データ１５ａの画素が明るくまたは暗くなるときに、その特徴が現れるようになっている。
【００３４】
続いて、縦方向微分第１画像１５ｂの各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラム１５ｃとして生成するステップＳ２の処理が行われる。
図５は、縦方向微分第１画像１５ｂと横方向第１ヒストグラム１５ｃの関係を示す説明図である。縦方向微分第１画像１５ｂの画素値を横方向（積算方向５１）で積算すると、そのヒストグラム（横方向第１ヒストグラム１５ｃ）は、上瞼の部分で最大値５２を取る。この最大値５２に対応する横方向ラインを５３とする。
【００３５】
続いて、横方向第１ヒストグラム１５ｃの最大値または極大値に対応する、縦方向微分第１画像１５ｂの横方向のラインを指定して、縦方向微分第１画像１５ｂから横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像１５ｄとして取得するステップＳ３の処理が行われる。具体的には、まず、横方向第１ヒストグラム１５ｃの最大値を算出し（ステップＳ３−１）、最大値５２を取る横方向ライン５３を抽出し（ステップＳ３−２）、横方向ライン５３を含む所定領域の画像を切り出して縦方向微分第２画像１５ｄとしてメモリ１５に記憶させる（ステップＳ３−３）。
図６は、縦方向微分第１画像１５ｂから縦方向微分第２画像１５ｄを切り出した結果を示す説明図である。図６では、横方向ライン５３を基準として、上４０ピクセル分、下１００ピクセル分の領域を縦方向微分第１画像１５ｂから切り出して、縦方向微分第２画像１５ｄとしている。
このように、横方向第１ヒストグラム１５ｃが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
なお、図５や図６では、横方向第１ヒストグラム１５ｃの最大値を用いて横方向ライン５３を抽出しているが、こういった形態に限る必要はなく、たとえば、横方向第１ヒストグラム１５ｃの極大値を用いて横方向ライン５３を抽出するようにしてもよい。
【００３６】
続いて、縦方向微分第２画像１５ｄの各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラム１５ｅとして生成するステップＳ４の処理が行われる。
図７は縦方向第１ヒストグラム１５ｅおよび縦方向微分第２画像１５ｄの関係を示す説明図である。縦方向微分第２画像１５ｄの画素値を縦方向（積算方向７１）で積算すると、そのヒストグラム（縦方向第１ヒストグラム１５ｅ）は、被検者１のプルキンエ像の現れる部分で極大値７２、７３を取る。
このように、ステップＳ１〜ステップＳ３で、横方向での画像の切り出しを先に行うことで被検者１の眉毛や鼻等の領域を取り除くことができる。特に、被検者がまばたきをしたときにはその両眼のプルキンエ像が撮影されなくなるが、先に横方向での画像が切り出されていることから、瞼の特徴から両眼の中心部分を推定しやすくなる。
【００３７】
続いて、縦方向微分第２画像１５ｄを左右２つの領域に分割して得られた右側および左側の領域について、縦方向第１ヒストグラム１５ｅの最大値または極大値に対応する、縦方向微分第２画像１５ｄの縦方向のラインを指定して、縦方向微分第２画像１５ｄから縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域および第２領域として生成するステップＳ５およびステップＳ６の処理が行われる。具体的には、まず、縦方向第１ヒストグラム１５ｅから縦方向微分第２画像１５ｄの右半分および左半分に相当する部分の極大値７３および極大値７２を算出し（ステップＳ５−１およびステップＳ６−１）、極大値７３および極大値７２を取る縦方向ライン７５および縦方向ライン７４を抽出し（ステップＳ５−２およびステップＳ６−２）、縦方向ライン７５および縦方向ライン７４を含む所定領域を第１領域１５ｆおよび第２領域１５ｇとしてメモリ１５に記憶させる（ステップＳ５−３およびステップＳ６−３）。
図８は、縦方向微分第２画像１５ｄと第１領域１５ｆおよび第２領域１５ｇの関係を示す説明図である。実施例１では、縦方向ライン７４を基準として、右１００ピクセル分、左１００ピクセルの領域を第２領域１５ｇとしている。また、縦方向ライン７５を基準として、右１００ピクセル分、左１００ピクセルの領域を第１領域１５ｆとしている。
このように縦方向第１ヒストグラム１５ｅが被検者１のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者１の眼の位置を縦方向で絞り込むことができる。
なお、図７や図８では、縦方向第１ヒストグラム１５ｅの極大値を用いて縦方向ライン７４および縦方向ライン７５を抽出しているが、こういった形態に限る必要はなく、たとえば、縦方向第１ヒストグラム１５ｅの左右それぞれの最大値を用いて縦方向ライン７４および縦方向ライン７５を抽出するようにしてもよい。
【００３８】
最後に、元画像データ１５ａから第１領域１５ｆおよび第２領域１５ｇに相当する部分を切り出して、それぞれ左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃとして、画像データ記憶領域１４に記憶させる（ステップＳ２０−１およびステップＳ２０−２）ことで、被検者１の顔画像から眼部領域を抽出させることができる。
【００３９】
このように、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第１領域や第２領域として指定したうえで、元画像から第１領域および第２領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、微分・積算・最大値または極大値算出といった簡単な演算処理で被検者の眼部領域を検出できるほか、被検者を撮影した画像データから、被検者の眼部領域を高速で抽出することができる。
【実施例２】
【００４０】
続いて、実施例２を図９〜図１８に基づいて説明する。なお、実施例１と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。
図９は、実施例２にかかる眼部領域検出装置の構成を示す説明図である。
図９において、メモリ１５は、第１領域１５ｆ、第２領域１５ｇにかえて、縦方向微分第３画像１５ｈ、縦方向微分第４画像１５ｉ、横方向第２ヒストグラム１５ｊ、横方向第３ヒストグラム１５ｋ、第３領域１５ｌ、第４領域１５ｍの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
【００４１】
続いて、眼部領域検出プログラム１３ａの処理の流れを図１０および図１１のフロチャートに基づいて説明する。なお、図１１は図１０の続きのフロチャートである。
ステップＳ１からＳ４までの各ステップは、実施例１と同じ手順・内容で処理される。
実施例２における元画像データ１４ａは図１２（ａ）に示すとおりであり、被検者１が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図１２（ｂ）に示すように、被検者１の上瞼は、左右で水平となっていないことがわかる。また、図１３は、縦方向微分第１画像１５ｂと横方向第１ヒストグラム１５ｃの関係を示す説明図である。縦方向微分第１画像１５ｂの画素値を横方向（積算方向１３１）で積算すると、そのヒストグラム（横方向第１ヒストグラム１５ｃ）は、上瞼の左右の部分で二つの極大値１３２および１３３を取る。この極大値１３２および１３３にそれぞれ対応する横方向ラインを１３４および１３５とする。
図１４は、縦方向微分第１画像１５ｂから縦方向微分第２画像１５ｄを切り出した結果を示す説明図である。図１４では、横方向ライン１３４から上１５ピクセル分、横方向ライン１３５から下１００ピクセル分の領域を縦方向微分第１画像１５ｂから切り出して、縦方向微分第２画像１５ｄとしている。
このように、横方向第１ヒストグラム１５ｃが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
図１５は縦方向第１ヒストグラム１５ｅおよび縦方向微分第２画像１５ｄの関係を示す説明図である。縦方向微分第２画像１５ｄの画素値を縦方向（積算方向１５１）で積算すると、そのヒストグラム（縦方向第１ヒストグラム１５ｅ）は、被検者１のプルキンエ像の現れる部分で極大値１５２および１５３を取る。
【００４２】
続いて、縦方向微分第２画像１５ｄを左右２つの領域に分割して得られた右側および左側の領域について、縦方向第１ヒストグラム１５ｅの最大値または極大値に対応する、縦方向微分第２画像１５ｄの縦方向のラインを指定して、縦方向微分第２画像１５ｄから縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉとして取得するステップＳ７およびステップＳ８の処理が行われる。具体的には、まず、縦方向第１ヒストグラム１５ｅから縦方向微分第２画像１５ｄの右半分および左半分に相当する部分の極大値１５２および極大値１５３を算出し（ステップＳ７−１およびステップＳ８−１）、極大値１５２および極大値１５３を取る縦方向ライン１５４および縦方向ライン１５５を抽出し（ステップＳ７−２およびステップＳ８−２）、縦方向ライン１５４および縦方向ライン１５５を含む所定領域を縦方向微分第２画像１５ｄから切り出して、それぞれ、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉとしてメモリ１５に記憶させる（ステップＳ７−３およびステップＳ８−３）。
図１６は、縦方向微分第２画像１５ｄから縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉを切り出した結果を示す説明図である。図１６では、縦方向ライン１５４を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第２画像１５ｄから切り出して縦方向微分第３画像１５ｈとし、縦方向ライン１５５を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第２画像１５ｄから切り出して縦方向微分第４画像１５ｉとしている。
このように縦方向第１ヒストグラム１５ｅが被検者１のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者１の眼の位置を縦方向で絞り込むことができる。
【００４３】
続いて、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉの各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムをそれぞれ横方向第２ヒストグラム１５ｊおよび横方向第３ヒストグラム１５ｋとして生成するステップＳ９およびステップＳ１０の処理が行われる。
図１７は、横方向第２ヒストグラム１５ｊと縦方向微分第３画像１５ｈの関係および横方向第３ヒストグラム１５ｋと縦方向微分第４画像１５ｉの関係を示す説明図である。縦方向微分第３画像１５ｈの画素値を横方向（積算方向１７１）で積算すると、そのヒストグラム（横方向第２ヒストグラム１５ｊ）は、上瞼の部分で最大値１７３を取る。また、縦方向微分第４画像１５ｉの画素値を横方向（積算方向１７２）で積算すると、そのヒストグラム（横方向第３ヒストグラム１５ｋ）は、上瞼の部分で最大値１７４を取る。この最大値１７３および１７４にそれぞれ対応する、横方向ラインを１７５および１７６とする。
【００４４】
続いて、横方向第２ヒストグラム１５ｊおよび横方向第３ヒストグラム１５ｋの最大値または極大値に対応する、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉの横方向のラインを指定して、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉから横方向のラインを含んだ所定領域を指定して、その指定した所定領域をそれぞれ第３領域１５ｌおよび第４領域１５ｍとして生成するステップＳ１１およびステップＳ１２の処理が行われる。
図１８は、縦方向微分第３画像１５ｈと第３領域１５ｌの関係および縦方向微分第４画像１５ｉと第４領域１５ｍの関係を示す説明図である。実施例２では、横方向ライン１７５を基準として、上１５ピクセル分、下１００ピクセルの領域を第３領域１５ｌとしている。また、横方向ライン１７６を基準として、上１５ピクセル分、下１００ピクセルの領域を第４領域１５ｍとしている。
このように、横方向第２ヒストグラム１５ｊや横方向第３ヒストグラム１５ｋが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向でさらに絞り込むことができる。
【００４５】
最後に、元画像データ１５ａから第３領域１５ｌおよび第４領域１５ｍに相当する部分を切り出して、それぞれ左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃとして、画像データ記憶領域１４に記憶させる（ステップＳ２０−３およびステップＳ２０−４）ことで、被検者１の顔画像から眼部領域を抽出させることができる。
【００４６】
このように、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第３画像や縦方向微分第４画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第３領域や第４領域として指定したうえで、元画像から第３領域および第４領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【実施例３】
【００４７】
続いて、実施例３を図１９〜図２５に基づいて説明する。なお、実施例１や実施例２と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。
図１９は、実施例３にかかる眼部領域検出装置の構成を示す説明図である。
図１９において、メモリ１５は、横方向第１ヒストグラム１５ｃ、縦方向微分第２画像１５ｄ、縦方向第１ヒストグラム１５ｅ、第１領域１５ｆ、第２領域１５ｇ、縦方向微分第３画像１５ｈ、縦方向微分第４画像１５ｉ、横方向第２ヒストグラム１５ｊ、横方向第３ヒストグラム１５ｋ、第３領域１５ｌ、第４領域１５ｍにかえて、縦方向第２ヒストグラム１５ｎ、縦方向微分第５画像１５ｏ、縦方向微分第６画像１５ｐ、横方向第４ヒストグラム１５ｑ、横方向第５ヒストグラム１５ｒ、第５領域１５ｓ、第６領域１５ｔの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
【００４８】
続いて、眼部領域検出プログラム１３ａの処理の流れを図２０および図２１のフロチャートに基づいて説明する。なお、図２１は図２０の続きのフロチャートである。
ステップＳ１は、実施例１および実施例２と同じ手順・内容で処理される。
実施例３における元画像データ１４ａは実施例２で使用したもの（図１２（ａ））と同じであり、被検者１が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図１２（ｂ）に示すように、被検者１の上瞼は、左右で水平となっていないことがわかる。
【００４９】
続いて、縦方向微分第１画像１５ｂの各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラム１５ｎとして生成するステップＳ１３の処理が行われる。
図２２は縦方向第２ヒストグラム１５ｎおよび縦方向微分第１画像１５ｂの関係を示す説明図である。縦方向微分第１画像１５ｂの画素値を縦方向（積算方向２２１）で積算すると、そのヒストグラム（縦方向第２ヒストグラム１５ｎ）は、被検者１のプルキンエ像の現れる部分で極大値２２２、２２３を取る。この極大値２２２および２２３にそれぞれ対応する、縦方向ラインを２２４および２２５とする。
【００５０】
続いて、縦方向微分第１画像１５ｂを左右２つの領域に分割して得られた右側および左側の領域について、縦方向第２ヒストグラム１５ｎの最大値または極大値に対応する、縦方向微分第１画像１５ｂの縦方向のラインを指定して、縦方向微分第１画像１５ｂから縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を、それぞれ縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐとして取得するステップＳ１４およびステップＳ１５の処理が行われる。
図２３では、縦方向ライン２２４を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第５画像１５ｏとし、縦方向ライン２２５を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第６画像１５ｐとしている。
このように縦方向第２ヒストグラム１５ｎが被検者１のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者の眼の位置を縦方向で絞り込むことができる。
【００５１】
続いて、縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐの各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムをそれぞれ横方向第４ヒストグラム１５ｑおよび横方向第５ヒストグラム１５ｒとして生成するステップＳ１６およびステップＳ１７の処理が行われる。
図２４は、横方向第４ヒストグラム１５ｑと縦方向微分第５画像１５ｏの関係および横方向第５ヒストグラム１５ｒと縦方向微分第６画像１５ｐの関係を示す説明図である。縦方向微分第５画像１５ｏの画素値を横方向（積算方向２４１）で積算すると、そのヒストグラム（横方向第４ヒストグラム１５ｑ）は、上瞼の部分で最大値２４３を取る。また、縦方向微分第６画像１５ｐの画素値を横方向（積算方向２４２）で積算すると、そのヒストグラム（横方向第５ヒストグラム１５ｒ）は、上瞼の部分で最大値２４４を取る。この最大値２４３および２４４にそれぞれ対応する、横方向ラインを２４５および２４６とする。
【００５２】
続いて、横方向第４ヒストグラム１５ｑおよび横方向第５ヒストグラム１５ｒの最大値または極大値に対応する、縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐの横方向のラインを指定して、縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐから横方向のラインを含んだ所定領域を指定して、その指定した所定領域をそれぞれ第５領域１５ｓおよび第６領域１５ｔとして生成するステップＳ１８およびステップＳ１９の処理が行われる。
図２５は、縦方向微分第５画像１５ｏと第５領域１５ｓの関係および縦方向微分第６画像１５ｐと第６領域１５ｔの関係を示す説明図である。実施例３では、横方向ライン２４５を基準として、上１５ピクセル分、下１００ピクセル分の領域を第５領域１５ｓとしている。また、横方向ライン２４６を基準として、上１５ピクセル分、下１００ピクセル分の領域を第６領域１５ｔとしている。
このように、横方向第４ヒストグラム１５ｑや横方向第５ヒストグラム１５ｒが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
【００５３】
最後に、元画像データ１５ａから第５領域１５ｓおよび第６領域１５ｔに相当する部分を切り出して、それぞれ左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃとして、画像データ記憶領域１４として記憶させる（ステップＳ２０−５およびステップＳ２０−６）ことで、被検者１の顔画像から眼部領域を抽出させることができる。
【００５４】
このように、被検者の顔を含んだ元画像の濃度値を縦方向で微分して縦方向微分第１画像を生成させ、その縦方向微分第１画像を左右に分割して、その微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第５画像や縦方向微分第６画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第５領域と第６領域として指定したうえで、元画像から第５領域および第６領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【実施例４】
【００５５】
続いて、実施例４を図２６〜図２８に基づいて説明する。なお、実施例１ないし実施例３と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。
実施例４は、図２６に示すように、縦方向微分第１画像１５ｂの横方向第１ヒストグラム１５ｃで、二つ以上の極大値２６１および２６２が存在するときでも、横方向ラインを確実に抽出するための技術に関するものである。
【００５６】
第１の方法としては、ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが２本以上存在するときには、その直前のフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定するというものである。
ステップＳ３を例にとると、具体的には、２つの極大値２６１および２６２に対して、その直前のフレーム画像を元画像としたときに得られた横方向ラインである前フレーム横方向ライン２６３と、極大値２６１および２６２に対応する横方向ライン２６４および２６５との位置関係を比較し、前フレーム横方向ライン２６３と物理的に近い位置にある横方向ラインを指定する。図２６でいえば、前フレーム横方向ライン２６３に近いラインは横方向ライン２６５であるため、この横方向ライン２６５が指定されることになる。
【００５７】
このように、ステップＳ３等において、ヒストグラムが極大となるラインが２本以上存在したとしても、直前のフレーム画像を元画像としたときに得られたラインと最も近い位置にあるラインを指定するので、前述した効果に加えて、画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００５８】
第２の方法としては、ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、仮想ラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い仮想ラインを横方向または縦方向のラインとして指定するというものである。
ステップＳ３を例に取ると、具体的には、図２７において、横方向第１ヒストグラム１５ｃのとる値の大きさに応じて（たとえば４個の）粒子ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ）を、縦方向微分第１画像１５ｂの上端から下端の範囲で確率的に発生させる。粒子ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ）は、横方向第１ヒストグラム１５ｃの大きさに応じて確率的に発生させるので、結果として、極大値２６１や２６２の付近に集中して発生しやすくなっている。そして、各粒子ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ）の発生させた位置に応じて仮想ライン２７４ａ〜２７４ｄを取って、図２７（ｃ）に示すように、各仮想ライン２７４ａ〜２７４ｄに対応する縦方向微分第１画像１５ｂの画素パターンを取る。なお、図２７（ｃ）では仮想ライン２７４ａ〜２７４ｄを縦方向に拡大して表示しているが、実際には、縦１ピクセル、横６４０ピクセルの画像データと等価である。また、同じように、図２７（ｂ）に示すように前フレーム横方向ライン２６３に対応する縦方向微分第１画像１５ｂの画素パターン（すなわち、前に取得したフレーム画像を元画像としたときに得られた縦方向微分第１画像１５ｂの画素パターン）を取る。続いて、各画素パターン（仮想ライン２７４ａ〜２７４ｄ）と、前フレーム横方向ライン２６３とをそれぞれ比較して、両者の画素パターンの類似性が最も高い仮想ライン２７４ａ〜２７４ｄを一つ抽出する。類似性の評価にあたっては、数１に示す尤度Ｒ（ｉ）を用いる方法などが考えられる。
【００５９】
【数１】
【００６０】
ここで、Ｒ（ｉ）はｉ番目の粒子に対応する尤度（ｉ＝１，２，…，４）、Ｐｉ（ｊ）はｉ番目の粒子の仮想ライン（２７４ａ〜２７４ｄ）に対応する画素パターンのｊピクセル目の画素の濃度（ｊ＝１，２，…，６４０）、Ｔ（ｊ）は前フレーム横方向ライン２６３に対応する画素パターンのｊピクセル目の画素の濃度である。仮想ラインに対応する画素パターンと、前フレーム横方向ラインに対応する画素パターンが完全に一致するとき、尤度の値は１となり、類似性が低くなればなるほど尤度の値は小さくなる。したがって、尤度Ｒ（ｉ）が最大となるｉを算出して、ｉ番目の粒子ｘｉ（ｔ）に対応する仮想ラインを横方向のラインとして指定するようにすればよい。
なお、第２の方法では、前フレーム横方向ライン２６３を、その直前のフレーム画像を元画像としたときに得られた横方向ラインとしなくともよく、たとえば、前フレーム横方向ライン２６３を、被検者１について最初に取得したフレーム画像を元画像としたときに得られた横方向ラインから定めるようにしもよい。このように、最初のフレーム画像を用いることで、参照される前フレーム横方向ライン２６３が変わることがなく、誤検出を少なくさせることができる。
【００６１】
このように、ステップＳ３等において、ヒストグラムのとる値の大きさに応じてランダムに発生する仮想ラインを複数本発生させ、複数本の仮想ラインのなかから、前に取得したフレーム画像を元画像としたときに得られたラインと類似性が最も高いものを指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００６２】
第３の方法としては、ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、各粒子ｉについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、仮想ラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、各粒子ｉについて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）または積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定するというものである。
パーティクルフィルタ法は、各時刻における状態ベクトルを逐次的に推定する手法であり、独立な実現値とみなせる多数のパーティクル（＝状態ベクトル）を発生させ、各パーティクルについて、次の状態を近似によって推定し（手順ａ）、更に次の状態として残すべきパーティクルを、そのパーティクルを確率分布に従ってリサンプリングし（手順ｂ）、この手順ａと手順ｂを繰り返すことで、各時刻における状態が逐次的に推定されるというものである（非特許文献２参照）。
【００６３】
【非特許文献２】樋口：「解説 粒子フィルタ」（信学論，Ｖｏｌ．８８，Ｎｏ．１２，ｐｐ．９８９−９９４，２００５）
【００６４】
具体的には、ステップＳ３を例に取ると、第２の方法と同じように、図２７において、横方向第１ヒストグラム１５ｃの大きさに応じて粒子ｉを、縦方向微分第１画像１５ｂの上端から下端の範囲で確率的に発生させる（図２７では４個の粒子としているが、実際には数１０から数１００個の粒子を発生させることが好ましい）。粒子ｉは、横方向第１ヒストグラム１５ｃの大きさに応じて確率的に発生させるので、結果として、極大値２６１および２６２の付近に集中して発生しやすくなっている。そして、各粒子ｉの発生させた位置ｘｉ（ｔ）に応じて仮想ライン２７４ａ〜２７４ｄを取って、各仮想ライン２７４ａ〜２７４ｄに対応する縦方向微分第１画像１５ｂの画素パターンを取る。また、同じように、前フレーム横方向ライン２６３に対応する縦方向微分第１画像１５ｂの画素パターンを取る。続いて、仮想ライン２７４ａ〜２７４ｄと、前フレーム横方向ライン２６３とをそれぞれ比較して、両者の画素パターンの類似性が最も高い仮想ライン２７４ａ〜２７４ｄを一つ抽出する。類似性の評価にあたっては、数１に示す尤度Ｒ（ｉ）を用いる方法などが考えられる。
そして、各粒子ｉに対して、対応する尤度Ｒ（ｉ）と、対応する横方向第１ヒストグラム１５ｃのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定する。
次世代の粒子を決定するにあたっては、タイミングｔにおける各粒子ｉについて積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の値が高い粒子が次タイミングにおける候補に採用されやすいような方法で再発生させる。
【００６５】
図２８は、パーティクルフィルタ法による粒子の発生方法を示したものであり、タイミングｔにて積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が大きい粒子２８１や積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が普通の粒子２８２は、それぞれ複数個または１個の粒子として残し、逆に積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が小さい粒子２８３は、タイミングｔにて消滅・淘汰される。そうすることで、次タイミングｔ＋Δｔでは、タイミングｔにおける同じ数の粒子が発生するようにする。
ここで、次タイミングｔ＋Δｔにおける粒子は、数２にて決定する。
【００６６】
（数２）ｘｉ（ｔ＋Δｔ）＝ｘｉ（ｔ）＋Δｘ×Ｒａｎｄ
【００６７】
ここで、Δｘは一定の値であり、Ｒａｎｄは−１〜１の間で発生する乱数である。
【００６８】
そして、尤度Ｒ（ｉ）または積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子は、前のフレーム画像から抽出した被検者２の前フレーム横方向ライン２６３と最も性質が似通っているということがいえるから、その粒子に対応する仮想ラインを横方向または縦方向のラインとして指定する。
【００６９】
あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標ｘ（ｔ）に対応するラインを横方向または縦方向のラインとして指定してもよい。座標ｘ（ｔ）の定め方としては、数３が考えられる。
【００７０】
【数３】
ただし、Ｎは粒子の個数である。
【００７１】
このように、ステップＳ３等において、パーティクルフィルタ法による粒子ｉと、その粒子に対応する仮想ラインを複数本発生させ、各粒子に対応する仮想ラインと、前に取得したフレーム画像を元画像としたときに得られたラインとの画素パターンを比較して尤度Ｒ（ｉ）を算出し、尤度Ｒ（ｉ）とヒストグラムのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の値の大きさに応じてパーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）またはＲ（ｉ）×ｆ（ｘｉ（ｔ））が最も高い粒子に対応する仮想ラインを横方向または縦方向のラインとして指定し、あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【実施例５】
【００７２】
続いて、実施例５を図２９〜図３２に基づいて説明する。なお、実施例１ないし実施例４と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。実施例５は、画像データから被検者の眼部を抽出したあとの応用として、被検者の瞼の開度を検出するための技術について説明している。
【００７３】
図２９は、実施例５にかかる眼部領域検出装置の構成を示す説明図である。
図２９において、眼部領域検出装置１０は、被検者１の顔部を撮影するビデオカメラ１６と、ビデオカメラ１６によって撮影された被検者１の顔部の映像を取得するビデオキャプチャ１１ｅと、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１４ａとして被検者１の左眼部分および右眼部分を画像処理によって抽出する眼部領域検出プログラム１３ａと、右眼部分、左眼部分あるいは両眼部分を抽出した画像データをもとに被検者１の瞼の開度を測定する瞼開度検出プログラム１３ｃを備える。
なお、眼部領域検出装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１６は赤外領域を撮影する赤外カメラとすることが好ましい。
【００７４】
また、プログラム記憶領域１３には、左眼部分画像データ１４ｂと右眼部分画像データ１４ｃ等をもとにして被検者１の瞼の開度を検出する瞼開度検出プログラム１３ｃが記録されており、画像データ記憶領域１４は、瞼開度データ１４ｄの記憶領域が確保されており、瞼開度検出プログラム１３ｃで検出された被検者１の瞼の開度が瞼開度データ１４ｄとして記憶される。メモリ１５は、さらに、正エッジ画像１５ｕ、負エッジ画像１５ｖ、正エッジ画像ヒストグラム１５ｗ、負エッジ画像ヒストグラム１５ｘ、上瞼ライン１５ｙ、下瞼ライン１５ｚの記憶領域が確保され、瞼の開度を推定する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
【００７５】
続いて、瞼開度検出プログラム１３ｃの処理の流れを図３０のフロチャートに基づいて説明する。
瞼開度検出プログラム１３ｃは、眼部領域検出プログラム１３ａによる右眼部分画像データ１４ｃの生成が終了するたびに起動する。すなわち、瞼開度検出プログラム１３ｃは、ビデオカメラ１６のフレームレートと同じ間隔で繰り返し起動することとなる。
【００７６】
瞼開度検出プログラム１３ｄが起動すると、被検者の右眼部分、左眼部分あるいは両眼部分を抽出した画像データを取得するステップＳ１０１の処理が行われる。右眼部分画像データ１４ｃは、図３１（ａ）のような画像（大きさは縦１４０ピクセル、横２００ピクセル）であり、被検者１の顔画像から抽出した右眼部分の領域を取得することになる。実施例５では、被検者１の右眼の画像を用いているが、左眼の画像（左眼部分画像データ１４ｂ）を用いても差し支えない。
【００７７】
続いて、画像データの各画素について、濃度値をその上の画素（またはその下の画素）と比較して、その濃度値が増加（またはその画素値が減少）しているときはその濃度値の差の値を、その濃度値が増加（またはその画素値が減少）していないときは０の値を、それぞれ該画素の濃度値に変換した正エッジ画像として生成するステップＳ１０２の処理が行われる。具体的には、右眼部分画像データ１４ｃの画素を上方向から微分した画像データを生成し、その画像データの画素値が負である画素については、その値を０とする変換を行えばよい。変換された画像データは、図３１（ｂ）に示すとおりであり、正エッジ画像１５ｕとしてメモリ１５に記憶させる。
【００７８】
続いて、画像データの各画素について、濃度値をその上の画素（またはその下の画素）と比較して、その濃度値が減少（またはその画素値が増加）しているときはその濃度値の差の値を、その濃度値が減少（またはその画素値が増加）していないときは０の値を、それぞれ該画素の濃度値に変換した負エッジ画像として生成するステップＳ１０３の処理が行われる。具体的には、右眼部分画像データ１４ｃの画素を上方向から微分した画像データを生成して、各画素における画素値の符号を入れ替えるとともに、その符号を入れ替えた画像データの画素値が負である画素については、その値を０とする変換を行えばよい。変換された画像データは、図３１（ｃ）に示すとおりであり、負エッジ画像１５ｖとしてメモリ１５に記憶させる。
【００７９】
続いて、正エッジ画像１５ｕおよび負エッジ画像１５ｖの各画素について、その画素値を横方向で積算して得られるヒストグラムを、それぞれ正エッジ画像ヒストグラム１５ｗおよび負エッジ画像ヒストグラム１５ｘとして生成するステップＳ１０４およびステップＳ１０５の処理が行われる。正エッジ画像１５ｕおよび負エッジ画像１５ｖの画素値を横方向（積算方向３１１および積算方向３１３）で積算すると、そのヒストグラムは、上瞼および下瞼部分で最大値３１２および３１４を取る。生成されたヒストグラムを正エッジ画像ヒストグラム１５ｗおよび負エッジ画像ヒストグラム１５ｘとしてメモリ１５に記憶させる。
【００８０】
続いて、正エッジ画像ヒストグラムおよび負エッジ画像ヒストグラムの最大値または極大値に対応する、正エッジ画像および負エッジ画像の横方向のラインを上瞼ラインおよび下瞼ラインとして指定するステップＳ１０６およびステップＳ１０７の処理が行われる。最大値３１２および３１４に対応する横方向ラインが上瞼ライン１５ｙおよび下瞼ライン１５ｚに相当する。
【００８１】
続いて、上瞼ライン１５ｙと、下瞼ライン１５ｚの位置の差から被検者１の瞼の開度を推定するステップＳ１０８の処理が行われる。被検者１の瞼の開度は、図３２に示すとおり、上瞼ライン１５ｙと、下瞼ライン１５ｚの位置の差から求められる。この差の値を瞼開度データ１４ｄとして、画像データ記憶領域１４に記憶させる。
【００８２】
このように、被検者の眼の部分の正エッジ画像および負エッジ画像を生成させ、両画像の画素値を横方向で積算したヒストグラムを生成させ、その最大値または極大値を取る横方向のラインを上瞼ライン、下瞼ラインとして、両ラインの位置関係の差から瞼の開度を推定するため、被検者を撮影した画像データから、被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８３】
また、眼部領域検出プログラムにより、ビデオカメラによって撮影された被検者の顔部の映像から被検者の眼部領域が高速で抽出し、瞼開度検出プログラムがその眼部領域を用いて被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８４】
さらに、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、前述した効果に加えて、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８５】
ここで、正エッジ画像ヒストグラム１５ｗや負エッジ画像ヒストグラム１５ｘで、二つ以上の極大値が存在したときに、上瞼ライン１５ｙや下瞼ライン１５ｚを確実に抽出するための方法については、実施例４で示したような方法を同様に適用すればよい。
【００８６】
すなわち、実施例４で説明した第１の方法と同じ方法としては、ステップＳ１０６またはステップＳ１０７において、該ヒストグラムの極大値に対応する横方向のラインが２本以上存在するときには、その直前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインと最も近い位置にあるラインを上瞼ラインまたは下瞼ラインとして指定すればよい。
【００８７】
このように、ステップＳ１０６またはステップＳ１０７において、ヒストグラムが極大となるラインが２本以上存在したとしても、直前のフレーム画像をもとにして得られたラインと最も近い位置にあるラインを指定するので、前述した効果に加えて、画像に含まれるノイズ等の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８８】
また、実施例４で説明した第２の方法と同じ方法としては、ステップＳ１０６またはステップＳ１０７において、該ヒストグラムの最大値または極大値に対応する横方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向の仮想ラインを複数本生成させ、前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインに対応する正エッジ画像または負エッジ画像の画素パターンと、仮想ラインに対応する正エッジ画像または負エッジ画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い仮想ラインを上瞼ラインまたは下瞼ラインとして指定すればよい。
【００８９】
このように、ステップＳ１０６またはステップＳ１０７において、ヒストグラムのとる値の大きさに応じてランダムに発生する仮想ラインを複数本発生させ、複数本の仮想ラインのなかから、前に取得したフレーム画像をもとにして得られたラインと類似性が最も高いものを指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【００９０】
また、実施例４で説明した第３の方法と同じ方法としては、ステップＳ１０６またはステップＳ１０７において、該ヒストグラムの最大値または極大値に対応する横方向のラインを指定する代わりに、横方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインに対応する正エッジ画像または負エッジ画像の画素パターンと、仮想ラインに対応する正エッジ画像または負エッジ画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、各粒子ｉついて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）または積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する仮想ラインを横方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向のラインとして指定すればよい。
【００９１】
このように、ステップＳ１０６またはステップＳ１０７において、パーティクルフィルタ法による粒子ｉと、その粒子に対応する仮想ラインを複数本発生させ、各粒子に対応する仮想ラインと、前に取得したフレーム画像をもとにして得られたラインとの画素パターンを比較して尤度Ｒ（ｉ）を算出し、尤度Ｒ（ｉ）とヒストグラムのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の大きさに応じてパーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）またはＲ（ｉ）×ｆ（ｘｉ（ｔ））が最も高い粒子に対応する仮想ラインを横方向のラインとして指定し、あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向のラインとして指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【産業上の利用可能性】
【００９２】
本発明は、検査者（医師や精神保健福祉士など）が被検者（患者など）に問診やカウンセリング等を行いながら、被検者の顔部の画像を撮影し、その撮影された画像データをもって、被検者の眼部を抽出することができるため、被検者のまばたき、視線方向、眼球震盪などを検出することができるようになる。
【図面の簡単な説明】
【００９３】
【図１】実施例１にかかる眼部領域検出装置の構成を示す説明図
【図２】実施例１にかかる眼部領域検出プログラムの処理の流れを示すフロチャート
【図３】実施例１にかかる被検者の顔部を撮影した元画像データおよび縦方向微分第１画像の一例を示す説明図
【図４】実施例１にかかる縦方向微分第１画像の他の一例を示す説明図
【図５】実施例１にかかる縦方向微分第１画像と横方向第１ヒストグラムの関係を示す説明図
【図６】実施例１にかかる縦方向微分第２画像の切り出し方の一例を示す説明図
【図７】実施例１にかかる縦方向微分第２画像と縦方向第１ヒストグラムの関係を示す説明図
【図８】実施例１にかかる第１領域および第２領域の生成方法の一例を示す説明図
【図９】実施例２にかかる眼部領域検出装置の構成を示す説明図
【図１０】実施例２にかかる眼部領域検出プログラムの処理の流れを示すフロチャート
【図１１】実施例２にかかる図１０の続きのフロチャート
【図１２】実施例２にかかる被検者の顔部を撮影した元画像データおよび縦方向微分第１画像の一例を示す説明図
【図１３】実施例２にかかる縦方向微分第１画像と横方向第１ヒストグラムの関係を示す説明図
【図１４】実施例２にかかる縦方向微分第２画像の切り出し方の一例を示す説明図
【図１５】実施例２にかかる縦方向微分第２画像と縦方向第１ヒストグラムの関係を示す説明図
【図１６】実施例２にかかる縦方向微分第３画像および縦方向微分第４画像の切り出し方の一例を示す説明図
【図１７】実施例２にかかる縦方向微分第３画像および縦方向微分第４画像と横方向第２ヒストグラムおよび横方向第３ヒストグラムの関係を示す説明図
【図１８】実施例２にかかる第３領域および第４領域の生成方法の一例を示す説明図
【図１９】実施例３にかかる眼部領域検出装置の構成を示す説明図
【図２０】実施例３にかかる眼部領域検出プログラムの処理の流れを示すフロチャート
【図２１】実施例３にかかる図２０の続きのフロチャート
【図２２】実施例３にかかる縦方向微分第１画像と縦方向第２ヒストグラムの関係を示す説明図
【図２３】実施例３にかかる縦方向微分第５画像および縦方向微分第６画像の切り出し方の一例を示す説明図
【図２４】実施例３にかかる縦方向微分第５画像および縦方向微分第６画像と横方向第４ヒストグラムおよび横方向第５ヒストグラムの関係を示す説明図
【図２５】実施例３にかかる第５領域および第６領域の生成方法の一例を示す説明図
【図２６】実施例４にかかる縦方向微分第１画像と横方向第１ヒストグラムの関係を示す説明図
【図２７】実施例４にかかる粒子および仮想ラインの関係を示す説明図
【図２８】実施例４にかかるパーティクルフィルタ法による粒子の発生方法を示す説明図
【図２９】実施例５にかかる眼部領域検出装置の構成を示す説明図
【図３０】実施例５にかかる瞼開度検出プログラムの処理の流れを示すフロチャート
【図３１】実施例５にかかる被検者の正エッジ画像・負エッジ画像と正エッジ画像ヒストグラム・負エッジ画像ヒストグラムとの関係および右眼部分の一例を示す説明図
【図３２】実施例５にかかる上瞼ラインと下瞼ラインの関係を示す説明図
【符号の説明】
【００９４】
１ 被検者
２ 検査者
１０ 眼部領域検出装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ 入力端子
１１ｅ ビデオキャプチャ
１１ｆ ディスプレイ
１１ｇ キーボード
１２ 記憶装置
１３ プログラム記憶領域
１３ａ 眼部領域検出プログラム
１３ｂ ビデオ画像取得プログラム
１３ｃ 瞼開度検出プログラム
１４ 画像データ記憶領域
１４ａ 元画像データ
１４ｂ 左眼部分画像データ
１４ｃ 右眼部分画像データ
１４ｄ 瞼開度データ
１５ メモリ
１５ａ 元画像データ
１５ｂ 縦方向微分第１画像
１５ｃ 横方向第１ヒストグラム
１５ｄ 縦方向微分第２画像
１５ｅ 縦方向第１ヒストグラム
１５ｆ 第１領域
１５ｇ 第２領域
１５ｈ 縦方向微分第３画像
１５ｉ 縦方向微分第４画像
１５ｊ 横方向第２ヒストグラム
１５ｋ 横方向第３ヒストグラム
１５ｌ 第３領域
１５ｍ 第４領域
１５ｎ 縦方向第２ヒストグラム
１５ｏ 縦方向微分第５画像
１５ｐ 縦方向微分第６画像
１５ｑ 横方向第４ヒストグラム
１５ｒ 横方向第５ヒストグラム
１５ｓ 第５領域
１５ｔ 第６領域
１５ｕ 正エッジ画像
１５ｖ 負エッジ画像
１５ｗ 正エッジ画像ヒストグラム
１５ｘ 負エッジ画像ヒストグラム
１５ｙ 上瞼ライン
１５ｚ 下瞼ライン
１６ ビデオカメラ
１７ 赤外照明
５１ 積算方向
５２ 最大値
５３ 横方向ライン
７１ 積算方向
７２、７３ 極大値
７４、７５ 縦方向ライン
１３１ 積算方向
１３２、１３３ 極大値
１３４、１３５ 横方向ライン
１５１ 積算方向
１５２、１５３ 極大値
１５４、１５５ 縦方向ライン
１７１、１７２ 積算方向
１７３、１７４ 最大値
１７５、１７６ 横方向ライン
２２１ 積算方向
２２２、２２３ 極大値
２２４、２２５ 縦方向ライン
２４１、２４２ 積算方向
２４３、２４４ 最大値
２４５、２４６ 横方向ライン
２６１、２６２ 極大値
２６３ 前フレーム横方向ライン
２６４、２６５ 横方向ライン
２７４ａ〜２７４ｄ 仮想ライン
２８１〜２８３ 粒子
３１１、３１３ 積算方向
３１２、３１４ 最大値
ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ） 粒子
【技術分野】
【０００１】
本発明は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を抽出するための眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラムに関する。
【背景技術】
【０００２】
被検者のまばたき、視線方向、眼球震盪などを検出するため、被験者を撮影した画像データから、被検者の眼部領域を抽出するための画像処理技術が求められている。被検者の顔全体から眼部領域を自動的に抽出することが容易となれば、被検者の眼の動きも自動的に解析することができ、また、眼部領域を画像データから切り出して範囲を限定することで、眼部について高速かつ詳細な解析が可能となる。
【０００３】
一方、被験者を撮影した画像データについて、その濃度値（画素値）を微分すると、被検者１の瞼等といった特徴的な部分が抽出され、眼部の検出が容易となる。
特許文献１、特許文献２ならびに特許文献３では、被検者を撮影した画像データについて、輝度値を縦方向でスムージング処理してから微分演算を行い、抽出特徴点（微分値が大きい値を取る点）の隣り合う横方向のラインで連続データを生成して、抽出特徴点が横方向で比較的長く続くものを眼の位置として抽出している。
【０００４】
特に、特許文献１では、顔画像を縦方向に走査して、濃度値の片方向のピーク前の微分値が所定値を超えることを条件に抽出点を出し、その抽出点に近接した他の抽出点と連結して曲線データを抽出し、動的であると判断された曲線データを眼の位置として特定している。
また、特許文献２では、顔画像を縦方向に走査して、濃度値の片方向のピーク前の微分値が所定値を超えることを条件に抽出点を出し、その抽出点に近接した他の抽出点と連結して曲線群を抽出し、メガネの有無の判断、鼻の位置、左右対称性などから、眼の位置を特定している。
【０００５】
【特許文献１】特開平１１−１８３１２７号公報（おもに、明細書段落番号００５５〜００６０）
【特許文献２】特開２０００−０６７２２５号公報（おもに、明細書段落番号００１５〜００１９）
【特許文献３】特開２００３−２７１９３２号公報（おもに、明細書段落番号００３５〜００３８）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、これら従来技術によれば、被検者の眼部を抽出するために、抽出特徴点から複数の連続データを生成しなければならず、特徴として抽出すべき瞼のほか、眉毛、鼻、口、しわ等といった複数の連続データが抽出されてしまうため、これらの選別を行う必要がある。また、画像に含まれるノイズが含まれる場合には、たとえ輝度値をスムージング処理したとしても、そういったノイズを完全に取り除くことは困難であり、そのノイズを含んだ画素に対しても連続データが生成され、その分、演算処理が増えることとなる。結果として、横方向のラインで見た時の抽出特徴点の比較や、部位の選別において、計算機の演算時間と記憶容量を多く確保しなければならないといった問題がある。
【０００７】
このほか、特許文献１に記載された技術によれば、動的であると判断した曲線データを眼の位置として特定するため、撮影を開始してからしばらくの間(まばたきなどで上下瞼が動くまでの時間)は、目の位置を特定することができないといった問題があるほか、被験者の顔全体が動いているような場合や、口が動いているような場合には、目の位置を特定できないといった問題がある。
また、特許文献２に記載された技術によれば、鼻の穴の影(暗い部分)によって鼻の位置を特定しているが、鼻の穴の影がしっかり映りこむためにはカメラをやや下方に設置する必要があり、被験者と正対してカメラを設置した場合では、被検者の鼻の穴の影が写り込みにくく、眼の位置を特定することが困難となる。
【０００８】
特に、被検者のまばたき、視線方向、眼球震盪などを検出するためには、画像取得のフレームレートを高くする必要がある。とりわけ、眼球震盪を検出するためには、数Ｈｚ周期の眼球運動を検出する必要があることから、フレームレートとして数十ＦＰＳ(frame par second)程度の動画を処理する必要がある。したがって、眼球運動をリアルタイムで解析するためには、動画のフレームレートに応じた高速な画像処理が求められる。
【０００９】
そこで、本発明は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラムを提供する。
【課題を解決するための手段】
【００１０】
前述した課題を解決するため、本発明第１の構成による眼部領域検出プログラムでは、被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成するステップＳ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成するステップＳ２と、前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得するステップＳ３と、前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成するステップＳ４と、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成するステップＳ５と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成するステップＳ６と、によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第７の構成による眼部領域検出方法では、被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向から微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成する手順Ｓ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成する手順Ｓ２と、前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得する手順Ｓ３と、前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成する手順Ｓ４と、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成する手順Ｓ５と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成する手順Ｓ６と、によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
【００１１】
また、本発明第２の構成による眼部領域検出プログラムでは、前記ステップＳ１からＳ４までの各ステップと、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得するステップＳ７と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得するステップＳ８と、前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成するステップＳ９と、前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成するステップＳ１０と、前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成するステップＳ１１と、前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成するステップＳ１２と、によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第８の構成による眼部領域検出方法では、前記手順Ｓ１からＳ４までの各手順と、前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得する手順Ｓ７と、前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得する手順Ｓ８と、前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成する手順Ｓ９と、前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成する手順Ｓ１０と、前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成する手順Ｓ１１と、前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成する手順Ｓ１２と、によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
【００１２】
また、本発明第３の構成による眼部領域検出プログラムでは、前記ステップＳ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成するステップＳ１３と、前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得するステップＳ１４と、前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得するステップＳ１５と、前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成するステップＳ１６と、前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成するステップＳ１７と、前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成するステップＳ１８と、前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成するステップＳ１９と、によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第９の構成による眼部領域検出方法では、前記手順Ｓ１と、前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成する手順Ｓ１３と、前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得する手順Ｓ１４と、前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得する手順Ｓ１５と、前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成する手順Ｓ１６と、前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成する手順Ｓ１７と、前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成する手順Ｓ１８と、前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成する手順Ｓ１９と、によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
【００１３】
また、本発明第４の構成による眼部領域検出プログラムでは、第１ないし第３の構成に加え、前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが２本以上存在するときには、その直前のフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定することを特徴としている。
【００１４】
また、本発明第５の構成による眼部領域検出プログラムでは、第１ないし第３の構成に加え、前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い前記仮想ラインを横方向または縦方向のラインとして指定することを特徴としている。
【００１５】
また、本発明第６の構成による眼部領域検出プログラムでは、第１ないし第３の構成に加え、前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、前記各粒子ｉについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、前記各粒子ｉについて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、前記尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、前記パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、前記尤度Ｒ（ｉ）または前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する前記仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定することを特徴としている。
【００１６】
また、本発明第１０の構成による眼部領域検出装置では、被検者の顔部を撮影するビデオカメラと、前記ビデオカメラによって撮影された被検者の顔部の映像を取得するビデオキャプチャと、前記ビデオキャプチャによって取得された画像を元画像として前記被検者の左眼部分および右眼部分を抽出する請求項１ないし請求項６のいずれかに記載する眼部領域検出プログラムと、を備えたことを特徴としている。
【００１７】
また、本発明第１１の構成による眼部領域検出装置では、第１０の発明の構成に加え、さらに、前記被検者に赤外領域の光を照射する赤外照明を備え、前記ビデオカメラは前記赤外領域の像を撮影する赤外カメラであることを特徴としている。
【発明の効果】
【００１８】
本発明第１の構成による眼部領域検出プログラムおよび本発明第７の構成による眼部領域検出方法によれば、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第１領域や第２領域として指定したうえで、元画像から第１領域および第２領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、微分・積算・最大値または極大値算出といった簡単な演算処理で被検者の眼部領域を検出できるほか、被検者を撮影した画像データから、被検者の眼部領域を高速で抽出することができる。
【００１９】
また、本発明第２の構成による眼部領域検出プログラムおよび本発明第８の構成による眼部領域検出方法によれば、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第３画像や縦方向微分第４画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第３領域や第４領域として指定したうえで、元画像から第３領域および第４領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２０】
また、本発明第３の構成による眼部領域検出プログラムおよび本発明第９の構成による眼部領域検出方法によれば、被検者の顔を含んだ元画像の濃度値を縦方向で微分して縦方向微分第１画像を生成させ、その縦方向微分第１画像を左右に分割して、その微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第５画像や縦方向微分第６画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第５領域と第６領域として指定したうえで、元画像から第５領域および第６領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２１】
また、本発明第４の構成による眼部領域検出プログラムによれば、ステップＳ３等において、ヒストグラムが極大となるラインが２本以上存在したとしても、直前のフレーム画像を元画像としたときに得られたラインと最も近い位置にあるラインを指定するので、前述した効果に加えて、画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２２】
また、本発明第５の構成による眼部領域検出プログラムによれば、ステップＳ３等において、ヒストグラムのとる値の大きさに応じてランダムに発生する仮想ラインを複数本発生させ、複数本の仮想ラインのなかから、前に取得したフレーム画像を元画像としたときに得られたラインと類似性が最も高いものを指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２３】
また、本発明第６の構成による眼部領域検出プログラムによれば、ステップＳ３等において、パーティクルフィルタ法による粒子ｉと、その粒子に対応する仮想ラインを複数本発生させ、各粒子に対応する仮想ラインと、前に取得したフレーム画像を元画像としたときに得られたラインとの画素パターンを比較して尤度Ｒ（ｉ）を算出し、尤度Ｒ（ｉ）とヒストグラムのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の値の大きさに応じてパーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）またはＲ（ｉ）×ｆ（ｘｉ（ｔ））が最も高い粒子に対応する仮想ラインを横方向または縦方向のラインとして指定し、あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００２４】
また、本発明第１０の構成による眼部領域検出装置によれば、ビデオカメラによって撮影された被検者の顔部の映像を元画像として、前述した眼部領域検出プログラムにより被検者の右眼部分と左眼部分を高速で抽出できるので、抽出した両眼の画像データを用いて被検者のまばたき、視線方向、眼球震盪などをリアルタイムで解析することができる。
【００２５】
また、本発明第１１の構成による眼部領域検出装置によれば、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、前述した効果に加えて、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の右眼部分と左眼部分を高速で抽出することができる。
【発明を実施するための最良の形態】
【００２６】
本発明の実施形態を実施例１ないし実施例５にて説明する。なお、実施例１ないし実施例４は本件発明にかかる、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラムに関するものであり、実施例５は、画像データから被検者の眼部を抽出したあとの応用として、被検者の瞼の開度を検出するための技術について説明している。
【実施例１】
【００２７】
実施例１を図１〜図８に基づいて説明する。
図１は、実施例１にかかる眼部領域検出装置の構成を示す説明図である。
図１において、眼部領域検出装置１０は、計算機１１と、ビデオカメラ１６を備える。計算機１１は外部装置としてディスプレイ１１ｆとキーボード１１ｇを備えており、検査者２は、ディスプレイ１１ｆとキーボード１１ｇにより眼部領域検出装置１０を制御し、あるいは、検出結果等の観察等を行う。
また、ビデオカメラ１６は被検者１の顔部を撮影するものであり、計算機１１の内部に備えるビデオキャプチャ１１ｅによって映像を取得する。ビデオカメラ１６のフレームレートは３０〜６０ＦＰＳ程度である。
計算機１１は、このほか、ＣＰＵ（中央演算処理装置）１１ａと、クロック１１ｂと、ディスプレイ１１ｆに画像信号を送信するグラフィックカード１１ｃと、キーボード１１ｇからの入力信号を受信する入力端子１１ｄと、プログラム記憶領域１３および画像データ記憶領域１４の記憶領域が確保された記憶装置１２と、メモリ１５をその内部に備える。
メモリ１５には、眼部領域を抽出する過程で生成される各種のデータ（たとえば、元画像データ１５ａ、縦方向微分第１画像１５ｂ、横方向第１ヒストグラム１５ｃ、縦方向微分第２画像１５ｄ、縦方向第１ヒストグラム１５ｅ、第１領域１５ｆ、第２領域１５ｇなど）が一時的に記憶される。これらの各データの内容については、後で説明する。
【００２８】
画像データ記憶領域１４は、元画像データ１４ａ、左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃの記憶領域が確保されており、それぞれ、ビデオカメラ１６で撮影した被検者１の顔画像、左眼部分の画像、右眼部分の画像が記憶される。
そして、プログラム記憶領域１３は、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１４ａとして記録するビデオ画像取得プログラム１３ｂと、元画像データ１４ａから被検者の左眼部分および右眼部分を画像処理によって抽出して、左眼部分画像データ１４ｂと右眼部分画像データ１４ｃとして記録する眼部領域検出プログラム１３ａが記録されている。眼部領域検出プログラム１３ａの処理内容については後で説明する。
【００２９】
このように、ビデオカメラによって撮影された被検者の顔部の映像を元画像として、前述した眼部領域検出プログラムにより被検者の右眼部分と左眼部分を高速で抽出できるので、抽出した両眼の画像データを用いて被検者のまばたき、視線方向、眼球震盪などをリアルタイムで解析することができる。
【００３０】
また、眼部領域検出装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１６は赤外領域の像を撮影する赤外カメラとすることが好ましい。具体的には、赤外照明１７に特定領域の赤外光を通過させるＩＲフィルタ（たとえば、７６０ｎｍ以下の波長の光を遮断するようにしたものが好適である）を備えて、これを被検者１に向けて照射するとともに、ビデオカメラ１６のレンズの手前に同様のＩＲフィルタ（たとえば、８５０ｎｍ以上の波長の光のみを透過するようにしたものが好適である）を備えて、被検者１の反射光を撮影するようにする。
【００３１】
このように、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、前述した効果に加えて、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の右眼部分と左眼部分を高速で抽出することができる。
【００３２】
続いて、眼部領域検出プログラム１３ａの処理の流れを図２のフロチャートに基づいて説明する。
ビデオ画像取得プログラム１３ｂにより、被検者１の新たな顔画像が元画像データ１４ａとして記録されると、眼部領域検出プログラム１３ａが起動する。すなわち、眼部領域検出プログラム１３ａは、ビデオカメラ１６のフレームレートと同じ間隔で繰り返し起動することとなる。
【００３３】
眼部領域検出プログラム１３ａが起動すると、被検者の顔を含んだ元画像データを取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成するステップＳ１の処理が行われる。具体的には、まず、画像データ記憶領域１４から元画像データ１４ａを取得して、これをメモリ１５の元画像データ１５ａとして記憶する（ステップＳ１−１）。なお、元画像データ１４ａは、図３（ａ）のような画像（大きさは縦４８０ピクセル、横６４０ピクセル）であり、被検者１の顔として右眼、左眼のほか、眉毛や鼻等の領域が含まれている。続いて、元画像データ１５ａの各画素の濃度値を縦方向で微分して（ステップＳ１−２）、微分した画像を縦方向微分第１画像１５ｂとして、メモリ１５に記憶させる（ステップＳ１−３）。微分した値の絶対値を濃度とする画像を表すと、図３（ｂ）のようになり、被検者の瞼の淵部分や眉毛、鼻などといった特徴的な部位が現れる。また、元画像データ１５ａを上方向から微分して、微分した値の正値または負値を濃度とする画像で表すと、それぞれ、図４（ａ）または図４（ｂ）のようになり、同じく特徴的な部位が現れる。なお、図４（ａ）または図４（ｂ）は、図３（ａ）の画素が上方向から見て、元画像データ１５ａの画素が明るくまたは暗くなるときに、その特徴が現れるようになっている。
【００３４】
続いて、縦方向微分第１画像１５ｂの各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラム１５ｃとして生成するステップＳ２の処理が行われる。
図５は、縦方向微分第１画像１５ｂと横方向第１ヒストグラム１５ｃの関係を示す説明図である。縦方向微分第１画像１５ｂの画素値を横方向（積算方向５１）で積算すると、そのヒストグラム（横方向第１ヒストグラム１５ｃ）は、上瞼の部分で最大値５２を取る。この最大値５２に対応する横方向ラインを５３とする。
【００３５】
続いて、横方向第１ヒストグラム１５ｃの最大値または極大値に対応する、縦方向微分第１画像１５ｂの横方向のラインを指定して、縦方向微分第１画像１５ｂから横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像１５ｄとして取得するステップＳ３の処理が行われる。具体的には、まず、横方向第１ヒストグラム１５ｃの最大値を算出し（ステップＳ３−１）、最大値５２を取る横方向ライン５３を抽出し（ステップＳ３−２）、横方向ライン５３を含む所定領域の画像を切り出して縦方向微分第２画像１５ｄとしてメモリ１５に記憶させる（ステップＳ３−３）。
図６は、縦方向微分第１画像１５ｂから縦方向微分第２画像１５ｄを切り出した結果を示す説明図である。図６では、横方向ライン５３を基準として、上４０ピクセル分、下１００ピクセル分の領域を縦方向微分第１画像１５ｂから切り出して、縦方向微分第２画像１５ｄとしている。
このように、横方向第１ヒストグラム１５ｃが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
なお、図５や図６では、横方向第１ヒストグラム１５ｃの最大値を用いて横方向ライン５３を抽出しているが、こういった形態に限る必要はなく、たとえば、横方向第１ヒストグラム１５ｃの極大値を用いて横方向ライン５３を抽出するようにしてもよい。
【００３６】
続いて、縦方向微分第２画像１５ｄの各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラム１５ｅとして生成するステップＳ４の処理が行われる。
図７は縦方向第１ヒストグラム１５ｅおよび縦方向微分第２画像１５ｄの関係を示す説明図である。縦方向微分第２画像１５ｄの画素値を縦方向（積算方向７１）で積算すると、そのヒストグラム（縦方向第１ヒストグラム１５ｅ）は、被検者１のプルキンエ像の現れる部分で極大値７２、７３を取る。
このように、ステップＳ１〜ステップＳ３で、横方向での画像の切り出しを先に行うことで被検者１の眉毛や鼻等の領域を取り除くことができる。特に、被検者がまばたきをしたときにはその両眼のプルキンエ像が撮影されなくなるが、先に横方向での画像が切り出されていることから、瞼の特徴から両眼の中心部分を推定しやすくなる。
【００３７】
続いて、縦方向微分第２画像１５ｄを左右２つの領域に分割して得られた右側および左側の領域について、縦方向第１ヒストグラム１５ｅの最大値または極大値に対応する、縦方向微分第２画像１５ｄの縦方向のラインを指定して、縦方向微分第２画像１５ｄから縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域および第２領域として生成するステップＳ５およびステップＳ６の処理が行われる。具体的には、まず、縦方向第１ヒストグラム１５ｅから縦方向微分第２画像１５ｄの右半分および左半分に相当する部分の極大値７３および極大値７２を算出し（ステップＳ５−１およびステップＳ６−１）、極大値７３および極大値７２を取る縦方向ライン７５および縦方向ライン７４を抽出し（ステップＳ５−２およびステップＳ６−２）、縦方向ライン７５および縦方向ライン７４を含む所定領域を第１領域１５ｆおよび第２領域１５ｇとしてメモリ１５に記憶させる（ステップＳ５−３およびステップＳ６−３）。
図８は、縦方向微分第２画像１５ｄと第１領域１５ｆおよび第２領域１５ｇの関係を示す説明図である。実施例１では、縦方向ライン７４を基準として、右１００ピクセル分、左１００ピクセルの領域を第２領域１５ｇとしている。また、縦方向ライン７５を基準として、右１００ピクセル分、左１００ピクセルの領域を第１領域１５ｆとしている。
このように縦方向第１ヒストグラム１５ｅが被検者１のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者１の眼の位置を縦方向で絞り込むことができる。
なお、図７や図８では、縦方向第１ヒストグラム１５ｅの極大値を用いて縦方向ライン７４および縦方向ライン７５を抽出しているが、こういった形態に限る必要はなく、たとえば、縦方向第１ヒストグラム１５ｅの左右それぞれの最大値を用いて縦方向ライン７４および縦方向ライン７５を抽出するようにしてもよい。
【００３８】
最後に、元画像データ１５ａから第１領域１５ｆおよび第２領域１５ｇに相当する部分を切り出して、それぞれ左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃとして、画像データ記憶領域１４に記憶させる（ステップＳ２０−１およびステップＳ２０−２）ことで、被検者１の顔画像から眼部領域を抽出させることができる。
【００３９】
このように、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第１領域や第２領域として指定したうえで、元画像から第１領域および第２領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、微分・積算・最大値または極大値算出といった簡単な演算処理で被検者の眼部領域を検出できるほか、被検者を撮影した画像データから、被検者の眼部領域を高速で抽出することができる。
【実施例２】
【００４０】
続いて、実施例２を図９〜図１８に基づいて説明する。なお、実施例１と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。
図９は、実施例２にかかる眼部領域検出装置の構成を示す説明図である。
図９において、メモリ１５は、第１領域１５ｆ、第２領域１５ｇにかえて、縦方向微分第３画像１５ｈ、縦方向微分第４画像１５ｉ、横方向第２ヒストグラム１５ｊ、横方向第３ヒストグラム１５ｋ、第３領域１５ｌ、第４領域１５ｍの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
【００４１】
続いて、眼部領域検出プログラム１３ａの処理の流れを図１０および図１１のフロチャートに基づいて説明する。なお、図１１は図１０の続きのフロチャートである。
ステップＳ１からＳ４までの各ステップは、実施例１と同じ手順・内容で処理される。
実施例２における元画像データ１４ａは図１２（ａ）に示すとおりであり、被検者１が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図１２（ｂ）に示すように、被検者１の上瞼は、左右で水平となっていないことがわかる。また、図１３は、縦方向微分第１画像１５ｂと横方向第１ヒストグラム１５ｃの関係を示す説明図である。縦方向微分第１画像１５ｂの画素値を横方向（積算方向１３１）で積算すると、そのヒストグラム（横方向第１ヒストグラム１５ｃ）は、上瞼の左右の部分で二つの極大値１３２および１３３を取る。この極大値１３２および１３３にそれぞれ対応する横方向ラインを１３４および１３５とする。
図１４は、縦方向微分第１画像１５ｂから縦方向微分第２画像１５ｄを切り出した結果を示す説明図である。図１４では、横方向ライン１３４から上１５ピクセル分、横方向ライン１３５から下１００ピクセル分の領域を縦方向微分第１画像１５ｂから切り出して、縦方向微分第２画像１５ｄとしている。
このように、横方向第１ヒストグラム１５ｃが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
図１５は縦方向第１ヒストグラム１５ｅおよび縦方向微分第２画像１５ｄの関係を示す説明図である。縦方向微分第２画像１５ｄの画素値を縦方向（積算方向１５１）で積算すると、そのヒストグラム（縦方向第１ヒストグラム１５ｅ）は、被検者１のプルキンエ像の現れる部分で極大値１５２および１５３を取る。
【００４２】
続いて、縦方向微分第２画像１５ｄを左右２つの領域に分割して得られた右側および左側の領域について、縦方向第１ヒストグラム１５ｅの最大値または極大値に対応する、縦方向微分第２画像１５ｄの縦方向のラインを指定して、縦方向微分第２画像１５ｄから縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉとして取得するステップＳ７およびステップＳ８の処理が行われる。具体的には、まず、縦方向第１ヒストグラム１５ｅから縦方向微分第２画像１５ｄの右半分および左半分に相当する部分の極大値１５２および極大値１５３を算出し（ステップＳ７−１およびステップＳ８−１）、極大値１５２および極大値１５３を取る縦方向ライン１５４および縦方向ライン１５５を抽出し（ステップＳ７−２およびステップＳ８−２）、縦方向ライン１５４および縦方向ライン１５５を含む所定領域を縦方向微分第２画像１５ｄから切り出して、それぞれ、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉとしてメモリ１５に記憶させる（ステップＳ７−３およびステップＳ８−３）。
図１６は、縦方向微分第２画像１５ｄから縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉを切り出した結果を示す説明図である。図１６では、縦方向ライン１５４を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第２画像１５ｄから切り出して縦方向微分第３画像１５ｈとし、縦方向ライン１５５を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第２画像１５ｄから切り出して縦方向微分第４画像１５ｉとしている。
このように縦方向第１ヒストグラム１５ｅが被検者１のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者１の眼の位置を縦方向で絞り込むことができる。
【００４３】
続いて、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉの各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムをそれぞれ横方向第２ヒストグラム１５ｊおよび横方向第３ヒストグラム１５ｋとして生成するステップＳ９およびステップＳ１０の処理が行われる。
図１７は、横方向第２ヒストグラム１５ｊと縦方向微分第３画像１５ｈの関係および横方向第３ヒストグラム１５ｋと縦方向微分第４画像１５ｉの関係を示す説明図である。縦方向微分第３画像１５ｈの画素値を横方向（積算方向１７１）で積算すると、そのヒストグラム（横方向第２ヒストグラム１５ｊ）は、上瞼の部分で最大値１７３を取る。また、縦方向微分第４画像１５ｉの画素値を横方向（積算方向１７２）で積算すると、そのヒストグラム（横方向第３ヒストグラム１５ｋ）は、上瞼の部分で最大値１７４を取る。この最大値１７３および１７４にそれぞれ対応する、横方向ラインを１７５および１７６とする。
【００４４】
続いて、横方向第２ヒストグラム１５ｊおよび横方向第３ヒストグラム１５ｋの最大値または極大値に対応する、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉの横方向のラインを指定して、縦方向微分第３画像１５ｈおよび縦方向微分第４画像１５ｉから横方向のラインを含んだ所定領域を指定して、その指定した所定領域をそれぞれ第３領域１５ｌおよび第４領域１５ｍとして生成するステップＳ１１およびステップＳ１２の処理が行われる。
図１８は、縦方向微分第３画像１５ｈと第３領域１５ｌの関係および縦方向微分第４画像１５ｉと第４領域１５ｍの関係を示す説明図である。実施例２では、横方向ライン１７５を基準として、上１５ピクセル分、下１００ピクセルの領域を第３領域１５ｌとしている。また、横方向ライン１７６を基準として、上１５ピクセル分、下１００ピクセルの領域を第４領域１５ｍとしている。
このように、横方向第２ヒストグラム１５ｊや横方向第３ヒストグラム１５ｋが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向でさらに絞り込むことができる。
【００４５】
最後に、元画像データ１５ａから第３領域１５ｌおよび第４領域１５ｍに相当する部分を切り出して、それぞれ左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃとして、画像データ記憶領域１４に記憶させる（ステップＳ２０−３およびステップＳ２０−４）ことで、被検者１の顔画像から眼部領域を抽出させることができる。
【００４６】
このように、被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第２画像として切り出し、その縦方向微分第２画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第３画像や縦方向微分第４画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第３領域や第４領域として指定したうえで、元画像から第３領域および第４領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【実施例３】
【００４７】
続いて、実施例３を図１９〜図２５に基づいて説明する。なお、実施例１や実施例２と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。
図１９は、実施例３にかかる眼部領域検出装置の構成を示す説明図である。
図１９において、メモリ１５は、横方向第１ヒストグラム１５ｃ、縦方向微分第２画像１５ｄ、縦方向第１ヒストグラム１５ｅ、第１領域１５ｆ、第２領域１５ｇ、縦方向微分第３画像１５ｈ、縦方向微分第４画像１５ｉ、横方向第２ヒストグラム１５ｊ、横方向第３ヒストグラム１５ｋ、第３領域１５ｌ、第４領域１５ｍにかえて、縦方向第２ヒストグラム１５ｎ、縦方向微分第５画像１５ｏ、縦方向微分第６画像１５ｐ、横方向第４ヒストグラム１５ｑ、横方向第５ヒストグラム１５ｒ、第５領域１５ｓ、第６領域１５ｔの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
【００４８】
続いて、眼部領域検出プログラム１３ａの処理の流れを図２０および図２１のフロチャートに基づいて説明する。なお、図２１は図２０の続きのフロチャートである。
ステップＳ１は、実施例１および実施例２と同じ手順・内容で処理される。
実施例３における元画像データ１４ａは実施例２で使用したもの（図１２（ａ））と同じであり、被検者１が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図１２（ｂ）に示すように、被検者１の上瞼は、左右で水平となっていないことがわかる。
【００４９】
続いて、縦方向微分第１画像１５ｂの各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラム１５ｎとして生成するステップＳ１３の処理が行われる。
図２２は縦方向第２ヒストグラム１５ｎおよび縦方向微分第１画像１５ｂの関係を示す説明図である。縦方向微分第１画像１５ｂの画素値を縦方向（積算方向２２１）で積算すると、そのヒストグラム（縦方向第２ヒストグラム１５ｎ）は、被検者１のプルキンエ像の現れる部分で極大値２２２、２２３を取る。この極大値２２２および２２３にそれぞれ対応する、縦方向ラインを２２４および２２５とする。
【００５０】
続いて、縦方向微分第１画像１５ｂを左右２つの領域に分割して得られた右側および左側の領域について、縦方向第２ヒストグラム１５ｎの最大値または極大値に対応する、縦方向微分第１画像１５ｂの縦方向のラインを指定して、縦方向微分第１画像１５ｂから縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を、それぞれ縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐとして取得するステップＳ１４およびステップＳ１５の処理が行われる。
図２３では、縦方向ライン２２４を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第５画像１５ｏとし、縦方向ライン２２５を基準として左１００ピクセル分、右１００ピクセル分の領域を縦方向微分第６画像１５ｐとしている。
このように縦方向第２ヒストグラム１５ｎが被検者１のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者の眼の位置を縦方向で絞り込むことができる。
【００５１】
続いて、縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐの各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムをそれぞれ横方向第４ヒストグラム１５ｑおよび横方向第５ヒストグラム１５ｒとして生成するステップＳ１６およびステップＳ１７の処理が行われる。
図２４は、横方向第４ヒストグラム１５ｑと縦方向微分第５画像１５ｏの関係および横方向第５ヒストグラム１５ｒと縦方向微分第６画像１５ｐの関係を示す説明図である。縦方向微分第５画像１５ｏの画素値を横方向（積算方向２４１）で積算すると、そのヒストグラム（横方向第４ヒストグラム１５ｑ）は、上瞼の部分で最大値２４３を取る。また、縦方向微分第６画像１５ｐの画素値を横方向（積算方向２４２）で積算すると、そのヒストグラム（横方向第５ヒストグラム１５ｒ）は、上瞼の部分で最大値２４４を取る。この最大値２４３および２４４にそれぞれ対応する、横方向ラインを２４５および２４６とする。
【００５２】
続いて、横方向第４ヒストグラム１５ｑおよび横方向第５ヒストグラム１５ｒの最大値または極大値に対応する、縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐの横方向のラインを指定して、縦方向微分第５画像１５ｏおよび縦方向微分第６画像１５ｐから横方向のラインを含んだ所定領域を指定して、その指定した所定領域をそれぞれ第５領域１５ｓおよび第６領域１５ｔとして生成するステップＳ１８およびステップＳ１９の処理が行われる。
図２５は、縦方向微分第５画像１５ｏと第５領域１５ｓの関係および縦方向微分第６画像１５ｐと第６領域１５ｔの関係を示す説明図である。実施例３では、横方向ライン２４５を基準として、上１５ピクセル分、下１００ピクセル分の領域を第５領域１５ｓとしている。また、横方向ライン２４６を基準として、上１５ピクセル分、下１００ピクセル分の領域を第６領域１５ｔとしている。
このように、横方向第４ヒストグラム１５ｑや横方向第５ヒストグラム１５ｒが被検者１の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
【００５３】
最後に、元画像データ１５ａから第５領域１５ｓおよび第６領域１５ｔに相当する部分を切り出して、それぞれ左眼部分画像データ１４ｂおよび右眼部分画像データ１４ｃとして、画像データ記憶領域１４として記憶させる（ステップＳ２０−５およびステップＳ２０−６）ことで、被検者１の顔画像から眼部領域を抽出させることができる。
【００５４】
このように、被検者の顔を含んだ元画像の濃度値を縦方向で微分して縦方向微分第１画像を生成させ、その縦方向微分第１画像を左右に分割して、その微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を縦方向微分第５画像や縦方向微分第６画像として切り出したあとで、さらに、その各領域に対応する微分値を横方向で積算したヒストグラムをそれぞれ生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を第５領域と第６領域として指定したうえで、元画像から第５領域および第６領域に相当する部分を被検者の左眼部分および右眼部分として抽出しているので、前述した効果に加えて、被検者の顔の回転の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【実施例４】
【００５５】
続いて、実施例４を図２６〜図２８に基づいて説明する。なお、実施例１ないし実施例３と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。
実施例４は、図２６に示すように、縦方向微分第１画像１５ｂの横方向第１ヒストグラム１５ｃで、二つ以上の極大値２６１および２６２が存在するときでも、横方向ラインを確実に抽出するための技術に関するものである。
【００５６】
第１の方法としては、ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが２本以上存在するときには、その直前のフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定するというものである。
ステップＳ３を例にとると、具体的には、２つの極大値２６１および２６２に対して、その直前のフレーム画像を元画像としたときに得られた横方向ラインである前フレーム横方向ライン２６３と、極大値２６１および２６２に対応する横方向ライン２６４および２６５との位置関係を比較し、前フレーム横方向ライン２６３と物理的に近い位置にある横方向ラインを指定する。図２６でいえば、前フレーム横方向ライン２６３に近いラインは横方向ライン２６５であるため、この横方向ライン２６５が指定されることになる。
【００５７】
このように、ステップＳ３等において、ヒストグラムが極大となるラインが２本以上存在したとしても、直前のフレーム画像を元画像としたときに得られたラインと最も近い位置にあるラインを指定するので、前述した効果に加えて、画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００５８】
第２の方法としては、ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、仮想ラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い仮想ラインを横方向または縦方向のラインとして指定するというものである。
ステップＳ３を例に取ると、具体的には、図２７において、横方向第１ヒストグラム１５ｃのとる値の大きさに応じて（たとえば４個の）粒子ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ）を、縦方向微分第１画像１５ｂの上端から下端の範囲で確率的に発生させる。粒子ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ）は、横方向第１ヒストグラム１５ｃの大きさに応じて確率的に発生させるので、結果として、極大値２６１や２６２の付近に集中して発生しやすくなっている。そして、各粒子ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ）の発生させた位置に応じて仮想ライン２７４ａ〜２７４ｄを取って、図２７（ｃ）に示すように、各仮想ライン２７４ａ〜２７４ｄに対応する縦方向微分第１画像１５ｂの画素パターンを取る。なお、図２７（ｃ）では仮想ライン２７４ａ〜２７４ｄを縦方向に拡大して表示しているが、実際には、縦１ピクセル、横６４０ピクセルの画像データと等価である。また、同じように、図２７（ｂ）に示すように前フレーム横方向ライン２６３に対応する縦方向微分第１画像１５ｂの画素パターン（すなわち、前に取得したフレーム画像を元画像としたときに得られた縦方向微分第１画像１５ｂの画素パターン）を取る。続いて、各画素パターン（仮想ライン２７４ａ〜２７４ｄ）と、前フレーム横方向ライン２６３とをそれぞれ比較して、両者の画素パターンの類似性が最も高い仮想ライン２７４ａ〜２７４ｄを一つ抽出する。類似性の評価にあたっては、数１に示す尤度Ｒ（ｉ）を用いる方法などが考えられる。
【００５９】
【数１】
【００６０】
ここで、Ｒ（ｉ）はｉ番目の粒子に対応する尤度（ｉ＝１，２，…，４）、Ｐｉ（ｊ）はｉ番目の粒子の仮想ライン（２７４ａ〜２７４ｄ）に対応する画素パターンのｊピクセル目の画素の濃度（ｊ＝１，２，…，６４０）、Ｔ（ｊ）は前フレーム横方向ライン２６３に対応する画素パターンのｊピクセル目の画素の濃度である。仮想ラインに対応する画素パターンと、前フレーム横方向ラインに対応する画素パターンが完全に一致するとき、尤度の値は１となり、類似性が低くなればなるほど尤度の値は小さくなる。したがって、尤度Ｒ（ｉ）が最大となるｉを算出して、ｉ番目の粒子ｘｉ（ｔ）に対応する仮想ラインを横方向のラインとして指定するようにすればよい。
なお、第２の方法では、前フレーム横方向ライン２６３を、その直前のフレーム画像を元画像としたときに得られた横方向ラインとしなくともよく、たとえば、前フレーム横方向ライン２６３を、被検者１について最初に取得したフレーム画像を元画像としたときに得られた横方向ラインから定めるようにしもよい。このように、最初のフレーム画像を用いることで、参照される前フレーム横方向ライン２６３が変わることがなく、誤検出を少なくさせることができる。
【００６１】
このように、ステップＳ３等において、ヒストグラムのとる値の大きさに応じてランダムに発生する仮想ラインを複数本発生させ、複数本の仮想ラインのなかから、前に取得したフレーム画像を元画像としたときに得られたラインと類似性が最も高いものを指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【００６２】
第３の方法としては、ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、各粒子ｉについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、仮想ラインに対応する元画像、縦方向微分第１画像、縦方向微分第２画像、縦方向微分第３画像、縦方向微分第４画像、縦方向微分第５画像、あるいは、縦方向微分第６画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、各粒子ｉについて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）または積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定するというものである。
パーティクルフィルタ法は、各時刻における状態ベクトルを逐次的に推定する手法であり、独立な実現値とみなせる多数のパーティクル（＝状態ベクトル）を発生させ、各パーティクルについて、次の状態を近似によって推定し（手順ａ）、更に次の状態として残すべきパーティクルを、そのパーティクルを確率分布に従ってリサンプリングし（手順ｂ）、この手順ａと手順ｂを繰り返すことで、各時刻における状態が逐次的に推定されるというものである（非特許文献２参照）。
【００６３】
【非特許文献２】樋口：「解説 粒子フィルタ」（信学論，Ｖｏｌ．８８，Ｎｏ．１２，ｐｐ．９８９−９９４，２００５）
【００６４】
具体的には、ステップＳ３を例に取ると、第２の方法と同じように、図２７において、横方向第１ヒストグラム１５ｃの大きさに応じて粒子ｉを、縦方向微分第１画像１５ｂの上端から下端の範囲で確率的に発生させる（図２７では４個の粒子としているが、実際には数１０から数１００個の粒子を発生させることが好ましい）。粒子ｉは、横方向第１ヒストグラム１５ｃの大きさに応じて確率的に発生させるので、結果として、極大値２６１および２６２の付近に集中して発生しやすくなっている。そして、各粒子ｉの発生させた位置ｘｉ（ｔ）に応じて仮想ライン２７４ａ〜２７４ｄを取って、各仮想ライン２７４ａ〜２７４ｄに対応する縦方向微分第１画像１５ｂの画素パターンを取る。また、同じように、前フレーム横方向ライン２６３に対応する縦方向微分第１画像１５ｂの画素パターンを取る。続いて、仮想ライン２７４ａ〜２７４ｄと、前フレーム横方向ライン２６３とをそれぞれ比較して、両者の画素パターンの類似性が最も高い仮想ライン２７４ａ〜２７４ｄを一つ抽出する。類似性の評価にあたっては、数１に示す尤度Ｒ（ｉ）を用いる方法などが考えられる。
そして、各粒子ｉに対して、対応する尤度Ｒ（ｉ）と、対応する横方向第１ヒストグラム１５ｃのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定する。
次世代の粒子を決定するにあたっては、タイミングｔにおける各粒子ｉについて積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の値が高い粒子が次タイミングにおける候補に採用されやすいような方法で再発生させる。
【００６５】
図２８は、パーティクルフィルタ法による粒子の発生方法を示したものであり、タイミングｔにて積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が大きい粒子２８１や積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が普通の粒子２８２は、それぞれ複数個または１個の粒子として残し、逆に積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が小さい粒子２８３は、タイミングｔにて消滅・淘汰される。そうすることで、次タイミングｔ＋Δｔでは、タイミングｔにおける同じ数の粒子が発生するようにする。
ここで、次タイミングｔ＋Δｔにおける粒子は、数２にて決定する。
【００６６】
（数２）ｘｉ（ｔ＋Δｔ）＝ｘｉ（ｔ）＋Δｘ×Ｒａｎｄ
【００６７】
ここで、Δｘは一定の値であり、Ｒａｎｄは−１〜１の間で発生する乱数である。
【００６８】
そして、尤度Ｒ（ｉ）または積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子は、前のフレーム画像から抽出した被検者２の前フレーム横方向ライン２６３と最も性質が似通っているということがいえるから、その粒子に対応する仮想ラインを横方向または縦方向のラインとして指定する。
【００６９】
あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標ｘ（ｔ）に対応するラインを横方向または縦方向のラインとして指定してもよい。座標ｘ（ｔ）の定め方としては、数３が考えられる。
【００７０】
【数３】
ただし、Ｎは粒子の個数である。
【００７１】
このように、ステップＳ３等において、パーティクルフィルタ法による粒子ｉと、その粒子に対応する仮想ラインを複数本発生させ、各粒子に対応する仮想ラインと、前に取得したフレーム画像を元画像としたときに得られたラインとの画素パターンを比較して尤度Ｒ（ｉ）を算出し、尤度Ｒ（ｉ）とヒストグラムのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の値の大きさに応じてパーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）またはＲ（ｉ）×ｆ（ｘｉ（ｔ））が最も高い粒子に対応する仮想ラインを横方向または縦方向のラインとして指定し、あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の眼部領域を高速で抽出することができる。
【実施例５】
【００７２】
続いて、実施例５を図２９〜図３２に基づいて説明する。なお、実施例１ないし実施例４と同じ構成・機能を有するものについては、同一の符号を付し、詳細な説明は省略する。実施例５は、画像データから被検者の眼部を抽出したあとの応用として、被検者の瞼の開度を検出するための技術について説明している。
【００７３】
図２９は、実施例５にかかる眼部領域検出装置の構成を示す説明図である。
図２９において、眼部領域検出装置１０は、被検者１の顔部を撮影するビデオカメラ１６と、ビデオカメラ１６によって撮影された被検者１の顔部の映像を取得するビデオキャプチャ１１ｅと、ビデオキャプチャ１１ｅによって取得された画像を元画像データ１４ａとして被検者１の左眼部分および右眼部分を画像処理によって抽出する眼部領域検出プログラム１３ａと、右眼部分、左眼部分あるいは両眼部分を抽出した画像データをもとに被検者１の瞼の開度を測定する瞼開度検出プログラム１３ｃを備える。
なお、眼部領域検出装置１０には、被検者１に赤外領域の光を照射する赤外照明１７を備え、ビデオカメラ１６は赤外領域を撮影する赤外カメラとすることが好ましい。
【００７４】
また、プログラム記憶領域１３には、左眼部分画像データ１４ｂと右眼部分画像データ１４ｃ等をもとにして被検者１の瞼の開度を検出する瞼開度検出プログラム１３ｃが記録されており、画像データ記憶領域１４は、瞼開度データ１４ｄの記憶領域が確保されており、瞼開度検出プログラム１３ｃで検出された被検者１の瞼の開度が瞼開度データ１４ｄとして記憶される。メモリ１５は、さらに、正エッジ画像１５ｕ、負エッジ画像１５ｖ、正エッジ画像ヒストグラム１５ｗ、負エッジ画像ヒストグラム１５ｘ、上瞼ライン１５ｙ、下瞼ライン１５ｚの記憶領域が確保され、瞼の開度を推定する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
【００７５】
続いて、瞼開度検出プログラム１３ｃの処理の流れを図３０のフロチャートに基づいて説明する。
瞼開度検出プログラム１３ｃは、眼部領域検出プログラム１３ａによる右眼部分画像データ１４ｃの生成が終了するたびに起動する。すなわち、瞼開度検出プログラム１３ｃは、ビデオカメラ１６のフレームレートと同じ間隔で繰り返し起動することとなる。
【００７６】
瞼開度検出プログラム１３ｄが起動すると、被検者の右眼部分、左眼部分あるいは両眼部分を抽出した画像データを取得するステップＳ１０１の処理が行われる。右眼部分画像データ１４ｃは、図３１（ａ）のような画像（大きさは縦１４０ピクセル、横２００ピクセル）であり、被検者１の顔画像から抽出した右眼部分の領域を取得することになる。実施例５では、被検者１の右眼の画像を用いているが、左眼の画像（左眼部分画像データ１４ｂ）を用いても差し支えない。
【００７７】
続いて、画像データの各画素について、濃度値をその上の画素（またはその下の画素）と比較して、その濃度値が増加（またはその画素値が減少）しているときはその濃度値の差の値を、その濃度値が増加（またはその画素値が減少）していないときは０の値を、それぞれ該画素の濃度値に変換した正エッジ画像として生成するステップＳ１０２の処理が行われる。具体的には、右眼部分画像データ１４ｃの画素を上方向から微分した画像データを生成し、その画像データの画素値が負である画素については、その値を０とする変換を行えばよい。変換された画像データは、図３１（ｂ）に示すとおりであり、正エッジ画像１５ｕとしてメモリ１５に記憶させる。
【００７８】
続いて、画像データの各画素について、濃度値をその上の画素（またはその下の画素）と比較して、その濃度値が減少（またはその画素値が増加）しているときはその濃度値の差の値を、その濃度値が減少（またはその画素値が増加）していないときは０の値を、それぞれ該画素の濃度値に変換した負エッジ画像として生成するステップＳ１０３の処理が行われる。具体的には、右眼部分画像データ１４ｃの画素を上方向から微分した画像データを生成して、各画素における画素値の符号を入れ替えるとともに、その符号を入れ替えた画像データの画素値が負である画素については、その値を０とする変換を行えばよい。変換された画像データは、図３１（ｃ）に示すとおりであり、負エッジ画像１５ｖとしてメモリ１５に記憶させる。
【００７９】
続いて、正エッジ画像１５ｕおよび負エッジ画像１５ｖの各画素について、その画素値を横方向で積算して得られるヒストグラムを、それぞれ正エッジ画像ヒストグラム１５ｗおよび負エッジ画像ヒストグラム１５ｘとして生成するステップＳ１０４およびステップＳ１０５の処理が行われる。正エッジ画像１５ｕおよび負エッジ画像１５ｖの画素値を横方向（積算方向３１１および積算方向３１３）で積算すると、そのヒストグラムは、上瞼および下瞼部分で最大値３１２および３１４を取る。生成されたヒストグラムを正エッジ画像ヒストグラム１５ｗおよび負エッジ画像ヒストグラム１５ｘとしてメモリ１５に記憶させる。
【００８０】
続いて、正エッジ画像ヒストグラムおよび負エッジ画像ヒストグラムの最大値または極大値に対応する、正エッジ画像および負エッジ画像の横方向のラインを上瞼ラインおよび下瞼ラインとして指定するステップＳ１０６およびステップＳ１０７の処理が行われる。最大値３１２および３１４に対応する横方向ラインが上瞼ライン１５ｙおよび下瞼ライン１５ｚに相当する。
【００８１】
続いて、上瞼ライン１５ｙと、下瞼ライン１５ｚの位置の差から被検者１の瞼の開度を推定するステップＳ１０８の処理が行われる。被検者１の瞼の開度は、図３２に示すとおり、上瞼ライン１５ｙと、下瞼ライン１５ｚの位置の差から求められる。この差の値を瞼開度データ１４ｄとして、画像データ記憶領域１４に記憶させる。
【００８２】
このように、被検者の眼の部分の正エッジ画像および負エッジ画像を生成させ、両画像の画素値を横方向で積算したヒストグラムを生成させ、その最大値または極大値を取る横方向のラインを上瞼ライン、下瞼ラインとして、両ラインの位置関係の差から瞼の開度を推定するため、被検者を撮影した画像データから、被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８３】
また、眼部領域検出プログラムにより、ビデオカメラによって撮影された被検者の顔部の映像から被検者の眼部領域が高速で抽出し、瞼開度検出プログラムがその眼部領域を用いて被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８４】
さらに、被験者に赤外照明を照射して、その反射光を赤外カメラで撮影するので、前述した効果に加えて、外光（白熱電灯や自然光等）や設置環境の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８５】
ここで、正エッジ画像ヒストグラム１５ｗや負エッジ画像ヒストグラム１５ｘで、二つ以上の極大値が存在したときに、上瞼ライン１５ｙや下瞼ライン１５ｚを確実に抽出するための方法については、実施例４で示したような方法を同様に適用すればよい。
【００８６】
すなわち、実施例４で説明した第１の方法と同じ方法としては、ステップＳ１０６またはステップＳ１０７において、該ヒストグラムの極大値に対応する横方向のラインが２本以上存在するときには、その直前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインと最も近い位置にあるラインを上瞼ラインまたは下瞼ラインとして指定すればよい。
【００８７】
このように、ステップＳ１０６またはステップＳ１０７において、ヒストグラムが極大となるラインが２本以上存在したとしても、直前のフレーム画像をもとにして得られたラインと最も近い位置にあるラインを指定するので、前述した効果に加えて、画像に含まれるノイズ等の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【００８８】
また、実施例４で説明した第２の方法と同じ方法としては、ステップＳ１０６またはステップＳ１０７において、該ヒストグラムの最大値または極大値に対応する横方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向の仮想ラインを複数本生成させ、前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインに対応する正エッジ画像または負エッジ画像の画素パターンと、仮想ラインに対応する正エッジ画像または負エッジ画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い仮想ラインを上瞼ラインまたは下瞼ラインとして指定すればよい。
【００８９】
このように、ステップＳ１０６またはステップＳ１０７において、ヒストグラムのとる値の大きさに応じてランダムに発生する仮想ラインを複数本発生させ、複数本の仮想ラインのなかから、前に取得したフレーム画像をもとにして得られたラインと類似性が最も高いものを指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【００９０】
また、実施例４で説明した第３の方法と同じ方法としては、ステップＳ１０６またはステップＳ１０７において、該ヒストグラムの最大値または極大値に対応する横方向のラインを指定する代わりに、横方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、前のフレーム画像から抽出した画像データをもとにして得られた該横方向のラインに対応する正エッジ画像または負エッジ画像の画素パターンと、仮想ラインに対応する正エッジ画像または負エッジ画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、各粒子ｉついて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）または積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する仮想ラインを横方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向のラインとして指定すればよい。
【００９１】
このように、ステップＳ１０６またはステップＳ１０７において、パーティクルフィルタ法による粒子ｉと、その粒子に対応する仮想ラインを複数本発生させ、各粒子に対応する仮想ラインと、前に取得したフレーム画像をもとにして得られたラインとの画素パターンを比較して尤度Ｒ（ｉ）を算出し、尤度Ｒ（ｉ）とヒストグラムのとる値ｆ（ｘｉ（ｔ））との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、この積の大きさに応じてパーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、尤度Ｒ（ｉ）またはＲ（ｉ）×ｆ（ｘｉ（ｔ））が最も高い粒子に対応する仮想ラインを横方向のラインとして指定し、あるいは、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向のラインとして指定するので、前述した効果に加えて、瞬き等といった被検者の動きに起因する影響や画像に含まれるノイズ等の影響を受けずに被検者の瞼の開度を高速かつ高精度で推定することができる。
【産業上の利用可能性】
【００９２】
本発明は、検査者（医師や精神保健福祉士など）が被検者（患者など）に問診やカウンセリング等を行いながら、被検者の顔部の画像を撮影し、その撮影された画像データをもって、被検者の眼部を抽出することができるため、被検者のまばたき、視線方向、眼球震盪などを検出することができるようになる。
【図面の簡単な説明】
【００９３】
【図１】実施例１にかかる眼部領域検出装置の構成を示す説明図
【図２】実施例１にかかる眼部領域検出プログラムの処理の流れを示すフロチャート
【図３】実施例１にかかる被検者の顔部を撮影した元画像データおよび縦方向微分第１画像の一例を示す説明図
【図４】実施例１にかかる縦方向微分第１画像の他の一例を示す説明図
【図５】実施例１にかかる縦方向微分第１画像と横方向第１ヒストグラムの関係を示す説明図
【図６】実施例１にかかる縦方向微分第２画像の切り出し方の一例を示す説明図
【図７】実施例１にかかる縦方向微分第２画像と縦方向第１ヒストグラムの関係を示す説明図
【図８】実施例１にかかる第１領域および第２領域の生成方法の一例を示す説明図
【図９】実施例２にかかる眼部領域検出装置の構成を示す説明図
【図１０】実施例２にかかる眼部領域検出プログラムの処理の流れを示すフロチャート
【図１１】実施例２にかかる図１０の続きのフロチャート
【図１２】実施例２にかかる被検者の顔部を撮影した元画像データおよび縦方向微分第１画像の一例を示す説明図
【図１３】実施例２にかかる縦方向微分第１画像と横方向第１ヒストグラムの関係を示す説明図
【図１４】実施例２にかかる縦方向微分第２画像の切り出し方の一例を示す説明図
【図１５】実施例２にかかる縦方向微分第２画像と縦方向第１ヒストグラムの関係を示す説明図
【図１６】実施例２にかかる縦方向微分第３画像および縦方向微分第４画像の切り出し方の一例を示す説明図
【図１７】実施例２にかかる縦方向微分第３画像および縦方向微分第４画像と横方向第２ヒストグラムおよび横方向第３ヒストグラムの関係を示す説明図
【図１８】実施例２にかかる第３領域および第４領域の生成方法の一例を示す説明図
【図１９】実施例３にかかる眼部領域検出装置の構成を示す説明図
【図２０】実施例３にかかる眼部領域検出プログラムの処理の流れを示すフロチャート
【図２１】実施例３にかかる図２０の続きのフロチャート
【図２２】実施例３にかかる縦方向微分第１画像と縦方向第２ヒストグラムの関係を示す説明図
【図２３】実施例３にかかる縦方向微分第５画像および縦方向微分第６画像の切り出し方の一例を示す説明図
【図２４】実施例３にかかる縦方向微分第５画像および縦方向微分第６画像と横方向第４ヒストグラムおよび横方向第５ヒストグラムの関係を示す説明図
【図２５】実施例３にかかる第５領域および第６領域の生成方法の一例を示す説明図
【図２６】実施例４にかかる縦方向微分第１画像と横方向第１ヒストグラムの関係を示す説明図
【図２７】実施例４にかかる粒子および仮想ラインの関係を示す説明図
【図２８】実施例４にかかるパーティクルフィルタ法による粒子の発生方法を示す説明図
【図２９】実施例５にかかる眼部領域検出装置の構成を示す説明図
【図３０】実施例５にかかる瞼開度検出プログラムの処理の流れを示すフロチャート
【図３１】実施例５にかかる被検者の正エッジ画像・負エッジ画像と正エッジ画像ヒストグラム・負エッジ画像ヒストグラムとの関係および右眼部分の一例を示す説明図
【図３２】実施例５にかかる上瞼ラインと下瞼ラインの関係を示す説明図
【符号の説明】
【００９４】
１ 被検者
２ 検査者
１０ 眼部領域検出装置
１１ 計算機
１１ａ ＣＰＵ
１１ｂ クロック
１１ｃ グラフィックカード
１１ｄ 入力端子
１１ｅ ビデオキャプチャ
１１ｆ ディスプレイ
１１ｇ キーボード
１２ 記憶装置
１３ プログラム記憶領域
１３ａ 眼部領域検出プログラム
１３ｂ ビデオ画像取得プログラム
１３ｃ 瞼開度検出プログラム
１４ 画像データ記憶領域
１４ａ 元画像データ
１４ｂ 左眼部分画像データ
１４ｃ 右眼部分画像データ
１４ｄ 瞼開度データ
１５ メモリ
１５ａ 元画像データ
１５ｂ 縦方向微分第１画像
１５ｃ 横方向第１ヒストグラム
１５ｄ 縦方向微分第２画像
１５ｅ 縦方向第１ヒストグラム
１５ｆ 第１領域
１５ｇ 第２領域
１５ｈ 縦方向微分第３画像
１５ｉ 縦方向微分第４画像
１５ｊ 横方向第２ヒストグラム
１５ｋ 横方向第３ヒストグラム
１５ｌ 第３領域
１５ｍ 第４領域
１５ｎ 縦方向第２ヒストグラム
１５ｏ 縦方向微分第５画像
１５ｐ 縦方向微分第６画像
１５ｑ 横方向第４ヒストグラム
１５ｒ 横方向第５ヒストグラム
１５ｓ 第５領域
１５ｔ 第６領域
１５ｕ 正エッジ画像
１５ｖ 負エッジ画像
１５ｗ 正エッジ画像ヒストグラム
１５ｘ 負エッジ画像ヒストグラム
１５ｙ 上瞼ライン
１５ｚ 下瞼ライン
１６ ビデオカメラ
１７ 赤外照明
５１ 積算方向
５２ 最大値
５３ 横方向ライン
７１ 積算方向
７２、７３ 極大値
７４、７５ 縦方向ライン
１３１ 積算方向
１３２、１３３ 極大値
１３４、１３５ 横方向ライン
１５１ 積算方向
１５２、１５３ 極大値
１５４、１５５ 縦方向ライン
１７１、１７２ 積算方向
１７３、１７４ 最大値
１７５、１７６ 横方向ライン
２２１ 積算方向
２２２、２２３ 極大値
２２４、２２５ 縦方向ライン
２４１、２４２ 積算方向
２４３、２４４ 最大値
２４５、２４６ 横方向ライン
２６１、２６２ 極大値
２６３ 前フレーム横方向ライン
２６４、２６５ 横方向ライン
２７４ａ〜２７４ｄ 仮想ライン
２８１〜２８３ 粒子
３１１、３１３ 積算方向
３１２、３１４ 最大値
ｘ１（ｔ）、ｘ２（ｔ），…，ｘ４（ｔ） 粒子
【特許請求の範囲】
【請求項１】
被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成するステップＳ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成するステップＳ２と、
前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得するステップＳ３と、
前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成するステップＳ４と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成するステップＳ５と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成するステップＳ６と、
によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。
【請求項２】
前記ステップＳ１からＳ４までの各ステップと、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得するステップＳ７と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得するステップＳ８と、
前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成するステップＳ９と、
前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成するステップＳ１０と、
前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成するステップＳ１１と、
前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成するステップＳ１２と、
によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。
【請求項３】
前記ステップＳ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成するステップＳ１３と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得するステップＳ１４と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得するステップＳ１５と、
前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成するステップＳ１６と、
前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成するステップＳ１７と、
前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成するステップＳ１８と、
前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成するステップＳ１９と、
によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。
【請求項４】
前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが２本以上存在するときには、その直前のフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定することを特徴とする請求項１ないし請求項３のいずれかに記載の眼部領域検出プログラム。
【請求項５】
前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い前記仮想ラインを横方向または縦方向のラインとして指定することを特徴とする請求項１ないし請求項３のいずれかに記載の眼部領域検出プログラム。
【請求項６】
前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、前記各粒子ｉについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、
前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、前記各粒子ｉについて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、前記尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、前記パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、前記尤度Ｒ（ｉ）または前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する前記仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定することを特徴とする請求項１ないし請求項３のいずれかに記載の眼部領域検出プログラム。
【請求項７】
被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向から微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成する手順Ｓ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成する手順Ｓ２と、
前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得する手順Ｓ３と、
前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成する手順Ｓ４と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成する手順Ｓ５と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成する手順Ｓ６と、
によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。
【請求項８】
前記手順Ｓ１からＳ４までの各手順と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得する手順Ｓ７と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得する手順Ｓ８と、
前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成する手順Ｓ９と、
前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成する手順Ｓ１０と、
前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成する手順Ｓ１１と、
前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成する手順Ｓ１２と、
によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。
【請求項９】
前記手順Ｓ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成する手順Ｓ１３と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得する手順Ｓ１４と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得する手順Ｓ１５と、
前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成する手順Ｓ１６と、
前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成する手順Ｓ１７と、
前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成する手順Ｓ１８と、
前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成する手順Ｓ１９と、
によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。
【請求項１０】
被検者の顔部を撮影するビデオカメラと、前記ビデオカメラによって撮影された被検者の顔部の映像を取得するビデオキャプチャと、前記ビデオキャプチャによって取得された画像を元画像として前記被検者の左眼部分および右眼部分を抽出する請求項１ないし請求項６のいずれかに記載する眼部領域検出プログラムと、を備えた眼部領域検出装置。
【請求項１１】
さらに、前記被検者に赤外領域の光を照射する赤外照明を備え、前記ビデオカメラは前記赤外領域の像を撮影する赤外カメラであることを特徴とする請求項１０に記載の眼部領域検出装置。
【請求項１】
被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成するステップＳ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成するステップＳ２と、
前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得するステップＳ３と、
前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成するステップＳ４と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成するステップＳ５と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成するステップＳ６と、
によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。
【請求項２】
前記ステップＳ１からＳ４までの各ステップと、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得するステップＳ７と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得するステップＳ８と、
前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成するステップＳ９と、
前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成するステップＳ１０と、
前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成するステップＳ１１と、
前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成するステップＳ１２と、
によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。
【請求項３】
前記ステップＳ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成するステップＳ１３と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得するステップＳ１４と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得するステップＳ１５と、
前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成するステップＳ１６と、
前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成するステップＳ１７と、
前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成するステップＳ１８と、
前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成するステップＳ１９と、
によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。
【請求項４】
前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが２本以上存在するときには、その直前のフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定することを特徴とする請求項１ないし請求項３のいずれかに記載の眼部領域検出プログラム。
【請求項５】
前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い前記仮想ラインを横方向または縦方向のラインとして指定することを特徴とする請求項１ないし請求項３のいずれかに記載の眼部領域検出プログラム。
【請求項６】
前記ステップＳ３、ステップＳ１１、ステップＳ１２、ステップＳ１８あるいはステップＳ１９、または、前記ステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８、ステップＳ１４あるいはステップＳ１５において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子ｉ＝ｉ（ｔ）を複数個生成させ、前記各粒子ｉについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、
前記仮想ラインに対応する前記元画像、前記縦方向微分第１画像、前記縦方向微分第２画像、前記縦方向微分第３画像、前記縦方向微分第４画像、前記縦方向微分第５画像、あるいは、前記縦方向微分第６画像の画素パターンと、をそれぞれ比較して尤度Ｒ（ｉ）を算出し、前記各粒子ｉについて、対応するラインの取る座標をｘｉ（ｔ）としたとき、該ヒストグラムのとる値ｆ（ｘｉ（ｔ））と、前記尤度Ｒ（ｉ）との積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））を算出し、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））をもって、前記パーティクルフィルタ法にて発生させる次世代の粒子ｉ＝ｉ（ｔ＋Δｔ）を決定すると共に、前記尤度Ｒ（ｉ）または前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値が最も高い粒子に対応する前記仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子ｉに対応するラインがとる座標ｘｉ（ｔ）について、前記積Ｒ（ｉ）×ｆ（ｘｉ（ｔ））の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定することを特徴とする請求項１ないし請求項３のいずれかに記載の眼部領域検出プログラム。
【請求項７】
被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向から微分して、その微分された画素によって構成される画像を縦方向微分第１画像として生成する手順Ｓ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第１ヒストグラムとして生成する手順Ｓ２と、
前記横方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の横方向のラインを指定して、前記縦方向微分第１画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第２画像として取得する手順Ｓ３と、
前記縦方向微分第２画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第１ヒストグラムとして生成する手順Ｓ４と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第１領域として生成する手順Ｓ５と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第２領域として生成する手順Ｓ６と、
によって、前記元画像のうち、前記第１領域および前記第２領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。
【請求項８】
前記手順Ｓ１からＳ４までの各手順と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第３画像として取得する手順Ｓ７と、
前記縦方向微分第２画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第１ヒストグラムの最大値または極大値に対応する、前記縦方向微分第２画像の縦方向のラインを指定して、前記縦方向微分第２画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第４画像として取得する手順Ｓ８と、
前記縦方向微分第３画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第２ヒストグラムとして生成する手順Ｓ９と、
前記縦方向微分第４画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第３ヒストグラムとして生成する手順Ｓ１０と、
前記横方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第３画像の横方向のラインを指定して、前記縦方向微分第３画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第３領域として生成する手順Ｓ１１と、
前記横方向第３ヒストグラムの最大値または極大値に対応する、前記縦方向微分第４画像の横方向のラインを指定して、前記縦方向微分第４画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第４領域として生成する手順Ｓ１２と、
によって、前記元画像のうち、前記第３領域および前記第４領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。
【請求項９】
前記手順Ｓ１と、
前記縦方向微分第１画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第２ヒストグラムとして生成する手順Ｓ１３と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた右側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第５画像として取得する手順Ｓ１４と、
前記縦方向微分第１画像を左右２つの領域に分割して得られた左側の領域について、前記縦方向第２ヒストグラムの最大値または極大値に対応する、前記縦方向微分第１画像の縦方向のラインを指定して、前記縦方向微分第１画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第６画像として取得する手順Ｓ１５と、
前記縦方向微分第５画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第４ヒストグラムとして生成する手順Ｓ１６と、
前記縦方向微分第６画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第５ヒストグラムとして生成する手順Ｓ１７と、
前記横方向第４ヒストグラムの最大値または極大値に対応する、前記縦方向微分第５画像の横方向のラインを指定して、前記縦方向微分第５画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第５領域として生成する手順Ｓ１８と、
前記横方向第５ヒストグラムの最大値または極大値に対応する、前記縦方向微分第６画像の横方向のラインを指定して、前記縦方向微分第６画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第６領域として生成する手順Ｓ１９と、
によって、前記元画像のうち、前記第５領域および前記第６領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。
【請求項１０】
被検者の顔部を撮影するビデオカメラと、前記ビデオカメラによって撮影された被検者の顔部の映像を取得するビデオキャプチャと、前記ビデオキャプチャによって取得された画像を元画像として前記被検者の左眼部分および右眼部分を抽出する請求項１ないし請求項６のいずれかに記載する眼部領域検出プログラムと、を備えた眼部領域検出装置。
【請求項１１】
さらに、前記被検者に赤外領域の光を照射する赤外照明を備え、前記ビデオカメラは前記赤外領域の像を撮影する赤外カメラであることを特徴とする請求項１０に記載の眼部領域検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１０−５５２６２（Ｐ２０１０−５５２６２Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１８０３８（Ｐ２００８−２１８０３８）
【出願日】平成２０年８月２７日（２００８．８．２７）
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２７日（２００８．８．２７）
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【Ｆターム（参考）】
[ Back to top ]