顔の特徴部位の座標位置を検出する画像処理装置
【課題】本発明は、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像より時間的に前に座標位置の検出がなされた画像である被検出画像の座標位置の検出に関連する情報である検出情報を記憶する記憶部と、座標位置の検出に用いられる特徴点の注目画像における初期位置を設定するために注目画像上に規定される注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像における初期位置を設定するために被検出画像上に規定された被検出画像規定領域に基づいて特定するかを検出情報に基づいて、判定する処理判定部と、初期位置に設定された特徴点の設定位置を座標位置に近づけるように更新し、更新された設定位置を座標位置として検出する特徴位置検出部と、を備える。
【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像より時間的に前に座標位置の検出がなされた画像である被検出画像の座標位置の検出に関連する情報である検出情報を記憶する記憶部と、座標位置の検出に用いられる特徴点の注目画像における初期位置を設定するために注目画像上に規定される注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像における初期位置を設定するために被検出画像上に規定された被検出画像規定領域に基づいて特定するかを検出情報に基づいて、判定する処理判定部と、初期位置に設定された特徴点の設定位置を座標位置に近づけるように更新し、更新された設定位置を座標位置として検出する特徴位置検出部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目画像に含まれる目画像から所定の目の状態を検出する画像処理装置に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術には、画像に含まれる顔の特徴部位の位置の検出に関して、さらなる効率化・高速化の余地があった。
【０００５】
本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。
【０００７】
第１の態様は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える。
【０００８】
第１の態様に係る画像処理装置によれば、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかを検出情報に基づいて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【０００９】
第１の態様に係る画像処理装置において、前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、前記処理判定部は、前記被検出画像の前記特徴部位信頼度が所定値以上である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、特徴部位信頼度を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１０】
第１の態様に係る画像処理装置において、前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、前記処理判定部は、第１の被検出画像における前記特徴部位信頼度と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像における前記特徴部位信頼度との差が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、第１の被検出画像および第２の被検出画像のそれぞれの特徴部位信頼度の差を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１１】
第１の態様に係る画像処理装置において、前記検出情報は、第１の被検出画像において検出された前記特徴部位の座標位置と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像において検出された前記特徴部位の座標位置との差異であり、前記処理判定部は、前記差異が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、第１の被検出画像および第２の被検出画像のそれぞれについて検出された特徴部位の座標位置の差を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１２】
第１の態様に係る画像処理装置において、前記処理判定部は、前記注目画像に設定される前記特徴点の初期位置を、前記注目画像規定領域に基づいて決定するか、もしくは、前記被検出画像に設定された前記特徴点の初期位置に基づいて決定するかを前記検出情報に基づいて判定してもよい。この場合、注目画像における特徴点の初期位置を注目画像規定領域に基づいて決定するか、もしくは、被検出画像の初期位置に基づいて決定するかを検出情報に基づいて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１３】
第１の態様に係る画像処理装置はさらに、前記特徴位置検出部により検出された前記特徴部位の座標位置に基づいて特定される領域であって、目の画像を少なくとも一部に含む領域である目領域の画像から目の状態を検出する目状態検出部を備えていてもよい。この場合、注目画像に含まれる目の画像からの目の状態を検出する処理の効率化・高速化を図ることができる。
【００１４】
第１の態様に係る画像処理装置において、前記目の状態とは、目を瞑っている状態であってもよい。この場合、注目画像に含まれる目の画像の目を瞑っている状態を検出する処理の効率化・高速化を図ることができる。
【００１５】
第１の態様に係る画像処理装置はさらに、前記目状態検出部による検出結果に基づいて、前記注目画像に含まれる目の画像が目を瞑っている状態か否かを判定する目状態判定部を備えていてもよい。この場合、注目画像に含まれる目の画像の目を瞑っているか否かを判定する処理の効率化・高速化を図ることができる。
【００１６】
第１の態様に係る画像処理装置はさらに、時間的に連続する所定数の注目画像に対して目を瞑っている状態であると前記目状態判定部が判定した場合に、前記注目画像に含まれる顔画像は居眠りをしている状態であると判定する居眠り判定部を備えていてもよい。この場合、注目画像に含まれる顔画像が居眠りをしている状態か否かを判定する処理の効率化・高速化を図ることができる。
【００１７】
なお、本発明は、種々の態様で実現することが可能であり、例えば、プリンター、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、顔の特徴部位の検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施例における画像処理装置としてのデジタルスチルカメラ１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】目状態判定情報設定処理を説明するための説明図である。
【図１１】第１実施例における居眠り検出処理の流れを示すフローチャートである。
【図１２】第１実施例における目領域検出処理の流れを示すフローチャートである。
【図１３】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１４】第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１５】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１６】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１７】第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１８】特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。
【図１９】差分画像のノルムと特徴部位信頼度との関係を例示した説明図である。
【図２０】被検出画像および注目画像における特徴点の初期位置を例示した説明図である。
【図２１】被検出画像および注目画像における顔領域を例示した説明図である。
【図２２】第２実施例における目領域検出処理を説明するための説明図である。
【図２３】変形例における目領域検出処理を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る画像処理装置の一態様であるデジタルスチルカメラについて、図面を参照しつつ、実施例に基づいて説明する。
【００２０】
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのデジタルスチルカメラ１００の構成を概略的に示す説明図である。本実施例のデジタルスチルカメラ（以下「ＤＳＣ」とも呼ぶ）１００は、被写体としての撮像対象物を撮像して被写体画像を表す画像データを生成する撮像装置（画像生成装置）として機能すると共に、生成された画像データに対する画像処理を行う画像処理装置としても機能する。
【００２１】
ＤＳＣ１００は、レンズ１０２と、レンズ１０２を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部１０４と、レンズ駆動部１０４を制御するレンズ駆動制御部１０６と、レンズ１０２を介して受光面に入力された光を電気信号に変換する撮像素子１０８と、撮像素子１０８から出力された電気信号に対するＡ／Ｄ変換を行うＡ／Ｄ変換器１１０と、外部機器との情報のやり取りのためのインターフェース部（Ｉ／Ｆ部）１１２と、液晶ディスプレイにより構成された表示部１１４と、ボタンやタッチパネルにより構成された操作部１１６と、ＤＳＣ１００の各部を制御するＣＰＵ１１８と、ＲＯＭやＲＡＭによって構成された内部メモリー２００と、を備えている。撮像素子１０８は、例えばＣＣＤを用いて構成される。ＤＳＣ１００の各構成要素は、バス１２２を介して双方向通信可能に接続されている。
【００２２】
内部メモリー２００には、画像生成部２１０と、表示処理部２２０と、画像処理部２３０と、が格納されている。画像生成部２１０は、レンズ１０２や撮像素子１０８などを制御して、被写体としての撮像対象物を撮像し、被写体画像を表す画像データを生成するためのコンピュータープログラムである。表示処理部２２０は、表示部１１４を制御して、表示部１１４上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバであり、ＣＰＵ１１８により実行されることで機能を実現する。画像処理部２３０は、所定のオペレーティングシステムの下で、ＣＰＵ１１８により実行されることで居眠り検出処理をおこなうコンピュータープログラムである。居眠り検出処理は、特定の顔画像について居眠りをしているか否かを検出する処理である。居眠り検出処理については、後に詳述する。
【００２３】
画像処理部２３０は、プログラムモジュールとして、顔領域検出部２３１と、目領域検出部２３２と、検出情報算出部２３５と、処理判定部２３６と、目状態検出部２３７と、目状態判定部２３８と、居眠り判定部２３９と、を含んでいる。また、目領域検出部２３２は、初期位置設定部２３３と特徴位置検出部２３４と、を含んでいる。これら各部の機能については、後述の居眠り検出処理の説明において詳述する。
【００２４】
ＣＰＵ１１８は、内部メモリー２００から、これらのプログラム（画像生成部２１０、表示処理部２２０、画像処理部２３０）を読み出して実行することにより、これら各部の機能を実現する。
【００２５】
内部メモリー２００には、また、ＡＡＭ情報ＡＭＩおよび目状態判定情報ＩＪＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の居眠り検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。目状態判定情報ＩＪＩは、後述する目状態検出部２３７による目状態の検出に用いられる。目状態判定情報ＩＪＩの内容については、後述の目状態判定情報設定処理の説明において詳述する。
【００２６】
Ａ２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザによりおこなわれる。
【００２７】
はじめに、ユーザは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２８】
それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００２９】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００３０】
つづいて、ユーザは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００３１】
【数１】
【００３２】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３３】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３４】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではn＝４）の固有ベクトルが、形状ベクトルｓiとして採用される。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。
【００３５】
なお、形状モデル設定ステップ（ステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー２００に格納される。
【００３６】
つづいて、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３７】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３８】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００３９】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける画素値により構成される画像ベクトルに対する主成分分析がおこなわれ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。ここで、画素値とは輝度値であり、画像ベクトルは、輝度値により構成される輝度値ベクトルである。
【００４０】
【数２】
【００４１】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００４２】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４３】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー２００に格納される。
【００４４】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４５】
Ａ３．目状態判定情報設定処理：
目状態判定情報設定処理は、目の画像についてのテクスチャーモデルを設定する処理である。本実施例において、目状態判定情報設定処理についてもＡＡＭ設定処理と同様に、ユーザによりおこなわれる。
【００４６】
図１０は、目状態判定情報設定処理を説明するための説明図である。図１０（ａ）は目領域を例示した説明図である。特徴点ＣＰが設定されたサンプル画像ＳＩ（図４）において、図１０（ａ）に示すように、サンプル画像ＳＩの目の輪郭上に設定されている特徴点ＣＰにより囲まれた領域を「目領域ＥＡ」と呼ぶ。各サンプル画像ＳＩの目領域ＥＡに対して、目領域ＥＡを形成する特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように画像変換（ワープＷ）を行う。ワープＷにより、平均形状ｓ0における特徴点ＣＰの設定位置と等しい位置の特徴点ＣＰに囲まれた領域である平均形状目領域ＢＥＡを含むサンプル目画像ＳＥＩｗが生成される。
【００４７】
図１０（ｂ）は、サンプル目画像を例示した説明図である。図１０（ｂ）に示すように、各サンプル目画像ＳＥＩｗは、平均形状目領域ＢＥＡを内包する矩形枠を外周とし、平均形状目領域ＢＥＡ以外の領域（マスク領域ＭＡ）がマスクされた画像として生成される。平均形状目領域ＢＥＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル目画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４８】
次に、各サンプル目画像ＳＥＩｗの画素群ｘのそれぞれにおける画素値により構成される画像ベクトルに対する主成分分析がおこなわれ、目のテクスチャーが上記の式（２）によりモデル化される。ここで、画素群ｘは、平均形状目領域ＢＥＡに位置する画素の集合である。画素値とは輝度値であり、画像ベクトルは、輝度値により構成される輝度値ベクトルである。なお、ＡＡＭ設定処理で設定されるテクスチャーモデルと区別するために、以後、目状態判定情報設定処理により設定されるテクスチャーモデルには、ダッシュ（’）を付けて説明する。例えば、平均形状目領域ＢＥＡのテクスチャーは、テクスチャーＡ’（ｘ）と呼ぶ。Ａ’0（ｘ）は、平均目画像である。平均目画像Ａ’0（ｘ）は、ワープＷの後のサンプル目画像ＳＥＩｗ（図１０（ｂ）参照）の平均の目の見えが表された画像である。なお、平均目画像Ａ’0（ｘ）は、サンプル目画像ＳＥＩｗと同様に、平均形状目領域ＢＥＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００４９】
目のテクスチャーモデルでは、目の見えを表す目のテクスチャーＡ’（ｘ）が、平均目画像Ａ’0（ｘ）とｍ個のテクスチャーベクトルＡ’i（ｘ）の線形結合との和としてモデル化される。目のテクスチャーモデルにおいてテクスチャーパラメーターλ’iを適切に設定することにより、例えば、目の開閉や、黒目の位置などを変化させた、あらゆる目の画像をテクスチャーＡ’（ｘ）により再現することが可能である。なお、設定された平均目画像Ａ’0（ｘ）およびテクスチャーベクトルＡ’i（ｘ）は、目状態判定情報ＩＪＩ（図１）として内部メモリー２００に格納される。
【００５０】
図１０（ｃ）は、第１テクスチャーベクトルとサンプル目画像との関係を例示した説明図である。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ’1（ｘ）は、目の開閉にほぼ相関するベクトルとなるように、主成分分析の対象とするサンプル目画像ＳＥＩｗが選定されている。具体的には、主成分分析の対象とするサンプル目画像ＳＥＩｗに、目瞑り状態の目画像と目開き状態の目画像を含めることにより、意図的に目の開閉に相関する主成分が形成されるようにしている。これにより、目の開閉にほぼ相関する第１テクスチャーベクトルＡ’1（ｘ）の係数であるテクスチャーパラメーターλ’1の値を変化させることで、図１０（ｃ）に示すように、目画像の目の開閉状態の変化を表現することができる。なお、本実施例では、第１主成分に目の開閉に相関するテクスチャーベクトルが形成されるものとして説明しているが、必ずしも、第１主成分に形成される必要はなく、例えば、第２主成分や第３主成分など、これ以外の主成分として形成されていてもよい。
【００５１】
Ａ４．居眠り検出処理：
図１１は、第１実施例における居眠り検出処理の流れを示すフローチャートである。本実施例における居眠り検出処理は、対象とする顔（以後「対象顔」とも呼ぶ）が居眠りをしている状態を表しているか否かを検出する処理である。具体的には、ＤＳＣ１００は、対象顔を撮影して対象顔を含む画像を表す画像データを生成し、画像データから対象顔が居眠りをしている状態を表しているか否かを検出する。
【００５２】
画像生成部２１０は、居眠り検出処理の対象となる画像データを生成する（ステップＳ２１０）。具体的には、ＤＳＣ１００は、撮影を行う領域を表示部１１４に表示し、ユーザによる操作部１１６の操作を受けて対象顔を含む領域を撮影する。画像生成部２１０は、撮影した対象顔を含む領域の画像データを生成し、内部メモリー２００の所定の領域に格納する。本実施例では、ＤＳＣ１００は、対象顔を所定の時間間隔で連続的に撮影し、それぞれの画像データを生成する。なお、生成した画像データのうち、以下の説明の対象とする画像データを特に注目画像データと呼び、注目画像データにより表される画像を注目画像ＯＩと呼ぶものとする。
【００５３】
ＤＳＣ１００は、目領域検出処理をおこなう（ステップｓ２２０）。目領域検出処理とは、注目画像ＯＩから目領域ＥＡを検出する処理である。図１２は、第１実施例における目領域検出処理の流れを示すフローチャートである。本実施例における目領域検出処理は、ＡＡＭを利用して、注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出し、検出した特徴部位の位置から目領域を特定する。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例における特徴部位の位置の検出は、人物の顔の器官および顔の輪郭における所定位置を表す６８個の特徴点ＣＰの位置を特定することによりおこなう。
【００５４】
本実施例では、注目画像ＯＩより時間的に前に目領域検出処理がなされた画像を被検出画像ＤＩとも呼ぶ。被検出画像ＤＩは、注目画像ＯＩと画像サイズが等しい。被検出画像ＤＩのうち特に、注目画像ＯＩの直前に撮影され、目領域検出処理がなされた画像を被検出画像ＤＩ１とし、被検出画像ＤＩ１の直前に撮影され、目領域検出処理がなされた画像を被検出画像ＤＩ２とする。また、被検出画像ＤＩにおける目領域ＥＡの検出に関連する情報を検出情報ＤＣＩと呼ぶ。本実施例における目領域検出処理は、検出情報ＤＣＩに応じて、被検出画像ＤＩに対する目領域検出処理の検出結果を利用して注目画像ＯＩから目領域ＥＡを検出する。被検出画像ＤＩの検出結果を利用する場合の条件や、利用する検出結果の詳細については後述する。
【００５５】
図１２に示すように、処理判定部２３６は、内部メモリー２００に検出情報ＤＣＩがあるか否かを判定する（ステップＳ３１０）。検出情報ＤＣＩは、既述のとおり、被検出画像ＤＩについての目領域の検出に関連する情報であり、具体的には、目領域検出部２３２が検出した顔の特徴部位の位置が、真の顔の特徴部位の位置である確からしさを表す指標である特徴部位信頼度や、目領域検出処理がなされた時間が異なる２以上の被検出画像ＤＩにおいてそれぞれ検出された顔の特徴部位の座標位置の差異などを含む。本実施例では、検出情報ＤＣＩとして特徴部位信頼度を用いて説明する。
【００５６】
内部メモリー２００に検出情報ＤＣＩがない場合と判定された場合には（ステップＳ３１０：ＮＯ）、顔領域検出部２３１（図１）は、注目画像ＯＩに対して顔領域ＦＡの検出処理をおこなう（ステップＳ３２０）。すなわち、顔領域検出部２３１は、注目画像ＯＩに含まれる顔画像に基づいて、顔画像の少なくとも一部を含む領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。注目画像ＯＩにおいて検出された顔領域ＦＡは、特許請求の範囲における「注目画像規定領域」に該当する。上記を換言すると、内部メモリー２００に検出情報ＤＣＩがない場合には、顔領域検出部２３１は、注目画像ＯＩに含まれる顔画像に基づいて、注目画像規定領域を検出する。
【００５７】
図１３は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１３には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００５８】
顔領域ＦＡの検出処理の後、初期位置設定部２３３（図１）は、注目画像ＯＩに対する特徴点ＣＰの初期位置を設定する（ステップＳ３３０）。図１４は、第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、初期位置設定部２３３は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値と、特徴量である形状パラメーターｐ1および形状パラメーターｐ2の値と、を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ４１０）。
【００５９】
図１５は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１５（ａ）および図１５（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。初期位置設定部２３３は、図１５（ａ）および図１５（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００６０】
初期位置設定部２３３は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更すると、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動する。従って、初期位置設定部２３３は、図１５（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、初期位置設定部２３３は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００６１】
また、図１５（ｂ）に示すように、初期位置設定部２３３は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、初期位置設定部２３３は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００６２】
初期位置設定部２３３は、図１５（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１５（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００６３】
初期位置設定部２３３は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ４２０）。図１６は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００６４】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰによって、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ）を結ぶ直線により囲まれた領域である平均形状領域ＢＳＡが特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００６５】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１６には、図１５（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００６６】
初期位置設定部２３３は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４３０）。差分画像Ｉｅは、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）の各画素値の差であり、本実施例では差分値とも呼ぶ。差分画像Ｉｅは、特徴点ＣＰの設定位置が、特徴部位の位置と一致している場合には表れないため、特徴点ＣＰの設定位置と、特徴部位の位置と差異を表している。本実施例では、特徴点ＣＰの仮設定位置は８１種類設定されているため、初期位置設定部２３３は、８１個の差分画像Ｉｅを算出することとなる。
【００６７】
初期位置設定部２３３は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ４４０）。画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により、特徴点ＣＰ初期位置設定処理が完了する。
【００６８】
特徴点ＣＰ初期位置設定処理が完了すると、図１２に戻り、特徴位置検出部２３４（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正を行う（ステップＳ３４０）。図１７は、第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００６９】
特徴位置検出部２３４は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ４２０と同様である。
【００７０】
特徴位置検出部２３４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ５２０）。特徴位置検出部２３４は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ５３０）。特徴位置検出部２３４は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。
【００７１】
なお、特徴位置検出部２３４は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５２０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２３４は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、特徴位置検出部２３４は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００７２】
上記のステップＳ５３０の収束判定において未だ収束していないと判定した場合には、特徴位置検出部２３４は、パラメーター更新量ΔＰを算出する（ステップＳ５４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、ＡＡＭ設定処理により算出されるｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００７３】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７４】
【数３】
【００７５】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー２００に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７６】
【数４】
【数５】
【００７７】
特徴位置検出部２３４は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する（ステップＳ５５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が更新される。特徴位置検出部２３４は、差分画像Ｉｅのノルムが小さくなるように更新する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ５１０）、差分画像Ｉｅの算出（ステップＳ５２０）、差分画像Ｉｅに基づく収束判定（ステップＳ５３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ５４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ５５０）が行われる。
【００７８】
図１７のステップＳ５１０からＳ５５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ５３０）において収束したと判定される。収束判定において収束したと判定されると、目領域検出処理が完了する（ステップＳ５６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。また、特定された特徴点ＣＰから注目画像ＯＩにおける目領域ＥＡが特定される。なお、ステップＳ５１０からＳ５５０までの処理の繰り返しにより、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置と実際の特徴部位の位置とが一致する場合もある。
【００７９】
図１８は、特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。図１８には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また目領域ＥＡが検出される。以上により、特徴点ＣＰ設定位置補正処理が完了する。
【００８０】
特徴点ＣＰ設定位置補正処理が完了すると、図１２に戻り、検出情報算出部２３５（図１）は、検出情報ＤＣＩを更新する（ステップＳ３５０）。本実施例では、検出情報ＤＣＩとして特徴部位信頼度を用いているので、検出情報算出部２３５は、注目画像ＯＩについての特徴部位信頼度を算出する。特徴部位信頼度は、収束した差分画像Ｉｅのノルムに基づき算出される指標であり、検出された特徴部位の位置が真に顔の特徴部位の位置であることの確からしさを表す。目領域検出処理では、顔の特徴部位の位置ではない位置、すなわち、真の顔の特徴部位の位置とまったく重複しない位置や、真の顔の特徴部位の位置の一部と重複するが正確に対応する位置ではない位置が、誤って顔の特徴部位の位置として検出される可能性がある。特徴部位信頼度は、顔の特徴部位の位置の検出が、誤検出ではなく正しい検出であることの確からしさを表している。
【００８１】
図１９は、差分画像のノルムと特徴部位信頼度との関係を例示した説明図である。検出情報算出部２３５は、予め用意された図１９に示す対応図を用いて、差分画像Ｉｅのノルムから特徴部位信頼度を算出する。図１９の対応図を用いることで、特徴部位信頼度の値が０〜１００の範囲となるように差分画像Ｉｅのノルムがスケール変換される。ここで、特徴部位信頼度が０の場合は、顔の特徴部位の位置が正しく検出されていない可能性が高いことを意味し、信頼度が１００の場合は、顔の特徴部位の位置が正しく検出された可能性が高いことを意味する。なお、差分画像Ｉｅのノルムから照明などの影響を取り除くために、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に含まれる各画素の輝度値と平均顔画像Ａ0（ｘ）の画素値（輝度値）の平均値や分散を揃えるように正規化をおこなってもよい。検出情報算出部２３５は、算出した注目画像ＯＩの特徴部位信頼度を内部メモリー２００に格納する。
【００８２】
以上、内部メモリー２００に検出情報ＤＣＩがない場合（ステップＳ３１０：ＮＯ）について説明したが、以下では、ステップＳ３１０において、内部メモリー２００に検出情報ＤＣＩが格納されている場合（ステップＳ３１０：ＹＥＳ）について説明する。処理判定部２３６は、注目画像ＯＩの直前に撮影された被検出画像ＤＩ１についての検出情報ＤＣＩと、予め内部メモリー２００に格納されている第１の閾値ＴＨ１とを比較する（ステップＳ３６０）。
【００８３】
処理判定部２３６は、検出情報ＤＣＩが第１の閾値ＴＨ１以上の場合（ステップＳ３６０：ＹＥＳ）、注目画像ＯＩにおける特徴点ＣＰの初期位置を、被検出画像ＤＩ１において決定された特徴点ＣＰの初期位置に基づいて決定すると判定する（ステップＳ３９０）。検出情報ＤＣＩが第１の閾値ＴＨ１以上である場合、すなわち、特徴部位信頼度が第１の閾値ＴＨ１以上である場合には、被検出画像ＤＩ１において検出された特徴部位の位置が真に顔の特徴部位の位置である可能性が高いため、顔領域ＦＡの検出処理（ステップＳ３２０）、および、特徴点ＣＰ初期位置設定処理（ステップＳ３３０）をおこなわず、被検出画像ＤＩ１において決定された特徴点ＣＰの初期位置に基づいて注目画像ＯＩにおける特徴点ＣＰの初期位置を決定しても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。
【００８４】
図２０は、被検出画像および注目画像における特徴点の初期位置を例示した説明図である。処理判定部２３６による上記判定の後、初期位置設定部２３３は、図２０に示すように、注目画像ＯＩに対して、被検出画像ＤＩ１に設定された特徴点ＣＰの初期位置と同じ座標位置に特徴点ＣＰを設定する。これにより、特徴点ＣＰをつないで形成されるメッシュについても注目画像ＯＩと被検出画像ＤＩ１とで同じ位置および範囲に設定される。特徴位置検出部２３４は、注目画像ＯＩに設定された特徴点ＣＰの設定位置の補正を行い（ステップＳ３４０）、目領域ＥＡを検出する。また、検出情報算出部２３５は、注目画像ＯＩの検出情報ＤＣＩを算出し、内部メモリー２００の検出情報ＤＣＩを更新する（ステップＳ３５０）。
【００８５】
検出情報ＤＣＩが第１の閾値ＴＨ１より小さい場合（ステップＳ３６０：ＮＯ）、すなわち、特徴部位信頼度が第１の閾値ＴＨ１より小さい場合には、さらに、処理判定部２３６は、検出情報ＤＣＩと第２の閾値ＴＨ２とを比較する（ステップＳ３７０）。第２の閾値ＴＨ２は第１の閾値ＴＨ１より小さい値である。検出情報ＤＣＩが第２の閾値ＴＨ２以上の場合（ステップＳ３７０：ＹＥＳ）、処理判定部２３６は、注目画像ＯＩにおける顔領域ＦＡの位置および範囲を注目画像ＯＩの直前に撮影された被検出画像ＤＩ１における顔領域ＦＡの位置および範囲に基づいて設定すると判定する（ステップＳ３８０）。検出情報ＤＣＩが第２の閾値ＴＨ２以上である場合、すなわち、特徴部位信頼度が第２の閾値ＴＨ２以上である場合には、第１の閾値ＴＨ１以上である場合に比べて劣るが、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、顔領域ＦＡの検出処理（ステップＳ３２０）をおこなわず、被検出画像ＤＩ１において設定された顔領域ＦＡの位置および範囲を注目画像ＯＩにおける顔領域ＦＡの位置および範囲としても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。被検出画像ＤＩにおいて設定された顔領域ＦＡは特許請求の範囲における「被検出画像規定領域」に該当する。上記を換言すると、検出情報ＤＣＩが第２の閾値ＴＨ２以上の場合、処理判定部２３６は、被検出画像規定領域に基づいて注目画像規定領域を特定すると判定する。
【００８６】
図２１は、被検出画像および注目画像における顔領域を例示した説明図である。処理判定部２３６による上記判定の後、顔領域検出部２３１は、図２１に示すように、注目画像ＯＩに対して、被検出画像ＤＩ１上において特定された顔領域ＦＡの位置および範囲と同じ位置および範囲を注目画像ＯＩの顔領域ＦＡとして特定する。初期位置設定部２３３は、注目画像ＯＩにおいて特定された顔領域ＦＡに基づいて特徴点ＣＰの初期位置を設定する（ステップＳ３３０）。また、特徴位置検出部２３４は、注目画像ＯＩに設定された特徴点ＣＰの設定位置を補正し（ステップＳ３４０）、目領域ＥＡを検出する。また、検出情報算出部２３５は、注目画像ＯＩの検出情報ＤＣＩを算出し、内部メモリー２００の検出情報ＤＣＩを更新する（ステップＳ３５０）。
【００８７】
検出情報ＤＣＩが第２の閾値ＴＨ２より小さい場合（ステップＳ３７０：ＮＯ）、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は低いため、処理判定部２３６は、顔領域ＦＡの検出処理により注目画像ＯＩの顔領域ＦＡを検出すると判定する。その後、特徴点ＣＰの初期位置設定（ステップＳ３３０）、特徴点ＣＰの設定位置補正（ステップＳ３４０）、内部メモリー２００の検出情報ＤＣＩを更新（ステップＳ３５０）がなされる。以上により、目領域検出処理が完了する。
【００８８】
目領域検出処理が完了すると、図１１に戻り、画像処理部２３０は、目瞑り判定をおこなう（ステップＳ２３０）。目瞑り判定とは、目領域検出処理により検出された注目画像ＯＩの目領域ＥＡに含まれる目画像が目瞑り状態か否についての判定である。具体的には、目状態検出部２３７は、特徴点ＣＰ設定位置補正処理において注目画像ＯＩに含まれる顔の特徴部位の位置が特定された際の平均形状画像Ｉ（Ｗ（ｘ；ｐ））における平均形状目領域ＢＥＡの画素値により構成される画像ベクトルと、目の開閉にほぼ相関するベクトルである第１テクスチャーベクトルＡ’1（ｘ）との内積により、テクスチャーパラメーターλ’1の値を算出する。ここで、算出されるテクスチャーパラメーターλ’1は、第１テクスチャーベクトルＡ’1（ｘ）の係数であり、注目画像ＯＩに含まれる目画像が目瞑り状態か否を表している。
【００８９】
目状態判定部２３８は、算出されたテクスチャーパラメーターλ’1と、予め設定された第３の閾値ＴＨ３とを比較して、目瞑り判定をおこなう。例えば、テクスチャーパラメーターλ’1の値が第３の閾値ＴＨ３より大きい場合には目瞑りと判定し、テクスチャーパラメーターλ’1の値が第３の閾値ＴＨ３以下の場合には目瞑りではないと判定する。以上より、目瞑り判定が完了する。
【００９０】
目瞑り判定が完了すると、居眠り判定部２３９は、居眠り判定をおこなう（ステップＳ２４０）。居眠り判定とは、対象顔が居眠りをしているか否についての判定である。具体的には、居眠り判定部２３９は、図示しないカウンターを備え、被検出画像ＤＩもしくは注目画像ＯＩに対する目瞑り判定において、連続して目瞑り状態であると判定された数をカウントし、カウント数が所定に達した場合、すなわち、連続して目瞑り状態と判定された回数が所定に達した場合に対象顔が居眠りをしていると判定する。ＤＳＣ１００は、居眠り判定部２３９により対象顔が居眠りをしていると判定すると、表示部１１４に居眠りをしていることを表示する。以上により、居眠り判定処理が完了する。
【００９１】
以上説明したように、第１の実施例に係る画像処理装置によれば、目の状態に関連する固有ベクトルと、検出された目領域の画像を変換した変換画像の画像ベクトルと、を用いて目の状態を検出するため、画像に含まれる目の状態を効率的に検出することができる。具体的には、目の開閉にほぼ相関する固有ベクトルである第１テクスチャーベクトルＡ’1（ｘ）と、特徴点ＣＰ設定位置補正処理において注目画像ＯＩに含まれる顔の特徴部位の位置が特定された際の平均形状画像Ｉ（Ｗ（ｘ；ｐ））における平均形状目領域ＢＥＡの画素値により構成される画像ベクトルとの内積から、テクスチャーパラメーターλ’1を算出し、テクスチャーパラメーターλ’1の値により注目画像ＯＩに含まれる目画像が目瞑り状態か否かを検出するため、注目画像ＯＩにおける目の状態を効率的に検出することができる。
【００９２】
第１の実施例に係る画像処理装置によれば、注目画像ＯＩの顔領域ＦＡを、注目画像ＯＩに含まれる顔画像に基づいて検出するか、もしくは、被検出画像の顔領域ＦＡに基づいて特定するかを検出情報ＤＣＩに基づいて判定するため、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、特徴部位信頼度が第２の閾値ＴＨ２以上である場合には、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、被検出画像ＤＩ１において設定された顔領域ＦＡの位置および範囲を注目画像ＯＩにおける顔領域ＦＡの位置および範囲としても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。これにより、顔領域ＦＡの検出処理をおこなう必要がなくなり、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００９３】
第１の実施例に係る画像処理装置によれば、注目画像ＯＩに設定される特徴点ＣＰの初期位置を、注目画像ＯＩの顔領域ＦＡに基づいて決定するか、もしくは、被検出画像の初期位置に基づいて決定するかを検出情報ＤＣＩに基づいて判定するため、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、特徴部位信頼度が第１の閾値ＴＨ１以上である場合には、被検出画像ＤＩ１において検出された特徴部位の位置が真に顔の特徴部位の位置である可能性がさらに高いため、被検出画像ＤＩ１において決定された特徴点ＣＰの初期位置に基づいて注目画像ＯＩにおける特徴点ＣＰの初期位置を決定しても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。これにより、顔領域ＦＡの検出処理、および、特徴点ＣＰ初期位置設定処理をおこなう必要がなくなり、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００９４】
Ｂ．第２実施例：
第１実施例では、ＡＡＭ設定処理において、顔全体についての形状モデルおよびテクスチャーモデルが設定されているが、本実施例では、後述する目画像を含む顔画像の一部の領域（以後「目周辺領域ＥＦＡ」と呼ぶ）の画像についての形状モデルおよびテクスチャーモデルを設定し、この形状モデルおよびテクスチャーモデルを用いて目領域検出処理をおこなう場合について説明する。デジタルスチルカメラ１００の構成は、第１実施例と同様のため説明を省略する。また、本実施例のデジタルスチルカメラ１００による居眠り判定処理において、画像データの生成（ステップＳ２１０）、目瞑り判定（ステップＳ２３０）、居眠り判定（ステップＳ２４０）は第１実施例と同様であるため説明を省略する。
【００９５】
図２２は、第２実施例における目領域検出処理を説明するための説明図である。図２２（ａ）は、第２実施例における顔領域と目周辺領域を例示した説明図である。本実施例では、目周辺領域ＥＦＡは、図２２（ａ）に示すように、顔領域ＦＡの一部であって、顔の特徴部位のうち、眉、目、鼻を含んだ領域として説明する。顔領域ＦＡの検出処理（ステップＳ３２０）において、顔領域検出部２３１は、顔領域ＦＡを検出することにより目周辺領域ＥＦＡを特定する。すなわち、注目画像ＯＩにおける目周辺領域ＥＦＡの位置および範囲は、検出した顔領域ＦＡの注目画像ＯＩにおける位置および範囲に対して予め規定されているため、顔領域ＦＡの検出により目周辺領域ＥＦＡの位置および範囲が一義的に規定される。目周辺領域ＥＦＡの位置および範囲の規定方法については特に限定はなく、例えば、目周辺領域ＥＦＡは、顔領域ＦＡの外周から所定の画素数内側の範囲としてもよいし、顔領域ＦＡの縦横それぞれの画素数に所定の定数を掛けて算出される範囲としてもよい。
【００９６】
図２２（ｂ）は、第２実施例における目周辺領域と特徴点を例示した説明図である。初期位置設定部２３３は、特徴点ＣＰの初期位置を設定（ステップＳ３３０）する際、顔領域ＦＡのかわりに目周辺領域ＥＦＡを用いて特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する。具体的には、目周辺領域ＥＦＡの中央部に目周辺領域ＥＦＡに対応した平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置を設定するとともに、グローバルパラメーターの値を種々変更させて複数の仮設定位置を設定する。このとき設定される特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュは、図２２（ｂ）に示すように、目周辺領域ＥＦＡに対応した平均形状ｓ0を構成するような特徴点ＣＰおよびメッシュとなっている。
【００９７】
すなわち、ＡＡＭ設定処理において、形状モデルを設定する際、目周辺領域ＥＦＡに含まれる特徴部位に対応する特徴点ＣＰの座標ベクトルのみを用いて主成分分析をおこない、式（１）によるモデル化をおこなっている。これにより、目周辺領域ＥＦＡに含まれる特徴部位に対応する特徴点ＣＰのみにより形成される平均形状ｓ0が設定される。この平均形状ｓ0を構成する特徴点ＣＰには、目の輪郭上に設定されている特徴点ＣＰも含まれているため、目領域ＥＡを検出することができる。上述以外の目領域検出処理のステップは、第１実施例と同様であるため説明を省略する。
【００９８】
第２実施例に係る画像処理装置によれば、顔画像の目周辺領域ＥＦＡについての形状モデルおよびテクスチャーモデルを設定するため、画像に含まれる目領域を効率的に検出することができる。具体的には、第２実施例では、顔画像のうち、目周辺領域ＥＦＡについてのみの形状モデルおよびテクスチャーモデルを設定するため、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、座標位置を検出する特徴点ＣＰの数が少なく、検出に必要な処理負荷の軽減を図ることができ、効率的に目領域を検出することができる。
【００９９】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１００】
Ｃ１．変形例１：
第１実施例に係る画像処理装置は、注目画像ＯＩから目領域ＥＡを検出し、目領域に含まれる目画像から目瞑り状態か否かを判定しているが、検出する目の状態については、目瞑りか否かに限られず、例えば、黒目の位置（向き）などについて判定することも可能である。具体的には、黒目の位置に相関するテクスチャーベクトルを設定し、このテクスチャーベクトルと平均形状目領域ＢＥＡの画像ベクトル目との内積により算出されるテクスチャーパラメーターの値により黒目の位置（向き）を判定することができる。また、注目画像から検出する特徴部位は目に限られず、口などほかの器官であってもよい。この場合、例えば、口の開閉状態について判定することができる。
【０１０１】
Ｃ２．変形例２：
第１実施例に係る画像処理装置は、注目画像ＯＩに対する目領域検出処理の処理判定において、検出情報ＤＣＩとして被検出画像ＤＩ１の特徴部位信頼度を用いているが、検出情報ＤＣＩは、これに限られず、例えば被検出画像ＤＩ１と被検出画像ＤＩ２それぞれの特徴部位信頼度の差を検出情報ＤＣＩとしてもよい。この場合、目領域検出処理が成された時間が異なる２つの被検出画像ＤＩにおいて検出された特徴部位信頼度の差が所定値以下の場合には、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第１実施例と同様に、顔領域ＦＡの検出処理、もしくは、顔領域ＦＡの検出処理と特徴点ＣＰ初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【０１０２】
また、検出情報ＤＣＩは、特徴部位信頼度以外であってもよい。例えば、被検出画像ＤＩ１および被検出画像ＤＩ２においてそれぞれ検出された顔の特徴部位の座標位置の差異を検出情報ＤＣＩとしてもよい。座標位置の差異とは、所定の特徴点ＣＰについての被検出画像ＤＩ１における設定位置から被検出画像ＤＩ２における設定位置までの距離であってもよいし、６８箇所すべてのそれぞれの距離の平均値であってもよい。この場合、目領域検出処理が成された時間が異なる２つの被検出画像ＤＩにおいて検出された顔の特徴部位の座標位置の差異が所定以下の場合には、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第１実施例と同様に、顔領域ＦＡの検出処理、もしくは、顔領域ＦＡの検出処理と特徴点ＣＰ初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【０１０３】
Ｃ３．変形例３：
図２３は、変形例における目領域検出処理を説明するための説明図である。図２３（ａ）は、変形例における顔領域と目周辺領域を例示した説明図である。図２３（ｂ）は、変形例における目周辺領域と特徴点を例示した説明図である。第２実施例では、目周辺領域ＥＦＡは、図２２（ａ）に示すように、顔領域ＦＡの一部であって、顔の特徴部位のうち、眉、目、鼻を含む領域として説明したが、目周辺領域ＥＦＡはこれに限られず、目を含んでいれば、例えば、眉や鼻を含んでいなくてもよく、また、図２３（ａ）に示すように、目ごとに設定されていてもよい。目周辺領域ＥＦＡが目ごとに設定される場合には、図２３（ｂ）に示すように、それぞれの目周辺領域ＥＦＡに対して、目周辺領域ＥＦＡに対応した平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置を設定し、特徴部位の検出をおこなう。この場合であっても、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、検出する特徴点ＣＰの数が少なく、検出負荷の軽減を図ることができ、効率的に目領域を検出することができる。また、右目もしくは左目のいずれか一方のみの状態を検出する画像処理装置としても実現することができるほか、左右の目の状態を独立して検出することができるため、ウインクなど左右の目の状態が異なる画像についても検出することができる。
【０１０４】
Ｃ４．変形例４：
本実施例に係る画像処理装置は、目状態判定部２３８および目瞑り判定部２３９を備えているが、目状態判定部２３８、もしくは、目状態判定部２３８および目瞑り判定部２３９を備えていなくてもよい。例えば、目状態判定部２３８を備えていなくても、目状態検出部２３７により算出された目瞑り状態か否を表すテクスチャーパラメーターλ’1の値を表示部１１４に表示する機能を備えたデジタルスチルカメラ１００としても実現でき、また、目瞑りのみを判定する機能を備えたデジタルスチルカメラ１００としても実現することができる。
【０１０５】
Ｃ５．変形例５：
本実施例に係る画像処理装置は、目領域ＥＡを検出し目瞑りの判定および居眠りの判定をおこなっているが、必ずしも目領域ＥＡの検出をおこなう必要はなく、例えば、顔の特徴部位の位置の検出のみをおこなう画像処理装置としても実現することができる。
【０１０６】
Ｃ６．変形例６：
本実施例におけるサンプル画像ＳＩはあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１０７】
また、本実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１０８】
また、本実施例において、平均顔画像Ａ0（ｘ）および、平均目画像Ａ’0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）および、平均目画像Ａ’0（ｘ）は、マスク領域ＭＡを含む必要はなく、平均形状領域ＢＳＡ、もしくは、平均形状目領域ＢＥＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）および、平均目画像Ａ’0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像もしくは基準目画像が用いられるとしてもよい。
【０１０９】
また、本実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１１０】
また、本実施例では、画像生成部２１０により生成された画像データにより表される画像を注目画像ＯＩとしているが、注目画像ＯＩは、例えば、Ｉ／Ｆ部１１２を介して接続されている外部機器から取得した画像であってもよい。また、デジタルスチルカメラ１００は、図示しないカードスロットを備え、メモリーカードから取得した画像を注目画像ＯＩとしてもよい。
【０１１１】
また、本実施例では、画像処理装置としてのデジタルスチルカメラ１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやプリンター、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、本実施例に係る画像処理を用いれば、自動車、鉄道車両、船舶等における居眠り運転を検出し警報を発する目状態検出装置として実現することができる。
【０１１２】
本実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１１３】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【０１１４】
１００…デジタルスチルカメラ
１０２…レンズ
１０４…レンズ駆動部
１０６…レンズ駆動制御部
１０８…撮像素子
１１０…Ａ／Ｄ変換器１１０
１１２…Ｉ／Ｆ部
１１４…表示部
１１６…操作部
１１８…ＣＰＵ
１２２…バス
２００…内部メモリー
２１０…画像生成部
２２０…表示処理部
２３０…画像処理部
２３１…顔領域検出部
２３２…目領域検出部
２３３…初期位置設定部
２３４…特徴位置検出部
２３５…検出情報算出部
２３６…処理判定部
２３７…目状態検出部
２３８…目状態判定部
２３９…居眠り判定部
【技術分野】
【０００１】
本発明は、注目画像に含まれる目画像から所定の目の状態を検出する画像処理装置に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の技術には、画像に含まれる顔の特徴部位の位置の検出に関して、さらなる効率化・高速化の余地があった。
【０００５】
本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。
【０００７】
第１の態様は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える。
【０００８】
第１の態様に係る画像処理装置によれば、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかを検出情報に基づいて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【０００９】
第１の態様に係る画像処理装置において、前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、前記処理判定部は、前記被検出画像の前記特徴部位信頼度が所定値以上である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、特徴部位信頼度を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１０】
第１の態様に係る画像処理装置において、前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、前記処理判定部は、第１の被検出画像における前記特徴部位信頼度と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像における前記特徴部位信頼度との差が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、第１の被検出画像および第２の被検出画像のそれぞれの特徴部位信頼度の差を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１１】
第１の態様に係る画像処理装置において、前記検出情報は、第１の被検出画像において検出された前記特徴部位の座標位置と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像において検出された前記特徴部位の座標位置との差異であり、前記処理判定部は、前記差異が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、第１の被検出画像および第２の被検出画像のそれぞれについて検出された特徴部位の座標位置の差を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１２】
第１の態様に係る画像処理装置において、前記処理判定部は、前記注目画像に設定される前記特徴点の初期位置を、前記注目画像規定領域に基づいて決定するか、もしくは、前記被検出画像に設定された前記特徴点の初期位置に基づいて決定するかを前記検出情報に基づいて判定してもよい。この場合、注目画像における特徴点の初期位置を注目画像規定領域に基づいて決定するか、もしくは、被検出画像の初期位置に基づいて決定するかを検出情報に基づいて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００１３】
第１の態様に係る画像処理装置はさらに、前記特徴位置検出部により検出された前記特徴部位の座標位置に基づいて特定される領域であって、目の画像を少なくとも一部に含む領域である目領域の画像から目の状態を検出する目状態検出部を備えていてもよい。この場合、注目画像に含まれる目の画像からの目の状態を検出する処理の効率化・高速化を図ることができる。
【００１４】
第１の態様に係る画像処理装置において、前記目の状態とは、目を瞑っている状態であってもよい。この場合、注目画像に含まれる目の画像の目を瞑っている状態を検出する処理の効率化・高速化を図ることができる。
【００１５】
第１の態様に係る画像処理装置はさらに、前記目状態検出部による検出結果に基づいて、前記注目画像に含まれる目の画像が目を瞑っている状態か否かを判定する目状態判定部を備えていてもよい。この場合、注目画像に含まれる目の画像の目を瞑っているか否かを判定する処理の効率化・高速化を図ることができる。
【００１６】
第１の態様に係る画像処理装置はさらに、時間的に連続する所定数の注目画像に対して目を瞑っている状態であると前記目状態判定部が判定した場合に、前記注目画像に含まれる顔画像は居眠りをしている状態であると判定する居眠り判定部を備えていてもよい。この場合、注目画像に含まれる顔画像が居眠りをしている状態か否かを判定する処理の効率化・高速化を図ることができる。
【００１７】
なお、本発明は、種々の態様で実現することが可能であり、例えば、プリンター、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、顔の特徴部位の検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施例における画像処理装置としてのデジタルスチルカメラ１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】目状態判定情報設定処理を説明するための説明図である。
【図１１】第１実施例における居眠り検出処理の流れを示すフローチャートである。
【図１２】第１実施例における目領域検出処理の流れを示すフローチャートである。
【図１３】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１４】第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１５】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１６】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１７】第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１８】特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。
【図１９】差分画像のノルムと特徴部位信頼度との関係を例示した説明図である。
【図２０】被検出画像および注目画像における特徴点の初期位置を例示した説明図である。
【図２１】被検出画像および注目画像における顔領域を例示した説明図である。
【図２２】第２実施例における目領域検出処理を説明するための説明図である。
【図２３】変形例における目領域検出処理を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る画像処理装置の一態様であるデジタルスチルカメラについて、図面を参照しつつ、実施例に基づいて説明する。
【００２０】
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのデジタルスチルカメラ１００の構成を概略的に示す説明図である。本実施例のデジタルスチルカメラ（以下「ＤＳＣ」とも呼ぶ）１００は、被写体としての撮像対象物を撮像して被写体画像を表す画像データを生成する撮像装置（画像生成装置）として機能すると共に、生成された画像データに対する画像処理を行う画像処理装置としても機能する。
【００２１】
ＤＳＣ１００は、レンズ１０２と、レンズ１０２を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部１０４と、レンズ駆動部１０４を制御するレンズ駆動制御部１０６と、レンズ１０２を介して受光面に入力された光を電気信号に変換する撮像素子１０８と、撮像素子１０８から出力された電気信号に対するＡ／Ｄ変換を行うＡ／Ｄ変換器１１０と、外部機器との情報のやり取りのためのインターフェース部（Ｉ／Ｆ部）１１２と、液晶ディスプレイにより構成された表示部１１４と、ボタンやタッチパネルにより構成された操作部１１６と、ＤＳＣ１００の各部を制御するＣＰＵ１１８と、ＲＯＭやＲＡＭによって構成された内部メモリー２００と、を備えている。撮像素子１０８は、例えばＣＣＤを用いて構成される。ＤＳＣ１００の各構成要素は、バス１２２を介して双方向通信可能に接続されている。
【００２２】
内部メモリー２００には、画像生成部２１０と、表示処理部２２０と、画像処理部２３０と、が格納されている。画像生成部２１０は、レンズ１０２や撮像素子１０８などを制御して、被写体としての撮像対象物を撮像し、被写体画像を表す画像データを生成するためのコンピュータープログラムである。表示処理部２２０は、表示部１１４を制御して、表示部１１４上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバであり、ＣＰＵ１１８により実行されることで機能を実現する。画像処理部２３０は、所定のオペレーティングシステムの下で、ＣＰＵ１１８により実行されることで居眠り検出処理をおこなうコンピュータープログラムである。居眠り検出処理は、特定の顔画像について居眠りをしているか否かを検出する処理である。居眠り検出処理については、後に詳述する。
【００２３】
画像処理部２３０は、プログラムモジュールとして、顔領域検出部２３１と、目領域検出部２３２と、検出情報算出部２３５と、処理判定部２３６と、目状態検出部２３７と、目状態判定部２３８と、居眠り判定部２３９と、を含んでいる。また、目領域検出部２３２は、初期位置設定部２３３と特徴位置検出部２３４と、を含んでいる。これら各部の機能については、後述の居眠り検出処理の説明において詳述する。
【００２４】
ＣＰＵ１１８は、内部メモリー２００から、これらのプログラム（画像生成部２１０、表示処理部２２０、画像処理部２３０）を読み出して実行することにより、これら各部の機能を実現する。
【００２５】
内部メモリー２００には、また、ＡＡＭ情報ＡＭＩおよび目状態判定情報ＩＪＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の居眠り検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。目状態判定情報ＩＪＩは、後述する目状態検出部２３７による目状態の検出に用いられる。目状態判定情報ＩＪＩの内容については、後述の目状態判定情報設定処理の説明において詳述する。
【００２６】
Ａ２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザによりおこなわれる。
【００２７】
はじめに、ユーザは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２８】
それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００２９】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００３０】
つづいて、ユーザは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００３１】
【数１】
【００３２】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３３】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３４】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではn＝４）の固有ベクトルが、形状ベクトルｓiとして採用される。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。
【００３５】
なお、形状モデル設定ステップ（ステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー２００に格納される。
【００３６】
つづいて、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３７】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３８】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００３９】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける画素値により構成される画像ベクトルに対する主成分分析がおこなわれ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。ここで、画素値とは輝度値であり、画像ベクトルは、輝度値により構成される輝度値ベクトルである。
【００４０】
【数２】
【００４１】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００４２】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４３】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー２００に格納される。
【００４４】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４５】
Ａ３．目状態判定情報設定処理：
目状態判定情報設定処理は、目の画像についてのテクスチャーモデルを設定する処理である。本実施例において、目状態判定情報設定処理についてもＡＡＭ設定処理と同様に、ユーザによりおこなわれる。
【００４６】
図１０は、目状態判定情報設定処理を説明するための説明図である。図１０（ａ）は目領域を例示した説明図である。特徴点ＣＰが設定されたサンプル画像ＳＩ（図４）において、図１０（ａ）に示すように、サンプル画像ＳＩの目の輪郭上に設定されている特徴点ＣＰにより囲まれた領域を「目領域ＥＡ」と呼ぶ。各サンプル画像ＳＩの目領域ＥＡに対して、目領域ＥＡを形成する特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように画像変換（ワープＷ）を行う。ワープＷにより、平均形状ｓ0における特徴点ＣＰの設定位置と等しい位置の特徴点ＣＰに囲まれた領域である平均形状目領域ＢＥＡを含むサンプル目画像ＳＥＩｗが生成される。
【００４７】
図１０（ｂ）は、サンプル目画像を例示した説明図である。図１０（ｂ）に示すように、各サンプル目画像ＳＥＩｗは、平均形状目領域ＢＥＡを内包する矩形枠を外周とし、平均形状目領域ＢＥＡ以外の領域（マスク領域ＭＡ）がマスクされた画像として生成される。平均形状目領域ＢＥＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル目画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４８】
次に、各サンプル目画像ＳＥＩｗの画素群ｘのそれぞれにおける画素値により構成される画像ベクトルに対する主成分分析がおこなわれ、目のテクスチャーが上記の式（２）によりモデル化される。ここで、画素群ｘは、平均形状目領域ＢＥＡに位置する画素の集合である。画素値とは輝度値であり、画像ベクトルは、輝度値により構成される輝度値ベクトルである。なお、ＡＡＭ設定処理で設定されるテクスチャーモデルと区別するために、以後、目状態判定情報設定処理により設定されるテクスチャーモデルには、ダッシュ（’）を付けて説明する。例えば、平均形状目領域ＢＥＡのテクスチャーは、テクスチャーＡ’（ｘ）と呼ぶ。Ａ’0（ｘ）は、平均目画像である。平均目画像Ａ’0（ｘ）は、ワープＷの後のサンプル目画像ＳＥＩｗ（図１０（ｂ）参照）の平均の目の見えが表された画像である。なお、平均目画像Ａ’0（ｘ）は、サンプル目画像ＳＥＩｗと同様に、平均形状目領域ＢＥＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００４９】
目のテクスチャーモデルでは、目の見えを表す目のテクスチャーＡ’（ｘ）が、平均目画像Ａ’0（ｘ）とｍ個のテクスチャーベクトルＡ’i（ｘ）の線形結合との和としてモデル化される。目のテクスチャーモデルにおいてテクスチャーパラメーターλ’iを適切に設定することにより、例えば、目の開閉や、黒目の位置などを変化させた、あらゆる目の画像をテクスチャーＡ’（ｘ）により再現することが可能である。なお、設定された平均目画像Ａ’0（ｘ）およびテクスチャーベクトルＡ’i（ｘ）は、目状態判定情報ＩＪＩ（図１）として内部メモリー２００に格納される。
【００５０】
図１０（ｃ）は、第１テクスチャーベクトルとサンプル目画像との関係を例示した説明図である。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ’1（ｘ）は、目の開閉にほぼ相関するベクトルとなるように、主成分分析の対象とするサンプル目画像ＳＥＩｗが選定されている。具体的には、主成分分析の対象とするサンプル目画像ＳＥＩｗに、目瞑り状態の目画像と目開き状態の目画像を含めることにより、意図的に目の開閉に相関する主成分が形成されるようにしている。これにより、目の開閉にほぼ相関する第１テクスチャーベクトルＡ’1（ｘ）の係数であるテクスチャーパラメーターλ’1の値を変化させることで、図１０（ｃ）に示すように、目画像の目の開閉状態の変化を表現することができる。なお、本実施例では、第１主成分に目の開閉に相関するテクスチャーベクトルが形成されるものとして説明しているが、必ずしも、第１主成分に形成される必要はなく、例えば、第２主成分や第３主成分など、これ以外の主成分として形成されていてもよい。
【００５１】
Ａ４．居眠り検出処理：
図１１は、第１実施例における居眠り検出処理の流れを示すフローチャートである。本実施例における居眠り検出処理は、対象とする顔（以後「対象顔」とも呼ぶ）が居眠りをしている状態を表しているか否かを検出する処理である。具体的には、ＤＳＣ１００は、対象顔を撮影して対象顔を含む画像を表す画像データを生成し、画像データから対象顔が居眠りをしている状態を表しているか否かを検出する。
【００５２】
画像生成部２１０は、居眠り検出処理の対象となる画像データを生成する（ステップＳ２１０）。具体的には、ＤＳＣ１００は、撮影を行う領域を表示部１１４に表示し、ユーザによる操作部１１６の操作を受けて対象顔を含む領域を撮影する。画像生成部２１０は、撮影した対象顔を含む領域の画像データを生成し、内部メモリー２００の所定の領域に格納する。本実施例では、ＤＳＣ１００は、対象顔を所定の時間間隔で連続的に撮影し、それぞれの画像データを生成する。なお、生成した画像データのうち、以下の説明の対象とする画像データを特に注目画像データと呼び、注目画像データにより表される画像を注目画像ＯＩと呼ぶものとする。
【００５３】
ＤＳＣ１００は、目領域検出処理をおこなう（ステップｓ２２０）。目領域検出処理とは、注目画像ＯＩから目領域ＥＡを検出する処理である。図１２は、第１実施例における目領域検出処理の流れを示すフローチャートである。本実施例における目領域検出処理は、ＡＡＭを利用して、注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出し、検出した特徴部位の位置から目領域を特定する。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例における特徴部位の位置の検出は、人物の顔の器官および顔の輪郭における所定位置を表す６８個の特徴点ＣＰの位置を特定することによりおこなう。
【００５４】
本実施例では、注目画像ＯＩより時間的に前に目領域検出処理がなされた画像を被検出画像ＤＩとも呼ぶ。被検出画像ＤＩは、注目画像ＯＩと画像サイズが等しい。被検出画像ＤＩのうち特に、注目画像ＯＩの直前に撮影され、目領域検出処理がなされた画像を被検出画像ＤＩ１とし、被検出画像ＤＩ１の直前に撮影され、目領域検出処理がなされた画像を被検出画像ＤＩ２とする。また、被検出画像ＤＩにおける目領域ＥＡの検出に関連する情報を検出情報ＤＣＩと呼ぶ。本実施例における目領域検出処理は、検出情報ＤＣＩに応じて、被検出画像ＤＩに対する目領域検出処理の検出結果を利用して注目画像ＯＩから目領域ＥＡを検出する。被検出画像ＤＩの検出結果を利用する場合の条件や、利用する検出結果の詳細については後述する。
【００５５】
図１２に示すように、処理判定部２３６は、内部メモリー２００に検出情報ＤＣＩがあるか否かを判定する（ステップＳ３１０）。検出情報ＤＣＩは、既述のとおり、被検出画像ＤＩについての目領域の検出に関連する情報であり、具体的には、目領域検出部２３２が検出した顔の特徴部位の位置が、真の顔の特徴部位の位置である確からしさを表す指標である特徴部位信頼度や、目領域検出処理がなされた時間が異なる２以上の被検出画像ＤＩにおいてそれぞれ検出された顔の特徴部位の座標位置の差異などを含む。本実施例では、検出情報ＤＣＩとして特徴部位信頼度を用いて説明する。
【００５６】
内部メモリー２００に検出情報ＤＣＩがない場合と判定された場合には（ステップＳ３１０：ＮＯ）、顔領域検出部２３１（図１）は、注目画像ＯＩに対して顔領域ＦＡの検出処理をおこなう（ステップＳ３２０）。すなわち、顔領域検出部２３１は、注目画像ＯＩに含まれる顔画像に基づいて、顔画像の少なくとも一部を含む領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。注目画像ＯＩにおいて検出された顔領域ＦＡは、特許請求の範囲における「注目画像規定領域」に該当する。上記を換言すると、内部メモリー２００に検出情報ＤＣＩがない場合には、顔領域検出部２３１は、注目画像ＯＩに含まれる顔画像に基づいて、注目画像規定領域を検出する。
【００５７】
図１３は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１３には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００５８】
顔領域ＦＡの検出処理の後、初期位置設定部２３３（図１）は、注目画像ＯＩに対する特徴点ＣＰの初期位置を設定する（ステップＳ３３０）。図１４は、第１実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、初期位置設定部２３３は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値と、特徴量である形状パラメーターｐ1および形状パラメーターｐ2の値と、を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ４１０）。
【００５９】
図１５は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１５（ａ）および図１５（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。初期位置設定部２３３は、図１５（ａ）および図１５（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００６０】
初期位置設定部２３３は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更すると、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動する。従って、初期位置設定部２３３は、図１５（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、初期位置設定部２３３は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００６１】
また、図１５（ｂ）に示すように、初期位置設定部２３３は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、初期位置設定部２３３は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００６２】
初期位置設定部２３３は、図１５（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１５（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００６３】
初期位置設定部２３３は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ４２０）。図１６は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００６４】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰによって、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ）を結ぶ直線により囲まれた領域である平均形状領域ＢＳＡが特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００６５】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１６には、図１５（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００６６】
初期位置設定部２３３は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４３０）。差分画像Ｉｅは、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）の各画素値の差であり、本実施例では差分値とも呼ぶ。差分画像Ｉｅは、特徴点ＣＰの設定位置が、特徴部位の位置と一致している場合には表れないため、特徴点ＣＰの設定位置と、特徴部位の位置と差異を表している。本実施例では、特徴点ＣＰの仮設定位置は８１種類設定されているため、初期位置設定部２３３は、８１個の差分画像Ｉｅを算出することとなる。
【００６７】
初期位置設定部２３３は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ４４０）。画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により、特徴点ＣＰ初期位置設定処理が完了する。
【００６８】
特徴点ＣＰ初期位置設定処理が完了すると、図１２に戻り、特徴位置検出部２３４（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正を行う（ステップＳ３４０）。図１７は、第１実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００６９】
特徴位置検出部２３４は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ４２０と同様である。
【００７０】
特徴位置検出部２３４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ５２０）。特徴位置検出部２３４は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ５３０）。特徴位置検出部２３４は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。
【００７１】
なお、特徴位置検出部２３４は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５２０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２３４は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、特徴位置検出部２３４は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００７２】
上記のステップＳ５３０の収束判定において未だ収束していないと判定した場合には、特徴位置検出部２３４は、パラメーター更新量ΔＰを算出する（ステップＳ５４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、ＡＡＭ設定処理により算出されるｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００７３】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７４】
【数３】
【００７５】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー２００に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７６】
【数４】
【数５】
【００７７】
特徴位置検出部２３４は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する（ステップＳ５５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が更新される。特徴位置検出部２３４は、差分画像Ｉｅのノルムが小さくなるように更新する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ５１０）、差分画像Ｉｅの算出（ステップＳ５２０）、差分画像Ｉｅに基づく収束判定（ステップＳ５３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ５４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ５５０）が行われる。
【００７８】
図１７のステップＳ５１０からＳ５５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ５３０）において収束したと判定される。収束判定において収束したと判定されると、目領域検出処理が完了する（ステップＳ５６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。また、特定された特徴点ＣＰから注目画像ＯＩにおける目領域ＥＡが特定される。なお、ステップＳ５１０からＳ５５０までの処理の繰り返しにより、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置と実際の特徴部位の位置とが一致する場合もある。
【００７９】
図１８は、特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。図１８には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また目領域ＥＡが検出される。以上により、特徴点ＣＰ設定位置補正処理が完了する。
【００８０】
特徴点ＣＰ設定位置補正処理が完了すると、図１２に戻り、検出情報算出部２３５（図１）は、検出情報ＤＣＩを更新する（ステップＳ３５０）。本実施例では、検出情報ＤＣＩとして特徴部位信頼度を用いているので、検出情報算出部２３５は、注目画像ＯＩについての特徴部位信頼度を算出する。特徴部位信頼度は、収束した差分画像Ｉｅのノルムに基づき算出される指標であり、検出された特徴部位の位置が真に顔の特徴部位の位置であることの確からしさを表す。目領域検出処理では、顔の特徴部位の位置ではない位置、すなわち、真の顔の特徴部位の位置とまったく重複しない位置や、真の顔の特徴部位の位置の一部と重複するが正確に対応する位置ではない位置が、誤って顔の特徴部位の位置として検出される可能性がある。特徴部位信頼度は、顔の特徴部位の位置の検出が、誤検出ではなく正しい検出であることの確からしさを表している。
【００８１】
図１９は、差分画像のノルムと特徴部位信頼度との関係を例示した説明図である。検出情報算出部２３５は、予め用意された図１９に示す対応図を用いて、差分画像Ｉｅのノルムから特徴部位信頼度を算出する。図１９の対応図を用いることで、特徴部位信頼度の値が０〜１００の範囲となるように差分画像Ｉｅのノルムがスケール変換される。ここで、特徴部位信頼度が０の場合は、顔の特徴部位の位置が正しく検出されていない可能性が高いことを意味し、信頼度が１００の場合は、顔の特徴部位の位置が正しく検出された可能性が高いことを意味する。なお、差分画像Ｉｅのノルムから照明などの影響を取り除くために、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に含まれる各画素の輝度値と平均顔画像Ａ0（ｘ）の画素値（輝度値）の平均値や分散を揃えるように正規化をおこなってもよい。検出情報算出部２３５は、算出した注目画像ＯＩの特徴部位信頼度を内部メモリー２００に格納する。
【００８２】
以上、内部メモリー２００に検出情報ＤＣＩがない場合（ステップＳ３１０：ＮＯ）について説明したが、以下では、ステップＳ３１０において、内部メモリー２００に検出情報ＤＣＩが格納されている場合（ステップＳ３１０：ＹＥＳ）について説明する。処理判定部２３６は、注目画像ＯＩの直前に撮影された被検出画像ＤＩ１についての検出情報ＤＣＩと、予め内部メモリー２００に格納されている第１の閾値ＴＨ１とを比較する（ステップＳ３６０）。
【００８３】
処理判定部２３６は、検出情報ＤＣＩが第１の閾値ＴＨ１以上の場合（ステップＳ３６０：ＹＥＳ）、注目画像ＯＩにおける特徴点ＣＰの初期位置を、被検出画像ＤＩ１において決定された特徴点ＣＰの初期位置に基づいて決定すると判定する（ステップＳ３９０）。検出情報ＤＣＩが第１の閾値ＴＨ１以上である場合、すなわち、特徴部位信頼度が第１の閾値ＴＨ１以上である場合には、被検出画像ＤＩ１において検出された特徴部位の位置が真に顔の特徴部位の位置である可能性が高いため、顔領域ＦＡの検出処理（ステップＳ３２０）、および、特徴点ＣＰ初期位置設定処理（ステップＳ３３０）をおこなわず、被検出画像ＤＩ１において決定された特徴点ＣＰの初期位置に基づいて注目画像ＯＩにおける特徴点ＣＰの初期位置を決定しても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。
【００８４】
図２０は、被検出画像および注目画像における特徴点の初期位置を例示した説明図である。処理判定部２３６による上記判定の後、初期位置設定部２３３は、図２０に示すように、注目画像ＯＩに対して、被検出画像ＤＩ１に設定された特徴点ＣＰの初期位置と同じ座標位置に特徴点ＣＰを設定する。これにより、特徴点ＣＰをつないで形成されるメッシュについても注目画像ＯＩと被検出画像ＤＩ１とで同じ位置および範囲に設定される。特徴位置検出部２３４は、注目画像ＯＩに設定された特徴点ＣＰの設定位置の補正を行い（ステップＳ３４０）、目領域ＥＡを検出する。また、検出情報算出部２３５は、注目画像ＯＩの検出情報ＤＣＩを算出し、内部メモリー２００の検出情報ＤＣＩを更新する（ステップＳ３５０）。
【００８５】
検出情報ＤＣＩが第１の閾値ＴＨ１より小さい場合（ステップＳ３６０：ＮＯ）、すなわち、特徴部位信頼度が第１の閾値ＴＨ１より小さい場合には、さらに、処理判定部２３６は、検出情報ＤＣＩと第２の閾値ＴＨ２とを比較する（ステップＳ３７０）。第２の閾値ＴＨ２は第１の閾値ＴＨ１より小さい値である。検出情報ＤＣＩが第２の閾値ＴＨ２以上の場合（ステップＳ３７０：ＹＥＳ）、処理判定部２３６は、注目画像ＯＩにおける顔領域ＦＡの位置および範囲を注目画像ＯＩの直前に撮影された被検出画像ＤＩ１における顔領域ＦＡの位置および範囲に基づいて設定すると判定する（ステップＳ３８０）。検出情報ＤＣＩが第２の閾値ＴＨ２以上である場合、すなわち、特徴部位信頼度が第２の閾値ＴＨ２以上である場合には、第１の閾値ＴＨ１以上である場合に比べて劣るが、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、顔領域ＦＡの検出処理（ステップＳ３２０）をおこなわず、被検出画像ＤＩ１において設定された顔領域ＦＡの位置および範囲を注目画像ＯＩにおける顔領域ＦＡの位置および範囲としても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。被検出画像ＤＩにおいて設定された顔領域ＦＡは特許請求の範囲における「被検出画像規定領域」に該当する。上記を換言すると、検出情報ＤＣＩが第２の閾値ＴＨ２以上の場合、処理判定部２３６は、被検出画像規定領域に基づいて注目画像規定領域を特定すると判定する。
【００８６】
図２１は、被検出画像および注目画像における顔領域を例示した説明図である。処理判定部２３６による上記判定の後、顔領域検出部２３１は、図２１に示すように、注目画像ＯＩに対して、被検出画像ＤＩ１上において特定された顔領域ＦＡの位置および範囲と同じ位置および範囲を注目画像ＯＩの顔領域ＦＡとして特定する。初期位置設定部２３３は、注目画像ＯＩにおいて特定された顔領域ＦＡに基づいて特徴点ＣＰの初期位置を設定する（ステップＳ３３０）。また、特徴位置検出部２３４は、注目画像ＯＩに設定された特徴点ＣＰの設定位置を補正し（ステップＳ３４０）、目領域ＥＡを検出する。また、検出情報算出部２３５は、注目画像ＯＩの検出情報ＤＣＩを算出し、内部メモリー２００の検出情報ＤＣＩを更新する（ステップＳ３５０）。
【００８７】
検出情報ＤＣＩが第２の閾値ＴＨ２より小さい場合（ステップＳ３７０：ＮＯ）、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は低いため、処理判定部２３６は、顔領域ＦＡの検出処理により注目画像ＯＩの顔領域ＦＡを検出すると判定する。その後、特徴点ＣＰの初期位置設定（ステップＳ３３０）、特徴点ＣＰの設定位置補正（ステップＳ３４０）、内部メモリー２００の検出情報ＤＣＩを更新（ステップＳ３５０）がなされる。以上により、目領域検出処理が完了する。
【００８８】
目領域検出処理が完了すると、図１１に戻り、画像処理部２３０は、目瞑り判定をおこなう（ステップＳ２３０）。目瞑り判定とは、目領域検出処理により検出された注目画像ＯＩの目領域ＥＡに含まれる目画像が目瞑り状態か否についての判定である。具体的には、目状態検出部２３７は、特徴点ＣＰ設定位置補正処理において注目画像ＯＩに含まれる顔の特徴部位の位置が特定された際の平均形状画像Ｉ（Ｗ（ｘ；ｐ））における平均形状目領域ＢＥＡの画素値により構成される画像ベクトルと、目の開閉にほぼ相関するベクトルである第１テクスチャーベクトルＡ’1（ｘ）との内積により、テクスチャーパラメーターλ’1の値を算出する。ここで、算出されるテクスチャーパラメーターλ’1は、第１テクスチャーベクトルＡ’1（ｘ）の係数であり、注目画像ＯＩに含まれる目画像が目瞑り状態か否を表している。
【００８９】
目状態判定部２３８は、算出されたテクスチャーパラメーターλ’1と、予め設定された第３の閾値ＴＨ３とを比較して、目瞑り判定をおこなう。例えば、テクスチャーパラメーターλ’1の値が第３の閾値ＴＨ３より大きい場合には目瞑りと判定し、テクスチャーパラメーターλ’1の値が第３の閾値ＴＨ３以下の場合には目瞑りではないと判定する。以上より、目瞑り判定が完了する。
【００９０】
目瞑り判定が完了すると、居眠り判定部２３９は、居眠り判定をおこなう（ステップＳ２４０）。居眠り判定とは、対象顔が居眠りをしているか否についての判定である。具体的には、居眠り判定部２３９は、図示しないカウンターを備え、被検出画像ＤＩもしくは注目画像ＯＩに対する目瞑り判定において、連続して目瞑り状態であると判定された数をカウントし、カウント数が所定に達した場合、すなわち、連続して目瞑り状態と判定された回数が所定に達した場合に対象顔が居眠りをしていると判定する。ＤＳＣ１００は、居眠り判定部２３９により対象顔が居眠りをしていると判定すると、表示部１１４に居眠りをしていることを表示する。以上により、居眠り判定処理が完了する。
【００９１】
以上説明したように、第１の実施例に係る画像処理装置によれば、目の状態に関連する固有ベクトルと、検出された目領域の画像を変換した変換画像の画像ベクトルと、を用いて目の状態を検出するため、画像に含まれる目の状態を効率的に検出することができる。具体的には、目の開閉にほぼ相関する固有ベクトルである第１テクスチャーベクトルＡ’1（ｘ）と、特徴点ＣＰ設定位置補正処理において注目画像ＯＩに含まれる顔の特徴部位の位置が特定された際の平均形状画像Ｉ（Ｗ（ｘ；ｐ））における平均形状目領域ＢＥＡの画素値により構成される画像ベクトルとの内積から、テクスチャーパラメーターλ’1を算出し、テクスチャーパラメーターλ’1の値により注目画像ＯＩに含まれる目画像が目瞑り状態か否かを検出するため、注目画像ＯＩにおける目の状態を効率的に検出することができる。
【００９２】
第１の実施例に係る画像処理装置によれば、注目画像ＯＩの顔領域ＦＡを、注目画像ＯＩに含まれる顔画像に基づいて検出するか、もしくは、被検出画像の顔領域ＦＡに基づいて特定するかを検出情報ＤＣＩに基づいて判定するため、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、特徴部位信頼度が第２の閾値ＴＨ２以上である場合には、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、被検出画像ＤＩ１において設定された顔領域ＦＡの位置および範囲を注目画像ＯＩにおける顔領域ＦＡの位置および範囲としても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。これにより、顔領域ＦＡの検出処理をおこなう必要がなくなり、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００９３】
第１の実施例に係る画像処理装置によれば、注目画像ＯＩに設定される特徴点ＣＰの初期位置を、注目画像ＯＩの顔領域ＦＡに基づいて決定するか、もしくは、被検出画像の初期位置に基づいて決定するかを検出情報ＤＣＩに基づいて判定するため、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、特徴部位信頼度が第１の閾値ＴＨ１以上である場合には、被検出画像ＤＩ１において検出された特徴部位の位置が真に顔の特徴部位の位置である可能性がさらに高いため、被検出画像ＤＩ１において決定された特徴点ＣＰの初期位置に基づいて注目画像ＯＩにおける特徴点ＣＰの初期位置を決定しても、注目画像ＯＩにおける顔の特徴部位に近い位置に特徴点ＣＰを設定することができる。これにより、顔領域ＦＡの検出処理、および、特徴点ＣＰ初期位置設定処理をおこなう必要がなくなり、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００９４】
Ｂ．第２実施例：
第１実施例では、ＡＡＭ設定処理において、顔全体についての形状モデルおよびテクスチャーモデルが設定されているが、本実施例では、後述する目画像を含む顔画像の一部の領域（以後「目周辺領域ＥＦＡ」と呼ぶ）の画像についての形状モデルおよびテクスチャーモデルを設定し、この形状モデルおよびテクスチャーモデルを用いて目領域検出処理をおこなう場合について説明する。デジタルスチルカメラ１００の構成は、第１実施例と同様のため説明を省略する。また、本実施例のデジタルスチルカメラ１００による居眠り判定処理において、画像データの生成（ステップＳ２１０）、目瞑り判定（ステップＳ２３０）、居眠り判定（ステップＳ２４０）は第１実施例と同様であるため説明を省略する。
【００９５】
図２２は、第２実施例における目領域検出処理を説明するための説明図である。図２２（ａ）は、第２実施例における顔領域と目周辺領域を例示した説明図である。本実施例では、目周辺領域ＥＦＡは、図２２（ａ）に示すように、顔領域ＦＡの一部であって、顔の特徴部位のうち、眉、目、鼻を含んだ領域として説明する。顔領域ＦＡの検出処理（ステップＳ３２０）において、顔領域検出部２３１は、顔領域ＦＡを検出することにより目周辺領域ＥＦＡを特定する。すなわち、注目画像ＯＩにおける目周辺領域ＥＦＡの位置および範囲は、検出した顔領域ＦＡの注目画像ＯＩにおける位置および範囲に対して予め規定されているため、顔領域ＦＡの検出により目周辺領域ＥＦＡの位置および範囲が一義的に規定される。目周辺領域ＥＦＡの位置および範囲の規定方法については特に限定はなく、例えば、目周辺領域ＥＦＡは、顔領域ＦＡの外周から所定の画素数内側の範囲としてもよいし、顔領域ＦＡの縦横それぞれの画素数に所定の定数を掛けて算出される範囲としてもよい。
【００９６】
図２２（ｂ）は、第２実施例における目周辺領域と特徴点を例示した説明図である。初期位置設定部２３３は、特徴点ＣＰの初期位置を設定（ステップＳ３３０）する際、顔領域ＦＡのかわりに目周辺領域ＥＦＡを用いて特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する。具体的には、目周辺領域ＥＦＡの中央部に目周辺領域ＥＦＡに対応した平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置を設定するとともに、グローバルパラメーターの値を種々変更させて複数の仮設定位置を設定する。このとき設定される特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュは、図２２（ｂ）に示すように、目周辺領域ＥＦＡに対応した平均形状ｓ0を構成するような特徴点ＣＰおよびメッシュとなっている。
【００９７】
すなわち、ＡＡＭ設定処理において、形状モデルを設定する際、目周辺領域ＥＦＡに含まれる特徴部位に対応する特徴点ＣＰの座標ベクトルのみを用いて主成分分析をおこない、式（１）によるモデル化をおこなっている。これにより、目周辺領域ＥＦＡに含まれる特徴部位に対応する特徴点ＣＰのみにより形成される平均形状ｓ0が設定される。この平均形状ｓ0を構成する特徴点ＣＰには、目の輪郭上に設定されている特徴点ＣＰも含まれているため、目領域ＥＡを検出することができる。上述以外の目領域検出処理のステップは、第１実施例と同様であるため説明を省略する。
【００９８】
第２実施例に係る画像処理装置によれば、顔画像の目周辺領域ＥＦＡについての形状モデルおよびテクスチャーモデルを設定するため、画像に含まれる目領域を効率的に検出することができる。具体的には、第２実施例では、顔画像のうち、目周辺領域ＥＦＡについてのみの形状モデルおよびテクスチャーモデルを設定するため、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、座標位置を検出する特徴点ＣＰの数が少なく、検出に必要な処理負荷の軽減を図ることができ、効率的に目領域を検出することができる。
【００９９】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１００】
Ｃ１．変形例１：
第１実施例に係る画像処理装置は、注目画像ＯＩから目領域ＥＡを検出し、目領域に含まれる目画像から目瞑り状態か否かを判定しているが、検出する目の状態については、目瞑りか否かに限られず、例えば、黒目の位置（向き）などについて判定することも可能である。具体的には、黒目の位置に相関するテクスチャーベクトルを設定し、このテクスチャーベクトルと平均形状目領域ＢＥＡの画像ベクトル目との内積により算出されるテクスチャーパラメーターの値により黒目の位置（向き）を判定することができる。また、注目画像から検出する特徴部位は目に限られず、口などほかの器官であってもよい。この場合、例えば、口の開閉状態について判定することができる。
【０１０１】
Ｃ２．変形例２：
第１実施例に係る画像処理装置は、注目画像ＯＩに対する目領域検出処理の処理判定において、検出情報ＤＣＩとして被検出画像ＤＩ１の特徴部位信頼度を用いているが、検出情報ＤＣＩは、これに限られず、例えば被検出画像ＤＩ１と被検出画像ＤＩ２それぞれの特徴部位信頼度の差を検出情報ＤＣＩとしてもよい。この場合、目領域検出処理が成された時間が異なる２つの被検出画像ＤＩにおいて検出された特徴部位信頼度の差が所定値以下の場合には、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第１実施例と同様に、顔領域ＦＡの検出処理、もしくは、顔領域ＦＡの検出処理と特徴点ＣＰ初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【０１０２】
また、検出情報ＤＣＩは、特徴部位信頼度以外であってもよい。例えば、被検出画像ＤＩ１および被検出画像ＤＩ２においてそれぞれ検出された顔の特徴部位の座標位置の差異を検出情報ＤＣＩとしてもよい。座標位置の差異とは、所定の特徴点ＣＰについての被検出画像ＤＩ１における設定位置から被検出画像ＤＩ２における設定位置までの距離であってもよいし、６８箇所すべてのそれぞれの距離の平均値であってもよい。この場合、目領域検出処理が成された時間が異なる２つの被検出画像ＤＩにおいて検出された顔の特徴部位の座標位置の差異が所定以下の場合には、被検出画像ＤＩにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第１実施例と同様に、顔領域ＦＡの検出処理、もしくは、顔領域ＦＡの検出処理と特徴点ＣＰ初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【０１０３】
Ｃ３．変形例３：
図２３は、変形例における目領域検出処理を説明するための説明図である。図２３（ａ）は、変形例における顔領域と目周辺領域を例示した説明図である。図２３（ｂ）は、変形例における目周辺領域と特徴点を例示した説明図である。第２実施例では、目周辺領域ＥＦＡは、図２２（ａ）に示すように、顔領域ＦＡの一部であって、顔の特徴部位のうち、眉、目、鼻を含む領域として説明したが、目周辺領域ＥＦＡはこれに限られず、目を含んでいれば、例えば、眉や鼻を含んでいなくてもよく、また、図２３（ａ）に示すように、目ごとに設定されていてもよい。目周辺領域ＥＦＡが目ごとに設定される場合には、図２３（ｂ）に示すように、それぞれの目周辺領域ＥＦＡに対して、目周辺領域ＥＦＡに対応した平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置を設定し、特徴部位の検出をおこなう。この場合であっても、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、検出する特徴点ＣＰの数が少なく、検出負荷の軽減を図ることができ、効率的に目領域を検出することができる。また、右目もしくは左目のいずれか一方のみの状態を検出する画像処理装置としても実現することができるほか、左右の目の状態を独立して検出することができるため、ウインクなど左右の目の状態が異なる画像についても検出することができる。
【０１０４】
Ｃ４．変形例４：
本実施例に係る画像処理装置は、目状態判定部２３８および目瞑り判定部２３９を備えているが、目状態判定部２３８、もしくは、目状態判定部２３８および目瞑り判定部２３９を備えていなくてもよい。例えば、目状態判定部２３８を備えていなくても、目状態検出部２３７により算出された目瞑り状態か否を表すテクスチャーパラメーターλ’1の値を表示部１１４に表示する機能を備えたデジタルスチルカメラ１００としても実現でき、また、目瞑りのみを判定する機能を備えたデジタルスチルカメラ１００としても実現することができる。
【０１０５】
Ｃ５．変形例５：
本実施例に係る画像処理装置は、目領域ＥＡを検出し目瞑りの判定および居眠りの判定をおこなっているが、必ずしも目領域ＥＡの検出をおこなう必要はなく、例えば、顔の特徴部位の位置の検出のみをおこなう画像処理装置としても実現することができる。
【０１０６】
Ｃ６．変形例６：
本実施例におけるサンプル画像ＳＩはあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１０７】
また、本実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１０８】
また、本実施例において、平均顔画像Ａ0（ｘ）および、平均目画像Ａ’0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）および、平均目画像Ａ’0（ｘ）は、マスク領域ＭＡを含む必要はなく、平均形状領域ＢＳＡ、もしくは、平均形状目領域ＢＥＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）および、平均目画像Ａ’0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像もしくは基準目画像が用いられるとしてもよい。
【０１０９】
また、本実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１１０】
また、本実施例では、画像生成部２１０により生成された画像データにより表される画像を注目画像ＯＩとしているが、注目画像ＯＩは、例えば、Ｉ／Ｆ部１１２を介して接続されている外部機器から取得した画像であってもよい。また、デジタルスチルカメラ１００は、図示しないカードスロットを備え、メモリーカードから取得した画像を注目画像ＯＩとしてもよい。
【０１１１】
また、本実施例では、画像処理装置としてのデジタルスチルカメラ１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやプリンター、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、本実施例に係る画像処理を用いれば、自動車、鉄道車両、船舶等における居眠り運転を検出し警報を発する目状態検出装置として実現することができる。
【０１１２】
本実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１１３】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【０１１４】
１００…デジタルスチルカメラ
１０２…レンズ
１０４…レンズ駆動部
１０６…レンズ駆動制御部
１０８…撮像素子
１１０…Ａ／Ｄ変換器１１０
１１２…Ｉ／Ｆ部
１１４…表示部
１１６…操作部
１１８…ＣＰＵ
１２２…バス
２００…内部メモリー
２１０…画像生成部
２２０…表示処理部
２３０…画像処理部
２３１…顔領域検出部
２３２…目領域検出部
２３３…初期位置設定部
２３４…特徴位置検出部
２３５…検出情報算出部
２３６…処理判定部
２３７…目状態検出部
２３８…目状態判定部
２３９…居眠り判定部
【特許請求の範囲】
【請求項１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、
前記処理判定部は、前記被検出画像の前記特徴部位信頼度が所定値以上である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、
前記処理判定部は、第１の被検出画像における前記特徴部位信頼度と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像における前記特徴部位信頼度との差が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記検出情報は、第１の被検出画像において検出された前記特徴部位の座標位置と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像において検出された前記特徴部位の座標位置との差異であり、
前記処理判定部は、前記差異が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置において、
前記処理判定部は、前記注目画像に設定される前記特徴点の初期位置を、前記注目画像規定領域に基づいて決定するか、もしくは、前記被検出画像に設定された前記特徴点の初期位置に基づいて決定するかを前記検出情報に基づいて判定する画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置はさらに、
前記特徴位置検出部により検出された前記特徴部位の座標位置に基づいて特定される領域であって、目の画像を少なくとも一部に含む領域である目領域の画像から目の状態を検出する目状態検出部を備える画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記目の状態とは、目を瞑っている状態である画像処理装置。
【請求項８】
請求項７に記載の画像処理装置はさらに、
前記目状態検出部による検出結果に基づいて、前記注目画像に含まれる目の画像が目を瞑っている状態か否かを判定する目状態判定部を備える画像処理装置。
【請求項９】
請求項８に記載の画像処理装置はさらに、
時間的に連続する所定数の注目画像に対して目を瞑っている状態であると前記目状態判定部が判定した場合に、前記注目画像に含まれる顔画像は居眠りをしている状態であると判定する居眠り判定部を備える画像処理装置。
【請求項１０】
注目画像に含まれる顔の特徴部位の座標位置を検出するデジタルカメラであって、
顔を含む領域を撮影して注目画像を生成する撮影部と、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備えるデジタルカメラ。
【請求項１１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理方法であって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する工程と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する工程と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する工程と、を備える画像処理方法。
【請求項１２】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理のためのコンピュータープログラムであって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶機能と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定機能と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出機能と、をコンピューターに実現させるコンピュータープログラム。
【請求項１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、
前記処理判定部は、前記被検出画像の前記特徴部位信頼度が所定値以上である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、
前記処理判定部は、第１の被検出画像における前記特徴部位信頼度と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像における前記特徴部位信頼度との差が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記検出情報は、第１の被検出画像において検出された前記特徴部位の座標位置と、前記第１の被検出画像より時間的に前に前記座標位置の検出がなされた第２の被検出画像において検出された前記特徴部位の座標位置との差異であり、
前記処理判定部は、前記差異が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置において、
前記処理判定部は、前記注目画像に設定される前記特徴点の初期位置を、前記注目画像規定領域に基づいて決定するか、もしくは、前記被検出画像に設定された前記特徴点の初期位置に基づいて決定するかを前記検出情報に基づいて判定する画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置はさらに、
前記特徴位置検出部により検出された前記特徴部位の座標位置に基づいて特定される領域であって、目の画像を少なくとも一部に含む領域である目領域の画像から目の状態を検出する目状態検出部を備える画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記目の状態とは、目を瞑っている状態である画像処理装置。
【請求項８】
請求項７に記載の画像処理装置はさらに、
前記目状態検出部による検出結果に基づいて、前記注目画像に含まれる目の画像が目を瞑っている状態か否かを判定する目状態判定部を備える画像処理装置。
【請求項９】
請求項８に記載の画像処理装置はさらに、
時間的に連続する所定数の注目画像に対して目を瞑っている状態であると前記目状態判定部が判定した場合に、前記注目画像に含まれる顔画像は居眠りをしている状態であると判定する居眠り判定部を備える画像処理装置。
【請求項１０】
注目画像に含まれる顔の特徴部位の座標位置を検出するデジタルカメラであって、
顔を含む領域を撮影して注目画像を生成する撮影部と、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備えるデジタルカメラ。
【請求項１１】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理方法であって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する工程と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する工程と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する工程と、を備える画像処理方法。
【請求項１２】
注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理のためのコンピュータープログラムであって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶機能と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定機能と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出機能と、をコンピューターに実現させるコンピュータープログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−２５０４２０（Ｐ２０１０−２５０４２０Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９６９０１（Ｐ２００９−９６９０１）
【出願日】平成２１年４月１３日（２００９．４．１３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１３日（２００９．４．１３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]