画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
【課題】様々な形状に変化する物体であっても、画像上における物体の形状を高精度に検出する。
【解決手段】画像から物体の部位点を検出する部位点検出装置１であって、画像上に部位点に対する基準点を特定する基準点特定部２３と、基準点に対する複数のサンプリング点毎に、サンプリング点の画素または画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、基準点に対する特徴量群を抽出する特徴量抽出部２６と、複数のサンプリング点の各画素または各画素群から抽出された基準点に対する特徴量群と、基準点に対する部位点の相対位置を示す位置情報との対応関係を示すＬＲＦ関数を参照して、特徴量抽出部２６が抽出した特徴量群に対応する位置情報を特定する位置情報特定部２９と、位置情報特定部２９が特定した位置情報の示す位置を物体の部位点とする部位点特定部３０とを備える。
【解決手段】画像から物体の部位点を検出する部位点検出装置１であって、画像上に部位点に対する基準点を特定する基準点特定部２３と、基準点に対する複数のサンプリング点毎に、サンプリング点の画素または画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、基準点に対する特徴量群を抽出する特徴量抽出部２６と、複数のサンプリング点の各画素または各画素群から抽出された基準点に対する特徴量群と、基準点に対する部位点の相対位置を示す位置情報との対応関係を示すＬＲＦ関数を参照して、特徴量抽出部２６が抽出した特徴量群に対応する位置情報を特定する位置情報特定部２９と、位置情報特定部２９が特定した位置情報の示す位置を物体の部位点とする部位点特定部３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目や口等の物体の輪郭点や特徴点等の部位点を検出するための画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
顔画像から、目や口の輪郭点を検出する技術は、顔認証や表情推定のための前段処理や、似顔絵生成などのアプリケーションに応用できるなどの理由から従来から盛んに研究されている。
【０００３】
例えば、特許文献１には、ユーザから指定された目や口等の中心点を中心として目や口等の探索範囲を設定し、設定した探索範囲内をスキャンして、色成分等に基づいて目領域や口領域等を抽出する技術が記載されている。また、特許文献１には、抽出した目領域や口領域等の左右の端点を特定し、左右の端点に基づいて目領域や口領域等の上下の端点を探索する探索範囲を設定して上下の端点を抽出することが記載されている。
【０００４】
また、特許文献２には、目の輪郭点を抽出する場合、目の左右の端点を基準点とし、基準点に基づいて動的輪郭モデルをフィッティングし、エネルギー最小化により目の輪郭点を抽出することが記載されている。
【０００５】
また、顔画像から目や口の輪郭点を検出する手法として形状モデルやテクスチャモデルに基づくフィッティング手法がある。具体的には、非特許文献１、２および特許文献３、４に記載のＡＳＭ（Active Shape Model）、ＡＡＭ（Active Appearance Model）、ＡＳＡＭ（Active Structure Appearance Model）等のフィッティング手法がある。
【０００６】
ＡＳＭ、ＡＡＭおよびＡＳＡＭの形状モデルとは、顔の形状やテクスチャを少ないパラメータで表現するモデルのことである。これらは顔特徴点座標情報やテクスチャ情報に対して主成分分析を適用し、それによって得られた基底ベクトルのうち固有値の大きいものだけで顔の特徴点座標を表現させたものである。このことは、少ないデータで顔の形状を表現するだけでなく、顔の形状を保つ拘束条件も持つことができる。このモデルをＡＳＭおよびＡＡＭではエネルギー最小化より、ＡＳＡＭではモデルパラメータ誤差算出より顔画像にフィッティングさせることで、顔の特徴点座標を検出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−６９６４号公報（１９９７年１月１０日公開）
【特許文献２】特開２００５−３３９２８８号公報（２００５年１２月８日公開）
【特許文献３】特許第４０９３２７３号公報（２００８年６月４日発行）
【特許文献４】特許第４５０１９３７号公報（２０１０年７月１４日発行）
【非特許文献】
【０００８】
【非特許文献１】T.F. Cootes, et al、「Active Shape Models - Their Training and Application」、CVIU、Vol.6、No.1、p.38-59、１９９５年
【非特許文献２】T.F. Cootes, et al、「Active appearance models」、ECCV’98 Vol.II、Freiburg、Germany、１９９８年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
口の形状や目の形状、またそれらの組合せなどにより、顔の表情は多様に変化し，様々なバリエーションがある。そのため、様々な形状に変化する目や口など物体の形状状態を全て予測することは難しい。それゆえ、上述のような従来技術は、目や口の輪郭点などの形状が大きく変化する物体の輪郭点を高精度に検出することが困難である。
【００１０】
具体的には、特許文献１に記載の技術では、目や口などの形状が想定している以上に変化して目や口などの輪郭点が探索範囲内に収まっていない場合、輪郭点を正しく検出することができない。一方、多様な口の形状や目の形状をカバーするために、探索範囲を広く設定した場合、特許文献１に記載の技術では探索範囲をスキャンして検出しているため、処理負荷が非常に大きくなる。そのため、特許文献１に記載の技術において、探索範囲を広く設定することは実用的でない。よって、特許文献１に記載の技術は、形状が大きく変化する物体の輪郭点を高精度に検出することが困難である。
【００１１】
また、特許文献２に記載の技術では、使用する動的輪郭モデルから、物体の形状がかけ離れている場合、物体の輪郭点の抽出に非常に時間がかかる、もしくは、正しい輪郭点を抽出できない。一方、多様な口の形状や目の形状をカバーするために、様々なモデルを用意した場合、輪郭点の抽出の精度は向上するが、装置が予め記憶するデータサイズが大きくなったり、処理負荷が大きくなったりする。そのため、特許文献２に記載の技術において、様々なモデルを用意することは実用的でない。よって、特許文献２に記載の技術は、形状が大きく変化する物体の輪郭点を高精度に検出することが困難である。
【００１２】
また、ＡＳＭおよびＡＡＭは探索処理に多くの計算時間がかかるという欠点がある。またＡＡＭは個人ごとの形状モデルを用意する必要があり、他人の顔に対するフィッティング精度が低いという問題もある。
【００１３】
また、ＡＳＭおよびＡＡＭに対し高速高精度化を実現できたのが、ＡＳＡＭである。ＡＳＡＭは、表情変化の少ない顔に関しては顔の形状を拘束条件とすることで高精度な検出結果を得ることができる。しかしながら、ＡＳＡＭは、口や目などの開閉状態や形状状態が大きく変化する表情に対しては、高精度に検出することができない。これは、ＡＳＡＭが用いる顔の形状モデルが顔全体の形状を表現したグローバルなモデルであり、目や口など各部位ごとの変化、例えば開閉や形状変化に対する表現を正確にできないためである。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、様々な形状に変化する物体であっても、画像上における物体の形状を高精度に検出するための画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、上記課題を解決するために、画像から物体の部位点を検出する画像処理装置であって、上記画像上に上記部位点に対する基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定する位置情報特定手段と、上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする検出側部位点特定手段とを備えることを特徴としている。
【００１６】
本発明に係る画像処理方法は、上記課題を解決するために、画像から物体の部位点を検出する画像処理方法であって、上記画像上に上記部位点に対する基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出ステップにおいて抽出された特徴量群に対応する位置情報を特定する位置情報特定ステップと、上記位置情報特定ステップにおいて特定された位置情報の示す位置を上記物体の部位点とする部位点特定ステップとを含むことを特徴としている。
【００１７】
上記の構成によれば、上記位置情報特定手段は、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定し、上記検出側部位点特定手段は、上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする。
【００１８】
本発明者らは、画像上において、例えば、目や口などの器官を含む領域から抽出した特徴量群と、画像上の基準点に対する器官の輪郭点や特徴点の相対位置との間に相関関係があることを見出した。この知見に基づき、上記特徴量群と上記位置情報との対応関係を示す対応関係情報を参照することにより、形状が変化する物体であっても、画像上における物体の部位点を高精度に検出できることが可能となった。すなわち、上記画像処理装置および上記画像処理方法は、物体の形状が変化した場合であっても、物体の部位点を高精度に検出できるという効果を奏する。
【００１９】
また、本発明に係る画像処理装置は、上記画像上において、上記部位点が位置すると考えられる領域を含む範囲内に、上記サンプリング点の位置を特定するサンプリング位置特定手段をさらに備えることが好ましい。
【００２０】
また、本発明に係る情報生成装置は、上記課題を解決するために、上記画像処理装置が参照する上記対応関係情報を生成する情報生成装置であって、物体の部位点が撮像されている画像を取得する画像取得手段と、上記画像上に上記部位点に対する上記基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成手段と、上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成手段とを備えることを特徴としている。
【００２１】
また、本発明に係る情報生成方法は、上記課題を解決するために、上記画像処理方法において参照される上記対応関係情報を生成する情報生成方法であって、物体の部位点が撮像されている画像を取得する画像取得ステップと、上記画像上に上記部位点に対する上記基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記基準点特定ステップにおいて特定された基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成ステップと、上記特徴量抽出ステップにおいて抽出された特徴量群と、上記位置情報生成ステップにおいて生成された位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成ステップとを含むことを特徴としている。
【００２２】
上記の構成によれば、上記画像取得手段は、上記物体の部位点が撮像されている画像を取得し、上記基準点特定手段は、上記画像上に上記部位点に対する基準点を特定し、上記特徴量抽出手段は、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出し、上記位置情報生成手段は、上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す位置情報を生成し、上記対応関係情報生成手段は、上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す対応関係情報を生成する。
【００２３】
そのため、上記画像処理装置が参照する対応関係情報を生成することができるという効果を奏する。上述のように、上記特徴量群と上記位置情報との間には対応関係があるため、生成した対応関係情報を使用することにより、物体の部位点を高精度に検出することができる。
【００２４】
また、本発明に係る情報生成装置は、上記対応関係情報生成手段は、回帰分析を用いて上記対応関係情報を生成することが好ましい。
【００２５】
また、本発明に係る情報生成装置は、ユーザからの操作指示を受け付ける入力手段と、上記入力手段に入力された操作指示に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることが好ましい。
【００２６】
また、本発明に係る情報生成装置は、上記画像取得手段は、上記画像と共に、当該画像に対応付けられている、上記部位点の位置を示す部位点位置情報を取得し、上記部位点位置情報の示す位置に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることが好ましい。
【００２７】
なお、上記画像処理装置および上記情報生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置および上記情報生成装置の各手段として動作させることにより、上記画像処理装置および上記情報生成装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００２８】
以上のように、本発明に係る画像処理装置は、上記画像上に上記部位点に対する基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定する位置情報特定手段と、上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする検出側部位点特定手段とを備えている構成である。
【００２９】
また、本発明に係る画像処理方法は、上記画像上に上記部位点に対する基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出ステップにおいて抽出された特徴量群に対応する位置情報を特定する位置情報特定ステップと、上記位置情報特定ステップにおいて特定された位置情報の示す位置を上記物体の部位点とする部位点特定ステップとを含む。
【００３０】
従って、上記画像処理装置および上記画像処理方法は、物体の形状が変化した場合であっても、物体の部位点を高精度に検出できるという効果を奏する。
【００３１】
また、本発明に係る情報生成装置は、物体の部位点が撮像されている画像を取得する画像取得手段と、上記画像上に上記部位点に対する上記基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成手段と、上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成手段とを備えている構成である。
【００３２】
また、本発明に係る情報生成方法は、物体の部位点が撮像されている画像を取得する画像取得ステップと、上記画像上に上記部位点に対する上記基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記基準点特定ステップにおいて特定された基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成ステップと、上記特徴量抽出ステップにおいて抽出された特徴量群と、上記位置情報生成ステップにおいて生成された位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成ステップとを含む。
【００３３】
従って、上記画像処理装置が参照する対応関係情報を生成することができるという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態を示すものであり、部位点検出装置の要部構成を示すブロック図である。
【図２】階層的フィッティングの概要を示す模式図である。
【図３】本発明の実施形態を示すものであり、ＬＲＦ学習装置の要部構成を示すブロック図である。
【図４】基準点特定方法および位置情報生成方法の概要を示す模式図である。
【図５】サンプリング位置特定方法および特徴量抽出方法の概要を示す模式図である。
【図６】位置情報と特徴量群との相関関係を示すＬＲＦ関数の概要を示す模式図である。
【図７】ＬＲＦ学習装置の記憶部に格納されるＬＲＦ関数を含むＬＲＦ情報の一例を示す図である。
【図８】ＬＲＦ関数に対する入力データである特徴量群と出力データである位置情報との対応関係を示す図である。
【図９】ＬＲＦ学習装置が実行するＬＲＦ学習方法の一例を示す図である。
【図１０】ＬＲＦ学習方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【図１１】部位点検出装置が実行する部位点検出方法の一例を示す図である。
【図１２】部位点検出方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【発明を実施するための形態】
【００３５】
〔本発明の概要〕
本発明者らは、画像上において、目や口などの器官を含む領域から抽出した特徴量群と、画像上の基準点を原点とする器官の輪郭点や特徴点の位置との間に相関関係があることを見出した。この知見に基づき、回帰分析により上記特徴量群と上記位置との対応関係を示すモデルを作成し、このモデルを使用した検出方法を発明した。
【００３６】
この検出方法を用いることによって、事前に想定される表情だけでなく、目や口などが極度に開閉するような表情など、様々な条件でも顔や各器官を正確に検出することができる。以下では、本発明者らが発明した検出方法を、Local Regression Fitting（ＬＲＦ）検出方法と称し、上記モデルを作成するための学習方法をＬＲＦ学習方法と称する。
【００３７】
また、本発明者らは、ＬＲＦ検出方法を従来の顔の大局的な形状を捉えるグローバルフィッティングと組み合わせて用いることが顔や各器官を正確に検出することができる最適な手法であることを発案した。具体的には、ＡＳＡＭ等の学習方法に基づくグローバルなモデルを用いて顔の大局的な形状を捉えるグローバルフィッティングと、ＬＲＦ学習方法に基づく顔の器官ごとのローカルなモデルを用いて各器官の詳細な形状をそれぞれ捉えるローカルフィッティング（ＬＲＦ検出方法）とを組み合わせた階層的フィッティングを発案した。
【００３８】
階層的フィッティングは、より詳細には、図２に示すように、まず、グローバルフィッティングによって、こめかみ（２箇所）、左右の眉の眉頭および眉尻、両目の目頭および目尻、鼻孔（２箇所）、口角（２箇所）並びに顎先等を検出する。そして、ＬＲＦ検出方法によって、その他の顔、眉、目、鼻および口の輪郭点を検出する。グローバルフィッティングおよびＬＲＦ検出方法によって検出された輪郭点に基づいて、顔および各器官の輪郭を検出する。
【００３９】
これにより、グローバルモデルが表現できない表情に対しても、高精度に顔の輪郭を検出することができる。さらに、このような階層構造にすることにより、グローバルフィッティングにより大きな誤検出を減らすとともに、ローカルフィッティングにより表情変化した顔画像でも正確に顔輪郭特徴点を検出することが可能である。
【００４０】
以下では、本発明の一実施形態における、ＬＲＦ検出方法により画像上における物体の輪郭点や特徴点等の部位点を検出する部位点検出装置（画像処理装置）と、ＬＲＦ学習手法によりモデルを生成するＬＲＦ学習装置（情報生成装置）とについて図１から図１６に基づいて説明する。なお、以下では、部位点検出装置とＬＲＦ学習装置とがそれぞれ別体の装置として説明するが、部位点検出装置およびＬＲＦ学習装置は一体の装置であってもよい。
【００４１】
〔ＬＲＦ学習装置の構成〕
まず、ＬＲＦ学習装置について図３に基づいて説明する。ＬＲＦ学習装置は、他の装置から取得した画像、または、自装置に搭載されたカメラで撮像した画像において、画像上の基準点に対する物体の部位点の相対位置と、当該部位点に基づく画像上の所定の位置から抽出した特徴量群との対応関係を示すＬＲＦ関数（対応関係情報）を生成する装置である。
【００４２】
ＬＲＦ学習装置は、例えば、ＰＣ、デジタルカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００４３】
本実施形態では、上記対応関係を学習する対象の部位点を有する物体を人間の目や口等としているがこれに限るものではない。例えば、犬や猫等の動物の顔や器官等であってもよいし、携帯電話機やテレビ等であってもよいし、建物や雲等であってもよい。
【００４４】
物体の部位点とは、画像上における物体の領域内の点である。具体的には、例えば物体が目の場合、目の輪郭点や瞳点などである。ここで、ＬＲＦ学習装置が上記対応関係を学習する対象である物体の部位点を学習対象点と称し、学習対象点を有する物体を学習対象物と称する。
【００４５】
図３は、ＬＲＦ学習装置２の要部構成の一例を示すブロック図である。図３に示すように、ＬＲＦ学習装置２は、制御部１６、記憶部１７、画像入力部１３、操作部（入力手段）１４および表示部１５を備えている。なお、ＬＲＦ学習装置２は、他の装置と通信するための通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００４６】
画像入力部１３は、外部の画像提供装置（不図示）から画像を受信するものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、ＰＣ、携帯電話機、ＰＤＡ、ゲーム機、デジタルテレビ、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。なお、ＬＲＦ学習装置２は、画像入力部１３の代わりに、カメラを搭載していてもよい。
【００４７】
操作部１４は、ユーザがＬＲＦ学習装置２に指示信号を入力し、ＬＲＦ学習装置２を操作するためのものである。操作部１４は、キーボード、マウス、キーパッド、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部１４と表示部１５とが一体となっているタッチパネルであってもよい。また、操作部１４は、ＬＲＦ学習装置２と別体のリモートコントローラ等の遠隔制御装置であってもよい。
【００４８】
表示部１５は、制御部１６の指示に従って画像を表示するものである。表示部１５は、制御部１６の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００４９】
制御部１６は、記憶部１７から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ＬＲＦ学習装置２が備える各部を統括的に制御するものである。
【００５０】
本実施形態では、制御部１６は、機能ブロックとして、画像取得部（画像取得手段）２１、領域切り出し部２２、基準点特定部（基準点特定手段）２３、部位点特定部（学習側部位点特定手段）２４、サンプリング位置特定部（サンプリング位置特定手段）２５、特徴量抽出部（特徴量抽出手段）２６、位置情報生成部（位置情報生成手段）２７およびＬＲＦ関数算出部（対応関係情報生成手段）２８を備える構成である。これらの制御部１６の各機能ブロック（２１〜２８）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００５１】
画像取得部２１は、画像入力部１３を介して入力された画像を取得するものである。画像取得部２１は、取得した画像を領域切り出し部２２に出力する。なお、記憶部１７に画像が記憶されている場合、画像取得部２１は、記憶部１７から画像を読み出してもよい。
【００５２】
領域切り出し部２２は、取得した画像から、学習対象点が含まれる領域の画像である学習対象領域画像を所定の学習対象領域画像抽出方法に基づいて抽出するものである。また、領域切り出し部２２は、抽出した学習対象領域画像を所定の正規化方法に基づいて正規化し、正規化画像を生成するものである。領域切り出し部２２は、生成した正規化画像を基準点特定部２３、部位点特定部２４およびサンプリング位置特定部２５に出力する。
【００５３】
具体的には、例えば学習対象物が「目」または「口」の場合、領域切り出し部２２は、取得した画像から、顔画像を抽出し、抽出した顔画像を、例えば、１００画素×１００画素の画像に補正して正規化画像を生成する。
【００５４】
ここで、学習対象領域画像抽出方法および正規化方法は、物体の部位点（学習対象点）毎に予め定められていればよく、具体的な方法は任意でよい。また、以下では、正規化画像の元となる、画像取得部２１が取得した画像を原画像と称する。
【００５５】
基準点特定部２３は、領域切り出し部２２から正規化画像を取得し、所定の基準点特定方法に基づいて取得した正規化画像上の所定の点を基準点として特定するものである。基準点特定部２３は、特定した基準点の正規化画像上における座標である基準座標を位置情報生成部２７に出力する。
【００５６】
具体的には、図４に示すように、例えば学習対象物が「目」の場合、基準点特定部２３は、正規化画像上における目の中心点を基準点として特定する。このとき、基準点特定部２３は、正規化画像を表示部１５に表示して、ユーザに目の中心点を指定するように指示し、ユーザが指定した点を基準点として特定してもよい。また、基準点特定部２３は、領域切り出し部２２が顔画像を抽出する際に特定した目の目頭点および目尻点に基づいて、目頭点および目尻点の中点を基準点として特定してもよい。また、基準点特定部２３は、原画像に対応付けられているメタデータ（基準点位置情報）を参照して、メタデータで示される目の中心点の位置に基づいて、アフィン変換等により基準点を特定してもよい。この場合、ＬＲＦ学習装置２が学習を実行する前に、予め、各原画像に対して、原画像上における目の中心点の位置を特定し、特定した目の中心点の位置を示す情報を含むメタデータを原画像に対応付けておくものとする。なお、メタデータに、目の中心点の位置を示す情報に代えて、目の中心点の位置を特定するための情報（例えば、目頭点、目尻点等）が含まれていてもよい。
【００５７】
なお、基準点は、正規化画像上の点であればどの点でもよい。すなわち、例えば学習対象物が「目」の場合、目頭点または目尻点を基準点としてもよいし、顔の中心点（正規化画像の中心点）を基準点としてもよいし、正規化画像の左上の端点などを基準点としてもよい。
【００５８】
基準点特定方法は、物体の部位点（学習対象点）毎に予め定められていればよく、具体的な方法は任意でよい。
【００５９】
部位点特定部２４は、領域切り出し部２２から正規化画像を取得し、取得した正規化画像上における学習対象点を、操作部１４から入力されたユーザの指示に基づいて特定するものである。部位点特定部２４は、特定した学習対象点の正規化画像上における座標である部位座標を位置情報生成部２７に出力する。
【００６０】
具体的には、例えば学習対象点が目の輪郭点である「上瞼点」の場合、部位点特定部２４は、正規化画像を表示部１５に表示して、ユーザに目の上瞼点を指定するように指示し、ユーザが指定した点を学習対象点として特定する。また、部位点特定部２４は、原画像に対応付けられているメタデータ（部位点位置情報）を参照して、メタデータで示される目の上瞼点の位置に基づいて、アフィン変換等により学習対象点を特定してもよい。この場合、ＬＲＦ学習装置２が学習を実行する前に、予め、各原画像に対して、原画像上における目の上瞼点の位置を特定し、特定した目の上瞼点の位置を示す情報を含むメタデータを原画像に対応付けておくものとする。
【００６１】
図４に示す例では、学習対象点として、上瞼点以外に、下瞼点、目頭点および目尻点が特定されている。なお、上瞼点とは、目の輪郭点が形成する上側の円弧の頂点である。また、下瞼点とは、目の輪郭点が形成する下側の円弧の頂点である。
【００６２】
サンプリング位置特定部２５は、領域切り出し部２２から正規化画像を取得し、所定のサンプリング位置特定方法に基づいて、正規化画像上の所定の範囲内に基準点（部位点）に対する複数のサンプリング点を特定する。ここで、上記所定の範囲をサンプリング範囲と称する。
【００６３】
サンプリング位置特定方法は、物体の部位点（学習対象点）毎に予め定められていればよく、どのような方法であってもよい。
【００６４】
具体的には、サンプリング位置特定部２５が特定するサンプリング点はサンプリング範囲内であればどの点でもよい。例えば、サンプリング位置特定部２５は、サンプリング範囲内の全画素をサンプリング点としてもよい。サンプリング位置特定部２５は、サンプリング範囲内の画素を規則的または不規則的に選択し、選択した画素をサンプリング点としてもよい。また、サンプリング位置特定部２５は、サンプリング範囲を複数のブロックに分割し、ブロックの中心点をサンプリング点としてもよい。
【００６５】
ここで、上記のサンプリング範囲は、正規化画像上において、学習対象点が位置すると考えられる領域を含む範囲であればどのような範囲であってもよい。例えば、学習対象点が位置すると考えられる領域を含むｎ画素×ｍ画素の範囲をサンプリング範囲としてもよい。また、学習対象点が位置すると考えられる領域は、正規化画像上における所定の位置、大きさの領域であってよい。例えば、上瞼点が学習対象点の場合、目頭点および目尻点から目の中心点を特定し、目の中心点から上方の所定の範囲を学習対象点が位置すると考えられる領域としてもよい。
【００６６】
また、学習対象物が位置すると考えられる領域を含む範囲をサンプリング範囲としてもよい。具体的には、図５に示すように、学習対象物が目の場合、正規化画像において、目があると考えられる領域を覆う範囲をサンプリング範囲としてもよく、例えば、上述のように、目頭点および目尻点から目の中心点を特定し、目の中心点を中心とするｉ画素×ｊ画素の範囲をサンプリング範囲としてもよい。
【００６７】
なお、サンプリング範囲の形状は、ｉ画素×ｊ画素のような矩形に限るものではない。サンプリング範囲の形状は任意でよく、例えば、他の多角形や円形であってもよい。図５に示す例では、目があると考えられる領域を覆う範囲をサンプリング範囲としているため、サンプリング範囲の形状は、矩形から四隅が削り取られた形状となっている。
【００６８】
特徴量抽出部２６は、所定の特徴量抽出方法に基づいて、サンプリング位置特定部２５が特定したサンプリング点毎に、サンプリング点の画素またはサンプリング点の画素を含む画素群から特徴量を抽出する。そして、特徴量抽出部２６は、各サンプリング点にそれぞれ対応する複数の特徴量から構成される特徴量群を部位点毎に生成する。
【００６９】
換言すると、特徴量抽出部２６は、部位点に対応する基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出するものである。
【００７０】
ここで、特徴量抽出方法は、物体の部位点（学習対象点）毎に予め定められていればよく、どのような方法であってもよい。
【００７１】
具体的には。特徴量抽出部２６が抽出する特徴量は任意でよい。例えば、輝度値、エッジ情報、周波数特性（Gabor、Haar等）、輝度勾配特徴量（SIFT、HOG等）またはそれらの組み合わせを特徴量としてもよい。
【００７２】
また、特徴量抽出部２６は、サンプリング点の画素を含む画素群から特徴量を抽出する場合、画素群に含まれる全画素の値の平均値または中央値に基づいて特徴量を抽出してもよい。また、この場合、特徴量抽出部２６は、画素群に含まれる１または複数の画素に基づいて特徴量を抽出してもよい。例えば、特徴量抽出部２６は、サンプリング点を中心とする３×３画素の９つの画素を含む画素群から特徴量を抽出する場合、９つの画素の値の平均値または中央値に基づいて特徴量を抽出してもよい。また、特徴量抽出部２６は、９つの画素のうちの１または複数の画素に基づいて特徴量を抽出してもよい。
【００７３】
また、特徴量抽出部２６は、１つのサンプリング点から複数の種類の特徴量を抽出してもよい。例えば、特徴量抽出部２６は、１つのサンプリング点の画素または画素群から、輝度値およびHaar値を特徴量としてそれぞれ抽出してもよい。また、特徴量抽出部２６は、サンプリング点を中心とする３×３画素の画素群から輝度値を特徴量として抽出すると共に、同じサンプリング点を中心とする４×４画素の画素群から輝度値を特徴量として抽出し、２種類の特徴量を抽出してもよい。
【００７４】
図５に示す例では、特徴量抽出部２６は、サンプリング点の各画素からHaar値を特徴量として抽出し、特徴量群を生成している。なお、サンプリング位置特定部２５は、例えば、サンプリング範囲内に数百個のサンプリング点を設定する。すなわち、特徴量抽出部２６は、例えば、数百個の特徴量から成る特徴量群を生成する。
【００７５】
位置情報生成部２７は、基準点特定部２３から基準座標を取得し、部位点特定部２４から部位座標を取得する。そして、位置情報生成部２７は、所定の位置情報生成方法に基づいて、基準点を原点とする学習対象点の位置を示す位置情報を生成するものである。換言すると、位置情報生成部２７は、所定の位置情報生成方法に基づいて、基準点に対する学習対象点の相対位置を示す位置情報を生成する。位置情報生成部２７は、生成した位置情報をＬＲＦ関数算出部２８に出力する。
【００７６】
位置情報は、ｘｙ座標系または極座標系における座標である。また、基準座標および部位座標は、ｘｙ座標系または極座標系のどちらでもよい。
【００７７】
ここで、位置情報生成方法は、物体の部位点（学習対象点）毎に予め定められていればよく、どのような方法であってもよい。
【００７８】
図４に示す例では、位置情報生成部２７は、基準座標および部位座標、並びに、位置情報をｘｙ座標系で表し、部位座標ごとに、部位座標と基準座標との差分を算出し、各学習対象点の位置情報を生成する。すなわち、部位座標を（ａ，ｂ）、基準座標を（ｃ，ｄ）とすると、位置情報（Ｘ，Ｙ）は、（ａ−ｃ，ｂ−ｄ）で算出される。
【００７９】
また、図４では、「LeftＸ」、「LeftＹ」がそれぞれ目尻点の位置情報のｘ座標、ｙ座標を示し、「RightＸ」、「RightＹ」がそれぞれ目頭点の位置情報のｘ座標、ｙ座標を示し、「UpＸ」、「UpＹ」がそれぞれ上瞼点の位置情報のｘ座標、ｙ座標を示し、「DownＸ」、「DownＹ」がそれぞれ下瞼点の位置情報のｘ座標、ｙ座標を示す。
【００８０】
ＬＲＦ関数算出部２８は、１つの画像につき、学習対象点毎に、特徴量抽出部２６から学習対象点に対する特徴量群を取得し、位置情報生成部２７から当該学習対象点に対する位置情報を取得する。そして、ＬＲＦ関数算出部２８は、学習対象点毎に、複数の画像からそれぞれ生成された特徴量群および位置情報に基づいて、当該学習対象点に対する、位置情報と特徴量群との対応関係を示す対応関係情報を生成する。なお、ＬＲＦ関数算出部２８は、対応関係情報を生成する際に、同じ学習対象点に関しては、同一の方法（学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法、特徴量抽出方法および位置情報生成方法が同一）により生成された位置情報および特徴量群を使用するものとする。
【００８１】
具体的には、図６に示すように、ＬＲＦ関数算出部２８は、複数の画像からそれぞれ生成された特徴量群および位置情報をプロットし、回帰分析を用いて、位置情報と特徴量群との相関関係を示すＬＲＦ関数（対応関係情報）を算出する。なお、図６では、説明の便宜のため、平面で示しているが、実際には、高次元であるため特徴量群と位置情報との対応関係、つまり、ＬＲＦ関数は超回帰平面で表されるものである。
【００８２】
また、図６に示す例では、各学習対象点（目尻点、目頭点、上瞼点および下瞼点）が位置すると考えられる領域を全て含むようにサンプリング範囲を設定し、各学習対象点に対して同じ特徴量群を生成し、同じ基準点を用いて各学習対象点の位置情報を生成しているため、各学習対象点の位置情報に対して１つの特徴量群を対応付けている。ただし、これに限るものではなく、各学習対象点に対して、個別に位置情報および特徴量群を生成し、学習対象点ごとにＬＲＦ関数を求めてもよい。
【００８３】
図６に示す例では、特徴量群をＸとすると、位置情報をＹは、Ｙ＝ＡＸ＋Ｂで表される。ここで、例えば、特徴量群Ｘがｋ個のサンプリング点から抽出したｍ個（ｍ＝ｋ×（１つのサンプリング点から抽出される特徴量の種類数））の特徴量から構成されており、位置情報Ｙがｎ個の学習対象点のｘ座標、ｙ座標で構成される場合、特徴量群Ｘ＝（ｘ１，ｘ２，…，ｘｍ）Ｔ、位置情報Ｙ＝（ｙ１，ｙ２，…，ｙ２ｎ）Ｔで表される。この場合、係数Ａは２ｎ×ｍの行列であり、係数Ｂは２ｎ×１の行列で表される。
【００８４】
ここで、ＬＲＦ関数算出部２８がもちいる回帰分析は、重回帰やＣＣＡなど回帰分析であれば何でもよい。また、ＬＲＦ関数算出部２８が求めるＬＲＦ関数は、図６に示すような線形でもよいし、非線形でもよい。
【００８５】
また、ＬＲＦ関数算出部２８は、位置情報と特徴量群との対応関係に基づいて、両者の対応関係を特定する対応関係テーブルを生成してもよい。
【００８６】
ＬＲＦ関数算出部２８は、生成したＬＲＦ関数に、ＬＲＦ関数により対応関係が示される位置の部位点および上記の各方法を対応付けたＬＲＦ情報を記憶部１７に格納する。
【００８７】
記憶部１７は、制御部１６が参照するプログラムやデータ等を格納するものであり、例えば、上記のＬＲＦ情報４１等を格納している。
【００８８】
記憶部１７に格納されているＬＲＦ情報４１について図７に基づいて説明する。図７は、記憶部１７に格納されているＬＲＦ情報４１の一例を示す図である。
【００８９】
図７に示すように、ＬＲＦ情報４１は、部位点と、当該部位点に関するＬＲＦ関数とが対応付けられている情報である。また、ＬＲＦ情報４１は、部位点と、特徴量群および位置情報をそれぞれ生成するための各方法（学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法、特徴量抽出方法および位置情報生成方法）とが対応付けられている情報である。
【００９０】
図７に示す例では、学習対象領域画像抽出方法および正規化方法に関しては、各学習対象点に同じ方法が対応付けられており、その他の方法に関しては、物体毎に、各学習対象点に同じ方法が対応付けられているが、これに限るものではない。学習対象点ごとに、それぞれ異なる方法が対応付けられていてもよい。
【００９１】
また、図７に示す例では、ＬＲＦ関数が部位点毎に対応付けられているがこれに限るものではなく、物体毎にＬＲＦ関数が対応付けられていてもよい。例えば、図７に示す例では、物体毎に、学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法および特徴量抽出方法が同じである。つまり、同じ物体であれば、或る画像から抽出された特徴量群Ｘが部位点に関わらず同じである。この場合、例えば右目に関して、位置情報Ｙ＝（ｙ１，ｙ２，…，ｙ１０）Ｔにおいて、ｙ１〜ｙ１０をそれぞれ上瞼点の位置情報のｘ座標、ｙ座標、下瞼点の位置情報のｘ座標、ｙ座標、目頭点の位置情報のｘ座標、ｙ座標、目尻点の位置情報のｘ座標、ｙ座標、瞳点の位置情報のｘ座標、ｙ座標とすると、右目のＬＲＦ関数をＹ＝ＡＸ＋Ｂとして表すことができる。なお、Ａ＝（Ａ１，Ａ２，…，Ａ５）Ｔ、Ｂ＝（Ｂ１，Ｂ２，…，Ｂ５）Ｔである。
【００９２】
また、図７に示す例では、ＬＲＦ情報４１において、ＬＲＦ関数に各方法が対応付けられているがこれに限るものではない。図７に示す例では、学習時に、ＬＲＦ学習装置が各方法を適宜選択してＬＲＦ関数を生成する場合を示しているが、学習時と検出時において、各部位点毎に、予め定めた方法を各方法に関して使用する場合、部位点検出装置１およびＬＲＦ学習装置２が各部位点毎に予め定めた方法を記憶していればよい（例えば、学習プログラムおよび検出プログラムに組み込まれていればよい）。この場合、ＬＲＦ情報４１において、ＬＲＦ関数に各方法が対応付けられている必要はなく、ＬＲＦ情報４１は、部位点に対応付けられたＬＲＦ関数を示す情報が含まれていればよい。
【００９３】
〔部位点検出装置の構成〕
次に、部位点検出装置について図１に基づいて説明する。部位点検出装置は、ＬＲＦ学習装置が生成したＬＲＦ情報に基づいて、他の装置から取得した画像、または、自装置に搭載されたカメラで撮像した画像から、物体の輪郭点や特徴点等の部位点を検出する装置である。
【００９４】
部位点検出装置は、例えば、デジタルカメラ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００９５】
本実施形態では、検出対象の部位点を有する物体を人間の目や口等としているがこれに限るものではない。例えば、犬や猫等の動物の顔や器官等であってもよいし、携帯電話機やテレビ等であってもよいし、建物や雲等であってもよい。ここで、部位点検出装置が上記検出対象の部位点を検出対象点と称し、検出対象点を有する物体を検出対象物と称する。
【００９６】
図１は、部位点検出装置１の要部構成の一例を示すブロック図である。図１に示すように、部位点検出装置１は、制御部１１、記憶部１２、画像入力部１３、操作部（入力手段）１４および表示部１５を備えている。なお、部位点検出装置１は、他の装置と通信するための通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００９７】
なお、説明の便宜上、ＬＲＦ学習装置２に含まれる部材と同一の機能を有する部材には、同一の符号を付し、その説明を一部省略する。
【００９８】
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、ＬＲＦ学習装置が生成したＬＲＦ情報４１等を格納している。記憶部１２に格納されているＬＲＦ情報４１は、例えば、図７に示すようなデータであってよい。
【００９９】
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、部位点検出装置１が備える各部を統括的に制御するものである。
【０１００】
本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、領域切り出し部２２、基準点特定部２３、サンプリング位置特定部（サンプリング位置特定手段）２５、特徴量抽出部２６、位置情報特定部（位置情報特定手段）２９および部位点特定部（検出側部位点特定手段）３０を備える構成である。これらの制御部１１の各機能ブロック（２１〜２３、２５、２６、２９、３０）は、ＣＰＵが、ＲＯＭ等で実現された記憶装置に記憶されているプログラムをＲＡＭ等で実現された一時記憶部に読み出して実行することで実現できる。
【０１０１】
画像取得部２１は、画像入力部１３を介して入力された画像を取得するものである。画像取得部２１は、取得した画像を領域切り出し部２２に出力する。
【０１０２】
領域切り出し部２２は、記憶部１２からＬＲＦ情報４１を読み出し、ＬＲＦ情報４１において検出対象点に対応付けられている学習対象領域画像抽出方法に基づいて、取得した画像から、検出対象点が含まれる領域の画像である検出対象領域画像を抽出するものである。
【０１０３】
また、領域切り出し部２２は、ＬＲＦ情報４１において検出対象点に対応付けられている正規化方法に基づいて、抽出した検出対象領域画像を正規化し、正規化画像を生成するものである。領域切り出し部２２は、生成した正規化画像を基準点特定部２３およびサンプリング位置特定部２５に出力する。
【０１０４】
基準点特定部２３は、記憶部１２からＬＲＦ情報４１を読み出し、領域切り出し部２２から正規化画像を取得する。そして、基準点特定部２３は、ＬＲＦ情報４１において検出対象点に対応付けられている基準点特定方法に基づいて、取得した正規化画像上の所定の点を基準点として特定するものである。基準点特定部２３は、特定した基準点の正規化画像上における座標である基準座標を部位点特定部３０に出力する。
【０１０５】
サンプリング位置特定部２５は、記憶部１２からＬＲＦ情報４１を読み出し、領域切り出し部２２から正規化画像を取得し、ＬＲＦ情報４１において検出対象点に対応付けられているサンプリング位置特定方法に基づいて、正規化画像上の所定の範囲内に基準点（部位点）に対する複数のサンプリング点を特定する。
【０１０６】
特徴量抽出部２６は、記憶部１２からＬＲＦ情報４１を読み出し、ＬＲＦ情報４１において検出対象点に対応付けられている特徴量抽出方法に基づいて、基準点に対するサンプリング点毎に、サンプリング点の画素またはサンプリング点の画素を含む画素群から特徴量を抽出する。そして、特徴量抽出部２６は、各サンプリング点にそれぞれ対応する複数の特徴量から構成される特徴量群を生成する。
【０１０７】
位置情報特定部２９は、記憶部１２からＬＲＦ情報４１を読み出し、ＬＲＦ情報４１において検出対象点に対応付けられているＬＲＦ関数に基づいて、特徴量抽出部２６が生成した特徴量群に対応する位置情報を特定するものである。位置情報特定部２９は、特定した位置情報を部位点特定部３０に出力する。
【０１０８】
具体的には、図８に示すように、位置情報特定部２９は、特徴量抽出部２６が生成した特徴量群を入力値としてＬＲＦ関数に与え、その出力結果を位置情報とする。
【０１０９】
部位点特定部３０は、基準点特定部２３から基準座標を取得し、位置情報特定部２９から位置情報を取得する。そして、部位点特定部３０は、正規化画像において、基準座標が示す点を原点とする位置情報が示す位置を検出対象点として特定するものである。
【０１１０】
〔ＬＲＦ学習方法〕
次に、ＬＲＦ学習装置２が実行するＬＲＦ学習方法について、図９および図１０に基づいて説明する。図９は、ＬＲＦ学習装置２が実行するＬＲＦ学習方法の一例を示す図である。図１０は、ＬＲＦ学習方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【０１１１】
図９および図１０に示す例では、人間の顔の両目および口の輪郭点に対するＬＲＦ関数を生成するものとする。具体的には、右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点を学習対象点とする。なお、上唇（下唇）の上中点とは、上唇（下唇）の中央の上側の輪郭点であり、上唇（下唇）の下中点とは、上唇（下唇）の中央の下側の輪郭点である。
【０１１２】
また、図９および図１０に示す例では、右目、左目および口の中央点をそれぞれの基準点とする。また、サンプリング範囲は、右目、左目および口をそれぞれ覆う範囲に設定する。具体的には、右目、左目および口の中央点（基準点）を中心とした所定範囲をサンプリング範囲とする。
【０１１３】
図９に示すように、まず、画像取得部２１は、画像入力部１３を介して入力された画像を取得する（Ｓ１）。このときの状態を、図１０の状態１に示す。
【０１１４】
次に、領域切り出し部２２は、画像取得部２１が取得した画像から、学習対象領域画像抽出方法「G001」（例えば、従来の顔検出方法または顔器官点検出方法）に基づいて、顔画像を検出する（Ｓ２）。このときの状態を、図１０の状態２に示す。状態２では、検出された顔画像が四角の線で囲われており、検出された顔器官点が白点で示されている。
【０１１５】
そして、領域切り出し部２２は、正規化方法「H001」に基づいて、検出した顔画像を切り出し、切り出した顔画像を正規化して正規化画像を生成する（Ｓ３）。このときの状態を、図１０の状態３に示す。
【０１１６】
次に、基準点特定部２３は、基準点特定方法「I001」、「I002」、「I003」にそれぞれ基づいて、正規化画像上における右目、左目および口の基準点を特定する（Ｓ４）。このときの状態を、図１０の状態４に示す。上述のように、状態４では、左右の目の中心および口の中心にそれぞれの基準点が設定されている。
【０１１７】
次に、部位点特定部２４は、正規化画像上において、右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点を学習対象点として特定する（Ｓ５）。このときの状態を、図１０の状態５に示す。
【０１１８】
次に、サンプリング位置特定部２５は、サンプリング位置特定方法「J001」、「J002」、「J003」にそれぞれ基づいて、正規化画像上の各サンプリング範囲内にそれぞれ複数のサンプリング点を特定する（Ｓ６）。そして、特徴量抽出部２６は、特徴量抽出方法「K001」、「K002」、「K003」にそれぞれ基づいて、左右の目および口の各サンプリング点の画素または画素群からそれぞれ特徴量群を抽出する（Ｓ７）。このときの状態を、図１０の状態６に示す。上述のように、状態６では、左右の目および口をそれぞれ覆うように、各器官の中心点を中心とする所定の位置にサンプリング点が設定されている。すなわち、ここでは、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点に対する特徴量群との３つの特徴量群が生成される。換言すると、右目、左目および口の各基準点（中心点）に対して、それぞれ３つの特徴量群が生成される。
【０１１９】
次に、位置情報生成部２７は、位置情報生成方法「L001」、「L002」、「L003」にそれぞれ基づいて、基準点を原点とする学習対象点の位置を示す位置情報を学習対象点毎に生成する（Ｓ８）。このときの状態を、図１０の状態７に示す。
【０１２０】
以上の処理を複数の画像に対して行い、画像毎に、各学習対象点に対する特徴量群および位置情報を生成する。
【０１２１】
ＬＲＦ関数算出部２８は、回帰分析を用いて、複数組の位置情報および特徴量群から、各学習対象点に対するＬＲＦ関数をそれぞれ生成する（Ｓ９）。そして、ＬＲＦ関数算出部２８は、生成した各学習対象点に対するＬＲＦ関数に、それぞれ、使用した各方法（学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法、特徴量抽出方法および位置情報生成方法）を対応付けてＬＲＦ情報４１を生成し、記憶部１２に格納する。
【０１２２】
〔部位点検出方法〕
次に、部位点検出装置１が実行する部位点検出方法について、図１１および図１２に基づいて説明する。図１１は、部位点検出装置１が実行する部位点検出方法の一例を示す図である。図１２は、部位点検出方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【０１２３】
図１１および図１２に示す例では、部位点検出装置１の記憶部１２に図７に示すＬＲＦ情報４１が格納されているものとする。また、ここでは、人間の顔の右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点を検出するものとする。
【０１２４】
図１１に示すように、まず、画像取得部２１は、画像入力部１３を介して入力された画像を取得する（Ｓ１１）。このときの状態を、図１２の状態１１に示す。
【０１２５】
次に、領域切り出し部２２は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、各検出対象点には、全て同じ学習対象領域画像抽出方法「G001」および正規化方法「H001」が対応付けられている。そのため、領域切り出し部２２は、学習対象領域画像抽出方法「G001」に基づいて、画像取得部２１が取得した画像から、画像を切り出す（Ｓ１２）。このときの状態を、図１２の状態１２に示す。状態１２では、顔画像および顔器官点が検出され、検出された顔画像が四角の線で囲われており、検出された顔器官点が白点で示されている。
【０１２６】
そして、領域切り出し部２２は、検出した顔画像を切り出し、正規化方法「H001」に基づいて切り出した顔画像を正規化して正規化画像を生成する（Ｓ１３）。このときの状態を、図１２の状態１３に示す。
【０１２７】
次に、基準点特定部２３は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じ基準点特定方法「I001」、「I002」、「I003」がそれぞれ対応付けられている。そのため、基準点特定部２３は、正規化画像上に、右目の検出対象点の基準点を基準点特定方法「I001」に基づいて特定し、左目の検出対象点の基準点を基準点特定方法「I002」に基づいて特定し、口の検出対象点の基準点を基準点特定方法「I003」に基づいて特定する（Ｓ１４）。このときの状態を、図１２の状態１４に示す。図示のように、状態１４では、右目、左目、口のそれぞれ中心点が基準点として特定されている。
【０１２８】
次に、サンプリング位置特定部２５は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じサンプリング位置特定方法「J001」、「J002」、「J003」がそれぞれ対応付けられている。そのため、サンプリング位置特定部２５は、正規化画像上において、右目の検出対象点のサンプリング点をサンプリング位置特定方法「J001」に基づいて特定し、左目の検出対象点のサンプリング点をサンプリング位置特定方法「J002」に基づいて特定し、口の検出対象点のサンプリング点をサンプリング位置特定方法「J003」に基づいて特定する（Ｓ１５）。
【０１２９】
このときの状態を、図１２の状態１５に示す。図示のように、状態１５では、左右の目および口をそれぞれ覆うように、各器官の基準点を中心とする所定の範囲にサンプリング点が設定されている。
【０１３０】
そして、特徴量抽出部２６は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じ特徴量抽出方法「K001」、「K002」、「K003」がそれぞれ対応付けられている。そのため、特徴量抽出部２６は、右目の検出対象点のサンプリング点の画素または画素群から、右目の検出対象点の特徴量群を特徴量抽出方法「K001」に基づいて抽出し、左目の検出対象点のサンプリング点の画素または画素群から、左目の検出対象点の特徴量群を特徴量抽出方法「K002」に基づいて抽出し、口の検出対象点のサンプリング点の画素または画素群から、口の検出対象点の特徴量群を特徴量抽出方法「K003」に基づいて抽出する（Ｓ１６）。
【０１３１】
すなわち、ここでは、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点に対する特徴量群との３つの特徴量群が生成される。換言すると、右目、左目および口の各基準点（中心点）に対して、それぞれ３つの特徴量群が生成される。
【０１３２】
次に、位置情報特定部２９は、記憶部１２からＬＲＦ情報４１を読み出す。そして、位置情報特定部２９は、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対応付けられているＬＲＦ関数に、これらの検出対象点に対する特徴量群をそれぞれ入力して、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報をそれぞれ特定する。また、位置情報特定部２９は、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対応付けられているＬＲＦ関数に、これらの検出対象点に対する特徴量群をそれぞれ入力して、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報をそれぞれ特定する。また、位置情報特定部２９は、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点に対応付けられているＬＲＦ関数に、これらの検出対象点に対する特徴量群をそれぞれ入力して、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点の位置情報をそれぞれ特定する（Ｓ１７）。
【０１３３】
最後に、部位点特定部３０は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じ位置情報生成方法「L001」、「L002」、「L003」がそれぞれ対応付けられている。そのため、部位点特定部３０は、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報から、位置情報生成方法「L001」に基づいて、これらの検出対象点の正規化画像上における座標をそれぞれ特定し、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報から、位置情報生成方法「L002」に基づいて、これらの検出対象点の正規化画像上における座標をそれぞれ特定し、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点の位置情報から、位置情報生成方法「L003」に基づいて、これらの検出対象点の正規化画像上における座標をそれぞれ特定する（Ｓ１８）。
【０１３４】
例えば、右目の目尻点について、右目の基準点（中心点）のＸ座標値、Ｙ座標値に、目尻点の位置情報の示すＸ座標値、Ｙ座標値の差分値をそれぞれ加算する。この加算して求めた値であるＸ座標値、Ｙ座標値が、目尻点の正規化画像上における座標値である。右目の他の部位点、並びに、左目の各部位点および口の各部位点に対しても同様の処理を行い、正規化画像上における右目、左目および口の各部位点の座標を特定する。
【０１３５】
このときの状態を、図１２の状態１６に示す。図示のように、状態１６では、右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点の正規化画像上における位置（座標）が特定されている。
【０１３６】
そして、正規化画像上における各部位点の座標値から、例えば、アフィン変換等により、原画像上における各部位点の座標値を算出して、原画像上における各部位点の座標を特定する。
【０１３７】
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３８】
最後に、部位点検出装置１およびＬＲＦ学習装置２の各ブロック、特に制御部１１および制御部１６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３９】
すなわち、部位点検出装置１およびＬＲＦ学習装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである部位点検出装置１およびＬＲＦ学習装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、部位点検出装置１およびＬＲＦ学習装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１４０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１４１】
また、部位点検出装置１およびＬＲＦ学習装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１４２】
本発明は、画像上の物体の所定の部位点を検出する画像処理装置に利用することができる。より好ましくは、形状が多様に変化する物体の所定の部位点を画像から検出する画像処理装置に利用することができる。
【符号の説明】
【０１４３】
１ 部位点検出装置（画像処理装置）
２ ＬＲＦ学習装置（情報生成装置）
１４ 操作部（入力手段）
２１ 画像取得部（画像取得手段）
２３ 基準点特定部（基準点特定手段）
２４ 部位点特定部（学習側部位点特定手段）
２５ サンプリング位置特定部（サンプリング位置特定手段）
２６ 特徴量抽出部（特徴量抽出手段）
２７ 位置情報生成部（位置情報生成手段）
２８ ＬＲＦ関数算出部（対応関係情報生成手段）
２９ 位置情報特定部（位置情報特定手段）
３０ 部位点特定部（検出側部位点特定手段）
【技術分野】
【０００１】
本発明は、目や口等の物体の輪郭点や特徴点等の部位点を検出するための画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
顔画像から、目や口の輪郭点を検出する技術は、顔認証や表情推定のための前段処理や、似顔絵生成などのアプリケーションに応用できるなどの理由から従来から盛んに研究されている。
【０００３】
例えば、特許文献１には、ユーザから指定された目や口等の中心点を中心として目や口等の探索範囲を設定し、設定した探索範囲内をスキャンして、色成分等に基づいて目領域や口領域等を抽出する技術が記載されている。また、特許文献１には、抽出した目領域や口領域等の左右の端点を特定し、左右の端点に基づいて目領域や口領域等の上下の端点を探索する探索範囲を設定して上下の端点を抽出することが記載されている。
【０００４】
また、特許文献２には、目の輪郭点を抽出する場合、目の左右の端点を基準点とし、基準点に基づいて動的輪郭モデルをフィッティングし、エネルギー最小化により目の輪郭点を抽出することが記載されている。
【０００５】
また、顔画像から目や口の輪郭点を検出する手法として形状モデルやテクスチャモデルに基づくフィッティング手法がある。具体的には、非特許文献１、２および特許文献３、４に記載のＡＳＭ（Active Shape Model）、ＡＡＭ（Active Appearance Model）、ＡＳＡＭ（Active Structure Appearance Model）等のフィッティング手法がある。
【０００６】
ＡＳＭ、ＡＡＭおよびＡＳＡＭの形状モデルとは、顔の形状やテクスチャを少ないパラメータで表現するモデルのことである。これらは顔特徴点座標情報やテクスチャ情報に対して主成分分析を適用し、それによって得られた基底ベクトルのうち固有値の大きいものだけで顔の特徴点座標を表現させたものである。このことは、少ないデータで顔の形状を表現するだけでなく、顔の形状を保つ拘束条件も持つことができる。このモデルをＡＳＭおよびＡＡＭではエネルギー最小化より、ＡＳＡＭではモデルパラメータ誤差算出より顔画像にフィッティングさせることで、顔の特徴点座標を検出する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−６９６４号公報（１９９７年１月１０日公開）
【特許文献２】特開２００５−３３９２８８号公報（２００５年１２月８日公開）
【特許文献３】特許第４０９３２７３号公報（２００８年６月４日発行）
【特許文献４】特許第４５０１９３７号公報（２０１０年７月１４日発行）
【非特許文献】
【０００８】
【非特許文献１】T.F. Cootes, et al、「Active Shape Models - Their Training and Application」、CVIU、Vol.6、No.1、p.38-59、１９９５年
【非特許文献２】T.F. Cootes, et al、「Active appearance models」、ECCV’98 Vol.II、Freiburg、Germany、１９９８年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
口の形状や目の形状、またそれらの組合せなどにより、顔の表情は多様に変化し，様々なバリエーションがある。そのため、様々な形状に変化する目や口など物体の形状状態を全て予測することは難しい。それゆえ、上述のような従来技術は、目や口の輪郭点などの形状が大きく変化する物体の輪郭点を高精度に検出することが困難である。
【００１０】
具体的には、特許文献１に記載の技術では、目や口などの形状が想定している以上に変化して目や口などの輪郭点が探索範囲内に収まっていない場合、輪郭点を正しく検出することができない。一方、多様な口の形状や目の形状をカバーするために、探索範囲を広く設定した場合、特許文献１に記載の技術では探索範囲をスキャンして検出しているため、処理負荷が非常に大きくなる。そのため、特許文献１に記載の技術において、探索範囲を広く設定することは実用的でない。よって、特許文献１に記載の技術は、形状が大きく変化する物体の輪郭点を高精度に検出することが困難である。
【００１１】
また、特許文献２に記載の技術では、使用する動的輪郭モデルから、物体の形状がかけ離れている場合、物体の輪郭点の抽出に非常に時間がかかる、もしくは、正しい輪郭点を抽出できない。一方、多様な口の形状や目の形状をカバーするために、様々なモデルを用意した場合、輪郭点の抽出の精度は向上するが、装置が予め記憶するデータサイズが大きくなったり、処理負荷が大きくなったりする。そのため、特許文献２に記載の技術において、様々なモデルを用意することは実用的でない。よって、特許文献２に記載の技術は、形状が大きく変化する物体の輪郭点を高精度に検出することが困難である。
【００１２】
また、ＡＳＭおよびＡＡＭは探索処理に多くの計算時間がかかるという欠点がある。またＡＡＭは個人ごとの形状モデルを用意する必要があり、他人の顔に対するフィッティング精度が低いという問題もある。
【００１３】
また、ＡＳＭおよびＡＡＭに対し高速高精度化を実現できたのが、ＡＳＡＭである。ＡＳＡＭは、表情変化の少ない顔に関しては顔の形状を拘束条件とすることで高精度な検出結果を得ることができる。しかしながら、ＡＳＡＭは、口や目などの開閉状態や形状状態が大きく変化する表情に対しては、高精度に検出することができない。これは、ＡＳＡＭが用いる顔の形状モデルが顔全体の形状を表現したグローバルなモデルであり、目や口など各部位ごとの変化、例えば開閉や形状変化に対する表現を正確にできないためである。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、様々な形状に変化する物体であっても、画像上における物体の形状を高精度に検出するための画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、上記課題を解決するために、画像から物体の部位点を検出する画像処理装置であって、上記画像上に上記部位点に対する基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定する位置情報特定手段と、上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする検出側部位点特定手段とを備えることを特徴としている。
【００１６】
本発明に係る画像処理方法は、上記課題を解決するために、画像から物体の部位点を検出する画像処理方法であって、上記画像上に上記部位点に対する基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出ステップにおいて抽出された特徴量群に対応する位置情報を特定する位置情報特定ステップと、上記位置情報特定ステップにおいて特定された位置情報の示す位置を上記物体の部位点とする部位点特定ステップとを含むことを特徴としている。
【００１７】
上記の構成によれば、上記位置情報特定手段は、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定し、上記検出側部位点特定手段は、上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする。
【００１８】
本発明者らは、画像上において、例えば、目や口などの器官を含む領域から抽出した特徴量群と、画像上の基準点に対する器官の輪郭点や特徴点の相対位置との間に相関関係があることを見出した。この知見に基づき、上記特徴量群と上記位置情報との対応関係を示す対応関係情報を参照することにより、形状が変化する物体であっても、画像上における物体の部位点を高精度に検出できることが可能となった。すなわち、上記画像処理装置および上記画像処理方法は、物体の形状が変化した場合であっても、物体の部位点を高精度に検出できるという効果を奏する。
【００１９】
また、本発明に係る画像処理装置は、上記画像上において、上記部位点が位置すると考えられる領域を含む範囲内に、上記サンプリング点の位置を特定するサンプリング位置特定手段をさらに備えることが好ましい。
【００２０】
また、本発明に係る情報生成装置は、上記課題を解決するために、上記画像処理装置が参照する上記対応関係情報を生成する情報生成装置であって、物体の部位点が撮像されている画像を取得する画像取得手段と、上記画像上に上記部位点に対する上記基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成手段と、上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成手段とを備えることを特徴としている。
【００２１】
また、本発明に係る情報生成方法は、上記課題を解決するために、上記画像処理方法において参照される上記対応関係情報を生成する情報生成方法であって、物体の部位点が撮像されている画像を取得する画像取得ステップと、上記画像上に上記部位点に対する上記基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記基準点特定ステップにおいて特定された基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成ステップと、上記特徴量抽出ステップにおいて抽出された特徴量群と、上記位置情報生成ステップにおいて生成された位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成ステップとを含むことを特徴としている。
【００２２】
上記の構成によれば、上記画像取得手段は、上記物体の部位点が撮像されている画像を取得し、上記基準点特定手段は、上記画像上に上記部位点に対する基準点を特定し、上記特徴量抽出手段は、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出し、上記位置情報生成手段は、上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す位置情報を生成し、上記対応関係情報生成手段は、上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す対応関係情報を生成する。
【００２３】
そのため、上記画像処理装置が参照する対応関係情報を生成することができるという効果を奏する。上述のように、上記特徴量群と上記位置情報との間には対応関係があるため、生成した対応関係情報を使用することにより、物体の部位点を高精度に検出することができる。
【００２４】
また、本発明に係る情報生成装置は、上記対応関係情報生成手段は、回帰分析を用いて上記対応関係情報を生成することが好ましい。
【００２５】
また、本発明に係る情報生成装置は、ユーザからの操作指示を受け付ける入力手段と、上記入力手段に入力された操作指示に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることが好ましい。
【００２６】
また、本発明に係る情報生成装置は、上記画像取得手段は、上記画像と共に、当該画像に対応付けられている、上記部位点の位置を示す部位点位置情報を取得し、上記部位点位置情報の示す位置に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることが好ましい。
【００２７】
なお、上記画像処理装置および上記情報生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置および上記情報生成装置の各手段として動作させることにより、上記画像処理装置および上記情報生成装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００２８】
以上のように、本発明に係る画像処理装置は、上記画像上に上記部位点に対する基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定する位置情報特定手段と、上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする検出側部位点特定手段とを備えている構成である。
【００２９】
また、本発明に係る画像処理方法は、上記画像上に上記部位点に対する基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出ステップにおいて抽出された特徴量群に対応する位置情報を特定する位置情報特定ステップと、上記位置情報特定ステップにおいて特定された位置情報の示す位置を上記物体の部位点とする部位点特定ステップとを含む。
【００３０】
従って、上記画像処理装置および上記画像処理方法は、物体の形状が変化した場合であっても、物体の部位点を高精度に検出できるという効果を奏する。
【００３１】
また、本発明に係る情報生成装置は、物体の部位点が撮像されている画像を取得する画像取得手段と、上記画像上に上記部位点に対する上記基準点を特定する基準点特定手段と、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成手段と、上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成手段とを備えている構成である。
【００３２】
また、本発明に係る情報生成方法は、物体の部位点が撮像されている画像を取得する画像取得ステップと、上記画像上に上記部位点に対する上記基準点を特定する基準点特定ステップと、上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、上記基準点特定ステップにおいて特定された基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成ステップと、上記特徴量抽出ステップにおいて抽出された特徴量群と、上記位置情報生成ステップにおいて生成された位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成ステップとを含む。
【００３３】
従って、上記画像処理装置が参照する対応関係情報を生成することができるという効果を奏する。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態を示すものであり、部位点検出装置の要部構成を示すブロック図である。
【図２】階層的フィッティングの概要を示す模式図である。
【図３】本発明の実施形態を示すものであり、ＬＲＦ学習装置の要部構成を示すブロック図である。
【図４】基準点特定方法および位置情報生成方法の概要を示す模式図である。
【図５】サンプリング位置特定方法および特徴量抽出方法の概要を示す模式図である。
【図６】位置情報と特徴量群との相関関係を示すＬＲＦ関数の概要を示す模式図である。
【図７】ＬＲＦ学習装置の記憶部に格納されるＬＲＦ関数を含むＬＲＦ情報の一例を示す図である。
【図８】ＬＲＦ関数に対する入力データである特徴量群と出力データである位置情報との対応関係を示す図である。
【図９】ＬＲＦ学習装置が実行するＬＲＦ学習方法の一例を示す図である。
【図１０】ＬＲＦ学習方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【図１１】部位点検出装置が実行する部位点検出方法の一例を示す図である。
【図１２】部位点検出方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【発明を実施するための形態】
【００３５】
〔本発明の概要〕
本発明者らは、画像上において、目や口などの器官を含む領域から抽出した特徴量群と、画像上の基準点を原点とする器官の輪郭点や特徴点の位置との間に相関関係があることを見出した。この知見に基づき、回帰分析により上記特徴量群と上記位置との対応関係を示すモデルを作成し、このモデルを使用した検出方法を発明した。
【００３６】
この検出方法を用いることによって、事前に想定される表情だけでなく、目や口などが極度に開閉するような表情など、様々な条件でも顔や各器官を正確に検出することができる。以下では、本発明者らが発明した検出方法を、Local Regression Fitting（ＬＲＦ）検出方法と称し、上記モデルを作成するための学習方法をＬＲＦ学習方法と称する。
【００３７】
また、本発明者らは、ＬＲＦ検出方法を従来の顔の大局的な形状を捉えるグローバルフィッティングと組み合わせて用いることが顔や各器官を正確に検出することができる最適な手法であることを発案した。具体的には、ＡＳＡＭ等の学習方法に基づくグローバルなモデルを用いて顔の大局的な形状を捉えるグローバルフィッティングと、ＬＲＦ学習方法に基づく顔の器官ごとのローカルなモデルを用いて各器官の詳細な形状をそれぞれ捉えるローカルフィッティング（ＬＲＦ検出方法）とを組み合わせた階層的フィッティングを発案した。
【００３８】
階層的フィッティングは、より詳細には、図２に示すように、まず、グローバルフィッティングによって、こめかみ（２箇所）、左右の眉の眉頭および眉尻、両目の目頭および目尻、鼻孔（２箇所）、口角（２箇所）並びに顎先等を検出する。そして、ＬＲＦ検出方法によって、その他の顔、眉、目、鼻および口の輪郭点を検出する。グローバルフィッティングおよびＬＲＦ検出方法によって検出された輪郭点に基づいて、顔および各器官の輪郭を検出する。
【００３９】
これにより、グローバルモデルが表現できない表情に対しても、高精度に顔の輪郭を検出することができる。さらに、このような階層構造にすることにより、グローバルフィッティングにより大きな誤検出を減らすとともに、ローカルフィッティングにより表情変化した顔画像でも正確に顔輪郭特徴点を検出することが可能である。
【００４０】
以下では、本発明の一実施形態における、ＬＲＦ検出方法により画像上における物体の輪郭点や特徴点等の部位点を検出する部位点検出装置（画像処理装置）と、ＬＲＦ学習手法によりモデルを生成するＬＲＦ学習装置（情報生成装置）とについて図１から図１６に基づいて説明する。なお、以下では、部位点検出装置とＬＲＦ学習装置とがそれぞれ別体の装置として説明するが、部位点検出装置およびＬＲＦ学習装置は一体の装置であってもよい。
【００４１】
〔ＬＲＦ学習装置の構成〕
まず、ＬＲＦ学習装置について図３に基づいて説明する。ＬＲＦ学習装置は、他の装置から取得した画像、または、自装置に搭載されたカメラで撮像した画像において、画像上の基準点に対する物体の部位点の相対位置と、当該部位点に基づく画像上の所定の位置から抽出した特徴量群との対応関係を示すＬＲＦ関数（対応関係情報）を生成する装置である。
【００４２】
ＬＲＦ学習装置は、例えば、ＰＣ、デジタルカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００４３】
本実施形態では、上記対応関係を学習する対象の部位点を有する物体を人間の目や口等としているがこれに限るものではない。例えば、犬や猫等の動物の顔や器官等であってもよいし、携帯電話機やテレビ等であってもよいし、建物や雲等であってもよい。
【００４４】
物体の部位点とは、画像上における物体の領域内の点である。具体的には、例えば物体が目の場合、目の輪郭点や瞳点などである。ここで、ＬＲＦ学習装置が上記対応関係を学習する対象である物体の部位点を学習対象点と称し、学習対象点を有する物体を学習対象物と称する。
【００４５】
図３は、ＬＲＦ学習装置２の要部構成の一例を示すブロック図である。図３に示すように、ＬＲＦ学習装置２は、制御部１６、記憶部１７、画像入力部１３、操作部（入力手段）１４および表示部１５を備えている。なお、ＬＲＦ学習装置２は、他の装置と通信するための通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００４６】
画像入力部１３は、外部の画像提供装置（不図示）から画像を受信するものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、ＰＣ、携帯電話機、ＰＤＡ、ゲーム機、デジタルテレビ、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。なお、ＬＲＦ学習装置２は、画像入力部１３の代わりに、カメラを搭載していてもよい。
【００４７】
操作部１４は、ユーザがＬＲＦ学習装置２に指示信号を入力し、ＬＲＦ学習装置２を操作するためのものである。操作部１４は、キーボード、マウス、キーパッド、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部１４と表示部１５とが一体となっているタッチパネルであってもよい。また、操作部１４は、ＬＲＦ学習装置２と別体のリモートコントローラ等の遠隔制御装置であってもよい。
【００４８】
表示部１５は、制御部１６の指示に従って画像を表示するものである。表示部１５は、制御部１６の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００４９】
制御部１６は、記憶部１７から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ＬＲＦ学習装置２が備える各部を統括的に制御するものである。
【００５０】
本実施形態では、制御部１６は、機能ブロックとして、画像取得部（画像取得手段）２１、領域切り出し部２２、基準点特定部（基準点特定手段）２３、部位点特定部（学習側部位点特定手段）２４、サンプリング位置特定部（サンプリング位置特定手段）２５、特徴量抽出部（特徴量抽出手段）２６、位置情報生成部（位置情報生成手段）２７およびＬＲＦ関数算出部（対応関係情報生成手段）２８を備える構成である。これらの制御部１６の各機能ブロック（２１〜２８）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００５１】
画像取得部２１は、画像入力部１３を介して入力された画像を取得するものである。画像取得部２１は、取得した画像を領域切り出し部２２に出力する。なお、記憶部１７に画像が記憶されている場合、画像取得部２１は、記憶部１７から画像を読み出してもよい。
【００５２】
領域切り出し部２２は、取得した画像から、学習対象点が含まれる領域の画像である学習対象領域画像を所定の学習対象領域画像抽出方法に基づいて抽出するものである。また、領域切り出し部２２は、抽出した学習対象領域画像を所定の正規化方法に基づいて正規化し、正規化画像を生成するものである。領域切り出し部２２は、生成した正規化画像を基準点特定部２３、部位点特定部２４およびサンプリング位置特定部２５に出力する。
【００５３】
具体的には、例えば学習対象物が「目」または「口」の場合、領域切り出し部２２は、取得した画像から、顔画像を抽出し、抽出した顔画像を、例えば、１００画素×１００画素の画像に補正して正規化画像を生成する。
【００５４】
ここで、学習対象領域画像抽出方法および正規化方法は、物体の部位点（学習対象点）毎に予め定められていればよく、具体的な方法は任意でよい。また、以下では、正規化画像の元となる、画像取得部２１が取得した画像を原画像と称する。
【００５５】
基準点特定部２３は、領域切り出し部２２から正規化画像を取得し、所定の基準点特定方法に基づいて取得した正規化画像上の所定の点を基準点として特定するものである。基準点特定部２３は、特定した基準点の正規化画像上における座標である基準座標を位置情報生成部２７に出力する。
【００５６】
具体的には、図４に示すように、例えば学習対象物が「目」の場合、基準点特定部２３は、正規化画像上における目の中心点を基準点として特定する。このとき、基準点特定部２３は、正規化画像を表示部１５に表示して、ユーザに目の中心点を指定するように指示し、ユーザが指定した点を基準点として特定してもよい。また、基準点特定部２３は、領域切り出し部２２が顔画像を抽出する際に特定した目の目頭点および目尻点に基づいて、目頭点および目尻点の中点を基準点として特定してもよい。また、基準点特定部２３は、原画像に対応付けられているメタデータ（基準点位置情報）を参照して、メタデータで示される目の中心点の位置に基づいて、アフィン変換等により基準点を特定してもよい。この場合、ＬＲＦ学習装置２が学習を実行する前に、予め、各原画像に対して、原画像上における目の中心点の位置を特定し、特定した目の中心点の位置を示す情報を含むメタデータを原画像に対応付けておくものとする。なお、メタデータに、目の中心点の位置を示す情報に代えて、目の中心点の位置を特定するための情報（例えば、目頭点、目尻点等）が含まれていてもよい。
【００５７】
なお、基準点は、正規化画像上の点であればどの点でもよい。すなわち、例えば学習対象物が「目」の場合、目頭点または目尻点を基準点としてもよいし、顔の中心点（正規化画像の中心点）を基準点としてもよいし、正規化画像の左上の端点などを基準点としてもよい。
【００５８】
基準点特定方法は、物体の部位点（学習対象点）毎に予め定められていればよく、具体的な方法は任意でよい。
【００５９】
部位点特定部２４は、領域切り出し部２２から正規化画像を取得し、取得した正規化画像上における学習対象点を、操作部１４から入力されたユーザの指示に基づいて特定するものである。部位点特定部２４は、特定した学習対象点の正規化画像上における座標である部位座標を位置情報生成部２７に出力する。
【００６０】
具体的には、例えば学習対象点が目の輪郭点である「上瞼点」の場合、部位点特定部２４は、正規化画像を表示部１５に表示して、ユーザに目の上瞼点を指定するように指示し、ユーザが指定した点を学習対象点として特定する。また、部位点特定部２４は、原画像に対応付けられているメタデータ（部位点位置情報）を参照して、メタデータで示される目の上瞼点の位置に基づいて、アフィン変換等により学習対象点を特定してもよい。この場合、ＬＲＦ学習装置２が学習を実行する前に、予め、各原画像に対して、原画像上における目の上瞼点の位置を特定し、特定した目の上瞼点の位置を示す情報を含むメタデータを原画像に対応付けておくものとする。
【００６１】
図４に示す例では、学習対象点として、上瞼点以外に、下瞼点、目頭点および目尻点が特定されている。なお、上瞼点とは、目の輪郭点が形成する上側の円弧の頂点である。また、下瞼点とは、目の輪郭点が形成する下側の円弧の頂点である。
【００６２】
サンプリング位置特定部２５は、領域切り出し部２２から正規化画像を取得し、所定のサンプリング位置特定方法に基づいて、正規化画像上の所定の範囲内に基準点（部位点）に対する複数のサンプリング点を特定する。ここで、上記所定の範囲をサンプリング範囲と称する。
【００６３】
サンプリング位置特定方法は、物体の部位点（学習対象点）毎に予め定められていればよく、どのような方法であってもよい。
【００６４】
具体的には、サンプリング位置特定部２５が特定するサンプリング点はサンプリング範囲内であればどの点でもよい。例えば、サンプリング位置特定部２５は、サンプリング範囲内の全画素をサンプリング点としてもよい。サンプリング位置特定部２５は、サンプリング範囲内の画素を規則的または不規則的に選択し、選択した画素をサンプリング点としてもよい。また、サンプリング位置特定部２５は、サンプリング範囲を複数のブロックに分割し、ブロックの中心点をサンプリング点としてもよい。
【００６５】
ここで、上記のサンプリング範囲は、正規化画像上において、学習対象点が位置すると考えられる領域を含む範囲であればどのような範囲であってもよい。例えば、学習対象点が位置すると考えられる領域を含むｎ画素×ｍ画素の範囲をサンプリング範囲としてもよい。また、学習対象点が位置すると考えられる領域は、正規化画像上における所定の位置、大きさの領域であってよい。例えば、上瞼点が学習対象点の場合、目頭点および目尻点から目の中心点を特定し、目の中心点から上方の所定の範囲を学習対象点が位置すると考えられる領域としてもよい。
【００６６】
また、学習対象物が位置すると考えられる領域を含む範囲をサンプリング範囲としてもよい。具体的には、図５に示すように、学習対象物が目の場合、正規化画像において、目があると考えられる領域を覆う範囲をサンプリング範囲としてもよく、例えば、上述のように、目頭点および目尻点から目の中心点を特定し、目の中心点を中心とするｉ画素×ｊ画素の範囲をサンプリング範囲としてもよい。
【００６７】
なお、サンプリング範囲の形状は、ｉ画素×ｊ画素のような矩形に限るものではない。サンプリング範囲の形状は任意でよく、例えば、他の多角形や円形であってもよい。図５に示す例では、目があると考えられる領域を覆う範囲をサンプリング範囲としているため、サンプリング範囲の形状は、矩形から四隅が削り取られた形状となっている。
【００６８】
特徴量抽出部２６は、所定の特徴量抽出方法に基づいて、サンプリング位置特定部２５が特定したサンプリング点毎に、サンプリング点の画素またはサンプリング点の画素を含む画素群から特徴量を抽出する。そして、特徴量抽出部２６は、各サンプリング点にそれぞれ対応する複数の特徴量から構成される特徴量群を部位点毎に生成する。
【００６９】
換言すると、特徴量抽出部２６は、部位点に対応する基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出するものである。
【００７０】
ここで、特徴量抽出方法は、物体の部位点（学習対象点）毎に予め定められていればよく、どのような方法であってもよい。
【００７１】
具体的には。特徴量抽出部２６が抽出する特徴量は任意でよい。例えば、輝度値、エッジ情報、周波数特性（Gabor、Haar等）、輝度勾配特徴量（SIFT、HOG等）またはそれらの組み合わせを特徴量としてもよい。
【００７２】
また、特徴量抽出部２６は、サンプリング点の画素を含む画素群から特徴量を抽出する場合、画素群に含まれる全画素の値の平均値または中央値に基づいて特徴量を抽出してもよい。また、この場合、特徴量抽出部２６は、画素群に含まれる１または複数の画素に基づいて特徴量を抽出してもよい。例えば、特徴量抽出部２６は、サンプリング点を中心とする３×３画素の９つの画素を含む画素群から特徴量を抽出する場合、９つの画素の値の平均値または中央値に基づいて特徴量を抽出してもよい。また、特徴量抽出部２６は、９つの画素のうちの１または複数の画素に基づいて特徴量を抽出してもよい。
【００７３】
また、特徴量抽出部２６は、１つのサンプリング点から複数の種類の特徴量を抽出してもよい。例えば、特徴量抽出部２６は、１つのサンプリング点の画素または画素群から、輝度値およびHaar値を特徴量としてそれぞれ抽出してもよい。また、特徴量抽出部２６は、サンプリング点を中心とする３×３画素の画素群から輝度値を特徴量として抽出すると共に、同じサンプリング点を中心とする４×４画素の画素群から輝度値を特徴量として抽出し、２種類の特徴量を抽出してもよい。
【００７４】
図５に示す例では、特徴量抽出部２６は、サンプリング点の各画素からHaar値を特徴量として抽出し、特徴量群を生成している。なお、サンプリング位置特定部２５は、例えば、サンプリング範囲内に数百個のサンプリング点を設定する。すなわち、特徴量抽出部２６は、例えば、数百個の特徴量から成る特徴量群を生成する。
【００７５】
位置情報生成部２７は、基準点特定部２３から基準座標を取得し、部位点特定部２４から部位座標を取得する。そして、位置情報生成部２７は、所定の位置情報生成方法に基づいて、基準点を原点とする学習対象点の位置を示す位置情報を生成するものである。換言すると、位置情報生成部２７は、所定の位置情報生成方法に基づいて、基準点に対する学習対象点の相対位置を示す位置情報を生成する。位置情報生成部２７は、生成した位置情報をＬＲＦ関数算出部２８に出力する。
【００７６】
位置情報は、ｘｙ座標系または極座標系における座標である。また、基準座標および部位座標は、ｘｙ座標系または極座標系のどちらでもよい。
【００７７】
ここで、位置情報生成方法は、物体の部位点（学習対象点）毎に予め定められていればよく、どのような方法であってもよい。
【００７８】
図４に示す例では、位置情報生成部２７は、基準座標および部位座標、並びに、位置情報をｘｙ座標系で表し、部位座標ごとに、部位座標と基準座標との差分を算出し、各学習対象点の位置情報を生成する。すなわち、部位座標を（ａ，ｂ）、基準座標を（ｃ，ｄ）とすると、位置情報（Ｘ，Ｙ）は、（ａ−ｃ，ｂ−ｄ）で算出される。
【００７９】
また、図４では、「LeftＸ」、「LeftＹ」がそれぞれ目尻点の位置情報のｘ座標、ｙ座標を示し、「RightＸ」、「RightＹ」がそれぞれ目頭点の位置情報のｘ座標、ｙ座標を示し、「UpＸ」、「UpＹ」がそれぞれ上瞼点の位置情報のｘ座標、ｙ座標を示し、「DownＸ」、「DownＹ」がそれぞれ下瞼点の位置情報のｘ座標、ｙ座標を示す。
【００８０】
ＬＲＦ関数算出部２８は、１つの画像につき、学習対象点毎に、特徴量抽出部２６から学習対象点に対する特徴量群を取得し、位置情報生成部２７から当該学習対象点に対する位置情報を取得する。そして、ＬＲＦ関数算出部２８は、学習対象点毎に、複数の画像からそれぞれ生成された特徴量群および位置情報に基づいて、当該学習対象点に対する、位置情報と特徴量群との対応関係を示す対応関係情報を生成する。なお、ＬＲＦ関数算出部２８は、対応関係情報を生成する際に、同じ学習対象点に関しては、同一の方法（学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法、特徴量抽出方法および位置情報生成方法が同一）により生成された位置情報および特徴量群を使用するものとする。
【００８１】
具体的には、図６に示すように、ＬＲＦ関数算出部２８は、複数の画像からそれぞれ生成された特徴量群および位置情報をプロットし、回帰分析を用いて、位置情報と特徴量群との相関関係を示すＬＲＦ関数（対応関係情報）を算出する。なお、図６では、説明の便宜のため、平面で示しているが、実際には、高次元であるため特徴量群と位置情報との対応関係、つまり、ＬＲＦ関数は超回帰平面で表されるものである。
【００８２】
また、図６に示す例では、各学習対象点（目尻点、目頭点、上瞼点および下瞼点）が位置すると考えられる領域を全て含むようにサンプリング範囲を設定し、各学習対象点に対して同じ特徴量群を生成し、同じ基準点を用いて各学習対象点の位置情報を生成しているため、各学習対象点の位置情報に対して１つの特徴量群を対応付けている。ただし、これに限るものではなく、各学習対象点に対して、個別に位置情報および特徴量群を生成し、学習対象点ごとにＬＲＦ関数を求めてもよい。
【００８３】
図６に示す例では、特徴量群をＸとすると、位置情報をＹは、Ｙ＝ＡＸ＋Ｂで表される。ここで、例えば、特徴量群Ｘがｋ個のサンプリング点から抽出したｍ個（ｍ＝ｋ×（１つのサンプリング点から抽出される特徴量の種類数））の特徴量から構成されており、位置情報Ｙがｎ個の学習対象点のｘ座標、ｙ座標で構成される場合、特徴量群Ｘ＝（ｘ１，ｘ２，…，ｘｍ）Ｔ、位置情報Ｙ＝（ｙ１，ｙ２，…，ｙ２ｎ）Ｔで表される。この場合、係数Ａは２ｎ×ｍの行列であり、係数Ｂは２ｎ×１の行列で表される。
【００８４】
ここで、ＬＲＦ関数算出部２８がもちいる回帰分析は、重回帰やＣＣＡなど回帰分析であれば何でもよい。また、ＬＲＦ関数算出部２８が求めるＬＲＦ関数は、図６に示すような線形でもよいし、非線形でもよい。
【００８５】
また、ＬＲＦ関数算出部２８は、位置情報と特徴量群との対応関係に基づいて、両者の対応関係を特定する対応関係テーブルを生成してもよい。
【００８６】
ＬＲＦ関数算出部２８は、生成したＬＲＦ関数に、ＬＲＦ関数により対応関係が示される位置の部位点および上記の各方法を対応付けたＬＲＦ情報を記憶部１７に格納する。
【００８７】
記憶部１７は、制御部１６が参照するプログラムやデータ等を格納するものであり、例えば、上記のＬＲＦ情報４１等を格納している。
【００８８】
記憶部１７に格納されているＬＲＦ情報４１について図７に基づいて説明する。図７は、記憶部１７に格納されているＬＲＦ情報４１の一例を示す図である。
【００８９】
図７に示すように、ＬＲＦ情報４１は、部位点と、当該部位点に関するＬＲＦ関数とが対応付けられている情報である。また、ＬＲＦ情報４１は、部位点と、特徴量群および位置情報をそれぞれ生成するための各方法（学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法、特徴量抽出方法および位置情報生成方法）とが対応付けられている情報である。
【００９０】
図７に示す例では、学習対象領域画像抽出方法および正規化方法に関しては、各学習対象点に同じ方法が対応付けられており、その他の方法に関しては、物体毎に、各学習対象点に同じ方法が対応付けられているが、これに限るものではない。学習対象点ごとに、それぞれ異なる方法が対応付けられていてもよい。
【００９１】
また、図７に示す例では、ＬＲＦ関数が部位点毎に対応付けられているがこれに限るものではなく、物体毎にＬＲＦ関数が対応付けられていてもよい。例えば、図７に示す例では、物体毎に、学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法および特徴量抽出方法が同じである。つまり、同じ物体であれば、或る画像から抽出された特徴量群Ｘが部位点に関わらず同じである。この場合、例えば右目に関して、位置情報Ｙ＝（ｙ１，ｙ２，…，ｙ１０）Ｔにおいて、ｙ１〜ｙ１０をそれぞれ上瞼点の位置情報のｘ座標、ｙ座標、下瞼点の位置情報のｘ座標、ｙ座標、目頭点の位置情報のｘ座標、ｙ座標、目尻点の位置情報のｘ座標、ｙ座標、瞳点の位置情報のｘ座標、ｙ座標とすると、右目のＬＲＦ関数をＹ＝ＡＸ＋Ｂとして表すことができる。なお、Ａ＝（Ａ１，Ａ２，…，Ａ５）Ｔ、Ｂ＝（Ｂ１，Ｂ２，…，Ｂ５）Ｔである。
【００９２】
また、図７に示す例では、ＬＲＦ情報４１において、ＬＲＦ関数に各方法が対応付けられているがこれに限るものではない。図７に示す例では、学習時に、ＬＲＦ学習装置が各方法を適宜選択してＬＲＦ関数を生成する場合を示しているが、学習時と検出時において、各部位点毎に、予め定めた方法を各方法に関して使用する場合、部位点検出装置１およびＬＲＦ学習装置２が各部位点毎に予め定めた方法を記憶していればよい（例えば、学習プログラムおよび検出プログラムに組み込まれていればよい）。この場合、ＬＲＦ情報４１において、ＬＲＦ関数に各方法が対応付けられている必要はなく、ＬＲＦ情報４１は、部位点に対応付けられたＬＲＦ関数を示す情報が含まれていればよい。
【００９３】
〔部位点検出装置の構成〕
次に、部位点検出装置について図１に基づいて説明する。部位点検出装置は、ＬＲＦ学習装置が生成したＬＲＦ情報に基づいて、他の装置から取得した画像、または、自装置に搭載されたカメラで撮像した画像から、物体の輪郭点や特徴点等の部位点を検出する装置である。
【００９４】
部位点検出装置は、例えば、デジタルカメラ、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００９５】
本実施形態では、検出対象の部位点を有する物体を人間の目や口等としているがこれに限るものではない。例えば、犬や猫等の動物の顔や器官等であってもよいし、携帯電話機やテレビ等であってもよいし、建物や雲等であってもよい。ここで、部位点検出装置が上記検出対象の部位点を検出対象点と称し、検出対象点を有する物体を検出対象物と称する。
【００９６】
図１は、部位点検出装置１の要部構成の一例を示すブロック図である。図１に示すように、部位点検出装置１は、制御部１１、記憶部１２、画像入力部１３、操作部（入力手段）１４および表示部１５を備えている。なお、部位点検出装置１は、他の装置と通信するための通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００９７】
なお、説明の便宜上、ＬＲＦ学習装置２に含まれる部材と同一の機能を有する部材には、同一の符号を付し、その説明を一部省略する。
【００９８】
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、ＬＲＦ学習装置が生成したＬＲＦ情報４１等を格納している。記憶部１２に格納されているＬＲＦ情報４１は、例えば、図７に示すようなデータであってよい。
【００９９】
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、部位点検出装置１が備える各部を統括的に制御するものである。
【０１００】
本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、領域切り出し部２２、基準点特定部２３、サンプリング位置特定部（サンプリング位置特定手段）２５、特徴量抽出部２６、位置情報特定部（位置情報特定手段）２９および部位点特定部（検出側部位点特定手段）３０を備える構成である。これらの制御部１１の各機能ブロック（２１〜２３、２５、２６、２９、３０）は、ＣＰＵが、ＲＯＭ等で実現された記憶装置に記憶されているプログラムをＲＡＭ等で実現された一時記憶部に読み出して実行することで実現できる。
【０１０１】
画像取得部２１は、画像入力部１３を介して入力された画像を取得するものである。画像取得部２１は、取得した画像を領域切り出し部２２に出力する。
【０１０２】
領域切り出し部２２は、記憶部１２からＬＲＦ情報４１を読み出し、ＬＲＦ情報４１において検出対象点に対応付けられている学習対象領域画像抽出方法に基づいて、取得した画像から、検出対象点が含まれる領域の画像である検出対象領域画像を抽出するものである。
【０１０３】
また、領域切り出し部２２は、ＬＲＦ情報４１において検出対象点に対応付けられている正規化方法に基づいて、抽出した検出対象領域画像を正規化し、正規化画像を生成するものである。領域切り出し部２２は、生成した正規化画像を基準点特定部２３およびサンプリング位置特定部２５に出力する。
【０１０４】
基準点特定部２３は、記憶部１２からＬＲＦ情報４１を読み出し、領域切り出し部２２から正規化画像を取得する。そして、基準点特定部２３は、ＬＲＦ情報４１において検出対象点に対応付けられている基準点特定方法に基づいて、取得した正規化画像上の所定の点を基準点として特定するものである。基準点特定部２３は、特定した基準点の正規化画像上における座標である基準座標を部位点特定部３０に出力する。
【０１０５】
サンプリング位置特定部２５は、記憶部１２からＬＲＦ情報４１を読み出し、領域切り出し部２２から正規化画像を取得し、ＬＲＦ情報４１において検出対象点に対応付けられているサンプリング位置特定方法に基づいて、正規化画像上の所定の範囲内に基準点（部位点）に対する複数のサンプリング点を特定する。
【０１０６】
特徴量抽出部２６は、記憶部１２からＬＲＦ情報４１を読み出し、ＬＲＦ情報４１において検出対象点に対応付けられている特徴量抽出方法に基づいて、基準点に対するサンプリング点毎に、サンプリング点の画素またはサンプリング点の画素を含む画素群から特徴量を抽出する。そして、特徴量抽出部２６は、各サンプリング点にそれぞれ対応する複数の特徴量から構成される特徴量群を生成する。
【０１０７】
位置情報特定部２９は、記憶部１２からＬＲＦ情報４１を読み出し、ＬＲＦ情報４１において検出対象点に対応付けられているＬＲＦ関数に基づいて、特徴量抽出部２６が生成した特徴量群に対応する位置情報を特定するものである。位置情報特定部２９は、特定した位置情報を部位点特定部３０に出力する。
【０１０８】
具体的には、図８に示すように、位置情報特定部２９は、特徴量抽出部２６が生成した特徴量群を入力値としてＬＲＦ関数に与え、その出力結果を位置情報とする。
【０１０９】
部位点特定部３０は、基準点特定部２３から基準座標を取得し、位置情報特定部２９から位置情報を取得する。そして、部位点特定部３０は、正規化画像において、基準座標が示す点を原点とする位置情報が示す位置を検出対象点として特定するものである。
【０１１０】
〔ＬＲＦ学習方法〕
次に、ＬＲＦ学習装置２が実行するＬＲＦ学習方法について、図９および図１０に基づいて説明する。図９は、ＬＲＦ学習装置２が実行するＬＲＦ学習方法の一例を示す図である。図１０は、ＬＲＦ学習方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【０１１１】
図９および図１０に示す例では、人間の顔の両目および口の輪郭点に対するＬＲＦ関数を生成するものとする。具体的には、右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点を学習対象点とする。なお、上唇（下唇）の上中点とは、上唇（下唇）の中央の上側の輪郭点であり、上唇（下唇）の下中点とは、上唇（下唇）の中央の下側の輪郭点である。
【０１１２】
また、図９および図１０に示す例では、右目、左目および口の中央点をそれぞれの基準点とする。また、サンプリング範囲は、右目、左目および口をそれぞれ覆う範囲に設定する。具体的には、右目、左目および口の中央点（基準点）を中心とした所定範囲をサンプリング範囲とする。
【０１１３】
図９に示すように、まず、画像取得部２１は、画像入力部１３を介して入力された画像を取得する（Ｓ１）。このときの状態を、図１０の状態１に示す。
【０１１４】
次に、領域切り出し部２２は、画像取得部２１が取得した画像から、学習対象領域画像抽出方法「G001」（例えば、従来の顔検出方法または顔器官点検出方法）に基づいて、顔画像を検出する（Ｓ２）。このときの状態を、図１０の状態２に示す。状態２では、検出された顔画像が四角の線で囲われており、検出された顔器官点が白点で示されている。
【０１１５】
そして、領域切り出し部２２は、正規化方法「H001」に基づいて、検出した顔画像を切り出し、切り出した顔画像を正規化して正規化画像を生成する（Ｓ３）。このときの状態を、図１０の状態３に示す。
【０１１６】
次に、基準点特定部２３は、基準点特定方法「I001」、「I002」、「I003」にそれぞれ基づいて、正規化画像上における右目、左目および口の基準点を特定する（Ｓ４）。このときの状態を、図１０の状態４に示す。上述のように、状態４では、左右の目の中心および口の中心にそれぞれの基準点が設定されている。
【０１１７】
次に、部位点特定部２４は、正規化画像上において、右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点を学習対象点として特定する（Ｓ５）。このときの状態を、図１０の状態５に示す。
【０１１８】
次に、サンプリング位置特定部２５は、サンプリング位置特定方法「J001」、「J002」、「J003」にそれぞれ基づいて、正規化画像上の各サンプリング範囲内にそれぞれ複数のサンプリング点を特定する（Ｓ６）。そして、特徴量抽出部２６は、特徴量抽出方法「K001」、「K002」、「K003」にそれぞれ基づいて、左右の目および口の各サンプリング点の画素または画素群からそれぞれ特徴量群を抽出する（Ｓ７）。このときの状態を、図１０の状態６に示す。上述のように、状態６では、左右の目および口をそれぞれ覆うように、各器官の中心点を中心とする所定の位置にサンプリング点が設定されている。すなわち、ここでは、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点に対する特徴量群との３つの特徴量群が生成される。換言すると、右目、左目および口の各基準点（中心点）に対して、それぞれ３つの特徴量群が生成される。
【０１１９】
次に、位置情報生成部２７は、位置情報生成方法「L001」、「L002」、「L003」にそれぞれ基づいて、基準点を原点とする学習対象点の位置を示す位置情報を学習対象点毎に生成する（Ｓ８）。このときの状態を、図１０の状態７に示す。
【０１２０】
以上の処理を複数の画像に対して行い、画像毎に、各学習対象点に対する特徴量群および位置情報を生成する。
【０１２１】
ＬＲＦ関数算出部２８は、回帰分析を用いて、複数組の位置情報および特徴量群から、各学習対象点に対するＬＲＦ関数をそれぞれ生成する（Ｓ９）。そして、ＬＲＦ関数算出部２８は、生成した各学習対象点に対するＬＲＦ関数に、それぞれ、使用した各方法（学習対象領域画像抽出方法、正規化方法、基準点特定方法、サンプリング位置特定方法、特徴量抽出方法および位置情報生成方法）を対応付けてＬＲＦ情報４１を生成し、記憶部１２に格納する。
【０１２２】
〔部位点検出方法〕
次に、部位点検出装置１が実行する部位点検出方法について、図１１および図１２に基づいて説明する。図１１は、部位点検出装置１が実行する部位点検出方法の一例を示す図である。図１２は、部位点検出方法に含まれる各処理の状態を、画像を用いて模式的に示す遷移図である。
【０１２３】
図１１および図１２に示す例では、部位点検出装置１の記憶部１２に図７に示すＬＲＦ情報４１が格納されているものとする。また、ここでは、人間の顔の右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点を検出するものとする。
【０１２４】
図１１に示すように、まず、画像取得部２１は、画像入力部１３を介して入力された画像を取得する（Ｓ１１）。このときの状態を、図１２の状態１１に示す。
【０１２５】
次に、領域切り出し部２２は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、各検出対象点には、全て同じ学習対象領域画像抽出方法「G001」および正規化方法「H001」が対応付けられている。そのため、領域切り出し部２２は、学習対象領域画像抽出方法「G001」に基づいて、画像取得部２１が取得した画像から、画像を切り出す（Ｓ１２）。このときの状態を、図１２の状態１２に示す。状態１２では、顔画像および顔器官点が検出され、検出された顔画像が四角の線で囲われており、検出された顔器官点が白点で示されている。
【０１２６】
そして、領域切り出し部２２は、検出した顔画像を切り出し、正規化方法「H001」に基づいて切り出した顔画像を正規化して正規化画像を生成する（Ｓ１３）。このときの状態を、図１２の状態１３に示す。
【０１２７】
次に、基準点特定部２３は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じ基準点特定方法「I001」、「I002」、「I003」がそれぞれ対応付けられている。そのため、基準点特定部２３は、正規化画像上に、右目の検出対象点の基準点を基準点特定方法「I001」に基づいて特定し、左目の検出対象点の基準点を基準点特定方法「I002」に基づいて特定し、口の検出対象点の基準点を基準点特定方法「I003」に基づいて特定する（Ｓ１４）。このときの状態を、図１２の状態１４に示す。図示のように、状態１４では、右目、左目、口のそれぞれ中心点が基準点として特定されている。
【０１２８】
次に、サンプリング位置特定部２５は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じサンプリング位置特定方法「J001」、「J002」、「J003」がそれぞれ対応付けられている。そのため、サンプリング位置特定部２５は、正規化画像上において、右目の検出対象点のサンプリング点をサンプリング位置特定方法「J001」に基づいて特定し、左目の検出対象点のサンプリング点をサンプリング位置特定方法「J002」に基づいて特定し、口の検出対象点のサンプリング点をサンプリング位置特定方法「J003」に基づいて特定する（Ｓ１５）。
【０１２９】
このときの状態を、図１２の状態１５に示す。図示のように、状態１５では、左右の目および口をそれぞれ覆うように、各器官の基準点を中心とする所定の範囲にサンプリング点が設定されている。
【０１３０】
そして、特徴量抽出部２６は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じ特徴量抽出方法「K001」、「K002」、「K003」がそれぞれ対応付けられている。そのため、特徴量抽出部２６は、右目の検出対象点のサンプリング点の画素または画素群から、右目の検出対象点の特徴量群を特徴量抽出方法「K001」に基づいて抽出し、左目の検出対象点のサンプリング点の画素または画素群から、左目の検出対象点の特徴量群を特徴量抽出方法「K002」に基づいて抽出し、口の検出対象点のサンプリング点の画素または画素群から、口の検出対象点の特徴量群を特徴量抽出方法「K003」に基づいて抽出する（Ｓ１６）。
【０１３１】
すなわち、ここでは、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対する特徴量群と、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点に対する特徴量群との３つの特徴量群が生成される。換言すると、右目、左目および口の各基準点（中心点）に対して、それぞれ３つの特徴量群が生成される。
【０１３２】
次に、位置情報特定部２９は、記憶部１２からＬＲＦ情報４１を読み出す。そして、位置情報特定部２９は、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対応付けられているＬＲＦ関数に、これらの検出対象点に対する特徴量群をそれぞれ入力して、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報をそれぞれ特定する。また、位置情報特定部２９は、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点に対応付けられているＬＲＦ関数に、これらの検出対象点に対する特徴量群をそれぞれ入力して、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報をそれぞれ特定する。また、位置情報特定部２９は、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点に対応付けられているＬＲＦ関数に、これらの検出対象点に対する特徴量群をそれぞれ入力して、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点の位置情報をそれぞれ特定する（Ｓ１７）。
【０１３３】
最後に、部位点特定部３０は、記憶部１２からＬＲＦ情報４１を読み出す。ここで、ＬＲＦ情報４１において、右目、左目、口単位で、同じ位置情報生成方法「L001」、「L002」、「L003」がそれぞれ対応付けられている。そのため、部位点特定部３０は、右目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報から、位置情報生成方法「L001」に基づいて、これらの検出対象点の正規化画像上における座標をそれぞれ特定し、左目の目尻点、目頭点、上瞼点、下瞼点および瞳点の位置情報から、位置情報生成方法「L002」に基づいて、これらの検出対象点の正規化画像上における座標をそれぞれ特定し、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点の位置情報から、位置情報生成方法「L003」に基づいて、これらの検出対象点の正規化画像上における座標をそれぞれ特定する（Ｓ１８）。
【０１３４】
例えば、右目の目尻点について、右目の基準点（中心点）のＸ座標値、Ｙ座標値に、目尻点の位置情報の示すＸ座標値、Ｙ座標値の差分値をそれぞれ加算する。この加算して求めた値であるＸ座標値、Ｙ座標値が、目尻点の正規化画像上における座標値である。右目の他の部位点、並びに、左目の各部位点および口の各部位点に対しても同様の処理を行い、正規化画像上における右目、左目および口の各部位点の座標を特定する。
【０１３５】
このときの状態を、図１２の状態１６に示す。図示のように、状態１６では、右目および左目の目尻点、目頭点、上瞼点、下瞼点および瞳点、並びに、口の右口角点および左口角点、並びに、上唇および下唇の上中点および下中点の正規化画像上における位置（座標）が特定されている。
【０１３６】
そして、正規化画像上における各部位点の座標値から、例えば、アフィン変換等により、原画像上における各部位点の座標値を算出して、原画像上における各部位点の座標を特定する。
【０１３７】
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３８】
最後に、部位点検出装置１およびＬＲＦ学習装置２の各ブロック、特に制御部１１および制御部１６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３９】
すなわち、部位点検出装置１およびＬＲＦ学習装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである部位点検出装置１およびＬＲＦ学習装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、部位点検出装置１およびＬＲＦ学習装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１４０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１４１】
また、部位点検出装置１およびＬＲＦ学習装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１４２】
本発明は、画像上の物体の所定の部位点を検出する画像処理装置に利用することができる。より好ましくは、形状が多様に変化する物体の所定の部位点を画像から検出する画像処理装置に利用することができる。
【符号の説明】
【０１４３】
１ 部位点検出装置（画像処理装置）
２ ＬＲＦ学習装置（情報生成装置）
１４ 操作部（入力手段）
２１ 画像取得部（画像取得手段）
２３ 基準点特定部（基準点特定手段）
２４ 部位点特定部（学習側部位点特定手段）
２５ サンプリング位置特定部（サンプリング位置特定手段）
２６ 特徴量抽出部（特徴量抽出手段）
２７ 位置情報生成部（位置情報生成手段）
２８ ＬＲＦ関数算出部（対応関係情報生成手段）
２９ 位置情報特定部（位置情報特定手段）
３０ 部位点特定部（検出側部位点特定手段）
【特許請求の範囲】
【請求項１】
画像から物体の部位点を検出する画像処理装置であって、
上記画像上に上記部位点に対する基準点を特定する基準点特定手段と、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、
上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定する位置情報特定手段と、
上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする検出側部位点特定手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記画像上において、上記部位点が位置すると考えられる領域を含む範囲内に、上記サンプリング点の位置を特定するサンプリング位置特定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置が参照する上記対応関係情報を生成する情報生成装置であって、
物体の部位点が撮像されている画像を取得する画像取得手段と、
上記画像上に上記部位点に対する上記基準点を特定する基準点特定手段と、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、
上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成手段と、
上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成手段とを備えることを特徴とする情報生成装置。
【請求項４】
上記対応関係情報生成手段は、回帰分析を用いて上記対応関係情報を生成することを特徴とする請求項３に記載の情報生成装置。
【請求項５】
ユーザからの操作指示を受け付ける入力手段と、
上記入力手段に入力された操作指示に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることを特徴とする請求項３または４に記載の情報生成装置。
【請求項６】
上記画像取得手段は、上記画像と共に、当該画像に対応付けられている、上記部位点の位置を示す部位点位置情報を取得し、
上記部位点位置情報の示す位置に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることを特徴とする請求項３または４に記載の情報生成装置。
【請求項７】
画像から物体の部位点を検出する画像処理方法であって、
上記画像上に上記部位点に対する基準点を特定する基準点特定ステップと、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、
上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出ステップにおいて抽出された特徴量群に対応する位置情報を特定する位置情報特定ステップと、
上記位置情報特定ステップにおいて特定された位置情報の示す位置を上記物体の部位点とする部位点特定ステップとを含むことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において参照される上記対応関係情報を生成する情報生成方法であって、
物体の部位点が撮像されている画像を取得する画像取得ステップと、
上記画像上に上記部位点に対する上記基準点を特定する基準点特定ステップと、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、
上記基準点特定ステップにおいて特定された基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成ステップと、
上記特徴量抽出ステップにおいて抽出された特徴量群と、上記位置情報生成ステップにおいて生成された位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成ステップとを含むことを特徴とする情報生成方法。
【請求項９】
請求項１または２に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１０】
請求項３〜６の何れか１項に記載の情報生成装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１１】
請求項９および１０の少なくとも一方に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像から物体の部位点を検出する画像処理装置であって、
上記画像上に上記部位点に対する基準点を特定する基準点特定手段と、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、
上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出手段が抽出した特徴量群に対応する位置情報を特定する位置情報特定手段と、
上記位置情報特定手段が特定した位置情報の示す位置を上記物体の部位点とする検出側部位点特定手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記画像上において、上記部位点が位置すると考えられる領域を含む範囲内に、上記サンプリング点の位置を特定するサンプリング位置特定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置が参照する上記対応関係情報を生成する情報生成装置であって、
物体の部位点が撮像されている画像を取得する画像取得手段と、
上記画像上に上記部位点に対する上記基準点を特定する基準点特定手段と、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出手段と、
上記基準点特定手段が特定した基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成手段と、
上記特徴量抽出手段が抽出した特徴量群と、上記位置情報生成手段が生成した位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成手段とを備えることを特徴とする情報生成装置。
【請求項４】
上記対応関係情報生成手段は、回帰分析を用いて上記対応関係情報を生成することを特徴とする請求項３に記載の情報生成装置。
【請求項５】
ユーザからの操作指示を受け付ける入力手段と、
上記入力手段に入力された操作指示に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることを特徴とする請求項３または４に記載の情報生成装置。
【請求項６】
上記画像取得手段は、上記画像と共に、当該画像に対応付けられている、上記部位点の位置を示す部位点位置情報を取得し、
上記部位点位置情報の示す位置に基づいて、上記画像上における上記物体の部位点を特定する学習側部位点特定手段とをさらに備えることを特徴とする請求項３または４に記載の情報生成装置。
【請求項７】
画像から物体の部位点を検出する画像処理方法であって、
上記画像上に上記部位点に対する基準点を特定する基準点特定ステップと、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、
上記複数のサンプリング点の各画素または各画素群から抽出された上記基準点に対する特徴量群と、上記基準点に対する上記部位点の相対位置を示す位置情報との対応関係を示す対応関係情報を参照して、上記特徴量抽出ステップにおいて抽出された特徴量群に対応する位置情報を特定する位置情報特定ステップと、
上記位置情報特定ステップにおいて特定された位置情報の示す位置を上記物体の部位点とする部位点特定ステップとを含むことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において参照される上記対応関係情報を生成する情報生成方法であって、
物体の部位点が撮像されている画像を取得する画像取得ステップと、
上記画像上に上記部位点に対する上記基準点を特定する基準点特定ステップと、
上記基準点に対する複数のサンプリング点毎に、当該サンプリング点の画素または当該画素を含む画素群から特徴量を抽出し、抽出した各サンプリング点にそれぞれ対応する複数の特徴量から構成される、上記基準点に対する特徴量群を抽出する特徴量抽出ステップと、
上記基準点特定ステップにおいて特定された基準点に対する上記部位点の相対位置を示す上記位置情報を生成する位置情報生成ステップと、
上記特徴量抽出ステップにおいて抽出された特徴量群と、上記位置情報生成ステップにおいて生成された位置情報との対応関係を示す上記対応関係情報を生成する対応関係情報生成ステップとを含むことを特徴とする情報生成方法。
【請求項９】
請求項１または２に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１０】
請求項３〜６の何れか１項に記載の情報生成装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１１】
請求項９および１０の少なくとも一方に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図３】
【図６】
【図７】
【図９】
【図１１】
【図２】
【図４】
【図５】
【図８】
【図１０】
【図１２】
【図３】
【図６】
【図７】
【図９】
【図１１】
【図２】
【図４】
【図５】
【図８】
【図１０】
【図１２】
【公開番号】特開２０１２−２５６１３１（Ｐ２０１２−２５６１３１Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２７７５５（Ｐ２０１１−１２７７５５）
【出願日】平成２３年６月７日（２０１１．６．７）
【特許番号】特許第４９９８６３７号（Ｐ４９９８６３７）
【特許公報発行日】平成２４年８月１５日（２０１２．８．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【特許番号】特許第４９９８６３７号（Ｐ４９９８６３７）
【特許公報発行日】平成２４年８月１５日（２０１２．８．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]