画像処理装置、画像処理方法、画像処理プログラムおよび同プログラムを記録した記録媒体。
【課題】様々なフレーム形状の眼鏡に対応可能な眼鏡モデルを生成して、画像中の眼鏡パターンを除去する画像補正の技術を提供する。
【解決手段】画像処理装置１０の前処理部１２は、入力された画像データから顔領域を識別・検出する。眼鏡モデル生成部１５は、サンプル画像の学習パターンから眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状などのテクスチャを加味した眼鏡モデルを生成する。特徴抽出手段部１４は、顔領域に眼鏡モデルを適用し、眼鏡モデルパラメータを抽出する。眼鏡識別部１６は、眼鏡の有無を識別する識別パラメータを読み込み、眼鏡モデルパラメータをもって入力画像データ内の眼鏡の有無を判定する。領域抽出部１８は、入力画像データを任意の領域に分割する。補間部１９は、分割領域のデータから任意のテクスチャを生成し各領域を統合する。この統合結果は出力部２０をもって出力される。
【解決手段】画像処理装置１０の前処理部１２は、入力された画像データから顔領域を識別・検出する。眼鏡モデル生成部１５は、サンプル画像の学習パターンから眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状などのテクスチャを加味した眼鏡モデルを生成する。特徴抽出手段部１４は、顔領域に眼鏡モデルを適用し、眼鏡モデルパラメータを抽出する。眼鏡識別部１６は、眼鏡の有無を識別する識別パラメータを読み込み、眼鏡モデルパラメータをもって入力画像データ内の眼鏡の有無を判定する。領域抽出部１８は、入力画像データを任意の領域に分割する。補間部１９は、分割領域のデータから任意のテクスチャを生成し各領域を統合する。この統合結果は出力部２０をもって出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる眼鏡の有無および眼鏡領域を判断し、眼鏡パターンを精度よく除去する画像処理の技術に関する。
【背景技術】
【０００２】
今日のコンピュータビジョンの分野では、生体認証の一つとして顔認証の技術が監視システムやペットロボット、ヒューマンインターフェースなどで頻繁に用いられている。顔認証については、事前に登録しておいた顔画像と入力画像を比較して認識するため、基本的には誤認識の原因となる部分遮蔽や眼鏡や装飾品といった遮蔽物のない顔画像を登録しておく必要がある。
【０００３】
そのため眼鏡をかけている人の顔画像登録の際には、眼鏡をかけている時の顔画像と眼鏡をはずした時の顔画像の２種類を登録する必要性が出てくる。顔認証のシステムにおいて、このような二度手間を省き、かつ顔の部分遮蔽による誤認識を軽減するために顔画像内から眼鏡領域のみを除去する技術が必要である。
【０００４】
眼鏡除去の処理手順は「前処理部」、「眼鏡モデル生成部」、「眼鏡検出部」、「領域抽出部」、「補間部」の５つに分けることができる。従来の眼鏡除去法の一例としては、パラメトリック眼鏡フレームモデルを用いた手法（非特許文献１参照）がある。この技術は以下の手順で眼鏡領域の除去を行う。即ち、眼鏡をかけた人物の顔画像を入力とし、あらかじめ作成しておいた眼鏡フレームモデルと入力画像のエッジの検出を行い得られた線の情報とを比較し、眼鏡フレーム領域を検出する。次に、検出された眼鏡フレーム領域の輝度値を除去した後、眼鏡フレーム領域の輝度値を周辺領域の肌色部分の輝度値で線形補間する。線形補間した部分に、更に偏差を加算し、平滑化することにより眼鏡除去画像を生成する。
【非特許文献１】齋藤康之、剣持雪子、小谷一孔：「パラメトリックな眼鏡フレームモデルを用いた顔画像内の眼鏡フレーム領域の抽出と除去」，電子情報通信学会論文誌，Ｄ−ＩＩ Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．５ ｐｐ．８８０−８９０，１９９９年５月
【非特許文献２】荒木祐一、島田伸敬、白井良明：「背景と顔の方向に依存しない顔の検出と顔方向の推定」、信学技法 Ｖｏｌ．１０１ Ｎｏ．５６９ ｐｐ．８７−９４，２００２
【非特許文献３】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ，ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．”Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ”．ＩＥＥＥ ＴＰＡＭＩ，ＶＯＬ．２３，ＮＯ６，ＪＵＮ ２００１：６８１−６８５
【非特許文献４】Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ，Ｊｏｈｎ Ｓｈａｗｅ−Ｔａｙｌｏｒ，”Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ”：Ａｎｄ Ｏｔｈｅｒ Ｋｅｒｎｅｌ−Ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓ，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ Ｐｒｅｓｓ ２０００：Ｐ９４〜Ｐ９７
【非特許文献５】Ｊｉａｎ Ｓｕｎ，Ｌｉｎ Ｌｉａｎｇ，Ｆａｎｇ Ｗｅｎ，Ｈｅｕｎｇ−Ｙｅｕｎｇ Ｓｈｕｍ：”Ｉｍａｇｅ Ｖｅｃｔｏｒｉｚａｔｉｏｎ ｕｓｉｎｇ Ｏｐｔｉｍｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｍｅｓｈｅｓ”，ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，Ｖｏｌ．２６，Ｎｏ．３，Ａｒｔｉｃｌｅ １１，Ｐｕｂｌｉｃａｔｉｏｎ ｄａｔｅ：Ｊｕｌｙ ２００７．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の眼鏡除去方法には次の問題があった。すなわち、一般に眼鏡フレームの形状や色は様々であるため、眼鏡フレームモデルを作成して、使用しても、眼鏡フレームの誤検出が生じる。これはエッジ抽出により得られた線の情報のみで眼鏡フレームを検出していることや眼鏡のフレームだけのモデルを使用していることに起因していると考えられる。顔画像内からの眼鏡領域除去を実現するためには、エッジ抽出から得られる線の情報から眼鏡のフレーム位置を推定するだけでなく、眼鏡フレームや眼鏡のレンズ内部のテクスチャといった付加情報も必要であると言える。
【０００６】
また、眼鏡を含む顔画像を入力としているため、入力画像内に顔が存在し、且つ、眼鏡が含まれるという事前情報がないと、この技術を実際に適応することができない。
【０００７】
さらに、検出された眼鏡フレーム領域の輝度値を周辺領域の肌色部分の輝度値で線形補間や平滑化を施しても、眼鏡フレーム領域と隣接するフレーム内側および眼鏡フレーム外側の領域間の境界でコントラストが不連続になり、処理結果画像の見た目が不自然になる可能性があるため、その効果は十分であるとは言えない。
【０００８】
そこで、本発明は、様々なフレーム形状の眼鏡に対応可能な眼鏡モデルを生成して、眼鏡パターンを除去することを第１の課題とする。また、眼鏡の有無や顔の存在に関わらず、どのような画像を入力しても眼鏡除去を可能にするための顔の存在、および眼鏡の有無の識別することを第２の課題とする。さらに、眼鏡除去の処理結果が自然に見えるように除去領域を補間することを第３の課題とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決すべく創作された技術的思想であって、請求項１〜８記載の発明は、眼鏡フレームと眼球の形状に加え、テクスチャ情報を考慮して眼鏡領域を検出することで第１の課題を解決している。請求項２．５記載の発明は、撮像画像内おける顔の存在、および眼鏡の有無の識別を可能にすることで第２の課題を解決している。請求項３．６記載の発明は、顔領域を複数の小領域に切り分け、それぞれの領域全体の質感を考慮したテクスチャを含むレイヤーを生成し、合成することで第３の課題を解決している。
【００１０】
具体的には、請求項１記載の発明は、人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理装置であって、サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する眼鏡モデル生成手段と、入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する特徴抽出手段と、前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する眼鏡識別手段と、前記撮像画像を前記顔領域と前記眼鏡領域の特徴量とから任意の領域に分割する領域抽出手段と、前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する補間手段とを備え、前記統合結果を出力することを特徴としている。
【００１１】
請求項２記載の発明は、前記撮像画像内における顔の有無を識別して、前記顔領域を抽出する前処理手段を備え、前記特徴抽出手段は、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出するとともに、前記眼鏡識別手段は、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定することを特徴としている。
【００１２】
請求項３記載の発明は、前記領域抽出手段は、前記入力画像データ内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出する手段と、前記顔領域を複数の領域に分割して切り分ける手段とを備えるとともに、前記補間手段は、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋める手段と、任意の領域のレイヤーを作成する手段と、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正する手段と、複数の前記レイヤーを単一の画像データに変換して統合する手段とを備えることを特徴としている。
【００１３】
請求項４記載の発明は、人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理方法であって、眼鏡モデル生成手段が、サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する第１ステップと、特徴抽出手段が、入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する第２ステップと、眼鏡識別手段が、前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する第３ステップと、領域抽出手段が、前記顔領域と前記眼鏡領域の特徴量とから前記撮像画像を任意の領域に分割する第４ステップと、補間手段が、前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する第５ステップと、前記第５ステップの統合結果を出力する第６ステップと、を有することを特徴としている。
【００１４】
請求項５記載の発明は、前処理手段において前記撮像画像内の顔の有無を識別して、前記顔領域を抽出するステップをさらに有し、前記第２ステップは、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出し、前記第３ステップは、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定することを特徴としている。
【００１５】
請求項６記載の発明は、前記第４ステップは、前記入力画像データ内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出するステップと、前記顔領域を複数の領域に分割して切り分けるステップとを有する一方、前記第５ステップは、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋めるステップと、任意の領域のレイヤーを作成するステップと、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正するステップと、複数の前記レイヤーを単一の画像データに変換して統合するステップとを有することを特徴としている。
【００１６】
請求項７記載の発明は、請求項１〜３のいずれか１項に記載の画像処理装置を構成する各手段としてコンピュータを機能させることを特徴とする画像処理プログラムに関する。
【００１７】
請求項８記載の発明は、請求項７記載の画像処理プログラムを記録した記録媒体に関する。
【発明の効果】
【００１８】
請求項１〜８記載の発明によれば、眼鏡フレームと眼球の形状に加え、テクスチャ情報も考慮して眼鏡領域が検出されるため、様々なタイプの眼鏡に対応でき、また従来手法と比べ、多くの情報量を使用するため結果として誤検出を減らすことが可能となる。
【００１９】
特に、請求項２．５記載の発明によれば、撮像画像内おける顔の存在、および眼鏡の有無の識別が可能になるので、眼鏡や顔の有無にかかわらず、任意の画像データを入力できるようになる。
【００２０】
また、請求項３．６記載の発明によれば、顔領域を複数の小領域に切り分け、それぞれの領域全体の質感を考慮したテクスチャを含むレイヤーを生成し、合成することにより、全体の自然な感じを損なうことなく、眼鏡パターンを除去した画像処理結果が得られる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を用いて詳細に説明する。図１は、本発明の実施形態に係る画像処理装置の機能ブロック図を示している。この画像処理装置１０は、コンピュータにより構成され、画像データ入力部１１，前処理部１２，第１学習パターン記憶部１３，特徴抽出部１４，眼鏡モデル生成部１５，眼鏡識別部１６，第２学習パターン記憶部１７，領域抽出部１８，補間部１９，出力部２０を有している。
【００２２】
具体的には、前記画像処理装置１０は、通常のコンピュータの構成要素、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、メモリ（ＲＡＭ）、ハードディスクドライブ装置、通信デバイスなどのハードウェア資源を備え、かかるハードウェア資源とインストール済みのソフトウェアとの協働によって前記各機能ブロック１１〜２０の処理が実行されている。このうち前記学習パターン記憶部１３，１７は、ハードディスクドライブ装置にデータベースとして構築されている。
【００２３】
そして、前記画像処理装置１０の全体的な処理を、図２のフローに沿って概略説明すれば、まず、画像データ入力部１１は、前記通信デバイスなどで実現され、デジタルカメラなどの撮像手段をもって撮像されたデジタル画像データがネットワーク経由で入力され、この入力された撮像画像データ（以下、入力画像データと略す。）を前処理部１２に伝送する（Ｓ１）。
【００２４】
つぎに、前処理部１２は入力画像データと第１学習パターン記憶部１３に記憶されているパターンの特徴量とを比較して、顔検出を行い、顔が存在するか否かを識別する（Ｓ２）。このとき入力画像内に顔があると識別された場合、顔と思われる部分の切出しを経て特徴抽出部１４へ伝送する（Ｓ３）。一方、入力画像内に顔が無いと識別された場合には、処理を終了する。
【００２５】
特徴抽出部１４では、特徴量となる眼鏡モデルパラメータを抽出し、眼鏡識別部１６へ送る（Ｓ４）。この眼鏡モデルパラメータは、入力された顔領域の画像データと眼鏡モデル生成部１５で生成された眼鏡モデルとに基づき生成される。
【００２６】
眼鏡識別部１６は、特徴抽出部１４から伝送された特徴量（眼鏡モデルパラメータ）と第２学習パターン記憶部１７に記憶されている識別パラメータを用いて、眼鏡の有無の識別結果を得る（Ｓ５）。このとき眼鏡があると判定された場合（Ｓ６）には、以降の（Ｓ７）〜（Ｓ９）の処理を続行する一方、眼鏡が無いと判定された場合には処理を終了する。ここで第２学習パターン記憶部１７では、あらかじめ多数の学習画像から学習サンプルを生成し、学習により識別パラメータを生成し、これらを保持しておき、眼鏡識別部１６へ伝送している。
【００２７】
領域抽出部１８では、前処理部１２で得られた顔領域の画像データと特徴抽出部１４で得られた特徴量（眼鏡モデルパラメータ）からデジタル画像データを複数の領域に分割し、抽出する。（Ｓ７）。
【００２８】
補間部１９では、領域抽出部１８で得られた各領域を、図３に示すようにレイヤー化し、各レイヤーのラスタ表現された画像データをベクタ表現に変換し、色の補正を行い、生成されたレイヤーデータを統合した結果をラスタ表現に変換し、出力部２０へ伝送する（Ｓ８）。出力部２０は、伝送された画像データを出力する（Ｓ９）。この出力された画像データはモニタなどの表示手段に表示される。以下、前記各機能ブロック１１〜２０の処理を個別具体的に説明する。
【００２９】
（１）前処理部１２
前処理部１２における処理の実行方法を、図４のフローチャートに示す。前処理部１２では入力画像データ内から、顔検出を行って顔領域を切り出す（Ｓ１０）〜（Ｓ１２）。この顔検出は非特許文献２に記載された手法でよい。ここでは例えば正面以外の方向を向いている顔でも検出できる顔検出手法を使用する。一般に顔検出においては、事前に多数の学習画像を用いて学習を行い、その学習の結果得られた識別パラメータを学習パターン記憶部に蓄積しておき、顔か否かの識別の際には、その識別パラメータを使用して画像内の顔の有無を識別し、画像内位置を特定する。
【００３０】
本発明においても同様に、顔検出（Ｓ１０）の際には第１学習パターン記憶部１３から識別パラメータを読み出し、識別に使用する。第１学習パターン記憶部１３は、入力された多数の学習画像から学習を行って、識別パラメータを生成し、保持する機能を持つものとする。
【００３１】
次に、入力画像データ内に顔が有ると識別された場合（Ｓ１１）、顔領域切出し（Ｓ１２）を行う。顔がないと識別された場合は処理を終了する。顔領域切出し（Ｓ１２）では、顔領域の画素値を持つ顔領域の画像データと顔領域以外の背景の画素値を持つ背景領域の画像データを生成する。まず、顔領域の画像データと背景領域の画像データの生成のために、入力されたデジタル画像データのコピーを二枚作成する。続いて、顔検出（Ｓ１０）の結果得られた画像内の顔のパーツである目、鼻、口の座標値情報を使用し、全てのパーツを含む任意の大きさの楕円領域内の画素値を選択する。そして、一方のコピー画像において、選択した楕円領域以外の画素を全て白（または黒）に変換することで顔領域の画像データとする。同様に、他方のコピー画像において、選択した楕円領域内の画素を全て白（または黒）に変換したものを背景領域画像データとする。
【００３２】
（２）眼鏡モデル生成部１５
眼鏡モデル生成部１５における処理のフローチャートを図５に示す。眼鏡モデル生成部１５では、眼鏡モデルの生成（Ｓ１３，Ｓ１４）および、保持しているデータの出力（Ｓ１５）を行う。眼鏡モデルの生成処理では「Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」（以下、「ＡＡＭ」と略す。）を使用する。
【００３３】
「ＡＡＭ」は、アピアランスモデルと呼ばれる統計的なモデルの作成と、モデル探索によるパラメータ調節の２つの工程から構成される生成モデルと未知画像のマッチング手法である。アピアランスモデルの作成工程では、物体の形状を表す特徴点の座標値と見えを表す輝度値の相関をパラメータとして持つ統計的モデルを作成する。モデル探索によるパラメータ調節工程は、生成したアピアランスモデルと入力した未知画像とのイメージ残差を最小化するように生成したアピアランスモデルのパラメータを変化させる最適化問題に帰着し、その最適化問題を解くことで入力未知画像と生成したモデルのマッチングを行うものである。眼鏡モデル生成部１５では、「ＡＡＭ」の第１工程であるアピアランスモデルの作成のみを行う。
【００３４】
以下で、アピアランスモデル作成について簡単に概説する。アピアランスモデルは特徴点を配置した学習画像データセットを使用して作成する。まず１枚の学習画像内の特徴点の座標を並べたベクトルを形状ベクトル「ｘ」とし、全学習画像の形状ベクトルの平均形状「ｘ ｂａｒ」を求める。次に各学習画像において形状を平均形状「ｘ ｂａｒ」で正規化し、正規化された形状内の輝度値を並べ、テクスチャベクトル「ｇ」を得る。形状ベクトルと同様に、全学習画像のテクスチャベクトルの平均テクスチャ「ｇ ｂａｒ」を算出する。形状ベクトル「ｘ」とテクチヤベクトル「ｇ」とは式（１）のようにモデル化することができる。
【００３５】
【数１】
【００３６】
ここで「Ｑs」，「Ｑg」は固有ベクトルであり、「ｃ」は形状とテクスチャの両方をコントロールするアピアランスパラメータである。アピアランスパラメータ「ｃ」を用いることで、形状だけでなくテクスチャも表現することができる。また逆に、アピアランスパラメータ「ｃ」が求まれば、形状およびテクスチャを算出することが可能となる。（「ＡＡＭ」の基本原理については非特許文献３参照）。
【００３７】
具体的には、眼鏡をかけた顔画像とその顔画像に図６のように配置された特徴点の座標値を学習画像データとして多数用意し、眼鏡フレームと眼鏡のレンズ内部、眼球の形状とテクスチャから、上記の「ｘ ｂａｒ」，「ｇ ｂａｒ」，「Ｑs」，「Ｑg」を算出する。ただし、図６中の眼鏡フレーム部分特徴点の画像内の座標を（ｘf，ｙf）、レンズ部分特徴点の画像内の座標を（ｘl，ｙl）、眼球部分特徴点の画像内の座標を（ｘe，ｙe）とする。このとき、形状ベクトル「ｘ」は式（２）であらわすものとする。
【００３８】
【数２】
【００３９】
学習画像データセットから得られた「ｘ ｂａｒ」，「ｇ ｂａｒ」，「Ｑs」，「Ｑg」は、アピアランスモデルとしてメモリなどの一時記憶手段に保持しておき、特徴抽出部１４へ伝送する。なお、前記アピアランスモデルは、ハードディスクドライブ装置に保存してもよい。
【００４０】
（３）特徴抽出部１４
特徴抽出部１４における処理の実行方法を、図７のフローチャートに示す。特徴抽出部１４では、前処理部１２から伝送された顔領域の画像データを入力とし、眼鏡モデル生成部１５で作成した眼鏡モデルを使用して、最適化問題を解くことで眼鏡領域の探索を行う。探索の結果得られた眼鏡モデルパラメータを特徴量とし、その特徴量と前処理部１２から伝送された顔領域データを眼鏡識別部１６へ伝送する。
【００４１】
具体的には、「ＡＡＭ」の第２工程であるモデル探索によるパラメータ調節により眼鏡領域の探索を行う（Ｓ１６）。ここでは画像データ内から眼鏡領域を探索する際には、モデルの形状とテクスチャをあらわすアピアランスパラメータ「ｃ」に加え、顔領域の画像データ内の眼鏡位置、大きさ、回転を考慮した新しいパラメータ「ｐ」を用いる。顔領域の画像データ内の眼鏡と思われる部分の画素値から作成したテクスチャベクトル「ｇs」と眼鏡モデルを用いて作成したテクスチャベクトル「ｇm」とのイメージ残差を「ｒ（ｐ）＝ｇs−ｇm」とし、「ｒ（ｐ）」が最小となるように「ｐ」を変化させ、最適解を求める。得られた最適解から「ｃ」を逆算し、これを眼鏡モデルパラメータとする。ここでの最適化問題の詳細は非特許文献３と同様とする。
【００４２】
（４）第２学習パターン記憶部１７
第２学習パターン記憶部１７では、眼鏡の有無を識別するための識別関数データを生成し、眼鏡識別部１６へ伝送する。識別関数データの生成には、「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（以下、ＳＶＭと略す。）」を使用する。「ＳＶＭ」は２クラスの分類問題を解くためのパターン識別器を構成する手法である。識別器は入力ベクトルを非線形写像によって仮想的な高次特徴空間に写像し、その特徴空間内の２つのクラスの間で汎化能力を最大とする境界となるような超平面として構成される。ここでの「ＳＶＭ」の基本原理は非特許文献４と同様とする。
【００４３】
第２学習パターン記憶部１７の処理手順のフローチャートを図８に示す。第２学習パターン記憶部１７は、学習サンプル生成部１７−１と、識別関数データ生成部１７−２とから構成される。学習サンプル生成部１７−１では、入力された多数の学習画像から、学習画像と同じ数の学習サンプルを生成する。生成される学習サンプルは、特徴量と所属するクラスを示すラベルから構成される。
【００４４】
図８では、ラベル入力前の段階では学習サンプルの枚数「ｎ＝０」とする（Ｓ１９）。学習サンプル生成部１７−１には、学習画像として眼鏡を掛けている人物の顔画像と眼鏡を掛けていない人物の顔画像の２種類の画像が入力される（Ｓ２０）。なお、入力される顔画像は、それぞれ眼鏡を掛けている人物の顔画像の場合は眼鏡ありクラス、眼鏡を掛けていない人物の顔画像の場合は眼鏡無しクラスに属するものとし、眼鏡ありのクラスに属している顔画像のラベルは「ｙ＝１」，眼鏡なしのクラスに属している顔画像のラベルは「ｙ＝−１」として与えられている。
【００４５】
入力された１組の学習画像とラベルに対し、眼鏡モデル生成部１５で生成した眼鏡モデルを用いて、特徴抽出部１４のパラメータ最適化処理（Ｓ１６）と同様にモデル探索によるパラメータ調整を行う（Ｓ２１）。得られた眼鏡モデルパラメータを、その学習画像の特徴量とする。得られた特徴量とラベルのセットを１つの学習サンプル（ｎ＝１）とする（Ｓ２２）。この処理を繰り返し（Ｓ２３，Ｓ２４）、用意した全ての学習画像に対して行い、それぞれ特徴量を抽出し、「ｎ←ｎ＋１」枚の学習サンプルを生成する。この学習サンプルは、メモリなどの一時記憶手段に記憶しておいてもよい。
【００４６】
識別関数データ生成部１７−２では、学習サンプル生成部１７−１にて生成した学習サンプルを入力とし、「ＳＶＭ」で学習を行って識別関数データを得る。「ＳＶＭ」の学習では、ｌ個の特徴量「ｘi（ｉ＝１，２，…，ｌ）」がラベル「ｙ」とともに与えられているとき、識別関数「ｆ（ｘ）」は、式（３）の形で与えられる。この式（３）を解いて最適化する（Ｓ２５）。
【００４７】
【数３】
【００４８】
ここで、「α*，β*」は、以下の式（４）の最大化問題の最適解である。
【００４９】
【数４】
【００５０】
識別関数データ生成部Ｓ１８では、学習により生成された「α*，β*」および「ｘi」を識別関数データとして第２学習パターン記憶部１７に蓄積する（Ｓ２６）。なお、式（３）の識別関数は非線形に拡張したものを用いてもよい。
【００５１】
（５）眼鏡識別部１６
眼鏡識別部１６における処理の実行方法を、図９のフローチャートに示す。眼鏡識別部１６では、眼鏡の有無の識別処理を行う。眼鏡ありクラスか眼鏡無しクラスかを識別する際には、特徴抽出部１４で生成された特徴量と第２学習パターン記憶部１７から識別関数データを呼び出し、それらを用いてどちらのクラスに属するかを識別する（Ｓ２７）。
【００５２】
例えば、特徴抽出部１４で生成された特徴量を入力「ｘ」とし、式（３）に代入する。「ＳＶＭ」を用いた識別では未知の入力「ｘ」が与えられたとき、上記識別関数「ｆ（ｘ）」の符号により未知画像の所属するクラスを決める。具体的には、「ｆ（ｘ）≧０」のときは眼鏡ありクラス、「ｆ（ｘ）＜０」の時は眼鏡無しクラスとする。ここで入力した特徴量が眼鏡パターンであると判断された場合のみ、データを領域抽出部１８へ伝送する。眼鏡パターンはないと判断された場合、処理はここで終了する。なお、識別処理においては、「ＳＶＭ」以外にも例えば最近傍法、フィッシャーの線形識別法、ニューラルネットワークや部分空間法等を用いてもよい。
【００５３】
（６）領域抽出部１８
領域抽出部１８における処理の実行方法を、図１０のフローチャートに示す。領域抽出部１８は、眼鏡領域位置算出処理部１８−１と領域切出し部１８−２から構成される。眼鏡領域位置算出処理部１８−１では、特徴抽出部１４で得られた眼鏡モデルのパラメータを使用し、眼鏡領域の画像内における位置を算出する（Ｓ３０）。
【００５４】
具体的には、眼鏡モデルパラメータ「ｃ」から逆算し、形状ベクトル「ｘ」を算出する。その後、得られた形状ベクトルのうち眼鏡フレーム部分特徴点の画像内座標値（ｘf，ｙf）を眼鏡領域位置として算出する。次に、眼鏡フレーム領域位置として（ｘf，ｙf）と（ｘl，ｙl）を算出し、眼球領域位置として（ｘe，ｙe）を算出する（Ｓ３１）。
【００５５】
次に、領域切出し部１８−１２の処理（Ｓ３２〜Ｓ３４）を、図１１を参照して説明する。図１１は、領域切出し処理における各領域の説明図である。切り出し処理は、前処理部１２の顔領域切出し（Ｓ１２）と同様に、特定の領域以外の画素値を全て白（または黒）に置き換えた画像データを生成する。まず、図１１（ａ）の顔領域から算出した図１１（ｂ）の眼鏡領域を選択し、眼鏡領域の画素値を保存した画像データを眼鏡領域データとし、逆に眼鏡領域以外の画素値を保存し、眼鏡領域内部の画素値を白（または黒）に変更したものを顔ベース領域図１１（ｃ）とする（Ｓ３２）。さらに眼鏡領域から図１１（ｄ）に示す眼鏡フレーム領域部分の画素値を保存した画像データを作成し、また眼鏡領域から図１１（ｅ）の眼球領域部分の画素値のみを保存した画像データを作成する（Ｓ３３）。図１１（ｆ）のように眼鏡領域からフレーム領域と眼球領域の画素値を白（または黒）にしたものをレンズ領域の画像データとする（Ｓ３４）。
【００５６】
（７）補間部１９
補間部１９では領域抽出部１８で生成された領域ごとにベクタ化し、レイヤー分けを行う。ベクタ化とはラスタ表現と呼ばれるデジタル画像データのような離散値しか取れない画素の集合として記述されている画像データを、ベクタ表現と呼ばれる物体の特徴点や頂点をつないだ線分で記述した連続値を取り得る形式で表現される画像データに変換することである。具体的なベクタ化の手法として、ここではグラデーションメッシュを使用する。グラデーションメッシュとは対象とする物体の形状を網目状に区切り、その網目に沿って色のグラデーションを施すことで物の質感を写実的に表現することを可能にするグラフィック技術である。またグラデーションメッシュによるベクタ化は、非特許文献５のような最適化手法により自動生成させるものとする。
【００５７】
以下で非特許文献５におけるグラデーションメッシュの構造について図１２を用いて概説する。図１２（ａ）はおのおのの座標がパラメータ「ｕ，ｖ」の関数として表現されるパラメトリック曲面の例であり、以下これをパッチと呼ぶ。非特許文献５にて使用されているファーガソンパッチは式（５）で表現される。
【００５８】
【数５】
【００５９】
グラデーションメッシュはパッチとメッシュラインから構成され、上記ファーガソンパッチ上の点はメッシュラインを表現するための位置、位置の微分、色、色情報の微分の４種類の情報を持っている。図１２（ｂ）はグラデーションメッシュの例であり、点「ｑ」を通る２本の曲線はメッシュラインである。例えば図１２（ｂ）中の点「ｑ」の場合、式（６）の位置情報と、式（７）の位置の微分情報、式（８）のＲＧＢカラー情報、式（９）のＲＧＢカラーの微分情報を持っており、グラデーションメッシュは式（１０）で表現される。
【００６０】
【数６】
【００６１】
【数７】
【００６２】
【数８】
【００６３】
【数９】
【００６４】
【数１０】
【００６５】
また、非特許文献５はベクタ化における最適化は以下の手順で行われる。即ち、まず入力されたラスタ画像内のベクタ化したい領域を均等に分割するなどして、複数のパッチを作成することでメッシュの初期化を行う。今、Ｐ個のパッチが生成され、ベクタ化したい画像を「Ｉ」としたとき、式（１１）のエネルギー関数を最小化することでメッシュが最適化されベクタ化される。
【００６６】
【数１１】
【００６７】
具体的な補間部１９における処理手順を図１３のフローチャートに示す。補間処理は図１３の顔ベースレイヤー作成部１９−１とレンズレイヤー作成部１９−２と眼球レイヤー作成部１９−３とから構成される。各レイヤー作成部１９−１〜１９−３で作成された情報は全てレイヤー統合処理Ｓ４３により１枚の画像に合成される。
【００６８】
以下、各レイヤー作成部１９−１〜１９−３の処理を説明する。図１４は、図１３のフローチャート内の顔ベースレイヤー作成部１９−１内の処理を説明するための概念図である。顔ベースレイヤー作成部１９−１では、領域抽出部１８で作成された顔ベース領域情報を使用し、顔ベース穴埋め処理（Ｓ３８）により顔ベース領域の領域切出しの際に開いた眼鏡領域の穴を埋め、次に顔ベースベクタ化処理（Ｓ３９）を行う。
【００６９】
具体的には、顔ベース穴埋め処理（Ｓ３８）は、図１４（ａ）の顔ベース領域内の穴領域との境界の画素の画素値の平均で、眼鏡領域部分の色を補間し、図１４（ｂ）のような穴領域も肌と同じ色を持つ画像を生成する。顔ベースベクタ化処理（Ｓ３９）は、顔ベース領域を前記最適化手法により最適化されたグラデーションメッシュを作成する。図１４（ｃ）は最適化により自動作成されたメッシュの形状情報である。このメッシュ上には最適化によりテクスチャも生成される。メッシュ情報とテクスチャの両方の情報を持つ、図１４（ｄ）のような生成したベクタ画像を顔ベースレイヤーとし、生成したデータはレイヤー統合処理Ｓ４３とレンズレイヤー作成部１９−２に伝送する。
【００７０】
眼球レイヤー作成部１９−３では、領域抽出部１８で作成された眼球領域の情報を使用し、前記最適化手法を用いて眼球領域ベクタ化処理（Ｓ４２）を行う。ここで生成したベクタ画像を眼球レイヤーとし、生成したデータはレイヤー統合処理Ｓ４３とレンズレイヤー作成部１９−２に伝送する。
【００７１】
レンズレイヤー作成部１９−２では、領域抽出部１８で作成されたレンズ領域の情報を使用し、前記最適化手法を用いてレンズ領域ベクタ化処理（Ｓ４０）を行う。ここで生成したベクタ画像をレンズレイヤーとする。次に、生成した顔ベースレイヤーと眼球レイヤーとレンズレイヤーの３つのレイヤーの情報を用いて、レンズレイヤー色補正（Ｓ４１）を行う。レンズレイヤー色補正（Ｓ４１）の処理内容を、図１５を参照して説明する。生成したレイヤーには図１５（ａ）のようなメッシュと、その交差点であるメッシュポイントを持っている。メッシュポイントは色情報を保持し、メッシュポイント近傍の色の具合を制御することが可能である。まず、レンズレイヤーの外側の輪郭部分のメッシュポイントである図１５（ｂ）の顔ベース側メッシュポイントの色を、図１５（ｃ）のように対応する顔ベースレイヤー内における同じ座標値の場所の色に置換する。次に、内側の輪郭部分のメッシュポイントである図１５（ｂ）の眼球側メッシュポイントの色は、図１５（ｄ）のように対応する眼球レイヤー内の同じ座標値の場所の色に置換することで色を制御する。
【００７２】
レイヤー統合処理Ｓ４３では、下から順に、前処理で切出した背景領域、顔ベースレイヤー、レンズレイヤー、眼球レイヤーの順に重ね合わせて一枚のラスタ画像データに変換する。ラスタ画像への変換処理は、ベクタ表現されていた画像を離散の値をとる画像データに変換することである。なお、ベクタ化画像の自動生成については、非特許文献の手法以外に「ｓｕｂｄｉｖｉｓｉｏｎｍｅｓｈ」を用いてもよい。
【００７３】
また、本発明は、上記実施形態に限定されるものではなく、例えば前記画像処理装置１０の各機能ブロック１１〜２０としてコンピュータを機能させるプログラムとして構築することもできる。このプログラムは、各機能ブロック１１〜２０の全ての処理をコンピュータに実行させてもよく、また、その一部の機能をコンピュータに実行させるものであってもよい。
【００７４】
このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供することができる。また、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。この記録媒体から読み出されたプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態に係る画像処理装置の機能ブロック図。
【図２】同 全体処理を示すフローチャート。
【図３】同 補間手段によるレイヤー化の概略図。
【図４】同 前処理部の処理を示すフローチャート。
【図５】同 眼鏡モデル生成部の処理を示すフローチャート。
【図６】同 特徴抽出部の使用する眼鏡モデルの概念図。
【図７】同 特徴抽出部の処理を示すフローチャート。
【図８】同 第２学習パターン記憶部の処理の示すフローチャート。
【図９】同 眼鏡識別部の処理を示すフローチャート。
【図１０】同 領域抽出部の処理を示すフローチャート。
【図１１】同 領域抽出部の切出し領域の概念図。
【図１２】同 補間部部のグラデーションメッシュの構造を示す概念図。
【図１３】同 補間部の処理を示すフローチャート。
【図１４】同 顔ベースレイヤー作成部内の処理手順を示す概念図。
【図１５】同 レンズレイヤー色補正の処理手順を示す概念図。
【符号の説明】
【００７６】
１０…画像処理装置
１１…画像データ入力部
１２…前処理部（前処理手段）
１３…第１学習パターン記憶部
１４…特徴抽出部（特徴抽出手段）
１５…眼鏡モデル生成部（眼鏡モデル生成手段）
１６…眼鏡識別部（眼鏡識別手段）
１７…第２学習パターン記憶部
１７−１…学習サンプル生成部
１７−２…識別関数データ生成部
１８…領域抽出部（領域抽出手段）
１８−１…眼鏡領域位置算出部
１８−２…領域切出し部
１９…補間部（補間手段）
１９−１…顔ベースレイヤー作成部
１９−２…レンズレイヤー作成部
１９−３…眼球レイヤー作成部
２０…出力部
【技術分野】
【０００１】
本発明は、画像中に含まれる眼鏡の有無および眼鏡領域を判断し、眼鏡パターンを精度よく除去する画像処理の技術に関する。
【背景技術】
【０００２】
今日のコンピュータビジョンの分野では、生体認証の一つとして顔認証の技術が監視システムやペットロボット、ヒューマンインターフェースなどで頻繁に用いられている。顔認証については、事前に登録しておいた顔画像と入力画像を比較して認識するため、基本的には誤認識の原因となる部分遮蔽や眼鏡や装飾品といった遮蔽物のない顔画像を登録しておく必要がある。
【０００３】
そのため眼鏡をかけている人の顔画像登録の際には、眼鏡をかけている時の顔画像と眼鏡をはずした時の顔画像の２種類を登録する必要性が出てくる。顔認証のシステムにおいて、このような二度手間を省き、かつ顔の部分遮蔽による誤認識を軽減するために顔画像内から眼鏡領域のみを除去する技術が必要である。
【０００４】
眼鏡除去の処理手順は「前処理部」、「眼鏡モデル生成部」、「眼鏡検出部」、「領域抽出部」、「補間部」の５つに分けることができる。従来の眼鏡除去法の一例としては、パラメトリック眼鏡フレームモデルを用いた手法（非特許文献１参照）がある。この技術は以下の手順で眼鏡領域の除去を行う。即ち、眼鏡をかけた人物の顔画像を入力とし、あらかじめ作成しておいた眼鏡フレームモデルと入力画像のエッジの検出を行い得られた線の情報とを比較し、眼鏡フレーム領域を検出する。次に、検出された眼鏡フレーム領域の輝度値を除去した後、眼鏡フレーム領域の輝度値を周辺領域の肌色部分の輝度値で線形補間する。線形補間した部分に、更に偏差を加算し、平滑化することにより眼鏡除去画像を生成する。
【非特許文献１】齋藤康之、剣持雪子、小谷一孔：「パラメトリックな眼鏡フレームモデルを用いた顔画像内の眼鏡フレーム領域の抽出と除去」，電子情報通信学会論文誌，Ｄ−ＩＩ Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．５ ｐｐ．８８０−８９０，１９９９年５月
【非特許文献２】荒木祐一、島田伸敬、白井良明：「背景と顔の方向に依存しない顔の検出と顔方向の推定」、信学技法 Ｖｏｌ．１０１ Ｎｏ．５６９ ｐｐ．８７−９４，２００２
【非特許文献３】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ，ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．”Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ”．ＩＥＥＥ ＴＰＡＭＩ，ＶＯＬ．２３，ＮＯ６，ＪＵＮ ２００１：６８１−６８５
【非特許文献４】Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ，Ｊｏｈｎ Ｓｈａｗｅ−Ｔａｙｌｏｒ，”Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ”：Ａｎｄ Ｏｔｈｅｒ Ｋｅｒｎｅｌ−Ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓ，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ Ｐｒｅｓｓ ２０００：Ｐ９４〜Ｐ９７
【非特許文献５】Ｊｉａｎ Ｓｕｎ，Ｌｉｎ Ｌｉａｎｇ，Ｆａｎｇ Ｗｅｎ，Ｈｅｕｎｇ−Ｙｅｕｎｇ Ｓｈｕｍ：”Ｉｍａｇｅ Ｖｅｃｔｏｒｉｚａｔｉｏｎ ｕｓｉｎｇ Ｏｐｔｉｍｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｍｅｓｈｅｓ”，ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，Ｖｏｌ．２６，Ｎｏ．３，Ａｒｔｉｃｌｅ １１，Ｐｕｂｌｉｃａｔｉｏｎ ｄａｔｅ：Ｊｕｌｙ ２００７．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の眼鏡除去方法には次の問題があった。すなわち、一般に眼鏡フレームの形状や色は様々であるため、眼鏡フレームモデルを作成して、使用しても、眼鏡フレームの誤検出が生じる。これはエッジ抽出により得られた線の情報のみで眼鏡フレームを検出していることや眼鏡のフレームだけのモデルを使用していることに起因していると考えられる。顔画像内からの眼鏡領域除去を実現するためには、エッジ抽出から得られる線の情報から眼鏡のフレーム位置を推定するだけでなく、眼鏡フレームや眼鏡のレンズ内部のテクスチャといった付加情報も必要であると言える。
【０００６】
また、眼鏡を含む顔画像を入力としているため、入力画像内に顔が存在し、且つ、眼鏡が含まれるという事前情報がないと、この技術を実際に適応することができない。
【０００７】
さらに、検出された眼鏡フレーム領域の輝度値を周辺領域の肌色部分の輝度値で線形補間や平滑化を施しても、眼鏡フレーム領域と隣接するフレーム内側および眼鏡フレーム外側の領域間の境界でコントラストが不連続になり、処理結果画像の見た目が不自然になる可能性があるため、その効果は十分であるとは言えない。
【０００８】
そこで、本発明は、様々なフレーム形状の眼鏡に対応可能な眼鏡モデルを生成して、眼鏡パターンを除去することを第１の課題とする。また、眼鏡の有無や顔の存在に関わらず、どのような画像を入力しても眼鏡除去を可能にするための顔の存在、および眼鏡の有無の識別することを第２の課題とする。さらに、眼鏡除去の処理結果が自然に見えるように除去領域を補間することを第３の課題とする。
【課題を解決するための手段】
【０００９】
本発明は、前記課題を解決すべく創作された技術的思想であって、請求項１〜８記載の発明は、眼鏡フレームと眼球の形状に加え、テクスチャ情報を考慮して眼鏡領域を検出することで第１の課題を解決している。請求項２．５記載の発明は、撮像画像内おける顔の存在、および眼鏡の有無の識別を可能にすることで第２の課題を解決している。請求項３．６記載の発明は、顔領域を複数の小領域に切り分け、それぞれの領域全体の質感を考慮したテクスチャを含むレイヤーを生成し、合成することで第３の課題を解決している。
【００１０】
具体的には、請求項１記載の発明は、人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理装置であって、サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する眼鏡モデル生成手段と、入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する特徴抽出手段と、前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する眼鏡識別手段と、前記撮像画像を前記顔領域と前記眼鏡領域の特徴量とから任意の領域に分割する領域抽出手段と、前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する補間手段とを備え、前記統合結果を出力することを特徴としている。
【００１１】
請求項２記載の発明は、前記撮像画像内における顔の有無を識別して、前記顔領域を抽出する前処理手段を備え、前記特徴抽出手段は、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出するとともに、前記眼鏡識別手段は、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定することを特徴としている。
【００１２】
請求項３記載の発明は、前記領域抽出手段は、前記入力画像データ内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出する手段と、前記顔領域を複数の領域に分割して切り分ける手段とを備えるとともに、前記補間手段は、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋める手段と、任意の領域のレイヤーを作成する手段と、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正する手段と、複数の前記レイヤーを単一の画像データに変換して統合する手段とを備えることを特徴としている。
【００１３】
請求項４記載の発明は、人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理方法であって、眼鏡モデル生成手段が、サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する第１ステップと、特徴抽出手段が、入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する第２ステップと、眼鏡識別手段が、前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する第３ステップと、領域抽出手段が、前記顔領域と前記眼鏡領域の特徴量とから前記撮像画像を任意の領域に分割する第４ステップと、補間手段が、前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する第５ステップと、前記第５ステップの統合結果を出力する第６ステップと、を有することを特徴としている。
【００１４】
請求項５記載の発明は、前処理手段において前記撮像画像内の顔の有無を識別して、前記顔領域を抽出するステップをさらに有し、前記第２ステップは、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出し、前記第３ステップは、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定することを特徴としている。
【００１５】
請求項６記載の発明は、前記第４ステップは、前記入力画像データ内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出するステップと、前記顔領域を複数の領域に分割して切り分けるステップとを有する一方、前記第５ステップは、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋めるステップと、任意の領域のレイヤーを作成するステップと、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正するステップと、複数の前記レイヤーを単一の画像データに変換して統合するステップとを有することを特徴としている。
【００１６】
請求項７記載の発明は、請求項１〜３のいずれか１項に記載の画像処理装置を構成する各手段としてコンピュータを機能させることを特徴とする画像処理プログラムに関する。
【００１７】
請求項８記載の発明は、請求項７記載の画像処理プログラムを記録した記録媒体に関する。
【発明の効果】
【００１８】
請求項１〜８記載の発明によれば、眼鏡フレームと眼球の形状に加え、テクスチャ情報も考慮して眼鏡領域が検出されるため、様々なタイプの眼鏡に対応でき、また従来手法と比べ、多くの情報量を使用するため結果として誤検出を減らすことが可能となる。
【００１９】
特に、請求項２．５記載の発明によれば、撮像画像内おける顔の存在、および眼鏡の有無の識別が可能になるので、眼鏡や顔の有無にかかわらず、任意の画像データを入力できるようになる。
【００２０】
また、請求項３．６記載の発明によれば、顔領域を複数の小領域に切り分け、それぞれの領域全体の質感を考慮したテクスチャを含むレイヤーを生成し、合成することにより、全体の自然な感じを損なうことなく、眼鏡パターンを除去した画像処理結果が得られる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を用いて詳細に説明する。図１は、本発明の実施形態に係る画像処理装置の機能ブロック図を示している。この画像処理装置１０は、コンピュータにより構成され、画像データ入力部１１，前処理部１２，第１学習パターン記憶部１３，特徴抽出部１４，眼鏡モデル生成部１５，眼鏡識別部１６，第２学習パターン記憶部１７，領域抽出部１８，補間部１９，出力部２０を有している。
【００２２】
具体的には、前記画像処理装置１０は、通常のコンピュータの構成要素、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、メモリ（ＲＡＭ）、ハードディスクドライブ装置、通信デバイスなどのハードウェア資源を備え、かかるハードウェア資源とインストール済みのソフトウェアとの協働によって前記各機能ブロック１１〜２０の処理が実行されている。このうち前記学習パターン記憶部１３，１７は、ハードディスクドライブ装置にデータベースとして構築されている。
【００２３】
そして、前記画像処理装置１０の全体的な処理を、図２のフローに沿って概略説明すれば、まず、画像データ入力部１１は、前記通信デバイスなどで実現され、デジタルカメラなどの撮像手段をもって撮像されたデジタル画像データがネットワーク経由で入力され、この入力された撮像画像データ（以下、入力画像データと略す。）を前処理部１２に伝送する（Ｓ１）。
【００２４】
つぎに、前処理部１２は入力画像データと第１学習パターン記憶部１３に記憶されているパターンの特徴量とを比較して、顔検出を行い、顔が存在するか否かを識別する（Ｓ２）。このとき入力画像内に顔があると識別された場合、顔と思われる部分の切出しを経て特徴抽出部１４へ伝送する（Ｓ３）。一方、入力画像内に顔が無いと識別された場合には、処理を終了する。
【００２５】
特徴抽出部１４では、特徴量となる眼鏡モデルパラメータを抽出し、眼鏡識別部１６へ送る（Ｓ４）。この眼鏡モデルパラメータは、入力された顔領域の画像データと眼鏡モデル生成部１５で生成された眼鏡モデルとに基づき生成される。
【００２６】
眼鏡識別部１６は、特徴抽出部１４から伝送された特徴量（眼鏡モデルパラメータ）と第２学習パターン記憶部１７に記憶されている識別パラメータを用いて、眼鏡の有無の識別結果を得る（Ｓ５）。このとき眼鏡があると判定された場合（Ｓ６）には、以降の（Ｓ７）〜（Ｓ９）の処理を続行する一方、眼鏡が無いと判定された場合には処理を終了する。ここで第２学習パターン記憶部１７では、あらかじめ多数の学習画像から学習サンプルを生成し、学習により識別パラメータを生成し、これらを保持しておき、眼鏡識別部１６へ伝送している。
【００２７】
領域抽出部１８では、前処理部１２で得られた顔領域の画像データと特徴抽出部１４で得られた特徴量（眼鏡モデルパラメータ）からデジタル画像データを複数の領域に分割し、抽出する。（Ｓ７）。
【００２８】
補間部１９では、領域抽出部１８で得られた各領域を、図３に示すようにレイヤー化し、各レイヤーのラスタ表現された画像データをベクタ表現に変換し、色の補正を行い、生成されたレイヤーデータを統合した結果をラスタ表現に変換し、出力部２０へ伝送する（Ｓ８）。出力部２０は、伝送された画像データを出力する（Ｓ９）。この出力された画像データはモニタなどの表示手段に表示される。以下、前記各機能ブロック１１〜２０の処理を個別具体的に説明する。
【００２９】
（１）前処理部１２
前処理部１２における処理の実行方法を、図４のフローチャートに示す。前処理部１２では入力画像データ内から、顔検出を行って顔領域を切り出す（Ｓ１０）〜（Ｓ１２）。この顔検出は非特許文献２に記載された手法でよい。ここでは例えば正面以外の方向を向いている顔でも検出できる顔検出手法を使用する。一般に顔検出においては、事前に多数の学習画像を用いて学習を行い、その学習の結果得られた識別パラメータを学習パターン記憶部に蓄積しておき、顔か否かの識別の際には、その識別パラメータを使用して画像内の顔の有無を識別し、画像内位置を特定する。
【００３０】
本発明においても同様に、顔検出（Ｓ１０）の際には第１学習パターン記憶部１３から識別パラメータを読み出し、識別に使用する。第１学習パターン記憶部１３は、入力された多数の学習画像から学習を行って、識別パラメータを生成し、保持する機能を持つものとする。
【００３１】
次に、入力画像データ内に顔が有ると識別された場合（Ｓ１１）、顔領域切出し（Ｓ１２）を行う。顔がないと識別された場合は処理を終了する。顔領域切出し（Ｓ１２）では、顔領域の画素値を持つ顔領域の画像データと顔領域以外の背景の画素値を持つ背景領域の画像データを生成する。まず、顔領域の画像データと背景領域の画像データの生成のために、入力されたデジタル画像データのコピーを二枚作成する。続いて、顔検出（Ｓ１０）の結果得られた画像内の顔のパーツである目、鼻、口の座標値情報を使用し、全てのパーツを含む任意の大きさの楕円領域内の画素値を選択する。そして、一方のコピー画像において、選択した楕円領域以外の画素を全て白（または黒）に変換することで顔領域の画像データとする。同様に、他方のコピー画像において、選択した楕円領域内の画素を全て白（または黒）に変換したものを背景領域画像データとする。
【００３２】
（２）眼鏡モデル生成部１５
眼鏡モデル生成部１５における処理のフローチャートを図５に示す。眼鏡モデル生成部１５では、眼鏡モデルの生成（Ｓ１３，Ｓ１４）および、保持しているデータの出力（Ｓ１５）を行う。眼鏡モデルの生成処理では「Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ」（以下、「ＡＡＭ」と略す。）を使用する。
【００３３】
「ＡＡＭ」は、アピアランスモデルと呼ばれる統計的なモデルの作成と、モデル探索によるパラメータ調節の２つの工程から構成される生成モデルと未知画像のマッチング手法である。アピアランスモデルの作成工程では、物体の形状を表す特徴点の座標値と見えを表す輝度値の相関をパラメータとして持つ統計的モデルを作成する。モデル探索によるパラメータ調節工程は、生成したアピアランスモデルと入力した未知画像とのイメージ残差を最小化するように生成したアピアランスモデルのパラメータを変化させる最適化問題に帰着し、その最適化問題を解くことで入力未知画像と生成したモデルのマッチングを行うものである。眼鏡モデル生成部１５では、「ＡＡＭ」の第１工程であるアピアランスモデルの作成のみを行う。
【００３４】
以下で、アピアランスモデル作成について簡単に概説する。アピアランスモデルは特徴点を配置した学習画像データセットを使用して作成する。まず１枚の学習画像内の特徴点の座標を並べたベクトルを形状ベクトル「ｘ」とし、全学習画像の形状ベクトルの平均形状「ｘ ｂａｒ」を求める。次に各学習画像において形状を平均形状「ｘ ｂａｒ」で正規化し、正規化された形状内の輝度値を並べ、テクスチャベクトル「ｇ」を得る。形状ベクトルと同様に、全学習画像のテクスチャベクトルの平均テクスチャ「ｇ ｂａｒ」を算出する。形状ベクトル「ｘ」とテクチヤベクトル「ｇ」とは式（１）のようにモデル化することができる。
【００３５】
【数１】
【００３６】
ここで「Ｑs」，「Ｑg」は固有ベクトルであり、「ｃ」は形状とテクスチャの両方をコントロールするアピアランスパラメータである。アピアランスパラメータ「ｃ」を用いることで、形状だけでなくテクスチャも表現することができる。また逆に、アピアランスパラメータ「ｃ」が求まれば、形状およびテクスチャを算出することが可能となる。（「ＡＡＭ」の基本原理については非特許文献３参照）。
【００３７】
具体的には、眼鏡をかけた顔画像とその顔画像に図６のように配置された特徴点の座標値を学習画像データとして多数用意し、眼鏡フレームと眼鏡のレンズ内部、眼球の形状とテクスチャから、上記の「ｘ ｂａｒ」，「ｇ ｂａｒ」，「Ｑs」，「Ｑg」を算出する。ただし、図６中の眼鏡フレーム部分特徴点の画像内の座標を（ｘf，ｙf）、レンズ部分特徴点の画像内の座標を（ｘl，ｙl）、眼球部分特徴点の画像内の座標を（ｘe，ｙe）とする。このとき、形状ベクトル「ｘ」は式（２）であらわすものとする。
【００３８】
【数２】
【００３９】
学習画像データセットから得られた「ｘ ｂａｒ」，「ｇ ｂａｒ」，「Ｑs」，「Ｑg」は、アピアランスモデルとしてメモリなどの一時記憶手段に保持しておき、特徴抽出部１４へ伝送する。なお、前記アピアランスモデルは、ハードディスクドライブ装置に保存してもよい。
【００４０】
（３）特徴抽出部１４
特徴抽出部１４における処理の実行方法を、図７のフローチャートに示す。特徴抽出部１４では、前処理部１２から伝送された顔領域の画像データを入力とし、眼鏡モデル生成部１５で作成した眼鏡モデルを使用して、最適化問題を解くことで眼鏡領域の探索を行う。探索の結果得られた眼鏡モデルパラメータを特徴量とし、その特徴量と前処理部１２から伝送された顔領域データを眼鏡識別部１６へ伝送する。
【００４１】
具体的には、「ＡＡＭ」の第２工程であるモデル探索によるパラメータ調節により眼鏡領域の探索を行う（Ｓ１６）。ここでは画像データ内から眼鏡領域を探索する際には、モデルの形状とテクスチャをあらわすアピアランスパラメータ「ｃ」に加え、顔領域の画像データ内の眼鏡位置、大きさ、回転を考慮した新しいパラメータ「ｐ」を用いる。顔領域の画像データ内の眼鏡と思われる部分の画素値から作成したテクスチャベクトル「ｇs」と眼鏡モデルを用いて作成したテクスチャベクトル「ｇm」とのイメージ残差を「ｒ（ｐ）＝ｇs−ｇm」とし、「ｒ（ｐ）」が最小となるように「ｐ」を変化させ、最適解を求める。得られた最適解から「ｃ」を逆算し、これを眼鏡モデルパラメータとする。ここでの最適化問題の詳細は非特許文献３と同様とする。
【００４２】
（４）第２学習パターン記憶部１７
第２学習パターン記憶部１７では、眼鏡の有無を識別するための識別関数データを生成し、眼鏡識別部１６へ伝送する。識別関数データの生成には、「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（以下、ＳＶＭと略す。）」を使用する。「ＳＶＭ」は２クラスの分類問題を解くためのパターン識別器を構成する手法である。識別器は入力ベクトルを非線形写像によって仮想的な高次特徴空間に写像し、その特徴空間内の２つのクラスの間で汎化能力を最大とする境界となるような超平面として構成される。ここでの「ＳＶＭ」の基本原理は非特許文献４と同様とする。
【００４３】
第２学習パターン記憶部１７の処理手順のフローチャートを図８に示す。第２学習パターン記憶部１７は、学習サンプル生成部１７−１と、識別関数データ生成部１７−２とから構成される。学習サンプル生成部１７−１では、入力された多数の学習画像から、学習画像と同じ数の学習サンプルを生成する。生成される学習サンプルは、特徴量と所属するクラスを示すラベルから構成される。
【００４４】
図８では、ラベル入力前の段階では学習サンプルの枚数「ｎ＝０」とする（Ｓ１９）。学習サンプル生成部１７−１には、学習画像として眼鏡を掛けている人物の顔画像と眼鏡を掛けていない人物の顔画像の２種類の画像が入力される（Ｓ２０）。なお、入力される顔画像は、それぞれ眼鏡を掛けている人物の顔画像の場合は眼鏡ありクラス、眼鏡を掛けていない人物の顔画像の場合は眼鏡無しクラスに属するものとし、眼鏡ありのクラスに属している顔画像のラベルは「ｙ＝１」，眼鏡なしのクラスに属している顔画像のラベルは「ｙ＝−１」として与えられている。
【００４５】
入力された１組の学習画像とラベルに対し、眼鏡モデル生成部１５で生成した眼鏡モデルを用いて、特徴抽出部１４のパラメータ最適化処理（Ｓ１６）と同様にモデル探索によるパラメータ調整を行う（Ｓ２１）。得られた眼鏡モデルパラメータを、その学習画像の特徴量とする。得られた特徴量とラベルのセットを１つの学習サンプル（ｎ＝１）とする（Ｓ２２）。この処理を繰り返し（Ｓ２３，Ｓ２４）、用意した全ての学習画像に対して行い、それぞれ特徴量を抽出し、「ｎ←ｎ＋１」枚の学習サンプルを生成する。この学習サンプルは、メモリなどの一時記憶手段に記憶しておいてもよい。
【００４６】
識別関数データ生成部１７−２では、学習サンプル生成部１７−１にて生成した学習サンプルを入力とし、「ＳＶＭ」で学習を行って識別関数データを得る。「ＳＶＭ」の学習では、ｌ個の特徴量「ｘi（ｉ＝１，２，…，ｌ）」がラベル「ｙ」とともに与えられているとき、識別関数「ｆ（ｘ）」は、式（３）の形で与えられる。この式（３）を解いて最適化する（Ｓ２５）。
【００４７】
【数３】
【００４８】
ここで、「α*，β*」は、以下の式（４）の最大化問題の最適解である。
【００４９】
【数４】
【００５０】
識別関数データ生成部Ｓ１８では、学習により生成された「α*，β*」および「ｘi」を識別関数データとして第２学習パターン記憶部１７に蓄積する（Ｓ２６）。なお、式（３）の識別関数は非線形に拡張したものを用いてもよい。
【００５１】
（５）眼鏡識別部１６
眼鏡識別部１６における処理の実行方法を、図９のフローチャートに示す。眼鏡識別部１６では、眼鏡の有無の識別処理を行う。眼鏡ありクラスか眼鏡無しクラスかを識別する際には、特徴抽出部１４で生成された特徴量と第２学習パターン記憶部１７から識別関数データを呼び出し、それらを用いてどちらのクラスに属するかを識別する（Ｓ２７）。
【００５２】
例えば、特徴抽出部１４で生成された特徴量を入力「ｘ」とし、式（３）に代入する。「ＳＶＭ」を用いた識別では未知の入力「ｘ」が与えられたとき、上記識別関数「ｆ（ｘ）」の符号により未知画像の所属するクラスを決める。具体的には、「ｆ（ｘ）≧０」のときは眼鏡ありクラス、「ｆ（ｘ）＜０」の時は眼鏡無しクラスとする。ここで入力した特徴量が眼鏡パターンであると判断された場合のみ、データを領域抽出部１８へ伝送する。眼鏡パターンはないと判断された場合、処理はここで終了する。なお、識別処理においては、「ＳＶＭ」以外にも例えば最近傍法、フィッシャーの線形識別法、ニューラルネットワークや部分空間法等を用いてもよい。
【００５３】
（６）領域抽出部１８
領域抽出部１８における処理の実行方法を、図１０のフローチャートに示す。領域抽出部１８は、眼鏡領域位置算出処理部１８−１と領域切出し部１８−２から構成される。眼鏡領域位置算出処理部１８−１では、特徴抽出部１４で得られた眼鏡モデルのパラメータを使用し、眼鏡領域の画像内における位置を算出する（Ｓ３０）。
【００５４】
具体的には、眼鏡モデルパラメータ「ｃ」から逆算し、形状ベクトル「ｘ」を算出する。その後、得られた形状ベクトルのうち眼鏡フレーム部分特徴点の画像内座標値（ｘf，ｙf）を眼鏡領域位置として算出する。次に、眼鏡フレーム領域位置として（ｘf，ｙf）と（ｘl，ｙl）を算出し、眼球領域位置として（ｘe，ｙe）を算出する（Ｓ３１）。
【００５５】
次に、領域切出し部１８−１２の処理（Ｓ３２〜Ｓ３４）を、図１１を参照して説明する。図１１は、領域切出し処理における各領域の説明図である。切り出し処理は、前処理部１２の顔領域切出し（Ｓ１２）と同様に、特定の領域以外の画素値を全て白（または黒）に置き換えた画像データを生成する。まず、図１１（ａ）の顔領域から算出した図１１（ｂ）の眼鏡領域を選択し、眼鏡領域の画素値を保存した画像データを眼鏡領域データとし、逆に眼鏡領域以外の画素値を保存し、眼鏡領域内部の画素値を白（または黒）に変更したものを顔ベース領域図１１（ｃ）とする（Ｓ３２）。さらに眼鏡領域から図１１（ｄ）に示す眼鏡フレーム領域部分の画素値を保存した画像データを作成し、また眼鏡領域から図１１（ｅ）の眼球領域部分の画素値のみを保存した画像データを作成する（Ｓ３３）。図１１（ｆ）のように眼鏡領域からフレーム領域と眼球領域の画素値を白（または黒）にしたものをレンズ領域の画像データとする（Ｓ３４）。
【００５６】
（７）補間部１９
補間部１９では領域抽出部１８で生成された領域ごとにベクタ化し、レイヤー分けを行う。ベクタ化とはラスタ表現と呼ばれるデジタル画像データのような離散値しか取れない画素の集合として記述されている画像データを、ベクタ表現と呼ばれる物体の特徴点や頂点をつないだ線分で記述した連続値を取り得る形式で表現される画像データに変換することである。具体的なベクタ化の手法として、ここではグラデーションメッシュを使用する。グラデーションメッシュとは対象とする物体の形状を網目状に区切り、その網目に沿って色のグラデーションを施すことで物の質感を写実的に表現することを可能にするグラフィック技術である。またグラデーションメッシュによるベクタ化は、非特許文献５のような最適化手法により自動生成させるものとする。
【００５７】
以下で非特許文献５におけるグラデーションメッシュの構造について図１２を用いて概説する。図１２（ａ）はおのおのの座標がパラメータ「ｕ，ｖ」の関数として表現されるパラメトリック曲面の例であり、以下これをパッチと呼ぶ。非特許文献５にて使用されているファーガソンパッチは式（５）で表現される。
【００５８】
【数５】
【００５９】
グラデーションメッシュはパッチとメッシュラインから構成され、上記ファーガソンパッチ上の点はメッシュラインを表現するための位置、位置の微分、色、色情報の微分の４種類の情報を持っている。図１２（ｂ）はグラデーションメッシュの例であり、点「ｑ」を通る２本の曲線はメッシュラインである。例えば図１２（ｂ）中の点「ｑ」の場合、式（６）の位置情報と、式（７）の位置の微分情報、式（８）のＲＧＢカラー情報、式（９）のＲＧＢカラーの微分情報を持っており、グラデーションメッシュは式（１０）で表現される。
【００６０】
【数６】
【００６１】
【数７】
【００６２】
【数８】
【００６３】
【数９】
【００６４】
【数１０】
【００６５】
また、非特許文献５はベクタ化における最適化は以下の手順で行われる。即ち、まず入力されたラスタ画像内のベクタ化したい領域を均等に分割するなどして、複数のパッチを作成することでメッシュの初期化を行う。今、Ｐ個のパッチが生成され、ベクタ化したい画像を「Ｉ」としたとき、式（１１）のエネルギー関数を最小化することでメッシュが最適化されベクタ化される。
【００６６】
【数１１】
【００６７】
具体的な補間部１９における処理手順を図１３のフローチャートに示す。補間処理は図１３の顔ベースレイヤー作成部１９−１とレンズレイヤー作成部１９−２と眼球レイヤー作成部１９−３とから構成される。各レイヤー作成部１９−１〜１９−３で作成された情報は全てレイヤー統合処理Ｓ４３により１枚の画像に合成される。
【００６８】
以下、各レイヤー作成部１９−１〜１９−３の処理を説明する。図１４は、図１３のフローチャート内の顔ベースレイヤー作成部１９−１内の処理を説明するための概念図である。顔ベースレイヤー作成部１９−１では、領域抽出部１８で作成された顔ベース領域情報を使用し、顔ベース穴埋め処理（Ｓ３８）により顔ベース領域の領域切出しの際に開いた眼鏡領域の穴を埋め、次に顔ベースベクタ化処理（Ｓ３９）を行う。
【００６９】
具体的には、顔ベース穴埋め処理（Ｓ３８）は、図１４（ａ）の顔ベース領域内の穴領域との境界の画素の画素値の平均で、眼鏡領域部分の色を補間し、図１４（ｂ）のような穴領域も肌と同じ色を持つ画像を生成する。顔ベースベクタ化処理（Ｓ３９）は、顔ベース領域を前記最適化手法により最適化されたグラデーションメッシュを作成する。図１４（ｃ）は最適化により自動作成されたメッシュの形状情報である。このメッシュ上には最適化によりテクスチャも生成される。メッシュ情報とテクスチャの両方の情報を持つ、図１４（ｄ）のような生成したベクタ画像を顔ベースレイヤーとし、生成したデータはレイヤー統合処理Ｓ４３とレンズレイヤー作成部１９−２に伝送する。
【００７０】
眼球レイヤー作成部１９−３では、領域抽出部１８で作成された眼球領域の情報を使用し、前記最適化手法を用いて眼球領域ベクタ化処理（Ｓ４２）を行う。ここで生成したベクタ画像を眼球レイヤーとし、生成したデータはレイヤー統合処理Ｓ４３とレンズレイヤー作成部１９−２に伝送する。
【００７１】
レンズレイヤー作成部１９−２では、領域抽出部１８で作成されたレンズ領域の情報を使用し、前記最適化手法を用いてレンズ領域ベクタ化処理（Ｓ４０）を行う。ここで生成したベクタ画像をレンズレイヤーとする。次に、生成した顔ベースレイヤーと眼球レイヤーとレンズレイヤーの３つのレイヤーの情報を用いて、レンズレイヤー色補正（Ｓ４１）を行う。レンズレイヤー色補正（Ｓ４１）の処理内容を、図１５を参照して説明する。生成したレイヤーには図１５（ａ）のようなメッシュと、その交差点であるメッシュポイントを持っている。メッシュポイントは色情報を保持し、メッシュポイント近傍の色の具合を制御することが可能である。まず、レンズレイヤーの外側の輪郭部分のメッシュポイントである図１５（ｂ）の顔ベース側メッシュポイントの色を、図１５（ｃ）のように対応する顔ベースレイヤー内における同じ座標値の場所の色に置換する。次に、内側の輪郭部分のメッシュポイントである図１５（ｂ）の眼球側メッシュポイントの色は、図１５（ｄ）のように対応する眼球レイヤー内の同じ座標値の場所の色に置換することで色を制御する。
【００７２】
レイヤー統合処理Ｓ４３では、下から順に、前処理で切出した背景領域、顔ベースレイヤー、レンズレイヤー、眼球レイヤーの順に重ね合わせて一枚のラスタ画像データに変換する。ラスタ画像への変換処理は、ベクタ表現されていた画像を離散の値をとる画像データに変換することである。なお、ベクタ化画像の自動生成については、非特許文献の手法以外に「ｓｕｂｄｉｖｉｓｉｏｎｍｅｓｈ」を用いてもよい。
【００７３】
また、本発明は、上記実施形態に限定されるものではなく、例えば前記画像処理装置１０の各機能ブロック１１〜２０としてコンピュータを機能させるプログラムとして構築することもできる。このプログラムは、各機能ブロック１１〜２０の全ての処理をコンピュータに実行させてもよく、また、その一部の機能をコンピュータに実行させるものであってもよい。
【００７４】
このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供することができる。また、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。この記録媒体から読み出されたプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態に係る画像処理装置の機能ブロック図。
【図２】同 全体処理を示すフローチャート。
【図３】同 補間手段によるレイヤー化の概略図。
【図４】同 前処理部の処理を示すフローチャート。
【図５】同 眼鏡モデル生成部の処理を示すフローチャート。
【図６】同 特徴抽出部の使用する眼鏡モデルの概念図。
【図７】同 特徴抽出部の処理を示すフローチャート。
【図８】同 第２学習パターン記憶部の処理の示すフローチャート。
【図９】同 眼鏡識別部の処理を示すフローチャート。
【図１０】同 領域抽出部の処理を示すフローチャート。
【図１１】同 領域抽出部の切出し領域の概念図。
【図１２】同 補間部部のグラデーションメッシュの構造を示す概念図。
【図１３】同 補間部の処理を示すフローチャート。
【図１４】同 顔ベースレイヤー作成部内の処理手順を示す概念図。
【図１５】同 レンズレイヤー色補正の処理手順を示す概念図。
【符号の説明】
【００７６】
１０…画像処理装置
１１…画像データ入力部
１２…前処理部（前処理手段）
１３…第１学習パターン記憶部
１４…特徴抽出部（特徴抽出手段）
１５…眼鏡モデル生成部（眼鏡モデル生成手段）
１６…眼鏡識別部（眼鏡識別手段）
１７…第２学習パターン記憶部
１７−１…学習サンプル生成部
１７−２…識別関数データ生成部
１８…領域抽出部（領域抽出手段）
１８−１…眼鏡領域位置算出部
１８−２…領域切出し部
１９…補間部（補間手段）
１９−１…顔ベースレイヤー作成部
１９−２…レンズレイヤー作成部
１９−３…眼球レイヤー作成部
２０…出力部
【特許請求の範囲】
【請求項１】
人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理装置であって、
サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する眼鏡モデル生成手段と、
入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する特徴抽出手段と、
前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する眼鏡識別手段と、
前記撮像画像を前記顔領域と前記眼鏡領域の特徴量とから任意の領域に分割する領域抽出手段と、
前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する補間手段とを備え、
前記統合結果を出力することを特徴とする画像処理装置。
【請求項２】
前記撮像画像内における顔の有無を識別して、前記顔領域を抽出する前処理手段を備え、
前記特徴抽出手段は、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出するとともに、
前記眼鏡識別手段は、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域抽出手段は、前記撮像画像内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出する手段と、前記顔領域を複数の領域に分割して切り分ける手段とを備え、
前記補間手段は、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋める手段と、任意の領域のレイヤーを作成する手段と、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正する手段と、複数の前記レイヤーを単一の画像に変換して統合する手段とを備える
ことを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
【請求項４】
人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理方法であって、
眼鏡モデル生成手段が、サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する第１ステップと、
特徴抽出手段が、入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する第２ステップと、
眼鏡識別手段が、前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する第３ステップと、
領域抽出手段が、前記顔領域と前記眼鏡領域の特徴量とから前記撮像画像を任意の領域に分割する第４ステップと、
補間手段が、前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する第５ステップと、
前記第５ステップの統合結果を出力する第６ステップと、
を有することを特徴とする画像処理方法。
【請求項５】
前処理手段において前記撮像画像内の顔の有無を識別して、前記顔領域を抽出するステップをさらに有し、
前記第２ステップは、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出し、
前記第３ステップは、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定する
ことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記第４ステップは、前記入力画像データ内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出するステップと、前記顔領域を複数の領域に分割して切り分けるステップとを有する一方、
前記第５ステップは、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋めるステップと、任意の領域のレイヤーを作成するステップと、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正するステップと、複数の前記レイヤーを単一の画像データに変換して統合するステップとを有する
ことを特徴とする請求項４または５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１〜３のいずれか１項に記載の画像処理装置を構成する各手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項８】
請求項７記載の画像処理プログラムを記録した記録媒体。
【請求項１】
人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理装置であって、
サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する眼鏡モデル生成手段と、
入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する特徴抽出手段と、
前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する眼鏡識別手段と、
前記撮像画像を前記顔領域と前記眼鏡領域の特徴量とから任意の領域に分割する領域抽出手段と、
前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する補間手段とを備え、
前記統合結果を出力することを特徴とする画像処理装置。
【請求項２】
前記撮像画像内における顔の有無を識別して、前記顔領域を抽出する前処理手段を備え、
前記特徴抽出手段は、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出するとともに、
前記眼鏡識別手段は、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域抽出手段は、前記撮像画像内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出する手段と、前記顔領域を複数の領域に分割して切り分ける手段とを備え、
前記補間手段は、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋める手段と、任意の領域のレイヤーを作成する手段と、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正する手段と、複数の前記レイヤーを単一の画像に変換して統合する手段とを備える
ことを特徴とする請求項１または２のいずれか１項に記載の画像処理装置。
【請求項４】
人物の撮像画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理方法であって、
眼鏡モデル生成手段が、サンプル画像の学習パターンから、眼鏡フレーム形状と眼鏡フレーム内部の眼球の形状、および眼鏡フレームと眼球を含む眼鏡フレーム内部のテクスチャを加味した眼鏡モデルを生成する第１ステップと、
特徴抽出手段が、入力された前記撮像画像内の顔領域と前記眼鏡モデルとから眼鏡領域の特徴量を抽出する第２ステップと、
眼鏡識別手段が、前記眼鏡領域の特徴量と学習パターンの特徴量とを比較して、前記撮像画像内の眼鏡の有無を判別する第３ステップと、
領域抽出手段が、前記顔領域と前記眼鏡領域の特徴量とから前記撮像画像を任意の領域に分割する第４ステップと、
補間手段が、前記分割された各領域のデータから任意のテクスチャを生成し、各領域を統合する第５ステップと、
前記第５ステップの統合結果を出力する第６ステップと、
を有することを特徴とする画像処理方法。
【請求項５】
前処理手段において前記撮像画像内の顔の有無を識別して、前記顔領域を抽出するステップをさらに有し、
前記第２ステップは、前記眼鏡領域の探索を行って、探索の結果得られた眼鏡モデルパラメータを特徴量として抽出し、
前記第３ステップは、データベースに保存された学習パターンの識別パラメータを特徴量として読み込み、前記眼鏡モデルパラメータを用いて、前記撮像画像内の眼鏡の有無を判定する
ことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記第４ステップは、前記入力画像データ内における前記眼鏡領域の座標値、眼鏡フレーム領域の座標値および眼球領域の座標値を算出するステップと、前記顔領域を複数の領域に分割して切り分けるステップとを有する一方、
前記第５ステップは、領域抽出手段にて切り分けられた各領域内のオブジェクトの空洞の画素値を埋めるステップと、任意の領域のレイヤーを作成するステップと、前記オブジェクトからテクスチャを自動生成して該テクスチャを補正するステップと、複数の前記レイヤーを単一の画像データに変換して統合するステップとを有する
ことを特徴とする請求項４または５のいずれか１項に記載の画像処理装置。
【請求項７】
請求項１〜３のいずれか１項に記載の画像処理装置を構成する各手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項８】
請求項７記載の画像処理プログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２９４９５５（Ｐ２００９−２９４９５５Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４８６０１（Ｐ２００８−１４８６０１）
【出願日】平成２０年６月５日（２００８．６．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月５日（２００８．６．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]