映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
【課題】 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置を提供する。
【解決手段】 描写された多角形のメッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成方法において、入力映像の正面及び側面の顔映像内の顔特徴を検出する段階と、特定顔の３次元形状を決定するために、検出された顔特徴を利用して初期モデルを変形させて３次元の顔モデルを生成する段階と、入力映像からフォトリアリスティックなテクスチャを生成する段階と、前記テクスチャを前記３次元モデル上にマッピングする段階と、を含むことを特徴とする３次元の顔モデリング方法。これにより、デジタルカメラのように相対的に高価ではない装置を利用してデータを獲得し、可能な限り自動化を具現して、完全でない入力データから望ましく実際の人間らしい顔のモデ
リング方法を提供する。
【解決手段】 描写された多角形のメッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成方法において、入力映像の正面及び側面の顔映像内の顔特徴を検出する段階と、特定顔の３次元形状を決定するために、検出された顔特徴を利用して初期モデルを変形させて３次元の顔モデルを生成する段階と、入力映像からフォトリアリスティックなテクスチャを生成する段階と、前記テクスチャを前記３次元モデル上にマッピングする段階と、を含むことを特徴とする３次元の顔モデリング方法。これにより、デジタルカメラのように相対的に高価ではない装置を利用してデータを獲得し、可能な限り自動化を具現して、完全でない入力データから望ましく実際の人間らしい顔のモデ
リング方法を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像処理に係り、特に、映像からフォトリアリスティックな（photorealistic）３次元の顔（または顔面）モデリングを行うために映像（image:一般的な像であって、像が形成された媒体には依存しない）に基づいたフォトリアリスティックな３次元の顔モデリングを行う方法及びそのための装置に関する。
【背景技術】
【０００２】
フォトリアリスティック（Photorealistic；写真上の写実性）な３次元の人間顔モデルを自動的に生成する技術は、長期間コンピュータグラフィック分野で極めて重要な課題として残っていた。この技術により可能となる事実感のある人間の顔モデルにより仮想現実空間、コンピューターゲーム、画像会議及びアニメーションの製作のような多様な応用が開発することができる。
【０００３】
たとえ複雑な被写体から精密な３次元の形状を捕らえられることのできるレーザースキャナー及び構造光を利用した距離測定器のような装置が存在するが、そのコストが極めて高くて使用し難い。一方、コンピュータを利用したインタラクティブな（interactive；対話型の）顔モデリング技術は多くの努力及び専門性を要求する。そのために、一般的なパソコンユーザーにより容易にフォトリアリスティックな人間顔のモデルを生成させるために、この分野に数多くの努力が競走されてきた。言い換えれば、それほど高価ではない装置（デジタルカメラのような装置）を利用してデータを獲得し、ユーザーが生成作業の全般を制御するが、これと共に可能なかぎり自動化を実現して、完全でない入力データからでも望ましい結果が生成できるロバストな（robust）方法（アルゴリズム）を開発することが課題であった。
【０００４】
自動的に顔モデルを復元するシステムは、３次元の顔形状データに使われたソースデータを基準にして幾つかのカテゴリーに大別することができる。以前の開発者はレーザースキャナーまたは光学装置を利用してデータが獲得できる技術を開発した。この方法の問題点は、一般的に装備が高価であり、使用し難い点である。
【０００５】
また、正面及び側面映像から顔モデルを生成するための多くの努力と競走がされてきた。しかし、２つの映像間即ち２枚の映像画面の間に厳格な直交関係を得ることは特殊な補助器具を使用していない一般的な携帯用カメラを利用する場合、困難である。したがって、相異なる角度から直接獲得された形状情報は矛盾する部分があり、この部分に対する解決策がまだ提示されていない。
【０００６】
あるシステムは、ユーザーによって指定された数個の映像内の特徴点に依存して顔モデルを生成することができるが、この過程は多くの時間及び努力を必要とする。
【０００７】
他の解決法のうち、光流及びステレオ法を利用する方法が完全な自動復元過程に向かう最も進歩された方法と見える。しかし、この装置の結果顔モデルには深刻なノイズを含み、顔表面が不自然な変形を示す場合もある。
顔モデルに所望していない結果を生じることを防止し、結果のロバスト性（robustoness）を増加させるために、ある人はモーフィングされうる（morphable; 形態要素となり得る）顔モデルを使用する。前記顔モデルは限定された数の特徴点だけを用いて前記顔モデルを復元された３次元点またはソース画像に整合させるか、前記顔モデルの形状復元のために、モデルに基づいた束合調整技法（model-based bundle adjustment)を使用する。このような問題解決法は特徴点の集合の稠密度に大きく依存する。
【０００８】
ステレオ復元法を利用した正確なモデルを獲得するための他の方法は、顔形状の復元を、意図された付加的な制限に適合する変形可能な顔モデルに制限するものである。しかし、これはモデルの精密度を劣化させることになるる。
【０００９】
ある人は深さ情報に対する従来技術によって、ただ正面顔画像からモデルを構成しようとするが、その結果、顔モデルの品質は写真上の写実性（Photorealistic）を失う。
【００１０】
顔モデリングの重要な論点のうち１つは、顔特徴を自動的に抽出し出すことである。外貌に基づいた顔特徴のモデリング、人間の肉眼注視に基づいたアルゴリズム、特定エッジ及び低い輝度画素パターンの検索、形態演算子（morphological operator）などの技法を利用した多様な顔特徴の検出方法が提案されてきた。このような技術分野が明確に発展されてきたことは事実であるが、人間らしさを基準とする顔分析アルゴリズムを生成す
るために、精密度及びロバスト性の観点より性能を向上させるためにはまだ多くの研究が行われなければならない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、２つの映像（正面及び側面映像）または３つの映像（正面映像、正面隣接映像、側面映像）から３次元の人間顔モデル復元を行うために、画像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置を提供するところにある。
【課題を解決するための手段】
【００１２】
前記技術的課題を解決するための本発明による、映像に基づいたフォトリアリスティックな３次元の顔モデリング方法は、描写された多角形メッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成方法において、（ａ）入力映像の正面及び側面顔映像内の顔特徴を検出する段階と、（ｂ）特定顔の３次元形状を決定するために、前記検出された顔特徴を利用して初期モデルを変形させて３次元の顔モデルを生成する段階と、（ｃ）入力映像からフォトリアリスティックなテクスチャ（texture: 肌理）を生成する段階と、（ｄ）前記テクスチャを前記３次元モデル上にマッピング（mapping: 配図）する段階と、を含むことを特徴とする。
【００１３】
前記（ａ）段階は、入力映像の正面及び側面顔映像内の顔特徴を検出することを行う。前記（ｂ）段階は、正面及び正面隣接映像から顔深さ情報を生成する段階をさらに含み、特定顔の３次元形状を決定するために、前記顔特徴を利用して初期モデルを変形させ、前記顔深さ情報を利用して前記変形された３次元の顔モデルを適合させることが望ましい。
【００１４】
前記（ａ）段階の正面顔特徴検出は、皮膚領域を検出する段階と、顔領域を検出する段階と、目の境界ボックスを検出する段階と、眼球の虹彩を検出する段階と、正面顔映像を正規化する段階と、目の外郭を検出する段階と、眉を検出する段階と、唇の外郭を検出する段階と、鼻の外郭を検出する段階と、あごを検出する段階と、頬の外郭を検出する段階と、を含んでいる。
【００１５】
前記正面顔映像の正規化段階は、２つの虹彩の中心間を結ぶ線を水平にして回転させ、所定の映像解像度に正規化することが望ましい。
【００１６】
前記（ａ）段階の側面顔の特徴検出は、顔領域を検出する段階と、側面曲線を検出する段階と、基準点を検出する段階と、耳の外郭線を検出する段階と、を含むことが望ましい。
【００１７】
前記正面及び正面隣接映像から深さ情報を抽出する段階は、正面映像内の映像特徴点を決定する段階と、特徴点に対してモデルに基づくルーカス・カナダの追跡（Ｌｕｃａｓ−Ｋａｎａｄｅ ｔｒａｃｋｉｎｇ）を行って前記正面隣接映像内に相応する点を捜し出す段階と、整合した対応点を利用してデータ補間を行って充分にデータ点が補充されたディスパリティマップ（disparity map; 不釣合い図）を得る段階と、前記ディスパリティマップを深さ情報に変換する段階と、を含んでいる。
【００１８】
前記ディスパリティマップを深さ情報に変換する段階は、最大ディスパリティ値と最小ディスパリティ値の差を得る段階と、前記の差分値を顔幅で除算して所定の定数値を乗算することによって係数を決定する段階と、測定されたディスパリティ値から最小ディスパリティ値を差引いて得られた値を乗算することによって与えられた画素の深度値を得る段階と、を含んでいる。
【００１９】
前記（ｂ）段階の初期顔モデルに適合する方法は、３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元の点に変換する段階と、前記映像特徴及び前記初期３次元のメッシュモデル特徴点間の対応性を利用して、３段階放射形基盤関（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）基盤のモーフィング作業を行って前記３次元の顔メッシュモデルを変形する段階と、を含むことが望ましい。
【００２０】
前記（ｃ）段階は、入力映像上で相異なる照明条件の違いによるズレまたはカメラ間の色バランスのズレを色補償する段階と、写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通のＵＶ平面（public UV plane）上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する段階と、多重解像度のスプラインアルゴリズムを利用して正面と側面のテクスチャ及び人工テクスチャを混合してテクスチャを完成する段階と、を含んでいる。
【００２１】
前記技術的課題を解決するための本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング装置は、描写された多角形のメッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成装置において、入力映像の正面及び側面顔映像の顔特徴を検出する顔特徴検出部と、前記検出された顔特徴を利用して所定の初期モデルを変形させて３次元の顔モデルを生成する顔モデル変形部と、入力映像からフォトリアリスティックなテクスチャを生成するテクスチャ生成部と、前記テクスチャを前記顔モデル変形部で生成された３次元の顔モデルにマッピングするマッピング部と、を含むことを特徴とする。
【００２２】
前記顔モデルのバリエーションとしては、正面及び正面隣接映像から顔深さ情報を抽出する深さ情報生成部をさらに有し、前記顔特徴検出部で検出された顔特徴と前記深さ情報生成部で生成された顔深さ情報を利用して所定の初期モデルを変形させて３次元の顔モデルを生成することを含んでいる。
【００２３】
前記顔特徴検出部は、正面顔の特徴を検出する正面顔の特徴検出部と、側面顔の特徴を検出する側面顔の特徴検出部と、を含んでいる。前記正面顔の特徴検出部は皮膚領域を検出する皮膚領域検出部と、顔領域を検出する顔領域検出部と、目の境界ボックスを検出する目の境界ボックス検出部と、虹彩を検出する虹彩検出部と、正面顔映像を正規化する正面顔正規化部と、を含んでいる。
【００２４】
前記正面顔の特徴検出部は、目の外郭線を検出する目の外郭線の検出部と、眉を検出する眉検出部と、唇の外郭線を検出する唇の外郭線検出部と、鼻の外郭線を検出する鼻の外郭線検出部と、あご及び頬の外郭線を検出するあご及び頬の外郭線検出部のうち少なくとも１つをさらに有することが望ましい。
【００２５】
前記側面顔の特徴検出部は、側面顔領域を検出する側面顔領域検出部と、側面曲線を検出する側面曲線検出部と、基準点を検出する基準点検出部と、耳の外郭線を検出する耳の外郭線の検出部と、を含むことが望ましい。
【００２６】
深さ情報生成部は、正面映像内の映像特徴点を決定して前記正面隣接映像内で前記特徴点に相応する点を捜し出す特徴点検出部と、整合した一致点を利用してデータ補間を行って充分にデータ点が補充されたディスパリティマップを得るマップ獲得部と、前記ディスパリティマップを深さ情報に変換する深さ情報変換部と、を含んでいる。
【００２７】
前記顔モデルのバリエーションとしては、３次元の初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元点に変換する２次元点変換部と、前記映像特徴及び前記初期３次元のメッシュモデル特徴点間の対応性を利用して、３段階ＲＢＦ基盤のモーフィング作業を行って前記３次元顔メッシュモデルを変形する顔メッシュモデル変形部を含んでいる。
【００２８】
前記テクスチャ生成部は、入力映像上で相異なる照明条件の違いによる色バランスのズレまたはカメラ間の色のバランスのズレを色補償する入力映像補償部と、写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する正面／側面テクスチャ生成部と、多重解像度のスプラインアルゴリズムを利用して正面と側面のテクスチャ及び人工テクスチャを混合してテクスチャを完成するテクスチャ完成部を含んでいる。
【００２９】
そして、前記発明をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体を提供する。
【発明の効果】
【００３０】
本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置によれば、デジタルカメラのような比較的には高価ではない装置を利用してデータを獲得し、可能な限り自動化を実現し、完全でない入力データから望ましい結果が生成できるロバスト性を有する方法を提供する。すなわち、顔特徴を自動的に抽出し、人間らし
い顔分析方法を提供する。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して本発明の最良の実施例を説明する。
【００３２】
まず、本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置の全体的な概要を説明し、前記本発明の細部内容に該当する顔特徴検出、顔モデル変形、テクスチャ生成及びステレオ映像対を利用した３次元復元を説明する。
【００３３】
本発明によるシステムは、２枚または３枚の顔写真を利用する。すなわち、２枚の顔写真を利用する時には、正面写真及び側面写真を利用し、３枚の顔写真を利用する時には、正面写真、正面隣接写真及び側面写真を利用してフォトリアリスティックな３次元の多角形顔モデルを生成する。
【００３４】
映像取得条件は単純である。すなわち、映像輝度の良好な対応及びシャープネス及び顔領域の十分な照度であれば良い。
【００３５】
図１は、本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法を示したフローチャートである。そして、図２は、モデル生成作業をより具体的に写真と共に示した図である。
【００３６】
図１及び図２に示されたように、モデル生成作業は、次のような段階を含む。最初に、自動の正面顔特徴検出及び半自動の側面顔の特徴検出が行われる（１００段階）。第２に、初期３次元の顔モデルを変形して正面顔特徴と適合させる（１２０段階）。そして、自動でモデル基盤のステレオ整合が行われて正面写真の深さマップを獲得すれば、モデルはさらに変形されて側面特徴及び予測されたステレオ深さマップの何れとも適合させる（１４０段階）。最終的に、モデルテクスチャが正面及び側面写真から生成されるが、この時、顔モデルを構成する多角形の内のいくつかの多角形には人工皮膚が生成される（１６０段階）。次いで、前記生成されたテクスチャは前記整合した顔モデルにマッピングされて３次元の顔モデルを生成する（１８０段階）。
【００３７】
モデル変形をするために深さマップ及び側面特徴の両方を使用することは同じような作業の反復であると見られうる。しかし、深さマップは幾何学的な情報に対する膨大で、かつ詳細なる情報を提供し、これは最終モデルがさらに写実的に見えるようにする効果をもたらす。
【００３８】
もし正面隣接映像が提供されなければ、本発明による３次元の顔モデリング方法は単純に前記正面隣接映像に関連した段階を省略して進めることができ、この場合にも合理的な結果が得られる。
【００３９】
本発明による３次元の顔モデリング方法で、新しいモデルは初期モデルの変形により生成される。すなわち、初期モデルを被験者の入力データに合致させることによって特定顔を生成する。初期モデル（図２では、一般メッシュとする）は人間顔が有する普遍的な特徴点に基づき構成される顔モデルであると考えられるが、この情報が顔モデリング方法の自動化工程及び顔モデリング方法のロバスト性を容易に実現する。図３に示されたような初期モデルは虹彩及び顔部分を除いても７,１３８個の頂点及び１４,０９６個の三角形を含む。
【００４０】
初期モデルは標準正面の方に配置される。すなわち、Ｘ軸は右側で左側方向であり、Ｚ軸は目の注視方向であり、Ｙ軸は下部で上部方向を示すので、右手方向の座標フレームを形成する。このような軸方向は特別に説明がなければ、本明細書で共通的に使う。図４は、典型的な正面、正面隣接及び側面入力映像を示したものである。
【００４１】
図５は、本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング装置の構成を示したブロック図であって、当該装置は、顔特徴検出部５００、顔モデル変形部５１０、テクスチャ生成部５２０及びマッピング部５３０を含んでおり、深さ情報生成部５４０をさらに有することが望ましい。
【００４２】
前記顔特徴検出部５００は、入力映像の正面及び側面顔映像の顔特徴を検出する。前記顔モデル変形部５１０は前記検出された顔特徴を利用して所定の初期モデルを変形させて３次元の顔モデルを生成する。また、前記顔モデル変形部５１０は前記深さ情報生成部５４０をさらに有する場合には、前記顔特徴検出部５００で検出された顔特徴と前記深さ情報生成部５４０で生成された顔深さ情報とを利用して所定の初期モデルを変形させて３次元の顔モデルを生成する。
【００４３】
前記テクスチャ生成部５２０は、入力映像からフォトリアリスティックなテクスチャを生成する。前記テクスチャは必要に応じて人工テクスチャであっても良い。前記マッピング部５３０は前記テクスチャを前記顔モデル変形部５１０で生成された３次元の顔モデルにマッピングする。前記深さ情報生成部５４０は正面及び正面隣接映像から顔深さ情報を抽出する。
１．顔特徴検出
【００４４】
図６に示されたように、前記顔特徴検出部５００は正面顔の特徴を検出する正面顔の特徴検出部６００及び側面顔の特徴を検出する側面顔特徴検出部６５０を含んで構成されている。
１.１ 正面顔特徴の検出
【００４５】
正面顔の特徴検出部６００は、図７に示されたように、皮膚領域を検出する皮膚領域検出部７００、顔領域を検出する顔領域検出部７０５、目の境界ボックスを検出する目の境界ボックス検出部７１０、虹彩を検出する虹彩検出部７１５及び正面顔映像を正規化する正面顔正規化部７２０を含んでなる。
また、前記正面顔の特徴検出部６００は、必要に応じて目の外郭線を検出する目の外郭線検出部７２５、眉を検出する眉の検出部７３０、唇の外郭線を検出する唇の外郭線検出部７３５、鼻の外郭線を検出する鼻の外郭線検出部７４０及びあご及び頬の外郭線を検出するあご及び頬の外郭線検出部７４５のうち少なくとも１つをさらに具備することが望ましい。
【００４６】
まず、正面特徴検出に対して説明する。図８及び図９は、正面顔特徴検出をより詳細に示したフローチャートであって、皮膚領域検出（８００段階）、顔領域検出（８１０段階）、目の境界ボックス検出（８２０段階）、虹彩検出（８３０段階）、正面顔映像正規化（８４０段階）、目の外郭線の検出（９００段階）、眉の検出（９１０段階）、口（唇）の外郭線検出（９２０段階）、鼻の外郭線検出（９３０段階）、顔輪郭（あご及び頬）の外郭線検出（９４０段階）段階に区分される。
【００４７】
各段階は、以前段階が成功的に行われたことを仮定し、以前に検出された特徴の適当な精密度を要求する。このような目的のために、特徴検出が不正確であれば、ユーザーは各段階を行った後、特徴検出の不正確性を手作業で補正することが可能である。
１.１.１ 皮膚検出
【００４８】
正規化されたｒ−ｇ色差の色空間内の事前に学習された最大確率ベイジアン分類器（maximum likelihood Bayesian classifier）が皮膚色モデリング及び検出のために使われる。正規化されたｒ−ｇ色空間が選択される理由は、これがＲＧＢ空間から高速で容易に変換され、ベイジアンＭＬ分類器（maximum likelihood Bayesian classifier）を利用して皮膚色モデリングを良好に行う性能を有するためである。
当該学習は２つの統計値
−及びを収集することによって行われ、学習映像の顔及び非顔領域から求めた皮膚及び非皮膚のヒストグラムから計算される。皮膚確率映像は、入力フレームの各画素に対してこのような測定を行うことによって構成される。
【数１】
【００４９】
プリオリ（priori）な皮膚及び非皮膚確率が同一であると仮定する場合、これはベイジアン最大確率基準（maximum likelihood Bayesian criteria）を満足する。結果的に得られる皮膚確率映像が顔領域追跡に使われる。
１.１.２ 顔領域の検出
【００５０】
図１２Ａは、図７の顔領域検出部７０５を示した詳細部ブロック図であって、顔領域初期化部１２３０、楕円安定化部１２４０及び顔領域決定部１２５０を含んでいる。
【００５１】
前記顔領域初期化部１２３０は皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する。前記楕円安定化部１２４０は前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる。前記顔領域決定部１２５０は前記安定化された楕円が接してなる境界方形を顔領域として決定する。
【００５２】
図１２Ｂは、顔領域検出を示したフローチャートである。顔領域は適切な楕円に検出され、本発明では変形可能な楕円モデルに基づいた技法が使われる。図１３に示されたように、初期楕円モデルは、適当な顔位置で初期化される（１２００段階）。前記顔位置は皮膚色で連結された最大成分、または最も大きい２つの成分がほぼ同じサイズを有する場合には２つのうちにさらに映像中心部に近い成分が当該モデルになる。
【００５３】
前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて、楕円を初期化及び回転させる（１２１０段階）。これをより具体的に次に説明する。
【００５４】
楕円境界に位置した多数の方形プローブ（probe: 検査針点）が楕円境界上での皮膚色画素の分散を測定し、モデルの変形を制御する。各プローブの移動は次の規則を適用して決定される。
【００５５】
まず、次の２つの値を計算する。
【数２】
【００５６】
ここで、Ｎinsideはプローブ及び楕円の両方の内部に位置する皮膚画素数であり、Ｎoutsideはプローブ内及び楕円外部に位置する皮膚画素数であり、Ｓはプローブの面積である。この時、プローブが顔領域の内部に存在するならば、ＰinとＰoutは大きい値を有し、顔領域の外部に存在すれば、小さな値を有する。楕円が顔領域の境界に位置すれば、Ｐinは大きい値を、Ｐoutは小さな値を示す。
【００５７】
もし、Ｐin＜ＴInであれば（ＴInは閾値）、プローブは速度ＶInを有して内部に移動する。また、Ｐout＞Ｔout（Ｔoutは閾値）であれば、プローブは速度Ｖoutで外部に移動する。すなわち、もしプローブ内部の隣接領域に皮膚画素がほぼ存在していなければ、プローブは顔領域の外側に存在するので、現位置で内部に移動し、もしプローブ内部及び外部に存在する皮膚画素数が十分であれば、プローブは皮膚上に存在するので、現位置で外部に移動する。
【００５８】
モデル変形の一段階は、あらゆるプローブの離隔を計算して再配置されたプローブの中心に楕円を再近似する過程を含む。楕円は固定した方向（垂直長軸）を有するように限定される。このようにして前記安定化された楕円の境界方形を顔領域として決定する（１２２０段階）。
【００５９】
図１０及び図１１は、顔領域検出の幾つかの結果を例示するが、ここで、小さな楕円が初期領域であり、大きい楕円が検出された結果である。
１.１.３ 目の境界ボックスの検出
【００６０】
図１４Ａは、図７の目の境界ボックス検出部７１０の細部構成を示した図であって、ボケ映像生成部１４５０、映像二値化部１４６０、目候補検索部１４７０及び目の境界ボックス決定部１４８０を含んでなる。
【００６１】
前記滲み映像生成部１４５０は、低域通過フィルタリングを通じてボケた映像を生成する。前記映像二値化部１４６０は元の映像からボケた映像を引いた映像の各画素で自分と周辺画素値の平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像を二値化して表現する。前記目候補検索部１４７０は前記映像二値化部で二値化して表現された映像に連結されたセグメントを目の候補として探し出す。前記目の境界ボックス決定部１４８０は前記目の候補検索部で探し出した目候補を形状、サイズ及び相対的位置基準で評価して目の境界ボックスを決定する。
【００６２】
図１４Ｂは、目の境界ボックス検出を示したフローチャートである。
【００６３】
低域通過フィルタリングを通じてボケた映像を生成する（１４００段階）。元の映像で前記ボケた映像を差引いた映像を取得する（１４１０段階）。前記取得された映像の各画素で自分と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像をニ値化する（１４２０段階）。連結されたセグメントを目の候補として捜し出す（１４３０段階）。形状、サイズ及び相対的な位置基準で前記候補を評価して目の境界ボックスを決定する（１４４０段階）。
【００６４】
これをより細部的に説明すれば、次のようである。本発明による目の境界ボックス及び虹彩検出は数個のスケールで顔映像の赤色チャンネル内の目形状と類似した領域の検出及び目サイズの変異を検出するのに基づく。赤色チャンネルが選択される理由は、虹彩、甚だしくは明るい目（青色、緑色）の場合においても、赤色成分は低い値を示すのに対して、虹彩及び周囲皮膚は相対的に高い赤色成分を示すためである。また、実験結果、赤色チャンネルを利用するのが階調映像に基づいた方法を利用することに比べて良好な結果を提供することが明らかになった。
【００６５】
まず、元の赤色チャンネルが前処理されて前記段階で検出された楕円の境界方形による顔部分だけを保存し、固定された幅を有するようにスケーリング（sacling）される。赤色チャンネルの輝度値もこの段階で最大範囲に拡張される。
【００６６】
第２に、変異映像Ｖn,α（ｘ、ｙ）が数式３を利用して計算されるが、ここで、変異映像は各地点が目に該当する確率を示す。
【数３】
【００６７】
ここで、ｐ、ｒは画素位置であり、Ｉは前処理以後の赤色チャンネル映像であり、Ｒn,x,yは（ｘ,ｙ）地点に中心をおいた（ｘ ｎ ５）サイズを有する方形であり、Ｐn,rはｒに中心をおいた（ｎ ｘ ｎ／２）サイズを有する楕円であり、はスケーリング係数である。ｎは目特徴の予想されたサイズを表わす。
【００６８】
変異映像は４個のｎ及びαの組み合わせのために計算されて顔検出段階で発生しうるエラーを減少させ、目形状の多様な変化に対処できるようにする。図１５及び図１６は、相異なる係数の組み合わせから求められた結果を参照するためのものである。組み合わせは、次のように表せる。
・n = OPTIMAL＿FACE＿WIDTH / 30, ;
・n = OPTIMAL＿FACE＿WIDTH / 25, ;
・n = OPTIMAL＿FACE＿WIDTH / 30, ;
・n = OPTIMAL＿FACE＿WIDTH / 25, ;
【００６９】
第３に、閾値に該当する変異映像内の連結された成分は形状、サイズ及び相手位置の基準を満足するか否かがテストされて最適に整合する目の境界ボックスを獲得する。相異なる変異映像から求められた結果は、次のような戦略で併合される。
【００７０】
第１段階．最小スケールから始まる（前記のような１番目構成）
【００７１】
第２段階．もし目候補が現在の検索領域内に存在するならば、
ａ）もし以前スケールに候補が全然検出されなかったとすれば、目を現在候補として設定し、段階３に進む。
ｂ）もし候補が既に発見されたとすれば、現在スケール候補を以前候補と比較する。もしこれらのサイズ及び位置が急変されないならば、目を現在スケールの候補に更新する。
【００７２】
第３段階．次のスケール（より大きいスケール）を選択して第２段階に進む。
【００７３】
検出結果は、図１７に示されたような目の境界ボックスである。
１.１.４ 目の虹彩の検出
【００７４】
虹彩検出は、赤色チャンネル映像内の目の境界ボックスの内部で虹彩を検出する。
【００７５】
図１８Ａは、図７の虹彩検出部７１５の構成を示したブロック図であって、ハイライト探索部１８６０、虹彩初期化部１８７０、虹彩中心／半径測定部１８８０及び虹彩決定部１８９０を含んでなる。
【００７６】
前記ハイライト探索部１８６０は前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素の数を閾値と比較することによってハイライトの存在を評価する。前記虹彩初期化部１８７０はハイライトが存在しなければ、最も暗い画素の質量重心点を虹彩中心に初期化し、ハイライトが存在すれば、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する。前記虹彩中心／半径測定部１８８０は虹彩中心に位置した初期円を拡張しながら円上の画素の傾斜度のサイズを測定するが、前記初期虹彩中心の周りの隣接画素に対して測定作業を繰り返す。前記虹彩決定部１８９０は最大測定値を有する虹彩中心及び半径を虹彩中心及び虹彩半径として決定する。
【００７７】
図１８Ｂは、前記虹彩の中心及び半径検出を示したフローチャートである。前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによってハイライトの存在を評価する（１８００段階）。ハイライトが発見されなければ、最も暗い画素の質量重心点を虹彩中心として初期化する（１８２０段階）。ハイライトが存在する場合、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心として初期化する（１８１０段階）。
【００７８】
虹彩中心に位置した初期円を拡張し、円上の画素の傾斜度のサイズを測定する（１８３０段階）。前記初期虹彩の中心周囲の隣接画素に対して測定作業を繰り返す（１８４０段階）。最大測定値を有する虹彩中心及び虹彩半径の位置を最終結果として選択する（１８５０段階）。
【００７９】
これをより詳細に説明する。まず、虹彩中心が概略的に予測された後、虹彩半径の検出段階で精密に精製される。
【００８０】
虹彩中心の予測段階で、もし目の境界ボックス内にハイライトが全然存在しないならば、虹彩中心は最も暗い画素の質量中心として初期化される。一方、ハイライトが存在する場合には、虹彩中心はハイライト周囲のハイコントラスト領域の中心として初期化される。虹彩中心検出は前記段階で事前処理された赤色チャンネル映像で行われるが、次の段階を経る。
１）３ｘ３中間値フィルタを利用して目領域をフィルタリングしてノイズを除去する。
２）目の境界ボックス内の最大輝度値を有する画素数を所定の閾値と比較することによってハイライトの存否を判断する。
３）虹彩中心を検出する（目にハイライトの存否によって異なる方法が使われる）。
ａ）虹彩内に強いハイライトが発見されれば、目の境界ボックスの中心領域はテンプレート整合方法を利用してスキャニングされる。固定半径を有する円形テンプレートが検索領域内に順次に移動し、各位置で次のような条件目録が点検されて虹彩中心を検出する。
ｉ）検索窓内部の局所的最小値（ｄＬｏｃａｌＭｉｎＶａｌ）は検索窓内部の局所的最大値（ｄＬｏｃａｌＭａｘＶａｌ）と似すぎてはならない（暗い画素及びハイライトの何れも検索窓内に存在することを確実視）。
ｉｉ）ｄＬｏｃａｌＭｉｎＶａｌは十分に暗くならねばならない。
ｉｉｉ）ｄＬｏｃａｌＭａｘＶａｌは十分に明るくならねばならない。
このような条件が満足されるあらゆる地点を平均化して前記地点の重心を虹彩中心として決定する。
４）強いハイライトが発見されない時：
ａ）５ｘ５最小関数が目領域に適用されて弱いハイライトを除去する。
ｂ）目領域は数式４と共にコンボリュ−ションされる。
【数４】
【００８１】
したがって、コンボリュ−ションが行われる間に処理されたブロックの中心部分には大きい加重値が割当てられるが、境界部分には負数の加重値が割当てられる。パラメータｃは正の加重値が割当てられた領域の半径を制御する。
ｃ）最も暗い点（所定の閾値と比較されて）が平均化されて虹彩中心を検出する。
虹彩中心（ｘｃ,ｙｃ）が初期化され、次の段階を経て虹彩中心周囲の各画素位置（ｘ,ｙ）に対して精密に補正された虹彩中心を探す（虹彩半径Ｒもこの過程で検出される）。
１）（ｘｃ,ｙｃ）近辺のあらゆる（ｘ,ｙ）に対して次の計算を行う。
ａ）Ｒ＝Ｍｉｎ｛Ｒ｝ないしＲ＝Ｍａｘ｛Ｒ｝に対して
ｉ）中心（ｘ,ｙ）に位置し、半径Ｒ−１を有する円の左境界及び右境界に位置す る画素の強度の和を計算する。上端部分及び下端部分はまぶたによって識別さ れやすいので、使われない。
ｉｉ）中心（ｘ,ｙ）に位置し、半径Ｒを有する円の左境界及び右境界に位置する 画素の強度の和を計算する。すなわち、上面部分及び下面部分は使用されな い。
ｉｉｉ）２つの和の差（Ｄ（Ｒ,ｘ,ｙ））を計算する。
ｂ）Ｄ（Ｒ,ｘ,ｙ）の最大値を選択し、これに相応するＲをＲｍａｘ（ｘ,ｙ）とし て記録する。
２）あらゆる（ｘ,ｙ）の中央にＤ（Ｒｍａｘ（ｘ,ｙ）,ｘ,ｙ）の最大値を選択し、こ れに相応する（ｘ,ｙ）を虹彩の中心として、Ｒｍａｘ（ｘ,ｙ）を虹彩半径として 選択する。図１９は、虹彩検出の幾つかの結果を示す。
１.１.５ 顔映像の正規化
【００８２】
虹彩検出が行われた後、顔の映像は虹彩中心間の線分が厳蜜に水平になるように回転される。顔境界ボックスも顔サイズ及び２つの虹彩の中心間の距離間比率に対する事前知識を利用して調節される。それにより、入力映像は切断されて顔領域だけを含むようになり、特定幅を有するようにスケーリング（Scaling）される。
１.１.６ 目の外郭線の検出
【００８３】
目の外郭線は上部の目の外郭線及び下部目の外郭線それぞれのための２つの多項式曲線によって近似化される。図２０は、目の外郭線の検出で近似化を示したフローチャートである。虹彩中心及び半径によって検索領域をあらかじめ決定する（２０００段階）。前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンライン（horizontal scan line）に対して、局所的最小値または輝度が急変する画素であって、左側及び右側まぶた点を選択する（２０１０段階）。残留する点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する（２０２０段階）。前記目のコーナーを連結する線分上の点を利用して最小自乗法を利用して上部目の外郭線の曲線を推定する（２０３０段階）。検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線の曲線を推定する（２０４０段階）。
【００８４】
これをより詳細に説明する。目の外郭線モデルは２つの多項式よりなっているが、これは上部まぶた（ｘ及びｙ何れに対しても３次式）及び下部まぶた（ｘ及びｙ何れに対しても２次式）のための多項式である。虹彩中心及び半径が予測された以後に、上部まぶたが低強度画素の領域（白目及び皮膚間の境界）に近似される。下部まぶたはこれ以上検出される必要がなく、直接的に虹彩の下部点及び目のコーナーとして近似化される。
【００８５】
まず、上部まぶたを検出する以前に、赤色チャンネルの目の映像が中間値フィルタリング（median filtering）され、ガウシアン平滑化（Gaussian smoothing）されてノイズレベルを抑制する。まぶた点をのための検索領域も虹彩中心及び半径によって事前定義される。
【００８６】
第２に、上部まぶた点を検出するために、次のようなアルゴリズムが使われる。
１）検索領域内の各垂直地点に対して、
２）もし現在の垂直地点で虹彩が皮膚で覆われているならば（この線分での平均強度が閾値より大きければ）、段階１に進んで次の垂直地点に対してさらにテストを行う。
３）左側虹彩の境界から左側目の境界ボックス境界まで、現在線分内の画素強度をスキャンして局所的最小値または輝度が急増する領域（図２１参照）を捜し出す。この地点が上部まぶたの左側位置に相応する。
４）右側に対しても同じ処理を行なう。すなわち、右側虹彩境界から右側目の境界ボックス境界まで、現在線分内の画素強度をスキャンして局所的最小値または輝度が急増する領域（図２１参照）を捜し出す。この地点が上部まぶたの右側位置に相応する。
【００８７】
前記のようなアルゴリズムは上部まぶた上に位置すると推定される点の集合を提供する。エラーによって検出される点を排除するために、次のような過程が目の境界ボックスの左側及び右側半分に対して適用される。
１）ヒュー変換（Hough Transformation）を利用して点を線分に近似化する。
２）望ましい方向を有して自分に近接な点数が最大になる線分を選択する。
３）予測された線分から極めて離隔された点を除去する。
【００８８】
残った点のうち、左側末端及び右側末端に位置する点が目のコーナーとして選択され、目のコーナーを連結する線分上に位置する点は上部まぶた曲線を予測するために使われる（図２２参照）。
１.１.７ 眉の検出
【００８９】
垂直眉の位置は額領域の画素（Ｈ（ｙ））を数式５により定義されるインテグラル投影（integral projection）した結果のうち最小値を出力する位置と推定される（図２３参照）。
【数５】
【００９０】
ここで、Ｆａｃｅ（ｙ）は（ｘ,ｙ）が顔楕円内に存在する条件を満足するｘの集合、Ｗｄｔ（ｙ）はｙ地点での顔楕円の幅、ｇｒａｙ（ｘ,ｙ）は映像位置（ｘ,ｙ）での階調値の強度である。
【００９１】
もし発見された垂直眉の位置が目から極めて遠く離隔されているならば、これは顔サイズ及び虹彩中心位置によって所定の値に設定される。それにより、眉の境界ボックスも眉位置に対する統計的な情報から決定される（図２４参照）。
【００９２】
その後、３次多項式が近似化されて眉を表示する。まず、眉方形内の各垂直セグメントによって、階調値が所定の値より大きい地点を眉点として収集する。それにより、眉曲線がこの平均地点を利用して計算される（図２５参照）。
１.１.８ 唇の外郭線の検出
【００９３】
前記唇の外郭線の検出は上部及び下部唇検出よりなる。図２６は上部及び下部唇の検出を示したフローチャートである。
【００９４】
前記上部及び下部唇検出は、次のような過程を通じてなる。まず、口の方形を初期化する（２６００段階）。非皮膚色画素のモーメントを分析することによって初期方形をより精密な境界ボックスに縮少させる（２６１０段階）。唇関数映像を構成して、精製された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する（２６２０段階）。高い唇関数値を有する画素の２次中心モーメントを測定することによって楕円を有して、唇の外郭線を初期化する（２６３０段階）。外力及び内力によって唇の外郭線を動的に移動させる（２６４０段階）。前記移動結果点に多項式を近似させて曲線表現式を生成する（２６５０段階）。
【００９５】
前記外力は、唇と皮膚との境界地点に境界点を移動させる力であり、前記内力は内部形状力及び内部平滑化力よりなる。前記内部形状力は外郭線形状を楕円に近くする力であり、前記内部平滑化力は前記境界外部に極めて外れる単一点を抑制する力である。
【００９６】
これをより詳細に説明する。唇の外郭線の検出の最初段階は、適当に正確な境界方形を推定することである。この過程は次の段階を通じて行われる。１）人に固有な皮膚色ヒストグラムが皮膚検出段階で生成される。２）所望の口の位置に中心をおいた方形として初期境界方形が設定される。３）現在方形内部にその人に固有な皮膚色ヒストグラム値のうち低い値を有する画素の質量中心及び２次モーメントを計算し続けて、唇ボックスを精密に補正する（図２７参照）。
【００９７】
精密修正作業は数回反復されるが（例えば、約６回反復）、一般的に適当な精密度の唇境界ボックス計算には十分である。
【００９８】
次の段階で、唇関数映像を生成して画素色が唇または皮膚色に属する確率を測定する。前記の二色の範疇は何れも２次元ガウシアン確率密度関数によって（ｒ＝Ｒ／Ｇ、ｂ＝Ｂ／Ｇ）空間内で表現される。唇境界ボックス内の皮膚ヒストグラムの少ない値が唇色範疇を計算するのに使われる。２つの範疇の色が計算された後、唇関数映像が数式６を利用して構成される。
【数６】
【００９９】
ここで、pl(r(x，y)，ｂ(x，ｙ))は画素位置（ｘ,ｙ）での唇色を範疇とする確率密度値であり、ps(r(x，y)，ｂ(x，ｙ))は皮膚色を範疇とする確率密度値であり、α1、α2は２つの係数である。したがって、 lip＿func(x、ｙ)は唇の範疇に属する画素の確率及び皮膚の範疇に属する画素の確率間の差を表す。
【０１００】
第３段階は、高い唇関数値を有した画素の２次中心モーメントを計算することによって楕円を利用した唇の外郭線の近似化を行うことである。
【０１０１】
それにより、第４段階で、唇関数映像上に反復的アルゴリズムを利用して精密な唇の外郭線が生成できる。このような唇の外郭線は楕円境界上に同じ間隔に離隔された角度を有し、サンプリングされた点を含む閉じた多角形として初期化されうる（唇関数映像及び初期化された唇の外郭線点に対しては図２８を参照する）。各反復段階で、外郭線点ｐiは単純規則の集合によって移動する。移動を決定する力の方向は本実施例ではｖcであり（図２９参照）、そのサイズＦiは数式７のように３つの力の和として決定される。
【数７】
を満足する。
【０１０２】
また、ｐi-1、ｐi、ｐi+1は３つの時計周り方向に連続的な外郭線点である。あらゆるｋ*は正の所定の係数である。特別な場合はｋsmの場合であるが、これは外郭線点の位置及び移動方向によって異なる（他の係数は定数）。
【０１０３】
実は、前記アルゴリズムをコーナー（corner：角部）にも整合させるために、
Fism（楕円制限として、後述）は唇コーナー点に対してはＦiに少なく寄与すべきである。
【０１０４】
したがって、この場合、ｋsmは事前反復段階で発見された楕円コーナー近くの点に対してはより小さな値を有する。唇の外郭線のより低い部分は上部に比べてさらに平滑であり、これもｋsm計算に適用される。
【０１０５】
ここで、ｆはこの地点ｐiでの唇関数映像内の値であり、Ｔは所定の閾値であり、ｖp、ｖnは現在地点ｐiから以前及び後続外郭線点に向かうベクトルであり（図２９参照）、ｖcは楕円の中心からｐiに向かった正規化された方向であり、は、ｖpを時計周り方向に(／２ほど回転させて生成される。
【０１０６】
要約すれば、Fidataは外郭線の生長または縮少を制御し、ｐiでの実際データと合致させる力である。
【０１０７】
Fiformは外郭線の形状が楕円と類似になるように力を加える。このような力が広域外郭線形状に影響を及ぼさせるために、ｖn及びｖpが次の（以前）点の数個の平均から取られる。
【０１０８】
Fismは一点も過度に外部に位置しなくすることによって外郭線の平滑度を制御する。
前記アルゴリズムは約３０回繰り返した後、終結される。唇の外郭線更新の一段階が図３０に現れる。この後、多項式（上部及び下部唇の４次）が反復結果点を近似して曲線表現式を生成する。
１.１.９ 鼻の外郭線の検出
【０１０９】
鼻の外郭線の検出段階は鼻側面検出を含む。図３１は、鼻の外郭線の検出段階での鼻側面検出を示したフローチャートである。前記鼻側面検出は次の通りになる。まず、所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合する（３１００段階）。大きい整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する（３１１０段階）。各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された３点に合致する（３１２０段階）。結局、所定の補間係数を使用して前記鼻先と低い鼻の曲面が位置する（３１３０段階）
【０１１０】
これをより詳細に説明する。映像条件及び照明条件に関係なく使用できる汎用的な鼻検出技法を開発することは極めて難解である。もちろん、正面で照明が照らし、映像のシャープネスが良好である場合、このような過程は問題点にならない。その理由は鼻領域が大きい、識別可能なエッジパターンを有するためである。しかし、ある場合には（写真がボケるか、照明が方向性のない場合）鼻エッジ領域がノイズが多く、パターンを識別し難くなる。この場合、方向を有したエッジマップテンプレート（mapping template）を利用して鼻側面を検出すれば、相異なる範疇の映像にも良好なロバスト性を提供する。このようなアルゴリズムは次の段階を行って具現されうる。
１）鼻領域映像（水平に虹彩中心間、垂直に目下端部から口境界ボックスの上端部まで）は切断され、固定解像度にスケーリングされる。
２）中間値フィルタが適用されてノイズ除去及びエッジ情報保護を同時に行なう。
３）エッジ傾斜度映像がプリウィットエッジ（Prewitt edge）検出器を利用して計算される。
４）鼻翼面の方向テンプレートが鼻領域に整合して鼻側面を検出する。
鼻翼面テンプレートは固定されたサイズの典型的な鼻側面形状を表現する（図３２参照）。整合適合度は鼻翼面テンプレートに属する画素のエッジサイズの和で測定されるが、合算する時、テンプレート接線方向とエッジ方向との正接（tangent）の絶対値で加重値の和を求める（同じ方向である時、最大の加重値を付与）。最大１０％の整合適合度位置で鼻候補を形成し、候補集合の対（左側及び右側翼面候補）がテストされて最も望ましい鼻位置を決定する（図３３参照）。この時、３つの条件がテストされる。
【０１１１】
まず、重畳条件：類似した高さを有さねばならない。第２に、分離条件：ｘ方向で近接し過ぎてはならない。第３に、ｘ方向への対称性：ｘ方向から顔中心までの差が大き過ぎてはならない。
【０１１２】
このような過程を経た後、４次多項式が図３４にマーキングされた６個の点に整合される。前記６個の点のうち点１、２、３が所定の位置で検出されたテンプレートからサンプリングされ、残りの点は所定の係数を利用して鼻テンプレートと目方形間に補間される。検出されたテンプレート及び目方形間に所定の位置に置かれた幾つかの点に合致される（図３４参照）。
【０１１３】
前記のような方法は画質及び照明条件が顕著に異なる映像から非常に良好なロバストで精密度の高い結果が得られる。鼻の外郭線検出の実施例は図３５に示される。鼻先は２面翼テンプレートセンターの中間点である。そして、低い鼻曲線（図３８、図３９参照）は所定の係数を利用して２つの鼻面の間に位置する。
１.１.１０ あご及び頬の外郭線の検出
【０１１４】
図３６Ａは、図７のあご及び頬の外郭線検出部７４５の細部構成を示したブロック図であって、傾斜度計算部３６４０、あご及び頬の外郭線拡張部３６５０及びあご及び頬の外郭線決定部３６６０を含んでなる。
【０１１５】
前記傾斜度計算部３６４０は赤色チャンネル映像上の傾斜度ベクトル場を計算する。前記あご及び頬の外郭線拡張部３６５０はあご下部点で連結される２つの多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させ、曲線の接線に合致する強いエッジに接するまであご及び頬の外郭線を外部に拡張する。前記あご及び頬の外郭線決定部３６６０は前記あご及び頬の外郭線が接線方向に合致する強いエッジに接するようになれば、前記あご及び頬の外郭線拡張を中止してその結果をあご及び頬の外郭線として決定する。
【０１１６】
図３６Ｂは、あご及び頬の外郭線の検出を示したフローチャートであり、前記あご及び頬の外郭線の検出は、次の通りになる。
【０１１７】
まず、赤色チャンネル映像上の傾斜度ベクトル場を計算する（３６００段階）。あご下部点で連結される２個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させる（３６１０段階）。曲線の接線方向を有した強いエッジに接するまで、あご及び頬の外郭線を外部に拡張する（３６２０段階）。前記あご及び頬の外郭線が重要輝度バレーに到達すれば、前記あご及び頬の外郭線拡張を中止する（３６３０段階）。
【０１１８】
これをより詳細に説明する。あご及び頬の外郭線は相互底点で連結されて連続した曲線を形成する２個の４次多項式で表現される。また、これらは上部末端部で固定されたＹ座標を有する。この曲線は多数のセクション（section）に分割される（図３７参照）
。検出過程は次の段階よりなる。
１）エッジ映像及びあご曲線が次のように初期化される。
ａ）水平及び垂直エッジイメージが次を利用して生成される。
ｉ）元の赤色チャンネル映像がＯＰＴＩＭＡＬ＿ＦＡＣＥ＿ＷＩＤＴＨに合う
ようにスケーリングされ、ガウシアン平滑化を経た後、中間値フィルタを経
る。
ｉｉ）ソベルエッジ（Sobel edge）検出器を適用する。
ｂ）下端点、左上端点及び右上端点の３つの点から左側及び右側曲線は同じ対称
形状に初期化される。このような３つの点は検出された目及び唇位置に対す
る既存知識を利用して決定される。
２）曲線は反復過程を経て精密に補正される。反復段階毎の過程は、次のようなも
のである。
ａ）各セクションｉに対して（１ないしＮまで、ここで、Ｎは総セクション数）
ｉ）整合適合度は０に設定される。
ｉｉ）セクションｉ内の各サンプリング点（ｘ,ｙ）に対して：もし（ｘ,ｙ）
での曲線接線及び映像エッジ方向間の角度が６０度より小さく、
（ｘ,ｙ）でのエッジサイズが所定の閾値より大きければ、整合適合度を
増加させる。
ｉｉｉ）もし、整合適合度が与えられたさらに他の閾値より小さければ、曲線
セクションが曲線法線ベクトルによって外部に移動し、そうでない
場合、そのセクションは内部に若干移動する。
ｂ）曲線をあらゆるセクションに再近似させる。これは曲線セクションが大きい
輝度のエッジに会うまで曲線の垂直方向と平行に外部に拡張されることを意味
する（あご合致過程の中間段階に対して図３８参照）。しかし、曲線の下部の
セクションもこれらが非常に大きい輝度バレー（significant−brightness
valley）に到達する時には、外部に移動することを停止せねばならないが、こ
れは下部あご領域でエッジは一般的に非常に弱いためである。したがって、次
のような決定規則を下部に適用することも可能である。
ｃ）下部曲線部分ｉの各セクションに対して次のように行われる。
ｉ）整合適合度は０に設定される。
ｉｉ）セクションｉの画素（ｘ,ｙ）の平均光度を計算する
（ＣｕｒＢｒｔ（ｉ））。
ｉｉｉ）このセクションを曲線の法線に沿って外部に移動させ、さらに平均輝
度値を計算する（ＭｏｖｅｄＢｒｔ（ｉ））。ｉｖ）もし、
ＭｏｖｅｄＢｒｔ（ｉ）＜ＣｕｒＢｒｔ（ｉ）であれば、このセクション
は外部に移動し、そうでなければ、これは内部に少し移動して陰
影領域内に存在する。
【０１１９】
正面映像のあらゆる検出された特徴が図３９に表示される。アルゴリズムは相異な種類の映像及び照明条件に対しても自動で動作してロバストである。
１.２ 側面顔特徴の検出
【０１２０】
図４０は、前記側面顔の特徴検出部６５０は側面顔領域を検出する側面顔領域検出部４０００、側面曲線を検出する側面曲線検出部４０２０、基準点を検出する基準点検出部４０４０及び耳の外郭線を検出する耳の外郭線の検出部４０６０を含んでなる。
【０１２１】
前記側面顔領域検出部４０００は画素を皮膚及び非皮膚画素に分類し、最大皮膚色の連結成分を側面顔領域として選択する。
【０１２２】
前記側面曲線検出部４０２０は正面映像から類推された特定な境界ボックス内の最右側の顔領域の境界外郭線を側面曲線に検出する。
【０１２３】
前記耳の外郭線の検出部４０６０は曲線テンプレートを側面映像と整合して耳位置を初期化した後、初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を捜し出す。
【０１２４】
図４１は、側面顔の特徴検出を示したフローチャートである。側面特徴の検出は一般的に次のような段階で構成される。側面顔領域の検出する（４１００段階）。側面曲線を検出する（４１１０段階）。次いで、側面基準点を検出する（４１２０段階）。特徴点の検出（額、鼻、唇、あご、首など）を通じて側面曲線はこれらによってセグメント化される（segmented）意味あるセクションに分離することができる。最後に、耳の外郭線を検出する（４１３０段階）。
【０１２５】
このような過程が行われる間、後続段階は先行段階の結果を検討する。そして、中間結果が後続処理過程でエラーを有していると発見されれば、本アルゴリズムは自動で以前段階に戻って、さらに多くの映像情報でエラーを訂正する。
【０１２６】
現在、側面特徴の検出のためにユーザーの相互作用が多少必要とされる。まず、ユーザーは顔が十分に大きくなく、背景が複雑で、皮膚色の物体を含んでいるならば、顔境界方形を元の映像内に定義する必要がある。しかし、これは一般的な場合ではない。
【０１２７】
ほぼ全てのテスト映像で顔領域は完全自動で検出することができる。第２に、顔上端、顔背面、目点及び唇点は統計的知識によって初期位置が設定され、ユーザーの相互作用により補正が必要とされることがある。
１.２.１ 顔領域の検出
【０１２８】
顔領域の検出は画素を皮膚及び非皮膚画素に分類する。次いで、最大皮膚色の連結成分として前記顔領域を選択する。最も大きい２つの成分が類似したサイズを有する場合、映像中心により近いものを前記顔領域として選択する。
【０１２９】
これをより詳細に説明する。正面映像処理と類似に、ここでも正規化されたｒ−ｇ色空間及び学習された皮膚色モデルを使用して皮膚及び非皮膚画素を判断する。皮膚色の最も大きい連結成分または最も大きい２つの成分が類似したサイズを有する場合にさらに映像中心に近い成分を顔領域として選択する。
【０１３０】
ある場合には、鼻領域が顔領域と連結されていない場合もある（図４２参照）。このような失敗状況を隣接した皮膚色連結成分を検討することによって検出できる。鼻及び顔領域は相互併合されて１つの連結された成分を構成する。他の２つの失敗状況は照明が強過ぎる場合（図４３参照）と、照明が暗過ぎるか、あごひげがある場合にあご領域を完全に検出できない場合である（図４４参照）。第１失敗は、鼻先が検出された後、鼻ブリッジ追跡（noise bridge tracking）過程を行うことによって識別されうる。第２失敗は、あご及び首点が検出された以後に判断されうる。より詳細なる説明に対しては特徴点の検出を参照する。
【０１３１】
皮膚検出が失敗したと識別された後、ピラミッドに基づいた領域セグメント化アルゴリズムに依存して顔領域を検出する。このようなセグメント化アルゴリズムの入力映像は元の映像のＨＳＶ変換での１つのチャンネルである。このチャンネルは鼻ブリッジ近くで皮膚を背景と区分する性能に基づいて選択される。
１.２.２ 側面曲線の検出
【０１３２】
正面映像から類推された特定境界ボックス内の最右側顔領域の境界外郭線を側面曲線として検出する。
【０１３３】
顔領域が皮膚検出を通じて検出されれば、側面曲線が顔のユーザーによって特定境界ボックス内の最右側の顔領域画素として検出される。このような過程は、次のようなものである。
１）は皮膚検出の二値化結果（１は画素が皮膚に属することを意味し、０は逆を意
味する）、及び検出された顔領域（連結された成分）である。
２）ユーザーは手動で顔境界ボックスを指定する（ほぼ全ての場合、必要でない）。
３）側面外郭線の概略的近似値を探す。本アルゴリズムは側面関数はｘ＝
ｘ（ｙ）を構成するが、ここで、ｙは垂直方向に変化し、ｘは顔境界ボックス
内のｙ行内の外郭線のｘ座標に対応する。この行内に皮膚画素が存在していな
い場合、ｘ（ｙ）は０に設定される。
４）側面関数は１次元のガウシアンフィ
ルタ（Gaussian filter）を利用して平滑化されて無作為ノイズを除去する
（側面関数の一例を見るためには、図４５を参照）。
【０１３４】
本映像は切断されて側面関数だけを含み、後続する処理を容易にするために固定された高さにスケーリングされる。
１.２.３ 特徴点の検出
【０１３５】
側面曲線の中心点は側面関数の形状を分析することによって検出される。
１）鼻先は側面関数の全域最大値である。鼻先が検出された以後、鼻ブリッジの一
部を直線の線分として近似するが、この時、鼻先より上部の強いエッジ画素を利
用する。そして、鼻ブリッジに沿って皮膚を背景と分離する作業が元の映像のＨ
ＳＶ変換での相異なるチャンネルに対して検討される。さらに、もし鼻ブリッジ
線分が側面曲線と離隔し続けられれば、皮膚検出の第１失敗事例として認識され、
本アルゴリズムは領域セグメント化アルゴリズムを利用して顔領域を検出するた
めに戻る。
２）額上部点（今後、「額上端」という）が最上端の皮膚画素である。
３）側面関数ｘ＝ｘ（ｙ）の上部（額上端から鼻先まで）を７次多項式を利用して
近似化する（図４６参照）。それにより、多項式に対して下端から上端までスキ
ャンして多項式の第１微分値が固定された閾値より小さな地点を探す。この点が
鼻ブリッジの上端である。
４）部分別線形近似化を側面関数の下部（鼻先より低い部分）で行う。
ａ）線分セグメントの方向が関数の最初３個の点から計算される。
ｂ）連続的な点から現在セグメントまでの距離を計算する。
ｃ）もし計算された距離が大き過ぎれば（固定された閾値より大きければ）、新
しいセグメント化を始め、段階ａ）に進行する。
ｄ）段階ａ）に進行する。
５）ある先決定された領域内で、線分セグメントの交差点のうち、隣接セグメント
間の角度が非常に大きい（約９０度）点を探す。この点が「下部鼻点」である
（図４６参照）。
６）「下部鼻点」より低い点に対して、適応型直線近似アルゴリズムから計算され
た線分セグメントを有して側面関数を近似化する。このアルゴリズムの各段階は
次のように行われる。あご及び首点は適応型ポリライン合致（adaptive
polyline fitting）アルゴリズム結果から検出される（図４７に表示された３
点参照）。もしあごが鼻先と近過ぎれば、皮膚検出が失敗したと考え（前記第２
の場合）、本アルゴリズムはさらに戻って顔領域を再検出する。
７）上部及び下部唇中心点は極めて探し難いが、特に映像撮影条件に多くの変化が
ある場合にはさらにそうである。したがって、平均的な顔サイズから判断して中
心点の合理的な近似化を提供する（図４８参照）。図面でのいくつかのセグメン
トは後述する。
ａ）ｌは「下部鼻点」から首開始点までの垂直距離である。
ｂ）ａ＝０.２２５＊ｌ
ｃ）ｂ＝０.１２５＊ｌ
ｄ）ｃ＝０.１２５＊ｌ
【０１３６】
中心点が発見された後、これら間の側面曲線セグメントが多項式を利用して近似化される。顔の背面及び上端面は、目と共に検出されず、人間顔の合理的な比率で予測される。このようなあらゆる特徴の結果が図４９に示されている。
１.２.４ 耳の外郭線の検出
【０１３７】
図５０は、耳の外郭線の検出を示したフローチャートである。耳の外郭線の検出のためには、まず、曲線テンプレートを側面映像と整合して耳位置を初期化する（５０００段階）。次いで、前記初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す（５０２０段階）。
【０１３８】
図５１は、前記耳初期化を示したフローチャートである。図５１を参照して耳初期化を説明する。
【０１３９】
耳テンプレートの変換ベクトルを決定し、元の映像を回転させて鼻ブリッジ上端からあご点までの線分を厳格に垂直にし、前記線分セグメントの長さが所定の値になるようにスケーリングする（５１００段階）。耳のための検索領域を定義する（５１１０段階）。検索領域内の顔領域と髪の毛領域境界とを曲線テンプレートと整合して、２個の曲線から類似した形状を有するセグメントを探し出す（５１２０段階）。もし整合したセグメントの長さが所定の閾値より小さい場合、エッジ検出器で検出したエッジと耳テンプレートとを整合して類似した形状を有するセグメントを検出する（５１３０段階）。テンプレートセグメントから整合した映像点への変換ベクトルを最小自乗アルゴリズムを利用して計算する（５１４０段階）。
【０１４０】
これをより具体的に説明する。耳の検出は２つの段階に大別される。第１段階で、曲線テンプレート（図５２）を色またはエッジ情報と整合し、そのテンプレートを変形して局所的映像情報と合致させる。詳細なる説明は次の通りである。
【０１４１】
耳初期化段階で、まず、元の映像の方向及びスケールを正規化する。鼻ブリッジ上端及びあご点の２個の基準点が選択されて正規化を行う。元の映像は回転されてこの２つの点を連結するセグメントを垂直にし、その以後にスケーリングされてこれら間の距離が固定された値を含ませる。予め定めておいた方形を耳のための検索領域として正規化された映像内に配置する。正規化された映像、補正点及び検索領域のために図５３を参照する。
【０１４２】
耳テンプレートを望ましい初期化位置に配置するための変換ベクトルを発見しようとする。最初、皮膚検出結果を利用する。一般的に、皮膚領域の境界は一部地点における耳境界と一致する（いくつかの例は図５４参照）。曲線傾斜度情報の類似性に基づいてテンプレート及び皮膚領域境界間で単純な曲線整合（curve matching）アルゴリズムを行ってこのような２個の曲線上のセグメントのうちよく整合するセグメントを発見する。それにより、変換ベクトルが最小自乗法を利用して整合したセグメントと共に予測される。図５５を参照して色情報を利用した耳初期化の結果を調べる。皮膚領域境界内のテンプレートと整合するセグメントは図面では赤色で表示される。
【０１４３】
ある場合には、皮膚領域境界が耳境界と接しない場合もある（一般的に頭の長さが短過ぎるか、照明が強過ぎる場合であるが、例示のために図５６を参照する）。アルゴリズムは整合したセグメントの測定された長さ及び検索領域内の変換された耳テンプレートの位置を測定して自動的にこのような失敗を曲線整合段階で検出する。それにより、地域エッジ情報（local edge information）を利用して耳を初期化できる。
【０１４４】
まず、Ｎｅｖａｔｉａ−Ｂａｂｕエッジ検出器が使われて階調映像からのエッジ情報を抽出するのに使われる。長いエッジセグメントはテストされ、そのうち最適の１つだけが正確に耳テンプレートと整合すると判断される。この場合、顔領域情報を利用するのに使われたのと同じ曲線整合アルゴリズムが使われる。次のような相対的因子が相互結合されて整合に対する評価に使われる。すなわち、前記相対的因子はエッジセグメント内の整合した長さ及びセグメントに基づいた、検索領域内の耳テンプレートの位置である。
【０１４５】
実験で、顔領域に基づいたアルゴリズムと比較する時、エッジに基づいた耳初期化がよりロバストであるが、耳境界上の初期セグメントを検索するのにおいて、十分に正確でない。それで、この方法は顔領域に基づいた方法に対する補完的な方法としてだけ使われ、全体アルゴリズムのロバスト性を向上させる。エッジに基づいた耳初期化の例示も図５３に示されている。
【０１４６】
第２段階は、耳境界と整合するように変換されたテンプレートを変形するのである。既に初期化段階でいくつかの耳境界点を獲得したので（顔領域境界またはＮｅｖａｔｉａ−Ｂａｂｕエッジからのセグメント）、単純な外郭線追跡技法（contour following scheme）を適用してテンプレートを耳に合致させる。詳細なる過程は次のようである。
１）既に映像耳境界と整合した耳テンプレート上の点から始めて、この点を
Ｃｏｎtnとして保存するが、ここで、Ｃｏｎｔは耳テンプレート（サンプリング
された２次元の点リスト）であり、ｎはこの目録内の点のインデックスである。
２）それにより、次のような制限条件を満足する第１点を探す：Ｃｏｎｔn及び
Ｃｏｎｔｎｅｘｔ間のあるテンプレート点は点集合
に最小自乗分方法で合致された線分から十分に離隔される。
ｎｅｘｔは最小限ｎ＋５でなければならない。もしｎｅｘｔがテンプレートの最
後点に到達すれば、外郭線の追跡が終結される。
３）Ｃｏｎｔnに中心をおいて、Ｃｏｎｔn以後のセグメントを回転させて、
ＣｏｎｔnからＣｏｎｔnextまでのセグメントを映像エッジ情報と整合させて最大
整合値を提供する最適角度を求める。もしその角度範囲で正確な整合がおき
なければ、本アルゴリズムはエラー報告して終結する。
４）発見された最適角度を利用してＣｏｎｔn以後にあらゆるテンプレート点を回
転し、ｎ＝ｎｅｘｔに設定し、段階１に進む。
【０１４７】
セグメント及び映像間の整合評価は２種の情報を組み合わせることによって計算される。情報のうち１つは、局所的エッジ強度（local edge strength）であって、セグメントによる強度差の和と計算される。他の情報は、セグメント類似性であって、特定セグメント画素の強度値の和が以前セグメントに対して計算された値と極めて差がついてはならない。このような２種の因子によって判断する時、もし評価値が極めて劣悪であれば
この整合が誤ったと判断する。
【０１４８】
このような外郭線追跡アルゴリズムは耳上端と下端から２回実行される。本アルゴリズムがエラー報告と共に終結されれば、初期化結果が直接的に使われる（これは一般的に耳が髪の毛によって隠されるために発生するが、これは図５７に示された通りである）。
【０１４９】
耳下端のためには、テンプレート長さが耳境界と整合するのに十分でない場合があるために、テンプレートのテールを長いセグメントに交替する。耳の実質下端位置は整合
したテンプレートによってエッジ強度を研究することによって求められる。ある映像で、耳境界は下端位置に到達した後、上端に向かって進む。このような場合も論理的エッジ情報を利用して検出されるが、結果として提供される耳境界には図５７で示されたような上端に向かったテール（tail）を含みうる。
２．顔モデルの変形
【０１５０】
この時点で、正面及び側面写真（図５８参照）及び／または３次元ステレオ深さマップから抽出された完壁な構成の顔特徴を有する。前記ステレオ深さ抽出は後述する。
【０１５１】
図５９は、図５の顔モデル変形部５１０の構成を示したブロック図であって、２次元点変換部５９００及び顔メッシュモデル変形部５９５０を具備する。図６０は、前記顔モデル変形部５１０での初期モデル変形を示したフローチャートである。
【０１５２】
まず、２次元点変換部５９００を通じて、３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元点に変換する（６０００段階）。次いで、顔メッシュモデル変形部５９５０を通じて、前記映像特徴及び前記初期３次元メッシュモデル特徴点間の一致性を利用して、３段階ＲＢＦ基盤のモーフィング作業を行って前記３次元顔メッシュモデルを変形する（６０５０段階）。
【０１５３】
前記３段階ＲＢＦ基盤のモーフィング作業は、次のようになる。まず、離隔されたモデル特徴点のＸとＹ座標をそれらの相応するイメージ特徴点として設定し、Ｚ座標は初期メッシュ内に残すことによって、正面特徴のＲＢＦ補間を適用する。次いで、正面特徴がそれらの地点に残るように制限しながら側面特徴のＹ座標を考慮して側面映像のスケールを調節し、顔側面特徴はＲＢＦ補間のための入力として使われる。最後に、ＲＢＦ補間があらゆる利用可能な特徴を使用して行われる。
【０１５４】
深さ情報復旧過程で獲得された３次元点は、初期モデルの頂点が深さ情報から取得されたそれらの３次元地点に移動するようにＲＢＦに基づいたモーフィングを行うことが望ましい。
【０１５５】
これをより詳細に説明する。検出された顔特徴は初期モデルを変形するのに使われる。前記変形されたモデルを入力映像に合致させる。前記作業を行うために、まず、特徴検出段階で獲得された顔特徴を初期モデル内のあらかじめ指定された特徴に相応する点による置換に変換し、データ補間アルゴリズムを利用してそのモデル内の頂点を移動させて初期モデル変形を行う。検出された特徴（曲線及び点）及びモデル頂点間の対応関係は事前に手動で設定されねばならない。前記対応関係は一回だけ行えば、特定初期モデルのために固定されたまま維持されるので、ユーザーが介入する必要がない。
【０１５６】
次に、１つの特徴曲線のための一致度を設定するための過程が後述される。まず、モデル上の重要頂点及び顔特徴曲線によって分散された位置が図６１に示される。入力映
像で検出された顔特徴曲線に該当する初期モデル上の顔特徴が示されており、両曲線上で同じ長さの比率で特徴点がサンプリングされる。側面特徴に対してこの過程が繰り返されて、モデル上の特徴点の２次元の置換の２つの集合を生成する。
【０１５７】
次に、相応する映像特徴点による重要頂点の３次元置換を決定する。最も簡単な方
法は単純にｘ及びｙ置換を正面特徴から抽出し、側面特徴からｚ置換を抽出することである。しかし、この方法は望ましい結果が提供できない。その理由は、幾つかの正面特徴（あご下部、上端部及び後顔部分など）ｙ位置情報が欠如され、正面及び側面特徴位置が相反するためである。データ衝突は顔の方向が変化するか、顔表情が変化するために（たとえ小さな表情の変化でも避けられない）発生するが、このような場合は入力映像が同時に撮影されない場合に発生する。はなはだしくは正面及び側面映像が同時に撮影されたものであっても、それらは一般的に標準正面及び側面映像でない。例えば、２つのカメラ
の光軸を正確に相互垂直にすることは非常に難しい。
【０１５８】
このような問題点を解決するために、３段階モーフィング過程が利用され、この過程はＲＢＦ数接近法に基づく。
２．１． ＲＢＦデータ補間
【０１５９】
まず、データ補間技法を簡略に紹介する。作業を行うために、ＲＢＦ接近法を利用する。初期入力で、２個の対応するデータ集合及びを有していれば、次のようなを全体３次元空間の変形関数として決定できる。この時、２個の集合はそれぞれ変形過程実行以前及び以後の３次元サンプリングを表現する。
【数８】
【０１６０】
【数９】
【０１６１】
２．２ ３段階の変形過程
【０１６２】
モデル変形方法の詳細なる段階は次のようである。
１）まず、ＲＢＦ補間法を正面顔の特徴に適用する。移動するモデル特徴点のＸ及
びＹ座標が相応する映像特徴位置に対応し、Ｚ座標は初期モデルと同一に維持さ
れる。この段階で、モデルと映像間顔特徴の整合が正確に行われるが、この過程
には精密なテクスチャマッピングが必要である。
２）側面特徴を利用してＲＢＦ補間が行われる。側面キーポイントのＹ座標及びＺ
座標が相応する側面映像位置に設定され、Ｘ座標が初期モデルと同様に残る。こ
の過程ではあらゆるモデル頂点に対するＺ値を決定するだけである。鼻先、鼻ブ
リッジ上端及び唇で発生されうる正面及び側面特徴間の不一致問題は側面特徴曲
線をスケーリングして変換してＹ座標が相応する変形されたモデル点と整合させ
ることによって解決される。
３）最終的に、全てのキーポイントは最終頭形を決定するためにＲＢＦ補間入力と
して使用される。この段階で側面キーポイントは、段階２）の補間モデルでの中
に残る。正面キー点に対して、段階２）の結果によってＺ座標を設定し、Ｘ及び
Ｙ座標が段階１）結果に設定される。次いで、正面隣接映像が使用可能であれば、
ＲＢＦ補間をさらに行って、ステレオ情報から再構成された３次元点を取るもの
として働かせることができる。生成されたモデルに対する幾つかの例示が図６２
に示されている。
３．テクスチャの生成
【０１６３】
顔モデルのための高品質テクスチャを生成することはモデル適合（model fitting）より重要である。その理由は、テクスチャが形状自体よりモデルの視覚的認識にさらに大きい影響を及ぼすためである。正面と側面顔テクスチャはモデルにマッピングされるが、多重解像度を有するスプラインテクスチャ組み合わせ技法（multi−resolution spline txture combination scheme）が使われて相異なる写真を結合するのに使用されている。また、あごまたはあご骨によって隠された首部分及び耳の後部のように写真で隠された部分のために合成テクスチャを生成する。
【０１６４】
図６３は、図５のテクスチャ生成部５２０の構成を示したブロック図であって、入力映像補償部６３００、正面／側面テクスチャ生成部６３２０及びテクスチャ完成部６３４０を含んで構成されている。図６４は、テクスチャ生成を示したフローチャートである。図６３及び図６４を参照してテクスチャ生成を説明する。
【０１６５】
まず、入力映像補償部６３００を通じて、入力映像上に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する（６４００段階）。次に、正面／側面テクスチャ生成部６３２０で写真上の３次元モデルの極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する（６４２０段階）。それにより、テクスチャ完成部６０４０を通じて、多重解像度のスプラインアルゴリズムを利用して正面、側面及び人工テクスチャを混合してテクスチャを完成する（６４４０段階）。これをより詳細に説明すれば、次のようである。
３．１ テクスチャ座標マッピング及びテクスチャの生成
【０１６６】
相異なる角度から生成されたテクスチャを結合するために、モデル頂点のテクスチャ座標を含む共通ＵＶ平面を生成する必要がある。この平面は各点が３次元モデル位置と対応する２次元平面である。平面はを有する正規化された座標空間である。
【０１６７】
テクスチャ座標空間上にモデル頂点が均等に分布させるためにＵＶ平面は球状マッピングを利用して生成されるが、その理由は人間の顔が球状と類似した形状を有するためである。直接生成された空間は今後、手作業によって補間されてＵＶ平面上の重畳問題を解決する（耳領域で発生されうる）。ＵＶ平面は個別的なモデルに対して不変であるので、初期対応関係が設定されれば、これ以上、ユーザーが介入する必要がない。
【０１６８】
テクスチャされたモデルを生成するために、顔映像をＵＶ平面上にマッピングする必要がある。モデルは映像特徴に合致されるために、モデル頂点及び映像位置間の一致度を求めることができる。したがって、映像座標をＵＶ平面内のテクスチャ座標に容易にマッピングできるが、その理由は、モデル変形過程でこの２つの関係が既に整合されたためである。
【０１６９】
結果的に、ＵＶ平面上で得られるテクスチャはそれぞれ正面及び側面映像として図６５及び図６６に示される。テクスチャ座標も絵の上に重畳されて示される。
３．３ テクスチャの混合
【０１７０】
この段階で、ＵＶ平面内の正面及び側面テクスチャ映像は耳のための人工皮膚テクスチャと共に混合されて単一映像を生成する。前記映像は３次元モデルの表面にレンダリングされる。ＵＶ平面内の各点で、数式１０のように混合された映像内でのその点の色が計算できる。
【数１０】
【０１７１】
【０１７２】
テクスチャ混合の加重値は多重解像度スプラインアルゴリズムを利用して生成される。ガウシアンピラミッド分解（Gaussian pyramid decomposition）に基づいて、公知された映像混合アルゴリズムはにじみまたは映像の劣化なく映像間の軟らかい変化を可能にする。また、あらゆる形状の混合境界を利用することもできる。
３．４ 人工皮膚テクスチャ
【０１７３】
側面映像内の隣接領域の色統計に基づいて、あご及び首領域を満たすために人工テクスチャを生成する。余り登場しない色は捨てられ、このような領域内の各画素に対しクリッピングされた色統計を考慮してその色が選択される。このような過程が行われた以後に、ガウシアン平滑化技法が適用されて不規則なむらを除去する。
【０１７４】
最終テクスチャが図６７に示される。また、数個のテクスチャされたモデルが図５５に示される。耳の後面が重畳されたテクスチャにマッピングされないという点に注意する（図６８の最後の２個の絵はそれぞれ人工耳テクスチャを使用及び使用していない場合の耳部分を図示する）。
４．ステレオ映像対を利用した３次元復元
【０１７５】
ほぼ全ての場合に、正面映像または追加的な側面映像だけを利用して３次元復元を行えば、望ましい結果を生成しうる。対象となる映像が初期顔モデルと顕著に差が出る顔形状である場合、このようなアルゴリズムは正常に動作できない。
【０１７６】
このような場合のために顔モデルを精密に補正するために、ステレオ分析に基づいたモジュールがシステムに統合される。多少相異なる角度で獲得された２個またはそれ以上の顔映像が特殊なステレオ復元アルゴリズムを利用して分析されて顔の可視部分に精密な３次元情報が生成できる。このような目的で獲得されたステレオ対の例示は図６９に示されている。
【０１７７】
図７０は、図５の深さ情報生成部５４０の構成を示したブロック図であって、特徴点検出部７０００、マップ獲得部７０２０及び深さ情報変換部７０４０を含んで構成されている。図７１は、正面及び正面隣接映像から深さ情報を生成する過程を示したフローチャートである。図７０及び図７１を参照して深さ情報生成を説明する。
【０１７８】
まず、特徴点検出部７０００を通じて、正面映像内の映像特徴点を決定し（７１００段階）、前記特徴点に対してモデルに基づいたルーカス・カナダの追跡を行って前記正面隣接映像内の相応する点を探し出す（７１１０段階）。
【０１７９】
次いで、ディスパリティ（disparity）獲得部７０２０を通じて、整合した一致点を利用してデータ補間を行って密集したディスパリティマップを獲得する（７１２０段階）。最後に、深さ情報変換部７０４０を通じて、前記ディスパリティマップを深さ情報に変換する（７１３０段階）。
【０１８０】
前記ディスパリティマップを深さ情報への変換は、最大ディスパリティ値から最小ディスパリティ値を引いた差分として獲得する。次いで、前記差分を顔幅で除算し、所定の定数値を乗算することによって係数を決定する。その後、前記係数及び測定されたディスパリティ値で最小ディスパリティ値を減算した値を乗算することによって与えられた画素の深度値を獲得する。これをより具体的に説明すれば、次のようである。
４．１ ステレオ映像対からのディスパリティの予測
【０１８１】
特徴追跡を利用したステレオ整合を説明する。３次元客体復元の主要概念は「ステレオ
整合」である。すなわち、ステレオ映像に存在する同じ点を探し出す過程である。こ
の過程が行われた後で、３次元位置が復元されうる。
【０１８２】
基本アイディアの単純性にもかかわらず、一般的にステレオ整合は極めて複雑な過程である。多くの相異なる映像に対してステレオマッチングを行う過程で多くの問題点が発生する。その上、ステレオ整合は計算量においても極めて複雑な過程であるが、その理由は完全な整合を行うためにはステレオ映像を通じて全ての可能な一致点を探索して行く過程を行わねばならないためである。
【０１８３】
しかし、顔モデリングの特定応用例で、次のアイディアを適用して整合結果が獲得できる。ステレオ対（正面及び近接正面）の視野角がそれほど相異なっていないために、ステレオ整合過程をステレオ映像間の対象追跡作業のように処理できるので、特徴追跡アルゴリズムが利用されうる。
【０１８４】
ほぼ全ての特徴追跡アルゴリズムは第１映像上で選択された個別点の集合に対して動作する。これらの目的は、連続的な映像でこのような点の位置を追跡することである。この場合に、追跡及び整合過程は同じ過程である。完全な点対点のエピポーラ整合（point−by−point epipolar matching）と比較する時、特徴追跡アルゴリズムに副整合が発生されうるが、直交化過程を経る必要はなくなる。全ての点は相互独立的に処理され、全てのエピポーラ構成に適用することができる（したがって、補正されていないカメラにも適用される）。
【０１８５】
このような理由のために、実施例で特徴追跡を利用してステレオ整合過程を行う。使われる追跡アルゴリズムは次に説明される。
【０１８６】
Ａ（ｘ，ｙ）及びＢ（ｘ，ｙ）を２個の２次元階調映像という。第１映像の一点Ａ（ｐｘ，ｐｙ）を考慮する。特徴追跡の目的は、Ａ（ｐｘ，ｐｙ）及びＢ（ｐｘ＋ｖｘ，ｐｙ＋ｖｙ）が類似になるようにする第２映像の点Ｂ（ｐｘ＋ｖｘ，ｐｙ＋ｖｙ）を探し
出すことである。ベクトルｖ＝［ｖｘｖｙ］は映像速度であり、点［ｐｘ，ｐｙ］での光流とも呼ばれる。映像速度ｖを点［ｐｘ，ｐｙ］の近辺(2(x+1)×(2(y+1)の残留関数(を最小化するベクトルとして定義する。
【数１１】
【０１８７】
前記のような残留関数を最小化する速度（ｖoptと保存）が次のような標準ルーカス・カナダ方程式を利用して求めることができる。
【数１２】
ここで、次の数式が満足される。
【数１３】
【数１４】
【数１５】
【数１６】
【０１８８】
３次元復元作業を行った後で、前記のようなモデル適合アルゴリズム（model fitting Algorithm）を適用して初期モデルを変形させる。
【産業上の利用可能性】
【０１８９】
本発明によるフォトリアリスティックな３次元の人間顔モデルの自動的な生成技術はコンピュータグラフィック分野で使用可能である。仮想現実空間、コンピュータゲーム、画像会議及びアニメーション製作のような多様な応用分野がフォトリアリスティックな人間顔モデルにより開発されうる。
【図面の簡単な説明】
【０１９０】
【図１】本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法を示したフローチャートである。
【図２】モデル生成作業をより具体的に写真と共に示した図である。
【図３】初期顔モデルの正面図及び側面図を示す図面である。
【図４】典型的な入力映像を示す正面映像、正面隣接映像及び側面映像を示す図である。
【図５】本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング装置の構成をブロック図で示した図である。
【図６】顔特徴検出部の細部構成を示した図である。
【図７】正面顔の特徴検出部の細部構成を示した図である。
【図８】正面顔特徴検出をより詳細に示したフローチャートである。
【図９】正面顔特徴検出をより詳細に示したフローチャートである。
【図１０】皮膚領域映像及び顔領域検出の例示である（さらに小さな楕円が初期領域であり、さらに大きい楕円が検出された結果）。
【図１１】皮膚領域映像及び顔領域検出の他の例示を示す図面である。
【図１２Ａ】顔領域検出部の細部構成を示したブロック図である。
【図１２Ｂ】顔領域検出を示したフローチャートである。
【図１３】顔領域検出法の楕円モデルを示す図面である。
【図１４Ａ】目の境界ボックス検出部の構成を示したブロック図である。
【図１４Ｂ】目の境界ボックス検出を示したフローチャートである。
【図１５】目の典型的バリエーション映像の例示を示す図面である。
【図１６】目の典型的バリエーション映像の他の例示を示す図面である。
【図１７】目の境界ボックス検出の結果を示す図面である。
【図１８Ａ】虹彩検出部の構成を示したブロック図である。
【図１８Ｂ】虹彩の中心及び半径検出を示したフローチャートである。
【図１９】検出された虹彩の例示を示す図面である。
【図２０】目の外郭線の検出で近似化を示したフローチャートである。
【図２１】目領域の水平方向への赤色チャンネル強度値を示す図面である（目の外郭線の検出のために使われる）。
【図２２】目の外郭線の検出のために検出された点及び近似した目の外郭線を示す図面である。
【図２３】垂直眉位置の検出を示す図面である。
【図２４】眉境界ボックスを示す図面である。
【図２５】検出された眉を示す図面である。
【図２６】上部及び下部唇の検出を示したフローチャートである。
【図２７】唇の方形を反復的に精巧に整える過程を示す図面である。
【図２８】初期化された唇点を唇関数映像上で示した図面である。
【図２９】唇の外郭線点に適用される力を示す図面である。
【図３０】唇の外郭線変形の一段階を示す図面である。
【図３１】鼻の外郭線の検出段階での鼻側面検出を示したフローチャートである。
【図３２】鼻側面テンプレートを示す図面である。
【図３３】映像で検出された鼻側面候補を示す図面である。
【図３４】鼻曲線の主要特徴点の配置を示す図面である。
【図３５】検出された鼻曲線を示す図面である。
【図３６Ａ】図７のあご及び頬の外郭線検出部の構成を示したブロック図である。
【図３６Ｂ】あご及び頬の外郭線検出を示したフローチャートである。
【図３７】あご及び頬変形モデルを示す図面である。
【図３８】あごモデル近似過程を示す図面である。
【図３９】正面映像でのあらゆる検出された特徴を示す図面である。
【図４０】側面顔の特徴検出部のより詳細なる構成を示したブロック図である。
【図４１】側面顔の特徴検出を示したフローチャートである。
【図４２】側面顔領域の検出が失敗した場合を示す図面である（皮膚及び鼻の分離）。
【図４３】側面顔領域の検出が失敗した場合を示すさらに他の図面である（鼻領域が不完全）。
【図４４】側面顔領域の検出が失敗した場合を示すさらに他の図面である（皮膚領域が不完全）。
【図４５】典型的な側面関数を示す図面である。
【図４６】鼻ブリッジ上端及び鼻下部点の検出を示す図面である。
【図４７】あご及び首基準点を検出することを示す図面である。
【図４８】唇基準点を予測することを示す図面である。
【図４９】自動的に検出された側面特徴の結果（耳を含まない）を示す図面である。
【図５０】耳の外郭線の検出をフローチャートで示した図である。
【図５１】耳初期化を示したフローチャートである。
【図５２】側面耳検出のための曲線テンプレートを示す図面である。
【図５３】耳検出の初期化（正規化された映像、校正点及び検索領域）を示す図面である。
【図５４】耳領域近くの顔領域で皮膚と髪の毛領域の境界を示す図面である。
【図５５】色情報を利用した耳初期化結果を示す図面である（赤色セグメントが耳テンプレートと整合する）。
【図５６】色情報だけを利用して側面耳検出に失敗した場合、耳のエッジ情報を利用した耳初期化結果を示す図面である。
【図５７】側面耳検出結果を示す図面である。
【図５８】モデル変形のための入力顔の特徴曲線を示す図面である。
【図５９】図５の顔モデル変形部の構成を示したブロック図である。
【図６０】顔モデル変形部での初期モデル変形を示したフローチャートである。
【図６１】正面顔の特徴曲線で抽出された主要点を示す図面である。
【図６２】初期（上部行）及び変形された（下部行）顔モデルを示す図面である。
【図６３】図５のテクスチャ生成部の構成を示したブロック図である。
【図６４】テクスチャ生成を示したフローチャートである。
【図６５】ＵＶ平面上の正面テクスチャ映像を示す図面である。
【図６６】ＵＶ平面上の側面テクスチャ映像を示す図面である。
【図６７】入力映像と合成テックスから得られた最終テクスチャを示す図面である。
【図６８】テクスチャされたモデルと合成耳テクスチャとを利用して向上した結果を示す図面である。
【図６９】顔映像のステレオ対の例示を示す図面である。
【図７０】図５の深さ情報生成部の構成を示したブロック図である。
【図７１】正面及び正面隣接映像から深さ情報を生成する過程を示したフローチャートである。
【技術分野】
【０００１】
本発明は映像処理に係り、特に、映像からフォトリアリスティックな（photorealistic）３次元の顔（または顔面）モデリングを行うために映像（image:一般的な像であって、像が形成された媒体には依存しない）に基づいたフォトリアリスティックな３次元の顔モデリングを行う方法及びそのための装置に関する。
【背景技術】
【０００２】
フォトリアリスティック（Photorealistic；写真上の写実性）な３次元の人間顔モデルを自動的に生成する技術は、長期間コンピュータグラフィック分野で極めて重要な課題として残っていた。この技術により可能となる事実感のある人間の顔モデルにより仮想現実空間、コンピューターゲーム、画像会議及びアニメーションの製作のような多様な応用が開発することができる。
【０００３】
たとえ複雑な被写体から精密な３次元の形状を捕らえられることのできるレーザースキャナー及び構造光を利用した距離測定器のような装置が存在するが、そのコストが極めて高くて使用し難い。一方、コンピュータを利用したインタラクティブな（interactive；対話型の）顔モデリング技術は多くの努力及び専門性を要求する。そのために、一般的なパソコンユーザーにより容易にフォトリアリスティックな人間顔のモデルを生成させるために、この分野に数多くの努力が競走されてきた。言い換えれば、それほど高価ではない装置（デジタルカメラのような装置）を利用してデータを獲得し、ユーザーが生成作業の全般を制御するが、これと共に可能なかぎり自動化を実現して、完全でない入力データからでも望ましい結果が生成できるロバストな（robust）方法（アルゴリズム）を開発することが課題であった。
【０００４】
自動的に顔モデルを復元するシステムは、３次元の顔形状データに使われたソースデータを基準にして幾つかのカテゴリーに大別することができる。以前の開発者はレーザースキャナーまたは光学装置を利用してデータが獲得できる技術を開発した。この方法の問題点は、一般的に装備が高価であり、使用し難い点である。
【０００５】
また、正面及び側面映像から顔モデルを生成するための多くの努力と競走がされてきた。しかし、２つの映像間即ち２枚の映像画面の間に厳格な直交関係を得ることは特殊な補助器具を使用していない一般的な携帯用カメラを利用する場合、困難である。したがって、相異なる角度から直接獲得された形状情報は矛盾する部分があり、この部分に対する解決策がまだ提示されていない。
【０００６】
あるシステムは、ユーザーによって指定された数個の映像内の特徴点に依存して顔モデルを生成することができるが、この過程は多くの時間及び努力を必要とする。
【０００７】
他の解決法のうち、光流及びステレオ法を利用する方法が完全な自動復元過程に向かう最も進歩された方法と見える。しかし、この装置の結果顔モデルには深刻なノイズを含み、顔表面が不自然な変形を示す場合もある。
顔モデルに所望していない結果を生じることを防止し、結果のロバスト性（robustoness）を増加させるために、ある人はモーフィングされうる（morphable; 形態要素となり得る）顔モデルを使用する。前記顔モデルは限定された数の特徴点だけを用いて前記顔モデルを復元された３次元点またはソース画像に整合させるか、前記顔モデルの形状復元のために、モデルに基づいた束合調整技法（model-based bundle adjustment)を使用する。このような問題解決法は特徴点の集合の稠密度に大きく依存する。
【０００８】
ステレオ復元法を利用した正確なモデルを獲得するための他の方法は、顔形状の復元を、意図された付加的な制限に適合する変形可能な顔モデルに制限するものである。しかし、これはモデルの精密度を劣化させることになるる。
【０００９】
ある人は深さ情報に対する従来技術によって、ただ正面顔画像からモデルを構成しようとするが、その結果、顔モデルの品質は写真上の写実性（Photorealistic）を失う。
【００１０】
顔モデリングの重要な論点のうち１つは、顔特徴を自動的に抽出し出すことである。外貌に基づいた顔特徴のモデリング、人間の肉眼注視に基づいたアルゴリズム、特定エッジ及び低い輝度画素パターンの検索、形態演算子（morphological operator）などの技法を利用した多様な顔特徴の検出方法が提案されてきた。このような技術分野が明確に発展されてきたことは事実であるが、人間らしさを基準とする顔分析アルゴリズムを生成す
るために、精密度及びロバスト性の観点より性能を向上させるためにはまだ多くの研究が行われなければならない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、２つの映像（正面及び側面映像）または３つの映像（正面映像、正面隣接映像、側面映像）から３次元の人間顔モデル復元を行うために、画像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置を提供するところにある。
【課題を解決するための手段】
【００１２】
前記技術的課題を解決するための本発明による、映像に基づいたフォトリアリスティックな３次元の顔モデリング方法は、描写された多角形メッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成方法において、（ａ）入力映像の正面及び側面顔映像内の顔特徴を検出する段階と、（ｂ）特定顔の３次元形状を決定するために、前記検出された顔特徴を利用して初期モデルを変形させて３次元の顔モデルを生成する段階と、（ｃ）入力映像からフォトリアリスティックなテクスチャ（texture: 肌理）を生成する段階と、（ｄ）前記テクスチャを前記３次元モデル上にマッピング（mapping: 配図）する段階と、を含むことを特徴とする。
【００１３】
前記（ａ）段階は、入力映像の正面及び側面顔映像内の顔特徴を検出することを行う。前記（ｂ）段階は、正面及び正面隣接映像から顔深さ情報を生成する段階をさらに含み、特定顔の３次元形状を決定するために、前記顔特徴を利用して初期モデルを変形させ、前記顔深さ情報を利用して前記変形された３次元の顔モデルを適合させることが望ましい。
【００１４】
前記（ａ）段階の正面顔特徴検出は、皮膚領域を検出する段階と、顔領域を検出する段階と、目の境界ボックスを検出する段階と、眼球の虹彩を検出する段階と、正面顔映像を正規化する段階と、目の外郭を検出する段階と、眉を検出する段階と、唇の外郭を検出する段階と、鼻の外郭を検出する段階と、あごを検出する段階と、頬の外郭を検出する段階と、を含んでいる。
【００１５】
前記正面顔映像の正規化段階は、２つの虹彩の中心間を結ぶ線を水平にして回転させ、所定の映像解像度に正規化することが望ましい。
【００１６】
前記（ａ）段階の側面顔の特徴検出は、顔領域を検出する段階と、側面曲線を検出する段階と、基準点を検出する段階と、耳の外郭線を検出する段階と、を含むことが望ましい。
【００１７】
前記正面及び正面隣接映像から深さ情報を抽出する段階は、正面映像内の映像特徴点を決定する段階と、特徴点に対してモデルに基づくルーカス・カナダの追跡（Ｌｕｃａｓ−Ｋａｎａｄｅ ｔｒａｃｋｉｎｇ）を行って前記正面隣接映像内に相応する点を捜し出す段階と、整合した対応点を利用してデータ補間を行って充分にデータ点が補充されたディスパリティマップ（disparity map; 不釣合い図）を得る段階と、前記ディスパリティマップを深さ情報に変換する段階と、を含んでいる。
【００１８】
前記ディスパリティマップを深さ情報に変換する段階は、最大ディスパリティ値と最小ディスパリティ値の差を得る段階と、前記の差分値を顔幅で除算して所定の定数値を乗算することによって係数を決定する段階と、測定されたディスパリティ値から最小ディスパリティ値を差引いて得られた値を乗算することによって与えられた画素の深度値を得る段階と、を含んでいる。
【００１９】
前記（ｂ）段階の初期顔モデルに適合する方法は、３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元の点に変換する段階と、前記映像特徴及び前記初期３次元のメッシュモデル特徴点間の対応性を利用して、３段階放射形基盤関（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）基盤のモーフィング作業を行って前記３次元の顔メッシュモデルを変形する段階と、を含むことが望ましい。
【００２０】
前記（ｃ）段階は、入力映像上で相異なる照明条件の違いによるズレまたはカメラ間の色バランスのズレを色補償する段階と、写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通のＵＶ平面（public UV plane）上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する段階と、多重解像度のスプラインアルゴリズムを利用して正面と側面のテクスチャ及び人工テクスチャを混合してテクスチャを完成する段階と、を含んでいる。
【００２１】
前記技術的課題を解決するための本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング装置は、描写された多角形のメッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成装置において、入力映像の正面及び側面顔映像の顔特徴を検出する顔特徴検出部と、前記検出された顔特徴を利用して所定の初期モデルを変形させて３次元の顔モデルを生成する顔モデル変形部と、入力映像からフォトリアリスティックなテクスチャを生成するテクスチャ生成部と、前記テクスチャを前記顔モデル変形部で生成された３次元の顔モデルにマッピングするマッピング部と、を含むことを特徴とする。
【００２２】
前記顔モデルのバリエーションとしては、正面及び正面隣接映像から顔深さ情報を抽出する深さ情報生成部をさらに有し、前記顔特徴検出部で検出された顔特徴と前記深さ情報生成部で生成された顔深さ情報を利用して所定の初期モデルを変形させて３次元の顔モデルを生成することを含んでいる。
【００２３】
前記顔特徴検出部は、正面顔の特徴を検出する正面顔の特徴検出部と、側面顔の特徴を検出する側面顔の特徴検出部と、を含んでいる。前記正面顔の特徴検出部は皮膚領域を検出する皮膚領域検出部と、顔領域を検出する顔領域検出部と、目の境界ボックスを検出する目の境界ボックス検出部と、虹彩を検出する虹彩検出部と、正面顔映像を正規化する正面顔正規化部と、を含んでいる。
【００２４】
前記正面顔の特徴検出部は、目の外郭線を検出する目の外郭線の検出部と、眉を検出する眉検出部と、唇の外郭線を検出する唇の外郭線検出部と、鼻の外郭線を検出する鼻の外郭線検出部と、あご及び頬の外郭線を検出するあご及び頬の外郭線検出部のうち少なくとも１つをさらに有することが望ましい。
【００２５】
前記側面顔の特徴検出部は、側面顔領域を検出する側面顔領域検出部と、側面曲線を検出する側面曲線検出部と、基準点を検出する基準点検出部と、耳の外郭線を検出する耳の外郭線の検出部と、を含むことが望ましい。
【００２６】
深さ情報生成部は、正面映像内の映像特徴点を決定して前記正面隣接映像内で前記特徴点に相応する点を捜し出す特徴点検出部と、整合した一致点を利用してデータ補間を行って充分にデータ点が補充されたディスパリティマップを得るマップ獲得部と、前記ディスパリティマップを深さ情報に変換する深さ情報変換部と、を含んでいる。
【００２７】
前記顔モデルのバリエーションとしては、３次元の初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元点に変換する２次元点変換部と、前記映像特徴及び前記初期３次元のメッシュモデル特徴点間の対応性を利用して、３段階ＲＢＦ基盤のモーフィング作業を行って前記３次元顔メッシュモデルを変形する顔メッシュモデル変形部を含んでいる。
【００２８】
前記テクスチャ生成部は、入力映像上で相異なる照明条件の違いによる色バランスのズレまたはカメラ間の色のバランスのズレを色補償する入力映像補償部と、写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する正面／側面テクスチャ生成部と、多重解像度のスプラインアルゴリズムを利用して正面と側面のテクスチャ及び人工テクスチャを混合してテクスチャを完成するテクスチャ完成部を含んでいる。
【００２９】
そして、前記発明をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体を提供する。
【発明の効果】
【００３０】
本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置によれば、デジタルカメラのような比較的には高価ではない装置を利用してデータを獲得し、可能な限り自動化を実現し、完全でない入力データから望ましい結果が生成できるロバスト性を有する方法を提供する。すなわち、顔特徴を自動的に抽出し、人間らし
い顔分析方法を提供する。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して本発明の最良の実施例を説明する。
【００３２】
まず、本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置の全体的な概要を説明し、前記本発明の細部内容に該当する顔特徴検出、顔モデル変形、テクスチャ生成及びステレオ映像対を利用した３次元復元を説明する。
【００３３】
本発明によるシステムは、２枚または３枚の顔写真を利用する。すなわち、２枚の顔写真を利用する時には、正面写真及び側面写真を利用し、３枚の顔写真を利用する時には、正面写真、正面隣接写真及び側面写真を利用してフォトリアリスティックな３次元の多角形顔モデルを生成する。
【００３４】
映像取得条件は単純である。すなわち、映像輝度の良好な対応及びシャープネス及び顔領域の十分な照度であれば良い。
【００３５】
図１は、本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法を示したフローチャートである。そして、図２は、モデル生成作業をより具体的に写真と共に示した図である。
【００３６】
図１及び図２に示されたように、モデル生成作業は、次のような段階を含む。最初に、自動の正面顔特徴検出及び半自動の側面顔の特徴検出が行われる（１００段階）。第２に、初期３次元の顔モデルを変形して正面顔特徴と適合させる（１２０段階）。そして、自動でモデル基盤のステレオ整合が行われて正面写真の深さマップを獲得すれば、モデルはさらに変形されて側面特徴及び予測されたステレオ深さマップの何れとも適合させる（１４０段階）。最終的に、モデルテクスチャが正面及び側面写真から生成されるが、この時、顔モデルを構成する多角形の内のいくつかの多角形には人工皮膚が生成される（１６０段階）。次いで、前記生成されたテクスチャは前記整合した顔モデルにマッピングされて３次元の顔モデルを生成する（１８０段階）。
【００３７】
モデル変形をするために深さマップ及び側面特徴の両方を使用することは同じような作業の反復であると見られうる。しかし、深さマップは幾何学的な情報に対する膨大で、かつ詳細なる情報を提供し、これは最終モデルがさらに写実的に見えるようにする効果をもたらす。
【００３８】
もし正面隣接映像が提供されなければ、本発明による３次元の顔モデリング方法は単純に前記正面隣接映像に関連した段階を省略して進めることができ、この場合にも合理的な結果が得られる。
【００３９】
本発明による３次元の顔モデリング方法で、新しいモデルは初期モデルの変形により生成される。すなわち、初期モデルを被験者の入力データに合致させることによって特定顔を生成する。初期モデル（図２では、一般メッシュとする）は人間顔が有する普遍的な特徴点に基づき構成される顔モデルであると考えられるが、この情報が顔モデリング方法の自動化工程及び顔モデリング方法のロバスト性を容易に実現する。図３に示されたような初期モデルは虹彩及び顔部分を除いても７,１３８個の頂点及び１４,０９６個の三角形を含む。
【００４０】
初期モデルは標準正面の方に配置される。すなわち、Ｘ軸は右側で左側方向であり、Ｚ軸は目の注視方向であり、Ｙ軸は下部で上部方向を示すので、右手方向の座標フレームを形成する。このような軸方向は特別に説明がなければ、本明細書で共通的に使う。図４は、典型的な正面、正面隣接及び側面入力映像を示したものである。
【００４１】
図５は、本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング装置の構成を示したブロック図であって、当該装置は、顔特徴検出部５００、顔モデル変形部５１０、テクスチャ生成部５２０及びマッピング部５３０を含んでおり、深さ情報生成部５４０をさらに有することが望ましい。
【００４２】
前記顔特徴検出部５００は、入力映像の正面及び側面顔映像の顔特徴を検出する。前記顔モデル変形部５１０は前記検出された顔特徴を利用して所定の初期モデルを変形させて３次元の顔モデルを生成する。また、前記顔モデル変形部５１０は前記深さ情報生成部５４０をさらに有する場合には、前記顔特徴検出部５００で検出された顔特徴と前記深さ情報生成部５４０で生成された顔深さ情報とを利用して所定の初期モデルを変形させて３次元の顔モデルを生成する。
【００４３】
前記テクスチャ生成部５２０は、入力映像からフォトリアリスティックなテクスチャを生成する。前記テクスチャは必要に応じて人工テクスチャであっても良い。前記マッピング部５３０は前記テクスチャを前記顔モデル変形部５１０で生成された３次元の顔モデルにマッピングする。前記深さ情報生成部５４０は正面及び正面隣接映像から顔深さ情報を抽出する。
１．顔特徴検出
【００４４】
図６に示されたように、前記顔特徴検出部５００は正面顔の特徴を検出する正面顔の特徴検出部６００及び側面顔の特徴を検出する側面顔特徴検出部６５０を含んで構成されている。
１.１ 正面顔特徴の検出
【００４５】
正面顔の特徴検出部６００は、図７に示されたように、皮膚領域を検出する皮膚領域検出部７００、顔領域を検出する顔領域検出部７０５、目の境界ボックスを検出する目の境界ボックス検出部７１０、虹彩を検出する虹彩検出部７１５及び正面顔映像を正規化する正面顔正規化部７２０を含んでなる。
また、前記正面顔の特徴検出部６００は、必要に応じて目の外郭線を検出する目の外郭線検出部７２５、眉を検出する眉の検出部７３０、唇の外郭線を検出する唇の外郭線検出部７３５、鼻の外郭線を検出する鼻の外郭線検出部７４０及びあご及び頬の外郭線を検出するあご及び頬の外郭線検出部７４５のうち少なくとも１つをさらに具備することが望ましい。
【００４６】
まず、正面特徴検出に対して説明する。図８及び図９は、正面顔特徴検出をより詳細に示したフローチャートであって、皮膚領域検出（８００段階）、顔領域検出（８１０段階）、目の境界ボックス検出（８２０段階）、虹彩検出（８３０段階）、正面顔映像正規化（８４０段階）、目の外郭線の検出（９００段階）、眉の検出（９１０段階）、口（唇）の外郭線検出（９２０段階）、鼻の外郭線検出（９３０段階）、顔輪郭（あご及び頬）の外郭線検出（９４０段階）段階に区分される。
【００４７】
各段階は、以前段階が成功的に行われたことを仮定し、以前に検出された特徴の適当な精密度を要求する。このような目的のために、特徴検出が不正確であれば、ユーザーは各段階を行った後、特徴検出の不正確性を手作業で補正することが可能である。
１.１.１ 皮膚検出
【００４８】
正規化されたｒ−ｇ色差の色空間内の事前に学習された最大確率ベイジアン分類器（maximum likelihood Bayesian classifier）が皮膚色モデリング及び検出のために使われる。正規化されたｒ−ｇ色空間が選択される理由は、これがＲＧＢ空間から高速で容易に変換され、ベイジアンＭＬ分類器（maximum likelihood Bayesian classifier）を利用して皮膚色モデリングを良好に行う性能を有するためである。
当該学習は２つの統計値
−及びを収集することによって行われ、学習映像の顔及び非顔領域から求めた皮膚及び非皮膚のヒストグラムから計算される。皮膚確率映像は、入力フレームの各画素に対してこのような測定を行うことによって構成される。
【数１】
【００４９】
プリオリ（priori）な皮膚及び非皮膚確率が同一であると仮定する場合、これはベイジアン最大確率基準（maximum likelihood Bayesian criteria）を満足する。結果的に得られる皮膚確率映像が顔領域追跡に使われる。
１.１.２ 顔領域の検出
【００５０】
図１２Ａは、図７の顔領域検出部７０５を示した詳細部ブロック図であって、顔領域初期化部１２３０、楕円安定化部１２４０及び顔領域決定部１２５０を含んでいる。
【００５１】
前記顔領域初期化部１２３０は皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する。前記楕円安定化部１２４０は前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる。前記顔領域決定部１２５０は前記安定化された楕円が接してなる境界方形を顔領域として決定する。
【００５２】
図１２Ｂは、顔領域検出を示したフローチャートである。顔領域は適切な楕円に検出され、本発明では変形可能な楕円モデルに基づいた技法が使われる。図１３に示されたように、初期楕円モデルは、適当な顔位置で初期化される（１２００段階）。前記顔位置は皮膚色で連結された最大成分、または最も大きい２つの成分がほぼ同じサイズを有する場合には２つのうちにさらに映像中心部に近い成分が当該モデルになる。
【００５３】
前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて、楕円を初期化及び回転させる（１２１０段階）。これをより具体的に次に説明する。
【００５４】
楕円境界に位置した多数の方形プローブ（probe: 検査針点）が楕円境界上での皮膚色画素の分散を測定し、モデルの変形を制御する。各プローブの移動は次の規則を適用して決定される。
【００５５】
まず、次の２つの値を計算する。
【数２】
【００５６】
ここで、Ｎinsideはプローブ及び楕円の両方の内部に位置する皮膚画素数であり、Ｎoutsideはプローブ内及び楕円外部に位置する皮膚画素数であり、Ｓはプローブの面積である。この時、プローブが顔領域の内部に存在するならば、ＰinとＰoutは大きい値を有し、顔領域の外部に存在すれば、小さな値を有する。楕円が顔領域の境界に位置すれば、Ｐinは大きい値を、Ｐoutは小さな値を示す。
【００５７】
もし、Ｐin＜ＴInであれば（ＴInは閾値）、プローブは速度ＶInを有して内部に移動する。また、Ｐout＞Ｔout（Ｔoutは閾値）であれば、プローブは速度Ｖoutで外部に移動する。すなわち、もしプローブ内部の隣接領域に皮膚画素がほぼ存在していなければ、プローブは顔領域の外側に存在するので、現位置で内部に移動し、もしプローブ内部及び外部に存在する皮膚画素数が十分であれば、プローブは皮膚上に存在するので、現位置で外部に移動する。
【００５８】
モデル変形の一段階は、あらゆるプローブの離隔を計算して再配置されたプローブの中心に楕円を再近似する過程を含む。楕円は固定した方向（垂直長軸）を有するように限定される。このようにして前記安定化された楕円の境界方形を顔領域として決定する（１２２０段階）。
【００５９】
図１０及び図１１は、顔領域検出の幾つかの結果を例示するが、ここで、小さな楕円が初期領域であり、大きい楕円が検出された結果である。
１.１.３ 目の境界ボックスの検出
【００６０】
図１４Ａは、図７の目の境界ボックス検出部７１０の細部構成を示した図であって、ボケ映像生成部１４５０、映像二値化部１４６０、目候補検索部１４７０及び目の境界ボックス決定部１４８０を含んでなる。
【００６１】
前記滲み映像生成部１４５０は、低域通過フィルタリングを通じてボケた映像を生成する。前記映像二値化部１４６０は元の映像からボケた映像を引いた映像の各画素で自分と周辺画素値の平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像を二値化して表現する。前記目候補検索部１４７０は前記映像二値化部で二値化して表現された映像に連結されたセグメントを目の候補として探し出す。前記目の境界ボックス決定部１４８０は前記目の候補検索部で探し出した目候補を形状、サイズ及び相対的位置基準で評価して目の境界ボックスを決定する。
【００６２】
図１４Ｂは、目の境界ボックス検出を示したフローチャートである。
【００６３】
低域通過フィルタリングを通じてボケた映像を生成する（１４００段階）。元の映像で前記ボケた映像を差引いた映像を取得する（１４１０段階）。前記取得された映像の各画素で自分と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像をニ値化する（１４２０段階）。連結されたセグメントを目の候補として捜し出す（１４３０段階）。形状、サイズ及び相対的な位置基準で前記候補を評価して目の境界ボックスを決定する（１４４０段階）。
【００６４】
これをより細部的に説明すれば、次のようである。本発明による目の境界ボックス及び虹彩検出は数個のスケールで顔映像の赤色チャンネル内の目形状と類似した領域の検出及び目サイズの変異を検出するのに基づく。赤色チャンネルが選択される理由は、虹彩、甚だしくは明るい目（青色、緑色）の場合においても、赤色成分は低い値を示すのに対して、虹彩及び周囲皮膚は相対的に高い赤色成分を示すためである。また、実験結果、赤色チャンネルを利用するのが階調映像に基づいた方法を利用することに比べて良好な結果を提供することが明らかになった。
【００６５】
まず、元の赤色チャンネルが前処理されて前記段階で検出された楕円の境界方形による顔部分だけを保存し、固定された幅を有するようにスケーリング（sacling）される。赤色チャンネルの輝度値もこの段階で最大範囲に拡張される。
【００６６】
第２に、変異映像Ｖn,α（ｘ、ｙ）が数式３を利用して計算されるが、ここで、変異映像は各地点が目に該当する確率を示す。
【数３】
【００６７】
ここで、ｐ、ｒは画素位置であり、Ｉは前処理以後の赤色チャンネル映像であり、Ｒn,x,yは（ｘ,ｙ）地点に中心をおいた（ｘ ｎ ５）サイズを有する方形であり、Ｐn,rはｒに中心をおいた（ｎ ｘ ｎ／２）サイズを有する楕円であり、はスケーリング係数である。ｎは目特徴の予想されたサイズを表わす。
【００６８】
変異映像は４個のｎ及びαの組み合わせのために計算されて顔検出段階で発生しうるエラーを減少させ、目形状の多様な変化に対処できるようにする。図１５及び図１６は、相異なる係数の組み合わせから求められた結果を参照するためのものである。組み合わせは、次のように表せる。
・n = OPTIMAL＿FACE＿WIDTH / 30, ;
・n = OPTIMAL＿FACE＿WIDTH / 25, ;
・n = OPTIMAL＿FACE＿WIDTH / 30, ;
・n = OPTIMAL＿FACE＿WIDTH / 25, ;
【００６９】
第３に、閾値に該当する変異映像内の連結された成分は形状、サイズ及び相手位置の基準を満足するか否かがテストされて最適に整合する目の境界ボックスを獲得する。相異なる変異映像から求められた結果は、次のような戦略で併合される。
【００７０】
第１段階．最小スケールから始まる（前記のような１番目構成）
【００７１】
第２段階．もし目候補が現在の検索領域内に存在するならば、
ａ）もし以前スケールに候補が全然検出されなかったとすれば、目を現在候補として設定し、段階３に進む。
ｂ）もし候補が既に発見されたとすれば、現在スケール候補を以前候補と比較する。もしこれらのサイズ及び位置が急変されないならば、目を現在スケールの候補に更新する。
【００７２】
第３段階．次のスケール（より大きいスケール）を選択して第２段階に進む。
【００７３】
検出結果は、図１７に示されたような目の境界ボックスである。
１.１.４ 目の虹彩の検出
【００７４】
虹彩検出は、赤色チャンネル映像内の目の境界ボックスの内部で虹彩を検出する。
【００７５】
図１８Ａは、図７の虹彩検出部７１５の構成を示したブロック図であって、ハイライト探索部１８６０、虹彩初期化部１８７０、虹彩中心／半径測定部１８８０及び虹彩決定部１８９０を含んでなる。
【００７６】
前記ハイライト探索部１８６０は前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素の数を閾値と比較することによってハイライトの存在を評価する。前記虹彩初期化部１８７０はハイライトが存在しなければ、最も暗い画素の質量重心点を虹彩中心に初期化し、ハイライトが存在すれば、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する。前記虹彩中心／半径測定部１８８０は虹彩中心に位置した初期円を拡張しながら円上の画素の傾斜度のサイズを測定するが、前記初期虹彩中心の周りの隣接画素に対して測定作業を繰り返す。前記虹彩決定部１８９０は最大測定値を有する虹彩中心及び半径を虹彩中心及び虹彩半径として決定する。
【００７７】
図１８Ｂは、前記虹彩の中心及び半径検出を示したフローチャートである。前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによってハイライトの存在を評価する（１８００段階）。ハイライトが発見されなければ、最も暗い画素の質量重心点を虹彩中心として初期化する（１８２０段階）。ハイライトが存在する場合、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心として初期化する（１８１０段階）。
【００７８】
虹彩中心に位置した初期円を拡張し、円上の画素の傾斜度のサイズを測定する（１８３０段階）。前記初期虹彩の中心周囲の隣接画素に対して測定作業を繰り返す（１８４０段階）。最大測定値を有する虹彩中心及び虹彩半径の位置を最終結果として選択する（１８５０段階）。
【００７９】
これをより詳細に説明する。まず、虹彩中心が概略的に予測された後、虹彩半径の検出段階で精密に精製される。
【００８０】
虹彩中心の予測段階で、もし目の境界ボックス内にハイライトが全然存在しないならば、虹彩中心は最も暗い画素の質量中心として初期化される。一方、ハイライトが存在する場合には、虹彩中心はハイライト周囲のハイコントラスト領域の中心として初期化される。虹彩中心検出は前記段階で事前処理された赤色チャンネル映像で行われるが、次の段階を経る。
１）３ｘ３中間値フィルタを利用して目領域をフィルタリングしてノイズを除去する。
２）目の境界ボックス内の最大輝度値を有する画素数を所定の閾値と比較することによってハイライトの存否を判断する。
３）虹彩中心を検出する（目にハイライトの存否によって異なる方法が使われる）。
ａ）虹彩内に強いハイライトが発見されれば、目の境界ボックスの中心領域はテンプレート整合方法を利用してスキャニングされる。固定半径を有する円形テンプレートが検索領域内に順次に移動し、各位置で次のような条件目録が点検されて虹彩中心を検出する。
ｉ）検索窓内部の局所的最小値（ｄＬｏｃａｌＭｉｎＶａｌ）は検索窓内部の局所的最大値（ｄＬｏｃａｌＭａｘＶａｌ）と似すぎてはならない（暗い画素及びハイライトの何れも検索窓内に存在することを確実視）。
ｉｉ）ｄＬｏｃａｌＭｉｎＶａｌは十分に暗くならねばならない。
ｉｉｉ）ｄＬｏｃａｌＭａｘＶａｌは十分に明るくならねばならない。
このような条件が満足されるあらゆる地点を平均化して前記地点の重心を虹彩中心として決定する。
４）強いハイライトが発見されない時：
ａ）５ｘ５最小関数が目領域に適用されて弱いハイライトを除去する。
ｂ）目領域は数式４と共にコンボリュ−ションされる。
【数４】
【００８１】
したがって、コンボリュ−ションが行われる間に処理されたブロックの中心部分には大きい加重値が割当てられるが、境界部分には負数の加重値が割当てられる。パラメータｃは正の加重値が割当てられた領域の半径を制御する。
ｃ）最も暗い点（所定の閾値と比較されて）が平均化されて虹彩中心を検出する。
虹彩中心（ｘｃ,ｙｃ）が初期化され、次の段階を経て虹彩中心周囲の各画素位置（ｘ,ｙ）に対して精密に補正された虹彩中心を探す（虹彩半径Ｒもこの過程で検出される）。
１）（ｘｃ,ｙｃ）近辺のあらゆる（ｘ,ｙ）に対して次の計算を行う。
ａ）Ｒ＝Ｍｉｎ｛Ｒ｝ないしＲ＝Ｍａｘ｛Ｒ｝に対して
ｉ）中心（ｘ,ｙ）に位置し、半径Ｒ−１を有する円の左境界及び右境界に位置す る画素の強度の和を計算する。上端部分及び下端部分はまぶたによって識別さ れやすいので、使われない。
ｉｉ）中心（ｘ,ｙ）に位置し、半径Ｒを有する円の左境界及び右境界に位置する 画素の強度の和を計算する。すなわち、上面部分及び下面部分は使用されな い。
ｉｉｉ）２つの和の差（Ｄ（Ｒ,ｘ,ｙ））を計算する。
ｂ）Ｄ（Ｒ,ｘ,ｙ）の最大値を選択し、これに相応するＲをＲｍａｘ（ｘ,ｙ）とし て記録する。
２）あらゆる（ｘ,ｙ）の中央にＤ（Ｒｍａｘ（ｘ,ｙ）,ｘ,ｙ）の最大値を選択し、こ れに相応する（ｘ,ｙ）を虹彩の中心として、Ｒｍａｘ（ｘ,ｙ）を虹彩半径として 選択する。図１９は、虹彩検出の幾つかの結果を示す。
１.１.５ 顔映像の正規化
【００８２】
虹彩検出が行われた後、顔の映像は虹彩中心間の線分が厳蜜に水平になるように回転される。顔境界ボックスも顔サイズ及び２つの虹彩の中心間の距離間比率に対する事前知識を利用して調節される。それにより、入力映像は切断されて顔領域だけを含むようになり、特定幅を有するようにスケーリング（Scaling）される。
１.１.６ 目の外郭線の検出
【００８３】
目の外郭線は上部の目の外郭線及び下部目の外郭線それぞれのための２つの多項式曲線によって近似化される。図２０は、目の外郭線の検出で近似化を示したフローチャートである。虹彩中心及び半径によって検索領域をあらかじめ決定する（２０００段階）。前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンライン（horizontal scan line）に対して、局所的最小値または輝度が急変する画素であって、左側及び右側まぶた点を選択する（２０１０段階）。残留する点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する（２０２０段階）。前記目のコーナーを連結する線分上の点を利用して最小自乗法を利用して上部目の外郭線の曲線を推定する（２０３０段階）。検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線の曲線を推定する（２０４０段階）。
【００８４】
これをより詳細に説明する。目の外郭線モデルは２つの多項式よりなっているが、これは上部まぶた（ｘ及びｙ何れに対しても３次式）及び下部まぶた（ｘ及びｙ何れに対しても２次式）のための多項式である。虹彩中心及び半径が予測された以後に、上部まぶたが低強度画素の領域（白目及び皮膚間の境界）に近似される。下部まぶたはこれ以上検出される必要がなく、直接的に虹彩の下部点及び目のコーナーとして近似化される。
【００８５】
まず、上部まぶたを検出する以前に、赤色チャンネルの目の映像が中間値フィルタリング（median filtering）され、ガウシアン平滑化（Gaussian smoothing）されてノイズレベルを抑制する。まぶた点をのための検索領域も虹彩中心及び半径によって事前定義される。
【００８６】
第２に、上部まぶた点を検出するために、次のようなアルゴリズムが使われる。
１）検索領域内の各垂直地点に対して、
２）もし現在の垂直地点で虹彩が皮膚で覆われているならば（この線分での平均強度が閾値より大きければ）、段階１に進んで次の垂直地点に対してさらにテストを行う。
３）左側虹彩の境界から左側目の境界ボックス境界まで、現在線分内の画素強度をスキャンして局所的最小値または輝度が急増する領域（図２１参照）を捜し出す。この地点が上部まぶたの左側位置に相応する。
４）右側に対しても同じ処理を行なう。すなわち、右側虹彩境界から右側目の境界ボックス境界まで、現在線分内の画素強度をスキャンして局所的最小値または輝度が急増する領域（図２１参照）を捜し出す。この地点が上部まぶたの右側位置に相応する。
【００８７】
前記のようなアルゴリズムは上部まぶた上に位置すると推定される点の集合を提供する。エラーによって検出される点を排除するために、次のような過程が目の境界ボックスの左側及び右側半分に対して適用される。
１）ヒュー変換（Hough Transformation）を利用して点を線分に近似化する。
２）望ましい方向を有して自分に近接な点数が最大になる線分を選択する。
３）予測された線分から極めて離隔された点を除去する。
【００８８】
残った点のうち、左側末端及び右側末端に位置する点が目のコーナーとして選択され、目のコーナーを連結する線分上に位置する点は上部まぶた曲線を予測するために使われる（図２２参照）。
１.１.７ 眉の検出
【００８９】
垂直眉の位置は額領域の画素（Ｈ（ｙ））を数式５により定義されるインテグラル投影（integral projection）した結果のうち最小値を出力する位置と推定される（図２３参照）。
【数５】
【００９０】
ここで、Ｆａｃｅ（ｙ）は（ｘ,ｙ）が顔楕円内に存在する条件を満足するｘの集合、Ｗｄｔ（ｙ）はｙ地点での顔楕円の幅、ｇｒａｙ（ｘ,ｙ）は映像位置（ｘ,ｙ）での階調値の強度である。
【００９１】
もし発見された垂直眉の位置が目から極めて遠く離隔されているならば、これは顔サイズ及び虹彩中心位置によって所定の値に設定される。それにより、眉の境界ボックスも眉位置に対する統計的な情報から決定される（図２４参照）。
【００９２】
その後、３次多項式が近似化されて眉を表示する。まず、眉方形内の各垂直セグメントによって、階調値が所定の値より大きい地点を眉点として収集する。それにより、眉曲線がこの平均地点を利用して計算される（図２５参照）。
１.１.８ 唇の外郭線の検出
【００９３】
前記唇の外郭線の検出は上部及び下部唇検出よりなる。図２６は上部及び下部唇の検出を示したフローチャートである。
【００９４】
前記上部及び下部唇検出は、次のような過程を通じてなる。まず、口の方形を初期化する（２６００段階）。非皮膚色画素のモーメントを分析することによって初期方形をより精密な境界ボックスに縮少させる（２６１０段階）。唇関数映像を構成して、精製された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する（２６２０段階）。高い唇関数値を有する画素の２次中心モーメントを測定することによって楕円を有して、唇の外郭線を初期化する（２６３０段階）。外力及び内力によって唇の外郭線を動的に移動させる（２６４０段階）。前記移動結果点に多項式を近似させて曲線表現式を生成する（２６５０段階）。
【００９５】
前記外力は、唇と皮膚との境界地点に境界点を移動させる力であり、前記内力は内部形状力及び内部平滑化力よりなる。前記内部形状力は外郭線形状を楕円に近くする力であり、前記内部平滑化力は前記境界外部に極めて外れる単一点を抑制する力である。
【００９６】
これをより詳細に説明する。唇の外郭線の検出の最初段階は、適当に正確な境界方形を推定することである。この過程は次の段階を通じて行われる。１）人に固有な皮膚色ヒストグラムが皮膚検出段階で生成される。２）所望の口の位置に中心をおいた方形として初期境界方形が設定される。３）現在方形内部にその人に固有な皮膚色ヒストグラム値のうち低い値を有する画素の質量中心及び２次モーメントを計算し続けて、唇ボックスを精密に補正する（図２７参照）。
【００９７】
精密修正作業は数回反復されるが（例えば、約６回反復）、一般的に適当な精密度の唇境界ボックス計算には十分である。
【００９８】
次の段階で、唇関数映像を生成して画素色が唇または皮膚色に属する確率を測定する。前記の二色の範疇は何れも２次元ガウシアン確率密度関数によって（ｒ＝Ｒ／Ｇ、ｂ＝Ｂ／Ｇ）空間内で表現される。唇境界ボックス内の皮膚ヒストグラムの少ない値が唇色範疇を計算するのに使われる。２つの範疇の色が計算された後、唇関数映像が数式６を利用して構成される。
【数６】
【００９９】
ここで、pl(r(x，y)，ｂ(x，ｙ))は画素位置（ｘ,ｙ）での唇色を範疇とする確率密度値であり、ps(r(x，y)，ｂ(x，ｙ))は皮膚色を範疇とする確率密度値であり、α1、α2は２つの係数である。したがって、 lip＿func(x、ｙ)は唇の範疇に属する画素の確率及び皮膚の範疇に属する画素の確率間の差を表す。
【０１００】
第３段階は、高い唇関数値を有した画素の２次中心モーメントを計算することによって楕円を利用した唇の外郭線の近似化を行うことである。
【０１０１】
それにより、第４段階で、唇関数映像上に反復的アルゴリズムを利用して精密な唇の外郭線が生成できる。このような唇の外郭線は楕円境界上に同じ間隔に離隔された角度を有し、サンプリングされた点を含む閉じた多角形として初期化されうる（唇関数映像及び初期化された唇の外郭線点に対しては図２８を参照する）。各反復段階で、外郭線点ｐiは単純規則の集合によって移動する。移動を決定する力の方向は本実施例ではｖcであり（図２９参照）、そのサイズＦiは数式７のように３つの力の和として決定される。
【数７】
を満足する。
【０１０２】
また、ｐi-1、ｐi、ｐi+1は３つの時計周り方向に連続的な外郭線点である。あらゆるｋ*は正の所定の係数である。特別な場合はｋsmの場合であるが、これは外郭線点の位置及び移動方向によって異なる（他の係数は定数）。
【０１０３】
実は、前記アルゴリズムをコーナー（corner：角部）にも整合させるために、
Fism（楕円制限として、後述）は唇コーナー点に対してはＦiに少なく寄与すべきである。
【０１０４】
したがって、この場合、ｋsmは事前反復段階で発見された楕円コーナー近くの点に対してはより小さな値を有する。唇の外郭線のより低い部分は上部に比べてさらに平滑であり、これもｋsm計算に適用される。
【０１０５】
ここで、ｆはこの地点ｐiでの唇関数映像内の値であり、Ｔは所定の閾値であり、ｖp、ｖnは現在地点ｐiから以前及び後続外郭線点に向かうベクトルであり（図２９参照）、ｖcは楕円の中心からｐiに向かった正規化された方向であり、は、ｖpを時計周り方向に(／２ほど回転させて生成される。
【０１０６】
要約すれば、Fidataは外郭線の生長または縮少を制御し、ｐiでの実際データと合致させる力である。
【０１０７】
Fiformは外郭線の形状が楕円と類似になるように力を加える。このような力が広域外郭線形状に影響を及ぼさせるために、ｖn及びｖpが次の（以前）点の数個の平均から取られる。
【０１０８】
Fismは一点も過度に外部に位置しなくすることによって外郭線の平滑度を制御する。
前記アルゴリズムは約３０回繰り返した後、終結される。唇の外郭線更新の一段階が図３０に現れる。この後、多項式（上部及び下部唇の４次）が反復結果点を近似して曲線表現式を生成する。
１.１.９ 鼻の外郭線の検出
【０１０９】
鼻の外郭線の検出段階は鼻側面検出を含む。図３１は、鼻の外郭線の検出段階での鼻側面検出を示したフローチャートである。前記鼻側面検出は次の通りになる。まず、所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合する（３１００段階）。大きい整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する（３１１０段階）。各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された３点に合致する（３１２０段階）。結局、所定の補間係数を使用して前記鼻先と低い鼻の曲面が位置する（３１３０段階）
【０１１０】
これをより詳細に説明する。映像条件及び照明条件に関係なく使用できる汎用的な鼻検出技法を開発することは極めて難解である。もちろん、正面で照明が照らし、映像のシャープネスが良好である場合、このような過程は問題点にならない。その理由は鼻領域が大きい、識別可能なエッジパターンを有するためである。しかし、ある場合には（写真がボケるか、照明が方向性のない場合）鼻エッジ領域がノイズが多く、パターンを識別し難くなる。この場合、方向を有したエッジマップテンプレート（mapping template）を利用して鼻側面を検出すれば、相異なる範疇の映像にも良好なロバスト性を提供する。このようなアルゴリズムは次の段階を行って具現されうる。
１）鼻領域映像（水平に虹彩中心間、垂直に目下端部から口境界ボックスの上端部まで）は切断され、固定解像度にスケーリングされる。
２）中間値フィルタが適用されてノイズ除去及びエッジ情報保護を同時に行なう。
３）エッジ傾斜度映像がプリウィットエッジ（Prewitt edge）検出器を利用して計算される。
４）鼻翼面の方向テンプレートが鼻領域に整合して鼻側面を検出する。
鼻翼面テンプレートは固定されたサイズの典型的な鼻側面形状を表現する（図３２参照）。整合適合度は鼻翼面テンプレートに属する画素のエッジサイズの和で測定されるが、合算する時、テンプレート接線方向とエッジ方向との正接（tangent）の絶対値で加重値の和を求める（同じ方向である時、最大の加重値を付与）。最大１０％の整合適合度位置で鼻候補を形成し、候補集合の対（左側及び右側翼面候補）がテストされて最も望ましい鼻位置を決定する（図３３参照）。この時、３つの条件がテストされる。
【０１１１】
まず、重畳条件：類似した高さを有さねばならない。第２に、分離条件：ｘ方向で近接し過ぎてはならない。第３に、ｘ方向への対称性：ｘ方向から顔中心までの差が大き過ぎてはならない。
【０１１２】
このような過程を経た後、４次多項式が図３４にマーキングされた６個の点に整合される。前記６個の点のうち点１、２、３が所定の位置で検出されたテンプレートからサンプリングされ、残りの点は所定の係数を利用して鼻テンプレートと目方形間に補間される。検出されたテンプレート及び目方形間に所定の位置に置かれた幾つかの点に合致される（図３４参照）。
【０１１３】
前記のような方法は画質及び照明条件が顕著に異なる映像から非常に良好なロバストで精密度の高い結果が得られる。鼻の外郭線検出の実施例は図３５に示される。鼻先は２面翼テンプレートセンターの中間点である。そして、低い鼻曲線（図３８、図３９参照）は所定の係数を利用して２つの鼻面の間に位置する。
１.１.１０ あご及び頬の外郭線の検出
【０１１４】
図３６Ａは、図７のあご及び頬の外郭線検出部７４５の細部構成を示したブロック図であって、傾斜度計算部３６４０、あご及び頬の外郭線拡張部３６５０及びあご及び頬の外郭線決定部３６６０を含んでなる。
【０１１５】
前記傾斜度計算部３６４０は赤色チャンネル映像上の傾斜度ベクトル場を計算する。前記あご及び頬の外郭線拡張部３６５０はあご下部点で連結される２つの多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させ、曲線の接線に合致する強いエッジに接するまであご及び頬の外郭線を外部に拡張する。前記あご及び頬の外郭線決定部３６６０は前記あご及び頬の外郭線が接線方向に合致する強いエッジに接するようになれば、前記あご及び頬の外郭線拡張を中止してその結果をあご及び頬の外郭線として決定する。
【０１１６】
図３６Ｂは、あご及び頬の外郭線の検出を示したフローチャートであり、前記あご及び頬の外郭線の検出は、次の通りになる。
【０１１７】
まず、赤色チャンネル映像上の傾斜度ベクトル場を計算する（３６００段階）。あご下部点で連結される２個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させる（３６１０段階）。曲線の接線方向を有した強いエッジに接するまで、あご及び頬の外郭線を外部に拡張する（３６２０段階）。前記あご及び頬の外郭線が重要輝度バレーに到達すれば、前記あご及び頬の外郭線拡張を中止する（３６３０段階）。
【０１１８】
これをより詳細に説明する。あご及び頬の外郭線は相互底点で連結されて連続した曲線を形成する２個の４次多項式で表現される。また、これらは上部末端部で固定されたＹ座標を有する。この曲線は多数のセクション（section）に分割される（図３７参照）
。検出過程は次の段階よりなる。
１）エッジ映像及びあご曲線が次のように初期化される。
ａ）水平及び垂直エッジイメージが次を利用して生成される。
ｉ）元の赤色チャンネル映像がＯＰＴＩＭＡＬ＿ＦＡＣＥ＿ＷＩＤＴＨに合う
ようにスケーリングされ、ガウシアン平滑化を経た後、中間値フィルタを経
る。
ｉｉ）ソベルエッジ（Sobel edge）検出器を適用する。
ｂ）下端点、左上端点及び右上端点の３つの点から左側及び右側曲線は同じ対称
形状に初期化される。このような３つの点は検出された目及び唇位置に対す
る既存知識を利用して決定される。
２）曲線は反復過程を経て精密に補正される。反復段階毎の過程は、次のようなも
のである。
ａ）各セクションｉに対して（１ないしＮまで、ここで、Ｎは総セクション数）
ｉ）整合適合度は０に設定される。
ｉｉ）セクションｉ内の各サンプリング点（ｘ,ｙ）に対して：もし（ｘ,ｙ）
での曲線接線及び映像エッジ方向間の角度が６０度より小さく、
（ｘ,ｙ）でのエッジサイズが所定の閾値より大きければ、整合適合度を
増加させる。
ｉｉｉ）もし、整合適合度が与えられたさらに他の閾値より小さければ、曲線
セクションが曲線法線ベクトルによって外部に移動し、そうでない
場合、そのセクションは内部に若干移動する。
ｂ）曲線をあらゆるセクションに再近似させる。これは曲線セクションが大きい
輝度のエッジに会うまで曲線の垂直方向と平行に外部に拡張されることを意味
する（あご合致過程の中間段階に対して図３８参照）。しかし、曲線の下部の
セクションもこれらが非常に大きい輝度バレー（significant−brightness
valley）に到達する時には、外部に移動することを停止せねばならないが、こ
れは下部あご領域でエッジは一般的に非常に弱いためである。したがって、次
のような決定規則を下部に適用することも可能である。
ｃ）下部曲線部分ｉの各セクションに対して次のように行われる。
ｉ）整合適合度は０に設定される。
ｉｉ）セクションｉの画素（ｘ,ｙ）の平均光度を計算する
（ＣｕｒＢｒｔ（ｉ））。
ｉｉｉ）このセクションを曲線の法線に沿って外部に移動させ、さらに平均輝
度値を計算する（ＭｏｖｅｄＢｒｔ（ｉ））。ｉｖ）もし、
ＭｏｖｅｄＢｒｔ（ｉ）＜ＣｕｒＢｒｔ（ｉ）であれば、このセクション
は外部に移動し、そうでなければ、これは内部に少し移動して陰
影領域内に存在する。
【０１１９】
正面映像のあらゆる検出された特徴が図３９に表示される。アルゴリズムは相異な種類の映像及び照明条件に対しても自動で動作してロバストである。
１.２ 側面顔特徴の検出
【０１２０】
図４０は、前記側面顔の特徴検出部６５０は側面顔領域を検出する側面顔領域検出部４０００、側面曲線を検出する側面曲線検出部４０２０、基準点を検出する基準点検出部４０４０及び耳の外郭線を検出する耳の外郭線の検出部４０６０を含んでなる。
【０１２１】
前記側面顔領域検出部４０００は画素を皮膚及び非皮膚画素に分類し、最大皮膚色の連結成分を側面顔領域として選択する。
【０１２２】
前記側面曲線検出部４０２０は正面映像から類推された特定な境界ボックス内の最右側の顔領域の境界外郭線を側面曲線に検出する。
【０１２３】
前記耳の外郭線の検出部４０６０は曲線テンプレートを側面映像と整合して耳位置を初期化した後、初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を捜し出す。
【０１２４】
図４１は、側面顔の特徴検出を示したフローチャートである。側面特徴の検出は一般的に次のような段階で構成される。側面顔領域の検出する（４１００段階）。側面曲線を検出する（４１１０段階）。次いで、側面基準点を検出する（４１２０段階）。特徴点の検出（額、鼻、唇、あご、首など）を通じて側面曲線はこれらによってセグメント化される（segmented）意味あるセクションに分離することができる。最後に、耳の外郭線を検出する（４１３０段階）。
【０１２５】
このような過程が行われる間、後続段階は先行段階の結果を検討する。そして、中間結果が後続処理過程でエラーを有していると発見されれば、本アルゴリズムは自動で以前段階に戻って、さらに多くの映像情報でエラーを訂正する。
【０１２６】
現在、側面特徴の検出のためにユーザーの相互作用が多少必要とされる。まず、ユーザーは顔が十分に大きくなく、背景が複雑で、皮膚色の物体を含んでいるならば、顔境界方形を元の映像内に定義する必要がある。しかし、これは一般的な場合ではない。
【０１２７】
ほぼ全てのテスト映像で顔領域は完全自動で検出することができる。第２に、顔上端、顔背面、目点及び唇点は統計的知識によって初期位置が設定され、ユーザーの相互作用により補正が必要とされることがある。
１.２.１ 顔領域の検出
【０１２８】
顔領域の検出は画素を皮膚及び非皮膚画素に分類する。次いで、最大皮膚色の連結成分として前記顔領域を選択する。最も大きい２つの成分が類似したサイズを有する場合、映像中心により近いものを前記顔領域として選択する。
【０１２９】
これをより詳細に説明する。正面映像処理と類似に、ここでも正規化されたｒ−ｇ色空間及び学習された皮膚色モデルを使用して皮膚及び非皮膚画素を判断する。皮膚色の最も大きい連結成分または最も大きい２つの成分が類似したサイズを有する場合にさらに映像中心に近い成分を顔領域として選択する。
【０１３０】
ある場合には、鼻領域が顔領域と連結されていない場合もある（図４２参照）。このような失敗状況を隣接した皮膚色連結成分を検討することによって検出できる。鼻及び顔領域は相互併合されて１つの連結された成分を構成する。他の２つの失敗状況は照明が強過ぎる場合（図４３参照）と、照明が暗過ぎるか、あごひげがある場合にあご領域を完全に検出できない場合である（図４４参照）。第１失敗は、鼻先が検出された後、鼻ブリッジ追跡（noise bridge tracking）過程を行うことによって識別されうる。第２失敗は、あご及び首点が検出された以後に判断されうる。より詳細なる説明に対しては特徴点の検出を参照する。
【０１３１】
皮膚検出が失敗したと識別された後、ピラミッドに基づいた領域セグメント化アルゴリズムに依存して顔領域を検出する。このようなセグメント化アルゴリズムの入力映像は元の映像のＨＳＶ変換での１つのチャンネルである。このチャンネルは鼻ブリッジ近くで皮膚を背景と区分する性能に基づいて選択される。
１.２.２ 側面曲線の検出
【０１３２】
正面映像から類推された特定境界ボックス内の最右側顔領域の境界外郭線を側面曲線として検出する。
【０１３３】
顔領域が皮膚検出を通じて検出されれば、側面曲線が顔のユーザーによって特定境界ボックス内の最右側の顔領域画素として検出される。このような過程は、次のようなものである。
１）は皮膚検出の二値化結果（１は画素が皮膚に属することを意味し、０は逆を意
味する）、及び検出された顔領域（連結された成分）である。
２）ユーザーは手動で顔境界ボックスを指定する（ほぼ全ての場合、必要でない）。
３）側面外郭線の概略的近似値を探す。本アルゴリズムは側面関数はｘ＝
ｘ（ｙ）を構成するが、ここで、ｙは垂直方向に変化し、ｘは顔境界ボックス
内のｙ行内の外郭線のｘ座標に対応する。この行内に皮膚画素が存在していな
い場合、ｘ（ｙ）は０に設定される。
４）側面関数は１次元のガウシアンフィ
ルタ（Gaussian filter）を利用して平滑化されて無作為ノイズを除去する
（側面関数の一例を見るためには、図４５を参照）。
【０１３４】
本映像は切断されて側面関数だけを含み、後続する処理を容易にするために固定された高さにスケーリングされる。
１.２.３ 特徴点の検出
【０１３５】
側面曲線の中心点は側面関数の形状を分析することによって検出される。
１）鼻先は側面関数の全域最大値である。鼻先が検出された以後、鼻ブリッジの一
部を直線の線分として近似するが、この時、鼻先より上部の強いエッジ画素を利
用する。そして、鼻ブリッジに沿って皮膚を背景と分離する作業が元の映像のＨ
ＳＶ変換での相異なるチャンネルに対して検討される。さらに、もし鼻ブリッジ
線分が側面曲線と離隔し続けられれば、皮膚検出の第１失敗事例として認識され、
本アルゴリズムは領域セグメント化アルゴリズムを利用して顔領域を検出するた
めに戻る。
２）額上部点（今後、「額上端」という）が最上端の皮膚画素である。
３）側面関数ｘ＝ｘ（ｙ）の上部（額上端から鼻先まで）を７次多項式を利用して
近似化する（図４６参照）。それにより、多項式に対して下端から上端までスキ
ャンして多項式の第１微分値が固定された閾値より小さな地点を探す。この点が
鼻ブリッジの上端である。
４）部分別線形近似化を側面関数の下部（鼻先より低い部分）で行う。
ａ）線分セグメントの方向が関数の最初３個の点から計算される。
ｂ）連続的な点から現在セグメントまでの距離を計算する。
ｃ）もし計算された距離が大き過ぎれば（固定された閾値より大きければ）、新
しいセグメント化を始め、段階ａ）に進行する。
ｄ）段階ａ）に進行する。
５）ある先決定された領域内で、線分セグメントの交差点のうち、隣接セグメント
間の角度が非常に大きい（約９０度）点を探す。この点が「下部鼻点」である
（図４６参照）。
６）「下部鼻点」より低い点に対して、適応型直線近似アルゴリズムから計算され
た線分セグメントを有して側面関数を近似化する。このアルゴリズムの各段階は
次のように行われる。あご及び首点は適応型ポリライン合致（adaptive
polyline fitting）アルゴリズム結果から検出される（図４７に表示された３
点参照）。もしあごが鼻先と近過ぎれば、皮膚検出が失敗したと考え（前記第２
の場合）、本アルゴリズムはさらに戻って顔領域を再検出する。
７）上部及び下部唇中心点は極めて探し難いが、特に映像撮影条件に多くの変化が
ある場合にはさらにそうである。したがって、平均的な顔サイズから判断して中
心点の合理的な近似化を提供する（図４８参照）。図面でのいくつかのセグメン
トは後述する。
ａ）ｌは「下部鼻点」から首開始点までの垂直距離である。
ｂ）ａ＝０.２２５＊ｌ
ｃ）ｂ＝０.１２５＊ｌ
ｄ）ｃ＝０.１２５＊ｌ
【０１３６】
中心点が発見された後、これら間の側面曲線セグメントが多項式を利用して近似化される。顔の背面及び上端面は、目と共に検出されず、人間顔の合理的な比率で予測される。このようなあらゆる特徴の結果が図４９に示されている。
１.２.４ 耳の外郭線の検出
【０１３７】
図５０は、耳の外郭線の検出を示したフローチャートである。耳の外郭線の検出のためには、まず、曲線テンプレートを側面映像と整合して耳位置を初期化する（５０００段階）。次いで、前記初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す（５０２０段階）。
【０１３８】
図５１は、前記耳初期化を示したフローチャートである。図５１を参照して耳初期化を説明する。
【０１３９】
耳テンプレートの変換ベクトルを決定し、元の映像を回転させて鼻ブリッジ上端からあご点までの線分を厳格に垂直にし、前記線分セグメントの長さが所定の値になるようにスケーリングする（５１００段階）。耳のための検索領域を定義する（５１１０段階）。検索領域内の顔領域と髪の毛領域境界とを曲線テンプレートと整合して、２個の曲線から類似した形状を有するセグメントを探し出す（５１２０段階）。もし整合したセグメントの長さが所定の閾値より小さい場合、エッジ検出器で検出したエッジと耳テンプレートとを整合して類似した形状を有するセグメントを検出する（５１３０段階）。テンプレートセグメントから整合した映像点への変換ベクトルを最小自乗アルゴリズムを利用して計算する（５１４０段階）。
【０１４０】
これをより具体的に説明する。耳の検出は２つの段階に大別される。第１段階で、曲線テンプレート（図５２）を色またはエッジ情報と整合し、そのテンプレートを変形して局所的映像情報と合致させる。詳細なる説明は次の通りである。
【０１４１】
耳初期化段階で、まず、元の映像の方向及びスケールを正規化する。鼻ブリッジ上端及びあご点の２個の基準点が選択されて正規化を行う。元の映像は回転されてこの２つの点を連結するセグメントを垂直にし、その以後にスケーリングされてこれら間の距離が固定された値を含ませる。予め定めておいた方形を耳のための検索領域として正規化された映像内に配置する。正規化された映像、補正点及び検索領域のために図５３を参照する。
【０１４２】
耳テンプレートを望ましい初期化位置に配置するための変換ベクトルを発見しようとする。最初、皮膚検出結果を利用する。一般的に、皮膚領域の境界は一部地点における耳境界と一致する（いくつかの例は図５４参照）。曲線傾斜度情報の類似性に基づいてテンプレート及び皮膚領域境界間で単純な曲線整合（curve matching）アルゴリズムを行ってこのような２個の曲線上のセグメントのうちよく整合するセグメントを発見する。それにより、変換ベクトルが最小自乗法を利用して整合したセグメントと共に予測される。図５５を参照して色情報を利用した耳初期化の結果を調べる。皮膚領域境界内のテンプレートと整合するセグメントは図面では赤色で表示される。
【０１４３】
ある場合には、皮膚領域境界が耳境界と接しない場合もある（一般的に頭の長さが短過ぎるか、照明が強過ぎる場合であるが、例示のために図５６を参照する）。アルゴリズムは整合したセグメントの測定された長さ及び検索領域内の変換された耳テンプレートの位置を測定して自動的にこのような失敗を曲線整合段階で検出する。それにより、地域エッジ情報（local edge information）を利用して耳を初期化できる。
【０１４４】
まず、Ｎｅｖａｔｉａ−Ｂａｂｕエッジ検出器が使われて階調映像からのエッジ情報を抽出するのに使われる。長いエッジセグメントはテストされ、そのうち最適の１つだけが正確に耳テンプレートと整合すると判断される。この場合、顔領域情報を利用するのに使われたのと同じ曲線整合アルゴリズムが使われる。次のような相対的因子が相互結合されて整合に対する評価に使われる。すなわち、前記相対的因子はエッジセグメント内の整合した長さ及びセグメントに基づいた、検索領域内の耳テンプレートの位置である。
【０１４５】
実験で、顔領域に基づいたアルゴリズムと比較する時、エッジに基づいた耳初期化がよりロバストであるが、耳境界上の初期セグメントを検索するのにおいて、十分に正確でない。それで、この方法は顔領域に基づいた方法に対する補完的な方法としてだけ使われ、全体アルゴリズムのロバスト性を向上させる。エッジに基づいた耳初期化の例示も図５３に示されている。
【０１４６】
第２段階は、耳境界と整合するように変換されたテンプレートを変形するのである。既に初期化段階でいくつかの耳境界点を獲得したので（顔領域境界またはＮｅｖａｔｉａ−Ｂａｂｕエッジからのセグメント）、単純な外郭線追跡技法（contour following scheme）を適用してテンプレートを耳に合致させる。詳細なる過程は次のようである。
１）既に映像耳境界と整合した耳テンプレート上の点から始めて、この点を
Ｃｏｎtnとして保存するが、ここで、Ｃｏｎｔは耳テンプレート（サンプリング
された２次元の点リスト）であり、ｎはこの目録内の点のインデックスである。
２）それにより、次のような制限条件を満足する第１点を探す：Ｃｏｎｔn及び
Ｃｏｎｔｎｅｘｔ間のあるテンプレート点は点集合
に最小自乗分方法で合致された線分から十分に離隔される。
ｎｅｘｔは最小限ｎ＋５でなければならない。もしｎｅｘｔがテンプレートの最
後点に到達すれば、外郭線の追跡が終結される。
３）Ｃｏｎｔnに中心をおいて、Ｃｏｎｔn以後のセグメントを回転させて、
ＣｏｎｔnからＣｏｎｔnextまでのセグメントを映像エッジ情報と整合させて最大
整合値を提供する最適角度を求める。もしその角度範囲で正確な整合がおき
なければ、本アルゴリズムはエラー報告して終結する。
４）発見された最適角度を利用してＣｏｎｔn以後にあらゆるテンプレート点を回
転し、ｎ＝ｎｅｘｔに設定し、段階１に進む。
【０１４７】
セグメント及び映像間の整合評価は２種の情報を組み合わせることによって計算される。情報のうち１つは、局所的エッジ強度（local edge strength）であって、セグメントによる強度差の和と計算される。他の情報は、セグメント類似性であって、特定セグメント画素の強度値の和が以前セグメントに対して計算された値と極めて差がついてはならない。このような２種の因子によって判断する時、もし評価値が極めて劣悪であれば
この整合が誤ったと判断する。
【０１４８】
このような外郭線追跡アルゴリズムは耳上端と下端から２回実行される。本アルゴリズムがエラー報告と共に終結されれば、初期化結果が直接的に使われる（これは一般的に耳が髪の毛によって隠されるために発生するが、これは図５７に示された通りである）。
【０１４９】
耳下端のためには、テンプレート長さが耳境界と整合するのに十分でない場合があるために、テンプレートのテールを長いセグメントに交替する。耳の実質下端位置は整合
したテンプレートによってエッジ強度を研究することによって求められる。ある映像で、耳境界は下端位置に到達した後、上端に向かって進む。このような場合も論理的エッジ情報を利用して検出されるが、結果として提供される耳境界には図５７で示されたような上端に向かったテール（tail）を含みうる。
２．顔モデルの変形
【０１５０】
この時点で、正面及び側面写真（図５８参照）及び／または３次元ステレオ深さマップから抽出された完壁な構成の顔特徴を有する。前記ステレオ深さ抽出は後述する。
【０１５１】
図５９は、図５の顔モデル変形部５１０の構成を示したブロック図であって、２次元点変換部５９００及び顔メッシュモデル変形部５９５０を具備する。図６０は、前記顔モデル変形部５１０での初期モデル変形を示したフローチャートである。
【０１５２】
まず、２次元点変換部５９００を通じて、３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元点に変換する（６０００段階）。次いで、顔メッシュモデル変形部５９５０を通じて、前記映像特徴及び前記初期３次元メッシュモデル特徴点間の一致性を利用して、３段階ＲＢＦ基盤のモーフィング作業を行って前記３次元顔メッシュモデルを変形する（６０５０段階）。
【０１５３】
前記３段階ＲＢＦ基盤のモーフィング作業は、次のようになる。まず、離隔されたモデル特徴点のＸとＹ座標をそれらの相応するイメージ特徴点として設定し、Ｚ座標は初期メッシュ内に残すことによって、正面特徴のＲＢＦ補間を適用する。次いで、正面特徴がそれらの地点に残るように制限しながら側面特徴のＹ座標を考慮して側面映像のスケールを調節し、顔側面特徴はＲＢＦ補間のための入力として使われる。最後に、ＲＢＦ補間があらゆる利用可能な特徴を使用して行われる。
【０１５４】
深さ情報復旧過程で獲得された３次元点は、初期モデルの頂点が深さ情報から取得されたそれらの３次元地点に移動するようにＲＢＦに基づいたモーフィングを行うことが望ましい。
【０１５５】
これをより詳細に説明する。検出された顔特徴は初期モデルを変形するのに使われる。前記変形されたモデルを入力映像に合致させる。前記作業を行うために、まず、特徴検出段階で獲得された顔特徴を初期モデル内のあらかじめ指定された特徴に相応する点による置換に変換し、データ補間アルゴリズムを利用してそのモデル内の頂点を移動させて初期モデル変形を行う。検出された特徴（曲線及び点）及びモデル頂点間の対応関係は事前に手動で設定されねばならない。前記対応関係は一回だけ行えば、特定初期モデルのために固定されたまま維持されるので、ユーザーが介入する必要がない。
【０１５６】
次に、１つの特徴曲線のための一致度を設定するための過程が後述される。まず、モデル上の重要頂点及び顔特徴曲線によって分散された位置が図６１に示される。入力映
像で検出された顔特徴曲線に該当する初期モデル上の顔特徴が示されており、両曲線上で同じ長さの比率で特徴点がサンプリングされる。側面特徴に対してこの過程が繰り返されて、モデル上の特徴点の２次元の置換の２つの集合を生成する。
【０１５７】
次に、相応する映像特徴点による重要頂点の３次元置換を決定する。最も簡単な方
法は単純にｘ及びｙ置換を正面特徴から抽出し、側面特徴からｚ置換を抽出することである。しかし、この方法は望ましい結果が提供できない。その理由は、幾つかの正面特徴（あご下部、上端部及び後顔部分など）ｙ位置情報が欠如され、正面及び側面特徴位置が相反するためである。データ衝突は顔の方向が変化するか、顔表情が変化するために（たとえ小さな表情の変化でも避けられない）発生するが、このような場合は入力映像が同時に撮影されない場合に発生する。はなはだしくは正面及び側面映像が同時に撮影されたものであっても、それらは一般的に標準正面及び側面映像でない。例えば、２つのカメラ
の光軸を正確に相互垂直にすることは非常に難しい。
【０１５８】
このような問題点を解決するために、３段階モーフィング過程が利用され、この過程はＲＢＦ数接近法に基づく。
２．１． ＲＢＦデータ補間
【０１５９】
まず、データ補間技法を簡略に紹介する。作業を行うために、ＲＢＦ接近法を利用する。初期入力で、２個の対応するデータ集合及びを有していれば、次のようなを全体３次元空間の変形関数として決定できる。この時、２個の集合はそれぞれ変形過程実行以前及び以後の３次元サンプリングを表現する。
【数８】
【０１６０】
【数９】
【０１６１】
２．２ ３段階の変形過程
【０１６２】
モデル変形方法の詳細なる段階は次のようである。
１）まず、ＲＢＦ補間法を正面顔の特徴に適用する。移動するモデル特徴点のＸ及
びＹ座標が相応する映像特徴位置に対応し、Ｚ座標は初期モデルと同一に維持さ
れる。この段階で、モデルと映像間顔特徴の整合が正確に行われるが、この過程
には精密なテクスチャマッピングが必要である。
２）側面特徴を利用してＲＢＦ補間が行われる。側面キーポイントのＹ座標及びＺ
座標が相応する側面映像位置に設定され、Ｘ座標が初期モデルと同様に残る。こ
の過程ではあらゆるモデル頂点に対するＺ値を決定するだけである。鼻先、鼻ブ
リッジ上端及び唇で発生されうる正面及び側面特徴間の不一致問題は側面特徴曲
線をスケーリングして変換してＹ座標が相応する変形されたモデル点と整合させ
ることによって解決される。
３）最終的に、全てのキーポイントは最終頭形を決定するためにＲＢＦ補間入力と
して使用される。この段階で側面キーポイントは、段階２）の補間モデルでの中
に残る。正面キー点に対して、段階２）の結果によってＺ座標を設定し、Ｘ及び
Ｙ座標が段階１）結果に設定される。次いで、正面隣接映像が使用可能であれば、
ＲＢＦ補間をさらに行って、ステレオ情報から再構成された３次元点を取るもの
として働かせることができる。生成されたモデルに対する幾つかの例示が図６２
に示されている。
３．テクスチャの生成
【０１６３】
顔モデルのための高品質テクスチャを生成することはモデル適合（model fitting）より重要である。その理由は、テクスチャが形状自体よりモデルの視覚的認識にさらに大きい影響を及ぼすためである。正面と側面顔テクスチャはモデルにマッピングされるが、多重解像度を有するスプラインテクスチャ組み合わせ技法（multi−resolution spline txture combination scheme）が使われて相異なる写真を結合するのに使用されている。また、あごまたはあご骨によって隠された首部分及び耳の後部のように写真で隠された部分のために合成テクスチャを生成する。
【０１６４】
図６３は、図５のテクスチャ生成部５２０の構成を示したブロック図であって、入力映像補償部６３００、正面／側面テクスチャ生成部６３２０及びテクスチャ完成部６３４０を含んで構成されている。図６４は、テクスチャ生成を示したフローチャートである。図６３及び図６４を参照してテクスチャ生成を説明する。
【０１６５】
まず、入力映像補償部６３００を通じて、入力映像上に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する（６４００段階）。次に、正面／側面テクスチャ生成部６３２０で写真上の３次元モデルの極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する（６４２０段階）。それにより、テクスチャ完成部６０４０を通じて、多重解像度のスプラインアルゴリズムを利用して正面、側面及び人工テクスチャを混合してテクスチャを完成する（６４４０段階）。これをより詳細に説明すれば、次のようである。
３．１ テクスチャ座標マッピング及びテクスチャの生成
【０１６６】
相異なる角度から生成されたテクスチャを結合するために、モデル頂点のテクスチャ座標を含む共通ＵＶ平面を生成する必要がある。この平面は各点が３次元モデル位置と対応する２次元平面である。平面はを有する正規化された座標空間である。
【０１６７】
テクスチャ座標空間上にモデル頂点が均等に分布させるためにＵＶ平面は球状マッピングを利用して生成されるが、その理由は人間の顔が球状と類似した形状を有するためである。直接生成された空間は今後、手作業によって補間されてＵＶ平面上の重畳問題を解決する（耳領域で発生されうる）。ＵＶ平面は個別的なモデルに対して不変であるので、初期対応関係が設定されれば、これ以上、ユーザーが介入する必要がない。
【０１６８】
テクスチャされたモデルを生成するために、顔映像をＵＶ平面上にマッピングする必要がある。モデルは映像特徴に合致されるために、モデル頂点及び映像位置間の一致度を求めることができる。したがって、映像座標をＵＶ平面内のテクスチャ座標に容易にマッピングできるが、その理由は、モデル変形過程でこの２つの関係が既に整合されたためである。
【０１６９】
結果的に、ＵＶ平面上で得られるテクスチャはそれぞれ正面及び側面映像として図６５及び図６６に示される。テクスチャ座標も絵の上に重畳されて示される。
３．３ テクスチャの混合
【０１７０】
この段階で、ＵＶ平面内の正面及び側面テクスチャ映像は耳のための人工皮膚テクスチャと共に混合されて単一映像を生成する。前記映像は３次元モデルの表面にレンダリングされる。ＵＶ平面内の各点で、数式１０のように混合された映像内でのその点の色が計算できる。
【数１０】
【０１７１】
【０１７２】
テクスチャ混合の加重値は多重解像度スプラインアルゴリズムを利用して生成される。ガウシアンピラミッド分解（Gaussian pyramid decomposition）に基づいて、公知された映像混合アルゴリズムはにじみまたは映像の劣化なく映像間の軟らかい変化を可能にする。また、あらゆる形状の混合境界を利用することもできる。
３．４ 人工皮膚テクスチャ
【０１７３】
側面映像内の隣接領域の色統計に基づいて、あご及び首領域を満たすために人工テクスチャを生成する。余り登場しない色は捨てられ、このような領域内の各画素に対しクリッピングされた色統計を考慮してその色が選択される。このような過程が行われた以後に、ガウシアン平滑化技法が適用されて不規則なむらを除去する。
【０１７４】
最終テクスチャが図６７に示される。また、数個のテクスチャされたモデルが図５５に示される。耳の後面が重畳されたテクスチャにマッピングされないという点に注意する（図６８の最後の２個の絵はそれぞれ人工耳テクスチャを使用及び使用していない場合の耳部分を図示する）。
４．ステレオ映像対を利用した３次元復元
【０１７５】
ほぼ全ての場合に、正面映像または追加的な側面映像だけを利用して３次元復元を行えば、望ましい結果を生成しうる。対象となる映像が初期顔モデルと顕著に差が出る顔形状である場合、このようなアルゴリズムは正常に動作できない。
【０１７６】
このような場合のために顔モデルを精密に補正するために、ステレオ分析に基づいたモジュールがシステムに統合される。多少相異なる角度で獲得された２個またはそれ以上の顔映像が特殊なステレオ復元アルゴリズムを利用して分析されて顔の可視部分に精密な３次元情報が生成できる。このような目的で獲得されたステレオ対の例示は図６９に示されている。
【０１７７】
図７０は、図５の深さ情報生成部５４０の構成を示したブロック図であって、特徴点検出部７０００、マップ獲得部７０２０及び深さ情報変換部７０４０を含んで構成されている。図７１は、正面及び正面隣接映像から深さ情報を生成する過程を示したフローチャートである。図７０及び図７１を参照して深さ情報生成を説明する。
【０１７８】
まず、特徴点検出部７０００を通じて、正面映像内の映像特徴点を決定し（７１００段階）、前記特徴点に対してモデルに基づいたルーカス・カナダの追跡を行って前記正面隣接映像内の相応する点を探し出す（７１１０段階）。
【０１７９】
次いで、ディスパリティ（disparity）獲得部７０２０を通じて、整合した一致点を利用してデータ補間を行って密集したディスパリティマップを獲得する（７１２０段階）。最後に、深さ情報変換部７０４０を通じて、前記ディスパリティマップを深さ情報に変換する（７１３０段階）。
【０１８０】
前記ディスパリティマップを深さ情報への変換は、最大ディスパリティ値から最小ディスパリティ値を引いた差分として獲得する。次いで、前記差分を顔幅で除算し、所定の定数値を乗算することによって係数を決定する。その後、前記係数及び測定されたディスパリティ値で最小ディスパリティ値を減算した値を乗算することによって与えられた画素の深度値を獲得する。これをより具体的に説明すれば、次のようである。
４．１ ステレオ映像対からのディスパリティの予測
【０１８１】
特徴追跡を利用したステレオ整合を説明する。３次元客体復元の主要概念は「ステレオ
整合」である。すなわち、ステレオ映像に存在する同じ点を探し出す過程である。こ
の過程が行われた後で、３次元位置が復元されうる。
【０１８２】
基本アイディアの単純性にもかかわらず、一般的にステレオ整合は極めて複雑な過程である。多くの相異なる映像に対してステレオマッチングを行う過程で多くの問題点が発生する。その上、ステレオ整合は計算量においても極めて複雑な過程であるが、その理由は完全な整合を行うためにはステレオ映像を通じて全ての可能な一致点を探索して行く過程を行わねばならないためである。
【０１８３】
しかし、顔モデリングの特定応用例で、次のアイディアを適用して整合結果が獲得できる。ステレオ対（正面及び近接正面）の視野角がそれほど相異なっていないために、ステレオ整合過程をステレオ映像間の対象追跡作業のように処理できるので、特徴追跡アルゴリズムが利用されうる。
【０１８４】
ほぼ全ての特徴追跡アルゴリズムは第１映像上で選択された個別点の集合に対して動作する。これらの目的は、連続的な映像でこのような点の位置を追跡することである。この場合に、追跡及び整合過程は同じ過程である。完全な点対点のエピポーラ整合（point−by−point epipolar matching）と比較する時、特徴追跡アルゴリズムに副整合が発生されうるが、直交化過程を経る必要はなくなる。全ての点は相互独立的に処理され、全てのエピポーラ構成に適用することができる（したがって、補正されていないカメラにも適用される）。
【０１８５】
このような理由のために、実施例で特徴追跡を利用してステレオ整合過程を行う。使われる追跡アルゴリズムは次に説明される。
【０１８６】
Ａ（ｘ，ｙ）及びＢ（ｘ，ｙ）を２個の２次元階調映像という。第１映像の一点Ａ（ｐｘ，ｐｙ）を考慮する。特徴追跡の目的は、Ａ（ｐｘ，ｐｙ）及びＢ（ｐｘ＋ｖｘ，ｐｙ＋ｖｙ）が類似になるようにする第２映像の点Ｂ（ｐｘ＋ｖｘ，ｐｙ＋ｖｙ）を探し
出すことである。ベクトルｖ＝［ｖｘｖｙ］は映像速度であり、点［ｐｘ，ｐｙ］での光流とも呼ばれる。映像速度ｖを点［ｐｘ，ｐｙ］の近辺(2(x+1)×(2(y+1)の残留関数(を最小化するベクトルとして定義する。
【数１１】
【０１８７】
前記のような残留関数を最小化する速度（ｖoptと保存）が次のような標準ルーカス・カナダ方程式を利用して求めることができる。
【数１２】
ここで、次の数式が満足される。
【数１３】
【数１４】
【数１５】
【数１６】
【０１８８】
３次元復元作業を行った後で、前記のようなモデル適合アルゴリズム（model fitting Algorithm）を適用して初期モデルを変形させる。
【産業上の利用可能性】
【０１８９】
本発明によるフォトリアリスティックな３次元の人間顔モデルの自動的な生成技術はコンピュータグラフィック分野で使用可能である。仮想現実空間、コンピュータゲーム、画像会議及びアニメーション製作のような多様な応用分野がフォトリアリスティックな人間顔モデルにより開発されうる。
【図面の簡単な説明】
【０１９０】
【図１】本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング方法を示したフローチャートである。
【図２】モデル生成作業をより具体的に写真と共に示した図である。
【図３】初期顔モデルの正面図及び側面図を示す図面である。
【図４】典型的な入力映像を示す正面映像、正面隣接映像及び側面映像を示す図である。
【図５】本発明による映像に基づいたフォトリアリスティックな３次元の顔モデリング装置の構成をブロック図で示した図である。
【図６】顔特徴検出部の細部構成を示した図である。
【図７】正面顔の特徴検出部の細部構成を示した図である。
【図８】正面顔特徴検出をより詳細に示したフローチャートである。
【図９】正面顔特徴検出をより詳細に示したフローチャートである。
【図１０】皮膚領域映像及び顔領域検出の例示である（さらに小さな楕円が初期領域であり、さらに大きい楕円が検出された結果）。
【図１１】皮膚領域映像及び顔領域検出の他の例示を示す図面である。
【図１２Ａ】顔領域検出部の細部構成を示したブロック図である。
【図１２Ｂ】顔領域検出を示したフローチャートである。
【図１３】顔領域検出法の楕円モデルを示す図面である。
【図１４Ａ】目の境界ボックス検出部の構成を示したブロック図である。
【図１４Ｂ】目の境界ボックス検出を示したフローチャートである。
【図１５】目の典型的バリエーション映像の例示を示す図面である。
【図１６】目の典型的バリエーション映像の他の例示を示す図面である。
【図１７】目の境界ボックス検出の結果を示す図面である。
【図１８Ａ】虹彩検出部の構成を示したブロック図である。
【図１８Ｂ】虹彩の中心及び半径検出を示したフローチャートである。
【図１９】検出された虹彩の例示を示す図面である。
【図２０】目の外郭線の検出で近似化を示したフローチャートである。
【図２１】目領域の水平方向への赤色チャンネル強度値を示す図面である（目の外郭線の検出のために使われる）。
【図２２】目の外郭線の検出のために検出された点及び近似した目の外郭線を示す図面である。
【図２３】垂直眉位置の検出を示す図面である。
【図２４】眉境界ボックスを示す図面である。
【図２５】検出された眉を示す図面である。
【図２６】上部及び下部唇の検出を示したフローチャートである。
【図２７】唇の方形を反復的に精巧に整える過程を示す図面である。
【図２８】初期化された唇点を唇関数映像上で示した図面である。
【図２９】唇の外郭線点に適用される力を示す図面である。
【図３０】唇の外郭線変形の一段階を示す図面である。
【図３１】鼻の外郭線の検出段階での鼻側面検出を示したフローチャートである。
【図３２】鼻側面テンプレートを示す図面である。
【図３３】映像で検出された鼻側面候補を示す図面である。
【図３４】鼻曲線の主要特徴点の配置を示す図面である。
【図３５】検出された鼻曲線を示す図面である。
【図３６Ａ】図７のあご及び頬の外郭線検出部の構成を示したブロック図である。
【図３６Ｂ】あご及び頬の外郭線検出を示したフローチャートである。
【図３７】あご及び頬変形モデルを示す図面である。
【図３８】あごモデル近似過程を示す図面である。
【図３９】正面映像でのあらゆる検出された特徴を示す図面である。
【図４０】側面顔の特徴検出部のより詳細なる構成を示したブロック図である。
【図４１】側面顔の特徴検出を示したフローチャートである。
【図４２】側面顔領域の検出が失敗した場合を示す図面である（皮膚及び鼻の分離）。
【図４３】側面顔領域の検出が失敗した場合を示すさらに他の図面である（鼻領域が不完全）。
【図４４】側面顔領域の検出が失敗した場合を示すさらに他の図面である（皮膚領域が不完全）。
【図４５】典型的な側面関数を示す図面である。
【図４６】鼻ブリッジ上端及び鼻下部点の検出を示す図面である。
【図４７】あご及び首基準点を検出することを示す図面である。
【図４８】唇基準点を予測することを示す図面である。
【図４９】自動的に検出された側面特徴の結果（耳を含まない）を示す図面である。
【図５０】耳の外郭線の検出をフローチャートで示した図である。
【図５１】耳初期化を示したフローチャートである。
【図５２】側面耳検出のための曲線テンプレートを示す図面である。
【図５３】耳検出の初期化（正規化された映像、校正点及び検索領域）を示す図面である。
【図５４】耳領域近くの顔領域で皮膚と髪の毛領域の境界を示す図面である。
【図５５】色情報を利用した耳初期化結果を示す図面である（赤色セグメントが耳テンプレートと整合する）。
【図５６】色情報だけを利用して側面耳検出に失敗した場合、耳のエッジ情報を利用した耳初期化結果を示す図面である。
【図５７】側面耳検出結果を示す図面である。
【図５８】モデル変形のための入力顔の特徴曲線を示す図面である。
【図５９】図５の顔モデル変形部の構成を示したブロック図である。
【図６０】顔モデル変形部での初期モデル変形を示したフローチャートである。
【図６１】正面顔の特徴曲線で抽出された主要点を示す図面である。
【図６２】初期（上部行）及び変形された（下部行）顔モデルを示す図面である。
【図６３】図５のテクスチャ生成部の構成を示したブロック図である。
【図６４】テクスチャ生成を示したフローチャートである。
【図６５】ＵＶ平面上の正面テクスチャ映像を示す図面である。
【図６６】ＵＶ平面上の側面テクスチャ映像を示す図面である。
【図６７】入力映像と合成テックスから得られた最終テクスチャを示す図面である。
【図６８】テクスチャされたモデルと合成耳テクスチャとを利用して向上した結果を示す図面である。
【図６９】顔映像のステレオ対の例示を示す図面である。
【図７０】図５の深さ情報生成部の構成を示したブロック図である。
【図７１】正面及び正面隣接映像から深さ情報を生成する過程を示したフローチャートである。
【特許請求の範囲】
【請求項１】
多角形メッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成方法において、
（ａ）入力映像（image）の正面及び側面顔映像内の顔特徴を検出する段階と、
（ｂ）前記検出された顔特徴を利用して初期モデルを変形させて３次元の顔モデルを生成する段階と、
（ｃ）入力映像からフォトリアリスティックなテクスチャ（texture）を生成する段階と、
（ｄ）前記テクスチャを前記３次元モデル上にマッピングする段階と、を含むことを特徴とする３次元顔モデル生成方法。
【請求項２】
前記（ｂ）段階は、
正面及び正面隣接画像から顔深さ情報を生成する段階をさらに具備し、
特定顔の３次元形状を決定するために、前記顔特徴を利用して初期モデルを変形させ、前記顔深さ情報を利用して前記変形された３次元顔モデルを整合させることを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項３】
前記（ｃ）段階のテクスチャは、
人工テクスチャを共に使用する段階をさらに具備することを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項４】
前記（ａ）段階の正面顔特徴検出は、
皮膚領域を検出する段階と、
顔領域を検出する段階と、
目の境界ボックスを検出する段階と、
虹彩を検出する段階と、
正面顔映像を正規化する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項５】
前記（ａ）段階の正面顔特徴検出は、
目の外郭線を検出する段階と、
眉を検出する段階と、
唇の外郭線を検出する段階と、
鼻の外郭線を検出する段階と、
あご及び頬の外郭線を検出する段階のうち少なくとも１つを含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項６】
前記皮膚領域検出は、
映像画素をｒ−ｇ色空間内の皮膚または非皮膚画素に分類する事前訓練された最大確率ベイジアン分類器（maximum likelihood Bayesian classifier）によって行われることを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項７】
前記顔領域検出は、
（１）皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する段階と、
（２）前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる段階と、
（３）前記安定化された楕円の境界の方形を顔領域と決定する段階と、を含むことを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項８】
前記（１）段階は、
２個の最大構成要素が類似したサイズを有する場合、映像中心にさらに近いことを選択する段階であることを特徴とする請求項７に記載の３次元顔モデル生成方法。
【請求項９】
前記（２）段階は、
前記初期化された顔領域に基づいて楕円境界点の中心に位置した方形プローブを定義する段階と、
プローブ及び楕円内部に位置する皮膚画素数を計算する段階と、
前記計算された皮膚画素数が所定の閾値より小さければ、前記境界点を所定の距離ほど内部に移動させる段階と、
前記計算された皮膚画素数が所定の閾値より小さくなければ、プローブと外部楕円に位置した皮膚画素数を計算する段階と、
計算値が所定の閾値より大きければ、前記境界点を所定の距離ほど外部に移動させて楕円を初期化及び変形させる段階と、を含むことを特徴とする請求項７に記載の３次元顔モデル生成方法。
【請求項１０】
前記目の境界ボックス検出は、
低域通過フィルタリングを通じてボケた映像を生成する段階と、
元の映像から前記ボケた映像を引いた映像を獲得する段階と、
前記獲得された映像の各画素でそれ自体と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像をニ値化する段階と、
連結されたセグメントを目候補として探し出す段階と、
形状、サイズ及び相対的な位置基準で前記候補を評価して目の境界ボックスを決定する段階と、を含むことを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項１１】
前記虹彩検出段階の虹彩検出は、
赤色チャンネル映像内の目の境界ボックスの内部で虹彩を検出することを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項１２】
前記虹彩の中心及び半径検出は、
前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによってハイライトの存在を評価する段階と、
ハイライトが発見されなければ、最も暗い画素の質量重心点を虹彩中心に初期化する段階と、
ハイライトが存在する場合、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する段階と、
虹彩中心に位置した初期円を拡張し、円上の画素の傾斜度のサイズを測定する段階と、
前記初期虹彩円を拡張し、円上の画素の傾斜度のサイズを測定する作業を繰り返す段階と、
最大測定値を有する虹彩中心及び虹彩半径の位置を最終結果として選択する段階と、を含むことを特徴とする請求項１１に記載の３次元顔モデル生成方法。
【請求項１３】
前記正面顔映像正規化段階は、
虹彩中心間の線が水平になるように回転し、所定の映像解像度に変換して正規化することを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項１４】
目の外郭線の検出段階は、
目の外郭線は上部の目の外郭線及び下部の目の外郭線それぞれのための２つの多項式曲線によって近似化され、前記近似化は、
虹彩中心及び半径によって検索領域をあらかじめ決定する段階と、
前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンラインに対して、局所的最小値または輝度が急変する画素として左側及び右側まぶた点を選択する段階と、
検出されたまぶた点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する段階と、
前記目のコーナーを連結する線分の上部にある点を利用して最小自乗法を利用して上部目の外郭線曲線を推定する段階と、
検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線曲線を推定する段階と、を含むことを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１５】
前記眉検出段階は、
多項式曲線によって近似させて眉を検出し、
前記多項式曲線は前記目の境界ボックス上部の所定の領域内で適応的ニ値化を行った以後に暗い画素を近似化することを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１６】
前記唇の外郭線の検出段階は、
上部及び下部唇検出よりなり、
前記上部及び下部唇検出は、
口の方形を初期化する段階と、
非皮膚色画素の１次及び２次モーメントを利用して初期方形をより精密な境界ボックスに縮少させる段階と、
唇関数映像を構成して、精製された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する段階と、
高い唇関数値を有する画素の２次中心モーメントを測定することによって楕円で唇の外郭線を初期化する段階と、
外力及び内力によって唇の外郭線を動的に移動させる段階と、
前記移動結果点に多項式を近似させて曲線表現式を生成する段階と、を行ってなされることを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１７】
前記外力は、
唇と皮膚との境界地点に境界点を移動させる力であり、
前記内力は内部形状力及び内部平滑化力よりなり、
前記内部形状力は外郭線形状を楕円に近くする力であり、
前記内部平滑化力は前記境界の外部に外れすぎる単一点を抑制する力を含む所定の因子によって決定されることを特徴とする請求項１６に記載の３次元顔モデル生成方法。
【請求項１８】
前記鼻の外郭線の検出段階は、
鼻側面検出を含み、前記鼻側面検出は、
所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合した段階と、
大きい整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する段階と、
各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された３点に合致される段階と、を行ってなることを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１９】
あご及び頬の外郭線の検出段階は、
赤色チャンネル映像上の傾斜度ベクトル場を計算する段階と、
あご下部点で連結される２個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させる段階と、
曲線の接線方向に合致する強いエッジに接するまであご及び頬の外郭線を外部に拡張する段階と、
前記あご及び頬の外郭線が接線方向に合致する強いエッジに接すれば、前記あご及び頬の外郭線の拡張を中止する段階と、を含むことを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項２０】
前記（ａ）段階の側面顔の特徴検出は、
顔領域を検出する段階と、
側面曲線を検出する段階と、
基準点を検出する段階と、
耳の外郭線を検出する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項２１】
前記顔領域検出段階は、
画素を皮膚及び非皮膚画素に分類する段階と、
最大皮膚色の連結成分として前記顔領域を選択する段階と、を含むことを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２２】
前記顔領域選択段階は、
最も大きい２つの成分が類似したサイズを有した場合、映像中心により近いものを前記顔領域として選択する段階であることを特徴とする請求項２１に記載の３次元顔モデル生成方法。
【請求項２３】
前記側面曲線を検出する段階は、
正面映像から類推された特定境界ボックス内の最右側の顔領域の境界外郭線を側面曲線として検出することを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２４】
前記耳の外郭線の検出は、
曲線テンプレートを側面映像と整合して耳位置を初期化する段階と、
初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す段階と、を含むことを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２５】
前記耳初期化は、
元の映像を回転させて鼻ブリッジ上端からあご点までの線分を厳格に垂直にし、前記線分セグメントの長さが所定値になるようにスケーリングする段階と、
耳のための検索領域を定義する段階と、
検索領域内の顔領域と髪の毛領域境界とを曲線テンプレートと整合して、２個の曲線が合致される部分曲線と定義されるセグメントを探し出す段階と、
もし整合したセグメントの長さが所定の閾値より小さい場合、エッジ検出器で検出したエッジと耳テンプレートを整合で類似した形状を有するセグメントを検出する段階と、
テンプレートセグメントから整合した映像点への変換ベクトルを最小自乗アルゴリズムを利用して計算する段階と、を含むことを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２６】
前記正面及び正面隣接映像から深さ情報を生成する段階は、
正面映像内の映像特徴点を決定する段階と、
特徴点に対してモデルに基づいたルーカス・カナダ追跡を行って前記正面隣接映像内の相応する点を探し出す段階と、
整合した一致点を利用してデータ補間を行って稠密なディスパリティマップを獲得する段階と、
前記ディスパリティマップを深さ情報に変換する段階と、を含むことを特徴とする請求項２に記載の３次元顔モデル生成方法。
【請求項２７】
前記ディスパリティマップを深さ情報に変換する段階は、
最大ディスパリティ値から最小ディスパリティ値を引いた差分として獲得する段階と、
前記差分を顔幅で除算し、所定の定数値を乗算することによって係数を決定する段階と、
前記係数及び測定されたディスパリティ値で最小ディスパリティ値を減算した値を乗算することによって与えられた画素の深度値を獲得する段階と、を含むことを特徴とする請求項２６に記載の３次元顔モデル生成方法。
【請求項２８】
前記（ｂ）段階の初期モデル変形は、
３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔内で定義される特徴に相応する２次元点に変換する段階と、
前記映像特徴及び前記初期３次元メッシュモデル特徴点間の一致性を利用して、３段階ＲＢＦ（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）基盤のモーフィング作業（morphing）を行って前記３次元顔メッシュモデルを変形する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項２９】
前記３段階ＲＢＦ基盤のモーフィング作業は、
モデル特徴点のＸ及びＹ座標をそれらの相応するイメージ特徴点に設定し、Ｚ座標は初期メッシュ内に残すことによって正面特徴のＲＢＦ補間を適用する段階と、
側面特徴を考慮して側面映像のスケールを調節し、Ｘ座標が初期モデルでその位置に残っている間、側面特徴をＲＢＦ補間に対する入力として使用する段階と、
前記Ｚ座標を利用して正面と側面特徴に対してＲＢＦ補間を遂行する段階と、を含むことを特徴とする請求項２８に記載の３次元顔モデル生成方法。
【請求項３０】
深さ情報復旧過程で獲得された３次元点は、
初期モデルの頂点が深さ情報から取得されたそれらの３次元地点に移動するようにＲＢＦに基づいたモーフィングを行うことを特徴とする請求項２９に記載の３次元顔モデル生成方法。
【請求項３１】
前記（ｃ）段階は、
入力映像に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する段階と、
写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面（public UV plane）上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する段階と、
多重解像度のスプラインアルゴリズム（spline aogorithm）を利用して正面、側面及び人工テクスチャを混合してテクスチャを完成する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項３２】
描写された多角形メッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成装置において、
入力映像の正面及び側面顔映像の顔特徴を検出する顔特徴検出部と、
前記検出された顔特徴を利用して所定の初期モデルを変形させて３次元の顔モデルを生成する顔モデル変形部と、
入力映像からフォトリアリスティックなテクスチャを生成するテクスチャ生成部と、
前記テクスチャを前記顔モデル変形部で生成された３次元の顔モデルにマッピングするマッピング部と、を含むことを特徴とする３次元顔モデル生成装置。
【請求項３３】
前記顔モデル変形部は、
正面及び正面隣接映像から顔深さ情報を抽出する深さ情報生成部をさらに具備し、
前記顔特徴検出部で検出された顔特徴と前記深さ情報生成部で生成した顔深さ情報とを利用して所定の初期モデルを変形させて３次元の顔モデルを生成することを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項３４】
前記テクスチャ生成部のテクスチャは、
人工テクスチャを共に使用する機能をさらに具備することを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項３５】
前記顔特徴検出部は、
正面顔の特徴を検出する正面顔の特徴検出部と、
側面顔の特徴を検出する側面顔の特徴検出部と、を含むことを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項３６】
前記正面顔の特徴検出部は、
皮膚領域を検出する皮膚領域検出部と、
顔領域を検出する顔領域検出部と、
目の境界ボックスを検出する目の境界ボックス検出部と、
虹彩を検出する虹彩検出部と、
正面顔映像を正規化する正面顔正規化部と、を含むことを特徴とする請求項３５に記載の３次元顔モデル生成装置。
【請求項３７】
前記皮膚領域検出部は、
映像画素をｒ−ｇ色空間内の皮膚または非皮膚画素に分類する事前訓練された最大確率ベイジアン分類器によって行われることを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項３８】
前記顔領域検出部は、
皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する顔領域初期化部と、
前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる楕円安定化部と、
前記安定化された楕円の境界方形を顔領域と決定する顔領域決定部と、を含むことを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項３９】
前記目の境界ボックス検出部は、
低域通過フィルタリングを通じてボケた映像を生成するにじむ映像生成部と、
元の映像で前記ボケた映像を引いた映像の各画素で自分と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像をニ値化する映像ニ値化部と、
前記映像ニ値化部でニ値化された映像で連結されたセグメントを目候補として探し出す目候補検索部と、
前記目候補検索部で捜し出した目候補を形状、サイズ及び相対的位置基準で評価して目の境界ボックスを決定する目の境界ボックス決定部と、を含むことを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項４０】
前記虹彩検出部の虹彩検出は、
赤色チャンネル映像内の目の境界ボックス内部で虹彩を検出することを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項４１】
前記虹彩検出部は、
前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによって、ハイライトの存在を評価するハイライト探索部と、
ハイライトが存在しなければ、最も暗い画素の質量重心点を虹彩中心に初期化し、ハイライトが存在すれば、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する虹彩初期化部と、
虹彩中心に位置した初期円を拡張しながら円上の画素の傾斜度のサイズを測定するが、前記初期虹彩中心周囲の隣接画素に対して測定作業を繰り返す虹彩中心／半径測定部と、
最大測定値を有する虹彩中心及び半径を虹彩中心及び虹彩半径と決定する虹彩決定部と、を具備することを特徴とする請求項４０に記載の３次元顔モデル生成装置。
【請求項４２】
前記正面顔映像正規化部は、
虹彩中心間の線が水平になるように回転し、所定の映像解像度に変換して正規化することを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項４３】
前記正面顔の特徴検出部は、目の外郭線を検出する目の外郭線の検出部と、眉を検出する眉検出部と、唇の外郭線を検出する唇の外郭線検出部と、鼻の外郭線を検出する鼻の外郭線検出部と、あご及び頬の外郭線を検出するあご及び頬の外郭線検出部のうち少なくとも１つをさらに具備することを特徴とする請求項３５に記載の３次元顔モデル生成装置。
【請求項４４】
目の外郭線の検出部は、
目の外郭線は上部目の外郭線及び下部目の外郭線それぞれのための２つの多項式曲線によって近似化されることを特徴とし、
前記近似化は、
虹彩中心及び半径によって検索領域をあらかじめ決定する手段と、
前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンラインに対して、局所的最小値または輝度が急変する画素として左側及び右側まぶた点を選択する手段と、
検出されたまぶた点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する手段と、
前記目のコーナーを連結する線分の上部にある点を利用して最小自乗法を利用して上部目の外郭線曲線を推定する手段と、
検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線曲線を推定する手段と、を含む請求項４３に記載の３次元顔モデル生成装置。
【請求項４５】
前記眉検出部は、
多項式曲線によって近似させて眉を検出し、
前記多項式曲線は前記目の境界ボックス上部の所定の領域内で適応的ニ値化を行った以後に暗い画素を近似化することを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４６】
前記唇の外郭線検出部は、
上部及び下部唇を検出し、前記上部及び下部唇検出は、
口の方形を初期化する手段と、
非皮膚色画素の１次及び２次モーメントを利用して初期方形をより精密な境界ボックスに縮少させる手段と、
唇関数映像を構成して、生成された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する手段と、
高い唇関数値を有する画素の２次中心モーメントを測定することによって楕円で唇の外郭線を初期化する手段と、
外力及び内力によって唇の外郭線を動的に移動させる手段と、
前記移動結果点に多項式を近似させて曲線表現式を生成する手段と、を行ってなることを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４７】
前記鼻の外郭線検出部は、
鼻側面検出を含み、前記鼻側面検出は、
所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合した手段と、
大きい整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する手段と、
各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された３点に合致される手段と、を行ってなることを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４８】
あご及び頬の外郭線検出部は、
赤色チャンネル映像上の傾斜度ベクトル場を計算する傾斜度計算部と、
あご下部点で連結される２個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させ、曲線の接線に合致する強いエッジに接するまであご及び頬の外郭線を外部に拡張するあご及び頬の外郭線拡張部と、
前記あご及び頬の外郭線が接線方向に合致する強いエッジに接するようになれば、前記あご及び頬の外郭線拡張を中止してその結果をあご及び頬の外郭線と決定するあご及び頬の外郭線決定部と、を含むことを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４９】
前記側面顔の特徴検出部は、
側面顔領域を検出する側面顔領域検出部と、
側面曲線を検出する側面曲線検出部と、
基準点を検出する基準点検出部と、
耳の外郭線を検出する耳の外郭線の検出部と、を含むことを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項５０】
前記側面顔領域検出部は、
画素を皮膚及び非皮膚画素に分類する皮膚画素分類部と、
最大皮膚色の連結成分を側面顔領域として選択する側面顔領域選択部と、を含むことを特徴とする請求項４９に記載の３次元顔モデル生成装置。
【請求項５１】
前記側面曲線検出部は、
正面映像から類推された特定境界ボックス内の最右側顔領域の境界外郭線を側面曲線として検出することを特徴とする請求項４９に記載の３次元顔モデル生成装置。
【請求項５２】
前記耳の外郭線の検出部は、
曲線テンプレートを側面映像と整合して耳位置を初期化する耳位置初期化部と、
初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す耳境界検出部と、を含むことを特徴とする請求項４９に記載の３次元顔モデル生成装置。
【請求項５３】
深さ情報生成部は、
正面映像内の映像特徴点を決定して前記正面隣接映像内で前記特徴点に相応する点を探し出す特徴点検出部と、
整合した一致点を利用してデータ補間を行って稠密なディスパリティマップを獲得するマップ獲得部と、
前記ディスパリティマップを深さ情報に変換する深さ情報変換部と、を含むことを特徴とする請求項３３に記載の３次元顔モデル生成装置。
【請求項５４】
前記顔モデル変形部は、
３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元点に変換する２次元点変換部と、
前記映像特徴及び前記初期３次元メッシュモデル特徴点間の一致性を利用して、３段階ＲＢＦ基盤のモーフィング作業を行って前記３次元顔メッシュモデルを変形する顔メッシュモデル変形部と、を含むことを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項５５】
前記テクスチャ生成部は、
入力映像上に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する入力映像補償部と、
写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する正面／側面テクスチャ生成部と、
多重解像度のスプラインアルゴリズムを利用して正面、側面及び人工テクスチャを混合してテクスチャを完成するテクスチャ完成部と、を含むことを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項５６】
請求項１ないし請求項３１のうち何れか１項に記載の発明をコンピュータで実行させるためのコンピュータプログラムを記録したコンピュータ可読記録媒体。
【請求項１】
多角形メッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成方法において、
（ａ）入力映像（image）の正面及び側面顔映像内の顔特徴を検出する段階と、
（ｂ）前記検出された顔特徴を利用して初期モデルを変形させて３次元の顔モデルを生成する段階と、
（ｃ）入力映像からフォトリアリスティックなテクスチャ（texture）を生成する段階と、
（ｄ）前記テクスチャを前記３次元モデル上にマッピングする段階と、を含むことを特徴とする３次元顔モデル生成方法。
【請求項２】
前記（ｂ）段階は、
正面及び正面隣接画像から顔深さ情報を生成する段階をさらに具備し、
特定顔の３次元形状を決定するために、前記顔特徴を利用して初期モデルを変形させ、前記顔深さ情報を利用して前記変形された３次元顔モデルを整合させることを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項３】
前記（ｃ）段階のテクスチャは、
人工テクスチャを共に使用する段階をさらに具備することを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項４】
前記（ａ）段階の正面顔特徴検出は、
皮膚領域を検出する段階と、
顔領域を検出する段階と、
目の境界ボックスを検出する段階と、
虹彩を検出する段階と、
正面顔映像を正規化する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項５】
前記（ａ）段階の正面顔特徴検出は、
目の外郭線を検出する段階と、
眉を検出する段階と、
唇の外郭線を検出する段階と、
鼻の外郭線を検出する段階と、
あご及び頬の外郭線を検出する段階のうち少なくとも１つを含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項６】
前記皮膚領域検出は、
映像画素をｒ−ｇ色空間内の皮膚または非皮膚画素に分類する事前訓練された最大確率ベイジアン分類器（maximum likelihood Bayesian classifier）によって行われることを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項７】
前記顔領域検出は、
（１）皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する段階と、
（２）前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる段階と、
（３）前記安定化された楕円の境界の方形を顔領域と決定する段階と、を含むことを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項８】
前記（１）段階は、
２個の最大構成要素が類似したサイズを有する場合、映像中心にさらに近いことを選択する段階であることを特徴とする請求項７に記載の３次元顔モデル生成方法。
【請求項９】
前記（２）段階は、
前記初期化された顔領域に基づいて楕円境界点の中心に位置した方形プローブを定義する段階と、
プローブ及び楕円内部に位置する皮膚画素数を計算する段階と、
前記計算された皮膚画素数が所定の閾値より小さければ、前記境界点を所定の距離ほど内部に移動させる段階と、
前記計算された皮膚画素数が所定の閾値より小さくなければ、プローブと外部楕円に位置した皮膚画素数を計算する段階と、
計算値が所定の閾値より大きければ、前記境界点を所定の距離ほど外部に移動させて楕円を初期化及び変形させる段階と、を含むことを特徴とする請求項７に記載の３次元顔モデル生成方法。
【請求項１０】
前記目の境界ボックス検出は、
低域通過フィルタリングを通じてボケた映像を生成する段階と、
元の映像から前記ボケた映像を引いた映像を獲得する段階と、
前記獲得された映像の各画素でそれ自体と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像をニ値化する段階と、
連結されたセグメントを目候補として探し出す段階と、
形状、サイズ及び相対的な位置基準で前記候補を評価して目の境界ボックスを決定する段階と、を含むことを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項１１】
前記虹彩検出段階の虹彩検出は、
赤色チャンネル映像内の目の境界ボックスの内部で虹彩を検出することを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項１２】
前記虹彩の中心及び半径検出は、
前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによってハイライトの存在を評価する段階と、
ハイライトが発見されなければ、最も暗い画素の質量重心点を虹彩中心に初期化する段階と、
ハイライトが存在する場合、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する段階と、
虹彩中心に位置した初期円を拡張し、円上の画素の傾斜度のサイズを測定する段階と、
前記初期虹彩円を拡張し、円上の画素の傾斜度のサイズを測定する作業を繰り返す段階と、
最大測定値を有する虹彩中心及び虹彩半径の位置を最終結果として選択する段階と、を含むことを特徴とする請求項１１に記載の３次元顔モデル生成方法。
【請求項１３】
前記正面顔映像正規化段階は、
虹彩中心間の線が水平になるように回転し、所定の映像解像度に変換して正規化することを特徴とする請求項４に記載の３次元顔モデル生成方法。
【請求項１４】
目の外郭線の検出段階は、
目の外郭線は上部の目の外郭線及び下部の目の外郭線それぞれのための２つの多項式曲線によって近似化され、前記近似化は、
虹彩中心及び半径によって検索領域をあらかじめ決定する段階と、
前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンラインに対して、局所的最小値または輝度が急変する画素として左側及び右側まぶた点を選択する段階と、
検出されたまぶた点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する段階と、
前記目のコーナーを連結する線分の上部にある点を利用して最小自乗法を利用して上部目の外郭線曲線を推定する段階と、
検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線曲線を推定する段階と、を含むことを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１５】
前記眉検出段階は、
多項式曲線によって近似させて眉を検出し、
前記多項式曲線は前記目の境界ボックス上部の所定の領域内で適応的ニ値化を行った以後に暗い画素を近似化することを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１６】
前記唇の外郭線の検出段階は、
上部及び下部唇検出よりなり、
前記上部及び下部唇検出は、
口の方形を初期化する段階と、
非皮膚色画素の１次及び２次モーメントを利用して初期方形をより精密な境界ボックスに縮少させる段階と、
唇関数映像を構成して、精製された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する段階と、
高い唇関数値を有する画素の２次中心モーメントを測定することによって楕円で唇の外郭線を初期化する段階と、
外力及び内力によって唇の外郭線を動的に移動させる段階と、
前記移動結果点に多項式を近似させて曲線表現式を生成する段階と、を行ってなされることを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１７】
前記外力は、
唇と皮膚との境界地点に境界点を移動させる力であり、
前記内力は内部形状力及び内部平滑化力よりなり、
前記内部形状力は外郭線形状を楕円に近くする力であり、
前記内部平滑化力は前記境界の外部に外れすぎる単一点を抑制する力を含む所定の因子によって決定されることを特徴とする請求項１６に記載の３次元顔モデル生成方法。
【請求項１８】
前記鼻の外郭線の検出段階は、
鼻側面検出を含み、前記鼻側面検出は、
所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合した段階と、
大きい整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する段階と、
各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された３点に合致される段階と、を行ってなることを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項１９】
あご及び頬の外郭線の検出段階は、
赤色チャンネル映像上の傾斜度ベクトル場を計算する段階と、
あご下部点で連結される２個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させる段階と、
曲線の接線方向に合致する強いエッジに接するまであご及び頬の外郭線を外部に拡張する段階と、
前記あご及び頬の外郭線が接線方向に合致する強いエッジに接すれば、前記あご及び頬の外郭線の拡張を中止する段階と、を含むことを特徴とする請求項５に記載の３次元顔モデル生成方法。
【請求項２０】
前記（ａ）段階の側面顔の特徴検出は、
顔領域を検出する段階と、
側面曲線を検出する段階と、
基準点を検出する段階と、
耳の外郭線を検出する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項２１】
前記顔領域検出段階は、
画素を皮膚及び非皮膚画素に分類する段階と、
最大皮膚色の連結成分として前記顔領域を選択する段階と、を含むことを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２２】
前記顔領域選択段階は、
最も大きい２つの成分が類似したサイズを有した場合、映像中心により近いものを前記顔領域として選択する段階であることを特徴とする請求項２１に記載の３次元顔モデル生成方法。
【請求項２３】
前記側面曲線を検出する段階は、
正面映像から類推された特定境界ボックス内の最右側の顔領域の境界外郭線を側面曲線として検出することを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２４】
前記耳の外郭線の検出は、
曲線テンプレートを側面映像と整合して耳位置を初期化する段階と、
初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す段階と、を含むことを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２５】
前記耳初期化は、
元の映像を回転させて鼻ブリッジ上端からあご点までの線分を厳格に垂直にし、前記線分セグメントの長さが所定値になるようにスケーリングする段階と、
耳のための検索領域を定義する段階と、
検索領域内の顔領域と髪の毛領域境界とを曲線テンプレートと整合して、２個の曲線が合致される部分曲線と定義されるセグメントを探し出す段階と、
もし整合したセグメントの長さが所定の閾値より小さい場合、エッジ検出器で検出したエッジと耳テンプレートを整合で類似した形状を有するセグメントを検出する段階と、
テンプレートセグメントから整合した映像点への変換ベクトルを最小自乗アルゴリズムを利用して計算する段階と、を含むことを特徴とする請求項２０に記載の３次元顔モデル生成方法。
【請求項２６】
前記正面及び正面隣接映像から深さ情報を生成する段階は、
正面映像内の映像特徴点を決定する段階と、
特徴点に対してモデルに基づいたルーカス・カナダ追跡を行って前記正面隣接映像内の相応する点を探し出す段階と、
整合した一致点を利用してデータ補間を行って稠密なディスパリティマップを獲得する段階と、
前記ディスパリティマップを深さ情報に変換する段階と、を含むことを特徴とする請求項２に記載の３次元顔モデル生成方法。
【請求項２７】
前記ディスパリティマップを深さ情報に変換する段階は、
最大ディスパリティ値から最小ディスパリティ値を引いた差分として獲得する段階と、
前記差分を顔幅で除算し、所定の定数値を乗算することによって係数を決定する段階と、
前記係数及び測定されたディスパリティ値で最小ディスパリティ値を減算した値を乗算することによって与えられた画素の深度値を獲得する段階と、を含むことを特徴とする請求項２６に記載の３次元顔モデル生成方法。
【請求項２８】
前記（ｂ）段階の初期モデル変形は、
３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔内で定義される特徴に相応する２次元点に変換する段階と、
前記映像特徴及び前記初期３次元メッシュモデル特徴点間の一致性を利用して、３段階ＲＢＦ（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）基盤のモーフィング作業（morphing）を行って前記３次元顔メッシュモデルを変形する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項２９】
前記３段階ＲＢＦ基盤のモーフィング作業は、
モデル特徴点のＸ及びＹ座標をそれらの相応するイメージ特徴点に設定し、Ｚ座標は初期メッシュ内に残すことによって正面特徴のＲＢＦ補間を適用する段階と、
側面特徴を考慮して側面映像のスケールを調節し、Ｘ座標が初期モデルでその位置に残っている間、側面特徴をＲＢＦ補間に対する入力として使用する段階と、
前記Ｚ座標を利用して正面と側面特徴に対してＲＢＦ補間を遂行する段階と、を含むことを特徴とする請求項２８に記載の３次元顔モデル生成方法。
【請求項３０】
深さ情報復旧過程で獲得された３次元点は、
初期モデルの頂点が深さ情報から取得されたそれらの３次元地点に移動するようにＲＢＦに基づいたモーフィングを行うことを特徴とする請求項２９に記載の３次元顔モデル生成方法。
【請求項３１】
前記（ｃ）段階は、
入力映像に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する段階と、
写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面（public UV plane）上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する段階と、
多重解像度のスプラインアルゴリズム（spline aogorithm）を利用して正面、側面及び人工テクスチャを混合してテクスチャを完成する段階と、を含むことを特徴とする請求項１に記載の３次元顔モデル生成方法。
【請求項３２】
描写された多角形メッシュモデルによって表現される３次元のフォトリアリスティックな顔モデル生成装置において、
入力映像の正面及び側面顔映像の顔特徴を検出する顔特徴検出部と、
前記検出された顔特徴を利用して所定の初期モデルを変形させて３次元の顔モデルを生成する顔モデル変形部と、
入力映像からフォトリアリスティックなテクスチャを生成するテクスチャ生成部と、
前記テクスチャを前記顔モデル変形部で生成された３次元の顔モデルにマッピングするマッピング部と、を含むことを特徴とする３次元顔モデル生成装置。
【請求項３３】
前記顔モデル変形部は、
正面及び正面隣接映像から顔深さ情報を抽出する深さ情報生成部をさらに具備し、
前記顔特徴検出部で検出された顔特徴と前記深さ情報生成部で生成した顔深さ情報とを利用して所定の初期モデルを変形させて３次元の顔モデルを生成することを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項３４】
前記テクスチャ生成部のテクスチャは、
人工テクスチャを共に使用する機能をさらに具備することを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項３５】
前記顔特徴検出部は、
正面顔の特徴を検出する正面顔の特徴検出部と、
側面顔の特徴を検出する側面顔の特徴検出部と、を含むことを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項３６】
前記正面顔の特徴検出部は、
皮膚領域を検出する皮膚領域検出部と、
顔領域を検出する顔領域検出部と、
目の境界ボックスを検出する目の境界ボックス検出部と、
虹彩を検出する虹彩検出部と、
正面顔映像を正規化する正面顔正規化部と、を含むことを特徴とする請求項３５に記載の３次元顔モデル生成装置。
【請求項３７】
前記皮膚領域検出部は、
映像画素をｒ−ｇ色空間内の皮膚または非皮膚画素に分類する事前訓練された最大確率ベイジアン分類器によって行われることを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項３８】
前記顔領域検出部は、
皮膚色を帯びた連結構成要素のうち最大要素を顔領域に初期化する顔領域初期化部と、
前記初期化された顔領域に基づいて楕円の境界点を楕円が安定化されるまで移動させて楕円を初期化及び変形させる楕円安定化部と、
前記安定化された楕円の境界方形を顔領域と決定する顔領域決定部と、を含むことを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項３９】
前記目の境界ボックス検出部は、
低域通過フィルタリングを通じてボケた映像を生成するにじむ映像生成部と、
元の映像で前記ボケた映像を引いた映像の各画素で自分と周辺画素との平均値を求めて新しい映像を生成し、所定の閾値を利用して前記新しい映像をニ値化する映像ニ値化部と、
前記映像ニ値化部でニ値化された映像で連結されたセグメントを目候補として探し出す目候補検索部と、
前記目候補検索部で捜し出した目候補を形状、サイズ及び相対的位置基準で評価して目の境界ボックスを決定する目の境界ボックス決定部と、を含むことを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項４０】
前記虹彩検出部の虹彩検出は、
赤色チャンネル映像内の目の境界ボックス内部で虹彩を検出することを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項４１】
前記虹彩検出部は、
前記目の境界ボックス内の赤色チャンネル映像の最大輝度値を有する画素数を閾値と比較することによって、ハイライトの存在を評価するハイライト探索部と、
ハイライトが存在しなければ、最も暗い画素の質量重心点を虹彩中心に初期化し、ハイライトが存在すれば、ハイライト周囲のハイコントラスト領域の中心点を虹彩中心に初期化する虹彩初期化部と、
虹彩中心に位置した初期円を拡張しながら円上の画素の傾斜度のサイズを測定するが、前記初期虹彩中心周囲の隣接画素に対して測定作業を繰り返す虹彩中心／半径測定部と、
最大測定値を有する虹彩中心及び半径を虹彩中心及び虹彩半径と決定する虹彩決定部と、を具備することを特徴とする請求項４０に記載の３次元顔モデル生成装置。
【請求項４２】
前記正面顔映像正規化部は、
虹彩中心間の線が水平になるように回転し、所定の映像解像度に変換して正規化することを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項４３】
前記正面顔の特徴検出部は、目の外郭線を検出する目の外郭線の検出部と、眉を検出する眉検出部と、唇の外郭線を検出する唇の外郭線検出部と、鼻の外郭線を検出する鼻の外郭線検出部と、あご及び頬の外郭線を検出するあご及び頬の外郭線検出部のうち少なくとも１つをさらに具備することを特徴とする請求項３５に記載の３次元顔モデル生成装置。
【請求項４４】
目の外郭線の検出部は、
目の外郭線は上部目の外郭線及び下部目の外郭線それぞれのための２つの多項式曲線によって近似化されることを特徴とし、
前記近似化は、
虹彩中心及び半径によって検索領域をあらかじめ決定する手段と、
前記検索領域内部の赤色チャンネル映像内の垂直位置の各水平スキャンラインに対して、局所的最小値または輝度が急変する画素として左側及び右側まぶた点を選択する手段と、
検出されたまぶた点のうち、最も左側及び右側に位置した点を目のコーナーとして選択する手段と、
前記目のコーナーを連結する線分の上部にある点を利用して最小自乗法を利用して上部目の外郭線曲線を推定する手段と、
検出された目のコーナー及び虹彩の下部点を利用して下部目の外郭線曲線を推定する手段と、を含む請求項４３に記載の３次元顔モデル生成装置。
【請求項４５】
前記眉検出部は、
多項式曲線によって近似させて眉を検出し、
前記多項式曲線は前記目の境界ボックス上部の所定の領域内で適応的ニ値化を行った以後に暗い画素を近似化することを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４６】
前記唇の外郭線検出部は、
上部及び下部唇を検出し、前記上部及び下部唇検出は、
口の方形を初期化する手段と、
非皮膚色画素の１次及び２次モーメントを利用して初期方形をより精密な境界ボックスに縮少させる手段と、
唇関数映像を構成して、生成された境界ボックス内の画素を利用して画素が唇または皮膚に属する確率を測定する手段と、
高い唇関数値を有する画素の２次中心モーメントを測定することによって楕円で唇の外郭線を初期化する手段と、
外力及び内力によって唇の外郭線を動的に移動させる手段と、
前記移動結果点に多項式を近似させて曲線表現式を生成する手段と、を行ってなることを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４７】
前記鼻の外郭線検出部は、
鼻側面検出を含み、前記鼻側面検出は、
所定の検索領域内のエッジ映像上で所定の形状のテンプレートを整合した手段と、
大きい整合値を有する検出された候補のうち対称条件を満足する対を選択して鼻翼面位置として決定する手段と、
各鼻側面を多項式曲線によって表現するが、前記曲線は検出された鼻翼面テンプレート及び所定の係数で鼻翼面及び目のコーナー間に補間された３点に合致される手段と、を行ってなることを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４８】
あご及び頬の外郭線検出部は、
赤色チャンネル映像上の傾斜度ベクトル場を計算する傾斜度計算部と、
あご下部点で連結される２個の多項式曲線で構成された顔領域内に初期外郭線テンプレートを位置させ、曲線の接線に合致する強いエッジに接するまであご及び頬の外郭線を外部に拡張するあご及び頬の外郭線拡張部と、
前記あご及び頬の外郭線が接線方向に合致する強いエッジに接するようになれば、前記あご及び頬の外郭線拡張を中止してその結果をあご及び頬の外郭線と決定するあご及び頬の外郭線決定部と、を含むことを特徴とする請求項４３に記載の３次元顔モデル生成装置。
【請求項４９】
前記側面顔の特徴検出部は、
側面顔領域を検出する側面顔領域検出部と、
側面曲線を検出する側面曲線検出部と、
基準点を検出する基準点検出部と、
耳の外郭線を検出する耳の外郭線の検出部と、を含むことを特徴とする請求項３６に記載の３次元顔モデル生成装置。
【請求項５０】
前記側面顔領域検出部は、
画素を皮膚及び非皮膚画素に分類する皮膚画素分類部と、
最大皮膚色の連結成分を側面顔領域として選択する側面顔領域選択部と、を含むことを特徴とする請求項４９に記載の３次元顔モデル生成装置。
【請求項５１】
前記側面曲線検出部は、
正面映像から類推された特定境界ボックス内の最右側顔領域の境界外郭線を側面曲線として検出することを特徴とする請求項４９に記載の３次元顔モデル生成装置。
【請求項５２】
前記耳の外郭線の検出部は、
曲線テンプレートを側面映像と整合して耳位置を初期化する耳位置初期化部と、
初期化された耳テンプレートを外郭線追跡アルゴリズムに変形させて正確な耳境界を探し出す耳境界検出部と、を含むことを特徴とする請求項４９に記載の３次元顔モデル生成装置。
【請求項５３】
深さ情報生成部は、
正面映像内の映像特徴点を決定して前記正面隣接映像内で前記特徴点に相応する点を探し出す特徴点検出部と、
整合した一致点を利用してデータ補間を行って稠密なディスパリティマップを獲得するマップ獲得部と、
前記ディスパリティマップを深さ情報に変換する深さ情報変換部と、を含むことを特徴とする請求項３３に記載の３次元顔モデル生成装置。
【請求項５４】
前記顔モデル変形部は、
３次元初期顔モデルの顔特徴曲線上の特徴点の長さ比を利用して、映像で検出された特徴曲線を初期顔（３Ｄ ｇｅｎｅｒｉｃ ｈｅａｄ）内で定義される特徴に相応する２次元点に変換する２次元点変換部と、
前記映像特徴及び前記初期３次元メッシュモデル特徴点間の一致性を利用して、３段階ＲＢＦ基盤のモーフィング作業を行って前記３次元顔メッシュモデルを変形する顔メッシュモデル変形部と、を含むことを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項５５】
前記テクスチャ生成部は、
入力映像上に色補正を行って相異なる照明条件またはカメラ間の色バランスのズレを色補償する入力映像補償部と、
写真上の３次元モデル極点及び写像された２次元点間の整合に基づいて共通ＵＶ平面上に正面及び側面映像を写像して、正面及び側面テクスチャを生成する正面／側面テクスチャ生成部と、
多重解像度のスプラインアルゴリズムを利用して正面、側面及び人工テクスチャを混合してテクスチャを完成するテクスチャ完成部と、を含むことを特徴とする請求項３２に記載の３次元顔モデル生成装置。
【請求項５６】
請求項１ないし請求項３１のうち何れか１項に記載の発明をコンピュータで実行させるためのコンピュータプログラムを記録したコンピュータ可読記録媒体。
【図１】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５】
【図１８Ａ】
【図１８Ｂ】
【図２０】
【図２１】
【図２６】
【図２９】
【図３１】
【図３６Ａ】
【図３６Ｂ】
【図３７】
【図４０】
【図４１】
【図５０】
【図５１】
【図５９】
【図６０】
【図６３】
【図６４】
【図７０】
【図７１】
【図２】
【図３】
【図４】
【図１０】
【図１１】
【図１６】
【図１７】
【図１９】
【図２２】
【図２３】
【図２４】
【図２５】
【図２７】
【図２８】
【図３０】
【図３２】
【図３３】
【図３４】
【図３５】
【図３８】
【図３９】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図６１】
【図６２】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５】
【図１８Ａ】
【図１８Ｂ】
【図２０】
【図２１】
【図２６】
【図２９】
【図３１】
【図３６Ａ】
【図３６Ｂ】
【図３７】
【図４０】
【図４１】
【図５０】
【図５１】
【図５９】
【図６０】
【図６３】
【図６４】
【図７０】
【図７１】
【図２】
【図３】
【図４】
【図１０】
【図１１】
【図１６】
【図１７】
【図１９】
【図２２】
【図２３】
【図２４】
【図２５】
【図２７】
【図２８】
【図３０】
【図３２】
【図３３】
【図３４】
【図３５】
【図３８】
【図３９】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図６１】
【図６２】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【公開番号】特開２００５−７８６４６（Ｐ２００５−７８６４６Ａ）
【公開日】平成１７年３月２４日（２００５．３．２４）
【国際特許分類】
【出願番号】特願２００４−２５１１６０（Ｐ２００４−２５１１６０）
【出願日】平成１６年８月３０日（２００４．８．３０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【Ｆターム（参考）】
【公開日】平成１７年３月２４日（２００５．３．２４）
【国際特許分類】
【出願日】平成１６年８月３０日（２００４．８．３０）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【Ｆターム（参考）】
[ Back to top ]