顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
【課題】眼鏡をかけている人物の顔の３次元モデルの生成時においても、裸眼の人物の顔の３次元モデル生成と同様に、一回の画像撮影と１つの画像列入力から、顔の３次元モデルの生成を可能にする。
【解決手段】複数枚のデジタル画像データを入力する画像入力部１１と、前記入力画像内の眼鏡フレーム部分の画素値を除去する眼鏡除去部１２と、前記入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成部１３と、前記入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成部１４と、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算部１５と、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対３次元位置情報をもとに統合するモデル統合部１６と、前記統合結果をデジタルデータとして出力する出力部１７とを備える。
【解決手段】複数枚のデジタル画像データを入力する画像入力部１１と、前記入力画像内の眼鏡フレーム部分の画素値を除去する眼鏡除去部１２と、前記入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成部１３と、前記入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成部１４と、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算部１５と、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対３次元位置情報をもとに統合するモデル統合部１６と、前記統合結果をデジタルデータとして出力する出力部１７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像から顔の３次元モデルを生成する技術に係り、顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラムに関するものである。
【背景技術】
【０００２】
古くから、コンピュータビジョンの分野では顔の３次元モデルの生成に関する技術は研究されており、近年では、容易にかつ個人性を強く反映した顔の３次元モデルを生成する技術が開発されつつあり、顔の３次元モデルはアバターや顔認識などの用途のために頻繁に使用されている。しかし一般に、顔の３次元モデルの生成技術では、眼鏡のような顔の一部を覆い隠す遮蔽物を含む顔は対象とされていない。
【０００３】
顔の３次元モデルを生成する方法としては、レンジファインダのような３次元形状計測機器を使用して、取り込んだ３次元形状情報から顔の３次元モデルを生成する方法がある（例えば、非特許文献１参照）。基本的に、３次元形状計測機器使用して顔の３次元モデルを生成する際は裸眼であることを前提としており、眼鏡をかけた人の顔の３次元モデルを生成したい場合は、はじめに裸眼の顔の３次元形状を測定し、次に、眼鏡をかけて再び３次元形状の測定を行い、その差分から眼鏡の３次元モデルを作成し、裸眼の顔の３次元モデルと合成する方法が一般的である。しかし、非特許文献１に記載の技術では、高価で特殊な機器が必要とされる。
【０００４】
一方、特別な３次元形状計測機器を用いずに、容易に顔の３次元モデルを生成する方法として、あらかじめ汎用の顔の３次元モデルを用いる方法が提案されている（例えば、非特許文献２参照）。非特許文献２に記載の技術では、手動で特徴点を付与した画像１枚を入力とし、あらかじめデータベースに保持しておいたＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる特徴点データとテクスチャ情報を持つ汎用の３次元モデルを用いてフィッテングを行う。即ち、手動で与えた入力画像の特徴点と、Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌの特徴点、およびそれぞれのテクスチャの残差が小さくなるように最小化を行い、Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌの３次元形状および、テクスチャを変形させることで顔の３次元モデルを生成する。
【非特許文献１】石山塁，坂本静生，北野昌秀，童衛青，田島譲二：“顔用レンジファインダ”，信学技報，ＰＲＭＵ９９−２４，１９９９，ｐｐ．３５−４２
【非特許文献２】Ｖ．Ｂｌａｎｚ，Ｔ．Ｖｅｔｔｅｒ：“Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ”，ＰＡＭＩ ｖｏｌ．２５ Ｎｏ．９，２００３
【非特許文献３】山田貢己、中島朗子、福井和弘：“因子分解法と部分空間法による顔向き推定”，ＰＲＭＵ２００１−１９４，ｖｏｌ．１０１，ｐｐ．１−８（２００１）
【非特許文献４】Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ，Ｊｏｈｎ Ｓｈａｗｅ−Ｔａｙｌｏｒ，“Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ：Ａｎｄ Ｏｈｔｅｒ Ｋｅｒｎｅｌ−Ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ Ｐｒｅｓｓ，２０００
【非特許文献５】齋藤康之、剣持雪子、小谷一孔：“パラメトリックな眼鏡フレームモデルを用いた顔画像内の眼鏡フレーム領域の抽出と除去”，信学論誌，Ｄ−ＩＩ，Ｊ８２−Ｄ−ＩＩ，５，ｐｐ．８８０−８９０，１９９９
【非特許文献６】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ，ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ．ＩＥＥＥ ＴＰＡＭＩ，２３（６）：６８１−６８５，２００１
【非特許文献７】Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ：“Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ：ａｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ”Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，９（２），ｐｐ．１３７−１５４（１９９２）
【非特許文献８】Ａｈｓａｎ Ｕｌｌａｈ，Ｋｏｉｃｈｉ Ｈａｒａｄａ：“Ａ ｓｔｕｄｙ ｏｎ Ｓｕｒｆａｃｅ Ｓｕｂｄｉｖｉｓｉｏｎ”，Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．Ａｄｖ．Ｃｏｍｍ．Ｔｅｃｈ．２００６ ｐｐ．１４０９−１４１２（２００６）
【特許文献１】特開２００７−４５７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１、２に開示された技術では眼鏡をかけている人物の顔の３次元モデルの生成方法および、３次元モデル生成の簡易性は考慮されていない。即ち、非特許文献２では生成する３次元モデルは裸眼の人物のものであることが前提とされており、入力画像は裸眼の顔画像でなくてはならない。
【０００６】
また、非特許文献１のように３次元計測機器を使用する場合においては、眼鏡をかけた人物の裸眼時と眼鏡使用時の２回の計測が必要となり、二度手間になるという問題点がある。
【０００７】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、眼鏡をかけている人物の顔の３次元モデルの生成時においても、裸眼の人物の顔の３次元モデル生成と同様に、一回の画像撮影と１つの画像列入力から、顔の３次元モデルの生成を可能にするための、裸眼の顔の３次元モデル生成方法および、眼鏡の３次元モデル生成方法、および異なる座標系の複数の３次元モデルの統合方法を備えた、顔の３次元モデル生成装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の顔の３次元モデル生成装置は、画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成装置であって、複数枚のデジタル画像データを入力する画像入力手段と、前記画像入力手段により入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去手段と、前記画像入力手段により入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成手段と、前記画像入力手段により入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成手段と、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算手段と、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算手段により計算された相対３次元位置情報をもとに統合するモデル統合手段と、前記統合結果をデジタルデータとして出力する出力手段とを備えることを特徴としている。
【０００９】
また請求項２に記載の顔の３次元モデル生成装置は、請求項１において、前記眼鏡除去手段は、前記入力画像列から任意の画像を選択する画像選択手段と、事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段と、前記学習パターン記憶手段から学習パターンを読み込み、前記画像選択手段により選択された画像内の眼鏡の有無を識別する識別手段と、前記画像選択手段により選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理手段とを有することを特徴としている。
【００１０】
また請求項３に記載の顔の３次元モデル生成装置は、請求項１又は２において、前記裸眼の顔モデル生成手段は、事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段と、前記顔データ記憶手段から顔データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う顔の特徴点追跡手段と、前記顔の特徴点追跡手段による特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成手段と、前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去手段によりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成手段とを有することを特徴としている。
【００１１】
また請求項４に記載の３次元モデル生成装置は、請求項１ないし３のいずれか１項において、前記眼鏡モデル生成手段は、事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段と、前記眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡手段と、前記眼鏡フレームの特徴点追跡手段による特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成手段と、前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理手段とを有することを特徴としている。
【００１２】
また、請求項５に記載の顔の３次元モデル生成方法は、画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成方法であって、画像入力手段が、複数枚のデジタル画像データを入力する画像入力ステップと、眼鏡除去手段が、前記画像入力ステップにより入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去ステップと、裸眼の顔モデル生成手段が、前記画像入力ステップにより入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成ステップと、眼鏡モデル生成手段が、前記画像入力ステップにより入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成ステップと、相対位置計算手段が、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算ステップと、モデル統合手段が、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算ステップにより計算された相対３次元位置情報をもとに統合するモデル統合ステップと、出力手段が、前記統合結果をデジタルデータとして出力する出力ステップとを備えることを特徴としている。
【００１３】
また請求項６に記載の顔の３次元モデル生成方法は、請求項５において、前記眼鏡除去ステップは、画像選択手段が、前記入力画像列から任意の画像を選択する画像選択ステップと、識別手段が、事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段から学習パターンを読み込み、前記画像選択ステップにより選択された画像内の眼鏡の有無を識別する識別ステップと、フレーム除去処理手段が、前記画像選択ステップにより選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理ステップとを有することを特徴としている。
【００１４】
また請求項７に記載の顔の３次元モデル生成方法は、請求項５又は６において、前記裸眼の顔モデル生成ステップは、顔の特徴点追跡手段が、事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段から顔データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う顔の特徴点追跡ステップと、顔形状情報生成手段が、前記顔の特徴点追跡ステップによる特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成ステップと、顔形状モデル生成手段が、前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去ステップによりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成ステップとを有することを特徴としている。
【００１５】
また請求項８に記載の顔の３次元モデル生成方法は、請求項５ないし７のいずれか１項において、前記眼鏡モデル生成ステップは、眼鏡フレームの特徴点追跡手段が、事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡ステップと、フレーム形状生成手段が、前記眼鏡フレームの特徴点追跡ステップによる特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成ステップと、後処理手段が、前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理ステップとを有することを特徴としている。
【００１６】
また、請求項９に記載の顔の３次元モデル生成プログラムは、コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる顔の３次元モデル生成プログラムである。
【００１７】
上記手段を実現することによって、ビデオカメラなどの画像入力装置により撮影された入力画像中の人物の眼鏡の有無に関わらず、裸眼または眼鏡付きの顔の３次元モデルを生成することが可能となる。
【発明の効果】
【００１８】
本発明によれば、眼鏡の有無を判断し、眼鏡がある場合には眼鏡除去の画像処理を行うため、入力に眼鏡をかけた人物の顔の画像列を用いても、裸眼の人物の顔画像を用いても３次元顔モデルが作成できるようになる。また眼鏡モデルの作成を可能にし、２つのモデルの位置関係を調節することにより、眼鏡をかけた人物の顔の３次元モデルは、眼鏡付きの顔の３次元モデルとすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明に係る実施形態の顔の３次元モデル生成装置の構成を示すブロック図であり、図２は本発明に係る実施形態の顔の３次元モデル生成方法のフローチャートである。
【００２０】
図１において、本実施形態例の顔の３次元モデル生成装置は、画像入力手段としての画像入力部１１、眼鏡除去手段としての眼鏡除去部１２、裸眼の顔モデル生成手段としての裸眼の顔モデル生成部１３、眼鏡モデル生成手段としての眼鏡モデル生成部１４、相対位置計算手段としての相対位置計算部１５、モデル統合手段としてのモデル統合部１６および出力手段としての出力部１７を備えている。
【００２１】
前記眼鏡除去部１２は、画像選択手段としての画像選択部１８、学習パターン記憶手段としての学習パターン記憶部１９、識別手段としての識別部２０およびフレーム除去処理手段としてのフレーム除去処理部２１を備えている。
【００２２】
前記裸眼の顔モデル生成部１３は、顔データ記憶手段としての顔データ記憶部２２、顔の特徴点追跡手段としての顔の特徴点追跡部２３、顔形状情報生成手段としての顔形状情報生成部２４および顔形状モデル生成手段としての顔形状モデル生成部２５を備えている。
【００２３】
前記眼鏡モデル生成部１４は、眼鏡データ記憶手段としての眼鏡データ記憶部２６、眼鏡フレームの特徴点追跡手段としての眼鏡フレームの特徴点追跡部２７、フレーム形状生成手段としてのフレーム形状生成部２８および後処理手段としての後処理部２９を備えている。
【００２４】
前記図１の各部１１〜２９の、後述する各機能は、例えばコンピュータによって達成される。
【００２５】
尚、以下で説明する図２、図４〜図６のフローチャートにおいて、「Ｓ」で示す各処理は、本発明の請求項５〜８の各ステップを示している。
【００２６】
画像入力部１１は、ビデオカメラ等で撮像されたデジタル画像列を入力し、眼鏡除去部１２と裸眼の顔モデル生成部１３と眼鏡モデル生成部１４の３つに伝送する。
【００２７】
眼鏡除去部１２では、画像入力部１１より入力された画像列から眼鏡の有無を判断し、眼鏡があると判断された場合、画像中から眼鏡フレーム部分を除去した画像を生成し、生成した画像を裸眼の顔モデル作成部１３へ送り、眼鏡の有無の識別結果を眼鏡モデル生成部１４へ送る（図２の眼鏡除去処理Ｓ１）。
【００２８】
裸眼の顔モデル作成部１３は、顔の３次元形状情報から顔の３次元形状モデルを生成し、眼鏡除去部１２にて生成された眼鏡フレームを除去した画像のテクスチャを用いて裸眼の顔の３次元モデルを作成し、モデル統合部１６へ送るとともに、顔の特徴点を追跡し相対位置計算部１５へ送る（図２の裸眼の顔モデル生成処理Ｓ３）。
【００２９】
眼鏡モデル生成部１４では、眼鏡フレームの３次元形状モデルを作成し、眼鏡のレンズ形状やテクスチャを貼り付けた眼鏡の３次元モデルを生成して、モデル統合部１６へ送るとともに、眼鏡フレームの特徴点を追跡し相対位置計算部１５へ送る（図２の眼鏡モデル生成処理Ｓ２）。
【００３０】
一方、相対位置計算部１５では画像内における顔の特徴点と眼鏡の特徴点の相対位置を計算し、モデル統合部１６へ伝送する（図２の相対位置計算処理Ｓ４）。
【００３１】
モデル統合部１６では、裸眼の顔モデル作成部１３で生成された裸眼の顔の３次元モデルの座標系と眼鏡モデル生成部１４で生成された眼鏡の３次元モデルの座標系を相対位置計算部１５から入力される位置関係情報をもとに統合し、出力部１７へ送る（図２のモデル統合処理Ｓ５）。出力部１７はモデル統合部１６で生成された顔と眼鏡の３次元モデルを出力する。
【００３２】
画像入力部１１に入力される動画列の例としては、例えば図３（ａ），（ｂ）のように固定されたカメラ１台の正面に被写体となる人物が立ち、カメラに対し顔を右から左、または左から右へ回させる一連の動作を撮影した映像を用いる。また入力画像列の例として、任意の台数のカメラで被写体となる人物を囲むように配置して撮影した複数枚の顔画像などを用いてもよい。
【００３３】
眼鏡除去部１２は、画像入力部１１より入力された画像列中から正面顔が写っている画像を選択する画像選択部１８と、あらかじめ学習により作成したデータを保持しておく学習パターン記憶部１９と、画像内の眼鏡の有無を識別する識別部２０と、画像選択部１８にて選択された画像内の眼鏡フレーム部分のみを画像処理により除去するフレーム除去処理部２１から構成される。具体的な眼鏡除去部１２の処理手順を図４のフローチャートに示す。
【００３４】
まず、画像選択部１８が行う正面顔画像取得処理Ｓ１０１における正面顔画像を選ぶ手段としては、画像中の顔の向きを推定する技術を使用する（例えば、非特許文献３参照）。入力画像列全ての顔向きを推定し、顔向きが最も正面に近い画像を１枚選択し、これを正面顔画像とする。
【００３５】
次に、識別部２０が行う識別処理Ｓ１０２では、前記選択した正面顔画像を用いて眼鏡の有無を識別する。識別方法としては、ＳＶＭを使用する（ＳＶＭの詳細については、例えば非特許文献４参照）。あらかじめ訓練セットとして眼鏡の画像と眼鏡ではない画像の２種類を用意しておき、これを用いた学習を行い生成した識別パラメータを学習パターン記憶部１９に蓄積しておく。識別の際には、学習パターン記憶部１９より呼び出した識別パラメータを使用して、眼鏡の有無を判断する（処理Ｓ１０３）。
【００３６】
ここで、正面顔画像中に眼鏡があると判断された場合のみ、フレーム除去処理部２１が眼鏡フレーム除去処理Ｓ１０４を行う。眼鏡フレーム除去処理Ｓ１０４の手段としては、例えばパラメトリック眼鏡フレームモデルを用いた眼鏡除去方法を用いる（非特許文献５参照）。正面顔画像内における眼鏡フレーム部分だけを除去した画像を生成し、出力する。
【００３７】
本実施例の説明では正面顔画像の選択の例に顔向き推定技術を用いて説明したが、手動で画像列中から探し出してもよい。また、前記識別手法においてはＳＶＭ以外にも例えば最近傍法、フィッシャーの線形識別法、ニューラルネットワークや部分空間法等を用いても良い。
【００３８】
裸眼の顔モデル作成部１３は、画像入力部１１より入力された画像に顔の形状を表すための特徴点を発生させ、画像列中の他の全ての画像上での対応付けを行う（以下、特徴点追跡と呼ぶ）顔の特徴点追跡部２３と、画像中の顔の特徴点を発生させるためのデータを保持しておく顔データ記憶部２２と、特徴点の３次元位置情報を算出する顔形状情報生成部２４と、顔の３次元形状モデルを生成する顔形状モデル生成部２５から構成される。具体的な裸眼の顔モデル作成部１３における処理の実行方法を図５のフローチャートに示す。
【００３９】
まず、顔の特徴点追跡部２３が、画像入力部１１より入力された画像列を用いて顔の特徴点追跡処理Ｓ２０１を行う。特徴点追跡にはＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）を使用する。ＡＡＭはアピアランスモデルと呼ばれる統計的なモデルの作成と、モデル探索によるパラメータ調節の２つの工程から構成される生成モデルと未知画像のマッチング手法である。
【００４０】
アピアランスモデルの作成工程では、物体の形状を表す特徴点の座標値と見えを表す輝度値の相関をパラメータとして持つ統計的モデルを作成し、モデル探索によるパラメータ調節工程では、生成したアピアランスモデルと入力した未知画像とのイメージ残差を最小化するように生成したアピアランスモデルのパラメータを変化させる最適化問題に帰着し、その最適化問題を解くことで入力未知画像と生成したモデルのマッチングを行うものである。
【００４１】
以下で、アピアランスモデル作成について簡単に概説する。アピアランスモデルは特徴点を配置した学習画像データセットを使用して作成する。
【００４２】
【数１】
【００４３】
ここでＱｓ，Ｑｇは固有ベクトルであり、ｃは形状とテクスチャの両方をコントロールするアピアランスパラメータである。アピアランスパラメータｃを用いることで、形状だけでなくテクスチャも表現することができる。また逆に、ｃが求まれば、形状およびテクスチャを算出することが可能となる。
【００４４】
また、ＡＡＭの第２工程であるモデル探索によるパラメータ調節により未知画像と作成したアピアランスモデルのマッチングを行う。画像内から作成したアピアランスモデルと同じ形状、同じテクスチャを探索する際には、モデルの形状とテクスチャをあらわすアピアランスパラメータｃに加え、画像内におけるモデルの位置、大きさ、回転を考慮した新しいパラメータｐを用いる。
【００４５】
【数２】
【００４６】
【数３】
【００４７】
ただし、（ｕij，ｖij）はｉ番目の画像のｊ番目の特徴点の画像座標値を表している。因子分解法は、（２）式の行列より各特徴点の３次元位置とカメラ運動を同時に算出できる手法である。一般に、因子分解法により算出される３次元位置情報の座標系の各軸の並びは入力する計測行列により変わる。そこで、算出した顔の３次元位置の座標系におけるｚ軸をカメラに向かって撮影された入力画像列のｚ軸（図３参照）と同様になるようにあわせる。具体的な座標系のあわせ方としては、図３の入力画像列の撮影状況の座標系から例えば、ｚ軸方向は上向きなどの制約条件を与えることで回転行列を生成して調整することが可能である。少なくとも、ここでは算出した３次元位置の座標系のｚ軸は上向きになるように調節する。また、各軸の並びは手動で調節してもよい。
【００４８】
さらに３次元形状生成処理Ｓ２０２では、各特徴点の３次元位置から三角パッチなどのメッシュを作成し、顔の３次元形状モデルを作成する。ここで、画像中の特徴点の数Ｎが小さい場合、作成した顔モデルが粗いメッシュで作成される。このような場合には、非特許文献８にあるようにメッシュを細かく分割する細分割曲面を生成して３次元形状モデルに丸みを帯びさせてもよい。この時点で作成された顔の３次元形状モデルは、顔の特徴点の３次元位置情報と各特徴点によるパッチの張り方（メッシュの連結情報）をあらわす情報を持つモデルである。そこで顔形状モデル生成部２５が、眼鏡除去部１２から入力される、眼鏡フレームを除去した画像を用いてテクスチャマッピング処理Ｓ２０３を行う。
【００４９】
以上により、顔の３次元形状情報、特徴点によって張られるパッチ構成の情報、および裸眼の顔画像のテクスチャ情報を持つ裸眼の顔の３次元モデルが生成される。本実施例の説明には、ＡＡＭによる特徴点追跡を行う例を使用したが、ＡＡＭの代わりにＡｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌやあらかじめ保持しておいた３次元モデルを使用したモデル当てはめを用いてもよい。
【００５０】
また因子分解法は時系列画像列中の１枚の画像中に発生させた特徴点が全てのフレームにおいて追跡できていないと３次元復元できないという問題点を持つ。本実施例での入力画像列のように撮影された映像では、例えば、入力画像列の１番目の画像と最後の画像は、人物の右真横からの顔画像と左真横の顔画像になることが考えられる。このような場合、１番目の画像中に発生させた特徴点がフレームアウトし、特徴点追跡に失敗する可能性がある。
【００５１】
そこで、入力画像列を、特徴点追跡が失敗しない範囲でサブ画像列に分割し、分割した複数の画像列を用いて、おのおのに因子分解法を適用し、３次元形状を復元し、それらを接合することでひとつの大きな３次元形状モデルを作成してもよい。
【００５２】
具体的には、今入力画像列は、図３のように人物がカメラに向かい、右から左へ顔を回して撮影したものとする。この入力画像列を１番目の画像から正面顔画像までを１つのサブ画像列Ａ、その正面顔画像から最後の画像までをもう１つのサブ画像列Ｂとして２つに分割する。特徴点の発生方法としては、あらかじめＡＡＭを用いて顔の右半面のアピアランスモデルと顔の左半面のアピアランスモデルを作成しておき、顔データ記憶部２２に蓄積しておく。これら２つのアピアランスモデルには一部に重複する特徴点を含むモデルを作成しておくものとする。特徴点追跡の際には、サブ画像列Ａには顔の左半面のアピアランスモデルを用い、サブ画像列Ｂには、顔の右半面のアピアランスモデルを用いる。それぞれの特徴点追跡結果から、先述のとおり、因子分解法を用いて３次元復元を行い、ｚ軸をそろえておく。
【００５３】
次に、重複している特徴点（以下、重複点）の３次元位置の情報から２つの３次元復元結果を統合する。重複点の位置をひとつに統合するための手段としては、たとえば最小二乗近似やクォータニオンがある。また特徴点追跡が失敗する可能性のあるような広域の画像列からの３次元復元手法としては、特許文献１のような手法を用いてもよい。
【００５４】
眼鏡モデル生成部１４は、画像入力部１１より入力された画像に眼鏡フレームの形状を表すための特徴点の特徴点追跡を行う眼鏡フレームの特徴点追跡部２７と、画像中の眼鏡フレームの特徴点を発生させるためのデータを保持しておく眼鏡データ記憶部２６と、特徴点の３次元位置を算出するフレーム形状生成部２８と、テクスチャマッピングと眼鏡フレーム内のレンズの位置の算出を行う後処理部２９から構成される。具体的な眼鏡モデル生成部１４における処理の実行方法を図６のフローチャートに示す。
【００５５】
まず、前記識別部２０の結果を用いて眼鏡の存在を判定する（処理Ｓ３０１）。ここで眼鏡が存在しないと判断された場合は、処理を終了し、眼鏡が存在すると判断された場合は、眼鏡フレームの特徴点追跡部２７が、画像入力部１１より入力された画像列を用いて眼鏡フレームの特徴点追跡処理Ｓ３０２を行う。
【００５６】
特徴点追跡手法は、前記顔の特徴点追跡処理Ｓ２０１と同様にＡＡＭを使用する。あらかじめ眼鏡の映っている画像に特徴点を配置した学習画像を多数用いて作成したアピアランスモデルを、眼鏡データ記憶部２６に蓄積しておく。例えば、図７のように眼鏡フレーム外周特徴点ｘ。とレンズ側特徴点ｘlを持つ眼鏡のアピアランスモデルを用いる。このときの形状ベクトルｘはｘoとｘlを並べたベクトルである。
【００５７】
次に、画像入力部１１より入力された画像列の最初の１枚に、事前に作成しておいた眼鏡のアピアランスモデルを眼鏡データ記憶部２６から読み出してマッチングを行う。そして、マッチングにより得られたアピアランスパラメータから形状ベクトルｘを算出し、特徴点の画像内位置を得る。これを入力画像列全てにおいて行い、得られた形状ベクトルを時系列に並べることで特徴点追跡の結果とする。
【００５８】
次に、フレーム形状生成部２８が行う３次元形状生成処理Ｓ３０３において、前記得られた特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出する。この３次元形状情報の算出方法も前記顔の３次元復元と同様に、因子分解法を用いる。また特徴点追跡の手段として、前記裸眼の顔モデル作成部１３にて記載したように、ひとつの入力画像列を複数に分割してから３次元形状を復元し、その後、複数の３次元復元結果を統合してもよい。続いて、得られた特徴点の３次元形状情報から眼鏡フレームの３次元形状モデルを作成し、必要に応じて細分割曲面を生成する。
【００５９】
次に、後処理部２９が行うテクスチャマッピング処理Ｓ３０４において、前記作成した眼鏡フレームの３次元形状モデルに眼鏡フレームのテクスチャを貼り付ける。この際の、テクスチャマッピングには入力画像列の任意の画像を用いることができるが、精度の良い顔のモデルを生成したい場合には正面顔画像を用いる。入力画像列から正面顔画像の選択方法は先述のとおり、非特許文献３のような顔向き推定技術を用いても、手動で正面顔画像を選択してもよい。テクスチャマッピングにより、眼鏡フレームの３次元形状情報と、特徴点によって張られるパッチ構成の情報、およびテクスチャの情報を持った眼鏡フレームの３次元モデルが生成される。
【００６０】
次に、後処理部２９が行うレンズのはめ込み処理Ｓ３０５により、生成した眼鏡フレームの３次元モデルに眼鏡のレンズ部分の形状情報を与える。今、生成した眼鏡フレームの３次元モデルの３次元位置情報は次の（３）式で示される形のベクトルで与えられているものとする。
【００６１】
【数４】
【００６２】
ただし（３）式において、添え字のｏとｌは眼鏡フレームの特徴点追跡処理Ｓ３０２に使用した眼鏡のアピアランスモデルの２種類の特徴点、すなわち図７の眼鏡フレーム外周特徴点ｘoとレンズ側特徴点ｘlに対応しており、ｓoは眼鏡フレーム外周特徴点の３次元位置であり、ｓlはレンズ側特徴点の３次元位置である。また、眼鏡フレーム外周特徴点の数をｉ個、レンズ側特徴点の数をｊ個とする。例えば、ｊ個のレンズ側特徴点のうち、図７のように１番目からｊ／２番目の特徴点が１つのレンズを囲むように右回りに配置し、ｊ／２＋１番目からｊ番目の特徴点がもうひとつのレンズを囲むように配置しておく。このときのレンズの形状はレンズ側特徴点の１番目からｊ／２番目の特徴点の３次元位置から生成した三角パッチなどのメッシュで表現したものを眼鏡のレンズ形状とする。もう片方のレンズも同様に、ｊ／２＋１番目の特徴点からｊ番目の特徴点で生成されるメッシュで表現される３次元モデルを作成する。レンズ部分には透過性のテクスチャを貼る。
【００６３】
相対位置計算部１５では裸眼の顔モデル作成部１３の顔の特徴点追跡処理部２３の特徴点追跡結果と、眼鏡モデル生成部１４の眼鏡フレームの特徴点追跡部２７の特徴点追跡結果が入力され、これらから画像内の顔の特徴点と眼鏡の特徴点の相対位置を計算する。例えば、入力画像列の任意の画像における顔の特徴点位置をｘf、同じ画像における眼鏡の特徴点位置をｘgとし、相対位置を表すベクトル[ｘf｜ｘg]を作成し、モデル統合部１６へ出力する。
【００６４】
モデル統合部１６では、入力された裸眼の顔の３次元モデルと眼鏡の３次元モデルの座標系の統一を行う。具体的には、入力される裸眼の顔の３次元モデルの特徴点の３次元位置情報をｓ1＝（ｘ1，ｙ1，ｚ1）、眼鏡の３次元モデルの特徴点の３次元位置情報をｓ2＝（ｘ2，ｙ2，ｚ2）として、次の（４）式、（５）式で表される２行２列の回転行列Ｒ1，Ｒ2を算出する。
【００６５】
【数５】
【００６６】
回転行列Ｒ1，Ｒ2は最小二乗近似によって算出できる。これより顔の形状の３次元位置にＲ1ｓ1、眼鏡の３次元モデルの３次元位置にＲ2ｓ2で表される位置情報を持つ眼鏡付きの顔の３次元モデルが生成される。
【００６７】
また、本実施形態の顔の３次元モデル生成装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の３次元モデル生成方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６８】
【図１】本発明に係る実施形態の顔の３次元モデル生成装置の構成を示すブロック図である。
【図２】本発明に係る実施形態の顔の３次元モデル生成方法のフローチャートである。
【図３】図１中の画像入力部１１の入力画像列撮影状況を説明する概念図である。
【図４】図１中の眼鏡除去部１２における処理の実行方法を示すフローチャートである。
【図５】図１中の裸眼の顔モデル作成部１３における処理の実行方法を示すフローチャートである。
【図６】図１中の眼鏡モデル生成部１４における処理の実行方法を示すフローチャートである。
【図７】図１中の眼鏡モデル生成部１４で使用される眼鏡のアピアランスモデルを説明する概念図である。
【符号の説明】
【００６９】
１１…画像入力部、１２…眼鏡除去部、１３…裸眼の顔モデル生成部、１４…眼鏡モデル生成部、１５…相対位置計算部、１６…モデル統合部、１７…出力部、１８…画像選択部、１９…学習パターン記憶部、２０…識別部、２１…フレーム除去処理部、２２…顔データ記憶部、２３…顔の特徴点追跡部、２４…顔形状情報生成部、２５…顔形状モデル生成部、２６…眼鏡データ記憶部、２７…眼鏡フレームの特徴点追跡部、２８…フレーム形状生成部、２９…後処理部。
【技術分野】
【０００１】
本発明は、２次元画像から顔の３次元モデルを生成する技術に係り、顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラムに関するものである。
【背景技術】
【０００２】
古くから、コンピュータビジョンの分野では顔の３次元モデルの生成に関する技術は研究されており、近年では、容易にかつ個人性を強く反映した顔の３次元モデルを生成する技術が開発されつつあり、顔の３次元モデルはアバターや顔認識などの用途のために頻繁に使用されている。しかし一般に、顔の３次元モデルの生成技術では、眼鏡のような顔の一部を覆い隠す遮蔽物を含む顔は対象とされていない。
【０００３】
顔の３次元モデルを生成する方法としては、レンジファインダのような３次元形状計測機器を使用して、取り込んだ３次元形状情報から顔の３次元モデルを生成する方法がある（例えば、非特許文献１参照）。基本的に、３次元形状計測機器使用して顔の３次元モデルを生成する際は裸眼であることを前提としており、眼鏡をかけた人の顔の３次元モデルを生成したい場合は、はじめに裸眼の顔の３次元形状を測定し、次に、眼鏡をかけて再び３次元形状の測定を行い、その差分から眼鏡の３次元モデルを作成し、裸眼の顔の３次元モデルと合成する方法が一般的である。しかし、非特許文献１に記載の技術では、高価で特殊な機器が必要とされる。
【０００４】
一方、特別な３次元形状計測機器を用いずに、容易に顔の３次元モデルを生成する方法として、あらかじめ汎用の顔の３次元モデルを用いる方法が提案されている（例えば、非特許文献２参照）。非特許文献２に記載の技術では、手動で特徴点を付与した画像１枚を入力とし、あらかじめデータベースに保持しておいたＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる特徴点データとテクスチャ情報を持つ汎用の３次元モデルを用いてフィッテングを行う。即ち、手動で与えた入力画像の特徴点と、Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌの特徴点、およびそれぞれのテクスチャの残差が小さくなるように最小化を行い、Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌの３次元形状および、テクスチャを変形させることで顔の３次元モデルを生成する。
【非特許文献１】石山塁，坂本静生，北野昌秀，童衛青，田島譲二：“顔用レンジファインダ”，信学技報，ＰＲＭＵ９９−２４，１９９９，ｐｐ．３５−４２
【非特許文献２】Ｖ．Ｂｌａｎｚ，Ｔ．Ｖｅｔｔｅｒ：“Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｔｔｉｎｇ ａ ３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ”，ＰＡＭＩ ｖｏｌ．２５ Ｎｏ．９，２００３
【非特許文献３】山田貢己、中島朗子、福井和弘：“因子分解法と部分空間法による顔向き推定”，ＰＲＭＵ２００１−１９４，ｖｏｌ．１０１，ｐｐ．１−８（２００１）
【非特許文献４】Ｎｅｌｌｏ Ｃｒｉｓｔｉａｎｉｎｉ，Ｊｏｈｎ Ｓｈａｗｅ−Ｔａｙｌｏｒ，“Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ：Ａｎｄ Ｏｈｔｅｒ Ｋｅｒｎｅｌ−Ｂａｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓ”，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ Ｐｒｅｓｓ，２０００
【非特許文献５】齋藤康之、剣持雪子、小谷一孔：“パラメトリックな眼鏡フレームモデルを用いた顔画像内の眼鏡フレーム領域の抽出と除去”，信学論誌，Ｄ−ＩＩ，Ｊ８２−Ｄ−ＩＩ，５，ｐｐ．８８０−８９０，１９９９
【非特許文献６】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ，ａｎｄ Ｃ．Ｊ．Ｔａｙｌｏｒ．Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ．ＩＥＥＥ ＴＰＡＭＩ，２３（６）：６８１−６８５，２００１
【非特許文献７】Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ：“Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ：ａｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ”Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，９（２），ｐｐ．１３７−１５４（１９９２）
【非特許文献８】Ａｈｓａｎ Ｕｌｌａｈ，Ｋｏｉｃｈｉ Ｈａｒａｄａ：“Ａ ｓｔｕｄｙ ｏｎ Ｓｕｒｆａｃｅ Ｓｕｂｄｉｖｉｓｉｏｎ”，Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．Ａｄｖ．Ｃｏｍｍ．Ｔｅｃｈ．２００６ ｐｐ．１４０９−１４１２（２００６）
【特許文献１】特開２００７−４５７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１、２に開示された技術では眼鏡をかけている人物の顔の３次元モデルの生成方法および、３次元モデル生成の簡易性は考慮されていない。即ち、非特許文献２では生成する３次元モデルは裸眼の人物のものであることが前提とされており、入力画像は裸眼の顔画像でなくてはならない。
【０００６】
また、非特許文献１のように３次元計測機器を使用する場合においては、眼鏡をかけた人物の裸眼時と眼鏡使用時の２回の計測が必要となり、二度手間になるという問題点がある。
【０００７】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、眼鏡をかけている人物の顔の３次元モデルの生成時においても、裸眼の人物の顔の３次元モデル生成と同様に、一回の画像撮影と１つの画像列入力から、顔の３次元モデルの生成を可能にするための、裸眼の顔の３次元モデル生成方法および、眼鏡の３次元モデル生成方法、および異なる座標系の複数の３次元モデルの統合方法を備えた、顔の３次元モデル生成装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の顔の３次元モデル生成装置は、画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成装置であって、複数枚のデジタル画像データを入力する画像入力手段と、前記画像入力手段により入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去手段と、前記画像入力手段により入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成手段と、前記画像入力手段により入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成手段と、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算手段と、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算手段により計算された相対３次元位置情報をもとに統合するモデル統合手段と、前記統合結果をデジタルデータとして出力する出力手段とを備えることを特徴としている。
【０００９】
また請求項２に記載の顔の３次元モデル生成装置は、請求項１において、前記眼鏡除去手段は、前記入力画像列から任意の画像を選択する画像選択手段と、事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段と、前記学習パターン記憶手段から学習パターンを読み込み、前記画像選択手段により選択された画像内の眼鏡の有無を識別する識別手段と、前記画像選択手段により選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理手段とを有することを特徴としている。
【００１０】
また請求項３に記載の顔の３次元モデル生成装置は、請求項１又は２において、前記裸眼の顔モデル生成手段は、事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段と、前記顔データ記憶手段から顔データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う顔の特徴点追跡手段と、前記顔の特徴点追跡手段による特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成手段と、前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去手段によりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成手段とを有することを特徴としている。
【００１１】
また請求項４に記載の３次元モデル生成装置は、請求項１ないし３のいずれか１項において、前記眼鏡モデル生成手段は、事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段と、前記眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡手段と、前記眼鏡フレームの特徴点追跡手段による特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成手段と、前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理手段とを有することを特徴としている。
【００１２】
また、請求項５に記載の顔の３次元モデル生成方法は、画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成方法であって、画像入力手段が、複数枚のデジタル画像データを入力する画像入力ステップと、眼鏡除去手段が、前記画像入力ステップにより入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去ステップと、裸眼の顔モデル生成手段が、前記画像入力ステップにより入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成ステップと、眼鏡モデル生成手段が、前記画像入力ステップにより入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成ステップと、相対位置計算手段が、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算ステップと、モデル統合手段が、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算ステップにより計算された相対３次元位置情報をもとに統合するモデル統合ステップと、出力手段が、前記統合結果をデジタルデータとして出力する出力ステップとを備えることを特徴としている。
【００１３】
また請求項６に記載の顔の３次元モデル生成方法は、請求項５において、前記眼鏡除去ステップは、画像選択手段が、前記入力画像列から任意の画像を選択する画像選択ステップと、識別手段が、事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段から学習パターンを読み込み、前記画像選択ステップにより選択された画像内の眼鏡の有無を識別する識別ステップと、フレーム除去処理手段が、前記画像選択ステップにより選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理ステップとを有することを特徴としている。
【００１４】
また請求項７に記載の顔の３次元モデル生成方法は、請求項５又は６において、前記裸眼の顔モデル生成ステップは、顔の特徴点追跡手段が、事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段から顔データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う顔の特徴点追跡ステップと、顔形状情報生成手段が、前記顔の特徴点追跡ステップによる特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成ステップと、顔形状モデル生成手段が、前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去ステップによりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成ステップとを有することを特徴としている。
【００１５】
また請求項８に記載の顔の３次元モデル生成方法は、請求項５ないし７のいずれか１項において、前記眼鏡モデル生成ステップは、眼鏡フレームの特徴点追跡手段が、事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡ステップと、フレーム形状生成手段が、前記眼鏡フレームの特徴点追跡ステップによる特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成ステップと、後処理手段が、前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理ステップとを有することを特徴としている。
【００１６】
また、請求項９に記載の顔の３次元モデル生成プログラムは、コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる顔の３次元モデル生成プログラムである。
【００１７】
上記手段を実現することによって、ビデオカメラなどの画像入力装置により撮影された入力画像中の人物の眼鏡の有無に関わらず、裸眼または眼鏡付きの顔の３次元モデルを生成することが可能となる。
【発明の効果】
【００１８】
本発明によれば、眼鏡の有無を判断し、眼鏡がある場合には眼鏡除去の画像処理を行うため、入力に眼鏡をかけた人物の顔の画像列を用いても、裸眼の人物の顔画像を用いても３次元顔モデルが作成できるようになる。また眼鏡モデルの作成を可能にし、２つのモデルの位置関係を調節することにより、眼鏡をかけた人物の顔の３次元モデルは、眼鏡付きの顔の３次元モデルとすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明に係る実施形態の顔の３次元モデル生成装置の構成を示すブロック図であり、図２は本発明に係る実施形態の顔の３次元モデル生成方法のフローチャートである。
【００２０】
図１において、本実施形態例の顔の３次元モデル生成装置は、画像入力手段としての画像入力部１１、眼鏡除去手段としての眼鏡除去部１２、裸眼の顔モデル生成手段としての裸眼の顔モデル生成部１３、眼鏡モデル生成手段としての眼鏡モデル生成部１４、相対位置計算手段としての相対位置計算部１５、モデル統合手段としてのモデル統合部１６および出力手段としての出力部１７を備えている。
【００２１】
前記眼鏡除去部１２は、画像選択手段としての画像選択部１８、学習パターン記憶手段としての学習パターン記憶部１９、識別手段としての識別部２０およびフレーム除去処理手段としてのフレーム除去処理部２１を備えている。
【００２２】
前記裸眼の顔モデル生成部１３は、顔データ記憶手段としての顔データ記憶部２２、顔の特徴点追跡手段としての顔の特徴点追跡部２３、顔形状情報生成手段としての顔形状情報生成部２４および顔形状モデル生成手段としての顔形状モデル生成部２５を備えている。
【００２３】
前記眼鏡モデル生成部１４は、眼鏡データ記憶手段としての眼鏡データ記憶部２６、眼鏡フレームの特徴点追跡手段としての眼鏡フレームの特徴点追跡部２７、フレーム形状生成手段としてのフレーム形状生成部２８および後処理手段としての後処理部２９を備えている。
【００２４】
前記図１の各部１１〜２９の、後述する各機能は、例えばコンピュータによって達成される。
【００２５】
尚、以下で説明する図２、図４〜図６のフローチャートにおいて、「Ｓ」で示す各処理は、本発明の請求項５〜８の各ステップを示している。
【００２６】
画像入力部１１は、ビデオカメラ等で撮像されたデジタル画像列を入力し、眼鏡除去部１２と裸眼の顔モデル生成部１３と眼鏡モデル生成部１４の３つに伝送する。
【００２７】
眼鏡除去部１２では、画像入力部１１より入力された画像列から眼鏡の有無を判断し、眼鏡があると判断された場合、画像中から眼鏡フレーム部分を除去した画像を生成し、生成した画像を裸眼の顔モデル作成部１３へ送り、眼鏡の有無の識別結果を眼鏡モデル生成部１４へ送る（図２の眼鏡除去処理Ｓ１）。
【００２８】
裸眼の顔モデル作成部１３は、顔の３次元形状情報から顔の３次元形状モデルを生成し、眼鏡除去部１２にて生成された眼鏡フレームを除去した画像のテクスチャを用いて裸眼の顔の３次元モデルを作成し、モデル統合部１６へ送るとともに、顔の特徴点を追跡し相対位置計算部１５へ送る（図２の裸眼の顔モデル生成処理Ｓ３）。
【００２９】
眼鏡モデル生成部１４では、眼鏡フレームの３次元形状モデルを作成し、眼鏡のレンズ形状やテクスチャを貼り付けた眼鏡の３次元モデルを生成して、モデル統合部１６へ送るとともに、眼鏡フレームの特徴点を追跡し相対位置計算部１５へ送る（図２の眼鏡モデル生成処理Ｓ２）。
【００３０】
一方、相対位置計算部１５では画像内における顔の特徴点と眼鏡の特徴点の相対位置を計算し、モデル統合部１６へ伝送する（図２の相対位置計算処理Ｓ４）。
【００３１】
モデル統合部１６では、裸眼の顔モデル作成部１３で生成された裸眼の顔の３次元モデルの座標系と眼鏡モデル生成部１４で生成された眼鏡の３次元モデルの座標系を相対位置計算部１５から入力される位置関係情報をもとに統合し、出力部１７へ送る（図２のモデル統合処理Ｓ５）。出力部１７はモデル統合部１６で生成された顔と眼鏡の３次元モデルを出力する。
【００３２】
画像入力部１１に入力される動画列の例としては、例えば図３（ａ），（ｂ）のように固定されたカメラ１台の正面に被写体となる人物が立ち、カメラに対し顔を右から左、または左から右へ回させる一連の動作を撮影した映像を用いる。また入力画像列の例として、任意の台数のカメラで被写体となる人物を囲むように配置して撮影した複数枚の顔画像などを用いてもよい。
【００３３】
眼鏡除去部１２は、画像入力部１１より入力された画像列中から正面顔が写っている画像を選択する画像選択部１８と、あらかじめ学習により作成したデータを保持しておく学習パターン記憶部１９と、画像内の眼鏡の有無を識別する識別部２０と、画像選択部１８にて選択された画像内の眼鏡フレーム部分のみを画像処理により除去するフレーム除去処理部２１から構成される。具体的な眼鏡除去部１２の処理手順を図４のフローチャートに示す。
【００３４】
まず、画像選択部１８が行う正面顔画像取得処理Ｓ１０１における正面顔画像を選ぶ手段としては、画像中の顔の向きを推定する技術を使用する（例えば、非特許文献３参照）。入力画像列全ての顔向きを推定し、顔向きが最も正面に近い画像を１枚選択し、これを正面顔画像とする。
【００３５】
次に、識別部２０が行う識別処理Ｓ１０２では、前記選択した正面顔画像を用いて眼鏡の有無を識別する。識別方法としては、ＳＶＭを使用する（ＳＶＭの詳細については、例えば非特許文献４参照）。あらかじめ訓練セットとして眼鏡の画像と眼鏡ではない画像の２種類を用意しておき、これを用いた学習を行い生成した識別パラメータを学習パターン記憶部１９に蓄積しておく。識別の際には、学習パターン記憶部１９より呼び出した識別パラメータを使用して、眼鏡の有無を判断する（処理Ｓ１０３）。
【００３６】
ここで、正面顔画像中に眼鏡があると判断された場合のみ、フレーム除去処理部２１が眼鏡フレーム除去処理Ｓ１０４を行う。眼鏡フレーム除去処理Ｓ１０４の手段としては、例えばパラメトリック眼鏡フレームモデルを用いた眼鏡除去方法を用いる（非特許文献５参照）。正面顔画像内における眼鏡フレーム部分だけを除去した画像を生成し、出力する。
【００３７】
本実施例の説明では正面顔画像の選択の例に顔向き推定技術を用いて説明したが、手動で画像列中から探し出してもよい。また、前記識別手法においてはＳＶＭ以外にも例えば最近傍法、フィッシャーの線形識別法、ニューラルネットワークや部分空間法等を用いても良い。
【００３８】
裸眼の顔モデル作成部１３は、画像入力部１１より入力された画像に顔の形状を表すための特徴点を発生させ、画像列中の他の全ての画像上での対応付けを行う（以下、特徴点追跡と呼ぶ）顔の特徴点追跡部２３と、画像中の顔の特徴点を発生させるためのデータを保持しておく顔データ記憶部２２と、特徴点の３次元位置情報を算出する顔形状情報生成部２４と、顔の３次元形状モデルを生成する顔形状モデル生成部２５から構成される。具体的な裸眼の顔モデル作成部１３における処理の実行方法を図５のフローチャートに示す。
【００３９】
まず、顔の特徴点追跡部２３が、画像入力部１１より入力された画像列を用いて顔の特徴点追跡処理Ｓ２０１を行う。特徴点追跡にはＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）を使用する。ＡＡＭはアピアランスモデルと呼ばれる統計的なモデルの作成と、モデル探索によるパラメータ調節の２つの工程から構成される生成モデルと未知画像のマッチング手法である。
【００４０】
アピアランスモデルの作成工程では、物体の形状を表す特徴点の座標値と見えを表す輝度値の相関をパラメータとして持つ統計的モデルを作成し、モデル探索によるパラメータ調節工程では、生成したアピアランスモデルと入力した未知画像とのイメージ残差を最小化するように生成したアピアランスモデルのパラメータを変化させる最適化問題に帰着し、その最適化問題を解くことで入力未知画像と生成したモデルのマッチングを行うものである。
【００４１】
以下で、アピアランスモデル作成について簡単に概説する。アピアランスモデルは特徴点を配置した学習画像データセットを使用して作成する。
【００４２】
【数１】
【００４３】
ここでＱｓ，Ｑｇは固有ベクトルであり、ｃは形状とテクスチャの両方をコントロールするアピアランスパラメータである。アピアランスパラメータｃを用いることで、形状だけでなくテクスチャも表現することができる。また逆に、ｃが求まれば、形状およびテクスチャを算出することが可能となる。
【００４４】
また、ＡＡＭの第２工程であるモデル探索によるパラメータ調節により未知画像と作成したアピアランスモデルのマッチングを行う。画像内から作成したアピアランスモデルと同じ形状、同じテクスチャを探索する際には、モデルの形状とテクスチャをあらわすアピアランスパラメータｃに加え、画像内におけるモデルの位置、大きさ、回転を考慮した新しいパラメータｐを用いる。
【００４５】
【数２】
【００４６】
【数３】
【００４７】
ただし、（ｕij，ｖij）はｉ番目の画像のｊ番目の特徴点の画像座標値を表している。因子分解法は、（２）式の行列より各特徴点の３次元位置とカメラ運動を同時に算出できる手法である。一般に、因子分解法により算出される３次元位置情報の座標系の各軸の並びは入力する計測行列により変わる。そこで、算出した顔の３次元位置の座標系におけるｚ軸をカメラに向かって撮影された入力画像列のｚ軸（図３参照）と同様になるようにあわせる。具体的な座標系のあわせ方としては、図３の入力画像列の撮影状況の座標系から例えば、ｚ軸方向は上向きなどの制約条件を与えることで回転行列を生成して調整することが可能である。少なくとも、ここでは算出した３次元位置の座標系のｚ軸は上向きになるように調節する。また、各軸の並びは手動で調節してもよい。
【００４８】
さらに３次元形状生成処理Ｓ２０２では、各特徴点の３次元位置から三角パッチなどのメッシュを作成し、顔の３次元形状モデルを作成する。ここで、画像中の特徴点の数Ｎが小さい場合、作成した顔モデルが粗いメッシュで作成される。このような場合には、非特許文献８にあるようにメッシュを細かく分割する細分割曲面を生成して３次元形状モデルに丸みを帯びさせてもよい。この時点で作成された顔の３次元形状モデルは、顔の特徴点の３次元位置情報と各特徴点によるパッチの張り方（メッシュの連結情報）をあらわす情報を持つモデルである。そこで顔形状モデル生成部２５が、眼鏡除去部１２から入力される、眼鏡フレームを除去した画像を用いてテクスチャマッピング処理Ｓ２０３を行う。
【００４９】
以上により、顔の３次元形状情報、特徴点によって張られるパッチ構成の情報、および裸眼の顔画像のテクスチャ情報を持つ裸眼の顔の３次元モデルが生成される。本実施例の説明には、ＡＡＭによる特徴点追跡を行う例を使用したが、ＡＡＭの代わりにＡｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌやあらかじめ保持しておいた３次元モデルを使用したモデル当てはめを用いてもよい。
【００５０】
また因子分解法は時系列画像列中の１枚の画像中に発生させた特徴点が全てのフレームにおいて追跡できていないと３次元復元できないという問題点を持つ。本実施例での入力画像列のように撮影された映像では、例えば、入力画像列の１番目の画像と最後の画像は、人物の右真横からの顔画像と左真横の顔画像になることが考えられる。このような場合、１番目の画像中に発生させた特徴点がフレームアウトし、特徴点追跡に失敗する可能性がある。
【００５１】
そこで、入力画像列を、特徴点追跡が失敗しない範囲でサブ画像列に分割し、分割した複数の画像列を用いて、おのおのに因子分解法を適用し、３次元形状を復元し、それらを接合することでひとつの大きな３次元形状モデルを作成してもよい。
【００５２】
具体的には、今入力画像列は、図３のように人物がカメラに向かい、右から左へ顔を回して撮影したものとする。この入力画像列を１番目の画像から正面顔画像までを１つのサブ画像列Ａ、その正面顔画像から最後の画像までをもう１つのサブ画像列Ｂとして２つに分割する。特徴点の発生方法としては、あらかじめＡＡＭを用いて顔の右半面のアピアランスモデルと顔の左半面のアピアランスモデルを作成しておき、顔データ記憶部２２に蓄積しておく。これら２つのアピアランスモデルには一部に重複する特徴点を含むモデルを作成しておくものとする。特徴点追跡の際には、サブ画像列Ａには顔の左半面のアピアランスモデルを用い、サブ画像列Ｂには、顔の右半面のアピアランスモデルを用いる。それぞれの特徴点追跡結果から、先述のとおり、因子分解法を用いて３次元復元を行い、ｚ軸をそろえておく。
【００５３】
次に、重複している特徴点（以下、重複点）の３次元位置の情報から２つの３次元復元結果を統合する。重複点の位置をひとつに統合するための手段としては、たとえば最小二乗近似やクォータニオンがある。また特徴点追跡が失敗する可能性のあるような広域の画像列からの３次元復元手法としては、特許文献１のような手法を用いてもよい。
【００５４】
眼鏡モデル生成部１４は、画像入力部１１より入力された画像に眼鏡フレームの形状を表すための特徴点の特徴点追跡を行う眼鏡フレームの特徴点追跡部２７と、画像中の眼鏡フレームの特徴点を発生させるためのデータを保持しておく眼鏡データ記憶部２６と、特徴点の３次元位置を算出するフレーム形状生成部２８と、テクスチャマッピングと眼鏡フレーム内のレンズの位置の算出を行う後処理部２９から構成される。具体的な眼鏡モデル生成部１４における処理の実行方法を図６のフローチャートに示す。
【００５５】
まず、前記識別部２０の結果を用いて眼鏡の存在を判定する（処理Ｓ３０１）。ここで眼鏡が存在しないと判断された場合は、処理を終了し、眼鏡が存在すると判断された場合は、眼鏡フレームの特徴点追跡部２７が、画像入力部１１より入力された画像列を用いて眼鏡フレームの特徴点追跡処理Ｓ３０２を行う。
【００５６】
特徴点追跡手法は、前記顔の特徴点追跡処理Ｓ２０１と同様にＡＡＭを使用する。あらかじめ眼鏡の映っている画像に特徴点を配置した学習画像を多数用いて作成したアピアランスモデルを、眼鏡データ記憶部２６に蓄積しておく。例えば、図７のように眼鏡フレーム外周特徴点ｘ。とレンズ側特徴点ｘlを持つ眼鏡のアピアランスモデルを用いる。このときの形状ベクトルｘはｘoとｘlを並べたベクトルである。
【００５７】
次に、画像入力部１１より入力された画像列の最初の１枚に、事前に作成しておいた眼鏡のアピアランスモデルを眼鏡データ記憶部２６から読み出してマッチングを行う。そして、マッチングにより得られたアピアランスパラメータから形状ベクトルｘを算出し、特徴点の画像内位置を得る。これを入力画像列全てにおいて行い、得られた形状ベクトルを時系列に並べることで特徴点追跡の結果とする。
【００５８】
次に、フレーム形状生成部２８が行う３次元形状生成処理Ｓ３０３において、前記得られた特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出する。この３次元形状情報の算出方法も前記顔の３次元復元と同様に、因子分解法を用いる。また特徴点追跡の手段として、前記裸眼の顔モデル作成部１３にて記載したように、ひとつの入力画像列を複数に分割してから３次元形状を復元し、その後、複数の３次元復元結果を統合してもよい。続いて、得られた特徴点の３次元形状情報から眼鏡フレームの３次元形状モデルを作成し、必要に応じて細分割曲面を生成する。
【００５９】
次に、後処理部２９が行うテクスチャマッピング処理Ｓ３０４において、前記作成した眼鏡フレームの３次元形状モデルに眼鏡フレームのテクスチャを貼り付ける。この際の、テクスチャマッピングには入力画像列の任意の画像を用いることができるが、精度の良い顔のモデルを生成したい場合には正面顔画像を用いる。入力画像列から正面顔画像の選択方法は先述のとおり、非特許文献３のような顔向き推定技術を用いても、手動で正面顔画像を選択してもよい。テクスチャマッピングにより、眼鏡フレームの３次元形状情報と、特徴点によって張られるパッチ構成の情報、およびテクスチャの情報を持った眼鏡フレームの３次元モデルが生成される。
【００６０】
次に、後処理部２９が行うレンズのはめ込み処理Ｓ３０５により、生成した眼鏡フレームの３次元モデルに眼鏡のレンズ部分の形状情報を与える。今、生成した眼鏡フレームの３次元モデルの３次元位置情報は次の（３）式で示される形のベクトルで与えられているものとする。
【００６１】
【数４】
【００６２】
ただし（３）式において、添え字のｏとｌは眼鏡フレームの特徴点追跡処理Ｓ３０２に使用した眼鏡のアピアランスモデルの２種類の特徴点、すなわち図７の眼鏡フレーム外周特徴点ｘoとレンズ側特徴点ｘlに対応しており、ｓoは眼鏡フレーム外周特徴点の３次元位置であり、ｓlはレンズ側特徴点の３次元位置である。また、眼鏡フレーム外周特徴点の数をｉ個、レンズ側特徴点の数をｊ個とする。例えば、ｊ個のレンズ側特徴点のうち、図７のように１番目からｊ／２番目の特徴点が１つのレンズを囲むように右回りに配置し、ｊ／２＋１番目からｊ番目の特徴点がもうひとつのレンズを囲むように配置しておく。このときのレンズの形状はレンズ側特徴点の１番目からｊ／２番目の特徴点の３次元位置から生成した三角パッチなどのメッシュで表現したものを眼鏡のレンズ形状とする。もう片方のレンズも同様に、ｊ／２＋１番目の特徴点からｊ番目の特徴点で生成されるメッシュで表現される３次元モデルを作成する。レンズ部分には透過性のテクスチャを貼る。
【００６３】
相対位置計算部１５では裸眼の顔モデル作成部１３の顔の特徴点追跡処理部２３の特徴点追跡結果と、眼鏡モデル生成部１４の眼鏡フレームの特徴点追跡部２７の特徴点追跡結果が入力され、これらから画像内の顔の特徴点と眼鏡の特徴点の相対位置を計算する。例えば、入力画像列の任意の画像における顔の特徴点位置をｘf、同じ画像における眼鏡の特徴点位置をｘgとし、相対位置を表すベクトル[ｘf｜ｘg]を作成し、モデル統合部１６へ出力する。
【００６４】
モデル統合部１６では、入力された裸眼の顔の３次元モデルと眼鏡の３次元モデルの座標系の統一を行う。具体的には、入力される裸眼の顔の３次元モデルの特徴点の３次元位置情報をｓ1＝（ｘ1，ｙ1，ｚ1）、眼鏡の３次元モデルの特徴点の３次元位置情報をｓ2＝（ｘ2，ｙ2，ｚ2）として、次の（４）式、（５）式で表される２行２列の回転行列Ｒ1，Ｒ2を算出する。
【００６５】
【数５】
【００６６】
回転行列Ｒ1，Ｒ2は最小二乗近似によって算出できる。これより顔の形状の３次元位置にＲ1ｓ1、眼鏡の３次元モデルの３次元位置にＲ2ｓ2で表される位置情報を持つ眼鏡付きの顔の３次元モデルが生成される。
【００６７】
また、本実施形態の顔の３次元モデル生成装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の３次元モデル生成方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００６８】
【図１】本発明に係る実施形態の顔の３次元モデル生成装置の構成を示すブロック図である。
【図２】本発明に係る実施形態の顔の３次元モデル生成方法のフローチャートである。
【図３】図１中の画像入力部１１の入力画像列撮影状況を説明する概念図である。
【図４】図１中の眼鏡除去部１２における処理の実行方法を示すフローチャートである。
【図５】図１中の裸眼の顔モデル作成部１３における処理の実行方法を示すフローチャートである。
【図６】図１中の眼鏡モデル生成部１４における処理の実行方法を示すフローチャートである。
【図７】図１中の眼鏡モデル生成部１４で使用される眼鏡のアピアランスモデルを説明する概念図である。
【符号の説明】
【００６９】
１１…画像入力部、１２…眼鏡除去部、１３…裸眼の顔モデル生成部、１４…眼鏡モデル生成部、１５…相対位置計算部、１６…モデル統合部、１７…出力部、１８…画像選択部、１９…学習パターン記憶部、２０…識別部、２１…フレーム除去処理部、２２…顔データ記憶部、２３…顔の特徴点追跡部、２４…顔形状情報生成部、２５…顔形状モデル生成部、２６…眼鏡データ記憶部、２７…眼鏡フレームの特徴点追跡部、２８…フレーム形状生成部、２９…後処理部。
【特許請求の範囲】
【請求項１】
画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成装置であって、
複数枚のデジタル画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去手段と、
前記画像入力手段により入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成手段と、
前記画像入力手段により入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成手段と、
前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算手段と、
前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算手段により計算された相対３次元位置情報をもとに統合するモデル統合手段と、
前記統合結果をデジタルデータとして出力する出力手段とを備えることを特徴とする顔の３次元モデル生成装置。
【請求項２】
請求項１に記載の顔の３次元モデル生成装置において、
前記眼鏡除去手段は、
前記入力画像列から任意の画像を選択する画像選択手段と、
事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段と、
前記学習パターン記憶手段から学習パターンを読み込み、前記画像選択手段により選択された画像内の眼鏡の有無を識別する識別手段と、
前記画像選択手段により選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理手段とを有することを特徴とする顔の３次元モデル生成装置。
【請求項３】
請求項１又は２に記載の顔の３次元モデル生成装置において、
前記裸眼の顔モデル生成手段は、
事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段と、
前記顔データ記憶手段から顔データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う顔の特徴点追跡手段と、
前記顔の特徴点追跡手段による特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成手段と、
前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去手段によりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成手段とを有することを特徴とする顔の３次元モデル生成装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の顔の３次元モデル生成装置において、
前記眼鏡モデル生成手段は、
事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段と、
前記眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡手段と、
前記眼鏡フレームの特徴点追跡手段による特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成手段と、
前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理手段とを有することを特徴とする顔の３次元モデル生成装置。
【請求項５】
画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成方法であって、
画像入力手段が、複数枚のデジタル画像データを入力する画像入力ステップと、
眼鏡除去手段が、前記画像入力ステップにより入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去ステップと、
裸眼の顔モデル生成手段が、前記画像入力ステップにより入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成ステップと、
眼鏡モデル生成手段が、前記画像入力ステップにより入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成ステップと、
相対位置計算手段が、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算ステップと、
モデル統合手段が、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算ステップにより計算された相対３次元位置情報をもとに統合するモデル統合ステップと、
出力手段が、前記統合結果をデジタルデータとして出力する出力ステップとを備えることを特徴とする顔の３次元モデル生成方法。
【請求項６】
請求項５に記載の顔の３次元モデル生成方法において、
前記眼鏡除去ステップは、
画像選択手段が、前記入力画像列から任意の画像を選択する画像選択ステップと、
識別手段が、事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段から学習パターンを読み込み、前記画像選択ステップにより選択された画像内の眼鏡の有無を識別する識別ステップと、
フレーム除去処理手段が、前記画像選択ステップにより選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理ステップとを有することを特徴とする顔の３次元モデル生成方法。
【請求項７】
請求項５又は６に記載の顔の３次元モデル生成方法において、
前記裸眼の顔モデル生成ステップは、
顔の特徴点追跡手段が、事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段から顔データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う顔の特徴点追跡ステップと、
顔形状情報生成手段が、前記顔の特徴点追跡ステップによる特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成ステップと、
顔形状モデル生成手段が、前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去ステップによりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成ステップとを有することを特徴とする顔の３次元モデル生成方法。
【請求項８】
請求項５ないし７のいずれか１項に記載の顔の３次元モデル生成方法において、
前記眼鏡モデル生成ステップは、
眼鏡フレームの特徴点追跡手段が、事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡ステップと、
フレーム形状生成手段が、前記眼鏡フレームの特徴点追跡ステップによる特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成ステップと、
後処理手段が、前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理ステップとを有することを特徴とする顔の３次元モデル生成方法。
【請求項９】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる顔の３次元モデル生成プログラム。
【請求項１】
画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成装置であって、
複数枚のデジタル画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去手段と、
前記画像入力手段により入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成手段と、
前記画像入力手段により入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成手段と、
前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算手段と、
前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算手段により計算された相対３次元位置情報をもとに統合するモデル統合手段と、
前記統合結果をデジタルデータとして出力する出力手段とを備えることを特徴とする顔の３次元モデル生成装置。
【請求項２】
請求項１に記載の顔の３次元モデル生成装置において、
前記眼鏡除去手段は、
前記入力画像列から任意の画像を選択する画像選択手段と、
事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段と、
前記学習パターン記憶手段から学習パターンを読み込み、前記画像選択手段により選択された画像内の眼鏡の有無を識別する識別手段と、
前記画像選択手段により選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理手段とを有することを特徴とする顔の３次元モデル生成装置。
【請求項３】
請求項１又は２に記載の顔の３次元モデル生成装置において、
前記裸眼の顔モデル生成手段は、
事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段と、
前記顔データ記憶手段から顔データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う顔の特徴点追跡手段と、
前記顔の特徴点追跡手段による特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成手段と、
前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去手段によりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成手段とを有することを特徴とする顔の３次元モデル生成装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の顔の３次元モデル生成装置において、
前記眼鏡モデル生成手段は、
事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段と、
前記眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力手段により入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡手段と、
前記眼鏡フレームの特徴点追跡手段による特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成手段と、
前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理手段とを有することを特徴とする顔の３次元モデル生成装置。
【請求項５】
画像データに含まれる眼鏡の有無を識別し、眼鏡をかけている顔画像の場合、顔と眼鏡の両方の３次元モデルを生成し、眼鏡をかけていない顔画像の場合、顔だけの３次元モデルを生成する顔の３次元モデル生成方法であって、
画像入力手段が、複数枚のデジタル画像データを入力する画像入力ステップと、
眼鏡除去手段が、前記画像入力ステップにより入力された画像内の眼鏡フレーム部分の画素値を任意の画素値に変換して除去する眼鏡除去ステップと、
裸眼の顔モデル生成手段が、前記画像入力ステップにより入力された入力画像列から裸眼の顔の３次元モデルを生成する裸眼の顔モデル生成ステップと、
眼鏡モデル生成手段が、前記画像入力ステップにより入力された入力画像列から眼鏡の３次元モデルを生成する眼鏡モデル生成ステップと、
相対位置計算手段が、前記裸眼の顔の３次元モデルと前記眼鏡の３次元モデルの相対３次元位置を計算する相対位置計算ステップと、
モデル統合手段が、前記裸眼の顔の３次元モデルの座標系と前記眼鏡の３次元モデルの座標系を、前記相対位置計算ステップにより計算された相対３次元位置情報をもとに統合するモデル統合ステップと、
出力手段が、前記統合結果をデジタルデータとして出力する出力ステップとを備えることを特徴とする顔の３次元モデル生成方法。
【請求項６】
請求項５に記載の顔の３次元モデル生成方法において、
前記眼鏡除去ステップは、
画像選択手段が、前記入力画像列から任意の画像を選択する画像選択ステップと、
識別手段が、事前に学習しておいた学習パターンを蓄積しておく学習パターン記憶手段から学習パターンを読み込み、前記画像選択ステップにより選択された画像内の眼鏡の有無を識別する識別ステップと、
フレーム除去処理手段が、前記画像選択ステップにより選択された画像中の眼鏡フレーム部分の画素値を任意の画素値に変換して除去するフレーム除去処理ステップとを有することを特徴とする顔の３次元モデル生成方法。
【請求項７】
請求項５又は６に記載の顔の３次元モデル生成方法において、
前記裸眼の顔モデル生成ステップは、
顔の特徴点追跡手段が、事前に作成した一つないしは複数の顔データを蓄積しておく顔データ記憶手段から顔データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う顔の特徴点追跡ステップと、
顔形状情報生成手段が、前記顔の特徴点追跡ステップによる特徴点の追跡結果から顔の３次元形状情報を算出する顔形状情報生成ステップと、
顔形状モデル生成手段が、前記算出された顔の３次元形状情報に基づく３次元形状モデルに、前記眼鏡除去ステップによりフレームが除去された顔画像のテクスチャを貼り付ける顔形状モデル生成ステップとを有することを特徴とする顔の３次元モデル生成方法。
【請求項８】
請求項５ないし７のいずれか１項に記載の顔の３次元モデル生成方法において、
前記眼鏡モデル生成ステップは、
眼鏡フレームの特徴点追跡手段が、事前に作成した一つないしは複数の眼鏡データを蓄積しておく眼鏡データ記憶手段から眼鏡データを読み込み、前記画像入力ステップにより入力された入力画像列の特徴点追跡を行う眼鏡フレームの特徴点追跡ステップと、
フレーム形状生成手段が、前記眼鏡フレームの特徴点追跡ステップによる特徴点の追跡結果から眼鏡フレームの３次元形状情報を算出するフレーム形状生成ステップと、
後処理手段が、前記算出された眼鏡フレームの３次元形状情報に基づく眼鏡フレームの３次元形状モデルに、眼鏡フレームのテクスチャを貼り付け、眼鏡フレーム内部に眼鏡のレンズ形状を生成する後処理ステップとを有することを特徴とする顔の３次元モデル生成方法。
【請求項９】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる顔の３次元モデル生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−７２９１０（Ｐ２０１０−７２９１０Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３９１６９（Ｐ２００８−２３９１６９）
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]