顔画像合成方法及びシステム
【課題】学習データ集合に基づいて顔画像を合成する顔画像合成方法及びシステムを提供する。
【解決手段】学習データ集合は、複数の画像ブロック対に分割された画像対を含む。画像ブロック対は第一パターンの画像ブロックと第二パターンの画像ブロックとを一つずつ有する。前記の顔画像合成方法では、第一パターンのテスト用顔画像を受信し、受信した第一パターンのテスト用顔画像を複数の画像ブロックに分割し、複数の画像ブロックのそれぞれに対して、学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択し、選択されたマッチングブロックに基づいて、学習データ集合における画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定し、選定された第二パターンの画像ブロックを第二パターンの顔画像として合成する。
【解決手段】学習データ集合は、複数の画像ブロック対に分割された画像対を含む。画像ブロック対は第一パターンの画像ブロックと第二パターンの画像ブロックとを一つずつ有する。前記の顔画像合成方法では、第一パターンのテスト用顔画像を受信し、受信した第一パターンのテスト用顔画像を複数の画像ブロックに分割し、複数の画像ブロックのそれぞれに対して、学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択し、選択されたマッチングブロックに基づいて、学習データ集合における画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定し、選定された第二パターンの画像ブロックを第二パターンの顔画像として合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を合成するための顔画像合成方法及びシステムに関するものであり、特に、マルコフネットワークモデルに基いて顔画像を合成するための顔画像合成方法及びシステムに関するものである。
【背景技術】
【０００２】
顔認識技術は、重要なアプリケーションとして、法医学支援することである。例えば、警察庁の写真データベースにおいて、被疑者の写真を検索することは、被疑者を検索する範囲が速めに狭くすることを助ける。しかし、警察官が被疑者の写真を得られないことが多いが、この時は、通常、代わりに、証人の叙述に従って描いた顔スケッチが好ましい。そこで、当該顔スケッチに従って写真データベースから写真を自動検索できることが非常に重要である。しかしながら、顔スケッチと写真との差異が大きい上に、証人がスケッチを描く心理的なプロセスが複雑なため、通常に顔写真を認識することよりも、顔スケッチを認識することはさらに困難である。スケッチと写真とは、データ型が異なるため、マッチし難い。
【０００３】
上記の問題を解決するため、データベースに記憶された顔写真を顔スケッチに変換し、検索しようとする顔スケッチと前記変換されて得る顔スケッチとをマッチすること、或いは、検索しようとする顔スケッチを顔写真に変換し、当該顔写真を事前にデータベースに記憶された写真とマッチすることは一つの方法である。
【０００４】
スケッチを描く心理的なプロセスには既定のルールや文法はない。スケッチと写真との差異は、主にテクスチャと形状との二面にある。図３は顔写真と顔スケッチとを比較する例を示す。鉛筆で紙の上に描いたスケッチと写真における人のテクスチャが異なる。３次元投影の情報を示すため、通常、スケッチにシャドーテクスチャをつける。スケッチの形状において、漫画を描くように、顔の特別な特徴を誇張することより変化を起こすことになる。例えば、ある顔に大きい鼻がある。スケッチにすると、その鼻がより大きくなる。
【０００５】
近年では、すでに、コンピュータでスケッチを生成するシステムが幾つか実現された。それらのシステムは、大体、３次元投影情報のテクスチャを表示できない線画のみを出力するシステムである。例えば、H. Koshimizu、M. Tominaga、T. FujiwaraとK. Murakamiが“On Kansei Facial Processing for Computerized Facial Caricaturing System PICASSO” IEEE International Conference on Systems, Man, and Cybernetics, Vol. 6, 1999（“顔スケッチ計算システムであるPICASSOに用いられる顔の感性処理”，システム製造及び制御に関するIEEE国際会議，1999年，第6巻）で、または、S. Iwashita、Y. TakedaとT. Onisawaが “Expressive Facial Caricature Drawing,” IEEE International Conference on Fuzzy Systems, Vol. 3, 1999（“表情を付ける顔スケッチのドロー”，ファジィシステムに関するIEEE国際会議，1999年，第6巻）で、全て、コンピュータを用いて、スケッチとして生成するシステムを提出した。これらのシステムでは、先ず、写真から顔の形状を抽出し、次に、あるルールに従い、顔の形状を誇張する。よって、生成した結果は、形状から見ると、スケッチに似る。しかし、上記のシステムは機械学習における方法ではない。
【０００６】
W. T. Freeman、 J. B. Tenenbaumと E. Pasztorが “An Example-Based Approach to Style Translation for Line Drawings.” Technical Report 11, MERL Technical Report, Cambridge, MA, Feb. 1999（“用例ベースの線画のスタイル変換方法”, 技術レポート11, マール技術研究報告, ケンブリッジ, マサチューセッツ州, 1999年2月）で、学習用例に基づき、線画をいろいろなスタイルとして変換できるシステムを提出した。
【０００７】
H. Chen, Y. Xu, H. Shum, S. Zhuと N. Zhengが、“Example-Based Facial Sketch Generation with No-parametric Sampling,” in Proceedings of ICCV, 2001 （“パラメータなしの用例ベースの顔スケッチ生成”， ICCVの会議録，2001年）で、学習用例に基づく顔アニメ画像生成システムを提出した。しかし、当該システムも、線画のみを生成するに限られると共に、写真と線画とが、形状上で完全一致することを要求する。これらのシステムでは、例えば、アクティブ外観モデル（AAM）等の方法を利用し、顔の形状を抽出することが必要となる。これらの線画は、シャドーテクスチャをつける顔スケッチに比較し、表現力が不足である。
【０００８】
本発明の発明人は、X. Tang, and X. Wang, “Face Sketch Recognition,” IEEE Trans. on CSVT, Vol. 14, No. 1, January, pp. 50-57, 2004（湯暁鴎と王暁剛，“顔スケッチの認識”，“IEEE Trans. on CSVT”第1期，第6巻，50-57頁）とX. Tang, and X. Wang, “Face Sketch Synthesis and Recognition,” in Proceedings of ICCV, Nice, France, pp. 687-694, Oct. 13-16, 2003（湯暁鴎と王暁剛，“顔スケッチの合成と認識”， ICCVの会議録, 1999年2月, 687-694頁）とで、主成分変換に基づく顔画像認識システムを提出した。このシステムは、線画のみか、テクスチャをつけるスケッチとしても合成できる。当該システムによって、下記の二つの条件を満たすと、主成分変換による顔スケッチが、実際に描かれたスケッチによく近似することになる。即ち、（１）主成分分析（PCA）に介し、学習データ集合から効果的に再構成可能な顔画像であることと、（２）写真からスケッチへの変換過程が線形に近似できることである。しかし、場合によって、特に髪の領域が含まれると、これらの条件を満足することが困難である。それは、人によって髪型が大きく変わったことで、PCAによって学習データ集合から再構成することができないためである。
【０００９】
Q. Liu、 X. Tang,、H. Jin,、H. Luと S. Maが、“A Nonlinear Approach for Face Sketch Synthesis and Recognition,” in Proceedings of CVPR, 2005 （“非線形な顔画像合成と認識の方法”，CVPRの会議録，2005年）で、顔画像の変換と認識の非線形な方法を提出した。しかし、当該方法は、顔全体ではなく、局部のブロックに対し、主成分変換を行う。局部のブロックが単純で、既定の比率に従い独立して変換される欠陥があるため、より大きい顔構造、特に顔の形状を学習できない。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】H. Koshimizu、M. Tominaga、T. Fujiwara、K. Murakami “On Kansei Facial Processing for Computerized Facial Caricaturing System PICASSO” IEEE International Conference on Systems, Man, and Cybernetics, Vol. 6, 1999（“顔スケッチ計算システムであるPICASSOに用いられる顔の感性処理”，システム製造及び制御に関するIEEE国際会議，1999年，第6巻）
【非特許文献２】S. Iwashita、Y. Takeda、T. Onisawa、“Expressive Facial Caricature Drawing,” IEEE International Conference on Fuzzy Systems, Vol. 3, 1999（“表情を付ける顔スケッチのドロー”，ファジィシステムに関するIEEE国際会議，1999年，第6巻）
【非特許文献３】W. T. Freeman、J. B. Tenenbaum、E. Pasztor、 “An Example-Based Approach to Style Translation for Line Drawings.” Technical Report 11, MERL Technical Report, Cambridge, MA, Feb. 1999（“用例ベースの線画のスタイル変換方法”, 技術レポート11, マール技術研究報告, ケンブリッジ, マサチューセッツ州, 1999年2月）
【非特許文献４】H. Chen, Y. Xu, H. Shum, S. Zhu、N. Zheng、“Example-Based Facial Sketch Generation with No-parametric Sampling,” in Proceedings of ICCV, 2001 （“パラメータなしの用例ベースの顔スケッチ生成”， ICCVの会議録，2001年）
【非特許文献５】X. Tang, X. Wang, “Face Sketch Recognition,” IEEE Trans. on CSVT, Vol. 14, No. 1, January, pp. 50-57, 2004（湯暁鴎と王暁剛，“顔スケッチの認識”，“IEEE Trans. on CSVT”第1期，第6巻，50-57頁）
【非特許文献６】X. Tang, X. Wang, “Face Sketch Synthesis and Recognition,” in Proceedings of ICCV, Nice, France, pp. 687-694, Oct. 13-16, 2003（湯暁鴎と王暁剛，“顔スケッチの合成と認識”， ICCVの会議録, 1999年2月, 687-694頁）
【非特許文献７】Q. Liu、 X. Tang,、H. Jin,、H. Lu、S. Ma、“A Nonlinear Approach for Face Sketch Synthesis and Recognition,” in Proceedings of CVPR, 2005 （“非線形な顔画像合成と認識の方法”，CVPRの会議録，2005年）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は顔スケッチを認識するための方法とシステムを提供する。
【００１２】
本発明による顔スケッチ生成方法では、顔全体の構造を学習するのではなく、局部のブロックを変換する。それは、顔全体の構造は複雑すぎるので、効果的に変換できないが、局部のブロックの構造の方がより簡単なためである。顔は、重なり合う領域を有するブロックに分割される。顔スケッチを生成するには、顔写真における局部の一つのブロックに対し、事前に提供される学習データ集合から、そのブロックに似ている写真ブロックを見つけ、学習データ集合において、それに対応するスケッチブロックを用いて、生成しようとするスケッチブロックとして推定する。当該方法は、二つの写真ブロックが似ていれば、これらに対するスケッチブロックも似ているべきであるという命題が成り立つことに基づく。また、当該方法は、即ち、隣接し、変換できた二つのスケッチブロックはマッチングすべきであるというもう一つの命題が成り立つことに基づく。
【００１３】
ブロックの大きさが学習可能な顔構造のスケールを決めるため、本発明は、多重スケールマルコフ確率場を利用し、比率が違う顔構造を学習する。すると、Q.Liu等により提出された非線形な顔画像合成と認識の方法のように、区域が違い、またはスケールも違うブロックを学習するのではなく、本発明による方法に従い、これらのブロックを共同に学習する。
【課題を解決するための手段】
【００１４】
本発明が開示するのは、学習データ集合に基づいて顔画像を認識する方法であって、前記学習データ集合は、画像ブロック対を複数有するものであり、前記画像ブロック対の各自は、第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、前記顔画像合成方法は、第一パターンのテスト用顔画像を受信するステップと、受信された第一パターンのテスト用顔画像を複数の画像ブロックに分割するステップと、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップと、選択されたマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定するステップと、選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップと、を備えることを特徴とする顔画像合成方法である。
【００１５】
一方、更に開示するのは、学習データ集合に基づいて顔画像を認識するシステムであって、前記学習データ集合は、画像ブロック対を複数有するものであり、前記画像ブロック対の各自は、第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、前記顔画像合成システムは、第一パターンの顔画像を受信すると共に、受信した第一パターンの顔画像を複数の画像ブロックに分割するための前処理ユニットと、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するためのマッチングユニットと、選択された第一パターンのマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選択するための選択ユニットと、選択された第二パターンの画像ブロックを第二パターンの顔画像として合成するための合成ユニットと、を備えることを特徴とする顔画像合成システムである。
【００１６】
前記顔画像合成方法及びシステムでは、前記第一パターンの顔画像が顔写真であり、前記第二パターンの顔画像が顔スケッチである。一種の選択としても、前記第一パターンの顔画像が顔スケッチであり、前記第二パターンの顔画像が顔写真である。
【００１７】
最適に、前記顔画像合成方法及びシステムにおいて、選択されたマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定することは、単一スケールマルコフネットワークモデルに基づいて実現される。このように、画像ブロックは隣接する画像ブロックからの情報だけではなく、確率伝搬（Belief Propagation）によって、より遠くにある画像ブロックからの情報も受信する。
【００１８】
前記顔画像合成方法及びシステムは、多重スケールマルコフネットワークモデルに基づいて実現されることが好ましい。このように、従来の技術において、同一なスケールを用いることより小さいブロックと大きいブロックに対し変換する結果が異なる問題を解決できる。従って、本発明による方法は、より効果良く範囲が広い顔の構造と、顔全体の形状特徴を学習すると共に、画像がもっと平滑になる結果を獲得できる。
【００１９】
また、本発明による画像合成方法は、局部ブロックに基づき、主成分変換法のようにPCAに介して学習データ集合から効果良好に再建（再構成）可能であることとは要求しないと共に、顔写真から顔スケッチへの変換過程が線形に近似することとも要求しないため、より複雑な顔構造、例えば、髪を変換できる。従来の主成分変換法によって異なる髪型を変換することは困難である。しかし、髪型は、娯楽に用いられる顔画像変換アプリケーションにおいて、重要な特徴とする。顔認識のタスクに対し、ある場合によって、特に、同じ人の顔画像が長間隔、例えば、何ヶ月或いは何年間おいて取った場合は、髪型が変わる可能があるため、認識に用いられ信頼できる特徴ではない。しかし、ある場合は、二回の撮影の間隔が短ければ、髪型がやはり認識に用いられる顕著な特徴とする。証人が警察官に要求され、被疑者の画像を生成する時、被疑者の髪型を描くことを要求される。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態において顔写真から顔スケッチに変換する方法を示す図である。
【図２】本発明のもう一つの実施形態による顔写真から顔スケッチとして変換する方法を示す図である。
【図３】顔写真と顔スケッチとの比較例を示す図である。
【図４】顔の領域が複数のブロックに分割された例を示す図である。
【図５】入力される写真の一つのブロックに従い、スケッチブロック候補を見つける例を示す図である。
【図６】学習データ集合から、顔スケッチブロック候補を集める例を示す図である。
【図７】単一スケールマルコフネットワークモデルの例を示す図である。
【図８】画者が描いたスケッチのブロックに備えられる特徴の例を示す図である。
【図９】多重スケールマルコフ確率場のピラミッド構造の例を示す図である。
【図１０】隣接し、重なり合う領域を有する二つの顔スケッチブロックの最小誤差境界を示す図である。
【図１１】本発明の一つの実施形態による顔写真から顔スケッチとして変換するシステムを示す図である。
【図１２】本発明のもう一つの実施形態による顔写真から顔スケッチとして変換するシステムを示す図である。
【図１３】学習データ集合からの画像対の例を示す図である。
【図１４】顔スケッチを合成する結果の例を示す図である。
【図１５】本発明の方法に従い、異なる回数の確率伝搬を行った後生成したスケッチの例を示す図である。
【図１６】最小二乗法推定と最尤推定とを利用し、生成したスケッチの比率の例を示す図である。
【図１７】単一スケールマルコフ確率場モデルと多重スケールマルコフ確率場モデルとを利用し、合成したスケッチを比較する結果を示す図である。
【図１８】髪の領域に及ぼす場合は、顔全体に対する主成分変換と多重スケールマルコフ確率場モデルを利用し、合成したスケッチを比較する結果を示す図である。
【図１９】非線形方法と多重スケールマルコフ確率場モデルを利用し、合成したスケッチを比較する結果を示す図である。
【図２０】合成した顔写真の結果を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面に基づいて本発明の局所ブロックに基づくスケッチ変換方法を述べる。以下、顔写真を顔スケッチに変換することを例として、本発明における変換方法を述べるが、写真とスケッチの役目を簡単に交換し、顔スケッチを顔写真に変換して認識する方法にも当該方法を適用できる。
【００２２】
図１に示すように、本発明の一つの実施形態における顔写真を顔スケッチに変換する方法は、（１）入力した顔写真に対して前処理を行う（ステップ102）、（２）前処理した顔写真の上のブロックをトレーニングセット中の写真とマッチングする（ステップ104）、（３）マッチングのスケッチブロックを確定するように入力した顔写真のスケッチブロックを予測する（ステップ106）、（４）マッチングしたスケッチブロックを利用して顔スケッチ全体を合成する（ステップ108）。また、本発明における合成方法によって、データベース中のスケッチと認識してマッチングしてもよい（ステップ110）。図２に示すように、以下、ステップ102~110について詳細を説明する。
【００２３】
1.顔写真前処理（ステップ102）
ステップ102において、入力した顔写真に対して幾何校正と顔色空間の変換を行う。具体的には、全ての写真とスケッチに対して平行移動、回転とスケーリングを行い、それらの両眼の中心を固定の場所に位置させる。この簡単な幾何標準化処理により、異なる画像上の顔器官をほぼ同じ領域に校正する。顔写真は、濃淡画像でもよく、カラー画像でもよい。顔写真がカラーであると、Luv空間中のユークリッド距離が人の眼によって感じるカラー変化とさらによく関連できるため、まず人の顔写真のRGBカラー空間をLuvカラー空間に変換する。
【００２４】
また、該ステップ中では、入力した顔写真の顔部領域をＮ（Ｎは正整数である）個のブロックyj（j=0，1….N-1）に分ける。その中で、隣接するブロックは互いに重なっている。
【００２５】
2．マッチングブロック（ステップ104）
入力した写真ブロックyj（j=0，1….N-1）のスケッチブロックxjを推定するために、入力した写真におけるブロックyjに対して、学習データ集合から、yjとそれぞれマッチングする最適なK(0<K)個の写真ブロック
【００２６】
【数１】
【００２７】
を見つける。その後、学習データ集合においてそれらの各自に対応するスケッチブロック
【００２８】
【数２】
【００２９】
を利用して、yjに対応して生成するスケッチブロックを推定するための候補を
【００３０】
【数３】
【００３１】
とする。ここで、学習データ集合は、複数の写真-スケッチ対を含み、例えばホンコン中文大学の学生データベース、ARデータベースまたはXM2VTSデータベースである。
【００３２】
学習データ集合における一つの写真におけるブロック
【００３３】
【数４】
【００３４】
が入力写真におけるブロックxjと似ていることを想定すると、
【００３５】
【数５】
【００３６】
に対応するスケッチブロック
【００３７】
【数６】
【００３８】
が、yjを推定するための候補と考えられる。入力した写真におけるそれぞれのブロックyj（例えば、図５に窓W2で示す局所ブロック）に対して、学習データ集合から一つの写真におけるそれの対応位置を見つける。顔画像が形状で完全に精確に校正されないため、異なる顔画像において、同様な顔器官が完全に相同する場所に位置していない場合があるから、学習データ集合における写真（以下、学習写真と略称する）において、入力した写真における同様な位置から直接にサンプリングすることができないときは、見つけた位置の付近で探す領域を設定し、図５における点線の窓W1に示すように、該検索領域で、yjと最適にマッチングするブロックを見つけ、該ブロックを前記学習写真におけるサンプリングとする。
【００３９】
ここで、式（１）に示すように、二つのブロックの灰色度または色のユークリッド（Euclidean）距離DRをマッチング度合いとする。
【００４０】
【数７】
【００４１】
全部の学習データ集合を検索した後、入力した写真ブロックyjのそれぞれに対して、それぞれの学習写真から一つのブロックをサンプリングする。学習データ集合にM個の写真-スケッチが有ることを想定し、M個の学習写真からyjと最適にマッチングするK個の写真のブロックを選定し、K個の写真ブロックに対応するスケッチブロックxjを可能の状態とする。図６に下記のような例を示す。図６（ａ）が入力した写真画像における局所ブロックであり、図６（ｂ）が学習データ集合から選択する、入力した写真におけるブロックと最適にマッチングする写真ブロックである。図６（ｃ）が、学習データ集合における、選択した写真ブロックに対応するスケッチブロックである。
【００４２】
ブロックの計算方法は既知の積分計算と二次元フーリエ変換加速がある。積分計算と二次元フーリエ変換加速が公知の技術であるため、ここで詳細を省略する。
【００４３】
一つのスケッチブロック（その写真が入力した写真ブロックyjと最もマッチングする）を簡単に選定してスケッチブロックxjと想定すると、生成するスケッチはスムースではなく、モザイク効果がある。また、スケッチブロックが互いに独立に推定しているため、一つのスケッチブロックを推測する場合、顔の残る領域の情報が考慮されない。本方法において、一つのスケッチブロックを想定するため、K個の候補状態を保つ必要があり、かつ、隣接する変換のスケッチブロックとマッチングすることが要求される。かくして、全てのスケッチブロックが聯合されモデリングを行う。
【００４４】
変換されたスケッチと入力した写真とをマッチングしてスムースになるために、マルコフ確率場がスケッチの生成過程にモデリングを行うように使用される。以下、その詳細を述べる。
【００４５】
3．推定スケッチブロック（ステップ106）
本発明における方法1000に基づいて、二つの隣接する生成のブロックがマッチングするべきという仮説にさらに基づくことは、ステップ102に隣接するブロックが重なり合うことが要求されるためである。該仮説に基づいて、マルコフ確率場により顔写真-スケッチの変換過程に対してモデリングを行う。このモデル仮説は、所定の一つの写真ブロックと周囲に生成したスケッチブロックを提供し、対応する生成しようとするスケッチブロックの確率分布が該写真の他の部分から独立している。具体的には、ステップ106では、確率伝搬による推論方法は、入力した写真に対応するスケッチブロック、即ち、局所領域から発出する情報がマルコフネットワークモデルに沿って転送し、最適解に到達することが推定される。マルコフネットワークは単一スケールマルコフネットワークでよく、多重スケールマルコフネットワークでもよい。以下、それらの詳細をそれぞれ述べる。
【００４６】
3.1 単一スケールマルコフネットワーク
図7に単一スケールマルコフネットワークモデルを示す。顔領域がＮ個ブロックに分割される。ネットワークのそれぞれのノードは一つのスケッチブロック或いは一つの写真ブロックである。yiとxiはそれぞれ第i個目の写真ブロックとスケッチブロックを代表する。xiはそれと隣接する他のスケッチブロックと連接する。顔写真とスケッチの聯合確立は、式（２）により表現できる。
【００４７】
【数８】
【００４８】
φ(x ,yi)はyiとxiの間の依頼性を代表し、xiに局所事実を提供する。局所事実の計算式は、式（３）である。
【００４９】
【数９】
【００５０】
相溶性関数の計算式は、式（４）である。
【００５１】
【数１０】
【００５２】
所定のマルコフネットワークを提供し、スケッチブロックは最度推定(MAP)又は最小平均二乗誤差(MMSE)により求められる。
【００５３】
【数１１】
【００５４】
ここで、「情報転送」方法により推理を行う。例えば、J. S. Yedidia, W. T. Freeman, and Y. Weiss,“Understanding Belief Propagation and Its Generalizations,”Exploring Artificial Intelligence in the New Millennium, ISBN 1558608117, Chap. 8, pp. 239-274, 2003(「確率伝搬と生成」、新世紀人工知能 ISBN 1558608117、第8章、第239-274頁、2003年)に開示された方法が用いられる。情報が局所領域からマルコフネットワークに沿って最適解に到達する。該当ネットワークが循環していない場合には、「情報転送」法則により精確に求められる。この部分の内容がW. T. Freeman, E. C. Pasztor, and O. T. Carmichael, “Learning Low-Level Vision,”International Journal of Computer Vision, 2000（「低レベル視覚の学習」、インターナショナル ジャーナル オブ コンピュータ ビジョン、2000年）に相応的に述べられた。
【００５５】
ノードjの最尤推定は式（７）である。
【００５６】
【数１２】
【００５７】
以上により、情報がネットワークに沿って転送する場合、一つのスケッチブロックは隣接するブロックからの情報を受信するだけでなく、より遠いブロックからの情報を受信することがわかる。
【００５８】
マルコフネットワークは循環がある場合、最尤推定と最小平均二乗誤差が計算できない。しかし、上述の転送規則が近似解の計算にも用いられる。試験結果により、最尤推定の効果がより良いが、最小平均二乗誤差はブラー効果がある。
【００５９】
ここで、確率伝搬規則を採用することを例として、マルコフ確率場の近似最適解について説明するが、マルコフ確率場の近似最適解を求める他の方法があることが理解できる。例えば、Y. Boykov, O. Veksler, and R. Zabih, “Fast Approximate Energy Minimization via Graph Cuts（画像切り取りにより早速に最小のエネルギーに近づく）” （IEEE Trans. on PAMI, Vol. 23, No. 11, pp. 1222-1239, 2001）における図分割方法を参照できる。
【００６０】
3.2 多重スケールマルコフネットワーク
単一スケールマルコフネットワークは、局所ブロックと大範囲との関連性を解決できない欠点がある。画家は一つの局所ブロックを描く時、通常、ブロックより大きい周囲の結構（構造）を参照する。ある場合に、二つの写真ブロックがよく似ているが、それらに対応するブロックが大きく異なっている。図８に示すように、鼻梁と頬の二つの写真ブロックがよく似ているが、相応するスケッチブロックが大きく異なっている。
【００６１】
ブロックの大きさは学習できる顔結構（構造）の大きさを決定する。しかし、ブロックが小さい場合に、三次元投影情報を表現する多少の影と多少の顔結構（構造）、例えば輪郭、眉毛、或いは鼻梁が失われる場合がある。ブロック大きさの増加により、これらの結構（構造）を学習することができる。しかし、ブロック対が大きいになる場合、生成するスケッチに、変形を招くモザイク効果が発生する。多重スケールマルコフ確率場を採用して、異なるスケールで顔結構（構造）を学習し、前記の欠点を超えることができる。
【００６２】
図９に示すように、一つの多重スケールマルコフ確率場モデルは、L（Lは1より大きい正の整数である）層の確率場x(1), x (2),…, x (L)により構成される。x(1)は最小スケールの確率場であり、そのブロックの大きさが最も小さい。x(L)は最大スケールの確率場であり、そのブロックの大きさが最も大きい。第n(0<n<L)層のあるノードがn-1のs2個のノードに分解される。これらのノードが異なるスケールに隣接するノードと定義される。ｓがスケール減少の比率である。ここで、x(n)の分布がスケールに隣接する層に依頼することを想定する。顔写真と顔スケッチの聯合確立は、式（１１）である。
【００６３】
【数１３】
【００６４】
【数１４】
【００６５】
該多重スケールマルコフネットワーク中に、前記単一スケールマルコフネットワークに採用される確率伝搬規則のようなものを採用して推理を行い、情報がさらに相違なスケール層の間に転送されることが唯一の区別である。ここで、本発明は最高の解像度層を採用して最終のスケッチ変換結果をする。
【００６６】
4．スケッチブロックの接合（ステップ108）
ステップ108では、ステップ106に接合して推定されたスケッチブロック
【００６７】
【数１５】
【００６８】
により、顔スケッチ全体を変換合成する。隣接するブロックは重なり合う領域があるから、スケッチ画像全体を変換するために、隣接するブロックに対して平均値を取るが、ブラー効果が発生する。逆に、本発明において、二つの重なっているブロック同士に最小誤差境界を探し、二つのブロックを最適なマッチングブロックにさせる。この部分の内容は、A. A. Efros and W. T. Freeman, “Image Quilting for Texture Synthesis and Transfer,” in Proceedings of SIGGRAPH’01, 2001(「テクスチャ合成と転化のための画像充填」、SIGGRAPH、2001年)を参照できる。図１０に示すように、曲線Cは二つの隣接するスケッチブロック
【００６９】
【数１６】
【００７０】
と、最小誤差境界
【００７１】
【数１７】
【００７２】
である。
【００７３】
5．認識マッチング（ステップ110）
ステップ108で入力された写真を顔スケッチに変換した後、ステップ110では、転化された顔スケッチをデータベースに記憶されたスケッチと認識してマッチングする。本発明において、大部分の写真に基づく顔認識方法が直接に顔スケッチの認識に用いられる。写真に基づく顔認識方法が公知の技術であるため、ここで詳細の説明を省略する。
【００７４】
以上、顔写真を顔スケッチに変換して顔スケッチ認識を行う方法を例として、本発明について説明を行った。しかし、上記に示すように、顔スケッチを顔写真に変換して顔写真認識を実現する方法は前記の方法と同様であり、相違は比較対象の変化のみである。
【００７５】
以下、顔写真を顔スケッチに変換することを例として、本発明の一つの実施形態による学習データ集合に基づく顔認識のためのシステム2000を説明する。図１１に示すように、システム2000は、前処理ユニット201、マッチングユニット202、選択ユニット203、合成ユニット204を備える。また、図12に示すように、本発明のもう一つの実施形態による学習データ集合に基づく顔認識のためのシステム2000が認識ユニットを備える。
【００７６】
前処理ユニット201は、一つの顔写真を受信するのに用いられ、かつ受信される顔写真に対して幾何校正と顔色空間の変換を行い、そしてそれを複数の画像ブロックに分割する。図４に示すように、分割された複数のスケッチブロックにおいて、隣接するブロックが互いに重なり合う。
【００７７】
マッチングユニット202は、分割された複数の画像ブロックのそれぞれに対して、学習データ集合における複数の顔写真からマッチングブロックを選択するのに用いられる。さらには、マッチングユニット202は、受信された写真において分割された複数の画像ブロックのそれぞれに対して、学習データ集合における顔写真の画像ブロックから複数のマッチングブロックを選択するように配置される。より具体的には、マッチングユニット202は、学習データ集合における写真中のそれぞれにおいて、受信された写真中において分割された複数写真ブロックのそれぞれに対する位置を確定し、かつ、確定された位置を基準にして、学習データ集合における顔写真のブロックのそれぞれにおいて領域を設定する。例えば、図５中の点線窓W1。マッチングユニット202は、設定された領域W1内において、顔写真ブロックが受信された写真において分割された複数の画像ブロックのそれぞれにマッチングするかどうかを判断し、マッチングするとマッチングするスケッチブロックがマッチングブロック候補を選択される。マッチングユニット202は、前述した単一スケールマルコフネットワーク、或いは多重スケールマルコフネットワークに準拠して前述の処理を行う。
【００７８】
選択ユニット203は、マッチングユニット202が学習データ集合における顔写真ブロックから選択したマッチングブロックに準拠して、学習データ集合におけるスケッチブロックからそれに対応するスケッチブロック。
【００７９】
合成ユニット204は選択したスケッチブロックを顔写真に合成する。合成ユニット204が二つの重なり合うスケッチブロックの間に最小誤差境界を見つけ、二つのブロックを最適なマッチングに到達させ、隣接するスケッチブロックが重なり合う領域を有することによるブラー効果を避ける。
【００８０】
認識ユニット205は、合成した顔写真を所定データベースにおける顔写真と認識してマッチングする。
【００８１】
以上、顔写真を顔スケッチに変換する方法を例として、本発明出願における一つの実施形態による学習データ集合に基づく顔認識ためのシステムを説明した。しかし、顔スケッチを顔写真に転化して顔写真認識を実現する方法は前記の方法と同様であり、相違は、比較対象の役目の変化のみであるので、ここで詳細の説明を省略する。
【００８２】
[実験結果]
以下の実験結果はホンコン中文大学学生データベースにおける188枚の顔、ARデータベースにおける123枚の顔、及びXM2VTSデータベースにおける295枚によるものであり、その中、一枚の顔がそれぞれ一つのスケッチ、正常光線と自然表情で撮影した写真を有する。その中、スケッチはテクスチャと形状で写真と異なり、図１３（ａ）-（ｃ）に示すように、図１３（ａ）におけるスケッチと写真がホンコン中文大学学生データベースに由来し、図１３（ｂ）におけるスケッチと写真がARデータベースに由来し、図１３（ｃ）におけるスケッチと写真がXM2VTSデータベースに由来する。
【００８３】
[顔スケッチ変換]
本発明は、発明者に対して、前述する三つデータベースで顔斜視を顔得に変換する試験を行う。ホンコン中文大学学生データベースにおいて、88枚の顔を学習データ集合として、残る100枚の顔をテスト集合とする。XM2VTSデータベースにおいて、100枚の顔を学習データ集合として、残る195枚の顔をテスト集合とする。ARデータベースにおいて、毎回一枚の顔を学習データ集合として、残る122枚をテスト集合（即ち、使い残り法）とする。図１４（ａ）-（ｃ）は、二層を有する多重スケールマルコフモデルを使ってスケッチ変換を行う結果である。図14(a)に変換しようとする写真を示し、図14(b)が写真に対応する画家により描いたスケッチである。該試験において使われる多重スケールマルコフモデルの第一層は、局所大きさが10×10であり。第二層は、局所大きさが10×10である。また、顔領域の大きさが200×250であり、公式(3)と(4)におけるパラメータがσｅ＝０．５、σｃ＝１である。
【００８４】
図15において、相違な回数の確率伝搬を行う後に生成するスケッチを示す。最初(0回重複)生成したスケッチ(図15(C)に示す)は、入力した画像と最もマッチングするスケッチブロックを接合し、スムース制限を考えていない。結果として、大きいノイズとモザイク効果がある。統計により、これらの推定するスケッチブロックにおいて、次いで80％を超えるのがマルコフ分析によって修正される。確率伝搬を5回繰り返した後に、収束する(図15(d)に示す)。確率伝搬が生成するスケッチの品質を著しく改善する。
【００８５】
図14において、二つ種類の推定方法、即ち最小平均二乗誤差と最尤推定を比較した。その中、図16(a)は変換しようとする写真を示す。図16(b)は写真に対応する、画家により描いたスケッチである。図14(C)は最小平均二乗誤差を使って生成するスケッチである。図16(d)は最尤推定によって生成するスケッチである。図16(c)に示すように、最小平均二乗誤差の結果はブラー効果がある。図16(d)に示すように、最尤推定の結果はより明晰な縁と輪郭があり、画家により描くスケッチとより似ている。
【００８６】
図17において、単一スケールマルコフ確率場と多重スケールマルコフ確率場変換を使った結果、その中、顔領域の大きさが200×250である。図17(a)は顔写真である。図17(b)は画家により描いたスケッチである。図17(c)は合成変換した顔スケッチで、ブロックの大きさが10×10である。図17(d)は合成変換した顔スケッチで、ブロックの大きさが20×20である。図17(e)は二層マルコフ確率場を使って合成するスケッチであり、そのうち、第一層ブロックの大きさが10×10であり、第二層ブロックの大きさが20×20である。図17から明らかに、単一スケールマルコフモデルにおいて、ブロックの寸法が小さい(10×10)と、影テクスチャと顔結構（構造）、例えば顔輪郭の下半部及ぶ耳が失われる場合がある。ブロックの寸法が大きいと、これらの結構（構造）を学習できる。しかし、ブロック寸法が大きい場合(20×20)に、変形とモザイクがある。図17(e)に示すように、マルコフ確率場を使用する場合に、大きいスケールのみにおいて学習することと比較し、変形とモザイクがより少ない。小さいスケールのみにおいて学習することと比較し、より多くの顔結構（構造）を変換できる。
【００８７】
図18(a)-(d)において、多重マルコフ確率場と整体主成分変換を使用する結果を比較し、その中、図18(a)に変換しようとする写真を示す。図18(b)に主成分変換を使用するスケッチを示す。図18(c)は、多重マルコフ確率場変換のスケッチである。図18(d)に画家により描いたスケッチを示す。図18(a)-(d) から明らかに、本願発明の変換方法は局所ブロックに基づくため、整体変換と比較して、局所テクスチャをよりよく変換でき、かつより少ないブラー効果、より少ないノイズとより明晰な縁を有する。整体主成分変換は、顔データが高次元空間においてガウス分布を呈すること、テスト顔が主成分変換(PCA)により学習データサンプルにおいてよく再構成できることが要求される。しかし、人の髪型は様式の上で変化が大きい。髪領域を含む場合に、顔のベクトルは近似のガウス分布を呈することができないので、顔写真もPCAによりよく再構成できない。図18(b)に示すように、主成分変換は髪生成の上で効果がより劣化になる。髪領域は顔の他の領域を変換する時にバラツキの発生を招く。図18(c)から明らかなとおり、本発明の変換方法により異なる髪型をよく変換できる。
【００８８】
図19に本発明の多重スケールマルコフ確率場合成のスケッチとQ. Liu等より提出された非線形法変換スケッチとの比較結果を示す。図19(a)は変換しようとする写真であり。図19(b)はQ. Liu等の非線形法による合成のスケッチであり。図19(c)はマルコフ確率場による生成のスケッチであり。図19(d)は画家により描くスケッチである。本発明のスケッチ変換計算方法により、ブロックマッチングを行うため、相対的により大きい計算量が必要である。積分計算と二次元フーリエ変換加速を行うことによって、3GHz CPUで2分間以内に一つのスケッチを生成できる。より多くのCPUブロックを配合して並列計算を行うと、スケッチの変換が更に速くになる。
【００８９】
[顔写真変換]
写真とスケッチの間の差を減少するように、顔スケッチ認識の階段で二つの対策がある：(a)まず、スケッチ変換方法によりデータベースにおける全ての写真をスケッチに変換させ、その後、クエリースケッチを変換されたスケッチとマッチングする。(b)クエリースケッチを写真に変換し、そして変換された写真をデータベースにおける写真とマッチングする。
【００９０】
写真とスケッチを同じタイプのデータに変換する後に、原則的に多くの提出された顔写真の認識方法は前記のデータを直接に顔認識に用いられる。以下の実験において、主成分分析(PCA)、ベイズ顔(Bayes)、フィッシャー顔、零空間線性識別器(Null-space LDA)、双対ベクトル空間線性識別器(Dual-Space LDA)及び無作為抽出線性識別器(RS-LDA)を含む部分空間顔認識方法を比較する。
【００９１】
具体的には、６０６枚の写真―スケッチ対が三つのサブセットに分割される。サブセットIにおける１５３枚の写真―スケッチ対が、写真―スケッチ変換の学習データ集合として使用される。サブセットIIにおける１５３枚の写真―スケッチ対が、部分空間分類器の学習データ集合として使用される。対策（a）について、サブセットIを学習データ集合として、サブセットIIにおける写真を最初にスケッチに変換する。次に、サブセットIIにおいて、変換できたスケッチと画家に描かれたスケッチとを部分空間分類器、たとえば、フィッシャーの顔とランダムサンプリング線形分析器の学習データ集合とする。対策（ｂ）も類似であり、唯一の違いがスケッチと写真を逆にすることである。サブセットIIIにおける３００枚の写真-スケッチ対はテストに使用される。
【００９２】
表１は、いろいろなスケッチ/写真変換方法および顔認識方法を採用する場合での認識率を示す。
【００９３】
全体に対する主成分変換を利用し、スケッチを変換する。顔写真のテクスチャと形状が最初に分けられ、スケッチのテクスチャと形状に変換され、最後に、合わせられ、認識に利用される。
【００９４】
多重スケールマルコフ確率場を利用し、スケッチを変換する（multiscale_MRF_SS）。これには対策（a）を利用する。
【００９５】
多重スケールマルコフ確率場を利用し、写真を変換する（multiscale_MRF_SP）。これには対策（a）を利用する。
【００９６】
【表１】
【００９７】
マルチ解像度マルコフ確率場(multiscale_MRF_SS)を利用し、スケッチを変換して、全体に対する主解像度より良好な結果を獲得した。多重スケールマルコフ確率場(multiscale_MRF_SP)を利用し、写真を変換し、さらに良好な結果を獲得した。いろいろなスケッチ/写真変換方法において、ランダムサンプリング線形分析器(RS-LDA)が常に最良な結果を獲得できる。
【００９８】
表２において、本発明による方法と伝統的な顔認識方法とを比較する。即ち、固有顔と弾性グラフマッチング（EGM）とQ.Liuなどが提出された非線形顔スケッチ認識(Nonlinear face sketch recognition)方法を示す。
【００９９】
以前、最初の顔スケッチ認識に関する研究では、固有顔とEGMが小型なデータ集合において、テストすることがある。しかし、大型なデータ集合においては、第一回マッチングの精度が３０％以下であり、第十回マッチングの精度が６０％以下の非常に低い認識率である。Q.Liuなどが提出された顔スケッチ認識方法では、局部のブロックに基づいてスケッチを生成するとともに、非線形分析分類器に基づいて認識を行う場合、第一回マッチング率は８６．７％であり、第十マッチング率は99％である。本発明による方法によって、第一マッチング率は９６．３％まで大幅に向上し、第十マッチング率が９９．７％まで向上した。
【０１００】
【表２】
【０１０１】
以上、本発明による顔画像認識の方法を説明した。しかし、前記は本発明を実現するための実施例にすぎず、本発明を限定するものではない。本発明の精神と原則に従って、本発明に対する任意の修正と同等な置き換えおよび改善は、すべて、本発明の範囲に含まれる。
【技術分野】
【０００１】
本発明は、顔画像を合成するための顔画像合成方法及びシステムに関するものであり、特に、マルコフネットワークモデルに基いて顔画像を合成するための顔画像合成方法及びシステムに関するものである。
【背景技術】
【０００２】
顔認識技術は、重要なアプリケーションとして、法医学支援することである。例えば、警察庁の写真データベースにおいて、被疑者の写真を検索することは、被疑者を検索する範囲が速めに狭くすることを助ける。しかし、警察官が被疑者の写真を得られないことが多いが、この時は、通常、代わりに、証人の叙述に従って描いた顔スケッチが好ましい。そこで、当該顔スケッチに従って写真データベースから写真を自動検索できることが非常に重要である。しかしながら、顔スケッチと写真との差異が大きい上に、証人がスケッチを描く心理的なプロセスが複雑なため、通常に顔写真を認識することよりも、顔スケッチを認識することはさらに困難である。スケッチと写真とは、データ型が異なるため、マッチし難い。
【０００３】
上記の問題を解決するため、データベースに記憶された顔写真を顔スケッチに変換し、検索しようとする顔スケッチと前記変換されて得る顔スケッチとをマッチすること、或いは、検索しようとする顔スケッチを顔写真に変換し、当該顔写真を事前にデータベースに記憶された写真とマッチすることは一つの方法である。
【０００４】
スケッチを描く心理的なプロセスには既定のルールや文法はない。スケッチと写真との差異は、主にテクスチャと形状との二面にある。図３は顔写真と顔スケッチとを比較する例を示す。鉛筆で紙の上に描いたスケッチと写真における人のテクスチャが異なる。３次元投影の情報を示すため、通常、スケッチにシャドーテクスチャをつける。スケッチの形状において、漫画を描くように、顔の特別な特徴を誇張することより変化を起こすことになる。例えば、ある顔に大きい鼻がある。スケッチにすると、その鼻がより大きくなる。
【０００５】
近年では、すでに、コンピュータでスケッチを生成するシステムが幾つか実現された。それらのシステムは、大体、３次元投影情報のテクスチャを表示できない線画のみを出力するシステムである。例えば、H. Koshimizu、M. Tominaga、T. FujiwaraとK. Murakamiが“On Kansei Facial Processing for Computerized Facial Caricaturing System PICASSO” IEEE International Conference on Systems, Man, and Cybernetics, Vol. 6, 1999（“顔スケッチ計算システムであるPICASSOに用いられる顔の感性処理”，システム製造及び制御に関するIEEE国際会議，1999年，第6巻）で、または、S. Iwashita、Y. TakedaとT. Onisawaが “Expressive Facial Caricature Drawing,” IEEE International Conference on Fuzzy Systems, Vol. 3, 1999（“表情を付ける顔スケッチのドロー”，ファジィシステムに関するIEEE国際会議，1999年，第6巻）で、全て、コンピュータを用いて、スケッチとして生成するシステムを提出した。これらのシステムでは、先ず、写真から顔の形状を抽出し、次に、あるルールに従い、顔の形状を誇張する。よって、生成した結果は、形状から見ると、スケッチに似る。しかし、上記のシステムは機械学習における方法ではない。
【０００６】
W. T. Freeman、 J. B. Tenenbaumと E. Pasztorが “An Example-Based Approach to Style Translation for Line Drawings.” Technical Report 11, MERL Technical Report, Cambridge, MA, Feb. 1999（“用例ベースの線画のスタイル変換方法”, 技術レポート11, マール技術研究報告, ケンブリッジ, マサチューセッツ州, 1999年2月）で、学習用例に基づき、線画をいろいろなスタイルとして変換できるシステムを提出した。
【０００７】
H. Chen, Y. Xu, H. Shum, S. Zhuと N. Zhengが、“Example-Based Facial Sketch Generation with No-parametric Sampling,” in Proceedings of ICCV, 2001 （“パラメータなしの用例ベースの顔スケッチ生成”， ICCVの会議録，2001年）で、学習用例に基づく顔アニメ画像生成システムを提出した。しかし、当該システムも、線画のみを生成するに限られると共に、写真と線画とが、形状上で完全一致することを要求する。これらのシステムでは、例えば、アクティブ外観モデル（AAM）等の方法を利用し、顔の形状を抽出することが必要となる。これらの線画は、シャドーテクスチャをつける顔スケッチに比較し、表現力が不足である。
【０００８】
本発明の発明人は、X. Tang, and X. Wang, “Face Sketch Recognition,” IEEE Trans. on CSVT, Vol. 14, No. 1, January, pp. 50-57, 2004（湯暁鴎と王暁剛，“顔スケッチの認識”，“IEEE Trans. on CSVT”第1期，第6巻，50-57頁）とX. Tang, and X. Wang, “Face Sketch Synthesis and Recognition,” in Proceedings of ICCV, Nice, France, pp. 687-694, Oct. 13-16, 2003（湯暁鴎と王暁剛，“顔スケッチの合成と認識”， ICCVの会議録, 1999年2月, 687-694頁）とで、主成分変換に基づく顔画像認識システムを提出した。このシステムは、線画のみか、テクスチャをつけるスケッチとしても合成できる。当該システムによって、下記の二つの条件を満たすと、主成分変換による顔スケッチが、実際に描かれたスケッチによく近似することになる。即ち、（１）主成分分析（PCA）に介し、学習データ集合から効果的に再構成可能な顔画像であることと、（２）写真からスケッチへの変換過程が線形に近似できることである。しかし、場合によって、特に髪の領域が含まれると、これらの条件を満足することが困難である。それは、人によって髪型が大きく変わったことで、PCAによって学習データ集合から再構成することができないためである。
【０００９】
Q. Liu、 X. Tang,、H. Jin,、H. Luと S. Maが、“A Nonlinear Approach for Face Sketch Synthesis and Recognition,” in Proceedings of CVPR, 2005 （“非線形な顔画像合成と認識の方法”，CVPRの会議録，2005年）で、顔画像の変換と認識の非線形な方法を提出した。しかし、当該方法は、顔全体ではなく、局部のブロックに対し、主成分変換を行う。局部のブロックが単純で、既定の比率に従い独立して変換される欠陥があるため、より大きい顔構造、特に顔の形状を学習できない。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】H. Koshimizu、M. Tominaga、T. Fujiwara、K. Murakami “On Kansei Facial Processing for Computerized Facial Caricaturing System PICASSO” IEEE International Conference on Systems, Man, and Cybernetics, Vol. 6, 1999（“顔スケッチ計算システムであるPICASSOに用いられる顔の感性処理”，システム製造及び制御に関するIEEE国際会議，1999年，第6巻）
【非特許文献２】S. Iwashita、Y. Takeda、T. Onisawa、“Expressive Facial Caricature Drawing,” IEEE International Conference on Fuzzy Systems, Vol. 3, 1999（“表情を付ける顔スケッチのドロー”，ファジィシステムに関するIEEE国際会議，1999年，第6巻）
【非特許文献３】W. T. Freeman、J. B. Tenenbaum、E. Pasztor、 “An Example-Based Approach to Style Translation for Line Drawings.” Technical Report 11, MERL Technical Report, Cambridge, MA, Feb. 1999（“用例ベースの線画のスタイル変換方法”, 技術レポート11, マール技術研究報告, ケンブリッジ, マサチューセッツ州, 1999年2月）
【非特許文献４】H. Chen, Y. Xu, H. Shum, S. Zhu、N. Zheng、“Example-Based Facial Sketch Generation with No-parametric Sampling,” in Proceedings of ICCV, 2001 （“パラメータなしの用例ベースの顔スケッチ生成”， ICCVの会議録，2001年）
【非特許文献５】X. Tang, X. Wang, “Face Sketch Recognition,” IEEE Trans. on CSVT, Vol. 14, No. 1, January, pp. 50-57, 2004（湯暁鴎と王暁剛，“顔スケッチの認識”，“IEEE Trans. on CSVT”第1期，第6巻，50-57頁）
【非特許文献６】X. Tang, X. Wang, “Face Sketch Synthesis and Recognition,” in Proceedings of ICCV, Nice, France, pp. 687-694, Oct. 13-16, 2003（湯暁鴎と王暁剛，“顔スケッチの合成と認識”， ICCVの会議録, 1999年2月, 687-694頁）
【非特許文献７】Q. Liu、 X. Tang,、H. Jin,、H. Lu、S. Ma、“A Nonlinear Approach for Face Sketch Synthesis and Recognition,” in Proceedings of CVPR, 2005 （“非線形な顔画像合成と認識の方法”，CVPRの会議録，2005年）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は顔スケッチを認識するための方法とシステムを提供する。
【００１２】
本発明による顔スケッチ生成方法では、顔全体の構造を学習するのではなく、局部のブロックを変換する。それは、顔全体の構造は複雑すぎるので、効果的に変換できないが、局部のブロックの構造の方がより簡単なためである。顔は、重なり合う領域を有するブロックに分割される。顔スケッチを生成するには、顔写真における局部の一つのブロックに対し、事前に提供される学習データ集合から、そのブロックに似ている写真ブロックを見つけ、学習データ集合において、それに対応するスケッチブロックを用いて、生成しようとするスケッチブロックとして推定する。当該方法は、二つの写真ブロックが似ていれば、これらに対するスケッチブロックも似ているべきであるという命題が成り立つことに基づく。また、当該方法は、即ち、隣接し、変換できた二つのスケッチブロックはマッチングすべきであるというもう一つの命題が成り立つことに基づく。
【００１３】
ブロックの大きさが学習可能な顔構造のスケールを決めるため、本発明は、多重スケールマルコフ確率場を利用し、比率が違う顔構造を学習する。すると、Q.Liu等により提出された非線形な顔画像合成と認識の方法のように、区域が違い、またはスケールも違うブロックを学習するのではなく、本発明による方法に従い、これらのブロックを共同に学習する。
【課題を解決するための手段】
【００１４】
本発明が開示するのは、学習データ集合に基づいて顔画像を認識する方法であって、前記学習データ集合は、画像ブロック対を複数有するものであり、前記画像ブロック対の各自は、第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、前記顔画像合成方法は、第一パターンのテスト用顔画像を受信するステップと、受信された第一パターンのテスト用顔画像を複数の画像ブロックに分割するステップと、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップと、選択されたマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定するステップと、選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップと、を備えることを特徴とする顔画像合成方法である。
【００１５】
一方、更に開示するのは、学習データ集合に基づいて顔画像を認識するシステムであって、前記学習データ集合は、画像ブロック対を複数有するものであり、前記画像ブロック対の各自は、第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、前記顔画像合成システムは、第一パターンの顔画像を受信すると共に、受信した第一パターンの顔画像を複数の画像ブロックに分割するための前処理ユニットと、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するためのマッチングユニットと、選択された第一パターンのマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選択するための選択ユニットと、選択された第二パターンの画像ブロックを第二パターンの顔画像として合成するための合成ユニットと、を備えることを特徴とする顔画像合成システムである。
【００１６】
前記顔画像合成方法及びシステムでは、前記第一パターンの顔画像が顔写真であり、前記第二パターンの顔画像が顔スケッチである。一種の選択としても、前記第一パターンの顔画像が顔スケッチであり、前記第二パターンの顔画像が顔写真である。
【００１７】
最適に、前記顔画像合成方法及びシステムにおいて、選択されたマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定することは、単一スケールマルコフネットワークモデルに基づいて実現される。このように、画像ブロックは隣接する画像ブロックからの情報だけではなく、確率伝搬（Belief Propagation）によって、より遠くにある画像ブロックからの情報も受信する。
【００１８】
前記顔画像合成方法及びシステムは、多重スケールマルコフネットワークモデルに基づいて実現されることが好ましい。このように、従来の技術において、同一なスケールを用いることより小さいブロックと大きいブロックに対し変換する結果が異なる問題を解決できる。従って、本発明による方法は、より効果良く範囲が広い顔の構造と、顔全体の形状特徴を学習すると共に、画像がもっと平滑になる結果を獲得できる。
【００１９】
また、本発明による画像合成方法は、局部ブロックに基づき、主成分変換法のようにPCAに介して学習データ集合から効果良好に再建（再構成）可能であることとは要求しないと共に、顔写真から顔スケッチへの変換過程が線形に近似することとも要求しないため、より複雑な顔構造、例えば、髪を変換できる。従来の主成分変換法によって異なる髪型を変換することは困難である。しかし、髪型は、娯楽に用いられる顔画像変換アプリケーションにおいて、重要な特徴とする。顔認識のタスクに対し、ある場合によって、特に、同じ人の顔画像が長間隔、例えば、何ヶ月或いは何年間おいて取った場合は、髪型が変わる可能があるため、認識に用いられ信頼できる特徴ではない。しかし、ある場合は、二回の撮影の間隔が短ければ、髪型がやはり認識に用いられる顕著な特徴とする。証人が警察官に要求され、被疑者の画像を生成する時、被疑者の髪型を描くことを要求される。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態において顔写真から顔スケッチに変換する方法を示す図である。
【図２】本発明のもう一つの実施形態による顔写真から顔スケッチとして変換する方法を示す図である。
【図３】顔写真と顔スケッチとの比較例を示す図である。
【図４】顔の領域が複数のブロックに分割された例を示す図である。
【図５】入力される写真の一つのブロックに従い、スケッチブロック候補を見つける例を示す図である。
【図６】学習データ集合から、顔スケッチブロック候補を集める例を示す図である。
【図７】単一スケールマルコフネットワークモデルの例を示す図である。
【図８】画者が描いたスケッチのブロックに備えられる特徴の例を示す図である。
【図９】多重スケールマルコフ確率場のピラミッド構造の例を示す図である。
【図１０】隣接し、重なり合う領域を有する二つの顔スケッチブロックの最小誤差境界を示す図である。
【図１１】本発明の一つの実施形態による顔写真から顔スケッチとして変換するシステムを示す図である。
【図１２】本発明のもう一つの実施形態による顔写真から顔スケッチとして変換するシステムを示す図である。
【図１３】学習データ集合からの画像対の例を示す図である。
【図１４】顔スケッチを合成する結果の例を示す図である。
【図１５】本発明の方法に従い、異なる回数の確率伝搬を行った後生成したスケッチの例を示す図である。
【図１６】最小二乗法推定と最尤推定とを利用し、生成したスケッチの比率の例を示す図である。
【図１７】単一スケールマルコフ確率場モデルと多重スケールマルコフ確率場モデルとを利用し、合成したスケッチを比較する結果を示す図である。
【図１８】髪の領域に及ぼす場合は、顔全体に対する主成分変換と多重スケールマルコフ確率場モデルを利用し、合成したスケッチを比較する結果を示す図である。
【図１９】非線形方法と多重スケールマルコフ確率場モデルを利用し、合成したスケッチを比較する結果を示す図である。
【図２０】合成した顔写真の結果を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面に基づいて本発明の局所ブロックに基づくスケッチ変換方法を述べる。以下、顔写真を顔スケッチに変換することを例として、本発明における変換方法を述べるが、写真とスケッチの役目を簡単に交換し、顔スケッチを顔写真に変換して認識する方法にも当該方法を適用できる。
【００２２】
図１に示すように、本発明の一つの実施形態における顔写真を顔スケッチに変換する方法は、（１）入力した顔写真に対して前処理を行う（ステップ102）、（２）前処理した顔写真の上のブロックをトレーニングセット中の写真とマッチングする（ステップ104）、（３）マッチングのスケッチブロックを確定するように入力した顔写真のスケッチブロックを予測する（ステップ106）、（４）マッチングしたスケッチブロックを利用して顔スケッチ全体を合成する（ステップ108）。また、本発明における合成方法によって、データベース中のスケッチと認識してマッチングしてもよい（ステップ110）。図２に示すように、以下、ステップ102~110について詳細を説明する。
【００２３】
1.顔写真前処理（ステップ102）
ステップ102において、入力した顔写真に対して幾何校正と顔色空間の変換を行う。具体的には、全ての写真とスケッチに対して平行移動、回転とスケーリングを行い、それらの両眼の中心を固定の場所に位置させる。この簡単な幾何標準化処理により、異なる画像上の顔器官をほぼ同じ領域に校正する。顔写真は、濃淡画像でもよく、カラー画像でもよい。顔写真がカラーであると、Luv空間中のユークリッド距離が人の眼によって感じるカラー変化とさらによく関連できるため、まず人の顔写真のRGBカラー空間をLuvカラー空間に変換する。
【００２４】
また、該ステップ中では、入力した顔写真の顔部領域をＮ（Ｎは正整数である）個のブロックyj（j=0，1….N-1）に分ける。その中で、隣接するブロックは互いに重なっている。
【００２５】
2．マッチングブロック（ステップ104）
入力した写真ブロックyj（j=0，1….N-1）のスケッチブロックxjを推定するために、入力した写真におけるブロックyjに対して、学習データ集合から、yjとそれぞれマッチングする最適なK(0<K)個の写真ブロック
【００２６】
【数１】
【００２７】
を見つける。その後、学習データ集合においてそれらの各自に対応するスケッチブロック
【００２８】
【数２】
【００２９】
を利用して、yjに対応して生成するスケッチブロックを推定するための候補を
【００３０】
【数３】
【００３１】
とする。ここで、学習データ集合は、複数の写真-スケッチ対を含み、例えばホンコン中文大学の学生データベース、ARデータベースまたはXM2VTSデータベースである。
【００３２】
学習データ集合における一つの写真におけるブロック
【００３３】
【数４】
【００３４】
が入力写真におけるブロックxjと似ていることを想定すると、
【００３５】
【数５】
【００３６】
に対応するスケッチブロック
【００３７】
【数６】
【００３８】
が、yjを推定するための候補と考えられる。入力した写真におけるそれぞれのブロックyj（例えば、図５に窓W2で示す局所ブロック）に対して、学習データ集合から一つの写真におけるそれの対応位置を見つける。顔画像が形状で完全に精確に校正されないため、異なる顔画像において、同様な顔器官が完全に相同する場所に位置していない場合があるから、学習データ集合における写真（以下、学習写真と略称する）において、入力した写真における同様な位置から直接にサンプリングすることができないときは、見つけた位置の付近で探す領域を設定し、図５における点線の窓W1に示すように、該検索領域で、yjと最適にマッチングするブロックを見つけ、該ブロックを前記学習写真におけるサンプリングとする。
【００３９】
ここで、式（１）に示すように、二つのブロックの灰色度または色のユークリッド（Euclidean）距離DRをマッチング度合いとする。
【００４０】
【数７】
【００４１】
全部の学習データ集合を検索した後、入力した写真ブロックyjのそれぞれに対して、それぞれの学習写真から一つのブロックをサンプリングする。学習データ集合にM個の写真-スケッチが有ることを想定し、M個の学習写真からyjと最適にマッチングするK個の写真のブロックを選定し、K個の写真ブロックに対応するスケッチブロックxjを可能の状態とする。図６に下記のような例を示す。図６（ａ）が入力した写真画像における局所ブロックであり、図６（ｂ）が学習データ集合から選択する、入力した写真におけるブロックと最適にマッチングする写真ブロックである。図６（ｃ）が、学習データ集合における、選択した写真ブロックに対応するスケッチブロックである。
【００４２】
ブロックの計算方法は既知の積分計算と二次元フーリエ変換加速がある。積分計算と二次元フーリエ変換加速が公知の技術であるため、ここで詳細を省略する。
【００４３】
一つのスケッチブロック（その写真が入力した写真ブロックyjと最もマッチングする）を簡単に選定してスケッチブロックxjと想定すると、生成するスケッチはスムースではなく、モザイク効果がある。また、スケッチブロックが互いに独立に推定しているため、一つのスケッチブロックを推測する場合、顔の残る領域の情報が考慮されない。本方法において、一つのスケッチブロックを想定するため、K個の候補状態を保つ必要があり、かつ、隣接する変換のスケッチブロックとマッチングすることが要求される。かくして、全てのスケッチブロックが聯合されモデリングを行う。
【００４４】
変換されたスケッチと入力した写真とをマッチングしてスムースになるために、マルコフ確率場がスケッチの生成過程にモデリングを行うように使用される。以下、その詳細を述べる。
【００４５】
3．推定スケッチブロック（ステップ106）
本発明における方法1000に基づいて、二つの隣接する生成のブロックがマッチングするべきという仮説にさらに基づくことは、ステップ102に隣接するブロックが重なり合うことが要求されるためである。該仮説に基づいて、マルコフ確率場により顔写真-スケッチの変換過程に対してモデリングを行う。このモデル仮説は、所定の一つの写真ブロックと周囲に生成したスケッチブロックを提供し、対応する生成しようとするスケッチブロックの確率分布が該写真の他の部分から独立している。具体的には、ステップ106では、確率伝搬による推論方法は、入力した写真に対応するスケッチブロック、即ち、局所領域から発出する情報がマルコフネットワークモデルに沿って転送し、最適解に到達することが推定される。マルコフネットワークは単一スケールマルコフネットワークでよく、多重スケールマルコフネットワークでもよい。以下、それらの詳細をそれぞれ述べる。
【００４６】
3.1 単一スケールマルコフネットワーク
図7に単一スケールマルコフネットワークモデルを示す。顔領域がＮ個ブロックに分割される。ネットワークのそれぞれのノードは一つのスケッチブロック或いは一つの写真ブロックである。yiとxiはそれぞれ第i個目の写真ブロックとスケッチブロックを代表する。xiはそれと隣接する他のスケッチブロックと連接する。顔写真とスケッチの聯合確立は、式（２）により表現できる。
【００４７】
【数８】
【００４８】
φ(x ,yi)はyiとxiの間の依頼性を代表し、xiに局所事実を提供する。局所事実の計算式は、式（３）である。
【００４９】
【数９】
【００５０】
相溶性関数の計算式は、式（４）である。
【００５１】
【数１０】
【００５２】
所定のマルコフネットワークを提供し、スケッチブロックは最度推定(MAP)又は最小平均二乗誤差(MMSE)により求められる。
【００５３】
【数１１】
【００５４】
ここで、「情報転送」方法により推理を行う。例えば、J. S. Yedidia, W. T. Freeman, and Y. Weiss,“Understanding Belief Propagation and Its Generalizations,”Exploring Artificial Intelligence in the New Millennium, ISBN 1558608117, Chap. 8, pp. 239-274, 2003(「確率伝搬と生成」、新世紀人工知能 ISBN 1558608117、第8章、第239-274頁、2003年)に開示された方法が用いられる。情報が局所領域からマルコフネットワークに沿って最適解に到達する。該当ネットワークが循環していない場合には、「情報転送」法則により精確に求められる。この部分の内容がW. T. Freeman, E. C. Pasztor, and O. T. Carmichael, “Learning Low-Level Vision,”International Journal of Computer Vision, 2000（「低レベル視覚の学習」、インターナショナル ジャーナル オブ コンピュータ ビジョン、2000年）に相応的に述べられた。
【００５５】
ノードjの最尤推定は式（７）である。
【００５６】
【数１２】
【００５７】
以上により、情報がネットワークに沿って転送する場合、一つのスケッチブロックは隣接するブロックからの情報を受信するだけでなく、より遠いブロックからの情報を受信することがわかる。
【００５８】
マルコフネットワークは循環がある場合、最尤推定と最小平均二乗誤差が計算できない。しかし、上述の転送規則が近似解の計算にも用いられる。試験結果により、最尤推定の効果がより良いが、最小平均二乗誤差はブラー効果がある。
【００５９】
ここで、確率伝搬規則を採用することを例として、マルコフ確率場の近似最適解について説明するが、マルコフ確率場の近似最適解を求める他の方法があることが理解できる。例えば、Y. Boykov, O. Veksler, and R. Zabih, “Fast Approximate Energy Minimization via Graph Cuts（画像切り取りにより早速に最小のエネルギーに近づく）” （IEEE Trans. on PAMI, Vol. 23, No. 11, pp. 1222-1239, 2001）における図分割方法を参照できる。
【００６０】
3.2 多重スケールマルコフネットワーク
単一スケールマルコフネットワークは、局所ブロックと大範囲との関連性を解決できない欠点がある。画家は一つの局所ブロックを描く時、通常、ブロックより大きい周囲の結構（構造）を参照する。ある場合に、二つの写真ブロックがよく似ているが、それらに対応するブロックが大きく異なっている。図８に示すように、鼻梁と頬の二つの写真ブロックがよく似ているが、相応するスケッチブロックが大きく異なっている。
【００６１】
ブロックの大きさは学習できる顔結構（構造）の大きさを決定する。しかし、ブロックが小さい場合に、三次元投影情報を表現する多少の影と多少の顔結構（構造）、例えば輪郭、眉毛、或いは鼻梁が失われる場合がある。ブロック大きさの増加により、これらの結構（構造）を学習することができる。しかし、ブロック対が大きいになる場合、生成するスケッチに、変形を招くモザイク効果が発生する。多重スケールマルコフ確率場を採用して、異なるスケールで顔結構（構造）を学習し、前記の欠点を超えることができる。
【００６２】
図９に示すように、一つの多重スケールマルコフ確率場モデルは、L（Lは1より大きい正の整数である）層の確率場x(1), x (2),…, x (L)により構成される。x(1)は最小スケールの確率場であり、そのブロックの大きさが最も小さい。x(L)は最大スケールの確率場であり、そのブロックの大きさが最も大きい。第n(0<n<L)層のあるノードがn-1のs2個のノードに分解される。これらのノードが異なるスケールに隣接するノードと定義される。ｓがスケール減少の比率である。ここで、x(n)の分布がスケールに隣接する層に依頼することを想定する。顔写真と顔スケッチの聯合確立は、式（１１）である。
【００６３】
【数１３】
【００６４】
【数１４】
【００６５】
該多重スケールマルコフネットワーク中に、前記単一スケールマルコフネットワークに採用される確率伝搬規則のようなものを採用して推理を行い、情報がさらに相違なスケール層の間に転送されることが唯一の区別である。ここで、本発明は最高の解像度層を採用して最終のスケッチ変換結果をする。
【００６６】
4．スケッチブロックの接合（ステップ108）
ステップ108では、ステップ106に接合して推定されたスケッチブロック
【００６７】
【数１５】
【００６８】
により、顔スケッチ全体を変換合成する。隣接するブロックは重なり合う領域があるから、スケッチ画像全体を変換するために、隣接するブロックに対して平均値を取るが、ブラー効果が発生する。逆に、本発明において、二つの重なっているブロック同士に最小誤差境界を探し、二つのブロックを最適なマッチングブロックにさせる。この部分の内容は、A. A. Efros and W. T. Freeman, “Image Quilting for Texture Synthesis and Transfer,” in Proceedings of SIGGRAPH’01, 2001(「テクスチャ合成と転化のための画像充填」、SIGGRAPH、2001年)を参照できる。図１０に示すように、曲線Cは二つの隣接するスケッチブロック
【００６９】
【数１６】
【００７０】
と、最小誤差境界
【００７１】
【数１７】
【００７２】
である。
【００７３】
5．認識マッチング（ステップ110）
ステップ108で入力された写真を顔スケッチに変換した後、ステップ110では、転化された顔スケッチをデータベースに記憶されたスケッチと認識してマッチングする。本発明において、大部分の写真に基づく顔認識方法が直接に顔スケッチの認識に用いられる。写真に基づく顔認識方法が公知の技術であるため、ここで詳細の説明を省略する。
【００７４】
以上、顔写真を顔スケッチに変換して顔スケッチ認識を行う方法を例として、本発明について説明を行った。しかし、上記に示すように、顔スケッチを顔写真に変換して顔写真認識を実現する方法は前記の方法と同様であり、相違は比較対象の変化のみである。
【００７５】
以下、顔写真を顔スケッチに変換することを例として、本発明の一つの実施形態による学習データ集合に基づく顔認識のためのシステム2000を説明する。図１１に示すように、システム2000は、前処理ユニット201、マッチングユニット202、選択ユニット203、合成ユニット204を備える。また、図12に示すように、本発明のもう一つの実施形態による学習データ集合に基づく顔認識のためのシステム2000が認識ユニットを備える。
【００７６】
前処理ユニット201は、一つの顔写真を受信するのに用いられ、かつ受信される顔写真に対して幾何校正と顔色空間の変換を行い、そしてそれを複数の画像ブロックに分割する。図４に示すように、分割された複数のスケッチブロックにおいて、隣接するブロックが互いに重なり合う。
【００７７】
マッチングユニット202は、分割された複数の画像ブロックのそれぞれに対して、学習データ集合における複数の顔写真からマッチングブロックを選択するのに用いられる。さらには、マッチングユニット202は、受信された写真において分割された複数の画像ブロックのそれぞれに対して、学習データ集合における顔写真の画像ブロックから複数のマッチングブロックを選択するように配置される。より具体的には、マッチングユニット202は、学習データ集合における写真中のそれぞれにおいて、受信された写真中において分割された複数写真ブロックのそれぞれに対する位置を確定し、かつ、確定された位置を基準にして、学習データ集合における顔写真のブロックのそれぞれにおいて領域を設定する。例えば、図５中の点線窓W1。マッチングユニット202は、設定された領域W1内において、顔写真ブロックが受信された写真において分割された複数の画像ブロックのそれぞれにマッチングするかどうかを判断し、マッチングするとマッチングするスケッチブロックがマッチングブロック候補を選択される。マッチングユニット202は、前述した単一スケールマルコフネットワーク、或いは多重スケールマルコフネットワークに準拠して前述の処理を行う。
【００７８】
選択ユニット203は、マッチングユニット202が学習データ集合における顔写真ブロックから選択したマッチングブロックに準拠して、学習データ集合におけるスケッチブロックからそれに対応するスケッチブロック。
【００７９】
合成ユニット204は選択したスケッチブロックを顔写真に合成する。合成ユニット204が二つの重なり合うスケッチブロックの間に最小誤差境界を見つけ、二つのブロックを最適なマッチングに到達させ、隣接するスケッチブロックが重なり合う領域を有することによるブラー効果を避ける。
【００８０】
認識ユニット205は、合成した顔写真を所定データベースにおける顔写真と認識してマッチングする。
【００８１】
以上、顔写真を顔スケッチに変換する方法を例として、本発明出願における一つの実施形態による学習データ集合に基づく顔認識ためのシステムを説明した。しかし、顔スケッチを顔写真に転化して顔写真認識を実現する方法は前記の方法と同様であり、相違は、比較対象の役目の変化のみであるので、ここで詳細の説明を省略する。
【００８２】
[実験結果]
以下の実験結果はホンコン中文大学学生データベースにおける188枚の顔、ARデータベースにおける123枚の顔、及びXM2VTSデータベースにおける295枚によるものであり、その中、一枚の顔がそれぞれ一つのスケッチ、正常光線と自然表情で撮影した写真を有する。その中、スケッチはテクスチャと形状で写真と異なり、図１３（ａ）-（ｃ）に示すように、図１３（ａ）におけるスケッチと写真がホンコン中文大学学生データベースに由来し、図１３（ｂ）におけるスケッチと写真がARデータベースに由来し、図１３（ｃ）におけるスケッチと写真がXM2VTSデータベースに由来する。
【００８３】
[顔スケッチ変換]
本発明は、発明者に対して、前述する三つデータベースで顔斜視を顔得に変換する試験を行う。ホンコン中文大学学生データベースにおいて、88枚の顔を学習データ集合として、残る100枚の顔をテスト集合とする。XM2VTSデータベースにおいて、100枚の顔を学習データ集合として、残る195枚の顔をテスト集合とする。ARデータベースにおいて、毎回一枚の顔を学習データ集合として、残る122枚をテスト集合（即ち、使い残り法）とする。図１４（ａ）-（ｃ）は、二層を有する多重スケールマルコフモデルを使ってスケッチ変換を行う結果である。図14(a)に変換しようとする写真を示し、図14(b)が写真に対応する画家により描いたスケッチである。該試験において使われる多重スケールマルコフモデルの第一層は、局所大きさが10×10であり。第二層は、局所大きさが10×10である。また、顔領域の大きさが200×250であり、公式(3)と(4)におけるパラメータがσｅ＝０．５、σｃ＝１である。
【００８４】
図15において、相違な回数の確率伝搬を行う後に生成するスケッチを示す。最初(0回重複)生成したスケッチ(図15(C)に示す)は、入力した画像と最もマッチングするスケッチブロックを接合し、スムース制限を考えていない。結果として、大きいノイズとモザイク効果がある。統計により、これらの推定するスケッチブロックにおいて、次いで80％を超えるのがマルコフ分析によって修正される。確率伝搬を5回繰り返した後に、収束する(図15(d)に示す)。確率伝搬が生成するスケッチの品質を著しく改善する。
【００８５】
図14において、二つ種類の推定方法、即ち最小平均二乗誤差と最尤推定を比較した。その中、図16(a)は変換しようとする写真を示す。図16(b)は写真に対応する、画家により描いたスケッチである。図14(C)は最小平均二乗誤差を使って生成するスケッチである。図16(d)は最尤推定によって生成するスケッチである。図16(c)に示すように、最小平均二乗誤差の結果はブラー効果がある。図16(d)に示すように、最尤推定の結果はより明晰な縁と輪郭があり、画家により描くスケッチとより似ている。
【００８６】
図17において、単一スケールマルコフ確率場と多重スケールマルコフ確率場変換を使った結果、その中、顔領域の大きさが200×250である。図17(a)は顔写真である。図17(b)は画家により描いたスケッチである。図17(c)は合成変換した顔スケッチで、ブロックの大きさが10×10である。図17(d)は合成変換した顔スケッチで、ブロックの大きさが20×20である。図17(e)は二層マルコフ確率場を使って合成するスケッチであり、そのうち、第一層ブロックの大きさが10×10であり、第二層ブロックの大きさが20×20である。図17から明らかに、単一スケールマルコフモデルにおいて、ブロックの寸法が小さい(10×10)と、影テクスチャと顔結構（構造）、例えば顔輪郭の下半部及ぶ耳が失われる場合がある。ブロックの寸法が大きいと、これらの結構（構造）を学習できる。しかし、ブロック寸法が大きい場合(20×20)に、変形とモザイクがある。図17(e)に示すように、マルコフ確率場を使用する場合に、大きいスケールのみにおいて学習することと比較し、変形とモザイクがより少ない。小さいスケールのみにおいて学習することと比較し、より多くの顔結構（構造）を変換できる。
【００８７】
図18(a)-(d)において、多重マルコフ確率場と整体主成分変換を使用する結果を比較し、その中、図18(a)に変換しようとする写真を示す。図18(b)に主成分変換を使用するスケッチを示す。図18(c)は、多重マルコフ確率場変換のスケッチである。図18(d)に画家により描いたスケッチを示す。図18(a)-(d) から明らかに、本願発明の変換方法は局所ブロックに基づくため、整体変換と比較して、局所テクスチャをよりよく変換でき、かつより少ないブラー効果、より少ないノイズとより明晰な縁を有する。整体主成分変換は、顔データが高次元空間においてガウス分布を呈すること、テスト顔が主成分変換(PCA)により学習データサンプルにおいてよく再構成できることが要求される。しかし、人の髪型は様式の上で変化が大きい。髪領域を含む場合に、顔のベクトルは近似のガウス分布を呈することができないので、顔写真もPCAによりよく再構成できない。図18(b)に示すように、主成分変換は髪生成の上で効果がより劣化になる。髪領域は顔の他の領域を変換する時にバラツキの発生を招く。図18(c)から明らかなとおり、本発明の変換方法により異なる髪型をよく変換できる。
【００８８】
図19に本発明の多重スケールマルコフ確率場合成のスケッチとQ. Liu等より提出された非線形法変換スケッチとの比較結果を示す。図19(a)は変換しようとする写真であり。図19(b)はQ. Liu等の非線形法による合成のスケッチであり。図19(c)はマルコフ確率場による生成のスケッチであり。図19(d)は画家により描くスケッチである。本発明のスケッチ変換計算方法により、ブロックマッチングを行うため、相対的により大きい計算量が必要である。積分計算と二次元フーリエ変換加速を行うことによって、3GHz CPUで2分間以内に一つのスケッチを生成できる。より多くのCPUブロックを配合して並列計算を行うと、スケッチの変換が更に速くになる。
【００８９】
[顔写真変換]
写真とスケッチの間の差を減少するように、顔スケッチ認識の階段で二つの対策がある：(a)まず、スケッチ変換方法によりデータベースにおける全ての写真をスケッチに変換させ、その後、クエリースケッチを変換されたスケッチとマッチングする。(b)クエリースケッチを写真に変換し、そして変換された写真をデータベースにおける写真とマッチングする。
【００９０】
写真とスケッチを同じタイプのデータに変換する後に、原則的に多くの提出された顔写真の認識方法は前記のデータを直接に顔認識に用いられる。以下の実験において、主成分分析(PCA)、ベイズ顔(Bayes)、フィッシャー顔、零空間線性識別器(Null-space LDA)、双対ベクトル空間線性識別器(Dual-Space LDA)及び無作為抽出線性識別器(RS-LDA)を含む部分空間顔認識方法を比較する。
【００９１】
具体的には、６０６枚の写真―スケッチ対が三つのサブセットに分割される。サブセットIにおける１５３枚の写真―スケッチ対が、写真―スケッチ変換の学習データ集合として使用される。サブセットIIにおける１５３枚の写真―スケッチ対が、部分空間分類器の学習データ集合として使用される。対策（a）について、サブセットIを学習データ集合として、サブセットIIにおける写真を最初にスケッチに変換する。次に、サブセットIIにおいて、変換できたスケッチと画家に描かれたスケッチとを部分空間分類器、たとえば、フィッシャーの顔とランダムサンプリング線形分析器の学習データ集合とする。対策（ｂ）も類似であり、唯一の違いがスケッチと写真を逆にすることである。サブセットIIIにおける３００枚の写真-スケッチ対はテストに使用される。
【００９２】
表１は、いろいろなスケッチ/写真変換方法および顔認識方法を採用する場合での認識率を示す。
【００９３】
全体に対する主成分変換を利用し、スケッチを変換する。顔写真のテクスチャと形状が最初に分けられ、スケッチのテクスチャと形状に変換され、最後に、合わせられ、認識に利用される。
【００９４】
多重スケールマルコフ確率場を利用し、スケッチを変換する（multiscale_MRF_SS）。これには対策（a）を利用する。
【００９５】
多重スケールマルコフ確率場を利用し、写真を変換する（multiscale_MRF_SP）。これには対策（a）を利用する。
【００９６】
【表１】
【００９７】
マルチ解像度マルコフ確率場(multiscale_MRF_SS)を利用し、スケッチを変換して、全体に対する主解像度より良好な結果を獲得した。多重スケールマルコフ確率場(multiscale_MRF_SP)を利用し、写真を変換し、さらに良好な結果を獲得した。いろいろなスケッチ/写真変換方法において、ランダムサンプリング線形分析器(RS-LDA)が常に最良な結果を獲得できる。
【００９８】
表２において、本発明による方法と伝統的な顔認識方法とを比較する。即ち、固有顔と弾性グラフマッチング（EGM）とQ.Liuなどが提出された非線形顔スケッチ認識(Nonlinear face sketch recognition)方法を示す。
【００９９】
以前、最初の顔スケッチ認識に関する研究では、固有顔とEGMが小型なデータ集合において、テストすることがある。しかし、大型なデータ集合においては、第一回マッチングの精度が３０％以下であり、第十回マッチングの精度が６０％以下の非常に低い認識率である。Q.Liuなどが提出された顔スケッチ認識方法では、局部のブロックに基づいてスケッチを生成するとともに、非線形分析分類器に基づいて認識を行う場合、第一回マッチング率は８６．７％であり、第十マッチング率は99％である。本発明による方法によって、第一マッチング率は９６．３％まで大幅に向上し、第十マッチング率が９９．７％まで向上した。
【０１００】
【表２】
【０１０１】
以上、本発明による顔画像認識の方法を説明した。しかし、前記は本発明を実現するための実施例にすぎず、本発明を限定するものではない。本発明の精神と原則に従って、本発明に対する任意の修正と同等な置き換えおよび改善は、すべて、本発明の範囲に含まれる。
【特許請求の範囲】
【請求項１】
学習データ集合に基づいて顔画像を合成する顔画像合成方法であって、
前記学習データ集合は、それぞれ複数の画像ブロック対に分割された画像対を複数有するものであり、
前記画像ブロック対の各自は第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、
前記顔画像合成方法は、
第一パターンのテスト用顔画像を受信するステップと、
受信された前記第一パターンのテスト用顔画像を複数の画像ブロックに分割するステップと、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップと、
選択されたマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定するステップと、
選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップと、
を備えることを特徴とする顔画像合成方法。
【請求項２】
前記合成された第二パターンの顔画像を、所定のデータベースにおける第二パターンのテスト用顔画像と認識してマッチングさせるステップを更に備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項３】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対してマッチングブロックを選択するステップが、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから複数のマッチングブロック候補を選択するステップと、
前記選択された複数のマッチングブロック候補において、分割した複数のテスト用ブロックのそれぞれに対し、最適なマッチングブロック候補を一つ選定するステップとを、
備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項４】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから複数のマッチングブロック候補を選択するステップは、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対応する位置を確定するステップと、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記確定された位置を基準にして領域の設定を行うステップと、
設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断し、マッチングすると判断された場合は、マッチングする画像ブロックを前記マッチングブロック候補として選定するステップと、
を備えることを特徴とする請求項３に記載の顔画像合成方法。
【請求項５】
前記設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断するステップは、単一スケールのマルコフネットワークモデルに基いて実現されることを特徴とする請求項４に記載の顔画像合成方法。
【請求項６】
前記設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断するステップは、多重スケールのマルコフネットワークモデルに基いて実現されることを特徴とする請求項４に記載の顔画像合成方法。
【請求項７】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップは、
単一スケールのマルコフネットワークをモデルとして、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップを備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項８】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップは、
多重スケールマルコフネットワークをモデルとして、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップを備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項９】
前記テスト用顔画像を分割した複数の画像ブロックにおいて、隣接する画像ブロック同士が重なり合う領域を有することを特徴とする請求項１に記載の顔画像合成方法。
【請求項１０】
前記学習データ集合において、隣接する第一パターンの画像ブロック同士も、隣接する第二パターンの画像ブロック同士も、それぞれ重なり合う領域を有し、
選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップは、
重なり合う領域を有する二つの画像ブロック毎に最小誤差境界を確定するステップと、
確定された最小誤差境界に基づいて、前記選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップと、
を備えることを特徴とする請求項９に記載の顔画像合成方法。
【請求項１１】
前記第一パターンの顔画像が顔写真であり、
前記第二パターンの顔画像が顔スケッチであることを特徴とする請求項１〜１０のいずれか一項に記載の顔画像合成方法。
【請求項１２】
前記第一パターンの顔画像が顔スケッチであり、
前記第二パターンの顔画像が顔写真であることを特徴とする請求項１〜１０のいずれか一項に記載の顔画像合成方法。
【請求項１３】
学習データ集合に基づいて顔画像を合成する顔画像合成システムであって、
前記学習データ集合は、それぞれ複数の画像ブロック対に分割された画像対を複数有するものであり、前記画像ブロック対の各自は第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、
前記顔画像合成システムは、
第一パターンの顔画像を受信すると共に、受信した第一パターンの顔画像を複数の画像ブロックに分割するための前処理ユニットと、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するためのマッチングユニットと、
選択された第一パターンのマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選択するための選択ユニットと、
選択された第二パターンの画像ブロックを第二パターンの顔画像として合成するための合成ユニットと、
を備えることを特徴とする顔画像合成システム。
【請求項１４】
合成された第二パターンの顔画像を、所定のデータベースにおける第二パターンのテスト用顔画像と認識してマッチングさせるための認識ユニットを更に備えることを特徴とする請求項１３に記載の顔画像合成システム。
【請求項１５】
前記マッチングユニットは、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから、複数のマッチングブロック候補を選択するステップと、
前記選択された複数のマッチングブロック候補において、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、最適なマッチングブロック候補を一つ選定するステップと、
を実行することにより、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを一つ選択するように設置されていることを特徴とする請求項１３に記載の顔画像合成システム。
【請求項１６】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから複数のマッチングブロック候補を選択する際には、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対応する位置を確定し、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記確定された位置を基準にして領域の設定を行い、
設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断し、マッチングすると判断された場合は、マッチングする画像ブロックを前記マッチングブロック候補として選定するように、
構成されることを特徴とする請求項１５に記載の顔画像合成システム。
【請求項１７】
前記マッチングユニットは、単一スケールマルコフネットワークモデルに基いて、設定された領域内において前記学習データ集合における第一パターンの画像ブロックが各自、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれにマッチングするかどうかを判断することを特徴とする請求項１６に記載の顔画像合成システム。
【請求項１８】
前記マッチングユニットは、多重スケールマルコフネットワークモデルに基いて、設定された領域内において前記学習データ集合における第一パターンの画像ブロックが各自、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれにマッチングするかどうかを判断することを特徴とする請求項１６に記載の顔画像合成システム。
【請求項１９】
前記マッチングユニットは、単一スケールのマルコフネットワークモデルに基いて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを一つ選択することを特徴とする請求項１３に記載の顔画像合成システム。
【請求項２０】
前記マッチングユニットは、多重スケールのマルコフネットワークモデルに基いて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択することを特徴とする請求項１３に記載の顔画像合成システム。
【請求項２１】
前記前処理ユニットが第一パターンの顔画像を分割した複数の画像ブロックにおいて、隣接する画像ブロック同士は重なり合う領域を有することを特徴とする請求項１３に記載の顔画像合成システム。
【請求項２２】
前記学習データ集合において、隣接する第一パターンの画像ブロック同士も、隣接する第二パターンの画像ブロック同士も、それぞれ、重なり合う領域を有し、
前記合成ユニットは、重なり合う領域を有する二つの画像ブロック毎に最小誤差境界を確定し、確定された最小誤差境界に基づいて、前記選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するように設置されることを特徴とする請求項２１に記載の顔画像合成システム。
【請求項２３】
前記第一パターンの顔画像が顔写真であり、
前記第二パターンの顔画像が顔スケッチであることを特徴とする請求項１３〜２２のいずれか一項に記載の顔画像合成システム。
【請求項２４】
前記第一パターンの顔画像が顔スケッチであり、
前記第二パターンの顔画像が顔写真であることを特徴とする請求項１３〜２２のいずれか一項に記載の顔画像合成システム。
【請求項１】
学習データ集合に基づいて顔画像を合成する顔画像合成方法であって、
前記学習データ集合は、それぞれ複数の画像ブロック対に分割された画像対を複数有するものであり、
前記画像ブロック対の各自は第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、
前記顔画像合成方法は、
第一パターンのテスト用顔画像を受信するステップと、
受信された前記第一パターンのテスト用顔画像を複数の画像ブロックに分割するステップと、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップと、
選択されたマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選定するステップと、
選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップと、
を備えることを特徴とする顔画像合成方法。
【請求項２】
前記合成された第二パターンの顔画像を、所定のデータベースにおける第二パターンのテスト用顔画像と認識してマッチングさせるステップを更に備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項３】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対してマッチングブロックを選択するステップが、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから複数のマッチングブロック候補を選択するステップと、
前記選択された複数のマッチングブロック候補において、分割した複数のテスト用ブロックのそれぞれに対し、最適なマッチングブロック候補を一つ選定するステップとを、
備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項４】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから複数のマッチングブロック候補を選択するステップは、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対応する位置を確定するステップと、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記確定された位置を基準にして領域の設定を行うステップと、
設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断し、マッチングすると判断された場合は、マッチングする画像ブロックを前記マッチングブロック候補として選定するステップと、
を備えることを特徴とする請求項３に記載の顔画像合成方法。
【請求項５】
前記設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断するステップは、単一スケールのマルコフネットワークモデルに基いて実現されることを特徴とする請求項４に記載の顔画像合成方法。
【請求項６】
前記設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断するステップは、多重スケールのマルコフネットワークモデルに基いて実現されることを特徴とする請求項４に記載の顔画像合成方法。
【請求項７】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップは、
単一スケールのマルコフネットワークをモデルとして、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップを備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項８】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップは、
多重スケールマルコフネットワークをモデルとして、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するステップを備えることを特徴とする請求項１に記載の顔画像合成方法。
【請求項９】
前記テスト用顔画像を分割した複数の画像ブロックにおいて、隣接する画像ブロック同士が重なり合う領域を有することを特徴とする請求項１に記載の顔画像合成方法。
【請求項１０】
前記学習データ集合において、隣接する第一パターンの画像ブロック同士も、隣接する第二パターンの画像ブロック同士も、それぞれ重なり合う領域を有し、
選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップは、
重なり合う領域を有する二つの画像ブロック毎に最小誤差境界を確定するステップと、
確定された最小誤差境界に基づいて、前記選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するステップと、
を備えることを特徴とする請求項９に記載の顔画像合成方法。
【請求項１１】
前記第一パターンの顔画像が顔写真であり、
前記第二パターンの顔画像が顔スケッチであることを特徴とする請求項１〜１０のいずれか一項に記載の顔画像合成方法。
【請求項１２】
前記第一パターンの顔画像が顔スケッチであり、
前記第二パターンの顔画像が顔写真であることを特徴とする請求項１〜１０のいずれか一項に記載の顔画像合成方法。
【請求項１３】
学習データ集合に基づいて顔画像を合成する顔画像合成システムであって、
前記学習データ集合は、それぞれ複数の画像ブロック対に分割された画像対を複数有するものであり、前記画像ブロック対の各自は第一パターンの画像ブロックと第二パターンの画像ブロックとをそれぞれ一つ有し、
前記顔画像合成システムは、
第一パターンの顔画像を受信すると共に、受信した第一パターンの顔画像を複数の画像ブロックに分割するための前処理ユニットと、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択するためのマッチングユニットと、
選択された第一パターンのマッチングブロックに基づいて、前記学習データ集合における前記画像ブロック対から当該マッチングブロックに対応する第二パターンの画像ブロックを選択するための選択ユニットと、
選択された第二パターンの画像ブロックを第二パターンの顔画像として合成するための合成ユニットと、
を備えることを特徴とする顔画像合成システム。
【請求項１４】
合成された第二パターンの顔画像を、所定のデータベースにおける第二パターンのテスト用顔画像と認識してマッチングさせるための認識ユニットを更に備えることを特徴とする請求項１３に記載の顔画像合成システム。
【請求項１５】
前記マッチングユニットは、
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから、複数のマッチングブロック候補を選択するステップと、
前記選択された複数のマッチングブロック候補において、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、最適なマッチングブロック候補を一つ選定するステップと、
を実行することにより、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを一つ選択するように設置されていることを特徴とする請求項１３に記載の顔画像合成システム。
【請求項１６】
前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して、前記学習データ集合における第一パターンの画像ブロックから複数のマッチングブロック候補を選択する際には、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対応する位置を確定し、
前記学習データ集合における第一パターンの画像ブロックのそれぞれにおいて、前記確定された位置を基準にして領域の設定を行い、
設定された領域内において、前記学習データ集合における第一パターンの画像ブロックが、それぞれ、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックにマッチングするかどうかを判断し、マッチングすると判断された場合は、マッチングする画像ブロックを前記マッチングブロック候補として選定するように、
構成されることを特徴とする請求項１５に記載の顔画像合成システム。
【請求項１７】
前記マッチングユニットは、単一スケールマルコフネットワークモデルに基いて、設定された領域内において前記学習データ集合における第一パターンの画像ブロックが各自、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれにマッチングするかどうかを判断することを特徴とする請求項１６に記載の顔画像合成システム。
【請求項１８】
前記マッチングユニットは、多重スケールマルコフネットワークモデルに基いて、設定された領域内において前記学習データ集合における第一パターンの画像ブロックが各自、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれにマッチングするかどうかを判断することを特徴とする請求項１６に記載の顔画像合成システム。
【請求項１９】
前記マッチングユニットは、単一スケールのマルコフネットワークモデルに基いて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを一つ選択することを特徴とする請求項１３に記載の顔画像合成システム。
【請求項２０】
前記マッチングユニットは、多重スケールのマルコフネットワークモデルに基いて、前記第一パターンのテスト用顔画像を分割した複数の画像ブロックのそれぞれに対して前記学習データ集合における第一パターンの画像ブロックからマッチングブロックを選択することを特徴とする請求項１３に記載の顔画像合成システム。
【請求項２１】
前記前処理ユニットが第一パターンの顔画像を分割した複数の画像ブロックにおいて、隣接する画像ブロック同士は重なり合う領域を有することを特徴とする請求項１３に記載の顔画像合成システム。
【請求項２２】
前記学習データ集合において、隣接する第一パターンの画像ブロック同士も、隣接する第二パターンの画像ブロック同士も、それぞれ、重なり合う領域を有し、
前記合成ユニットは、重なり合う領域を有する二つの画像ブロック毎に最小誤差境界を確定し、確定された最小誤差境界に基づいて、前記選定された第二パターンの画像ブロックを第二パターンの顔画像として合成するように設置されることを特徴とする請求項２１に記載の顔画像合成システム。
【請求項２３】
前記第一パターンの顔画像が顔写真であり、
前記第二パターンの顔画像が顔スケッチであることを特徴とする請求項１３〜２２のいずれか一項に記載の顔画像合成システム。
【請求項２４】
前記第一パターンの顔画像が顔スケッチであり、
前記第二パターンの顔画像が顔写真であることを特徴とする請求項１３〜２２のいずれか一項に記載の顔画像合成システム。
【図１】
【図２】
【図７】
【図１０】
【図１１】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図７】
【図１０】
【図１１】
【図１２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−６０２８９（Ｐ２０１１−６０２８９Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２０１０−２０１３９４（Ｐ２０１０−２０１３９４）
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（５１０２４２６３５）
【出願人】（５１０２４２６４６）
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（５１０２４２６３５）
【出願人】（５１０２４２６４６）
【Ｆターム（参考）】
[ Back to top ]