しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置
【課題】しわのエイジング及びディエイジングの現実的シミュレーションの方法及び装置を提供する。
【解決手段】表情画像内で見ることのできるしわをニュートラル画像の上に位置合わせし、しわのエイジングシミュレート画像を生成することによって、ニュートラル画像と表情画像を処理して、しわの経時変化をシミュレートする。その人自身のしわの組織学的データを用いるため、正確かつ現実的なしわのエイジングシミュレーションができる。同様に、目に見える全てのしわを除去し、しわのディエイジングシミュレート画像を生成する。更に、ニュートラル画像をエイジング又はディエイジングシミュレート画像とブレンドするが、ブレンドの度合いは、加齢による皮膚状態、及び／又は特定のタイプの処置の成果予想の統計的モデリングに基づく。用途としては、例えば、皮膚サイエンス、美容、及びコンピュータアニメーションなどの分野を含む。
【解決手段】表情画像内で見ることのできるしわをニュートラル画像の上に位置合わせし、しわのエイジングシミュレート画像を生成することによって、ニュートラル画像と表情画像を処理して、しわの経時変化をシミュレートする。その人自身のしわの組織学的データを用いるため、正確かつ現実的なしわのエイジングシミュレーションができる。同様に、目に見える全てのしわを除去し、しわのディエイジングシミュレート画像を生成する。更に、ニュートラル画像をエイジング又はディエイジングシミュレート画像とブレンドするが、ブレンドの度合いは、加齢による皮膚状態、及び／又は特定のタイプの処置の成果予想の統計的モデリングに基づく。用途としては、例えば、皮膚サイエンス、美容、及びコンピュータアニメーションなどの分野を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００７年７月２３日に出願された米国特許仮出願第６０／９５１，３１３号からの優先権を主張し、この特許は、その全体が参照として本明細書に組み込まれている。
【０００２】
（発明の分野）
本発明は、画像処理の分野、詳細には、皮膚の画像の処理、及びそのエイジング又はディエイジングのシミュレーションに関する。
【背景技術】
【０００３】
人の顔の外観（アピアランス）に及ぼす皮膚の老化の影響は、皮膚サイエンスで入念に研究及び文書化されている。各個人の皮膚の老化の進行は、内因性因子と外因性因子の双方に依存する。性別、人種、及び皮膚色素沈着のような内因性因子は、遺伝子によってプログラムされており、各個人によって異なるものであり、皮膚のひ薄化の速度、機械的弾性の喪失、及び加齢に伴うその他の特に特徴的な組織学的及び生体力学的変化に影響を及ぼす場合がある。内因性因子は、日光から保護されている身体部位と日光に曝露されている身体部位の双方に影響を及ぼす。外因性因子としては、個人の食生活、ライフスタイル、スキンケア習慣、及び日光曝露履歴が挙げられる。慢性的な日光曝露は、皮膚の老化の開始時期を早め、その重症度を加速させることがよく知られている（光老化ともいう）。顔を含む曝露身体部位はいずれも、ある程度の皮膚の光老化を受ける（ギルクレスト（Gilchrest）．，Ｂ．著、「光損傷（Photodamage）」、ブラックウェル・サイエンス社（Blackwell Science, Inc.）１９９５年）。
【０００４】
老化した顔面皮膚の最も視覚的に顕著な特徴の１つは、小じわとしわであり（レイデン（Leyden）Ｊ．Ｊ．著、「老化している皮膚の臨床的特徴（Clinical features of ageing skin）」、英国皮膚サイエンス会誌（Br. J. Dermatol.）第１２２巻、付録３５、１〜３ページ、１９９０年）、それらは、特に体の日光曝露区域内における、コラーゲン及びエラスチンのような皮膚結合組織の段階的変化及び喪失によって部分的にもたらされる（ベイリー（Bailey）著、「結合組織における老化の分子機構（Molecular mechanisms of aging in connective tissues）」、老化及び発達の機構（Mech. Aging Dev.）、第１２２巻、第７号、７３５〜７５５ページ、２００１年）。皮膚は、外側の角質層（１０〜２０μｍ）、生表皮（５０〜１００μｍ）、真皮（１〜３ｍｍ）、及び主に脂肪細胞からなる下皮を有する多層組織である。皮膚は、結合組織を介して下層の筋肉組織に結合しており、筋肉は頭蓋骨に付着している。
【０００５】
笑顔のような顔の表情によって、大頬骨筋及び眼輪筋のような筋肉が接触して、目の周囲及び頬で皮膚の表面積が縮小する。皮膚は非圧縮性であるため、表面積が縮小すると、余分な皮膚はよじれて、収縮方向と垂直なしわを形成する。目の周りに「目尻のしわ」又は「笑いじわ」ができることが、このようなしわの一般例である。筋肉が緩むと、表面積は通常の状態に戻り、しわが消える。このように形成及び消滅するしわは、表情しわ、動的しわ、又は一時しわという。加齢に伴い、同じ皮膚溝沿いでの顔の表情の繰り返しによってもたらされる機械的応力によって、最終的に、これらの一時的しわは、表情なしでも目に見えるようになる（クリグマン（Kligman）ら著、英国皮膚サイエンス会誌（Br. J. Derm.）、１９８５年、第１１３巻、３７〜４２ページ）。顔の表情なしでも目に見えるしわは、恒久的しわ、永続的しわ、又は静的しわという。一時的しわから永続的しわへの転換は、下層の真皮マトリックスタンパク質の構造的一体性の影響を受ける。慢性的な日光曝露、及び喫煙によって加速される、加齢による皮膚弾性の喪失は、真皮マトリックス構造を弱め、恒久的しわの開始時期を早める。重要なことに、各個人は、指紋が人によって異なるのと同様に、長さ、幅、深さ、及び顔における位置の面で人によって異なる恒久的顔面しわを発生させる。
【０００６】
個人の今後現れてくる顔面皮膚のしわを予測及び視覚化する機能は、コンピュータアニメーション、顔認識、行方不明者の識別、娯楽、医療、及び美容において有用性をもたらす。老化している顔面の現実的シミュレーションを可能にするために、幾何モデル、物理モデル、生体力学的モデル、及び画像ベースのモデル（フセイン（Hussein），Ｋ．Ｈ．著、「人の皮膚老化アニメーションの現実的な顔面モデリング及び再レンダリング（Toward realistic facial modeling and re-rendering of human skin aging animation）」、シェイプ・モデリング・インターナショナル２００２（Shape Modeling International 2002）会報、ＩＥＥＥコンピュータソサエティ（IEEE Computer Society）、２００２年）を含め様々なモデルが採用されてきた。視覚化の目的では、画像ベースのモデルの方が、物理モデルよりも現実的なシミュレーションを生成する。画像ベースのモデルは典型的に、様々な方法で実在の人の画像を用いて、老化の影響をシミュレートする。
【０００７】
画像ベースのモデルを用いてエイジングシミュレーションをパーソナライズして、そのシミュレーションが、特定の人の今後現れてくる老化の外観を更に正確に描写するようにするために、いくつかのアプローチが取られてきた。例えば、個人の老化した外観をシミュレートするために、加齢に伴う顔の変化に関する公表済みのデータと併せて、画像の集団コホートに基づき、エイジングアルゴリズムが開発されてきた（ハイサート（Hysert）ＰＥら著、「ありのままで：老化進行ソフトウェアは、喫煙の外観に対する影響のパーソナライズ化したデモンストレーションを提供する（At Face Value: age progression software provides personalized demonstration of the effects of smoking on appearance）」、タバコ・コントロール（Tobacco Control）、第１２巻、２３８〜２４０ページ、２００３年）。この方法の限界は、エイジド画像が、集団ノルムの反映物であり、人によって異なる老化プロセスを必ずしも反映していない点である。
【０００８】
ボワシュ（Boissiux）らは、皮膚の老化をシミュレートする画像ベースのモデルを開発し、このモデルによって、事前にコンピュータ処理したしわの汎用マスクを、人の顔の３Ｄモデル上のテクスチャとして適用する。８つの基本マスクを採用し、シミュレートを行う人の性別、顔の形、及び表情のタイプに、用いられる特定のマスクをマッチさせる（ボワシュ（Boissiux）ら著、「美容的観点による、皮膚の老化及びしわのシミュレーション（Simulation of skin aging and wrinkle with cosmetic insight）」、コンピュータアニメーション及びシミュレーション（Computer Animation and Simulation）、１５〜２７ページ、２０００年）。このアプローチも、汎用マスクへの依存により、加齢に伴い現れる、人によって異なる皮膚特徴を正確に予測する能力において制限される。
【０００９】
「画像ベースの表面細部転写のシステム及び方法（System and method for image-based surface detail transfer）」という名称のチャン（Zhang）らの米国特許第７，０２０，３４７号は、若い顔を老けて見えるようにするために、老いた顔の幾何学的細部を若い顔の幾何学的細部の上に転写する方法を説明している。逆に言えば、老けた顔を若く見えるようにするために、若い顔の表面細部を老けた顔の表面細部の上に転写することができる。このアプローチは、老けた顔の老化特徴が必ずしも、若い顔が最終的にもたらす特徴と全く同じにはならないことによって制限される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許仮出願第６０／９５１，３１３号
【特許文献２】米国特許第７，０２０，３４７号
【非特許文献】
【００１１】
【非特許文献１】ギルクレスト（Gilchrest）．，Ｂ．著、「光損傷（Photodamage）」、ブラックウェル・サイエンス社（Blackwell Science, Inc.）１９９５年
【非特許文献２】レイデン（Leyden）Ｊ．Ｊ．著、「老化している皮膚の臨床的特徴（Clinical features of ageing skin）」、英国皮膚サイエンス会誌（Br. J. Dermatol.）第１２２巻、付録３５、１〜３ページ、１９９０年
【非特許文献３】ベイリー（Bailey）著、「結合組織における老化の分子機構（Molecular mechanisms of aging in connective tissues）」、老化及び発達の機構（Mech. Aging Dev.）、第１２２巻、第７号、７３５〜７５５ページ、２００１年
【非特許文献４】クリグマン（Kligman）ら著、英国皮膚サイエンス会誌（Br. J. Derm.）、１９８５年、第１１３巻、３７〜４２ページ
【非特許文献５】フセイン（Hussein），Ｋ．Ｈ．著、「人の皮膚老化アニメーションの現実的な顔面モデリング及び再レンダリング（Toward realistic facial modeling and re-rendering of human skin aging animation）」
【非特許文献６】シェイプ・モデリング・インターナショナル２００２（Shape Modeling International 2002）会報、ＩＥＥＥコンピュータソサエティ（IEEE Computer Society）、２００２年）
【非特許文献７】ハイサート（Hysert）ＰＥら著、「ありのままで：老化進行ソフトウェアは、喫煙の外観に対する影響のパーソナライズ化したデモンストレーションを提供する（At Face Value: age progression software provides personalized demonstration of the effects of smoking on appearance）」、タバコ・コントロール（Tobacco Control）、第１２巻、２３８〜２４０ページ、２００３年
【非特許文献８】ボワシュ（Boissiux）ら著、「美容的観点による、皮膚の老化及びしわのシミュレーション（Simulation of skin aging and wrinkle with cosmetic insight）」、コンピュータアニメーション及びシミュレーション（Computer Animation and Simulation）、１５〜２７ページ、２０００年
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、特定の人に独特な、今後現れてくる個人の顔面皮膚のしわをより正確に予測及び視覚化する方法を提供することである。本発明の別の目的は、例えば該当する人の性別、皮膚のタイプ、及び／又は人種に基づき、将来の特定の時点における個人の顔面皮膚のしわを予測する方法を提供することである。本発明の更に別の目的は、美容外科又は皮膚科的処置の有無にかかわらず、今後現れてくる個人の顔面皮膚のしわを予測及び視覚化する方法を提供することである。
【課題を解決するための手段】
【００１３】
例示的な実施形態では、本発明は、１つ以上の顔の表情を有する人の１つ又は複数の画像（表情画像という）と、自然な表情又はリラックスした表情を有する同じ人の画像（ニュートラル画像という）に基づき、予測されるしわの外観を描写する、人の画像を生成するための方法及びシステムを提供する。
【００１４】
本発明の１つの態様によれば、装置及び方法は、人のニュートラル画像と表情画像を加工して、その特定の人に合わせてパーソナライズされた、しわのエイジド画像を生成する。本発明の例示的な実施形態は、人自身の組織学的なしわデータを用いて、予測されるしわの経時変化をシミュレートし、それによって、しわの経時変化の更に正確かつ現実的なシミュレーションをもたらす。
【００１５】
本発明の更なる態様では、顔の自然な形相又はリラックスした形相に影響を及ぼすことなく、顔の表情画像で検出されたしわを、顔のニュートラル画像の上に転写し、しわの経時変化の現実的な予測を作り出す。
【００１６】
本発明の別の態様では、異なる表情画像を用いて、顔の異なる部分のしわを描写すると共に、複合的なしわのエイジド画像をレンダリングするようにできる。例えば、額のしわは、眉をひそめた表情によってより明白になる一方で、頬のしわ及びほうれい線のしわは、笑った表情によってより明白になる。顔のその他の表情を、顔の他の領域のしわに、より密接に適合させてもよい。例示のために、笑った表情と眉をひそめた表情について説明しているが、本発明は多種多様な顔の表情を用いて、顔の様々な領域のしわの経時変化をシミュレートすることができる。
【００１７】
本発明の別の態様では、ニュートラル画像と、しわのあるエイジド画像をブレンドすることができ、特定の期間後のしわのあるエイジド画像を示すレンダリング画像を得るために、そのブレンドの度合いを制御機構（例えば、スライダー制御、ノブなど）で調節する。
【００１８】
本発明の更なる態様では、統計的なしわのエイジングモデルに従って、ニュートラル画像と、しわのあるエイジド画像をブレンドする度合いを調節して、将来の特定の時点の個人において予測されるしわの経時変化の量をシミュレートすることができる。しわの統計的なエイジングモデルは好ましくは、例えば、その人の性別、皮膚のタイプ、民族及び／又は地理的所在地に基づいて、その特定の個人に対応するピアグループから得ることができる。母集団データに基づいて統計的なしわのエイジングモデルを抽出すると共に、皮膚の欠陥の重症度を定量化するのに用いることができる技術は、「皮膚の画像化及び分析のシステム及び方法（Skin imaging and analysis systems and methods）」という名称のヒレブランド（Hillebrand）らの米国特許第６，５７１，００３号に記載されており、この特許は、その全体が、参照として本明細書に組み込まれる。しわの検出及びエイジングシミュレーションは、２００７年３月２日に出願された「顔面皮膚のエイジング及びディエイジングのシミュレーションのための方法及び装置（Method and apparatus for simulation of facial skin aging and ディエイジング）」という名称の米国特許出願公開第１１／６８１，５０９号に記載されており、この特許は、その全体が参照として本明細書に組み込まれる。
【００１９】
上記のしわのエイジド画像と同様に、制御機構（例えば、スライダー制御、ノブなど）で調節したブレンド度で、ニュートラル画像としわのディエイジド画像をブレンドして、様々なしわのディエイジング度を示すレンダリング画像を得ることができる。顔の画像に現れているしわの検出及び除去に基づいて、顔の上に、しわのシミュレート済みディエイジングを示すしわのディエイジド画像は、上記の米国特許出願公開第１１／６８１，５０９号に記載されているように生成することができる。このようなディエイジド画像を用いて、局所製剤、注射可能な充填剤、注射可能なボツリヌス毒素、フラクショナルリサーフェイシング、光／レーザー治療などのような処置を利用した後のしわの軽減結果を例示することができる。しわのディエイジングの程度は、特定のタイプの処置に基づくしわのディエイジングモデルにリンクさせることができる。しわのディエイジングの程度は、該当する個人のピアグループ（例えば、性別、皮膚のタイプ又は地勢）に対応する上記の統計的なエイジングモデルにもリンクさせることができる。
【００２０】
本発明の上記及び他の態様及び特徴は、以下の図面及び発明を実施するための形態から明らかになるであろう。
【図面の簡単な説明】
【００２１】
【図１】本発明による、人のニュートラル画像と表情画像を用いてシミュレートされた、しわのエイジド画像を生成する代表的な方法のハイレベルフローチャート。
【図２】本発明の例示的な実施形態による、ニュートラル画像と表情画像との間の対応検出アルゴリズムのフローチャート。
【図３】本発明による、表情画像からのしわをニュートラル画像の上に転写するための代表的な弾性位置合わせ及びマッピングアルゴリズムのフローチャート。
【図４Ａ】本発明による、しわのエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのエイジングモデルに基づいている方法のフローチャート。
【図４Ｂ】本発明による、しわのエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのエイジングモデルに基づいている方法のフローチャート。
【図５】本発明による、特定の期間後のしわの経時変化をシミュレートするために、図４Ａ及び４Ｂの方法で用いることができる、サンプルのしわのエイジングモデルを示すグラフ。
【図６Ａ】しわのディエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのディエイジングモデルに基づいている方法のフローチャート。
【図６Ｂ】しわのディエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのディエイジングモデルに基づいている方法のフローチャート。
【図７Ａ】本発明による、特定の期間後のしわのディエイジングをシミュレートするために、図６Ａ及び６Ｂの方法で用いることができる、サンプルのしわのエイジングモデルを示すグラフ。
【図７Ｂ】本発明による、特定の期間後のしわのディエイジングをシミュレートするために、図６Ａ及び６Ｂの方法で用いることができる、サンプルのしわのエイジングモデルを示すグラフ。
【図８】しわのディエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、処置代替策及びその有効性予測のデータベースに基づいている方法のフローチャート。
【図９】しわ画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、ライフスタイル因子及びその因子の顔のしわへの影響予測のデータベースに基づいている方法のフローチャート。
【図１０】本発明による、顔全体の斜位像に基づいた代表的な方法によって生成した代表的な顔面皮膚マップ、及びいくつかの説明的な主要顔面特徴点。
【図１１Ａ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像
【図１１Ｂ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像。
【図１１Ｃ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像。
【図１１Ｄ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像。
【図１２Ａ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｂ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｃ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｄ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｅ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｆ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｇ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｈ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【発明を実施するための形態】
【００２２】
代表的な実施形態の概要
図１は、本発明による、代表的なしわのエイジングシミュレーション法を示すハイレベルフローチャートである。１０１Ａでは、従来のデジタルカメラによるなどして、ニュートラルな状態（リラックスした状態又は表情のない状態ともいう）にある人の顔のクローズアップ顔写真を標準光の下で撮影する。１０１Ｂでは、表情を有する同じ被験者の写真を同じ条件下で撮影する。本発明は、いずれの特定の顔の表情にも制限されず、例えば、笑った表情、眉をひそめた表情、ふくれっ面、ウインク、横目、又は驚いた表情を含め、表情の画像を生成するために、しわを引き起こす、あらゆる顔の表情も潜在的に用いることができると考えられる。
【００２３】
標準化されかつ再現可能な照明条件及び画像位置合わせを提供するために、キャンフィールド・サイエンティフィック社（Canfield Scientific, Inc.）から入手可能なＶＩＳＩＡコンプレクション・アナリシス・システム（VISIA Complexion Analysis System）（以下ＶＩＳＩＡという）のような自動又は制御顔画像撮影システムによって、２つの画像を好ましくは撮影する。更には、斜位像又は正面像のいずれかで２枚の写真を撮影してもよい。本実施形態では、目尻のしわのような、しわを有する顔面皮膚区域及びほうれい線区域をより良好に表示するために斜位像を用いる。
【００２４】
例示的な実施形態では、１０１Ａ及び１０１Ｂで得た標準光画像をＲＧＢ（赤、緑、青）カラーの画像として表すことができる。１０２Ａでは、マスキング手順と顔面特徴の検出をニュートラル画像に施す。マスキング手順では、顔の特定の区域、特に、例えば目尻のしわのようなしわを含む区域、及びほうれい線区域の輪郭を描く必要がある。顔面特徴の検出では、関心のある特定の顔面特徴を特定する一連の顔面特徴点を生成する。マスキング及び顔面特徴の検出プロセスについては、後で更に詳細に説明する。同様に、１０２Ｂでは、マスキング及び顔面特徴の検出を表情画像に施す。
【００２５】
下記の位置合わせ及びマッピングプロセスで用いるものとして、一連のニュートラル画像の顔面特徴点１０３Ａを１０２Ａで、一連の表情画像の顔面特徴点１０３Ｂを１０２Ｂでそれぞれ生成する。これに加えて、マスキング済みニュートラル画像１０４Ａを１０２Ａで生成し、マスキング済み表情画像１０４Ｂを１０２Ｂでそれぞれ生成する。
【００２６】
作業は、続いて１０５に進み、この１０５では、マスキング済みニュートラル画像１０４Ａとマスク済み表情画像１０４Ｂとの間で対応マッチングプロセスを行う。対応マッチングプロセスでは、一連の対応画像点を生成する。特徴ベースの対応マッチングプロセスについては、後で更に詳細に説明する。
【００２７】
対応マッチング・プロセスによって生成された対応画像点に基づいて、１０７で弾性位置合わせプロセスを行う。弾性位置合わせプロセスでは、表情画像の各ピクセルからニュートラル画像の対応するピクセルへのマッピングをもたらす。弾性位置合わせプロセスについては後で説明する。
【００２８】
１０７で生成された弾性位置合わせマッピングに基づいて、１０９で表情画像からニュートラル画像へのしわのマッピングを行う。マスキング済み表情画像の全体、マスキング済み表情画像のサブセクション若しくはパッチ（例えば、目尻のしわ、眼窩周囲区域、ほうれい線）、又は表情画像から検出したしわ座標によるしわ間ベースで、マッピングを行うことができる。「顔面皮膚の経時及びディエイジングのシミュレーションのための方法及び装置（Method and apparatus for simulation of facial skin aging and de-aging）」という名称の米国特許出願公開第１１／６８１，５０９号は、特定のマスク内でしわを検出する方法を説明している。１０９で行うプロセスについては、後で詳細に説明する。
【００２９】
上述のとおり、（１０９で）マスキング済み表情画像内のしわをパッチ間ベースで、ニュートラル画像に転写することができる。しかし、潜在的な陰影差と色差が原因で、転写済みパッチとニュートラル画像との間の境界線沿いにミスマッチが存在する場合もある。このようなアーチファクトは、１１１の画像モザイク化技術を用いて除去することができる。この実施形態で用いるのに好ましい画像モザイク化技術では、バート（Burt）及びアデルサン（Adelsan）による「画像モザイクへの用途による多重解像度スプライン（A multi-resolution spline with application to image mosaics）」（ＡＣＭトランザクションズ・オン・グラフィックス（ACM transactions on Graphics）第２巻、第４号、１９８３年１０月）によって説明されているような多重解像度分解技術を用いる。その他の既知のブレンド技術も用いることができる。
【００３０】
モザイク化技術を通じて境界アーチファクトを除去した後、１１３でしわのシミュレート画像を生成する。この画像は、シミュレートなしでは表情画像のみで明白である動的しわをニュートラル画像の上に描いており、これによって、時間に伴うしわの経時変化の現実的な描写を提供する。
【００３１】
画像内のしわを更に見えやすく表示するために、しわのシミュレート画像（１１３）の画質を更に向上させることができる。このような向上作業は、米国特許出願公開第１１／６８１，５０９号に記載されているようなしわのエイジングシミュレーション方法を用いて行うことができる。この技術は、顔のしわを検出及び強調する。その他の特徴増大技術（例えば、輪郭強調法）を用いて、しわの経時変化の影響を更に劇的にすることもできる。
【００３２】
マスキング、及び顔面特徴の検出
しわのエイジングシミュレーションは好ましくは、しわとほうれい線を含む顔の皮膚区域の上で行わなければならない。本発明の例示的な実施形態では、例えば、唇、毛、目、眉、及び鼻孔といった顔の皮膚以外の区域は、シミュレーションから除外する。顔の前記皮膚区域を検出する技術は、米国特許出願公開第１１／６８１，５０９号に記載されている。この方法は、皮膚マップを生成し、顔の皮膚領域の輪郭を描くと共に、唇、目、眉、及び毛のような皮膚以外の区域を取り除く。
【００３３】
斜位像の代表的な顔面皮膚マップは、図１０に示されている。この皮膚マップから、いくつかの主要な顔面特徴点を識別できると共に、顔のしわ区域を覆うマスクを設計することができる。例えば、目の角部である点Ａ及び点Ｂは、皮膚マップ内で輪郭が描かれている目の区域の最右点及び最左点として、マークが付されている。顔面特徴点Ｃは、目のラインと鼻筋との交点として画定されている。顔面特徴点Ｄは、鼻の頂点である。顔面特徴点Ｅは、鼻に近接する、ほうれい線の頂点である。顔面特徴点Ｆは、唇の角部である。これらの顔面特徴点を用いて、顔のある特定区域を覆う特定のマスクを設計することができる。例えば、顔面特徴点Ｂを通るように描かれている水平な点線を上端として、顔面特徴点Ｆを通るように描かれている水平な点線を下端として用いて、目の高さよりも下であり、唇の高さよりも上である皮膚区域を覆うマスクを設計することができる。
【００３４】
本発明は、弾性位置合わせプロセスにおいて、上記の顔面特徴点のいくつかを用いる。好ましい実施形態では、３つの顔面特徴点Ａ、Ｂ、及びＥは、ニュートラル画像と表情画像との間で一貫して識別することのできる優れた目印点である。これらの顔面特徴点の識別は、対応マッチングプロセスを補助し、位置合わせを容易にすることになる。
【００３５】
特徴ベースの対応マッチング
図２は、代表的な特徴ベースの対応マッチングプロセスであって、ニュートラル画像と表情画像のマスキング済み部分をインプットとしてみなし、位置合わせプロセスで用いられる一連の対応する制御点を戻すプロセスのフローチャートを示している。特徴ベースの対応マッチングプロセスは、両方の画像上の同じ皮膚特徴を見つけることに基づいている。
【００３６】
まず、マスキング済みのニュートラル画像１０４Ａ（図１の画像）を２０１Ａで、マスキング済みの表情画像１０４Ｂ（図１の画像）を２０１Ｂで、それぞれ処理して特徴画像を生成する。特徴画像では皮膚の特徴が強調されており、オリジナル画像よりも対応マッチングに有効であることが分かる。本発明における好ましい特徴画像は、標準的なＲＧＢ画像の青チャンネルと緑チャンネルの平均である。青及び緑チャンネルは、色素沈着の斑点及び毛穴を、より良好に示すことが知られている。これらの特徴は、青色及び緑色のスペクトル内において、より高い吸収を見せるためである。例えば、強度画像、若しくはＣＩＥ ＬＡＢ変換画像の明度（Ｌ）チャンネル、又はその他の既知のコントラスト生成技術を用いるコントラスト画像など、特徴画像を生成するためのその他の技術も用いることもできる。
【００３７】
ニュートラル画像及び表情画像を生成したら、２０３で、ニュートラル画像に基づいて、斑点特徴（例えば、褐斑、大きい毛穴など）を検出して、ラベリングする。表情画像内にはゆがみが存在するため、斑点特徴は、表情画像よりもニュートラル画像での方が簡単に検出される。米国特許出願公開第１１／６８１，５０９号は、強調又はコントラスト画像から斑点特徴を検出するプロセスを説明している。顕著な特徴（例えば、特定の寸法及び上記のいくらかのコントラスト閾値よりも大きいもの）の方が、表情画像で検出可能である可能性が高いため、対応マッチングには、顕著な特徴のみが用いられることに留意されたい。
【００３８】
特徴を検出してラベリングした後、２０５で顕著な皮膚特徴を探し出す。これを行う際には、表情画像を特定の寸法のブロックに分割する。ブロックの寸法は好ましくは、所望の数の対応点に基づいている。各ブロックにおいて、最も顕著な機構を探し出し、バウンディングボックスで囲む。このバウンディングボックスを用いて、ニュートラル特徴画像（２０１Ａの画像）から矩形パッチを切り取り、表情特徴画像（２０１Ｂの画像）内で同じ特徴を検索するためのテンプレートとして用いる。テンプレートマッチング技術を２０７で用いて、表情特徴画像内で、対応する小さい矩形パッチの場所を探し出す。テンプレートマッチング技術では、正規化相互相関測度を用いて、マッチングする特徴の場所を探し出すが、この目的のために、その他のメトリクス（例えば、相互情報（ＭＩ）、ヒストグラム差のエネルギー（ＥＨＤ）など）も用いることができる。マッチングメトリクスが、特定の閾値を下回る場合、いくつかのマッチングを除外することができる。例えば、正規化相互相関においては、０．５の閾値を用いて、不十分な対応を除外することができる。ニュートラル画像内の各ブロックにおいて、このプロセスを反復し、一連の対応点（ニュートラル画像点及び表情画像点）をプロセス２０５及び２０７から戻す。これらの一連の点に、ニュートラル画像顔面特徴点１０３Ａと表情画像顔面特徴点１０３Ｂを自動又は手動のいずれかで加えることができる。これらの顔面特徴点（例えば、目の角部、ほうれい線の頂点）は、図１に示されているプロセスの１０２Ａ及び１０２Ｂで事前に定めたものである。これらの点を追加すると、特に目の周りにおいて、しわの位置合わせが向上するはずである。
【００３９】
２０９では、マッチング点の妥当性を検証するために、ある手順を行う。例えば、不当にマッチしたペアを除去するために、ドロネー三角形分割（Delaunay tringularization）などの幾何学的技術を用いる様々な妥当性検証手順がある。例示的な実施形態では、３つの対応点に対して三角形幾何を用い、三角形の角度と長さに基づいて三角形の類似性測度を用いて、外れ値を除外する。三角形幾何は、既に探し出した２つのマッチングターゲット点、及び３つの対応する基準点によって形成された三角形に基づき、ターゲット点のおおよその場所を予測するのにも用いることもできる。このようなプロセスは、探索空間を縮小させ、対応マッチングを向上させ、処理時間を短縮する。
【００４０】
マッチング点の妥当性検査（２０９）の後も、ぴったりマッチしているわけではない点のペアがいくつか残っている場合がある。２１１では、例えば、ラベル化された対応点を有する両方の画像を表示するグラフィカルユーザーインターフェース（ＧＵＩ）ツールによって、これらのペアを手動で補正することができる。これらの画像は好ましくは、２０１Ａ及び２０１Ｂで生成された特徴画像であるが、オリジナルのニュートラル画像と表情画像であることもできる。オペレーターは、ミスマッチの対応点を補正するか、新たな対応点を加えるか、又は、外れ点を除去することができる。この手動操作後には、全ての対応点がマッチするはずである。ミスマッチのペアによって、表情画像からのしわをニュートラル画像に転写するとき、最終的なシミュレート画像上に望ましくないアーチファクトが生じる場合がある。
【００４１】
弾性位置合わせ及びマッピング
代表的な弾性位置合わせ及びマッピングプロセスが図３に示されている。表情画像からのしわをニュートラル画像の上に位置合わせするために、まず、関心領域（すなわち、マスキング済み領域）内における表情画像とニュートラル画像との間の空間マッピングを定める。ニュートラル画像及び表情画像のマスキング済み領域を用いて、一連のマッチング制御点を探し出し、この制御点を用いて、マッピングを画定することになる。対応マッチング後に得られた一連のニュートラル画像制御点及び表情画像制御点に基づいて、弾性位置合わせ技術を用いて、２つの画像間の一対一の空間マッピングを画定できる。マッピングが確立されたら、表情画像からのしわをニュートラル画像の適切な場所に転写することができる。
【００４２】
図３は、ニュートラル画像と表情画像との間の弾性位置合わせ及びマッピングの代表的なプロセスのフローチャートである。用いることができるその他の位置合わせ技術のうち、ニュートラル状態から表情を有する状態に移り変わる顔のモーフィングをもたらす弾性位置合わせが好ましい。様々な既知の弾性位置合わせ技術（例えば、薄板スプライン（ＴＰＳ）、多重二次（ＭＱ）、区分的線形（ＰＬ））があり、これらのうちのいくつかは、画像処理ソフトウェアパッケージの一部として含まれている。本発明の好ましい実施形態は、生体医学画像の位置合わせで広く用いられているＴＰＳ技術を用いており、高度な弾性を有する２つの画像の間のスムーズなマッピングを画定するのに、より適している。
【００４３】
図２の対応マッチングプロセスで生成されたニュートラル画像制御点２１３Ａ及び表現画像制御点２１３Ｂを３０１で用いて、弾性位置合わせのパラメーターを定める。この目的で用いることのできる一連の対応点から、ＴＰＳ位置合わせパラメーターを見積もる方法は、ブックスタイン（Bookstein）ら、「主ゆがみ：薄板スプライン及び変形分解（Principal Warps: Thin-Plate Splines and the Decomposition of Deformations）」（ＩＥＥＥトランザクションズ・オブ・パターン・アナリシス・アンド・マシン・インテリジェンス（IEEE Transactions on Pattern Analysis and Machine Intelligence）第１１巻、第６号、１９８９年６月）に記載されている。
【００４４】
続いて、３０１で定めたＴＰＳパラメーターを３０３で用いて、表情画像の関心区域の座標をニュートラル画像にマッピングする。このような関心区域は、しわを含み、本明細書では、しわパッチとも称する。しわパッチは、しわを含むマスキング済み表情画像（１０４Ｂ、図１）の全部又はサブセクションであることができる。３０２では、マスキング済み表情画像内で、１つ以上のしわパッチの輪郭を描く。例示的な実施形態では、原画像の上のマスクをオーバーレイして、オペレーターが、マスク内の画像の所望の部分（１つ又は複数）を手動で選択できるようにすることによって、マスキング済み表情画像内で、１つ以上のしわパッチの輪郭を描くことができる。あるいは、オペレーターは、マスクを使用することなく、皮膚領域に固定された画像から、しわパッチを選択することができる。パッチの輪郭描写も、好適なアルゴリズムに従って自動的に行ってよい。したがって、マスキング済み表情画像の全体をニュートラル画像にマッピングする代わりに、本発明の方法によって、マスキング済み表情画像内のサブセクション又は関心領域のみをマッピングするのが可能になる。
【００４５】
３０３での弾性マッピングの適用によって、新しい一連の座標が得られ、この座標は、位置合わせ済みマスク座標と称され、しわパッチ座標からニュートラル画像へのマッピングを画定する。しかし、このマッピングは、一対一のマッピングであることは保証されておらず、すなわち、位置合わせ済みパッチ座標に不連続性（ピクセル落ち）が存在する場合がある。このような不連続性を排除するために、補間又は平滑化手順を３０５で行って、連続的マッピング、すなわち、１つ又は複数の連続的パッチを構築することができる。この目的においては、本発明の好ましい実施形態では、位置合わせ済みマスク座標から新しい１つ又は複数のパッチを生成した後、小さい円形構造要素による形態的スムージングを用いる。当該技術分野において既知のその他の補間技術も用いてよい。
【００４６】
３０５で、スムーズかつ連続的である新しい１つ又は複数のパッチを得た後、このパッチ内で、新しい座標一式３０７を定義し、３０３で生成した位置合わせ済みマスク座標をこれに差し替える。座標３０７は、ニュートラル画像の連続的しわマスク座標と称する。座標３０７を用いて、表情画像からインポートしたピクセルをニュートラル画像にポピュレートする。しかし、これらのニュートラル画像座標の対応座標を表現画像で探し出す必要がある。これは、３０９で逆マッピングプロセスを通じて行い、このプロセスは、ニュートラル画像座標から表情画像座標へのマッピングを画定する。したがって、３０９での逆マッピングプロセスは、３０１で得たものと逆の弾性位置合わせパラメーターを用いる逆マッピングを適用する。
【００４７】
３０９の逆マッピング後、表情画像内の対応しわパッチ座標３１１を定める。この時点において、ニュートラル画像内の各ピクセルから表情画像内の対応ピクセルへの空間マッピングが確立される。３１３では、表情画像からのしわパッチピクセルを、対応座標に従ってニュートラル画像にコピーして、仮のしわシミュレート画像３１５を生成する。３１３のコピー手順は好ましくは、ニュートラル画像マスク内で行う。ニュートラル画像マスクは、前記マッピングを顔の皮膚領域に限定しているため、粗雑な対応マッチングに起因する粗雑な弾性位置合わせの場合に、仮のしわシミュレート画像３１５内で構造的アーチファクトの発生を防ぐ。
【００４８】
良好な対応マッチングが得られるとすると、仮のしわシミュレート画像３１５は、ニュートラル画像とうまく位置合わせされるはずであり、ニュートラル画像と比較して、経時変化の影響を表示することができる。
【００４９】
しかし、仮のしわシミュレート画像３１５は、境界アーチファクト、すなわち、１つ以上の転写済みしわパッチの境界線沿いの陰影及び色のミスマッチを有することがある。上述のとおり、このようなアーチファクトは、バート（Burt）及びアデルサン（Adelsan）による「画像モザイクへの用途による多重解像度スプライン（A multi-resolution spline with application to image mosaics）」（ＡＣＭトランザクションズ・オン・グラフィックス（ACM transactions on Graphics）第２巻、第４号、１９８３年１０月）に記載されているような画像モザイク化技術（図１の１１１）を用いて、除去することができる。）当該技術分野において既知であるその他のモザイク化技術も用いることができる。
【００５０】
可変なしわのエイジングシミュレーション
本発明の例示的な実施形態による、しわのエイジングシミュレーションは、例えば、ニュートラル画像としわのシミュレート画像との間のしわの経時変化の程度を示すレンダリング画像をコンピュータモニター上に表示することによって、示すことができる。対話制御機構（例えば、スライダー制御、ノブ、レバーなど）を提供して、観察者が、シミュレートされる経時変化の程度を変えられるようにすることができる。このようなプロセスは、図４Ａ及び４Ｂに示されている。
【００５１】
図４Ａに示されているように、画像レンダリングプロセス４１０によって、顔のしわのシミュレート画像４０２を顔のニュートラル画像４０１とブレンドして、レンダリング画像４２０を生成する。画像レンダリング４１０は、例えばアルファブレンディング、又は他の様々な好適な技術のいずれかを用いて、画像をブレンドする。
【００５２】
ニュートラル画像４０１は、上記（例えば図１の１０１Ａ）に記載されているように得ることができ、しわのシミュレート画像４０２は、図１の方法を用いて生成することができる。画像レンダリング４０１は、ブレンド制御パラメーター４０３に従って、ニュートラル画像としわのシミュレート画像との間のブレンドの度合いを変えることができる。ブレンド制御パラメーター４０３は、例えば、コントロールノブ、スライダー、キーボード入力、若しくは、例えば、グラフィカルユーザーインターフェースウィジェットのようなハードウェアとソフトウェアベースの双方のインプリメンテーションを含むその他の機構のようなユーザーインプット、又は、ユーザーがインプットを提供できるその他の好適な手段から提供することができる。ブレンド制御パラメーターの一方の極点では（例えば、動作範囲の第１の端点にある、すなわちα＝０であるスライダーによる場合）、レンダリング画像４２０は、ニュートラル画像４０１と同じであり、他方の極点（例えばα＝１）では、しわのシミュレート画像４０２と同じである。ユーザーが、ユーザーインプット手段の操作によって、ブレンド制御パラメーターを変えると、レンダリング画像は、２つの極点の間で変化し、それによって、しわの経時変化の可変の程度を示すことになる。
【００５３】
図４Ａに示されているように、しわ年齢の推定プロセス４２５をブレンド制御パラメーターにリンクさせて、ブレンド画像４２０に対応するしわの推定年齢４３０を生成することができる。あるいは、ブレンドの度合いを変更する（すなわち、範囲［０ １］内でαを変える）ことによって、しわ年齢の推定プロセスをオフラインで実行して、特定の年齢間隔（例えば１年）で、しわのシミュレート画像を生成することができる。したがって、ブレンド制御機構（例えばスライダー制御）は、対話型シミュレーションの前に、特定の被験者についてラベリングすることができる。後で更に詳細に説明するとおり、しわ年齢の推定プロセス４２５では、しわの重症度（すなわちしわの量）と年齢との間の関係を説明するしわのエイジングモデル４０５を用いる。このようなモデルは、異なる年齢の大勢の人々から収集した統計的データに基づいて抽出することができる。皮膚の重症度測定値の割り出し、及び様々な皮膚タイプ（又は民族グループ）の統計的データは、ヒレブランド（Hillebrand）らによる米国特許第６，５７１，００３号「皮膚の画像化及び分析のシステム及び方法（Skin imaging and analysis systems and methods）」に記載されている。
【００５４】
好ましくは、しわのエイジングモデル４０５は、性別及び皮膚のタイプ（即ち民族）、地理的所在地、並びにライフスタイルに従って更に差異化して、個人のピアグループ（例えば性別、皮膚のタイプ、及び／又は喫煙のようなライフスタイルによって分類される）からのデータを用いて、その個人のしわの経時変化をモデル化するようにしてよい。
【００５５】
しわのスコアリングプロセス４１５では、ブレンドされるニュートラル画像４０１としわのシミュレート画像４０２とにおけるしわの重症度スコアを定める。代表的なしわのスコアリング方法は、米国特許出願公開第１１／６８１，５０９号に記載されている。図５を参照しながら後で更に詳細に説明するように、しわ年齢の推定プロセス４２５では、しわのエイジングモデル４０５、及び、ニュートラル画像としわのシミュレート画像のしわスコアを用いて、画像レンダリングプロセス４１０によって生成されたブレンド画像４２０に対応するしわ年齢（Ｘ）を割り出す。
【００５６】
図４Ａの例示的な実施形態では、レンダリング画像に基づいて、しわ年齢を生成するが、図４Ｂに示されている更なる例示的な実施形態では、ユーザーが指定したしわ年齢４０４に対応するレンダリング画像を生成する。図５を参照して以下に更に詳細に説明するように、ブレンドパラメーター決定プロセス４３５では、しわのエイジングモデル４０５、及びニュートラル画像としわのシミュレート画像のしわスコアを用いて、指定されたしわ年齢４０４におけるしわのシミュレート画像４２０を生成するために画像レンダリング４１０によって用いられるブレンド制御パラメーター（α）を定める。
【００５７】
図５は、しわのエイジングシミュレーションの被験者のピアグループ（例えば白人女性）の代表的なしわのエイジングモデルを表すしわのエイジング曲線５１０を示している。曲線５１０は、このピアグループに関して収集した統計的データに基づいて、しわの重症度スコア（ＷＳＳ）と年齢との間の関係を示している。しかし、被験者は、曲線５１０に該当しないＷＳＳを有することもある。例えば、特定の３０歳の白人女性は、曲線５１０で予測されている０．００５というＷＳＳとは異なり、０．０３のＷＳＳを有する場合がある。この被験者においては、ニュートラル状態における被験者のＷＳＳに基づいた曲線５１０をシフトさせるなどして調節することによって、個人に合ったしわのエイジングモデルを抽出することができる。曲線５２０は、このような被験者に合わせて調節した曲線を表している。
【００５８】
図５を参照すると、曲線５２０の点５２１は、例示的な３０歳の白人女性の被験者の現行のＷＳＳを表している。このＷＳＳは、被験者の現行のニュートラル画像（ＩN）に基づいており、図５のチャートのｙ軸上で、ＷＳＳ｛ＩN｝として示されている。更なるＷＳＳは、上記のように生成することができるような、被験者のしわのシミュレート画像（ＩWS）から割り出す。この値は、図５のチャートのｙ軸上で、ＷＳＳ｛ＩWS｝として示されており、曲線５２０の点５２３に対応する。曲線５２０から、ＷＳＳ｛ＩWS｝に対応する年齢を割り出すことができる。図５に示されている例では、この年齢は５０歳である。
【００５９】
現行の年齢（例えば３０歳）と、しわのシミュレート画像に対応する年齢（例えば５０歳）との間の年齢の被験者のしわの経時変化をシミュレートする画像であって、レンダリングの対象となる画像（ＩR）は、点５２１と点５２３との間の曲線５２０の上に位置する点５２２に対応する。この画像のＷＳＳは、図５のチャートのｙ軸上で、ＷＳＳ｛ＩR｝として示されている。図５に示されている例では、この値は、対応する４３歳という年齢において、約０．０４である。
【００６０】
点５２１と点５２２の間におけるＷＳＳの変化は、点５２２に対応する年齢における被験者のしわの経時変化をシミュレートする目的でニュートラル画像に加えられるしわの量に関連している。後述のとおり、ニュートラル画像４０１としわのシミュレート画像４０２の間のブレンドの様々な度合いを有するレンダリング画像を表示しながら、ＷＳＳの変化を、図４Ａ及び４Ｂに示されているレンダリングプロセスにおけるブレンド制御パラメーターにリンクさせることができる。
【００６１】
図４Ａ及び４Ｂの例示的な実施形態では、画像レンダリングプロセス４１０でアルファブレンディングを用いて、以下の式に従って、ニュートラル画像としわのシミュレート画像をブレンドすることができる。
【００６２】
【数１】
式中、αは、０〜１（０及び１を含む）の間で変化するブレンド制御パラメーターであり、ＩWSは、しわのシミュレート画像を表し、ＩNはニュートラル画像を表し、ＩRは、所定の値のブレンド制御パラメーターαにおけるレンダリング画像を表している。
【００６３】
ブレンド制御パラメーターが最小値（すなわちα＝０）であるとき、ニュートラル画像がレンダリング画像として生成される。ブレンド制御パラメーターが最大値（すなわちα＝１）であるとき、しわシミュレート画像がレンダリング画像として生成される。ブレンド制御パラメーターがこれらの値の間のいずれかの値であるとき、しわの重症度スコアリングオペレーターＷＳＳ｛Ｉ｝を、上記のアルファブレンディング式（式１）に当てはめ、下記の式をもたらすことによって、被験者のしわの重症度スコアを算出することができる。
【００６４】
【数２】
式中、ＷＳＳ｛Ｉ｝は、画像ＩのＷＳＳである。式２は、レンダリング画像のＷＳＳが、しわのシミュレート画像とニュートラル画像のＷＳＳの一次結合であること示している。
【００６５】
制御機構（例えば、スライダー、ノブ、ウィジェット）によるなどして、ユーザーがブレンド制御パラメーターαを提供する図４Ａの例示的な実施形態では、しわ年齢の推定プロセス４２５で、式２を用いて、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。調節済みのしわのエイジングモデル曲線５２０を用いて、しわ年齢の推定プロセス４２５で、ＷＳＳ｛ＩR｝に対応するしわ年齢４３０を割り出す。レンダリング画像４２０と、対応するしわ年齢４３０を好ましくは一緒に表示して、ユーザーに、しわと年齢との間の相関関係を示す。
【００６６】
シミュレートするしわ年齢をユーザーが指定する図４Ｂの例示的な実施形態では、ブレンドパラメーター決定プロセス４３５で、調節済みのしわのエイジング曲線５２０を用いて、指定のしわ年齢に対応するＷＳＳ、もっと厳密にいえば、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。ブレンドパラメーターαは、下記の式に従って、ブレンドパラメーター決定プロセス４３５によって、割り出すことができる。
【００６７】
【数３】
【００６８】
ブレンド制御パラメーターαを用いて、画像レンダリングプロセス４１０で、式１に従って、対応するブレンド画像をレンダリングする。
【００６９】
シミュレートするしわ年齢をユーザーが指定する図４Ｂの例示的な実施形態では、ユーザーが指定した年齢を好ましくは最初にチェックして、その年齢が、現行の年齢と、被験者のしわのシミュレート画像に対応する年齢を含む範囲内（すなわち、この例では３０〜５０歳）にあるかを割り出すことに留意されたい。前記範囲内にない場合には、指定の年齢を自動的に制限することができ、あるいは、処理前に、前記範囲内にある年齢を入力するかユーザーに問うことができる。
【００７０】
例示的な実施形態では、しわのエイジングモデル曲線５１０及び５２０を、例えばルックアップテーブル内にインプリメントすることができる。
【００７１】
本発明の上述の画像レンダリング及びしわ年齢の推定の態様は、しわの経時変化に限定されておらず、例えば斑点及び質感を含むその他の皮膚の状態又は異常と共に用いることもできる。
【００７２】
可変なしわのディエイジングシミュレーション
しわのエイジングシミュレーションに加えて、本発明は、上記のような画像レンダリングプロセスを用いる、可変なしわのディエイジングシミュレーション法も提供する。代表的な可変ディエイジングプロセスは、図６Ａ及び６Ｂに示されている。図６Ａ及び６Ｂに示されているように、画像レンダリングプロセス６１０によって、しわのディエイジド画像６０２を現行のニュートラル画像６０１とブレンドする。しわのディエイジド画像６０２は、米国特許出願公開第１１／６８１，５０９号に記載されているようなしわのディエイジングシミュレーション法を用いて、ニュートラル画像６０１から生成することができる。
【００７３】
画像レンダリング６１０では、例えばアルファブレンディング、又はその他のいずれかの様々な好適な技術を用いて、ブレンド制御パラメーターによって制御したブレンドの度合いで、画像６０１及び６０２をブレンドする。図６Ａの実施形態では、例えば、制御ノブ、スライダー、又は、例えば、グラフィカルユーザーインターフェースウィジェットのようなハードウェアとソフトウェアの双方をベースとするインプリメンテーションを含むその他の好適な機構のようなユーザーインプット６０３からブレンド制御パラメーターを提供する。あるいは、図６Ｂの実施形態のように、以下に更に詳細に説明するように、ブレンド制御パラメーター決定プロセス６３５によってブレンド制御パラメーターを生成する。
【００７４】
ブレンド制御パラメーターの一方の極点では（例えば、動作範囲の第１の端点、すなわちα＝０にあるスライダーによる場合）、レンダリング画像６２０は、ニュートラル画像６０１と同じであり、他方の極点（例えばα＝１）では、しわのディエイジド画像６０２と同じである。ブレンド制御パラメーターが、その極点間で変化すると、レンダリング画像は、ニュートラル画像としわのディエイジングのシミュレート画像との間で変化し、それによって、しわのディエイジングの可変な度合いを示すことになる。
【００７５】
図６Ａに示されているように、しわの経時変化の予想プロセス６２５をブレンド制御パラメーターにリンクさせて、ブレンド画像６２０に対応するしわの推定年齢６３０を生成することができる。以下に更に詳細に説明するとおり、しわ年齢の推定プロセス６２５では、しわの重症度（すなわちしわの量）と年齢との間の関係を説明するしわのエイジングモデル６０５を用いる。モデル６０５は、図４Ａ及び４Ｂの可変なエイジングモデルとの関連で上述したモデル４０５と同じであることができる。
【００７６】
しわのスコアリングプロセス６１５では、ブレンドされるニュートラル画像６０１としわのディエイジド画像６０２とにおけるしわの重症度スコアを定める。図４Ａの実施形態と同様に、しわ年齢の推定プロセス６２５では、しわのエイジングモデル６０５、及びニュートラル画像としわのディエイジングシミュレート画像のしわスコアを用いて、画像レンダリングプロセス６１０によって生成されたブレンド画像６２０に対応するしわ年齢（Ｘ）を割り出す。
【００７７】
図６Ａの例示的な実施形態では、レンダリング画像に基づいて、しわ年齢を生成するが、図６Ｂに示されている更なる実施形態では、ユーザーが指定したしわ年齢６０４に対応するレンダリング画像を生成する。図７Ａ及び７Ｂを参照しながら以下に更に詳細に説明するように、ブレンドパラメーター決定プロセス６３５では、しわのエイジングモデル６０５、及びニュートラル画像としわのディエイジングシミュレート画像のしわスコアを用いて、指定されたしわ年齢６０４におけるしわのディエイジド画像６２０を生成するために画像レンダリングプロセス６１０によって用いられるブレンド制御パラメーター（α）を定める。
【００７８】
図７は、しわのディエイジングシミュレーションの被験者のピアグループ（例えば白人女性）の代表的なしわのエイジングモデルを表すしわのエイジング曲線７１０を示している。曲線７１０は、しわの重症度スコア（ＷＳＳ）と、このピアグループに関して収集した統計的データに基づいた年齢との間の関係を示しており、上記の曲線５１０と同じであることができる。しかし、被験者は、曲線７１０に該当しないＷＳＳを有することもある。例えば、特定の５０歳の白人女性は、曲線７１０で予測されている０．０１５というＷＳＳとは異なり、０．０４８のＷＳＳを有する場合がある。この被験者については、ニュートラル状態における被験者のＷＳＳに基づき曲線７１０を移行させるなどして調節することによって、個人に合ったしわのエイジングモデルを抽出することができる。曲線７２０は、このような被験者に合わせて調節した曲線を表している。
【００７９】
図７を参照すると、曲線７２０の点７２３は、例示的な５０歳の白人女性の被験者の現行のＷＳＳを表している。このＷＳＳは、被験者の現行のニュートラル画像（ＩN）に基づいており、図７のチャートのｙ軸上で、ＷＳＳ｛ＩN｝として示されている。更なるＷＳＳは、上記のように生成することができるような、被験者のしわのディエイジングシミュレート画像（ＩD）から割り出す。この値は、図７Ａのチャートのｙ軸上で、ＷＳＳ｛ＩD｝として示されており、曲線７２０の点７２１に対応する。曲線７２０から、ＷＳＳ｛ＩD｝に対応する年齢を割り出すことができる。図７Ａに示されている例では、この年齢は１５歳である。
【００８０】
レンダリングされる画像（ＩR）であって、現行年齢（例えば５０歳）と、しわのディエイジングシミュレート画像に対応する年齢（例えば１５歳）との間の年齢の被験者のしわのディエイジングをシミュレートする画像は、点７２１と点７２３との間の曲線５２０の上に位置する点７２２に対応する。この画像のＷＳＳは、図５のチャートのｙ軸上で、ＷＳＳ｛ＩR｝として示されている。図７Ａに示されている例では、この値は、対応する４３歳という年齢において、約０．０４である。
【００８１】
点７２２と点７２３の間におけるＷＳＳの変化は、点７２２に対応する年齢における被験者のしわの経時変化をシミュレートする目的でニュートラル画像から除去されるしわの量に関連している。後述のとおり、ニュートラル画像６０１としわのディエイジド画像６０２との間の様々なブレンドの度合いを有するレンダリング画像を表示しながら、ＷＳＳの変化を、図６Ａ及び６Ｂに示されているレンダリングプロセスにおけるブレンド制御パラメーターにリンクさせることができる。
【００８２】
図６Ａ及び６Ｂの例示的な実施形態では、画像レンダリングプロセス６１０でアルファブレンディングを用いて、以下の式に従って、ニュートラル画像としわのシミュレート画像をブレンドすることができる。
【００８３】
【数４】
式中、αは、０〜１（０及び１を含む）の間で変化するブレンド制御パラメーターであり、ＩDは、しわのディエイジングシミュレート画像を表し、ＩNはニュートラル画像を表し、ＩRは、所定の値のブレンド制御パラメーターαにおけるレンダリング画像を表している。
【００８４】
ブレンド制御パラメーターが最小値（すなわちα＝０）であるとき、ニュートラル画像がレンダリング画像として生成される。ブレンド制御パラメーターが最大値（すなわちα＝１）であるとき、しわのディエイジングシミュレート画像がレンダリング画像として生成される。ブレンド制御パラメーターが、これらの値の間のいずれかの値であるとき、しわの重症度スコアリングオペレーターＷＳＳ｛Ｉ｝を、上記のアルファブレンディング式（式４）に当てはめ、下記の式を与えることによって、被験者のしわの重症度スコアを算出することができる。
【００８５】
【数５】
式中、ＷＳＳ｛Ｉ｝は、画像ＩのＷＳＳである。
【００８６】
ユーザーがブレンド制御パラメーターαを決定する図６Ａの例示的な実施形態では、しわ年齢の推定プロセス６２５で式５を用いて、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。調節済みのしわのエイジングモデル曲線７２０を用いて、しわ年齢の推定プロセス６２５で、ＷＳＳ｛ＩR｝に対応するしわ年齢６３０を割り出す。レンダリング画像６２０と、対応するしわ年齢６３０を好ましくは一緒に表示して、ユーザーに、しわと年齢との間の相関関係を示す。
【００８７】
シミュレートするしわ年齢をユーザーが指定する図６Ｂの例示的な実施形態では、ブレンドパラメーター決定プロセス６３５で、調節済みのしわのエイジングモデル曲線７２０を用いて、指定のしわ年齢に対応するＷＳＳ、もっと厳密にいえば、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。ブレンドパラメーターαは、下記の式に従って、ブレンドパラメーター決定プロセス６３５によって、割り出すことができる。
【００８８】
【数６】
【００８９】
ブレンド制御パラメーターαを用いて、画像レンダリングプロセス６１０で、式４に従って、対応するブレンド画像をレンダリングする。
【００９０】
例示的な実施形態では、しわのエイジングモデル曲線７１０及び７２０を、例えばルックアップテーブル内にインプリメントすることができる。
【００９１】
本発明の上述の画像レンダリング及びしわ年齢の推定の態様は、しわの経時変化に限定されておらず、例えば斑点及び質感を含むその他の皮膚の状態又は異常と共に用いることもできる。
【００９２】
上記の実施形態では、ＷＳＳ｛ＩD｝の値は、しわのディエイジド画像を生成するのに用いられるしわのディエイジングシミュレーションプロセスに左右されることになる点に留意されたい。上述のとおり、例示的な実施形態では、被験者の現行画像６０１とブレンドされるしわのディエイジド画像６０２は、画像６０１で検出された全てのしわを除去するプロセスによって生成する。実質的には、モデル曲線７１０の点７１１によって表されているように、１５歳前後に対応するＷＳＳ｛ＩD｝は概ね０である。これは、しわが１５歳前後に現れ始めることを一般に示している統計的データと一致している。
【００９３】
しかし、かなりしわのある現行画像を有する被験者、すなわち、調節済みのしわのエイジングモデル曲線７２０がピアグループ曲線７０１から大きくずれている被験者においては、しわのない（すなわちＷＳＳ≒０）画像６０２は、レンダリング画像６２０を保証することのできる外観よりもしわの少ない外観に非現実的にゆがめる傾向がある。このため、ディエイジングをシミュレートする期間を制限するのが望ましい場合がある。更には、このようなディエイジング期間の規模は好ましくは、被験者の現行年齢に基づいて、より具体的には、開始年齢が若いほど、その期間は短縮される。したがって、例えば、例示的な実施形態では、ディエイジング期間は、２０歳の場合には２年、３０歳の場合には５年、４０歳の場合には８年のように制限してよい。適切な制限値は、経験的観測に基づいて割り出すことができる。好ましくは、ユーザーが、シミュレートするしわ年齢を指定する前に、年齢の許容可能範囲をユーザーに表示する。
【００９４】
代替的な実施形態では、図７Ｂに示されているように、調節済みのエイジングモデル曲線を修正することによって、上述のずれに対応することができる。図７Ｂでは、年齢が若いほどエイジングモデル曲線７１０からのずれが減少して、顔のしわが概ね現れ始める年齢である１５歳前後で２つの曲線が実質的に一点に集まるようになっている、修正・調節済みのエイジングモデルの修正曲線７２０’を用いる。
【００９５】
処置ベースの可変なディエイジングシミュレーション
本発明の別の態様では、可変なディエイジングシミュレーションに、処置に基づいた知識ベースのディエイジングモデルを組み込むことができる。しわの処置としては様々な選択肢（例えば、局所製剤、注射可能な充填剤、注射可能なボツリヌス毒素、フラクショナルリサーフェイシング、光／レーザー治療、形成外科／美容外科処置など）があり、これらの処置の効果は、経験によって知られている。この知識ベースのディエイジングを上記の可変なディエイジング実施形態のブレンド制御にリンクさせて、適用される処置に合った様々なしわディエイジングの度合いの画像をもたらすことができる。したがって、例えば、所定の処置が、しわの重症度スコアの比例的な上昇（すなわち、ΔＷＳＳ／ＷＳＳ0、式中、ＷＳＳ0は処置前のＷＳＳ）をもたらすことが示されている実験データがある場合、この情報を用いて、前記処置の成果をシミュレートする、しわのディエイジド画像をもたらすことができる。
【００９６】
図８は、処置ベースのディエイジングを組み込んだ可変なディエイジングシミュレーションプロセスの例示的な実施形態を示している。図８のプロセスは、所定のニュートラル画像８０１、ディエイジド画像８０２（例えば、ニュートラル画像に上記のディエイジングプロセスを適用することによって生成する）、及び指定の処置８０３（ユーザーインプットを介して提供することができる）において、対応するしわ年齢８３０と共に、しわのディエイジド画像８２０を生成する。図８のプロセスでは、処置の有効性モデル８０５を用いて、指定の処置８０３における比例的なＷＳＳの上昇（ΔＷＳＳ／ＷＳＳ0）を提供する。処置の有効性モデル８０５は、例えば、代替処置、及びそれに伴う成果予測のデータベースを含んでよい。比例的なＷＳＳ上昇を、上記のブレンド制御パラメーターαとして用いる。画像レンダリング８１０、しわスコアリング８１５、及びしわ年齢の推定の手順は、上記のとおり実施する。
【００９７】
本発明の上記の可変シミュレーションの態様は、しわのディエイジングに限定されておらず、その他の皮膚の状態又は異常、例えば斑点及び質感を含むその他の皮膚の状態又は異常と共に用いることもできる。
【００９８】
ライフスタイルベースの可変なエイジング／ディエイジングシミュレーション
本発明の別の態様では、可変なディエイジングシミュレーションに、ライフスタイルに基づく、知識ベースのしわのエイジング／ディエイジングモデルを組み込むことができる。しわの経時変化は、ライフスタイルによって、プラス方向、マイナス方向の双方で、大きな影響を受ける場合がある。しわの経時変化に悪影響を与えるか、又はしわの経時変化を加速させることが示されているライフスタイルの選択肢又は因子としては、例えば、喫煙、日光曝露、肥満、糖尿病、及びその他の様々な状態又は疾病が挙げられ、これらの各々は、経時変化の加速又は早期化をもたらす場合がある。例えば、食生活及び身体的活動のようなその他のライフスタイル因子、又は、ライフスタイル因子を損なう悪影響を覆すために取られる対策は、しわの経時変化に好影響を及ぼすか、又は、しわの経時変化を遅らせる。本発明の例示的な実施形態に従って、このような因子の影響を組み込んだ知識ベースのモデルを、上記の可変なエイジング又はディエイジング実施形態のブレンド制御にリンクさせて、ユーザーの指定したライフスタイル因子に合った様々な度合いのしわのエイジング／ディエイジングの画像をもたらすことができる。したがって、例えば、所定のライフスタイル因子が、しわの重症度スコアの比例的な低下（すなわち、ΔＷＳＳ／ＷＳＳ0、式中、ＷＳＳ0は処置前のＷＳＳ）をもたらすことが示されている実験データがある場合、この情報を用いて、このようなライフスタイル因子の影響をシミュレートするしわのエイジング画像をもたらすことができる。
【００９９】
図９は、ライフスタイル因子の影響を組み込んだ可変なエイジング／ディエイジングシミュレーションプロセスの例示的な実施形態を示している。図９のプロセスは、所定のニュートラル画像９０１、しわのエイジング又はディエイジングシミュレート画像９０２、及び指定のライフスタイル因子９０３（ユーザーインプットを介して提供することができる）において、対応するしわ年齢９３０と共に、しわのシミュレート画像９２０を生成する。図９のプロセスでは、ライフスタイルの影響モデル９０５を用いて、指定のライフスタイル因子９０３における比例的なＷＳＳの変化（ΔＷＳＳ／ＷＳＳ0）を提供する。ライフスタイルの影響モデル９０５は、ライフスタイル因子、及びライフスタイル因子が顔のしわに及ぼす影響予測のデータベースを含んでよい。比例的なＷＳＳ変化は、上記のブレンド制御パラメーターαとして用いる。画像レンダリング９１０、しわスコアリング９１５、及びしわ年齢の推定９２５の手順は、上記のとおり実施する。
【０１００】
しわのエイジングシミュレーションの実施例
図１１Ａ〜１１Ｄは、将来における顔のしわの出現を予測するのに表情しわを用いる際の基本原理を示す顔画像である。ニュートラル状態の２８歳の白人女性の被験者の顔画像を図１１Ａに、笑った表情の状態のものを図１１Ｂに示した。これらの画像は、Ｋ．ミヤモト（Miyamoto）らの「美容画像化システム：皮膚状態の客観的評価のために（The Beauty Imaging System: For the Objective Evaluation of Skin Condition）」（化粧品サイエンス会誌（Journal of Cosmetic Science）、５３（１）、２００２年、６２〜６５ページ）に記載されているように、ヘッド位置決め補助手段が取り付けられた標準的な照明装置の中に搭載されたクローズアップレンズを備えるフジ（Fuji）ＤＳ３３０というデジタルカメラを採用している制御画像化システムを用いて撮影した。比較用に、図１１Ｃは、同じ画像化システムによって撮影した、同じ被験者の３７歳時のニュートラル画像を示している。２８歳時に見ることのできる笑いじわ（図１１Ｂ）の進行を、３７歳時に撮影したニュートラル画像（図１１Ｃ）内で視覚的に理解することができる。
【０１０１】
２８歳時のニュートラル画像と笑顔画像に基づき、本発明のしわのエイジングシミュレーション法の例示的な実施形態によって、しわのエイジングシミュレート画像を生成した。このしわのエイジングシミュレート画像は図１１Ｄに示されている。２８歳時の画像に基づくしわのエイジングシミュレート画像（図１１Ｄ）は、しわの出現という点で、３７歳時の画像（図１１Ｃ）とよく一致していることが観察できる。これは、顔のしわ（すなわち老化）の出現を予測する際の、本発明のエイジングシミュレーション法の有効性を示している。
【０１０２】
図１２Ａ〜１２Ｈは、図１１Ａ〜Ｄの被験者の２８歳〜３７歳の顔の眼窩周囲領域内の表情じわの進行を示している。図１２Ａは、２８歳時のニュートラル状態の顔の眼窩周囲領域の画像、図１２Ｃは、２８歳時の笑った表情の状態における眼窩周囲領域の画像、図１２Ｅは、前記画像に基づくしわのシミュレート画像、１２Ｇは、３７歳時のニュートラル状態の眼窩周囲領域の画像である。図１２Ｂ、１２Ｄ、１２Ｆ、及び１２Ｈはそれぞれ、米国特許出願公開第１１／６８１，５０９号に記載されているようなしわ検出法によって生成した、対応するしわ検出済み画像である。しわ検出法の設定は、全ての画像において同じである。図１２Ｂ、１２Ｄ、１２Ｆ、及び１２Ｈでは、多角形１２００によって画定される領域内で検出されるしわが強調された状態で示されている。
【０１０３】
図１２Ｂから見て取れるように、図１２Ａのニュートラル画像においては、しわがほんのわずかしか検出されていない。しかし、図１２Ｄに示されているように、図１２Ｃの笑った表情の画像においては、もっと多くのしわが検出されている。笑った画像に出現している新たなしわの量は、視覚的に明白である。本発明による代表的な方法を用いて、笑顔によって誘発されるしわを図１２Ａのニュートラル画像の上に位置合わせして、ニュートラル時のように見えるしわを有する、図１２Ｅのしわのエイジングシミュレート画像を得る。図１２Ｆは、図１２Ｅに対応する、しわ検出済み画像を示している。
【０１０４】
本発明のエイジングシミュレーション法の正確性を示すために、被験者の同じ関心領域の実際の３７歳の画像が図１２Ｇに、図１２Ｈの対応するしわ検出済み画像と共に示されている。表情によって誘発されるしわの大半は、３７歳の画像内で見ることができる。換言すれば、３７歳の画像において検出されるしわの大半は、本発明のエイジングシミュレーション法によって予測されている。
【０１０５】
本発明は、例えば、本明細書に記載されている方法に従ってプログラムされたコンピュータを用いて、実施することができる。本発明用に用いることができる代表的なハードウェア構成は、米国特許出願公開第１１／６８１，５０９号に記載されている。上記の実施形態は、本発明の用途を代表することのできる考え得る具体的な実施形態のほんのいくつかを例証しているに過ぎないと理解される。当業者であれば、本発明の趣旨及び範囲から逸脱せずに、数多くの様々なその他の方策を立てることができる。
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００７年７月２３日に出願された米国特許仮出願第６０／９５１，３１３号からの優先権を主張し、この特許は、その全体が参照として本明細書に組み込まれている。
【０００２】
（発明の分野）
本発明は、画像処理の分野、詳細には、皮膚の画像の処理、及びそのエイジング又はディエイジングのシミュレーションに関する。
【背景技術】
【０００３】
人の顔の外観（アピアランス）に及ぼす皮膚の老化の影響は、皮膚サイエンスで入念に研究及び文書化されている。各個人の皮膚の老化の進行は、内因性因子と外因性因子の双方に依存する。性別、人種、及び皮膚色素沈着のような内因性因子は、遺伝子によってプログラムされており、各個人によって異なるものであり、皮膚のひ薄化の速度、機械的弾性の喪失、及び加齢に伴うその他の特に特徴的な組織学的及び生体力学的変化に影響を及ぼす場合がある。内因性因子は、日光から保護されている身体部位と日光に曝露されている身体部位の双方に影響を及ぼす。外因性因子としては、個人の食生活、ライフスタイル、スキンケア習慣、及び日光曝露履歴が挙げられる。慢性的な日光曝露は、皮膚の老化の開始時期を早め、その重症度を加速させることがよく知られている（光老化ともいう）。顔を含む曝露身体部位はいずれも、ある程度の皮膚の光老化を受ける（ギルクレスト（Gilchrest）．，Ｂ．著、「光損傷（Photodamage）」、ブラックウェル・サイエンス社（Blackwell Science, Inc.）１９９５年）。
【０００４】
老化した顔面皮膚の最も視覚的に顕著な特徴の１つは、小じわとしわであり（レイデン（Leyden）Ｊ．Ｊ．著、「老化している皮膚の臨床的特徴（Clinical features of ageing skin）」、英国皮膚サイエンス会誌（Br. J. Dermatol.）第１２２巻、付録３５、１〜３ページ、１９９０年）、それらは、特に体の日光曝露区域内における、コラーゲン及びエラスチンのような皮膚結合組織の段階的変化及び喪失によって部分的にもたらされる（ベイリー（Bailey）著、「結合組織における老化の分子機構（Molecular mechanisms of aging in connective tissues）」、老化及び発達の機構（Mech. Aging Dev.）、第１２２巻、第７号、７３５〜７５５ページ、２００１年）。皮膚は、外側の角質層（１０〜２０μｍ）、生表皮（５０〜１００μｍ）、真皮（１〜３ｍｍ）、及び主に脂肪細胞からなる下皮を有する多層組織である。皮膚は、結合組織を介して下層の筋肉組織に結合しており、筋肉は頭蓋骨に付着している。
【０００５】
笑顔のような顔の表情によって、大頬骨筋及び眼輪筋のような筋肉が接触して、目の周囲及び頬で皮膚の表面積が縮小する。皮膚は非圧縮性であるため、表面積が縮小すると、余分な皮膚はよじれて、収縮方向と垂直なしわを形成する。目の周りに「目尻のしわ」又は「笑いじわ」ができることが、このようなしわの一般例である。筋肉が緩むと、表面積は通常の状態に戻り、しわが消える。このように形成及び消滅するしわは、表情しわ、動的しわ、又は一時しわという。加齢に伴い、同じ皮膚溝沿いでの顔の表情の繰り返しによってもたらされる機械的応力によって、最終的に、これらの一時的しわは、表情なしでも目に見えるようになる（クリグマン（Kligman）ら著、英国皮膚サイエンス会誌（Br. J. Derm.）、１９８５年、第１１３巻、３７〜４２ページ）。顔の表情なしでも目に見えるしわは、恒久的しわ、永続的しわ、又は静的しわという。一時的しわから永続的しわへの転換は、下層の真皮マトリックスタンパク質の構造的一体性の影響を受ける。慢性的な日光曝露、及び喫煙によって加速される、加齢による皮膚弾性の喪失は、真皮マトリックス構造を弱め、恒久的しわの開始時期を早める。重要なことに、各個人は、指紋が人によって異なるのと同様に、長さ、幅、深さ、及び顔における位置の面で人によって異なる恒久的顔面しわを発生させる。
【０００６】
個人の今後現れてくる顔面皮膚のしわを予測及び視覚化する機能は、コンピュータアニメーション、顔認識、行方不明者の識別、娯楽、医療、及び美容において有用性をもたらす。老化している顔面の現実的シミュレーションを可能にするために、幾何モデル、物理モデル、生体力学的モデル、及び画像ベースのモデル（フセイン（Hussein），Ｋ．Ｈ．著、「人の皮膚老化アニメーションの現実的な顔面モデリング及び再レンダリング（Toward realistic facial modeling and re-rendering of human skin aging animation）」、シェイプ・モデリング・インターナショナル２００２（Shape Modeling International 2002）会報、ＩＥＥＥコンピュータソサエティ（IEEE Computer Society）、２００２年）を含め様々なモデルが採用されてきた。視覚化の目的では、画像ベースのモデルの方が、物理モデルよりも現実的なシミュレーションを生成する。画像ベースのモデルは典型的に、様々な方法で実在の人の画像を用いて、老化の影響をシミュレートする。
【０００７】
画像ベースのモデルを用いてエイジングシミュレーションをパーソナライズして、そのシミュレーションが、特定の人の今後現れてくる老化の外観を更に正確に描写するようにするために、いくつかのアプローチが取られてきた。例えば、個人の老化した外観をシミュレートするために、加齢に伴う顔の変化に関する公表済みのデータと併せて、画像の集団コホートに基づき、エイジングアルゴリズムが開発されてきた（ハイサート（Hysert）ＰＥら著、「ありのままで：老化進行ソフトウェアは、喫煙の外観に対する影響のパーソナライズ化したデモンストレーションを提供する（At Face Value: age progression software provides personalized demonstration of the effects of smoking on appearance）」、タバコ・コントロール（Tobacco Control）、第１２巻、２３８〜２４０ページ、２００３年）。この方法の限界は、エイジド画像が、集団ノルムの反映物であり、人によって異なる老化プロセスを必ずしも反映していない点である。
【０００８】
ボワシュ（Boissiux）らは、皮膚の老化をシミュレートする画像ベースのモデルを開発し、このモデルによって、事前にコンピュータ処理したしわの汎用マスクを、人の顔の３Ｄモデル上のテクスチャとして適用する。８つの基本マスクを採用し、シミュレートを行う人の性別、顔の形、及び表情のタイプに、用いられる特定のマスクをマッチさせる（ボワシュ（Boissiux）ら著、「美容的観点による、皮膚の老化及びしわのシミュレーション（Simulation of skin aging and wrinkle with cosmetic insight）」、コンピュータアニメーション及びシミュレーション（Computer Animation and Simulation）、１５〜２７ページ、２０００年）。このアプローチも、汎用マスクへの依存により、加齢に伴い現れる、人によって異なる皮膚特徴を正確に予測する能力において制限される。
【０００９】
「画像ベースの表面細部転写のシステム及び方法（System and method for image-based surface detail transfer）」という名称のチャン（Zhang）らの米国特許第７，０２０，３４７号は、若い顔を老けて見えるようにするために、老いた顔の幾何学的細部を若い顔の幾何学的細部の上に転写する方法を説明している。逆に言えば、老けた顔を若く見えるようにするために、若い顔の表面細部を老けた顔の表面細部の上に転写することができる。このアプローチは、老けた顔の老化特徴が必ずしも、若い顔が最終的にもたらす特徴と全く同じにはならないことによって制限される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許仮出願第６０／９５１，３１３号
【特許文献２】米国特許第７，０２０，３４７号
【非特許文献】
【００１１】
【非特許文献１】ギルクレスト（Gilchrest）．，Ｂ．著、「光損傷（Photodamage）」、ブラックウェル・サイエンス社（Blackwell Science, Inc.）１９９５年
【非特許文献２】レイデン（Leyden）Ｊ．Ｊ．著、「老化している皮膚の臨床的特徴（Clinical features of ageing skin）」、英国皮膚サイエンス会誌（Br. J. Dermatol.）第１２２巻、付録３５、１〜３ページ、１９９０年
【非特許文献３】ベイリー（Bailey）著、「結合組織における老化の分子機構（Molecular mechanisms of aging in connective tissues）」、老化及び発達の機構（Mech. Aging Dev.）、第１２２巻、第７号、７３５〜７５５ページ、２００１年
【非特許文献４】クリグマン（Kligman）ら著、英国皮膚サイエンス会誌（Br. J. Derm.）、１９８５年、第１１３巻、３７〜４２ページ
【非特許文献５】フセイン（Hussein），Ｋ．Ｈ．著、「人の皮膚老化アニメーションの現実的な顔面モデリング及び再レンダリング（Toward realistic facial modeling and re-rendering of human skin aging animation）」
【非特許文献６】シェイプ・モデリング・インターナショナル２００２（Shape Modeling International 2002）会報、ＩＥＥＥコンピュータソサエティ（IEEE Computer Society）、２００２年）
【非特許文献７】ハイサート（Hysert）ＰＥら著、「ありのままで：老化進行ソフトウェアは、喫煙の外観に対する影響のパーソナライズ化したデモンストレーションを提供する（At Face Value: age progression software provides personalized demonstration of the effects of smoking on appearance）」、タバコ・コントロール（Tobacco Control）、第１２巻、２３８〜２４０ページ、２００３年
【非特許文献８】ボワシュ（Boissiux）ら著、「美容的観点による、皮膚の老化及びしわのシミュレーション（Simulation of skin aging and wrinkle with cosmetic insight）」、コンピュータアニメーション及びシミュレーション（Computer Animation and Simulation）、１５〜２７ページ、２０００年
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、特定の人に独特な、今後現れてくる個人の顔面皮膚のしわをより正確に予測及び視覚化する方法を提供することである。本発明の別の目的は、例えば該当する人の性別、皮膚のタイプ、及び／又は人種に基づき、将来の特定の時点における個人の顔面皮膚のしわを予測する方法を提供することである。本発明の更に別の目的は、美容外科又は皮膚科的処置の有無にかかわらず、今後現れてくる個人の顔面皮膚のしわを予測及び視覚化する方法を提供することである。
【課題を解決するための手段】
【００１３】
例示的な実施形態では、本発明は、１つ以上の顔の表情を有する人の１つ又は複数の画像（表情画像という）と、自然な表情又はリラックスした表情を有する同じ人の画像（ニュートラル画像という）に基づき、予測されるしわの外観を描写する、人の画像を生成するための方法及びシステムを提供する。
【００１４】
本発明の１つの態様によれば、装置及び方法は、人のニュートラル画像と表情画像を加工して、その特定の人に合わせてパーソナライズされた、しわのエイジド画像を生成する。本発明の例示的な実施形態は、人自身の組織学的なしわデータを用いて、予測されるしわの経時変化をシミュレートし、それによって、しわの経時変化の更に正確かつ現実的なシミュレーションをもたらす。
【００１５】
本発明の更なる態様では、顔の自然な形相又はリラックスした形相に影響を及ぼすことなく、顔の表情画像で検出されたしわを、顔のニュートラル画像の上に転写し、しわの経時変化の現実的な予測を作り出す。
【００１６】
本発明の別の態様では、異なる表情画像を用いて、顔の異なる部分のしわを描写すると共に、複合的なしわのエイジド画像をレンダリングするようにできる。例えば、額のしわは、眉をひそめた表情によってより明白になる一方で、頬のしわ及びほうれい線のしわは、笑った表情によってより明白になる。顔のその他の表情を、顔の他の領域のしわに、より密接に適合させてもよい。例示のために、笑った表情と眉をひそめた表情について説明しているが、本発明は多種多様な顔の表情を用いて、顔の様々な領域のしわの経時変化をシミュレートすることができる。
【００１７】
本発明の別の態様では、ニュートラル画像と、しわのあるエイジド画像をブレンドすることができ、特定の期間後のしわのあるエイジド画像を示すレンダリング画像を得るために、そのブレンドの度合いを制御機構（例えば、スライダー制御、ノブなど）で調節する。
【００１８】
本発明の更なる態様では、統計的なしわのエイジングモデルに従って、ニュートラル画像と、しわのあるエイジド画像をブレンドする度合いを調節して、将来の特定の時点の個人において予測されるしわの経時変化の量をシミュレートすることができる。しわの統計的なエイジングモデルは好ましくは、例えば、その人の性別、皮膚のタイプ、民族及び／又は地理的所在地に基づいて、その特定の個人に対応するピアグループから得ることができる。母集団データに基づいて統計的なしわのエイジングモデルを抽出すると共に、皮膚の欠陥の重症度を定量化するのに用いることができる技術は、「皮膚の画像化及び分析のシステム及び方法（Skin imaging and analysis systems and methods）」という名称のヒレブランド（Hillebrand）らの米国特許第６，５７１，００３号に記載されており、この特許は、その全体が、参照として本明細書に組み込まれる。しわの検出及びエイジングシミュレーションは、２００７年３月２日に出願された「顔面皮膚のエイジング及びディエイジングのシミュレーションのための方法及び装置（Method and apparatus for simulation of facial skin aging and ディエイジング）」という名称の米国特許出願公開第１１／６８１，５０９号に記載されており、この特許は、その全体が参照として本明細書に組み込まれる。
【００１９】
上記のしわのエイジド画像と同様に、制御機構（例えば、スライダー制御、ノブなど）で調節したブレンド度で、ニュートラル画像としわのディエイジド画像をブレンドして、様々なしわのディエイジング度を示すレンダリング画像を得ることができる。顔の画像に現れているしわの検出及び除去に基づいて、顔の上に、しわのシミュレート済みディエイジングを示すしわのディエイジド画像は、上記の米国特許出願公開第１１／６８１，５０９号に記載されているように生成することができる。このようなディエイジド画像を用いて、局所製剤、注射可能な充填剤、注射可能なボツリヌス毒素、フラクショナルリサーフェイシング、光／レーザー治療などのような処置を利用した後のしわの軽減結果を例示することができる。しわのディエイジングの程度は、特定のタイプの処置に基づくしわのディエイジングモデルにリンクさせることができる。しわのディエイジングの程度は、該当する個人のピアグループ（例えば、性別、皮膚のタイプ又は地勢）に対応する上記の統計的なエイジングモデルにもリンクさせることができる。
【００２０】
本発明の上記及び他の態様及び特徴は、以下の図面及び発明を実施するための形態から明らかになるであろう。
【図面の簡単な説明】
【００２１】
【図１】本発明による、人のニュートラル画像と表情画像を用いてシミュレートされた、しわのエイジド画像を生成する代表的な方法のハイレベルフローチャート。
【図２】本発明の例示的な実施形態による、ニュートラル画像と表情画像との間の対応検出アルゴリズムのフローチャート。
【図３】本発明による、表情画像からのしわをニュートラル画像の上に転写するための代表的な弾性位置合わせ及びマッピングアルゴリズムのフローチャート。
【図４Ａ】本発明による、しわのエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのエイジングモデルに基づいている方法のフローチャート。
【図４Ｂ】本発明による、しわのエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのエイジングモデルに基づいている方法のフローチャート。
【図５】本発明による、特定の期間後のしわの経時変化をシミュレートするために、図４Ａ及び４Ｂの方法で用いることができる、サンプルのしわのエイジングモデルを示すグラフ。
【図６Ａ】しわのディエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのディエイジングモデルに基づいている方法のフローチャート。
【図６Ｂ】しわのディエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、統計的なしわのディエイジングモデルに基づいている方法のフローチャート。
【図７Ａ】本発明による、特定の期間後のしわのディエイジングをシミュレートするために、図６Ａ及び６Ｂの方法で用いることができる、サンプルのしわのエイジングモデルを示すグラフ。
【図７Ｂ】本発明による、特定の期間後のしわのディエイジングをシミュレートするために、図６Ａ及び６Ｂの方法で用いることができる、サンプルのしわのエイジングモデルを示すグラフ。
【図８】しわのディエイジド画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、処置代替策及びその有効性予測のデータベースに基づいている方法のフローチャート。
【図９】しわ画像をニュートラル画像とブレンドする代表的な方法であって、前記ブレンド作業が、ライフスタイル因子及びその因子の顔のしわへの影響予測のデータベースに基づいている方法のフローチャート。
【図１０】本発明による、顔全体の斜位像に基づいた代表的な方法によって生成した代表的な顔面皮膚マップ、及びいくつかの説明的な主要顔面特徴点。
【図１１Ａ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像
【図１１Ｂ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像。
【図１１Ｃ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像。
【図１１Ｄ】将来における顔のしわの外観を予測するのに表情しわを用いることを示す顔面画像。
【図１２Ａ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｂ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｃ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｄ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｅ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｆ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｇ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【図１２Ｈ】９年間にわたる、顔の眼窩周囲領域の表情しわの進行を示す顔面画像。
【発明を実施するための形態】
【００２２】
代表的な実施形態の概要
図１は、本発明による、代表的なしわのエイジングシミュレーション法を示すハイレベルフローチャートである。１０１Ａでは、従来のデジタルカメラによるなどして、ニュートラルな状態（リラックスした状態又は表情のない状態ともいう）にある人の顔のクローズアップ顔写真を標準光の下で撮影する。１０１Ｂでは、表情を有する同じ被験者の写真を同じ条件下で撮影する。本発明は、いずれの特定の顔の表情にも制限されず、例えば、笑った表情、眉をひそめた表情、ふくれっ面、ウインク、横目、又は驚いた表情を含め、表情の画像を生成するために、しわを引き起こす、あらゆる顔の表情も潜在的に用いることができると考えられる。
【００２３】
標準化されかつ再現可能な照明条件及び画像位置合わせを提供するために、キャンフィールド・サイエンティフィック社（Canfield Scientific, Inc.）から入手可能なＶＩＳＩＡコンプレクション・アナリシス・システム（VISIA Complexion Analysis System）（以下ＶＩＳＩＡという）のような自動又は制御顔画像撮影システムによって、２つの画像を好ましくは撮影する。更には、斜位像又は正面像のいずれかで２枚の写真を撮影してもよい。本実施形態では、目尻のしわのような、しわを有する顔面皮膚区域及びほうれい線区域をより良好に表示するために斜位像を用いる。
【００２４】
例示的な実施形態では、１０１Ａ及び１０１Ｂで得た標準光画像をＲＧＢ（赤、緑、青）カラーの画像として表すことができる。１０２Ａでは、マスキング手順と顔面特徴の検出をニュートラル画像に施す。マスキング手順では、顔の特定の区域、特に、例えば目尻のしわのようなしわを含む区域、及びほうれい線区域の輪郭を描く必要がある。顔面特徴の検出では、関心のある特定の顔面特徴を特定する一連の顔面特徴点を生成する。マスキング及び顔面特徴の検出プロセスについては、後で更に詳細に説明する。同様に、１０２Ｂでは、マスキング及び顔面特徴の検出を表情画像に施す。
【００２５】
下記の位置合わせ及びマッピングプロセスで用いるものとして、一連のニュートラル画像の顔面特徴点１０３Ａを１０２Ａで、一連の表情画像の顔面特徴点１０３Ｂを１０２Ｂでそれぞれ生成する。これに加えて、マスキング済みニュートラル画像１０４Ａを１０２Ａで生成し、マスキング済み表情画像１０４Ｂを１０２Ｂでそれぞれ生成する。
【００２６】
作業は、続いて１０５に進み、この１０５では、マスキング済みニュートラル画像１０４Ａとマスク済み表情画像１０４Ｂとの間で対応マッチングプロセスを行う。対応マッチングプロセスでは、一連の対応画像点を生成する。特徴ベースの対応マッチングプロセスについては、後で更に詳細に説明する。
【００２７】
対応マッチング・プロセスによって生成された対応画像点に基づいて、１０７で弾性位置合わせプロセスを行う。弾性位置合わせプロセスでは、表情画像の各ピクセルからニュートラル画像の対応するピクセルへのマッピングをもたらす。弾性位置合わせプロセスについては後で説明する。
【００２８】
１０７で生成された弾性位置合わせマッピングに基づいて、１０９で表情画像からニュートラル画像へのしわのマッピングを行う。マスキング済み表情画像の全体、マスキング済み表情画像のサブセクション若しくはパッチ（例えば、目尻のしわ、眼窩周囲区域、ほうれい線）、又は表情画像から検出したしわ座標によるしわ間ベースで、マッピングを行うことができる。「顔面皮膚の経時及びディエイジングのシミュレーションのための方法及び装置（Method and apparatus for simulation of facial skin aging and de-aging）」という名称の米国特許出願公開第１１／６８１，５０９号は、特定のマスク内でしわを検出する方法を説明している。１０９で行うプロセスについては、後で詳細に説明する。
【００２９】
上述のとおり、（１０９で）マスキング済み表情画像内のしわをパッチ間ベースで、ニュートラル画像に転写することができる。しかし、潜在的な陰影差と色差が原因で、転写済みパッチとニュートラル画像との間の境界線沿いにミスマッチが存在する場合もある。このようなアーチファクトは、１１１の画像モザイク化技術を用いて除去することができる。この実施形態で用いるのに好ましい画像モザイク化技術では、バート（Burt）及びアデルサン（Adelsan）による「画像モザイクへの用途による多重解像度スプライン（A multi-resolution spline with application to image mosaics）」（ＡＣＭトランザクションズ・オン・グラフィックス（ACM transactions on Graphics）第２巻、第４号、１９８３年１０月）によって説明されているような多重解像度分解技術を用いる。その他の既知のブレンド技術も用いることができる。
【００３０】
モザイク化技術を通じて境界アーチファクトを除去した後、１１３でしわのシミュレート画像を生成する。この画像は、シミュレートなしでは表情画像のみで明白である動的しわをニュートラル画像の上に描いており、これによって、時間に伴うしわの経時変化の現実的な描写を提供する。
【００３１】
画像内のしわを更に見えやすく表示するために、しわのシミュレート画像（１１３）の画質を更に向上させることができる。このような向上作業は、米国特許出願公開第１１／６８１，５０９号に記載されているようなしわのエイジングシミュレーション方法を用いて行うことができる。この技術は、顔のしわを検出及び強調する。その他の特徴増大技術（例えば、輪郭強調法）を用いて、しわの経時変化の影響を更に劇的にすることもできる。
【００３２】
マスキング、及び顔面特徴の検出
しわのエイジングシミュレーションは好ましくは、しわとほうれい線を含む顔の皮膚区域の上で行わなければならない。本発明の例示的な実施形態では、例えば、唇、毛、目、眉、及び鼻孔といった顔の皮膚以外の区域は、シミュレーションから除外する。顔の前記皮膚区域を検出する技術は、米国特許出願公開第１１／６８１，５０９号に記載されている。この方法は、皮膚マップを生成し、顔の皮膚領域の輪郭を描くと共に、唇、目、眉、及び毛のような皮膚以外の区域を取り除く。
【００３３】
斜位像の代表的な顔面皮膚マップは、図１０に示されている。この皮膚マップから、いくつかの主要な顔面特徴点を識別できると共に、顔のしわ区域を覆うマスクを設計することができる。例えば、目の角部である点Ａ及び点Ｂは、皮膚マップ内で輪郭が描かれている目の区域の最右点及び最左点として、マークが付されている。顔面特徴点Ｃは、目のラインと鼻筋との交点として画定されている。顔面特徴点Ｄは、鼻の頂点である。顔面特徴点Ｅは、鼻に近接する、ほうれい線の頂点である。顔面特徴点Ｆは、唇の角部である。これらの顔面特徴点を用いて、顔のある特定区域を覆う特定のマスクを設計することができる。例えば、顔面特徴点Ｂを通るように描かれている水平な点線を上端として、顔面特徴点Ｆを通るように描かれている水平な点線を下端として用いて、目の高さよりも下であり、唇の高さよりも上である皮膚区域を覆うマスクを設計することができる。
【００３４】
本発明は、弾性位置合わせプロセスにおいて、上記の顔面特徴点のいくつかを用いる。好ましい実施形態では、３つの顔面特徴点Ａ、Ｂ、及びＥは、ニュートラル画像と表情画像との間で一貫して識別することのできる優れた目印点である。これらの顔面特徴点の識別は、対応マッチングプロセスを補助し、位置合わせを容易にすることになる。
【００３５】
特徴ベースの対応マッチング
図２は、代表的な特徴ベースの対応マッチングプロセスであって、ニュートラル画像と表情画像のマスキング済み部分をインプットとしてみなし、位置合わせプロセスで用いられる一連の対応する制御点を戻すプロセスのフローチャートを示している。特徴ベースの対応マッチングプロセスは、両方の画像上の同じ皮膚特徴を見つけることに基づいている。
【００３６】
まず、マスキング済みのニュートラル画像１０４Ａ（図１の画像）を２０１Ａで、マスキング済みの表情画像１０４Ｂ（図１の画像）を２０１Ｂで、それぞれ処理して特徴画像を生成する。特徴画像では皮膚の特徴が強調されており、オリジナル画像よりも対応マッチングに有効であることが分かる。本発明における好ましい特徴画像は、標準的なＲＧＢ画像の青チャンネルと緑チャンネルの平均である。青及び緑チャンネルは、色素沈着の斑点及び毛穴を、より良好に示すことが知られている。これらの特徴は、青色及び緑色のスペクトル内において、より高い吸収を見せるためである。例えば、強度画像、若しくはＣＩＥ ＬＡＢ変換画像の明度（Ｌ）チャンネル、又はその他の既知のコントラスト生成技術を用いるコントラスト画像など、特徴画像を生成するためのその他の技術も用いることもできる。
【００３７】
ニュートラル画像及び表情画像を生成したら、２０３で、ニュートラル画像に基づいて、斑点特徴（例えば、褐斑、大きい毛穴など）を検出して、ラベリングする。表情画像内にはゆがみが存在するため、斑点特徴は、表情画像よりもニュートラル画像での方が簡単に検出される。米国特許出願公開第１１／６８１，５０９号は、強調又はコントラスト画像から斑点特徴を検出するプロセスを説明している。顕著な特徴（例えば、特定の寸法及び上記のいくらかのコントラスト閾値よりも大きいもの）の方が、表情画像で検出可能である可能性が高いため、対応マッチングには、顕著な特徴のみが用いられることに留意されたい。
【００３８】
特徴を検出してラベリングした後、２０５で顕著な皮膚特徴を探し出す。これを行う際には、表情画像を特定の寸法のブロックに分割する。ブロックの寸法は好ましくは、所望の数の対応点に基づいている。各ブロックにおいて、最も顕著な機構を探し出し、バウンディングボックスで囲む。このバウンディングボックスを用いて、ニュートラル特徴画像（２０１Ａの画像）から矩形パッチを切り取り、表情特徴画像（２０１Ｂの画像）内で同じ特徴を検索するためのテンプレートとして用いる。テンプレートマッチング技術を２０７で用いて、表情特徴画像内で、対応する小さい矩形パッチの場所を探し出す。テンプレートマッチング技術では、正規化相互相関測度を用いて、マッチングする特徴の場所を探し出すが、この目的のために、その他のメトリクス（例えば、相互情報（ＭＩ）、ヒストグラム差のエネルギー（ＥＨＤ）など）も用いることができる。マッチングメトリクスが、特定の閾値を下回る場合、いくつかのマッチングを除外することができる。例えば、正規化相互相関においては、０．５の閾値を用いて、不十分な対応を除外することができる。ニュートラル画像内の各ブロックにおいて、このプロセスを反復し、一連の対応点（ニュートラル画像点及び表情画像点）をプロセス２０５及び２０７から戻す。これらの一連の点に、ニュートラル画像顔面特徴点１０３Ａと表情画像顔面特徴点１０３Ｂを自動又は手動のいずれかで加えることができる。これらの顔面特徴点（例えば、目の角部、ほうれい線の頂点）は、図１に示されているプロセスの１０２Ａ及び１０２Ｂで事前に定めたものである。これらの点を追加すると、特に目の周りにおいて、しわの位置合わせが向上するはずである。
【００３９】
２０９では、マッチング点の妥当性を検証するために、ある手順を行う。例えば、不当にマッチしたペアを除去するために、ドロネー三角形分割（Delaunay tringularization）などの幾何学的技術を用いる様々な妥当性検証手順がある。例示的な実施形態では、３つの対応点に対して三角形幾何を用い、三角形の角度と長さに基づいて三角形の類似性測度を用いて、外れ値を除外する。三角形幾何は、既に探し出した２つのマッチングターゲット点、及び３つの対応する基準点によって形成された三角形に基づき、ターゲット点のおおよその場所を予測するのにも用いることもできる。このようなプロセスは、探索空間を縮小させ、対応マッチングを向上させ、処理時間を短縮する。
【００４０】
マッチング点の妥当性検査（２０９）の後も、ぴったりマッチしているわけではない点のペアがいくつか残っている場合がある。２１１では、例えば、ラベル化された対応点を有する両方の画像を表示するグラフィカルユーザーインターフェース（ＧＵＩ）ツールによって、これらのペアを手動で補正することができる。これらの画像は好ましくは、２０１Ａ及び２０１Ｂで生成された特徴画像であるが、オリジナルのニュートラル画像と表情画像であることもできる。オペレーターは、ミスマッチの対応点を補正するか、新たな対応点を加えるか、又は、外れ点を除去することができる。この手動操作後には、全ての対応点がマッチするはずである。ミスマッチのペアによって、表情画像からのしわをニュートラル画像に転写するとき、最終的なシミュレート画像上に望ましくないアーチファクトが生じる場合がある。
【００４１】
弾性位置合わせ及びマッピング
代表的な弾性位置合わせ及びマッピングプロセスが図３に示されている。表情画像からのしわをニュートラル画像の上に位置合わせするために、まず、関心領域（すなわち、マスキング済み領域）内における表情画像とニュートラル画像との間の空間マッピングを定める。ニュートラル画像及び表情画像のマスキング済み領域を用いて、一連のマッチング制御点を探し出し、この制御点を用いて、マッピングを画定することになる。対応マッチング後に得られた一連のニュートラル画像制御点及び表情画像制御点に基づいて、弾性位置合わせ技術を用いて、２つの画像間の一対一の空間マッピングを画定できる。マッピングが確立されたら、表情画像からのしわをニュートラル画像の適切な場所に転写することができる。
【００４２】
図３は、ニュートラル画像と表情画像との間の弾性位置合わせ及びマッピングの代表的なプロセスのフローチャートである。用いることができるその他の位置合わせ技術のうち、ニュートラル状態から表情を有する状態に移り変わる顔のモーフィングをもたらす弾性位置合わせが好ましい。様々な既知の弾性位置合わせ技術（例えば、薄板スプライン（ＴＰＳ）、多重二次（ＭＱ）、区分的線形（ＰＬ））があり、これらのうちのいくつかは、画像処理ソフトウェアパッケージの一部として含まれている。本発明の好ましい実施形態は、生体医学画像の位置合わせで広く用いられているＴＰＳ技術を用いており、高度な弾性を有する２つの画像の間のスムーズなマッピングを画定するのに、より適している。
【００４３】
図２の対応マッチングプロセスで生成されたニュートラル画像制御点２１３Ａ及び表現画像制御点２１３Ｂを３０１で用いて、弾性位置合わせのパラメーターを定める。この目的で用いることのできる一連の対応点から、ＴＰＳ位置合わせパラメーターを見積もる方法は、ブックスタイン（Bookstein）ら、「主ゆがみ：薄板スプライン及び変形分解（Principal Warps: Thin-Plate Splines and the Decomposition of Deformations）」（ＩＥＥＥトランザクションズ・オブ・パターン・アナリシス・アンド・マシン・インテリジェンス（IEEE Transactions on Pattern Analysis and Machine Intelligence）第１１巻、第６号、１９８９年６月）に記載されている。
【００４４】
続いて、３０１で定めたＴＰＳパラメーターを３０３で用いて、表情画像の関心区域の座標をニュートラル画像にマッピングする。このような関心区域は、しわを含み、本明細書では、しわパッチとも称する。しわパッチは、しわを含むマスキング済み表情画像（１０４Ｂ、図１）の全部又はサブセクションであることができる。３０２では、マスキング済み表情画像内で、１つ以上のしわパッチの輪郭を描く。例示的な実施形態では、原画像の上のマスクをオーバーレイして、オペレーターが、マスク内の画像の所望の部分（１つ又は複数）を手動で選択できるようにすることによって、マスキング済み表情画像内で、１つ以上のしわパッチの輪郭を描くことができる。あるいは、オペレーターは、マスクを使用することなく、皮膚領域に固定された画像から、しわパッチを選択することができる。パッチの輪郭描写も、好適なアルゴリズムに従って自動的に行ってよい。したがって、マスキング済み表情画像の全体をニュートラル画像にマッピングする代わりに、本発明の方法によって、マスキング済み表情画像内のサブセクション又は関心領域のみをマッピングするのが可能になる。
【００４５】
３０３での弾性マッピングの適用によって、新しい一連の座標が得られ、この座標は、位置合わせ済みマスク座標と称され、しわパッチ座標からニュートラル画像へのマッピングを画定する。しかし、このマッピングは、一対一のマッピングであることは保証されておらず、すなわち、位置合わせ済みパッチ座標に不連続性（ピクセル落ち）が存在する場合がある。このような不連続性を排除するために、補間又は平滑化手順を３０５で行って、連続的マッピング、すなわち、１つ又は複数の連続的パッチを構築することができる。この目的においては、本発明の好ましい実施形態では、位置合わせ済みマスク座標から新しい１つ又は複数のパッチを生成した後、小さい円形構造要素による形態的スムージングを用いる。当該技術分野において既知のその他の補間技術も用いてよい。
【００４６】
３０５で、スムーズかつ連続的である新しい１つ又は複数のパッチを得た後、このパッチ内で、新しい座標一式３０７を定義し、３０３で生成した位置合わせ済みマスク座標をこれに差し替える。座標３０７は、ニュートラル画像の連続的しわマスク座標と称する。座標３０７を用いて、表情画像からインポートしたピクセルをニュートラル画像にポピュレートする。しかし、これらのニュートラル画像座標の対応座標を表現画像で探し出す必要がある。これは、３０９で逆マッピングプロセスを通じて行い、このプロセスは、ニュートラル画像座標から表情画像座標へのマッピングを画定する。したがって、３０９での逆マッピングプロセスは、３０１で得たものと逆の弾性位置合わせパラメーターを用いる逆マッピングを適用する。
【００４７】
３０９の逆マッピング後、表情画像内の対応しわパッチ座標３１１を定める。この時点において、ニュートラル画像内の各ピクセルから表情画像内の対応ピクセルへの空間マッピングが確立される。３１３では、表情画像からのしわパッチピクセルを、対応座標に従ってニュートラル画像にコピーして、仮のしわシミュレート画像３１５を生成する。３１３のコピー手順は好ましくは、ニュートラル画像マスク内で行う。ニュートラル画像マスクは、前記マッピングを顔の皮膚領域に限定しているため、粗雑な対応マッチングに起因する粗雑な弾性位置合わせの場合に、仮のしわシミュレート画像３１５内で構造的アーチファクトの発生を防ぐ。
【００４８】
良好な対応マッチングが得られるとすると、仮のしわシミュレート画像３１５は、ニュートラル画像とうまく位置合わせされるはずであり、ニュートラル画像と比較して、経時変化の影響を表示することができる。
【００４９】
しかし、仮のしわシミュレート画像３１５は、境界アーチファクト、すなわち、１つ以上の転写済みしわパッチの境界線沿いの陰影及び色のミスマッチを有することがある。上述のとおり、このようなアーチファクトは、バート（Burt）及びアデルサン（Adelsan）による「画像モザイクへの用途による多重解像度スプライン（A multi-resolution spline with application to image mosaics）」（ＡＣＭトランザクションズ・オン・グラフィックス（ACM transactions on Graphics）第２巻、第４号、１９８３年１０月）に記載されているような画像モザイク化技術（図１の１１１）を用いて、除去することができる。）当該技術分野において既知であるその他のモザイク化技術も用いることができる。
【００５０】
可変なしわのエイジングシミュレーション
本発明の例示的な実施形態による、しわのエイジングシミュレーションは、例えば、ニュートラル画像としわのシミュレート画像との間のしわの経時変化の程度を示すレンダリング画像をコンピュータモニター上に表示することによって、示すことができる。対話制御機構（例えば、スライダー制御、ノブ、レバーなど）を提供して、観察者が、シミュレートされる経時変化の程度を変えられるようにすることができる。このようなプロセスは、図４Ａ及び４Ｂに示されている。
【００５１】
図４Ａに示されているように、画像レンダリングプロセス４１０によって、顔のしわのシミュレート画像４０２を顔のニュートラル画像４０１とブレンドして、レンダリング画像４２０を生成する。画像レンダリング４１０は、例えばアルファブレンディング、又は他の様々な好適な技術のいずれかを用いて、画像をブレンドする。
【００５２】
ニュートラル画像４０１は、上記（例えば図１の１０１Ａ）に記載されているように得ることができ、しわのシミュレート画像４０２は、図１の方法を用いて生成することができる。画像レンダリング４０１は、ブレンド制御パラメーター４０３に従って、ニュートラル画像としわのシミュレート画像との間のブレンドの度合いを変えることができる。ブレンド制御パラメーター４０３は、例えば、コントロールノブ、スライダー、キーボード入力、若しくは、例えば、グラフィカルユーザーインターフェースウィジェットのようなハードウェアとソフトウェアベースの双方のインプリメンテーションを含むその他の機構のようなユーザーインプット、又は、ユーザーがインプットを提供できるその他の好適な手段から提供することができる。ブレンド制御パラメーターの一方の極点では（例えば、動作範囲の第１の端点にある、すなわちα＝０であるスライダーによる場合）、レンダリング画像４２０は、ニュートラル画像４０１と同じであり、他方の極点（例えばα＝１）では、しわのシミュレート画像４０２と同じである。ユーザーが、ユーザーインプット手段の操作によって、ブレンド制御パラメーターを変えると、レンダリング画像は、２つの極点の間で変化し、それによって、しわの経時変化の可変の程度を示すことになる。
【００５３】
図４Ａに示されているように、しわ年齢の推定プロセス４２５をブレンド制御パラメーターにリンクさせて、ブレンド画像４２０に対応するしわの推定年齢４３０を生成することができる。あるいは、ブレンドの度合いを変更する（すなわち、範囲［０ １］内でαを変える）ことによって、しわ年齢の推定プロセスをオフラインで実行して、特定の年齢間隔（例えば１年）で、しわのシミュレート画像を生成することができる。したがって、ブレンド制御機構（例えばスライダー制御）は、対話型シミュレーションの前に、特定の被験者についてラベリングすることができる。後で更に詳細に説明するとおり、しわ年齢の推定プロセス４２５では、しわの重症度（すなわちしわの量）と年齢との間の関係を説明するしわのエイジングモデル４０５を用いる。このようなモデルは、異なる年齢の大勢の人々から収集した統計的データに基づいて抽出することができる。皮膚の重症度測定値の割り出し、及び様々な皮膚タイプ（又は民族グループ）の統計的データは、ヒレブランド（Hillebrand）らによる米国特許第６，５７１，００３号「皮膚の画像化及び分析のシステム及び方法（Skin imaging and analysis systems and methods）」に記載されている。
【００５４】
好ましくは、しわのエイジングモデル４０５は、性別及び皮膚のタイプ（即ち民族）、地理的所在地、並びにライフスタイルに従って更に差異化して、個人のピアグループ（例えば性別、皮膚のタイプ、及び／又は喫煙のようなライフスタイルによって分類される）からのデータを用いて、その個人のしわの経時変化をモデル化するようにしてよい。
【００５５】
しわのスコアリングプロセス４１５では、ブレンドされるニュートラル画像４０１としわのシミュレート画像４０２とにおけるしわの重症度スコアを定める。代表的なしわのスコアリング方法は、米国特許出願公開第１１／６８１，５０９号に記載されている。図５を参照しながら後で更に詳細に説明するように、しわ年齢の推定プロセス４２５では、しわのエイジングモデル４０５、及び、ニュートラル画像としわのシミュレート画像のしわスコアを用いて、画像レンダリングプロセス４１０によって生成されたブレンド画像４２０に対応するしわ年齢（Ｘ）を割り出す。
【００５６】
図４Ａの例示的な実施形態では、レンダリング画像に基づいて、しわ年齢を生成するが、図４Ｂに示されている更なる例示的な実施形態では、ユーザーが指定したしわ年齢４０４に対応するレンダリング画像を生成する。図５を参照して以下に更に詳細に説明するように、ブレンドパラメーター決定プロセス４３５では、しわのエイジングモデル４０５、及びニュートラル画像としわのシミュレート画像のしわスコアを用いて、指定されたしわ年齢４０４におけるしわのシミュレート画像４２０を生成するために画像レンダリング４１０によって用いられるブレンド制御パラメーター（α）を定める。
【００５７】
図５は、しわのエイジングシミュレーションの被験者のピアグループ（例えば白人女性）の代表的なしわのエイジングモデルを表すしわのエイジング曲線５１０を示している。曲線５１０は、このピアグループに関して収集した統計的データに基づいて、しわの重症度スコア（ＷＳＳ）と年齢との間の関係を示している。しかし、被験者は、曲線５１０に該当しないＷＳＳを有することもある。例えば、特定の３０歳の白人女性は、曲線５１０で予測されている０．００５というＷＳＳとは異なり、０．０３のＷＳＳを有する場合がある。この被験者においては、ニュートラル状態における被験者のＷＳＳに基づいた曲線５１０をシフトさせるなどして調節することによって、個人に合ったしわのエイジングモデルを抽出することができる。曲線５２０は、このような被験者に合わせて調節した曲線を表している。
【００５８】
図５を参照すると、曲線５２０の点５２１は、例示的な３０歳の白人女性の被験者の現行のＷＳＳを表している。このＷＳＳは、被験者の現行のニュートラル画像（ＩN）に基づいており、図５のチャートのｙ軸上で、ＷＳＳ｛ＩN｝として示されている。更なるＷＳＳは、上記のように生成することができるような、被験者のしわのシミュレート画像（ＩWS）から割り出す。この値は、図５のチャートのｙ軸上で、ＷＳＳ｛ＩWS｝として示されており、曲線５２０の点５２３に対応する。曲線５２０から、ＷＳＳ｛ＩWS｝に対応する年齢を割り出すことができる。図５に示されている例では、この年齢は５０歳である。
【００５９】
現行の年齢（例えば３０歳）と、しわのシミュレート画像に対応する年齢（例えば５０歳）との間の年齢の被験者のしわの経時変化をシミュレートする画像であって、レンダリングの対象となる画像（ＩR）は、点５２１と点５２３との間の曲線５２０の上に位置する点５２２に対応する。この画像のＷＳＳは、図５のチャートのｙ軸上で、ＷＳＳ｛ＩR｝として示されている。図５に示されている例では、この値は、対応する４３歳という年齢において、約０．０４である。
【００６０】
点５２１と点５２２の間におけるＷＳＳの変化は、点５２２に対応する年齢における被験者のしわの経時変化をシミュレートする目的でニュートラル画像に加えられるしわの量に関連している。後述のとおり、ニュートラル画像４０１としわのシミュレート画像４０２の間のブレンドの様々な度合いを有するレンダリング画像を表示しながら、ＷＳＳの変化を、図４Ａ及び４Ｂに示されているレンダリングプロセスにおけるブレンド制御パラメーターにリンクさせることができる。
【００６１】
図４Ａ及び４Ｂの例示的な実施形態では、画像レンダリングプロセス４１０でアルファブレンディングを用いて、以下の式に従って、ニュートラル画像としわのシミュレート画像をブレンドすることができる。
【００６２】
【数１】
式中、αは、０〜１（０及び１を含む）の間で変化するブレンド制御パラメーターであり、ＩWSは、しわのシミュレート画像を表し、ＩNはニュートラル画像を表し、ＩRは、所定の値のブレンド制御パラメーターαにおけるレンダリング画像を表している。
【００６３】
ブレンド制御パラメーターが最小値（すなわちα＝０）であるとき、ニュートラル画像がレンダリング画像として生成される。ブレンド制御パラメーターが最大値（すなわちα＝１）であるとき、しわシミュレート画像がレンダリング画像として生成される。ブレンド制御パラメーターがこれらの値の間のいずれかの値であるとき、しわの重症度スコアリングオペレーターＷＳＳ｛Ｉ｝を、上記のアルファブレンディング式（式１）に当てはめ、下記の式をもたらすことによって、被験者のしわの重症度スコアを算出することができる。
【００６４】
【数２】
式中、ＷＳＳ｛Ｉ｝は、画像ＩのＷＳＳである。式２は、レンダリング画像のＷＳＳが、しわのシミュレート画像とニュートラル画像のＷＳＳの一次結合であること示している。
【００６５】
制御機構（例えば、スライダー、ノブ、ウィジェット）によるなどして、ユーザーがブレンド制御パラメーターαを提供する図４Ａの例示的な実施形態では、しわ年齢の推定プロセス４２５で、式２を用いて、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。調節済みのしわのエイジングモデル曲線５２０を用いて、しわ年齢の推定プロセス４２５で、ＷＳＳ｛ＩR｝に対応するしわ年齢４３０を割り出す。レンダリング画像４２０と、対応するしわ年齢４３０を好ましくは一緒に表示して、ユーザーに、しわと年齢との間の相関関係を示す。
【００６６】
シミュレートするしわ年齢をユーザーが指定する図４Ｂの例示的な実施形態では、ブレンドパラメーター決定プロセス４３５で、調節済みのしわのエイジング曲線５２０を用いて、指定のしわ年齢に対応するＷＳＳ、もっと厳密にいえば、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。ブレンドパラメーターαは、下記の式に従って、ブレンドパラメーター決定プロセス４３５によって、割り出すことができる。
【００６７】
【数３】
【００６８】
ブレンド制御パラメーターαを用いて、画像レンダリングプロセス４１０で、式１に従って、対応するブレンド画像をレンダリングする。
【００６９】
シミュレートするしわ年齢をユーザーが指定する図４Ｂの例示的な実施形態では、ユーザーが指定した年齢を好ましくは最初にチェックして、その年齢が、現行の年齢と、被験者のしわのシミュレート画像に対応する年齢を含む範囲内（すなわち、この例では３０〜５０歳）にあるかを割り出すことに留意されたい。前記範囲内にない場合には、指定の年齢を自動的に制限することができ、あるいは、処理前に、前記範囲内にある年齢を入力するかユーザーに問うことができる。
【００７０】
例示的な実施形態では、しわのエイジングモデル曲線５１０及び５２０を、例えばルックアップテーブル内にインプリメントすることができる。
【００７１】
本発明の上述の画像レンダリング及びしわ年齢の推定の態様は、しわの経時変化に限定されておらず、例えば斑点及び質感を含むその他の皮膚の状態又は異常と共に用いることもできる。
【００７２】
可変なしわのディエイジングシミュレーション
しわのエイジングシミュレーションに加えて、本発明は、上記のような画像レンダリングプロセスを用いる、可変なしわのディエイジングシミュレーション法も提供する。代表的な可変ディエイジングプロセスは、図６Ａ及び６Ｂに示されている。図６Ａ及び６Ｂに示されているように、画像レンダリングプロセス６１０によって、しわのディエイジド画像６０２を現行のニュートラル画像６０１とブレンドする。しわのディエイジド画像６０２は、米国特許出願公開第１１／６８１，５０９号に記載されているようなしわのディエイジングシミュレーション法を用いて、ニュートラル画像６０１から生成することができる。
【００７３】
画像レンダリング６１０では、例えばアルファブレンディング、又はその他のいずれかの様々な好適な技術を用いて、ブレンド制御パラメーターによって制御したブレンドの度合いで、画像６０１及び６０２をブレンドする。図６Ａの実施形態では、例えば、制御ノブ、スライダー、又は、例えば、グラフィカルユーザーインターフェースウィジェットのようなハードウェアとソフトウェアの双方をベースとするインプリメンテーションを含むその他の好適な機構のようなユーザーインプット６０３からブレンド制御パラメーターを提供する。あるいは、図６Ｂの実施形態のように、以下に更に詳細に説明するように、ブレンド制御パラメーター決定プロセス６３５によってブレンド制御パラメーターを生成する。
【００７４】
ブレンド制御パラメーターの一方の極点では（例えば、動作範囲の第１の端点、すなわちα＝０にあるスライダーによる場合）、レンダリング画像６２０は、ニュートラル画像６０１と同じであり、他方の極点（例えばα＝１）では、しわのディエイジド画像６０２と同じである。ブレンド制御パラメーターが、その極点間で変化すると、レンダリング画像は、ニュートラル画像としわのディエイジングのシミュレート画像との間で変化し、それによって、しわのディエイジングの可変な度合いを示すことになる。
【００７５】
図６Ａに示されているように、しわの経時変化の予想プロセス６２５をブレンド制御パラメーターにリンクさせて、ブレンド画像６２０に対応するしわの推定年齢６３０を生成することができる。以下に更に詳細に説明するとおり、しわ年齢の推定プロセス６２５では、しわの重症度（すなわちしわの量）と年齢との間の関係を説明するしわのエイジングモデル６０５を用いる。モデル６０５は、図４Ａ及び４Ｂの可変なエイジングモデルとの関連で上述したモデル４０５と同じであることができる。
【００７６】
しわのスコアリングプロセス６１５では、ブレンドされるニュートラル画像６０１としわのディエイジド画像６０２とにおけるしわの重症度スコアを定める。図４Ａの実施形態と同様に、しわ年齢の推定プロセス６２５では、しわのエイジングモデル６０５、及びニュートラル画像としわのディエイジングシミュレート画像のしわスコアを用いて、画像レンダリングプロセス６１０によって生成されたブレンド画像６２０に対応するしわ年齢（Ｘ）を割り出す。
【００７７】
図６Ａの例示的な実施形態では、レンダリング画像に基づいて、しわ年齢を生成するが、図６Ｂに示されている更なる実施形態では、ユーザーが指定したしわ年齢６０４に対応するレンダリング画像を生成する。図７Ａ及び７Ｂを参照しながら以下に更に詳細に説明するように、ブレンドパラメーター決定プロセス６３５では、しわのエイジングモデル６０５、及びニュートラル画像としわのディエイジングシミュレート画像のしわスコアを用いて、指定されたしわ年齢６０４におけるしわのディエイジド画像６２０を生成するために画像レンダリングプロセス６１０によって用いられるブレンド制御パラメーター（α）を定める。
【００７８】
図７は、しわのディエイジングシミュレーションの被験者のピアグループ（例えば白人女性）の代表的なしわのエイジングモデルを表すしわのエイジング曲線７１０を示している。曲線７１０は、しわの重症度スコア（ＷＳＳ）と、このピアグループに関して収集した統計的データに基づいた年齢との間の関係を示しており、上記の曲線５１０と同じであることができる。しかし、被験者は、曲線７１０に該当しないＷＳＳを有することもある。例えば、特定の５０歳の白人女性は、曲線７１０で予測されている０．０１５というＷＳＳとは異なり、０．０４８のＷＳＳを有する場合がある。この被験者については、ニュートラル状態における被験者のＷＳＳに基づき曲線７１０を移行させるなどして調節することによって、個人に合ったしわのエイジングモデルを抽出することができる。曲線７２０は、このような被験者に合わせて調節した曲線を表している。
【００７９】
図７を参照すると、曲線７２０の点７２３は、例示的な５０歳の白人女性の被験者の現行のＷＳＳを表している。このＷＳＳは、被験者の現行のニュートラル画像（ＩN）に基づいており、図７のチャートのｙ軸上で、ＷＳＳ｛ＩN｝として示されている。更なるＷＳＳは、上記のように生成することができるような、被験者のしわのディエイジングシミュレート画像（ＩD）から割り出す。この値は、図７Ａのチャートのｙ軸上で、ＷＳＳ｛ＩD｝として示されており、曲線７２０の点７２１に対応する。曲線７２０から、ＷＳＳ｛ＩD｝に対応する年齢を割り出すことができる。図７Ａに示されている例では、この年齢は１５歳である。
【００８０】
レンダリングされる画像（ＩR）であって、現行年齢（例えば５０歳）と、しわのディエイジングシミュレート画像に対応する年齢（例えば１５歳）との間の年齢の被験者のしわのディエイジングをシミュレートする画像は、点７２１と点７２３との間の曲線５２０の上に位置する点７２２に対応する。この画像のＷＳＳは、図５のチャートのｙ軸上で、ＷＳＳ｛ＩR｝として示されている。図７Ａに示されている例では、この値は、対応する４３歳という年齢において、約０．０４である。
【００８１】
点７２２と点７２３の間におけるＷＳＳの変化は、点７２２に対応する年齢における被験者のしわの経時変化をシミュレートする目的でニュートラル画像から除去されるしわの量に関連している。後述のとおり、ニュートラル画像６０１としわのディエイジド画像６０２との間の様々なブレンドの度合いを有するレンダリング画像を表示しながら、ＷＳＳの変化を、図６Ａ及び６Ｂに示されているレンダリングプロセスにおけるブレンド制御パラメーターにリンクさせることができる。
【００８２】
図６Ａ及び６Ｂの例示的な実施形態では、画像レンダリングプロセス６１０でアルファブレンディングを用いて、以下の式に従って、ニュートラル画像としわのシミュレート画像をブレンドすることができる。
【００８３】
【数４】
式中、αは、０〜１（０及び１を含む）の間で変化するブレンド制御パラメーターであり、ＩDは、しわのディエイジングシミュレート画像を表し、ＩNはニュートラル画像を表し、ＩRは、所定の値のブレンド制御パラメーターαにおけるレンダリング画像を表している。
【００８４】
ブレンド制御パラメーターが最小値（すなわちα＝０）であるとき、ニュートラル画像がレンダリング画像として生成される。ブレンド制御パラメーターが最大値（すなわちα＝１）であるとき、しわのディエイジングシミュレート画像がレンダリング画像として生成される。ブレンド制御パラメーターが、これらの値の間のいずれかの値であるとき、しわの重症度スコアリングオペレーターＷＳＳ｛Ｉ｝を、上記のアルファブレンディング式（式４）に当てはめ、下記の式を与えることによって、被験者のしわの重症度スコアを算出することができる。
【００８５】
【数５】
式中、ＷＳＳ｛Ｉ｝は、画像ＩのＷＳＳである。
【００８６】
ユーザーがブレンド制御パラメーターαを決定する図６Ａの例示的な実施形態では、しわ年齢の推定プロセス６２５で式５を用いて、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。調節済みのしわのエイジングモデル曲線７２０を用いて、しわ年齢の推定プロセス６２５で、ＷＳＳ｛ＩR｝に対応するしわ年齢６３０を割り出す。レンダリング画像６２０と、対応するしわ年齢６３０を好ましくは一緒に表示して、ユーザーに、しわと年齢との間の相関関係を示す。
【００８７】
シミュレートするしわ年齢をユーザーが指定する図６Ｂの例示的な実施形態では、ブレンドパラメーター決定プロセス６３５で、調節済みのしわのエイジングモデル曲線７２０を用いて、指定のしわ年齢に対応するＷＳＳ、もっと厳密にいえば、レンダリングされる画像のＷＳＳであるＷＳＳ｛ＩR｝を割り出す。ブレンドパラメーターαは、下記の式に従って、ブレンドパラメーター決定プロセス６３５によって、割り出すことができる。
【００８８】
【数６】
【００８９】
ブレンド制御パラメーターαを用いて、画像レンダリングプロセス６１０で、式４に従って、対応するブレンド画像をレンダリングする。
【００９０】
例示的な実施形態では、しわのエイジングモデル曲線７１０及び７２０を、例えばルックアップテーブル内にインプリメントすることができる。
【００９１】
本発明の上述の画像レンダリング及びしわ年齢の推定の態様は、しわの経時変化に限定されておらず、例えば斑点及び質感を含むその他の皮膚の状態又は異常と共に用いることもできる。
【００９２】
上記の実施形態では、ＷＳＳ｛ＩD｝の値は、しわのディエイジド画像を生成するのに用いられるしわのディエイジングシミュレーションプロセスに左右されることになる点に留意されたい。上述のとおり、例示的な実施形態では、被験者の現行画像６０１とブレンドされるしわのディエイジド画像６０２は、画像６０１で検出された全てのしわを除去するプロセスによって生成する。実質的には、モデル曲線７１０の点７１１によって表されているように、１５歳前後に対応するＷＳＳ｛ＩD｝は概ね０である。これは、しわが１５歳前後に現れ始めることを一般に示している統計的データと一致している。
【００９３】
しかし、かなりしわのある現行画像を有する被験者、すなわち、調節済みのしわのエイジングモデル曲線７２０がピアグループ曲線７０１から大きくずれている被験者においては、しわのない（すなわちＷＳＳ≒０）画像６０２は、レンダリング画像６２０を保証することのできる外観よりもしわの少ない外観に非現実的にゆがめる傾向がある。このため、ディエイジングをシミュレートする期間を制限するのが望ましい場合がある。更には、このようなディエイジング期間の規模は好ましくは、被験者の現行年齢に基づいて、より具体的には、開始年齢が若いほど、その期間は短縮される。したがって、例えば、例示的な実施形態では、ディエイジング期間は、２０歳の場合には２年、３０歳の場合には５年、４０歳の場合には８年のように制限してよい。適切な制限値は、経験的観測に基づいて割り出すことができる。好ましくは、ユーザーが、シミュレートするしわ年齢を指定する前に、年齢の許容可能範囲をユーザーに表示する。
【００９４】
代替的な実施形態では、図７Ｂに示されているように、調節済みのエイジングモデル曲線を修正することによって、上述のずれに対応することができる。図７Ｂでは、年齢が若いほどエイジングモデル曲線７１０からのずれが減少して、顔のしわが概ね現れ始める年齢である１５歳前後で２つの曲線が実質的に一点に集まるようになっている、修正・調節済みのエイジングモデルの修正曲線７２０’を用いる。
【００９５】
処置ベースの可変なディエイジングシミュレーション
本発明の別の態様では、可変なディエイジングシミュレーションに、処置に基づいた知識ベースのディエイジングモデルを組み込むことができる。しわの処置としては様々な選択肢（例えば、局所製剤、注射可能な充填剤、注射可能なボツリヌス毒素、フラクショナルリサーフェイシング、光／レーザー治療、形成外科／美容外科処置など）があり、これらの処置の効果は、経験によって知られている。この知識ベースのディエイジングを上記の可変なディエイジング実施形態のブレンド制御にリンクさせて、適用される処置に合った様々なしわディエイジングの度合いの画像をもたらすことができる。したがって、例えば、所定の処置が、しわの重症度スコアの比例的な上昇（すなわち、ΔＷＳＳ／ＷＳＳ0、式中、ＷＳＳ0は処置前のＷＳＳ）をもたらすことが示されている実験データがある場合、この情報を用いて、前記処置の成果をシミュレートする、しわのディエイジド画像をもたらすことができる。
【００９６】
図８は、処置ベースのディエイジングを組み込んだ可変なディエイジングシミュレーションプロセスの例示的な実施形態を示している。図８のプロセスは、所定のニュートラル画像８０１、ディエイジド画像８０２（例えば、ニュートラル画像に上記のディエイジングプロセスを適用することによって生成する）、及び指定の処置８０３（ユーザーインプットを介して提供することができる）において、対応するしわ年齢８３０と共に、しわのディエイジド画像８２０を生成する。図８のプロセスでは、処置の有効性モデル８０５を用いて、指定の処置８０３における比例的なＷＳＳの上昇（ΔＷＳＳ／ＷＳＳ0）を提供する。処置の有効性モデル８０５は、例えば、代替処置、及びそれに伴う成果予測のデータベースを含んでよい。比例的なＷＳＳ上昇を、上記のブレンド制御パラメーターαとして用いる。画像レンダリング８１０、しわスコアリング８１５、及びしわ年齢の推定の手順は、上記のとおり実施する。
【００９７】
本発明の上記の可変シミュレーションの態様は、しわのディエイジングに限定されておらず、その他の皮膚の状態又は異常、例えば斑点及び質感を含むその他の皮膚の状態又は異常と共に用いることもできる。
【００９８】
ライフスタイルベースの可変なエイジング／ディエイジングシミュレーション
本発明の別の態様では、可変なディエイジングシミュレーションに、ライフスタイルに基づく、知識ベースのしわのエイジング／ディエイジングモデルを組み込むことができる。しわの経時変化は、ライフスタイルによって、プラス方向、マイナス方向の双方で、大きな影響を受ける場合がある。しわの経時変化に悪影響を与えるか、又はしわの経時変化を加速させることが示されているライフスタイルの選択肢又は因子としては、例えば、喫煙、日光曝露、肥満、糖尿病、及びその他の様々な状態又は疾病が挙げられ、これらの各々は、経時変化の加速又は早期化をもたらす場合がある。例えば、食生活及び身体的活動のようなその他のライフスタイル因子、又は、ライフスタイル因子を損なう悪影響を覆すために取られる対策は、しわの経時変化に好影響を及ぼすか、又は、しわの経時変化を遅らせる。本発明の例示的な実施形態に従って、このような因子の影響を組み込んだ知識ベースのモデルを、上記の可変なエイジング又はディエイジング実施形態のブレンド制御にリンクさせて、ユーザーの指定したライフスタイル因子に合った様々な度合いのしわのエイジング／ディエイジングの画像をもたらすことができる。したがって、例えば、所定のライフスタイル因子が、しわの重症度スコアの比例的な低下（すなわち、ΔＷＳＳ／ＷＳＳ0、式中、ＷＳＳ0は処置前のＷＳＳ）をもたらすことが示されている実験データがある場合、この情報を用いて、このようなライフスタイル因子の影響をシミュレートするしわのエイジング画像をもたらすことができる。
【００９９】
図９は、ライフスタイル因子の影響を組み込んだ可変なエイジング／ディエイジングシミュレーションプロセスの例示的な実施形態を示している。図９のプロセスは、所定のニュートラル画像９０１、しわのエイジング又はディエイジングシミュレート画像９０２、及び指定のライフスタイル因子９０３（ユーザーインプットを介して提供することができる）において、対応するしわ年齢９３０と共に、しわのシミュレート画像９２０を生成する。図９のプロセスでは、ライフスタイルの影響モデル９０５を用いて、指定のライフスタイル因子９０３における比例的なＷＳＳの変化（ΔＷＳＳ／ＷＳＳ0）を提供する。ライフスタイルの影響モデル９０５は、ライフスタイル因子、及びライフスタイル因子が顔のしわに及ぼす影響予測のデータベースを含んでよい。比例的なＷＳＳ変化は、上記のブレンド制御パラメーターαとして用いる。画像レンダリング９１０、しわスコアリング９１５、及びしわ年齢の推定９２５の手順は、上記のとおり実施する。
【０１００】
しわのエイジングシミュレーションの実施例
図１１Ａ〜１１Ｄは、将来における顔のしわの出現を予測するのに表情しわを用いる際の基本原理を示す顔画像である。ニュートラル状態の２８歳の白人女性の被験者の顔画像を図１１Ａに、笑った表情の状態のものを図１１Ｂに示した。これらの画像は、Ｋ．ミヤモト（Miyamoto）らの「美容画像化システム：皮膚状態の客観的評価のために（The Beauty Imaging System: For the Objective Evaluation of Skin Condition）」（化粧品サイエンス会誌（Journal of Cosmetic Science）、５３（１）、２００２年、６２〜６５ページ）に記載されているように、ヘッド位置決め補助手段が取り付けられた標準的な照明装置の中に搭載されたクローズアップレンズを備えるフジ（Fuji）ＤＳ３３０というデジタルカメラを採用している制御画像化システムを用いて撮影した。比較用に、図１１Ｃは、同じ画像化システムによって撮影した、同じ被験者の３７歳時のニュートラル画像を示している。２８歳時に見ることのできる笑いじわ（図１１Ｂ）の進行を、３７歳時に撮影したニュートラル画像（図１１Ｃ）内で視覚的に理解することができる。
【０１０１】
２８歳時のニュートラル画像と笑顔画像に基づき、本発明のしわのエイジングシミュレーション法の例示的な実施形態によって、しわのエイジングシミュレート画像を生成した。このしわのエイジングシミュレート画像は図１１Ｄに示されている。２８歳時の画像に基づくしわのエイジングシミュレート画像（図１１Ｄ）は、しわの出現という点で、３７歳時の画像（図１１Ｃ）とよく一致していることが観察できる。これは、顔のしわ（すなわち老化）の出現を予測する際の、本発明のエイジングシミュレーション法の有効性を示している。
【０１０２】
図１２Ａ〜１２Ｈは、図１１Ａ〜Ｄの被験者の２８歳〜３７歳の顔の眼窩周囲領域内の表情じわの進行を示している。図１２Ａは、２８歳時のニュートラル状態の顔の眼窩周囲領域の画像、図１２Ｃは、２８歳時の笑った表情の状態における眼窩周囲領域の画像、図１２Ｅは、前記画像に基づくしわのシミュレート画像、１２Ｇは、３７歳時のニュートラル状態の眼窩周囲領域の画像である。図１２Ｂ、１２Ｄ、１２Ｆ、及び１２Ｈはそれぞれ、米国特許出願公開第１１／６８１，５０９号に記載されているようなしわ検出法によって生成した、対応するしわ検出済み画像である。しわ検出法の設定は、全ての画像において同じである。図１２Ｂ、１２Ｄ、１２Ｆ、及び１２Ｈでは、多角形１２００によって画定される領域内で検出されるしわが強調された状態で示されている。
【０１０３】
図１２Ｂから見て取れるように、図１２Ａのニュートラル画像においては、しわがほんのわずかしか検出されていない。しかし、図１２Ｄに示されているように、図１２Ｃの笑った表情の画像においては、もっと多くのしわが検出されている。笑った画像に出現している新たなしわの量は、視覚的に明白である。本発明による代表的な方法を用いて、笑顔によって誘発されるしわを図１２Ａのニュートラル画像の上に位置合わせして、ニュートラル時のように見えるしわを有する、図１２Ｅのしわのエイジングシミュレート画像を得る。図１２Ｆは、図１２Ｅに対応する、しわ検出済み画像を示している。
【０１０４】
本発明のエイジングシミュレーション法の正確性を示すために、被験者の同じ関心領域の実際の３７歳の画像が図１２Ｇに、図１２Ｈの対応するしわ検出済み画像と共に示されている。表情によって誘発されるしわの大半は、３７歳の画像内で見ることができる。換言すれば、３７歳の画像において検出されるしわの大半は、本発明のエイジングシミュレーション法によって予測されている。
【０１０５】
本発明は、例えば、本明細書に記載されている方法に従ってプログラムされたコンピュータを用いて、実施することができる。本発明用に用いることができる代表的なハードウェア構成は、米国特許出願公開第１１／６８１，５０９号に記載されている。上記の実施形態は、本発明の用途を代表することのできる考え得る具体的な実施形態のほんのいくつかを例証しているに過ぎないと理解される。当業者であれば、本発明の趣旨及び範囲から逸脱せずに、数多くの様々なその他の方策を立てることができる。
【特許請求の範囲】
【請求項１】
顔画像を操作して、可変なしわのエイジングをシミュレートする方法であって、該方法は、
顔の第１の画像を取り込む工程と、
前記第１の画像に基づいて、しわの変化した画像である第２の画像を生成する工程と、 ユーザーインプットに基づいているブレンドパラメーターに従って、前記第１の画像と前記第２の画像とをブレンドすることによって、第３の画像を生成する工程と、を含む方法。
【請求項２】
前記第２の画像が、しわの経時変化をシミュレートした画像である、請求項１に記載の方法。
【請求項３】
前記第１の画像が、ニュートラル状態の前記顔の画像であり、前記第２の画像が、前記第１の画像と、表情のある状態の前記顔の更なる画像とに基づいている、請求項２に記載の方法。
【請求項４】
前記第２の画像が、しわのディエイジングをシミュレートした画像である、請求項１に記載の方法。
【請求項５】
前記の第２の画像を生成する工程が、
前記第１の画像内のしわを検出する工程と、
前記検出したしわを除去する工程と、を含む、請求項４に記載の方法。
【請求項６】
前記第３の画像に対応し、しわのエイジングモデルに基づいているしわ年齢を割り出す工程、を含む、請求項１に記載の方法。
【請求項７】
前記しわのエイジングモデルが、ピアグループに基づいたしわのエイジングモデルを含む、請求項６に記載の方法。
【請求項８】
前記第１の画像のしわの重症度スコアを割り出す工程と、
前記第２の画像のしわの重症度スコアを割り出す工程と、
前記第１及び第２の画像のしわの重症度スコアと前記ブレンドパラメーターとに基づき、前記第３の画像のしわの重症度スコアを割り出す工程と、
しわ年齢としわの重症度スコアとの間の関係を提供する前記しわのエイジングモデルに従って、前記第３の画像の前記しわの重症度スコアから前記しわ年齢を割り出す工程と、を含む、請求項６に記載の方法。
【請求項９】
前記ユーザーインプットが、指定の処置を含み、かつ
前記ブレンドパラメーターが、前記指定の処置に従って割り出される、請求項１に記載の方法。
【請求項１０】
１つ以上の処置の成果予想のデータベースを用いて、前記ブレンドパラメーターを割り出す、請求項９に記載の方法。
【請求項１１】
前記第１の画像の前記しわの重症度スコアに従って、前記のしわのエイジングモデルを調節する、請求項６に記載の方法。
【請求項１２】
前記ブレンドパラメーターに従って、前記第１の画像と前記第２の画像の前記しわの重症度スコアの一次関数として、前記第３の画像の前記しわの重症度スコアを割り出す、請求項６に記載の方法。
【請求項１３】
前記ユーザーインプットが、指定のしわ年齢を含む、請求項１に記載の方法。
【請求項１４】
前記第１の画像のしわの重症度スコアを割り出す工程と、
前記第２の画像のしわの重症度スコアを割り出す工程と、
しわ年齢としわの重症度スコアとの間の関係を提供する前記しわのエイジングモデルに従って、前記指定のしわ年齢に基づき、前記第３の画像のしわの重症度スコアを割り出す工程と、
前記の第１、第２、及び第３の画像の前記しわの重症度スコアに従って、前記ブレンドパラメーターを割り出す工程と、を含む、請求項１３に記載の方法。
【請求項１５】
前記の第１、第２、及び第３の画像の前記しわの重症度スコアの一次関数として、前記ブレンドパラメーターを割り出す、請求項１４に記載の方法。
【請求項１６】
前記第１の画像と前記第２の画像とをアルファブレンディング（α合成）することによって、前記第３の画像を生成する、請求項１に記載の方法。
【請求項１７】
前記ユーザーインプットが、指定のライフスタイル選択肢を含み、かつ
前記指定のライフスタイル選択肢に従って、前記ブレンドパラメーターを割り出す、請求項１に記載の方法。
【請求項１８】
１つ以上のライフスタイル選択肢の影響予想のデータベースを用いて、前記ブレンドパラメーターを割り出す、請求項１７に記載の方法。
【請求項１】
顔画像を操作して、可変なしわのエイジングをシミュレートする方法であって、該方法は、
顔の第１の画像を取り込む工程と、
前記第１の画像に基づいて、しわの変化した画像である第２の画像を生成する工程と、 ユーザーインプットに基づいているブレンドパラメーターに従って、前記第１の画像と前記第２の画像とをブレンドすることによって、第３の画像を生成する工程と、を含む方法。
【請求項２】
前記第２の画像が、しわの経時変化をシミュレートした画像である、請求項１に記載の方法。
【請求項３】
前記第１の画像が、ニュートラル状態の前記顔の画像であり、前記第２の画像が、前記第１の画像と、表情のある状態の前記顔の更なる画像とに基づいている、請求項２に記載の方法。
【請求項４】
前記第２の画像が、しわのディエイジングをシミュレートした画像である、請求項１に記載の方法。
【請求項５】
前記の第２の画像を生成する工程が、
前記第１の画像内のしわを検出する工程と、
前記検出したしわを除去する工程と、を含む、請求項４に記載の方法。
【請求項６】
前記第３の画像に対応し、しわのエイジングモデルに基づいているしわ年齢を割り出す工程、を含む、請求項１に記載の方法。
【請求項７】
前記しわのエイジングモデルが、ピアグループに基づいたしわのエイジングモデルを含む、請求項６に記載の方法。
【請求項８】
前記第１の画像のしわの重症度スコアを割り出す工程と、
前記第２の画像のしわの重症度スコアを割り出す工程と、
前記第１及び第２の画像のしわの重症度スコアと前記ブレンドパラメーターとに基づき、前記第３の画像のしわの重症度スコアを割り出す工程と、
しわ年齢としわの重症度スコアとの間の関係を提供する前記しわのエイジングモデルに従って、前記第３の画像の前記しわの重症度スコアから前記しわ年齢を割り出す工程と、を含む、請求項６に記載の方法。
【請求項９】
前記ユーザーインプットが、指定の処置を含み、かつ
前記ブレンドパラメーターが、前記指定の処置に従って割り出される、請求項１に記載の方法。
【請求項１０】
１つ以上の処置の成果予想のデータベースを用いて、前記ブレンドパラメーターを割り出す、請求項９に記載の方法。
【請求項１１】
前記第１の画像の前記しわの重症度スコアに従って、前記のしわのエイジングモデルを調節する、請求項６に記載の方法。
【請求項１２】
前記ブレンドパラメーターに従って、前記第１の画像と前記第２の画像の前記しわの重症度スコアの一次関数として、前記第３の画像の前記しわの重症度スコアを割り出す、請求項６に記載の方法。
【請求項１３】
前記ユーザーインプットが、指定のしわ年齢を含む、請求項１に記載の方法。
【請求項１４】
前記第１の画像のしわの重症度スコアを割り出す工程と、
前記第２の画像のしわの重症度スコアを割り出す工程と、
しわ年齢としわの重症度スコアとの間の関係を提供する前記しわのエイジングモデルに従って、前記指定のしわ年齢に基づき、前記第３の画像のしわの重症度スコアを割り出す工程と、
前記の第１、第２、及び第３の画像の前記しわの重症度スコアに従って、前記ブレンドパラメーターを割り出す工程と、を含む、請求項１３に記載の方法。
【請求項１５】
前記の第１、第２、及び第３の画像の前記しわの重症度スコアの一次関数として、前記ブレンドパラメーターを割り出す、請求項１４に記載の方法。
【請求項１６】
前記第１の画像と前記第２の画像とをアルファブレンディング（α合成）することによって、前記第３の画像を生成する、請求項１に記載の方法。
【請求項１７】
前記ユーザーインプットが、指定のライフスタイル選択肢を含み、かつ
前記指定のライフスタイル選択肢に従って、前記ブレンドパラメーターを割り出す、請求項１に記載の方法。
【請求項１８】
１つ以上のライフスタイル選択肢の影響予想のデータベースを用いて、前記ブレンドパラメーターを割り出す、請求項１７に記載の方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１１Ｄ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１２Ｅ】
【図１２Ｆ】
【図１２Ｇ】
【図１２Ｈ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１１Ｄ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図１２Ｅ】
【図１２Ｆ】
【図１２Ｇ】
【図１２Ｈ】
【公開番号】特開２０１２−１８１８４３（Ｐ２０１２−１８１８４３Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１２−６０５２３（Ｐ２０１２−６０５２３）
【出願日】平成２４年３月１６日（２０１２．３．１６）
【分割の表示】特願２０１０−５１８２５３（Ｐ２０１０−５１８２５３）の分割
【原出願日】平成２０年６月１９日（２００８．６．１９）
【出願人】（５９０００５０５８）ザ プロクター アンド ギャンブル カンパニー (2,280)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２４年３月１６日（２０１２．３．１６）
【分割の表示】特願２０１０−５１８２５３（Ｐ２０１０−５１８２５３）の分割
【原出願日】平成２０年６月１９日（２００８．６．１９）
【出願人】（５９０００５０５８）ザ プロクター アンド ギャンブル カンパニー (2,280)
【Ｆターム（参考）】
[ Back to top ]