顔検知を用いた顔及び肌の自動美化
顔イメージのサブ領域に対応する輝度データに対して、局所的な平滑化カーネルの適用によって、顔映像内のサブ領域は向上させられ識別される。向上させられた顔映像は、顔の1以上の向上させられたサブ領域に対応するピクセルと結合して所定のオリジナルのピクセルを含む顔の向上させられたバージョンを含めて生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージ処理に関し、特に、顔イメージ内の検知されたサブ領域のイメージ処理に関する。
【背景技術】
【０００２】
プロクターアンドギャンブルの米国特許6,571、003は、例えば、ほお、又は、コーナーか鼻、目又は口のような目標ポイントによって定義されたエリアで、顔のサブ領域のしみ、しわ、毛穴、及び、きめのような、顔の欠点部分の発見及び修正に言及する。技術は定義された領域をマスクに取り替えることを含む。P&G特許は、電気的に色を修正することを開示する。
【０００３】
P&G特許はさらに、明暗の勾配及び明暗の分散の検知及び補正に言及する。明暗の勾配又は分散は、顔の肌の上のつやより明るい領域をもたらす指向性の照明がある場合を含むように見える。本出願と同じ譲受人に譲渡されたアメリカ特許出願シリアルナンバー12/038,147、61/106,910及び61/221,425は、指向性の照明を検知するために、ビオラ・ジョーンズ型選別カスケードを使用する技術について記述する。しかしながら、米国特許7,403,643及び7,315,631、及び、 すべて本出願と同じ譲受人に譲渡された、2008/0037840として発行された米国出願番号11/766,674、及び、12/063,089、61/091,700、61/120,289及び12/479,593で記述されたような顔トラッキング技術と結合した例外が存在するが、明暗の勾配の決定及び補正は一般的に全体的な分析を必要とするだろう。ある条件、環境又は制約条件の下、及び/又は、ある応用例に対するそれほど効率的でない全体的な分析に関するような技術ではなく、局所的なぼかしカーネルを用いる技術を持つことが望まれる。
【０００４】
コダックの特許7,212,657は、図13-14に、(輝度イメージ及び平均輝度イメージの生成に基づく)シャドー/ピーク・イメージ、ぼかしイメージ、及び混合されたイメージを生成することを図示する。コダックの特許は、輝度イメージから平均輝度イメージを引くことにより、シャドー/ハイライト強さイメージが生成されると述べる。さらに、図16で、コダックの特許は、要素1530は、「ピーク/谷マップ及び色情報を使用して、輝度とクロミナンスの換算係数を生成する」として分類され、そして、要素1540は、「マスク領域内のピクセルの輝度及びクロミナンスを修正する」として分類されることを示す。顔検知は、コダックの特許に記述されるが、顔トラッキングはそうではない。
【０００５】
コダックの技術は、P&G技術のように全体的イメージ操作を含み、つまり、「輝度イメージ」は全体イメージ未満の何も含むと示されず、 その「ブラー（ぼかし）イメージ」は、全体イメージのためのカーネルの利用を含み、「混合されたイメージ」は、全体イメージの3つのコピーを含む。「ぼかしイメージ」は、クロミナンスと輝度データを含み、特に、アプリケーションがリソースの制約付きの組込システムを含む場合には、イメージの操作のために、多くのメモリが使用されることを意味する。輝度とクロミナンスの換算係数に関して、それらが局所的な換算係数を含んでいても、それらは、全体イメージ未満のすべてのものに対するアプリケーションのために生成されているようなコダックの特許に記述されない。
【０００６】
本出願と同じ譲受人に譲渡されたアメリカ特許出願シリアルナンバー11/856,721及び12/330,719は、全体的な分析又は平均輝度イメージ又はシャドー又はぼかしイメージのような広域のプロパティの決定を含むことなしに、ラスター状で、単一で、イメージの関連する領域を横切るスキャンとして適用することが可能である技術について記述する。所定の領域中のそのようなシングルパス走査は、P&G又はコダックの特許のよりも、ディジタル・カメラのような組込システムにはるかに効率的でより適切な技術を提供する。
【０００７】
ヒューレットパッカード(HP)の公表された特許出願2002/0081003は、例えば、傷又はしわを含んでいるかもしれないような、イメージの一部の上の色を適用することを一般的に含むエア・ブラシに言及する。HPの公報は、さらに人の顔のイメージ上のしわに関してぼかすことに言及し、そして、特に、しわ及びまわりの肌を定義するぼかし又は混合カラー値について記述する。HP出願は、顔の特徴を明るくするか暗くするために、顔の特徴を暗くするように、輝度を変更することに言及し、そして 次に特徴を暗くするために特徴に関連した肌の変化するカラー値について記述する。HP特許はさらに、カラー値をぼかすことによって、ヘアラインを鋭くし、及び/又は、額及び/又はほおをぼかすことを開示する。多数のイメージ、十分な解像度又は低解像度、及び/又は、メインの十分な解像度画像を捕らえる前、間、又は、後に、プレビュー、ポストビュー及び/又は別の画像処理システムで取り込まれた基準イメージのようなサブサンプル基準イメージについての、顔検知及び顔トラッキングは、HPの特許に記述されておらず、 デジタル顔映像の輝度データを滑らかにする又はぼかすことに対する提案も何らない。
【０００８】
肖像写真はデジタル写真で最もポピュラーなシーンのうちの1つである。肖像写真上のイメージを修正することは画像処理装置の望ましい構成要素である。ユーザーは、しわとしみを隠すために肖像写真をよりよくしようとして、従来のソフトウェアと多くの時間を過ごすこととなる。それは、イメージ取得コンポーネント(例えばレンズ、イメージセンサ)及びプロセッサを有するディジタルスチルカメラ、カメラ電話、又は、他の携帯型、ポータブル消費財のような組込み型装置に適する革新的な自動ポートレート・シーン・向上装置を提供することが望まれる。
【発明の概要】
【０００９】
本方法は、プロセッサを使用して、デジタル画像内の顔の外観を向上させるために提供される。イメージは顔を含むシーンに得られる。顔はデジタル画像内に識別される。局所的な輝度平滑化で向上させられる1つ以上のサブ領域が顔の内に識別される。1以上の局所的な輝度平滑化カーネルが、1以上の顔の向上させられたサブ領域を生成するために、顔の内に識別された1つ以上のサブ領域のうちの1つに各々適用される。1以上の局所的な平滑化カーネルは、顔の内に識別された1以上のサブ領域の輝度データに適用される。向上させられたイメージは、顔の1以上の向上させられたサブ領域に対応するピクセルと結合して所定のオリジナルのピクセルを含む顔の向上させられたバージョンを含めて生成される。向上させられたイメージ及び/又はさらに処理されたバージョンは、 表示され、伝達され、通信され、及び/又は、デジタル化されて格納され、及び/又は、他の方法で出力される。
【００１０】
局所的な輝度平滑化は、輝度データをぼかすか平均すること、或いはそれらの組合せを含んでよい。
【００１１】
1以上の局所的な色平滑化カーネルが、1以上のサブ領域に適用されてもよい。補正するイメージの1以上の向上させられたサブ領域は、さらに少なくとも局所的な色平滑化によって、顔のオリジナルのピクセル、又は、他の方法で処理されたピクセルから修正済のピクセルを含んでもよい。
【００１２】
ノイズ低減及び/又は向上は、1以上のサブ領域に適用されてもよい。補正するイメージの1以上の向上させられたサブ領域は、さらに少なくとも局所的なノイズ低減及び/又は向上によって、顔のオリジナルのピクセル又は他の方法で処理されたピクセルから修正済のピクセルを含んでもよい。
【００１３】
1以上の顔のサブ領域内の所定の非肌トーン・ピクセルは、しきい値肌トーンを有さないよう決定される。これらの非肌トーン・ピクセルは、除去され、置換され、強度において縮小され、及び/又は、色において修正されてもよい。
【００１４】
1以上の向上させられたサブ領域の向上させられたピクセルは、オリジナルのピクセル強度と、1以上のオリジナルの、及び/又は、向上させられたサブ領域内の局所的な平均強度との間の関係の1以上の関数を含む向上させられた強度を含んでよい。1以上の口及び/又は目の領域が顔の内に検知されるかもしれない。
【００１５】
1以上の口及び/又は目の領域内の1以上のサブ領域の自然色は識別され、向上させられてもよい。これらのサブ領域は、1本以上の歯、唇、舌、目の白、目のまゆ、虹彩、目まつげ及び/又は瞳を含んでもよい。
【００１６】
レンズ、イメージセンサ及びプロセッサ、及び、プロセッサのプログラムのために、プロセッサ読取り可能なコードをそこに組み込んだプロセッサが読取り可能なメモリを含み、ここに記述した方法、特に、デジタル画像内の顔又は他の特徴の外観を向上させる方法のすべてを実行するデジタル画像取得装置も提供される。
【００１７】
ここに記述された方法のすべてを実行するために1以上のプロセッサのプログラムのためにコードをそこに組み込んだ1以上のプロセッサ読取り可能な媒体も提供される。
【００１８】
所定の実施形態中で、メインのフル解像度画像として同じ又は別の画像処理システムで得られたプレビュー、ポストビュー、又は、他の参照イメージを使用する顔トラッキングは、顔美化と結合する。これは、顔の特徴又は顔の領域のぼかし及び/又は平滑化、しわ/しみの削除、又は、他のデジタル美容調整を含む。所定の実施形態中で、輝度チャネルは、目障りな特徴を滑らかにするために使用され、これらの狭い一部にいる間、いかなる色チャンネルの使用なしで、輝度チャネルだけが滑らかにするために使用される。他の実施形態は輝度チャネルに加えて1以上の色チャンネルを使用し、そして これらはさらに、顔トラッキングを使用してもよいし、使用しなくてもよい。
【００１９】
所定の実施形態中で、顔の領域の局所的な修正は、特別のピクセルを包囲するピクセル値の平均に基づいて実行される。この局所的な平均/ぶれカーネルは、もっぱら輝度チャネル上で適用され、それによって、ポータブルディジタル・カメラ、カメラ電話及びカメラが装備された携帯型のコンピューティング装置などの組込システム中の演算を縮小する。
【００２０】
シングルパスフィルタリングカーネルは、イメージの所定の領域内の局所的な輝度値にのみ作用するように構成されてよく、そして バイナリの肌マップと結合してもよい。これは、ディジタル・カメラのような組込み型の画像処理システム内で、より少ないメモリを使用し、より速く実行することにおいて、はるかに効率的である。
【００２１】
ぼかすこと又はシェーディングは、顔の1以上のサブ領域の選択された輝度値の変更により達成されてよい。ある実施形態は、例えば、しみやしわを含むようなイメージの一部分の上の輝度を加えるか引くことを含む。ぼかしも、人の顔のイメージ上のしわを含む顔の特徴領域に適用されてよい。しわ及びまわりの肌の定義する例えば、こめかみ領域、鼻の側、額、あご、ほお領域の、顔の特徴領域の輝度値をぼかし、及び/又は、混合する。輝度は、顔の特徴を暗くするように、顔の特徴を明るくするか暗くするために変更されてよく、これは、特徴を、暗くするか明るくするために特徴に関連した肌の輝度値の変更により達成されてよい。
【００２２】
所定の実施形態中で、本技術は、取得プロセスの一部として1以上の顔を含む静止画像のインカメラ処理を含めて提供される。本技術は、ポータブルカメラ上のデジタル取得した静止画像内の顔を含む一群のピクセルを識別することを含む。1以上のイメージの第1の処理部分が、ピクセルの群を含めて決定される(第1の部分は前景であると見なされるかもしれない)。ピクセルの群以外のイメージの1以上の第2の処理部分が、その後決定される(そして背景であると見なされるかもしれない)。技術は、所定レベルの平滑化、ぼかし、ノイズ低減又は強調、或いはピクセルの1以上の輝度コンポーネントを含む他の肌向上技術で、第1の処理部分を自動的にインカメラ処理することを含んでよく、一方、顔を含む処理されたイメージを生成するために、第2の処理部分に対して実質上、ぼかし、ノイズ低減又は強調、他の方法、又は、平滑化をもっと少なく又はまったく適用しない。処理されたイメージ、又は、顔を含むさらに処理されたバージョンは、その後、格納され、表示され、伝達され、通信され、投影され、他の方法で管理され、 或いは、プリンタなどに出力され、インカメラ処理されたイメージを見るために、他のコンピューティング装置、或いは、他のディジタル・レンダーリング装置に表示される。方法は、インカメラを生成し、インカメラに、顔を含む低解像度映像の集合を取得し、さもなくば獲得し、低解像度映像の集合を分析することを含む第1の処理部分を決定することを含んでよい。分析は、低解像度映像の集合内の顔を追跡することを含んでよい。
【００２３】
本発明の実施形態はここでは添付図面を参照した例として記述される:
【図面の簡単な説明】
【００２４】
【図１Ａ】図1Aは、未処理及び処理された顔のイメージを図示し、ここで、処理は、顔の領域に対して、選択的に平滑化し、又は、ぼかすことを適用することを含む。
【図１Ｂ】図1Bは、未処理及び処理された顔のイメージを図示し、ここで、処理は、顔の領域に対して、選択的に平滑化し、又は、ぼかすことを適用することを含む。
【図２Ａ】図2Aは、顔の領域及び 顔のイメージの処理・未処理のバージョンの識別を図示し、ここで、処理は、顔のある領域の選択的な平滑化又はぼかしの適用を含む。
【図２Ｂ】図2Bは、顔の領域及び 顔のイメージの処理・未処理のバージョンの識別を図示し、ここで、処理は、顔のある領域の選択的な平滑化又はぼかしの適用を含む。
【図２Ｃ】図2Cは、顔の領域及び 顔のイメージの処理・未処理のバージョンの識別を図示し、ここで、処理は、顔のある領域の選択的な平滑化又はぼかしの適用を含む。
【発明を実施するための形態】
【００２５】
少なくとも1つの基準イメージ、また、ある実施形態においては、顔領域を含む1つ以上の基準イメージを使用して、顔領域は検知される。複数の基準イメージが使用される実施形態において、顔領域は好ましくは追跡される。顔検知及びトラッキングは、好ましくは上下にリストした米国特許及び米国特許出願に記述された1つ以上の技術に従って実行される。
【００２６】
入力イメージ、及び、1以上、好ましくは2以上の、より小さくサブサンプルされ、及び/又は、縮小された入力イメージ(例えば1つのQVGA及び1つのXGA)の解像度バージョンが与えられると、入力イメージ内の、顔及び顔の目の位置は、顔検知及び好ましくは顔トラッキングを使用して決定される。図1Aは、顔を含む加工されていないイメージ、又は、原画像データ、又は、実施形態に関連してここに記述されるような選択的な局所的な平滑化又はぼかしによってよりも他の方法で処理されたイメージデータを含む顔の少なくとも1つのイメージの例を示す。顔美化方法は、選択的ぼかし及び/又は局所的な平均値算出、又は、特に下記に述べられた、肌を向上させ例えば、しわ及び/又はしみを縮小し及び/又は和らげる1以上の方法のような他の平滑化を適用する。図1Aは、選択的な平滑化を適用する前の顔の加工されていないイメージを図示する。図1Bは、図1Aの顔のイメージの処理されたバージョン、すなわち、顔の所定のサブ領域に選択的な平滑化を適用した後を図示する、
【００２７】
典型的な実施形態において、方法は以下のように実行される。顔の所定のサブ領域、例えば、長方形のサブ領域、或いは、1以上の尖点、又は、そうでなければ急な分節の交差又は不連続を伴い、又は、伴わなわない他の多角形か曲線状又は部分的に曲線状のサブ領域が識別される。これらのサブ領域は、それが選択的な平滑化を適用すると望まれる場所でよく、或いは、これらのサブ領域は、選択的な平滑化又はこれらの組合せを適用すると望まれる外の場所でよい。例えば、2つの目及び1つの口のような3つのサブ領域が選択的な平滑化を適用しないために識別されてよく、及び/又は、額、2つのほお、及び、1つのあごのような4つのサブ領域が、局所的な輝度平滑化の適用のために特に選択されてよい。
【００２８】
ここでは、2つの目及び口が識別される実施形態において、これらの顔のサブ領域/長方形のまわりの肌は検知される。これは、イメージのQVGAバージョンを細分化することを含むバイナリの肌イメージを生成する所定の実施形態へ含むことが可能である。1つの実施形態において、これはYCbCrの中で行われるしきい値を含む。
【００２９】
より大きな長方形又は他の形状は、顔のまわりで全体として定義されてよい。すなわち、このより大きな顔の形状の外部で、それは、ほとんどの実施形態の中で選択的な平滑化を適用しないようにここに要求されてよい(背景又はデジタル画像中の検知された顔のまわりの他の領域を滑らかにするかぼかす、前景中の顔を強調するために、背景領域をぼかすなどような他の理由があるかもしれないが、例えば、同じ譲受人に割り当てられた米国特許7,469,071、米国出願番号12/253,839参照)。肌マップは、形態的な演算によってフィルタリングされてよい。顔の内部の最大の領域は維持されるために選択されてよく、その領域は、全体的な輝度、或いは、しわが寄った肌、所定の赤の量のような色認定、斑点のある組織、顔の領域かサブ領域の他の不満足な特徴を示すような所定のしきい値輝度比のような他の基準に基づいて選択されてよい。唇検知は、目、鼻及び/又は耳、或いは、あご、ほお、鼻、顔の毛、頭の上の髪の毛、又は、首のような他の顔特徴の位置及び/又はカラー情報(Cr成分)、及び/又は 特に唇を検知するために設計された形状検出器に基づいて実行されてよいい。
【００３０】
1以上の顔領域(目と口の領域を含まない)の内部の肌が補正される。一定の実施形態中で、これは、その隣接値の平均値のような、異なる輝度値に置換されたそれらの輝度コンポーネントを有する顔領域の内部からの肌ピクセルを含んでいる。例えば、実質的に、肌ピクセルのすべて、又は、囲むかなりのサンプリング、或いは、あたかも、ピクセルが、一定の方向に相対的なカメラ対象物の運動によって引き起こされたぼかされたピクセルと置換されていたかのような、1つの方向からのピクセルの大多数のすべてのピクセル。平滑化は、顔の他の領域からの肌ピクセルの平均値算出処理を含むことが可能であり、及び/又は、 他のものに関する所定のピクセルを優先させるような平均化以外の計算を含むことが可能である。優先的にされたピクセルは、置換されたピクセルに接近してよく、或いは、 好ましい肌トーンに対してより大きな相関性を備えた色及び/又は輝度を有してよい。
【００３１】
一定の基準はイメージ内の領域の補正のために必要条件として適用されてよい。例えば、その代わりに、人の首、脚、腕、胸又は他の領域の肌は補正される場合には、それは、領域が顔の内部にある必要条件としてセットされてよい。それは、輝度コンポーネントが所定の範囲内にある必要条件としてセットされてよい。その範囲は、所定の顔の内の肌の平均輝度、或いは、 好ましい輝度又は選択された輝度に依存してよい。一定のピクセルは、顔の内の他の細部(例えば、目、鼻、唇、耳、髪の毛など )とのその関係に依存して、選択されてよく、選択されなくてよい。現在のピクセル(つまりカーネル・サイズ)の修正は、顔のサイズ対イメージのサイズ、或いは、輝度値の標準偏差に依存して変えられる場合には、及び/又は、 固定された特別の顔領域又はサブ領域は受け取らなければならない量に関する解像度又は決定のような他の要因は考慮に入れられる場合には、隣接値の数が使用される。イメージと比較して顔が小さすぎる場合(例えば、顔は、利用可能なピクセル・エリアのしきい値パーセンテージより下で使用する場合)には、そのような不要な特徴がどうしてみても目に見えないかもしれないので、その後、システムはしわ、しみなどの補正を適用しないようセットすることが可能である。平均値算出又は他の平滑化や、ぼかしは、速度を改善するためにXGAイメージ上で行われるかもしれない。
【００３２】
局所的なぼかし/平滑化カーネル
一定の実施形態中のぼかしカーネル又は平滑化カーネルは、イメージ、及び/又は、基づいて補正イメージが生成されるイメージの群に特有の1つ以上の要因に基づいて、変更され、調整され、変更され、選択され、及び/又は、構成される。 要因は、主画像のサイズに対する顔イメージの相対的なサイズでもよい。他の要因は、全体のイメージ及び/又は顔領域の解像度、処理容量及び/又はRAM又はROM容量、及び/又は、組込み型装置の表示、投影又は送信の容量、或いは、処理又はイメージが、獲得され、処理され、及び/又は出力されるレンダーリング環境を含んでよい。
【００３３】
ぼかしカーネルは、テーブル、計算式、計算、及び/又は、顔サイズ(例えば、イメージの5%、イメージの10%、イメージ20%など)対カーネル・サイズ(例えば3x3、4x4、5x5など)のプロットを含んでよい。カーネルも顔の内のサブ領域の相対的位置に基づいて調整されてよい。ほおに適用されたカーネルは、ほおを有効にぼかすように構成されてよいし、一方、口/あごのまわりの肌、額の中の肌などと同じに、目のまわりの肌に適用する異なるカーネルが、その肌を最も有効にぼかし/平滑化するように構成されてよい。異なるカーネルは、ひげのある領域又は他の髪の毛領域に適用することが可能であり、或いは、平滑化はそのような領域に適用されなくてもよい。特定の単純な実施例中で、顔がより小さい場合には、ぼかし/平滑化カーネルはより小さい(2レベル以上、又は、1以上のしきい値が使用されてもよい)。ぼかしカーネルは、目或いは唇 或いは鼻 或いはひげのある領域或いは低い輝度領域或いは暗い色の領域のまわりで作用して減少してよい。ぼかしカーネルは、関心の対象となるポイントのまわりの平均輝度に依存してよい。
【００３４】
ある実施形態中の方法は、選択的な肌向上及び/又はノイズ除去の適用を含んでよい。美化フィルターやぼかし/平滑化カーネルが適用されない場合には、これは、顔の領域の決定への代替アプローチを提供する。
【００３５】
代替形態:リーベースフィルタリング
顔美化は、ここに引用された参考文献(以下を参照)に記述されたような顔トラッキング技術に集められた所定の関係データを使用してよい。情報は、顔の位置、及び/又は、片目又は両目、口又は鼻、のような顔の内の特徴、肌が検知される場所に関する情報、及び そのトーン、輝度、影の部分、入射光に関する方向などを含んでよい。そのデータはさらに、顔エリア内のCb、Cr、及び、Y領域、及び/又は、バックライトイメージ情報レンジ含むことが可能である、
【００３６】
輝度チャネルのための応用
ある実施形態による技術は、肌のフィルタリングを達成するために輝度チャネルの修正を使用してよい。輝度チャネル内の分散に関する情報も使用されてもよく、顔領域かサブ領域の肌のテクスチャ情報が使用されてもよい。そのようなテクスチャ情報は一定のクロミナンスデータを含んでいるかもしれないが、イメージ内のそのようなテクスチャを定義する輝度データのみをさらに含んでよい。ぼかし/平滑化を実行し、及び/又は、選択する場合には、輝度の分散が利用されてよい。そして、髭を剃られた人又は髭を剃っていない人の顔の(分散が高い)テクスチャから、特に(一般的にやや孤立した)しわの分離に適用されてよい。テクスチャ情報は、エリア又はサブ領域が均一もしくはそうでない程度に対する尺度を含んでよい。テクスチャ情報は、認識された、又は、学習された、又は、新しく分析されたパターンを含んでよく、それは、輝度チャネルのみか、及び/又は、さらに1以上のカラーチャンネルの一方を分析できる。
【００３７】
ある実施形態の中で、顔及び目だけが必須かもしれない一方、他の実施形態の中では、他の特徴が必要かもしれない。顔トラッキングが使用されてもよいが、顔を美化する際に並はずれた利点を提供する技術に必要ではない。イメージ内の顔の位置は、顔検知のみを使用して、又は、顔トラッキングを使用して集められてよい。ダイナミックな肌マップ及び/又はコントラスト情報は、顔トラッキングを使用して集められてよい。
【００３８】
ディジタル・カメラ又はリアルタイムのイメージング機器内に、リアルタイム顔トラッキング・サブシステム(主イメージと無関係のプレビュー、ポストビュー又は他の参照イメージのシーケンス上で操作可能)が操作されてよく、主イメージの取得上で、顔の向上は、(i)メインに獲得されたイメージ中の顔の領域の分析、及び、 (ii) リアルタイム顔トラッキング・サブシステムから決定された顔領域メタデータの分析に基づいて実行されてよい。
【００３９】
顔イメージ向上
向上させられるイメージとは別に、アルゴリズムは(利用可能な場合には)、探索のエリアを限定することを支援する与えられたイメージ中の顔と目の位置と、最初のイメージ(例えば: 1つのQVGA及び1つのXGA)の2つのサイズ変更されたコピーを含む規定外の情報を使用してよい。精度がそれほど重大でないところで、これらの2つのイメージはより速い処理能力のために使用されてもよい。
【００４０】
ある実施例のアルゴリズムは以下のように記述される:
【００４１】
向上マップ検知
顔情報に基づいて、顔長方形の内部のものと同様の肌トーンは全体イメージ中で求められる。詳細には、パスされた各顔のために、ステップは、1つの実施形態例の中に以下のとおりでよい(必ずしも下に説明された順ではなく)。
【００４２】
関心領域のための平均彩度を計算する(この場合、顔長方形又は他の形状全体)。側面のイルミネーションのような場合の問題を回避するために、全体イメージのための平均彩度も計算されてよく、2つの間の最低値が使用されてもよい。
【００４３】
関連する肌トーン情報(顔長方形からの)が抽出される。これは幾何学的な考察によって(さらに色フィルタリングによって)行われる。1つの実施において、これは以下を意味する:長方形のトップ、左及び右は、両側の1/5が計算に入れられないような方法で変更される。底(イメージ・オリエンテーションに基づいた)は、首又は否かを含むのに重要であると考えられるかどうかに依存して同じにとどまる。色フィルタリングの1つの実施は、輝度の除去か低減、又は、 非肌トーン(例えば青いピクセル)を有すると決定するピクセルの色の変更でよい。
【００４４】
PCA(主成分分析)手続きは、残留するピクセル上で適用されてよい。ピクセルはトリプレットから与えられてよい。与えられたピクセルの分散行列が計算される。その後、分散行列の固有ベクトル及び固有値を算出する。3つの結果として生じる固有ベクトルは、新しい3次元座標系の軸を表わす。2つの最も重要でない軸(2つの最も小さな固有値に対応する)がさらに考慮される。
【００４５】
2つの上述の軸の上のすべての検査されたピクセルの座標が計算される。その後、座標の絶対値の2つのヒストグラムは計算される:各軸につき1つのヒストグラム。2つのヒストグラムの各々のために、受理しきい値は下記手続きを使用して、例えば決定されてよい。対応する累積的なヒストグラムHが計算される。しきい値は、ピクセルの合計数の与えられた割合の限界を定めるように得られる(つまり、しきい値Thは定義済みの値であるpと共にH(Th)〜=p%のように得られる)。pのために異なる値を選ぶことによって、肌フィルタリングの強さを変えることが可能である。例えば、pのために得られた値は、90.0%(強いフィルタリングで)から97.5%(妨げないフィルタリングで)まで変わってよい。
【００４６】
PCAステップの後に結果として生じる2つの軸の上の各イメージ・ピクセルの座標を計算し、絶対値が前のステップで得られたしきい値より小さい場合には、チェックする。考慮されるピクセルのために、肌タイプの検査をさらに行ってよい。例は、彩度がYUV色空間において十分に大きいことをチェックすることである。最初の段階で計算された平均彩度に基づいて、各ピクセルは、十分に大きいUとVの値の少なくとも1つを有すると確認される。さらに、ピクセルの輝度レベルは定義済みの全領域にあるとチェックされる。これは、我々が、カラー情報を信頼できない黒い髪の毛又は明るすぎるエリアを美化したくないからである。
【００４７】
同時に、それほど信頼できないがより包括的な、肌マップを得るために、包括的な肌検知アルゴリズム(例えばYUVスペース上の単純なthresholding)は、全体イメージ上で適用されてよい。総括的な肌マップの役割は、顔情報が存在しない場合にPCA肌マップを置換するので、多様体かもしれない。マップのホールが満たされる場合には、決定で支援することによって、肌マップも、PCA肌マップを改善するために使用されてもよい。
【００４８】
肌マップは、PCA肌マップ「不確かな肌ピクセル」又は、補正ブロックによって別々に処理されることになっている、より低い信頼を有するピクセルを意味する。肌マップは今、形態的な演算のような空間フィルタリングの適用により仕上げられてよい。このポイントでは、肌マップには2つの信頼度がある:PCA肌(高い信頼)及び不確かな肌(低い信頼)。信頼度の数は、肌領域の内部の肌ピクセルの空間のポジショニングを考慮に入れることによりさらに増加される。1つの実施形態で、ピクセルがマップの内部に対してより接近しているピクセルであるほど、その信頼は、高くセットされる。他の実施形態において、PCA軸の上でピクセル係数の複数のthresholdingを使用することによって、肌信頼度の数はPCAのしきい値処理するステージから増加される。
【００４９】
向上マップ補正
顔内部から(或いは顔が存在しない場合には肌フィルターを通過した領域から)の肌ピクセルは、補正される。この補正を実行するプロセス例が下記に述べられる。
【００５０】
ウェイトα∈[0, 1] は、それが受け取る補正量を説明する各ピクセルのために計算されてよい。αの値が高くなればなる程、より多くの補正がそのピクセルに適用される。ウェイトは、四角にされた近隣(例えば、大きなサイズの皮膚領域のための16x16、又は、中位のサイズの皮膚領域のための8x8)に関するXGA強度イメージ上で計算された局所標準偏差に基づくかもしれないが、さらに他の要因(例えば、肌信頼レベル、目、口などのような顔の特徴へのピクセルの接近）を考慮に入れてもよい。
【００５１】
最初に、αは次のように計算される:α=σSkin/σlocal、ここで、σSkinは、全体の肌領域一帯で計算された標準偏差であり、一方で、σlocalは局所標準偏差である。その後、αは1まで制限されている。
【００５２】
αは肌のより高い信頼を有するピクセルのために所定の係数(例えば1.1-1.25)だけ増加されてよい。
【００５３】
αは、目と口のような顔特徴の近くにあるピクセルの所定の係数だけ減少してよい(図1を参照)。(目及び口の検知に関しては、目及び口の美化についての章を参照)。
【００５４】
特別の注意は、肌境界の近くにあるピクセルに対して与えられてよい。この例において、それらのピクセルについては、計算する近隣には強いエッジがある。という事実のために、σlocalは、より高い。これらの場合において、エッジの方向は求められ(4つのメインの方向だけが考慮される)、また、それに基づいて、カレントウィンドウの最も一定のサブウィンドウがα及び局所平均の再計算のために使用される。
【００５５】
αも、現在のピクセルの強度と局所平均との間の関係に基づいて修正されてよい(σlocalと同じ近隣に関して計算された)。これは、顔美化によって除去されるために試みられる顔加工物(例えば、斑点、膨れきず、しわ)は、肌より一般的に暗いが、それほど暗くないかもしれないからである。
【００５６】
1つの実施形態において、次の修正が実行されてよい:現在の強度がローカルの平均より大きい場合には、α(高い強度、したがって、強く補正を縮小する)を減少させる。現在の強度が局所平均よりはるかに低い場合には、α(顔加工物であるには暗すぎる、強く補正を縮小する)を減少させる。現在の強度が局所平均より低く、しかし、2つの間の相違は小さい場合には、α(非常に適切な顔アーティファクト、したがって、補正を増加させる)を増加させる。現在の強度が局所平均より低く、それらの間の相違が重要な場合には、αをわずかに減少させる(顔アーティファクトではそれほどありそうでない、したがってわずかに補正を減少する)。
【００５７】
以下の関係に基づいた、強度値の補正を適用する:
Newlntensity= α・LocalAverage+(1 - α)・Oldlntensity
【００５８】
平均値算出は、ウェイトマップ(XGAイメージ)に使用された同じ強度イメージ上で計算されてよい。これは品質に影響せずに、速度を改善する。
【００５９】
図2A-2Cは、検知された特徴で作用する例を図示する。図2 Aにおいて、入力及び所定のデータは、顔長方形用のシアン(青の色相)、目、口又は唇のような顔特徴のための緑、そして 顔エリアの内部の肌のための赤を含む色で図示される。
【００６０】
図2Bは初めのイメージを図示する。また、図2Cは自動顔美化を使用した出力結果を図示する。
【００６１】
顔の特徴(目と口)の向上
肌アーティファクト(しわ、にきびなど)の除去に加えて、目及び口美化は、顔の全体としてよりよい視覚的な外観に向けて同様に適用されてよい。次の処置は目及び口美化のために採用されてよい。
【００６２】
目と口の初期の位置は、顔長方形又は他の形状の左上、右上及び下半分部にあるPCA肌マップの最大のあなとして(粗末に)決定されてよい。
【００６３】
より正確な目及び口ローカリゼイションは、上に記述された初期領域を囲む小さな近隣の中でより高い解像度(少なくともXGA)で以下のように実行されてよい:
【００６４】
口エリアはカラー情報に基づいて検知されてよい。YUV色空間を使用する場合には、それは、(ローカルのVヒストグラムに基づいて計算された)しきい値より高いV成分を有するエリアとして定義されてよい。歯の存在は、口エリアを囲む最も小さな長方形の内部の彩度Sのヒストグラムの検査によりチェックされてよい。YUV色空間で作用する場合には、彩度はS=abs(U)+abs(V)として計算されてよい。彩度のヒストグラムが単一モードの場合には、歯ははっきり分からないかもしれない。彩度のヒストグラムが二項性の場合には、ヒストグラムの下位のモードに対応するエリアが検査されてよい。このエリアが口エリアの内部に位置すると分かる場合には(より正確には、口歯口のサンドイッチが存在する場合には)、その後、歯がはっきり分かることは決定されてよい。
【００６５】
1つ又は両方の目の領域は、(局所的なY-Sヒストグラムに基づいて計算された)しきい値より低い正規化されたY-S成分を有する、つながっているエリアとして各々検知されてよい。上記の表現において、YはYUV色空間からの正規化された強度成分であり、Sは上記のように計算された、正規化された彩度である。YとSの両方の正規化は極大値に関して行われてよい。
【００６６】
虹彩は目の中央のより暗い部分として検知されてよく、鞏膜(白目)は目の残存部分として検知されてよい。
【００６７】
口及び目の美化は、任意の又は次のステップのすべてを必ずしも記述された順にではなく含んでよい:
【００６８】
口の赤色が増加されてよい。YUV色空間において、これは、口エリアの内部のV値に所定の係数(例えば1.2)を掛けることにより行われてよい。
【００６９】
歯は、UとVのコンポーネントの絶対値を減少させながら成分のYをわずかに増加させることにより白くしてよい。
【００７０】
目の白は、目の白いエリアの内部のUとVの成分の絶対値を減少させながらY成分をわずかに増加させることによって明るくなり白くなってよい。
【００７１】
虹彩は虹彩エリアの内部の強度コントラストを広げることにより改善されてよい。さらに、赤目現象が存在する場合(虹彩の内部の位置の瞳孔面積の増加したV値に起因する）には、金色の目アルゴリズム として、赤目補正アルゴリズムが適用されてよい (例えば、米国特許6,407,777、7,042,505、7,474,341、7,436,998、7,352,394、7,536,036参照)。
【００７２】
いくつかの実施形態に従って、肖像イメージの品質は、顔、肌及び/又は顔特徴向上を行うことにより改善される。
【００７３】
代替実施形態
ディジタル・カメラ、及び特に携帯型のカメラに備わるデバイス上に備わる場合には、ある実施形態は、非常に有利に利益を得る。顔検出器、又は、さらに(多数のイメージフレームからのデータを用いた)顔トラッカーからの特定のデータの使用は、方法が有利に実行することを可能にする。1つの実施形態において、向上させられた顔映像は、顔追跡道具モジュールからダイナミックに得られる。メインの皮膚色を決定するPCAの使用は、その色からの変化量を決定するために2つの他の色空間ディメンションを使用することと同様に、有利になりえる。方法は「主要な肌」及び「第2の肌」へ色空間の相関を失わせることを含んでいる。「よい肌」を決定する「第2の肌」ディメンションの使用は、肌検知には同様に有利になりえる。局所的に平滑化するカーネルが全体のイメージに適用される一方、より小さなイメージは検知に使用されてもよく、それによって、携帯型の装置に大きな利点のための価値のある処理リソースをセーブする。「包括的な」ものと結合した「排他的な」ものを含む2つの肌マップが使用されてもよく、そして 顔検知データも利用されてもよい。多くの「肌分析」及びトーン/色/コントラスト、及び他のイメージ調整技術が、ここに記述された例えば、米国公開公報2006/0204110で記述された、実施形態と結合してもよい。肌と顔の特徴検知(目と口)は、顔イメージ向上の中で有利に使用され、それは、顔のしみ又は汚れた領域の視覚効果を弱めるために、平滑化、ぼかし、質感修正、ノイズ低下/向上又は他の技術を含む。しわ補正は一定の実施形態内に達成されてよい。
【００７４】
さらに、PCAベースの「強い」肌検知は有利に利用され、顔のものと同様の、それらの肌トーンだけの検知を可能にし、そして 、(例えば後ろの壁、明るい色の髪など)色が肌のそれといまだ異なる他の肌状のパッチを廃棄するために使用されてよい。
【００７５】
ここに記述された実施形態は、顔のすべての肌ピクセルに対してではなく、(例えば、しわ、にきび、そばかすなどの)アーティファクトがある又は含むものに対してのみ選択的な平滑化の適用を利用する。これは、顔の肌ピクセル又は全体の顔がすべて滑らかにされる場合、及び、顔の非肌ピクセル(例えば口、目、眉)は、鋭くなる場合には、全体的な解決とは非常に異なる。これらの実施形態は、望まれないアーティファクトを除去しながら、固有の肌質感を保存する役目をする。例えば、ある人は、自然なままで、 まだ顔の外観を良くしながら、彼らの年齢相応に見えるだろう。
【００７６】
本発明の典型的な図面及び特定の実施形態が記述され図示された一方、本発明の範囲は説明された特別の実施形態に対して制限されないことが理解されるだろう。したがって、実施形態は限定的であるというよりむしろ例示と見なされるだろう、そして 本発明の範囲から外れることなしで。バリエーションは当業者によってそれらの実施形態中でなされるかもしれないことが理解されるに違いない。
【００７７】
さらに、好ましい実施形態によってここに実行され、上に記述される方法中で、オペレーションは選択された印刷の順序に記述された。しかしながら、シーケンスは選択され、したがって、印刷上の便宜のために配列され、そして、特別の順序は明らかに述べられるかもしれない 或いは 当業者が特別の順序を必要であると考えるかもしれない場合を除いて、オペレーションを実行するためのどんな特別の順序も意味するようには意図されない。
【技術分野】
【０００１】
本発明はイメージ処理に関し、特に、顔イメージ内の検知されたサブ領域のイメージ処理に関する。
【背景技術】
【０００２】
プロクターアンドギャンブルの米国特許6,571、003は、例えば、ほお、又は、コーナーか鼻、目又は口のような目標ポイントによって定義されたエリアで、顔のサブ領域のしみ、しわ、毛穴、及び、きめのような、顔の欠点部分の発見及び修正に言及する。技術は定義された領域をマスクに取り替えることを含む。P&G特許は、電気的に色を修正することを開示する。
【０００３】
P&G特許はさらに、明暗の勾配及び明暗の分散の検知及び補正に言及する。明暗の勾配又は分散は、顔の肌の上のつやより明るい領域をもたらす指向性の照明がある場合を含むように見える。本出願と同じ譲受人に譲渡されたアメリカ特許出願シリアルナンバー12/038,147、61/106,910及び61/221,425は、指向性の照明を検知するために、ビオラ・ジョーンズ型選別カスケードを使用する技術について記述する。しかしながら、米国特許7,403,643及び7,315,631、及び、 すべて本出願と同じ譲受人に譲渡された、2008/0037840として発行された米国出願番号11/766,674、及び、12/063,089、61/091,700、61/120,289及び12/479,593で記述されたような顔トラッキング技術と結合した例外が存在するが、明暗の勾配の決定及び補正は一般的に全体的な分析を必要とするだろう。ある条件、環境又は制約条件の下、及び/又は、ある応用例に対するそれほど効率的でない全体的な分析に関するような技術ではなく、局所的なぼかしカーネルを用いる技術を持つことが望まれる。
【０００４】
コダックの特許7,212,657は、図13-14に、(輝度イメージ及び平均輝度イメージの生成に基づく)シャドー/ピーク・イメージ、ぼかしイメージ、及び混合されたイメージを生成することを図示する。コダックの特許は、輝度イメージから平均輝度イメージを引くことにより、シャドー/ハイライト強さイメージが生成されると述べる。さらに、図16で、コダックの特許は、要素1530は、「ピーク/谷マップ及び色情報を使用して、輝度とクロミナンスの換算係数を生成する」として分類され、そして、要素1540は、「マスク領域内のピクセルの輝度及びクロミナンスを修正する」として分類されることを示す。顔検知は、コダックの特許に記述されるが、顔トラッキングはそうではない。
【０００５】
コダックの技術は、P&G技術のように全体的イメージ操作を含み、つまり、「輝度イメージ」は全体イメージ未満の何も含むと示されず、 その「ブラー（ぼかし）イメージ」は、全体イメージのためのカーネルの利用を含み、「混合されたイメージ」は、全体イメージの3つのコピーを含む。「ぼかしイメージ」は、クロミナンスと輝度データを含み、特に、アプリケーションがリソースの制約付きの組込システムを含む場合には、イメージの操作のために、多くのメモリが使用されることを意味する。輝度とクロミナンスの換算係数に関して、それらが局所的な換算係数を含んでいても、それらは、全体イメージ未満のすべてのものに対するアプリケーションのために生成されているようなコダックの特許に記述されない。
【０００６】
本出願と同じ譲受人に譲渡されたアメリカ特許出願シリアルナンバー11/856,721及び12/330,719は、全体的な分析又は平均輝度イメージ又はシャドー又はぼかしイメージのような広域のプロパティの決定を含むことなしに、ラスター状で、単一で、イメージの関連する領域を横切るスキャンとして適用することが可能である技術について記述する。所定の領域中のそのようなシングルパス走査は、P&G又はコダックの特許のよりも、ディジタル・カメラのような組込システムにはるかに効率的でより適切な技術を提供する。
【０００７】
ヒューレットパッカード(HP)の公表された特許出願2002/0081003は、例えば、傷又はしわを含んでいるかもしれないような、イメージの一部の上の色を適用することを一般的に含むエア・ブラシに言及する。HPの公報は、さらに人の顔のイメージ上のしわに関してぼかすことに言及し、そして、特に、しわ及びまわりの肌を定義するぼかし又は混合カラー値について記述する。HP出願は、顔の特徴を明るくするか暗くするために、顔の特徴を暗くするように、輝度を変更することに言及し、そして 次に特徴を暗くするために特徴に関連した肌の変化するカラー値について記述する。HP特許はさらに、カラー値をぼかすことによって、ヘアラインを鋭くし、及び/又は、額及び/又はほおをぼかすことを開示する。多数のイメージ、十分な解像度又は低解像度、及び/又は、メインの十分な解像度画像を捕らえる前、間、又は、後に、プレビュー、ポストビュー及び/又は別の画像処理システムで取り込まれた基準イメージのようなサブサンプル基準イメージについての、顔検知及び顔トラッキングは、HPの特許に記述されておらず、 デジタル顔映像の輝度データを滑らかにする又はぼかすことに対する提案も何らない。
【０００８】
肖像写真はデジタル写真で最もポピュラーなシーンのうちの1つである。肖像写真上のイメージを修正することは画像処理装置の望ましい構成要素である。ユーザーは、しわとしみを隠すために肖像写真をよりよくしようとして、従来のソフトウェアと多くの時間を過ごすこととなる。それは、イメージ取得コンポーネント(例えばレンズ、イメージセンサ)及びプロセッサを有するディジタルスチルカメラ、カメラ電話、又は、他の携帯型、ポータブル消費財のような組込み型装置に適する革新的な自動ポートレート・シーン・向上装置を提供することが望まれる。
【発明の概要】
【０００９】
本方法は、プロセッサを使用して、デジタル画像内の顔の外観を向上させるために提供される。イメージは顔を含むシーンに得られる。顔はデジタル画像内に識別される。局所的な輝度平滑化で向上させられる1つ以上のサブ領域が顔の内に識別される。1以上の局所的な輝度平滑化カーネルが、1以上の顔の向上させられたサブ領域を生成するために、顔の内に識別された1つ以上のサブ領域のうちの1つに各々適用される。1以上の局所的な平滑化カーネルは、顔の内に識別された1以上のサブ領域の輝度データに適用される。向上させられたイメージは、顔の1以上の向上させられたサブ領域に対応するピクセルと結合して所定のオリジナルのピクセルを含む顔の向上させられたバージョンを含めて生成される。向上させられたイメージ及び/又はさらに処理されたバージョンは、 表示され、伝達され、通信され、及び/又は、デジタル化されて格納され、及び/又は、他の方法で出力される。
【００１０】
局所的な輝度平滑化は、輝度データをぼかすか平均すること、或いはそれらの組合せを含んでよい。
【００１１】
1以上の局所的な色平滑化カーネルが、1以上のサブ領域に適用されてもよい。補正するイメージの1以上の向上させられたサブ領域は、さらに少なくとも局所的な色平滑化によって、顔のオリジナルのピクセル、又は、他の方法で処理されたピクセルから修正済のピクセルを含んでもよい。
【００１２】
ノイズ低減及び/又は向上は、1以上のサブ領域に適用されてもよい。補正するイメージの1以上の向上させられたサブ領域は、さらに少なくとも局所的なノイズ低減及び/又は向上によって、顔のオリジナルのピクセル又は他の方法で処理されたピクセルから修正済のピクセルを含んでもよい。
【００１３】
1以上の顔のサブ領域内の所定の非肌トーン・ピクセルは、しきい値肌トーンを有さないよう決定される。これらの非肌トーン・ピクセルは、除去され、置換され、強度において縮小され、及び/又は、色において修正されてもよい。
【００１４】
1以上の向上させられたサブ領域の向上させられたピクセルは、オリジナルのピクセル強度と、1以上のオリジナルの、及び/又は、向上させられたサブ領域内の局所的な平均強度との間の関係の1以上の関数を含む向上させられた強度を含んでよい。1以上の口及び/又は目の領域が顔の内に検知されるかもしれない。
【００１５】
1以上の口及び/又は目の領域内の1以上のサブ領域の自然色は識別され、向上させられてもよい。これらのサブ領域は、1本以上の歯、唇、舌、目の白、目のまゆ、虹彩、目まつげ及び/又は瞳を含んでもよい。
【００１６】
レンズ、イメージセンサ及びプロセッサ、及び、プロセッサのプログラムのために、プロセッサ読取り可能なコードをそこに組み込んだプロセッサが読取り可能なメモリを含み、ここに記述した方法、特に、デジタル画像内の顔又は他の特徴の外観を向上させる方法のすべてを実行するデジタル画像取得装置も提供される。
【００１７】
ここに記述された方法のすべてを実行するために1以上のプロセッサのプログラムのためにコードをそこに組み込んだ1以上のプロセッサ読取り可能な媒体も提供される。
【００１８】
所定の実施形態中で、メインのフル解像度画像として同じ又は別の画像処理システムで得られたプレビュー、ポストビュー、又は、他の参照イメージを使用する顔トラッキングは、顔美化と結合する。これは、顔の特徴又は顔の領域のぼかし及び/又は平滑化、しわ/しみの削除、又は、他のデジタル美容調整を含む。所定の実施形態中で、輝度チャネルは、目障りな特徴を滑らかにするために使用され、これらの狭い一部にいる間、いかなる色チャンネルの使用なしで、輝度チャネルだけが滑らかにするために使用される。他の実施形態は輝度チャネルに加えて1以上の色チャンネルを使用し、そして これらはさらに、顔トラッキングを使用してもよいし、使用しなくてもよい。
【００１９】
所定の実施形態中で、顔の領域の局所的な修正は、特別のピクセルを包囲するピクセル値の平均に基づいて実行される。この局所的な平均/ぶれカーネルは、もっぱら輝度チャネル上で適用され、それによって、ポータブルディジタル・カメラ、カメラ電話及びカメラが装備された携帯型のコンピューティング装置などの組込システム中の演算を縮小する。
【００２０】
シングルパスフィルタリングカーネルは、イメージの所定の領域内の局所的な輝度値にのみ作用するように構成されてよく、そして バイナリの肌マップと結合してもよい。これは、ディジタル・カメラのような組込み型の画像処理システム内で、より少ないメモリを使用し、より速く実行することにおいて、はるかに効率的である。
【００２１】
ぼかすこと又はシェーディングは、顔の1以上のサブ領域の選択された輝度値の変更により達成されてよい。ある実施形態は、例えば、しみやしわを含むようなイメージの一部分の上の輝度を加えるか引くことを含む。ぼかしも、人の顔のイメージ上のしわを含む顔の特徴領域に適用されてよい。しわ及びまわりの肌の定義する例えば、こめかみ領域、鼻の側、額、あご、ほお領域の、顔の特徴領域の輝度値をぼかし、及び/又は、混合する。輝度は、顔の特徴を暗くするように、顔の特徴を明るくするか暗くするために変更されてよく、これは、特徴を、暗くするか明るくするために特徴に関連した肌の輝度値の変更により達成されてよい。
【００２２】
所定の実施形態中で、本技術は、取得プロセスの一部として1以上の顔を含む静止画像のインカメラ処理を含めて提供される。本技術は、ポータブルカメラ上のデジタル取得した静止画像内の顔を含む一群のピクセルを識別することを含む。1以上のイメージの第1の処理部分が、ピクセルの群を含めて決定される(第1の部分は前景であると見なされるかもしれない)。ピクセルの群以外のイメージの1以上の第2の処理部分が、その後決定される(そして背景であると見なされるかもしれない)。技術は、所定レベルの平滑化、ぼかし、ノイズ低減又は強調、或いはピクセルの1以上の輝度コンポーネントを含む他の肌向上技術で、第1の処理部分を自動的にインカメラ処理することを含んでよく、一方、顔を含む処理されたイメージを生成するために、第2の処理部分に対して実質上、ぼかし、ノイズ低減又は強調、他の方法、又は、平滑化をもっと少なく又はまったく適用しない。処理されたイメージ、又は、顔を含むさらに処理されたバージョンは、その後、格納され、表示され、伝達され、通信され、投影され、他の方法で管理され、 或いは、プリンタなどに出力され、インカメラ処理されたイメージを見るために、他のコンピューティング装置、或いは、他のディジタル・レンダーリング装置に表示される。方法は、インカメラを生成し、インカメラに、顔を含む低解像度映像の集合を取得し、さもなくば獲得し、低解像度映像の集合を分析することを含む第1の処理部分を決定することを含んでよい。分析は、低解像度映像の集合内の顔を追跡することを含んでよい。
【００２３】
本発明の実施形態はここでは添付図面を参照した例として記述される:
【図面の簡単な説明】
【００２４】
【図１Ａ】図1Aは、未処理及び処理された顔のイメージを図示し、ここで、処理は、顔の領域に対して、選択的に平滑化し、又は、ぼかすことを適用することを含む。
【図１Ｂ】図1Bは、未処理及び処理された顔のイメージを図示し、ここで、処理は、顔の領域に対して、選択的に平滑化し、又は、ぼかすことを適用することを含む。
【図２Ａ】図2Aは、顔の領域及び 顔のイメージの処理・未処理のバージョンの識別を図示し、ここで、処理は、顔のある領域の選択的な平滑化又はぼかしの適用を含む。
【図２Ｂ】図2Bは、顔の領域及び 顔のイメージの処理・未処理のバージョンの識別を図示し、ここで、処理は、顔のある領域の選択的な平滑化又はぼかしの適用を含む。
【図２Ｃ】図2Cは、顔の領域及び 顔のイメージの処理・未処理のバージョンの識別を図示し、ここで、処理は、顔のある領域の選択的な平滑化又はぼかしの適用を含む。
【発明を実施するための形態】
【００２５】
少なくとも1つの基準イメージ、また、ある実施形態においては、顔領域を含む1つ以上の基準イメージを使用して、顔領域は検知される。複数の基準イメージが使用される実施形態において、顔領域は好ましくは追跡される。顔検知及びトラッキングは、好ましくは上下にリストした米国特許及び米国特許出願に記述された1つ以上の技術に従って実行される。
【００２６】
入力イメージ、及び、1以上、好ましくは2以上の、より小さくサブサンプルされ、及び/又は、縮小された入力イメージ(例えば1つのQVGA及び1つのXGA)の解像度バージョンが与えられると、入力イメージ内の、顔及び顔の目の位置は、顔検知及び好ましくは顔トラッキングを使用して決定される。図1Aは、顔を含む加工されていないイメージ、又は、原画像データ、又は、実施形態に関連してここに記述されるような選択的な局所的な平滑化又はぼかしによってよりも他の方法で処理されたイメージデータを含む顔の少なくとも1つのイメージの例を示す。顔美化方法は、選択的ぼかし及び/又は局所的な平均値算出、又は、特に下記に述べられた、肌を向上させ例えば、しわ及び/又はしみを縮小し及び/又は和らげる1以上の方法のような他の平滑化を適用する。図1Aは、選択的な平滑化を適用する前の顔の加工されていないイメージを図示する。図1Bは、図1Aの顔のイメージの処理されたバージョン、すなわち、顔の所定のサブ領域に選択的な平滑化を適用した後を図示する、
【００２７】
典型的な実施形態において、方法は以下のように実行される。顔の所定のサブ領域、例えば、長方形のサブ領域、或いは、1以上の尖点、又は、そうでなければ急な分節の交差又は不連続を伴い、又は、伴わなわない他の多角形か曲線状又は部分的に曲線状のサブ領域が識別される。これらのサブ領域は、それが選択的な平滑化を適用すると望まれる場所でよく、或いは、これらのサブ領域は、選択的な平滑化又はこれらの組合せを適用すると望まれる外の場所でよい。例えば、2つの目及び1つの口のような3つのサブ領域が選択的な平滑化を適用しないために識別されてよく、及び/又は、額、2つのほお、及び、1つのあごのような4つのサブ領域が、局所的な輝度平滑化の適用のために特に選択されてよい。
【００２８】
ここでは、2つの目及び口が識別される実施形態において、これらの顔のサブ領域/長方形のまわりの肌は検知される。これは、イメージのQVGAバージョンを細分化することを含むバイナリの肌イメージを生成する所定の実施形態へ含むことが可能である。1つの実施形態において、これはYCbCrの中で行われるしきい値を含む。
【００２９】
より大きな長方形又は他の形状は、顔のまわりで全体として定義されてよい。すなわち、このより大きな顔の形状の外部で、それは、ほとんどの実施形態の中で選択的な平滑化を適用しないようにここに要求されてよい(背景又はデジタル画像中の検知された顔のまわりの他の領域を滑らかにするかぼかす、前景中の顔を強調するために、背景領域をぼかすなどような他の理由があるかもしれないが、例えば、同じ譲受人に割り当てられた米国特許7,469,071、米国出願番号12/253,839参照)。肌マップは、形態的な演算によってフィルタリングされてよい。顔の内部の最大の領域は維持されるために選択されてよく、その領域は、全体的な輝度、或いは、しわが寄った肌、所定の赤の量のような色認定、斑点のある組織、顔の領域かサブ領域の他の不満足な特徴を示すような所定のしきい値輝度比のような他の基準に基づいて選択されてよい。唇検知は、目、鼻及び/又は耳、或いは、あご、ほお、鼻、顔の毛、頭の上の髪の毛、又は、首のような他の顔特徴の位置及び/又はカラー情報(Cr成分)、及び/又は 特に唇を検知するために設計された形状検出器に基づいて実行されてよいい。
【００３０】
1以上の顔領域(目と口の領域を含まない)の内部の肌が補正される。一定の実施形態中で、これは、その隣接値の平均値のような、異なる輝度値に置換されたそれらの輝度コンポーネントを有する顔領域の内部からの肌ピクセルを含んでいる。例えば、実質的に、肌ピクセルのすべて、又は、囲むかなりのサンプリング、或いは、あたかも、ピクセルが、一定の方向に相対的なカメラ対象物の運動によって引き起こされたぼかされたピクセルと置換されていたかのような、1つの方向からのピクセルの大多数のすべてのピクセル。平滑化は、顔の他の領域からの肌ピクセルの平均値算出処理を含むことが可能であり、及び/又は、 他のものに関する所定のピクセルを優先させるような平均化以外の計算を含むことが可能である。優先的にされたピクセルは、置換されたピクセルに接近してよく、或いは、 好ましい肌トーンに対してより大きな相関性を備えた色及び/又は輝度を有してよい。
【００３１】
一定の基準はイメージ内の領域の補正のために必要条件として適用されてよい。例えば、その代わりに、人の首、脚、腕、胸又は他の領域の肌は補正される場合には、それは、領域が顔の内部にある必要条件としてセットされてよい。それは、輝度コンポーネントが所定の範囲内にある必要条件としてセットされてよい。その範囲は、所定の顔の内の肌の平均輝度、或いは、 好ましい輝度又は選択された輝度に依存してよい。一定のピクセルは、顔の内の他の細部(例えば、目、鼻、唇、耳、髪の毛など )とのその関係に依存して、選択されてよく、選択されなくてよい。現在のピクセル(つまりカーネル・サイズ)の修正は、顔のサイズ対イメージのサイズ、或いは、輝度値の標準偏差に依存して変えられる場合には、及び/又は、 固定された特別の顔領域又はサブ領域は受け取らなければならない量に関する解像度又は決定のような他の要因は考慮に入れられる場合には、隣接値の数が使用される。イメージと比較して顔が小さすぎる場合(例えば、顔は、利用可能なピクセル・エリアのしきい値パーセンテージより下で使用する場合)には、そのような不要な特徴がどうしてみても目に見えないかもしれないので、その後、システムはしわ、しみなどの補正を適用しないようセットすることが可能である。平均値算出又は他の平滑化や、ぼかしは、速度を改善するためにXGAイメージ上で行われるかもしれない。
【００３２】
局所的なぼかし/平滑化カーネル
一定の実施形態中のぼかしカーネル又は平滑化カーネルは、イメージ、及び/又は、基づいて補正イメージが生成されるイメージの群に特有の1つ以上の要因に基づいて、変更され、調整され、変更され、選択され、及び/又は、構成される。 要因は、主画像のサイズに対する顔イメージの相対的なサイズでもよい。他の要因は、全体のイメージ及び/又は顔領域の解像度、処理容量及び/又はRAM又はROM容量、及び/又は、組込み型装置の表示、投影又は送信の容量、或いは、処理又はイメージが、獲得され、処理され、及び/又は出力されるレンダーリング環境を含んでよい。
【００３３】
ぼかしカーネルは、テーブル、計算式、計算、及び/又は、顔サイズ(例えば、イメージの5%、イメージの10%、イメージ20%など)対カーネル・サイズ(例えば3x3、4x4、5x5など)のプロットを含んでよい。カーネルも顔の内のサブ領域の相対的位置に基づいて調整されてよい。ほおに適用されたカーネルは、ほおを有効にぼかすように構成されてよいし、一方、口/あごのまわりの肌、額の中の肌などと同じに、目のまわりの肌に適用する異なるカーネルが、その肌を最も有効にぼかし/平滑化するように構成されてよい。異なるカーネルは、ひげのある領域又は他の髪の毛領域に適用することが可能であり、或いは、平滑化はそのような領域に適用されなくてもよい。特定の単純な実施例中で、顔がより小さい場合には、ぼかし/平滑化カーネルはより小さい(2レベル以上、又は、1以上のしきい値が使用されてもよい)。ぼかしカーネルは、目或いは唇 或いは鼻 或いはひげのある領域或いは低い輝度領域或いは暗い色の領域のまわりで作用して減少してよい。ぼかしカーネルは、関心の対象となるポイントのまわりの平均輝度に依存してよい。
【００３４】
ある実施形態中の方法は、選択的な肌向上及び/又はノイズ除去の適用を含んでよい。美化フィルターやぼかし/平滑化カーネルが適用されない場合には、これは、顔の領域の決定への代替アプローチを提供する。
【００３５】
代替形態:リーベースフィルタリング
顔美化は、ここに引用された参考文献(以下を参照)に記述されたような顔トラッキング技術に集められた所定の関係データを使用してよい。情報は、顔の位置、及び/又は、片目又は両目、口又は鼻、のような顔の内の特徴、肌が検知される場所に関する情報、及び そのトーン、輝度、影の部分、入射光に関する方向などを含んでよい。そのデータはさらに、顔エリア内のCb、Cr、及び、Y領域、及び/又は、バックライトイメージ情報レンジ含むことが可能である、
【００３６】
輝度チャネルのための応用
ある実施形態による技術は、肌のフィルタリングを達成するために輝度チャネルの修正を使用してよい。輝度チャネル内の分散に関する情報も使用されてもよく、顔領域かサブ領域の肌のテクスチャ情報が使用されてもよい。そのようなテクスチャ情報は一定のクロミナンスデータを含んでいるかもしれないが、イメージ内のそのようなテクスチャを定義する輝度データのみをさらに含んでよい。ぼかし/平滑化を実行し、及び/又は、選択する場合には、輝度の分散が利用されてよい。そして、髭を剃られた人又は髭を剃っていない人の顔の(分散が高い)テクスチャから、特に(一般的にやや孤立した)しわの分離に適用されてよい。テクスチャ情報は、エリア又はサブ領域が均一もしくはそうでない程度に対する尺度を含んでよい。テクスチャ情報は、認識された、又は、学習された、又は、新しく分析されたパターンを含んでよく、それは、輝度チャネルのみか、及び/又は、さらに1以上のカラーチャンネルの一方を分析できる。
【００３７】
ある実施形態の中で、顔及び目だけが必須かもしれない一方、他の実施形態の中では、他の特徴が必要かもしれない。顔トラッキングが使用されてもよいが、顔を美化する際に並はずれた利点を提供する技術に必要ではない。イメージ内の顔の位置は、顔検知のみを使用して、又は、顔トラッキングを使用して集められてよい。ダイナミックな肌マップ及び/又はコントラスト情報は、顔トラッキングを使用して集められてよい。
【００３８】
ディジタル・カメラ又はリアルタイムのイメージング機器内に、リアルタイム顔トラッキング・サブシステム(主イメージと無関係のプレビュー、ポストビュー又は他の参照イメージのシーケンス上で操作可能)が操作されてよく、主イメージの取得上で、顔の向上は、(i)メインに獲得されたイメージ中の顔の領域の分析、及び、 (ii) リアルタイム顔トラッキング・サブシステムから決定された顔領域メタデータの分析に基づいて実行されてよい。
【００３９】
顔イメージ向上
向上させられるイメージとは別に、アルゴリズムは(利用可能な場合には)、探索のエリアを限定することを支援する与えられたイメージ中の顔と目の位置と、最初のイメージ(例えば: 1つのQVGA及び1つのXGA)の2つのサイズ変更されたコピーを含む規定外の情報を使用してよい。精度がそれほど重大でないところで、これらの2つのイメージはより速い処理能力のために使用されてもよい。
【００４０】
ある実施例のアルゴリズムは以下のように記述される:
【００４１】
向上マップ検知
顔情報に基づいて、顔長方形の内部のものと同様の肌トーンは全体イメージ中で求められる。詳細には、パスされた各顔のために、ステップは、1つの実施形態例の中に以下のとおりでよい(必ずしも下に説明された順ではなく)。
【００４２】
関心領域のための平均彩度を計算する(この場合、顔長方形又は他の形状全体)。側面のイルミネーションのような場合の問題を回避するために、全体イメージのための平均彩度も計算されてよく、2つの間の最低値が使用されてもよい。
【００４３】
関連する肌トーン情報(顔長方形からの)が抽出される。これは幾何学的な考察によって(さらに色フィルタリングによって)行われる。1つの実施において、これは以下を意味する:長方形のトップ、左及び右は、両側の1/5が計算に入れられないような方法で変更される。底(イメージ・オリエンテーションに基づいた)は、首又は否かを含むのに重要であると考えられるかどうかに依存して同じにとどまる。色フィルタリングの1つの実施は、輝度の除去か低減、又は、 非肌トーン(例えば青いピクセル)を有すると決定するピクセルの色の変更でよい。
【００４４】
PCA(主成分分析)手続きは、残留するピクセル上で適用されてよい。ピクセルはトリプレットから与えられてよい。与えられたピクセルの分散行列が計算される。その後、分散行列の固有ベクトル及び固有値を算出する。3つの結果として生じる固有ベクトルは、新しい3次元座標系の軸を表わす。2つの最も重要でない軸(2つの最も小さな固有値に対応する)がさらに考慮される。
【００４５】
2つの上述の軸の上のすべての検査されたピクセルの座標が計算される。その後、座標の絶対値の2つのヒストグラムは計算される:各軸につき1つのヒストグラム。2つのヒストグラムの各々のために、受理しきい値は下記手続きを使用して、例えば決定されてよい。対応する累積的なヒストグラムHが計算される。しきい値は、ピクセルの合計数の与えられた割合の限界を定めるように得られる(つまり、しきい値Thは定義済みの値であるpと共にH(Th)〜=p%のように得られる)。pのために異なる値を選ぶことによって、肌フィルタリングの強さを変えることが可能である。例えば、pのために得られた値は、90.0%(強いフィルタリングで)から97.5%(妨げないフィルタリングで)まで変わってよい。
【００４６】
PCAステップの後に結果として生じる2つの軸の上の各イメージ・ピクセルの座標を計算し、絶対値が前のステップで得られたしきい値より小さい場合には、チェックする。考慮されるピクセルのために、肌タイプの検査をさらに行ってよい。例は、彩度がYUV色空間において十分に大きいことをチェックすることである。最初の段階で計算された平均彩度に基づいて、各ピクセルは、十分に大きいUとVの値の少なくとも1つを有すると確認される。さらに、ピクセルの輝度レベルは定義済みの全領域にあるとチェックされる。これは、我々が、カラー情報を信頼できない黒い髪の毛又は明るすぎるエリアを美化したくないからである。
【００４７】
同時に、それほど信頼できないがより包括的な、肌マップを得るために、包括的な肌検知アルゴリズム(例えばYUVスペース上の単純なthresholding)は、全体イメージ上で適用されてよい。総括的な肌マップの役割は、顔情報が存在しない場合にPCA肌マップを置換するので、多様体かもしれない。マップのホールが満たされる場合には、決定で支援することによって、肌マップも、PCA肌マップを改善するために使用されてもよい。
【００４８】
肌マップは、PCA肌マップ「不確かな肌ピクセル」又は、補正ブロックによって別々に処理されることになっている、より低い信頼を有するピクセルを意味する。肌マップは今、形態的な演算のような空間フィルタリングの適用により仕上げられてよい。このポイントでは、肌マップには2つの信頼度がある:PCA肌(高い信頼)及び不確かな肌(低い信頼)。信頼度の数は、肌領域の内部の肌ピクセルの空間のポジショニングを考慮に入れることによりさらに増加される。1つの実施形態で、ピクセルがマップの内部に対してより接近しているピクセルであるほど、その信頼は、高くセットされる。他の実施形態において、PCA軸の上でピクセル係数の複数のthresholdingを使用することによって、肌信頼度の数はPCAのしきい値処理するステージから増加される。
【００４９】
向上マップ補正
顔内部から(或いは顔が存在しない場合には肌フィルターを通過した領域から)の肌ピクセルは、補正される。この補正を実行するプロセス例が下記に述べられる。
【００５０】
ウェイトα∈[0, 1] は、それが受け取る補正量を説明する各ピクセルのために計算されてよい。αの値が高くなればなる程、より多くの補正がそのピクセルに適用される。ウェイトは、四角にされた近隣(例えば、大きなサイズの皮膚領域のための16x16、又は、中位のサイズの皮膚領域のための8x8)に関するXGA強度イメージ上で計算された局所標準偏差に基づくかもしれないが、さらに他の要因(例えば、肌信頼レベル、目、口などのような顔の特徴へのピクセルの接近）を考慮に入れてもよい。
【００５１】
最初に、αは次のように計算される:α=σSkin/σlocal、ここで、σSkinは、全体の肌領域一帯で計算された標準偏差であり、一方で、σlocalは局所標準偏差である。その後、αは1まで制限されている。
【００５２】
αは肌のより高い信頼を有するピクセルのために所定の係数(例えば1.1-1.25)だけ増加されてよい。
【００５３】
αは、目と口のような顔特徴の近くにあるピクセルの所定の係数だけ減少してよい(図1を参照)。(目及び口の検知に関しては、目及び口の美化についての章を参照)。
【００５４】
特別の注意は、肌境界の近くにあるピクセルに対して与えられてよい。この例において、それらのピクセルについては、計算する近隣には強いエッジがある。という事実のために、σlocalは、より高い。これらの場合において、エッジの方向は求められ(4つのメインの方向だけが考慮される)、また、それに基づいて、カレントウィンドウの最も一定のサブウィンドウがα及び局所平均の再計算のために使用される。
【００５５】
αも、現在のピクセルの強度と局所平均との間の関係に基づいて修正されてよい(σlocalと同じ近隣に関して計算された)。これは、顔美化によって除去されるために試みられる顔加工物(例えば、斑点、膨れきず、しわ)は、肌より一般的に暗いが、それほど暗くないかもしれないからである。
【００５６】
1つの実施形態において、次の修正が実行されてよい:現在の強度がローカルの平均より大きい場合には、α(高い強度、したがって、強く補正を縮小する)を減少させる。現在の強度が局所平均よりはるかに低い場合には、α(顔加工物であるには暗すぎる、強く補正を縮小する)を減少させる。現在の強度が局所平均より低く、しかし、2つの間の相違は小さい場合には、α(非常に適切な顔アーティファクト、したがって、補正を増加させる)を増加させる。現在の強度が局所平均より低く、それらの間の相違が重要な場合には、αをわずかに減少させる(顔アーティファクトではそれほどありそうでない、したがってわずかに補正を減少する)。
【００５７】
以下の関係に基づいた、強度値の補正を適用する:
Newlntensity= α・LocalAverage+(1 - α)・Oldlntensity
【００５８】
平均値算出は、ウェイトマップ(XGAイメージ)に使用された同じ強度イメージ上で計算されてよい。これは品質に影響せずに、速度を改善する。
【００５９】
図2A-2Cは、検知された特徴で作用する例を図示する。図2 Aにおいて、入力及び所定のデータは、顔長方形用のシアン(青の色相)、目、口又は唇のような顔特徴のための緑、そして 顔エリアの内部の肌のための赤を含む色で図示される。
【００６０】
図2Bは初めのイメージを図示する。また、図2Cは自動顔美化を使用した出力結果を図示する。
【００６１】
顔の特徴(目と口)の向上
肌アーティファクト(しわ、にきびなど)の除去に加えて、目及び口美化は、顔の全体としてよりよい視覚的な外観に向けて同様に適用されてよい。次の処置は目及び口美化のために採用されてよい。
【００６２】
目と口の初期の位置は、顔長方形又は他の形状の左上、右上及び下半分部にあるPCA肌マップの最大のあなとして(粗末に)決定されてよい。
【００６３】
より正確な目及び口ローカリゼイションは、上に記述された初期領域を囲む小さな近隣の中でより高い解像度(少なくともXGA)で以下のように実行されてよい:
【００６４】
口エリアはカラー情報に基づいて検知されてよい。YUV色空間を使用する場合には、それは、(ローカルのVヒストグラムに基づいて計算された)しきい値より高いV成分を有するエリアとして定義されてよい。歯の存在は、口エリアを囲む最も小さな長方形の内部の彩度Sのヒストグラムの検査によりチェックされてよい。YUV色空間で作用する場合には、彩度はS=abs(U)+abs(V)として計算されてよい。彩度のヒストグラムが単一モードの場合には、歯ははっきり分からないかもしれない。彩度のヒストグラムが二項性の場合には、ヒストグラムの下位のモードに対応するエリアが検査されてよい。このエリアが口エリアの内部に位置すると分かる場合には(より正確には、口歯口のサンドイッチが存在する場合には)、その後、歯がはっきり分かることは決定されてよい。
【００６５】
1つ又は両方の目の領域は、(局所的なY-Sヒストグラムに基づいて計算された)しきい値より低い正規化されたY-S成分を有する、つながっているエリアとして各々検知されてよい。上記の表現において、YはYUV色空間からの正規化された強度成分であり、Sは上記のように計算された、正規化された彩度である。YとSの両方の正規化は極大値に関して行われてよい。
【００６６】
虹彩は目の中央のより暗い部分として検知されてよく、鞏膜(白目)は目の残存部分として検知されてよい。
【００６７】
口及び目の美化は、任意の又は次のステップのすべてを必ずしも記述された順にではなく含んでよい:
【００６８】
口の赤色が増加されてよい。YUV色空間において、これは、口エリアの内部のV値に所定の係数(例えば1.2)を掛けることにより行われてよい。
【００６９】
歯は、UとVのコンポーネントの絶対値を減少させながら成分のYをわずかに増加させることにより白くしてよい。
【００７０】
目の白は、目の白いエリアの内部のUとVの成分の絶対値を減少させながらY成分をわずかに増加させることによって明るくなり白くなってよい。
【００７１】
虹彩は虹彩エリアの内部の強度コントラストを広げることにより改善されてよい。さらに、赤目現象が存在する場合(虹彩の内部の位置の瞳孔面積の増加したV値に起因する）には、金色の目アルゴリズム として、赤目補正アルゴリズムが適用されてよい (例えば、米国特許6,407,777、7,042,505、7,474,341、7,436,998、7,352,394、7,536,036参照)。
【００７２】
いくつかの実施形態に従って、肖像イメージの品質は、顔、肌及び/又は顔特徴向上を行うことにより改善される。
【００７３】
代替実施形態
ディジタル・カメラ、及び特に携帯型のカメラに備わるデバイス上に備わる場合には、ある実施形態は、非常に有利に利益を得る。顔検出器、又は、さらに(多数のイメージフレームからのデータを用いた)顔トラッカーからの特定のデータの使用は、方法が有利に実行することを可能にする。1つの実施形態において、向上させられた顔映像は、顔追跡道具モジュールからダイナミックに得られる。メインの皮膚色を決定するPCAの使用は、その色からの変化量を決定するために2つの他の色空間ディメンションを使用することと同様に、有利になりえる。方法は「主要な肌」及び「第2の肌」へ色空間の相関を失わせることを含んでいる。「よい肌」を決定する「第2の肌」ディメンションの使用は、肌検知には同様に有利になりえる。局所的に平滑化するカーネルが全体のイメージに適用される一方、より小さなイメージは検知に使用されてもよく、それによって、携帯型の装置に大きな利点のための価値のある処理リソースをセーブする。「包括的な」ものと結合した「排他的な」ものを含む2つの肌マップが使用されてもよく、そして 顔検知データも利用されてもよい。多くの「肌分析」及びトーン/色/コントラスト、及び他のイメージ調整技術が、ここに記述された例えば、米国公開公報2006/0204110で記述された、実施形態と結合してもよい。肌と顔の特徴検知(目と口)は、顔イメージ向上の中で有利に使用され、それは、顔のしみ又は汚れた領域の視覚効果を弱めるために、平滑化、ぼかし、質感修正、ノイズ低下/向上又は他の技術を含む。しわ補正は一定の実施形態内に達成されてよい。
【００７４】
さらに、PCAベースの「強い」肌検知は有利に利用され、顔のものと同様の、それらの肌トーンだけの検知を可能にし、そして 、(例えば後ろの壁、明るい色の髪など)色が肌のそれといまだ異なる他の肌状のパッチを廃棄するために使用されてよい。
【００７５】
ここに記述された実施形態は、顔のすべての肌ピクセルに対してではなく、(例えば、しわ、にきび、そばかすなどの)アーティファクトがある又は含むものに対してのみ選択的な平滑化の適用を利用する。これは、顔の肌ピクセル又は全体の顔がすべて滑らかにされる場合、及び、顔の非肌ピクセル(例えば口、目、眉)は、鋭くなる場合には、全体的な解決とは非常に異なる。これらの実施形態は、望まれないアーティファクトを除去しながら、固有の肌質感を保存する役目をする。例えば、ある人は、自然なままで、 まだ顔の外観を良くしながら、彼らの年齢相応に見えるだろう。
【００７６】
本発明の典型的な図面及び特定の実施形態が記述され図示された一方、本発明の範囲は説明された特別の実施形態に対して制限されないことが理解されるだろう。したがって、実施形態は限定的であるというよりむしろ例示と見なされるだろう、そして 本発明の範囲から外れることなしで。バリエーションは当業者によってそれらの実施形態中でなされるかもしれないことが理解されるに違いない。
【００７７】
さらに、好ましい実施形態によってここに実行され、上に記述される方法中で、オペレーションは選択された印刷の順序に記述された。しかしながら、シーケンスは選択され、したがって、印刷上の便宜のために配列され、そして、特別の順序は明らかに述べられるかもしれない 或いは 当業者が特別の順序を必要であると考えるかもしれない場合を除いて、オペレーションを実行するためのどんな特別の順序も意味するようには意図されない。
【特許請求の範囲】
【請求項１】
デジタル画像内の顔の外観を向上させる方法は、プロセッサを使用して、
レンズとイメージセンサを使用して前記イメージを取り込むことを含み、顔を含むシーンのデジタル画像を獲得し、或いは、レンズとイメージセンサ、或いは、それらの組合せを含む装置によるキャプチャーに続いて前記イメージを受け取り、
前記デジタル画像内の前記顔を識別し、
1又は2つの目又は1つの口又はそれらの組合せを含む、顔特徴からの前記顔の肌トーン部分を分割し、
前記顔の前記肌トーン部分内に、輝度中で、汚されていない肌トーン部分から少なくとも1つのしきい値変化する、1つ以上の汚れ領域を識別し、
平滑化された輝度データを生成するために、前記1つ以上の汚れ領域の輝度データを平滑化し、
前記平滑化された輝度データと置換され、オリジナルの汚されていない肌トーン部分と結合した、前記1つ以上の汚れ領域のオリジナルの輝度データを有する、前記顔の向上させられたバージョンを含む、向上させられたイメージを生成し、
前記向上させられたイメージ、或いはさらに処理されたバージョン、或いはそれらの組合せを、表示し、送信し、通信し、デジタルで格納し、或いは他の方法で出力する
ことを含むことを特徴とする方法。
【請求項２】
前記局所的な輝度平滑化は、輝度データをぼかす又は平均化すること、或いはそれの組合せを含むことを特徴とする請求項1に記載の方法。
【請求項３】
前記1以上のサブ領域のための、1以上の局所的色平滑化カーネルを適用することをさらに含み、前記補正するイメージの前記1つ以上の向上させられたサブ領域は、さらに少なくとも局所的な色平滑化によって前記顔のオリジナルのピクセルから修正されたピクセルを含むことを特徴とする請求項1に記載の方法。
【請求項４】
前記1つ以上のサブ領域に、ノイズ低下か向上、又は両方を適用することをさらに含み、前記補正するイメージの前記1つ以上の向上させられたサブ領域はさらに、少なくとも局所的なノイズ低下又は向上、又は両方による前記顔のオリジナルのピクセルから修正されたピクセルを含むことを特徴とする請求項1に記載の方法。
【請求項５】
しきい値肌トーンを含まない、前記1以上のサブ領域内の所定の非肌トーン・ピクセルを決定することをさらに含み、前記所定の非肌トーン・ピクセルの強度を、置換し、除去し、減らし、或いは 前記所定の非肌トーン・ピクセルの色を修正し、或いはそれらの組合せであることを特徴とする請求項1に記載の方法。
【請求項６】
前記1以上のオリジナルのサブ領域、又は向上させられた領域、又は、それらの組合せ内に、オリジナルのピクセル強度と局所的な平均強度との間の関係の1つ以上の関数を含む1以上の向上させられたサブ領域の向上させられたピクセルは、向上させられた強度を含むことを特徴とする請求項1に記載の方法。
【請求項７】
前記顔の中に、1以上の口か目領域、又はそれの組合せを検知することをさらに含み、
1以上の歯、唇、舌、目の白、目のまゆ、虹彩、目のまつげ、又は、瞳、 或いはそれらの組合せを含む、前記1以上の口又は目の領域内の、1以上のサブ領域の自然色を識別し向上させることを特徴とする請求項1に記載の方法。
【請求項８】
デジタル画像内の顔の外観を向上させる方法は、プロセッサを使用して、
インカメラを生成し、インカメラに顔を含む1以上の相対的に低い解像度画像の集合を取り込み、又は、さもなくば獲得し;
前記1つ以上の相対的に低い解像度画像内の前記顔を識別し;
1つ又は2つの目又は1つの口又はそれの組合せを含む顔特徴からの前記顔の肌トーン部分を区分し、
前記顔の肌トーン部分内に、輝度中で、前記肌トーン部分から少なくとも1つのしきい値変化する1以上の汚れ領域を識別し、
レンズとイメージセンサを使用して、前記主映像を取り込むこと、或いは レンズ、イメージセンサ、又はそれの組合せを含む装置による取込に続く前記主映像を受け取り、を含み、前記1以上の相対的に低い解像度画像より高い解像度の主映像を獲得し、
前記主映像のそれらの1つ以上の領域のための平滑化されたデータを生成するため、前記相対的に低解像度映像中で識別された、前記同じ1つ以上の汚れ領域に対応する前記主映像の1以上の領域の所定のオリジナル・データを平滑化し、
前記平滑化されたデータと置換された1つ以上の汚れ領域に対応する前記1つ以上の領域の前記所定のオリジナル・データを有する前記顔の向上させられたバージョンを含む前記主映像の向上させられたバージョンを生成し、
前記向上させられたイメージ或いは、さらに処理されたバージョン、或いはそれらの組合せを、表示し、送信し、通信し、或いはデジタルで格納し、或いは、他の方法で出力することを含むことを特徴とする方法。
【請求項９】
前記相対的に低い解像度画像の集合内の前記顔を追跡することをさらに含むことを特徴とする請求項8に記載の方法。
【請求項１０】
前記顔の1つ以上の向上させられたサブ領域を生成するために、前記平滑化は前記顔の内に前記識別された1以上のサブ領域のうちの1つの各々へ、1つ以上の局所的輝度平滑化カーネルを適用すること、を含み、前記適用は、前記顔の内に前記識別された1以上のサブ領域の輝度データのための前記1以上の局所的輝度平滑化カーネルを適用することを含むことを特徴とする請求項8に記載の方法。
【請求項１１】
前記局所的な輝度平滑化は輝度データをぼかすか平均化する、或いはそれらの組合せを含むことを特徴とする請求項10に記載の方法。
【請求項１２】
前記1以上のサブ領域のための1つ以上の局所的な色平滑化カーネルを適用することをさらに含み、前記補正するイメージの前記1以上の向上させられたサブ領域は、少なくとも局所的な色平滑化によって前記顔のオリジナルのピクセルから修正されたピクセルをさらに含むことを特徴とする請求項10に記載の方法。
【請求項１３】
前記1以上のサブ領域に、ノイズ低下か向上、又は両方を適用することをさらに含み、前記補正するイメージの前記1つ以上の向上させられたサブ領域はさらに、少なくとも局所的なノイズ低減又は向上、又は両方による前記顔のオリジナルのピクセルから修正されたピクセルを含むことを特徴とする請求項8に記載の方法。
【請求項１４】
しきい値肌トーンを含まない、前記1以上のサブ領域内の所定の非肌トーン・ピクセルを決定することをさらに含み、前記所定の非肌トーン・ピクセルの強度を除去し、置換し、減少させ、或いは 前記所定の非肌トーン・ピクセルの色を修正し、或いはそれらの組合せることを特徴とする請求項8に記載の方法。
【請求項１５】
前記1以上の向上させられたサブ領域の向上させられたピクセルは、前記1以上のオリジナルの又は向上させられたサブ領域、又は、それらの組合せ内に、オリジナルのピクセル強度と局所的な平均強度の間の関係の1つ以上の関数を含む向上させられた強度を含むことを特徴とする請求項8に記載の方法。
【請求項１６】
顔の内の、1以上の口か目の領域、又はそれらの組合せを検知することをさらに含み、1つの本以上の歯、唇、舌、目の白、目のまゆ、虹彩、目のまつげ、又は瞳、或いはそれらの組合せを含む前記1以上の口又は目の領域内の、1以上のサブ領域の自然色を識別し向上させることを特徴とする請求項8に記載の方法。
【請求項１７】
デジタル画像内の顔の外観を向上させる方法は、プロセッサを使用して、
レンズとイメージセンサを使用して、前記イメージを取り込むこと、或いは レンズ、イメージセンサ、又はそれの組合せを含む装置による取込に続く前記イメージを受信することを含み、顔を含むシーンのデジタル画像を獲得し、
前記デジタル画像内の前記顔を識別し、
前記顔の内に局所的な輝度平滑化で向上させられる1つ以上のサブ領域を識別し、
前記顔の1以上の向上させられたサブ領域を生成するため、前記顔の内に識別された前記1以上のサブ領域のうちの1つの各々へ1以上の局所的な輝度平滑化カーネルを適用し、ここで、前記適用は、前記顔の内に前記識別された1以上のサブ領域の輝度データのための、前記1以上の局所的な輝度平滑化カーネルを適用することを含み、
前記顔の前記1以上の向上させられたサブ領域に対応するピクセルと結合して所定のオリジナル又はその他に処理されたピクセルを含む前記顔の向上させられたバージョンを含む向上させられたイメージを生成し、
前記向上させられたイメージ、或いは、さらに処理されたバージョン、又は、それらの組合せを表示し、送信し、通信し、或いはデジタルで格納し、或いは、その他方法で出力することを含むことを特徴とする方法。
【請求項１８】
前記局所的な輝度平滑化は、輝度データをぼかすか平均化すること、或いはそれらの組合せを含むことを特徴とする請求項17に記載の方法。
【請求項１９】
前記1以上のサブ領域のための1以上の局所的な色平滑化カーネルを適用することをさらに含み、前記補正するイメージの前記1以上の向上させられたサブ領域はさらに、少なくとも局所的な色平滑化によって前記顔のオリジナルのピクセルから修正したピクセルを含むことを特徴とする請求項17に記載の方法。
【請求項２０】
前記1つ以上のサブ領域に、ノイズ低減か向上、又は両方を適用することをさらに含み、前記補正するイメージの前記1以上の向上させられたサブ領域はさらに、少なくとも局所的なノイズ低減又は向上又は両方による前記顔のオリジナルのピクセルから修正したピクセルを含むことを特徴とする請求項17に記載の方法。
【請求項２１】
しきい値肌トーンを含まない、前記1以上のサブ領域内の所定の非肌トーン・ピクセルを決定することをさらに含み、前記所定の非肌トーン・ピクセルの強度を除去し、置換し、減少させ、或いは、前記所定の非肌トーン・ピクセルの色を修正し、或いはそれらの組合せであることを特徴とする請求項17に記載の方法。
【請求項２２】
前記1以上のオリジナルの又は向上させられたサブ領域、又は、それらの組合せ内に、オリジナルのピクセル強度と局所的な平均強度との間の関係の1以上の関数を含む、前記1以上の向上させられたサブ領域の向上させられたピクセルは、向上させられた強度を含むことを特徴とする請求項17に記載の方法。
【請求項２３】
前記顔の内の、1以上の口か目の領域、又はそれらの組合せを検知することをさらに含み、1以上の歯、唇、舌、目の白、目のまゆ、虹彩、目のまつげ、又は、瞳、或いはそれらの組合せを含む、前記1以上の口又は目領域内の、1つ以上のサブ領域の自然色を識別し向上させることを特徴とする請求項17に記載の方法。
【請求項２４】
レンズと、イメージセンサと、 プロセッサと、 前記請求項1から23のうちのいずれかの方法を実行するために、前記プロセッサのプログラムのためにそこにコードを埋め込まれたプロセッサが読取り可能な媒体と、を含む装置。
【請求項２５】
前記請求項1から24のうちのいずれかの方法を実行するための、前記プロセッサのプログラムのためにそこにコードが埋め込まれたコンピュータ可読媒体。
【請求項１】
デジタル画像内の顔の外観を向上させる方法は、プロセッサを使用して、
レンズとイメージセンサを使用して前記イメージを取り込むことを含み、顔を含むシーンのデジタル画像を獲得し、或いは、レンズとイメージセンサ、或いは、それらの組合せを含む装置によるキャプチャーに続いて前記イメージを受け取り、
前記デジタル画像内の前記顔を識別し、
1又は2つの目又は1つの口又はそれらの組合せを含む、顔特徴からの前記顔の肌トーン部分を分割し、
前記顔の前記肌トーン部分内に、輝度中で、汚されていない肌トーン部分から少なくとも1つのしきい値変化する、1つ以上の汚れ領域を識別し、
平滑化された輝度データを生成するために、前記1つ以上の汚れ領域の輝度データを平滑化し、
前記平滑化された輝度データと置換され、オリジナルの汚されていない肌トーン部分と結合した、前記1つ以上の汚れ領域のオリジナルの輝度データを有する、前記顔の向上させられたバージョンを含む、向上させられたイメージを生成し、
前記向上させられたイメージ、或いはさらに処理されたバージョン、或いはそれらの組合せを、表示し、送信し、通信し、デジタルで格納し、或いは他の方法で出力する
ことを含むことを特徴とする方法。
【請求項２】
前記局所的な輝度平滑化は、輝度データをぼかす又は平均化すること、或いはそれの組合せを含むことを特徴とする請求項1に記載の方法。
【請求項３】
前記1以上のサブ領域のための、1以上の局所的色平滑化カーネルを適用することをさらに含み、前記補正するイメージの前記1つ以上の向上させられたサブ領域は、さらに少なくとも局所的な色平滑化によって前記顔のオリジナルのピクセルから修正されたピクセルを含むことを特徴とする請求項1に記載の方法。
【請求項４】
前記1つ以上のサブ領域に、ノイズ低下か向上、又は両方を適用することをさらに含み、前記補正するイメージの前記1つ以上の向上させられたサブ領域はさらに、少なくとも局所的なノイズ低下又は向上、又は両方による前記顔のオリジナルのピクセルから修正されたピクセルを含むことを特徴とする請求項1に記載の方法。
【請求項５】
しきい値肌トーンを含まない、前記1以上のサブ領域内の所定の非肌トーン・ピクセルを決定することをさらに含み、前記所定の非肌トーン・ピクセルの強度を、置換し、除去し、減らし、或いは 前記所定の非肌トーン・ピクセルの色を修正し、或いはそれらの組合せであることを特徴とする請求項1に記載の方法。
【請求項６】
前記1以上のオリジナルのサブ領域、又は向上させられた領域、又は、それらの組合せ内に、オリジナルのピクセル強度と局所的な平均強度との間の関係の1つ以上の関数を含む1以上の向上させられたサブ領域の向上させられたピクセルは、向上させられた強度を含むことを特徴とする請求項1に記載の方法。
【請求項７】
前記顔の中に、1以上の口か目領域、又はそれの組合せを検知することをさらに含み、
1以上の歯、唇、舌、目の白、目のまゆ、虹彩、目のまつげ、又は、瞳、 或いはそれらの組合せを含む、前記1以上の口又は目の領域内の、1以上のサブ領域の自然色を識別し向上させることを特徴とする請求項1に記載の方法。
【請求項８】
デジタル画像内の顔の外観を向上させる方法は、プロセッサを使用して、
インカメラを生成し、インカメラに顔を含む1以上の相対的に低い解像度画像の集合を取り込み、又は、さもなくば獲得し;
前記1つ以上の相対的に低い解像度画像内の前記顔を識別し;
1つ又は2つの目又は1つの口又はそれの組合せを含む顔特徴からの前記顔の肌トーン部分を区分し、
前記顔の肌トーン部分内に、輝度中で、前記肌トーン部分から少なくとも1つのしきい値変化する1以上の汚れ領域を識別し、
レンズとイメージセンサを使用して、前記主映像を取り込むこと、或いは レンズ、イメージセンサ、又はそれの組合せを含む装置による取込に続く前記主映像を受け取り、を含み、前記1以上の相対的に低い解像度画像より高い解像度の主映像を獲得し、
前記主映像のそれらの1つ以上の領域のための平滑化されたデータを生成するため、前記相対的に低解像度映像中で識別された、前記同じ1つ以上の汚れ領域に対応する前記主映像の1以上の領域の所定のオリジナル・データを平滑化し、
前記平滑化されたデータと置換された1つ以上の汚れ領域に対応する前記1つ以上の領域の前記所定のオリジナル・データを有する前記顔の向上させられたバージョンを含む前記主映像の向上させられたバージョンを生成し、
前記向上させられたイメージ或いは、さらに処理されたバージョン、或いはそれらの組合せを、表示し、送信し、通信し、或いはデジタルで格納し、或いは、他の方法で出力することを含むことを特徴とする方法。
【請求項９】
前記相対的に低い解像度画像の集合内の前記顔を追跡することをさらに含むことを特徴とする請求項8に記載の方法。
【請求項１０】
前記顔の1つ以上の向上させられたサブ領域を生成するために、前記平滑化は前記顔の内に前記識別された1以上のサブ領域のうちの1つの各々へ、1つ以上の局所的輝度平滑化カーネルを適用すること、を含み、前記適用は、前記顔の内に前記識別された1以上のサブ領域の輝度データのための前記1以上の局所的輝度平滑化カーネルを適用することを含むことを特徴とする請求項8に記載の方法。
【請求項１１】
前記局所的な輝度平滑化は輝度データをぼかすか平均化する、或いはそれらの組合せを含むことを特徴とする請求項10に記載の方法。
【請求項１２】
前記1以上のサブ領域のための1つ以上の局所的な色平滑化カーネルを適用することをさらに含み、前記補正するイメージの前記1以上の向上させられたサブ領域は、少なくとも局所的な色平滑化によって前記顔のオリジナルのピクセルから修正されたピクセルをさらに含むことを特徴とする請求項10に記載の方法。
【請求項１３】
前記1以上のサブ領域に、ノイズ低下か向上、又は両方を適用することをさらに含み、前記補正するイメージの前記1つ以上の向上させられたサブ領域はさらに、少なくとも局所的なノイズ低減又は向上、又は両方による前記顔のオリジナルのピクセルから修正されたピクセルを含むことを特徴とする請求項8に記載の方法。
【請求項１４】
しきい値肌トーンを含まない、前記1以上のサブ領域内の所定の非肌トーン・ピクセルを決定することをさらに含み、前記所定の非肌トーン・ピクセルの強度を除去し、置換し、減少させ、或いは 前記所定の非肌トーン・ピクセルの色を修正し、或いはそれらの組合せることを特徴とする請求項8に記載の方法。
【請求項１５】
前記1以上の向上させられたサブ領域の向上させられたピクセルは、前記1以上のオリジナルの又は向上させられたサブ領域、又は、それらの組合せ内に、オリジナルのピクセル強度と局所的な平均強度の間の関係の1つ以上の関数を含む向上させられた強度を含むことを特徴とする請求項8に記載の方法。
【請求項１６】
顔の内の、1以上の口か目の領域、又はそれらの組合せを検知することをさらに含み、1つの本以上の歯、唇、舌、目の白、目のまゆ、虹彩、目のまつげ、又は瞳、或いはそれらの組合せを含む前記1以上の口又は目の領域内の、1以上のサブ領域の自然色を識別し向上させることを特徴とする請求項8に記載の方法。
【請求項１７】
デジタル画像内の顔の外観を向上させる方法は、プロセッサを使用して、
レンズとイメージセンサを使用して、前記イメージを取り込むこと、或いは レンズ、イメージセンサ、又はそれの組合せを含む装置による取込に続く前記イメージを受信することを含み、顔を含むシーンのデジタル画像を獲得し、
前記デジタル画像内の前記顔を識別し、
前記顔の内に局所的な輝度平滑化で向上させられる1つ以上のサブ領域を識別し、
前記顔の1以上の向上させられたサブ領域を生成するため、前記顔の内に識別された前記1以上のサブ領域のうちの1つの各々へ1以上の局所的な輝度平滑化カーネルを適用し、ここで、前記適用は、前記顔の内に前記識別された1以上のサブ領域の輝度データのための、前記1以上の局所的な輝度平滑化カーネルを適用することを含み、
前記顔の前記1以上の向上させられたサブ領域に対応するピクセルと結合して所定のオリジナル又はその他に処理されたピクセルを含む前記顔の向上させられたバージョンを含む向上させられたイメージを生成し、
前記向上させられたイメージ、或いは、さらに処理されたバージョン、又は、それらの組合せを表示し、送信し、通信し、或いはデジタルで格納し、或いは、その他方法で出力することを含むことを特徴とする方法。
【請求項１８】
前記局所的な輝度平滑化は、輝度データをぼかすか平均化すること、或いはそれらの組合せを含むことを特徴とする請求項17に記載の方法。
【請求項１９】
前記1以上のサブ領域のための1以上の局所的な色平滑化カーネルを適用することをさらに含み、前記補正するイメージの前記1以上の向上させられたサブ領域はさらに、少なくとも局所的な色平滑化によって前記顔のオリジナルのピクセルから修正したピクセルを含むことを特徴とする請求項17に記載の方法。
【請求項２０】
前記1つ以上のサブ領域に、ノイズ低減か向上、又は両方を適用することをさらに含み、前記補正するイメージの前記1以上の向上させられたサブ領域はさらに、少なくとも局所的なノイズ低減又は向上又は両方による前記顔のオリジナルのピクセルから修正したピクセルを含むことを特徴とする請求項17に記載の方法。
【請求項２１】
しきい値肌トーンを含まない、前記1以上のサブ領域内の所定の非肌トーン・ピクセルを決定することをさらに含み、前記所定の非肌トーン・ピクセルの強度を除去し、置換し、減少させ、或いは、前記所定の非肌トーン・ピクセルの色を修正し、或いはそれらの組合せであることを特徴とする請求項17に記載の方法。
【請求項２２】
前記1以上のオリジナルの又は向上させられたサブ領域、又は、それらの組合せ内に、オリジナルのピクセル強度と局所的な平均強度との間の関係の1以上の関数を含む、前記1以上の向上させられたサブ領域の向上させられたピクセルは、向上させられた強度を含むことを特徴とする請求項17に記載の方法。
【請求項２３】
前記顔の内の、1以上の口か目の領域、又はそれらの組合せを検知することをさらに含み、1以上の歯、唇、舌、目の白、目のまゆ、虹彩、目のまつげ、又は、瞳、或いはそれらの組合せを含む、前記1以上の口又は目領域内の、1つ以上のサブ領域の自然色を識別し向上させることを特徴とする請求項17に記載の方法。
【請求項２４】
レンズと、イメージセンサと、 プロセッサと、 前記請求項1から23のうちのいずれかの方法を実行するために、前記プロセッサのプログラムのためにそこにコードを埋め込まれたプロセッサが読取り可能な媒体と、を含む装置。
【請求項２５】
前記請求項1から24のうちのいずれかの方法を実行するための、前記プロセッサのプログラムのためにそこにコードが埋め込まれたコンピュータ可読媒体。
【図１Ａ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図１Ｂ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【公表番号】特表２０１１−５２９６４９（Ｐ２０１１−５２９６４９Ａ）
【公表日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１１−５２０３７４（Ｐ２０１１−５２０３７４）
【出願日】平成２１年７月２８日（２００９．７．２８）
【国際出願番号】ＰＣＴ／ＥＰ２００９／００５４６１
【国際公開番号】ＷＯ２０１０／０１２４４８
【国際公開日】平成２２年２月４日（２０１０．２．４）
【出願人】（５０８２４５３５６）テセラ テクノロジーズ アイルランド リミテッド (17)
【Ｆターム（参考）】
【公表日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２１年７月２８日（２００９．７．２８）
【国際出願番号】ＰＣＴ／ＥＰ２００９／００５４６１
【国際公開番号】ＷＯ２０１０／０１２４４８
【国際公開日】平成２２年２月４日（２０１０．２．４）
【出願人】（５０８２４５３５６）テセラ テクノロジーズ アイルランド リミテッド (17)
【Ｆターム（参考）】
[ Back to top ]