写真の目のアーチファクトの２段階検出
内蔵画像取得および処理システムの、デジタル画像での赤目不具合の検出が改善される。２段階赤目フィルタリングシステムは、赤目候補領域の最初の分割を実行するスピードに最適化されるフィルタを含み、また、修正のために、確認された赤目領域の第１のセットを決定するフォルシング／照合フィルタのスピードに最適化されるセットを随意に適用する。第１の段階の間に除かれた候補領域の幾つかは、記憶され、第２の段階の間に、確認された赤目領域の第２のセットを決定するために分析に最適化されるフィルタの他のセットにより、再分析される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理に関する。より詳しくは、取得画像における赤目不具合や他のアーチファクトを検出および修正するための方法および装置に関する。
【背景技術】
【０００２】
赤目は、フラッシュの照明を用いたカメラによる取得画像中に現れる人物の瞳が不自然に赤い色になる現象である。赤目は、フラッシュからの光が網膜の血管に反射してカメラに戻ってくることにより、引き起こされる。
【０００３】
カラー画像中の赤目を検出および修正するための様々な画像処理技術が提案されている。一般に、これらの技術はセミオートマチックまたはオートマッチックである。セミオートマチック赤目検出技術は、人の入力に依存する。例えば、あるセミオートマチックの赤目低減システムにおいては、使用者は、不具合が修正される前に赤目を含む画像の領域を、システムに対して特定する必要がある。
【０００４】
多くのオートマチック赤目低減システムは、赤目の領域が特定される前の、予備的な顔検出段階に依存している。通常のオートマチックの手法は、画像中における顔を検出することと、その後に、検出された各顔内における目を検出することとを含む。目が位置付けされた後、形状、色、検出された目の位置に対応する画像領域の明るさに基づいて、赤目が特定される。一般に、顔検出を基とするオートマチックな赤目低減技術は、高計算能力と、メモリリソースとを必要とする。加えて、顔検出アルゴリズムの多くは、直立正面に向いている顔しか検出することができない。これらの手法は、通常、像平面に対して内に、または外に回転した顔を検出することができない。
【０００５】
従来技術としての、典型的な赤目フィルタ処理を図１Ａに示す。最初に、入力画像は、スピードに最適化された赤目検出段階によりピクセルレベルで分析され（１０３）、赤目候補領域が分割される（１０４）。さらなる一連のフォルシングおよび照合フィルタ（ｆａｌｓｉｎｇ ａｎｄ ｖｅｒｉｆｉｃａｔｉｏｎ ｆｉｌｔｅｒ）１０６が候補領域に適用され、確認された一連の赤目領域が決定される。修正フィルタ（ピクセル変更部）１０２が次に確認された領域に適用され、赤目が修正された最終的な画像１１２が生成される。
【０００６】
発明者ＤｅＬｕｃａによる米国特許６、４０７、７７７号は、取得したデジタル画像中の赤目ピクセルのインカメラ検出および修正を開示する。その一方で、発明者Ｓｔｅｉｎｂｅｒｇによる米国特許出願公開２００２／０１７６６２３は、ハンドヘルド装置のために最適化された赤目不具合の自動リアルタイム検出および修正を開示する。Ｌｕｏらによる米国特許出願公開２００５／００４７６５５および２００５／００４７６５６は、デジタル画像、および内蔵されたシステム中の赤目の検出および修正のための技術をそれぞれ開示する。
【０００７】
典型的なデジタルカメラに実装されるような画像取得サブシステム内において、画像取得の間に、ピークコンピューティングロードとリソース要求が生じることが知られている。ユーザからの画像取得要求を受信したとき、内蔵された主処理システムは、最適の主取得画像を得るために、画像の焦点および露出を改善する。当該画像は、次に、カメラの主光学センサからオフロード（ｏｆｆ−ｌｏａｄ）され、それを基のフォーマット（例えばＢａｙｅｒ）からＲＧＢやＹＣＣのような標準化された色空間に変換されるためのさらなる画像処理に供される。最終的に、取得画像は、コンパクトフラッシュ（登録商標）やマルチメディア・カードのような、除去可能な記憶メディア上にそれを保存する前に圧縮される。
【０００８】
業界において、最初の画像取得から回復して第２の画像取得のために再初期化するためにカメラにかかる時間は、“クリックトゥクリック（ｃｌｉｃｋ ｔｏ ｃｌｉｃｋ）”時間として知られている。これは、最新のデジタルカメラについての比較およびマーケティングにおいて最も重要なパラメータとなっており、製造業者において当該“クリックトゥクリック”時間を最小化することが重要となっている。そのため、赤目フィルタリングのような、主画像取得鎖に加えられるあらゆる付加的な画像処理もまた、主システムのクリックトゥクリック時間への影響を最小化するために、実行速度が高度に最適化されることが要求されている。
【０００９】
そのような赤目フィルタは、赤目不具合の検出の精度および画像修正の質の点において、総合的な性能が落ちているものと考えられる。他の態様としては、主画像が取得されるまで待ち、カメラが背景処理としてフィルタを実行する場合に後で赤目フィルタリングを実行するか、または、デスクトップＰＣかプリンタ上においてオフカメラで赤目のフィルタリングを実行することがある。
【００１０】
しかしながら、この手法には幾つかの欠点がある。第１に、画像は、未修正の赤目不具合を伴って取得直後に取得デバイスに表示される。第２に、画像がプレイバックモードでアクセスされる場合、画像が表示される前に、画像が後処理されることによるさらなる遅れが存在する。両方の欠点は、エンドユーザに対する否定的な印象を形成することになる。
【００１１】
さらに、ほとんどのデジタルカメラについては非可逆圧縮技術が使用して画像を記憶している。そのため、プレイバックモードまたは背景モードにおいて赤目検出および修正処理を実行するために、画像は復元および再圧縮されなければならないため、画像の画質にはさらなる損失が存在する。そのような画質のロスは、使用者が画像をプリントしようとするときまで明らかにならないことがある。そのため、処理を破棄するには遅すぎる。
【００１２】
赤目処理を画像がデスクトップＰＣやプリンタのような他のデバイスにロードされるまで遅らせるとき、さらなる欠点が存在することがある。第１に、取得デバイスおよび画像が取得されたときのその状態に関する重要なメタデータは、赤目フィルタ処理に利用可能ではない場合がある。第２に、当該後処理デバイスは、赤目フィルタリングを画像全体について行う。プリンタのような内蔵デバイスにおいては、主要な後処理アクティビティのためのＣＰＵサイクルおよび処理リソースについては相対的に抑制されているため、全体赤目フィルタの性能を最適化することが望まれている。
【発明の開示】
【課題を解決するための手段】
【００１３】
当該出願は、２００７年３月５日に出願された、参照により組み合わされる米国仮特許出願６０／８９２８８４に基づく優先権を主張するものである。また、当該出願は、参照により組み合わされる、２００６年８月２日に出願された米国一部継続出願１１／４６２０３５および２００５年１１月１８日に出願されて米国出願公開US2007/0116379として公開された米国特許出願１１／２８２９５４に基づく優先権を主張するものである。
【００１４】
内蔵される画像取得および処理システムの、デジタル画像における赤目不具合の検出が改善される。二段階の赤目フィルタリング処理が提供され、それによって、スピードに最適化されるフィルタが赤目候補領域の最初の分割を実行し、確認された第１の赤目領域を決定するためのスピードに最適化されたフォルシング／照合フィルタのセットを修正のために随意に適用する。第１の段階の間に除かれた候補領域のいくつかは記録され、確認された赤目領域の第２のセットを決定するための、分析に最適化されるフィルタの他のセットにより第２段階の間に再分析される。
【００１５】
他の実施形態において、確認された第１の赤目領域のセットは、第２段階の、分析に最適化されるフィルタを通過（pass through）するようにしてもよい。
【００１６】
他の実施形態において、第２段階のフィルタは、確認された赤目領域の第１のセットに随意に適用されてもよい改善された修正フィルタ（enhanced correction filter）を組み込むようにしてもよい。
【００１７】
２段階の赤目フィルタが実行される。スピードに最適化される第１の赤目フィルタ処理は、正確な画像分析に最適化される第２の赤目処理と組み合わされる。主画像取得鎖内において実行される赤目フィルタの利点は、背景／プレイバックモードにおいて実行される赤目フィルタのそれと組み合わされ、そして、これら２つの手法の不利点は、ほとんど除かれる。
【００１８】
プレイバックモードにおけるスロープラットフォームのために（サムソンのための富士通のように）、画像がスクリーンに表示された後、好ましくは直後に、“RE lib”が要求される（例えば、ユーザのコマンドを待つことなく）。カメラは、他のものを行う必要があるときに、複数のタスクを行うことができ、および／または背景タスクを即座に放棄することができる。これにより、REファンクションが実行されたときにユーザは、即座の、またはリアルタイムの結果を得ることができる。REの存在は、画像中の、例えばフラッシュ領域において提供される。
【００１９】
デジタル画像処理のためのさらなる技術が提供される。取得デジタル画像から顔候補領域が取得される。顔候補領域は、赤目候補領域の第１のセットを生成するために、スピードに最適化される第１のフィルタにより、フィルタ処理される。取得画像の少なくとも一部はエンコードされる。取得画像のエンコードされた部分は、前記エンコードされた画像の後の画像処理のために、前記赤目候補領域の第１のセットと関連付けられて記憶される。
【００２０】
1つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットが適用されるようにしてもよい。赤目候補領域の第１のセットが分析に最適化されるフィルタを通過するようにしてもよい。1つまたは複数が赤目候補領域と決定されてもよいように、フィルタリング、エンコーディング、および記憶処理の後、フィルタリングにより除かれた顔候補領域が分析に最適化されるフィルタを通過するようにしてもよい。スピードに最適化される第１のフィルタは画像取得のときに適用されるようにしてもよく、また、分析に最適化されるフィルタは背景モードもしくはプレイバックモード、またはその両方のときに適用されるようにしてもよい。
【００２１】
金目除去のようなより複雑な処理に適用されてもよく、例えば、2段階処理は、リアルタイムで赤目を除去するとともに、背景において金目を除去するようにしてもよい。2段階処理は、取得鎖の間の早いフィルタを含んでいてもよく、また、その後に、カメラがアイドリング中であるときや第２のデバイスにおいて、より遅い、分析に最適化されるフィルタが適用されるようにしてもよい。これは、特に遅いマシンに効果があり、またプレイバックのときだけでなく、通常カメラが画像を取得しない背景処理の場合にも予測される。ディスプレイには、実行された赤目および／またはフラッシュ領域を示すアイコンが存在しているようにしてもよい。
【図面の簡単な説明】
【００２２】
【図１Ａ】図１Aは、典型的な従来の赤目処理技術を示す図である。
【図１Ｂ】図１Bは、1つの実施形態に従う赤目処理を示す図である。
【図１Ｃ】図１Cは、他の実施形態に従う赤目処理を示す図である。
【図２Ａ】図２Aは、デジタル画像取得デバイス内での本発明の実施形態を示す図である。
【図２Ｂ】図２Bは、分析に最適化されるフィルタが、元の取得デバイスとは分離されるデバイスにて実行される、本発明の実施形態を示す図である。
【図３Ａ】図３Aは、スピードに最適化される赤目検出部が部分的に圧縮されたDCTブロック画像に適用される、本発明の実施形態に従う処理を示す図である。
【図３Ｂ】図３Bは、赤目DCTプレフィルタを使用する、改良されたインカメラ赤目検出手段の説明される実施形態のワークフローダイアグラムである。
【図３Ｃ】図３Cは、赤目DCTプレフィルタの説明される実施形態のワークフローダイアグラムである。
【図３Ｄ】図３Dは、赤目DCTプレフィルタの分割ステップを示す図である。
【図３Ｅ】図３Eは、４つのDCTブロック隣接部を示す図である。
【図４Ａ】図４Aは、長方形格子に配置された目領域を示す図である。
【図４Ｂ】図４Bは、図４Aの画像がDCTドメインに変換された後、各DCTブロックのDC係数により記憶されるおおよその色を示す図である。
【図４Ｃ】図４Ｃは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図４Ｄ】図４Ｄは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図４Ｅ】図４Ｅは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図５】図５は、他の実施形態に従った修正赤目フィルタ処理の機能的実行を示す。
【図６Ａ】図６Aは、ヘッダー中に記憶された元の不具合領域と、主画像ボディに適用された修正された不具合領域を示す。
【図６Ｂ】図６Ｂは、ヘッダー中に記憶された修正された不具合領域と、主画像ボディ中の修正されないで維持されたオリジナルの不具合領域を示す。
【図６Ｃ】図６Ｃは、ヘッダー中に記憶されたオリジナルの不具合領域と、少なくとも１つの他の修正された不具合領域と、主画像ボディに適用された、光学的に決定された修正された不具合領域を示す。
【図７】図７は、赤目フィルタ処理の好ましい更なる実施形態の機能的実行を示す。
【図８】図８は、赤目フィルタ処理の好ましい更なる実施形態の機能的実行を示す。
【発明を実施するための形態】
【００２３】
発明の実施形態について、図面を用いて説明する。
【００２４】
内蔵される画像取得および処理システムの、デジタル画像における赤目不具合の検出が改善される。二段階の赤目フィルタリング処理が提供され、それによって、スピードに最適化されるフィルタが赤目候補領域の最初の分割を実行し、確認された第１の赤目領域を決定するためのスピードに最適化されたフォルシング／照合フィルタのセットを修正のために随意に適用する。第１の段階の間に除かれた候補領域のいくつかは記録され、確認された赤目領域の第２のセットを決定するための、分析に最適化されたフィルタの他のセットにより第２段階の間に再分析される。
【００２５】
他の実施形態において、確認された第１の赤目領域のセットは、第２段階の、分析に最適化されたフィルタを通過するようにしてもよい。
【００２６】
他の実施形態において、第２の段階のフィルタは、確認された赤目領域の第１のセットに随意に適用されてもよい改善された修正フィルタ（enhanced correction filter）を組み込むようにしてもよい。
【００２７】
２段階の赤目フィルタが実行される。スピードに最適化される第１の赤目フィルタ処理は、正確な画像分析に最適化される第２の赤目処理と組み合わされる。主画像取得鎖内において実行される赤目フィルタの利点は、背景／プレイバックモードにおいて実行される赤目フィルタのそれと組み合わされ、そして、これら２つの手法の不利点は、ほとんど除かれる。
【００２８】
一般化された1つの実施形態を図１Bに示す。入力画像１１０はピクセル分析部１０３により処理され、１セットの候補領域が分割され（１０４）、次に１セットのファルシング／照合フィルタを経る（１０６）。これらのコンポーネントすべては、実施形態中のものを除いて、図１Ａのフィルタ１００に概して対応するスピードに最適化される赤目検出フィルタ１００を形成する。従来技術においてフォルスポジティブ（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）と最終的に分類される赤目候補領域は、所定の閾値以下であるそれらのサイズまたは可能性に基づき、候補領域１０９として後の最適化された解析１０１のために保存されるように、フィルタ１００は変更される。
【００２９】
したがって、当該実施形態においては、ファルシング＆照合フィルタ１０６は、確認された１セットの赤目領域１０８に加え、１セットの第２の候補領域１０９を生成する。当該第２候補領域セットは、スピードに最適化される赤目検出処理１００により確認も除去もされていないオリジナルの候補領域セット１０４を含んでもよい。さらに、互いに近接する結合した候補領域を含んでもよい。
【００３０】
当該候補領域のセット１０９はそれぞれ、実施形態の実装に依存して、ＲＡＭバッファまたは不揮発性メモリに記憶される。当該データがＲＡＭ（または揮発性）メモリに記憶されるとき、当該画像取得システムはパワーダウンの前に第２段階の赤目フィルタを画像に適用する。好ましい記憶の形態は、不揮発性メモリ、または除去可能なメディアカードである。他の実施形態においては、当該データは、それ自体の部分的に処理された画像で画像ヘッダ中に記憶されてもよい。
【００３１】
当該実施形態において、分析に最適化される第２段階の赤目フィルタ１０１は、続いて候補領域１０９の第２のセットについて適用される。分析に最適化される検出処理１０１の間、記憶された候補領域１０９はスピードに最適化される処理の間よりもより高解像度でさらに分析されるのが好ましい。したがって、フィルタ１０１は、スピードに最適化される分析で用いられるファルシングおよび照合フィルタ１０６とは種類（ｎａｔｕｒｅ）や制御パラメータが異なる、分析に最適化されるファルシングおよび照合フィルタセット１１６を含む。それにもかかわらず、画像解像度を増加させた最適化される分析の１つまたは複数の中間段階を実行することが有用であることが理解される。これは、イメージング機器、および、イメージング機器の画像処理サブシステム内の利用可能なリソースのハードウェアの能力に依存する。
【００３２】
第２の画像処理は、ある種の外部事象に反応して起こるようにしてもよい。例えば、ユーザは、当該フィルタ１０１の適用を引き起こす画像プレイバックを始めてもよい。また、カメラは、所定のインターバルで待機中であるので背景赤目処理が開始されてもよい、と信号を伝達してもよい。カメラが例えばオートフォーカスのデータからのその動作を決定することが可能であるときに、カメラがアイドリングしていると判定される場合、例えば所定のインターバルで画像フォーカスが変化しておらず、ユーザからの入力がない場合、２段階の赤目フィルタリングを含む背景画像処理が開始されるようにしてもよい。
【００３３】
第２段階の赤目フィルタ１０１により確認された赤目領域セット１１８が決定された後、修正フィルタ（ピクセル変更部）１０２が適用され、これらの修正された領域は最終的な修正画像１１３を生成するために第１の修正画像１１２と結合される（１１５）。
【００３４】
他の実施形態を図１Ｃに示す。当該実施形態は、図１Ｂの実施形態とは、最初の修正画像１１２を第２段階のフィルタ１０１により決定された修正領域と結合させるのではなく、第２段階の赤目フィルタの後に単一の修正フィルタ（ピクセル変更部）１０２ｂが適用される点で異なっている。フィルタ１０２ｂは、最終的な修正画像１１３を生成するために、第１の確認された赤目領域１０８と、第２段階で確認された赤目領域１１８の両方を修正する。
【００３５】
図２Ａは、デジタル画像取得デバイス内の実施形態を示す。スピードに最適化される赤目フィルタ４１１は、検出部４１１−１、４１１−２、おおよび４１１−４と、随意的に、修正４１１−３処理を含むようにすることができる。同様に、背景処理４０３として動作する、分析に最適化される赤目フィルタ４１２は、スピードに最適化されるフィルタ４１１の最初の検出および修正の付加的な改善を実行する。当該第１の検出に関するデータは、画像記憶部４１０内の取得画像４１０−２とともに記憶される赤目フィルタメタデータ４１０−５により提供される。
【００３６】
図２Ｂは図２Ａの実施形態のバリエーションを示しており、分析に最適される赤目フィルタは、オリジナルの取得デバイスとは分離されている、デバイス４００において実行される。これは、例えば、デスクトップＰＣやプリンタとすることができる。他の実施形態においては、カメラは直接的にネットワークやウェブサービスに接続していてもよい。画像データ転送手段４０４ａ、４０４ｂはどちらかが２つのデバイス間のポイントトゥポイント通信リンクであってもよい。リムーバブル記憶メディアが二つのデバイス間で物理的に交換されてもよく、また、他の態様では、二つのデバイスは、インターネットのような共通ネットワークで接続されてもよい。他の実施形態においては、赤目フィルタメタデータ４１０−５は、当該メタデータがＪＰＥＧヘッダに付加されることにより、主画像データ４１０−２に結合されてもよい（図６参照）。背景赤目フィルタは、最初の取得デバイス４００と分離されたデバイス４００’の両方で動作するようにしてもよい。しかしながら、精度が増した複合的な赤目フィルタをサポートすることは、交換され、および分析され修正された画像とともに記憶される、とても複雑で詳細なメタデータが必要となることを注記する。
【００３７】
典型的なものとして、スピードに最適化される赤目フィルタ４１１、または分析に最適化される赤目フィルタ４１２のいずれかで含まれてもよい幾つかの典型的なフィルタの限定的なリストについては、米国出願１０／９７６，３３６（リファレンス FN206US）を参照願う。
【００３８】
上述の実施形態においては、スピードに最適化される赤目検出部１００はサブサンプルされた入力画像に適用されるのが好ましい。確認された赤目領域１０８は、スピードに最適化される赤目検出部１００から赤目修正モジュール１０２／１０２ａに伝達される。修正された赤目画像１１２は、画像取得処理の後すぐに、デジタルカメラの低解像度の表示スクリーンに表示されるようにすることができ、ユーザにすぐに赤目修正された画像が提供される。しかしながら、当該修正画像１１２はほぼ適切に修正されているが、それは顔が画像のほとんどを占めているポートレート形式の画像の場合や、非常に高い確率で赤目領域が存在する場合であり、赤目候補領域が小さかったり、不明確である多人数の人物を含む画像については適切に修正されていない場合がある。したがって、分析に最適化される第２の赤目フィルタ処理１０１が、画像取得後であって、より大きな画像ビューワでの最終的な画像１１３の表示、または画像プリントの前に実行されることが好ましい。当該分析に最適化される赤目検出処理１０１および修正処理１０２は、エンドユーザが所望するそのような高解像度での表示またはプリントまで、有利に遅延されるようにしてもよいことを、本発明の利点の１つとして注記する。
【００３９】
図２Ａおよび図２Ｂの実施形態においては、デコードされたフルサイズの主画像を確実にサブサンプルすることを必要とする代わりに、主画像のサブサンプルバージョンまたは主画像の修正されていないフルサイズのバージョンが主画像取得デバイスハードウェア４０２から直接的に提供されるようにしてもよい。
【００４０】
図１Ｃの場合においては、画像修正は取得鎖中の画像において実行される必要はなく、取得鎖においてスピードに最適化される赤目検出が実行された取得画像の背景において実行されるようにすることができる。これは、画像圧縮が主画像取得鎖４０１の一部であるハードウェアにおいてしばしば実行される多くの画像取得装置において有利である。当該実施形態においては、実質的に、検出処理のみが取得鎖において行われる。プレイバックモードにおいて、スピードに最適化される修正、または完全な画像に最適化される赤目フィルタのどちらかが、カメラ内の所定の設定、または画像プレイバック／表示のときのユーザの選択に基づき、その後に選択される。
【００４１】
図３Ａの実施形態においては、取得された未加工の画像４０２は、ＤＣＴ圧縮ブロック４０８−１に提供される前に、部分的に処理される（４０４）。当該ブロックは、不図示である取得画像のサブサンプルバージョンを提供し、これは上述の画像記憶部４１０に提供される。その後、スピードに最適化された赤目検出部４２８が部分的に圧縮されたＤＣＴブロック画像に適用され、修正された領域と、修正されていない疑わしい領域を含むＤＣＴ赤目候補領域が、記憶されるために記憶部４１０に出力される。ピクセルレベルではなくＤＣＴブロックレベルでスピードに最適化された修正を適用する利点は、ここで記載した従来技術におけるサブサンプルされた画像の詳細な赤目分析の適用の利点は残したままで明確な画像サブサンプリング段階の必要性を省略することができることにある。
【００４２】
ＤＣＴプレフィルタ４２８により出力されて主画像取得鎖４０１に組み込まれた領域は、画像が後に背景フィルタモジュール４２６のようなフィルタにより修正されるときに、有利には、ＤＣＴブロックストリームの多くが処理されることなく迂回することを可能とする。これにより、より迅速な分析、またはより詳細な分析のいずれか、および分析に最適化される赤目フィルタ４０６による処理を要求するために決定されるＤＣＴブロックのフィルタリングが可能となる。当業者は、主画像取得鎖４０１と背景赤目検出および修正処理４２６間からＤＣＴプレフィルタと他の慣用される形式の赤目フィルタ４０６の両方を分離させた態様のさらなる実施形態が可能であることが理解できる。
【００４３】
図３Ｂは、赤目ＤＣＴプレフィルタ４２８の作動を詳細に示す。この典型例は、ＤＣＴプレフィルタが、図３Ａの主画像取得４０２、処理４０４、および圧縮４０８の鎖とどのようにして一体化することができるかを説明する。フィルタされるＤＣＴ画像はまず、メモリ９０２にロードされ、主ＤＣＴプレフィルタ４２８が適用される。これには３つの段階が存在する。まず、画像のＤＣＴブロックがスキャンされ（９０４）、ＤＣＴ係数が抽出される。フィルタの精度に依存して、各ＤＣＴブロックのＤＣコンポーネントのみが後の分析で用いられる。あるいは、ＡＣコンポーネントのうちのいくつかは、プレフィルタ・オペレーションの一部として、ある種のテクスチャあるいはシャープネス／ぼけ（ｂｌｕｒ）の決定を可能とするために抽出される場合もある。
【００４４】
ＤＣＴプレフィルタ４２８の第２の主要段階において、段階９０４で抽出された係数から決定された複数の基準に基づき、ＤＣＴブロックは、分割されてグループ化される。最終的な赤目の候補のグループ分けを決定するために、領域に基づく分析が最終的に実行される（９０７）。次に、有効な候補のグループが存在するか否かが決定され（９０８）、存在しない場合は通常のＪＰＥＧ圧縮処理が再開される（４０８−２）。候補領域が決定された場合（９０８）、図３Ａの主赤目フィルタ処理４１１／４１２の一部として使用される場合がある様々な目の領域の特徴を含むのに十分に大きい、境界領域（ｂｏｕｎｄｉｎｇ ｒｅｇｉｏｎ）が各領域ごとに決定される（９１０）。その領域のフラッシュ目不具合の確実性が十分に高い場合、境界ボックス領域は、ビットマップフォーマットに復元（ｄｅｃｏｍｐｒｅｓｓｅｄ）され、また、スピードに最適化されるフィルタ鎖９１４が主画像のその領域を修正するために適用される（９１４）。ビットマップスペースにおける修正された領域は、次に８ｘ８ブロック境界の整数番号にマップされて再圧縮され（９１８）、その後ＤＣＴ領域上に上書きされる（９２０）。最終的に、通常のＪＰＥＧ圧縮が再開される（４０８−２）。上述したように、修正された領域の境界と疑わしい領域の境界のそれぞれは、後の分析に最適化された検出および修正における使用のために出力される。
【００４５】
図３Ｃは、図３Ｂの領域に基づく分析９０７をより詳細に示す。まず、ＤＣＴ係数が、一時的なメモリ記憶部中のＤＣＴ画像から読み取られる（９３０）。これらの係数は前処理され、一連の基準テーブルが生成される（９３２）。各テーブルは、分析される画像中のＮ×ＭＤＣＴブロックが存在する、大きさＮ×Ｍの数表である。例えば、あるそのようなテーブルは、フラッシュ目不具合に関連し、各ＤＣＴブロックの輝度（Ｙ）および赤クロミナンス（Ｃｒ）コンポーネントのためのＤＣ係数に由来した色範囲を強調するために、標準化された赤クロミナンス・コンポーネントを含む。他のテーブルは、隣接するＤＣＴブロックに由来する異なる値を含み、エッジ検出に使用される。一方、別のテーブルは、１セットの近隣のＤＣＴブロックから計算された分散値（ｖａｒｉａｎｃｅ ｖａｌｕｅ）を含んでいてもよい。当業者は、ＤＣＴプレフィルタの実装により、複数の付加的な基準がアルゴリズムに組み込まれて精度を高めることができることが理解できる。
【００４６】
各基準ごとに必要な計算の後、テーブルは完成され（９３２）、それらは一時的な記憶部にコピーされて（９３３）、プレフィルタアルゴリズムは、複数の基準テーブルごとにフィルタリングおよび分割段階を実行する（９０７）。この特有の段階は、以下の図３Ｄに詳細に表される。ここで、プレフィルタは、複数の基準テーブルの分割分析に基づく複数のＤＣＴブロックのセットを決定する。これらのグループは分類され、最終的なフラッシュ不具合候補領域を決定するために分析される必要がある。
【００４７】
当該領域に基づく分析９３６は、当業者に知られている多くの代替技術で構成される。特に、我々は、領域が、包括的、排他的、且つ低頻度の相互に排他的な組み合わせで組み合わされてもよいことを言及する（９３６−１）。領域に基づく分析の他の手段は、テンプレートマッチングを採用することができる（９３６−２）。例は、ＮａｋａｎｏによるＵＳ５，８０５，７２７で提供される。サブ領域は、画像内のＤＣＴブロックのＤＣ係数に基づく、粗テンプレートマッチング技術と高精度テンプレートマッチング技術の両方を使用してＤＣＴ画像内でマッチングされる。
【００４８】
領域に基づく分析の重要なコンポーネントは、事実上２つの明確な重なり領域であってもよい大きな領域、または事実上単一の大きな領域であってもよい小さな領域の集合を分析するために反応する再分割エンジン９２−６である。その後、領域に基づく分析９３６が完了した時点で、決定されたフラッシュ不具合候補領域のリストを含む最終的なＬＵＴが得られ、システムメモリに書き込まれる。
【００４９】
図３Ｄは、赤目ＤＣＴプレフィルタの分割段階９０７を詳細に示す。分割処理により処理される次の前処理された基準テーブルは、まずロードされ（９５０）、領域グループ分け処理のためのラベル化されたＬＵＴが初期化される（９５２）。次に、進行中のＤＣＴブロックおよびＤＣＴブロック隣接部が初期化される（９５４）。
【００５０】
図３Ｅは、濃いグレーで影付けされた進行中のＤＣＴブロック９９４の、薄いグレーで影付けされた３つの上部のＤＣＴブロックおよび左側のＤＣＴブロックを含んでいる、４つのＤＣＴブロック隣接部９９２の図式表示を示している。当該４つのブロック隣接部９９２は、当該典型的な実施形態のラベリングアルゴリズムにおいて使用される。ルックアップテーブル、ＬＵＴは、関連するラベルを保持するために定義される。
【００５１】
初期化が完了した後、段階９５４に戻り、図３Ｄのワークフローの次の段階では、左上から右下へのラスタースキャンにおける進行中の基準テーブルのすべての要素を介した再帰的な反復を開始する。ワークフローは次に、進行中のＤＣＴブロックと関連する進行中の基準テーブル値が赤目候補領域のメンバーシップ基準（ｍｅｍｂｅｒｓｈｉｐ ｃｒｉｔｅｒｉａ）を満足するか決定する（９５８）。本質的に、これは、進行中の基準テーブル値がフラッシュ目不具合と適合する特性を持っていることを示唆する。進行中の基準テーブル値がセグメントのメンバーシップ基準を満たす場合（９５８）、次にアルゴリズムは４つのブロック隣接部の他のメンバーシップＤＣＴブロックをチェックする（９６０）。他のメンバーシップブロックが存在しない場合、進行中のブロックには進行中のラベルのメンバーシップ（ｍｅｍｂｅｒｓｈｉｐ）が割り当てられる（９８０）。その後、ＬＵＴがアップロードされ（９８２）、進行中のラベル値はインクリメントされる（９８４）。４つのブロック隣接部に他のメンバーシップブロックが存在する場合（９６０）、進行中のブロックは、最も小さいラベル値でセグメント内のメンバーシップが与えられ（９６２）、それに応じてＬＵＴがアップデートされる（５１６）。ラベルがフラッシュ目不具合部分の一部として現在のブロックに付けられたか（９６２または９８０）、あるいは段階９５８にて不具合候補部分のメンバーでないとしてそのブロックが分類された後、それが画像９６６中の最後のＤＣＴブロックかどうか判断するためにテストが行なわれる。進行中のブロックが画像中の最後のブロックである場合、ＬＵＴの最終的なアップデートが行われる（９７０）。そうでなければ、次の基準テーブル値は進行中のブロック・ポインター９６８をインクリメントすることにより得られ、段階９５８に戻り、同じ方法で処理される。一旦最終的なＤＣＴブロックが処理され、最終的なＬＵＴが完成する場合（９７０）、セグメントのメンバーシップを有するブロックはすべて、潜在的な目不具合セグメントのラベル化されたセグメントのテーブルへソートされる（９７２）。その後、これが処理されるべき最後の基準テーブルであるか否か決定するために別のテストが行われ（９６６）、そうである場合、コントロールは、図３Ｃの領域に基づいた解析段階に渡される（９３６）。そうでなければ、ブロックセグメンターは段階９５０に戻り、処理用の次の基準テーブルをロードする。
【００５２】
多くの従来の方法が、赤目ＤＣＴプレフィルタ内の使用に有利に適応される場合がある。Ｄｅｌｐによる米国特許５，９４９，９０４号は、ＤＣＴブロック内の画像カラー選択を開示する。それは、特に、ＤＣＴ単独のＤＣ係数からのＤＣＴブロック内のカラーの決定を可能とする。したがって、ＤＣ係数のみについての情報から、カラーマッチングを達成することが可能である。Ｓａｚｚａｄらによる米国特許６，６２１，８６７号は、隣接するＤＣＴブロックにおけるＤＣ係数間の違いに基づく、ＤＣＴブロック内におけるエッジの存在の決定を開示する。
【００５３】
ここで、テクスチャおよび画像のエッジ／ぼけのような追加的な画像の質は、ＤＣＴブロック内の付加的なＡＣコンポーネントの分析を通じて決定することが可能である。そのような解析方法の例は、Ｆｅｎｇによる米国特許公開２００４／０１２０５９８およびＳｃｈｕｈｕｒｋｅらによる米国特許公開２００４／００５７６２３に記載されている。
【００５４】
他の実施形態においては代替的なＤＣＴブロック・分割技術が採用可能であり、具体的な技術としては、ＤｅＬｕｃａの米国特許６，４０７，７７７号、Ｓｔｅｉｎｂｅｒｇの米国特許６，８７３，７４３号、Ｌｕｏらの米国特許公開２００５／００４７６５５および２００５／００４７６５６に記載されたものが他の実施形態において有利に使用される。
【００５５】
図４においては、赤目領域のために、アウトラインカラーテンプレート（ｏｕｔｌｉｎｅ ｃｏｌｏｒ ｔｅｍｐｌａｔｅ）がどのようにして構築されるかを示す。図４Ａは、長方形のグリッド上にマップされた目の領域を示す。グリッド２０１のブロックは、それぞれ８ｘ８ピクセルブロックに相当する。主な赤目不具合２０４は、虹彩領域２０３、付加的な白目領域２０２、従来の赤目フィルタによって決定される主な赤目領域の境界２０６に典型的に囲まれる。
【００５６】
次に、図４Ｂでは、図４Ａの中の画像がＤＣＴ領域に転換された後の各ＤＣＴブロックのＤＣ係数によって記録されるおおよその色を示す。図４Ｂの中で示される色の組み合わせは以下のとおりである： Ｒはフラッシュ目不具合現象を示す赤みがかった色合いである； Ｓは皮膚色を示す色合いである； Ｗは白目領域に関連している白っぽい色を示す；Ｉは人間ごとに大きく変わる、目の虹彩の色である； ＷＳは、皮膚および白目色が混合されたブロックを示す；ＲＷは、赤目と白目が混合されたブロックである；ＲＩは、赤色および虹彩の色の混合である色合いである。ここで、十分に包括的なカラー・フィルタリングがこれらの画像ブロックに適用されるとき、ＤＣＴ領域画像のＤＣ係数から直接的に典型的な赤目のカラーマップを決定することが可能である。図４Ｃは、包括的なカラーフィルタが使用された場合に、赤色として決定される領域を示す。図４Ｄおよび図４Ｅは、フラッシュ目不具合領域を囲む白目と皮膚色の領域を示す。このデータは、例えば、フラッシュ目不具合領域について１セットのカラー・テンプレートを構築するために使用することが可能である。他の標準的な方法の適用によって、鋭いエッジを含んでいるＤＣＴブロック、あるいはカラー領域間の変わり目（ｔｒａｎｓｉｔｉｏｎｓ）を決定することが可能である。これは、ＤＣＴプレフィルタ検出処理を改善するための追加情報を提供することが可能である。
【００５７】
図３Ａの実施形態における潜在的な不利は、画像全体が第２段階の赤目フィルタ処理を行うために復元されることが必要であることである。ほとんどのカメラが非可逆のＪＰＥＧ圧縮を使用しているため、画像品質の損失のない画像取得使用内に２段階の赤目処理が適用されることを可能とする、損失がない実施形態が実装されることが好ましい。
【００５８】
従って、図５は、画像品質の損失を伴うことなくプレイバックモードにおいて分析に最適化される赤目検出および修正を生じさせることができる、修正された赤目フィルタ処理の機能的実装を示す。これはさらに、インクリメントの段階で実行される、複雑な後処理が可能である。したがって、カメラがユーザ・アクティビティに関して待機状態である場合であっても、ロードして画像処理を開始し得るように切り替えられる。ユーザ・アクティビティが再開される場合、カメラは使用者に応答する前に処理されている画像を再圧縮し保存することが可能である。下記に述べる実施形態がカメラ内の画像のロスがない記憶および復元を可能とするため、赤目だけでなく、顔検出あるいは認識のような同様の他のインカメラ方法に適用され得る画像のインクリメントの処理を促進する。
【００５９】
ユーザ・アクティビティを感知する様々な手段が当業者に知られている。１つの例である方法は、カメラ動作を検出することと、これをオートフォーカスのサブシステムおよびユーザ・インターフェース・サブシステムのような他のインカメラ機能と随意に関連付けることを含んでいる。多くのカメラは、あるサブシステムを無効にするほど長く使用されていないと決定する省電力モードを組み込んでいてもよい。そのようなモードが使用者が使用しないことによりアクティブとなる場合、使用者による装置の使用を干渉することなく付加的な背景画像処理が開始され得る。
【００６０】
図５に戻り、主画像取得鎖４０１中のスピードに最適化される赤目フィルタ４１１が組み入れられた実施形態を説明する。この典型的な実施形態では、フィルタのスピード最適化は、ファルシングおよび照合フィルタの最小のセットの実装により達成され、また、修正処理は主画像取得連鎖中に適用されない。他の実施形態では、上記の実施形態に関して記述されたスピード最適化方法は随意に組み入れられ、もしくは置き換えられることができる。
【００６１】
画像が当該速度に最適化された赤目フィルタ４１１によって分析された後、それは続いて圧縮され（４２７−１）、記憶される（４１０）。さらに、候補赤目領域の位置に関するデータおよびファルスポジティブに関するデータが記録され、記憶された画像と関連付けされる。
【００６２】
ここで、上に記述されるように、カメラが背景処理を開始し得るとき、あるいはユーザがプレイバックモードを入力し、それを見るために画像を選択するとき、ＪＰＥＧからＤＣＴブロック・形式に部分的に復元される（４３３）。この復元段階は可逆（ｌｏｓｓｌｅｓｓ）であるため、メモリに一時的に記憶され、ＤＣＴ領域復元部４３０に送られる主画像の品質の損失はない。当該ＤＣＴ領域復元部は、赤目候補領域を含んでいる特定のＤＣＴブロックを決定するために記憶され、原画像と関連付けされたデータを使用し、および随意に、十分な時間およびシステムリソースが利用可能な場合に付加的な検出処理が期待できるファルスポジティブ領域を使用する。
【００６３】
その後、前述のＤＣＴ画像ブロックに適用されるべき修正を決定するために、復元されたＤＣＴ領域はそれぞれ、１つ以上の赤目フィルタによって漸増的にフィルタされる。
【００６４】
ある実施形態では、ＤＣＴブロックはビットマップフォーマットに復元され、ピクセルブロックとしてフィルタされてもよい。他の実施形態では、隣接する非候補ＤＣＴブロックが復元処理（４３０）およびフィルタリング処理（４１２）に含まれている場合がある。複数のＤＣＴブロックを含む場合がある一度復元されたＤＣＴブロック領域は、赤目フィルタ４１２により修正され、修正されたＤＣＴ画像ブロックセグメントは付加的にＤＣＴブロックの調整のチェックが行われるＤＣＴブロックマッチングモジュールに送られて、部分的に復元され、一時的に記憶されたＤＣＴブロック画像内の修正されたＤＣＴブロックの統合についてもチェックされる。赤目フィルタ解析に含まれるすべての候補ＤＣＴブロックおよび隣接するＤＣＴブロックが修正された場合、それらはＤＣＴ領域上書きモジュール４１８により部分的に復元され、一時的に記憶されたＤＣＴブロック画像に上書きされる。次に、部分的に復元され、一時的に記憶されたＤＣＴブロック画像は、ＤＣＴからＪＰＥＧへの画像圧縮モジュール４２７−１へ送られ、ＪＰＥＧフォーマットに可逆圧縮される。
【００６５】
この場合において、非可逆的な方法を使用して復元される画像のただ１つの領域は画像取得鎖内のスピードに最適化される赤目フィルタ４１１により特定された部分であることを注記する。これらの画像領域は修正されるため、それらの非可逆復元および再圧縮の影響は無視でき得る。
【００６６】
幾つかの他の実施形態が特定され得る。これらは、（ｉ）ＤＣＴ画像の一時的コピー中の画像不具合を含むＤＣＴブロックを上書きする前にオリジナルの不具合領域のコピーを記憶することを含んでいる。当該他の実施形態は、オリジナル画像のロスがない復元をサポートする。不具合を含んでいる保存されたオリジナルのＤＣＴブロック領域は、ＪＰＥＧ画像のヘッダー内に記憶され得ることを、当業者は理解できる。Ｒａｔｎａｋａｒらによる米国特許６，２９８，１６６号において、透かしデータ（ｗａｔｅｒｍａｒｋ ｄａｔａ）が画像に組み入れられる。したがって、修正された画像は、幾つかのオリジナルの修正されていない領域のコピーを含むことが可能である。あるいは、（ｉｉ）多数の代替修正アルゴリズムを使用することが可能であり、これらは、カメラ上の、あるいは続く画像処理アプリケーションに基づくコンピュータにおける、ユーザインターフェースを介したエンドユーザによる後の選択のために、後のＪＰＥＧヘッダー中への記憶用に一時的にコピーされてもよい。上書き段階は随意的であることを注記する。それが使用される場合、ある画像処理基準が付加的な処理として上書きの直前に、あるいは赤目の検出、または修正、またはそれらの組み合わせの一体的な部分として適用され得る。
【００６７】
これらの実施形態のさらなる態様は図６Ａ−Ｃの中で説明される。図６Ａは、ヘッダー５０４に記憶されたオリジナルの不具合領域５０６、および主画像ボディ５０２に適用された修正された不具合領域５０８の例を示す。図６Ｂは、ヘッダー５０４に記憶された修正された不具合領域５０８、および主画像ボディ５０２において未修正のままであるオリジナルの不具合領域５０６の例を示す。図６Ｃは、オリジナルの不具合領域５０６の例と、ヘッダー５０４に記憶される少なくとも１つの代替的な修正された不具合領域５０８−２と、主画像ボディ５０２に適用された、随意に決定された修正された不具合領域５０８−１とを示す。図６で使用される“修正された”および“未修正”という図形表現は例証目的であることを注記する。；当業者は、図示した各目領域が、変換されたＤＣＴ係数のブロックを表わすことを理解できる。
【００６８】
他の実施形態では、速い赤目フィルタの性能は、取得画像内の限られた領域のセットに選択的にそれを適用することによりさらに改善され得る。主画像獲得鎖の間に広範囲な画像解析を実行することが一般に非実用的であるため、これらの領域は、主画像取得の開始に先立って決定されることが好ましい。
【００６９】
高確率で赤目候補を含む画像部分を予め決定する有用なある方法は、前処理をプレビュー画像のセットで行うことである。一般に、デジタルカメラは、画像ストリームのような取得を可能とするコンポーネントを含んでおり、例えば、主画像取得により提供されるそれより低い解像度で、１５−３０フレーム／秒（ｆｐｓ）のビデオ率で取得する。３２０ｘ２４０のセット、あるいはＱＶＧＡ画像は多くの消費者カメラに典型的である。また、このプレビュー画像ストリームのサイズおよびフレーム率は、通常、ある範囲内で調節することが可能である。
【００７０】
図７および図８に示したある実施形態においては、デジタルカメラはプレビュー画像ストリーム（４１０−３）上で作動する顔検出部（６００）を含んでいる。図７は顔検出部
６００を含んでいる一方で、図８は、複数のフレームに跨る検出された顔を追跡（tracking）する顔検出部および追跡部６００を説明する。図８はまた、顔検出部および追跡部６００とともに、画像センササブシステム６１０と、ディスプレイ６０５とを含む、プレビューストリーム取得サブシステム６２０を説明する。
【００７１】
顔検出および追跡は２つの主要モードを有してもよい：（ｉ）新たな顔候補領域を検出する（そして確認する）全画像探索モード（６０１）および（ｉｉ）画像ストリームのその後のフレームにおいて既存の顔候補の新たな位置を予測およびその後の確認をし、確認された候補領域ごとに関する統計的情報をコンパイルする主追跡モードである。両方のモードは、顔検出、皮膚領域分割、目領域や口領域を含む特徴検出、能動輪郭分析および声方向分析（例えば、多数の合図（ｃｕｅ）を使用する、多数の個人の自動検出およびトラッキングのためのシステムについて開示するＲｕｉらの米国特許公開２００５／０１４７２７８）のような、様々な新しいおよび／または従来の方法を使用することができる。第１のモード（以下“シーディングモード”と称す）が全画像に適用されるとき、コンピュータでより集中的に、また、例えば３０−６０画像フレームごとのように間隔を空けてのみ適用される。そのため、画像に出現する新たな顔は、ほとんどの消費者アプリケーションにとって十分である２、３秒以内に検出される。全ての分析の合図が全てのフレームに適用されるとは限らないが、第２のモードは全ての画像フレームに適用されることが好ましい。
【００７２】
したがって、通常動作では、プレビュー画像ストリームの全てのフレームについては顔追跡アルゴリズム（ｆａｃｅ ｔｒａｃｋｅｒ ａｌｇｏｒｉｓｍ）の第２の随意モードからの出力のみが利用可能である。当該第２のモードからの３つの主要な出力があってもよい。（ｉ） 顔を含むと確認された顔候補領域のリスト；および／または（ｉｉ）画像フレーム内の位置や前記確認された顔領域のヒストリーの統計的分析により決定された様々な付加的データを含む、確認された顔領域ごとに関連付けられたデータセット；および／または（ｉｉｉ）プレビュー画像ストリームの次のフレームにおける、確認された顔領域の予測される位置、である。項目（ｉｉ）が使用される場合、項目（ｉｉ）によって予測位置の決定のために十分なデータが提供される場合があるため、項目（ｉｉｉ）は随意的なものとすることができることを注記する。
【００７３】
赤目不具合が検出されることが予測される場合、スピードに最適化される赤目検出部４１１は、プレビュー顔検出部（６００）からのこれらの出力によって、顔領域（６０１）に選択的に適用することが可能である。
【００７４】
赤目フィルタの適用に先立って画像に顔検出部が最初に適用される方法が知られている（例えばＬｉｎらによる米国特許出願２００２０１７２４１９； Ｈｅｌｄらによる米国特許出願２００２０１２６８９３； Ｉｔａｇａｋｉらによる米国特許出願２００５０２３２４９０およびＬｕｏらによる米国特許出願２００４００３７４６０．これらは、参照により組み合わされる）。正常な状況の下では、主画像獲得鎖にデジタルカメラ内で赤目フィルタのアプリケーションに先立って顔検出部のアプリケーションを動作可能とするのに利用可能な十分な時間がない。本実施形態は、顔追跡モジュール（６００）の予測的な出力の使用により、先行技術のこの不利点を克服する。予測された領域のサイズは典型的には対応する顔領域のサイズより大きくなるが、それは全画像のサイズより著しく小さい。したがって、主画像取得鎖内で顔検出部（６００）を作動させる必要なく、デジタルカメラまたは内蔵された画像取得システム内でより早くより正確な検出という利点を達成することが可能である。
【００７５】
多数の顔候補領域（６０１）が追跡され、その後、多数の予測された領域にスピードに最適化された赤目フィルタが適用されることを注記する。
【００７６】
図７および図８について、主画像は、取得され、サブサンプルされ、そして図７における顔検出／追跡部６００により処理される前に、または、図８において記憶の前に適用されてもよい顔検出部／追跡部６００により処理される前に記憶されるようにしてもよく、場合によっては主画像取得と並行してもよい。プレビューストリームは、カメラディスプレイ６０５に送られるようにしてもよい。顔検出部６００は当該プレビューストリームにおいて作用するようにしてもよく、出てくる顔候補領域が図８の実施形態において取り出されるようにしてもよい。顔追跡部６００を用いる場合、顔の予測される位置はプレビュー画像から得られ、スピードに最適化される赤目フィルタが主取得画像（またはサブサンプルされたそのコピー）上にて作用することができる。
【００７７】
本発明の典型的な図面および特定の実施形態について記載し、説明したが、本発明の範囲が当該論じた特定の実施形態に限られないことは、理解される。したがって、実施形態は限定的であるというよりむしろ実例とみなされる。また、本発明の範囲を逸脱することのなく当業者によって実施形態の変更が行われてもよいことが理解される。
【００７８】
さらに、好ましい実施形態に従ってここで実行され、上に記述された方法では、実施は選択された印刷された順序に記述された。しかしながら、印刷の便宜のために順序は選択され、順序付けされており、特定の順序が明らかに示されたり当業者が特定の順序とすることが必要と考えル場合を除き、オペレーションを実行するための特定の順序を示唆するものではない。
【００７９】
加えて、背景、課題を解決するための手段、要約、および図面の簡単な説明とともにここに記載されたすべての文献、および米国特許6,407,777号, 7,315,631号および7,336,821号,および米国特許出願公開2005/0041121, 2005/0031224, 2005/0140801, 2006/0204110, 2006/0093212, 2006/0120599, 2007/0110305 and 2006/0140455, および国際出願PCT/EP2006/008358, および米国特許出願. 60/773,714, 60/804,546, 60/865,375, 60/865,622, 60/829,127, 60/829,127, 60/821,165, 60/892,882, 60/945,558, 60/915,669 10/772,767, 11/554,539, 11/464,083, 11/462,035, 11/282,954, 11/027,001, 10/842,244, 11/024,046, 11/233,513, 11/753,098, 11/753,397, 11/766,674, 11/769,206, 11/772,427 and 11/460,218は、すべて、参照により、開示する他の実施形態として、好ましい実施形態の詳細な説明に組み入れられる。
【技術分野】
【０００１】
本発明はデジタル画像処理に関する。より詳しくは、取得画像における赤目不具合や他のアーチファクトを検出および修正するための方法および装置に関する。
【背景技術】
【０００２】
赤目は、フラッシュの照明を用いたカメラによる取得画像中に現れる人物の瞳が不自然に赤い色になる現象である。赤目は、フラッシュからの光が網膜の血管に反射してカメラに戻ってくることにより、引き起こされる。
【０００３】
カラー画像中の赤目を検出および修正するための様々な画像処理技術が提案されている。一般に、これらの技術はセミオートマチックまたはオートマッチックである。セミオートマチック赤目検出技術は、人の入力に依存する。例えば、あるセミオートマチックの赤目低減システムにおいては、使用者は、不具合が修正される前に赤目を含む画像の領域を、システムに対して特定する必要がある。
【０００４】
多くのオートマチック赤目低減システムは、赤目の領域が特定される前の、予備的な顔検出段階に依存している。通常のオートマチックの手法は、画像中における顔を検出することと、その後に、検出された各顔内における目を検出することとを含む。目が位置付けされた後、形状、色、検出された目の位置に対応する画像領域の明るさに基づいて、赤目が特定される。一般に、顔検出を基とするオートマチックな赤目低減技術は、高計算能力と、メモリリソースとを必要とする。加えて、顔検出アルゴリズムの多くは、直立正面に向いている顔しか検出することができない。これらの手法は、通常、像平面に対して内に、または外に回転した顔を検出することができない。
【０００５】
従来技術としての、典型的な赤目フィルタ処理を図１Ａに示す。最初に、入力画像は、スピードに最適化された赤目検出段階によりピクセルレベルで分析され（１０３）、赤目候補領域が分割される（１０４）。さらなる一連のフォルシングおよび照合フィルタ（ｆａｌｓｉｎｇ ａｎｄ ｖｅｒｉｆｉｃａｔｉｏｎ ｆｉｌｔｅｒ）１０６が候補領域に適用され、確認された一連の赤目領域が決定される。修正フィルタ（ピクセル変更部）１０２が次に確認された領域に適用され、赤目が修正された最終的な画像１１２が生成される。
【０００６】
発明者ＤｅＬｕｃａによる米国特許６、４０７、７７７号は、取得したデジタル画像中の赤目ピクセルのインカメラ検出および修正を開示する。その一方で、発明者Ｓｔｅｉｎｂｅｒｇによる米国特許出願公開２００２／０１７６６２３は、ハンドヘルド装置のために最適化された赤目不具合の自動リアルタイム検出および修正を開示する。Ｌｕｏらによる米国特許出願公開２００５／００４７６５５および２００５／００４７６５６は、デジタル画像、および内蔵されたシステム中の赤目の検出および修正のための技術をそれぞれ開示する。
【０００７】
典型的なデジタルカメラに実装されるような画像取得サブシステム内において、画像取得の間に、ピークコンピューティングロードとリソース要求が生じることが知られている。ユーザからの画像取得要求を受信したとき、内蔵された主処理システムは、最適の主取得画像を得るために、画像の焦点および露出を改善する。当該画像は、次に、カメラの主光学センサからオフロード（ｏｆｆ−ｌｏａｄ）され、それを基のフォーマット（例えばＢａｙｅｒ）からＲＧＢやＹＣＣのような標準化された色空間に変換されるためのさらなる画像処理に供される。最終的に、取得画像は、コンパクトフラッシュ（登録商標）やマルチメディア・カードのような、除去可能な記憶メディア上にそれを保存する前に圧縮される。
【０００８】
業界において、最初の画像取得から回復して第２の画像取得のために再初期化するためにカメラにかかる時間は、“クリックトゥクリック（ｃｌｉｃｋ ｔｏ ｃｌｉｃｋ）”時間として知られている。これは、最新のデジタルカメラについての比較およびマーケティングにおいて最も重要なパラメータとなっており、製造業者において当該“クリックトゥクリック”時間を最小化することが重要となっている。そのため、赤目フィルタリングのような、主画像取得鎖に加えられるあらゆる付加的な画像処理もまた、主システムのクリックトゥクリック時間への影響を最小化するために、実行速度が高度に最適化されることが要求されている。
【０００９】
そのような赤目フィルタは、赤目不具合の検出の精度および画像修正の質の点において、総合的な性能が落ちているものと考えられる。他の態様としては、主画像が取得されるまで待ち、カメラが背景処理としてフィルタを実行する場合に後で赤目フィルタリングを実行するか、または、デスクトップＰＣかプリンタ上においてオフカメラで赤目のフィルタリングを実行することがある。
【００１０】
しかしながら、この手法には幾つかの欠点がある。第１に、画像は、未修正の赤目不具合を伴って取得直後に取得デバイスに表示される。第２に、画像がプレイバックモードでアクセスされる場合、画像が表示される前に、画像が後処理されることによるさらなる遅れが存在する。両方の欠点は、エンドユーザに対する否定的な印象を形成することになる。
【００１１】
さらに、ほとんどのデジタルカメラについては非可逆圧縮技術が使用して画像を記憶している。そのため、プレイバックモードまたは背景モードにおいて赤目検出および修正処理を実行するために、画像は復元および再圧縮されなければならないため、画像の画質にはさらなる損失が存在する。そのような画質のロスは、使用者が画像をプリントしようとするときまで明らかにならないことがある。そのため、処理を破棄するには遅すぎる。
【００１２】
赤目処理を画像がデスクトップＰＣやプリンタのような他のデバイスにロードされるまで遅らせるとき、さらなる欠点が存在することがある。第１に、取得デバイスおよび画像が取得されたときのその状態に関する重要なメタデータは、赤目フィルタ処理に利用可能ではない場合がある。第２に、当該後処理デバイスは、赤目フィルタリングを画像全体について行う。プリンタのような内蔵デバイスにおいては、主要な後処理アクティビティのためのＣＰＵサイクルおよび処理リソースについては相対的に抑制されているため、全体赤目フィルタの性能を最適化することが望まれている。
【発明の開示】
【課題を解決するための手段】
【００１３】
当該出願は、２００７年３月５日に出願された、参照により組み合わされる米国仮特許出願６０／８９２８８４に基づく優先権を主張するものである。また、当該出願は、参照により組み合わされる、２００６年８月２日に出願された米国一部継続出願１１／４６２０３５および２００５年１１月１８日に出願されて米国出願公開US2007/0116379として公開された米国特許出願１１／２８２９５４に基づく優先権を主張するものである。
【００１４】
内蔵される画像取得および処理システムの、デジタル画像における赤目不具合の検出が改善される。二段階の赤目フィルタリング処理が提供され、それによって、スピードに最適化されるフィルタが赤目候補領域の最初の分割を実行し、確認された第１の赤目領域を決定するためのスピードに最適化されたフォルシング／照合フィルタのセットを修正のために随意に適用する。第１の段階の間に除かれた候補領域のいくつかは記録され、確認された赤目領域の第２のセットを決定するための、分析に最適化されるフィルタの他のセットにより第２段階の間に再分析される。
【００１５】
他の実施形態において、確認された第１の赤目領域のセットは、第２段階の、分析に最適化されるフィルタを通過（pass through）するようにしてもよい。
【００１６】
他の実施形態において、第２段階のフィルタは、確認された赤目領域の第１のセットに随意に適用されてもよい改善された修正フィルタ（enhanced correction filter）を組み込むようにしてもよい。
【００１７】
２段階の赤目フィルタが実行される。スピードに最適化される第１の赤目フィルタ処理は、正確な画像分析に最適化される第２の赤目処理と組み合わされる。主画像取得鎖内において実行される赤目フィルタの利点は、背景／プレイバックモードにおいて実行される赤目フィルタのそれと組み合わされ、そして、これら２つの手法の不利点は、ほとんど除かれる。
【００１８】
プレイバックモードにおけるスロープラットフォームのために（サムソンのための富士通のように）、画像がスクリーンに表示された後、好ましくは直後に、“RE lib”が要求される（例えば、ユーザのコマンドを待つことなく）。カメラは、他のものを行う必要があるときに、複数のタスクを行うことができ、および／または背景タスクを即座に放棄することができる。これにより、REファンクションが実行されたときにユーザは、即座の、またはリアルタイムの結果を得ることができる。REの存在は、画像中の、例えばフラッシュ領域において提供される。
【００１９】
デジタル画像処理のためのさらなる技術が提供される。取得デジタル画像から顔候補領域が取得される。顔候補領域は、赤目候補領域の第１のセットを生成するために、スピードに最適化される第１のフィルタにより、フィルタ処理される。取得画像の少なくとも一部はエンコードされる。取得画像のエンコードされた部分は、前記エンコードされた画像の後の画像処理のために、前記赤目候補領域の第１のセットと関連付けられて記憶される。
【００２０】
1つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットが適用されるようにしてもよい。赤目候補領域の第１のセットが分析に最適化されるフィルタを通過するようにしてもよい。1つまたは複数が赤目候補領域と決定されてもよいように、フィルタリング、エンコーディング、および記憶処理の後、フィルタリングにより除かれた顔候補領域が分析に最適化されるフィルタを通過するようにしてもよい。スピードに最適化される第１のフィルタは画像取得のときに適用されるようにしてもよく、また、分析に最適化されるフィルタは背景モードもしくはプレイバックモード、またはその両方のときに適用されるようにしてもよい。
【００２１】
金目除去のようなより複雑な処理に適用されてもよく、例えば、2段階処理は、リアルタイムで赤目を除去するとともに、背景において金目を除去するようにしてもよい。2段階処理は、取得鎖の間の早いフィルタを含んでいてもよく、また、その後に、カメラがアイドリング中であるときや第２のデバイスにおいて、より遅い、分析に最適化されるフィルタが適用されるようにしてもよい。これは、特に遅いマシンに効果があり、またプレイバックのときだけでなく、通常カメラが画像を取得しない背景処理の場合にも予測される。ディスプレイには、実行された赤目および／またはフラッシュ領域を示すアイコンが存在しているようにしてもよい。
【図面の簡単な説明】
【００２２】
【図１Ａ】図１Aは、典型的な従来の赤目処理技術を示す図である。
【図１Ｂ】図１Bは、1つの実施形態に従う赤目処理を示す図である。
【図１Ｃ】図１Cは、他の実施形態に従う赤目処理を示す図である。
【図２Ａ】図２Aは、デジタル画像取得デバイス内での本発明の実施形態を示す図である。
【図２Ｂ】図２Bは、分析に最適化されるフィルタが、元の取得デバイスとは分離されるデバイスにて実行される、本発明の実施形態を示す図である。
【図３Ａ】図３Aは、スピードに最適化される赤目検出部が部分的に圧縮されたDCTブロック画像に適用される、本発明の実施形態に従う処理を示す図である。
【図３Ｂ】図３Bは、赤目DCTプレフィルタを使用する、改良されたインカメラ赤目検出手段の説明される実施形態のワークフローダイアグラムである。
【図３Ｃ】図３Cは、赤目DCTプレフィルタの説明される実施形態のワークフローダイアグラムである。
【図３Ｄ】図３Dは、赤目DCTプレフィルタの分割ステップを示す図である。
【図３Ｅ】図３Eは、４つのDCTブロック隣接部を示す図である。
【図４Ａ】図４Aは、長方形格子に配置された目領域を示す図である。
【図４Ｂ】図４Bは、図４Aの画像がDCTドメインに変換された後、各DCTブロックのDC係数により記憶されるおおよその色を示す図である。
【図４Ｃ】図４Ｃは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図４Ｄ】図４Ｄは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図４Ｅ】図４Ｅは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図５】図５は、他の実施形態に従った修正赤目フィルタ処理の機能的実行を示す。
【図６Ａ】図６Aは、ヘッダー中に記憶された元の不具合領域と、主画像ボディに適用された修正された不具合領域を示す。
【図６Ｂ】図６Ｂは、ヘッダー中に記憶された修正された不具合領域と、主画像ボディ中の修正されないで維持されたオリジナルの不具合領域を示す。
【図６Ｃ】図６Ｃは、ヘッダー中に記憶されたオリジナルの不具合領域と、少なくとも１つの他の修正された不具合領域と、主画像ボディに適用された、光学的に決定された修正された不具合領域を示す。
【図７】図７は、赤目フィルタ処理の好ましい更なる実施形態の機能的実行を示す。
【図８】図８は、赤目フィルタ処理の好ましい更なる実施形態の機能的実行を示す。
【発明を実施するための形態】
【００２３】
発明の実施形態について、図面を用いて説明する。
【００２４】
内蔵される画像取得および処理システムの、デジタル画像における赤目不具合の検出が改善される。二段階の赤目フィルタリング処理が提供され、それによって、スピードに最適化されるフィルタが赤目候補領域の最初の分割を実行し、確認された第１の赤目領域を決定するためのスピードに最適化されたフォルシング／照合フィルタのセットを修正のために随意に適用する。第１の段階の間に除かれた候補領域のいくつかは記録され、確認された赤目領域の第２のセットを決定するための、分析に最適化されたフィルタの他のセットにより第２段階の間に再分析される。
【００２５】
他の実施形態において、確認された第１の赤目領域のセットは、第２段階の、分析に最適化されたフィルタを通過するようにしてもよい。
【００２６】
他の実施形態において、第２の段階のフィルタは、確認された赤目領域の第１のセットに随意に適用されてもよい改善された修正フィルタ（enhanced correction filter）を組み込むようにしてもよい。
【００２７】
２段階の赤目フィルタが実行される。スピードに最適化される第１の赤目フィルタ処理は、正確な画像分析に最適化される第２の赤目処理と組み合わされる。主画像取得鎖内において実行される赤目フィルタの利点は、背景／プレイバックモードにおいて実行される赤目フィルタのそれと組み合わされ、そして、これら２つの手法の不利点は、ほとんど除かれる。
【００２８】
一般化された1つの実施形態を図１Bに示す。入力画像１１０はピクセル分析部１０３により処理され、１セットの候補領域が分割され（１０４）、次に１セットのファルシング／照合フィルタを経る（１０６）。これらのコンポーネントすべては、実施形態中のものを除いて、図１Ａのフィルタ１００に概して対応するスピードに最適化される赤目検出フィルタ１００を形成する。従来技術においてフォルスポジティブ（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）と最終的に分類される赤目候補領域は、所定の閾値以下であるそれらのサイズまたは可能性に基づき、候補領域１０９として後の最適化された解析１０１のために保存されるように、フィルタ１００は変更される。
【００２９】
したがって、当該実施形態においては、ファルシング＆照合フィルタ１０６は、確認された１セットの赤目領域１０８に加え、１セットの第２の候補領域１０９を生成する。当該第２候補領域セットは、スピードに最適化される赤目検出処理１００により確認も除去もされていないオリジナルの候補領域セット１０４を含んでもよい。さらに、互いに近接する結合した候補領域を含んでもよい。
【００３０】
当該候補領域のセット１０９はそれぞれ、実施形態の実装に依存して、ＲＡＭバッファまたは不揮発性メモリに記憶される。当該データがＲＡＭ（または揮発性）メモリに記憶されるとき、当該画像取得システムはパワーダウンの前に第２段階の赤目フィルタを画像に適用する。好ましい記憶の形態は、不揮発性メモリ、または除去可能なメディアカードである。他の実施形態においては、当該データは、それ自体の部分的に処理された画像で画像ヘッダ中に記憶されてもよい。
【００３１】
当該実施形態において、分析に最適化される第２段階の赤目フィルタ１０１は、続いて候補領域１０９の第２のセットについて適用される。分析に最適化される検出処理１０１の間、記憶された候補領域１０９はスピードに最適化される処理の間よりもより高解像度でさらに分析されるのが好ましい。したがって、フィルタ１０１は、スピードに最適化される分析で用いられるファルシングおよび照合フィルタ１０６とは種類（ｎａｔｕｒｅ）や制御パラメータが異なる、分析に最適化されるファルシングおよび照合フィルタセット１１６を含む。それにもかかわらず、画像解像度を増加させた最適化される分析の１つまたは複数の中間段階を実行することが有用であることが理解される。これは、イメージング機器、および、イメージング機器の画像処理サブシステム内の利用可能なリソースのハードウェアの能力に依存する。
【００３２】
第２の画像処理は、ある種の外部事象に反応して起こるようにしてもよい。例えば、ユーザは、当該フィルタ１０１の適用を引き起こす画像プレイバックを始めてもよい。また、カメラは、所定のインターバルで待機中であるので背景赤目処理が開始されてもよい、と信号を伝達してもよい。カメラが例えばオートフォーカスのデータからのその動作を決定することが可能であるときに、カメラがアイドリングしていると判定される場合、例えば所定のインターバルで画像フォーカスが変化しておらず、ユーザからの入力がない場合、２段階の赤目フィルタリングを含む背景画像処理が開始されるようにしてもよい。
【００３３】
第２段階の赤目フィルタ１０１により確認された赤目領域セット１１８が決定された後、修正フィルタ（ピクセル変更部）１０２が適用され、これらの修正された領域は最終的な修正画像１１３を生成するために第１の修正画像１１２と結合される（１１５）。
【００３４】
他の実施形態を図１Ｃに示す。当該実施形態は、図１Ｂの実施形態とは、最初の修正画像１１２を第２段階のフィルタ１０１により決定された修正領域と結合させるのではなく、第２段階の赤目フィルタの後に単一の修正フィルタ（ピクセル変更部）１０２ｂが適用される点で異なっている。フィルタ１０２ｂは、最終的な修正画像１１３を生成するために、第１の確認された赤目領域１０８と、第２段階で確認された赤目領域１１８の両方を修正する。
【００３５】
図２Ａは、デジタル画像取得デバイス内の実施形態を示す。スピードに最適化される赤目フィルタ４１１は、検出部４１１−１、４１１−２、おおよび４１１−４と、随意的に、修正４１１−３処理を含むようにすることができる。同様に、背景処理４０３として動作する、分析に最適化される赤目フィルタ４１２は、スピードに最適化されるフィルタ４１１の最初の検出および修正の付加的な改善を実行する。当該第１の検出に関するデータは、画像記憶部４１０内の取得画像４１０−２とともに記憶される赤目フィルタメタデータ４１０−５により提供される。
【００３６】
図２Ｂは図２Ａの実施形態のバリエーションを示しており、分析に最適される赤目フィルタは、オリジナルの取得デバイスとは分離されている、デバイス４００において実行される。これは、例えば、デスクトップＰＣやプリンタとすることができる。他の実施形態においては、カメラは直接的にネットワークやウェブサービスに接続していてもよい。画像データ転送手段４０４ａ、４０４ｂはどちらかが２つのデバイス間のポイントトゥポイント通信リンクであってもよい。リムーバブル記憶メディアが二つのデバイス間で物理的に交換されてもよく、また、他の態様では、二つのデバイスは、インターネットのような共通ネットワークで接続されてもよい。他の実施形態においては、赤目フィルタメタデータ４１０−５は、当該メタデータがＪＰＥＧヘッダに付加されることにより、主画像データ４１０−２に結合されてもよい（図６参照）。背景赤目フィルタは、最初の取得デバイス４００と分離されたデバイス４００’の両方で動作するようにしてもよい。しかしながら、精度が増した複合的な赤目フィルタをサポートすることは、交換され、および分析され修正された画像とともに記憶される、とても複雑で詳細なメタデータが必要となることを注記する。
【００３７】
典型的なものとして、スピードに最適化される赤目フィルタ４１１、または分析に最適化される赤目フィルタ４１２のいずれかで含まれてもよい幾つかの典型的なフィルタの限定的なリストについては、米国出願１０／９７６，３３６（リファレンス FN206US）を参照願う。
【００３８】
上述の実施形態においては、スピードに最適化される赤目検出部１００はサブサンプルされた入力画像に適用されるのが好ましい。確認された赤目領域１０８は、スピードに最適化される赤目検出部１００から赤目修正モジュール１０２／１０２ａに伝達される。修正された赤目画像１１２は、画像取得処理の後すぐに、デジタルカメラの低解像度の表示スクリーンに表示されるようにすることができ、ユーザにすぐに赤目修正された画像が提供される。しかしながら、当該修正画像１１２はほぼ適切に修正されているが、それは顔が画像のほとんどを占めているポートレート形式の画像の場合や、非常に高い確率で赤目領域が存在する場合であり、赤目候補領域が小さかったり、不明確である多人数の人物を含む画像については適切に修正されていない場合がある。したがって、分析に最適化される第２の赤目フィルタ処理１０１が、画像取得後であって、より大きな画像ビューワでの最終的な画像１１３の表示、または画像プリントの前に実行されることが好ましい。当該分析に最適化される赤目検出処理１０１および修正処理１０２は、エンドユーザが所望するそのような高解像度での表示またはプリントまで、有利に遅延されるようにしてもよいことを、本発明の利点の１つとして注記する。
【００３９】
図２Ａおよび図２Ｂの実施形態においては、デコードされたフルサイズの主画像を確実にサブサンプルすることを必要とする代わりに、主画像のサブサンプルバージョンまたは主画像の修正されていないフルサイズのバージョンが主画像取得デバイスハードウェア４０２から直接的に提供されるようにしてもよい。
【００４０】
図１Ｃの場合においては、画像修正は取得鎖中の画像において実行される必要はなく、取得鎖においてスピードに最適化される赤目検出が実行された取得画像の背景において実行されるようにすることができる。これは、画像圧縮が主画像取得鎖４０１の一部であるハードウェアにおいてしばしば実行される多くの画像取得装置において有利である。当該実施形態においては、実質的に、検出処理のみが取得鎖において行われる。プレイバックモードにおいて、スピードに最適化される修正、または完全な画像に最適化される赤目フィルタのどちらかが、カメラ内の所定の設定、または画像プレイバック／表示のときのユーザの選択に基づき、その後に選択される。
【００４１】
図３Ａの実施形態においては、取得された未加工の画像４０２は、ＤＣＴ圧縮ブロック４０８−１に提供される前に、部分的に処理される（４０４）。当該ブロックは、不図示である取得画像のサブサンプルバージョンを提供し、これは上述の画像記憶部４１０に提供される。その後、スピードに最適化された赤目検出部４２８が部分的に圧縮されたＤＣＴブロック画像に適用され、修正された領域と、修正されていない疑わしい領域を含むＤＣＴ赤目候補領域が、記憶されるために記憶部４１０に出力される。ピクセルレベルではなくＤＣＴブロックレベルでスピードに最適化された修正を適用する利点は、ここで記載した従来技術におけるサブサンプルされた画像の詳細な赤目分析の適用の利点は残したままで明確な画像サブサンプリング段階の必要性を省略することができることにある。
【００４２】
ＤＣＴプレフィルタ４２８により出力されて主画像取得鎖４０１に組み込まれた領域は、画像が後に背景フィルタモジュール４２６のようなフィルタにより修正されるときに、有利には、ＤＣＴブロックストリームの多くが処理されることなく迂回することを可能とする。これにより、より迅速な分析、またはより詳細な分析のいずれか、および分析に最適化される赤目フィルタ４０６による処理を要求するために決定されるＤＣＴブロックのフィルタリングが可能となる。当業者は、主画像取得鎖４０１と背景赤目検出および修正処理４２６間からＤＣＴプレフィルタと他の慣用される形式の赤目フィルタ４０６の両方を分離させた態様のさらなる実施形態が可能であることが理解できる。
【００４３】
図３Ｂは、赤目ＤＣＴプレフィルタ４２８の作動を詳細に示す。この典型例は、ＤＣＴプレフィルタが、図３Ａの主画像取得４０２、処理４０４、および圧縮４０８の鎖とどのようにして一体化することができるかを説明する。フィルタされるＤＣＴ画像はまず、メモリ９０２にロードされ、主ＤＣＴプレフィルタ４２８が適用される。これには３つの段階が存在する。まず、画像のＤＣＴブロックがスキャンされ（９０４）、ＤＣＴ係数が抽出される。フィルタの精度に依存して、各ＤＣＴブロックのＤＣコンポーネントのみが後の分析で用いられる。あるいは、ＡＣコンポーネントのうちのいくつかは、プレフィルタ・オペレーションの一部として、ある種のテクスチャあるいはシャープネス／ぼけ（ｂｌｕｒ）の決定を可能とするために抽出される場合もある。
【００４４】
ＤＣＴプレフィルタ４２８の第２の主要段階において、段階９０４で抽出された係数から決定された複数の基準に基づき、ＤＣＴブロックは、分割されてグループ化される。最終的な赤目の候補のグループ分けを決定するために、領域に基づく分析が最終的に実行される（９０７）。次に、有効な候補のグループが存在するか否かが決定され（９０８）、存在しない場合は通常のＪＰＥＧ圧縮処理が再開される（４０８−２）。候補領域が決定された場合（９０８）、図３Ａの主赤目フィルタ処理４１１／４１２の一部として使用される場合がある様々な目の領域の特徴を含むのに十分に大きい、境界領域（ｂｏｕｎｄｉｎｇ ｒｅｇｉｏｎ）が各領域ごとに決定される（９１０）。その領域のフラッシュ目不具合の確実性が十分に高い場合、境界ボックス領域は、ビットマップフォーマットに復元（ｄｅｃｏｍｐｒｅｓｓｅｄ）され、また、スピードに最適化されるフィルタ鎖９１４が主画像のその領域を修正するために適用される（９１４）。ビットマップスペースにおける修正された領域は、次に８ｘ８ブロック境界の整数番号にマップされて再圧縮され（９１８）、その後ＤＣＴ領域上に上書きされる（９２０）。最終的に、通常のＪＰＥＧ圧縮が再開される（４０８−２）。上述したように、修正された領域の境界と疑わしい領域の境界のそれぞれは、後の分析に最適化された検出および修正における使用のために出力される。
【００４５】
図３Ｃは、図３Ｂの領域に基づく分析９０７をより詳細に示す。まず、ＤＣＴ係数が、一時的なメモリ記憶部中のＤＣＴ画像から読み取られる（９３０）。これらの係数は前処理され、一連の基準テーブルが生成される（９３２）。各テーブルは、分析される画像中のＮ×ＭＤＣＴブロックが存在する、大きさＮ×Ｍの数表である。例えば、あるそのようなテーブルは、フラッシュ目不具合に関連し、各ＤＣＴブロックの輝度（Ｙ）および赤クロミナンス（Ｃｒ）コンポーネントのためのＤＣ係数に由来した色範囲を強調するために、標準化された赤クロミナンス・コンポーネントを含む。他のテーブルは、隣接するＤＣＴブロックに由来する異なる値を含み、エッジ検出に使用される。一方、別のテーブルは、１セットの近隣のＤＣＴブロックから計算された分散値（ｖａｒｉａｎｃｅ ｖａｌｕｅ）を含んでいてもよい。当業者は、ＤＣＴプレフィルタの実装により、複数の付加的な基準がアルゴリズムに組み込まれて精度を高めることができることが理解できる。
【００４６】
各基準ごとに必要な計算の後、テーブルは完成され（９３２）、それらは一時的な記憶部にコピーされて（９３３）、プレフィルタアルゴリズムは、複数の基準テーブルごとにフィルタリングおよび分割段階を実行する（９０７）。この特有の段階は、以下の図３Ｄに詳細に表される。ここで、プレフィルタは、複数の基準テーブルの分割分析に基づく複数のＤＣＴブロックのセットを決定する。これらのグループは分類され、最終的なフラッシュ不具合候補領域を決定するために分析される必要がある。
【００４７】
当該領域に基づく分析９３６は、当業者に知られている多くの代替技術で構成される。特に、我々は、領域が、包括的、排他的、且つ低頻度の相互に排他的な組み合わせで組み合わされてもよいことを言及する（９３６−１）。領域に基づく分析の他の手段は、テンプレートマッチングを採用することができる（９３６−２）。例は、ＮａｋａｎｏによるＵＳ５，８０５，７２７で提供される。サブ領域は、画像内のＤＣＴブロックのＤＣ係数に基づく、粗テンプレートマッチング技術と高精度テンプレートマッチング技術の両方を使用してＤＣＴ画像内でマッチングされる。
【００４８】
領域に基づく分析の重要なコンポーネントは、事実上２つの明確な重なり領域であってもよい大きな領域、または事実上単一の大きな領域であってもよい小さな領域の集合を分析するために反応する再分割エンジン９２−６である。その後、領域に基づく分析９３６が完了した時点で、決定されたフラッシュ不具合候補領域のリストを含む最終的なＬＵＴが得られ、システムメモリに書き込まれる。
【００４９】
図３Ｄは、赤目ＤＣＴプレフィルタの分割段階９０７を詳細に示す。分割処理により処理される次の前処理された基準テーブルは、まずロードされ（９５０）、領域グループ分け処理のためのラベル化されたＬＵＴが初期化される（９５２）。次に、進行中のＤＣＴブロックおよびＤＣＴブロック隣接部が初期化される（９５４）。
【００５０】
図３Ｅは、濃いグレーで影付けされた進行中のＤＣＴブロック９９４の、薄いグレーで影付けされた３つの上部のＤＣＴブロックおよび左側のＤＣＴブロックを含んでいる、４つのＤＣＴブロック隣接部９９２の図式表示を示している。当該４つのブロック隣接部９９２は、当該典型的な実施形態のラベリングアルゴリズムにおいて使用される。ルックアップテーブル、ＬＵＴは、関連するラベルを保持するために定義される。
【００５１】
初期化が完了した後、段階９５４に戻り、図３Ｄのワークフローの次の段階では、左上から右下へのラスタースキャンにおける進行中の基準テーブルのすべての要素を介した再帰的な反復を開始する。ワークフローは次に、進行中のＤＣＴブロックと関連する進行中の基準テーブル値が赤目候補領域のメンバーシップ基準（ｍｅｍｂｅｒｓｈｉｐ ｃｒｉｔｅｒｉａ）を満足するか決定する（９５８）。本質的に、これは、進行中の基準テーブル値がフラッシュ目不具合と適合する特性を持っていることを示唆する。進行中の基準テーブル値がセグメントのメンバーシップ基準を満たす場合（９５８）、次にアルゴリズムは４つのブロック隣接部の他のメンバーシップＤＣＴブロックをチェックする（９６０）。他のメンバーシップブロックが存在しない場合、進行中のブロックには進行中のラベルのメンバーシップ（ｍｅｍｂｅｒｓｈｉｐ）が割り当てられる（９８０）。その後、ＬＵＴがアップロードされ（９８２）、進行中のラベル値はインクリメントされる（９８４）。４つのブロック隣接部に他のメンバーシップブロックが存在する場合（９６０）、進行中のブロックは、最も小さいラベル値でセグメント内のメンバーシップが与えられ（９６２）、それに応じてＬＵＴがアップデートされる（５１６）。ラベルがフラッシュ目不具合部分の一部として現在のブロックに付けられたか（９６２または９８０）、あるいは段階９５８にて不具合候補部分のメンバーでないとしてそのブロックが分類された後、それが画像９６６中の最後のＤＣＴブロックかどうか判断するためにテストが行なわれる。進行中のブロックが画像中の最後のブロックである場合、ＬＵＴの最終的なアップデートが行われる（９７０）。そうでなければ、次の基準テーブル値は進行中のブロック・ポインター９６８をインクリメントすることにより得られ、段階９５８に戻り、同じ方法で処理される。一旦最終的なＤＣＴブロックが処理され、最終的なＬＵＴが完成する場合（９７０）、セグメントのメンバーシップを有するブロックはすべて、潜在的な目不具合セグメントのラベル化されたセグメントのテーブルへソートされる（９７２）。その後、これが処理されるべき最後の基準テーブルであるか否か決定するために別のテストが行われ（９６６）、そうである場合、コントロールは、図３Ｃの領域に基づいた解析段階に渡される（９３６）。そうでなければ、ブロックセグメンターは段階９５０に戻り、処理用の次の基準テーブルをロードする。
【００５２】
多くの従来の方法が、赤目ＤＣＴプレフィルタ内の使用に有利に適応される場合がある。Ｄｅｌｐによる米国特許５，９４９，９０４号は、ＤＣＴブロック内の画像カラー選択を開示する。それは、特に、ＤＣＴ単独のＤＣ係数からのＤＣＴブロック内のカラーの決定を可能とする。したがって、ＤＣ係数のみについての情報から、カラーマッチングを達成することが可能である。Ｓａｚｚａｄらによる米国特許６，６２１，８６７号は、隣接するＤＣＴブロックにおけるＤＣ係数間の違いに基づく、ＤＣＴブロック内におけるエッジの存在の決定を開示する。
【００５３】
ここで、テクスチャおよび画像のエッジ／ぼけのような追加的な画像の質は、ＤＣＴブロック内の付加的なＡＣコンポーネントの分析を通じて決定することが可能である。そのような解析方法の例は、Ｆｅｎｇによる米国特許公開２００４／０１２０５９８およびＳｃｈｕｈｕｒｋｅらによる米国特許公開２００４／００５７６２３に記載されている。
【００５４】
他の実施形態においては代替的なＤＣＴブロック・分割技術が採用可能であり、具体的な技術としては、ＤｅＬｕｃａの米国特許６，４０７，７７７号、Ｓｔｅｉｎｂｅｒｇの米国特許６，８７３，７４３号、Ｌｕｏらの米国特許公開２００５／００４７６５５および２００５／００４７６５６に記載されたものが他の実施形態において有利に使用される。
【００５５】
図４においては、赤目領域のために、アウトラインカラーテンプレート（ｏｕｔｌｉｎｅ ｃｏｌｏｒ ｔｅｍｐｌａｔｅ）がどのようにして構築されるかを示す。図４Ａは、長方形のグリッド上にマップされた目の領域を示す。グリッド２０１のブロックは、それぞれ８ｘ８ピクセルブロックに相当する。主な赤目不具合２０４は、虹彩領域２０３、付加的な白目領域２０２、従来の赤目フィルタによって決定される主な赤目領域の境界２０６に典型的に囲まれる。
【００５６】
次に、図４Ｂでは、図４Ａの中の画像がＤＣＴ領域に転換された後の各ＤＣＴブロックのＤＣ係数によって記録されるおおよその色を示す。図４Ｂの中で示される色の組み合わせは以下のとおりである： Ｒはフラッシュ目不具合現象を示す赤みがかった色合いである； Ｓは皮膚色を示す色合いである； Ｗは白目領域に関連している白っぽい色を示す；Ｉは人間ごとに大きく変わる、目の虹彩の色である； ＷＳは、皮膚および白目色が混合されたブロックを示す；ＲＷは、赤目と白目が混合されたブロックである；ＲＩは、赤色および虹彩の色の混合である色合いである。ここで、十分に包括的なカラー・フィルタリングがこれらの画像ブロックに適用されるとき、ＤＣＴ領域画像のＤＣ係数から直接的に典型的な赤目のカラーマップを決定することが可能である。図４Ｃは、包括的なカラーフィルタが使用された場合に、赤色として決定される領域を示す。図４Ｄおよび図４Ｅは、フラッシュ目不具合領域を囲む白目と皮膚色の領域を示す。このデータは、例えば、フラッシュ目不具合領域について１セットのカラー・テンプレートを構築するために使用することが可能である。他の標準的な方法の適用によって、鋭いエッジを含んでいるＤＣＴブロック、あるいはカラー領域間の変わり目（ｔｒａｎｓｉｔｉｏｎｓ）を決定することが可能である。これは、ＤＣＴプレフィルタ検出処理を改善するための追加情報を提供することが可能である。
【００５７】
図３Ａの実施形態における潜在的な不利は、画像全体が第２段階の赤目フィルタ処理を行うために復元されることが必要であることである。ほとんどのカメラが非可逆のＪＰＥＧ圧縮を使用しているため、画像品質の損失のない画像取得使用内に２段階の赤目処理が適用されることを可能とする、損失がない実施形態が実装されることが好ましい。
【００５８】
従って、図５は、画像品質の損失を伴うことなくプレイバックモードにおいて分析に最適化される赤目検出および修正を生じさせることができる、修正された赤目フィルタ処理の機能的実装を示す。これはさらに、インクリメントの段階で実行される、複雑な後処理が可能である。したがって、カメラがユーザ・アクティビティに関して待機状態である場合であっても、ロードして画像処理を開始し得るように切り替えられる。ユーザ・アクティビティが再開される場合、カメラは使用者に応答する前に処理されている画像を再圧縮し保存することが可能である。下記に述べる実施形態がカメラ内の画像のロスがない記憶および復元を可能とするため、赤目だけでなく、顔検出あるいは認識のような同様の他のインカメラ方法に適用され得る画像のインクリメントの処理を促進する。
【００５９】
ユーザ・アクティビティを感知する様々な手段が当業者に知られている。１つの例である方法は、カメラ動作を検出することと、これをオートフォーカスのサブシステムおよびユーザ・インターフェース・サブシステムのような他のインカメラ機能と随意に関連付けることを含んでいる。多くのカメラは、あるサブシステムを無効にするほど長く使用されていないと決定する省電力モードを組み込んでいてもよい。そのようなモードが使用者が使用しないことによりアクティブとなる場合、使用者による装置の使用を干渉することなく付加的な背景画像処理が開始され得る。
【００６０】
図５に戻り、主画像取得鎖４０１中のスピードに最適化される赤目フィルタ４１１が組み入れられた実施形態を説明する。この典型的な実施形態では、フィルタのスピード最適化は、ファルシングおよび照合フィルタの最小のセットの実装により達成され、また、修正処理は主画像取得連鎖中に適用されない。他の実施形態では、上記の実施形態に関して記述されたスピード最適化方法は随意に組み入れられ、もしくは置き換えられることができる。
【００６１】
画像が当該速度に最適化された赤目フィルタ４１１によって分析された後、それは続いて圧縮され（４２７−１）、記憶される（４１０）。さらに、候補赤目領域の位置に関するデータおよびファルスポジティブに関するデータが記録され、記憶された画像と関連付けされる。
【００６２】
ここで、上に記述されるように、カメラが背景処理を開始し得るとき、あるいはユーザがプレイバックモードを入力し、それを見るために画像を選択するとき、ＪＰＥＧからＤＣＴブロック・形式に部分的に復元される（４３３）。この復元段階は可逆（ｌｏｓｓｌｅｓｓ）であるため、メモリに一時的に記憶され、ＤＣＴ領域復元部４３０に送られる主画像の品質の損失はない。当該ＤＣＴ領域復元部は、赤目候補領域を含んでいる特定のＤＣＴブロックを決定するために記憶され、原画像と関連付けされたデータを使用し、および随意に、十分な時間およびシステムリソースが利用可能な場合に付加的な検出処理が期待できるファルスポジティブ領域を使用する。
【００６３】
その後、前述のＤＣＴ画像ブロックに適用されるべき修正を決定するために、復元されたＤＣＴ領域はそれぞれ、１つ以上の赤目フィルタによって漸増的にフィルタされる。
【００６４】
ある実施形態では、ＤＣＴブロックはビットマップフォーマットに復元され、ピクセルブロックとしてフィルタされてもよい。他の実施形態では、隣接する非候補ＤＣＴブロックが復元処理（４３０）およびフィルタリング処理（４１２）に含まれている場合がある。複数のＤＣＴブロックを含む場合がある一度復元されたＤＣＴブロック領域は、赤目フィルタ４１２により修正され、修正されたＤＣＴ画像ブロックセグメントは付加的にＤＣＴブロックの調整のチェックが行われるＤＣＴブロックマッチングモジュールに送られて、部分的に復元され、一時的に記憶されたＤＣＴブロック画像内の修正されたＤＣＴブロックの統合についてもチェックされる。赤目フィルタ解析に含まれるすべての候補ＤＣＴブロックおよび隣接するＤＣＴブロックが修正された場合、それらはＤＣＴ領域上書きモジュール４１８により部分的に復元され、一時的に記憶されたＤＣＴブロック画像に上書きされる。次に、部分的に復元され、一時的に記憶されたＤＣＴブロック画像は、ＤＣＴからＪＰＥＧへの画像圧縮モジュール４２７−１へ送られ、ＪＰＥＧフォーマットに可逆圧縮される。
【００６５】
この場合において、非可逆的な方法を使用して復元される画像のただ１つの領域は画像取得鎖内のスピードに最適化される赤目フィルタ４１１により特定された部分であることを注記する。これらの画像領域は修正されるため、それらの非可逆復元および再圧縮の影響は無視でき得る。
【００６６】
幾つかの他の実施形態が特定され得る。これらは、（ｉ）ＤＣＴ画像の一時的コピー中の画像不具合を含むＤＣＴブロックを上書きする前にオリジナルの不具合領域のコピーを記憶することを含んでいる。当該他の実施形態は、オリジナル画像のロスがない復元をサポートする。不具合を含んでいる保存されたオリジナルのＤＣＴブロック領域は、ＪＰＥＧ画像のヘッダー内に記憶され得ることを、当業者は理解できる。Ｒａｔｎａｋａｒらによる米国特許６，２９８，１６６号において、透かしデータ（ｗａｔｅｒｍａｒｋ ｄａｔａ）が画像に組み入れられる。したがって、修正された画像は、幾つかのオリジナルの修正されていない領域のコピーを含むことが可能である。あるいは、（ｉｉ）多数の代替修正アルゴリズムを使用することが可能であり、これらは、カメラ上の、あるいは続く画像処理アプリケーションに基づくコンピュータにおける、ユーザインターフェースを介したエンドユーザによる後の選択のために、後のＪＰＥＧヘッダー中への記憶用に一時的にコピーされてもよい。上書き段階は随意的であることを注記する。それが使用される場合、ある画像処理基準が付加的な処理として上書きの直前に、あるいは赤目の検出、または修正、またはそれらの組み合わせの一体的な部分として適用され得る。
【００６７】
これらの実施形態のさらなる態様は図６Ａ−Ｃの中で説明される。図６Ａは、ヘッダー５０４に記憶されたオリジナルの不具合領域５０６、および主画像ボディ５０２に適用された修正された不具合領域５０８の例を示す。図６Ｂは、ヘッダー５０４に記憶された修正された不具合領域５０８、および主画像ボディ５０２において未修正のままであるオリジナルの不具合領域５０６の例を示す。図６Ｃは、オリジナルの不具合領域５０６の例と、ヘッダー５０４に記憶される少なくとも１つの代替的な修正された不具合領域５０８−２と、主画像ボディ５０２に適用された、随意に決定された修正された不具合領域５０８−１とを示す。図６で使用される“修正された”および“未修正”という図形表現は例証目的であることを注記する。；当業者は、図示した各目領域が、変換されたＤＣＴ係数のブロックを表わすことを理解できる。
【００６８】
他の実施形態では、速い赤目フィルタの性能は、取得画像内の限られた領域のセットに選択的にそれを適用することによりさらに改善され得る。主画像獲得鎖の間に広範囲な画像解析を実行することが一般に非実用的であるため、これらの領域は、主画像取得の開始に先立って決定されることが好ましい。
【００６９】
高確率で赤目候補を含む画像部分を予め決定する有用なある方法は、前処理をプレビュー画像のセットで行うことである。一般に、デジタルカメラは、画像ストリームのような取得を可能とするコンポーネントを含んでおり、例えば、主画像取得により提供されるそれより低い解像度で、１５−３０フレーム／秒（ｆｐｓ）のビデオ率で取得する。３２０ｘ２４０のセット、あるいはＱＶＧＡ画像は多くの消費者カメラに典型的である。また、このプレビュー画像ストリームのサイズおよびフレーム率は、通常、ある範囲内で調節することが可能である。
【００７０】
図７および図８に示したある実施形態においては、デジタルカメラはプレビュー画像ストリーム（４１０−３）上で作動する顔検出部（６００）を含んでいる。図７は顔検出部
６００を含んでいる一方で、図８は、複数のフレームに跨る検出された顔を追跡（tracking）する顔検出部および追跡部６００を説明する。図８はまた、顔検出部および追跡部６００とともに、画像センササブシステム６１０と、ディスプレイ６０５とを含む、プレビューストリーム取得サブシステム６２０を説明する。
【００７１】
顔検出および追跡は２つの主要モードを有してもよい：（ｉ）新たな顔候補領域を検出する（そして確認する）全画像探索モード（６０１）および（ｉｉ）画像ストリームのその後のフレームにおいて既存の顔候補の新たな位置を予測およびその後の確認をし、確認された候補領域ごとに関する統計的情報をコンパイルする主追跡モードである。両方のモードは、顔検出、皮膚領域分割、目領域や口領域を含む特徴検出、能動輪郭分析および声方向分析（例えば、多数の合図（ｃｕｅ）を使用する、多数の個人の自動検出およびトラッキングのためのシステムについて開示するＲｕｉらの米国特許公開２００５／０１４７２７８）のような、様々な新しいおよび／または従来の方法を使用することができる。第１のモード（以下“シーディングモード”と称す）が全画像に適用されるとき、コンピュータでより集中的に、また、例えば３０−６０画像フレームごとのように間隔を空けてのみ適用される。そのため、画像に出現する新たな顔は、ほとんどの消費者アプリケーションにとって十分である２、３秒以内に検出される。全ての分析の合図が全てのフレームに適用されるとは限らないが、第２のモードは全ての画像フレームに適用されることが好ましい。
【００７２】
したがって、通常動作では、プレビュー画像ストリームの全てのフレームについては顔追跡アルゴリズム（ｆａｃｅ ｔｒａｃｋｅｒ ａｌｇｏｒｉｓｍ）の第２の随意モードからの出力のみが利用可能である。当該第２のモードからの３つの主要な出力があってもよい。（ｉ） 顔を含むと確認された顔候補領域のリスト；および／または（ｉｉ）画像フレーム内の位置や前記確認された顔領域のヒストリーの統計的分析により決定された様々な付加的データを含む、確認された顔領域ごとに関連付けられたデータセット；および／または（ｉｉｉ）プレビュー画像ストリームの次のフレームにおける、確認された顔領域の予測される位置、である。項目（ｉｉ）が使用される場合、項目（ｉｉ）によって予測位置の決定のために十分なデータが提供される場合があるため、項目（ｉｉｉ）は随意的なものとすることができることを注記する。
【００７３】
赤目不具合が検出されることが予測される場合、スピードに最適化される赤目検出部４１１は、プレビュー顔検出部（６００）からのこれらの出力によって、顔領域（６０１）に選択的に適用することが可能である。
【００７４】
赤目フィルタの適用に先立って画像に顔検出部が最初に適用される方法が知られている（例えばＬｉｎらによる米国特許出願２００２０１７２４１９； Ｈｅｌｄらによる米国特許出願２００２０１２６８９３； Ｉｔａｇａｋｉらによる米国特許出願２００５０２３２４９０およびＬｕｏらによる米国特許出願２００４００３７４６０．これらは、参照により組み合わされる）。正常な状況の下では、主画像獲得鎖にデジタルカメラ内で赤目フィルタのアプリケーションに先立って顔検出部のアプリケーションを動作可能とするのに利用可能な十分な時間がない。本実施形態は、顔追跡モジュール（６００）の予測的な出力の使用により、先行技術のこの不利点を克服する。予測された領域のサイズは典型的には対応する顔領域のサイズより大きくなるが、それは全画像のサイズより著しく小さい。したがって、主画像取得鎖内で顔検出部（６００）を作動させる必要なく、デジタルカメラまたは内蔵された画像取得システム内でより早くより正確な検出という利点を達成することが可能である。
【００７５】
多数の顔候補領域（６０１）が追跡され、その後、多数の予測された領域にスピードに最適化された赤目フィルタが適用されることを注記する。
【００７６】
図７および図８について、主画像は、取得され、サブサンプルされ、そして図７における顔検出／追跡部６００により処理される前に、または、図８において記憶の前に適用されてもよい顔検出部／追跡部６００により処理される前に記憶されるようにしてもよく、場合によっては主画像取得と並行してもよい。プレビューストリームは、カメラディスプレイ６０５に送られるようにしてもよい。顔検出部６００は当該プレビューストリームにおいて作用するようにしてもよく、出てくる顔候補領域が図８の実施形態において取り出されるようにしてもよい。顔追跡部６００を用いる場合、顔の予測される位置はプレビュー画像から得られ、スピードに最適化される赤目フィルタが主取得画像（またはサブサンプルされたそのコピー）上にて作用することができる。
【００７７】
本発明の典型的な図面および特定の実施形態について記載し、説明したが、本発明の範囲が当該論じた特定の実施形態に限られないことは、理解される。したがって、実施形態は限定的であるというよりむしろ実例とみなされる。また、本発明の範囲を逸脱することのなく当業者によって実施形態の変更が行われてもよいことが理解される。
【００７８】
さらに、好ましい実施形態に従ってここで実行され、上に記述された方法では、実施は選択された印刷された順序に記述された。しかしながら、印刷の便宜のために順序は選択され、順序付けされており、特定の順序が明らかに示されたり当業者が特定の順序とすることが必要と考えル場合を除き、オペレーションを実行するための特定の順序を示唆するものではない。
【００７９】
加えて、背景、課題を解決するための手段、要約、および図面の簡単な説明とともにここに記載されたすべての文献、および米国特許6,407,777号, 7,315,631号および7,336,821号,および米国特許出願公開2005/0041121, 2005/0031224, 2005/0140801, 2006/0204110, 2006/0093212, 2006/0120599, 2007/0110305 and 2006/0140455, および国際出願PCT/EP2006/008358, および米国特許出願. 60/773,714, 60/804,546, 60/865,375, 60/865,622, 60/829,127, 60/829,127, 60/821,165, 60/892,882, 60/945,558, 60/915,669 10/772,767, 11/554,539, 11/464,083, 11/462,035, 11/282,954, 11/027,001, 10/842,244, 11/024,046, 11/233,513, 11/753,098, 11/753,397, 11/766,674, 11/769,206, 11/772,427 and 11/460,218は、すべて、参照により、開示する他の実施形態として、好ましい実施形態の詳細な説明に組み入れられる。
【特許請求の範囲】
【請求項１】
デジタル画像内の赤目不具合を検出する方法であって、
(a)赤目不具合を含む１つまたは複数の顔を含む画像を取得し、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、赤目候補領域の最初の分割を第１の段階において実行し、
(c)第１の赤目修正画像を生成するために、前記赤目領域の第１のセットを修正し、
(d)第１の段階において完全な分析（full analysis）が行われることなく修正のために除かれた、除去赤目候補領域の一部を記憶し、
(e)確認された赤目候補領域の第２のセットを決定するために、後の第２の段階において、前記除去赤目候補領域の一部を再分析し、
(f)前記確認された赤目候補領域の第２のセットを修正して、修正された前記第１の赤目領域のセットおよび前記第２の赤目領域のセットを有する第２の赤目修正画像を生成し、
(g)前記第２の赤目修正画像を、電気的に記憶し、伝達し、さらなる処理あるいはエッジングを行い、表示し、またはその組み合わせを行うことを備える方法。
【請求項２】
前記第１の段階において、１つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットを適用することをさらに備える請求項１に記載の方法。
【請求項３】
前記第２の段階において、前記確認された赤目候補領域の第１のセットを再分析することをさらに備える請求項１に記載の方法。
【請求項４】
前記最初の分割は、画像取得のときに適用され、前記第２の段階は、背景モード、プレイバックモード、またはその両方のときに起こる請求項１に記載の方法。
【請求項５】
前記第２の段階の前に、ユーザからの入力なしで、前記赤目が修正された第１の画像をリアルタイムでディスプレイのスクリーンに表示することをさらに備える請求項１に記載の方法。
【請求項６】
内蔵される画像取得および処理システムであって、
(a)画像取得サブシステムと、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、取得画像内にて検出された赤目候補領域の最初の分割を第１の段階において実行する、スピードに最適化されるフィルタと、
(c)第１の段階において完全な分析が行われることなく修正のために除かれた、除去赤目候補領域の一部を記憶するための記憶デバイスと、
(d)後の第２の段階において、修正のための、１つまたは複数の確認された赤目候補領域の第２のセットを決定する、分析に最適化されるフィルタと、
(e)前記取得画像内における、確認された前記第１の赤目領域のセットおよび前記第２の赤目領域のセットを含む赤目不具合を修正し、赤目修正画像を生成するプロセッサと、を備え、
(f)前記第２の赤目修正画像は、電気的に記憶され、伝達され、さらなる処理あるいはエッジングが行われ、表示され、またはその組み合わせが行われるシステム。
【請求項７】
前記スピードに最適化されるフィルタは、１つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットを適用する請求項６に記載のシステム。
【請求項８】
前記確認された赤目領域の第１のセットは、前記分析に最適化されるフィルタも通過する請求項６に記載のシステム。
【請求項９】
前記分析に最適化されるフィルタは、１つまたは複数の確認された赤目候補領域の第１のセットに適用のための改善された修正フィルタ（enhanced correction filter）を含む請求項８に記載のシステム。
【請求項１０】
前記スピードに最適化されるフィルタは、画像取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項６に記載のシステム。
【請求項１１】
前記後の第２の段階の前に、ユーザからの入力なしで、最初の赤目修正画像をリアルタイムでディスプレイのスクリーンに表示するための“RE lib”コンポーネントをさらに備える請求項６に記載のシステム。
【請求項１２】
デジタル画像内の目の不具合を検出する方法であって、
(a)赤目不具合および非赤である目不具合を含む、１つまたは複数の顔を含む画像を取得し、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、赤目候補領域の最初の分割を第１の段階において実行し、
(c)赤目が修正された第１の画像を生成するために、前記赤目領域の第１のセットを修正し、
(d)修正のための、１つまたは複数の確認された非赤である目不具合領域の第２のセットを決定するために、金目候補領域、白目候補領域、またはその両方の分割を後の第２の段階において実行し、
(e)赤目不具合および非赤である目不具合が修正された画像を生成するために、前記赤目が修正された第１の画像内の非赤である目不具合領域を修正し、
(f)前記第２の赤目修正画像を、電気的に記憶し、伝達し、さらなる処理あるいはエッジングを行い、表示し、またはその組み合わせを行うことを備える方法。
【請求項１３】
前記第１の段階において、スピードに最適化される１つまたは複数のフォルシング／照合フィルタを適用することをさらに備える請求項１２に記載の方法。
【請求項１４】
前記第２の段階において、前記確認された赤目候補領域の第１のセットを再分析することをさらに備える請求項１２に記載の方法。
【請求項１５】
前記最初の分割は、画像取得のときに適用され、前記第２の段階は、背景モード、プレイバックモード、またはその両方のときに起こる請求項１２に記載の方法。
【請求項１６】
前記後の第２の段階の前に、ユーザからの入力なしで、前記第１の赤目修正画像をリアルタイムでディスプレイのスクリーンに表示することをさらに備える請求項１２に記載の方法。
【請求項１７】
内蔵される画像取得および処理システムであって、
(a)画像取得サブシステムと、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、取得画像内にて検出された赤目候補領域の最初の分割を第１の段階において実行する、スピードに最適化されるフィルタと、
(c)修正のための、１つまたは複数の確認された非赤である目不具合領域の第２のセットを後の第２の段階において決定する、分析に最適化されるフィルタと、
(d)前記取得画像内の、確認された前記赤目領域の第１のセットおよび前記非赤である目領域の第２のセットを含む、赤目不具合領域および非赤である目不具合領域をそれぞれ修正して、赤目および非赤である目の修正画像を生成する１つまたは複数のプロセッサと、を備え、
(e)前記赤目および非赤である目の修正画像は、電気的に記憶され、伝達され、さらなる処理あるいはエッジングが行われ、表示され、またはその組み合わせが行われるシステム。
【請求項１８】
前記スピードに最適化されるフィルタは、１つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットを適用する請求項１７に記載のシステム。
【請求項１９】
前記確認された赤目領域の第１のセットは、前記分析に最適化されるフィルタも通過する請求項１７に記載のシステム。
【請求項２０】
前記分析に最適化されるフィルタは、１つまたは複数の確認された赤目候補領域の第１のセットに適用のための改善された修正フィルタを含む請求項１９に記載のシステム。
【請求項２１】
前記スピードに最適化されるフィルタは、画像の取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項１７に記載のシステム。
【請求項２２】
前記後の第２の段階の前に、ユーザからの入力なしで、最初の赤目修正画像をリアルタイムでディスプレイのスクリーンに表示するための“RE lib”コンポーネントをさらに備える請求項１７に記載のシステム。
【請求項２３】
デジタル画像を処理する方法であって、
(a)取得デジタル画像の顔候補領域を取得し、
(b)赤目候補領域の第１のセットを生成するために、スピードに最適化される第１のフィルタを用いて前記顔候補領域をフィルタリングし、
(c)前記取得デジタル画像の少なくとも一部をエンコードし、
(d) 前記エンコードされた画像の後の画像処理のために、前記取得デジタル画像の前記エンコードされる部分を、前記赤目候補領域の第１のセットと関連付けて記憶することを備える方法。
【請求項２４】
スピードに最適化される１つまたは複数のフォルシング／照合フィルタを適用することをさらに備える請求項２３に記載の方法。
【請求項２５】
前記赤目候補領域の第１のセットを、分析に最適化されるフィルタを通過させることをさらに備える請求項２３に記載の方法。
【請求項２６】
前記フィルタリングにより除かれた顔候補領域を、前記フィルタリング処理、前記エンコード処理、および前記記憶処理の後に、分析に最適化されるフィルタを通過させることをさらに備える請求項２３に記載の方法。
【請求項２７】
前記スピードに最適化されるフィルタは画像の取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項２６に記載の方法。
【請求項２８】
デジタル画像を処理するためのシステムであって、
(a)画像取得サブシステムと、
(b)取得デジタル画像の顔候補領域を取得するための顔検出部と、
(c)赤目候補領域の第１のセットを生成するために前記顔候補領域をフィルタリングするスピードに最適化されるフィルタと、
(d)前記取得デジタル画像の少なくとも一部をエンコードするプロセッサと、
(e) 前記エンコードされた画像の後の画像処理のために、前記取得デジタル画像の前記エンコードされる部分を、前記赤目候補領域の第１のセットと関連付けて記憶することを備えるシステム。
【請求項２９】
赤目候補領域の第２のセットを生成するために、除かれた顔候補領域を、最初に、少なくともフィルタリングする分析に最適化されるフィルタをさらに備える請求項２８に記載のシステム。
【請求項３０】
スピードに最適化されるフィルタリングの後に、赤目候補領域の、１つまたは複数の第１のセットを確認するための分析に最適化されるフィルタをさらに備える請求項２８に記載のシステム。
【請求項３１】
前記スピードに最適化されるフィルタは画像の取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項３０に記載のシステム。
【請求項１】
デジタル画像内の赤目不具合を検出する方法であって、
(a)赤目不具合を含む１つまたは複数の顔を含む画像を取得し、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、赤目候補領域の最初の分割を第１の段階において実行し、
(c)第１の赤目修正画像を生成するために、前記赤目領域の第１のセットを修正し、
(d)第１の段階において完全な分析（full analysis）が行われることなく修正のために除かれた、除去赤目候補領域の一部を記憶し、
(e)確認された赤目候補領域の第２のセットを決定するために、後の第２の段階において、前記除去赤目候補領域の一部を再分析し、
(f)前記確認された赤目候補領域の第２のセットを修正して、修正された前記第１の赤目領域のセットおよび前記第２の赤目領域のセットを有する第２の赤目修正画像を生成し、
(g)前記第２の赤目修正画像を、電気的に記憶し、伝達し、さらなる処理あるいはエッジングを行い、表示し、またはその組み合わせを行うことを備える方法。
【請求項２】
前記第１の段階において、１つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットを適用することをさらに備える請求項１に記載の方法。
【請求項３】
前記第２の段階において、前記確認された赤目候補領域の第１のセットを再分析することをさらに備える請求項１に記載の方法。
【請求項４】
前記最初の分割は、画像取得のときに適用され、前記第２の段階は、背景モード、プレイバックモード、またはその両方のときに起こる請求項１に記載の方法。
【請求項５】
前記第２の段階の前に、ユーザからの入力なしで、前記赤目が修正された第１の画像をリアルタイムでディスプレイのスクリーンに表示することをさらに備える請求項１に記載の方法。
【請求項６】
内蔵される画像取得および処理システムであって、
(a)画像取得サブシステムと、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、取得画像内にて検出された赤目候補領域の最初の分割を第１の段階において実行する、スピードに最適化されるフィルタと、
(c)第１の段階において完全な分析が行われることなく修正のために除かれた、除去赤目候補領域の一部を記憶するための記憶デバイスと、
(d)後の第２の段階において、修正のための、１つまたは複数の確認された赤目候補領域の第２のセットを決定する、分析に最適化されるフィルタと、
(e)前記取得画像内における、確認された前記第１の赤目領域のセットおよび前記第２の赤目領域のセットを含む赤目不具合を修正し、赤目修正画像を生成するプロセッサと、を備え、
(f)前記第２の赤目修正画像は、電気的に記憶され、伝達され、さらなる処理あるいはエッジングが行われ、表示され、またはその組み合わせが行われるシステム。
【請求項７】
前記スピードに最適化されるフィルタは、１つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットを適用する請求項６に記載のシステム。
【請求項８】
前記確認された赤目領域の第１のセットは、前記分析に最適化されるフィルタも通過する請求項６に記載のシステム。
【請求項９】
前記分析に最適化されるフィルタは、１つまたは複数の確認された赤目候補領域の第１のセットに適用のための改善された修正フィルタ（enhanced correction filter）を含む請求項８に記載のシステム。
【請求項１０】
前記スピードに最適化されるフィルタは、画像取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項６に記載のシステム。
【請求項１１】
前記後の第２の段階の前に、ユーザからの入力なしで、最初の赤目修正画像をリアルタイムでディスプレイのスクリーンに表示するための“RE lib”コンポーネントをさらに備える請求項６に記載のシステム。
【請求項１２】
デジタル画像内の目の不具合を検出する方法であって、
(a)赤目不具合および非赤である目不具合を含む、１つまたは複数の顔を含む画像を取得し、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、赤目候補領域の最初の分割を第１の段階において実行し、
(c)赤目が修正された第１の画像を生成するために、前記赤目領域の第１のセットを修正し、
(d)修正のための、１つまたは複数の確認された非赤である目不具合領域の第２のセットを決定するために、金目候補領域、白目候補領域、またはその両方の分割を後の第２の段階において実行し、
(e)赤目不具合および非赤である目不具合が修正された画像を生成するために、前記赤目が修正された第１の画像内の非赤である目不具合領域を修正し、
(f)前記第２の赤目修正画像を、電気的に記憶し、伝達し、さらなる処理あるいはエッジングを行い、表示し、またはその組み合わせを行うことを備える方法。
【請求項１３】
前記第１の段階において、スピードに最適化される１つまたは複数のフォルシング／照合フィルタを適用することをさらに備える請求項１２に記載の方法。
【請求項１４】
前記第２の段階において、前記確認された赤目候補領域の第１のセットを再分析することをさらに備える請求項１２に記載の方法。
【請求項１５】
前記最初の分割は、画像取得のときに適用され、前記第２の段階は、背景モード、プレイバックモード、またはその両方のときに起こる請求項１２に記載の方法。
【請求項１６】
前記後の第２の段階の前に、ユーザからの入力なしで、前記第１の赤目修正画像をリアルタイムでディスプレイのスクリーンに表示することをさらに備える請求項１２に記載の方法。
【請求項１７】
内蔵される画像取得および処理システムであって、
(a)画像取得サブシステムと、
(b)修正のための、１つまたは複数の確認された赤目領域の第１のセットを決定するために、取得画像内にて検出された赤目候補領域の最初の分割を第１の段階において実行する、スピードに最適化されるフィルタと、
(c)修正のための、１つまたは複数の確認された非赤である目不具合領域の第２のセットを後の第２の段階において決定する、分析に最適化されるフィルタと、
(d)前記取得画像内の、確認された前記赤目領域の第１のセットおよび前記非赤である目領域の第２のセットを含む、赤目不具合領域および非赤である目不具合領域をそれぞれ修正して、赤目および非赤である目の修正画像を生成する１つまたは複数のプロセッサと、を備え、
(e)前記赤目および非赤である目の修正画像は、電気的に記憶され、伝達され、さらなる処理あるいはエッジングが行われ、表示され、またはその組み合わせが行われるシステム。
【請求項１８】
前記スピードに最適化されるフィルタは、１つまたは複数のフォルシング／照合フィルタのスピードに最適化されるセットを適用する請求項１７に記載のシステム。
【請求項１９】
前記確認された赤目領域の第１のセットは、前記分析に最適化されるフィルタも通過する請求項１７に記載のシステム。
【請求項２０】
前記分析に最適化されるフィルタは、１つまたは複数の確認された赤目候補領域の第１のセットに適用のための改善された修正フィルタを含む請求項１９に記載のシステム。
【請求項２１】
前記スピードに最適化されるフィルタは、画像の取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項１７に記載のシステム。
【請求項２２】
前記後の第２の段階の前に、ユーザからの入力なしで、最初の赤目修正画像をリアルタイムでディスプレイのスクリーンに表示するための“RE lib”コンポーネントをさらに備える請求項１７に記載のシステム。
【請求項２３】
デジタル画像を処理する方法であって、
(a)取得デジタル画像の顔候補領域を取得し、
(b)赤目候補領域の第１のセットを生成するために、スピードに最適化される第１のフィルタを用いて前記顔候補領域をフィルタリングし、
(c)前記取得デジタル画像の少なくとも一部をエンコードし、
(d) 前記エンコードされた画像の後の画像処理のために、前記取得デジタル画像の前記エンコードされる部分を、前記赤目候補領域の第１のセットと関連付けて記憶することを備える方法。
【請求項２４】
スピードに最適化される１つまたは複数のフォルシング／照合フィルタを適用することをさらに備える請求項２３に記載の方法。
【請求項２５】
前記赤目候補領域の第１のセットを、分析に最適化されるフィルタを通過させることをさらに備える請求項２３に記載の方法。
【請求項２６】
前記フィルタリングにより除かれた顔候補領域を、前記フィルタリング処理、前記エンコード処理、および前記記憶処理の後に、分析に最適化されるフィルタを通過させることをさらに備える請求項２３に記載の方法。
【請求項２７】
前記スピードに最適化されるフィルタは画像の取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項２６に記載の方法。
【請求項２８】
デジタル画像を処理するためのシステムであって、
(a)画像取得サブシステムと、
(b)取得デジタル画像の顔候補領域を取得するための顔検出部と、
(c)赤目候補領域の第１のセットを生成するために前記顔候補領域をフィルタリングするスピードに最適化されるフィルタと、
(d)前記取得デジタル画像の少なくとも一部をエンコードするプロセッサと、
(e) 前記エンコードされた画像の後の画像処理のために、前記取得デジタル画像の前記エンコードされる部分を、前記赤目候補領域の第１のセットと関連付けて記憶することを備えるシステム。
【請求項２９】
赤目候補領域の第２のセットを生成するために、除かれた顔候補領域を、最初に、少なくともフィルタリングする分析に最適化されるフィルタをさらに備える請求項２８に記載のシステム。
【請求項３０】
スピードに最適化されるフィルタリングの後に、赤目候補領域の、１つまたは複数の第１のセットを確認するための分析に最適化されるフィルタをさらに備える請求項２８に記載のシステム。
【請求項３１】
前記スピードに最適化されるフィルタは画像の取得のときに適用され、前記分析に最適化されるフィルタは、背景モード、プレイバックモード、またはその両方のときに適用される請求項３０に記載のシステム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【公表番号】特表２０１０−５２０７２７（Ｐ２０１０−５２０７２７Ａ）
【公表日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００９−５５２８５０（Ｐ２００９−５５２８５０）
【出願日】平成２０年３月５日（２００８．３．５）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０５５８６４
【国際公開番号】ＷＯ２００８／１０９６４４
【国際公開日】平成２０年９月１２日（２００８．９．１２）
【出願人】（５０６０３９８６３）フォトネーション ビジョン リミテッド (15)
【氏名又は名称原語表記】ＦＯＴＯＮＡＴＩＯＮ ＶＩＳＩＯＮ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】Ｇａｌｗａｙ Ｂｕｓｉｎｅｓｓ Ｐａｒｋ， Ｄａｎｇａｎ， Ｇａｌｗａｙ （ＩＥ）．
【Ｆターム（参考）】
【公表日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年３月５日（２００８．３．５）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０５５８６４
【国際公開番号】ＷＯ２００８／１０９６４４
【国際公開日】平成２０年９月１２日（２００８．９．１２）
【出願人】（５０６０３９８６３）フォトネーション ビジョン リミテッド (15)
【氏名又は名称原語表記】ＦＯＴＯＮＡＴＩＯＮ ＶＩＳＩＯＮ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】Ｇａｌｗａｙ Ｂｕｓｉｎｅｓｓ Ｐａｒｋ， Ｄａｎｇａｎ， Ｇａｌｗａｙ （ＩＥ）．
【Ｆターム（参考）】
[ Back to top ]