露光を制御するためのシステム、方法、および装置
【課題】人間の顔のように、興味のある主要な対象が、適切に露光される画像を得る。
【解決手段】画像の画素が色にしたがって分類される画像処理方法を含む。露光制御動作は、この画素分類に従って実行される。一例において、画素は、色空間の予め定めた区分にしたがって、予測されたセンサ応答に基づいて分類される。別の例において、画素は、少なくとも２つの色から選択された色にしたがって分類される。
【解決手段】画像の画素が色にしたがって分類される画像処理方法を含む。露光制御動作は、この画素分類に従って実行される。一例において、画素は、色空間の予め定めた区分にしたがって、予測されたセンサ応答に基づいて分類される。別の例において、画素は、少なくとも２つの色から選択された色にしたがって分類される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関する。
【背景技術】
【０００２】
カメラまたはその他のイメージング装置または画像処理装置にとって、幾つかの種類の露光制御動作を実行することが普通である。画像キャプチャ中、例えば、シーン内で明瞭に輝く範囲が、装置内のイメージ・センサ（例えば、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補性金属酸化膜半導体））または感光性物質（例えば、写真フィルムまたは紙）のダイナミック・レンジに一致するように露光制御動作が実行される。そのような動作は、装置のシャッター速度および／またはレンズ・アパチャ停止を変えることを含む。
【０００３】
幾つかの異なる測光モードに従った露光制御動作が知られている。そのような１つのモードは、フレーム平均露光制御である。ここでは、シーンまたは画像の平均輝度レベルに従って露光制御される。もう１つの露光制御の測光モードは、中心重み付け露光制御である。ここでは、露光制御が、シーンまたは画像の中心領域の輝度レベルに従って重み付けられる。
【０００４】
撮影されているシーンが１または複数の人を含む場合、あるいは処理されている画像が、１または複数の人々の肖像写真またはその他の描写である場合、既存の露光制御方法は、次善の結果をもたらす。例えば、フレーム平均スキームは、人が強調される場合には明るすぎ、人がバックライト照明される場合には暗すぎるように人の画像を生成する。
【０００５】
写真は、興味のある主要な対象（例えば、人の顔）が、中心を外して位置している場合に、より美しく気持ち良く現れるかもしれない。そのような対象の１つの好適な配置は、垂直寸法および／または水平寸法に沿った何れかの端から離れ、寸法内の画像のサイズの約６１．８％からなる距離における黄金比（Golden Ratio）に従う。このように構成されるシーンまたは画像と共に使用される場合、中心重み露光制御スキームは、興味のある主要な対象が、不適切に露光されるという結果をもたらす。
【０００６】
例えば人間の顔のように、興味のある主要な対象が、適切に露光される画像を得ることが望ましい。
【発明の概要】
【０００７】
１つの実施形態に従う画像処理方法は、色空間の予め定めた区分に従って、画像の複数の画素の各々を分類することを含む。この方法はまた、複数の画像の各々を分類した結果に基づいて、露光制御動作を実行することを含む。画像は、センサによってキャプチャされた生の画像に基づいており、色空間の予め定めた区分は、センサの予測された複数の応答に基づく。
【０００８】
別の実施形態による露光制御装置は、生の画像をキャプチャするように構成されたセンサと、色空間の予め定めた区分に従って、生の画像に基づいて画像の画素を分類するように構成された画素クラシファイヤとを含む。この装置はまた、画素分類に基づいて、露光制御動作を実行するように構成された露光コントローラを含む。色空間の予め定めた区分は、センサの複数の予測された応答に基づく。
【０００９】
他の実施形態に従った画像処理方法は、少なくとも２つの異なる色から色を選択することと、この選択された色に従って、画像の複数の画素の各々を分類することとを含む。この方法はまた、複数の画素の各々を分類した結果に基づいて、露光制御係数を計算することと、露光制御係数に従って、画像の複数の画素の各々の輝度値を変えることとを含む。
【００１０】
別の実施形態にしたがった露光制御装置は、少なくとも２つの異なる色から選択された色に従って、画像の画素を分類するように構成された画素クラシファイヤを含む。この装置はまた、画素分類に基づいて露光制御係数を計算し、露光制御係数に従って、画像の複数の画素の各々の輝度値を変えるように構成された露光コントローラを含む。
【図面の簡単な説明】
【００１１】
【図１ａ】図１ａは、実施形態に従った方法Ｎ１００のフローチャートである。
【図１ｂ】図１ｂは、方法Ｎ１００の実施Ｎ２００のフローチャートである。
【図２】図２は、ガンマ補正の対数関数と、ガンマ補正の検出力関数（power function）とのプロットを示す。
【図３ａ】図３ａは、露光制御タスクＵ２２４の実施Ｕ３２０のフローチャートを示す。
【図３ｂ】図３ｂは、露光制御タスクＵ３２０の実施Ｕ３３０のフローチャートを示す。
【図４ａ】図４ａは、方法Ｎ１００の実施に従ったシーケンスの一例を示す。
【図４ｂ】図４ｂは、方法Ｎ１００の実施に従ったシーケンスの一例を示す。
【図５ａ】図５ａは、実施形態に従った方法Ｎ３００のフローチャートである。
【図５ｂ】図５ｂは、方法Ｎ３００の実施Ｎ４００のフローチャートである。
【図６ａ】図６ａは、方法Ｎ１００の実施Ｎ５００のフローチャートである。
【図６ｂ】図６ｂは、方法Ｎ３００の実施Ｎ６００のフローチャートである。
【図７ａ】図７ａは、平均化フィルタを実現するために使用されうる畳込み演算マスクの幾つかの形状を示す。
【図７ｂ】図７ｂは、ノイズ低減タスクＵ１１７の実施Ｕ２１７のフローチャートを示す。
【図８】図８は、ノイズ低減タスクＵ２１７の実施Ｕ３１７のフローチャートを示す。
【図９】図９は、実施形態に従った装置３００のブロック図を示す。
【図１０ａ】図１０ａは、実施形態に従った装置４００のブロック図を示す。
【図１０ｂ】図１０ｂは、装置４００の実施４１０のブロック図を示す。
【図１１ａ】図１１ａは、装置４００の実施４２０のブロック図を示す。
【図１１ｂ】図１１ｂは、装置４００の実施４３０のブロック図を示す。
【発明を実施するための形態】
【００１２】
実施形態は、予測されたセンサ応答に基づいて露光制御動作を実行するように構成された装置、方法、およびシステムを含む。実施形態は更に、選択された色に基づいて露光制御動作を実行するように構成された装置、方法、およびシステムを含む。
【００１３】
本明細書で記述された実施形態の応用は、適応性のある露光補正、および皮膚色を優先した適応性のある露光制御を含んでいる。例えば、少なくとも幾つかの実施形態は、利用可能な範囲の中心の輝度レベルを用いて、画像のうちの最も重要な領域の再生を可能にするために適用される。
【００１４】
本明細書で開示された原理は、２００５年８月１８日に出願され、その出願の開示全体が、あたかも本明細書で明確に再現されたかのように参照によって本明細書に組み込まれている、"SYSTEMS, METHODS, AND APPARATUS FOR IMAGE PROCESSING, FOR COLOR CLASSIFICATION, AND FOR SKIN COLOR DETECTION"と題され、本願とともに譲渡された同時係属中の米国特許出願１１／２０８、２６１号に開示された動作、要素、および構成と連携して用いられうることが明らかに考慮される。
【００１５】
図１ａは、実施形態に従った露光制御方法Ｎ１００のフローチャートを示す。タスクＵ１１０は、色空間の予め定めた区分に従って、画像ｉ１５０（図４ａ）の画素を分類する。タスクＵ１２０は、画素分類に基づいて露光制御動作を行なう。
【００１６】
図４ａの画像ｉ１５０は、例えばＣＣＤアレイまたはＣＭＯＳアレイのような画像センサによってキャプチャされた生の画像ｉ１１０に基づく。画像ｉ１５０は、例えば、デモザイク、ホワイト・バランス、ブラック・クランピング、ガンマ補正、色補正、および／または色変換のような処理動作を実行することによって生の画像ｉ１１０から取得されうる。そのような動作の例、それらを含む構成、およびそれらを実行するように構成された装置は、米国特許出願１１／２０８，２６１号に記載されている。幾つかの場合、１または複数のそのような動作は、画像センサ内で実行されうる。
【００１７】
少なくとも幾つかの処理動作は、（Ａ）画像の区分化によって記述されるブロックまたはゾーンにわたったパラメータの平均値を計算することと、（Ｂ）これら平均値の１または複数に基づいて、画像に適用されるグローバル値を計算することとを含む。例えば、生の画像ｉ１１０を画像ｉ１５０へ処理することは、オートフォーカス、露光制御、および／またはホワイト・バランス動作を実行することを含み、それらのうちの１または複数は、画像の区分化に従って実行されうる。
【００１８】
生の画像ｉ１１０を処理することは、その画素が次のタスクにおいて高い信頼性で分類される画像ｉ１５０を得るために重要でありうる。例えば、画像ｉ１５０を得るために、予備的な露光制御動作を実行することが望ましいかあるいは必要とされうる。この露光制御動作は、フレーム平均化または中心重み付けがなされ、画像の各画素（のＲＧＢ（赤、緑、青）値の各色値、あるいは、ＹＣｂＣｒ（lumaおよびchroma）値の輝度値）に適用されるゲイン係数を計算することによって実施される。
【００１９】
幾つかの構成では、露光制御動作は、上述したような画像の区分化に従って、ゲイン係数を計算することを含む。そのような場合、動作は、画像の特定領域（例えば、中心）、または画像における各ブロックの平均輝度値を計算することと、これら平均値のうちの１または複数に基づいて（例えば、これら平均値の平均値に基づいて）ゲイン係数を計算することとを含みうる。ゲイン係数は、ガンマ補正演算を実行する前に計算されうる。この場合、ゲイン係数は、画像または選択された領域にわたって、２５６レベルのうちの約５０レベル（またはその等価物）まで平均輝度レベルをスケールするように選択されうる。あるいは、ゲイン係数は、ガンマ補正演算を実行した後に計算される。この場合、ゲイン係数は、画像または選択された領域にわたって、２５６レベルのうちの約１１０レベル（またはその等価物）まで平均輝度レベルをスケールするように選択される。
【００２０】
処理動作はまた、例えば、２００５年１１月８日に出願され、"SKIN COLOR PRIORITIZED AUTOMATIC FOCUS CONTROL VIA SENSOR-DEPENDENT SKIN COLOR"と題され、譲渡された米国仮出願６０／７３４，９９２号に記述されたような焦点制御動作をも含む。幾つかの場合、露光制御動作および／または焦点制御動作の結果に従って、カメラまたはその他の画像装置を再構成し、新たな構成に従って生の画像ｉ１１０を再キャプチャすることが望ましい。
【００２１】
本明細書に組み込まれた米国特許出願１１／２０８，２６１に開示したように、画像ｉ１５０を得るために生の画像ｉ１１０を処理することは、ガンマ補正演算を行なうことを含みうる。そのような動作は、例えば、ＲＧＢ画素値の各成分を補正することによって、主要な色空間の画素色値を補正するように構成されうる。あるいは、そのような動作は、例えばＹＣｂＣｒ画素値の輝度成分を補正することによって、輝度クロミナンス色空間内の画素色値を補正するように構成されうる。
【００２２】
ガンマ補正演算は、一般に、入力値の検出力関数（power function）に基づく。一例では、出力値ｙは、式ｙ＝ｍｘ１／ｇに従って、対応する入力値ｘから計算される。この例において、ｇはガンマ補正係数（１つの典型的な値は２．２である）を示し、ｍは、所望の出力範囲に従って選択されるマッピング定数を示す。
【００２３】
従来の検出力関数の代わりに、実施形態は、対数関数に従ってガンマ補正演算を実行するように構成されうる。そのような関数を含む式の一例はｙ＝ｍｌｏｇｘである。ここでｍは、所望の出力範囲に従って選択されるマッピング定数を示す。特に、基底数２の対数を用いるそのような関数は、一般に、検出力関数よりも少ない計算費用で計算することが可能である。図２は、関数の各タイプのプロット例を示す。ここで、対数関数はｙ＝３２ｌｏｇ２ｘであり、検出力関数はｙ＝２５５０．５５ｘ０．４５である。幾つかの場合において、ガンマ補正演算の計算の複雑さ、および／または、プロセッサ・サイクル、および／または、そのような演算によって使用される記憶空間は、例えば区分線形実施のような１または複数の線形関数または多項式関数を用いて、ガンマ補正関数の全てまたは一部を近似することによって低減されうる。
【００２４】
本明細書に組み込まれている米国特許出願１１／２０８，２６１で開示されているように、画像を１つの色空間から別の色空間へと変換することは望ましい。例えば、処理、符合化、および／または圧縮のために、画像を、センサの元々の色空間（例えばＲＧＢまたはｓＲＧＢ）から、例えばＹＣｂＣｒのような色空間に変換することが望ましいかもしれない。そのような変換を実行するために、以下の式に示すような変換行列が適用されうる。
【数１】
【００２５】
主要な色空間（例えば、ＲＧＢ、ｓＲＧＢ）と、輝度クロミナンス空間（例えばＹＣｂＣｒ、ＹＰｂＰｒ）との間の変換のための幾つかの類似の周知の行列（例えば、ＩＴＵ−Ｒ ＢＴ．６０１、ＩＴＵ−Ｒ ＢＴ．７０９）のうちの何れか、またはそのような行列の等価物もまた使用されうる。
【００２６】
更なる例では、以下の式に示すように、単純化された変換行列が使用されうる。
【数２】
【００２７】
この行列の潜在的な１つの長所は、実施形態に従った方法の幾つかの固定小数点実施のために、係数１／２と１／４とが１ビットおよび２ビットの右シフトとして実施されるので、いかなる乗算を行うこともなく適用できることである。
【００２８】
以下の式は、シフトを用いて実行される別の色空間変換を表す。
【数３】
【００２９】
別の例では、上記２つの簡略化された変換のうちの何れかが、以下の式に従ってＹを計算するために修正される。
【数４】
【００３０】
タスクＵ１１０は、色空間の予め定めた区分にしたがって、画像ｉ１５０の画素を分類する。区分は、所望の色範囲（例えば、人間の皮膚色）を示す１つの範囲によって記述されうる。この場合、タスクＵ１１０は、各画素を、その色値が範囲の内側にあるか外側にあるかにしたがって、「一致」クラスおよび「不一致」クラスのうちの１つに割り当てる。もしあるのであれば、範囲上に色値を持っている画素は、設計選択によって１つのクラスあるいは他のクラスに割り当てられる。
【００３１】
あるいは、区分領域が多くの範囲によって記述されうる。特に、タスクＵ１１０は、組み込まれている米国特許出願１１／２０８，２６１に記載されているように、輝度レベルの異なる範囲内の単一の区分領域を記述するために、ＣｂＣｒ平面内の異なる区分領域（省略）を使用することができる。そのような場合、タスクＵ１１０は、各画素を、そのＣｂＣｒ値が適切な範囲の内部にあるか外部にあるかにしたがって、一致クラスまたは不一致クラスのうちの１つに割り当てる。
【００３２】
典型的な実施では、タスクＵ１１０（図１ａ）は、各画素の分類結果を示すマップｉ１６０（図４ａ）を生成するように構成される。画素分類マップｉ１６０は、画像ｉ１５０の対応する画素の色値が所望の区分領域内にあるかを示す（言い換えれば、画素が割り当てられたクラスを示す）２進数値を、このマップの各要素が有することができるように、２進数でありうる。
【００３３】
あるいは、タスクＵ１１０は、その要素が非２進数値を有する画素分類マップを生成するように実現されうる。そのようなマップの一例では、各要素が、画像ｉ１５０の対応する画素の色値と、対応する区分化基準との間の一致の程度を示す。この一致の程度は、画素の色値と、所望の色値あるいは範囲との間の距離に基づきうる。例えば、この距離は、一致の程度を計算するために、あるいは、一致の程度をテーブルから検索するために使用されうる。
【００３４】
あるいは、一致の程度は、同心状領域を示し、対応する画素値が中にある、２またはそれ以上の区分化範囲のうちの何れかによって示される。そのような場合、タスクＵ１１０は、各画素を、２より多いクラスのうちの１つへ割り当てる。ここで、各クラスは、別の区分領域および対応する一致の程度に対応している。
【００３５】
画像ｉ１５０よりも少ない要素を有する画素分類マップを生成するようにタスクＵ１１０を構成することが望ましい場合がある。タスクＵ１１０は、画像ｉ１５０のうちの１つよりも多くの画素に対応する領域の色値を分類することによって、そのようなマップを生成するように構成されうる。これらの領域は、重複しているかもしれないし、していないかもしれない。一例では、タスクＵ１１０は、３×３画素からなる重複していない領域の平均色値を分類するように構成される。この場合、結果として得られる画素分類マップは、画像ｉ１５０の約１／９の要素しか有さない。別の例では、５×５画素からなる重複していない領域が使用される。
【００３６】
画像ｉ１５０よりも少数の要素しか有さない画素分類マップを生成するように構成された別の構成では、画像ｉ１５０を得るための生の画像ｉ１１０の処理は、画素分類タスクＵ１１０がより小さな画像について実行できるように、画像をより小さなサイズにスケールすることを含む。そのような場合、処理目的のみのために、縮小されたサイズの画像を使用すること、および、結果として得られる露光制御動作を、オリジナル・サイズの画像について実行することとが望まれうる。
【００３７】
タスクＵ１１０が、生の画像ｉ１１０をキャプチャするために使用される画像センサの１または複数の特性に基づく区分化にしたがって画素分類を実行することが望まれうる。センサ特性は、組み込まれた米国特許出願１１／２０８，２６１に記載されている。米国特許出願１１／２０８，２６１はまた、予測されたセンサ応答の１または複数のセットに基づいて区分を取得し、それを人間の皮膚の色に適用するように構成されたシステム、方法、および装置を開示している。
【００３８】
１より多い代替例の中からタスクＵ１１０に適用される区分化を選択することが望まれうる。例えば、タスクＵ１１０は、生の画像ｉ１１０に示されるシーンの光源にしたがって、幾つかの異なる区分から１つを選択するように構成されうる。組み込まれている米国特許出願１１／２０８，２６１号は、シーンの光源を識別するための技術を開示している。
【００３９】
タスクＵ１２０は、画素分類マップに基づいて、露光制御動作を実行する。この露光制御動作は、１または複数の露光制御係数を計算し、画像のキャプチャ中、および／または、キャプチャされた画像の処理中にこれらを適用することによって、実施されうる。タスクＵ１２０は、画像ｉ１５０、次の画像、および／または、１より多い次の画像（例えば、ビデオ・ストリーム）について露光制御動作を実行するように構成されうる。
【００４０】
一例において、タスクＵ１２０は、画像のキャプチャ中に使用される露光制御係数を選択、算出、あるいは計算して、例えば、シャッター速度および／または画像センサ（例えば、ＣＣＤまたはＣＭＯＳアレイ）の感度、レンズ・ダイアフラムのアパチャ停止または絞り、および／またはＡＧＣ（自動ゲイン制御）回路のゲインのような装置の局面を制御する。あるいは、またはそれに加えて、露光制御動作は、装置のストロボまたはＬＥＤ（発光ダイオード）のフラッシュ照明動作を制御することを含むことができる。また、フラッシュ照明動作は、例えば焦点制御動作中に取得された距離情報に基づきうる。
【００４１】
別の例では、タスクＵ１２０は、画像処理中に使用され、例えば、画像全体の輝度レベルを変えるために適用されるゲイン係数のような露光制御係数を選択、算出、あるいは計算する。そのような動作は、画像の特定の部分（例えば、人間の皮膚の色、または選択された別の色）を良く見えるようにするため、および／または、画像内の輝度レベルの範囲を、所望のダイナミック・レンジ（例えば、ディスプレイのダイナミック・レンジ）に一致させるために実行されうる。この種の露光制御動作は、画像の色チャネルまたは輝度チャネルに適用されるゲイン係数を変えることを含む。
【００４２】
タスクＵ１２０は、画像の区分化にしたがって露光制御係数を計算するように構成されうる。図１ｂは、露光制御タスクＵ１２０のそのような実施Ｕ２２０を含む方法Ｎ１００の実施Ｎ２００のフローチャートを示す。タスクＵ２２０は、画素分類マップに基づいて画像ｉ１５０のブロックを分類するタスクＵ２２２と、このブロック分類に基づいて露光制御動作を実行するタスクＵ２２４とを含む。
【００４３】
タスクＵ２２２は、区分化によって記述される画像ｉ１５０のブロックを分類する。一般的な例では、区分化は、重複しない８×８アレイ、または１６×１６アレイのブロックを記述するグリッドに従って画像ｉ１５０を区分する。各ブロックは、約１００×１００画素のサイズを有する。しかしながら、他のグリッドあるいはブロック・サイズが使用されてもよい。各ブロックは同じサイズを有する必要は無く、重複ブロックを含む区分化も可能である。生のキャプチャ画像から画像ｉ１５０を取得するために区分化が使用される場合、タスクＵ２２２は、同じ区分化を用いるように構成されうる。
【００４４】
タスクＵ２２２は、画素分類マップの対応する領域で示されたクラス・メンバシップにしたがって各ブロックを分類する。各画素が、一致クラスまたは不一致クラスの何れかに割り当てられる典型的な場合、タスクＵ２２２は、一致クラスに割り当てられた画素の数（または割合）を決定し、かつ、その値をしきい値と比較することによって、各ブロックを分類するように構成される。その値がしきい値を越えるブロックは、２つのクラスのうちの１つ（「支配的な」クラス）に割り当てられ、その値がしきい値未満であるブロックは、その他のクラス（「非支配的な」クラス）に割り当てられる。もしあれば、その値がしきい値に等しいブロックが、設計選択にしたがって支配的または非支配的として分類される。その他任意の適切な値を使用することが可能であるが、しきい値の一般的な値は、半分（例えば、ブロック内の画素の合計数の半分）であり、ブロックは、半分未満のしきい値が使用される場合でさえ、支配的であるとして分類されることもできる。
【００４５】
他の実施では、ブロックが、比較的支配的な２より多いクラスのうちの１つに割り当てられるように、１より大きいしきい値が使用されうる。画素が、２より多い区分クラスのうちの１つに割り当てられる場合、タスクＵ２２２は、これらクラスのうちの２またはそれ以上のうちの何れかに属するブロックの画素の数（または割合）の重み付けられた結合として一致度合いを計算し、単数または複数のしきい値をこの度合いと比較するように構成されうる。
【００４６】
タスクＵ２２４は、ブロック分類に基づいて、露光制御係数を計算する。一般的な例では、タスクＵ２２４は、例えば支配的なブロックの平均輝度値のような支配的なブロックの１または複数の特性に基づいて露光制御係数を計算するように構成される。他の実施では、タスクＵ２２４は、非支配的なブロックの１または複数の特性にも基づいて露光制御係数を計算するように構成される。
【００４７】
図３ａは、タスクＵ３２２、Ｕ３２４、およびＵ３２６を含むタスクＵ２２４の実施Ｕ３２０のフローチャートを示す。タスクＵ３２２は、支配的なブロック各々の平均輝度値を計算する。この平均は一般に、ブロック内の画素の平均（例えば、中間またはメジアン）Ｙ値として計算されるが、ＲＧＢ画素値からも計算されうる。他の実施では、タスクＵ３２２は、１または複数の非支配的ブロックの平均輝度値をも計算するように構成される。そのような場合、タスクＵ３２２は、画像の特定領域（例えば、中心）および／または特定の非支配的クラスにおける各非支配的ブロックの平均輝度値を計算するように構成される。あるいは、タスクＵ３２２は、画像内の各ブロックの平均輝度値を計算するように構成されうる。
【００４８】
支配的なブロックの平均輝度値に基づいて、タスクＵ３２４は、全体的な平均輝度値を計算する。一般的な例では、タスクＵ３２４は、支配的なブロックの平均輝度値の平均（例えば、中間またはメジアン）として、全体的な平均輝度値を計算するように構成される。
【００４９】
他の実施では、タスクＵ３２４は、非支配的なブロックの平均輝度値に基づいて、全体的な平均輝度値を計算するように構成される。例えば、タスクＵ３２４は、以下の２つの式のうちの１つに従って全体的な平均輝度値を計算するように構成される。
【数５】
【００５０】
ここで、ａｖｇｏｖｅｒａｌｌは、全体的な平均輝度値を示し、ａｖｇＤは、支配的なブロックの平均輝度値の平均を示し、ａｖｇＮは、計算において参照されている非支配的なブロックの全ての平均輝度値の平均を示し、ａｖｇＴは、計算において参照されているブロックの全ての平均輝度値の平均を示し、ｗ１、ｗ２はそれぞれ重み係数を示す。幾つかの実施では、ｗ１とｗ２との比は、装置のユーザによって調節可能である。
【００５１】
各ブロックが２より多いクラスのうちの１つに割り当てられる実施の場合、タスクＵ３２４は、例えば以下のような式に従って全体的な平均輝度値を計算するように構成される。
【数６】
【００５２】
ここでａｖｇｉは、計算において参照されているクラスｉのブロックの平均輝度値の平均を示し、ｗｉは、クラスｉの重み係数を示す。一般に、より大きな重み係数は、より高い一致度を持つクラスに使用される。
【００５３】
全体的な平均輝度値と、所望される目標輝度値との関係に基づいて、Ｕ３２６は、露光制御係数を計算する。例えば、タスクＵ３２６は、全体的な平均輝度値に対する目標輝度値の比として、露光制御係数を計算するように構成される。目標輝度値の一般例は、２５６レベルのうちの５０、５５、および６０（あるいはそれらと等価な）レベルを含む。
【００５４】
図３ｂは、タスクＵ３２０の実施Ｕ３３０を示すフローチャートを示す。これは、露光制御係数を適用するように構成されたタスクＵ３２８を含む。一例において、タスクＵ３２８は、画像ｉ１５０の各画素の輝度値に、露光制御係数を乗じるように構成される。別の例において、タスクＵ３２８は、画像キャプチャ動作中に、例えば、アパチャ、シャッター速度、センサ感度、および／または、フラッシュ強度のようなパラメータを制御するために露光制御係数を適用するように構成される。
【００５５】
図４ａおよび図４ｂは、方法Ｎ１００の実施に従ったシーケンスの１つの例を示す。生の画像ｉ１１０が、画像センサによってキャプチャされる。本明細書で記述されるような処理動作は、生の画像ｉ１１０から画像ｉ１５０を取得するために実行される。例えばタスクＵ１１０のような画像分類動作が、画素分類マップｉ１６０を生成するために画像ｉ１５０について実行される。この例では、対象の露出された顔および上げられた手に対応する画素が、一致クラスに割り当てられる。画素分類マップｉ１６０および画像ｉ１５０の区分化に従って、例えばタスクＵ２２０のようなブロック分類動作が実行される。ブロック分類に基づいて、露光制御係数が生成される。そして、この係数は、露光調節された画像ｉ１７０を得るために画像ｉ１５０に適用される。
【００５６】
他のアプリケーションでは、人間の皮膚の色ではない色に従って、画像ｉ１５０の画素を分類することが望まれうる。例えば、木および／または草のような葉の緑、空や水の青、あるいは動物、花、またはその他興味のある物体の色を選択することが望まれうる。図５ａは、興味のある色を選択するタスクＵ３１０を含む他の実施形態に従った方法Ｎ３００のフローチャートを示す。タスクＵ３１０は、例えば２またはそれ以上の異なる色のパッチを表すテーブルから、興味のある色を選択することを含みうる。
【００５７】
あるいは、タスクＵ３１０は、画像ｉ１５０自体から興味のある色を選択することを含みうる。例えば、実施形態に従った装置は、画像ｉ１５０を（例えば、ＬＣＤ（液晶ディスプレイ）スクリーンに）表示し、オペレータが、マウス、４方向ナビゲーション・キーまたはジョイスティック、あるいはその他の入力デバイスを用いて、画像の小領域をインタラクティブに選択することを可能にする。選択領域のサイズは、（例えば、３×３画素または５×５画素に）プリセットされているか、１より大きなサイズからユーザ選択可能であるか、あるいはユーザ設定可能でありうる。そのような装置は、その領域内の平均色を計算し、その色の指定範囲にしたがって画素分類タスクＵ１１０を実行するように構成されうる。この装置はまた、一致する色のブロックをオペレータに対して表示するようにも構成されうる。
【００５８】
タスクＵ３１５は、選択された色に従って、画像ｉ１５０の画素を分類する。区分は、選択された色の周囲の領域を示す単一の範囲によって記述されうる。あるいは、区分領域は、対応する異なる輝度レベル範囲のＣｂＣｒ平面内の異なる区分化範囲のような複数の範囲によって記述されうる。区分範囲のサイズおよび／または形状は、例えば半径のように、予め設定された、選択可能な、および／または、ユーザ調節可能な１または複数のパラメータによって特徴付けられる。一つの例において、区分範囲は、選択された色値の周りの半径５画素の球によって定義されうる。異なる区分範囲を用いることとは別に、タスクＵ３１５は、対応する画素分類マップを生成するために、上述したタスクＵ１１０と同じ方式で、および同じ代替構成のうちの何れかを用いて実行される。
【００５９】
図５ｂは、上述したタスクＵ１２０の実施Ｕ２２０を含む実施形態に従った方法Ｎ４００のフローチャートを示す。そのような方法はまた、上述したようなタスクＵ２２０の実施Ｕ３２０またはＵ３３０を含むように構成されうる。
【００６０】
画素分類タスクＵ１１０またはＵ３１５のパフォーマンスは、画像ｉ１５０内の画素が非常に高い輝度値または非常に低い輝度値を持つ場合に低下する。例えば、非常に高い輝度値または非常に低い輝度値を持つＲＧＢ値から導出されるクロミナンス情報は、信頼性が低く、誤った画素分類に至る可能性がある。更なる実施形態に従った方法では、この場合、露光調節された画像（またはこの画像に基づく画像）について、タスクＵ１１０（またはＵ３１５）およびＵ１２０が繰り返される。そのような方法は、オリジナル画像において一致した画素の平均輝度値が過度に高いか低いのであれば、あるいは、極端に高いか低いかの何れかに近い輝度値を持つ一致画素の割合が、あるしきい値を満足しているか、あるいは超えているのであれば、そのような繰り返しを開始するように構成されうる。
【００６１】
方法Ｎ１００、Ｎ２００、Ｎ３００またはＮ４００の中間結果または最終結果は、その他の処理動作において使用されうる。例えば、画素分類マップまたはブロック分類マップは、ホワイト・バランス動作を調節するためにも使用される。そのような調節は、特に、画像内のそのような画素の数が、しきい割合よりも大きい場合（あるいは、画像内のそのようなブロックの数が、しきい値を超えている場合）、ホワイト・バランス動作中に、考慮から、選択された色（例えば、人間の皮膚の色）の画素を除くことを含む。そのようなマップが使用されうるその他の動作は、自動焦点制御動作を含む。
【００６２】
方法Ｎ１００、Ｎ２００、Ｎ３００あるいはＮ４００の潜在的な１つの長所は、調節された画像内の皮膚の色（またはその他の選択された色）の適切な輝度を与えることである。例えば、そのような方法は、異なる背景の前で撮影された肖像写真に、より調和した皮膚の色の輝度を与える。別のアプリケーションでは、この方法が適用されるか、あるいは、リサイズ動作または再合成動作（例えば、光学またはデジタル・ズーム動作）の後に再適用される。そのような方法の実施形態は、このように、皮膚の色の輝度（またはその他の選択された色）を、その色範囲が画像のうちのある程度を比例的に占有する適切なレベルに維持するために使用されうる。
【００６３】
フレーム平均制御あるいは中心重み付け露光制御の１つの一般的な結果は、画像のほとんど（あるいは中心領域）を占有する非常に明るいまたは非常に暗い背景が、灰色として不適切に再現されることである。方法Ｎ１００、Ｎ２００、Ｎ３００、またはＮ４００の別の潜在的な長所は、そのような背景の輝度が、オリジナルのシーンの背景の輝度をより正確に描く、調節された画像を生成することである。
【００６４】
方法Ｎ１００の更なる実施では、１または複数のエンハンスメント動作が、ブロック分類のために使用される前に、画素分類について実行される。例えば、斑点またはその他のノイズを除去するために、画素分類マップを処理することが望まれうる。図６ａおよび図６ｂは、方法Ｎ１００およびＮ３００それぞれの実施Ｎ５００およびＮ６００のフローチャートを示す。これらは、画素分類についてノイズ低減動作を実行するように構成されたタスクＵ１１７を含む。これらの例において、タスクＵ１２０の実施Ｕ１２０ａは、ノイズ低減された画素分類に基づいて露光制御動作を行なうように構成される。
【００６５】
一例において、タスクＵ１１７は、画素分類マップに平均化フィルタを適用する。図７ａは、適切な方法で取り扱われるマップ境界に沿った領域を用いて、そのようなフィルタを実施するために使用される畳み込みマスクの幾つかの形状（３×３サイズ画素の正方形、５×５サイズ画素の正方形、および十字形）を示す。
【００６６】
２進数の画素分類マップの場合、タスクＵ１１７は、画素分類マップにモード・フィルタを適用するように構成されうる。そのようなフィルタは、画素の値を、画素の近隣の最も一般的な値と交換するように構成された畳み込みマスクとして実施されうる。例えば、３×３マスクの場合、そのようなフィルタは、以下の式によって実施されうる。
【数７】
【００６７】
ここで、ｉおよびｊは行番号および列番号をそれぞれ示し、ｆおよびｇはオリジナルの画素分類およびノイズが低減された画素分類をそれぞれ示す。
【００６８】
別の例では、ノイズ低減タスクＵ１１７の実施Ｕ２１７は、画素分類マップについて領域ラベリング動作を実行する。そのような動作は、２進数の画素分類マップについて、あるいは、その他の制限されたクラスを有する画素分類マップについて実行されうる。図７ｂは、タスクＵ２１７のフローチャートを示す。ここではタスクＵ２２７が、画素分類マップの接続成分にラベル付けし、タスクＵ２３７が、成分サイズとしきい値との間の関係に従って、成分のラベルを変える。
【００６９】
一般的な例では、タスクＵ２３７は、しきい値未満のサイズを有する（あるいは、しきい値を超えないサイズを有する）成分のラベルを変えるように構成される。この成分のサイズは、成分内の画素数や成分の最小寸法のように、その特性がタスクＵ２３７によって計算されうる特性によって示されうる。タスクＵ２１７は、一致した画素を含む接続成分のみについて、あるいは、接続成分の全てについて、タスクＵ２３７を実行するように構成されうる。
【００７０】
タスクＵ２２７は、周知のあるいは開発される任意の接続成分アルゴリズムを適用するように構成されており、近隣の４つの接続、８つの接続、あるいはその他幾つかの判定基準を使用することができる。そのようなアルゴリズムの一般的な二部構成の例は、以下のように進む（マップの境界に沿った特別な場合を除く）。パート（Ｉ）。先頭から最後までの各行ｉについて、左から右までの各列ｊについて、要素ｆ（ｉ，ｊ）について以下の動作を実行する。要素ｆ（ｉ、ｊ）の値が１である場合、Ａ）４つ全ての以前に訪れた８接続近隣のｆ（ｉ，ｊ）の値が０であれば、新たなラベルをｆ（ｉ，ｊ）に割り当て、Ｂ）そうではなく、これら近隣のうち１つのみが１を有するのであれば、そのラベルをｆ（ｉ，ｊ）に割り当てる。Ｃ）そうでないのであれば、値１を有する等価な近隣を記録し、それらのラベルのうちの１つをｆ（ｉ，ｊ）へ割り当てる。パート（ＩＩ）。記録された等価な近隣を、等価クラスにソートし、ユニークなラベルを、各等価クラスに割り当てる。次に、マップを再度スキャンして、各ラベルを、その等価クラスに割り当てられたユニークなラベルと交換する。
【００７１】
ノイズ低減動作の計算費用を低減することが望ましい。例えば、例えば領域ラベリングのようなノイズ低減動作を、画素分類マップｉ１６０の縮小バージョンについて実行することが望ましい。図８は、マップｉ１６０に基づいて縮小されたサイズを有する画素分類マップを生成するノイズ低減タスクＵ２１７の実施Ｕ３１７のフローチャートを示す。ノイズ低減動作が、縮小されたマップ上で実行された後、結果として得られるマップは、画素分類マップｉ１６０を更新するために使用されるか、あるいは、例えばブロック分類のような１または複数の更なるタスクにおいて、画素分類マップとして使用されうる。この例において、タスクＵ２２７の実施Ｕ２２７ａは、縮小されたマップの接続成分をラベルするように構成されうる。
【００７２】
タスクＵ３１７は、画素分類マップｉ１６０の縮小バージョンを生成するように構成されたタスクＵ３２７を含む。タスクＵ３２７は、マクロブロックを使用して縮小マップを計算するように構成されうる。例えば、２進数画素分類マップの場合、タスクＵ３２７は、その要素の各々が、画素分類マップの対応するマクロブロックのモードとなるように、縮小マップを計算するように構成されうる。その他の限定されたクラス数を有する画素分類マップの場合、タスクＵ３２７は、その要素の各々が、対応するマクロブロックのモードであるかあるいはメジアンであるように、縮小マップを計算するように構成されうる。
【００７３】
８×８サイズのマクロブロック区分を適用することによって、タスクＵ３１７は、５００万要素からなる画素分類マップを、約８０，０００のみの要素からなる縮小マップへ圧縮するために使用される。そのような縮小化は、例えばカメラまたはカメラ付き電話のようなポータブルあるいは組込式デバイスに適用可能な領域ラベル動作を行うために必要とされうる。同様に、幾つかのアプリケーションでは、それぞれの画素が、画像ｉ１５０の対応するマクロブロックの中間（あるいはメジアン）である縮小サイズの画像について画素分類タスクＵ１１０またはＵ３１５を実行することが望ましい。
【００７４】
図９は、実施形態に従った装置３００のブロック図を示す。センサ１１０は、例えばＣＣＤセンサやＣＭＯＳセンサのような多くの放射応答素子を有する画像センサを含む。プロセッサ３１０は、例えばマイクロプロセッサ、組込式コントローラ、およびＩＰコアのような１または複数の論理要素のアレイとして実現されうる。メモリ３２０は、例えば、半導体メモリ（限定する訳ではないが、動的ＲＡＭまたは静的ＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを含む）、あるいは強誘電体メモリ、磁気抵抗式メモリ、オブシンスキー効果メモリ、重合体メモリ、あるいは相転移メモリのような記憶素子のアレイとして実現されうる。ディスプレイ１６０は、ＬＣＤパネルまたはＯＬＥＤパネルとして実現されるが、特定のアプリケーションに適切な任意のディスプレイが使用されうる。例えば、装置３００の実装は、例えばカメラまたはセルラ電話のようなデバイスに含まれる。
【００７５】
命令、画像データ、および／または区分化データを格納可能なメモリ３２０と連携して、プロセッサ３１０は、センサ１１０によってキャプチャされた画像に基づいて、本明細書で開示されたような方法Ｎ１００、Ｎ２００、Ｎ３００、Ｎ４００、Ｎ５００、および／または、Ｎ６００のうちの少なくとも１つの実施を画像について行うように構成される。プロセッサ３１０はまた、（例えば、ブラック・クランピング、ホワイト・バランス、色補正、ガンマ補正、および／または、色空間変換等のように）本明細書で記載されたように、画像についてその他の信号処理動作を実行するようにも構成されうる。ディスプレイ１６０は、センサ１１０によってキャプチャされた画像を、プロセッサ３１０によって処理されたように表示するように構成される。
【００７６】
図１０ａは、実施形態にしたがった装置４００のブロック図を示す。画素クラシファイヤ１５０は、本明細書に記載したように、タスクＵ１１０またはＵ３１５の１または複数の実施にしたがって、画像の画素を分類するように構成される。画素クラシファイヤ１５０および／または装置４００もまた、（例えば、ブラック・クランピング、ホワイト・バランス、色補正、ガンマ補正、および／または、色空間変換等のように）本明細書で記載されたように、画像についてその他の信号処理動作を実行するように構成されうる。露光コントローラ３３０は、本明細書で記載したようなタスクＵ１２０のうちの１または複数の実施に従って、画素分類に基づいて、露光制御動作を実行するように構成される。センサ１１０によってキャプチャされた画像に基づいており、画素クラシファイヤ１５０によって実行される画素分類にしたがって処理される画像を表示するようにディスプレイ１６０が構成される。
【００７７】
画素クラシファイヤ１５０および露光コントローラ３３０は、例えば、マイクロプロセッサ、組込式コントローラ、ＩＰコアのような論理素子の１または複数のアレイとして、および／または、そのようなアレイによって実行可能な命令の１または複数のセットとして実施されうる。装置４００を含むデバイスまたはシステムに関して、そのようなアレイはまた、例えば、装置４００の動作に直接的に関連していない命令のようなその他の命令のセットを実行するために使用されうる。一つの例では、画素クラシファイヤ１５０および／または露光コントローラ３４０は、セルラ電話の動作を制御するように構成されたモバイル局チップまたはチップセット内に実装される。
【００７８】
装置３００または装置４００の別の実施は、センサの光学経路内に１または複数のレンズを含むことができる。これらレンズは、調節可能なアパチャおよび／または焦点機能を含むことができる。装置３００または装置４００の実施はまた、赤外線阻止フィルタまたは紫外線阻止フィルタを、センサの光学経路に含むこともできる。装置３００および／または装置４００の実施の範囲は、例えばデジタル・スチル・カメラまたはビデオ・カメラのようなポータブル・デバイスあるいはハンドヘルド・デバイスと、例えばセルラ電話のような１または複数のカメラを含むポータブル通信デバイスとを含む。
【００７９】
図１０ｂは、装置４００の実施４１０のブロック図を示す。区分記憶装置１４０は、色空間の１または複数の区分を格納する。各区分は、センサ１１０の予測応答の対応するセットから導かれる。そのような１つまたは複数の区分は、限定される訳ではないが、組み込まれている米国特許出願１１／２０８，２６１に記載されているような方法Ｍ５００および／または方法Ｍ６００の１または複数の実施にしたがって導かれる。区分記憶装置１４０は、上述するようなメモリ３２０の一部として実施されうる。画素クラシファイヤ１５０の実装１５５は、区分記憶装置１４０の１または複数の区分に従って、画像の画素を分類するように構成されうる。例えば、画素クラシファイヤ１５５は、本明細書で記述したようなタスクＵ１１０の１または複数の実施にしたがって画像の画素を分類するように構成されうる。
【００８０】
図１１ａは、装置４００の実施４２０のブロック図を示す。色セレクタ３８０は、タスクＵ３１０に従って選択された色を取得して、対応する区分領域を画素クラシファイヤ１５８に書き込むように構成される。例えば、色セレクタ３８０は、ディスプレイ１６０および入力デバイス（例えば、４方向ナビゲーション・キー）を介して、装置４２０のユーザによってなされる色選択をサポートするように構成されうる。色セレクタ３８０は、装置４２０の論理素子のアレイによって実行可能なソフトウェアおよび／またはファームウェアにおけるインタラクティブなルーチンとして実施されうる。このアレイはまた、画素クラシファイヤ１５８の命令を実行するようにも構成されうる。画素クラシファイヤ１５０の実装１５８は、選択された色に従って、画像の画素を分類するように構成される。例えば、画素クラシファイヤ１５８は、本明細書で記述されたようなタスクＵ３１５の１または複数の実施に従って、画像の画素を分類するように構成されうる。
【００８１】
図１１ｂは、装置４００の実施４３０のブロック図を示す。露光コントローラ３３０の実装３３５は、画像ブロック・クラシファイヤ３４０および計算機３５０を含む。画像ブロック・クラシファイヤ３４０は、画素クラシファイヤ１５０によって生成された画素分類に従って、画像のブロックを分類するように構成される。例えば、画像ブロック・クラシファイヤ３４０は、本明細書で記載したようなタスクＵ２２２の１または複数の実施を行うように構成されうる。計算機３５０は、画像ブロック・クラシファイヤ３４０によって生成されたブロック分類に従って、露光制御係数を計算するように構成される。例えば、計算機３５０は、本明細書で記載したようなタスクＵ３２０の１または複数の実施を行なうように構成されうる。画素クラシファイヤ１５０、画像ブロック・クラシファイヤ３４０、および計算機３５０は、マイクロプロセッサ、組込式コントローラ、およびＩＰコアのような論理素子の１または複数のアレイとして、および／または、そのような単数または複数のアレイによって実行可能な命令の１または複数のセットとして実施されうる。
【００８２】
記述された実施形態の先の紹介は、いかなる当業者も、本発明を製造または使用することを可能にするために提供される。これらの実施形態への様々な変形も可能である。また、本明細書で示された総括的な原理は、他の実施形態にも同様に適用されうる。本明細書で記述されるような方法は、ハードウェア、ソフトウェア。および／またはファームウェアで実現されうる。そのような方法の様々なタスクは、例えば、マイクロプロセッサ、組込式コントローラ、あるいはＩＰコアのような論理素子の１または複数のアレイによって実行可能な命令のセットとして実行されうる。一例では、１または複数のそのようなタスクが、例えばセルラ電話のようなパーソナル通信デバイスからなる様々なデバイスの動作を制御するように構成されたモバイル局モデム・チップまたはチップセット内での実行のために構成される。
【００８３】
実施形態に従う方法または装置は、露光調節された画像について、例えば、ＪＰＥＧ、ＰＮＧ、ＭＰＥＧ、またはＱｕｉｃｋｔｉｍｅのような標準的フォーマットに従う符合化または圧縮動作、画像認識、顔認識、あるいはアイデンティティ認証動作、および／または、セルラ電話のようなデバイスからの画像の送信のような１または複数の更なる動作を実行するように構成される。
【００８４】
実施形態は、特定用途向け集積回路へ組み込まれた回路構成として、あるいは、不揮発性記憶装置へロードされたファームウェア・プログラムまたは機械読取可能コードとしてデータ記憶媒体からロードされたから、データ記憶媒体へロードされるソフトウェア・プログラムとして一部または全体がハード・ワイヤ回路として実施される。このようなコードは、例えばマイクロプロセッサまたはその他のデジタル信号処理ユニットのような論理素子のアレイによって実行することが可能である。データ記憶媒体は、半導体メモリ（限定する訳ではないが、動的ＲＡＭまたは静的ＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを含む）、あるいは強誘電体メモリ、磁気抵抗式メモリ、オブシンスキー効果メモリ、重合体メモリ、あるいは相転移メモリ、あるいは磁気ディスクや光ディスクのようなディスク媒体のような記憶素子のアレイとして実施されうる。又は磁気あるいは光ディスクのようなディスク媒体。
【００８５】
ＣＣＤセンサおよびＣＭＯＳセンサが本明細書で述べられたが、用語「画像センサ」は、アモルファス・センサおよび水晶シリコン・センサのみならず、その他の材料、半導体、および／または異質接合を用いて生成されたセンサを含む複数の光感知サイトまたは素子を有する任意のセンサを含む。本明細書で開示された原理はまた、例えばカラー・フィルム画像を感光紙に自動印刷する装置、インクジェット・プリンタまたはレーザ・プリンタ、複写機、スキャナ等のようなその他の画像生成装置にも適用可能である。従って、本発明は、上記された実施形態に限定されているとは意図されず、本明細書で何れかの方式で開示された原理および斬新な特徴と一致する最も広い範囲が与えられるべきである。
【技術分野】
【０００１】
本発明は、画像処理に関する。
【背景技術】
【０００２】
カメラまたはその他のイメージング装置または画像処理装置にとって、幾つかの種類の露光制御動作を実行することが普通である。画像キャプチャ中、例えば、シーン内で明瞭に輝く範囲が、装置内のイメージ・センサ（例えば、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補性金属酸化膜半導体））または感光性物質（例えば、写真フィルムまたは紙）のダイナミック・レンジに一致するように露光制御動作が実行される。そのような動作は、装置のシャッター速度および／またはレンズ・アパチャ停止を変えることを含む。
【０００３】
幾つかの異なる測光モードに従った露光制御動作が知られている。そのような１つのモードは、フレーム平均露光制御である。ここでは、シーンまたは画像の平均輝度レベルに従って露光制御される。もう１つの露光制御の測光モードは、中心重み付け露光制御である。ここでは、露光制御が、シーンまたは画像の中心領域の輝度レベルに従って重み付けられる。
【０００４】
撮影されているシーンが１または複数の人を含む場合、あるいは処理されている画像が、１または複数の人々の肖像写真またはその他の描写である場合、既存の露光制御方法は、次善の結果をもたらす。例えば、フレーム平均スキームは、人が強調される場合には明るすぎ、人がバックライト照明される場合には暗すぎるように人の画像を生成する。
【０００５】
写真は、興味のある主要な対象（例えば、人の顔）が、中心を外して位置している場合に、より美しく気持ち良く現れるかもしれない。そのような対象の１つの好適な配置は、垂直寸法および／または水平寸法に沿った何れかの端から離れ、寸法内の画像のサイズの約６１．８％からなる距離における黄金比（Golden Ratio）に従う。このように構成されるシーンまたは画像と共に使用される場合、中心重み露光制御スキームは、興味のある主要な対象が、不適切に露光されるという結果をもたらす。
【０００６】
例えば人間の顔のように、興味のある主要な対象が、適切に露光される画像を得ることが望ましい。
【発明の概要】
【０００７】
１つの実施形態に従う画像処理方法は、色空間の予め定めた区分に従って、画像の複数の画素の各々を分類することを含む。この方法はまた、複数の画像の各々を分類した結果に基づいて、露光制御動作を実行することを含む。画像は、センサによってキャプチャされた生の画像に基づいており、色空間の予め定めた区分は、センサの予測された複数の応答に基づく。
【０００８】
別の実施形態による露光制御装置は、生の画像をキャプチャするように構成されたセンサと、色空間の予め定めた区分に従って、生の画像に基づいて画像の画素を分類するように構成された画素クラシファイヤとを含む。この装置はまた、画素分類に基づいて、露光制御動作を実行するように構成された露光コントローラを含む。色空間の予め定めた区分は、センサの複数の予測された応答に基づく。
【０００９】
他の実施形態に従った画像処理方法は、少なくとも２つの異なる色から色を選択することと、この選択された色に従って、画像の複数の画素の各々を分類することとを含む。この方法はまた、複数の画素の各々を分類した結果に基づいて、露光制御係数を計算することと、露光制御係数に従って、画像の複数の画素の各々の輝度値を変えることとを含む。
【００１０】
別の実施形態にしたがった露光制御装置は、少なくとも２つの異なる色から選択された色に従って、画像の画素を分類するように構成された画素クラシファイヤを含む。この装置はまた、画素分類に基づいて露光制御係数を計算し、露光制御係数に従って、画像の複数の画素の各々の輝度値を変えるように構成された露光コントローラを含む。
【図面の簡単な説明】
【００１１】
【図１ａ】図１ａは、実施形態に従った方法Ｎ１００のフローチャートである。
【図１ｂ】図１ｂは、方法Ｎ１００の実施Ｎ２００のフローチャートである。
【図２】図２は、ガンマ補正の対数関数と、ガンマ補正の検出力関数（power function）とのプロットを示す。
【図３ａ】図３ａは、露光制御タスクＵ２２４の実施Ｕ３２０のフローチャートを示す。
【図３ｂ】図３ｂは、露光制御タスクＵ３２０の実施Ｕ３３０のフローチャートを示す。
【図４ａ】図４ａは、方法Ｎ１００の実施に従ったシーケンスの一例を示す。
【図４ｂ】図４ｂは、方法Ｎ１００の実施に従ったシーケンスの一例を示す。
【図５ａ】図５ａは、実施形態に従った方法Ｎ３００のフローチャートである。
【図５ｂ】図５ｂは、方法Ｎ３００の実施Ｎ４００のフローチャートである。
【図６ａ】図６ａは、方法Ｎ１００の実施Ｎ５００のフローチャートである。
【図６ｂ】図６ｂは、方法Ｎ３００の実施Ｎ６００のフローチャートである。
【図７ａ】図７ａは、平均化フィルタを実現するために使用されうる畳込み演算マスクの幾つかの形状を示す。
【図７ｂ】図７ｂは、ノイズ低減タスクＵ１１７の実施Ｕ２１７のフローチャートを示す。
【図８】図８は、ノイズ低減タスクＵ２１７の実施Ｕ３１７のフローチャートを示す。
【図９】図９は、実施形態に従った装置３００のブロック図を示す。
【図１０ａ】図１０ａは、実施形態に従った装置４００のブロック図を示す。
【図１０ｂ】図１０ｂは、装置４００の実施４１０のブロック図を示す。
【図１１ａ】図１１ａは、装置４００の実施４２０のブロック図を示す。
【図１１ｂ】図１１ｂは、装置４００の実施４３０のブロック図を示す。
【発明を実施するための形態】
【００１２】
実施形態は、予測されたセンサ応答に基づいて露光制御動作を実行するように構成された装置、方法、およびシステムを含む。実施形態は更に、選択された色に基づいて露光制御動作を実行するように構成された装置、方法、およびシステムを含む。
【００１３】
本明細書で記述された実施形態の応用は、適応性のある露光補正、および皮膚色を優先した適応性のある露光制御を含んでいる。例えば、少なくとも幾つかの実施形態は、利用可能な範囲の中心の輝度レベルを用いて、画像のうちの最も重要な領域の再生を可能にするために適用される。
【００１４】
本明細書で開示された原理は、２００５年８月１８日に出願され、その出願の開示全体が、あたかも本明細書で明確に再現されたかのように参照によって本明細書に組み込まれている、"SYSTEMS, METHODS, AND APPARATUS FOR IMAGE PROCESSING, FOR COLOR CLASSIFICATION, AND FOR SKIN COLOR DETECTION"と題され、本願とともに譲渡された同時係属中の米国特許出願１１／２０８、２６１号に開示された動作、要素、および構成と連携して用いられうることが明らかに考慮される。
【００１５】
図１ａは、実施形態に従った露光制御方法Ｎ１００のフローチャートを示す。タスクＵ１１０は、色空間の予め定めた区分に従って、画像ｉ１５０（図４ａ）の画素を分類する。タスクＵ１２０は、画素分類に基づいて露光制御動作を行なう。
【００１６】
図４ａの画像ｉ１５０は、例えばＣＣＤアレイまたはＣＭＯＳアレイのような画像センサによってキャプチャされた生の画像ｉ１１０に基づく。画像ｉ１５０は、例えば、デモザイク、ホワイト・バランス、ブラック・クランピング、ガンマ補正、色補正、および／または色変換のような処理動作を実行することによって生の画像ｉ１１０から取得されうる。そのような動作の例、それらを含む構成、およびそれらを実行するように構成された装置は、米国特許出願１１／２０８，２６１号に記載されている。幾つかの場合、１または複数のそのような動作は、画像センサ内で実行されうる。
【００１７】
少なくとも幾つかの処理動作は、（Ａ）画像の区分化によって記述されるブロックまたはゾーンにわたったパラメータの平均値を計算することと、（Ｂ）これら平均値の１または複数に基づいて、画像に適用されるグローバル値を計算することとを含む。例えば、生の画像ｉ１１０を画像ｉ１５０へ処理することは、オートフォーカス、露光制御、および／またはホワイト・バランス動作を実行することを含み、それらのうちの１または複数は、画像の区分化に従って実行されうる。
【００１８】
生の画像ｉ１１０を処理することは、その画素が次のタスクにおいて高い信頼性で分類される画像ｉ１５０を得るために重要でありうる。例えば、画像ｉ１５０を得るために、予備的な露光制御動作を実行することが望ましいかあるいは必要とされうる。この露光制御動作は、フレーム平均化または中心重み付けがなされ、画像の各画素（のＲＧＢ（赤、緑、青）値の各色値、あるいは、ＹＣｂＣｒ（lumaおよびchroma）値の輝度値）に適用されるゲイン係数を計算することによって実施される。
【００１９】
幾つかの構成では、露光制御動作は、上述したような画像の区分化に従って、ゲイン係数を計算することを含む。そのような場合、動作は、画像の特定領域（例えば、中心）、または画像における各ブロックの平均輝度値を計算することと、これら平均値のうちの１または複数に基づいて（例えば、これら平均値の平均値に基づいて）ゲイン係数を計算することとを含みうる。ゲイン係数は、ガンマ補正演算を実行する前に計算されうる。この場合、ゲイン係数は、画像または選択された領域にわたって、２５６レベルのうちの約５０レベル（またはその等価物）まで平均輝度レベルをスケールするように選択されうる。あるいは、ゲイン係数は、ガンマ補正演算を実行した後に計算される。この場合、ゲイン係数は、画像または選択された領域にわたって、２５６レベルのうちの約１１０レベル（またはその等価物）まで平均輝度レベルをスケールするように選択される。
【００２０】
処理動作はまた、例えば、２００５年１１月８日に出願され、"SKIN COLOR PRIORITIZED AUTOMATIC FOCUS CONTROL VIA SENSOR-DEPENDENT SKIN COLOR"と題され、譲渡された米国仮出願６０／７３４，９９２号に記述されたような焦点制御動作をも含む。幾つかの場合、露光制御動作および／または焦点制御動作の結果に従って、カメラまたはその他の画像装置を再構成し、新たな構成に従って生の画像ｉ１１０を再キャプチャすることが望ましい。
【００２１】
本明細書に組み込まれた米国特許出願１１／２０８，２６１に開示したように、画像ｉ１５０を得るために生の画像ｉ１１０を処理することは、ガンマ補正演算を行なうことを含みうる。そのような動作は、例えば、ＲＧＢ画素値の各成分を補正することによって、主要な色空間の画素色値を補正するように構成されうる。あるいは、そのような動作は、例えばＹＣｂＣｒ画素値の輝度成分を補正することによって、輝度クロミナンス色空間内の画素色値を補正するように構成されうる。
【００２２】
ガンマ補正演算は、一般に、入力値の検出力関数（power function）に基づく。一例では、出力値ｙは、式ｙ＝ｍｘ１／ｇに従って、対応する入力値ｘから計算される。この例において、ｇはガンマ補正係数（１つの典型的な値は２．２である）を示し、ｍは、所望の出力範囲に従って選択されるマッピング定数を示す。
【００２３】
従来の検出力関数の代わりに、実施形態は、対数関数に従ってガンマ補正演算を実行するように構成されうる。そのような関数を含む式の一例はｙ＝ｍｌｏｇｘである。ここでｍは、所望の出力範囲に従って選択されるマッピング定数を示す。特に、基底数２の対数を用いるそのような関数は、一般に、検出力関数よりも少ない計算費用で計算することが可能である。図２は、関数の各タイプのプロット例を示す。ここで、対数関数はｙ＝３２ｌｏｇ２ｘであり、検出力関数はｙ＝２５５０．５５ｘ０．４５である。幾つかの場合において、ガンマ補正演算の計算の複雑さ、および／または、プロセッサ・サイクル、および／または、そのような演算によって使用される記憶空間は、例えば区分線形実施のような１または複数の線形関数または多項式関数を用いて、ガンマ補正関数の全てまたは一部を近似することによって低減されうる。
【００２４】
本明細書に組み込まれている米国特許出願１１／２０８，２６１で開示されているように、画像を１つの色空間から別の色空間へと変換することは望ましい。例えば、処理、符合化、および／または圧縮のために、画像を、センサの元々の色空間（例えばＲＧＢまたはｓＲＧＢ）から、例えばＹＣｂＣｒのような色空間に変換することが望ましいかもしれない。そのような変換を実行するために、以下の式に示すような変換行列が適用されうる。
【数１】
【００２５】
主要な色空間（例えば、ＲＧＢ、ｓＲＧＢ）と、輝度クロミナンス空間（例えばＹＣｂＣｒ、ＹＰｂＰｒ）との間の変換のための幾つかの類似の周知の行列（例えば、ＩＴＵ−Ｒ ＢＴ．６０１、ＩＴＵ−Ｒ ＢＴ．７０９）のうちの何れか、またはそのような行列の等価物もまた使用されうる。
【００２６】
更なる例では、以下の式に示すように、単純化された変換行列が使用されうる。
【数２】
【００２７】
この行列の潜在的な１つの長所は、実施形態に従った方法の幾つかの固定小数点実施のために、係数１／２と１／４とが１ビットおよび２ビットの右シフトとして実施されるので、いかなる乗算を行うこともなく適用できることである。
【００２８】
以下の式は、シフトを用いて実行される別の色空間変換を表す。
【数３】
【００２９】
別の例では、上記２つの簡略化された変換のうちの何れかが、以下の式に従ってＹを計算するために修正される。
【数４】
【００３０】
タスクＵ１１０は、色空間の予め定めた区分にしたがって、画像ｉ１５０の画素を分類する。区分は、所望の色範囲（例えば、人間の皮膚色）を示す１つの範囲によって記述されうる。この場合、タスクＵ１１０は、各画素を、その色値が範囲の内側にあるか外側にあるかにしたがって、「一致」クラスおよび「不一致」クラスのうちの１つに割り当てる。もしあるのであれば、範囲上に色値を持っている画素は、設計選択によって１つのクラスあるいは他のクラスに割り当てられる。
【００３１】
あるいは、区分領域が多くの範囲によって記述されうる。特に、タスクＵ１１０は、組み込まれている米国特許出願１１／２０８，２６１に記載されているように、輝度レベルの異なる範囲内の単一の区分領域を記述するために、ＣｂＣｒ平面内の異なる区分領域（省略）を使用することができる。そのような場合、タスクＵ１１０は、各画素を、そのＣｂＣｒ値が適切な範囲の内部にあるか外部にあるかにしたがって、一致クラスまたは不一致クラスのうちの１つに割り当てる。
【００３２】
典型的な実施では、タスクＵ１１０（図１ａ）は、各画素の分類結果を示すマップｉ１６０（図４ａ）を生成するように構成される。画素分類マップｉ１６０は、画像ｉ１５０の対応する画素の色値が所望の区分領域内にあるかを示す（言い換えれば、画素が割り当てられたクラスを示す）２進数値を、このマップの各要素が有することができるように、２進数でありうる。
【００３３】
あるいは、タスクＵ１１０は、その要素が非２進数値を有する画素分類マップを生成するように実現されうる。そのようなマップの一例では、各要素が、画像ｉ１５０の対応する画素の色値と、対応する区分化基準との間の一致の程度を示す。この一致の程度は、画素の色値と、所望の色値あるいは範囲との間の距離に基づきうる。例えば、この距離は、一致の程度を計算するために、あるいは、一致の程度をテーブルから検索するために使用されうる。
【００３４】
あるいは、一致の程度は、同心状領域を示し、対応する画素値が中にある、２またはそれ以上の区分化範囲のうちの何れかによって示される。そのような場合、タスクＵ１１０は、各画素を、２より多いクラスのうちの１つへ割り当てる。ここで、各クラスは、別の区分領域および対応する一致の程度に対応している。
【００３５】
画像ｉ１５０よりも少ない要素を有する画素分類マップを生成するようにタスクＵ１１０を構成することが望ましい場合がある。タスクＵ１１０は、画像ｉ１５０のうちの１つよりも多くの画素に対応する領域の色値を分類することによって、そのようなマップを生成するように構成されうる。これらの領域は、重複しているかもしれないし、していないかもしれない。一例では、タスクＵ１１０は、３×３画素からなる重複していない領域の平均色値を分類するように構成される。この場合、結果として得られる画素分類マップは、画像ｉ１５０の約１／９の要素しか有さない。別の例では、５×５画素からなる重複していない領域が使用される。
【００３６】
画像ｉ１５０よりも少数の要素しか有さない画素分類マップを生成するように構成された別の構成では、画像ｉ１５０を得るための生の画像ｉ１１０の処理は、画素分類タスクＵ１１０がより小さな画像について実行できるように、画像をより小さなサイズにスケールすることを含む。そのような場合、処理目的のみのために、縮小されたサイズの画像を使用すること、および、結果として得られる露光制御動作を、オリジナル・サイズの画像について実行することとが望まれうる。
【００３７】
タスクＵ１１０が、生の画像ｉ１１０をキャプチャするために使用される画像センサの１または複数の特性に基づく区分化にしたがって画素分類を実行することが望まれうる。センサ特性は、組み込まれた米国特許出願１１／２０８，２６１に記載されている。米国特許出願１１／２０８，２６１はまた、予測されたセンサ応答の１または複数のセットに基づいて区分を取得し、それを人間の皮膚の色に適用するように構成されたシステム、方法、および装置を開示している。
【００３８】
１より多い代替例の中からタスクＵ１１０に適用される区分化を選択することが望まれうる。例えば、タスクＵ１１０は、生の画像ｉ１１０に示されるシーンの光源にしたがって、幾つかの異なる区分から１つを選択するように構成されうる。組み込まれている米国特許出願１１／２０８，２６１号は、シーンの光源を識別するための技術を開示している。
【００３９】
タスクＵ１２０は、画素分類マップに基づいて、露光制御動作を実行する。この露光制御動作は、１または複数の露光制御係数を計算し、画像のキャプチャ中、および／または、キャプチャされた画像の処理中にこれらを適用することによって、実施されうる。タスクＵ１２０は、画像ｉ１５０、次の画像、および／または、１より多い次の画像（例えば、ビデオ・ストリーム）について露光制御動作を実行するように構成されうる。
【００４０】
一例において、タスクＵ１２０は、画像のキャプチャ中に使用される露光制御係数を選択、算出、あるいは計算して、例えば、シャッター速度および／または画像センサ（例えば、ＣＣＤまたはＣＭＯＳアレイ）の感度、レンズ・ダイアフラムのアパチャ停止または絞り、および／またはＡＧＣ（自動ゲイン制御）回路のゲインのような装置の局面を制御する。あるいは、またはそれに加えて、露光制御動作は、装置のストロボまたはＬＥＤ（発光ダイオード）のフラッシュ照明動作を制御することを含むことができる。また、フラッシュ照明動作は、例えば焦点制御動作中に取得された距離情報に基づきうる。
【００４１】
別の例では、タスクＵ１２０は、画像処理中に使用され、例えば、画像全体の輝度レベルを変えるために適用されるゲイン係数のような露光制御係数を選択、算出、あるいは計算する。そのような動作は、画像の特定の部分（例えば、人間の皮膚の色、または選択された別の色）を良く見えるようにするため、および／または、画像内の輝度レベルの範囲を、所望のダイナミック・レンジ（例えば、ディスプレイのダイナミック・レンジ）に一致させるために実行されうる。この種の露光制御動作は、画像の色チャネルまたは輝度チャネルに適用されるゲイン係数を変えることを含む。
【００４２】
タスクＵ１２０は、画像の区分化にしたがって露光制御係数を計算するように構成されうる。図１ｂは、露光制御タスクＵ１２０のそのような実施Ｕ２２０を含む方法Ｎ１００の実施Ｎ２００のフローチャートを示す。タスクＵ２２０は、画素分類マップに基づいて画像ｉ１５０のブロックを分類するタスクＵ２２２と、このブロック分類に基づいて露光制御動作を実行するタスクＵ２２４とを含む。
【００４３】
タスクＵ２２２は、区分化によって記述される画像ｉ１５０のブロックを分類する。一般的な例では、区分化は、重複しない８×８アレイ、または１６×１６アレイのブロックを記述するグリッドに従って画像ｉ１５０を区分する。各ブロックは、約１００×１００画素のサイズを有する。しかしながら、他のグリッドあるいはブロック・サイズが使用されてもよい。各ブロックは同じサイズを有する必要は無く、重複ブロックを含む区分化も可能である。生のキャプチャ画像から画像ｉ１５０を取得するために区分化が使用される場合、タスクＵ２２２は、同じ区分化を用いるように構成されうる。
【００４４】
タスクＵ２２２は、画素分類マップの対応する領域で示されたクラス・メンバシップにしたがって各ブロックを分類する。各画素が、一致クラスまたは不一致クラスの何れかに割り当てられる典型的な場合、タスクＵ２２２は、一致クラスに割り当てられた画素の数（または割合）を決定し、かつ、その値をしきい値と比較することによって、各ブロックを分類するように構成される。その値がしきい値を越えるブロックは、２つのクラスのうちの１つ（「支配的な」クラス）に割り当てられ、その値がしきい値未満であるブロックは、その他のクラス（「非支配的な」クラス）に割り当てられる。もしあれば、その値がしきい値に等しいブロックが、設計選択にしたがって支配的または非支配的として分類される。その他任意の適切な値を使用することが可能であるが、しきい値の一般的な値は、半分（例えば、ブロック内の画素の合計数の半分）であり、ブロックは、半分未満のしきい値が使用される場合でさえ、支配的であるとして分類されることもできる。
【００４５】
他の実施では、ブロックが、比較的支配的な２より多いクラスのうちの１つに割り当てられるように、１より大きいしきい値が使用されうる。画素が、２より多い区分クラスのうちの１つに割り当てられる場合、タスクＵ２２２は、これらクラスのうちの２またはそれ以上のうちの何れかに属するブロックの画素の数（または割合）の重み付けられた結合として一致度合いを計算し、単数または複数のしきい値をこの度合いと比較するように構成されうる。
【００４６】
タスクＵ２２４は、ブロック分類に基づいて、露光制御係数を計算する。一般的な例では、タスクＵ２２４は、例えば支配的なブロックの平均輝度値のような支配的なブロックの１または複数の特性に基づいて露光制御係数を計算するように構成される。他の実施では、タスクＵ２２４は、非支配的なブロックの１または複数の特性にも基づいて露光制御係数を計算するように構成される。
【００４７】
図３ａは、タスクＵ３２２、Ｕ３２４、およびＵ３２６を含むタスクＵ２２４の実施Ｕ３２０のフローチャートを示す。タスクＵ３２２は、支配的なブロック各々の平均輝度値を計算する。この平均は一般に、ブロック内の画素の平均（例えば、中間またはメジアン）Ｙ値として計算されるが、ＲＧＢ画素値からも計算されうる。他の実施では、タスクＵ３２２は、１または複数の非支配的ブロックの平均輝度値をも計算するように構成される。そのような場合、タスクＵ３２２は、画像の特定領域（例えば、中心）および／または特定の非支配的クラスにおける各非支配的ブロックの平均輝度値を計算するように構成される。あるいは、タスクＵ３２２は、画像内の各ブロックの平均輝度値を計算するように構成されうる。
【００４８】
支配的なブロックの平均輝度値に基づいて、タスクＵ３２４は、全体的な平均輝度値を計算する。一般的な例では、タスクＵ３２４は、支配的なブロックの平均輝度値の平均（例えば、中間またはメジアン）として、全体的な平均輝度値を計算するように構成される。
【００４９】
他の実施では、タスクＵ３２４は、非支配的なブロックの平均輝度値に基づいて、全体的な平均輝度値を計算するように構成される。例えば、タスクＵ３２４は、以下の２つの式のうちの１つに従って全体的な平均輝度値を計算するように構成される。
【数５】
【００５０】
ここで、ａｖｇｏｖｅｒａｌｌは、全体的な平均輝度値を示し、ａｖｇＤは、支配的なブロックの平均輝度値の平均を示し、ａｖｇＮは、計算において参照されている非支配的なブロックの全ての平均輝度値の平均を示し、ａｖｇＴは、計算において参照されているブロックの全ての平均輝度値の平均を示し、ｗ１、ｗ２はそれぞれ重み係数を示す。幾つかの実施では、ｗ１とｗ２との比は、装置のユーザによって調節可能である。
【００５１】
各ブロックが２より多いクラスのうちの１つに割り当てられる実施の場合、タスクＵ３２４は、例えば以下のような式に従って全体的な平均輝度値を計算するように構成される。
【数６】
【００５２】
ここでａｖｇｉは、計算において参照されているクラスｉのブロックの平均輝度値の平均を示し、ｗｉは、クラスｉの重み係数を示す。一般に、より大きな重み係数は、より高い一致度を持つクラスに使用される。
【００５３】
全体的な平均輝度値と、所望される目標輝度値との関係に基づいて、Ｕ３２６は、露光制御係数を計算する。例えば、タスクＵ３２６は、全体的な平均輝度値に対する目標輝度値の比として、露光制御係数を計算するように構成される。目標輝度値の一般例は、２５６レベルのうちの５０、５５、および６０（あるいはそれらと等価な）レベルを含む。
【００５４】
図３ｂは、タスクＵ３２０の実施Ｕ３３０を示すフローチャートを示す。これは、露光制御係数を適用するように構成されたタスクＵ３２８を含む。一例において、タスクＵ３２８は、画像ｉ１５０の各画素の輝度値に、露光制御係数を乗じるように構成される。別の例において、タスクＵ３２８は、画像キャプチャ動作中に、例えば、アパチャ、シャッター速度、センサ感度、および／または、フラッシュ強度のようなパラメータを制御するために露光制御係数を適用するように構成される。
【００５５】
図４ａおよび図４ｂは、方法Ｎ１００の実施に従ったシーケンスの１つの例を示す。生の画像ｉ１１０が、画像センサによってキャプチャされる。本明細書で記述されるような処理動作は、生の画像ｉ１１０から画像ｉ１５０を取得するために実行される。例えばタスクＵ１１０のような画像分類動作が、画素分類マップｉ１６０を生成するために画像ｉ１５０について実行される。この例では、対象の露出された顔および上げられた手に対応する画素が、一致クラスに割り当てられる。画素分類マップｉ１６０および画像ｉ１５０の区分化に従って、例えばタスクＵ２２０のようなブロック分類動作が実行される。ブロック分類に基づいて、露光制御係数が生成される。そして、この係数は、露光調節された画像ｉ１７０を得るために画像ｉ１５０に適用される。
【００５６】
他のアプリケーションでは、人間の皮膚の色ではない色に従って、画像ｉ１５０の画素を分類することが望まれうる。例えば、木および／または草のような葉の緑、空や水の青、あるいは動物、花、またはその他興味のある物体の色を選択することが望まれうる。図５ａは、興味のある色を選択するタスクＵ３１０を含む他の実施形態に従った方法Ｎ３００のフローチャートを示す。タスクＵ３１０は、例えば２またはそれ以上の異なる色のパッチを表すテーブルから、興味のある色を選択することを含みうる。
【００５７】
あるいは、タスクＵ３１０は、画像ｉ１５０自体から興味のある色を選択することを含みうる。例えば、実施形態に従った装置は、画像ｉ１５０を（例えば、ＬＣＤ（液晶ディスプレイ）スクリーンに）表示し、オペレータが、マウス、４方向ナビゲーション・キーまたはジョイスティック、あるいはその他の入力デバイスを用いて、画像の小領域をインタラクティブに選択することを可能にする。選択領域のサイズは、（例えば、３×３画素または５×５画素に）プリセットされているか、１より大きなサイズからユーザ選択可能であるか、あるいはユーザ設定可能でありうる。そのような装置は、その領域内の平均色を計算し、その色の指定範囲にしたがって画素分類タスクＵ１１０を実行するように構成されうる。この装置はまた、一致する色のブロックをオペレータに対して表示するようにも構成されうる。
【００５８】
タスクＵ３１５は、選択された色に従って、画像ｉ１５０の画素を分類する。区分は、選択された色の周囲の領域を示す単一の範囲によって記述されうる。あるいは、区分領域は、対応する異なる輝度レベル範囲のＣｂＣｒ平面内の異なる区分化範囲のような複数の範囲によって記述されうる。区分範囲のサイズおよび／または形状は、例えば半径のように、予め設定された、選択可能な、および／または、ユーザ調節可能な１または複数のパラメータによって特徴付けられる。一つの例において、区分範囲は、選択された色値の周りの半径５画素の球によって定義されうる。異なる区分範囲を用いることとは別に、タスクＵ３１５は、対応する画素分類マップを生成するために、上述したタスクＵ１１０と同じ方式で、および同じ代替構成のうちの何れかを用いて実行される。
【００５９】
図５ｂは、上述したタスクＵ１２０の実施Ｕ２２０を含む実施形態に従った方法Ｎ４００のフローチャートを示す。そのような方法はまた、上述したようなタスクＵ２２０の実施Ｕ３２０またはＵ３３０を含むように構成されうる。
【００６０】
画素分類タスクＵ１１０またはＵ３１５のパフォーマンスは、画像ｉ１５０内の画素が非常に高い輝度値または非常に低い輝度値を持つ場合に低下する。例えば、非常に高い輝度値または非常に低い輝度値を持つＲＧＢ値から導出されるクロミナンス情報は、信頼性が低く、誤った画素分類に至る可能性がある。更なる実施形態に従った方法では、この場合、露光調節された画像（またはこの画像に基づく画像）について、タスクＵ１１０（またはＵ３１５）およびＵ１２０が繰り返される。そのような方法は、オリジナル画像において一致した画素の平均輝度値が過度に高いか低いのであれば、あるいは、極端に高いか低いかの何れかに近い輝度値を持つ一致画素の割合が、あるしきい値を満足しているか、あるいは超えているのであれば、そのような繰り返しを開始するように構成されうる。
【００６１】
方法Ｎ１００、Ｎ２００、Ｎ３００またはＮ４００の中間結果または最終結果は、その他の処理動作において使用されうる。例えば、画素分類マップまたはブロック分類マップは、ホワイト・バランス動作を調節するためにも使用される。そのような調節は、特に、画像内のそのような画素の数が、しきい割合よりも大きい場合（あるいは、画像内のそのようなブロックの数が、しきい値を超えている場合）、ホワイト・バランス動作中に、考慮から、選択された色（例えば、人間の皮膚の色）の画素を除くことを含む。そのようなマップが使用されうるその他の動作は、自動焦点制御動作を含む。
【００６２】
方法Ｎ１００、Ｎ２００、Ｎ３００あるいはＮ４００の潜在的な１つの長所は、調節された画像内の皮膚の色（またはその他の選択された色）の適切な輝度を与えることである。例えば、そのような方法は、異なる背景の前で撮影された肖像写真に、より調和した皮膚の色の輝度を与える。別のアプリケーションでは、この方法が適用されるか、あるいは、リサイズ動作または再合成動作（例えば、光学またはデジタル・ズーム動作）の後に再適用される。そのような方法の実施形態は、このように、皮膚の色の輝度（またはその他の選択された色）を、その色範囲が画像のうちのある程度を比例的に占有する適切なレベルに維持するために使用されうる。
【００６３】
フレーム平均制御あるいは中心重み付け露光制御の１つの一般的な結果は、画像のほとんど（あるいは中心領域）を占有する非常に明るいまたは非常に暗い背景が、灰色として不適切に再現されることである。方法Ｎ１００、Ｎ２００、Ｎ３００、またはＮ４００の別の潜在的な長所は、そのような背景の輝度が、オリジナルのシーンの背景の輝度をより正確に描く、調節された画像を生成することである。
【００６４】
方法Ｎ１００の更なる実施では、１または複数のエンハンスメント動作が、ブロック分類のために使用される前に、画素分類について実行される。例えば、斑点またはその他のノイズを除去するために、画素分類マップを処理することが望まれうる。図６ａおよび図６ｂは、方法Ｎ１００およびＮ３００それぞれの実施Ｎ５００およびＮ６００のフローチャートを示す。これらは、画素分類についてノイズ低減動作を実行するように構成されたタスクＵ１１７を含む。これらの例において、タスクＵ１２０の実施Ｕ１２０ａは、ノイズ低減された画素分類に基づいて露光制御動作を行なうように構成される。
【００６５】
一例において、タスクＵ１１７は、画素分類マップに平均化フィルタを適用する。図７ａは、適切な方法で取り扱われるマップ境界に沿った領域を用いて、そのようなフィルタを実施するために使用される畳み込みマスクの幾つかの形状（３×３サイズ画素の正方形、５×５サイズ画素の正方形、および十字形）を示す。
【００６６】
２進数の画素分類マップの場合、タスクＵ１１７は、画素分類マップにモード・フィルタを適用するように構成されうる。そのようなフィルタは、画素の値を、画素の近隣の最も一般的な値と交換するように構成された畳み込みマスクとして実施されうる。例えば、３×３マスクの場合、そのようなフィルタは、以下の式によって実施されうる。
【数７】
【００６７】
ここで、ｉおよびｊは行番号および列番号をそれぞれ示し、ｆおよびｇはオリジナルの画素分類およびノイズが低減された画素分類をそれぞれ示す。
【００６８】
別の例では、ノイズ低減タスクＵ１１７の実施Ｕ２１７は、画素分類マップについて領域ラベリング動作を実行する。そのような動作は、２進数の画素分類マップについて、あるいは、その他の制限されたクラスを有する画素分類マップについて実行されうる。図７ｂは、タスクＵ２１７のフローチャートを示す。ここではタスクＵ２２７が、画素分類マップの接続成分にラベル付けし、タスクＵ２３７が、成分サイズとしきい値との間の関係に従って、成分のラベルを変える。
【００６９】
一般的な例では、タスクＵ２３７は、しきい値未満のサイズを有する（あるいは、しきい値を超えないサイズを有する）成分のラベルを変えるように構成される。この成分のサイズは、成分内の画素数や成分の最小寸法のように、その特性がタスクＵ２３７によって計算されうる特性によって示されうる。タスクＵ２１７は、一致した画素を含む接続成分のみについて、あるいは、接続成分の全てについて、タスクＵ２３７を実行するように構成されうる。
【００７０】
タスクＵ２２７は、周知のあるいは開発される任意の接続成分アルゴリズムを適用するように構成されており、近隣の４つの接続、８つの接続、あるいはその他幾つかの判定基準を使用することができる。そのようなアルゴリズムの一般的な二部構成の例は、以下のように進む（マップの境界に沿った特別な場合を除く）。パート（Ｉ）。先頭から最後までの各行ｉについて、左から右までの各列ｊについて、要素ｆ（ｉ，ｊ）について以下の動作を実行する。要素ｆ（ｉ、ｊ）の値が１である場合、Ａ）４つ全ての以前に訪れた８接続近隣のｆ（ｉ，ｊ）の値が０であれば、新たなラベルをｆ（ｉ，ｊ）に割り当て、Ｂ）そうではなく、これら近隣のうち１つのみが１を有するのであれば、そのラベルをｆ（ｉ，ｊ）に割り当てる。Ｃ）そうでないのであれば、値１を有する等価な近隣を記録し、それらのラベルのうちの１つをｆ（ｉ，ｊ）へ割り当てる。パート（ＩＩ）。記録された等価な近隣を、等価クラスにソートし、ユニークなラベルを、各等価クラスに割り当てる。次に、マップを再度スキャンして、各ラベルを、その等価クラスに割り当てられたユニークなラベルと交換する。
【００７１】
ノイズ低減動作の計算費用を低減することが望ましい。例えば、例えば領域ラベリングのようなノイズ低減動作を、画素分類マップｉ１６０の縮小バージョンについて実行することが望ましい。図８は、マップｉ１６０に基づいて縮小されたサイズを有する画素分類マップを生成するノイズ低減タスクＵ２１７の実施Ｕ３１７のフローチャートを示す。ノイズ低減動作が、縮小されたマップ上で実行された後、結果として得られるマップは、画素分類マップｉ１６０を更新するために使用されるか、あるいは、例えばブロック分類のような１または複数の更なるタスクにおいて、画素分類マップとして使用されうる。この例において、タスクＵ２２７の実施Ｕ２２７ａは、縮小されたマップの接続成分をラベルするように構成されうる。
【００７２】
タスクＵ３１７は、画素分類マップｉ１６０の縮小バージョンを生成するように構成されたタスクＵ３２７を含む。タスクＵ３２７は、マクロブロックを使用して縮小マップを計算するように構成されうる。例えば、２進数画素分類マップの場合、タスクＵ３２７は、その要素の各々が、画素分類マップの対応するマクロブロックのモードとなるように、縮小マップを計算するように構成されうる。その他の限定されたクラス数を有する画素分類マップの場合、タスクＵ３２７は、その要素の各々が、対応するマクロブロックのモードであるかあるいはメジアンであるように、縮小マップを計算するように構成されうる。
【００７３】
８×８サイズのマクロブロック区分を適用することによって、タスクＵ３１７は、５００万要素からなる画素分類マップを、約８０，０００のみの要素からなる縮小マップへ圧縮するために使用される。そのような縮小化は、例えばカメラまたはカメラ付き電話のようなポータブルあるいは組込式デバイスに適用可能な領域ラベル動作を行うために必要とされうる。同様に、幾つかのアプリケーションでは、それぞれの画素が、画像ｉ１５０の対応するマクロブロックの中間（あるいはメジアン）である縮小サイズの画像について画素分類タスクＵ１１０またはＵ３１５を実行することが望ましい。
【００７４】
図９は、実施形態に従った装置３００のブロック図を示す。センサ１１０は、例えばＣＣＤセンサやＣＭＯＳセンサのような多くの放射応答素子を有する画像センサを含む。プロセッサ３１０は、例えばマイクロプロセッサ、組込式コントローラ、およびＩＰコアのような１または複数の論理要素のアレイとして実現されうる。メモリ３２０は、例えば、半導体メモリ（限定する訳ではないが、動的ＲＡＭまたは静的ＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを含む）、あるいは強誘電体メモリ、磁気抵抗式メモリ、オブシンスキー効果メモリ、重合体メモリ、あるいは相転移メモリのような記憶素子のアレイとして実現されうる。ディスプレイ１６０は、ＬＣＤパネルまたはＯＬＥＤパネルとして実現されるが、特定のアプリケーションに適切な任意のディスプレイが使用されうる。例えば、装置３００の実装は、例えばカメラまたはセルラ電話のようなデバイスに含まれる。
【００７５】
命令、画像データ、および／または区分化データを格納可能なメモリ３２０と連携して、プロセッサ３１０は、センサ１１０によってキャプチャされた画像に基づいて、本明細書で開示されたような方法Ｎ１００、Ｎ２００、Ｎ３００、Ｎ４００、Ｎ５００、および／または、Ｎ６００のうちの少なくとも１つの実施を画像について行うように構成される。プロセッサ３１０はまた、（例えば、ブラック・クランピング、ホワイト・バランス、色補正、ガンマ補正、および／または、色空間変換等のように）本明細書で記載されたように、画像についてその他の信号処理動作を実行するようにも構成されうる。ディスプレイ１６０は、センサ１１０によってキャプチャされた画像を、プロセッサ３１０によって処理されたように表示するように構成される。
【００７６】
図１０ａは、実施形態にしたがった装置４００のブロック図を示す。画素クラシファイヤ１５０は、本明細書に記載したように、タスクＵ１１０またはＵ３１５の１または複数の実施にしたがって、画像の画素を分類するように構成される。画素クラシファイヤ１５０および／または装置４００もまた、（例えば、ブラック・クランピング、ホワイト・バランス、色補正、ガンマ補正、および／または、色空間変換等のように）本明細書で記載されたように、画像についてその他の信号処理動作を実行するように構成されうる。露光コントローラ３３０は、本明細書で記載したようなタスクＵ１２０のうちの１または複数の実施に従って、画素分類に基づいて、露光制御動作を実行するように構成される。センサ１１０によってキャプチャされた画像に基づいており、画素クラシファイヤ１５０によって実行される画素分類にしたがって処理される画像を表示するようにディスプレイ１６０が構成される。
【００７７】
画素クラシファイヤ１５０および露光コントローラ３３０は、例えば、マイクロプロセッサ、組込式コントローラ、ＩＰコアのような論理素子の１または複数のアレイとして、および／または、そのようなアレイによって実行可能な命令の１または複数のセットとして実施されうる。装置４００を含むデバイスまたはシステムに関して、そのようなアレイはまた、例えば、装置４００の動作に直接的に関連していない命令のようなその他の命令のセットを実行するために使用されうる。一つの例では、画素クラシファイヤ１５０および／または露光コントローラ３４０は、セルラ電話の動作を制御するように構成されたモバイル局チップまたはチップセット内に実装される。
【００７８】
装置３００または装置４００の別の実施は、センサの光学経路内に１または複数のレンズを含むことができる。これらレンズは、調節可能なアパチャおよび／または焦点機能を含むことができる。装置３００または装置４００の実施はまた、赤外線阻止フィルタまたは紫外線阻止フィルタを、センサの光学経路に含むこともできる。装置３００および／または装置４００の実施の範囲は、例えばデジタル・スチル・カメラまたはビデオ・カメラのようなポータブル・デバイスあるいはハンドヘルド・デバイスと、例えばセルラ電話のような１または複数のカメラを含むポータブル通信デバイスとを含む。
【００７９】
図１０ｂは、装置４００の実施４１０のブロック図を示す。区分記憶装置１４０は、色空間の１または複数の区分を格納する。各区分は、センサ１１０の予測応答の対応するセットから導かれる。そのような１つまたは複数の区分は、限定される訳ではないが、組み込まれている米国特許出願１１／２０８，２６１に記載されているような方法Ｍ５００および／または方法Ｍ６００の１または複数の実施にしたがって導かれる。区分記憶装置１４０は、上述するようなメモリ３２０の一部として実施されうる。画素クラシファイヤ１５０の実装１５５は、区分記憶装置１４０の１または複数の区分に従って、画像の画素を分類するように構成されうる。例えば、画素クラシファイヤ１５５は、本明細書で記述したようなタスクＵ１１０の１または複数の実施にしたがって画像の画素を分類するように構成されうる。
【００８０】
図１１ａは、装置４００の実施４２０のブロック図を示す。色セレクタ３８０は、タスクＵ３１０に従って選択された色を取得して、対応する区分領域を画素クラシファイヤ１５８に書き込むように構成される。例えば、色セレクタ３８０は、ディスプレイ１６０および入力デバイス（例えば、４方向ナビゲーション・キー）を介して、装置４２０のユーザによってなされる色選択をサポートするように構成されうる。色セレクタ３８０は、装置４２０の論理素子のアレイによって実行可能なソフトウェアおよび／またはファームウェアにおけるインタラクティブなルーチンとして実施されうる。このアレイはまた、画素クラシファイヤ１５８の命令を実行するようにも構成されうる。画素クラシファイヤ１５０の実装１５８は、選択された色に従って、画像の画素を分類するように構成される。例えば、画素クラシファイヤ１５８は、本明細書で記述されたようなタスクＵ３１５の１または複数の実施に従って、画像の画素を分類するように構成されうる。
【００８１】
図１１ｂは、装置４００の実施４３０のブロック図を示す。露光コントローラ３３０の実装３３５は、画像ブロック・クラシファイヤ３４０および計算機３５０を含む。画像ブロック・クラシファイヤ３４０は、画素クラシファイヤ１５０によって生成された画素分類に従って、画像のブロックを分類するように構成される。例えば、画像ブロック・クラシファイヤ３４０は、本明細書で記載したようなタスクＵ２２２の１または複数の実施を行うように構成されうる。計算機３５０は、画像ブロック・クラシファイヤ３４０によって生成されたブロック分類に従って、露光制御係数を計算するように構成される。例えば、計算機３５０は、本明細書で記載したようなタスクＵ３２０の１または複数の実施を行なうように構成されうる。画素クラシファイヤ１５０、画像ブロック・クラシファイヤ３４０、および計算機３５０は、マイクロプロセッサ、組込式コントローラ、およびＩＰコアのような論理素子の１または複数のアレイとして、および／または、そのような単数または複数のアレイによって実行可能な命令の１または複数のセットとして実施されうる。
【００８２】
記述された実施形態の先の紹介は、いかなる当業者も、本発明を製造または使用することを可能にするために提供される。これらの実施形態への様々な変形も可能である。また、本明細書で示された総括的な原理は、他の実施形態にも同様に適用されうる。本明細書で記述されるような方法は、ハードウェア、ソフトウェア。および／またはファームウェアで実現されうる。そのような方法の様々なタスクは、例えば、マイクロプロセッサ、組込式コントローラ、あるいはＩＰコアのような論理素子の１または複数のアレイによって実行可能な命令のセットとして実行されうる。一例では、１または複数のそのようなタスクが、例えばセルラ電話のようなパーソナル通信デバイスからなる様々なデバイスの動作を制御するように構成されたモバイル局モデム・チップまたはチップセット内での実行のために構成される。
【００８３】
実施形態に従う方法または装置は、露光調節された画像について、例えば、ＪＰＥＧ、ＰＮＧ、ＭＰＥＧ、またはＱｕｉｃｋｔｉｍｅのような標準的フォーマットに従う符合化または圧縮動作、画像認識、顔認識、あるいはアイデンティティ認証動作、および／または、セルラ電話のようなデバイスからの画像の送信のような１または複数の更なる動作を実行するように構成される。
【００８４】
実施形態は、特定用途向け集積回路へ組み込まれた回路構成として、あるいは、不揮発性記憶装置へロードされたファームウェア・プログラムまたは機械読取可能コードとしてデータ記憶媒体からロードされたから、データ記憶媒体へロードされるソフトウェア・プログラムとして一部または全体がハード・ワイヤ回路として実施される。このようなコードは、例えばマイクロプロセッサまたはその他のデジタル信号処理ユニットのような論理素子のアレイによって実行することが可能である。データ記憶媒体は、半導体メモリ（限定する訳ではないが、動的ＲＡＭまたは静的ＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを含む）、あるいは強誘電体メモリ、磁気抵抗式メモリ、オブシンスキー効果メモリ、重合体メモリ、あるいは相転移メモリ、あるいは磁気ディスクや光ディスクのようなディスク媒体のような記憶素子のアレイとして実施されうる。又は磁気あるいは光ディスクのようなディスク媒体。
【００８５】
ＣＣＤセンサおよびＣＭＯＳセンサが本明細書で述べられたが、用語「画像センサ」は、アモルファス・センサおよび水晶シリコン・センサのみならず、その他の材料、半導体、および／または異質接合を用いて生成されたセンサを含む複数の光感知サイトまたは素子を有する任意のセンサを含む。本明細書で開示された原理はまた、例えばカラー・フィルム画像を感光紙に自動印刷する装置、インクジェット・プリンタまたはレーザ・プリンタ、複写機、スキャナ等のようなその他の画像生成装置にも適用可能である。従って、本発明は、上記された実施形態に限定されているとは意図されず、本明細書で何れかの方式で開示された原理および斬新な特徴と一致する最も広い範囲が与えられるべきである。
【特許請求の範囲】
【請求項１】
画像処理方法であって、
色空間の予め定めた区分に従って、画像の複数の画素の各々を分類することと、
前記複数の画素の各々を分類した結果に基づいて、露光制御動作を実行することとを備え、
前記画像は、センサによってキャプチャされた生の画像に基づき、前記色空間の予め定めた区分は、前記センサの予測された複数の応答に基づく方法。
【請求項２】
前記色空間の予め定めた区分は、人間の皮膚の表面に対する前記センサの予測された複数の応答に基づく請求項１に記載の画像処理方法。
【請求項３】
前記予め定めた区分に従って、複数の画素の各々を分類することは、前記予め定めた区分と前記画素の色値との関係に従って、前記複数の画素の各々を、第１の画素クラスと第２の画素クラスとのうちの１つに割り当てることを含み、
前記露光制御動作を実行することは、前記画像の複数のブロックの各々を、（Ａ）前記第１の画素クラスに割り当てられたブロック内の画素の数と、（Ｂ）しきい値との関係に従って、第１のブロック・クラスと第２のブロック・クラスとのうちの１つに割り当てることを含み、
前記露光制御動作を実行することは、前記第１のブロック・クラスに割り当てられたブロックの平均輝度値に基づいて露光制御係数を計算することを含む請求項１に記載の画像処理方法。
【請求項４】
前記露光制御動作を実行することは、
前記複数の画素の各々を分類した結果に基づいて露光制御係数を計算することと、
前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えることと
を含む請求項１に記載の画像処理方法。
【請求項５】
前記露光制御動作を実行することは、
前記複数の画素の各々を分類した結果に従って、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つに割り当てることと、
前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて、露光制御係数を計算することと
を含む請求項１に記載の画像処理方法。
【請求項６】
前記露光制御動作を実行することは、前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えることを含む請求項５に記載の画像処理方法。
【請求項７】
前記画像の複数の画素の各々を分類することは、画素分類マップの要素の値を計算することを含み、
前記方法は、前記画素分類マップについてノイズ低減動作を実行することを含み、
前記露光制御動作を実行することは、前記ノイズ低減された画素分類マップに基づく請求項１に記載の画像処理方法。
【請求項８】
請求項１に記載の画像処理方法を記述する機械実行可能命令を有するデータ記憶媒体。
【請求項９】
生の画像をキャプチャするように構成されたセンサと、
色空間の予め定めた区分にしたがって、前記生の画像に基づき画像の画素を分類するように構成された画素クラシファイヤと、
前記画素の分類に基づいて、露光制御動作を実行するように構成された露光コントローラとを備え、
前記色空間の予め定めた区分は、前記センサの予測された複数の応答に基づく装置。
【請求項１０】
前記色空間の予め定めた区分は、人間の皮膚の表面に対する前記センサの予測された複数の応答に基づく請求項９に記載の装置。
【請求項１１】
前記画素クラシファイヤは、前記予め定めた区分と前記画素の色値との関係に従って、前記複数の画素の各々を、第１の画素クラスと第２の画素クラスとのうちの１つに割り当てるように構成され、
前記露光コントローラは、前記画像の複数のブロックの各々を、（Ａ）前記第１の画素クラスに割り当てられたブロック内の画素の数と、（Ｂ）しきい値との関係に従って、第１のブロック・クラスと第２のブロック・クラスとのうちの１つに割り当てるように構成され、
前記露光コントローラは、前記第１のブロック・クラスに割り当てられたブロックの平均輝度値に基づいて露光制御係数を計算するように構成された請求項９に記載の装置。
【請求項１２】
前記露光コントローラは、前記画素の分類の結果に基づいて露光制御係数を計算し、前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えるように構成された請求項９に記載の装置。
【請求項１３】
前記露光コントローラは、前記画素の分類に従って、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つに割り当てるように構成された画像ブロック・クラシファイヤを含み、
前記露光コントローラは、前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて、露光制御係数を計算するように構成された計算機を含む請求項９に記載の装置。
【請求項１４】
前記露光コントローラは、前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えるように構成された請求項１３に記載の装置。
【請求項１５】
前記画素クラシファイヤは、画素分類マップの要素の値を計算するように構成され、
前記装置は、前記画素分類マップについてノイズ低減動作を実行するように構成され、
前記露光コントローラは、前記ノイズ低減された画素分類マップに基づいて前記露光制御動作を実行するように構成された請求項９に記載の装置。
【請求項１６】
前記装置はカメラを備える請求項９に記載の装置。
【請求項１７】
前記装置は無線通信デバイスを備える請求項９に記載の装置。
【請求項１８】
少なくとも２つの異なる色から色を選択することと、
前記選択された色にしたがって、画像の複数の画素の各々を分類することと、
前記複数の画素の各々の分類の結果に基づいて、露光制御係数を計算することと、
前記露光制御係数にしたがって、前記画像の複数の画素の各々の輝度値を変えることと
を備える画像処理方法。
【請求項１９】
前記少なくとも２つの異なる色から色を選択することは、前記画像から色を選択することを含む請求項１８に記載の画像処理方法。
【請求項２０】
前記方法は、前記露光制御係数に基づいて、画像キャプチャ動作中、画像装置の動作を制御することを含む請求項１８に記載の画像処理方法。
【請求項２１】
前記露光制御係数を計算することは、
前記複数の画素の各々を分類した結果にしたがって、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つへ割り当てることと、
前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて前記露光制御係数を計算することと
を含む請求項１８に記載の画像処理方法。
【請求項２２】
請求項１８に記載の画像処理方法を記述する機械実行可能命令を有するデータ記憶媒体。
【請求項２３】
少なくとも２つの異なる色から選択された色にしたがって、画像の画素を分類するように構成された画素クラシファイヤと、
前記画素の分類に基づいて、露光制御係数を計算し、前記露光制御係数にしたがって、前記画像の複数の画素の各々の輝度値を変えるように構成された露光コントローラと
を備える装置。
【請求項２４】
前記露光コントローラは、前記画像から選択された色を取得するように構成された色セレクタを含む請求項２３に記載の装置。
【請求項２５】
前記露光コントローラは、前記露光制御係数に基づいて、画像キャプチャ動作中、画像装置の動作を制御するように構成された請求項２３に記載の装置。
【請求項２６】
前記露光コントローラは、前記画素の分類にしたがって、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つへ割り当てるように構成され、
前記露光コントローラは、前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて前記露光制御係数を計算するように構成された請求項２３に記載の装置。
【請求項２７】
前記装置はカメラを備える請求項２３に記載の装置。
【請求項１】
画像処理方法であって、
色空間の予め定めた区分に従って、画像の複数の画素の各々を分類することと、
前記複数の画素の各々を分類した結果に基づいて、露光制御動作を実行することとを備え、
前記画像は、センサによってキャプチャされた生の画像に基づき、前記色空間の予め定めた区分は、前記センサの予測された複数の応答に基づく方法。
【請求項２】
前記色空間の予め定めた区分は、人間の皮膚の表面に対する前記センサの予測された複数の応答に基づく請求項１に記載の画像処理方法。
【請求項３】
前記予め定めた区分に従って、複数の画素の各々を分類することは、前記予め定めた区分と前記画素の色値との関係に従って、前記複数の画素の各々を、第１の画素クラスと第２の画素クラスとのうちの１つに割り当てることを含み、
前記露光制御動作を実行することは、前記画像の複数のブロックの各々を、（Ａ）前記第１の画素クラスに割り当てられたブロック内の画素の数と、（Ｂ）しきい値との関係に従って、第１のブロック・クラスと第２のブロック・クラスとのうちの１つに割り当てることを含み、
前記露光制御動作を実行することは、前記第１のブロック・クラスに割り当てられたブロックの平均輝度値に基づいて露光制御係数を計算することを含む請求項１に記載の画像処理方法。
【請求項４】
前記露光制御動作を実行することは、
前記複数の画素の各々を分類した結果に基づいて露光制御係数を計算することと、
前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えることと
を含む請求項１に記載の画像処理方法。
【請求項５】
前記露光制御動作を実行することは、
前記複数の画素の各々を分類した結果に従って、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つに割り当てることと、
前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて、露光制御係数を計算することと
を含む請求項１に記載の画像処理方法。
【請求項６】
前記露光制御動作を実行することは、前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えることを含む請求項５に記載の画像処理方法。
【請求項７】
前記画像の複数の画素の各々を分類することは、画素分類マップの要素の値を計算することを含み、
前記方法は、前記画素分類マップについてノイズ低減動作を実行することを含み、
前記露光制御動作を実行することは、前記ノイズ低減された画素分類マップに基づく請求項１に記載の画像処理方法。
【請求項８】
請求項１に記載の画像処理方法を記述する機械実行可能命令を有するデータ記憶媒体。
【請求項９】
生の画像をキャプチャするように構成されたセンサと、
色空間の予め定めた区分にしたがって、前記生の画像に基づき画像の画素を分類するように構成された画素クラシファイヤと、
前記画素の分類に基づいて、露光制御動作を実行するように構成された露光コントローラとを備え、
前記色空間の予め定めた区分は、前記センサの予測された複数の応答に基づく装置。
【請求項１０】
前記色空間の予め定めた区分は、人間の皮膚の表面に対する前記センサの予測された複数の応答に基づく請求項９に記載の装置。
【請求項１１】
前記画素クラシファイヤは、前記予め定めた区分と前記画素の色値との関係に従って、前記複数の画素の各々を、第１の画素クラスと第２の画素クラスとのうちの１つに割り当てるように構成され、
前記露光コントローラは、前記画像の複数のブロックの各々を、（Ａ）前記第１の画素クラスに割り当てられたブロック内の画素の数と、（Ｂ）しきい値との関係に従って、第１のブロック・クラスと第２のブロック・クラスとのうちの１つに割り当てるように構成され、
前記露光コントローラは、前記第１のブロック・クラスに割り当てられたブロックの平均輝度値に基づいて露光制御係数を計算するように構成された請求項９に記載の装置。
【請求項１２】
前記露光コントローラは、前記画素の分類の結果に基づいて露光制御係数を計算し、前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えるように構成された請求項９に記載の装置。
【請求項１３】
前記露光コントローラは、前記画素の分類に従って、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つに割り当てるように構成された画像ブロック・クラシファイヤを含み、
前記露光コントローラは、前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて、露光制御係数を計算するように構成された計算機を含む請求項９に記載の装置。
【請求項１４】
前記露光コントローラは、前記露光制御係数に従って、前記画像の複数の画素の各々の輝度値を変えるように構成された請求項１３に記載の装置。
【請求項１５】
前記画素クラシファイヤは、画素分類マップの要素の値を計算するように構成され、
前記装置は、前記画素分類マップについてノイズ低減動作を実行するように構成され、
前記露光コントローラは、前記ノイズ低減された画素分類マップに基づいて前記露光制御動作を実行するように構成された請求項９に記載の装置。
【請求項１６】
前記装置はカメラを備える請求項９に記載の装置。
【請求項１７】
前記装置は無線通信デバイスを備える請求項９に記載の装置。
【請求項１８】
少なくとも２つの異なる色から色を選択することと、
前記選択された色にしたがって、画像の複数の画素の各々を分類することと、
前記複数の画素の各々の分類の結果に基づいて、露光制御係数を計算することと、
前記露光制御係数にしたがって、前記画像の複数の画素の各々の輝度値を変えることと
を備える画像処理方法。
【請求項１９】
前記少なくとも２つの異なる色から色を選択することは、前記画像から色を選択することを含む請求項１８に記載の画像処理方法。
【請求項２０】
前記方法は、前記露光制御係数に基づいて、画像キャプチャ動作中、画像装置の動作を制御することを含む請求項１８に記載の画像処理方法。
【請求項２１】
前記露光制御係数を計算することは、
前記複数の画素の各々を分類した結果にしたがって、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つへ割り当てることと、
前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて前記露光制御係数を計算することと
を含む請求項１８に記載の画像処理方法。
【請求項２２】
請求項１８に記載の画像処理方法を記述する機械実行可能命令を有するデータ記憶媒体。
【請求項２３】
少なくとも２つの異なる色から選択された色にしたがって、画像の画素を分類するように構成された画素クラシファイヤと、
前記画素の分類に基づいて、露光制御係数を計算し、前記露光制御係数にしたがって、前記画像の複数の画素の各々の輝度値を変えるように構成された露光コントローラと
を備える装置。
【請求項２４】
前記露光コントローラは、前記画像から選択された色を取得するように構成された色セレクタを含む請求項２３に記載の装置。
【請求項２５】
前記露光コントローラは、前記露光制御係数に基づいて、画像キャプチャ動作中、画像装置の動作を制御するように構成された請求項２３に記載の装置。
【請求項２６】
前記露光コントローラは、前記画素の分類にしたがって、前記画像の複数のブロックの各々を、複数のブロック・クラスのうちの１つへ割り当てるように構成され、
前記露光コントローラは、前記ブロック・クラスのうちの１つのブロックの平均輝度値に基づいて前記露光制御係数を計算するように構成された請求項２３に記載の装置。
【請求項２７】
前記装置はカメラを備える請求項２３に記載の装置。
【図１ａ】
【図１ｂ】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図８】
【図９】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１ｂ】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図８】
【図９】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【公開番号】特開２０１３−８１２０９（Ｐ２０１３−８１２０９Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２５９８９８（Ｐ２０１２−２５９８９８）
【出願日】平成２４年１１月２８日（２０１２．１１．２８）
【分割の表示】特願２０１０−２２７２６３（Ｐ２０１０−２２７２６３）の分割
【原出願日】平成１９年３月１９日（２００７．３．１９）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２５９８９８（Ｐ２０１２−２５９８９８）
【出願日】平成２４年１１月２８日（２０１２．１１．２８）
【分割の表示】特願２０１０−２２７２６３（Ｐ２０１０−２２７２６３）の分割
【原出願日】平成１９年３月１９日（２００７．３．１９）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]