自動バックライト検出
特定の実施形態では、オートホワイトバランスモジュールにおいて画像データを受け取り、オートホワイトバランスデータを発生させることを含む方法を開示する。方法は、オートホワイトバランスデータに基づいて、バックライト状態を検出することをさらに含む。バックライト状態を自動的に検出する装置も開示する。
【発明の詳細な説明】
【開示の分野】
【０００１】
本開示は、一般的に、ビデオおよび静止画像処理に向けられており、より詳細には、画像発生に影響を与えるバックライト検出に向けられている。
【０００２】
背景
ライティング条件は、スチールカメラおよびビデオカメラによって撮影されたデジタル画像の品質に影響を与える。例えば、バックライティング状態のもと、対象物の画像を前景に取り込むと、結果的に、関心のある対象物が、背景よりも、より暗く見えることになることがある。それゆえ、取り込んだ画像上の対象物の細部が見づらい。
【０００３】
バックライティングにより、画像の背景は、関心のある対象物よりもより高いルミナンスを有することになる。バックライト状態は、屋内、屋外、または、混在した屋内および屋外環境で起こり得る。バックライティングから結果的に生じる明るい背景が原因で、関心のある対象物が、所望のものよりも、より暗くなることがある。
【０００４】
デジタル写真技術における進歩は、バックライティングの影響を弱める技術を導いた。例えば、フラッシュや、バックライトガンマや、ルミナンス適合や、増加した露光能力の進歩により、関心のある対象物を明るくするように機能することができる。
【０００５】
これらの進歩にもかかわらず、一部のユーザが、このようなバックライティング補償技術から利益を得ることができない。従来、ユーザは、バックライティング補償機能を手動でアクティブ化する。切り替えまたは他のアクティブ化シーケンスの手動の性質は、バックライティング補償機能の電源を入れるのはいつが適切であるかを、ユーザは知っている必要がある。このような機能をアクティブ化するのに伴うステップが、一部のユーザにとっては不便であることがある。例えば、写真家が、バックライトスイッチを入れるために、写真の被写体から注意をそらすことを嫌がるかもしれない。それゆえ、一部のユーザは、バックライティング補償技術を利用せず、低減したピクチャ品質で画像を取り込まざるを得なくなっている。
【概要】
【０００６】
特定の実施形態は、バックライティングテストを組み合わせたものを使用して、バックライティング状態を自動的に検出する。第１のテストは、画像データから発生されたヒストグラムデータが、高い周波数しきい値および低い周波数しきい値を超えるか否かを評価することによって、バックライト状態の存在を決定する。第２のテストは、収集したオートホワイトバランス統計を使用して、画像データの屋内領域および屋外領域を識別する。屋内データおよび屋外データの比較をさらに使用して、バックライト状態の存在を決定する。第３のテストが、画像中で顔を検出した場合に、実施形態は、顔のバックライト補償を提供することができる。
【０００７】
別の特定の実施形態では、オートホワイトバランスモジュールにおいて画像データを受け取り、オートホワイトバランスデータを発生させることを含む方法を開示する。方法は、オートホワイトバランスデータに基づいて、バックライト状態を検出することをさらに含む。
【０００８】
別の実施形態では、画像データを受け取るように構成されているオートホワイトバランスモジュールを備えている装置を開示する。装置は、バックライト検出モジュールを備えている。バックライト検出モジュールは、オートホワイトバランスモジュールからのデータを受け取るように結合されており、オートホワイトバランスモジュールからのデータの評価に基づいて、バックライト状態が存在するか否かを決定する論理を備えている。
【０００９】
別の実施形態では、画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させる手段とともに、ホワイトバランスデータに基づいて、バックライト状態を検出する手段を備えている装置を開示する。
【００１０】
別の実施形態では、コンピュータ実行可能なコードを記憶するコンピュータ読み取り可能媒体を開示する。コンピュータ読み取り可能媒体は、画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させるための、コンピュータによって実行可能なコードを含む。コンピュータによって実行可能なコードは、ホワイトバランスデータに基づいて、バックライト状態を検出してもよい。
【００１１】
開示した実施形態によって提供される特定の利点は、向上した、ユーザの利便性および画像品質を含んでいてもよい。実施形態は、連続的に実行するインテリジェントな自動バックライト検出アルゴリズムを含んでいてもよい。自動バックライト検出アルゴリズムがバックライト状態を検出したとき、装置は、ユーザの介入なしに、バックライト補償を自動的に適用できる。
【００１２】
本開示の他の様態、利点、および特徴は、以下のセクション：図面の簡単な説明、詳細な説明、および特許請求の範囲、を含む明細書全体のレビューの後に明らかになるだろう。
【図面の簡単な説明】
【００１３】
【図１】図１は、自動バックライト検出装置の特定の例示的な実施形態のブロックダイアグラムである。
【図２】図２は、ルミナンスを示す周波数プロットと、図１の装置のヒストグラムモジュールによってバックライティング状態を検出するために使用するしきい値とを含むヒストグラムである。
【図３】図３は、オートホワイトバランスデータを発生させるための、図１の装置のオートホワイトバランスモジュールによる統計収集プロセスを図示しているグラフであり、このグラフは、色空間の、２次元のグレー画素を示している長方形ボックスを図示している。
【図４】図４は、プロットされた基準点および図１のオートホワイトバランスモジュールによって発生されたオートホワイトバランスデータを使用して生成された屋内サンプル点の分布を示しているグラフである。
【図５】図５は、プロットされた基準点および図１のオートホワイトバランスモジュールによって発生されたオートホワイトバランスデータを使用して生成された屋外サンプル点の分布を示しているグラフである。
【図６】図６は、図１のオートホワイトバランスモジュールによって発生されたオートホワイトバランスデータを使用して生成された、屋内サンプル点および屋外のサンプル点の両方とともに、基準点の分布を示しているグラフである。
【図７】図７は、図１の装置によって制御され得るような、バックライト状態を自動的に検出する方法の特定の実施形態を示しているフローチャートである。
【図８】図８は、図１の装置によって制御され得るような、バックライト状態を自動的に検出する方法の、別の特定の実施形態を示しているフローチャートである。
【図９】図９は、図１の装置によって制御され得るような、画像の屋内部分および屋外部分を識別する方法の特定の実施形態を示しているフローチャートである。
【図１０】図１０は、図１の装置によって制御され得るような、複数のエリアのそれぞれ内のグレー画素の平均値を決定する方法の特定の実施形態を示しているフローチャートである。
【図１１】図１１は、オートホワイトバランスデータを使用して、バックライティング状態を検出して補償するように構成されている自動バックライト検出デバイスの特定の実施形態のブロックダイアグラムである。
【図１２】図１２は、オートホワイトバランスデータを使用して、バックライティング状態を検出して補償するように構成されている自動バックライト検出デバイスの別の特定の実施形態のブロックダイアグラムである。
【詳細な説明】
【００１４】
図１は、バックライト状態を自動的に検出できる装置１００を図示しているブロックダイアグラムである。装置１００は、さまざまな実施形態にしたがった、画像データ１０４上でさまざまな処理技術を記憶および実行するための画像処理ユニット１０２を備えていてもよい。ここで記述するように、画像処理ユニット１０２は、オートホワイトバランスデータを発生させて使用し、バックライト状態を検出できる。一般的に、装置１００は、バックライティング状態の自動検出と、バックライティング状態の補正または補償とを提供することによって、デジタル画像を向上させることができる。
【００１５】
画像処理ユニット１０２は、チップセットを備えていてもよく、チップセットは、デジタルシグナルプロセッサ（ＤＳＰ）や、オンチップメモリや、ハードウェア論理または回路を含む。さらに詳細には、画像処理ユニット１０２は、プロセッサや、ハードウェアや、ソフトウェアまたはファームウェアや、そのようなものとして実現し得る、画像処理ユニット１０２のさまざまなコンポーネントのうちの任意のものを組み合わせたものを備えていてもよい。
【００１６】
図１の図示した例では、装置１００は、ローカルメモリ１０６と、メモリ制御装置１０８も備えている。ローカルメモリ１０６は、生画像データを記憶できる。ローカルメモリ１０６は、画像処理ユニット１０２によって実行された処理に続いて処理された画像データも記憶できる。
【００１７】
メモリ制御装置１０８は、ローカルメモリ１０６内のメモリ構成を制御できる。メモリ制御装置１０８は、ローカルメモリ１０６から画像処理ユニット１０２へのメモリロードも制御できる。メモリ制御装置１０８は、画像処理ユニット１０２からローカルメモリ１０６への書き戻しも制御できる。画像処理ユニット１０２によって処理される画像は、画像取り込みに続いて、画像取り込み装置１１０からローカルメモリ１０６中に直接的にロードされてもよく、または、画像処理の間にローカルメモリ１０６中に記憶されてもよい。
【００１８】
例示的な実施形態では、装置１００は、処理する画像を取り込むための画像取り込み装置１１０を備えているが、本開示は、この点に限定していない。画像取り込み装置１１０は、相補型金属酸化膜半導体（ＣＭＯＳ）センサエレメント、電荷結合素子（ＣＣＤ）センサエレメント、または、これらに類するもののような固体状態センサエレメントのアレイを含んでいてもよい。代替的に、または、加えて、画像取り込み装置１１０は、１組の画像センサを備えていてもよく、１組の画像センサは、各センサの表面上で配置されている色フィルタアレイ（ＣＦＡ）を備えている。いずれにせよ、画像処理の際の待ち時間を避けるために、画像取り込み装置１１０は、画像処理ユニット１０２に直接的に結合させてもよい。当業者は、画像データ１０４を取り込むために他のタイプの画像センサも使用できることを正しく認識すべきである。画像取り込み装置１１０は、静止画像またはフルモーションビデオシーケンスを取り込むことができる。後のケースでは、ビデオシーケンスの１つ以上の画像フレーム上で、画像処理を実行することができる。
【００１９】
装置１００は、本開示で記述したような画像処理に続いて画像を表示するディスプレイ１１４を備えていてもよい。画像処理の後、画像を、ローカルメモリ１０６に、または、外部メモリ１１２に書き込んでもよい。ユーザへの提示のために、処理した画像をディスプレイ１１４に送ってもよい。
【００２０】
いくつかのケースでは、装置１００は、複数のメモリを備えていてもよい。外部メモリ１１２は、例えば、比較的大きいメモリ空間を備えていてもよい。外部メモリ１１２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含んでいてもよい。他の例では、外部メモリ１１２は、フラッシュメモリ、または他の何らかのタイプのデータ記憶ユニットのような不揮発性メモリを含んでいてもよい。ローカルメモリ１０６は、比較的より小さくて、より速いメモリ空間を備えていてもよい。例によると、ローカルメモリ１０６は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を含んでいてもよい。
【００２１】
ローカルメモリ１０６および外部メモリ１１２は、単なる例示であり、同じメモリコンポーネント中に組み合わせてもよく、または、多数の他のコンフィギュレーションで実現してもよい。特定の実施形態では、ローカルメモリ１０６は、典型的にＳＤＲＡＭでは、外部メモリ１１２の一部を形成する。このケースでは、画像処理ユニット１０２とともにメモリもオンチップで位置付けられていないという意味で、ローカルメモリ１０６および外部メモリ１１２の両方とも、外部に存在するかもしれない。代替的に、ローカルメモリ１０６は、オンチップメモリバッファを備えていてもよく、一方では、外部メモリ１１２は、チップの外部に存在していてもよい。ローカルメモリ１０６と、ディスプレイ１１４と、外部メモリ１１２（および、必要ならば、他のコンポーネント）は、通信バス１１６を通して結合されていてもよい。
【００２２】
装置１００は、処理した画像をまたは画像のコード化されたシーケンスを別のデバイスに送信するための（示していない）送信機も備えていてもよい。本開示の技術は、デジタルカメラ機能性またはデジタルビデオ能力を備える、（セルラフォン向けのような）ハンドヘルドワイヤレス通信デバイスによって使用できる。そのケースでは、変調された情報のワイヤレス通信を促進するために、デバイスは、搬送波形上へのベースバンド信号のワイヤレス変調を促進するための変調復調器（ＭＯＤＥＭ）も備えていてもよい。
【００２３】
図１の画像処理ユニット１０２は、バックライト検出モジュール１１８と、オートホワイトバランスモジュール１２０と、ヒストグラムモジュール１２２と、顔検出モジュール１２４と、バックライト補償モジュール１２６とを備えていてもよい。以下でさらにより詳細に説明するように、バックライト検出モジュール１１８は、複数の検出プロセスを用いることができる。バックライト検出モジュール１１８は、オートホワイトバランスモジュール１２０からデータを受け取るように結合されていてもよい。バックライト検出モジュール１１８は、オートホワイトバランスモジュール１２０からのデータの評価に基づいて、バックライト状態を検出するように構成されていてもよい。例えば、バックライト検出モジュール１１８は、画像の第１の部分を屋内領域として、画像の第２の部分を屋外領域として識別するように構成されていてもよい。バックライト検出モジュール１１８は、屋内領域のエレメントを第１のしきい値と比較することによって、ブライトネス状態を評価することができる。バックライト検出モジュール１１８は、屋外領域のエレメントを第２のしきい値とさらに比較してもよい。第１のしきい値および第２のしきい値と比較したような屋内領域および屋外領域の評価したブライトネス状態に応答して、バックライト決定を行うことができる。
【００２４】
バックライト検出モジュール１１８は、バックライト決定論理１２８と、屋内／屋外比較論理１３０と、オートホワイトバランスモジュール１２０とインターフェースするためのインターフェース１３２とを備えていてもよい。屋内／屋外比較論理１３０は、オートホワイトバランスモジュール１２０の出力を処理して、受け取った画像データ１０４の屋内領域および屋外領域を識別できる。バックライト決定論理１２８は、屋内／屋外比較論理１３０に結合されており、バックライト状態を決定するように構成されていてもよい。このように、バックライト決定論理１２８の出力１３８は、オートホワイトバランスモジュール１２０によって発生されたオートホワイトバランスデータに部分的に基づいていてもよい。
【００２５】
オートホワイトバランスモジュール１２０は、画像データ１０４を受け取るようにと、統計を収集するように構成されていてもよい。オートホワイトバランスモジュール１２０の実施形態は、統計にしたがって、ホワイトバランス利得をさらに適用してもよい。オートホワイトバランスモジュール１２０は、バックライティングを評価するためにバックライト検出モジュール１１８によって使用されるオートホワイトバランスデータを出力してもよい。
【００２６】
バックライティングを検出するために使用される別のテストユニットは、ヒストグラムモジュール１２２を備えている。ヒストグラムモジュール１２２は、高いしきい値の割合および低いしきい値の割合をヒストグラムデータに適用して、バックライト状態の存在を決定できる。ヒストグラムデータが、高いしきい値および低いしきい値の両方を超えた場合に、バックライト状態が存在することを、ヒストグラムモジュール１２２は決定できる。例えば、ヒストグラムは、画像におけるルミナンスを示す周波数グラフを含んでいてもよい。高いしきい値の割合および低いしきい値の割合が、ヒストグラム中に含まれていてもよい。ヒストグラムモジュール１２２は、いくつかの画素が、低いしきい値よりも暗いことを決定できる。ヒストグラムは、高いしきい値よりも明るいいくつかの画素が存在することも示すことができる。両方のしきい値を超える画素が存在するときには、ヒストグラムモジュール１２２は、バックライト状態を検出したことを示すことができる。
【００２７】
ヒストグラムの両方のしきい値を超えていない場合、ヒストグラムモジュール１２２は、代替的に、バックライト状態を検出していないことを示すことができる。例えば、高いしきい値よりも明るい画素が存在するが、低いしきい値よりも暗い画素が存在しない場合に、ヒストグラムモジュール１２２は、バックライト状態が存在しないことを決定することができる。高いしきい値も低いしきい値のいずれも超えない場合にも、同じ結果を決定することができる。
【００２８】
実施形態は、ヒストグラムモジュール１２２を使用して、ヒストグラムデータを評価できる。バックライティング状態を検出するために、ヒストグラムデータを処理してもよい。例えば、それぞれの端においてピークを含むヒストグラムは、激しいバックライト状態を示すことができる。ヒストグラムの高い端においてピークを持ち、暗い領域中で増加している別のヒストグラムは、適度なバックライト状態を示すことができる。高い端において１つのピークを持つさらなる別のヒストグラムは、わずかなバックライト状態に対応していてもよい。
【００２９】
ヒストグラムモジュール１２２は、このようなヒストグラムデータを使用して、画像データ１０４に関する第１のバックライトテストを実行できる。例えば、第１の値よりも低いブライトネス値を持つ画素数が第１のしきい値を超えるか否かを、ヒストグラムモジュール１２２は決定できる。ヒストグラムモジュール１２２は、第２の値よりも大きいブライトネス値を持つ画素数が、第２のしきい値を超えるか否かも決定できる。
【００３０】
顔検出モジュール１２４は、バックライト補償を調整して、検出した顔を適切なブライトネスレベルに至らせることができる。顔が画像データ中に存在しない場合には、普通のバックライト補償を適用できる。いくつかの実施形態では、顔検出モジュール１２４は、補助的なテストプロセスを含んでいてもよい。
【００３１】
バックライト補償ユニット１２６は、バックライト現象の影響を弱めるプロセスを含んでいてもよく、これは、顔優先バックライト補償技術を含む。数ある中でも、フラッシュ技術や、バックライトガンマ技術や、ルミナンス適合技術や、向上した露光技術を使用して、比較的より暗い、関心のある対象物を明るくすることができる。
【００３２】
画像データ１０４が、画像処理ユニット１０２に到達する。図１の実施形態中に示したような、ヒストグラムモジュール１２２を使用して、画像データ１０４から発生されたヒストグラムデータに基づいて、バックライト状態を検出できる。画像データ１０４は、同時に、オートホワイトバランスモジュール１２０に到達することがある。オートホワイトバランスモジュール１２０は、バックライト状態があり得るか否かを決定するために、バックライト検出モジュール１１８によって評価されるオートホワイトバランスデータを収集する。ヒストグラムモジュール１２２およびオートホワイトバランスモジュール１２０の出力を結合的に処理して、バックライト状態が存在するか否かを決定できる。例えば、ヒストグラムモジュール１２２およびオートホワイトバランスモジュール１２０の両方の各出力がバックライト状態の可能性を示すことを決定した後に、バックライト検出モジュール１１８がバックライト状態を検出できる。
【００３３】
バックライト状態を検出しなかった場合には、バックライト補償モジュール１２６のルーチンバックライト補償プロセス１３４によって、画像データ１０４を処理してもよい。画像データ１０４は、顔検出モジュール１２４によっても処理できる。顔検出モジュール１２４は、画像データ１０４中に何らかの顔が含まれているか否かを決定できる。顔検出モジュール１２４の決定に基づいて、画像データ１０４を、バックライト補償モジュール１２６の顔優先バックライト補償プロセス１３６に渡してもよく、さらに、または、代替実施形態では、ルーチンバックライト補償プログラム１３４に渡してもよい。
【００３４】
装置１００は、ビデオシーケンスをコーディングし、ビデオシーケンスを送信および／または受信できる、画像取り込みデバイスまたはデジタルビデオデバイスの一部を形成していてもよい。例として、装置１００は、スタンドアローンデジタルカメラまたはビデオカムコーダーや、セルラまたは衛星無線電話機のようなワイヤレス通信デバイスや、パーソナルデジタルアシスタント（ＰＤＡ）や、コンピュータや、または、画像処理が望ましい、イメージング能力またはビデオ能力を持つ何らかのデバイスを含んでいてもよい。
【００３５】
多数の他のエレメントも、装置１００中に備えられていてもよいが、説明を簡単かつ容易にするために、図１中では特に図示していない。図１中に図示したアーキテクチャは、単なる例示的であるが、ここで記述した技術は、さまざまな他のアーキテクチャとともに実現してもよい。
【００３６】
図２は、図１のヒストグラムモジュール１２２によって、発生され処理され得る、例示的なヒストグラム２００を示している。バックライティング状態を検出するために、ヒストグラム２００のデータは自動的に評価できる。図２の実施形態中で示したように、ヒストグラム２００は、ルミナンスを示す周波数プロット２０２を含んでいる。低いしきい値２０４を含む線と、高いしきい値２０６を含む線とを、ヒストグラム２００中に含んでいる。図２中に示しているように、例示的なヒストグラム２００は、低いしきい値２０４よりも暗い、いくつかの画素２０８を含んでいる。ヒストグラム２００は、高いしきい値２０６よりも明るい、いくつかの画素２１０が存在することも示す。示しているように、両方のしきい値２０４、２０６をそれぞれ超える画素２０８、２１０が存在する場合に、ヒストグラムモジュール１２２は、バックライト状態を検出することを、または、バックライト状態があり得ることを決定できる。
【００３７】
ヒストグラムの画素データが両方のしきい値２０４、２０６を超えていない場合に、ヒストグラムモジュール１２２は、バックライト状態を検出していないことを出力してもよい。例えば、ヒストグラムは、低いしきい値よりも暗い画素を含むことがあるが、高いしきい値よりも明るい画素を持たないかもしれない。このような例では、ヒストグラムモジュール１２２は、バックライト状態を検出しないことを決定できる。
【００３８】
図２中で図示したヒストグラム検出技術は、多くのバックライトシーンを検出するために有利であるかもしれない。しかしながら、実際に大変暗く、関心のある対象物でないかもしれない、画像データ１０４中の対象物を、低いしきい値２０４よりも暗い画素が表すことがある。ヒストグラムモジュール１２２のバックライト決定を確認または開始するために、付加的なバックライトテストを使用してもよい。
【００３９】
図１のオートホワイトバランスモジュール１２０によって、１つのこのような付加的なバックライトテストを実行してもよい。オートホワイトバランスモジュール１２０が、受け取った画像データ１０４を処理し、オートホワイトバランスデータを含む統計を収集してもよい。バックライティング状態を検出するために、オートホワイトバランスデータを使用して、屋内サンプルおよび屋外サンプルを比較してもよい。図３は、統計を収集し、そうでなければ、屋内／屋外比較の際に使用するオートホワイトバランスデータを発生させるために、オートホワイトバランスモジュール１２０によって使用される方法をグラフで示している。
【００４０】
図３は、特に、統計収集方法を図示しているグラフ３００を示している。この統計収集方法は、グレー点３０４を中心とするＹＣｒＣｂ色空間の２次元（ＣｒおよびＣｂ）のグレー画素を含む長方形ボックス３０２を使用している。図３は、図１のオートホワイトバランスモジュール１２０が、どのように、受け取った画像データ１０４をフィルタリングして、オートホワイトバランスデータを発生させるかをグラフで示している。１つのコンフィギュレーションでは、図１のホワイトバランスモジュール１２０が、取り込んだ画像をフィルタリングして、予め定められたルミナンス範囲内に含まれているグレー領域を選択してもよい。その後、ホワイトバランスモジュール１２０が、予め定められたＣｒおよびＣｂ基準を満たす、これらの残りの領域を選択してもよい。オートホワイトバランスモジュール１２０のフィルタリングプロセスは、ルミナンス値を使用して、暗すぎる領域を、または、明るすぎる領域を取り除くことができる。ノイズおよび飽和問題のために、これらの領域を排除できる。オートホワイトバランスモジュール１２０は、関係するフィルタ関数を、多数の式として表すことができる。１組の不等式（式）を満たす領域を、可能性あるグレー領域として考えてもよい。
【００４１】
オートホワイトバランスモジュール１２０は、それぞれの領域に対する、Ｙの合計と、Ｃｂの合計と、Ｃｒの合計と、画素数とを提供できる。画像を、Ｎ×Ｎ領域に分割できる。以下の式：
Ｙ＜＝Ｙｍａｘ（１）
Ｙ＞＝Ｙｍｉｎ（２）
Ｃｂ＜＝ｍ１*Ｃｒ＋ｃ１（３）
Ｃｒ＞＝ｍ２*Ｃｂ＋ｃ２（４）
Ｃｂ＞＝ｍ３*Ｃｒ＋ｃ３（５）
Ｃｒ＜＝ｍ４*Ｃｂ＋ｃ４（６）
を使用して、統計収集をセットアップしてもよい。
【００４２】
値ｍ１−ｍ４およびｃ１−ｃ４は、予め定められた定数を表していてもよい。十分に広い範囲のフィルタリングされた対象物と、取り込んだ画像に対して推定されることになるイルミナントとを維持しつつ、フィルタリングされた対象物が正確にグレー領域を表すように、これらの定数を選択することができる。他の実施形態とともに、他の式を使用してもよい。
【００４３】
Ｌ×Ｍ長方形領域を含むように、画像を分割できる。ここで、ＬおよびＭは、正の整数である。この例では、Ｎ＝Ｌ×Ｍは、画像における領域の総数を表している。１つのコンフィギュレーションでは、オートホワイトバランスモジュール１２０が、取り込んだ画像を、８×８画素のまたは１６×１６画素の領域に分割できる。オートホワイトバランスモジュール１２０が、取り込んだ画像の画素を、例えば、ＲＧＢ成分からＹＣｒＣｂ成分に変換してもよい。
【００４４】
オートホワイトバランスモジュール１２０は、フィルタリングされた画素を処理して、領域のそれぞれに対する統計を発生させてもよい。例えば、オートホワイトバランスモジュール１２０は、フィルタリングされた、または、制約されたＣｂの合計と、フィルタリングされた、または、制約されたＣｒの合計、フィルタリングされた、または、制約されたＹの合計と、Ｙ、Ｃｂ、およびＣｒの合計に対する制約にしたがって選択された画素数とを決定できる。領域統計から、オートホワイトバランスモジュール１２０が、それぞれの領域の、Ｃｂと、Ｃｒと、Ｙとの合計を、選択された画素数で割ったものを決定し、Ｃｂ（平均Ｃｂ）と、Ｃｒ、（平均Ｃｒ）と、Ｙ（平均Ｙ）との平均を生成させることができる。装置１００は、ＲＧＢ成分に戻すように統計を変換し、Ｒ、Ｇ、およびＢの平均を決定してもよい。
【００４５】
図１のオートホワイトバランスモジュール１２０は、領域統計をグリッド座標系に変換し、座標系に対してフォーマット化された基準イルミナントに対する関係を決定できる。１つのコンフィギュレーションでは、オートホワイトバランスモジュール１２０は、領域統計を（Ｒ／Ｇ、Ｂ／Ｇ）座標系中のＮ×Ｎグリッドのうちの１つにコンバートして量子化してもよい。グリッド距離を線形的にパーティションする必要はない。例えば、非線形的にパーティションされたＲ／ＧおよびＢ／Ｇ軸から座標グリッドを形成してもよい。オートホワイトバランスモジュール１２０は、予め規定された範囲外である、（平均Ｒ／平均Ｇ、平均Ｂ／平均Ｇ）のペアを廃棄してもよい。
【００４６】
１つの実施形態では、オートホワイトバランスモジュール１２０は、効率的に、領域統計を、２次元座標系に変換することができる。しかしながら、２次元の座標系の使用に限定されておらず、装置１００は、座標系において任意の次元数を使用するように構成されていてもよい。例えば、別のコンフィギュレーションでは、装置１００は、予め定められた定数に対して正規化されたＲ値と、Ｇ値と、Ｂ値とに対応する３次元の座標系を使用してもよい。オートホワイトバランスモジュール１２０は、プロット化されているサンプルとの比較のために、基準イルミナントの位置を提供するように構成されていてもよい。
【００４７】
装置１００は、１つ以上の基準イルミナントに対する統計を記憶させるように構成されていてもよい。１つ以上の基準イルミナントに対する統計は、較正ルーチンの間に決定できる。例えば、このような較正ルーチンは、カメラのさまざまなパーツの性能を、製造プロセスの間に測定することができる。
【００４８】
特徴付けプロセスは、オフィスのライト下のセンサのタイプのＲ／ＧおよびＢ／Ｇを測定できる。製造プロセスでは、それぞれのセンサを測定し、特徴付けされた値からどのくらいセンサが離れているかを記録してもよい。所定のセンサモジュールに対して、例えば、図１の画像取り込み装置１１０のレンズまたはセンサのようなものに対して、特徴付けプロセスが、オフラインで行われることがある。屋外ライティング条件に対して、さまざまな時刻に対応している、グレー対象物の一連のピクチャを収集することがある。ピクチャは、異なる時刻の間に直射日光で取り込まれた画像、曇りライティングの間に取り込まれた画像、日陰の屋外で取り込まれた画像等を含んでいてもよい。これらのさまざまなライティング条件のもと、グレー対象物のＲ／ＧおよびＢ／Ｇ比が記録され得る。屋内ライティング条件に対して、暖色の蛍光灯や、寒色の蛍光灯や、白熱灯や、これらに類するものや、または、他の何らかのイルミナントを使用して、グレー対象物の画像を取り込むことがある。ライティング条件のそれぞれを、基準点として使用してもよい。屋内ライティング条件に対して、Ｒ／ＧおよびＢ／Ｇ比が記録される。
【００４９】
別のコンフィギュレーションでは、基準イルミナントは、Ｄ３０、Ｄ５０、およびＤ７０と呼ばれる、Ａ（白熱灯、タングステン等）や、Ｆ（蛍光灯）や、複数の昼光イルミナントを含んでいてもよい。センサモジュールのスペクトル応答とイルミナントの出力分布とを積分することによって計算されたイルミナント色によって、基準座標の（Ｒ／Ｇ、Ｂ／Ｇ）座標を規定してもよい。
【００５０】
Ｒ／ＧおよびＢ／Ｇ比のスケールを決定した後に、グリッド座標上に基準点を位置付けてもよい。グリッド距離を使用して、異なる基準点を適切に区別できるように、スケールを決定してもよい。オートホワイトバランスモジュール１２０が、グレー領域を特徴付けるために使用するのと同じ座標グリッドを使用して、イルミナント統計を発生させてもよい。
【００５１】
装置１００は、受け取ったそれぞれのグリッド点から基準点のそれぞれまでの距離を決定するように構成されていてもよい。装置１００は、決定された距離を、予め定められたしきい値と比較してもよい。任意の基準点までの最短距離が、予め定められたしきい値を超えた場合、この点は、アウトライアーと考えられ、排除され得る。
【００５２】
アウトライアーを取り除き、基準点のそれぞれまでの距離を合計できるように、データ点を処理することができる。装置１００は、基準点までの最小距離とともに、基準点に対応しているライティング条件を決定してもよい。
【００５３】
ここで説明したように、実施形態は、オートホワイトバランスモジュール１２０において画像データ１０４を受け取ることができる。図３においてグラフで図示したフィルタリングプロセスを使用して、オートホワイトバランスデータを自動的に発生させることができる。例えば、オートホワイトバランスモジュール１２０が、所定のシーンにおける、赤、緑、および青画素のコンテンツまたはバイアスを統計的に解析することによって、オートホワイトバランスデータを発生させてもよい。オートホワイトバランスデータは、画像データ１０４に関係するブライトネスサンプルと、既知の色温度に対応するプロットされている近い基準点とを含んでいてもよい。図４において、このようなグラフを示しており、このグラフは、屋内サンプルおよび屋外サンプルを比較してバックライティング状態を検出するために使用することができる。
【００５４】
図４は、特に、基準点Ｄ７５、Ｄ６５、Ｄ５０、ＣＷ、水平線、Ａ、ＴＬ８４の分布を示しているグラフ４００を図示している。グラフ４００は、赤／緑（Ｒ／Ｇ）および青／緑（Ｂ／Ｇ）空間上でプロットされた収集された画像データサンプルに対応している、より小さいサンプル点４０２も含む。基準点Ｄ７５、Ｄ６５、Ｄ５０、ＣＷ、水平線、Ａ、ＴＬ８４は、予め較正されたグレー点に対応していてもよい。
【００５５】
実施形態は、他の基準点を含んでいてもよいが、図４中で示した（そして、色温度に関係する）例示的なライティング条件は、一般的に、日陰の色空間（Ｄ７５）、曇りの色空間（Ｄ６５）、直射日光の色空間（Ｄ５０）、クールホワイトの色空間（ＣＷ）、典型的なオフィス照明の色空間（ＴＬ−８４）、白熱灯の色空間（Ａ）、水平線の色空間（水平線）に対応していてもよい。
【００５６】
図４の例では、オートホワイトバランスモジュール１２０によって画像データ１０４から収集されたサンプル点４０２が、ＴＬ８４とＣＷとに最も近くプロットされている。ＴＬ８４およびＣＷの基準点は、一般的に、屋内色温度に対応している。結果的に、サンプルが屋内サンプルであることを、装置１００は、その近接さから決定できる。
【００５７】
図５は、Ｄ７５とＤ６５との近くでプロットされている、日陰のサンプル５０２を示しており、オートホワイトバランスモジュール１２０によって、日当たりのよいサンプル５０４が、Ｄ５０の近くでプロットされている。このような分布は、屋外バックライト状態を示唆するかもしれない。（例えば、空と雲である可能性がある）高いルミナンスサンプルおよび（例えば、陰影である可能性がある）低いルミナンスサンプルの両方を、高い色温度ゾーンにおけるサンプルが持つ場合に、バックライトを検出できる。加えて、検出されることになるバックライト状態に対して、高い色温度ゾーンにおける低いルミナンスサンプルの数が、あるしきい値を超えることがある。
【００５８】
図６の例は、屋外サンプル６０２および屋内サンプル６０４の両方を含むグラフ６００を示している。屋外サンプルは、Ｄ５０に近接している一方で、屋内サンプル６０４は、ＣＷおよびＴＬ８４に近い。このシナリオは、混在した屋内／屋外バックライト状態を示している。屋外サンプル６０２が、屋内サンプル６０４よりも、かなり高いルミナンス値を含む場合に、バックライト状態が検出されるかもしれない。バックライト状態が検出されるか否かについての別の決定要因は、屋内サンプル６０４の数が、あるしきい値を超えたか否かを含んでいてもよい。
【００５９】
図７は、図１の装置１００によって実行され得るような、バックライト状態を自動的に検出する方法７００を示している。特定の実施形態では、７０２において、画像データ１０４を受け取る。例えば、ヒストグラムモジュール１２２が、取り込んだ画像から画像データ１０４を受け取ってもよい。
【００６０】
７０４において、ヒストグラムを評価する。例えば、ヒストグラムモジュール１２２によって、画像データ１０４に関係するヒストグラムデータを評価してもよい。７０６において、評価からバックライト状態が示されない場合、７０８において、装置１００が、バックライト状態が存在しないことを決定する。
【００６１】
７０６において、潜在的なバックライト状態が決定された場合、７１０において、オートホワイトバランス統計を評価する。オートホワイトバランスモジュール１２０が、統計を収集して、画像データから画素サンプルを発生させ、この画素サンプルを、記憶されている基準値と比較してもよい。この比較は、バックライト検出モジュール１１８によって制御され、画素サンプルが屋内色温度または屋外色温度を含むか否かを決定してもよい。
【００６２】
特定の実施形態では、（例えば、およそ５５００ケルビンよりも高い）高い色温度ゾーンにおける少なくともいくつかの屋外サンプルが、高いブライトネスサンプルおよび低いブライトネスサンプルの両方を含み、高い色温度ゾーンにおける低いブライトネスサンプル数が、記憶されている値を含む第４のしきい値を超える場合に、バックライト状態を検出できる。別の特定の実施形態では、画像の少なくともいくつかの屋外サンプルが、画像の少なくともいくつかの屋内サンプルよりも、実質的に、より高いブライトネス値を持ち、屋内の低いブライトネスサンプルの数が、記憶されている値を含む第５のしきい値を超える場合に、バックライト状態を検出できる。７１２において、バックライト状態が示されなかった場合に、７０８において、バックライト状態が無いことを検出する。７６０または７１２において、第１のテストおよび第２のテストのうちの１つがそれぞれ失敗したとき、方法は、バックライト補償を適用しない。
【００６３】
７１２におけるバックライト状態が示されたことに応答して、７１４において、画像データ１０４における顔の存在を決定するためのプロセスを開始する。７１４において、顔を検出した場合、ブロック７１６において、顔優先バックライト補償プロセス１３６のような、顔優先バックライト補償プロセスを開始する。特定の実施形態では、屋外領域内で顔を識別する。顔領域のエレメントを第３のしきい値と比較して、ブライトネスを評価する。例示的な第３のしきい値は、記憶されている、顔のルミナンス基準値を含んでいてもよい。ブロック７１４において、顔を検出しなかった場合、７１８において、ルーチンバックライト補償プロセス１３４のようなルーチンバックライト補償プロセスを開始する。
【００６４】
図７は、バックライト状態を自動的に検出して補正するための、図１の装置１００によって実行可能な方法７００を含む。図７を参照して記述した実施形態は、向上した利便性をユーザに対して提供しつつ、画像品質を向上させるために、バックライト状態を自動的に検出して補償できる。
【００６５】
図８は、８０２において、オートホワイトバランスモジュールにおいて画像データ１０４を受け取り、オートホワイトバランスデータを発生させることを含む方法８００を示している。８０２では、方法は、オートホワイトバランスデータに基づいて、バックライト状態を検出することを含んでいてもよい。画像データ１０４は、画像取り込みデバイス１１０によって取り込まれた画像に対応していてもよい。
【００６６】
８０４において、方法は、画像の第１の部分を屋内領域として、画像の第２の部分を屋外領域として識別する。８０６において、方法は、屋内領域のエレメントを第１のしきい値と比較することと、屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価する。８０８において、評価したブライトネス状態に応答して、バックライト状態を決定する。１つの実施形態では、バックライト検出モジュール１１８によって、部分的に方法を制御してもよい。バックライト検出モジュール１１８が、オートホワイトバランスデータを受け取ってもよい。
【００６７】
特定の実施形態において、８１０において、方法は、画像の屋内領域内の顔領域を識別する。ブライトネス状態を評価することは、顔領域のエレメントを第３のしきい値と比較することをさらに含んでいてもよい。方法はまた、屋外領域内の顔領域を識別し、顔領域のエレメントを第３のしきい値と比較してもよい。８１２において、方法は、バックライト状態に基づいて、バックライト補償を適用する。
【００６８】
図８は、バックライト状態を自動的に検出して補正するための、図１の装置１００によって実行可能な方法を含む。図８を参照して記述した実施形態は、向上した利便性をユーザに対して提供しつつ、画像品質を向上させるために、バックライト状態を自動的に検出して補償できる。
【００６９】
図９は、取り込んだ画像の、第１および第２の部分を、例えば、屋内および屋外の部分を識別する方法９００を示している。９０２において、方法の実施形態が、画像を、複数の実質的に等しいエリアに分割し、ここで、エリアのそれぞれは、画素数を含んでいる。９０４において、複数のエリアのそれぞれ内のグレー画素の平均値を決定する。９０６において、複数のエリアのそれぞれのエリア内のグレー画素の平均値を、色空間における温度ゾーンに対応している予め較正されたグレー点と比較する。
【００７０】
特定の実施形態にしたがうと、９０８において、高い色温度ゾーンにおける画像の少なくともいくつかの屋外サンプルが、高いブライトネスサンプルおよび低いブライトネスサンプルの両方を含むときに、高い色温度ゾーンにおける低いブライトネスサンプルの数が第４のしきい値を超える場合に、バックライト状態を検出する。９１０において、方法は、画像の少なくともいくつかの屋外サンプルが、画像の少なくともいくつかの屋内サンプルよりも、実質的に、より高いブライトネス値を持つときに、屋内の低いブライトネスサンプルの数が第５のしきい値を超える場合に、バックライト状態を検出する。
【００７１】
図９は、バックライト状態を自動的に検出するための、図１の屋内／屋外比較論理１３０によって実行可能な方法を含む。図９を参照して記述した実施形態は、ブライトネスサンプルのプロットされた分布に基づいて、バックライト状態を自動的に検出できる。屋内ブライトネスサンプルおよび屋外ブライトネスサンプルを識別して評価することによって、方法は、画像品質およびユーザの利便性を向上させることができる。
【００７２】
図１０は、画像の複数のエリアのそれぞれ内のグレー画素の平均値を決定する方法１０００を示している。１００２において、特定の実施形態が、画像データ１０４をＲＧＢ画像データからＹＣｂＣｒ画像データにコンバートする。１００４において、複数のエリアのそれぞれにおけるグレー画素を合計して、それぞれの特定のエリアにおけるグレー画素数を提供する。１００６において、方法は、ＹＣｂＣｒ画像データをＲＧＢ画像データにコンバートする。１００８において、方法は、それぞれの特定のエリアにおけるグレー画素の、ルミナンス（Ｙ）値の合計と、クロマ青（Ｃｂ）値の合計と、クロマ赤（Ｃｒ）値の合計とを提供する。１０１０において、合計されたＹ値と、合計されたＣｂ値と、合計されたＣｒ値とを加算し、それぞれの特定のエリアにおける合計されたＹＣｂＣｒ値を生成させる。１０１２において、方法は、それぞれの特定のエリアにおける合計されたＹＣｂＣｒ値を、それぞれの特定のエリアにおけるグレー画素数で割る。１０１４において、複数のエリアのそれぞれ内のグレー画素の平均値を出力する。
【００７３】
図１０は、屋内ブライトネスサンプルおよび屋外ブライトネスサンプルを識別する際に使用し得る、例えば、画像のエリア内のグレー画素のような、オートホワイトバランス統計を発生させるための、図１のオートホワイトバランスモジュール１２０によって実行可能な方法を含む。統計および識別により、バックライト状態の自動検出および補正を促進できる。図１０中で記述した方法は、増加した画像品質およびユーザの利便性を促進させることができる。
【００７４】
図１１を参照すると、オートホワイトバランスデータを使用して、バックライト状態を自動的に検出するように構成されている、特定の例示的な実施形態の装置のブロックダイアグラムを図示しており、概して、１１００と指定している。装置１１００は、画像センサデバイス１１２２を備え、画像センサデバイス１１２２は、レンズ１１６８に結合されており、ポータブルマルチメディアデバイス１１７０のアプリケーションプロセッサチップセットにも結合されている。画像センサデバイス１１２２は、自動バックライト検出モジュール１１６４を備え、自動バックライト検出モジュール１１６４は、オートホワイトバランスデータを使用して、バックライティング状態を検出する。
【００７５】
自動バックライト検出モジュール１１６４は、例えば、アナログデジタルコンバータ１１２６のようなものを通して画像アレイ１１６６から画像データを受け取るように結合されている。アナログデジタルコンバータ１１２６は、画像アレイ１１６６の出力を受け取り、画像データを自動バックライト検出モジュール１１６４に提供するように結合されている。
【００７６】
画像センサデバイス１１２２は、プロセッサ１１１０も備えていてもよい。特定の実施形態では、プロセッサ１１１０は、オートホワイトバランスデータを使用して、バックライティング検出を実現するように構成されている。別の実施形態では、自動バックライト検出モジュール１１６４は、別個の画像処理回路として実現される。
【００７７】
プロセッサ１１１０は、図１のモジュール１２０、１２２、１２４、１３２によって実行される動作のうちの１つ以上のような、付加的な画像処理動作を実行するように構成されていてもよい。さらなる処理、送信、記憶、表示、または、これらの任意のものを組み合わせたもののために、プロセッサ１１１０は、処理した画像データをアプリケーションプロセッサチップセット１１７０に提供してもよい。
【００７８】
図１２は、オートホワイトバランスデータを使用して、バックライティングを検出するように構成されている自動バックライティング検出モジュール１２６４を備えている装置１２００の特定の実施形態のブロックダイアグラムである。装置１２００は、ポータブル電子デバイス中で実現されてもよく、メモリ１２３２に結合されている、デジタルシグナルプロセッサ（ＤＳＰ）のようなプロセッサ１２１０を備えている。
【００７９】
カメラインターフェース制御装置１２７０は、プロセッサ１２１０に結合されており、ビデオカメラのようなカメラ１２７２にも結合されている。例えば、オートフォーカスおよびオート露光制御のようなもののために、カメラ制御装置１２７０は、プロセッサ１２１０に応答できる。ディスプレイ制御装置１２２６は、プロセッサ１２１０とディスプレイデバイス１２２８とに結合されている。コーダ／デコーダ（ＣＯＤＥＣ）１２３４は、プロセッサ１２１０にも結合させることができる。スピーカー１２３９およびマイクロフォン１２３８は、ＣＯＤＥＣ１２３４に結合させることができる。ワイヤレスインターフェース１２４０は、プロセッサ１２１０とワイヤレスアンテナ１２４２とに結合させることができる。
【００８０】
プロセッサ１２１０は、処理した画像データ１２８０を発生させるように適合させることができる。ディスプレイ制御装置１２２６は、処理された画像データ１２８０を受け取るようにと、処理された画像データ１２８０をディスプレイデバイス１２２８に提供するように構成されていてもよい。さらに、メモリ１２３２は、処理された画像データ１２８０を受け取り、記憶するように構成されていてもよく、ワイヤレスインターフェース１２４０は、アンテナ１２４２を通しての送信のために、処理された画像データ１２８０を取り出すように構成されていてもよい。
【００８１】
特定の実施形態では、自動バックライティング検出モジュール１２６４は、プロセッサ１２１０において実行可能なコンピュータコードとして実現する。例えば、この実行可能なコンピュータコードは、例えば、コンピュータ読み取り可能媒体において記憶されているコンピュータ実行可能な命令のようなものがある。例えば、プログラム命令１２８２は、画像データ１２８０を自動的にホワイトバランスし、ホワイトバランスデータを発生させ、ホワイトバランスデータに基づいて、バックライト状態を検出するためのコードを含んでいてもよい。
【００８２】
特定の実施形態では、プロセッサ１２１０、ディスプレイ制御装置１２２６、メモリ１２３２、ＣＯＤＥＣ１２３４、ワイヤレスインターフェース１２４０、およびカメラ制御装置１２７０は、システムインパッケージまたはシステムオンチップデバイス１２２２中に備えられている。特定の実施形態では、入力デバイス１２３０および電源１２４４は、システムオンチップデバイス１２２２に結合されている。さらには、特定の実施形態では、図１２中に図示したように、ディスプレイデバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、ワイヤレスアンテナ１２４２、ビデオカメラ１２７２、および電源１２４４は、システムオンチップデバイス１２２２の外部にある。しかしながら、ディスプレイデバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、ワイヤレスアンテナ１２４２、カメラ１２７２、および電源１２４４のそれぞれは、インターフェースまたは制御装置のような、システムオンチップデバイス１２２２のコンポーネントに結合させることができる。
【００８３】
多数の画像処理技術を記述してきた。ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意のものを組み合わせたもので技術を実現することができる。ソフトウェアで実現する場合に、技術は、プログラムコードを含むコンピュータ読み取り可能媒体に向けられていてもよく、このプログラムコードは、デバイスで実行するときに、ここで記述した技術のうちの１つ以上のものをデバイスに実行させる。そのケースでは、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、またはこれらに類するものを含んでいてもよい）。
【００８４】
プログラムコードは、コンピュータ読み取り可能命令の形態でメモリ中に記憶されていてもよい。そのケースでは、ＤＳＰのようなプロセッサは、画像処理技術のうちの１つ以上のものを実行するために、メモリ中に記憶している命令を実行してもよい。いくつかのケースでは、画像処理の速度を上げるように、さまざまなハードウェアコンポーネントを呼び出すＤＳＰによって、技術を実行してもよい。他のケースでは、ここで記述したユニットは、マイクロプロセッサ、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の何らかのハードウェアとソフトウェアとを組み合わせたものとして実現してもよい。
【００８５】
ここで開示した実施形態に関連して記述した、さまざまな例示的な論理ブロック、コンフィギュレーション、モジュール、回路、およびアルゴリズムステップを、電子ハードウェア、コンピュータソフトウェア、あるいは両方のものを組み合わせたものとして実現してもよいことを、当業者はさらに正しく認識するだろう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、さまざまな例示的なコンポーネント、ブロック、コンフィギュレーション、モジュール、回路、およびステップを、一般的に、これらの機能性の観点から上記に記述している。このような機能性が、ハードウェアまたはソフトウェアとして実現されるか否かは、システム全体に課せられている、特定のアプリケーションおよび設計制約に依存する。熟練者が、それぞれの特定のアプリケーションの方法を変えて、記述した機能性を実現するかもしれないが、このようなインプリメンテーションの決定は、本開示の範囲から逸脱が生じるとして解釈すべきでない。
【００８６】
ここに開示した実施形態と関連して記述した方法またはアルゴリズムのステップは、直接、ハードウェアで、プロセッサにより実行されるソフトウェアモジュールで、あるいは、２つのものを組み合わせたもので具体化されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーブバルディスク、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、あるいは技術的に知られている他の何らかの形態の記憶媒体中に存在していてもよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようにプロセッサに結合されている。代替実施形態では、記憶媒体はプロセッサと一体化されてもよい。プロセッサおよび記憶媒体は、特定用途向集積回路（ＡＳＩＣ）中に存在していてもよい。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末中に存在していてもよい。代替実施形態では、プロセッサおよび記憶媒体は、コンピュータデバイスまたはユーザ端末において、ディスクリートコンポーネントとして存在していてもよい。
【００８７】
開示した実施形態の前の記述は、当業者が、開示した実施形態を作り、または使用できるように提供されている。これらの実施形態に対するさまざま改良は、当業者に容易に明らかとなり、ここに規定された一般的な原理は、開示の範囲を逸脱することなく、他の実施形態に適用されてもよい。したがって、本開示は、ここに示された実施形態に限定されることを意図しているものではなく、以下の特許請求の範囲によって規定されているような原理および新しい特徴と一致した、可能な限り最も広い範囲に一致させるべきである。
【開示の分野】
【０００１】
本開示は、一般的に、ビデオおよび静止画像処理に向けられており、より詳細には、画像発生に影響を与えるバックライト検出に向けられている。
【０００２】
背景
ライティング条件は、スチールカメラおよびビデオカメラによって撮影されたデジタル画像の品質に影響を与える。例えば、バックライティング状態のもと、対象物の画像を前景に取り込むと、結果的に、関心のある対象物が、背景よりも、より暗く見えることになることがある。それゆえ、取り込んだ画像上の対象物の細部が見づらい。
【０００３】
バックライティングにより、画像の背景は、関心のある対象物よりもより高いルミナンスを有することになる。バックライト状態は、屋内、屋外、または、混在した屋内および屋外環境で起こり得る。バックライティングから結果的に生じる明るい背景が原因で、関心のある対象物が、所望のものよりも、より暗くなることがある。
【０００４】
デジタル写真技術における進歩は、バックライティングの影響を弱める技術を導いた。例えば、フラッシュや、バックライトガンマや、ルミナンス適合や、増加した露光能力の進歩により、関心のある対象物を明るくするように機能することができる。
【０００５】
これらの進歩にもかかわらず、一部のユーザが、このようなバックライティング補償技術から利益を得ることができない。従来、ユーザは、バックライティング補償機能を手動でアクティブ化する。切り替えまたは他のアクティブ化シーケンスの手動の性質は、バックライティング補償機能の電源を入れるのはいつが適切であるかを、ユーザは知っている必要がある。このような機能をアクティブ化するのに伴うステップが、一部のユーザにとっては不便であることがある。例えば、写真家が、バックライトスイッチを入れるために、写真の被写体から注意をそらすことを嫌がるかもしれない。それゆえ、一部のユーザは、バックライティング補償技術を利用せず、低減したピクチャ品質で画像を取り込まざるを得なくなっている。
【概要】
【０００６】
特定の実施形態は、バックライティングテストを組み合わせたものを使用して、バックライティング状態を自動的に検出する。第１のテストは、画像データから発生されたヒストグラムデータが、高い周波数しきい値および低い周波数しきい値を超えるか否かを評価することによって、バックライト状態の存在を決定する。第２のテストは、収集したオートホワイトバランス統計を使用して、画像データの屋内領域および屋外領域を識別する。屋内データおよび屋外データの比較をさらに使用して、バックライト状態の存在を決定する。第３のテストが、画像中で顔を検出した場合に、実施形態は、顔のバックライト補償を提供することができる。
【０００７】
別の特定の実施形態では、オートホワイトバランスモジュールにおいて画像データを受け取り、オートホワイトバランスデータを発生させることを含む方法を開示する。方法は、オートホワイトバランスデータに基づいて、バックライト状態を検出することをさらに含む。
【０００８】
別の実施形態では、画像データを受け取るように構成されているオートホワイトバランスモジュールを備えている装置を開示する。装置は、バックライト検出モジュールを備えている。バックライト検出モジュールは、オートホワイトバランスモジュールからのデータを受け取るように結合されており、オートホワイトバランスモジュールからのデータの評価に基づいて、バックライト状態が存在するか否かを決定する論理を備えている。
【０００９】
別の実施形態では、画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させる手段とともに、ホワイトバランスデータに基づいて、バックライト状態を検出する手段を備えている装置を開示する。
【００１０】
別の実施形態では、コンピュータ実行可能なコードを記憶するコンピュータ読み取り可能媒体を開示する。コンピュータ読み取り可能媒体は、画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させるための、コンピュータによって実行可能なコードを含む。コンピュータによって実行可能なコードは、ホワイトバランスデータに基づいて、バックライト状態を検出してもよい。
【００１１】
開示した実施形態によって提供される特定の利点は、向上した、ユーザの利便性および画像品質を含んでいてもよい。実施形態は、連続的に実行するインテリジェントな自動バックライト検出アルゴリズムを含んでいてもよい。自動バックライト検出アルゴリズムがバックライト状態を検出したとき、装置は、ユーザの介入なしに、バックライト補償を自動的に適用できる。
【００１２】
本開示の他の様態、利点、および特徴は、以下のセクション：図面の簡単な説明、詳細な説明、および特許請求の範囲、を含む明細書全体のレビューの後に明らかになるだろう。
【図面の簡単な説明】
【００１３】
【図１】図１は、自動バックライト検出装置の特定の例示的な実施形態のブロックダイアグラムである。
【図２】図２は、ルミナンスを示す周波数プロットと、図１の装置のヒストグラムモジュールによってバックライティング状態を検出するために使用するしきい値とを含むヒストグラムである。
【図３】図３は、オートホワイトバランスデータを発生させるための、図１の装置のオートホワイトバランスモジュールによる統計収集プロセスを図示しているグラフであり、このグラフは、色空間の、２次元のグレー画素を示している長方形ボックスを図示している。
【図４】図４は、プロットされた基準点および図１のオートホワイトバランスモジュールによって発生されたオートホワイトバランスデータを使用して生成された屋内サンプル点の分布を示しているグラフである。
【図５】図５は、プロットされた基準点および図１のオートホワイトバランスモジュールによって発生されたオートホワイトバランスデータを使用して生成された屋外サンプル点の分布を示しているグラフである。
【図６】図６は、図１のオートホワイトバランスモジュールによって発生されたオートホワイトバランスデータを使用して生成された、屋内サンプル点および屋外のサンプル点の両方とともに、基準点の分布を示しているグラフである。
【図７】図７は、図１の装置によって制御され得るような、バックライト状態を自動的に検出する方法の特定の実施形態を示しているフローチャートである。
【図８】図８は、図１の装置によって制御され得るような、バックライト状態を自動的に検出する方法の、別の特定の実施形態を示しているフローチャートである。
【図９】図９は、図１の装置によって制御され得るような、画像の屋内部分および屋外部分を識別する方法の特定の実施形態を示しているフローチャートである。
【図１０】図１０は、図１の装置によって制御され得るような、複数のエリアのそれぞれ内のグレー画素の平均値を決定する方法の特定の実施形態を示しているフローチャートである。
【図１１】図１１は、オートホワイトバランスデータを使用して、バックライティング状態を検出して補償するように構成されている自動バックライト検出デバイスの特定の実施形態のブロックダイアグラムである。
【図１２】図１２は、オートホワイトバランスデータを使用して、バックライティング状態を検出して補償するように構成されている自動バックライト検出デバイスの別の特定の実施形態のブロックダイアグラムである。
【詳細な説明】
【００１４】
図１は、バックライト状態を自動的に検出できる装置１００を図示しているブロックダイアグラムである。装置１００は、さまざまな実施形態にしたがった、画像データ１０４上でさまざまな処理技術を記憶および実行するための画像処理ユニット１０２を備えていてもよい。ここで記述するように、画像処理ユニット１０２は、オートホワイトバランスデータを発生させて使用し、バックライト状態を検出できる。一般的に、装置１００は、バックライティング状態の自動検出と、バックライティング状態の補正または補償とを提供することによって、デジタル画像を向上させることができる。
【００１５】
画像処理ユニット１０２は、チップセットを備えていてもよく、チップセットは、デジタルシグナルプロセッサ（ＤＳＰ）や、オンチップメモリや、ハードウェア論理または回路を含む。さらに詳細には、画像処理ユニット１０２は、プロセッサや、ハードウェアや、ソフトウェアまたはファームウェアや、そのようなものとして実現し得る、画像処理ユニット１０２のさまざまなコンポーネントのうちの任意のものを組み合わせたものを備えていてもよい。
【００１６】
図１の図示した例では、装置１００は、ローカルメモリ１０６と、メモリ制御装置１０８も備えている。ローカルメモリ１０６は、生画像データを記憶できる。ローカルメモリ１０６は、画像処理ユニット１０２によって実行された処理に続いて処理された画像データも記憶できる。
【００１７】
メモリ制御装置１０８は、ローカルメモリ１０６内のメモリ構成を制御できる。メモリ制御装置１０８は、ローカルメモリ１０６から画像処理ユニット１０２へのメモリロードも制御できる。メモリ制御装置１０８は、画像処理ユニット１０２からローカルメモリ１０６への書き戻しも制御できる。画像処理ユニット１０２によって処理される画像は、画像取り込みに続いて、画像取り込み装置１１０からローカルメモリ１０６中に直接的にロードされてもよく、または、画像処理の間にローカルメモリ１０６中に記憶されてもよい。
【００１８】
例示的な実施形態では、装置１００は、処理する画像を取り込むための画像取り込み装置１１０を備えているが、本開示は、この点に限定していない。画像取り込み装置１１０は、相補型金属酸化膜半導体（ＣＭＯＳ）センサエレメント、電荷結合素子（ＣＣＤ）センサエレメント、または、これらに類するもののような固体状態センサエレメントのアレイを含んでいてもよい。代替的に、または、加えて、画像取り込み装置１１０は、１組の画像センサを備えていてもよく、１組の画像センサは、各センサの表面上で配置されている色フィルタアレイ（ＣＦＡ）を備えている。いずれにせよ、画像処理の際の待ち時間を避けるために、画像取り込み装置１１０は、画像処理ユニット１０２に直接的に結合させてもよい。当業者は、画像データ１０４を取り込むために他のタイプの画像センサも使用できることを正しく認識すべきである。画像取り込み装置１１０は、静止画像またはフルモーションビデオシーケンスを取り込むことができる。後のケースでは、ビデオシーケンスの１つ以上の画像フレーム上で、画像処理を実行することができる。
【００１９】
装置１００は、本開示で記述したような画像処理に続いて画像を表示するディスプレイ１１４を備えていてもよい。画像処理の後、画像を、ローカルメモリ１０６に、または、外部メモリ１１２に書き込んでもよい。ユーザへの提示のために、処理した画像をディスプレイ１１４に送ってもよい。
【００２０】
いくつかのケースでは、装置１００は、複数のメモリを備えていてもよい。外部メモリ１１２は、例えば、比較的大きいメモリ空間を備えていてもよい。外部メモリ１１２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含んでいてもよい。他の例では、外部メモリ１１２は、フラッシュメモリ、または他の何らかのタイプのデータ記憶ユニットのような不揮発性メモリを含んでいてもよい。ローカルメモリ１０６は、比較的より小さくて、より速いメモリ空間を備えていてもよい。例によると、ローカルメモリ１０６は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を含んでいてもよい。
【００２１】
ローカルメモリ１０６および外部メモリ１１２は、単なる例示であり、同じメモリコンポーネント中に組み合わせてもよく、または、多数の他のコンフィギュレーションで実現してもよい。特定の実施形態では、ローカルメモリ１０６は、典型的にＳＤＲＡＭでは、外部メモリ１１２の一部を形成する。このケースでは、画像処理ユニット１０２とともにメモリもオンチップで位置付けられていないという意味で、ローカルメモリ１０６および外部メモリ１１２の両方とも、外部に存在するかもしれない。代替的に、ローカルメモリ１０６は、オンチップメモリバッファを備えていてもよく、一方では、外部メモリ１１２は、チップの外部に存在していてもよい。ローカルメモリ１０６と、ディスプレイ１１４と、外部メモリ１１２（および、必要ならば、他のコンポーネント）は、通信バス１１６を通して結合されていてもよい。
【００２２】
装置１００は、処理した画像をまたは画像のコード化されたシーケンスを別のデバイスに送信するための（示していない）送信機も備えていてもよい。本開示の技術は、デジタルカメラ機能性またはデジタルビデオ能力を備える、（セルラフォン向けのような）ハンドヘルドワイヤレス通信デバイスによって使用できる。そのケースでは、変調された情報のワイヤレス通信を促進するために、デバイスは、搬送波形上へのベースバンド信号のワイヤレス変調を促進するための変調復調器（ＭＯＤＥＭ）も備えていてもよい。
【００２３】
図１の画像処理ユニット１０２は、バックライト検出モジュール１１８と、オートホワイトバランスモジュール１２０と、ヒストグラムモジュール１２２と、顔検出モジュール１２４と、バックライト補償モジュール１２６とを備えていてもよい。以下でさらにより詳細に説明するように、バックライト検出モジュール１１８は、複数の検出プロセスを用いることができる。バックライト検出モジュール１１８は、オートホワイトバランスモジュール１２０からデータを受け取るように結合されていてもよい。バックライト検出モジュール１１８は、オートホワイトバランスモジュール１２０からのデータの評価に基づいて、バックライト状態を検出するように構成されていてもよい。例えば、バックライト検出モジュール１１８は、画像の第１の部分を屋内領域として、画像の第２の部分を屋外領域として識別するように構成されていてもよい。バックライト検出モジュール１１８は、屋内領域のエレメントを第１のしきい値と比較することによって、ブライトネス状態を評価することができる。バックライト検出モジュール１１８は、屋外領域のエレメントを第２のしきい値とさらに比較してもよい。第１のしきい値および第２のしきい値と比較したような屋内領域および屋外領域の評価したブライトネス状態に応答して、バックライト決定を行うことができる。
【００２４】
バックライト検出モジュール１１８は、バックライト決定論理１２８と、屋内／屋外比較論理１３０と、オートホワイトバランスモジュール１２０とインターフェースするためのインターフェース１３２とを備えていてもよい。屋内／屋外比較論理１３０は、オートホワイトバランスモジュール１２０の出力を処理して、受け取った画像データ１０４の屋内領域および屋外領域を識別できる。バックライト決定論理１２８は、屋内／屋外比較論理１３０に結合されており、バックライト状態を決定するように構成されていてもよい。このように、バックライト決定論理１２８の出力１３８は、オートホワイトバランスモジュール１２０によって発生されたオートホワイトバランスデータに部分的に基づいていてもよい。
【００２５】
オートホワイトバランスモジュール１２０は、画像データ１０４を受け取るようにと、統計を収集するように構成されていてもよい。オートホワイトバランスモジュール１２０の実施形態は、統計にしたがって、ホワイトバランス利得をさらに適用してもよい。オートホワイトバランスモジュール１２０は、バックライティングを評価するためにバックライト検出モジュール１１８によって使用されるオートホワイトバランスデータを出力してもよい。
【００２６】
バックライティングを検出するために使用される別のテストユニットは、ヒストグラムモジュール１２２を備えている。ヒストグラムモジュール１２２は、高いしきい値の割合および低いしきい値の割合をヒストグラムデータに適用して、バックライト状態の存在を決定できる。ヒストグラムデータが、高いしきい値および低いしきい値の両方を超えた場合に、バックライト状態が存在することを、ヒストグラムモジュール１２２は決定できる。例えば、ヒストグラムは、画像におけるルミナンスを示す周波数グラフを含んでいてもよい。高いしきい値の割合および低いしきい値の割合が、ヒストグラム中に含まれていてもよい。ヒストグラムモジュール１２２は、いくつかの画素が、低いしきい値よりも暗いことを決定できる。ヒストグラムは、高いしきい値よりも明るいいくつかの画素が存在することも示すことができる。両方のしきい値を超える画素が存在するときには、ヒストグラムモジュール１２２は、バックライト状態を検出したことを示すことができる。
【００２７】
ヒストグラムの両方のしきい値を超えていない場合、ヒストグラムモジュール１２２は、代替的に、バックライト状態を検出していないことを示すことができる。例えば、高いしきい値よりも明るい画素が存在するが、低いしきい値よりも暗い画素が存在しない場合に、ヒストグラムモジュール１２２は、バックライト状態が存在しないことを決定することができる。高いしきい値も低いしきい値のいずれも超えない場合にも、同じ結果を決定することができる。
【００２８】
実施形態は、ヒストグラムモジュール１２２を使用して、ヒストグラムデータを評価できる。バックライティング状態を検出するために、ヒストグラムデータを処理してもよい。例えば、それぞれの端においてピークを含むヒストグラムは、激しいバックライト状態を示すことができる。ヒストグラムの高い端においてピークを持ち、暗い領域中で増加している別のヒストグラムは、適度なバックライト状態を示すことができる。高い端において１つのピークを持つさらなる別のヒストグラムは、わずかなバックライト状態に対応していてもよい。
【００２９】
ヒストグラムモジュール１２２は、このようなヒストグラムデータを使用して、画像データ１０４に関する第１のバックライトテストを実行できる。例えば、第１の値よりも低いブライトネス値を持つ画素数が第１のしきい値を超えるか否かを、ヒストグラムモジュール１２２は決定できる。ヒストグラムモジュール１２２は、第２の値よりも大きいブライトネス値を持つ画素数が、第２のしきい値を超えるか否かも決定できる。
【００３０】
顔検出モジュール１２４は、バックライト補償を調整して、検出した顔を適切なブライトネスレベルに至らせることができる。顔が画像データ中に存在しない場合には、普通のバックライト補償を適用できる。いくつかの実施形態では、顔検出モジュール１２４は、補助的なテストプロセスを含んでいてもよい。
【００３１】
バックライト補償ユニット１２６は、バックライト現象の影響を弱めるプロセスを含んでいてもよく、これは、顔優先バックライト補償技術を含む。数ある中でも、フラッシュ技術や、バックライトガンマ技術や、ルミナンス適合技術や、向上した露光技術を使用して、比較的より暗い、関心のある対象物を明るくすることができる。
【００３２】
画像データ１０４が、画像処理ユニット１０２に到達する。図１の実施形態中に示したような、ヒストグラムモジュール１２２を使用して、画像データ１０４から発生されたヒストグラムデータに基づいて、バックライト状態を検出できる。画像データ１０４は、同時に、オートホワイトバランスモジュール１２０に到達することがある。オートホワイトバランスモジュール１２０は、バックライト状態があり得るか否かを決定するために、バックライト検出モジュール１１８によって評価されるオートホワイトバランスデータを収集する。ヒストグラムモジュール１２２およびオートホワイトバランスモジュール１２０の出力を結合的に処理して、バックライト状態が存在するか否かを決定できる。例えば、ヒストグラムモジュール１２２およびオートホワイトバランスモジュール１２０の両方の各出力がバックライト状態の可能性を示すことを決定した後に、バックライト検出モジュール１１８がバックライト状態を検出できる。
【００３３】
バックライト状態を検出しなかった場合には、バックライト補償モジュール１２６のルーチンバックライト補償プロセス１３４によって、画像データ１０４を処理してもよい。画像データ１０４は、顔検出モジュール１２４によっても処理できる。顔検出モジュール１２４は、画像データ１０４中に何らかの顔が含まれているか否かを決定できる。顔検出モジュール１２４の決定に基づいて、画像データ１０４を、バックライト補償モジュール１２６の顔優先バックライト補償プロセス１３６に渡してもよく、さらに、または、代替実施形態では、ルーチンバックライト補償プログラム１３４に渡してもよい。
【００３４】
装置１００は、ビデオシーケンスをコーディングし、ビデオシーケンスを送信および／または受信できる、画像取り込みデバイスまたはデジタルビデオデバイスの一部を形成していてもよい。例として、装置１００は、スタンドアローンデジタルカメラまたはビデオカムコーダーや、セルラまたは衛星無線電話機のようなワイヤレス通信デバイスや、パーソナルデジタルアシスタント（ＰＤＡ）や、コンピュータや、または、画像処理が望ましい、イメージング能力またはビデオ能力を持つ何らかのデバイスを含んでいてもよい。
【００３５】
多数の他のエレメントも、装置１００中に備えられていてもよいが、説明を簡単かつ容易にするために、図１中では特に図示していない。図１中に図示したアーキテクチャは、単なる例示的であるが、ここで記述した技術は、さまざまな他のアーキテクチャとともに実現してもよい。
【００３６】
図２は、図１のヒストグラムモジュール１２２によって、発生され処理され得る、例示的なヒストグラム２００を示している。バックライティング状態を検出するために、ヒストグラム２００のデータは自動的に評価できる。図２の実施形態中で示したように、ヒストグラム２００は、ルミナンスを示す周波数プロット２０２を含んでいる。低いしきい値２０４を含む線と、高いしきい値２０６を含む線とを、ヒストグラム２００中に含んでいる。図２中に示しているように、例示的なヒストグラム２００は、低いしきい値２０４よりも暗い、いくつかの画素２０８を含んでいる。ヒストグラム２００は、高いしきい値２０６よりも明るい、いくつかの画素２１０が存在することも示す。示しているように、両方のしきい値２０４、２０６をそれぞれ超える画素２０８、２１０が存在する場合に、ヒストグラムモジュール１２２は、バックライト状態を検出することを、または、バックライト状態があり得ることを決定できる。
【００３７】
ヒストグラムの画素データが両方のしきい値２０４、２０６を超えていない場合に、ヒストグラムモジュール１２２は、バックライト状態を検出していないことを出力してもよい。例えば、ヒストグラムは、低いしきい値よりも暗い画素を含むことがあるが、高いしきい値よりも明るい画素を持たないかもしれない。このような例では、ヒストグラムモジュール１２２は、バックライト状態を検出しないことを決定できる。
【００３８】
図２中で図示したヒストグラム検出技術は、多くのバックライトシーンを検出するために有利であるかもしれない。しかしながら、実際に大変暗く、関心のある対象物でないかもしれない、画像データ１０４中の対象物を、低いしきい値２０４よりも暗い画素が表すことがある。ヒストグラムモジュール１２２のバックライト決定を確認または開始するために、付加的なバックライトテストを使用してもよい。
【００３９】
図１のオートホワイトバランスモジュール１２０によって、１つのこのような付加的なバックライトテストを実行してもよい。オートホワイトバランスモジュール１２０が、受け取った画像データ１０４を処理し、オートホワイトバランスデータを含む統計を収集してもよい。バックライティング状態を検出するために、オートホワイトバランスデータを使用して、屋内サンプルおよび屋外サンプルを比較してもよい。図３は、統計を収集し、そうでなければ、屋内／屋外比較の際に使用するオートホワイトバランスデータを発生させるために、オートホワイトバランスモジュール１２０によって使用される方法をグラフで示している。
【００４０】
図３は、特に、統計収集方法を図示しているグラフ３００を示している。この統計収集方法は、グレー点３０４を中心とするＹＣｒＣｂ色空間の２次元（ＣｒおよびＣｂ）のグレー画素を含む長方形ボックス３０２を使用している。図３は、図１のオートホワイトバランスモジュール１２０が、どのように、受け取った画像データ１０４をフィルタリングして、オートホワイトバランスデータを発生させるかをグラフで示している。１つのコンフィギュレーションでは、図１のホワイトバランスモジュール１２０が、取り込んだ画像をフィルタリングして、予め定められたルミナンス範囲内に含まれているグレー領域を選択してもよい。その後、ホワイトバランスモジュール１２０が、予め定められたＣｒおよびＣｂ基準を満たす、これらの残りの領域を選択してもよい。オートホワイトバランスモジュール１２０のフィルタリングプロセスは、ルミナンス値を使用して、暗すぎる領域を、または、明るすぎる領域を取り除くことができる。ノイズおよび飽和問題のために、これらの領域を排除できる。オートホワイトバランスモジュール１２０は、関係するフィルタ関数を、多数の式として表すことができる。１組の不等式（式）を満たす領域を、可能性あるグレー領域として考えてもよい。
【００４１】
オートホワイトバランスモジュール１２０は、それぞれの領域に対する、Ｙの合計と、Ｃｂの合計と、Ｃｒの合計と、画素数とを提供できる。画像を、Ｎ×Ｎ領域に分割できる。以下の式：
Ｙ＜＝Ｙｍａｘ（１）
Ｙ＞＝Ｙｍｉｎ（２）
Ｃｂ＜＝ｍ１*Ｃｒ＋ｃ１（３）
Ｃｒ＞＝ｍ２*Ｃｂ＋ｃ２（４）
Ｃｂ＞＝ｍ３*Ｃｒ＋ｃ３（５）
Ｃｒ＜＝ｍ４*Ｃｂ＋ｃ４（６）
を使用して、統計収集をセットアップしてもよい。
【００４２】
値ｍ１−ｍ４およびｃ１−ｃ４は、予め定められた定数を表していてもよい。十分に広い範囲のフィルタリングされた対象物と、取り込んだ画像に対して推定されることになるイルミナントとを維持しつつ、フィルタリングされた対象物が正確にグレー領域を表すように、これらの定数を選択することができる。他の実施形態とともに、他の式を使用してもよい。
【００４３】
Ｌ×Ｍ長方形領域を含むように、画像を分割できる。ここで、ＬおよびＭは、正の整数である。この例では、Ｎ＝Ｌ×Ｍは、画像における領域の総数を表している。１つのコンフィギュレーションでは、オートホワイトバランスモジュール１２０が、取り込んだ画像を、８×８画素のまたは１６×１６画素の領域に分割できる。オートホワイトバランスモジュール１２０が、取り込んだ画像の画素を、例えば、ＲＧＢ成分からＹＣｒＣｂ成分に変換してもよい。
【００４４】
オートホワイトバランスモジュール１２０は、フィルタリングされた画素を処理して、領域のそれぞれに対する統計を発生させてもよい。例えば、オートホワイトバランスモジュール１２０は、フィルタリングされた、または、制約されたＣｂの合計と、フィルタリングされた、または、制約されたＣｒの合計、フィルタリングされた、または、制約されたＹの合計と、Ｙ、Ｃｂ、およびＣｒの合計に対する制約にしたがって選択された画素数とを決定できる。領域統計から、オートホワイトバランスモジュール１２０が、それぞれの領域の、Ｃｂと、Ｃｒと、Ｙとの合計を、選択された画素数で割ったものを決定し、Ｃｂ（平均Ｃｂ）と、Ｃｒ、（平均Ｃｒ）と、Ｙ（平均Ｙ）との平均を生成させることができる。装置１００は、ＲＧＢ成分に戻すように統計を変換し、Ｒ、Ｇ、およびＢの平均を決定してもよい。
【００４５】
図１のオートホワイトバランスモジュール１２０は、領域統計をグリッド座標系に変換し、座標系に対してフォーマット化された基準イルミナントに対する関係を決定できる。１つのコンフィギュレーションでは、オートホワイトバランスモジュール１２０は、領域統計を（Ｒ／Ｇ、Ｂ／Ｇ）座標系中のＮ×Ｎグリッドのうちの１つにコンバートして量子化してもよい。グリッド距離を線形的にパーティションする必要はない。例えば、非線形的にパーティションされたＲ／ＧおよびＢ／Ｇ軸から座標グリッドを形成してもよい。オートホワイトバランスモジュール１２０は、予め規定された範囲外である、（平均Ｒ／平均Ｇ、平均Ｂ／平均Ｇ）のペアを廃棄してもよい。
【００４６】
１つの実施形態では、オートホワイトバランスモジュール１２０は、効率的に、領域統計を、２次元座標系に変換することができる。しかしながら、２次元の座標系の使用に限定されておらず、装置１００は、座標系において任意の次元数を使用するように構成されていてもよい。例えば、別のコンフィギュレーションでは、装置１００は、予め定められた定数に対して正規化されたＲ値と、Ｇ値と、Ｂ値とに対応する３次元の座標系を使用してもよい。オートホワイトバランスモジュール１２０は、プロット化されているサンプルとの比較のために、基準イルミナントの位置を提供するように構成されていてもよい。
【００４７】
装置１００は、１つ以上の基準イルミナントに対する統計を記憶させるように構成されていてもよい。１つ以上の基準イルミナントに対する統計は、較正ルーチンの間に決定できる。例えば、このような較正ルーチンは、カメラのさまざまなパーツの性能を、製造プロセスの間に測定することができる。
【００４８】
特徴付けプロセスは、オフィスのライト下のセンサのタイプのＲ／ＧおよびＢ／Ｇを測定できる。製造プロセスでは、それぞれのセンサを測定し、特徴付けされた値からどのくらいセンサが離れているかを記録してもよい。所定のセンサモジュールに対して、例えば、図１の画像取り込み装置１１０のレンズまたはセンサのようなものに対して、特徴付けプロセスが、オフラインで行われることがある。屋外ライティング条件に対して、さまざまな時刻に対応している、グレー対象物の一連のピクチャを収集することがある。ピクチャは、異なる時刻の間に直射日光で取り込まれた画像、曇りライティングの間に取り込まれた画像、日陰の屋外で取り込まれた画像等を含んでいてもよい。これらのさまざまなライティング条件のもと、グレー対象物のＲ／ＧおよびＢ／Ｇ比が記録され得る。屋内ライティング条件に対して、暖色の蛍光灯や、寒色の蛍光灯や、白熱灯や、これらに類するものや、または、他の何らかのイルミナントを使用して、グレー対象物の画像を取り込むことがある。ライティング条件のそれぞれを、基準点として使用してもよい。屋内ライティング条件に対して、Ｒ／ＧおよびＢ／Ｇ比が記録される。
【００４９】
別のコンフィギュレーションでは、基準イルミナントは、Ｄ３０、Ｄ５０、およびＤ７０と呼ばれる、Ａ（白熱灯、タングステン等）や、Ｆ（蛍光灯）や、複数の昼光イルミナントを含んでいてもよい。センサモジュールのスペクトル応答とイルミナントの出力分布とを積分することによって計算されたイルミナント色によって、基準座標の（Ｒ／Ｇ、Ｂ／Ｇ）座標を規定してもよい。
【００５０】
Ｒ／ＧおよびＢ／Ｇ比のスケールを決定した後に、グリッド座標上に基準点を位置付けてもよい。グリッド距離を使用して、異なる基準点を適切に区別できるように、スケールを決定してもよい。オートホワイトバランスモジュール１２０が、グレー領域を特徴付けるために使用するのと同じ座標グリッドを使用して、イルミナント統計を発生させてもよい。
【００５１】
装置１００は、受け取ったそれぞれのグリッド点から基準点のそれぞれまでの距離を決定するように構成されていてもよい。装置１００は、決定された距離を、予め定められたしきい値と比較してもよい。任意の基準点までの最短距離が、予め定められたしきい値を超えた場合、この点は、アウトライアーと考えられ、排除され得る。
【００５２】
アウトライアーを取り除き、基準点のそれぞれまでの距離を合計できるように、データ点を処理することができる。装置１００は、基準点までの最小距離とともに、基準点に対応しているライティング条件を決定してもよい。
【００５３】
ここで説明したように、実施形態は、オートホワイトバランスモジュール１２０において画像データ１０４を受け取ることができる。図３においてグラフで図示したフィルタリングプロセスを使用して、オートホワイトバランスデータを自動的に発生させることができる。例えば、オートホワイトバランスモジュール１２０が、所定のシーンにおける、赤、緑、および青画素のコンテンツまたはバイアスを統計的に解析することによって、オートホワイトバランスデータを発生させてもよい。オートホワイトバランスデータは、画像データ１０４に関係するブライトネスサンプルと、既知の色温度に対応するプロットされている近い基準点とを含んでいてもよい。図４において、このようなグラフを示しており、このグラフは、屋内サンプルおよび屋外サンプルを比較してバックライティング状態を検出するために使用することができる。
【００５４】
図４は、特に、基準点Ｄ７５、Ｄ６５、Ｄ５０、ＣＷ、水平線、Ａ、ＴＬ８４の分布を示しているグラフ４００を図示している。グラフ４００は、赤／緑（Ｒ／Ｇ）および青／緑（Ｂ／Ｇ）空間上でプロットされた収集された画像データサンプルに対応している、より小さいサンプル点４０２も含む。基準点Ｄ７５、Ｄ６５、Ｄ５０、ＣＷ、水平線、Ａ、ＴＬ８４は、予め較正されたグレー点に対応していてもよい。
【００５５】
実施形態は、他の基準点を含んでいてもよいが、図４中で示した（そして、色温度に関係する）例示的なライティング条件は、一般的に、日陰の色空間（Ｄ７５）、曇りの色空間（Ｄ６５）、直射日光の色空間（Ｄ５０）、クールホワイトの色空間（ＣＷ）、典型的なオフィス照明の色空間（ＴＬ−８４）、白熱灯の色空間（Ａ）、水平線の色空間（水平線）に対応していてもよい。
【００５６】
図４の例では、オートホワイトバランスモジュール１２０によって画像データ１０４から収集されたサンプル点４０２が、ＴＬ８４とＣＷとに最も近くプロットされている。ＴＬ８４およびＣＷの基準点は、一般的に、屋内色温度に対応している。結果的に、サンプルが屋内サンプルであることを、装置１００は、その近接さから決定できる。
【００５７】
図５は、Ｄ７５とＤ６５との近くでプロットされている、日陰のサンプル５０２を示しており、オートホワイトバランスモジュール１２０によって、日当たりのよいサンプル５０４が、Ｄ５０の近くでプロットされている。このような分布は、屋外バックライト状態を示唆するかもしれない。（例えば、空と雲である可能性がある）高いルミナンスサンプルおよび（例えば、陰影である可能性がある）低いルミナンスサンプルの両方を、高い色温度ゾーンにおけるサンプルが持つ場合に、バックライトを検出できる。加えて、検出されることになるバックライト状態に対して、高い色温度ゾーンにおける低いルミナンスサンプルの数が、あるしきい値を超えることがある。
【００５８】
図６の例は、屋外サンプル６０２および屋内サンプル６０４の両方を含むグラフ６００を示している。屋外サンプルは、Ｄ５０に近接している一方で、屋内サンプル６０４は、ＣＷおよびＴＬ８４に近い。このシナリオは、混在した屋内／屋外バックライト状態を示している。屋外サンプル６０２が、屋内サンプル６０４よりも、かなり高いルミナンス値を含む場合に、バックライト状態が検出されるかもしれない。バックライト状態が検出されるか否かについての別の決定要因は、屋内サンプル６０４の数が、あるしきい値を超えたか否かを含んでいてもよい。
【００５９】
図７は、図１の装置１００によって実行され得るような、バックライト状態を自動的に検出する方法７００を示している。特定の実施形態では、７０２において、画像データ１０４を受け取る。例えば、ヒストグラムモジュール１２２が、取り込んだ画像から画像データ１０４を受け取ってもよい。
【００６０】
７０４において、ヒストグラムを評価する。例えば、ヒストグラムモジュール１２２によって、画像データ１０４に関係するヒストグラムデータを評価してもよい。７０６において、評価からバックライト状態が示されない場合、７０８において、装置１００が、バックライト状態が存在しないことを決定する。
【００６１】
７０６において、潜在的なバックライト状態が決定された場合、７１０において、オートホワイトバランス統計を評価する。オートホワイトバランスモジュール１２０が、統計を収集して、画像データから画素サンプルを発生させ、この画素サンプルを、記憶されている基準値と比較してもよい。この比較は、バックライト検出モジュール１１８によって制御され、画素サンプルが屋内色温度または屋外色温度を含むか否かを決定してもよい。
【００６２】
特定の実施形態では、（例えば、およそ５５００ケルビンよりも高い）高い色温度ゾーンにおける少なくともいくつかの屋外サンプルが、高いブライトネスサンプルおよび低いブライトネスサンプルの両方を含み、高い色温度ゾーンにおける低いブライトネスサンプル数が、記憶されている値を含む第４のしきい値を超える場合に、バックライト状態を検出できる。別の特定の実施形態では、画像の少なくともいくつかの屋外サンプルが、画像の少なくともいくつかの屋内サンプルよりも、実質的に、より高いブライトネス値を持ち、屋内の低いブライトネスサンプルの数が、記憶されている値を含む第５のしきい値を超える場合に、バックライト状態を検出できる。７１２において、バックライト状態が示されなかった場合に、７０８において、バックライト状態が無いことを検出する。７６０または７１２において、第１のテストおよび第２のテストのうちの１つがそれぞれ失敗したとき、方法は、バックライト補償を適用しない。
【００６３】
７１２におけるバックライト状態が示されたことに応答して、７１４において、画像データ１０４における顔の存在を決定するためのプロセスを開始する。７１４において、顔を検出した場合、ブロック７１６において、顔優先バックライト補償プロセス１３６のような、顔優先バックライト補償プロセスを開始する。特定の実施形態では、屋外領域内で顔を識別する。顔領域のエレメントを第３のしきい値と比較して、ブライトネスを評価する。例示的な第３のしきい値は、記憶されている、顔のルミナンス基準値を含んでいてもよい。ブロック７１４において、顔を検出しなかった場合、７１８において、ルーチンバックライト補償プロセス１３４のようなルーチンバックライト補償プロセスを開始する。
【００６４】
図７は、バックライト状態を自動的に検出して補正するための、図１の装置１００によって実行可能な方法７００を含む。図７を参照して記述した実施形態は、向上した利便性をユーザに対して提供しつつ、画像品質を向上させるために、バックライト状態を自動的に検出して補償できる。
【００６５】
図８は、８０２において、オートホワイトバランスモジュールにおいて画像データ１０４を受け取り、オートホワイトバランスデータを発生させることを含む方法８００を示している。８０２では、方法は、オートホワイトバランスデータに基づいて、バックライト状態を検出することを含んでいてもよい。画像データ１０４は、画像取り込みデバイス１１０によって取り込まれた画像に対応していてもよい。
【００６６】
８０４において、方法は、画像の第１の部分を屋内領域として、画像の第２の部分を屋外領域として識別する。８０６において、方法は、屋内領域のエレメントを第１のしきい値と比較することと、屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価する。８０８において、評価したブライトネス状態に応答して、バックライト状態を決定する。１つの実施形態では、バックライト検出モジュール１１８によって、部分的に方法を制御してもよい。バックライト検出モジュール１１８が、オートホワイトバランスデータを受け取ってもよい。
【００６７】
特定の実施形態において、８１０において、方法は、画像の屋内領域内の顔領域を識別する。ブライトネス状態を評価することは、顔領域のエレメントを第３のしきい値と比較することをさらに含んでいてもよい。方法はまた、屋外領域内の顔領域を識別し、顔領域のエレメントを第３のしきい値と比較してもよい。８１２において、方法は、バックライト状態に基づいて、バックライト補償を適用する。
【００６８】
図８は、バックライト状態を自動的に検出して補正するための、図１の装置１００によって実行可能な方法を含む。図８を参照して記述した実施形態は、向上した利便性をユーザに対して提供しつつ、画像品質を向上させるために、バックライト状態を自動的に検出して補償できる。
【００６９】
図９は、取り込んだ画像の、第１および第２の部分を、例えば、屋内および屋外の部分を識別する方法９００を示している。９０２において、方法の実施形態が、画像を、複数の実質的に等しいエリアに分割し、ここで、エリアのそれぞれは、画素数を含んでいる。９０４において、複数のエリアのそれぞれ内のグレー画素の平均値を決定する。９０６において、複数のエリアのそれぞれのエリア内のグレー画素の平均値を、色空間における温度ゾーンに対応している予め較正されたグレー点と比較する。
【００７０】
特定の実施形態にしたがうと、９０８において、高い色温度ゾーンにおける画像の少なくともいくつかの屋外サンプルが、高いブライトネスサンプルおよび低いブライトネスサンプルの両方を含むときに、高い色温度ゾーンにおける低いブライトネスサンプルの数が第４のしきい値を超える場合に、バックライト状態を検出する。９１０において、方法は、画像の少なくともいくつかの屋外サンプルが、画像の少なくともいくつかの屋内サンプルよりも、実質的に、より高いブライトネス値を持つときに、屋内の低いブライトネスサンプルの数が第５のしきい値を超える場合に、バックライト状態を検出する。
【００７１】
図９は、バックライト状態を自動的に検出するための、図１の屋内／屋外比較論理１３０によって実行可能な方法を含む。図９を参照して記述した実施形態は、ブライトネスサンプルのプロットされた分布に基づいて、バックライト状態を自動的に検出できる。屋内ブライトネスサンプルおよび屋外ブライトネスサンプルを識別して評価することによって、方法は、画像品質およびユーザの利便性を向上させることができる。
【００７２】
図１０は、画像の複数のエリアのそれぞれ内のグレー画素の平均値を決定する方法１０００を示している。１００２において、特定の実施形態が、画像データ１０４をＲＧＢ画像データからＹＣｂＣｒ画像データにコンバートする。１００４において、複数のエリアのそれぞれにおけるグレー画素を合計して、それぞれの特定のエリアにおけるグレー画素数を提供する。１００６において、方法は、ＹＣｂＣｒ画像データをＲＧＢ画像データにコンバートする。１００８において、方法は、それぞれの特定のエリアにおけるグレー画素の、ルミナンス（Ｙ）値の合計と、クロマ青（Ｃｂ）値の合計と、クロマ赤（Ｃｒ）値の合計とを提供する。１０１０において、合計されたＹ値と、合計されたＣｂ値と、合計されたＣｒ値とを加算し、それぞれの特定のエリアにおける合計されたＹＣｂＣｒ値を生成させる。１０１２において、方法は、それぞれの特定のエリアにおける合計されたＹＣｂＣｒ値を、それぞれの特定のエリアにおけるグレー画素数で割る。１０１４において、複数のエリアのそれぞれ内のグレー画素の平均値を出力する。
【００７３】
図１０は、屋内ブライトネスサンプルおよび屋外ブライトネスサンプルを識別する際に使用し得る、例えば、画像のエリア内のグレー画素のような、オートホワイトバランス統計を発生させるための、図１のオートホワイトバランスモジュール１２０によって実行可能な方法を含む。統計および識別により、バックライト状態の自動検出および補正を促進できる。図１０中で記述した方法は、増加した画像品質およびユーザの利便性を促進させることができる。
【００７４】
図１１を参照すると、オートホワイトバランスデータを使用して、バックライト状態を自動的に検出するように構成されている、特定の例示的な実施形態の装置のブロックダイアグラムを図示しており、概して、１１００と指定している。装置１１００は、画像センサデバイス１１２２を備え、画像センサデバイス１１２２は、レンズ１１６８に結合されており、ポータブルマルチメディアデバイス１１７０のアプリケーションプロセッサチップセットにも結合されている。画像センサデバイス１１２２は、自動バックライト検出モジュール１１６４を備え、自動バックライト検出モジュール１１６４は、オートホワイトバランスデータを使用して、バックライティング状態を検出する。
【００７５】
自動バックライト検出モジュール１１６４は、例えば、アナログデジタルコンバータ１１２６のようなものを通して画像アレイ１１６６から画像データを受け取るように結合されている。アナログデジタルコンバータ１１２６は、画像アレイ１１６６の出力を受け取り、画像データを自動バックライト検出モジュール１１６４に提供するように結合されている。
【００７６】
画像センサデバイス１１２２は、プロセッサ１１１０も備えていてもよい。特定の実施形態では、プロセッサ１１１０は、オートホワイトバランスデータを使用して、バックライティング検出を実現するように構成されている。別の実施形態では、自動バックライト検出モジュール１１６４は、別個の画像処理回路として実現される。
【００７７】
プロセッサ１１１０は、図１のモジュール１２０、１２２、１２４、１３２によって実行される動作のうちの１つ以上のような、付加的な画像処理動作を実行するように構成されていてもよい。さらなる処理、送信、記憶、表示、または、これらの任意のものを組み合わせたもののために、プロセッサ１１１０は、処理した画像データをアプリケーションプロセッサチップセット１１７０に提供してもよい。
【００７８】
図１２は、オートホワイトバランスデータを使用して、バックライティングを検出するように構成されている自動バックライティング検出モジュール１２６４を備えている装置１２００の特定の実施形態のブロックダイアグラムである。装置１２００は、ポータブル電子デバイス中で実現されてもよく、メモリ１２３２に結合されている、デジタルシグナルプロセッサ（ＤＳＰ）のようなプロセッサ１２１０を備えている。
【００７９】
カメラインターフェース制御装置１２７０は、プロセッサ１２１０に結合されており、ビデオカメラのようなカメラ１２７２にも結合されている。例えば、オートフォーカスおよびオート露光制御のようなもののために、カメラ制御装置１２７０は、プロセッサ１２１０に応答できる。ディスプレイ制御装置１２２６は、プロセッサ１２１０とディスプレイデバイス１２２８とに結合されている。コーダ／デコーダ（ＣＯＤＥＣ）１２３４は、プロセッサ１２１０にも結合させることができる。スピーカー１２３９およびマイクロフォン１２３８は、ＣＯＤＥＣ１２３４に結合させることができる。ワイヤレスインターフェース１２４０は、プロセッサ１２１０とワイヤレスアンテナ１２４２とに結合させることができる。
【００８０】
プロセッサ１２１０は、処理した画像データ１２８０を発生させるように適合させることができる。ディスプレイ制御装置１２２６は、処理された画像データ１２８０を受け取るようにと、処理された画像データ１２８０をディスプレイデバイス１２２８に提供するように構成されていてもよい。さらに、メモリ１２３２は、処理された画像データ１２８０を受け取り、記憶するように構成されていてもよく、ワイヤレスインターフェース１２４０は、アンテナ１２４２を通しての送信のために、処理された画像データ１２８０を取り出すように構成されていてもよい。
【００８１】
特定の実施形態では、自動バックライティング検出モジュール１２６４は、プロセッサ１２１０において実行可能なコンピュータコードとして実現する。例えば、この実行可能なコンピュータコードは、例えば、コンピュータ読み取り可能媒体において記憶されているコンピュータ実行可能な命令のようなものがある。例えば、プログラム命令１２８２は、画像データ１２８０を自動的にホワイトバランスし、ホワイトバランスデータを発生させ、ホワイトバランスデータに基づいて、バックライト状態を検出するためのコードを含んでいてもよい。
【００８２】
特定の実施形態では、プロセッサ１２１０、ディスプレイ制御装置１２２６、メモリ１２３２、ＣＯＤＥＣ１２３４、ワイヤレスインターフェース１２４０、およびカメラ制御装置１２７０は、システムインパッケージまたはシステムオンチップデバイス１２２２中に備えられている。特定の実施形態では、入力デバイス１２３０および電源１２４４は、システムオンチップデバイス１２２２に結合されている。さらには、特定の実施形態では、図１２中に図示したように、ディスプレイデバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、ワイヤレスアンテナ１２４２、ビデオカメラ１２７２、および電源１２４４は、システムオンチップデバイス１２２２の外部にある。しかしながら、ディスプレイデバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、ワイヤレスアンテナ１２４２、カメラ１２７２、および電源１２４４のそれぞれは、インターフェースまたは制御装置のような、システムオンチップデバイス１２２２のコンポーネントに結合させることができる。
【００８３】
多数の画像処理技術を記述してきた。ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意のものを組み合わせたもので技術を実現することができる。ソフトウェアで実現する場合に、技術は、プログラムコードを含むコンピュータ読み取り可能媒体に向けられていてもよく、このプログラムコードは、デバイスで実行するときに、ここで記述した技術のうちの１つ以上のものをデバイスに実行させる。そのケースでは、コンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、またはこれらに類するものを含んでいてもよい）。
【００８４】
プログラムコードは、コンピュータ読み取り可能命令の形態でメモリ中に記憶されていてもよい。そのケースでは、ＤＳＰのようなプロセッサは、画像処理技術のうちの１つ以上のものを実行するために、メモリ中に記憶している命令を実行してもよい。いくつかのケースでは、画像処理の速度を上げるように、さまざまなハードウェアコンポーネントを呼び出すＤＳＰによって、技術を実行してもよい。他のケースでは、ここで記述したユニットは、マイクロプロセッサ、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の何らかのハードウェアとソフトウェアとを組み合わせたものとして実現してもよい。
【００８５】
ここで開示した実施形態に関連して記述した、さまざまな例示的な論理ブロック、コンフィギュレーション、モジュール、回路、およびアルゴリズムステップを、電子ハードウェア、コンピュータソフトウェア、あるいは両方のものを組み合わせたものとして実現してもよいことを、当業者はさらに正しく認識するだろう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、さまざまな例示的なコンポーネント、ブロック、コンフィギュレーション、モジュール、回路、およびステップを、一般的に、これらの機能性の観点から上記に記述している。このような機能性が、ハードウェアまたはソフトウェアとして実現されるか否かは、システム全体に課せられている、特定のアプリケーションおよび設計制約に依存する。熟練者が、それぞれの特定のアプリケーションの方法を変えて、記述した機能性を実現するかもしれないが、このようなインプリメンテーションの決定は、本開示の範囲から逸脱が生じるとして解釈すべきでない。
【００８６】
ここに開示した実施形態と関連して記述した方法またはアルゴリズムのステップは、直接、ハードウェアで、プロセッサにより実行されるソフトウェアモジュールで、あるいは、２つのものを組み合わせたもので具体化されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーブバルディスク、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、あるいは技術的に知られている他の何らかの形態の記憶媒体中に存在していてもよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようにプロセッサに結合されている。代替実施形態では、記憶媒体はプロセッサと一体化されてもよい。プロセッサおよび記憶媒体は、特定用途向集積回路（ＡＳＩＣ）中に存在していてもよい。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末中に存在していてもよい。代替実施形態では、プロセッサおよび記憶媒体は、コンピュータデバイスまたはユーザ端末において、ディスクリートコンポーネントとして存在していてもよい。
【００８７】
開示した実施形態の前の記述は、当業者が、開示した実施形態を作り、または使用できるように提供されている。これらの実施形態に対するさまざま改良は、当業者に容易に明らかとなり、ここに規定された一般的な原理は、開示の範囲を逸脱することなく、他の実施形態に適用されてもよい。したがって、本開示は、ここに示された実施形態に限定されることを意図しているものではなく、以下の特許請求の範囲によって規定されているような原理および新しい特徴と一致した、可能な限り最も広い範囲に一致させるべきである。
【特許請求の範囲】
【請求項１】
方法において、
オートホワイトバランス（ＡＷＥ）モジュールにおいて画像データを受け取り、オートホワイトバランスデータを発生させることと、
前記オートホワイトバランスデータに基づいて、バックライト状態を検出することとを含む方法。
【請求項２】
前記画像データは、取り込んだ画像に対応し、前記オートホワイトバランスデータは、バックライト検出モジュールによって受け取られ、
前記バックライト検出モジュールは、
前記画像の第１の部分を屋内領域として、前記画像の第２の部分を屋外領域として識別することと、
前記屋内領域のエレメントを第１のしきい値と比較することと、前記屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価することと、
前記評価したブライトネス状態に応答して、前記バックライト状態を検出することとを含む請求項１記載の方法。
【請求項３】
前記屋内領域内の顔領域を識別することをさらに含み、前記ブライトネス状態を評価することは、前記顔領域のエレメントを第３のしきい値と比較することをさらに含む請求項２記載の方法。
【請求項４】
前記屋外領域内の顔領域を識別することをさらに含み、前記ブライトネス状態を評価することは、前記顔領域のエレメントを第３のしきい値と比較することをさらに含む請求項２記載の方法。
【請求項５】
前記バックライト状態に基づいて、バックライト補償を適用することをさらに含む請求項１記載の方法。
【請求項６】
前記画像の第１の部分を識別することと、前記画像の第２の部分を識別することは、
前記画像を、複数の実質的に等しいエリアに分割し、前記エリアのそれぞれが、画素数を含んでいることと、
前記複数のエリアのそれぞれ内のグレー画素の平均値を決定することと、
前記複数のエリアのそれぞれのエリア内のグレー画素の前記平均値を、色空間における温度ゾーンに対応している予め較正されたグレー画素点と比較することとを含む請求項２記載の方法。
【請求項７】
高い色温度ゾーンにおける画像の少なくともいくつかの屋外サンプルが、高いブライトネスサンプルおよび低いブライトネスサンプルの両方を含むときに、前記高い色温度ゾーンにおける低いブライトネスサンプルの数が第４のしきい値を超える場合に、前記バックライト状態を検出する請求項６記載の方法。
【請求項８】
前記画像の少なくともいくつかの屋外サンプルが、前記画像の少なくともいくつかの屋内サンプルよりも、実質的に、より高いブライトネス値を持つときに、屋内の低いブライトネスサンプルの数が第５のしきい値を超える場合に、前記バックライト状態を検出する請求項６記載の方法。
【請求項９】
前記複数のエリアのそれぞれ内のグレー画素の平均値を決定することは、
前記画像データを、赤、緑、および青（ＲＧＢ）画像データから、ルミナンス、クロマ（ＹＣｂＣｒ）画像データにコンバートすることと、
前記複数のエリアのそれぞれにおけるグレー画素を合計して、それぞれの特定のエリアにおけるグレー画素数を提供することと、
前記ＹＣｂＣｒ画像データをＲＧＢ画像データにコンバートすることと、
それぞれの特定のエリアにおける前記グレー画素の、ルミナンス（Ｙ）値の合計と、クロマ青（Ｃｂ）値の合計と、クロマ赤（Ｃｒ）値の合計とを提供することと、
前記合計されたＹ値と、前記合計されたＣｂ値と、前記合計されたＣｒ値とを加算し、それぞれの特定のエリアにおける合計されたＹＣｂＣｒ値を生成させることと、
それぞれの特定のエリアにおける前記合計されたＹＣｂＣｒ値を、それぞれの特定のエリアにおける前記グレー画素数で割ることとを含む請求項６記載の方法。
【請求項１０】
装置において、
画像データを受け取るように構成されているオートホワイトバランス（ＡＷＢ）モジュールと、
バックライト検出モジュールとを具備し、
前記バックライト検出モジュールは、前記ＡＷＢモジュールからデータを受け取るように結合され、前記ＡＷＢモジュールからの前記データの評価に基づいて、バックライト状態を検出する論理を備える装置。
【請求項１１】
前記バックライト検出モジュールは、
前記画像データの第１の部分を屋内領域として、前記画像データの第２の部分を屋外領域として識別するようにと、
前記屋内領域のエレメントを第１のしきい値と比較することと、前記屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価するようにと、
前記評価したブライトネス状態に応答して、前記バックライト状態を検出するように構成されている請求項１０記載の装置。
【請求項１２】
前記バックライト検出モジュールは、
前記ＡＷＢモジュールから前記データを受け取るように構成されているＡＷＢインターフェースと、
前記ＡＷＢインターフェースに結合され、前記屋内領域を識別するようにと、前記屋外領域を識別するように構成されている屋内／屋外比較論理と、
前記屋内／屋外比較論理に結合され、前記バックライト状態を検出するように構成されているバックライト状態決定論理とを具備する請求項１１記載の装置。
【請求項１３】
前記バックライト検出モジュールに結合されているヒストグラムモジュールをさらに具備し、
前記ヒストグラムモジュールは、前記画像データに関する第１のテストを実行するように構成され、
前記第１のテストが合格したときに、前記バックライト検出モジュールは、前記ＡＷＢモジュールからの前記データに関する第２のテストを実行するように構成され、
前記第２のテストが合格したときに、バックライト補償を適用する請求項１０記載の装置。
【請求項１４】
前記第１のテストおよび前記第２のテストのうちの１つが不合格であったときに、バックライト補償を適用しない請求項１３記載の装置。
【請求項１５】
前記バックライト検出モジュールに結合されている顔検出モジュールをさらに具備し、
前記顔検出モジュールは、前記画像データに関する第３のテストを実行するように構成され、
顔を検出したときに、顔優先バックライト補償を適用する請求項１４記載の装置。
【請求項１６】
前記第１のテストは、
第１の値よりも小さいブライトネス値を持つ画素数が第１のしきい値を超えるか否かを決定することと、
第２の値よりも大きいブライトネス値を持つ画素数が第２のしきい値を超えるか否かを決定することとを含む請求項１３記載の装置。
【請求項１７】
前記装置は、ワイヤレスデバイスと、カメラと、カムコーダとのうちの１つを含む請求項１３記載の装置。
【請求項１８】
コンピュータ実行可能なコードを記憶するコンピュータ読み取り可能媒体において、
画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させるための、コンピュータによって実行可能なコードと、
前記ホワイトバランスデータに基づいてバックライト状態を検出するための、前記コンピュータによって実行可能なコードとを含むコンピュータ読み取り可能媒体。
【請求項１９】
前記画像データは、取り込んだ画像に対応し、
前記コンピュータ読み取り可能媒体は、
前記画像の第１の部分を屋内領域として、前記画像の第２の部分を屋外領域として識別するための、前記コンピュータによって実行可能なコードと、
前記屋内領域のエレメントを第１のしきい値と比較することと、前記屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価するための、前記コンピュータによって実行可能なコードと、
前記評価したブライトネス状態に応答して、前記バックライト状態を検出するための、
前記コンピュータによって実行可能なコードとをさらに含む請求項１８記載のコンピュータ読み取り可能媒体。
【請求項２０】
前記バックライト状態に基づいて、バックライト補償を選択的に適用するための、前記コンピュータによって実行可能なコードをさらに含む請求項１８記載のコンピュータ読み取り可能媒体。
【請求項２１】
装置において、
画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させる手段と、
前記ホワイトバランスデータに基づいて、バックライト状態を検出する手段とを具備する装置。
【請求項２２】
前記バックライト状態を検出する手段は、前記画像の第１の部分を屋内領域として、前記画像の第２の部分を屋外領域として識別する手段をさらに具備する請求項２１記載の装置。
【請求項１】
方法において、
オートホワイトバランス（ＡＷＥ）モジュールにおいて画像データを受け取り、オートホワイトバランスデータを発生させることと、
前記オートホワイトバランスデータに基づいて、バックライト状態を検出することとを含む方法。
【請求項２】
前記画像データは、取り込んだ画像に対応し、前記オートホワイトバランスデータは、バックライト検出モジュールによって受け取られ、
前記バックライト検出モジュールは、
前記画像の第１の部分を屋内領域として、前記画像の第２の部分を屋外領域として識別することと、
前記屋内領域のエレメントを第１のしきい値と比較することと、前記屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価することと、
前記評価したブライトネス状態に応答して、前記バックライト状態を検出することとを含む請求項１記載の方法。
【請求項３】
前記屋内領域内の顔領域を識別することをさらに含み、前記ブライトネス状態を評価することは、前記顔領域のエレメントを第３のしきい値と比較することをさらに含む請求項２記載の方法。
【請求項４】
前記屋外領域内の顔領域を識別することをさらに含み、前記ブライトネス状態を評価することは、前記顔領域のエレメントを第３のしきい値と比較することをさらに含む請求項２記載の方法。
【請求項５】
前記バックライト状態に基づいて、バックライト補償を適用することをさらに含む請求項１記載の方法。
【請求項６】
前記画像の第１の部分を識別することと、前記画像の第２の部分を識別することは、
前記画像を、複数の実質的に等しいエリアに分割し、前記エリアのそれぞれが、画素数を含んでいることと、
前記複数のエリアのそれぞれ内のグレー画素の平均値を決定することと、
前記複数のエリアのそれぞれのエリア内のグレー画素の前記平均値を、色空間における温度ゾーンに対応している予め較正されたグレー画素点と比較することとを含む請求項２記載の方法。
【請求項７】
高い色温度ゾーンにおける画像の少なくともいくつかの屋外サンプルが、高いブライトネスサンプルおよび低いブライトネスサンプルの両方を含むときに、前記高い色温度ゾーンにおける低いブライトネスサンプルの数が第４のしきい値を超える場合に、前記バックライト状態を検出する請求項６記載の方法。
【請求項８】
前記画像の少なくともいくつかの屋外サンプルが、前記画像の少なくともいくつかの屋内サンプルよりも、実質的に、より高いブライトネス値を持つときに、屋内の低いブライトネスサンプルの数が第５のしきい値を超える場合に、前記バックライト状態を検出する請求項６記載の方法。
【請求項９】
前記複数のエリアのそれぞれ内のグレー画素の平均値を決定することは、
前記画像データを、赤、緑、および青（ＲＧＢ）画像データから、ルミナンス、クロマ（ＹＣｂＣｒ）画像データにコンバートすることと、
前記複数のエリアのそれぞれにおけるグレー画素を合計して、それぞれの特定のエリアにおけるグレー画素数を提供することと、
前記ＹＣｂＣｒ画像データをＲＧＢ画像データにコンバートすることと、
それぞれの特定のエリアにおける前記グレー画素の、ルミナンス（Ｙ）値の合計と、クロマ青（Ｃｂ）値の合計と、クロマ赤（Ｃｒ）値の合計とを提供することと、
前記合計されたＹ値と、前記合計されたＣｂ値と、前記合計されたＣｒ値とを加算し、それぞれの特定のエリアにおける合計されたＹＣｂＣｒ値を生成させることと、
それぞれの特定のエリアにおける前記合計されたＹＣｂＣｒ値を、それぞれの特定のエリアにおける前記グレー画素数で割ることとを含む請求項６記載の方法。
【請求項１０】
装置において、
画像データを受け取るように構成されているオートホワイトバランス（ＡＷＢ）モジュールと、
バックライト検出モジュールとを具備し、
前記バックライト検出モジュールは、前記ＡＷＢモジュールからデータを受け取るように結合され、前記ＡＷＢモジュールからの前記データの評価に基づいて、バックライト状態を検出する論理を備える装置。
【請求項１１】
前記バックライト検出モジュールは、
前記画像データの第１の部分を屋内領域として、前記画像データの第２の部分を屋外領域として識別するようにと、
前記屋内領域のエレメントを第１のしきい値と比較することと、前記屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価するようにと、
前記評価したブライトネス状態に応答して、前記バックライト状態を検出するように構成されている請求項１０記載の装置。
【請求項１２】
前記バックライト検出モジュールは、
前記ＡＷＢモジュールから前記データを受け取るように構成されているＡＷＢインターフェースと、
前記ＡＷＢインターフェースに結合され、前記屋内領域を識別するようにと、前記屋外領域を識別するように構成されている屋内／屋外比較論理と、
前記屋内／屋外比較論理に結合され、前記バックライト状態を検出するように構成されているバックライト状態決定論理とを具備する請求項１１記載の装置。
【請求項１３】
前記バックライト検出モジュールに結合されているヒストグラムモジュールをさらに具備し、
前記ヒストグラムモジュールは、前記画像データに関する第１のテストを実行するように構成され、
前記第１のテストが合格したときに、前記バックライト検出モジュールは、前記ＡＷＢモジュールからの前記データに関する第２のテストを実行するように構成され、
前記第２のテストが合格したときに、バックライト補償を適用する請求項１０記載の装置。
【請求項１４】
前記第１のテストおよび前記第２のテストのうちの１つが不合格であったときに、バックライト補償を適用しない請求項１３記載の装置。
【請求項１５】
前記バックライト検出モジュールに結合されている顔検出モジュールをさらに具備し、
前記顔検出モジュールは、前記画像データに関する第３のテストを実行するように構成され、
顔を検出したときに、顔優先バックライト補償を適用する請求項１４記載の装置。
【請求項１６】
前記第１のテストは、
第１の値よりも小さいブライトネス値を持つ画素数が第１のしきい値を超えるか否かを決定することと、
第２の値よりも大きいブライトネス値を持つ画素数が第２のしきい値を超えるか否かを決定することとを含む請求項１３記載の装置。
【請求項１７】
前記装置は、ワイヤレスデバイスと、カメラと、カムコーダとのうちの１つを含む請求項１３記載の装置。
【請求項１８】
コンピュータ実行可能なコードを記憶するコンピュータ読み取り可能媒体において、
画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させるための、コンピュータによって実行可能なコードと、
前記ホワイトバランスデータに基づいてバックライト状態を検出するための、前記コンピュータによって実行可能なコードとを含むコンピュータ読み取り可能媒体。
【請求項１９】
前記画像データは、取り込んだ画像に対応し、
前記コンピュータ読み取り可能媒体は、
前記画像の第１の部分を屋内領域として、前記画像の第２の部分を屋外領域として識別するための、前記コンピュータによって実行可能なコードと、
前記屋内領域のエレメントを第１のしきい値と比較することと、前記屋外領域のエレメントを第２のしきい値と比較することとによって、ブライトネス状態を評価するための、前記コンピュータによって実行可能なコードと、
前記評価したブライトネス状態に応答して、前記バックライト状態を検出するための、
前記コンピュータによって実行可能なコードとをさらに含む請求項１８記載のコンピュータ読み取り可能媒体。
【請求項２０】
前記バックライト状態に基づいて、バックライト補償を選択的に適用するための、前記コンピュータによって実行可能なコードをさらに含む請求項１８記載のコンピュータ読み取り可能媒体。
【請求項２１】
装置において、
画像データを自動的にホワイトバランスし、ホワイトバランスデータを発生させる手段と、
前記ホワイトバランスデータに基づいて、バックライト状態を検出する手段とを具備する装置。
【請求項２２】
前記バックライト状態を検出する手段は、前記画像の第１の部分を屋内領域として、前記画像の第２の部分を屋外領域として識別する手段をさらに具備する請求項２１記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公表番号】特表２０１２−５２３７９９（Ｐ２０１２−５２３７９９Ａ）
【公表日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１２−５０６１１１（Ｐ２０１２−５０６１１１）
【出願日】平成２２年４月１３日（２０１０．４．１３）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０３０８１７
【国際公開番号】ＷＯ２０１０／１２０７２１
【国際公開日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２２年４月１３日（２０１０．４．１３）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０３０８１７
【国際公開番号】ＷＯ２０１０／１２０７２１
【国際公開日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]