画像処理装置及び画像処理方法並びに撮像装置
【課題】 彩度および輝度の低い赤目領域の補正率の向上と、誤補正の抑制とを実現する。
【解決手段】 画像中の目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める。また、目の周辺領域の輝度値と、評価値とを用いて、目領域中の画素の値を補正する。この際、評価値が同じであっても、輝度値が小さい場合には、補正量が小さくなるように補正する。
【解決手段】 画像中の目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める。また、目の周辺領域の輝度値と、評価値とを用いて、目領域中の画素の値を補正する。この際、評価値が同じであっても、輝度値が小さい場合には、補正量が小さくなるように補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に撮像装置で撮像された画像内に含まれる赤目領域を補正する画像処理装置及び画像処理方法に関する。
本発明はさらに、撮像画像中の赤目領域を補正する機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来、光電変換素子を用いて被写体光学像を撮像し、メモリカードを代表とする記録媒体に、撮像画像をデジタルデータとして記録するデジタルカメラが知られている。
また、人物をフラッシュ撮影（フラッシュを点灯させて撮影）した場合、目が赤く撮影されてしまう赤目現象についても知られている。赤目現象は、網膜の血管が撮像されることにより発生し、特に暗所など瞳孔が大きく開いた状態でフラッシュ撮影した場合に起こりやすい。
【０００３】
このような赤目現象の発生を緩和するため、フラッシュ撮影の直前にランプやフラッシュなどを一度点灯させ（プリ発光）、瞳孔を収縮させてからフラッシュ撮影を行う赤目緩和機能を有する撮像装置が知られている。しかし、プリ発光時に被写体がカメラを注視していない場合は赤目緩和効果が少ないといった問題があった。
【０００４】
赤目現象はデジタルカメラであってもフィルムカメラ（銀塩カメラ）であっても同様に発生するが、デジタルカメラの場合、撮像画像に対して容易に画像処理を適用することができる。そのため、撮像画像中に含まれる人物の顔や目を検出し、赤目現象が発生していると判断される場合には自動または半自動で赤目領域を修正する赤目補正技術が提案されている。特許文献１では、撮像画像中、肌色とみなされる領域を顔領域として検出し、検出された顔領域内で赤目領域を検出することが開示されている。また、特許文献２には、赤目補正機能を有するカメラにおいて、検出顔形状モデルと顔確率を比較するアルゴリズムとパターンマッチングを併用して、撮像画像中の顔領域を検出することが開示されている。
【０００５】
【特許文献１】特開平１０−０２３３９２９号公報
【特許文献２】特開２００１−３０９２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これら従来の技術においては、画素の赤さの度合いを評価値として赤目領域の候補となる領域（赤目候補領域）を検出し、さらに赤目候補領域の大きさや形などから最終的な赤目領域を特定して、赤目領域内の画素を補正している。そのため、画素の赤さの度合いを正しく求めることが、赤目の正しい補正（換言すれば、赤目領域でない領域を誤補正しないこと）を左右する重要な要素である。
【０００７】
例えば、赤目現象が発生する瞳の部分は、黒や茶色などの暗い色であることが多い。そのため、特に少量のフラッシュ光しか瞳に入射しなかった場合、赤目領域の彩度および輝度は低くなる。
【０００８】
このような赤目領域を検出するために、例えば、以下の式（１）で求められる評価値Ｅを用いることが考えられる。
Ｅ＝（２＊Ｒ−Ｇ−Ｂ）／（２Ｙ） 式（１）
ここで、Ｒ，Ｇ，Ｂはそれぞれ画素の赤、緑および青成分の値、Ｙは輝度値である。
【０００９】
この評価値Ｅは、Ｒ−Ｇ、Ｒ−Ｂの色差信号の平均値（（Ｒ−Ｇ）＋（Ｒ−Ｂ））／２を輝度信号Ｙで正規化したものである。この評価値Ｅは、輝度値が小さいほど大きくなるため、彩度および輝度が低い赤目領域の検出に有効であると考えられる。
【００１０】
しかし、このような評価値Ｅを用いた場合、露出不足の画像や、被写体にフラッシュ光が届いていない画像のように全体的に暗い画像においては、赤目領域以外の領域、例えば肌領域に対する評価値が大きくなる。そのため、赤目領域の誤認識が起こりやすくなり、誤補正の発生率が上昇するという問題がある。
【００１１】
本発明はこのような従来技術の課題に鑑みなされたものであり、彩度および輝度の低い赤目領域の補正率の向上と、誤補正の抑制とを実現することを目的とする。
【課題を解決するための手段】
【００１２】
すなわち、上述の目的は、画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出手段と、目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算手段と、画像中の、目の周辺領域の輝度値を求める輝度演算手段と、評価値と、輝度値とを用いて、目領域に含まれる画素の値を補正する補正手段とを有し、補正手段が、評価値が同じであっても、輝度値が予め定められた値よりも小さい場合には、輝度値が予め定められた値以上である場合よりも補正量が小さくなるように目領域に含まれる画素の値を補正することを特徴とする画像処理装置によって達成される。
【００１３】
また、上述の目的は、画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出ステップと、目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算ステップと、画像中の、目の周辺領域の輝度値を求める輝度演算ステップと、評価値と、輝度値とを用いて、目領域に含まれる画素の値を補正する補正ステップとを有し、補正ステップは、評価値が同じであっても、輝度値が予め定められた値よりも小さい場合には、輝度値が予め定められた値以上である場合よりも補正量が小さくなるように目領域に含まれる画素の値を補正することを特徴とする画像処理方法によっても達成される。
【発明の効果】
【００１４】
このような構成により、本発明によれば、彩度および輝度の低い赤目領域の補正率の向上と、誤補正の抑制とを実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。
（撮像装置の構成）
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示す図である。
１０はレンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１６】
タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
【００１７】
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１８】
また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
【００１９】
さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２０】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
【００２１】
Ａ／Ｄ変換器１６の出力データが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６の出力データが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２２】
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、電子ファインダー機能を実現することが可能である。
【００２３】
また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を低減することができる。
【００２４】
メモリ３０は撮影した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２５】
圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。
【００２６】
測距制御部４２はレンズ１０のフォーカシングを制御し、ズーム制御部４４はレンズ１０のズーミングを制御する。バリア制御部４６はレンズ１０の保護を行うためのレンズバリア１０２の動作を制御する。
【００２７】
フラッシュ４８は撮影時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
赤目緩和ランプ４９は、フラッシュ４８を用いた撮影前に、約１秒間発光することによって、被写体である人の瞳孔を小さくするための光源である。上述したように、撮影直前に瞳孔を小さくすることによって、フラッシュ発光撮影時の赤目現象を低減することができる。
【００２８】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００２９】
システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することにより撮像装置１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。
【００３０】
表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４は撮像装置１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。
【００３１】
表示部５４の表示内容としては、例えば、セルフタイマー表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、合焦表示、手振れ警告表示等がある。この一部は光学ファインダー１０４内に表示される。
【００３２】
さらに、表示部５４の表示内容のうち、その一部はＬＥＤ等により表示する。
【００３３】
そして、表示部５４の表示内容のうち、例えば、セルフタイマー通知ランプはランプ等により表示する。このセルフタイマー通知ランプは、ＡＦ補助光と共用して用いても良い。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３４】
モードダイヤル６０、第１シャッタースイッチ（ＳＷ１）６２、第２シャッタースイッチ（ＳＷ２）６４、画像表示ＯＮ／ＯＦＦスイッチ６６、フラッシュ設定ボタン６８及び操作部７０は、システム制御部５０に所定の動作の開始、停止等を指示するための操作部材である。これらの操作部材は、ボタン、スイッチ、ダイアル、タッチパネル、視線検知装置、音声認識装置或いはこれらの組み合わせで構成される。
【００３５】
ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。
【００３６】
第１シャッタースイッチ（ＳＷ１）６２は、撮像装置１００に設けられたシャッターボタン（図示せず）の第１ストローク（例えば半押し）でＯＮとなる。第１シャッタースイッチ（ＳＷ１）６２がＯＮにされた場合、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ処理等が開始される。
【００３７】
第２シャッタースイッチ（ＳＷ２）６４は、撮像装置１００に設けられたシャッターボタンの第２ストローク（例えば全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００や２１０に画像データを書き込む記録処理が行われる。
【００３８】
画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８の表示ＯＮ／ＯＦＦ設定用スイッチである。光学ファインダー１０４を用いて撮影を行う際に、例えばＴＦＴ ＬＣＤ等から成る画像表示部２８の表示をＯＦＦして電流供給を遮断することにより、省電力を図ることが可能となる。
【００３９】
フラッシュ設定ボタン６８は、フラッシュの動作モードを設定・変更するボタンである。本実施形態において設定可能なモードは、オート、常時発光、赤目緩和オート、常時発光（赤目緩和）がある。オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するモードである。常時発光は、常にフラッシュを発光して撮影するモードである。赤目緩和オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するとともに、フラッシュ発光の際には、常に赤目緩和ランプを発光するモードである。常時発光（赤目緩和）は、常に赤目緩和ランプとストロボを発光して撮影するモードである。
【００４０】
操作部７０は各種ボタンやタッチパネル等からなり、例えば、メニューボタン、セットボタン、メニュー移動ボタン、撮影画質選択ボタン、露出補正ボタン、圧縮モードスイッチ等を含む。
【００４１】
圧縮モードスイッチは、ＪＰＥＧ(Joint Photographic Expert Group)圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである。
【００４２】
本実施形態において、ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。撮像装置１００の利用者は、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択して撮影を行うことができる。
【００４３】
ＪＰＥＧ圧縮のモードにおいては、圧縮伸長部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、例えば記録媒体２００に記録する。
【００４４】
ＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。
【００４５】
電源制御部８０は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４６】
電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によって撮像装置１００に取り付けられる。
【００４７】
メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、撮像装置１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６と撮像装置１００側のコネクタ９２、９６とを介して撮像装置１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２００、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。
【００４８】
なお、本実施形態では撮像装置１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
【００４９】
コネクタ９２及び９６に各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
レンズバリア１０２は、撮像装置１００の、レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００５０】
光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示などの情報表示がなされる。
【００５１】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、ＩＥＥＥ８０２．１１ｘ等の無線通信、等、各種規格に準拠した通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。
【００５２】
図２は、図１の構成を有する撮像装置１００の外観例を示す斜視図であり、図１に示した構成については同じ参照数字を付した。
電源ボタン２０１は撮像装置１００の電源をオン・オフするためのボタンである。MENUボタン２０５は、撮影パラメタやカメラの設定を変更するためのメニュー画面を表示したり表示を中止するためのボタンである。SETボタン２０３は、設定値の決定や、メニュー項目の決定などに使用する。削除ボタン２０７は、撮像した画像の削除を指定する際に用いる。ＤＩＳＰボタン２０８は、画像表示部２８に表示する情報の組み合わせを切り替えるボタンである。十字ボタン２０９は上下左右ボタンから構成され、メニュー画面の遷移や選択項目の移動などを行ったり、再生モードにおける表示画像の切り替えなどを行ったりするのに使用する。これらのボタンは、操作部７０に含まれる。
【００５３】
（撮像・記録処理）
図３は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
本実施形態では、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなく、記録媒体に保存された画像の再生時であっても実行可能であることは言うまでもない。
【００５４】
シャッターボタンが全押しされ、ＳＷ２がＯＮになると、撮影処理が行われる（Ｓ３０２）。撮像素子１４がアナログ電気信号に変換した被写体像はＡ／Ｄ変換器１６によりデジタル信号に変換される。そして、Ａ／Ｄ変換器１６が出力するデジタル信号に対し、画像処理部２０において撮影画像処理を実施する（Ｓ３０３）。
【００５５】
詳細は省略するが、この撮影画像処理には、撮像素子１４から読み出された信号を、例えばカラーフィルタの配列などに基づいて、輝度成分Ｙ、色差成分ＵＶで表される画素単位の画像データへ変換する処理が含まれる。
【００５６】
次に、画像処理部２０は、画像データを用いて、撮像画像内において人間の目と判断される領域を含む部分領域（目領域）を検出する目領域検出処理を行う（Ｓ３０４）。
目領域検出処理はどのような手法によって行っても良いが、例えば特開２００１−３０９２２５号公報に記載されるような、形状モデルを用いたパターンマッチングを用いて行うことができる。
【００５７】
目領域検出処理により目領域が検出されると、画像処理部２０は赤目補正処理を行う。具体的には、まず、目領域検出処理によって検出された目領域中の各画素の赤さを示す評価値と、目の周辺領域の輝度値を演算する（Ｓ３０５）。そして、この評価値と輝度値を用いて、検出した目領域に含まれる画素の値を補正する赤目補正処理を適用する（Ｓ３０６）。
【００５８】
画像処理部２０は、赤目補正処理を実施した画像データを、メモリ制御部２２を通じてメモリ３０に出力する。メモリ制御部２２は、画像処理部２０からの画像データを画像表示部２８の解像度に合わせて画像表示メモリ２４に書き込む。これにより、補正後の画像が画像表示部２８上に表示される（クイックレビュー動作）（Ｓ３０７）。一方、メモリ３０に書き込まれた画像データは、圧縮伸長部３２によって例えばＪＰＥＧ形式に符号化する。そして、符号化された画像データはシステム制御部５０の制御に従って記録媒体２００又は２１０に、例えばＤＣＦ規格に従って記録される（Ｓ３０８）。
【００５９】
なお、Ｓ３０４において目領域が検出されなかった場合、Ｓ３０５の評価値および輝度値の演算処理およびＳ３０６の赤目補正処理をスキップして、Ｓ３０７、Ｓ３０８においては補正されていない画像の表示及び記録を行う。
【００６０】
（赤目補正処理）
次に、図３のＳ３０６において画像処理部２０が行う赤目補正処理の詳細について説明する。
図４は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図４における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。
【００６１】
上述の通り、画像処理部２０は、図３のＳ３０４で目領域を検出する。そして、目領域に含まれる画素データ（Ｙｕｖ形式）４０１を評価値演算処理部４０２へ供給する。ここで、目領域は横幅画素数Ｗ、縦幅画素数Ｈの矩形状であるものとする。
【００６２】
評価値演算処理部４０２は、画素データ４０１の各画素について、以下の式を用いてＲＧＢ形式に変換するとともに、評価値Ｅを求める。
Ｅ＝（２＊Ｒ−Ｇ−Ｂ）／（２Ｙ） 式（１）
Ｒ＝Ｙ＋１．４０２＊Ｖ 式（２）
Ｇ＝Ｙ−０．３４４＊Ｕ−０．７１４＊Ｖ 式（３）
Ｂ＝Ｙ＋１．７７２＊Ｕ 式（４）
【００６３】
式（１）から明らかなように、画素が赤い（赤さが強い）ほど、また輝度が小さいほど評価値Ｅは大きくなる。評価値演算処理部４０２は、求めた評価値Ｅを、ブロック分割分散演算処理部４０３及び補正係数演算処理部４０６へ出力する。
【００６４】
分割手段及び指標演算手段としてのブロック分割分散演算処理部４０３は、目領域を複数の領域（ブロック）に分割し、個々のブロックに含まれる画素の評価値Ｅの分散Ｄを演算する。ブロックは、赤目領域（すなわち、瞳孔領域）が１つのブロックの内部に含まれるような大きさに設定する。具体的なブロックの大きさは、任意の方法で設定することができるが、例えば統計的な赤目領域の大きさを考慮して予め設定しておくことができる。また、ブロックの大きさを考慮して目領域の大きさを定めることもできる。
【００６５】
本実施形態では、図５に示すように、目領域５００を横方向５分割、縦方向５分割の計２５のブロックに分割し、ブロックごとの評価値Ｅの分散Ｄを演算するものとする。分散Ｄは以下の式（５）及び式（６）を用いて演算する。
【００６６】
【数１】
【００６７】
式中、Ｅ（Ｉ）は、個々の評価値であり、Ｎはブロックに含まれる画素数である。
ブロック分割分散演算処理部４０３は、求めたブロック毎の分散Ｄを拡大リサイズ処理部４０４へ出力する。
【００６８】
拡大リサイズ処理部４０４は、ブロックごとに求められた２５個（５×５）の分散Ｄを、横幅Ｗ、縦幅ＨのＷ×Ｈ個のデータに、例えば線形補間することによって拡大リサイズする。Ｗ×Ｈ個のデータにリサイズされた分散データは最大値座標検出処理部４０５及び補正係数演算処理部４０６へ出力される。
【００６９】
位置検出手段としての最大値座標検出処理部４０５は、拡大リサイズされた分散データのうち、最大値を有するデータの画素位置（ＭａｘＸ，ＭａｘＹ）を検出する。そして、検出した画素位置を補正係数演算処理部４０６に出力する。
【００７０】
目周辺領域輝度演算処理部４０８は、画像中の、目の周辺領域の輝度値の一例として、目周辺領域輝度Ｙｅを求める。具体的には、目周辺領域輝度演算処理部４０８は、図８に示すように、目周辺領域輝度Ｙｅとして、検出された目領域の下部の平均輝度を求める。具体的には、本実施形態において、目周辺領域輝度演算処理部４０８は、目領域の底辺の１ライン分の輝度の平均値を目周辺領域輝度として求めている。ここで求めた目周辺領域輝度Ｙｅは、補正係数演算処理部４０６へ出力される。ここで、目周辺領域輝度演算処理部４０８が検出した目領域の下部を用いているのは、目領域の上部には眉毛、左右部には髪の毛が含まれる可能性があり、目領域の下部が最も安定した値を得られると考えられるためである。
【００７１】
補正係数演算処理部４０６は、目周辺領域輝度Ｙｅと、Ｗ×Ｈ個のデータにリサイズされた分散データと、最大値を有する分散データの画素位置（ＭａｘＸ，ＭａｘＹ）とから、補正係数を求める。補正係数の算出処理の詳細については後述する。
【００７２】
図６は、赤目現象が発生している目領域と、分散の分布例を示す図である。
図６において、６０１は、Ｙ＝ＭａｘＹにおけるＸ軸方向の分散の分布であり、横軸はＸ座標、縦軸は分散の大きさを示している。また、６０２は、Ｘ＝ＭａｘＸにおけるＹ軸方向の分散の分布であり、横軸はＹ座標、縦軸は分散の大きさを示している。
【００７３】
補正係数演算処理部４０６は、最大値座標検出処理部４０５が検出した画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に応じた重み係数を決定する。具体的には、図７に示すように、画素位置（ＭａｘＸ，ＭａｘＹ）に近いほど大きい重み係数を決定する。
【００７４】
図６における６０３は、Ｙ＝ＭａｘＹにおけるＸ軸方向の重み係数の分布であり、横軸はＸ座標、縦軸は重み係数の大きさを示している。また、６０４は、Ｘ＝ＭａｘＸにおけるＹ軸方向の重み係数の分布であり、横軸はＹ座標、縦軸は重み係数の大きさを示している。図６に示す例では、画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に比例して線形に減少するような重み係数を決定している。
【００７５】
また、補正係数演算処理部４０６は、目周辺領域輝度Ｙｅから、輝度補正係数αを求める。輝度補正係数αは最大値が１であり、目周辺領域輝度Ｙｅが低ければ小さく、目周辺領域輝度Ｙｅが高ければ大きくなるように設定されている。図９は、本実施形態における輝度補正係数αと目周辺領域輝度Ｙｅとの関係の例を示す図である。図９に示すように、本実施形態において、輝度補正係数αの最小値は０．２に設定されている。補正係数演算処理部４０６は、例えば図９の関係を示すテーブルを予め記憶しておき、目周辺領域輝度Ｙｅの値に対応する輝度補正係数αを求めることができる。輝度補正係数αは、目周辺領域輝度Ｙｅの値が予め定められた値よりも小さい場合には、予め定められた値以上である場合よりも小さい値となるようにする係数としてもよい。
【００７６】
そして、補正係数演算処理部４０６は、評価値演算処理部４０２からの評価値Ｅ（ｘ，ｙ）、分散を拡大リサイズ処理したデータＤ（ｘ，ｙ）、重み係数Ｗ（ｘ，ｙ）、輝度補正係数αを用い、補正係数Ｃ（ｘ，ｙ）を、以下の式（７）によって演算する。
Ｃ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）×Ｄ（ｘ，ｙ）×Ｗ（ｘ，ｙ）×α 式（７）
ここで、（ｘ，ｙ）は目領域内の座標であり、本例では１≦ｘ≦Ｗ，１≦ｙ≦Ｈである。また、０≦Ｃ（ｘ，ｙ）≦１である。
このように、補正係数Ｃは、評価値Ｅが大きいほど、分散Ｄが大きいほど、重み係数Ｗが大きいほど大きくなる。また、目周辺領域輝度Ｙｅが小さい場合には補正係数Ｃが小さくなるように補正される。
【００７７】
補正係数演算処理部４０６において求めた補正係数Ｃは、補正処理部４０７へ出力される。補正処理部４０７は、目領域の画素データ４０１に対し、補正係数Ｃを適用することにより、赤目補正処理を実行する。具体的には、Ｙｕｖ形式の画素データ４０１の輝度成分をＹ（ｘ，ｙ）、色成分をＵ（ｘ，ｙ）及びＶ（ｘ，ｙ）とし、補正後の画素データの色成分をＵ’（ｘ，ｙ）及びＶ’（ｘ，ｙ）とすると、以下の式（８）、式（９）により補正を行う。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ）） 式（８）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ）） 式（９）
【００７８】
補正係数Ｃが小さいほど、すなわち、評価値Ｅ、分散Ｄ、重み係数Ｗ、あるいは、目周辺領域輝度Ｙｅが小さいほど、色成分Ｕ及びＶに対する補正量が小さくなり、色成分Ｕ及びＶと、色成分Ｕ’及びＶ’との差が小さくなる。
補正処理部４０７は、補正した画素データ４０９を、撮像画像データにおける、対応する目領域のデータに上書きする。
以上の処理を、他の全ての目領域に対して実行したら、赤目補正処理を終了する。
【００７９】
なお、本実施形態において、各目領域を５×５のブロックに分割したが、分割数は５×５に限られるものではなく、９×９のようにより細分化してもよく、また９×７のように横方向、縦方向の分割数を異なる値に設定することも可能である。また、目領域の検出アルゴリズムの精度に応じて分割数を変更するようにしてもよい。例えば、瞳孔の位置を高い精度で検出できる検出方法を用いる場合であれば、目が存在するとみなされる領域に対して比較的小さめに目領域を設定し、分割数を減らすことによって、処理時間の短縮を図ることができる。あるいは、目領域の検出アルゴリズムは同一であっても、得られた目領域の検出結果の信頼度が高いほど、目領域の大きさを小さめに設定するようにしてもよい。
【００８０】
また、本実施形態では、補正処理部４０７において、画素データの色成分を補正係数が大きいほど大きく低減させることにより、赤目領域に含まれる画素の赤さを低減させている。しかし、例えば補正後の目標色成分Ｕｔ及びＶｔを設定し、次のような式で補正するようにすることも可能である。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ））＋Ｕｔ×Ｃ（ｘ，ｙ）
式（１０）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ））＋Ｖｔ×Ｃ（ｘ，ｙ）
式（１１）
【００８１】
また、本実施形態においては、評価値Ｅのばらつき度合いの指標の一例として評価値Ｅの分散を用いた。しかし、標準偏差を始めとして、ブロック内に含まれる画素に対する評価値Ｅばらつき度合いの指標として利用可能な任意の値を代わりに用いることができる。
【００８２】
また、本実施形態においては、画像処理装置の一例として撮像装置を説明したが、本発明はプリンタや情報処理装置を始めとして、赤目補正処理を利用可能な任意の装置に適用可能である。
【００８３】
以上説明したように、本実施形態によれば、画素の赤さの程度を表す評価値として輝度で正規化した評価値を用いることにより、彩度や輝度が低い赤目領域の補正精度を向上させることができる。さらに、目周辺領域輝度が低い場合には、補正による色成分の低減量を小さくする輝度補正係数を組み合わせて用いることで、赤目領域だけでなく、周辺も暗い画像（例えば露出アンダーの画像）における、誤補正を抑制することができる。
【００８４】
なお、本実施形態においては輝度で正規化した評価値Ｅを、そのばらつき度合いにより補正する構成について説明した。しかし、輝度で正規化した評価値Ｅを用いた場合の、全体が暗い画像における誤補正を抑制するという効果は、目周辺領域輝度Ｙｅに応じた補正係数αの導入のみによって達成できる。換言すれば、評価値Ｅをそのばらつき度合に応じて補正する処理は、本発明において必須ではない。
【００８５】
また、評価値Ｅをそのばらつき度合に応じて補正する場合であっても、ばらつき度合が最大となる画素位置からの距離に応じた重み付けは必須ではない。
ただし、評価値のばらつきを考慮したり、重み付けを行うことで、別の要因による誤補正を抑制できる効果がある。
【００８６】
例えば、図５において、目頭の充血した部分の目頭領域５０１の画素は、赤味が強いので、評価値Ｅが大きくなるが、その部分が含まれるブロック５０２に関する評価値Ｅのばらつきの度合は小さい。そのため、目頭領域５０１に対する評価値は、ばらつきの度合が小さいことにより低減され、結果、補正係数が小さくなる。さらに、肌領域５０３のような、ほぼ同じ色の画素からなる比較的大きな領域についても、ブロック内の評価値のばらつき度合が小さくなるので、補正係数が小さくなる。
【００８７】
すなわち、評価値Ｅの大きさを、その画素が含まれるブロックに対して求めた評価値Ｅのばらつきの度合に応じて修正して補正係数と演算する。これにより、目頭領域や肌領域など、ばらつきの度合が小さい領域の赤色画素に対する補正量が大きくなることを抑制することができる。
【００８８】
さらに、ばらつきの度合が最大となる座標（画素位置）からの距離が大きくなるほど小さくなる重み付け（重み係数）によっても評価値を修正することで、目頭領域５０１や肌領域５０３対する補正係数はさらに小さくなる。また、重み付けを徐々に変化させることで、補正を行った領域と行わない領域との境界部分が目立たなくなり、不自然さを緩和することができる。
【００８９】
逆に、赤目領域とその周囲に存在する虹彩領域を含んだブロックにおいては、評価値のばらつきの度合が大きくなるため、十分な量の補正を行う補正係数が得られ、効果的な補正が実現できる。さらに、ばらつきの度合が最大となる座標を赤目領域の中心と見なして、そこからの距離が大きくなるほど補正係数が小さくなるように重み付けすれば、赤目領域については補正量が大きく、周辺の虹彩領域においては補正量が小さくなる。そのため、誤補正を一層効果的に抑制できる。
【００９０】
（第２の実施形態）
次に、本発明の第２の実施形態について、第１の実施形態と異なる部分を中心に説明する。本実施形態は、画像中の、目の周辺領域の輝度値の別の例として、顔領域の平均輝度を用いることを特徴とする。
（撮像・記録処理）
図１０は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。図１０において、第１の実施形態と同様の処理ステップには図３と同じ参照数字を付し、説明を省略する。
本実施形態においても、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなくても実行可能であることは言うまでもない。
【００９１】
Ｓ３０３における撮影画像処理に続き、画像処理部２０は、画像データを用いて、撮像画像内において顔と判断される領域（顔領域）を検出する顔検出処理を行う（Ｓ１００４）。
【００９２】
顔検出処理はどのような手法によって行っても良いが、例えば第１の実施形態と同様、特開２００１−３０９２２５号公報に記載されるような、顔形状モデルを用いたパターンマッチングを用いて行うことができる。また、パターンマッチング時におけるモデルと画像領域との一致度（類似度）に基づいて、顔らしさを示す尺度である顔信頼度を求めることが可能である。
【００９３】
本実施形態において、画像処理部２０は、１〜１０の１０段階の顔信頼度を求めるものとする。ここで、信頼度１はパターンマッチング時の一致度が高く、顔である可能性が高いものを示し、信頼度１０はパターンマッチング時の一致度が低く、顔である可能性が低いものを示すものとする。
【００９４】
また、画像処理部２０は、検出した顔領域の大きさ（顔サイズ）も求める。本実施形態において、画像処理部２０は、顔領域の水平方向及び垂直方向の最大画素数の大きい方を顔サイズとして求めるものとする。
【００９５】
画像処理部２０は、検出した顔領域について、あらかじめ設定されている閾値ＦＲ（本実施形態では３とする）以下の信頼度を有し、かつ、顔サイズが閾値ＦＳ（本実施形態では２００とする）以上の顔領域を、最終的に検出された顔領域とする。
【００９６】
顔検出処理により顔領域が検出されると、画像処理部２０は、画像中の、目の周辺領域の輝度値として、検出された顔領域の平均輝度値Ｙｆを求める（Ｓ１００５）。
また、画像処理部２０は、検出された顔領域から目領域の検出を行う（Ｓ３０４）。本実施形態において画像処理部２０は、図１１に示すように、検出された顔領域を元にあらかじめ設定された位置を目領域として検出する。
そして、画像処理部２０は、検出した目領域中の各画素の赤さを示す評価値と、目の周辺領域の輝度値を演算する（Ｓ３０５）。そして、この評価値と輝度値を用いて、検出した目領域を対象として、赤目補正処理を適用する（Ｓ３０６）。ここで、本実施形態においては、赤目補正処理で用いる係数に、目周辺領域輝度Ｙｅの値ではなく、顔領域平均輝度Ｙｆの値に応じた補正を行う点で第１の実施形態と異なる。この点については後述する。
【００９７】
以後は第１の実施形態と同様の処理であるため、説明を省略する。
なお、本実施形態においてＳ３０４において顔領域が検出されなかった場合、Ｓ３０５の評価値／輝度演算処理およびＳ３０６の赤目補正処理をスキップして、Ｓ３０７、Ｓ３０８においては補正されていない画像の表示及び記録を行う。
【００９８】
（赤目補正処理）
次に、図１０のＳ３０５において画像処理部２０が行う評価値／輝度演算処理の詳細について説明する。
図１２は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図１２における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。また、図１２において第１の実施形態と同様の構成については図４と同じ参照数字を付し、重複する説明は省略する。
【００９９】
上述の通り、第１の実施形態と異なるのは、目周辺領域輝度演算処理部４０８がなく、補正係数演算処理部４０６が、目周辺領域輝度Ｙｅの代わりに、Ｓ１００５で求めた顔領域平均輝度Ｙｆに基づく輝度補正係数βを用いて補正係数を補正することである。
【０１００】
輝度補正係数βは第１の実施形態における輝度補正係数αと同様、最大値が１であり、顔領域平均輝度Ｙｆが低ければ小さく、顔領域平均輝度Ｙｆが高ければ大きくなるように設定されている。図１３は、本実施形態における輝度補正係数βと顔領域平均輝度Ｙｆとの関係の例を示す図である。図１３に示すように、本実施形態において、輝度補正係数βの最小値は０．２に設定されている。補正係数演算処理部４０６は、例えば図１３の関係を示すテーブルを予め記憶しておき、顔領域平均輝度Ｙｆの値に対応する輝度補正係数βを求めることができる。輝度補正係数βは、顔領域平均輝度Ｙｆの値が予め定められた値よりも小さい場合には、予め定められた値以上である場合よりも小さい値となるようにする係数としてもよい。
【０１０１】
そして、補正係数演算処理部４０６は、評価値演算処理部４０２からの評価値Ｅ（ｘ，ｙ）、分散を拡大リサイズ処理したデータＤ（ｘ，ｙ）、重み係数Ｗ（ｘ，ｙ）、輝度補正係数βを用い、補正係数Ｃ（ｘ，ｙ）を、以下の式（１２）によって演算する。
Ｃ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）×Ｄ（ｘ，ｙ）×Ｗ（ｘ，ｙ）×β 式（１２）
ここで、（ｘ，ｙ）は目領域内の座標であり、本例では１≦ｘ≦Ｗ，１≦ｙ≦Ｈである。また、０≦Ｃ（ｘ，ｙ）≦１である。
【０１０２】
このように、補正係数Ｃは、評価値Ｅが大きいほど、分散Ｄが大きいほど、重み係数Ｗが大きいほど大きくなる。また、顔領域平均輝度Ｙｆが小さい場合には補正係数Ｃが小さくなるように補正される。
【０１０３】
以上説明したように、本実施形態においては顔検出処理を行い、全体的に暗い画像であるかどうかを判断する尺度として、目周辺領域輝度Ｙｅの代わりに顔領域平均輝度Ｙｆを用いた。本実施形態においても、第１の実施形態と同様の効果を達成できる。
【０１０４】
（第３の実施形態）
次に、本発明の第３の実施形態について、第１および第２の実施形態と異なる部分を中心に説明する。
図１４は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。図１４において、第１、第２の実施形態と同様の処理ステップには図３および図１０と同じ参照数字を付し、説明を省略する。
【０１０５】
本実施形態においても、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなくても実行可能であることは言うまでもない。
【０１０６】
また、図１５は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図１５における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。また、図１５において第１、第２の実施形態と同様の構成については図４および図１２と同じ参照数字を付し、重複する説明は省略する。
【０１０７】
本実施形態は第１および第２の実施形態の組み合わせであり、第１の輝度値である顔領域平均輝度Ｙｆと、第２の輝度値である目周辺領域輝度Ｙｅの両方を求め、補正係数演算処理部４０６がこれら双方の輝度値に基づいて補正係数を補正する点を特徴とする。
【０１０８】
具体的には、本実施形態において補正係数演算処理部４０６は、まず初めに、第１の実施形態と同様にして、目周辺領域輝度Ｙｅの値から輝度補正係数αを求める。或いは、第２の実施形態と同様に、顔領域平均輝度Ｙｆの値から輝度補正係数βを求めても良い。
次に、補正係数演算処理部４０６は、目周辺領域輝度Ｙｅと、顔領域平均輝度Ｙｆの差の絶対値ΔＹを次式を用いて求める。
ΔＹ＝｜Ｙｅ−Ｙｆ｜ 式（１３）
【０１０９】
さらに、補正係数演算処理部４０６は、ΔＹに応じた信頼度係数γを求める。信頼度係数γは輝度補正係数α，βと同様、最大値が１であり、輝度差ΔＹが小さければ大きく、輝度差ΔＹが大きければ小さくなるように設定されている。
【０１１０】
正常な状態では目周辺領域輝度Ｙｅと顔領域平均輝度Ｙｆの差の絶対値ΔＹが小さい。そのため、輝度差ΔＹが小さければ、第１および第２の実施形態で説明したような補正係数の算出を行う。一方、輝度差ΔＹが大きい場合、目領域を誤検出している可能性が示唆されるため、輝度差ΔＹが大きいほど補正係数を小さくして誤補正を抑制する。
【０１１１】
図１６は、本実施形態における信頼度係数γと輝度差ΔＹとの関係の例を示す図である。補正係数演算処理部４０６は、例えば図１６の関係を示すテーブルを予め記憶しておき、輝度差ΔＹの値に対応する信頼度係数γを求めることができる。
【０１１２】
そして、補正係数演算処理部４０６は、輝度補正係数α又はβと、信頼度係数γと用いて、以下のように補正係数Ｃ（ｘ、ｙ）を求める。
Ｃ（ｘ、ｙ）＝Ｅ（ｘ、ｙ）×Ｄ（ｘ、ｙ）×Ｗ（ｘ、ｙ）×α×γ 式（１４）
又は、
Ｃ（ｘ、ｙ）＝Ｅ（ｘ、ｙ）×Ｄ（ｘ、ｙ）×Ｗ（ｘ、ｙ）×β×γ 式（１５）
以下、補正処理については第１の実施形態と同様のため、説明を省略する。
【０１１３】
なお、本実施形態では目周辺領域輝度Ｙｅと顔領域平均輝度Ｙｆの差の絶対値ΔＹから図１６に示されるような関係の信頼度係数γを求めて補正係数を補正する構成を説明した。しかし、例えば、差の絶対値ΔＹが所定値以上であれば、γ＝０（補正を実施しない）、所定値以下であればγ＝１（補正を実施する）のように構成しても良い。
【０１１４】
以上説明したように、本実施形態によれば、第１又は第２の実施形態の効果に加え、目周辺領域輝度Ｙｅの値と、顔領域平均輝度Ｙｆとの差により、目領域の検出の信頼性を考慮して補正係数を求めるので、誤補正をより精度良く抑制することができる。
【０１１５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１１６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１１７】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１１８】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１１９】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１２０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１２１】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示す図である。
【図２】図１の構成を有する撮像装置１００の外観例を示す斜視図である。
【図３】本発明の第１の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
【図４】本発明の第１の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。
【図５】本発明の第１の実施形態に係る撮像装置における、目領域の分割例を示す図である。
【図６】赤目現象が発生している目領域と、本発明の第１の実施形態に係る撮像装置が求めた分散の分布例を示す図である。
【図７】本発明の第１の実施形態に係る撮像装置が決定する重み係数の大きさの分布例を示す図である。
【図８】本発明の第１の実施形態に係る撮像装置が求める目周辺領域輝度Ｙｅの例について説明する図である。
【図９】本発明の第１の実施形態における輝度補正係数αと目周辺領域輝度Ｙｅとの関係の例を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
【図１１】本発明の第２の実施形態に係る撮像装置における目領域の検出範囲の例を示す図である。
【図１２】本発明の第２の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。
【図１３】本発明の第２の実施形態における輝度補正係数βと顔領域平均輝度Ｙｆとの関係の例を示す図である。
【図１４】本発明の第３の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
【図１５】本発明の第３の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。
【図１６】本発明の第３の実施形態における信頼度係数γと輝度差ΔＹとの関係の例を示す図である。
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に撮像装置で撮像された画像内に含まれる赤目領域を補正する画像処理装置及び画像処理方法に関する。
本発明はさらに、撮像画像中の赤目領域を補正する機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来、光電変換素子を用いて被写体光学像を撮像し、メモリカードを代表とする記録媒体に、撮像画像をデジタルデータとして記録するデジタルカメラが知られている。
また、人物をフラッシュ撮影（フラッシュを点灯させて撮影）した場合、目が赤く撮影されてしまう赤目現象についても知られている。赤目現象は、網膜の血管が撮像されることにより発生し、特に暗所など瞳孔が大きく開いた状態でフラッシュ撮影した場合に起こりやすい。
【０００３】
このような赤目現象の発生を緩和するため、フラッシュ撮影の直前にランプやフラッシュなどを一度点灯させ（プリ発光）、瞳孔を収縮させてからフラッシュ撮影を行う赤目緩和機能を有する撮像装置が知られている。しかし、プリ発光時に被写体がカメラを注視していない場合は赤目緩和効果が少ないといった問題があった。
【０００４】
赤目現象はデジタルカメラであってもフィルムカメラ（銀塩カメラ）であっても同様に発生するが、デジタルカメラの場合、撮像画像に対して容易に画像処理を適用することができる。そのため、撮像画像中に含まれる人物の顔や目を検出し、赤目現象が発生していると判断される場合には自動または半自動で赤目領域を修正する赤目補正技術が提案されている。特許文献１では、撮像画像中、肌色とみなされる領域を顔領域として検出し、検出された顔領域内で赤目領域を検出することが開示されている。また、特許文献２には、赤目補正機能を有するカメラにおいて、検出顔形状モデルと顔確率を比較するアルゴリズムとパターンマッチングを併用して、撮像画像中の顔領域を検出することが開示されている。
【０００５】
【特許文献１】特開平１０−０２３３９２９号公報
【特許文献２】特開２００１−３０９２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これら従来の技術においては、画素の赤さの度合いを評価値として赤目領域の候補となる領域（赤目候補領域）を検出し、さらに赤目候補領域の大きさや形などから最終的な赤目領域を特定して、赤目領域内の画素を補正している。そのため、画素の赤さの度合いを正しく求めることが、赤目の正しい補正（換言すれば、赤目領域でない領域を誤補正しないこと）を左右する重要な要素である。
【０００７】
例えば、赤目現象が発生する瞳の部分は、黒や茶色などの暗い色であることが多い。そのため、特に少量のフラッシュ光しか瞳に入射しなかった場合、赤目領域の彩度および輝度は低くなる。
【０００８】
このような赤目領域を検出するために、例えば、以下の式（１）で求められる評価値Ｅを用いることが考えられる。
Ｅ＝（２＊Ｒ−Ｇ−Ｂ）／（２Ｙ） 式（１）
ここで、Ｒ，Ｇ，Ｂはそれぞれ画素の赤、緑および青成分の値、Ｙは輝度値である。
【０００９】
この評価値Ｅは、Ｒ−Ｇ、Ｒ−Ｂの色差信号の平均値（（Ｒ−Ｇ）＋（Ｒ−Ｂ））／２を輝度信号Ｙで正規化したものである。この評価値Ｅは、輝度値が小さいほど大きくなるため、彩度および輝度が低い赤目領域の検出に有効であると考えられる。
【００１０】
しかし、このような評価値Ｅを用いた場合、露出不足の画像や、被写体にフラッシュ光が届いていない画像のように全体的に暗い画像においては、赤目領域以外の領域、例えば肌領域に対する評価値が大きくなる。そのため、赤目領域の誤認識が起こりやすくなり、誤補正の発生率が上昇するという問題がある。
【００１１】
本発明はこのような従来技術の課題に鑑みなされたものであり、彩度および輝度の低い赤目領域の補正率の向上と、誤補正の抑制とを実現することを目的とする。
【課題を解決するための手段】
【００１２】
すなわち、上述の目的は、画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出手段と、目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算手段と、画像中の、目の周辺領域の輝度値を求める輝度演算手段と、評価値と、輝度値とを用いて、目領域に含まれる画素の値を補正する補正手段とを有し、補正手段が、評価値が同じであっても、輝度値が予め定められた値よりも小さい場合には、輝度値が予め定められた値以上である場合よりも補正量が小さくなるように目領域に含まれる画素の値を補正することを特徴とする画像処理装置によって達成される。
【００１３】
また、上述の目的は、画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出ステップと、目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算ステップと、画像中の、目の周辺領域の輝度値を求める輝度演算ステップと、評価値と、輝度値とを用いて、目領域に含まれる画素の値を補正する補正ステップとを有し、補正ステップは、評価値が同じであっても、輝度値が予め定められた値よりも小さい場合には、輝度値が予め定められた値以上である場合よりも補正量が小さくなるように目領域に含まれる画素の値を補正することを特徴とする画像処理方法によっても達成される。
【発明の効果】
【００１４】
このような構成により、本発明によれば、彩度および輝度の低い赤目領域の補正率の向上と、誤補正の抑制とを実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。
（撮像装置の構成）
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示す図である。
１０はレンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１６】
タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
【００１７】
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１８】
また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
【００１９】
さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２０】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
【００２１】
Ａ／Ｄ変換器１６の出力データが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６の出力データが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２２】
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、電子ファインダー機能を実現することが可能である。
【００２３】
また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を低減することができる。
【００２４】
メモリ３０は撮影した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２５】
圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。
【００２６】
測距制御部４２はレンズ１０のフォーカシングを制御し、ズーム制御部４４はレンズ１０のズーミングを制御する。バリア制御部４６はレンズ１０の保護を行うためのレンズバリア１０２の動作を制御する。
【００２７】
フラッシュ４８は撮影時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
赤目緩和ランプ４９は、フラッシュ４８を用いた撮影前に、約１秒間発光することによって、被写体である人の瞳孔を小さくするための光源である。上述したように、撮影直前に瞳孔を小さくすることによって、フラッシュ発光撮影時の赤目現象を低減することができる。
【００２８】
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００２９】
システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することにより撮像装置１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。
【００３０】
表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４は撮像装置１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。
【００３１】
表示部５４の表示内容としては、例えば、セルフタイマー表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、合焦表示、手振れ警告表示等がある。この一部は光学ファインダー１０４内に表示される。
【００３２】
さらに、表示部５４の表示内容のうち、その一部はＬＥＤ等により表示する。
【００３３】
そして、表示部５４の表示内容のうち、例えば、セルフタイマー通知ランプはランプ等により表示する。このセルフタイマー通知ランプは、ＡＦ補助光と共用して用いても良い。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３４】
モードダイヤル６０、第１シャッタースイッチ（ＳＷ１）６２、第２シャッタースイッチ（ＳＷ２）６４、画像表示ＯＮ／ＯＦＦスイッチ６６、フラッシュ設定ボタン６８及び操作部７０は、システム制御部５０に所定の動作の開始、停止等を指示するための操作部材である。これらの操作部材は、ボタン、スイッチ、ダイアル、タッチパネル、視線検知装置、音声認識装置或いはこれらの組み合わせで構成される。
【００３５】
ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。
【００３６】
第１シャッタースイッチ（ＳＷ１）６２は、撮像装置１００に設けられたシャッターボタン（図示せず）の第１ストローク（例えば半押し）でＯＮとなる。第１シャッタースイッチ（ＳＷ１）６２がＯＮにされた場合、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ処理等が開始される。
【００３７】
第２シャッタースイッチ（ＳＷ２）６４は、撮像装置１００に設けられたシャッターボタンの第２ストローク（例えば全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００や２１０に画像データを書き込む記録処理が行われる。
【００３８】
画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８の表示ＯＮ／ＯＦＦ設定用スイッチである。光学ファインダー１０４を用いて撮影を行う際に、例えばＴＦＴ ＬＣＤ等から成る画像表示部２８の表示をＯＦＦして電流供給を遮断することにより、省電力を図ることが可能となる。
【００３９】
フラッシュ設定ボタン６８は、フラッシュの動作モードを設定・変更するボタンである。本実施形態において設定可能なモードは、オート、常時発光、赤目緩和オート、常時発光（赤目緩和）がある。オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するモードである。常時発光は、常にフラッシュを発光して撮影するモードである。赤目緩和オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するとともに、フラッシュ発光の際には、常に赤目緩和ランプを発光するモードである。常時発光（赤目緩和）は、常に赤目緩和ランプとストロボを発光して撮影するモードである。
【００４０】
操作部７０は各種ボタンやタッチパネル等からなり、例えば、メニューボタン、セットボタン、メニュー移動ボタン、撮影画質選択ボタン、露出補正ボタン、圧縮モードスイッチ等を含む。
【００４１】
圧縮モードスイッチは、ＪＰＥＧ(Joint Photographic Expert Group)圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである。
【００４２】
本実施形態において、ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。撮像装置１００の利用者は、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択して撮影を行うことができる。
【００４３】
ＪＰＥＧ圧縮のモードにおいては、圧縮伸長部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、例えば記録媒体２００に記録する。
【００４４】
ＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。
【００４５】
電源制御部８０は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４６】
電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によって撮像装置１００に取り付けられる。
【００４７】
メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、撮像装置１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６と撮像装置１００側のコネクタ９２、９６とを介して撮像装置１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２００、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。
【００４８】
なお、本実施形態では撮像装置１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
【００４９】
コネクタ９２及び９６に各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
レンズバリア１０２は、撮像装置１００の、レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
【００５０】
光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示などの情報表示がなされる。
【００５１】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、ＩＥＥＥ８０２．１１ｘ等の無線通信、等、各種規格に準拠した通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。
【００５２】
図２は、図１の構成を有する撮像装置１００の外観例を示す斜視図であり、図１に示した構成については同じ参照数字を付した。
電源ボタン２０１は撮像装置１００の電源をオン・オフするためのボタンである。MENUボタン２０５は、撮影パラメタやカメラの設定を変更するためのメニュー画面を表示したり表示を中止するためのボタンである。SETボタン２０３は、設定値の決定や、メニュー項目の決定などに使用する。削除ボタン２０７は、撮像した画像の削除を指定する際に用いる。ＤＩＳＰボタン２０８は、画像表示部２８に表示する情報の組み合わせを切り替えるボタンである。十字ボタン２０９は上下左右ボタンから構成され、メニュー画面の遷移や選択項目の移動などを行ったり、再生モードにおける表示画像の切り替えなどを行ったりするのに使用する。これらのボタンは、操作部７０に含まれる。
【００５３】
（撮像・記録処理）
図３は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
本実施形態では、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなく、記録媒体に保存された画像の再生時であっても実行可能であることは言うまでもない。
【００５４】
シャッターボタンが全押しされ、ＳＷ２がＯＮになると、撮影処理が行われる（Ｓ３０２）。撮像素子１４がアナログ電気信号に変換した被写体像はＡ／Ｄ変換器１６によりデジタル信号に変換される。そして、Ａ／Ｄ変換器１６が出力するデジタル信号に対し、画像処理部２０において撮影画像処理を実施する（Ｓ３０３）。
【００５５】
詳細は省略するが、この撮影画像処理には、撮像素子１４から読み出された信号を、例えばカラーフィルタの配列などに基づいて、輝度成分Ｙ、色差成分ＵＶで表される画素単位の画像データへ変換する処理が含まれる。
【００５６】
次に、画像処理部２０は、画像データを用いて、撮像画像内において人間の目と判断される領域を含む部分領域（目領域）を検出する目領域検出処理を行う（Ｓ３０４）。
目領域検出処理はどのような手法によって行っても良いが、例えば特開２００１−３０９２２５号公報に記載されるような、形状モデルを用いたパターンマッチングを用いて行うことができる。
【００５７】
目領域検出処理により目領域が検出されると、画像処理部２０は赤目補正処理を行う。具体的には、まず、目領域検出処理によって検出された目領域中の各画素の赤さを示す評価値と、目の周辺領域の輝度値を演算する（Ｓ３０５）。そして、この評価値と輝度値を用いて、検出した目領域に含まれる画素の値を補正する赤目補正処理を適用する（Ｓ３０６）。
【００５８】
画像処理部２０は、赤目補正処理を実施した画像データを、メモリ制御部２２を通じてメモリ３０に出力する。メモリ制御部２２は、画像処理部２０からの画像データを画像表示部２８の解像度に合わせて画像表示メモリ２４に書き込む。これにより、補正後の画像が画像表示部２８上に表示される（クイックレビュー動作）（Ｓ３０７）。一方、メモリ３０に書き込まれた画像データは、圧縮伸長部３２によって例えばＪＰＥＧ形式に符号化する。そして、符号化された画像データはシステム制御部５０の制御に従って記録媒体２００又は２１０に、例えばＤＣＦ規格に従って記録される（Ｓ３０８）。
【００５９】
なお、Ｓ３０４において目領域が検出されなかった場合、Ｓ３０５の評価値および輝度値の演算処理およびＳ３０６の赤目補正処理をスキップして、Ｓ３０７、Ｓ３０８においては補正されていない画像の表示及び記録を行う。
【００６０】
（赤目補正処理）
次に、図３のＳ３０６において画像処理部２０が行う赤目補正処理の詳細について説明する。
図４は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図４における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。
【００６１】
上述の通り、画像処理部２０は、図３のＳ３０４で目領域を検出する。そして、目領域に含まれる画素データ（Ｙｕｖ形式）４０１を評価値演算処理部４０２へ供給する。ここで、目領域は横幅画素数Ｗ、縦幅画素数Ｈの矩形状であるものとする。
【００６２】
評価値演算処理部４０２は、画素データ４０１の各画素について、以下の式を用いてＲＧＢ形式に変換するとともに、評価値Ｅを求める。
Ｅ＝（２＊Ｒ−Ｇ−Ｂ）／（２Ｙ） 式（１）
Ｒ＝Ｙ＋１．４０２＊Ｖ 式（２）
Ｇ＝Ｙ−０．３４４＊Ｕ−０．７１４＊Ｖ 式（３）
Ｂ＝Ｙ＋１．７７２＊Ｕ 式（４）
【００６３】
式（１）から明らかなように、画素が赤い（赤さが強い）ほど、また輝度が小さいほど評価値Ｅは大きくなる。評価値演算処理部４０２は、求めた評価値Ｅを、ブロック分割分散演算処理部４０３及び補正係数演算処理部４０６へ出力する。
【００６４】
分割手段及び指標演算手段としてのブロック分割分散演算処理部４０３は、目領域を複数の領域（ブロック）に分割し、個々のブロックに含まれる画素の評価値Ｅの分散Ｄを演算する。ブロックは、赤目領域（すなわち、瞳孔領域）が１つのブロックの内部に含まれるような大きさに設定する。具体的なブロックの大きさは、任意の方法で設定することができるが、例えば統計的な赤目領域の大きさを考慮して予め設定しておくことができる。また、ブロックの大きさを考慮して目領域の大きさを定めることもできる。
【００６５】
本実施形態では、図５に示すように、目領域５００を横方向５分割、縦方向５分割の計２５のブロックに分割し、ブロックごとの評価値Ｅの分散Ｄを演算するものとする。分散Ｄは以下の式（５）及び式（６）を用いて演算する。
【００６６】
【数１】
【００６７】
式中、Ｅ（Ｉ）は、個々の評価値であり、Ｎはブロックに含まれる画素数である。
ブロック分割分散演算処理部４０３は、求めたブロック毎の分散Ｄを拡大リサイズ処理部４０４へ出力する。
【００６８】
拡大リサイズ処理部４０４は、ブロックごとに求められた２５個（５×５）の分散Ｄを、横幅Ｗ、縦幅ＨのＷ×Ｈ個のデータに、例えば線形補間することによって拡大リサイズする。Ｗ×Ｈ個のデータにリサイズされた分散データは最大値座標検出処理部４０５及び補正係数演算処理部４０６へ出力される。
【００６９】
位置検出手段としての最大値座標検出処理部４０５は、拡大リサイズされた分散データのうち、最大値を有するデータの画素位置（ＭａｘＸ，ＭａｘＹ）を検出する。そして、検出した画素位置を補正係数演算処理部４０６に出力する。
【００７０】
目周辺領域輝度演算処理部４０８は、画像中の、目の周辺領域の輝度値の一例として、目周辺領域輝度Ｙｅを求める。具体的には、目周辺領域輝度演算処理部４０８は、図８に示すように、目周辺領域輝度Ｙｅとして、検出された目領域の下部の平均輝度を求める。具体的には、本実施形態において、目周辺領域輝度演算処理部４０８は、目領域の底辺の１ライン分の輝度の平均値を目周辺領域輝度として求めている。ここで求めた目周辺領域輝度Ｙｅは、補正係数演算処理部４０６へ出力される。ここで、目周辺領域輝度演算処理部４０８が検出した目領域の下部を用いているのは、目領域の上部には眉毛、左右部には髪の毛が含まれる可能性があり、目領域の下部が最も安定した値を得られると考えられるためである。
【００７１】
補正係数演算処理部４０６は、目周辺領域輝度Ｙｅと、Ｗ×Ｈ個のデータにリサイズされた分散データと、最大値を有する分散データの画素位置（ＭａｘＸ，ＭａｘＹ）とから、補正係数を求める。補正係数の算出処理の詳細については後述する。
【００７２】
図６は、赤目現象が発生している目領域と、分散の分布例を示す図である。
図６において、６０１は、Ｙ＝ＭａｘＹにおけるＸ軸方向の分散の分布であり、横軸はＸ座標、縦軸は分散の大きさを示している。また、６０２は、Ｘ＝ＭａｘＸにおけるＹ軸方向の分散の分布であり、横軸はＹ座標、縦軸は分散の大きさを示している。
【００７３】
補正係数演算処理部４０６は、最大値座標検出処理部４０５が検出した画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に応じた重み係数を決定する。具体的には、図７に示すように、画素位置（ＭａｘＸ，ＭａｘＹ）に近いほど大きい重み係数を決定する。
【００７４】
図６における６０３は、Ｙ＝ＭａｘＹにおけるＸ軸方向の重み係数の分布であり、横軸はＸ座標、縦軸は重み係数の大きさを示している。また、６０４は、Ｘ＝ＭａｘＸにおけるＹ軸方向の重み係数の分布であり、横軸はＹ座標、縦軸は重み係数の大きさを示している。図６に示す例では、画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に比例して線形に減少するような重み係数を決定している。
【００７５】
また、補正係数演算処理部４０６は、目周辺領域輝度Ｙｅから、輝度補正係数αを求める。輝度補正係数αは最大値が１であり、目周辺領域輝度Ｙｅが低ければ小さく、目周辺領域輝度Ｙｅが高ければ大きくなるように設定されている。図９は、本実施形態における輝度補正係数αと目周辺領域輝度Ｙｅとの関係の例を示す図である。図９に示すように、本実施形態において、輝度補正係数αの最小値は０．２に設定されている。補正係数演算処理部４０６は、例えば図９の関係を示すテーブルを予め記憶しておき、目周辺領域輝度Ｙｅの値に対応する輝度補正係数αを求めることができる。輝度補正係数αは、目周辺領域輝度Ｙｅの値が予め定められた値よりも小さい場合には、予め定められた値以上である場合よりも小さい値となるようにする係数としてもよい。
【００７６】
そして、補正係数演算処理部４０６は、評価値演算処理部４０２からの評価値Ｅ（ｘ，ｙ）、分散を拡大リサイズ処理したデータＤ（ｘ，ｙ）、重み係数Ｗ（ｘ，ｙ）、輝度補正係数αを用い、補正係数Ｃ（ｘ，ｙ）を、以下の式（７）によって演算する。
Ｃ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）×Ｄ（ｘ，ｙ）×Ｗ（ｘ，ｙ）×α 式（７）
ここで、（ｘ，ｙ）は目領域内の座標であり、本例では１≦ｘ≦Ｗ，１≦ｙ≦Ｈである。また、０≦Ｃ（ｘ，ｙ）≦１である。
このように、補正係数Ｃは、評価値Ｅが大きいほど、分散Ｄが大きいほど、重み係数Ｗが大きいほど大きくなる。また、目周辺領域輝度Ｙｅが小さい場合には補正係数Ｃが小さくなるように補正される。
【００７７】
補正係数演算処理部４０６において求めた補正係数Ｃは、補正処理部４０７へ出力される。補正処理部４０７は、目領域の画素データ４０１に対し、補正係数Ｃを適用することにより、赤目補正処理を実行する。具体的には、Ｙｕｖ形式の画素データ４０１の輝度成分をＹ（ｘ，ｙ）、色成分をＵ（ｘ，ｙ）及びＶ（ｘ，ｙ）とし、補正後の画素データの色成分をＵ’（ｘ，ｙ）及びＶ’（ｘ，ｙ）とすると、以下の式（８）、式（９）により補正を行う。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ）） 式（８）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ）） 式（９）
【００７８】
補正係数Ｃが小さいほど、すなわち、評価値Ｅ、分散Ｄ、重み係数Ｗ、あるいは、目周辺領域輝度Ｙｅが小さいほど、色成分Ｕ及びＶに対する補正量が小さくなり、色成分Ｕ及びＶと、色成分Ｕ’及びＶ’との差が小さくなる。
補正処理部４０７は、補正した画素データ４０９を、撮像画像データにおける、対応する目領域のデータに上書きする。
以上の処理を、他の全ての目領域に対して実行したら、赤目補正処理を終了する。
【００７９】
なお、本実施形態において、各目領域を５×５のブロックに分割したが、分割数は５×５に限られるものではなく、９×９のようにより細分化してもよく、また９×７のように横方向、縦方向の分割数を異なる値に設定することも可能である。また、目領域の検出アルゴリズムの精度に応じて分割数を変更するようにしてもよい。例えば、瞳孔の位置を高い精度で検出できる検出方法を用いる場合であれば、目が存在するとみなされる領域に対して比較的小さめに目領域を設定し、分割数を減らすことによって、処理時間の短縮を図ることができる。あるいは、目領域の検出アルゴリズムは同一であっても、得られた目領域の検出結果の信頼度が高いほど、目領域の大きさを小さめに設定するようにしてもよい。
【００８０】
また、本実施形態では、補正処理部４０７において、画素データの色成分を補正係数が大きいほど大きく低減させることにより、赤目領域に含まれる画素の赤さを低減させている。しかし、例えば補正後の目標色成分Ｕｔ及びＶｔを設定し、次のような式で補正するようにすることも可能である。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ））＋Ｕｔ×Ｃ（ｘ，ｙ）
式（１０）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｃ（ｘ，ｙ））＋Ｖｔ×Ｃ（ｘ，ｙ）
式（１１）
【００８１】
また、本実施形態においては、評価値Ｅのばらつき度合いの指標の一例として評価値Ｅの分散を用いた。しかし、標準偏差を始めとして、ブロック内に含まれる画素に対する評価値Ｅばらつき度合いの指標として利用可能な任意の値を代わりに用いることができる。
【００８２】
また、本実施形態においては、画像処理装置の一例として撮像装置を説明したが、本発明はプリンタや情報処理装置を始めとして、赤目補正処理を利用可能な任意の装置に適用可能である。
【００８３】
以上説明したように、本実施形態によれば、画素の赤さの程度を表す評価値として輝度で正規化した評価値を用いることにより、彩度や輝度が低い赤目領域の補正精度を向上させることができる。さらに、目周辺領域輝度が低い場合には、補正による色成分の低減量を小さくする輝度補正係数を組み合わせて用いることで、赤目領域だけでなく、周辺も暗い画像（例えば露出アンダーの画像）における、誤補正を抑制することができる。
【００８４】
なお、本実施形態においては輝度で正規化した評価値Ｅを、そのばらつき度合いにより補正する構成について説明した。しかし、輝度で正規化した評価値Ｅを用いた場合の、全体が暗い画像における誤補正を抑制するという効果は、目周辺領域輝度Ｙｅに応じた補正係数αの導入のみによって達成できる。換言すれば、評価値Ｅをそのばらつき度合に応じて補正する処理は、本発明において必須ではない。
【００８５】
また、評価値Ｅをそのばらつき度合に応じて補正する場合であっても、ばらつき度合が最大となる画素位置からの距離に応じた重み付けは必須ではない。
ただし、評価値のばらつきを考慮したり、重み付けを行うことで、別の要因による誤補正を抑制できる効果がある。
【００８６】
例えば、図５において、目頭の充血した部分の目頭領域５０１の画素は、赤味が強いので、評価値Ｅが大きくなるが、その部分が含まれるブロック５０２に関する評価値Ｅのばらつきの度合は小さい。そのため、目頭領域５０１に対する評価値は、ばらつきの度合が小さいことにより低減され、結果、補正係数が小さくなる。さらに、肌領域５０３のような、ほぼ同じ色の画素からなる比較的大きな領域についても、ブロック内の評価値のばらつき度合が小さくなるので、補正係数が小さくなる。
【００８７】
すなわち、評価値Ｅの大きさを、その画素が含まれるブロックに対して求めた評価値Ｅのばらつきの度合に応じて修正して補正係数と演算する。これにより、目頭領域や肌領域など、ばらつきの度合が小さい領域の赤色画素に対する補正量が大きくなることを抑制することができる。
【００８８】
さらに、ばらつきの度合が最大となる座標（画素位置）からの距離が大きくなるほど小さくなる重み付け（重み係数）によっても評価値を修正することで、目頭領域５０１や肌領域５０３対する補正係数はさらに小さくなる。また、重み付けを徐々に変化させることで、補正を行った領域と行わない領域との境界部分が目立たなくなり、不自然さを緩和することができる。
【００８９】
逆に、赤目領域とその周囲に存在する虹彩領域を含んだブロックにおいては、評価値のばらつきの度合が大きくなるため、十分な量の補正を行う補正係数が得られ、効果的な補正が実現できる。さらに、ばらつきの度合が最大となる座標を赤目領域の中心と見なして、そこからの距離が大きくなるほど補正係数が小さくなるように重み付けすれば、赤目領域については補正量が大きく、周辺の虹彩領域においては補正量が小さくなる。そのため、誤補正を一層効果的に抑制できる。
【００９０】
（第２の実施形態）
次に、本発明の第２の実施形態について、第１の実施形態と異なる部分を中心に説明する。本実施形態は、画像中の、目の周辺領域の輝度値の別の例として、顔領域の平均輝度を用いることを特徴とする。
（撮像・記録処理）
図１０は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。図１０において、第１の実施形態と同様の処理ステップには図３と同じ参照数字を付し、説明を省略する。
本実施形態においても、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなくても実行可能であることは言うまでもない。
【００９１】
Ｓ３０３における撮影画像処理に続き、画像処理部２０は、画像データを用いて、撮像画像内において顔と判断される領域（顔領域）を検出する顔検出処理を行う（Ｓ１００４）。
【００９２】
顔検出処理はどのような手法によって行っても良いが、例えば第１の実施形態と同様、特開２００１−３０９２２５号公報に記載されるような、顔形状モデルを用いたパターンマッチングを用いて行うことができる。また、パターンマッチング時におけるモデルと画像領域との一致度（類似度）に基づいて、顔らしさを示す尺度である顔信頼度を求めることが可能である。
【００９３】
本実施形態において、画像処理部２０は、１〜１０の１０段階の顔信頼度を求めるものとする。ここで、信頼度１はパターンマッチング時の一致度が高く、顔である可能性が高いものを示し、信頼度１０はパターンマッチング時の一致度が低く、顔である可能性が低いものを示すものとする。
【００９４】
また、画像処理部２０は、検出した顔領域の大きさ（顔サイズ）も求める。本実施形態において、画像処理部２０は、顔領域の水平方向及び垂直方向の最大画素数の大きい方を顔サイズとして求めるものとする。
【００９５】
画像処理部２０は、検出した顔領域について、あらかじめ設定されている閾値ＦＲ（本実施形態では３とする）以下の信頼度を有し、かつ、顔サイズが閾値ＦＳ（本実施形態では２００とする）以上の顔領域を、最終的に検出された顔領域とする。
【００９６】
顔検出処理により顔領域が検出されると、画像処理部２０は、画像中の、目の周辺領域の輝度値として、検出された顔領域の平均輝度値Ｙｆを求める（Ｓ１００５）。
また、画像処理部２０は、検出された顔領域から目領域の検出を行う（Ｓ３０４）。本実施形態において画像処理部２０は、図１１に示すように、検出された顔領域を元にあらかじめ設定された位置を目領域として検出する。
そして、画像処理部２０は、検出した目領域中の各画素の赤さを示す評価値と、目の周辺領域の輝度値を演算する（Ｓ３０５）。そして、この評価値と輝度値を用いて、検出した目領域を対象として、赤目補正処理を適用する（Ｓ３０６）。ここで、本実施形態においては、赤目補正処理で用いる係数に、目周辺領域輝度Ｙｅの値ではなく、顔領域平均輝度Ｙｆの値に応じた補正を行う点で第１の実施形態と異なる。この点については後述する。
【００９７】
以後は第１の実施形態と同様の処理であるため、説明を省略する。
なお、本実施形態においてＳ３０４において顔領域が検出されなかった場合、Ｓ３０５の評価値／輝度演算処理およびＳ３０６の赤目補正処理をスキップして、Ｓ３０７、Ｓ３０８においては補正されていない画像の表示及び記録を行う。
【００９８】
（赤目補正処理）
次に、図１０のＳ３０５において画像処理部２０が行う評価値／輝度演算処理の詳細について説明する。
図１２は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図１２における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。また、図１２において第１の実施形態と同様の構成については図４と同じ参照数字を付し、重複する説明は省略する。
【００９９】
上述の通り、第１の実施形態と異なるのは、目周辺領域輝度演算処理部４０８がなく、補正係数演算処理部４０６が、目周辺領域輝度Ｙｅの代わりに、Ｓ１００５で求めた顔領域平均輝度Ｙｆに基づく輝度補正係数βを用いて補正係数を補正することである。
【０１００】
輝度補正係数βは第１の実施形態における輝度補正係数αと同様、最大値が１であり、顔領域平均輝度Ｙｆが低ければ小さく、顔領域平均輝度Ｙｆが高ければ大きくなるように設定されている。図１３は、本実施形態における輝度補正係数βと顔領域平均輝度Ｙｆとの関係の例を示す図である。図１３に示すように、本実施形態において、輝度補正係数βの最小値は０．２に設定されている。補正係数演算処理部４０６は、例えば図１３の関係を示すテーブルを予め記憶しておき、顔領域平均輝度Ｙｆの値に対応する輝度補正係数βを求めることができる。輝度補正係数βは、顔領域平均輝度Ｙｆの値が予め定められた値よりも小さい場合には、予め定められた値以上である場合よりも小さい値となるようにする係数としてもよい。
【０１０１】
そして、補正係数演算処理部４０６は、評価値演算処理部４０２からの評価値Ｅ（ｘ，ｙ）、分散を拡大リサイズ処理したデータＤ（ｘ，ｙ）、重み係数Ｗ（ｘ，ｙ）、輝度補正係数βを用い、補正係数Ｃ（ｘ，ｙ）を、以下の式（１２）によって演算する。
Ｃ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）×Ｄ（ｘ，ｙ）×Ｗ（ｘ，ｙ）×β 式（１２）
ここで、（ｘ，ｙ）は目領域内の座標であり、本例では１≦ｘ≦Ｗ，１≦ｙ≦Ｈである。また、０≦Ｃ（ｘ，ｙ）≦１である。
【０１０２】
このように、補正係数Ｃは、評価値Ｅが大きいほど、分散Ｄが大きいほど、重み係数Ｗが大きいほど大きくなる。また、顔領域平均輝度Ｙｆが小さい場合には補正係数Ｃが小さくなるように補正される。
【０１０３】
以上説明したように、本実施形態においては顔検出処理を行い、全体的に暗い画像であるかどうかを判断する尺度として、目周辺領域輝度Ｙｅの代わりに顔領域平均輝度Ｙｆを用いた。本実施形態においても、第１の実施形態と同様の効果を達成できる。
【０１０４】
（第３の実施形態）
次に、本発明の第３の実施形態について、第１および第２の実施形態と異なる部分を中心に説明する。
図１４は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。図１４において、第１、第２の実施形態と同様の処理ステップには図３および図１０と同じ参照数字を付し、説明を省略する。
【０１０５】
本実施形態においても、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなくても実行可能であることは言うまでもない。
【０１０６】
また、図１５は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図１５における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。また、図１５において第１、第２の実施形態と同様の構成については図４および図１２と同じ参照数字を付し、重複する説明は省略する。
【０１０７】
本実施形態は第１および第２の実施形態の組み合わせであり、第１の輝度値である顔領域平均輝度Ｙｆと、第２の輝度値である目周辺領域輝度Ｙｅの両方を求め、補正係数演算処理部４０６がこれら双方の輝度値に基づいて補正係数を補正する点を特徴とする。
【０１０８】
具体的には、本実施形態において補正係数演算処理部４０６は、まず初めに、第１の実施形態と同様にして、目周辺領域輝度Ｙｅの値から輝度補正係数αを求める。或いは、第２の実施形態と同様に、顔領域平均輝度Ｙｆの値から輝度補正係数βを求めても良い。
次に、補正係数演算処理部４０６は、目周辺領域輝度Ｙｅと、顔領域平均輝度Ｙｆの差の絶対値ΔＹを次式を用いて求める。
ΔＹ＝｜Ｙｅ−Ｙｆ｜ 式（１３）
【０１０９】
さらに、補正係数演算処理部４０６は、ΔＹに応じた信頼度係数γを求める。信頼度係数γは輝度補正係数α，βと同様、最大値が１であり、輝度差ΔＹが小さければ大きく、輝度差ΔＹが大きければ小さくなるように設定されている。
【０１１０】
正常な状態では目周辺領域輝度Ｙｅと顔領域平均輝度Ｙｆの差の絶対値ΔＹが小さい。そのため、輝度差ΔＹが小さければ、第１および第２の実施形態で説明したような補正係数の算出を行う。一方、輝度差ΔＹが大きい場合、目領域を誤検出している可能性が示唆されるため、輝度差ΔＹが大きいほど補正係数を小さくして誤補正を抑制する。
【０１１１】
図１６は、本実施形態における信頼度係数γと輝度差ΔＹとの関係の例を示す図である。補正係数演算処理部４０６は、例えば図１６の関係を示すテーブルを予め記憶しておき、輝度差ΔＹの値に対応する信頼度係数γを求めることができる。
【０１１２】
そして、補正係数演算処理部４０６は、輝度補正係数α又はβと、信頼度係数γと用いて、以下のように補正係数Ｃ（ｘ、ｙ）を求める。
Ｃ（ｘ、ｙ）＝Ｅ（ｘ、ｙ）×Ｄ（ｘ、ｙ）×Ｗ（ｘ、ｙ）×α×γ 式（１４）
又は、
Ｃ（ｘ、ｙ）＝Ｅ（ｘ、ｙ）×Ｄ（ｘ、ｙ）×Ｗ（ｘ、ｙ）×β×γ 式（１５）
以下、補正処理については第１の実施形態と同様のため、説明を省略する。
【０１１３】
なお、本実施形態では目周辺領域輝度Ｙｅと顔領域平均輝度Ｙｆの差の絶対値ΔＹから図１６に示されるような関係の信頼度係数γを求めて補正係数を補正する構成を説明した。しかし、例えば、差の絶対値ΔＹが所定値以上であれば、γ＝０（補正を実施しない）、所定値以下であればγ＝１（補正を実施する）のように構成しても良い。
【０１１４】
以上説明したように、本実施形態によれば、第１又は第２の実施形態の効果に加え、目周辺領域輝度Ｙｅの値と、顔領域平均輝度Ｙｆとの差により、目領域の検出の信頼性を考慮して補正係数を求めるので、誤補正をより精度良く抑制することができる。
【０１１５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１１６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１１７】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１１８】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１１９】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１２０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１２１】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示す図である。
【図２】図１の構成を有する撮像装置１００の外観例を示す斜視図である。
【図３】本発明の第１の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
【図４】本発明の第１の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。
【図５】本発明の第１の実施形態に係る撮像装置における、目領域の分割例を示す図である。
【図６】赤目現象が発生している目領域と、本発明の第１の実施形態に係る撮像装置が求めた分散の分布例を示す図である。
【図７】本発明の第１の実施形態に係る撮像装置が決定する重み係数の大きさの分布例を示す図である。
【図８】本発明の第１の実施形態に係る撮像装置が求める目周辺領域輝度Ｙｅの例について説明する図である。
【図９】本発明の第１の実施形態における輝度補正係数αと目周辺領域輝度Ｙｅとの関係の例を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
【図１１】本発明の第２の実施形態に係る撮像装置における目領域の検出範囲の例を示す図である。
【図１２】本発明の第２の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。
【図１３】本発明の第２の実施形態における輝度補正係数βと顔領域平均輝度Ｙｆとの関係の例を示す図である。
【図１４】本発明の第３の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
【図１５】本発明の第３の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。
【図１６】本発明の第３の実施形態における信頼度係数γと輝度差ΔＹとの関係の例を示す図である。
【特許請求の範囲】
【請求項１】
画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出手段と、
前記目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算手段と、
前記画像中の、前記目の周辺領域の輝度値を求める輝度演算手段と、
前記評価値と、前記輝度値とを用いて、前記目領域に含まれる画素の値を補正する補正手段とを有し、
前記補正手段が、前記評価値が同じであっても、前記輝度値が予め定められた値よりも小さい場合には、前記輝度値が前記予め定められた値以上である場合よりも補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする画像処理装置。
【請求項２】
前記輝度演算手段が、前記目領域中の、前記目の周辺領域の画素の平均輝度値を前記輝度値として求めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像中の顔領域を検出する顔検出手段をさらに有し、
前記輝度演算手段が、前記目領域を含む顔領域の画素の平均輝度値を前記輝度値として求めることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像中の顔領域を検出する顔検出手段をさらに有し、
前記輝度演算手段が、前記目領域中の、前記目の周辺領域の画素の平均輝度値を第１の輝度値として、前記目領域を含む顔領域の画素の平均輝度値を第２の輝度値として求め、
前記補正手段が、前記評価値が同じであっても、前記第１の輝度値および前記第２の輝度値の予め定られた一方が予め定められた値よりも小さい場合には、前記輝度値が前記予め定められた値以上である場合よりも前記補正量が小さくなるように前記目領域に含まれる画素の値を補正するとともに、前記第１の輝度値および前記第２の輝度値の差が予め定められた値よりも大きい場合についても、前記第１の輝度値および前記第２の輝度値の差が予め定められた値以下の場合よりも前記補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記評価値のばらつき度合を示す指標を、前記目領域を構成する複数のブロックの各々について求める指標演算手段をさらに有し、
前記補正手段が、前記ばらつき度合の小さいブロックに含まれる画素ほど前記補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の画像処理装置を有し、撮像した画像に対して前記画像処理装置による画像処理を行うことを特徴とする撮像装置。
【請求項７】
画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出ステップと、
前記目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算ステップと、
前記画像中の、前記目の周辺領域の輝度値を求める輝度演算ステップと、
前記評価値と、前記輝度値とを用いて、前記目領域に含まれる画素の値を補正する補正ステップとを有し、
前記補正ステップは、前記評価値が同じであっても、前記輝度値が予め定められた値よりも小さい場合には、前記輝度値が前記予め定められた値以上である場合よりも補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項９】
請求項８記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１】
画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出手段と、
前記目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算手段と、
前記画像中の、前記目の周辺領域の輝度値を求める輝度演算手段と、
前記評価値と、前記輝度値とを用いて、前記目領域に含まれる画素の値を補正する補正手段とを有し、
前記補正手段が、前記評価値が同じであっても、前記輝度値が予め定められた値よりも小さい場合には、前記輝度値が前記予め定められた値以上である場合よりも補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする画像処理装置。
【請求項２】
前記輝度演算手段が、前記目領域中の、前記目の周辺領域の画素の平均輝度値を前記輝度値として求めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像中の顔領域を検出する顔検出手段をさらに有し、
前記輝度演算手段が、前記目領域を含む顔領域の画素の平均輝度値を前記輝度値として求めることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像中の顔領域を検出する顔検出手段をさらに有し、
前記輝度演算手段が、前記目領域中の、前記目の周辺領域の画素の平均輝度値を第１の輝度値として、前記目領域を含む顔領域の画素の平均輝度値を第２の輝度値として求め、
前記補正手段が、前記評価値が同じであっても、前記第１の輝度値および前記第２の輝度値の予め定られた一方が予め定められた値よりも小さい場合には、前記輝度値が前記予め定められた値以上である場合よりも前記補正量が小さくなるように前記目領域に含まれる画素の値を補正するとともに、前記第１の輝度値および前記第２の輝度値の差が予め定められた値よりも大きい場合についても、前記第１の輝度値および前記第２の輝度値の差が予め定められた値以下の場合よりも前記補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記評価値のばらつき度合を示す指標を、前記目領域を構成する複数のブロックの各々について求める指標演算手段をさらに有し、
前記補正手段が、前記ばらつき度合の小さいブロックに含まれる画素ほど前記補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の画像処理装置を有し、撮像した画像に対して前記画像処理装置による画像処理を行うことを特徴とする撮像装置。
【請求項７】
画像中の目を検出し、検出した目を含む部分領域を目領域として検出する検出ステップと、
前記目領域中の画素について、画素が赤いほど、かつ輝度が低いほど大きくなる評価値を求める評価値演算ステップと、
前記画像中の、前記目の周辺領域の輝度値を求める輝度演算ステップと、
前記評価値と、前記輝度値とを用いて、前記目領域に含まれる画素の値を補正する補正ステップとを有し、
前記補正ステップは、前記評価値が同じであっても、前記輝度値が予め定められた値よりも小さい場合には、前記輝度値が前記予め定められた値以上である場合よりも補正量が小さくなるように前記目領域に含まれる画素の値を補正することを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項９】
請求項８記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１７１３１８（Ｐ２００９−１７１３１８Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−８１６７（Ｐ２００８−８１６７）
【出願日】平成２０年１月１７日（２００８．１．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１７日（２００８．１．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]