画像処理装置、画像処理方法、およびプログラム
【課題】赤目補正を適切に行うことを可能とする。
【解決手段】赤目領域特定情報生成部２３は、顔領域における２つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する。赤目領域特定情報生成部２３は、分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定する。補正部２４は、特定された赤目領域に対して赤目を修正する補正を行う。
【解決手段】赤目領域特定情報生成部２３は、顔領域における２つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する。赤目領域特定情報生成部２３は、分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定する。補正部２４は、特定された赤目領域に対して赤目を修正する補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
人物をフラッシュを使用して撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２３３９２９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、赤目現象を適切に行うことができない場合があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、赤目補正を適切に行うことができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面は、カラー画像における顔の画像を含む顔領域と、顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得手段と、取得された２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出手段と、抽出された２つの目領域の特徴量が類似しているか否かを判定する判定手段と、判定手段により２つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成手段と、分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定する特定手段と、特定手段により特定された赤目領域に対して赤目を修正する補正を行う補正手段とを有することを特徴とする。
【０００７】
顔領域におけるそれぞれ１つの目の画像を含む２個の目領域のそれぞれの特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、その分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定するようにしたので、たとえばバランスよく左右の目の赤目領域を特定することができ、赤目を修正することができる。
【０００８】
分離曲線生成手段は、顔領域の肌色の色度を目標値に補正する補正処理が施された目領域の特徴量について、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成することができる。これにより、より正確に赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を赤目生成することができる。
【０００９】
本発明の一側面は、カラー画像における顔の画像を含む顔領域と、顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得ステップと、取得された２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出ステップと、抽出された２つの目領域の特徴量が類似しているか否かを判定する判定ステップと、判定ステップの処理で２つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成ステップと、分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定する特定ステップと、特定ステップの処理で特定された赤目領域に対して赤目を修正する補正を行う補正ステップとを含むことを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係るプリンター１の構成を示す斜視図である。
【図２】赤目領域特定情報生成処理Ｚ１と補正処理Ｚ２を実行するための図１のプリンター１の機能的構成例を示すブロック図である。
【図３】印刷処理対象画像ＴＩを模式的に示した図である。
【図４】図３の印刷処理対象画像ＴＩの中央の人物の左目を含む画像領域を拡大して模式的に示した図である。
【図５】赤目領域特定情報生成処理Ｚ１の流れを示すフローチャートである。
【図６】図５のステップＳ１１の特徴量抽出処理の詳細を示すフローチャートである。
【図７】補正処理対象領域Ｐｅ１の各画素を、Ｒ値とＲ値／Ｇ値を軸とする平面に、そのＲ値とＲ値／Ｇ値に応じてプロットした図である。
【図８】補正強度マップ生成処理の流れを示すフローチャートである。
【図９】補正強度係数テーブルの例を示す図である。
【図１０】補正処理Ｚ２の流れを示すフローチャートである。
【図１１】赤目候補領域Ｐｅ２部分の、補正強度マップＭａに設定された補正強度のイメージを示した図である。
【図１２】補正強度マップＭａに設定された補正強度係数に応じて補正された赤目候補領域Ｐｅ２のイメージを示した図である。
【発明を実施するための形態】
【００１１】
［プリンター１の構成の説明］
図１は、本発明の実施の形態としてのプリンター１のハードウェアの構成例を示すブロック図である。このプリンター１は、メモリーカード１８等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンターである。また、プリンター１は、印刷するカラー画像に対して、赤目部分を検出し、その部分を自然な色（たとえば、黒色等）に補正する機能（以下、赤目補正機能と称する）を有している。
【００１２】
プリンター１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、プリンターエンジン１５、およびカードインターフェース（カードＩ／Ｆ）１６を備えている。
【００１３】
ＣＰＵ（central processing unit）１１は、各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理等を実行する。
【００１４】
たとえばＣＰＵ１１は、印刷に先立って、印刷されるカラー画像（以下、印刷処理対象画像ＴＩと称する）の画像全体、またはユーザーが指定した点の周囲の領域の中から、人物、犬などのペット等の顔の画像を含む領域を検出するとともに、その顔の画像の中の、目の画像を含む領域を検出する処理（以下、検出処理Ｚ０と称する）を実行する。ＣＰＵ１１はまた、検出した目の画像を含む領域（以下、補正処理対象領域Ｐｅ１と称する）から、赤目現象が発生している赤目領域を特定するための情報を生成する処理（以下、赤目領域特定情報生成処理Ｚ１と称する）を実行し、その情報により特定される赤目領域の色を自然な色（たとえば、黒色等）に置き換える処理（すなわち赤目を修正する補正処理（以下、補正処理Ｚ２と称する））を実行する。
【００１５】
内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納しているＲＯＭ（Read Only Memory）、およびＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００１６】
操作部１３は、ボタンやタッチパネルの１つまたは複数により構成され、ユーザーによる操作内容をＣＰＵ１１に通知する。
【００１７】
表示部１４は、液晶ディスプレイ等により構成され、ＣＰＵ１１から供給された表示データに対応する画像を表示する。
【００１８】
プリンターエンジン１５は、ＣＰＵ１１から供給された印刷データに基づき印刷を行う印刷機構である。
【００１９】
カードインターフェース（Ｉ／Ｆ）１６は、カードスロット１７に挿入されたメモリーカード１８との間でデータのやり取りを行うためのインターフェースである。なお、この例では、メモリーカード１８にＲＧＢデータとしての画像データが格納されており、プリンター１は、カードインターフェース１６を介してメモリーカード１８に格納された画像データの取得を行う。
【００２０】
プリンター１の各構成要素は、バス１９を介して互いに接続されている。
【００２１】
なおプリンター１は、さらに、他の機器（たとえばデジタルスチルカメラやコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。
【００２２】
［プリンター１の機能的構成例の説明］
図２は、検出処理Ｚ０、並びに赤目領域特定情報生成処理Ｚ１および補正処理Ｚ２を実行するためのプリンター１の機能的構成例を示すブロック図である。この機能は、ＣＰＵ１１が内部メモリー１２に記憶されている所定のプログラムを実行することより実現可能となる。
【００２３】
画像読取部２１は、印刷処理対象画像ＴＩを、たとえばメモリーカード１８から、カードＩ／Ｆ１６を介して読み取る。
【００２４】
部位領域取得部２２は、たとえば、画像読取部２１により読み取られた印刷処理対象画像ＴＩのレプリカ（以下、単に、印刷処理対象画像ＴＩとも称する）に対して、検出処理Ｚ０を実行する。具体的には、たとえば人物の目、鼻、および口等の基本的な形状を表すテンプレートを利用したパターンマッチングによる方法（たとえば、特開２００６−２７９４６０号公報参照）といった公知の検出方法を用いて、目の部分の画像とともに、顔の画像を含む領域（以下、顔領域と称する）を検出する。部位領域取得部２２はさらに、検出した目の画像（すなわち補正処理対象領域Ｐｅ１）から、赤みがかった瞳孔や虹彩を含む領域を取得する処理を実行する。なおこの処理の結果取得された赤みがかった瞳孔や虹彩を含む領域を、赤目候補領域Ｐｅ２と称する。
【００２５】
図３は、印刷処理対象画像ＴＩを模式的に示した図である。図３にはまた、この印刷処理対象画像ＴＩの中央の人物の顔領域ＦＡが示されている。図４は、図３の印刷処理対象画像ＴＩの中央の人物の目を含む画像領域を拡大して模式的に示した図である。図４には、左目の画像を含む左目の補正処理対象領域Ｐｅ１と右目の画像を含む右目の補正処理対象領域Ｐｅ１とともに、その補正処理対象領域Ｐｅ１から検出された赤目候補領域Ｐｅ２がそれぞれ示されている。この例の場合、目玉、白目、瞼、目頭、目尻等の部位を含む矩形領域が、補正処理対象領域Ｐｅ１として検出され、その中の目玉を含む円形領域が、赤目候補領域Ｐｅ２として検出される。
【００２６】
図２に戻り赤目領域特定情報生成部２３は、部位領域取得部２２により取得された左目および右目の補正処理対象領域Ｐｅ１を用いて、赤目領域特定情報生成処理Ｚ１を実行する。この例において、赤目領域を特定するための情報として、色の特徴量を軸とする空間における左目および右目の補正処理対象領域Ｐｅ１の両方の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線が生成される。そして左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１のそれぞれについて、補正処理対象領域Ｐｅ１の画素毎に分離曲線からの距離に応じた補正強度係数を格納する補正強度マップＭａが生成される。すなわち左目用の補正強度マップＭａと右目用の補正強度マップＭａが生成される。補正強度マップＭａは、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有しており、各格納部には、対応する補正処理対象領域Ｐｅ１の画素が赤目領域を構成する画素である可能性に応じた補正強度係数が格納される。
【００２７】
赤目領域特定情報生成部２３は、特徴量抽出部３１、分離曲線生成部３２、および補正強度マップ生成部３３を有して構成される。それらの構成要素の動作については、赤目領域特定情報生成処理Ｚ１の説明と合わせて後述する。
【００２８】
補正部２４は、赤目領域特定情報生成部２３により生成された左目用の補正強度マップＭａに格納されている補正強度係数に応じた補正強度で、印刷処理対象画像ＴＩの左目部分の色を黒色等に置き換える（赤目を修正する）補正処理Ｚ２を実行し、また右目用の補正強度マップＭａに格納されている補正強度係数に応じた補正強度で、印刷処理対象画像ＴＩの左目部分の色を黒色等に置き換える補正処理Ｚ２を実行して、印刷データを生成する。
【００２９】
図５は、赤目補正処理の流れを示すフローチャートである。ステップＳ１１において、部位領域取得部２２は、画像読取部２１により読み取られた印刷処理対象画像ＴＩに対して、検出処理Ｚ０を実行する。その結果、図３および図４に示したような、顔領域、並びに左目と右目の補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２がそれぞれ検出される。なお印刷処理対象画像ＴＩによっては、顔領域や補正処理対象領域Ｐｅ１等が検出されない場合もあるが、この例では、顔領域、並びに左目と右目の補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２がそれぞれ検出されるものとする。
【００３０】
［赤目領域特定情報生成処理Ｚ１の説明］
次にステップＳ１２からステップＳ１５において、赤目領域特定情報生成処理Ｚ１が実行される。
【００３１】
ステップＳ１２において、赤目領域特定情報生成部２３の特徴量抽出部３１は、１つの顔領域から検出された、左目と右目の２個の補正処理対象領域Ｐｅ１の特徴量を抽出する。
【００３２】
図６は、この特徴量抽出処理の詳細を示すフローチャートである。
【００３３】
特徴量抽出部３１は、ステップＳ２１において、検出された両目（２個）の補正処理対象領域Ｐｅ１のそれぞれについて、その大きさが適切な大きさであるか否かを判定する。具体的には、たとえば、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍以上の長さであるか否かが判定される。なお補正処理対象領域Ｐｅ１の大きさについてこのような判定を行う理由については、後述する。
【００３４】
ステップＳ２１で、いずれかの補正処理対象領域Ｐｅ１が適切な大きさでない場合（すなわちこの例の場合、長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍より短い場合）と判定された場合、ステップＳ２２において、特徴量抽出部３１は、その補正処理対象領域Ｐｅ１を適切な大きさに拡大する。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍となる拡大率で、補正処理対象領域Ｐｅ１の画素が補完される。
【００３５】
ステップＳ２１で、２個の補正処理対象領域Ｐｅ１の大きさが適切な大きさであると判定されたとき、またはステップＳ２２で、補正処理対象領域Ｐｅ１が適切な大きさに拡大されたとき、ステップＳ２３において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１のそれぞれについて、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）の平均値をそれぞれ算出する。
【００３６】
次にステップＳ２４において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１のそれぞれについて、Ｒ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差をそれぞれ算出する。
【００３７】
ステップＳ２５において、特徴量抽出部３１は、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似しているか否かを判定する。具体的には、左目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値のそれぞれと、右目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値のそれぞれの差異が、一定量以内であるか否かが判定される。左目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値を、Ｒra、Ｇra、Ｂraとし、右目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値を、Ｒla、Ｇla、Ｂlaとし、所定の閾値をＷr、Ｗg、Ｗｂした場合、（Ｒra−Ｒla）＜Ｗr、（Ｇra−Ｇla）＜Ｗg、（Ｂra−Ｂla）＜Ｗbが成立するか否かが判定され、いずれの式も成立すると判定された場合、両者の特徴量は類似すると判定される。
【００３８】
また左目の補正処理対象領域Ｐｅ１のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差のそれぞれと、右目の補正処理対象領域Ｐｅ１のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差のそれぞれとの差異が一定量以内であるか否かを判定することもできる。または平均値と標準偏差の両方の比較結果に基づいて判定することもできる。
【００３９】
ステップＳ２５で、右目の補正処理対象領域Ｐｅ１と左目の補正処理対象領域Ｐｅ１の特徴量が類似していると判定された場合、ステップＳ２６において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１の画素のＲ成分値（Ｒ値）、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）を用いて、２個の補正処理対象領域Ｐｅ１全体のＲ値、Ｇ値、およびＢ値の平均値をそれぞれ算出する。
【００４０】
次にステップＳ２７において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１の画素のＲ成分値（Ｒ値）、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）を用いて、２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差をそれぞれ算出する。
【００４１】
ステップＳ２８において、特徴量抽出部３１は、Ｒ値の軸の範囲（０〜２５５）を１６等分して得られた区間（以下、赤成分区間Ｌｒと称する）毎に、その赤成分区間ＬｒのＲ値を有する２個の補正処理対象領域Ｐｅ１の両方の画素のＲ値／Ｇ値の平均値とＲ値／Ｂ値の平均値を、それぞれ求める。
【００４２】
このように、「２個の補正処理対象領域Ｐｅ１全体のＲ値、Ｇ値、Ｂ値のそれぞれの平均値」、および「２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差」、並びに「赤成分区間Ｌｒ毎の２個の補正処理対象領域Ｐｅ１全体についてのＲ値／Ｇ値の平均値とＲ値／Ｂ値の平均値」が、特徴量として抽出される。その後、処理は、図５のステップＳ１３に進む。なお抽出された特徴量は、適宜、内部メモリー１２に記憶される。
【００４３】
ステップＳ２５で、右目の補正処理対象領域Ｐｅ１と左目の補正処理対象領域Ｐｅ１の特徴量が類似していないと判定された場合、ステップＳ２６〜Ｓ２８の処理はスキップされ、処理は、図５のステップＳ１３に進む。
【００４４】
ステップＳ１３において、赤目領域特定情報生成部２３の分離曲線生成部３２は、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似しているか否かを判定する。具体的には、図６のステップＳ２６〜Ｓ２８の処理で、「２個の補正処理対象領域Ｐｅ１全体のＲ値、Ｇ値、Ｂ値のそれぞれの平均値」、「２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差」、および「赤成分区間Ｌｒ毎の２個の補正処理対象領域Ｐｅ１全体についてのＲ値／Ｇ値の平均値とＲ値／Ｂ値の平均値」が、特徴量として抽出されたか否かが判定される。
【００４５】
ステップＳ１３で、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似していると判定された場合、ステップＳ１４において、分離曲線生成部３２は、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の両方の特徴量を用いて、分離曲線を求める。この例では、式（１）に示すＦＲ／Ｇ（ｒ）と式（２）に示すＦＲ／Ｂ（ｒ）が求められる。
【数１】
【数２】
【００４６】
式（１）中、ＨＲ／Ｇ（ｒ）は、赤成分区間ＬｒのステップＳ２８で求められたＲ値／Ｇ値の平均値を通る曲線である。ｒは、Ｒ値である。σＲ／Ｇは、ステップＳ２９で求められた２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差である。αＲ／ＧとβＲ／Ｇは所定の係数である。また式（２）中、ＨＲ／Ｂ（ｒ）は、赤成分区間ＬｒのステップＳ２８で求められたＲ値／Ｂ値の平均値を通る曲線である。σＲ／Ｂは、ステップＳ２９で求められた２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｂ値の標準偏差である。αＲ／ＢとβＲ／Ｂは所定の係数である。
【００４７】
すなわちいずれの分離曲線についても、その形は、式（１）および式（２）の第１項で決定され、赤成分区間ＬｒのＲ値／Ｇ値またはＲ値／Ｂ値の平均値を基準として、Ｒ値／Ｇ値またはＲ値／Ｂ値の標準偏差の大きさに応じた大きさの凹凸で変化する。なおαによりその変化が微調整される。曲線の高さは、式（１）および式（２）の第２項で決定され、補正処理対象領域Ｐｅ１における、Ｒ値の平均値とＧ値の平均値（それぞれステップＳ２６で求められる）の比またはＲ値の平均値とＢ値の平均値（それぞれステップＳ２６で求められる）の比が基準となっている。なおβによりその高さが微調整される。
【００４８】
ここで式（１）および式（２）の意味について説明する。
【００４９】
図７は、補正処理対象領域Ｐｅ１の各画素を、Ｒ値とＲ値／Ｇ値を軸とする平面に、そのＲ値とＲ値／Ｇ値に応じた位置にプロットした図である。白抜きの四角印（□印）は、赤色の赤目現象が生じている画素（以下、適宜、赤色赤目画素と称する）を示し、黒塗りの四角印（■印）は、赤色赤目画素以外の画素（すなわち赤色の赤目現象が生じていない画素（以下、適宜、非赤色赤目画素と称する））を示している。赤目現象には、瞳孔部分が赤色になる場合の他に、金色（いわゆる金目）になる現象があるが、金色の赤目現象が生じている画素については、後述する。
【００５０】
図７の例では、非赤色赤目画素は、その多くが下側に集まっている。一方赤色赤目画素は、非赤色赤目画素に比べ分散して分布しており、その多くは、非赤色赤目画素が集まっている領域より上方に存在する。
【００５１】
ところで補正処理対象領域Ｐｅ１（図４）の大きさが十分大きい場合、補正処理対象領域Ｐｅ１には、瞳孔以外の部分の画像の画素が多く含まれる。すなわち補正処理対象領域Ｐｅ１における非赤色赤目画素の数は、赤色赤目画素の数より圧倒的に多くなる。したがって補正処理対象領域Ｐｅ１の大きさが十分に大きい場合、Ｒ値毎（たとえば、赤成分区間Ｌｒ毎）のＲ値／Ｇ値の平均値は、非赤色赤目画素の分布を表していることになる。したがって式（１）に示した赤成分区間ＬｒのＲ値／Ｇ値の平均値を通る曲線ＨＲ／Ｇ（ｒ）は、非赤色赤目画素の分布に沿った曲線になる。
【００５２】
また非赤色赤目画素の分布に沿った曲線ＨＲ／Ｇ（ｒ）を、［補正処理対象領域Ｐｅ１におけるＲ値の平均値とＧ値の平均値の比］に対応する値だけ上方に移動させると（すなわち加算されると）、非赤色赤目画素の分布の上側に沿った曲線を得ることができる。赤色赤目画素の多くは非赤色赤目画素が集まっている領域より上方に存在するので、この非赤色赤目画素の分布の上側に沿った曲線は、非赤色赤目画素の分布と赤色赤目画素の分布の境界を示す曲線、すなわち両者を分離する曲線になる。したがって式（１）のＦＲ／Ｇ（ｒ）は、非赤色赤目画素の分布の上側に沿った曲線であって、非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線になる。
【００５３】
一方、金色の赤目現象が生じている画素（以下、金色赤目画素と称する）は、黄色系の色であるので、金色赤目画素は、Ｒ値とＲ値／Ｇ値を軸とする平面では、非赤色赤目画素の分布の中に含まれてしまう。しかしながら、Ｒ値とＲ値／Ｂ値を軸とする平面では、金色赤目画素の分布は、Ｒ値とＲ値／Ｇ値を軸とする平面における赤色赤目画素と同じように上方に分散して分布する。金色赤目画素以外の画素（以下、非金色赤目画素と称する）は、Ｒ値とＲ値／Ｇ値を軸とする平面における非赤色赤目画素と同じようにその多くが下側に集まるように分布する。したがって金色赤目画素は、非金色赤目画素が集まっている領域より上方に存在する。
【００５４】
そのことから式（２）のＦＲ／Ｂ（ｒ）も、式（１）のＦＲ／Ｇ（ｒ）と同様な理由により、非金色赤目画素の分布の上側に沿った曲線であって、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線となる。
【００５５】
なお非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線ＦＲ／Ｇ（ｒ）と、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線ＦＲ／Ｂ（ｒ）を得るには、Ｒ値毎（この例の場合、赤成分区間Ｌｒ毎）のＲ値／Ｇ値の平均値が、非赤色赤目画素の分布を表し、Ｒ値／Ｂ値の平均値が、非金色赤目画素の分布を表していることが必要になる。すなわち補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像の画素が多く含むような画サイズを有する必要がある。
【００５６】
そのような理由から補正処理対象領域Ｐｅ１の特徴量抽出処理（図５のステップＳ１１）では、補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像を多く含むだけの大きさであるか否かが判定され（図６のステップＳ２１）、そのような大きさでないと判定された場合、補正処理対象領域Ｐｅ１が拡大される（ステップＳ２２）。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍になるように補正処理対象領域Ｐｅ１が拡大される。
【００５７】
分離曲線生成部３２は、求めた分離曲線ＦＲ／Ｇ（ｒ）とＦＲ／Ｂ（ｒ）を、内部メモリー１２に記憶する。
【００５８】
なおこの例の場合、Ｒ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けてＲ値／Ｇ値の平均値を、分離曲線ＦＲ／Ｇ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。またＲ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けてＲ値／Ｂ値の平均値を、分離曲線ＦＲ／Ｂ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。このように制御点のみを記憶することで、記憶容量を節約することができる。
【００５９】
このように左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の両方の特徴量を用いて分離曲線が生成されると、処理は、図５のステップＳ１５に進む。ステップＳ１５において、赤目領域特定情報生成部２３の補正強度マップ生成部３３は、分離曲線に基づいて、左目の赤目領域を特定し、左目用の補正強度マップＭａを生成する。
【００６０】
左目用の補正強度マップＭａは、上述したように、左目の補正処理対象領域Ｐｅ１の各画素に対応する格納部を有している。格納部は、画素とみなすことができるので、左目の補正強度マップＭａは、少なくとも、左目の補正処理対象領域Ｐｅ１と同じ画サイズを有していることになる。補正強度マップＭａの各格納部（すなわち各画素）には、この例の場合、対応する補正処理対象領域Ｐｅ１の画素が赤目領域を構成する画素であると推定できる場合は、１２８以上の値が、そうでない場合には１２８より小さい値が格納される。
【００６１】
図８は、左目用の補正強度マップ生成処理の流れを示すフローチャートである。
【００６２】
ステップＳ３１において、補正強度マップ生成部３３は、左目の補正処理対象領域Ｐｅ１から注目する１個の画素（以下、注目画素と称する）を選択し、ステップＳ３２において、注目画素のＲ値、Ｒ値／Ｇ値、およびＲ値／Ｂ値を取得する。
【００６３】
次にステップＳ３３において、補正強度マップ生成部３３は、注目画素のＲ値に対応する分離曲線の値（以下、分離閾値と称する）を取得する。具体的には、式（１）より注目画素のＲ値における分離閾値としてのＲ値／Ｇ値（以下、分離閾値Ｒ／Ｇと称する）が求められ、式（２）より注目画素のＲ値における分離閾値としてのＲ値／Ｂ値（以下、分離閾値Ｒ／Ｂと称する）が求められる。
【００６４】
ステップＳ３４において、補正強度マップ生成部３３は、ステップＳ３３で求められた分離閾値に応じた補正強度係数を求める。たとえば、図９に示す補正強度係数テーブルが参照されて、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比に対応する補正強度係数と、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比に対応する補正強度係数とが求められ、大きい方の補正強度係数が、その注目画素の補正強度係数とされる。そして補正強度マップ生成部３３は、求めた補正強度係数を、注目画素に対応する補正強度マップＭａの格納部に格納する。図９に示す補正強度係数テーブルは、たとえば内部メモリー１２に記憶されている。
【００６５】
注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比が１以上となる画素は、Ｒ値とＲ値／Ｇ値を軸とする平面において（図７）、分離曲線ＦＲ／Ｇ上またはそれより上方に存在する。また注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１以上となる画素は、Ｒ値とＲ値／Ｂ値を軸とする平面において、分離曲線ＦＲ／Ｂ上またはそれより上方に存在する。したがって注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比、または注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１以上になったときは、注目画素は、赤目画素の分布の中の画素、すなわち赤目領域を構成する画素として推定され、その画素には、１２８以上の値が割り当てられる。
【００６６】
一方、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比が１より小さい画素は、Ｒ値とＲ値／Ｇ値を軸とする平面において（図７）、分離曲線ＦＲ／Ｇより下方に存在する。また注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１より小さい画素は、Ｒ値とＲ値／Ｂ値を軸とする平面において、分離曲線ＦＲ／Ｂより下方に存在する。したがって注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比、および注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比がいずれも１より小さいときは、注目画素は、非赤目画素の分布の中の画素、すなわち赤目を構成しない画素として推定され、１２８より小さな値が割り当てられる。
【００６７】
なお赤目を構成しない画素と推定された画素においても、Ｒ値／Ｇ値と分離閾値Ｒ／Ｇの比（またはＲ値／Ｂ値と分離閾値Ｒ／Ｂの比）が０．８以上である場合は（すなわち分離曲線から２割下側に分布する画素については）、ある大きさの補正強度係数が割り与えられる。その結果、その画素には、補正処理Ｚ２によりその補正強度係数に応じた補正強度で色補正される。これは、瞳孔でなくても赤目現象の影響を受けている部分にもある程度の補正をかけるためである。
【００６８】
図８に戻りステップＳ３５において、補正強度マップ生成部３３は、左目の補正処理対象領域Ｐｅ１内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部３３は、ステップＳ３１に戻り、他の画素を注目画素として選択し、ステップＳ３２以降の処理を同様に実行する。
【００６９】
ステップＳ３５で、左目の補正処理対象領域Ｐｅ１内のすべての画素を注目画素として選択したと判定された場合、処理が終了し、左目用の補正強度マップＭａが生成される。この補正強度マップＭａには、赤目領域を構成する画素であると推定された画素については１２８以上の値が格納され、赤目を構成しない画素であると推定された画素については１２８より小さな値が格納される。
【００７０】
このように左目用の補正強度マップＭａが生成されると、処理は、図５のステップ１６に進み、分離曲線に基づいて、右目の赤目領域が特定され、右目用の補正強度マップＭａが生成される。この処理は、図８に示した左目用の補正強度マップ生成処理と基本的には同様であり、その詳細な説明は省略するが、左目の補正処理対象領域Ｐｅ１に代えて、右目の補正処理対象領域Ｐｅ１に対して処理が施される。
【００７１】
このように、左目と右目の赤目領域が特定され、それぞれの補正強度マップＭａが生成されると、赤目領域特定情報生成処理Ｚ１は終了する。その処理は、ステップＳ１７に進み、左目に対する補正処理Ｚ２が実行される。
【００７２】
［補正処理Ｚ２の説明］
図１０は、左目に対する補正処理Ｚ２の流れを示すフローチャートである。ステップＳ４１において、補正部２４は、左目の赤目候補領域Ｐｅ２（図４）から注目する画素を選択し、ステップＳ４２において、左目用の補正強度マップＭａから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
【００７３】
ステップＳ４３において、補正部２４は、読み取った補正強度係数に応じて、注目画素の色を調整する。たとえば補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色を、その黒色に置き換える。
【００７４】
たとえば式（３）により、左目の赤目候補領域Ｐｅ２の注目画素ｉとその両隣の画素i-1，画素i+1のＲＧＢがブレンドされる。そして式（４）により、ブレンドされたＲＧＢ（式（３）中、Ｒ’，Ｇ’，Ｂ’）を用いて、ターゲットカラー（式（４）中、TargetColor）としてのグレー色が求められる。
【数３】
【数４】
【００７５】
さらに式（５）により、注目画素の補正強度係数（式（５）中、Intensity）を用いて、ターゲットカラーと注目画素のＲＧＢがブレンドされて、置き換えられる色（式（５）中、Ｒnew、Ｇnew，Ｂnew）が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。
【数５】
【００７６】
次にステップＳ４４において、補正部２４は、左目の赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、ステップＳ４１に戻り、補正部２４は、他の画素を注目画素として選択し、ステップＳ４２以降の処理を同様に実行する。
【００７７】
ステップＳ４４で、左目の赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択されたと判定された場合、左目に対する補正処理Ｚ２は終了する。このように補正強度係数の大きさに応じた度合いで色補正が行われる。
【００７８】
図１１は、左目の赤目候補領域Ｐｅ２部分の、左目用の補正強度マップＭａに設定された補正強度のイメージを示した図である。図１１には白色の程度が示されていないが、より白色の程、補正強度係数が高いことになる。このように赤目領域とされた領域に対して、所定の補正強度係数で色補正が施される。図１２は、その補正が施された赤目候補領域Ｐｅ２のイメージを示した図である。この例では、図４と比較して瞳孔部分は黒色で示されているが、これは色補正が行われたことを表している。
【００７９】
このように左目の赤目が補正されると、処理は、図５のステップＳ１８に進み、今度は、右目に対する補正処理Ｚ２が実行される。この処理は、図１０に示した左目に対する補正処理Ｚ２と基本的には同様であるので、その詳細な説明は省略するが、左目の赤目候補領域Ｐｅ２に対する左目用の補正強度マップＭａに基づく処理に代えて、右目の赤目候補領域Ｐｅ２に対する右目用の補正強度マップＭａに基づく処理が行われる。
【００８０】
以上のように、左目と右目の赤目が補正されると、赤目補正処理は終了する。
【００８１】
ステップＳ１３で、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似していないと判定された場合、ステップＳ１４〜１８の処理がスキップされ、赤目補正処理は終了する。すなわちその場合、赤目の補正は行われない。
【００８２】
［実施形態における効果］
１．以上のように、補正処理対象領域Ｐｅ１から特徴量として、Ｒ値、およびＲ値／Ｇ値（またはＲ値／Ｇ値）を抽出し、
Ｒ値とＲ値／Ｇ値を軸とする平面におけるＲ値／Ｇ値の分布において（またはＲ値とＲ値／Ｂ値を軸とする平面におけるＲ値／Ｂ値の分布において）、赤色赤目画素の分布と非赤色赤目画素の分布（または金色赤目画素の分布と非金色赤目画素の分布）を分離する分離曲線を生成するようにしたので、赤目領域を適切に特定することができる。
【００８３】
２．また以上のように、左目と右目の補正処理対象領域Ｐｅ１の色についての特徴量が類似している場合、左目と右目の両方の補正処理対象領域Ｐｅ１の特徴量に基づいて共通の分離曲線を生成し、その分離曲線に基づいて、左目と右目の赤目領域を特定するようにしたので（図５のステップＳ１３）、左目と右目の両方の補正処理対象領域Ｐｅ１全体の特徴量に基づいて赤目領域を特定することができ、バランスよく左右の目の赤目領域を特定することができる。また共通の分離曲線を用いて補正強度マップＭａを生成するようにしたので、左目と右目の赤目部分を、バランスよく色補正することができる。また片目の赤目だけが修正されるようなことを防止することができる。
【００８４】
［変形例］
【００８５】
１．なお以上においては、色の特徴量を軸とする空間における補正処理対象領域Ｐｅ１の両方の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、その分離曲線に基づいて赤目領域を特定したが、分離曲線生成に先立って、補正処理対象領域Ｐｅ１に対して肌色補正を施すことにより、赤目現象が生じている画素とそれ以外の画素をより正確に分離することができる。
【００８６】
たとえば検出した顔領域から肌色の状態（たとえば、サンプリングした肌色の平均値）をトーンカーブを用いて目標とする肌色に変換する肌色補正を、補正処理対象領域Ｐｅ１を施し、その結果得られた補正処理対象領域Ｐｅ１から分離曲線を生成することができる。
【００８７】
２．また以上においては、左目と右目の補正処理対象領域Ｐｅ１の特徴量が類似していない場合、左目と右目の赤目の修正は行われないが（図５のステップＳ１４〜１８の処理がスキップされるが）、左目と右目の補正処理対象領域Ｐｅ１の特徴量が類似していない場合、それぞれの補正処理対象領域Ｐｅ１の特徴量から、それぞれの分離曲線を生成し、それぞれの分離曲線に基づいて赤目領域を特定することもできる。
【００８８】
３．また以上においては、１つの顔領域の左目と右目の補正処理対象領域Ｐｅ１から１つの分離曲線を生成し、その分離曲線を用いて、左目と右目の赤目領域をそれぞれ特定したが、２個以上の顔領域の左目と右目の補正処理対象領域Ｐｅ１から１つの分離曲線を生成し、その分離曲線を用いて、複数の顔領域の左目と右目の赤目領域をそれぞれ特定することもできる。
【００８９】
４．また以上においては、Ｒ値／Ｇ値またはＲ値／Ｂ値の分布に基づいて分離曲線を生成したが、赤目領域を構成する画素とそうでない画素を分離できる分布形態を有する特徴量であれば、他の特徴量を用いて分離曲線を生成することができる。
【００９０】
５．また以上においては、プリンター１を利用した場合を例として説明したが、コンピューター、デジタルビデオカメラ、またはデジタルスチルカメラ等の他の画像処理装置に適用することができる。すなわち画像処理装置にインストールされる赤目補正ソフトウェア等に実装することができる。この場合、補正強度マップＭａを生成する機能が画像処理装置に実装され、画像処理装置からプリンターや表示側に補正強度マップＭａが提供され、プリンターや表示側で色補正が実行されるようにすることもできる。
【００９１】
６．また上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magnet-Optical disk）などがある。
【００９２】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバコンピューターから他のコンピューターにそのプログラムを転送することもできる。
【００９３】
プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００９４】
なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００９５】
またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。
【符号の説明】
【００９６】
１ プリンター， １１ ＣＰＵ ， １２ 内部メモリー， １３ 操作部， １４ 表示部， １５ プリンターエンジン， １６ カードＩ／Ｆ， １７ カードスロット， １８ メモリーカード， ２１ 画像読取部， ２２ 部位領域取得部， ２３ 赤目領域特定情報生成部， ２４ 補正部， ３１ 特徴量抽出部， ３２ 分離曲線生成部， ３３ 補正強度マップ生成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
人物をフラッシュを使用して撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２３３９２９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、赤目現象を適切に行うことができない場合があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、赤目補正を適切に行うことができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面は、カラー画像における顔の画像を含む顔領域と、顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得手段と、取得された２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出手段と、抽出された２つの目領域の特徴量が類似しているか否かを判定する判定手段と、判定手段により２つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成手段と、分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定する特定手段と、特定手段により特定された赤目領域に対して赤目を修正する補正を行う補正手段とを有することを特徴とする。
【０００７】
顔領域におけるそれぞれ１つの目の画像を含む２個の目領域のそれぞれの特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、その分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定するようにしたので、たとえばバランスよく左右の目の赤目領域を特定することができ、赤目を修正することができる。
【０００８】
分離曲線生成手段は、顔領域の肌色の色度を目標値に補正する補正処理が施された目領域の特徴量について、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成することができる。これにより、より正確に赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を赤目生成することができる。
【０００９】
本発明の一側面は、カラー画像における顔の画像を含む顔領域と、顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得ステップと、取得された２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出ステップと、抽出された２つの目領域の特徴量が類似しているか否かを判定する判定ステップと、判定ステップの処理で２つの目領域の特徴量が類似していると判定された場合、特徴量を軸とする空間における２つの目領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成ステップと、分離曲線に基づいて、２個の目領域における赤目領域をそれぞれ特定する特定ステップと、特定ステップの処理で特定された赤目領域に対して赤目を修正する補正を行う補正ステップとを含むことを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係るプリンター１の構成を示す斜視図である。
【図２】赤目領域特定情報生成処理Ｚ１と補正処理Ｚ２を実行するための図１のプリンター１の機能的構成例を示すブロック図である。
【図３】印刷処理対象画像ＴＩを模式的に示した図である。
【図４】図３の印刷処理対象画像ＴＩの中央の人物の左目を含む画像領域を拡大して模式的に示した図である。
【図５】赤目領域特定情報生成処理Ｚ１の流れを示すフローチャートである。
【図６】図５のステップＳ１１の特徴量抽出処理の詳細を示すフローチャートである。
【図７】補正処理対象領域Ｐｅ１の各画素を、Ｒ値とＲ値／Ｇ値を軸とする平面に、そのＲ値とＲ値／Ｇ値に応じてプロットした図である。
【図８】補正強度マップ生成処理の流れを示すフローチャートである。
【図９】補正強度係数テーブルの例を示す図である。
【図１０】補正処理Ｚ２の流れを示すフローチャートである。
【図１１】赤目候補領域Ｐｅ２部分の、補正強度マップＭａに設定された補正強度のイメージを示した図である。
【図１２】補正強度マップＭａに設定された補正強度係数に応じて補正された赤目候補領域Ｐｅ２のイメージを示した図である。
【発明を実施するための形態】
【００１１】
［プリンター１の構成の説明］
図１は、本発明の実施の形態としてのプリンター１のハードウェアの構成例を示すブロック図である。このプリンター１は、メモリーカード１８等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンターである。また、プリンター１は、印刷するカラー画像に対して、赤目部分を検出し、その部分を自然な色（たとえば、黒色等）に補正する機能（以下、赤目補正機能と称する）を有している。
【００１２】
プリンター１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、プリンターエンジン１５、およびカードインターフェース（カードＩ／Ｆ）１６を備えている。
【００１３】
ＣＰＵ（central processing unit）１１は、各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理等を実行する。
【００１４】
たとえばＣＰＵ１１は、印刷に先立って、印刷されるカラー画像（以下、印刷処理対象画像ＴＩと称する）の画像全体、またはユーザーが指定した点の周囲の領域の中から、人物、犬などのペット等の顔の画像を含む領域を検出するとともに、その顔の画像の中の、目の画像を含む領域を検出する処理（以下、検出処理Ｚ０と称する）を実行する。ＣＰＵ１１はまた、検出した目の画像を含む領域（以下、補正処理対象領域Ｐｅ１と称する）から、赤目現象が発生している赤目領域を特定するための情報を生成する処理（以下、赤目領域特定情報生成処理Ｚ１と称する）を実行し、その情報により特定される赤目領域の色を自然な色（たとえば、黒色等）に置き換える処理（すなわち赤目を修正する補正処理（以下、補正処理Ｚ２と称する））を実行する。
【００１５】
内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納しているＲＯＭ（Read Only Memory）、およびＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。
【００１６】
操作部１３は、ボタンやタッチパネルの１つまたは複数により構成され、ユーザーによる操作内容をＣＰＵ１１に通知する。
【００１７】
表示部１４は、液晶ディスプレイ等により構成され、ＣＰＵ１１から供給された表示データに対応する画像を表示する。
【００１８】
プリンターエンジン１５は、ＣＰＵ１１から供給された印刷データに基づき印刷を行う印刷機構である。
【００１９】
カードインターフェース（Ｉ／Ｆ）１６は、カードスロット１７に挿入されたメモリーカード１８との間でデータのやり取りを行うためのインターフェースである。なお、この例では、メモリーカード１８にＲＧＢデータとしての画像データが格納されており、プリンター１は、カードインターフェース１６を介してメモリーカード１８に格納された画像データの取得を行う。
【００２０】
プリンター１の各構成要素は、バス１９を介して互いに接続されている。
【００２１】
なおプリンター１は、さらに、他の機器（たとえばデジタルスチルカメラやコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。
【００２２】
［プリンター１の機能的構成例の説明］
図２は、検出処理Ｚ０、並びに赤目領域特定情報生成処理Ｚ１および補正処理Ｚ２を実行するためのプリンター１の機能的構成例を示すブロック図である。この機能は、ＣＰＵ１１が内部メモリー１２に記憶されている所定のプログラムを実行することより実現可能となる。
【００２３】
画像読取部２１は、印刷処理対象画像ＴＩを、たとえばメモリーカード１８から、カードＩ／Ｆ１６を介して読み取る。
【００２４】
部位領域取得部２２は、たとえば、画像読取部２１により読み取られた印刷処理対象画像ＴＩのレプリカ（以下、単に、印刷処理対象画像ＴＩとも称する）に対して、検出処理Ｚ０を実行する。具体的には、たとえば人物の目、鼻、および口等の基本的な形状を表すテンプレートを利用したパターンマッチングによる方法（たとえば、特開２００６−２７９４６０号公報参照）といった公知の検出方法を用いて、目の部分の画像とともに、顔の画像を含む領域（以下、顔領域と称する）を検出する。部位領域取得部２２はさらに、検出した目の画像（すなわち補正処理対象領域Ｐｅ１）から、赤みがかった瞳孔や虹彩を含む領域を取得する処理を実行する。なおこの処理の結果取得された赤みがかった瞳孔や虹彩を含む領域を、赤目候補領域Ｐｅ２と称する。
【００２５】
図３は、印刷処理対象画像ＴＩを模式的に示した図である。図３にはまた、この印刷処理対象画像ＴＩの中央の人物の顔領域ＦＡが示されている。図４は、図３の印刷処理対象画像ＴＩの中央の人物の目を含む画像領域を拡大して模式的に示した図である。図４には、左目の画像を含む左目の補正処理対象領域Ｐｅ１と右目の画像を含む右目の補正処理対象領域Ｐｅ１とともに、その補正処理対象領域Ｐｅ１から検出された赤目候補領域Ｐｅ２がそれぞれ示されている。この例の場合、目玉、白目、瞼、目頭、目尻等の部位を含む矩形領域が、補正処理対象領域Ｐｅ１として検出され、その中の目玉を含む円形領域が、赤目候補領域Ｐｅ２として検出される。
【００２６】
図２に戻り赤目領域特定情報生成部２３は、部位領域取得部２２により取得された左目および右目の補正処理対象領域Ｐｅ１を用いて、赤目領域特定情報生成処理Ｚ１を実行する。この例において、赤目領域を特定するための情報として、色の特徴量を軸とする空間における左目および右目の補正処理対象領域Ｐｅ１の両方の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線が生成される。そして左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１のそれぞれについて、補正処理対象領域Ｐｅ１の画素毎に分離曲線からの距離に応じた補正強度係数を格納する補正強度マップＭａが生成される。すなわち左目用の補正強度マップＭａと右目用の補正強度マップＭａが生成される。補正強度マップＭａは、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有しており、各格納部には、対応する補正処理対象領域Ｐｅ１の画素が赤目領域を構成する画素である可能性に応じた補正強度係数が格納される。
【００２７】
赤目領域特定情報生成部２３は、特徴量抽出部３１、分離曲線生成部３２、および補正強度マップ生成部３３を有して構成される。それらの構成要素の動作については、赤目領域特定情報生成処理Ｚ１の説明と合わせて後述する。
【００２８】
補正部２４は、赤目領域特定情報生成部２３により生成された左目用の補正強度マップＭａに格納されている補正強度係数に応じた補正強度で、印刷処理対象画像ＴＩの左目部分の色を黒色等に置き換える（赤目を修正する）補正処理Ｚ２を実行し、また右目用の補正強度マップＭａに格納されている補正強度係数に応じた補正強度で、印刷処理対象画像ＴＩの左目部分の色を黒色等に置き換える補正処理Ｚ２を実行して、印刷データを生成する。
【００２９】
図５は、赤目補正処理の流れを示すフローチャートである。ステップＳ１１において、部位領域取得部２２は、画像読取部２１により読み取られた印刷処理対象画像ＴＩに対して、検出処理Ｚ０を実行する。その結果、図３および図４に示したような、顔領域、並びに左目と右目の補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２がそれぞれ検出される。なお印刷処理対象画像ＴＩによっては、顔領域や補正処理対象領域Ｐｅ１等が検出されない場合もあるが、この例では、顔領域、並びに左目と右目の補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２がそれぞれ検出されるものとする。
【００３０】
［赤目領域特定情報生成処理Ｚ１の説明］
次にステップＳ１２からステップＳ１５において、赤目領域特定情報生成処理Ｚ１が実行される。
【００３１】
ステップＳ１２において、赤目領域特定情報生成部２３の特徴量抽出部３１は、１つの顔領域から検出された、左目と右目の２個の補正処理対象領域Ｐｅ１の特徴量を抽出する。
【００３２】
図６は、この特徴量抽出処理の詳細を示すフローチャートである。
【００３３】
特徴量抽出部３１は、ステップＳ２１において、検出された両目（２個）の補正処理対象領域Ｐｅ１のそれぞれについて、その大きさが適切な大きさであるか否かを判定する。具体的には、たとえば、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍以上の長さであるか否かが判定される。なお補正処理対象領域Ｐｅ１の大きさについてこのような判定を行う理由については、後述する。
【００３４】
ステップＳ２１で、いずれかの補正処理対象領域Ｐｅ１が適切な大きさでない場合（すなわちこの例の場合、長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍より短い場合）と判定された場合、ステップＳ２２において、特徴量抽出部３１は、その補正処理対象領域Ｐｅ１を適切な大きさに拡大する。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍となる拡大率で、補正処理対象領域Ｐｅ１の画素が補完される。
【００３５】
ステップＳ２１で、２個の補正処理対象領域Ｐｅ１の大きさが適切な大きさであると判定されたとき、またはステップＳ２２で、補正処理対象領域Ｐｅ１が適切な大きさに拡大されたとき、ステップＳ２３において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１のそれぞれについて、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）の平均値をそれぞれ算出する。
【００３６】
次にステップＳ２４において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１のそれぞれについて、Ｒ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差をそれぞれ算出する。
【００３７】
ステップＳ２５において、特徴量抽出部３１は、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似しているか否かを判定する。具体的には、左目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値のそれぞれと、右目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値のそれぞれの差異が、一定量以内であるか否かが判定される。左目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値を、Ｒra、Ｇra、Ｂraとし、右目の補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値を、Ｒla、Ｇla、Ｂlaとし、所定の閾値をＷr、Ｗg、Ｗｂした場合、（Ｒra−Ｒla）＜Ｗr、（Ｇra−Ｇla）＜Ｗg、（Ｂra−Ｂla）＜Ｗbが成立するか否かが判定され、いずれの式も成立すると判定された場合、両者の特徴量は類似すると判定される。
【００３８】
また左目の補正処理対象領域Ｐｅ１のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差のそれぞれと、右目の補正処理対象領域Ｐｅ１のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差のそれぞれとの差異が一定量以内であるか否かを判定することもできる。または平均値と標準偏差の両方の比較結果に基づいて判定することもできる。
【００３９】
ステップＳ２５で、右目の補正処理対象領域Ｐｅ１と左目の補正処理対象領域Ｐｅ１の特徴量が類似していると判定された場合、ステップＳ２６において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１の画素のＲ成分値（Ｒ値）、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）を用いて、２個の補正処理対象領域Ｐｅ１全体のＲ値、Ｇ値、およびＢ値の平均値をそれぞれ算出する。
【００４０】
次にステップＳ２７において、特徴量抽出部３１は、２個の補正処理対象領域Ｐｅ１の画素のＲ成分値（Ｒ値）、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）を用いて、２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差をそれぞれ算出する。
【００４１】
ステップＳ２８において、特徴量抽出部３１は、Ｒ値の軸の範囲（０〜２５５）を１６等分して得られた区間（以下、赤成分区間Ｌｒと称する）毎に、その赤成分区間ＬｒのＲ値を有する２個の補正処理対象領域Ｐｅ１の両方の画素のＲ値／Ｇ値の平均値とＲ値／Ｂ値の平均値を、それぞれ求める。
【００４２】
このように、「２個の補正処理対象領域Ｐｅ１全体のＲ値、Ｇ値、Ｂ値のそれぞれの平均値」、および「２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差」、並びに「赤成分区間Ｌｒ毎の２個の補正処理対象領域Ｐｅ１全体についてのＲ値／Ｇ値の平均値とＲ値／Ｂ値の平均値」が、特徴量として抽出される。その後、処理は、図５のステップＳ１３に進む。なお抽出された特徴量は、適宜、内部メモリー１２に記憶される。
【００４３】
ステップＳ２５で、右目の補正処理対象領域Ｐｅ１と左目の補正処理対象領域Ｐｅ１の特徴量が類似していないと判定された場合、ステップＳ２６〜Ｓ２８の処理はスキップされ、処理は、図５のステップＳ１３に進む。
【００４４】
ステップＳ１３において、赤目領域特定情報生成部２３の分離曲線生成部３２は、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似しているか否かを判定する。具体的には、図６のステップＳ２６〜Ｓ２８の処理で、「２個の補正処理対象領域Ｐｅ１全体のＲ値、Ｇ値、Ｂ値のそれぞれの平均値」、「２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差とＲ値／Ｂ値の標準偏差」、および「赤成分区間Ｌｒ毎の２個の補正処理対象領域Ｐｅ１全体についてのＲ値／Ｇ値の平均値とＲ値／Ｂ値の平均値」が、特徴量として抽出されたか否かが判定される。
【００４５】
ステップＳ１３で、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似していると判定された場合、ステップＳ１４において、分離曲線生成部３２は、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の両方の特徴量を用いて、分離曲線を求める。この例では、式（１）に示すＦＲ／Ｇ（ｒ）と式（２）に示すＦＲ／Ｂ（ｒ）が求められる。
【数１】
【数２】
【００４６】
式（１）中、ＨＲ／Ｇ（ｒ）は、赤成分区間ＬｒのステップＳ２８で求められたＲ値／Ｇ値の平均値を通る曲線である。ｒは、Ｒ値である。σＲ／Ｇは、ステップＳ２９で求められた２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｇ値の標準偏差である。αＲ／ＧとβＲ／Ｇは所定の係数である。また式（２）中、ＨＲ／Ｂ（ｒ）は、赤成分区間ＬｒのステップＳ２８で求められたＲ値／Ｂ値の平均値を通る曲線である。σＲ／Ｂは、ステップＳ２９で求められた２個の補正処理対象領域Ｐｅ１全体のＲ値／Ｂ値の標準偏差である。αＲ／ＢとβＲ／Ｂは所定の係数である。
【００４７】
すなわちいずれの分離曲線についても、その形は、式（１）および式（２）の第１項で決定され、赤成分区間ＬｒのＲ値／Ｇ値またはＲ値／Ｂ値の平均値を基準として、Ｒ値／Ｇ値またはＲ値／Ｂ値の標準偏差の大きさに応じた大きさの凹凸で変化する。なおαによりその変化が微調整される。曲線の高さは、式（１）および式（２）の第２項で決定され、補正処理対象領域Ｐｅ１における、Ｒ値の平均値とＧ値の平均値（それぞれステップＳ２６で求められる）の比またはＲ値の平均値とＢ値の平均値（それぞれステップＳ２６で求められる）の比が基準となっている。なおβによりその高さが微調整される。
【００４８】
ここで式（１）および式（２）の意味について説明する。
【００４９】
図７は、補正処理対象領域Ｐｅ１の各画素を、Ｒ値とＲ値／Ｇ値を軸とする平面に、そのＲ値とＲ値／Ｇ値に応じた位置にプロットした図である。白抜きの四角印（□印）は、赤色の赤目現象が生じている画素（以下、適宜、赤色赤目画素と称する）を示し、黒塗りの四角印（■印）は、赤色赤目画素以外の画素（すなわち赤色の赤目現象が生じていない画素（以下、適宜、非赤色赤目画素と称する））を示している。赤目現象には、瞳孔部分が赤色になる場合の他に、金色（いわゆる金目）になる現象があるが、金色の赤目現象が生じている画素については、後述する。
【００５０】
図７の例では、非赤色赤目画素は、その多くが下側に集まっている。一方赤色赤目画素は、非赤色赤目画素に比べ分散して分布しており、その多くは、非赤色赤目画素が集まっている領域より上方に存在する。
【００５１】
ところで補正処理対象領域Ｐｅ１（図４）の大きさが十分大きい場合、補正処理対象領域Ｐｅ１には、瞳孔以外の部分の画像の画素が多く含まれる。すなわち補正処理対象領域Ｐｅ１における非赤色赤目画素の数は、赤色赤目画素の数より圧倒的に多くなる。したがって補正処理対象領域Ｐｅ１の大きさが十分に大きい場合、Ｒ値毎（たとえば、赤成分区間Ｌｒ毎）のＲ値／Ｇ値の平均値は、非赤色赤目画素の分布を表していることになる。したがって式（１）に示した赤成分区間ＬｒのＲ値／Ｇ値の平均値を通る曲線ＨＲ／Ｇ（ｒ）は、非赤色赤目画素の分布に沿った曲線になる。
【００５２】
また非赤色赤目画素の分布に沿った曲線ＨＲ／Ｇ（ｒ）を、［補正処理対象領域Ｐｅ１におけるＲ値の平均値とＧ値の平均値の比］に対応する値だけ上方に移動させると（すなわち加算されると）、非赤色赤目画素の分布の上側に沿った曲線を得ることができる。赤色赤目画素の多くは非赤色赤目画素が集まっている領域より上方に存在するので、この非赤色赤目画素の分布の上側に沿った曲線は、非赤色赤目画素の分布と赤色赤目画素の分布の境界を示す曲線、すなわち両者を分離する曲線になる。したがって式（１）のＦＲ／Ｇ（ｒ）は、非赤色赤目画素の分布の上側に沿った曲線であって、非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線になる。
【００５３】
一方、金色の赤目現象が生じている画素（以下、金色赤目画素と称する）は、黄色系の色であるので、金色赤目画素は、Ｒ値とＲ値／Ｇ値を軸とする平面では、非赤色赤目画素の分布の中に含まれてしまう。しかしながら、Ｒ値とＲ値／Ｂ値を軸とする平面では、金色赤目画素の分布は、Ｒ値とＲ値／Ｇ値を軸とする平面における赤色赤目画素と同じように上方に分散して分布する。金色赤目画素以外の画素（以下、非金色赤目画素と称する）は、Ｒ値とＲ値／Ｇ値を軸とする平面における非赤色赤目画素と同じようにその多くが下側に集まるように分布する。したがって金色赤目画素は、非金色赤目画素が集まっている領域より上方に存在する。
【００５４】
そのことから式（２）のＦＲ／Ｂ（ｒ）も、式（１）のＦＲ／Ｇ（ｒ）と同様な理由により、非金色赤目画素の分布の上側に沿った曲線であって、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線となる。
【００５５】
なお非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線ＦＲ／Ｇ（ｒ）と、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線ＦＲ／Ｂ（ｒ）を得るには、Ｒ値毎（この例の場合、赤成分区間Ｌｒ毎）のＲ値／Ｇ値の平均値が、非赤色赤目画素の分布を表し、Ｒ値／Ｂ値の平均値が、非金色赤目画素の分布を表していることが必要になる。すなわち補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像の画素が多く含むような画サイズを有する必要がある。
【００５６】
そのような理由から補正処理対象領域Ｐｅ１の特徴量抽出処理（図５のステップＳ１１）では、補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像を多く含むだけの大きさであるか否かが判定され（図６のステップＳ２１）、そのような大きさでないと判定された場合、補正処理対象領域Ｐｅ１が拡大される（ステップＳ２２）。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍になるように補正処理対象領域Ｐｅ１が拡大される。
【００５７】
分離曲線生成部３２は、求めた分離曲線ＦＲ／Ｇ（ｒ）とＦＲ／Ｂ（ｒ）を、内部メモリー１２に記憶する。
【００５８】
なおこの例の場合、Ｒ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けてＲ値／Ｇ値の平均値を、分離曲線ＦＲ／Ｇ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。またＲ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けてＲ値／Ｂ値の平均値を、分離曲線ＦＲ／Ｂ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。このように制御点のみを記憶することで、記憶容量を節約することができる。
【００５９】
このように左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の両方の特徴量を用いて分離曲線が生成されると、処理は、図５のステップＳ１５に進む。ステップＳ１５において、赤目領域特定情報生成部２３の補正強度マップ生成部３３は、分離曲線に基づいて、左目の赤目領域を特定し、左目用の補正強度マップＭａを生成する。
【００６０】
左目用の補正強度マップＭａは、上述したように、左目の補正処理対象領域Ｐｅ１の各画素に対応する格納部を有している。格納部は、画素とみなすことができるので、左目の補正強度マップＭａは、少なくとも、左目の補正処理対象領域Ｐｅ１と同じ画サイズを有していることになる。補正強度マップＭａの各格納部（すなわち各画素）には、この例の場合、対応する補正処理対象領域Ｐｅ１の画素が赤目領域を構成する画素であると推定できる場合は、１２８以上の値が、そうでない場合には１２８より小さい値が格納される。
【００６１】
図８は、左目用の補正強度マップ生成処理の流れを示すフローチャートである。
【００６２】
ステップＳ３１において、補正強度マップ生成部３３は、左目の補正処理対象領域Ｐｅ１から注目する１個の画素（以下、注目画素と称する）を選択し、ステップＳ３２において、注目画素のＲ値、Ｒ値／Ｇ値、およびＲ値／Ｂ値を取得する。
【００６３】
次にステップＳ３３において、補正強度マップ生成部３３は、注目画素のＲ値に対応する分離曲線の値（以下、分離閾値と称する）を取得する。具体的には、式（１）より注目画素のＲ値における分離閾値としてのＲ値／Ｇ値（以下、分離閾値Ｒ／Ｇと称する）が求められ、式（２）より注目画素のＲ値における分離閾値としてのＲ値／Ｂ値（以下、分離閾値Ｒ／Ｂと称する）が求められる。
【００６４】
ステップＳ３４において、補正強度マップ生成部３３は、ステップＳ３３で求められた分離閾値に応じた補正強度係数を求める。たとえば、図９に示す補正強度係数テーブルが参照されて、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比に対応する補正強度係数と、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比に対応する補正強度係数とが求められ、大きい方の補正強度係数が、その注目画素の補正強度係数とされる。そして補正強度マップ生成部３３は、求めた補正強度係数を、注目画素に対応する補正強度マップＭａの格納部に格納する。図９に示す補正強度係数テーブルは、たとえば内部メモリー１２に記憶されている。
【００６５】
注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比が１以上となる画素は、Ｒ値とＲ値／Ｇ値を軸とする平面において（図７）、分離曲線ＦＲ／Ｇ上またはそれより上方に存在する。また注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１以上となる画素は、Ｒ値とＲ値／Ｂ値を軸とする平面において、分離曲線ＦＲ／Ｂ上またはそれより上方に存在する。したがって注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比、または注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１以上になったときは、注目画素は、赤目画素の分布の中の画素、すなわち赤目領域を構成する画素として推定され、その画素には、１２８以上の値が割り当てられる。
【００６６】
一方、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比が１より小さい画素は、Ｒ値とＲ値／Ｇ値を軸とする平面において（図７）、分離曲線ＦＲ／Ｇより下方に存在する。また注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１より小さい画素は、Ｒ値とＲ値／Ｂ値を軸とする平面において、分離曲線ＦＲ／Ｂより下方に存在する。したがって注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比、および注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比がいずれも１より小さいときは、注目画素は、非赤目画素の分布の中の画素、すなわち赤目を構成しない画素として推定され、１２８より小さな値が割り当てられる。
【００６７】
なお赤目を構成しない画素と推定された画素においても、Ｒ値／Ｇ値と分離閾値Ｒ／Ｇの比（またはＲ値／Ｂ値と分離閾値Ｒ／Ｂの比）が０．８以上である場合は（すなわち分離曲線から２割下側に分布する画素については）、ある大きさの補正強度係数が割り与えられる。その結果、その画素には、補正処理Ｚ２によりその補正強度係数に応じた補正強度で色補正される。これは、瞳孔でなくても赤目現象の影響を受けている部分にもある程度の補正をかけるためである。
【００６８】
図８に戻りステップＳ３５において、補正強度マップ生成部３３は、左目の補正処理対象領域Ｐｅ１内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部３３は、ステップＳ３１に戻り、他の画素を注目画素として選択し、ステップＳ３２以降の処理を同様に実行する。
【００６９】
ステップＳ３５で、左目の補正処理対象領域Ｐｅ１内のすべての画素を注目画素として選択したと判定された場合、処理が終了し、左目用の補正強度マップＭａが生成される。この補正強度マップＭａには、赤目領域を構成する画素であると推定された画素については１２８以上の値が格納され、赤目を構成しない画素であると推定された画素については１２８より小さな値が格納される。
【００７０】
このように左目用の補正強度マップＭａが生成されると、処理は、図５のステップ１６に進み、分離曲線に基づいて、右目の赤目領域が特定され、右目用の補正強度マップＭａが生成される。この処理は、図８に示した左目用の補正強度マップ生成処理と基本的には同様であり、その詳細な説明は省略するが、左目の補正処理対象領域Ｐｅ１に代えて、右目の補正処理対象領域Ｐｅ１に対して処理が施される。
【００７１】
このように、左目と右目の赤目領域が特定され、それぞれの補正強度マップＭａが生成されると、赤目領域特定情報生成処理Ｚ１は終了する。その処理は、ステップＳ１７に進み、左目に対する補正処理Ｚ２が実行される。
【００７２】
［補正処理Ｚ２の説明］
図１０は、左目に対する補正処理Ｚ２の流れを示すフローチャートである。ステップＳ４１において、補正部２４は、左目の赤目候補領域Ｐｅ２（図４）から注目する画素を選択し、ステップＳ４２において、左目用の補正強度マップＭａから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
【００７３】
ステップＳ４３において、補正部２４は、読み取った補正強度係数に応じて、注目画素の色を調整する。たとえば補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色を、その黒色に置き換える。
【００７４】
たとえば式（３）により、左目の赤目候補領域Ｐｅ２の注目画素ｉとその両隣の画素i-1，画素i+1のＲＧＢがブレンドされる。そして式（４）により、ブレンドされたＲＧＢ（式（３）中、Ｒ’，Ｇ’，Ｂ’）を用いて、ターゲットカラー（式（４）中、TargetColor）としてのグレー色が求められる。
【数３】
【数４】
【００７５】
さらに式（５）により、注目画素の補正強度係数（式（５）中、Intensity）を用いて、ターゲットカラーと注目画素のＲＧＢがブレンドされて、置き換えられる色（式（５）中、Ｒnew、Ｇnew，Ｂnew）が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。
【数５】
【００７６】
次にステップＳ４４において、補正部２４は、左目の赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、ステップＳ４１に戻り、補正部２４は、他の画素を注目画素として選択し、ステップＳ４２以降の処理を同様に実行する。
【００７７】
ステップＳ４４で、左目の赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択されたと判定された場合、左目に対する補正処理Ｚ２は終了する。このように補正強度係数の大きさに応じた度合いで色補正が行われる。
【００７８】
図１１は、左目の赤目候補領域Ｐｅ２部分の、左目用の補正強度マップＭａに設定された補正強度のイメージを示した図である。図１１には白色の程度が示されていないが、より白色の程、補正強度係数が高いことになる。このように赤目領域とされた領域に対して、所定の補正強度係数で色補正が施される。図１２は、その補正が施された赤目候補領域Ｐｅ２のイメージを示した図である。この例では、図４と比較して瞳孔部分は黒色で示されているが、これは色補正が行われたことを表している。
【００７９】
このように左目の赤目が補正されると、処理は、図５のステップＳ１８に進み、今度は、右目に対する補正処理Ｚ２が実行される。この処理は、図１０に示した左目に対する補正処理Ｚ２と基本的には同様であるので、その詳細な説明は省略するが、左目の赤目候補領域Ｐｅ２に対する左目用の補正強度マップＭａに基づく処理に代えて、右目の赤目候補領域Ｐｅ２に対する右目用の補正強度マップＭａに基づく処理が行われる。
【００８０】
以上のように、左目と右目の赤目が補正されると、赤目補正処理は終了する。
【００８１】
ステップＳ１３で、左目の補正処理対象領域Ｐｅ１と右目の補正処理対象領域Ｐｅ１の特徴量が類似していないと判定された場合、ステップＳ１４〜１８の処理がスキップされ、赤目補正処理は終了する。すなわちその場合、赤目の補正は行われない。
【００８２】
［実施形態における効果］
１．以上のように、補正処理対象領域Ｐｅ１から特徴量として、Ｒ値、およびＲ値／Ｇ値（またはＲ値／Ｇ値）を抽出し、
Ｒ値とＲ値／Ｇ値を軸とする平面におけるＲ値／Ｇ値の分布において（またはＲ値とＲ値／Ｂ値を軸とする平面におけるＲ値／Ｂ値の分布において）、赤色赤目画素の分布と非赤色赤目画素の分布（または金色赤目画素の分布と非金色赤目画素の分布）を分離する分離曲線を生成するようにしたので、赤目領域を適切に特定することができる。
【００８３】
２．また以上のように、左目と右目の補正処理対象領域Ｐｅ１の色についての特徴量が類似している場合、左目と右目の両方の補正処理対象領域Ｐｅ１の特徴量に基づいて共通の分離曲線を生成し、その分離曲線に基づいて、左目と右目の赤目領域を特定するようにしたので（図５のステップＳ１３）、左目と右目の両方の補正処理対象領域Ｐｅ１全体の特徴量に基づいて赤目領域を特定することができ、バランスよく左右の目の赤目領域を特定することができる。また共通の分離曲線を用いて補正強度マップＭａを生成するようにしたので、左目と右目の赤目部分を、バランスよく色補正することができる。また片目の赤目だけが修正されるようなことを防止することができる。
【００８４】
［変形例］
【００８５】
１．なお以上においては、色の特徴量を軸とする空間における補正処理対象領域Ｐｅ１の両方の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、その分離曲線に基づいて赤目領域を特定したが、分離曲線生成に先立って、補正処理対象領域Ｐｅ１に対して肌色補正を施すことにより、赤目現象が生じている画素とそれ以外の画素をより正確に分離することができる。
【００８６】
たとえば検出した顔領域から肌色の状態（たとえば、サンプリングした肌色の平均値）をトーンカーブを用いて目標とする肌色に変換する肌色補正を、補正処理対象領域Ｐｅ１を施し、その結果得られた補正処理対象領域Ｐｅ１から分離曲線を生成することができる。
【００８７】
２．また以上においては、左目と右目の補正処理対象領域Ｐｅ１の特徴量が類似していない場合、左目と右目の赤目の修正は行われないが（図５のステップＳ１４〜１８の処理がスキップされるが）、左目と右目の補正処理対象領域Ｐｅ１の特徴量が類似していない場合、それぞれの補正処理対象領域Ｐｅ１の特徴量から、それぞれの分離曲線を生成し、それぞれの分離曲線に基づいて赤目領域を特定することもできる。
【００８８】
３．また以上においては、１つの顔領域の左目と右目の補正処理対象領域Ｐｅ１から１つの分離曲線を生成し、その分離曲線を用いて、左目と右目の赤目領域をそれぞれ特定したが、２個以上の顔領域の左目と右目の補正処理対象領域Ｐｅ１から１つの分離曲線を生成し、その分離曲線を用いて、複数の顔領域の左目と右目の赤目領域をそれぞれ特定することもできる。
【００８９】
４．また以上においては、Ｒ値／Ｇ値またはＲ値／Ｂ値の分布に基づいて分離曲線を生成したが、赤目領域を構成する画素とそうでない画素を分離できる分布形態を有する特徴量であれば、他の特徴量を用いて分離曲線を生成することができる。
【００９０】
５．また以上においては、プリンター１を利用した場合を例として説明したが、コンピューター、デジタルビデオカメラ、またはデジタルスチルカメラ等の他の画像処理装置に適用することができる。すなわち画像処理装置にインストールされる赤目補正ソフトウェア等に実装することができる。この場合、補正強度マップＭａを生成する機能が画像処理装置に実装され、画像処理装置からプリンターや表示側に補正強度マップＭａが提供され、プリンターや表示側で色補正が実行されるようにすることもできる。
【００９１】
６．また上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magnet-Optical disk）などがある。
【００９２】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバコンピューターから他のコンピューターにそのプログラムを転送することもできる。
【００９３】
プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００９４】
なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００９５】
またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。
【符号の説明】
【００９６】
１ プリンター， １１ ＣＰＵ ， １２ 内部メモリー， １３ 操作部， １４ 表示部， １５ プリンターエンジン， １６ カードＩ／Ｆ， １７ カードスロット， １８ メモリーカード， ２１ 画像読取部， ２２ 部位領域取得部， ２３ 赤目領域特定情報生成部， ２４ 補正部， ３１ 特徴量抽出部， ３２ 分離曲線生成部， ３３ 補正強度マップ生成部
【特許請求の範囲】
【請求項１】
カラー画像における顔の画像を含む顔領域と、上記顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得手段と、
取得された上記２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出手段と、
抽出された上記２つの目領域の上記特徴量が類似しているか否かを判定する判定手段と、
上記判定手段により上記２つの目領域の上記特徴量が類似していると判定された場合、上記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成手段と、
上記分離曲線に基づいて、上記２個の目領域における赤目領域をそれぞれ特定する特定手段と、
上記特定手段により特定された赤目領域に対して赤目を修正する補正を行う補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記分離曲線生成手段は、前記顔領域の肌色の色度を目標値に補正する補正処理が施された前記目領域の前記特徴量について、前記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する
ことを特徴とする画像処理装置。
【請求項３】
カラー画像における顔の画像を含む顔領域と、上記顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得ステップと、
取得された上記２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出ステップと、
抽出された上記２つの目領域の上記特徴量が類似しているか否かを判定する判定ステップと、
上記判定ステップの処理で上記２つの目領域の上記特徴量が類似していると判定された場合、上記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成ステップと、
上記分離曲線に基づいて、上記２個の目領域における赤目領域をそれぞれ特定する特定ステップと、
上記特定ステップの処理で特定された赤目領域に対して赤目を修正する補正を行う補正ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
画像処理をコンピューターに実行させるプログラムであって、
カラー画像における顔の画像を含む顔領域と、上記顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得ステップと、
取得された上記２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出ステップと、
抽出された上記２つの目領域の上記特徴量が類似しているか否かを判定する判定ステップと、
上記判定ステップの処理で上記２つの目領域の上記特徴量が類似していると判定された場合、上記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成ステップと、
上記分離曲線に基づいて、上記２個の目領域における赤目領域をそれぞれ特定する特定ステップと、
上記特定ステップの処理で特定された赤目領域に対して赤目を修正する補正を行う補正ステップと
を含む画像処理をコンピューターに実行させることを特徴とするプログラム。
【請求項１】
カラー画像における顔の画像を含む顔領域と、上記顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得手段と、
取得された上記２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出手段と、
抽出された上記２つの目領域の上記特徴量が類似しているか否かを判定する判定手段と、
上記判定手段により上記２つの目領域の上記特徴量が類似していると判定された場合、上記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成手段と、
上記分離曲線に基づいて、上記２個の目領域における赤目領域をそれぞれ特定する特定手段と、
上記特定手段により特定された赤目領域に対して赤目を修正する補正を行う補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記分離曲線生成手段は、前記顔領域の肌色の色度を目標値に補正する補正処理が施された前記目領域の前記特徴量について、前記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する
ことを特徴とする画像処理装置。
【請求項３】
カラー画像における顔の画像を含む顔領域と、上記顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得ステップと、
取得された上記２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出ステップと、
抽出された上記２つの目領域の上記特徴量が類似しているか否かを判定する判定ステップと、
上記判定ステップの処理で上記２つの目領域の上記特徴量が類似していると判定された場合、上記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成ステップと、
上記分離曲線に基づいて、上記２個の目領域における赤目領域をそれぞれ特定する特定ステップと、
上記特定ステップの処理で特定された赤目領域に対して赤目を修正する補正を行う補正ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
画像処理をコンピューターに実行させるプログラムであって、
カラー画像における顔の画像を含む顔領域と、上記顔領域におけるそれぞれ１つの目の画像を含む２個の目領域を取得する取得ステップと、
取得された上記２個の目領域のそれぞれから、その領域の色についての少なくとも２つの特徴量を抽出する抽出ステップと、
抽出された上記２つの目領域の上記特徴量が類似しているか否かを判定する判定ステップと、
上記判定ステップの処理で上記２つの目領域の上記特徴量が類似していると判定された場合、上記特徴量を軸とする空間における上記２つの目領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成する分離曲線生成ステップと、
上記分離曲線に基づいて、上記２個の目領域における赤目領域をそれぞれ特定する特定ステップと、
上記特定ステップの処理で特定された赤目領域に対して赤目を修正する補正を行う補正ステップと
を含む画像処理をコンピューターに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１２０１２６（Ｐ２０１１−１２０１２６Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７７２５６（Ｐ２００９−２７７２５６）
【出願日】平成２１年１２月７日（２００９．１２．７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月７日（２００９．１２．７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]