画像処理方法、画像処理装置及び記録媒体
【課題】 人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理で精度良く抽出する。
【解決手段】 処理対象の画像から人物の顔に相当すると推定される顔候補領域を抽出し、顔候補領域を所定数のブロックに分割し（分割パターンを(A) に破線で示す) 、画像の天地方向に沿ったエッジ強度の積算値を各ブロック毎に演算する。各ブロック毎に求めた特徴量を、実際に人物の顔に相当する顔領域を前記分割パターンに従って分割し各ブロック毎にエッジ強度積算値を演算して求めたマッチング用パターン((B)参照) と照合し、顔候補領域に対し人物の顔に相当する領域（顔領域）としての確度を評価する。
【解決手段】 処理対象の画像から人物の顔に相当すると推定される顔候補領域を抽出し、顔候補領域を所定数のブロックに分割し（分割パターンを(A) に破線で示す) 、画像の天地方向に沿ったエッジ強度の積算値を各ブロック毎に演算する。各ブロック毎に求めた特徴量を、実際に人物の顔に相当する顔領域を前記分割パターンに従って分割し各ブロック毎にエッジ強度積算値を演算して求めたマッチング用パターン((B)参照) と照合し、顔候補領域に対し人物の顔に相当する領域（顔領域）としての確度を評価する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像処理方法、画像処理装置及び記録媒体に係り、特に、画像中の人物の顔に相当すると推定される領域を抽出する画像処理方法、前記画像処理方法を適用可能な画像処理装置、及び前記画像処理方法をコンピュータで実行させるためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】人物写真を観賞するときに最も注目される部位は人物の顔であり、例えば写真フィルム等に記録された原画像を印画紙等の記録材料に露光記録（面露光或いは走査露光により記録）する場合には、人物の顔の色及び濃度が適正となるように露光を制御することが望ましいが、この露光制御を実現するためには原画像中の人物の顔に相当する領域の色味や濃度を正確に検知する必要がある。また、画像を読み取ることで得られた画像データに対し、該画像データが表す画像の画質向上を目的として開発された種々の画像処理の中には、画像中の人物の顔に相当する領域又はその一部に対してのみ特定の画像処理（例えば局所的な濃度補正や赤目修正等）を施すものがあるが、この処理を行うためには画像中の人物の顔に相当する領域の位置や大きさを正確に検知する必要がある。
【０００３】このため、従来より、画像中の人物の顔等の主要部に相当すると推定される領域を抽出するための手法が種々提案されている。例えば特開平8-184925号公報には、画像データに基づいて、画像中に存在する人物の各部に特有の形状パターン（例えば頭部の輪郭、顔の輪郭、顔の内部構造、胴体の輪郭等を表す形状パターン）の何れか１つを探索し、検出した形状パターンの大きさ、向き、検出した形状パターンが表す人物の所定部分と人物の顔との位置関係に応じて、人物の顔に相当する領域としての整合性が高い領域（候補領域）を設定すると共に、検出した形状パターンと異なる他の形状パターンを探索し、先に設定した候補領域の、人物の顔としての整合性を評価し、人物の顔に相当すると推定される領域（顔領域）を抽出する顔領域の抽出方法が開示されている。
【０００４】
【発明が解決しようとする課題】上記公報に記載の技術では、二値化により処理対象の画像を白領域と黒領域とに分割しており、例えば顔の内部構造に基づく候補領域の設定では、分割によって得られた各黒領域に対し、人物の顔の眼部に相当する領域としての形状等の整合性を各々判定することで、人物の顔の眼部に相当すると推定される黒領域を抽出し、抽出した黒領域に基づいて候補領域を設定している。しかしながら、処理対象の画像の濃度範囲は一定ではなく、眼部の所謂黒目の部分の濃度も一定ではないので、眼部に相当する領域を精度良く抽出するためには、二値化に用いる閾値を変更しながら、二値化による領域分割を含む上記の処理を複数回繰り返し、各回の処理で抽出された領域を評価する必要がある。従って、処理に多大な時間がかかるという問題があった。
【０００５】また二値化では、例えば人物の顔の眼部に相当する領域と、頭髪部等の比較的高濃度部に相当する領域とが画像上で隣接している場合に、眼部に相当する黒領域が他の高濃度部に相当する黒領域と結合することがあり、この場合、眼部に相当する領域を正しく抽出することが困難になるという問題もある。この問題は、二値化に代わる方法として上記公報に記載されている、画像から抽出したエッジ（濃度又は輝度が所定値以上変化している部分）に基づいて画像を分割する場合においても、眼部に相当する領域と他の高濃度部に相当する領域との境界における濃度又は輝度の変化が小さければ同様に生じ得る。
【０００６】このように、顔の内部構造を利用した従来の処理では、抽出対象である顔内部の特定部分に相当する領域を正しく抽出できなかった場合に、人物の顔に相当する領域を精度良く抽出することができない、という問題があった。
【０００７】ところで、人物等の主要部を含むシーンを撮影した場合、画像中の主要部に相当する領域は、ストロボを発光させて撮影したときも含めて、背景に相当する領域よりも高輝度になることが多い。このため、主要部に相当する領域としても低輝度の領域は除外されて高輝度の領域が抽出されることが多いが、これに伴い、処理対象の画像が逆光の照明条件下で人物等の主要部を含むシーンを表す画像であった場合に、画像中の高輝度の背景部分を主要部に相当する領域として誤抽出することがあった。この場合、抽出した領域の色及び濃度に基づいて記録材料に画像を露光記録する際の露光量を制御したとすると、記録画像は、主要部に相当する領域が黒く潰れた不適切な画質になる。
【０００８】本発明は上記事実を考慮して成されたもので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる画像処理方法、画像処理装置及び記録媒体を得ることが第１の目的である。
【０００９】また本発明は、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制できる画像処理方法を得ることが第２の目的である。
【００１０】
【課題を解決するための手段】第１の目的を達成するために、請求項１記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求め、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する。
【００１１】請求項１記載の発明では、まず、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する。この候補領域の抽出に際しては、従来より周知の任意のアルゴリズムを適用可能である。次に、抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める。なお、濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量としては、例えば所定方向に沿って隣り合う画素間の濃度又は輝度の変化量を積算していくことを、各小領域毎に行うことで求めることができる。
【００１２】画像中の人物の顔に相当する領域内には、濃度又は輝度が複雑に変化している部分と、濃度又は輝度の変化が緩やかであったり濃度又は輝度が殆ど均一な部分と、がおおよそ一定の位置に各々存在している。例えば前記領域のうち眼部やその周辺に相当する部分領域内では、眼球、瞼、睫毛、眉毛等が近接した位置に存在しており、眼球内の瞳孔や虹彩の周辺でも濃度や輝度が複雑に変化していることから、濃度又は輝度が頻繁にかつ大きく変化している（特に、眼球、瞼、睫毛、眉毛等の配列方向、すなわち顔の上下方向については、濃度又は輝度の変化の頻度や変化の大きさが大きい）。一方、人物の顔に相当する領域のうち頬部やその周辺に相当する部分領域内では、照明条件にもよるが濃度や輝度の変化は緩やかである。従って、候補領域が人物の顔に相当する領域であれば、候補領域を所定数の小領域に分割して各小領域毎に求めた特徴量は、各小領域が人物の顔の何れの部分に対応しているかによって大幅に異なる値となる。
【００１３】請求項１の発明では、各小領域毎に求めた特徴量を、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、候補領域の人物の顔に相当する領域としての確度を評価する（例えば各小領域毎に求めた特徴量が前記パターンと合致するか、或いは一致度が高い場合に前記評価を高くする）ので、候補領域に対し、人物の顔の内部構造に基づき、人物の顔に相当する領域としての確度を精度良く評価することができる。そして、候補領域に対する評価結果に基づいて、人物の顔に相当する領域を精度良く抽出することができる。
【００１４】請求項１の発明では、顔内部の特定部分を抽出したり、二値化のように閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化されると共に、顔内部の特定部分が正しく抽出されないことで、候補領域に対する評価の精度が低下することも防止できる。従って、請求項１の発明によれば、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００１５】なお、画像データが表す画像の天地方向が不明である場合には、互いに異なる複数の方向について、候補領域の所定数の小領域への分割、各小領域毎の特徴量の演算を各々行い（但し、各方向から見たときの各小領域の配列や向きが略一致しているのであれば（各小領域の配列や向きが各方向に関して略点対称）、小領域の分割を毎回行う必要はない）、候補領域に対する人物の顔に相当する領域としての確度の評価に際しては、複数の方向のうち、各小領域毎に求めた特徴量が前記パターンと合致するか、或いは一致度が高い方向が存在していたときに、前記評価を高くするようにすればよい。
【００１６】ところで、人物の顔の眼部は顔の正面から見て略左右対称な位置に存在しており、また、例えば人物を含むシーンの撮影においても左右の眼部が各々画像中に存在するように撮影することが殆どである等のように、画像中に人物の顔に相当する領域が存在している場合、人物の顔の眼部対に対応する領域は非常に高い確率で画像中に存在している。そして、画像中の眼部やその周辺に相当する領域内では、先にも説明したように、濃度又は輝度が頻繁にかつ大きく変化するという特徴を有している。
【００１７】このため、請求項２記載の発明では、請求項１の発明において、人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように、分割対象領域を分割するようにしている。これは、小領域のサイズ（候補領域との面積比）、数（請求項１に記載の所定数）、及び候補領域内における配置の少なくとも何れかを調整することで実現することができる。
【００１８】候補領域が人物の顔に相当する領域である場合、人物の顔の眼部対に対応する小領域対は非常に高い確率で所定数の小領域の中に存在していると共に、眼部は特有の位置（顔の正面から見て略左右対称な位置）に存在しているので、眼部対に対応すると推定される小領域対を容易に判別することができる。従って、請求項２の発明によれば、眼部対に対応すると推定される小領域対についての特徴量の値から、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる。
【００１９】また、前記第１の目的を達成するために、請求項３記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する。
【００２０】請求項３記載の発明では、請求項１の発明と同様に、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出した後に、抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する。
【００２１】人物の顔には凹凸があるので、一般的な照明条件で人物の顔を照明しているシーンを表す画像において、人物の顔の凹部（例えば眼部等）に相当する部分領域では、凹部の底部付近を頂点として高濃度方向（低輝度方向）に凸の濃度分布又は輝度分布となる。なお先に説明したように、眼部やその周辺に相当する部分領域内では濃度又は輝度が頻繁にかつ大きく変化しているが、凹部に相当する部分領域全体としては上記のような濃度分布（輝度分布）となる。一方、人物の顔の凸部（例えば頬部等）に相当する部分領域では、凸部の頂点付近を頂点として低濃度方向（高輝度方向）に凸の濃度分布又は輝度分布となる。
【００２２】請求項３の発明では、例えば上記のような人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、抽出した領域の特定の部分に相当する領域としての整合性を判定し、候補領域の人物の顔に相当する領域としての確度を評価するので、候補領域に対し、人物の顔の内部構造に基づき、人物の顔に相当する領域としての確度を精度良く評価することができる。そして、候補領域に対する評価結果に基づいて、人物の顔に相当する領域を精度良く抽出することができる。
【００２３】請求項３の発明は、エッジに基づく領域分割のようにエッジが存在している位置で領域を分割するものではないので、人物の顔の特定の部分に相当する領域の外縁にエッジが存在している必要はなく、前記領域の外縁にエッジが存在していない場合であっても候補領域に対する評価の精度が低下することを防止できる。また、二値化に基づく領域分割のように、閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化される。従って、請求項３の発明によれば、請求項１の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００２４】なお、請求項３の発明において、人物の顔の特定の部分に特有の濃度又は輝度のパターンとしては、人物の顔の任意の部分における濃度又は輝度のパターンを採用することができるが、請求項４に記載したように、人物の顔の眼部に特有の高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記眼部に対応する領域としての整合性を判定するか、又は人物の顔の頬部に特有の低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記頬部に対応する領域としての整合性を判定することが好ましい。
【００２５】なお、高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域に対する眼部に相当する領域としての整合性の判定は、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つを、人物の顔における眼部の位置、人物の顔全体と眼部との面積比、人物の顔の眼部における濃度又は輝度のヒストグラムの形状の少なくとも１つと照合することで行うことができる。同様に、低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域に対する頬部に対応する領域としての整合性の判定についても、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つを、人物の顔における頬部の位置、人物の顔全体と頬部との面積比、人物の顔の頬部における濃度又は輝度のヒストグラムの形状の少なくとも１つと照合することで行うことができる。
【００２６】上述した眼部や頬部は、人物の顔の正面から見て略左右対称な位置に存在しているので、眼部に相当する濃度又は輝度のパターンが生じている領域、或いは頬部に相当する濃度又は輝度のパターンが生じている領域が略左右対称な位置に一対抽出されれば、抽出した領域対の眼部又は頬部に対応する領域としての整合性が高いと判定することができる。従って、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる。
【００２７】ところで、処理対象の画像が、逆光の照明条件下で人物等の主要部が存在しているシーンを表す画像であった場合、画像中の高輝度の背景部分が主要部に相当する領域と誤抽出されることがあるが、本願発明者は、上記のように誤抽出が生ずるケースについて更に検討を行った。その結果、例えばシーン中の空等に対応する高輝度の背景領域が画像上で単一の領域を成している（複数の領域に分割されていない）場合には誤抽出が生ずる確率が低いのに対し、例えばシーン中の背景部の手前に存在する物体によって高輝度の背景領域が画像上で複数の領域に分割されている場合に誤抽出が生ずる確率が高いことを見い出した。
【００２８】上記に基づき、前記第２の目的を達成するために、請求項５記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の主要部に相当すると推定される候補領域を抽出し、前記抽出した候補領域の明度が所定値以上の場合に、前記候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、前記候補領域外の範囲内で探索し、前記背景候補領域が抽出され、かつ抽出された背景候補領域の前記候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、前記候補領域に対する主要部に相当する領域としての確度の評価を低くする。
【００２９】請求項５記載の発明では、まず画像データに基づいて、該画像データが表す画像中の主要部に相当すると推定される候補領域を抽出する。なお主要部は、人物の顔に相当する領域であってもよいし、主要部としてのその他の物体に相当する領域であってもよい。次に、抽出した候補領域の明度が所定値以上の場合に、候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、候補領域外の範囲内で探索する。これにより、抽出した候補領域が、実際には画像中の背景部に相当する領域の一部である場合には、該候補領域外の範囲に存在する前記背景部に相当する領域の他の一部が抽出されることになる。
【００３０】そして、候補領域との明度の差が所定範囲内の画素から成る背景候補領域が抽出され、かつ抽出された背景候補領域の候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、候補領域に対する主要部に相当する領域としての確度の評価を低くする。背景候補領域の候補領域に対する面積比が所定値以上の場合（画像中に候補領域と同程度の明度の領域が広い面積で分布している場合）や、背景候補領域が画像中の周縁部に偏在している場合には、背景候補領域及び先に抽出した候補領域は背景部に相当する領域である可能性が高い。従って、上記のように候補領域に対する主要部に相当する領域としての確度の評価を低くすることにより、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制することができる。
【００３１】また、主要部がストロボ等によって照明されているシーンを表す画像等では、主要部と同等の明度の領域（背景候補領域）が画像中に存在していたとしても、該背景候補領域の面積は小さく、また画像中の周縁部に偏在している可能性は低いので、請求項５の発明によれば、上記のような画像において、主要部に相当すると推定される候補領域に対する主要部に相当する領域としての確度の評価が不当に低くなることも防止することができる。
【００３２】請求項６記載の発明に係る画像処理装置は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める演算手段と、前記演算手段によって前記各小領域毎に求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含んで構成されているので、請求項１の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００３３】請求項７記載の発明に係る画像処理装置は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２の抽出手段と、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含んで構成されているので、請求項３の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００３４】請求項８記載の発明に係る記録媒体は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める第２のステップ、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録されている。
【００３５】請求項８記載の発明に係る記録媒体には、上記の第１のステップ乃至第３のステップを含む処理、すなわち請求項１の発明に記載の画像処理方法に係る処理をコンピュータに実行させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されているプログラムを読み出して実行することにより、請求項１の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することがことができる。
【００３６】請求項９記載の発明に係る記録媒体は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２のステップ、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録されている。
【００３７】請求項９記載の発明に係る記録媒体には、上記の第１のステップ乃至第３のステップを含む処理、すなわち請求項３の発明に記載の画像処理方法に係る処理をコンピュータに実行させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されているプログラムを読み出して実行することにより、請求項３の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００３８】
【発明の実施の形態】以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００３９】〔第１実施形態〕図１には、本発明が適用された画像処理システム１０が示されている。画像処理システム１０は、スキャナ１２、画像処理装置１４及びプリンタ１６が直列に接続されて構成されている。
【００４０】スキャナ１２は、写真フィルム（例えばネガフィルムやリバーサルフィルム）等の写真感光材料（以下単に写真フィルムと称する）に記録されているフィルム画像（被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像）を読み取り、該読み取りによって得られた画像データを出力するものであり、光源２０から射出され光拡散ボックス２２によって光量むらが低減された光が、フィルムキャリア２４にセットされているネガフィルムやリバーサルフィルム等の写真フィルム２６に照射され、写真フィルム２６を透過した光がレンズ２８を介してＣＣＤセンサ３０（エリアセンサであってもラインセンサであってもよい）の受光面上に結像されるように構成されている。
【００４１】フィルムキャリア２４は、写真フィルム２６上のフィルム画像が記録されている箇所が、光源２０からの射出光の光軸上に順に位置するように写真フィルム２６を搬送する。これにより、写真フィルム２６に記録されているフィルム画像がＣＣＤセンサ３０によって順に読み取られ、ＣＣＤセンサ３０からはフィルム画像に対応する信号が出力される。ＣＣＤセンサ３０から出力された信号はＡ／Ｄ変換器３２によってデジタルの画像データに変換されて画像処理装置１４に入力される。
【００４２】画像処理装置１４のラインスキャナ補正部３６は、入力されたスキャンデータ（スキャナ１２から入力されるＲ、Ｇ、Ｂのデータ）から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム２６を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル（所謂欠陥画素）のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。ラインスキャナ補正部３６の出力端はＩ／Ｏコントローラ３８の入力端に接続されており、ラインスキャナ補正部３６で前記各処理が施されたデータはスキャンデータとしてＩ／Ｏコントローラ３８に入力される。
【００４３】Ｉ／Ｏコントローラ３８の入力端は、イメージプロセッサ４０のデータ出力端にも接続されており、イメージプロセッサ４０からは画像処理（詳細は後述）が行われた画像データが入力される。また、Ｉ／Ｏコントローラ３８の入力端はパーソナルコンピュータ４２にも接続されている。パーソナルコンピュータ４２は拡張スロット（図示省略）を備えており、この拡張スロットには、デジタルスチルカメラ等によって画像データが書き込まれたデジタルカメラカードや、図示しないＣＤ−Ｒ書込装置によって画像データが書き込まれたＣＤ−Ｒ等の情報記憶媒体に対し、データの読出し／書込みを行うドライバ（図示省略）や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データ（デジタルカメラカードやＣＤ−Ｒから読み出した画像データ、或いは他の情報処理機器から受信した画像データ）が入力された場合、入力されたファイル画像データはＩ／Ｏコントローラ３８へ入力される。
【００４４】Ｉ／Ｏコントローラ３８の出力端は、イメージプロセッサ４０のデータ入力端、オートセットアップエンジン４４、パーソナルコンピュータ４２に各々接続されており、更にＩ／Ｆ回路５４を介してプリンタ１６に接続されている。Ｉ／Ｏコントローラ３８は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【００４５】本実施形態では、写真フィルム２６に記録されている個々のフィルム画像に対し、スキャナ１２において異なる解像度で２回の読み取りを行う。１回目の比較的低解像度での読み取り（以下、プレスキャンという）では、フィルム画像の濃度が非常に低い場合（例えばネガフィルムにおける露光アンダのネガ画像）にも、ＣＣＤセンサ３０で蓄積電荷の飽和が生じないように決定した読取条件（写真フィルム２６に照射する光のＲ、Ｇ、Ｂの各波長域毎の光量、ＣＣＤセンサ３０の電荷蓄積時間）で写真フィルム２６の全面の読み取りが行われる。このプレスキャンによって得られたデータ（プレスキャンデータ）は、Ｉ／Ｏコントローラ３８からオートセットアップエンジン４４へ入力される。
【００４６】オートセットアップエンジン４４は、ＣＰＵ４６、ＲＡＭ４８（例えばＤＲＡＭ）、ＲＯＭ５０（例えば記憶内容を書換え可能なＲＯＭ）、入出力ポート５２を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン４４は、Ｉ／Ｏコントローラ３８から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム２６上のフィルム画像記録領域に対応するデータ（プレスキャン画像データ）を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム２６に対し、スキャナ１２が比較的高解像度での再度の読み取り（以下、ファインスキャンという）を行う際の読取条件を決定する。そしてコマ位置及び読取条件をスキャナ１２に出力する。
【００４７】また、オートセットアップエンジン４４は、プレスキャン画像データ（又は低解像度化したファイル画像データ）に基づいて、画像中の主要部（例えば人物の顔に相当する領域（顔領域))の抽出を含む画像特徴量の演算を行い、スキャナ１２がファインスキャンを行うことによって得られるファインスキャン画像データ（又はファイル画像データ）に対する各種の画像処理の処理条件を演算により自動的に決定し（セットアップ演算）、決定した処理条件をイメージプロセッサ４０へ出力する。
【００４８】パーソナルコンピュータ４２には、ディスプレイ、キーボード、及びマウスが接続されている（何れも図示省略）。パーソナルコンピュータ４２は、オートセットアップエンジン４４から低解像度の画像データを取込むと共に、オートセットアップエンジン４４によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、高解像度画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理を低解像度画像データに対して行ってシミュレーション画像データを生成する。
【００４９】そして、生成したシミュレーション画像データを、ディスプレイに画像を表示するための信号に変換し、該信号に基づいてディスプレイにシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン４４へ出力する。これにより、オートセットアップエンジン４４では画像処理の処理条件の再演算等の処理が行われる。
【００５０】一方、スキャナ１２でフィルム画像に対してファインスキャンが行われることによってＩ／Ｏコントローラ３８に入力されたファインスキャン画像データ（又は高解像度のファイル画像データ）は、Ｉ／Ｏコントローラ３８からイメージプロセッサ４０へ入力される。イメージプロセッサ４０は、階調変換や色変換を含む色・濃度補正処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン４４によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【００５１】イメージプロセッサ４０で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分（例えば人物の顔に相当する領域）に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理（出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等）や、画像を加工する画像処理（例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理、赤目を修正する画像処理等）や、ＬＦ（レンズ付きフィルム）によって撮影された画像に対し、ＬＦのレンズの歪曲収差、倍率色収差に起因する画像の幾何学的歪み、色ずれを補正するＬＦ収差補正処理や、ＬＦのレンズの周辺減光に起因する画像の周縁部の明度低下を補正する周辺減光補正処理や、ＬＦのレンズの特性に起因する画像の鮮鋭度の低下を補正するピントボケ補正処理等のように、ＬＦのレンズの特性に起因する出力画像の画質の低下を補正する各種のＬＦ収差補正処理等が挙げられる。
【００５２】イメージプロセッサ４０で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ４０で画像処理が行われた画像データは、Ｉ／Ｏコントローラ３８からＩ／Ｆ回路５４を介し記録用画像データとしてプリンタ１６へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、Ｉ／Ｏコントローラ３８からパーソナルコンピュータ４２に画像データが出力される。これにより、パーソナルコンピュータ４２では、外部への出力用としてＩ／Ｏコントローラ３８から入力された画像データを、拡張スロットを介して画像ファイルとして外部（前記ドライバや通信制御装置等）に出力する。
【００５３】プリンタ１６は、画像メモリ５８、Ｒ，Ｇ，Ｂのレーザ光源６０、該レーザ光源６０の作動を制御するレーザドライバ６２を備えている。画像処理装置１４から入力された記録用画像データは画像メモリ５８に一旦記憶された後に読み出され、レーザ光源６０から射出されるＲ，Ｇ，Ｂのレーザ光の変調に用いられる。レーザ光源６０から射出されたレーザ光は、ポリゴンミラー６４、ｆθレンズ６６を介して印画紙６８上を走査され、印画紙６８に画像が露光記録される。画像が露光記録された印画紙６８は、プロセッサ部１８へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙６８に露光記録された画像が可視化される。
【００５４】次に本実施形態の作用として、スキャナ１２から画像処理装置１４にプレスキャンデータが入力され、オートセットアップエンジン４４において、プレスキャンデータからの画像データの切り出し等の処理を行った後で行われる顔領域抽出・濃度演算処理について説明する。
【００５５】本第１実施形態に係る顔領域抽出・濃度演算処理は、請求項１の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン４４のＣＰＵ４６により、顔領域抽出・濃度補正プログラムが実行されることにより実現される。顔領域抽出・濃度補正プログラムは、その他の処理をＣＰＵ４６で実行させるためのプログラムと共に、当初は、情報記憶媒体７２（図１参照）に記憶されている。なお、図１では情報記憶媒体７２をフロッピーディスクとして示しているが、ＣＤ−ＲＯＭやメモリカード等の他の情報記憶媒体で構成してもよい。パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入（インストール）が指示されると、情報読出装置によって情報記憶媒体７２から顔領域抽出・濃度補正プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。
【００５６】そして、顔領域抽出・濃度補正処理を実行すべきタイミングが到来すると、ＲＯＭ５０から顔領域抽出・濃度補正プログラムが読み出され、顔領域抽出・濃度補正プログラムがＣＰＵ４６によって実行される。これにより、オートセットアップエンジン４４は請求項６の発明に係る画像処理装置として機能する。このように、顔領域抽出・濃度補正プログラム等を記憶している情報記憶媒体７２は請求項８に記載の記録媒体に対応している。
【００５７】以下、顔領域抽出・濃度補正処理について、図２のフローチャートを参照して説明する。ステップ１００では、処理対象の画像データに基づき、画像データが表す画像中の主要部として、画像中の人物の顔に相当すると推定される領域（顔候補領域を抽出する顔候補領域抽出処理を行う。この顔候補領域抽出処理を行うための抽出方式としては、画像中の人物の顔に相当すると推定される領域を判断し、該領域を顔候補領域として抽出する顔候補領域抽出方式や、画像中の背景に相当すると推定される領域（背景領域）を判断し、背景領域以外の領域を顔候補領域として抽出する背景部除去方式等があり、具体的には、従来より公知の、下記のような顔候補抽出方式、背景除去方式のうちの少なくとも何れかを採用して顔候補領域抽出処理を行うことができる。
【００５８】〔顔候補領域抽出方式の例１〕画像を多数の測定点に分割すると共に各測定点をＲ、Ｇ、Ｂの３色に分解することにより得られたデータ（画像データ）に基づいて、各測定点が色座標上で肌色の範囲内に含まれているか否か判定し、肌色の範囲内と判断した測定点のクラスタ（群）が存在している領域を顔候補領域として抽出する（特開昭 52-156624号公報、特開昭 52-156625号公報、特開昭53-12330号公報、特開昭 53-145620号公報、特開昭 53-145621号公報、特開昭 53-145622号公報等参照）。
【００５９】〔顔候補領域抽出方式の例２〕前記画像データに基づいて、色相値（及び彩度値）についてのヒストグラムを求め、求めたヒストグラムを山毎に分割し、各測定点が分割した山の何れに属するかを判断して各測定点を分割した山に対応する群に分け、各群毎に画像を複数の領域に分割し、該複数の領域のうち人物の顔に相当する領域を推定し、推定した領域を顔候補領域として抽出する（特開平4-346333号公報参照）。
【００６０】〔顔候補領域抽出方式の例３〕前記画像データに基づいて、画像中に存在する人物の各部に特有の形状パターン（例えば頭部の輪郭や顔の輪郭等を表す形状パターン：顔の内部構造に関しては後述する処理で利用するのでここでは不要）の何れか１つを探索し、検出した形状パターンの大きさ、向き、検出した形状パターンが表す人物の所定部分と人物の顔との位置関係に応じて、人物の顔に相当すると推定される領域を設定する。また、検出した形状パターンと異なる他の形状パターンを探索し、先に設定した領域の、人物の顔としての整合性を求め、顔候補領域を抽出する（特開平8-122944号公報、特開平8-183925号公報、特開平9-138471号公報等参照）。
【００６１】〔顔候補領域抽出方式の例４〕前記画像データに基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に求め、基準点を設定すると共に、該基準点に対し、探索範囲及び該探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを顔領域の輪郭形状に応じて設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合に該箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、顔領域の輪郭を表す輪郭線として抽出することにより、顔候補領域を抽出する（特開平9-138471号公報等参照）。
【００６２】〔背景部除去方式の例１〕前記画像データに基づいて、各測定点が、色座標上で明らかに背景に属する特定の色（例えば空や海の青、芝生や木の緑等）の範囲内に含まれているか否か判定し、前記特定の色範囲内と判断した測定点のクラスタ（群）が存在している領域を背景領域と判断して除去し、残った領域を非背景領域（人物の顔に相当する領域が含まれている可能性の高い領域：これも本発明の顔候補領域）として抽出する。
【００６３】〔背景部除去方式の例２〕前記画像データに基づき、先の主要部抽出方式の例２と同様にして画像を複数の領域に分割した後に、各領域毎に背景に相当する領域としての特徴量（輪郭に含まれる直線部分の比率、線対称度、凹凸数、画像外縁との接触率、領域内の濃度コントラスト、領域内の濃度の変化パターンの有無等）を求め、求めた特徴量に基づいて各領域が背景領域か否か判定し背景部と判断した領域を除去し、残った領域を非背景領域（顔候補領域）として抽出する（特開平8-122944号公報、特開平8-183925号公報等参照）。
【００６４】なお上記の抽出方式は単なる一例であり、画像から人物の顔に相当すると推定される領域を抽出する抽出方式であれば、どのような方式であっても適用可能であることは言うまでもない。またステップ１００では、複数種の抽出方式を各々適用して顔候補領域抽出処理を複数回行ってもよいし、単一種の抽出方式で処理条件を各々変えて顔候補領域抽出処理を複数回行ってもよい。なお、ステップ１００は請求項６（及び請求項７）に記載の第１の抽出手段に対応している。
【００６５】次のステップ１０２では、処理対象の画像データが表す画像の天地方向を表す天地情報が有るか否か判定する。例えば処理対象の画像データが、磁気層が形成された写真フィルムに記録されている画像を読み取ることによって得られた画像データである場合、磁気層に磁気記録されている種々の情報の中に、画像の撮影記録時に磁気記録された天地情報が含まれていることが多い。このような場合には、磁気層に磁気記録されている情報を磁気的に読み取ることによって天地情報が取得され、ステップ１０２の判定が肯定されてステップ１０４へ移行する。
【００６６】ステップ１０４では、ステップ１００の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込み、次のステップ１０６では、データを取り込んだ処理対象の顔候補領域を、例として図４（Ａ）に示すように所定数のブロックに分割する。例として図４（Ａ）では、一辺の長さが顔候補領域の長手方向（通常は画像の天地方向）長さに一致するように正規化した正方形領域（図４（Ａ）の最外縁の破線に相当する領域）を用い、該正方形領域を５×５個の正方形のブロック（請求項１等に記載の小領域）に分割したときの分割線（破線で示す線）に沿って顔候補領域を分割している。
【００６７】なお、図４（Ａ）に示す顔候補領域の分割パターン（ブロックへの分割数やブロックの形状・配置）は、図からも明らかなように人物の顔の眼部対を構成する個々の眼部に相当する領域が互いに異なるブロック内に位置するように定められている。従って、図４（Ａ）に示す分割パターンに従って顔候補領域を分割することは、請求項２に記載の分割に対応している。また、分割パターンは上記に限定されるものではなく、ブロックの数、個々のブロックの形状・配置は、本発明を逸脱しない範囲内で適宜変更可能である。
【００６８】ステップ１０８では、顔候補領域の各ブロック毎に、天地情報が表す天地方向に応じた所定方向についてのエッジ強度（濃度変化量）を演算し積算することでエッジ強度積算値を求める。なお、エッジ強度積算値は本発明に係る「小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量」に対応しており、ステップ１０８は請求項６に記載の演算手段に対応している。本第１実施形態では、人物の顔の眼部に相当する領域における濃度が頻繁にかつ大きく変化することを利用して顔領域の抽出を行うため、眼部に相当する領域における濃度の変化の頻度及び変化の大きさが顕著に大きくなる方向、すなわち天地方向に一致する方向を、天地方向に応じた所定方向としている。
【００６９】図５には特定の画素から該特定の画素の近傍に存在する８個の画素へ各々向かう方向（合計８方向：図５では方向の異なる８本の矢印として示している）に沿った濃度変化値を演算するための微分フィルタが示されている。ブロック毎のエッジ強度積算値の演算は、例えば上記の８個の微分フィルタのうち天地方向に応じた所定方向に対応する微分フィルタを選択し、選択した微分フィルタを用いて顔候補領域内の全画素について前記所定方向に沿った濃度変化量（エッジ強度）を各々演算し、演算結果を各ブロック毎に積算することによって得ることができる。
【００７０】次のステップ１１０では、ステップ１０８で演算した各ブロック毎のエッジ強度積算値を、顔候補領域に対し人物の顔に相当する領域としての確度を評価するために予め設定されたマッチング用パターンにおける各ブロック毎のエッジ強度積算値（の標準値）と照合し、マッチング用パターンとの一致度を求める。マッチング用パターンは、画像中の人物の顔に相当する領域（顔領域）を顔候補領域に対する分割パターンと同様に分割し（図４（Ｂ）参照）、各ブロック毎にエッジ強度積算値を求めることを多数の画像の多数の顔領域について行い、各ブロックに対し、多数の画像の多数の顔領域について各々求めた各ブロック毎のエッジ強度積算値の平均値を標準値として設定することによって定められている。
【００７１】上記により、マッチング用パターンにおける各ブロック毎のエッジ強度積算値の標準値は、人物の顔の一対の眼部に相当する一対のブロック（図４（Ａ）も参照）については、図４（Ｂ）に記したように非常に高い値になると共に、人物の顔のうち一対の頬部及び眉間に相当するブロック（図４（Ａ）も参照）については図４（Ｂ）に記したように低い値になり、人物の顔の各部における濃度（又は輝度）の変化の頻度及び変化の大きさを反映した値となる。
【００７２】本第１実施形態では、５×５個のブロックのうち、人物の顔のうちの一対の眼部、一対の頬部及び眉間に相当する５個のブロック（図４（Ｂ）に実線で囲んで示すブロック）について、エッジ強度積算値の演算値とマッチング用パターンで設定されているエッジ強度積算値の標準値とを比較することにより照合を行う。そして、前記５個のブロックについてのエッジ強度積算値の標準値に対する演算値の差異に応じて値が変化する物理量（例えば個々のブロックのエッジ強度積算値の標準値の偏差を基準としたときの、個々のブロックのエッジ強度積算値の演算値の偏差の比率等）を一致度として演算・設定する。なお、全てのブロックのエッジ強度積算値を比較・照合して一致度を設定するようにしてもよい。
【００７３】ステップ１１２では、ステップ１００で抽出した全ての顔候補領域に対してステップ１０４〜１１０の処理を行ったか否か判定する。判定が否定された場合にはステップ１０４に戻り、前記判定が肯定される迄ステップ１０４〜１１２を繰り返す。これにより、全ての顔候補領域に対してマッチング用パターンとの一致度が各々演算・設定されることになる。そして、ステップ１１２の判定が肯定されるとステップ１４２へ移行する。
【００７４】一方、天地情報が無い場合には、ステップ１０２の判定が否定されてステップ１２０へ移行し、ステップ１００の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込んだ後に、次のステップ１２２において、データを取り込んだ顔候補領域を、先のステップ１０６と同様に所定数のブロックに分割する。このステップ１２２も請求項２に記載の分割に対応している。ステップ１２４では、処理対象の画像の天地方向が不明であるので、処理対象の画像の外縁を成す４本の辺に平行な所定の４方向（以下、便宜的に第１方向〜第４方向と称する）について、エッジ強度（濃度変化量）を演算し積算することで、第１〜第４方向についてのエッジ強度積算値を各々求める。このステップ１２４も請求項６に記載の演算手段に対応している。
【００７５】ステップ１２６では変数ｎに１を代入し、次のステップ１２８では、第ｎ方向（この場合は第１方向）についての各ブロック毎のエッジ強度積算値を、第ｎ方向を天地方向と仮定してマッチング用パターンと照合し、先のステップ１１０と同様にして一致度を演算する。ステップ１３０では変数ｎの値が４になったか否か判定し、判定が否定された場合にはステップ１３２で変数ｎの値を１だけインクリメントしてステップ１２８へ戻る。これにより、ステップ１２８では、第１〜第４方向を各々天地方向と仮定してマッチング用パターンとの一致度が各々演算されることになる。
【００７６】なお、一致度を演算する方向は第１〜第４の４方向に限定されるものではなく、例えば図５に８本の矢印で示す８方向について一致度を演算するようにしてもよい（後述する第２実施形態についても同様）。
【００７７】各方向について一致度が各々演算されると、ステップ１３０の判定が肯定されてステップ１３４へ移行し、第１〜第４方向のうち一致度が最大となった方向を記憶する。次のステップ１３６では、全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ１２０に戻り、ステップ１２０〜１３６を繰り返す。これにより、全ての顔候補領域に対し、第１〜第４方向についてマッチング用パターンとの一致度が各々演算・設定される。
【００７８】ステップ１３６の判定が肯定されるとステップ１３８へ移行し、先のステップ１３４で各顔候補領域について各々記憶した一致度が最大の方向に基づいて、画像の天地方向を判定する。この判定は、一致度最大の方向が一致している顔候補領域の数を各方向毎に演算し、顔候補領域の数が最多の方向を天地方向と判定するようにしてもよい。また、特定の顔候補領域の第１〜第４方向についての一致度に基づき、一致度の値が高くなるに従って重み点数が高くなるように各方向に重み点数を付加することを全ての顔候補領域に対して行い、各方向に対して付加した重み点数の積算値が最大の方向を天地方向と判定するようにしてもよい。
【００７９】上記のようにして天地方向を判定すると、次のステップ１４０では、判定した天地方向に対応する所定方向についての各顔候補領域毎の一致度を各顔候補領域に設定し、ステップ１４２へ移行する。
【００８０】ステップ１４２では各顔候補領域に対して設定した一致度に応じて、各顔候補領域に対して重み点数を設定する。なお、この重み点数は顔候補領域の人物の顔に相当する領域としての確度を評価する評価値に対応しており、ステップ１４２はステップ１１０、１２８、１４０と共に請求項６に記載の評価手段に対応している。
【００８１】重み点数は、例として図６（Ａ）に示すように、一致度が増加するに伴って重み点数Ｐが高くなるように変換特性が定められたマップを用い、該マップを用いて一致度を重み点数Ｐに変換することで設定することができる。なお、図６（Ａ）に示す変換特性は単なる一例であり、例えば図６（Ａ）に示す変換特性では一致度の変化に対して重み点数Ｐが変化しない不感領域が存在するが、このような不感領域のない変換特性（例として図６（Ｂ）参照）であってもよい。また、一致度の変化に対して重み点数Ｐが非線形に変化する変換特性を用いてもよく、一致度が大きくなるに伴って重み点数Ｐが増加する変換特性であればよい。
【００８２】上記では、各ブロック毎に求めたエッジ強度積算値を、実際の顔領域における各ブロック毎のエッジ強度積算値を表すマッチング用パターンと照合して一致度を求め、顔候補領域に対する顔領域としての確度の評価結果に相当する重み点数を、前記一致度に基づいて設定しているので、各顔候補領域に対し、人物の顔の内部構造に基づき、顔領域としての確度を精度良く評価することができる。また、顔内部の特定部分を抽出したり、二値化のように閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化されると共に、顔内部の特定部分が正しく抽出されないことで、顔候補領域に対する評価の精度が低下することも防止できる。
【００８３】次のステップ１４４では背景領域判定処理を行う。この背景領域判定処理について、図３のフローチャートを参照して説明する。ステップ１６０では顔候補領域抽出処理（ステップ１００）によって抽出された顔候補領域の中から判定対象の単一の顔候補領域のデータを取り込み、次のステップ１６２では判定対象の顔候補領域の明度Ｍを演算する。なお、明度Ｍは判定対象の顔候補領域内の明度の平均値（絶対値）であってもよいし、処理対象画像の明度の全画面平均値に対する判定対象の顔候補領域内の平均明度の比（相対値）であってもよい。
【００８４】ステップ１６４では、ステップ１６２で求めた明度が所定値以上か否か判定する。前記判定が否定された場合には何ら処理を行うことなくステップ１７６へ移行するが、前記判定が肯定された場合にはステップ１６６へ移行し、処理対象画像のうち判定対象の顔候補領域外に相当する範囲から、顔候補領域との明度の差が所定範囲内の画素のみから成る領域（背景候補領域）を抽出する。なお、ステップ１６６は請求項５に記載の「候補領域との明度の差が所定範囲内の画素から成る背景候補領域を探索」することに対応している。
【００８５】そして、次のステップ１６８では、抽出した背景候補領域の総面積を演算し、判定対象の顔候補領域の面積に対する背景候補領域の総面積の比率（面積比）を演算する。また、次のステップ１７０では抽出した背景候補領域の画像周縁部への偏在度合いを演算する。この偏在度合いとしては、例えば処理対象画像の画面中心と、背景候補領域を構成する各画素と、の距離を積算した値を用いることができる。
【００８６】ステップ１７２では、背景候補領域の面積比が第１の所定値以上か否か、及び背景候補領域の偏在度合いが第２の所定値以上か否か、の少なくとも一方を満足するか否か判定する。例えば処理対象の画像が、図７に示すように高明度で面積の広い背景領域（図７では空に相当する領域）が、手前に存在する物体（図７では木）に相当する領域によって複数の領域に分割されて画像である場合、図７にハッチングで示すように背景領域の一部が顔候補領域として誤抽出される可能性がある。
【００８７】しかし、このような画像では、誤抽出された顔候補領域の周囲に、該顔候補領域と同様の明度の領域が存在しており、多くの場合、この領域は広面積であると共に画像周縁部に偏在している。従って、ステップ１７２の判定が肯定された場合には、判定対象の顔候補領域は背景領域の一部である可能性が高いと推定される。このため、ステップ１７２の判定が否定された場合には何ら処理を行うことなくステップ１７６へ移行するが、判定が肯定された場合にはステップ１７４へ移行し、背景候補領域の面積比及び偏在度合いに応じて、判定対象の顔候補領域に対する重み点数が低下するように重み点数を修正する。
【００８８】この重み点数Ｐの修正は、例えば図８（Ａ）に示すマップを用いて行うことができる。このマップは、初期（当初の）重み点数を横軸に、修正後の重み点数を縦軸にとった座標上で、原点を通りかつ傾きが１よりも小さい直線によって表される変換特性を有している。上記のようなマップを用いて重み点数Ｐを変換（下方修正）することにより、実際には顔領域ではない可能性が高い判定対象の顔候補領域が後処理に及ぼす悪影響の程度を小さくすることができる。なお、ステップ１７４における重み点数の修正は、請求項５に記載の「候補領域に対する主要部に相当する領域としての確度の評価を低くする」ことに対応している。
【００８９】次のステップ１７６では全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ１６０に戻り、全ての顔候補領域に対してステップ１６０〜１７６を繰り返す。ステップ１７６の判定が肯定されると背景領域判定処理を終了し、図２のフローチャートのステップ１４６へ移行する。なお、上述した処理を経て各顔候補領域に対して最終的に設定される重み点数Ｐは、各顔候補領域に対する人物の顔に相当する領域としての確度の最終評価を表す評価値に対応している。
【００９０】ステップ１４６では、各顔候補領域の重み点数Ｐを顔領域判定用の閾値ＴＨFと各々比較し、重み点数Ｐが閾値ＴＨF 以上の顔候補領域を顔領域として抽出（選択）する。なお、マッチング用パターンとの一致度が高く、背景候補領域の経面積比・偏在度合いが低い顔候補領域については、最終的な重み点数Ｐが高くなるので、顔領域である確度が高い顔候補領域が顔領域として抽出されることになる。
【００９１】また次のステップ１４８では、次の（１）式又は（２）式に従って処理対象の画像の顔領域濃度Ｍfaceを演算し、顔領域抽出・濃度演算処理を終了する。
【００９２】
【数１】
但し、ｉは各顔候補領域を識別するための符号、Ｎは顔候補領域の総数、Ｍi は顔候補領域ｉの濃度、Ｐi は顔候補領域ｉの重み点数、Ｓi は顔候補領域ｉの面積である。
【００９３】（１）式及び（２）式より明らかなように、顔領域濃度Ｍfaceは各顔候補領域の濃度Ｍの加重平均値であり、（１）式では各顔候補領域の重み点数Ｐに基づいて各顔候補領域を重み付けしており、（２）式では重み点数Ｐ及び面積Ｓに基づいて各顔候補領域を重み付けしている。
【００９４】上記の顔領域抽出・濃度演算処理を行うと、オートセットアップエンジン４４は、更に、イメージプロセッサ４０で実行される各種の画像処理の処理条件を演算するが、顔領域抽出・濃度演算処理の処理結果は一部の画像処理の処理条件の演算に利用される。例えば先のステップ１４６で抽出された顔領域は、イメージプロセッサ４０で実行される顔領域又はその一部のみを対象とした画像処理（例えば顔領域に対するシャープネス補正や赤目補正等）の演算に利用され、前記画像処理が顔領域のみを対象として行われるように処理条件が設定される。また、先のステップ１４８で演算された顔領域濃度Ｍfaceは、例えばイメージプロセッサ４０で実行される画像全体を対象とした画像処理（例えば色・濃度補正等）に利用され、例えば顔領域濃度Ｍfaceが所定濃度になるように濃度補正条件等の処理条件が演算される。
【００９５】先にも説明したように、顔領域の抽出及び顔領域濃度Ｍfaceはマッチング用パターンとの一致度に基づいて設定した重み点数を用いて行っているので、顔候補領域抽出処理によって抽出された顔候補領域の中に、実際には顔領域でない顔候補領域が誤抽出により混在していたとしても、実際には顔領域でない顔候補領域が顔領域として抽出される確率が大幅に低減されると共に、実際には顔領域でない顔候補領域の濃度によって顔領域濃度が大幅に変化することも防止することができる。従って、顔領域の抽出結果又は顔領域濃度Ｍfaceを利用して処理条件が演算される各画像処理に対しても適正な処理条件が得られ、ファインスキャン画像データを対象としてイメージプロセッサ４０で実行される各画像処理についても適正な処理結果が得られる。
【００９６】〔第２実施形態〕次に本発明の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態に係る顔領域抽出・濃度演算処理について、図９のフローチャートを参照し、第１実施形態と異なる部分についてのみ説明する。
【００９７】なお、本第２実施形態に係る顔領域抽出・濃度演算処理は、請求項３の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン４４のＣＰＵ４６により、顔領域抽出・濃度補正プログラムが実行されることにより実現される。顔領域抽出・濃度補正プログラムは、当初は、情報記憶媒体７２（図１参照）に記憶されており、パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入が指示されると、情報読出装置によって情報記憶媒体７２から顔領域抽出・濃度補正プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。そして顔領域抽出・濃度補正処理を実行すべきタイミングが到来すると、ＲＯＭ５０から顔領域抽出・濃度補正プログラムが読み出され、顔領域抽出・濃度補正プログラムがＣＰＵ４６によって実行される。これにより、オートセットアップエンジン４４は請求項７の発明に係る画像処理装置として機能する。このように、本第２実施形態に係る情報記憶媒体７２は請求項９に記載の記録媒体に対応している。
【００９８】本第２実施形態に係る顔領域抽出・濃度演算処理では、顔候補領域抽出処理を行い（ステップ１００）、天地情報の有無を判定し（ステップ１０２）、天地情報が有る場合にはステップ２００へ移行し、顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込む。ステップ２０２では、ステップ２００でデータを取り込んだ顔候補領域に対し、高濃度方向に凸の濃度パターンの領域及び低濃度方向（高輝度方向）に凸の濃度パターンの領域が存在しているか否かを探索する。なお、ステップ２０２は請求項７に記載の第２の抽出手段に対応している。
【００９９】人物の顔に相当する顔領域のうち濃度が所定値以上の領域（高濃度領域）は、例として図１０（Ａ）に示すように、眼部及びその周囲に相当する領域（眼部領域）に存在しており、眼部領域内における濃度変化は、図１０（Ｂ）に示すように急峻な傾きで高濃度方向に凸の変化パターンとなっている。なお、眼部領域には眼球、瞼、睫毛、眉毛等が近接した位置に存在していることから、眼部領域における実際の濃度変化はより複雑であるが、人物の顔のうち眼部及びその周辺は窪んでいるので、眼部領域内のおおよその濃度変化は、図１０（Ａ）に示すような変化パターンを示す。
【０１００】また、人物の顔に相当する顔領域のうち輝度が所定値以上の領域（高輝度領域）は、例として図１１（Ａ）に示すように、頬部に相当する領域（頬部領域）や鼻に相当する領域、額に相当する領域に存在しており、例えば頬部領域内における輝度変化は、図１１（Ｂ）に示すように緩やかな傾きで高輝度方向に凸の変化パターンとなっている。従って、処理対象の顔候補領域が人物の顔に相当する顔領域である場合には、ステップ２０２の処理により、高濃度方向に凸の濃度パターンの領域として眼部領域が抽出され、低濃度方向に凸の濃度パターンの領域として頬部領域が抽出されることになる。
【０１０１】次のステップ２０４では、ステップ２０２の探索により濃度パターンが発見されたか否か判定する。判定が否定された場合には、処理対象の顔候補領域は顔領域でない可能性が非常に高いので、ステップ２０６で顔領域としての整合度に０を代入してステップ２１０へ移行する。一方、ステップ２０４の判定が肯定された場合にはステップ２０８へ移行し、天地情報が表す天地方向を基準として、ステップ２０２で発見・抽出した濃度パターン領域の顔領域内における位置及び面積（濃度パターン領域についての濃度ヒストグラムの形状や、濃度パターン領域内の濃度の変化の仕方（例えば濃度変化の傾きや濃度パターンにおける山の高さとすそ野の広さとの比等）も含めてもよい）に基づいて、抽出した全ての濃度パターン領域について眼部及び頬部に相当する領域としての整合度を判定する。
【０１０２】すなわち、処理対象の顔候補領域が顔領域である場合、眼部領域に相当する高濃度方向に凸の濃度パターン領域が例えば図４（Ｂ）にハッチングで示すブロック対内に各々存在しており、前記濃度パターン領域と処理対象の顔候補領域との面積比も、眼部領域としての面積比に相当する所定の数値範囲内である可能性が高い。従って、高濃度方向に凸の濃度パターン領域の眼部に相当する領域としての整合度は、例えば天地情報が表す天地方向を基準にして眼部領域が存在しているべき範囲（図４（Ｂ）にハッチングで示すブロック対）を設定し、設定した範囲と前記濃度パターン領域の位置との一致度を求めると共に、前記濃度パターン領域と処理対象の顔候補領域との面積比を、眼部領域としての面積比に相当する所定の数値範囲と比較して一致度を求め、双方の一致度に基づき２次元のマップ等を用いて判定することができる。
【０１０３】また、処理対象の顔候補領域が顔領域である場合、頬部領域に相当する低濃度方向（高輝度方向）に凸の濃度パターン領域が、例えば図４（Ｂ）にハッチングで示すブロックの下方に隣接するブロック対内に各々存在しており、前記濃度パターン領域と処理対象の顔候補領域との面積比も、頬部領域としての面積比に相当する所定の数値範囲内である可能性が高い。従って、低濃度方向に凸の濃度パターン領域の頬部に相当する領域としての整合度についても、例えば天地情報が表す天地方向を基準にして頬部領域が存在しているべき範囲（図４（Ｂ）にハッチングで示すブロックの下方に隣接するブロック対）を設定し、設定した範囲と前記濃度パターン領域の位置との一致度を求めると共に、前記濃度パターン領域と処理対象の顔候補領域との面積比を、頬部領域としての面積比に相当する所定の数値範囲と比較して一致度を求め、双方の一致度に基づき２次元のマップ等を用いて判定することができる。
【０１０４】そしてステップ２０９では、抽出した各濃度パターン領域に対して判定した整合度に基づいて、処理対象の顔候補領域に対して顔領域としての整合度を演算・設定し、ステップ２１０へ移行する。なお、顔領域の整合度としては、例えば各濃度パターン領域毎の整合度の総合計等を用いることができる。
【０１０５】なお、上記では抽出した濃度パターン領域に対して眼部又は頬部に相当する領域としての整合度を判定しているが、特に低濃度方向に凸の濃度パターン領域に対しては、鼻や額に相当する領域としての整合度も併せて判定するようにしてもよい。但し、眼部及び頬部が顔領域の略左右対称な位置に一対存在しているのに対し、鼻や額は顔領域の左右方向に沿った略中央に１個のみ存在しているので、特定の濃度パターン領域について鼻や額に相当する領域としての整合度が高くなったとしても、該濃度パターン領域が実際には鼻や額に相当する領域ではなく、偶然に整合度が高くなる場合もあり、眼部や頬部と比較して整合度判定の信頼性は若干低い。このため、顔候補領域に対する顔領域としての整合度の設定にあたっては、鼻や額に相当する領域としての整合度は、低い重みで顔領域としての整合度に反映されるように設定することが望ましい。
【０１０６】次のステップ２１０では全ての顔候補領域について処理（整合度の判定）を行ったか否か判定する。判定が否定された場合にはステップ２００に戻り、各顔候補領域に対してステップ２００〜２０８の処理・判定を各々行う。これにより、各顔候補領域に対して顔領域としての整合度が各々判定・設定されることになる。ステップ２１０の判定が肯定されるとステップ２４４へ移行する。
【０１０７】一方、ステップ１０２の判定が否定された場合（天地情報が無かった場合）にはステップ２２０へ移行し、ステップ１００の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込んだ後に、次のステップ２２２において、先のステップ２０２と同様に、高濃度方向に凸の濃度パターンの領域及び低濃度方向（高輝度方向）に凸の濃度パターンの領域が存在しているか否かを探索する。このステップ２２２も請求項７に記載の第２の抽出手段に対応している。
【０１０８】ステップ２２４では、ステップ２２２の探索により濃度パターンが発見されたか否か判定する。判定が否定された場合には、処理対象の顔候補領域は顔領域でない可能性が非常に高いので、ステップ２２６で顔領域としての整合度に０を代入してステップ２３８へ移行する。
【０１０９】一方、ステップ２２４の判定が肯定された場合にはステップ２２８へ移行して変数ｎに１を代入し、次のステップ２３０では、第ｎ方向（この場合は第１方向）を基準（天地方向）として、ステップ２２２で発見・抽出した濃度パターン領域の顔領域内における位置及び面積に基づいて、抽出した全ての濃度パターン領域について、眼部に相当する領域としての整合度及び頬部に相当する領域としての整合度を判定する。そして次のステップ２３１では、抽出した各濃度パターン領域に対して判定した整合度に基づいて、先のステップ２０９と同様にして処理対象の顔候補領域に対して顔領域としての整合度を演算・設定する。
【０１１０】ステップ２３２では変数ｎの値が４になったか否か判定し、判定が否定された場合にはステップ２３４で変数ｎの値を１だけインクリメントしてステップ２３０へ戻る。これにより、ステップ２３０、２３１では、第１〜第４方向を各々天地方向と仮定して、処理対象の顔候補領域に対し、顔領域としての整合度が各々判定されることになる。
【０１１１】各方向について整合度が各々判定されると、ステップ２３２の判定が肯定されてステップ２３６へ移行し、第１〜第４方向のうち整合度が最大となった方向を記憶する。次のステップ２３８では、全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ２２０に戻り、ステップ２２０〜２３８を繰り返す。これにより、全ての顔候補領域に対し、第１〜第４方向について顔領域としての整合度が各々判定される。
【０１１２】ステップ２３８の判定が肯定されるとステップ２４０へ移行し、先のステップ２３６で各顔候補領域について各々記憶した整合度が最大の方向に基づいて、第１実施形態で説明したステップ１３８と同様にして画像の天地方向を判定する。次のステップ２４２では、判定した天地方向に対応する所定方向についての各顔候補領域毎の顔領域としての整合度を各顔候補領域に設定し、ステップ２４４へ移行する。
【０１１３】そしてステップ２４４では、各顔候補領域に対して設定した整合度に応じて、各顔候補領域に対して重み点数を設定する。このステップ２４４は、ステップ２０８、２０９、２３０、２３１、２４２と共に請求項７に記載の評価手段に対応している。ステップ２４４における重み点数の設定についても、例として図６（Ａ）や図６（Ｂ）に示すように、整合度が高くなるに伴って重み点数Ｐが高くなるように変換特性が定められたマップを用い、該マップを用いて整合度を重み点数Ｐに変換することで行うことができる。なお、次のステップ１４４以降の処理は第１実施形態と同様であるので説明を省略する。
【０１１４】上記では、眼部及び頬部に特有の濃度パターンが生じている濃度パターン領域を抽出し、抽出した濃度パターン領域の、顔候補領域内における位置及び面積比に基づいて、抽出した濃度パターン領域の眼部に相当する領域としての整合度及び頬部に相当する領域としての整合度を判定して顔候補領域に対する顔領域としての整合度を判定し、顔候補領域に対する重み点数を前記整合度に基づいて設定しているので、顔候補領域に対し、人物の顔の内部構造に基づき、顔領域としての確度を精度良く評価することができる。また、上記では眼部や頬部に相当する領域の外縁にエッジが存在していない場合であっても候補領域に対する評価の精度が低下することを防止できると共に、二値化に基づく領域分割のように、閾値を変更しながら繰り返し処理を行う必要が無いので処理も簡略化される。
【０１１５】なお、上記では背景候補領域の面積比が第１の所定値以上か否か、及び背景候補領域の偏在度合いが第２の所定値以上か否か、の少なくとも一方の判定を満足する顔候補領域に対し、重み点数が低下するように修正していたが、これに限定されるものではなく、顔候補領域から顔領域を抽出する処理を行う場合には、該顔領域の抽出において、前記少なくとも一方の判定を満足する顔候補領域に対しては、例として図８（Ｂ）に示すように顔領域判定用の閾値が高くなるように閾値を変更してもよい。これにより、背景領域である可能性が比較的高い顔候補領域が顔領域として抽出されにくくすることができる。なお閾値ＴＨF の変更量は一定値としてもよいし、背景候補領域の面積比と第１の所定値との差、及び背景候補領域の偏在度合いと第２の所定値との差に応じて閾値ＴＨF の変更量を変化させてもよい。
【０１１６】また、各顔候補領域に設定する重み点数Ｐ、顔領域判定用の閾値ＴＨF 、或いは顔領域濃度Ｍfaceにおいて各顔候補領域の濃度Ｍに付与する重みは、顔領域抽出・濃度演算処理の処理結果を利用して行われる画像処理の種類に応じて変更するようにしてもよい。
【０１１７】例えば顔領域抽出・濃度演算処理による顔領域の抽出結果を利用して、イメージプロセッサ４０において、抽出された顔領域に対してのみ局所的にエッジ強調フィルタをかけて顔領域のシャープネスを強調するシャープネス強調処理が行われる場合、シャープネス強調の程度やフィルタの種類にも依存するが、実際には顔領域でない領域にもシャープネスの強調が行われたとしても視覚上は悪影響が小さい（目立たない）ことがある。このような場合には、顔領域判定用の閾値ＴＨF の値を通常よりも小さくし（すなわち顔候補領域の選択の基準を変更し）、より多くの顔候補領域が顔領域と判定されるようにしてもよい。顔領域判定用の閾値ＴＨF の値を低くするに従って、実際の顔領域に対応する顔候補領域が顔領域でないと誤判定される確率が低くなるので、上記により、画像中の顔領域に対して漏れなくシャープネス強調処理を施すことができる。
【０１１８】また、顔領域判定用の閾値ＴＨF の値を変更することに代えて、第１実施形態に記載した一致度や第２実施形態に記載した整合度に対し、重み点数Ｐとして通常よりも大きな値を設定する（すなわち各顔候補領域に対する評価の基準を変更する）ことで、より多くの顔候補領域が顔領域と判定されるようにすることも可能である。特にシャープネス強調処理として、重み点数Ｐが大きくなるに従ってシャープネスの強調度合いを強くする処理が行われる場合には、重み点数Ｐを上記のように設定することでシャープネスの強調度合いを強めにコントロールすることも可能となる。
【０１１９】また例えば、顔領域抽出・濃度演算処理による顔領域の抽出結果及び顔領域濃度Ｍfaceを利用して、抽出された顔領域に対してのみ顔領域濃度Ｍfaceに基づき局所的に濃度を補正する濃度補正処理が行われる場合、濃度補正の程度にも依存するが、実際には顔領域でない領域にも濃度補正が行われたとしても視覚上は悪影響が小さい（目立たない）ことがある。このような場合には、顔領域判定用の閾値ＴＨF の値を通常よりも小さくし、より多くの顔候補領域が顔領域と判定されるようにしてもよい。顔領域判定用の閾値ＴＨF の値を低くするに従って、実際の顔領域に対応する顔候補領域が顔領域でないと誤判定される確率が低くなるので、上記により、画像中の顔領域に対して漏れなく濃度補正処理を施すことができる。
【０１２０】上記の説明は、顔領域の抽出において、実際には顔領域でない領域を誤って顔領域として抽出した場合にも影響が小さい画像処理が行われる場合であるが、逆に実際には顔領域でない領域を誤って顔領域として抽出した場合に多大な影響を受ける画像処理が行われる場合には、例えば顔領域判定用の閾値ＴＨF の値を通常よりも大きくしたり、一致度や整合度に対し重み点数Ｐとして通常よりも小さな値を設定することで、顔領域としての確度がより高い顔候補領域のみが顔領域として抽出されるようにすることも可能である。
【０１２１】また、顔領域濃度についても、例えば次の（３）式に示すように、先の（１）式((２）式でもよい）で求まる顔領域濃度Ｍfaceと、他の画像特徴量Ｄ（例えば画像全体の平均濃度、非顔候補領域の平均濃度等）との加重平均値Ｍface’（但し、αF は顔領域濃度Ｍfaceに対する重み係数、α0 は画像特徴量Ｄに対する重み係数）を顔領域濃度として演算する場合、演算した顔領域濃度を利用して行われる画像処理の種類に応じて重み係数αF ，α0 の値を変更する（すなわち各顔候補領域に対する重み付けの基準を相対的に変更する）ことで、各顔候補領域の濃度Ｍに付与する重みを変更するようにしてもよい。
【０１２２】
Ｍface’＝αF ・Ｍface＋α0 ・Ｄ …（３）
また、顔領域抽出・濃度演算処理の処理結果を利用して行われる画像処理として、顔領域抽出・濃度演算処理の処理結果に対する要求が異なる複数種の画像処理（例えば、抽出された顔領域の中に実際には顔領域でない領域が混在していないことが望ましい画像処理と、抽出された顔領域の中に画像中の全ての顔領域が含まれていることが望ましい画像処理等）が各々行われる場合には、それぞれの画像処理に対応して顔領域の抽出や顔領域濃度の演算を複数回行ってもよい。本実施形態では、一致度や整合度を各顔候補領域の顔領域としての信頼度（確度）として用いることができ、上述したように、各顔候補領域に対する重み点数設定の基準、顔領域判定の基準（閾値ＴＨF ）、各顔候補領域に対する重み付けの基準の少なくとも１つを変更することで、顔領域抽出結果や顔領域濃度演算結果としてそれぞれの画像処理が要求する結果を各々得ることができるので、前記複数種の画像処理が各々行われる場合にも、非常に複雑かつ時間がかかる顔候補領域抽出処理を、前記複数種の画像処理に対応して処理条件を変更しながら画像処理の種類数と同数回繰り返す必要はなく、顔領域抽出・濃度演算処理の処理時間を短縮することができ、画像処理装置１４の性能向上を実現できる。
【０１２３】また、上記ではプレスキャン画像データに基づきオートセットアップエンジン４４によって顔領域抽出・濃度演算処理を含む処理条件の演算を行い、ファインスキャン画像データに対する実際の画像処理はイメージプロセッサ４０で行う場合を説明したが、これに限定されるものでなく、単一の画像データに対して処理条件の演算、演算した処理条件での画像処理を順に行うようにしてもよく、これらの一連の処理を単一の処理部で行うようにしてもよい。
【０１２４】更に、上記では各顔候補領域に対して設定した重み点数に基づき、顔領域の抽出及び顔領域濃度の演算を各々行っていたが、これに限定されるものではなく、何れか一方のみを行うようにしてもよい。
【０１２５】また、上記では写真フィルムに記録された画像を読み取ることで得られた画像データを処理対象としていたが、これに限定されるものではなく、紙等の他の記録材料に記録された画像を読み取ることで得られた画像データや、デジタルカメラによる撮像によって得られた画像データ、或いはコンピュータによって生成された画像データを処理対象としてもよい。また、本発明は写真フィルムに記録されたフィルム画像を面露光により印画紙に露光記録する際の露光条件の決定に利用してもよいことは言うまでもない。
【０１２６】また、上記では画像中の人物の顔に相当する領域を主要部とした場合を説明したが、請求項５の発明はこれに限定されるものではない。一例として、部品や製品等の大量生産において、生産された部品や製品等が順に搬送されている状況を撮像すると共に、前記搬送されている状況を表す画像を撮像信号から所定のタイミングで抽出し、抽出した画像から、主要部に相当する領域として前記部品や製品等に対応する領域を抽出する等の場合に請求項５の発明を適用することも可能である。この場合、抽出した主要部領域は、例えば生産した部品や製品等を自動的に検査する等に利用することができる。
【０１２７】
【発明の効果】以上説明したように請求項１及び請求項６記載の発明は、画像中の人物の顔に相当すると推定される候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求め、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合して、候補領域の人物の顔に相当する領域としての確度を評価するので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【０１２８】請求項２記載の発明は、請求項１の発明において、人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように分割対象領域を分割するので、上記効果に加え、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる、という効果を有する。
【０１２９】請求項３及び請求項７記載の発明は、人物の顔に相当すると推定される候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、抽出した領域の特定の部分に相当する領域としての整合性を判定し、候補領域の人物の顔に相当する領域としての確度を評価するので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【０１３０】請求項４記載の発明は、請求項３の発明において、高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の眼部に対応する領域としての整合性を判定するか、又は低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の頬部に対応する領域としての整合性を判定するので、上記効果に加え、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる、という効果を有する。
【０１３１】請求項５記載の発明は、画像中の主要部に相当すると推定される候補領域の明度が所定値以上の場合に、候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、候補領域外の範囲内で探索し、抽出された背景候補領域の候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、候補領域に対する主要部に相当する領域としての確度の評価を低くするので、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制できる、という優れた効果を有する。
【０１３２】請求項８記載の発明は、画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める第２のステップ、各小領域毎に求めた特徴量を、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の特徴量の関係を表すパターンと照合し、候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムを記録媒体に記録したので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【０１３３】請求項９記載の発明は、画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２のステップ、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、抽出した領域の特定の部分に相当する領域としての整合性を判定し、候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムを記録媒体に記録したので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】本実施形態に係る画像処理システムの概略構成図である。
【図２】第１実施形態に係る顔領域抽出・濃度演算処理の内容を示すフローチャートである。
【図３】背景領域判定処理の内容を示すフローチャートである。
【図４】（Ａ）は顔候補領域の分割、（Ｂ）は分割によって得られた所定数のブロックと照合するためのマッチング用パターンの一例を各々示す概念図である。
【図５】濃度変化値（エッジ強度）を求めるための微分フィルタの一例を示す概念図である。
【図６】（Ａ）及び（Ｂ）はマッチング用パターンとの一致度に応じて顔候補領域に重み点数を設定するためのマップを各々示す線図である。
【図７】背景領域が顔候補領域として誤抽出される可能性が高い画像の一例を示すイメージ図である。
【図８】（Ａ）は背景領域である可能性が比較的高い顔候補領域に対する重み点数を修正するためのマップを示す線図、（Ｂ）は前記顔候補領域が存在していた場合の顔領域判定用の閾値の変更を説明する線図である。
【図９】第２実施形態に係る顔領域抽出・濃度演算処理の内容を示すフローチャートである。
【図１０】（Ａ）は顔領域内の濃度が所定値以上の高濃度領域の分布の一例を示すイメージ図、（Ｂ）は顔領域のうち眼部に相当する領域内における濃度変化の一例を示す線図である。
【図１１】（Ａ）は顔領域内の輝度が所定値以上の高輝度領域の分布の一例を示すイメージ図、（Ｂ）は顔領域のうち頬部に相当する領域内における輝度変化の一例を示す線図である。
【符号の説明】
１０ 画像処理システム
１４ 画像処理装置
４０ イメージプロセッサ
４４ オートセットアップエンジン
７２ 情報記憶媒体
【０００１】
【発明の属する技術分野】本発明は画像処理方法、画像処理装置及び記録媒体に係り、特に、画像中の人物の顔に相当すると推定される領域を抽出する画像処理方法、前記画像処理方法を適用可能な画像処理装置、及び前記画像処理方法をコンピュータで実行させるためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】人物写真を観賞するときに最も注目される部位は人物の顔であり、例えば写真フィルム等に記録された原画像を印画紙等の記録材料に露光記録（面露光或いは走査露光により記録）する場合には、人物の顔の色及び濃度が適正となるように露光を制御することが望ましいが、この露光制御を実現するためには原画像中の人物の顔に相当する領域の色味や濃度を正確に検知する必要がある。また、画像を読み取ることで得られた画像データに対し、該画像データが表す画像の画質向上を目的として開発された種々の画像処理の中には、画像中の人物の顔に相当する領域又はその一部に対してのみ特定の画像処理（例えば局所的な濃度補正や赤目修正等）を施すものがあるが、この処理を行うためには画像中の人物の顔に相当する領域の位置や大きさを正確に検知する必要がある。
【０００３】このため、従来より、画像中の人物の顔等の主要部に相当すると推定される領域を抽出するための手法が種々提案されている。例えば特開平8-184925号公報には、画像データに基づいて、画像中に存在する人物の各部に特有の形状パターン（例えば頭部の輪郭、顔の輪郭、顔の内部構造、胴体の輪郭等を表す形状パターン）の何れか１つを探索し、検出した形状パターンの大きさ、向き、検出した形状パターンが表す人物の所定部分と人物の顔との位置関係に応じて、人物の顔に相当する領域としての整合性が高い領域（候補領域）を設定すると共に、検出した形状パターンと異なる他の形状パターンを探索し、先に設定した候補領域の、人物の顔としての整合性を評価し、人物の顔に相当すると推定される領域（顔領域）を抽出する顔領域の抽出方法が開示されている。
【０００４】
【発明が解決しようとする課題】上記公報に記載の技術では、二値化により処理対象の画像を白領域と黒領域とに分割しており、例えば顔の内部構造に基づく候補領域の設定では、分割によって得られた各黒領域に対し、人物の顔の眼部に相当する領域としての形状等の整合性を各々判定することで、人物の顔の眼部に相当すると推定される黒領域を抽出し、抽出した黒領域に基づいて候補領域を設定している。しかしながら、処理対象の画像の濃度範囲は一定ではなく、眼部の所謂黒目の部分の濃度も一定ではないので、眼部に相当する領域を精度良く抽出するためには、二値化に用いる閾値を変更しながら、二値化による領域分割を含む上記の処理を複数回繰り返し、各回の処理で抽出された領域を評価する必要がある。従って、処理に多大な時間がかかるという問題があった。
【０００５】また二値化では、例えば人物の顔の眼部に相当する領域と、頭髪部等の比較的高濃度部に相当する領域とが画像上で隣接している場合に、眼部に相当する黒領域が他の高濃度部に相当する黒領域と結合することがあり、この場合、眼部に相当する領域を正しく抽出することが困難になるという問題もある。この問題は、二値化に代わる方法として上記公報に記載されている、画像から抽出したエッジ（濃度又は輝度が所定値以上変化している部分）に基づいて画像を分割する場合においても、眼部に相当する領域と他の高濃度部に相当する領域との境界における濃度又は輝度の変化が小さければ同様に生じ得る。
【０００６】このように、顔の内部構造を利用した従来の処理では、抽出対象である顔内部の特定部分に相当する領域を正しく抽出できなかった場合に、人物の顔に相当する領域を精度良く抽出することができない、という問題があった。
【０００７】ところで、人物等の主要部を含むシーンを撮影した場合、画像中の主要部に相当する領域は、ストロボを発光させて撮影したときも含めて、背景に相当する領域よりも高輝度になることが多い。このため、主要部に相当する領域としても低輝度の領域は除外されて高輝度の領域が抽出されることが多いが、これに伴い、処理対象の画像が逆光の照明条件下で人物等の主要部を含むシーンを表す画像であった場合に、画像中の高輝度の背景部分を主要部に相当する領域として誤抽出することがあった。この場合、抽出した領域の色及び濃度に基づいて記録材料に画像を露光記録する際の露光量を制御したとすると、記録画像は、主要部に相当する領域が黒く潰れた不適切な画質になる。
【０００８】本発明は上記事実を考慮して成されたもので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる画像処理方法、画像処理装置及び記録媒体を得ることが第１の目的である。
【０００９】また本発明は、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制できる画像処理方法を得ることが第２の目的である。
【００１０】
【課題を解決するための手段】第１の目的を達成するために、請求項１記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求め、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する。
【００１１】請求項１記載の発明では、まず、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する。この候補領域の抽出に際しては、従来より周知の任意のアルゴリズムを適用可能である。次に、抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める。なお、濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量としては、例えば所定方向に沿って隣り合う画素間の濃度又は輝度の変化量を積算していくことを、各小領域毎に行うことで求めることができる。
【００１２】画像中の人物の顔に相当する領域内には、濃度又は輝度が複雑に変化している部分と、濃度又は輝度の変化が緩やかであったり濃度又は輝度が殆ど均一な部分と、がおおよそ一定の位置に各々存在している。例えば前記領域のうち眼部やその周辺に相当する部分領域内では、眼球、瞼、睫毛、眉毛等が近接した位置に存在しており、眼球内の瞳孔や虹彩の周辺でも濃度や輝度が複雑に変化していることから、濃度又は輝度が頻繁にかつ大きく変化している（特に、眼球、瞼、睫毛、眉毛等の配列方向、すなわち顔の上下方向については、濃度又は輝度の変化の頻度や変化の大きさが大きい）。一方、人物の顔に相当する領域のうち頬部やその周辺に相当する部分領域内では、照明条件にもよるが濃度や輝度の変化は緩やかである。従って、候補領域が人物の顔に相当する領域であれば、候補領域を所定数の小領域に分割して各小領域毎に求めた特徴量は、各小領域が人物の顔の何れの部分に対応しているかによって大幅に異なる値となる。
【００１３】請求項１の発明では、各小領域毎に求めた特徴量を、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、候補領域の人物の顔に相当する領域としての確度を評価する（例えば各小領域毎に求めた特徴量が前記パターンと合致するか、或いは一致度が高い場合に前記評価を高くする）ので、候補領域に対し、人物の顔の内部構造に基づき、人物の顔に相当する領域としての確度を精度良く評価することができる。そして、候補領域に対する評価結果に基づいて、人物の顔に相当する領域を精度良く抽出することができる。
【００１４】請求項１の発明では、顔内部の特定部分を抽出したり、二値化のように閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化されると共に、顔内部の特定部分が正しく抽出されないことで、候補領域に対する評価の精度が低下することも防止できる。従って、請求項１の発明によれば、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００１５】なお、画像データが表す画像の天地方向が不明である場合には、互いに異なる複数の方向について、候補領域の所定数の小領域への分割、各小領域毎の特徴量の演算を各々行い（但し、各方向から見たときの各小領域の配列や向きが略一致しているのであれば（各小領域の配列や向きが各方向に関して略点対称）、小領域の分割を毎回行う必要はない）、候補領域に対する人物の顔に相当する領域としての確度の評価に際しては、複数の方向のうち、各小領域毎に求めた特徴量が前記パターンと合致するか、或いは一致度が高い方向が存在していたときに、前記評価を高くするようにすればよい。
【００１６】ところで、人物の顔の眼部は顔の正面から見て略左右対称な位置に存在しており、また、例えば人物を含むシーンの撮影においても左右の眼部が各々画像中に存在するように撮影することが殆どである等のように、画像中に人物の顔に相当する領域が存在している場合、人物の顔の眼部対に対応する領域は非常に高い確率で画像中に存在している。そして、画像中の眼部やその周辺に相当する領域内では、先にも説明したように、濃度又は輝度が頻繁にかつ大きく変化するという特徴を有している。
【００１７】このため、請求項２記載の発明では、請求項１の発明において、人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように、分割対象領域を分割するようにしている。これは、小領域のサイズ（候補領域との面積比）、数（請求項１に記載の所定数）、及び候補領域内における配置の少なくとも何れかを調整することで実現することができる。
【００１８】候補領域が人物の顔に相当する領域である場合、人物の顔の眼部対に対応する小領域対は非常に高い確率で所定数の小領域の中に存在していると共に、眼部は特有の位置（顔の正面から見て略左右対称な位置）に存在しているので、眼部対に対応すると推定される小領域対を容易に判別することができる。従って、請求項２の発明によれば、眼部対に対応すると推定される小領域対についての特徴量の値から、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる。
【００１９】また、前記第１の目的を達成するために、請求項３記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する。
【００２０】請求項３記載の発明では、請求項１の発明と同様に、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出した後に、抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する。
【００２１】人物の顔には凹凸があるので、一般的な照明条件で人物の顔を照明しているシーンを表す画像において、人物の顔の凹部（例えば眼部等）に相当する部分領域では、凹部の底部付近を頂点として高濃度方向（低輝度方向）に凸の濃度分布又は輝度分布となる。なお先に説明したように、眼部やその周辺に相当する部分領域内では濃度又は輝度が頻繁にかつ大きく変化しているが、凹部に相当する部分領域全体としては上記のような濃度分布（輝度分布）となる。一方、人物の顔の凸部（例えば頬部等）に相当する部分領域では、凸部の頂点付近を頂点として低濃度方向（高輝度方向）に凸の濃度分布又は輝度分布となる。
【００２２】請求項３の発明では、例えば上記のような人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、抽出した領域の特定の部分に相当する領域としての整合性を判定し、候補領域の人物の顔に相当する領域としての確度を評価するので、候補領域に対し、人物の顔の内部構造に基づき、人物の顔に相当する領域としての確度を精度良く評価することができる。そして、候補領域に対する評価結果に基づいて、人物の顔に相当する領域を精度良く抽出することができる。
【００２３】請求項３の発明は、エッジに基づく領域分割のようにエッジが存在している位置で領域を分割するものではないので、人物の顔の特定の部分に相当する領域の外縁にエッジが存在している必要はなく、前記領域の外縁にエッジが存在していない場合であっても候補領域に対する評価の精度が低下することを防止できる。また、二値化に基づく領域分割のように、閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化される。従って、請求項３の発明によれば、請求項１の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００２４】なお、請求項３の発明において、人物の顔の特定の部分に特有の濃度又は輝度のパターンとしては、人物の顔の任意の部分における濃度又は輝度のパターンを採用することができるが、請求項４に記載したように、人物の顔の眼部に特有の高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記眼部に対応する領域としての整合性を判定するか、又は人物の顔の頬部に特有の低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記頬部に対応する領域としての整合性を判定することが好ましい。
【００２５】なお、高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域に対する眼部に相当する領域としての整合性の判定は、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つを、人物の顔における眼部の位置、人物の顔全体と眼部との面積比、人物の顔の眼部における濃度又は輝度のヒストグラムの形状の少なくとも１つと照合することで行うことができる。同様に、低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域に対する頬部に対応する領域としての整合性の判定についても、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つを、人物の顔における頬部の位置、人物の顔全体と頬部との面積比、人物の顔の頬部における濃度又は輝度のヒストグラムの形状の少なくとも１つと照合することで行うことができる。
【００２６】上述した眼部や頬部は、人物の顔の正面から見て略左右対称な位置に存在しているので、眼部に相当する濃度又は輝度のパターンが生じている領域、或いは頬部に相当する濃度又は輝度のパターンが生じている領域が略左右対称な位置に一対抽出されれば、抽出した領域対の眼部又は頬部に対応する領域としての整合性が高いと判定することができる。従って、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる。
【００２７】ところで、処理対象の画像が、逆光の照明条件下で人物等の主要部が存在しているシーンを表す画像であった場合、画像中の高輝度の背景部分が主要部に相当する領域と誤抽出されることがあるが、本願発明者は、上記のように誤抽出が生ずるケースについて更に検討を行った。その結果、例えばシーン中の空等に対応する高輝度の背景領域が画像上で単一の領域を成している（複数の領域に分割されていない）場合には誤抽出が生ずる確率が低いのに対し、例えばシーン中の背景部の手前に存在する物体によって高輝度の背景領域が画像上で複数の領域に分割されている場合に誤抽出が生ずる確率が高いことを見い出した。
【００２８】上記に基づき、前記第２の目的を達成するために、請求項５記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の主要部に相当すると推定される候補領域を抽出し、前記抽出した候補領域の明度が所定値以上の場合に、前記候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、前記候補領域外の範囲内で探索し、前記背景候補領域が抽出され、かつ抽出された背景候補領域の前記候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、前記候補領域に対する主要部に相当する領域としての確度の評価を低くする。
【００２９】請求項５記載の発明では、まず画像データに基づいて、該画像データが表す画像中の主要部に相当すると推定される候補領域を抽出する。なお主要部は、人物の顔に相当する領域であってもよいし、主要部としてのその他の物体に相当する領域であってもよい。次に、抽出した候補領域の明度が所定値以上の場合に、候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、候補領域外の範囲内で探索する。これにより、抽出した候補領域が、実際には画像中の背景部に相当する領域の一部である場合には、該候補領域外の範囲に存在する前記背景部に相当する領域の他の一部が抽出されることになる。
【００３０】そして、候補領域との明度の差が所定範囲内の画素から成る背景候補領域が抽出され、かつ抽出された背景候補領域の候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、候補領域に対する主要部に相当する領域としての確度の評価を低くする。背景候補領域の候補領域に対する面積比が所定値以上の場合（画像中に候補領域と同程度の明度の領域が広い面積で分布している場合）や、背景候補領域が画像中の周縁部に偏在している場合には、背景候補領域及び先に抽出した候補領域は背景部に相当する領域である可能性が高い。従って、上記のように候補領域に対する主要部に相当する領域としての確度の評価を低くすることにより、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制することができる。
【００３１】また、主要部がストロボ等によって照明されているシーンを表す画像等では、主要部と同等の明度の領域（背景候補領域）が画像中に存在していたとしても、該背景候補領域の面積は小さく、また画像中の周縁部に偏在している可能性は低いので、請求項５の発明によれば、上記のような画像において、主要部に相当すると推定される候補領域に対する主要部に相当する領域としての確度の評価が不当に低くなることも防止することができる。
【００３２】請求項６記載の発明に係る画像処理装置は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める演算手段と、前記演算手段によって前記各小領域毎に求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含んで構成されているので、請求項１の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００３３】請求項７記載の発明に係る画像処理装置は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２の抽出手段と、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含んで構成されているので、請求項３の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００３４】請求項８記載の発明に係る記録媒体は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める第２のステップ、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録されている。
【００３５】請求項８記載の発明に係る記録媒体には、上記の第１のステップ乃至第３のステップを含む処理、すなわち請求項１の発明に記載の画像処理方法に係る処理をコンピュータに実行させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されているプログラムを読み出して実行することにより、請求項１の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することがことができる。
【００３６】請求項９記載の発明に係る記録媒体は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２のステップ、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録されている。
【００３７】請求項９記載の発明に係る記録媒体には、上記の第１のステップ乃至第３のステップを含む処理、すなわち請求項３の発明に記載の画像処理方法に係る処理をコンピュータに実行させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されているプログラムを読み出して実行することにより、請求項３の発明と同様に、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【００３８】
【発明の実施の形態】以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００３９】〔第１実施形態〕図１には、本発明が適用された画像処理システム１０が示されている。画像処理システム１０は、スキャナ１２、画像処理装置１４及びプリンタ１６が直列に接続されて構成されている。
【００４０】スキャナ１２は、写真フィルム（例えばネガフィルムやリバーサルフィルム）等の写真感光材料（以下単に写真フィルムと称する）に記録されているフィルム画像（被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像）を読み取り、該読み取りによって得られた画像データを出力するものであり、光源２０から射出され光拡散ボックス２２によって光量むらが低減された光が、フィルムキャリア２４にセットされているネガフィルムやリバーサルフィルム等の写真フィルム２６に照射され、写真フィルム２６を透過した光がレンズ２８を介してＣＣＤセンサ３０（エリアセンサであってもラインセンサであってもよい）の受光面上に結像されるように構成されている。
【００４１】フィルムキャリア２４は、写真フィルム２６上のフィルム画像が記録されている箇所が、光源２０からの射出光の光軸上に順に位置するように写真フィルム２６を搬送する。これにより、写真フィルム２６に記録されているフィルム画像がＣＣＤセンサ３０によって順に読み取られ、ＣＣＤセンサ３０からはフィルム画像に対応する信号が出力される。ＣＣＤセンサ３０から出力された信号はＡ／Ｄ変換器３２によってデジタルの画像データに変換されて画像処理装置１４に入力される。
【００４２】画像処理装置１４のラインスキャナ補正部３６は、入力されたスキャンデータ（スキャナ１２から入力されるＲ、Ｇ、Ｂのデータ）から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム２６を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル（所謂欠陥画素）のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。ラインスキャナ補正部３６の出力端はＩ／Ｏコントローラ３８の入力端に接続されており、ラインスキャナ補正部３６で前記各処理が施されたデータはスキャンデータとしてＩ／Ｏコントローラ３８に入力される。
【００４３】Ｉ／Ｏコントローラ３８の入力端は、イメージプロセッサ４０のデータ出力端にも接続されており、イメージプロセッサ４０からは画像処理（詳細は後述）が行われた画像データが入力される。また、Ｉ／Ｏコントローラ３８の入力端はパーソナルコンピュータ４２にも接続されている。パーソナルコンピュータ４２は拡張スロット（図示省略）を備えており、この拡張スロットには、デジタルスチルカメラ等によって画像データが書き込まれたデジタルカメラカードや、図示しないＣＤ−Ｒ書込装置によって画像データが書き込まれたＣＤ−Ｒ等の情報記憶媒体に対し、データの読出し／書込みを行うドライバ（図示省略）や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データ（デジタルカメラカードやＣＤ−Ｒから読み出した画像データ、或いは他の情報処理機器から受信した画像データ）が入力された場合、入力されたファイル画像データはＩ／Ｏコントローラ３８へ入力される。
【００４４】Ｉ／Ｏコントローラ３８の出力端は、イメージプロセッサ４０のデータ入力端、オートセットアップエンジン４４、パーソナルコンピュータ４２に各々接続されており、更にＩ／Ｆ回路５４を介してプリンタ１６に接続されている。Ｉ／Ｏコントローラ３８は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【００４５】本実施形態では、写真フィルム２６に記録されている個々のフィルム画像に対し、スキャナ１２において異なる解像度で２回の読み取りを行う。１回目の比較的低解像度での読み取り（以下、プレスキャンという）では、フィルム画像の濃度が非常に低い場合（例えばネガフィルムにおける露光アンダのネガ画像）にも、ＣＣＤセンサ３０で蓄積電荷の飽和が生じないように決定した読取条件（写真フィルム２６に照射する光のＲ、Ｇ、Ｂの各波長域毎の光量、ＣＣＤセンサ３０の電荷蓄積時間）で写真フィルム２６の全面の読み取りが行われる。このプレスキャンによって得られたデータ（プレスキャンデータ）は、Ｉ／Ｏコントローラ３８からオートセットアップエンジン４４へ入力される。
【００４６】オートセットアップエンジン４４は、ＣＰＵ４６、ＲＡＭ４８（例えばＤＲＡＭ）、ＲＯＭ５０（例えば記憶内容を書換え可能なＲＯＭ）、入出力ポート５２を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン４４は、Ｉ／Ｏコントローラ３８から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム２６上のフィルム画像記録領域に対応するデータ（プレスキャン画像データ）を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム２６に対し、スキャナ１２が比較的高解像度での再度の読み取り（以下、ファインスキャンという）を行う際の読取条件を決定する。そしてコマ位置及び読取条件をスキャナ１２に出力する。
【００４７】また、オートセットアップエンジン４４は、プレスキャン画像データ（又は低解像度化したファイル画像データ）に基づいて、画像中の主要部（例えば人物の顔に相当する領域（顔領域))の抽出を含む画像特徴量の演算を行い、スキャナ１２がファインスキャンを行うことによって得られるファインスキャン画像データ（又はファイル画像データ）に対する各種の画像処理の処理条件を演算により自動的に決定し（セットアップ演算）、決定した処理条件をイメージプロセッサ４０へ出力する。
【００４８】パーソナルコンピュータ４２には、ディスプレイ、キーボード、及びマウスが接続されている（何れも図示省略）。パーソナルコンピュータ４２は、オートセットアップエンジン４４から低解像度の画像データを取込むと共に、オートセットアップエンジン４４によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、高解像度画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理を低解像度画像データに対して行ってシミュレーション画像データを生成する。
【００４９】そして、生成したシミュレーション画像データを、ディスプレイに画像を表示するための信号に変換し、該信号に基づいてディスプレイにシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン４４へ出力する。これにより、オートセットアップエンジン４４では画像処理の処理条件の再演算等の処理が行われる。
【００５０】一方、スキャナ１２でフィルム画像に対してファインスキャンが行われることによってＩ／Ｏコントローラ３８に入力されたファインスキャン画像データ（又は高解像度のファイル画像データ）は、Ｉ／Ｏコントローラ３８からイメージプロセッサ４０へ入力される。イメージプロセッサ４０は、階調変換や色変換を含む色・濃度補正処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン４４によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【００５１】イメージプロセッサ４０で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分（例えば人物の顔に相当する領域）に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理（出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等）や、画像を加工する画像処理（例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理、赤目を修正する画像処理等）や、ＬＦ（レンズ付きフィルム）によって撮影された画像に対し、ＬＦのレンズの歪曲収差、倍率色収差に起因する画像の幾何学的歪み、色ずれを補正するＬＦ収差補正処理や、ＬＦのレンズの周辺減光に起因する画像の周縁部の明度低下を補正する周辺減光補正処理や、ＬＦのレンズの特性に起因する画像の鮮鋭度の低下を補正するピントボケ補正処理等のように、ＬＦのレンズの特性に起因する出力画像の画質の低下を補正する各種のＬＦ収差補正処理等が挙げられる。
【００５２】イメージプロセッサ４０で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ４０で画像処理が行われた画像データは、Ｉ／Ｏコントローラ３８からＩ／Ｆ回路５４を介し記録用画像データとしてプリンタ１６へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、Ｉ／Ｏコントローラ３８からパーソナルコンピュータ４２に画像データが出力される。これにより、パーソナルコンピュータ４２では、外部への出力用としてＩ／Ｏコントローラ３８から入力された画像データを、拡張スロットを介して画像ファイルとして外部（前記ドライバや通信制御装置等）に出力する。
【００５３】プリンタ１６は、画像メモリ５８、Ｒ，Ｇ，Ｂのレーザ光源６０、該レーザ光源６０の作動を制御するレーザドライバ６２を備えている。画像処理装置１４から入力された記録用画像データは画像メモリ５８に一旦記憶された後に読み出され、レーザ光源６０から射出されるＲ，Ｇ，Ｂのレーザ光の変調に用いられる。レーザ光源６０から射出されたレーザ光は、ポリゴンミラー６４、ｆθレンズ６６を介して印画紙６８上を走査され、印画紙６８に画像が露光記録される。画像が露光記録された印画紙６８は、プロセッサ部１８へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙６８に露光記録された画像が可視化される。
【００５４】次に本実施形態の作用として、スキャナ１２から画像処理装置１４にプレスキャンデータが入力され、オートセットアップエンジン４４において、プレスキャンデータからの画像データの切り出し等の処理を行った後で行われる顔領域抽出・濃度演算処理について説明する。
【００５５】本第１実施形態に係る顔領域抽出・濃度演算処理は、請求項１の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン４４のＣＰＵ４６により、顔領域抽出・濃度補正プログラムが実行されることにより実現される。顔領域抽出・濃度補正プログラムは、その他の処理をＣＰＵ４６で実行させるためのプログラムと共に、当初は、情報記憶媒体７２（図１参照）に記憶されている。なお、図１では情報記憶媒体７２をフロッピーディスクとして示しているが、ＣＤ−ＲＯＭやメモリカード等の他の情報記憶媒体で構成してもよい。パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入（インストール）が指示されると、情報読出装置によって情報記憶媒体７２から顔領域抽出・濃度補正プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。
【００５６】そして、顔領域抽出・濃度補正処理を実行すべきタイミングが到来すると、ＲＯＭ５０から顔領域抽出・濃度補正プログラムが読み出され、顔領域抽出・濃度補正プログラムがＣＰＵ４６によって実行される。これにより、オートセットアップエンジン４４は請求項６の発明に係る画像処理装置として機能する。このように、顔領域抽出・濃度補正プログラム等を記憶している情報記憶媒体７２は請求項８に記載の記録媒体に対応している。
【００５７】以下、顔領域抽出・濃度補正処理について、図２のフローチャートを参照して説明する。ステップ１００では、処理対象の画像データに基づき、画像データが表す画像中の主要部として、画像中の人物の顔に相当すると推定される領域（顔候補領域を抽出する顔候補領域抽出処理を行う。この顔候補領域抽出処理を行うための抽出方式としては、画像中の人物の顔に相当すると推定される領域を判断し、該領域を顔候補領域として抽出する顔候補領域抽出方式や、画像中の背景に相当すると推定される領域（背景領域）を判断し、背景領域以外の領域を顔候補領域として抽出する背景部除去方式等があり、具体的には、従来より公知の、下記のような顔候補抽出方式、背景除去方式のうちの少なくとも何れかを採用して顔候補領域抽出処理を行うことができる。
【００５８】〔顔候補領域抽出方式の例１〕画像を多数の測定点に分割すると共に各測定点をＲ、Ｇ、Ｂの３色に分解することにより得られたデータ（画像データ）に基づいて、各測定点が色座標上で肌色の範囲内に含まれているか否か判定し、肌色の範囲内と判断した測定点のクラスタ（群）が存在している領域を顔候補領域として抽出する（特開昭 52-156624号公報、特開昭 52-156625号公報、特開昭53-12330号公報、特開昭 53-145620号公報、特開昭 53-145621号公報、特開昭 53-145622号公報等参照）。
【００５９】〔顔候補領域抽出方式の例２〕前記画像データに基づいて、色相値（及び彩度値）についてのヒストグラムを求め、求めたヒストグラムを山毎に分割し、各測定点が分割した山の何れに属するかを判断して各測定点を分割した山に対応する群に分け、各群毎に画像を複数の領域に分割し、該複数の領域のうち人物の顔に相当する領域を推定し、推定した領域を顔候補領域として抽出する（特開平4-346333号公報参照）。
【００６０】〔顔候補領域抽出方式の例３〕前記画像データに基づいて、画像中に存在する人物の各部に特有の形状パターン（例えば頭部の輪郭や顔の輪郭等を表す形状パターン：顔の内部構造に関しては後述する処理で利用するのでここでは不要）の何れか１つを探索し、検出した形状パターンの大きさ、向き、検出した形状パターンが表す人物の所定部分と人物の顔との位置関係に応じて、人物の顔に相当すると推定される領域を設定する。また、検出した形状パターンと異なる他の形状パターンを探索し、先に設定した領域の、人物の顔としての整合性を求め、顔候補領域を抽出する（特開平8-122944号公報、特開平8-183925号公報、特開平9-138471号公報等参照）。
【００６１】〔顔候補領域抽出方式の例４〕前記画像データに基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に求め、基準点を設定すると共に、該基準点に対し、探索範囲及び該探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを顔領域の輪郭形状に応じて設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合に該箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、顔領域の輪郭を表す輪郭線として抽出することにより、顔候補領域を抽出する（特開平9-138471号公報等参照）。
【００６２】〔背景部除去方式の例１〕前記画像データに基づいて、各測定点が、色座標上で明らかに背景に属する特定の色（例えば空や海の青、芝生や木の緑等）の範囲内に含まれているか否か判定し、前記特定の色範囲内と判断した測定点のクラスタ（群）が存在している領域を背景領域と判断して除去し、残った領域を非背景領域（人物の顔に相当する領域が含まれている可能性の高い領域：これも本発明の顔候補領域）として抽出する。
【００６３】〔背景部除去方式の例２〕前記画像データに基づき、先の主要部抽出方式の例２と同様にして画像を複数の領域に分割した後に、各領域毎に背景に相当する領域としての特徴量（輪郭に含まれる直線部分の比率、線対称度、凹凸数、画像外縁との接触率、領域内の濃度コントラスト、領域内の濃度の変化パターンの有無等）を求め、求めた特徴量に基づいて各領域が背景領域か否か判定し背景部と判断した領域を除去し、残った領域を非背景領域（顔候補領域）として抽出する（特開平8-122944号公報、特開平8-183925号公報等参照）。
【００６４】なお上記の抽出方式は単なる一例であり、画像から人物の顔に相当すると推定される領域を抽出する抽出方式であれば、どのような方式であっても適用可能であることは言うまでもない。またステップ１００では、複数種の抽出方式を各々適用して顔候補領域抽出処理を複数回行ってもよいし、単一種の抽出方式で処理条件を各々変えて顔候補領域抽出処理を複数回行ってもよい。なお、ステップ１００は請求項６（及び請求項７）に記載の第１の抽出手段に対応している。
【００６５】次のステップ１０２では、処理対象の画像データが表す画像の天地方向を表す天地情報が有るか否か判定する。例えば処理対象の画像データが、磁気層が形成された写真フィルムに記録されている画像を読み取ることによって得られた画像データである場合、磁気層に磁気記録されている種々の情報の中に、画像の撮影記録時に磁気記録された天地情報が含まれていることが多い。このような場合には、磁気層に磁気記録されている情報を磁気的に読み取ることによって天地情報が取得され、ステップ１０２の判定が肯定されてステップ１０４へ移行する。
【００６６】ステップ１０４では、ステップ１００の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込み、次のステップ１０６では、データを取り込んだ処理対象の顔候補領域を、例として図４（Ａ）に示すように所定数のブロックに分割する。例として図４（Ａ）では、一辺の長さが顔候補領域の長手方向（通常は画像の天地方向）長さに一致するように正規化した正方形領域（図４（Ａ）の最外縁の破線に相当する領域）を用い、該正方形領域を５×５個の正方形のブロック（請求項１等に記載の小領域）に分割したときの分割線（破線で示す線）に沿って顔候補領域を分割している。
【００６７】なお、図４（Ａ）に示す顔候補領域の分割パターン（ブロックへの分割数やブロックの形状・配置）は、図からも明らかなように人物の顔の眼部対を構成する個々の眼部に相当する領域が互いに異なるブロック内に位置するように定められている。従って、図４（Ａ）に示す分割パターンに従って顔候補領域を分割することは、請求項２に記載の分割に対応している。また、分割パターンは上記に限定されるものではなく、ブロックの数、個々のブロックの形状・配置は、本発明を逸脱しない範囲内で適宜変更可能である。
【００６８】ステップ１０８では、顔候補領域の各ブロック毎に、天地情報が表す天地方向に応じた所定方向についてのエッジ強度（濃度変化量）を演算し積算することでエッジ強度積算値を求める。なお、エッジ強度積算値は本発明に係る「小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量」に対応しており、ステップ１０８は請求項６に記載の演算手段に対応している。本第１実施形態では、人物の顔の眼部に相当する領域における濃度が頻繁にかつ大きく変化することを利用して顔領域の抽出を行うため、眼部に相当する領域における濃度の変化の頻度及び変化の大きさが顕著に大きくなる方向、すなわち天地方向に一致する方向を、天地方向に応じた所定方向としている。
【００６９】図５には特定の画素から該特定の画素の近傍に存在する８個の画素へ各々向かう方向（合計８方向：図５では方向の異なる８本の矢印として示している）に沿った濃度変化値を演算するための微分フィルタが示されている。ブロック毎のエッジ強度積算値の演算は、例えば上記の８個の微分フィルタのうち天地方向に応じた所定方向に対応する微分フィルタを選択し、選択した微分フィルタを用いて顔候補領域内の全画素について前記所定方向に沿った濃度変化量（エッジ強度）を各々演算し、演算結果を各ブロック毎に積算することによって得ることができる。
【００７０】次のステップ１１０では、ステップ１０８で演算した各ブロック毎のエッジ強度積算値を、顔候補領域に対し人物の顔に相当する領域としての確度を評価するために予め設定されたマッチング用パターンにおける各ブロック毎のエッジ強度積算値（の標準値）と照合し、マッチング用パターンとの一致度を求める。マッチング用パターンは、画像中の人物の顔に相当する領域（顔領域）を顔候補領域に対する分割パターンと同様に分割し（図４（Ｂ）参照）、各ブロック毎にエッジ強度積算値を求めることを多数の画像の多数の顔領域について行い、各ブロックに対し、多数の画像の多数の顔領域について各々求めた各ブロック毎のエッジ強度積算値の平均値を標準値として設定することによって定められている。
【００７１】上記により、マッチング用パターンにおける各ブロック毎のエッジ強度積算値の標準値は、人物の顔の一対の眼部に相当する一対のブロック（図４（Ａ）も参照）については、図４（Ｂ）に記したように非常に高い値になると共に、人物の顔のうち一対の頬部及び眉間に相当するブロック（図４（Ａ）も参照）については図４（Ｂ）に記したように低い値になり、人物の顔の各部における濃度（又は輝度）の変化の頻度及び変化の大きさを反映した値となる。
【００７２】本第１実施形態では、５×５個のブロックのうち、人物の顔のうちの一対の眼部、一対の頬部及び眉間に相当する５個のブロック（図４（Ｂ）に実線で囲んで示すブロック）について、エッジ強度積算値の演算値とマッチング用パターンで設定されているエッジ強度積算値の標準値とを比較することにより照合を行う。そして、前記５個のブロックについてのエッジ強度積算値の標準値に対する演算値の差異に応じて値が変化する物理量（例えば個々のブロックのエッジ強度積算値の標準値の偏差を基準としたときの、個々のブロックのエッジ強度積算値の演算値の偏差の比率等）を一致度として演算・設定する。なお、全てのブロックのエッジ強度積算値を比較・照合して一致度を設定するようにしてもよい。
【００７３】ステップ１１２では、ステップ１００で抽出した全ての顔候補領域に対してステップ１０４〜１１０の処理を行ったか否か判定する。判定が否定された場合にはステップ１０４に戻り、前記判定が肯定される迄ステップ１０４〜１１２を繰り返す。これにより、全ての顔候補領域に対してマッチング用パターンとの一致度が各々演算・設定されることになる。そして、ステップ１１２の判定が肯定されるとステップ１４２へ移行する。
【００７４】一方、天地情報が無い場合には、ステップ１０２の判定が否定されてステップ１２０へ移行し、ステップ１００の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込んだ後に、次のステップ１２２において、データを取り込んだ顔候補領域を、先のステップ１０６と同様に所定数のブロックに分割する。このステップ１２２も請求項２に記載の分割に対応している。ステップ１２４では、処理対象の画像の天地方向が不明であるので、処理対象の画像の外縁を成す４本の辺に平行な所定の４方向（以下、便宜的に第１方向〜第４方向と称する）について、エッジ強度（濃度変化量）を演算し積算することで、第１〜第４方向についてのエッジ強度積算値を各々求める。このステップ１２４も請求項６に記載の演算手段に対応している。
【００７５】ステップ１２６では変数ｎに１を代入し、次のステップ１２８では、第ｎ方向（この場合は第１方向）についての各ブロック毎のエッジ強度積算値を、第ｎ方向を天地方向と仮定してマッチング用パターンと照合し、先のステップ１１０と同様にして一致度を演算する。ステップ１３０では変数ｎの値が４になったか否か判定し、判定が否定された場合にはステップ１３２で変数ｎの値を１だけインクリメントしてステップ１２８へ戻る。これにより、ステップ１２８では、第１〜第４方向を各々天地方向と仮定してマッチング用パターンとの一致度が各々演算されることになる。
【００７６】なお、一致度を演算する方向は第１〜第４の４方向に限定されるものではなく、例えば図５に８本の矢印で示す８方向について一致度を演算するようにしてもよい（後述する第２実施形態についても同様）。
【００７７】各方向について一致度が各々演算されると、ステップ１３０の判定が肯定されてステップ１３４へ移行し、第１〜第４方向のうち一致度が最大となった方向を記憶する。次のステップ１３６では、全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ１２０に戻り、ステップ１２０〜１３６を繰り返す。これにより、全ての顔候補領域に対し、第１〜第４方向についてマッチング用パターンとの一致度が各々演算・設定される。
【００７８】ステップ１３６の判定が肯定されるとステップ１３８へ移行し、先のステップ１３４で各顔候補領域について各々記憶した一致度が最大の方向に基づいて、画像の天地方向を判定する。この判定は、一致度最大の方向が一致している顔候補領域の数を各方向毎に演算し、顔候補領域の数が最多の方向を天地方向と判定するようにしてもよい。また、特定の顔候補領域の第１〜第４方向についての一致度に基づき、一致度の値が高くなるに従って重み点数が高くなるように各方向に重み点数を付加することを全ての顔候補領域に対して行い、各方向に対して付加した重み点数の積算値が最大の方向を天地方向と判定するようにしてもよい。
【００７９】上記のようにして天地方向を判定すると、次のステップ１４０では、判定した天地方向に対応する所定方向についての各顔候補領域毎の一致度を各顔候補領域に設定し、ステップ１４２へ移行する。
【００８０】ステップ１４２では各顔候補領域に対して設定した一致度に応じて、各顔候補領域に対して重み点数を設定する。なお、この重み点数は顔候補領域の人物の顔に相当する領域としての確度を評価する評価値に対応しており、ステップ１４２はステップ１１０、１２８、１４０と共に請求項６に記載の評価手段に対応している。
【００８１】重み点数は、例として図６（Ａ）に示すように、一致度が増加するに伴って重み点数Ｐが高くなるように変換特性が定められたマップを用い、該マップを用いて一致度を重み点数Ｐに変換することで設定することができる。なお、図６（Ａ）に示す変換特性は単なる一例であり、例えば図６（Ａ）に示す変換特性では一致度の変化に対して重み点数Ｐが変化しない不感領域が存在するが、このような不感領域のない変換特性（例として図６（Ｂ）参照）であってもよい。また、一致度の変化に対して重み点数Ｐが非線形に変化する変換特性を用いてもよく、一致度が大きくなるに伴って重み点数Ｐが増加する変換特性であればよい。
【００８２】上記では、各ブロック毎に求めたエッジ強度積算値を、実際の顔領域における各ブロック毎のエッジ強度積算値を表すマッチング用パターンと照合して一致度を求め、顔候補領域に対する顔領域としての確度の評価結果に相当する重み点数を、前記一致度に基づいて設定しているので、各顔候補領域に対し、人物の顔の内部構造に基づき、顔領域としての確度を精度良く評価することができる。また、顔内部の特定部分を抽出したり、二値化のように閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化されると共に、顔内部の特定部分が正しく抽出されないことで、顔候補領域に対する評価の精度が低下することも防止できる。
【００８３】次のステップ１４４では背景領域判定処理を行う。この背景領域判定処理について、図３のフローチャートを参照して説明する。ステップ１６０では顔候補領域抽出処理（ステップ１００）によって抽出された顔候補領域の中から判定対象の単一の顔候補領域のデータを取り込み、次のステップ１６２では判定対象の顔候補領域の明度Ｍを演算する。なお、明度Ｍは判定対象の顔候補領域内の明度の平均値（絶対値）であってもよいし、処理対象画像の明度の全画面平均値に対する判定対象の顔候補領域内の平均明度の比（相対値）であってもよい。
【００８４】ステップ１６４では、ステップ１６２で求めた明度が所定値以上か否か判定する。前記判定が否定された場合には何ら処理を行うことなくステップ１７６へ移行するが、前記判定が肯定された場合にはステップ１６６へ移行し、処理対象画像のうち判定対象の顔候補領域外に相当する範囲から、顔候補領域との明度の差が所定範囲内の画素のみから成る領域（背景候補領域）を抽出する。なお、ステップ１６６は請求項５に記載の「候補領域との明度の差が所定範囲内の画素から成る背景候補領域を探索」することに対応している。
【００８５】そして、次のステップ１６８では、抽出した背景候補領域の総面積を演算し、判定対象の顔候補領域の面積に対する背景候補領域の総面積の比率（面積比）を演算する。また、次のステップ１７０では抽出した背景候補領域の画像周縁部への偏在度合いを演算する。この偏在度合いとしては、例えば処理対象画像の画面中心と、背景候補領域を構成する各画素と、の距離を積算した値を用いることができる。
【００８６】ステップ１７２では、背景候補領域の面積比が第１の所定値以上か否か、及び背景候補領域の偏在度合いが第２の所定値以上か否か、の少なくとも一方を満足するか否か判定する。例えば処理対象の画像が、図７に示すように高明度で面積の広い背景領域（図７では空に相当する領域）が、手前に存在する物体（図７では木）に相当する領域によって複数の領域に分割されて画像である場合、図７にハッチングで示すように背景領域の一部が顔候補領域として誤抽出される可能性がある。
【００８７】しかし、このような画像では、誤抽出された顔候補領域の周囲に、該顔候補領域と同様の明度の領域が存在しており、多くの場合、この領域は広面積であると共に画像周縁部に偏在している。従って、ステップ１７２の判定が肯定された場合には、判定対象の顔候補領域は背景領域の一部である可能性が高いと推定される。このため、ステップ１７２の判定が否定された場合には何ら処理を行うことなくステップ１７６へ移行するが、判定が肯定された場合にはステップ１７４へ移行し、背景候補領域の面積比及び偏在度合いに応じて、判定対象の顔候補領域に対する重み点数が低下するように重み点数を修正する。
【００８８】この重み点数Ｐの修正は、例えば図８（Ａ）に示すマップを用いて行うことができる。このマップは、初期（当初の）重み点数を横軸に、修正後の重み点数を縦軸にとった座標上で、原点を通りかつ傾きが１よりも小さい直線によって表される変換特性を有している。上記のようなマップを用いて重み点数Ｐを変換（下方修正）することにより、実際には顔領域ではない可能性が高い判定対象の顔候補領域が後処理に及ぼす悪影響の程度を小さくすることができる。なお、ステップ１７４における重み点数の修正は、請求項５に記載の「候補領域に対する主要部に相当する領域としての確度の評価を低くする」ことに対応している。
【００８９】次のステップ１７６では全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ１６０に戻り、全ての顔候補領域に対してステップ１６０〜１７６を繰り返す。ステップ１７６の判定が肯定されると背景領域判定処理を終了し、図２のフローチャートのステップ１４６へ移行する。なお、上述した処理を経て各顔候補領域に対して最終的に設定される重み点数Ｐは、各顔候補領域に対する人物の顔に相当する領域としての確度の最終評価を表す評価値に対応している。
【００９０】ステップ１４６では、各顔候補領域の重み点数Ｐを顔領域判定用の閾値ＴＨFと各々比較し、重み点数Ｐが閾値ＴＨF 以上の顔候補領域を顔領域として抽出（選択）する。なお、マッチング用パターンとの一致度が高く、背景候補領域の経面積比・偏在度合いが低い顔候補領域については、最終的な重み点数Ｐが高くなるので、顔領域である確度が高い顔候補領域が顔領域として抽出されることになる。
【００９１】また次のステップ１４８では、次の（１）式又は（２）式に従って処理対象の画像の顔領域濃度Ｍfaceを演算し、顔領域抽出・濃度演算処理を終了する。
【００９２】
【数１】
但し、ｉは各顔候補領域を識別するための符号、Ｎは顔候補領域の総数、Ｍi は顔候補領域ｉの濃度、Ｐi は顔候補領域ｉの重み点数、Ｓi は顔候補領域ｉの面積である。
【００９３】（１）式及び（２）式より明らかなように、顔領域濃度Ｍfaceは各顔候補領域の濃度Ｍの加重平均値であり、（１）式では各顔候補領域の重み点数Ｐに基づいて各顔候補領域を重み付けしており、（２）式では重み点数Ｐ及び面積Ｓに基づいて各顔候補領域を重み付けしている。
【００９４】上記の顔領域抽出・濃度演算処理を行うと、オートセットアップエンジン４４は、更に、イメージプロセッサ４０で実行される各種の画像処理の処理条件を演算するが、顔領域抽出・濃度演算処理の処理結果は一部の画像処理の処理条件の演算に利用される。例えば先のステップ１４６で抽出された顔領域は、イメージプロセッサ４０で実行される顔領域又はその一部のみを対象とした画像処理（例えば顔領域に対するシャープネス補正や赤目補正等）の演算に利用され、前記画像処理が顔領域のみを対象として行われるように処理条件が設定される。また、先のステップ１４８で演算された顔領域濃度Ｍfaceは、例えばイメージプロセッサ４０で実行される画像全体を対象とした画像処理（例えば色・濃度補正等）に利用され、例えば顔領域濃度Ｍfaceが所定濃度になるように濃度補正条件等の処理条件が演算される。
【００９５】先にも説明したように、顔領域の抽出及び顔領域濃度Ｍfaceはマッチング用パターンとの一致度に基づいて設定した重み点数を用いて行っているので、顔候補領域抽出処理によって抽出された顔候補領域の中に、実際には顔領域でない顔候補領域が誤抽出により混在していたとしても、実際には顔領域でない顔候補領域が顔領域として抽出される確率が大幅に低減されると共に、実際には顔領域でない顔候補領域の濃度によって顔領域濃度が大幅に変化することも防止することができる。従って、顔領域の抽出結果又は顔領域濃度Ｍfaceを利用して処理条件が演算される各画像処理に対しても適正な処理条件が得られ、ファインスキャン画像データを対象としてイメージプロセッサ４０で実行される各画像処理についても適正な処理結果が得られる。
【００９６】〔第２実施形態〕次に本発明の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態に係る顔領域抽出・濃度演算処理について、図９のフローチャートを参照し、第１実施形態と異なる部分についてのみ説明する。
【００９７】なお、本第２実施形態に係る顔領域抽出・濃度演算処理は、請求項３の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン４４のＣＰＵ４６により、顔領域抽出・濃度補正プログラムが実行されることにより実現される。顔領域抽出・濃度補正プログラムは、当初は、情報記憶媒体７２（図１参照）に記憶されており、パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入が指示されると、情報読出装置によって情報記憶媒体７２から顔領域抽出・濃度補正プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。そして顔領域抽出・濃度補正処理を実行すべきタイミングが到来すると、ＲＯＭ５０から顔領域抽出・濃度補正プログラムが読み出され、顔領域抽出・濃度補正プログラムがＣＰＵ４６によって実行される。これにより、オートセットアップエンジン４４は請求項７の発明に係る画像処理装置として機能する。このように、本第２実施形態に係る情報記憶媒体７２は請求項９に記載の記録媒体に対応している。
【００９８】本第２実施形態に係る顔領域抽出・濃度演算処理では、顔候補領域抽出処理を行い（ステップ１００）、天地情報の有無を判定し（ステップ１０２）、天地情報が有る場合にはステップ２００へ移行し、顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込む。ステップ２０２では、ステップ２００でデータを取り込んだ顔候補領域に対し、高濃度方向に凸の濃度パターンの領域及び低濃度方向（高輝度方向）に凸の濃度パターンの領域が存在しているか否かを探索する。なお、ステップ２０２は請求項７に記載の第２の抽出手段に対応している。
【００９９】人物の顔に相当する顔領域のうち濃度が所定値以上の領域（高濃度領域）は、例として図１０（Ａ）に示すように、眼部及びその周囲に相当する領域（眼部領域）に存在しており、眼部領域内における濃度変化は、図１０（Ｂ）に示すように急峻な傾きで高濃度方向に凸の変化パターンとなっている。なお、眼部領域には眼球、瞼、睫毛、眉毛等が近接した位置に存在していることから、眼部領域における実際の濃度変化はより複雑であるが、人物の顔のうち眼部及びその周辺は窪んでいるので、眼部領域内のおおよその濃度変化は、図１０（Ａ）に示すような変化パターンを示す。
【０１００】また、人物の顔に相当する顔領域のうち輝度が所定値以上の領域（高輝度領域）は、例として図１１（Ａ）に示すように、頬部に相当する領域（頬部領域）や鼻に相当する領域、額に相当する領域に存在しており、例えば頬部領域内における輝度変化は、図１１（Ｂ）に示すように緩やかな傾きで高輝度方向に凸の変化パターンとなっている。従って、処理対象の顔候補領域が人物の顔に相当する顔領域である場合には、ステップ２０２の処理により、高濃度方向に凸の濃度パターンの領域として眼部領域が抽出され、低濃度方向に凸の濃度パターンの領域として頬部領域が抽出されることになる。
【０１０１】次のステップ２０４では、ステップ２０２の探索により濃度パターンが発見されたか否か判定する。判定が否定された場合には、処理対象の顔候補領域は顔領域でない可能性が非常に高いので、ステップ２０６で顔領域としての整合度に０を代入してステップ２１０へ移行する。一方、ステップ２０４の判定が肯定された場合にはステップ２０８へ移行し、天地情報が表す天地方向を基準として、ステップ２０２で発見・抽出した濃度パターン領域の顔領域内における位置及び面積（濃度パターン領域についての濃度ヒストグラムの形状や、濃度パターン領域内の濃度の変化の仕方（例えば濃度変化の傾きや濃度パターンにおける山の高さとすそ野の広さとの比等）も含めてもよい）に基づいて、抽出した全ての濃度パターン領域について眼部及び頬部に相当する領域としての整合度を判定する。
【０１０２】すなわち、処理対象の顔候補領域が顔領域である場合、眼部領域に相当する高濃度方向に凸の濃度パターン領域が例えば図４（Ｂ）にハッチングで示すブロック対内に各々存在しており、前記濃度パターン領域と処理対象の顔候補領域との面積比も、眼部領域としての面積比に相当する所定の数値範囲内である可能性が高い。従って、高濃度方向に凸の濃度パターン領域の眼部に相当する領域としての整合度は、例えば天地情報が表す天地方向を基準にして眼部領域が存在しているべき範囲（図４（Ｂ）にハッチングで示すブロック対）を設定し、設定した範囲と前記濃度パターン領域の位置との一致度を求めると共に、前記濃度パターン領域と処理対象の顔候補領域との面積比を、眼部領域としての面積比に相当する所定の数値範囲と比較して一致度を求め、双方の一致度に基づき２次元のマップ等を用いて判定することができる。
【０１０３】また、処理対象の顔候補領域が顔領域である場合、頬部領域に相当する低濃度方向（高輝度方向）に凸の濃度パターン領域が、例えば図４（Ｂ）にハッチングで示すブロックの下方に隣接するブロック対内に各々存在しており、前記濃度パターン領域と処理対象の顔候補領域との面積比も、頬部領域としての面積比に相当する所定の数値範囲内である可能性が高い。従って、低濃度方向に凸の濃度パターン領域の頬部に相当する領域としての整合度についても、例えば天地情報が表す天地方向を基準にして頬部領域が存在しているべき範囲（図４（Ｂ）にハッチングで示すブロックの下方に隣接するブロック対）を設定し、設定した範囲と前記濃度パターン領域の位置との一致度を求めると共に、前記濃度パターン領域と処理対象の顔候補領域との面積比を、頬部領域としての面積比に相当する所定の数値範囲と比較して一致度を求め、双方の一致度に基づき２次元のマップ等を用いて判定することができる。
【０１０４】そしてステップ２０９では、抽出した各濃度パターン領域に対して判定した整合度に基づいて、処理対象の顔候補領域に対して顔領域としての整合度を演算・設定し、ステップ２１０へ移行する。なお、顔領域の整合度としては、例えば各濃度パターン領域毎の整合度の総合計等を用いることができる。
【０１０５】なお、上記では抽出した濃度パターン領域に対して眼部又は頬部に相当する領域としての整合度を判定しているが、特に低濃度方向に凸の濃度パターン領域に対しては、鼻や額に相当する領域としての整合度も併せて判定するようにしてもよい。但し、眼部及び頬部が顔領域の略左右対称な位置に一対存在しているのに対し、鼻や額は顔領域の左右方向に沿った略中央に１個のみ存在しているので、特定の濃度パターン領域について鼻や額に相当する領域としての整合度が高くなったとしても、該濃度パターン領域が実際には鼻や額に相当する領域ではなく、偶然に整合度が高くなる場合もあり、眼部や頬部と比較して整合度判定の信頼性は若干低い。このため、顔候補領域に対する顔領域としての整合度の設定にあたっては、鼻や額に相当する領域としての整合度は、低い重みで顔領域としての整合度に反映されるように設定することが望ましい。
【０１０６】次のステップ２１０では全ての顔候補領域について処理（整合度の判定）を行ったか否か判定する。判定が否定された場合にはステップ２００に戻り、各顔候補領域に対してステップ２００〜２０８の処理・判定を各々行う。これにより、各顔候補領域に対して顔領域としての整合度が各々判定・設定されることになる。ステップ２１０の判定が肯定されるとステップ２４４へ移行する。
【０１０７】一方、ステップ１０２の判定が否定された場合（天地情報が無かった場合）にはステップ２２０へ移行し、ステップ１００の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込んだ後に、次のステップ２２２において、先のステップ２０２と同様に、高濃度方向に凸の濃度パターンの領域及び低濃度方向（高輝度方向）に凸の濃度パターンの領域が存在しているか否かを探索する。このステップ２２２も請求項７に記載の第２の抽出手段に対応している。
【０１０８】ステップ２２４では、ステップ２２２の探索により濃度パターンが発見されたか否か判定する。判定が否定された場合には、処理対象の顔候補領域は顔領域でない可能性が非常に高いので、ステップ２２６で顔領域としての整合度に０を代入してステップ２３８へ移行する。
【０１０９】一方、ステップ２２４の判定が肯定された場合にはステップ２２８へ移行して変数ｎに１を代入し、次のステップ２３０では、第ｎ方向（この場合は第１方向）を基準（天地方向）として、ステップ２２２で発見・抽出した濃度パターン領域の顔領域内における位置及び面積に基づいて、抽出した全ての濃度パターン領域について、眼部に相当する領域としての整合度及び頬部に相当する領域としての整合度を判定する。そして次のステップ２３１では、抽出した各濃度パターン領域に対して判定した整合度に基づいて、先のステップ２０９と同様にして処理対象の顔候補領域に対して顔領域としての整合度を演算・設定する。
【０１１０】ステップ２３２では変数ｎの値が４になったか否か判定し、判定が否定された場合にはステップ２３４で変数ｎの値を１だけインクリメントしてステップ２３０へ戻る。これにより、ステップ２３０、２３１では、第１〜第４方向を各々天地方向と仮定して、処理対象の顔候補領域に対し、顔領域としての整合度が各々判定されることになる。
【０１１１】各方向について整合度が各々判定されると、ステップ２３２の判定が肯定されてステップ２３６へ移行し、第１〜第４方向のうち整合度が最大となった方向を記憶する。次のステップ２３８では、全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ２２０に戻り、ステップ２２０〜２３８を繰り返す。これにより、全ての顔候補領域に対し、第１〜第４方向について顔領域としての整合度が各々判定される。
【０１１２】ステップ２３８の判定が肯定されるとステップ２４０へ移行し、先のステップ２３６で各顔候補領域について各々記憶した整合度が最大の方向に基づいて、第１実施形態で説明したステップ１３８と同様にして画像の天地方向を判定する。次のステップ２４２では、判定した天地方向に対応する所定方向についての各顔候補領域毎の顔領域としての整合度を各顔候補領域に設定し、ステップ２４４へ移行する。
【０１１３】そしてステップ２４４では、各顔候補領域に対して設定した整合度に応じて、各顔候補領域に対して重み点数を設定する。このステップ２４４は、ステップ２０８、２０９、２３０、２３１、２４２と共に請求項７に記載の評価手段に対応している。ステップ２４４における重み点数の設定についても、例として図６（Ａ）や図６（Ｂ）に示すように、整合度が高くなるに伴って重み点数Ｐが高くなるように変換特性が定められたマップを用い、該マップを用いて整合度を重み点数Ｐに変換することで行うことができる。なお、次のステップ１４４以降の処理は第１実施形態と同様であるので説明を省略する。
【０１１４】上記では、眼部及び頬部に特有の濃度パターンが生じている濃度パターン領域を抽出し、抽出した濃度パターン領域の、顔候補領域内における位置及び面積比に基づいて、抽出した濃度パターン領域の眼部に相当する領域としての整合度及び頬部に相当する領域としての整合度を判定して顔候補領域に対する顔領域としての整合度を判定し、顔候補領域に対する重み点数を前記整合度に基づいて設定しているので、顔候補領域に対し、人物の顔の内部構造に基づき、顔領域としての確度を精度良く評価することができる。また、上記では眼部や頬部に相当する領域の外縁にエッジが存在していない場合であっても候補領域に対する評価の精度が低下することを防止できると共に、二値化に基づく領域分割のように、閾値を変更しながら繰り返し処理を行う必要が無いので処理も簡略化される。
【０１１５】なお、上記では背景候補領域の面積比が第１の所定値以上か否か、及び背景候補領域の偏在度合いが第２の所定値以上か否か、の少なくとも一方の判定を満足する顔候補領域に対し、重み点数が低下するように修正していたが、これに限定されるものではなく、顔候補領域から顔領域を抽出する処理を行う場合には、該顔領域の抽出において、前記少なくとも一方の判定を満足する顔候補領域に対しては、例として図８（Ｂ）に示すように顔領域判定用の閾値が高くなるように閾値を変更してもよい。これにより、背景領域である可能性が比較的高い顔候補領域が顔領域として抽出されにくくすることができる。なお閾値ＴＨF の変更量は一定値としてもよいし、背景候補領域の面積比と第１の所定値との差、及び背景候補領域の偏在度合いと第２の所定値との差に応じて閾値ＴＨF の変更量を変化させてもよい。
【０１１６】また、各顔候補領域に設定する重み点数Ｐ、顔領域判定用の閾値ＴＨF 、或いは顔領域濃度Ｍfaceにおいて各顔候補領域の濃度Ｍに付与する重みは、顔領域抽出・濃度演算処理の処理結果を利用して行われる画像処理の種類に応じて変更するようにしてもよい。
【０１１７】例えば顔領域抽出・濃度演算処理による顔領域の抽出結果を利用して、イメージプロセッサ４０において、抽出された顔領域に対してのみ局所的にエッジ強調フィルタをかけて顔領域のシャープネスを強調するシャープネス強調処理が行われる場合、シャープネス強調の程度やフィルタの種類にも依存するが、実際には顔領域でない領域にもシャープネスの強調が行われたとしても視覚上は悪影響が小さい（目立たない）ことがある。このような場合には、顔領域判定用の閾値ＴＨF の値を通常よりも小さくし（すなわち顔候補領域の選択の基準を変更し）、より多くの顔候補領域が顔領域と判定されるようにしてもよい。顔領域判定用の閾値ＴＨF の値を低くするに従って、実際の顔領域に対応する顔候補領域が顔領域でないと誤判定される確率が低くなるので、上記により、画像中の顔領域に対して漏れなくシャープネス強調処理を施すことができる。
【０１１８】また、顔領域判定用の閾値ＴＨF の値を変更することに代えて、第１実施形態に記載した一致度や第２実施形態に記載した整合度に対し、重み点数Ｐとして通常よりも大きな値を設定する（すなわち各顔候補領域に対する評価の基準を変更する）ことで、より多くの顔候補領域が顔領域と判定されるようにすることも可能である。特にシャープネス強調処理として、重み点数Ｐが大きくなるに従ってシャープネスの強調度合いを強くする処理が行われる場合には、重み点数Ｐを上記のように設定することでシャープネスの強調度合いを強めにコントロールすることも可能となる。
【０１１９】また例えば、顔領域抽出・濃度演算処理による顔領域の抽出結果及び顔領域濃度Ｍfaceを利用して、抽出された顔領域に対してのみ顔領域濃度Ｍfaceに基づき局所的に濃度を補正する濃度補正処理が行われる場合、濃度補正の程度にも依存するが、実際には顔領域でない領域にも濃度補正が行われたとしても視覚上は悪影響が小さい（目立たない）ことがある。このような場合には、顔領域判定用の閾値ＴＨF の値を通常よりも小さくし、より多くの顔候補領域が顔領域と判定されるようにしてもよい。顔領域判定用の閾値ＴＨF の値を低くするに従って、実際の顔領域に対応する顔候補領域が顔領域でないと誤判定される確率が低くなるので、上記により、画像中の顔領域に対して漏れなく濃度補正処理を施すことができる。
【０１２０】上記の説明は、顔領域の抽出において、実際には顔領域でない領域を誤って顔領域として抽出した場合にも影響が小さい画像処理が行われる場合であるが、逆に実際には顔領域でない領域を誤って顔領域として抽出した場合に多大な影響を受ける画像処理が行われる場合には、例えば顔領域判定用の閾値ＴＨF の値を通常よりも大きくしたり、一致度や整合度に対し重み点数Ｐとして通常よりも小さな値を設定することで、顔領域としての確度がより高い顔候補領域のみが顔領域として抽出されるようにすることも可能である。
【０１２１】また、顔領域濃度についても、例えば次の（３）式に示すように、先の（１）式((２）式でもよい）で求まる顔領域濃度Ｍfaceと、他の画像特徴量Ｄ（例えば画像全体の平均濃度、非顔候補領域の平均濃度等）との加重平均値Ｍface’（但し、αF は顔領域濃度Ｍfaceに対する重み係数、α0 は画像特徴量Ｄに対する重み係数）を顔領域濃度として演算する場合、演算した顔領域濃度を利用して行われる画像処理の種類に応じて重み係数αF ，α0 の値を変更する（すなわち各顔候補領域に対する重み付けの基準を相対的に変更する）ことで、各顔候補領域の濃度Ｍに付与する重みを変更するようにしてもよい。
【０１２２】
Ｍface’＝αF ・Ｍface＋α0 ・Ｄ …（３）
また、顔領域抽出・濃度演算処理の処理結果を利用して行われる画像処理として、顔領域抽出・濃度演算処理の処理結果に対する要求が異なる複数種の画像処理（例えば、抽出された顔領域の中に実際には顔領域でない領域が混在していないことが望ましい画像処理と、抽出された顔領域の中に画像中の全ての顔領域が含まれていることが望ましい画像処理等）が各々行われる場合には、それぞれの画像処理に対応して顔領域の抽出や顔領域濃度の演算を複数回行ってもよい。本実施形態では、一致度や整合度を各顔候補領域の顔領域としての信頼度（確度）として用いることができ、上述したように、各顔候補領域に対する重み点数設定の基準、顔領域判定の基準（閾値ＴＨF ）、各顔候補領域に対する重み付けの基準の少なくとも１つを変更することで、顔領域抽出結果や顔領域濃度演算結果としてそれぞれの画像処理が要求する結果を各々得ることができるので、前記複数種の画像処理が各々行われる場合にも、非常に複雑かつ時間がかかる顔候補領域抽出処理を、前記複数種の画像処理に対応して処理条件を変更しながら画像処理の種類数と同数回繰り返す必要はなく、顔領域抽出・濃度演算処理の処理時間を短縮することができ、画像処理装置１４の性能向上を実現できる。
【０１２３】また、上記ではプレスキャン画像データに基づきオートセットアップエンジン４４によって顔領域抽出・濃度演算処理を含む処理条件の演算を行い、ファインスキャン画像データに対する実際の画像処理はイメージプロセッサ４０で行う場合を説明したが、これに限定されるものでなく、単一の画像データに対して処理条件の演算、演算した処理条件での画像処理を順に行うようにしてもよく、これらの一連の処理を単一の処理部で行うようにしてもよい。
【０１２４】更に、上記では各顔候補領域に対して設定した重み点数に基づき、顔領域の抽出及び顔領域濃度の演算を各々行っていたが、これに限定されるものではなく、何れか一方のみを行うようにしてもよい。
【０１２５】また、上記では写真フィルムに記録された画像を読み取ることで得られた画像データを処理対象としていたが、これに限定されるものではなく、紙等の他の記録材料に記録された画像を読み取ることで得られた画像データや、デジタルカメラによる撮像によって得られた画像データ、或いはコンピュータによって生成された画像データを処理対象としてもよい。また、本発明は写真フィルムに記録されたフィルム画像を面露光により印画紙に露光記録する際の露光条件の決定に利用してもよいことは言うまでもない。
【０１２６】また、上記では画像中の人物の顔に相当する領域を主要部とした場合を説明したが、請求項５の発明はこれに限定されるものではない。一例として、部品や製品等の大量生産において、生産された部品や製品等が順に搬送されている状況を撮像すると共に、前記搬送されている状況を表す画像を撮像信号から所定のタイミングで抽出し、抽出した画像から、主要部に相当する領域として前記部品や製品等に対応する領域を抽出する等の場合に請求項５の発明を適用することも可能である。この場合、抽出した主要部領域は、例えば生産した部品や製品等を自動的に検査する等に利用することができる。
【０１２７】
【発明の効果】以上説明したように請求項１及び請求項６記載の発明は、画像中の人物の顔に相当すると推定される候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求め、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合して、候補領域の人物の顔に相当する領域としての確度を評価するので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【０１２８】請求項２記載の発明は、請求項１の発明において、人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように分割対象領域を分割するので、上記効果に加え、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる、という効果を有する。
【０１２９】請求項３及び請求項７記載の発明は、人物の顔に相当すると推定される候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、抽出した領域の特定の部分に相当する領域としての整合性を判定し、候補領域の人物の顔に相当する領域としての確度を評価するので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【０１３０】請求項４記載の発明は、請求項３の発明において、高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の眼部に対応する領域としての整合性を判定するか、又は低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の頬部に対応する領域としての整合性を判定するので、上記効果に加え、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる、という効果を有する。
【０１３１】請求項５記載の発明は、画像中の主要部に相当すると推定される候補領域の明度が所定値以上の場合に、候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、候補領域外の範囲内で探索し、抽出された背景候補領域の候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、候補領域に対する主要部に相当する領域としての確度の評価を低くするので、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制できる、という優れた効果を有する。
【０１３２】請求項８記載の発明は、画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める第２のステップ、各小領域毎に求めた特徴量を、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の特徴量の関係を表すパターンと照合し、候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムを記録媒体に記録したので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【０１３３】請求項９記載の発明は、画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２のステップ、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、抽出した領域の特定の部分に相当する領域としての整合性を判定し、候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムを記録媒体に記録したので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】本実施形態に係る画像処理システムの概略構成図である。
【図２】第１実施形態に係る顔領域抽出・濃度演算処理の内容を示すフローチャートである。
【図３】背景領域判定処理の内容を示すフローチャートである。
【図４】（Ａ）は顔候補領域の分割、（Ｂ）は分割によって得られた所定数のブロックと照合するためのマッチング用パターンの一例を各々示す概念図である。
【図５】濃度変化値（エッジ強度）を求めるための微分フィルタの一例を示す概念図である。
【図６】（Ａ）及び（Ｂ）はマッチング用パターンとの一致度に応じて顔候補領域に重み点数を設定するためのマップを各々示す線図である。
【図７】背景領域が顔候補領域として誤抽出される可能性が高い画像の一例を示すイメージ図である。
【図８】（Ａ）は背景領域である可能性が比較的高い顔候補領域に対する重み点数を修正するためのマップを示す線図、（Ｂ）は前記顔候補領域が存在していた場合の顔領域判定用の閾値の変更を説明する線図である。
【図９】第２実施形態に係る顔領域抽出・濃度演算処理の内容を示すフローチャートである。
【図１０】（Ａ）は顔領域内の濃度が所定値以上の高濃度領域の分布の一例を示すイメージ図、（Ｂ）は顔領域のうち眼部に相当する領域内における濃度変化の一例を示す線図である。
【図１１】（Ａ）は顔領域内の輝度が所定値以上の高輝度領域の分布の一例を示すイメージ図、（Ｂ）は顔領域のうち頬部に相当する領域内における輝度変化の一例を示す線図である。
【符号の説明】
１０ 画像処理システム
１４ 画像処理装置
４０ イメージプロセッサ
４４ オートセットアップエンジン
７２ 情報記憶媒体
【特許請求の範囲】
【請求項１】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求め、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する画像処理方法。
【請求項２】 人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように、分割対象領域を前記所定数の小領域に分割することを特徴とする請求項１記載の画像処理方法。
【請求項３】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する画像処理方法。
【請求項４】 人物の顔の眼部に特有の高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記眼部に対応する領域としての整合性を判定するか、又は人物の顔の頬部に特有の低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記頬部に対応する領域としての整合性を判定することを特徴とする請求項３記載の画像処理方法。
【請求項５】 画像データに基づいて、該画像データが表す画像中の主要部に相当すると推定される候補領域を抽出し、前記抽出した候補領域の明度が所定値以上の場合に、前記候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、前記候補領域外の範囲内で探索し、前記背景候補領域が抽出され、かつ抽出された背景候補領域の前記候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、前記候補領域に対する主要部に相当する領域としての確度の評価を低くする画像処理方法。
【請求項６】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める演算手段と、前記演算手段によって前記各小領域毎に求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含む画像処理装置。
【請求項７】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２の抽出手段と、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含む画像処理装置。
【請求項８】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める第２のステップ、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録された記録媒体。
【請求項９】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２のステップ、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録された記録媒体。
【請求項１】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求め、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する画像処理方法。
【請求項２】 人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように、分割対象領域を前記所定数の小領域に分割することを特徴とする請求項１記載の画像処理方法。
【請求項３】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する画像処理方法。
【請求項４】 人物の顔の眼部に特有の高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記眼部に対応する領域としての整合性を判定するか、又は人物の顔の頬部に特有の低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記頬部に対応する領域としての整合性を判定することを特徴とする請求項３記載の画像処理方法。
【請求項５】 画像データに基づいて、該画像データが表す画像中の主要部に相当すると推定される候補領域を抽出し、前記抽出した候補領域の明度が所定値以上の場合に、前記候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、前記候補領域外の範囲内で探索し、前記背景候補領域が抽出され、かつ抽出された背景候補領域の前記候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、前記候補領域に対する主要部に相当する領域としての確度の評価を低くする画像処理方法。
【請求項６】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める演算手段と、前記演算手段によって前記各小領域毎に求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含む画像処理装置。
【請求項７】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２の抽出手段と、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含む画像処理装置。
【請求項８】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を各小領域毎に求める第２のステップ、前記各小領域毎に求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合することにより、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録された記録媒体。
【請求項９】 画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第１のステップ、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第２のステップ、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも１つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合性を判定し、前記候補領域の人物の顔に相当する領域としての確度を評価する第３のステップを含む処理をコンピュータに実行させるためのプログラムが記録された記録媒体。
【図１】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図１１】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図１１】
【公開番号】特開２０００−１３７７８８（Ｐ２０００−１３７７８８Ａ）
【公開日】平成１２年５月１６日（２０００．５．１６）
【国際特許分類】
【出願番号】特願平１０−３０８３２２
【出願日】平成１０年１０月２９日（１９９８．１０．２９）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１２年５月１６日（２０００．５．１６）
【国際特許分類】
【出願日】平成１０年１０月２９日（１９９８．１０．２９）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]