画像処理装置、およびカメラ
【課題】画像内から人物の顔を検出すること。
【解決手段】制御装置１０４は、画像内から人物の肌の色の画素で構成される肌色領域を抽出し、肌色領域が楕円形状をしているかを判定するための充足率と、肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する。そして、制御装置１０４は、算出した指標に基づいて、肌色領域が人物の顔に相当する顔領域であるか否かを判定する。
【解決手段】制御装置１０４は、画像内から人物の肌の色の画素で構成される肌色領域を抽出し、肌色領域が楕円形状をしているかを判定するための充足率と、肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する。そして、制御装置１０４は、算出した指標に基づいて、肌色領域が人物の顔に相当する顔領域であるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、およびカメラに関する。
【背景技術】
【０００２】
次のような人物認識装置が知られている。この人物認識装置は、入力された画像内から人物の顔を検出し、検出した顔のサイズがあらかじめ設定された範囲内にある場合に、検出した顔の特徴量と、記録されている特徴量とを照合することにより、特定の人物の顔を認識する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００４−１２６８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の人物認識装置では、画像内から人物の顔の特徴量として、目や鼻などの顔部品の位置を特定する必要があるため、画像内の顔が横を向いていたり、画像内での顔のサイズが小さい場合には、特徴量を抽出することができず、人物の顔を検出することができなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、肌色領域が楕円形状をしているかを判定するための充足率と、肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、算出手段で算出した指標に基づいて、肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とする。
本発明では、算出手段は、肌色領域の縦横比を指標として算出するようにしてもよい。
画像に対してモルフォロジー処理を施すモルフォロジー処理実行手段をさらに備え、算出手段は、モルフォロジー処理実行後の画像を対象として指標を算出するようにしてもよい。
判定手段が肌色領域を人物の顔に相当する顔領域であると判定した場合に、顔領域の下部に存在する人物の体を検出する体検出手段をさらに備えるようにしてもよい。
本発明によるカメラは、画像を取得する画像取得手段と、画像取得手段で取得した画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、肌色領域が楕円形状をしているかを判定するための充足率と、肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、算出手段で算出した指標に基づいて、肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像内の顔が横を向いていたり、画像内での顔のサイズが小さい場合でも、人物の顔を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、受光センサー１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００８】
受光センサー１０２は、複数の受光素子が２次元配列されており、各受光素子による受光画像を制御装置１０４へ出力する。図２に受光センサー１０２における受光素子の配置例を示す。例えば、図２（ａ）に示すようなポートレート写真を撮影する場合を撮影する場合について説明する。この場合、受光センサー１０２の各受光素子は、図２（ｂ）に示すように配置されている。この図２（ｂ）においては、格子状に配列された複数の枠のそれぞれが、１つの受光素子を示している。
【０００９】
撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。また、制御装置１０４は、後述する人物の検出処理を行う。
【００１１】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１２】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１３】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１４】
本実施の形態では、制御装置１０４は、受光センサー１０２から出力される受光画像内に写っている人物を検出する。このために、制御装置１０４は、以下に説明する処理を実行する。なお、本実施の形態では、受光センサー１０２からの出力される受光画像は、ＲＧＢ表色系で表されているものとする。すなわち、受光画像は、図２（ｂ）に示した各枠内が１画素に相当し、各画素は、Ｒ、Ｇ、Ｂの各値を有している。
【００１５】
本実施の形態では、受光センサー１０２からは、図２（ｂ）に示した状況における受光画像が制御装置１０４に出力されるものとして、以下の説明を行う。制御装置１０４は、まず、受光画像の各画素ごとに、Ｒ、Ｇ、Ｂの各値を次式（１）を用いて色相（Ｈｕｅ）の角度に変換する。
【数１】
なお、色相は、図３に示す色相環により表され、色相（Ｈｕｅ）の角度とは、各画素の色相値の色相環上での角度をいう。
【００１６】
そして、制御装置１０４は、受光画像内から、Ｈｕｅの角度が人物の肌の色を表す範囲内、例えば１８０度から２２０度の範囲内にある画素を抽出する。これによって、受光画像内から人物の肌の色で構成される領域を抽出することができる。例えば、図４（ａ）に示すように、受光画像内から肌の色の領域４ａと肌の色の領域４ｂとを抽出することができる。この図４（ａ）においては、受光画像内で肌の色の領域４ａおよび４ｂを明確に示すために、領域４ａおよび領域４ｂ内を白色で表している。
【００１７】
なお、肌色領域として抽出するＨｕｅの角度を上述した１８０度から２２０度の範囲とすることによって、人種を問わず人物の肌の色で構成される領域を抽出することができる。すなわち、被写体が肌の色がいわゆる肌色である黄色人種である場合に限らず、被写体が黒人や白人である場合にも、受光画像内から肌の色の領域を抽出することができる。このように、制御装置１０４が抽出する肌の色の領域は、いわゆる肌色の領域に限られないが、本実施の形態では、説明の簡略化のために、受光画像内から抽出される肌の色の領域を肌色領域と呼ぶこととする。
【００１８】
制御装置１０４は、受光画像内から肌色領域４ａおよび４ｂを抽出した後、図４（ｄ）に示すように、受光画像の肌色領域４ａおよび４ｂに含まれる画素を１、それ以外の画素を０とすることによって、受光画像を肌色領域とそれ以外の領域とに分離する。さらに制御装置１０４は、図４（ｄ）では、いずれも１で表されている肌色領域４ａと４ｂとを分離するためにラベリング処理を行う。例えば、制御装置１０４は、受光画像内から抽出したそれぞれの肌色領域に対して１、２、３・・・といったように連番でラベルを付与することによりラベリング処理を行う。
【００１９】
ラベリング処理の結果を図５に示す。この図５に示すように、肌色領域４ａにはラベルとして１が付与され、肌色領域４ｂにはラベルとして２が付与されている。すなわち、図４（ｄ）では肌色領域４ａおよび４ｂの各画素は１で表されていたため、この値に基づいてそれぞれの領域を区別することはできなかったが、図５では、肌色領域４ａの画素は１で表され、肌色領域４ｂの画素は２で表されているため、この値に基づいてそれぞれの領域を区別することができる。これによって、受光画像全体を肌色領域４ａと肌色領域４ｂとそれ以外の領域の３つの領域に分割することができる。
【００２０】
なお、図２、図４、および図５を対比して見ると、肌色領域４ａは人物の顔に相当するが、肌色領域４ｂは人物の手に相当する。このように、受光画像から肌色領域を抽出した場合には、被写体としての人物の肌が露出している部分が肌色領域として抽出される。あるいは、人物以外の被写体であっても、人物の肌と同様の色のものが存在する場合には、それらに相当する領域も肌色領域として抽出されることになる。
【００２１】
本実施の形態では、制御装置１０４は、受光画像内から抽出した肌色領域のうち、人物の顔に相当する領域を特定することによって、受光画像内に含まれる人物の顔を検出する。さらに、制御装置１０４は、検出した人物の顔の位置を基準として、人物の体を検出する。このために制御装置１０４は以下のように処理する。
【００２２】
制御装置１０４は、以下の（方法Ａ）から（方法Ｃ）のいずれかの方法によって、肌色領域が人物の顔に相当する領域であるか否かを判断する。なお、制御装置１０４が（方法Ａ）から（方法Ｃ）のいずれの方法によって判断を行うかは、あらかじめ設定されているものとする。
【００２３】
（方法Ａ）
方法Ａでは、制御装置１０４は、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として充足率を算出し、算出した充足率があらかじめ設定された閾値以上である場合には、その肌色領域は、人物の顔に相当する領域であると判断する。充足率を用いた判断方法の具体的について、図６を用いて説明する。
【００２４】
制御装置１０４は、図６に示すように、肌色領域４ａと４ｂのそれぞれについて、肌色領域を構成する全ての画素を包絡する包絡枠６ａおよび６ｂを設定する。そして、制御装置１０４は、包絡枠６ａと６ｂのそれぞれについて、包絡枠に内接する楕円６ｃおよび６ｄを設定する。制御装置１０４は、それぞれの肌色領域について設定した楕円の面積と、各楕円内の肌色領域の面積とを算出し、次式（２）により充足率を算出する。
充足率＝肌色領域の面積／楕円の面積 ・・・（２）
【００２５】
図６に示す例では、制御装置１０４は、肌色領域４ａの面積／楕円６ｃの面積を肌色領域４ａについての充足率として算出し、肌色領域４ｂの面積／楕円６ｄの面積を肌色領域４ｂについての充足率として算出する。なお、この充足率は、肌色領域が楕円形状をしているかを判定するための指標であり、この充足率が１に近いほど肌色領域は楕円に近い形状をしていることを意味し、充足率が０に使いほど肌色領域は楕円に近い形状をしていないことを意味する。すなわち、人物の顔の形状は一般的に楕円形状に近いことを加味すると、充足率が１に近いほど肌色領域は人物の顔に相当する領域である可能性が高いことを意味しており、充足率が０に使いほど肌色領域は人物の顔に相当する領域ではない可能性が高いことを意味している。
【００２６】
よって、制御装置１０４は、式（２）を用いて算出した充足率が、あらかじめ設定された所定の閾値、例えば０．８以上である場合には、対応する肌色領域は人物の顔に相当する領域であると判断する。一方、式（２）を用いて算出した充足率が、あらかじめ設定された所定の閾値、例えば０．８未満である場合には、対応する肌色領域は人物の顔に相当する領域ではないと判断する。
【００２７】
例えば、肌色領域４ａの面積が２６であり、楕円６ｃの面積が３１である場合には、肌色領域４ａの充足率は、２６／３１＝０．８４となり、これは上記閾値０．８以上であるため、肌色領域４ａは、人物の顔に相当する領域であると判断される。また、肌色領域４ｂの面積が１３であり、楕円６ｄの面積が２４である場合には、肌色領域４ｂの充足率は、１３／２４＝０．５４となり、これは上記閾値０．８未満であるため、肌色領域４ｂは、人物の顔に相当する領域ではないと判断される。
【００２８】
（方法Ｂ）
方法Ｂでは、制御装置１０４は、受光画像内における各肌色領域の大きさ、すなわち縦サイズ（高さ）と横サイズ（幅）とに基づいて、肌色領域の実際の大きさ（実空間上における大きさ）を推定し、推定した肌色領域の大きさ（推定実寸）に基づいて、肌色領域が人物の顔に相当する領域であるか否かを判断する。具体的には、制御装置１０４は、次式（３）により、肌色領域の長辺の推定実寸を算出する。
【００２９】
次式（３）において、Ｄは被写体距離、Ｐｉｘｅｌは肌色領域の長辺の画素数、ｆは焦点距離を表している。また、本実施の形態では、受光センサー１０２の画素ピッチが０．９ｍｍであるため、分子に０．９をかけている。
推定実寸＝０．９×Ｄ×Ｐｉｘｅｌ／ｆ ・・・（３）
【００３０】
例えば、図７に示すように肌色領域の縦方向の辺が長辺となる場合には、Ｐｉｘｅｌには肌色領域の縦方向の画素数が代入され、式（３）によって肌色領域の縦方向（ｙ方向）の推定実寸ｙが算出される。一方、肌色領域の横方向の辺が長辺となる場合には、Ｐｉｘｅｌには肌色領域の横方向の画素数が代入され、式（３）によって肌色領域の横方向（ｘ方向）の推定実寸ｘが算出される。
【００３１】
制御装置１０４は、算出した長辺の推定実寸が、人物の顔とみなすことができる所定の長さの範囲内、例えば１２０ｍｍから３００ｍｍの範囲内にある場合に、肌色領域は人物の顔に相当する領域であると判断する。例えば、図７に示す例において、肌色領域４ａの長辺である縦方向の辺の長さが６である場合、すなわち肌色領域４ａの縦方向の画素数が６には、式（３）におけるＰｉｘｅｌには６が代入される。この場合に、さらに被写体距離Ｄ＝９６０ｍｍ、焦点距離ｆ＝２８である場合には、式（３）により推定実寸ｙ＝０．９×９６０×６／２８＝１８５ｍｍとなる。
【００３２】
この肌色領域４ａの推定実寸ｙの算出結果は、上記閾値（１２０ｍｍから３００ｍｍ）の範囲内であるため、制御装置１０４は、肌色領域４ａは人物の顔に相当する領域であると判定する。
【００３３】
（方法Ｃ）
方法Ｃでは、制御装置１０４は、図８に示すように、肌色領域の縦サイズ（Ｐｉｘｅｌ＿Ｙ）と横サイズ（Ｐｉｘｅｌ＿Ｘ）を算出し、これらの比（Ｐｉｘｅｌ＿Ｘ／Ｐｉｘｅｌ＿Ｙ）を肌色領域の縦横比として算出する。そして、制御装置１０４は、算出した縦横比が人物の顔とみなすことができる比率の範囲内、例えば１．５から２の範囲内である場合には、肌色領域は人物の顔に相当する領域であると判断する。
【００３４】
例えば、図８に示す例において、肌色領域４ａの縦横比が８／５＝１．６であり、肌色領域４ｂの縦横比が６／５＝１．２である場合には、制御装置１０４は、肌色領域４ａは人物の顔に相当する領域であると判断し、肌色領域４ｂは人物の顔に相当する領域ではないと判断する。
【００３５】
制御装置１０４は、上記（方法Ａ）から（方法Ｂ）の方法のうち、あらかじめ設定されたいずれかの方法により、受光画像内に人物の顔に相当する肌色領域が含まれていると判断した場合には、その人物の顔に相当する肌色領域を人物の顔領域として特定する。そして、制御装置１０４は、特定した顔領域に基づいて、受光画像内における人物の体の検出を行う。具体的には、制御装置１０４は、図９（ａ）に示すように、受光画像内で特定した顔領域９ａの下部に、人物の体を検出するための体検出領域９ｂを設定する。例えば、制御装置１０４は、顔領域９ａの下部に、顔領域９ａの所定倍の体検出領域９ｂを設定する。
【００３６】
制御装置１０４は、図３に示した色相環を４５度幅で８象限に区分する。これによって、色相環は、図９（ｂ）に示すように、０度≦ｈｕｅ＜４５度の第１象限９ｃ、４５度≦ｈｕｅ＜９０度の第２象限９ｄ、９０度≦ｈｕｅ＜１３５度の第３象限９ｅ、１３５度≦ｈｕｅ＜１８０度の第４象限９ｆ、１８０度≦ｈｕｅ＜２２５度の第５象限９ｇ、２２５度 ≦ｈｕｅ＜２７０度の第６象限９ｈ、２７０度≦ｈｕｅ＜３１５度の第７象限９ｉ、３１５度≦ｈｕｅ＜３６０度の第８象限９ｊに区分される。
【００３７】
制御装置１０４は、体検出領域９ｂ内の各画素を上記各象限ごとに２値化する。すなわち、制御装置１０４は、上記各象限ごとに、体検出領域９ｂ内の各画素のうち、Ｈｕｅの角度がその象限のＨｕｅの角度の範囲内にある画素を白画素とし、それ以外の画素を黒画素としたマスク画像を生成する。これによって、第１象限のマスク画像９ｋから第８象限のマスク画像９ｒが生成される。
【００３８】
制御装置１０４は、生成した各象限のマスク画像のそれぞれについて、マスク画像内の白画素の重心位置に基づいて、白画素の重心周りの慣性モーメントを算出する。これによって、第１象限のマスク画像９ｋの白画素の重心周りの慣性モーメント〜第８象限のマスク画像９ｒの白画素の重心周りの慣性モーメントが算出される。なお、２値化して得たマスク画像における白画素の重心周りの慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、例えば、白画素の重心からの画素距離の２乗×０または１の濃度値の和により算出することができる。
【００３９】
そして、制御装置１０４は、次式（４）により、各マスク画像を体検出用のマスク画像として採用するか否かを判定するための評価値を算出する。
評価値＝白画素面積／白画素の重心周りの慣性モーメント ・・・（４）
なお、白画素面積とは、各マスク画像内における白画素で構成される領域の面積をいう。
【００４０】
制御装置１０４は、式（４）により算出した評価値が最も大きいマスク画像を体検出用のマスク画像として選択する。そして、選択した体検出用のマスク画像内の白画素で構成される領域を人物の体に相当する領域（体領域）として検出する。例えば、図９（ｂ）においては、各マスク画像の横に記載されている数値はそれぞれのマスク画像の評価値を表している。よって、この図９（ｂ）に示す例では、最も評価値が大きい第１象限のマスク画像９ｋが体検出用のマスク画像として選択され、当該マスク画像９ｋ内の白画素領域９ｓが体領域として検出されることになる。
【００４１】
以上の処理によって、制御装置１０４は、受光センサー１０２から出力される受光画像に基づいて、被写体としての人物の顔と体とを検出して、受光画像内における人物を検知することができる。
【００４２】
なお、制御装置１０４は、被写体としての人物が複数いる場合であっても、上記処理によって、受光画像内から各人物を検知することができる。例えば、図１０（ａ）に示すように、被写体として２人の人物がいる場合には、図１０（ｂ）に示すように、上述した処理によって受光画像内から人物の顔に相当する肌色領域、すなわち人物の顔領域１０ａと１０ｂとを検出する。
【００４３】
制御装置１０４は、検出した顔領域１０ａと１０ｂのそれぞれの下部に、体検出領域１０ｃと１０ｄとを設定する。そして、制御装置１０４は、体検出領域１０ｃと１０ｄとのそれぞれについて、上述した第１象限のマスク画像９ｋから第８象限のマスク画像９ｒを生成する。図１０（ｃ）は、体検出領域１０ｃについて生成した第１象限のマスク画像９ｋから第８象限のマスク画像９ｒを示し、図１０（ｄ）は、体検出領域１０ｄについて生成した第１象限のマスク画像９ｋから第８象限のマスク画像９ｒを示している。
【００４４】
制御装置１０４は、図１０（ｃ）に示した各マスク画像について、式（４）により評価値を算出し、算出された評価値が最も高いマスク画像を顔領域１０ａに対応する体検出用のマスク画像として選択する。例えば、図１０（ｃ）に示す例では、評価値が最も大きい第１象限のマスク画像９ｋが体検出用のマスク画像として選択され、当該マスク画像９ｋ内の白画素領域９ｓが顔領域１０ａに対応する人物の体領域として検出される。
【００４５】
また、制御装置１０４は、図１０（ｄ）に示した各マスク画像について、式（４）により評価値を算出し、算出された評価値が最も高いマスク画像を顔領域１０ｂに対応する体検出用のマスク画像として選択する。例えば、図１０（ｄ）に示す例では、評価値が最も大きい第１象限のマスク画像９ｋが体検出用のマスク画像として選択され、当該マスク画像９ｋ内の白画素領域９ｓが顔領域１０ｂに対応する人物の体領域として検出される。
【００４６】
図１１は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図１１に示す処理は、受光センサー１０２から受光画像が入力されると起動するプログラムとして、制御装置１０４によって実行される。
【００４７】
ステップＳ１０において、制御装置１０４は、式（１）を用いて、受光画像の各画素ごとに、Ｒ、Ｇ、Ｂの各値を色相（Ｈｕｅ）の角度に変換する。その後、ステップＳ２０へ進み、制御装置１０４は、受光画像内から、Ｈｕｅの角度が人物の肌の色を表す範囲内、例えば１８０度から２２０度の範囲内にある画素を抽出することによって、受光画像内から肌色領域を抽出する。その後、ステップＳ３０へ進む。
【００４８】
ステップＳ３０では、制御装置１０４は、上述したラベリング処理を行うことによって、受光画像内の各肌色領域にラベルを付すことにより、各肌色領域を区別し、ステップＳ４０へ進む。ステップＳ４０では、制御装置１０４は、上述した（方法Ａ）から（方法Ｃ）のいずれかの方法によって、各肌色領域が人物の顔に相当する領域であるか否かを判断する。ステップＳ４０で否定判断した場合には、処理を終了する。これに対して、ステップＳ４０で肯定判断した場合には、ステップＳ５０へ進む。
【００４９】
ステップＳ５０では、制御装置１０４は、受光画像内に含まれる人物の顔に相当する肌色領域を人物の顔領域として特定して、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、図９（ａ）に示したように、受光画像内で特定した顔領域９ａの下部に、人物の体を検出するための体検出領域９ｂを設定する。その後、ステップＳ７０へ進み、制御装置１０４は、色相環を４５度幅で８象限に区分し、各象限ごとに体検出領域９ｂ内の画像のマスク画像を生成する。その後、ステップＳ８０へ進む。
【００５０】
ステップＳ８０では、制御装置１０４は、各マスク画像ごとにマスク画像内の白画素の重心位置に基づいて、白画素の重心周りの慣性モーメントを算出し、式（４）により評価値を算出する。その後、ステップＳ９０へ進み、制御装置１０４は、８つのマスク画像の中から式（４）により算出した評価値が最も大きいマスク画像を体検出用のマスク画像として選択し、当該体検出用のマスク画像内の白画素領域を体領域として検出してステップＳ１００へ進む。
【００５１】
ステップＳ１００では、制御装置１０４は、ステップＳ５０で検出した全ての顔領域を対象として、ステップＳ６０からステップＳ９０の処理を完了したか否かを判断する。ステップＳ１００で否定判断した場合には、ステップＳ６０へ戻って処理を繰り返す。これに対して、ステップＳ１００で肯定判断した場合には、処理を終了する。
【００５２】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、受光画像内から人物の肌の色の画素で構成される肌色領域を抽出し、（方法Ａ）から（方法Ｃ）のいずれかの方法により肌色領域が人物の顔に相当する領域であるか否かを判定するようにした。これによって、受光画像内で人物の顔が横を向いていたり、画像内での顔のサイズが小さい場合でも、人物の顔を検出することができる。
【００５３】
（２）制御装置１０４は、肌色領域を人物の顔に相当する顔領域であると判定した場合に、顔領域の下部に体検出領域を設定し、色相環を４５度幅で８象限に区分した各象限ごとに、体検出領域内の画像のマスク画像を生成した。そして、制御装置１０４は、各マスク画像ごとに式（４）を用いて評価値を算出し、算出した評価値が最も大きいマスク画像内の白画素領域を体領域として検出するようにした。これによって、人物の体は顔の下部にあることを加味して、マスク画像の生成範囲を限定することができ、処理を高速化することができる。また、式（４）によって算出される評価値は、白画素面積が大きく、かつ白画素の重心周りの慣性モーメントが小さいほど大きくなる。このため、評価値が最も大きいマスク画像を体検出用のマスク画像として選択することにより、白画素面積が大きく、さらに人物の体を示す白画素が他のマスク画像よりもまとまって存在しているマスク画像を体検出用のマスク画像として選択され、人物の体の検出精度を向上することができる。
【００５４】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、（方法Ａ）から（方法Ｃ）のうちあらかじめ設定されているいずれか１つの方法を用いて肌色領域が人物の顔に相当する領域であるか否かを判断する例について説明した。しかしながら、２つ以上の方法を組み合わせて判断を行うようにしてもよい。
【００５５】
例えば、制御装置１０４は、（方法Ａ）から（方法Ｃ）のうちの２つ、または３つの方法を用いて判断を行い、いずれか１つの方法において、肌色領域は人物の顔に相当する領域であるという判断結果を得られた場合に、最終的に肌色領域は人物の顔に相当する領域であると判断するようにしてもよい。あるいは、全ての方法において、肌色領域は人物の顔に相当する領域であるという判断結果を得られた場合に、最終的に肌色領域は人物の顔に相当する領域であると判断するようにしてもよい。
【００５６】
また、制御装置１０４は、（方法Ａ）から（方法Ｃ）の全ての方法を用いて判断を行いた場合には、そのうちの２つ以上の方法において、肌色領域は人物の顔に相当する領域であるという判断結果を得られた場合に、最終的に肌色領域は人物の顔に相当する領域であると判断するようにしてもよい。
【００５７】
（２）上述した実施の形態では、制御装置１０４は、受光画像内から肌色領域を抽出し、（方法Ａ）から（方法Ｃ）のいずれかの方法によって、肌色領域が人物の顔領域であるか否かを判断する例について説明した。しかしながら、制御装置１０４は、肌色領域が顔領域であるか否かを判断する前に、受光画像に対して公知のモルフォロジー処理を実行することにより、あらかじめ顔領域である可能性が低い肌色領域を排除するようにしてもよい。
【００５８】
例えば、図２、図４、および図５を用いて説明したように、図４（ａ）においては、肌色領域４ａは人物の顔に相当するが、肌色領域４ｂは人物の手に相当する。この場合に、上述した実施の形態では、肌色領域４ａと４ｂとのそれぞれを対処として、（方法Ａ）から（方法Ｃ）のいずれかの方法によって、肌色領域が人物の顔領域であるか否かを判断した。しかしながら、あらかじめモルフォロジー処理によって人物の顔領域ではない肌色領域４ｂを（方法Ａ）から（方法Ｃ）のいずれかの方法による判断対象から除外するようにすれば、処理の高速化を図ることができる。
【００５９】
具体的には、制御装置１０４は、図１２（ａ）に示すような構造要素（Ｓｔｒｕｃｔｕｒｅ Ｅｌｅｍｅｎｔ）を用いたモルフォロジー処理を行うことにより、図１２（ｂ）に示す肌色領域１２ａと１２ｂのうち、人物の手に相当する肌色領域１２ｂを排除する。これによって、図１２（ｃ）に示すように、（方法Ａ）から（方法Ｃ）のいずれかの方法による判断対象を肌色領域１２ａのみに絞り込むことができ、処理の高速化を図ることができる。
【００６０】
また、肌色領域を対象としてモルフォロジー処理を施すことにより、肌色領域の内部に穴が開いていたり、肌色領域の輪郭に凹凸がある場合に、これらを整形して、肌色領域の形状を整えることができるという効果も得ることができる。
【００６１】
（３）上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、画像を読み込んで処理することができる他の装置、例えばパソコンや携帯端末などに適用することも可能である。この場合、図１１に示した処理をパソコン等のＣＰＵが実行するようにすればよい。
【００６２】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【図面の簡単な説明】
【００６３】
【図１】カメラ１００の一実施の形態の構成を示すブロック図である。
【図２】受光センサー１０２における受光素子の配置例を示す図である。
【図３】色相環の具体例を示す図である。
【図４】受光画像における肌色領域の具体例を示す図である。
【図５】ラベリング処理の結果を示す図である。
【図６】充足率を用いた判断方法の具体的を示す図である。
【図７】推定実寸の算出例を示す図である。
【図８】肌色領域の縦サイズと横サイズの具体例を示す図である。
【図９】体検出領域の設定例、およびマスク画像の具体例を示す図である。
【図１０】複数の人物がいる場合の体検出の具体例を示す図である。
【図１１】カメラ１００の処理を示すフローチャート図である。
【図１２】モルフォロジー処理の具体例を示す図である。
【符号の説明】
【００６４】
１００ カメラ、１０１ 操作部材、１０２ 受光センサー、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ
【技術分野】
【０００１】
本発明は、画像処理装置、およびカメラに関する。
【背景技術】
【０００２】
次のような人物認識装置が知られている。この人物認識装置は、入力された画像内から人物の顔を検出し、検出した顔のサイズがあらかじめ設定された範囲内にある場合に、検出した顔の特徴量と、記録されている特徴量とを照合することにより、特定の人物の顔を認識する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００４−１２６８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の人物認識装置では、画像内から人物の顔の特徴量として、目や鼻などの顔部品の位置を特定する必要があるため、画像内の顔が横を向いていたり、画像内での顔のサイズが小さい場合には、特徴量を抽出することができず、人物の顔を検出することができなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、肌色領域が楕円形状をしているかを判定するための充足率と、肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、算出手段で算出した指標に基づいて、肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とする。
本発明では、算出手段は、肌色領域の縦横比を指標として算出するようにしてもよい。
画像に対してモルフォロジー処理を施すモルフォロジー処理実行手段をさらに備え、算出手段は、モルフォロジー処理実行後の画像を対象として指標を算出するようにしてもよい。
判定手段が肌色領域を人物の顔に相当する顔領域であると判定した場合に、顔領域の下部に存在する人物の体を検出する体検出手段をさらに備えるようにしてもよい。
本発明によるカメラは、画像を取得する画像取得手段と、画像取得手段で取得した画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、肌色領域が楕円形状をしているかを判定するための充足率と、肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、算出手段で算出した指標に基づいて、肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像内の顔が横を向いていたり、画像内での顔のサイズが小さい場合でも、人物の顔を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、受光センサー１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００８】
受光センサー１０２は、複数の受光素子が２次元配列されており、各受光素子による受光画像を制御装置１０４へ出力する。図２に受光センサー１０２における受光素子の配置例を示す。例えば、図２（ａ）に示すようなポートレート写真を撮影する場合を撮影する場合について説明する。この場合、受光センサー１０２の各受光素子は、図２（ｂ）に示すように配置されている。この図２（ｂ）においては、格子状に配列された複数の枠のそれぞれが、１つの受光素子を示している。
【０００９】
撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。また、制御装置１０４は、後述する人物の検出処理を行う。
【００１１】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１２】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１３】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１４】
本実施の形態では、制御装置１０４は、受光センサー１０２から出力される受光画像内に写っている人物を検出する。このために、制御装置１０４は、以下に説明する処理を実行する。なお、本実施の形態では、受光センサー１０２からの出力される受光画像は、ＲＧＢ表色系で表されているものとする。すなわち、受光画像は、図２（ｂ）に示した各枠内が１画素に相当し、各画素は、Ｒ、Ｇ、Ｂの各値を有している。
【００１５】
本実施の形態では、受光センサー１０２からは、図２（ｂ）に示した状況における受光画像が制御装置１０４に出力されるものとして、以下の説明を行う。制御装置１０４は、まず、受光画像の各画素ごとに、Ｒ、Ｇ、Ｂの各値を次式（１）を用いて色相（Ｈｕｅ）の角度に変換する。
【数１】
なお、色相は、図３に示す色相環により表され、色相（Ｈｕｅ）の角度とは、各画素の色相値の色相環上での角度をいう。
【００１６】
そして、制御装置１０４は、受光画像内から、Ｈｕｅの角度が人物の肌の色を表す範囲内、例えば１８０度から２２０度の範囲内にある画素を抽出する。これによって、受光画像内から人物の肌の色で構成される領域を抽出することができる。例えば、図４（ａ）に示すように、受光画像内から肌の色の領域４ａと肌の色の領域４ｂとを抽出することができる。この図４（ａ）においては、受光画像内で肌の色の領域４ａおよび４ｂを明確に示すために、領域４ａおよび領域４ｂ内を白色で表している。
【００１７】
なお、肌色領域として抽出するＨｕｅの角度を上述した１８０度から２２０度の範囲とすることによって、人種を問わず人物の肌の色で構成される領域を抽出することができる。すなわち、被写体が肌の色がいわゆる肌色である黄色人種である場合に限らず、被写体が黒人や白人である場合にも、受光画像内から肌の色の領域を抽出することができる。このように、制御装置１０４が抽出する肌の色の領域は、いわゆる肌色の領域に限られないが、本実施の形態では、説明の簡略化のために、受光画像内から抽出される肌の色の領域を肌色領域と呼ぶこととする。
【００１８】
制御装置１０４は、受光画像内から肌色領域４ａおよび４ｂを抽出した後、図４（ｄ）に示すように、受光画像の肌色領域４ａおよび４ｂに含まれる画素を１、それ以外の画素を０とすることによって、受光画像を肌色領域とそれ以外の領域とに分離する。さらに制御装置１０４は、図４（ｄ）では、いずれも１で表されている肌色領域４ａと４ｂとを分離するためにラベリング処理を行う。例えば、制御装置１０４は、受光画像内から抽出したそれぞれの肌色領域に対して１、２、３・・・といったように連番でラベルを付与することによりラベリング処理を行う。
【００１９】
ラベリング処理の結果を図５に示す。この図５に示すように、肌色領域４ａにはラベルとして１が付与され、肌色領域４ｂにはラベルとして２が付与されている。すなわち、図４（ｄ）では肌色領域４ａおよび４ｂの各画素は１で表されていたため、この値に基づいてそれぞれの領域を区別することはできなかったが、図５では、肌色領域４ａの画素は１で表され、肌色領域４ｂの画素は２で表されているため、この値に基づいてそれぞれの領域を区別することができる。これによって、受光画像全体を肌色領域４ａと肌色領域４ｂとそれ以外の領域の３つの領域に分割することができる。
【００２０】
なお、図２、図４、および図５を対比して見ると、肌色領域４ａは人物の顔に相当するが、肌色領域４ｂは人物の手に相当する。このように、受光画像から肌色領域を抽出した場合には、被写体としての人物の肌が露出している部分が肌色領域として抽出される。あるいは、人物以外の被写体であっても、人物の肌と同様の色のものが存在する場合には、それらに相当する領域も肌色領域として抽出されることになる。
【００２１】
本実施の形態では、制御装置１０４は、受光画像内から抽出した肌色領域のうち、人物の顔に相当する領域を特定することによって、受光画像内に含まれる人物の顔を検出する。さらに、制御装置１０４は、検出した人物の顔の位置を基準として、人物の体を検出する。このために制御装置１０４は以下のように処理する。
【００２２】
制御装置１０４は、以下の（方法Ａ）から（方法Ｃ）のいずれかの方法によって、肌色領域が人物の顔に相当する領域であるか否かを判断する。なお、制御装置１０４が（方法Ａ）から（方法Ｃ）のいずれの方法によって判断を行うかは、あらかじめ設定されているものとする。
【００２３】
（方法Ａ）
方法Ａでは、制御装置１０４は、肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として充足率を算出し、算出した充足率があらかじめ設定された閾値以上である場合には、その肌色領域は、人物の顔に相当する領域であると判断する。充足率を用いた判断方法の具体的について、図６を用いて説明する。
【００２４】
制御装置１０４は、図６に示すように、肌色領域４ａと４ｂのそれぞれについて、肌色領域を構成する全ての画素を包絡する包絡枠６ａおよび６ｂを設定する。そして、制御装置１０４は、包絡枠６ａと６ｂのそれぞれについて、包絡枠に内接する楕円６ｃおよび６ｄを設定する。制御装置１０４は、それぞれの肌色領域について設定した楕円の面積と、各楕円内の肌色領域の面積とを算出し、次式（２）により充足率を算出する。
充足率＝肌色領域の面積／楕円の面積 ・・・（２）
【００２５】
図６に示す例では、制御装置１０４は、肌色領域４ａの面積／楕円６ｃの面積を肌色領域４ａについての充足率として算出し、肌色領域４ｂの面積／楕円６ｄの面積を肌色領域４ｂについての充足率として算出する。なお、この充足率は、肌色領域が楕円形状をしているかを判定するための指標であり、この充足率が１に近いほど肌色領域は楕円に近い形状をしていることを意味し、充足率が０に使いほど肌色領域は楕円に近い形状をしていないことを意味する。すなわち、人物の顔の形状は一般的に楕円形状に近いことを加味すると、充足率が１に近いほど肌色領域は人物の顔に相当する領域である可能性が高いことを意味しており、充足率が０に使いほど肌色領域は人物の顔に相当する領域ではない可能性が高いことを意味している。
【００２６】
よって、制御装置１０４は、式（２）を用いて算出した充足率が、あらかじめ設定された所定の閾値、例えば０．８以上である場合には、対応する肌色領域は人物の顔に相当する領域であると判断する。一方、式（２）を用いて算出した充足率が、あらかじめ設定された所定の閾値、例えば０．８未満である場合には、対応する肌色領域は人物の顔に相当する領域ではないと判断する。
【００２７】
例えば、肌色領域４ａの面積が２６であり、楕円６ｃの面積が３１である場合には、肌色領域４ａの充足率は、２６／３１＝０．８４となり、これは上記閾値０．８以上であるため、肌色領域４ａは、人物の顔に相当する領域であると判断される。また、肌色領域４ｂの面積が１３であり、楕円６ｄの面積が２４である場合には、肌色領域４ｂの充足率は、１３／２４＝０．５４となり、これは上記閾値０．８未満であるため、肌色領域４ｂは、人物の顔に相当する領域ではないと判断される。
【００２８】
（方法Ｂ）
方法Ｂでは、制御装置１０４は、受光画像内における各肌色領域の大きさ、すなわち縦サイズ（高さ）と横サイズ（幅）とに基づいて、肌色領域の実際の大きさ（実空間上における大きさ）を推定し、推定した肌色領域の大きさ（推定実寸）に基づいて、肌色領域が人物の顔に相当する領域であるか否かを判断する。具体的には、制御装置１０４は、次式（３）により、肌色領域の長辺の推定実寸を算出する。
【００２９】
次式（３）において、Ｄは被写体距離、Ｐｉｘｅｌは肌色領域の長辺の画素数、ｆは焦点距離を表している。また、本実施の形態では、受光センサー１０２の画素ピッチが０．９ｍｍであるため、分子に０．９をかけている。
推定実寸＝０．９×Ｄ×Ｐｉｘｅｌ／ｆ ・・・（３）
【００３０】
例えば、図７に示すように肌色領域の縦方向の辺が長辺となる場合には、Ｐｉｘｅｌには肌色領域の縦方向の画素数が代入され、式（３）によって肌色領域の縦方向（ｙ方向）の推定実寸ｙが算出される。一方、肌色領域の横方向の辺が長辺となる場合には、Ｐｉｘｅｌには肌色領域の横方向の画素数が代入され、式（３）によって肌色領域の横方向（ｘ方向）の推定実寸ｘが算出される。
【００３１】
制御装置１０４は、算出した長辺の推定実寸が、人物の顔とみなすことができる所定の長さの範囲内、例えば１２０ｍｍから３００ｍｍの範囲内にある場合に、肌色領域は人物の顔に相当する領域であると判断する。例えば、図７に示す例において、肌色領域４ａの長辺である縦方向の辺の長さが６である場合、すなわち肌色領域４ａの縦方向の画素数が６には、式（３）におけるＰｉｘｅｌには６が代入される。この場合に、さらに被写体距離Ｄ＝９６０ｍｍ、焦点距離ｆ＝２８である場合には、式（３）により推定実寸ｙ＝０．９×９６０×６／２８＝１８５ｍｍとなる。
【００３２】
この肌色領域４ａの推定実寸ｙの算出結果は、上記閾値（１２０ｍｍから３００ｍｍ）の範囲内であるため、制御装置１０４は、肌色領域４ａは人物の顔に相当する領域であると判定する。
【００３３】
（方法Ｃ）
方法Ｃでは、制御装置１０４は、図８に示すように、肌色領域の縦サイズ（Ｐｉｘｅｌ＿Ｙ）と横サイズ（Ｐｉｘｅｌ＿Ｘ）を算出し、これらの比（Ｐｉｘｅｌ＿Ｘ／Ｐｉｘｅｌ＿Ｙ）を肌色領域の縦横比として算出する。そして、制御装置１０４は、算出した縦横比が人物の顔とみなすことができる比率の範囲内、例えば１．５から２の範囲内である場合には、肌色領域は人物の顔に相当する領域であると判断する。
【００３４】
例えば、図８に示す例において、肌色領域４ａの縦横比が８／５＝１．６であり、肌色領域４ｂの縦横比が６／５＝１．２である場合には、制御装置１０４は、肌色領域４ａは人物の顔に相当する領域であると判断し、肌色領域４ｂは人物の顔に相当する領域ではないと判断する。
【００３５】
制御装置１０４は、上記（方法Ａ）から（方法Ｂ）の方法のうち、あらかじめ設定されたいずれかの方法により、受光画像内に人物の顔に相当する肌色領域が含まれていると判断した場合には、その人物の顔に相当する肌色領域を人物の顔領域として特定する。そして、制御装置１０４は、特定した顔領域に基づいて、受光画像内における人物の体の検出を行う。具体的には、制御装置１０４は、図９（ａ）に示すように、受光画像内で特定した顔領域９ａの下部に、人物の体を検出するための体検出領域９ｂを設定する。例えば、制御装置１０４は、顔領域９ａの下部に、顔領域９ａの所定倍の体検出領域９ｂを設定する。
【００３６】
制御装置１０４は、図３に示した色相環を４５度幅で８象限に区分する。これによって、色相環は、図９（ｂ）に示すように、０度≦ｈｕｅ＜４５度の第１象限９ｃ、４５度≦ｈｕｅ＜９０度の第２象限９ｄ、９０度≦ｈｕｅ＜１３５度の第３象限９ｅ、１３５度≦ｈｕｅ＜１８０度の第４象限９ｆ、１８０度≦ｈｕｅ＜２２５度の第５象限９ｇ、２２５度 ≦ｈｕｅ＜２７０度の第６象限９ｈ、２７０度≦ｈｕｅ＜３１５度の第７象限９ｉ、３１５度≦ｈｕｅ＜３６０度の第８象限９ｊに区分される。
【００３７】
制御装置１０４は、体検出領域９ｂ内の各画素を上記各象限ごとに２値化する。すなわち、制御装置１０４は、上記各象限ごとに、体検出領域９ｂ内の各画素のうち、Ｈｕｅの角度がその象限のＨｕｅの角度の範囲内にある画素を白画素とし、それ以外の画素を黒画素としたマスク画像を生成する。これによって、第１象限のマスク画像９ｋから第８象限のマスク画像９ｒが生成される。
【００３８】
制御装置１０４は、生成した各象限のマスク画像のそれぞれについて、マスク画像内の白画素の重心位置に基づいて、白画素の重心周りの慣性モーメントを算出する。これによって、第１象限のマスク画像９ｋの白画素の重心周りの慣性モーメント〜第８象限のマスク画像９ｒの白画素の重心周りの慣性モーメントが算出される。なお、２値化して得たマスク画像における白画素の重心周りの慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、例えば、白画素の重心からの画素距離の２乗×０または１の濃度値の和により算出することができる。
【００３９】
そして、制御装置１０４は、次式（４）により、各マスク画像を体検出用のマスク画像として採用するか否かを判定するための評価値を算出する。
評価値＝白画素面積／白画素の重心周りの慣性モーメント ・・・（４）
なお、白画素面積とは、各マスク画像内における白画素で構成される領域の面積をいう。
【００４０】
制御装置１０４は、式（４）により算出した評価値が最も大きいマスク画像を体検出用のマスク画像として選択する。そして、選択した体検出用のマスク画像内の白画素で構成される領域を人物の体に相当する領域（体領域）として検出する。例えば、図９（ｂ）においては、各マスク画像の横に記載されている数値はそれぞれのマスク画像の評価値を表している。よって、この図９（ｂ）に示す例では、最も評価値が大きい第１象限のマスク画像９ｋが体検出用のマスク画像として選択され、当該マスク画像９ｋ内の白画素領域９ｓが体領域として検出されることになる。
【００４１】
以上の処理によって、制御装置１０４は、受光センサー１０２から出力される受光画像に基づいて、被写体としての人物の顔と体とを検出して、受光画像内における人物を検知することができる。
【００４２】
なお、制御装置１０４は、被写体としての人物が複数いる場合であっても、上記処理によって、受光画像内から各人物を検知することができる。例えば、図１０（ａ）に示すように、被写体として２人の人物がいる場合には、図１０（ｂ）に示すように、上述した処理によって受光画像内から人物の顔に相当する肌色領域、すなわち人物の顔領域１０ａと１０ｂとを検出する。
【００４３】
制御装置１０４は、検出した顔領域１０ａと１０ｂのそれぞれの下部に、体検出領域１０ｃと１０ｄとを設定する。そして、制御装置１０４は、体検出領域１０ｃと１０ｄとのそれぞれについて、上述した第１象限のマスク画像９ｋから第８象限のマスク画像９ｒを生成する。図１０（ｃ）は、体検出領域１０ｃについて生成した第１象限のマスク画像９ｋから第８象限のマスク画像９ｒを示し、図１０（ｄ）は、体検出領域１０ｄについて生成した第１象限のマスク画像９ｋから第８象限のマスク画像９ｒを示している。
【００４４】
制御装置１０４は、図１０（ｃ）に示した各マスク画像について、式（４）により評価値を算出し、算出された評価値が最も高いマスク画像を顔領域１０ａに対応する体検出用のマスク画像として選択する。例えば、図１０（ｃ）に示す例では、評価値が最も大きい第１象限のマスク画像９ｋが体検出用のマスク画像として選択され、当該マスク画像９ｋ内の白画素領域９ｓが顔領域１０ａに対応する人物の体領域として検出される。
【００４５】
また、制御装置１０４は、図１０（ｄ）に示した各マスク画像について、式（４）により評価値を算出し、算出された評価値が最も高いマスク画像を顔領域１０ｂに対応する体検出用のマスク画像として選択する。例えば、図１０（ｄ）に示す例では、評価値が最も大きい第１象限のマスク画像９ｋが体検出用のマスク画像として選択され、当該マスク画像９ｋ内の白画素領域９ｓが顔領域１０ｂに対応する人物の体領域として検出される。
【００４６】
図１１は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図１１に示す処理は、受光センサー１０２から受光画像が入力されると起動するプログラムとして、制御装置１０４によって実行される。
【００４７】
ステップＳ１０において、制御装置１０４は、式（１）を用いて、受光画像の各画素ごとに、Ｒ、Ｇ、Ｂの各値を色相（Ｈｕｅ）の角度に変換する。その後、ステップＳ２０へ進み、制御装置１０４は、受光画像内から、Ｈｕｅの角度が人物の肌の色を表す範囲内、例えば１８０度から２２０度の範囲内にある画素を抽出することによって、受光画像内から肌色領域を抽出する。その後、ステップＳ３０へ進む。
【００４８】
ステップＳ３０では、制御装置１０４は、上述したラベリング処理を行うことによって、受光画像内の各肌色領域にラベルを付すことにより、各肌色領域を区別し、ステップＳ４０へ進む。ステップＳ４０では、制御装置１０４は、上述した（方法Ａ）から（方法Ｃ）のいずれかの方法によって、各肌色領域が人物の顔に相当する領域であるか否かを判断する。ステップＳ４０で否定判断した場合には、処理を終了する。これに対して、ステップＳ４０で肯定判断した場合には、ステップＳ５０へ進む。
【００４９】
ステップＳ５０では、制御装置１０４は、受光画像内に含まれる人物の顔に相当する肌色領域を人物の顔領域として特定して、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、図９（ａ）に示したように、受光画像内で特定した顔領域９ａの下部に、人物の体を検出するための体検出領域９ｂを設定する。その後、ステップＳ７０へ進み、制御装置１０４は、色相環を４５度幅で８象限に区分し、各象限ごとに体検出領域９ｂ内の画像のマスク画像を生成する。その後、ステップＳ８０へ進む。
【００５０】
ステップＳ８０では、制御装置１０４は、各マスク画像ごとにマスク画像内の白画素の重心位置に基づいて、白画素の重心周りの慣性モーメントを算出し、式（４）により評価値を算出する。その後、ステップＳ９０へ進み、制御装置１０４は、８つのマスク画像の中から式（４）により算出した評価値が最も大きいマスク画像を体検出用のマスク画像として選択し、当該体検出用のマスク画像内の白画素領域を体領域として検出してステップＳ１００へ進む。
【００５１】
ステップＳ１００では、制御装置１０４は、ステップＳ５０で検出した全ての顔領域を対象として、ステップＳ６０からステップＳ９０の処理を完了したか否かを判断する。ステップＳ１００で否定判断した場合には、ステップＳ６０へ戻って処理を繰り返す。これに対して、ステップＳ１００で肯定判断した場合には、処理を終了する。
【００５２】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、受光画像内から人物の肌の色の画素で構成される肌色領域を抽出し、（方法Ａ）から（方法Ｃ）のいずれかの方法により肌色領域が人物の顔に相当する領域であるか否かを判定するようにした。これによって、受光画像内で人物の顔が横を向いていたり、画像内での顔のサイズが小さい場合でも、人物の顔を検出することができる。
【００５３】
（２）制御装置１０４は、肌色領域を人物の顔に相当する顔領域であると判定した場合に、顔領域の下部に体検出領域を設定し、色相環を４５度幅で８象限に区分した各象限ごとに、体検出領域内の画像のマスク画像を生成した。そして、制御装置１０４は、各マスク画像ごとに式（４）を用いて評価値を算出し、算出した評価値が最も大きいマスク画像内の白画素領域を体領域として検出するようにした。これによって、人物の体は顔の下部にあることを加味して、マスク画像の生成範囲を限定することができ、処理を高速化することができる。また、式（４）によって算出される評価値は、白画素面積が大きく、かつ白画素の重心周りの慣性モーメントが小さいほど大きくなる。このため、評価値が最も大きいマスク画像を体検出用のマスク画像として選択することにより、白画素面積が大きく、さらに人物の体を示す白画素が他のマスク画像よりもまとまって存在しているマスク画像を体検出用のマスク画像として選択され、人物の体の検出精度を向上することができる。
【００５４】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、（方法Ａ）から（方法Ｃ）のうちあらかじめ設定されているいずれか１つの方法を用いて肌色領域が人物の顔に相当する領域であるか否かを判断する例について説明した。しかしながら、２つ以上の方法を組み合わせて判断を行うようにしてもよい。
【００５５】
例えば、制御装置１０４は、（方法Ａ）から（方法Ｃ）のうちの２つ、または３つの方法を用いて判断を行い、いずれか１つの方法において、肌色領域は人物の顔に相当する領域であるという判断結果を得られた場合に、最終的に肌色領域は人物の顔に相当する領域であると判断するようにしてもよい。あるいは、全ての方法において、肌色領域は人物の顔に相当する領域であるという判断結果を得られた場合に、最終的に肌色領域は人物の顔に相当する領域であると判断するようにしてもよい。
【００５６】
また、制御装置１０４は、（方法Ａ）から（方法Ｃ）の全ての方法を用いて判断を行いた場合には、そのうちの２つ以上の方法において、肌色領域は人物の顔に相当する領域であるという判断結果を得られた場合に、最終的に肌色領域は人物の顔に相当する領域であると判断するようにしてもよい。
【００５７】
（２）上述した実施の形態では、制御装置１０４は、受光画像内から肌色領域を抽出し、（方法Ａ）から（方法Ｃ）のいずれかの方法によって、肌色領域が人物の顔領域であるか否かを判断する例について説明した。しかしながら、制御装置１０４は、肌色領域が顔領域であるか否かを判断する前に、受光画像に対して公知のモルフォロジー処理を実行することにより、あらかじめ顔領域である可能性が低い肌色領域を排除するようにしてもよい。
【００５８】
例えば、図２、図４、および図５を用いて説明したように、図４（ａ）においては、肌色領域４ａは人物の顔に相当するが、肌色領域４ｂは人物の手に相当する。この場合に、上述した実施の形態では、肌色領域４ａと４ｂとのそれぞれを対処として、（方法Ａ）から（方法Ｃ）のいずれかの方法によって、肌色領域が人物の顔領域であるか否かを判断した。しかしながら、あらかじめモルフォロジー処理によって人物の顔領域ではない肌色領域４ｂを（方法Ａ）から（方法Ｃ）のいずれかの方法による判断対象から除外するようにすれば、処理の高速化を図ることができる。
【００５９】
具体的には、制御装置１０４は、図１２（ａ）に示すような構造要素（Ｓｔｒｕｃｔｕｒｅ Ｅｌｅｍｅｎｔ）を用いたモルフォロジー処理を行うことにより、図１２（ｂ）に示す肌色領域１２ａと１２ｂのうち、人物の手に相当する肌色領域１２ｂを排除する。これによって、図１２（ｃ）に示すように、（方法Ａ）から（方法Ｃ）のいずれかの方法による判断対象を肌色領域１２ａのみに絞り込むことができ、処理の高速化を図ることができる。
【００６０】
また、肌色領域を対象としてモルフォロジー処理を施すことにより、肌色領域の内部に穴が開いていたり、肌色領域の輪郭に凹凸がある場合に、これらを整形して、肌色領域の形状を整えることができるという効果も得ることができる。
【００６１】
（３）上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、画像を読み込んで処理することができる他の装置、例えばパソコンや携帯端末などに適用することも可能である。この場合、図１１に示した処理をパソコン等のＣＰＵが実行するようにすればよい。
【００６２】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【図面の簡単な説明】
【００６３】
【図１】カメラ１００の一実施の形態の構成を示すブロック図である。
【図２】受光センサー１０２における受光素子の配置例を示す図である。
【図３】色相環の具体例を示す図である。
【図４】受光画像における肌色領域の具体例を示す図である。
【図５】ラベリング処理の結果を示す図である。
【図６】充足率を用いた判断方法の具体的を示す図である。
【図７】推定実寸の算出例を示す図である。
【図８】肌色領域の縦サイズと横サイズの具体例を示す図である。
【図９】体検出領域の設定例、およびマスク画像の具体例を示す図である。
【図１０】複数の人物がいる場合の体検出の具体例を示す図である。
【図１１】カメラ１００の処理を示すフローチャート図である。
【図１２】モルフォロジー処理の具体例を示す図である。
【符号の説明】
【００６４】
１００ カメラ、１０１ 操作部材、１０２ 受光センサー、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ
【特許請求の範囲】
【請求項１】
画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、
前記肌色領域が楕円形状をしているかを判定するための充足率と、前記肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、前記肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、
前記算出手段で算出した前記指標に基づいて、前記肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記算出手段は、前記肌色領域の縦横比を前記指標として算出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像に対してモルフォロジー処理を施すモルフォロジー処理実行手段をさらに備え、
前記算出手段は、前記モルフォロジー処理実行後の画像を対象として前記指標を算出することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記判定手段が前記肌色領域を人物の顔に相当する顔領域であると判定した場合に、前記顔領域の下部に存在する人物の体を検出する体検出手段をさらに備えることを特徴とする画像処理装置。
【請求項５】
画像を取得する画像取得手段と、
前記画像取得手段で取得した画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、
前記肌色領域が楕円形状をしているかを判定するための充足率と、前記肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、前記肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、
前記算出手段で算出した前記指標に基づいて、前記肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とするカメラ。
【請求項１】
画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、
前記肌色領域が楕円形状をしているかを判定するための充足率と、前記肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、前記肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、
前記算出手段で算出した前記指標に基づいて、前記肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記算出手段は、前記肌色領域の縦横比を前記指標として算出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像に対してモルフォロジー処理を施すモルフォロジー処理実行手段をさらに備え、
前記算出手段は、前記モルフォロジー処理実行後の画像を対象として前記指標を算出することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記判定手段が前記肌色領域を人物の顔に相当する顔領域であると判定した場合に、前記顔領域の下部に存在する人物の体を検出する体検出手段をさらに備えることを特徴とする画像処理装置。
【請求項５】
画像を取得する画像取得手段と、
前記画像取得手段で取得した画像内から人物の肌の色の画素で構成される肌色領域を抽出する抽出手段と、
前記肌色領域が楕円形状をしているかを判定するための充足率と、前記肌色領域の実空間上における大きさである推定実寸の少なくとも一方を、前記肌色領域が人物の顔に相当する領域であるか否かを判定するための指標として算出する算出手段と、
前記算出手段で算出した前記指標に基づいて、前記肌色領域が人物の顔に相当する顔領域であるか否かを判定する判定手段とを備えることを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−５５４６８（Ｐ２０１０−５５４６８Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２２１１９６（Ｐ２００８−２２１１９６）
【出願日】平成２０年８月２９日（２００８．８．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２９日（２００８．８．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]