画像処理装置および方法、記録媒体、並びにプログラム
【課題】顔画像の認識処理を、容易に、かつ正確に行うことができるようにする。
【解決手段】 撮像装置１２は、ユーザ１１の顔を撮像し、入射光量の対数にほぼ比例した画素値を出力する。差分画像算出部２１は、照明装置１３がユーザ１１の顔に光を照射していない状態で、撮像装置１２によりユーザの顔が撮像された画像である第１の画像と、照明装置１３がユーザ１１の顔に光を照射している状態で、撮像装置１２によりユーザの顔が撮像された画像である第２の画像との画素値の差分からなる差分画像を算出する。顔領域抽出部２２は、差分画像内のユーザ１１の顔の領域を抽出し、顔向き判定部２３は、ユーザ１１の顔の向きを判定し、顔器官抽出部２４は、ユーザ１１の顔の器官を抽出する。本発明は、例えば、顔の画像を処理する画像処理装置に適用できる。
【解決手段】 撮像装置１２は、ユーザ１１の顔を撮像し、入射光量の対数にほぼ比例した画素値を出力する。差分画像算出部２１は、照明装置１３がユーザ１１の顔に光を照射していない状態で、撮像装置１２によりユーザの顔が撮像された画像である第１の画像と、照明装置１３がユーザ１１の顔に光を照射している状態で、撮像装置１２によりユーザの顔が撮像された画像である第２の画像との画素値の差分からなる差分画像を算出する。顔領域抽出部２２は、差分画像内のユーザ１１の顔の領域を抽出し、顔向き判定部２３は、ユーザ１１の顔の向きを判定し、顔器官抽出部２４は、ユーザ１１の顔の器官を抽出する。本発明は、例えば、顔の画像を処理する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、顔画像の認識処理を、容易に、かつ正確に行うことができるようにさせる画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置で撮像された画像に含まれている、ユーザの顔の領域や、目や口などの器官の領域を認識して、その認識した領域の位置を出力したり、認識した領域の画像を抽出する顔画像認識装置がある（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平０５−９１４０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の顔画像認識装置では、撮像された画像に含まれている顔以外の物体の影響や、撮像されたときの被写体の光の条件の違いなどにより、正確にユーザの顔や顔の器官を認識できないことがあった。例えば、明るい屋外で撮像され、全体的に明るい被写体の画像と、暗い室内で撮像され、全体的に暗い被写体の画像とは、異なる条件を設定しなければ、顔や顔の器官を正確に認識することができないということなどがあった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、顔画像の認識処理を、容易に、かつ正確に行うことができるようにさせるものである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像を取得する顔画像取得手段と、顔画像取得手段により取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算手段と、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離手段と、分離手段により分離された目画像から、目の領域を抽出する処理を行う目領域処理手段と、分離手段により分離された鼻画像から、鼻の領域を抽出する処理を行う鼻領域処理手段と、分離手段により分離された口画像から、口の領域を抽出する処理を行う口領域処理手段とを備えることを特徴とする。
【０００７】
本発明の画像処理装置においては、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像が取得される。そして、取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像が、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離される。さらに、分離された目画像から、目の領域を抽出する処理が行われ、分離された鼻画像から、鼻の領域を抽出する処理が行われ、分離された口画像から、口の領域を抽出する処理が行われる。
【０００８】
従って、差分画像から、認識対象となる顔を含む顔画像の目、鼻、および口の領域を正確に抽出することができる。これにより、顔画像の認識処理を、容易に、かつ正確に行うようにさせることができる。
【０００９】
この画像取得手段、画素値加算手段、分離手段、目領域処理手段、鼻領域処理手段、および口領域処理手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１０】
目領域処理手段には、目画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する目画像画素値加算手段と、目画像画素値加算手段により得られる、目画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、目の領域を抽出する目領域抽出手段と、目領域抽出手段により抽出された目の領域から、目の位置を代表する代表点を決定する目代表点決定手段とを有するようにさせることができる。
【００１１】
目領域処理手段においては、目画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、算出された目画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、目の領域が抽出され、抽出された目の領域から、目の位置を代表する代表点が決定される。
【００１２】
従って、目の領域および目を代表する代表点を正確に抽出することができる。
【００１３】
目画像画素値加算手段、目領域抽出手段、および目代表点決定手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１４】
鼻領域処理手段には、鼻画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する鼻画像画素値加算手段と、鼻画像画素値加算手段により得られる、鼻画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、鼻の領域を抽出する鼻領域抽出手段と、鼻領域抽出手段により抽出された鼻の領域から、鼻の位置を代表する代表点を決定する鼻代表点決定手段とを有するようにさせることができる。
【００１５】
鼻領域処理手段においては、鼻画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、鼻画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、鼻の領域が抽出され、抽出された鼻の領域から、鼻の位置を代表する代表点が決定される。
【００１６】
従って、鼻の領域および鼻を代表する代表点を正確に抽出することができる。
【００１７】
鼻画像画素値加算手段、鼻領域抽出手段、および鼻代表点決定手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１８】
口領域処理手段には、口画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する口画像画素値加算手段と、口画像画素値加算手段により得られる、口画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、口の領域を抽出する口領域抽出手段と、口領域抽出手段により抽出された口の領域から、口の位置を代表する代表点を決定する口代表点決定手段とを有するようにさせることができる。
【００１９】
口領域処理手段においては、口画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、口画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、口の領域が抽出され、抽出された口の領域から、口の位置を代表する代表点が決定される。
【００２０】
従って、口の領域および口を代表する代表点を正確に抽出することができる。
【００２１】
口画像画素値加算手段、口領域抽出手段、および口代表点決定手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００２２】
第１および第２の画像は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像手段に撮像させることができる。
【００２３】
撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））とさせることができる。
【００２４】
これにより、被写体に対して強い光が照射されている場合であっても、画素値が飽和することなく、被写体の輝度分布を忠実に表すことができる。また、絞りやシャッタースピードなどを調整する必要がなく、自然光だけで照射されている被写体を撮像した画像と、強い光が照射されている被写体を撮像した画像との画素値の差分からなる差分画像を容易に得ることができる。
【００２５】
本発明の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像を取得する顔画像取得ステップと、顔画像取得ステップの処理により取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、分離ステップの処理により分離された目画像から、目の領域を抽出する処理を行う目領域処理ステップと、分離ステップの処理により分離された鼻画像から、鼻の領域を抽出する処理を行う鼻領域処理ステップと、分離ステップの処理により分離された口画像から、口の領域を抽出する処理を行う口領域処理ステップとを含むことを特徴とする。
【００２６】
本発明の画像処理方法、プログラム、および記録媒体に記録されているプログラムにおいては、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像が取得される。そして、取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像が、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離される。さらに、分離された目画像から、目の領域を抽出する処理が行われ、分離された鼻画像から、鼻の領域を抽出する処理が行われ、分離された口画像から、口の領域を抽出する処理が行われる。
【００２７】
従って、差分画像から、認識対象となる顔を含む顔画像の目、鼻、および口の領域を正確に抽出することができる。これにより、顔画像の認識処理を、容易に、かつ正確に行うようにさせることができる。
【発明の効果】
【００２８】
本発明によれば、顔画像の認識処理を、容易に、かつ正確に行うようにさせることができる。
【発明を実施するための最良の形態】
【００２９】
図１は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
【００３０】
図１の画像処理システム１は、被写体としてのユーザ１１を撮像する撮像装置１２、ユーザ１１に対して光を照射する照明装置１３、撮像装置１２や照明装置１３に対して撮像（撮影）または照射のタイミングを指令（制御）するタイミング制御装置１４、および撮像装置１２で撮像された画像を処理する画像処理装置１５により構成されている。
【００３１】
撮像装置１２は、タイミング制御装置１４から供給されるタイミング制御信号にしたがい、被写体であるユーザ１１を撮像し、その結果得られる画像（画像信号）を画像処理装置１５に供給する。撮像装置１２は、後述するように、入射される光量の対数に比例した画素値を出力する撮像素子を有する撮像装置である。また、撮像装置１２では、全画素（撮像素子）の画素値が、同一のタイミングで読み出される。
【００３２】
照明装置１３は、タイミング制御装置１４から供給されるタイミング制御信号にしたがい、ユーザ１１に対して光を照射する。
【００３３】
タイミング制御装置１４は、撮像周期となるタイミング制御信号を撮像装置１２に供給する。例えば、タイミング制御装置１４は、１秒間に３０枚の画像を撮像する周期（フレーム周期）でタイミング制御信号を撮像装置１２に供給する。なお、１秒間に６０枚の画像を撮像する周期（フィールド周期）や、その他の周期であってもよい。また、撮像される画像は、プログレッシブ（ノンインターレース）画像またはインタレース画像のいずれでもよい。
【００３４】
また、タイミング制御装置１４は、照明装置１３によってユーザ１１が照射されていないときの画像と、ユーザ１１が照射されているときの画像とが、撮像装置１２において、交互に撮像されるように、光を照射するタイミングを指令（制御）するタイミング制御信号を、照明装置１３に供給する。例えば、タイミング制御装置１４は、撮像装置１２に対してフレーム周期でタイミング制御信号を供給している場合、撮像装置１２で撮像された画像のうち、奇数フレームでは照明装置１３によってユーザ１１が照射されていない画像となり、偶数フレームではユーザ１１が照射されている画像となるように、タイミング制御信号を照明装置１３に供給する。
【００３５】
さらに、タイミング制御装置１４は、撮像装置１２から画像処理装置１５に対して供給される画像（以下、撮像画像と称する）が、照明装置１３によってユーザ１１が光を照射されていない状態で撮像された画像（以下、基準画像と称する）であるか、または、照明装置１３によってユーザ１１が光を照射されている状態で撮像された画像（以下、照明画像と称する）であるかを判定するための判定信号を画像処理装置１５に供給する。
【００３６】
画像処理装置１５は、差分画像算出部２１、顔領域抽出部２２、顔向き判定部２３、および顔器官抽出部２４により構成されている。
【００３７】
画像処理装置１５は、撮像装置１２から供給される撮像画像に対して、顔の認識処理（顔認証）を行うのに適した画像を選択し、選択された撮像画像に含まれる顔または顔の器官の領域を特定する情報とともに、撮像画像を図示せぬ後段の装置に出力する。ここで、顔の器官とは、目、鼻、および口のことを表す。
【００３８】
撮像装置１２からの撮像画像（に対応する画像信号）は、差分画像算出部２１および顔器官抽出部２４に供給される。また、差分画像算出部２１には、タイミング制御装置１４から、上述した判定信号も供給される。
【００３９】
差分画像算出部２１は、判定信号に従い、撮像装置１２から供給された撮像画像が、基準画像であるか、または、照明画像であるかを判定するとともに、基準画像と（その後のフレームとして撮像装置１２から供給される）照明画像とを用いて差分画像を生成し、顔領域抽出部２２に供給する。ここで、差分画像は、その画像を構成する各画素の画素値が、基準画像と照明画像との間の、対応する画素どうしの画素値の差分となっている画像である。
【００４０】
顔領域抽出部２２は、差分画像算出部２１から供給される差分画像から、ユーザ１１の顔の領域を抽出し、その抽出された領域を特定する顔領域情報を、差分画像とともに顔向き判定部２３に供給する。
【００４１】
顔向き判定部２３は、顔領域抽出部２２からの顔領域情報で特定される差分画像の顔の領域の画像（以下、適宜、顔画像と称する）から、撮像画像内の、ユーザ１１の顔の向きを判定する。顔向き判定部２３が判定した判定結果としては、正面、右向き、および左向きの３種類がある。後段の顔器官抽出部２４で行われる顔の器官の領域の抽出（特定）や、画像処理装置１５が処理結果を出力する出力先の装置で行われる顔の認識処理などでは、顔が正面を向いていない画像を用いて認識処理を行った場合、認識の精度が低下する。そのため、顔向き判定部２３は、差分画像（撮像画像）が認識に適した正面を向いている画像であるかどうかを判定する。顔向き判定部２３は、ユーザ１１の顔の向きを表す判定結果を、顔領域抽出部２２から供給された差分画像および顔領域情報とともに顔器官抽出部２４に供給する。
【００４２】
顔器官抽出部２４は、顔向き判定部２３から供給される（顔の向きの）判定結果が正面であることを表している場合、顔向き判定部２３からの顔画像に基づいて、ユーザ１１の顔の器官（目、鼻、および口）の領域を抽出（特定）する。そして、顔器官抽出部２４は、顔の器官の領域を抽出した結果得られる、目領域情報、鼻領域情報、および口領域情報を、上述の顔領域情報とともに、後段の装置に出力する。また、顔器官抽出部２４は、撮像装置１２から供給される撮像画像も後段の装置に出力する。
【００４３】
以上のように構成される画像処理システム１では、画像処理装置１５の差分画像算出部２１は、照明装置１３がユーザ１１を照射していない状態で、撮像装置１２がユーザ１１の顔を撮像した基準画像と、照明装置１３がユーザ１１の顔を照射している状態で、撮像装置１２がユーザ１１の顔を撮像した照明画像とを取得する。
【００４４】
差分画像算出部２１は、基準画像と照明画像との差分画像を算出する。顔領域抽出部２２は、差分画像から、ユーザ１１の顔の領域を抽出し、その抽出された領域を特定する顔領域情報を顔向き判定部２３に供給する。顔器官抽出部２４は、顔向き判定部２３においてユーザ１１の顔が正面を向いていると判定された顔画像について、顔の目、鼻、口の領域それぞれを抽出し、その抽出された領域を特定する目領域情報、鼻領域情報、および口領域情報を得る。顔器官抽出部２４は、得られた目領域情報、鼻領域情報、および口領域情報と、顔領域抽出部２２で得られた顔領域情報、並びに、撮像装置１２から供給された撮像画像を出力する。
【００４５】
図２および図３を参照して、画像処理装置１５が行う処理の概要を説明する。
【００４６】
図２は、撮像装置１２で撮像され、画像処理装置１５に入力される画像（撮像画像）の例を示している。
【００４７】
図２の画像３１には、所定の背景の前に位置するユーザ１１が映されており、画像３１は、ユーザ１１の顔を少なくとも含んでいる。
【００４８】
画像処理装置１５では、画像の左上角を原点とし、図２に示すように、図面の右方向（水平方向）を（正の）Ｘ方向、図面の下方向（垂直方向）を（正の）Ｙ方向とする座標系が用いられるものとする。
【００４９】
画像処理装置１５は、例えば、図２に示す画像３１が入力された場合、画像３１に含まれているユーザ１１の顔の領域を抽出（特定）する。
【００５０】
そこで、図３は、図２の画像３１から抽出された、顔の領域を含む画像（顔画像）FRを示している。
【００５１】
また、画像処理装置１５は、顔画像FRのなかの、左目の領域ILと、その領域ILを代表する代表点ILp、および右目の領域IRと、その領域IRを代表する代表点IRpを抽出（特定）する。
【００５２】
さらに、画像処理装置１５は、顔画像FRのなかの、鼻の領域NRと、その領域NRを代表する代表点NRp、および口の領域MRと、その領域MRを代表する代表点MRpを抽出（特定）する。
【００５３】
以下では、図２に示した画像３１を撮像し、画像処理装置１５に供給する撮像装置１２と、供給された画像３１から、顔画像FR、左目の領域ILおよびその代表点ILp、右目の領域IRおよびその代表点IRp、鼻の領域IRおよびその代表点NRp、並びに、口の領域MRおよびその代表点MRpを抽出（特定）する画像処理装置１５のそれぞれの詳細な構成について説明する。
【００５４】
図４は、図１の撮像装置１２の詳細な構成例を示すブロック図である。
【００５５】
撮像装置１２は、レンズ４１、および対数変換型撮像素子４２により構成されている。
【００５６】
対数変換型撮像素子４２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部５１、対数変換部５２、A/D変換部５３、および撮像タイミング制御部５４を含むように構成されている。
【００５７】
撮像装置１２により撮像される被写体（ユーザ１１）から発せられた光（あるいは、被写体により反射された光）は、レンズ４１に入射し、対数変換型撮像素子４２の光検出部５１の図示せぬ光検出面に結像する。
【００５８】
光検出部５１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部５１は、レンズ４１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部５１は、撮像タイミング制御部５４から供給される制御信号に同期して、蓄積した電荷を対数変換部５２に供給する。
【００５９】
対数変換部５２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部５２は、MOSFETのサブスレッショルド特性を利用して、光検出部５１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部５２は、生成したアナログの電気信号をA/D変換部５３に供給する。
【００６０】
A/D変換部５３は、撮像タイミング制御部５４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２14−１の範囲の値をとる。A/D変換部５３は、変換したデジタルの画像データの画素値を画像処理装置１１２に供給する。
【００６１】
このように、撮像装置１２は、光検出部５１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値を出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。
【００６２】
図５は、対数変換型撮像素子４２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。
【００６３】
図５の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。曲線（直線）Ｌ１は対数変換型撮像素子４２の感度特性を示し、曲線Ｌ２はCCD撮像素子の感度特性を示し、曲線Ｌ３は銀塩フィルムの感度特性を示し、曲線（直線）Ｌ４は人の目の感度特性を示している。
【００６４】
対数変換型撮像素子４２は、上述したように、入射光量の対数にほぼ比例した画素値を出力することにより、対数変換型撮像素子４２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。
【００６５】
従って、対数変換型撮像素子４２を用いた撮像装置１２は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１２は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に撮像することができる。
【００６６】
例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１２により撮像された画像は、入射光量を調整しなくても、太陽と前方の道路の輝度の分布を忠実に再現した画像となる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１２により撮像された画像は、入射光量を調整しなくても、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像となる。
【００６７】
一方、CCD撮像素子は、図５に示すように、人の目よりダイナミックレンジが狭い。従って、CCD撮像素子を用いた撮像装置では、入射光の照度がCCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタースピードなどを調整する必要がある。
【００６８】
しかしながら、被写体の光の照度の範囲がCCD撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値が、CCD撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値が、CCD撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生する。また、入射光量を調整した場合、例えば、被写体の輝度が変動しない領域に対応する入射光量が変動し、その領域の画素値が変動するなど、入射光量の調整に伴う画素値の変動が発生する。すなわち、従来のCCD撮像素子を用いた撮像装置では、被写体の輝度の変動および被写体の動き以外の要因により画素値が変動する。
【００６９】
また、CCD撮像素子および銀塩フィルムでは、曲線Ｌ２および曲線Ｌ３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子４２では、感度特性が入射光の照度の対数にほぼ比例する。
【００７０】
このように、対数変換型撮像素子４２を用いた撮像装置１２は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１２により撮像された画像の画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像の差分をとった差分画像の各画素の画素値（差分値）は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。
【００７１】
また、撮像装置１２から出力される画像の画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像における画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像と２回目の画像との画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像の画素値が入射光量に比例する場合、１回目の画像と２回目の画像の画素値の分布を示すヒストグラムの幅の差は約１００倍となる。
【００７２】
さらに、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像の画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。
【００７３】
図６は、図１の差分画像算出部２１の詳細な構成例を示すブロック図である。
【００７４】
差分画像算出部２１は、画像取得部６１、メモリ６２および６３、差分処理部６４、並びにフィルタ処理部６５により構成されている。
【００７５】
画像取得部６１は、撮像装置１２から供給される撮像画像を取得する。ここで、画像取得部６１には、上述したように、照明装置１３によってユーザ１１が光を照射されていない状態で撮像された画像（基準画像）と、照明装置１３によってユーザ１１が光を照射された状態で撮像された画像（照明画像）とが交互に入力（供給）される。
【００７６】
画像取得部６１は、タイミング制御装置１４からの判定信号に従い、撮像装置１２からの撮像画像が、基準画像であるか、または、照明画像であるかを判定する。そして、画像取得部６１は、撮像装置１２からの撮像画像が基準画像である場合、取得した撮像画像（基準画像）をメモリ６２に供給する。また、撮像装置１２からの撮像画像が照明画像である場合、画像取得部６１は、取得した撮像画像（照明画像）をメモリ６３に供給する。
【００７７】
メモリ６２または６３それぞれは、画像取得部６１から供給される基準画像または照明画像を記憶し、必要に応じて差分処理部６４に供給する。
【００７８】
差分処理部６４は、メモリ６２に記憶されている基準画像と、メモリ６３に記憶されている照明画像から、差分画像を算出し、フィルタ処理部６５に供給する。具体的には、差分処理部６４は、照明画像を構成する画素の画素値から、基準画像を構成する画素の画素値を、対応する画素どうしで減算することにより、差分画像を算出する。
【００７９】
フィルタ処理部６５は、差分処理部６４からの差分画像に対してフィルタリング（フィルタ処理）を行い、処理後の差分画像を顔領域抽出部２２（図１）に供給する。ここで行われるフィルタ処理は、例えば、差分画像を、所定の大きさを有する複数のブロックに分割し、ブロック内の全ての画素の画素値をブロック内の各画素の画素値の平均値とするモザイク処理とすることができる。
【００８０】
また、フィルタ処理としては、ブロック内の中心にある画素を注目画素としたときに、注目画素の画素値を、その周辺（ブロック内）の画素の画素値に近い値となるように補正する処理を、差分画像の全ての画素について行う処理（差分画像を平滑化する平滑化処理）などを採用してもよい。
【００８１】
即ち、フィルタ処理部６５で行われるフィルタ処理は、後段の顔領域抽出部２２、顔向き判定部２３、および顔器官抽出部２４で処理する際に、周辺の画素に対して特異な画素値を有する特異点を消去する（少なくする）効果があるものであればよい。換言すれば、フィルタ処理は、顔領域抽出部２２などにおいて、各画素の画素値から曲線（後述する列画素値加算曲線や行画素値加算曲線など）を計算した場合に、その曲線を滑らかにするローパスフィルタとして機能するものとすることができる。
【００８２】
また、フィルタ処理としてモザイク処理が行われる場合、ブロック内の各画素の画素値の平均値を、ブロック内の全ての画素ではなくて、１画素の画素値に割り当てるようにして、フィルタ処理後の差分画像の全体の画素数を少なくして（圧縮して）、差分画像の情報処理量を少なくすることも可能である。例えば、ブロックを水平方向および垂直方向それぞれ２画素ずつの４画素の平均値を１画素に割り当てる場合、フィルタ処理後の画素数は、処理前の画素数の１／４とすることができる。
【００８３】
図７は、図１の顔領域抽出部２２の詳細な構成例を示すブロック図である。
【００８４】
顔領域抽出部２２は、画素値加算部７１、閾値設定部７２、および顔領域データ抽出部７３により構成されている。
【００８５】
差分画像算出部２１（のフィルタ処理部６５）から供給される（フィルタ処理後の）差分画像は、画素値加算部７１および顔領域データ抽出部７３に供給される。
【００８６】
画素値加算部７１は、差分画像の水平または垂直方向それぞれの列ごとに画素値を加算し、差分画像の垂直または水平方向それぞれの列ごとの画素加算値ＶiまたはＷjを求める。
【００８７】
即ち、差分画像の水平方向（Ｘ方向）の画素数をN、垂直方向（Ｙ方向）の画素数をMとし、差分画像の水平方向にｉ番目、垂直方向にｊ番目の画素の画素値をGij（ｉ＝１乃至Ｎ，ｊ＝１乃至Ｍ）とした場合、差分画像の垂直方向の列ごとの画素加算値Ｖiは、次式（１）で求めることができる。
【００８８】
【数１】
・・・（１）
【００８９】
同様に、差分画像の水平方向の列（行）ごとの画素加算値Ｗjは、次式（２）で求めることができる。
【００９０】
【数２】
・・・（２）
【００９１】
画素値加算部７１は、差分画像の垂直または水平方向それぞれの列ごとの画素加算値ＶiまたはＷj（以下、適宜、差分画像の画素加算値ＶiまたはＷjと称する）を、閾値設定部７２および顔領域データ抽出部７３に供給する。
【００９２】
閾値設定部７２は、画素値加算部７１から供給される差分画像の画素加算値ＶiまたはＷjを用いて、差分画像の水平方向または垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXまたはTHYを算出し、設定（決定）する。
【００９３】
即ち、閾値設定部７２は、差分画像の水平方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXとして、差分画像の画素加算値Ｖiの平均値を算出する。閾値THXは、次式（３）で求めることができる。
【００９４】
【数３】
・・・（３）
【００９５】
また、閾値設定部７２は、差分画像の垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THYとして、差分画像の画素加算値Ｗjの平均値を算出する。閾値THYは、次式（４）で求めることができる。
【００９６】
【数４】
・・・（４）
【００９７】
そして、閾値設定部７２は、算出した閾値THXまたはTHYを、顔領域データ抽出部７３に供給する。
【００９８】
顔領域データ抽出部７３は、画素値加算部７１から供給される差分画像の画素加算値ＶiおよびＷjと、閾値設定部７２から供給される閾値THXおよびTHYとに基づいて、差分画像のなかのユーザ１１の顔領域を特定する。
【００９９】
具体的には、顔領域データ抽出部７３は、差分画像の垂直方向の列ごとの画素加算値Ｖiを、水平方向に（ｉ＝１乃至Ｎの順に）順次プロットすることにより、列画素値加算曲線（後述する図１１Dの列画素値加算曲線２２１Ｙ）を求める。また、顔領域データ抽出部７３は、差分画像の水平方向の列ごとの画素加算値Ｗjを、垂直方向に（ｊ＝１乃至Ｍの順に）順次プロットすることにより、行画素値加算曲線（後述する図１１Dの行画素値加算曲線２２１Ｘ）を求める。
【０１００】
次に、顔領域データ抽出部７３は、閾値設定部７２から供給されるよびTHY以上の、列画素値加算曲線が閾値THX以上となっている水平方向の範囲、および行画素値加算曲線が、閾値THY以上となっている垂直方向の範囲を、ユーザ１１の顔領域であると特定する。
【０１０１】
そして、顔領域データ抽出部７３は、差分画像算出部２１（図１）から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３（図１）に供給する。
【０１０２】
図８は、図１の顔向き判定部２３の詳細な構成例を示すブロック図である。
【０１０３】
顔向き判定部２３は、画素値加算部８１、中心位置検出部８２、および判定部８３により構成されている。
【０１０４】
顔領域抽出部２２（図７）からの差分画像および顔領域情報は、画素値加算部８１および判定部８３に供給される。
【０１０５】
画素値加算部８１は、顔領域情報で特定される、差分画像内の顔画像について、垂直方向の列ごとの画素加算値Ｖ’i'（以下、適宜、顔画像の画素加算値Ｖ’i'と称する）を算出し、中心位置検出部８２に供給する。ここで、添え字の変数ｉ’は、ｉ=１乃至Ｎのうちの顔画像として抽出された水平方向の位置を表す。
【０１０６】
中心位置検出部８２は、顔画像の画素加算値Ｖ’i'を水平方向に順次プロットすることにより得られる列画素値加算曲線（例えば、後述する図１３Ａの列画素値加算曲線２４０Ｂなど）を用いて、水平方向におけるユーザ１１の顔の中心位置（重心位置）Ｘ’を決定し、判定部８３に供給する。
【０１０７】
判定部８３は、中心位置検出部８２で得られた、水平方向におけるユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲、あるいは、その範囲の左側または右側のいずれに位置しているかどうかにより、ユーザ１１の顔の向きを判定する。
【０１０８】
即ち、判定部８３は、ユーザ１１の顔の水平方向の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより距離ＸRだけ小さい位置（Ｘp−ＸR）よりも左側(小さい側)の範囲（第２の範囲）に位置していた場合、ユーザ１１の顔の向きを、左向き（撮像画像を正面から見てユーザ１１が左側に向いている状態）であると判定する。
【０１０９】
また、判定部８３は、ユーザ１１の顔の水平方向の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより距離ＸRだけ小さい位置（Ｘp−ＸR）と中点Ｘpから距離ＸRだけ大きい位置（Ｘp＋ＸR）との間の範囲（第１の範囲）に位置していた場合、ユーザ１１の顔の向きを、正面であると判定する。
【０１１０】
さらに、判定部８３は、ユーザ１１の顔の水平方向の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより距離ＸRだけ大きい位置（Ｘp＋ＸR）よりも右側(大きい側)の範囲（第３の範囲）に位置していた場合、ユーザ１１の顔の向きを、右向き（撮像画像を正面から見てユーザ１１が右側に向いている状態）であると判定する。
【０１１１】
そして、判定部８３は、ユーザ１１の顔の向きの判定結果を、（顔領域抽出部２２から供給される）差分画像および顔領域情報とともに、顔器官抽出部２４（図１）に供給する。
【０１１２】
図９は、図１の顔器官抽出部２４の詳細な構成例を示すブロック図である。
【０１１３】
顔器官抽出部２４は、画素値加算部１０１、メモリ１０２、目・鼻・口画像分離部１０３、目画像処理部１０４、鼻画像処理部１０５、口画像処理部１０６、メモリ１０７、および画像出力部１０８により構成されている。
【０１１４】
また、目画像処理部１０４は、画素値加算部１１１、目領域抽出部１１２、および代表点決定部１１３により構成され、鼻画像処理部１０５は、画素値加算部１２１、鼻領域抽出部１２２、および代表点決定部１２３により構成され、口画像処理部１０６は、画素値加算部１３１、口領域抽出部１３２、および代表点決定部１３３により構成されている。
【０１１５】
顔器官抽出部２４には、顔向き判定部２３（図８）から、差分画像、顔領域情報、および判定結果が供給される。差分画像、顔領域情報、および判定結果のうちの差分画像および顔領域情報が、画素値加算部１０１およびメモリ１０２に供給される。また、顔領域情報および判定結果が、画像出力部１０８に供給される。
【０１１６】
画素値加算部１０１は、顔領域情報で特定される差分画像内の顔画像について、水平方向の列ごとの画素加算値Ｗ’j'（以下、適宜、顔画像の画素加算値Ｗ’j'と称する）を算出し、目・鼻・口画像分離部１０３に供給する。ここで、添え字の変数ｊ’は、ｊ=１乃至Ｍのうちの顔画像として抽出された垂直方向の位置を表す。
【０１１７】
メモリ１０２は、差分画像および顔領域情報を記憶し、必要に応じて、目・鼻・口画像分離部１０３に供給する。
【０１１８】
目・鼻・口画像分離部１０３（以下、単に画像分離部１０３と称する）は、画素値加算部１０１からの顔画像の画素加算値Ｗ’j'を用いて、メモリ１０２に記憶されている差分画像に対して顔領域情報で特定される顔画像を、目の領域を含む画像（以下、目画像と称する）、鼻の領域を含む画像（以下、鼻画像と称する）、および口の領域を含む画像（以下、口画像と称する）の（垂直方向の）３つに分離する。そして、画像分離部１０３は、分離された目画像、鼻画像、および口画像を、それぞれ、目画像処理部１０４、鼻画像処理部１０５、および口画像処理部１０６に供給する。
【０１１９】
目画像処理部１０４は、画像分離部１０３から供給される目画像に基づいて、図３に示したように、ユーザ１１の左目の領域ILと、その領域ILを代表する代表点ILp、および右目の領域IRと、その領域IRを代表する代表点IRpを特定する。
【０１２０】
具体的には、画素値加算部１１１は、目画像について、垂直の列ごとの画素加算値Ｖ’ip'および水平方向の列ごとの画素加算値Ｗ’jp'（以下、適宜、目画像の画素加算値Ｖ’ip'およびＷ’jp'と称する）を計算し、目領域抽出部１１２に供給する。ここで、添え字の変数ｉｐ’は、ｉ=１乃至Ｎのうちの目画像として抽出された水平方向の位置を表し、変数ｊｐ’は、ｊ＝１乃至Ｍのうちの目画像として抽出された垂直方向の位置を表す。
【０１２１】
目領域抽出部１１２は、目画像の画素加算値Ｖ’ip'を水平方向に順次プロットすることにより得られる列画素値加算曲線、および、目画像の画素加算値Ｗ’jp'を垂直方向に順次プロットすることにより得られる行画素値加算曲線（以下、単に、目画像の列画素値加算曲線および行画素値加算曲線と称する）を用いて、ユーザ１１の目の領域を特定（抽出）する。そして、目領域抽出部１１２は、ユーザ１１の目の領域を特定する情報を、目画像とともに、代表点決定部１１３に供給する。
【０１２２】
代表点決定部１１３は、ユーザ１１の目の領域を特定する情報から、目画像のなかの目の領域を特定し、特定した目の領域に対して列画素値加算曲線および行画素値加算曲線を再計算する。そして、代表点決定部１１３は、目の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の目の位置を代表する代表点を特定（決定）する。この目の代表点は、目（虹彩）の中心や、黒目の位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。
【０１２３】
そして、代表点決定部１１３は、目領域抽出部１１２から供給された目の領域を特定する情報、および目の代表点を特定する情報（合わせて目領域情報と称する）を画像出力部１０８に供給する。
【０１２４】
なお、目画像処理部１０４は、両目のそれぞれについて、上述の処理を行う。
【０１２５】
鼻画像処理部１０５は、画像分離部１０３から供給される鼻画像に基づいて、図３に示したように、ユーザ１１の鼻の領域NRと、その領域NRを代表する代表点NRpを特定する。
【０１２６】
具体的には、画素値加算部１２１は、鼻画像について、垂直方向の列ごとの画素加算値Ｖ’iq'および水平方向の列ごとの画素加算値Ｗ’jq'（以下、適宜、鼻画像の画素加算値Ｖ’iq' およびＷ’jq'と称する）を算出し、鼻領域抽出部１２２に供給する。ここで、添え字の変数ｉｑ’は、ｉ=１乃至Ｎのうちの鼻画像として抽出された水平方向の位置を表し、変数ｊｑ’は、ｊ＝１乃至Ｍのうちの鼻画像として抽出された垂直方向の位置を表す。
【０１２７】
鼻領域抽出部１２２は、鼻画像の画素加算値Ｖ’iq'を水平方向に順次プロットすることにより得られる列画素値加算曲線、および、鼻画像の画素加算値Ｗ’jq'を垂直方向に順次プロットすることにより得られる行画素値加算曲線（以下、単に、鼻画像の列画素値加算曲線および行画素値加算曲線と称する）を用いて、ユーザ１１の鼻の領域を特定（抽出）する。そして、鼻領域抽出部１２２は、ユーザ１１の鼻の領域を特定する情報を、鼻画像とともに、代表点決定部１２３に供給する。
【０１２８】
代表点決定部１２３は、ユーザ１１の鼻の領域を特定する情報から、鼻画像のなかの鼻の領域を特定し、特定した鼻の領域に対して列画素値加算曲線および行画素値加算曲線を再計算する。そして、代表点決定部１２３は、鼻の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の鼻の位置を代表する代表点を特定（決定）する。この鼻の代表点は、鼻の中心位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。
【０１２９】
そして、代表点決定部１２３は、鼻領域抽出部１２２から供給された鼻の領域を特定する情報、および鼻の代表点を特定する情報（合わせて鼻領域情報と称する）を画像出力部１０８に供給する。
【０１３０】
口画像処理部１０６は、画像分離部１０３から供給される口画像に基づいて、図３に示したように、ユーザ１１の口の領域MRと、その領域MRを代表する代表点MRpを特定する。
【０１３１】
具体的には、画素値加算部１３１は、口画像について、垂直方向の列ごとの画素加算値Ｖ’ir'および水平方向の列ごとの画素加算値Ｗ’jr'（以下、適宜、口画像の画素加算値Ｖ’ir'およびＷ’jr'と称する）を算出し、口領域抽出部１３２に供給する。ここで、添え字の変数ｊｒ’は、ｉ=１乃至Ｎのうちの口画像として抽出された水平方向の各位置を表し、変数ｊｒ’は、ｊ＝１乃至Ｍのうちの口画像として抽出された垂直方向の位置を表す。
【０１３２】
口領域抽出部１３２は、口画像の画素加算値Ｖ’i3'を水平方向に順次プロットすることにより得られる列画素値加算曲線、および、口画像の画素加算値Ｗj3'を垂直方向に順次プロットすることにより得られる行画素値加算曲線（以下、単に、口画像の列画素値加算曲線および行画素値加算曲線と称する）を用いて、ユーザ１１の口の領域を特定（抽出）する。そして、口領域抽出部１３２は、ユーザ１１の口の領域を特定する情報を、口画像とともに、代表点決定部１３３に供給する。
【０１３３】
代表点決定部１３３は、ユーザ１１の口の領域を特定する情報から、口画像のなかの口の領域を特定し、特定した口の領域に対して列画素値加算曲線および行画素値加算曲線を再計算する。そして、代表点決定部１３３は、口の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の口の位置を代表する代表点を特定（決定）する。この口の代表点は、口の中心位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。
【０１３４】
そして、代表点決定部１３３は、口領域抽出部１３２から供給された口の領域を特定する情報、および口の代表点を特定する情報（合わせて口領域情報と称する）を画像出力部１０８に供給する。
【０１３５】
メモリ１０７は、撮像装置１２（図１）から供給される撮像画像（基準画像または照明画像）を記憶し、必要に応じて、画像出力部１０８に供給する。
【０１３６】
上述したように、画像出力部１０８には、顔向き判定部２３（図８）から顔領域情報および判定結果が供給される。また、画像出力部１０８には、目画像処理部１０４、鼻画像処理部１０５、および口画像処理部１０６のそれぞれから、目領域情報、鼻領域情報、および口領域情報も供給される。
【０１３７】
画像出力部１０８は、顔向き判定部２３から供給された判定結果に応じて、メモリ１０７に記憶されている撮像画像を出力するか否かを判定する。即ち、判定結果が右向きまたは左向きを表す場合には、画像出力部１０８は、メモリ１０７に記憶されている撮像画像が顔画像の認識処理に不適当な画像であると判定し、それ（撮像画像）を出力しない。一方、判定結果が正面を表す場合には、画像出力部１０９は、メモリ１０７に記憶されている撮像画像が顔画像の認識処理に適当な画像であると判定し、それを、顔領域情報、目領域情報、鼻領域情報、および口領域情報とともに出力する。
【０１３８】
従って、画像処理装置１５（の画像出力部１０８）が撮像画像を供給（出力）する出力先の装置では、顔画像の認識処理に適当な画像だけを得ることができ、さらに、顔領域情報、目領域情報、鼻領域情報、および口領域情報により、撮像画像のなかの正確な顔領域、目領域鼻領域、および口領域を特定することができるので、顔画像の認識を正確に行うことができる。
【０１３９】
以下、図を参照して、画像処理装置１５が行う処理の詳細についてさらに説明する。
【０１４０】
図１０は、照明装置１３による、ユーザ１１に対する光の照射方向を説明する図である。
【０１４１】
照明装置１３は、図１０に示すように、例えば、ユーザ１１の顔に対して前方斜め下の方向から、ユーザ１１の顔だけに強い光が照射するように配置される。従って、ユーザ１１の顔以外の背景などについては、照明装置１３で光が照射されているか、または照射されていないかにかかわらず一定の明るさとなる。
【０１４２】
画像処理装置１５には、撮像装置１２で撮像された画像として、図１１の画像２０１Aおよび画像２０１Bが、順次供給（入力）されるものとする。
【０１４３】
図１１Aの画像２０１Aは、照明装置１３がユーザ１１を照射していない状態で撮像された基準画像を示している。また、図１１Bの画像２０１Bは、図１０に示したように配置されている照明装置１３がユーザ１１に対して強い光を照射している状態で撮像された照明画像を示している。
【０１４４】
なお、図１１Aの画像２０１Aおよび図１１Bの画像２０１Bの各画素の画素値は、実際には、被写体により反射された光の違いにより、様々な画素値となっているが、図面では、すべての画素値の違いを表すことが難しいため簡略化してある。
【０１４５】
画像２０１Ａでは、ユーザ１１は、照明装置１３によって照射されずに自然光（周辺の光）のみによって照らされており、少し暗くなっている。
【０１４６】
これに対して、画像２０１Ｂでは、ユーザ１１の顔面に対して照明装置１３によって光が照射されているために、照明装置１３からの光がユーザ１１の顔面で反射し、ユーザ１１の顔面が、極めて明るく（図面上では白く）なっている。なお、ユーザ１１の顔面のうち、点線で示されている顔の器官は、照明装置１３からの光の反射により、最も明るい（白い）部分を表している。
【０１４７】
通常のCCD撮像素子などによる撮像装置で同様の照明条件により撮像したとすると、画像２０１Bに対応する画像は、ユーザ１１の顔の領域の画素値が飽和してしまい、照明装置１３による光を照射していない状態で撮像された画像２０１Aと、ユーザ１１に対して強い光を照射している状態で撮像された画像２０１Bとをそのまま（同一条件で）比較することができない。これに対して、対数変換型の撮像素子を有する撮像装置１２では、上述したように、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、図１０に示したように、ユーザ１１の顔だけに強い光を照射した状態で撮像された画像２０１Ｂでも、ユーザ１１の詳細な輝度分布を忠実に表すことができる。即ち、入射光量を調整せずに、照明装置１３による光を照射していない状態で撮像された画像２０１Aと、ユーザ１１に対して強い光を照射している状態で撮像された画像２０１Bとから差分画像を得ることができる。
【０１４８】
そこで、差分画像算出部２１は、画像２０１A（以下、基準画像２０１Ａと称する）と画像２０１B（以下、照明画像２０１Ｂと称する）との間の、対応する画素どうしの画素値の差分（差分の絶対値）を算出することにより、図１１Cに示す差分画像２０１Cを生成する。
【０１４９】
照明画像２０１Ｂでは、上述したように、点線で示されている、ユーザ１１の顔の、眉、目の輪郭、鼻の底辺部（鼻穴の周辺）、および唇の凸部が、際立って明るい（画素値が大きい）画像となっているため、差分画像２０１Ｃも同様に、点線で示されている、ユーザ１１の顔の、眉、目の輪郭、鼻の底辺部（鼻穴の周辺）、および唇の凸部が、際立って明るい（画素値が大きい）画像となる。
【０１５０】
また、基準画像２０１Ａと照明画像２０１Ｂの背景領域、および、ユーザ１１の髪の領域は、照明装置１３からの光の照射の有無では明るさ（画素値）は変わらないため、差分画像２０１Ｃでは、画素値が０に近い値となる。なお、図１１Ｃの差分画像２０１Ｃにおいて、画素値が０に近い値となっている画素（領域）を灰色で示してある。
【０１５１】
差分画像算出部２１は、生成した差分画像２０１Cを顔領域抽出部２２に供給する。
【０１５２】
顔領域抽出部２２の画素値加算部７１は、差分画像２０１Cの垂直方向の列ごとの画素加算値Ｖiを、水平方向に（ｉ＝１乃至Ｎの順に）順次プロットすることにより、図１１Dに示す列画素値加算曲線２２１Ｙを求める。また、画素値加算部７１は、差分画像２０１Cの水平方向の列ごとの画素加算値Ｗjを、垂直方向に（ｊ＝１乃至Ｍの順に）順次プロットすることにより、図１１Dに示す行画素値加算曲線２２１Ｘを求める。
【０１５３】
なお、図１１Dにおいて、列画素値加算曲線２２１Ｙに対する目盛は、下側の横軸と左側の縦軸を用い、下側の横軸は、水平方向（Ｘ方向）の位置を表し、左側の縦軸は、垂直方向（Ｙ方向）の列ごとに画素値を加算したときの画素加算値Ｖiを表す。また、行画素値加算曲線２２１Ｘに対する目盛は、上側の横軸と右側の縦軸を用い、右側の縦軸は、垂直方向（Ｙ方向）の位置を表し、上側の横軸は、水平方向（Ｘ方向）の列ごとに画素値を加算したときの画素加算値Ｗjを表す。また、図１１Dにおいては、N＝２５６、M＝１２８となっている。
【０１５４】
図１１Cに示す差分画像２０１Cと、図１１Dに示す行画素値加算曲線２２１Ｘおよび列画素値加算曲線２２１Ｙとを比べると、差分画像２０１Cの水平方向（Ｘ方向）では、顔の領域がある範囲Ｘbに、列画素値加算曲線２２１Ｙ（画素加算値Ｖi）が大きくなり、差分画像２０１Cの垂直方向（Ｙ方向）では、顔の領域がある範囲Ｙbに、行画素値加算曲線２２１Ｘ（画素加算値Ｗj）が大きくなっている。
【０１５５】
そこで、顔領域抽出部２２の閾値設定部７２は、上述した式（３）および（４）により、差分画像の水平方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXを算出する。また、閾値設定部７２は、差分画像の垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THYを算出する。そして、算出された閾値THXまたはTHYが、顔領域データ抽出部７３に供給される。なお、閾値THXまたはTHYは、上述した式（３）および（４）により求める方法の他、実験によるデータ（統計的データ）によって求めるようにしてもよい。
【０１５６】
顔領域データ抽出部７３は、閾値設定部７２から供給される閾値THXおよびTHYに基づいて、差分画像のなかのユーザ１１の顔領域の位置を特定する。
【０１５７】
即ち、差分画像２０１Cの水平方向については、顔領域データ抽出部７３は、図１２Aに示すように、列画素値加算曲線２２１Ｙが閾値THXと交わる位置ＸmaおよびＸmbを算出する。
【０１５８】
また、差分画像２０１Cの垂直方向については、顔領域データ抽出部７３は、行画素値加算曲線２２１Ｘが閾値THYと交わる位置ＹmaおよびＹmbを算出する。
【０１５９】
そして、顔領域データ抽出部７３は、図１２Bにおいて斜線で示されている、列画素値加算曲線２２１Ｙが閾値THX以上となるＸma≦ｉ≦Ｘmbの範囲と、行画素値加算曲線２２１Ｘが閾値THY以上となるＹma≦ｊ≦Ｙmbの範囲とで囲まれる領域２３１を、ユーザ１１の顔の領域であると特定する。
【０１６０】
顔領域データ抽出部７３は、ユーザ１１の顔の領域を特定する、水平方向の位置ＸmaおよびＸmbと、垂直方向の位置ＹmaおよびＹmbとを、顔領域情報として、差分画像２０１Ｃとともに顔向き判定部２３に供給する。
【０１６１】
顔向き判定部２３の画素値加算部８１は、顔領域情報で特定される、差分画像内の顔画像について、垂直方向の列ごとの画素加算値Ｖ’i'を計算する。そして、中心位置検出部８２は、顔画像の画素加算値Ｖ’i'を水平方向に順次プロットすることにより得られる列画素値加算曲線を用いて、ユーザ１１の顔の水平方向の中心位置（重心位置）Ｘ’を決定し、判定部８３に供給する。
【０１６２】
図１３は、ユーザ１１の顔の水平方向の中心位置（重心位置）Ｘ’と、ユーザ１１の顔の向き（正面、右向き、または左向き）との関係を示している。
【０１６３】
なお、図１３では、図１１Ｃにおいて点線で示した、際立って明るい（画素値が大きい）部分を灰色で示している（後述する図１５についても同様）。
【０１６４】
画素値加算部８１により計算された顔画像の画素加算値Ｖ’i'を水平方向に順次プロットすることにより、図１３Ａ上側に示す列画素値加算曲線２４０Ａが得られたとする。
【０１６５】
中心位置検出部８２は、列画素値加算曲線２４０Ａの最大値２４１Ａとなっている位置を、ユーザ１１の顔の水平方向の中心位置（重心位置）Ｘ’とする。これは、差分画像では、図１３Ａ下側に示すように、顔画像の眉、目、鼻、および口の領域に相当する画素（灰色で示した部分）で画素値が大きく（明るく）なるが、それらの領域のなかでも、鼻と口がある領域（面積）が、眉や目に相当する領域よりも広いため、列画素値加算曲線が最大値となる位置に、鼻と口があるとみなしてよいからである。
【０１６６】
従って、判定部８３は、ユーザ１１の顔の中心（鼻および口の位置）とみなされる中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲内、その範囲の左または右側のいずれに存在しているかどうかにより、ユーザ１１の顔の向きを判定する。
【０１６７】
図１３Ａでは、ユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲（第２の範囲）内に存在しているので、判定部８３は、ユーザ１１の顔の向きを正面であると判定する。
【０１６８】
また、図１３Ｂに示す列画素値加算曲線２４０Ｂが得られた場合、中心位置検出部８２は、列画素値加算曲線２４０Ｂの最大値２４１Ｂとなっている位置を、ユーザ１１の顔の水平方向の中心位置Ｘ’とする。
【０１６９】
そして、判定部８３は、ユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより所定の距離ＸRだけ大きい位置（Ｘp＋ＸR）よりも右側(大きい側)の範囲（第３の範囲）に存在しているので、ユーザ１１の顔の向きを右向きであると判定する。
【０１７０】
さらに、図１３Ｃに示す列画素値加算曲線２４０Ｃが得られた場合、中心位置検出部８２は、列画素値加算曲線２４０Ｃの最大値２４１Ｃとなっている位置を、ユーザ１１の顔の水平方向の中心位置Ｘ’とする。
【０１７１】
そして、判定部８３は、ユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより所定の距離ＸRだけ小さい位置（Ｘp−ＸR）よりも左側(小さい側)の範囲（第１の範囲）に存在しているので、ユーザ１１の顔の向きを左向きであると判定する。
【０１７２】
判定部８３は、以上のようにして判定したユーザ１１の顔の向きの判定結果を、（顔領域抽出部２２から供給される）差分画像および顔領域情報とともに、顔器官抽出部２４に供給する。
【０１７３】
顔器官抽出部２４の画素値加算部１０１は、顔領域情報で特定される差分画像内の顔画像について、水平方向の列ごとの画素加算値Ｗ’j'（顔画像の画素加算値Ｗ’j'）を計算し、画像分離部１０３に供給する。
【０１７４】
画像分離部１０３は、画素値加算部１０１から供給される顔画像の画素加算値Ｗ’j'を用いて、顔画像を、目の領域を含む画像（目画像）、鼻の領域を含む画像（鼻画像）、および口の領域を含む画像（口画像）の３つに分離する。
【０１７５】
具体的には、画像分離部１０３は、顔画像の画素加算値Ｗ’j'を垂直方向に順次プロットすることにより、図１４に示す行画素値加算曲線２６０を求める。
【０１７６】
そして、画像分離部１０３は、行画素値加算曲線２６０に生じている極小点を検出する。図１４に示す例では、画像分離部１０３は、行画素値加算曲線２６０から、極小点２６１Ａ乃至２６１Ｅを検出する。
【０１７７】
次に、画像分離部１０３は、検出された極小点２６１Ａ乃至２６１Ｅのなかで、顔画像の画素加算値Ｗ’j'が最小となる位置ｊを、目画像と鼻画像を上下に（垂直方向に）分離する境界（位置）として検出する。
【０１７８】
さらに、画像分離部１０３は、目画像と鼻画像を上下に分離する境界として検出された極小点から下方向に次に検出される極小点の位置ｊを、鼻画像と口画像を上下に（垂直方向に）分離する境界（位置）として検出する。
【０１７９】
図１４に示す例では、検出された極小点２６１Ａ乃至２６１Ｅのなかで、顔画像の画素加算値Ｗ’j'が最小となっている極小点２６１Ｃを有する位置Ｙgが、目画像と鼻画像を上下に分離する境界（位置）として検出される。
【０１８０】
また、目画像と鼻画像を上下に分離する境界として検出された極小点２６１Ｃから下方向に次に検出される極小点２６１Ｄの位置Ｙhが、鼻画像と口画像を上下に分離する境界（位置）として検出される。
【０１８１】
これにより、画像分離部１０３は、図１５に示すように、差分画像のうちの顔の領域（顔画像）２３１を、目の領域を含む画像（目画像）２７１、鼻の領域を含む画像（鼻画像）２７２、および口の領域を含む画像（口画像）２７３に分離する。そして、画像分離部２０３は、目画像２７１を目画像処理部１０４に供給し、鼻画像２７２を鼻画像処理部１０５に供給し、口画像２７３を口画像処理部１０６に供給する。
【０１８２】
なお、画像分離部１０３においては、目画像と鼻画像を上下に分離する境界としての極小点２６１Ｃを検出する場合、目画像と鼻画像を上下に分離する境界は、顔の領域（顔画像）の垂直方向（上下方向）の中心付近に存在することが想定されるため、顔の領域の垂直方向の中心付近（例えば、垂直方向の長さの半分の範囲）の範囲内だけで、行画素値加算曲線２６０の最小値となっている極小点を検出するようにしてもよい。また、顔の領域の垂直方向の中心に最も近い極小点を検出するようにしてもよい。
【０１８３】
また、極小点を検出する際には、微小な画素値の変化によって生じている極小点など、本来の検出したい極小点とは異なる点を検出しないために、行画素値加算曲線２６０に対して、高周波成分を除去するフィルタ（ローパスフィルタ）処理等を行ってから上述の処理を実行することができる。さらに、検出された極小点の前後（上下）に位置する極大点との顔画像の画素加算値Ｗ’j'の差が、一定値以上であるなどの制約条件を付加して、不適当な（ノイズによる）極小点を除外するようにしてもよい。
【０１８４】
次に、目画像処理部１０４の画素値加算部１１１は、画像分離部１０３から供給された目画像に対して、垂直または水平方向の列ごとの画素加算値Ｖ’ip' またはＷ’jp'を計算し、目領域抽出部１１２に供給する。目領域抽出部１１２は、目画像の画素加算値Ｖ’ip' またはＷ’jp'を水平方向または垂直方向に順次プロットすることにより、それぞれ、図１６Ａに示す目画像の列画素値加算曲線２７１Ｙまたは行画素値加算曲線２７１Ｘを得る。
【０１８５】
また、鼻画像処理部１０５の画素値加算部１２１は、画像分離部１０３から供給された鼻画像に対して、垂直または水平方向の列ごとの画素加算値Ｖ’iq' またはＷ’jq'を計算し、鼻領域抽出部１２２に供給する。鼻領域抽出部１２２は、鼻画像の画素加算値Ｖ’iq' またはＷ’jq'を水平方向または垂直方向に順次プロットすることにより、それぞれ、図１６Ｂに示す鼻画像の列画素値加算曲線２７２Ｙまたは行画素値加算曲線２７２Ｘを得る。
【０１８６】
さらに、口画像処理部１０６の画素値加算部１３１は、画像分離部１０３から供給された口画像に対して、垂直または水平方向の列ごとの画素加算値Ｖ’ir' またはＷ’jr'を計算し、口領域抽出部１３２に供給する。口領域抽出部１３２は、口画像の画素加算値Ｖ’i3' またはＷj3'を水平方向または垂直方向に順次プロットすることにより、それぞれ、図１６Ｃに示す口画像の列画素値加算曲線２７３Ｙまたは行画素値加算曲線２７３Ｘを得る。
【０１８７】
次に、図１７を参照して、目画像処理部１０４の目領域抽出部１１２および代表点決定部１１３が行う処理について説明する。
【０１８８】
目領域抽出部１１２は、目画像の列画素値加算曲線２７１Ｙおよび行画素値加算曲線２７１Ｘを用いて、ユーザ１１の目の領域を特定する。
【０１８９】
具体的には、目領域抽出部１１２は、目画像の水平方向の中点（中間位置）を中心とし、幅を、例えば、目画像の幅Ｘdの半分（Ｘd/2）とする範囲Ｘe内における、列画素値加算曲線２７１Ｙの最小値を検出する。
【０１９０】
図１７Aでは、極小点２８１が、範囲Ｘe内の最小値として検出される。そして、極小点２８１の水平方向の位置Ｘdpが、目画像を、左目と右目をそれぞれ含む左目画像と右目画像に分離する境界となる。
【０１９１】
次に、目領域抽出部１１２は、顔画像の水平方向の位置Ｘdpより左側の領域（左目画像）における列画素値加算曲線２７１Ｙに注目する。目領域抽出部１１２は、位置Ｘdpより左側の領域（左目画像）における列画素値加算曲線２７１Ｙに対し、極大点を検出し、その検出された極大点のなかから、図１７Aに示すように、値の大きい順に２つの極大点２９１Aおよび２９１Bを選択する。そして、２つの極大点２９１Aおよび２９１Bそれぞれに対応する水平方向の位置ＸIL1およびＸIL2が、左目の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸIL1≦ｉ≦ＸIL2の範囲に左目が存在していると特定される。
【０１９２】
位置Ｘdpより右側の領域（右目画像）に対しても同様に、目領域抽出部１１２は、列画素値加算曲線２７１Ｙに対し、極大値を検出し、その検出された極大点のなかから、図１７Aに示すように、値の大きい順に２つの極大点２９１Cおよび２９１Dを選択する。そして、２つの極大点２９１Cおよび２９１Dそれぞれに対応する水平方向の位置ＸIR1およびＸIR2が、右目の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸIR1≦ｉ≦ＸIR2の範囲に右目が存在していると特定される。
【０１９３】
一方、垂直方向に対しては、目領域抽出部１１２は、行画素値加算曲線２７１Ｘ（目画像の画素加算値Ｗ’jp'）において極小点を検出し、その検出された極小点のなかから、図１７Aに示すように、値の最も小さな極小点３０１を選択する。
【０１９４】
そして、目領域抽出部１１２は、行画素値加算曲線２７１Ｘにおいて、値の最も小さな極小点３０１の両隣に位置する極大点を検出する。即ち、目領域抽出部１１２は、行画素値加算曲線２７１Ｘにおいて、値の最も小さな極小点３０１から、上下方向それぞれに検索して最初の極大点３１１Aおよび３１１Bを検出する。
【０１９５】
そして、極大点３１１Aおよび３１１Bそれぞれに対応する垂直方向の位置ＹI1およびＹI2が、垂直方向の左目および右目の領域を特定する位置となる。即ち、垂直方向においては、ＹI1≦ｊ≦ＹI2の範囲に左目および右目が存在していると特定される。なお、極小点３０１に対応する垂直方向の位置が、位置Ｙdpである。
【０１９６】
以上から、目領域抽出部１１２は、図１７Aにおいて斜線で示されている、ＸIL1≦ｉ≦ＸIL2の範囲とＹI1≦ｊ≦ＹI2の範囲とで囲まれる領域を、左目の領域ILと特定する。また、目領域抽出部１１２は、ＸIR1≦ｉ≦ＸIR2の範囲とＹI1≦ｊ≦ＹI2の範囲とで囲まれる領域を、右目の領域IRと特定する。目領域抽出部１１２は、水平方向の位置ＸIL1，ＸIL2，ＸIR1、およびＸIR2と、垂直方向の位置ＹI1およびＹI2とを、ユーザ１１の目の領域を特定する情報として、代表点決定部１１３に供給する。
【０１９７】
代表点決定部１１３は、ユーザ１１の目の領域内で、目の位置を代表する代表点を特定する。
【０１９８】
図１７Bは、左目の領域IL内で再計算された行画素値加算曲線２７１Ｘ’および列画素値加算曲線２７１Ｙ’を示している。図１７Cは、右目の領域IR内で再計算された行画素値加算曲線２７１Ｘ”および列画素値加算曲線２７１Ｙ”を示している。
【０１９９】
図１７Bに示す左目の領域ILにおいて、代表点決定部１１３は、列画素値加算曲線２７１Ｙ’の最小値３２１を検出し、その最小値３２１に対応する水平方向の位置ILXを得る。また、代表点決定部１１３は、行画素値加算曲線２７１Ｘ’の最小値３２２を検出し、その最小値３２２に対応する垂直方向の位置ILYを得る。この位置ILXおよびILYが、ユーザ１１の左目の位置を代表する代表点ILp＝（ILX，ILY）を表す。
【０２００】
同様にして、図１７Cに示す右目の領域IRにおいて、代表点決定部１１３は、列画素値加算曲線２７１Ｙ”の最小値３３１を検出し、その最小値３３１に対応する水平方向の位置IRXを得る。また、代表点決定部１１３は、行画素値加算曲線２７１Ｘ”の最小値３３２を検出し、その最小値３３２に対応する垂直方向の位置IRYを得る。この位置IRXおよびIRYが、ユーザ１１の右目の位置を代表する代表点IRp＝（IRX，IRY）を表す。
【０２０１】
代表点決定部１１３は、位置（ILX，ILY）および位置（IRX，IRY）を、ユーザ１１の目の代表点ILpおよびIRpを特定する情報とし、上述した目の領域を特定する情報とともに、画像出力部１０８に供給する。
【０２０２】
この目の代表点は、目（虹彩）の中心や、黒目の位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。従って、代表点としての左右の目の位置関係を調べる（比較）することにより、個人（本人）認証の精度を向上させることができる。
【０２０３】
また、連続して撮像された複数の画像に対して、代表点としての左右の目の位置の軌跡（移動方向）を調べることにより、ユーザ１１の視線の移動方向や顔の向きを検出することも可能である。
【０２０４】
次に、図１８を参照して、鼻画像処理部１０５の鼻領域抽出部１２２および代表点決定部１２３が行う処理について説明する。
【０２０５】
鼻領域抽出部１２２は、鼻画像の列画素値加算曲線２７２Ｙおよび行画素値加算曲線２７２Ｘを用いて、ユーザ１１の鼻の領域を特定する。
【０２０６】
具体的には、鼻領域抽出部１２２は、鼻画像の水平方向の中点（中間位置）を中心とし、幅を、例えば、鼻画像の幅Ｘdの半分（Ｘd/2）とする範囲Ｘe内における、列画素値加算曲線２７２Ｙの極小点を検出し、その検出された極小点のなかから、図１８Aに示すように、値の小さい順に２つの極小点３４１および３４２を選択する。そして、２つの極小点３４１および３４２それぞれに対応する水平方向の位置ＸN1およびＸN2が、鼻の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸN1≦ｉ≦ＸN2の範囲に鼻が存在していると特定される。
【０２０７】
一方、垂直方向に対しては、鼻領域抽出部１２２は、行画素値加算曲線２７２Ｘにおいて極大点を検出し、その検出された極大点のなかから、値の最も大きな極大点３５１を選択する。なお、図１８Ａの行画素値加算曲線２７２Ｘのように、１つの極大点３５１しか存在していない場合、その極大点３５１が選択される。
【０２０８】
そして、鼻領域抽出部１２２は、極大点３５１に対応する垂直方向の位置ＹN1から、鼻画像の垂直方向の下限位置ＹN3までの距離ＹNDと同一の距離だけ、位置ＹN1から上方向に進んだ位置ＹN2を決定する。このようにして決定される垂直方向の位置ＹN2およびＹN3が、垂直方向の鼻の領域を特定する位置となる。即ち、垂直方向においては、ＹN2≦ｊ≦ＹN3の範囲に鼻が存在していると特定される。
【０２０９】
以上から、鼻領域抽出部１２２は、図１８Aにおいて斜線で示されている、ＸN1≦ｉ≦ＸN2の範囲とＹN2≦ｊ≦ＹN3の範囲とで囲まれる領域を、鼻の領域NRと特定する。また、鼻領域抽出部１２２は、水平方向の位置ＸN1およびＸN2と、垂直方向の位置ＹN2およびＹN3とを、ユーザ１１の鼻の領域を特定する情報として、代表点決定部１２３に供給する。
【０２１０】
代表点決定部１２３は、ユーザ１１の鼻の領域内で、鼻の位置を代表する代表点を特定する。
【０２１１】
図１８Bは、鼻の領域NR内で再計算された行画素値加算曲線２７２Ｘ’および列画素値加算曲線２７２Ｙ’を示している。
【０２１２】
図１８Bに示す鼻の領域NRにおいて、代表点決定部１２３は、列画素値加算曲線２７２Ｙ’の最大値３６１を検出し、その最大値３６１に対応する水平方向の位置NRXを得る。また、代表点決定部１２３は、行画素値加算曲線２７２Ｘ’の最大値３７１を検出し、その最小値３７１に対応する垂直方向の位置NRYを得る。この位置NRXおよびNRYが、ユーザ１１の鼻の位置を代表する代表点NRp＝（NRX，NRY）を表す。
【０２１３】
代表点決定部１２３は、位置（NRX，NRY）を、ユーザ１１の鼻の代表点NRpを特定する情報とし、上述した鼻の領域を特定する情報とともに、画像出力部１０８に供給する。
【０２１４】
次に、図１９を参照して、口画像処理部１０６の口領域抽出部１３２および代表点決定部１３３が行う処理について説明する。
【０２１５】
口領域抽出部１３２は、口画像の列画素値加算曲線２７３Ｙおよび行画素値加算曲線２７３Ｘを用いて、ユーザ１１の口の領域を特定する。
【０２１６】
具体的には、口領域抽出部１３２は、口画像の水平方向の中点（中間位置）を中心とし、幅を、例えば、口画像の幅Ｘdの半分（Ｘd/2）とする範囲Ｘe内における、列画素値加算曲線２７３Ｙの３つの極小点３８１乃至３８３を検出する。そして、口領域抽出部１３２は、検出された極小点３８１乃至３８３のなかから、水平方向に最大と最小の（即ち、両脇の）極小点３８１および３８３を選択する。２つの極小点３８１および３８３それぞれに対応する水平方向の位置ＸM1およびＸM3が、口の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸM1≦ｉ≦ＸM3の範囲に口が存在していると特定される。
【０２１７】
一方、垂直方向に対しては、口領域抽出部１３２は、行画素値加算曲線２７３Ｘにおいて極小点を検出し、その検出された極小点のなかから、値の最も小さな極小点３８４を選択する。なお、図１９Ａの行画素値加算曲線２７３Ｘのように、１つの極小点３８４しか存在していない場合、その極小点３８４が選択される。
【０２１８】
そして、口領域抽出部１３２は、極小点３８４に対応する垂直方向の位置ＹM1から、口画像の垂直方向の上限位置ＹM2までの距離ＹMDと同一の距離だけ、位置ＹM1から下方向に進んだ位置ＹM3を決定する。このようにして決定される垂直方向の位置ＹM2およびＹM3が、垂直方向の口の領域を特定する位置となる。即ち、垂直方向においては、ＹM2≦ｊ≦ＹM3の範囲に口が存在していると特定される。
【０２１９】
以上から、口領域抽出部１３２は、図１９Aにおいて斜線で示されている、ＸM1≦ｉ≦ＸM3の範囲とＹM2≦ｊ≦ＹM3の範囲とで囲まれる領域を、口の領域MRと特定する。また、口領域抽出部１３２は、水平方向の位置ＸM1およびＸM3と、垂直方向の位置ＹM2およびＹM3とを、ユーザ１１の口の領域を特定する情報として、代表点決定部１３３に供給する。
【０２２０】
代表点決定部１３３は、ユーザ１１の口の領域内で、口の位置を代表する代表点を特定する。
【０２２１】
図１９Bは、口の領域MR内で再計算された行画素値加算曲線２７３Ｘ’および列画素値加算曲線２７３Ｙ’を示している。
【０２２２】
図１９Bに示す口の領域MRにおいて、代表点決定部１３３は、列画素値加算曲線２７３Ｙ’の極小値３９１を検出し、その極小値３９１に対応する水平方向の位置MRXを得る。また、代表点決定部１３３は、行画素値加算曲線２７３Ｘ’の極小値３９２を検出し、その極小値３９２に対応する垂直方向の位置MRYを得る。この位置MRXおよびMRYが、ユーザ１１の口の位置を代表する代表点MRp＝（MRX，MRY）を表す。
【０２２３】
代表点決定部１３３は、位置（MRX，MRY）を、ユーザ１１の口の代表点MRpを特定する情報とし、上述した口の領域を特定する情報とともに、画像出力部１０８に供給する。
【０２２４】
次に、図２０および図２１のフローチャートを参照して、画像処理装置１５の処理について説明する。この処理は、撮像画像が撮像装置１２から画像処理装置１５に供給されたときに開始される。
【０２２５】
初めに、ステップＳ１において、差分画像算出部２１の画像取得部６１は、基準画像と照明画像を取得する。より詳しくは、画像取得部６１は、撮像装置１２から供給される撮像画像を取得し、タイミング制御装置１４からの判定信号に従い、撮像装置１２から供給された撮像画像が、基準画像であるか、または照明画像であるかを判定する。そして、画像取得部６１は、供給された撮像画像が基準画像である場合、撮像画像をメモリ６２に供給し、供給された撮像画像が照明画像である場合、撮像画像をメモリ６３に供給する。
【０２２６】
ステップＳ２において、差分画像算出部２１の差分処理部６４は、メモリ６２に記憶されている基準画像と、メモリ６３に記憶されている照明画像から、差分画像を算出する。
【０２２７】
ステップＳ３において、差分画像算出部２１のフィルタ処理部６５は、差分処理部６４からの差分画像に対してフィルタリング（フィルタ処理）して、処理後の差分画像を顔領域抽出部２２に供給する。
【０２２８】
ステップＳ４において、顔領域抽出部２２の画素値加算部７１は、差分画像の水平または垂直方向それぞれの列ごとに画素値を加算し、差分画像の垂直または水平方向それぞれの列ごとの画素加算値ＶiまたはＷjを算出する。
【０２２９】
ステップＳ５において、顔領域抽出部２２の閾値設定部７２は、差分画像の水平方向または垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXまたはTHYを算出し、設定する。
【０２３０】
ステップＳ６において、顔領域抽出部２２の顔領域データ抽出部７３は、差分画像のなかから顔画像を抽出する。即ち、顔領域データ抽出部７３は、画素値加算部７１から供給される差分画像の画素加算値ＶiおよびＷjと、閾値設定部７２から供給される閾値THXおよびTHYとに基づいて、差分画像のなかのユーザ１１の顔領域の位置を特定する。そして、顔領域データ抽出部７３は、差分画像算出部２１から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３に供給する。
【０２３１】
ステップＳ７において、顔向き判定部２３の画素値加算部８１は、顔画像の画素加算値Ｖ’i'を算出し、中心位置検出部８２に供給する。
【０２３２】
ステップＳ８において、顔向き判定部２３の中心位置検出部８２は、水平方向におけるユーザ１１の顔の中心位置（重心位置）Ｘ’を決定し、判定部８３に供給する。
【０２３３】
ステップＳ９において、顔向き判定部２３の判定部８３は、水平方向におけるユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲、その範囲の左側または右側のいずれに存在しているかどうかにより、ユーザ１１の顔の向きを判定する。そして、この判定結果が、差分画像および顔領域情報とともに顔器官抽出部２４に供給される。
【０２３４】
ステップＳ１０において、顔器官抽出部２４のメモリ１０７は、撮像装置１２から供給される撮像画像（基準画像または照明画像）を記憶する。
【０２３５】
ステップＳ１１において、顔器官抽出部２４の画素値加算部１０１は、顔画像の画素加算値Ｗ’j'を算出し、画像分離部１０３に供給する。
【０２３６】
ステップＳ１２において、顔器官抽出部２４の画像分離部１０３は、画素値加算部１０１からの顔画像の画素加算値Ｗ’j'を用いて、顔画像を目画像、鼻画像、および口画像に分離する。そして、画像分離部１０３は、分離された目画像、鼻画像、および口画像を、それぞれ、目画像処理部１０４、鼻画像処理部１０５、および口画像処理部１０６に供給する。
【０２３７】
ステップＳ１３において、目画像処理部１０４の画素値加算部１１１は、目画像の画素加算値Ｖ’ip' またはＷ’jp'を計算し、目領域抽出部１１２に供給する。
【０２３８】
ステップＳ１４において、目画像処理部１０４の目領域抽出部１１２は、目画像の列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の目の領域を特定する。そして、目領域抽出部１１２は、ユーザ１１の目の領域を特定する情報を、目画像とともに、代表点決定部１１３に供給する。
【０２３９】
ステップＳ１５において、目画像処理部１０４の代表点決定部１１３は、目の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の目の位置を代表する代表点を特定する。そして、代表点決定部１１３は、目領域情報（目の領域を特定する情報および目の代表点を特定する情報）を画像出力部１０８に供給する。
【０２４０】
ステップＳ１６において、鼻領域処理部１０５の画素値加算部１２１は、鼻画像の画素加算値Ｖ’iq' またはＷ’jq'を算出し、鼻領域抽出部１２２に供給する。
【０２４１】
ステップＳ１７において、鼻領域処理部１０５の鼻領域抽出部１２２は、鼻画像の列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の鼻の領域を特定する。そして、鼻領域抽出部１２２は、ユーザ１１の鼻の領域を特定する情報を、鼻画像とともに、代表点決定部１２３に供給する。
【０２４２】
ステップＳ１８において、鼻領域処理部１０５の代表点決定部１２３は、鼻の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の鼻の位置を代表する代表点を特定（決定）する。そして、代表点決定部１２３は、鼻領域情報（鼻の領域を特定する情報および鼻の代表点を特定する情報）を画像出力部１０８に供給する。
【０２４３】
ステップＳ１９において、口画像処理部１０６の画素値加算部１３１は、口画像の画素加算値Ｖ’ir'およびＷ’jr'を算出し、口領域抽出部１３２に供給する。
【０２４４】
ステップＳ２０において、口画像処理部１０６の口領域抽出部１３２は、口画像の列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の口の領域を特定（抽出）する。そして、口領域抽出部１３２は、ユーザ１１の口の領域を特定する情報を、口画像の列画素値加算曲線および行画素値加算曲線とともに、代表点決定部１３３に供給する。
【０２４５】
ステップＳ２１において、口画像処理部１０６の代表点決定部１３３は、口の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の口の位置を代表する代表点を特定（決定）する。そして、代表点決定部１３３は、口領域情報（口の領域を特定する情報および口の代表点を特定する情報）を画像出力部１０８に供給する。
【０２４６】
ステップＳ２２において、口画像処理部１０６の画像出力部１０８は、顔向き判定部２３から供給された判定結果に応じて、上述したステップＳ１０でメモリ１０７に記憶された撮像画像を出力するか否かを判定する。即ち、判定結果から、ユーザ１１の顔の向きが右向きまたは左向きであると判定された場合、画像出力部１０８は、ステップＳ２３をスキップして（メモリ１０７に記憶されている撮像画像を出力せずに）、処理を終了する。
【０２４７】
一方、判定結果から、ユーザ１１の顔の向きが正面であると判定された場合、ステップＳ２３に進み、画像出力部１０８は、顔領域情報、目領域情報、鼻領域情報、および口領域情報とともに、メモリ１０７に記憶されている撮像画像を出力して、処理を終了する。
【０２４８】
以上のように、画像処理装置１５は、顔画像の認識処理に最適な撮像画像だけを出力するとともに、出力される撮像画像の顔領域、目の領域、鼻の領域、口の領域、および目、鼻、口の代表点を出力する。これにより、画像処理装置１５からの出力を受ける装置では、顔画像の認識処理を容易に、かつ正確に行うことができる。
【０２４９】
なお、上述したステップＳ１３乃至Ｓ１５の処理、ステップＳ１６乃至Ｓ１８の処理、またはステップＳ１９乃至Ｓ２１の処理は、いずれの処理を先に行っても良いし、同時に（並行して）行うことも可能である。
【０２５０】
また、上述したステップＳ２３の処理では、画像出力部１０８は、ユーザ１１の顔の向きが正面であると判定された場合に、メモリ１０７に記憶されている撮像画像が基準画像であるか照明画像であるかにかかわらず、メモリ１０７に記憶されている撮像画像を出力するようにしたが、基準画像のときだけ出力するようにしてもよい。
【０２５１】
図２２は、図１の顔領域抽出部２２のその他の実施の形態を示すブロック図である。
【０２５２】
図２２において、顔領域抽出部２２は、ヒストグラム作成部４０１、閾値設定部４０２、顔領域データ抽出部４０３、およびメモリ４０４により構成されている。
【０２５３】
差分画像算出部２１（のフィルタ処理部６５）から供給される（フィルタ処理後の）差分画像は、ヒストグラム作成部４０１および顔領域データ抽出部４０３に供給される。
【０２５４】
ヒストグラム作成部４０１は、差分画像について、同一の画素値を有する画素ごとに画素数を集計した、差分画像の画素値のヒストグラムを作成し、閾値設定部４０２に供給する。また、ヒストグラム作成部４０１は、差分画像の各画素について、画素の位置と、画素値とが対応付けられたテーブルを生成し、メモリ４０４に供給する。このテーブルを参照することにより、所定の画素値が指定された場合に、その画素値を有する画素の差分画像内の位置を特定することができる。
【０２５５】
閾値設定部４０２は、ヒストグラム作成部４０１からの差分画像の画素値のヒストグラムに基づいて、ユーザ１１の顔領域と、その他の領域を区別する画素値を閾値Ｑ2（図２３）として決定（設定）し、顔領域データ抽出部４０３に供給する。
【０２５６】
顔領域データ抽出部４０３は、閾値設定部４０２からの閾値Ｑ2およびメモリ４０４に記憶されているテーブルに基づいて、差分画像のなかのユーザ１１の顔領域を特定する。そして、顔領域データ抽出部４０３は、差分画像算出部２１（図１）から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３（図１）に供給する。
【０２５７】
図２３および図２４を参照して、図２２の顔領域抽出部２２が行う処理について説明する。
【０２５８】
図２３は、ヒストグラム作成部４０１により作成された差分画像の画素値のヒストグラムを示している。
【０２５９】
図２３において、横軸は、画素値を表し、縦軸は、画素数（度数）を表している。
【０２６０】
閾値設定部４０２は、初めに、差分画像の画素値のヒストグラムの極大値を検出する。図２３では、画素値Ｑ1の位置において、極大値４１１が検出される。なお、複数の極大値が検出された場合には、閾値設定部４０２は、検出された複数の極大値のなかで、画素数（度数）の一番大きい極大値（最大の極大値）を採用する。
【０２６１】
差分画像では、図１１Ｃに示したように、背景領域（顔領域以外の領域）の画素値は、０かまたは０に近い数値となり、顔領域の画素値は、０から離れた値となるので、図２３に示すように、画素値のヒストグラムは、０付近とそれ以外の画素値の２極に集中する（画素数が大きくなる）分布となる。
【０２６２】
従って、差分画像の画素値のヒストグラムの極大値を検出する場合、画素値が０付近の極大値は明らかに背景領域となるので、検出される極大値は、０付近の所定の画素値以上であるという制約条件や、画素数（度数）が所定の値以上であるという制約条件を設けて、極大値を検出するようにすることも可能である。
【０２６３】
閾値設定部４０２は、検出された極大値４１１を有する画素値Ｑ1と画素値０との中間の画素値、即ち、検出された極大値４１１を有する画素値Ｑ1の半分の画素値Ｑ2を、ユーザ１１の顔領域と、その他の領域を区別する閾値として決定し、顔領域データ抽出部４０３に供給する。
【０２６４】
顔領域データ抽出部４０３には、上述した閾値Ｑ2が、閾値設定部４０２から供給される。顔領域データ抽出部４０３は、メモリ４０４に記憶されている、差分画像内の画素の位置と、その画素値とが対応付けられたテーブルを参照し、閾値Ｑ2以上の画素値を有する差分画像の画素を特定する。
【０２６５】
図２４は、ある差分画像４２１において、閾値設定部４０２から供給された閾値Ｑ2以上の画素値を有する画素を示している。
【０２６６】
図２４において、差分画像４２１内の“○”または“×”は、差分画像４２１を構成している画素を表し、“○”で示されている画素は、閾値Ｑ2以上の画素値を有していることを表し、“×”で示されている画素は、閾値Ｑ2より小さい画素値を有していることを表す。
【０２６７】
顔領域データ抽出部４０３は、差分画像の水平方向および垂直方向のそれぞれについて、閾値Ｑ2以上の画素値を有している画素（“○”で示されている画素）の上限値（最大の位置）および下限値（最小の位置）を決定する。
【０２６８】
図２４に示す差分画像４２１では、顔領域抽出部４０３において、差分画像の水平方向に対して、閾値Ｑ2以上の画素値を有している画素の上限値として、位置Ｘmbが決定され、閾値Ｑ2以上の画素値を有している画素の下限値として、位置Ｘmaが決定される。
【０２６９】
また、差分画像の垂直方向に対して、閾値Ｑ2以上の画素値を有している画素の上限値として、位置Ｙmbが決定され、閾値Ｑ2以上の画素値を有している画素の下限値として、位置Ｙmaが決定される。
【０２７０】
顔領域データ抽出部４０３は、図２４において太線で示されている、Ｘma≦ｉ≦Ｘmbの範囲とＹma≦ｊ≦Ｙmbの範囲とで囲まれる領域４２２を、ユーザ１１の顔の領域であると特定する。
【０２７１】
顔領域データ抽出部４０３は、ユーザ１１の顔の領域を特定する、水平方向の位置ＸmaおよびＸmbと、垂直方向の位置ＹmaおよびＹmbとを、顔領域情報として、差分画像４２１とともに顔向き判定部２３に供給する。
【０２７２】
図１の画像処理装置１５において、顔領域抽出部２２が、図７に示したように構成される代わりに、図２２に示したように構成される場合、上述した図２０および図２１の処理では、ステップＳ４において、ヒストグラム作成部４０１が、差分画像の画素値のヒストグラムを作成し、閾値設定部４０２に供給するとともに、差分画像の各画素について、画素の位置と画素値とが対応付けられたテーブルを生成し、メモリ４０４に供給する。
【０２７３】
ステップＳ５において、閾値設定部４０２は、差分画像の画素値のヒストグラムに基づいて、ユーザ１１の顔領域と、その他の領域を区別する閾値Ｑ2を決定し、顔領域データ抽出部４０３に供給する。
【０２７４】
ステップＳ６において、顔領域データ抽出部４０３は、閾値設定部４０２からの閾値Ｑ2およびメモリ４０４に記憶されているテーブルに基づいて、差分画像のなかのユーザ１１の顔領域の位置を特定する。そして、顔領域データ抽出部４０３は、差分画像算出部２１（図１）から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３（図１）に供給する。
【０２７５】
上述したステップＳ４乃至Ｓ６の処理を除く、ステップＳ１乃至Ｓ３およびＳ７乃至Ｓ２３の処理については、同様の処理を行うので、その説明を省略する。
【０２７６】
以上のように、画像処理装置１５の顔領域抽出部２２を図２２に示す構成とした場合でも、画像処理装置１５は、顔画像の認識に最適な撮像画像だけを出力するとともに、出力される撮像画像の顔領域、目の領域、鼻の領域、口の領域、および目、鼻、口の代表点を出力する。これにより、画像処理装置１５からの出力を受ける装置では、顔画像の認識処理を容易に、かつ正確に行うことができる。
【０２７７】
上述した実施の形態では、図１０に示したように、照明装置１３は、ユーザ１１の顔に対して前方斜め下の方向から光を照射するように配置されることとしたが、図２５に示すように、ユーザ１１の顔に対して前方斜め上の方向から光を照射するように、照明装置１３を配置してもよい。また、ユーザ１１の顔と水平な高さで、斜め左前方および斜め右前方の両方から光を照射するように、照明装置１３を配置してもよい。
【０２７８】
また、上述した実施の形態では、認識対象として人（ユーザ）の顔の領域を認識する例について説明したが、その他、動物の顔などを認識対象とすることも可能である。
【０２７９】
図２０および図２１に示した処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この処理をソフトウエアによって行う場合、例えば、一連の処理は、図２６に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。
【０２８０】
図２６において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２８１】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０２８２】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、ターミナルアダプタ、ADSL（Asymmetric Digital Subscriber Line）モデムや、LAN (Local Area Network)カード等より構成される通信部５０９が接続されている。通信部５０９は、インターネットなどの各種のネットワークを介しての通信処理を行う。
【０２８３】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、或いは半導体メモリなどのリムーバブルメディア（記録媒体）５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０２８４】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２８６】
【図１】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像処理装置１５が行う処理の概要を説明する図である。
【図３】画像処理装置１５が行う処理の概要を説明する図である。
【図４】図１の撮像装置１２の詳細な構成例を示すブロック図である。
【図５】対数変換型撮像素子の感度特性を説明する図である。
【図６】図１の差分画像算出部２１の詳細な構成例を示すブロック図である。
【図７】図１の顔領域抽出部２２の詳細な構成例を示すブロック図である。
【図８】図１の顔向き判定部２３の詳細な構成例を示すブロック図である。
【図９】図１の顔器官抽出部２４の詳細な構成例を示すブロック図である。
【図１０】ユーザ１１に対する光の照射方向を説明する図である。
【図１１】差分画像算出部２１の処理を説明する図である。
【図１２】顔領域抽出部２２の処理を説明する図である。
【図１３】顔向き判定部２３の処理を説明する図である。
【図１４】顔器官抽出部２４の画像分離部１０３の処理を説明する図である。
【図１５】顔器官抽出部２４の画像分離部１０３の処理を説明する図である。
【図１６】画素値加算部１１１、画素値加算部１２１、および画素値加算部１３１の処理を説明する図である。
【図１７】目画像処理部１０４の処理を説明する図である。
【図１８】鼻画像処理部１０５の処理を説明する図である。
【図１９】口画像処理部１０６の処理を説明する図である。
【図２０】画像処理装置１５の処理を説明するフローチャートである。
【図２１】画像処理装置１５の処理を説明するフローチャートである。
【図２２】図１の顔領域抽出部２２のその他の実施の形態を示すブロック図である。
【図２３】図２２の顔領域抽出部２２が行う処理について説明する図である。
【図２４】図２２の顔領域抽出部２２が行う処理について説明する図である。
【図２５】ユーザ１１に対する光の照射方向を説明する図である。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２８７】
１ 画像処理システム， １２ 撮像装置， １３ 照明装置， １５ 画像処理装置， ２１ 差分画像算出部， ２２ 顔領域抽出部， ２３ 顔向き判定部， ２４ 顔器官抽出部， ６１ 画像取得部， ６４ 差分処理部， ６５ フィルタ処理部， ７１ 画素値加算部， ７２ 閾値設定部， ７３ 顔領域データ抽出部， ８１ 画素値加算部， ８２ 中心位置検出部， ８３ 判定部， １０１ 画素値加算部， １０３ 目・鼻・口画像分離部１０３， １０４ 目画像処理部， １０５ 鼻画像処理部， １０６ 口画像処理部， １１１ 画素値加算部， １１２ 目領域抽出部， １１３ 代表点決定部， １２１ 画素値加算部， １２２ 鼻領域抽出部， １２３ 代表点決定部， １３１ 画素値加算部， １３２ 口領域抽出部， １３３ 代表点決定部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、顔画像の認識処理を、容易に、かつ正確に行うことができるようにさせる画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置で撮像された画像に含まれている、ユーザの顔の領域や、目や口などの器官の領域を認識して、その認識した領域の位置を出力したり、認識した領域の画像を抽出する顔画像認識装置がある（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平０５−９１４０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の顔画像認識装置では、撮像された画像に含まれている顔以外の物体の影響や、撮像されたときの被写体の光の条件の違いなどにより、正確にユーザの顔や顔の器官を認識できないことがあった。例えば、明るい屋外で撮像され、全体的に明るい被写体の画像と、暗い室内で撮像され、全体的に暗い被写体の画像とは、異なる条件を設定しなければ、顔や顔の器官を正確に認識することができないということなどがあった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、顔画像の認識処理を、容易に、かつ正確に行うことができるようにさせるものである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像を取得する顔画像取得手段と、顔画像取得手段により取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算手段と、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離手段と、分離手段により分離された目画像から、目の領域を抽出する処理を行う目領域処理手段と、分離手段により分離された鼻画像から、鼻の領域を抽出する処理を行う鼻領域処理手段と、分離手段により分離された口画像から、口の領域を抽出する処理を行う口領域処理手段とを備えることを特徴とする。
【０００７】
本発明の画像処理装置においては、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像が取得される。そして、取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像が、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離される。さらに、分離された目画像から、目の領域を抽出する処理が行われ、分離された鼻画像から、鼻の領域を抽出する処理が行われ、分離された口画像から、口の領域を抽出する処理が行われる。
【０００８】
従って、差分画像から、認識対象となる顔を含む顔画像の目、鼻、および口の領域を正確に抽出することができる。これにより、顔画像の認識処理を、容易に、かつ正確に行うようにさせることができる。
【０００９】
この画像取得手段、画素値加算手段、分離手段、目領域処理手段、鼻領域処理手段、および口領域処理手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１０】
目領域処理手段には、目画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する目画像画素値加算手段と、目画像画素値加算手段により得られる、目画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、目の領域を抽出する目領域抽出手段と、目領域抽出手段により抽出された目の領域から、目の位置を代表する代表点を決定する目代表点決定手段とを有するようにさせることができる。
【００１１】
目領域処理手段においては、目画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、算出された目画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、目の領域が抽出され、抽出された目の領域から、目の位置を代表する代表点が決定される。
【００１２】
従って、目の領域および目を代表する代表点を正確に抽出することができる。
【００１３】
目画像画素値加算手段、目領域抽出手段、および目代表点決定手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１４】
鼻領域処理手段には、鼻画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する鼻画像画素値加算手段と、鼻画像画素値加算手段により得られる、鼻画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、鼻の領域を抽出する鼻領域抽出手段と、鼻領域抽出手段により抽出された鼻の領域から、鼻の位置を代表する代表点を決定する鼻代表点決定手段とを有するようにさせることができる。
【００１５】
鼻領域処理手段においては、鼻画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、鼻画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、鼻の領域が抽出され、抽出された鼻の領域から、鼻の位置を代表する代表点が決定される。
【００１６】
従って、鼻の領域および鼻を代表する代表点を正確に抽出することができる。
【００１７】
鼻画像画素値加算手段、鼻領域抽出手段、および鼻代表点決定手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１８】
口領域処理手段には、口画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する口画像画素値加算手段と、口画像画素値加算手段により得られる、口画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、口の領域を抽出する口領域抽出手段と、口領域抽出手段により抽出された口の領域から、口の位置を代表する代表点を決定する口代表点決定手段とを有するようにさせることができる。
【００１９】
口領域処理手段においては、口画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、口画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、口の領域が抽出され、抽出された口の領域から、口の位置を代表する代表点が決定される。
【００２０】
従って、口の領域および口を代表する代表点を正確に抽出することができる。
【００２１】
口画像画素値加算手段、口領域抽出手段、および口代表点決定手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００２２】
第１および第２の画像は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像手段に撮像させることができる。
【００２３】
撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））とさせることができる。
【００２４】
これにより、被写体に対して強い光が照射されている場合であっても、画素値が飽和することなく、被写体の輝度分布を忠実に表すことができる。また、絞りやシャッタースピードなどを調整する必要がなく、自然光だけで照射されている被写体を撮像した画像と、強い光が照射されている被写体を撮像した画像との画素値の差分からなる差分画像を容易に得ることができる。
【００２５】
本発明の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像を取得する顔画像取得ステップと、顔画像取得ステップの処理により取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、分離ステップの処理により分離された目画像から、目の領域を抽出する処理を行う目領域処理ステップと、分離ステップの処理により分離された鼻画像から、鼻の領域を抽出する処理を行う鼻領域処理ステップと、分離ステップの処理により分離された口画像から、口の領域を抽出する処理を行う口領域処理ステップとを含むことを特徴とする。
【００２６】
本発明の画像処理方法、プログラム、および記録媒体に記録されているプログラムにおいては、照明手段が顔に光を照射していない状態で、撮像手段により顔が撮像された画像である第１の画像と、照明手段が顔に光を照射している状態で、撮像手段により顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である顔画像が取得される。そして、取得された顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値が算出され、差分画像の水平または垂直方向それぞれの列ごとの画素加算値を用いて、顔画像が、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離される。さらに、分離された目画像から、目の領域を抽出する処理が行われ、分離された鼻画像から、鼻の領域を抽出する処理が行われ、分離された口画像から、口の領域を抽出する処理が行われる。
【００２７】
従って、差分画像から、認識対象となる顔を含む顔画像の目、鼻、および口の領域を正確に抽出することができる。これにより、顔画像の認識処理を、容易に、かつ正確に行うようにさせることができる。
【発明の効果】
【００２８】
本発明によれば、顔画像の認識処理を、容易に、かつ正確に行うようにさせることができる。
【発明を実施するための最良の形態】
【００２９】
図１は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
【００３０】
図１の画像処理システム１は、被写体としてのユーザ１１を撮像する撮像装置１２、ユーザ１１に対して光を照射する照明装置１３、撮像装置１２や照明装置１３に対して撮像（撮影）または照射のタイミングを指令（制御）するタイミング制御装置１４、および撮像装置１２で撮像された画像を処理する画像処理装置１５により構成されている。
【００３１】
撮像装置１２は、タイミング制御装置１４から供給されるタイミング制御信号にしたがい、被写体であるユーザ１１を撮像し、その結果得られる画像（画像信号）を画像処理装置１５に供給する。撮像装置１２は、後述するように、入射される光量の対数に比例した画素値を出力する撮像素子を有する撮像装置である。また、撮像装置１２では、全画素（撮像素子）の画素値が、同一のタイミングで読み出される。
【００３２】
照明装置１３は、タイミング制御装置１４から供給されるタイミング制御信号にしたがい、ユーザ１１に対して光を照射する。
【００３３】
タイミング制御装置１４は、撮像周期となるタイミング制御信号を撮像装置１２に供給する。例えば、タイミング制御装置１４は、１秒間に３０枚の画像を撮像する周期（フレーム周期）でタイミング制御信号を撮像装置１２に供給する。なお、１秒間に６０枚の画像を撮像する周期（フィールド周期）や、その他の周期であってもよい。また、撮像される画像は、プログレッシブ（ノンインターレース）画像またはインタレース画像のいずれでもよい。
【００３４】
また、タイミング制御装置１４は、照明装置１３によってユーザ１１が照射されていないときの画像と、ユーザ１１が照射されているときの画像とが、撮像装置１２において、交互に撮像されるように、光を照射するタイミングを指令（制御）するタイミング制御信号を、照明装置１３に供給する。例えば、タイミング制御装置１４は、撮像装置１２に対してフレーム周期でタイミング制御信号を供給している場合、撮像装置１２で撮像された画像のうち、奇数フレームでは照明装置１３によってユーザ１１が照射されていない画像となり、偶数フレームではユーザ１１が照射されている画像となるように、タイミング制御信号を照明装置１３に供給する。
【００３５】
さらに、タイミング制御装置１４は、撮像装置１２から画像処理装置１５に対して供給される画像（以下、撮像画像と称する）が、照明装置１３によってユーザ１１が光を照射されていない状態で撮像された画像（以下、基準画像と称する）であるか、または、照明装置１３によってユーザ１１が光を照射されている状態で撮像された画像（以下、照明画像と称する）であるかを判定するための判定信号を画像処理装置１５に供給する。
【００３６】
画像処理装置１５は、差分画像算出部２１、顔領域抽出部２２、顔向き判定部２３、および顔器官抽出部２４により構成されている。
【００３７】
画像処理装置１５は、撮像装置１２から供給される撮像画像に対して、顔の認識処理（顔認証）を行うのに適した画像を選択し、選択された撮像画像に含まれる顔または顔の器官の領域を特定する情報とともに、撮像画像を図示せぬ後段の装置に出力する。ここで、顔の器官とは、目、鼻、および口のことを表す。
【００３８】
撮像装置１２からの撮像画像（に対応する画像信号）は、差分画像算出部２１および顔器官抽出部２４に供給される。また、差分画像算出部２１には、タイミング制御装置１４から、上述した判定信号も供給される。
【００３９】
差分画像算出部２１は、判定信号に従い、撮像装置１２から供給された撮像画像が、基準画像であるか、または、照明画像であるかを判定するとともに、基準画像と（その後のフレームとして撮像装置１２から供給される）照明画像とを用いて差分画像を生成し、顔領域抽出部２２に供給する。ここで、差分画像は、その画像を構成する各画素の画素値が、基準画像と照明画像との間の、対応する画素どうしの画素値の差分となっている画像である。
【００４０】
顔領域抽出部２２は、差分画像算出部２１から供給される差分画像から、ユーザ１１の顔の領域を抽出し、その抽出された領域を特定する顔領域情報を、差分画像とともに顔向き判定部２３に供給する。
【００４１】
顔向き判定部２３は、顔領域抽出部２２からの顔領域情報で特定される差分画像の顔の領域の画像（以下、適宜、顔画像と称する）から、撮像画像内の、ユーザ１１の顔の向きを判定する。顔向き判定部２３が判定した判定結果としては、正面、右向き、および左向きの３種類がある。後段の顔器官抽出部２４で行われる顔の器官の領域の抽出（特定）や、画像処理装置１５が処理結果を出力する出力先の装置で行われる顔の認識処理などでは、顔が正面を向いていない画像を用いて認識処理を行った場合、認識の精度が低下する。そのため、顔向き判定部２３は、差分画像（撮像画像）が認識に適した正面を向いている画像であるかどうかを判定する。顔向き判定部２３は、ユーザ１１の顔の向きを表す判定結果を、顔領域抽出部２２から供給された差分画像および顔領域情報とともに顔器官抽出部２４に供給する。
【００４２】
顔器官抽出部２４は、顔向き判定部２３から供給される（顔の向きの）判定結果が正面であることを表している場合、顔向き判定部２３からの顔画像に基づいて、ユーザ１１の顔の器官（目、鼻、および口）の領域を抽出（特定）する。そして、顔器官抽出部２４は、顔の器官の領域を抽出した結果得られる、目領域情報、鼻領域情報、および口領域情報を、上述の顔領域情報とともに、後段の装置に出力する。また、顔器官抽出部２４は、撮像装置１２から供給される撮像画像も後段の装置に出力する。
【００４３】
以上のように構成される画像処理システム１では、画像処理装置１５の差分画像算出部２１は、照明装置１３がユーザ１１を照射していない状態で、撮像装置１２がユーザ１１の顔を撮像した基準画像と、照明装置１３がユーザ１１の顔を照射している状態で、撮像装置１２がユーザ１１の顔を撮像した照明画像とを取得する。
【００４４】
差分画像算出部２１は、基準画像と照明画像との差分画像を算出する。顔領域抽出部２２は、差分画像から、ユーザ１１の顔の領域を抽出し、その抽出された領域を特定する顔領域情報を顔向き判定部２３に供給する。顔器官抽出部２４は、顔向き判定部２３においてユーザ１１の顔が正面を向いていると判定された顔画像について、顔の目、鼻、口の領域それぞれを抽出し、その抽出された領域を特定する目領域情報、鼻領域情報、および口領域情報を得る。顔器官抽出部２４は、得られた目領域情報、鼻領域情報、および口領域情報と、顔領域抽出部２２で得られた顔領域情報、並びに、撮像装置１２から供給された撮像画像を出力する。
【００４５】
図２および図３を参照して、画像処理装置１５が行う処理の概要を説明する。
【００４６】
図２は、撮像装置１２で撮像され、画像処理装置１５に入力される画像（撮像画像）の例を示している。
【００４７】
図２の画像３１には、所定の背景の前に位置するユーザ１１が映されており、画像３１は、ユーザ１１の顔を少なくとも含んでいる。
【００４８】
画像処理装置１５では、画像の左上角を原点とし、図２に示すように、図面の右方向（水平方向）を（正の）Ｘ方向、図面の下方向（垂直方向）を（正の）Ｙ方向とする座標系が用いられるものとする。
【００４９】
画像処理装置１５は、例えば、図２に示す画像３１が入力された場合、画像３１に含まれているユーザ１１の顔の領域を抽出（特定）する。
【００５０】
そこで、図３は、図２の画像３１から抽出された、顔の領域を含む画像（顔画像）FRを示している。
【００５１】
また、画像処理装置１５は、顔画像FRのなかの、左目の領域ILと、その領域ILを代表する代表点ILp、および右目の領域IRと、その領域IRを代表する代表点IRpを抽出（特定）する。
【００５２】
さらに、画像処理装置１５は、顔画像FRのなかの、鼻の領域NRと、その領域NRを代表する代表点NRp、および口の領域MRと、その領域MRを代表する代表点MRpを抽出（特定）する。
【００５３】
以下では、図２に示した画像３１を撮像し、画像処理装置１５に供給する撮像装置１２と、供給された画像３１から、顔画像FR、左目の領域ILおよびその代表点ILp、右目の領域IRおよびその代表点IRp、鼻の領域IRおよびその代表点NRp、並びに、口の領域MRおよびその代表点MRpを抽出（特定）する画像処理装置１５のそれぞれの詳細な構成について説明する。
【００５４】
図４は、図１の撮像装置１２の詳細な構成例を示すブロック図である。
【００５５】
撮像装置１２は、レンズ４１、および対数変換型撮像素子４２により構成されている。
【００５６】
対数変換型撮像素子４２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部５１、対数変換部５２、A/D変換部５３、および撮像タイミング制御部５４を含むように構成されている。
【００５７】
撮像装置１２により撮像される被写体（ユーザ１１）から発せられた光（あるいは、被写体により反射された光）は、レンズ４１に入射し、対数変換型撮像素子４２の光検出部５１の図示せぬ光検出面に結像する。
【００５８】
光検出部５１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部５１は、レンズ４１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部５１は、撮像タイミング制御部５４から供給される制御信号に同期して、蓄積した電荷を対数変換部５２に供給する。
【００５９】
対数変換部５２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部５２は、MOSFETのサブスレッショルド特性を利用して、光検出部５１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部５２は、生成したアナログの電気信号をA/D変換部５３に供給する。
【００６０】
A/D変換部５３は、撮像タイミング制御部５４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２14−１の範囲の値をとる。A/D変換部５３は、変換したデジタルの画像データの画素値を画像処理装置１１２に供給する。
【００６１】
このように、撮像装置１２は、光検出部５１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値を出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。
【００６２】
図５は、対数変換型撮像素子４２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。
【００６３】
図５の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。曲線（直線）Ｌ１は対数変換型撮像素子４２の感度特性を示し、曲線Ｌ２はCCD撮像素子の感度特性を示し、曲線Ｌ３は銀塩フィルムの感度特性を示し、曲線（直線）Ｌ４は人の目の感度特性を示している。
【００６４】
対数変換型撮像素子４２は、上述したように、入射光量の対数にほぼ比例した画素値を出力することにより、対数変換型撮像素子４２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。
【００６５】
従って、対数変換型撮像素子４２を用いた撮像装置１２は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１２は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に撮像することができる。
【００６６】
例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１２により撮像された画像は、入射光量を調整しなくても、太陽と前方の道路の輝度の分布を忠実に再現した画像となる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１２により撮像された画像は、入射光量を調整しなくても、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像となる。
【００６７】
一方、CCD撮像素子は、図５に示すように、人の目よりダイナミックレンジが狭い。従って、CCD撮像素子を用いた撮像装置では、入射光の照度がCCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタースピードなどを調整する必要がある。
【００６８】
しかしながら、被写体の光の照度の範囲がCCD撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値が、CCD撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値が、CCD撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生する。また、入射光量を調整した場合、例えば、被写体の輝度が変動しない領域に対応する入射光量が変動し、その領域の画素値が変動するなど、入射光量の調整に伴う画素値の変動が発生する。すなわち、従来のCCD撮像素子を用いた撮像装置では、被写体の輝度の変動および被写体の動き以外の要因により画素値が変動する。
【００６９】
また、CCD撮像素子および銀塩フィルムでは、曲線Ｌ２および曲線Ｌ３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子４２では、感度特性が入射光の照度の対数にほぼ比例する。
【００７０】
このように、対数変換型撮像素子４２を用いた撮像装置１２は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１２により撮像された画像の画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像の差分をとった差分画像の各画素の画素値（差分値）は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。
【００７１】
また、撮像装置１２から出力される画像の画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像における画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像と２回目の画像との画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像の画素値が入射光量に比例する場合、１回目の画像と２回目の画像の画素値の分布を示すヒストグラムの幅の差は約１００倍となる。
【００７２】
さらに、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像の画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。
【００７３】
図６は、図１の差分画像算出部２１の詳細な構成例を示すブロック図である。
【００７４】
差分画像算出部２１は、画像取得部６１、メモリ６２および６３、差分処理部６４、並びにフィルタ処理部６５により構成されている。
【００７５】
画像取得部６１は、撮像装置１２から供給される撮像画像を取得する。ここで、画像取得部６１には、上述したように、照明装置１３によってユーザ１１が光を照射されていない状態で撮像された画像（基準画像）と、照明装置１３によってユーザ１１が光を照射された状態で撮像された画像（照明画像）とが交互に入力（供給）される。
【００７６】
画像取得部６１は、タイミング制御装置１４からの判定信号に従い、撮像装置１２からの撮像画像が、基準画像であるか、または、照明画像であるかを判定する。そして、画像取得部６１は、撮像装置１２からの撮像画像が基準画像である場合、取得した撮像画像（基準画像）をメモリ６２に供給する。また、撮像装置１２からの撮像画像が照明画像である場合、画像取得部６１は、取得した撮像画像（照明画像）をメモリ６３に供給する。
【００７７】
メモリ６２または６３それぞれは、画像取得部６１から供給される基準画像または照明画像を記憶し、必要に応じて差分処理部６４に供給する。
【００７８】
差分処理部６４は、メモリ６２に記憶されている基準画像と、メモリ６３に記憶されている照明画像から、差分画像を算出し、フィルタ処理部６５に供給する。具体的には、差分処理部６４は、照明画像を構成する画素の画素値から、基準画像を構成する画素の画素値を、対応する画素どうしで減算することにより、差分画像を算出する。
【００７９】
フィルタ処理部６５は、差分処理部６４からの差分画像に対してフィルタリング（フィルタ処理）を行い、処理後の差分画像を顔領域抽出部２２（図１）に供給する。ここで行われるフィルタ処理は、例えば、差分画像を、所定の大きさを有する複数のブロックに分割し、ブロック内の全ての画素の画素値をブロック内の各画素の画素値の平均値とするモザイク処理とすることができる。
【００８０】
また、フィルタ処理としては、ブロック内の中心にある画素を注目画素としたときに、注目画素の画素値を、その周辺（ブロック内）の画素の画素値に近い値となるように補正する処理を、差分画像の全ての画素について行う処理（差分画像を平滑化する平滑化処理）などを採用してもよい。
【００８１】
即ち、フィルタ処理部６５で行われるフィルタ処理は、後段の顔領域抽出部２２、顔向き判定部２３、および顔器官抽出部２４で処理する際に、周辺の画素に対して特異な画素値を有する特異点を消去する（少なくする）効果があるものであればよい。換言すれば、フィルタ処理は、顔領域抽出部２２などにおいて、各画素の画素値から曲線（後述する列画素値加算曲線や行画素値加算曲線など）を計算した場合に、その曲線を滑らかにするローパスフィルタとして機能するものとすることができる。
【００８２】
また、フィルタ処理としてモザイク処理が行われる場合、ブロック内の各画素の画素値の平均値を、ブロック内の全ての画素ではなくて、１画素の画素値に割り当てるようにして、フィルタ処理後の差分画像の全体の画素数を少なくして（圧縮して）、差分画像の情報処理量を少なくすることも可能である。例えば、ブロックを水平方向および垂直方向それぞれ２画素ずつの４画素の平均値を１画素に割り当てる場合、フィルタ処理後の画素数は、処理前の画素数の１／４とすることができる。
【００８３】
図７は、図１の顔領域抽出部２２の詳細な構成例を示すブロック図である。
【００８４】
顔領域抽出部２２は、画素値加算部７１、閾値設定部７２、および顔領域データ抽出部７３により構成されている。
【００８５】
差分画像算出部２１（のフィルタ処理部６５）から供給される（フィルタ処理後の）差分画像は、画素値加算部７１および顔領域データ抽出部７３に供給される。
【００８６】
画素値加算部７１は、差分画像の水平または垂直方向それぞれの列ごとに画素値を加算し、差分画像の垂直または水平方向それぞれの列ごとの画素加算値ＶiまたはＷjを求める。
【００８７】
即ち、差分画像の水平方向（Ｘ方向）の画素数をN、垂直方向（Ｙ方向）の画素数をMとし、差分画像の水平方向にｉ番目、垂直方向にｊ番目の画素の画素値をGij（ｉ＝１乃至Ｎ，ｊ＝１乃至Ｍ）とした場合、差分画像の垂直方向の列ごとの画素加算値Ｖiは、次式（１）で求めることができる。
【００８８】
【数１】
・・・（１）
【００８９】
同様に、差分画像の水平方向の列（行）ごとの画素加算値Ｗjは、次式（２）で求めることができる。
【００９０】
【数２】
・・・（２）
【００９１】
画素値加算部７１は、差分画像の垂直または水平方向それぞれの列ごとの画素加算値ＶiまたはＷj（以下、適宜、差分画像の画素加算値ＶiまたはＷjと称する）を、閾値設定部７２および顔領域データ抽出部７３に供給する。
【００９２】
閾値設定部７２は、画素値加算部７１から供給される差分画像の画素加算値ＶiまたはＷjを用いて、差分画像の水平方向または垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXまたはTHYを算出し、設定（決定）する。
【００９３】
即ち、閾値設定部７２は、差分画像の水平方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXとして、差分画像の画素加算値Ｖiの平均値を算出する。閾値THXは、次式（３）で求めることができる。
【００９４】
【数３】
・・・（３）
【００９５】
また、閾値設定部７２は、差分画像の垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THYとして、差分画像の画素加算値Ｗjの平均値を算出する。閾値THYは、次式（４）で求めることができる。
【００９６】
【数４】
・・・（４）
【００９７】
そして、閾値設定部７２は、算出した閾値THXまたはTHYを、顔領域データ抽出部７３に供給する。
【００９８】
顔領域データ抽出部７３は、画素値加算部７１から供給される差分画像の画素加算値ＶiおよびＷjと、閾値設定部７２から供給される閾値THXおよびTHYとに基づいて、差分画像のなかのユーザ１１の顔領域を特定する。
【００９９】
具体的には、顔領域データ抽出部７３は、差分画像の垂直方向の列ごとの画素加算値Ｖiを、水平方向に（ｉ＝１乃至Ｎの順に）順次プロットすることにより、列画素値加算曲線（後述する図１１Dの列画素値加算曲線２２１Ｙ）を求める。また、顔領域データ抽出部７３は、差分画像の水平方向の列ごとの画素加算値Ｗjを、垂直方向に（ｊ＝１乃至Ｍの順に）順次プロットすることにより、行画素値加算曲線（後述する図１１Dの行画素値加算曲線２２１Ｘ）を求める。
【０１００】
次に、顔領域データ抽出部７３は、閾値設定部７２から供給されるよびTHY以上の、列画素値加算曲線が閾値THX以上となっている水平方向の範囲、および行画素値加算曲線が、閾値THY以上となっている垂直方向の範囲を、ユーザ１１の顔領域であると特定する。
【０１０１】
そして、顔領域データ抽出部７３は、差分画像算出部２１（図１）から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３（図１）に供給する。
【０１０２】
図８は、図１の顔向き判定部２３の詳細な構成例を示すブロック図である。
【０１０３】
顔向き判定部２３は、画素値加算部８１、中心位置検出部８２、および判定部８３により構成されている。
【０１０４】
顔領域抽出部２２（図７）からの差分画像および顔領域情報は、画素値加算部８１および判定部８３に供給される。
【０１０５】
画素値加算部８１は、顔領域情報で特定される、差分画像内の顔画像について、垂直方向の列ごとの画素加算値Ｖ’i'（以下、適宜、顔画像の画素加算値Ｖ’i'と称する）を算出し、中心位置検出部８２に供給する。ここで、添え字の変数ｉ’は、ｉ=１乃至Ｎのうちの顔画像として抽出された水平方向の位置を表す。
【０１０６】
中心位置検出部８２は、顔画像の画素加算値Ｖ’i'を水平方向に順次プロットすることにより得られる列画素値加算曲線（例えば、後述する図１３Ａの列画素値加算曲線２４０Ｂなど）を用いて、水平方向におけるユーザ１１の顔の中心位置（重心位置）Ｘ’を決定し、判定部８３に供給する。
【０１０７】
判定部８３は、中心位置検出部８２で得られた、水平方向におけるユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲、あるいは、その範囲の左側または右側のいずれに位置しているかどうかにより、ユーザ１１の顔の向きを判定する。
【０１０８】
即ち、判定部８３は、ユーザ１１の顔の水平方向の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより距離ＸRだけ小さい位置（Ｘp−ＸR）よりも左側(小さい側)の範囲（第２の範囲）に位置していた場合、ユーザ１１の顔の向きを、左向き（撮像画像を正面から見てユーザ１１が左側に向いている状態）であると判定する。
【０１０９】
また、判定部８３は、ユーザ１１の顔の水平方向の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより距離ＸRだけ小さい位置（Ｘp−ＸR）と中点Ｘpから距離ＸRだけ大きい位置（Ｘp＋ＸR）との間の範囲（第１の範囲）に位置していた場合、ユーザ１１の顔の向きを、正面であると判定する。
【０１１０】
さらに、判定部８３は、ユーザ１１の顔の水平方向の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより距離ＸRだけ大きい位置（Ｘp＋ＸR）よりも右側(大きい側)の範囲（第３の範囲）に位置していた場合、ユーザ１１の顔の向きを、右向き（撮像画像を正面から見てユーザ１１が右側に向いている状態）であると判定する。
【０１１１】
そして、判定部８３は、ユーザ１１の顔の向きの判定結果を、（顔領域抽出部２２から供給される）差分画像および顔領域情報とともに、顔器官抽出部２４（図１）に供給する。
【０１１２】
図９は、図１の顔器官抽出部２４の詳細な構成例を示すブロック図である。
【０１１３】
顔器官抽出部２４は、画素値加算部１０１、メモリ１０２、目・鼻・口画像分離部１０３、目画像処理部１０４、鼻画像処理部１０５、口画像処理部１０６、メモリ１０７、および画像出力部１０８により構成されている。
【０１１４】
また、目画像処理部１０４は、画素値加算部１１１、目領域抽出部１１２、および代表点決定部１１３により構成され、鼻画像処理部１０５は、画素値加算部１２１、鼻領域抽出部１２２、および代表点決定部１２３により構成され、口画像処理部１０６は、画素値加算部１３１、口領域抽出部１３２、および代表点決定部１３３により構成されている。
【０１１５】
顔器官抽出部２４には、顔向き判定部２３（図８）から、差分画像、顔領域情報、および判定結果が供給される。差分画像、顔領域情報、および判定結果のうちの差分画像および顔領域情報が、画素値加算部１０１およびメモリ１０２に供給される。また、顔領域情報および判定結果が、画像出力部１０８に供給される。
【０１１６】
画素値加算部１０１は、顔領域情報で特定される差分画像内の顔画像について、水平方向の列ごとの画素加算値Ｗ’j'（以下、適宜、顔画像の画素加算値Ｗ’j'と称する）を算出し、目・鼻・口画像分離部１０３に供給する。ここで、添え字の変数ｊ’は、ｊ=１乃至Ｍのうちの顔画像として抽出された垂直方向の位置を表す。
【０１１７】
メモリ１０２は、差分画像および顔領域情報を記憶し、必要に応じて、目・鼻・口画像分離部１０３に供給する。
【０１１８】
目・鼻・口画像分離部１０３（以下、単に画像分離部１０３と称する）は、画素値加算部１０１からの顔画像の画素加算値Ｗ’j'を用いて、メモリ１０２に記憶されている差分画像に対して顔領域情報で特定される顔画像を、目の領域を含む画像（以下、目画像と称する）、鼻の領域を含む画像（以下、鼻画像と称する）、および口の領域を含む画像（以下、口画像と称する）の（垂直方向の）３つに分離する。そして、画像分離部１０３は、分離された目画像、鼻画像、および口画像を、それぞれ、目画像処理部１０４、鼻画像処理部１０５、および口画像処理部１０６に供給する。
【０１１９】
目画像処理部１０４は、画像分離部１０３から供給される目画像に基づいて、図３に示したように、ユーザ１１の左目の領域ILと、その領域ILを代表する代表点ILp、および右目の領域IRと、その領域IRを代表する代表点IRpを特定する。
【０１２０】
具体的には、画素値加算部１１１は、目画像について、垂直の列ごとの画素加算値Ｖ’ip'および水平方向の列ごとの画素加算値Ｗ’jp'（以下、適宜、目画像の画素加算値Ｖ’ip'およびＷ’jp'と称する）を計算し、目領域抽出部１１２に供給する。ここで、添え字の変数ｉｐ’は、ｉ=１乃至Ｎのうちの目画像として抽出された水平方向の位置を表し、変数ｊｐ’は、ｊ＝１乃至Ｍのうちの目画像として抽出された垂直方向の位置を表す。
【０１２１】
目領域抽出部１１２は、目画像の画素加算値Ｖ’ip'を水平方向に順次プロットすることにより得られる列画素値加算曲線、および、目画像の画素加算値Ｗ’jp'を垂直方向に順次プロットすることにより得られる行画素値加算曲線（以下、単に、目画像の列画素値加算曲線および行画素値加算曲線と称する）を用いて、ユーザ１１の目の領域を特定（抽出）する。そして、目領域抽出部１１２は、ユーザ１１の目の領域を特定する情報を、目画像とともに、代表点決定部１１３に供給する。
【０１２２】
代表点決定部１１３は、ユーザ１１の目の領域を特定する情報から、目画像のなかの目の領域を特定し、特定した目の領域に対して列画素値加算曲線および行画素値加算曲線を再計算する。そして、代表点決定部１１３は、目の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の目の位置を代表する代表点を特定（決定）する。この目の代表点は、目（虹彩）の中心や、黒目の位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。
【０１２３】
そして、代表点決定部１１３は、目領域抽出部１１２から供給された目の領域を特定する情報、および目の代表点を特定する情報（合わせて目領域情報と称する）を画像出力部１０８に供給する。
【０１２４】
なお、目画像処理部１０４は、両目のそれぞれについて、上述の処理を行う。
【０１２５】
鼻画像処理部１０５は、画像分離部１０３から供給される鼻画像に基づいて、図３に示したように、ユーザ１１の鼻の領域NRと、その領域NRを代表する代表点NRpを特定する。
【０１２６】
具体的には、画素値加算部１２１は、鼻画像について、垂直方向の列ごとの画素加算値Ｖ’iq'および水平方向の列ごとの画素加算値Ｗ’jq'（以下、適宜、鼻画像の画素加算値Ｖ’iq' およびＷ’jq'と称する）を算出し、鼻領域抽出部１２２に供給する。ここで、添え字の変数ｉｑ’は、ｉ=１乃至Ｎのうちの鼻画像として抽出された水平方向の位置を表し、変数ｊｑ’は、ｊ＝１乃至Ｍのうちの鼻画像として抽出された垂直方向の位置を表す。
【０１２７】
鼻領域抽出部１２２は、鼻画像の画素加算値Ｖ’iq'を水平方向に順次プロットすることにより得られる列画素値加算曲線、および、鼻画像の画素加算値Ｗ’jq'を垂直方向に順次プロットすることにより得られる行画素値加算曲線（以下、単に、鼻画像の列画素値加算曲線および行画素値加算曲線と称する）を用いて、ユーザ１１の鼻の領域を特定（抽出）する。そして、鼻領域抽出部１２２は、ユーザ１１の鼻の領域を特定する情報を、鼻画像とともに、代表点決定部１２３に供給する。
【０１２８】
代表点決定部１２３は、ユーザ１１の鼻の領域を特定する情報から、鼻画像のなかの鼻の領域を特定し、特定した鼻の領域に対して列画素値加算曲線および行画素値加算曲線を再計算する。そして、代表点決定部１２３は、鼻の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の鼻の位置を代表する代表点を特定（決定）する。この鼻の代表点は、鼻の中心位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。
【０１２９】
そして、代表点決定部１２３は、鼻領域抽出部１２２から供給された鼻の領域を特定する情報、および鼻の代表点を特定する情報（合わせて鼻領域情報と称する）を画像出力部１０８に供給する。
【０１３０】
口画像処理部１０６は、画像分離部１０３から供給される口画像に基づいて、図３に示したように、ユーザ１１の口の領域MRと、その領域MRを代表する代表点MRpを特定する。
【０１３１】
具体的には、画素値加算部１３１は、口画像について、垂直方向の列ごとの画素加算値Ｖ’ir'および水平方向の列ごとの画素加算値Ｗ’jr'（以下、適宜、口画像の画素加算値Ｖ’ir'およびＷ’jr'と称する）を算出し、口領域抽出部１３２に供給する。ここで、添え字の変数ｊｒ’は、ｉ=１乃至Ｎのうちの口画像として抽出された水平方向の各位置を表し、変数ｊｒ’は、ｊ＝１乃至Ｍのうちの口画像として抽出された垂直方向の位置を表す。
【０１３２】
口領域抽出部１３２は、口画像の画素加算値Ｖ’i3'を水平方向に順次プロットすることにより得られる列画素値加算曲線、および、口画像の画素加算値Ｗj3'を垂直方向に順次プロットすることにより得られる行画素値加算曲線（以下、単に、口画像の列画素値加算曲線および行画素値加算曲線と称する）を用いて、ユーザ１１の口の領域を特定（抽出）する。そして、口領域抽出部１３２は、ユーザ１１の口の領域を特定する情報を、口画像とともに、代表点決定部１３３に供給する。
【０１３３】
代表点決定部１３３は、ユーザ１１の口の領域を特定する情報から、口画像のなかの口の領域を特定し、特定した口の領域に対して列画素値加算曲線および行画素値加算曲線を再計算する。そして、代表点決定部１３３は、口の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の口の位置を代表する代表点を特定（決定）する。この口の代表点は、口の中心位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。
【０１３４】
そして、代表点決定部１３３は、口領域抽出部１３２から供給された口の領域を特定する情報、および口の代表点を特定する情報（合わせて口領域情報と称する）を画像出力部１０８に供給する。
【０１３５】
メモリ１０７は、撮像装置１２（図１）から供給される撮像画像（基準画像または照明画像）を記憶し、必要に応じて、画像出力部１０８に供給する。
【０１３６】
上述したように、画像出力部１０８には、顔向き判定部２３（図８）から顔領域情報および判定結果が供給される。また、画像出力部１０８には、目画像処理部１０４、鼻画像処理部１０５、および口画像処理部１０６のそれぞれから、目領域情報、鼻領域情報、および口領域情報も供給される。
【０１３７】
画像出力部１０８は、顔向き判定部２３から供給された判定結果に応じて、メモリ１０７に記憶されている撮像画像を出力するか否かを判定する。即ち、判定結果が右向きまたは左向きを表す場合には、画像出力部１０８は、メモリ１０７に記憶されている撮像画像が顔画像の認識処理に不適当な画像であると判定し、それ（撮像画像）を出力しない。一方、判定結果が正面を表す場合には、画像出力部１０９は、メモリ１０７に記憶されている撮像画像が顔画像の認識処理に適当な画像であると判定し、それを、顔領域情報、目領域情報、鼻領域情報、および口領域情報とともに出力する。
【０１３８】
従って、画像処理装置１５（の画像出力部１０８）が撮像画像を供給（出力）する出力先の装置では、顔画像の認識処理に適当な画像だけを得ることができ、さらに、顔領域情報、目領域情報、鼻領域情報、および口領域情報により、撮像画像のなかの正確な顔領域、目領域鼻領域、および口領域を特定することができるので、顔画像の認識を正確に行うことができる。
【０１３９】
以下、図を参照して、画像処理装置１５が行う処理の詳細についてさらに説明する。
【０１４０】
図１０は、照明装置１３による、ユーザ１１に対する光の照射方向を説明する図である。
【０１４１】
照明装置１３は、図１０に示すように、例えば、ユーザ１１の顔に対して前方斜め下の方向から、ユーザ１１の顔だけに強い光が照射するように配置される。従って、ユーザ１１の顔以外の背景などについては、照明装置１３で光が照射されているか、または照射されていないかにかかわらず一定の明るさとなる。
【０１４２】
画像処理装置１５には、撮像装置１２で撮像された画像として、図１１の画像２０１Aおよび画像２０１Bが、順次供給（入力）されるものとする。
【０１４３】
図１１Aの画像２０１Aは、照明装置１３がユーザ１１を照射していない状態で撮像された基準画像を示している。また、図１１Bの画像２０１Bは、図１０に示したように配置されている照明装置１３がユーザ１１に対して強い光を照射している状態で撮像された照明画像を示している。
【０１４４】
なお、図１１Aの画像２０１Aおよび図１１Bの画像２０１Bの各画素の画素値は、実際には、被写体により反射された光の違いにより、様々な画素値となっているが、図面では、すべての画素値の違いを表すことが難しいため簡略化してある。
【０１４５】
画像２０１Ａでは、ユーザ１１は、照明装置１３によって照射されずに自然光（周辺の光）のみによって照らされており、少し暗くなっている。
【０１４６】
これに対して、画像２０１Ｂでは、ユーザ１１の顔面に対して照明装置１３によって光が照射されているために、照明装置１３からの光がユーザ１１の顔面で反射し、ユーザ１１の顔面が、極めて明るく（図面上では白く）なっている。なお、ユーザ１１の顔面のうち、点線で示されている顔の器官は、照明装置１３からの光の反射により、最も明るい（白い）部分を表している。
【０１４７】
通常のCCD撮像素子などによる撮像装置で同様の照明条件により撮像したとすると、画像２０１Bに対応する画像は、ユーザ１１の顔の領域の画素値が飽和してしまい、照明装置１３による光を照射していない状態で撮像された画像２０１Aと、ユーザ１１に対して強い光を照射している状態で撮像された画像２０１Bとをそのまま（同一条件で）比較することができない。これに対して、対数変換型の撮像素子を有する撮像装置１２では、上述したように、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、図１０に示したように、ユーザ１１の顔だけに強い光を照射した状態で撮像された画像２０１Ｂでも、ユーザ１１の詳細な輝度分布を忠実に表すことができる。即ち、入射光量を調整せずに、照明装置１３による光を照射していない状態で撮像された画像２０１Aと、ユーザ１１に対して強い光を照射している状態で撮像された画像２０１Bとから差分画像を得ることができる。
【０１４８】
そこで、差分画像算出部２１は、画像２０１A（以下、基準画像２０１Ａと称する）と画像２０１B（以下、照明画像２０１Ｂと称する）との間の、対応する画素どうしの画素値の差分（差分の絶対値）を算出することにより、図１１Cに示す差分画像２０１Cを生成する。
【０１４９】
照明画像２０１Ｂでは、上述したように、点線で示されている、ユーザ１１の顔の、眉、目の輪郭、鼻の底辺部（鼻穴の周辺）、および唇の凸部が、際立って明るい（画素値が大きい）画像となっているため、差分画像２０１Ｃも同様に、点線で示されている、ユーザ１１の顔の、眉、目の輪郭、鼻の底辺部（鼻穴の周辺）、および唇の凸部が、際立って明るい（画素値が大きい）画像となる。
【０１５０】
また、基準画像２０１Ａと照明画像２０１Ｂの背景領域、および、ユーザ１１の髪の領域は、照明装置１３からの光の照射の有無では明るさ（画素値）は変わらないため、差分画像２０１Ｃでは、画素値が０に近い値となる。なお、図１１Ｃの差分画像２０１Ｃにおいて、画素値が０に近い値となっている画素（領域）を灰色で示してある。
【０１５１】
差分画像算出部２１は、生成した差分画像２０１Cを顔領域抽出部２２に供給する。
【０１５２】
顔領域抽出部２２の画素値加算部７１は、差分画像２０１Cの垂直方向の列ごとの画素加算値Ｖiを、水平方向に（ｉ＝１乃至Ｎの順に）順次プロットすることにより、図１１Dに示す列画素値加算曲線２２１Ｙを求める。また、画素値加算部７１は、差分画像２０１Cの水平方向の列ごとの画素加算値Ｗjを、垂直方向に（ｊ＝１乃至Ｍの順に）順次プロットすることにより、図１１Dに示す行画素値加算曲線２２１Ｘを求める。
【０１５３】
なお、図１１Dにおいて、列画素値加算曲線２２１Ｙに対する目盛は、下側の横軸と左側の縦軸を用い、下側の横軸は、水平方向（Ｘ方向）の位置を表し、左側の縦軸は、垂直方向（Ｙ方向）の列ごとに画素値を加算したときの画素加算値Ｖiを表す。また、行画素値加算曲線２２１Ｘに対する目盛は、上側の横軸と右側の縦軸を用い、右側の縦軸は、垂直方向（Ｙ方向）の位置を表し、上側の横軸は、水平方向（Ｘ方向）の列ごとに画素値を加算したときの画素加算値Ｗjを表す。また、図１１Dにおいては、N＝２５６、M＝１２８となっている。
【０１５４】
図１１Cに示す差分画像２０１Cと、図１１Dに示す行画素値加算曲線２２１Ｘおよび列画素値加算曲線２２１Ｙとを比べると、差分画像２０１Cの水平方向（Ｘ方向）では、顔の領域がある範囲Ｘbに、列画素値加算曲線２２１Ｙ（画素加算値Ｖi）が大きくなり、差分画像２０１Cの垂直方向（Ｙ方向）では、顔の領域がある範囲Ｙbに、行画素値加算曲線２２１Ｘ（画素加算値Ｗj）が大きくなっている。
【０１５５】
そこで、顔領域抽出部２２の閾値設定部７２は、上述した式（３）および（４）により、差分画像の水平方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXを算出する。また、閾値設定部７２は、差分画像の垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THYを算出する。そして、算出された閾値THXまたはTHYが、顔領域データ抽出部７３に供給される。なお、閾値THXまたはTHYは、上述した式（３）および（４）により求める方法の他、実験によるデータ（統計的データ）によって求めるようにしてもよい。
【０１５６】
顔領域データ抽出部７３は、閾値設定部７２から供給される閾値THXおよびTHYに基づいて、差分画像のなかのユーザ１１の顔領域の位置を特定する。
【０１５７】
即ち、差分画像２０１Cの水平方向については、顔領域データ抽出部７３は、図１２Aに示すように、列画素値加算曲線２２１Ｙが閾値THXと交わる位置ＸmaおよびＸmbを算出する。
【０１５８】
また、差分画像２０１Cの垂直方向については、顔領域データ抽出部７３は、行画素値加算曲線２２１Ｘが閾値THYと交わる位置ＹmaおよびＹmbを算出する。
【０１５９】
そして、顔領域データ抽出部７３は、図１２Bにおいて斜線で示されている、列画素値加算曲線２２１Ｙが閾値THX以上となるＸma≦ｉ≦Ｘmbの範囲と、行画素値加算曲線２２１Ｘが閾値THY以上となるＹma≦ｊ≦Ｙmbの範囲とで囲まれる領域２３１を、ユーザ１１の顔の領域であると特定する。
【０１６０】
顔領域データ抽出部７３は、ユーザ１１の顔の領域を特定する、水平方向の位置ＸmaおよびＸmbと、垂直方向の位置ＹmaおよびＹmbとを、顔領域情報として、差分画像２０１Ｃとともに顔向き判定部２３に供給する。
【０１６１】
顔向き判定部２３の画素値加算部８１は、顔領域情報で特定される、差分画像内の顔画像について、垂直方向の列ごとの画素加算値Ｖ’i'を計算する。そして、中心位置検出部８２は、顔画像の画素加算値Ｖ’i'を水平方向に順次プロットすることにより得られる列画素値加算曲線を用いて、ユーザ１１の顔の水平方向の中心位置（重心位置）Ｘ’を決定し、判定部８３に供給する。
【０１６２】
図１３は、ユーザ１１の顔の水平方向の中心位置（重心位置）Ｘ’と、ユーザ１１の顔の向き（正面、右向き、または左向き）との関係を示している。
【０１６３】
なお、図１３では、図１１Ｃにおいて点線で示した、際立って明るい（画素値が大きい）部分を灰色で示している（後述する図１５についても同様）。
【０１６４】
画素値加算部８１により計算された顔画像の画素加算値Ｖ’i'を水平方向に順次プロットすることにより、図１３Ａ上側に示す列画素値加算曲線２４０Ａが得られたとする。
【０１６５】
中心位置検出部８２は、列画素値加算曲線２４０Ａの最大値２４１Ａとなっている位置を、ユーザ１１の顔の水平方向の中心位置（重心位置）Ｘ’とする。これは、差分画像では、図１３Ａ下側に示すように、顔画像の眉、目、鼻、および口の領域に相当する画素（灰色で示した部分）で画素値が大きく（明るく）なるが、それらの領域のなかでも、鼻と口がある領域（面積）が、眉や目に相当する領域よりも広いため、列画素値加算曲線が最大値となる位置に、鼻と口があるとみなしてよいからである。
【０１６６】
従って、判定部８３は、ユーザ１１の顔の中心（鼻および口の位置）とみなされる中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲内、その範囲の左または右側のいずれに存在しているかどうかにより、ユーザ１１の顔の向きを判定する。
【０１６７】
図１３Ａでは、ユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲（第２の範囲）内に存在しているので、判定部８３は、ユーザ１１の顔の向きを正面であると判定する。
【０１６８】
また、図１３Ｂに示す列画素値加算曲線２４０Ｂが得られた場合、中心位置検出部８２は、列画素値加算曲線２４０Ｂの最大値２４１Ｂとなっている位置を、ユーザ１１の顔の水平方向の中心位置Ｘ’とする。
【０１６９】
そして、判定部８３は、ユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより所定の距離ＸRだけ大きい位置（Ｘp＋ＸR）よりも右側(大きい側)の範囲（第３の範囲）に存在しているので、ユーザ１１の顔の向きを右向きであると判定する。
【０１７０】
さらに、図１３Ｃに示す列画素値加算曲線２４０Ｃが得られた場合、中心位置検出部８２は、列画素値加算曲線２４０Ｃの最大値２４１Ｃとなっている位置を、ユーザ１１の顔の水平方向の中心位置Ｘ’とする。
【０１７１】
そして、判定部８３は、ユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpより所定の距離ＸRだけ小さい位置（Ｘp−ＸR）よりも左側(小さい側)の範囲（第１の範囲）に存在しているので、ユーザ１１の顔の向きを左向きであると判定する。
【０１７２】
判定部８３は、以上のようにして判定したユーザ１１の顔の向きの判定結果を、（顔領域抽出部２２から供給される）差分画像および顔領域情報とともに、顔器官抽出部２４に供給する。
【０１７３】
顔器官抽出部２４の画素値加算部１０１は、顔領域情報で特定される差分画像内の顔画像について、水平方向の列ごとの画素加算値Ｗ’j'（顔画像の画素加算値Ｗ’j'）を計算し、画像分離部１０３に供給する。
【０１７４】
画像分離部１０３は、画素値加算部１０１から供給される顔画像の画素加算値Ｗ’j'を用いて、顔画像を、目の領域を含む画像（目画像）、鼻の領域を含む画像（鼻画像）、および口の領域を含む画像（口画像）の３つに分離する。
【０１７５】
具体的には、画像分離部１０３は、顔画像の画素加算値Ｗ’j'を垂直方向に順次プロットすることにより、図１４に示す行画素値加算曲線２６０を求める。
【０１７６】
そして、画像分離部１０３は、行画素値加算曲線２６０に生じている極小点を検出する。図１４に示す例では、画像分離部１０３は、行画素値加算曲線２６０から、極小点２６１Ａ乃至２６１Ｅを検出する。
【０１７７】
次に、画像分離部１０３は、検出された極小点２６１Ａ乃至２６１Ｅのなかで、顔画像の画素加算値Ｗ’j'が最小となる位置ｊを、目画像と鼻画像を上下に（垂直方向に）分離する境界（位置）として検出する。
【０１７８】
さらに、画像分離部１０３は、目画像と鼻画像を上下に分離する境界として検出された極小点から下方向に次に検出される極小点の位置ｊを、鼻画像と口画像を上下に（垂直方向に）分離する境界（位置）として検出する。
【０１７９】
図１４に示す例では、検出された極小点２６１Ａ乃至２６１Ｅのなかで、顔画像の画素加算値Ｗ’j'が最小となっている極小点２６１Ｃを有する位置Ｙgが、目画像と鼻画像を上下に分離する境界（位置）として検出される。
【０１８０】
また、目画像と鼻画像を上下に分離する境界として検出された極小点２６１Ｃから下方向に次に検出される極小点２６１Ｄの位置Ｙhが、鼻画像と口画像を上下に分離する境界（位置）として検出される。
【０１８１】
これにより、画像分離部１０３は、図１５に示すように、差分画像のうちの顔の領域（顔画像）２３１を、目の領域を含む画像（目画像）２７１、鼻の領域を含む画像（鼻画像）２７２、および口の領域を含む画像（口画像）２７３に分離する。そして、画像分離部２０３は、目画像２７１を目画像処理部１０４に供給し、鼻画像２７２を鼻画像処理部１０５に供給し、口画像２７３を口画像処理部１０６に供給する。
【０１８２】
なお、画像分離部１０３においては、目画像と鼻画像を上下に分離する境界としての極小点２６１Ｃを検出する場合、目画像と鼻画像を上下に分離する境界は、顔の領域（顔画像）の垂直方向（上下方向）の中心付近に存在することが想定されるため、顔の領域の垂直方向の中心付近（例えば、垂直方向の長さの半分の範囲）の範囲内だけで、行画素値加算曲線２６０の最小値となっている極小点を検出するようにしてもよい。また、顔の領域の垂直方向の中心に最も近い極小点を検出するようにしてもよい。
【０１８３】
また、極小点を検出する際には、微小な画素値の変化によって生じている極小点など、本来の検出したい極小点とは異なる点を検出しないために、行画素値加算曲線２６０に対して、高周波成分を除去するフィルタ（ローパスフィルタ）処理等を行ってから上述の処理を実行することができる。さらに、検出された極小点の前後（上下）に位置する極大点との顔画像の画素加算値Ｗ’j'の差が、一定値以上であるなどの制約条件を付加して、不適当な（ノイズによる）極小点を除外するようにしてもよい。
【０１８４】
次に、目画像処理部１０４の画素値加算部１１１は、画像分離部１０３から供給された目画像に対して、垂直または水平方向の列ごとの画素加算値Ｖ’ip' またはＷ’jp'を計算し、目領域抽出部１１２に供給する。目領域抽出部１１２は、目画像の画素加算値Ｖ’ip' またはＷ’jp'を水平方向または垂直方向に順次プロットすることにより、それぞれ、図１６Ａに示す目画像の列画素値加算曲線２７１Ｙまたは行画素値加算曲線２７１Ｘを得る。
【０１８５】
また、鼻画像処理部１０５の画素値加算部１２１は、画像分離部１０３から供給された鼻画像に対して、垂直または水平方向の列ごとの画素加算値Ｖ’iq' またはＷ’jq'を計算し、鼻領域抽出部１２２に供給する。鼻領域抽出部１２２は、鼻画像の画素加算値Ｖ’iq' またはＷ’jq'を水平方向または垂直方向に順次プロットすることにより、それぞれ、図１６Ｂに示す鼻画像の列画素値加算曲線２７２Ｙまたは行画素値加算曲線２７２Ｘを得る。
【０１８６】
さらに、口画像処理部１０６の画素値加算部１３１は、画像分離部１０３から供給された口画像に対して、垂直または水平方向の列ごとの画素加算値Ｖ’ir' またはＷ’jr'を計算し、口領域抽出部１３２に供給する。口領域抽出部１３２は、口画像の画素加算値Ｖ’i3' またはＷj3'を水平方向または垂直方向に順次プロットすることにより、それぞれ、図１６Ｃに示す口画像の列画素値加算曲線２７３Ｙまたは行画素値加算曲線２７３Ｘを得る。
【０１８７】
次に、図１７を参照して、目画像処理部１０４の目領域抽出部１１２および代表点決定部１１３が行う処理について説明する。
【０１８８】
目領域抽出部１１２は、目画像の列画素値加算曲線２７１Ｙおよび行画素値加算曲線２７１Ｘを用いて、ユーザ１１の目の領域を特定する。
【０１８９】
具体的には、目領域抽出部１１２は、目画像の水平方向の中点（中間位置）を中心とし、幅を、例えば、目画像の幅Ｘdの半分（Ｘd/2）とする範囲Ｘe内における、列画素値加算曲線２７１Ｙの最小値を検出する。
【０１９０】
図１７Aでは、極小点２８１が、範囲Ｘe内の最小値として検出される。そして、極小点２８１の水平方向の位置Ｘdpが、目画像を、左目と右目をそれぞれ含む左目画像と右目画像に分離する境界となる。
【０１９１】
次に、目領域抽出部１１２は、顔画像の水平方向の位置Ｘdpより左側の領域（左目画像）における列画素値加算曲線２７１Ｙに注目する。目領域抽出部１１２は、位置Ｘdpより左側の領域（左目画像）における列画素値加算曲線２７１Ｙに対し、極大点を検出し、その検出された極大点のなかから、図１７Aに示すように、値の大きい順に２つの極大点２９１Aおよび２９１Bを選択する。そして、２つの極大点２９１Aおよび２９１Bそれぞれに対応する水平方向の位置ＸIL1およびＸIL2が、左目の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸIL1≦ｉ≦ＸIL2の範囲に左目が存在していると特定される。
【０１９２】
位置Ｘdpより右側の領域（右目画像）に対しても同様に、目領域抽出部１１２は、列画素値加算曲線２７１Ｙに対し、極大値を検出し、その検出された極大点のなかから、図１７Aに示すように、値の大きい順に２つの極大点２９１Cおよび２９１Dを選択する。そして、２つの極大点２９１Cおよび２９１Dそれぞれに対応する水平方向の位置ＸIR1およびＸIR2が、右目の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸIR1≦ｉ≦ＸIR2の範囲に右目が存在していると特定される。
【０１９３】
一方、垂直方向に対しては、目領域抽出部１１２は、行画素値加算曲線２７１Ｘ（目画像の画素加算値Ｗ’jp'）において極小点を検出し、その検出された極小点のなかから、図１７Aに示すように、値の最も小さな極小点３０１を選択する。
【０１９４】
そして、目領域抽出部１１２は、行画素値加算曲線２７１Ｘにおいて、値の最も小さな極小点３０１の両隣に位置する極大点を検出する。即ち、目領域抽出部１１２は、行画素値加算曲線２７１Ｘにおいて、値の最も小さな極小点３０１から、上下方向それぞれに検索して最初の極大点３１１Aおよび３１１Bを検出する。
【０１９５】
そして、極大点３１１Aおよび３１１Bそれぞれに対応する垂直方向の位置ＹI1およびＹI2が、垂直方向の左目および右目の領域を特定する位置となる。即ち、垂直方向においては、ＹI1≦ｊ≦ＹI2の範囲に左目および右目が存在していると特定される。なお、極小点３０１に対応する垂直方向の位置が、位置Ｙdpである。
【０１９６】
以上から、目領域抽出部１１２は、図１７Aにおいて斜線で示されている、ＸIL1≦ｉ≦ＸIL2の範囲とＹI1≦ｊ≦ＹI2の範囲とで囲まれる領域を、左目の領域ILと特定する。また、目領域抽出部１１２は、ＸIR1≦ｉ≦ＸIR2の範囲とＹI1≦ｊ≦ＹI2の範囲とで囲まれる領域を、右目の領域IRと特定する。目領域抽出部１１２は、水平方向の位置ＸIL1，ＸIL2，ＸIR1、およびＸIR2と、垂直方向の位置ＹI1およびＹI2とを、ユーザ１１の目の領域を特定する情報として、代表点決定部１１３に供給する。
【０１９７】
代表点決定部１１３は、ユーザ１１の目の領域内で、目の位置を代表する代表点を特定する。
【０１９８】
図１７Bは、左目の領域IL内で再計算された行画素値加算曲線２７１Ｘ’および列画素値加算曲線２７１Ｙ’を示している。図１７Cは、右目の領域IR内で再計算された行画素値加算曲線２７１Ｘ”および列画素値加算曲線２７１Ｙ”を示している。
【０１９９】
図１７Bに示す左目の領域ILにおいて、代表点決定部１１３は、列画素値加算曲線２７１Ｙ’の最小値３２１を検出し、その最小値３２１に対応する水平方向の位置ILXを得る。また、代表点決定部１１３は、行画素値加算曲線２７１Ｘ’の最小値３２２を検出し、その最小値３２２に対応する垂直方向の位置ILYを得る。この位置ILXおよびILYが、ユーザ１１の左目の位置を代表する代表点ILp＝（ILX，ILY）を表す。
【０２００】
同様にして、図１７Cに示す右目の領域IRにおいて、代表点決定部１１３は、列画素値加算曲線２７１Ｙ”の最小値３３１を検出し、その最小値３３１に対応する水平方向の位置IRXを得る。また、代表点決定部１１３は、行画素値加算曲線２７１Ｘ”の最小値３３２を検出し、その最小値３３２に対応する垂直方向の位置IRYを得る。この位置IRXおよびIRYが、ユーザ１１の右目の位置を代表する代表点IRp＝（IRX，IRY）を表す。
【０２０１】
代表点決定部１１３は、位置（ILX，ILY）および位置（IRX，IRY）を、ユーザ１１の目の代表点ILpおよびIRpを特定する情報とし、上述した目の領域を特定する情報とともに、画像出力部１０８に供給する。
【０２０２】
この目の代表点は、目（虹彩）の中心や、黒目の位置を表すとは限らないが、ユーザごとにほぼ同一の位置となる。従って、代表点としての左右の目の位置関係を調べる（比較）することにより、個人（本人）認証の精度を向上させることができる。
【０２０３】
また、連続して撮像された複数の画像に対して、代表点としての左右の目の位置の軌跡（移動方向）を調べることにより、ユーザ１１の視線の移動方向や顔の向きを検出することも可能である。
【０２０４】
次に、図１８を参照して、鼻画像処理部１０５の鼻領域抽出部１２２および代表点決定部１２３が行う処理について説明する。
【０２０５】
鼻領域抽出部１２２は、鼻画像の列画素値加算曲線２７２Ｙおよび行画素値加算曲線２７２Ｘを用いて、ユーザ１１の鼻の領域を特定する。
【０２０６】
具体的には、鼻領域抽出部１２２は、鼻画像の水平方向の中点（中間位置）を中心とし、幅を、例えば、鼻画像の幅Ｘdの半分（Ｘd/2）とする範囲Ｘe内における、列画素値加算曲線２７２Ｙの極小点を検出し、その検出された極小点のなかから、図１８Aに示すように、値の小さい順に２つの極小点３４１および３４２を選択する。そして、２つの極小点３４１および３４２それぞれに対応する水平方向の位置ＸN1およびＸN2が、鼻の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸN1≦ｉ≦ＸN2の範囲に鼻が存在していると特定される。
【０２０７】
一方、垂直方向に対しては、鼻領域抽出部１２２は、行画素値加算曲線２７２Ｘにおいて極大点を検出し、その検出された極大点のなかから、値の最も大きな極大点３５１を選択する。なお、図１８Ａの行画素値加算曲線２７２Ｘのように、１つの極大点３５１しか存在していない場合、その極大点３５１が選択される。
【０２０８】
そして、鼻領域抽出部１２２は、極大点３５１に対応する垂直方向の位置ＹN1から、鼻画像の垂直方向の下限位置ＹN3までの距離ＹNDと同一の距離だけ、位置ＹN1から上方向に進んだ位置ＹN2を決定する。このようにして決定される垂直方向の位置ＹN2およびＹN3が、垂直方向の鼻の領域を特定する位置となる。即ち、垂直方向においては、ＹN2≦ｊ≦ＹN3の範囲に鼻が存在していると特定される。
【０２０９】
以上から、鼻領域抽出部１２２は、図１８Aにおいて斜線で示されている、ＸN1≦ｉ≦ＸN2の範囲とＹN2≦ｊ≦ＹN3の範囲とで囲まれる領域を、鼻の領域NRと特定する。また、鼻領域抽出部１２２は、水平方向の位置ＸN1およびＸN2と、垂直方向の位置ＹN2およびＹN3とを、ユーザ１１の鼻の領域を特定する情報として、代表点決定部１２３に供給する。
【０２１０】
代表点決定部１２３は、ユーザ１１の鼻の領域内で、鼻の位置を代表する代表点を特定する。
【０２１１】
図１８Bは、鼻の領域NR内で再計算された行画素値加算曲線２７２Ｘ’および列画素値加算曲線２７２Ｙ’を示している。
【０２１２】
図１８Bに示す鼻の領域NRにおいて、代表点決定部１２３は、列画素値加算曲線２７２Ｙ’の最大値３６１を検出し、その最大値３６１に対応する水平方向の位置NRXを得る。また、代表点決定部１２３は、行画素値加算曲線２７２Ｘ’の最大値３７１を検出し、その最小値３７１に対応する垂直方向の位置NRYを得る。この位置NRXおよびNRYが、ユーザ１１の鼻の位置を代表する代表点NRp＝（NRX，NRY）を表す。
【０２１３】
代表点決定部１２３は、位置（NRX，NRY）を、ユーザ１１の鼻の代表点NRpを特定する情報とし、上述した鼻の領域を特定する情報とともに、画像出力部１０８に供給する。
【０２１４】
次に、図１９を参照して、口画像処理部１０６の口領域抽出部１３２および代表点決定部１３３が行う処理について説明する。
【０２１５】
口領域抽出部１３２は、口画像の列画素値加算曲線２７３Ｙおよび行画素値加算曲線２７３Ｘを用いて、ユーザ１１の口の領域を特定する。
【０２１６】
具体的には、口領域抽出部１３２は、口画像の水平方向の中点（中間位置）を中心とし、幅を、例えば、口画像の幅Ｘdの半分（Ｘd/2）とする範囲Ｘe内における、列画素値加算曲線２７３Ｙの３つの極小点３８１乃至３８３を検出する。そして、口領域抽出部１３２は、検出された極小点３８１乃至３８３のなかから、水平方向に最大と最小の（即ち、両脇の）極小点３８１および３８３を選択する。２つの極小点３８１および３８３それぞれに対応する水平方向の位置ＸM1およびＸM3が、口の領域を特定する水平方向の位置となる。即ち、水平方向においては、ＸM1≦ｉ≦ＸM3の範囲に口が存在していると特定される。
【０２１７】
一方、垂直方向に対しては、口領域抽出部１３２は、行画素値加算曲線２７３Ｘにおいて極小点を検出し、その検出された極小点のなかから、値の最も小さな極小点３８４を選択する。なお、図１９Ａの行画素値加算曲線２７３Ｘのように、１つの極小点３８４しか存在していない場合、その極小点３８４が選択される。
【０２１８】
そして、口領域抽出部１３２は、極小点３８４に対応する垂直方向の位置ＹM1から、口画像の垂直方向の上限位置ＹM2までの距離ＹMDと同一の距離だけ、位置ＹM1から下方向に進んだ位置ＹM3を決定する。このようにして決定される垂直方向の位置ＹM2およびＹM3が、垂直方向の口の領域を特定する位置となる。即ち、垂直方向においては、ＹM2≦ｊ≦ＹM3の範囲に口が存在していると特定される。
【０２１９】
以上から、口領域抽出部１３２は、図１９Aにおいて斜線で示されている、ＸM1≦ｉ≦ＸM3の範囲とＹM2≦ｊ≦ＹM3の範囲とで囲まれる領域を、口の領域MRと特定する。また、口領域抽出部１３２は、水平方向の位置ＸM1およびＸM3と、垂直方向の位置ＹM2およびＹM3とを、ユーザ１１の口の領域を特定する情報として、代表点決定部１３３に供給する。
【０２２０】
代表点決定部１３３は、ユーザ１１の口の領域内で、口の位置を代表する代表点を特定する。
【０２２１】
図１９Bは、口の領域MR内で再計算された行画素値加算曲線２７３Ｘ’および列画素値加算曲線２７３Ｙ’を示している。
【０２２２】
図１９Bに示す口の領域MRにおいて、代表点決定部１３３は、列画素値加算曲線２７３Ｙ’の極小値３９１を検出し、その極小値３９１に対応する水平方向の位置MRXを得る。また、代表点決定部１３３は、行画素値加算曲線２７３Ｘ’の極小値３９２を検出し、その極小値３９２に対応する垂直方向の位置MRYを得る。この位置MRXおよびMRYが、ユーザ１１の口の位置を代表する代表点MRp＝（MRX，MRY）を表す。
【０２２３】
代表点決定部１３３は、位置（MRX，MRY）を、ユーザ１１の口の代表点MRpを特定する情報とし、上述した口の領域を特定する情報とともに、画像出力部１０８に供給する。
【０２２４】
次に、図２０および図２１のフローチャートを参照して、画像処理装置１５の処理について説明する。この処理は、撮像画像が撮像装置１２から画像処理装置１５に供給されたときに開始される。
【０２２５】
初めに、ステップＳ１において、差分画像算出部２１の画像取得部６１は、基準画像と照明画像を取得する。より詳しくは、画像取得部６１は、撮像装置１２から供給される撮像画像を取得し、タイミング制御装置１４からの判定信号に従い、撮像装置１２から供給された撮像画像が、基準画像であるか、または照明画像であるかを判定する。そして、画像取得部６１は、供給された撮像画像が基準画像である場合、撮像画像をメモリ６２に供給し、供給された撮像画像が照明画像である場合、撮像画像をメモリ６３に供給する。
【０２２６】
ステップＳ２において、差分画像算出部２１の差分処理部６４は、メモリ６２に記憶されている基準画像と、メモリ６３に記憶されている照明画像から、差分画像を算出する。
【０２２７】
ステップＳ３において、差分画像算出部２１のフィルタ処理部６５は、差分処理部６４からの差分画像に対してフィルタリング（フィルタ処理）して、処理後の差分画像を顔領域抽出部２２に供給する。
【０２２８】
ステップＳ４において、顔領域抽出部２２の画素値加算部７１は、差分画像の水平または垂直方向それぞれの列ごとに画素値を加算し、差分画像の垂直または水平方向それぞれの列ごとの画素加算値ＶiまたはＷjを算出する。
【０２２９】
ステップＳ５において、顔領域抽出部２２の閾値設定部７２は、差分画像の水平方向または垂直方向において、ユーザ１１の顔領域とその他の領域を区別する閾値THXまたはTHYを算出し、設定する。
【０２３０】
ステップＳ６において、顔領域抽出部２２の顔領域データ抽出部７３は、差分画像のなかから顔画像を抽出する。即ち、顔領域データ抽出部７３は、画素値加算部７１から供給される差分画像の画素加算値ＶiおよびＷjと、閾値設定部７２から供給される閾値THXおよびTHYとに基づいて、差分画像のなかのユーザ１１の顔領域の位置を特定する。そして、顔領域データ抽出部７３は、差分画像算出部２１から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３に供給する。
【０２３１】
ステップＳ７において、顔向き判定部２３の画素値加算部８１は、顔画像の画素加算値Ｖ’i'を算出し、中心位置検出部８２に供給する。
【０２３２】
ステップＳ８において、顔向き判定部２３の中心位置検出部８２は、水平方向におけるユーザ１１の顔の中心位置（重心位置）Ｘ’を決定し、判定部８３に供給する。
【０２３３】
ステップＳ９において、顔向き判定部２３の判定部８３は、水平方向におけるユーザ１１の顔の中心位置Ｘ’が、顔画像の水平方向の中点Ｘpから所定の距離±ＸRの範囲、その範囲の左側または右側のいずれに存在しているかどうかにより、ユーザ１１の顔の向きを判定する。そして、この判定結果が、差分画像および顔領域情報とともに顔器官抽出部２４に供給される。
【０２３４】
ステップＳ１０において、顔器官抽出部２４のメモリ１０７は、撮像装置１２から供給される撮像画像（基準画像または照明画像）を記憶する。
【０２３５】
ステップＳ１１において、顔器官抽出部２４の画素値加算部１０１は、顔画像の画素加算値Ｗ’j'を算出し、画像分離部１０３に供給する。
【０２３６】
ステップＳ１２において、顔器官抽出部２４の画像分離部１０３は、画素値加算部１０１からの顔画像の画素加算値Ｗ’j'を用いて、顔画像を目画像、鼻画像、および口画像に分離する。そして、画像分離部１０３は、分離された目画像、鼻画像、および口画像を、それぞれ、目画像処理部１０４、鼻画像処理部１０５、および口画像処理部１０６に供給する。
【０２３７】
ステップＳ１３において、目画像処理部１０４の画素値加算部１１１は、目画像の画素加算値Ｖ’ip' またはＷ’jp'を計算し、目領域抽出部１１２に供給する。
【０２３８】
ステップＳ１４において、目画像処理部１０４の目領域抽出部１１２は、目画像の列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の目の領域を特定する。そして、目領域抽出部１１２は、ユーザ１１の目の領域を特定する情報を、目画像とともに、代表点決定部１１３に供給する。
【０２３９】
ステップＳ１５において、目画像処理部１０４の代表点決定部１１３は、目の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の目の位置を代表する代表点を特定する。そして、代表点決定部１１３は、目領域情報（目の領域を特定する情報および目の代表点を特定する情報）を画像出力部１０８に供給する。
【０２４０】
ステップＳ１６において、鼻領域処理部１０５の画素値加算部１２１は、鼻画像の画素加算値Ｖ’iq' またはＷ’jq'を算出し、鼻領域抽出部１２２に供給する。
【０２４１】
ステップＳ１７において、鼻領域処理部１０５の鼻領域抽出部１２２は、鼻画像の列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の鼻の領域を特定する。そして、鼻領域抽出部１２２は、ユーザ１１の鼻の領域を特定する情報を、鼻画像とともに、代表点決定部１２３に供給する。
【０２４２】
ステップＳ１８において、鼻領域処理部１０５の代表点決定部１２３は、鼻の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の鼻の位置を代表する代表点を特定（決定）する。そして、代表点決定部１２３は、鼻領域情報（鼻の領域を特定する情報および鼻の代表点を特定する情報）を画像出力部１０８に供給する。
【０２４３】
ステップＳ１９において、口画像処理部１０６の画素値加算部１３１は、口画像の画素加算値Ｖ’ir'およびＷ’jr'を算出し、口領域抽出部１３２に供給する。
【０２４４】
ステップＳ２０において、口画像処理部１０６の口領域抽出部１３２は、口画像の列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の口の領域を特定（抽出）する。そして、口領域抽出部１３２は、ユーザ１１の口の領域を特定する情報を、口画像の列画素値加算曲線および行画素値加算曲線とともに、代表点決定部１３３に供給する。
【０２４５】
ステップＳ２１において、口画像処理部１０６の代表点決定部１３３は、口の領域に対して再計算された列画素値加算曲線および行画素値加算曲線を用いて、ユーザ１１の口の位置を代表する代表点を特定（決定）する。そして、代表点決定部１３３は、口領域情報（口の領域を特定する情報および口の代表点を特定する情報）を画像出力部１０８に供給する。
【０２４６】
ステップＳ２２において、口画像処理部１０６の画像出力部１０８は、顔向き判定部２３から供給された判定結果に応じて、上述したステップＳ１０でメモリ１０７に記憶された撮像画像を出力するか否かを判定する。即ち、判定結果から、ユーザ１１の顔の向きが右向きまたは左向きであると判定された場合、画像出力部１０８は、ステップＳ２３をスキップして（メモリ１０７に記憶されている撮像画像を出力せずに）、処理を終了する。
【０２４７】
一方、判定結果から、ユーザ１１の顔の向きが正面であると判定された場合、ステップＳ２３に進み、画像出力部１０８は、顔領域情報、目領域情報、鼻領域情報、および口領域情報とともに、メモリ１０７に記憶されている撮像画像を出力して、処理を終了する。
【０２４８】
以上のように、画像処理装置１５は、顔画像の認識処理に最適な撮像画像だけを出力するとともに、出力される撮像画像の顔領域、目の領域、鼻の領域、口の領域、および目、鼻、口の代表点を出力する。これにより、画像処理装置１５からの出力を受ける装置では、顔画像の認識処理を容易に、かつ正確に行うことができる。
【０２４９】
なお、上述したステップＳ１３乃至Ｓ１５の処理、ステップＳ１６乃至Ｓ１８の処理、またはステップＳ１９乃至Ｓ２１の処理は、いずれの処理を先に行っても良いし、同時に（並行して）行うことも可能である。
【０２５０】
また、上述したステップＳ２３の処理では、画像出力部１０８は、ユーザ１１の顔の向きが正面であると判定された場合に、メモリ１０７に記憶されている撮像画像が基準画像であるか照明画像であるかにかかわらず、メモリ１０７に記憶されている撮像画像を出力するようにしたが、基準画像のときだけ出力するようにしてもよい。
【０２５１】
図２２は、図１の顔領域抽出部２２のその他の実施の形態を示すブロック図である。
【０２５２】
図２２において、顔領域抽出部２２は、ヒストグラム作成部４０１、閾値設定部４０２、顔領域データ抽出部４０３、およびメモリ４０４により構成されている。
【０２５３】
差分画像算出部２１（のフィルタ処理部６５）から供給される（フィルタ処理後の）差分画像は、ヒストグラム作成部４０１および顔領域データ抽出部４０３に供給される。
【０２５４】
ヒストグラム作成部４０１は、差分画像について、同一の画素値を有する画素ごとに画素数を集計した、差分画像の画素値のヒストグラムを作成し、閾値設定部４０２に供給する。また、ヒストグラム作成部４０１は、差分画像の各画素について、画素の位置と、画素値とが対応付けられたテーブルを生成し、メモリ４０４に供給する。このテーブルを参照することにより、所定の画素値が指定された場合に、その画素値を有する画素の差分画像内の位置を特定することができる。
【０２５５】
閾値設定部４０２は、ヒストグラム作成部４０１からの差分画像の画素値のヒストグラムに基づいて、ユーザ１１の顔領域と、その他の領域を区別する画素値を閾値Ｑ2（図２３）として決定（設定）し、顔領域データ抽出部４０３に供給する。
【０２５６】
顔領域データ抽出部４０３は、閾値設定部４０２からの閾値Ｑ2およびメモリ４０４に記憶されているテーブルに基づいて、差分画像のなかのユーザ１１の顔領域を特定する。そして、顔領域データ抽出部４０３は、差分画像算出部２１（図１）から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３（図１）に供給する。
【０２５７】
図２３および図２４を参照して、図２２の顔領域抽出部２２が行う処理について説明する。
【０２５８】
図２３は、ヒストグラム作成部４０１により作成された差分画像の画素値のヒストグラムを示している。
【０２５９】
図２３において、横軸は、画素値を表し、縦軸は、画素数（度数）を表している。
【０２６０】
閾値設定部４０２は、初めに、差分画像の画素値のヒストグラムの極大値を検出する。図２３では、画素値Ｑ1の位置において、極大値４１１が検出される。なお、複数の極大値が検出された場合には、閾値設定部４０２は、検出された複数の極大値のなかで、画素数（度数）の一番大きい極大値（最大の極大値）を採用する。
【０２６１】
差分画像では、図１１Ｃに示したように、背景領域（顔領域以外の領域）の画素値は、０かまたは０に近い数値となり、顔領域の画素値は、０から離れた値となるので、図２３に示すように、画素値のヒストグラムは、０付近とそれ以外の画素値の２極に集中する（画素数が大きくなる）分布となる。
【０２６２】
従って、差分画像の画素値のヒストグラムの極大値を検出する場合、画素値が０付近の極大値は明らかに背景領域となるので、検出される極大値は、０付近の所定の画素値以上であるという制約条件や、画素数（度数）が所定の値以上であるという制約条件を設けて、極大値を検出するようにすることも可能である。
【０２６３】
閾値設定部４０２は、検出された極大値４１１を有する画素値Ｑ1と画素値０との中間の画素値、即ち、検出された極大値４１１を有する画素値Ｑ1の半分の画素値Ｑ2を、ユーザ１１の顔領域と、その他の領域を区別する閾値として決定し、顔領域データ抽出部４０３に供給する。
【０２６４】
顔領域データ抽出部４０３には、上述した閾値Ｑ2が、閾値設定部４０２から供給される。顔領域データ抽出部４０３は、メモリ４０４に記憶されている、差分画像内の画素の位置と、その画素値とが対応付けられたテーブルを参照し、閾値Ｑ2以上の画素値を有する差分画像の画素を特定する。
【０２６５】
図２４は、ある差分画像４２１において、閾値設定部４０２から供給された閾値Ｑ2以上の画素値を有する画素を示している。
【０２６６】
図２４において、差分画像４２１内の“○”または“×”は、差分画像４２１を構成している画素を表し、“○”で示されている画素は、閾値Ｑ2以上の画素値を有していることを表し、“×”で示されている画素は、閾値Ｑ2より小さい画素値を有していることを表す。
【０２６７】
顔領域データ抽出部４０３は、差分画像の水平方向および垂直方向のそれぞれについて、閾値Ｑ2以上の画素値を有している画素（“○”で示されている画素）の上限値（最大の位置）および下限値（最小の位置）を決定する。
【０２６８】
図２４に示す差分画像４２１では、顔領域抽出部４０３において、差分画像の水平方向に対して、閾値Ｑ2以上の画素値を有している画素の上限値として、位置Ｘmbが決定され、閾値Ｑ2以上の画素値を有している画素の下限値として、位置Ｘmaが決定される。
【０２６９】
また、差分画像の垂直方向に対して、閾値Ｑ2以上の画素値を有している画素の上限値として、位置Ｙmbが決定され、閾値Ｑ2以上の画素値を有している画素の下限値として、位置Ｙmaが決定される。
【０２７０】
顔領域データ抽出部４０３は、図２４において太線で示されている、Ｘma≦ｉ≦Ｘmbの範囲とＹma≦ｊ≦Ｙmbの範囲とで囲まれる領域４２２を、ユーザ１１の顔の領域であると特定する。
【０２７１】
顔領域データ抽出部４０３は、ユーザ１１の顔の領域を特定する、水平方向の位置ＸmaおよびＸmbと、垂直方向の位置ＹmaおよびＹmbとを、顔領域情報として、差分画像４２１とともに顔向き判定部２３に供給する。
【０２７２】
図１の画像処理装置１５において、顔領域抽出部２２が、図７に示したように構成される代わりに、図２２に示したように構成される場合、上述した図２０および図２１の処理では、ステップＳ４において、ヒストグラム作成部４０１が、差分画像の画素値のヒストグラムを作成し、閾値設定部４０２に供給するとともに、差分画像の各画素について、画素の位置と画素値とが対応付けられたテーブルを生成し、メモリ４０４に供給する。
【０２７３】
ステップＳ５において、閾値設定部４０２は、差分画像の画素値のヒストグラムに基づいて、ユーザ１１の顔領域と、その他の領域を区別する閾値Ｑ2を決定し、顔領域データ抽出部４０３に供給する。
【０２７４】
ステップＳ６において、顔領域データ抽出部４０３は、閾値設定部４０２からの閾値Ｑ2およびメモリ４０４に記憶されているテーブルに基づいて、差分画像のなかのユーザ１１の顔領域の位置を特定する。そして、顔領域データ抽出部４０３は、差分画像算出部２１（図１）から供給される差分画像とともに、ユーザ１１の顔領域を特定する顔領域情報を顔向き判定部２３（図１）に供給する。
【０２７５】
上述したステップＳ４乃至Ｓ６の処理を除く、ステップＳ１乃至Ｓ３およびＳ７乃至Ｓ２３の処理については、同様の処理を行うので、その説明を省略する。
【０２７６】
以上のように、画像処理装置１５の顔領域抽出部２２を図２２に示す構成とした場合でも、画像処理装置１５は、顔画像の認識に最適な撮像画像だけを出力するとともに、出力される撮像画像の顔領域、目の領域、鼻の領域、口の領域、および目、鼻、口の代表点を出力する。これにより、画像処理装置１５からの出力を受ける装置では、顔画像の認識処理を容易に、かつ正確に行うことができる。
【０２７７】
上述した実施の形態では、図１０に示したように、照明装置１３は、ユーザ１１の顔に対して前方斜め下の方向から光を照射するように配置されることとしたが、図２５に示すように、ユーザ１１の顔に対して前方斜め上の方向から光を照射するように、照明装置１３を配置してもよい。また、ユーザ１１の顔と水平な高さで、斜め左前方および斜め右前方の両方から光を照射するように、照明装置１３を配置してもよい。
【０２７８】
また、上述した実施の形態では、認識対象として人（ユーザ）の顔の領域を認識する例について説明したが、その他、動物の顔などを認識対象とすることも可能である。
【０２７９】
図２０および図２１に示した処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この処理をソフトウエアによって行う場合、例えば、一連の処理は、図２６に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。
【０２８０】
図２６において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２８１】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０２８２】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、ターミナルアダプタ、ADSL（Asymmetric Digital Subscriber Line）モデムや、LAN (Local Area Network)カード等より構成される通信部５０９が接続されている。通信部５０９は、インターネットなどの各種のネットワークを介しての通信処理を行う。
【０２８３】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、或いは半導体メモリなどのリムーバブルメディア（記録媒体）５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０２８４】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２８６】
【図１】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像処理装置１５が行う処理の概要を説明する図である。
【図３】画像処理装置１５が行う処理の概要を説明する図である。
【図４】図１の撮像装置１２の詳細な構成例を示すブロック図である。
【図５】対数変換型撮像素子の感度特性を説明する図である。
【図６】図１の差分画像算出部２１の詳細な構成例を示すブロック図である。
【図７】図１の顔領域抽出部２２の詳細な構成例を示すブロック図である。
【図８】図１の顔向き判定部２３の詳細な構成例を示すブロック図である。
【図９】図１の顔器官抽出部２４の詳細な構成例を示すブロック図である。
【図１０】ユーザ１１に対する光の照射方向を説明する図である。
【図１１】差分画像算出部２１の処理を説明する図である。
【図１２】顔領域抽出部２２の処理を説明する図である。
【図１３】顔向き判定部２３の処理を説明する図である。
【図１４】顔器官抽出部２４の画像分離部１０３の処理を説明する図である。
【図１５】顔器官抽出部２４の画像分離部１０３の処理を説明する図である。
【図１６】画素値加算部１１１、画素値加算部１２１、および画素値加算部１３１の処理を説明する図である。
【図１７】目画像処理部１０４の処理を説明する図である。
【図１８】鼻画像処理部１０５の処理を説明する図である。
【図１９】口画像処理部１０６の処理を説明する図である。
【図２０】画像処理装置１５の処理を説明するフローチャートである。
【図２１】画像処理装置１５の処理を説明するフローチャートである。
【図２２】図１の顔領域抽出部２２のその他の実施の形態を示すブロック図である。
【図２３】図２２の顔領域抽出部２２が行う処理について説明する図である。
【図２４】図２２の顔領域抽出部２２が行う処理について説明する図である。
【図２５】ユーザ１１に対する光の照射方向を説明する図である。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２８７】
１ 画像処理システム， １２ 撮像装置， １３ 照明装置， １５ 画像処理装置， ２１ 差分画像算出部， ２２ 顔領域抽出部， ２３ 顔向き判定部， ２４ 顔器官抽出部， ６１ 画像取得部， ６４ 差分処理部， ６５ フィルタ処理部， ７１ 画素値加算部， ７２ 閾値設定部， ７３ 顔領域データ抽出部， ８１ 画素値加算部， ８２ 中心位置検出部， ８３ 判定部， １０１ 画素値加算部， １０３ 目・鼻・口画像分離部１０３， １０４ 目画像処理部， １０５ 鼻画像処理部， １０６ 口画像処理部， １１１ 画素値加算部， １１２ 目領域抽出部， １１３ 代表点決定部， １２１ 画素値加算部， １２２ 鼻領域抽出部， １２３ 代表点決定部， １３１ 画素値加算部， １３２ 口領域抽出部， １３３ 代表点決定部
【特許請求の範囲】
【請求項１】
認識対象となる顔を含む顔画像を処理する画像処理装置において、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算手段と、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離手段と、
前記分離手段により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理手段と、
前記分離手段により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理手段と、
前記分離手段により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記目領域処理手段は、
前記目画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する目画像画素値加算手段と、
前記目画像画素値加算手段により得られる、前記目画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記目の領域を抽出する目領域抽出手段と、
前記目領域抽出手段により抽出された前記目の領域から、目の位置を代表する代表点を決定する目代表点決定手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記鼻領域処理手段は、
前記鼻画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する鼻画像画素値加算手段と、
前記鼻画像画素値加算手段により得られる、前記鼻画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記鼻の領域を抽出する鼻領域抽出手段と、
前記鼻領域抽出手段により抽出された前記鼻の領域から、鼻の位置を代表する代表点を決定する鼻代表点決定手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記口領域処理手段は、
前記口画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する口画像画素値加算手段と、
前記口画像画素値加算手段により得られる、前記口画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記口の領域を抽出する口領域抽出手段と、
前記口領域抽出手段により抽出された前記口の領域から、口の位置を代表する代表点を決定する口代表点決定手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１および第２の画像は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する前記撮像手段により撮像される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
認識対象となる顔を含む顔画像を処理する画像処理装置の画像処理方法において、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得ステップと、
前記顔画像取得ステップの処理により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、
前記分離ステップの処理により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理ステップと、
前記分離ステップの処理により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理ステップと、
前記分離ステップの処理により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
認識対象となる顔を含む顔画像に対する処理を、コンピュータに実行させるプログラムにおいて、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得ステップと、
前記顔画像取得ステップの処理により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、
前記分離ステップの処理により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理ステップと、
前記分離ステップの処理により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理ステップと、
前記分離ステップの処理により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理ステップと
を含むことを特徴とするプログラム。
【請求項９】
認識対象となる顔を含む顔画像に対する処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得ステップと、
前記顔画像取得ステップの処理により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、
前記分離ステップの処理により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理ステップと、
前記分離ステップの処理により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理ステップと、
前記分離ステップの処理により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【請求項１】
認識対象となる顔を含む顔画像を処理する画像処理装置において、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算手段と、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離手段と、
前記分離手段により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理手段と、
前記分離手段により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理手段と、
前記分離手段により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記目領域処理手段は、
前記目画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する目画像画素値加算手段と、
前記目画像画素値加算手段により得られる、前記目画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記目の領域を抽出する目領域抽出手段と、
前記目領域抽出手段により抽出された前記目の領域から、目の位置を代表する代表点を決定する目代表点決定手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記鼻領域処理手段は、
前記鼻画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する鼻画像画素値加算手段と、
前記鼻画像画素値加算手段により得られる、前記鼻画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記鼻の領域を抽出する鼻領域抽出手段と、
前記鼻領域抽出手段により抽出された前記鼻の領域から、鼻の位置を代表する代表点を決定する鼻代表点決定手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記口領域処理手段は、
前記口画像に対して、水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する口画像画素値加算手段と、
前記口画像画素値加算手段により得られる、前記口画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記口の領域を抽出する口領域抽出手段と、
前記口領域抽出手段により抽出された前記口の領域から、口の位置を代表する代表点を決定する口代表点決定手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１および第２の画像は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する前記撮像手段により撮像される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
認識対象となる顔を含む顔画像を処理する画像処理装置の画像処理方法において、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得ステップと、
前記顔画像取得ステップの処理により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、
前記分離ステップの処理により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理ステップと、
前記分離ステップの処理により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理ステップと、
前記分離ステップの処理により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
認識対象となる顔を含む顔画像に対する処理を、コンピュータに実行させるプログラムにおいて、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得ステップと、
前記顔画像取得ステップの処理により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、
前記分離ステップの処理により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理ステップと、
前記分離ステップの処理により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理ステップと、
前記分離ステップの処理により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理ステップと
を含むことを特徴とするプログラム。
【請求項９】
認識対象となる顔を含む顔画像に対する処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
照明手段が前記顔に光を照射していない状態で、撮像手段により前記顔が撮像された画像である第１の画像と、前記照明手段が前記顔に光を照射している状態で、前記撮像手段により前記顔が撮像された画像である第２の画像との画素値の差分からなる差分画像である前記顔画像を取得する顔画像取得ステップと、
前記顔画像取得ステップの処理により取得された前記顔画像の水平または垂直方向それぞれの列ごとに画素値を加算した画素加算値を算出する画素値加算ステップと、
前記差分画像の水平または垂直方向それぞれの列ごとの前記画素加算値を用いて、前記顔画像を、目の領域を含む目画像、鼻の領域を含む鼻画像、および口の領域を含む口画像に分離する分離ステップと、
前記分離ステップの処理により分離された前記目画像から、前記目の領域を抽出する処理を行う目領域処理ステップと、
前記分離ステップの処理により分離された前記鼻画像から、前記鼻の領域を抽出する処理を行う鼻領域処理ステップと、
前記分離ステップの処理により分離された前記口画像から、前記口の領域を抽出する処理を行う口領域処理ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００６−２５９９０２（Ｐ２００６−２５９９０２Ａ）
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願番号】特願２００５−７３７５５（Ｐ２００５−７３７５５）
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願日】平成１７年３月１５日（２００５．３．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]