画像処理装置、画像処理方法、及び画像処理プログラム
【課題】高速で高精度に被写体の顔の表情を推定することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、異なる複数のタイミング、所定の解像度で被写体像を取得する手段と、被写体像から顔領域を検出する手段と、顔領域から被写体の顔の構成要素の形状に関する情報を抽出する手段と、顔情報から表情を推定するための基準となる基準顔情報を選択する手段と、基準顔情報に基づいて被写体の表情を推定する表情推定手段とを備える。まず、第１の解像度で撮影した画像から基準顔情報を生成する。次いで、第１の解像度よりも低い第２の解像度で撮影した画像から被写体の顔の構成要素の形状に関する第２の顔情報を抽出する。そして、表情推定手段により、基準顔情報と第２の顔情報とを比較して、被写体の顔の表情を推定する。
【解決手段】画像処理装置は、異なる複数のタイミング、所定の解像度で被写体像を取得する手段と、被写体像から顔領域を検出する手段と、顔領域から被写体の顔の構成要素の形状に関する情報を抽出する手段と、顔情報から表情を推定するための基準となる基準顔情報を選択する手段と、基準顔情報に基づいて被写体の表情を推定する表情推定手段とを備える。まず、第１の解像度で撮影した画像から基準顔情報を生成する。次いで、第１の解像度よりも低い第２の解像度で撮影した画像から被写体の顔の構成要素の形状に関する第２の顔情報を抽出する。そして、表情推定手段により、基準顔情報と第２の顔情報とを比較して、被写体の顔の表情を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、顔の表情、特に人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔などの良い表情のタイミングで撮影することが望まれることが多い。そのため、デジタルカメラへの表情検出技術の応用が検討されている。
【０００３】
特許文献１に示す技術では、予め表情認識処理に使用するための無表情の参照画像から複数の第１の特徴点を抽出した後、第１の特徴点間の距離を算出する。また、判定対象の画像から複数の第２の特徴点を抽出した後、第２の特徴点間の距離を算出する。そして、第１の特徴点間の距離と第２の特徴点間の距離との差分値を算出することにより表情を判定する。
【特許文献１】特開２００５−５６３８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
良い表情と判定した時にシャッターチャンスを逃さず撮影するには、被写体の顔の表情を高速に推定する必要がある。被写体の顔の表情を高速に推定するには、取得される画像データの解像度を下げ、処理するデータ量を少なくし、処理時間を短くすることが考えられる。
【０００５】
ここで、取得される画像データの解像度を下げることにより、表情を推定する際に用いる顔の特徴点の抽出数が減少し、被写体の顔の表情を推定する精度が落ちる可能性がある。
【０００６】
本発明の課題は、高速で高精度に被写体の顔の表情を推定することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１側面に係る画像処理装置は、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する取得手段と、前記取得手段により取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する顔情報選択手段と、前記基準顔情報に基づいて、前記被写体の顔の表情を推定する表情推定手段とを備え、前記取得手段は、前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得し、前記顔領域検出手段は、前記取得手段により取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出し、前記顔情報抽出手段は、前記顔領域検出手段により検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出し、前記表情推定手段は、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定することを特徴とする。
【０００８】
本発明の第２側面に係る画像処理方法は、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップとを備えたことを特徴とする。
【０００９】
本発明の第３側面に係る画像処理プログラムは、画像処理装置に、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップとを実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、高速で高精度に被写体の顔の表情を推定することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施形態に係る画像処理装置１００について、図１を参照して説明する。図１は、本発明の実施形態に係る画像処理装置１００の構成図である。
【００１２】
画像処理装置１００は、例えば、デジタルカメラである。画像処理装置１００は、以下の構成要素を備える。
【００１３】
保護手段１０２は、例えばバリアである。保護手段１０２は、外部と撮影レンズ１０との間に配置され、撮影レンズ１０を保護する。シャッター１２は、撮影レンズ１０と後述の光電変換手段１４との間に配置され、撮影レンズ１０から光電変換手段１４へ導かれる光量を絞るための絞り機能を有する。
【００１４】
取得手段１７は、光電変換手段１４、読み出し手段１５、及びＡ／Ｄ変換手段１６を含む。光電変換手段１４は、被写体の光学像を光電変換して画像信号を生成する。読み出し手段１５は、光電変換手段１４から画像信号を読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された画像信号をＡ／Ｄ変換して画像データを生成する。
【００１５】
ここで、取得手段１７は、異なる複数のタイミングで被写体を撮像して、被写体の複数の第１の画像データを第１の解像度で取得する。すなわち、光電変換手段１４は、被写体の光学像を光電変換して第１の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第１の画像信号を第１の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第１の画像信号をＡ／Ｄ変換して第１の画像データを生成する。第１の画像データは、その解像度が第１の解像度になっている。これらの動作が異なる複数のタイミングで行われて、複数の第１の画像データが第１の解像度で取得される。
【００１６】
また、取得手段１７は、被写体を撮像して、被写体の第２の画像データを、第１の解像度よりも低い第２の解像度で取得する。すなわち、光電変換手段１４は、被写体の光学像を光電変換して第２の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第２の画像信号を、第１の画素数より少ない第２の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第２の画像信号をＡ／Ｄ変換して第２の画像データを生成する。第２の画像データは、その解像度が第２の解像度になっている。
【００１７】
タイミング発生部１８は、メモリ制御部２２及びシステム制御部５０により制御されて、光電変換手段１４、読み出し手段１５、Ａ／Ｄ変換手段１６、後述のＤ／Ａ変換器２６にクロック信号や制御信号を供給する。
【００１８】
画像処理部２０は、Ａ／Ｄ変換手段１６からのデータ或いはメモリ制御部２２からのデータに対して、所定の画素補間処理や色変換処理を行う。
【００１９】
また、画像処理部２０は、Ａ／Ｄ変換手段１６等から受け取った画像データを用いて所定の演算処理を行い、得られた演算結果をシステム制御部５０へ供給する。これにより、システム制御部５０は、露光制御手段４０、測距制御手段４２に対して制御を行い、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００２０】
さらに、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２１】
また、画像処理部２０は、顔領域検出手段２０ａと顔情報抽出手段２０ｂとを含む。顔領域検出手段２０ａは、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。例えば、画像データから、口や目などの顔の構成要素に相当する形状を抽出し、その構成要素の位置を基準として顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された複数の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する顔情報を抽出する。顔情報は、例えば、口や目や眉毛などの具体的な形状や座標に関する情報を含み、あるいは、例えば、鼻の端点、鼻穴の中心点、耳の端点などの形状や座標に関する情報を含む。ここで、顔情報は、それぞれの端点や中心点あるいは目の黒点などを入力された顔の画像から、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。顔領域検出手段２０ａが顔領域を抽出する際には、口や目などの顔の構成要素としての条件を満たす形状が存在するか否かという判断を行っている。つまり、笑っているときの大きく開いた口でも、黙っているときの閉じた口でも、口という条件さえ満たせばその具体的な形状までは問わない。これに対し、顔情報抽出手段２０ｂが顔情報を抽出する際には、同じ口であっても、口角の位置や口の開き具合などの具体的な形状や顔領域における座標の情報までも含めて抽出される。
【００２２】
ここで、顔領域検出手段２０ａは、取得手段１７により取得された複数の第１の画像データのそれぞれにおいて、被写体の第１の顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された複数の第１の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する第１の顔情報を抽出する。
【００２３】
また、顔領域検出手段２０ａは、取得手段１７により取得された第２の画像データにおいて、被写体の第２の顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された第２の顔領域から、被写体の顔の構成要素の形状に関する第２の顔情報を抽出する。
【００２４】
メモリ制御回路２２は、Ａ／Ｄ変換手段１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。メモリ制御回路２２は、Ａ／Ｄ変換手段１６や画像処理部２０から受け取ったデータを画像表示メモリ２４或いはメモリ３０に書き込む。
【００２５】
画像表示メモリ２４は、表示用の画像データを記憶する。Ｄ／Ａ変換器２６は、表示用の画像データをメモリ制御部２２経由で画像表示メモリ２４から受け取り、表示用の画像データをアナログ信号へＤ／Ａ変換する。
【００２６】
第１の報知手段２８は、Ｄ／Ａ変換器２６から受け取ったアナログ信号に応じた画像を表示する。第１の報知手段２８は、例えば、ＴＦＴ−ＬＣＤを含む。第１の報知手段２８は、画像を逐次表示して、電子ファインダ機能を実現することが可能である。
【００２７】
ここで、第１の報知手段２８は、システム制御部５０の指示により任意に表示をＯＮ/ＯＦＦすることが可能であり、表示をＯＦＦにした場合にデジタルカメラ１００の電力消費を大幅に低減することが出来る。
【００２８】
メモリ３０は、撮影した静止画像や動画像を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２９】
圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００３０】
露光制御手段４０は、絞り機能を備えるシャッター１２を制御する。露光制御手段４０は、フラッシュ４８と連携することにより、フラッシュ調光機能を実現することができる。
【００３１】
測距制御手段４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御手段４４は、撮影レンズ１０のズーミングを制御する。バリア制御手段４６は、保護手段１０２の動作を制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
【００３２】
システム制御部５０は、デジタルカメラ１００全体を制御する。例えば、システム制御部５０は、取得手段１７により取得された画像データに対して画像処理部２０が演算した演算結果に基づき、露光制御手段４０や測距制御手段４２を制御する。
【００３３】
また、システム制御部５０は、顔情報選択手段５０ａ、表情推定手段５０ｂ、及び制御手段５０ｃを含む。顔情報選択手段５０ａは、顔情報抽出手段２０ｂにより抽出された複数の第１の顔情報から、被写体の顔の表情を推定するための基準となる基準顔情報を選択する。基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。ここで、顔情報選択手段５０ａは、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、無表情状態であると判定して、その判定結果に応じた顔情報を基準顔情報として選択する。
【００３４】
なお、顔情報選択手段５０ａは、無表情状態を判定する際に、口以外の構成要素の形状を使用しても構わない。例えば、顔情報選択手段５０ａは、更に顔情報として眼の開閉度状態を用い、目の大きさの変化などを使用して眼開きの状態タイミングに基づいて基準顔情報を選択しても良い。また、顔情報選択手段５０ａは、瞳画像をニューラルネットワークで学習させ、固定閾値以上の瞳ニューロン数から眼の開閉状態を判定するようにしても良い。
【００３５】
表情推定手段５０ｂは、基準顔情報と第２の顔情報とを比較して、第２の顔情報に対応した被写体の顔の表情を推定する。すなわち、表情推定手段５０ｂは、顔情報選択手段５０ａから基準顔情報を受け取り、画像処理部２０の顔情報抽出手段２０ｂから第２の顔情報を受け取る。表情推定手段５０ｂは、基準顔情報と第２の顔情報との差分を演算し、基準顔情報に対する第２の顔情報の変化量を示す変化量情報を生成する。表情推定手段５０ｂは、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報を後述のメモリ５２から受け取る。表情推定手段５０ｂは、変化量情報と閾値情報とに基づいて、変化量が閾値を超えたか否かを判定する。これにより、表情推定手段５０ｂは、対象とする被写体の顔が、目標とする表情に達したか否かを判断する。
【００３６】
制御手段５０ｃは、第１の画像データを第１の解像度で取得し、第２の画像データを第２の解像度で取得するように、取得手段１７を制御する。具体的には、制御手段５０ｃは、光電変換手段１４及び読み出し手段１５の少なくとも一方へタイミング発生部１８が供給する信号を制御することにより、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。すなわち、制御手段５０ｃは、第１の画像データを第１の解像度で得るために、第１の画像信号を第１の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。また、制御手段５０ｃは、第２の画像データを第２の解像度で得るために、第２の画像信号を第１の画素数より少ない第２の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。
【００３７】
メモリ５２は、システム制御部５０の動作用の定数、変数等を記憶する。また、メモリ５２は、予め設定情報として後述の入力手段７５から受け取った閾値情報を記憶する。
【００３８】
第２の報知手段５４は、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を報知する。第２の報知手段５４は、デジタルカメラ１００の後述の操作部７０近辺の視認し易い位置に単数或いは複数個所設置される。第２の報知手段５４は、例えば、液晶表示装置（ＬＣＤ）、ＬＥＤ、発音素子（スピーカ）等の組み合わせにより構成されている。
【００３９】
また、第２の報知手段５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００４０】
第２の報知手段５４は、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、及び露出補正表示などをＬＣＤ等に表示する。あるいは、第２の報知手段５４は、例えば、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、及び複数桁の数字による情報表示などをＬＣＤ等に表示する。あるいは、第２の報知手段５４は、例えば、外部記録媒体１２０の着脱状態表示、通信Ｉ/Ｆ動作表示、及び日付け・時刻表示等をＬＣＤ等に表示する。
【００４１】
また、第２の報知手段５４は、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、及び露出補正表示等を光学ファインダ１０４内に表示する。
【００４２】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、画像処理プログラムなどのプログラムを記憶する。不揮発性メモリ５６は、例えば、ＥＥＰＲＯＭ等が用いられる。
【００４３】
入力手段７５は、複数の被写体から顔情報を抽出する対象となる被写体を指示する抽出対象指示を受け付ける。あるいは、入力手段７５は、被写体の表情を検出するための表情検出指示を受け付ける。あるいは、入力手段７５は、検出しようとする表情に達したと判断するための変化量の閾値を変更するための変更指示を受け付ける。
【００４４】
また、入力手段７５は、システム制御部５０の各種の動作指示を受け付ける。スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせを介して、所定の指示を受け付ける。この入力手段７５は、モードダイアルスイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、画像表示ＯＮ／ＯＦＦスイッチ６６、及び操作部７０を含む。
【００４５】
モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するための指示を受け付ける。
【００４６】
シャッターボタン６１は、静止画撮影等するための指示などをユーザから受け付ける。例えば、シャッターボタン６１は、半押しされることにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等するための第１の指示を受け付ける。例えば、シャッターボタン６１は、全押しされることにより、静止画撮影等するための第２の指示を受け付ける。
【００４７】
第１シャッタースイッチ（ＳＷ１）６２は、第１の指示をシャッターボタン６１から受け取るとＯＮ状態になり、ＯＮ状態である旨の情報をシステム制御部５０へ供給する。システム制御部５０は、第１シャッタースイッチ６２がＯＮ状態であることに応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を各部へ指示する。
【００４８】
第２シャッタースイッチ（ＳＷ２）６４は、第２の指示をシャッターボタン６１から受け取るとＯＮ状態になり、ＯＮ状態である旨の情報をシステム制御部５０へ供給する。これにより、システム制御部５０は、一連の撮影処理の動作開始を指示する。一連の撮影処理では、光電変換手段１４から読み出した信号をＡ／Ｄ変換手段１６、メモリ制御部２２を介して記憶手段３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。そして、一連の撮影処理では、記憶手段３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う。
【００４９】
画像表示ＯＮ／ＯＦＦスイッチ６６は、第１の報知手段２８のＯＮ／ＯＦＦを設定するための指示を受け付ける。この指示により、システム制御部５０は、光学ファインダー１０４を用いて撮影を行う際に、第１の報知手段２８への電流供給を遮断して、省電力化を図ることができる。
【００５０】
クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するための指示を受け付ける。例えば、第１の報知手段２８をＯＦＦとした場合におけるクイックレビュー機能の設定を受け付けることができるものとする。
【００５１】
操作部７０は、各種ボタンやタッチパネル等からなる。操作部７０は、メニューボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。操作部７０は、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、ブラケットモードの選択ボタン等を含む。
【００５２】
電源制御手段８０は、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。電源制御手段８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記録媒体１２０を含む各部へ供給する。
【００５３】
コネクタ８２は、電源制御手段８０に接続されている。コネクタ８４は、電源８６に接続されている。電源８６は、例えば、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等である。
【００５４】
カードコントローラ９０は、メモリカード等の外部記録媒体とデータの送受信を行う。インタフェース９１は、メモリカード等の外部記録媒体１２０とカードコントローラ９０とのインタフェースとして機能する。コネクタ９２は、メモリカード等の外部記録媒体１２０が接続される。記録媒体着脱検知手段９８は、コネクタ９２に外部記録媒体１２０が装着されているか否かを検知する。
【００５５】
なお、記録媒体を取り付けるインタフェース及びコネクタは、２以上の系統数であってもよい。また、インタフェース及びコネクタは、異なる規格のものが組み合わせされていても構わない。インタフェース及びコネクタは、半導体メモリカード等の規格に準拠したものを用いて構成して構わない。この場合、各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。各種通信カードは、例えば、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等である。
【００５６】
光学ファインダ１０４は、撮影を行う際に被写体を確認するために用いられる。光学ファインダー１０４を用いれば、第１の報知手段２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、光学ファインダー１０４には、第２の報知手段５４により表示される情報の一部、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などに関する情報が表示される。
【００５７】
外部記録媒体１２０は、コネクタ９２に着脱可能に接続される。外部記録媒体１２０は、例えば、メモリカード等である。
【００５８】
次に、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを、図２に示すフローチャートを用いて説明する。図２は、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャートである。
【００５９】
ステップＳ１（第１の取得ステップ）では、入力手段７５が、笑顔撮影モードを選択するための指示を受け付ける。この笑顔撮影モードは、特定の被写体の笑顔を検出した際に自動的に撮影が行われる撮影モードである。取得手段１７は、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する。
【００６０】
すなわち、制御手段５０ｃは、第１の画像データを第１の解像度で得るために、第１の画像信号を第１の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。光電変換手段１４は、被写体の光学像を光電変換して第１の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第１の画像信号を第１の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第１の画像信号をＡ／Ｄ変換して第１の画像データを生成する。第１の画像データは、その解像度が第１の解像度になっている。これらの動作が異なる複数のタイミングで行われて、複数の第１の画像データが第１の解像度で取得される。
【００６１】
ステップＳ２（第１の顔領域検出ステップ）では、入力手段７５が、顔領域検出を行うための指示をユーザから受け付け、その指示を顔領域検出手段２０ａへ供給する。顔領域検出手段２０ａは、その指示に応じて、取得手段１７により取得された複数の第１の画像データのそれぞれにおいて、被写体の第１の顔領域を検出する。顔領域検出手段２０ａは、検出された第１の顔領域に関する情報をシステム制御部５０へ供給する。
【００６２】
ステップＳ３では、準備処理が行われる。準備処理の詳細に関しては後述する。
【００６３】
ステップＳ４では、システム制御部５０が、表情を検出すべきであるか否かを判断する。
【００６４】
例えば、システム制御部５０は、被写体の表情を検出するための表情検出指示を入力手段７５から受け取った場合、表情を検出すべきであると判断する。システム制御部５０は、被写体の表情を検出するための表情検出指示を入力手段７５から受け取らなかった場合、表情を検出すべきでないと判断する。
【００６５】
あるいは、例えば、システム制御部５０は、対象とする被写体の全てについて基準顔情報が選択された場合、表情を検出すべきであると判断する。システム制御部５０は、対象とする被写体のうち基準顔情報が選択されていない被写体が存在する場合、表情を検出すべきでないと判断する。
【００６６】
システム制御部５０は、表情を検出すべきであると判断する場合、処理をステップＳ５へ進め、表情を検出すべきでないと判断する場合、処理をステップＳ１へ進める。
【００６７】
ステップＳ５（第２の取得ステップ）では、取得手段１７が、被写体の顔の表情を推定するために、被写体を撮像して得られた第２の画像データを、第１の解像度よりも低い第２の解像度で取得する。ここで、取得手段１７は、後述の検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していないと判断する場合、前回の処理で用いた第２の解像度よりも高い解像度であって第１の解像度よりも低い解像度を新たに第２の解像度とする。
【００６８】
すなわち、制御手段５０ｃは、第２の画像データを第２の解像度で得るために、第２の画像信号を第１の画素数より少ない第２の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。ここで、制御手段５０ｃは、後述の検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していないと判断する場合、前回の処理で用いた第２の画素数よりも高い画素数を新たに第２の画素数とする。
【００６９】
光電変換手段１４は、被写体の光学像を光電変換して第２の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第２の画像信号を、第１の画素数より少ない第２の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第２の画像信号をＡ／Ｄ変換して第２の画像データを生成する。第２の画像データは、その解像度が第２の解像度になっている。
【００７０】
ステップＳ６（第２の顔領域検出ステップ）では、顔領域検出手段２０ａが、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。顔領域検出手段２０ａは、検出された顔領域に関する情報をシステム制御部５０へ供給する。
【００７１】
ステップＳ７では、検出処理が行われる。検出処理の詳細に関しては後述する。
【００７２】
ステップＳ８では、システム制御部５０が、撮影すべきであるか否かを判断する。
【００７３】
例えば、システム制御部５０は、表情フラグがＯＮされた被写体の数が所定数以上である場合、撮影すべきであると判断し、表情フラグがＯＮされた被写体の数が所定数未満である場合、撮影すべきでないと判断する。
【００７４】
あるいは、例えば、システム制御部５０は、表示フラグがＯＮ状態である旨の情報を第２シャッタースイッチ６４から受け取った場合、撮影すべきであると判断する。例えば、システム制御部５０は、表示フラグがＯＮ状態である旨の情報を第２シャッタースイッチ６４から受け取らなかった場合、撮影すべきでないと判断する。
【００７５】
システム制御部５０は、撮影すべきであると判断する場合、処理をステップＳ９へ進め、撮影すべきでないと判断する場合、処理をステップＳ１０へ進める。
【００７６】
ステップＳ９では、システム制御部５０が、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して記憶手段３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。そして、一連の撮影処理では、記憶手段３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う。
【００７７】
ステップＳ１０では、システム制御部５０が、笑顔撮影モードの処理を終了すべきか否かを判断する。
【００７８】
例えば、システム制御部５０は、検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していないと判断する場合、笑顔撮影モードの処理を終了すべきでないと判断する。システム制御部５０は、検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していると判断する場合、笑顔撮影モードの処理を終了すべきであると判断する。
【００７９】
例えば、システム制御部５０は、撮影モードを笑顔撮影モード以外の撮影モードへ変更するための指示を受け取った場合、笑顔撮影モードの処理を終了すべきであると判断する。システム制御部５０は、撮影モードを笑顔撮影モード以外の撮影モードへ変更するための指示を受け取らなかった場合、笑顔撮影モードの処理を終了すべきでないと判断する。
【００８０】
あるいは、例えば、システム制御部５０は、笑顔撮影モードを終了すべき指示を受け取った場合、笑顔撮影モードの処理を終了すべきであると判断する。システム制御部５０は、笑顔撮影モードを終了すべき指示を受け取らなかった場合、笑顔撮影モードの処理を終了すべきでないと判断する。
【００８１】
次に、準備処理（ステップＳ３）の流れを、図３を用いて説明する。図３は、被写体ごとの準備処理の流れを示すフローチャートである。図３には、特定の被写体（例えば、図５に示す被写体Ｏ１）に着目した場合の処理が示されている。すなわち、準備処理は、個々の被写体ごとに独立して並行的に行われる。
【００８２】
ステップＳ１１では、顔情報抽出手段２０ｂが、特定の被写体が対象とする被写体であるか否かを判断する。
【００８３】
例えば、顔情報抽出手段２０ｂは、特定の被写体に対する抽出対象指示を入力手段７５から受け取った場合、その特定の被写体が対象とする被写体であると判断する。顔情報抽出手段２０ｂは、特定の被写体に対する抽出対象指示を入力手段７５から受け取らなかった場合、その特定の被写体が対象とする被写体でないと判断する。
【００８４】
顔情報抽出手段２０ｂは、特定の被写体が対象とする被写体であると判断する場合、処理をステップＳ１２へ進め、特定の被写体が対象とする被写体でないと判断する場合、処理を終了する。
【００８５】
ステップＳ１２（第１の顔情報抽出ステップ）では、顔情報抽出手段２０ｂが、顔領域検出手段２０ａにより検出された複数の第１の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する第１の顔情報を抽出する。
【００８６】
例えば、顔情報抽出手段２０ｂは、以降のステップでの計算精度を上げるため、選択された顔のサイズと向きとを正規化する。顔情報抽出手段２０ｂは、両眼の位置を用いて両眼間距離が所定の距離、顔の向きが所定の向きになるようにアフィン変換による正規化処理を行う。顔情報抽出手段２０ｂは、正規化された顔から口や目や眉毛などの端点の形状を代表する特徴点を検出する。そして、顔情報抽出手段２０ｂは、検出された各特徴点から第１の特徴量を算出する。すなわち、顔情報抽出手段２０ｂは、複数の第１の顔領域のそれぞれから、被写体の顔の第１の特徴量を含む第１の顔情報を抽出する。
【００８７】
ここで、第１の顔情報は、例えば、図５に示すように、口や目や眉毛などの特徴点５００〜５１７の具体的な形状や座標に関する情報を、第１の特徴量として含む。第１の顔情報は、それぞれの端点や中心点あるいは目の黒点などを入力された顔の画像から、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。すなわち、顔情報抽出手段２０ｂは、各特徴点に対して所定の検出範囲を設定し、各検出範囲内で特徴量を検出するためのニューラルネットワークを用いることにより各特徴点を検出する。ニューラルネットワークには、顔検出同様に予め各特徴点画像データを用いて学習させた各ネットワークが使用される。
【００８８】
各特徴点に対する検出範囲は、例えば次のように設定される。顔情報抽出手段２０ｂは、特徴点５００、５０２（図５参照）に対して、例えば、図６に示すように、両眼間距離ａと左眼位置４００とを用いて検出範囲６００、６０１を設定する。顔情報抽出手段２０ｂは、特徴点５０３、５０５（図５参照）に対しても、特徴点５００、５０２と同様に、両眼間距離ａと右眼位置４０１を用いて検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５０１（図５参照）に対して、図７に示すように、検出範囲６０２を設定する。顔情報抽出手段２０ｂは、特徴点５０４（図５参照）に対しても、特徴点５０１と同様に検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５０６、５０９（図５参照）に対して、図８に示すように、検出範囲６０３、６０４を設定する。顔情報抽出手段２０ｂは、特徴点５１０、５１３に対しても、特徴点５０６、５０９と同様に検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５０７、５０８（図５参照）に対して、図９に示すように、検出範囲６０５、６０６を設定する。顔情報抽出手段２０ｂは、特徴点５１１、５１２（図５参照）に対しても、特徴点５０７、５０８と同様に検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５１４、５１７（図５参照）に対して、図１０に示すように検出範囲６０７、６０８を設定する。顔情報抽出手段２０ｂは、特徴点５１５、５１６（図５参照）に対して、図１１に示すように検出範囲６０９、６１０を設定する。
【００８９】
顔情報抽出手段２０ｂにより算出される特徴量は、例えば、次のような情報である。特徴量の一例として笑顔表情の特徴量について説明する。
【００９０】
笑顔表情は、Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ（ＦＡＣＳ）において、次のように提唱されている。（Ｐ.Ｅｋｍａｎ ａｎｄ Ｗ.Ｖ.Ｆｒｉｅｓｅｎ, Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ（ＦＡＣＳ） Ｍａｎｕａｌ, Ｐａｌｏ Ａｌｔｏ:Ｃｏｎｓｕｌｔｉｎｇ Ｐｓｙｃｈｏｌｏｇｉｓｔｓ Ｐｒｅｓｓ, １９７８）。「ＦＡＣＳにおける笑顔表情の定義」として、「頬を持ち上げる」ことと、「唇の端を引っ張りあげる」こととが挙げられている。
【００９１】
本実施形態では、顔情報抽出手段２０ｂが、笑顔表情の特徴量として、上記ＦＡＣＳの定義に従った図１２に示す特徴量７１０〜７１２を算出する。すなわち、顔情報抽出手段２０ｂは、特徴点５０６と特徴点５１４とのｙ方向の距離７１０を算出する。顔情報抽出手段２０ｂは、特徴点５１３と特徴点５１７とのｙ方向の距離７１１を算出する。顔情報抽出手段２０ｂは、特徴点５１４と特徴点５１７とのｘ方向の距離７１２を算出する。なお、距離７１０〜７１２は、いずれも、基準となる距離（例えば、両眼間距離ａ）に対する相対的な距離である。
【００９２】
ステップＳ１３では、顔情報抽出手段２０ｂが、顔情報を抽出することに成功したか否かを判断する。顔情報抽出手段２０ｂは、顔情報を抽出することに成功したと判断した場合、処理をステップＳ１５へ進め、顔情報を抽出することに成功していないと判断した場合、処理を終了する。
【００９３】
ステップＳ１５（第１の顔情報選択ステップ）では、顔情報選択手段５０ａが、顔情報抽出手段２０ｂにより抽出された複数の顔情報から、被写体の顔の表情を推定するための基準となる基準顔情報を選択する。基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。ここで、顔情報選択手段５０ａは、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、無表情状態であると判定して、その判定結果に応じた顔情報を基準顔情報として選択する。
【００９４】
なお、顔情報選択手段５０ａは、無表情状態を判定する際に、口以外の構成要素の形状を使用しても構わない。例えば、顔情報選択手段５０ａは、更に顔情報として眼の開閉度状態を用い、目の大きさの変化などを使用して眼開きの状態タイミングに基づいて基準顔情報を選択しても良い。また、顔情報選択手段５０ａは、瞳画像をニューラルネットワークで学習させ、固定閾値以上の瞳ニューロン数から眼の開閉状態を判定するようにしても良い。
【００９５】
次に、検出処理（ステップＳ７）の流れを、図４を用いて説明する。図４は、被写体ごとの検出処理の流れを示すフローチャートである。すなわち、検出処理は、個々の被写体ごとに独立して並行的に行われる。図４には、特定の被写体の着目した場合の処理が示されている。
【００９６】
ステップＳ２３（第２の顔情報抽出ステップ）では、顔情報抽出手段２０ｂが、顔領域検出手段２０ａにより検出された第２の顔領域から、被写体の顔の構成要素の形状に関する第２の顔情報を抽出する。すなわち、顔情報抽出手段２０ｂは、第２の顔領域から、被写体の顔の第２の特徴量を含む第２の顔情報を抽出する。このステップＳ２３の詳細は、上記のステップＳ１２と同様である。
【００９７】
なお、顔情報抽出手段２０ｂは、取得された第２の画像データの解像度不足により検出したい特徴点の全てが検出されていない場合であっても、２以上の特徴点が検出されていれば、その２以上の特徴点を用いて第２の特徴量を算出する。
【００９８】
ステップＳ２４では、顔情報抽出手段２０ｂが、第２の顔情報を抽出することに成功したか否かを判断する。
【００９９】
例えば、顔情報抽出手段２０ｂは、取得された第２の画像データの解像度不足により検出したい特徴点の全てが検出されていない場合であっても、例えば、２以上の特徴点が検出されていれば、第２の顔情報を抽出することに成功したと判断する。第２の顔情報を抽出することに成功したと判断する特徴点の数は、第１の顔情報を抽出することに成功したと判断する特徴点の数よりも少なく設定される。
【０１００】
顔情報抽出手段２０ｂは、第２の顔情報を抽出することに成功したと判断した場合、処理をステップＳ２５へ進め、第２の顔情報を抽出することに成功していないと判断した場合、処理を終了する。
【０１０１】
ステップＳ２５では、表情推定手段５０ｂが、顔情報選択手段５０ａから基準顔情報を受け取り、画像処理部２０の顔情報抽出手段２０ｂから第２の顔情報を受け取る。表情推定手段５０ｂは、基準顔情報と第２の顔情報との差分を演算し、基準顔情報に対する第２の顔情報の変化量を示す変化量情報を生成する。
【０１０２】
例えば、表情推定手段５０ｂは、顔の個々の構成要素に対して基準顔情報に含まれる第１の特徴量と第２の顔情報に含まれる第２の特徴量との差分を演算する。そして、表情推定手段５０ｂは、次の数式１を用いて、笑顔表情の度合い、すなわち、笑顔度を算出する。被写体の顔の個々の構成要素に対する基準顔情報と他の顔情報との差分をｖ１、ｖ２、ｖ３、・・・とするとき、表情推定手段５０ｂは、笑顔度を、
ＳｕｍＳｃｏｒｅ＝ΣＳｃｏｒｅｉ
＝Σｇ（ｗｉ、ｖｉ）・・・数式１
としてｉ＝１〜Ｎについて合計して演算する。ここで、Ｎは顔の個々の構成要素を識別するための番号であり、ｗは各構成要素の重みであり、ｇは得点算出関数である。すなわち、表情推定手段５０ｂは、この笑顔度ＳｕｍＳｃｏｒｅを変化量情報として生成する。この笑顔度ＳｕｍＳｃｏｒｅは、例えば、０から１００といった数値で表される。
【０１０３】
なお、表情推定手段５０ｂは、取得された第２の画像データの解像度不足により検出したい特徴点の全てが検出されていない場合でも、算出された特徴量のみ用いて特徴量の変化量を算出し笑顔度を算出する。例えば笑顔の特徴量である距離７１０、７１１、７１２の内、距離７１０が算出できなかった場合は距離７１１、７１２のみ用いて笑顔度を算出する。また、表情推定手段５０ｂは、基準顔情報と他の顔情報との比を演算し、基準顔情報に対する他の顔情報の変化量を示す変化量情報を生成してもよい。
【０１０４】
ステップＳ２７（表情推定ステップ）では、表情推定手段は、基準顔情報と第２の顔情報とを比較して、第２の顔情報に対応した被写体の顔の表情を推定する。すなわち、表情推定手段５０ｂは、検出しようとする表情に達したか否かを判断する。
【０１０５】
例えば、表情推定手段５０ｂは、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報を後述のメモリ５２から受け取る。表情推定手段５０ｂは、変化量情報と閾値情報とに基づいて、変化量が閾値を超えたか否かを判定する。表情推定手段５０ｂは、変化量が閾値を超えたと判定した場合、対象とする被写体に対して、検出しようとする表情に達したと判断する。表情推定手段５０ｂは、変化量が閾値を超えていないと判定した場合、対象とする被写体に対して、検出しようとする表情に達していないと判断する。
【０１０６】
表情推定手段５０ｂは、検出しようとする表情に達したと判断する場合、処理をステップＳ２９へ進め、検出しようとする表情に達していないと判断する場合、処理を終了する。
【０１０７】
ステップＳ２９では、表情推定手段５０が、メモリ５２にアクセスして、目標とする表情に達した被写体の表情フラグをＯＦＦ状態からＯＮ状態へ書き換える。
【０１０８】
以上のように、被写体の顔の表情を推定するための第２の画像データの第２の解像度は、基準顔情報を取得するための第１の画像データの第１の解像度よりも低くなっている。
【０１０９】
すなわち、被写体の顔の表情を推定するための第２の画像データの解像度が低いので、被写体の表情を推定するための処理時間を短縮することができるため、被写体の表情を高速に推定することができる。
【０１１０】
また、基準顔情報を取得するための第１の画像データの解像度が高いので、基準顔情報（第１の特徴量）を得るために抽出される特徴点の数が減少することを避けることができる。これにより、第２の画像データから得られる第２の顔情報に含まれる特徴点が変動しても、被写体の顔の表情を推定する精度を高精度に維持できる。なお、光電変換手段１４から読み出す画素数を異ならせることで解像度の異なる第１の画像データと第２の画像データとを生成していたが、これ以外の方法であっても構わない。例えば、Ａ／Ｄ変換して生成された第１の画像データにリサイズ処理を施して、第１の画像データと解像度の異なる第２の画像データとを生成しても構わない。
【０１１１】
したがって、高速で高精度に被写体の顔の表情を推定することができる。この結果、良い表情と判定した時にシャッターチャンスを逃さず撮影することができる。
【０１１２】
また、被写体の表情を推定するための制御信号を減らすことができるので、被写体の表情を推定するための電力を低減できる。
【０１１３】
次に、上述した実施形態の機能を実現するためのプログラムについて説明する。
【０１１４】
上述した実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。
【０１１５】
そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納されたプログラムにしたがって上に記載した各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。
【０１１６】
また、この場合、上記のソフトウェアのプログラム自体が上述した実施形態の機能を実現することになる。
【０１１７】
また、そのプログラム自体、及びそのプログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。
【０１１８】
かかるプログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１１９】
また、供給されたプログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。
【０１２０】
例えば、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかるプログラムは、本発明の範疇に含まれる。
【０１２１】
さらに、供給されたプログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。
【０１２２】
そして、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかるプログラムは、本発明の範疇に含まれる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施形態に係る画像処理装置の構成図。
【図２】本発明の実施形態における画像処理装置が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャート。
【図３】本発明の実施形態における被写体ごとの準備処理の流れを示すフローチャート。
【図４】本発明の実施形態における被写体ごとの検出処理の流れを示すフローチャート。
【図５】本発明の実施形態における検出する特徴点を示す図。
【図６】本発明の実施形態における検出範囲を示す図。
【図７】本発明の実施形態における検出範囲を示す図。
【図８】本発明の実施形態における検出範囲を示す図。
【図９】本発明の実施形態における検出範囲を示す図。
【図１０】本発明の実施形態における検出範囲を示す図。
【図１１】本発明の実施形態における検出範囲を示す図。
【図１２】本発明の実施形態における特徴量を示す図。
【符号の説明】
【０１２４】
１０：撮影レンズ
１２：シャッター
１４：撮像素子
１６：Ａ／Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：露光制御手段
４２：測距制御手段
４４：ズーム制御手段
４６：バリア制御手段
４８：フラッシュ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：モードダイアルスイッチ
６２：シャッタースイッチＳＷ１
６４：シャッタースイッチＳＷ２
６６：画像表示ＯＮ/ＯＦＦスイッチ
６８：クイックレビューＯＮ/ＯＦＦスイッチ
７０：操作部
８０：電源制御手段
８２：コネクタ
８４：コネクタ
８６：電源手段
９０：カードコントローラ
９１：インタフェース
９２：コネクタ
９８：記録媒体着脱検知手段
１００：デジタルカメラ
１０２：保護手段
１０４：光学ファインダ
１２０：外部記録媒体
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、顔の表情、特に人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔などの良い表情のタイミングで撮影することが望まれることが多い。そのため、デジタルカメラへの表情検出技術の応用が検討されている。
【０００３】
特許文献１に示す技術では、予め表情認識処理に使用するための無表情の参照画像から複数の第１の特徴点を抽出した後、第１の特徴点間の距離を算出する。また、判定対象の画像から複数の第２の特徴点を抽出した後、第２の特徴点間の距離を算出する。そして、第１の特徴点間の距離と第２の特徴点間の距離との差分値を算出することにより表情を判定する。
【特許文献１】特開２００５−５６３８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
良い表情と判定した時にシャッターチャンスを逃さず撮影するには、被写体の顔の表情を高速に推定する必要がある。被写体の顔の表情を高速に推定するには、取得される画像データの解像度を下げ、処理するデータ量を少なくし、処理時間を短くすることが考えられる。
【０００５】
ここで、取得される画像データの解像度を下げることにより、表情を推定する際に用いる顔の特徴点の抽出数が減少し、被写体の顔の表情を推定する精度が落ちる可能性がある。
【０００６】
本発明の課題は、高速で高精度に被写体の顔の表情を推定することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１側面に係る画像処理装置は、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する取得手段と、前記取得手段により取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する顔情報抽出手段と、前記顔情報抽出手段により抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する顔情報選択手段と、前記基準顔情報に基づいて、前記被写体の顔の表情を推定する表情推定手段とを備え、前記取得手段は、前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得し、前記顔領域検出手段は、前記取得手段により取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出し、前記顔情報抽出手段は、前記顔領域検出手段により検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出し、前記表情推定手段は、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定することを特徴とする。
【０００８】
本発明の第２側面に係る画像処理方法は、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップとを備えたことを特徴とする。
【０００９】
本発明の第３側面に係る画像処理プログラムは、画像処理装置に、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップとを実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、高速で高精度に被写体の顔の表情を推定することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施形態に係る画像処理装置１００について、図１を参照して説明する。図１は、本発明の実施形態に係る画像処理装置１００の構成図である。
【００１２】
画像処理装置１００は、例えば、デジタルカメラである。画像処理装置１００は、以下の構成要素を備える。
【００１３】
保護手段１０２は、例えばバリアである。保護手段１０２は、外部と撮影レンズ１０との間に配置され、撮影レンズ１０を保護する。シャッター１２は、撮影レンズ１０と後述の光電変換手段１４との間に配置され、撮影レンズ１０から光電変換手段１４へ導かれる光量を絞るための絞り機能を有する。
【００１４】
取得手段１７は、光電変換手段１４、読み出し手段１５、及びＡ／Ｄ変換手段１６を含む。光電変換手段１４は、被写体の光学像を光電変換して画像信号を生成する。読み出し手段１５は、光電変換手段１４から画像信号を読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された画像信号をＡ／Ｄ変換して画像データを生成する。
【００１５】
ここで、取得手段１７は、異なる複数のタイミングで被写体を撮像して、被写体の複数の第１の画像データを第１の解像度で取得する。すなわち、光電変換手段１４は、被写体の光学像を光電変換して第１の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第１の画像信号を第１の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第１の画像信号をＡ／Ｄ変換して第１の画像データを生成する。第１の画像データは、その解像度が第１の解像度になっている。これらの動作が異なる複数のタイミングで行われて、複数の第１の画像データが第１の解像度で取得される。
【００１６】
また、取得手段１７は、被写体を撮像して、被写体の第２の画像データを、第１の解像度よりも低い第２の解像度で取得する。すなわち、光電変換手段１４は、被写体の光学像を光電変換して第２の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第２の画像信号を、第１の画素数より少ない第２の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第２の画像信号をＡ／Ｄ変換して第２の画像データを生成する。第２の画像データは、その解像度が第２の解像度になっている。
【００１７】
タイミング発生部１８は、メモリ制御部２２及びシステム制御部５０により制御されて、光電変換手段１４、読み出し手段１５、Ａ／Ｄ変換手段１６、後述のＤ／Ａ変換器２６にクロック信号や制御信号を供給する。
【００１８】
画像処理部２０は、Ａ／Ｄ変換手段１６からのデータ或いはメモリ制御部２２からのデータに対して、所定の画素補間処理や色変換処理を行う。
【００１９】
また、画像処理部２０は、Ａ／Ｄ変換手段１６等から受け取った画像データを用いて所定の演算処理を行い、得られた演算結果をシステム制御部５０へ供給する。これにより、システム制御部５０は、露光制御手段４０、測距制御手段４２に対して制御を行い、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００２０】
さらに、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２１】
また、画像処理部２０は、顔領域検出手段２０ａと顔情報抽出手段２０ｂとを含む。顔領域検出手段２０ａは、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。例えば、画像データから、口や目などの顔の構成要素に相当する形状を抽出し、その構成要素の位置を基準として顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された複数の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する顔情報を抽出する。顔情報は、例えば、口や目や眉毛などの具体的な形状や座標に関する情報を含み、あるいは、例えば、鼻の端点、鼻穴の中心点、耳の端点などの形状や座標に関する情報を含む。ここで、顔情報は、それぞれの端点や中心点あるいは目の黒点などを入力された顔の画像から、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。顔領域検出手段２０ａが顔領域を抽出する際には、口や目などの顔の構成要素としての条件を満たす形状が存在するか否かという判断を行っている。つまり、笑っているときの大きく開いた口でも、黙っているときの閉じた口でも、口という条件さえ満たせばその具体的な形状までは問わない。これに対し、顔情報抽出手段２０ｂが顔情報を抽出する際には、同じ口であっても、口角の位置や口の開き具合などの具体的な形状や顔領域における座標の情報までも含めて抽出される。
【００２２】
ここで、顔領域検出手段２０ａは、取得手段１７により取得された複数の第１の画像データのそれぞれにおいて、被写体の第１の顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された複数の第１の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する第１の顔情報を抽出する。
【００２３】
また、顔領域検出手段２０ａは、取得手段１７により取得された第２の画像データにおいて、被写体の第２の顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された第２の顔領域から、被写体の顔の構成要素の形状に関する第２の顔情報を抽出する。
【００２４】
メモリ制御回路２２は、Ａ／Ｄ変換手段１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。メモリ制御回路２２は、Ａ／Ｄ変換手段１６や画像処理部２０から受け取ったデータを画像表示メモリ２４或いはメモリ３０に書き込む。
【００２５】
画像表示メモリ２４は、表示用の画像データを記憶する。Ｄ／Ａ変換器２６は、表示用の画像データをメモリ制御部２２経由で画像表示メモリ２４から受け取り、表示用の画像データをアナログ信号へＤ／Ａ変換する。
【００２６】
第１の報知手段２８は、Ｄ／Ａ変換器２６から受け取ったアナログ信号に応じた画像を表示する。第１の報知手段２８は、例えば、ＴＦＴ−ＬＣＤを含む。第１の報知手段２８は、画像を逐次表示して、電子ファインダ機能を実現することが可能である。
【００２７】
ここで、第１の報知手段２８は、システム制御部５０の指示により任意に表示をＯＮ/ＯＦＦすることが可能であり、表示をＯＦＦにした場合にデジタルカメラ１００の電力消費を大幅に低減することが出来る。
【００２８】
メモリ３０は、撮影した静止画像や動画像を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
【００２９】
圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００３０】
露光制御手段４０は、絞り機能を備えるシャッター１２を制御する。露光制御手段４０は、フラッシュ４８と連携することにより、フラッシュ調光機能を実現することができる。
【００３１】
測距制御手段４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御手段４４は、撮影レンズ１０のズーミングを制御する。バリア制御手段４６は、保護手段１０２の動作を制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
【００３２】
システム制御部５０は、デジタルカメラ１００全体を制御する。例えば、システム制御部５０は、取得手段１７により取得された画像データに対して画像処理部２０が演算した演算結果に基づき、露光制御手段４０や測距制御手段４２を制御する。
【００３３】
また、システム制御部５０は、顔情報選択手段５０ａ、表情推定手段５０ｂ、及び制御手段５０ｃを含む。顔情報選択手段５０ａは、顔情報抽出手段２０ｂにより抽出された複数の第１の顔情報から、被写体の顔の表情を推定するための基準となる基準顔情報を選択する。基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。ここで、顔情報選択手段５０ａは、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、無表情状態であると判定して、その判定結果に応じた顔情報を基準顔情報として選択する。
【００３４】
なお、顔情報選択手段５０ａは、無表情状態を判定する際に、口以外の構成要素の形状を使用しても構わない。例えば、顔情報選択手段５０ａは、更に顔情報として眼の開閉度状態を用い、目の大きさの変化などを使用して眼開きの状態タイミングに基づいて基準顔情報を選択しても良い。また、顔情報選択手段５０ａは、瞳画像をニューラルネットワークで学習させ、固定閾値以上の瞳ニューロン数から眼の開閉状態を判定するようにしても良い。
【００３５】
表情推定手段５０ｂは、基準顔情報と第２の顔情報とを比較して、第２の顔情報に対応した被写体の顔の表情を推定する。すなわち、表情推定手段５０ｂは、顔情報選択手段５０ａから基準顔情報を受け取り、画像処理部２０の顔情報抽出手段２０ｂから第２の顔情報を受け取る。表情推定手段５０ｂは、基準顔情報と第２の顔情報との差分を演算し、基準顔情報に対する第２の顔情報の変化量を示す変化量情報を生成する。表情推定手段５０ｂは、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報を後述のメモリ５２から受け取る。表情推定手段５０ｂは、変化量情報と閾値情報とに基づいて、変化量が閾値を超えたか否かを判定する。これにより、表情推定手段５０ｂは、対象とする被写体の顔が、目標とする表情に達したか否かを判断する。
【００３６】
制御手段５０ｃは、第１の画像データを第１の解像度で取得し、第２の画像データを第２の解像度で取得するように、取得手段１７を制御する。具体的には、制御手段５０ｃは、光電変換手段１４及び読み出し手段１５の少なくとも一方へタイミング発生部１８が供給する信号を制御することにより、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。すなわち、制御手段５０ｃは、第１の画像データを第１の解像度で得るために、第１の画像信号を第１の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。また、制御手段５０ｃは、第２の画像データを第２の解像度で得るために、第２の画像信号を第１の画素数より少ない第２の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。
【００３７】
メモリ５２は、システム制御部５０の動作用の定数、変数等を記憶する。また、メモリ５２は、予め設定情報として後述の入力手段７５から受け取った閾値情報を記憶する。
【００３８】
第２の報知手段５４は、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を報知する。第２の報知手段５４は、デジタルカメラ１００の後述の操作部７０近辺の視認し易い位置に単数或いは複数個所設置される。第２の報知手段５４は、例えば、液晶表示装置（ＬＣＤ）、ＬＥＤ、発音素子（スピーカ）等の組み合わせにより構成されている。
【００３９】
また、第２の報知手段５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００４０】
第２の報知手段５４は、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、及び露出補正表示などをＬＣＤ等に表示する。あるいは、第２の報知手段５４は、例えば、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、及び複数桁の数字による情報表示などをＬＣＤ等に表示する。あるいは、第２の報知手段５４は、例えば、外部記録媒体１２０の着脱状態表示、通信Ｉ/Ｆ動作表示、及び日付け・時刻表示等をＬＣＤ等に表示する。
【００４１】
また、第２の報知手段５４は、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、及び露出補正表示等を光学ファインダ１０４内に表示する。
【００４２】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、画像処理プログラムなどのプログラムを記憶する。不揮発性メモリ５６は、例えば、ＥＥＰＲＯＭ等が用いられる。
【００４３】
入力手段７５は、複数の被写体から顔情報を抽出する対象となる被写体を指示する抽出対象指示を受け付ける。あるいは、入力手段７５は、被写体の表情を検出するための表情検出指示を受け付ける。あるいは、入力手段７５は、検出しようとする表情に達したと判断するための変化量の閾値を変更するための変更指示を受け付ける。
【００４４】
また、入力手段７５は、システム制御部５０の各種の動作指示を受け付ける。スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせを介して、所定の指示を受け付ける。この入力手段７５は、モードダイアルスイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、画像表示ＯＮ／ＯＦＦスイッチ６６、及び操作部７０を含む。
【００４５】
モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するための指示を受け付ける。
【００４６】
シャッターボタン６１は、静止画撮影等するための指示などをユーザから受け付ける。例えば、シャッターボタン６１は、半押しされることにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等するための第１の指示を受け付ける。例えば、シャッターボタン６１は、全押しされることにより、静止画撮影等するための第２の指示を受け付ける。
【００４７】
第１シャッタースイッチ（ＳＷ１）６２は、第１の指示をシャッターボタン６１から受け取るとＯＮ状態になり、ＯＮ状態である旨の情報をシステム制御部５０へ供給する。システム制御部５０は、第１シャッタースイッチ６２がＯＮ状態であることに応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を各部へ指示する。
【００４８】
第２シャッタースイッチ（ＳＷ２）６４は、第２の指示をシャッターボタン６１から受け取るとＯＮ状態になり、ＯＮ状態である旨の情報をシステム制御部５０へ供給する。これにより、システム制御部５０は、一連の撮影処理の動作開始を指示する。一連の撮影処理では、光電変換手段１４から読み出した信号をＡ／Ｄ変換手段１６、メモリ制御部２２を介して記憶手段３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。そして、一連の撮影処理では、記憶手段３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う。
【００４９】
画像表示ＯＮ／ＯＦＦスイッチ６６は、第１の報知手段２８のＯＮ／ＯＦＦを設定するための指示を受け付ける。この指示により、システム制御部５０は、光学ファインダー１０４を用いて撮影を行う際に、第１の報知手段２８への電流供給を遮断して、省電力化を図ることができる。
【００５０】
クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するための指示を受け付ける。例えば、第１の報知手段２８をＯＦＦとした場合におけるクイックレビュー機能の設定を受け付けることができるものとする。
【００５１】
操作部７０は、各種ボタンやタッチパネル等からなる。操作部７０は、メニューボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。操作部７０は、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、ブラケットモードの選択ボタン等を含む。
【００５２】
電源制御手段８０は、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。電源制御手段８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記録媒体１２０を含む各部へ供給する。
【００５３】
コネクタ８２は、電源制御手段８０に接続されている。コネクタ８４は、電源８６に接続されている。電源８６は、例えば、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等である。
【００５４】
カードコントローラ９０は、メモリカード等の外部記録媒体とデータの送受信を行う。インタフェース９１は、メモリカード等の外部記録媒体１２０とカードコントローラ９０とのインタフェースとして機能する。コネクタ９２は、メモリカード等の外部記録媒体１２０が接続される。記録媒体着脱検知手段９８は、コネクタ９２に外部記録媒体１２０が装着されているか否かを検知する。
【００５５】
なお、記録媒体を取り付けるインタフェース及びコネクタは、２以上の系統数であってもよい。また、インタフェース及びコネクタは、異なる規格のものが組み合わせされていても構わない。インタフェース及びコネクタは、半導体メモリカード等の規格に準拠したものを用いて構成して構わない。この場合、各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。各種通信カードは、例えば、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等である。
【００５６】
光学ファインダ１０４は、撮影を行う際に被写体を確認するために用いられる。光学ファインダー１０４を用いれば、第１の報知手段２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、光学ファインダー１０４には、第２の報知手段５４により表示される情報の一部、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などに関する情報が表示される。
【００５７】
外部記録媒体１２０は、コネクタ９２に着脱可能に接続される。外部記録媒体１２０は、例えば、メモリカード等である。
【００５８】
次に、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを、図２に示すフローチャートを用いて説明する。図２は、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャートである。
【００５９】
ステップＳ１（第１の取得ステップ）では、入力手段７５が、笑顔撮影モードを選択するための指示を受け付ける。この笑顔撮影モードは、特定の被写体の笑顔を検出した際に自動的に撮影が行われる撮影モードである。取得手段１７は、異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する。
【００６０】
すなわち、制御手段５０ｃは、第１の画像データを第１の解像度で得るために、第１の画像信号を第１の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。光電変換手段１４は、被写体の光学像を光電変換して第１の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第１の画像信号を第１の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第１の画像信号をＡ／Ｄ変換して第１の画像データを生成する。第１の画像データは、その解像度が第１の解像度になっている。これらの動作が異なる複数のタイミングで行われて、複数の第１の画像データが第１の解像度で取得される。
【００６１】
ステップＳ２（第１の顔領域検出ステップ）では、入力手段７５が、顔領域検出を行うための指示をユーザから受け付け、その指示を顔領域検出手段２０ａへ供給する。顔領域検出手段２０ａは、その指示に応じて、取得手段１７により取得された複数の第１の画像データのそれぞれにおいて、被写体の第１の顔領域を検出する。顔領域検出手段２０ａは、検出された第１の顔領域に関する情報をシステム制御部５０へ供給する。
【００６２】
ステップＳ３では、準備処理が行われる。準備処理の詳細に関しては後述する。
【００６３】
ステップＳ４では、システム制御部５０が、表情を検出すべきであるか否かを判断する。
【００６４】
例えば、システム制御部５０は、被写体の表情を検出するための表情検出指示を入力手段７５から受け取った場合、表情を検出すべきであると判断する。システム制御部５０は、被写体の表情を検出するための表情検出指示を入力手段７５から受け取らなかった場合、表情を検出すべきでないと判断する。
【００６５】
あるいは、例えば、システム制御部５０は、対象とする被写体の全てについて基準顔情報が選択された場合、表情を検出すべきであると判断する。システム制御部５０は、対象とする被写体のうち基準顔情報が選択されていない被写体が存在する場合、表情を検出すべきでないと判断する。
【００６６】
システム制御部５０は、表情を検出すべきであると判断する場合、処理をステップＳ５へ進め、表情を検出すべきでないと判断する場合、処理をステップＳ１へ進める。
【００６７】
ステップＳ５（第２の取得ステップ）では、取得手段１７が、被写体の顔の表情を推定するために、被写体を撮像して得られた第２の画像データを、第１の解像度よりも低い第２の解像度で取得する。ここで、取得手段１７は、後述の検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していないと判断する場合、前回の処理で用いた第２の解像度よりも高い解像度であって第１の解像度よりも低い解像度を新たに第２の解像度とする。
【００６８】
すなわち、制御手段５０ｃは、第２の画像データを第２の解像度で得るために、第２の画像信号を第１の画素数より少ない第２の画素数で読み出すように、光電変換手段１４及び読み出し手段１５の少なくとも一方を制御する。ここで、制御手段５０ｃは、後述の検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していないと判断する場合、前回の処理で用いた第２の画素数よりも高い画素数を新たに第２の画素数とする。
【００６９】
光電変換手段１４は、被写体の光学像を光電変換して第２の画像信号を生成する。読み出し手段１５は、光電変換手段１４から第２の画像信号を、第１の画素数より少ない第２の画素数で読み出す。Ａ／Ｄ変換手段１６は、読み出し手段１５により読み出された第２の画像信号をＡ／Ｄ変換して第２の画像データを生成する。第２の画像データは、その解像度が第２の解像度になっている。
【００７０】
ステップＳ６（第２の顔領域検出ステップ）では、顔領域検出手段２０ａが、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。顔領域検出手段２０ａは、検出された顔領域に関する情報をシステム制御部５０へ供給する。
【００７１】
ステップＳ７では、検出処理が行われる。検出処理の詳細に関しては後述する。
【００７２】
ステップＳ８では、システム制御部５０が、撮影すべきであるか否かを判断する。
【００７３】
例えば、システム制御部５０は、表情フラグがＯＮされた被写体の数が所定数以上である場合、撮影すべきであると判断し、表情フラグがＯＮされた被写体の数が所定数未満である場合、撮影すべきでないと判断する。
【００７４】
あるいは、例えば、システム制御部５０は、表示フラグがＯＮ状態である旨の情報を第２シャッタースイッチ６４から受け取った場合、撮影すべきであると判断する。例えば、システム制御部５０は、表示フラグがＯＮ状態である旨の情報を第２シャッタースイッチ６４から受け取らなかった場合、撮影すべきでないと判断する。
【００７５】
システム制御部５０は、撮影すべきであると判断する場合、処理をステップＳ９へ進め、撮影すべきでないと判断する場合、処理をステップＳ１０へ進める。
【００７６】
ステップＳ９では、システム制御部５０が、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して記憶手段３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。そして、一連の撮影処理では、記憶手段３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う。
【００７７】
ステップＳ１０では、システム制御部５０が、笑顔撮影モードの処理を終了すべきか否かを判断する。
【００７８】
例えば、システム制御部５０は、検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していないと判断する場合、笑顔撮影モードの処理を終了すべきでないと判断する。システム制御部５０は、検出処理（ステップＳ７）において第２の顔情報を抽出することに成功していると判断する場合、笑顔撮影モードの処理を終了すべきであると判断する。
【００７９】
例えば、システム制御部５０は、撮影モードを笑顔撮影モード以外の撮影モードへ変更するための指示を受け取った場合、笑顔撮影モードの処理を終了すべきであると判断する。システム制御部５０は、撮影モードを笑顔撮影モード以外の撮影モードへ変更するための指示を受け取らなかった場合、笑顔撮影モードの処理を終了すべきでないと判断する。
【００８０】
あるいは、例えば、システム制御部５０は、笑顔撮影モードを終了すべき指示を受け取った場合、笑顔撮影モードの処理を終了すべきであると判断する。システム制御部５０は、笑顔撮影モードを終了すべき指示を受け取らなかった場合、笑顔撮影モードの処理を終了すべきでないと判断する。
【００８１】
次に、準備処理（ステップＳ３）の流れを、図３を用いて説明する。図３は、被写体ごとの準備処理の流れを示すフローチャートである。図３には、特定の被写体（例えば、図５に示す被写体Ｏ１）に着目した場合の処理が示されている。すなわち、準備処理は、個々の被写体ごとに独立して並行的に行われる。
【００８２】
ステップＳ１１では、顔情報抽出手段２０ｂが、特定の被写体が対象とする被写体であるか否かを判断する。
【００８３】
例えば、顔情報抽出手段２０ｂは、特定の被写体に対する抽出対象指示を入力手段７５から受け取った場合、その特定の被写体が対象とする被写体であると判断する。顔情報抽出手段２０ｂは、特定の被写体に対する抽出対象指示を入力手段７５から受け取らなかった場合、その特定の被写体が対象とする被写体でないと判断する。
【００８４】
顔情報抽出手段２０ｂは、特定の被写体が対象とする被写体であると判断する場合、処理をステップＳ１２へ進め、特定の被写体が対象とする被写体でないと判断する場合、処理を終了する。
【００８５】
ステップＳ１２（第１の顔情報抽出ステップ）では、顔情報抽出手段２０ｂが、顔領域検出手段２０ａにより検出された複数の第１の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する第１の顔情報を抽出する。
【００８６】
例えば、顔情報抽出手段２０ｂは、以降のステップでの計算精度を上げるため、選択された顔のサイズと向きとを正規化する。顔情報抽出手段２０ｂは、両眼の位置を用いて両眼間距離が所定の距離、顔の向きが所定の向きになるようにアフィン変換による正規化処理を行う。顔情報抽出手段２０ｂは、正規化された顔から口や目や眉毛などの端点の形状を代表する特徴点を検出する。そして、顔情報抽出手段２０ｂは、検出された各特徴点から第１の特徴量を算出する。すなわち、顔情報抽出手段２０ｂは、複数の第１の顔領域のそれぞれから、被写体の顔の第１の特徴量を含む第１の顔情報を抽出する。
【００８７】
ここで、第１の顔情報は、例えば、図５に示すように、口や目や眉毛などの特徴点５００〜５１７の具体的な形状や座標に関する情報を、第１の特徴量として含む。第１の顔情報は、それぞれの端点や中心点あるいは目の黒点などを入力された顔の画像から、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。すなわち、顔情報抽出手段２０ｂは、各特徴点に対して所定の検出範囲を設定し、各検出範囲内で特徴量を検出するためのニューラルネットワークを用いることにより各特徴点を検出する。ニューラルネットワークには、顔検出同様に予め各特徴点画像データを用いて学習させた各ネットワークが使用される。
【００８８】
各特徴点に対する検出範囲は、例えば次のように設定される。顔情報抽出手段２０ｂは、特徴点５００、５０２（図５参照）に対して、例えば、図６に示すように、両眼間距離ａと左眼位置４００とを用いて検出範囲６００、６０１を設定する。顔情報抽出手段２０ｂは、特徴点５０３、５０５（図５参照）に対しても、特徴点５００、５０２と同様に、両眼間距離ａと右眼位置４０１を用いて検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５０１（図５参照）に対して、図７に示すように、検出範囲６０２を設定する。顔情報抽出手段２０ｂは、特徴点５０４（図５参照）に対しても、特徴点５０１と同様に検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５０６、５０９（図５参照）に対して、図８に示すように、検出範囲６０３、６０４を設定する。顔情報抽出手段２０ｂは、特徴点５１０、５１３に対しても、特徴点５０６、５０９と同様に検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５０７、５０８（図５参照）に対して、図９に示すように、検出範囲６０５、６０６を設定する。顔情報抽出手段２０ｂは、特徴点５１１、５１２（図５参照）に対しても、特徴点５０７、５０８と同様に検出範囲を設定する。顔情報抽出手段２０ｂは、特徴点５１４、５１７（図５参照）に対して、図１０に示すように検出範囲６０７、６０８を設定する。顔情報抽出手段２０ｂは、特徴点５１５、５１６（図５参照）に対して、図１１に示すように検出範囲６０９、６１０を設定する。
【００８９】
顔情報抽出手段２０ｂにより算出される特徴量は、例えば、次のような情報である。特徴量の一例として笑顔表情の特徴量について説明する。
【００９０】
笑顔表情は、Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ（ＦＡＣＳ）において、次のように提唱されている。（Ｐ.Ｅｋｍａｎ ａｎｄ Ｗ.Ｖ.Ｆｒｉｅｓｅｎ, Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ（ＦＡＣＳ） Ｍａｎｕａｌ, Ｐａｌｏ Ａｌｔｏ:Ｃｏｎｓｕｌｔｉｎｇ Ｐｓｙｃｈｏｌｏｇｉｓｔｓ Ｐｒｅｓｓ, １９７８）。「ＦＡＣＳにおける笑顔表情の定義」として、「頬を持ち上げる」ことと、「唇の端を引っ張りあげる」こととが挙げられている。
【００９１】
本実施形態では、顔情報抽出手段２０ｂが、笑顔表情の特徴量として、上記ＦＡＣＳの定義に従った図１２に示す特徴量７１０〜７１２を算出する。すなわち、顔情報抽出手段２０ｂは、特徴点５０６と特徴点５１４とのｙ方向の距離７１０を算出する。顔情報抽出手段２０ｂは、特徴点５１３と特徴点５１７とのｙ方向の距離７１１を算出する。顔情報抽出手段２０ｂは、特徴点５１４と特徴点５１７とのｘ方向の距離７１２を算出する。なお、距離７１０〜７１２は、いずれも、基準となる距離（例えば、両眼間距離ａ）に対する相対的な距離である。
【００９２】
ステップＳ１３では、顔情報抽出手段２０ｂが、顔情報を抽出することに成功したか否かを判断する。顔情報抽出手段２０ｂは、顔情報を抽出することに成功したと判断した場合、処理をステップＳ１５へ進め、顔情報を抽出することに成功していないと判断した場合、処理を終了する。
【００９３】
ステップＳ１５（第１の顔情報選択ステップ）では、顔情報選択手段５０ａが、顔情報抽出手段２０ｂにより抽出された複数の顔情報から、被写体の顔の表情を推定するための基準となる基準顔情報を選択する。基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。ここで、顔情報選択手段５０ａは、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、無表情状態であると判定して、その判定結果に応じた顔情報を基準顔情報として選択する。
【００９４】
なお、顔情報選択手段５０ａは、無表情状態を判定する際に、口以外の構成要素の形状を使用しても構わない。例えば、顔情報選択手段５０ａは、更に顔情報として眼の開閉度状態を用い、目の大きさの変化などを使用して眼開きの状態タイミングに基づいて基準顔情報を選択しても良い。また、顔情報選択手段５０ａは、瞳画像をニューラルネットワークで学習させ、固定閾値以上の瞳ニューロン数から眼の開閉状態を判定するようにしても良い。
【００９５】
次に、検出処理（ステップＳ７）の流れを、図４を用いて説明する。図４は、被写体ごとの検出処理の流れを示すフローチャートである。すなわち、検出処理は、個々の被写体ごとに独立して並行的に行われる。図４には、特定の被写体の着目した場合の処理が示されている。
【００９６】
ステップＳ２３（第２の顔情報抽出ステップ）では、顔情報抽出手段２０ｂが、顔領域検出手段２０ａにより検出された第２の顔領域から、被写体の顔の構成要素の形状に関する第２の顔情報を抽出する。すなわち、顔情報抽出手段２０ｂは、第２の顔領域から、被写体の顔の第２の特徴量を含む第２の顔情報を抽出する。このステップＳ２３の詳細は、上記のステップＳ１２と同様である。
【００９７】
なお、顔情報抽出手段２０ｂは、取得された第２の画像データの解像度不足により検出したい特徴点の全てが検出されていない場合であっても、２以上の特徴点が検出されていれば、その２以上の特徴点を用いて第２の特徴量を算出する。
【００９８】
ステップＳ２４では、顔情報抽出手段２０ｂが、第２の顔情報を抽出することに成功したか否かを判断する。
【００９９】
例えば、顔情報抽出手段２０ｂは、取得された第２の画像データの解像度不足により検出したい特徴点の全てが検出されていない場合であっても、例えば、２以上の特徴点が検出されていれば、第２の顔情報を抽出することに成功したと判断する。第２の顔情報を抽出することに成功したと判断する特徴点の数は、第１の顔情報を抽出することに成功したと判断する特徴点の数よりも少なく設定される。
【０１００】
顔情報抽出手段２０ｂは、第２の顔情報を抽出することに成功したと判断した場合、処理をステップＳ２５へ進め、第２の顔情報を抽出することに成功していないと判断した場合、処理を終了する。
【０１０１】
ステップＳ２５では、表情推定手段５０ｂが、顔情報選択手段５０ａから基準顔情報を受け取り、画像処理部２０の顔情報抽出手段２０ｂから第２の顔情報を受け取る。表情推定手段５０ｂは、基準顔情報と第２の顔情報との差分を演算し、基準顔情報に対する第２の顔情報の変化量を示す変化量情報を生成する。
【０１０２】
例えば、表情推定手段５０ｂは、顔の個々の構成要素に対して基準顔情報に含まれる第１の特徴量と第２の顔情報に含まれる第２の特徴量との差分を演算する。そして、表情推定手段５０ｂは、次の数式１を用いて、笑顔表情の度合い、すなわち、笑顔度を算出する。被写体の顔の個々の構成要素に対する基準顔情報と他の顔情報との差分をｖ１、ｖ２、ｖ３、・・・とするとき、表情推定手段５０ｂは、笑顔度を、
ＳｕｍＳｃｏｒｅ＝ΣＳｃｏｒｅｉ
＝Σｇ（ｗｉ、ｖｉ）・・・数式１
としてｉ＝１〜Ｎについて合計して演算する。ここで、Ｎは顔の個々の構成要素を識別するための番号であり、ｗは各構成要素の重みであり、ｇは得点算出関数である。すなわち、表情推定手段５０ｂは、この笑顔度ＳｕｍＳｃｏｒｅを変化量情報として生成する。この笑顔度ＳｕｍＳｃｏｒｅは、例えば、０から１００といった数値で表される。
【０１０３】
なお、表情推定手段５０ｂは、取得された第２の画像データの解像度不足により検出したい特徴点の全てが検出されていない場合でも、算出された特徴量のみ用いて特徴量の変化量を算出し笑顔度を算出する。例えば笑顔の特徴量である距離７１０、７１１、７１２の内、距離７１０が算出できなかった場合は距離７１１、７１２のみ用いて笑顔度を算出する。また、表情推定手段５０ｂは、基準顔情報と他の顔情報との比を演算し、基準顔情報に対する他の顔情報の変化量を示す変化量情報を生成してもよい。
【０１０４】
ステップＳ２７（表情推定ステップ）では、表情推定手段は、基準顔情報と第２の顔情報とを比較して、第２の顔情報に対応した被写体の顔の表情を推定する。すなわち、表情推定手段５０ｂは、検出しようとする表情に達したか否かを判断する。
【０１０５】
例えば、表情推定手段５０ｂは、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報を後述のメモリ５２から受け取る。表情推定手段５０ｂは、変化量情報と閾値情報とに基づいて、変化量が閾値を超えたか否かを判定する。表情推定手段５０ｂは、変化量が閾値を超えたと判定した場合、対象とする被写体に対して、検出しようとする表情に達したと判断する。表情推定手段５０ｂは、変化量が閾値を超えていないと判定した場合、対象とする被写体に対して、検出しようとする表情に達していないと判断する。
【０１０６】
表情推定手段５０ｂは、検出しようとする表情に達したと判断する場合、処理をステップＳ２９へ進め、検出しようとする表情に達していないと判断する場合、処理を終了する。
【０１０７】
ステップＳ２９では、表情推定手段５０が、メモリ５２にアクセスして、目標とする表情に達した被写体の表情フラグをＯＦＦ状態からＯＮ状態へ書き換える。
【０１０８】
以上のように、被写体の顔の表情を推定するための第２の画像データの第２の解像度は、基準顔情報を取得するための第１の画像データの第１の解像度よりも低くなっている。
【０１０９】
すなわち、被写体の顔の表情を推定するための第２の画像データの解像度が低いので、被写体の表情を推定するための処理時間を短縮することができるため、被写体の表情を高速に推定することができる。
【０１１０】
また、基準顔情報を取得するための第１の画像データの解像度が高いので、基準顔情報（第１の特徴量）を得るために抽出される特徴点の数が減少することを避けることができる。これにより、第２の画像データから得られる第２の顔情報に含まれる特徴点が変動しても、被写体の顔の表情を推定する精度を高精度に維持できる。なお、光電変換手段１４から読み出す画素数を異ならせることで解像度の異なる第１の画像データと第２の画像データとを生成していたが、これ以外の方法であっても構わない。例えば、Ａ／Ｄ変換して生成された第１の画像データにリサイズ処理を施して、第１の画像データと解像度の異なる第２の画像データとを生成しても構わない。
【０１１１】
したがって、高速で高精度に被写体の顔の表情を推定することができる。この結果、良い表情と判定した時にシャッターチャンスを逃さず撮影することができる。
【０１１２】
また、被写体の表情を推定するための制御信号を減らすことができるので、被写体の表情を推定するための電力を低減できる。
【０１１３】
次に、上述した実施形態の機能を実現するためのプログラムについて説明する。
【０１１４】
上述した実施形態の機能を実現するように各種のデバイスを動作させ、その各種のデバイスと接続された装置あるいはシステム内のコンピュータに対して上述した実施形態の機能を実現させるソフトウェアのプログラムコード（プログラム）を供給する。
【０１１５】
そして、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に（ソフトウェア的に又はハードウェア的に）格納されたプログラムにしたがって上に記載した各種のデバイスを動作させるようにしたものも、本発明の範疇に含まれる。
【０１１６】
また、この場合、上記のソフトウェアのプログラム自体が上述した実施形態の機能を実現することになる。
【０１１７】
また、そのプログラム自体、及びそのプログラムのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムを格納した記憶媒体も、本発明の範疇に含まれる。
【０１１８】
かかるプログラムを記憶する記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１１９】
また、供給されたプログラムをコンピュータが実行することにより、上述の実施形態の機能が実現されるだけではない。
【０１２０】
例えば、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）あるいは他のアプリケーション等と協働して上述の実施形態の機能を実現させる場合にも、かかるプログラムは、本発明の範疇に含まれる。
【０１２１】
さらに、供給されたプログラムは、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。
【０１２２】
そして、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも、かかるプログラムは、本発明の範疇に含まれる。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施形態に係る画像処理装置の構成図。
【図２】本発明の実施形態における画像処理装置が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャート。
【図３】本発明の実施形態における被写体ごとの準備処理の流れを示すフローチャート。
【図４】本発明の実施形態における被写体ごとの検出処理の流れを示すフローチャート。
【図５】本発明の実施形態における検出する特徴点を示す図。
【図６】本発明の実施形態における検出範囲を示す図。
【図７】本発明の実施形態における検出範囲を示す図。
【図８】本発明の実施形態における検出範囲を示す図。
【図９】本発明の実施形態における検出範囲を示す図。
【図１０】本発明の実施形態における検出範囲を示す図。
【図１１】本発明の実施形態における検出範囲を示す図。
【図１２】本発明の実施形態における特徴量を示す図。
【符号の説明】
【０１２４】
１０：撮影レンズ
１２：シャッター
１４：撮像素子
１６：Ａ／Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：露光制御手段
４２：測距制御手段
４４：ズーム制御手段
４６：バリア制御手段
４８：フラッシュ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：モードダイアルスイッチ
６２：シャッタースイッチＳＷ１
６４：シャッタースイッチＳＷ２
６６：画像表示ＯＮ/ＯＦＦスイッチ
６８：クイックレビューＯＮ/ＯＦＦスイッチ
７０：操作部
８０：電源制御手段
８２：コネクタ
８４：コネクタ
８６：電源手段
９０：カードコントローラ
９１：インタフェース
９２：コネクタ
９８：記録媒体着脱検知手段
１００：デジタルカメラ
１０２：保護手段
１０４：光学ファインダ
１２０：外部記録媒体
【特許請求の範囲】
【請求項１】
異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する取得手段と、
前記取得手段により取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する顔情報抽出手段と、
前記顔情報抽出手段により抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する顔情報選択手段と、
前記基準顔情報に基づいて、前記被写体の顔の表情を推定する表情推定手段と、
を備え、
前記取得手段は、前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得し、
前記顔領域検出手段は、前記取得手段により取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出し、
前記顔情報抽出手段は、前記顔領域検出手段により検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出し、
前記表情推定手段は、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する
ことを特徴とする画像処理装置。
【請求項２】
前記表情推定手段は、前記第２の顔情報に含まれる特徴量が前記第１の顔情報に含まれる特徴量より少ない場合、前記第２の顔情報に含まれる特徴量と、前記第１の顔情報に含まれる特徴量のうち前記第２の顔情報に含まれる特徴量に対応するものとを比較して前記被写体の顔の表情を推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、
前記被写体の光学像を光電変換して画像信号を生成する光電変換手段と、
前記光電変換手段から画像信号を読み出す読み出し手段と、
前記読み出し手段により読み出された画像信号をＡ／Ｄ変換して画像データを生成するＡ／Ｄ変換手段と、
を含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の画像データを前記第１の解像度で得るために、第１の画像信号を第１の画素数で読み出し、前記第２の画像データを前記第２の解像度で得るために、第２の画像信号を前記第１の画素数より少ない第２の画素数で読み出すように、前記光電変換手段および前記読み出し手段の少なくとも一方を制御する制御手段をさらに備えた
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、
前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、
前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、
前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、
前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、
前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、
前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、
前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップと、
を備えたことを特徴とする画像処理方法。
【請求項６】
画像処理装置に、
異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、
前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、
前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、
前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、
前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、
前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、
前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、
前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップと、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する取得手段と、
前記取得手段により取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する顔情報抽出手段と、
前記顔情報抽出手段により抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する顔情報選択手段と、
前記基準顔情報に基づいて、前記被写体の顔の表情を推定する表情推定手段と、
を備え、
前記取得手段は、前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得し、
前記顔領域検出手段は、前記取得手段により取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出し、
前記顔情報抽出手段は、前記顔領域検出手段により検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出し、
前記表情推定手段は、前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する
ことを特徴とする画像処理装置。
【請求項２】
前記表情推定手段は、前記第２の顔情報に含まれる特徴量が前記第１の顔情報に含まれる特徴量より少ない場合、前記第２の顔情報に含まれる特徴量と、前記第１の顔情報に含まれる特徴量のうち前記第２の顔情報に含まれる特徴量に対応するものとを比較して前記被写体の顔の表情を推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、
前記被写体の光学像を光電変換して画像信号を生成する光電変換手段と、
前記光電変換手段から画像信号を読み出す読み出し手段と、
前記読み出し手段により読み出された画像信号をＡ／Ｄ変換して画像データを生成するＡ／Ｄ変換手段と、
を含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の画像データを前記第１の解像度で得るために、第１の画像信号を第１の画素数で読み出し、前記第２の画像データを前記第２の解像度で得るために、第２の画像信号を前記第１の画素数より少ない第２の画素数で読み出すように、前記光電変換手段および前記読み出し手段の少なくとも一方を制御する制御手段をさらに備えた
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、
前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、
前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、
前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、
前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、
前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、
前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、
前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップと、
を備えたことを特徴とする画像処理方法。
【請求項６】
画像処理装置に、
異なる複数のタイミングで被写体を撮像して得られた第１の画像データを第１の解像度で取得する第１の取得ステップと、
前記第１の取得ステップで取得された複数の前記第１の画像データのそれぞれにおいて、前記被写体の第１の顔領域を検出する第１の顔領域検出ステップと、
前記第１の顔領域検出ステップで検出された複数の前記第１の顔領域のそれぞれから、前記被写体の顔の構成要素の形状に関する第１の顔情報を抽出する第１の顔情報抽出ステップと、
前記第１の顔情報抽出ステップで抽出された複数の前記第１の顔情報から、前記被写体の顔の表情を推定するための基準となる基準顔情報を選択する第１の顔情報選択ステップと、
前記第１の顔情報選択ステップで前記基準顔情報が選択された後に、前記被写体を撮像して得られた第２の画像データを、前記第１の解像度よりも低い第２の解像度で取得する第２の取得ステップと、
前記第２の取得ステップで取得された前記第２の画像データにおいて、前記被写体の第２の顔領域を検出する第２の顔領域検出ステップと、
前記第２の顔領域検出ステップで検出された前記第２の顔領域から、前記被写体の顔の構成要素の形状に関する第２の顔情報を抽出する第２の顔情報抽出ステップと、
前記基準顔情報と前記第２の顔情報とを比較して、前記第２の顔情報に対応した前記被写体の顔の表情を推定する表情推定ステップと、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１７２１５（Ｐ２００９−１７２１５Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７６４６５（Ｐ２００７−１７６４６５）
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]