撮影装置、画像領域の存否判定方法及びプログラム
【課題】被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を短縮させることを目的とする。
【解決手段】デジタルカメラ1の制御部18はプログラムメモリ181のプログラムを実行すると、CMOS11で結像された画像から画素数を減じてライブビュー画像を作成し、顔検出部14に対しライブビュー画像における前記被写体に対応する画像領域の検出を指示し、検出しなかったと判定した場合は、撮像された画像には前記被写体に対応する画像領域が存在しないとみなす一方、検出したと判定した場合はこの検出された画像領域の位置を特定し、更にフルサイズ画像に対応する画像領域が、前記被写体に対応する画像領域であるか否かを顔判定部15に判定させ、被写体に対応する画像領域であると判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する。
【解決手段】デジタルカメラ1の制御部18はプログラムメモリ181のプログラムを実行すると、CMOS11で結像された画像から画素数を減じてライブビュー画像を作成し、顔検出部14に対しライブビュー画像における前記被写体に対応する画像領域の検出を指示し、検出しなかったと判定した場合は、撮像された画像には前記被写体に対応する画像領域が存在しないとみなす一方、検出したと判定した場合はこの検出された画像領域の位置を特定し、更にフルサイズ画像に対応する画像領域が、前記被写体に対応する画像領域であるか否かを顔判定部15に判定させ、被写体に対応する画像領域であると判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影装置、被写体の画像領域の存否判定方法、及び、プログラムに関する。
【背景技術】
【0002】
撮影対象の人物の顔を基準に露出制御を行うために、デジタルカメラなどにおいて、撮像素子上に結像している画像の中から、人間の顔を検出する装置を備えることが行われている。例えば、特許文献1には、スルー画像(ライブビュー画像)を解析することにより、人間の顔検出を行い、その顔に適した露出制御を行う撮影装置及び撮影方法が記載されている。また、特許文献2には、フルサイズ画像から、人間の顔検出を行い、さらにその表情の評価を算出する撮像装置及び撮影方法が記載されている。
【0003】
【特許文献1】特開2008−28960号公報
【特許文献2】特開2008−42319号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、スルー画像を用いる検出装置は、処理時間の短縮が期待できるが、精度の高い顔検出を行うことができない。一方、フルサイズ画像を用いる場合は、高い精度の顔検出が期待できるが、検出対象のデータ量が多いため処理時間が増大するという問題がある。
【0005】
本発明は、このような背景に鑑みてなされたものであり、被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を短縮させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の請求項1に記載の発明は、撮像処理により撮像画像を得る撮像手段と、この撮像手段によって得られた撮像画像から解像度を落とした第1の画像を作成する画像作成手段と、この画像作成手段によって作成された第1の画像から、被写体に対応する画像領域を探索する探索手段と、この探索手段による探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段と、この第1の判定手段により前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段と、前記撮像画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段と、この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段と、を備えることを特徴とする。
【0007】
また、請求項2に記載の発明は、上記請求項1に記載の発明において、前記第1の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第1の評価値算出手段と、前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第2の評価値算出手段と、を更に備え、前記第1の判定手段は、前記第1の画像から前記第1の評価値算出手段が算出した評価値が第1の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、前記第2の判定手段は、前記第2の評価値手段が算出した評価値が第2の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定することを特徴とする。
【0008】
また、請求項3に記載の発明は、上記請求項2に記載の発明において、前記第1の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第1の評価値算出手段が算出した評価値が前記第1の閾値より大きい第3の閾値以上であるか否かを判定する第3の判定手段を更に備え、前記第2の制御手段は更に、前記第2の判定手段による判定以前に前記第3の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする。
【0009】
また、請求項4に記載の発明は、上記請求項2又は3に記載の発明において、前記第1の評価値算出手段及び前記第2の評価値算出手段は、共に同じ方法で評価値を算出することを特徴とする。
【0010】
また、請求項5に記載の発明は、上記請求項4に記載の発明において、前記第1の閾値は前記第2の閾値よりも小さい値であることを特徴とする。
【0011】
また、請求項6に記載の発明は、上記請求項4又は5に記載の発明において、前記被写体に対応する画像領域を基準画像として記憶する基準画像記憶手段を更に備え、前記第1の評価値算出手段及び前記第2の評価値算出手段は、前記基準画像記憶手段に記憶されている基準画像と前記所定の画像領域及び前記特定された位置に対応する画像領域との相関度を評価値として算出することを特徴とする。
【0012】
また、請求項7に記載の発明は、上記請求項2又は3に記載の発明において、前記第1の評価値算出手段及び前記第2の評価値算出手段は、互いに異なる方法で評価値を算出することを特徴とする。
【0013】
また、請求項8に記載の発明は、上記請求項1乃至7の何れか1項に記載の発明において、前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、前記第2の判定手段により否と判定した場合、前記第1の制御手段による制御により特定された位置の画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第3の制御手段と、を更に備えることを特徴とする。
【0014】
また、請求項9に記載の発明は、上記請求項8に記載の発明において、前記第3の制御手段による制御の後に順次作成される第1の画像における前記特定された位置の画像領域を、前記探索手段による探索対象から除外するよう制御する第4の制御手段を更に備えることを特徴とする。
【0015】
また、請求項10に記載の発明は、上記請求項8に記載の発明において、前記第3の制御手段による制御の後、前記第1の制御手段による制御により特定された位置と前記第3の制御手段による制御により特定された位置とが略一致するか否かを判定する第4の判定手段と、前記第2の判定手段による判定以前に前記第4の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第5の制御手段と、を更に備えることを特徴とする。
【0016】
また、請求項11に記載の発明は、上記請求項1乃至7の何れか1項に記載の発明において、前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、前記第2の判定手段により肯定と判定された場合、前記第1の制御手段による制御により特定された位置に対応する、前記撮像画像における画像領域の位置を特定するよう制御する第6の制御手段と、この第6の制御手段による制御の後に順次作成される第1の画像における前記第1の制御手段による制御により特定された位置と前記第6の制御手段による制御により特定された位置とが略一致するか否かを判定する第5の判定手段と、前記第2の判定手段による判定以前に前記第5の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域であるとみなすように制御する第7の制御手段と、を更に備えることを特徴とする。
【0017】
また、請求項12に記載の発明は、上記請求項1乃至11の何れか1項に記載の発明において、前記被写体に対応する画像領域とは人物の顔の画像領域であり、前記第2の制御手段による制御により存在するとみなされた画像領域における表情と、所定の表情との相関度を表情評価値として算出する表情評価値算出手段を更に備えることを特徴とする。
【0018】
また、請求項13に記載の発明は、上記請求項12に記載の発明において、前記表情評価値算出手段により算出した表情評価値をユーザに報知する表情評価値報知手段を更に備えることを特徴とする。
【0019】
また、請求項14に記載の発明は、上記請求項12又は13に記載の発明において、前記表情評価値算出手段により算出した表情評価値が所定の閾値以上か否かを判定する第6の判定手段と、この第6の判定手段により前記表情評価値が所定の閾値以上と判定すると、この画像領域を含む撮像画像を保存する保存手段を更に備えることを特徴とする。
【0020】
また、請求項15に記載の発明は、撮像部にて得られた撮像画像から解像度を落とした第1の画像を作成する画像作成ステップと、この画像作成ステップにて作成された第1の画像から、被写体に対応する画像領域を探索する探索ステップと、この探索手段での探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定ステップと、この第1の判定ステップにて前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御ステップと、前記撮像画像における前記第1の制御ステップでの制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定ステップと、この第2の判定ステップにて肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御ステップと、を含むことを特徴とする。
【0021】
また、請求項16に記載の発明は、画像領域を検出する検出部、及び、画像領域について判定する判定部を備える撮影装置が有するコンピュータを、撮像された画像から解像度を落とした第1の画像を作成する画像作成手段、前記検出部で前記被写体に対応する画像領域の検出処理を行わせることにより、前記画像作成手段によって作成された第1の画像から前記被写体に対応する画像領域を探索する探索手段、この探索手段での探索により前記検出部が前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段、この第1の判定手段によって前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像された画像に前記被写体には対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段、前記判定部で前記特定された位置の画像領域について判定処理を行わせることにより、前記撮像された画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段、この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段、として機能させることを特徴とする。
【発明の効果】
【0022】
本発明によれば、被写体に対応する画像領域について正確にその存否を判定させることができるとともに、その判定処理にかかる時間を短縮させることができる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0024】
図1は、実施形態に係るデジタルカメラ1の概念的な構成を示す図である。図1に示すように、デジタルカメラ1は、光学レンズ装置10、CMOS11、A/D変換器12、記憶部13、顔検出部14、顔判定部15、表情認識部16、表示部17、制御部18、外部メモリ19及びプログラムメモリ181から構成される。
【0025】
光学レンズ装置10は、レンズ、絞り、焦点調整装置およびシャッタ装置等を備えて、被写体の画像をCMOS11上に結像する装置である。
【0026】
CMOS11は、約100万個の画像検出素子を二次元マトリックス状に配列して、光学レンズ装置10によって結像された画像を、画像信号に変換する装置である。また、CMOS11が出力する画像信号は、CMOS11上の画像検出素子とほぼ同数の画素から構成される。このCMOS11上の画像検出素子と同数の画素(つまり約100万画素)からなる画像(信号)を、フルサイズ画像(信号)と呼ぶことにする。また、後述するように、表示部17で表示できる解像度はフルサイズ画像に比べて低く、また、ライブビュー画像の更新処理速度を速くする必要もあるので、CMOS11が出力し、後述のA/D変換器12にてデジタル信号に変換されて記憶部13に一時記憶された画像信号については制御部18がその画素数を減じ、解像度を例えばVGAクラスに落とした画像を生成し出力する。この解像度を落とした画像(信号)を本明細書ではライブビュー画像(信号)と呼ぶ。
【0027】
A/D変換器12は、アナログ信号をデジタル信号に変換する回路であり、CMOS11から出力された画像信号をデジタル信号に変換する。
【0028】
記憶部13は、画像信号を記憶する記憶装置である。
【0029】
顔検出部14は、制御部18の指示によりライブビュー画像から、被写体の画像領域として人物の顔の画像(以下、顔画像という)が存在する画像領域(以下、顔画像領域という)を検出する装置である。
【0030】
顔判定部15は、制御部18の指示によりフルサイズ画像において、顔検出部14で検出された画像領域に対応する画像領域が顔画像領域か否かを判定する装置である。
【0031】
表情認識部16は、制御部18の指示により抽出された顔画像が特定の表情に近いか否かを示す表情評価値を算出する。
【0032】
表示部17は、制御部18の指示に応じてライブビュー画像等を表示する液晶表示装置である。
【0033】
制御部18は、デジタルカメラ1の動作を制御するコンピュータであり、プログラムメモリ181に書き込まれたプログラムに従って、顔検出部14等を制御して、後述するCMOS11が出力する画像信号における顔画像の存否判定の処理を実行させる。
【0034】
外部メモリ19は、例えばデジタルカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
【0035】
以上のように構成されたデジタルカメラ1は、光学レンズ装置10で撮像した被写体の画像をCMOS11で電気信号に変換し、その電気信号をA/D変換器12でデジタル信号に変換し、記憶部13に記憶する。また、光学レンズ装置10で撮像した被写体の画像は解像度が落とされて表示部17に表示され、ユーザ(撮影者)は、表示部17に表示された画像を確認して、図示しないシャッタ装置を操作することによって、所望の画像だけを外部メモリ19に保存することができる。
【0036】
また、前述したように、表示部17は、デジタルカメラ1に取り付けるために小型に構成され、そのため表示できる画素数も限られている。また、CMOS11から出力される全ての画素を表示部17に表示しようとすれば、その処理に時間を要するので、画像を実時間表示することが難しい。そこで、制御部18では、CMOS11から出力されるフルサイズ画像とは別に、フルサイズ画像から画素数を減じて、画素数の少ない(つまり、解像度が低い)ライブビュー画像を作成して、記憶部13に出力する。
【0037】
前述したように、デジタルカメラ1は、ユーザが表示部17に表示された画像を確認して、シャッタ装置を手動で操作して撮影するが、被写体の人物が好ましい(微笑している)表情を見せたのを検出して、自動的に撮影(以下、自動撮影という)することもできる。例えば、図2に示すような、ライブビュー画像が表示部17に表示されている時に、ユーザが自動撮影を選択すると、デジタルカメラ1は、おおよそ次のような処理を行う。
【0038】
まず、図2に示したライブビュー画像について顔画像領域を探索し、その結果として顔検出部14が、図3に示すように領域R30、R31、R32を検出する。そして、このライブビュー画像における領域R30、R31、R32の位置を特定する。この後、顔判定部15はCMOS11上に結像しているフルサイズ画像から、特定されたR30、R31、R32に相当する領域P30、P31、P32(図4参照)を切り出して、これらの領域の画像が、顔画像か否かを詳細判定する。例えば、P30、P31の画像には、人物の顔が写っているから、顔判定部15はこれらを顔画像であると判定し、P32については解像度が低いライブビュー画像においては人物の顔画像と判定して検出されたものの、解像度を上げたフルサイズ画像において詳細に判定すると、彫刻であり人物の顔画像ではないと判定する。つまり、顔検出部14は、顔画像である可能性が少しでも高い画像領域があれば、その画像領域を検出するため、R32のように、詳細に見れば人物の顔画像でない画像領域を検出する。一方、顔判定部15は、フルサイズ画像について高精度な判定を行うため、顔検出部14が顔画像ではない画像領域を検出したとしても、顔判定部15により、正確には顔画像ではないと判定し、結果として、このライブビュー画像におけるR32、及び、このR32に相当するフルサイズ画像の領域P32には、人物の顔が存在しないとみなすよう制御する。
【0039】
次に表情認識部16は、顔判定部15により、顔画像であると判定された顔画像P30、P31について、表情評価を行い、表情評価値を算出する。なお、表情評価値とは、検出した顔領域のそれぞれについて、「目をつぶっていないこと」および「笑顔であること」等を評価し、これら2つの評価値に基づいて、表情評価値を算出する。つまり、表情評価値とは、被写体の人物の表情の好ましさを示す指標であり、被写体の人物が笑顔であれば、その値は大きくなる。表情評価値を算出したら、デジタルカメラ1は、表示部17に、顔画像の位置を示す枠F30、F31と、顔画像の表情評価値V30、V31を表示する(図5参照)。また、顔画像の表情評価値が所定の閾値より高ければ、CMOS11に結像しているフルサイズ画像が、記憶部13に記憶され、自動撮影が完了する。
【0040】
以上の処理を、図6を参照しながら、詳細に説明する。なお、プログラムメモリ181に格納されたプログラムが読み出され、このプログラムに基づいて制御部18がその処理を開始し、デジタルカメラ1を被写体に向けると、まず制御部18は、ライブビュー画像の作成を所定の時間間隔(例えば、毎秒30回〜60回)で順次繰り返し行い、CMOS11上に結像している画像から解像度を落とした画像をライブビュー画像として生成し、表示部17に逐次表示する。これは、ユーザに構図を検討させるためである。図6に示したフローチャートは、N番目のライブビュー画像が作成された時の処理手順を示している。
【0041】
まず、N番目のライブビュー画像を記憶部13に記録する(ステップS100)。
【0042】
この時、前回作成されたライブビュー画像、つまり(N−1)番目のライブビュー画像を使って検出された顔画像の位置情報とその表情評価値が記憶部13に記憶されていれば(ステップS101;YES)、表示部17に、N番目のライブビュー画像に、(N−1)番目のライブビュー画像を使って検出された顔画像の位置を示す枠と表情評価値を重ねて表示する(ステップS102)。
【0043】
(N−1)番目のライブビュー画像を使って検出された顔画像とその表情評価値が記憶部13に記憶されていなければ(ステップS101;NO)、表示部17に、N番目のライブビュー画像だけを表示する(ステップS103)。
【0044】
次に、顔検出部14が、N番目のライブビュー画像を探索して顔画像領域を検出する(ステップS104)。なお、ステップS104における顔画像領域検出の詳細な手順は後述する。
【0045】
N番目のライブビュー画像から顔画像領域が検出されたら(ステップS104;YES)、その顔画像領域の位置を特定し、CMOS11上に結像している画像から、当該顔画像領域に相当する領域をフルサイズで切り出して(ステップS105)、顔判定部15に送る。なお、N番目のライブビュー画像から顔画像領域が検出されない場合(ステップS104;NO)は、結像した画像には顔画像が存在しないものとみなし、ステップS105からステップS111をバイパスして、ステップS112に進む。
【0046】
顔判定部15は、送られた画像が顔画像であるか否か判定する顔判定処理を行う(ステップS106)。なお、この顔判定処理の詳細な手順は後述する。
【0047】
このステップS106の顔判定処理の後、顔画像である、すなわち、“肯定”と判断すると(ステップS107;YES)、当該顔画像の位置情報を記憶部13に出力し、当該顔画像を表情認識部16に出力する(ステップS108)。一方、顔画像でない、すなわち“否”と判定すると(ステップS107;NO)、ステップ108の処理を飛ばしてステップS109に進む。
【0048】
尚、ステップS105からステップS109までの処理は、検出された全ての顔画像領域について繰り返し行われる。
【0049】
全ての顔画像領域についての顔判定処理が終わったか否かを判断し(ステップS109)、全ての顔画像領域について顔判定処理が終わったと判断したら(ステップS109;YES)、ステップS110に進む。
【0050】
尚、ステップS108で出力された顔画像については、表情認識部16にて顔画像について表情評価処理を行い(ステップS110)、表情評価値を算出して、記憶部13に出力する(ステップS111)。つまり、ステップS108で出力された顔画像がなかった場合は、ステップS110及びステップS111における処理は行われない。
【0051】
なお、表情評価処理は、顔画像が所定の表情に近いか否かを示す表情評価値を算出する処理であり、本実施形態における所定の表情は笑顔とし、顔画像の人物が笑っているほど、表情評価値は大きくなる。表情評価値の算出は、例えば、笑顔を示す基準画像と、無表情を示す基準画像を用意して、評価対象の顔画像がどちらの基準画像に近いかを判定する方法が考えられる。なお、このような表情評価値の算出方法については、前述の特許文献2に詳細に記載されている。
【0052】
ユーザ(撮影者)は、表示部17に表示された表情評価値を確認して、シャッタ操作の可否を判断する。そして、ユーザがシャッタを操作すると(ステップS112;YES)、記録用画像の撮影条件で撮影を行ない、CMOS11上に結像したフルサイズ画像を外部メモリ19に記録し(ステップS113)、撮影が終了する。
【0053】
なお、ユーザがシャッタ操作を行わない場合は(ステップS112;NO)、ステップS100に戻って、(N+1)番目のライブビュー画像について同様の処理が繰り返される。
【0054】
次に、ステップS104における顔画像領域検出の詳細な手順を説明する。顔画像領域検出処理では、探索対象のライブビュー画像から切り出した部分画像と基準テンプレート顔画像を対比して、その部分画像と基準テンプレート顔画像の相関係数を求めて、相関係数が所定の閾値(第1の閾値)を超える場合に、その部分画像を顔画像領域として検出する。なお、前記基準テンプレート顔画像は、複数の人物の顔の画像を重ねて得た画像であり、平均的な顔のモノクロ画像である。また、前記基準テンプレート顔画像は、予め作成されて、記憶部13に記憶されている。
【0055】
図7は、顔画像領域検出処理の手順を示すフローチャートであり、図8は、顔画像領域検出の過程で、ライブビュー画像から切り出す部分画像を説明する図である。以下、図7と図8を参照しながら、説明を続ける。
【0056】
前述したように、基準テンプレート顔画像はモノクロ画像なので、まず、探索対象のライブビュー画像をモノクロ化する(ステップS10)。
【0057】
次に、図8に示すように、基準テンプレート顔画像Tと同じサイズの部分画像Fをライブビュー画像Gから抽出する(ステップS11)。
【0058】
基準テンプレート顔画像Tと部分画像Fの対応する画素の輝度を比較して、基準テンプレート顔画像Tに対する部分画像Fの相関係数を求める(ステップS12)。なお、相関係数の算出方法は公知技術であることから具体的な記載は省略する。
【0059】
得られた相関係数が所定の閾値(第1の閾値)以上であれば(ステップS13;YES)、その部分画像Fは顔画像領域として検出する(ステップS14)。
【0060】
次に、部分画像Fを垂直方向又は水平方向に1画素分移動又は基準テンプレート顔画像Tのサイズを変化させて、ステップS11からステップS14の処理を繰り返す(ステップS15;NO)。
【0061】
ライブビュー画像の全ての領域Fについて探索したら(ステップS15;YES)、顔画像領域検出処理を終了する。
【0062】
次に、ステップS106における顔判定処理の詳細な手順を説明する。顔判定処理は、顔画像領域検出処理で検出された顔画像領域に相当するフルサイズ画像の領域(以下、判定領域)について、当該判定領域が顔画像か否かを判定する処理である。そのために、顔判定処理では、判定領域の画像のフルサイズ基準テンプレート顔画像の相関性を検討する。なお、フルサイズ基準テンプレート顔画像とは、顔画像領域検出処理で使用する基準テンプレート顔画像の画素数を増やして解像度を上げ、フルサイズ画像に対応させた画像である。
【0063】
図9は、顔判定処理の手順を示すフローチャートである。以下、図9を参照しながら、説明を続ける。
【0064】
まず、CMOS11上に結像しているフルサイズ画像から、判定領域を切り出し(ステップS20)、その画像に対してモノクロ処理を行う(ステップS21)。
【0065】
次に、フルサイズ基準テンプレート顔画像と判定領域の画像の対応する画素の輝度を比較して、フルサイズ基準テンプレート顔画像に対する判定領域の画像の相関係数を求める(ステップS22)。
【0066】
求めた相関係数が所定の閾値(第2の閾値)以上であれば(ステップS23;YES)、その判定領域が顔画像である、すなわち、“肯定”と判定する(ステップS24)。前記相関係数が所定の閾値(第2の閾値)未満ならば(ステップS23;NO)、その判定領域は顔画像ではない、すなわち“否”と判定し、顔判定処理を終わる。
【0067】
以上のように、デジタルカメラ1は、ライブビュー画像を探索して顔画像領域を検出し、顔画像領域が検出された場合に、当該顔画像領域に相当するフルサイズ画像の領域で顔画像か否かの判定と表情評価値の算出を行うことで、ライブビュー画像の探索時において既に顔画像を検出しなかった場合はその時点で判定処理を終わらせることにより処理速度を短縮させると共に、顔画像を検出した場合は更に高精度の顔判定処理を行うことにより、撮像された画像における正確な顔画像の存否を判定することができる。また、顔判定処理により顔画像であると判定された画像については表情評価処理を行うことにより、判定された顔画像における表情が、所謂「良い表情」か否かも判断できる。
【0068】
なお、図6に示した制御フローを、図10に示すように変形することもできる。すなわち、ステップS104とステップS105の間にステップS114を加えて、基準テンプレート顔画像Tに対する部分画像Fの相関係数が前記第1の閾値より大きい第3の閾値を超えた場合(ステップS114;YES)は、ステップS105からステップS107の処理を飛ばすようにしてもよい。このようにすれば、基準テンプレート顔画像Tに対する部分画像Fの相関係数が第3の閾値を超えた場合で顔判定処理に移行する以前に、顔画像領域検出処理で検出された顔画像領域に顔が存在する、すなわち“肯定”と判定することで、処理速度をさらに短縮することができる。なお、第3の閾値は第1の閾値よりも高い値であり、この値を超えれば検出対象がライブビュー画像であっても、十分に顔画像領域であると信頼できる値とする。
【0069】
また、図6に示した制御フローでは、ユーザのシャッタ操作によって、CMOS11上のフルサイズ画像を外部メモリ19に保存するようにしたが(ステップS112)、図11に示すように、ステップS112に代えて、ステップS200を設けて、全ての表情評価値が70%を超えたら、自動的に、CMOS11上のフルサイズ画像を外部メモリ19に記録するようにしてもよい。このようにすれば、ユーザによるシャッタ操作を待たずに、被写体が笑顔を見せた瞬間を自動的に撮影することができる。
【0070】
なお、自動的にCMOS11上のフルサイズ画像を外部メモリ19に記録する要件は、「全ての表情評価値が70%を超える」には限られない。「少なくとも1つの表情評価値が70%を超える」であってもよいし、「70%」を他の値にしてもよい。
【0071】
さて、毎秒30フレームから60フレームのライブビュー画像がCMOS11から出力される度に、顔画像領域検出処理が実行されるが、顔画像領域の位置は短時間(例えば、ライブビュー画像が数フレーム出力される間)では大きく変化しないと考えられる。また、顔判定処理において、顔画像ではないと判定された領域についても、次のフレームにおける顔画像領域検出処理で、再び顔画像領域として検出してしまう場合が考えられる。しかし、この場合は、前回のフレームの処理において顔画像領域検出処理よりも高精度な顔判定処理によって顔画像ではないと判定されているため、次のフレームの処理で顔画像領域として検出された領域も、顔判定処理では顔画像ではない判定される可能性が高い。そこで、順次行われる直近の単数または複数のフレームの処理において、顔画像ではないと判定された領域については、ライブビュー画像における当該画像領域は顔画像領域ではないとみなし、顔画像領域検出処理あるいは顔判定処理の対象から除外させるようにしてよい。
【0072】
具体的には、図12に示すように顔判定処理によって顔画像領域に相当するフルサイズ画像の領域において判定領域が顔画像ではない、すなわち“否”と判定された場合(ステップS107;NO)に、その判定領域の位置情報を顔画像無検出領域として記憶部13に記憶しておき(ステップS300)、直近の3フレームのライブビュー画像((N−1)番目〜(N−3)番目のライブビュー画像)に、この顔画像無検出領域に対応する領域が存在するか否かを判定し(ステップS301)、存在すると判定した場合(ステップS301;YES)、その領域は顔画像の画像領域ではないとみなして、顔画像領域検出処理の探索対象から除外して探索させるようにしてもよい(ステップS302)。
【0073】
あるいは、図13に示すように、N番目のライブビュー画像について検出された顔画像領域の位置が、直近の3フレームのライブビュー画像((N−1)番目〜(N−3)番目のライブビュー画像)の顔画像無検出領域の位置と略一致した場合(ステップS303;YES)、そのステップS105からステップS108をバイパスしその顔画像領域は顔画像でない、すなわち“否”とみなして顔判定処理の対象から除外してもよい。また逆に、顔判定処理によって顔画像領域に相当するフルサイズ画像の領域に顔画像が存在する、すなわち“肯定”と判定された場合に、その顔画像領域の位置情報を顔画像有検出領域として記憶部13に記憶しておいて、N番目のライブビュー画像について検出された顔画像領域の位置が、直近の3フレームのライブビュー画像((N−1)番目〜(N−3)番目のライブビュー画像)の顔画像有検出領域の位置と略一致した場合、その顔画像領域は顔画像である、すなわち“肯定”とみなして顔判定処理の対象から除外してもよい。
そして上記図12、13の処理を行うようにすれば、被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を更に短縮させることができる。
【0074】
上記実施形態及び変形例の何れにおいても、ライブビュー画像から切り出した部分画像と基準テンプレート顔画像の相関係数を求めて、相関係数が所定の閾値(第1の閾値)を超える場合に、その部分画像を顔画像領域として検出するようにしたが、この第1の閾値は顔画像領域である可能性が少しでもあれば顔画像領域として検出するような値とする。つまり、顔画像領域検出処理は、顔画像である領域を検出するための処理ではなく、高精度に顔画像が存在するか否かを判定可能な顔判定処理を行う領域を限定させるために行う処理である。
このように、フルサイズ画像に対して精度の高い顔判定処理を行う前に、予めライブビュー画像において顔画像領域である可能性が少しでもある領域を検出し、顔画像領域である可能性が少しでもある領域があった場合のみ、顔判定処理を行うようにしたため、ライブビュー画像内に顔画像領域がある可能性がなかった場合の処理を速くし、顔画像領域である可能性がある領域に対しては、精度の高い顔判定処理により顔画像があるか否かの判定を行うことができる。
また、表情評価処理についても、顔判定処理によって顔であると判定された領域のフルサイズ画像に対して行うため、精度の高い表情評価処理を行うことができる。
【0075】
また、上記実施形態及び変形例の何れにおいても、顔画像領域検出処理と顔判定処理は基準テンプレート顔画像の相関係数を求める方法であったが、それ以外の方法であってもよく、顔画像領域検出処理と顔判定処理とで異なる方法を使ってもよい。例えば、顔画像領域検出処理では肌色検出によって顔画像領域である可能性がある領域を検出し、顔判定処理は目や口などの特徴点を検出することで、顔画像が存在するか否かの判定を行うようにしてもよい。しかし何れの場合においても、顔画像であるか否かの結果は、顔画像領域検出処理よりも顔判定処理の方が高精度な結果が得られることとする。
【0076】
また、上記実施形態及び変形例の何れにおいても、画像から人物の顔を検出するようにしたが、顔に限らず、何れの被写体についても実施可能である。
【図面の簡単な説明】
【0077】
【図1】本発明の実施形態を示すデジタルカメラ1の概念的な構成図である。
【図2】ライブビュー画像を示す図である。
【図3】ライブビュー画像を示す図である。
【図4】フルサイズ画像から切り出した画像を示す図である。
【図5】ライブビュー画像を示す図である。
【図6】デジタルカメラ1による顔画像検出の手順を示すフローチャートである。
【図7】デジタルカメラ1による顔画像領域検出の手順を示すフローチャートである。
【図8】顔画像領域検出の際にライブビュー画像から切り出される部分画像を説明する図である。
【図9】デジタルカメラ1による顔判定処理の手順を示すフローチャートである。
【図10】前記顔画像検出の手順の変形例を示すフローチャートである。
【図11】前記顔画像検出の手順の変形例を示すフローチャートである。
【図12】前記顔画像検出の手順の変形例を示すフローチャートである。
【図13】前記顔画像検出の手順の変形例を示すフローチャートである。
【符号の説明】
【0078】
1・・・デジタルカメラ、10・・・光学レンズ装置、11・・・CMOS、12・・・A/D変換器、13・・・記憶部、14・・・顔検出部、15・・・顔判定部、16・・・表情認識部、17・・・表示部、18・・・制御部、181・・・プログラムメモリ、19・・・外部メモリ、R30・・・領域、R31・・・領域、R32・・・領域、P30・・・画像、P31・・・画像、P32・・・画像、F30・・・枠、F31・・・枠、V30・・・表情評価値、V31・・・表情評価値、F・・・部分画像、G・・・ライブビュー画像、T・・・基準テンプレート顔画像
【技術分野】
【0001】
本発明は、撮影装置、被写体の画像領域の存否判定方法、及び、プログラムに関する。
【背景技術】
【0002】
撮影対象の人物の顔を基準に露出制御を行うために、デジタルカメラなどにおいて、撮像素子上に結像している画像の中から、人間の顔を検出する装置を備えることが行われている。例えば、特許文献1には、スルー画像(ライブビュー画像)を解析することにより、人間の顔検出を行い、その顔に適した露出制御を行う撮影装置及び撮影方法が記載されている。また、特許文献2には、フルサイズ画像から、人間の顔検出を行い、さらにその表情の評価を算出する撮像装置及び撮影方法が記載されている。
【0003】
【特許文献1】特開2008−28960号公報
【特許文献2】特開2008−42319号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、スルー画像を用いる検出装置は、処理時間の短縮が期待できるが、精度の高い顔検出を行うことができない。一方、フルサイズ画像を用いる場合は、高い精度の顔検出が期待できるが、検出対象のデータ量が多いため処理時間が増大するという問題がある。
【0005】
本発明は、このような背景に鑑みてなされたものであり、被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を短縮させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の請求項1に記載の発明は、撮像処理により撮像画像を得る撮像手段と、この撮像手段によって得られた撮像画像から解像度を落とした第1の画像を作成する画像作成手段と、この画像作成手段によって作成された第1の画像から、被写体に対応する画像領域を探索する探索手段と、この探索手段による探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段と、この第1の判定手段により前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段と、前記撮像画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段と、この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段と、を備えることを特徴とする。
【0007】
また、請求項2に記載の発明は、上記請求項1に記載の発明において、前記第1の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第1の評価値算出手段と、前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第2の評価値算出手段と、を更に備え、前記第1の判定手段は、前記第1の画像から前記第1の評価値算出手段が算出した評価値が第1の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、前記第2の判定手段は、前記第2の評価値手段が算出した評価値が第2の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定することを特徴とする。
【0008】
また、請求項3に記載の発明は、上記請求項2に記載の発明において、前記第1の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第1の評価値算出手段が算出した評価値が前記第1の閾値より大きい第3の閾値以上であるか否かを判定する第3の判定手段を更に備え、前記第2の制御手段は更に、前記第2の判定手段による判定以前に前記第3の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする。
【0009】
また、請求項4に記載の発明は、上記請求項2又は3に記載の発明において、前記第1の評価値算出手段及び前記第2の評価値算出手段は、共に同じ方法で評価値を算出することを特徴とする。
【0010】
また、請求項5に記載の発明は、上記請求項4に記載の発明において、前記第1の閾値は前記第2の閾値よりも小さい値であることを特徴とする。
【0011】
また、請求項6に記載の発明は、上記請求項4又は5に記載の発明において、前記被写体に対応する画像領域を基準画像として記憶する基準画像記憶手段を更に備え、前記第1の評価値算出手段及び前記第2の評価値算出手段は、前記基準画像記憶手段に記憶されている基準画像と前記所定の画像領域及び前記特定された位置に対応する画像領域との相関度を評価値として算出することを特徴とする。
【0012】
また、請求項7に記載の発明は、上記請求項2又は3に記載の発明において、前記第1の評価値算出手段及び前記第2の評価値算出手段は、互いに異なる方法で評価値を算出することを特徴とする。
【0013】
また、請求項8に記載の発明は、上記請求項1乃至7の何れか1項に記載の発明において、前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、前記第2の判定手段により否と判定した場合、前記第1の制御手段による制御により特定された位置の画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第3の制御手段と、を更に備えることを特徴とする。
【0014】
また、請求項9に記載の発明は、上記請求項8に記載の発明において、前記第3の制御手段による制御の後に順次作成される第1の画像における前記特定された位置の画像領域を、前記探索手段による探索対象から除外するよう制御する第4の制御手段を更に備えることを特徴とする。
【0015】
また、請求項10に記載の発明は、上記請求項8に記載の発明において、前記第3の制御手段による制御の後、前記第1の制御手段による制御により特定された位置と前記第3の制御手段による制御により特定された位置とが略一致するか否かを判定する第4の判定手段と、前記第2の判定手段による判定以前に前記第4の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第5の制御手段と、を更に備えることを特徴とする。
【0016】
また、請求項11に記載の発明は、上記請求項1乃至7の何れか1項に記載の発明において、前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、前記第2の判定手段により肯定と判定された場合、前記第1の制御手段による制御により特定された位置に対応する、前記撮像画像における画像領域の位置を特定するよう制御する第6の制御手段と、この第6の制御手段による制御の後に順次作成される第1の画像における前記第1の制御手段による制御により特定された位置と前記第6の制御手段による制御により特定された位置とが略一致するか否かを判定する第5の判定手段と、前記第2の判定手段による判定以前に前記第5の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域であるとみなすように制御する第7の制御手段と、を更に備えることを特徴とする。
【0017】
また、請求項12に記載の発明は、上記請求項1乃至11の何れか1項に記載の発明において、前記被写体に対応する画像領域とは人物の顔の画像領域であり、前記第2の制御手段による制御により存在するとみなされた画像領域における表情と、所定の表情との相関度を表情評価値として算出する表情評価値算出手段を更に備えることを特徴とする。
【0018】
また、請求項13に記載の発明は、上記請求項12に記載の発明において、前記表情評価値算出手段により算出した表情評価値をユーザに報知する表情評価値報知手段を更に備えることを特徴とする。
【0019】
また、請求項14に記載の発明は、上記請求項12又は13に記載の発明において、前記表情評価値算出手段により算出した表情評価値が所定の閾値以上か否かを判定する第6の判定手段と、この第6の判定手段により前記表情評価値が所定の閾値以上と判定すると、この画像領域を含む撮像画像を保存する保存手段を更に備えることを特徴とする。
【0020】
また、請求項15に記載の発明は、撮像部にて得られた撮像画像から解像度を落とした第1の画像を作成する画像作成ステップと、この画像作成ステップにて作成された第1の画像から、被写体に対応する画像領域を探索する探索ステップと、この探索手段での探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定ステップと、この第1の判定ステップにて前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御ステップと、前記撮像画像における前記第1の制御ステップでの制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定ステップと、この第2の判定ステップにて肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御ステップと、を含むことを特徴とする。
【0021】
また、請求項16に記載の発明は、画像領域を検出する検出部、及び、画像領域について判定する判定部を備える撮影装置が有するコンピュータを、撮像された画像から解像度を落とした第1の画像を作成する画像作成手段、前記検出部で前記被写体に対応する画像領域の検出処理を行わせることにより、前記画像作成手段によって作成された第1の画像から前記被写体に対応する画像領域を探索する探索手段、この探索手段での探索により前記検出部が前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段、この第1の判定手段によって前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像された画像に前記被写体には対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段、前記判定部で前記特定された位置の画像領域について判定処理を行わせることにより、前記撮像された画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段、この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段、として機能させることを特徴とする。
【発明の効果】
【0022】
本発明によれば、被写体に対応する画像領域について正確にその存否を判定させることができるとともに、その判定処理にかかる時間を短縮させることができる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0024】
図1は、実施形態に係るデジタルカメラ1の概念的な構成を示す図である。図1に示すように、デジタルカメラ1は、光学レンズ装置10、CMOS11、A/D変換器12、記憶部13、顔検出部14、顔判定部15、表情認識部16、表示部17、制御部18、外部メモリ19及びプログラムメモリ181から構成される。
【0025】
光学レンズ装置10は、レンズ、絞り、焦点調整装置およびシャッタ装置等を備えて、被写体の画像をCMOS11上に結像する装置である。
【0026】
CMOS11は、約100万個の画像検出素子を二次元マトリックス状に配列して、光学レンズ装置10によって結像された画像を、画像信号に変換する装置である。また、CMOS11が出力する画像信号は、CMOS11上の画像検出素子とほぼ同数の画素から構成される。このCMOS11上の画像検出素子と同数の画素(つまり約100万画素)からなる画像(信号)を、フルサイズ画像(信号)と呼ぶことにする。また、後述するように、表示部17で表示できる解像度はフルサイズ画像に比べて低く、また、ライブビュー画像の更新処理速度を速くする必要もあるので、CMOS11が出力し、後述のA/D変換器12にてデジタル信号に変換されて記憶部13に一時記憶された画像信号については制御部18がその画素数を減じ、解像度を例えばVGAクラスに落とした画像を生成し出力する。この解像度を落とした画像(信号)を本明細書ではライブビュー画像(信号)と呼ぶ。
【0027】
A/D変換器12は、アナログ信号をデジタル信号に変換する回路であり、CMOS11から出力された画像信号をデジタル信号に変換する。
【0028】
記憶部13は、画像信号を記憶する記憶装置である。
【0029】
顔検出部14は、制御部18の指示によりライブビュー画像から、被写体の画像領域として人物の顔の画像(以下、顔画像という)が存在する画像領域(以下、顔画像領域という)を検出する装置である。
【0030】
顔判定部15は、制御部18の指示によりフルサイズ画像において、顔検出部14で検出された画像領域に対応する画像領域が顔画像領域か否かを判定する装置である。
【0031】
表情認識部16は、制御部18の指示により抽出された顔画像が特定の表情に近いか否かを示す表情評価値を算出する。
【0032】
表示部17は、制御部18の指示に応じてライブビュー画像等を表示する液晶表示装置である。
【0033】
制御部18は、デジタルカメラ1の動作を制御するコンピュータであり、プログラムメモリ181に書き込まれたプログラムに従って、顔検出部14等を制御して、後述するCMOS11が出力する画像信号における顔画像の存否判定の処理を実行させる。
【0034】
外部メモリ19は、例えばデジタルカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
【0035】
以上のように構成されたデジタルカメラ1は、光学レンズ装置10で撮像した被写体の画像をCMOS11で電気信号に変換し、その電気信号をA/D変換器12でデジタル信号に変換し、記憶部13に記憶する。また、光学レンズ装置10で撮像した被写体の画像は解像度が落とされて表示部17に表示され、ユーザ(撮影者)は、表示部17に表示された画像を確認して、図示しないシャッタ装置を操作することによって、所望の画像だけを外部メモリ19に保存することができる。
【0036】
また、前述したように、表示部17は、デジタルカメラ1に取り付けるために小型に構成され、そのため表示できる画素数も限られている。また、CMOS11から出力される全ての画素を表示部17に表示しようとすれば、その処理に時間を要するので、画像を実時間表示することが難しい。そこで、制御部18では、CMOS11から出力されるフルサイズ画像とは別に、フルサイズ画像から画素数を減じて、画素数の少ない(つまり、解像度が低い)ライブビュー画像を作成して、記憶部13に出力する。
【0037】
前述したように、デジタルカメラ1は、ユーザが表示部17に表示された画像を確認して、シャッタ装置を手動で操作して撮影するが、被写体の人物が好ましい(微笑している)表情を見せたのを検出して、自動的に撮影(以下、自動撮影という)することもできる。例えば、図2に示すような、ライブビュー画像が表示部17に表示されている時に、ユーザが自動撮影を選択すると、デジタルカメラ1は、おおよそ次のような処理を行う。
【0038】
まず、図2に示したライブビュー画像について顔画像領域を探索し、その結果として顔検出部14が、図3に示すように領域R30、R31、R32を検出する。そして、このライブビュー画像における領域R30、R31、R32の位置を特定する。この後、顔判定部15はCMOS11上に結像しているフルサイズ画像から、特定されたR30、R31、R32に相当する領域P30、P31、P32(図4参照)を切り出して、これらの領域の画像が、顔画像か否かを詳細判定する。例えば、P30、P31の画像には、人物の顔が写っているから、顔判定部15はこれらを顔画像であると判定し、P32については解像度が低いライブビュー画像においては人物の顔画像と判定して検出されたものの、解像度を上げたフルサイズ画像において詳細に判定すると、彫刻であり人物の顔画像ではないと判定する。つまり、顔検出部14は、顔画像である可能性が少しでも高い画像領域があれば、その画像領域を検出するため、R32のように、詳細に見れば人物の顔画像でない画像領域を検出する。一方、顔判定部15は、フルサイズ画像について高精度な判定を行うため、顔検出部14が顔画像ではない画像領域を検出したとしても、顔判定部15により、正確には顔画像ではないと判定し、結果として、このライブビュー画像におけるR32、及び、このR32に相当するフルサイズ画像の領域P32には、人物の顔が存在しないとみなすよう制御する。
【0039】
次に表情認識部16は、顔判定部15により、顔画像であると判定された顔画像P30、P31について、表情評価を行い、表情評価値を算出する。なお、表情評価値とは、検出した顔領域のそれぞれについて、「目をつぶっていないこと」および「笑顔であること」等を評価し、これら2つの評価値に基づいて、表情評価値を算出する。つまり、表情評価値とは、被写体の人物の表情の好ましさを示す指標であり、被写体の人物が笑顔であれば、その値は大きくなる。表情評価値を算出したら、デジタルカメラ1は、表示部17に、顔画像の位置を示す枠F30、F31と、顔画像の表情評価値V30、V31を表示する(図5参照)。また、顔画像の表情評価値が所定の閾値より高ければ、CMOS11に結像しているフルサイズ画像が、記憶部13に記憶され、自動撮影が完了する。
【0040】
以上の処理を、図6を参照しながら、詳細に説明する。なお、プログラムメモリ181に格納されたプログラムが読み出され、このプログラムに基づいて制御部18がその処理を開始し、デジタルカメラ1を被写体に向けると、まず制御部18は、ライブビュー画像の作成を所定の時間間隔(例えば、毎秒30回〜60回)で順次繰り返し行い、CMOS11上に結像している画像から解像度を落とした画像をライブビュー画像として生成し、表示部17に逐次表示する。これは、ユーザに構図を検討させるためである。図6に示したフローチャートは、N番目のライブビュー画像が作成された時の処理手順を示している。
【0041】
まず、N番目のライブビュー画像を記憶部13に記録する(ステップS100)。
【0042】
この時、前回作成されたライブビュー画像、つまり(N−1)番目のライブビュー画像を使って検出された顔画像の位置情報とその表情評価値が記憶部13に記憶されていれば(ステップS101;YES)、表示部17に、N番目のライブビュー画像に、(N−1)番目のライブビュー画像を使って検出された顔画像の位置を示す枠と表情評価値を重ねて表示する(ステップS102)。
【0043】
(N−1)番目のライブビュー画像を使って検出された顔画像とその表情評価値が記憶部13に記憶されていなければ(ステップS101;NO)、表示部17に、N番目のライブビュー画像だけを表示する(ステップS103)。
【0044】
次に、顔検出部14が、N番目のライブビュー画像を探索して顔画像領域を検出する(ステップS104)。なお、ステップS104における顔画像領域検出の詳細な手順は後述する。
【0045】
N番目のライブビュー画像から顔画像領域が検出されたら(ステップS104;YES)、その顔画像領域の位置を特定し、CMOS11上に結像している画像から、当該顔画像領域に相当する領域をフルサイズで切り出して(ステップS105)、顔判定部15に送る。なお、N番目のライブビュー画像から顔画像領域が検出されない場合(ステップS104;NO)は、結像した画像には顔画像が存在しないものとみなし、ステップS105からステップS111をバイパスして、ステップS112に進む。
【0046】
顔判定部15は、送られた画像が顔画像であるか否か判定する顔判定処理を行う(ステップS106)。なお、この顔判定処理の詳細な手順は後述する。
【0047】
このステップS106の顔判定処理の後、顔画像である、すなわち、“肯定”と判断すると(ステップS107;YES)、当該顔画像の位置情報を記憶部13に出力し、当該顔画像を表情認識部16に出力する(ステップS108)。一方、顔画像でない、すなわち“否”と判定すると(ステップS107;NO)、ステップ108の処理を飛ばしてステップS109に進む。
【0048】
尚、ステップS105からステップS109までの処理は、検出された全ての顔画像領域について繰り返し行われる。
【0049】
全ての顔画像領域についての顔判定処理が終わったか否かを判断し(ステップS109)、全ての顔画像領域について顔判定処理が終わったと判断したら(ステップS109;YES)、ステップS110に進む。
【0050】
尚、ステップS108で出力された顔画像については、表情認識部16にて顔画像について表情評価処理を行い(ステップS110)、表情評価値を算出して、記憶部13に出力する(ステップS111)。つまり、ステップS108で出力された顔画像がなかった場合は、ステップS110及びステップS111における処理は行われない。
【0051】
なお、表情評価処理は、顔画像が所定の表情に近いか否かを示す表情評価値を算出する処理であり、本実施形態における所定の表情は笑顔とし、顔画像の人物が笑っているほど、表情評価値は大きくなる。表情評価値の算出は、例えば、笑顔を示す基準画像と、無表情を示す基準画像を用意して、評価対象の顔画像がどちらの基準画像に近いかを判定する方法が考えられる。なお、このような表情評価値の算出方法については、前述の特許文献2に詳細に記載されている。
【0052】
ユーザ(撮影者)は、表示部17に表示された表情評価値を確認して、シャッタ操作の可否を判断する。そして、ユーザがシャッタを操作すると(ステップS112;YES)、記録用画像の撮影条件で撮影を行ない、CMOS11上に結像したフルサイズ画像を外部メモリ19に記録し(ステップS113)、撮影が終了する。
【0053】
なお、ユーザがシャッタ操作を行わない場合は(ステップS112;NO)、ステップS100に戻って、(N+1)番目のライブビュー画像について同様の処理が繰り返される。
【0054】
次に、ステップS104における顔画像領域検出の詳細な手順を説明する。顔画像領域検出処理では、探索対象のライブビュー画像から切り出した部分画像と基準テンプレート顔画像を対比して、その部分画像と基準テンプレート顔画像の相関係数を求めて、相関係数が所定の閾値(第1の閾値)を超える場合に、その部分画像を顔画像領域として検出する。なお、前記基準テンプレート顔画像は、複数の人物の顔の画像を重ねて得た画像であり、平均的な顔のモノクロ画像である。また、前記基準テンプレート顔画像は、予め作成されて、記憶部13に記憶されている。
【0055】
図7は、顔画像領域検出処理の手順を示すフローチャートであり、図8は、顔画像領域検出の過程で、ライブビュー画像から切り出す部分画像を説明する図である。以下、図7と図8を参照しながら、説明を続ける。
【0056】
前述したように、基準テンプレート顔画像はモノクロ画像なので、まず、探索対象のライブビュー画像をモノクロ化する(ステップS10)。
【0057】
次に、図8に示すように、基準テンプレート顔画像Tと同じサイズの部分画像Fをライブビュー画像Gから抽出する(ステップS11)。
【0058】
基準テンプレート顔画像Tと部分画像Fの対応する画素の輝度を比較して、基準テンプレート顔画像Tに対する部分画像Fの相関係数を求める(ステップS12)。なお、相関係数の算出方法は公知技術であることから具体的な記載は省略する。
【0059】
得られた相関係数が所定の閾値(第1の閾値)以上であれば(ステップS13;YES)、その部分画像Fは顔画像領域として検出する(ステップS14)。
【0060】
次に、部分画像Fを垂直方向又は水平方向に1画素分移動又は基準テンプレート顔画像Tのサイズを変化させて、ステップS11からステップS14の処理を繰り返す(ステップS15;NO)。
【0061】
ライブビュー画像の全ての領域Fについて探索したら(ステップS15;YES)、顔画像領域検出処理を終了する。
【0062】
次に、ステップS106における顔判定処理の詳細な手順を説明する。顔判定処理は、顔画像領域検出処理で検出された顔画像領域に相当するフルサイズ画像の領域(以下、判定領域)について、当該判定領域が顔画像か否かを判定する処理である。そのために、顔判定処理では、判定領域の画像のフルサイズ基準テンプレート顔画像の相関性を検討する。なお、フルサイズ基準テンプレート顔画像とは、顔画像領域検出処理で使用する基準テンプレート顔画像の画素数を増やして解像度を上げ、フルサイズ画像に対応させた画像である。
【0063】
図9は、顔判定処理の手順を示すフローチャートである。以下、図9を参照しながら、説明を続ける。
【0064】
まず、CMOS11上に結像しているフルサイズ画像から、判定領域を切り出し(ステップS20)、その画像に対してモノクロ処理を行う(ステップS21)。
【0065】
次に、フルサイズ基準テンプレート顔画像と判定領域の画像の対応する画素の輝度を比較して、フルサイズ基準テンプレート顔画像に対する判定領域の画像の相関係数を求める(ステップS22)。
【0066】
求めた相関係数が所定の閾値(第2の閾値)以上であれば(ステップS23;YES)、その判定領域が顔画像である、すなわち、“肯定”と判定する(ステップS24)。前記相関係数が所定の閾値(第2の閾値)未満ならば(ステップS23;NO)、その判定領域は顔画像ではない、すなわち“否”と判定し、顔判定処理を終わる。
【0067】
以上のように、デジタルカメラ1は、ライブビュー画像を探索して顔画像領域を検出し、顔画像領域が検出された場合に、当該顔画像領域に相当するフルサイズ画像の領域で顔画像か否かの判定と表情評価値の算出を行うことで、ライブビュー画像の探索時において既に顔画像を検出しなかった場合はその時点で判定処理を終わらせることにより処理速度を短縮させると共に、顔画像を検出した場合は更に高精度の顔判定処理を行うことにより、撮像された画像における正確な顔画像の存否を判定することができる。また、顔判定処理により顔画像であると判定された画像については表情評価処理を行うことにより、判定された顔画像における表情が、所謂「良い表情」か否かも判断できる。
【0068】
なお、図6に示した制御フローを、図10に示すように変形することもできる。すなわち、ステップS104とステップS105の間にステップS114を加えて、基準テンプレート顔画像Tに対する部分画像Fの相関係数が前記第1の閾値より大きい第3の閾値を超えた場合(ステップS114;YES)は、ステップS105からステップS107の処理を飛ばすようにしてもよい。このようにすれば、基準テンプレート顔画像Tに対する部分画像Fの相関係数が第3の閾値を超えた場合で顔判定処理に移行する以前に、顔画像領域検出処理で検出された顔画像領域に顔が存在する、すなわち“肯定”と判定することで、処理速度をさらに短縮することができる。なお、第3の閾値は第1の閾値よりも高い値であり、この値を超えれば検出対象がライブビュー画像であっても、十分に顔画像領域であると信頼できる値とする。
【0069】
また、図6に示した制御フローでは、ユーザのシャッタ操作によって、CMOS11上のフルサイズ画像を外部メモリ19に保存するようにしたが(ステップS112)、図11に示すように、ステップS112に代えて、ステップS200を設けて、全ての表情評価値が70%を超えたら、自動的に、CMOS11上のフルサイズ画像を外部メモリ19に記録するようにしてもよい。このようにすれば、ユーザによるシャッタ操作を待たずに、被写体が笑顔を見せた瞬間を自動的に撮影することができる。
【0070】
なお、自動的にCMOS11上のフルサイズ画像を外部メモリ19に記録する要件は、「全ての表情評価値が70%を超える」には限られない。「少なくとも1つの表情評価値が70%を超える」であってもよいし、「70%」を他の値にしてもよい。
【0071】
さて、毎秒30フレームから60フレームのライブビュー画像がCMOS11から出力される度に、顔画像領域検出処理が実行されるが、顔画像領域の位置は短時間(例えば、ライブビュー画像が数フレーム出力される間)では大きく変化しないと考えられる。また、顔判定処理において、顔画像ではないと判定された領域についても、次のフレームにおける顔画像領域検出処理で、再び顔画像領域として検出してしまう場合が考えられる。しかし、この場合は、前回のフレームの処理において顔画像領域検出処理よりも高精度な顔判定処理によって顔画像ではないと判定されているため、次のフレームの処理で顔画像領域として検出された領域も、顔判定処理では顔画像ではない判定される可能性が高い。そこで、順次行われる直近の単数または複数のフレームの処理において、顔画像ではないと判定された領域については、ライブビュー画像における当該画像領域は顔画像領域ではないとみなし、顔画像領域検出処理あるいは顔判定処理の対象から除外させるようにしてよい。
【0072】
具体的には、図12に示すように顔判定処理によって顔画像領域に相当するフルサイズ画像の領域において判定領域が顔画像ではない、すなわち“否”と判定された場合(ステップS107;NO)に、その判定領域の位置情報を顔画像無検出領域として記憶部13に記憶しておき(ステップS300)、直近の3フレームのライブビュー画像((N−1)番目〜(N−3)番目のライブビュー画像)に、この顔画像無検出領域に対応する領域が存在するか否かを判定し(ステップS301)、存在すると判定した場合(ステップS301;YES)、その領域は顔画像の画像領域ではないとみなして、顔画像領域検出処理の探索対象から除外して探索させるようにしてもよい(ステップS302)。
【0073】
あるいは、図13に示すように、N番目のライブビュー画像について検出された顔画像領域の位置が、直近の3フレームのライブビュー画像((N−1)番目〜(N−3)番目のライブビュー画像)の顔画像無検出領域の位置と略一致した場合(ステップS303;YES)、そのステップS105からステップS108をバイパスしその顔画像領域は顔画像でない、すなわち“否”とみなして顔判定処理の対象から除外してもよい。また逆に、顔判定処理によって顔画像領域に相当するフルサイズ画像の領域に顔画像が存在する、すなわち“肯定”と判定された場合に、その顔画像領域の位置情報を顔画像有検出領域として記憶部13に記憶しておいて、N番目のライブビュー画像について検出された顔画像領域の位置が、直近の3フレームのライブビュー画像((N−1)番目〜(N−3)番目のライブビュー画像)の顔画像有検出領域の位置と略一致した場合、その顔画像領域は顔画像である、すなわち“肯定”とみなして顔判定処理の対象から除外してもよい。
そして上記図12、13の処理を行うようにすれば、被写体に対応する画像領域について正確にその存否を判定するとともに、その判定処理にかかる時間を更に短縮させることができる。
【0074】
上記実施形態及び変形例の何れにおいても、ライブビュー画像から切り出した部分画像と基準テンプレート顔画像の相関係数を求めて、相関係数が所定の閾値(第1の閾値)を超える場合に、その部分画像を顔画像領域として検出するようにしたが、この第1の閾値は顔画像領域である可能性が少しでもあれば顔画像領域として検出するような値とする。つまり、顔画像領域検出処理は、顔画像である領域を検出するための処理ではなく、高精度に顔画像が存在するか否かを判定可能な顔判定処理を行う領域を限定させるために行う処理である。
このように、フルサイズ画像に対して精度の高い顔判定処理を行う前に、予めライブビュー画像において顔画像領域である可能性が少しでもある領域を検出し、顔画像領域である可能性が少しでもある領域があった場合のみ、顔判定処理を行うようにしたため、ライブビュー画像内に顔画像領域がある可能性がなかった場合の処理を速くし、顔画像領域である可能性がある領域に対しては、精度の高い顔判定処理により顔画像があるか否かの判定を行うことができる。
また、表情評価処理についても、顔判定処理によって顔であると判定された領域のフルサイズ画像に対して行うため、精度の高い表情評価処理を行うことができる。
【0075】
また、上記実施形態及び変形例の何れにおいても、顔画像領域検出処理と顔判定処理は基準テンプレート顔画像の相関係数を求める方法であったが、それ以外の方法であってもよく、顔画像領域検出処理と顔判定処理とで異なる方法を使ってもよい。例えば、顔画像領域検出処理では肌色検出によって顔画像領域である可能性がある領域を検出し、顔判定処理は目や口などの特徴点を検出することで、顔画像が存在するか否かの判定を行うようにしてもよい。しかし何れの場合においても、顔画像であるか否かの結果は、顔画像領域検出処理よりも顔判定処理の方が高精度な結果が得られることとする。
【0076】
また、上記実施形態及び変形例の何れにおいても、画像から人物の顔を検出するようにしたが、顔に限らず、何れの被写体についても実施可能である。
【図面の簡単な説明】
【0077】
【図1】本発明の実施形態を示すデジタルカメラ1の概念的な構成図である。
【図2】ライブビュー画像を示す図である。
【図3】ライブビュー画像を示す図である。
【図4】フルサイズ画像から切り出した画像を示す図である。
【図5】ライブビュー画像を示す図である。
【図6】デジタルカメラ1による顔画像検出の手順を示すフローチャートである。
【図7】デジタルカメラ1による顔画像領域検出の手順を示すフローチャートである。
【図8】顔画像領域検出の際にライブビュー画像から切り出される部分画像を説明する図である。
【図9】デジタルカメラ1による顔判定処理の手順を示すフローチャートである。
【図10】前記顔画像検出の手順の変形例を示すフローチャートである。
【図11】前記顔画像検出の手順の変形例を示すフローチャートである。
【図12】前記顔画像検出の手順の変形例を示すフローチャートである。
【図13】前記顔画像検出の手順の変形例を示すフローチャートである。
【符号の説明】
【0078】
1・・・デジタルカメラ、10・・・光学レンズ装置、11・・・CMOS、12・・・A/D変換器、13・・・記憶部、14・・・顔検出部、15・・・顔判定部、16・・・表情認識部、17・・・表示部、18・・・制御部、181・・・プログラムメモリ、19・・・外部メモリ、R30・・・領域、R31・・・領域、R32・・・領域、P30・・・画像、P31・・・画像、P32・・・画像、F30・・・枠、F31・・・枠、V30・・・表情評価値、V31・・・表情評価値、F・・・部分画像、G・・・ライブビュー画像、T・・・基準テンプレート顔画像
【特許請求の範囲】
【請求項1】
撮像処理により撮像画像を得る撮像手段と、
この撮像手段によって得られた撮像画像から解像度を落とした第1の画像を作成する画像作成手段と、
この画像作成手段によって作成された第1の画像から、被写体に対応する画像領域を探索する探索手段と、
この探索手段による探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段と、
この第1の判定手段により前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段と、
前記撮像画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段と、
この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段と、
を備えることを特徴とする撮影装置。
【請求項2】
前記第1の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第1の評価値算出手段と、
前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第2の評価値算出手段と、
を更に備え、
前記第1の判定手段は、前記第1の画像から前記第1の評価値算出手段が算出した評価値が第1の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、
前記第2の判定手段は、前記第2の評価値手段が算出した評価値が第2の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定することを特徴とする請求項1に記載の撮影装置。
【請求項3】
前記第1の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第1の評価値算出手段が算出した評価値が前記第1の閾値より大きい第3の閾値以上であるか否かを判定する第3の判定手段を更に備え、
前記第2の制御手段は更に、前記第2の判定手段による判定以前に前記第3の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする請求項2に記載の撮影装置。
【請求項4】
前記第1の評価値算出手段及び前記第2の評価値算出手段は、共に同じ方法で評価値を算出することを特徴とする請求項2又は3に記載の撮影装置。
【請求項5】
前記第1の閾値は前記第2の閾値よりも小さい値であることを特徴とする請求項4に記載の撮影装置。
【請求項6】
前記被写体に対応する画像領域を基準画像として記憶する基準画像記憶手段を更に備え、
前記第1の評価値算出手段及び前記第2の評価値算出手段は、前記基準画像記憶手段に記憶されている基準画像と前記所定の画像領域及び前記特定された位置に対応する画像領域との相関度を評価値として算出することを特徴とする請求項4又は5に記載の撮影装置。
【請求項7】
前記第1の評価値算出手段及び前記第2の評価値算出手段は、互いに異なる方法で評価値を算出することを特徴とする請求項2又は3に記載の撮影装置。
【請求項8】
前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、
前記第2の判定手段により否と判定した場合、前記第1の制御手段による制御により特定された位置の画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第3の制御手段と、
を更に備えることを特徴とする請求項1乃至7の何れか1項に記載の撮影装置。
【請求項9】
前記第3の制御手段による制御の後に順次作成される第1の画像における前記特定された位置の画像領域を、前記探索手段による探索対象から除外するよう制御する第4の制御手段を更に備えることを特徴とする請求項8に記載の撮影装置。
【請求項10】
前記第3の制御手段による制御の後、前記第1の制御手段による制御により特定された位置と前記第3の制御手段による制御により特定された位置とが略一致するか否かを判定する第4の判定手段と、
前記第2の判定手段による判定以前に前記第4の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第5の制御手段と、
を更に備えることを特徴とする請求項8に記載の撮影装置。
【請求項11】
前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、
前記第2の判定手段により肯定と判定された場合、前記第1の制御手段による制御により特定された位置に対応する、前記撮像画像における画像領域の位置を特定するよう制御する第6の制御手段と、
この第6の制御手段による制御の後に順次作成される第1の画像における前記第1の制御手段による制御により特定された位置と前記第6の制御手段による制御により特定された位置とが略一致するか否かを判定する第5の判定手段と、
前記第2の判定手段による判定以前に前記第5の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域であるとみなすように制御する第7の制御手段と、
を更に備えることを特徴とする請求項1乃至7の何れか1項に記載の撮影装置。
【請求項12】
前記被写体に対応する画像領域とは人物の顔の画像領域であり、
前記第2の制御手段による制御により存在するとみなされた画像領域における表情と、所定の表情との相関度を表情評価値として算出する表情評価値算出手段を更に備えることを特徴とする請求項1乃至11の何れか1項に記載の撮影装置。
【請求項13】
前記表情評価値算出手段により算出した表情評価値をユーザに報知する表情評価値報知手段を更に備えることを特徴とする請求項12に記載の撮影装置。
【請求項14】
前記表情評価値算出手段により算出した表情評価値が所定の閾値以上か否かを判定する第6の判定手段と、
この第6の判定手段により前記表情評価値が所定の閾値以上と判定すると、この画像領域を含む撮像画像を保存する保存手段を更に備えることを特徴とする請求項12に記載の撮影装置。
【請求項15】
撮像部にて得られた撮像画像から解像度を落とした第1の画像を作成する画像作成ステップと、
この画像作成ステップにて作成された第1の画像から、被写体に対応する画像領域を探索する探索ステップと、
この探索手段での探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定ステップと、
この第1の判定ステップにて前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御ステップと、
前記撮像画像における前記第1の制御ステップでの制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定ステップと、
この第2の判定ステップにて肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御ステップと、
を含むことを特徴とする画像領域の存否判定方法。
【請求項16】
画像領域を検出する検出部、及び、画像領域について判定する判定部を備える撮影装置が有するコンピュータを、
撮像された画像から解像度を落とした第1の画像を作成する画像作成手段、
前記検出部で前記被写体に対応する画像領域の検出処理を行わせることにより、前記画像作成手段によって作成された第1の画像から前記被写体に対応する画像領域を探索する探索手段、
この探索手段での探索により前記検出部が前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段、
この第1の判定手段によって前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像された画像に前記被写体には対応する画像領域が存在しないとみなす一方、画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段、
前記判定部で前記特定された位置の画像領域について判定処理を行わせることにより、前記撮像された画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段、
この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段、
として機能させることを特徴とするプログラム。
【請求項1】
撮像処理により撮像画像を得る撮像手段と、
この撮像手段によって得られた撮像画像から解像度を落とした第1の画像を作成する画像作成手段と、
この画像作成手段によって作成された第1の画像から、被写体に対応する画像領域を探索する探索手段と、
この探索手段による探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段と、
この第1の判定手段により前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段と、
前記撮像画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段と、
この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段と、
を備えることを特徴とする撮影装置。
【請求項2】
前記第1の画像において、前記探索手段の探索対象となる画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第1の評価値算出手段と、
前記撮像画像における前記特定された位置に対応する画像領域と前記被写体に対応する画像領域との相関度を評価値として算出する第2の評価値算出手段と、
を更に備え、
前記第1の判定手段は、前記第1の画像から前記第1の評価値算出手段が算出した評価値が第1の閾値以上の画像領域を検出したか否かに基づいて、前記被写体に対応する画像領域を検出したか否かを判定し、
前記第2の判定手段は、前記第2の評価値手段が算出した評価値が第2の閾値以上であるか否かに基づいて、前記特定された位置に対応する画像領域が前記被写体に対応する画像領域であるか否かを判定することを特徴とする請求項1に記載の撮影装置。
【請求項3】
前記第1の判定手段による判定の結果、前記被写体に対応する画像領域を検出したと判定した場合、前記第1の評価値算出手段が算出した評価値が前記第1の閾値より大きい第3の閾値以上であるか否かを判定する第3の判定手段を更に備え、
前記第2の制御手段は更に、前記第2の判定手段による判定以前に前記第3の判定手段によって肯定と判定した場合、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御することを特徴とする請求項2に記載の撮影装置。
【請求項4】
前記第1の評価値算出手段及び前記第2の評価値算出手段は、共に同じ方法で評価値を算出することを特徴とする請求項2又は3に記載の撮影装置。
【請求項5】
前記第1の閾値は前記第2の閾値よりも小さい値であることを特徴とする請求項4に記載の撮影装置。
【請求項6】
前記被写体に対応する画像領域を基準画像として記憶する基準画像記憶手段を更に備え、
前記第1の評価値算出手段及び前記第2の評価値算出手段は、前記基準画像記憶手段に記憶されている基準画像と前記所定の画像領域及び前記特定された位置に対応する画像領域との相関度を評価値として算出することを特徴とする請求項4又は5に記載の撮影装置。
【請求項7】
前記第1の評価値算出手段及び前記第2の評価値算出手段は、互いに異なる方法で評価値を算出することを特徴とする請求項2又は3に記載の撮影装置。
【請求項8】
前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、
前記第2の判定手段により否と判定した場合、前記第1の制御手段による制御により特定された位置の画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第3の制御手段と、
を更に備えることを特徴とする請求項1乃至7の何れか1項に記載の撮影装置。
【請求項9】
前記第3の制御手段による制御の後に順次作成される第1の画像における前記特定された位置の画像領域を、前記探索手段による探索対象から除外するよう制御する第4の制御手段を更に備えることを特徴とする請求項8に記載の撮影装置。
【請求項10】
前記第3の制御手段による制御の後、前記第1の制御手段による制御により特定された位置と前記第3の制御手段による制御により特定された位置とが略一致するか否かを判定する第4の判定手段と、
前記第2の判定手段による判定以前に前記第4の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域ではないとみなすよう制御する第5の制御手段と、
を更に備えることを特徴とする請求項8に記載の撮影装置。
【請求項11】
前記撮像手段は前記撮像処理を順次行わせて撮像画像を順次得るとともに、前記画像作成手段は、これら順次得られた撮像画像から前記第1の画像を順次作成し、
前記第2の判定手段により肯定と判定された場合、前記第1の制御手段による制御により特定された位置に対応する、前記撮像画像における画像領域の位置を特定するよう制御する第6の制御手段と、
この第6の制御手段による制御の後に順次作成される第1の画像における前記第1の制御手段による制御により特定された位置と前記第6の制御手段による制御により特定された位置とが略一致するか否かを判定する第5の判定手段と、
前記第2の判定手段による判定以前に前記第5の判定手段により略一致すると判定した場合、前記撮像画像の前記第1の制御手段による制御により特定された位置に対応する画像領域は前記被写体に対応する画像領域であるとみなすように制御する第7の制御手段と、
を更に備えることを特徴とする請求項1乃至7の何れか1項に記載の撮影装置。
【請求項12】
前記被写体に対応する画像領域とは人物の顔の画像領域であり、
前記第2の制御手段による制御により存在するとみなされた画像領域における表情と、所定の表情との相関度を表情評価値として算出する表情評価値算出手段を更に備えることを特徴とする請求項1乃至11の何れか1項に記載の撮影装置。
【請求項13】
前記表情評価値算出手段により算出した表情評価値をユーザに報知する表情評価値報知手段を更に備えることを特徴とする請求項12に記載の撮影装置。
【請求項14】
前記表情評価値算出手段により算出した表情評価値が所定の閾値以上か否かを判定する第6の判定手段と、
この第6の判定手段により前記表情評価値が所定の閾値以上と判定すると、この画像領域を含む撮像画像を保存する保存手段を更に備えることを特徴とする請求項12に記載の撮影装置。
【請求項15】
撮像部にて得られた撮像画像から解像度を落とした第1の画像を作成する画像作成ステップと、
この画像作成ステップにて作成された第1の画像から、被写体に対応する画像領域を探索する探索ステップと、
この探索手段での探索により前記被写体に対応する画像領域を検出したか否かを判定する第1の判定ステップと、
この第1の判定ステップにて前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像画像には前記被写体に対応する画像領域が存在しないとみなす一方、前記画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御ステップと、
前記撮像画像における前記第1の制御ステップでの制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定ステップと、
この第2の判定ステップにて肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御ステップと、
を含むことを特徴とする画像領域の存否判定方法。
【請求項16】
画像領域を検出する検出部、及び、画像領域について判定する判定部を備える撮影装置が有するコンピュータを、
撮像された画像から解像度を落とした第1の画像を作成する画像作成手段、
前記検出部で前記被写体に対応する画像領域の検出処理を行わせることにより、前記画像作成手段によって作成された第1の画像から前記被写体に対応する画像領域を探索する探索手段、
この探索手段での探索により前記検出部が前記被写体に対応する画像領域を検出したか否かを判定する第1の判定手段、
この第1の判定手段によって前記被写体に対応する画像領域を検出しなかったと判定した場合は前記撮像された画像に前記被写体には対応する画像領域が存在しないとみなす一方、画像領域を検出したと判定した場合はこの検出された画像領域の位置を特定するよう制御する第1の制御手段、
前記判定部で前記特定された位置の画像領域について判定処理を行わせることにより、前記撮像された画像における前記第1の制御手段による制御により特定された位置に対応する画像領域が、前記被写体に対応する画像領域であるか否かを判定する第2の判定手段、
この第2の判定手段によって肯定と判定した場合は、前記撮像画像に前記被写体に対応する画像領域が存在するとみなすよう制御する第2の制御手段、
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−68128(P2010−68128A)
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願番号】特願2008−231203(P2008−231203)
【出願日】平成20年9月9日(2008.9.9)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成22年3月25日(2010.3.25)
【国際特許分類】
【出願日】平成20年9月9日(2008.9.9)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]