説明

対象物検出装置、撮像装置及び画像処理プログラム

【課題】画像内から顔を検出する際の過検出を抑制すること。
【解決手段】ユーザが被写体登録用に撮像をする際に顔検出処理部22により画像から顔検出を行い、検出された顔のサイズ、撮像装置10から被写体までの距離、及び撮像時のズーム倍率を記憶しておき、本撮像モードにおいては、撮像装置10から被写体までの距離及びズーム倍率と登録時に記憶された情報とより推定顔サイズ算出部26にて画像上の推定顔サイズを算出し、顔サイズ比較部28にて、この推定顔サイズと該本撮像モードにおいて顔検出処理部22による顔検出で検出された顔領域のサイズとを比較し、両者がほぼ一致した場合に、顔領域決定部30が該本撮像モードにおいて顔検出処理部22による顔検出で検出された顔領域を顔領域として決定することで、過検出を抑制する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像内から人やペットの顔を検出する対象物検出装置及びそれを有する撮像装置、並びに、コンピュータにそのような対象物検出装置の手順を実行させる画像処理プログラムに関する。
【背景技術】
【0002】
近年の撮像装置は、人の顔を検出する機能が搭載されており、ペットの顔を検出できるものもある。顔検出技術は、Viola−Jonesの方法などを用いて開発・改良されているが、検出率を上げると過検出も増えてしまう傾向にあり、検出率を維持したまま過検出のみを抑制するのは至難の業である。
【0003】
そこで、特許文献1は、撮像装置のレンズの焦点距離と、撮像装置から人までの距離と、人の頭部の標準サイズとに基づき、画像上の人の頭部の大きさの範囲を推定してテンプレートを作成し、該テンプレートを用いて顔検出を行う方法を提案している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4082190号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1に開示された方法により過検出は抑制される。しかしながら、頭部のサイズは、幼児と成人では大きさに差があり、さらに、成人であっても個体によって大きさは異なる。また、ペットに関しては、例えば犬の場合は大型・小型など種類によって頭部の大きさに差がある。したがって、上記特許文献1に開示されたような、頭部の標準サイズに基づいて画像上のサイズを推定する方法では、被写体の正確な画像上のサイズを推定することができず、結果として、十分な過検出抑制効果が得られなかった。
【0006】
本発明は、上記の点に鑑みてなされたもので、画像内から人やペットの顔を検出する際に過検出を抑制することが可能な対象物検出装置、撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の対象物検出装置の一態様は、所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出手段と、上記顔検出手段で検出された被写体の顔までの距離を測定する被写体距離測定手段と、上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された被写体の顔までの距離と、上記撮像時のズーム倍率とから、上記撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出手段と、上記顔検出手段で検出された被写体の顔のサイズと上記推定顔サイズ算出手段で推定した推定顔サイズとから求められた評価値が所定の条件を満たす、上記撮像された画像上の領域を、顔領域として決定する顔領域決定手段と、を具備することを特徴とする。
また、本発明の対象物検出装置の別の態様は、所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定手段と、上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された各測距点での被写体までの距離と、所望のズーム倍率での撮像時のズーム倍率とから、撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出手段と、上記推定顔サイズ算出手段で推定した各測距点での推定顔サイズに基づいて、上記所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出手段と、を具備することを特徴とする。
また、本発明の撮像装置の一態様は、所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、所望のズーム倍率で被写体を撮像する撮像手段と、上記撮像手段で撮像された画像内から被写体の顔を検出する顔検出手段と、上記顔検出手段で検出された被写体の顔までの距離を測定する被写体距離測定手段と、上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された被写体の顔までの距離と、上記撮像手段での撮像時のズーム倍率とから、上記撮像手段で撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出手段と、上記顔検出手段で検出された被写体の顔のサイズと上記推定顔サイズ算出手段で推定した推定顔サイズとから求められた評価値が所定の条件を満たす、上記撮像手段で撮像された画像上の領域を、顔領域として決定する顔領域決定手段と、を具備することを特徴とする。
また、本発明の撮像装置の他の態様は、所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、所望のズーム倍率で被写体を撮像する撮像手段と、複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定手段と、上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された各測距点での被写体までの距離と、上記撮像手段での撮像時のズーム倍率とから、上記撮像手段で撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出手段と、上記推定顔サイズ算出手段で推定した各測距点での推定顔サイズに基づいて、上記撮像手段で撮像された画像内から被写体の顔を検出する顔検出手段と、を具備することを特徴とする。
また、本発明の画像処理プログラムの一態様は、所望被写体の顔サイズを任意に設定するための顔サイズ設定ステップと、所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出ステップと、上記検出された被写体の顔までの距離を測定する被写体距離測定ステップと、上記設定された被写体の顔サイズと、上記測定された被写体の顔までの距離と、上記撮像時のズーム倍率とから、上記撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出ステップと、上記検出された被写体の顔のサイズと上記推定した推定顔サイズとから求められた評価値が所定の条件を満たす、上記撮像された画像上の領域を、顔領域として決定する顔領域決定ステップと、をコンピュータに発揮させることを特徴とする。
また、本発明の画像処理プログラムの別の態様は、所望被写体の顔サイズを任意に設定するための顔サイズ設定ステップと、複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定ステップと、上記設定された被写体の顔サイズと、上記測定された各測距点での被写体までの距離と、所望のズーム倍率での撮像時のズーム倍率とから、撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出ステップと、上記推定した各測距点での推定顔サイズに基づいて、上記所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出ステップと、をコンピュータに発揮させることを特徴とする。
【発明の効果】
【0008】
本発明によれば、画像内から人やペットの顔を検出する際に、その顔サイズを設定しておくことで、設定された大きさの顔のみを検出することができ、過検出を抑制することが可能な対象物検出装置、撮像装置及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】図1は、本発明の第1実施形態に係る対象物検出装置を有する撮像装置の構成を示す図である。
【図2】図2は、第1実施形態における撮像装置の被写体登録モードでの被写体登録処理を説明するためのフローチャートである。
【図3】図3は、撮像画像上における分割領域を説明するための図である。
【図4】図4は、顔の領域の検出例を示す図である。
【図5】図5は、顔が検出された領域と分割領域との関係を示す図である。
【図6】図6は、第1実施形態における撮像装置の本撮像モードでの対象物検出処理を説明するためのフローチャートである。
【図7】図7は、過検出抑制の具体例を説明するための図である。
【図8】図8は、本発明の第2実施形態に係る対象物検出装置を有する撮像装置の構成を示す図である。
【図9】図9は、第2実施形態における撮像装置の本撮像モードでの対象物検出処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態を図面を参照して説明する。
[第1実施形態]
図1に示すように、本発明の第1実施形態に係る対象物検出装置を有する撮像装置10は、光学系12、ズーム倍率制御部14、測距部16、撮像素子18、メモリ20、顔検出処理部22、被写体距離取得部24、推定顔サイズ算出部26、顔サイズ比較部28、顔領域決定部30、画像表示部32、入力部34、及び制御部36から構成されている。
【0011】
ここで、入力部34は、電源スイッチ、ズームボタン、レリーズボタン、動作モード等の各種設定用のメニューボタン、等々のユーザによって操作される各種のスイッチ及びボタンを含む。
【0012】
制御部36は、ズーム倍率制御部14、測距部16、撮像素子18、メモリ20、顔検出処理部22、被写体距離取得部24、推定顔サイズ算出部26、顔サイズ比較部28、顔領域決定部30、及び画像表示部32を制御する。
【0013】
光学系12は、光学ズームレンズを含む。この光学ズームレンズのズーム倍率は、入力部34を用いたユーザの操作に応じた制御部36から指示に基づいてズーム倍率制御部14により制御される。該ズーム倍率制御部14によって制御されたズーム倍率は、メモリ20に記憶される。
【0014】
測距部16は、複数の測距点において当該撮像装置10から被写体までの距離を計測する。該測距部16が計測した測距点ごとの被写体までの距離は、メモリ20に記憶される。なお、本実施形態では、測距方式は特に限定しない。
【0015】
撮像素子18は、上記光学系12により結像した被写体像を撮像する。該撮像素子18により撮像された画像は、メモリ20に記憶される。
【0016】
顔検出処理部22は、Viola−Jonesの方法などを用いて、メモリ20に記憶された画像から顔領域を検出する。本実施形態では、撮像モードとして、所望被写体の顔サイズを任意に設定するための被写体登録モードと、実際の被写体の写真を撮像する本撮像モードとを有し、該顔検出処理部22は、それら被写体登録モードと本撮像モードの両者で顔検出処理を行う。検出された顔の領域の位置及びサイズは、メモリ20に記憶されると共に、被写体距離取得部24及び画像表示部32へ送信される。
【0017】
なおこのとき、画像表示部32は、上述した被写体登録モードにおいては、撮像素子18で撮像されメモリ20に記憶された画像を、該画像表示部32の画面サイズ(解像度)の画像に変換し、該変換画像上に、上記顔検出処理部22で検出された顔の領域を色付け等の可視化を行って、顔の領域を識別表示する。ユーザは、その表示を見て、画像上の所望の領域が顔の領域として検出されているかを確認することが可能となっている。よって、該顔検出処理部22からメモリ20及び被写体距離取得部24への顔の領域の位置及びサイズの記憶及び送信は、正しく検出されているという入力部34を用いたユーザ確認結果を受けてから実行することが望ましい。
【0018】
被写体距離取得部24は、上記顔検出処理部22で検出された顔の領域の被写体までの距離を取得する。該被写体距離取得部24は、そのような被写体距離取得処理を、上述した被写体登録モードと本撮像モードとの両者で行う。具体的には、被写体距離取得部24は、上記測距部16で計測し上記メモリ20に記憶された測距点ごとの被写体までの距離のうち、上記顔検出処理部22で検出された顔の領域に重なる測距点で計測された被写体までの距離を取得する。この取得された被写体(顔)までの距離は、メモリ20に記憶される。
【0019】
推定顔サイズ算出部26は、上記本撮像モード時に処理を行うものである。即ち、該推定顔サイズ算出部26は、上記被写体登録モードと本撮像モードとの両者における被写体(顔)までの距離及びズーム倍率の各比率を用いて、被写体登録モード時に顔検出処理部22で検出された顔の領域のサイズを、現在の本撮像モードで撮像されている画像上のサイズに換算する。本明細書においては、この換算された顔の領域のサイズを、推定顔サイズと称するものとする。この推定顔サイズ算出部26が算出した推定顔サイズは、メモリ20に記憶されると共に、顔サイズ比較部28へ送信される。なお、推定顔サイズ算出に用いる本撮像モード時の撮像装置10から被写体までの距離は、上記顔検出処理部22で検出された顔の領域に重なる測距点が複数ある場合には、その全ての測距点での被写体までの距離を用いて算出する。
【0020】
顔サイズ比較部28は、上記本撮像モード時に、処理を行うものである。即ち、該顔サイズ比較部28は、該本撮像モードにおいて顔検出処理部22で検出されたそれぞれの顔の領域のサイズを上記推定顔サイズ算出部26で算出された推定顔サイズと比較する。そして、両者がほぼ一致した場合のみ、その顔の領域の位置及びサイズを顔領域決定部30へ送信する。
【0021】
顔領域決定部30は、上記本撮像モード時に、処理を行うものである。即ち、該顔領域決定部30は、上記顔サイズ比較部28より送信された顔の領域を顔領域として決定し、それら決定した全ての顔領域の位置及びサイズを、画像表示部32へ送信する。従って、画像表示部32は、該本撮像モードにおいて撮像素子18で撮像されメモリ20に記憶された画像上に、上記顔領域決定部30で顔領域として決定された領域を色付け等の可視化を行って、顔領域を識別表示する。
【0022】
以下、このような構成の撮像装置10の動作を説明する。
まず、本撮像前に行われる被写体登録モードにおける被写体登録処理の流れを、図2のフローチャートを参照して説明する。
【0023】
ユーザが、入力部34により被写体登録モードに設定して、登録しようとする被写体の撮像を行うと、制御部36の制御の下、撮像時のズーム倍率、各測距点の被写体までの距離、及び撮像された画像がそれぞれズーム倍率制御部14、測距部16、及び撮像素子18よりメモリ20へ記憶される(ステップS10)。
【0024】
次に、制御部36の制御の下、顔検出処理部22は、メモリ20に記憶された撮像画像を読み出し、顔の領域を検出して、その検出した顔の領域の位置及びサイズを画像表示部32に送信する(ステップS12)。そして、制御部36の制御の下、画像表示部32は、メモリ20に記憶された撮像画像を該画像表示部32の画面サイズに変換し、その変換した撮像画像上に、その顔検出処理部22から送信されてきた顔の領域の位置及びサイズに基づく顔の領域の識別表示を行う(ステップS14)。
【0025】
ここで、ユーザ所望の顔の領域が検出されていない場合には(ステップS16)、上記ステップS10に戻って、ユーザは登録しようとする被写体の撮像を再度行うこととなる。
【0026】
これに対して、ユーザ所望の顔の領域が検出された場合には(ステップS16)、その旨が入力部34の操作によりなされ、制御部36の制御の下、顔検出処理部22は、上記ステップ12にて検出した顔の領域の位置及びサイズをメモリ20に記憶し、さらに被写体距離取得部24へ送信する(ステップS18)。
【0027】
次に、制御部36の制御の下、被写体距離取得部24は、顔検出処理部22から送信されてきた顔の領域(検出領域)の位置及びサイズに基づいて、検出された被写体(顔)までの距離をメモリ20より読み出す(ステップS20)。そして、被写体距離取得部24は、その読み出した距離を、メモリ20に記憶する(ステップS22)。これにより、被写体登録処理は終了する。
【0028】
以上のように、メモリ20及び顔検出処理部22は、所望被写体の顔サイズを任意に設定するための顔サイズ設定手段として機能する。また、メモリ20は、予め所望の被写体を撮像した画像を登録する被写体登録手段として機能する。
【0029】
なおここで、測距点について説明する。例えば図3のように、画像をa〜iの領域(以降、分割領域とする)に9分割し、全ての領域に測距点が設けられているとする。図4のように太枠の領域が顔として検出された場合、検出された領域と重なった分割領域(測距点)のうち、重なった面積が最も大きい分割領域の測距点で計測された距離を、撮像装置10から被写体までの距離とする。検出された領域と分割領域を図5に表すと、分割領域b、eが検出された領域と重なっており、そのうち分割領域eが重なった面積が最も大きいため、分割領域eでの測距点で計測した距離が撮像装置10から被写体(顔)までの距離となる。
【0030】
次に、撮像装置10の本撮像モードにおける対象物検出処理を、図6のフローチャートを参照して説明する。この対象物検出処理は、撮像装置10における入力部34のレリーズボタンの1段階目の操作に応じて、そのレリーズボタンの2段階目の操作が行われるまでの間、周知のAF動作と共に繰り返し行われるものである。
【0031】
ユーザが、入力部34により本撮像モードに設定すると、制御部36の制御の下、撮像素子18で撮像された撮像画像がメモリ20に記憶されると共に、撮像時のズーム倍率及び各測距点の被写体までの距離がそれぞれズーム倍率制御部14及び測距部16よりメモリ20へ記憶される(ステップS30)。このメモリ20に記憶された撮像画像は、画像表示部32により、所謂スルー画として表示される。このスルー画は、画像表示部32の画面サイズ(解像度)の画像であるので、画像表示部32にてメモリ20に記憶された撮像画像をその画面サイズに合わせるように変換するものであるが、撮像素子18から間引き読み出し処理したり、全画素読み出し後にメモリ20に記憶する段階でリサイズ処理したりして、予め、画像表示部32の画面サイズ(解像度)に合わせた撮像画像としてメモリ20に記憶するようにしても良い。勿論、顔検出処理部22での顔検出処理の検出率を上げるためには、そのような画像表示部32の画面サイズに合わせた画像にしない方が好ましい。以下、メモリ20には、画像表示部32の画面サイズに合わせていない撮像画像が記憶されているものとして、説明を進める。
【0032】
次に、制御部36の制御の下、顔検出処理部22は、メモリ20に記憶された撮像画像を読み出し、顔の領域を検出して、その検出された顔の領域の位置及びサイズをメモリ20に記憶すると共に、被写体距離取得部24に送信する(ステップS32)。なお、本撮像モードにおいては、顔検出処理部22から画像表示部32への検出された顔の領域の位置及びサイズの送信は行われない。
【0033】
次に、制御部36の制御の下、被写体距離取得部24は、顔検出処理部22から送信されてきた顔の領域(検出領域:顔領域候補)の位置及びサイズに基づいて、検出された被写体(顔)までの距離をメモリ20より読み出す。顔検出処理で複数の領域が検出された場合には、その全ての検出領域について、被写体(顔)までの距離を読み出す。そして、被写体距離取得部24は、それら読み出した距離を、メモリ20に記憶する(ステップS34)。
【0034】
次に、制御部36の制御の下、推定顔サイズ算出部26は、該本撮像モードでのズーム倍率をメモリ20より読み出し(ステップS36)、さらに、被写体登録モード時に記憶された顔のサイズ、被写体(顔)までの距離及びズーム倍率をメモリ20より読み出す(ステップS38)。そして、それら読み出した被写体登録モード時及び本撮像モード時の両者における被写体(顔)までの距離及びズーム倍率の各比率を用いて、被写体登録モード時の顔のサイズを、該本撮像モードにおける撮像画像上の推定顔サイズに換算する(ステップS40)。なお、上述のようにメモリ20に画像表示部32の画面サイズに合わせた撮像画像を記憶するようにしている場合には、その画面サイズに合わせた撮像画像上の推定顔サイズに換算すれば良い。推定顔サイズ算出部26は、こうして算出した推定顔サイズをメモリ20に記憶すると共に、顔サイズ比較部28へ送信する。本撮像モードにおける顔検出処理で複数の顔の領域が検出された場合は、それぞれの顔の領域について推定顔サイズを算出することは言うまでもない。
【0035】
次に、制御部36の制御の下、顔サイズ比較部28は、本撮像モードにおける顔検出処理により検出された検出領域の位置及びサイズをメモリ20より読み出し、その読み出した検出領域のサイズを上記推定顔サイズ算出部26より送信されてきた推定顔サイズと比較する(ステップS42)。具体的には、例えば検出領域のサイズとして、検出領域の縦方向や横方向の長さ(画素数)を用いることができる。この場合、推定顔サイズもそれぞれ縦方向や横方向の長さ(画素数)で表される。そして、上記比較処理においては、検出領域の縦方向又は横方向の長さと、対応する推定顔サイズとしての縦方向又は横方向の長さとの差分を用いることができる。或いは、検出領域の縦方向又は横方向の長さと、対応する推定顔サイズとしての縦方向又は横方向の長さとの比R(%)と、検出領域のサイズと推定顔サイズが完全に一致する場合の比(100%)との差分の絶対値|R−100|(%)を用いても良い。さらに、縦方向の長さ又は横方向の長さの代わりに、縦方向の長さと横方向の長さの積(画素数、即ち面積)を用いることができる。
【0036】
そして、両者のサイズの比または差が所定の閾値以下の場合、つまり両者がほぼ等しい場合には、顔サイズ比較部28は、上記メモリ20より読み出した本撮像モードにおける顔検出処理により検出された検出領域の位置及びサイズを、顔領域決定部30へ送信する。顔領域決定部30は、制御部36の制御の下、その送信されてきた検出領域を顔領域として決定する(ステップS44)。
【0037】
これに対して、両者のサイズの比または差が所定の閾値より大きい場合、つまり両者がほぼ等しくない場合には、顔サイズ比較部28は、上記メモリ20より読み出した検出領域を顔領域決定部30に送信することを行わない。これにより、過検出が抑制できる。
【0038】
そして、顔サイズ比較部28は、全ての検出領域についてのサイズ比較を終了したかを判断し(ステップS46)、まだ終了していなければ、上記ステップS42に戻って、上述の処理を繰り返す。すなわち、本撮像モードにおける顔検出処理で顔の領域が複数検出されている場合は、それぞれの検出領域について顔サイズ比較処理が行われる。
【0039】
而して、全ての検出領域についてのサイズ比較を終了したならば(ステップ46)、制御部36の制御の下、画像表示部32は、メモリ20に記憶されている該本撮像モードで撮像された撮像画像を該画像表示部32の画面サイズに変換し、その変換した撮像画像上の、顔領域決定部30で顔領域として決定された領域に色付け等をして識別表示することで(ステップS48)、該対象物検出処理を終了する。なお、上述したように、メモリ20に予め画像表示部32の画面サイズとされた撮像画像が記憶されている場合には、変換処理は必要ないことは勿論である。
【0040】
以上のように、光学系12及び撮像素子18は、所望のズーム倍率で被写体を撮像する撮像手段として機能し、顔検出処理部22は、撮像された画像内から被写体の顔を検出する顔検出手段として機能し、測距部16及び被写体距離取得部24は、検出された被写体の顔までの距離を測定する被写体距離測定手段として機能し、推定顔サイズ算出部26は、設定された被写体の顔サイズと、測定された被写体の顔までの距離と、撮像時のズーム倍率とから、撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出手段として機能し、顔サイズ比較部28及び顔領域決定部30は、検出された被写体の顔のサイズと推定した推定顔サイズとから求められた評価値が所定の条件を満たす撮像された画像上の領域を顔領域として決定する顔領域決定手段として機能する。
【0041】
<具体例>
本撮像モード時の顔検出結果より、図7のような領域A、Bが検出されたとする。この時の撮像画像上のサイズは、領域Aが70×70pix、領域Bが150×150pixであったとする。本具体例では比較対象のサイズとして縦方向の長さと横方向の長さの積(面積)を用いることにする。この場合、領域Aの面積は4900pix、領域Bの面積は22500pixとなる。
【0042】
推定顔サイズ算出結果より、撮像画像上の推定顔サイズが領域Aでは68×68pix、領域Bでは50×50pixであるとされた場合、領域Aの面積は4624pix、領域Bの面積は2500pixとなる。この場合、顔検出結果による領域の面積の、推定顔サイズ算出結果による面積に対する比は、領域Aについて約106%、領域Bについて900%となる。ここで、領域Aの比と、顔検出結果のサイズと推定顔サイズとが完全に一致する場合の比(100%)との差分は、領域Aと領域Bのそれぞれについて6%、800%となる。仮に閾値を50%とすると、領域Aの比の差分は閾値以下となり、領域Bの比の差分は閾値以上となる。従って、顔領域決定部30では、領域Aのみが顔領域であると決定され、領域Bは顔領域と決定されず、領域Aのみが識別表示されることとなる。
【0043】
以上説明したように、本第1実施形態によれば、ユーザが被写体登録用に撮像をする際に画像から顔検出を行い、検出された顔のサイズ、撮像装置10から被写体までの距離、及び撮像時のズーム倍率を記憶しておき、本撮像モードにおいては、撮像装置10から被写体までの距離及びズーム倍率と登録時に記憶された情報とより画像上の推定顔サイズを算出し、この推定顔サイズと該本撮像モードにおいて顔検出で検出された顔領域のサイズとを比較し、両者がほぼ一致した場合を顔とすることで、過検出を抑制することができる。
【0044】
このように、登録時の情報を用いることで、個々に合った正確な画像上の推定顔サイズを算出することができ、通常の顔検出処理だけでは判別できないような、ペットなどの種類によって顔のサイズが異なる被写体でも、過検出なく検出できるようになる。
【0045】
[第2実施形態]
図8に示すように、本発明の第2実施形態に係る対象物検出装置を有する撮像装置10は、光学系12、ズーム倍率制御部14、測距部16、撮像素子18、メモリ20、顔検出処理部22、被写体距離取得部24、画像表示部32、入力部34、制御部36、及び探索ウィンドウサイズ算出部38から構成されている。
【0046】
ここで、光学系12、ズーム倍率制御部14、測距部16及び撮像素子18については、第1実施形態と同様のものである。
【0047】
探索ウィンドウサイズ算出部38は、本撮像モードにおいて、顔検出処理部22の顔検出処理での探索ウィンドウサイズを算出する。その算出手法については後述する。そして、算出した探索ウィンドウサイズをメモリ20に記憶する。
【0048】
顔検出処理部22は、メモリ20に記憶された撮像画像から顔領域を検出するものであり、上記第1実施形態同様、被写体登録モード及び本撮像モードの両者で顔検出処理を実行する。ただし、被写体登録モード時には、メモリに記憶された撮像画像に対して様々なサイズの探索ウィンドウを用いて探索することで顔の領域を検出するのに対して、本撮像モードにおいては、探索ウィンドウサイズ算出部38で算出してメモリ20に記憶した探索ウィンドウサイズに従ったサイズの探索ウィンドウのみを用いて探索することで顔の領域を検出する。また、検出された領域の位置及びサイズは、被写体登録モード時には、上記第1実施形態同様、メモリ20、被写体距離取得部24及び画像表示部32へ送信されるが、本撮像モード時には、該第2実施形態では画像表示部32へのみ送信される。
【0049】
被写体距離取得部24は、上記顔検出処理部22で検出された顔の領域(検出領域:顔領域候補)の被写体までの距離を取得するものであり、本第2実施形態では、被写体登録モード時にのみ処理が行われる。
【0050】
画像表示部32は、本撮像モード時に撮像素子18で撮像された撮像画像を必要によりその画面サイズに変換した上で、顔検出処理部22で検出された領域を色付けして識別表示する。
【0051】
以下、このような構成の撮像装置10の動作を説明する。
本第2実施形態においては、被写体登録モードの処理に関しては、上記第1実施形態と同様(図2)であるので、その説明は省略する。
【0052】
これに対して、撮像装置10の本撮像モードにおける対象物検出処理は、図9のフローチャートに示すようになる。この対象物検出処理は、撮像装置10における入力部34のレリーズボタンの1段階目の操作に応じて、そのレリーズボタンの2段階目の操作が行われるまでの間、周知のAF動作と共に繰り返し行われるものである。
【0053】
ユーザが、入力部34により本撮像モードに設定すると、制御部36の制御の下、撮像素子18で撮像された撮像画像がメモリ20に記憶されると共に、撮像時のズーム倍率及び各測距点の被写体までの距離がそれぞれズーム倍率制御部14及び測距部16よりメモリ20へ記憶される(ステップS30)。このメモリ20に記憶された撮像画像は、画像表示部32により、所謂スルー画として表示される。以下、メモリ20には、画像表示部32の画面サイズに合わせていない撮像画像が記憶され、画像表示部32にてその画面サイズに合わせるように変換するものとして、説明を進める。
【0054】
次に、制御部36の制御の下、探索ウィンドウサイズ算出部38は、該本撮像モードでの各測距点の撮像装置10から被写体までの距離及びズーム倍率をメモリ20より読み出し(ステップS50)、さらに、被写体登録モードにおいて登録された顔の領域(検出領域)のサイズ、撮像装置10から被写体までの距離、及びズーム倍率を、メモリ20より読み出す(ステップS52)。本撮像モードでの撮像装置10から被写体までの距離は、図4のようなa〜iの9つに分割した領域(分割領域)に測距点があるとすると、a〜iそれぞれの測距点での被写体までの距離を読み出す。そして、全ての距離及びズーム倍率を用いて、被写体登録モード時の顔のサイズを、該本撮像モードにおける撮像画像上のサイズ(推定顔サイズ)に換算し、この推定顔サイズを探索ウィンドウサイズとしてメモリ20に記憶する(ステップS54)。なお、メモリ20に画像表示部32の画面サイズに合わせた撮像画像を記憶するようにしている場合には、その画面サイズに合わせた撮像画像上の推定顔サイズに換算して探索ウィンドウサイズとすれば良い。
【0055】
次に、制御部36の制御の下、顔検出処理部22は、本撮像モードにおいて撮像された撮像画像と探索ウィンドウサイズとをメモリ20から読み出し、探索ウィンドウサイズで分割領域毎に顔検出処理を行い、検出された顔の領域を顔領域として、その位置及びサイズを画像表示部32へ送信する(ステップS56)。探索ウィンドウサイズが複数ある場合は、全てのサイズで顔検出処理を行うまで(ステップS58)、顔検出処理を繰り返す。なお、探索ウィンドウサイズは、探索ウィンドウサイズ算出部38で算出されたサイズを所定の係数で拡大または縮小したサイズとしても良い。
【0056】
而して、全ての探索ウィンドウサイズでの顔検出処理を終了したならば(ステップ58)、制御部36の制御の下、画像表示部32は、メモリ20に記憶されている該本撮像モードで撮像された撮像画像を該画像表示部32の画面サイズに変換し、その変換した撮像画像上の、顔検出処理部22で顔領域として検出された領域に色付け等をして識別表示することで(ステップS48)、該対象物検出処理を終了する。なお、上述したように、メモリ20に予め画像表示部32の画面サイズとされた撮像画像が記憶されている場合には、変換処理は必要ないことは勿論である。
【0057】
以上のように、測距部16及び被写体距離取得部24は、複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定手段として機能し、探索ウィンドウサイズ算出部38は、設定された被写体の顔サイズと、測定された各測距点での被写体までの距離と、所望のズーム倍率での撮像時のズーム倍率とから、撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出手段として機能し、顔検出処理部22は、推定した各測距点での推定顔サイズに基づいて、上記所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出手段として機能する。
【0058】
以上説明したように、本第2実施形態によれば、ユーザが被写体登録用に撮像をする際に画像から顔検出を行い、検出された顔のサイズ、撮像装置10から被写体までの距離、及び撮像時のズーム倍率を記憶しておき、本撮像モードにおいては、撮像装置10から被写体までの距離及びズーム倍率と登録時に記憶された情報とより画像上の推定顔サイズを探索ウィンドウサイズとして算出し、この探索ウィンドウのサイズと探索範囲を限定して顔検出処理を行うことで、過検出を抑制すると共に、顔検出処理の処理速度を高速化することができる。
【0059】
なお、本実施形態は、探索ウィンドウサイズが分割領域よりも小さいことを前提としているが、分割領域よりも大きくても良いことは勿論である。そのような場合には、撮像画像全体を探索範囲として探索すれば良い。
【0060】
以上、実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0061】
例えば、上記実施形態における顔検出処理部22、被写体距離取得部24、推定顔サイズ算出部26、顔サイズ比較部28、顔領域決定部30、及び探索ウィンドウサイズ算出部38の少なくとも一つの機能を実現するソフトウェアのプログラムを、例えば撮像装置10の制御部36を構成するコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記各部の機能を実現することも可能である。
【符号の説明】
【0062】
10…撮像装置、 12…光学系、 14…ズーム倍率制御部、 16…測距部、 18…撮像素子、 20…メモリ、 22…顔検出処理部、 24…被写体距離取得部、 26…推定顔サイズ算出部、 28…顔サイズ比較部、 30…顔領域決定部、 32…画像表示部、 34…入力部、 36…制御部、 38…探索ウィンドウサイズ算出部。

【特許請求の範囲】
【請求項1】
所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、
所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出手段と、
上記顔検出手段で検出された被写体の顔までの距離を測定する被写体距離測定手段と、
上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された被写体の顔までの距離と、上記撮像時のズーム倍率とから、上記撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出手段と、
上記顔検出手段で検出された被写体の顔のサイズと上記推定顔サイズ算出手段で推定した推定顔サイズとから求められた評価値が所定の条件を満たす、上記撮像された画像上の領域を、顔領域として決定する顔領域決定手段と、
を具備することを特徴とする対象物検出装置。
【請求項2】
上記顔サイズ設定手段は、予め所望の被写体を撮像した画像を登録する被写体登録手段を含むことを特徴とする請求項1に記載の対象物検出装置。
【請求項3】
上記被写体登録手段は、上記登録した所望の被写体の画像内から、上記顔検出手段により顔を検出し、該検出された顔のサイズを登録することを特徴とする請求項2に記載の対象物検出装置。
【請求項4】
上記被写体登録手段は、上記所望の被写体を撮像した際の、ズーム倍率と、上記被写体距離測定手段によって測定された被写体の顔までの距離とを、さらに登録し、
上記推定顔サイズ算出手段は、それら登録したズーム倍率及び被写体の顔までの距離と、上記被写体距離測定手段によって測定された被写体の顔までの距離及び上記所望のズーム倍率での撮像時のズーム倍率と、を用いて、上記登録した顔のサイズを、上記所望のズーム倍率で撮像された画像における顔のサイズに換算することを特徴とする請求項3に記載の対象物検出装置。
【請求項5】
所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、
複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定手段と、
上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された各測距点での被写体までの距離と、所望のズーム倍率での撮像時のズーム倍率とから、撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出手段と、
上記推定顔サイズ算出手段で推定した各測距点での推定顔サイズに基づいて、上記所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出手段と、
を具備することを特徴とする対象物検出装置。
【請求項6】
上記顔検出手段は、人、犬及び猫の少なくとも何れかの顔を検出対象とすることを特徴とする請求項1乃至5の何れかに記載の対象物検出装置。
【請求項7】
所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、
所望のズーム倍率で被写体を撮像する撮像手段と、
上記撮像手段で撮像された画像内から被写体の顔を検出する顔検出手段と、
上記顔検出手段で検出された被写体の顔までの距離を測定する被写体距離測定手段と、
上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された被写体の顔までの距離と、上記撮像手段での撮像時のズーム倍率とから、上記撮像手段で撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出手段と、
上記顔検出手段で検出された被写体の顔のサイズと上記推定顔サイズ算出手段で推定した推定顔サイズとから求められた評価値が所定の条件を満たす、上記撮像手段で撮像された画像上の領域を、顔領域として決定する顔領域決定手段と、
を具備することを特徴とする撮像装置。
【請求項8】
上記顔領域決定手段によって顔領域として決定された領域を、上記撮像手段で撮像された画像上に識別表示する画像表示手段をさらに備える請求項7に記載の撮像装置。
【請求項9】
上記撮像手段で撮像された画像は、上記画像表示手段の画面サイズに対応する画像サイズを有することを特徴とする請求項8に記載の撮像装置。
【請求項10】
所望被写体の顔サイズを任意に設定するための顔サイズ設定手段と、
所望のズーム倍率で被写体を撮像する撮像手段と、
複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定手段と、
上記顔サイズ設定手段で設定された被写体の顔サイズと、上記被写体距離測定手段によって測定された各測距点での被写体までの距離と、上記撮像手段での撮像時のズーム倍率とから、上記撮像手段で撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出手段と、
上記推定顔サイズ算出手段で推定した各測距点での推定顔サイズに基づいて、上記撮像手段で撮像された画像内から被写体の顔を検出する顔検出手段と、
を具備することを特徴とする撮像装置。
【請求項11】
上記顔検出手段によって検出された顔の領域を、上記撮像手段で撮像された画像上に識別表示する画像表示手段をさらに備える請求項10に記載の撮像装置。
【請求項12】
上記撮像手段で撮像された画像は、上記画像表示手段の画面サイズに対応する画像サイズを有することを特徴とする請求項11に記載の撮像装置。
【請求項13】
所望被写体の顔サイズを任意に設定するための顔サイズ設定ステップと、
所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出ステップと、
上記検出された被写体の顔までの距離を測定する被写体距離測定ステップと、
上記設定された被写体の顔サイズと、上記測定された被写体の顔までの距離と、上記撮像時のズーム倍率とから、上記撮像された画像における被写体の推定顔サイズを算出する推定顔サイズ算出ステップと、
上記検出された被写体の顔のサイズと上記推定した推定顔サイズとから求められた評価値が所定の条件を満たす、上記撮像された画像上の領域を、顔領域として決定する顔領域決定ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項14】
所望被写体の顔サイズを任意に設定するための顔サイズ設定ステップと、
複数の測距点を有し、各測距点で被写体までの距離を測定する被写体距離測定ステップと、
上記設定された被写体の顔サイズと、上記測定された各測距点での被写体までの距離と、所望のズーム倍率での撮像時のズーム倍率とから、撮像された画像における各測距点での被写体の推定顔サイズを算出する推定顔サイズ算出ステップと、
上記推定した各測距点での推定顔サイズに基づいて、上記所望のズーム倍率で撮像された画像内から被写体の顔を検出する顔検出ステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−25719(P2013−25719A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−162586(P2011−162586)
【出願日】平成23年7月25日(2011.7.25)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】