説明

撮像装置及びそのプログラム

【課題】 メイン被写体の顔を特定することができる撮像装置及びそのプログラムを実現する。
【解決手段】 ユーザは、メイン被写体が身につけているアイテムや着ている服の色等の付随項目を指定する(S3でY)、該指定された付随項目を付随被写体として設定する(S4)。そして、シャッタボタンが半押しされると(S5でY)、画像データ内にある該設定された付随被写体を検出し(S7)、付随被写体が検出されると(S8でY)、該検出された付随被写体に最も近い顔を検出するように顔検出部23を制御し(S9)、顔検出部23は該制御に従って顔を検出する(S10)。そして顔が検出されると(S13でY)、該検出された顔に基づいて、顔検出枠の表示、AE処理、AF処理などの処理を行う(S14、S15)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びそのプログラムに係り、詳しくは、顔検出機能を有した撮像装置及びそのプログラムに関する。
【背景技術】
【0002】
撮像装置においては、撮像された画像データから顔の特徴点を抽出し、予め登録してある顔データとの一致度合に基づいて顔を検出するという技術がある(特許文献1)。
【0003】
【特許文献1】公開特許公報 特開平6−259534
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1の技術によれば、画像データ内に複数の人物がいる場合は、撮影したいメイン被写体となる人以外の顔までも検出してしまい、メイン被写体の顔を特定することは難しかった。
【0005】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、メイン被写体の顔を特定することができる撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的達成のため、請求項1記載の発明による撮像装置は、被写体を撮像する撮像手段と、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体に応じて前記顔検出手段を制御する制御手段と、
を備えたことを特徴とする。
【0007】
また、例えば、請求項2に記載されているように、前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から近い顔を検出させるように前記顔検出制御手段を制御するようにしてもよい。
【0008】
また、例えば、請求項3に記載されているように、前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から所定の範囲内にある顔を検出させるように、前記顔検出手段を制御するようにしてもよい。
【0009】
また、例えば、請求項4に記載されているように、前記顔検出手段は、
顔の特徴データと所定値以上で一致する顔を検出し、
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げるように前記顔検出手段を制御するようにしてもよい。
また、例えば、請求項5に記載されているように、前記顔検出手段は、
顔の特徴データと所定値以上で一致する顔を検出し、
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以上離れた領域における顔検出の前記所定値よりも下げるように前記顔検出手段を制御するようにしてもよい。
【0010】
また、例えば、請求項6に記載されているように、前記顔検出手段により検出された顔が複数ある場合は、該検出された全ての顔、若しくは、検出された顔のうち、前記付随被写体検出手段により検出された付随被写体から最も近い顔を特定する特定手段を備えるようにしてもよい。
【0011】
また、例えば、請求項7に記載されているように、前記制御手段は、
前記付随被写体検出手段により検出された付随被写体を有する顔を検出させるように前記顔検出手段を制御するようにしてもよい。
【0012】
上記目的達成のため、請求項8記載の発明による撮像装置は、被写体を撮像する撮像手段と、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体と所定の条件を満たす前記顔検出手段により検出された顔を特定する特定手段と、
を備えたことを特徴とする。
【0013】
また、例えば、請求項9に記載されているように、前記特定手段は、
前記付随被写体検出手段により検出された付随被写体から所定の範囲内にある前記顔検出手段により検出された顔を特定するようにしてもよい。
【0014】
また、例えば、請求項10に記載されているように、前記特定手段は、
前記付随検出手段により検出された付随被写体を有する前記顔検出手段により検出された顔を特定するようにしてもよい。
【0015】
また、例えば、請求項11に記載されているように、前記特定手段は、
前記付随被写体検出手段により検出された付随被写体に最も近い、前記顔検出手段により検出された顔を特定するようにしてもよい。
【0016】
また、例えば、請求項12に記載されているように、任意の付随被写体を設定する付随被写体設定手段を備え、
前記付随被写体検出手段は、
前記付随被写体設定手段により設定された付随被写体を検出するようにしてもよい。
【0017】
また、例えば、請求項13に記載されているように、前記付随被写体は、
眼鏡、帽子、鞄、服の色のうち少なくとも1つ以上であるようにしてもよい。
【0018】
上記目的達成のため、請求項14記載の発明によるプログラムは、被写体を撮像する撮像手段を備えたコンピュータを、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体に応じて前記顔検出手段を制御する制御手段と、
として機能させることを特徴とする。
【0019】
上記目的達成のため、請求項15記載の発明によるプログラムは、被写体を撮像する撮像手段を備えたコンピュータを、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体と所定の条件を満たす前記顔検出手段により検出された顔を特定する特定手段と、
として機能させることを特徴とする。
【発明の効果】
【0020】
本発明によれば、メイン被写体の顔を特定することができる。
【発明を実施するための最良の形態】
【0021】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
A.デジタルカメラの構成
図1は、本発明の撮像装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮像レンズ2、レンズ駆動ブロック3、絞り4、CCD5、垂直ドライバ6、TG(timing generator)7、ユニット回路8、DMAコントローラ(以下、DMAという)9、CPU10、キー入力部11、メモリ12、DRAM13、DMA14、画像生成部15、DMA16、DMA17、表示部18、DMA19、圧縮伸張部20、DMA21、フラッシュメモリ22、顔検出部23、付随被写体検出部24、バス25を備えている。
【0022】
撮像レンズ2は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮像レンズ2には、レンズ駆動ブロック3が接続されている。レンズ駆動ブロック3は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ(図示略)と、CPU10から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ(図示略)とから構成されている。
【0023】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU10から送られてくる制御信号にしたがって絞り4を動作させる。
絞りとは、CCD5に入射される光の量を制御する機構のことをいう。
露出量は、この絞り値(絞りの度合い)とシャッタ速度によって定められる。
【0024】
CCD5は、垂直ドライバ6によって走査駆動され、一定周期毎に被写体像のRGB値の各色の光の強さを光電変換して撮像信号としてユニット回路8に出力する。この垂直ドライバ6、ユニット回路8の動作タイミングはTG7を介してCPU10によって制御される。また、CCD5は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ6、TG7を介してCPU10を介して制御される。
【0025】
ユニット回路8には、TG7が接続されており、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行なうAGC(Automatic Gain Control)回路、その自動利得調整後のアナログ信号をデジタル信号に変換するA/D変換器から構成されており、CCD5によって得られた撮像信号はユニット回路8を経た後、DMA9によってベイヤーデータの状態でバッファメモリ(DRAM13)に記憶される。
【0026】
CPU10は、AE処理、AF処理、記録処理、表示処理などを行う機能を有すると共に、デジタルカメラ1の各部を制御するワンチップマイコンである。
特に、CPU10は、後述する付随被写体検出部24によって検出された付随被写体に基づいて後述する顔検出部23を制御する制御部101を有する。なお、この制御部101は、付随被写体検出部24も制御する機能を有する。
【0027】
キー入力部11は、半押し操作、全押し操作可能なシャッタボタン、モード切替キー、付随項目指定キー、十字キー、SETキー、メニューキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU10に出力する。
メモリ12には、CPU10がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、CPU10は、該プログラムに従い動作する。
【0028】
DRAM13は、CCD5によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、CPU10のワーキングメモリとしても使用される。
【0029】
DMA14は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部15に出力するものである。
画像生成部15は、DMA14から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号(YUVデータ)の生成も行なう。つまり、画像処理を施す部分である。
DMA16は、画像生成部15で画像処理が施された輝度色差信号の画像データ(YUVデータ)をバッファメモリに記憶させるものである。
【0030】
DMA17は、バッファメモリに記憶されているYUVデータの画像データを表示部18に出力するものである。
表示部18は、カラーLCDとその駆動回路を含み、DMA17から出力された画像データの画像を表示させる。
【0031】
DMA19は、バッファメモリに記憶されているYUVデータの画像データや圧縮された画像データを圧縮伸張部20に出力したり、圧縮伸張部20により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部20は、画像データの圧縮・伸張(例えば、JPEGやMPEG形式の圧縮・伸張)を行なう部分である。
DMA21は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ22に記録させたり、フラッシュメモリ22に記録された圧縮画像データをバッファメモリに記憶させるものである。
【0032】
顔検出部23は、撮像された画像データ内にある顔領域を検出する顔検出処理を行うものである。この顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ(目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ)と画像データとを比較照合することにより、所定値以上で該顔の特徴データと一致する領域を顔であると検出する。
【0033】
付随被写体検出部24は、撮像された画像データ内にある付随被写体(たとえば、眼鏡、帽子、鞄、服の色)の領域を検出する付随被写体検出処理を行うものである。眼鏡、帽子、鞄を検出する場合は、予め記録されている眼鏡の特徴データ、帽子の特徴データ、鞄の特徴データと撮像されたフレーム画像データを比較照合することにより、所定の閾値以上で該特徴データと一致する領域を該付随被写体であると検出する。服の色を検出する場合は、服の色として設定された色を有する領域を検出する。なお、設定された色と全く同一の色を有する領域を検出する必要はなく、所定の閾値以上で一致する色の領域を検出するようにしてもよい。
【0034】
B.デジタルカメラ1の動作について
以下、本実施の形態におけるデジタルカメラ1の動作を図2のフローチャートにしたがって説明する。
【0035】
ユーザのキー入力部11のモード切替キーの操作により撮影モードに設定されると、CPU10は、所定のフレームレートでCCD5による被写体の撮像を開始させ、画像生成部15によって順次生成されてバッファメモリ(DRAM13)に記憶された輝度色差信号のフレーム画像データを表示部20に表示させていく、といういわゆるスルー画像表示を開始する(ステップS1)。
【0036】
次いで、CPU10は、ユーザによって付随項目指定キーが操作されたか否かを判断する(ステップS2)。この判断は、付随項目指定キーの操作に対応する操作信号がキー入力部11から送られてきたか否かにより判断する。
【0037】
ステップS2で、付随項目指定キーの操作が行われていないと判断するとステップS5に進み、ステップS2で、付随項目指定キーの操作が行われたと判断すると、CPU10は、付随項目が指定されたか否かを判断する(ステップS3)。
【0038】
このとき、CPU10は、付随項目指定キーの操作が行われると、付随項目を指定するための画面を表示させる。ここでは、付随項目としては、眼鏡、帽子、鞄、服の色などがあり、ユーザが十字キー及びSETキー等の操作をすることにより、これらの項目のうち1つ以上の項目を指定することができる。この服の色の指定は、複数の色(たとえば、カラーバー等)を表示させ、該表示された色の中から任意の色を指定することができる。
【0039】
ここで、図3(A)は、スルー画像表示されている画像の様子の一例を示す図である。
図3(A)を見ると、被写体である人21、人22、人23、人24が撮像されているのがわかる。ここで、人21の胴体に青、人22の胴体に緑、人23の胴体に赤、人24の胴体に黒と表示がされているが、これは着ている服の色を便宜上示したものである。
【0040】
ここで、ユーザはメイン被写体となる人の顔を検出して欲しいが、単に顔検出処理を行うと、すべての人(人21〜24)の顔を検出しかねない。
したがって、ユーザは、検出して欲しい人が身につけているアイテム(眼鏡や帽子、鞄)や、検出して欲しい人が着ている服の色を付随項目として指定する。
ここでは、人23の顔を検出してほしいので、付随項目として服の色「赤」のみを指定したものとする。
【0041】
ステップS3で、付随項目が指定されていないと判断すると、指定されたと判断するまでステップS3に留まり、付随項目が指定されたと判断すると、CPU10は、該指定された付随項目を付随被写体として設定して(ステップS4)、ステップS5に進む。このとき、CPU10の制御部101は、該設定した付随被写体を検出するように付随被写体検出部24を制御する。ここで、既に付随被写体が設定されている場合は設定の変更を行い、該変更後の付随被写体を検出するように付随被写体検出部24を制御する。なお、ここでは、服の色「赤」が付随項目として指定されたので、赤い服が付随被写体として設定されることになる。
【0042】
ステップS5に進むと、CPU10は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部11から送られてきたか否かにより判断する。
ステップS5で、シャッタボタンが半押しされていないと判断するとステップS2に戻り、ステップS5で、シャッタボタンが半押しされたと判断すると、CPU10は、付随被写体が設定されているか否かを判断する(ステップS6)。
【0043】
ステップS6で、付随被写体が設定されていると判断すると、CPU10は、付随被写体検出部24に、CCD5により撮像され直近にバッファメモリに記憶されたフレーム画像データを出力し、付随被写体検出部24に、該フレーム画像データに対して該設定された付随被写体の検出処理を行わせる(ステップS7)。つまり、直近に撮像され、バッファメモリに記憶されたフレーム画像データ内にある該設定された付随被写体を検出する。付随被写体検出部24は、付随被写体を検出すると、該検出した付随被写体の領域を示す情報(付随被写体領域情報)をCPU10に出力する。付随被写体領域情報とは、画角内における付随被写体の領域の位置、大きさを示す情報のことをいう。これにより、設定された付随被写体を検出することができる。
【0044】
次いで、CPU10は、付随被写体検出処理により付随被写体が検出されたか否かを判断する(ステップS8)。この判断は、付随被写体検出部24から付随被写体領域情報が送られてきたか否かにより判断する。
ステップS8で、付随被写体が検出されていないと判断するとステップS7に戻り、ステップS8で、付随被写体が検出されたと判断すると、CPU10の制御部101は、該検出された付随被写体に応じて、顔検出部23による顔検出を制御する(ステップS9)。この顔検出の制御は、検出された付随被写体に近い顔を検出するように制御する。具体的には、検出された付随被写体から所定距離以上離れた領域(検出された付随被写体から所定範囲以外にある領域)に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くする。これにより、検出された付随被写体から所定距離以上離れた領域にある顔は検出され難くなり、相対的に、この所定距離以上離れた領域にある顔よりも付随被写体から所定距離内にある顔が検出され易くなり、メイン被写体の顔を特定することができる。ここで、この所定値とは言うまでもないが、顔の特徴データと所定値以上で一致する領域が顔であると検出する、この所定値のことである。
なお、顔が検出されない場合は、所定距離を徐々に長くするようにしてもよいし、所定距離内の領域に対する顔検出の所定値を下げていくようにしてもよい。
【0045】
次いで、CPU10は、ステップS7で付随被写体検出部24に出力した直近に撮像されたフレーム画像データ及び付随被写体領域情報を顔検出部23に出力し、顔検出部23に、該制御した顔検出で、該フレーム画像データ内にある顔を検出させる(ステップS10)。つまり、該検出された付随被写体領域に近い顔を検出させる。顔検出部23は、顔を検出すると、該検出した顔の領域を示す情報(顔領域情報)をCPU10に出力する。顔領域情報とは、画角内における顔の領域の位置、大きさを示す情報のことをいう。
【0046】
次いで、CPU10は、顔検出処理により顔が検出されたか否かの判断を行う(ステップS11)。この判断は、顔検出部23から顔領域情報が送られてきたか否かにより判断する。
ステップS11で、顔が検出されていないと判断するとステップS7に戻り、ステップS11で、顔が検出されたと判断するとステップS14に進む。
【0047】
一方、ステップS6で、付随被写体が設定されていないと判断すると、CPU10は、顔検出部23に、CCD5により撮像され直近にバッファメモリに記憶されたフレーム画像データを出力し、顔検出部23に、該フレーム画像データに対して検出処理を行わせる(ステップS12)。つまり、フレーム画像データ内にある顔を検出させる。ここで、ステップS9のように顔検出の制御を特に行っていないので、単に、画像データの全領域に対して、若しくは、画像データの所定の領域(たとえば、画角の中央領域)に対して顔検出処理を行う。顔検出部23は、顔を検出すると、該検出した顔の領域を示す情報(顔領域情報)をCPU10に出力する。
【0048】
次いで、CPU10は、顔検出処理により顔が検出されたか否かの判断を行う(ステップS13)。この判断は、顔検出部23から顔領域情報が送られてきたか否かにより判断する。
ステップS13で、顔が検出されていないと判断するとステップS12に戻り、ステップS13で、顔が検出されたと判断するとステップS14に進む。
【0049】
ステップS14に進むと、CPU10は、該検出された顔をメイン被写体であると特定し、該特定した顔(顔検出部23から送られてきた顔領域情報)に基づいて顔検出枠をスルー画像上に重ねて表示させる。つまり、該検出された(特定された)顔領域の位置に顔検出枠を表示させる。
図3(B)は、付随被写体として、服の色「赤」が設定されたときに、検出された顔(特定された顔)に基づいて表示された顔検出枠の様子を示す図である。
図3(B)を見るとわかるように、赤い服を着た人23の顔に顔検出枠31が表示されているのがわかる。つまり、人23の顔のみが検出され特定されたことがわかる。
【0050】
次いで、CPU10は、該特定された顔に対してAE処理、AF処理を行う(ステップS15)。このAE処理は、特定された顔の領域の輝度信号に基づいて、該顔が適正露出量となるように、シャッタ速度、絞り値を算出して設定する。
【0051】
また、このAF処理は、レンズ駆動ブロック3に制御信号を送ることによりフォーカスレンズを駆動範囲内で移動させ、レンズ位置におけるCCD5により撮像された画像データの特定された顔領域のAF評価値を算出し、AF評価値が最も高くなるレンズ位置にフォーカスレンズを移動させて、ピントを合わせるというものである。このAF評価値はAFエリアの高周波成分に基づいて算出され、AF評価値が高いほどピントが合っているレンズ位置ということになる。なお、複数の顔が検出され特定されている場合は、特定された全ての顔に基づいてAE処理を行うとともに、該特定された全ての顔にピントが合うようにAF処理を行う。
【0052】
次いで、CPU10は、ユーザによってシャッタボタンが全押しされたか否かを判断する(ステップS16)。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部11から送られてきたか否かにより判断する。
ステップS16で、シャッタボタンが全押しされていないと判断すると、CPU10は、シャッタボタンの半押しが解除されたか否かを判断する(ステップS17)。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部11から送られてこなくなったか否かにより判断する。
【0053】
ステップS17で、シャッタボタンの半押しが解除されたと判断するとステップS2に戻り、ステップS17で、シャッタボタンの半押しが解除されていないと判断するとステップS16に戻る。
ステップS16で、シャッタボタンが全押しされたと判断すると、CPU10は、静止画撮影記録処理を行う(ステップS17)。つまり、ステップS15で設定されたシャッタ速度、絞り値で、CCD5に露光させ、該CCD5に蓄積された全画素の電荷信号(画像データ)を読み出し、画像生成部15によって生成され、圧縮伸長部20で圧縮された画像データを、DMA21を介してフラッシュメモリ22に記録する。
【0054】
以上のように、実施の形態においては、付随被写体を検出し、該検出された付随被写体に基づいて、顔を検出して特定するようにしたので、画各内に複数人いる場合であっても、検出したいメイン被写体の人の顔を迅速に特定することができる。
【0055】
[変形例]
上記実施の形態は、以下のような変形例も可能である。
【0056】
(01)上記実施の形態においては、付随項目を眼鏡、帽子、鞄、服の色とし、指定された付随項目を付随被写体として設定するようにしたが、付随項目、設定される付随被写体は、眼鏡、帽子、鞄、服の色に限られず、たとえば、マスク、ネックレス、イヤリング、時計等であってもよく、要は人が身につけるものであり、外形上視認することができるものであればよい。
【0057】
(02)上記実施の形態においては、検出された付随被写体に近い顔を検出し、該検出された顔を特定するようにしたが、付随被写体に近い顔が複数検出された場合は、該付随被写体に最も近い顔のみを特定するようにしてもよい。
【0058】
(03)上記実施の形態においては、1つの付随被写体を設定して顔検出を行う場合について説明したが、複数の付随被写体が設定された場合(たとえば、眼鏡、服の色が付随被写体として設定された場合)は、設定された各付随被写体毎に近い顔をそれぞれ検出し、該検出された顔を全て特定するようにしてもよいし、設定された各付随被写体に近い顔をそれぞれ検出し、該検出された顔のうち、該設定された全ての付随被写体に最も近い顔を1つ特定するようにしてもよい。つまり、設定された各付随被写体に基づいてand条件で顔を特定するようにしてもよいし、or条件で顔を特定するようにしてもよい。
【0059】
(04)また、上記実施の形態においては、1つの付随被写体を設定して顔検出を行う場合について説明したが、同一の付随項目を複数指定することができ、該指定された複数の同一の付随項目を付随被写体として設定することができるようにしてもよい。たとえば、複数の服の色を付随被写体として設定することができるようにしてもよいし、眼鏡や鞄を付随被写体として複数設定することができるようにしてもよい。
このとき、該指定された複数の同一の付随項目を付随被写体として設定した場合は、該設定された各同一の付随被写体毎に近い顔をそれぞれ検出し、該検出された顔を全て特定するようにしてもよいし、該設定された各同一の付随被写体毎に近い顔をそれぞれ検出し、該検出された顔のうち、該設定された全ての付随被写体に最も近い顔を1つ特定するようにしてもよい。
【0060】
(05)また、上記実施の形態においては、ステップS9で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしたが、検出される付随被写体から所定距離以内にある領域に対してのみ顔検出を行わせることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしてもよい。
この場合、検出された付随被写体から所定距離以上離れた領域に対しては、顔検出処理を行なわないため、上記実施の形態よりも検出処理を軽くすることができ、メイン被写体の顔を迅速に特定することができる。また、顔が検出されない場合は、顔が検出されるまで徐々に所定距離を長くするようにしてもよい。
【0061】
(06)また、上記実施の形態においては、ステップS9で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしたが、逆に検出される付随被写体から所定距離以内にある領域に対する顔検出の所定値を下げることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしてもよい。これにより、顔検出の所定値を下げることで少しぐらい顔が隠れている等、検出しにくい顔でも、顔を検出しやすくすることができると同時に、顔検出の所定値を下げる範囲を付随被写体から所定距離以内に制限することによりメイン被写体となる人以外の顔については検出しやすくしないことでメイン被写体の顔を特定することができる。
また、顔が検出されない場合は、顔が検出されるまで顔検出の所定値を下げる所定距離の範囲を徐々に長くしていくようにしてもよいし、顔が検出されるまで顔検出の所定値を徐々に下げていくようにしてもよい。
【0062】
(07)また、上記実施の形態においては、ステップS9で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしたが、検出される付随被写体から所定距離内にある領域に対する顔検出能力を所定距離以上離れた領域に対する顔検出能力よりも高くする、あるいは所定距離以上離れた領域に対する顔検出の特徴データ量を所定距離内にある領域に対する顔検出能力よりも低くすることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしてもよい。この顔検出能力を異ならせる方法としては、検索する目、鼻、口や顔の輪郭等の特徴データ量、顔サイズの比較数、顔回転角度の比較数を異ならせる方法がある。
これにより、メイン被写体の顔が横を向いている場合等であってもメイン被写体の顔を検出して特定することができる。また、この場合、一部の領域についてだけ顔検出能力を上げればよく、あるいは一部の領域以外の領域の顔検出能力を下げることができるので、上記実施の形態よりも顔検出処理の負荷を軽減させることが可能になる。
【0063】
(08)また、上記実施の形態においては、ステップS9で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしたが、検出される付随被写体に対応した所定の範囲の領域内の顔を検出させることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしてもよい。
この顔検出方法は、付随被写体として帽子が設定された場合に特に有効である。例えば、帽子を検出すると、該帽子に対応した所定の範囲内(帽子から下方向にある所定の範囲)にある顔を検出するようにしてもよい。この場合の顔検出処理は、検出された付随被写体と隣接した顔との境目をエッジ検出によって検出し、検出された境目に基づいて顔を検出する方法がある。また、顔検出されない場合は、検出されるまで所定の範囲を徐々に広げていくようにしてもよい。これにより、メイン被写体の顔を迅速に特定することができる。
なお、帽子以外の付随項目が付随被写体として設定された場合であっても適用可能なことは言うまでもない。また、この所定の範囲をスルー画像表示上に表示させるようにしてもよい。
【0064】
(09)また、上記実施の形態においては、ステップS9で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしたが、該検出される付随被写体を含む顔を検出させることにより、検出される付随被写体に近い顔を検出するように顔検出部23を制御するようにしてもよい。この場合は、眼鏡やマスク等の顔に身につける付随項目が付随被写体として設定された場合に限られる。これにより、検出したい人の顔を的確に検出することができる。
【0065】
(10)また、ステップS9の顔検出部23の制御を、上記実施の形態及び上記変形例(05)〜(09)を任意に組み合わせるようにしてもよい。例えば、設定された付随被写体毎に顔検出の制御を異ならせるようにし、眼鏡と帽子が付随被写体として設定された場合は、眼鏡の場合は該眼鏡を含む顔を検出し、帽子の場合は、帽子から所定の範囲の領域内の顔を検出する。
【0066】
(11)また、上記実施の形態においては、シャッタボタン半押し後に、付随被写体検出処理、顔検出処理を行うようにしたが、シャッタボタン半押し前のスルー画像表示中に、付随被写体検出処理、顔検出処理を行い、シャッタボタンが半押しされると、直近に検出された顔検出処理により検出された顔に対してAE処理、AF処理を直ちに行うようにしてもよい。
【0067】
(12)また、上記実施の形態においては、シャッタボタンの半押し前のスルー画像表示中に、付随被写体の設定を行うようにしたが、設定モード等において予め付随被写体の設定を行うようにしてもよい。この場合は、撮影モードに設定されると、ステップS1でスルー画像表示を開始するとそのままステップS5に進み、シャッタボタンが半押しされるまでステップS5に留まる。
【0068】
(13)また、上記実施の形態においては、検出された顔に基づいて、顔検出枠の表示、AE処理、AF処理を行うようにしたが、検出された顔に基づいて他の処理を行うようにしてもよい。この他の処理とは、たとえば、顔が検出されると自動撮影を行う等がある。
【0069】
(14)また、上記実施の形態において、付随被写体検出処理により検出されない場合は、付随被写体検出の閾値を徐々に下げていくようにしてもよい。
【0070】
(15)また、上記実施の形態においては、検出された付随被写体に基づいて顔検出処理を行うようにしたが、顔検出処理を検出された付随被写体に基づかないで行うようにしてもよい。つまり、付随被写体検出処理、顔検出処理をそれぞれ独立に別個に行うようにしてもよい。これによっても、メイン被写体の顔を特定することができる。
そして、顔検出処理により検出された顔のうち、付随被写体検出処理により検出された被写体と所定の条件を満たす顔を特定し、該特定した顔に基づいて、顔検出枠の表示、AE処理、AF処理等の処理を行うようにしてもよい。
【0071】
この所定の条件とは、検出された付随被写体に最も近い顔であってもよいし、検出された付随被写体から所定距離内にある顔であってもよいし、検出された付随被写体を含む顔であってもよい。また、検出された付随被写体に最も近い顔であってもよい。
ここで、付随被写体を服の色「赤」とした場合に、たとえば、図3(A)に示すような被写体を撮像している場合は、人21〜人24の顔が全て検出されるが、服の色「赤」に最も近い顔は人23の顔であるので、該人23の顔が特定されることになる。
【0072】
(16)また、上記変形例(15)において、まず、顔検出処理を行い、検出された顔に基づいて付随被写体検出処理を行うようにしてもよい。この場合は、付随被写体検出処理により付随被写体が検出された場合は、該付随被写体の検出元となった顔を特定し、該特定した顔に基づいて、顔検出枠の表示、AE処理、AF処理等の処理を行うようにしてもよい。これによって、メイン被写体を特定することができる。
【0073】
この検出された顔に基づく付随被写体検出処理とは、検出された顔に近い設定された付随被写体を検出する。この検出された顔に近い設定された付随被写体の検出としては、検出された顔から所定距離以上離れた領域に対する付随被写体検出の閾値を所定距離内にある領域に対する付随被写体検出の閾値よりも高くするようにしてもよいし、検出された顔から所定距離内にある領域に対する付随被写体検出の閾値を所定距離以上離れた領域に対する付随被写体検出の閾値よりも下げるようにしてもよいし、検出された顔から所定距離内にある付随被写体の検出能力を他の領域の検出能力よりも高くするようにしてもよいし、検出された顔から所定距離内にある付随被写体のみを検出するようにしてもよいし、検出された顔内にある該設定された付随被写体を検出するようにしてもよいし、該検出された顔の所定の範囲の領域内にある該設定された付随被写体を検出するようにしてもよい。つまり、上記実施の形態で説明した、顔検出処理を行い、検出された顔に基づく付随被写体検出処理と、逆の処理を行うようにすればよい。
【0074】
この検出された顔に近い設定された付随被写体を検出した場合は、該検出された付随被写体の検出元となった顔(該検出された付随被写体に近い顔)を特定し、該特定した顔に基づいてAF処理等の所定の処理を行うようにする。
【0075】
(17)また、上記変形例(01)乃至(16)を矛盾しない範囲で任意に組み合わせた態様であってもよい。
【0076】
(18)また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
要は、長い露光時間で撮像されたフレーム画像データを記録し、短い露光時間で撮像されたフレーム画像データを画像評価に用いるものであればよい。
【0077】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる機器であれば適用可能である。
【図面の簡単な説明】
【0078】
【図1】本実施の形態のデジタルカメラのブロック図である。
【図2】本実施の形態のデジタルカメラ1の動作を示すフローチャートである。
【図3】スルー画像表示されている画像の様子の一例、及び、付随被写体として、服の色「赤」が設定されたときに、検出された顔に基づいて表示された顔検出枠の様子を示す図である。
【符号の説明】
【0079】
1 デジタルカメラ
2 撮像レンズ
3 レンズ駆動ブロック
4 絞り
5 CCD
6 垂直ドライバ
7 TG
8 ユニット回路
9 DMA
10 CPU
11 キー入力部
12 メモリ
13 DRAM
14 DMA
15 画像生成部
16 DMA
17 DMA
18 表示部
19 DMA
20 圧縮伸張部
21 DMA
22 フラッシュメモリ
23 顔検出部
24 AF制御部
25 バス


【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段と、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体に応じて前記顔検出手段を制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項2】
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から近い顔を検出させるように前記顔検出手段を制御することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から所定の範囲内にある顔を検出させるように、前記顔検出手段を制御することを特徴とする請求項2記載の撮像装置。
【請求項4】
前記顔検出手段は、
顔の特徴データと所定値以上で一致する顔を検出し、
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げるように前記顔検出手段を制御することを特徴とする請求項2記載の撮像装置。
【請求項5】
前記顔検出手段は、
顔の特徴データと所定値以上で一致する顔を検出し、
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以上離れた領域における顔検出の前記所定値よりも下げるように前記顔検出手段を制御することを特徴とする請求項2記載の撮像装置。
【請求項6】
前記顔検出手段により検出された顔が複数ある場合は、該検出された全ての顔、若しくは、検出された顔のうち、前記付随被写体検出手段により検出された付随被写体から最も近い顔を特定する特定手段を備えたことを特徴とする請求項2乃至5の何れかに記載の撮像装置。
【請求項7】
前記制御手段は、
前記付随被写体検出手段により検出された付随被写体を有する顔を検出させるように前記顔検出手段を制御することを特徴とする請求項2記載の撮像装置。
【請求項8】
被写体を撮像する撮像手段と、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体と所定の条件を満たす前記顔検出手段により検出された顔を特定する特定手段と、
を備えたことを特徴とする撮像装置。
【請求項9】
前記特定手段は、
前記付随被写体検出手段により検出された付随被写体から所定の範囲内にある前記顔検出手段により検出された顔を特定することを特徴とする請求項8記載の撮像装置。
【請求項10】
前記特定手段は、
前記付随検出手段により検出された付随被写体を有する前記顔検出手段により検出された顔を特定することを特徴とする請求項8記載の撮像装置。
【請求項11】
前記特定手段は、
前記付随被写体検出手段により検出された付随被写体に最も近い、前記顔検出手段により検出された顔を特定することを特徴とする請求項8記載の撮像装置。
【請求項12】
任意の付随被写体を設定する付随被写体設定手段を備え、
前記付随被写体検出手段は、
前記付随被写体設定手段により設定された付随被写体を検出することを特徴とする請求項1乃至11の何れかに記載の撮像装置。
【請求項13】
前記付随被写体は、
眼鏡、帽子、鞄、服の色のうち少なくとも1つ以上であることを特徴とする請求項1乃至12の何れかに記載の撮像装置。
【請求項14】
被写体を撮像する撮像手段を備えたコンピュータを、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体に応じて前記顔検出手段を制御する制御手段と、
として機能させることを特徴とするプログラム。
【請求項15】
被写体を撮像する撮像手段を備えたコンピュータを、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記撮像手段により得られた画像データ内にある顔を検出する顔検出手段と、
前記付随被写体検出手段により検出された付随被写体と所定の条件を満たす前記顔検出手段により検出された顔を特定する特定手段と、
として機能させることを特徴とするプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2009−164830(P2009−164830A)
【公開日】平成21年7月23日(2009.7.23)
【国際特許分類】
【出願番号】特願2007−341037(P2007−341037)
【出願日】平成19年12月28日(2007.12.28)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】