説明

撮像装置および被写体検出プログラム

【課題】 本発明の目的は、簡単な方法によって被写体検出の処理を高速化することができる撮像装置および被写体検出プログラムを提供することである。
【解決手段】 本発明の撮像装置(11〜26)は、予め定められた被写体検出のパラメータを使用して、画像から被写体の検出を行う撮像装置であって、装置の姿勢を示す情報を取得する姿勢情報取得手段(21、20)と、画像から被写体の検出を行うときに、姿勢情報取得手段によって取得された前記情報が示す装置の姿勢に応じて、被写体検出のパラメータを変更する被写体検出手段(20)とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から被写体を自動検出する撮像装置および被写体検出プログラムに関する。
【背景技術】
【0002】
画像から被写体を自動検出するための手法が数多く提案されている。
【0003】
ところで、近年の画像の高解像度化により、画像から被写体を自動検出するにおいては、その検出処理に時間がかかるようになった。そのため、被写体検出機能を有したデジタルカメラ等で撮影を行う際には、レリーズタイムラグが大きくなったり連写速度が遅くなるなどの問題が起こっている。
【0004】
このような問題を解決する手法として、例えば、特許文献1では、デジタルカメラ等の姿勢に応じて、画像から被写体の顔領域を検出するための検出方法を変更することにより顔検出(被写体検出)の処理を高速化するという手法を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−130468号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、画像において被写体(特に、顔)が写る部分は、一般に、画像中でのカメラの姿勢に応じた特定の領域であることが多い。例えば、カメラを通常の横向きの姿勢にして撮影を行った場合、被写体が逆立ちでもしていないかぎり、撮影された画像には、図9(a)に示すように、被写体(特に、顔)が、画像の上側に重心を置いた領域に写っていることが多い。また、画像に写る被写体(特に、顔)の向きは、カメラの姿勢に応じた特定の向きであることが多い。例えば、カメラを通常の横向きの姿勢にして撮影を行った場合、撮影された画像には、図9(b)に示すように、被写体は、その頭頂部が、通常の場合には上を(1)、横に寝転がっている場合には左(4)又は右(2)を向いた形で写っていることが多く、被写体が逆立ちしている場合のようにその頭頂部が下(3)を向いた形で写っていることは少ない。
【0007】
つまり、画像中の被写体(特に、顔)が写っている部分(領域)や、画像中の被写体の向き(方向)は、カメラの姿勢によって特定することができる。
【0008】
しかし、従来技術は、カメラの姿勢に応じて、顔領域(被写体)の検出方法を変更するものではあるが、画像から被写体の顔領域を検出する際には、画像中の全領域に対して検出処理を行っていた。また、従来技術は、画像中の被写体の方向を考慮して画像から被写体の顔領域を検出するものではなかった。
【0009】
このため、顔検出(被写体検出)の処理を高速化するには、改善の余地があった。
【0010】
また、従来技術のように、カメラの姿勢に応じて検出方法を変更するものであると、カメラがサポートする姿勢の種類に追加がある場合には、それに対応した検出方法も新たに追加する必要があるなど、簡単には、その追加などに対応することができなかった。
【0011】
このため、検出方法を変更するよりも簡単な方法で、顔検出(被写体検出)処理の高速化を実現する必要があった。
【0012】
本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、簡単な方法によって被写体検出の処理を高速化することができる撮像装置および被写体検出プログラムを提供することである。
【課題を解決するための手段】
【0013】
第1の発明の撮像装置は、予め定められた被写体検出のパラメータを使用して、画像から被写体の検出を行う撮像装置であって、装置の姿勢を示す情報を取得する姿勢情報取得手段と、画像から被写体の検出を行うときに、姿勢情報取得手段によって取得された前記情報が示す装置の姿勢に応じて、被写体検出のパラメータを変更する被写体検出手段とを備える。
【0014】
第2の発明は、第1の発明において、被写体検出のパラメータの少なくとも1つは、画像中における被写体の検出を行う領域である検出対象領域と被写体の検出を行わない領域である検出非対象領域との区分を指定するパラメータである。
【0015】
第3の発明は、第1または第2の発明において、被写体検出のパラメータの少なくとも1つは、画像中において検出を有効とする被写体の方向のパターンを指定するパラメータである。
【0016】
第4の発明は、第1〜第3の発明の何れか一の発明において、被写体検出手段は、装置の姿勢にかかわらず、常に横位置の画像を使用して被写体の検出を行う。
【0017】
第5の発明は、第1〜第4の発明の何れか一の発明において、被写体検出手段は、画像を基に、その画像サイズを所定のサイズに縮小した縮小画像を作成すると共に、作成した縮小画像を使用して被写体の検出を行う。
【0018】
第6の発明は、第1〜第4の発明の何れか一の発明において、被写体検出手段は、画像から所定の領域を切り出した部分画像を作成すると共に、作成した部分画像を使用して被写体の検出を行う。
【0019】
第7の発明の被写体検出プログラムは、予め定められた被写体検出のパラメータを使用して、画像から被写体の検出を行う被写体検出プログラムであって、装置の姿勢を示す情報を取得する姿勢情報取得ステップと、画像から被写体の検出を行うときに、姿勢情報取得ステップによって取得された前記情報が示す装置の姿勢に応じて、被写体検出のパラメータを変更する被写体検出ステップとをコンピュータに実行させる。
【0020】
第8の発明は、第7の発明において、被写体検出のパラメータの少なくとも1つは、画像中における被写体の検出を行う領域である検出対象領域と被写体の検出を行わない領域である検出非対象領域との区分を指定するパラメータである。
【0021】
第9の発明は、第7または第8の発明において、被写体検出のパラメータの少なくとも1つは、画像中において検出を有効とする被写体の方向のパターンを指定するパラメータである。
【0022】
第10の発明は、第7〜第9の発明の何れか一の発明において、被写体検出ステップでは、装置の姿勢にかかわらず、常に横位置の画像を使用して被写体の検出を行う。
【0023】
第11の発明は、第7〜第10の発明の何れか一の発明において、被写体検出ステップでは、画像を基に、その画像サイズを所定のサイズに縮小した縮小画像を作成すると共に、作成した縮小画像を使用して被写体の検出を行う。
【0024】
第12の発明は、第7〜第10の発明の何れか一の発明において、被写体検出ステップでは、画像から所定の領域を切り出した部分画像を作成すると共に、作成した部分画像を使用して被写体の検出を行う。
【発明の効果】
【0025】
本発明では、画像から被写体の検出を行うときに、取得した情報が示す装置の姿勢に応じて、被写体検出のパラメータを変更する。
【0026】
従って、本発明を利用すれば、被写体検出のパラメータを変更するのみの簡単な方法によって、被写体検出の処理を高速化することができる。
【図面の簡単な説明】
【0027】
【図1】本実施形態のデジタルカメラのブロック図である。
【図2】デジタルカメラの姿勢及び姿勢情報を説明する図である。
【図3】デジタルカメラの顔検出の動作を示す流れ図である。
【図4】姿勢毎に撮影される画像のイメージ(横位置)を示す図である。
【図5】「非検出マスク」について説明する図である。
【図6】「方向パターン」について説明する図である。
【図7】デジタルカメラの顔検出の動作を示す流れ図(変形例)である。
【図8】姿勢毎に撮影される画像のイメージ(縦位置)を示す図である。
【図9】画像中の被写体の写っている領域と被写体の方向の一般例を示す図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
【0029】
図1は、本実施形態のデジタルカメラのブロック図である。
【0030】
デジタルカメラは、撮像レンズ11およびレンズ駆動部12と、撮像素子13と、アナログ信号処理部14と、タイミングジェネレータ(TG)15と、バッファメモリ16と、画像処理部17と、表示制御部18と、表示部19と、制御部20と、センサ部21と、圧縮/復号部22と、記録インターフェース(記録I/F)23と、記録媒体24と、操作部25と、バス26とを有している。ここで、バッファメモリ16、画像処理部17、表示制御部18、制御部20、センサ部21、圧縮/復号部22、記録I/F23は、バス26を介して接続されている。また、レンズ駆動部12、アナログ信号処理部14、TG15、操作部25は、それぞれ制御部20に接続されている。
【0031】
撮像レンズ11は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図1では撮像レンズ11を1枚のレンズとして図示している。
【0032】
レンズ駆動部12は、制御部20の指示に応じてレンズ駆動信号を発生し、撮像レンズ11を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ11を通過した光束による被写体像を撮像素子13の受光面に形成する。
【0033】
撮像素子13は、CCD型やCMOS型の撮像素子であり、撮像レンズ11の像空間側に配置されている。撮像素子13は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子13の出力はアナログ信号処理部14に接続されている。
【0034】
アナログ信号処理部14は、制御部20の指示に応じて、撮像素子13から出力されたアナログ画像信号に対し、CDS(相関二重サンプリング)、ゲイン調整、A/D変換などのアナログ信号処理を施すと共に、その処理後の画像信号を出力する。なお、アナログ信号処理部14の出力はバッファメモリ16に接続されている。
【0035】
また、アナログ信号処理部14は、制御部20の指示に基づいてゲイン調整の調整量を設定し、それによってISO感度に相当する撮影感度の調整を行う。
【0036】
TG15は、制御部20の指示に基づき撮像素子13およびアナログ信号処理部14に対してタイミングパルスを供給する。撮像素子13およびアナログ信号処理部14の駆動タイミングはそのタイミングパルスによって制御される。
【0037】
バッファメモリ16は、アナログ信号処理部14から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ16は、制御部20により記録媒体24から読み出された画像データや、制御部20による処理の過程で作成された画像データを一時的に記憶する。
【0038】
画像処理部17は、制御部20の指示に応じて、バッファメモリ16の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、解像度変換(画素数変換)などの画像処理を施す。なお、解像度変換(画素数変換)は、表示部19に画像データを表示させる場合などに必要な処理である。画像処理部17は、ASICなどとして構成される。
【0039】
表示制御部18は、制御部20の指示に応じて、画像処理後の画像データに所定の信号処理(例えば、NTSC方式の複合映像信号に変換するための信号処理)を施して表示部19へ出力する。この出力により、画像データが表示部19に表示される。なお、表示部19は、デジタルカメラ筐体の背面などに設けられたLCDモニタや、接眼部を備えた電子ファインダなどである。
【0040】
センサ部21は、デジタルカメラの姿勢を検出するためのセンサ、例えば、傾斜センサなどを含む。制御部20は、このセンサ部21を駆動して、デジタルカメラの姿勢を示す情報(姿勢情報)を取得する。
【0041】
ここで、姿勢情報について、図2を参照して説明する。なお、以下では、LCDモニタの画面が設けられた面をデジタルカメラの正面として説明する。本実施形態においては、図2(a)に示すようにデジタルカメラの底面が重力方向に向けられた姿勢である場合には、例えば、「横」との姿勢情報が取得される。また、図2(b)に示すようにデジタルカメラの左側面が重力方向に向けられた姿勢である場合には、例えば、「縦−90度」との姿勢情報が取得される。また、図2(c)に示すようにデジタルカメラの右側面が重力方向に向けられた姿勢である場合には、例えば、「縦+90度」との姿勢情報が取得される。このように、本実施形態のデジタルカメラでは、「横」と、「縦−90度」と、「縦+90度」との3種類の姿勢情報が取得される。なお、説明の都合上、以下では、姿勢情報の「横」、「縦−90度」、「縦+90度」をデジタルカメラの姿勢を表す呼び名としてそのまま使用する。
【0042】
圧縮/復号部22は、制御部20の指示に応じて、バッファメモリ16の画像データに圧縮処理又は復号処理を施す。なお、圧縮処理及び復号処理は、JPEG(Joint Photographic Experts Group)形式などによって行われる。圧縮/復号部22は、可逆圧縮(いわゆるロスレス符号化)を行うことも可能な構成となっている。
【0043】
記録I/F23には、記録媒体24を接続するためのコネクタが形成されている。記録I/F23は、そのコネクタに接続された記録媒体24にアクセスして、各種データの書き込みや読み出しを行う。制御部20は、撮影時には、この記録I/F23を介して、バッファメモリ16の圧縮処理後の画像データを記録媒体24へ記録する。但し、デジタルカメラが非圧縮記録モードに設定された場合には、制御部20は、バッファメモリ16の画像処理後の画像データを、圧縮処理を施さずに非圧縮のまま記録媒体24へ記録する。また、制御部20は、画像再生時には、記録I/F23を介して、その記録された画像データを記録媒体24から読み出してバッファメモリ16へ記録する。なお、記録媒体24は、半導体メモリを内蔵したメモリカードや、小型のハードディスクなどである。
【0044】
操作部25は、レリーズボタン(シャッターボタン)、モード設定ボタン、メニューボタン、画像再生ボタン等の各種の操作部材を含み、撮影者などのユーザーによる部材操作の内容に応じた操作信号を制御部20に送る。
【0045】
制御部20は、ユーザーによる操作部材の操作内容に応じてデジタルカメラの各部を統括制御する。
【0046】
例えば、モード設定ボタン等の操作によりデジタルカメラが撮影モードに設定されると、制御部20は、レンズ駆動部12、アナログ信号処理部14およびTG15を駆動してスルー画像の撮影を開始する。このとき、撮像素子13はドラフトモード(間引き読み出しモード)で駆動され、スルー画像の画像データがアナログ信号処理部14を介してバッファメモリ16へ順次記録される。制御部20は、そのスルー画像の画像データを基に、レンズ駆動部12と協働して撮像レンズ11の焦点調節制御(AF)を行う。特に、デジタルカメラの顔認識機能として、例えば、顔認識AFが有効にされた場合には、制御部20は、スルー画像の画像データから被写体の顔の部分(顔領域)を検出して、その顔領域に焦点が合うように焦点調節制御(AF)を行う。また、制御部20は、不図示の測光部を駆動して、バッファメモリ16のスルー画像の画像データを基に撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部14などの設定内容を調整する。また、制御部20は、画像処理部17を駆動してバッファメモリ16のスルー画像の画像データに画像処理を施した後、表示制御部18を駆動して画像処理後のスルー画像の画像データを表示部19に順次表示させる(ライブビュー表示)。
【0047】
次に、撮影モードで動作中にレリーズボタンが半押しされると、制御部20は、本撮影に先立ち、レンズ駆動部12と協働して撮像レンズ11の焦点調節制御(AF)を行う。このとき、被写体の顔領域が検出されていれば、その顔領域に焦点が合うように焦点調節制御(AF)が行われる。
【0048】
また、撮影モードで動作中にレリーズボタンが全押しされると、制御部20は、不図示の測光部が算出した評価値に基づき撮影条件(絞り値、シャッター速度、ストロボ発光の有無など)を決定する。そして、制御部20は、決定した撮影条件の下でレンズ駆動部12、アナログ信号処理部14およびTG15を駆動して本撮影を実施する。このとき、撮像素子13はフレームモード(全画素読み出しモード)で駆動され、撮影された画像(本撮影画像)の画像データがアナログ信号処理部14を介してバッファメモリ16へ記録される。この後、制御部20は、画像処理部17を駆動して、バッファメモリ16に記録された本撮影画像の画像データに対し画像処理を施す。また、制御部20は、表示制御部18を駆動して、画像処理後の本撮影画像を表示部19に表示させる。そして、制御部20は、圧縮/復号部22を駆動して、画像処理後の本撮影画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の本撮影画像の画像データを記録I/F23を介して記録媒体24へ記録する。なお、制御部20は、デジタルカメラが非圧縮記録モードに設定された場合には、圧縮/復号部22を駆動することなく、画像処理後の本撮影画像の画像データを非圧縮のまま記録I/F23を介して記録媒体24へ記録する。
【0049】
また、画像再生ボタンが押下されると、制御部20は、記録I/F23を介して、記録媒体24に記録された本撮影画像等の画像データを再生画像の画像データとしてバッファメモリ16へ読み出す。その後、制御部20は、必要に応じて圧縮/復号部22を駆動して、そのバッファメモリ16の画像データに復号処理を施す。また、デジタルカメラの顔認識機能として、例えば、顔認識再生が有効にされた場合には、制御部20は、バッファメモリ16の画像データから被写体の顔領域を検出する。また、制御部20は、必要に応じて画像処理部17を駆動し、バッファメモリ16の画像データに対して必要な画像処理を施す。そして、制御部20は、表示制御部18を駆動して、バッファメモリ16の画像データを表示部19に表示させる。このとき、被写体の顔領域が検出されていれば、表示部19には、その検出を示す枠(検出枠)がその顔領域に重畳された画像が表示されたり、その顔領域を中心にして拡大された画像が表示される。
【0050】
以下、デジタルカメラの顔検出の動作を、図3の流れ図を参照して説明する。図3は、顔認識AFや顔認識再生など、デジタルカメラの顔認識機能が有効にされた場合における撮影や画像再生の動作の中で実行される顔検出処理のフローチャートである。
【0051】
ステップ101(S101):制御部20は、撮影や画像再生の動作によってバッファメモリ16に記録されたスルー画像、本撮影画像、再生画像のうちの何れかの画像データを顔検出処理の対象画像(検出対象画像)として使用するように設定する。
【0052】
なお、本実施形態のデジタルカメラでは、姿勢が「横」の場合には、図4(a)に示すように、LCDモニタ画面に表示されたままの「横位置」の画像が撮影されてバッファメモリ16に記録される。また、姿勢が「縦−90度」の場合には、図4(b)に示すように、LCDモニタ画面に表示された画像を時計回り(右回り)に90度回転した画像が撮影されてバッファメモリ16に記録される。また、姿勢が「縦+90度」の場合には、図4(c)に示すように、LCDモニタ画面に表示された画像を反時計回り(左回り)に90度回転した画像が撮影されてバッファメモリ16に記録される。つまり、本実施形態のデジタルカメラでは、その姿勢にかかわらず、バッファメモリ16に記録されたこれら「横位置」の画像が検出対象画像として使用される。
【0053】
ステップ102:制御部20は、センサ部21を駆動して、デジタルカメラの姿勢を示す情報(姿勢情報)を取得する。但し、顔認識再生などの画像再生の動作により本フローチャートの処理が実行される場合には、制御部20は、再生画像のファイルから姿勢情報を取得する。なお、再生画像のファイルがExif形式に基づいたものであれば、姿勢情報は、そのタグ情報として記録されている。
【0054】
ステップ103:制御部20は、取得した姿勢情報が示すデジタルカメラの姿勢に応じて顔検出のパラメータを決定する。
【0055】
ここで、顔検出のパラメータについて説明する。先ず、第1の顔検出パラメータである「非検出マスク」について、図5を用いて説明する。
【0056】
「非検出マスク」は、検出対象画像中における顔検出の処理を行う領域(検出対象領域)と行わない領域(検出非対象領域)との区分を指定するためのパラメータである。図5に示す「非検出マスク1」〜「非検出マスク3」では、それぞれ、斜線で表した領域により検出非対象領域を指定し、一方、白抜きにして表した領域により検出対象領域を指定する。
【0057】
本実施形態のデジタルカメラでは、姿勢が「横」の場合には、図5(a)に示すように、検出対象画像の上側に重心を置いた領域を検出対象領域として指定するための「非検出マスク1」が用いられる。また、姿勢が「縦−90度」の場合には、図5(b)に示すように、検出対象画像の右側に重心を置いた領域を検出対象領域として指定するための「非検出マスク2」が用いられる。また、姿勢が「縦+90度」の場合には、図5(c)に示すように、検出対象画像の左側に重心を置いた領域を検出対象領域として指定するための「非検出マスク3」が用いられる。
【0058】
つまり、「非検出マスク」は、「横」、「縦−90度」、「縦+90度」の各姿勢で撮影された画像中において、一般的な構図から通常その部分には被写体の顔が存在しないだろうと考えられる領域を検出非対象領域に指定するためのものである。例えば、「横」の姿勢で撮影された画像の下側の部分には逆立ちでもしていない限り被写体の顔が存在することはないと考えられるので、デジタルカメラの姿勢が「横」である場合には、図5(a)に示す「非検出マスク1」を使用して、それを検出対象画像に被せるようにする。これにより、検出対象画像中の顔が存在しないだろうと考えられる領域は検出非対象領域に指定されて、その領域については顔検出の処理が行われない。そのため、顔検出の処理が検出対象画像の全領域に対して行われる場合と比べて、顔検出を高速に行えるようになる。
【0059】
なお、「非検出マスク1」〜「非検出マスク3」の情報は、デジタルカメラのROM(不図示)などの記憶媒体に予め格納されるものである。
【0060】
以上から、制御部20は、取得した姿勢情報が「横」の場合には「非検出マスク1」を、姿勢情報が「縦−90度」の場合には「非検出マスク2」を、姿勢情報が「縦+90度」の場合には「非検出マスク3」を、第1の顔検出パラメータとして決定する。
【0061】
次に、第2の顔検出パラメータである「方向パターン」について、図6を用いて説明する。
【0062】
「方向パターン」は、検出対象画像中において検出を有効とする被写体の顔の向き(方向)のパターンを指定するためのパラメータである。
【0063】
本実施形態のデジタルカメラでは、検出対象画像から、図6(a)の(1)〜(4)に示す4つの方向の顔を検出可能としている。そして、本実施形態のデジタルカメラでは、図6(b)に示すように、姿勢が「横」である場合には、4つのうち(4)、(1)、(2)に示す方向の顔の検出を有効とするように指定するための「方向パターン1」が用いられる。また、姿勢が「縦−90度」である場合には、4つのうち(1)、(2)、(3)に示す方向の顔の検出を有効とするように指定するための「方向パターン2」が用いられる。また、姿勢が「縦+90度」である場合には、4つのうち(1)、(4)、(3)に示す方向の顔の検出を有効とするように指定するための「方向パターン3」が用いられる。
【0064】
つまり、「方向パターン」は、「横」、「縦−90度」、「縦+90度」の各姿勢で撮影された検出対象画像において、一般的な構図から通常その方向なら写るだろうと考えられる顔の方向(少なくとも1つ以上)を検出の対象として指定するためのものである。例えば、検出対象画像が「縦+90度」の姿勢で撮影されたものであるとすれば、被写体が逆立ちでもしていない限り図6(a)の(2)に示す方向の顔は写っていないと考えられる。そのため、本実施形態のデジタルカメラでは、姿勢が「縦+90度」である場合には、図6(a)の(2)を除く(1)、(4)、(3)の方向の顔の検出を有効とするように指定する図6(b)の「方向パターン3」が使用される。これにより、写っていないだろうと考えられる方向の顔については顔検出の処理が行われない。そのため、顔検出の処理が図6(a)の(1)〜(4)に示す全ての方向の顔に対して行われる場合と比べて、顔検出を高速に行えるようになる。
【0065】
なお、図6(b)に示す「方向パターン1」〜「方向パターン3」では、それぞれ3つの方向の顔の検出を有効とするようように指定しているが、「方向パターン」で指定する顔の方向は、3つに限定されず、幾つ指定してもよい。即ち、1つだけ指定してもよく、あるいは全て(図6(a)では4つ)を指定してもよい。例えば、デジタルカメラの姿勢が「横」の場合、顔の方向として、図6(a)の(1)の方向は、通常「方向パターン」で指定する必要があると考えられるが、図6(a)の(4)及び(2)の方向については、被写体が横に寝転がっているようなケースのものであるため、それを顔検出の対象外とするのであればそれら2つの方向を「方向パターン」で指定する必要はない。よって、それら2つの方向を図6(b)の「方向パターン1」から削除すると、デジタルカメラの姿勢が「横」の場合に顔検出が行われる顔の方向は図6(a)の(1)の一方向のみとなるので、顔検出を更に高速に行えるようになる。
【0066】
また、「方向パターン1」〜「方向パターン3」の情報は、デジタルカメラのROM(不図示)などの記憶媒体に予め格納されるものである。
【0067】
以上から、制御部20は、取得した姿勢情報が「横」の場合には「方向パターン1」を、姿勢情報が「縦−90度」の場合には「方向パターン2」を、姿勢情報が「縦+90度」の場合には「方向パターン3」を、第2の顔検出パラメータとして決定する。
【0068】
ステップ104:制御部20は、上記のように決定した顔検出パラメータを使用して、検出対象画像から被写体の顔領域を検出する。
【0069】
つまり、第1の顔検出パラメータとして決定された「非検出マスク」を検出対象画像に被せた上で、その「非検出マスク」の検出対象領域から被写体の顔領域を検出するようにする。このとき、被写体の顔領域の検出は、第2の顔検出パラメータとして決定された「方向パターン」により検出が有効とされる方向の顔についてのみ行うようにする。
【0070】
なお、被写体の顔領域の検出は、第1の顔検出パラメータだけを使用して行うようにしてもよく、もちろん、第2の顔検出パラメータだけを使用して行うようにしてもよい。
【0071】
また、被写体の顔領域の検出は、例えば、特開2006−155096号公報などで開示される従来の「パターンマッチング手法」等を利用して行うようにするとよい。
【0072】
(実施形態の補足事項)
上記では、ステップ101において、撮影や画像再生の動作によってバッファメモリ16に記録された画像データを顔検出処理の対象画像、即ち、検出対象画像としてそのまま使用するように設定した。しかし、顔検出を高速に行うために、例えば、図7のフローチャートに示すように、図3のフローチャートの顔検出処理の一部を変形してもよい。具体的には、図7のフローチャートに示すように、ステップ101において、バッファメモリ16に記録された画像データを基に、その画像サイズを所定のサイズに縮小した縮小画像を作成する。そして、ステップ104の処理の先頭において、その縮小画像を検出対象画像として使用するように設定する。このように、縮小画像を使用して顔検出を行うようにすれば、元の大きな画像サイズの画像を使用する場合と比べて、顔検出の処理でのパターン検索でのデータ量が少なくなるので、顔検出にかかる時間を短縮することができるようになる。但し、そうした場合、第1の顔検出パラメータとして使用される「非検出マスク」の情報については、縮小画像の画像サイズに合わせたものを予め用意してデジタルカメラのROM(不図示)などの記憶媒体に事前に格納しておくようにする。
【0073】
なお、図7のフローチャートでは、縮小画像を作成することによって顔検出にかかる時間を増加させないように、ステップ101の縮小画像を作成する処理と、ステップ102の姿勢検出およびステップ103の顔検出パラメータ決定の処理とを並列に実行させるようにしている。その場合、例えば、制御部20は、画像処理部17を駆動して画像処理部17に縮小画像を作成させる。また、それと並行して、制御部20は、センサ部21を駆動して姿勢情報を取得すると共に、その姿勢情報が示すデジタルカメラの姿勢に応じて顔検出パラメータを決定するようにする。
【0074】
また、バッファメモリ16に記録された画像データから被写体の顔が存在すると考えられる所定の領域を切り出して、その切り出した画像(部分画像)を検出対象画像として使用するようにしてもよい。そうすれば、バッファメモリ16の画像データが検出対象画像として使用される場合と比べて、顔検出の処理でのパターン検索の範囲を狭くすることができるので、顔検出にかかる時間を短縮することができるようになる。なお、そうした場合には、第2の顔検出パラメータである「非検出マスク」は使用しなくてもよいが、顔検出の処理でのパターン検索の範囲を更に狭めたい場合には「非検出マスク」を部分画像に対して被せるとよい。さらに、部分画像を上記のように所定のサイズに縮小して、その縮小した画像を検出対象画像として使用するようにしてもよい。あるいは、上記の縮小画像から被写体の顔が存在すると考えられる所定の領域を切り出して、その切り出した画像を検出対象画像として使用するようにしてもよい。
【0075】
また、上記では、図4(b)に示す「横位置」の画像が検出対象画像として使用されるとしたが、例えば、図8に示すように「縦位置」の画像を検出対象画像として使用する場合には、「非検出マスク」及び「方向パターン」には次のものを使用するようにする。
【0076】
先ず、「非検出マスク」には、図5に示す「非検出マスク1」〜「非検出マスク3」をそれぞれ反時計回り(左回り)に90度回転したものを使用するようにする。なお、その「縦位置」の画像用に使用する各マスクの情報は、デジタルカメラのROM(不図示)などの記憶媒体に予め格納しておくようにする。
【0077】
次に、「方向パターン」には、デジタルカメラの姿勢が図8(a)に示すように「横」の場合は、図6(b)に示す「方向パターン3」を使用するようにする。また、姿勢が図8(b)に示すように「縦−90度」の場合は、図6(b)に示す「方向パターン1」を使用するようにする。また、姿勢が図8(c)に示すように「縦+90度」の場合は、図6(a)の(4)、(3)、(2)に示す方向の顔の検出を有効とするように指定する「方向パターン4」を新たに用意してそれを使用するようにする。なお、その「方向パターン4」の情報は、デジタルカメラのROM(不図示)などの記憶媒体に予め格納しておくようにする。
【0078】
また、上記では、姿勢情報で取得されるデジタルカメラの姿勢は、「横」、「縦−90度」、「縦+90度」の3種類としたが、この3種類に限定されない。
【0079】
また、上述した顔検出の処理は、被写体そのものを検出する場合にも適用することができる。
【0080】
(本実施形態の作用効果)
以上、本実施形態のデジタルカメラでは、顔検出の処理において、姿勢情報が取得され、その姿勢情報が示すカメラの姿勢に応じて、第1の顔検出パラメータである「非検出マスク」が決定される。そして、その第1の顔検出パラメータとして決定された「非検出マスク」を検出対象画像に被せた上で、その「非検出マスク」の検出対象領域から被写体の顔領域が検出される。このため、検出対象画像中の顔が存在しないだろうと考えられる領域は検出非対象領域に指定されて、その領域については顔検出の処理が行われない。
【0081】
従って、本実施形態のデジタルカメラでは、顔検出の処理が検出対象画像の全領域に対して行われる場合と比べて、顔検出を高速に行うことができる。
【0082】
また、本実施形態のデジタルカメラでは、顔検出の処理において、姿勢情報が取得され、その姿勢情報が示すカメラの姿勢に応じて、第2の顔検出パラメータである「方向パターン」が決定される。そして、その第2の顔検出パラメータである「方向パターン」によって検出が有効とされる方向の顔についてのみ顔検出の処理が行われて、その結果、検出対象画像から被写体の顔領域が検出される。このため、「方向パターン」で指定されていない写っていないだろうと考えられる方向の顔については顔検出の処理が行われない。
【0083】
従って、本実施形態のデジタルカメラでは、顔検出の処理が全ての方向の顔に対して行われる場合と比べて、顔検出を高速に行うことができる。
【0084】
また、本実施形態のデジタルカメラでは、顔検出の処理において、撮影や画像再生の動作によってバッファメモリ16に記録された画像データを基に、その画像サイズを所定のサイズに縮小した縮小画像が作成される。そして、その縮小画像を検出対象画像として使用して顔検出の処理が行われる。
【0085】
従って、本実施形態のデジタルカメラでは、元の大きな画像サイズの画像を使用する場合と比べて、顔検出の処理でのパターン検索でのデータ量が少なくなるので、顔検出を高速に行うことができる。
【0086】
また、本実施形態のデジタルカメラでは、顔検出の処理において、撮影や画像再生の動作によってバッファメモリ16に記録された画像データから、被写体の顔が存在すると考えられる所定の領域が部分画像として切り出される。そして、その部分画像を検出対象画像として使用して顔検出の処理が行われる。
【0087】
従って、本実施形態のデジタルカメラでは、元のバッファメモリ16の画像データが検出対象画像として使用される場合と比べて、顔検出の処理でのパターン検索の範囲を狭くすることができるので、顔検出を高速に行うことができる。
【0088】
また、本実施形態のデジタルカメラでは、顔検出の処理において、姿勢情報が示すカメラの姿勢に応じて決定された顔検出パラメータを使用して、検出対象画像から被写体の顔領域が検出される。なお、顔検出パラメータ、即ち、第1の顔検出パラメータである「非検出マスク」と第2の顔検出パラメータである「方向パターン」とは、デジタルカメラのROM(不図示)などの記憶媒体に予め格納されるものである。
【0089】
従って、本実施形態のデジタルカメラでは、姿勢情報が示すカメラの姿勢に応じて顔検出パラメータを変更するのみの簡単な方法によって顔検出を行うことができ、また、デジタルカメラがサポートする姿勢の種類に追加がある場合にも、それに対応した顔検出パラメータを追加するのみで姿勢の種類の追加などに対応することができる。
【0090】
このように、本実施形態のデジタルカメラでは、簡単な方法によって被写体検出の処理を高速化することができる。
【0091】
(その他)
なお、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがCD−ROM等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。
【0092】
また、上記ではデジタルカメラの実施例を説明したが、本発明の画像再生装置は、画像を再生して表示することが可能な他の機器、例えば、携帯電話機やデジタルビデオカメラなどにも適用することが可能である。
【符号の説明】
【0093】
11…撮像レンズ,12…レンズ駆動部,13…撮像素子,14…アナログ信号処理部,15…タイミングジェネレータ(TG),16…バッファメモリ,17…画像処理部,18…表示制御部,19…表示部,20…制御部,21…センサ部,22…圧縮/復号部,23…記録インターフェース(記録I/F),24…記録媒体,25…操作部,26…バス


【特許請求の範囲】
【請求項1】
予め定められた被写体検出のパラメータを使用して、画像から被写体の検出を行う撮像装置であって、
装置の姿勢を示す情報を取得する姿勢情報取得手段と、
画像から被写体の検出を行うときに、前記姿勢情報取得手段によって取得された前記情報が示す前記姿勢に応じて、前記被写体検出のパラメータを変更する被写体検出手段と
を備えたことを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記被写体検出のパラメータの少なくとも1つは、前記画像中における被写体の検出を行う領域である検出対象領域と被写体の検出を行わない領域である検出非対象領域との区分を指定するパラメータである
ことを特徴とする撮像装置。
【請求項3】
請求項1または請求項2に記載の撮像装置において、
前記被写体検出のパラメータの少なくとも1つは、前記画像中において検出を有効とする被写体の方向のパターンを指定するパラメータである
ことを特徴とする撮像装置。
【請求項4】
請求項1〜請求項3の何れか一項に記載の撮像装置において、
前記被写体検出手段は、前記姿勢にかかわらず、常に横位置の前記画像を使用して被写体の検出を行う
ことを特徴とする撮像装置。
【請求項5】
請求項1〜請求項4の何れか一項に記載の撮像装置において、
前記被写体検出手段は、前記画像を基に、その画像サイズを所定のサイズに縮小した縮小画像を作成すると共に、作成した縮小画像を使用して被写体の検出を行う
ことを特徴とする撮像装置。
【請求項6】
請求項1〜請求項4の何れか一項に記載の撮像装置において、
前記被写体検出手段は、前記画像から所定の領域を切り出した部分画像を作成すると共に、作成した部分画像を使用して被写体の検出を行う
ことを特徴とする撮像装置。
【請求項7】
予め定められた被写体検出のパラメータを使用して、画像から被写体の検出を行う被写体検出プログラムであって、
装置の姿勢を示す情報を取得する姿勢情報取得ステップと、
画像から被写体の検出を行うときに、前記姿勢情報取得ステップによって取得された前記情報が示す前記姿勢に応じて、前記被写体検出のパラメータを変更する被写体検出ステップと
をコンピュータに実行させることを特徴とする被写体検出プログラム。
【請求項8】
請求項7に記載の被写体検出プログラムにおいて、
前記被写体検出のパラメータの少なくとも1つは、前記画像中における被写体の検出を行う領域である検出対象領域と被写体の検出を行わない領域である検出非対象領域との区分を指定するパラメータである
ことを特徴とする被写体検出プログラム。
【請求項9】
請求項7または請求項8に記載の被写体検出プログラムにおいて、
前記被写体検出のパラメータの少なくとも1つは、前記画像中において検出を有効とする被写体の方向のパターンを指定するパラメータである
ことを特徴とする被写体検出プログラム。
【請求項10】
請求項7〜請求項9の何れか一項に記載の被写体検出プログラムにおいて、
前記被写体検出ステップでは、前記姿勢にかかわらず、常に横位置の前記画像を使用して被写体の検出を行う
ことを特徴とする被写体検出プログラム。
【請求項11】
請求項7〜請求項10の何れか一項に記載の被写体検出プログラムにおいて、
前記被写体検出ステップでは、前記画像を基に、その画像サイズを所定のサイズに縮小した縮小画像を作成すると共に、作成した縮小画像を使用して被写体の検出を行う
ことを特徴とする被写体検出プログラム。
【請求項12】
請求項7〜請求項10の何れか一項に記載の被写体検出プログラムにおいて、
前記被写体検出ステップでは、前記画像から所定の領域を切り出した部分画像を作成すると共に、作成した部分画像を使用して被写体の検出を行う
ことを特徴とする被写体検出プログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2010−183254(P2010−183254A)
【公開日】平成22年8月19日(2010.8.19)
【国際特許分類】
【出願番号】特願2009−23764(P2009−23764)
【出願日】平成21年2月4日(2009.2.4)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】