撮像装置
【課題】撮像装置において、人体検出をフォーカス制御に利用する。
【解決手段】撮像装置としてのデジタルカメラは、デジタル信号処理回路１８及びシステム制御回路２０を備える。デジタル信号処理回路１８は、時系列上の画像から人体を検出し、人体のサイズ変化を検出する。システム制御回路２０は、人体のサイズ変化を用いてレンズ１０を近距離側あるいは遠距離側のいずれかに移動させ、その後、コントラスト方式によるオートフォーカスを実行する。
【解決手段】撮像装置としてのデジタルカメラは、デジタル信号処理回路１８及びシステム制御回路２０を備える。デジタル信号処理回路１８は、時系列上の画像から人体を検出し、人体のサイズ変化を検出する。システム制御回路２０は、人体のサイズ変化を用いてレンズ１０を近距離側あるいは遠距離側のいずれかに移動させ、その後、コントラスト方式によるオートフォーカスを実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特にフォーカス制御に関する。
【背景技術】
【０００２】
従来から、撮影して得られた画像から被写体としての人体を検出する技術が提案されている。
【０００３】
例えば、下記の特許文献１には、人体のモデルの輪郭の一部または人体の部位を表す閉曲線からなるテンプレートを記憶するテンプレート管理部と、検出の対象とする画像を入力する画像データ受信部と、入力された画像に対して複数のテンプレートを用いてマッチングを行うことにより、その画像の中から人体を検出する頭部位置検出部を備える物体検出装置が開示されている。
【０００４】
また、特許文献２には、２次元画像に含まれる判定対象物の輪郭データを抽出する輪郭抽出手段と、抽出した輪郭データから輪郭の直線部分と曲線部分の比率を算出する形状値生成手段と、予め決められた閾値と形状値生成手段が算出した輪郭データの直線線分と曲線成分の比率とを比較して人間判定を行う判定手段を備える人間形状判定方法が開示されている。
【０００５】
また、特許文献３には、画像からエッジ画像を形成するエッジ画像抽出部と、所定画素のエッジの方向及び所定画素の近隣領域に存在するエッジ画素のエッジ方向と、所定画素と近隣領域に存在するエッジ画素との空間位置関係によって規定したエッジ画素の個数を画像の特徴量として算出し、人物画像の識別精度を向上する装置が開示されている。
【０００６】
また、特許文献４には、標準的な顔の大きさを記憶し、この大きさと撮影した顔の大きさから被写体の顔までの実際の距離を演算することが開示されている。
【０００７】
さらに、特許文献５には、頭部と胴部の寸法の比率に基づいて人物か否かを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１４９１４５号公報
【特許文献２】特開２００３−１３２３４０号公報
【特許文献３】特開２０１０−１１７７７２号公報
【特許文献４】特開２００７−２４８６９８号公報
【特許文献５】特開２００２−２９８１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、デジタルカメラ等の撮像装置で得られた画像に被写体としての人物あるいは人間が含まれている場合、上記のような各種方法でその画像に人物あるいは人間が含まれていることを検出することが可能であるが、人物あるいは人間を検出した場合に、その検出情報をどのように応用するかについては未だ十分な検討がなされていない。
【００１０】
例えば、上記の特許文献１では、画像から人体を検出する技術を施設のセキュリティ管理のために用いることが開示されているにとどまり、より積極的にデジタルカメラ自体の撮影制御に用いることについて何らの言及もない。
【００１１】
本発明の目的は、撮影画像に含まれる人体を検出し、その検出情報を利用してフォーカス制御する装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、撮像装置であって、レンズを含む光学系と、前記光学系で結像された被写体像を電気信号に変換する撮像手段と、前記撮像手段で得られた画像信号のエッジパターンを用いて人体を検出する検出手段と、時系列上で検出された複数の人体のサイズ変化に基づいて前記レンズを駆動してフォーカス制御する制御手段とを備えることを特徴とする。
【００１３】
本発明では、撮像手段で得られた画像信号からエッジを抽出し、このエッジのパターンを用いて人体を検出する。すなわち、エッジのパターンが人体固有、あるいは人体共起のパターンに該当する場合に人体として検出する。本願発明では、このような人体検出処理を時系列上、すなわち、少なくとも異なる２つのタイミングにおいて実行し、異なるタイミングにおける人体検出結果を得る。そして、異なる２つのタイミングにおいて得られた人体のサイズ変化、すなわち人体のサイズが大きくなったか、あるいは逆に人体のサイズが小さくなったかに基づいてフォーカス制御する。人体のサイズが大きくなった場合、被写体である人物とこれを撮影している撮像手段との相対的距離が小さくなったことを意味するから、フォーカスを近距離側に制御する。また、人体のサイズが小さくなった場合、被写体である人物とこれを撮影している撮像手段との相対的距離が大きくなったことを意味するから、フォーカスを遠距離側に制御する。このように、人体検出して得られる人体のサイズ変化に基づいてフォーカス制御することで、人体検出結果を有効活用するとともに、フォーカス制御を安定的かつ迅速に実行することができる。フォーカス制御は、コントラスト方式あるいは位相差方法で実行されるが、本発明における人体検出結果に基づくフォーカス制御は、これらコントラスト方式あるいは位相差方式と組み合わせ、これらの方式を補完するものと位置付けることができる。
【００１４】
本発明の１つの実施形態では、前記制御手段は、前記人体のサイズ変化に基づいて前記レンズを駆動し、その後、画像のコントラストが最大となる位置まで前記レンズを駆動することでフォーカス制御する。
【００１５】
また、本発明の他の実施形態では、前記制御手段は、前記人体のサイズ変化が実質的にない場合に、前記人体のサイズに基づいて前記レンズを駆動してフォーカス制御する。
【００１６】
また、本発明の他の実施形態では、前記制御手段は、前記人体のサイズ変化が時系列上で増大変化である場合に前記レンズを近距離側に駆動し、前記人体のサイズ変化が時系列上で減少変化である場合に前記レンズを遠距離側に駆動する。
【発明の効果】
【００１７】
本発明によれば、人体検出情報を用いてフォーカス制御することができる。これにより、フォーカス制御をより安定的に、あるいはより迅速に実行することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態におけるデジタルカメラの構成図である。
【図２】実施形態のフォーカス制御フローチャートである。
【図３】実施形態の人体検出フローチャートである。
【図４】人体のエッジパターンを示す説明図である。
【図５】実施形態のレンズ移動位置を示す説明図である。
【図６】サイズ変化量とレンズ移動量との関係を示すグラフである。
【発明を実施するための形態】
【００１９】
以下、図面に基づき本発明の実施形態について説明する。但し、以下の実施形態は例示であり、本発明は以下の実施形態に限定されるものではない。
【００２０】
まず、本実施形態における撮像装置としてのデジタルカメラの基本構成について説明する。
【００２１】
図１に、本実施形態におけるデジタルカメラの構成ブロック図を示す。レンズ１０、シャッタ・絞り１２を介して被写体像は撮像素子１４に結像する。撮像素子１４は、被写体像を電気信号に変換し、アナログ画像信号としてアナログ前処理回路（アナログフロントエンド）１６に出力する。絞りは、システム制御回路２０からの露光制御信号により駆動制御される（露出制御：ＡＥ）。また、レンズ１０は、システム制御回路２０からのフォーカス制御信号により駆動制御される（フォーカス制御：ＡＦ）。
【００２２】
なお、撮像素子１４には、ＩＲカットフィルタ、光学ローパスフィルタ、カラーフィルタアレイ等の光学フィルタが設けられている。撮像素子１４は、ＣＣＤ撮像素子やＣＭＯＳ撮像素子が用いられる。
【００２３】
アナログ前処理回路（アナログフロントエンド）１６は、アナログアンプ、ゲインコントローラ及びＡＤコンバータを備え、撮像素子１４からのアナログ画像信号を増幅し、デジタル画像信号に変換してデジタル信号処理回路１８に出力する。
【００２４】
デジタル信号処理回路１８は、供給されたデジタル画像信号に対し、ゲイン補正（ホワイトバランス調整）、ガンマ補正、同時化処理、ＲＧＢ−ＹＣ変換、ノイズ低減処理、輪郭補正、ＪＰＥＧ圧縮の各処理を実行する。
【００２５】
ゲイン補正（ホワイトバランス調整）は、光源色温度によるＲＧＢのバランスを補正する処理であり、入力されたＲ信号、Ｇ信号、Ｂ信号のゲインをそれぞれ調整する。ゲインを調整する方法としては、光源の種類（太陽光、電灯光）等をユーザが手動で入力し、入力された光源に基づいてゲインを調整する方法、撮影光源下に白やグレーの物体を配置し、これらをカメラで撮影して補正する方法、カメラで光源を自動的に判断して補正する方法（オートホワイトバランス）がある。
【００２６】
ガンマ補正は、撮像素子１４の出力特性をディスプレイの入出力特性に合わせる処理である。
【００２７】
同時化処理は、Ｂａｙｅｒ配列のカラーフィルタを用いた単板撮像方式において１つの画素に１つの色の信号しか存在しないため、足りない色の信号を近隣の画素の色信号から演算して算出する処理である。同時化処理の方法として、近隣の画素の値を平均する方法、注目画素からの距離に応じて加重平均する方法等がある。
【００２８】
ＲＧＢ−ＹＣ変換処理は、同時化処理されたＲ信号、Ｇ信号、Ｂ信号をＹ信号、Ｃｂ信号、Ｃｒ信号に変換する処理である。すなわち、
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｃｂ＝Ｂ−Ｙ
Ｃｒ＝Ｒ−Ｙ
により輝度信号のＹ信号、色差信号のＣｂ信号、Ｃｒ信号に変換する。
【００２９】
ノイズ低減処理は、メディアンフィルタ等を用いてパルス性のノイズのような孤立点を除去する処理である。この処理によりノイズは除去されるが同時に解像度も低下するため、通常、色差信号Ｃｂ，Ｃｒに対して実行される。
【００３０】
輪郭補正処理は、光学的ローパスフィルタ等の影響によるＭＴＦ（Modulation Transfer Function）の低下を補正するための処理であり、輪郭抽出処理とノンリニア処理により原画像信号に輪郭信号を付加する。通常、輪郭補正処理は、輝度信号に対して実行される。
【００３１】
ＪＰＥＧ圧縮は、輝度信号のＹ信号、色差信号のＣｂ信号、Ｃｒ信号それぞれを８画素×８画素のブロックに分割し、各ブロック毎にＤＣＴ変換、量子化、ハフマン符号化を順次行い圧縮する。
【００３２】
デジタル信号処理回路１８は、以上のような処理により圧縮された画像信号をデータバス２２を介してバッファメモリ２８に格納し、バッファメモリ２８に格納された画像データを読み出して液晶モニタ２６に表示する。あるいは、画像信号をメモリカード２４に記憶する。
【００３３】
システム制御回路２０は、各種操作スイッチ（ＳＷ）１９から入力された信号に基づき各部の動作を制御する。例えば、シャッタボタンの操作信号に基づいて各部の動作を制御し、撮影して得られた画像信号を液晶モニタ２６に表示し、あるいはメモリカード２４に記憶する。また、撮影に際し、既述したように露出制御（ＡＥ）及びフォーカス制御（ＡＦ）を実行する。フォーカス制御に関しては、コントラスト検出式ＡＦとＴＴＬ位相差検出式ＡＦがある。コントラスト検出式ＡＦでは、撮像画像のコントラスト最大点を合焦位置とするもので、現在位置からフォーカスを少し動かし、コントラストが減少した場合に逆方向に、コントラストが増大した場合にさらに同方向に動かし、どちらの方向に動かしても減少する場合に当該位置を合焦位置とするものである（所謂山登り法）。ＴＴＬ位相差検出式ＡＦでは、レンズ透過光を測距ユニットで計測し、レンズの合焦位置を決定するものであり、測距ユニットでは合焦位置からのずれの方向及びずれ量に応じて像が左右に移動することを利用して合焦位置を決定する。
【００３４】
このような構成において、デジタル信号処理回路１８は、上記の各処理を実行するとともに、得られた画像信号に人体が含まれているか否かを検出する人体検出処理を実行し、その検出結果をシステム制御回路２０に出力する。
【００３５】
システム制御回路２０は、デジタル信号処理回路１８からの人体検出情報を用いて、フォーカス制御を実行する。すなわち、システム制御回路２０は、従来のフォーカス制御に加え、人体検出情報を用いてフォーカス制御を実行する。具体的には、人体検出情報に含まれる人体のサイズ変化を利用して、被写体である人物とカメラとの相対距離の変化を検出し、これに合わせてレンズ１０を駆動してフォーカス制御する。この意味において、本実施形態における「人体検出」とは、撮影画像に人体が含まれているか否かを判定し、人体が含まれている場合に、その人体の撮影画像におけるサイズを検出する処理を含むものである。人体のサイズとは、より特定的には人体の上半身のサイズであり、上半身のサイズには、頭部のサイズ（頭部の長さ、頭部の幅）、肩部のサイズ（肩幅）、頭部のサイズと肩幅のサイズの比率等が含まれる。サイズは、頭部や肩部を構成する画素数で規定される。
【００３６】
図２に、本実施形態におけるフォーカス制御の処理フローチャートを示す。まず、ユーザがシャッタボタンを半押ししてＳ１をオンすると（Ｓ１０１）、システム制御回路２０はまず撮像素子１４、アナログ前処理回路１６、デジタル信号回路１８を動作させて撮像素子１４の撮像画像信号を繰り返し読み出し、データバス２２を介して液晶モニタ２６に表示する。また、読み出した画像信号を用いてコントラストＡＦを実行して合焦制御する（Ｓ１０２）。次に、デジタル信号処理回路１８は、あるタイミング（これをｔ１とする）において撮像素子１４より読み出される撮影画像信号から人体を検出する（Ｓ１０３）。以下では、人体検出処理及びその検出処理による検出結果を総称してＨＢＤ（Human Body Detection）とし、時刻ｔ１における人体検出結果をＨＢＤ１とする。また、次のタイミング（これをｔ２とする）において撮影画像から人体を検出する（Ｓ１０４）、時刻ｔ２における人体検出結果をＨＢＤ２とする。なお、人体検出の詳細については後述する。
【００３７】
所定の時間ｔ１，ｔ２において人体検出結果ＨＢＤ１，ＨＢＤ２が得られた後、デジタル信号処理回路１８は、これらの人体検出結果が等しいか否かを判定する（Ｓ１０５）。人体検出結果が等しいか否かは、人体検出で得られる人体の像のサイズが実質的に等しいか否かで判断する。
【００３８】
例えば、ＨＢＤで検出される人体の頭部の像の長さをサイズと定義し、このサイズが実質的に等しいか否かを判定する。実質的に等しいか否かは、両者のサイズの差が所定の許容範囲内にあるか否かで判定する。
【００３９】
人体のサイズは、その像における頭部の長さの他、頭部の幅、肩部の幅、頭部の幅と肩部の幅との和、頭部の長さと肩部の長さの和等で定義してもよく、これらを複合的に組み合わせてもよい。人体検出は、撮影画像から抽出されるエッジパターンを用いて行われるから、その際に抽出される人体固有のエッジパターンを用いてサイズを検出することが好適である。具体的には、頭部の曲線状のエッジと肩部の曲線状のエッジとの組み合わせで人体を検出する場合において、その像における頭部のエッジの幅を人体のサイズとみなす、あるいは頭部のエッジの幅と肩部のエッジの幅の和を人体のサイズとみなす等である。
【００４０】
なお、人体のサイズは、被写体である人物とカメラとの相対距離変化だけでなく、カメラに対する人物の向きの変化によっても変化し得るが、例えば人体のサイズをその像における頭部の幅と定義した場合、人物が多少横を向いたとしてもそのサイズ変化は距離の変化によるサイズ変化に比べて小さいため無視してよい。もちろん、向きの変化によるサイズ変化を考慮し、人物の向きが変化してもあまり変化しない部位のサイズを人体のサイズとして定義してもよい。例えば、頭部の長さと肩部の長さの和を人体のサイズと定義する等である。
【００４１】
そして、人体検出結果ＨＢＤ１，ＨＢＤ２が等しくない場合、デジタル信号処理回路１８は、次に、ＨＢＤ１がＨＢＤ２よりも大きいか否か、つまり時刻ｔ１で得られた人体のサイズが、時刻ｔ２で得られた人体のサイズよりも大きいか否かを判定する（Ｓ１０６）。ＨＢＤ１がＨＢＤ２よりも大きい場合、撮影画像内の人物がカメラに対して相対的に遠ざかったためにＨＢＤ１＞ＨＢＤ２となったものと判定し、システム制御回路２０に判定結果を出力する。システム制御回路２０は、デジタル信号処理回路１８からの判定結果に応じ、ＨＢＤ１とＨＢＤ２の差からレンズの移動量を算出する（Ｓ１０７）。具体的には、例えば予め両者の差とレンズ移動量との関係を規定するテーブルをメモリに記憶しておき、このテーブルを参照することで差に対応する移動量を決定する。そして、システム制御回路２０は、算出されたレンズの移動量でレンズ１０を遠距離側に移動させる（Ｓ１０８）。なお、Ｓ１０７でレンズの移動量を算出するのは、たとえＨＢＤ１とＨＢＤ２の比較により被写体の動きを検出したとしても、レンズ１０の移動量が大きいため合焦位置を行き過ぎてしまうと意味がないからである。
【００４２】
一方、ＨＢＤ１がＨＢＤ２よりも小さい場合（Ｓ１０６でＮＯと判定された場合）、撮影画像内の人物がカメラに対して相対的に近づいたためにＨＢＤ１＜ＨＢＤ２となったものと判定し、システム制御回路２０に判定結果を出力する。システム制御回路２０は、デジタル信号処理回路１８からの判定結果に応じ、ＨＢＤ２とＨＢＤ１の差からレンズの移動量を算出し（Ｓ１１０）、算出されたレンズの移動量でレンズ１０を近距離側に移動させる（Ｓ１１１）。
【００４３】
以上のようにして、ＨＢＤ１とＨＢＤ２の相違に応じたレンズの移動量でレンズ１０を遠距離側あるいは近距離側に移動させた後、システム制御回路２０はさらにコントラスト方式ＡＦを実行する（Ｓ１０９）。すなわち、現在位置からレンズを少し動かし、コントラストが減少した場合に逆方向に、コントラストが増大した場合にさらに同方向に動かし、どちらの方向に動かしても減少する場合に当該位置を合焦位置とする。この際、Ｓ１０８あるいはＳ１１１でレンズ１０を正しい方向に前もって移動させているため、従来よりも高速に合焦位置を決定することができる。
【００４４】
また、ＨＢＤ１とＨＢＤ２が等しい場合（Ｓ１０５にてＮＯ）、人物はカメラに対して相対的に静止していると判定し、判定結果をシステム制御回路２０に出力する。システム制御回路２０は、判定結果に基づき、ＨＢＤ１あるいはＨＢＤ２に基づいて人物までの測距を行い、ＡＦを実行する（Ｓ１１２）。すなわち、ＨＢＤ１あるいはＨＢＤ２のサイズから、カメラと人物との間の距離が一義的に決定され、決定された距離に応じてレンズ１０を移動させる。具体的には、予めサイズと距離との関係を規定するテーブルをメモリに記憶しておき、このテーブルを参照することでＨＢＤ１あるいはＨＢＤ２のサイズに対応する距離を決定する。一例として、予め頭部のサイズとレンズの焦点距離に対する被写体までの距離の関係を規定するテーブルをメモリに記憶しておく。頭部の上下方向のサイズ（頭部の長さ）Ａ、焦点距離２８ｍｍの場合には被写体までの距離５０ｃｍ等である。上記の特許文献４には、標準的な顔の大きさを記憶し、この大きさと撮影した顔の大きさから被写体までの実際の距離を演算することが記載されており、例えばこのような技術を用いてもよい。もちろん、ＨＢＤ１とＨＢＤ２が等しい場合には、被写体である人物とカメラとの相対的距離が実質的に変化していないことを意味するから、レンズ１０を駆動することなくそのまま維持してもよいのは言うまでもない。
【００４５】
なお、以上は人物の上半身の実サイズが予め既知であることを前提としているが、人物の上半身の実サイズは、人物の年齢に応じて変化し得る。すなわち、一般的に子供の実サイズは成人よりも小さい。そこで、ＨＢＤ１あるいはＨＢＤ２から人物の年齢を推定し、サイズ及び推定した年齢からカメラと人物との距離を決定してもよい。具体的には、ＨＢＤ１あるいはＨＢＤ２において、頭長と肩幅の比率を算出し、算出した比率を用いて年齢を推定する。一般的に、子供の場合は頭部が大きく、このため比率＝頭長／肩幅は成人の比率よりも大きくなる。そこで、予め比率と年齢との関係を規定するテーブルをメモリに記憶しておき、ＨＢＤ１あるいはＨＢＤ２における比率に対応する年齢を決定する。もちろん、この比率は性差あるいは人種によっても変化し得るため、これらのファクタを考慮して年齢を推定してもよい。年齢を推定した後、予めＨＢＤの像のサイズ及び年齢と距離との関係を規定するテーブルをメモリに記憶しておき、このテーブルを参照することで人物までの距離を決定する。
【００４６】
Ｓ１１２の処理において、ＨＢＤのサイズに基づき実行されたフォーカス制御に加え、補完的にコントラスト方式ＡＦを実行してもよい。すなわち、テーブルを参照して距離を決定し、レンズ１０を移動させた後、その位置からさらにレンズ１０を動かしてコントラストの変化を検出し、コントラスト最大となる合焦位置を決定してもよい。以上のようにしてフォーカス制御した後、ユーザがシャッタボタンを全押ししてＳ２がオンとなったか否かを判定し（Ｓ１１３）、Ｓ２がオンとなるとシステム制御回路２０は撮影処理（Ｓ１１４）を行い、得られた撮影画像を液晶モニタ２６に表示し、またメモリカード２４に格納する。Ｓ２がオンされなければ、Ｓ１０３以降の処理を繰り返す。
【００４７】
図３に、人体検出の処理フローチャートを示す。まず、デジタル信号処理回路１８は、上記の各処理により画像を取得する（Ｓ２０１）。次に、得られた画像からエッジを抽出する（Ｓ２０２）。このエッジ抽出処理は、輪郭補正処理における輪郭抽出結果をそのまま援用してもよく、あるいはこれと別個にエッジを抽出してもよい。
【００４８】
エッジを抽出した後、デジタル信号処理回路１８は、抽出されたエッジのパターンが、予め決められた人物の上半身のエッジパターンと一致するか否かを判定する（Ｓ２０３）。上半身のエッジパターンは、予めテンプレートとしてデジタル信号処理回路１８のメモリに記憶しておく。そして、抽出したエッジパターンが、上半身のエッジパターンと一致する場合には、当該抽出したエッジから人体を検出する（Ｓ２０４）。
【００４９】
図４に、撮影画像５０から人体を検出する処理を模式的に示す。撮影画像５０に人体５２が写っているものとする。人体の頭部には、円弧状のエッジ６０が存在する。また、人体の肩部にも、曲線状のエッジ６２，６４が存在する。これらのエッジ６０，６２，６４をテンプレートとしてメモリに記憶しておき、撮影画像から抽出したエッジにこれらのテンプレート６０，６２，６４と一致するパターンが存在するか否かを判定する。もちろん、撮影画像５０内の人体５２のサイズは種々であるため、相似形のものは一致するとみなすことができる。もちろん、サイズの異なる複数のテンプレートを予め用意してもよい。このように、顔部のエッジと肩部のエッジがともに検出された場合に、被写体から人体を検出することができる。
【００５０】
あるいは、頭部の直線上のエッジと、肩部の直線上のエッジとの組み合わせ６６をテンプレートとして用意してもよい。
【００５１】
図５に、本実施形態におえるフォーカス制御の様子を示す。図において、横軸はフォーカス量（レンズ位置）であり、縦軸は画像のコントラストである。図中、Ｐ０がレンズ１０の現在位置であるとする。通常のコントラスト方式ＡＦでは、レンズ１０をＰ０から例えばＰ１の方向に動かしてコントラストの変化を検出する。Ｐ０におけるコントラストよりＰ１におけるコントラストが減少した場合、レンズをＰ０に対してＰ１と反対方向のＰ２まで動かし、再びコントラストの変化を検出する。Ｐ０におけるコントラストよりＰ２におけるコントラストが増加した場合、さらに同一方向にレンズ１０を動かす。同一方向への移動を複数回繰り返した後（Ｐ２，Ｐ３，Ｐ４、・・・Ｐｎ，Ｐｎ＋１，・・・）、コントラストが逆に減少した場合、コントラスト最大となる位置を合焦位置として決定する。
【００５２】
これに対し、本実施形態では、ＨＢＤ１とＨＢＤ２の大小関係に応じてレンズ１０を近距離側あるいは遠距離側に直ちに移動させるため、例えばＰ０からＰｎまでレンズを移動させる。その後、Ｐｎを開始点としてコントラスト方式ＡＦを実行するので、従来よりも迅速に合焦位置を決定できる。
【００５３】
なお、ＨＢＤ１は、通常のコントラスト方式ＡＦでフォーカス制御された状態において検出され、フォーカスをその状態で維持したままＨＢＤ２を検出するため、ＨＢＤ２を検出する際には多少ともフォーカスがずれた状態で検出することになるが、エッジパターンを検出できる程度の合焦状態であれば足りるので問題はない。
【００５４】
図６に、図２のＳ１０７及びＳ１１０でレンズ移動量を算出する際のＨＢＤ１とＨＢＤ２のサイズ変化量とレンズ移動量との関係の一例を示す。図において、横軸はサイズ変化量であり、ＨＢＤ１に対してＨＢＤ２のサイズが増大する場合を＋、ＨＢＤ１に対してＨＢＤ２のサイズが減少する場合を−で示す。また、縦軸はレンズ１０の移動量であり、近距離側を＋、遠距離側を−で示す。サイズの変化量が大きくなるほど、レンズの移動量も比例して増大する。すなわち、変化量が＋Δ１のときのレンズ移動量を＋Ｍ（つまり、サイズが大きくなるとレンズ１０を近距離側にＭ１だけ移動させる）とすると、変化量が＋Δ１より大きい場合にはレンズ１０の移動量も＋Ｍ１よりも大きくする。これにより、レンズ１０を合焦位置のより近傍まで移動させることが可能となる。もちろん、サイズの変化量によらずにレンズ１０の移動量を一定値とすることも可能である。
【００５５】
また、本実施形態では、人物の頭部のエッジと肩部のエッジの組み合わせを用いて人体を検出しているが、図４に示したテンプレート６０，６２，６４以外のテンプレートを用いることができる。
【００５６】
例えば、人物が正面を向いていない場合には、頭部のエッジや肩部のエッジも変化するが、このような場合にも、予め種々の姿勢における頭部のエッジ及び肩部のエッジを抽出してテンプレートとして記憶しておけばよい。具体的には、標準体型のモデルを種々の姿勢で撮影し、得られた頭部及び肩部のエッジをテンプレートとして記憶しておく。もちろん、正面を向いた姿勢において頭部及び肩部のエッジを基準テンプレートとし、いくつかの姿勢におけるテンプレートをこの基準テンプレートから演算により生成してもよい。
【００５７】
また、本実施形態ではテンプレートマッチングにより人体検出を行っているが、他の方法で人体検出してもよい。例えば、エッジを検出し、検出したエッジを直線部分と曲線部分とに分類し、直線部分と曲線部分の比率が一定の範囲内にあるときに人体と検出してもよい。要するに、画像から抽出したエッジが人体に共起するエッジであるか否かを判定する任意のアルゴリズムを用いることができる。
【００５８】
また、本実施形態では、図２のＳ１１２において、ＨＢＤ１あるいはＨＢＤ２に基づいて人物までの測距を行い、フォーカス制御しているが、上記のように、頭部のサイズや頭部と肩部の比率等は年齢、性別、個人差により変化し得るため、標準的な人物（例えば標準的な成人男性）を基準とした場合には個人差等により測距精度に影響を与える。具体的に測距精度に影響を与える因子を列挙すると、以下の通りである。
（１）個人差
（２）年齢、性別
（３）ＨＢＤ自体の精度
（４）焦点距離
なお、上記の焦点距離による精度への影響とは、焦点距離が短い場合（ワイド）には画角に対する距離変化に対する頭部の大きさ変化が相対的に小さいため精度が低下することを意味する。そこで、このような因子の影響をできるだけ排除するために、被写界深度を利用してもよい。すなわち、被写界深度は前に浅く後ろに深いことから、ＨＢＤより算出された距離よりも一定の割合だけ短い距離に焦点を合わせることにより、発生した誤差を被写界深度内に均等に収めることができる。この割合は撮影レンズの焦点距離や使用する絞り値によって変えてもよい。
【００５９】
本実施形態では、デジタルカメラについて例示したが、ビデオカメラにも同様に適用することができる。
【符号の説明】
【００６０】
１ デジタルカメラ、１０ レンズ、１２ シャッタ・絞り、１４ 撮像素子、１６ アナログ前処理回路、１８ デジタル信号処理回路、１９ 操作スイッチ（ＳＷ）、２０ システム制御回路、２２ データバス、２４ メモリカード、２６ 液晶モニタ、２８ バッファメモリ。
【技術分野】
【０００１】
本発明は撮像装置に関し、特にフォーカス制御に関する。
【背景技術】
【０００２】
従来から、撮影して得られた画像から被写体としての人体を検出する技術が提案されている。
【０００３】
例えば、下記の特許文献１には、人体のモデルの輪郭の一部または人体の部位を表す閉曲線からなるテンプレートを記憶するテンプレート管理部と、検出の対象とする画像を入力する画像データ受信部と、入力された画像に対して複数のテンプレートを用いてマッチングを行うことにより、その画像の中から人体を検出する頭部位置検出部を備える物体検出装置が開示されている。
【０００４】
また、特許文献２には、２次元画像に含まれる判定対象物の輪郭データを抽出する輪郭抽出手段と、抽出した輪郭データから輪郭の直線部分と曲線部分の比率を算出する形状値生成手段と、予め決められた閾値と形状値生成手段が算出した輪郭データの直線線分と曲線成分の比率とを比較して人間判定を行う判定手段を備える人間形状判定方法が開示されている。
【０００５】
また、特許文献３には、画像からエッジ画像を形成するエッジ画像抽出部と、所定画素のエッジの方向及び所定画素の近隣領域に存在するエッジ画素のエッジ方向と、所定画素と近隣領域に存在するエッジ画素との空間位置関係によって規定したエッジ画素の個数を画像の特徴量として算出し、人物画像の識別精度を向上する装置が開示されている。
【０００６】
また、特許文献４には、標準的な顔の大きさを記憶し、この大きさと撮影した顔の大きさから被写体の顔までの実際の距離を演算することが開示されている。
【０００７】
さらに、特許文献５には、頭部と胴部の寸法の比率に基づいて人物か否かを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１４９１４５号公報
【特許文献２】特開２００３−１３２３４０号公報
【特許文献３】特開２０１０−１１７７７２号公報
【特許文献４】特開２００７−２４８６９８号公報
【特許文献５】特開２００２−２９８１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、デジタルカメラ等の撮像装置で得られた画像に被写体としての人物あるいは人間が含まれている場合、上記のような各種方法でその画像に人物あるいは人間が含まれていることを検出することが可能であるが、人物あるいは人間を検出した場合に、その検出情報をどのように応用するかについては未だ十分な検討がなされていない。
【００１０】
例えば、上記の特許文献１では、画像から人体を検出する技術を施設のセキュリティ管理のために用いることが開示されているにとどまり、より積極的にデジタルカメラ自体の撮影制御に用いることについて何らの言及もない。
【００１１】
本発明の目的は、撮影画像に含まれる人体を検出し、その検出情報を利用してフォーカス制御する装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、撮像装置であって、レンズを含む光学系と、前記光学系で結像された被写体像を電気信号に変換する撮像手段と、前記撮像手段で得られた画像信号のエッジパターンを用いて人体を検出する検出手段と、時系列上で検出された複数の人体のサイズ変化に基づいて前記レンズを駆動してフォーカス制御する制御手段とを備えることを特徴とする。
【００１３】
本発明では、撮像手段で得られた画像信号からエッジを抽出し、このエッジのパターンを用いて人体を検出する。すなわち、エッジのパターンが人体固有、あるいは人体共起のパターンに該当する場合に人体として検出する。本願発明では、このような人体検出処理を時系列上、すなわち、少なくとも異なる２つのタイミングにおいて実行し、異なるタイミングにおける人体検出結果を得る。そして、異なる２つのタイミングにおいて得られた人体のサイズ変化、すなわち人体のサイズが大きくなったか、あるいは逆に人体のサイズが小さくなったかに基づいてフォーカス制御する。人体のサイズが大きくなった場合、被写体である人物とこれを撮影している撮像手段との相対的距離が小さくなったことを意味するから、フォーカスを近距離側に制御する。また、人体のサイズが小さくなった場合、被写体である人物とこれを撮影している撮像手段との相対的距離が大きくなったことを意味するから、フォーカスを遠距離側に制御する。このように、人体検出して得られる人体のサイズ変化に基づいてフォーカス制御することで、人体検出結果を有効活用するとともに、フォーカス制御を安定的かつ迅速に実行することができる。フォーカス制御は、コントラスト方式あるいは位相差方法で実行されるが、本発明における人体検出結果に基づくフォーカス制御は、これらコントラスト方式あるいは位相差方式と組み合わせ、これらの方式を補完するものと位置付けることができる。
【００１４】
本発明の１つの実施形態では、前記制御手段は、前記人体のサイズ変化に基づいて前記レンズを駆動し、その後、画像のコントラストが最大となる位置まで前記レンズを駆動することでフォーカス制御する。
【００１５】
また、本発明の他の実施形態では、前記制御手段は、前記人体のサイズ変化が実質的にない場合に、前記人体のサイズに基づいて前記レンズを駆動してフォーカス制御する。
【００１６】
また、本発明の他の実施形態では、前記制御手段は、前記人体のサイズ変化が時系列上で増大変化である場合に前記レンズを近距離側に駆動し、前記人体のサイズ変化が時系列上で減少変化である場合に前記レンズを遠距離側に駆動する。
【発明の効果】
【００１７】
本発明によれば、人体検出情報を用いてフォーカス制御することができる。これにより、フォーカス制御をより安定的に、あるいはより迅速に実行することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態におけるデジタルカメラの構成図である。
【図２】実施形態のフォーカス制御フローチャートである。
【図３】実施形態の人体検出フローチャートである。
【図４】人体のエッジパターンを示す説明図である。
【図５】実施形態のレンズ移動位置を示す説明図である。
【図６】サイズ変化量とレンズ移動量との関係を示すグラフである。
【発明を実施するための形態】
【００１９】
以下、図面に基づき本発明の実施形態について説明する。但し、以下の実施形態は例示であり、本発明は以下の実施形態に限定されるものではない。
【００２０】
まず、本実施形態における撮像装置としてのデジタルカメラの基本構成について説明する。
【００２１】
図１に、本実施形態におけるデジタルカメラの構成ブロック図を示す。レンズ１０、シャッタ・絞り１２を介して被写体像は撮像素子１４に結像する。撮像素子１４は、被写体像を電気信号に変換し、アナログ画像信号としてアナログ前処理回路（アナログフロントエンド）１６に出力する。絞りは、システム制御回路２０からの露光制御信号により駆動制御される（露出制御：ＡＥ）。また、レンズ１０は、システム制御回路２０からのフォーカス制御信号により駆動制御される（フォーカス制御：ＡＦ）。
【００２２】
なお、撮像素子１４には、ＩＲカットフィルタ、光学ローパスフィルタ、カラーフィルタアレイ等の光学フィルタが設けられている。撮像素子１４は、ＣＣＤ撮像素子やＣＭＯＳ撮像素子が用いられる。
【００２３】
アナログ前処理回路（アナログフロントエンド）１６は、アナログアンプ、ゲインコントローラ及びＡＤコンバータを備え、撮像素子１４からのアナログ画像信号を増幅し、デジタル画像信号に変換してデジタル信号処理回路１８に出力する。
【００２４】
デジタル信号処理回路１８は、供給されたデジタル画像信号に対し、ゲイン補正（ホワイトバランス調整）、ガンマ補正、同時化処理、ＲＧＢ−ＹＣ変換、ノイズ低減処理、輪郭補正、ＪＰＥＧ圧縮の各処理を実行する。
【００２５】
ゲイン補正（ホワイトバランス調整）は、光源色温度によるＲＧＢのバランスを補正する処理であり、入力されたＲ信号、Ｇ信号、Ｂ信号のゲインをそれぞれ調整する。ゲインを調整する方法としては、光源の種類（太陽光、電灯光）等をユーザが手動で入力し、入力された光源に基づいてゲインを調整する方法、撮影光源下に白やグレーの物体を配置し、これらをカメラで撮影して補正する方法、カメラで光源を自動的に判断して補正する方法（オートホワイトバランス）がある。
【００２６】
ガンマ補正は、撮像素子１４の出力特性をディスプレイの入出力特性に合わせる処理である。
【００２７】
同時化処理は、Ｂａｙｅｒ配列のカラーフィルタを用いた単板撮像方式において１つの画素に１つの色の信号しか存在しないため、足りない色の信号を近隣の画素の色信号から演算して算出する処理である。同時化処理の方法として、近隣の画素の値を平均する方法、注目画素からの距離に応じて加重平均する方法等がある。
【００２８】
ＲＧＢ−ＹＣ変換処理は、同時化処理されたＲ信号、Ｇ信号、Ｂ信号をＹ信号、Ｃｂ信号、Ｃｒ信号に変換する処理である。すなわち、
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｃｂ＝Ｂ−Ｙ
Ｃｒ＝Ｒ−Ｙ
により輝度信号のＹ信号、色差信号のＣｂ信号、Ｃｒ信号に変換する。
【００２９】
ノイズ低減処理は、メディアンフィルタ等を用いてパルス性のノイズのような孤立点を除去する処理である。この処理によりノイズは除去されるが同時に解像度も低下するため、通常、色差信号Ｃｂ，Ｃｒに対して実行される。
【００３０】
輪郭補正処理は、光学的ローパスフィルタ等の影響によるＭＴＦ（Modulation Transfer Function）の低下を補正するための処理であり、輪郭抽出処理とノンリニア処理により原画像信号に輪郭信号を付加する。通常、輪郭補正処理は、輝度信号に対して実行される。
【００３１】
ＪＰＥＧ圧縮は、輝度信号のＹ信号、色差信号のＣｂ信号、Ｃｒ信号それぞれを８画素×８画素のブロックに分割し、各ブロック毎にＤＣＴ変換、量子化、ハフマン符号化を順次行い圧縮する。
【００３２】
デジタル信号処理回路１８は、以上のような処理により圧縮された画像信号をデータバス２２を介してバッファメモリ２８に格納し、バッファメモリ２８に格納された画像データを読み出して液晶モニタ２６に表示する。あるいは、画像信号をメモリカード２４に記憶する。
【００３３】
システム制御回路２０は、各種操作スイッチ（ＳＷ）１９から入力された信号に基づき各部の動作を制御する。例えば、シャッタボタンの操作信号に基づいて各部の動作を制御し、撮影して得られた画像信号を液晶モニタ２６に表示し、あるいはメモリカード２４に記憶する。また、撮影に際し、既述したように露出制御（ＡＥ）及びフォーカス制御（ＡＦ）を実行する。フォーカス制御に関しては、コントラスト検出式ＡＦとＴＴＬ位相差検出式ＡＦがある。コントラスト検出式ＡＦでは、撮像画像のコントラスト最大点を合焦位置とするもので、現在位置からフォーカスを少し動かし、コントラストが減少した場合に逆方向に、コントラストが増大した場合にさらに同方向に動かし、どちらの方向に動かしても減少する場合に当該位置を合焦位置とするものである（所謂山登り法）。ＴＴＬ位相差検出式ＡＦでは、レンズ透過光を測距ユニットで計測し、レンズの合焦位置を決定するものであり、測距ユニットでは合焦位置からのずれの方向及びずれ量に応じて像が左右に移動することを利用して合焦位置を決定する。
【００３４】
このような構成において、デジタル信号処理回路１８は、上記の各処理を実行するとともに、得られた画像信号に人体が含まれているか否かを検出する人体検出処理を実行し、その検出結果をシステム制御回路２０に出力する。
【００３５】
システム制御回路２０は、デジタル信号処理回路１８からの人体検出情報を用いて、フォーカス制御を実行する。すなわち、システム制御回路２０は、従来のフォーカス制御に加え、人体検出情報を用いてフォーカス制御を実行する。具体的には、人体検出情報に含まれる人体のサイズ変化を利用して、被写体である人物とカメラとの相対距離の変化を検出し、これに合わせてレンズ１０を駆動してフォーカス制御する。この意味において、本実施形態における「人体検出」とは、撮影画像に人体が含まれているか否かを判定し、人体が含まれている場合に、その人体の撮影画像におけるサイズを検出する処理を含むものである。人体のサイズとは、より特定的には人体の上半身のサイズであり、上半身のサイズには、頭部のサイズ（頭部の長さ、頭部の幅）、肩部のサイズ（肩幅）、頭部のサイズと肩幅のサイズの比率等が含まれる。サイズは、頭部や肩部を構成する画素数で規定される。
【００３６】
図２に、本実施形態におけるフォーカス制御の処理フローチャートを示す。まず、ユーザがシャッタボタンを半押ししてＳ１をオンすると（Ｓ１０１）、システム制御回路２０はまず撮像素子１４、アナログ前処理回路１６、デジタル信号回路１８を動作させて撮像素子１４の撮像画像信号を繰り返し読み出し、データバス２２を介して液晶モニタ２６に表示する。また、読み出した画像信号を用いてコントラストＡＦを実行して合焦制御する（Ｓ１０２）。次に、デジタル信号処理回路１８は、あるタイミング（これをｔ１とする）において撮像素子１４より読み出される撮影画像信号から人体を検出する（Ｓ１０３）。以下では、人体検出処理及びその検出処理による検出結果を総称してＨＢＤ（Human Body Detection）とし、時刻ｔ１における人体検出結果をＨＢＤ１とする。また、次のタイミング（これをｔ２とする）において撮影画像から人体を検出する（Ｓ１０４）、時刻ｔ２における人体検出結果をＨＢＤ２とする。なお、人体検出の詳細については後述する。
【００３７】
所定の時間ｔ１，ｔ２において人体検出結果ＨＢＤ１，ＨＢＤ２が得られた後、デジタル信号処理回路１８は、これらの人体検出結果が等しいか否かを判定する（Ｓ１０５）。人体検出結果が等しいか否かは、人体検出で得られる人体の像のサイズが実質的に等しいか否かで判断する。
【００３８】
例えば、ＨＢＤで検出される人体の頭部の像の長さをサイズと定義し、このサイズが実質的に等しいか否かを判定する。実質的に等しいか否かは、両者のサイズの差が所定の許容範囲内にあるか否かで判定する。
【００３９】
人体のサイズは、その像における頭部の長さの他、頭部の幅、肩部の幅、頭部の幅と肩部の幅との和、頭部の長さと肩部の長さの和等で定義してもよく、これらを複合的に組み合わせてもよい。人体検出は、撮影画像から抽出されるエッジパターンを用いて行われるから、その際に抽出される人体固有のエッジパターンを用いてサイズを検出することが好適である。具体的には、頭部の曲線状のエッジと肩部の曲線状のエッジとの組み合わせで人体を検出する場合において、その像における頭部のエッジの幅を人体のサイズとみなす、あるいは頭部のエッジの幅と肩部のエッジの幅の和を人体のサイズとみなす等である。
【００４０】
なお、人体のサイズは、被写体である人物とカメラとの相対距離変化だけでなく、カメラに対する人物の向きの変化によっても変化し得るが、例えば人体のサイズをその像における頭部の幅と定義した場合、人物が多少横を向いたとしてもそのサイズ変化は距離の変化によるサイズ変化に比べて小さいため無視してよい。もちろん、向きの変化によるサイズ変化を考慮し、人物の向きが変化してもあまり変化しない部位のサイズを人体のサイズとして定義してもよい。例えば、頭部の長さと肩部の長さの和を人体のサイズと定義する等である。
【００４１】
そして、人体検出結果ＨＢＤ１，ＨＢＤ２が等しくない場合、デジタル信号処理回路１８は、次に、ＨＢＤ１がＨＢＤ２よりも大きいか否か、つまり時刻ｔ１で得られた人体のサイズが、時刻ｔ２で得られた人体のサイズよりも大きいか否かを判定する（Ｓ１０６）。ＨＢＤ１がＨＢＤ２よりも大きい場合、撮影画像内の人物がカメラに対して相対的に遠ざかったためにＨＢＤ１＞ＨＢＤ２となったものと判定し、システム制御回路２０に判定結果を出力する。システム制御回路２０は、デジタル信号処理回路１８からの判定結果に応じ、ＨＢＤ１とＨＢＤ２の差からレンズの移動量を算出する（Ｓ１０７）。具体的には、例えば予め両者の差とレンズ移動量との関係を規定するテーブルをメモリに記憶しておき、このテーブルを参照することで差に対応する移動量を決定する。そして、システム制御回路２０は、算出されたレンズの移動量でレンズ１０を遠距離側に移動させる（Ｓ１０８）。なお、Ｓ１０７でレンズの移動量を算出するのは、たとえＨＢＤ１とＨＢＤ２の比較により被写体の動きを検出したとしても、レンズ１０の移動量が大きいため合焦位置を行き過ぎてしまうと意味がないからである。
【００４２】
一方、ＨＢＤ１がＨＢＤ２よりも小さい場合（Ｓ１０６でＮＯと判定された場合）、撮影画像内の人物がカメラに対して相対的に近づいたためにＨＢＤ１＜ＨＢＤ２となったものと判定し、システム制御回路２０に判定結果を出力する。システム制御回路２０は、デジタル信号処理回路１８からの判定結果に応じ、ＨＢＤ２とＨＢＤ１の差からレンズの移動量を算出し（Ｓ１１０）、算出されたレンズの移動量でレンズ１０を近距離側に移動させる（Ｓ１１１）。
【００４３】
以上のようにして、ＨＢＤ１とＨＢＤ２の相違に応じたレンズの移動量でレンズ１０を遠距離側あるいは近距離側に移動させた後、システム制御回路２０はさらにコントラスト方式ＡＦを実行する（Ｓ１０９）。すなわち、現在位置からレンズを少し動かし、コントラストが減少した場合に逆方向に、コントラストが増大した場合にさらに同方向に動かし、どちらの方向に動かしても減少する場合に当該位置を合焦位置とする。この際、Ｓ１０８あるいはＳ１１１でレンズ１０を正しい方向に前もって移動させているため、従来よりも高速に合焦位置を決定することができる。
【００４４】
また、ＨＢＤ１とＨＢＤ２が等しい場合（Ｓ１０５にてＮＯ）、人物はカメラに対して相対的に静止していると判定し、判定結果をシステム制御回路２０に出力する。システム制御回路２０は、判定結果に基づき、ＨＢＤ１あるいはＨＢＤ２に基づいて人物までの測距を行い、ＡＦを実行する（Ｓ１１２）。すなわち、ＨＢＤ１あるいはＨＢＤ２のサイズから、カメラと人物との間の距離が一義的に決定され、決定された距離に応じてレンズ１０を移動させる。具体的には、予めサイズと距離との関係を規定するテーブルをメモリに記憶しておき、このテーブルを参照することでＨＢＤ１あるいはＨＢＤ２のサイズに対応する距離を決定する。一例として、予め頭部のサイズとレンズの焦点距離に対する被写体までの距離の関係を規定するテーブルをメモリに記憶しておく。頭部の上下方向のサイズ（頭部の長さ）Ａ、焦点距離２８ｍｍの場合には被写体までの距離５０ｃｍ等である。上記の特許文献４には、標準的な顔の大きさを記憶し、この大きさと撮影した顔の大きさから被写体までの実際の距離を演算することが記載されており、例えばこのような技術を用いてもよい。もちろん、ＨＢＤ１とＨＢＤ２が等しい場合には、被写体である人物とカメラとの相対的距離が実質的に変化していないことを意味するから、レンズ１０を駆動することなくそのまま維持してもよいのは言うまでもない。
【００４５】
なお、以上は人物の上半身の実サイズが予め既知であることを前提としているが、人物の上半身の実サイズは、人物の年齢に応じて変化し得る。すなわち、一般的に子供の実サイズは成人よりも小さい。そこで、ＨＢＤ１あるいはＨＢＤ２から人物の年齢を推定し、サイズ及び推定した年齢からカメラと人物との距離を決定してもよい。具体的には、ＨＢＤ１あるいはＨＢＤ２において、頭長と肩幅の比率を算出し、算出した比率を用いて年齢を推定する。一般的に、子供の場合は頭部が大きく、このため比率＝頭長／肩幅は成人の比率よりも大きくなる。そこで、予め比率と年齢との関係を規定するテーブルをメモリに記憶しておき、ＨＢＤ１あるいはＨＢＤ２における比率に対応する年齢を決定する。もちろん、この比率は性差あるいは人種によっても変化し得るため、これらのファクタを考慮して年齢を推定してもよい。年齢を推定した後、予めＨＢＤの像のサイズ及び年齢と距離との関係を規定するテーブルをメモリに記憶しておき、このテーブルを参照することで人物までの距離を決定する。
【００４６】
Ｓ１１２の処理において、ＨＢＤのサイズに基づき実行されたフォーカス制御に加え、補完的にコントラスト方式ＡＦを実行してもよい。すなわち、テーブルを参照して距離を決定し、レンズ１０を移動させた後、その位置からさらにレンズ１０を動かしてコントラストの変化を検出し、コントラスト最大となる合焦位置を決定してもよい。以上のようにしてフォーカス制御した後、ユーザがシャッタボタンを全押ししてＳ２がオンとなったか否かを判定し（Ｓ１１３）、Ｓ２がオンとなるとシステム制御回路２０は撮影処理（Ｓ１１４）を行い、得られた撮影画像を液晶モニタ２６に表示し、またメモリカード２４に格納する。Ｓ２がオンされなければ、Ｓ１０３以降の処理を繰り返す。
【００４７】
図３に、人体検出の処理フローチャートを示す。まず、デジタル信号処理回路１８は、上記の各処理により画像を取得する（Ｓ２０１）。次に、得られた画像からエッジを抽出する（Ｓ２０２）。このエッジ抽出処理は、輪郭補正処理における輪郭抽出結果をそのまま援用してもよく、あるいはこれと別個にエッジを抽出してもよい。
【００４８】
エッジを抽出した後、デジタル信号処理回路１８は、抽出されたエッジのパターンが、予め決められた人物の上半身のエッジパターンと一致するか否かを判定する（Ｓ２０３）。上半身のエッジパターンは、予めテンプレートとしてデジタル信号処理回路１８のメモリに記憶しておく。そして、抽出したエッジパターンが、上半身のエッジパターンと一致する場合には、当該抽出したエッジから人体を検出する（Ｓ２０４）。
【００４９】
図４に、撮影画像５０から人体を検出する処理を模式的に示す。撮影画像５０に人体５２が写っているものとする。人体の頭部には、円弧状のエッジ６０が存在する。また、人体の肩部にも、曲線状のエッジ６２，６４が存在する。これらのエッジ６０，６２，６４をテンプレートとしてメモリに記憶しておき、撮影画像から抽出したエッジにこれらのテンプレート６０，６２，６４と一致するパターンが存在するか否かを判定する。もちろん、撮影画像５０内の人体５２のサイズは種々であるため、相似形のものは一致するとみなすことができる。もちろん、サイズの異なる複数のテンプレートを予め用意してもよい。このように、顔部のエッジと肩部のエッジがともに検出された場合に、被写体から人体を検出することができる。
【００５０】
あるいは、頭部の直線上のエッジと、肩部の直線上のエッジとの組み合わせ６６をテンプレートとして用意してもよい。
【００５１】
図５に、本実施形態におえるフォーカス制御の様子を示す。図において、横軸はフォーカス量（レンズ位置）であり、縦軸は画像のコントラストである。図中、Ｐ０がレンズ１０の現在位置であるとする。通常のコントラスト方式ＡＦでは、レンズ１０をＰ０から例えばＰ１の方向に動かしてコントラストの変化を検出する。Ｐ０におけるコントラストよりＰ１におけるコントラストが減少した場合、レンズをＰ０に対してＰ１と反対方向のＰ２まで動かし、再びコントラストの変化を検出する。Ｐ０におけるコントラストよりＰ２におけるコントラストが増加した場合、さらに同一方向にレンズ１０を動かす。同一方向への移動を複数回繰り返した後（Ｐ２，Ｐ３，Ｐ４、・・・Ｐｎ，Ｐｎ＋１，・・・）、コントラストが逆に減少した場合、コントラスト最大となる位置を合焦位置として決定する。
【００５２】
これに対し、本実施形態では、ＨＢＤ１とＨＢＤ２の大小関係に応じてレンズ１０を近距離側あるいは遠距離側に直ちに移動させるため、例えばＰ０からＰｎまでレンズを移動させる。その後、Ｐｎを開始点としてコントラスト方式ＡＦを実行するので、従来よりも迅速に合焦位置を決定できる。
【００５３】
なお、ＨＢＤ１は、通常のコントラスト方式ＡＦでフォーカス制御された状態において検出され、フォーカスをその状態で維持したままＨＢＤ２を検出するため、ＨＢＤ２を検出する際には多少ともフォーカスがずれた状態で検出することになるが、エッジパターンを検出できる程度の合焦状態であれば足りるので問題はない。
【００５４】
図６に、図２のＳ１０７及びＳ１１０でレンズ移動量を算出する際のＨＢＤ１とＨＢＤ２のサイズ変化量とレンズ移動量との関係の一例を示す。図において、横軸はサイズ変化量であり、ＨＢＤ１に対してＨＢＤ２のサイズが増大する場合を＋、ＨＢＤ１に対してＨＢＤ２のサイズが減少する場合を−で示す。また、縦軸はレンズ１０の移動量であり、近距離側を＋、遠距離側を−で示す。サイズの変化量が大きくなるほど、レンズの移動量も比例して増大する。すなわち、変化量が＋Δ１のときのレンズ移動量を＋Ｍ（つまり、サイズが大きくなるとレンズ１０を近距離側にＭ１だけ移動させる）とすると、変化量が＋Δ１より大きい場合にはレンズ１０の移動量も＋Ｍ１よりも大きくする。これにより、レンズ１０を合焦位置のより近傍まで移動させることが可能となる。もちろん、サイズの変化量によらずにレンズ１０の移動量を一定値とすることも可能である。
【００５５】
また、本実施形態では、人物の頭部のエッジと肩部のエッジの組み合わせを用いて人体を検出しているが、図４に示したテンプレート６０，６２，６４以外のテンプレートを用いることができる。
【００５６】
例えば、人物が正面を向いていない場合には、頭部のエッジや肩部のエッジも変化するが、このような場合にも、予め種々の姿勢における頭部のエッジ及び肩部のエッジを抽出してテンプレートとして記憶しておけばよい。具体的には、標準体型のモデルを種々の姿勢で撮影し、得られた頭部及び肩部のエッジをテンプレートとして記憶しておく。もちろん、正面を向いた姿勢において頭部及び肩部のエッジを基準テンプレートとし、いくつかの姿勢におけるテンプレートをこの基準テンプレートから演算により生成してもよい。
【００５７】
また、本実施形態ではテンプレートマッチングにより人体検出を行っているが、他の方法で人体検出してもよい。例えば、エッジを検出し、検出したエッジを直線部分と曲線部分とに分類し、直線部分と曲線部分の比率が一定の範囲内にあるときに人体と検出してもよい。要するに、画像から抽出したエッジが人体に共起するエッジであるか否かを判定する任意のアルゴリズムを用いることができる。
【００５８】
また、本実施形態では、図２のＳ１１２において、ＨＢＤ１あるいはＨＢＤ２に基づいて人物までの測距を行い、フォーカス制御しているが、上記のように、頭部のサイズや頭部と肩部の比率等は年齢、性別、個人差により変化し得るため、標準的な人物（例えば標準的な成人男性）を基準とした場合には個人差等により測距精度に影響を与える。具体的に測距精度に影響を与える因子を列挙すると、以下の通りである。
（１）個人差
（２）年齢、性別
（３）ＨＢＤ自体の精度
（４）焦点距離
なお、上記の焦点距離による精度への影響とは、焦点距離が短い場合（ワイド）には画角に対する距離変化に対する頭部の大きさ変化が相対的に小さいため精度が低下することを意味する。そこで、このような因子の影響をできるだけ排除するために、被写界深度を利用してもよい。すなわち、被写界深度は前に浅く後ろに深いことから、ＨＢＤより算出された距離よりも一定の割合だけ短い距離に焦点を合わせることにより、発生した誤差を被写界深度内に均等に収めることができる。この割合は撮影レンズの焦点距離や使用する絞り値によって変えてもよい。
【００５９】
本実施形態では、デジタルカメラについて例示したが、ビデオカメラにも同様に適用することができる。
【符号の説明】
【００６０】
１ デジタルカメラ、１０ レンズ、１２ シャッタ・絞り、１４ 撮像素子、１６ アナログ前処理回路、１８ デジタル信号処理回路、１９ 操作スイッチ（ＳＷ）、２０ システム制御回路、２２ データバス、２４ メモリカード、２６ 液晶モニタ、２８ バッファメモリ。
【特許請求の範囲】
【請求項１】
撮像装置であって、
レンズを含む光学系と、
前記光学系で結像された被写体像を電気信号に変換する撮像手段と、
前記撮像手段で得られた画像信号のエッジパターンを用いて人体を検出する検出手段と、
時系列上で検出された複数の人体のサイズ変化に基づいて前記レンズを駆動してフォーカス制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記制御手段は、前記人体のサイズ変化に基づいて前記レンズを駆動し、その後、画像のコントラストが最大となる位置まで前記レンズを駆動することでフォーカス制御する
ことを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記制御手段は、前記人体のサイズ変化が実質的にない場合に、前記人体のサイズに基づいて前記レンズを駆動してフォーカス制御する
ことを特徴とする撮像装置。
【請求項４】
請求項２記載の撮像装置において、
前記制御手段は、前記人体のサイズ変化が時系列上で増大変化である場合に前記レンズを近距離側に駆動し、前記人体のサイズ変化が時系列上で減少変化である場合に前記レンズを遠距離側に駆動する
ことを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれかに記載の撮像装置において、
前記人体のサイズは、頭部の長さ、頭部の幅、肩部の長さ、肩部の幅の少なくともいずれかであることを特徴とする撮像装置。
【請求項１】
撮像装置であって、
レンズを含む光学系と、
前記光学系で結像された被写体像を電気信号に変換する撮像手段と、
前記撮像手段で得られた画像信号のエッジパターンを用いて人体を検出する検出手段と、
時系列上で検出された複数の人体のサイズ変化に基づいて前記レンズを駆動してフォーカス制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記制御手段は、前記人体のサイズ変化に基づいて前記レンズを駆動し、その後、画像のコントラストが最大となる位置まで前記レンズを駆動することでフォーカス制御する
ことを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記制御手段は、前記人体のサイズ変化が実質的にない場合に、前記人体のサイズに基づいて前記レンズを駆動してフォーカス制御する
ことを特徴とする撮像装置。
【請求項４】
請求項２記載の撮像装置において、
前記制御手段は、前記人体のサイズ変化が時系列上で増大変化である場合に前記レンズを近距離側に駆動し、前記人体のサイズ変化が時系列上で減少変化である場合に前記レンズを遠距離側に駆動する
ことを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれかに記載の撮像装置において、
前記人体のサイズは、頭部の長さ、頭部の幅、肩部の長さ、肩部の幅の少なくともいずれかであることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１１３９２２（Ｐ２０１３−１１３９２２Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５８０３７（Ｐ２０１１−２５８０３７）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
[ Back to top ]