撮像装置
【課題】幼児の写真を簡易に撮影する。
【解決手段】デジタル信号回路18は、撮影して得られた画像信号から人体を検出するとともに、顔部を検出する。システム制御回路20は、人体の頭部と肩部の比率から人体の年齢を推定し、しきい年齢以下であれば被写体が幼児であると判定してLED30を自動点滅させて被写体の注意を惹く。
【解決手段】デジタル信号回路18は、撮影して得られた画像信号から人体を検出するとともに、顔部を検出する。システム制御回路20は、人体の頭部と肩部の比率から人体の年齢を推定し、しきい年齢以下であれば被写体が幼児であると判定してLED30を自動点滅させて被写体の注意を惹く。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置に関し、特に被写体人物の年齢推定に関する。
【背景技術】
【0002】
従来から、撮影して得られた画像から被写体としての人体を検出する技術が提案されている。
【0003】
例えば、下記の特許文献1には、人体のモデルの輪郭の一部または人体の部位を表す閉曲線からなるテンプレートを記憶するテンプレート管理部と、検出の対象とする画像を入力する画像データ受信部と、入力された画像に対して複数のテンプレートを用いてマッチングを行うことにより、その画像の中から人体を検出する頭部位置検出部を備える物体検出装置が開示されている。
【0004】
また、特許文献2には、2次元画像に含まれる判定対象物の輪郭データを抽出する輪郭抽出手段と、抽出した輪郭データから輪郭の直線部分と曲線部分の比率を算出する形状値生成手段と、予め決められた閾値と形状値生成手段が算出した輪郭データの直線線分と曲線成分の比率とを比較して人間判定を行う判定手段を備える人間形状判定方法が開示されている。
【0005】
また、特許文献3には、画像からエッジ画像を形成するエッジ画像抽出部と、所定画素のエッジの方向及び所定画素の近隣領域に存在するエッジ画素のエッジ方向と、所定画素と近隣領域に存在するエッジ画素との空間位置関係によって規定したエッジ画素の個数を画像の特徴量として算出し、人物画像の識別精度を向上する装置が開示されている。
【0006】
また、特許文献4には、標準的な顔の大きさを記憶し、この大きさと撮影した顔の大きさから被写体の顔までの実際の距離を演算することが開示されている。
【0007】
また、特許文献5には、頭部と胴部の寸法の比率に基づいて人物か否かを判定する技術が開示されている。
【0008】
また、特許文献6−8には、幼児を撮影する際に、幼児の注意を惹くような画像を表示させて撮影することが開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2005−149145号公報
【特許文献2】特開2003−132340号公報
【特許文献3】特開2010−117772号公報
【特許文献4】特開2007−248698号公報
【特許文献5】特開2002−298142号公報
【特許文献6】特開2001−257911号公報
【特許文献7】特開2005−164623号公報
【特許文献8】特開2009−290511号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
ところで、デジタルカメラ等の撮像装置で得られた画像に被写体としての人物あるいは人間が含まれている場合、上記のような各種方法でその画像に人物あるいは人間が含まれていることを検出することが可能であるが、人物あるいは人間を検出した場合に、その検出情報をどのように応用するかについては未だ十分な検討がなされていない。
【0011】
例えば、上記の特許文献1では、画像から人体を検出する技術を施設のセキュリティ管理のために用いることが開示されているにとどまり、より積極的にデジタルカメラ自体の撮影制御に用いることについて何らの言及もない。
【0012】
本発明の目的は、撮影画像に含まれる人体を検出し、その検出情報を利用して被写体である人物の年齢を推定し、推定年齢に基づいて被写体を確実に撮影することができる装置を提供することにある。
【課題を解決するための手段】
【0013】
本発明は、撮像装置であって、レンズを含む光学系と、前記光学系で結像された被写体像を電気信号に変換する撮像手段と、前記撮像手段で得られた画像信号のエッジパターンを用いて検出された人体と前記撮像手段で得られた画像信号から検出された顔部の少なくともいずれかに基づいて被写体の年齢を推定し、推定した年齢から被写体が幼児であるか否かを判定し、幼児であると判定した場合に被写体に向けて視覚的あるいは聴覚的情報を自動出力する制御手段とを備えることを特徴とする。
【0014】
本発明の1つの実施形態では、前記制御手段は、前記人体の頭部の長さと肩部の長さの比率を用いて年齢を推定する。
【0015】
また、本発明の他の実施形態では、前記制御手段は、前記人体と前記顔部のそれぞれから年齢を推定し、推定した両年齢が所定の許容範囲内で一致する場合に、推定した年齢を用いて被写体が幼児であるか否かを判定する。
【0016】
また、本発明のさらに他の実施形態では、前記制御手段は、推定した年齢の精度に応じて前記視覚的あるいは聴覚的情報の出力形態を変化させる。
【発明の効果】
【0017】
本発明によれば、被写体の年齢を自動的に推定し、推定した年齢に応じて撮影条件を自動的に設定できる。特に、推定した年齢から被写体が幼児であると判定した場合に、幼児の注意を喚起する情報を出力するので、幼児が視線を向けたタイミングの画像を容易に得ることができる。
【図面の簡単な説明】
【0018】
【図1】実施形態におけるデジタルカメラの構成図である。
【図2】実施形態の処理フローチャートである。
【図3】実施形態の他の処理フローチャートである。
【図4】実施形態のさらに他の処理フローチャートである。
【図5】実施形態の人体検出処理フローチャートである。
【図6】人体検出の模式的説明図である。
【図7】実施形態におけるデジタルカメラの外観斜視図である。
【発明を実施するための形態】
【0019】
以下、図面に基づき本発明の実施形態について説明する。但し、以下の実施形態は例示であり、本発明は以下の実施形態に限定されるものではない。
【0020】
まず、本実施形態における撮像装置としてのデジタルカメラの基本構成について説明する。
【0021】
図1に、本実施形態におけるデジタルカメラの構成ブロック図を示す。レンズ10、シャッタ・絞り12を介して被写体像は撮像素子14に結像する。撮像素子14は、被写体像を電気信号に変換し、アナログ画像信号としてアナログ前処理回路(アナログフロントエンド)16に出力する。絞りは、システム制御回路20からの露光制御信号により駆動制御される(露出制御:AE)。また、レンズ10は、システム制御回路20からのフィーカス制御信号により駆動制御される(フォーカス制御:AF)。
【0022】
なお、撮像素子14には、IRカットフィルタ、光学ローパスフィルタ、カラーフィルタアレイ等の光学フィルタが設けられている。撮像素子14は、CCD撮像素子やCMOS撮像素子が用いられる。
【0023】
アナログ前処理回路(アナログフロントエンド)16は、アナログアンプ、ゲインコントローラ及びADコンバータを備え、撮像素子14からのアナログ画像信号を増幅し、デジタル画像信号に変換してデジタル信号処理回路18に出力する。
【0024】
デジタル信号処理回路18は、供給されたデジタル画像信号に対し、ホワイトバランス調整、ガンマ補正、同時化処理、RGB−YC変換、ノイズ低減処理、輪郭補正、JPEG圧縮の各処理を実行する。
【0025】
ホワイトバランス調整は、光源色温度によるRGBのバランスを補正する処理であり、入力されたR信号、G信号、B信号のゲインをそれぞれ調整する。ゲインを調整する方法としては、光源の種類(太陽光、電灯光)等をユーザが手動で入力し、入力された光源に基づいてゲインを調整する方法、撮影光源下に白やグレーの物体を配置し、これらをカメラで撮影して補正する方法、カメラで光源を自動的に判断して補正する方法(オートホワイトバランス)がある。
【0026】
ガンマ補正は、撮像素子14の出力特性を所定の階調特性に調整する処理である。
【0027】
同時化処理は、Bayer配列のカラーフィルタを用いた単板撮像方式において1つの画素に1つの色の信号しか存在しないため、足りない色の信号を近隣の画素の色信号から演算して算出する処理である。同時化処理の方法として、近隣の画素の値を平均する方法、注目画素からの距離に応じて加重平均する方法等がある。
【0028】
RGB−YC変換処理は、同時化処理されたR信号、G信号、B信号をY信号、Cb信号、Cr信号に変換する処理である。すなわち、
Y=0.30R+0.59G+0.11B
Cb=B−Y
Cr=R−Y
により輝度信号のY信号、色差信号のCb信号、Cr信号に変換する。
【0029】
ノイズ低減処理は、メディアンフィルタ等を用いてパルス性のノイズのような孤立点を除去する処理である。この処理によりノイズは除去されるが同時に解像度にも影響するため、通常、色差信号Cb,Crに対して実行される。
【0030】
輪郭補正処理は、光学的ローパスフィルタ等の影響によるMTF(Modulation Transfer Function)の低下を補正するための処理であり、輪郭抽出処理とノンリニア処理により原画像信号に輪郭信号を付加する。通常、輪郭補正処理は、輝度信号に対して実行される。
【0031】
JPEG圧縮は、輝度信号のY信号、色差信号のCb信号、Cr信号それぞれを8画素×8画素のブロックに分割し、各ブロック毎にDCT変換、量子化、ハフマン符号化を順次行い圧縮する。
【0032】
デジタル信号処理回路18は、以上のような処理を施され、圧縮された画像信号をデータバス22を介してバッファメモリ28に格納し、バッファメモリ28に格納された画像データを読み出して液晶モニタ26に表示する。あるいは、画像信号をメモリカード24に記憶する。
【0033】
システム制御回路20は、各種スイッチ(SW)19から入力された信号に基づき各部の動作を制御する。例えば、シャッタボタン19aの操作信号に基づいて各部の動作を制御し、撮影して得られた画像信号を液晶モニタ26に表示し、あるいはメモリカード24に記憶する。また、撮影に際し、既述したように露出制御(AE)及びフォーカス制御(AF)を実行する。フォーカス制御に関しては、コントラスト検出式AFとTTL位相差検出式AFがある。コントラスト検出式AFでは、撮像画像のコントラスト最大点を合焦位置とするもので、現在位置からフォーカスを少し動かし、コントラストが減少した場合に逆方向に、コントラストが増大した場合にさらに同方向に動かし、どちらの方向に動かしても減少する場合に当該位置を合焦位置とするものである(所謂山登り法)。TTL位相差検出式AFでは、レンズ透過光を測距ユニットで計測し、レンズの合焦位置を決定するものであり、測距ユニットでは合焦位置からのずれの方向及びずれ量に応じて像が左右に移動することを利用して合焦位置を決定する。
【0034】
このような構成において、デジタル信号処理回路18は、上記の各処理を実行するとともに、得られた画像信号に人体が含まれているか否かを検出する人体検出処理を実行し、その検出結果をシステム制御回路20に出力する。
【0035】
また、デジタル信号処理回路18は、得られた画像信号に顔が含まれているか否かを検出する(FD)。顔の検出は、顔の輪郭や顔の各部位(目や鼻、口)の相対位置や大きさ等を用いて実行する。色データ(肌色か否か)を用いて顔を検出してもよい。顔検出して顔に合焦するように制御する顔AF、顔検出して露出制御する顔AE、顔検出してホワイトバランスを調整する顔WBが公知であるが、これら顔AF、顔AE、顔WBで用いられる顔検出アルゴリズムをそのまま適用することができる。
【0036】
システム制御回路20は、デジタル信号処理回路18からの人体検出情報を用いて、被写体人物の年齢を推定する。具体的には、人体検出情報に含まれる人体の像のサイズを利用して、被写体人物の年齢を推定する。人体の各部の像のサイズは、年齢とともに変化することが知られている。例えば、頭部の全体に対する比率は年齢とともに変化していく。また、頭部のサイズと肩部のサイズの比率も年齢とともに変化していく。システム制御回路20は、予め人体のサイズ、あるいは人体の各部の比率と年齢との関係をテーブルとしてメモリに記憶しておき、このテーブルを参照することで被写体人物の年齢を推定する。そして、システム制御回路20は、推定した年齢に基づいて撮影条件を設定する。具体的には、システム制御回路20は、推定した年齢がしきい年齢以下であるか否かを判定し、しきい年齢以下であれば被写体は幼児であるとみなし、幼児を撮影する際に好適と考えられる撮影条件を設定する。被写体が幼児である場合、周囲環境のあらゆるものに興味を惹かれるため、デジタルカメラの方向に視線を一定時間向けることは稀であり、このため幼児の正面写真を撮影することは比較的困難であることが知られている。そこで、システム制御回路20は、被写体が幼児であるとみなした場合には、視覚的あるいは聴覚的な刺激により幼児の注意をデジタルカメラの方向に向けさせるような制御を行う。
【0037】
なお、人体のサイズとは、より特定的には人体の上半身のサイズであり、上半身のサイズには、頭部のサイズ(頭部の長さ、頭部の幅)、肩部のサイズ(肩幅)等が含まれる。サイズは、頭部や肩部を構成する画素数で規定される。
【0038】
図2には、本実施形態の処理フローチャートを示す。まず、デジタル信号処理回路18は、液晶モニタ26に撮像素子14の出力画像信号を表示する(ライブビュー:S101)。ユーザは、ライブビューを視認しながら撮影方向や画角を調整する。次に、デジタル信号処理回路18は、得られた画像から顔部を検出する(FD:S102)。また、FDと並行して、あるいはFDと相前後して、得られた画像から人体を検出する(S103)。以下では、人体検出処理をHBD(Human Body Detection)と称する。HBDの詳細についてはさらに後述する。HBDは主に人体の上半身の輪郭を検出する処理であり、FDは人体の顔を検出する処理であるから、両者は異なる処理である。もちろん、HBDの検出結果をFDで利用することでFDの効率化を図ることは可能である。この意味で、HBDの後にFDを実行することも好適であろう。FD及びHBDの結果は、デジタル信号処理回路18からシステム制御回路20に供給される。
【0039】
次に、システム制御回路20は、スイッチ(SW)19の一つであるシャッタボタン19aがユーザにより半押しされたか否かを判定する(S104)。シャッタボタン19aが半押しされた場合、システム制御回路20は、FDにより検出された顔部、あるいはHBDにより検出された人体に焦点を合わせるようにオートフォーカス制御するとともに、HBDの結果から被写体の年齢を推定し(S105)、推定した年齢がしきい年齢以下であって被写体が幼児であるか否かを判定する(S106)。被写体の年齢推定は、HBDで検出された人体の像のサイズに基づき行われる。例えば、人体の頭部の長さと肩部の長さの比率を算出し、予めこの比率と年齢との対応関係を規定するテーブルが記憶されたメモリにアクセスし、算出した比率に対応する年齢を読み出す。比率と年齢との対応関係を規定するテーブルは、例えば年齢を0〜3歳、3歳〜6歳、6歳〜9歳、9歳〜12歳、12歳〜15歳、15歳〜18歳、18歳〜21歳、22歳以上と区分し、各区分毎の平均的な比率を規定する。
【0040】
また、幼児か否かの判定のしきい年齢は、例えば3歳とすることができる。
【0041】
推定した年齢がしきい年齢以下の幼児であると判定された場合、システム制御回路20は、デジタルカメラ前面に設けられたLED30を所定間隔で点滅させる(S107)。デジタルカメラ前面のLEDを点滅させることで、被写体である幼児は点滅するLEDに注意を惹かれ、デジタルカメラの方に視線を向けることが期待される。ユーザは、幼児が視線をデジタルカメラの方に向けたタイミングでシャッタボタンを全押しする。
【0042】
システム制御回路20は、シャッタボタン19aが全押しされたか否かを判定し(S108)、シャッタボタン19aが全押しされた場合には、被写体を撮影し(S109)、得られた画像を処理してメモリカード24に格納する。
【0043】
図3に、本実施形態の他の処理フローチャートを示す。図2と異なる点は、被写体が幼児であると判定した場合に、LED30を点滅させる代わりにデジタルカメラに設けられたブザー32(図7)を鳴らす点である(S207)。ブザー32を鳴らすことで、幼児は音のする方に注意が惹かれ、デジタルカメラの方に視線を向けることが期待される。ユーザは、幼児が視線をデジタルカメラの方に向けたタイミングでシャッタボタンを全押しする。
【0044】
図4に、本実施形態のさらに他の処理フローチャートを示す。図2と異なる点は、被写体が幼児であると判定した場合に、デジタルカメラの前面に設けられた画像表示装置34(図7)に音声付の動画を表示する点である(S307)。音声付動画は予めシステム制御回路20の内蔵メモリに記憶してもよく、あるいはメモリカード24に記憶された動画を読み出して表示してもよい。音声付動画を表示することで、幼児はこの動画に注意が惹かれ、デジタルカメラの方に視線を向けることが期待される。ユーザは、幼児が視線をデジタルカメラの方に向けたタイミングでシャッタボタンを全押しする。
【0045】
図2〜図4の処理フローチャートにおいて、HBDの結果に基づいて被写体の年齢を推定しているが、システム制御回路20は、FDの結果に基づいて被写体の年齢を推定してもよい。具体的には、検出した顔部から、輪郭と目と口を囲む顔部品領域とから抽出した特徴量を予め年齢毎の複数の顔画像から得られた特徴量とを対比することで推定する。もちろん、これ以外の公知のアルゴリズムを用いることができる。
【0046】
また、検出したFDの結果から被写体の年齢を推定するとともに、HBDの結果から年齢を推定し、両者の推定年齢が許容範囲内で一致する場合に、FDから推定した年齢の信頼性が高いと評価してもよい。
【0047】
また、FDの結果から被写体の年齢を推定するとともに、HBDの結果から年齢を推定し、両者の推定年齢が許容範囲内で一致しない場合には、いずれか若い方の年齢をしきい年齢と比較することで幼児か否かを判定してもよい。
【0048】
また、FDの結果から被写体の年齢を推定するとともに、HBDの結果から年齢を推定し、被写体が横を向いている等でFDによる年齢推定が不能で、HBDの結果によってのみ年齢が推定された場合には、HBDに基づき推定された年齢をしきい年齢と比較してもよい。
【0049】
さらに、図2〜図4の処理において、推定年齢の精度を評価し、精度に応じて注意喚起の態様を変化させることも可能である。例えば、推定精度が比較的低いと評価された場合には、仮に被写体が実際には幼児でなくても違和感が生じないように、ブザーを鳴らすあるいは動画を表示するのではなく、単にLED30を点滅させる態様とし、通常のセルフタイマ撮影と変わりないようにすることが好適であろう。一般的には、FDによる年齢推定の方が、HBDによる年齢推定よりも精度が高いと考えられるから、FDによる年齢推定の結果、幼児と判定した場合には動画を表示する、HBDによる年齢推定の結果、幼児と判定した場合にはLED30を点滅させることも可能である。
【0050】
図5に、人体検出の処理フローチャートを示す。まず、デジタル信号処理回路18は、ライブビュー画像を取得する(S401)。次に、得られた画像からエッジを抽出する(S402)。このエッジ抽出処理は、輪郭補正処理における輪郭抽出結果をそのまま援用してもよく、あるいはこれと別個にエッジを抽出してもよい。
【0051】
エッジを抽出した後、デジタル信号処理回路18は、抽出されたエッジのパターンが、予め決められた人物の上半身のエッジパターンと一致するか否かを判定する(S403)。
【0052】
上半身のエッジパターンは、予めテンプレートとしてデジタル信号処理回路18のメモリに記憶しておく。そして、抽出したエッジパターンが、上半身のエッジパターンと一致する場合には、当該抽出したエッジから人体を検出する(S404)。
【0053】
図6に、撮影画像50から人体を検出する処理を模式的に示す。ライブビュー画像50に人体52が写っているものとする。人体の頭部には、円弧状のエッジ60が存在する。また、人体の肩部にも、曲線状のエッジ62,64が存在する。これらのエッジ60,62,64をテンプレートとしてメモリに記憶しておき、撮影画像から抽出したエッジにこれらのテンプレート60,62,64と一致するパターンが存在するか否かを判定する。もちろん、撮影画像50内の人体52のサイズは種々であるため、相似形のものは一致するとみなすことができる。もちろん、サイズの異なる複数のテンプレートを予め用意してもよい。このように、顔部のエッジと肩部のエッジがともに検出された場合に、被写体から人体を検出することができる。あるいは、頭部の直線上のエッジと、肩部の直線上のエッジとの組み合わせ66をテンプレートとして用意してもよい。
【0054】
以上説明したように、本実施形態によれば、人体検出(HBD)あるいは顔検出(FD)あるいはその両者により得られた情報から被写体の年齢を推定し、推定した年齢に基づいて被写体が幼児であると判定された場合に被写体の注意を喚起するような視覚的ないし聴覚的情報を報知するので、幼児がカメラの方を向いた高品質の画像を簡易に得ることができる。
【0055】
図7に、本実施形態におけるデジタルカメラ1の外観斜視図の一例を示す。デジタルカメラ1には、レンズ10及びシャッタボタン19aが設けられるとともに、前面には、LED30、ブザー32、画像表示装置34、ストロボ36が設けられる。推定年齢に基づいて被写体が幼児であると判定された場合、デジタルカメラ1の前面に設けられたLED30を点滅させ、あるいはブザー32から音を出力し、あるいは画像表示装置34に画像を表示する。被写体が幼児であると判定された場合、ストロボ36を発光させることも好適であろう。但し、ストロボ36を発光させる際には、露出を考慮して通常よりも弱く発光させるのが望ましい。LED30とストロボ36のいずれかを発光させてもよく、LED30とストロボ36をともに発光させてもよい。まずLED30を発光させ、その後にストロボ36を発光させることにより、幼児の注意を強く惹きつけることも考えられる。
【0056】
なお、本実施形態ではデジタルカメラについて説明したが、ビデオカメラにも同様に適用することができる。
【符号の説明】
【0057】
1 デジタルカメラ、10 レンズ、12 シャッタ・絞り、14 撮像素子、16 アナログ前処理回路、18 デジタル信号処理回路、19 操作スイッチ(SW)、20 システム制御回路、22 データバス、24 メモリカード、26 液晶モニタ、28 バッファメモリ、30 LED、32 ブザー、34 画像表示装置、36 ストロボ。
【技術分野】
【0001】
本発明は撮像装置に関し、特に被写体人物の年齢推定に関する。
【背景技術】
【0002】
従来から、撮影して得られた画像から被写体としての人体を検出する技術が提案されている。
【0003】
例えば、下記の特許文献1には、人体のモデルの輪郭の一部または人体の部位を表す閉曲線からなるテンプレートを記憶するテンプレート管理部と、検出の対象とする画像を入力する画像データ受信部と、入力された画像に対して複数のテンプレートを用いてマッチングを行うことにより、その画像の中から人体を検出する頭部位置検出部を備える物体検出装置が開示されている。
【0004】
また、特許文献2には、2次元画像に含まれる判定対象物の輪郭データを抽出する輪郭抽出手段と、抽出した輪郭データから輪郭の直線部分と曲線部分の比率を算出する形状値生成手段と、予め決められた閾値と形状値生成手段が算出した輪郭データの直線線分と曲線成分の比率とを比較して人間判定を行う判定手段を備える人間形状判定方法が開示されている。
【0005】
また、特許文献3には、画像からエッジ画像を形成するエッジ画像抽出部と、所定画素のエッジの方向及び所定画素の近隣領域に存在するエッジ画素のエッジ方向と、所定画素と近隣領域に存在するエッジ画素との空間位置関係によって規定したエッジ画素の個数を画像の特徴量として算出し、人物画像の識別精度を向上する装置が開示されている。
【0006】
また、特許文献4には、標準的な顔の大きさを記憶し、この大きさと撮影した顔の大きさから被写体の顔までの実際の距離を演算することが開示されている。
【0007】
また、特許文献5には、頭部と胴部の寸法の比率に基づいて人物か否かを判定する技術が開示されている。
【0008】
また、特許文献6−8には、幼児を撮影する際に、幼児の注意を惹くような画像を表示させて撮影することが開示されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2005−149145号公報
【特許文献2】特開2003−132340号公報
【特許文献3】特開2010−117772号公報
【特許文献4】特開2007−248698号公報
【特許文献5】特開2002−298142号公報
【特許文献6】特開2001−257911号公報
【特許文献7】特開2005−164623号公報
【特許文献8】特開2009−290511号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
ところで、デジタルカメラ等の撮像装置で得られた画像に被写体としての人物あるいは人間が含まれている場合、上記のような各種方法でその画像に人物あるいは人間が含まれていることを検出することが可能であるが、人物あるいは人間を検出した場合に、その検出情報をどのように応用するかについては未だ十分な検討がなされていない。
【0011】
例えば、上記の特許文献1では、画像から人体を検出する技術を施設のセキュリティ管理のために用いることが開示されているにとどまり、より積極的にデジタルカメラ自体の撮影制御に用いることについて何らの言及もない。
【0012】
本発明の目的は、撮影画像に含まれる人体を検出し、その検出情報を利用して被写体である人物の年齢を推定し、推定年齢に基づいて被写体を確実に撮影することができる装置を提供することにある。
【課題を解決するための手段】
【0013】
本発明は、撮像装置であって、レンズを含む光学系と、前記光学系で結像された被写体像を電気信号に変換する撮像手段と、前記撮像手段で得られた画像信号のエッジパターンを用いて検出された人体と前記撮像手段で得られた画像信号から検出された顔部の少なくともいずれかに基づいて被写体の年齢を推定し、推定した年齢から被写体が幼児であるか否かを判定し、幼児であると判定した場合に被写体に向けて視覚的あるいは聴覚的情報を自動出力する制御手段とを備えることを特徴とする。
【0014】
本発明の1つの実施形態では、前記制御手段は、前記人体の頭部の長さと肩部の長さの比率を用いて年齢を推定する。
【0015】
また、本発明の他の実施形態では、前記制御手段は、前記人体と前記顔部のそれぞれから年齢を推定し、推定した両年齢が所定の許容範囲内で一致する場合に、推定した年齢を用いて被写体が幼児であるか否かを判定する。
【0016】
また、本発明のさらに他の実施形態では、前記制御手段は、推定した年齢の精度に応じて前記視覚的あるいは聴覚的情報の出力形態を変化させる。
【発明の効果】
【0017】
本発明によれば、被写体の年齢を自動的に推定し、推定した年齢に応じて撮影条件を自動的に設定できる。特に、推定した年齢から被写体が幼児であると判定した場合に、幼児の注意を喚起する情報を出力するので、幼児が視線を向けたタイミングの画像を容易に得ることができる。
【図面の簡単な説明】
【0018】
【図1】実施形態におけるデジタルカメラの構成図である。
【図2】実施形態の処理フローチャートである。
【図3】実施形態の他の処理フローチャートである。
【図4】実施形態のさらに他の処理フローチャートである。
【図5】実施形態の人体検出処理フローチャートである。
【図6】人体検出の模式的説明図である。
【図7】実施形態におけるデジタルカメラの外観斜視図である。
【発明を実施するための形態】
【0019】
以下、図面に基づき本発明の実施形態について説明する。但し、以下の実施形態は例示であり、本発明は以下の実施形態に限定されるものではない。
【0020】
まず、本実施形態における撮像装置としてのデジタルカメラの基本構成について説明する。
【0021】
図1に、本実施形態におけるデジタルカメラの構成ブロック図を示す。レンズ10、シャッタ・絞り12を介して被写体像は撮像素子14に結像する。撮像素子14は、被写体像を電気信号に変換し、アナログ画像信号としてアナログ前処理回路(アナログフロントエンド)16に出力する。絞りは、システム制御回路20からの露光制御信号により駆動制御される(露出制御:AE)。また、レンズ10は、システム制御回路20からのフィーカス制御信号により駆動制御される(フォーカス制御:AF)。
【0022】
なお、撮像素子14には、IRカットフィルタ、光学ローパスフィルタ、カラーフィルタアレイ等の光学フィルタが設けられている。撮像素子14は、CCD撮像素子やCMOS撮像素子が用いられる。
【0023】
アナログ前処理回路(アナログフロントエンド)16は、アナログアンプ、ゲインコントローラ及びADコンバータを備え、撮像素子14からのアナログ画像信号を増幅し、デジタル画像信号に変換してデジタル信号処理回路18に出力する。
【0024】
デジタル信号処理回路18は、供給されたデジタル画像信号に対し、ホワイトバランス調整、ガンマ補正、同時化処理、RGB−YC変換、ノイズ低減処理、輪郭補正、JPEG圧縮の各処理を実行する。
【0025】
ホワイトバランス調整は、光源色温度によるRGBのバランスを補正する処理であり、入力されたR信号、G信号、B信号のゲインをそれぞれ調整する。ゲインを調整する方法としては、光源の種類(太陽光、電灯光)等をユーザが手動で入力し、入力された光源に基づいてゲインを調整する方法、撮影光源下に白やグレーの物体を配置し、これらをカメラで撮影して補正する方法、カメラで光源を自動的に判断して補正する方法(オートホワイトバランス)がある。
【0026】
ガンマ補正は、撮像素子14の出力特性を所定の階調特性に調整する処理である。
【0027】
同時化処理は、Bayer配列のカラーフィルタを用いた単板撮像方式において1つの画素に1つの色の信号しか存在しないため、足りない色の信号を近隣の画素の色信号から演算して算出する処理である。同時化処理の方法として、近隣の画素の値を平均する方法、注目画素からの距離に応じて加重平均する方法等がある。
【0028】
RGB−YC変換処理は、同時化処理されたR信号、G信号、B信号をY信号、Cb信号、Cr信号に変換する処理である。すなわち、
Y=0.30R+0.59G+0.11B
Cb=B−Y
Cr=R−Y
により輝度信号のY信号、色差信号のCb信号、Cr信号に変換する。
【0029】
ノイズ低減処理は、メディアンフィルタ等を用いてパルス性のノイズのような孤立点を除去する処理である。この処理によりノイズは除去されるが同時に解像度にも影響するため、通常、色差信号Cb,Crに対して実行される。
【0030】
輪郭補正処理は、光学的ローパスフィルタ等の影響によるMTF(Modulation Transfer Function)の低下を補正するための処理であり、輪郭抽出処理とノンリニア処理により原画像信号に輪郭信号を付加する。通常、輪郭補正処理は、輝度信号に対して実行される。
【0031】
JPEG圧縮は、輝度信号のY信号、色差信号のCb信号、Cr信号それぞれを8画素×8画素のブロックに分割し、各ブロック毎にDCT変換、量子化、ハフマン符号化を順次行い圧縮する。
【0032】
デジタル信号処理回路18は、以上のような処理を施され、圧縮された画像信号をデータバス22を介してバッファメモリ28に格納し、バッファメモリ28に格納された画像データを読み出して液晶モニタ26に表示する。あるいは、画像信号をメモリカード24に記憶する。
【0033】
システム制御回路20は、各種スイッチ(SW)19から入力された信号に基づき各部の動作を制御する。例えば、シャッタボタン19aの操作信号に基づいて各部の動作を制御し、撮影して得られた画像信号を液晶モニタ26に表示し、あるいはメモリカード24に記憶する。また、撮影に際し、既述したように露出制御(AE)及びフォーカス制御(AF)を実行する。フォーカス制御に関しては、コントラスト検出式AFとTTL位相差検出式AFがある。コントラスト検出式AFでは、撮像画像のコントラスト最大点を合焦位置とするもので、現在位置からフォーカスを少し動かし、コントラストが減少した場合に逆方向に、コントラストが増大した場合にさらに同方向に動かし、どちらの方向に動かしても減少する場合に当該位置を合焦位置とするものである(所謂山登り法)。TTL位相差検出式AFでは、レンズ透過光を測距ユニットで計測し、レンズの合焦位置を決定するものであり、測距ユニットでは合焦位置からのずれの方向及びずれ量に応じて像が左右に移動することを利用して合焦位置を決定する。
【0034】
このような構成において、デジタル信号処理回路18は、上記の各処理を実行するとともに、得られた画像信号に人体が含まれているか否かを検出する人体検出処理を実行し、その検出結果をシステム制御回路20に出力する。
【0035】
また、デジタル信号処理回路18は、得られた画像信号に顔が含まれているか否かを検出する(FD)。顔の検出は、顔の輪郭や顔の各部位(目や鼻、口)の相対位置や大きさ等を用いて実行する。色データ(肌色か否か)を用いて顔を検出してもよい。顔検出して顔に合焦するように制御する顔AF、顔検出して露出制御する顔AE、顔検出してホワイトバランスを調整する顔WBが公知であるが、これら顔AF、顔AE、顔WBで用いられる顔検出アルゴリズムをそのまま適用することができる。
【0036】
システム制御回路20は、デジタル信号処理回路18からの人体検出情報を用いて、被写体人物の年齢を推定する。具体的には、人体検出情報に含まれる人体の像のサイズを利用して、被写体人物の年齢を推定する。人体の各部の像のサイズは、年齢とともに変化することが知られている。例えば、頭部の全体に対する比率は年齢とともに変化していく。また、頭部のサイズと肩部のサイズの比率も年齢とともに変化していく。システム制御回路20は、予め人体のサイズ、あるいは人体の各部の比率と年齢との関係をテーブルとしてメモリに記憶しておき、このテーブルを参照することで被写体人物の年齢を推定する。そして、システム制御回路20は、推定した年齢に基づいて撮影条件を設定する。具体的には、システム制御回路20は、推定した年齢がしきい年齢以下であるか否かを判定し、しきい年齢以下であれば被写体は幼児であるとみなし、幼児を撮影する際に好適と考えられる撮影条件を設定する。被写体が幼児である場合、周囲環境のあらゆるものに興味を惹かれるため、デジタルカメラの方向に視線を一定時間向けることは稀であり、このため幼児の正面写真を撮影することは比較的困難であることが知られている。そこで、システム制御回路20は、被写体が幼児であるとみなした場合には、視覚的あるいは聴覚的な刺激により幼児の注意をデジタルカメラの方向に向けさせるような制御を行う。
【0037】
なお、人体のサイズとは、より特定的には人体の上半身のサイズであり、上半身のサイズには、頭部のサイズ(頭部の長さ、頭部の幅)、肩部のサイズ(肩幅)等が含まれる。サイズは、頭部や肩部を構成する画素数で規定される。
【0038】
図2には、本実施形態の処理フローチャートを示す。まず、デジタル信号処理回路18は、液晶モニタ26に撮像素子14の出力画像信号を表示する(ライブビュー:S101)。ユーザは、ライブビューを視認しながら撮影方向や画角を調整する。次に、デジタル信号処理回路18は、得られた画像から顔部を検出する(FD:S102)。また、FDと並行して、あるいはFDと相前後して、得られた画像から人体を検出する(S103)。以下では、人体検出処理をHBD(Human Body Detection)と称する。HBDの詳細についてはさらに後述する。HBDは主に人体の上半身の輪郭を検出する処理であり、FDは人体の顔を検出する処理であるから、両者は異なる処理である。もちろん、HBDの検出結果をFDで利用することでFDの効率化を図ることは可能である。この意味で、HBDの後にFDを実行することも好適であろう。FD及びHBDの結果は、デジタル信号処理回路18からシステム制御回路20に供給される。
【0039】
次に、システム制御回路20は、スイッチ(SW)19の一つであるシャッタボタン19aがユーザにより半押しされたか否かを判定する(S104)。シャッタボタン19aが半押しされた場合、システム制御回路20は、FDにより検出された顔部、あるいはHBDにより検出された人体に焦点を合わせるようにオートフォーカス制御するとともに、HBDの結果から被写体の年齢を推定し(S105)、推定した年齢がしきい年齢以下であって被写体が幼児であるか否かを判定する(S106)。被写体の年齢推定は、HBDで検出された人体の像のサイズに基づき行われる。例えば、人体の頭部の長さと肩部の長さの比率を算出し、予めこの比率と年齢との対応関係を規定するテーブルが記憶されたメモリにアクセスし、算出した比率に対応する年齢を読み出す。比率と年齢との対応関係を規定するテーブルは、例えば年齢を0〜3歳、3歳〜6歳、6歳〜9歳、9歳〜12歳、12歳〜15歳、15歳〜18歳、18歳〜21歳、22歳以上と区分し、各区分毎の平均的な比率を規定する。
【0040】
また、幼児か否かの判定のしきい年齢は、例えば3歳とすることができる。
【0041】
推定した年齢がしきい年齢以下の幼児であると判定された場合、システム制御回路20は、デジタルカメラ前面に設けられたLED30を所定間隔で点滅させる(S107)。デジタルカメラ前面のLEDを点滅させることで、被写体である幼児は点滅するLEDに注意を惹かれ、デジタルカメラの方に視線を向けることが期待される。ユーザは、幼児が視線をデジタルカメラの方に向けたタイミングでシャッタボタンを全押しする。
【0042】
システム制御回路20は、シャッタボタン19aが全押しされたか否かを判定し(S108)、シャッタボタン19aが全押しされた場合には、被写体を撮影し(S109)、得られた画像を処理してメモリカード24に格納する。
【0043】
図3に、本実施形態の他の処理フローチャートを示す。図2と異なる点は、被写体が幼児であると判定した場合に、LED30を点滅させる代わりにデジタルカメラに設けられたブザー32(図7)を鳴らす点である(S207)。ブザー32を鳴らすことで、幼児は音のする方に注意が惹かれ、デジタルカメラの方に視線を向けることが期待される。ユーザは、幼児が視線をデジタルカメラの方に向けたタイミングでシャッタボタンを全押しする。
【0044】
図4に、本実施形態のさらに他の処理フローチャートを示す。図2と異なる点は、被写体が幼児であると判定した場合に、デジタルカメラの前面に設けられた画像表示装置34(図7)に音声付の動画を表示する点である(S307)。音声付動画は予めシステム制御回路20の内蔵メモリに記憶してもよく、あるいはメモリカード24に記憶された動画を読み出して表示してもよい。音声付動画を表示することで、幼児はこの動画に注意が惹かれ、デジタルカメラの方に視線を向けることが期待される。ユーザは、幼児が視線をデジタルカメラの方に向けたタイミングでシャッタボタンを全押しする。
【0045】
図2〜図4の処理フローチャートにおいて、HBDの結果に基づいて被写体の年齢を推定しているが、システム制御回路20は、FDの結果に基づいて被写体の年齢を推定してもよい。具体的には、検出した顔部から、輪郭と目と口を囲む顔部品領域とから抽出した特徴量を予め年齢毎の複数の顔画像から得られた特徴量とを対比することで推定する。もちろん、これ以外の公知のアルゴリズムを用いることができる。
【0046】
また、検出したFDの結果から被写体の年齢を推定するとともに、HBDの結果から年齢を推定し、両者の推定年齢が許容範囲内で一致する場合に、FDから推定した年齢の信頼性が高いと評価してもよい。
【0047】
また、FDの結果から被写体の年齢を推定するとともに、HBDの結果から年齢を推定し、両者の推定年齢が許容範囲内で一致しない場合には、いずれか若い方の年齢をしきい年齢と比較することで幼児か否かを判定してもよい。
【0048】
また、FDの結果から被写体の年齢を推定するとともに、HBDの結果から年齢を推定し、被写体が横を向いている等でFDによる年齢推定が不能で、HBDの結果によってのみ年齢が推定された場合には、HBDに基づき推定された年齢をしきい年齢と比較してもよい。
【0049】
さらに、図2〜図4の処理において、推定年齢の精度を評価し、精度に応じて注意喚起の態様を変化させることも可能である。例えば、推定精度が比較的低いと評価された場合には、仮に被写体が実際には幼児でなくても違和感が生じないように、ブザーを鳴らすあるいは動画を表示するのではなく、単にLED30を点滅させる態様とし、通常のセルフタイマ撮影と変わりないようにすることが好適であろう。一般的には、FDによる年齢推定の方が、HBDによる年齢推定よりも精度が高いと考えられるから、FDによる年齢推定の結果、幼児と判定した場合には動画を表示する、HBDによる年齢推定の結果、幼児と判定した場合にはLED30を点滅させることも可能である。
【0050】
図5に、人体検出の処理フローチャートを示す。まず、デジタル信号処理回路18は、ライブビュー画像を取得する(S401)。次に、得られた画像からエッジを抽出する(S402)。このエッジ抽出処理は、輪郭補正処理における輪郭抽出結果をそのまま援用してもよく、あるいはこれと別個にエッジを抽出してもよい。
【0051】
エッジを抽出した後、デジタル信号処理回路18は、抽出されたエッジのパターンが、予め決められた人物の上半身のエッジパターンと一致するか否かを判定する(S403)。
【0052】
上半身のエッジパターンは、予めテンプレートとしてデジタル信号処理回路18のメモリに記憶しておく。そして、抽出したエッジパターンが、上半身のエッジパターンと一致する場合には、当該抽出したエッジから人体を検出する(S404)。
【0053】
図6に、撮影画像50から人体を検出する処理を模式的に示す。ライブビュー画像50に人体52が写っているものとする。人体の頭部には、円弧状のエッジ60が存在する。また、人体の肩部にも、曲線状のエッジ62,64が存在する。これらのエッジ60,62,64をテンプレートとしてメモリに記憶しておき、撮影画像から抽出したエッジにこれらのテンプレート60,62,64と一致するパターンが存在するか否かを判定する。もちろん、撮影画像50内の人体52のサイズは種々であるため、相似形のものは一致するとみなすことができる。もちろん、サイズの異なる複数のテンプレートを予め用意してもよい。このように、顔部のエッジと肩部のエッジがともに検出された場合に、被写体から人体を検出することができる。あるいは、頭部の直線上のエッジと、肩部の直線上のエッジとの組み合わせ66をテンプレートとして用意してもよい。
【0054】
以上説明したように、本実施形態によれば、人体検出(HBD)あるいは顔検出(FD)あるいはその両者により得られた情報から被写体の年齢を推定し、推定した年齢に基づいて被写体が幼児であると判定された場合に被写体の注意を喚起するような視覚的ないし聴覚的情報を報知するので、幼児がカメラの方を向いた高品質の画像を簡易に得ることができる。
【0055】
図7に、本実施形態におけるデジタルカメラ1の外観斜視図の一例を示す。デジタルカメラ1には、レンズ10及びシャッタボタン19aが設けられるとともに、前面には、LED30、ブザー32、画像表示装置34、ストロボ36が設けられる。推定年齢に基づいて被写体が幼児であると判定された場合、デジタルカメラ1の前面に設けられたLED30を点滅させ、あるいはブザー32から音を出力し、あるいは画像表示装置34に画像を表示する。被写体が幼児であると判定された場合、ストロボ36を発光させることも好適であろう。但し、ストロボ36を発光させる際には、露出を考慮して通常よりも弱く発光させるのが望ましい。LED30とストロボ36のいずれかを発光させてもよく、LED30とストロボ36をともに発光させてもよい。まずLED30を発光させ、その後にストロボ36を発光させることにより、幼児の注意を強く惹きつけることも考えられる。
【0056】
なお、本実施形態ではデジタルカメラについて説明したが、ビデオカメラにも同様に適用することができる。
【符号の説明】
【0057】
1 デジタルカメラ、10 レンズ、12 シャッタ・絞り、14 撮像素子、16 アナログ前処理回路、18 デジタル信号処理回路、19 操作スイッチ(SW)、20 システム制御回路、22 データバス、24 メモリカード、26 液晶モニタ、28 バッファメモリ、30 LED、32 ブザー、34 画像表示装置、36 ストロボ。
【特許請求の範囲】
【請求項1】
撮像装置であって、
レンズを含む光学系と、
前記光学系で結像された被写体像を電気信号に変換する撮像手段と、
前記撮像手段で得られた画像信号のエッジパターンを用いて検出された人体と前記撮像手段で得られた画像信号から検出された顔部の少なくともいずれかに基づいて被写体の年齢を推定し、推定した年齢から被写体が幼児であるか否かを判定し、幼児であると判定した場合に被写体に向けて視覚的あるいは聴覚的情報を自動出力する制御手段と、
を備えることを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において、
前記制御手段は、前記人体の頭部の長さと肩部の長さの比率を用いて年齢を推定することを特徴とする撮像装置。
【請求項3】
請求項1,2のいずれかに記載の撮像装置において、
前記制御手段は、前記人体と前記顔部のそれぞれから年齢を推定し、推定した両年齢が所定の許容範囲内で一致する場合に、推定した年齢を用いて被写体が幼児であるか否かを判定することを特徴とする撮像装置。
【請求項4】
請求項1記載の撮像装置において、
前記制御手段は、推定した年齢の精度に応じて前記視覚的あるいは聴覚的情報の出力形態を変化させる
ことを特徴とする撮像装置。
【請求項5】
請求項1記載の撮像装置において、
前記制御手段は、幼児であると判定した場合に光を点滅発光することを特徴とする撮像装置。
【請求項6】
請求項1記載の撮像装置において、
前記制御手段は、幼児であると判定した場合に音を出力することを特徴とする撮像装置。
【請求項7】
請求項1記載の撮像装置において、
前記制御手段は、幼児であると判定した場合に動画を表示することを特徴とする撮像装置。
【請求項1】
撮像装置であって、
レンズを含む光学系と、
前記光学系で結像された被写体像を電気信号に変換する撮像手段と、
前記撮像手段で得られた画像信号のエッジパターンを用いて検出された人体と前記撮像手段で得られた画像信号から検出された顔部の少なくともいずれかに基づいて被写体の年齢を推定し、推定した年齢から被写体が幼児であるか否かを判定し、幼児であると判定した場合に被写体に向けて視覚的あるいは聴覚的情報を自動出力する制御手段と、
を備えることを特徴とする撮像装置。
【請求項2】
請求項1記載の撮像装置において、
前記制御手段は、前記人体の頭部の長さと肩部の長さの比率を用いて年齢を推定することを特徴とする撮像装置。
【請求項3】
請求項1,2のいずれかに記載の撮像装置において、
前記制御手段は、前記人体と前記顔部のそれぞれから年齢を推定し、推定した両年齢が所定の許容範囲内で一致する場合に、推定した年齢を用いて被写体が幼児であるか否かを判定することを特徴とする撮像装置。
【請求項4】
請求項1記載の撮像装置において、
前記制御手段は、推定した年齢の精度に応じて前記視覚的あるいは聴覚的情報の出力形態を変化させる
ことを特徴とする撮像装置。
【請求項5】
請求項1記載の撮像装置において、
前記制御手段は、幼児であると判定した場合に光を点滅発光することを特徴とする撮像装置。
【請求項6】
請求項1記載の撮像装置において、
前記制御手段は、幼児であると判定した場合に音を出力することを特徴とする撮像装置。
【請求項7】
請求項1記載の撮像装置において、
前記制御手段は、幼児であると判定した場合に動画を表示することを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【公開番号】特開2013−5002(P2013−5002A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−130846(P2011−130846)
【出願日】平成23年6月13日(2011.6.13)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願日】平成23年6月13日(2011.6.13)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】
[ Back to top ]