説明

撮像装置

【課題】光変調画像の画素値を適正な値とする。
【解決手段】演算処理部4は、領域抽出処理で抽出される顔領域の位置(画素の座標)と、顔領域の大きさから推定される被写体Xまでの距離とに基づき、被写体(人物の顔)Xとの距離が相対的に最も近くなる範囲内から1乃至複数個の発光ダイオード1aを選択する。そして、演算処理部4は、選択した1乃至複数個の発光ダイオード1aのみを点灯するように発光制御部2を制御する。故に、対象空間において人物の顔を含む狭い領域にだけ発光部1から変調光が照射されることになり、しかも、変調光の光量が人物の顔までの距離に応じたレベルに調整されるから、光変調画像の画素値を適正な値とすることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象空間を撮像して光変調画像を取得する撮像装置に関するものである。
【背景技術】
【0002】
本出願人は、周囲光(例えば、太陽光)の影響を受けない安定した濃淡画像を取得することにより、屋外の太陽光下であっても高い認証精度が確保できる顔認証システムを既に提案している(例えば、特許文献1参照)。この顔認証システムにおいて、認証の対象とする人物の顔を撮像する撮像装置は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、CCDからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの画像(光変調画像)を取得する。そして、顔認証システムの認証装置においては、撮像装置で取得した光変調画像から人物の顔の位置を検出し、当該位置の画素値から人物の顔の特徴量を抽出するとともに、当該特徴量を予め登録されているテンプレートと照合することによって、テンプレートに対応した人物の顔を認証する。
【特許文献1】特開2006−155422号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、上述のように光変調画像を取得するための撮像装置においては、被写体(人物の顔など)までの距離が遠くなるにつれて画素値が減少するだけでなく、被写体までの距離が近すぎるときには画素値が飽和してしまうという問題がある。そこで、画素値を適正な値とするために露光制御が必要となるが、一般的な露光制御、例えば、露光時間や絞りの調整だけでは光変調画像の画素値が適正な値となるように露光制御することは困難であった。
【0004】
本発明は上記事情に鑑みて為されたものであり、その目的は、光変調画像の画素値を適正な値とすることができる撮像装置を提供することにある。
【課題を解決するための手段】
【0005】
請求項1の発明は、上記目的を達成するために、対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像から特定の特徴を有した領域を抽出する領域抽出手段と、領域抽出手段で抽出される前記領域の画素値が所定の適正範囲内に収まるように変調光照射手段を制御して変調光を調整する露光制御手段とを備え、変調光照射手段は、互いに対象空間の異なる位置に光を照射する複数の光源を有し、露光制御手段は、領域抽出手段で抽出される前記領域の位置及び大きさに応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする。
【0006】
請求項1の発明によれば、変調光照射手段が、互いに対象空間の異なる位置に光を照射する複数の光源を有し、露光制御手段は、領域抽出手段で抽出される前記領域の位置及び大きさに応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整するので、特定の特徴を有した領域から入射する光量を増減することで光変調画像の画素値を適正な値とすることができる。
【0007】
請求項2の発明は、請求項1の発明において、変調光照射手段は、照射範囲又は発光量の少なくとも何れか一方が互いに異なる複数種類の光源を有し、露光制御手段は、領域抽出手段で抽出される複数の前記領域の位置及び大きさに応じて、複数種類の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする。
【0008】
請求項2の発明によれば、特定の特徴を有する複数の領域が抽出された場合、それぞれの領域から入射する光量を各別に増減して光変調画像の画素値を適正な値とすることができる。
【0009】
請求項3の発明は、請求項1又は2の発明において、特定の特徴を有した前記領域が移動している場合において、当該領域が移動する向きと距離を予測する予測手段を備え、露光制御手段は、予測手段で予測された前記領域の移動向き及び移動距離に応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする。
【0010】
請求項3の発明によれば、特定の特徴を有した領域が移動した場合でも光変調画像の画素値を適正な値とすることができる。
【0011】
請求項4の発明は、請求項1〜3の何れか1項の発明によれば、領域抽出手段は、特定の特徴を有した領域として人物の顔を抽出することを特徴とする。
【0012】
請求項5の発明は、請求項1〜3の何れか1項の発明において、領域抽出手段は、特定の特徴を有した領域として文字又は特定のパターンで描画された領域を抽出することを特徴とする。
【0013】
請求項6の発明は、請求項1〜5の何れか1項の発明において、領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出することを特徴とする。
【0014】
請求項7の発明は、請求項1〜6の何れか1項の発明において、光変調画像生成手段は、時間的に連続する複数枚の光変調画像を積分することを特徴とする。
【0015】
請求項7の発明によれば、時間的に連続する複数枚の光変調画像を積分することにより、それぞれの光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。
【0016】
請求項8の発明は、請求項7の発明において、領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出し、光変調画像生成手段は、時間的に連続する複数枚の光変調画像を、前記領域が重なるように積分することを特徴とする。
【0017】
請求項8の発明によれば、特定の特徴を有した領域が移動した場合でも、複数枚の光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。
【発明の効果】
【0018】
本発明によれば、光変調画像の画素値を適正な値とすることができる。
【発明を実施するための最良の形態】
【0019】
以下、図面を参照して本発明の実施形態について詳細に説明する。ここで、本実施形態の撮像装置Aは、光変調画像から人物の顔を検出するとともに、検出した人物の顔を予め登録されているテンプレートと照合することで個人を認証する顔認証装置として構成されている。
【0020】
図5は、本実施形態の撮像装置(顔認証装置)Aを含む集合住宅用セキュリティシステムのシステム構成例を示している。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、撮像装置Aの他に、ロビーインターホンB、警報監視盤C、電気錠制御装置D、エレベータ制御盤E、宅配ボックス制御盤F、システム制御盤G、テンキー装置H、各住戸に設置される住宅情報盤(図示せず)などで構成されている。
【0021】
ロビーインターホンBは、来訪者を撮像するカメラ、警報監視盤Cや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Jの外に設置されている。来訪者がロビーインターホンBのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンBから警報監視盤Cを経由して、呼出信号並びにロビーインターホンBのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンBから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンBとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンB及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンB、警報監視盤C、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。
【0022】
電気錠制御盤Dは、共同玄関Jに設けられた電気錠(図示せず)の施錠・解錠を制御する。エレベータ制御盤Eは、集合住宅に設置されているエレベータ(図示せず)の運転を制御する。宅配ボックス制御盤Fは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Gは、住宅情報盤から伝送される制御指令や撮像装置Aの認証結果に応じて、電気錠制御盤Dに電気錠を解錠させたり、エレベータ制御盤Eにエレベータを運転させたり、宅配ボックス制御盤Fに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置Hを操作して当該住人に割り当てられているID番号を入力すると、撮像装置Aでは、テンキー装置Hから受け取ったID番号に対応するテンプレートを用いて当該住人の顔認証を行い、認証できればシステム制御盤Gに認証可の情報を伝送する。そしてシステム制御盤Gは、撮像装置Aから認証可の情報を受け取ると電気錠制御盤Dに電気錠を解錠させたり、エレベータ制御盤Eにエレベータを運転させたり、宅配ボックス制御盤Fに宅配ボックスを解錠させる。一方、撮像装置Aによる認証が不可であった場合、システム制御盤Gでは、撮像装置Aから認証不可の情報を受け取ると電気錠制御盤Dに電気錠を解錠させず、エレベータ制御盤Eにエレベータの運転を行わせず、且つ宅配ボックス制御盤Fに宅配ボックスを解錠させない。尚、電気錠制御装置D、エレベータ制御盤E、宅配ボックス制御盤Fは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。
【0023】
図1(a)に本実施形態の撮像装置Aのブロック図を示す。本実施形態の撮像装置Aは、発光部1、発光制御部2、撮像部3、演算処理部4、テンプレートマッチング処理部5、メモリ部6を備えている。発光部1は、図1(b)に示すように同一平面上で縦横に配置された複数個の発光ダイオード1aと、これら複数の発光ダイオード1aを個別、あるいは数個ずつに分けたグループ毎に点灯させる駆動回路(図示せず)とを有している。尚、発光ダイオード1aは赤外光を発光するものである。発光制御部2は、駆動回路を制御し、非常に高い周波数(例えば、10メガヘルツ)で発光ダイオード1aを駆動させることによって、人物のいる対象空間に変調光を照射させる。すなわち、本実施形態では発光部1と発光制御部2とが変調光照射手段に相当する。
【0024】
撮像部3は、赤外光に感度を有する撮像素子(例えば、CCD<電荷結合素子>)と、発光制御部2から出力されるタイミング信号に基づき、発光部1の発光周期に同期して、撮像素子の各画素の出力から赤外光の反射光成分のみを取り出す処理(以下、「同期検波処理」と呼ぶ。)を行う信号処理回路とを有するとともに、撮像素子の受光面に赤外光を集光するレンズや、レンズと撮像素子の間に配置される絞りなども有している。演算処理部4は、信号処理回路で取り出された反射光成分を画素値とする光変調画像を生成する光変調画像生成処理と、光変調画像から特定の特徴を有した領域(人物の顔の領域)を抽出する領域抽出処理と、顔領域の画素値が所定の適正範囲内に収まるように発光制御部2を制御して変調光を調整する露光制御処理と、顔領域から人物の顔の特徴量(例えば、目、鼻、口などの顔器官形状の特徴に対応した情報)を抽出する特徴量抽出処理とを行うものであって、例えば、汎用のマイクロコンピュータに、上記光変調画像生成処理、領域抽出処理、露光制御処理、特徴量抽出処理を行わせるプログラムを搭載して実現される。但し、光変調画像生成処理及び領域抽出処理については、特許文献1にも記載されているように既に周知技術であるから詳細な説明は省略する。
【0025】
テンプレートマッチング処理部5は、演算処理部4の特徴量抽出処理によって抽出された特徴量と、メモリ部6に予め登録(記憶)されているテンプレートとを照合することにより、対象空間に居る人物が予め登録されている人物(本実施形態では集合住宅の住人)か否かを判断する。そして、テンプレートマッチング処理部5による処理結果、すなわち、認証結果(認証可又は認証不可)がシステム制御盤Gに伝送される。
【0026】
システム制御盤Gは、撮像装置Aから受け取った認証結果が認証可であれば、電気錠制御盤Dに電気錠を解錠させるとともにエレベータ制御盤Eにエレベータを運転させ、さらに宅配ボックス制御盤Fに宅配ボックスを解錠させる。一方、撮像装置Aから受け取った認証結果が認証不可であれば、システム制御盤Gは電気錠制御盤D、エレベータ制御盤E、宅配ボックス制御盤Fに対して何の制御も行わない。よって、予め登録されていない人物(集合住宅の住人以外の人物)が勝手に集合住宅内に侵入することを阻止できる。
【0027】
次に、演算処理部4の動作(特に露光制御処理)について、さらに詳しく説明する。
【0028】
演算処理部4は、発光制御部2を制御して対象空間全体に変調光を均等に照射させる。このとき、発光部1の有する全ての発光ダイオード1aを点灯させるのではなく、例えば、一つおきに間引いて点灯させることで発光部1の消費電力を低減することが望ましい。このようにして得られる光変調画像から、演算処理部4が領域抽出処理を行うことで顔領域を抽出する。但し、発光部1を間引き点灯させたことで光変調画像の画素値が小さくなり、領域抽出処理による顔領域の抽出に失敗した場合、演算処理部4は、発光部1の発光量を増大させて再度光変調画像を取得し、当該光変調画像に対して改めて領域抽出処理を行う。
【0029】
演算処理部4は、領域抽出処理で抽出される顔領域の位置(画素の座標)と、顔領域の大きさから推定される被写体Xまでの距離とに基づき、被写体(人物の顔)Xとの距離が相対的に最も近くなる範囲内から1乃至複数個の発光ダイオード1aを選択する。例えば、図2(a)に示すように被写体Xが画角内の中央より右側に在り且つ撮像装置Aからの距離が相対的に遠ければ、発光部1における右側の複数個の発光ダイオード1aを選択する。また、図2(b)に示すように被写体Xが画角内の中央より右側に在り且つ撮像装置Aからの距離が相対的に近ければ、発光部1における右側の1個の発光ダイオード1aを選択する。そして、演算処理部4は、選択した1乃至複数個の発光ダイオード1aのみを点灯するように発光制御部2を制御する。尚、図2は発光部1と被写体Xを俯瞰した図であって、選択されて発光する発光ダイオード1aを破線で示している。
【0030】
而して、演算処理部4が上述のような露光制御処理を行えば、対象空間において人物の顔を含む狭い領域にだけ発光部1から変調光が照射されることになり、しかも、変調光の光量が人物の顔までの距離に応じたレベルに調整される(例えば、距離が2倍であれば光量を4倍に増大する)から、光変調画像の画素値を適正な値(特徴量抽出に適した適正範囲の値)とすることができる。しかも、被写体(人物の顔)Xに照射される変調光の強度(光量)が間引き点灯時よりも増大するため、間引き点灯による消費電力の削減を図りつつ、光変調画像における信号対ノイズ比(S/N比)を向上することができるという利点もある。そして、このようにして取得される光変調画像を用いれば、後の認証処理における認証精度の向上が図れるものである。尚、上述の例では顔領域の大きさ(被写体Xまでの距離)に応じて発光する発光ダイオード1aの個数を増減することで発光部1の光量を調整しているが、個数を増減する代わりに、同一個数の発光ダイオード1aに流す電流値を増減することで発光部1の光量を調整するようにしても構わない。また、複数の発光ダイオードを同一平面上に並べて発光部1を構成する代わりに、例えば、対象空間に向かって凸となる曲面(球面や円柱面など)上に複数の発光ダイオードを並べて発光部1を構成しても構わない。
【0031】
ここで、発光部1を構成する全ての発光ダイオード1aが必ずしも同一の指向性を有している必要はない。例えば、相対的に指向性を低くくした低指向性の発光ダイオード1bと、相対的に指向性を高くした高指向性の発光ダイオード1cとを交互に配置することで発光部1を構成してもよい(図3参照)。この場合、演算処理部4では、図3(a)に示すように低指向性の発光ダイオード1bのみを発光させて取得した光変調画像から顔領域を抽出した後、当該顔領域の位置及び大きさに基づいて、図3(b)に示すように被写体Xとの距離が最も近い高指向性の発光ダイオード1cのみを発光させればよい。而して、高指向性の発光ダイオード1cが発する変調光を被写体Xに照射すれば、低指向性の発光ダイオード1bが発する変調光を被写体Xに照射する場合と比較して、発光部1の消費電力が同じであっても被写体Xに照射される光量が増えることになるから、消費電力を増やすことなく光変調画像のS/N比を向上させることができる。
【0032】
ところで、映像処理部4では1枚(1フレーム)の光変調画像から複数の顔領域を抽出することも可能である。例えば、図4(a)の俯瞰図に示すように2つの被写体X1,X2が同時に対象空間に存在している場合、初めに低指向性の発光ダイオード1bのみを発光させて取得した光変調画像から各被写体X1,X2の顔領域を抽出し、各々顔領域の位置及び大きさに基づいて、図4(b)に示すように被写体X1,X2との距離が最も近い高指向性の発光ダイオード1cのみを発光させればよい。但し、それぞれの被写体X1,X2に対応した高指向性の発光ダイオード1cは、同時に発光させてもよいし、片方ずつ順番に発光させてもよい。さらに、図4(c)に示すように被写体X1,X2が移動する場合を考慮して、再度低指向性の発光ダイオード1bのみを発光させて各被写体X1,X2の顔領域の位置及び大きさを抽出し、移動した被写体X1,X2に追従して、最も距離の近い高指向性の発光ダイオード1cを選択的に発光させればよい(図4(d)参照)。
【0033】
ここで、演算処理部4の光変調画像生成処理において、時間的に連続する複数枚(複数フレーム)の光変調画像を積分することで光変調画像を生成すれば、それぞれの光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。このとき、被写体(人物)が静止していると見なせるときは、単純に複数フレームの光変調画像全体をそのまま積分(フレーム積分)すればよいが、被写体が動いているときは、そのまま単純にフレーム積分するとノイズ成分だけでなく顔領域の画素値までもが減衰してしまうことになる。そこで、時間的に連続する複数フレームの光変調画像から顔領域を抽出する際、MPEG4などで規格化されている画像圧縮技術における動き予測の方法を利用して、当該顔領域の動き(移動する向きと移動距離)を予測する予測処理を演算処理部4で実行し、例えば、図5(a)に示すようにフレームm−1で抽出した顔領域Y1が、次フレームmで移動する向きと移動距離を予測する。そして、演算処理部4では、発光制御部2を制御し、予測した次フレームmにおける顔領域Y2の位置、さらに次次フレームm+1における顔領域Y3の位置に変調光を照射させるのである。このように予測処理と露光制御処理を組み合わせれば、特定の特徴を有した領域(顔領域)が移動した場合でも光変調画像の画素値を適正な値とすることができる。
【0034】
また、上述のようにして予測された顔領域Y1,Y2,Y3を重ねるようにして各フレームm−1,m,m+1の光変調画像をフレーム積分すれば、顔領域が移動する場合においても、それぞれの光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。
【0035】
ところで、本実施形態では光変調画像から抽出する特定の特徴を有した領域として人物の顔の領域を例示したが、特徴領域は顔領域に限定されるものではない。例えば、人物の顔に限らず、移動する物体を特徴領域として抽出してもよい。あるいは、自動車に取り付けられている自動車登録番号標(ナンバープレート)のように文字又は特定のパターンで描画された領域を特徴領域として抽出してもよい。例えば、ナンバープレートを特徴領域とする場合であれば、ナンバープレートに記載されている文字や記号を特徴量として抽出し、予め登録されている自動車登録番号のテンプレートと照合することで当該ナンバープレートを付けた自動車を認証し、認証可と判断された場合に駐車場のゲートを自動的に開く、というような駐車場のゲート制御システムに適用することが可能である。
【図面の簡単な説明】
【0036】
【図1】本発明の実施形態を示し、(a)は全体のブロック図、(b)は発光部の概略構成図である。
【図2】(a),(b)は同上における露光制御処理の説明図である。
【図3】(a),(b)は同上における露光制御処理の説明図である。
【図4】(a)〜(d)は同上における露光制御処理の説明図である。
【図5】(a),(b)は同上における露光制御処理の説明図である。
【図6】同上を用いた集合住宅用セキュリティシステムのシステム構成図である。
【符号の説明】
【0037】
A 撮像装置
1 発光部(変調光照射手段)
2 発光制御部(変調光照射手段)
3 撮像部
4 演算処理部(光変調画像生成手段、領域抽出手段、露光制御手段)

【特許請求の範囲】
【請求項1】
対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像から特定の特徴を有した領域を抽出する領域抽出手段と、領域抽出手段で抽出される前記領域の画素値が所定の適正範囲内に収まるように変調光照射手段を制御して変調光を調整する露光制御手段とを備え、
変調光照射手段は、互いに対象空間の異なる位置に光を照射する複数の光源を有し、露光制御手段は、領域抽出手段で抽出される前記領域の位置及び大きさに応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする撮像装置。
【請求項2】
変調光照射手段は、照射範囲又は発光量の少なくとも何れか一方が互いに異なる複数種類の光源を有し、露光制御手段は、領域抽出手段で抽出される複数の前記領域の位置及び大きさに応じて、複数種類の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする請求項1記載の撮像装置。
【請求項3】
特定の特徴を有した前記領域が移動している場合において、当該領域が移動する向きと距離を予測する予測手段を備え、露光制御手段は、予測手段で予測された前記領域の移動向き及び移動距離に応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする請求項1又は2記載の撮像装置。
【請求項4】
領域抽出手段は、特定の特徴を有した領域として人物の顔を抽出することを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
【請求項5】
領域抽出手段は、特定の特徴を有した領域として文字又は特定のパターンで描画された領域を抽出することを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
【請求項6】
領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出することを特徴とする請求項1〜5の何れか1項に記載の撮像装置。
【請求項7】
光変調画像生成手段は、時間的に連続する複数枚の光変調画像を積分することを特徴とする請求項1〜6の何れか1項に記載の撮像装置。
【請求項8】
領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出し、光変調画像生成手段は、時間的に連続する複数枚の光変調画像を、前記領域が重なるように積分することを特徴とする請求項7記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−182445(P2009−182445A)
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願番号】特願2008−18017(P2008−18017)
【出願日】平成20年1月29日(2008.1.29)
【出願人】(000005832)パナソニック電工株式会社 (17,916)
【Fターム(参考)】