説明

撮像装置

【課題】環境光の変動の影響を抑制し、かつ画質を向上できる撮像装置を提供することにある。
【解決手段】撮像装置1は、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像部2と、上記対象空間に光を照射する光源部3と、光源部3の点灯時に撮像部2より得られた光源点灯時画像と光源部3の消灯時に撮像部2より得られた光源消灯時画像との差分画像を生成する演算処理部5と、撮像部2の露光量を調整する露光量調整手段6と、差分画像に基づいて顔認証を行う顔認証部7とを備え、演算処理部5は、光源点灯時画像において輝度値が露光量飽和判定用の閾値以上の画素の数をカウントする画素数カウント部51と、画素数カウント部51でカウントされた画素の数が規定値以上であるときに、露光量調整手段6を制御して露光量を減少させる自動露出制御部52とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象空間を撮像する撮像装置、特に対象空間に存在する対象物の認識に利用される撮像装置に関するものである。
【背景技術】
【0002】
従来から、対象空間に存在する対象物の認識(例えば顔認証など)を行う画像処理装置が種々提供されており、この種の画像処理装置では、固体撮像素子(一例としてはイメージセンサ)を用いた撮像装置が広く用いられている。対象物の認識を行うにあたっては、濃淡画像が広く用いられているが、濃淡画像は対象空間の明暗を反映した画像であるので、環境光(周囲光)の変動(環境光の光量変化)の影響を受ける。そのため、濃淡画像を出力する撮像装置を利用した画像処理装置では、環境光の変動が大きい場所では対象物の認識率が低下するという問題が生じていた。
【0003】
このような問題に鑑み、発光ダイオード(LED)などの対象空間に光を照射する光源部を備え、光源部が点灯しているときに撮像した濃淡画像(光源点灯時画像)と、光源部が消灯しているときに撮像した濃淡画像(光源消灯時画像)との差分画像(振幅画像)を出力する撮像装置を利用した画像処理装置が提案されている(例えば、特許文献1参照)。
【0004】
光源点灯時画像は対象空間の環境光と光源部より対象空間に照射した光とが反映された画像であり、光源消灯時画像は対象空間の環境光が反映された画像であるので、光源点灯時画像と光源消灯時画像との差分画像は、光源部より対象空間に照射した光のみが反映された画像となるから、差分画像を用いて対象物の認識を行うことにより、環境光の変動が大きい場所であっても、認識率を低下させることなく対象物の認識を行うことができる。
【特許文献1】特開2006−155422号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、光源点灯時画像は上述したように対象空間の環境光と光源部より対象空間に照射した光とが反映された画像であるから、対象空間が明るい(環境光の光量が多い)場合には、CCDイメージセンサなどの固体撮像素子で蓄積可能な電荷量を越えて、画素の輝度値(濃度値、輝度値)が飽和してしまうおそれがある。そして、画素の輝度値が飽和したときには、差分画像の一部が潰れてしまい、差分画像の画質が悪くなるという問題があった。
【0006】
本発明は上述の点に鑑みて為されたもので、その目的は、環境光の変動の影響を抑制することができ、かつ画質を向上できる撮像装置を提供することにある。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、請求項1の発明では、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像部と、上記対象空間に光を照射する光源部と、光源部の点灯時に撮像部より得られた光源点灯時画像と光源部の消灯時に撮像部より得られた光源消灯時画像との差分画像を生成する演算処理部と、撮像部の露光量を調整する露光量調整手段とを備え、演算処理部は、上記光源点灯時画像、上記光源消灯時画像、および上記差分画像のなかから選択した少なくとも1つの画像において露光量調整用に設定した条件を満たす画素の数をカウントする画素数カウント部と、画素数カウント部のカウント結果に基づいて露光量調整手段を制御する自動露出制御部とを有していることを特徴とする。
【0008】
請求項1の発明によれば、光源点灯時画像は対象空間の環境光と光源部より対象空間に照射した光とが反映された画像であり、光源消灯時画像は対象空間の環境光のみが反映された画像であるので、光源点灯時画像と光源消灯時画像との差分画像は、光源部より対象空間に照射した光のみが反映された画像となるから、環境光の変動の影響を抑制することができ、しかも光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した1つの画像においてカウントした露光量調整用に設定した条件を満たす画素の数に基づいて撮像部の露光量を調整するので、撮像部の露光量を適正な範囲に設定することが可能となるから、差分画像に白トビや黒ツブレなどが生じることを抑制できて、画質を向上できる。
【0009】
請求項2の発明では、請求項1の発明において、上記画素数カウント部は、輝度値が露光量飽和判定用の閾値以上の画素の数をカウントし、上記自動露出制御部は、上記画素数カウント部でカウントされた画素の数が規定値以上であるときに、上記露光量調整手段を制御して露光量を減少させることを特徴とする。
【0010】
請求項2の発明によれば、輝度値が露光量飽和判定用の閾値以上の画素、例えば受光出力が飽和もしくは飽和に近い画素の数が規定値以上であるときには、撮像部の露光量を減少させることで受光出力が飽和もしくは飽和に近い画素の数を少なくするので、差分画像に白トビなどが生じることを抑制できるから、画質を向上することができる。
【0011】
請求項3の発明では、請求項2の発明において、上記画素数カウント部は、上記露光量飽和判定用の閾値より大きい無効画素判定用の閾値以上の輝度値を有する画素はカウントしないことを特徴とする。
【0012】
請求項3の発明によれば、例えば正反射や撮像部に近すぎる物体などにより受光出力が飽和しきった画素をカウントしないようにすることができるから、正反射や撮像部に近すぎる物体などにより受光出力が飽和しきった画素に合わせて撮像部の露光量が調整されて差分画像が暗くなり過ぎてしまうことを防止することができる。
【0013】
請求項4の発明では、請求項2または3の発明において、上記自動露出制御部は、上記光源点灯時画像、上記光源消灯時画像、および上記差分画像のなかから選択した少なくとも1つの画像における輝度値が状態判定用の閾値以上となる画素の数の時間変化に基づいて、上記規定値を調整することを特徴とする。
【0014】
請求項4の発明によれば、例えば、輝度値が状態判定用の閾値以上となる画素の数が所定時間経過してもほとんど変化しないような場合には、障害物その他の差分画像に不必要な物体が写りこんでいる可能性が高く、このような不必要な物体に合わせて露光量が調整されることがないように、規定値を調整(増加)することが可能になるから、画質の劣化を抑制することができる。
【0015】
請求項5の発明では、請求項2〜4のうちいずれか1項の発明において、上記画素数カウント部は、上記光源点灯時画像、上記光源消灯時画像、および上記差分画像のなかから選択した少なくとも1つの画像における輝度値の最大値およびその時間変化に基づいて、上記閾値を調整することを特徴とする。
【0016】
請求項5の発明によれば、例えば、光源消灯時画像において輝度値の最大値が低く、かつ所定時間経過してもほとんど変化しないような場合に環境光が弱いと判断し、このとき、差分画像において輝度値の最大値が高く、かつ所定時間経過してもほとんど変化しないような場合には、光源部の光量が多いと判断することが可能になり、かかる場合においては、露光量飽和判定用の閾値を下げることによって、撮像部の露光量を減少させて、撮像部の露光量を適正な範囲に設定することができるから、画質を向上できる。
【0017】
請求項6の発明では、請求項1の発明において、上記画素数カウント部は、上記光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから各画素におけるS/N比を算出し、算出したS/N比が露光量調整用に設定した条件を満たす画素の数をカウントすることを特徴とする。
【0018】
請求項6の発明によれば、光源点灯時画像の輝度値と光源消灯時画像の輝度値とから各画素におけるS/N比を算出しており、このようなS/N比は、光源点灯時画像の輝度値を光源消灯時画像の輝度値で除算した値で表すことができるので、例えば、S/Nが所定値以下の画素の数が規定値以上ある場合に露光量を増やし、S/N比が所定値以上の画素の数が規定値以上ある場合に露光量を減らすといった制御を行うことによって、撮像部の露光量を適正な範囲に設定することができるから、画質を向上できる。
【0019】
請求項7の発明では、請求項1〜6のうちいずれか1項の発明において、上記演算処理部は、上記差分画像における画素の輝度値の度数分布を作成し、作成した度数分布に基づいて上記差分画像の明るさを調整する自動利得制御部を有していることを特徴とする。
【0020】
請求項7の発明によれば、差分画像の明るさを適度な明るさに調整することができる。
【発明の効果】
【0021】
本発明は、環境光の変動の影響を抑制することができ、かつ画質を向上できるという効果を奏する。
【発明を実施するための最良の形態】
【0022】
(実施形態1)
本実施形態の撮像装置1は、図1に示すように、受光光量に応じた受光出力を発生する複数個の感光部(図示せず)が配列され対象空間を撮像する撮像部2と、撮像部2の近傍に配置され上記対象空間に光を照射する光源部3と、対象空間を撮像部2の撮像面に結像するためのレンズ部4と、光源部3の点灯時に撮像部2より得られた光源点灯時画像と光源部3の消灯時に撮像部2より得られた光源消灯時画像との差分画像を生成する演算処理部5と、撮像部2を制御する駆動制御部60と、光源部3の点灯制御を行う点灯制御部61と、レンズ部4から撮像部2の撮像面に入射する入射光量を調整する入射光量調整部62と、差分画像に基づいて顔認証を行う顔認証部7とを備えた、所謂顔認証装置である。
【0023】
光源部3は、例えば複数個の発光ダイオード(LED)を一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなど、種々のものを用いることができる。光源部3が放射する光としては、赤外線や可視光を採用することができる。例えば、光源部3が放射する光を赤外線とすれば、夜間でも光源部3の点灯に気付かれることがないから監視カメラなどの目的に適した構成となり、可視光とすれば人が目で見るときの状態に近い画像を得ることが可能となる。このような光源部3の点灯状態は点灯制御部61により制御される。
【0024】
点灯制御部61は、所定の変調周波数の変調信号により光源部3を駆動する。上記変調信号には方形波を用い、変調周波数は例えば10〜100kHzから選択し、デューティは50%としてある。したがって、光源部3は10〜100μsの周期で点灯と消灯とを同じ時間ずつ交互に繰り返すことになる。なお、光源部3が点灯と消灯とを繰り返す周期は人の目では認識できない程度の短い周期にする。つまり、光源部3は実際には点灯と消灯とを繰り返しているが、人の目には連続して点灯しているように見えることになる。ただし、これらの数値は一例であり、変調周波数は適宜に設定可能である。
【0025】
撮像部2は、例えば、1個の感光部(図示せず)と1個の電荷集積部(図示せず)とを形成する単位構成の受光素子(一例としては、電荷を蓄積可能なフォトダイオード)を1枚の半導体基板などに複数個配列したイメージセンサ(一例としては、CCDイメージセンサ)を想定している。なお、この種のイメージセンサは、CCDイメージセンサに限定されず、CMOSイメージセンサなど従来周知のものを採用することができるから詳細な説明は省略する。
【0026】
また、撮像部2は電荷の取り出し(画像信号の取り出し)のタイミングや電子シャッタのタイミングなどが制御可能なものであって、電荷の取り出しのタイミングや電子シャッタのタイミングは駆動制御部60が出力する制御信号によって決定される。本実施形態では、駆動制御部60は、光源部3の点滅に同期して撮像部2に画像信号を出力させる。したがって、撮像部2からは、光源部3が点灯しているときに撮像した濃淡画像よりなる光源点灯時画像と、光源部3が消灯しているときに撮像した濃淡画像よりなる光源消灯時画像とが出力される。
【0027】
撮像部2から出力された画像信号(撮像信号)は、AFE部8によってアナログ形式からディジタル形式の画像信号に変換された後に演算処理部5に入力される。なお、AFE部8では、必要に応じてCCDイメージセンサのリセットノイズを除去してベースバンドの画像信号に変換する相関二重サンプリング(Correlated Double Sampling;CDS)なども行われる。この種のAFE部8は従来周知のものであるから詳細な説明は省略する。
【0028】
レンズ部4は、例えば対象空間に存在する被写体を撮像部2の撮像面に結像するためのレンズ(図示せず)と、入射光量を調整するための図示しない絞り(アイリス)とで構成される。ここで、絞りとしては、外部信号により開口径が調整可能なものを採用しており、上記外部信号は、入射光量調整部62により与えられる。なお、レンズ部4は、レンズと絞りとによって構成されたものに限定されず、例えば、絞りの代わりに、透過率の異なる減光フィルタを複数備え、上記外部信号によってどの減光フィルタを用いるかを選択する構成のものや、上記外部信号により透過率が変化する液晶フィルタからなる減光フィルタなどを採用することができる。
【0029】
本実施形態の撮像装置1では、駆動制御部60によって撮像部2の電子シャッタのタイミングが決定され、点灯制御部61によって光源部3の明るさが決定され、入射光量調整部62によってレンズ部4を通過する光量(撮像部2の各受光素子に入射する光量)が決定されるようになっている。つまり、駆動制御部60、点灯制御部61、および入射光量調整部62により、撮像部2の露光量を調整する露光量調整手段6が構成される。
【0030】
演算処理部5は、例えばメモリに格納されたプログラムをマイコンで実行することによって各種の機能を実現するものであり、光源点灯時画像と光源消灯時画像との差分画像を生成する画像生成部50と、光源点灯時画像において露光量調整用に設定した条件を満たす画素の数をカウントする画素数カウント部51と、画素数カウント部51のカウント結果に基づいて露光量調整手段6を制御する自動露出制御部52と、差分画像の明るさを調整する自動利得制御部53とを有し、自動利得制御部53で明るさが調整された差分画像は顔認証部7に出力される。
【0031】
画像生成部50は、光源部3の点灯時(点灯期間)における感光部の受光出力と、光源部3の消灯時(消灯期間)における感光部の受光出力との差分(換言すれば、光源部3から対象空間へ光を照射していないときの各感光部の受光出力と、光源部3から対象空間へ光を照射したときの各感光部の受光出力との差分)を各感光部(受光素子)の輝度値とする差分画像(振幅画像)を生成する。ここで、光源部3は10〜100μsの周期で点灯と消灯とを同じ時間ずつ交互に繰り返しているので、互いに隣接した点灯期間と消灯期間とでは、環境光は実質的に変化しないと考えることができるから、光源点灯時画像と当該光源点灯時画像を撮像した点灯期間に隣接する消灯期間に撮像された光源消灯時画像とから差分画像を作成することにより、差分画像から環境光の変動の影響を除去できる。
【0032】
画素数カウント部51は、上述の露光量調整用に設定した条件として、画素の輝度値が露光量飽和判定用(露光量減少判定用)の閾値以上であるという条件と、画素の輝度値が露光量不足判定用(露光量増加判定用)の閾値以上であるという条件とを設定する。つまり、画素数カウント部51は、光源点灯時画像において輝度値が露光量飽和判定用の閾値以上の画素の数と、輝度値が露光量不足判定用の閾値以上の画素の数とをそれぞれカウントする。ただし、露光量飽和判定用の閾値は露光量不足判定用の閾値より大きい値としている。
【0033】
自動露出制御部(AE部)52は、画素数カウント部51のカウント結果に基づいて露光量調整手段6を制御することで、撮像部2の露光量を調整する。本実施形態では、自動露出制御部52は、画素数カウント部51でカウントされた画素の数(輝度値が露光量飽和判定用の閾値以上の画素の数)が露光量減少判定用の規定値以上であるときに、露光量調整手段6を制御して露光量を減少させ、画素数カウント部51でカウントされた画素の数(輝度値が露光量不足判定用の閾値以上の画素の数)が露光量増加判定用の規定値以下であるときに、露光量調整手段6を制御して露光量を増加させる。また、撮像部2の露光量の調整は、駆動制御部60による電子シャッタのタイミング、点灯制御部61による光源部3の調光制御、入射光量調整部62による入射光量の調整のなかから選択された少なくとも1つにより行うことができる。なお、露光量の調整は、上述したように、駆動制御部60による電子シャッタのタイミング、点灯制御部61による光源部3の調光制御、入射光量調整部62による入射光量の調整のいずれか1つにより行うことができるが、複数組み合わせることにより、幅広い調整が可能である。
【0034】
自動利得制御部(AGC部)53は、差分画像の輝度値(差分画像の明るさ)を調整する。すなわち、画像生成部50で作成された差分画像は、光源点灯時画像から環境光が除去されることで光源部3の光のみが反映された画像となっているから、光源点灯時画像に比較して画素の輝度値が低く、全体的に暗い画像になる傾向があるため(図2(a)参照)、自動利得制御部53により明るさの調整を行うのである。自動利得制御部53は、差分画像の明るさを調整するにあたっては、差分画像における輝度値の度数分布(ヒストグラム)を作成する。自動利得制御部53は、度数分布として、例えば図3に示すグラフように輝度値が所定範囲に含まれる画素の度数分布を示すものを作成する(なお、図3に示す度数分布は、12bitで表される輝度値を5つに場合分けして示したものである)。さらに詳しく説明すると、自動利得制御部53は、最初に利得(ゲイン)を所定値に設定した差分画像の度数分布を作成する。ここで、利得を増やせば、差分画像の各画素の輝度値が増加するため、図2(a)〜(c)に示すように差分画像が明るくなり、これによって図2(d)〜(f)の度数分布に示すように輝度値が高い画素の数が増加する。なお、図2(a)は利得が1倍の差分画像、(b)は利得が4倍の差分画像、(c)は利得が16倍の差分画像を示している。また図2(d)は利得が1倍の差分画像の度数分布のグラフ、(e)は利得が4倍の差分画像の度数分布のグラフ、(f)は利得が16倍の差分画像の度数分布のグラフである。
【0035】
自動利得制御部53は、作成した度数分布において輝度値が利得上限判定用の閾値以上となる画素の数(図3に示す例にあっては、輝度値が2048〜4096である画素の数)が利得上限判定用の規定値Thを越えているか否かを判定し、その結果、利得上限判定用の規定値Thを越えていなければ利得を増やし、利得上限判定用の規定値Thを越えていれば利得を減じる。自動利得制御部53は、上記のような度数分布を用いた判定を繰り返し行うことによって、輝度値が利得上限判定用の閾値以上となる画素の数が利得上限判定用の規定値Thを越えない利得のなかから最大のものを選択する。そして自動利得制御部53は、選択した利得で差分画像の明るさを調整した後に、調整後の差分画像を顔認証部7に出力する。
【0036】
顔認証部7は、撮像部2で撮像した画像に、認証対象者本人の顔が写っているか否かを判定することにより認証(顔認証)を行い、認証結果を出力する。顔認証部7は、例えば、自動利得制御部53より与えられた差分画像に、ソーベルフィルタなどを利用して局所空間微分を行った後に二値化して得られた画像から所定の特徴量(本実施形態では人物の顔の特徴量)を抽出し、抽出した特徴量と、予め登録されたテンプレートとの類似度を算出し、算出した類似度が所定値以上である場合に、撮像部2で撮像した画像に認証対象者本人が写っていると判定する。なお、顔認証部7における認証方法は上記の例に限定されず、従来周知の方法を採用することができるから、詳細な説明は省略する。
【0037】
以上述べたように本実施形態の撮像装置1によれば、光源点灯時画像は対象空間の環境光と光源部3より対象空間に照射した光とが反映された画像であり、光源消灯時画像は対象空間の環境光のみが反映された画像であるので、光源点灯時画像と光源消灯時画像との差分画像は、光源部3より対象空間に照射した光のみが反映された画像となるから、環境光の変動の影響を抑制することができ、しかも光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した1つの画像においてカウントした露光量調整用に設定した条件を満たす画素の数に基づいて撮像部の露光量を調整するので、撮像部2の露光量を適正な範囲に設定することが可能となるから、差分画像に白トビや黒ツブレなどが生じることを抑制できて、画質を向上できる。
【0038】
特に、輝度値が露光量飽和判定用の閾値以上の画素、例えば受光出力が飽和もしくは飽和に近い画素の数が露光量減少判定用の規定値以上であるときには、撮像部2の露光量を減少させることで受光出力が飽和もしくは飽和に近い画素の数を少なくするので、差分画像に白トビなどが生じることを抑制できるから、画質を向上することができる。また、輝度値が露光量不足判定用の閾値以上の画素の数が露光量増加判定用の規定値以下であるときには、露光量を増加させて、輝度値が不足する画素の数を少なくするから、差分画像を明るくすることができ、黒ツブレの発生などを低減できる。なお、上記閾値(露光量飽和判定用の閾値および露光量不足判定用の閾値)や、上記規定値(露光量減少判定用の規定値および露光量増加判定用の規定値)は、実際に差分画像を作成する試験などを行うことによって、好適な値に設定すればよい。
【0039】
また、演算処理部5は、差分画像における画素の輝度値の度数分布を作成し、作成した度数分布に基づいて差分画像の明るさを調整する自動利得制御部53を有し、画像生成部50で作成した差分画像に対して明るさの調整を行うから、差分画像の明るさを適度な明るさに調整することができる。
【0040】
ところで、光源部3の点灯時に撮像部2に入射する光源部3の反射光(被写体で反射された光源部3の光)の光量は、光源部3と被写体との距離の2乗に反比例するので、対象空間に存在する被写体は光源部3に近いものほど、すなわち撮像部2に近いものほど明るくなる。例えば図4に示すように、人物M、植物P、および物体Oが対象空間に存在し、物体Oが人物Mおよび植物Pよりも撮像部2に近い場合には、光源点灯時画像においては物体Oに対応する画素の輝度値が人物Mおよび植物Pに対応する画素の輝度値よりもはるかに大きくなり、物体Oに対応する画素の輝度値は飽和するものの、人物Mおよび植物Pに対応する画素の輝度値は飽和しないといった状況が生じることがある。
【0041】
このような場合、物体Oに対応する画素の数が輝度値が上記露光量飽和判定用の閾値以上の画素の数に計上されるから、たとえ物体Oに対応する画素以外に、輝度値が上記露光量飽和判定用の閾値以上となる画素が存在しない場合であっても、物体Oに対応する画素の数が上記露光量飽和判定用の規定値以上であれば、自動露出制御部52によって露光量を減じる制御が行われ、その結果、差分画像では物体Oに対応する画素以外の画素(人物Mや植物Pに対応する画素)の輝度値が過度に低くなって、黒ツブレなどが生じ、差分画像が劣化するおそれがある。
【0042】
上記の点を鑑みると、画素数カウント部51は、輝度値が露光量飽和判定用の閾値よりある程度大きい画素については、無効な画素であるとしてカウントしないようにすることが好ましい。つまり、画素数カウント部51は、露光量飽和判定用の閾値より大きい無効画素判定用の閾値以上の輝度値を有する画素をカウントしないようにすることが好ましい。
【0043】
このようにすれば、無効画素判定用の閾値以上の輝度値を有する画素、例えば正反射(例えば人物Mがかけている眼鏡や周囲のガラスなど)や撮像部2に近すぎる物体Oなどにより受光出力が飽和してしまった画素をカウントしないようにすることができるから、正反射や撮像部2に近すぎる物体Oなどにより受光出力が飽和してしまった画素に合わせて撮像部2の露光量が調整されることによって、差分画像が暗くなり過ぎてしまうことを抑制することができ、撮像部2の被写体として適しない被写体によって差分画像の画質が劣化させられてしまうことを抑制することができる。
【0044】
なお、本実施形態における画素数カウント部51は、光源点灯時画像において露光量調整用に設定した条件を満たす画素の数をカウントするようにしているが、光源消灯時画像や差分画像においても露光量調整用に設定した条件を満たす画素の数をカウントするようにしてもよいし、光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した少なくとも1つの画像において露光量調整用に設定した条件を満たす画素の数をカウントするようにしてもよい。この点は後述する実施形態2〜4においても同様である。
【0045】
(実施形態2)
本実施形態の撮像装置1は、自動露出制御部52が光源点灯時画像における輝度値が状態判定用の閾値以上となる画素の数の時間変化に基づいて上記規定値(露光量減少判定用の規定値)を調整する点で実施形態1と異なっている。なお、本実施形態の撮像装置1における自動露出制御部52以外の構成については実施形態1と同様であるから、同様の構成については同一の符号を付して説明および図示を省略する。
【0046】
上記状態判定用の閾値は、例えば上述した物体O(図4参照)が光源点灯時画像に写っているか否かを判定するための値であり、本実施形態における自動露出制御部52は、輝度値が状態判定用の閾値以上となる画素の数が所定時間経過してもほとんど変化しない(規定数を下回らない)場合には、つまり、上記所定時間内に撮像された光源点灯時画像のいずれにおいても、輝度値が状態判定用の閾値以上となる画素の数が規定数以上である場合には、光源点灯時画像に物体Oが写っていると判断する。そして、自動露出制御部52は、光源点灯時画像に物体Oが写っていると判断したときには、当該物体Oに対応する画素の数を露光量減少判定用の規定値に計上することで、物体Oに対応する画素の数を無視する。
【0047】
したがって、本実施形態の撮像装置1によれば、例えば輝度値が上記状態判定用の閾値以上となる画素の数が所定時間経過してもほとんど変化しないような場合には、障害物その他の差分画像に不必要な物体が写りこんでいると判断し、このような不必要な物体に合わせて露光量が調整されることがないように、規定値(本実施形態の場合は露光量減少判定用の規定値)を調整するので、画質の劣化を抑制することができる。
【0048】
なお、本実施形態では、露光量減少判定用の規定値を調整するようにしているが、露光量増加判定用の規定値を調整するようにしてもよい。また、上記状態判定用の閾値は、障害物その他の差分画像に不必要な物体が写っているか否かの判断に使用する値であり、状況に応じて適宜設定すればよい。
【0049】
(実施形態3)
本実施形態の撮像装置1は、画素数カウント部51が光源消灯時画像および差分画像それぞれにおける輝度値の最大値およびその時間変化に基づいて上記閾値を調整する点で実施形態1と異なっている。なお、本実施形態の撮像装置1における画素数カウント部51以外の構成については実施形態1と同様であるから、同様の構成については同一の符号を付して説明および図示を省略する。
【0050】
以下、本実施形態における画素数カウント部51についてさらに詳しく説明する。本実施形態における画素数カウント部51は、光源消灯時画像において輝度値の最大値が暗所判定用の判定値以下であり、かつ所定時間経過しても暗所判定用の判定値を越えない場合には、環境光の光量が少ない(環境光が弱い)と判断する。また、本実施形態における画素数カウント部51は、差分画像において輝度値の最大値が露光量不足判定用の判定値以上であり、かつ所定時間経過しても露光量不足判定用の判定値未満とならない場合には、光源部3の光量が過多である(光源部3の光が強過ぎる)と判断する。
【0051】
そして、本実施形態における画素数カウント部51は、環境光の光量が少ないと判断し、かつ光源部3の光量が多いと判断した場合には、露光量飽和判定用の閾値を下げる。露光量飽和判定用の閾値を下げた場合には、光源点灯時画像の各画素の輝度値は同じでも、輝度値が露光量飽和判定用の閾値以上となる画素の数が増えることになる。そのため、露光量飽和判定用の閾値を下げる前は、輝度値が露光量飽和判定用の閾値以上となる画素の数が露光量減少判定用の規定値を越えなかった場合でも、露光量飽和判定用の閾値を下げたことによって、輝度値が露光量飽和判定用の閾値以上となる画素の数が露光量減少判定用の規定値を越えるようになり、自動露出制御部52により露光量を減じる制御が為される。
【0052】
したがって、本実施形態の撮像装置1によれば、環境光の光量が少なく、光源部3の光量が多すぎる場合には、撮像部2の露光量を減少させて、撮像部2の露光量を適正な範囲に設定することができる。このとき、光源部3の明るさを暗くすることで撮像部2の露光量を減少させれば、光源部3の点灯に必要な電力を小さくできるから、消費電力を低減することができるとともに、光源部3の発熱量を低減することができる。その結果、長期的な視点で見た際に、光源部3の劣化を抑制することが可能となり、光源部3の劣化に起因する画質の劣化を抑制することができる。
【0053】
また、本実施形態における画素数カウント部51は、光源消灯時画像において輝度値の最大値が明所判定用の判定値以上であり、かつ所定時間経過しても明所判定用の判定値を下回らない場合には、環境光の光量が多い(環境光が強い)と判断して、露光量飽和判定用の閾値を上げるようにしてもよい。この場合、輝度値が露光量飽和判定用の閾値以上となる画素の数が増えた場合でも、露光量減少判定用の規定値を越え難くなり、撮像部2の露光量が減じられ難くなる。これは、露光量飽和判定用の閾値などを撮像部2の受光素子の容量に対してある程度余裕を見て設定していた場合に有用である。つまり、撮像部2の露光量が減じられ難くすることで、撮像部2の受光素子の容量を限界まで使用することが可能となり、環境光が多い場面では限界まで露光量を維持して画質を劣化させ難くすることができる。
【0054】
さらに、光源点灯時画像の最大値およびその時間変化を参照すれば、撮像部2がどの程度の露光量で飽和するかを知ることができ、これによって、撮像部2に用いるイメージセンサの製品毎の飽和量やダイナミックレンジなどの違いに応じて、露光量を調整することが可能となる。すなわち、本実施形態における画素数カウント部51は、光源消灯時画像と、差分画像とにおける輝度値の最大値およびその時間変化だけではなく、光源点灯時画像における輝度値の最大値およびその時間変化に基づいて、上記閾値を調整するようにしてもよい。要するに、本実施形態における画素数カウント部51は、光源点灯時画像、光源消灯時画像、および差分画像のなかから選択した少なくとも1つの画像における輝度値の最大値およびその時間変化に基づいて、上記閾値を調整するものであればよい。また、調整する上記閾値も、露光量飽和判定用の閾値に限定されず、露光量不足判定用の閾値を調整するようにしてもよい。
【0055】
なお、本実施形態における画素数カウント部51に関する事項は上記実施形態2にも適用可能である。
【0056】
(実施形態4)
本実施形態の撮像装置1は、画素数カウント部51および自動露出制御部52の動作が実施形態1と異なっており、その他の構成については実施形態1と同様であるから同様の構成については同一の符号を付して説明および図示を省略する。
【0057】
本実施形態における画素数カウント部51は、光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから各画素におけるS/N比を算出し、算出したS/N比が露光量調整用に設定した条件を満たす画素の数をカウントする。具体的には、本実施形態における画素数カウント部51は、光源点灯時画像の輝度値を光源消灯時画像の輝度値で除算した値をS/N比として採用する。そして、本実施形態における画素数カウント部51は、S/N比が第1の判定値以下である画素の数と、S/Nが第1の判定値より大きい第2の判定値以上である画素の数とをそれぞれカウントする。
【0058】
本実施形態における自動露出制御部52は、S/N比が第1の判定値以下である画素の数が規定数以上であれば、露光量調整手段6を制御して露光量を増やし、S/Nが第2の判定値以上である画素の数が規定数以上であれば、露光量調整手段6を制御して露光量を減じる。
【0059】
以上述べた本実施形態の撮像装置1によれば、撮像部2の露光量を適正な範囲に設定することができて、光源部3の光を正確に反映した差分画像を得ることができるようになり、差分画像の画質を向上できる。
【0060】
ところで、本実施形態および上述した実施形態1〜3の撮像装置1は、例えば図5に示すような集合住宅用セキュリティシステムに組み込まれる。
【0061】
図5に示す集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、撮像装置1の他に、ロビーインターホン100、警報監視盤110、電気錠制御装置120、エレベータ制御盤130、宅配ボックス制御盤140、システム制御盤150、テンキー装置160、各住戸に設置される住宅情報盤(図示せず)などで構成されている。
【0062】
ロビーインターホン100は、来訪者を撮像するカメラ、警報監視盤110や住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関200の外に設置されている。来訪者がロビーインターホン100のテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホン100から警報監視盤110を経由して、呼出信号並びにロビーインターホン100のカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホン100から受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホン100および住宅情報盤を用いて通話することができる。なお、この種のロビーインターホン100、警報監視盤110、住宅情報盤については従来周知であるから詳細な構成についての図示ならびに説明は省略する。
【0063】
電気錠制御盤120は、共同玄関200に設けられた電気錠(図示せず)の施錠・解錠を制御する。エレベータ制御盤130は、集合住宅に設置されているエレベータ(図示せず)の運転を制御する。宅配ボックス制御盤140は、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤150は、住宅情報盤から伝送される制御指令や撮像装置1における認証結果に応じて、電気錠制御盤120に電気錠を解錠させたり、エレベータ制御盤130にエレベータを運転させたり、宅配ボックス制御盤140に宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置110を操作して当該住人に割り当てられているID番号を入力すると、撮像装置1では、テンキー装置110から受け取ったID番号に対応するテンプレートを用いて当該住人の認証を行い、認証できればシステム制御盤150に認証可の情報を伝送する。そしてシステム制御盤150は、撮像装置1から認証可の情報を受け取ると電気錠制御盤120に電気錠を解錠させたり、エレベータ制御盤130にエレベータを運転させたり、宅配ボックス制御盤140に宅配ボックスを解錠させる。一方、撮像装置1による認証が不可であった場合、システム制御盤150では、撮像装置1から認証不可の情報を受け取ると電気錠制御盤120に電気錠を解錠させず、エレベータ制御盤130にエレベータの運転を行わせず、かつ宅配ボックス制御盤140に宅配ボックスを解錠させない。なお、電気錠制御装置120、エレベータ制御盤130、宅配ボックス制御盤140は従来周知のものであるから、詳細な構成の図示ならびに説明は省略する。
【図面の簡単な説明】
【0064】
【図1】実施形態1の撮像装置のブロック図である。
【図2】(a)〜(c)は差分画像の概略図、(d)〜(f)は度数分布を示すグラフである。
【図3】度数分布の一例を示すグラフである。
【図4】光源点灯時画像を示す概略図である。
【図5】集合住宅用セキュリティシステムのシステム構成図である。
【符号の説明】
【0065】
1 撮像装置
2 撮像部
3 光源部
5 演算処理部
6 露光量調整手段
7 顔認証部
50 画像生成部
51 画素数カウント部
52 自動露出制御部

【特許請求の範囲】
【請求項1】
受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する撮像部と、上記対象空間に光を照射する光源部と、光源部の点灯時に撮像部より得られた光源点灯時画像と光源部の消灯時に撮像部より得られた光源消灯時画像との差分画像を生成する演算処理部と、撮像部の露光量を調整する露光量調整手段とを備え、
演算処理部は、上記光源点灯時画像、上記光源消灯時画像、および上記差分画像のなかから選択した少なくとも1つの画像において露光量調整用に設定した条件を満たす画素の数をカウントする画素数カウント部と、画素数カウント部のカウント結果に基づいて露光量調整手段を制御する自動露出制御部とを有していることを特徴とする撮像装置。
【請求項2】
上記画素数カウント部は、輝度値が露光量飽和判定用の閾値以上の画素の数をカウントし、
上記自動露出制御部は、上記画素数カウント部でカウントされた画素の数が規定値以上であるときに、上記露光量調整手段を制御して露光量を減少させることを特徴とする請求項1記載の撮像装置。
【請求項3】
上記画素数カウント部は、上記露光量飽和判定用の閾値より大きい無効画素判定用の閾値以上の輝度値を有する画素はカウントしないことを特徴とする請求項2記載の撮像装置。
【請求項4】
上記自動露出制御部は、上記光源点灯時画像、上記光源消灯時画像、および上記差分画像のなかから選択した少なくとも1つの画像における輝度値が状態判定用の閾値以上となる画素の数の時間変化に基づいて、上記規定値を調整することを特徴とする請求項2または3記載の撮像装置。
【請求項5】
上記画素数カウント部は、上記光源点灯時画像、上記光源消灯時画像、および上記差分画像のなかから選択した少なくとも1つの画像における輝度値の最大値およびその時間変化に基づいて、上記閾値を調整することを特徴とする請求項2〜4のうちいずれか1項記載の撮像装置。
【請求項6】
上記画素数カウント部は、上記光源点灯時画像の輝度値と上記光源消灯時画像の輝度値とから各画素におけるS/N比を算出し、算出したS/N比が露光量調整用に設定した条件を満たす画素の数をカウントすることを特徴とする請求項1記載の撮像装置。
【請求項7】
上記演算処理部は、上記差分画像における画素の輝度値の度数分布を作成し、作成した度数分布に基づいて上記差分画像の明るさを調整する自動利得制御部を有していることを特徴とする請求項1〜6のうちいずれか1項記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2009−182461(P2009−182461A)
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願番号】特願2008−18138(P2008−18138)
【出願日】平成20年1月29日(2008.1.29)
【出願人】(000005832)パナソニック電工株式会社 (17,916)
【Fターム(参考)】