画像処理装置
【課題】照明の点灯の有無に応じた画質設定を好適に行うことが可能な画像処理装置を提供する。
【解決手段】画像処理装置２０は、カメラ１０によって撮像された画像から明るさを検出する露光検波部２１と、明るさの変化差分及び明るさの変化時間を検出する明るさ変動検出部２２と、明るさの変化差分及び明るさの変化時間に応じて、画質を設定する画質設定部２４と、設定された画質に基づいて、画像を処理する画像処理部２５と、を備え、画質設定部２４は、変化後の明るさが変化前の明るさよりも大きく、明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の明るさが変化前の明るさよりも小さく、明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定する。
【解決手段】画像処理装置２０は、カメラ１０によって撮像された画像から明るさを検出する露光検波部２１と、明るさの変化差分及び明るさの変化時間を検出する明るさ変動検出部２２と、明るさの変化差分及び明るさの変化時間に応じて、画質を設定する画質設定部２４と、設定された画質に基づいて、画像を処理する画像処理部２５と、を備え、画質設定部２４は、変化後の明るさが変化前の明るさよりも大きく、明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の明るさが変化前の明るさよりも小さく、明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明の点灯の有無に応じて画質を設定する画像処理装置に関する。
【背景技術】
【０００２】
監視用途で使用される監視カメラは、通常、２４時間稼動させることが想定されており、一度設置されて撮影するポイントが決定された後は操作されないため、ほぼ自動で制御する必要がある。白熱灯、蛍光灯等、黒体放射上の色温度曲線から大きく離れていないような一般的な照明が点灯されている場合には、監視カメラが有するオートホワイトバランス制御によって画像の色合いを補正することがある程度可能である。しかし、ナトリウム灯等、分光特性が特殊な照明が点灯されている場合には、通常のオートホワイトバランス制御の動作範囲から外れてしまい、監視カメラの動作が停止してしまうおそれがある。また、オートホワイトバランス制御を行ったとしても、画像の色合いが実際の色合いから離れてしまうおそれがある。
【０００３】
かかる事情に鑑みた技術として、特許文献１には、各画素の色データに基づいて光源を予測し、予測された光源に応じて各画素の色データを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０８５９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された技術は、被写体の色が光源によるものなのか、一面に色が付された被写体によるものなのかを正確に判断することは困難であり、照明の点灯の有無に応じた画質設定を好適に行うことができないという問題を有している。
【０００６】
本発明は、前記した問題を解決すべく創案されたものであり、照明の点灯の有無に応じた画質設定を好適に行うことが可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明の画像処理装置は、カメラによって撮像された画像から明るさを検出する明るさ検出部と、検出された前記明るさに基づいて、明るさの変化差分及び明るさの変化時間を検出する明るさ変動検出部と、検出された前記明るさの変化差分及び前記明るさの変化時間に応じて、画質を設定する画質設定部と、設定された前記画質に基づいて、前記画像を処理する画像処理部と、を備え、前記画質設定部は、変化後の前記明るさが変化前の前記明るさよりも大きく、前記明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、前記明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の前記明るさが変化前の前記明るさよりも小さく、前記明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、前記明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、照明の点灯の有無に応じた画質設定を好適に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置を備える監視システムを示すブロック図である。
【図２】照明による被写体の明るさの変化を説明するための概念図である。
【図３】カメラの露光制御を説明するための概念図である。
【図４】照明点灯有無判定部による判定手法を説明するための概念図である。
【図５】本発明の実施形態に係る画像処理装置の動作例を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１１】
まず、本発明の実施形態に係る画像処理装置を備える監視システムの構成について、図１を参照して説明する。図１は、本発明の実施形態に係る画像処理装置を備える監視システムを示すブロック図である。
【００１２】
図１に示すように、本発明の実施形態に係る監視システム１は、照明としての街灯が設置された屋外の駐車場等を撮影するためのシステムであり、監視カメラを構成するカメラ１０及び画像処理装置２０と、表示装置３０と、記録装置４０と、を備える。本実施形態において、照明は、照度センサによって検出された明るさによって日没日出判定を行って点灯消灯を行うか、タイマを用いて点灯消灯を行うように構成されている。
【００１３】
カメラ１０は、複数のレンズを有する光学系１１と、撮像素子１２と、を備え、被写体から光学系１１を介して得られる光学像を、撮像素子１２によって光電変換することによって画像に関する撮像信号を生成し、画像処理装置２０へ出力する。
【００１４】
画像処理装置２０は、カメラ１０によって撮像された画像（撮像信号）を処理する装置であり、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成されており、機能ブロックとして、露光検波部２１と、明るさ変動検出部２２と、フリッカ検出部２３と、画質設定部２４と、画像処理部２５と、カメラ制御部２６と、を備える。
【００１５】
露光検波部２１は、カメラ１０の撮像素子１２から出力された画像（撮像信号）を取得し、画像の明るさ（例えば、輝度値）を検出する。検出された明るさは、明るさ変動検出部２２、フリッカ検出部２３、画質設定部２４及びカメラ制御部２６へ出力される。
【００１６】
明るさ変動検出部２２は、露光検波部２１によって検出された明るさを時系列順に記憶するとともに、露光検波部２１によって検出された明るさに基づいて、明るさの変化差分及び明るさの変化時間を検出する。ここで、明るさの変化差分に関しては、所定のコマ数離れた二枚の画像の明るさを用いて検出可能であり、明るさの変化時間に関しては、明るさの変化差分を検出した二枚の画像の間のコマ数によって検出可能である。検出された明るさの変化差分及び明るさの変化時間は、画質設定部２４へ出力される。
【００１７】
フリッカ検出部２３は、露光検波部２１によって検出された明るさに基づいて、フリッカを検出する。ここでいうフリッカとは、照明がちらついて点灯するフリッカ点灯を行った際の明るさのちらつきのことをいう。すなわち、フリッカ検出部２３は、露光検波部２１によって検出された明るさが短い間隔で大きくなったり小さくなったりすることを繰り返すものである場合に、フリッカを検出する。検出結果は、画質設定部２４へ出力される。
【００１８】
画質設定部２４は、明るさ変動検出部２２によって検出された明るさの変化差分及び明るさの変化時間に応じて、画質を設定する。画質設定部２４は、機能ブロックとして、照明点灯有無判定部２４ａと、設定切替部２４ｂと、を備える。
【００１９】
照明点灯有無判定部２４ａは、露光検波部２１によって検出された明るさと、明るさ変動検出部２２によって検出された明るさの変化差分及び明るさの変化時間と、フリッカ検出部２３による検出結果と、に基づいて、照明が点灯されているか否かを判定する。判定結果は、設定切替部２４ｂへ出力される。
【００２０】
設定切替部２４ｂは、照明点灯有無判定部２４ａによる判定結果に基づいて、画質の設定を切り替える。設定切替部２４ｂは、照明点灯有無判定部２４ａによる判定結果が照明が点灯されたことを示すものである場合には、画質を照明ありの画質に切り替え、照明点灯有無判定部２４ａによる判定結果が照明が消灯されたことを示すものである場合には、画質を照明なしの画質に切り替える。画質の設定結果は、画像処理部２５へ出力される。
【００２１】
画像処理部２５は、設定切替部２４ｂによる画質の設定結果に基づいて、画像（撮像信号）を処理する。画像処理部２５には、照明の種類（ナトリウム灯、水銀灯等）ごとに、オートホワイトバランス制御におけるパラメータ、色マトリクス係数、色相、色レベル等が設定されており、照明なしの画質と照明ありの画質とで異なる画像処理を行う。処理された画像は、表示装置３０及び記録装置４０へ出力される。
【００２２】
カメラ制御部２６は、露光検波部２１によって検出された明るさに基づいて、光学系１１のレンズを調整したり（絞り制御）、撮像素子１２から出力される画像の明るさを一定に保ったり（シャッタ制御）する。
【００２３】
表示装置３０は、画像処理部２５から出力された画像を表示する。記録装置４０は、画像処理部２５から出力された画像に時刻情報を付して記録する。
【００２４】
ここで、照明による被写体の明るさの変化について、図２を参照して説明する。図２は、照明による被写体の明るさの変化を説明するための概念図である。図２の実線（太線）は、被写体の明るさ（点灯時に照明が当たる箇所）を示し、実線（細線）は、被写体の明るさ（点灯時に照明が当たらない箇所）を示す。また、図２の実線（太線）は、被写体の明るさ（点灯時に照明が当たる箇所）であって、日出前後の明るさが小さいうちに消灯した場合を示し、点線は、被写体の明るさ（点灯時に照明が当たる箇所）であって、日出後の明るさがある程度大きくなってから消灯した場合を示し、鎖線は、被写体の明るさ（点灯時に照明が当たる箇所）であって、日出後に消灯しなかった場合を示す。実線（細線）、点線が描かれていない箇所は、実線（太線）と重複しているものとし、鎖線が描かれていない箇所は、実線（太線）又は点線と重複しているものとする。通常、日中の明るさは、曇っている場合でも数千〜数万ルクスはあるのに対して、街灯の明るさは、数〜数十ルクス程度しかない。したがって、日中の急激な明るさ変化（例えば、急に日が陰ったり、急に日が差したりする場合）は、照明点灯に伴う明るさ変化と比べると、十分に明るい領域で生じるため、本発明の実施形態における照明点灯有無判定において、明るさ判定閾値を採用する。この明るさ判定閾値は、照明点灯後の定常時の明るさよりも幾分か大きめに設定されており、明るさが明るさ判定閾値以上である場合には、照明の点灯は不要である。明るさ判定閾値は、照明点灯中の画像の明るさを取得し、取得された明るさに基づいて設定される構成であってもよい。
【００２５】
図２に示すように、被写体の明るさは、日中から日没に向かって、ゆっくりと低下していき、明るさ判定閾値を下回って、さらに照明点灯閾値まで低下したときに、照明が点灯される（図２の実線（太線））。照明点灯時に生じる明るさ変化は、日没時又は日出時に生じる明るさ変化よりも短時間で急激である。また、照明点灯後、被写体の明るさ（照明が当たっていない箇所）は、夜間から日出に向かって、ゆっくりと増加していき（図２の実線（細線））、ある明るさに達すると照明が消灯される。ここで、明るさ検出において照明による影響がなければ、照明点灯時の明るさに近い明るさ（照明点灯閾値）で照明が消灯され、照明消灯時に生じる明るさ変化は、短時間で急激である。しかし、明るさ検出において照明による影響がある場合には、短時間で急激な明るさ変化が生じない可能性がある。この場合には、明るさが明るさ判定閾値以上となった場合に、照明点灯有無判定部２４ａは、照明が消灯されたと判定することとする。この場合には、照明が消灯されて自然光のみの期間においても照明が点灯されているとして照明ありの画質が設定されることとなるが、照明による定常時の明るさと明るさ判定閾値との差を極力小さく設定することによって、かかる期間を短くすることができる。
【００２６】
続いて、カメラの露光制御について、図３を参照して説明する。図３は、カメラの露光制御を説明するための概念図である。図３に示すように、カメラ制御部２６は、被写体がある程度明るいと判定されている場合には、光学系１１のレンズの絞りを調整することによって、得られる画像の明るさを一定に保つ制御（絞り制御）と、撮像素子１２の電荷を掃き捨てることによって、得られる画像の明るさを一定に保つ制御（シャッタ制御）と、行う。シャッタ制御は、動きの速い被写体の残像を消す効果を有しているため、カメラ１０の用途によって、絞り制御とシャッタ制御との比率は適宜変更される。
【００２７】
被写体の実際の明るさが次第に低下すると、カメラ制御部２６は、光学系１１のレンズの絞りを開けていき、得られる光量（露光検波部２１によって検出される明るさ）を増加させる。絞りが全開になると、画像処理部２５は、撮像信号の利得を上げるオートゲイン制御（ＡＣＧ）を行い、画像の明るさの低下を防ぐ。図３において実線で示されるように、露光検波部２１によって検出される明るさは、シャッタ制御及び絞り制御が行われている間は、一定に保たれる。被写体の明るさが低下し、絞りが全開になると、露光検波部２１によって検出される明るさは、次第に低下していく。
【００２８】
図３において点線で示されるように、実際の被写体の明るさは、リニアに低下する。
ここで、実際の被写体の明るさは、露光検波部２１によって検出された明るさを、カメラ制御部２６によるシャッタ制御及び絞り制御の制御量に基づいて補正することによって得られる。
かかる実際の被写体の明るさは、補正演算時間を要するものであるため、明るさのの瞬時の変化を検出することに使用することは難しい。しかし、時間経過とともに生じる明るさ変化（明るさの相対値）を管理するのには好適であるため、明るさ変動検出部２２は、露光検波部２１によって検出された明るさと、カメラ制御部２６による制御量と、に基づいて実際の明るさを算出し、算出された実際の明るさに基づいて、実際の明るさの変化差分を検出する。算出された実際の明るさ、検出された実際の明るさの変化差分及びその変化時間は、照明点灯有無判定部２４ａへ出力される。
【００２９】
照明点灯有無判定部２４ａは、明るさが明るさ判定閾値よりも小さい場合において、図４に示すように、変化後の明るさが変化前の明るさよりも大きく、明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さい場合（すなわち、明るさの時間変化曲線の傾きが正であって、その絶対値が所定の値よりも大きい場合）には、照明が点灯されたと判定する。また、照明点灯有無判定部２４ａは、明るさが明るさ判定閾値よりも小さい場合において、フリッカ検出部２３によってフリッカが検出された場合にも、照明が点灯されたと判定する。また、照明点灯有無判定部２４ａは、照明が点灯された後、明るさが明るさ判定閾値よりも小さい場合において、図４に示すように、変化後の明るさが変化前の前記明るさよりも小さく、明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さい場合（すなわち、明るさの時間変化曲線の傾きが負であって、その絶対値が所定の値よりも大きい場合）には、照明が消灯されたと判定する。また、照明点灯有無判定部２４ａは、フリッカ検出部２３によるフリッカが検出されている状態において、フリッカの検出が所定時間なされなかった場合にも、照明が消灯されたと判定することができる。ここで、第三の閾値は第一の閾値と同値であってもよく、第四の閾値は第二の閾値と同値であってもよい。また、照明点灯有無判定部２４ａは、照明が点灯された後、明るさが明るさ判定閾値以上である場合にも、照明が消灯されたと判定する。
【００３０】
露光検波部２１は、画像の複数の箇所において明るさを検出し、明るさ変動検出部２２は、複数に箇所において検出された明るさの変化差分及び明るさの変化時間を検出し、画質設定部２４は、変化後の明るさの平均値が変化前の明るさの平均値よりも大きく、検出された明るさの変化差分の平均値の絶対値が第一の閾値よりも大きく、かつ、検出された明るさの変化時間の平均値が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の明るさの平均値が変化前の明るさの平均値よりも小さく、検出された明るさの変化差分の平均値の絶対値が第三の閾値よりも大きく、かつ、検出された明るさの変化時間の平均値が第四の閾値よりも小さい場合には、照明なしの画質に設定する構成であってもよい。
【００３１】
また、露光検波部２１は、画像の複数の箇所において明るさを検出し、明るさ変動検出部２２は、複数に箇所において検出された明るさの変化差分及び明るさの変化時間を検出し、画質設定部２４は、検出された明るさの変化差分の絶対値が最大となる箇所に関して、変化後の明るさが変化前の明るさよりも大きく、検出された明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の明るさが変化前の明るさよりも小さく、検出された明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定する構成であってもよい。
【００３２】
また、照明点灯有無判定部２４ａは、記録装置４０から現在日時を取得し、取得された現在時刻が日中を示すものである場合には、照明が点灯されていないと判定する構成であってもよい。
【００３３】
＜動作例＞
続いて、本発明の実施形態に係る画像処理装置２０の動作例について、図５を参照して説明する。図５は、本発明の実施形態に係る画像処理装置の動作例を説明するための図である。
【００３４】
まず、ユーザが入力装置（図示せず）を操作することによって、カメラ１０の設置環境における照明の種類に対するモード（画質モード）が設定される（ステップＳ１）。かかる画質モードとしては、ナトリウム灯用モード、水銀灯等モード等が挙げられる。設定切替部２４ｂは、設定された画質モードの照明なしの画質に設定する。
【００３５】
続いて、照明点灯有無判定部２４ａは、画像の明るさ（明るさ変動検出部２２によって算出された実際の明るさ）が明るさ判定閾値よりも小さいかを判定する（ステップＳ２）。画像の明るさが明るさ判定閾値よりも小さい場合には（ステップＳ２でＹｅｓ）、照明点灯有無判定部２４ａは、変化後の明るさが変化前の明るさよりも大きく、明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さいかを判定する（ステップＳ３）。ステップＳ３でＹｅｓの場合には、設定切替部２４ｂは、照明ありの画質に切り替える（ステップＳ４）。なお、ステップＳ２でＮｏの場合には、本フローはステップＳ２へ戻り、ステップＳ３でＮｏの場合にも、本フローはステップＳ２へ戻る。
【００３６】
ステップＳ４の実行後、照明点灯有無判定部２４ａは、画像の明るさ（明るさ変動検出部２２によって算出された実際の明るさ）が明るさ判定閾値よりも小さいかを判定する（ステップＳ５）。画像の明るさが明るさ判定閾値よりも小さい場合には（ステップＳ５でＹｅｓ）、照明点灯有無判定部２４ａは、変化後の明るさが変化前の明るさよりも小さく、明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さいかを判定する（ステップＳ６）。ステップＳ６でＹｅｓの場合には、設定切替部２４ｂは、照明なしの画質に切り替える（ステップＳ７）。なお、ステップＳ５でＮｏの場合には、本フローはステップＳ７へ移行し、ステップＳ６でＮｏの場合には、本フローはステップＳ５へ戻る。
【００３７】
本発明の実施形態に係る画像処理装置２０は、明るさの変化差分及び明るさの変化時間を用いて照明の点灯の有無を判定するので、照明の種類によらず、照明の点灯の有無に応じた画質設定を好適に行うことができる。
【００３８】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、フリッカ検出部２３を省略する構成であってもよい。また、第一の閾値と第三の閾値とは異なる値であってもよく、第二の閾値と第四の閾値とが異なる値であってもよい。また、フリッカ検出部２３は、露光検波部２１によって検出された明るさが明るさ判定閾値よりも小さい場合にのみ、フリッカ検出を行う構成であってもよい。
【符号の説明】
【００３９】
１０ カメラ
２０ 画像処理装置
２１ 露光検波部（明るさ検出部）
２２ 明るさ変動検出部
２３ フリッカ検出部
２４ 画質設定部
２５ 画像処理部
【技術分野】
【０００１】
本発明は、照明の点灯の有無に応じて画質を設定する画像処理装置に関する。
【背景技術】
【０００２】
監視用途で使用される監視カメラは、通常、２４時間稼動させることが想定されており、一度設置されて撮影するポイントが決定された後は操作されないため、ほぼ自動で制御する必要がある。白熱灯、蛍光灯等、黒体放射上の色温度曲線から大きく離れていないような一般的な照明が点灯されている場合には、監視カメラが有するオートホワイトバランス制御によって画像の色合いを補正することがある程度可能である。しかし、ナトリウム灯等、分光特性が特殊な照明が点灯されている場合には、通常のオートホワイトバランス制御の動作範囲から外れてしまい、監視カメラの動作が停止してしまうおそれがある。また、オートホワイトバランス制御を行ったとしても、画像の色合いが実際の色合いから離れてしまうおそれがある。
【０００３】
かかる事情に鑑みた技術として、特許文献１には、各画素の色データに基づいて光源を予測し、予測された光源に応じて各画素の色データを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０８５９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された技術は、被写体の色が光源によるものなのか、一面に色が付された被写体によるものなのかを正確に判断することは困難であり、照明の点灯の有無に応じた画質設定を好適に行うことができないという問題を有している。
【０００６】
本発明は、前記した問題を解決すべく創案されたものであり、照明の点灯の有無に応じた画質設定を好適に行うことが可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明の画像処理装置は、カメラによって撮像された画像から明るさを検出する明るさ検出部と、検出された前記明るさに基づいて、明るさの変化差分及び明るさの変化時間を検出する明るさ変動検出部と、検出された前記明るさの変化差分及び前記明るさの変化時間に応じて、画質を設定する画質設定部と、設定された前記画質に基づいて、前記画像を処理する画像処理部と、を備え、前記画質設定部は、変化後の前記明るさが変化前の前記明るさよりも大きく、前記明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、前記明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の前記明るさが変化前の前記明るさよりも小さく、前記明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、前記明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、照明の点灯の有無に応じた画質設定を好適に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置を備える監視システムを示すブロック図である。
【図２】照明による被写体の明るさの変化を説明するための概念図である。
【図３】カメラの露光制御を説明するための概念図である。
【図４】照明点灯有無判定部による判定手法を説明するための概念図である。
【図５】本発明の実施形態に係る画像処理装置の動作例を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１１】
まず、本発明の実施形態に係る画像処理装置を備える監視システムの構成について、図１を参照して説明する。図１は、本発明の実施形態に係る画像処理装置を備える監視システムを示すブロック図である。
【００１２】
図１に示すように、本発明の実施形態に係る監視システム１は、照明としての街灯が設置された屋外の駐車場等を撮影するためのシステムであり、監視カメラを構成するカメラ１０及び画像処理装置２０と、表示装置３０と、記録装置４０と、を備える。本実施形態において、照明は、照度センサによって検出された明るさによって日没日出判定を行って点灯消灯を行うか、タイマを用いて点灯消灯を行うように構成されている。
【００１３】
カメラ１０は、複数のレンズを有する光学系１１と、撮像素子１２と、を備え、被写体から光学系１１を介して得られる光学像を、撮像素子１２によって光電変換することによって画像に関する撮像信号を生成し、画像処理装置２０へ出力する。
【００１４】
画像処理装置２０は、カメラ１０によって撮像された画像（撮像信号）を処理する装置であり、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成されており、機能ブロックとして、露光検波部２１と、明るさ変動検出部２２と、フリッカ検出部２３と、画質設定部２４と、画像処理部２５と、カメラ制御部２６と、を備える。
【００１５】
露光検波部２１は、カメラ１０の撮像素子１２から出力された画像（撮像信号）を取得し、画像の明るさ（例えば、輝度値）を検出する。検出された明るさは、明るさ変動検出部２２、フリッカ検出部２３、画質設定部２４及びカメラ制御部２６へ出力される。
【００１６】
明るさ変動検出部２２は、露光検波部２１によって検出された明るさを時系列順に記憶するとともに、露光検波部２１によって検出された明るさに基づいて、明るさの変化差分及び明るさの変化時間を検出する。ここで、明るさの変化差分に関しては、所定のコマ数離れた二枚の画像の明るさを用いて検出可能であり、明るさの変化時間に関しては、明るさの変化差分を検出した二枚の画像の間のコマ数によって検出可能である。検出された明るさの変化差分及び明るさの変化時間は、画質設定部２４へ出力される。
【００１７】
フリッカ検出部２３は、露光検波部２１によって検出された明るさに基づいて、フリッカを検出する。ここでいうフリッカとは、照明がちらついて点灯するフリッカ点灯を行った際の明るさのちらつきのことをいう。すなわち、フリッカ検出部２３は、露光検波部２１によって検出された明るさが短い間隔で大きくなったり小さくなったりすることを繰り返すものである場合に、フリッカを検出する。検出結果は、画質設定部２４へ出力される。
【００１８】
画質設定部２４は、明るさ変動検出部２２によって検出された明るさの変化差分及び明るさの変化時間に応じて、画質を設定する。画質設定部２４は、機能ブロックとして、照明点灯有無判定部２４ａと、設定切替部２４ｂと、を備える。
【００１９】
照明点灯有無判定部２４ａは、露光検波部２１によって検出された明るさと、明るさ変動検出部２２によって検出された明るさの変化差分及び明るさの変化時間と、フリッカ検出部２３による検出結果と、に基づいて、照明が点灯されているか否かを判定する。判定結果は、設定切替部２４ｂへ出力される。
【００２０】
設定切替部２４ｂは、照明点灯有無判定部２４ａによる判定結果に基づいて、画質の設定を切り替える。設定切替部２４ｂは、照明点灯有無判定部２４ａによる判定結果が照明が点灯されたことを示すものである場合には、画質を照明ありの画質に切り替え、照明点灯有無判定部２４ａによる判定結果が照明が消灯されたことを示すものである場合には、画質を照明なしの画質に切り替える。画質の設定結果は、画像処理部２５へ出力される。
【００２１】
画像処理部２５は、設定切替部２４ｂによる画質の設定結果に基づいて、画像（撮像信号）を処理する。画像処理部２５には、照明の種類（ナトリウム灯、水銀灯等）ごとに、オートホワイトバランス制御におけるパラメータ、色マトリクス係数、色相、色レベル等が設定されており、照明なしの画質と照明ありの画質とで異なる画像処理を行う。処理された画像は、表示装置３０及び記録装置４０へ出力される。
【００２２】
カメラ制御部２６は、露光検波部２１によって検出された明るさに基づいて、光学系１１のレンズを調整したり（絞り制御）、撮像素子１２から出力される画像の明るさを一定に保ったり（シャッタ制御）する。
【００２３】
表示装置３０は、画像処理部２５から出力された画像を表示する。記録装置４０は、画像処理部２５から出力された画像に時刻情報を付して記録する。
【００２４】
ここで、照明による被写体の明るさの変化について、図２を参照して説明する。図２は、照明による被写体の明るさの変化を説明するための概念図である。図２の実線（太線）は、被写体の明るさ（点灯時に照明が当たる箇所）を示し、実線（細線）は、被写体の明るさ（点灯時に照明が当たらない箇所）を示す。また、図２の実線（太線）は、被写体の明るさ（点灯時に照明が当たる箇所）であって、日出前後の明るさが小さいうちに消灯した場合を示し、点線は、被写体の明るさ（点灯時に照明が当たる箇所）であって、日出後の明るさがある程度大きくなってから消灯した場合を示し、鎖線は、被写体の明るさ（点灯時に照明が当たる箇所）であって、日出後に消灯しなかった場合を示す。実線（細線）、点線が描かれていない箇所は、実線（太線）と重複しているものとし、鎖線が描かれていない箇所は、実線（太線）又は点線と重複しているものとする。通常、日中の明るさは、曇っている場合でも数千〜数万ルクスはあるのに対して、街灯の明るさは、数〜数十ルクス程度しかない。したがって、日中の急激な明るさ変化（例えば、急に日が陰ったり、急に日が差したりする場合）は、照明点灯に伴う明るさ変化と比べると、十分に明るい領域で生じるため、本発明の実施形態における照明点灯有無判定において、明るさ判定閾値を採用する。この明るさ判定閾値は、照明点灯後の定常時の明るさよりも幾分か大きめに設定されており、明るさが明るさ判定閾値以上である場合には、照明の点灯は不要である。明るさ判定閾値は、照明点灯中の画像の明るさを取得し、取得された明るさに基づいて設定される構成であってもよい。
【００２５】
図２に示すように、被写体の明るさは、日中から日没に向かって、ゆっくりと低下していき、明るさ判定閾値を下回って、さらに照明点灯閾値まで低下したときに、照明が点灯される（図２の実線（太線））。照明点灯時に生じる明るさ変化は、日没時又は日出時に生じる明るさ変化よりも短時間で急激である。また、照明点灯後、被写体の明るさ（照明が当たっていない箇所）は、夜間から日出に向かって、ゆっくりと増加していき（図２の実線（細線））、ある明るさに達すると照明が消灯される。ここで、明るさ検出において照明による影響がなければ、照明点灯時の明るさに近い明るさ（照明点灯閾値）で照明が消灯され、照明消灯時に生じる明るさ変化は、短時間で急激である。しかし、明るさ検出において照明による影響がある場合には、短時間で急激な明るさ変化が生じない可能性がある。この場合には、明るさが明るさ判定閾値以上となった場合に、照明点灯有無判定部２４ａは、照明が消灯されたと判定することとする。この場合には、照明が消灯されて自然光のみの期間においても照明が点灯されているとして照明ありの画質が設定されることとなるが、照明による定常時の明るさと明るさ判定閾値との差を極力小さく設定することによって、かかる期間を短くすることができる。
【００２６】
続いて、カメラの露光制御について、図３を参照して説明する。図３は、カメラの露光制御を説明するための概念図である。図３に示すように、カメラ制御部２６は、被写体がある程度明るいと判定されている場合には、光学系１１のレンズの絞りを調整することによって、得られる画像の明るさを一定に保つ制御（絞り制御）と、撮像素子１２の電荷を掃き捨てることによって、得られる画像の明るさを一定に保つ制御（シャッタ制御）と、行う。シャッタ制御は、動きの速い被写体の残像を消す効果を有しているため、カメラ１０の用途によって、絞り制御とシャッタ制御との比率は適宜変更される。
【００２７】
被写体の実際の明るさが次第に低下すると、カメラ制御部２６は、光学系１１のレンズの絞りを開けていき、得られる光量（露光検波部２１によって検出される明るさ）を増加させる。絞りが全開になると、画像処理部２５は、撮像信号の利得を上げるオートゲイン制御（ＡＣＧ）を行い、画像の明るさの低下を防ぐ。図３において実線で示されるように、露光検波部２１によって検出される明るさは、シャッタ制御及び絞り制御が行われている間は、一定に保たれる。被写体の明るさが低下し、絞りが全開になると、露光検波部２１によって検出される明るさは、次第に低下していく。
【００２８】
図３において点線で示されるように、実際の被写体の明るさは、リニアに低下する。
ここで、実際の被写体の明るさは、露光検波部２１によって検出された明るさを、カメラ制御部２６によるシャッタ制御及び絞り制御の制御量に基づいて補正することによって得られる。
かかる実際の被写体の明るさは、補正演算時間を要するものであるため、明るさのの瞬時の変化を検出することに使用することは難しい。しかし、時間経過とともに生じる明るさ変化（明るさの相対値）を管理するのには好適であるため、明るさ変動検出部２２は、露光検波部２１によって検出された明るさと、カメラ制御部２６による制御量と、に基づいて実際の明るさを算出し、算出された実際の明るさに基づいて、実際の明るさの変化差分を検出する。算出された実際の明るさ、検出された実際の明るさの変化差分及びその変化時間は、照明点灯有無判定部２４ａへ出力される。
【００２９】
照明点灯有無判定部２４ａは、明るさが明るさ判定閾値よりも小さい場合において、図４に示すように、変化後の明るさが変化前の明るさよりも大きく、明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さい場合（すなわち、明るさの時間変化曲線の傾きが正であって、その絶対値が所定の値よりも大きい場合）には、照明が点灯されたと判定する。また、照明点灯有無判定部２４ａは、明るさが明るさ判定閾値よりも小さい場合において、フリッカ検出部２３によってフリッカが検出された場合にも、照明が点灯されたと判定する。また、照明点灯有無判定部２４ａは、照明が点灯された後、明るさが明るさ判定閾値よりも小さい場合において、図４に示すように、変化後の明るさが変化前の前記明るさよりも小さく、明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さい場合（すなわち、明るさの時間変化曲線の傾きが負であって、その絶対値が所定の値よりも大きい場合）には、照明が消灯されたと判定する。また、照明点灯有無判定部２４ａは、フリッカ検出部２３によるフリッカが検出されている状態において、フリッカの検出が所定時間なされなかった場合にも、照明が消灯されたと判定することができる。ここで、第三の閾値は第一の閾値と同値であってもよく、第四の閾値は第二の閾値と同値であってもよい。また、照明点灯有無判定部２４ａは、照明が点灯された後、明るさが明るさ判定閾値以上である場合にも、照明が消灯されたと判定する。
【００３０】
露光検波部２１は、画像の複数の箇所において明るさを検出し、明るさ変動検出部２２は、複数に箇所において検出された明るさの変化差分及び明るさの変化時間を検出し、画質設定部２４は、変化後の明るさの平均値が変化前の明るさの平均値よりも大きく、検出された明るさの変化差分の平均値の絶対値が第一の閾値よりも大きく、かつ、検出された明るさの変化時間の平均値が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の明るさの平均値が変化前の明るさの平均値よりも小さく、検出された明るさの変化差分の平均値の絶対値が第三の閾値よりも大きく、かつ、検出された明るさの変化時間の平均値が第四の閾値よりも小さい場合には、照明なしの画質に設定する構成であってもよい。
【００３１】
また、露光検波部２１は、画像の複数の箇所において明るさを検出し、明るさ変動検出部２２は、複数に箇所において検出された明るさの変化差分及び明るさの変化時間を検出し、画質設定部２４は、検出された明るさの変化差分の絶対値が最大となる箇所に関して、変化後の明るさが変化前の明るさよりも大きく、検出された明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、変化後の明るさが変化前の明るさよりも小さく、検出された明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定する構成であってもよい。
【００３２】
また、照明点灯有無判定部２４ａは、記録装置４０から現在日時を取得し、取得された現在時刻が日中を示すものである場合には、照明が点灯されていないと判定する構成であってもよい。
【００３３】
＜動作例＞
続いて、本発明の実施形態に係る画像処理装置２０の動作例について、図５を参照して説明する。図５は、本発明の実施形態に係る画像処理装置の動作例を説明するための図である。
【００３４】
まず、ユーザが入力装置（図示せず）を操作することによって、カメラ１０の設置環境における照明の種類に対するモード（画質モード）が設定される（ステップＳ１）。かかる画質モードとしては、ナトリウム灯用モード、水銀灯等モード等が挙げられる。設定切替部２４ｂは、設定された画質モードの照明なしの画質に設定する。
【００３５】
続いて、照明点灯有無判定部２４ａは、画像の明るさ（明るさ変動検出部２２によって算出された実際の明るさ）が明るさ判定閾値よりも小さいかを判定する（ステップＳ２）。画像の明るさが明るさ判定閾値よりも小さい場合には（ステップＳ２でＹｅｓ）、照明点灯有無判定部２４ａは、変化後の明るさが変化前の明るさよりも大きく、明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、明るさの変化時間が第二の閾値よりも小さいかを判定する（ステップＳ３）。ステップＳ３でＹｅｓの場合には、設定切替部２４ｂは、照明ありの画質に切り替える（ステップＳ４）。なお、ステップＳ２でＮｏの場合には、本フローはステップＳ２へ戻り、ステップＳ３でＮｏの場合にも、本フローはステップＳ２へ戻る。
【００３６】
ステップＳ４の実行後、照明点灯有無判定部２４ａは、画像の明るさ（明るさ変動検出部２２によって算出された実際の明るさ）が明るさ判定閾値よりも小さいかを判定する（ステップＳ５）。画像の明るさが明るさ判定閾値よりも小さい場合には（ステップＳ５でＹｅｓ）、照明点灯有無判定部２４ａは、変化後の明るさが変化前の明るさよりも小さく、明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、明るさの変化時間が第四の閾値よりも小さいかを判定する（ステップＳ６）。ステップＳ６でＹｅｓの場合には、設定切替部２４ｂは、照明なしの画質に切り替える（ステップＳ７）。なお、ステップＳ５でＮｏの場合には、本フローはステップＳ７へ移行し、ステップＳ６でＮｏの場合には、本フローはステップＳ５へ戻る。
【００３７】
本発明の実施形態に係る画像処理装置２０は、明るさの変化差分及び明るさの変化時間を用いて照明の点灯の有無を判定するので、照明の種類によらず、照明の点灯の有無に応じた画質設定を好適に行うことができる。
【００３８】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、フリッカ検出部２３を省略する構成であってもよい。また、第一の閾値と第三の閾値とは異なる値であってもよく、第二の閾値と第四の閾値とが異なる値であってもよい。また、フリッカ検出部２３は、露光検波部２１によって検出された明るさが明るさ判定閾値よりも小さい場合にのみ、フリッカ検出を行う構成であってもよい。
【符号の説明】
【００３９】
１０ カメラ
２０ 画像処理装置
２１ 露光検波部（明るさ検出部）
２２ 明るさ変動検出部
２３ フリッカ検出部
２４ 画質設定部
２５ 画像処理部
【特許請求の範囲】
【請求項１】
カメラによって撮像された画像から明るさを検出する明るさ検出部と、
検出された前記明るさに基づいて、明るさの変化差分及び明るさの変化時間を検出する明るさ変動検出部と、
検出された前記明るさの変化差分及び前記明るさの変化時間に応じて、画質を設定する画質設定部と、
設定された前記画質に基づいて、前記画像を処理する画像処理部と、
を備え、
前記画質設定部は、
変化後の前記明るさが変化前の前記明るさよりも大きく、前記明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、前記明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、
変化後の前記明るさが変化前の前記明るさよりも小さく、前記明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、前記明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定する
ことを特徴とする画像処理装置。
【請求項２】
前記画質設定部は、検出された前記明るさが明るさ判定閾値よりも小さい場合において、前記照明ありの画質への設定の制御、及び、前記照明なしの画質への設定の制御を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質設定部は、照明ありの画質に設定されている場合において、検出された前記明るさが前記明るさ判定閾値以上となった場合には、前記照明なしの画質に設定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記明るさ検出部は、前記画像の複数の箇所において前記明るさを検出し、
前記明るさ変動検出部は、前記複数の箇所において検出された前記明るさの変化差分及び前記明るさの変化時間を検出し、
前記画質設定部は、前記明るさ、前記明るさの変化差分及び前記明るさの変化時間として、前記複数の箇所において検出された前記明るさの平均値、前記明るさの変化差分の平均値及び前記明るさの変化時間の平均値を用いて、前記照明ありの画質への設定の制御、及び、前記照明なしの画質への設定の制御を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記明るさ検出部は、前記画像の複数の箇所において前記明るさを検出し、
前記明るさ変動検出部は、前記複数の箇所において検出された前記明るさの変化差分及び前記明るさの変化時間を検出し、
前記画質設定部は、前記明るさ、前記明るさの変化差分及び前記明るさの変化時間として、検出された前記明るさの変化差分の絶対値が最大となる箇所の前記明るさ、前記明るさの変化差分及び前記明るさの変化時間を用いて、前記照明ありの画質への設定の制御、及び、前記照明なしの画質への設定の制御を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
検出された前記明るさに基づいて、フリッカを検出するフリッカ検出部をさらに備え、
前記画質設定部は、前記フリッカが検出された場合には、照明ありの画質に設定する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項１】
カメラによって撮像された画像から明るさを検出する明るさ検出部と、
検出された前記明るさに基づいて、明るさの変化差分及び明るさの変化時間を検出する明るさ変動検出部と、
検出された前記明るさの変化差分及び前記明るさの変化時間に応じて、画質を設定する画質設定部と、
設定された前記画質に基づいて、前記画像を処理する画像処理部と、
を備え、
前記画質設定部は、
変化後の前記明るさが変化前の前記明るさよりも大きく、前記明るさの変化差分の絶対値が第一の閾値よりも大きく、かつ、前記明るさの変化時間が第二の閾値よりも小さい場合には、照明ありの画質に設定し、
変化後の前記明るさが変化前の前記明るさよりも小さく、前記明るさの変化差分の絶対値が第三の閾値よりも大きく、かつ、前記明るさの変化時間が第四の閾値よりも小さい場合には、照明なしの画質に設定する
ことを特徴とする画像処理装置。
【請求項２】
前記画質設定部は、検出された前記明るさが明るさ判定閾値よりも小さい場合において、前記照明ありの画質への設定の制御、及び、前記照明なしの画質への設定の制御を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質設定部は、照明ありの画質に設定されている場合において、検出された前記明るさが前記明るさ判定閾値以上となった場合には、前記照明なしの画質に設定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記明るさ検出部は、前記画像の複数の箇所において前記明るさを検出し、
前記明るさ変動検出部は、前記複数の箇所において検出された前記明るさの変化差分及び前記明るさの変化時間を検出し、
前記画質設定部は、前記明るさ、前記明るさの変化差分及び前記明るさの変化時間として、前記複数の箇所において検出された前記明るさの平均値、前記明るさの変化差分の平均値及び前記明るさの変化時間の平均値を用いて、前記照明ありの画質への設定の制御、及び、前記照明なしの画質への設定の制御を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記明るさ検出部は、前記画像の複数の箇所において前記明るさを検出し、
前記明るさ変動検出部は、前記複数の箇所において検出された前記明るさの変化差分及び前記明るさの変化時間を検出し、
前記画質設定部は、前記明るさ、前記明るさの変化差分及び前記明るさの変化時間として、検出された前記明るさの変化差分の絶対値が最大となる箇所の前記明るさ、前記明るさの変化差分及び前記明るさの変化時間を用いて、前記照明ありの画質への設定の制御、及び、前記照明なしの画質への設定の制御を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
検出された前記明るさに基づいて、フリッカを検出するフリッカ検出部をさらに備え、
前記画質設定部は、前記フリッカが検出された場合には、照明ありの画質に設定する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１９９７１１（Ｐ２０１１−１９９７１１Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６５７７２（Ｐ２０１０−６５７７２）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]