画像処理システム及び画像処理方法
【課題】 監視画像を処理する画像処理システムにおいて、差分画像（異物画像）の影領域をリアルタイムで推定して異物画像から除去する。
【解決手段】 電子カメラ１に太陽と空が映るように鏡３を設置し、カラーチャートと空を同時に撮影する。撮影したカラーチャートの日向、日陰輝度値から、その時の空の輝度値毎に日向と日陰の関係を示す実験式を得る。得た実験式に基づき空の輝度値毎の、日向と日陰の輝度値からなる輝度値データテーブルを作成する。作成された輝度値データテーブルの日陰の輝度値に基づき撮影画像の日陰の輝度値を推定し、撮影画像領域から日陰の領域を削除する。
【解決手段】 電子カメラ１に太陽と空が映るように鏡３を設置し、カラーチャートと空を同時に撮影する。撮影したカラーチャートの日向、日陰輝度値から、その時の空の輝度値毎に日向と日陰の関係を示す実験式を得る。得た実験式に基づき空の輝度値毎の、日向と日陰の輝度値からなる輝度値データテーブルを作成する。作成された輝度値データテーブルの日陰の輝度値に基づき撮影画像の日陰の輝度値を推定し、撮影画像領域から日陰の領域を削除する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から算出した差分画像（異物画像）領域から日陰領域を除去可能な画像処理システム及び差分画像領域から影領域を除去する画像処理方法に関する。
【背景技術】
【０００２】
監視カメラを用いた監視システムにおいて、入力画像中の移動物体（異物）を認識するために、入力画像中から背景画像を除いた差分画像（異物画像）を監視する方法が一般に知られている。
この差分画像を利用する監視方法では、処理対象画像の撮影は通常太陽光や照明手段の光が存在する環境で行われることが多く、入力画像には異物の日陰も含まれている。そのため、算出した異物画像にもその日陰領域が含まれているため、異物の正確な認識を行うことができない。
【０００３】
この問題を解決するため、例えば、日陰の部分は基の背景に比べて一様に暗くなり輝度が落ちることに着目して、入力画像と背景画像の差分値からなる移動体（異物）画像を小領域ブロックに分割して、小領域ブロック単位で直交変換を行なうことによりブロック単位での空間周波数を得て、この空間周波数の分布等から交流成分の強さ等を算出し、これらの結果に基づいて移動体部分を算出し、日陰を除いた移動体部分を算出できる移動体算出装置が既に知られている（特許文献１参照）。
【０００４】
また、これとは別に、対象物（異物）が影を落とす床と同じ床上に設置したエリアに基準物を配置し、基準物の日陰を撮影した日陰の画像のＲＧＢの各色成分の輝度分布を基に、その日陰の画像を分析し、各色成分の基準輝度値を算出し、算出した輝度値に基づいて差分画像から日陰の画像を削除する画像処理装置も知られている（特許文献２参照）。
【０００５】
しかしながら、上記特許文献１に記載された移動体算出装置では、太陽光が照射しているときの地面の日陰の部分は、主光源の太陽を除く空が色付きの巨大な面光源としてほぼ支配的に照明しているとみることができるため、空（青空や夕焼け空）が日陰の部分を照明している場合は、日陰の部分の輝度を正確に把握することができない。そのため、輝度差を利用して日陰を除去する手法は、屋外のような間接照明が強いところでは適用できない。
【０００６】
特許文献２の画像処理装置は、基準物の影のＲＧＢの輝度分布を基準に異物の影の輝度分布を推定するため、影の認識精度は高いが基準物を別途用意する必要があり煩わしいという問題がある。また、床と地面が一様でないと輝度分布の推定が行えないという問題もある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２４７２４７号公報
【特許文献２】特開２００８−２４５０６３公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来の問題に鑑みてなされたものであって、その目的は、例えば、監視システムにおける画像処理において、屋外のように強い間接照明環境で撮影された異物の日陰画像を、簡易な構成でかつリアルタイムで除去して、異物の認識精度を向上させることである。
【課題を解決するための手段】
【０００９】
本発明は、撮影手段と、撮影手段で撮影された対象物の背景画像と現画像との差分演算により差分画像を形成する画像処理手段と、を有する画像処理システムであって、前記対象物を撮影したときの空の輝度値を取得する手段と、前記差分画像の各画素の輝度値を取得する手段と、前記空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルと、前記輝度値データテーブルから当該空の輝度値及び前記日向画像の輝度値に対応した日陰画像の輝度値を取得する手段と、前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する手段と、を有することを特徴とする画像処理システムである。
また、本発明は、撮影された対象物の背景画像と現画像との差分演算により形成した差分画像領域から影領域を除去する画像処理方法であって、空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルを作成する工程と、前記輝度値データテーブルから当該空の輝度値及び前記背景画像の輝度値に対応した日陰画像の輝度値を取得する工程と、前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する工程と、を有することを特徴とする差分画像領域から影領域を除去する画像処理方法である。
【発明の効果】
【００１０】
本発明によれば、例えば、監視システムにおける画像処理において、屋外のように強い間接照明環境で撮影された異物の日陰画像（ここでは、照明による影も便宜上日陰と呼ぶ）を、簡易な構成でかつリアルタイムで除去することで、異物の認識精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の画像処理システムを概略的に示す図である。
【図２】図２Ａは本実施形態の画像処理システムで使用するカメラ（電子カメラ）、図２Ｂは上記カメラの撮影の画像を示す図である。
【図３】日向での輝度値と、太陽を除いた空の輝度値と、そのときの日陰の輝度値の関係をＲＧＢ色空間で示した図である。
【図４】カラーチャートを示す図である。
【図５】異なる輝度値の空の下で日向部分と日陰の部分ができるように屋外に置いたカラーチャートを示す図である。
【図６】撮影画像から、ＲＧＢ毎の輝度値を算出した結果をまとめて示した一覧表である。
【図７】異なる輝度値の空の下でのカラーチャートの日向、日陰のそれぞれのモノクロの輝度値の関係を示す図である。
【図８】異なる輝度値の空の下でのカラーチャートの日向の輝度値と日陰の輝度値を示す輝度値データテーブルである。
【図９】カラーチャートの図５と同様の撮影画像である。
【図１０】それぞれ異なる空の輝度値における、カラーチャートの撮影画像から得た日陰及び日向におけるＲＧＢ毎の実測輝度値の一覧表である。
【図１１】図１１Ａは図１０からＲ成分のみを抜き出した、それぞれ空の輝度値が異なるときの日陰と日向の輝度値の一覧表である。また、図１１Ｂは、図１０の輝度値に基づきそれぞれの空の輝度値のときのカラーチャートの各色毎の日向の輝度値、日陰の輝度値の関係を示す一覧表である。
【図１２】図１２Ａは、Ｇ成分についての図１１Ａと同様の一覧表である。図１２Ｂは図１１Ｂと同様の図である。
【図１３】ＲＧＢ毎の、異なる空の輝度値における日向の輝度値と日陰の輝度値との関係を示す輝度値データテーブルである。
【図１４】対象物の差分画像領域から日陰の画像領域を除去する処理機能を有する画像処理機の機能ブロック図である。
【図１５】本実施形態の画像処理システムの画像処理の手順を示すフロー図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る画像処理システムを、添付図面を参照して説明する。
図１は、本実施形態の画像処理システムを概略的に示す図であり、図２Ａは、上記画像処理システムで使用する電子カメラ、図２Ｂは上記電子カメラで撮影した画像を模式的に示す図である。
本実施形態の画像処理システムは、図１に示すように監視領域に設定された電子カメラ１と、電子カメラ１で撮影され入力された画像の処理を行う画像処理機２と、電子カメラ１の前に設置される鏡３で構成されている。なお、図２Ａに示すように、鏡３は空の大部分と太陽が映るように設置した鏡、例えば凸面鏡であり、電子カメラ１は、図２Ｂに示すように監視領域及び凸面鏡３に映った空の映像を撮影する。
【００１３】
この画像処理システムは、既に知られている監視システム等の画像処理システムと同様に、電子カメラ１で撮影した背景画像と現画像との差分画像から異物画像を作成して、所定の監視区域に侵入した例えば人（異物）を監視する際に異物画像の日陰を認識して除去する処理を行う。
【００１４】
本画像処理システムの説明に当たり、ここでは、まず、削除の対象となる物体（異物）の日陰（影）について説明する。
屋外の撮影画像において、空に太陽がある場合、日陰の部分は、太陽光を除くこの空の色を持った巨大な面光源が日陰の部分を照明しているとみることができる。つまり、例えば青空に太陽がある場合は、太陽光が主光源で対象物を照らし、青空の青い面光源が対象物の日陰の部分を照明している間接照明であるとみることができる。
したがって、太陽光が直接照射している部分が日陰になったときの輝度値の変化量は、この空の輝度値に応じて変わる。
【００１５】
本実施形態では、上記電子カメラ１で撮影した現画像と背景画像との差分画像から、そこに含まれる日陰の画像（領域）を除去するが、その前に、除去すべき日陰の画像（領域）を特定する必要がある。そこで、本実施形態では、日陰の画像を特定するためにその画素の輝度値に着目して、現画像の画素の輝度値を、後述する輝度値データテーブルの日陰の輝度値と比較して、その輝度値が日陰の輝度値の所定範囲内か否か判断し、所定範囲内と判断したときその画素は日陰の画像の画素と判断する処理を行う。
【００１６】
次に、異物画像からその日陰画像領域を特定するため、比較のための参照値となる日陰の輝度値を得る方法について説明する。
本実施形態では、輝度値データテーブルの日陰の輝度値を得るため、カラーパターンを用いてその撮影画像から日向部分、日陰の部分及びその撮影時の空の輝度値（モノクロ又はＲＧＢの各色毎の輝度値）を取得し、その輝度値に基づき、一定の空の輝度値の下での、日向部分と日陰の部分との輝度値との関係を表す関係式（一次の近似関数）を得て、その関係式から輝度値データテーブルを作成し、その輝度値データテーブルから空の輝度値及び日向の輝度値に対応する日陰の輝度値（予測値）を得る。
【００１７】
図３は、日向でのＲＧＢの輝度値と、空のＲＧＢの輝度値と、そのときの日陰のＲＧＢの輝度値の関係をＲＧＢ色空間で示した図である。
本実施形態では、凸面鏡３に映っている空の平均の輝度値と、そのとき太陽の直接光を受けている日向での輝度値と日陰の輝度値を測定しておき、上述のように、空の輝度値毎の日向の輝度値と日陰の輝度値から、両者の関係を表す関係式を求め、その関係式から上記輝度値データテーブルを作成する。
【００１８】
次に、関係式を得るために必要な基礎データとなる日向と、空と、日陰の各輝度値を取得する手順について説明する。
本実施形態では、図４に示す８色（白、灰色、ダークイエロー（Ｙ）、ダークマゼンタ（Ｍ）、ダークシアン（Ｃ）、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー））のカラーチャート（各色を互いに平行に並べて印刷したテストチャートを用いる。）を用い、これを図５Ａ〜５Ｃに示すように、空の輝度値が異なる状態で、各色毎に日向部分と日陰の部分ができるように屋外に置いて、電子カメラ１で撮影する。また、電子カメラ１の凸面鏡３によりそのときの空を一緒に撮影する。
なお、図５Ａはモノクロ画像における空の輝度値が２３５、図５Ｂは２２９、図５Ｃは１７３の場合の撮影画像を示す。それぞれの画像の左下側には図５Ｃに示すようにミラーに映った空の画像が示されている。
【００１９】
画像処理機２は、上記撮影画像から各画素のモノクロの輝度値又はＲＧＢ毎の輝度値を、日向と日陰、及び凸面鏡に映った空の画像からそれぞれ算出する（全画素又は複数の画素を算出してその平均値、或いは中心値等の代表値でもよい）。
図６は、上記の撮影条件で撮影したモノクロ画像から算出した輝度値をまとめて示した輝度値データテーブルの一例である。なお、撮影画像からモノクロ又はＲＧＢの輝度値を算出する手法については、ここでは特に説明しないが、周知のソフトウエアを用いて行うことができる。
【００２０】
図６の輝度値データテーブルにおいて、横欄の、チャート色はカラーチャートのモノクロ画像（カラー画像のＲＧＢの輝度値をモノクロ処理した輝度値でもよい）から得た値を、また、日陰部は図５における日陰の部分、同様に日向部は、図５において日向の部分の輝度値を表している。また、横欄のミラーは、空のＲＧＢの輝度値（平均値）で、撮影時の空の輝度値を示している。この実施形態における撮影時の空の輝度値は、それぞれ２３５、２２９、１７３である。
図６の輝度値データテーブル中、「差」は、カラーパターンにおける各色毎の日向と日陰との輝度の差を示している。
【００２１】
図７は、図６に示すモノクロ画像又はカラー画像のＲＧＢの輝度値をモノクロ処理して算出した空の輝度値（ここでは３個）毎の、カラーチャートの各カラーの日向、日陰の輝度（ここでは８色に対応した８個の値）と、上記各８個の値から最小自乗法で求めた３本の直線を示している。
即ち、縦軸に日向の輝度値を、また、横軸に日陰の輝度値を採り、空の輝度値毎に実測に基づき取得されたカラーチャートの日向と日陰の輝度値をプロットし、それぞれの８個の点から最小自乗法により求めた直線（Ｙ＝ａＸ＋ｂ）を図示している。
ここでは、具体的には三つの空の輝度値２３５、２２９、１７３毎に三つの直線（実験式）が示されているが、空の輝度値を増やすことによりそれぞれの輝度値に対応した直線（実験式）が得られ、その実験式からそれぞれの空の輝度値に対応した日陰と日向の輝度値を算出することができる。
【００２２】
本実施形態では、空の輝度値が異なる状態において、同一の電子カメラ１やカラーチャートを用いて実験（撮影）を複数回（ここでは３回）行い、それぞれ、日向部分、空の部分、日陰の部分の輝度値を算出し、得た輝度値から上述のようにそれぞれの空の輝度値毎に得られた実験式（一次関数）を用いて、日陰の輝度値を算出して輝度値データテーブルを作成している。
【００２３】
図８は、上記実験式（ここでは９個）に基づき作成した輝度値データテーブルの１例である。即ち、ここでは、空の輝度値は１６０〜２４０まで９段階に分かれ、それぞれについて得られた９個の実験式に基づき、日向と日陰の輝度値を算出した例を示している。
なお、図８では、左端縦方向に示された日向の輝度値に対応して、日向の輝度値と日陰の輝度値の差として各空の輝度値毎に負の数値が日陰の輝度値低下の標準値として記載されている。したがって、日陰の輝度値は日向の輝度値からその差に相当する分だけ引いた値になる。つまり、例えば、日向の輝度値が１１０であるとして、そのときの空の輝度値が２００であるとすると、その場合の日陰の輝度値は、輝度値データテーブルにしたがって１１０−３０．７４＝７９．２６と計算できる。なお、差の代わりに日陰の輝度値を記入してもよい。
【００２４】
以上は、モノクロ画像に基づき空、日向、日陰の輝度値の関係について説明したが、カラー画像についても基本的には同じである。
次に、カラー画像から日陰の輝度値を得る処理について説明する。
図９は空の輝度値がそれぞれ（Ｒ２１７、Ｇ２３９、Ｂ２５２）、（Ｒ２０４、Ｇ２３２、Ｂ２５３）、（Ｒ１４０、Ｇ１７９、Ｂ２２０）であるときの、カラーチャートの各撮影画像である。
図１０は、図７と同様に縦軸に日向の輝度値、横軸に日陰の輝度値をとり、それぞれ空の輝度値が上記の値であるときの、図９のカラーチャートの撮影画像から得た、日陰及び日向におけるＲＧＢ毎の実測輝度値を一覧表にして表したものである。
【００２５】
図１１Ａは図１０からＲ成分のみを抜き出した、それぞれ空の輝度値のＲ成分が（２１７、２０４、１４０）のときの日陰と日向の輝度値の一覧表である。また、図１１Ｂは、上記一覧表に基づきカラーチャートの各色毎の輝度値を、縦軸に日向の輝度値、横軸に日陰の輝度値をとって、プロットしたときの輝度値の分布と、プロットした各輝度値と、各輝度値から最小自乗法に基づき算出した３個の実験式（直線：Ｙ＝ａＸ＋ｂ）を示したものである。
【００２６】
図１２Ａは、図１１Ａと同様の輝度値一覧表であるが、ここでは図１０からＧ成分のみを抜きだしている。また、図１２Ｂは図１１Ｂと同様に、それぞれ空のＧ成分の輝度値（２３９、２３２、１７９）のときのカラーチャートの各色毎の輝度値をプロットしたときの輝度値と、各輝度値から求めた実験式（Ｙ＝ａＸ＋ｂ）を示したものである。
なお、図示していないが、Ｂ成分についても同様の手順で実験式が得られる。
【００２７】
図１３は、以上のようにして得られたＲＧＢ成分毎の、異なる空の輝度値における日向の輝度値と日陰の輝度値との関係を表す実験式（Ｙ＝ａＸ＋ｂ）から求めた、日向の輝度値と空の輝度値と日陰の輝度値との関係を示す輝度値データテーブルであり、それぞれは、図８と同様に空の異なる輝度値毎における日向の輝度値に対する日陰の輝度値の差分が「−」の符合を付して示されている。
なお、この輝度値データテーブルは、使用する各カメラ毎に作成する。また、撮影に当たって露出は自動調整で行う。
【００２８】
以上で説明した輝度値データテーブルは、カラーチャートを撮影した電子カメラ１の制御部で作成するようにしても、或いは電子カメラの撮影画像を画像処理する画像処理機２で作成してもよい。
輝度値データテーブルの作成手順は、上述のように電子カメラ１で撮影した画像から空及びカラーチャートの日向と日陰のＲＧＢの輝度値を算出し、算出したＲＧＢの輝度値から最小自乗法に基づき、日向と日陰のＲＧＢの輝度値の関係を表す一次関数（直線）から成る実験式を得る。この演算は電子カメラ１或いは画像処理機２のマイクロコンピュータとプログラムを用いて容易に行うことができる。また、このようにして得られた輝度値データテーブルを電子カメラ１又は画像処理機２の記憶装置に記憶させておく。
【００２９】
なお、撮影画像から算出される輝度値は、使用する電子カメラ１毎に変わるが、使用する電子カメラ１が同じであれば、空の色と関わりなく日向と空のＲＧＢの各輝度値から、日陰のＲＧＢの輝度値を算出することができる。
したがって、同じ電子カメラ１を用いてそれぞれ撮影条件の異なる空の画像とそのときの日向の画像から、それぞれ輝度値を算出して、その値を上記関係式に代入することにより、その時々の日陰の輝度値（予測値）を得ることができる。ただ、異物画像から日陰の画像を除去する際に、そのたび毎に日陰の輝度値を算出することは可能であるが、それでは効率が良くない。
【００３０】
そこで、本実施形態では、上述のように日向と空の条件、例えば、各季節毎の朝、昼、夕など、或いは快晴、晴れ、薄曇り等の異なる自然条件下での、日向、日陰及び空のモノクロの輝度値又はＲＧＢ毎の輝度値から上記関係式を作成し、上記関係式を用いて輝度値データテーブルを作成しておく。
【００３１】
また、数種類の電子カメラ、カラーバランスを外した電子カメラなどの設備条件も変更して、異なる輝度値の空の下で、上記カラーチャートの日陰及び日向の輝度値を得て上記関係式の各係数を変更し、これに基づき電子カメラ毎に異なる輝度値データテーブルを作成することができる。
【００３２】
次に、以上のようにして作成した輝度値データテーブルから、日陰の領域の輝度値を取得する手法について説明する。
上記輝度値テーブルから異物（差分）画像の日陰の領域の輝度値を求めるには、空の輝度値と、その異物画像の日向の輝度値が必要である。しかし、異物画像の日向の輝度値を得ることは容易ではない。
そこで、本実施形態では、異物画像を作成する際に用いる背景画像の輝度値を算出しておき、この輝度値を異物画像の日向領域の輝度値に代用する。そのため、背景画像に日陰画像が含まれないように、電子カメラ１による撮影対象となる監視領域は影が生じる突出物がない状態にしておく。
背景画像の輝度値は、背景画像の各画素の平均値、中央値、最頻値など任意の値を輝度値とすることができ、テストを行って最適な値を求めればよい。背景画像の画素毎の上記輝度値は、画像処理機２の背景画像の輝度値メモリ領域２０７（図１４）に格納しておく。
したがって、本実施形態では、空の輝度値（モノクロ又はＲＧＢの輝度値）とそのときの背景画像の輝度値を検索キーとしてそれに対応した日陰の部分の輝度値を上記輝度値データテーブル２０４（図１４）から読み出す。
【００３３】
即ち、本実施形態では、凸面鏡３に映った空を撮影した画像から、その各画素の輝度値の平均値（空の輝度値）を求めこの空の輝度値と、上記背景画像の輝度値をキーにして上記輝度値データテーブルから日陰の輝度値を取得する。即ち、例えば、図８の輝度値データテーブルにおいて、横欄の空（ミラー）の輝度値が１８０で、縦欄の日向の輝度値が２００であるとき、そのときの日陰の輝度値は、縦欄と横欄の交点の数値−３２．２４から、２００−３２．２４＝１６８．７６と求めることができる。
【００３４】
したがって、同じ電子カメラを用いて監視領域と空を撮影してそれぞれの輝度値を取得したとき、空の輝度値が１８０で、日向の輝度値（実際には背景画像の輝度値）が２００であるときは、異物画像の画素の輝度値が１６８（実際には１６８±α；但しαは所定値）であれば、それは異物の日陰の画素の輝度値と見なすことができる。このように日陰の輝度値を取得した後、これを用いて異物画像領域からその日陰の領域を除去する処理を行う。
なお、異物の日向の輝度値と背景画像（日向画像）の輝度値とは同じではない。しかしながら、本実施形態では異物の日陰（影）の大凡の画像領域が分かればよいから、その誤差は実際上問題にならない。
【００３５】
異物画像領域から日陰の領域を除去するためには、輝度テーブルから取得した日陰の輝度値と、上記差分画像の各画素毎の輝度値とを対比して、当該画素の輝度値が日陰の輝度値に当たるか否か、即ち、当該画素の輝度値が日陰の輝度値を中心値とする所定の範囲にあるか否か判断する。本実施形態では、上述のように、空の輝度値から日陰の輝度値を推定するのではなく、空の輝度値と背景画像の輝度値から推定している。そこで、その誤差及び実験式の誤差を考慮して、ここでは、上記日陰の輝度値の上下１０％までの範囲内を「所定の範囲」とし、比較の結果、対象画素の輝度値が上記範囲内であるかどうかを判断する。
なお、「所定の範囲」を定める際に、上記所定値α即ち±何％にすればよいかは実験で定めることができる。
【００３６】
次に、このようにして作成した輝度値データテーブルを用いて、差分画像から日陰に相当する画素を除去する処理を行う装置及び手順について以下説明する。
ここでは、現画像と背景画像との差分で算出した異物画像の画素の輝度値と、空の輝度値と背景画像の上記輝度値に基づき輝度値データテーブルから取り出した日陰の輝度値とを画素毎に比較して、異物画像の画素の輝度値が日陰の画素値の上記所定の範囲内であるかどうか判断し、所定範囲内の値である場合は、その画素は日陰であるとして、異物画像領域から除去する処理を行う。これにより移動物体（異物）をより正確に算出することができる。
【００３７】
図１４は、以上で説明した、対象物の差分画像領域から日陰の画像領域を除去する処理機能を有する画像処理機２の機能ブロック図である。
図１４において、画像処理機２は、各種処理や演算を実行するＣＰＵ２２と、ＣＰＵ２２が動作する動作領域となるＲＡＭ２１、ＣＰＵ２２の動作プログラムなどを記憶した図示しないＲＯＭを有している。
【００３８】
ＲＡＭ２１は、凸面鏡付き電子カメラ１により撮影された入力画像などの取得画像を格納する取得画像メモリ領域２０１と、取得した空の画像により空の輝度差算出手段２０８により算出された空の輝度差データを格納する空の輝度差メモリ領域２０２と、空の輝度値メモリ領域２０３と、空の輝度値毎に日向の輝度値と日陰の輝度値とを対照した輝度値データテーブル２０４と、日陰の輝度値取得手段２０９により輝度値データテーブル２０４から取得された日陰の輝度値を格納する日陰の輝度値メモリ領域２０５と、背景差分処理手段２１０により入力画像から背景画像を除いて形成した異物画像を格納する異物画像メモリ領域２０６と、背景画像の輝度値メモリ領域２０７とを備えている。なお、異物画像メモリ領域２０６に格納された異物画像は日陰を含む可能性がある。
【００３９】
ＣＰＵ２２には、機能実現手段として、空の輝度差算出手段２０８と、日陰の輝度値取得手段２０９と、背景画像と現画像とを差分処理して異物画像（差分画像）を作成する背景差分処理手段２１０と、背景画像からその画素毎の輝度値を算出し、その輝度値の平均値、中央値、最頻値などで定めた背景画像の輝度値を取得する背景画像の輝度値取得手段２１１を備えた、輝度値取得、背景差分処理部と、輝度値データテーブル２０４から取得した日陰の輝度値メモリ領域２０５に格納された日陰の輝度値と異物画像メモリ領域２０６に格納された異物画像の輝度値と、を画素毎に比較する比較手段２１２と、上記比較手段２１２による比較結果に基づき、異物画像領域から日陰画像と判断された画素を除去する画素除去手段２１３からなる、輝度値による影の除去処理部が設けられている。
空の輝度差算出手段２０８は、凸面鏡３に映された空全体（太陽を除く）の輝度差を算出する。
【００４０】
日陰の輝度値取得手段２０９は、前記輝度値データテーブル２０４に基づき、空の輝度値（平均値）に対応した日陰の輝度値を取得する。
背景差分処理手段２１０は、予め入力された背景画像と入力画像で、同じ位置の画素同士の差分を求めて、得られた背景差分画像を２値化して、入力画像から異物画像を算出し、異物画像を異物画像メモリ領域２０６に格納する。
【００４１】
次に、本実施形態の画像処理システムにおける画像処理の手順について説明する。
図１５は、本実施形態の画像処理システムの画像処理の手順を示すフロー図である。まず、電子カメラ１で凸面鏡３に映された空を撮影して空の映像を取得し（Ｓ１０１）、空の輝度差算出手段２０８は、取得した輝度値から空全体の輝度差（最大輝度値と最小輝度値の差）を算出する（Ｓ１０２）。次に、ＣＰＵ２２は、算出した空全体の輝度差（つまり輝度値の最大値と最小値の差）が予め定めた閾値以上か否かを判断し（Ｓ１０３）、空の輝度値間に予め定めた閾値以上の輝度差がないと判断したときは（Ｓ１０３：NO）、日陰が発生していないと判断し、背景差分処理手段２１０により背景差分処理を行い（Ｓ１０４）、異物画像領域を抽出（算出）して（Ｓ１０５）、それを異物画像メモリ領域２０６に格納して処理を終了する。
【００４２】
一方、ステップＳ１０３で、ＣＰＵ２２は、空全体の輝度値に予め定めた閾値以上の輝度差があると判断したときは（Ｓ１０３：ＹＥＳ）、日陰があると判断して、空の輝度値を取得し（Ｓ１０６）、続いて、輝度値データテーブル２０４に基づき、取得された空の輝度値と、背景画像の輝度値取得手段２１１で取得し、背景画像の輝度値メモリ領域２０７に格納されている前記背景画像の輝度値（この輝度値は既に説明したように、異物画像の日向の輝度値の代わりに用いる）をキーとして、それらに対応した、日陰の輝度値を取得する（Ｓ１０７）。
【００４３】
次に、取得画像メモリ領域２０１から取得した画像に対して、背景差分処理手段２１０により背景差分処理を行い（Ｓ１０８）、異物画像領域を算出する（Ｓ１０９）。日陰の輝度値との比較手段２１２は、算出した異物画像の画素毎にその輝度値と上記取得した日陰の輝度値（日陰の参照輝度値）とを比較して、異物画像の各画素の輝度値が日陰の輝度値の予め定められた範囲（所定の範囲）内であるか否かを判断し（Ｓ１１１）、所定の範囲内ではないと判断したときは（Ｓ１１１：ＮＯ）、異物画像領域の次の画素に対して上記同様に比較を行う(Ｓ１１３)。また、ステップＳ１１１で、異物画像のある画素の輝度値が日陰の輝度値の上記範囲内と判断したときは（Ｓ１１１：ＹＥＳ）、画素除去手段２１３により、異物画像領域から当該画素を日陰の領域の画素として除去し（Ｓ１１２）、次の画素の処理に移行する（Ｓ１１３）。
【００４４】
このように、異物画像の全ての画素に対して、上記ステップＳ１１０〜Ｓ１１３の処理を行い、日陰の領域を除去して処理を終了する。
なお、画素除去手段２１３による日陰の画素の除去は、公知の手段、例えば、特許文献２（段落「００２０」〜「００２３」）に記載された方法によることができる。
【００４５】
具体的に説明すれば、本実施形態の画像処理システムによれば、例えば図８の輝度値データテーブルにおいて、空の輝度値が１８０で、そのときの日向の輝度値（背景画像の輝度値の平均値）が２００であったとすると、その時の日陰の輝度値は２００−３２．２４＝１６７．７６である。そこで、この場合は、輝度値１６７．７６の１０％増しの輝度値の範囲内にある画素（１８４〜１５１：上限値小数点以下切り捨て、下限値小数点以下切り上げ）を日陰領域の画素と判断して、差分画像からその輝度値に該当する画素を日陰画像として除去する。
【００４６】
本システムは、このように簡易な方法で日陰画像を確実に除去することができる。また、本実施形態によれば、リアルタイムで空の輝度値から日陰の輝度値を得ることで、急に雲間から太陽が出て日陰が発生したりするなどの状況でも有効に日陰の推定を行い、日陰の画像を除去することができる。
また、異なる撮影環境や設備条件に基づいて、輝度値データテーブル２０４を作成しておくことにより、青空だけではなく夕焼け空などにも対応することができ、また、カメラバランスが崩れているなどの問題が発生しても、対応することができる。
【００４７】
本発明は太陽光を主光源とする屋外だけではなく、スタジオなどでも照明光源を映す鏡を備えることで、照明色の日陰の影響を補正する色補正処理に応用することができる。
【符号の説明】
【００４８】
１・・・電子カメラ（カメラ）、２・・・画像処理機、３・・・凸面鏡、２１・・・ＲＡＭ、２２・・・ＣＰＵ、２０１・・・取得メモリ領域、２０２・・・空の輝度差メモリ領域、２０３・・・空の輝度値メモリ領域、２０４・・・輝度値データテーブル、２０５・・・日陰のＲＧＢの輝度値メモリ領域、２０６・・・異物画像メモリ領域、２０７・・・背景画像の輝度値メモリ領域、２０８・・・空の輝度差算出手段、２０９・・・日陰の輝度値取得手段、２１０・・・背景差分処理手段、２１１・・・背景画像の輝度値取得手段、２１２・・・比較手段、２１３・・・画素除去手段。
【技術分野】
【０００１】
本発明は、入力画像から算出した差分画像（異物画像）領域から日陰領域を除去可能な画像処理システム及び差分画像領域から影領域を除去する画像処理方法に関する。
【背景技術】
【０００２】
監視カメラを用いた監視システムにおいて、入力画像中の移動物体（異物）を認識するために、入力画像中から背景画像を除いた差分画像（異物画像）を監視する方法が一般に知られている。
この差分画像を利用する監視方法では、処理対象画像の撮影は通常太陽光や照明手段の光が存在する環境で行われることが多く、入力画像には異物の日陰も含まれている。そのため、算出した異物画像にもその日陰領域が含まれているため、異物の正確な認識を行うことができない。
【０００３】
この問題を解決するため、例えば、日陰の部分は基の背景に比べて一様に暗くなり輝度が落ちることに着目して、入力画像と背景画像の差分値からなる移動体（異物）画像を小領域ブロックに分割して、小領域ブロック単位で直交変換を行なうことによりブロック単位での空間周波数を得て、この空間周波数の分布等から交流成分の強さ等を算出し、これらの結果に基づいて移動体部分を算出し、日陰を除いた移動体部分を算出できる移動体算出装置が既に知られている（特許文献１参照）。
【０００４】
また、これとは別に、対象物（異物）が影を落とす床と同じ床上に設置したエリアに基準物を配置し、基準物の日陰を撮影した日陰の画像のＲＧＢの各色成分の輝度分布を基に、その日陰の画像を分析し、各色成分の基準輝度値を算出し、算出した輝度値に基づいて差分画像から日陰の画像を削除する画像処理装置も知られている（特許文献２参照）。
【０００５】
しかしながら、上記特許文献１に記載された移動体算出装置では、太陽光が照射しているときの地面の日陰の部分は、主光源の太陽を除く空が色付きの巨大な面光源としてほぼ支配的に照明しているとみることができるため、空（青空や夕焼け空）が日陰の部分を照明している場合は、日陰の部分の輝度を正確に把握することができない。そのため、輝度差を利用して日陰を除去する手法は、屋外のような間接照明が強いところでは適用できない。
【０００６】
特許文献２の画像処理装置は、基準物の影のＲＧＢの輝度分布を基準に異物の影の輝度分布を推定するため、影の認識精度は高いが基準物を別途用意する必要があり煩わしいという問題がある。また、床と地面が一様でないと輝度分布の推定が行えないという問題もある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２４７２４７号公報
【特許文献２】特開２００８−２４５０６３公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来の問題に鑑みてなされたものであって、その目的は、例えば、監視システムにおける画像処理において、屋外のように強い間接照明環境で撮影された異物の日陰画像を、簡易な構成でかつリアルタイムで除去して、異物の認識精度を向上させることである。
【課題を解決するための手段】
【０００９】
本発明は、撮影手段と、撮影手段で撮影された対象物の背景画像と現画像との差分演算により差分画像を形成する画像処理手段と、を有する画像処理システムであって、前記対象物を撮影したときの空の輝度値を取得する手段と、前記差分画像の各画素の輝度値を取得する手段と、前記空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルと、前記輝度値データテーブルから当該空の輝度値及び前記日向画像の輝度値に対応した日陰画像の輝度値を取得する手段と、前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する手段と、を有することを特徴とする画像処理システムである。
また、本発明は、撮影された対象物の背景画像と現画像との差分演算により形成した差分画像領域から影領域を除去する画像処理方法であって、空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルを作成する工程と、前記輝度値データテーブルから当該空の輝度値及び前記背景画像の輝度値に対応した日陰画像の輝度値を取得する工程と、前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する工程と、を有することを特徴とする差分画像領域から影領域を除去する画像処理方法である。
【発明の効果】
【００１０】
本発明によれば、例えば、監視システムにおける画像処理において、屋外のように強い間接照明環境で撮影された異物の日陰画像（ここでは、照明による影も便宜上日陰と呼ぶ）を、簡易な構成でかつリアルタイムで除去することで、異物の認識精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の画像処理システムを概略的に示す図である。
【図２】図２Ａは本実施形態の画像処理システムで使用するカメラ（電子カメラ）、図２Ｂは上記カメラの撮影の画像を示す図である。
【図３】日向での輝度値と、太陽を除いた空の輝度値と、そのときの日陰の輝度値の関係をＲＧＢ色空間で示した図である。
【図４】カラーチャートを示す図である。
【図５】異なる輝度値の空の下で日向部分と日陰の部分ができるように屋外に置いたカラーチャートを示す図である。
【図６】撮影画像から、ＲＧＢ毎の輝度値を算出した結果をまとめて示した一覧表である。
【図７】異なる輝度値の空の下でのカラーチャートの日向、日陰のそれぞれのモノクロの輝度値の関係を示す図である。
【図８】異なる輝度値の空の下でのカラーチャートの日向の輝度値と日陰の輝度値を示す輝度値データテーブルである。
【図９】カラーチャートの図５と同様の撮影画像である。
【図１０】それぞれ異なる空の輝度値における、カラーチャートの撮影画像から得た日陰及び日向におけるＲＧＢ毎の実測輝度値の一覧表である。
【図１１】図１１Ａは図１０からＲ成分のみを抜き出した、それぞれ空の輝度値が異なるときの日陰と日向の輝度値の一覧表である。また、図１１Ｂは、図１０の輝度値に基づきそれぞれの空の輝度値のときのカラーチャートの各色毎の日向の輝度値、日陰の輝度値の関係を示す一覧表である。
【図１２】図１２Ａは、Ｇ成分についての図１１Ａと同様の一覧表である。図１２Ｂは図１１Ｂと同様の図である。
【図１３】ＲＧＢ毎の、異なる空の輝度値における日向の輝度値と日陰の輝度値との関係を示す輝度値データテーブルである。
【図１４】対象物の差分画像領域から日陰の画像領域を除去する処理機能を有する画像処理機の機能ブロック図である。
【図１５】本実施形態の画像処理システムの画像処理の手順を示すフロー図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る画像処理システムを、添付図面を参照して説明する。
図１は、本実施形態の画像処理システムを概略的に示す図であり、図２Ａは、上記画像処理システムで使用する電子カメラ、図２Ｂは上記電子カメラで撮影した画像を模式的に示す図である。
本実施形態の画像処理システムは、図１に示すように監視領域に設定された電子カメラ１と、電子カメラ１で撮影され入力された画像の処理を行う画像処理機２と、電子カメラ１の前に設置される鏡３で構成されている。なお、図２Ａに示すように、鏡３は空の大部分と太陽が映るように設置した鏡、例えば凸面鏡であり、電子カメラ１は、図２Ｂに示すように監視領域及び凸面鏡３に映った空の映像を撮影する。
【００１３】
この画像処理システムは、既に知られている監視システム等の画像処理システムと同様に、電子カメラ１で撮影した背景画像と現画像との差分画像から異物画像を作成して、所定の監視区域に侵入した例えば人（異物）を監視する際に異物画像の日陰を認識して除去する処理を行う。
【００１４】
本画像処理システムの説明に当たり、ここでは、まず、削除の対象となる物体（異物）の日陰（影）について説明する。
屋外の撮影画像において、空に太陽がある場合、日陰の部分は、太陽光を除くこの空の色を持った巨大な面光源が日陰の部分を照明しているとみることができる。つまり、例えば青空に太陽がある場合は、太陽光が主光源で対象物を照らし、青空の青い面光源が対象物の日陰の部分を照明している間接照明であるとみることができる。
したがって、太陽光が直接照射している部分が日陰になったときの輝度値の変化量は、この空の輝度値に応じて変わる。
【００１５】
本実施形態では、上記電子カメラ１で撮影した現画像と背景画像との差分画像から、そこに含まれる日陰の画像（領域）を除去するが、その前に、除去すべき日陰の画像（領域）を特定する必要がある。そこで、本実施形態では、日陰の画像を特定するためにその画素の輝度値に着目して、現画像の画素の輝度値を、後述する輝度値データテーブルの日陰の輝度値と比較して、その輝度値が日陰の輝度値の所定範囲内か否か判断し、所定範囲内と判断したときその画素は日陰の画像の画素と判断する処理を行う。
【００１６】
次に、異物画像からその日陰画像領域を特定するため、比較のための参照値となる日陰の輝度値を得る方法について説明する。
本実施形態では、輝度値データテーブルの日陰の輝度値を得るため、カラーパターンを用いてその撮影画像から日向部分、日陰の部分及びその撮影時の空の輝度値（モノクロ又はＲＧＢの各色毎の輝度値）を取得し、その輝度値に基づき、一定の空の輝度値の下での、日向部分と日陰の部分との輝度値との関係を表す関係式（一次の近似関数）を得て、その関係式から輝度値データテーブルを作成し、その輝度値データテーブルから空の輝度値及び日向の輝度値に対応する日陰の輝度値（予測値）を得る。
【００１７】
図３は、日向でのＲＧＢの輝度値と、空のＲＧＢの輝度値と、そのときの日陰のＲＧＢの輝度値の関係をＲＧＢ色空間で示した図である。
本実施形態では、凸面鏡３に映っている空の平均の輝度値と、そのとき太陽の直接光を受けている日向での輝度値と日陰の輝度値を測定しておき、上述のように、空の輝度値毎の日向の輝度値と日陰の輝度値から、両者の関係を表す関係式を求め、その関係式から上記輝度値データテーブルを作成する。
【００１８】
次に、関係式を得るために必要な基礎データとなる日向と、空と、日陰の各輝度値を取得する手順について説明する。
本実施形態では、図４に示す８色（白、灰色、ダークイエロー（Ｙ）、ダークマゼンタ（Ｍ）、ダークシアン（Ｃ）、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー））のカラーチャート（各色を互いに平行に並べて印刷したテストチャートを用いる。）を用い、これを図５Ａ〜５Ｃに示すように、空の輝度値が異なる状態で、各色毎に日向部分と日陰の部分ができるように屋外に置いて、電子カメラ１で撮影する。また、電子カメラ１の凸面鏡３によりそのときの空を一緒に撮影する。
なお、図５Ａはモノクロ画像における空の輝度値が２３５、図５Ｂは２２９、図５Ｃは１７３の場合の撮影画像を示す。それぞれの画像の左下側には図５Ｃに示すようにミラーに映った空の画像が示されている。
【００１９】
画像処理機２は、上記撮影画像から各画素のモノクロの輝度値又はＲＧＢ毎の輝度値を、日向と日陰、及び凸面鏡に映った空の画像からそれぞれ算出する（全画素又は複数の画素を算出してその平均値、或いは中心値等の代表値でもよい）。
図６は、上記の撮影条件で撮影したモノクロ画像から算出した輝度値をまとめて示した輝度値データテーブルの一例である。なお、撮影画像からモノクロ又はＲＧＢの輝度値を算出する手法については、ここでは特に説明しないが、周知のソフトウエアを用いて行うことができる。
【００２０】
図６の輝度値データテーブルにおいて、横欄の、チャート色はカラーチャートのモノクロ画像（カラー画像のＲＧＢの輝度値をモノクロ処理した輝度値でもよい）から得た値を、また、日陰部は図５における日陰の部分、同様に日向部は、図５において日向の部分の輝度値を表している。また、横欄のミラーは、空のＲＧＢの輝度値（平均値）で、撮影時の空の輝度値を示している。この実施形態における撮影時の空の輝度値は、それぞれ２３５、２２９、１７３である。
図６の輝度値データテーブル中、「差」は、カラーパターンにおける各色毎の日向と日陰との輝度の差を示している。
【００２１】
図７は、図６に示すモノクロ画像又はカラー画像のＲＧＢの輝度値をモノクロ処理して算出した空の輝度値（ここでは３個）毎の、カラーチャートの各カラーの日向、日陰の輝度（ここでは８色に対応した８個の値）と、上記各８個の値から最小自乗法で求めた３本の直線を示している。
即ち、縦軸に日向の輝度値を、また、横軸に日陰の輝度値を採り、空の輝度値毎に実測に基づき取得されたカラーチャートの日向と日陰の輝度値をプロットし、それぞれの８個の点から最小自乗法により求めた直線（Ｙ＝ａＸ＋ｂ）を図示している。
ここでは、具体的には三つの空の輝度値２３５、２２９、１７３毎に三つの直線（実験式）が示されているが、空の輝度値を増やすことによりそれぞれの輝度値に対応した直線（実験式）が得られ、その実験式からそれぞれの空の輝度値に対応した日陰と日向の輝度値を算出することができる。
【００２２】
本実施形態では、空の輝度値が異なる状態において、同一の電子カメラ１やカラーチャートを用いて実験（撮影）を複数回（ここでは３回）行い、それぞれ、日向部分、空の部分、日陰の部分の輝度値を算出し、得た輝度値から上述のようにそれぞれの空の輝度値毎に得られた実験式（一次関数）を用いて、日陰の輝度値を算出して輝度値データテーブルを作成している。
【００２３】
図８は、上記実験式（ここでは９個）に基づき作成した輝度値データテーブルの１例である。即ち、ここでは、空の輝度値は１６０〜２４０まで９段階に分かれ、それぞれについて得られた９個の実験式に基づき、日向と日陰の輝度値を算出した例を示している。
なお、図８では、左端縦方向に示された日向の輝度値に対応して、日向の輝度値と日陰の輝度値の差として各空の輝度値毎に負の数値が日陰の輝度値低下の標準値として記載されている。したがって、日陰の輝度値は日向の輝度値からその差に相当する分だけ引いた値になる。つまり、例えば、日向の輝度値が１１０であるとして、そのときの空の輝度値が２００であるとすると、その場合の日陰の輝度値は、輝度値データテーブルにしたがって１１０−３０．７４＝７９．２６と計算できる。なお、差の代わりに日陰の輝度値を記入してもよい。
【００２４】
以上は、モノクロ画像に基づき空、日向、日陰の輝度値の関係について説明したが、カラー画像についても基本的には同じである。
次に、カラー画像から日陰の輝度値を得る処理について説明する。
図９は空の輝度値がそれぞれ（Ｒ２１７、Ｇ２３９、Ｂ２５２）、（Ｒ２０４、Ｇ２３２、Ｂ２５３）、（Ｒ１４０、Ｇ１７９、Ｂ２２０）であるときの、カラーチャートの各撮影画像である。
図１０は、図７と同様に縦軸に日向の輝度値、横軸に日陰の輝度値をとり、それぞれ空の輝度値が上記の値であるときの、図９のカラーチャートの撮影画像から得た、日陰及び日向におけるＲＧＢ毎の実測輝度値を一覧表にして表したものである。
【００２５】
図１１Ａは図１０からＲ成分のみを抜き出した、それぞれ空の輝度値のＲ成分が（２１７、２０４、１４０）のときの日陰と日向の輝度値の一覧表である。また、図１１Ｂは、上記一覧表に基づきカラーチャートの各色毎の輝度値を、縦軸に日向の輝度値、横軸に日陰の輝度値をとって、プロットしたときの輝度値の分布と、プロットした各輝度値と、各輝度値から最小自乗法に基づき算出した３個の実験式（直線：Ｙ＝ａＸ＋ｂ）を示したものである。
【００２６】
図１２Ａは、図１１Ａと同様の輝度値一覧表であるが、ここでは図１０からＧ成分のみを抜きだしている。また、図１２Ｂは図１１Ｂと同様に、それぞれ空のＧ成分の輝度値（２３９、２３２、１７９）のときのカラーチャートの各色毎の輝度値をプロットしたときの輝度値と、各輝度値から求めた実験式（Ｙ＝ａＸ＋ｂ）を示したものである。
なお、図示していないが、Ｂ成分についても同様の手順で実験式が得られる。
【００２７】
図１３は、以上のようにして得られたＲＧＢ成分毎の、異なる空の輝度値における日向の輝度値と日陰の輝度値との関係を表す実験式（Ｙ＝ａＸ＋ｂ）から求めた、日向の輝度値と空の輝度値と日陰の輝度値との関係を示す輝度値データテーブルであり、それぞれは、図８と同様に空の異なる輝度値毎における日向の輝度値に対する日陰の輝度値の差分が「−」の符合を付して示されている。
なお、この輝度値データテーブルは、使用する各カメラ毎に作成する。また、撮影に当たって露出は自動調整で行う。
【００２８】
以上で説明した輝度値データテーブルは、カラーチャートを撮影した電子カメラ１の制御部で作成するようにしても、或いは電子カメラの撮影画像を画像処理する画像処理機２で作成してもよい。
輝度値データテーブルの作成手順は、上述のように電子カメラ１で撮影した画像から空及びカラーチャートの日向と日陰のＲＧＢの輝度値を算出し、算出したＲＧＢの輝度値から最小自乗法に基づき、日向と日陰のＲＧＢの輝度値の関係を表す一次関数（直線）から成る実験式を得る。この演算は電子カメラ１或いは画像処理機２のマイクロコンピュータとプログラムを用いて容易に行うことができる。また、このようにして得られた輝度値データテーブルを電子カメラ１又は画像処理機２の記憶装置に記憶させておく。
【００２９】
なお、撮影画像から算出される輝度値は、使用する電子カメラ１毎に変わるが、使用する電子カメラ１が同じであれば、空の色と関わりなく日向と空のＲＧＢの各輝度値から、日陰のＲＧＢの輝度値を算出することができる。
したがって、同じ電子カメラ１を用いてそれぞれ撮影条件の異なる空の画像とそのときの日向の画像から、それぞれ輝度値を算出して、その値を上記関係式に代入することにより、その時々の日陰の輝度値（予測値）を得ることができる。ただ、異物画像から日陰の画像を除去する際に、そのたび毎に日陰の輝度値を算出することは可能であるが、それでは効率が良くない。
【００３０】
そこで、本実施形態では、上述のように日向と空の条件、例えば、各季節毎の朝、昼、夕など、或いは快晴、晴れ、薄曇り等の異なる自然条件下での、日向、日陰及び空のモノクロの輝度値又はＲＧＢ毎の輝度値から上記関係式を作成し、上記関係式を用いて輝度値データテーブルを作成しておく。
【００３１】
また、数種類の電子カメラ、カラーバランスを外した電子カメラなどの設備条件も変更して、異なる輝度値の空の下で、上記カラーチャートの日陰及び日向の輝度値を得て上記関係式の各係数を変更し、これに基づき電子カメラ毎に異なる輝度値データテーブルを作成することができる。
【００３２】
次に、以上のようにして作成した輝度値データテーブルから、日陰の領域の輝度値を取得する手法について説明する。
上記輝度値テーブルから異物（差分）画像の日陰の領域の輝度値を求めるには、空の輝度値と、その異物画像の日向の輝度値が必要である。しかし、異物画像の日向の輝度値を得ることは容易ではない。
そこで、本実施形態では、異物画像を作成する際に用いる背景画像の輝度値を算出しておき、この輝度値を異物画像の日向領域の輝度値に代用する。そのため、背景画像に日陰画像が含まれないように、電子カメラ１による撮影対象となる監視領域は影が生じる突出物がない状態にしておく。
背景画像の輝度値は、背景画像の各画素の平均値、中央値、最頻値など任意の値を輝度値とすることができ、テストを行って最適な値を求めればよい。背景画像の画素毎の上記輝度値は、画像処理機２の背景画像の輝度値メモリ領域２０７（図１４）に格納しておく。
したがって、本実施形態では、空の輝度値（モノクロ又はＲＧＢの輝度値）とそのときの背景画像の輝度値を検索キーとしてそれに対応した日陰の部分の輝度値を上記輝度値データテーブル２０４（図１４）から読み出す。
【００３３】
即ち、本実施形態では、凸面鏡３に映った空を撮影した画像から、その各画素の輝度値の平均値（空の輝度値）を求めこの空の輝度値と、上記背景画像の輝度値をキーにして上記輝度値データテーブルから日陰の輝度値を取得する。即ち、例えば、図８の輝度値データテーブルにおいて、横欄の空（ミラー）の輝度値が１８０で、縦欄の日向の輝度値が２００であるとき、そのときの日陰の輝度値は、縦欄と横欄の交点の数値−３２．２４から、２００−３２．２４＝１６８．７６と求めることができる。
【００３４】
したがって、同じ電子カメラを用いて監視領域と空を撮影してそれぞれの輝度値を取得したとき、空の輝度値が１８０で、日向の輝度値（実際には背景画像の輝度値）が２００であるときは、異物画像の画素の輝度値が１６８（実際には１６８±α；但しαは所定値）であれば、それは異物の日陰の画素の輝度値と見なすことができる。このように日陰の輝度値を取得した後、これを用いて異物画像領域からその日陰の領域を除去する処理を行う。
なお、異物の日向の輝度値と背景画像（日向画像）の輝度値とは同じではない。しかしながら、本実施形態では異物の日陰（影）の大凡の画像領域が分かればよいから、その誤差は実際上問題にならない。
【００３５】
異物画像領域から日陰の領域を除去するためには、輝度テーブルから取得した日陰の輝度値と、上記差分画像の各画素毎の輝度値とを対比して、当該画素の輝度値が日陰の輝度値に当たるか否か、即ち、当該画素の輝度値が日陰の輝度値を中心値とする所定の範囲にあるか否か判断する。本実施形態では、上述のように、空の輝度値から日陰の輝度値を推定するのではなく、空の輝度値と背景画像の輝度値から推定している。そこで、その誤差及び実験式の誤差を考慮して、ここでは、上記日陰の輝度値の上下１０％までの範囲内を「所定の範囲」とし、比較の結果、対象画素の輝度値が上記範囲内であるかどうかを判断する。
なお、「所定の範囲」を定める際に、上記所定値α即ち±何％にすればよいかは実験で定めることができる。
【００３６】
次に、このようにして作成した輝度値データテーブルを用いて、差分画像から日陰に相当する画素を除去する処理を行う装置及び手順について以下説明する。
ここでは、現画像と背景画像との差分で算出した異物画像の画素の輝度値と、空の輝度値と背景画像の上記輝度値に基づき輝度値データテーブルから取り出した日陰の輝度値とを画素毎に比較して、異物画像の画素の輝度値が日陰の画素値の上記所定の範囲内であるかどうか判断し、所定範囲内の値である場合は、その画素は日陰であるとして、異物画像領域から除去する処理を行う。これにより移動物体（異物）をより正確に算出することができる。
【００３７】
図１４は、以上で説明した、対象物の差分画像領域から日陰の画像領域を除去する処理機能を有する画像処理機２の機能ブロック図である。
図１４において、画像処理機２は、各種処理や演算を実行するＣＰＵ２２と、ＣＰＵ２２が動作する動作領域となるＲＡＭ２１、ＣＰＵ２２の動作プログラムなどを記憶した図示しないＲＯＭを有している。
【００３８】
ＲＡＭ２１は、凸面鏡付き電子カメラ１により撮影された入力画像などの取得画像を格納する取得画像メモリ領域２０１と、取得した空の画像により空の輝度差算出手段２０８により算出された空の輝度差データを格納する空の輝度差メモリ領域２０２と、空の輝度値メモリ領域２０３と、空の輝度値毎に日向の輝度値と日陰の輝度値とを対照した輝度値データテーブル２０４と、日陰の輝度値取得手段２０９により輝度値データテーブル２０４から取得された日陰の輝度値を格納する日陰の輝度値メモリ領域２０５と、背景差分処理手段２１０により入力画像から背景画像を除いて形成した異物画像を格納する異物画像メモリ領域２０６と、背景画像の輝度値メモリ領域２０７とを備えている。なお、異物画像メモリ領域２０６に格納された異物画像は日陰を含む可能性がある。
【００３９】
ＣＰＵ２２には、機能実現手段として、空の輝度差算出手段２０８と、日陰の輝度値取得手段２０９と、背景画像と現画像とを差分処理して異物画像（差分画像）を作成する背景差分処理手段２１０と、背景画像からその画素毎の輝度値を算出し、その輝度値の平均値、中央値、最頻値などで定めた背景画像の輝度値を取得する背景画像の輝度値取得手段２１１を備えた、輝度値取得、背景差分処理部と、輝度値データテーブル２０４から取得した日陰の輝度値メモリ領域２０５に格納された日陰の輝度値と異物画像メモリ領域２０６に格納された異物画像の輝度値と、を画素毎に比較する比較手段２１２と、上記比較手段２１２による比較結果に基づき、異物画像領域から日陰画像と判断された画素を除去する画素除去手段２１３からなる、輝度値による影の除去処理部が設けられている。
空の輝度差算出手段２０８は、凸面鏡３に映された空全体（太陽を除く）の輝度差を算出する。
【００４０】
日陰の輝度値取得手段２０９は、前記輝度値データテーブル２０４に基づき、空の輝度値（平均値）に対応した日陰の輝度値を取得する。
背景差分処理手段２１０は、予め入力された背景画像と入力画像で、同じ位置の画素同士の差分を求めて、得られた背景差分画像を２値化して、入力画像から異物画像を算出し、異物画像を異物画像メモリ領域２０６に格納する。
【００４１】
次に、本実施形態の画像処理システムにおける画像処理の手順について説明する。
図１５は、本実施形態の画像処理システムの画像処理の手順を示すフロー図である。まず、電子カメラ１で凸面鏡３に映された空を撮影して空の映像を取得し（Ｓ１０１）、空の輝度差算出手段２０８は、取得した輝度値から空全体の輝度差（最大輝度値と最小輝度値の差）を算出する（Ｓ１０２）。次に、ＣＰＵ２２は、算出した空全体の輝度差（つまり輝度値の最大値と最小値の差）が予め定めた閾値以上か否かを判断し（Ｓ１０３）、空の輝度値間に予め定めた閾値以上の輝度差がないと判断したときは（Ｓ１０３：NO）、日陰が発生していないと判断し、背景差分処理手段２１０により背景差分処理を行い（Ｓ１０４）、異物画像領域を抽出（算出）して（Ｓ１０５）、それを異物画像メモリ領域２０６に格納して処理を終了する。
【００４２】
一方、ステップＳ１０３で、ＣＰＵ２２は、空全体の輝度値に予め定めた閾値以上の輝度差があると判断したときは（Ｓ１０３：ＹＥＳ）、日陰があると判断して、空の輝度値を取得し（Ｓ１０６）、続いて、輝度値データテーブル２０４に基づき、取得された空の輝度値と、背景画像の輝度値取得手段２１１で取得し、背景画像の輝度値メモリ領域２０７に格納されている前記背景画像の輝度値（この輝度値は既に説明したように、異物画像の日向の輝度値の代わりに用いる）をキーとして、それらに対応した、日陰の輝度値を取得する（Ｓ１０７）。
【００４３】
次に、取得画像メモリ領域２０１から取得した画像に対して、背景差分処理手段２１０により背景差分処理を行い（Ｓ１０８）、異物画像領域を算出する（Ｓ１０９）。日陰の輝度値との比較手段２１２は、算出した異物画像の画素毎にその輝度値と上記取得した日陰の輝度値（日陰の参照輝度値）とを比較して、異物画像の各画素の輝度値が日陰の輝度値の予め定められた範囲（所定の範囲）内であるか否かを判断し（Ｓ１１１）、所定の範囲内ではないと判断したときは（Ｓ１１１：ＮＯ）、異物画像領域の次の画素に対して上記同様に比較を行う(Ｓ１１３)。また、ステップＳ１１１で、異物画像のある画素の輝度値が日陰の輝度値の上記範囲内と判断したときは（Ｓ１１１：ＹＥＳ）、画素除去手段２１３により、異物画像領域から当該画素を日陰の領域の画素として除去し（Ｓ１１２）、次の画素の処理に移行する（Ｓ１１３）。
【００４４】
このように、異物画像の全ての画素に対して、上記ステップＳ１１０〜Ｓ１１３の処理を行い、日陰の領域を除去して処理を終了する。
なお、画素除去手段２１３による日陰の画素の除去は、公知の手段、例えば、特許文献２（段落「００２０」〜「００２３」）に記載された方法によることができる。
【００４５】
具体的に説明すれば、本実施形態の画像処理システムによれば、例えば図８の輝度値データテーブルにおいて、空の輝度値が１８０で、そのときの日向の輝度値（背景画像の輝度値の平均値）が２００であったとすると、その時の日陰の輝度値は２００−３２．２４＝１６７．７６である。そこで、この場合は、輝度値１６７．７６の１０％増しの輝度値の範囲内にある画素（１８４〜１５１：上限値小数点以下切り捨て、下限値小数点以下切り上げ）を日陰領域の画素と判断して、差分画像からその輝度値に該当する画素を日陰画像として除去する。
【００４６】
本システムは、このように簡易な方法で日陰画像を確実に除去することができる。また、本実施形態によれば、リアルタイムで空の輝度値から日陰の輝度値を得ることで、急に雲間から太陽が出て日陰が発生したりするなどの状況でも有効に日陰の推定を行い、日陰の画像を除去することができる。
また、異なる撮影環境や設備条件に基づいて、輝度値データテーブル２０４を作成しておくことにより、青空だけではなく夕焼け空などにも対応することができ、また、カメラバランスが崩れているなどの問題が発生しても、対応することができる。
【００４７】
本発明は太陽光を主光源とする屋外だけではなく、スタジオなどでも照明光源を映す鏡を備えることで、照明色の日陰の影響を補正する色補正処理に応用することができる。
【符号の説明】
【００４８】
１・・・電子カメラ（カメラ）、２・・・画像処理機、３・・・凸面鏡、２１・・・ＲＡＭ、２２・・・ＣＰＵ、２０１・・・取得メモリ領域、２０２・・・空の輝度差メモリ領域、２０３・・・空の輝度値メモリ領域、２０４・・・輝度値データテーブル、２０５・・・日陰のＲＧＢの輝度値メモリ領域、２０６・・・異物画像メモリ領域、２０７・・・背景画像の輝度値メモリ領域、２０８・・・空の輝度差算出手段、２０９・・・日陰の輝度値取得手段、２１０・・・背景差分処理手段、２１１・・・背景画像の輝度値取得手段、２１２・・・比較手段、２１３・・・画素除去手段。
【特許請求の範囲】
【請求項１】
撮影手段と、撮影手段で撮影された対象物の背景画像と現画像との差分演算により差分画像を形成する画像処理手段と、を有する画像処理システムであって、
前記対象物を撮影したときの空の輝度値を取得する手段と、
前記差分画像の各画素の輝度値を取得する手段と、
前記空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルと、
前記輝度値データテーブルから当該空の輝度値及び前記日向画像の輝度値に対応した日陰画像の輝度値を取得する手段と、
前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する手段と、
を有することを特徴とする画像処理システム。
【請求項２】
請求項１に記載された画像処理システムにおいて、
前記背景画像の輝度値を取得する手段を有し、
前記日陰画像の輝度値を取得する手段は、前記空の輝度値及び前記背景画像の輝度値に基づき、前記輝度値データテーブルから当該空の輝度値及び前記背景画像の輝度値に対応した日陰画像の輝度値を取得することを特徴とする画像処理システム。
【請求項３】
請求項１または２に記載された画像処理システムにおいて、
前記輝度値データテーブルは、特定の空の輝度値毎に、当該空の下におけるテストチャートの日向画像と日陰画像から算出した実験式に基づき作成した、日向画像と日陰画像のそれぞれの輝度値を対照したテーブルであることを特徴とする画像処理システム。
【請求項４】
請求項１ないし３のいずれかに記載された画像処理システムにおいて、
前記テストチャートは複数色の領域からなるカラーチャートであることを特徴とする画像処理システム。
【請求項５】
請求項１ないし４のいずれかに記載された画像処理システムにおいて、
前記撮影手段は鏡付きの電子カメラであって、
前記鏡で太陽を除く空の画像を撮影することを特徴とする画像処理システム。
【請求項６】
請求項５に記載された画像処理システムにおいて、
撮影された空の画像の全領域内における各画素の輝度値の最大値と最小値の差が、予め定めた所定の範囲内であるか否か判断する手段を有し、
前記差が所定の範囲外にあるときのみ、前記差分画像から日陰の画像を除去する処理を行うことを特徴とする画像処理システム。
【請求項７】
請求項２ないし６のいずれかに記載された画像処理システムにおいて、
前記撮影手段で撮影したカラーチャートの各色毎の日向画像と日陰画像と、空画像から取得する輝度値は、各色毎の輝度値の平均値であることを特徴とする画像処理システム。
【請求項８】
撮影された対象物の背景画像と現画像との差分演算により形成した差分画像領域から影領域を除去する画像処理方法であって、
空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルを作成する工程と、
前記輝度値データテーブルから当該空の輝度値及び前記背景画像の輝度値に対応した日陰画像の輝度値を取得する工程と、
前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する工程と、
を有することを特徴とする差分画像領域から影領域を除去する画像処理方法。
【請求項１】
撮影手段と、撮影手段で撮影された対象物の背景画像と現画像との差分演算により差分画像を形成する画像処理手段と、を有する画像処理システムであって、
前記対象物を撮影したときの空の輝度値を取得する手段と、
前記差分画像の各画素の輝度値を取得する手段と、
前記空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルと、
前記輝度値データテーブルから当該空の輝度値及び前記日向画像の輝度値に対応した日陰画像の輝度値を取得する手段と、
前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する手段と、
を有することを特徴とする画像処理システム。
【請求項２】
請求項１に記載された画像処理システムにおいて、
前記背景画像の輝度値を取得する手段を有し、
前記日陰画像の輝度値を取得する手段は、前記空の輝度値及び前記背景画像の輝度値に基づき、前記輝度値データテーブルから当該空の輝度値及び前記背景画像の輝度値に対応した日陰画像の輝度値を取得することを特徴とする画像処理システム。
【請求項３】
請求項１または２に記載された画像処理システムにおいて、
前記輝度値データテーブルは、特定の空の輝度値毎に、当該空の下におけるテストチャートの日向画像と日陰画像から算出した実験式に基づき作成した、日向画像と日陰画像のそれぞれの輝度値を対照したテーブルであることを特徴とする画像処理システム。
【請求項４】
請求項１ないし３のいずれかに記載された画像処理システムにおいて、
前記テストチャートは複数色の領域からなるカラーチャートであることを特徴とする画像処理システム。
【請求項５】
請求項１ないし４のいずれかに記載された画像処理システムにおいて、
前記撮影手段は鏡付きの電子カメラであって、
前記鏡で太陽を除く空の画像を撮影することを特徴とする画像処理システム。
【請求項６】
請求項５に記載された画像処理システムにおいて、
撮影された空の画像の全領域内における各画素の輝度値の最大値と最小値の差が、予め定めた所定の範囲内であるか否か判断する手段を有し、
前記差が所定の範囲外にあるときのみ、前記差分画像から日陰の画像を除去する処理を行うことを特徴とする画像処理システム。
【請求項７】
請求項２ないし６のいずれかに記載された画像処理システムにおいて、
前記撮影手段で撮影したカラーチャートの各色毎の日向画像と日陰画像と、空画像から取得する輝度値は、各色毎の輝度値の平均値であることを特徴とする画像処理システム。
【請求項８】
撮影された対象物の背景画像と現画像との差分演算により形成した差分画像領域から影領域を除去する画像処理方法であって、
空の輝度値と、当該空の下における日向画像及び日陰画像の輝度値を対照した輝度値データテーブルを作成する工程と、
前記輝度値データテーブルから当該空の輝度値及び前記背景画像の輝度値に対応した日陰画像の輝度値を取得する工程と、
前記差分画像の画素の輝度値が前記取得した日陰画像の輝度値を含む所定範囲内にあるとき、当該差分画像の画素を日陰領域の画素として前記差分画像から削除する工程と、
を有することを特徴とする差分画像領域から影領域を除去する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１５７０１（Ｐ２０１２−１５７０１Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４８８０１（Ｐ２０１０−１４８８０１）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
[ Back to top ]