移動物体検知装置及びその方法
【課題】移動物体の検知処理に関わる負荷を低減可能な移動物体検知装置及びその方法を提供する。
【解決手段】ヒストグラム調整部は、低輝度領域に画素数が偏るヒストグラムについて、その輝度平均値と、この輝度平均値に対する輝度標準偏差とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和を、前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換する。そして、前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターン３８ａを、前記上限値と前記下限値との間でフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する。
【解決手段】ヒストグラム調整部は、低輝度領域に画素数が偏るヒストグラムについて、その輝度平均値と、この輝度平均値に対する輝度標準偏差とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和を、前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換する。そして、前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターン３８ａを、前記上限値と前記下限値との間でフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置及びその方法に関し、より詳細には、前記撮影地点への侵入者の侵入を監視する侵入者検知装置として好適な移動物体検知装置及びその方法に関する。
【背景技術】
【０００２】
従来より、夜間等の人間が行き来しない時間帯におけるオフィスビル等への侵入者の侵入を監視する移動物体検知装置が特許文献１に開示されている。この移動物体検知装置は、所定の撮影地点（例えば、オフィスビルの各フロア内）において、テレビカメラにより撮影された画像フレームについて、その画像フレームを複数の画素から構成されるブロックに分割し、異なる時刻に撮影された２つの画像フレームについて、先に撮影された画像フレームの各ブロックを構成する画素の輝度とその輝度を示す画素数との関係を示すヒストグラムと、前記ブロックに対応する後に撮影された画像フレームの各ブロックにおけるヒストグラムとの差分をブロック毎に求め、求めた各差分値が所定の閾値よりも大きい場合に、前記撮影地点内に何らかの変化（例えば、侵入者の侵入）があったものと判定する。
【０００３】
また、前記テレビカメラが夜間の撮影地点を撮影した場合には、前記各画素の輝度が低く、前記画像フレームが全体的に暗い画像となるので、前記移動物体検知装置では、前記ヒストグラムの低輝度領域における１［％］の頻度を示す輝度と、高輝度領域における１［％］の頻度を示す輝度とを求め、求めた各輝度を輝度の下限値及び上限値に変換して前記ヒストグラムのパターン（以下、ヒストグラムパターンともいう。）を前記下限値と前記上限値との間でフルスケールに伸張することで、移動物体の検知精度を改善している。
【０００４】
【特許文献１】特開２０００−１８４３５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述した移動物体検知装置では、画像フレームを複数のブロックに分割し、それぞれのブロックについてヒストグラムを求めているので、撮影地点への侵入者の侵入に対する判定処理や、夜間等に撮影された画像フレームに対するヒストグラムパターンの調整処理が複雑となり、前記移動物体検知装置の処理に関わる負荷が増大するという問題がある。
【０００６】
本発明は、上述した問題を解決するためになされたものであり、移動物体の検知処理に関わる負荷を低減可能な移動物体検知装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置（移動物体検知方法）において、前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段（ヒストグラム調整ステップ）を有し、前記ヒストグラム調整手段（ヒストグラム調整ステップ）は、前記画像フレームを構成する全画素の輝度平均値とこの輝度平均値に対する輝度標準偏差とを求め、前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換することを特徴とする。
【０００８】
この構成によれば、前記画像フレームの全画素にて構成される前記ヒストグラムのヒストグラムパターンを所望のヒストグラムパターンに変換し、変換した前記ヒストグラムパターンに応じた画像フレームを用いて前記移動物体の検知処理を行うことにより、画像フレームのブロック毎にヒストグラムを調整する従来技術と比較して、前記移動物体の検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、前記移動物体の検出に必要な画像フレームを容易に作成することができる。
【発明の効果】
【０００９】
本発明によれば、移動物体の検知処理に関わる負荷を低減することができる。
【発明を実施するための最良の形態】
【００１０】
本発明に係る移動物体検知装置について、カメラの撮影地点における侵入者の侵入を検知する侵入者検知装置に適用した好適な実施の形態を挙げ、添付の図面を参照しながら以下に説明する。
【００１１】
図１は、本実施形態に係る侵入者検知装置（移動物体検知装置）１６を適用した侵入者検知システム１０のブロック図である。
【００１２】
この侵入者検知システム１０において、オフィスビルや港湾設備等に配置され、撮影地点（例えば、前記オフィスビルの各フロアや、前記港湾設備の近傍）を所定時刻毎に、あるいは連続的に撮影するカメラ１２は、当該撮影地点を撮影したアナログ信号の画像をＡ／Ｄコンバータ１４に順次出力し、該Ａ／Ｄコンバータ１４は、この画像をデジタル信号の画像フレームに変換して侵入者検知装置１６に順次出力する。なお、侵入者検知装置１６は、前記撮影地点における監視対象（例えば、前記オフィスビルの各フロアの入口近傍や、前記港湾設備の倉庫の入口近傍）への侵入者の侵入（移動物体の存在）を監視する図示しない監視センター内に配置されている。
【００１３】
侵入者検知装置１６は、ヒストグラム調整部（ヒストグラム調整手段）３０と識別処理部３２とを有する移動物体識別手段１８、侵入者識別手段２０、領域監視手段２２、侵入者予測手段２４、侵入者特徴抽出手段２６及びカメラ制御部３４を有する結果判定手段２８から構成される。
【００１４】
ヒストグラム調整部３０は、順次入力した前記画像フレームをグレースケール変換し（図３Ａ及び図４Ａ参照）、前記画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム（図２Ａ参照）をそれぞれの画像フレームに対して作成し、作成した前記ヒストグラムに対応する前記画像フレームを識別処理部３２に出力する。なお、図２Ａは、一例として、横軸が０〜２５５の輝度（階調）であり、縦軸が前記輝度での画素数であるヒストグラムを図示している。また、図３Ａ及び図４Ａでは、監視対象としてのＴ字路４０ａ上を歩行者４２ａ（侵入者）が歩いている様子を図示している。
【００１５】
識別処理部３２（図１参照）は、順次入力した前記画像フレームの全画素について、前回入力した先の画像フレーム（図３Ａ参照）の画素の輝度と、この画素に対応し且つ現在入力した画像フレーム（図４Ａ参照）の画素の輝度との輝度差を取り（図５Ａ参照）、前記輝度差と所定の閾値との比較に基づいて２値化の画像フレームを作成する（図６Ａ参照）。この場合、識別処理部３２は、前記輝度差が前記閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする。なお、図５Ａでは、歩行者４２ａ（図３Ａ及び図４Ａ参照）に対応する表示部分４４ａが図示され、図６Ａでは、該歩行者４２ａに対応する白色表示の表示部分４６ａが図示されている。
【００１６】
また、識別処理部３２（図１参照）では、前記画像フレーム中、隣接する複数の画素が互いに白色表示である場合には、図７Ａに示すように、これらの白色表示部分を侵入者等の移動物体を示す１つの表示部分４８ａとして融合するクラスタリング処理を行った後に、融合した表示部分４８ａを所定の大きさの枠５０ａで囲み、この表示部分４８ａ及び枠５０ａに所定の番号（図示せず）を付与するラベリング処理を行う。さらに、識別処理部３２は、Ａ／Ｄコンバータ１４からの現在の画像フレーム（図４Ａ参照）と、枠５０ａとを侵入者識別手段２０にそれぞれ出力する。なお、識別処理部３２は、枠５０ａの作成処理を行わず、前記現在の画像フレームのみを侵入者識別手段２０に出力することも可能である。
【００１７】
侵入者識別手段２０（図１参照）は、入力した前記現在の画像フレーム（図４Ａ参照）に基づいて、移動物体である歩行者４２ａが前記撮影地点における侵入者を示すものであるか否かを識別し、枠５０ａ、識別結果及び前記現在の画像フレームを領域監視手段２２に出力する。この場合、歩行者４２ａが前記侵入者であるか否かの判断は、例えば、図３Ａに示す先の画像フレームでの歩行者４２ａと、前記現在の画像フレームでの歩行者４２ａとの差（移動方向及び距離）に基づいて判断する。
【００１８】
領域監視手段２２は、入力した前記識別結果及び前記現在の画像フレームに基づいて、前記画像フレーム中、監視対象（例えば、Ｔ字路４０ａ）への歩行者４２ａの移動（前記侵入者の侵入）の有無を検出し、枠５０ａ、検出結果及び前記現在の画像フレームを侵入者予測手段２４及び侵入者特徴抽出手段２６に出力する。
【００１９】
侵入者予測手段２４は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者４２ａの移動量や移動方向から、今後の歩行者４２ａの動きを予測し、枠５０ａ、予測結果及び前記現在の画像フレームを結果判定手段２８に出力する。
【００２０】
侵入者特徴抽出手段２６は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者４２ａの移動量や移動方向から、歩行者４２ａ（侵入者）の種別を特定し、枠５０ａ、特定結果及び前記現在の画像フレームを結果判定手段２８に出力する。なお、前記種別とは、例えば、前記画像フレーム中に表示される画像の種類（人間、樹木、草等）である。
【００２１】
結果判定手段２８は、侵入者予測手段２４から順次入力した前記予測結果及び前記現在の画像フレームと、侵入者特徴抽出手段２６から順次入力した前記特定結果及び前記現在の画像フレームとに基づいて、前記監視対象（Ｔ字路４０ａ）に歩行者４２ａ（侵入者）が侵入したことを、侵入者検知装置１６が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う。この場合、結果判定手段２８では、歩行者４２ａの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠５０ａを前記現在の画像フレームの歩行者４２ａに重畳することも可能である（図８Ａ参照）。なお、図８Ａでは、歩行者４２ａの上半身の一部を枠５０ａで囲んだ場合を図示している。
【００２２】
また、カメラ制御部３４は、前記予測結果、前記特定結果及び前記現在の画像フレームとに基づいて、前記撮影地点におけるカメラ１２の撮影方向や姿勢を制御する。
【００２３】
上記した侵入者検知システム１０（図１参照）において、例えば、夜間や、曇り又は雨の日の日中にカメラ１２が前記撮影地点を撮影した場合、該カメラ１２に入力する光量は、晴れた日の日中の光量よりも少ないので、撮影された画像フレームをヒストグラム調整部３０にてグレースケール変換すると全体的に暗い画像となり（図３Ａ及び図４Ａ参照）、そのヒストグラムは、図２Ａに示すように、低輝度領域（輝度が０に近い領域）に画素数が偏るヒストグラムパターン３８ａとなる。
【００２４】
この結果、前記ヒストグラムに対応する画像フレームをそのまま用い、識別処理部３２（図１参照）にて撮影時刻の異なる２つの画像フレームの差分を取り（図５Ａ参照）、差分した前記画像フレームに対して２値化処理（図６Ａ参照）、クラスタリング処理及びラベリング処理（図７Ａ参照）を行うと、歩行者４２ａ（侵入者）（図３Ａ及び図４Ａ参照）に対応する表示部分４６ａを２値化の画像フレーム上に鮮明に表示することが困難になると共に、歩行者４２ａに対する枠５０ａのサイズも小さくなり（図８Ａ参照）、結果判定手段２８での歩行者４２ａ（侵入者）の認識率（検知率）が低下するおそれがある。
【００２５】
そこで、侵入者検知装置１６では、ヒストグラム調整部３０において、夜間や曇り又は雨の日の日中に撮影された画像フレームのヒストグラム（図２Ａ参照）について、図２Ｂに示すように、前記画像フレームを構成する全画素の輝度の平均値（以下、輝度平均値ともいう。）を前記低輝度領域から高輝度領域（輝度が２５５に近い領域）側にシフトしたヒストグラムに調整し、調整した前記ヒストグラムに対応する画像フレームを用いて前記侵入者の検知処理を行うようにしている。
【００２６】
すなわち、ヒストグラム調整部３０は、前記低輝度領域に画素数が偏るヒストグラム（図２Ａ参照）について、その輝度平均値｛図２Ａに示す（Ａ）｝と、この輝度平均値に対する標準偏差（以下、輝度標準偏差ともいう。）とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和｛図２Ａに示す（Ｂ）｝を、前記輝度の上限値（図２Ｂに示す２５５の輝度）に変換すると共に、前記輝度平均値と前記輝度標準偏差との差｛図２Ａに示す（Ｃ）｝を前記輝度の下限値（図２Ｂに示す０の輝度）に変換する。次に、ヒストグラム調整部３０は、図２Ａのヒストグラムにおける前記和と前記差との間のヒストグラムパターン３８ａを、図２Ｂに示す前記上限値（２５５）と前記下限値（０）との間にフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する（図２Ｂ参照）。
【００２７】
なお、前記フルスケールに伸張するとは、ヒストグラム調整部３０内に、例えば、前記差から前記和までの輝度（ヒストグラムパターン３８ａに対応する輝度）と、前記下限値から前記上限値までの輝度（ヒストグラムパターン３８ｂに対応する輝度）との関係を示すマッピング関数（１次式で表わされる関数）が格納され、このマッピング関数に基づいて、ヒストグラムパターン３８ａの輝度をヒストグラムパターン３８ｂの輝度に変換することをいう。
【００２８】
従って、図２Ｂに示す調整後のヒストグラムは、図２Ａに示す調整前のヒストグラムと比較して、輝度平均値がより高輝度領域にシフトし、この結果、前記調整後のヒストグラムに対応する画像フレーム（図３Ｂ及び図４Ｂ）は、前記調整前の画像フレーム（図３Ａ及び図４Ｂ）と比較して、夜間や曇り又は雨の日の日中に撮影された画像フレームであっても、全体的に明るい画像となり、Ｔ字路４０ｂ上の歩行者４２ｂを明瞭に認識することができる。
【００２９】
なお、前記ヒストグラムの調整前（図２Ａ参照）と、調整後（図２Ｂ参照）とについて、画像フレームを構成する全画素数に変化がなければ、図２Ａに示す輝度と画素数との積の総和（ヒストグラムパターン３８ａと横軸とで囲まれた部分の総面積）と、図２Ｂに示す輝度と画素数との積の総和（ヒストグラムパターン３８ｂと縦軸と横軸とで囲まれた部分の総面積）との間に変化がないことは勿論である。
【００３０】
また、ヒストグラム調整部３０における前述したヒストグラムの調整処理は、例えば、（１）現在時刻が所定の時間帯（例えば、１８時〜翌日の６時）になった場合、（２）前記撮影地点に設けられた図示しない輝度センサからの出力信号のレベルが所定レベル以下である場合、（３）前記ヒストグラムの輝度平均値が所定の閾値（例えば、１００）以下である場合に行われる。
【００３１】
従って、識別処理部３２では、ヒストグラム調整処理を行った画像フレームが入力した際に、この画像フレームに対して上述した差分処理（図５Ｂ参照）、２値化処理（図６Ｂ参照）、クラスタリング処理及びラベリング処理（図７Ｂ参照）を行い、前記ラベリング処理後の画像フレーム中にある枠５０ｂと、前記現在の画像フレーム（図４Ｂ参照）とを侵入者識別手段２０に出力する。
【００３２】
本実施形態に係る侵入者検知装置１６を有する侵入者検知システム１０の構成は、上述した通りであり、次に、ヒストグラム調整部３０でのヒストグラム調整処理を行う場合における侵入者検知装置１６での侵入者検知処理について、図１〜図８Ｂや、図９及び図１０のフローチャートを参照しながら説明する。
【００３３】
図９は、侵入者検知装置１６内での処理を示すフローチャートであり、図１０は、移動物体識別手段１８内での処理を示すフローチャートである。なお、これらのフローチャートの説明では、必要に応じて、ヒストグラム調整処理を行わない画像フレーム（図３Ａ、図４Ａ、図５Ａ、図６Ａ、図７Ａ及び図８Ａ）も参照しながら説明する。
【００３４】
図９のステップＳ１において、移動物体識別手段１８（図１参照）は、カメラ１２からＡ／Ｄコンバータ１４を介して入力した画像フレームより、該画像フレーム内での侵入者を含む移動物体の存在を識別できるような画像処理（移動物体識別処理）を行う。
【００３５】
具体的には、先ず、図１０のステップＳ１１において、ヒストグラム調整部３０は、入力した画像フレーム｛図３Ａに示す先の画像フレーム及び図４Ａに示す現在の画像フレーム｝をグレースケール変換する。
【００３６】
次に、ヒストグラム調整部３０は、画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム（図２Ａ参照）をそれぞれの画像フレームに対して作成する。この場合、前記ヒストグラムは、前記低輝度領域に画素数が偏ったヒストグラムパターン３８ａになっているので、ヒストグラム調整部３０は、前記ヒストグラムについて、輝度平均値が低輝度領域から高輝度領域にシフトしたヒストグラム（図２Ｂ参照）に調整する下記のヒストグラム調整処理（ヒストグラム調整ステップ）を行う（ステップＳ１２）。
【００３７】
すなわち、ヒストグラム調整部３０は、図３Ａ及び図４Ａに示す画像フレームのそれぞれのヒストグラム（図２Ａ参照）について、その輝度平均値｛図２Ａの（Ａ）｝と輝度標準偏差とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和｛図２Ａの（Ｂ）｝を、前記輝度の上限値（図２Ｂの２５５）に変換すると共に、前記輝度平均値と前記輝度標準偏差との差｛図２Ａの（Ｃ）｝を前記輝度の下限値（図２Ｂの０）に変換する。さらに、ヒストグラム調整部３０は、図２Ａに示す前記和と前記差との間のヒストグラムパターン３８ａを、図２Ｂに示す前記上限値（２５５）と前記下限値（０）との間でフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する。そして、ヒストグラム調整部３０は、上記のヒストグラム調整処理を行った前記各ヒストグラムに対応する各画像フレーム（図３Ｂ及び図４Ｂ参照）を識別処理部３２に出力する。
【００３８】
この場合、ヒストグラムパターン３８ｂ（図２Ｂ参照）は、ヒストグラムパターン３８ａ（図２Ａ参照）と比較して、輝度平均値がより高輝度領域にシフトするので、ヒストグラム調整後のヒストグラムに対応する画像フレーム（図３Ｂ及び図４Ｂ）は、ヒストグラム調整前の画像フレーム（図３Ａ及び図４Ａ）と比較して、全体的に明るい画像となっている。例えば、図３Ｂ及び図４Ｂの画像フレーム中で、Ｔ字路４０ｂ上を歩いている歩行者４２ｂの画像は、図３Ａ及び図４Ａの画像フレーム中の歩行者４２ａの画像よりも高輝度であり明瞭に認識することが可能である。
【００３９】
次に、識別処理部３２（図１参照）は、入力した前記各画像フレーム（図３Ｂ及び図４Ｂ参照）の全画素について、前記先の画像フレーム（図３Ｂ参照）の画素の輝度と、この画素に対応する前記現在の画像フレーム（図４Ｂ参照）の画素の輝度との輝度差を取って、前記輝度差を示す画像フレーム（図５Ｂ参照）を生成する（ステップＳ１３）。この場合、ヒストグラム調整処理（ステップＳ１２）を予め行った前記画像フレーム（図５Ｂ参照）中の表示部分４４ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない画像フレーム（図５Ａ参照）中の表示部分４４ａ（図３Ａ及び図４Ａの歩行者４２ａに対応する表示部分）と比較して、鮮明に表示されている。
【００４０】
また、識別処理部３２は、前記差分処理を行った画像フレームについて、前記輝度差が所定の閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする２値化処理を行う（ステップＳ１４、図６Ｂ参照）。この場合も、前記ヒストグラム調整処理（ステップＳ１２）を予め行った２値化処理後の画像フレーム（図６Ｂ参照）中の表示部分４６ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂや、図５Ｂの表示部分４４ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない２値化処理後の画像フレーム（図６Ａ参照）中の表示部分４６ａ（図３Ａ及び図４Ａの歩行者４２ａや、図５Ａの表示部分４６ａに対応する表示部分）と比較して、鮮明に表示されている。
【００４１】
さらに、識別処理部３２は、前記２値化処理を行った画像フレームについて、前記白色表示の表示部分４６ｂを侵入者等を示す１つの表示部分４８ｂとして融合するクラスタリング処理を行った後に、融合した表示部分４８ｂを所定の大きさの枠５０ｂで囲い、表示部分４８ｂ及び枠５０ｂに対して所定の番号（図示せず）を付与するラベリング処理を行う（図７Ｂ、ステップＳ１５参照）。この場合も、前記ヒストグラム調整処理（ステップＳ１２）を予め行った画像フレーム（図７Ｂ参照）中の表示部分４８ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂや、図５Ｂ及び図６Ｂの表示部分４４ｂ、４６ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない画像フレーム（図７Ａ参照）中の表示部分４８ａ（図３Ａ及び図４Ａの歩行者４２ａや、図５Ａ及び図６Ａの表示部分４４ａ、４６ａに対応する表示部分）と比較して、鮮明に表示されている。また、表示部分４８ｂは、表示部分４８ａよりも大きく表示され、従って、枠５０ｂも、枠５０ａより大きく表示されている。
【００４２】
さらにまた、識別処理部３２は、ヒストグラム調整処理（ステップＳ１２）を行った現在の画像フレーム（図４Ｂ参照）と、枠５０ｂ（図７Ｂ参照）とを侵入者識別手段２０に出力する。
【００４３】
侵入者識別手段２０（図１参照）は、入力した前記画像フレーム（図４Ｂ参照）について、歩行者４２ｂが前記撮影地点における侵入者であるか否かを識別し、枠５０ｂ（図７Ｂ参照）、識別結果及び前記画像フレームを領域監視手段２２に出力する（図９のステップＳ２）。領域監視手段２２は、入力した前記識別結果及び前記画像フレームに基づいて、当該画像フレーム中、歩行者４２ｂが所定の監視対象（Ｔ字路４０ｂ）に侵入するか否かを検出し、枠５０ｂ、検出結果及び前記画像フレームを侵入者予測手段２４及び侵入者特徴抽出手段２６に出力する（ステップＳ３）。
【００４４】
侵入者予測手段２４は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者４２ｂの移動量や移動方向から、今後の歩行者４２ｂの動きを予測し、枠５０ｂ、予測結果及び前記画像フレームを結果判定手段２８に出力する（ステップＳ４）。
【００４５】
侵入者特徴抽出手段２６は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者４２ｂの移動量や移動方向から、侵入者である歩行者４２ｂの種別を特定し、枠５０ｂ、特定結果及び前記画像フレームを結果判定手段２８に出力する（ステップＳ５）。
【００４６】
結果判定手段２８は、侵入者予測手段２４から順次入力した前記予測結果及び前記画像フレームと、侵入者特徴抽出手段２６から順次入力した前記特定結果及び前記画像フレームとに基づいて、前記監視対象（Ｔ字路４０ｂ）に歩行者４２ｂが侵入者として侵入したことを、侵入者検知装置１６が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う（ステップＳ６）。この場合、結果判定手段２８では、歩行者４２ｂの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠５０ｂを前記画像フレームの歩行者４２ｂに重畳することも可能である（図８Ｂ参照）。なお、図８Ｂでは、歩行者４２ｂの略全身を枠５０ｂで囲んだ場合を図示している。
【００４７】
また、カメラ制御部３４は、前記予測結果、前記特定結果及び前記画像フレームとに基づいて、前記撮影地点におけるカメラ１２の撮影方向や姿勢を制御する。
【００４８】
このように、本実施形態では、画像フレームの全画素にて構成されるヒストグラムのヒストグラムパターン３８ａを所望のヒストグラムパターン３８ｂに変換し、変換したヒストグラムパターン３８ｂに応じた画像フレームを用いて歩行者４２ｂの検知処理を行うことにより、画像フレームのブロック毎にヒストグラムパターンを変換する従来技術と比較して、歩行者４２ｂの検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、歩行者４２ｂの検出に必要な画像フレームを容易に作成することができる。
【００４９】
本発明に係る移動物体検知装置及びその方法は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることは勿論である。
【図面の簡単な説明】
【００５０】
【図１】本実施形態に係る侵入者検知装置を有する侵入者検知システムのブロック図である。
【図２】図２Ａは、画像フレームのヒストグラムを示し、図２Ｂは、ヒストグラム調整処理を行ったヒストグラムを示す。
【図３】図３Ａ及び図３Ｂは、夜間に撮影された先の画像フレームを示す説明図である。
【図４】図４Ａ及び図４Ｂは、夜間に撮影された現在の画像フレームを示す説明図である。
【図５】図５Ａは、図１の識別処理部にて図３Ａ及び図４Ａの各画像フレームを差分処理した画像フレームを示す説明図であり、図５Ｂは、前記識別処理部にて図３Ｂ及び図４Ｂの各画像フレームを差分処理した画像フレームを示す説明図である。
【図６】図６Ａは、図５Ａの画像フレームに対して２値化処理した画像フレームを示す説明図であり、図６Ｂは、図５Ｂの画像フレームに対して２値化処理した画像フレームを示す説明図である。
【図７】図７Ａは、図６Ａの画像フレームに対してクラスタリング処理及びラベリング処理を行った画像フレームを示す説明図であり、図７Ｂは、図６Ｂの画像フレームに対してクラスタリング処理及びラベリング処理を行った画像フレームを示す説明図である。
【図８】図８Ａは、図４Ａの画像フレームに図７Ａに示す表示部分を囲む枠を重畳させた説明図であり、図８Ｂは、図４Ｂの画像フレームに図７Ｂに示す表示部分を囲む枠を重畳させた説明図である。
【図９】図１の侵入者検知装置内での処理を示すフローチャートである。
【図１０】図１の移動物体識別手段内での処理を示すフローチャートである
【符号の説明】
【００５１】
１０…侵入者検知システム １２…カメラ
１４…Ａ／Ｄコンバータ １６…侵入者検知装置
１８…移動物体識別手段 ２０…侵入者識別手段
２２…領域監視手段 ２４…侵入者予測手段
２６…侵入者特徴抽出手段 ２８…結果判定手段
３０…ヒストグラム調整部 ３２…識別処理部
３４…カメラ制御部
３８ａ、３８ｂ…ヒストグラムパターン
【技術分野】
【０００１】
本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置及びその方法に関し、より詳細には、前記撮影地点への侵入者の侵入を監視する侵入者検知装置として好適な移動物体検知装置及びその方法に関する。
【背景技術】
【０００２】
従来より、夜間等の人間が行き来しない時間帯におけるオフィスビル等への侵入者の侵入を監視する移動物体検知装置が特許文献１に開示されている。この移動物体検知装置は、所定の撮影地点（例えば、オフィスビルの各フロア内）において、テレビカメラにより撮影された画像フレームについて、その画像フレームを複数の画素から構成されるブロックに分割し、異なる時刻に撮影された２つの画像フレームについて、先に撮影された画像フレームの各ブロックを構成する画素の輝度とその輝度を示す画素数との関係を示すヒストグラムと、前記ブロックに対応する後に撮影された画像フレームの各ブロックにおけるヒストグラムとの差分をブロック毎に求め、求めた各差分値が所定の閾値よりも大きい場合に、前記撮影地点内に何らかの変化（例えば、侵入者の侵入）があったものと判定する。
【０００３】
また、前記テレビカメラが夜間の撮影地点を撮影した場合には、前記各画素の輝度が低く、前記画像フレームが全体的に暗い画像となるので、前記移動物体検知装置では、前記ヒストグラムの低輝度領域における１［％］の頻度を示す輝度と、高輝度領域における１［％］の頻度を示す輝度とを求め、求めた各輝度を輝度の下限値及び上限値に変換して前記ヒストグラムのパターン（以下、ヒストグラムパターンともいう。）を前記下限値と前記上限値との間でフルスケールに伸張することで、移動物体の検知精度を改善している。
【０００４】
【特許文献１】特開２０００−１８４３５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述した移動物体検知装置では、画像フレームを複数のブロックに分割し、それぞれのブロックについてヒストグラムを求めているので、撮影地点への侵入者の侵入に対する判定処理や、夜間等に撮影された画像フレームに対するヒストグラムパターンの調整処理が複雑となり、前記移動物体検知装置の処理に関わる負荷が増大するという問題がある。
【０００６】
本発明は、上述した問題を解決するためになされたものであり、移動物体の検知処理に関わる負荷を低減可能な移動物体検知装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置（移動物体検知方法）において、前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段（ヒストグラム調整ステップ）を有し、前記ヒストグラム調整手段（ヒストグラム調整ステップ）は、前記画像フレームを構成する全画素の輝度平均値とこの輝度平均値に対する輝度標準偏差とを求め、前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換することを特徴とする。
【０００８】
この構成によれば、前記画像フレームの全画素にて構成される前記ヒストグラムのヒストグラムパターンを所望のヒストグラムパターンに変換し、変換した前記ヒストグラムパターンに応じた画像フレームを用いて前記移動物体の検知処理を行うことにより、画像フレームのブロック毎にヒストグラムを調整する従来技術と比較して、前記移動物体の検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、前記移動物体の検出に必要な画像フレームを容易に作成することができる。
【発明の効果】
【０００９】
本発明によれば、移動物体の検知処理に関わる負荷を低減することができる。
【発明を実施するための最良の形態】
【００１０】
本発明に係る移動物体検知装置について、カメラの撮影地点における侵入者の侵入を検知する侵入者検知装置に適用した好適な実施の形態を挙げ、添付の図面を参照しながら以下に説明する。
【００１１】
図１は、本実施形態に係る侵入者検知装置（移動物体検知装置）１６を適用した侵入者検知システム１０のブロック図である。
【００１２】
この侵入者検知システム１０において、オフィスビルや港湾設備等に配置され、撮影地点（例えば、前記オフィスビルの各フロアや、前記港湾設備の近傍）を所定時刻毎に、あるいは連続的に撮影するカメラ１２は、当該撮影地点を撮影したアナログ信号の画像をＡ／Ｄコンバータ１４に順次出力し、該Ａ／Ｄコンバータ１４は、この画像をデジタル信号の画像フレームに変換して侵入者検知装置１６に順次出力する。なお、侵入者検知装置１６は、前記撮影地点における監視対象（例えば、前記オフィスビルの各フロアの入口近傍や、前記港湾設備の倉庫の入口近傍）への侵入者の侵入（移動物体の存在）を監視する図示しない監視センター内に配置されている。
【００１３】
侵入者検知装置１６は、ヒストグラム調整部（ヒストグラム調整手段）３０と識別処理部３２とを有する移動物体識別手段１８、侵入者識別手段２０、領域監視手段２２、侵入者予測手段２４、侵入者特徴抽出手段２６及びカメラ制御部３４を有する結果判定手段２８から構成される。
【００１４】
ヒストグラム調整部３０は、順次入力した前記画像フレームをグレースケール変換し（図３Ａ及び図４Ａ参照）、前記画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム（図２Ａ参照）をそれぞれの画像フレームに対して作成し、作成した前記ヒストグラムに対応する前記画像フレームを識別処理部３２に出力する。なお、図２Ａは、一例として、横軸が０〜２５５の輝度（階調）であり、縦軸が前記輝度での画素数であるヒストグラムを図示している。また、図３Ａ及び図４Ａでは、監視対象としてのＴ字路４０ａ上を歩行者４２ａ（侵入者）が歩いている様子を図示している。
【００１５】
識別処理部３２（図１参照）は、順次入力した前記画像フレームの全画素について、前回入力した先の画像フレーム（図３Ａ参照）の画素の輝度と、この画素に対応し且つ現在入力した画像フレーム（図４Ａ参照）の画素の輝度との輝度差を取り（図５Ａ参照）、前記輝度差と所定の閾値との比較に基づいて２値化の画像フレームを作成する（図６Ａ参照）。この場合、識別処理部３２は、前記輝度差が前記閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする。なお、図５Ａでは、歩行者４２ａ（図３Ａ及び図４Ａ参照）に対応する表示部分４４ａが図示され、図６Ａでは、該歩行者４２ａに対応する白色表示の表示部分４６ａが図示されている。
【００１６】
また、識別処理部３２（図１参照）では、前記画像フレーム中、隣接する複数の画素が互いに白色表示である場合には、図７Ａに示すように、これらの白色表示部分を侵入者等の移動物体を示す１つの表示部分４８ａとして融合するクラスタリング処理を行った後に、融合した表示部分４８ａを所定の大きさの枠５０ａで囲み、この表示部分４８ａ及び枠５０ａに所定の番号（図示せず）を付与するラベリング処理を行う。さらに、識別処理部３２は、Ａ／Ｄコンバータ１４からの現在の画像フレーム（図４Ａ参照）と、枠５０ａとを侵入者識別手段２０にそれぞれ出力する。なお、識別処理部３２は、枠５０ａの作成処理を行わず、前記現在の画像フレームのみを侵入者識別手段２０に出力することも可能である。
【００１７】
侵入者識別手段２０（図１参照）は、入力した前記現在の画像フレーム（図４Ａ参照）に基づいて、移動物体である歩行者４２ａが前記撮影地点における侵入者を示すものであるか否かを識別し、枠５０ａ、識別結果及び前記現在の画像フレームを領域監視手段２２に出力する。この場合、歩行者４２ａが前記侵入者であるか否かの判断は、例えば、図３Ａに示す先の画像フレームでの歩行者４２ａと、前記現在の画像フレームでの歩行者４２ａとの差（移動方向及び距離）に基づいて判断する。
【００１８】
領域監視手段２２は、入力した前記識別結果及び前記現在の画像フレームに基づいて、前記画像フレーム中、監視対象（例えば、Ｔ字路４０ａ）への歩行者４２ａの移動（前記侵入者の侵入）の有無を検出し、枠５０ａ、検出結果及び前記現在の画像フレームを侵入者予測手段２４及び侵入者特徴抽出手段２６に出力する。
【００１９】
侵入者予測手段２４は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者４２ａの移動量や移動方向から、今後の歩行者４２ａの動きを予測し、枠５０ａ、予測結果及び前記現在の画像フレームを結果判定手段２８に出力する。
【００２０】
侵入者特徴抽出手段２６は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者４２ａの移動量や移動方向から、歩行者４２ａ（侵入者）の種別を特定し、枠５０ａ、特定結果及び前記現在の画像フレームを結果判定手段２８に出力する。なお、前記種別とは、例えば、前記画像フレーム中に表示される画像の種類（人間、樹木、草等）である。
【００２１】
結果判定手段２８は、侵入者予測手段２４から順次入力した前記予測結果及び前記現在の画像フレームと、侵入者特徴抽出手段２６から順次入力した前記特定結果及び前記現在の画像フレームとに基づいて、前記監視対象（Ｔ字路４０ａ）に歩行者４２ａ（侵入者）が侵入したことを、侵入者検知装置１６が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う。この場合、結果判定手段２８では、歩行者４２ａの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠５０ａを前記現在の画像フレームの歩行者４２ａに重畳することも可能である（図８Ａ参照）。なお、図８Ａでは、歩行者４２ａの上半身の一部を枠５０ａで囲んだ場合を図示している。
【００２２】
また、カメラ制御部３４は、前記予測結果、前記特定結果及び前記現在の画像フレームとに基づいて、前記撮影地点におけるカメラ１２の撮影方向や姿勢を制御する。
【００２３】
上記した侵入者検知システム１０（図１参照）において、例えば、夜間や、曇り又は雨の日の日中にカメラ１２が前記撮影地点を撮影した場合、該カメラ１２に入力する光量は、晴れた日の日中の光量よりも少ないので、撮影された画像フレームをヒストグラム調整部３０にてグレースケール変換すると全体的に暗い画像となり（図３Ａ及び図４Ａ参照）、そのヒストグラムは、図２Ａに示すように、低輝度領域（輝度が０に近い領域）に画素数が偏るヒストグラムパターン３８ａとなる。
【００２４】
この結果、前記ヒストグラムに対応する画像フレームをそのまま用い、識別処理部３２（図１参照）にて撮影時刻の異なる２つの画像フレームの差分を取り（図５Ａ参照）、差分した前記画像フレームに対して２値化処理（図６Ａ参照）、クラスタリング処理及びラベリング処理（図７Ａ参照）を行うと、歩行者４２ａ（侵入者）（図３Ａ及び図４Ａ参照）に対応する表示部分４６ａを２値化の画像フレーム上に鮮明に表示することが困難になると共に、歩行者４２ａに対する枠５０ａのサイズも小さくなり（図８Ａ参照）、結果判定手段２８での歩行者４２ａ（侵入者）の認識率（検知率）が低下するおそれがある。
【００２５】
そこで、侵入者検知装置１６では、ヒストグラム調整部３０において、夜間や曇り又は雨の日の日中に撮影された画像フレームのヒストグラム（図２Ａ参照）について、図２Ｂに示すように、前記画像フレームを構成する全画素の輝度の平均値（以下、輝度平均値ともいう。）を前記低輝度領域から高輝度領域（輝度が２５５に近い領域）側にシフトしたヒストグラムに調整し、調整した前記ヒストグラムに対応する画像フレームを用いて前記侵入者の検知処理を行うようにしている。
【００２６】
すなわち、ヒストグラム調整部３０は、前記低輝度領域に画素数が偏るヒストグラム（図２Ａ参照）について、その輝度平均値｛図２Ａに示す（Ａ）｝と、この輝度平均値に対する標準偏差（以下、輝度標準偏差ともいう。）とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和｛図２Ａに示す（Ｂ）｝を、前記輝度の上限値（図２Ｂに示す２５５の輝度）に変換すると共に、前記輝度平均値と前記輝度標準偏差との差｛図２Ａに示す（Ｃ）｝を前記輝度の下限値（図２Ｂに示す０の輝度）に変換する。次に、ヒストグラム調整部３０は、図２Ａのヒストグラムにおける前記和と前記差との間のヒストグラムパターン３８ａを、図２Ｂに示す前記上限値（２５５）と前記下限値（０）との間にフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する（図２Ｂ参照）。
【００２７】
なお、前記フルスケールに伸張するとは、ヒストグラム調整部３０内に、例えば、前記差から前記和までの輝度（ヒストグラムパターン３８ａに対応する輝度）と、前記下限値から前記上限値までの輝度（ヒストグラムパターン３８ｂに対応する輝度）との関係を示すマッピング関数（１次式で表わされる関数）が格納され、このマッピング関数に基づいて、ヒストグラムパターン３８ａの輝度をヒストグラムパターン３８ｂの輝度に変換することをいう。
【００２８】
従って、図２Ｂに示す調整後のヒストグラムは、図２Ａに示す調整前のヒストグラムと比較して、輝度平均値がより高輝度領域にシフトし、この結果、前記調整後のヒストグラムに対応する画像フレーム（図３Ｂ及び図４Ｂ）は、前記調整前の画像フレーム（図３Ａ及び図４Ｂ）と比較して、夜間や曇り又は雨の日の日中に撮影された画像フレームであっても、全体的に明るい画像となり、Ｔ字路４０ｂ上の歩行者４２ｂを明瞭に認識することができる。
【００２９】
なお、前記ヒストグラムの調整前（図２Ａ参照）と、調整後（図２Ｂ参照）とについて、画像フレームを構成する全画素数に変化がなければ、図２Ａに示す輝度と画素数との積の総和（ヒストグラムパターン３８ａと横軸とで囲まれた部分の総面積）と、図２Ｂに示す輝度と画素数との積の総和（ヒストグラムパターン３８ｂと縦軸と横軸とで囲まれた部分の総面積）との間に変化がないことは勿論である。
【００３０】
また、ヒストグラム調整部３０における前述したヒストグラムの調整処理は、例えば、（１）現在時刻が所定の時間帯（例えば、１８時〜翌日の６時）になった場合、（２）前記撮影地点に設けられた図示しない輝度センサからの出力信号のレベルが所定レベル以下である場合、（３）前記ヒストグラムの輝度平均値が所定の閾値（例えば、１００）以下である場合に行われる。
【００３１】
従って、識別処理部３２では、ヒストグラム調整処理を行った画像フレームが入力した際に、この画像フレームに対して上述した差分処理（図５Ｂ参照）、２値化処理（図６Ｂ参照）、クラスタリング処理及びラベリング処理（図７Ｂ参照）を行い、前記ラベリング処理後の画像フレーム中にある枠５０ｂと、前記現在の画像フレーム（図４Ｂ参照）とを侵入者識別手段２０に出力する。
【００３２】
本実施形態に係る侵入者検知装置１６を有する侵入者検知システム１０の構成は、上述した通りであり、次に、ヒストグラム調整部３０でのヒストグラム調整処理を行う場合における侵入者検知装置１６での侵入者検知処理について、図１〜図８Ｂや、図９及び図１０のフローチャートを参照しながら説明する。
【００３３】
図９は、侵入者検知装置１６内での処理を示すフローチャートであり、図１０は、移動物体識別手段１８内での処理を示すフローチャートである。なお、これらのフローチャートの説明では、必要に応じて、ヒストグラム調整処理を行わない画像フレーム（図３Ａ、図４Ａ、図５Ａ、図６Ａ、図７Ａ及び図８Ａ）も参照しながら説明する。
【００３４】
図９のステップＳ１において、移動物体識別手段１８（図１参照）は、カメラ１２からＡ／Ｄコンバータ１４を介して入力した画像フレームより、該画像フレーム内での侵入者を含む移動物体の存在を識別できるような画像処理（移動物体識別処理）を行う。
【００３５】
具体的には、先ず、図１０のステップＳ１１において、ヒストグラム調整部３０は、入力した画像フレーム｛図３Ａに示す先の画像フレーム及び図４Ａに示す現在の画像フレーム｝をグレースケール変換する。
【００３６】
次に、ヒストグラム調整部３０は、画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム（図２Ａ参照）をそれぞれの画像フレームに対して作成する。この場合、前記ヒストグラムは、前記低輝度領域に画素数が偏ったヒストグラムパターン３８ａになっているので、ヒストグラム調整部３０は、前記ヒストグラムについて、輝度平均値が低輝度領域から高輝度領域にシフトしたヒストグラム（図２Ｂ参照）に調整する下記のヒストグラム調整処理（ヒストグラム調整ステップ）を行う（ステップＳ１２）。
【００３７】
すなわち、ヒストグラム調整部３０は、図３Ａ及び図４Ａに示す画像フレームのそれぞれのヒストグラム（図２Ａ参照）について、その輝度平均値｛図２Ａの（Ａ）｝と輝度標準偏差とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和｛図２Ａの（Ｂ）｝を、前記輝度の上限値（図２Ｂの２５５）に変換すると共に、前記輝度平均値と前記輝度標準偏差との差｛図２Ａの（Ｃ）｝を前記輝度の下限値（図２Ｂの０）に変換する。さらに、ヒストグラム調整部３０は、図２Ａに示す前記和と前記差との間のヒストグラムパターン３８ａを、図２Ｂに示す前記上限値（２５５）と前記下限値（０）との間でフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する。そして、ヒストグラム調整部３０は、上記のヒストグラム調整処理を行った前記各ヒストグラムに対応する各画像フレーム（図３Ｂ及び図４Ｂ参照）を識別処理部３２に出力する。
【００３８】
この場合、ヒストグラムパターン３８ｂ（図２Ｂ参照）は、ヒストグラムパターン３８ａ（図２Ａ参照）と比較して、輝度平均値がより高輝度領域にシフトするので、ヒストグラム調整後のヒストグラムに対応する画像フレーム（図３Ｂ及び図４Ｂ）は、ヒストグラム調整前の画像フレーム（図３Ａ及び図４Ａ）と比較して、全体的に明るい画像となっている。例えば、図３Ｂ及び図４Ｂの画像フレーム中で、Ｔ字路４０ｂ上を歩いている歩行者４２ｂの画像は、図３Ａ及び図４Ａの画像フレーム中の歩行者４２ａの画像よりも高輝度であり明瞭に認識することが可能である。
【００３９】
次に、識別処理部３２（図１参照）は、入力した前記各画像フレーム（図３Ｂ及び図４Ｂ参照）の全画素について、前記先の画像フレーム（図３Ｂ参照）の画素の輝度と、この画素に対応する前記現在の画像フレーム（図４Ｂ参照）の画素の輝度との輝度差を取って、前記輝度差を示す画像フレーム（図５Ｂ参照）を生成する（ステップＳ１３）。この場合、ヒストグラム調整処理（ステップＳ１２）を予め行った前記画像フレーム（図５Ｂ参照）中の表示部分４４ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない画像フレーム（図５Ａ参照）中の表示部分４４ａ（図３Ａ及び図４Ａの歩行者４２ａに対応する表示部分）と比較して、鮮明に表示されている。
【００４０】
また、識別処理部３２は、前記差分処理を行った画像フレームについて、前記輝度差が所定の閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする２値化処理を行う（ステップＳ１４、図６Ｂ参照）。この場合も、前記ヒストグラム調整処理（ステップＳ１２）を予め行った２値化処理後の画像フレーム（図６Ｂ参照）中の表示部分４６ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂや、図５Ｂの表示部分４４ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない２値化処理後の画像フレーム（図６Ａ参照）中の表示部分４６ａ（図３Ａ及び図４Ａの歩行者４２ａや、図５Ａの表示部分４６ａに対応する表示部分）と比較して、鮮明に表示されている。
【００４１】
さらに、識別処理部３２は、前記２値化処理を行った画像フレームについて、前記白色表示の表示部分４６ｂを侵入者等を示す１つの表示部分４８ｂとして融合するクラスタリング処理を行った後に、融合した表示部分４８ｂを所定の大きさの枠５０ｂで囲い、表示部分４８ｂ及び枠５０ｂに対して所定の番号（図示せず）を付与するラベリング処理を行う（図７Ｂ、ステップＳ１５参照）。この場合も、前記ヒストグラム調整処理（ステップＳ１２）を予め行った画像フレーム（図７Ｂ参照）中の表示部分４８ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂや、図５Ｂ及び図６Ｂの表示部分４４ｂ、４６ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない画像フレーム（図７Ａ参照）中の表示部分４８ａ（図３Ａ及び図４Ａの歩行者４２ａや、図５Ａ及び図６Ａの表示部分４４ａ、４６ａに対応する表示部分）と比較して、鮮明に表示されている。また、表示部分４８ｂは、表示部分４８ａよりも大きく表示され、従って、枠５０ｂも、枠５０ａより大きく表示されている。
【００４２】
さらにまた、識別処理部３２は、ヒストグラム調整処理（ステップＳ１２）を行った現在の画像フレーム（図４Ｂ参照）と、枠５０ｂ（図７Ｂ参照）とを侵入者識別手段２０に出力する。
【００４３】
侵入者識別手段２０（図１参照）は、入力した前記画像フレーム（図４Ｂ参照）について、歩行者４２ｂが前記撮影地点における侵入者であるか否かを識別し、枠５０ｂ（図７Ｂ参照）、識別結果及び前記画像フレームを領域監視手段２２に出力する（図９のステップＳ２）。領域監視手段２２は、入力した前記識別結果及び前記画像フレームに基づいて、当該画像フレーム中、歩行者４２ｂが所定の監視対象（Ｔ字路４０ｂ）に侵入するか否かを検出し、枠５０ｂ、検出結果及び前記画像フレームを侵入者予測手段２４及び侵入者特徴抽出手段２６に出力する（ステップＳ３）。
【００４４】
侵入者予測手段２４は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者４２ｂの移動量や移動方向から、今後の歩行者４２ｂの動きを予測し、枠５０ｂ、予測結果及び前記画像フレームを結果判定手段２８に出力する（ステップＳ４）。
【００４５】
侵入者特徴抽出手段２６は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者４２ｂの移動量や移動方向から、侵入者である歩行者４２ｂの種別を特定し、枠５０ｂ、特定結果及び前記画像フレームを結果判定手段２８に出力する（ステップＳ５）。
【００４６】
結果判定手段２８は、侵入者予測手段２４から順次入力した前記予測結果及び前記画像フレームと、侵入者特徴抽出手段２６から順次入力した前記特定結果及び前記画像フレームとに基づいて、前記監視対象（Ｔ字路４０ｂ）に歩行者４２ｂが侵入者として侵入したことを、侵入者検知装置１６が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う（ステップＳ６）。この場合、結果判定手段２８では、歩行者４２ｂの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠５０ｂを前記画像フレームの歩行者４２ｂに重畳することも可能である（図８Ｂ参照）。なお、図８Ｂでは、歩行者４２ｂの略全身を枠５０ｂで囲んだ場合を図示している。
【００４７】
また、カメラ制御部３４は、前記予測結果、前記特定結果及び前記画像フレームとに基づいて、前記撮影地点におけるカメラ１２の撮影方向や姿勢を制御する。
【００４８】
このように、本実施形態では、画像フレームの全画素にて構成されるヒストグラムのヒストグラムパターン３８ａを所望のヒストグラムパターン３８ｂに変換し、変換したヒストグラムパターン３８ｂに応じた画像フレームを用いて歩行者４２ｂの検知処理を行うことにより、画像フレームのブロック毎にヒストグラムパターンを変換する従来技術と比較して、歩行者４２ｂの検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、歩行者４２ｂの検出に必要な画像フレームを容易に作成することができる。
【００４９】
本発明に係る移動物体検知装置及びその方法は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることは勿論である。
【図面の簡単な説明】
【００５０】
【図１】本実施形態に係る侵入者検知装置を有する侵入者検知システムのブロック図である。
【図２】図２Ａは、画像フレームのヒストグラムを示し、図２Ｂは、ヒストグラム調整処理を行ったヒストグラムを示す。
【図３】図３Ａ及び図３Ｂは、夜間に撮影された先の画像フレームを示す説明図である。
【図４】図４Ａ及び図４Ｂは、夜間に撮影された現在の画像フレームを示す説明図である。
【図５】図５Ａは、図１の識別処理部にて図３Ａ及び図４Ａの各画像フレームを差分処理した画像フレームを示す説明図であり、図５Ｂは、前記識別処理部にて図３Ｂ及び図４Ｂの各画像フレームを差分処理した画像フレームを示す説明図である。
【図６】図６Ａは、図５Ａの画像フレームに対して２値化処理した画像フレームを示す説明図であり、図６Ｂは、図５Ｂの画像フレームに対して２値化処理した画像フレームを示す説明図である。
【図７】図７Ａは、図６Ａの画像フレームに対してクラスタリング処理及びラベリング処理を行った画像フレームを示す説明図であり、図７Ｂは、図６Ｂの画像フレームに対してクラスタリング処理及びラベリング処理を行った画像フレームを示す説明図である。
【図８】図８Ａは、図４Ａの画像フレームに図７Ａに示す表示部分を囲む枠を重畳させた説明図であり、図８Ｂは、図４Ｂの画像フレームに図７Ｂに示す表示部分を囲む枠を重畳させた説明図である。
【図９】図１の侵入者検知装置内での処理を示すフローチャートである。
【図１０】図１の移動物体識別手段内での処理を示すフローチャートである
【符号の説明】
【００５１】
１０…侵入者検知システム １２…カメラ
１４…Ａ／Ｄコンバータ １６…侵入者検知装置
１８…移動物体識別手段 ２０…侵入者識別手段
２２…領域監視手段 ２４…侵入者予測手段
２６…侵入者特徴抽出手段 ２８…結果判定手段
３０…ヒストグラム調整部 ３２…識別処理部
３４…カメラ制御部
３８ａ、３８ｂ…ヒストグラムパターン
【特許請求の範囲】
【請求項１】
カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置において、
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段を有し、
前記ヒストグラム調整手段は、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知装置。
【請求項２】
カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知方法において、
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整ステップを有し、
前記ヒストグラム調整ステップでは、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知方法。
【請求項１】
カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置において、
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段を有し、
前記ヒストグラム調整手段は、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知装置。
【請求項２】
カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知方法において、
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整ステップを有し、
前記ヒストグラム調整ステップでは、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−２５１７２１（Ｐ２００７−２５１７２１Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７３９８４（Ｐ２００６−７３９８４）
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００４３３０）日本無線株式会社 (1,186)
【出願人】（５９６０３８８９２）ジェイ・アール・シーエンジニアリング株式会社 (4)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１７日（２００６．３．１７）
【出願人】（０００００４３３０）日本無線株式会社 (1,186)
【出願人】（５９６０３８８９２）ジェイ・アール・シーエンジニアリング株式会社 (4)
【Ｆターム（参考）】
[ Back to top ]