煙検出装置
【課題】煙の特性を考慮して、２つ以上の検出手法を備えることで、煙検出の精度を高める。
【解決手段】カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する際に、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、演算手段は、検出領域の透過率を演算する透過率演算手段；検出領域の収束輝度値を演算する収束輝度値演算手段；検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；のいずれか２つ以上を備える。
【解決手段】カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する際に、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、演算手段は、検出領域の透過率を演算する透過率演算手段；検出領域の収束輝度値を演算する収束輝度値演算手段；検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；のいずれか２つ以上を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、監視カメラが撮像する画像を画像処理することにより煙の発生を検出する煙検出装置に関する。
【背景技術】
【０００２】
従来、低輝度の固定した発煙源があること、発煙源上方に低輝度の面積変化がありその重心がゆらめいていること、及び発煙源上方の低輝度の面積が時間とともに成長していることを条件として、可視カメラからの可視画像の差分画像で形、面積の変化があり発生場所に同一性がある場合、発煙として検出する装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２４５７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
火災時に発生する煙において、火種となる火災源から生じる煙は、非常に短時間でたくさん生成され、動き（流れ）が大きく早い（以下、このような煙を流動煙という）。一方、火災源から離れた場所において、徐々に煙が拡散して広がる場合もあり、この場合の煙（以下、緩慢煙という）は、動きが非常に遅く時間単位における変化が乏しい。
【０００５】
また、火災によって生じる煙には、油火災の場合は、色が黒色の黒煙であるのに対し、木材や紙が火種となる普通火災では、色が白色の白煙である。このように、煙といっても、その発生要因や場所によって、色や動きは異なり、一つの検出プログラムからでは、効率よく煙を検出することは難しいという問題がある。また、単純な差分処理や、輝度の低下による減光率だけでは、照明の変化や、人体などの障害物も検出してしまい煙と区別して検出することができないという問題がある。
【０００６】
この発明の目的は、煙の特性を考慮して、２つ以上の検出手法を備えることで、煙検出の精度を高めることを目的とする煙検出装置を提供することである。
【課題を解決するための手段】
【０００７】
この発明に係わる煙検出装置は、カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、前記煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、前記演算手段は、前記検出領域の透過率を演算する透過率演算手段；前記検出領域の収束輝度値を演算する収束輝度値演算手段；前記検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；前記検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；のいずれか２つ以上を備えていることを特徴とするものである。
また、この発明に係わる煙検出装置は、カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、前記演算手段は、動きが早い流動煙を検出する流動煙検出手段と、動きが遅い緩慢煙を検出する緩慢煙検出手段とを備え、前記流動煙と前記緩慢煙を別々に判別することを特徴とするものである。
【発明の効果】
【０００８】
この発明に係わる煙検出装置は、煙を検出するにあたって、検出領域内における、煙検出要素としての透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散を演算して、それらの演算値を少なくとも２つ以上使用して、検出領域内に煙があるかどうかを検出するので、煙検出の精度を高めることができる。また、煙に似た挙動を示す人工光源や移動物を、誤って煙と認識することを防止できる。
また、演算手段は、動きが早い流動煙を検出する流動煙検出手段と、動きが遅い緩慢煙を検出する緩慢煙検出手段とを備えているので、煙が早く動く場合も、煙の動きが遅い場合も、煙を検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】この発明における煙検出の原理を説明する図である。
【図２】この発明における煙検出の原理を説明する図である。
【図３】この発明における煙検出の原理を説明する図である。
【図４】この発明の実施の形態１に係わる火災検出装置の構成図である。
【図５】実施の形態１に係わる煙検出装置に確保される各種記憶部である。
【図６】実施の形態１に係わる煙検出装置の機能ブロック図である。
【図７】実施の形態１に係わる流動煙検出手段の機能ブロック図である。
【図８】実施の形態１に係わる計測線の説明図である。
【図９】動き検出画素を含む検出領域の計測線上の画素の輝度に関する周波数スペクトルを示すグラフである。
【図１０】動き検出画素を含む検出領域の計測線上に動き検出画素が出現する頻度の経時変化を示すグラフである。
【図１１】実施の形態１に係わる緩慢煙検出手段の機能ブロック図である。
【図１２】緩慢煙が入った検出領域の輝度平均の時系列データを周波数分析して得られた周波数スペクトルのグラフである。
【図１３】実施の形態１に係わる火災検出手順を示すフローチャートである。
【図１４】実施の形態１に係わる基準画像更新手順を示すフローチャートである。
【図１５】実施の形態１に係わる画像記憶手順を示すフローチャートである。
【図１６】実施の形態１に係わる煙検出手順を示すフローチャートである。
【図１７】実施の形態１に係わる流動煙検出手順の前半を示すフローチャートである。
【図１８】実施の形態１に係わる流動煙検出手順の後半を示すフローチャートである。
【図１９】実施の形態１に係わる緩慢煙検出手順の前半を示すフローチャートである。
【図２０】実施の形態１に係わる緩慢煙検出手順の後半を示すフローチャートである。
【図２１】実施の形態１に係わる火災判別手順を示すフローチャートである。
【図２２】実施の形態１に係わる火災判別の仕方を説明する図面である。
【発明を実施するための最良の形態】
【００１０】
Ａ：煙検出の原理について
まず、本実施の形態の煙検出装置を説明するまえに、どのような原理に基づいて画像から煙を検出するかについて図１〜図３を用いて説明する。図１において、図１（ａ）、図１（ｂ）は、監視カメラで撮影した原画像を示し、図１（ａ）は煙のない状態、図１（ｂ）は、検出領域に煙が入った状態を示している。また、図２（ａ）、図２（ｂ）は、横軸が輝度、縦軸が画素数で示される検出領域内における輝度分布を示しており、それぞれ、図１（ａ）、図１（ｂ）に対応した図面となっている。また、図３において、図３（ａ）、図３（ｂ）は、検出領域Ｗ１の微分処理の結果を示しており、それぞれ図１（ａ）、図１（ｂ）に対応した図面となっている。
【００１１】
ここで検出領域とは、図１（ａ）、図１（ｂ）で示した監視領域である室内において、窓ガラスの周辺を矩形で囲んだ領域Ｗ１をさし、室内において、煙の発生を監視する領域（エリア）である。図２（ａ）において、室内に煙がない状態においては、輝度は高い値から低い値まで、広い範囲にわたって、その画素が分布していることがわかる。各画素の輝度値を足し算して、全画素数で割った値である輝度値の平均（平均輝度値）を求めると、当然、その平均値からのずれである分散は大きな値を示すことになる。
【００１２】
これに対して、図１（ｂ）の検出領域内に煙が入ると、その領域は、視界がぼやけた感じになってくる。このことを図２（ｂ）の輝度の分布図でみると、煙のない状態に比べ、輝度のとりうる範囲は、狭くなってくる。ここでも同様に、輝度の平均値を求め、分散を演算すると、平均値とのずれ（分散）は小さくなることがわかる。このような煙の流入に伴い、輝度の分布範囲が狭くなることは、黒煙、白煙どちらの場合でも言えることであるが、黒煙の場合は、輝度値が低下する方向にシフトし、白煙の場合は、輝度値が上昇する方向にシフトする。また、検出領域が完全に、煙で充満された状態になれば、輝度の分布範囲は、更に狭くなり、ほぼ特定の輝度値に収束するものと考えられる。
【００１３】
また、窓ガラスを含んだ検出領域Ｗ１は、外の明るい部分と、室内の暗い部分は、輝度の差が大きく、微分処理（エッジ処理）を行うと、窓ガラス部分の輪郭に対応した、大きなエッジができる（図３（ａ）参照）。しかし、煙の入った状態において、微分処理を行っても、煙のない通常状態に比べ、輝度の差は大きくなく、エッジはあまりでない（図３（ｂ）参照）。つまり、煙が発生する場合には、エッジ量が低下するものと考えられる。
更に、煙のゆらぎは、小さく、周波数分析を行うと、低周波帯域が高周波帯域よりも大きくなることが確認された。
【００１４】
このような観点に基づき、本出願の発明者は、煙が発生すると、
（１）視界がぼやけ透過率又はコントラストが低下すること、
（２）輝度値がある値に収束すること、
（３）輝度分布の範囲が狭まり輝度の分散が小さくなること、
（４）輝度の平均値が、通常の煙のない状態から変化すること、
（５）検出領域において、エッジの総和量が低下すること、
（６）低周波帯域の強度が高周波帯域の強度よりも大きいこと、
を導きだした。これらを総合的に判断して煙の検出を可能なものとした。
【００１５】
Ｂ：本発明の基本構成
実施の形態１．
図４は、この発明の実施の形態１に係わる火災検出装置の構成図である。この発明の実施の形態１に係わる火災検出装置は、図４に示すように、火災発生監視範囲を例えば１秒間に３０枚の割合で撮影してフレーム毎の画像データを出力するカメラ２および画像データを処理して煙の発生を検出しそれに基づいて警報を発する煙検出装置３を備える。このカメラ２は、例えばＣＣＤカメラまたはＣＭＯＳカメラから構成される。
【００１６】
煙検出装置３は、中央演算装置（ＣＰＵ）４、ＲＯＭ５、ＲＡＭ６、内蔵タイマ７、入出力インターフェース（Ｉ／Ｏ）８からなり、フレームグラバー９と外部記憶装置１０とが内蔵されているコンピュータから構成されている。
フレームグラバー９は、カメラ２が出力した、ＮＴＳＣ方式の映像信号から、画像データを取得する。画像データは、例えば１ライン６４０画素、１フレーム４８０ラインからなり、画素は、２５６階調の輝度で表される。ＲＯＭ５には、ＣＰＵ４で行う処理演算の手順がプログラムとして記憶されており、ＣＰＵ４はプログラムを読み出し、それに基づいて処理演算の手順を進める。
【００１７】
図５は、この発明の実施の形態１に係わる煙検出装置３に確保されている各種記憶部である。煙検出装置３には、図５に示すように、流動煙画像に関する輝度データ（以下、流動煙画像データと称す）を記憶する流動煙画像記憶部１１、緩慢煙画像に関する輝度データ（以下、緩慢煙画像データと称す）を記憶する緩慢煙画像記憶部１２、基準画像に関する輝度データ（以下、基準画像データと称す）を記憶する基準画像記憶部１３、差分画像に関する輝度データ（以下、差分画像データと称す）を記憶する差分画像記憶部１４、基準画像の各検出領域に関する基準最大輝度、基準最小輝度、基準平均輝度および基準分散（以下、基準データと称す）を記憶する基準データ記憶部１５、検出領域に関する情報を記憶する検出領域記憶部１６、ヒストグラムの出現頻度の平均と分散を記憶するヒストグラム記憶部１７、時系列的に検出領域の輝度の平均と分散を記憶する輝度平均分散記憶部１８、火災検出手順の度に検出数を記憶する検出数記憶部１９が記憶領域として設定されている。
【００１８】
煙検出装置３の大まかな構成は、図６に示すように、基準画像データを更新し検出領域を設定する検出準備手段２１、カメラ２から出力される画像データを流動煙画像記憶部１１と緩慢煙画像記憶部１２に記憶する画像記憶手段２２、緩慢煙または流動煙を検出する煙検出手段２３、緩慢煙または流動煙を検出したとき火災判別を行う火災判別手段２４とから構成されている。
【００１９】
ここで、まず、本実施の形態の画像処理方法について詳細に説明する前に、画像処理を行う前段階について説明する。この前段階に行う処理について、検出準備手段２１が行う処理について説明する。検出準備手段２１は、基準画像更新手段２６、検出領域設定手段２７を備えている。
煙検出装置３において、検出領域から異常発生領域となる煙発生領域を抽出する手段としては、画像間の差分処理を基本としている。特に、火源から近い場所で発生した、動きが早く面積変化も大きい流動煙の検出にあっては、フレーム間の差分処理を行う。
【００２０】
基準画像は、例えば図１（ａ）のように、普段、何も異常が発生していない状態において撮影された画像であり、基準画像記憶部１３に記憶されている。この基準画像は、常に、その画像を記憶しておくものではなく、公知技術の手段を用いて、逐次、更新されて、日照とかの細かな影響を排除するものである。
基準画像更新手段２６は、少し説明すれば、タイマ７の時刻に基づいて、基準画像は定期的に更新する。所定時間が経過して、基準画像の更新時期が到来すると、流動煙画像記憶部１１から最新画像データを読み出し基準画像データを更新するが、この際、元の基準画像と更新しようとする基準画像との相関をとって、変化がほとんどない場合にのみ、基準画像を更新するようにする。
【００２１】
次に、検出領域設定手段２７について説明する。検出領域設定手段２７は、検出処理を開始する前に実行され、基準画像や最新の撮影画像において、画像のどの部分の領域を、検出領域として設定するかを決めるものである。画像全体を監視しようとすると、画像処理の演算量が膨大となって大変である。そこで本実施の形態では、画像において、複数の小領域、例えば縦６４＊横６４の画素領域をまとめて検出領域とし、この領域を画像内に任意に設定する。このように、画像全体でなく、一部の領域を検出領域として取り扱うことにより、演算量を少なくすることができ、且つノイズの影響を小さくすることができる。検出領域の大きさは限定されないが、２のＮ乗の大きさにすると、周波数解析などを行う際に、都合がよい。また、２つ以上の検出領域を連結して、１つの検出領域として扱ってもよい。
【００２２】
図１（ａ）において、検出領域が、Ｗ１、Ｗ２で示されている。ここで、Ｗ１は、窓ガラスを囲んだ矩形の領域であり、Ｗ２は、部屋の床側の隅を矩形で囲んだ領域である。ここで、検出領域Ｗは、画像のどの部分にも、その大きさ、形状を変えて設定することが可能であるが、望ましくは、検出対象となる煙が発生する場所であり、煙が検知しやすい場所に設定すべきである。
【００２３】
検出領域は、検出感度を考慮して設定することが望ましく、輝度の変化の大きな領域を検出領域としている。これは、図１、図２の煙検出原理で説明したように、煙の流入に伴い、その領域は、輝度の分布範囲が狭くなる。即ち、何もない通常状態のときから、輝度分布が狭い領域では、煙が入っても、変化が乏しく、煙を検出しにくい。これに対し、窓ガラスの領域Ｗ１は、外光が入っており、部屋の隅のＷ２の領域に比べれば、輝度分布が広いので、煙が入ると、輝度の分布の変化が検出しやすい。検出領域設定手段２７は、具体的には、初めの基準画像データを空間微分処理し空間微分値の大きな領域を検出領域として設定する。
【００２４】
検出領域設定手段２７は、初めの基準画像データのうち、輝度の飽和の影響を防止するため、所定の輝度以上を除外する。例えば、輝度が２５０以上である画素を除いて空間微分処理して空間微分値を求め、空間微分値の総和の最も大きな領域を１つの検出領域と設定する。具体的には、基準画像を領域、例えば縦６４×横６４、計４０９６画素からなる領域で全体に亘って走査して各領域の空間微分値の総和を求める。それから、最も空間微分値の総和の大きい領域を第１の検出領域と設定し、次に、第１の検出領域と重ならない領域のうち最も空間微分値の総和の大きい領域を第２の検出領域と設定する。この操作を繰り返して、所定の個数の検出領域を設定し、設定された検出領域の情報を検出領域記憶部１６に記憶する。
【００２５】
また、検出準備手段２１は、基準データ演算手段２８を備えている。基準データ演算手段２８は、検出領域毎の基準最大輝度、基準最小輝度、基準平均輝度および基準分散を求めるもので、検出領域毎に基準画像データから基準最大輝度、基準最小輝度、基準平均輝度、基準分散を求めて基準データ記憶部１５に記憶する。
【００２６】
続いて、画像記憶手段２２の構成について説明する。画像記憶手段２２は、輝度補正手段３１、流動煙画像記憶手段３２、緩慢煙画像記憶手段３３を備えている。
輝度補正手段は、カメラ２から入力された画像データを逆ガンマ補正して輝度を補正する。カメラ２から入力された画像データを逆ガンマ補正するのは、カメラ２が撮影し出力する画像データに、画像データをモニタに表示したとき人間の視感度に合うようにガンマ補正が施されているためである。そして、ガンマ補正が施された画像データをそのまま画像処理すると、処理結果にガンマ補正による歪みが含まれるので、輝度補正手段３１により逆ガンマ補正を施して、実際の輝度に戻している。
【００２７】
流動煙画像記憶手段３２は、輝度補正された画像データを毎回、流動煙画像記憶部１１に記憶する。この流動煙画像記憶手段３２は、輝度補正手段３１で輝度補正された画像データを流動煙画像記憶部１１に例えば３００フレーム分記憶し、さらに新しい画像を記憶するときは古い画像データから先に削除していくファーストインファーストアウト手順で流動煙画像データを更新する。
【００２８】
緩慢煙画像記憶手段３３は、予め定められた緩慢煙取込周期毎に輝度補正された画像データを緩慢煙画像記憶部１２に記憶するものである。緩慢煙画像記憶手段３３は、緩慢煙は動きがほとんどないので、輝度補正手段３１で輝度補正された画像データを例えば３秒毎に抜き出し、例えば９０フレーム分記憶するし、さらに新しい画像を記憶するときも古い画像データから先に削除していくファーストインファーストアウト手順で緩慢煙画像データを更新する。
緩慢煙は、流動煙に比べ、非常に遅く室内に広がっていく煙である。このため、例えば３０ｍｓｅｃ毎に、差分処理などをしても、ほとんど変化領域がないことから、撮影している画像から３秒毎に、画像を抜き出して記憶するようにしている。これに対し、流動煙は、非常に動きが早いので、３０ｍｓｅｃで撮影する毎に、その画像を記憶するようにしている。
【００２９】
次に、煙検出手段２３の構成について説明する。煙検出手段２３は、障害物検出手段３５、流動煙検出手段３６、緩慢煙検出手段３７を備えている。障害物検出手段３５は、流動煙画像データが新たに記憶されたとき、基準画像と差分処理して、検出領域毎に流動煙画像内に障害物の有無を検出するものである。
障害物検出手段３５は、差分手段を有し、基準画像データと流動煙画像記憶部１１の最新画像データを読み出して、検出領域毎に、この２つの画像データの輝度の差分、あるいは画像データ間の相互相関係数を算出し、差分が所定の閾値以上のとき、あるいは相関値が閾値以下のとき、その画素を動きが検出された画素として判断する。なお、変化のあった検出画素を含む検出領域に対しては、縮退膨張処理を施してノイズを除去した差分画像データを作成し差分画像記憶部１４に記憶する。
【００３０】
例えば、監視領域内に人が通過する場合、当然、基準画像との差分処理を行えば、検出領域内に人が障害物として検出される。単純に、差分処理しただけでは、輝度値の変化した領域（画素）が人であるのか煙であるのかはわからない。このため後述する様々な処理を行うが、撮影した入力画像と基準画像を差分処理した段階で、何らかの変化領域がある場合、それは少なくとも緩慢煙ではないことは明らかである。緩慢煙は、動きが遅く、差分を行うフレーム間において、長い時間が経過していないと、変化する領域が現れないからである。従って、障害物検出手段３５により、障害物が検出された場合には、以下の緩慢煙検出手段３７による煙検出は行わない。
【００３１】
流動煙検出手段３６は、画像処理によって、流動煙の発生の有無を検出するものである。緩慢煙検出手段３７は、障害物検出手段３５で、障害物が検出されず、且つ新たな緩慢煙画像データが記憶されたとき、画像処理により緩慢煙の発生の有無を検出する。
【００３２】
Ｃ：流動煙検出手段の構成（一次判定）
流動煙検出手段３６は、図７に示すように、１０の手段から構成されている。まず、はじめに、一次判定手段となる５つの各手段、動き検出画像作成手段４２、平均輝度・分散演算手段４３、領域占有比率演算手段４４、微分値総和比率演算手段４５、一次判定手段４６について説明する。この一次判定手段４６は、各演算手段４３〜４５で演算された値と所定値とを比較して、検出領域における煙の発生を判定するものである。
【００３３】
動き検出画像作成手段４２は、流動煙画像記憶部１１に記憶された撮影画像において、フレーム間の差分処理を行って、検出領域内における動き検出画素を抽出する。そして、その動き画素だけに関する動き検出画像データを作成して、差分画像記憶部１４に記憶する。なお、フレーム間の差分処理は、時間軸において、数フレーム、例えば５〜８フレーム（１５０〜２４０ｍｓｅｃ）程度、離れたフレーム間で差分処理を行い、例えば６４枚の動き検出画像を作成する。
【００３４】
平均輝度・分散演算手段４３は、６４枚の動き検出画像データから、動きのある画素の時間方向の輝度の平均および分散を演算して求め、そして、平均輝度と分散それぞれの移動平均を求める。これらの移動平均は、基準画像の平均輝度と基準画像の分散と比較され、一次判定手段４６によって判定される。一次判定手段４６は、検出領域毎に、画像の平均輝度の移動平均が所定の範囲内にあるかを判定する。検出領域に煙が流入すれば、輝度値が変動することから、当然、平均輝度も変動する。これを移動平均として扱うことで、このようにして、平均輝度の変動がわかり、検出領域に入った物体が煙であるかの判断の目安になる。
また、一次判定手段４６は、検出領域毎に、画像の輝度の分散の移動平均から、基準画像の分散よりも減少しているか否かを判定する。この分散も平均輝度と同じように、検出領域に煙が流入すれば、その値が変動(減少）する。これを移動平均として扱うことで、分散の変動がわかり、検出領域に入った物体が煙であるかの判断の目安になる。
【００３５】
また、領域占有比率演算手段４４は、検出領域全体の画素に対する動き検出画素が占める占有比率を求める。即ち、検出領域を構成する縦６４＊横６４の矩形の画素領域において、差分処理によって、動いた画素、つまり、輝度が変化した画素がどの程度、その矩形領域内を個数的に占めているのかを演算して、その占有比率を求める。そして、占有比率は、一次判定手段４６によって、判定される。一次判定手段４６は、検出領域毎に、検出領域内にある動き検出画素が占める占有比率が所定の占有比率以上、例えば１０％以上であるか否かを判定する。ここで、占有比率が、少なくとも１０％以上であると判定されれば、その検出領域には、何らかの物体が生じたものと判断できる。
【００３６】
微分値総和比率演算手段４５は、基準画像における当該領域、つまり動きの検出された領域の空間微分値の総和と最近画像の当該領域の空間微分値の総和を求めて、基準画像の当該領域の空間微分値の総和と最近画像の当該領域の空間微分値の総和の比率を演算して求める。この比率は、一次判定手段４６によって判定される。一次判定手段４６は、検出領域毎に空間微分値の総和の比率が所定の比率以上、例えば５％以上変動しているか否かを判定する。検出領域に煙が流入すれば、空間微分値（エッジ）の量は、基準時からは、減ることから、空間微分値の比率をみることで、検出領域に入った物体が煙であるかの判断の目安になる。
【００３７】
一次判定手段４６は、動き検出画素が占める占有比率が所定の占有比率以上、且つ空間微分値の総和の比率が所定の比率以上、且つ平均輝度の移動平均が所定の比率以上変動しており、且つ分散の移動平均が所定の比率以上減少しているとき、流動煙が発生している可能性があると判別する。流動煙は、流れが見えるという特徴を有しているので、検出領域内の動き検出画素の占有比率を判定することにより動くものを検出することができる。しかし、検出されたものには移動物体全般を含むことになる。
【００３８】
基準画像の空間微分値の総和と流動煙の入り込んだ画像の空間微分値の総和との比率は、流動煙が検出領域に入り込むと、空間微分値が低下し、その総和も低下するので、比率が減少することを検出することにより流動煙を検出することができる。
この一次判定手段４６だけの判定により、検出領域内に煙があるかどうかを判定しても良いが、この一次判定手段４６は、基本的に輝度変化に基づく情報だけで判定しているので、監視領域内の照明がオンオフされるような輝度変化を、煙として誤検出する可能性がある。そこで、周波数分析などのより高度な画像処理をさらに行うことで、二次判定として煙検出の精度を高めていく。
【００３９】
Ｄ：流動煙検出手段の構成（二次判定）
流動煙検出手段３６は、二次判定用の手段として、計測線設定手段５１、周波数分析手段５２、周波数判定手段５３を有する。計測線設定手段５１は、フレーム間の差分処理を行って、動き画素のあった検出領域に対して、計測線を設定する手段である。ここで計測線の設定の仕方の一例について、図８を用いて説明する。図８（ａ）はマトリックス状に配置された複数の検出領域に動き画素が検出されたときの原画像データである。図８（ｂ）は、図８（ａ）の原画像と基準画像との差分画像データである。図８（ｃ）は、図８（ｂ）の差分画像データから設定された計測線を図示したものである。
この原画像の中央には、検出領域を構成する矩形領域が、縦方向に２つ、横方向に３つ設けてある。なお、検出領域は、この図８（ａ）では接して配置しているが、それぞれの矩形領域に隙間を設けて配置してもよい。この図８（ａ）では、左下側の検出領域の下方にある火種から煙りが発生し、右上方向に流れているのを観察することができる。ここで、図８（ｂ）において、煙で黒く示される領域は、フレーム間差分の処理によって、抽出された動きのある画素である。一番簡単な計測線は、これら動き画素を含んでいる検出領域において、矩形の中心を通る、水平線または垂直線を引いて、その線を計測線とすることである。ただ、この方法では、必ずしも、計測線上に、沢山の動き画素が含まれるというわけではない。この計測線は、以下のようにして、線上にたくさんの動き画素が含まれるように線の引き方を設定することが好ましく、この計測線は、検出対象となる煙の流れの動きを示す線となる。
【００４０】
簡易的な計測線の引き方を、この図を用いて説明する。今、動き画素を含んでいる検出領域に対して、その検出領域を縦横２つづつ計４つの矩形で分割する。この際、４つの矩形において、動き画素の個数をカウントし、動き画素をより多く含んでいる矩形２個を取り出す。そして、動き画素の多い２つの矩形（小領域）の中心同士を結ぶように直線を引き、計測線とする。例えば図８（ｂ）の検出領域Ｃにおいて、４つの矩形で動き画素の多く矩形は、右上と左下の２つであるから、これらの中心を結ぶように線を引くと、右斜め上がりの斜めの計測線が引かれることになる。結果、最終的に図８（ｃ）のように、検出領域内に計測線が設定されることになる。この計測線を引く意味は、動き画素全てを対象に周波数分析を行うと、演算量が多くなるので、検出領域内において、計測線上にある有効な画素だけを選ぶことで、画素の数を減らして、演算量を減らすことが目的である。
【００４１】
計測線の引き方は、他にも多数あり、次のような方法もある。計測線設定手段５１は、動き検出画素を含む検出領域毎に、流動煙画像記憶部１１から最新画像データと数回前の流動煙画像記憶手順において記憶された数フレーム前の画像データを読み出し、それぞれに対して２次元ＦＦＴ処理し、数フレーム前の画像データの２次元ＦＦＴ処理により得られた複素数の共役複素数を求め、最新画像データの２次元ＦＦＴ処理により得られた複素数と数フレーム前の画像データに係わる共役複素数の積を求める。さらに、計測線設定手段５１は、この積を逆ＦＦＴ処理して相互相関係数分布を示す画像を求め、その画像内の中心に位置する画素から一番輝度の大きい画素までを結ぶ線を求め、移動ベクトルとして記憶する。さらに、計測線設定手段５１は、移動ベクトルから当該検出領域に関する直近の複数回の計測線設定の際に記憶された移動ベクトルを読み出し、それらの移動ベクトルの平均のベクトルを計測線として設定するようにしてもよい。またこの際、計測線は、移動ベクトルの法線としてもよい。
【００４２】
次に、周波数分析手段５２について説明する。周波数分析手段５２は、検出領域毎に計測線上の画素に関して最新の画像データと過去に遡る複数の画像データを使用して輝度の時系列データを抽出して、周波数分析を行い、画素個分の周波数スペクトルを算出し、それらの平均の周波数スペクトルを算出する。また、周波数判定手段５３は、周波数スペクトルの強度が所定の強度以下または所定の低周波数帯の強度の積分値が高周波数帯の強度の積分値より大きいか否かを判定する。
つまり、計測線上の画素の輝度の画素毎の周波数分析を行って周波数スペクトルを求め、さらに、それらの平均スペクトルを求め、流動煙が入り込んだときの平均輝度のピークが、例えば図９に示すように、０Ｈｚを超えて２Ｈｚ以下の周波数帯に出現することを検出する。このような周波数解析を、二次判定として行うことにより、人工光源の光量の周期的変動などを検出対象から除外することができる。
【００４３】
流動煙検出手段３６は、更に、二次判定用手段として、ヒストグラム作成手段５４、平均・分散演算手段５５、二次判定手段５６を備えている。ヒストグラム作成手段５４は、検出領域毎に計測線上の画素に関して最新の画像データと過去に遡る複数の画像データとの間の解析で、動きが検出された画素の数を時系列ヒストグラムとして作成する。また、平均・分散演算手段５５は、時系列ヒストグラムから動き検出画素数の平均および分散を求める。
そして、二次判定手段５６が、画素数の平均値に対する分散（分散／平均値）が所定の閾値以下か否かを判定する。また二次判定手段５６は、周波数スペクトルの強度が所定の低周波帯の全体に対する比率が所定の比率以上、且つ画素の平均輝度および分散が所定の範囲内の場合、流動煙が発生したと判別する。
流動煙が検出領域に入ったとき計測線上の動き検出画素の出現頻度の時系列的な変動について図１０を用いて説明する。例えば、図８（ｃ）の検出領域Ｆにおいて、検出領域自体の大きさは、縦６４＊横６４であるから、ここでは、計測線の長さは６４であり、その計測線上に含まれる最大の画素数は６４となる。ここで、図８（ｂ）の差分画像の対応する検出領域Ｆを見ると、必ずしも、計測線上の全てに動き画素があるとは言えないことがわかる。
ヒストグラム作成手段５４は、この計測線上にある動き画素の個数をカウントし、例えば、図１０（ａ）に示すように、時間ｔ１の所に、その個数を縦軸方向にプロットする。このようにして、横軸方向の別の時間ｔ２，ｔ３・・における個数もプロットしていき、ヒストグラムを完成させる。このようなヒストグラムを完成させた場合、検出領域で検出されたものが煙である場合、動き画素の出現頻度の時系列的な変動は大きな値をとることはない。これに対して、図１０（ｂ）に示すような出現頻度の時系列的な変動が大きい挙動を示す場合には、検出されたものは、目まぐるしく変化する回転灯などと考えられ、このような人工光源の周期的光量変動を検出対象から分離することができる。
【００４４】
Ｅ：緩慢煙検出手段の構成
緩慢煙検出手段３７は、図１１に示すように、輝度平均分散演算手段６１、判定手段６２を備えている。緩慢煙の特徴は、煙の濃度が薄く、煙の動きを捉えることができにくいことである。
輝度平均分散演算手段６１は、緩慢煙の画像を取り込む周期（３秒）毎に、検出領域毎に、検出領域全体の平均輝度および分散を演算して求める。この演算された平均輝度及び分散は、判定手段６２によって判定される。つまり、判定手段６２は、検出領域毎に、平均輝度と基準平均輝度の比が所定の範囲内にあるか否かを判定する。また、検出領域毎に、分散が基準画像の分散に対して所定の範囲の割合内にあるか否かを判定する。
【００４５】
また、緩慢煙検出手段３７は、平均輝度周波数分析手段６４を備えている。平均輝度周波数分析手段６４は、緩慢煙の画像を取り込む周期毎に、検出領域毎に、当該検出領域の最新の画像データの平均輝度と、先だって所定の複数、流動煙画像記憶部１１に記憶された、例えば６３個の画像データの平均輝度を算出し、６４個の平均輝度を周波数分析して平均輝度周波数スペクトルを作成する。そして、判定手段６２は、平均輝度周波数スペクトルの強度が所定の強度以下か否かを判断する。また、判定手段６２は、平均輝度周波数スペクトルを複数の周波数帯に分け、低周波数帯の強度の積分値ほど大きいか否かを判定する。
検出領域の輝度の平均の時系列データに関する周波数スペクトルは、緩慢煙の緩慢な動きに伴い図１２（ａ）に示すように強度が所定の閾値以下であったり、周波数に関して２つの周波数（２Ｈｚ、８Ｈｚ）を用いて、低、中、高の３つの周波数帯に分けた場合、図１２（ｂ）に示すように、周波数の小さな低周波数帯ほど強度の積分値が大きくなる。これに対し人工光源では、中又は高の周波数帯が大きく、この周波数の特性を検出することにより、人工光源の周期的な変動と緩慢煙とを識別することができる。
【００４６】
また、緩慢煙検出手段３７は、透過率演算手段６７と、収束輝度値演算手段６８を備えている。透過率演算手段６７は、緩慢煙の画像を取り込む周期毎に、検出領域毎に、透過率を式（１）に従って演算する。また、収束輝度値演算手段６８は、緩慢煙の画像を取り込む周期毎に、検出領域毎に、収束輝度値を式（２）に従って演算する。そして判定手段６２は、演算された透過率が所定値以下であるか否かを判定する。また判定手段６２は、演算された収束輝度値が所定の閾値以上であるか否かを判定する。
透過率＝（最新画像の最大輝度値−最新画像の最小輝度値）／（基準画像の最大輝度値−基準画像の最小輝度値）・・・（１）
収束輝度値＝｛最新画像の最大輝度値−（基準画像の最大輝度値×透過率）／（基準画像の最大輝度値−基準画像の最小輝度値）・・・（２）
【００４７】
式（１）で表される透過率は、緩慢煙が検出領域に入ると、小さくなる。これは、緩慢煙が入ったときの最大輝度と最小輝度の差が緩慢煙が入る前の最大輝度と最小輝度の差より小さくなるからである。しかし、透過率の減少は照明が暗くなったときにも起こる場合がある。
式（２）で表される収束輝度値は、極めて黒い黒煙以外の緩慢煙が検出領域に入ると、緩慢煙が入る前の収束輝度に対して増減するが、所定の閾値以下には減少しない。一方、照明が暗くなったときには、所定の閾値以下に減少する。この特性を利用すると白色に近い緩慢煙と照明が暗くなったことを、識別することができる。
【００４８】
緩慢煙検出手段３７の判定手段６２において、平均輝度と基準画像の平均輝度の比が所定の範囲内にあり、且つ分散が基準画像の分散に対して所定の範囲の割合内にあり、且つ平均輝度周波数スペクトルの強度が所定の強度以下または低周波帯の強度の積分値が大きい場合に緩慢煙の発生の可能性が高いとして判別する、
または、平均輝度周波数スペクトルの強度が所定の強度以下または低周波帯の強度の積分値ほど大きい、且つ透過率が所定の閾値以下且つ収束輝度値が所定の閾値以上の場合に、緩慢煙の発生の可能性が高いとして判別する。
ここで、警告判定手段７２は、平均輝度周波数スペクトルの強度が所定の強度以下または低周波帯の強度の積分値ほど大きい、且つ透過率が所定の範囲以内且つ収束輝度値が所定の閾値未満の場合に、警告を発する。警告を発するのは、収束輝度値が所定値未満であることから、煙として、黒煙の可能性があるためである。
【００４９】
以上説明したように、本実施の形態では、煙の流れの早い流動煙と、煙の流れが遅い緩慢煙とについて別々に判別し、そして、それぞれ複数の煙検出用の演算手段を備えた。特に、緩慢煙の煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、流動煙の煙検出判定要素は、周波数スペクトル、平均輝度の移動平均値、平均輝度の移動分散、動き検出画素の占有比率、空間微分値総和の比率、ヒストグラムの分散／平均値からなる。
これら演算手段は、全てを使用して、全ての演算手段が判定手段の条件を満足したときに、検出領域内に煙が発生したものと判別することが、一番、精度良く煙検出が可能となる。しかし、これら、演算手段は、適宜２つ以上、組み合わせて使用するだけもで、単一の演算処理に比べ、十分に煙検出の精度を高めることができ、人工光源の光量の変化や移動物体などを誤って煙と認識することを防止できる。
【００５０】
再び、図６に戻って、火災判別手段２４は、流動煙検出手段３６により流動煙の発生と判別された検出領域の数と緩慢煙検出手段３７により緩慢煙の発生と判別された検出領域の数を、検出数記憶部１９に記憶している。そして、火災判別手段２４は、検出数記憶部１９から過去の検出領域の数を時系列データとして読み出し、一定期間の検出数が所定の上限値以上を所定の回数連続し、画像内において、煙有りと判定された検出領域の密度が所定値以上になったとき、火災と判別する。
【００５１】
次に、火災検出装置で行われる火災検出手順について図１３から図２１を参照して説明する。火災検出手順が始まると、図１３に示すように、基準画像更新手順（Ｓ１０１）が実行され、次に画像記憶手順（Ｓ１０２）、煙検出手順（Ｓ１０３）、火災判別手順（Ｓ１０４）が順次実行されて１回の火災検出手順が終わり、火災検出手順が繰り返し実行される。
まず、基準画像更新手順について図１４に示すフローチャートを参照して説明する。
基準画像更新手順を開始すると、ステップＳ２０１で、基準画像更新時期が到来したか否かを判断し、到来していないとき基準画像更新手順を終了し、到来しているときステップＳ２０２に進む。
ステップＳ２０２では、流動煙画像記憶部１１から最新の画像データを読み出し、画像相関を計算し侵入物がないことを確認した後、その最新の画像データを基準画像データとして基準画像記憶部１３に記憶されている基準画像データを書き換える。
なお、一番始めに、検出領域を設定するときだけは、このステップＳ２０２の後に、基準画像記憶部１２から基準画像データを読み出し、その基準画像データを空間微分処理して画素毎の空間微分値を求める。
ステップＳ２０３で、設定された検出領域の基準最大輝度、基準最小輝度、基準平均輝度および基準分散を求め、基準データ記憶部１５に記憶して基準画像更新手順を終了する。
【００５２】
次に、画像記憶手順について図１５のフローチャートを参照して説明する。
画像記憶手順を開始すると、ステップＳ３０１で、カメラ２から画像データが入力されたか否かを判断し、入力されていないときステップＳ３０１を繰り返し、入力されているときステップＳ３０２に進む。
ステップＳ３０２で、入力されている画像データを最新画像データとし、最新画像データを逆ガンマ補正することにより輝度補正する。
ステップＳ３０３で、緩慢煙画像取込時期が到来しているか否かを判断し、到来しているときステップＳ３０４に進み、到来していないときステップＳ３０６に進む。
ステップＳ３０４で、輝度補正された最新画像データを緩慢煙画像記憶部１２にＦＩＦＯで記憶する（この手順を緩慢煙画像記憶手順と称する）。
ステップＳ３０５で、緩慢煙フラグに１を設定する。
ステップＳ３０６で、輝度補正された最新画像データを流動煙画像記憶部１１にＦＩＦＯで記憶して画像記憶手順を終了する（この手順を流動煙画像記憶手順と称する）。
【００５３】
次に、煙検出手順について図１６のフローチャートを参照して説明する。
煙検出手順を開始すると、判定の結果を残す各種フラグ類の設定を０にする。
ステップＳ４０１で、検出領域記憶部１６に記憶されている検出領域の情報に基づいて、まだ煙検出の処理を行っていない検出領域を１つ指定する。
ステップＳ４０２で、基準画像記憶部１３から基準画像データを読み出し、流動煙画像記憶部１１から最新画像データと、画素毎に、基準画像データと、その最新画像データの差分処理を行い、差分が所定の閾値以上の画素を求める。
ステップＳ４０３で、差分が所定の閾値以上の画素に対して縮退膨張処理を行ってノイズを除去して動き検出画素を確定し、差分画像データとして差分画像記憶部１４に記憶する（この手順を差分画像記憶手順と称する）。ここで行われるノイズ処理は、差分処理によって生じた小さな画素のかたまりを排除し、ある程度、画素同士が連結した領域だけを差分画像に残すものである。
【００５４】
ステップＳ４０４で、流動煙検出手順を実行してステップＳ４０５に進む。
ステップＳ４０５で、緩慢煙フラグに１が設定されているか否かを判断する。緩慢煙フラグに１が設定されているときステップＳ４０６に進み、緩慢煙フラグに０が設定されているときステップＳ４０８に進む。
ステップＳ４０６で、障害物検出手段により障害物の検出を行い、画像内に、障害物が検出されない場合にのみ、ステップＳ４０７に進み、それ以外は、ステップＳ４０８に進む。
ステップＳ４０７で、緩慢煙検出手順を実行してステップＳ４０８に進む。
ステップＳ４０８で、全ての検出領域が指定されたか否かを判断し、指定されていないときステップＳ４０１に戻り、指定されているときステップＳ４０９に進む。つまり、画像には、煙を検出すべき検出領域が複数設定されているので、これら検出領域に対して、一つづづ順次、煙検出手順による煙検出を行うようにしてある。そして、複数個の検出領域に対して、全て煙検出の手順が行われたら、ステップＳ４０９で、緩慢煙フラグに０を設定して煙検出手順を終了する。
【００５５】
次に、流動煙検出手順を図１７、図１８のフローチャートを参照して説明する。
流動煙検出手順を開始すると、ステップＳ５０１で、流動煙画像記憶部１１から検出領域の最新画像データおよび直近の複数回の流動煙画像記憶手順の度に記憶された画像データを読み出し、動き検出画素に対応する最新画像データおよび直近の複数回の流動煙画像記憶手順で記憶された画像データの輝度の平均および分散を算出する。
ステップＳ５０２で、輝度の平均および分散から、平均輝度の移動平均と分散の移動平均を算出する。
ステップＳ５０３で、差分画像記憶部１４から検出領域の差分画像データを読み出し、動き検出画素が検出領域全体の画素に占める占有比率を算出する。
ステップＳ５０４で、基準画像記憶部１３から検出領域の基準画像データと流動煙画像記憶部１１から最新画像データを読み出し、それぞれを空間微分処理して空間微分値を求め、検出領域全体の空間微分値の総和をそれぞれ求め、その総和の比率を算出する。
【００５６】
ステップＳ５０５で、動き検出画素が占める占有比率が所定の比率以上のとき占有フラグに１を設定する。
ステップＳ５０６で、空間微分値の総和の比率が所定の閾値以上に変動しているとき微分値フラグに１を設定する。
ステップＳ５０７で、平均輝度の移動平均が基準画像の平均輝度に対して所定の割合の範囲で変動しているとき平均フラグに１を設定する。
ステップＳ５０８で、分散の移動平均が基準画像の分散に対して所定の割合の範囲内で減少しているとき分散フラグに１を設定する。
ステップＳ５０９で、占有フラグ、微分値フラグ、平均フラグ、分散フラグの全てに１が設定されているか否かを判断し、全てに１が設定されているときステップＳ５１０に進み、少なくとも１つに０が設定されているとき流動煙検出手順を終了する。
【００５７】
ステップＳ５１０で、検出領域の計測線を設定する。
ステップＳ５１１で、流動煙画像記憶部１１から検出領域の最新画像データおよび検出領域の直近の複数回の流動煙画像記憶手順の度に記憶された画像データを読み出し、計測線上の画素毎に輝度に関して周波数分析して周波数スペクトルを算出し、全ての画素に対する周波数スペクトルの平均を算出する。
ステップＳ５１２で、周波数スペクトルから不要な部分のスペクトルを除外して周波数スペクトルを修正する。
ステップＳ５１３で、所定の周波数以下の周波数帯の強度の積分値がその周波数を超える周波数帯の強度の積分値を超えるか否かを判断し、所定の周波数以下の周波数帯の強度の積分値がその周波数を超える周波数帯の強度の積分値を超えるときステップＳ５１４に進み、それ以外のときには流動煙検出手順を終了する。ここでは、単に、低周波と高周波の比を見るよりも、詳細に、周波数帯を３分割にして、それぞれの帯域に積分値を見るようにしてもよい。
【００５８】
ステップＳ５１４で、差分画像記憶部１４から検出領域の最新画像の差分画像データおよび検出領域の直近の複数回の差分画像記憶手順の度に記憶された差分画像データを読み出し、各差分画像データの計測線上の動き検出画素の数を度数とするヒストグラムを作成する。
ステップＳ５１５で、ヒストグラムの度数の平均値と度数の分散を算出し、その比率（分散／平均値）を演算して、ヒストグラム記憶部１７に記憶する。
ステップＳ５１６で、度数平均と度数分散の比率が所定の範囲内にあるか否かを判断し、その比率が所定の範囲内にあるときステップＳ５１７に進み、それ以外のときは、流動煙検出手順を終了する。
ステップＳ５１７では、その検出領域には、流動煙が発生していると判別して、流動煙検出レジスタをインクリメントして流動煙検出手順を終了する。
【００５９】
次に、緩慢煙検出手順について図１９、図２０のフローチャートを参照して説明する。ステップＳ６０１で、緩慢煙画像記憶部１２から最新画像データを読み出し、輝度の平均および分散を算出し、輝度平均分散記憶部１８に記憶する。
ステップＳ６０２で、輝度平均分散記憶部１８から最近のデータを含み直近の複数回の緩慢煙検出手順の度に記憶された輝度の平均および分散を読み出し、平均輝度の移動平均および分散の移動平均を算出する。
ステップＳ６０３で、平均輝度の移動平均が、基準画像の平均輝度に対して所定の範囲内で変動しているとき平均フラグに１を設定する。
ステップＳ６０４で、分散の移動平均が、基準画像の分散に対して所定の範囲内で減少しているとき分散フラグに１を設定する。
【００６０】
ステップＳ６０５で、流動煙画像記憶部１１から検出領域の最新画像データを含み直近の複数回の流動煙記憶手順の度に記憶された画像データを読み出し、それぞれの輝度の平均を算出し、平均輝度に関する時系列データの周波数分析をして周波数スペクトルを生成する。
ステップＳ６０６で、周波数スペクトルから不要な部分のスペクトルを除外して周波数スペクトルを修正する。
ステップＳ６０７で、周波数スペクトルを２つの周波数２Ｈｚと周波数８Ｈｚにより３つの周波数帯のスペクトルに分割し、各周波数帯の強度を積分した値が低周波数帯ほど大きいとき、周波数フラグに１を設定する。
【００６１】
ステップＳ６０８で、検出領域において、最新画像データから最大輝度値および、最小輝度値を求め、基準データ記憶部１５から基準画像の最大輝度値および基準画像の最小輝度値を読み出し、透過率を式（１）に従って演算する。また、収束輝度値を式（２）に従って演算する。
ステップＳ６０９で、透過率が所定値以下であるとき透過率フラグに１を設定する。
ステップＳ６１０で、収束輝度値が所定の閾値以上であるとき収束輝度フラグに１を設定する。
ステップＳ６１１で、平均フラグ、分散フラグおよび周波数フラグに１が設定されているか、または周波数フラグ、透過率フラグおよび収束輝度フラグに１が設定されているか判断し、平均フラグ、分散フラグおよび周波数フラグに１が設定されている、または周波数フラグ、透過率フラグおよび収束輝度フラグに１が設定されている場合ステップＳ６１２に進み、それ以外の場合ステップＳ６１３に進む。
ステップＳ６１２で、緩慢煙の発生の可能性があるとして緩慢煙検出レジスタをインクリメントして緩慢煙検出手順を終了する。
ステップＳ６１３で、周波数フラグおよび透過率フラグに１が設定されているか否かを判断し、周波数フラグおよび透過率フラグに１が設定されている場合、ステップＳ６１４に進み、それ以外の場合、緩慢煙検出手順を終了する。
ステップＳ６１４で、警告信号を発して、黒煙の発生の可能性があることを警報して、緩慢煙検出手順を終了する。
【００６２】
次に、火災判別手順について図２１のフローチャートを参照して説明する。
火災判別手順が開始されると、ステップＳ７０１で、流動煙検出レジスタに、設定された数（流動煙ありと判断された検出領域の数）および緩慢煙検出レジスタに設定された数（緩慢煙ありと判断された検出領域の数）を読み出し、それぞれを流動煙検出数と緩慢煙検出数として検出数記憶部１９に記憶する。
ステップＳ７０２で、最新の流動煙検出数または最新の緩慢煙検出数が所定の閾値（個数）以上であるか否かを判断し、少なくとも一方が所定の閾値以上のときステップＳ７０３に進み、両方が所定の閾値未満のとき火災判別手順を終了する。
ステップＳ７０３で、検出数記憶部１９に直近の複数回の火災判別手順の度に記憶された流動煙検出数および緩慢煙検出数を読み出す。
ステップＳ７０４で、所定の閾値以上の最新の流動煙検出数または最新の緩慢煙検出数に関する直近の所定の回数の火災判別手順で記憶された値が連続して所定の閾値以上であるか否かを判断し、連続して所定の閾値以上であるときステップＳ７０５に進み、それ以外のとき火災判別手順を終了する。
このように火災か否かの判別は、ある時点における、煙ありと判別された検出領域の数が所定値以上であって、空間的に見て、煙があると判別でき、更に、煙ありと判別された検出領域の数が、連続する時間において、所定回数以上あって、時間的に見ても、煙があると判別できる時、つまり所定期間内における煙ありの検出領域の数が高いときに、火災発生と判別する。
ステップＳ７０５で、火災が発生したと判別して警報を発して火災判別手順を終了する。
【００６３】
以上の図２１のフローチャートにおいては、煙を検出した検出領域の個数が、連続して閾値以上の場合であって、かつ、そのような状態が所定回数、連続したときに、画像内に煙があって火災と判別するようにしたが、火災判別の仕方については、次のように行ってもよい。この火災判別の仕方は、特に連続性を条件としないものであり、時空間での密度を判別条件とするものである。
図２２において、画像内には、複数、ここでは、便宜上、Ａ〜Ｉまでの９つの検出領域が複数設定されているものとする。この図においては、時間ｔ０〜ｔ５において、カメラで撮影される室内に煙が充満していく様子を示している。
煙検出装置における火災判別の閾値は、例えば、６／９と設定されている。この「９」は検出領域の数を示し、「６」は、その検出領域のうち、煙検出手段において煙が検出され、煙有りと判断された検出領域の数を表す。
【００６４】
今、時間ｔ２において、検出領域Ｅのみが煙ありと判別されている。ここで、火災判別するにあたって、３フレーム分の煙有りと判別された検出領域の個数の合計値を利用する。つまり、ｔ０〜ｔ２の３フレーム分の煙有りの検出領域の合計値であるから、「２」となる。この「２」は、閾値の６より小さいので、火災と判別されない。
順次、同じように計算すると、ｔ３では「５」、ｔ４では「５」、ｔ６では「６」（＝３＋１＋２）となる。即ち、このような煙の発生の場合には、ｔ６において、火災が判別されることになる。
この火災判別の方法は、ある時間での煙有りの検出領域の個数、そして所定時間内における煙有りの検出領域の個数を考慮していることになり、言い換えれば、画像内における煙有りの検出領域の密度（時間的空間的密度）が、所定値を越えた時に、煙の発生をとらえるものである。煙の場合、常に、その大きさ（領域）は変動しているので、例えば、時間ｔ１で検出領域Ｈで煙有りと判断されても、時間ｔ２では、煙が検出領域Ｅに移動して、検出領域Ｈからなくなるということがある。また、煙は、時間が経過すれば、必ず、空間的に広がって、検出される領域の個数は増加する傾向にあるから、このような判別方法は、煙検出にあたって、有効な判別の仕方と考えられる。
【００６５】
なお、この時間的空間的密度の観点で、判別する手法は、この最後の火災判別だけでなく、煙検出手段で使用される各ステップ、例えば、透過率や平均値と閾値との判断に使用するようにしてもよい。例えば、単に透過率が所定値より下回った時に、フラグを設定するのではなく、複数個、例えば４回分の検出データにおいて、３回以上、所定値以下を検出したとき、即ち、継続した減少が見られる場合に、はじめてフラグを設定するようにしてもよい。
【００６６】
実施の形態２．
この発明の実施の形態２に係わる火災検出装置は、実施の形態１に係わる火災検出装置と検出領域設定手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。実施の形態２に係わる検出領域設定手段は、更新した基準画像データを領域で全画像に亘り走査して、各領域のコントラストを算出し、コントラストの最も大きな領域を第１の検出領域と設定し、さらに第１の検出領域に重ならずにコントラストの大きな領域を第２の検出領域と設定し、これを所定の数の検出領域が設定するまで繰り返す。
【００６７】
画像データには、輝度の変化の小さいコントラストの小さい領域と輝度の変化の大きなコントラストの大きな領域が含まれている。しかし、煙が発生したときは、コントラストが小さくなるように変化する傾向があるので、輝度の変化の小さいコントラストの小さい領域より輝度の変化の大きいコントラストの大きい領域を検出領域とすることが、煙の検出が行いやすく効果的である。
【００６８】
実施の形態３．
この発明の実施の形態３に係わる火災検出装置は、実施の形態１に係わる火災検出装置と微分値総和比率演算手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。実施の形態３に係わる微分値総和比率演算手段は、基準画像の当該検出領域の空間微分値と最近画像の当該検出領域の空間微分値との比を画素毎に求め、その比を検出領域全体に亘って積分して当該検出領域に対する空間微分値の総和の比率を求める。
【００６９】
実施の形態４．
この発明の実施の形態４に係わる火災検出装置は、実施の形態１に係わる火災検出装置と計測線設定手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。実施の形態４に係わる計測線設定手段は、検出領域毎に動き検出画素を重み１、動きが検出されない画素を重み０として領域の重心を求め、同様に隣接する領域の重心を求め、重心間を結ぶ直線に一番近い領域の中心を通る水平、垂直または対角方向の線分を計測線として設定する。
【００７０】
実施の形態５．
この発明の実施の形態５に係わる火災検出装置は、実施の形態１に係わる火災検出装置と火災判別手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。
実施の形態５に係わる火災判別手段は、流動煙検出手段３６により流動煙の発生と判別された検出領域の数と緩慢煙検出手段３７により緩慢煙の発生と判別された検出領域の数を検出数記憶部１９に記憶し、検出数記憶部１９から過去の検出領域に関する検出数を時系列データとして読み出し、検出数に関する回帰直線を求め、回帰直線の傾きが所定の傾きを超えて大きいとき火災と判別する。
【００７１】
なお、上述の実施の形態においては、煙検出装置は、火災時に発生する煙を検出するものとして説明したが、煙は、例えば煙突や配管やプラント機器又は電子機器などから発生する煙を検出するようにしてもよい。
【符号の説明】
【００７２】
２ カメラ、３ 煙検出装置、４ 中央演算装置（ＣＰＵ）、５ ＲＯＭ、６ ＲＡＭ、７ 内蔵タイマ、８ 入出力インターフェース（Ｉ／Ｏ）、９ フレームグラバー、１０ 外部記憶装置、１１ 流動煙画像記憶部、１２ 緩慢煙画像記憶部、１３ 基準画像記憶部、１４ 差分画像記憶部、１５ 基準データ記憶部、１６ 検出領域記憶部、１７ ヒストグラム記憶部、１８ 輝度平均分散記憶部、１９ 検出数記憶部、２１ 検出準備手段、２２ 画像記憶手段、２３ 煙検出手段、２４ 火災判別手段、２６ 基準画像更新手段、２７ 検出領域設定手段、２８ 基準データ演算手段、３１ 輝度補正手段、３２ 流動煙画像記憶手段、３３ 緩慢煙画像記憶手段、３５ 動き検出手段、３６ 流動煙検出手段、３７ 緩慢煙検出手段、４２ 動き検出画像作成手段、４３ 平均輝度・分散演算手段、４４ 領域占有比率演算手段、４５ 微分値総和比率演算手段、４６ 一次判定手段、５１ 計測線設定手段、５２ 周波数分析手段、５３ 周波数判定手段、５４ ヒストグラム作成手段、５５ 平均・分散演算手段、５６ 画素変動判定手段、６１ 輝度平均分散演算手段、６２ 判定手段、６４ 平均輝度周波数分析手段、６７ 透過率演算手段、６８ 収束輝度値演算手段、７２ 警告判定手段。
【技術分野】
【０００１】
この発明は、監視カメラが撮像する画像を画像処理することにより煙の発生を検出する煙検出装置に関する。
【背景技術】
【０００２】
従来、低輝度の固定した発煙源があること、発煙源上方に低輝度の面積変化がありその重心がゆらめいていること、及び発煙源上方の低輝度の面積が時間とともに成長していることを条件として、可視カメラからの可視画像の差分画像で形、面積の変化があり発生場所に同一性がある場合、発煙として検出する装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２４５７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
火災時に発生する煙において、火種となる火災源から生じる煙は、非常に短時間でたくさん生成され、動き（流れ）が大きく早い（以下、このような煙を流動煙という）。一方、火災源から離れた場所において、徐々に煙が拡散して広がる場合もあり、この場合の煙（以下、緩慢煙という）は、動きが非常に遅く時間単位における変化が乏しい。
【０００５】
また、火災によって生じる煙には、油火災の場合は、色が黒色の黒煙であるのに対し、木材や紙が火種となる普通火災では、色が白色の白煙である。このように、煙といっても、その発生要因や場所によって、色や動きは異なり、一つの検出プログラムからでは、効率よく煙を検出することは難しいという問題がある。また、単純な差分処理や、輝度の低下による減光率だけでは、照明の変化や、人体などの障害物も検出してしまい煙と区別して検出することができないという問題がある。
【０００６】
この発明の目的は、煙の特性を考慮して、２つ以上の検出手法を備えることで、煙検出の精度を高めることを目的とする煙検出装置を提供することである。
【課題を解決するための手段】
【０００７】
この発明に係わる煙検出装置は、カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、前記煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、前記演算手段は、前記検出領域の透過率を演算する透過率演算手段；前記検出領域の収束輝度値を演算する収束輝度値演算手段；前記検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；前記検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；のいずれか２つ以上を備えていることを特徴とするものである。
また、この発明に係わる煙検出装置は、カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、前記演算手段は、動きが早い流動煙を検出する流動煙検出手段と、動きが遅い緩慢煙を検出する緩慢煙検出手段とを備え、前記流動煙と前記緩慢煙を別々に判別することを特徴とするものである。
【発明の効果】
【０００８】
この発明に係わる煙検出装置は、煙を検出するにあたって、検出領域内における、煙検出要素としての透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散を演算して、それらの演算値を少なくとも２つ以上使用して、検出領域内に煙があるかどうかを検出するので、煙検出の精度を高めることができる。また、煙に似た挙動を示す人工光源や移動物を、誤って煙と認識することを防止できる。
また、演算手段は、動きが早い流動煙を検出する流動煙検出手段と、動きが遅い緩慢煙を検出する緩慢煙検出手段とを備えているので、煙が早く動く場合も、煙の動きが遅い場合も、煙を検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】この発明における煙検出の原理を説明する図である。
【図２】この発明における煙検出の原理を説明する図である。
【図３】この発明における煙検出の原理を説明する図である。
【図４】この発明の実施の形態１に係わる火災検出装置の構成図である。
【図５】実施の形態１に係わる煙検出装置に確保される各種記憶部である。
【図６】実施の形態１に係わる煙検出装置の機能ブロック図である。
【図７】実施の形態１に係わる流動煙検出手段の機能ブロック図である。
【図８】実施の形態１に係わる計測線の説明図である。
【図９】動き検出画素を含む検出領域の計測線上の画素の輝度に関する周波数スペクトルを示すグラフである。
【図１０】動き検出画素を含む検出領域の計測線上に動き検出画素が出現する頻度の経時変化を示すグラフである。
【図１１】実施の形態１に係わる緩慢煙検出手段の機能ブロック図である。
【図１２】緩慢煙が入った検出領域の輝度平均の時系列データを周波数分析して得られた周波数スペクトルのグラフである。
【図１３】実施の形態１に係わる火災検出手順を示すフローチャートである。
【図１４】実施の形態１に係わる基準画像更新手順を示すフローチャートである。
【図１５】実施の形態１に係わる画像記憶手順を示すフローチャートである。
【図１６】実施の形態１に係わる煙検出手順を示すフローチャートである。
【図１７】実施の形態１に係わる流動煙検出手順の前半を示すフローチャートである。
【図１８】実施の形態１に係わる流動煙検出手順の後半を示すフローチャートである。
【図１９】実施の形態１に係わる緩慢煙検出手順の前半を示すフローチャートである。
【図２０】実施の形態１に係わる緩慢煙検出手順の後半を示すフローチャートである。
【図２１】実施の形態１に係わる火災判別手順を示すフローチャートである。
【図２２】実施の形態１に係わる火災判別の仕方を説明する図面である。
【発明を実施するための最良の形態】
【００１０】
Ａ：煙検出の原理について
まず、本実施の形態の煙検出装置を説明するまえに、どのような原理に基づいて画像から煙を検出するかについて図１〜図３を用いて説明する。図１において、図１（ａ）、図１（ｂ）は、監視カメラで撮影した原画像を示し、図１（ａ）は煙のない状態、図１（ｂ）は、検出領域に煙が入った状態を示している。また、図２（ａ）、図２（ｂ）は、横軸が輝度、縦軸が画素数で示される検出領域内における輝度分布を示しており、それぞれ、図１（ａ）、図１（ｂ）に対応した図面となっている。また、図３において、図３（ａ）、図３（ｂ）は、検出領域Ｗ１の微分処理の結果を示しており、それぞれ図１（ａ）、図１（ｂ）に対応した図面となっている。
【００１１】
ここで検出領域とは、図１（ａ）、図１（ｂ）で示した監視領域である室内において、窓ガラスの周辺を矩形で囲んだ領域Ｗ１をさし、室内において、煙の発生を監視する領域（エリア）である。図２（ａ）において、室内に煙がない状態においては、輝度は高い値から低い値まで、広い範囲にわたって、その画素が分布していることがわかる。各画素の輝度値を足し算して、全画素数で割った値である輝度値の平均（平均輝度値）を求めると、当然、その平均値からのずれである分散は大きな値を示すことになる。
【００１２】
これに対して、図１（ｂ）の検出領域内に煙が入ると、その領域は、視界がぼやけた感じになってくる。このことを図２（ｂ）の輝度の分布図でみると、煙のない状態に比べ、輝度のとりうる範囲は、狭くなってくる。ここでも同様に、輝度の平均値を求め、分散を演算すると、平均値とのずれ（分散）は小さくなることがわかる。このような煙の流入に伴い、輝度の分布範囲が狭くなることは、黒煙、白煙どちらの場合でも言えることであるが、黒煙の場合は、輝度値が低下する方向にシフトし、白煙の場合は、輝度値が上昇する方向にシフトする。また、検出領域が完全に、煙で充満された状態になれば、輝度の分布範囲は、更に狭くなり、ほぼ特定の輝度値に収束するものと考えられる。
【００１３】
また、窓ガラスを含んだ検出領域Ｗ１は、外の明るい部分と、室内の暗い部分は、輝度の差が大きく、微分処理（エッジ処理）を行うと、窓ガラス部分の輪郭に対応した、大きなエッジができる（図３（ａ）参照）。しかし、煙の入った状態において、微分処理を行っても、煙のない通常状態に比べ、輝度の差は大きくなく、エッジはあまりでない（図３（ｂ）参照）。つまり、煙が発生する場合には、エッジ量が低下するものと考えられる。
更に、煙のゆらぎは、小さく、周波数分析を行うと、低周波帯域が高周波帯域よりも大きくなることが確認された。
【００１４】
このような観点に基づき、本出願の発明者は、煙が発生すると、
（１）視界がぼやけ透過率又はコントラストが低下すること、
（２）輝度値がある値に収束すること、
（３）輝度分布の範囲が狭まり輝度の分散が小さくなること、
（４）輝度の平均値が、通常の煙のない状態から変化すること、
（５）検出領域において、エッジの総和量が低下すること、
（６）低周波帯域の強度が高周波帯域の強度よりも大きいこと、
を導きだした。これらを総合的に判断して煙の検出を可能なものとした。
【００１５】
Ｂ：本発明の基本構成
実施の形態１．
図４は、この発明の実施の形態１に係わる火災検出装置の構成図である。この発明の実施の形態１に係わる火災検出装置は、図４に示すように、火災発生監視範囲を例えば１秒間に３０枚の割合で撮影してフレーム毎の画像データを出力するカメラ２および画像データを処理して煙の発生を検出しそれに基づいて警報を発する煙検出装置３を備える。このカメラ２は、例えばＣＣＤカメラまたはＣＭＯＳカメラから構成される。
【００１６】
煙検出装置３は、中央演算装置（ＣＰＵ）４、ＲＯＭ５、ＲＡＭ６、内蔵タイマ７、入出力インターフェース（Ｉ／Ｏ）８からなり、フレームグラバー９と外部記憶装置１０とが内蔵されているコンピュータから構成されている。
フレームグラバー９は、カメラ２が出力した、ＮＴＳＣ方式の映像信号から、画像データを取得する。画像データは、例えば１ライン６４０画素、１フレーム４８０ラインからなり、画素は、２５６階調の輝度で表される。ＲＯＭ５には、ＣＰＵ４で行う処理演算の手順がプログラムとして記憶されており、ＣＰＵ４はプログラムを読み出し、それに基づいて処理演算の手順を進める。
【００１７】
図５は、この発明の実施の形態１に係わる煙検出装置３に確保されている各種記憶部である。煙検出装置３には、図５に示すように、流動煙画像に関する輝度データ（以下、流動煙画像データと称す）を記憶する流動煙画像記憶部１１、緩慢煙画像に関する輝度データ（以下、緩慢煙画像データと称す）を記憶する緩慢煙画像記憶部１２、基準画像に関する輝度データ（以下、基準画像データと称す）を記憶する基準画像記憶部１３、差分画像に関する輝度データ（以下、差分画像データと称す）を記憶する差分画像記憶部１４、基準画像の各検出領域に関する基準最大輝度、基準最小輝度、基準平均輝度および基準分散（以下、基準データと称す）を記憶する基準データ記憶部１５、検出領域に関する情報を記憶する検出領域記憶部１６、ヒストグラムの出現頻度の平均と分散を記憶するヒストグラム記憶部１７、時系列的に検出領域の輝度の平均と分散を記憶する輝度平均分散記憶部１８、火災検出手順の度に検出数を記憶する検出数記憶部１９が記憶領域として設定されている。
【００１８】
煙検出装置３の大まかな構成は、図６に示すように、基準画像データを更新し検出領域を設定する検出準備手段２１、カメラ２から出力される画像データを流動煙画像記憶部１１と緩慢煙画像記憶部１２に記憶する画像記憶手段２２、緩慢煙または流動煙を検出する煙検出手段２３、緩慢煙または流動煙を検出したとき火災判別を行う火災判別手段２４とから構成されている。
【００１９】
ここで、まず、本実施の形態の画像処理方法について詳細に説明する前に、画像処理を行う前段階について説明する。この前段階に行う処理について、検出準備手段２１が行う処理について説明する。検出準備手段２１は、基準画像更新手段２６、検出領域設定手段２７を備えている。
煙検出装置３において、検出領域から異常発生領域となる煙発生領域を抽出する手段としては、画像間の差分処理を基本としている。特に、火源から近い場所で発生した、動きが早く面積変化も大きい流動煙の検出にあっては、フレーム間の差分処理を行う。
【００２０】
基準画像は、例えば図１（ａ）のように、普段、何も異常が発生していない状態において撮影された画像であり、基準画像記憶部１３に記憶されている。この基準画像は、常に、その画像を記憶しておくものではなく、公知技術の手段を用いて、逐次、更新されて、日照とかの細かな影響を排除するものである。
基準画像更新手段２６は、少し説明すれば、タイマ７の時刻に基づいて、基準画像は定期的に更新する。所定時間が経過して、基準画像の更新時期が到来すると、流動煙画像記憶部１１から最新画像データを読み出し基準画像データを更新するが、この際、元の基準画像と更新しようとする基準画像との相関をとって、変化がほとんどない場合にのみ、基準画像を更新するようにする。
【００２１】
次に、検出領域設定手段２７について説明する。検出領域設定手段２７は、検出処理を開始する前に実行され、基準画像や最新の撮影画像において、画像のどの部分の領域を、検出領域として設定するかを決めるものである。画像全体を監視しようとすると、画像処理の演算量が膨大となって大変である。そこで本実施の形態では、画像において、複数の小領域、例えば縦６４＊横６４の画素領域をまとめて検出領域とし、この領域を画像内に任意に設定する。このように、画像全体でなく、一部の領域を検出領域として取り扱うことにより、演算量を少なくすることができ、且つノイズの影響を小さくすることができる。検出領域の大きさは限定されないが、２のＮ乗の大きさにすると、周波数解析などを行う際に、都合がよい。また、２つ以上の検出領域を連結して、１つの検出領域として扱ってもよい。
【００２２】
図１（ａ）において、検出領域が、Ｗ１、Ｗ２で示されている。ここで、Ｗ１は、窓ガラスを囲んだ矩形の領域であり、Ｗ２は、部屋の床側の隅を矩形で囲んだ領域である。ここで、検出領域Ｗは、画像のどの部分にも、その大きさ、形状を変えて設定することが可能であるが、望ましくは、検出対象となる煙が発生する場所であり、煙が検知しやすい場所に設定すべきである。
【００２３】
検出領域は、検出感度を考慮して設定することが望ましく、輝度の変化の大きな領域を検出領域としている。これは、図１、図２の煙検出原理で説明したように、煙の流入に伴い、その領域は、輝度の分布範囲が狭くなる。即ち、何もない通常状態のときから、輝度分布が狭い領域では、煙が入っても、変化が乏しく、煙を検出しにくい。これに対し、窓ガラスの領域Ｗ１は、外光が入っており、部屋の隅のＷ２の領域に比べれば、輝度分布が広いので、煙が入ると、輝度の分布の変化が検出しやすい。検出領域設定手段２７は、具体的には、初めの基準画像データを空間微分処理し空間微分値の大きな領域を検出領域として設定する。
【００２４】
検出領域設定手段２７は、初めの基準画像データのうち、輝度の飽和の影響を防止するため、所定の輝度以上を除外する。例えば、輝度が２５０以上である画素を除いて空間微分処理して空間微分値を求め、空間微分値の総和の最も大きな領域を１つの検出領域と設定する。具体的には、基準画像を領域、例えば縦６４×横６４、計４０９６画素からなる領域で全体に亘って走査して各領域の空間微分値の総和を求める。それから、最も空間微分値の総和の大きい領域を第１の検出領域と設定し、次に、第１の検出領域と重ならない領域のうち最も空間微分値の総和の大きい領域を第２の検出領域と設定する。この操作を繰り返して、所定の個数の検出領域を設定し、設定された検出領域の情報を検出領域記憶部１６に記憶する。
【００２５】
また、検出準備手段２１は、基準データ演算手段２８を備えている。基準データ演算手段２８は、検出領域毎の基準最大輝度、基準最小輝度、基準平均輝度および基準分散を求めるもので、検出領域毎に基準画像データから基準最大輝度、基準最小輝度、基準平均輝度、基準分散を求めて基準データ記憶部１５に記憶する。
【００２６】
続いて、画像記憶手段２２の構成について説明する。画像記憶手段２２は、輝度補正手段３１、流動煙画像記憶手段３２、緩慢煙画像記憶手段３３を備えている。
輝度補正手段は、カメラ２から入力された画像データを逆ガンマ補正して輝度を補正する。カメラ２から入力された画像データを逆ガンマ補正するのは、カメラ２が撮影し出力する画像データに、画像データをモニタに表示したとき人間の視感度に合うようにガンマ補正が施されているためである。そして、ガンマ補正が施された画像データをそのまま画像処理すると、処理結果にガンマ補正による歪みが含まれるので、輝度補正手段３１により逆ガンマ補正を施して、実際の輝度に戻している。
【００２７】
流動煙画像記憶手段３２は、輝度補正された画像データを毎回、流動煙画像記憶部１１に記憶する。この流動煙画像記憶手段３２は、輝度補正手段３１で輝度補正された画像データを流動煙画像記憶部１１に例えば３００フレーム分記憶し、さらに新しい画像を記憶するときは古い画像データから先に削除していくファーストインファーストアウト手順で流動煙画像データを更新する。
【００２８】
緩慢煙画像記憶手段３３は、予め定められた緩慢煙取込周期毎に輝度補正された画像データを緩慢煙画像記憶部１２に記憶するものである。緩慢煙画像記憶手段３３は、緩慢煙は動きがほとんどないので、輝度補正手段３１で輝度補正された画像データを例えば３秒毎に抜き出し、例えば９０フレーム分記憶するし、さらに新しい画像を記憶するときも古い画像データから先に削除していくファーストインファーストアウト手順で緩慢煙画像データを更新する。
緩慢煙は、流動煙に比べ、非常に遅く室内に広がっていく煙である。このため、例えば３０ｍｓｅｃ毎に、差分処理などをしても、ほとんど変化領域がないことから、撮影している画像から３秒毎に、画像を抜き出して記憶するようにしている。これに対し、流動煙は、非常に動きが早いので、３０ｍｓｅｃで撮影する毎に、その画像を記憶するようにしている。
【００２９】
次に、煙検出手段２３の構成について説明する。煙検出手段２３は、障害物検出手段３５、流動煙検出手段３６、緩慢煙検出手段３７を備えている。障害物検出手段３５は、流動煙画像データが新たに記憶されたとき、基準画像と差分処理して、検出領域毎に流動煙画像内に障害物の有無を検出するものである。
障害物検出手段３５は、差分手段を有し、基準画像データと流動煙画像記憶部１１の最新画像データを読み出して、検出領域毎に、この２つの画像データの輝度の差分、あるいは画像データ間の相互相関係数を算出し、差分が所定の閾値以上のとき、あるいは相関値が閾値以下のとき、その画素を動きが検出された画素として判断する。なお、変化のあった検出画素を含む検出領域に対しては、縮退膨張処理を施してノイズを除去した差分画像データを作成し差分画像記憶部１４に記憶する。
【００３０】
例えば、監視領域内に人が通過する場合、当然、基準画像との差分処理を行えば、検出領域内に人が障害物として検出される。単純に、差分処理しただけでは、輝度値の変化した領域（画素）が人であるのか煙であるのかはわからない。このため後述する様々な処理を行うが、撮影した入力画像と基準画像を差分処理した段階で、何らかの変化領域がある場合、それは少なくとも緩慢煙ではないことは明らかである。緩慢煙は、動きが遅く、差分を行うフレーム間において、長い時間が経過していないと、変化する領域が現れないからである。従って、障害物検出手段３５により、障害物が検出された場合には、以下の緩慢煙検出手段３７による煙検出は行わない。
【００３１】
流動煙検出手段３６は、画像処理によって、流動煙の発生の有無を検出するものである。緩慢煙検出手段３７は、障害物検出手段３５で、障害物が検出されず、且つ新たな緩慢煙画像データが記憶されたとき、画像処理により緩慢煙の発生の有無を検出する。
【００３２】
Ｃ：流動煙検出手段の構成（一次判定）
流動煙検出手段３６は、図７に示すように、１０の手段から構成されている。まず、はじめに、一次判定手段となる５つの各手段、動き検出画像作成手段４２、平均輝度・分散演算手段４３、領域占有比率演算手段４４、微分値総和比率演算手段４５、一次判定手段４６について説明する。この一次判定手段４６は、各演算手段４３〜４５で演算された値と所定値とを比較して、検出領域における煙の発生を判定するものである。
【００３３】
動き検出画像作成手段４２は、流動煙画像記憶部１１に記憶された撮影画像において、フレーム間の差分処理を行って、検出領域内における動き検出画素を抽出する。そして、その動き画素だけに関する動き検出画像データを作成して、差分画像記憶部１４に記憶する。なお、フレーム間の差分処理は、時間軸において、数フレーム、例えば５〜８フレーム（１５０〜２４０ｍｓｅｃ）程度、離れたフレーム間で差分処理を行い、例えば６４枚の動き検出画像を作成する。
【００３４】
平均輝度・分散演算手段４３は、６４枚の動き検出画像データから、動きのある画素の時間方向の輝度の平均および分散を演算して求め、そして、平均輝度と分散それぞれの移動平均を求める。これらの移動平均は、基準画像の平均輝度と基準画像の分散と比較され、一次判定手段４６によって判定される。一次判定手段４６は、検出領域毎に、画像の平均輝度の移動平均が所定の範囲内にあるかを判定する。検出領域に煙が流入すれば、輝度値が変動することから、当然、平均輝度も変動する。これを移動平均として扱うことで、このようにして、平均輝度の変動がわかり、検出領域に入った物体が煙であるかの判断の目安になる。
また、一次判定手段４６は、検出領域毎に、画像の輝度の分散の移動平均から、基準画像の分散よりも減少しているか否かを判定する。この分散も平均輝度と同じように、検出領域に煙が流入すれば、その値が変動(減少）する。これを移動平均として扱うことで、分散の変動がわかり、検出領域に入った物体が煙であるかの判断の目安になる。
【００３５】
また、領域占有比率演算手段４４は、検出領域全体の画素に対する動き検出画素が占める占有比率を求める。即ち、検出領域を構成する縦６４＊横６４の矩形の画素領域において、差分処理によって、動いた画素、つまり、輝度が変化した画素がどの程度、その矩形領域内を個数的に占めているのかを演算して、その占有比率を求める。そして、占有比率は、一次判定手段４６によって、判定される。一次判定手段４６は、検出領域毎に、検出領域内にある動き検出画素が占める占有比率が所定の占有比率以上、例えば１０％以上であるか否かを判定する。ここで、占有比率が、少なくとも１０％以上であると判定されれば、その検出領域には、何らかの物体が生じたものと判断できる。
【００３６】
微分値総和比率演算手段４５は、基準画像における当該領域、つまり動きの検出された領域の空間微分値の総和と最近画像の当該領域の空間微分値の総和を求めて、基準画像の当該領域の空間微分値の総和と最近画像の当該領域の空間微分値の総和の比率を演算して求める。この比率は、一次判定手段４６によって判定される。一次判定手段４６は、検出領域毎に空間微分値の総和の比率が所定の比率以上、例えば５％以上変動しているか否かを判定する。検出領域に煙が流入すれば、空間微分値（エッジ）の量は、基準時からは、減ることから、空間微分値の比率をみることで、検出領域に入った物体が煙であるかの判断の目安になる。
【００３７】
一次判定手段４６は、動き検出画素が占める占有比率が所定の占有比率以上、且つ空間微分値の総和の比率が所定の比率以上、且つ平均輝度の移動平均が所定の比率以上変動しており、且つ分散の移動平均が所定の比率以上減少しているとき、流動煙が発生している可能性があると判別する。流動煙は、流れが見えるという特徴を有しているので、検出領域内の動き検出画素の占有比率を判定することにより動くものを検出することができる。しかし、検出されたものには移動物体全般を含むことになる。
【００３８】
基準画像の空間微分値の総和と流動煙の入り込んだ画像の空間微分値の総和との比率は、流動煙が検出領域に入り込むと、空間微分値が低下し、その総和も低下するので、比率が減少することを検出することにより流動煙を検出することができる。
この一次判定手段４６だけの判定により、検出領域内に煙があるかどうかを判定しても良いが、この一次判定手段４６は、基本的に輝度変化に基づく情報だけで判定しているので、監視領域内の照明がオンオフされるような輝度変化を、煙として誤検出する可能性がある。そこで、周波数分析などのより高度な画像処理をさらに行うことで、二次判定として煙検出の精度を高めていく。
【００３９】
Ｄ：流動煙検出手段の構成（二次判定）
流動煙検出手段３６は、二次判定用の手段として、計測線設定手段５１、周波数分析手段５２、周波数判定手段５３を有する。計測線設定手段５１は、フレーム間の差分処理を行って、動き画素のあった検出領域に対して、計測線を設定する手段である。ここで計測線の設定の仕方の一例について、図８を用いて説明する。図８（ａ）はマトリックス状に配置された複数の検出領域に動き画素が検出されたときの原画像データである。図８（ｂ）は、図８（ａ）の原画像と基準画像との差分画像データである。図８（ｃ）は、図８（ｂ）の差分画像データから設定された計測線を図示したものである。
この原画像の中央には、検出領域を構成する矩形領域が、縦方向に２つ、横方向に３つ設けてある。なお、検出領域は、この図８（ａ）では接して配置しているが、それぞれの矩形領域に隙間を設けて配置してもよい。この図８（ａ）では、左下側の検出領域の下方にある火種から煙りが発生し、右上方向に流れているのを観察することができる。ここで、図８（ｂ）において、煙で黒く示される領域は、フレーム間差分の処理によって、抽出された動きのある画素である。一番簡単な計測線は、これら動き画素を含んでいる検出領域において、矩形の中心を通る、水平線または垂直線を引いて、その線を計測線とすることである。ただ、この方法では、必ずしも、計測線上に、沢山の動き画素が含まれるというわけではない。この計測線は、以下のようにして、線上にたくさんの動き画素が含まれるように線の引き方を設定することが好ましく、この計測線は、検出対象となる煙の流れの動きを示す線となる。
【００４０】
簡易的な計測線の引き方を、この図を用いて説明する。今、動き画素を含んでいる検出領域に対して、その検出領域を縦横２つづつ計４つの矩形で分割する。この際、４つの矩形において、動き画素の個数をカウントし、動き画素をより多く含んでいる矩形２個を取り出す。そして、動き画素の多い２つの矩形（小領域）の中心同士を結ぶように直線を引き、計測線とする。例えば図８（ｂ）の検出領域Ｃにおいて、４つの矩形で動き画素の多く矩形は、右上と左下の２つであるから、これらの中心を結ぶように線を引くと、右斜め上がりの斜めの計測線が引かれることになる。結果、最終的に図８（ｃ）のように、検出領域内に計測線が設定されることになる。この計測線を引く意味は、動き画素全てを対象に周波数分析を行うと、演算量が多くなるので、検出領域内において、計測線上にある有効な画素だけを選ぶことで、画素の数を減らして、演算量を減らすことが目的である。
【００４１】
計測線の引き方は、他にも多数あり、次のような方法もある。計測線設定手段５１は、動き検出画素を含む検出領域毎に、流動煙画像記憶部１１から最新画像データと数回前の流動煙画像記憶手順において記憶された数フレーム前の画像データを読み出し、それぞれに対して２次元ＦＦＴ処理し、数フレーム前の画像データの２次元ＦＦＴ処理により得られた複素数の共役複素数を求め、最新画像データの２次元ＦＦＴ処理により得られた複素数と数フレーム前の画像データに係わる共役複素数の積を求める。さらに、計測線設定手段５１は、この積を逆ＦＦＴ処理して相互相関係数分布を示す画像を求め、その画像内の中心に位置する画素から一番輝度の大きい画素までを結ぶ線を求め、移動ベクトルとして記憶する。さらに、計測線設定手段５１は、移動ベクトルから当該検出領域に関する直近の複数回の計測線設定の際に記憶された移動ベクトルを読み出し、それらの移動ベクトルの平均のベクトルを計測線として設定するようにしてもよい。またこの際、計測線は、移動ベクトルの法線としてもよい。
【００４２】
次に、周波数分析手段５２について説明する。周波数分析手段５２は、検出領域毎に計測線上の画素に関して最新の画像データと過去に遡る複数の画像データを使用して輝度の時系列データを抽出して、周波数分析を行い、画素個分の周波数スペクトルを算出し、それらの平均の周波数スペクトルを算出する。また、周波数判定手段５３は、周波数スペクトルの強度が所定の強度以下または所定の低周波数帯の強度の積分値が高周波数帯の強度の積分値より大きいか否かを判定する。
つまり、計測線上の画素の輝度の画素毎の周波数分析を行って周波数スペクトルを求め、さらに、それらの平均スペクトルを求め、流動煙が入り込んだときの平均輝度のピークが、例えば図９に示すように、０Ｈｚを超えて２Ｈｚ以下の周波数帯に出現することを検出する。このような周波数解析を、二次判定として行うことにより、人工光源の光量の周期的変動などを検出対象から除外することができる。
【００４３】
流動煙検出手段３６は、更に、二次判定用手段として、ヒストグラム作成手段５４、平均・分散演算手段５５、二次判定手段５６を備えている。ヒストグラム作成手段５４は、検出領域毎に計測線上の画素に関して最新の画像データと過去に遡る複数の画像データとの間の解析で、動きが検出された画素の数を時系列ヒストグラムとして作成する。また、平均・分散演算手段５５は、時系列ヒストグラムから動き検出画素数の平均および分散を求める。
そして、二次判定手段５６が、画素数の平均値に対する分散（分散／平均値）が所定の閾値以下か否かを判定する。また二次判定手段５６は、周波数スペクトルの強度が所定の低周波帯の全体に対する比率が所定の比率以上、且つ画素の平均輝度および分散が所定の範囲内の場合、流動煙が発生したと判別する。
流動煙が検出領域に入ったとき計測線上の動き検出画素の出現頻度の時系列的な変動について図１０を用いて説明する。例えば、図８（ｃ）の検出領域Ｆにおいて、検出領域自体の大きさは、縦６４＊横６４であるから、ここでは、計測線の長さは６４であり、その計測線上に含まれる最大の画素数は６４となる。ここで、図８（ｂ）の差分画像の対応する検出領域Ｆを見ると、必ずしも、計測線上の全てに動き画素があるとは言えないことがわかる。
ヒストグラム作成手段５４は、この計測線上にある動き画素の個数をカウントし、例えば、図１０（ａ）に示すように、時間ｔ１の所に、その個数を縦軸方向にプロットする。このようにして、横軸方向の別の時間ｔ２，ｔ３・・における個数もプロットしていき、ヒストグラムを完成させる。このようなヒストグラムを完成させた場合、検出領域で検出されたものが煙である場合、動き画素の出現頻度の時系列的な変動は大きな値をとることはない。これに対して、図１０（ｂ）に示すような出現頻度の時系列的な変動が大きい挙動を示す場合には、検出されたものは、目まぐるしく変化する回転灯などと考えられ、このような人工光源の周期的光量変動を検出対象から分離することができる。
【００４４】
Ｅ：緩慢煙検出手段の構成
緩慢煙検出手段３７は、図１１に示すように、輝度平均分散演算手段６１、判定手段６２を備えている。緩慢煙の特徴は、煙の濃度が薄く、煙の動きを捉えることができにくいことである。
輝度平均分散演算手段６１は、緩慢煙の画像を取り込む周期（３秒）毎に、検出領域毎に、検出領域全体の平均輝度および分散を演算して求める。この演算された平均輝度及び分散は、判定手段６２によって判定される。つまり、判定手段６２は、検出領域毎に、平均輝度と基準平均輝度の比が所定の範囲内にあるか否かを判定する。また、検出領域毎に、分散が基準画像の分散に対して所定の範囲の割合内にあるか否かを判定する。
【００４５】
また、緩慢煙検出手段３７は、平均輝度周波数分析手段６４を備えている。平均輝度周波数分析手段６４は、緩慢煙の画像を取り込む周期毎に、検出領域毎に、当該検出領域の最新の画像データの平均輝度と、先だって所定の複数、流動煙画像記憶部１１に記憶された、例えば６３個の画像データの平均輝度を算出し、６４個の平均輝度を周波数分析して平均輝度周波数スペクトルを作成する。そして、判定手段６２は、平均輝度周波数スペクトルの強度が所定の強度以下か否かを判断する。また、判定手段６２は、平均輝度周波数スペクトルを複数の周波数帯に分け、低周波数帯の強度の積分値ほど大きいか否かを判定する。
検出領域の輝度の平均の時系列データに関する周波数スペクトルは、緩慢煙の緩慢な動きに伴い図１２（ａ）に示すように強度が所定の閾値以下であったり、周波数に関して２つの周波数（２Ｈｚ、８Ｈｚ）を用いて、低、中、高の３つの周波数帯に分けた場合、図１２（ｂ）に示すように、周波数の小さな低周波数帯ほど強度の積分値が大きくなる。これに対し人工光源では、中又は高の周波数帯が大きく、この周波数の特性を検出することにより、人工光源の周期的な変動と緩慢煙とを識別することができる。
【００４６】
また、緩慢煙検出手段３７は、透過率演算手段６７と、収束輝度値演算手段６８を備えている。透過率演算手段６７は、緩慢煙の画像を取り込む周期毎に、検出領域毎に、透過率を式（１）に従って演算する。また、収束輝度値演算手段６８は、緩慢煙の画像を取り込む周期毎に、検出領域毎に、収束輝度値を式（２）に従って演算する。そして判定手段６２は、演算された透過率が所定値以下であるか否かを判定する。また判定手段６２は、演算された収束輝度値が所定の閾値以上であるか否かを判定する。
透過率＝（最新画像の最大輝度値−最新画像の最小輝度値）／（基準画像の最大輝度値−基準画像の最小輝度値）・・・（１）
収束輝度値＝｛最新画像の最大輝度値−（基準画像の最大輝度値×透過率）／（基準画像の最大輝度値−基準画像の最小輝度値）・・・（２）
【００４７】
式（１）で表される透過率は、緩慢煙が検出領域に入ると、小さくなる。これは、緩慢煙が入ったときの最大輝度と最小輝度の差が緩慢煙が入る前の最大輝度と最小輝度の差より小さくなるからである。しかし、透過率の減少は照明が暗くなったときにも起こる場合がある。
式（２）で表される収束輝度値は、極めて黒い黒煙以外の緩慢煙が検出領域に入ると、緩慢煙が入る前の収束輝度に対して増減するが、所定の閾値以下には減少しない。一方、照明が暗くなったときには、所定の閾値以下に減少する。この特性を利用すると白色に近い緩慢煙と照明が暗くなったことを、識別することができる。
【００４８】
緩慢煙検出手段３７の判定手段６２において、平均輝度と基準画像の平均輝度の比が所定の範囲内にあり、且つ分散が基準画像の分散に対して所定の範囲の割合内にあり、且つ平均輝度周波数スペクトルの強度が所定の強度以下または低周波帯の強度の積分値が大きい場合に緩慢煙の発生の可能性が高いとして判別する、
または、平均輝度周波数スペクトルの強度が所定の強度以下または低周波帯の強度の積分値ほど大きい、且つ透過率が所定の閾値以下且つ収束輝度値が所定の閾値以上の場合に、緩慢煙の発生の可能性が高いとして判別する。
ここで、警告判定手段７２は、平均輝度周波数スペクトルの強度が所定の強度以下または低周波帯の強度の積分値ほど大きい、且つ透過率が所定の範囲以内且つ収束輝度値が所定の閾値未満の場合に、警告を発する。警告を発するのは、収束輝度値が所定値未満であることから、煙として、黒煙の可能性があるためである。
【００４９】
以上説明したように、本実施の形態では、煙の流れの早い流動煙と、煙の流れが遅い緩慢煙とについて別々に判別し、そして、それぞれ複数の煙検出用の演算手段を備えた。特に、緩慢煙の煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、流動煙の煙検出判定要素は、周波数スペクトル、平均輝度の移動平均値、平均輝度の移動分散、動き検出画素の占有比率、空間微分値総和の比率、ヒストグラムの分散／平均値からなる。
これら演算手段は、全てを使用して、全ての演算手段が判定手段の条件を満足したときに、検出領域内に煙が発生したものと判別することが、一番、精度良く煙検出が可能となる。しかし、これら、演算手段は、適宜２つ以上、組み合わせて使用するだけもで、単一の演算処理に比べ、十分に煙検出の精度を高めることができ、人工光源の光量の変化や移動物体などを誤って煙と認識することを防止できる。
【００５０】
再び、図６に戻って、火災判別手段２４は、流動煙検出手段３６により流動煙の発生と判別された検出領域の数と緩慢煙検出手段３７により緩慢煙の発生と判別された検出領域の数を、検出数記憶部１９に記憶している。そして、火災判別手段２４は、検出数記憶部１９から過去の検出領域の数を時系列データとして読み出し、一定期間の検出数が所定の上限値以上を所定の回数連続し、画像内において、煙有りと判定された検出領域の密度が所定値以上になったとき、火災と判別する。
【００５１】
次に、火災検出装置で行われる火災検出手順について図１３から図２１を参照して説明する。火災検出手順が始まると、図１３に示すように、基準画像更新手順（Ｓ１０１）が実行され、次に画像記憶手順（Ｓ１０２）、煙検出手順（Ｓ１０３）、火災判別手順（Ｓ１０４）が順次実行されて１回の火災検出手順が終わり、火災検出手順が繰り返し実行される。
まず、基準画像更新手順について図１４に示すフローチャートを参照して説明する。
基準画像更新手順を開始すると、ステップＳ２０１で、基準画像更新時期が到来したか否かを判断し、到来していないとき基準画像更新手順を終了し、到来しているときステップＳ２０２に進む。
ステップＳ２０２では、流動煙画像記憶部１１から最新の画像データを読み出し、画像相関を計算し侵入物がないことを確認した後、その最新の画像データを基準画像データとして基準画像記憶部１３に記憶されている基準画像データを書き換える。
なお、一番始めに、検出領域を設定するときだけは、このステップＳ２０２の後に、基準画像記憶部１２から基準画像データを読み出し、その基準画像データを空間微分処理して画素毎の空間微分値を求める。
ステップＳ２０３で、設定された検出領域の基準最大輝度、基準最小輝度、基準平均輝度および基準分散を求め、基準データ記憶部１５に記憶して基準画像更新手順を終了する。
【００５２】
次に、画像記憶手順について図１５のフローチャートを参照して説明する。
画像記憶手順を開始すると、ステップＳ３０１で、カメラ２から画像データが入力されたか否かを判断し、入力されていないときステップＳ３０１を繰り返し、入力されているときステップＳ３０２に進む。
ステップＳ３０２で、入力されている画像データを最新画像データとし、最新画像データを逆ガンマ補正することにより輝度補正する。
ステップＳ３０３で、緩慢煙画像取込時期が到来しているか否かを判断し、到来しているときステップＳ３０４に進み、到来していないときステップＳ３０６に進む。
ステップＳ３０４で、輝度補正された最新画像データを緩慢煙画像記憶部１２にＦＩＦＯで記憶する（この手順を緩慢煙画像記憶手順と称する）。
ステップＳ３０５で、緩慢煙フラグに１を設定する。
ステップＳ３０６で、輝度補正された最新画像データを流動煙画像記憶部１１にＦＩＦＯで記憶して画像記憶手順を終了する（この手順を流動煙画像記憶手順と称する）。
【００５３】
次に、煙検出手順について図１６のフローチャートを参照して説明する。
煙検出手順を開始すると、判定の結果を残す各種フラグ類の設定を０にする。
ステップＳ４０１で、検出領域記憶部１６に記憶されている検出領域の情報に基づいて、まだ煙検出の処理を行っていない検出領域を１つ指定する。
ステップＳ４０２で、基準画像記憶部１３から基準画像データを読み出し、流動煙画像記憶部１１から最新画像データと、画素毎に、基準画像データと、その最新画像データの差分処理を行い、差分が所定の閾値以上の画素を求める。
ステップＳ４０３で、差分が所定の閾値以上の画素に対して縮退膨張処理を行ってノイズを除去して動き検出画素を確定し、差分画像データとして差分画像記憶部１４に記憶する（この手順を差分画像記憶手順と称する）。ここで行われるノイズ処理は、差分処理によって生じた小さな画素のかたまりを排除し、ある程度、画素同士が連結した領域だけを差分画像に残すものである。
【００５４】
ステップＳ４０４で、流動煙検出手順を実行してステップＳ４０５に進む。
ステップＳ４０５で、緩慢煙フラグに１が設定されているか否かを判断する。緩慢煙フラグに１が設定されているときステップＳ４０６に進み、緩慢煙フラグに０が設定されているときステップＳ４０８に進む。
ステップＳ４０６で、障害物検出手段により障害物の検出を行い、画像内に、障害物が検出されない場合にのみ、ステップＳ４０７に進み、それ以外は、ステップＳ４０８に進む。
ステップＳ４０７で、緩慢煙検出手順を実行してステップＳ４０８に進む。
ステップＳ４０８で、全ての検出領域が指定されたか否かを判断し、指定されていないときステップＳ４０１に戻り、指定されているときステップＳ４０９に進む。つまり、画像には、煙を検出すべき検出領域が複数設定されているので、これら検出領域に対して、一つづづ順次、煙検出手順による煙検出を行うようにしてある。そして、複数個の検出領域に対して、全て煙検出の手順が行われたら、ステップＳ４０９で、緩慢煙フラグに０を設定して煙検出手順を終了する。
【００５５】
次に、流動煙検出手順を図１７、図１８のフローチャートを参照して説明する。
流動煙検出手順を開始すると、ステップＳ５０１で、流動煙画像記憶部１１から検出領域の最新画像データおよび直近の複数回の流動煙画像記憶手順の度に記憶された画像データを読み出し、動き検出画素に対応する最新画像データおよび直近の複数回の流動煙画像記憶手順で記憶された画像データの輝度の平均および分散を算出する。
ステップＳ５０２で、輝度の平均および分散から、平均輝度の移動平均と分散の移動平均を算出する。
ステップＳ５０３で、差分画像記憶部１４から検出領域の差分画像データを読み出し、動き検出画素が検出領域全体の画素に占める占有比率を算出する。
ステップＳ５０４で、基準画像記憶部１３から検出領域の基準画像データと流動煙画像記憶部１１から最新画像データを読み出し、それぞれを空間微分処理して空間微分値を求め、検出領域全体の空間微分値の総和をそれぞれ求め、その総和の比率を算出する。
【００５６】
ステップＳ５０５で、動き検出画素が占める占有比率が所定の比率以上のとき占有フラグに１を設定する。
ステップＳ５０６で、空間微分値の総和の比率が所定の閾値以上に変動しているとき微分値フラグに１を設定する。
ステップＳ５０７で、平均輝度の移動平均が基準画像の平均輝度に対して所定の割合の範囲で変動しているとき平均フラグに１を設定する。
ステップＳ５０８で、分散の移動平均が基準画像の分散に対して所定の割合の範囲内で減少しているとき分散フラグに１を設定する。
ステップＳ５０９で、占有フラグ、微分値フラグ、平均フラグ、分散フラグの全てに１が設定されているか否かを判断し、全てに１が設定されているときステップＳ５１０に進み、少なくとも１つに０が設定されているとき流動煙検出手順を終了する。
【００５７】
ステップＳ５１０で、検出領域の計測線を設定する。
ステップＳ５１１で、流動煙画像記憶部１１から検出領域の最新画像データおよび検出領域の直近の複数回の流動煙画像記憶手順の度に記憶された画像データを読み出し、計測線上の画素毎に輝度に関して周波数分析して周波数スペクトルを算出し、全ての画素に対する周波数スペクトルの平均を算出する。
ステップＳ５１２で、周波数スペクトルから不要な部分のスペクトルを除外して周波数スペクトルを修正する。
ステップＳ５１３で、所定の周波数以下の周波数帯の強度の積分値がその周波数を超える周波数帯の強度の積分値を超えるか否かを判断し、所定の周波数以下の周波数帯の強度の積分値がその周波数を超える周波数帯の強度の積分値を超えるときステップＳ５１４に進み、それ以外のときには流動煙検出手順を終了する。ここでは、単に、低周波と高周波の比を見るよりも、詳細に、周波数帯を３分割にして、それぞれの帯域に積分値を見るようにしてもよい。
【００５８】
ステップＳ５１４で、差分画像記憶部１４から検出領域の最新画像の差分画像データおよび検出領域の直近の複数回の差分画像記憶手順の度に記憶された差分画像データを読み出し、各差分画像データの計測線上の動き検出画素の数を度数とするヒストグラムを作成する。
ステップＳ５１５で、ヒストグラムの度数の平均値と度数の分散を算出し、その比率（分散／平均値）を演算して、ヒストグラム記憶部１７に記憶する。
ステップＳ５１６で、度数平均と度数分散の比率が所定の範囲内にあるか否かを判断し、その比率が所定の範囲内にあるときステップＳ５１７に進み、それ以外のときは、流動煙検出手順を終了する。
ステップＳ５１７では、その検出領域には、流動煙が発生していると判別して、流動煙検出レジスタをインクリメントして流動煙検出手順を終了する。
【００５９】
次に、緩慢煙検出手順について図１９、図２０のフローチャートを参照して説明する。ステップＳ６０１で、緩慢煙画像記憶部１２から最新画像データを読み出し、輝度の平均および分散を算出し、輝度平均分散記憶部１８に記憶する。
ステップＳ６０２で、輝度平均分散記憶部１８から最近のデータを含み直近の複数回の緩慢煙検出手順の度に記憶された輝度の平均および分散を読み出し、平均輝度の移動平均および分散の移動平均を算出する。
ステップＳ６０３で、平均輝度の移動平均が、基準画像の平均輝度に対して所定の範囲内で変動しているとき平均フラグに１を設定する。
ステップＳ６０４で、分散の移動平均が、基準画像の分散に対して所定の範囲内で減少しているとき分散フラグに１を設定する。
【００６０】
ステップＳ６０５で、流動煙画像記憶部１１から検出領域の最新画像データを含み直近の複数回の流動煙記憶手順の度に記憶された画像データを読み出し、それぞれの輝度の平均を算出し、平均輝度に関する時系列データの周波数分析をして周波数スペクトルを生成する。
ステップＳ６０６で、周波数スペクトルから不要な部分のスペクトルを除外して周波数スペクトルを修正する。
ステップＳ６０７で、周波数スペクトルを２つの周波数２Ｈｚと周波数８Ｈｚにより３つの周波数帯のスペクトルに分割し、各周波数帯の強度を積分した値が低周波数帯ほど大きいとき、周波数フラグに１を設定する。
【００６１】
ステップＳ６０８で、検出領域において、最新画像データから最大輝度値および、最小輝度値を求め、基準データ記憶部１５から基準画像の最大輝度値および基準画像の最小輝度値を読み出し、透過率を式（１）に従って演算する。また、収束輝度値を式（２）に従って演算する。
ステップＳ６０９で、透過率が所定値以下であるとき透過率フラグに１を設定する。
ステップＳ６１０で、収束輝度値が所定の閾値以上であるとき収束輝度フラグに１を設定する。
ステップＳ６１１で、平均フラグ、分散フラグおよび周波数フラグに１が設定されているか、または周波数フラグ、透過率フラグおよび収束輝度フラグに１が設定されているか判断し、平均フラグ、分散フラグおよび周波数フラグに１が設定されている、または周波数フラグ、透過率フラグおよび収束輝度フラグに１が設定されている場合ステップＳ６１２に進み、それ以外の場合ステップＳ６１３に進む。
ステップＳ６１２で、緩慢煙の発生の可能性があるとして緩慢煙検出レジスタをインクリメントして緩慢煙検出手順を終了する。
ステップＳ６１３で、周波数フラグおよび透過率フラグに１が設定されているか否かを判断し、周波数フラグおよび透過率フラグに１が設定されている場合、ステップＳ６１４に進み、それ以外の場合、緩慢煙検出手順を終了する。
ステップＳ６１４で、警告信号を発して、黒煙の発生の可能性があることを警報して、緩慢煙検出手順を終了する。
【００６２】
次に、火災判別手順について図２１のフローチャートを参照して説明する。
火災判別手順が開始されると、ステップＳ７０１で、流動煙検出レジスタに、設定された数（流動煙ありと判断された検出領域の数）および緩慢煙検出レジスタに設定された数（緩慢煙ありと判断された検出領域の数）を読み出し、それぞれを流動煙検出数と緩慢煙検出数として検出数記憶部１９に記憶する。
ステップＳ７０２で、最新の流動煙検出数または最新の緩慢煙検出数が所定の閾値（個数）以上であるか否かを判断し、少なくとも一方が所定の閾値以上のときステップＳ７０３に進み、両方が所定の閾値未満のとき火災判別手順を終了する。
ステップＳ７０３で、検出数記憶部１９に直近の複数回の火災判別手順の度に記憶された流動煙検出数および緩慢煙検出数を読み出す。
ステップＳ７０４で、所定の閾値以上の最新の流動煙検出数または最新の緩慢煙検出数に関する直近の所定の回数の火災判別手順で記憶された値が連続して所定の閾値以上であるか否かを判断し、連続して所定の閾値以上であるときステップＳ７０５に進み、それ以外のとき火災判別手順を終了する。
このように火災か否かの判別は、ある時点における、煙ありと判別された検出領域の数が所定値以上であって、空間的に見て、煙があると判別でき、更に、煙ありと判別された検出領域の数が、連続する時間において、所定回数以上あって、時間的に見ても、煙があると判別できる時、つまり所定期間内における煙ありの検出領域の数が高いときに、火災発生と判別する。
ステップＳ７０５で、火災が発生したと判別して警報を発して火災判別手順を終了する。
【００６３】
以上の図２１のフローチャートにおいては、煙を検出した検出領域の個数が、連続して閾値以上の場合であって、かつ、そのような状態が所定回数、連続したときに、画像内に煙があって火災と判別するようにしたが、火災判別の仕方については、次のように行ってもよい。この火災判別の仕方は、特に連続性を条件としないものであり、時空間での密度を判別条件とするものである。
図２２において、画像内には、複数、ここでは、便宜上、Ａ〜Ｉまでの９つの検出領域が複数設定されているものとする。この図においては、時間ｔ０〜ｔ５において、カメラで撮影される室内に煙が充満していく様子を示している。
煙検出装置における火災判別の閾値は、例えば、６／９と設定されている。この「９」は検出領域の数を示し、「６」は、その検出領域のうち、煙検出手段において煙が検出され、煙有りと判断された検出領域の数を表す。
【００６４】
今、時間ｔ２において、検出領域Ｅのみが煙ありと判別されている。ここで、火災判別するにあたって、３フレーム分の煙有りと判別された検出領域の個数の合計値を利用する。つまり、ｔ０〜ｔ２の３フレーム分の煙有りの検出領域の合計値であるから、「２」となる。この「２」は、閾値の６より小さいので、火災と判別されない。
順次、同じように計算すると、ｔ３では「５」、ｔ４では「５」、ｔ６では「６」（＝３＋１＋２）となる。即ち、このような煙の発生の場合には、ｔ６において、火災が判別されることになる。
この火災判別の方法は、ある時間での煙有りの検出領域の個数、そして所定時間内における煙有りの検出領域の個数を考慮していることになり、言い換えれば、画像内における煙有りの検出領域の密度（時間的空間的密度）が、所定値を越えた時に、煙の発生をとらえるものである。煙の場合、常に、その大きさ（領域）は変動しているので、例えば、時間ｔ１で検出領域Ｈで煙有りと判断されても、時間ｔ２では、煙が検出領域Ｅに移動して、検出領域Ｈからなくなるということがある。また、煙は、時間が経過すれば、必ず、空間的に広がって、検出される領域の個数は増加する傾向にあるから、このような判別方法は、煙検出にあたって、有効な判別の仕方と考えられる。
【００６５】
なお、この時間的空間的密度の観点で、判別する手法は、この最後の火災判別だけでなく、煙検出手段で使用される各ステップ、例えば、透過率や平均値と閾値との判断に使用するようにしてもよい。例えば、単に透過率が所定値より下回った時に、フラグを設定するのではなく、複数個、例えば４回分の検出データにおいて、３回以上、所定値以下を検出したとき、即ち、継続した減少が見られる場合に、はじめてフラグを設定するようにしてもよい。
【００６６】
実施の形態２．
この発明の実施の形態２に係わる火災検出装置は、実施の形態１に係わる火災検出装置と検出領域設定手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。実施の形態２に係わる検出領域設定手段は、更新した基準画像データを領域で全画像に亘り走査して、各領域のコントラストを算出し、コントラストの最も大きな領域を第１の検出領域と設定し、さらに第１の検出領域に重ならずにコントラストの大きな領域を第２の検出領域と設定し、これを所定の数の検出領域が設定するまで繰り返す。
【００６７】
画像データには、輝度の変化の小さいコントラストの小さい領域と輝度の変化の大きなコントラストの大きな領域が含まれている。しかし、煙が発生したときは、コントラストが小さくなるように変化する傾向があるので、輝度の変化の小さいコントラストの小さい領域より輝度の変化の大きいコントラストの大きい領域を検出領域とすることが、煙の検出が行いやすく効果的である。
【００６８】
実施の形態３．
この発明の実施の形態３に係わる火災検出装置は、実施の形態１に係わる火災検出装置と微分値総和比率演算手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。実施の形態３に係わる微分値総和比率演算手段は、基準画像の当該検出領域の空間微分値と最近画像の当該検出領域の空間微分値との比を画素毎に求め、その比を検出領域全体に亘って積分して当該検出領域に対する空間微分値の総和の比率を求める。
【００６９】
実施の形態４．
この発明の実施の形態４に係わる火災検出装置は、実施の形態１に係わる火災検出装置と計測線設定手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。実施の形態４に係わる計測線設定手段は、検出領域毎に動き検出画素を重み１、動きが検出されない画素を重み０として領域の重心を求め、同様に隣接する領域の重心を求め、重心間を結ぶ直線に一番近い領域の中心を通る水平、垂直または対角方向の線分を計測線として設定する。
【００７０】
実施の形態５．
この発明の実施の形態５に係わる火災検出装置は、実施の形態１に係わる火災検出装置と火災判別手段が異なり、それ以外は同様であるので同様な部分に同じ符号を付記して説明は省略する。
実施の形態５に係わる火災判別手段は、流動煙検出手段３６により流動煙の発生と判別された検出領域の数と緩慢煙検出手段３７により緩慢煙の発生と判別された検出領域の数を検出数記憶部１９に記憶し、検出数記憶部１９から過去の検出領域に関する検出数を時系列データとして読み出し、検出数に関する回帰直線を求め、回帰直線の傾きが所定の傾きを超えて大きいとき火災と判別する。
【００７１】
なお、上述の実施の形態においては、煙検出装置は、火災時に発生する煙を検出するものとして説明したが、煙は、例えば煙突や配管やプラント機器又は電子機器などから発生する煙を検出するようにしてもよい。
【符号の説明】
【００７２】
２ カメラ、３ 煙検出装置、４ 中央演算装置（ＣＰＵ）、５ ＲＯＭ、６ ＲＡＭ、７ 内蔵タイマ、８ 入出力インターフェース（Ｉ／Ｏ）、９ フレームグラバー、１０ 外部記憶装置、１１ 流動煙画像記憶部、１２ 緩慢煙画像記憶部、１３ 基準画像記憶部、１４ 差分画像記憶部、１５ 基準データ記憶部、１６ 検出領域記憶部、１７ ヒストグラム記憶部、１８ 輝度平均分散記憶部、１９ 検出数記憶部、２１ 検出準備手段、２２ 画像記憶手段、２３ 煙検出手段、２４ 火災判別手段、２６ 基準画像更新手段、２７ 検出領域設定手段、２８ 基準データ演算手段、３１ 輝度補正手段、３２ 流動煙画像記憶手段、３３ 緩慢煙画像記憶手段、３５ 動き検出手段、３６ 流動煙検出手段、３７ 緩慢煙検出手段、４２ 動き検出画像作成手段、４３ 平均輝度・分散演算手段、４４ 領域占有比率演算手段、４５ 微分値総和比率演算手段、４６ 一次判定手段、５１ 計測線設定手段、５２ 周波数分析手段、５３ 周波数判定手段、５４ ヒストグラム作成手段、５５ 平均・分散演算手段、５６ 画素変動判定手段、６１ 輝度平均分散演算手段、６２ 判定手段、６４ 平均輝度周波数分析手段、６７ 透過率演算手段、６８ 収束輝度値演算手段、７２ 警告判定手段。
【特許請求の範囲】
【請求項１】
カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、
撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、
該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、
前記煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、
前記演算手段は、前記検出領域の透過率を演算する透過率演算手段；前記検出領域の収束輝度値を演算する収束輝度値演算手段； 前記検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；前記検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；の
いずれか２つ以上を備えている
ことを特徴とする煙検出装置。
【請求項２】
透過率が所定の閾値以下、且つ前記収束輝度値が所定の閾値以上、且つ上記周波数スペクトルの強度が所定の強度以下または上記周波数スペクトルの強度の積分値が低周波数帯ほど大きいとき煙が発生したと判別することを特徴とする請求項１記載の煙検出装置。
【請求項３】
カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、
撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、
該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、
前記演算手段は、動きが早い流動煙を検出する流動煙検出手段と、動きが遅い緩慢煙を検出する緩慢煙検出手段とを備え、前記流動煙と前記緩慢煙を別々に判別する
ことを特徴とする煙検出装置。
【請求項１】
カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、
撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、
該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、
前記煙検出判定要素は、透過率、収束輝度値、周波数スペクトル、平均輝度の平均値、平均輝度の分散からなり、
前記演算手段は、前記検出領域の透過率を演算する透過率演算手段；前記検出領域の収束輝度値を演算する収束輝度値演算手段； 前記検出領域の輝度の平均及び分散を演算する輝度平均分散演算手段；前記検出領域の平均輝度の時系列データを周波数分析して周波数スペクトルを求める平均輝度周波数分析手段；の
いずれか２つ以上を備えている
ことを特徴とする煙検出装置。
【請求項２】
透過率が所定の閾値以下、且つ前記収束輝度値が所定の閾値以上、且つ上記周波数スペクトルの強度が所定の強度以下または上記周波数スペクトルの強度の積分値が低周波数帯ほど大きいとき煙が発生したと判別することを特徴とする請求項１記載の煙検出装置。
【請求項３】
カメラで撮影される画像を画像処理することにより撮影された範囲内での煙の発生を検出する煙検出装置において、
撮影された範囲内に、所定の検出領域を設定する検出領域設定手段を設け、
該検出領域内における、煙検出判定要素の２つ以上を演算する演算手段を設けて、該検出領域内の煙の発生を検出し、
前記演算手段は、動きが早い流動煙を検出する流動煙検出手段と、動きが遅い緩慢煙を検出する緩慢煙検出手段とを備え、前記流動煙と前記緩慢煙を別々に判別する
ことを特徴とする煙検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−２３８２８０（Ｐ２０１１−２３８２８０Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１１−１６１８８０（Ｐ２０１１−１６１８８０）
【出願日】平成２３年７月２５日（２０１１．７．２５）
【分割の表示】特願２００６−２２２５５７（Ｐ２００６−２２２５５７）の分割
【原出願日】平成１８年８月１７日（２００６．８．１７）
【出願人】（０００２３３８２６）能美防災株式会社 (918)
【出願人】（３０４０２０２９２）国立大学法人徳島大学 (307)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２３年７月２５日（２０１１．７．２５）
【分割の表示】特願２００６−２２２５５７（Ｐ２００６−２２２５５７）の分割
【原出願日】平成１８年８月１７日（２００６．８．１７）
【出願人】（０００２３３８２６）能美防災株式会社 (918)
【出願人】（３０４０２０２９２）国立大学法人徳島大学 (307)
【Ｆターム（参考）】
[ Back to top ]