火災検出装置
【課題】背景が明るくても正しい火災候補領域を抽出でき、抽出される火災候補領域の数が少なく、対象物が火災か否かの判断に要する演算量が少ない火災検出装置を提供する。
【解決手段】火災検出装置は、撮像手段と、撮影した画像から火災の検出を行う画像処理手段とを備え、画像処理手段が、撮像した画像から火災候補領域を抽出する火災候補領域抽出手段と、抽出された火災候補領域が本当の火災領域であるかを検出する火災検出手段とを有する火災検出装置において、火災候補領域抽出手段は、最新画像と直前画像との差分画像を作成し、最新画像と直前画像を画素毎に比較して輝度の高い方の輝度を輝度とする高輝度画像を作成し、差分画像と高輝度画像の輝度とを乗算して差分輝度積画像を作成し、差分輝度積画像の差分輝度積が閾値以上の画素を火災候補領域として抽出する。
【解決手段】火災検出装置は、撮像手段と、撮影した画像から火災の検出を行う画像処理手段とを備え、画像処理手段が、撮像した画像から火災候補領域を抽出する火災候補領域抽出手段と、抽出された火災候補領域が本当の火災領域であるかを検出する火災検出手段とを有する火災検出装置において、火災候補領域抽出手段は、最新画像と直前画像との差分画像を作成し、最新画像と直前画像を画素毎に比較して輝度の高い方の輝度を輝度とする高輝度画像を作成し、差分画像と高輝度画像の輝度とを乗算して差分輝度積画像を作成し、差分輝度積画像の差分輝度積が閾値以上の画素を火災候補領域として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、火災検出に画像処理を用いた火災検出装置に関し、特に監視区域に監視対
象である炎以外の光源が混在する場合に用いて好適な火災検出装置に関するものである。
【背景技術】
【０００２】
従来の火災検出装置は、撮像手段と、撮像手段によって撮像された画像から所定値以上の輝度を有する領域を火災候補領域として抽出する火災候補領域抽出手段と、火災候補領域の画素情報やその火災候補領域に関する情報に基づき、対象物が炎であるか否かを判断する火災判別手段とを備え、火災判別手段は、情報として、対象物画像領域の円形度、対象物画像領域の大きさの時間的分散率、対象物画像領域の大きさの時間変化についての自己相関を割り出し、割り出された対象物画像領域の円形度、対象物画像領域の大きさの時間的分散率、対象物画像領域の大きさの時間変化についての自己相関に基づいて対象物が炎であるか否かを判断する（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平８−３０５９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、トンネル内での火災を検出するとき、火災候補領域を輝度の高低に基づいて抽出すると、所定値以上の輝度を有する領域、例えば、炎以外に回転灯、車両のテールランプ、ナトリウム灯などの領域が全て抽出されてしまうので、その後火災判別手段で火災候補領域の特徴量を求めるための演算量が火災候補領域の数が多いために膨大になり、火災判別処理に長い時間がかかってしまうという問題がある。
また、輝度値だけによって火災候補領域を抽出すると、背景が明るい場合には、正しい領域を抽出できず、背景を含んだ領域を抽出してしまうという問題がある。
【０００５】
この発明の目的は、背景が明るくても正しい火災候補領域を抽出でき、抽出される火災候補領域の数が少なく、対象物が火災か否かの判断に要する演算量が少ない火災検出装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に係わる火災検出装置は、監視区域を撮影する撮像手段と、撮影した画像を処理することにより上記監視区域内における火災の検出を行う画像処理手段とを備え、上記画像処理手段が、撮像した画像から火災候補領域を抽出する火災候補領域抽出手段と、抽出された火災候補領域が本当の火災領域であるかを検出する火災検出手段とを有する火災検出装置において、上記火災候補領域抽出手段は、時系列的に連続する最新画像と直前画像との差分画像を作成するフレーム差分処理部と、最新画像と直前画像を画素毎に比較して輝度の高い方の輝度を輝度とする高輝度画像を作成する高輝度画像作成部と、上記差分画像と上記高輝度画像の輝度とを乗算して差分輝度積画像を作成する差分輝度積画像作成部と、上記差分輝度積画像の差分輝度積が閾値以上の画素を火災候補領域として抽出する火災候補領域抽出部と、を有する。
【発明の効果】
【０００７】
この発明に係わる火災検出装置の効果は、差分画像に高輝度画像を乗算して差分輝度積を求め、その差分輝度積が閾値以上のとき、その画素を火災候補領域として抽出する。このため、明るくて動きのある部分だけが火災候補領域として抽出することができ、明るいが動きのないナトリウム灯や動きはあるが明るくない人物などは火災候補領域として抽出されない。従って、輝度値だけによる抽出に比べ、火災候補領域の数を減少することができ、火災候補領域の特徴量の演算量を減少することができる。また、差分画像を考慮して火災候補領域を抽出するので、背景が明るくても炎のように明るくて動きのある領域だけを正しく火災候補領域として抽出できる。
【発明を実施するための最良の形態】
【０００８】
図１は、この発明に係わる火災検出装置のブロック図である。図２は、この発明に係わるトンネル内を監視するＣＣＤカメラが撮影する画像である。
この発明の実施の形態１に係わる火災検出装置１は、図１に示すように、例えばＣＣＤカメラ２を用いた撮像手段としての撮像部３、撮像部３で撮影された画像を処理する画像処理手段としての画像処理装置４、画像処理装置４からの情報を表示する表示部５を備える。なお、撮像手段に用いるＣＣＤカメラ２以外に、ＣＭＯＳカメラ、赤外線カメラなど監視区域から入射される光信号を電気信号に変換し、二次元に画素が配置されているものであれば何れでもよい。
【０００９】
ＣＣＤカメラ２は、例えば、１秒間に３０回監視区域を撮影し、時系列的に連続する３０枚の画像を出力する。
ＣＣＤカメラ２は、例えば監視区域としてのトンネル内全体を見渡せる位置に設置される。図２は、ＣＣＤカメラ２により撮影された画像で、この画像から分かるようにＣＣＤカメラ２は車両６が走り去って行く方向を映すように、例えばトンネル内の側壁上部に設置されている。ＣＣＤカメラ２により撮影された画像には、車両６の回転灯７、ナトリウム灯８、炎９および人物１０が撮影されている。
【００１０】
画像処理装置４は、ＣＣＤカメラ２で撮影され入力される電気信号を処理する画像入力部１１、画像入力部１１からの輝度画像を記憶する複数の画像メモリ１２、設定値を保存する設定値保存メモリ１３、画像メモリ１２および設定値保存メモリ１３からの情報に基づいて処理を行い火災判別を行う画像処理部１６、画像処理部１６からの画像情報を表示部５へ出力する画像出力部１７を有する。
そして、画像処理装置４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース回路を有するコンピュータから構成されている。
【００１１】
複数の画像メモリ１２は、順番が付けられており、小さな数の順番が付けられた画像メモリ１２から順に、時系列的に連続する最新の画像から所定の枚数だけ遡る画像が記憶されるように割り当てられている。そして、最新の画像を記憶するときには、最も大きな数の順番が付けられた画像メモリ１２に記憶された画像を消去し、画像メモリ１２に記憶されている画像をそれが記憶されている画像メモリ１２より１つ大きな数の順番が付けられた画像メモリ１２に移し変える。それから、最新の画像を最も小さな数の順番が付けられた画像メモリ１２に記憶する。
【００１２】
画像入力部１１は、ＣＣＤカメラ２から送られてくる電気信号をデジタル信号に変換するアナログデジタル変換部（Ａ／Ｄ変換部）２１、画素毎にデジタル信号の大きさを画素の輝度とし、その画素の輝度を画素の値とする輝度画像を作成して画像メモリ１２に記憶する輝度画像作成部２２を有する。
アナログデジタル変換部２１は、ＣＣＤカメラ２で撮影されたアナログ電気信号を画素毎に多階調、例えば２５５階調のデジタル信号に変換する。なお、以下の説明では説明を簡単にするために１１階調（０〜１１階）としている。
輝度画像作成部２２は、最新の画像が入力すると、その最新の画像の画素毎に画素のデジタル信号を平均化して画素の輝度を算出し、その画素の輝度を画素の値として輝度画像を作成する。また、輝度画像作成部２２は、最も先に記憶された輝度画像を消去し、他の画像メモリ１２に記憶されている輝度画像を１つ古い画像が記憶される画像メモリ１２に移し変える。それから、最新の輝度画像を、最も新しい画像が記憶されるように割り当てられている画像メモリ１２に記憶する。
【００１３】
画像処理部１６は、画像メモリ１２に記憶される輝度画像から火災候補領域を抽出する火災候補領域抽出手段２５、火災候補領域抽出手段２５によって抽出された火災候補領域が本当の火災領域であるか否かを判別して火災を検出する火災検出手段２６を有する。
火災候補領域抽出手段２５は、画素毎に最新の輝度画像の輝度と直前の輝度画像の輝度との差分を求めて差分画像を作成するフレーム差分処理部３１を有する。
【００１４】
また、火災候補領域抽出手段２５は、画素毎に、最新の輝度画像の輝度と直前の輝度画像の輝度とを比較し、高い方の輝度を画素の値とする高輝度画像を作成する高輝度画像作成部３２、画素毎に、差分画像と高輝度画像の輝度とを乗算して得られる差分輝度積を画素値とする差分輝度積画像を作成する差分輝度積画像作成部３３を有する。
また、火災候補領域抽出手段２５は、画素毎に、差分輝度積画像の差分輝度積が設定値保存メモリ１３に記憶されている所定の閾値以上か否かを判断し、差分輝度積が閾値以上のときこの画素が火災候補画素であるとして抽出し、抽出した火災候補画素に他の火災候補画素が隣接しているときには連結し、火災候補領域とする火災候補領域抽出部３４を有する。
【００１５】
火災検出手段２６は、火災候補領域特徴量演算手段３６、周波数解析演算手段３７、火災判別手段３８を有する。
火災候補領域特徴量演算手段３６は、火災候補領域の特徴量、例えば平均輝度または面積を所定時間に亘って演算する。
周波数解析演算手段３７は、ウェーブレット変換演算手段と２次元ＦＦＴ手段とから構成され、火災候補領域特徴量演算手段３６で演算された特徴量の時系列データにウェーブレット変換を行って、時間−周波数スペクトルの画像を求める。そして、２次元ＦＦＴ手段がその時間−周波数スペクトルの画像に２次元ＦＦＴを行って、時間軸の分布と周波数軸の分布を示す画像を求める。また、それぞれ作成した画像から、周波数重心位置の最小値と分散の比率と、Ｘ軸の重心平均位置とＹ軸の重心平均位置の比率とを演算する。
火災判別手段３８は、それぞれ演算した周波数重心位置の最小値と分散の比率と、Ｘ軸の重心平均位置とＹ軸の重心平均位置の比率とを基に、所定値と比較して、抽出した火災候補領域が火災（炎）であるか否かの判別を行う。
【００１６】
図３は、火災候補領域を抽出する手順を示すフローチャートである。図４は、火災候補領域を抽出する手順で使用または作成される、輝度が数値で表示される輝度画像である。図４において、説明のために、炎９や回転灯７、ナトリウム灯８、人物１０の場合を分けて図示している。この図４は、図２の撮影画像においてそれぞれの領域が画像処理部１６の処理によってどのように処理されるかを説明するためのものである。図４（ａ）は、ＣＣＤカメラ２で一番最新に撮影した最新画像の直前に撮影された輝度画像である。図４（ｂ）は、最新の時点で撮影された輝度画像であり、代表的に縦横３マスづつ（画素）の画像を１１階調で示している。
【００１７】
ここで、図４の直前画像（ａ）および最新画像（ｂ）において、各領域（炎、ナトリウム灯、人物）のそれぞれの特徴について説明する。
（１）炎、回転灯の場合
この領域は、輝度値が高く、かつ動きのある領域である。しかし、炎の場合は、動く部分は上部に限られるので、直前画像（ａ）と最新画像（ｂ）では、下部領域の輝度値の変化はほとんどない。
（２）ナトリウム灯（固定光源の場合）
この領域は、輝度値が高いが、直前画像（ａ）と最新画像（ｂ）において、動き（変化）がほとんどない領域である。仮に、何らかの原因で、輝度値が変化しても（例えば、左上マス、右下マス）、炎の領域のような大きな変化はないので、差分画像（ｃ）では差分値の値が小さく、差分輝度積をとっても所定値を越えることはない。
（３）人物の場合
この領域は、動きはあるが、もともと発光するわけではないので、輝度値が低い領域である。このため、差分画像（ｃ）では差分値が生じるが、輝度値が低いため、差分輝度積（ｅ）を求めても、所定値を越えることはない。
【００１８】
次に、火災候補領域の抽出手順について図３を参照して説明する。
この図４（ａ）、図４（ｂ）に示す輝度画像がそれぞれ直前の画像、最新の画像として画像メモリ１２に記憶されている。
ステップＳ１０１で、フレーム差分処理部３１は、最新の画像（図４（ｂ）に示す輝度画像）と直前の画像（図４（ａ）に示す輝度画像）を画像メモリ１２から読み込み、対応する画素毎に差分を求め、その絶対値を算出し、図４（ｃ）に示す差分絶対値が画素の値となる差分画像を作成する。
ステップＳ１０２で、高輝度画像作成部３２は、対応する画素毎に、最新の画像（図４（ｂ））と直前の画像（図４（ａ））との輝度を比較して高い輝度の方が画素の値となる高輝度画像（図４（ｄ））を作成する。
ステップＳ１０３で、差分輝度積画像作成部３３は、画素毎に、図４（ｃ）に示す差分画像の差分絶対値と図４（ｄ）に示す高輝度画像の輝度とを乗算し、図４（ｅ）に示す差分輝度積を画素の値とする差分輝度積画像を作成する。
ステップＳ１０４で、火災候補領域抽出部３４は、差分輝度積画像の差分輝度積が所定の閾値として設定されている１６以上か否かを判断し、差分輝度積が１６以上のときその画素を火災候補画素として火災候補画素画像を作成する。
なお、閾値と比較する前に、差分輝度積画像（図４（ｅ））は、例えば、約４秒（計１２０枚）に亘って画像を累計した上で、輝度積の値を平均化するようにする。また、この際、差分輝度積画像を時間軸方向へＬＰＦ処理してもよい。このようにして、明るく動きのある部分を強調した画像が作成できる。
ステップＳ１０５で、火災候補画素に対して隣接する他の火災候補画素が有るか否かを判断し、隣接する火災候補画素が有るとき、画素同士を連結し、隣接する火災候補画素がないとき単独の画素を火災候補領域として抽出する。
【００１９】
このように最新画像と直前画像との輝度の差分画像を作成することで、輝度値は高くても輝度の変化がほとんどない例えばナトリウム灯８を火災候補領域から除くことができ、差分輝度積が所定の閾値以上か否かにより、人間のように動きはあるが輝度としては比較的小さなものを火災候補領域から除くことができるので、火災候補領域として残る領域は明るくて動きのある本当の炎９と回転灯７だけに絞ることができ、火災検出手段２６において、火災候補領域の特徴量を求めるための演算量が少なくなる。
また、差分画像を考慮して火災候補領域を抽出するので、背景が明るくても炎のように明るくて動きのある領域だけを正しく火災候補領域として抽出できる。
【００２０】
また、本当の炎９についても、炎９の根元部分では輝度は高いが輝度の変化は小さいので、火災候補領域として更に小さな領域に絞ることができ、火災検出手段２６において、火災候補領域の特徴量を求めるための演算量がさらに少なくなる。
なお、差分輝度積の画素値と所定値とを比較するにあたっては、実施形態で説明したように画素毎に行ってもよいが、複数の画素を一つのブロックとしてまとめ、そのブロック毎に閾値の比較を行うようにしてもよい。例えば、画面を格子状に１２００程度に分割して、各ブロック内における差分輝度積の総和が閾値を超えた場合に、そのブロック領域を火災候補領域（注目領域ともいう）とするようにしてもよい。
【００２１】
ここで、閾値について説明する。輝度値を２５５階調で表す場合、直前画像の輝度値が０で、最新画像の輝度値が２５５の値をとるとき、差分値が２５５となり、高輝度画像の輝度値が２５５となる。従って、差分輝度積画像の値は、２５５×２５５で、６５０２５となる。これが差分輝度積画像のとりうる最大値となる。
火災のような場合は、一例として、最新画像が２００、直前画像が１８０程度の値をとるので、差分値２０、高輝度画像の値が２００であるから、差分輝度積画像は４０００となる。このため、輝度値が２５５階調の場合は、４０００程度を閾値の目安とすることができる。
【００２２】
次に、火災検出手段２６の動作について説明する。まず、火災候補領域特徴量演算手段３６は、火災候補領域抽出手段２５によって抽出された火災候補領域の特徴量を所定の時間に亘って演算する。ここでは、例えば火災候補領域の平均輝度を所定時間にわたって演算し、図５に示すようなデータを収集する。
この平均輝度の時系列データに対して、周波数解析演算手段３７を構成するウェーブレット変換演算手段がウェーブレット変換を行い、図６に示す横軸が時間、縦軸が周波数で示される時間−周波数スペクトルの画像を得る。ここで図６（ａ）に示す時間−周波数スペクトルは、火災候補領域が炎９の場合、図６（ｂ）に示す時間−周波数スペクトルは、火災候補領域が回転灯７の場合のものである。
なお、参考までに図８に図６で示した時間−周波数スペクトルの原画像を示す。
【００２３】
図６の時間−周波数スペクトルの画像から分かるように、回転灯７の場合、時間が経過しても周波数が一定であるのに対し、炎９の場合、時間の経過に従って周波数が一定な値をとらずに絶え間なく変化している。このことを何らかの評価値で表せば、その火災候補領域が炎９によるものか回転灯７によるものなのかを識別することができる。評価値の求め方には、色々あるが、ここでは、図６の画像において周波数重心位置の最小値と分散の比率とを演算する。
【００２４】
図６の時間−周波数スペクトルの画像において、回転灯の場合は、炎の場合に比べて、ある高い周波数の値をとり、しかもその値は、時間が経過しても、変化せずほぼ一定の値をとる。つまり、ここで図示しない分散値演算手段が、時間−周波数スペクトルの画像から分散値Ｖを演算すれば、その分散値Ｖは、炎の場合は大きい数値となり、回転灯の場合は、小さい値となる。
また、図示しない、周波数軸（Ｙ軸）の重心位置を演算する重心演算手段が、時間−周波数スペクトルの画像から重心Ｈｙを求め、かつその重心Ｈｙの最小値ＭｉｎＨｙを求めるようにすれば、その重心の最小値ＭｉｎＨｙは、炎の場合は小さい数値となり、回転灯の場合は、大きい数値となる。
従って、評価値Ｓ＝重心の最小値ＭｉｎＨｙ／分散Ｖとすれば、炎の場合、この評価値Ｓは、回転灯に比べ非常に小さい値となることから、炎による領域なのか回転灯による領域なのかを識別することが可能となる。ここで説明した分散値演算手段と重心演算手段が、分散及び重心を求めて評価値を演算する評価値演算手段の一例となる。
【００２５】
また、周波数解析演算手段３７を構成するもう一つの手段である２次元ＦＦＴ手段について説明する。２次元ＦＦＴ手段は、図６の時間−周波数スペクトルに対して、２次元ＦＦＴ処理を施し、図７に示す、横軸が時間軸の分布、縦軸が周波数軸の分布（複雑さ）を示す画像を求める。ここで、図７（ａ）に示したものが、炎の場合で、図７（ｂ）に示したものが回転灯の場合である。なお、図７において、白色の部分が強度が一番大きい箇所である。
図７において、炎９の場合には、時間軸に関して高周波まで分布しており、かつ周波数軸に関して低周波に分布していることがわかる。これに対し、回転灯７の場合には、時間軸に関して低周波に分布しており、周波数軸に関して高周波まで分布していることがわかる。ここでは、この図７の画像から、それぞれＸ軸の重心平均位置とＹ軸の重心平均位置の比率を演算して評価値を求める。
【００２６】
火災判別手段３８は、図６、図７において、それぞれ演算した周波数重心位置の最小値ＭｉｎＨｙと分散Ｖの比率と、Ｘ軸の重心平均位置とＹ軸の重心平均位置の比率とを基に、所定値と比較して火災（炎）であるか否かの判別を行う。
【図面の簡単な説明】
【００２７】
【図１】この発明に係わる火災検出装置のブロック図である。
【図２】この発明に係わるトンネル内を監視するＣＣＤカメラが撮影する画像である。
【図３】火災候補領域を抽出する手順を示すフローチャートである。
【図４】火災候補領域を抽出する手順で使用または作成される、輝度が数値で表示される輝度画像である。
【図５】火災候補領域の平均輝度の変化をプロットしたグラフである。
【図６】火災候補領域の平均輝度の変化をウェーブレット変換して得られた時間−周波数スペクトルである。
【図７】図６の時間−周波数スペクトルを２次元ＦＦＴして得られた２次元ＦＦＴ結果である。
【図８】図６に示す時間−周波数スペクトルの原画像である。
【符号の説明】
【００２８】
１ 火災検出装置、２ ＣＣＤカメラ、３ 撮像部、４ 画像処理装置、５ 表示部、６ 車両、７ 回転灯、８ ナトリウム灯、９ 炎、１０ 人間、１１ 画像入力部、１２ 画像メモリ、１３ 設定値保存メモリ、１６ 画像処理部、１７ 画像出力部、２１ アナログデジタル変換部（Ａ／Ｄ変換部）、２２ 輝度画像作成部、２５ 火災候補領域抽出手段、２６ 火災検出手段、３１ フレーム差分処理部、３２ 高輝度画像作成部、３３ 差分輝度積画像作成部、３４ 火災候補領域抽出部、３６ 火災候補領域特徴量演算手段、３７ 周波数解析演算手段、３８ 火災判別手段。
【技術分野】
【０００１】
この発明は、火災検出に画像処理を用いた火災検出装置に関し、特に監視区域に監視対
象である炎以外の光源が混在する場合に用いて好適な火災検出装置に関するものである。
【背景技術】
【０００２】
従来の火災検出装置は、撮像手段と、撮像手段によって撮像された画像から所定値以上の輝度を有する領域を火災候補領域として抽出する火災候補領域抽出手段と、火災候補領域の画素情報やその火災候補領域に関する情報に基づき、対象物が炎であるか否かを判断する火災判別手段とを備え、火災判別手段は、情報として、対象物画像領域の円形度、対象物画像領域の大きさの時間的分散率、対象物画像領域の大きさの時間変化についての自己相関を割り出し、割り出された対象物画像領域の円形度、対象物画像領域の大きさの時間的分散率、対象物画像領域の大きさの時間変化についての自己相関に基づいて対象物が炎であるか否かを判断する（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平８−３０５９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、トンネル内での火災を検出するとき、火災候補領域を輝度の高低に基づいて抽出すると、所定値以上の輝度を有する領域、例えば、炎以外に回転灯、車両のテールランプ、ナトリウム灯などの領域が全て抽出されてしまうので、その後火災判別手段で火災候補領域の特徴量を求めるための演算量が火災候補領域の数が多いために膨大になり、火災判別処理に長い時間がかかってしまうという問題がある。
また、輝度値だけによって火災候補領域を抽出すると、背景が明るい場合には、正しい領域を抽出できず、背景を含んだ領域を抽出してしまうという問題がある。
【０００５】
この発明の目的は、背景が明るくても正しい火災候補領域を抽出でき、抽出される火災候補領域の数が少なく、対象物が火災か否かの判断に要する演算量が少ない火災検出装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に係わる火災検出装置は、監視区域を撮影する撮像手段と、撮影した画像を処理することにより上記監視区域内における火災の検出を行う画像処理手段とを備え、上記画像処理手段が、撮像した画像から火災候補領域を抽出する火災候補領域抽出手段と、抽出された火災候補領域が本当の火災領域であるかを検出する火災検出手段とを有する火災検出装置において、上記火災候補領域抽出手段は、時系列的に連続する最新画像と直前画像との差分画像を作成するフレーム差分処理部と、最新画像と直前画像を画素毎に比較して輝度の高い方の輝度を輝度とする高輝度画像を作成する高輝度画像作成部と、上記差分画像と上記高輝度画像の輝度とを乗算して差分輝度積画像を作成する差分輝度積画像作成部と、上記差分輝度積画像の差分輝度積が閾値以上の画素を火災候補領域として抽出する火災候補領域抽出部と、を有する。
【発明の効果】
【０００７】
この発明に係わる火災検出装置の効果は、差分画像に高輝度画像を乗算して差分輝度積を求め、その差分輝度積が閾値以上のとき、その画素を火災候補領域として抽出する。このため、明るくて動きのある部分だけが火災候補領域として抽出することができ、明るいが動きのないナトリウム灯や動きはあるが明るくない人物などは火災候補領域として抽出されない。従って、輝度値だけによる抽出に比べ、火災候補領域の数を減少することができ、火災候補領域の特徴量の演算量を減少することができる。また、差分画像を考慮して火災候補領域を抽出するので、背景が明るくても炎のように明るくて動きのある領域だけを正しく火災候補領域として抽出できる。
【発明を実施するための最良の形態】
【０００８】
図１は、この発明に係わる火災検出装置のブロック図である。図２は、この発明に係わるトンネル内を監視するＣＣＤカメラが撮影する画像である。
この発明の実施の形態１に係わる火災検出装置１は、図１に示すように、例えばＣＣＤカメラ２を用いた撮像手段としての撮像部３、撮像部３で撮影された画像を処理する画像処理手段としての画像処理装置４、画像処理装置４からの情報を表示する表示部５を備える。なお、撮像手段に用いるＣＣＤカメラ２以外に、ＣＭＯＳカメラ、赤外線カメラなど監視区域から入射される光信号を電気信号に変換し、二次元に画素が配置されているものであれば何れでもよい。
【０００９】
ＣＣＤカメラ２は、例えば、１秒間に３０回監視区域を撮影し、時系列的に連続する３０枚の画像を出力する。
ＣＣＤカメラ２は、例えば監視区域としてのトンネル内全体を見渡せる位置に設置される。図２は、ＣＣＤカメラ２により撮影された画像で、この画像から分かるようにＣＣＤカメラ２は車両６が走り去って行く方向を映すように、例えばトンネル内の側壁上部に設置されている。ＣＣＤカメラ２により撮影された画像には、車両６の回転灯７、ナトリウム灯８、炎９および人物１０が撮影されている。
【００１０】
画像処理装置４は、ＣＣＤカメラ２で撮影され入力される電気信号を処理する画像入力部１１、画像入力部１１からの輝度画像を記憶する複数の画像メモリ１２、設定値を保存する設定値保存メモリ１３、画像メモリ１２および設定値保存メモリ１３からの情報に基づいて処理を行い火災判別を行う画像処理部１６、画像処理部１６からの画像情報を表示部５へ出力する画像出力部１７を有する。
そして、画像処理装置４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース回路を有するコンピュータから構成されている。
【００１１】
複数の画像メモリ１２は、順番が付けられており、小さな数の順番が付けられた画像メモリ１２から順に、時系列的に連続する最新の画像から所定の枚数だけ遡る画像が記憶されるように割り当てられている。そして、最新の画像を記憶するときには、最も大きな数の順番が付けられた画像メモリ１２に記憶された画像を消去し、画像メモリ１２に記憶されている画像をそれが記憶されている画像メモリ１２より１つ大きな数の順番が付けられた画像メモリ１２に移し変える。それから、最新の画像を最も小さな数の順番が付けられた画像メモリ１２に記憶する。
【００１２】
画像入力部１１は、ＣＣＤカメラ２から送られてくる電気信号をデジタル信号に変換するアナログデジタル変換部（Ａ／Ｄ変換部）２１、画素毎にデジタル信号の大きさを画素の輝度とし、その画素の輝度を画素の値とする輝度画像を作成して画像メモリ１２に記憶する輝度画像作成部２２を有する。
アナログデジタル変換部２１は、ＣＣＤカメラ２で撮影されたアナログ電気信号を画素毎に多階調、例えば２５５階調のデジタル信号に変換する。なお、以下の説明では説明を簡単にするために１１階調（０〜１１階）としている。
輝度画像作成部２２は、最新の画像が入力すると、その最新の画像の画素毎に画素のデジタル信号を平均化して画素の輝度を算出し、その画素の輝度を画素の値として輝度画像を作成する。また、輝度画像作成部２２は、最も先に記憶された輝度画像を消去し、他の画像メモリ１２に記憶されている輝度画像を１つ古い画像が記憶される画像メモリ１２に移し変える。それから、最新の輝度画像を、最も新しい画像が記憶されるように割り当てられている画像メモリ１２に記憶する。
【００１３】
画像処理部１６は、画像メモリ１２に記憶される輝度画像から火災候補領域を抽出する火災候補領域抽出手段２５、火災候補領域抽出手段２５によって抽出された火災候補領域が本当の火災領域であるか否かを判別して火災を検出する火災検出手段２６を有する。
火災候補領域抽出手段２５は、画素毎に最新の輝度画像の輝度と直前の輝度画像の輝度との差分を求めて差分画像を作成するフレーム差分処理部３１を有する。
【００１４】
また、火災候補領域抽出手段２５は、画素毎に、最新の輝度画像の輝度と直前の輝度画像の輝度とを比較し、高い方の輝度を画素の値とする高輝度画像を作成する高輝度画像作成部３２、画素毎に、差分画像と高輝度画像の輝度とを乗算して得られる差分輝度積を画素値とする差分輝度積画像を作成する差分輝度積画像作成部３３を有する。
また、火災候補領域抽出手段２５は、画素毎に、差分輝度積画像の差分輝度積が設定値保存メモリ１３に記憶されている所定の閾値以上か否かを判断し、差分輝度積が閾値以上のときこの画素が火災候補画素であるとして抽出し、抽出した火災候補画素に他の火災候補画素が隣接しているときには連結し、火災候補領域とする火災候補領域抽出部３４を有する。
【００１５】
火災検出手段２６は、火災候補領域特徴量演算手段３６、周波数解析演算手段３７、火災判別手段３８を有する。
火災候補領域特徴量演算手段３６は、火災候補領域の特徴量、例えば平均輝度または面積を所定時間に亘って演算する。
周波数解析演算手段３７は、ウェーブレット変換演算手段と２次元ＦＦＴ手段とから構成され、火災候補領域特徴量演算手段３６で演算された特徴量の時系列データにウェーブレット変換を行って、時間−周波数スペクトルの画像を求める。そして、２次元ＦＦＴ手段がその時間−周波数スペクトルの画像に２次元ＦＦＴを行って、時間軸の分布と周波数軸の分布を示す画像を求める。また、それぞれ作成した画像から、周波数重心位置の最小値と分散の比率と、Ｘ軸の重心平均位置とＹ軸の重心平均位置の比率とを演算する。
火災判別手段３８は、それぞれ演算した周波数重心位置の最小値と分散の比率と、Ｘ軸の重心平均位置とＹ軸の重心平均位置の比率とを基に、所定値と比較して、抽出した火災候補領域が火災（炎）であるか否かの判別を行う。
【００１６】
図３は、火災候補領域を抽出する手順を示すフローチャートである。図４は、火災候補領域を抽出する手順で使用または作成される、輝度が数値で表示される輝度画像である。図４において、説明のために、炎９や回転灯７、ナトリウム灯８、人物１０の場合を分けて図示している。この図４は、図２の撮影画像においてそれぞれの領域が画像処理部１６の処理によってどのように処理されるかを説明するためのものである。図４（ａ）は、ＣＣＤカメラ２で一番最新に撮影した最新画像の直前に撮影された輝度画像である。図４（ｂ）は、最新の時点で撮影された輝度画像であり、代表的に縦横３マスづつ（画素）の画像を１１階調で示している。
【００１７】
ここで、図４の直前画像（ａ）および最新画像（ｂ）において、各領域（炎、ナトリウム灯、人物）のそれぞれの特徴について説明する。
（１）炎、回転灯の場合
この領域は、輝度値が高く、かつ動きのある領域である。しかし、炎の場合は、動く部分は上部に限られるので、直前画像（ａ）と最新画像（ｂ）では、下部領域の輝度値の変化はほとんどない。
（２）ナトリウム灯（固定光源の場合）
この領域は、輝度値が高いが、直前画像（ａ）と最新画像（ｂ）において、動き（変化）がほとんどない領域である。仮に、何らかの原因で、輝度値が変化しても（例えば、左上マス、右下マス）、炎の領域のような大きな変化はないので、差分画像（ｃ）では差分値の値が小さく、差分輝度積をとっても所定値を越えることはない。
（３）人物の場合
この領域は、動きはあるが、もともと発光するわけではないので、輝度値が低い領域である。このため、差分画像（ｃ）では差分値が生じるが、輝度値が低いため、差分輝度積（ｅ）を求めても、所定値を越えることはない。
【００１８】
次に、火災候補領域の抽出手順について図３を参照して説明する。
この図４（ａ）、図４（ｂ）に示す輝度画像がそれぞれ直前の画像、最新の画像として画像メモリ１２に記憶されている。
ステップＳ１０１で、フレーム差分処理部３１は、最新の画像（図４（ｂ）に示す輝度画像）と直前の画像（図４（ａ）に示す輝度画像）を画像メモリ１２から読み込み、対応する画素毎に差分を求め、その絶対値を算出し、図４（ｃ）に示す差分絶対値が画素の値となる差分画像を作成する。
ステップＳ１０２で、高輝度画像作成部３２は、対応する画素毎に、最新の画像（図４（ｂ））と直前の画像（図４（ａ））との輝度を比較して高い輝度の方が画素の値となる高輝度画像（図４（ｄ））を作成する。
ステップＳ１０３で、差分輝度積画像作成部３３は、画素毎に、図４（ｃ）に示す差分画像の差分絶対値と図４（ｄ）に示す高輝度画像の輝度とを乗算し、図４（ｅ）に示す差分輝度積を画素の値とする差分輝度積画像を作成する。
ステップＳ１０４で、火災候補領域抽出部３４は、差分輝度積画像の差分輝度積が所定の閾値として設定されている１６以上か否かを判断し、差分輝度積が１６以上のときその画素を火災候補画素として火災候補画素画像を作成する。
なお、閾値と比較する前に、差分輝度積画像（図４（ｅ））は、例えば、約４秒（計１２０枚）に亘って画像を累計した上で、輝度積の値を平均化するようにする。また、この際、差分輝度積画像を時間軸方向へＬＰＦ処理してもよい。このようにして、明るく動きのある部分を強調した画像が作成できる。
ステップＳ１０５で、火災候補画素に対して隣接する他の火災候補画素が有るか否かを判断し、隣接する火災候補画素が有るとき、画素同士を連結し、隣接する火災候補画素がないとき単独の画素を火災候補領域として抽出する。
【００１９】
このように最新画像と直前画像との輝度の差分画像を作成することで、輝度値は高くても輝度の変化がほとんどない例えばナトリウム灯８を火災候補領域から除くことができ、差分輝度積が所定の閾値以上か否かにより、人間のように動きはあるが輝度としては比較的小さなものを火災候補領域から除くことができるので、火災候補領域として残る領域は明るくて動きのある本当の炎９と回転灯７だけに絞ることができ、火災検出手段２６において、火災候補領域の特徴量を求めるための演算量が少なくなる。
また、差分画像を考慮して火災候補領域を抽出するので、背景が明るくても炎のように明るくて動きのある領域だけを正しく火災候補領域として抽出できる。
【００２０】
また、本当の炎９についても、炎９の根元部分では輝度は高いが輝度の変化は小さいので、火災候補領域として更に小さな領域に絞ることができ、火災検出手段２６において、火災候補領域の特徴量を求めるための演算量がさらに少なくなる。
なお、差分輝度積の画素値と所定値とを比較するにあたっては、実施形態で説明したように画素毎に行ってもよいが、複数の画素を一つのブロックとしてまとめ、そのブロック毎に閾値の比較を行うようにしてもよい。例えば、画面を格子状に１２００程度に分割して、各ブロック内における差分輝度積の総和が閾値を超えた場合に、そのブロック領域を火災候補領域（注目領域ともいう）とするようにしてもよい。
【００２１】
ここで、閾値について説明する。輝度値を２５５階調で表す場合、直前画像の輝度値が０で、最新画像の輝度値が２５５の値をとるとき、差分値が２５５となり、高輝度画像の輝度値が２５５となる。従って、差分輝度積画像の値は、２５５×２５５で、６５０２５となる。これが差分輝度積画像のとりうる最大値となる。
火災のような場合は、一例として、最新画像が２００、直前画像が１８０程度の値をとるので、差分値２０、高輝度画像の値が２００であるから、差分輝度積画像は４０００となる。このため、輝度値が２５５階調の場合は、４０００程度を閾値の目安とすることができる。
【００２２】
次に、火災検出手段２６の動作について説明する。まず、火災候補領域特徴量演算手段３６は、火災候補領域抽出手段２５によって抽出された火災候補領域の特徴量を所定の時間に亘って演算する。ここでは、例えば火災候補領域の平均輝度を所定時間にわたって演算し、図５に示すようなデータを収集する。
この平均輝度の時系列データに対して、周波数解析演算手段３７を構成するウェーブレット変換演算手段がウェーブレット変換を行い、図６に示す横軸が時間、縦軸が周波数で示される時間−周波数スペクトルの画像を得る。ここで図６（ａ）に示す時間−周波数スペクトルは、火災候補領域が炎９の場合、図６（ｂ）に示す時間−周波数スペクトルは、火災候補領域が回転灯７の場合のものである。
なお、参考までに図８に図６で示した時間−周波数スペクトルの原画像を示す。
【００２３】
図６の時間−周波数スペクトルの画像から分かるように、回転灯７の場合、時間が経過しても周波数が一定であるのに対し、炎９の場合、時間の経過に従って周波数が一定な値をとらずに絶え間なく変化している。このことを何らかの評価値で表せば、その火災候補領域が炎９によるものか回転灯７によるものなのかを識別することができる。評価値の求め方には、色々あるが、ここでは、図６の画像において周波数重心位置の最小値と分散の比率とを演算する。
【００２４】
図６の時間−周波数スペクトルの画像において、回転灯の場合は、炎の場合に比べて、ある高い周波数の値をとり、しかもその値は、時間が経過しても、変化せずほぼ一定の値をとる。つまり、ここで図示しない分散値演算手段が、時間−周波数スペクトルの画像から分散値Ｖを演算すれば、その分散値Ｖは、炎の場合は大きい数値となり、回転灯の場合は、小さい値となる。
また、図示しない、周波数軸（Ｙ軸）の重心位置を演算する重心演算手段が、時間−周波数スペクトルの画像から重心Ｈｙを求め、かつその重心Ｈｙの最小値ＭｉｎＨｙを求めるようにすれば、その重心の最小値ＭｉｎＨｙは、炎の場合は小さい数値となり、回転灯の場合は、大きい数値となる。
従って、評価値Ｓ＝重心の最小値ＭｉｎＨｙ／分散Ｖとすれば、炎の場合、この評価値Ｓは、回転灯に比べ非常に小さい値となることから、炎による領域なのか回転灯による領域なのかを識別することが可能となる。ここで説明した分散値演算手段と重心演算手段が、分散及び重心を求めて評価値を演算する評価値演算手段の一例となる。
【００２５】
また、周波数解析演算手段３７を構成するもう一つの手段である２次元ＦＦＴ手段について説明する。２次元ＦＦＴ手段は、図６の時間−周波数スペクトルに対して、２次元ＦＦＴ処理を施し、図７に示す、横軸が時間軸の分布、縦軸が周波数軸の分布（複雑さ）を示す画像を求める。ここで、図７（ａ）に示したものが、炎の場合で、図７（ｂ）に示したものが回転灯の場合である。なお、図７において、白色の部分が強度が一番大きい箇所である。
図７において、炎９の場合には、時間軸に関して高周波まで分布しており、かつ周波数軸に関して低周波に分布していることがわかる。これに対し、回転灯７の場合には、時間軸に関して低周波に分布しており、周波数軸に関して高周波まで分布していることがわかる。ここでは、この図７の画像から、それぞれＸ軸の重心平均位置とＹ軸の重心平均位置の比率を演算して評価値を求める。
【００２６】
火災判別手段３８は、図６、図７において、それぞれ演算した周波数重心位置の最小値ＭｉｎＨｙと分散Ｖの比率と、Ｘ軸の重心平均位置とＹ軸の重心平均位置の比率とを基に、所定値と比較して火災（炎）であるか否かの判別を行う。
【図面の簡単な説明】
【００２７】
【図１】この発明に係わる火災検出装置のブロック図である。
【図２】この発明に係わるトンネル内を監視するＣＣＤカメラが撮影する画像である。
【図３】火災候補領域を抽出する手順を示すフローチャートである。
【図４】火災候補領域を抽出する手順で使用または作成される、輝度が数値で表示される輝度画像である。
【図５】火災候補領域の平均輝度の変化をプロットしたグラフである。
【図６】火災候補領域の平均輝度の変化をウェーブレット変換して得られた時間−周波数スペクトルである。
【図７】図６の時間−周波数スペクトルを２次元ＦＦＴして得られた２次元ＦＦＴ結果である。
【図８】図６に示す時間−周波数スペクトルの原画像である。
【符号の説明】
【００２８】
１ 火災検出装置、２ ＣＣＤカメラ、３ 撮像部、４ 画像処理装置、５ 表示部、６ 車両、７ 回転灯、８ ナトリウム灯、９ 炎、１０ 人間、１１ 画像入力部、１２ 画像メモリ、１３ 設定値保存メモリ、１６ 画像処理部、１７ 画像出力部、２１ アナログデジタル変換部（Ａ／Ｄ変換部）、２２ 輝度画像作成部、２５ 火災候補領域抽出手段、２６ 火災検出手段、３１ フレーム差分処理部、３２ 高輝度画像作成部、３３ 差分輝度積画像作成部、３４ 火災候補領域抽出部、３６ 火災候補領域特徴量演算手段、３７ 周波数解析演算手段、３８ 火災判別手段。
【特許請求の範囲】
【請求項１】
監視区域を撮影する撮像手段と、撮影した画像を処理することにより上記監視区域内における火災の検出を行う画像処理手段とを備え、上記画像処理手段が、撮像した画像から火災候補領域を抽出する火災候補領域抽出手段と、抽出された火災候補領域が本当の火災領域であるかを検出する火災検出手段とを有する火災検出装置において、
上記火災候補領域抽出手段は、
時系列的に連続する最新画像と直前画像との差分画像を作成するフレーム差分処理部と、
上記最新画像と上記直前画像とを画素毎に比較して輝度の高い方の輝度を輝度とする高輝度画像を作成する高輝度画像作成部と、
上記差分画像と上記高輝度画像の輝度とを乗算して差分輝度積画像を作成する差分輝度積画像作成部と、
上記差分輝度積画像の差分輝度積が閾値以上の画素を火災候補領域として抽出する火災候補領域抽出部と、
を有することを特徴とする火災検出装置。
【請求項２】
上記火災検出手段は、
上記火災候補領域の特徴量を所定時間にわたって演算する火災候補領域特徴量演算手段と、上記火災候補領域特徴量演算手段によって演算された特徴量の時系列データに対して、ウェーブレット変換を行って時間−周波数スペクトルの画像を得るウェーブレット変換演算手段と、上記時間−周波数スペクトルの画像から重心および分散を求めて評価値を演算する評価値演算手段とを備えたことを特徴とする請求項１記載の火災検出装置。
【請求項１】
監視区域を撮影する撮像手段と、撮影した画像を処理することにより上記監視区域内における火災の検出を行う画像処理手段とを備え、上記画像処理手段が、撮像した画像から火災候補領域を抽出する火災候補領域抽出手段と、抽出された火災候補領域が本当の火災領域であるかを検出する火災検出手段とを有する火災検出装置において、
上記火災候補領域抽出手段は、
時系列的に連続する最新画像と直前画像との差分画像を作成するフレーム差分処理部と、
上記最新画像と上記直前画像とを画素毎に比較して輝度の高い方の輝度を輝度とする高輝度画像を作成する高輝度画像作成部と、
上記差分画像と上記高輝度画像の輝度とを乗算して差分輝度積画像を作成する差分輝度積画像作成部と、
上記差分輝度積画像の差分輝度積が閾値以上の画素を火災候補領域として抽出する火災候補領域抽出部と、
を有することを特徴とする火災検出装置。
【請求項２】
上記火災検出手段は、
上記火災候補領域の特徴量を所定時間にわたって演算する火災候補領域特徴量演算手段と、上記火災候補領域特徴量演算手段によって演算された特徴量の時系列データに対して、ウェーブレット変換を行って時間−周波数スペクトルの画像を得るウェーブレット変換演算手段と、上記時間−周波数スペクトルの画像から重心および分散を求めて評価値を演算する評価値演算手段とを備えたことを特徴とする請求項１記載の火災検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２７２５３２（Ｐ２００７−２７２５３２Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９６９１１（Ｐ２００６−９６９１１）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００２３３８２６）能美防災株式会社 (918)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００２３３８２６）能美防災株式会社 (918)
【Ｆターム（参考）】
[ Back to top ]