流水監視システムおよび流水監視プログラム
【課題】監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる流水量監視システムを提供する。
【解決手段】流水（Ｗｂ）部分を含む水路１の画像を撮影する単眼カメラ（一つのカメラ）１１と、このカメラ１１で撮影した水路１の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした時系列の複数の画像から背景画像を作成し、背景画像の時系列に従う領域変化から水路１の流水量を判定する画像処理部１３と、画像処理部１３の判定結果の情報を出力する出力手段（表示部）１９とを備える流水監視システム。
【解決手段】流水（Ｗｂ）部分を含む水路１の画像を撮影する単眼カメラ（一つのカメラ）１１と、このカメラ１１で撮影した水路１の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした時系列の複数の画像から背景画像を作成し、背景画像の時系列に従う領域変化から水路１の流水量を判定する画像処理部１３と、画像処理部１３の判定結果の情報を出力する出力手段（表示部）１９とを備える流水監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼カメラ（１つのカメラ）で撮影した水路の流水部分の時系列の画像をもとに水路の流水量を判定する流水監視システムおよび流水監視プログラムに関する。
【背景技術】
【０００２】
水路の流水状態を監視する監視手段として、従来では、監視員の直視若しくはモニタ画面による目視観察、若しくは、水流計、水圧計、流量計などの計測機器類を用いた自動計測による監視が実施されてきた。監視員による目視観察は、常時、監視員を配備しておかなければならず、人的負担が大きいとともに、流水量の異常を看過する虞があり、信頼にも問題がある。また、自動計測による監視は計測機器を水路内に装備する必要があり、設備の設置並びに保守点検作業に多くの時間と労力を要するとともに、経済性の面でも問題があった。さらに監視の対象となる水路が複数存在する施設や設備（例えば工業用冷却放水設備や人工落差水路等）においては、水路毎に上記した計測機器を設けなければならず、より問題が顕著であった。
【０００３】
監視員のモニタ画面による水路監視技術として、従来では、監視カメラを用いて河川の流れ幅、流速、水位等を監視し、河川における土石流の発生を検知・予測する土石流発生予知装置が存在した。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２０８０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、従来では、水路の流水状態を監視する設備において、監視対象となる水路内に計測機器を装備する必要があることから、設備の設置並びに保守点検作業に多くの時間と労力を要するとともに、経済性の面でも問題があった。さらに、監視対象となる水路が複数存在する場合は、各水路について水路毎に計測機器を装備する必要があることから、上記問題がより顕著であった。
【０００６】
本発明の実施形態は、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することのできる流水監視システムおよび流水監視プログラムを提供することを目的とする。
【０００７】
また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することのできる流水監視システムおよび流水監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、流水部分を含む水路を撮影する単眼カメラと、前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理手段と、前記背景画像作成処理手段により作成された時系列の複数の背景画像から変化画素領域を抽出する差分処理手段と、前記差分処理手段が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理手段と、を具備した流水監視システムを提供する。
【０００９】
また、単眼カメラで撮影した水路の画像をもとに前記水路の流水量を監視する流水監視システムとしてコンピュータを機能させるための流水監視プログラムであって、前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理機能と、前記背景画像作成処理が作成した時系列の複数の背景画像から変化画素領域を抽出する差分処理機能と、前記差分処理機能が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理機能とをコンピュータに実現させる流水監視プログラムを提供する。
【発明の効果】
【００１０】
本発明の実施形態によれば、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る流水監視システムの構成を示すブロック図。
【図２】上記実施形態における監視対象と監視対象を撮像するカメラの配置例を示す図。
【図３】上記図２に示す監視対象とカメラの配置例を示す側面図。
【図４】上記実施形態においてカメラで撮影した画像中の監視対象領域区分の一例を示す図。
【図５】上記実施形態の流水監視システムにおける超過判定処理を説明するための図。
【図６】上記実施形態の流水監視システムにおける背景画像作成処理および背景差分処理を説明するための図。
【図７】上記実施形態に係る流水監視システムの処理手順を示すフローチャート。
【図８】上記実施形態に係る流水監視システムの背景画像作成用バッファの構成を示す図。
【図９】上記実施形態に係る流水監視システムの背景画像作成処理部の機能ブロック図。
【図１０】上記実施形態に係る流水監視システムの背景画像作成処理部の動作概念を示す図。
【図１１】上記実施形態に係る流水監視システムの差分処理イメージ図。
【図１２】上記実施形態に係る流水監視システムの差分画素処理ロジックの説明図。
【発明を実施するための形態】
【００１２】
本発明の実施形態に係る流水監視システムは、［流水量の増加＝背景の減少］、［流水量の減少＝背景の増加］として捉え、背景画像の時系列の領域変化をもとに水路の流水量を認識するもので、流水部分を含む水路を単眼カメラで撮影し、撮影した時系列の複数の画像から背景と見做した画素集合を背景画像として認識し、認識した時系列の背景画像の領域の変化から上記水路の流水量を認識し、上記水路の流水量状態が正常な流水量状態にあるか否かを判定する。具体例を挙げると、工業用水路の複数の放水路から放水される流水（例えば複数の放水口の落差部分を流れる水）を一台のカメラ（単眼カメラ）で同時に撮影し、放水単位に切り出して、切り出した画像毎に背景画素と見做した画素領域を背景画像として認識し量子化して、時系列の複数の背景画像における領域差分から上記各放水路毎の流水量を認識し、上記各放水路の流水量を同時に監視する（図１乃至図７参照）。上記した背景画像の認識処理を実現する具体例として、上記カメラで撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成処理手段と、この背景画像作成処理手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する差分処理手段とを具備する。
【００１３】
上記した実施形態の流水量監視機構は、それぞれ単眼カメラで撮影した画像から背景画像（背景画素と見做した画素領域）を認識し量子化して、背景画像の時系列変化に伴う領域の変化から水路の流水量を認識する画像処理技術により実現される。従って、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００１４】
以下図面を参照して本発明の実施形態に係る流水監視システムを説明する。
【００１５】
この実施形態に係る流水監視システムは、図１に示すように、流水（Ｗｂ）部分を含む水路１の画像を撮影する単眼カメラ（一つのカメラ）１１と、このカメラ１１で撮影した水路１の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした時系列の複数の画像から背景画像を作成し、背景画像の時系列に従う領域変化から上記水路１の流水量を判定する画像処理部１３と、画像処理部１３の判定結果の情報を出力する出力手段（表示部）１９とを具備して構成される。
【００１６】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、流水部分を含む水路を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１７】
カメラ１１は、監視対象となる水路１の画像を一定の位置および画角で撮影する。この実施形態では、図２乃至図４に示すように、工業用の複数の放水路（例えば冷却用放水路）を監視対象水路として上記複数の放水路が１フレームの映像に収まるように予め設定された位置に固定され、上記複数の放水路を撮影した画像をフレーム単位の映像として出力する。図２は監視対象となる水路１の構成と同水路１に対するカメラ１１の位置関係とを示す、水路を斜め上方からみたカメラ配置図、図３は図２に示す配置構成を側方からみたカメラ配置図、図４はカメラ１１で撮影した水路１の切り出し画像を示す図である。
【００１８】
図２および図３に示す構成では、カメラ１１が撮影する流水（Ｗｂ）部分について、カメラ１１に入射される水の揺らぎ（乱反射）をより際立たせるため、監視対象となる水路１に並設された複数本（ｎ本）の放水口１ｄ，１ｄ，…，１ｄにおける落差部分１ｈ，１ｈ，…，１ｈを照明灯２により照明している。この照明灯２は、画像処理部１３の処理動作に同期して点灯駆動される。この照明灯２による照明手段は、背景部分の静態画像と流水部分の動態画像との輝度差による識別を明確にするための手段であり、監視対象の周囲環境に応じて適宜設けられ、若しくは必要に応じて点灯駆動される。なお、ここでは、水路１を流れる放水用の流水（Ｗａ）をｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄに配分し、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄから落差部分１ｈ，１ｈ，…，１ｈに流水（Ｗｂ）を均等に放水して、被冷却部材（Ｂ）の表面を均一に冷却する工程を例に示している。
【００１９】
図４に示す切り出し画像は、カメラ１１が撮影したフレーム単位の画像に含まれる、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの落差部分１ｈ，１ｈ，…，１ｈにおける各流水（Ｗｂ）から、１つの放水口１ｄを切り出し単位に、流水（Ｗｂ）部分の画像を、切り出し画像ｐ１，ｐ２，…，ｐｎとして切り出している。上記画像処理部１３は、この切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれについて、切り出し画像を処理単位に、流水（Ｗｂ）の流水量判定処理を実施する。すなわち、切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれを監視対象の水路として、流水（Ｗｂ）の流水量判定処理を実施する。ここでは、切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれを単に水路の画像と呼称する。
【００２０】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する画像バッファメモリ（BUF-A）１４ａに保持する処理機能をもつ。
【００２１】
画像処理部１３は、上記水路の画像において、上記流水（Ｗｂ）部分の揺らぎ画像（動態画像）が占める領域の割合が多くなる程、背景（静態画像）の領域が減少することに着目して、上述したように、［流水量の増加＝背景の減少］、［流水量の減少＝背景の増加］として捉え、背景画像の時系列の領域変化をもとに水路の流水量を認識するもので、背景画像作成処理部１４と、差分処理部１６と、流水量変化判定処理部１７と、判定出力処理部１８とを具備して構成される。
【００２２】
背景画像作成処理部１４は、画像バッファメモリ（BUF-A）１４ａと背景画像バッファメモリ（BUF-B）１４ｂと背景画像作成用バッファメモリ１５とを具備し、キャプチャ部１２でキャプチャした時系列の複数の画像から、上記水路の画像を単位に、後述する特定の条件を満たす画素を背景画素と見做し、その背景画素と見做した画素領域を背景（背景画像）として認識し、新たに入力された最新画像の背景との差分を抽出して抽出した差分をもとに背景を更新する処理機能を有する。この実施形態では、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像処理機能と、この背景画像処理機能で作成された背景画像と新たに入力された最新画像の背景との差分を抽出し抽出した差分をもとに背景を更新して背景更新画像を作成する背景画像更新処理機能とを有する。この処理に供される背景画像作成用バッファメモリ１５の構成並びに背景画像作成処理部１４のより詳細な処理については図８乃至図１２を参照して後述する。
【００２３】
差分処理部１６は、差分領域バッファメモリ（BUF-C）１６ａを具備し、背景画像作成処理部１４が作成した最新の（今回の）背景更新画像と前回の背景更新画像との画素毎の差分処理により背景の変化画素を抽出し、抽出した変化画素を２値化処理およびラベリングにより量子化し領域化して、変化した画素領域（背景の変化画素領域）を差分領域バッファメモリ１６ａに貯える処理機能を有する。なお、この実施形態では上記差分処理で背景の変化画素が抽出されない場合（背景に変化がない場合）であっても背景画像を更新するものとする。この差分処理部１６における処理の概要を図５に示している。差分処理部１６は、図５（ａ）に示すように、背景更新画像が作成される都度、背景画像バッファメモリ１４ｂに貯えられた最新の（処理対象となる現在の）背景更新画像について、当該画像を前回の背景更新画像と比較し、背景の変化画素を抽出して、抽出した背景の変化画素領域を背景画像バッファメモリ１４ｂに貯える。この際、差分処理部１６は、図５（ｂ）に示すように、背景更新画像が作成されると、差分処理により背景の変化画素を抽出し、抽出した背景の変化画素を２値化処理およびラベリング処理により量子化し領域化して差分領域バッファメモリ１６ａに貯える。この差分処理部１６のより詳細な更新処理についても図８乃至図１２を参照して後述する。
【００２４】
流水量変化判定処理部１７は、占有率バッファメモリ１７ａを具備し、差分処理部１６により更新された時系列の複数の背景画像（背景更新画像）から、一定の時間経過（サンプリング周期）に伴い変化した領域（変化領域）について、当該変化領域が水路の画像領域に対して占める割合を算出し、算出した占有率（＝流水量）が予め設定された領域パラメータ（Ｐａ）により示された閾値を超過しているか否かを判定する処理機能を有する。この流水量変化判定処理部１７の処理の概要を図６に示している。流水量変化判定処理部１７は、図６に示すように、１つの水路の画像領域（Ｓｚ）について、領域変化の妥当性を判定する領域（Ａａ）を定める領域パラメータ（Ｐａ）によって与えられた閾値をもとに流水量の正常／異常を判定する。領域パラメータ（Ｐａ）は変化領域の変化率（画素の変化の割合）を判定する閾値である。この判定は、１つの水路の画像領域（Ｓｚ）について、上記時間経過に伴う背景画素の変化領域（Ａｖ）が領域パラメータ（Ｐａ）によって与えられた閾値の領域（Ｓｚ−Ａａ）を超えて変化したとき、流水（Ｗｂ）の流水量が異常状態に陥ったと判定し、当該異常判定を示す判定結果情報を判定出力処理部１８に出力する。これにより、各水路について、流水量が欠乏した異常状態を水路毎に検出し外部に報知することができる。上記した判定は、上記領域（Ｓｚ−Ａａ）の画素数と上記変化領域（Ａｖ）の画素数との差分により判定することができる。
【００２５】
判定出力処理部１８は流水量変化判定処理部１７から複数（ｍ本）の水路について水路毎に正常／異常を示す判定結果情報を受け、例えば、或る１つの水路について、異常判定を示す判定結果情報を受けると、同水路の流水量が異常状態に陥ったことを外部に報知すべく表示部１４を含む所定の出力手段（例えばアラーム報知機器、無線通信機器等）を起動制御する処理機能を有する。また、定常状態においても上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄについて、放水口毎に流水量の正常／異常を表示部１４の表示画面に表示する処理機能を有する。
【００２６】
上記構成による流水監視システムの処理手順について図７に示すフローチャートを参照して説明する。この処理では、背景画像作成処理部１４により時系列の背景画像（背景更新画像）を作成し、この時系列の背景更新画像をもとに、差分処理部１６により差分画素の抽出、量子化、領域化の各処理を実施して（ステップＳ１）、その領域の変化をもとに水路の流水量の正常／異常を判定し、判定結果の情報を出力する（ステップＳ２〜Ｓ４）。この処理を監視対象となる複数の水路について繰り返し継続して実施する。
【００２７】
カメラ１１は、監視対象となる水路１の画像を一定の位置および画角で撮影し、水路１の流水（Ｗｂ）部分における水の揺らぎを光の乱反射による輝度の変動を伴う画像として捉える。ここでは、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの落差部分１ｈ，１ｈ，…，１ｈにおける流水（Ｗｂ）部分の画像をフレーム単位で撮影する。
【００２８】
このカメラ１１で撮影した画像はフレーム単位でキャプチャ部１２にキャプチャされ画像処理部１３の背景画像作成処理部１４に設けられた画像バッファメモリ１４ａに貯えられる。画像バッファメモリ１４ａは、複数フレーム（例えば３０フレーム）の画像を貯えるバッファメモリ領域を有し、最新の画像が入力される度に、最古の画像を破棄し、最新の画像を保持して、常時、最新の画像を含む一定フレーム数（３０フレーム）の画像を更新し保持する。
【００２９】
背景画像作成処理部１４は、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像（背景画素の平均画像）を作成し、この背景画像と新たに入力された最新画像の背景（最新背景画像）との差分をとった背景の更新画像（背景更新画像）を作成して、この背景更新画像を背景画像バッファメモリ１４ｂに貯える（ステップＳ１ａ）。
【００３０】
差分処理部１６は、背景画像作成処理部１４が作成した最新の（今回の）背景更新画像と前回の背景更新画像との画素毎の差分処理により背景の変化画素を抽出し、抽出した変化画素を２値化処理およびラベリングにより量子化し領域化して、変化した画素領域（背景の変化画素領域）を差分領域バッファメモリ１６ａに貯える（ステップＳ１ｂ〜Ｓ１ｅ）。
【００３１】
流水量変化判定処理部１７は、差分処理部１６により更新された時系列の複数の背景画像（背景更新画像）から、一定の時間経過（サンプリング周期）に伴い変化した領域（変化領域）について、当該変化領域が水路の画像領域に対して占める割合を算出し、算出した占有率（＝流水量）が予め設定された領域パラメータ（Ｐａ）により示された閾値を超過しているか否かを判定する（ステップＳ２，Ｓ３）。この処理では、図６に示すように、１つの水路の画像領域（Ｓｚ）について、領域変化の妥当性を判定する領域（Ａａ）を定める領域パラメータ（Ｐａ）によって与えられた閾値をもとに流水量の正常／異常を判定する。この判定は、１つの水路の画像領域（Ｓｚ）について、放水口１ｄから落差部分１ｈに放水された流水（Ｗｂ）の流水量の差分（Ａｖ）が領域パラメータ（Ｐａ）によって与えられた閾値を超えて変化したとき、流水（Ｗｂ）の流水量が異常状態に陥ったと判定し、異常判定を示す判定結果情報を判定出力処理部１８に出力する。
【００３２】
判定出力処理部１８は流水量変化判定処理部１７から複数（ｍ本）の水路について水路毎に正常／異常を示す判定結果情報を受け、例えば、或る１つの水路について、異常判定を示す判定結果情報を受けると、同水路の流水量が異常状態に陥ったことを外部に報知すべく表示部１４を含む所定の出力手段（例えばアラーム報知機器、無線通信機器等）を起動制御する（ステップＳ４）。なお、上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄについて、放水口の流水量が正常である定常状態においても上記各流水路の放水口について、放水口毎に流水量が正常である旨を表示部１４の表示画面に表示する。
【００３３】
上記した処理（ステップＳ１〜Ｓ４）を上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれについて、順次、繰り返し実行する。
【００３４】
上記したように、単眼カメラ１１で撮影した画像から水の揺らぎの度合いを認識し量子化して流水量の異常を判定する画像処理機構が実現でき、これによって、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができるとともに、監視対象にある複数の水路に対して、一つの撮像カメラを用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００３５】
ここで、上記した実施形態に係る、背景画像作成処理部１４および差分処理部１６により実現される背景の画像更新技術について、その具現化した構成並びに動作を図８乃至図１２を参照して説明する。
【００３６】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、本出願人は、自動閾値の算出処理機能を備えた画像処理技術（特開２００８−２５０８９２参照）を応用して、現在画像と過去画像から停止物を検知し、停止物と動物体を区別して画面上に表示することを可能にした停止物検知処理機能を実現した（特願２００９−０４６８８５）。この停止物検知処理機能では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。
【００３７】
本発明の実施形態に係る背景画像作成処理機能の概要は、画面変動のない画素＝背景画素と定義し、背景画素の平均画像と最新背景画素との差分をとり、背景変化画素を抽出する機能である。
【００３８】
この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００３９】
背景画像作成処理部１４は、背景画像作成用バッファ１５をリード（Ｒ）、ライト（Ｗ）アクセスして、背景画像作成用バッファ１５に格納された各種の情報をもとに、キャプチャ１２より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果（輝度分散値または標準偏差）を利用して、低輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成するとともに、最新背景輝度と差分処理を実施して背景変化画素を抽出する処理機能を有する。
【００４０】
背景画像作成処理部１４は、カメラ１１で撮影した画像をキャプチャ部１２を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更
新する背景変化画素抽出手段とを具備して構成される。
【００４１】
背景画像作成用バッファメモリ１５は背景画像作成処理部１４の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファメモリであり、代表的な背景画像作成用のバッファ構造を図８に示している。この背景画像作成用バッファ１５には、背景輝度総和（ΣＢｉ）を貯えるバッファ１５１、複数の背景画素の平均輝度である背景輝度（Ａｖｅ＿Ｂｉ）を貯えるバッファ１５５、３０画面分の画像の背景画像＝背景輝度（Ｂ０〜Ｂ２９）画素単位でを貯えるバッファ１５３、背景輝度バッファ番号（ＢｕｆＮｕｍ）を画素毎に貯えるバッファ１５４、背景輝度登録数（ＥｎｔｒｙＮｕｍ）を画素毎に貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（ＥｎｔｒｙＦｒｍＣｔｒ）を画素毎に貯えるバッファ１５６等の各領域が設けられる。さらに、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。なお、実際の構成では、この背景画像作成用バッファメモリ１５に、キャプチャ部１２から入力された１画面単位の画像データ（カラー）を貯える画像バッファメモリ１４ａ、作成した背景画像（背景更新画像）を貯える背景画像バッファメモリ１４ｂ、および差分領域バッファメモリ１６ａが設けられる。
【００４２】
この実施形態では複数枚の背景画素（平均輝度）の平均輝度を背景輝度として算出し利用するものとする（画素によって背景輝度の更新タイミングが異なるようになる）。この背景画像（平均輝度の平均）（Ａｖｅ＿Ｂｉ）と、背景輝度総和（ΣＢｉ）に加え、画素によって背景更新タイミングが異なることから、画素毎に背景輝度（Ｂ０〜２９）を作成するためのバッファ（３０枚）１５３と、背景輝度バッファ番号を貯えるバッファ１５４、背景輝度登録数（最大２９）を貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（フレームカウント値）を貯えるバッファ１５をそれぞれ準備する。
【００４３】
この背景輝度（Ｂ０〜２９）を作成するためのバッファ１５３には、背景画像作成処理部１４で抽出処理した低輝度の安定画素がバッファ番号、フレームカウンタ情報等の指定に従い１画素単位で登録され、画素集合による背景画像が生成される。
【００４４】
背景画像作成処理部１４の機能ブロックを図９に示している。背景画像作成処理部１４は、キャプチャ部１２から入力した画像を貯える画像バッファメモリ２１（画像バッファメモリ１４ａに相当）と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部２２と、背景画素の更新処理を実施する背景画像更新部２３と、背景画像更新部２３の更新処理を制御する背景画像更新管理部２４と、間隔の開いた背景画素をリフレッシュ処理する背景画像リフレッシュ部２５と、背景画像作成用のデータを貯えるバッファ２６と、作成した背景画像を貯える背景画像バッファメモリ２７（背景画像バッファメモリ１４ｂに相当）とを具備して構成される。画像バッファメモリ２１、背景画像作成用データバッファ２６、背景画像バッファメモリ２７等は図１に示す背景画像作成用バッファ１５に置かれる。変動画素抽出部２２には、低輝度の安定画素を抽出するための最低閾値（上下む限値）、利用フレーム数等が外部パラメータとして入力される。
【００４５】
変動画素抽出部２２は、画像バッファメモリ２１から複数画面分の画像をリード（Ｒ）して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部２４は、現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている画素について、背景画像リフレッシュ部２５にリフレッシュを指示する。背景画像リフレッシュ部２５はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部２３は、変動画素抽出部２２から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素（注目画素）の輝度分散値若しくは標準偏差が低輝度の安定画素であるか否かを判定し、低輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、平均画像データを利用して、背景画像作成データの更新を実施し、更新処理した背景画像を背景画像バッファメモリ２７に登録する。この背景画像バッファメモリ２７への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。
【００４６】
上記背景画像作成処理部１４における動作概念を図１０に示している。本出願人により実現された自動閾値設定技術は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している（特開２００８−２５０８９２参照）。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。この特性を利用し、自動閾値が低い状態＝背景の変動がない＝背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、最新の登録背景輝度と現在の背景画像との差分処理を実施し、背景変化画素を抽出することを基本とする。この動作概念を図４に示している。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図中の符号Ｔａは最低閾値、ＳＡは最低閾値（Ｔａ）以下の低輝度安定範囲である。背景画像作成処理部１４は、注目画素が最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否かを判定し、最低閾値（Ｔａ）以下であるときに、背景画素の更新処理を実施する。
【００４７】
この背景画像作成処理部１４における背景画像作成処理では、入力された最新の画像（モノクロ／カラーの画像データ）をセットし、現在のフレームカウンタ情報を取得する。上記入力画像について、上記した画素毎の自動閾値の算出処理を実施する。この算出処理で算出された画素毎の輝度分散値若しくは標準偏差を利用して背景画素の作成並びに更新処理を実施する。
【００４８】
背景画像の作成処理では、入力された画像を全画面分走査し、自動閾値の小さい（低輝度で安定している）画素（＝最低閾値と同じ画素）を背景画素と判断する（閾値算出のタイミングに合わせる）。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を０クリアし、背景輝度登録数を０で初期化、バッファカウンタ等も初期化する。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を０クリアし、背景輝度登録数を０で初期化、バッファカウンタ等も初期化する（リフレッシュ処理）。背景輝度総和、最古背景輝度値、１フレーム前背景輝度を利用して、背景画像総和の更新、背景画像の更新、背景輝度バッファの更新を行う。なお、背景登録数が所定数（３０フレーム）に達していない場合は、総和への足し込みのみを実行し、インクリメントする。この先入先出処理は［背景輝度（平均）＝背景画素総和（２９枚分）−最古背景輝度＋１フレーム前の背景輝度／２９］で表すことができる。また、現在平均輝度をバッファへ登録し、背景バッファカウンタのインクリメントを実施し、現在フレームカウンタ情報を背景画素更新フレームカウンタに格納する。背景画像は、最大３０枚を、成熟／未成熟画像とセットでバッファリングするものとし、バッファリング周期（保存周期）は外部パラメータにて指定可能とする。また、現在バッファ番号＋ｎ秒前の背景画像、成熟／未成熟画像の取得関数を準備し、取得可能とする。なお、未成熟画像は、背景画像を作成可能な状態に至らない（背景輝度バッファ１５３に所定数の背景画像が登録されていない状態にある）背景輝度バッファ１５３上の背景画像であり、成熟画像は、背景画像を作成可能な状態にある（背景輝度バッファ１５３に所定数の背景画像が登録された状態にある）背景輝度バッファ１５３上の背景画像である。
【００４９】
背景画像更新処理では、背景画像の更新対象画素数、および背景画像の更新画素数を初期化し、画像サイズ分ループして以下の処理を実施する。このループ処理では、処理対象となる注目画素の画素番号の取得し、その注目画素がマスク対象画素であるか否かを判定する。ここで、注目画素がマスク対象画素でない（更新対象画素である）とき、背景画像更新対象画素数をインクリメントし、その画素が所定の時間を経過した（リフレッシュ未更新間隔時間を超過した）リフレッシュ対象画素であるか否かを判定する。リフレッシュ対象画素でないとき、注目画素の背景画素更新処理を実施する。
【００５０】
この注目画素の背景画素更新処理が正常終了したことを確認して、背景画像の更新画素数をインクリメントする。また、注目画素がマスク対象画素であるときは上記ループ内の各処理をスキップする。またリフレッシュ対象画素であるときは注目画素に対する背景情報の初期化処理を実施し、注目画素の背景画素更新処理を実施する。この背景情報の初期化処理では、背景画像輝度バッファの初期化、背景画像輝度現在バッファ番号の初期化、背景輝度登録数の初期化、背景輝度登録フレームカウンタの初期化、現在背景画像データの当該画素を初期化、最新登録背景画像データの当該画素を初期化、背景更新画像の当該画素を初期化、背景セットアップ画像の当該画素を初期化等が行われる。
【００５１】
背景差分処理では、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度が、背景画像登録数が３０に達している場合（成熟背景画像段階にあるとき）、現在バッファ番号背景輝度と背景画像（平均画像）を利用して図１１に示す背景差分処理を実施する。なお、背景画像（平均画像）は、参照遅延時間を別途指定可能とする（何秒前に作成された背景画像と差分を実施するかを指定可能とする）。ここでの閾値は、図１２に示すように、上限、下限の２値を有し、ヒステリシスをもった判定を行うようにする。
【００５２】
上記したように、実施形態の流水量監視機構は、単眼カメラで撮影した水路の画像において、上記流水（Ｗｂ）部分の揺らぎ画像（動態画像）が占める領域の割合が多くなる程、背景（静態画像）の領域が減少することに着目して［流水量の増加＝背景の減少］、［流水量の減少＝背景の増加］として捉え、背景画像の時系列の領域変化をもとに水路の流水量を認識する画像処理技術により実現される。従って、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００５３】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。上記実施形態では、水路１を流れる放水用の流水（Ｗａ）をｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄに配分し、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄから落差部分１ｈ，１ｈ，…，１ｈに流水（Ｗｂ）を均等に放水して、被冷却部材（Ｂ）の表面を均一に冷却する工程を例に、背景画像の差分により流水量を正常／異常を判定する流水監視システムを例に挙げたが、これに限らず、例えば、河川の流水による路側幅の変化を背景の差分として捉え、背景画像の差分により河川の流水量を正常／異常を判定する流水監視システムを実現することも可能である。また、実施形態に示される全構成要素から幾つかの構成要素を削除した構成であってもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【符号の説明】
【００５４】
１…水路、１ｄ…放水口、１ｈ…落差部、２…照明灯、１１…カメラ（単眼カメラ）、１２…キャプチャ部、１３…画像処理部、１４…背景画像作成処理部、１４ａ…画像バッファメモリ（BUF-A）、１４ｂ…背景画像バッファメモリ（BUF-B）、１５…背景画像作成用バッファメモリ、１６…差分処理部、１６ａ…差分領域バッファメモリ（BUF-C）、１７…流水量変化判定処理部、１７ａ…占有率バッファメモリ、１８…判定出力処理部、１９…出力手段（表示部）、ｐ１，ｐ２，…，ｐｎ…切り出し画像、Ｗｂ…流水、Ｐａ…領域パラメータ。
【技術分野】
【０００１】
本発明は、単眼カメラ（１つのカメラ）で撮影した水路の流水部分の時系列の画像をもとに水路の流水量を判定する流水監視システムおよび流水監視プログラムに関する。
【背景技術】
【０００２】
水路の流水状態を監視する監視手段として、従来では、監視員の直視若しくはモニタ画面による目視観察、若しくは、水流計、水圧計、流量計などの計測機器類を用いた自動計測による監視が実施されてきた。監視員による目視観察は、常時、監視員を配備しておかなければならず、人的負担が大きいとともに、流水量の異常を看過する虞があり、信頼にも問題がある。また、自動計測による監視は計測機器を水路内に装備する必要があり、設備の設置並びに保守点検作業に多くの時間と労力を要するとともに、経済性の面でも問題があった。さらに監視の対象となる水路が複数存在する施設や設備（例えば工業用冷却放水設備や人工落差水路等）においては、水路毎に上記した計測機器を設けなければならず、より問題が顕著であった。
【０００３】
監視員のモニタ画面による水路監視技術として、従来では、監視カメラを用いて河川の流れ幅、流速、水位等を監視し、河川における土石流の発生を検知・予測する土石流発生予知装置が存在した。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２０８０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、従来では、水路の流水状態を監視する設備において、監視対象となる水路内に計測機器を装備する必要があることから、設備の設置並びに保守点検作業に多くの時間と労力を要するとともに、経済性の面でも問題があった。さらに、監視対象となる水路が複数存在する場合は、各水路について水路毎に計測機器を装備する必要があることから、上記問題がより顕著であった。
【０００６】
本発明の実施形態は、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することのできる流水監視システムおよび流水監視プログラムを提供することを目的とする。
【０００７】
また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することのできる流水監視システムおよび流水監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、流水部分を含む水路を撮影する単眼カメラと、前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理手段と、前記背景画像作成処理手段により作成された時系列の複数の背景画像から変化画素領域を抽出する差分処理手段と、前記差分処理手段が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理手段と、を具備した流水監視システムを提供する。
【０００９】
また、単眼カメラで撮影した水路の画像をもとに前記水路の流水量を監視する流水監視システムとしてコンピュータを機能させるための流水監視プログラムであって、前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理機能と、前記背景画像作成処理が作成した時系列の複数の背景画像から変化画素領域を抽出する差分処理機能と、前記差分処理機能が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理機能とをコンピュータに実現させる流水監視プログラムを提供する。
【発明の効果】
【００１０】
本発明の実施形態によれば、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る流水監視システムの構成を示すブロック図。
【図２】上記実施形態における監視対象と監視対象を撮像するカメラの配置例を示す図。
【図３】上記図２に示す監視対象とカメラの配置例を示す側面図。
【図４】上記実施形態においてカメラで撮影した画像中の監視対象領域区分の一例を示す図。
【図５】上記実施形態の流水監視システムにおける超過判定処理を説明するための図。
【図６】上記実施形態の流水監視システムにおける背景画像作成処理および背景差分処理を説明するための図。
【図７】上記実施形態に係る流水監視システムの処理手順を示すフローチャート。
【図８】上記実施形態に係る流水監視システムの背景画像作成用バッファの構成を示す図。
【図９】上記実施形態に係る流水監視システムの背景画像作成処理部の機能ブロック図。
【図１０】上記実施形態に係る流水監視システムの背景画像作成処理部の動作概念を示す図。
【図１１】上記実施形態に係る流水監視システムの差分処理イメージ図。
【図１２】上記実施形態に係る流水監視システムの差分画素処理ロジックの説明図。
【発明を実施するための形態】
【００１２】
本発明の実施形態に係る流水監視システムは、［流水量の増加＝背景の減少］、［流水量の減少＝背景の増加］として捉え、背景画像の時系列の領域変化をもとに水路の流水量を認識するもので、流水部分を含む水路を単眼カメラで撮影し、撮影した時系列の複数の画像から背景と見做した画素集合を背景画像として認識し、認識した時系列の背景画像の領域の変化から上記水路の流水量を認識し、上記水路の流水量状態が正常な流水量状態にあるか否かを判定する。具体例を挙げると、工業用水路の複数の放水路から放水される流水（例えば複数の放水口の落差部分を流れる水）を一台のカメラ（単眼カメラ）で同時に撮影し、放水単位に切り出して、切り出した画像毎に背景画素と見做した画素領域を背景画像として認識し量子化して、時系列の複数の背景画像における領域差分から上記各放水路毎の流水量を認識し、上記各放水路の流水量を同時に監視する（図１乃至図７参照）。上記した背景画像の認識処理を実現する具体例として、上記カメラで撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成処理手段と、この背景画像作成処理手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する差分処理手段とを具備する。
【００１３】
上記した実施形態の流水量監視機構は、それぞれ単眼カメラで撮影した画像から背景画像（背景画素と見做した画素領域）を認識し量子化して、背景画像の時系列変化に伴う領域の変化から水路の流水量を認識する画像処理技術により実現される。従って、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００１４】
以下図面を参照して本発明の実施形態に係る流水監視システムを説明する。
【００１５】
この実施形態に係る流水監視システムは、図１に示すように、流水（Ｗｂ）部分を含む水路１の画像を撮影する単眼カメラ（一つのカメラ）１１と、このカメラ１１で撮影した水路１の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした時系列の複数の画像から背景画像を作成し、背景画像の時系列に従う領域変化から上記水路１の流水量を判定する画像処理部１３と、画像処理部１３の判定結果の情報を出力する出力手段（表示部）１９とを具備して構成される。
【００１６】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、流水部分を含む水路を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１７】
カメラ１１は、監視対象となる水路１の画像を一定の位置および画角で撮影する。この実施形態では、図２乃至図４に示すように、工業用の複数の放水路（例えば冷却用放水路）を監視対象水路として上記複数の放水路が１フレームの映像に収まるように予め設定された位置に固定され、上記複数の放水路を撮影した画像をフレーム単位の映像として出力する。図２は監視対象となる水路１の構成と同水路１に対するカメラ１１の位置関係とを示す、水路を斜め上方からみたカメラ配置図、図３は図２に示す配置構成を側方からみたカメラ配置図、図４はカメラ１１で撮影した水路１の切り出し画像を示す図である。
【００１８】
図２および図３に示す構成では、カメラ１１が撮影する流水（Ｗｂ）部分について、カメラ１１に入射される水の揺らぎ（乱反射）をより際立たせるため、監視対象となる水路１に並設された複数本（ｎ本）の放水口１ｄ，１ｄ，…，１ｄにおける落差部分１ｈ，１ｈ，…，１ｈを照明灯２により照明している。この照明灯２は、画像処理部１３の処理動作に同期して点灯駆動される。この照明灯２による照明手段は、背景部分の静態画像と流水部分の動態画像との輝度差による識別を明確にするための手段であり、監視対象の周囲環境に応じて適宜設けられ、若しくは必要に応じて点灯駆動される。なお、ここでは、水路１を流れる放水用の流水（Ｗａ）をｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄに配分し、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄから落差部分１ｈ，１ｈ，…，１ｈに流水（Ｗｂ）を均等に放水して、被冷却部材（Ｂ）の表面を均一に冷却する工程を例に示している。
【００１９】
図４に示す切り出し画像は、カメラ１１が撮影したフレーム単位の画像に含まれる、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの落差部分１ｈ，１ｈ，…，１ｈにおける各流水（Ｗｂ）から、１つの放水口１ｄを切り出し単位に、流水（Ｗｂ）部分の画像を、切り出し画像ｐ１，ｐ２，…，ｐｎとして切り出している。上記画像処理部１３は、この切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれについて、切り出し画像を処理単位に、流水（Ｗｂ）の流水量判定処理を実施する。すなわち、切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれを監視対象の水路として、流水（Ｗｂ）の流水量判定処理を実施する。ここでは、切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれを単に水路の画像と呼称する。
【００２０】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する画像バッファメモリ（BUF-A）１４ａに保持する処理機能をもつ。
【００２１】
画像処理部１３は、上記水路の画像において、上記流水（Ｗｂ）部分の揺らぎ画像（動態画像）が占める領域の割合が多くなる程、背景（静態画像）の領域が減少することに着目して、上述したように、［流水量の増加＝背景の減少］、［流水量の減少＝背景の増加］として捉え、背景画像の時系列の領域変化をもとに水路の流水量を認識するもので、背景画像作成処理部１４と、差分処理部１６と、流水量変化判定処理部１７と、判定出力処理部１８とを具備して構成される。
【００２２】
背景画像作成処理部１４は、画像バッファメモリ（BUF-A）１４ａと背景画像バッファメモリ（BUF-B）１４ｂと背景画像作成用バッファメモリ１５とを具備し、キャプチャ部１２でキャプチャした時系列の複数の画像から、上記水路の画像を単位に、後述する特定の条件を満たす画素を背景画素と見做し、その背景画素と見做した画素領域を背景（背景画像）として認識し、新たに入力された最新画像の背景との差分を抽出して抽出した差分をもとに背景を更新する処理機能を有する。この実施形態では、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像処理機能と、この背景画像処理機能で作成された背景画像と新たに入力された最新画像の背景との差分を抽出し抽出した差分をもとに背景を更新して背景更新画像を作成する背景画像更新処理機能とを有する。この処理に供される背景画像作成用バッファメモリ１５の構成並びに背景画像作成処理部１４のより詳細な処理については図８乃至図１２を参照して後述する。
【００２３】
差分処理部１６は、差分領域バッファメモリ（BUF-C）１６ａを具備し、背景画像作成処理部１４が作成した最新の（今回の）背景更新画像と前回の背景更新画像との画素毎の差分処理により背景の変化画素を抽出し、抽出した変化画素を２値化処理およびラベリングにより量子化し領域化して、変化した画素領域（背景の変化画素領域）を差分領域バッファメモリ１６ａに貯える処理機能を有する。なお、この実施形態では上記差分処理で背景の変化画素が抽出されない場合（背景に変化がない場合）であっても背景画像を更新するものとする。この差分処理部１６における処理の概要を図５に示している。差分処理部１６は、図５（ａ）に示すように、背景更新画像が作成される都度、背景画像バッファメモリ１４ｂに貯えられた最新の（処理対象となる現在の）背景更新画像について、当該画像を前回の背景更新画像と比較し、背景の変化画素を抽出して、抽出した背景の変化画素領域を背景画像バッファメモリ１４ｂに貯える。この際、差分処理部１６は、図５（ｂ）に示すように、背景更新画像が作成されると、差分処理により背景の変化画素を抽出し、抽出した背景の変化画素を２値化処理およびラベリング処理により量子化し領域化して差分領域バッファメモリ１６ａに貯える。この差分処理部１６のより詳細な更新処理についても図８乃至図１２を参照して後述する。
【００２４】
流水量変化判定処理部１７は、占有率バッファメモリ１７ａを具備し、差分処理部１６により更新された時系列の複数の背景画像（背景更新画像）から、一定の時間経過（サンプリング周期）に伴い変化した領域（変化領域）について、当該変化領域が水路の画像領域に対して占める割合を算出し、算出した占有率（＝流水量）が予め設定された領域パラメータ（Ｐａ）により示された閾値を超過しているか否かを判定する処理機能を有する。この流水量変化判定処理部１７の処理の概要を図６に示している。流水量変化判定処理部１７は、図６に示すように、１つの水路の画像領域（Ｓｚ）について、領域変化の妥当性を判定する領域（Ａａ）を定める領域パラメータ（Ｐａ）によって与えられた閾値をもとに流水量の正常／異常を判定する。領域パラメータ（Ｐａ）は変化領域の変化率（画素の変化の割合）を判定する閾値である。この判定は、１つの水路の画像領域（Ｓｚ）について、上記時間経過に伴う背景画素の変化領域（Ａｖ）が領域パラメータ（Ｐａ）によって与えられた閾値の領域（Ｓｚ−Ａａ）を超えて変化したとき、流水（Ｗｂ）の流水量が異常状態に陥ったと判定し、当該異常判定を示す判定結果情報を判定出力処理部１８に出力する。これにより、各水路について、流水量が欠乏した異常状態を水路毎に検出し外部に報知することができる。上記した判定は、上記領域（Ｓｚ−Ａａ）の画素数と上記変化領域（Ａｖ）の画素数との差分により判定することができる。
【００２５】
判定出力処理部１８は流水量変化判定処理部１７から複数（ｍ本）の水路について水路毎に正常／異常を示す判定結果情報を受け、例えば、或る１つの水路について、異常判定を示す判定結果情報を受けると、同水路の流水量が異常状態に陥ったことを外部に報知すべく表示部１４を含む所定の出力手段（例えばアラーム報知機器、無線通信機器等）を起動制御する処理機能を有する。また、定常状態においても上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄについて、放水口毎に流水量の正常／異常を表示部１４の表示画面に表示する処理機能を有する。
【００２６】
上記構成による流水監視システムの処理手順について図７に示すフローチャートを参照して説明する。この処理では、背景画像作成処理部１４により時系列の背景画像（背景更新画像）を作成し、この時系列の背景更新画像をもとに、差分処理部１６により差分画素の抽出、量子化、領域化の各処理を実施して（ステップＳ１）、その領域の変化をもとに水路の流水量の正常／異常を判定し、判定結果の情報を出力する（ステップＳ２〜Ｓ４）。この処理を監視対象となる複数の水路について繰り返し継続して実施する。
【００２７】
カメラ１１は、監視対象となる水路１の画像を一定の位置および画角で撮影し、水路１の流水（Ｗｂ）部分における水の揺らぎを光の乱反射による輝度の変動を伴う画像として捉える。ここでは、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの落差部分１ｈ，１ｈ，…，１ｈにおける流水（Ｗｂ）部分の画像をフレーム単位で撮影する。
【００２８】
このカメラ１１で撮影した画像はフレーム単位でキャプチャ部１２にキャプチャされ画像処理部１３の背景画像作成処理部１４に設けられた画像バッファメモリ１４ａに貯えられる。画像バッファメモリ１４ａは、複数フレーム（例えば３０フレーム）の画像を貯えるバッファメモリ領域を有し、最新の画像が入力される度に、最古の画像を破棄し、最新の画像を保持して、常時、最新の画像を含む一定フレーム数（３０フレーム）の画像を更新し保持する。
【００２９】
背景画像作成処理部１４は、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像（背景画素の平均画像）を作成し、この背景画像と新たに入力された最新画像の背景（最新背景画像）との差分をとった背景の更新画像（背景更新画像）を作成して、この背景更新画像を背景画像バッファメモリ１４ｂに貯える（ステップＳ１ａ）。
【００３０】
差分処理部１６は、背景画像作成処理部１４が作成した最新の（今回の）背景更新画像と前回の背景更新画像との画素毎の差分処理により背景の変化画素を抽出し、抽出した変化画素を２値化処理およびラベリングにより量子化し領域化して、変化した画素領域（背景の変化画素領域）を差分領域バッファメモリ１６ａに貯える（ステップＳ１ｂ〜Ｓ１ｅ）。
【００３１】
流水量変化判定処理部１７は、差分処理部１６により更新された時系列の複数の背景画像（背景更新画像）から、一定の時間経過（サンプリング周期）に伴い変化した領域（変化領域）について、当該変化領域が水路の画像領域に対して占める割合を算出し、算出した占有率（＝流水量）が予め設定された領域パラメータ（Ｐａ）により示された閾値を超過しているか否かを判定する（ステップＳ２，Ｓ３）。この処理では、図６に示すように、１つの水路の画像領域（Ｓｚ）について、領域変化の妥当性を判定する領域（Ａａ）を定める領域パラメータ（Ｐａ）によって与えられた閾値をもとに流水量の正常／異常を判定する。この判定は、１つの水路の画像領域（Ｓｚ）について、放水口１ｄから落差部分１ｈに放水された流水（Ｗｂ）の流水量の差分（Ａｖ）が領域パラメータ（Ｐａ）によって与えられた閾値を超えて変化したとき、流水（Ｗｂ）の流水量が異常状態に陥ったと判定し、異常判定を示す判定結果情報を判定出力処理部１８に出力する。
【００３２】
判定出力処理部１８は流水量変化判定処理部１７から複数（ｍ本）の水路について水路毎に正常／異常を示す判定結果情報を受け、例えば、或る１つの水路について、異常判定を示す判定結果情報を受けると、同水路の流水量が異常状態に陥ったことを外部に報知すべく表示部１４を含む所定の出力手段（例えばアラーム報知機器、無線通信機器等）を起動制御する（ステップＳ４）。なお、上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄについて、放水口の流水量が正常である定常状態においても上記各流水路の放水口について、放水口毎に流水量が正常である旨を表示部１４の表示画面に表示する。
【００３３】
上記した処理（ステップＳ１〜Ｓ４）を上記ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄの切り出し画像ｐ１，ｐ２，…，ｐｎのそれぞれについて、順次、繰り返し実行する。
【００３４】
上記したように、単眼カメラ１１で撮影した画像から水の揺らぎの度合いを認識し量子化して流水量の異常を判定する画像処理機構が実現でき、これによって、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができるとともに、監視対象にある複数の水路に対して、一つの撮像カメラを用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００３５】
ここで、上記した実施形態に係る、背景画像作成処理部１４および差分処理部１６により実現される背景の画像更新技術について、その具現化した構成並びに動作を図８乃至図１２を参照して説明する。
【００３６】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、本出願人は、自動閾値の算出処理機能を備えた画像処理技術（特開２００８−２５０８９２参照）を応用して、現在画像と過去画像から停止物を検知し、停止物と動物体を区別して画面上に表示することを可能にした停止物検知処理機能を実現した（特願２００９−０４６８８５）。この停止物検知処理機能では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。
【００３７】
本発明の実施形態に係る背景画像作成処理機能の概要は、画面変動のない画素＝背景画素と定義し、背景画素の平均画像と最新背景画素との差分をとり、背景変化画素を抽出する機能である。
【００３８】
この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００３９】
背景画像作成処理部１４は、背景画像作成用バッファ１５をリード（Ｒ）、ライト（Ｗ）アクセスして、背景画像作成用バッファ１５に格納された各種の情報をもとに、キャプチャ１２より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果（輝度分散値または標準偏差）を利用して、低輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成するとともに、最新背景輝度と差分処理を実施して背景変化画素を抽出する処理機能を有する。
【００４０】
背景画像作成処理部１４は、カメラ１１で撮影した画像をキャプチャ部１２を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更
新する背景変化画素抽出手段とを具備して構成される。
【００４１】
背景画像作成用バッファメモリ１５は背景画像作成処理部１４の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファメモリであり、代表的な背景画像作成用のバッファ構造を図８に示している。この背景画像作成用バッファ１５には、背景輝度総和（ΣＢｉ）を貯えるバッファ１５１、複数の背景画素の平均輝度である背景輝度（Ａｖｅ＿Ｂｉ）を貯えるバッファ１５５、３０画面分の画像の背景画像＝背景輝度（Ｂ０〜Ｂ２９）画素単位でを貯えるバッファ１５３、背景輝度バッファ番号（ＢｕｆＮｕｍ）を画素毎に貯えるバッファ１５４、背景輝度登録数（ＥｎｔｒｙＮｕｍ）を画素毎に貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（ＥｎｔｒｙＦｒｍＣｔｒ）を画素毎に貯えるバッファ１５６等の各領域が設けられる。さらに、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。なお、実際の構成では、この背景画像作成用バッファメモリ１５に、キャプチャ部１２から入力された１画面単位の画像データ（カラー）を貯える画像バッファメモリ１４ａ、作成した背景画像（背景更新画像）を貯える背景画像バッファメモリ１４ｂ、および差分領域バッファメモリ１６ａが設けられる。
【００４２】
この実施形態では複数枚の背景画素（平均輝度）の平均輝度を背景輝度として算出し利用するものとする（画素によって背景輝度の更新タイミングが異なるようになる）。この背景画像（平均輝度の平均）（Ａｖｅ＿Ｂｉ）と、背景輝度総和（ΣＢｉ）に加え、画素によって背景更新タイミングが異なることから、画素毎に背景輝度（Ｂ０〜２９）を作成するためのバッファ（３０枚）１５３と、背景輝度バッファ番号を貯えるバッファ１５４、背景輝度登録数（最大２９）を貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（フレームカウント値）を貯えるバッファ１５をそれぞれ準備する。
【００４３】
この背景輝度（Ｂ０〜２９）を作成するためのバッファ１５３には、背景画像作成処理部１４で抽出処理した低輝度の安定画素がバッファ番号、フレームカウンタ情報等の指定に従い１画素単位で登録され、画素集合による背景画像が生成される。
【００４４】
背景画像作成処理部１４の機能ブロックを図９に示している。背景画像作成処理部１４は、キャプチャ部１２から入力した画像を貯える画像バッファメモリ２１（画像バッファメモリ１４ａに相当）と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部２２と、背景画素の更新処理を実施する背景画像更新部２３と、背景画像更新部２３の更新処理を制御する背景画像更新管理部２４と、間隔の開いた背景画素をリフレッシュ処理する背景画像リフレッシュ部２５と、背景画像作成用のデータを貯えるバッファ２６と、作成した背景画像を貯える背景画像バッファメモリ２７（背景画像バッファメモリ１４ｂに相当）とを具備して構成される。画像バッファメモリ２１、背景画像作成用データバッファ２６、背景画像バッファメモリ２７等は図１に示す背景画像作成用バッファ１５に置かれる。変動画素抽出部２２には、低輝度の安定画素を抽出するための最低閾値（上下む限値）、利用フレーム数等が外部パラメータとして入力される。
【００４５】
変動画素抽出部２２は、画像バッファメモリ２１から複数画面分の画像をリード（Ｒ）して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部２４は、現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている画素について、背景画像リフレッシュ部２５にリフレッシュを指示する。背景画像リフレッシュ部２５はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部２３は、変動画素抽出部２２から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素（注目画素）の輝度分散値若しくは標準偏差が低輝度の安定画素であるか否かを判定し、低輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、平均画像データを利用して、背景画像作成データの更新を実施し、更新処理した背景画像を背景画像バッファメモリ２７に登録する。この背景画像バッファメモリ２７への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。
【００４６】
上記背景画像作成処理部１４における動作概念を図１０に示している。本出願人により実現された自動閾値設定技術は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している（特開２００８−２５０８９２参照）。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。この特性を利用し、自動閾値が低い状態＝背景の変動がない＝背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、最新の登録背景輝度と現在の背景画像との差分処理を実施し、背景変化画素を抽出することを基本とする。この動作概念を図４に示している。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図中の符号Ｔａは最低閾値、ＳＡは最低閾値（Ｔａ）以下の低輝度安定範囲である。背景画像作成処理部１４は、注目画素が最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否かを判定し、最低閾値（Ｔａ）以下であるときに、背景画素の更新処理を実施する。
【００４７】
この背景画像作成処理部１４における背景画像作成処理では、入力された最新の画像（モノクロ／カラーの画像データ）をセットし、現在のフレームカウンタ情報を取得する。上記入力画像について、上記した画素毎の自動閾値の算出処理を実施する。この算出処理で算出された画素毎の輝度分散値若しくは標準偏差を利用して背景画素の作成並びに更新処理を実施する。
【００４８】
背景画像の作成処理では、入力された画像を全画面分走査し、自動閾値の小さい（低輝度で安定している）画素（＝最低閾値と同じ画素）を背景画素と判断する（閾値算出のタイミングに合わせる）。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を０クリアし、背景輝度登録数を０で初期化、バッファカウンタ等も初期化する。最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像、背景輝度総和を０クリアし、背景輝度登録数を０で初期化、バッファカウンタ等も初期化する（リフレッシュ処理）。背景輝度総和、最古背景輝度値、１フレーム前背景輝度を利用して、背景画像総和の更新、背景画像の更新、背景輝度バッファの更新を行う。なお、背景登録数が所定数（３０フレーム）に達していない場合は、総和への足し込みのみを実行し、インクリメントする。この先入先出処理は［背景輝度（平均）＝背景画素総和（２９枚分）−最古背景輝度＋１フレーム前の背景輝度／２９］で表すことができる。また、現在平均輝度をバッファへ登録し、背景バッファカウンタのインクリメントを実施し、現在フレームカウンタ情報を背景画素更新フレームカウンタに格納する。背景画像は、最大３０枚を、成熟／未成熟画像とセットでバッファリングするものとし、バッファリング周期（保存周期）は外部パラメータにて指定可能とする。また、現在バッファ番号＋ｎ秒前の背景画像、成熟／未成熟画像の取得関数を準備し、取得可能とする。なお、未成熟画像は、背景画像を作成可能な状態に至らない（背景輝度バッファ１５３に所定数の背景画像が登録されていない状態にある）背景輝度バッファ１５３上の背景画像であり、成熟画像は、背景画像を作成可能な状態にある（背景輝度バッファ１５３に所定数の背景画像が登録された状態にある）背景輝度バッファ１５３上の背景画像である。
【００４９】
背景画像更新処理では、背景画像の更新対象画素数、および背景画像の更新画素数を初期化し、画像サイズ分ループして以下の処理を実施する。このループ処理では、処理対象となる注目画素の画素番号の取得し、その注目画素がマスク対象画素であるか否かを判定する。ここで、注目画素がマスク対象画素でない（更新対象画素である）とき、背景画像更新対象画素数をインクリメントし、その画素が所定の時間を経過した（リフレッシュ未更新間隔時間を超過した）リフレッシュ対象画素であるか否かを判定する。リフレッシュ対象画素でないとき、注目画素の背景画素更新処理を実施する。
【００５０】
この注目画素の背景画素更新処理が正常終了したことを確認して、背景画像の更新画素数をインクリメントする。また、注目画素がマスク対象画素であるときは上記ループ内の各処理をスキップする。またリフレッシュ対象画素であるときは注目画素に対する背景情報の初期化処理を実施し、注目画素の背景画素更新処理を実施する。この背景情報の初期化処理では、背景画像輝度バッファの初期化、背景画像輝度現在バッファ番号の初期化、背景輝度登録数の初期化、背景輝度登録フレームカウンタの初期化、現在背景画像データの当該画素を初期化、最新登録背景画像データの当該画素を初期化、背景更新画像の当該画素を初期化、背景セットアップ画像の当該画素を初期化等が行われる。
【００５１】
背景差分処理では、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度が、背景画像登録数が３０に達している場合（成熟背景画像段階にあるとき）、現在バッファ番号背景輝度と背景画像（平均画像）を利用して図１１に示す背景差分処理を実施する。なお、背景画像（平均画像）は、参照遅延時間を別途指定可能とする（何秒前に作成された背景画像と差分を実施するかを指定可能とする）。ここでの閾値は、図１２に示すように、上限、下限の２値を有し、ヒステリシスをもった判定を行うようにする。
【００５２】
上記したように、実施形態の流水量監視機構は、単眼カメラで撮影した水路の画像において、上記流水（Ｗｂ）部分の揺らぎ画像（動態画像）が占める領域の割合が多くなる程、背景（静態画像）の領域が減少することに着目して［流水量の増加＝背景の減少］、［流水量の減少＝背景の増加］として捉え、背景画像の時系列の領域変化をもとに水路の流水量を認識する画像処理技術により実現される。従って、水路の流水部分に直接センサを設けることなく、監視対象にある水路の流水異常を経済的に有利な構成で効率よく検知し報知することができる。また、監視対象にある複数の水路に対して、単眼カメラ（一つの撮像カメラ）を用いた簡単なシステム構成で各水路の流水異常を水路別に効率よく検知し報知することができる。
【００５３】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。上記実施形態では、水路１を流れる放水用の流水（Ｗａ）をｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄに配分し、ｍ本の流水路の放水口１ｄ，１ｄ，…，１ｄから落差部分１ｈ，１ｈ，…，１ｈに流水（Ｗｂ）を均等に放水して、被冷却部材（Ｂ）の表面を均一に冷却する工程を例に、背景画像の差分により流水量を正常／異常を判定する流水監視システムを例に挙げたが、これに限らず、例えば、河川の流水による路側幅の変化を背景の差分として捉え、背景画像の差分により河川の流水量を正常／異常を判定する流水監視システムを実現することも可能である。また、実施形態に示される全構成要素から幾つかの構成要素を削除した構成であってもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記憶媒体に格納して頒布することもできる。
【符号の説明】
【００５４】
１…水路、１ｄ…放水口、１ｈ…落差部、２…照明灯、１１…カメラ（単眼カメラ）、１２…キャプチャ部、１３…画像処理部、１４…背景画像作成処理部、１４ａ…画像バッファメモリ（BUF-A）、１４ｂ…背景画像バッファメモリ（BUF-B）、１５…背景画像作成用バッファメモリ、１６…差分処理部、１６ａ…差分領域バッファメモリ（BUF-C）、１７…流水量変化判定処理部、１７ａ…占有率バッファメモリ、１８…判定出力処理部、１９…出力手段（表示部）、ｐ１，ｐ２，…，ｐｎ…切り出し画像、Ｗｂ…流水、Ｐａ…領域パラメータ。
【特許請求の範囲】
【請求項１】
流水部分を含む水路を撮影する単眼カメラと、
前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理手段と、
前記背景画像作成処理手段により作成された時系列の複数の背景画像から変化画素領域を抽出する差分処理手段と、
前記差分処理手段が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理手段と
を具備したことを特徴とする流水監視システム。
【請求項２】
前記カメラは、複数の水路を同時に撮影し、前記背景画像作成処理手段は、前記各水路毎に前記背景画像を作成することを特徴とする請求項１に記載の流水監視システム。
【請求項３】
前記カメラは、前記水路の放水口における落差部の流水部分を含んで前記水路を撮影することを特徴とする請求項１または２に記載の流水監視システム。
【請求項４】
前記背景画像作成処理手段は、
前記カメラで撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する処理手段を具備し、
前記差分処理手段は、
前記背景画像作成処理手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する処理手段を具備する
ことを特徴とする請求項１乃至３のいずれか１項に記載の流水監視システム。
【請求項５】
前記背景画像作成処理手段は、前記作成した背景画像を時系列に貯える複数の背景輝度バッファと、この背景輝度バッファに貯えられた背景画像の画素毎のリフレッシュタイミングを管理するバッファ管理手段とを具備したことを特徴とする請求項４に記載の流水監視システム。
【請求項６】
前記バッファ管理手段は、前記背景輝度バッファに対する背景画像の更新制御を行う更新制御手段を具備したことを特徴とする請求項５に記載の流水監視システム。
【請求項７】
前記差分処理手段は、２値の閾値を用いてヒステリシスをもった背景画素の差分処理を実施することを特徴とする請求項１に記載の流水監視システム。
【請求項８】
単眼カメラで撮影した水路の画像をもとに前記水路の流水量を監視する流水監視システムとしてコンピュータを機能させるための流水監視プログラムであって、
前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理機能と、
前記背景画像作成処理が作成した時系列の複数の背景画像から変化画素領域を抽出する差分処理機能と、
前記差分処理機能が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理機能と
をコンピュータに実現させることを特徴とした流水監視プログラム。
【請求項９】
前記背景画像作成処理機能は、前記カメラで撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する処理機能を有し、
前記差分処理機能は、前記背景画像作成処理手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する処理機能を有することを特徴とする請求項８に記載の流水監視プログラム。
【請求項１】
流水部分を含む水路を撮影する単眼カメラと、
前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理手段と、
前記背景画像作成処理手段により作成された時系列の複数の背景画像から変化画素領域を抽出する差分処理手段と、
前記差分処理手段が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理手段と
を具備したことを特徴とする流水監視システム。
【請求項２】
前記カメラは、複数の水路を同時に撮影し、前記背景画像作成処理手段は、前記各水路毎に前記背景画像を作成することを特徴とする請求項１に記載の流水監視システム。
【請求項３】
前記カメラは、前記水路の放水口における落差部の流水部分を含んで前記水路を撮影することを特徴とする請求項１または２に記載の流水監視システム。
【請求項４】
前記背景画像作成処理手段は、
前記カメラで撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する処理手段を具備し、
前記差分処理手段は、
前記背景画像作成処理手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する処理手段を具備する
ことを特徴とする請求項１乃至３のいずれか１項に記載の流水監視システム。
【請求項５】
前記背景画像作成処理手段は、前記作成した背景画像を時系列に貯える複数の背景輝度バッファと、この背景輝度バッファに貯えられた背景画像の画素毎のリフレッシュタイミングを管理するバッファ管理手段とを具備したことを特徴とする請求項４に記載の流水監視システム。
【請求項６】
前記バッファ管理手段は、前記背景輝度バッファに対する背景画像の更新制御を行う更新制御手段を具備したことを特徴とする請求項５に記載の流水監視システム。
【請求項７】
前記差分処理手段は、２値の閾値を用いてヒステリシスをもった背景画素の差分処理を実施することを特徴とする請求項１に記載の流水監視システム。
【請求項８】
単眼カメラで撮影した水路の画像をもとに前記水路の流水量を監視する流水監視システムとしてコンピュータを機能させるための流水監視プログラムであって、
前記単眼カメラで撮影した時系列の複数の画像から背景画像を作成する背景画像作成処理機能と、
前記背景画像作成処理が作成した時系列の複数の背景画像から変化画素領域を抽出する差分処理機能と、
前記差分処理機能が抽出した変化画素領域をもとに前記水路の流水量が正常状態にあるか否かを判定する判定処理機能と
をコンピュータに実現させることを特徴とした流水監視プログラム。
【請求項９】
前記背景画像作成処理機能は、前記カメラで撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する処理機能を有し、
前記差分処理機能は、前記背景画像作成処理手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する処理機能を有することを特徴とする請求項８に記載の流水監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−６０２６８（Ｐ２０１２−６０２６８Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９３７８（Ｐ２０１０−１９９３７８）
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]