水位検出装置、水位検出システム、及び水位検出方法
【課題】偽の喫水線が真の喫水線と類似の暗さを有する場合や、偽の喫水線の近傍が極端に明るい場合は、輝度の射影パターンを用いても真の喫水線を検出できない場合があった。
【解決手段】喫水線を含む撮影画像から生成されたエッジ画像に対して射影加算し、その射影加算のパターンに基づいて直線成分を抽出し、撮影画像と撮影画像の所定フレーム前の各過去画像それぞれとの差分となる差分画像を生成し、各差分画像の各画素が持つ輝度をそれぞれ累積加算して生成した累積差分画像のうち所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断するとともに、抽出された直線成分のうち水面領域に重ならない直線成分を真の喫水線として決定することにより、喫水線の検出精度を向上させる。
【解決手段】喫水線を含む撮影画像から生成されたエッジ画像に対して射影加算し、その射影加算のパターンに基づいて直線成分を抽出し、撮影画像と撮影画像の所定フレーム前の各過去画像それぞれとの差分となる差分画像を生成し、各差分画像の各画素が持つ輝度をそれぞれ累積加算して生成した累積差分画像のうち所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断するとともに、抽出された直線成分のうち水面領域に重ならない直線成分を真の喫水線として決定することにより、喫水線の検出精度を向上させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラで撮影した画像データを解析し、その水位を検出する水位検出装置、水位検出システム、及び水位検出方法に関する。
【背景技術】
【０００２】
従来の水位検出装置においては、河川等を監視するカメラにより撮影された画像データ（入力画像）から、橋桁等の所定の物体と水面とが交差する喫水線を特定することから水位を検出している。喫水線は、入力画像を構成する各画素データの輝度の変化の急峻なエッジを抽出して生成したエッジ画像データに対して射影加算処理（１次元射影処理）を行い、その射影加算のパターン（エッジの累計結果）に基づいて抽出される。
【０００３】
しかしながら、こういった画像処理においては、実在の喫水線（真の喫水線）以外にも、水面上の波や橋桁の影等を原因とする偽の喫水線が抽出されることがあった。そのため、エッジの累計結果から真の喫水線を特定することが困難な場合があった。従来の水位検出装置では、水面に差し込む影の影響に着目し、エッジの累計結果に加え、入力画像の輝度の射影パターン（輝度画像の累計結果）も同時に作成し、その輝度画像の累計結果の中のＶ字型の落込みの深さを解析することにより、水面に生じる偽の喫水線による誤検出を排除していた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の水位検出装置では、偽の喫水線が真の喫水線と似通った暗さを有する場合や、偽の喫水線の近傍が極端に明るいときは、輝度画像の累計結果から得られるＶ字型の落込みの深さから、偽の喫水線を検出することは困難であった。そのため、正確な水位検出が必ずしもできないという課題があった。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、喫水線の検出精度を向上させた水位検出装置、水位検出システム、及び水位検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る水位検出装置は、喫水線を含む撮影画像が入力される画像入力手段と、前記撮影画像からエッジ画像を生成し、このエッジ画像の設定された領域において特定の方向に射影加算し、その射影加算のパターンに基づいて直線成分を抽出する直線成分抽出画像処理手段と、前記撮影画像と前記撮影画像の所定フレーム前の各過去画像それぞれとの差分となる差分画像を生成し、各差分画像の各画素が持つ輝度をそれぞれ累積加算し累積差分画像を生成する差分累積手段と、前記累積差分画像のうち、所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断する水面判断手段と、前記抽出された直線成分のうち前記水面領域に重ならない直線成分を真の喫水線として決定する喫水線決定手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の水位検出装置、水位検出システム、及び水位検出方法は、喫水線の検出精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１の水位検出装置の主要な構成手段を示す構成図である。
【図２】本発明の実施の形態１の喫水線抽出画像処理手段３の詳細を示す構成図（a）、撮影画像（b）、エッジ画像（c）、射影加算値の強度分布（d）を示す図である。
【図３】本発明の実施の形態１についての、現画像（a）、背景画像（b）、及びこれら画像の差分結果を説明する画像（c）を示す図である。
【図４】本発明の実施の形態１に係る差分累積結果を説明する画像である。
【図５】本発明の実施の形態１についての、変化領域２値化法を用いて判定した水面を示す画像（a）及び変化領域２値化法ライン拡大法を用いて判定した水面を示す画像（b）を示す図である。
【図６】本発明の実施の形態１についての、複数の喫水線及び水面領域を示す画像である。（a）は２本の喫水線の片方が水面領域に接触する場合、（b）は２本の喫水線の両方が水面領域に接触する場合を示す。
【図７】本発明の実施の形態２の水位検出装置の主要な構成手段を示す構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
以下、図面に基づいて本発明の実施の形態１について詳細に説明する。図１は本発明の実施の形態１の水位検出装置の主要な構成手段を示す構成図である。図２は本発明の実施の形態１の喫水線抽出画像処理手段３の詳細を示す構成図（a）、撮影画像（b）、エッジ画像（c）、射影累積値の強度分布（d）を示す図である。図３は本発明の実施の形態１についての、現画像（a）、背景画像（b）、及びこれら画像の差分結果を説明する画像（c）を示す図である。図４は本発明の実施の形態１に係る差分累積結果を説明する画像である。図５は本発明の実施の形態１についての、変化領域２値化法を用いて判定した水面を示す画像（a）及び変化領域２値化法ライン拡大法を用いて判定した水面を示す画像（b）を示す図である。図６は本発明の実施の形態１についての、複数の喫水線及び水面領域を示す画像である。（a）は２本の喫水線の片方が水面領域に接触する場合、（b）は２本の喫水線の両方が水面領域に接触する場合を示す。
【００１１】
図１に示すように、水位検出装置は、画像情報入力I/F１と、画像情報入力手段２と、喫水線抽出画像処理手段３と、記憶手段４と、現画像蓄積手段５と、背景画像蓄積手段６と、差分切り出し手段７と、差分累積手段８と、水面判断手段９と、喫水線決定手段１０と、結果出力手段１１と、画像情報出力I/F１２とを備える。
【００１２】
画像情報入力I/F１は、河川等を監視しているカメラ等で撮影された映像情報（以下、ビデオ画像信号と呼ぶ）を受け取る。
【００１３】
画像情報入力手段２は、画像情報入力I/F１から入力されたビデオ画像信号をデジタルデータに変換する。例えば、画像を構成する画素の輝度を８ビットの多値データ（白黒画像データ）に変換し、多値画像データ（現画像データ）とする。画像情報入力手段２から出力される現画像データは、喫水線抽出画像処理手段３、現画像蓄積手段５、及び背景画像蓄積手段６に入力され、処理が分岐する。
【００１４】
喫水線（直線成分）抽出画像処理手段３は、画像情報入力手段２から入力される最新の現画像データに対し喫水線抽出処理を行い、１又は複数の直線成分（喫水線）を抽出する。複数の直線成分を抽出する場合において、正当な直線成分は真の喫水線であり、波や橋桁の影等が原因で生じる直線成分は偽の喫水線となる。喫水線抽出処理の詳細な説明については後述する。
【００１５】
記憶手段４には、予め設定した、エッジ抽出を行う範囲である探索範囲内において、喫水線の位置を水位に換算した水位情報、画像情報等が記憶されている。
【００１６】
現画像蓄積手段５は、画像情報入力手段２から入力される最新の現画像データを蓄積する。
【００１７】
背景画像蓄積手段６は、画像情報入力手段２から入力される現画像データを、所定のルールに基づき、現画像データと比較するための背景画像データとして蓄積する。
【００１８】
所定のルールについては、例えば、画像情報入力手段２から入力された現画像データよりも４フレーム前（約１３０ｍｓ前）に画像情報入力手段２から入力され、蓄積していた過去画像データを背景画像とするようなルールとする。以下、４フレーム前の過去画像データを背景画像として説明を行うが、これに限るものではない。
【００１９】
差分切り出し手段７は、現画像蓄積手段５から入力された現画像データと、背景画像蓄積手段６から入力された各背景画像データとをそれぞれ各画素単位で輝度の差分を計算し、各差分データ（差分画像）を生成する。差分は、例えば水面に生ずる波の動きによって現画像データと背景画像データとの間で輝度差が生じることによって発生する。差分画像についての詳細な説明は後述する。
【００２０】
差分累積手段８は、差分切り出し手段７で生成された各差分データを累積し、累積差分画像を生成する。累積とは、例えば得られた各差分画像を所定時間（例えば１秒間）各画素単位で単純加算する処理のことをいう。累積差分画像についての詳細な説明は後述する。
【００２１】
水面判定手段９は、差分累積手段８から出力される累積差分画像に基づいて、水面である領域を判定（予測）する。水面判定の詳細な説明は後述する。
【００２２】
喫水線決定手段１０は、接触判定手段１０１と最上位判定手段１０２とを有し、水面判定手段９で判定された水面領域に基づき、喫水線抽出画像処理手段３で抽出された喫水線が正当なものであるか否かを決定する。決定方法についての詳細な説明は後述する。
【００２３】
結果出力手段１１は、喫水線決定手段１０で決定された真の喫水線の水位情報を出力する。例えばモニター装置に対しては判定結果情報を画像に文字として重畳したスーパーインポーズ画像を生成して出力したり、パソコンに対しては判定結果情報をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のパケットに組み入れてＬＡＮ配信することもできる。
【００２４】
画像情報出力I/F１２は、結果出力手段１１の出力を行う。
【００２５】
図２を用いて喫水線抽出画像処理手段３における喫水線抽出処理について説明する。ここでは説明を簡単にするため、偽の喫水線が存在しない場合について説明する。図２（a）に示すように、喫水線抽出画像処理手段３は、エッジ抽出手段３１と、範囲指定手段３２と、直線検出手段３３と、水位検出手段３４とを備える。エッジ抽出手段３１は、画像情報入力手段２から入力した図２（b）に示すような画像データに対し、エッジ抽出処理を行い、図２（c）に示すようなエッジ画像を生成する。範囲指定手段３２は、エッジ抽出手段３１から出力されたエッジ画像のエッジ情報の中から、エッジ抽出を行う範囲である探索範囲を指定し、その範囲内のエッジ情報を取り出す。なお、エッジ抽出手段３１は、入力した画像の探索範囲内のみについてエッジ抽出処理を行ってもよい。
【００２６】
直線検出手段３３は、範囲指定手段３２で指定された範囲内のエッジ情報について特定の方向に一次元射影処理し、図２（d）に示すような射影加算値の強度分布（パターン）のピーク値に基づいて直線成分を検出する。この直線成分が複数抽出される場合は、偽の喫水線が存在することになる。水位検出手段３４は、直線検出手段３３で検出された直線成分を喫水線と判断し、喫水線の位置情報と記憶手段４に記憶されている喫水線の位置に対応した水位の絶対値情報を出力する。
【００２７】
図３を用いて差分切り出し手段７で生成される差分画像について説明する。（a）は現画像、（b）は現画像の４フレーム前の背景画像、（c）は探索範囲内において現画像と背景画像との差分演算により生成された差分画像である。（c）については、説明の便宜上、差分画像を現画像に重ねたものとしている。図３の例における差分方式は４フレーム間差分方式となり、得られる差分画像は４フレーム間差分画像となる。また、ここでは探索範囲内のみについて差分演算を行っているので、差分の位置を表す画素は探索範囲内でのみ生じているが、これに限定されるものではなく、全画面において差分演算を行ってもかまわない。
【００２８】
図４を用いて差分累積手段８で生成される累積差分画像について説明する。図４の画像は、説明の便宜上、累積差分画像を現画像に重ねたものとしている。差分切り出し手段７で生成される、図３（c）のような累積前の１枚の差分画像においては、生じる差分は現画像と背景画像との間のある瞬間の波等の動きによって作られる小さな差分であり、また差分が生じる位置も移動、変化するので安定しない。しかし、各差分画像を所定時間累積することによって、図４に示すように、散発的かつ不規則に発生する差分を１枚の画像に集合させることが可能となる。こういったことから、１枚１枚の差分画像が微少、すなわち現画像と背景画像との輝度差が小さくとも、所定時間差分画像を累積することにより、両画像の間の変化（差分）を顕著に浮かび上がらせることができる。
【００２９】
図５を用いて水面判定手段９における水面判定について説明する。水面判定は、例えば、変化領域２値化法や変化領域２値化法ライン拡大法により行う。
【００３０】
まず変化領域２値化法について説明する。変化領域２値化法では、各画素に多値を持つ累積差分画像に対し、所定の閾値をもって２値化処理を行う。２値化処理により、所定の閾値より大きな値を持つ画素（大きな差分を持つ画素）は「１」に、所定の閾値より小さな値を持つ画素（小さな差分を持つ画素）は「０」に定まる。ここで「１」となった画素の集合を変化領域と定義する。この変化領域を「水面」と仮定するのが変化領域２値化法である。図５（a）に示すように、変化領域２値化法を用いると、変化領域である斜線部分が水面と判定される。
【００３１】
次に変化領域２値化法ライン拡大法について説明する。変化領域を「水面」と判定していた変化領域２値化法に対し、変化領域２値化法ライン拡大法は、２値化後「１」の値を持つ画素をライン方向に拡大した領域を「水面」と判定する点で異なる。そのため、変化領域２値化法ライン拡大法においては、２値化後「１」の値を持つ画素が１画素でもあるラインは、そのライン単位で水面と仮定される。一般に変化領域２値化法よりも大きな範囲が「水面」と判定されることとなる。図５（b）に示すように、変化領域２値化法ライン拡大法を用いると、破線領域が水面と判定される。
【００３２】
図６を用いて喫水線決定手段１０における喫水線の決定方法について説明する。接触判定手段１０１は、喫水線抽出画像処理手段３で抽出された複数の喫水線が水面判定手段９で判定された水面領域に接触しているか（重なっているか）否かを判定する。図６（a）において、喫水線５１は水面領域に接触しておらず、喫水線５２は水面領域に接触している。接触判定手段１０１は、水面領域に接触する喫水線５２を偽の喫水線であると判定して棄却するとともに、水面領域に接触しない喫水線５１真の喫水線であると判定し、その真の喫水線の位置を水位に換算した水位情報を結果出力手段１１に出力する。なお、喫水線５２は波が偶然直線に揃った為に誤認識された偽の喫水線である。
【００３３】
図６（b）においては、喫水線５３及び喫水線５４の両方が水面領域に接触している。この場合、接触判定手段１０１は、両方の喫水線とも偽の喫水線と判定して棄却し、喫水線は見つからずとの結論を表すエラー信号を最上位判定手段１０２に出力する。
【００３４】
エラー信号が入力された最上位判定手段１０２は、水面領域に接触している複数の喫水線のうち、最も上方に存在する喫水線を真の喫水線と決定し、他の喫水線を棄却する。つまり、喫水線５３及び喫水線５４のうち、最上位にある喫水線５３を真の喫水線と決定し、喫水線５４を偽の喫水線と判定する。そして、喫水線５４を棄却し、真の喫水線５３の位置を水位に換算した水位情報を結果出力手段１１に出力する。なお、図６の例においては喫水線が２本抽出された場合について説明を行ったが、例えば３本以上であっても偽の喫水線を棄却し、真の喫水線を決定することが可能である。
【００３５】
以上のように実施の形態１によれば、現画像データと背景画像データ（過去画像データ）とから得られた差分画像データに基づいて水面領域を判定し、複数の喫水線のうち水面領域に接触する喫水線を偽の喫水線として棄却することにより、真の喫水線の検出精度を向上させることが可能となる。
【００３６】
なお、背景画像データを生成するルールとして、過去４フレーム前の過去画像データを背景画像データとする例を説明したが、この過去画像データには、現画像データが出力された時から例えば過去１秒の間に蓄積された各過去画像データを平均化した画像データも含む。
【００３７】
なお、水位検出手段３４は、喫水線決定手段１０の後段に設けられ、喫水線決定手段１０で決定された喫水線の位置を水位に換算した水位情報を結果出力手段１１に出力することとしてもよい。
【００３８】
実施の形態２．
以下、図面に基づいて本発明の実施の形態２について詳細に説明する。図７は本発明の実施の形態２の水位検出装置の主要な構成手段を示す構成図である。実施の形態１に相当する部分には図１と同一の符号を付してその説明を省略する。実施の形態２では、喫水線抽出画像処理手段３の前段に追加マスク手段１３が追加されている点において、実施の形態１と異なる。以下、実施の形態１で説明したような先頭（画像情報入力I/F１）から終端（画像情報出力I/F１２）までを実施し、喫水線を決定するまでの一連の画像処理作業の流れを、１処理サイクルと呼ぶ。
【００３９】
ある処理サイクル（仮にＮ処理サイクルとする）の１サイクル前の処理サイクル（Ｎ−１処理サイクルとする）で、喫水線決定手段１０において偽の喫水線を発見した場合、その処理サイクル（Ｎ−１サイクル）では喫水線の誤認識が防止され、問題ない。しかし、偽の喫水線は上述したように、波、影等を原因とする直線成分が存在するために抽出され、この直線成分は、特に大きな水位変化がない限り、その位置に存在し続けるのが一般的である。従って、一旦偽の喫水線が抽出された近傍の位置には偽の喫水線が一定時間抽出され続けることが多い。
【００４０】
こういったことから、Ｎ−１処理サイクル以後の処理サイクルにおいても、喫水線抽出画像処理手段３では偽の喫水線も真の喫水線も区別することなく継続的に抽出作業が行われており、その作業負荷は、抽出対象の喫水線本数に比例する。真の喫水線は常に１本であるが、偽の喫水線は本数に上限はない。そのため河川の状況によって偽の喫水線の本数が増大した場合には、喫水線抽出画像処理手段３における作業は重大な負荷となり、１処理サイクルに要する時間が増大し、喫水線認識作業のリアルタイム性が損なわれてしまう。
【００４１】
追加マスク手段１３は、Ｎ処理サイクルにおいて、Ｎ−１処理サイクルでの喫水線決定手段１０により判定された偽の喫水線の位置情報を取得し、Ｎ処理サイクルから所定処理サイクルの間、その位置情報に基づき、画像入力手段２から入力された現画像データに対して、偽の喫水線近傍の位置にマスク処理を施す。
【００４２】
ここでいう近傍とは、例えばＮ−１処理サイクルにおいて判定した偽の喫水線が存在する位置の上下８ライン（画素列）程度であればいいが、特に制限はない。また、所定処理サイクルとは、例えば３０秒に対応する処理サイクル数が適当であるが、特に制限はない。所定処理サイクルが経過すると、追加マスク手段１３はマスクを外す。こうすることにより、一定時間ごとに画像処理が初期化され、次の処理サイクルで再び正しいマスクの更新が行われる。
【００４３】
喫水線抽出画像処理手段３は、追加マスク手段１３でマスク処理が施された現画像データに対し喫水線抽出処理を行う。Ｎ−１処理サイクルで何らかの直線成分があったと見られる偽の喫水線の近傍は、マスク処理が施されているため一切の画像がない。そのためＮ処理サイクルにおいて、喫水線抽出画像処理手段３はマスク処理が施されている箇所については喫水線抽出処理を行わないようになる。
【００４４】
以上のように実施の形態２によれば、追加マスク手段１３は１サイクル前の処理サイクルにおける偽の喫水線の位置情報に基づいてその位置近傍にマスク処理を施すので、喫水線抽出画像処理手段３は偽の喫水線を繰り返し抽出する必要はなくなり、作業負荷が軽減され、１処理サイクルに要する時間が増大することなく喫水線認識作業のリアルタイム性を確保できるようになる。
【符号の説明】
【００４５】
１ 画像情報入力I/F
２ 画像情報入力手段
３ 喫水線抽出画像処理手段
３１ エッジ抽出手段
３２ 範囲指定手段
３３ 直線検出手段
３４ 水位検出手段
４ 記憶手段
５ 現画像蓄積手段
６ 背景画像蓄積手段
７ 差分切り出し手段
８ 差分累積手段
９ 水面判断手段
１０ 喫水線決定手段
１０１ 接触判定手段
１０２ 最上位判定手段
１１ 結果出力手段
１２ 画像情報出力I/F
１３ 追加マスク手段
【技術分野】
【０００１】
この発明は、カメラで撮影した画像データを解析し、その水位を検出する水位検出装置、水位検出システム、及び水位検出方法に関する。
【背景技術】
【０００２】
従来の水位検出装置においては、河川等を監視するカメラにより撮影された画像データ（入力画像）から、橋桁等の所定の物体と水面とが交差する喫水線を特定することから水位を検出している。喫水線は、入力画像を構成する各画素データの輝度の変化の急峻なエッジを抽出して生成したエッジ画像データに対して射影加算処理（１次元射影処理）を行い、その射影加算のパターン（エッジの累計結果）に基づいて抽出される。
【０００３】
しかしながら、こういった画像処理においては、実在の喫水線（真の喫水線）以外にも、水面上の波や橋桁の影等を原因とする偽の喫水線が抽出されることがあった。そのため、エッジの累計結果から真の喫水線を特定することが困難な場合があった。従来の水位検出装置では、水面に差し込む影の影響に着目し、エッジの累計結果に加え、入力画像の輝度の射影パターン（輝度画像の累計結果）も同時に作成し、その輝度画像の累計結果の中のＶ字型の落込みの深さを解析することにより、水面に生じる偽の喫水線による誤検出を排除していた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１２２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の水位検出装置では、偽の喫水線が真の喫水線と似通った暗さを有する場合や、偽の喫水線の近傍が極端に明るいときは、輝度画像の累計結果から得られるＶ字型の落込みの深さから、偽の喫水線を検出することは困難であった。そのため、正確な水位検出が必ずしもできないという課題があった。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、喫水線の検出精度を向上させた水位検出装置、水位検出システム、及び水位検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る水位検出装置は、喫水線を含む撮影画像が入力される画像入力手段と、前記撮影画像からエッジ画像を生成し、このエッジ画像の設定された領域において特定の方向に射影加算し、その射影加算のパターンに基づいて直線成分を抽出する直線成分抽出画像処理手段と、前記撮影画像と前記撮影画像の所定フレーム前の各過去画像それぞれとの差分となる差分画像を生成し、各差分画像の各画素が持つ輝度をそれぞれ累積加算し累積差分画像を生成する差分累積手段と、前記累積差分画像のうち、所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断する水面判断手段と、前記抽出された直線成分のうち前記水面領域に重ならない直線成分を真の喫水線として決定する喫水線決定手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の水位検出装置、水位検出システム、及び水位検出方法は、喫水線の検出精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１の水位検出装置の主要な構成手段を示す構成図である。
【図２】本発明の実施の形態１の喫水線抽出画像処理手段３の詳細を示す構成図（a）、撮影画像（b）、エッジ画像（c）、射影加算値の強度分布（d）を示す図である。
【図３】本発明の実施の形態１についての、現画像（a）、背景画像（b）、及びこれら画像の差分結果を説明する画像（c）を示す図である。
【図４】本発明の実施の形態１に係る差分累積結果を説明する画像である。
【図５】本発明の実施の形態１についての、変化領域２値化法を用いて判定した水面を示す画像（a）及び変化領域２値化法ライン拡大法を用いて判定した水面を示す画像（b）を示す図である。
【図６】本発明の実施の形態１についての、複数の喫水線及び水面領域を示す画像である。（a）は２本の喫水線の片方が水面領域に接触する場合、（b）は２本の喫水線の両方が水面領域に接触する場合を示す。
【図７】本発明の実施の形態２の水位検出装置の主要な構成手段を示す構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
以下、図面に基づいて本発明の実施の形態１について詳細に説明する。図１は本発明の実施の形態１の水位検出装置の主要な構成手段を示す構成図である。図２は本発明の実施の形態１の喫水線抽出画像処理手段３の詳細を示す構成図（a）、撮影画像（b）、エッジ画像（c）、射影累積値の強度分布（d）を示す図である。図３は本発明の実施の形態１についての、現画像（a）、背景画像（b）、及びこれら画像の差分結果を説明する画像（c）を示す図である。図４は本発明の実施の形態１に係る差分累積結果を説明する画像である。図５は本発明の実施の形態１についての、変化領域２値化法を用いて判定した水面を示す画像（a）及び変化領域２値化法ライン拡大法を用いて判定した水面を示す画像（b）を示す図である。図６は本発明の実施の形態１についての、複数の喫水線及び水面領域を示す画像である。（a）は２本の喫水線の片方が水面領域に接触する場合、（b）は２本の喫水線の両方が水面領域に接触する場合を示す。
【００１１】
図１に示すように、水位検出装置は、画像情報入力I/F１と、画像情報入力手段２と、喫水線抽出画像処理手段３と、記憶手段４と、現画像蓄積手段５と、背景画像蓄積手段６と、差分切り出し手段７と、差分累積手段８と、水面判断手段９と、喫水線決定手段１０と、結果出力手段１１と、画像情報出力I/F１２とを備える。
【００１２】
画像情報入力I/F１は、河川等を監視しているカメラ等で撮影された映像情報（以下、ビデオ画像信号と呼ぶ）を受け取る。
【００１３】
画像情報入力手段２は、画像情報入力I/F１から入力されたビデオ画像信号をデジタルデータに変換する。例えば、画像を構成する画素の輝度を８ビットの多値データ（白黒画像データ）に変換し、多値画像データ（現画像データ）とする。画像情報入力手段２から出力される現画像データは、喫水線抽出画像処理手段３、現画像蓄積手段５、及び背景画像蓄積手段６に入力され、処理が分岐する。
【００１４】
喫水線（直線成分）抽出画像処理手段３は、画像情報入力手段２から入力される最新の現画像データに対し喫水線抽出処理を行い、１又は複数の直線成分（喫水線）を抽出する。複数の直線成分を抽出する場合において、正当な直線成分は真の喫水線であり、波や橋桁の影等が原因で生じる直線成分は偽の喫水線となる。喫水線抽出処理の詳細な説明については後述する。
【００１５】
記憶手段４には、予め設定した、エッジ抽出を行う範囲である探索範囲内において、喫水線の位置を水位に換算した水位情報、画像情報等が記憶されている。
【００１６】
現画像蓄積手段５は、画像情報入力手段２から入力される最新の現画像データを蓄積する。
【００１７】
背景画像蓄積手段６は、画像情報入力手段２から入力される現画像データを、所定のルールに基づき、現画像データと比較するための背景画像データとして蓄積する。
【００１８】
所定のルールについては、例えば、画像情報入力手段２から入力された現画像データよりも４フレーム前（約１３０ｍｓ前）に画像情報入力手段２から入力され、蓄積していた過去画像データを背景画像とするようなルールとする。以下、４フレーム前の過去画像データを背景画像として説明を行うが、これに限るものではない。
【００１９】
差分切り出し手段７は、現画像蓄積手段５から入力された現画像データと、背景画像蓄積手段６から入力された各背景画像データとをそれぞれ各画素単位で輝度の差分を計算し、各差分データ（差分画像）を生成する。差分は、例えば水面に生ずる波の動きによって現画像データと背景画像データとの間で輝度差が生じることによって発生する。差分画像についての詳細な説明は後述する。
【００２０】
差分累積手段８は、差分切り出し手段７で生成された各差分データを累積し、累積差分画像を生成する。累積とは、例えば得られた各差分画像を所定時間（例えば１秒間）各画素単位で単純加算する処理のことをいう。累積差分画像についての詳細な説明は後述する。
【００２１】
水面判定手段９は、差分累積手段８から出力される累積差分画像に基づいて、水面である領域を判定（予測）する。水面判定の詳細な説明は後述する。
【００２２】
喫水線決定手段１０は、接触判定手段１０１と最上位判定手段１０２とを有し、水面判定手段９で判定された水面領域に基づき、喫水線抽出画像処理手段３で抽出された喫水線が正当なものであるか否かを決定する。決定方法についての詳細な説明は後述する。
【００２３】
結果出力手段１１は、喫水線決定手段１０で決定された真の喫水線の水位情報を出力する。例えばモニター装置に対しては判定結果情報を画像に文字として重畳したスーパーインポーズ画像を生成して出力したり、パソコンに対しては判定結果情報をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のパケットに組み入れてＬＡＮ配信することもできる。
【００２４】
画像情報出力I/F１２は、結果出力手段１１の出力を行う。
【００２５】
図２を用いて喫水線抽出画像処理手段３における喫水線抽出処理について説明する。ここでは説明を簡単にするため、偽の喫水線が存在しない場合について説明する。図２（a）に示すように、喫水線抽出画像処理手段３は、エッジ抽出手段３１と、範囲指定手段３２と、直線検出手段３３と、水位検出手段３４とを備える。エッジ抽出手段３１は、画像情報入力手段２から入力した図２（b）に示すような画像データに対し、エッジ抽出処理を行い、図２（c）に示すようなエッジ画像を生成する。範囲指定手段３２は、エッジ抽出手段３１から出力されたエッジ画像のエッジ情報の中から、エッジ抽出を行う範囲である探索範囲を指定し、その範囲内のエッジ情報を取り出す。なお、エッジ抽出手段３１は、入力した画像の探索範囲内のみについてエッジ抽出処理を行ってもよい。
【００２６】
直線検出手段３３は、範囲指定手段３２で指定された範囲内のエッジ情報について特定の方向に一次元射影処理し、図２（d）に示すような射影加算値の強度分布（パターン）のピーク値に基づいて直線成分を検出する。この直線成分が複数抽出される場合は、偽の喫水線が存在することになる。水位検出手段３４は、直線検出手段３３で検出された直線成分を喫水線と判断し、喫水線の位置情報と記憶手段４に記憶されている喫水線の位置に対応した水位の絶対値情報を出力する。
【００２７】
図３を用いて差分切り出し手段７で生成される差分画像について説明する。（a）は現画像、（b）は現画像の４フレーム前の背景画像、（c）は探索範囲内において現画像と背景画像との差分演算により生成された差分画像である。（c）については、説明の便宜上、差分画像を現画像に重ねたものとしている。図３の例における差分方式は４フレーム間差分方式となり、得られる差分画像は４フレーム間差分画像となる。また、ここでは探索範囲内のみについて差分演算を行っているので、差分の位置を表す画素は探索範囲内でのみ生じているが、これに限定されるものではなく、全画面において差分演算を行ってもかまわない。
【００２８】
図４を用いて差分累積手段８で生成される累積差分画像について説明する。図４の画像は、説明の便宜上、累積差分画像を現画像に重ねたものとしている。差分切り出し手段７で生成される、図３（c）のような累積前の１枚の差分画像においては、生じる差分は現画像と背景画像との間のある瞬間の波等の動きによって作られる小さな差分であり、また差分が生じる位置も移動、変化するので安定しない。しかし、各差分画像を所定時間累積することによって、図４に示すように、散発的かつ不規則に発生する差分を１枚の画像に集合させることが可能となる。こういったことから、１枚１枚の差分画像が微少、すなわち現画像と背景画像との輝度差が小さくとも、所定時間差分画像を累積することにより、両画像の間の変化（差分）を顕著に浮かび上がらせることができる。
【００２９】
図５を用いて水面判定手段９における水面判定について説明する。水面判定は、例えば、変化領域２値化法や変化領域２値化法ライン拡大法により行う。
【００３０】
まず変化領域２値化法について説明する。変化領域２値化法では、各画素に多値を持つ累積差分画像に対し、所定の閾値をもって２値化処理を行う。２値化処理により、所定の閾値より大きな値を持つ画素（大きな差分を持つ画素）は「１」に、所定の閾値より小さな値を持つ画素（小さな差分を持つ画素）は「０」に定まる。ここで「１」となった画素の集合を変化領域と定義する。この変化領域を「水面」と仮定するのが変化領域２値化法である。図５（a）に示すように、変化領域２値化法を用いると、変化領域である斜線部分が水面と判定される。
【００３１】
次に変化領域２値化法ライン拡大法について説明する。変化領域を「水面」と判定していた変化領域２値化法に対し、変化領域２値化法ライン拡大法は、２値化後「１」の値を持つ画素をライン方向に拡大した領域を「水面」と判定する点で異なる。そのため、変化領域２値化法ライン拡大法においては、２値化後「１」の値を持つ画素が１画素でもあるラインは、そのライン単位で水面と仮定される。一般に変化領域２値化法よりも大きな範囲が「水面」と判定されることとなる。図５（b）に示すように、変化領域２値化法ライン拡大法を用いると、破線領域が水面と判定される。
【００３２】
図６を用いて喫水線決定手段１０における喫水線の決定方法について説明する。接触判定手段１０１は、喫水線抽出画像処理手段３で抽出された複数の喫水線が水面判定手段９で判定された水面領域に接触しているか（重なっているか）否かを判定する。図６（a）において、喫水線５１は水面領域に接触しておらず、喫水線５２は水面領域に接触している。接触判定手段１０１は、水面領域に接触する喫水線５２を偽の喫水線であると判定して棄却するとともに、水面領域に接触しない喫水線５１真の喫水線であると判定し、その真の喫水線の位置を水位に換算した水位情報を結果出力手段１１に出力する。なお、喫水線５２は波が偶然直線に揃った為に誤認識された偽の喫水線である。
【００３３】
図６（b）においては、喫水線５３及び喫水線５４の両方が水面領域に接触している。この場合、接触判定手段１０１は、両方の喫水線とも偽の喫水線と判定して棄却し、喫水線は見つからずとの結論を表すエラー信号を最上位判定手段１０２に出力する。
【００３４】
エラー信号が入力された最上位判定手段１０２は、水面領域に接触している複数の喫水線のうち、最も上方に存在する喫水線を真の喫水線と決定し、他の喫水線を棄却する。つまり、喫水線５３及び喫水線５４のうち、最上位にある喫水線５３を真の喫水線と決定し、喫水線５４を偽の喫水線と判定する。そして、喫水線５４を棄却し、真の喫水線５３の位置を水位に換算した水位情報を結果出力手段１１に出力する。なお、図６の例においては喫水線が２本抽出された場合について説明を行ったが、例えば３本以上であっても偽の喫水線を棄却し、真の喫水線を決定することが可能である。
【００３５】
以上のように実施の形態１によれば、現画像データと背景画像データ（過去画像データ）とから得られた差分画像データに基づいて水面領域を判定し、複数の喫水線のうち水面領域に接触する喫水線を偽の喫水線として棄却することにより、真の喫水線の検出精度を向上させることが可能となる。
【００３６】
なお、背景画像データを生成するルールとして、過去４フレーム前の過去画像データを背景画像データとする例を説明したが、この過去画像データには、現画像データが出力された時から例えば過去１秒の間に蓄積された各過去画像データを平均化した画像データも含む。
【００３７】
なお、水位検出手段３４は、喫水線決定手段１０の後段に設けられ、喫水線決定手段１０で決定された喫水線の位置を水位に換算した水位情報を結果出力手段１１に出力することとしてもよい。
【００３８】
実施の形態２．
以下、図面に基づいて本発明の実施の形態２について詳細に説明する。図７は本発明の実施の形態２の水位検出装置の主要な構成手段を示す構成図である。実施の形態１に相当する部分には図１と同一の符号を付してその説明を省略する。実施の形態２では、喫水線抽出画像処理手段３の前段に追加マスク手段１３が追加されている点において、実施の形態１と異なる。以下、実施の形態１で説明したような先頭（画像情報入力I/F１）から終端（画像情報出力I/F１２）までを実施し、喫水線を決定するまでの一連の画像処理作業の流れを、１処理サイクルと呼ぶ。
【００３９】
ある処理サイクル（仮にＮ処理サイクルとする）の１サイクル前の処理サイクル（Ｎ−１処理サイクルとする）で、喫水線決定手段１０において偽の喫水線を発見した場合、その処理サイクル（Ｎ−１サイクル）では喫水線の誤認識が防止され、問題ない。しかし、偽の喫水線は上述したように、波、影等を原因とする直線成分が存在するために抽出され、この直線成分は、特に大きな水位変化がない限り、その位置に存在し続けるのが一般的である。従って、一旦偽の喫水線が抽出された近傍の位置には偽の喫水線が一定時間抽出され続けることが多い。
【００４０】
こういったことから、Ｎ−１処理サイクル以後の処理サイクルにおいても、喫水線抽出画像処理手段３では偽の喫水線も真の喫水線も区別することなく継続的に抽出作業が行われており、その作業負荷は、抽出対象の喫水線本数に比例する。真の喫水線は常に１本であるが、偽の喫水線は本数に上限はない。そのため河川の状況によって偽の喫水線の本数が増大した場合には、喫水線抽出画像処理手段３における作業は重大な負荷となり、１処理サイクルに要する時間が増大し、喫水線認識作業のリアルタイム性が損なわれてしまう。
【００４１】
追加マスク手段１３は、Ｎ処理サイクルにおいて、Ｎ−１処理サイクルでの喫水線決定手段１０により判定された偽の喫水線の位置情報を取得し、Ｎ処理サイクルから所定処理サイクルの間、その位置情報に基づき、画像入力手段２から入力された現画像データに対して、偽の喫水線近傍の位置にマスク処理を施す。
【００４２】
ここでいう近傍とは、例えばＮ−１処理サイクルにおいて判定した偽の喫水線が存在する位置の上下８ライン（画素列）程度であればいいが、特に制限はない。また、所定処理サイクルとは、例えば３０秒に対応する処理サイクル数が適当であるが、特に制限はない。所定処理サイクルが経過すると、追加マスク手段１３はマスクを外す。こうすることにより、一定時間ごとに画像処理が初期化され、次の処理サイクルで再び正しいマスクの更新が行われる。
【００４３】
喫水線抽出画像処理手段３は、追加マスク手段１３でマスク処理が施された現画像データに対し喫水線抽出処理を行う。Ｎ−１処理サイクルで何らかの直線成分があったと見られる偽の喫水線の近傍は、マスク処理が施されているため一切の画像がない。そのためＮ処理サイクルにおいて、喫水線抽出画像処理手段３はマスク処理が施されている箇所については喫水線抽出処理を行わないようになる。
【００４４】
以上のように実施の形態２によれば、追加マスク手段１３は１サイクル前の処理サイクルにおける偽の喫水線の位置情報に基づいてその位置近傍にマスク処理を施すので、喫水線抽出画像処理手段３は偽の喫水線を繰り返し抽出する必要はなくなり、作業負荷が軽減され、１処理サイクルに要する時間が増大することなく喫水線認識作業のリアルタイム性を確保できるようになる。
【符号の説明】
【００４５】
１ 画像情報入力I/F
２ 画像情報入力手段
３ 喫水線抽出画像処理手段
３１ エッジ抽出手段
３２ 範囲指定手段
３３ 直線検出手段
３４ 水位検出手段
４ 記憶手段
５ 現画像蓄積手段
６ 背景画像蓄積手段
７ 差分切り出し手段
８ 差分累積手段
９ 水面判断手段
１０ 喫水線決定手段
１０１ 接触判定手段
１０２ 最上位判定手段
１１ 結果出力手段
１２ 画像情報出力I/F
１３ 追加マスク手段
【特許請求の範囲】
【請求項１】
喫水線を含む撮影画像が入力される画像入力手段と、
前記撮影画像からエッジ画像を生成し、このエッジ画像の設定された領域において特定の方向に射影加算し、その射影加算のパターンに基づいて直線成分を抽出する直線成分抽出画像処理手段と、
前記撮影画像と前記撮影画像の所定フレーム前の各過去画像それぞれとの差分となる差分画像を生成し、各差分画像の各画素が持つ輝度をそれぞれ累積加算し累積差分画像を生成する差分累積手段と、
前記累積差分画像のうち、所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断する水面判断手段と、
前記抽出された直線成分のうち前記水面領域に重ならない直線成分を真の喫水線として決定する喫水線決定手段とを備えることを特徴とする水位検出装置。
【請求項２】
前記水面判断手段は、前記所定の閾値を超えた輝度を持つ画素の水平方向の画素列の集合を水面領域と判断することを特徴とする請求項１に記載の水位検出装置。
【請求項３】
前記喫水線決定手段は、前記抽出された直線成分が全て前記水面領域に含まれる場合にはエラー信号を出力する接触判定手段と、
前記エラー信号が入力された場合に、前記抽出された直線成分のうち最も上方にある直線成分を喫水線として決定する最上位判定手段とを備えることを特徴とする請求項１又は２に記載の水位検出装置。
【請求項４】
前記抽出された直線成分のうち前記真の喫水線に対応する直線成分以外の直線成分の位置情報を前記喫水線決定手段から入力され、前記直線成分の位置近傍に所定時間マスクする追加マスク手段を備えたことを特徴とする請求項１乃至３のいずれかに記載の水位検出装置。
【請求項５】
喫水線を含むエリアを撮影する撮影装置と、
前記撮影装置で撮影された画像を取り込み喫水線を決定する処理を行う請求項１乃至３のいずれかに記載された水位検出装置とを備えることを特徴とする水位検出システム。
【請求項６】
喫水線を含む撮影画像からエッジ画像を生成し、このエッジ画像の設定された領域において特定の方向に射影加算し、その射影加算のパターンに基づいて直線成分を抽出する直線成分抽出ステップと、
前記撮影画像と前記撮影画像の所定フレーム前の各過去画像それぞれとの間で差分演算する差分演算ステップと、
各差分演算結果の各画素が持つ輝度をそれぞれ累積加算して演算する差分累積ステップと、
前記累積差分演算の結果、所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断する水面判断ステップと、
前記抽出された直線成分のうち前記水面領域に含まれない直線成分を喫水線として決定する喫水線決定ステップとを有することを特徴とする水位検出方法。
【請求項１】
喫水線を含む撮影画像が入力される画像入力手段と、
前記撮影画像からエッジ画像を生成し、このエッジ画像の設定された領域において特定の方向に射影加算し、その射影加算のパターンに基づいて直線成分を抽出する直線成分抽出画像処理手段と、
前記撮影画像と前記撮影画像の所定フレーム前の各過去画像それぞれとの差分となる差分画像を生成し、各差分画像の各画素が持つ輝度をそれぞれ累積加算し累積差分画像を生成する差分累積手段と、
前記累積差分画像のうち、所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断する水面判断手段と、
前記抽出された直線成分のうち前記水面領域に重ならない直線成分を真の喫水線として決定する喫水線決定手段とを備えることを特徴とする水位検出装置。
【請求項２】
前記水面判断手段は、前記所定の閾値を超えた輝度を持つ画素の水平方向の画素列の集合を水面領域と判断することを特徴とする請求項１に記載の水位検出装置。
【請求項３】
前記喫水線決定手段は、前記抽出された直線成分が全て前記水面領域に含まれる場合にはエラー信号を出力する接触判定手段と、
前記エラー信号が入力された場合に、前記抽出された直線成分のうち最も上方にある直線成分を喫水線として決定する最上位判定手段とを備えることを特徴とする請求項１又は２に記載の水位検出装置。
【請求項４】
前記抽出された直線成分のうち前記真の喫水線に対応する直線成分以外の直線成分の位置情報を前記喫水線決定手段から入力され、前記直線成分の位置近傍に所定時間マスクする追加マスク手段を備えたことを特徴とする請求項１乃至３のいずれかに記載の水位検出装置。
【請求項５】
喫水線を含むエリアを撮影する撮影装置と、
前記撮影装置で撮影された画像を取り込み喫水線を決定する処理を行う請求項１乃至３のいずれかに記載された水位検出装置とを備えることを特徴とする水位検出システム。
【請求項６】
喫水線を含む撮影画像からエッジ画像を生成し、このエッジ画像の設定された領域において特定の方向に射影加算し、その射影加算のパターンに基づいて直線成分を抽出する直線成分抽出ステップと、
前記撮影画像と前記撮影画像の所定フレーム前の各過去画像それぞれとの間で差分演算する差分演算ステップと、
各差分演算結果の各画素が持つ輝度をそれぞれ累積加算して演算する差分累積ステップと、
前記累積差分演算の結果、所定の閾値を超えた輝度を持つ画素の集合を水面領域と判断する水面判断ステップと、
前記抽出された直線成分のうち前記水面領域に含まれない直線成分を喫水線として決定する喫水線決定ステップとを有することを特徴とする水位検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１８５０６１（Ｐ２０１２−１８５０６１Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４８９５９（Ｐ２０１１−４８９５９）
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]