説明

カラー画像に含まれる植生領域の判別方法、判別装置、判別システム、及び判別プログラム

【課題】季節変化や太陽光等のデータ取得条件の影響を低減しつつ、カラー画像から植生領域を抽出し、植生領域において、無害植生領域(芝領域)と有害植生領域とを適切に判別することが可能な、判別方法を提供する。
【解決手段】カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出し、抽出した植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、当該R/G値を用いたヒストグラムを作成し、作成されたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類し、植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素から構成される領域を、有害植生領域と判別する、カラー画像に含まれる植生領域の判別方法とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カラー画像から植生領域を抽出し、当該植生領域において、無害植生領域(芝領域)と有害植生領域とを判別することが可能な、判別方法、判別装置、判別システム、及び判別プログラムに関する。
【背景技術】
【0002】
河川堤防は、洪水時に流水が河川外に流出することを防止し、流域付近の財産を守っている。河川堤防の斜面には芝が張られる場合があり、当該芝によって河川堤防の斜面を強固に固定し、洪水時の流水による河川堤防の決壊等を防いでいる。一方で、河川堤防には自然に雑草等の有害植生が繁茂する。当該有害植生が繁茂してしまうと、芝が枯死してしまい、河川堤防の斜面の強度が落ちてしまう。このため、河川堤防においては、定期的に有害植生を対象とした除草を実施する必要がある。除草を行う際の判断基準は、植生の種類や成長程度(面積、背丈等)である。現状では、除草の判断は目視により行われており、河川堤防管理者の負担となっている。
【0003】
一方、河川堤防には、河川管理用のカメラが設置されている場合がある。これにより、任意の地点及び時間毎に静止画像を取得することが可能である。現在、係る画像は河川の遠隔監視に利用されており、植生の状況も撮影可能である。このため、取得した画像に画像処理を施して、河川堤防の状況を自動的に収集し、有害植生の定量的な評価を行うことは、河川堤防の維持管理を支援する技術となり得る。
【0004】
しかしながら、屋外の自然環境下で取得した画像データを解析に用いる場合、観測対象の色情報が一様とはならない。また、観測対象が同一であっても、天候や時間等のデータ取得条件によって、画像中の色調が異なることから、解析において誤認識を引き起こしやすい。したがって、河川堤防画像を解析する際も、これらを考慮する必要がある。
【0005】
例えば、航空写真や衛星写真から自動的に植生状況を判定する手法が各種提案されているが(特許文献1〜3等)、これら手法にあっては、複数の植生が混在している場合、当該植生が有害植生であるか否かを判別することができず、有害植生のみを検出することは困難であった。
【0006】
当該問題を解決すべく、特許文献4においては、植生調査対象地域を撮影した植生調査対象地域画像中の識別対象植生画像から、R成分画像、G成分画像、B成分画像を作成し、テクスチャ解析によって、これらR成分画像、G成分画像、B成分画像から、各々の画像の特徴量としての、輝度値の平均値、コントラストの平均値、滑らかさ、一様性、エントロピーのうちの1つ以上を抽出することにより、対象画像から有害植生のみを検出可能としている。しかしながら、特許文献4に係る技術にあっては、天候や時間等のデータ取得条件によって変化し得るパラメータを特徴量として抽出しており、解析において誤認識を引き起こしやすいものであった。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2007−303855号公報
【特許文献2】特開2006−252529号公報
【特許文献3】特開2007−128141号公報
【特許文献4】特開2008−210165号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
そこで本発明は、季節変化や太陽光等のデータ取得条件の影響を低減しつつ、カラー画像から植生領域を抽出し、当該植生領域において、無害植生領域(芝領域)と有害植生領域とを適切に判別することが可能な、判別方法、判別装置及び判別プログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
本発明者らは、画像データにおける植生領域の判別方法について研究を進めた結果、以下の知見を得た。
(1)植生領域においては、RGBの各成分のうち、G成分が他の成分よりも値が大きくなる。また、植生領域とそれ以外の領域とでは、RGBの各成分値に所定の大小関係がある。すなわち、カラー画像の各画素におけるRGB値の大小関係を用いることで、画像から植生領域のみを適切に抽出することが可能である。
(2)植生領域に含まれる有害植生領域と芝領域とについてRGB値を比較・解析した場合、(G−R)値が、有害植生領域では大きく、芝領域では小さな値となる。すなわち、R成分値をG成分値で除したR/G値は、有害植生領域では小さく、芝領域では大きな値となる。
(3)植生領域を解析する際、R/G値をパラメータとして用いると、季節変化や太陽光等のデータ取得条件の影響が低減された相対的な解析が可能となる。例えば、植生領域において有害植生領域と芝領域とが混在する場合、R/G値が閾値以上の画素部分を芝領域、R/G値が閾値未満の画素部分を有害植生領域として相対的に判別することが可能である。
(4)植生領域における各画素について、それぞれR/G値を算出し、R/G値についてのヒストグラムを作成した場合、植生領域において有害植生領域と芝領域とが混在する場合(混在植生領域)と、芝領域のみ又は有害植生領域のみが存在する場合(単一植生領域)とで、ヒストグラムの形状が異なる。すなわち、作成したヒストグラムから取得される統計量を用いることにより、植生領域が混在植生領域であるのか単一植生領域であるのかを適切に分類することが可能である。
【0010】
本発明は上記知見に基づいてなされたものである。すなわち、
第1の本発明は、カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する、植生領域抽出工程と、
抽出した植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、当該R/G値を用いたヒストグラムを作成する、ヒストグラム作成工程と、
作成されたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類する、クラス分類工程と、
クラス分類工程において、植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素から構成される領域を、有害植生領域と判別する、判別工程と、
を備える、カラー画像に含まれる植生領域の判別方法である。
【0011】
本願において、「植生」とは、植物の集団を意味する。特に、河川堤防における植生にあっては、芝と有害植生とに大別される。河川堤防において、有害植生は繁茂によって芝を枯死させるものである。有害植生の具体例としては、例えば、多年生植物であるイタドリを挙げることができる。
【0012】
第1の本発明に係るヒストグラム作成工程においては、R/G値を所定の階調に正規化し、各階調における画素数をヒストグラム化することが好ましい。
【0013】
第1の本発明に係るクラス分類工程においては、統計量として、R/G値の平均値、ヒストグラムの歪度及び尖度を用いることが好ましい。
【0014】
第1の本発明に係るヒストグラム作成工程においては、R/G値を所定の階調(例えば、256階調が望ましい。)に正規化して、各階調における画素数についてヒストグラム化し、クラス分類工程において、当該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、植生領域を混在植生領域に分類し、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、植生領域を単一植生領域に分類することが特に好ましい。
(1)R/G値の平均値が閾値以下(256階調に正規化した場合は、例えば、120以下が望ましい。)
(2)ヒストグラムの歪度が閾値以下(256階調に正規化した場合は、例えば、1以下が望ましい。)
(3)ヒストグラムの尖度が閾値以下(256階調に正規化した場合は、例えば、14以下が望ましい。)
【0015】
第1の本発明に係る植生領域抽出工程においては、カラー画像の各画素についてRGB値を求め、当該RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を植生領域として抽出することが好ましい。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値であり、Mは最大階調値の9%以上14%以下のいずれかの値である。)
(II)R、G、Bともに、最大階調値の78%以上
【0016】
第2の本発明は、カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する、植生領域抽出手段と、
抽出した植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、当該R/G値を用いたヒストグラムを作成する、ヒストグラム作成手段と、
作成されたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類する、クラス分類手段と、
クラス分類手段において、植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素から構成される領域を有害植生領域と判別する、判別手段と、
を備える、カラー画像に含まれる植生領域の判別装置である。
【0017】
第2の本発明において、ヒストグラム作成手段が、R/G値を所定の階調に正規化し、各階調における画素数をヒストグラム化する手段であることが好ましい。
【0018】
第2の本発明に係るクラス分類手段において、統計量として、R/G値の平均値、ヒストグラムの歪度及び尖度が用いられることが好ましい。
【0019】
第2の本発明において、ヒストグラム作成手段が、R/G値を所定の階調(例えば、256階調が望ましい。)に正規化して、各階調における画素数をヒストグラム化する手段であり、クラス分類手段が、当該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、植生領域を混在植生領域に分類し、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、植生領域を単一植生領域に分類する手段であることが特に好ましい。
(1)R/G値の平均値が閾値以下(256階調に正規化した場合は、例えば、120以下が望ましい。)
(2)ヒストグラムの歪度が閾値以下(256階調に正規化した場合は、例えば、1以下が望ましい。)
(3)ヒストグラムの尖度が閾値以下(256階調に正規化した場合は、例えば、14以下が望ましい。)
【0020】
第2の本発明において、植生領域抽出手段が、カラー画像の各画素についてRGB値を求め、当該RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を植生領域として抽出する手段であることが好ましい。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値であり、Mは最大階調値の9%以上14%以下のいずれかの値である。)
(II)R、G、Bともに、最大階調値の78%以上
【0021】
第3の本発明は、カラー画像を撮像する撮像装置と、第2の本発明に係る判別装置とを備える、カラー画像に含まれる植生領域の判別システムである。
【0022】
第4の本発明は、カラー画像が入力された第2の本発明に係る判別装置に、
カラー画像の各画素におけるRGB値の大小関係を用いて、当該カラー画像に含まれる植生領域を抽出させ、
抽出させた植生領域の各画素に係るRGB値について、R成分値をG成分値で除してR/G値を算出させ、当該R/G値を用いたヒストグラムを作成させ、
作成させたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類させ、
植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素部分を有害植生領域と判別させる、
カラー画像に含まれる植生領域を判別させるプログラムである。
【0023】
第4の本発明において、上記の判別装置に、R/G値を所定の階調に正規化させ、各階調における画素数をヒストグラム化させることが好ましい。
【0024】
第4の本発明において、上記の判別装置に、統計量として、R/G値の平均値、ヒストグラムの歪度及び尖度を算出させることが好ましい。
【0025】
第4の本発明において、上記の判別装置に、R/G値を所定の階調(例えば、256階調が望ましい。)に正規化して各階調における画素数をヒストグラム化させ、当該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、植生領域を混在植生領域に分類させ、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、植生領域を単一植生領域に分類させることが特に好ましい。
(1)R/G値の平均値が閾値以下(256階調に正規化した場合は、例えば、120以下が望ましい。)
(2)ヒストグラムの歪度が閾値以下(256階調に正規化した場合は、例えば、1以下が望ましい。)
(3)ヒストグラムの尖度が閾値以下(256階調に正規化した場合は、例えば、14以下が望ましい。)
【0026】
第4の本発明において、上記の判別装置に、カラー画像の各画素についてRGB値を求め、当該RGB値が下記条件(I)又は(II)を満たす画素部分を植生領域として抽出させることが好ましい。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値であり、Mは最大階調値の9%以上14%以下のいずれかの値である。)
(II)R、G、Bともに、最大階調値の78%以上
【発明の効果】
【0027】
本発明においては、RGB値の大小関係を考慮して画像から植生領域を適切に抽出するとともに、R/G値を用いて画像中の植生領域を解析し、植生領域に含まれる有害植生領域とそれ以外とを判別するものとしている。植生領域を解析する際、R/G値をパラメータとして用いると、季節変化や太陽光等のデータ取得条件の影響が低減された相対的な解析が可能となる。すなわち、本発明によれば、季節変化や太陽光等のデータ取得条件の影響を低減しつつ、カラー画像から植生領域を抽出し、当該植生領域において、無害植生領域(芝領域)と有害植生領域とを適切に判別することが可能な判別方法、判別装置、判別システム及び判別プログラムを提供することができる。
【図面の簡単な説明】
【0028】
【図1】一実施形態に係る本発明の判別方法を示す図である。
【図2】本発明に係る判別方法に供される前の画像データを説明するための図である。
【図3】植生領域が抽出された状態を説明するための図である。
【図4】ヒストグラムの一例を示す図である。
【図5】単一植生領域と混在植生領域とを説明するための図である。
【図6】植生領域の判別工程を説明するための図である。
【図7】本発明に係る判別方法に供された後の画像データを説明するための図である。
【図8】一実施形態に係る本発明の判別装置100の構成を説明するための図である。
【図9】実施例に係る結果を示す図である。
【発明を実施するための形態】
【0029】
1.カラー画像に含まれる植生領域の判別方法
図1に、カラー画像に含まれる有害植生領域の判別方法の一例を示す。図1に示すように判別方法S10は、カラー画像データを入力し、任意に当該画像データを前処理する工程S0、カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する、植生領域抽出工程S1、抽出した植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、当該R/G値を用いたヒストグラムを作成する、ヒストグラム作成工程S2、作成されたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類する、クラス分類工程S3、及び、クラス分類工程S3において植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素から構成される領域を、有害植生領域と判別する、判別工程S4を備えている。
【0030】
(工程S0)
工程S0は、カラー画像データを判別装置に入力し、任意に前処理を行う工程である。入力される画像のサイズや階調等は特に限定されるものではない。例えば、RGBともに256階調のカラー画像を用いれば良い。前処理については、例えば、入力した画像データにおいて、画像端部に、撮像装置の仕様による歪みや画像の撮影日時等を示す文字列が存在する場合があり、このような場合には、画像端部を所定画素数分だけ除去することにより、不要な歪みや文字列を除去することが好ましい。これにより、有害植生領域の判別精度を向上させることができる。
【0031】
(植生領域抽出工程S1)
植生領域抽出工程S1は、カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する工程である。処理対象である画像には、例えば、図2に概略的に示す画像10のように、植生領域1(芝領域1a、有害植生領域1b)とそれ以外の領域(土領域2)とが混在して存在する場合がある。工程S1では、このように複数混在する領域から、植生領域1のみを抽出する。
【0032】
本発明者らが鋭意研究し、画像に含まれる植生領域1(芝領域1a、有害植生領域1b)及びそれ以外の領域(土領域2)のRGB値をそれぞれ調査した結果、芝領域1aおよび土領域2におけるR成分及びG成分の値、並びに、有害植生領域1b及び土領域2におけるB成分の値はそれぞれ近似することがわかった。より具体的には、R成分値やG成分値は、有害植生領域1bにおいて、芝領域1aや土領域2よりも高くなり、B成分値は、有害植生領域1b及び土領域2において、芝領域1aよりも高くなることが分かった。すなわち、RGB値のうちのいずれか一つの値に着目しただけでは、画像から植生領域1のみを抽出することは困難と考えられた。一方、植生領域1においては、RGB値のうち、G成分値が他の成分値よりも大きくなることもわかった。
【0033】
すなわち、RGB値のうちのいずれか一つの値のみに着目するのではなく、RGB値の大小関係を用いることにより、画像から植生領域1のみを適切に抽出できる。好ましくは下記の通りである。
【0034】
RGB値の大小関係を考慮した結果、植生領域1と土領域2とでは、B値を(G−B)値で除した値である「B/(G−B)値」に差が生じることを認めた。より具体的には、B/(G−B)値が下記条件(I−1)を満たす画素から構成される領域を抽出することで、植生領域1を適切に抽出することができる。
(I−1) 0<B/(G−B)<N
【0035】
上記数値範囲の上限値Nは、判別対象であるカラー画像の最大階調値の1%以上6%以下のいずれかの値である。最大階調が256階調の場合は5以上15以下のいずれかの値とすることができる。特に、植生領域1を最も良好に抽出できる上限値Nは、最大階調値の4%程度の値(256階調の場合は10)である。また、上述の通り、植生領域1は、B成分と比較してG成分が高い値を示すため、下限値を0とすることができる。
【0036】
ただし、上記条件(I−1)のみでは、一部領域を誤抽出してしまう場合がある。この観点から、植生領域1のみを一層適切に抽出するためには、上記条件(I−1)とともに、下記条件(I−2)を同時に満たす画素領域を抽出することが特に好ましい。
(I−2) R≦G又はB+M<G
【0037】
上記条件(I−2)は、植生領域1においては、R成分値及びB成分値と比較して、G成分値が大きくなることに着目して設定したものである。尚、植生領域1におけるG成分値とR成分値との差よりも、G成分値とB成分値との差の方が大きくなるため、B+M<Gとするとよい。ここで、B成分値に加算する値Mは、最大階調値の9%以上14%以下のいずれかの値である。最大階調値が256階調の場合は25以上35以下のいずれかの値とすることができる。特に、植生領域1を最も良好に抽出できる値Mは、最大階調値の12%程度(256階調の場合は30)である。
【0038】
さらに、本発明者らが鋭意研究したところ、有害植生領域1bにおいては、他の領域よりも太陽光の影響を大きく受け、階調値が著しく上昇する部分が存在することを知見した。すなわち、RGB値がともに最大階調値の78%以上(256階調の場合は、例えば200以上)の領域は、太陽光の影響を受けた有害植生領域1bであると言える。この観点から、下記条件(II)を満たす画素領域についても、植生領域1として抽出することができる。
(II) R、G、Bともに最大階調値の78%以上
【0039】
以上をまとめると、植生領域抽出工程S1において、画像に含まれる植生領域1のみを適切に抽出可能とするためには、RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を抽出することが最も好ましい。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値、好ましくは最大階調値の4%程度の値であり、Mは最大階調値の9%以上14%以下のいずれかの値、好ましくは最大階調値の12%程度の値である。)
(II)R、G、Bともに、最大階調値の78%以上
【0040】
判別対象であるカラー画像のRGBがともに256階調である場合は、上記条件(I)、(II)は具体的には下記の通りとすることが望ましい。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは5以上15以下のいずれかの値、好ましくは10であり、Mは25以上35以下のいずれかの値、好ましくは30である。)
(II)R≧200、且つ、G≧200、且つ、B≧200
【0041】
このように、工程S1において、RGB値の大小関係を用いて植生領域1を抽出することによって、例えば、図3に示すような、植生領域1以外の領域(土領域2)が棄却された画像20を得ることができる。
【0042】
(ヒストグラム作成工程S2)
ヒストグラム作成工程S2は、抽出した植生領域1の各画素について、R成分値をG成分値で除してR/G値を算出し、当該R/G値を用いたヒストグラムを作成する工程である。
【0043】
植生領域1に含まれる芝領域1aと有害植生領域1bとについてRGB値を比較・解析したところ、(G−R)値が、有害植生領域1bでは大きく、芝領域1aでは小さな値となることが分かった。すなわち、R成分値をG成分値で除したR/G値は、有害植生領域1bでは小さく、芝領域1aでは大きな値となる。ここで、R/G値をパラメータとして用いると、季節変化や太陽光等のデータ取得条件の影響が低減された相対的な解析が可能となる。R成分値、G成分値それぞれにデータ取得条件の影響が含まれているが、R成分値をG成分値で除することにより、当該データ取得条件の影響が相殺・低減されるためである。ここで、植生領域1における各画素について、それぞれR/G値を算出し、R/G値についてのヒストグラムを作成した場合、植生領域1において芝領域1aと有害植生領域1bとが混在する場合(混在植生領域)と、芝領域のみ又は有害植生領域のみが存在する場合(単一植生領域)とで、ヒストグラムの形状が異なる。
【0044】
工程S2においては、特に、R/G値を所定の階調に正規化し、各階調における画素数をヒストグラム化するとよい。「所定の階調」とは、通常256階調であるが、それ以外の階調(64階調や128階調等)であっても良い。ただし、解析を容易とする観点、及び、より好適なヒストグラムを作成する観点からは、R/G値を256階調に正規化することが好ましい。図4にヒストグラムの一例(ヒストグラム30)を示す。
【0045】
(クラス分類工程S3)
クラス分類工程S3は、作成されたヒストグラムから得られる統計量を用いて、植生領域1が単一植生領域であるか混在植生領域であるかを分類する工程である。単一植生領域としては、例えば、図5(A)の画像10aに示すような芝領域1aのみからなる植生領域が挙げられる。また、図5(B)の画像10bに示すような有害植生領域1bのみからなる植生領域も単一植生領域に分類される。混在植生領域としては、図3に示したような芝領域1aと有害植生領域1bとが混在するような植生領域が挙げられる。
【0046】
クラス分類工程S3において用いられる「ヒストグラムから得られる統計量」としては、R/G値の平均値、並びに、ヒストグラムの分散度、歪度及び尖度等のヒストグラムの形状から得られる値が挙げられる。特に、R/G値の平均値、ヒストグラムの歪度及び尖度のいずれかを用いることが好ましく、少なくともヒストグラムの歪度及び尖度を用いることがより好ましく、少なくともR/G値の平均値、ヒストグラムの歪度及び尖度を用いることが最も好ましい。尚、本願において、ヒストグラムの「分散度」、「歪度」及び「尖度」は、従来公知の算出式を用いて算出することができる。
【0047】
上述した通り、R/G値は有害植生領域1bにおいて小さな値となるため、植生領域1が混在植生領域である場合には、R/B値の平均値が、芝領域1aのみからなる単一植生領域である場合よりも相対的に小さな値となり、有害植生領域1bのみからなる単一植生領域である場合よりも相対的に大きな値となりやすい。また、本発明者らの解析により、混在植生領域は、単一植生領域と比較し階調値のばらつきが大きくなることが分かった。当該階調値のばらつきは、例えば、階調毎に画素数をヒストグラム化した場合に、ヒストグラムの歪度や尖度に影響を与える。すなわち、ヒストグラムの歪度や尖度が閾値以下の場合、植生領域を混在植生領域として分類することができる。以上をまとめると、クラス分類工程S3においては、下記(1)〜(3)の条件をすべて満たす場合に、植生領域を混在植生領域に分類し、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、植生領域を単一植生領域に分類することが特に好ましい。
(1)R/G値の平均値が閾値以下
(2)ヒストグラムの歪度が閾値以下
(3)ヒストグラムの尖度が閾値以下
【0048】
特に、ヒストグラム作成工程S2において、R/G値を所定の階調に正規化してヒストグラムを作成した場合は、R/G値の平均値に係る閾値を最大階調値の40%〜50%(256階調に正規化した場合、最も好ましくは120)とすることができる。また、R/G値を256階調に正規化してヒストグラムを作成した場合、ヒストグラムの歪度に係る閾値を1とし、ヒストグラムの尖度に係る閾値を14とすることで、最も適切に植生領域1の分類を行うことができる。
【0049】
(判別工程S4)
判別工程S4は、クラス分類工程S3において植生領域1が混在植生領域に分類された場合、当該植生領域1においてR/G値が閾値未満である画素から構成される領域を、有害植生領域1bと判別する工程である。上述の通り、R/G値は、有害植生領域1bでは小さく、芝領域1aでは大きな値となる。よって、図6に示すように、R/G値が閾値以上である画素から構成される領域を芝領域1a、R/G値が閾値未満である画素から構成される領域を有害植生領域1bとして適切に判別することができる。
【0050】
例えば、R/G値を所定の階調に正規化した場合は、判別工程S4におけるR/G値の閾値を最大階調値の41%〜46%に相当する値とすることが好ましい。例えば、256階調に正規化した場合は、104〜119を閾値として設定することができる。ただし、当該閾値はあくまでも例示である。閾値については適宜修正することができる。また、ヒストグラムを用いた公知の判別分析法(大津の方法)によって、閾値を設定してもよい。
【0051】
尚、植生領域1中の有害植生領域1bにおいては、上述の通り、太陽光が有害植生の上部にて反射し、色情報が変化している場合がある。この場合、有害植生領域1bの一部画素において、R/B値が閾値以上となり、有害植生領域1bの一部が芝領域1bであると誤って判別される場合がある。これを防ぐ観点からは、有害植生領域1bに係る部分については膨張収縮処理を施すことが好ましい。具体的には、有害植生領域1bとして判別された画素の近傍8画素は、同様の有害植生領域1bであるものとみなして修正を行う膨張処理を行い、さらに有害植生領域1bの近傍8画素に芝領域1aなどの他の領域がある場合には、芝領域であるとみなして、有害植生領域1bを芝領域に修正する収縮処理を行うと良い。
【0052】
判別工程S4を経ることで、例えば、図7に概略的に示すように、芝領域と有害植生領域と土領域とが適切に判別された画像40を得ることができる。
【0053】
以上のように、判別方法S10においては、RGB値の大小関係を考慮して画像から植生領域1を適切に抽出するとともに(工程S1)、R/G値を用いて画像中の植生領域1を解析、ヒストグラム化し(工程S2)、当該ヒストグラムから得られる統計量を用いて植生領域1に含まれる有害植生領域1bとそれ以外(芝領域1a)とを判別するものとしている(工程S3、S4)。植生領域1を解析する際、R/G値をパラメータとして用いると、季節変化や太陽光等のデータ取得条件の影響が低減された相対的な解析が可能となる。すなわち、判別方法S10によれば、季節変化や太陽光等のデータ取得条件の影響を低減しつつ、カラー画像から植生領域1を抽出し、当該植生領域1において、無害植生領域(芝領域1a)と有害植生領域1bとを適切に判別することが可能である。また、画像中の植生領域1の割合や、植生領域1における有害植生領域1bの割合も適切に算出することが可能である。
【0054】
2.カラー画像に含まれる植生領域の判別装置、判別システム、及び判別プログラム
本発明に係る判別方法S10を実行可能な判別装置について説明する。図8に一実施形態に係る本発明の判別装置100を概略的に示す。図8に示すように、判別装置100は、上記前処理に係る工程S0を行う前処理手段、植生領域抽出工程S1を行う植生領域抽出手段、上記ヒストグラム作成工程S2を行うヒストグラム作成手段、上記クラス分類工程S3を行うクラス分類手段、及び、上記判別工程S4を行う判別手段、として機能するCPU11、並びに、CPU11に対する記憶装置等を備えている。CPU11は、マイクロプロセッサユニット及びその動作に必要な各種周辺回路を組み合わせて構成され、CPU11に対する記憶装置は、例えば、上記工程S1〜S4の判断、実行に必要なプログラムや各種データ(例えば、判定対象となる複数の画像データ)を記憶するROM12と、CPU11の作業領域として機能するRAM13等を組み合わせて構成されている。当該構成に加えて、さらに、CPU11が、ROM12に記憶されたソフトウェアと組み合わされることにより、判別装置100が機能する。
【0055】
画像データの植生領域の判別を行うユーザは、入力手段16(例えば、パソコンのキーボード等)を介して、判別装置100へとデータを入力していく。入力手段16からの入力信号は、入力ポート14を介して、入力信号としてCPU11へと到達する。CPU11は、入力手段16からの信号、及び、ROM12に記憶されたプログラムに基づいて、上記工程S1〜S4を行い、出力ポート15を介して、判別結果に関する信号を出力手段(例えば、パソコンの画面等)へと出力し、出力手段17に植生領域の判別結果が表示される。例えば、複数の画像データに対して植生領域の判別方法S10をそれぞれ実行し、画像データにおける植生領域が単一植生領域であるか混在植生領域であるかを分類し、当該分類結果や画像に占める有害植生領域の割合等が出力手段17に表示される形態のほか、画像データのうち有害植生領域の割合が一定以上である画像のみを表示したり、或いは、有害植生領域の割合が大きい順に複数の画像データが並び替えられて出力手段17に表示されるような形態とすることで、出力手段17に表示された結果により、ユーザは撮像地点の有害植生の除草作業の要否を容易に判断することができる。
【0056】
具体的には、入力手段16を介して、判別方法S10を実行するために必要となる信号や情報(画像データの選択信号、ヒストグラムを作成するための階調設定、ヒストグラムから得られる統計量の算出式、各種閾値等)が、判別装置100へと入力される。一方、ROM12には、本発明に係る判別方法S10を実行可能な判定プログラムが記憶されており、当該プログラムを実行することによって、CPU11にて判別方法S10を行わせることができる。判別プログラムは、判別装置100に判別方法S10を行わせることができるものであれば特に限定されるものではないが、例えば、下記のようなものとすることができる。
【0057】
すなわち、カラー画像が入力された判別装置100において、ユーザからの入力信号によって、CPU11に、カラー画像の各画素におけるRGB値の大小関係を用いて、当該カラー画像に含まれる植生領域を抽出させ、抽出させた植生領域の各画素に係るRGB値について、R成分値をG成分値で除してR/G値を算出させ、当該R/G値を用いたヒストグラムを作成させ、作成させたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類させ、植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素部分を有害植生領域と判別させる、判別プログラムによって、判別装置100に判別方法S10を実行させることができる。
【0058】
ここで、判別装置100に、R/G値を所定の階調に正規化させ、各階調における画素数をヒストグラム化させることが好ましい。上述の通り、所定の階調に正規化させたR/G値を用いてヒストグラムを作成することにより、ヒストグラムの形状等の統計量から、植生領域が単一植生領域であるか混在植生領域であるかをより適切に分類することができる。
【0059】
また、植生領域の分類をより適切に行う観点から、判別装置100に、統計量として、R/G値の平均値、ヒストグラムの歪度及び尖度を算出させることが好ましい。また、判別装置100に、R/G値の平均値、ヒストグラムの歪度及び尖度がいずれも閾値以下の場合に、植生領域を混在植生領域に分類させることがより好ましい。
【0060】
特に、判別装置100に、R/G値を所定の階調(例えば、256階調が望ましい。)に正規化して各階調における画素数をヒストグラム化させ、該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、植生領域を混在植生領域に分類させ、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、植生領域を単一植生領域に分類させると、植生領域を単一植生領域又は混在植生領域に一層適切に分類することができる。
(1)R/G値の平均値が閾値以下(256階調に正規化した場合は、例えば、120以下が望ましい。)
(2)ヒストグラムの歪度が閾値以下(256階調に正規化した場合は、例えば、1以下が望ましい。)
(3)ヒストグラムの尖度が閾値以下(256階調に正規化した場合は、例えば、14以下が望ましい。)
【0061】
さらに、判別装置100に、カラー画像の各画素についてRGB値を求めさせ、当該RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を植生領域として抽出させると、カラー画像から植生領域のみを一層適切に抽出することが可能である。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値、好ましくは最大階調値の4%程度の値であり、Mは最大階調値の9%以上14%以下のいずれかの値、好ましくは最大階調値の12%程度の値である。)
(II)R、G、Bともに、最大階調値の78%以上
【0062】
判別対象であるカラー画像のRGBがともに256階調である場合は、上記条件(I)、(II)は具体的には下記の通りとすることが望ましい。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは5以上15以下のいずれかの値、好ましくは10であり、Mは25以上35以下のいずれかの値、好ましくは30である。)
(II)R≧200、且つ、G≧200、且つ、B≧200
【0063】
以上のように、判別装置100には、カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する、植生領域抽出手段(CPU11)と、抽出した植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、当該R/G値を用いたヒストグラムを作成する、ヒストグラム作成手段(CPU11)と、作成されたヒストグラムから得られる統計量を用いて、植生領域が単一植生領域であるか混在植生領域であるかを分類する、クラス分類手段(CPU11)と、クラス分類手段において、植生領域が混在植生領域に分類された場合、当該植生領域においてR/G値が閾値未満である画素から構成される領域を有害植生領域と判別する、判別手段(CPU11)とが備えられており、且つ、上記した判別プログラムによって、判別方法S10を実行可能とされている。すなわち、当該判別装置100によれば、季節変化や太陽光等のデータ取得条件の影響を低減しつつ、カラー画像から植生領域1を抽出し、当該植生領域1において、無害植生領域(芝領域1a)と有害植生領域1bとを適切に判別することが可能である。
【0064】
尚、画像データの取得については公知の撮像装置を用いればよい。例えば、河川堤防の監視等に用いられる定点カメラから逐次得られる画像を用いることができる。上記説明においては、画像データをユーザが入力するものとして説明したが、定点カメラからの情報を、ネットワークを介して、判別装置100が自動的・逐次的に受信可能なものとし、判別装置100に対して、一定期間毎に、受信した画像データに対して上記判別方法S10を行わせるように、プログラムを設定してもよい。
【実施例】
【0065】
<評価手法>
本発明に係る判別方法を以下の方法により評価した。
(1)河川堤防に設置された撮像装置(マルチキャストCCTV画像提供システム)から取得された画像(720画素×480画素、RGB各256階調)54枚について、本発明に係る判別装置を用いて本発明に係る判別方法を実施し、画像に含まれる植生領域が単一植生領域か混在植生領域かを分類した。
(2)植生領域として混在植生領域を含む画像18枚を対象とし、本発明に係る判別方法によって、画像を有害植生領域、芝領域、並びにその他の領域へと判別した判別結果(実施例)と、RGB成分又はa*成分を特徴量として用い、k−means法(k=3)を対象画像に施して得られる判別結果(比較例)と、目視により有害植生領域、芝領域、並びにその他の領域へと判別した判別結果(参考例)とをそれぞれ取得して判別結果の類似性を比較した。なお、比較例について、a*成分は、芝におけるa*の値が有害植生と比較して高い結果が得られたため、特徴量として用いた。
(3)植生領域として混在植生領域を含む画像18枚を対象とし、本発明に係る判別方法によって、画像を有害植生領域、芝領域、並びにその他の領域へと判別した判別結果(実施例)と、目視により有害植生領域、芝領域、並びにその他の領域へと判別した判別結果(参考例)とをそれぞれ取得し、判別結果の一致率を算出した。「一致率」とは、実施例と参考例との間で、同一領域と判定された画素の割合を算出したものである。
【0066】
<評価結果>
本発明の判別方法に係るクラス分類処理の結果、対象画像データ54枚中54枚(100%)で、堤防画像に含まれる植生領域が混在植生領域か単一植生領域かを正しく分類することできた。
【0067】
図9に、一の画像データ(図9(A))に対して、目視により有害植生領域、芝領域、並びにその他の領域を判別した判別結果(参考例:図9(B))と、本発明の判別方法により得られた有害植生領域および芝領域の判別結果(実施例:図9(C))と、a*成分を特徴量として用い、k−means法(k=3)を対象画像に施して得られる判別結果(比較例:図9(D))と、RGB成分を特徴量として用い、k−means法(k=3)を対象画像に施して得られる判別結果(比較例:図9(E))とを示す。図9から明らかなように、k−means法を用いて判別した結果(図9(D)、(E))においては、芝領域をその他の領域と誤分類し、また、有害植生領域を芝領域と誤分類していることが分かる。一方、本発明に係る判別方法により植生領域を判別した場合(図9(C))、目視により判別した場合(図9(B))に類似した結果が得られることが分かる。すなわち、本発明に係る判別方法が、河川堤防画像の分類および植生領域の判別に有用であると言える。
【0068】
本発明に係る判別方法によって、画像を有害植生領域、芝領域、並びにその他の領域へと判別した判別結果(実施例)と、目視により有害植生領域、芝領域、並びにその他の領域へと判別した判別結果(参考例)とをそれぞれ取得し、判別結果の一致率を算出したところ、全画素の一致率(18枚の平均値)は81.3%と良好な結果が得られた。また、不一致率(18.7%)については、下記表1のような内訳となった。不一致率の主なものは、植生領域抽出工程(工程S1)において、ポールやコドラート等の画像に含まれるその他領域が、有害植生領域や芝領域として誤抽出されていることに起因するものであった。したがって、植生領域抽出工程における抽出精度を向上させることで、一致率をさらに向上させることができるものと考えられる。
【0069】
【表1】

【0070】
以上、現時点において、最も実践的であり、且つ、好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う植生領域の判別方法、判定装置、判別システム、及び判定プログラムもまた本発明の技術範囲に包含されるものとして理解されなければならない。
【産業上の利用可能性】
【0071】
本発明によれば、例えば、河川堤防に設けられたカメラから取得される画像を用いて、河川堤防の状況を自動的に収集し、有害植生の定量的な評価を行うことができ、河川堤防の維持管理を支援することができる。
【符号の説明】
【0072】
1 植生(植生領域)
1a 芝(芝領域)
1b 有害植生(有害植生領域)
2 土(土領域)

【特許請求の範囲】
【請求項1】
カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する、植生領域抽出工程と、
抽出した前記植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、該R/G値を用いたヒストグラムを作成する、ヒストグラム作成工程と、
作成された前記ヒストグラムから得られる統計量を用いて、前記植生領域が単一植生領域であるか混在植生領域であるかを分類する、クラス分類工程と、
前記クラス分類工程において、前記植生領域が混在植生領域に分類された場合、該植生領域において前記R/G値が閾値未満である画素から構成される領域を、有害植生領域と判別する、判別工程と、
を備える、カラー画像に含まれる植生領域の判別方法。
【請求項2】
前記ヒストグラム作成工程において、前記R/G値を所定の階調に正規化し、各階調における画素数をヒストグラム化する、請求項1に記載の判別方法。
【請求項3】
前記クラス分類工程において、前記統計量として、前記R/G値の平均値、前記ヒストグラムの歪度及び尖度を用いる、請求項1又は2に記載の判別方法。
【請求項4】
前記ヒストグラム作成工程において、前記R/G値を所定の階調に正規化して、各階調における画素数についてヒストグラム化し、前記クラス分類工程において、該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、前記植生領域を混在植生領域に分類し、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、前記植生領域を単一植生領域に分類する、請求項1に記載の判別方法。
(1)R/G値の平均値が閾値以下
(2)ヒストグラムの歪度が閾値以下
(3)ヒストグラムの尖度が閾値以下
【請求項5】
前記植生領域抽出工程において、前記カラー画像の各画素についてRGB値を求め、該RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を植生領域として抽出する、請求項1〜4のいずれか1項に記載の判別方法。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値であり、Mは最大階調値の9%以上14%以下のいずれかの値である。)
(II)R、G、Bともに、最大階調値の78%以上
【請求項6】
カラー画像の各画素におけるRGB値の大小関係を用いて、植生領域を構成する画素を抽出する、植生領域抽出手段と、
抽出した前記植生領域の各画素について、R成分値をG成分値で除してR/G値を算出し、該R/G値を用いたヒストグラムを作成する、ヒストグラム作成手段と、
作成された前記ヒストグラムから得られる統計量を用いて、前記植生領域が単一植生領域であるか混在植生領域であるかを分類する、クラス分類手段と、
前記クラス分類手段において、前記植生領域が混在植生領域に分類された場合、該植生領域において前記R/G値が閾値未満である画素から構成される領域を有害植生領域と判別する、判別手段と、
を備える、カラー画像に含まれる植生領域の判別装置。
【請求項7】
前記ヒストグラム作成手段が、前記R/G値を所定の階調に正規化し、各階調における画素数をヒストグラム化する手段である、請求項6に記載の判別装置。
【請求項8】
前記クラス分類手段において、前記統計量として、前記R/G値の平均値、前記ヒストグラムの歪度及び尖度が用いられる、請求項6又は7に記載の判別装置。
【請求項9】
前記ヒストグラム作成手段が、前記R/G値を所定の階調に正規化して、各階調における画素数をヒストグラム化する手段であり、前記クラス分類手段が、該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、前記植生領域を混在植生領域に分類し、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、前記植生領域を単一植生領域に分類する手段である、請求項6に記載の判別装置。
(1)R/G値の平均値が閾値以下
(2)ヒストグラムの歪度が閾値以下
(3)ヒストグラムの尖度が閾値以下
【請求項10】
前記植生領域抽出手段が、前記カラー画像の各画素についてRGB値を求め、該RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を植生領域として抽出する手段である、請求項6〜9のいずれか1項に記載の判別装置。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値であり、Mは最大階調値の9%以上14%以下のいずれかの値である。)
(II)R、G、Bともに、最大階調値の78%以上
【請求項11】
カラー画像を撮像する撮像装置と、
請求項6〜10のいずれか1項に記載の判別装置と、
を備える、カラー画像に含まれる植生領域の判別システム。
【請求項12】
カラー画像が入力された請求項6〜10のいずれか1項に記載の判別装置に、
前記カラー画像の各画素におけるRGB値の大小関係を用いて、該カラー画像に含まれる植生領域を抽出させ、
抽出させた前記植生領域の各画素に係るRGB値について、R成分値をG成分値で除してR/G値を算出させ、該R/G値を用いたヒストグラムを作成させ、
作成させた前記ヒストグラムから得られる統計量を用いて、前記植生領域が単一植生領域であるか混在植生領域であるかを分類させ、
前記植生領域が混在植生領域に分類された場合、該植生領域において前記R/G値が閾値未満である画素部分を有害植生領域と判別させる、
カラー画像に含まれる植生領域を判別させるプログラム。
【請求項13】
前記判別装置に、前記R/G値を所定の階調に正規化させ、各階調における画素数をヒストグラム化させる、請求項12に記載のプログラム。
【請求項14】
前記判別装置に、前記統計量として、前記R/G値の平均値、前記ヒストグラムの歪度及び尖度を算出させる、請求項12又は13に記載のプログラム。
【請求項15】
前記判別装置に、前記R/G値を所定の階調に正規化して各階調における画素数をヒストグラム化させ、該ヒストグラムから得られる統計量が下記(1)〜(3)の条件をすべて満たす場合に、前記植生領域を混在植生領域に分類させ、下記(1)〜(3)の条件をいずれか一つでも満たさない場合に、前記植生領域を単一植生領域に分類させる、請求項12に記載のプログラム。
(1)R/G値の平均値が閾値以下
(2)ヒストグラムの歪度が閾値以下
(3)ヒストグラムの尖度が閾値以下
【請求項16】
前記判別装置に、前記カラー画像の各画素についてRGB値を求めさせ、該RGB値が下記条件(I)又は(II)を満たす画素から構成される領域を植生領域として抽出させる、請求項12〜15のいずれか1項に記載のプログラム。
(I)0<B/(G−B)<N、且つ、R≦G又はB+M<G
(ここで、Nは最大階調値の1%以上6%以下のいずれかの値であり、Mは最大階調値の9%以上14%以下のいずれかの値である。)
(II)R、G、Bともに、最大階調値の78%以上

【図1】
image rotate

【図8】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate


【公開番号】特開2012−203582(P2012−203582A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−66643(P2011−66643)
【出願日】平成23年3月24日(2011.3.24)
【出願人】(504409543)国立大学法人秋田大学 (210)
【Fターム(参考)】