植物体の画像領域抽出方法、植物体の画像領域抽出装置、および植物体の生育監視システム
【課題】植物体を撮像して取得したカラー画像より植物体の画像領域のみを確実に抽出する。
【解決手段】植物体を撮像して取得したカラー画像より植物体の画像領域を抽出する方法であり、カメラにより植物体を撮像してカラー画像を取得し（ＳＴ１）、そのカラー画像の青色成分画像について背景の画像領域の濃度値を計測する（ＳＴ２）。その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめ、背景の画像領域の明るさに応じた２値化しきい値を算出する（ＳＴ３）。その２値化しきい値により前記色成分画像を２値化処理してマスク画像を生成し（ＳＴ４，５）、そのマスク画像を用いてカラー画像より植物体の画像領域のみを抽出する（ＳＴ６）。
【解決手段】植物体を撮像して取得したカラー画像より植物体の画像領域を抽出する方法であり、カメラにより植物体を撮像してカラー画像を取得し（ＳＴ１）、そのカラー画像の青色成分画像について背景の画像領域の濃度値を計測する（ＳＴ２）。その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめ、背景の画像領域の明るさに応じた２値化しきい値を算出する（ＳＴ３）。その２値化しきい値により前記色成分画像を２値化処理してマスク画像を生成し（ＳＴ４，５）、そのマスク画像を用いてカラー画像より植物体の画像領域のみを抽出する（ＳＴ６）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、１個体または複数個体の植物体を撮像して取得したカラー画像によって植物体の生育度合などを判断するために、前記の植物体のカラー画像より植物体の画像領域のみを抽出するのに用いられる植物体の画像領域抽出方法および画像領域抽出装置と、その画像領域抽出装置を用いて構成される植物体の生育監視システムとに関する。
【背景技術】
【０００２】
近年、植物工場の実用化に伴って、レタスなどの野菜が植物工場で実際に栽培されている。野菜などの植物体の生育度合の判断は、これまで栽培管理者の経験や勘に頼っていたが、先般、植物体を撮像して取得した画像をコンピュータ解析することにより、植物体の生育度合が反映される所定の物理量（例えば、植物体の生体重など）を推定する方法が提案された（例えば、非特許文献１参照）。ここで、「生体重」とは、植物体の地上部分と根圏部分の両方、またはそのどちらかの重量である。
【０００３】
図１４は、植物体の生体重を非接触で測定する装置の概略構成を示しており、パネル２上に複数株の植物体１が定植されたものを、照明装置９による照明下で垂直方向、水平方向、または斜め方向より撮像するカメラ３と、カメラ３で取得したカラーの投影画像（以下「カラー画像」という。）を取り込んで画像解析する画像処理装置４０とで構成されている。なお、照明装置９はカメラ３のストロボであってもよく、カメラ３の周囲に設置したリング形状その他の照明装置であってもよい。
図１５（１）（２）は、複数個体の植物体を生育段階に応じて撮像して得られたカラー画像Ｇ１，Ｇ２の一例を示している。同図中、ｇ１は植物体の画像領域であり、図１５（１）に示す植物体があまり大きくない段階では、各株の植物体は独立しているのに対し、図１５（２）に示す植物体が十分大きく成長した段階では、葉が繁茂し隣り合う株の葉が互いに重なり合っている。
【０００４】
植物体のサンプルを生育段階に応じて撮像し、図１５（１）（２）に示すような、複数枚のカラー画像Ｇ１，Ｇ２，……，Ｇｎを取得して画像処理装置４０に取り込み、各生育段階の植物体のカラー画像Ｇ１，Ｇ２，……，Ｇｎについて、図１５（３）（４）に示すように、植物体の画像領域ｇ１のみを切り出した後、その画像領域ｇ１より複数の画像特徴量を抽出する。画像処理装置４０は、カラー画像Ｇ１，Ｇ２，……，Ｇｎ毎に抽出した複数の画像特徴量と各生育段階の植物体の生体重を測定して得た実測値との関係を表した重回帰式をメモリに記憶しており、対象となる同種の植物体についてそのカラー画像より抽出された複数の画像特徴量より前記重回帰式を用いて植物体の生体重を推定し、その推定値をディスプレイ４１などに出力するものである。
【０００５】
図１５（２）に示すように、株同士の葉が互いに重なり合う場合であっても、植物体の生体重の推定を可能とするため、植物体の形状や大きさに依存しない画像特徴量としてテクスチャ特徴量が用いられている。このテクスチャ特徴量は成長による葉の繁茂によって生じる画像の変化を表現しており、例えば、２株の葉が重なり、水平投影画像で株の一部が隠れていても表面に現れている部分のテクスチャ特徴量は生体重の増加を反映するものである。
【０００６】
前記のカラー画像Ｇ１，Ｇ２には、植物体の画像領域ｇ１以外に、パネルの画像領域ｇ２、パネルの背景（例えば、床面）の画像領域ｇ３、および後述する基準板の画像領域ｇ４が存在するもので、前記の画像特徴量を抽出するには、カラー画像Ｇ１，Ｇ２中の植物体の画像領域ｇ１を特定するためにその画像領域ｇ１のみを切り出すような処理が必要となる。具体的には、カラー画像Ｇ１，Ｇ２を構成する三原色のプレーン画像（以下「色成分画像」という。）のうちの特定の色成分画像を所定の２値化しきい値で２値化処理するなどの前処理を実行し、植物体の画像領域ｇ１をそれ以外の画像領域ｇ２，ｇ３，ｇ４と切り分けることによりマスク画像を生成し、そのマスク画像でカラー画像Ｇ１，Ｇ２をマスキング処理することにより植物体の画像領域ｇ１のみを抽出する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】伊藤博通・山本博昭、「システム同定によるレタス成長モデリング（第１報）−画像処理による同定出力測定−」、農業機械学会誌、２００５年、第６７巻、第６号、Ｐ７１−８０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図１４に示す植物体の生育監視システムでは、カメラ３として自動絞り調節機能を有するデジタルカメラを用いている。植物体の撮影に際して、カメラ３の露出、シャッター速度、ホワイトバランスなどは自動設定され、その結果、葉が繁茂している状態とそうでない状態とでは、図１５（１）（２）に示すように、植物体のカラー画像Ｇ１，Ｇ２は全体の明るさが変化する。図１５（１）に示すカラー画像Ｇ１では、パネルの画像領域ｇ２が鮮明に現れ、パネルの背景の画像領域ｇ３は明るさの程度が低くなっている。一方、図１５（２）に示すカラー画像Ｇ２では、パネルの画像領域ｇ２とパネルの背景の画像領域ｇ３との境界は不明瞭であり、カラー画像Ｇ１と比較して、各画像領域ｇ２，ｇ３は明るくなっている。また、パネルの画像領域ｇ２やパネルの背景の画像領域ｇ３の明るさは周囲の光環境によっても変化する。
【０００９】
図１５（１）（２）に示す各カラー画像Ｇ１，Ｇ２から植物体の画像領域ｇ１のみを抽出するのに（図１５（３）（４））、カラー画像Ｇ１，Ｇ２の特定の色成分画像（例えば、青色成分画像）を所定の２値化しきい値で２値化処理してマスク画像を生成するが、例えば、図１５（２）のカラー画像Ｇ２に合わせて前記の２値化しきい値を図１６（２）において「ＴＨ１」で示すように高い濃度値（輝度値）に設定し、その高い目の２値化しきい値ＴＨ１で図１５（１）のカラー画像Ｇ１の青色成分画像を２値化処理すると、植物体の画像領域ｇ１のみならずパネルの背景の画像領域ｇ３（図１６（１）においてＰで示す部分）も抽出される。なお、図１６（１）（２）は、図１５（１）（２）に示すカラー画像Ｇ１，Ｇ２の青色成分画像の一点鎖線Ｌ１，Ｌ２に沿った濃度分布を示している。
【００１０】
逆に、図１５（１）のカラー画像Ｇ１に合わせて前記の２値化しきい値を図１６（１）において「ＴＨ２」で示すように低い濃度値（輝度値）に設定し、その低い目の２値化しきい値ＴＨ２で図１５（２）のカラー画像Ｇ２の青色成分画像を２値化処理すると、高輝度部分を含む植物体の場合（例えば、レタスの葉には高輝度の部分が存在する）、この高輝度部分の画像領域（図１６（２）においてＱで示す部分）が抽出できなくなる。また、植物体を撮像するとき、画像解像度（１画素当たりの面積）を知るための指標として、円盤状の黒の基準板を同一視野内に含ませて撮像するが、２値化しきい値を前記の低い目の２値化しきい値ＴＨ２に設定すると、基準板の画像領域ｇ４（図１６（２）においてＲで示す部分）を抽出できない場合がある。
【００１１】
この発明は、上記の問題に着目してなされたもので、植物体を撮像して取得したカラー画像の色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定することにより、カラー画像より植物体の画像領域のみを確実に抽出することができる植物体の画像領域抽出方法および画像領域抽出装置を提供することを目的とする。
また、この発明がもうひとつの目的とするところは、上記の画像領域抽出装置を用いることにより、植物体の生体重などの生育度合を植物体に接触することなく、また、植物体を破壊することなく正しく把握できる植物体の生育監視システムを提供することにある。
【課題を解決するための手段】
【００１２】
この発明による植物体の画像領域抽出方法は、植物体を撮像して取得したカラー画像より植物体の画像領域を抽出するものであって、前記カラー画像の所定の色成分画像について背景の画像領域の濃度値を計測し、その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめて背景の画像領域の明るさに応じた２値化しきい値を算出し、その２値化しきい値により前記色成分画像を２値化処理してマスク画像を生成し、そのマスク画像を用いて前記カラー画像より植物体の画像領域のみを抽出することを特徴とするものである。
【００１３】
上記の画像領域抽出方法において、「背景」とは、植物体の背後に存在して画像に写っているものを指すが、植物体を支持するパネルなどの支持体や、その支持体の背後にある
物体のいずれをも含む概念であり、そのいずれかの画像領域の濃度値が計測される。
【００１４】
この発明の画像領域抽出方法によれば、予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式により背景の画像領域の明るさに応じた値の２値化しきい値を算出し、その２値化しきい値により植物体のカラー画像の色成分画像を２値化処理してマスク画像を生成するので、カラー画像の背景の画像領域の明るさが変化しても、対象となる植物体のカラー画像より植物体の画像領域のみが確実に抽出される。
【００１５】
この発明の好ましい実施態様においては、前記カラー画像は、単位画素当たりの面積を求めるための基準板の画像を含んでおり、前記２値化しきい値を算出する演算式は、前記色成分画像の背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値との間の値に２値化しきい値を決定するものである。
【００１６】
この実施態様によれば、カラー画像の背景の画像領域の明るさが変化しても、マスク画像を生成するためのカラー画像の色成分画像において、基準板の画像領域と背景の画像領域とが確実に切り分けられる。
【００１７】
好ましい実施態様においては、前記２値化しきい値を算出する演算式は、植物体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の所定の色成分画像について、背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値とをそれぞれ計測して取得した計測データ間の相関から求められる回帰直線式より導出されるものである。
【００１８】
この実施態様によれば、背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値とは強い線形関係にあり、回帰直線式が精度良く求められるので、最適な２値化しきい値が決定される。
【００１９】
この発明による植物体の画像領域抽出装置は、植物体をカメラにより撮像して取得したカラー画像より植物体の画像領域を抽出するものであって、植物体のカラー画像の所定の色成分画像について背景の画像領域の濃度値を計測する濃度計測手段と、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データから色成分画像を２値化処理するための２値化しきい値を算出する演算式を求めて記憶する演算式設定手段と、対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データを前記演算式に当てはめて２値化しきい値を算出する２値化しきい値算出手段と、２値化しきい値算出手段により算出された２値化しきい値により対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像を２値化処理してマスク画像を生成するマスク画像生成手段と、マスク画像生成手段により生成されたマスク画像を用いて対象となる１個体または複数個体の植物体のカラー画像より植物体の画像領域のみを抽出する画像領域抽出手段とを備えて成るものである。
【００２０】
この発明にかかる植物体の画像領域抽出装置により植物体を撮像して取得したカラー画像より植物体の画像領域を抽出するには、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の所定の色成分画像について、濃度計測手段が背景の画像領域の濃度値を計測し、演算式設定手段はそれらの濃度値の計測データから色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定するための演算式を求めて記憶する。つぎに、２値化しきい値算出手段は、対象となる１個体または複数個体の植物体のカラー画像の所定の色成分画像について濃度計測手段により計測された背景の画像領域の濃度値の計測データを前記演算式設定手段により設定された演算式に当てはめて２値化しきい値を算出する。マスク画像生成手段はその２値化しきい値により対象となる１個体または複数個体の植物体のカラー画像の所定の色成分画像を２値化処理してマスク画像を生成する。画像領域抽出手段はそのマスク画像を用いて対象となる１個体または複数個体の植物体のカラー画像より植物体の画像領域のみを抽出する。
【００２１】
この発明の上記した構成によれば、植物体のカラー画像の色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定するための演算式を求め、その演算式より２値化しきい値を算出してマスク画像を生成するので、カラー画像の背景の画像領域の明るさが変化しても、そのマスク画像によって対象となる植物体のカラー画像より植物体の画像領域のみが確実に抽出される。
【００２２】
この発明の好ましい実施態様においては、前記カメラは、パネル上に植物体が定植されたものを垂直方向、水平方向、または斜め方向より撮像して投影画像を取得するものであって、植物体とパネルとパネルの背景と単位画素当たりの面積を求めるための基準板とを含むように視野が設定されている。前記濃度計測手段は、植物体のカラー画像の所定の色成分画像についてパネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値とを計測する。前記演算式設定手段は、パネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値との間の値に２値化しきい値を決定する演算式を記憶している。
【００２３】
この実施態様によると、前記濃度計測手段は植物体のカラー画像の所定の色成分画像について背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値を計測し、演算式設定手段にはそれらの濃度値の計測値と基準板の画像領域の濃度値との間で２値化しきい値が決定されるような演算式が設定されて記憶されるので、カラー画像の背景の画像領域の明るさが変化しても、マスク画像を生成するためのカラー画像の色成分画像において、基準板の画像領域と背景の画像領域とが切り分けられる。この基準板は形状などが既知であるから、基準板の画像領域と植物体の画像領域とを切り分けることができ、対象となる植物体のカラー画像より植物体の画像領域のみを抽出することが可能なマスク画像が得られる。
【００２４】
この発明による植物体の生育監視システムは、１個体または複数個体の植物体の生育度合を判断して監視するためのもので、植物体を撮像してカラー画像を取得するためのカメラと、上記した植物体の画像領域抽出装置を有する計測制御装置とから成るものである。前記計測制御装置は、前記画像領域抽出装置により抽出された植物体の画像領域より複数の画像特徴量を抽出する特徴量抽出装置と、前記特徴量抽出装置により抽出された複数の画像特徴量と生育度合が反映される所定の物理量の実測値との関係を表した重回帰式を記憶するとともに、対象となる１個体または複数個体の植物体について前記特徴量抽出装置により抽出された複数の画像特徴量より前記重回帰式を用いて生育度合が反映される所定の物理量を推定する推定装置とをさらに備えている。
【００２５】
この発明にかかる植物体の生育監視システムにより植物体の生育度合を判断して監視するには、カメラにより１個体または複数個体の植物体を撮像してカラー画像を取得すると、植物体の画像領域抽出装置はそのカラー画像より植物体の画像領域のみを抽出し、特徴量抽出装置はその抽出された植物体の画像領域より複数の画像特徴量を抽出する。推定装置は、特徴量抽出装置により抽出された複数の画像特徴量と生育度合が反映される所定の物理量の実測値との関係を表した重回帰式を記憶しており、対象となる１個体または複数個体の植物体について前記特徴量抽出装置により抽出された複数の画像特徴量より前記重回帰式を用いて生育度合が反映される所定の物理量を推定する。
【００２６】
好ましい実施態様では、上記の推定装置は、生育度合が反映される物理量として植物体の生体重を推定するが、これに限らず、植物体の色味度合を推定してもよく、また、植物体が含有する所定の成分の量、例えば、所定の野菜が含有する色味度合と相関のあるアントシアニン、βカロチンなどの栄養素の量を推定するようにしてもよい。
【発明の効果】
【００２７】
この発明によれば、植物体を撮像して取得したカラー画像の色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定するので、例えば、カメラの露出などが自動設定される結果、植物体の葉が繁茂している状態とそうでない状態とで画像の明るさが変化しても、さらには、周囲の光環境によって背景の明るさが変化しても、カラー画像より植物体の画像領域のみを確実に抽出できる。
また、カラー画像より植物体の画像領域のみが確実に抽出されるので、植物体の生体重など、生育度合が反映される物理量を植物体に接触することなく、また、植物体を破壊することなく、確実に把握することができる。
【図面の簡単な説明】
【００２８】
【図１】植物体の生育監視システムの概略構成を示す説明図である。
【図２】植物体の監視制御の流れを示すフローチャートである。
【図３】計測制御装置のハード構成を示すブロック図である。
【図４】計測制御装置の構成を機能的に示したブロック図である。
【図５】植物体の複数個体のサンプルを生育段階に応じて撮像して取得したサンプル画像を示す図である。
【図６】学習モードにおける計測制御装置による画像処理および画像解析の流れを示すフローチャートである。
【図７】図６のＳＴ４の具体的な制御の流れを示すフローチャートである。
【図８】パネルの背景の画像領域に設定される濃度計測のための領域を示す説明図である。
【図９】２値化しきい値を算出する演算式を求める方法の具体例を示す説明図である。
【図１０】カラー画像より植物体の画像領域のみを抽出する方法を示す説明図である。
【図１１】測定モードにおける計測制御装置による植物体の生体重推定の流れを示すフローチャートである。
【図１２】実験で求められた生体重の実測値と推定値との関係を示す図である。
【図１３】実験で求められた総アントシアニン量の実測値と推定値との関係を示す図である。
【図１４】植物体の生体重を非接触で測定する装置の概略構成を示す説明図である。
【図１５】植物体を生育段階に応じて撮像して得られたカラー画像と各カラー画像より植物体の画像領域のみを抽出して得られる画像とを示す説明図である。
【図１６】図１５（１）（２）のカラー画像の青色成分画像の濃度分布を示す説明図である。
【発明を実施するための形態】
【００２９】
図１は、植物体（この実施例ではレタス）の生育監視システムの概略構成を示している。なお、この発明は、図示例の植物体に限らず、その他の野菜、さらには、野菜以外の植物の生育を監視するシステムにも適用できる。
図示例の生育監視システムは、養液栽培を行っている複数個体の植物体１０について、その生育度合を監視して栽培条件を整えるもので、栽培室３０の内部に設置された養液槽２０に養液を満たし、その液面上に複数株の植物体１０が定植された平面形状が矩形のパネル２を定置させている。栽培室３０内の温度、湿度、二酸化炭素濃度などの環境条件や養液のｐｈや養分濃度などは計測制御装置４により最適となるように制御される。その制御を行うために、栽培室３０内には、温度、湿度、二酸化炭素濃度などを検出するためのセンサ３１や養液のｐｈや養分濃度などを検出するためのセンサ３２が設置されている。各センサ３１，３２の検出信号は計測制御装置４に取り込まれる。
【００３０】
養液槽２０の上方には、自動絞り調節機能を有するデジタルカメラ（以下、「カメラ」という。）３が下向きに設置されている。なお、カメラ３の向きは、図示の垂直方向に限らず、水平方向や斜め方向であってもよい。図示例のカメラ３は、植物体１０の撮影に際し、ストロボ光を照明として用い、露出、シャッター速度、ホワイトバランスなどは自動的に設定される。なお、図示例は、説明の便宜上、１枚のパネル２に１２株のレタスを整列状態で定植して成る植物体１０を、所定の高さ位置に固定された１台のカメラ３によりパネル２の全体が視野に収まるように撮像するものとしているが、複数枚のパネル２を１台のカメラ３により撮像するように構成することも可能である。また、多数枚のパネル２を１台のカメラ３により順次撮像するために、パネル２が並んでいる方向に沿ってカメラ３を水平移動可能とすることもできる。さらに、カメラ３を撮影のための専用スペースに設置し、その撮影場所へ植物体１０が定植されたパネル２を順次搬入して撮像するようにしてもよい。
【００３１】
カメラ３で取得するカラー画像は水平投影画像であり、植物体１０、パネル２、パネル２の背景の一部、および基準板（図示せず）とを含むようにカメラ３の視野が設定されている。カラー画像は前記の計測制御装置４に取り込まれる。この計測制御装置４は、パーソナルコンピュータを用いて構成されており、前記の栽培条件を制御する機能と、取り込んだ植物体のカラー画像に所定の画像処理を施しかつ所定の画像解析を行う機能とを有している。この計測制御装置４によって植物体１０の生育度合が反映される物理量（この実施例では１２株のレタスの生体重）が推定されるとともに植物体の生育度合の良否が判定され、植物体１０の栽培条件が整えられる。なお、植物体１０の生育度合が反映される物理量として、生体重に限らず、色味度合を推定することができ、また、植物体が含有する所定の成分の量、例えば、赤色レタスの場合、赤紫色の着色が高付加価値を生んでおり、赤紫色を呈する物質であり、抗酸化能を有するアントシアニンの含有量を色味から推定することができる。なお、図中、４１は画像やデータを表示するためのディスプレイ、４２は計測制御装置４に外部接続された画像記憶装置である。この画像記憶装置４２に原画像や画像処理された画像など、種々の画像が記憶される。
【００３２】
図２は、上記した計測制御装置４による植物体の生育監視制御の流れを示している。なお、図中、「ＳＴ」は「ＳＴＥＰ」（手順）の略である。生体重の測定時期になると、ＳＴ１の判定が「ＹＥＳ」であり、カメラ３により植物体１０が撮像されてカラー画像が計測制御装置４に取り込まれ、所定の画像処理および画像解析を経て植物体１０の生体重が推定される（ＳＴ２）。なお、ＳＴ１の測定時期の判断は、タイマなどの計時により自動的、定期的に行ってもよく、栽培管理者の判断により適時行ってもよい。つぎのＳＴ３では、推定された植物体１０の生体重から植物体１０の生育状態の可否が判断される。もし、良好でありかつ栽培を継続させると判断されると、ＳＴ４，５の判定はともに「ＹＥＳ」であり、ＳＴ１に戻って、次回の生体重の測定に待機する。
【００３３】
もし、植物体１０の生育が良好でないと判断されたときは、ＳＴ４の判定が「ＮＯ」であり、栽培条件を変更して生育を継続する場合は、ＳＴ６からＳＴ７へ進み、温度などの環境条件や養液のｐｈ、養分濃度などを変更した後、ＳＴ１の待機状態に戻る。もし、条件変更を行っても生育の見込みがないと判断されたときは、ＳＴ６の判定が「ＹＥＳ」となり、栽培を中止する。前記のＳＴ５で植物体１０の栽培を終了させると判断されたときは、栽培を終えた植物体１０は出荷工程へ送られる（ＳＴ８）。
【００３４】
図３は、上記した計測制御装置４のハード構成を示している。図中、ＣＰＵ４３は制御・演算の主体であり、ＲＯＭ４４およびＲＡＭ４５とともにコンピュータ回路を構成している。ＣＰＵ４３は、ＲＯＭ４４に格納されたプログラムを解読、実行し、ＲＡＭ４５に対するデータの読み書きを行いつつ決められた演算を実行したり、入力装置４６やディスプレイ４１に対する入出力を制御したりする。ＣＰＵ４３には画像記憶装置４２や入出力インターフェイス４７を介してカメラ３が接続されている。ＣＰＵ４３はカメラ３よりカラー画像を取り込んで画像記憶装置４２に記憶させ、画像記憶装置４２からカラー画像を読み込んで所定の画像処理や画像解析を実行する。
【００３５】
図４は、計測制御装置４の構成を機能的に示したものである。計測制御装置４は画像領域抽出部６と特徴量抽出部７と生体重推定部８とを構成として含むものである。
画像領域抽出部６は、植物体１０の撮像により取得されたカラー画像を画像処理して植物体の画像領域のみを抽出する。ここで、「カラー画像」には、生体重の推定に用いる重回帰式（詳細は後述する）を求めるための植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像（以下「サンプル画像」という。）Ｇ１〜Ｇ７と、生体重の測定対象である１個体または複数個体の植物体を撮像して取得したカラー画像（以下「対象画像」という。）Ｘとを含むものである。
【００３６】
図５は、７枚のサンプル画像Ｇ１〜Ｇ７のうちの５枚を具体的に示している。サンプル画像Ｇ１は、定植直後の複数個体の植物体の画像である。他のサンプル画像Ｇ２〜Ｇ７は、定植１日後、４日後、８日後、１１日後、１３日後、１５日後の同じ植物体の画像である。同図中、ｇ１は緑色を呈する植物体の画像領域であり、定植８日後までは、各株が独立しているが、その後は葉が繁茂し隣り合う株の葉が互いに重なり合っている。ｇ２は白のパネル２の画像領域、ｇ３はパネル２の背景の画像領域、ｇ４は黒の基準板の画像領域を示している。
【００３７】
ここで、パネル２の背景とは、カメラ３が養液槽２０の上方に設置されている場合は、養液槽２０の上面や液面などであり、カメラ３が他の専用の撮影場所に設置されているような場合は、パネル２が置かれる床面などであるが、ここでは、パネル２の背景を特定せずに説明する。また、図示例では、カラー画像中にパネル２の画像領域ｇ２とパネル２の背景の画像領域ｇ３とを含んでおり、そのいずれもが植物体の画像領域ｇ１に対して背景を構成しているが、パネル２の画像領域ｇ２のみが植物体の画像領域ｇ１に対して背景を構成する場合もある。
前記基準板は、面積が既知の黒色の円盤であり、単位画素当たりの面積を求めるためにパネル２とともに撮像される。この基準板は形状および面積が既知のものであれば、必ずしも円盤である必要はない。なお、パネル２や基準板の色はこの実施例のものに限られるものではない。
【００３８】
サンプル画像Ｇ１〜Ｇ７は、植物体の葉が繁茂するにしたがって画像の明るさが変化している。サンプル画像Ｇ１，Ｇ２では、パネル２の背景の画像領域ｇ３の明るさは低く、パネル２の画像領域ｇ２が明るく現れている。サンプル画像Ｇ４では、パネル２の背景の画像領域ｇ３の明るさが増し、パネル２の画像領域ｇ２との境界が目立たなくなっている。サンプル画像Ｇ６，Ｇ７では、パネル２の背景の画像領域ｇ３の明るさがさらに増し、白のパネル２の画像領域ｇ２との境界が不明瞭になっている。
【００３９】
なお、植物体の画像領域ｇ１は赤と緑の波長成分を含み、パネル２およびパネル２の背景の各画像領域ｇ２，ｇ３は赤、緑、青の全ての波長成分を含み、黒の基準板の画像領域ｇ４はどの色の波長成分も含んでいない。カラー画像は赤、緑、青の３プレーン構成になっており、各プレーンの画素は８ビットグレースケール濃度（以下、単に「濃度値」という。）を有するものである。したがって、青色のプレーン画像（以下、「青色成分画像」という。）では、植物体の画像領域ｇ１と基準板の画像領域ｇ４とは暗く現れ、パネル２およびパネル２の背景の各画像領域ｇ２，ｇ３は明るく現れる。これを利用して、カラー画像より植物体の画像領域を抽出するためのマスク画像は青色成分画像を用いて生成する（詳細は後述）。
【００４０】
図４に戻って、画像領域抽出部６は、植物体の生体重を推定するための重回帰式を求めるモード（以下、「学習モード」という。）では、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して得られた複数のサンプル画像Ｇ１〜Ｇ７より植物体の画像領域ｇ１のみを抽出する。また、対象となる植物体の生体重を推定するモード（以下、「測定モード」という。）では、対象となる１個体または複数個体の植物体を撮像して得られた対象画像Ｘより植物体の画像領域ｇ１のみを抽出する。
【００４１】
特徴量抽出部７は、学習モードでは、画像領域抽出部６によってサンプル画像Ｇ１〜Ｇ７より抽出された植物体の画像領域ｇ１より複数の画像特徴量を抽出する。また、測定モードでは、画像領域抽出部６によって対象画像Ｘより抽出された植物体の画像領域ｇ１より複数の画像特徴量を抽出する。
生体重推定部８は、学習モードでは、特徴量抽出部７により抽出された複数の画像特徴量と各生育段階での１個体または複数個体の植物体の生体重の実測値との関係を表した重回帰式を求めて記憶する。また、測定モードでは、特徴量抽出部７により抽出された複数の画像特徴量より前記重回帰式を用いて植物体の生体重を推定する。
【００４２】
図６は、学習モードにおける計測制御装置４による画像処理および画像解析の流れを示している。同図のＳＴ１では、計測制御装置４はカメラ３により取得されたサンプル画像Ｇ１を取り込んで画像記憶装置４２に記憶させる。つぎのＳＴ２では、電子天秤などで測定された植物体のサンプルの生体重が入力装置４６により入力され、計測制御装置４のＣＰＵ４３はその入力データをＲＡＭ４５に記憶させる。
【００４３】
各生育段階でのサンプル画像Ｇ１〜Ｇ７の取込および記憶と、各生育段階での植物体のサンプルの生体重の実測と記憶とが行われると、ＳＴ３の判定が「ＹＥＳ」となってＳＴ４へ進み、ＣＰＵ４３は、２値化しきい値の演算式を求めるための処理を実行する（ＳＴ４）。この２値化しきい値は、各サンプル画像Ｇ１〜Ｇ７より植物体の画像領域ｇ１のみを抽出するためのマスク画像を生成するために、各サンプル画像Ｇ１〜Ｇ７の青色成分画像を２値化処理するのに用いられるもので、パネルの背景の画像領域ｇ３の明るさに応じた値に可変設定される。
【００４４】
図７は、図６のＳＴ４の具体的な処理の流れを示している。まず、ＣＰＵ４３は、１番目のサンプル画像Ｇ１を指定し（ＳＴ４−１）、そのサンプル画像Ｇ１の青色成分画像についてパネルの背景の画像領域ｇ３のうち最も暗い決められた領域の濃度平均値と基準板の画像領域ｇ４の濃度平均値とを計測する（ＳＴ４−２）。この実施例では、図８に示すように、サンプル画像Ｇ１〜Ｇ７の左上隅の領域がパネルの背景の画像領域ｇ３のうち最も暗い領域に当たることに着目し、その部分に矩形状の縦横１６×１６画素領域Ｓを設定し、その領域Ｓ内の各画素の濃度値を測定してその平均値を求める。
【００４５】
次に、ＣＰＵ４３は２番目のサンプル画像Ｇ２を指定し（ＳＴ４−４）、同様の濃度計測を実行する。全てのサンプル画像Ｇ１〜Ｇ７についての濃度計測が実行されると、ＳＴ４−３の判定が「ＹＥＳ」となり、ＣＰＵ４３は、上記したパネルの背景の画像領域ｇ３のうちの最も暗い領域Ｓの濃度平均値と基準板の画像領域ｇ４の濃度平均値との関係から回帰直線式を算出する（ＳＴ４−５）。
【００４６】
図９は、パネルの背景の画像領域ｇ３のうちの最も暗い領域Ｓの濃度平均値（ｘ）と基準板の画像領域ｇ４の濃度平均値（ｙ）との関係を示しており、図示例では１４枚のサンプル画像についての計測データがプロットされている。この両者の濃度平均値間には強い線形関係が認められ、同図に示す回帰直線は数式１で与えられる（ただし、ａ，ｂは正の定数）。
【００４７】
数式１ ｙ＝ａｘ−ｂ
【００４８】
画像の左上隅の縦横１６×１６画素領域Ｓの濃度平均値を求めると、上記の回帰直線式より基準板の画像領域ｇ４の濃度平均値を精度良く推定することができる。この実施例では、その濃度推定値より大きな濃度値、すなわち、パネルの背景の画像領域ｇ３内の上記の画素領域Ｓの濃度平均値と基準板の画像領域ｇ４の濃度推定値との間の値に２値化しきい値を設定し、これにより基準板の画像領域ｇ４とパネルの背景の画像領域ｇ３との切り分けを可能としている。さらに、植物体の葉に高輝度部分が存在することを考慮し、その高輝度部分が抽出できるように、画像の左上隅の縦横１６×１６画素領域Ｓの濃度平均値をｘ、青色成分画像を２値化処理するための２値化しきい値をＴＨとすると、２値化しきい値ＴＨを算出するための演算式を数式２のとおり決定する（ＳＴ４−６）。ただし、ｃは正の定数である。この演算式によってパネルの背景の画像領域ｇ３の明るさに応じた２値化しきい値が決定されるもので、この演算式はＲＡＭ４５に記憶される。
【００４９】
数式２ ＴＨ＝ａｘ−ｂ＋ｃ
【００５０】
図６に戻って、ＣＰＵ４３は、１番目のサンプル画像Ｇ１を指定し（ＳＴ５）、そのサンプル画像Ｇ１の青色成分画像を２値化処理するための２値化しきい値ＴＨを上記演算式により算出する（ＳＴ６）。つぎのＳＴ７では、ＣＰＵ４３は、算出した２値化しきい値ＴＨによりサンプル画像Ｇ１の青色成分画像を２値化処理し、これにより植物体の画像領域ｇ１と基準板の画像領域ｇ４とが白画素領域となり、パネルの画像領域ｇ２とパネルの背景の画像領域ｇ３とが黒画素領域となって切り分けられ、図１０（１）に示すような２値画像が生成される（ＳＴ７）。なお、図１０（１）には、説明の便宜上、サンプル画像Ｇ７の２値画像が示してある。
【００５１】
つぎのＳＴ８では、ＣＰＵ４３は、上記の２値画像についてラベリング処理を施して２個の白画素領域を認識し、次に、各白画素領域の円形度を求め、その円形度によって植物体の画像領域ｇ１を基準板の画像領域ｇ４と区別して認識し、図１０（２）に例示するマスク画像を得る（ＳＴ８）。つぎのＳＴ９では、このマスク画像によってサンプル画像Ｇ１より植物体の画像領域ｇ１のみを抽出する（図１０（３））。なお、この実施例では、後述するテクスチャ特徴量を強調して有意性の高い画像特徴量とするために、植物体の画像領域ｇ１のみが抽出された画像の緑色成分画像に対してテンプレートマッチング法を適用してエッジ強調画像を生成する（ＳＴ１０）。
【００５２】
つぎにＣＰＵ４３は、エッジ強調画像に対して、画像特徴量として生体重の増加とともに変化すると考えられる色情報とテクスチャ特徴量とを抽出する（ＳＴ１１）。色情報として植物体の画像領域に含まれる全画素の色相値の平均と彩度値の平均とを算出する。テクスチャ特徴量として、画像の１次統計量である平均と分散、第２次特徴量、およびランレングス統計量を計算する。なお、これらの画像特徴量を求めるための具体的な計算式は、先行技術文献として示した前記の非特許文献に詳述されており、ここでは説明を省略する。
【００５３】
所定個数の画像特徴量が算出すると、次に、ＣＰＵ４３は２番目のサンプル画像Ｇ２を指定し（ＳＴ１３）、サンプル画像Ｇ２について、上記と同様に手順（ＳＴ６〜ＳＴ１１）を実行することにより、サンプル画像Ｇ２のエッジ強調画像について、同様の画像特徴量を抽出する。全てのサンプル画像Ｇ１〜Ｇ７についての画像特徴量の抽出が実行されると、ＳＴ１２の判定が「ＹＥＳ」となってＳＴ１４へ進み、ＣＰＵ４３は、ステップワイズ法により統計的に有意な変量（画像特徴量）を選定した後、選定した画像特徴量と各生育段階で取得した植物体の生体重の実測値との関係を表す重回帰式を求め、これをＲＡＭ４５に記憶させる（ＳＴ１５，１６）。
【００５４】
図１１は、測定モードにおける計測制御装置４による植物体の生体重推定の流れを示している。同図のＳＴ１では、計測制御装置４はカメラ３により取得された対象画像Ｘを取り込んで画像記憶装置４２に記憶させる。つぎのＳＴ２では、ＣＰＵ４３は、対象画像Ｘの青色成分画像についてパネルの背景の画像領域ｇ３のうち最も暗い決められた領域、この実施例では、対象画像Ｘの左上隅の領域に矩形状の縦横１６×１６画素領域Ｓを設定し、その領域Ｓ内の各画素の濃度値を測定してその平均値を求める。
【００５５】
つぎにＣＰＵ４３は、対象画像Ｘの青色成分画像について前記濃度値の平均値をＲＡＭ４５に記憶された２値化しきい値を算出する前記演算式に当てはめて２値化しきい値ＴＨを算出した後、その算出した２値化しきい値ＴＨにより対象画像Ｘの青色成分画像を２値化処理する（ＳＴ３，４）。この２値化処理により植物体の画像領域ｇ１と基準板の画像領域ｇ４とが白画素領域となり、パネルの画像領域ｇ２とパネルの背景の画像領域ｇ３とが黒画素領域となって切り分けられて２値画像が生成される。この２値画像についてラベリング処理を施し、各白画素領域の円形度を求め、その円形度により植物体の画像領域ｇ１を基準板の画像領域ｇ４と区別して認識してマスク画像を得る（ＳＴ５）。
【００５６】
つぎにＣＰＵ４３は、このマスク画像によって対象画像Ｘよりレタスの画像領域ｇ１のみを抽出し（ＳＴ６）、その植物体の画像領域ｇ１のみが抽出された画像の緑色成分画像に対してテンプレートマッチング法を適用してエッジ強調画像を生成する（ＳＴ７）。つぎにＣＰＵ４３は、エッジ強調画像に対して、図６のＳＴ１４においてステップワイズ法により選定された統計的に有意な複数の画像特徴量の抽出を実行した後（ＳＴ８）、抽出された複数の画像特徴量よりＲＡＭ４５に記憶された前記重回帰式を用いて植物体の生体重を推定する（ＳＴ９）。
【００５７】
なお、パネル３の背景が白色の上記の実施例では、青色成分画像についてパネル３の背景の画像領域ｇ３のうち最も暗い決められた領域の濃度値と黒色の基準板の画像領域の濃度値との間の値に２値化しきい値を決定しているが、例えば、背景が黒色や赤色等の場合、最も明るい領域と基準板（この場合、基準板は白色）の画像領域の濃度値との間に２値化しきい値を決定する。
【００５８】
図１２は、１２株のレタス（品種：フリルアイス）より成る植物体について、栽培を７回反覆して行って得られたデータを示すもので、生育段階に応じた生体重の実測値（図中、黒丸で示す。）と推定値（図中、白丸で示す。）との関係を図示している。同図のエラーバーは９５％予測区間を示し、図示の実験データでは９５％予測区間は狭く、また実測値の９８％以上がその予測区間内に入っており、植物体が小さい段階においてでも、大きい段階においてでも、推定精度が高いことを示している。
【００５９】
上記の実施例は、複数個体の植物体を撮像して取得したカラー画像によって植物体の生体重を推定しているが、これに限らず、同様に取得したカラー画像によって植物体が含有する所定の成分の量を推定することもできる。
例えば、赤色レタスの場合、赤紫色を呈する物質であり、抗酸化能を有するアントシアニンの含有量と赤色レタスの色味との間には強い相関関係が存在するもので、赤色レタスの画像領域の色相値や彩度値を使用してアントシアニンの量を推定する。
【００６０】
図１３は、１２株の赤色レタス（品種：マザーレッド）について得られたデータを示すもので、総アントシアニン量の実測値（図中、黒丸で示す。）と推定値（図中、白丸で示す。）との関係を図示している。同図のエラーバーは９５％予測区間を示し、図示の実験データでは９５％予測区間は狭く、また実測値がその予測区間内に入っており、アントシアニンの多い個体においてでも、少ない個体においてでも、推定精度が高いことを示している。
なお、アントシアニン抽出液において分光光度計（ＵＶ−１６０：島津製作所製）にて５３０ｎｍおよび６５７ｎｍにおける吸光度を測定し、計算式（アントシアニン量Ａ‘５３０＝Ａ５３０−Ａ６５７×０．２５）により、クロロフィルによる吸光の影響を除いた値を総アントシアニン量（Ｏ．Ｄ．／ｇＦＷ）とした（計算式の参考文献：Ｐｌａｎｔ Ｐｈｙｓｉｏｌ．（１９９１）９６，１０７５−１０８５）。
【符号の説明】
【００６１】
１ 植物体
２ パネル
３ カメラ
４ 計測制御装置
６ 画像領域抽出部
７ 特徴量抽出部
８ 生体重推定部
１０ 植物体
４２ 画像記憶装置
４３ ＣＰＵ
４５ ＲＡＭ
【技術分野】
【０００１】
この発明は、１個体または複数個体の植物体を撮像して取得したカラー画像によって植物体の生育度合などを判断するために、前記の植物体のカラー画像より植物体の画像領域のみを抽出するのに用いられる植物体の画像領域抽出方法および画像領域抽出装置と、その画像領域抽出装置を用いて構成される植物体の生育監視システムとに関する。
【背景技術】
【０００２】
近年、植物工場の実用化に伴って、レタスなどの野菜が植物工場で実際に栽培されている。野菜などの植物体の生育度合の判断は、これまで栽培管理者の経験や勘に頼っていたが、先般、植物体を撮像して取得した画像をコンピュータ解析することにより、植物体の生育度合が反映される所定の物理量（例えば、植物体の生体重など）を推定する方法が提案された（例えば、非特許文献１参照）。ここで、「生体重」とは、植物体の地上部分と根圏部分の両方、またはそのどちらかの重量である。
【０００３】
図１４は、植物体の生体重を非接触で測定する装置の概略構成を示しており、パネル２上に複数株の植物体１が定植されたものを、照明装置９による照明下で垂直方向、水平方向、または斜め方向より撮像するカメラ３と、カメラ３で取得したカラーの投影画像（以下「カラー画像」という。）を取り込んで画像解析する画像処理装置４０とで構成されている。なお、照明装置９はカメラ３のストロボであってもよく、カメラ３の周囲に設置したリング形状その他の照明装置であってもよい。
図１５（１）（２）は、複数個体の植物体を生育段階に応じて撮像して得られたカラー画像Ｇ１，Ｇ２の一例を示している。同図中、ｇ１は植物体の画像領域であり、図１５（１）に示す植物体があまり大きくない段階では、各株の植物体は独立しているのに対し、図１５（２）に示す植物体が十分大きく成長した段階では、葉が繁茂し隣り合う株の葉が互いに重なり合っている。
【０００４】
植物体のサンプルを生育段階に応じて撮像し、図１５（１）（２）に示すような、複数枚のカラー画像Ｇ１，Ｇ２，……，Ｇｎを取得して画像処理装置４０に取り込み、各生育段階の植物体のカラー画像Ｇ１，Ｇ２，……，Ｇｎについて、図１５（３）（４）に示すように、植物体の画像領域ｇ１のみを切り出した後、その画像領域ｇ１より複数の画像特徴量を抽出する。画像処理装置４０は、カラー画像Ｇ１，Ｇ２，……，Ｇｎ毎に抽出した複数の画像特徴量と各生育段階の植物体の生体重を測定して得た実測値との関係を表した重回帰式をメモリに記憶しており、対象となる同種の植物体についてそのカラー画像より抽出された複数の画像特徴量より前記重回帰式を用いて植物体の生体重を推定し、その推定値をディスプレイ４１などに出力するものである。
【０００５】
図１５（２）に示すように、株同士の葉が互いに重なり合う場合であっても、植物体の生体重の推定を可能とするため、植物体の形状や大きさに依存しない画像特徴量としてテクスチャ特徴量が用いられている。このテクスチャ特徴量は成長による葉の繁茂によって生じる画像の変化を表現しており、例えば、２株の葉が重なり、水平投影画像で株の一部が隠れていても表面に現れている部分のテクスチャ特徴量は生体重の増加を反映するものである。
【０００６】
前記のカラー画像Ｇ１，Ｇ２には、植物体の画像領域ｇ１以外に、パネルの画像領域ｇ２、パネルの背景（例えば、床面）の画像領域ｇ３、および後述する基準板の画像領域ｇ４が存在するもので、前記の画像特徴量を抽出するには、カラー画像Ｇ１，Ｇ２中の植物体の画像領域ｇ１を特定するためにその画像領域ｇ１のみを切り出すような処理が必要となる。具体的には、カラー画像Ｇ１，Ｇ２を構成する三原色のプレーン画像（以下「色成分画像」という。）のうちの特定の色成分画像を所定の２値化しきい値で２値化処理するなどの前処理を実行し、植物体の画像領域ｇ１をそれ以外の画像領域ｇ２，ｇ３，ｇ４と切り分けることによりマスク画像を生成し、そのマスク画像でカラー画像Ｇ１，Ｇ２をマスキング処理することにより植物体の画像領域ｇ１のみを抽出する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】伊藤博通・山本博昭、「システム同定によるレタス成長モデリング（第１報）−画像処理による同定出力測定−」、農業機械学会誌、２００５年、第６７巻、第６号、Ｐ７１−８０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図１４に示す植物体の生育監視システムでは、カメラ３として自動絞り調節機能を有するデジタルカメラを用いている。植物体の撮影に際して、カメラ３の露出、シャッター速度、ホワイトバランスなどは自動設定され、その結果、葉が繁茂している状態とそうでない状態とでは、図１５（１）（２）に示すように、植物体のカラー画像Ｇ１，Ｇ２は全体の明るさが変化する。図１５（１）に示すカラー画像Ｇ１では、パネルの画像領域ｇ２が鮮明に現れ、パネルの背景の画像領域ｇ３は明るさの程度が低くなっている。一方、図１５（２）に示すカラー画像Ｇ２では、パネルの画像領域ｇ２とパネルの背景の画像領域ｇ３との境界は不明瞭であり、カラー画像Ｇ１と比較して、各画像領域ｇ２，ｇ３は明るくなっている。また、パネルの画像領域ｇ２やパネルの背景の画像領域ｇ３の明るさは周囲の光環境によっても変化する。
【０００９】
図１５（１）（２）に示す各カラー画像Ｇ１，Ｇ２から植物体の画像領域ｇ１のみを抽出するのに（図１５（３）（４））、カラー画像Ｇ１，Ｇ２の特定の色成分画像（例えば、青色成分画像）を所定の２値化しきい値で２値化処理してマスク画像を生成するが、例えば、図１５（２）のカラー画像Ｇ２に合わせて前記の２値化しきい値を図１６（２）において「ＴＨ１」で示すように高い濃度値（輝度値）に設定し、その高い目の２値化しきい値ＴＨ１で図１５（１）のカラー画像Ｇ１の青色成分画像を２値化処理すると、植物体の画像領域ｇ１のみならずパネルの背景の画像領域ｇ３（図１６（１）においてＰで示す部分）も抽出される。なお、図１６（１）（２）は、図１５（１）（２）に示すカラー画像Ｇ１，Ｇ２の青色成分画像の一点鎖線Ｌ１，Ｌ２に沿った濃度分布を示している。
【００１０】
逆に、図１５（１）のカラー画像Ｇ１に合わせて前記の２値化しきい値を図１６（１）において「ＴＨ２」で示すように低い濃度値（輝度値）に設定し、その低い目の２値化しきい値ＴＨ２で図１５（２）のカラー画像Ｇ２の青色成分画像を２値化処理すると、高輝度部分を含む植物体の場合（例えば、レタスの葉には高輝度の部分が存在する）、この高輝度部分の画像領域（図１６（２）においてＱで示す部分）が抽出できなくなる。また、植物体を撮像するとき、画像解像度（１画素当たりの面積）を知るための指標として、円盤状の黒の基準板を同一視野内に含ませて撮像するが、２値化しきい値を前記の低い目の２値化しきい値ＴＨ２に設定すると、基準板の画像領域ｇ４（図１６（２）においてＲで示す部分）を抽出できない場合がある。
【００１１】
この発明は、上記の問題に着目してなされたもので、植物体を撮像して取得したカラー画像の色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定することにより、カラー画像より植物体の画像領域のみを確実に抽出することができる植物体の画像領域抽出方法および画像領域抽出装置を提供することを目的とする。
また、この発明がもうひとつの目的とするところは、上記の画像領域抽出装置を用いることにより、植物体の生体重などの生育度合を植物体に接触することなく、また、植物体を破壊することなく正しく把握できる植物体の生育監視システムを提供することにある。
【課題を解決するための手段】
【００１２】
この発明による植物体の画像領域抽出方法は、植物体を撮像して取得したカラー画像より植物体の画像領域を抽出するものであって、前記カラー画像の所定の色成分画像について背景の画像領域の濃度値を計測し、その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめて背景の画像領域の明るさに応じた２値化しきい値を算出し、その２値化しきい値により前記色成分画像を２値化処理してマスク画像を生成し、そのマスク画像を用いて前記カラー画像より植物体の画像領域のみを抽出することを特徴とするものである。
【００１３】
上記の画像領域抽出方法において、「背景」とは、植物体の背後に存在して画像に写っているものを指すが、植物体を支持するパネルなどの支持体や、その支持体の背後にある
物体のいずれをも含む概念であり、そのいずれかの画像領域の濃度値が計測される。
【００１４】
この発明の画像領域抽出方法によれば、予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式により背景の画像領域の明るさに応じた値の２値化しきい値を算出し、その２値化しきい値により植物体のカラー画像の色成分画像を２値化処理してマスク画像を生成するので、カラー画像の背景の画像領域の明るさが変化しても、対象となる植物体のカラー画像より植物体の画像領域のみが確実に抽出される。
【００１５】
この発明の好ましい実施態様においては、前記カラー画像は、単位画素当たりの面積を求めるための基準板の画像を含んでおり、前記２値化しきい値を算出する演算式は、前記色成分画像の背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値との間の値に２値化しきい値を決定するものである。
【００１６】
この実施態様によれば、カラー画像の背景の画像領域の明るさが変化しても、マスク画像を生成するためのカラー画像の色成分画像において、基準板の画像領域と背景の画像領域とが確実に切り分けられる。
【００１７】
好ましい実施態様においては、前記２値化しきい値を算出する演算式は、植物体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の所定の色成分画像について、背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値とをそれぞれ計測して取得した計測データ間の相関から求められる回帰直線式より導出されるものである。
【００１８】
この実施態様によれば、背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値とは強い線形関係にあり、回帰直線式が精度良く求められるので、最適な２値化しきい値が決定される。
【００１９】
この発明による植物体の画像領域抽出装置は、植物体をカメラにより撮像して取得したカラー画像より植物体の画像領域を抽出するものであって、植物体のカラー画像の所定の色成分画像について背景の画像領域の濃度値を計測する濃度計測手段と、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データから色成分画像を２値化処理するための２値化しきい値を算出する演算式を求めて記憶する演算式設定手段と、対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データを前記演算式に当てはめて２値化しきい値を算出する２値化しきい値算出手段と、２値化しきい値算出手段により算出された２値化しきい値により対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像を２値化処理してマスク画像を生成するマスク画像生成手段と、マスク画像生成手段により生成されたマスク画像を用いて対象となる１個体または複数個体の植物体のカラー画像より植物体の画像領域のみを抽出する画像領域抽出手段とを備えて成るものである。
【００２０】
この発明にかかる植物体の画像領域抽出装置により植物体を撮像して取得したカラー画像より植物体の画像領域を抽出するには、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の所定の色成分画像について、濃度計測手段が背景の画像領域の濃度値を計測し、演算式設定手段はそれらの濃度値の計測データから色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定するための演算式を求めて記憶する。つぎに、２値化しきい値算出手段は、対象となる１個体または複数個体の植物体のカラー画像の所定の色成分画像について濃度計測手段により計測された背景の画像領域の濃度値の計測データを前記演算式設定手段により設定された演算式に当てはめて２値化しきい値を算出する。マスク画像生成手段はその２値化しきい値により対象となる１個体または複数個体の植物体のカラー画像の所定の色成分画像を２値化処理してマスク画像を生成する。画像領域抽出手段はそのマスク画像を用いて対象となる１個体または複数個体の植物体のカラー画像より植物体の画像領域のみを抽出する。
【００２１】
この発明の上記した構成によれば、植物体のカラー画像の色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定するための演算式を求め、その演算式より２値化しきい値を算出してマスク画像を生成するので、カラー画像の背景の画像領域の明るさが変化しても、そのマスク画像によって対象となる植物体のカラー画像より植物体の画像領域のみが確実に抽出される。
【００２２】
この発明の好ましい実施態様においては、前記カメラは、パネル上に植物体が定植されたものを垂直方向、水平方向、または斜め方向より撮像して投影画像を取得するものであって、植物体とパネルとパネルの背景と単位画素当たりの面積を求めるための基準板とを含むように視野が設定されている。前記濃度計測手段は、植物体のカラー画像の所定の色成分画像についてパネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値とを計測する。前記演算式設定手段は、パネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値との間の値に２値化しきい値を決定する演算式を記憶している。
【００２３】
この実施態様によると、前記濃度計測手段は植物体のカラー画像の所定の色成分画像について背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値を計測し、演算式設定手段にはそれらの濃度値の計測値と基準板の画像領域の濃度値との間で２値化しきい値が決定されるような演算式が設定されて記憶されるので、カラー画像の背景の画像領域の明るさが変化しても、マスク画像を生成するためのカラー画像の色成分画像において、基準板の画像領域と背景の画像領域とが切り分けられる。この基準板は形状などが既知であるから、基準板の画像領域と植物体の画像領域とを切り分けることができ、対象となる植物体のカラー画像より植物体の画像領域のみを抽出することが可能なマスク画像が得られる。
【００２４】
この発明による植物体の生育監視システムは、１個体または複数個体の植物体の生育度合を判断して監視するためのもので、植物体を撮像してカラー画像を取得するためのカメラと、上記した植物体の画像領域抽出装置を有する計測制御装置とから成るものである。前記計測制御装置は、前記画像領域抽出装置により抽出された植物体の画像領域より複数の画像特徴量を抽出する特徴量抽出装置と、前記特徴量抽出装置により抽出された複数の画像特徴量と生育度合が反映される所定の物理量の実測値との関係を表した重回帰式を記憶するとともに、対象となる１個体または複数個体の植物体について前記特徴量抽出装置により抽出された複数の画像特徴量より前記重回帰式を用いて生育度合が反映される所定の物理量を推定する推定装置とをさらに備えている。
【００２５】
この発明にかかる植物体の生育監視システムにより植物体の生育度合を判断して監視するには、カメラにより１個体または複数個体の植物体を撮像してカラー画像を取得すると、植物体の画像領域抽出装置はそのカラー画像より植物体の画像領域のみを抽出し、特徴量抽出装置はその抽出された植物体の画像領域より複数の画像特徴量を抽出する。推定装置は、特徴量抽出装置により抽出された複数の画像特徴量と生育度合が反映される所定の物理量の実測値との関係を表した重回帰式を記憶しており、対象となる１個体または複数個体の植物体について前記特徴量抽出装置により抽出された複数の画像特徴量より前記重回帰式を用いて生育度合が反映される所定の物理量を推定する。
【００２６】
好ましい実施態様では、上記の推定装置は、生育度合が反映される物理量として植物体の生体重を推定するが、これに限らず、植物体の色味度合を推定してもよく、また、植物体が含有する所定の成分の量、例えば、所定の野菜が含有する色味度合と相関のあるアントシアニン、βカロチンなどの栄養素の量を推定するようにしてもよい。
【発明の効果】
【００２７】
この発明によれば、植物体を撮像して取得したカラー画像の色成分画像を２値化処理するための２値化しきい値を背景の画像領域の明るさに応じた値に可変設定するので、例えば、カメラの露出などが自動設定される結果、植物体の葉が繁茂している状態とそうでない状態とで画像の明るさが変化しても、さらには、周囲の光環境によって背景の明るさが変化しても、カラー画像より植物体の画像領域のみを確実に抽出できる。
また、カラー画像より植物体の画像領域のみが確実に抽出されるので、植物体の生体重など、生育度合が反映される物理量を植物体に接触することなく、また、植物体を破壊することなく、確実に把握することができる。
【図面の簡単な説明】
【００２８】
【図１】植物体の生育監視システムの概略構成を示す説明図である。
【図２】植物体の監視制御の流れを示すフローチャートである。
【図３】計測制御装置のハード構成を示すブロック図である。
【図４】計測制御装置の構成を機能的に示したブロック図である。
【図５】植物体の複数個体のサンプルを生育段階に応じて撮像して取得したサンプル画像を示す図である。
【図６】学習モードにおける計測制御装置による画像処理および画像解析の流れを示すフローチャートである。
【図７】図６のＳＴ４の具体的な制御の流れを示すフローチャートである。
【図８】パネルの背景の画像領域に設定される濃度計測のための領域を示す説明図である。
【図９】２値化しきい値を算出する演算式を求める方法の具体例を示す説明図である。
【図１０】カラー画像より植物体の画像領域のみを抽出する方法を示す説明図である。
【図１１】測定モードにおける計測制御装置による植物体の生体重推定の流れを示すフローチャートである。
【図１２】実験で求められた生体重の実測値と推定値との関係を示す図である。
【図１３】実験で求められた総アントシアニン量の実測値と推定値との関係を示す図である。
【図１４】植物体の生体重を非接触で測定する装置の概略構成を示す説明図である。
【図１５】植物体を生育段階に応じて撮像して得られたカラー画像と各カラー画像より植物体の画像領域のみを抽出して得られる画像とを示す説明図である。
【図１６】図１５（１）（２）のカラー画像の青色成分画像の濃度分布を示す説明図である。
【発明を実施するための形態】
【００２９】
図１は、植物体（この実施例ではレタス）の生育監視システムの概略構成を示している。なお、この発明は、図示例の植物体に限らず、その他の野菜、さらには、野菜以外の植物の生育を監視するシステムにも適用できる。
図示例の生育監視システムは、養液栽培を行っている複数個体の植物体１０について、その生育度合を監視して栽培条件を整えるもので、栽培室３０の内部に設置された養液槽２０に養液を満たし、その液面上に複数株の植物体１０が定植された平面形状が矩形のパネル２を定置させている。栽培室３０内の温度、湿度、二酸化炭素濃度などの環境条件や養液のｐｈや養分濃度などは計測制御装置４により最適となるように制御される。その制御を行うために、栽培室３０内には、温度、湿度、二酸化炭素濃度などを検出するためのセンサ３１や養液のｐｈや養分濃度などを検出するためのセンサ３２が設置されている。各センサ３１，３２の検出信号は計測制御装置４に取り込まれる。
【００３０】
養液槽２０の上方には、自動絞り調節機能を有するデジタルカメラ（以下、「カメラ」という。）３が下向きに設置されている。なお、カメラ３の向きは、図示の垂直方向に限らず、水平方向や斜め方向であってもよい。図示例のカメラ３は、植物体１０の撮影に際し、ストロボ光を照明として用い、露出、シャッター速度、ホワイトバランスなどは自動的に設定される。なお、図示例は、説明の便宜上、１枚のパネル２に１２株のレタスを整列状態で定植して成る植物体１０を、所定の高さ位置に固定された１台のカメラ３によりパネル２の全体が視野に収まるように撮像するものとしているが、複数枚のパネル２を１台のカメラ３により撮像するように構成することも可能である。また、多数枚のパネル２を１台のカメラ３により順次撮像するために、パネル２が並んでいる方向に沿ってカメラ３を水平移動可能とすることもできる。さらに、カメラ３を撮影のための専用スペースに設置し、その撮影場所へ植物体１０が定植されたパネル２を順次搬入して撮像するようにしてもよい。
【００３１】
カメラ３で取得するカラー画像は水平投影画像であり、植物体１０、パネル２、パネル２の背景の一部、および基準板（図示せず）とを含むようにカメラ３の視野が設定されている。カラー画像は前記の計測制御装置４に取り込まれる。この計測制御装置４は、パーソナルコンピュータを用いて構成されており、前記の栽培条件を制御する機能と、取り込んだ植物体のカラー画像に所定の画像処理を施しかつ所定の画像解析を行う機能とを有している。この計測制御装置４によって植物体１０の生育度合が反映される物理量（この実施例では１２株のレタスの生体重）が推定されるとともに植物体の生育度合の良否が判定され、植物体１０の栽培条件が整えられる。なお、植物体１０の生育度合が反映される物理量として、生体重に限らず、色味度合を推定することができ、また、植物体が含有する所定の成分の量、例えば、赤色レタスの場合、赤紫色の着色が高付加価値を生んでおり、赤紫色を呈する物質であり、抗酸化能を有するアントシアニンの含有量を色味から推定することができる。なお、図中、４１は画像やデータを表示するためのディスプレイ、４２は計測制御装置４に外部接続された画像記憶装置である。この画像記憶装置４２に原画像や画像処理された画像など、種々の画像が記憶される。
【００３２】
図２は、上記した計測制御装置４による植物体の生育監視制御の流れを示している。なお、図中、「ＳＴ」は「ＳＴＥＰ」（手順）の略である。生体重の測定時期になると、ＳＴ１の判定が「ＹＥＳ」であり、カメラ３により植物体１０が撮像されてカラー画像が計測制御装置４に取り込まれ、所定の画像処理および画像解析を経て植物体１０の生体重が推定される（ＳＴ２）。なお、ＳＴ１の測定時期の判断は、タイマなどの計時により自動的、定期的に行ってもよく、栽培管理者の判断により適時行ってもよい。つぎのＳＴ３では、推定された植物体１０の生体重から植物体１０の生育状態の可否が判断される。もし、良好でありかつ栽培を継続させると判断されると、ＳＴ４，５の判定はともに「ＹＥＳ」であり、ＳＴ１に戻って、次回の生体重の測定に待機する。
【００３３】
もし、植物体１０の生育が良好でないと判断されたときは、ＳＴ４の判定が「ＮＯ」であり、栽培条件を変更して生育を継続する場合は、ＳＴ６からＳＴ７へ進み、温度などの環境条件や養液のｐｈ、養分濃度などを変更した後、ＳＴ１の待機状態に戻る。もし、条件変更を行っても生育の見込みがないと判断されたときは、ＳＴ６の判定が「ＹＥＳ」となり、栽培を中止する。前記のＳＴ５で植物体１０の栽培を終了させると判断されたときは、栽培を終えた植物体１０は出荷工程へ送られる（ＳＴ８）。
【００３４】
図３は、上記した計測制御装置４のハード構成を示している。図中、ＣＰＵ４３は制御・演算の主体であり、ＲＯＭ４４およびＲＡＭ４５とともにコンピュータ回路を構成している。ＣＰＵ４３は、ＲＯＭ４４に格納されたプログラムを解読、実行し、ＲＡＭ４５に対するデータの読み書きを行いつつ決められた演算を実行したり、入力装置４６やディスプレイ４１に対する入出力を制御したりする。ＣＰＵ４３には画像記憶装置４２や入出力インターフェイス４７を介してカメラ３が接続されている。ＣＰＵ４３はカメラ３よりカラー画像を取り込んで画像記憶装置４２に記憶させ、画像記憶装置４２からカラー画像を読み込んで所定の画像処理や画像解析を実行する。
【００３５】
図４は、計測制御装置４の構成を機能的に示したものである。計測制御装置４は画像領域抽出部６と特徴量抽出部７と生体重推定部８とを構成として含むものである。
画像領域抽出部６は、植物体１０の撮像により取得されたカラー画像を画像処理して植物体の画像領域のみを抽出する。ここで、「カラー画像」には、生体重の推定に用いる重回帰式（詳細は後述する）を求めるための植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像（以下「サンプル画像」という。）Ｇ１〜Ｇ７と、生体重の測定対象である１個体または複数個体の植物体を撮像して取得したカラー画像（以下「対象画像」という。）Ｘとを含むものである。
【００３６】
図５は、７枚のサンプル画像Ｇ１〜Ｇ７のうちの５枚を具体的に示している。サンプル画像Ｇ１は、定植直後の複数個体の植物体の画像である。他のサンプル画像Ｇ２〜Ｇ７は、定植１日後、４日後、８日後、１１日後、１３日後、１５日後の同じ植物体の画像である。同図中、ｇ１は緑色を呈する植物体の画像領域であり、定植８日後までは、各株が独立しているが、その後は葉が繁茂し隣り合う株の葉が互いに重なり合っている。ｇ２は白のパネル２の画像領域、ｇ３はパネル２の背景の画像領域、ｇ４は黒の基準板の画像領域を示している。
【００３７】
ここで、パネル２の背景とは、カメラ３が養液槽２０の上方に設置されている場合は、養液槽２０の上面や液面などであり、カメラ３が他の専用の撮影場所に設置されているような場合は、パネル２が置かれる床面などであるが、ここでは、パネル２の背景を特定せずに説明する。また、図示例では、カラー画像中にパネル２の画像領域ｇ２とパネル２の背景の画像領域ｇ３とを含んでおり、そのいずれもが植物体の画像領域ｇ１に対して背景を構成しているが、パネル２の画像領域ｇ２のみが植物体の画像領域ｇ１に対して背景を構成する場合もある。
前記基準板は、面積が既知の黒色の円盤であり、単位画素当たりの面積を求めるためにパネル２とともに撮像される。この基準板は形状および面積が既知のものであれば、必ずしも円盤である必要はない。なお、パネル２や基準板の色はこの実施例のものに限られるものではない。
【００３８】
サンプル画像Ｇ１〜Ｇ７は、植物体の葉が繁茂するにしたがって画像の明るさが変化している。サンプル画像Ｇ１，Ｇ２では、パネル２の背景の画像領域ｇ３の明るさは低く、パネル２の画像領域ｇ２が明るく現れている。サンプル画像Ｇ４では、パネル２の背景の画像領域ｇ３の明るさが増し、パネル２の画像領域ｇ２との境界が目立たなくなっている。サンプル画像Ｇ６，Ｇ７では、パネル２の背景の画像領域ｇ３の明るさがさらに増し、白のパネル２の画像領域ｇ２との境界が不明瞭になっている。
【００３９】
なお、植物体の画像領域ｇ１は赤と緑の波長成分を含み、パネル２およびパネル２の背景の各画像領域ｇ２，ｇ３は赤、緑、青の全ての波長成分を含み、黒の基準板の画像領域ｇ４はどの色の波長成分も含んでいない。カラー画像は赤、緑、青の３プレーン構成になっており、各プレーンの画素は８ビットグレースケール濃度（以下、単に「濃度値」という。）を有するものである。したがって、青色のプレーン画像（以下、「青色成分画像」という。）では、植物体の画像領域ｇ１と基準板の画像領域ｇ４とは暗く現れ、パネル２およびパネル２の背景の各画像領域ｇ２，ｇ３は明るく現れる。これを利用して、カラー画像より植物体の画像領域を抽出するためのマスク画像は青色成分画像を用いて生成する（詳細は後述）。
【００４０】
図４に戻って、画像領域抽出部６は、植物体の生体重を推定するための重回帰式を求めるモード（以下、「学習モード」という。）では、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して得られた複数のサンプル画像Ｇ１〜Ｇ７より植物体の画像領域ｇ１のみを抽出する。また、対象となる植物体の生体重を推定するモード（以下、「測定モード」という。）では、対象となる１個体または複数個体の植物体を撮像して得られた対象画像Ｘより植物体の画像領域ｇ１のみを抽出する。
【００４１】
特徴量抽出部７は、学習モードでは、画像領域抽出部６によってサンプル画像Ｇ１〜Ｇ７より抽出された植物体の画像領域ｇ１より複数の画像特徴量を抽出する。また、測定モードでは、画像領域抽出部６によって対象画像Ｘより抽出された植物体の画像領域ｇ１より複数の画像特徴量を抽出する。
生体重推定部８は、学習モードでは、特徴量抽出部７により抽出された複数の画像特徴量と各生育段階での１個体または複数個体の植物体の生体重の実測値との関係を表した重回帰式を求めて記憶する。また、測定モードでは、特徴量抽出部７により抽出された複数の画像特徴量より前記重回帰式を用いて植物体の生体重を推定する。
【００４２】
図６は、学習モードにおける計測制御装置４による画像処理および画像解析の流れを示している。同図のＳＴ１では、計測制御装置４はカメラ３により取得されたサンプル画像Ｇ１を取り込んで画像記憶装置４２に記憶させる。つぎのＳＴ２では、電子天秤などで測定された植物体のサンプルの生体重が入力装置４６により入力され、計測制御装置４のＣＰＵ４３はその入力データをＲＡＭ４５に記憶させる。
【００４３】
各生育段階でのサンプル画像Ｇ１〜Ｇ７の取込および記憶と、各生育段階での植物体のサンプルの生体重の実測と記憶とが行われると、ＳＴ３の判定が「ＹＥＳ」となってＳＴ４へ進み、ＣＰＵ４３は、２値化しきい値の演算式を求めるための処理を実行する（ＳＴ４）。この２値化しきい値は、各サンプル画像Ｇ１〜Ｇ７より植物体の画像領域ｇ１のみを抽出するためのマスク画像を生成するために、各サンプル画像Ｇ１〜Ｇ７の青色成分画像を２値化処理するのに用いられるもので、パネルの背景の画像領域ｇ３の明るさに応じた値に可変設定される。
【００４４】
図７は、図６のＳＴ４の具体的な処理の流れを示している。まず、ＣＰＵ４３は、１番目のサンプル画像Ｇ１を指定し（ＳＴ４−１）、そのサンプル画像Ｇ１の青色成分画像についてパネルの背景の画像領域ｇ３のうち最も暗い決められた領域の濃度平均値と基準板の画像領域ｇ４の濃度平均値とを計測する（ＳＴ４−２）。この実施例では、図８に示すように、サンプル画像Ｇ１〜Ｇ７の左上隅の領域がパネルの背景の画像領域ｇ３のうち最も暗い領域に当たることに着目し、その部分に矩形状の縦横１６×１６画素領域Ｓを設定し、その領域Ｓ内の各画素の濃度値を測定してその平均値を求める。
【００４５】
次に、ＣＰＵ４３は２番目のサンプル画像Ｇ２を指定し（ＳＴ４−４）、同様の濃度計測を実行する。全てのサンプル画像Ｇ１〜Ｇ７についての濃度計測が実行されると、ＳＴ４−３の判定が「ＹＥＳ」となり、ＣＰＵ４３は、上記したパネルの背景の画像領域ｇ３のうちの最も暗い領域Ｓの濃度平均値と基準板の画像領域ｇ４の濃度平均値との関係から回帰直線式を算出する（ＳＴ４−５）。
【００４６】
図９は、パネルの背景の画像領域ｇ３のうちの最も暗い領域Ｓの濃度平均値（ｘ）と基準板の画像領域ｇ４の濃度平均値（ｙ）との関係を示しており、図示例では１４枚のサンプル画像についての計測データがプロットされている。この両者の濃度平均値間には強い線形関係が認められ、同図に示す回帰直線は数式１で与えられる（ただし、ａ，ｂは正の定数）。
【００４７】
数式１ ｙ＝ａｘ−ｂ
【００４８】
画像の左上隅の縦横１６×１６画素領域Ｓの濃度平均値を求めると、上記の回帰直線式より基準板の画像領域ｇ４の濃度平均値を精度良く推定することができる。この実施例では、その濃度推定値より大きな濃度値、すなわち、パネルの背景の画像領域ｇ３内の上記の画素領域Ｓの濃度平均値と基準板の画像領域ｇ４の濃度推定値との間の値に２値化しきい値を設定し、これにより基準板の画像領域ｇ４とパネルの背景の画像領域ｇ３との切り分けを可能としている。さらに、植物体の葉に高輝度部分が存在することを考慮し、その高輝度部分が抽出できるように、画像の左上隅の縦横１６×１６画素領域Ｓの濃度平均値をｘ、青色成分画像を２値化処理するための２値化しきい値をＴＨとすると、２値化しきい値ＴＨを算出するための演算式を数式２のとおり決定する（ＳＴ４−６）。ただし、ｃは正の定数である。この演算式によってパネルの背景の画像領域ｇ３の明るさに応じた２値化しきい値が決定されるもので、この演算式はＲＡＭ４５に記憶される。
【００４９】
数式２ ＴＨ＝ａｘ−ｂ＋ｃ
【００５０】
図６に戻って、ＣＰＵ４３は、１番目のサンプル画像Ｇ１を指定し（ＳＴ５）、そのサンプル画像Ｇ１の青色成分画像を２値化処理するための２値化しきい値ＴＨを上記演算式により算出する（ＳＴ６）。つぎのＳＴ７では、ＣＰＵ４３は、算出した２値化しきい値ＴＨによりサンプル画像Ｇ１の青色成分画像を２値化処理し、これにより植物体の画像領域ｇ１と基準板の画像領域ｇ４とが白画素領域となり、パネルの画像領域ｇ２とパネルの背景の画像領域ｇ３とが黒画素領域となって切り分けられ、図１０（１）に示すような２値画像が生成される（ＳＴ７）。なお、図１０（１）には、説明の便宜上、サンプル画像Ｇ７の２値画像が示してある。
【００５１】
つぎのＳＴ８では、ＣＰＵ４３は、上記の２値画像についてラベリング処理を施して２個の白画素領域を認識し、次に、各白画素領域の円形度を求め、その円形度によって植物体の画像領域ｇ１を基準板の画像領域ｇ４と区別して認識し、図１０（２）に例示するマスク画像を得る（ＳＴ８）。つぎのＳＴ９では、このマスク画像によってサンプル画像Ｇ１より植物体の画像領域ｇ１のみを抽出する（図１０（３））。なお、この実施例では、後述するテクスチャ特徴量を強調して有意性の高い画像特徴量とするために、植物体の画像領域ｇ１のみが抽出された画像の緑色成分画像に対してテンプレートマッチング法を適用してエッジ強調画像を生成する（ＳＴ１０）。
【００５２】
つぎにＣＰＵ４３は、エッジ強調画像に対して、画像特徴量として生体重の増加とともに変化すると考えられる色情報とテクスチャ特徴量とを抽出する（ＳＴ１１）。色情報として植物体の画像領域に含まれる全画素の色相値の平均と彩度値の平均とを算出する。テクスチャ特徴量として、画像の１次統計量である平均と分散、第２次特徴量、およびランレングス統計量を計算する。なお、これらの画像特徴量を求めるための具体的な計算式は、先行技術文献として示した前記の非特許文献に詳述されており、ここでは説明を省略する。
【００５３】
所定個数の画像特徴量が算出すると、次に、ＣＰＵ４３は２番目のサンプル画像Ｇ２を指定し（ＳＴ１３）、サンプル画像Ｇ２について、上記と同様に手順（ＳＴ６〜ＳＴ１１）を実行することにより、サンプル画像Ｇ２のエッジ強調画像について、同様の画像特徴量を抽出する。全てのサンプル画像Ｇ１〜Ｇ７についての画像特徴量の抽出が実行されると、ＳＴ１２の判定が「ＹＥＳ」となってＳＴ１４へ進み、ＣＰＵ４３は、ステップワイズ法により統計的に有意な変量（画像特徴量）を選定した後、選定した画像特徴量と各生育段階で取得した植物体の生体重の実測値との関係を表す重回帰式を求め、これをＲＡＭ４５に記憶させる（ＳＴ１５，１６）。
【００５４】
図１１は、測定モードにおける計測制御装置４による植物体の生体重推定の流れを示している。同図のＳＴ１では、計測制御装置４はカメラ３により取得された対象画像Ｘを取り込んで画像記憶装置４２に記憶させる。つぎのＳＴ２では、ＣＰＵ４３は、対象画像Ｘの青色成分画像についてパネルの背景の画像領域ｇ３のうち最も暗い決められた領域、この実施例では、対象画像Ｘの左上隅の領域に矩形状の縦横１６×１６画素領域Ｓを設定し、その領域Ｓ内の各画素の濃度値を測定してその平均値を求める。
【００５５】
つぎにＣＰＵ４３は、対象画像Ｘの青色成分画像について前記濃度値の平均値をＲＡＭ４５に記憶された２値化しきい値を算出する前記演算式に当てはめて２値化しきい値ＴＨを算出した後、その算出した２値化しきい値ＴＨにより対象画像Ｘの青色成分画像を２値化処理する（ＳＴ３，４）。この２値化処理により植物体の画像領域ｇ１と基準板の画像領域ｇ４とが白画素領域となり、パネルの画像領域ｇ２とパネルの背景の画像領域ｇ３とが黒画素領域となって切り分けられて２値画像が生成される。この２値画像についてラベリング処理を施し、各白画素領域の円形度を求め、その円形度により植物体の画像領域ｇ１を基準板の画像領域ｇ４と区別して認識してマスク画像を得る（ＳＴ５）。
【００５６】
つぎにＣＰＵ４３は、このマスク画像によって対象画像Ｘよりレタスの画像領域ｇ１のみを抽出し（ＳＴ６）、その植物体の画像領域ｇ１のみが抽出された画像の緑色成分画像に対してテンプレートマッチング法を適用してエッジ強調画像を生成する（ＳＴ７）。つぎにＣＰＵ４３は、エッジ強調画像に対して、図６のＳＴ１４においてステップワイズ法により選定された統計的に有意な複数の画像特徴量の抽出を実行した後（ＳＴ８）、抽出された複数の画像特徴量よりＲＡＭ４５に記憶された前記重回帰式を用いて植物体の生体重を推定する（ＳＴ９）。
【００５７】
なお、パネル３の背景が白色の上記の実施例では、青色成分画像についてパネル３の背景の画像領域ｇ３のうち最も暗い決められた領域の濃度値と黒色の基準板の画像領域の濃度値との間の値に２値化しきい値を決定しているが、例えば、背景が黒色や赤色等の場合、最も明るい領域と基準板（この場合、基準板は白色）の画像領域の濃度値との間に２値化しきい値を決定する。
【００５８】
図１２は、１２株のレタス（品種：フリルアイス）より成る植物体について、栽培を７回反覆して行って得られたデータを示すもので、生育段階に応じた生体重の実測値（図中、黒丸で示す。）と推定値（図中、白丸で示す。）との関係を図示している。同図のエラーバーは９５％予測区間を示し、図示の実験データでは９５％予測区間は狭く、また実測値の９８％以上がその予測区間内に入っており、植物体が小さい段階においてでも、大きい段階においてでも、推定精度が高いことを示している。
【００５９】
上記の実施例は、複数個体の植物体を撮像して取得したカラー画像によって植物体の生体重を推定しているが、これに限らず、同様に取得したカラー画像によって植物体が含有する所定の成分の量を推定することもできる。
例えば、赤色レタスの場合、赤紫色を呈する物質であり、抗酸化能を有するアントシアニンの含有量と赤色レタスの色味との間には強い相関関係が存在するもので、赤色レタスの画像領域の色相値や彩度値を使用してアントシアニンの量を推定する。
【００６０】
図１３は、１２株の赤色レタス（品種：マザーレッド）について得られたデータを示すもので、総アントシアニン量の実測値（図中、黒丸で示す。）と推定値（図中、白丸で示す。）との関係を図示している。同図のエラーバーは９５％予測区間を示し、図示の実験データでは９５％予測区間は狭く、また実測値がその予測区間内に入っており、アントシアニンの多い個体においてでも、少ない個体においてでも、推定精度が高いことを示している。
なお、アントシアニン抽出液において分光光度計（ＵＶ−１６０：島津製作所製）にて５３０ｎｍおよび６５７ｎｍにおける吸光度を測定し、計算式（アントシアニン量Ａ‘５３０＝Ａ５３０−Ａ６５７×０．２５）により、クロロフィルによる吸光の影響を除いた値を総アントシアニン量（Ｏ．Ｄ．／ｇＦＷ）とした（計算式の参考文献：Ｐｌａｎｔ Ｐｈｙｓｉｏｌ．（１９９１）９６，１０７５−１０８５）。
【符号の説明】
【００６１】
１ 植物体
２ パネル
３ カメラ
４ 計測制御装置
６ 画像領域抽出部
７ 特徴量抽出部
８ 生体重推定部
１０ 植物体
４２ 画像記憶装置
４３ ＣＰＵ
４５ ＲＡＭ
【特許請求の範囲】
【請求項１】
植物体を撮像して取得したカラー画像より植物体の画像領域を抽出する方法であって、前記カラー画像の所定の色成分画像について背景の画像領域の濃度値を計測し、その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめて背景の画像領域の明るさに応じた２値化しきい値を算出し、その２値化しきい値により前記色成分画像を２値化処理してマスク画像を生成し、そのマスク画像を用いて前記カラー画像より植物体の画像領域のみを抽出することを特徴とする植物体の画像領域抽出方法。
【請求項２】
前記カラー画像は、単位画素当たりの面積を求めるための基準板の画像を含んでおり、前記２値化しきい値を算出する演算式は、前記色成分画像の背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値との間の値に２値化しきい値を決定するものである請求項１に記載された植物体の画像領域抽出方法。
【請求項３】
前記２値化しきい値を算出する演算式は、植物体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の所定の色成分画像について、背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値とをそれぞれ計測して取得した計測データ間の相関から求められる回帰直線式より導出されるものである請求項２に記載された植物体の画像領域抽出方法。
【請求項４】
植物体をカメラにより撮像して取得したカラー画像より植物体の画像領域を抽出する装置であって、植物体のカラー画像の所定の色成分画像について背景の画像領域の濃度値を計測する濃度計測手段と、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データから色成分画像を２値化処理するための２値化しきい値を算出する演算式を求めて記憶する演算式設定手段と、対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データを前記演算式に当てはめて２値化しきい値を算出する２値化しきい値算出手段と、２値化しきい値算出手段により算出された２値化しきい値により対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像を２値化処理してマスク画像を生成するマスク画像生成手段と、マスク画像生成手段により生成されたマスク画像を用いて対象となる１個体または複数個体の植物体のカラー画像より植物体の画像領域のみを抽出する画像領域抽出手段とを備えて成る植物体の画像領域抽出装置。
【請求項５】
前記カメラは、パネル上に植物体が定植されたものを垂直方向、水平方向、または斜め方向より撮像して投影画像を取得するものであって、植物体とパネルとパネルの背景と単位画素当たりの面積を求めるための基準板とを含むように視野が設定されており、前記濃度計測手段は、植物体のカラー画像の所定の色成分画像についてパネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値とを計測し、前記演算式設定手段は、パネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値との間の値に２値化しきい値を決定する演算式を記憶している請求項４に記載された植物体の画像領域抽出装置。
【請求項６】
植物体の生育度合を判断して監視するためのシステムであって、１個体または複数個体の植物体を撮像してカラー画像を取得するためのカメラと、請求項４または５に記載された植物体の画像領域抽出装置を有する計測制御装置とから成り、前記計測制御装置は、前記画像領域抽出装置により抽出された植物体の画像領域より複数の画像特徴量を抽出する特徴量抽出装置と、前記特徴量抽出装置により抽出された複数の画像特徴量と生育度合が反映される所定の物理量の実測値との関係を表した重回帰式を記憶するとともに、対象となる１個体または複数個体の植物体について前記特徴量抽出装置により抽出された複数の画像特徴量より前記重回帰式を用いて生育度合が反映される所定の物理量を推定する推定装置とをさらに備えて成る植物体の生育監視システム。
【請求項７】
前記推定装置は、生育度合が反映される物理量として植物体の生体重を推定するものである請求項６に記載された植物体の生育監視システム。
【請求項８】
前記推定装置は、生育度合が反映される物理量として植物体の色味度合を推定するものである請求項６に記載された植物体の生育監視システム。
【請求項９】
前記推定装置は、生育度合が反映される物理量として植物体が含有する所定の成分の量を推定するものである請求項６に記載された植物体の生育監視システム。
【請求項１】
植物体を撮像して取得したカラー画像より植物体の画像領域を抽出する方法であって、前記カラー画像の所定の色成分画像について背景の画像領域の濃度値を計測し、その計測値を予め同種の植物体のサンプルを用いて求められた２値化しきい値を算出する演算式に当てはめて背景の画像領域の明るさに応じた２値化しきい値を算出し、その２値化しきい値により前記色成分画像を２値化処理してマスク画像を生成し、そのマスク画像を用いて前記カラー画像より植物体の画像領域のみを抽出することを特徴とする植物体の画像領域抽出方法。
【請求項２】
前記カラー画像は、単位画素当たりの面積を求めるための基準板の画像を含んでおり、前記２値化しきい値を算出する演算式は、前記色成分画像の背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値との間の値に２値化しきい値を決定するものである請求項１に記載された植物体の画像領域抽出方法。
【請求項３】
前記２値化しきい値を算出する演算式は、植物体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の所定の色成分画像について、背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と前記基準板の画像領域の濃度値とをそれぞれ計測して取得した計測データ間の相関から求められる回帰直線式より導出されるものである請求項２に記載された植物体の画像領域抽出方法。
【請求項４】
植物体をカメラにより撮像して取得したカラー画像より植物体の画像領域を抽出する装置であって、植物体のカラー画像の所定の色成分画像について背景の画像領域の濃度値を計測する濃度計測手段と、植物体の１個体または複数個体のサンプルを生育段階に応じて撮像して取得した複数枚のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データから色成分画像を２値化処理するための２値化しきい値を算出する演算式を求めて記憶する演算式設定手段と、対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像について前記濃度計測手段により取得された濃度値の計測データを前記演算式に当てはめて２値化しきい値を算出する２値化しきい値算出手段と、２値化しきい値算出手段により算出された２値化しきい値により対象となる１個体または複数個体の植物体のカラー画像の前記色成分画像を２値化処理してマスク画像を生成するマスク画像生成手段と、マスク画像生成手段により生成されたマスク画像を用いて対象となる１個体または複数個体の植物体のカラー画像より植物体の画像領域のみを抽出する画像領域抽出手段とを備えて成る植物体の画像領域抽出装置。
【請求項５】
前記カメラは、パネル上に植物体が定植されたものを垂直方向、水平方向、または斜め方向より撮像して投影画像を取得するものであって、植物体とパネルとパネルの背景と単位画素当たりの面積を求めるための基準板とを含むように視野が設定されており、前記濃度計測手段は、植物体のカラー画像の所定の色成分画像についてパネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値とを計測し、前記演算式設定手段は、パネルの背景の画像領域内の最も暗いまたは最も明るい決められた領域の濃度値と基準板の画像領域の濃度値との間の値に２値化しきい値を決定する演算式を記憶している請求項４に記載された植物体の画像領域抽出装置。
【請求項６】
植物体の生育度合を判断して監視するためのシステムであって、１個体または複数個体の植物体を撮像してカラー画像を取得するためのカメラと、請求項４または５に記載された植物体の画像領域抽出装置を有する計測制御装置とから成り、前記計測制御装置は、前記画像領域抽出装置により抽出された植物体の画像領域より複数の画像特徴量を抽出する特徴量抽出装置と、前記特徴量抽出装置により抽出された複数の画像特徴量と生育度合が反映される所定の物理量の実測値との関係を表した重回帰式を記憶するとともに、対象となる１個体または複数個体の植物体について前記特徴量抽出装置により抽出された複数の画像特徴量より前記重回帰式を用いて生育度合が反映される所定の物理量を推定する推定装置とをさらに備えて成る植物体の生育監視システム。
【請求項７】
前記推定装置は、生育度合が反映される物理量として植物体の生体重を推定するものである請求項６に記載された植物体の生育監視システム。
【請求項８】
前記推定装置は、生育度合が反映される物理量として植物体の色味度合を推定するものである請求項６に記載された植物体の生育監視システム。
【請求項９】
前記推定装置は、生育度合が反映される物理量として植物体が含有する所定の成分の量を推定するものである請求項６に記載された植物体の生育監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２０８８３９（Ｐ２０１２−２０８８３９Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７５２２７（Ｐ２０１１−７５２２７）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（５０４１５０４５０）国立大学法人神戸大学 (421)
【出願人】（０００１７８８２６）日本山村硝子株式会社 (140)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（５０４１５０４５０）国立大学法人神戸大学 (421)
【出願人】（０００１７８８２６）日本山村硝子株式会社 (140)
【Ｆターム（参考）】
[ Back to top ]