農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置
【課題】農作物の画像を処理する農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置の提供。
【解決手段】畝に植立された農作物の画像を育苗期、生育期、収穫期の適宜のタイミングで撮像し、得られた画像を画像取得部11にて取得する。領域分離処理部13は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する。育苗期に撮像された画像について領域分離を行った場合、畝線検出部14aは、領域分離後の画像を用いて直線検出を行うことにより、畝線を検出する。また、生育期、収穫期の画像について領域分離を行った場合、成長線検出部14bが直線検出を行うことにより、成長線を検出する。算出部15は、検出された畝線及び成長線を用いて農作物の高さを算出する。
【解決手段】畝に植立された農作物の画像を育苗期、生育期、収穫期の適宜のタイミングで撮像し、得られた画像を画像取得部11にて取得する。領域分離処理部13は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する。育苗期に撮像された画像について領域分離を行った場合、畝線検出部14aは、領域分離後の画像を用いて直線検出を行うことにより、畝線を検出する。また、生育期、収穫期の画像について領域分離を行った場合、成長線検出部14bが直線検出を行うことにより、成長線を検出する。算出部15は、検出された畝線及び成長線を用いて農作物の高さを算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農作物の画像を処理する農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置に関する。
【背景技術】
【0002】
大規模な圃場を抱える農業法人では、経営的観点から収穫量を予想することは重要である。現状では、収穫量を農業従事者の勘及び経験に頼って予測している。
【0003】
収穫量は天候、病害虫、実施作業など様々な要因に依存している。例えば、天候要因(落雷、強風、大雨、温度など)や生育要因(生理障害、病害虫、鳥獣害など)や人為的要因(植え忘れ、培土ミスなど)などが挙げられる。
【0004】
一方で、航空・衛星画像を用いた収穫量の予測手法が開示されている(例えば、特許文献1を参照)。この場合、農作物が反射する特有の波長を取得するために分光反射光画像を用いる。この画像を解析することにより、観察対象の圃場における農作物面積や生育度を推定し、収穫量を予測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−140296号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された予測手法では、圃場面の真上から画像を撮影しているため、この画像から計算される農作物の収穫量は農作物面積を反映しているに過ぎず、農作物の高さを踏まえた正確な農作物の大きさを測定することはできない。
【0007】
本願は、上記の課題を解決するため、圃場面に線状に植立された農作物の高さを画像を用いて算出し、農作物の収穫量予測に利用することができる農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本願に開示する農作物画像処理プログラムは、コンピュータに、圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶手段に記憶し、前記記憶手段を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離し、前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出し、前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する処理を実行させることを特徴とする。
【発明の効果】
【0009】
本願によれば、圃場面に線状に植立された農作物の高さを画像を用いて算出し、例えば、農作物の収穫量予測に利用することができる。
【図面の簡単な説明】
【0010】
【図1】本実施の形態に係る農作物の高さ算出システムの概要を説明する説明図である。
【図2】本実施の形態に係る算出装置の機能的構成を示す模式図である。
【図3】算出装置のハードウェア構成を示す模式図である。
【図4】畝線を検出する手順を説明するフローチャートである。
【図5】処理対象の画像の一例を示す模式図である。
【図6】背景分離及びセグメンテーションを行った画像の一例を示す模式図である。
【図7】畝線の検出結果の一例を示す模式図である。
【図8】農作物の高さを算出する手順を説明するフローチャートである。
【図9】処理対象の画像の一例を示す模式図である。
【図10】透視変換を用いた高さの算出手法を説明する説明図である。
【図11】実施の形態2に係る収穫量予測装置の機能的構成を示す模式図である。
【図12】重み関数の一例を示す模式図である。
【図13】収穫量予測装置による予測収穫量の算出手順を説明するフローチャートである。
【図14】農作物面積の実測値の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本願をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1は本実施の形態に係る農作物の高さ算出システムの概要を説明する説明図である。本実施の形態に係る農作物の高さ算出システムは、撮像装置1及び算出装置10を備える。撮像装置1は、例えば、デジタルカメラである。撮像装置1は、圃場又は圃場近傍の定点に設置され、圃場に植立された農作物を定期的に撮像し、得られた画像(デジタルカラー画像)を算出装置10へ送出する。このため、撮像装置1は有線又は無線の通信機能を備え、撮像して得られた画像を通信機能により算出装置10へ送信するように構成している。
【0012】
圃場には畝が形成され、この畝に沿って農作物が適宜の間隔で植立されるものとする。すなわち、圃場には線状の農作物の列が複数形成されるものとする。撮像装置1は、撮像方向(カメラの光軸)がこの畝に略平行となるように、しかも成長した農作物の高さよりも高い固定位置から圃場を俯瞰的に撮像する。撮像装置1は、カメラアングルが固定された状態で、圃場又は圃場近傍の定点に設置される。
なお、撮像装置1が撮像する圃場範囲は、圃場内の一部であってもよい。また、撮像装置1を複数箇所に設置して圃場全体を撮像する構成としてもよい。
【0013】
圃場に植立される農作物は、例えば、葉菜類に属する農作物である。本実施の形態に係る農作物の高さ算出システムでは、農作物の育苗期、生育期又は収穫期に、ある程度の高さまで垂直方向に成長する農作物について高さを好適に算出することができる。また、対象の農作物は、収穫後に圃場から除去されるような農作物であることが好ましい。
例えば、しそ科葉菜類、せり科葉菜類に属する農作物、ニラ、ネギなどの農作物の高さを好適に算出することができる。また、稲、麦類、とうもろこし等の雑穀類、非結球レタス、カリフラワー、キャベツ、白菜、ブロッコリー、レタスなどの農作物についても高さを算出することができる。
一方、ジャガイモや人参といった根菜類については、本実施の形態の高さ算出の対象から除外される。
【0014】
算出装置10は、パーソナルコンピュータ、サーバ装置などの情報処理装置であり、撮像装置1から送出される画像を取得し、画像の特徴を利用して農作物の高さを算出する。高さの算出手法については後に詳述することとするが、本実施の形態に係る算出装置10は、撮像装置1から取得した画像について、農作物を表す領域と背景領域とを分離する領域分離処理を実行する。また、算出装置10は、育苗期に撮像装置1によって撮像された画像から畝の位置を表す直線(畝線)を検出し、生育期又は収穫期に撮像装置1によって撮像された画像から農作物の上端部分を表す直線(成長線)を検出する処理(直線検出処理)を実行する。更に、算出装置10は、検出した畝線及び成長線を利用して透視変換を適用することにより、農作物の高さを算出する算出処理を実行する。
【0015】
なお、本実施の形態では、撮像装置1は、圃場に植立された農作物を定期的に撮像する構成とするが、算出装置10から撮像装置1に対して定期的に撮像指示を与え、撮像指示が与えられたときに撮像装置1が農作物の画像を撮像する構成としてもよい。また、農作物の育苗期、生育期、及び収穫期に適宜のタイミングで撮像する構成としてもよい。この場合、ユーザが指示するタイミングで撮像する構成としてもよい。更に、パスライトやビニールトンネルといった被覆を行う期間については、撮像の対象から除外してもよい。
【0016】
また、本実施の形態では、撮像装置1により撮像された画像を、有線又は無線の通信機能により算出装置10へ送信する構成としたが、撮像装置1にて適宜の期間に撮像された画像を可搬型記録媒体に蓄積しておき、この可搬型記録媒体を利用して算出装置10内に画像を取込む構成としてもよい。
【0017】
図2は本実施の形態に係る算出装置10の機能的構成を示す模式図である。本実施の形態に係る算出装置10は、画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、算出部15、及び出力部16を備える。
【0018】
画像取得部11は、撮像装置1が撮像した画像を取得する。そのため、画像取得部11は、撮像装置1から送信される画像を受信する機能、及び可搬型記録媒体に蓄積された画像を算出装置10内に取込む機能の少なくとも一方を備える。画像取得部11は、取得した画像を画像記憶部12へ出力する。
【0019】
画像記憶部12は、画像取得部11が出力する画像を取得して記憶する。このとき、画像記憶部12は、算出装置10の備える図示しない記憶領域内の適宜の記憶場所を指定して画像を記憶すると共に、画像を識別する情報、画像の記憶場所を識別する情報、画像の撮像日時を示す情報を互いに関連付けて記憶する。また、画像記憶部12は、複数の撮像装置1の画像を取得し、記憶する場合には、画像を撮影した撮像装置1や画像の撮影位置など、同一のカメラアングルで撮影された圃場を特定可能な情報を更に関連付けて記憶することが好ましい。例えば、同一の撮像装置1や撮影位置で撮像した画像毎にディレクトリを分けて記憶領域内に記憶してもよい。
【0020】
画像を識別する情報は、例えば、画像のファイル名であり、撮像装置1が画像を生成する際に付与する名称を用いることができる。画像の記憶場所を識別する情報は、画像記憶部12の記憶領域内での位置を特定するための情報であり、ディレクトリ、フォルダ等を含む階層情報により表される。撮像日時は、画像を生成する際に撮像装置1が埋め込む撮像条件に含まれる情報(メタデータ)である。画像記憶部12は、撮像日時を示す情報を画像のメタデータから抽出し、その画像を識別する情報、及び画像の記憶場所を識別する情報に関連付けて記憶する。
また、画像記憶部12は、これらの情報に加え、農作物の播種期、育苗期、生育期、及び収穫期を区別する情報を関連付けて記憶する構成としてもよい。例えば、それぞれの期間を予め定めておき、画像記憶部12は、メタデータから撮像日時の情報を取得した際、どの期間に属するかを判定し、判定した期間(播種期、育苗期、生育期、収穫期)を他の情報に関連付けて、算出装置10の備える図示しない記憶領域に記憶することができる。
【0021】
領域分離処理部13は、処理対象の画像について、農作物を表す領域と背景領域とを分離する処理を行う。本実施の形態において、農作物は、畝と呼ばれる盛り土の上に植立されるものであるが、その畝の間に雑草がしばしば発生する。単純に、画像処理で農作物の色(緑色)で抽出した場合、畝間に存在する雑草も同時に抽出してしまうことになる。そこで、本実施の形態に係る算出装置10は、領域分離処理部13において、畝の位置を検出し、検出した畝の位置を基準として、画像上で農作物を表す領域とそれ以外(土壌や雑草)の背景領域とを分離する。
【0022】
領域分離処理部13は、処理した画像(すなわち、撮像画像から農作物を表す領域と背景領域とを分離した画像)を直線検出部14へ出力する。このとき、領域分離処理部13は、畝線の検出対象となる画像(例えば、育苗期に撮像された画像)を直線検出部14の畝線検出部14aへ出力し、成長線の検出対象となる画像(例えば、生育期又は収穫期に撮像された画像)を直線検出部14の成長線検出部14bへ出力する。
【0023】
なお、領域分離処理部13は、ユーザが指定した範囲で領域分離を行えばよい。ユーザが適宜の範囲を設定することにより、領域分離処理部13は、例えば、遠近法により畝の判別が困難となる領域を除外して処理を行うことができる。以下では、領域分離処理の際にユーザが設定する範囲を観察領域という。
【0024】
直線検出部14は、畝線検出部14a及び成長線検出部14bを備える。
畝線検出部14aは、領域分離処理部13が処理した画像のうち、育苗期に撮像された画像について畝線の検出を行う。畝線の検出には、直線検出の手法として一般的に知られるハフ変換を利用することができる。本実施の形態のように、検出したい線の形(直線)が予め決められており、代数方程式でその形状が表現できる場合には、畝線検出部14aは、線の形状を表すパラメータ空間に画像中の特徴点を写像するハフ変換を利用して直線検出を行うことができる。
例えば、畝線検出部14aは、領域分離した領域のうち、農作物を表す領域部分を画像中の特徴点としてハフ変換を適用することにより、直線(畝線)を検出することができる。このとき、畝線検出部14aは、各直線の傾きΔLiに関して、クラスタリングをする距離の閾値をΔdLth以下として、公知の階層的クラスタリングを適用し、各クラスタ毎に当該クラスタの重心値に最近傍となる傾きを持った直線を、農作物を表す領域部分を通る直線、すなわち、畝の領域内に多数存在する農作物の植立地点に漸近する直線として求めることができる。
本実施の形態では、ハフ変換を用いて畝線を検出する構成としたが、直線検出の手法はハフ変換に限定されるものではない。例えば、加重マトリクスを用いて画像をフィルタリングする手法、微分画像を用いて微分値が大きくなる領域を抽出し、細線化する手法、微分画像を用いて微分値の高い画素を逐次つなぎ合わせて領域の境界線を抽出する手法等を用いることができる。
【0025】
撮像装置1が撮像する画像には複数の畝が含まれることが多い。また、領域分離処理部13で領域分離処理を行ったとしても、領域分離処理部13は、農作物以外の領域(例えば、雑草などを含む領域)を完全に除去できないこともある。したがって、畝線検出部14aが検出する直線には、畝線及び畝線以外の直線が複数含まれる。そこで、畝線検出部14aは、検出した直線のうち畝に相当する直線(畝線)を選択し、他の直線を除外する。
畝線の選択は、畝線検出部14aが自動で行ってもよく、ユーザによる選択を畝線検出部14aにて受付ける構成としてもよい。畝線検出部14aが畝線を自動で選択する手法としては、遠近法における消失点を利用した選択手法を用いることができる。畝は平行かつ等間隔に形成されることが多いので、画像上において、検出した直線が最も多く重なる点(消失点)が存在する。したがって、畝線検出部14aは、この消失点を通らない直線は畝以外の要素により検出された直線であるとして除外し、残りの直線を選択することにより、畝線のみを検出することができる。
畝線検出部14aは、検出した畝線の情報を算出装置10の備える図示しない記憶領域に記憶する。例えば、各畝線の画像上の端点の座標、各畝線を表す代数方程式の情報等を記憶する。
【0026】
一方、成長線検出部14bは、領域分離処理部13が処理した画像のうち、生育期又は収穫期に撮像された画像について成長線の検出を行う。
成長線検出部14bは、畝線検出部14aによって検出された畝線のうち、農作物の高さを算出しやすい畝線を選択する。畝線の選択は、成長線検出部14bが自動で行ってもよく、ユーザによる選択を成長線検出部14bにて受付ける構成としてもよい。成長線検出部14bが畝線を自動で選択する場合、例えば、成長線検出部14bは、画像上で傾きが最も大きい畝線の両隣りに存在する2つの畝線のうち、畝線の消失点から遠い方の終端が観察領域内に存在する畝線を選択することができる。
【0027】
成長線検出部14bは、領域分離処理部13が領域分離を行った画像を用いて、選択した畝線上に存在する農作物部分を表す領域を抽出する。また、撮像装置1が撮像した画像を用いて、選択した畝線上の農作物の色をサンプリングし、農作物部分を表す色の領域を抽出し、農作物部分とそれ以外の部分(土壌や雑草)とを領域分離する処理を新たに行ってもよい。
成長線検出部14bは、選択した畝線のみを含む農作物の領域について畝線以外の直線を検出する。直線検出の手法は、畝線検出部14aで行う直線検出の手法と全く同様の手法を用いることができる。例えば、成長線検出部14bは、農作物を表す領域部分の輪郭を画像中の特徴点として、ハフ変換を適用することにより、直線(成長線)を検出することができる。このとき、成長線検出部14bは、各直線の傾きΔLiに関して、クラスタリングをする距離の閾値をΔdLth以下として、公知の階層的クラスタリングを適用し、各クラスタ毎に、当該クラスタの重心値に最遠傍となる傾きをもった直線であって、畝線の消失点近傍を通る直線を、成長線(すなわち、農作物の上端部を通る直線)として検出することができる。
成長線検出部14bは、検出した成長線の情報を算出装置10の備える図示しない記憶領域に記憶する。例えば、成長線検出部14bは、成長線の画像上の端点の座標、成長線を表す代数方程式の情報等を記憶する。
【0028】
算出部15は、畝線検出部14aが検出した畝線、及び成長線検出部14bが検出した成長線を用いて、農作物の高さを算出する。算出部15は、成長線を検出する際に選択した畝線の手前側の端点と成長線とを垂直に結ぶ線分を求め、その線分の長さを農作物の画像上での高さとすることができる。また、算出部15は、得られた高さを撮像装置1の位置関係及び透視変換を用いて実際の高さに変換することで、農作物の実際の高さを算出することができる。
【0029】
出力部16は、算出部15による算出結果等、すなわち算出した農作物の高さ等を出力する。出力部16による算出結果の出力は、例えば、算出部15が算出した農作物の高さを文字情報として画面上に表示することによって行う。また、出力部16は、算出部15が算出した農作物の高さを外部の装置(例えば、ユーザが使用する端末装置)へ通知する構成としてもよい。
【0030】
図3は算出装置10のハードウェア構成を示す模式図である。算出装置10は、CPU101、ROM102、RAM103、通信インタフェース104、ハードディスクドライブ105、光ディスクドライブ106、キーボード107、及びディスプレイ108を備える。
【0031】
ROM102には、上述したハードウェア各部の動作を制御するために必要な制御用プログラムが予め格納されている。また、ハードディスク105Dには、撮像画像から農作物の高さを算出する処理を算出装置10に実行させる算出用プログラムが予め格納されている。
【0032】
CPU101は、適宜のタイミングでROM102又はハードディスク105Dに格納されているコンピュータプログラムをRAM103上に読み出し、実行することにより、上述したハードウェア各部の動作を制御し、全体として本願の算出方法を実現する装置として動作させる。
【0033】
RAM103は、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、フラッシュメモリなどであり、CPU101によるコンピュータプログラムの実行時に発生する種々のデータ(例えば、各種パラメータ、演算の途中経過、演算結果等)を一時的に記憶する。
【0034】
通信インタフェース104は、通信ネットワーク(不図示)を介して、外部の装置と通信を行うためのインタフェースである。
【0035】
ハードディスクドライブ105は、ハードディスク105Dに対してデータの書き込み、及びハードディスク105Dからのデータの読み出しを制御する。ハードディスクドライブ105は、キーボード107を通じて受付けた情報、通信インタフェース104にて受信した情報、光ディスクドライブ106により光ディスク106Dから読み出された情報等をハードディスク105Dに書き込むことにより、ハードディスク105Dに各種情報を記憶させる。
【0036】
光ディスクドライブ106は、光ディスク106Dに対してデータの書き込み、及び光ディスク106Dに記録されたデータの読み出しを制御する。なお、本実施の形態では、本願のコンピュータプログラムがハードディスク105Dに記憶されているものとするが、光ディスク106Dに記録された状態で提供されるものであってもよい。
【0037】
キーボード107は、ユーザによる操作及び文字入力を受付ける。ディスプレイ108は、ユーザに報知する情報を表示する。
【0038】
なお、算出装置10のハードウェア構成は上記のものに限定する必要はない。例えば、通信ネットワークを介して遠隔操作が可能である場合には、光ディスクドライブ106、キーボード107、ディスプレイ108等が省略されていてもよい。
【0039】
算出装置10は、ハードディスク105Dに格納された算出用プログラムをCPU101に実行させ、ROM102に格納された制御用プログラムに従ってハードウェア各部を制御することにより、図2に示す画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、算出部15、及び出力部16による各処理を実行する。
【0040】
次に、算出装置10による農作物の高さの算出手順について説明する。以下では、育苗期に撮像された画像を用いて畝線を検出する手順と、生育期又は収穫期に撮像された画像を用いて成長線の検出し、次いで農作物の高さを算出する手順とに分けて算出手順を説明する。
【0041】
図4は畝線を検出する手順を説明するフローチャートである。算出装置10の領域分離処理部13は、画像記憶部12に記憶されている育苗期に撮像された画像を取得する(ステップS11)。図5は処理対象の画像の一例を示す模式図である。図5(a)は、育苗期に撮像された画像の一例を示したものである。育苗期(特に、育苗期の初期)では、農作物の高さがあまり高くないため、画像中央付近の畝(画像上で傾きが大きな畝)は他の畝から分離しやすい。一方、画像の端部付近では遠近法により多数の畝が近接して見えるので、それらを互いに分離することは困難である。
【0042】
そこで、領域分離処理部13は、畝を分離しやすい領域を観察領域として指定する(ステップS12)。例えば、図5(b)のハッチングで示した領域を観察領域として指定する。この観察領域の指定は、ユーザの選択操作を受付けることにより領域分離処理部13が実行する。観察領域を指定することにより、領域分離処理部13は、多数の畝が接近して見え、互いに分離することが困難な畝の領域を除外することができる。
【0043】
次いで、領域分離処理部13は、背景分離とセグメンテーションとを行う(ステップS13,S14)。領域分離処理部13は、農作物特有の色を表す色相の範囲(緑色)だけを抽出する処理を加えることにより、農作物の候補部分と土壌部分(背景)とを分離することができる。セグメンテーションでは、大域的に類似した画素値が連続している領域を抽出する。例えば、細かいノイズ変化を除去するために、画像サイズを縮小し、平滑化処理を行い、画像ピラミッドによる画像のセグメント化などの手法を利用する。なお、このようなセグメンテーションは一般的な手法であり、上記手法に依らずに他の手法を用いることも可能である。図6は背景分離及びセグメンテーションを行った画像の一例を示す模式図である。図6(a)及び図6(b)は、それぞれ背景分離及びセグメンテーションを行った画像の一例であり、画像中の白い部分が農作物の候補部分、黒い部分が土壌部分を表している。ここで、図6(a)は、平滑化処理前の画像を表し、図6(b)は平滑化処理後の画像を表している。
【0044】
次いで、畝線検出部14aは、セグメンテーション後の画像において観察領域内に含まれる直線を検出する(ステップS15)。上述したように、畝線検出部14aは、直線検出の手法として一般的に知られるハフ変換をセグメンテーション後の画像に適用することによって、直線を検出することができる。検出した直線には畝線以外の直線も含まれる可能性があるため、畝線検出部14aは、例えば、遠近法における消失点を通らない直線を除外し、残りの直線を選択することにより、畝線を選択する(ステップS16)。図7は畝線の検出結果の一例を示す模式図である。図7は、遠近法における消失点Vpを通る直線のみを選択することで、L1〜L8までの8本の畝線を検出した様子を示している。
【0045】
次に、成長線を検出する手順について説明する。図8は農作物の高さを算出する手順を説明するフローチャートである。算出装置10の領域分離処理部13は、画像記憶部12に記憶されている生育期又は収穫期に撮像された画像を取得する(ステップS21)。図9は処理対象の画像の一例を示す模式図である。図9(a)は、生育期に撮像された画像の一例を示したものである。本実施の形態では、育苗期、生育期、収穫期の全期間において、定点に設置された撮像装置1により常に同一のカメラアングルで圃場を撮像する構成としているため、領域分離処理部13は、育苗期で検出した畝線をそのまま育苗期及び生育期の畝線として用いることができる。
図9(b)は、生育期に撮像された画像に、育苗期で検出した畝線を重畳して描いた様子を示している。図9(b)からも理解できるように、農作物の高さを算出しやすい畝(畝線L5で示される畝)と、算出が困難又は不能な畝とが存在する。
【0046】
そこで、領域分離処理部13は、農作物の高さを算出しやすい観察対象の畝線を選択する(ステップS22)。例えば、図9(b)に示す畝線L1〜L8のうち、傾きが最も大きな畝線は畝線L4である。この畝線L4上の農作物の成長線は畝線L4と略重なっているため、成長線の検出が困難となる。そこで、本実施の形態では、この最も傾きの大きな畝線L4の両隣りに存在する畝線L3及びL5に着目し、その両端点のうち、消失点から遠い方の端点が観察領域内に存在する畝線L5を観察対象の畝線として選択する。
【0047】
領域分離処理部13は、ステップS22で選択した畝線上の農作物部分の色をサンプリングし(ステップS23)、農作物領域のセグメンテーションを行う(ステップS24)。すなわち、領域分離処理部13は、観察対象の農作物部分とそれ以外の部分(土壌や雑草、観察対象外の農作物部分)とを領域分離する。
【0048】
次いで、成長線検出部14bは、選択した畝線のみを含む農作物の領域について畝線以外の直線を検出する(ステップS25)。直線検出の手法は、上述の通り、畝線検出部14aで行う直線検出の手法と全く同様の手法を用いることができる。更に、成長線検出部14bは、畝線の消失点近傍を通る直線のみを成長線として選択する(ステップS26)。図9(c)は、畝線L5、消失点Vpに対し、成長線L0を検出した様子を示している。
【0049】
次いで、算出部15は、畝線検出部14aが検出した畝線、及び成長線検出部14bが検出した成長線を用いて、農作物の画像上の高さを算出する(ステップS27)。例えば、算出部15は、図9(c)に示すように、成長線L0を検出する際に選択した畝線L5の手前側の端点X0と成長線L0とを垂直に結ぶ線分を求め、その線分の長さh1を農作物の画像上での高さとすることができる。
【0050】
そして、算出部15は、得られた高さを透視変換を用いて実際の高さに変換することにより、農作物の実際の高さを算出する(ステップS28)。図10は透視変換を用いた高さの算出手法を説明する説明図である。図10に示すように、撮像装置1の高さをy0、撮像装置1から観察対象の畝線の終端までの水平距離をz2、画像投影面までの水平距離をz1、ステップS27で算出した農作物の画像上の高さをh1とした場合、算出部15は、農作物の実際の高さh2を、相似関係より算出することができる。
【0051】
以上のように、本実施の形態では、圃場を撮像した画像から農作物を表す領域を背景領域から分離する領域分離処理、及び育苗期に撮像された画像からは畝線、生育期又は収穫機に撮像された画像からは成長線をそれぞれ検出する直線検出処理を実行し、検出した畝線及び成長線を利用して、農作物の実際の高さを算出することができる。
畝の状態は、降雨、潅水、施肥などの影響を受けて時間の経過と共に変化し得るものであるが、本実施の形態では、初期の段階(育苗期)で畝線を決定しておき、高さ検出の際には、予め定めた畝線を基準として農作物の高さを算出するので、土壌などの周囲の影響を受けることなく農作物の実際の高さを正確に算出することが可能となる。
【0052】
実施の形態2.
実施の形態1では、農作物の高さを算出する構成としたが、算出した高さと同時期の基準高さとを比較して農作物の収穫量を予測することが可能である。実施の形態2では、農作物の収穫量を予測する形態について説明を行う。
【0053】
図11は実施の形態2に係る収穫量予測装置20の機能的構成を示す模式図である。実施の形態2に係る収穫量予測装置20は、実施の形態1で説明した画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、及び出力部16に加え、高さ算出部21、面積算出部22、標準指標DB23、圃場情報DB24、収穫量予測部25を備える。
画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、及び出力部16の機能については実施の形態1と同様であるため、その説明を省略することとする。また、高さ算出部21は、実施の形態1で説明した算出部15と全く同様であり、検出した畝線及び成長線を利用して農作物の高さを算出する処理部として機能する。
【0054】
面積算出部22は、育苗期、生育期、及び収穫期の夫々において撮像装置1が撮像した圃場の画像を用いて、農作物の面積を算出する。直線検出部14(畝線検出部14a)にて検出した畝線の数をn本とし、各畝線をLi(i=1〜n)により定義する。面積算出部22は、各畝線Li周辺に対して農作物の色を表す色相の範囲(緑色)の画素を算出する。なお、画素数を算出する領域は、各畝線Liを中心として水平方向の閾値を用いて固定領域としてもよく、農作物の生育段階に応じて領域を広げてもよい。算出した画素数をS(Li)とした場合、面積算出部22は、農作物の面積を、全畝線に対する農作物の画素数の合計ΣS(Li)により算出することができる。
【0055】
標準指標DB23は、農作物の品目、品種毎に標準収穫量を記憶するデータベースである。また、圃場情報DB24は、圃場毎の実際の圃場面積を記憶するデータベースである。これらのデータベースは、外部からのアクセス要求に応じて、要求されている情報を返すように構成されている。
【0056】
収穫量予測部25は、高さ算出部21が算出した農作物の高さ、面積算出部22が算出した農作物面積を用いて、収穫量の予測を行う。収穫量予測部25は、予測収穫量を、例えば、次式により算出することができる。
【0057】
予測収穫量=標準収穫量×圃場面積×
{1+(農作物面積比−1)×重み1+(農作物高さ比−1)×重み2}
【0058】
ここで、標準収穫量は、観察対象の圃場に作付けしている農作物の品目、品種によって異なるので、標準指標DB23から対応する標準収穫量を取得する。また、観察対象の圃場面積については、圃場情報DBから取得する。
【0059】
農作物面積比は、同時期の観察領域における標準農作物面積(例えば、収穫量が標準的であった年の農作物面積)に対する、面積算出部22で算出した農作物面積の比率を表す。一方、農作物高さ比も同様に、同時期の観察領域における標準農作物高さ(例えば、収穫量が標準的であった年の農作物の高さ)に対する、高さ算出部21で算出した農作物高さの比率を表す。
【0060】
上記算出式における重み(重み1及び重み2)は、作付け日からの経過日数によって異なる。一般に、作付け直後(播種期〜育苗期)の生育の変動は収穫量へ寄与する確度が低いが、生育期〜収穫期の生育状況の変動は収穫量へ寄与する確度が高い。したがって、収穫量予測部25は、作付け日からの経過日数tが進むにつれて大きくなる関数を、重み関数Wi(t)(ただし、0≦Wi(t)≦1)として用いることが好ましい。図12は重み関数の一例を示す模式図である。播種期における重み関数Wi(t)の値はゼロに近いため、予測収穫量は標準収穫量を基にした値となる。また、収穫日が近づくにつれて重み関数Wi(t)の値が1に近づくため、高さ算出部21で算出した農作物の高さ、面積算出部22で算出した農作物の面積を反映した予測収穫量が上記算出式により求まることになる。
【0061】
また、農作物の品目や品種によっても、重み関数は異なる。例えば、生育段階において最も大きさや高さが変化するタイミングは品目によって異なる。このように変化が顕著に表われるタイミングにて、重みが増えるような関数を設定する。なお、重み関数は既知であるものとし、標準指標DB23に予め登録されており、収穫量予測部25にて品目や品種に応じた重み関数を抽出するものとする。
また、農作物の品目や品種によって、農作物面積比に係る重み1及び農作物高さ比に係る重み2の関数を異ならせることができる。例えば、生育期に高さの変化が大きく、収穫期に面積の変化が大きい場合には、生育期での重み関数は、重み1<重み2となるように設定し、収穫期での重み関数は、重み1>重み2となるように設定することができる。したがって、重み関数は、品目数×品種数×重み種別(重み1及び重み2)の数だけ、標準指標DB23に登録される。
【0062】
以下、予測収穫量の算出手順について説明する。図13は収穫量予測装置20による予測収穫量の算出手順を説明するフローチャートである。画像取得部11は、育苗期、生育期、収穫期の定期的又は適宜のタイミングで撮像装置1から画像を取得し、随時、画像記憶部12に記憶しているものとする。
領域分離処理部13は、画像記憶部12から1つの画像を取得し(ステップS101)、初回判定であるか否かを判断する(ステップS102)。初回判定である場合のみ(S102:YES)、領域分離処理部13は、図5(b)に示すように観察領域の指定を受付ける(ステップS103)。
【0063】
次いで、領域分離処理部13は、画像記憶部12から取得した画像が播種期に撮像された画像であるか否かを判断する(ステップS104)。播種期に撮像された画像であると判断した場合(S104:YES)、その時点での予測収穫量を収穫量予測部25にて算出し(ステップS110)、出力部16が予測結果を出力する(ステップS111)。
【0064】
画像記憶部12から取得した画像が播種期に撮像された画像でないと判断した場合(S104:NO)、領域分離処理部13は、画像記憶部12から取得した画像が育苗期に撮像された画像であるか否かを判断する(ステップS105)。育苗期に撮像された画像であると判断した場合(S105:YES)、領域分離処理部13は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する領域分離処理を行い、領域分離した画像を畝線検出部14aへ出力する。
【0065】
畝線検出部14aは、領域分離処理部13から出力される画像を用いて畝線検出を行う(ステップS107)。畝線の検出手順は、図4に示すフローチャートに従うものとする。次いで、畝線検出部14aは、領域分離された画像及び検出した畝線の情報を面積算出部22へ出力する。
【0066】
面積算出部22は、畝線検出部14aから出力される画像及び畝線の情報を用いて農作物の面積を算出する(ステップS109)。すなわち、面積算出部22は、畝線検出部14aによって検出された各畝線の周辺に対して農作物の色を表す色相の範囲(緑色)の画素を計数し、全ての畝線について合計することにより、農作物の面積を算出することができる。農作物の面積を算出した後、処理をステップS110へ移行させ、育苗期での予測収穫量を収穫量予測部25にて算出し(S110)、出力部16にて予測結果を出力する(S111)。
【0067】
ステップS105において、領域分離処理部13は、画像記憶部12から取得した画像が育苗期に撮像された画像でないと判断した場合(S105:NO)、領域分離処理部13は、画像記憶部12から取得した画像が生育期又は収穫期に撮像された画像であるか否かを判断する(ステップS106)。領域分離処理部13は、生育期又は収穫期に撮像された画像であると判断した場合(S106:YES)、領域分離処理部13は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する領域分離処理を行い、領域分離した画像を成長線検出部14bへ出力する。
【0068】
成長線検出部14bは、領域分離処理部13から出力される画像を用いて成長線の検出を行い、検出した成長線と既に検出されている畝線とを利用して農作物の高さを算出する(ステップS108)。農作物の高さ算出手順は、図8に示すフローチャートに従うものとする。次いで、成長線検出部14bは、領域分離された画像及び畝線の情報を面積算出部22へ出力し、面積算出部22にて農作物の面積を算出する(S109)。
農作物の面積を算出した後、処理をステップS110へ移行させ、収穫量予測部25が生育期又は収穫期での予測収穫量を算出し(S110)、出力部16が予測結果を出力する(S111)。なお、収穫量予測部25は、ステップS106において、生育期又は収穫期に撮像された画像でないと判断した場合にも(S106:NO)、予測収穫量の算出を実行する構成としてもよい。
【0069】
以上のようにして、本実施の形態では、農作物の生育段階に応じた収穫量の予測が可能となる。特に、生育期及び収穫期では、農作物の面積及び高さの双方を反映させた収穫量の予測が可能となるため、農作物の実際の大きさや単位面積当たりの密度を反映した予測値を取得することができ、正確かつ客観的な収穫量の予測が可能となる。
【0070】
なお、画像の撮像タイミングによっては、風や降雨による農作物の葉や茎の向きが変化するため、見かけ上の農作物面積や高さが変化する。図14は、農作物面積の実測値の一例を示す図である。農作物面積の実測値は、図14に示すように撮像タイミングに応じて変動が生じるものであるが、例えば、直近の観測値を基に実測値を補正し、補正した値(補正値)を用いて収穫量を予測する構成としてもよい。補正値を用いることにより、撮像タイミングに伴う実測値の変動の影響を小さくすることができ、より正確な収穫量予測が可能となる。なお、上記の補正には、例えば、最小二乗法等の回帰分析を用いることができる。
【0071】
本実施の形態において、収穫量予測の対象とする農作物は以下の特徴を備えていることが望ましい。実施の形態2においても、収穫量を予測するために農作物の高さを算出しているため、実施の形態1と同様に、ある程度の高さまで垂直に成長する農作物であり、収穫後は農作物全体を圃場から除去するものであることが好ましい。例えば、メロン等の地面に這う野菜は予測に適していない。また、果樹類は収穫後も樹木が残るため予測に適していない。
また、食用とする部分が地上に出ている農作物が好適である。例えば、ジャガイモ、サツマイモ、人参等の根菜類は予測に適していない。
更に、食用とする部分が作物の大分を占める農作物が好適である。例えば、果実や種子が食用となる農作物は、作物の高さ及び面積が収穫量と相関しない場合があるため、本実施の形態に係る収穫量の予測には適していない。
【符号の説明】
【0072】
1 撮像装置
10 算出装置
11 画像取得部
12 画像記憶部
13 領域分離処理部
14 直線検出部
14a 畝線検出部
14b 成長線検出部
15 算出部
16 出力部
【技術分野】
【0001】
本発明は、農作物の画像を処理する農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置に関する。
【背景技術】
【0002】
大規模な圃場を抱える農業法人では、経営的観点から収穫量を予想することは重要である。現状では、収穫量を農業従事者の勘及び経験に頼って予測している。
【0003】
収穫量は天候、病害虫、実施作業など様々な要因に依存している。例えば、天候要因(落雷、強風、大雨、温度など)や生育要因(生理障害、病害虫、鳥獣害など)や人為的要因(植え忘れ、培土ミスなど)などが挙げられる。
【0004】
一方で、航空・衛星画像を用いた収穫量の予測手法が開示されている(例えば、特許文献1を参照)。この場合、農作物が反射する特有の波長を取得するために分光反射光画像を用いる。この画像を解析することにより、観察対象の圃場における農作物面積や生育度を推定し、収穫量を予測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−140296号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載された予測手法では、圃場面の真上から画像を撮影しているため、この画像から計算される農作物の収穫量は農作物面積を反映しているに過ぎず、農作物の高さを踏まえた正確な農作物の大きさを測定することはできない。
【0007】
本願は、上記の課題を解決するため、圃場面に線状に植立された農作物の高さを画像を用いて算出し、農作物の収穫量予測に利用することができる農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本願に開示する農作物画像処理プログラムは、コンピュータに、圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶手段に記憶し、前記記憶手段を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離し、前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出し、前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する処理を実行させることを特徴とする。
【発明の効果】
【0009】
本願によれば、圃場面に線状に植立された農作物の高さを画像を用いて算出し、例えば、農作物の収穫量予測に利用することができる。
【図面の簡単な説明】
【0010】
【図1】本実施の形態に係る農作物の高さ算出システムの概要を説明する説明図である。
【図2】本実施の形態に係る算出装置の機能的構成を示す模式図である。
【図3】算出装置のハードウェア構成を示す模式図である。
【図4】畝線を検出する手順を説明するフローチャートである。
【図5】処理対象の画像の一例を示す模式図である。
【図6】背景分離及びセグメンテーションを行った画像の一例を示す模式図である。
【図7】畝線の検出結果の一例を示す模式図である。
【図8】農作物の高さを算出する手順を説明するフローチャートである。
【図9】処理対象の画像の一例を示す模式図である。
【図10】透視変換を用いた高さの算出手法を説明する説明図である。
【図11】実施の形態2に係る収穫量予測装置の機能的構成を示す模式図である。
【図12】重み関数の一例を示す模式図である。
【図13】収穫量予測装置による予測収穫量の算出手順を説明するフローチャートである。
【図14】農作物面積の実測値の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本願をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1は本実施の形態に係る農作物の高さ算出システムの概要を説明する説明図である。本実施の形態に係る農作物の高さ算出システムは、撮像装置1及び算出装置10を備える。撮像装置1は、例えば、デジタルカメラである。撮像装置1は、圃場又は圃場近傍の定点に設置され、圃場に植立された農作物を定期的に撮像し、得られた画像(デジタルカラー画像)を算出装置10へ送出する。このため、撮像装置1は有線又は無線の通信機能を備え、撮像して得られた画像を通信機能により算出装置10へ送信するように構成している。
【0012】
圃場には畝が形成され、この畝に沿って農作物が適宜の間隔で植立されるものとする。すなわち、圃場には線状の農作物の列が複数形成されるものとする。撮像装置1は、撮像方向(カメラの光軸)がこの畝に略平行となるように、しかも成長した農作物の高さよりも高い固定位置から圃場を俯瞰的に撮像する。撮像装置1は、カメラアングルが固定された状態で、圃場又は圃場近傍の定点に設置される。
なお、撮像装置1が撮像する圃場範囲は、圃場内の一部であってもよい。また、撮像装置1を複数箇所に設置して圃場全体を撮像する構成としてもよい。
【0013】
圃場に植立される農作物は、例えば、葉菜類に属する農作物である。本実施の形態に係る農作物の高さ算出システムでは、農作物の育苗期、生育期又は収穫期に、ある程度の高さまで垂直方向に成長する農作物について高さを好適に算出することができる。また、対象の農作物は、収穫後に圃場から除去されるような農作物であることが好ましい。
例えば、しそ科葉菜類、せり科葉菜類に属する農作物、ニラ、ネギなどの農作物の高さを好適に算出することができる。また、稲、麦類、とうもろこし等の雑穀類、非結球レタス、カリフラワー、キャベツ、白菜、ブロッコリー、レタスなどの農作物についても高さを算出することができる。
一方、ジャガイモや人参といった根菜類については、本実施の形態の高さ算出の対象から除外される。
【0014】
算出装置10は、パーソナルコンピュータ、サーバ装置などの情報処理装置であり、撮像装置1から送出される画像を取得し、画像の特徴を利用して農作物の高さを算出する。高さの算出手法については後に詳述することとするが、本実施の形態に係る算出装置10は、撮像装置1から取得した画像について、農作物を表す領域と背景領域とを分離する領域分離処理を実行する。また、算出装置10は、育苗期に撮像装置1によって撮像された画像から畝の位置を表す直線(畝線)を検出し、生育期又は収穫期に撮像装置1によって撮像された画像から農作物の上端部分を表す直線(成長線)を検出する処理(直線検出処理)を実行する。更に、算出装置10は、検出した畝線及び成長線を利用して透視変換を適用することにより、農作物の高さを算出する算出処理を実行する。
【0015】
なお、本実施の形態では、撮像装置1は、圃場に植立された農作物を定期的に撮像する構成とするが、算出装置10から撮像装置1に対して定期的に撮像指示を与え、撮像指示が与えられたときに撮像装置1が農作物の画像を撮像する構成としてもよい。また、農作物の育苗期、生育期、及び収穫期に適宜のタイミングで撮像する構成としてもよい。この場合、ユーザが指示するタイミングで撮像する構成としてもよい。更に、パスライトやビニールトンネルといった被覆を行う期間については、撮像の対象から除外してもよい。
【0016】
また、本実施の形態では、撮像装置1により撮像された画像を、有線又は無線の通信機能により算出装置10へ送信する構成としたが、撮像装置1にて適宜の期間に撮像された画像を可搬型記録媒体に蓄積しておき、この可搬型記録媒体を利用して算出装置10内に画像を取込む構成としてもよい。
【0017】
図2は本実施の形態に係る算出装置10の機能的構成を示す模式図である。本実施の形態に係る算出装置10は、画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、算出部15、及び出力部16を備える。
【0018】
画像取得部11は、撮像装置1が撮像した画像を取得する。そのため、画像取得部11は、撮像装置1から送信される画像を受信する機能、及び可搬型記録媒体に蓄積された画像を算出装置10内に取込む機能の少なくとも一方を備える。画像取得部11は、取得した画像を画像記憶部12へ出力する。
【0019】
画像記憶部12は、画像取得部11が出力する画像を取得して記憶する。このとき、画像記憶部12は、算出装置10の備える図示しない記憶領域内の適宜の記憶場所を指定して画像を記憶すると共に、画像を識別する情報、画像の記憶場所を識別する情報、画像の撮像日時を示す情報を互いに関連付けて記憶する。また、画像記憶部12は、複数の撮像装置1の画像を取得し、記憶する場合には、画像を撮影した撮像装置1や画像の撮影位置など、同一のカメラアングルで撮影された圃場を特定可能な情報を更に関連付けて記憶することが好ましい。例えば、同一の撮像装置1や撮影位置で撮像した画像毎にディレクトリを分けて記憶領域内に記憶してもよい。
【0020】
画像を識別する情報は、例えば、画像のファイル名であり、撮像装置1が画像を生成する際に付与する名称を用いることができる。画像の記憶場所を識別する情報は、画像記憶部12の記憶領域内での位置を特定するための情報であり、ディレクトリ、フォルダ等を含む階層情報により表される。撮像日時は、画像を生成する際に撮像装置1が埋め込む撮像条件に含まれる情報(メタデータ)である。画像記憶部12は、撮像日時を示す情報を画像のメタデータから抽出し、その画像を識別する情報、及び画像の記憶場所を識別する情報に関連付けて記憶する。
また、画像記憶部12は、これらの情報に加え、農作物の播種期、育苗期、生育期、及び収穫期を区別する情報を関連付けて記憶する構成としてもよい。例えば、それぞれの期間を予め定めておき、画像記憶部12は、メタデータから撮像日時の情報を取得した際、どの期間に属するかを判定し、判定した期間(播種期、育苗期、生育期、収穫期)を他の情報に関連付けて、算出装置10の備える図示しない記憶領域に記憶することができる。
【0021】
領域分離処理部13は、処理対象の画像について、農作物を表す領域と背景領域とを分離する処理を行う。本実施の形態において、農作物は、畝と呼ばれる盛り土の上に植立されるものであるが、その畝の間に雑草がしばしば発生する。単純に、画像処理で農作物の色(緑色)で抽出した場合、畝間に存在する雑草も同時に抽出してしまうことになる。そこで、本実施の形態に係る算出装置10は、領域分離処理部13において、畝の位置を検出し、検出した畝の位置を基準として、画像上で農作物を表す領域とそれ以外(土壌や雑草)の背景領域とを分離する。
【0022】
領域分離処理部13は、処理した画像(すなわち、撮像画像から農作物を表す領域と背景領域とを分離した画像)を直線検出部14へ出力する。このとき、領域分離処理部13は、畝線の検出対象となる画像(例えば、育苗期に撮像された画像)を直線検出部14の畝線検出部14aへ出力し、成長線の検出対象となる画像(例えば、生育期又は収穫期に撮像された画像)を直線検出部14の成長線検出部14bへ出力する。
【0023】
なお、領域分離処理部13は、ユーザが指定した範囲で領域分離を行えばよい。ユーザが適宜の範囲を設定することにより、領域分離処理部13は、例えば、遠近法により畝の判別が困難となる領域を除外して処理を行うことができる。以下では、領域分離処理の際にユーザが設定する範囲を観察領域という。
【0024】
直線検出部14は、畝線検出部14a及び成長線検出部14bを備える。
畝線検出部14aは、領域分離処理部13が処理した画像のうち、育苗期に撮像された画像について畝線の検出を行う。畝線の検出には、直線検出の手法として一般的に知られるハフ変換を利用することができる。本実施の形態のように、検出したい線の形(直線)が予め決められており、代数方程式でその形状が表現できる場合には、畝線検出部14aは、線の形状を表すパラメータ空間に画像中の特徴点を写像するハフ変換を利用して直線検出を行うことができる。
例えば、畝線検出部14aは、領域分離した領域のうち、農作物を表す領域部分を画像中の特徴点としてハフ変換を適用することにより、直線(畝線)を検出することができる。このとき、畝線検出部14aは、各直線の傾きΔLiに関して、クラスタリングをする距離の閾値をΔdLth以下として、公知の階層的クラスタリングを適用し、各クラスタ毎に当該クラスタの重心値に最近傍となる傾きを持った直線を、農作物を表す領域部分を通る直線、すなわち、畝の領域内に多数存在する農作物の植立地点に漸近する直線として求めることができる。
本実施の形態では、ハフ変換を用いて畝線を検出する構成としたが、直線検出の手法はハフ変換に限定されるものではない。例えば、加重マトリクスを用いて画像をフィルタリングする手法、微分画像を用いて微分値が大きくなる領域を抽出し、細線化する手法、微分画像を用いて微分値の高い画素を逐次つなぎ合わせて領域の境界線を抽出する手法等を用いることができる。
【0025】
撮像装置1が撮像する画像には複数の畝が含まれることが多い。また、領域分離処理部13で領域分離処理を行ったとしても、領域分離処理部13は、農作物以外の領域(例えば、雑草などを含む領域)を完全に除去できないこともある。したがって、畝線検出部14aが検出する直線には、畝線及び畝線以外の直線が複数含まれる。そこで、畝線検出部14aは、検出した直線のうち畝に相当する直線(畝線)を選択し、他の直線を除外する。
畝線の選択は、畝線検出部14aが自動で行ってもよく、ユーザによる選択を畝線検出部14aにて受付ける構成としてもよい。畝線検出部14aが畝線を自動で選択する手法としては、遠近法における消失点を利用した選択手法を用いることができる。畝は平行かつ等間隔に形成されることが多いので、画像上において、検出した直線が最も多く重なる点(消失点)が存在する。したがって、畝線検出部14aは、この消失点を通らない直線は畝以外の要素により検出された直線であるとして除外し、残りの直線を選択することにより、畝線のみを検出することができる。
畝線検出部14aは、検出した畝線の情報を算出装置10の備える図示しない記憶領域に記憶する。例えば、各畝線の画像上の端点の座標、各畝線を表す代数方程式の情報等を記憶する。
【0026】
一方、成長線検出部14bは、領域分離処理部13が処理した画像のうち、生育期又は収穫期に撮像された画像について成長線の検出を行う。
成長線検出部14bは、畝線検出部14aによって検出された畝線のうち、農作物の高さを算出しやすい畝線を選択する。畝線の選択は、成長線検出部14bが自動で行ってもよく、ユーザによる選択を成長線検出部14bにて受付ける構成としてもよい。成長線検出部14bが畝線を自動で選択する場合、例えば、成長線検出部14bは、画像上で傾きが最も大きい畝線の両隣りに存在する2つの畝線のうち、畝線の消失点から遠い方の終端が観察領域内に存在する畝線を選択することができる。
【0027】
成長線検出部14bは、領域分離処理部13が領域分離を行った画像を用いて、選択した畝線上に存在する農作物部分を表す領域を抽出する。また、撮像装置1が撮像した画像を用いて、選択した畝線上の農作物の色をサンプリングし、農作物部分を表す色の領域を抽出し、農作物部分とそれ以外の部分(土壌や雑草)とを領域分離する処理を新たに行ってもよい。
成長線検出部14bは、選択した畝線のみを含む農作物の領域について畝線以外の直線を検出する。直線検出の手法は、畝線検出部14aで行う直線検出の手法と全く同様の手法を用いることができる。例えば、成長線検出部14bは、農作物を表す領域部分の輪郭を画像中の特徴点として、ハフ変換を適用することにより、直線(成長線)を検出することができる。このとき、成長線検出部14bは、各直線の傾きΔLiに関して、クラスタリングをする距離の閾値をΔdLth以下として、公知の階層的クラスタリングを適用し、各クラスタ毎に、当該クラスタの重心値に最遠傍となる傾きをもった直線であって、畝線の消失点近傍を通る直線を、成長線(すなわち、農作物の上端部を通る直線)として検出することができる。
成長線検出部14bは、検出した成長線の情報を算出装置10の備える図示しない記憶領域に記憶する。例えば、成長線検出部14bは、成長線の画像上の端点の座標、成長線を表す代数方程式の情報等を記憶する。
【0028】
算出部15は、畝線検出部14aが検出した畝線、及び成長線検出部14bが検出した成長線を用いて、農作物の高さを算出する。算出部15は、成長線を検出する際に選択した畝線の手前側の端点と成長線とを垂直に結ぶ線分を求め、その線分の長さを農作物の画像上での高さとすることができる。また、算出部15は、得られた高さを撮像装置1の位置関係及び透視変換を用いて実際の高さに変換することで、農作物の実際の高さを算出することができる。
【0029】
出力部16は、算出部15による算出結果等、すなわち算出した農作物の高さ等を出力する。出力部16による算出結果の出力は、例えば、算出部15が算出した農作物の高さを文字情報として画面上に表示することによって行う。また、出力部16は、算出部15が算出した農作物の高さを外部の装置(例えば、ユーザが使用する端末装置)へ通知する構成としてもよい。
【0030】
図3は算出装置10のハードウェア構成を示す模式図である。算出装置10は、CPU101、ROM102、RAM103、通信インタフェース104、ハードディスクドライブ105、光ディスクドライブ106、キーボード107、及びディスプレイ108を備える。
【0031】
ROM102には、上述したハードウェア各部の動作を制御するために必要な制御用プログラムが予め格納されている。また、ハードディスク105Dには、撮像画像から農作物の高さを算出する処理を算出装置10に実行させる算出用プログラムが予め格納されている。
【0032】
CPU101は、適宜のタイミングでROM102又はハードディスク105Dに格納されているコンピュータプログラムをRAM103上に読み出し、実行することにより、上述したハードウェア各部の動作を制御し、全体として本願の算出方法を実現する装置として動作させる。
【0033】
RAM103は、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、フラッシュメモリなどであり、CPU101によるコンピュータプログラムの実行時に発生する種々のデータ(例えば、各種パラメータ、演算の途中経過、演算結果等)を一時的に記憶する。
【0034】
通信インタフェース104は、通信ネットワーク(不図示)を介して、外部の装置と通信を行うためのインタフェースである。
【0035】
ハードディスクドライブ105は、ハードディスク105Dに対してデータの書き込み、及びハードディスク105Dからのデータの読み出しを制御する。ハードディスクドライブ105は、キーボード107を通じて受付けた情報、通信インタフェース104にて受信した情報、光ディスクドライブ106により光ディスク106Dから読み出された情報等をハードディスク105Dに書き込むことにより、ハードディスク105Dに各種情報を記憶させる。
【0036】
光ディスクドライブ106は、光ディスク106Dに対してデータの書き込み、及び光ディスク106Dに記録されたデータの読み出しを制御する。なお、本実施の形態では、本願のコンピュータプログラムがハードディスク105Dに記憶されているものとするが、光ディスク106Dに記録された状態で提供されるものであってもよい。
【0037】
キーボード107は、ユーザによる操作及び文字入力を受付ける。ディスプレイ108は、ユーザに報知する情報を表示する。
【0038】
なお、算出装置10のハードウェア構成は上記のものに限定する必要はない。例えば、通信ネットワークを介して遠隔操作が可能である場合には、光ディスクドライブ106、キーボード107、ディスプレイ108等が省略されていてもよい。
【0039】
算出装置10は、ハードディスク105Dに格納された算出用プログラムをCPU101に実行させ、ROM102に格納された制御用プログラムに従ってハードウェア各部を制御することにより、図2に示す画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、算出部15、及び出力部16による各処理を実行する。
【0040】
次に、算出装置10による農作物の高さの算出手順について説明する。以下では、育苗期に撮像された画像を用いて畝線を検出する手順と、生育期又は収穫期に撮像された画像を用いて成長線の検出し、次いで農作物の高さを算出する手順とに分けて算出手順を説明する。
【0041】
図4は畝線を検出する手順を説明するフローチャートである。算出装置10の領域分離処理部13は、画像記憶部12に記憶されている育苗期に撮像された画像を取得する(ステップS11)。図5は処理対象の画像の一例を示す模式図である。図5(a)は、育苗期に撮像された画像の一例を示したものである。育苗期(特に、育苗期の初期)では、農作物の高さがあまり高くないため、画像中央付近の畝(画像上で傾きが大きな畝)は他の畝から分離しやすい。一方、画像の端部付近では遠近法により多数の畝が近接して見えるので、それらを互いに分離することは困難である。
【0042】
そこで、領域分離処理部13は、畝を分離しやすい領域を観察領域として指定する(ステップS12)。例えば、図5(b)のハッチングで示した領域を観察領域として指定する。この観察領域の指定は、ユーザの選択操作を受付けることにより領域分離処理部13が実行する。観察領域を指定することにより、領域分離処理部13は、多数の畝が接近して見え、互いに分離することが困難な畝の領域を除外することができる。
【0043】
次いで、領域分離処理部13は、背景分離とセグメンテーションとを行う(ステップS13,S14)。領域分離処理部13は、農作物特有の色を表す色相の範囲(緑色)だけを抽出する処理を加えることにより、農作物の候補部分と土壌部分(背景)とを分離することができる。セグメンテーションでは、大域的に類似した画素値が連続している領域を抽出する。例えば、細かいノイズ変化を除去するために、画像サイズを縮小し、平滑化処理を行い、画像ピラミッドによる画像のセグメント化などの手法を利用する。なお、このようなセグメンテーションは一般的な手法であり、上記手法に依らずに他の手法を用いることも可能である。図6は背景分離及びセグメンテーションを行った画像の一例を示す模式図である。図6(a)及び図6(b)は、それぞれ背景分離及びセグメンテーションを行った画像の一例であり、画像中の白い部分が農作物の候補部分、黒い部分が土壌部分を表している。ここで、図6(a)は、平滑化処理前の画像を表し、図6(b)は平滑化処理後の画像を表している。
【0044】
次いで、畝線検出部14aは、セグメンテーション後の画像において観察領域内に含まれる直線を検出する(ステップS15)。上述したように、畝線検出部14aは、直線検出の手法として一般的に知られるハフ変換をセグメンテーション後の画像に適用することによって、直線を検出することができる。検出した直線には畝線以外の直線も含まれる可能性があるため、畝線検出部14aは、例えば、遠近法における消失点を通らない直線を除外し、残りの直線を選択することにより、畝線を選択する(ステップS16)。図7は畝線の検出結果の一例を示す模式図である。図7は、遠近法における消失点Vpを通る直線のみを選択することで、L1〜L8までの8本の畝線を検出した様子を示している。
【0045】
次に、成長線を検出する手順について説明する。図8は農作物の高さを算出する手順を説明するフローチャートである。算出装置10の領域分離処理部13は、画像記憶部12に記憶されている生育期又は収穫期に撮像された画像を取得する(ステップS21)。図9は処理対象の画像の一例を示す模式図である。図9(a)は、生育期に撮像された画像の一例を示したものである。本実施の形態では、育苗期、生育期、収穫期の全期間において、定点に設置された撮像装置1により常に同一のカメラアングルで圃場を撮像する構成としているため、領域分離処理部13は、育苗期で検出した畝線をそのまま育苗期及び生育期の畝線として用いることができる。
図9(b)は、生育期に撮像された画像に、育苗期で検出した畝線を重畳して描いた様子を示している。図9(b)からも理解できるように、農作物の高さを算出しやすい畝(畝線L5で示される畝)と、算出が困難又は不能な畝とが存在する。
【0046】
そこで、領域分離処理部13は、農作物の高さを算出しやすい観察対象の畝線を選択する(ステップS22)。例えば、図9(b)に示す畝線L1〜L8のうち、傾きが最も大きな畝線は畝線L4である。この畝線L4上の農作物の成長線は畝線L4と略重なっているため、成長線の検出が困難となる。そこで、本実施の形態では、この最も傾きの大きな畝線L4の両隣りに存在する畝線L3及びL5に着目し、その両端点のうち、消失点から遠い方の端点が観察領域内に存在する畝線L5を観察対象の畝線として選択する。
【0047】
領域分離処理部13は、ステップS22で選択した畝線上の農作物部分の色をサンプリングし(ステップS23)、農作物領域のセグメンテーションを行う(ステップS24)。すなわち、領域分離処理部13は、観察対象の農作物部分とそれ以外の部分(土壌や雑草、観察対象外の農作物部分)とを領域分離する。
【0048】
次いで、成長線検出部14bは、選択した畝線のみを含む農作物の領域について畝線以外の直線を検出する(ステップS25)。直線検出の手法は、上述の通り、畝線検出部14aで行う直線検出の手法と全く同様の手法を用いることができる。更に、成長線検出部14bは、畝線の消失点近傍を通る直線のみを成長線として選択する(ステップS26)。図9(c)は、畝線L5、消失点Vpに対し、成長線L0を検出した様子を示している。
【0049】
次いで、算出部15は、畝線検出部14aが検出した畝線、及び成長線検出部14bが検出した成長線を用いて、農作物の画像上の高さを算出する(ステップS27)。例えば、算出部15は、図9(c)に示すように、成長線L0を検出する際に選択した畝線L5の手前側の端点X0と成長線L0とを垂直に結ぶ線分を求め、その線分の長さh1を農作物の画像上での高さとすることができる。
【0050】
そして、算出部15は、得られた高さを透視変換を用いて実際の高さに変換することにより、農作物の実際の高さを算出する(ステップS28)。図10は透視変換を用いた高さの算出手法を説明する説明図である。図10に示すように、撮像装置1の高さをy0、撮像装置1から観察対象の畝線の終端までの水平距離をz2、画像投影面までの水平距離をz1、ステップS27で算出した農作物の画像上の高さをh1とした場合、算出部15は、農作物の実際の高さh2を、相似関係より算出することができる。
【0051】
以上のように、本実施の形態では、圃場を撮像した画像から農作物を表す領域を背景領域から分離する領域分離処理、及び育苗期に撮像された画像からは畝線、生育期又は収穫機に撮像された画像からは成長線をそれぞれ検出する直線検出処理を実行し、検出した畝線及び成長線を利用して、農作物の実際の高さを算出することができる。
畝の状態は、降雨、潅水、施肥などの影響を受けて時間の経過と共に変化し得るものであるが、本実施の形態では、初期の段階(育苗期)で畝線を決定しておき、高さ検出の際には、予め定めた畝線を基準として農作物の高さを算出するので、土壌などの周囲の影響を受けることなく農作物の実際の高さを正確に算出することが可能となる。
【0052】
実施の形態2.
実施の形態1では、農作物の高さを算出する構成としたが、算出した高さと同時期の基準高さとを比較して農作物の収穫量を予測することが可能である。実施の形態2では、農作物の収穫量を予測する形態について説明を行う。
【0053】
図11は実施の形態2に係る収穫量予測装置20の機能的構成を示す模式図である。実施の形態2に係る収穫量予測装置20は、実施の形態1で説明した画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、及び出力部16に加え、高さ算出部21、面積算出部22、標準指標DB23、圃場情報DB24、収穫量予測部25を備える。
画像取得部11、画像記憶部12、領域分離処理部13、直線検出部14、及び出力部16の機能については実施の形態1と同様であるため、その説明を省略することとする。また、高さ算出部21は、実施の形態1で説明した算出部15と全く同様であり、検出した畝線及び成長線を利用して農作物の高さを算出する処理部として機能する。
【0054】
面積算出部22は、育苗期、生育期、及び収穫期の夫々において撮像装置1が撮像した圃場の画像を用いて、農作物の面積を算出する。直線検出部14(畝線検出部14a)にて検出した畝線の数をn本とし、各畝線をLi(i=1〜n)により定義する。面積算出部22は、各畝線Li周辺に対して農作物の色を表す色相の範囲(緑色)の画素を算出する。なお、画素数を算出する領域は、各畝線Liを中心として水平方向の閾値を用いて固定領域としてもよく、農作物の生育段階に応じて領域を広げてもよい。算出した画素数をS(Li)とした場合、面積算出部22は、農作物の面積を、全畝線に対する農作物の画素数の合計ΣS(Li)により算出することができる。
【0055】
標準指標DB23は、農作物の品目、品種毎に標準収穫量を記憶するデータベースである。また、圃場情報DB24は、圃場毎の実際の圃場面積を記憶するデータベースである。これらのデータベースは、外部からのアクセス要求に応じて、要求されている情報を返すように構成されている。
【0056】
収穫量予測部25は、高さ算出部21が算出した農作物の高さ、面積算出部22が算出した農作物面積を用いて、収穫量の予測を行う。収穫量予測部25は、予測収穫量を、例えば、次式により算出することができる。
【0057】
予測収穫量=標準収穫量×圃場面積×
{1+(農作物面積比−1)×重み1+(農作物高さ比−1)×重み2}
【0058】
ここで、標準収穫量は、観察対象の圃場に作付けしている農作物の品目、品種によって異なるので、標準指標DB23から対応する標準収穫量を取得する。また、観察対象の圃場面積については、圃場情報DBから取得する。
【0059】
農作物面積比は、同時期の観察領域における標準農作物面積(例えば、収穫量が標準的であった年の農作物面積)に対する、面積算出部22で算出した農作物面積の比率を表す。一方、農作物高さ比も同様に、同時期の観察領域における標準農作物高さ(例えば、収穫量が標準的であった年の農作物の高さ)に対する、高さ算出部21で算出した農作物高さの比率を表す。
【0060】
上記算出式における重み(重み1及び重み2)は、作付け日からの経過日数によって異なる。一般に、作付け直後(播種期〜育苗期)の生育の変動は収穫量へ寄与する確度が低いが、生育期〜収穫期の生育状況の変動は収穫量へ寄与する確度が高い。したがって、収穫量予測部25は、作付け日からの経過日数tが進むにつれて大きくなる関数を、重み関数Wi(t)(ただし、0≦Wi(t)≦1)として用いることが好ましい。図12は重み関数の一例を示す模式図である。播種期における重み関数Wi(t)の値はゼロに近いため、予測収穫量は標準収穫量を基にした値となる。また、収穫日が近づくにつれて重み関数Wi(t)の値が1に近づくため、高さ算出部21で算出した農作物の高さ、面積算出部22で算出した農作物の面積を反映した予測収穫量が上記算出式により求まることになる。
【0061】
また、農作物の品目や品種によっても、重み関数は異なる。例えば、生育段階において最も大きさや高さが変化するタイミングは品目によって異なる。このように変化が顕著に表われるタイミングにて、重みが増えるような関数を設定する。なお、重み関数は既知であるものとし、標準指標DB23に予め登録されており、収穫量予測部25にて品目や品種に応じた重み関数を抽出するものとする。
また、農作物の品目や品種によって、農作物面積比に係る重み1及び農作物高さ比に係る重み2の関数を異ならせることができる。例えば、生育期に高さの変化が大きく、収穫期に面積の変化が大きい場合には、生育期での重み関数は、重み1<重み2となるように設定し、収穫期での重み関数は、重み1>重み2となるように設定することができる。したがって、重み関数は、品目数×品種数×重み種別(重み1及び重み2)の数だけ、標準指標DB23に登録される。
【0062】
以下、予測収穫量の算出手順について説明する。図13は収穫量予測装置20による予測収穫量の算出手順を説明するフローチャートである。画像取得部11は、育苗期、生育期、収穫期の定期的又は適宜のタイミングで撮像装置1から画像を取得し、随時、画像記憶部12に記憶しているものとする。
領域分離処理部13は、画像記憶部12から1つの画像を取得し(ステップS101)、初回判定であるか否かを判断する(ステップS102)。初回判定である場合のみ(S102:YES)、領域分離処理部13は、図5(b)に示すように観察領域の指定を受付ける(ステップS103)。
【0063】
次いで、領域分離処理部13は、画像記憶部12から取得した画像が播種期に撮像された画像であるか否かを判断する(ステップS104)。播種期に撮像された画像であると判断した場合(S104:YES)、その時点での予測収穫量を収穫量予測部25にて算出し(ステップS110)、出力部16が予測結果を出力する(ステップS111)。
【0064】
画像記憶部12から取得した画像が播種期に撮像された画像でないと判断した場合(S104:NO)、領域分離処理部13は、画像記憶部12から取得した画像が育苗期に撮像された画像であるか否かを判断する(ステップS105)。育苗期に撮像された画像であると判断した場合(S105:YES)、領域分離処理部13は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する領域分離処理を行い、領域分離した画像を畝線検出部14aへ出力する。
【0065】
畝線検出部14aは、領域分離処理部13から出力される画像を用いて畝線検出を行う(ステップS107)。畝線の検出手順は、図4に示すフローチャートに従うものとする。次いで、畝線検出部14aは、領域分離された画像及び検出した畝線の情報を面積算出部22へ出力する。
【0066】
面積算出部22は、畝線検出部14aから出力される画像及び畝線の情報を用いて農作物の面積を算出する(ステップS109)。すなわち、面積算出部22は、畝線検出部14aによって検出された各畝線の周辺に対して農作物の色を表す色相の範囲(緑色)の画素を計数し、全ての畝線について合計することにより、農作物の面積を算出することができる。農作物の面積を算出した後、処理をステップS110へ移行させ、育苗期での予測収穫量を収穫量予測部25にて算出し(S110)、出力部16にて予測結果を出力する(S111)。
【0067】
ステップS105において、領域分離処理部13は、画像記憶部12から取得した画像が育苗期に撮像された画像でないと判断した場合(S105:NO)、領域分離処理部13は、画像記憶部12から取得した画像が生育期又は収穫期に撮像された画像であるか否かを判断する(ステップS106)。領域分離処理部13は、生育期又は収穫期に撮像された画像であると判断した場合(S106:YES)、領域分離処理部13は、農作物を表す領域と、土壌・雑草などの背景を表す領域とを分離する領域分離処理を行い、領域分離した画像を成長線検出部14bへ出力する。
【0068】
成長線検出部14bは、領域分離処理部13から出力される画像を用いて成長線の検出を行い、検出した成長線と既に検出されている畝線とを利用して農作物の高さを算出する(ステップS108)。農作物の高さ算出手順は、図8に示すフローチャートに従うものとする。次いで、成長線検出部14bは、領域分離された画像及び畝線の情報を面積算出部22へ出力し、面積算出部22にて農作物の面積を算出する(S109)。
農作物の面積を算出した後、処理をステップS110へ移行させ、収穫量予測部25が生育期又は収穫期での予測収穫量を算出し(S110)、出力部16が予測結果を出力する(S111)。なお、収穫量予測部25は、ステップS106において、生育期又は収穫期に撮像された画像でないと判断した場合にも(S106:NO)、予測収穫量の算出を実行する構成としてもよい。
【0069】
以上のようにして、本実施の形態では、農作物の生育段階に応じた収穫量の予測が可能となる。特に、生育期及び収穫期では、農作物の面積及び高さの双方を反映させた収穫量の予測が可能となるため、農作物の実際の大きさや単位面積当たりの密度を反映した予測値を取得することができ、正確かつ客観的な収穫量の予測が可能となる。
【0070】
なお、画像の撮像タイミングによっては、風や降雨による農作物の葉や茎の向きが変化するため、見かけ上の農作物面積や高さが変化する。図14は、農作物面積の実測値の一例を示す図である。農作物面積の実測値は、図14に示すように撮像タイミングに応じて変動が生じるものであるが、例えば、直近の観測値を基に実測値を補正し、補正した値(補正値)を用いて収穫量を予測する構成としてもよい。補正値を用いることにより、撮像タイミングに伴う実測値の変動の影響を小さくすることができ、より正確な収穫量予測が可能となる。なお、上記の補正には、例えば、最小二乗法等の回帰分析を用いることができる。
【0071】
本実施の形態において、収穫量予測の対象とする農作物は以下の特徴を備えていることが望ましい。実施の形態2においても、収穫量を予測するために農作物の高さを算出しているため、実施の形態1と同様に、ある程度の高さまで垂直に成長する農作物であり、収穫後は農作物全体を圃場から除去するものであることが好ましい。例えば、メロン等の地面に這う野菜は予測に適していない。また、果樹類は収穫後も樹木が残るため予測に適していない。
また、食用とする部分が地上に出ている農作物が好適である。例えば、ジャガイモ、サツマイモ、人参等の根菜類は予測に適していない。
更に、食用とする部分が作物の大分を占める農作物が好適である。例えば、果実や種子が食用となる農作物は、作物の高さ及び面積が収穫量と相関しない場合があるため、本実施の形態に係る収穫量の予測には適していない。
【符号の説明】
【0072】
1 撮像装置
10 算出装置
11 画像取得部
12 画像記憶部
13 領域分離処理部
14 直線検出部
14a 畝線検出部
14b 成長線検出部
15 算出部
16 出力部
【特許請求の範囲】
【請求項1】
コンピュータに、
圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、
前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶手段に記憶し、
前記記憶手段を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離し、
前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出し、
前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する
処理を実行させることを特徴とする農作物画像処理プログラム。
【請求項2】
前記コンピュータに、
前記農作物を表す領域の画像に基づいて複数の直線を検出し、該複数の直線のうち、該直線の一方の端が前記画像上の同一の点に収束するか、または、前記複数の直線を前記画像外に延長した場合に同一の点を通過する、複数の直線を選択することにより、前記第1の直線を検出する
処理を実行させることを特徴とする請求項1に記載の農作物画像処理プログラム。
【請求項3】
前記コンピュータに、
前記複数の第1の直線のうち、前記同一の点から遠い方の端が前記画像上に存在する直線を前記第1の直線として検出する
処理を実行させることを特徴とする請求項2に記載の農作物画像処理プログラム。
【請求項4】
前記コンピュータに、
前記第1の直線の前記画像内の撮像装置側の端点と前記第2の直線とを垂直に結ぶ線分を求め、前記線分の長さを基に前記農作物の高さを算出する
処理を実行させることを特徴とする請求項1から3のいずれか1つに記載の農作物画像処理プログラム。
【請求項5】
前記コンピュータに、
前記農作物の高さと予め記憶してある基準高さとを比較して、前記農作物の収穫量を予測する
処理を実行させることを特徴とする請求項1から請求項4の何れか1つに記載の農作物画像処理プログラム。
【請求項6】
前記コンピュータに、
前記農作物を表す領域の画像から、前記農作物の作物面積を算出し、
前記農作物の高さ及び前記作物面積を、予め記憶してある基準高さ及び基準面積と比較して、前記農作物の収穫量を予測する
処理を実行させることを特徴とする請求項1から請求項4の何れか1つに記載の農作物画像処理プログラム。
【請求項7】
前記コンピュータに、
予測する収穫量に対し、農作物の種類又は農作物の生育段階に応じた重み付けを行う処理
を実行させることを特徴とする請求項5又は請求項6に記載の農作物画像処理プログラム。
【請求項8】
前記コンピュータに、
予測すべき収穫量を、過去に予測した収穫量を用いて補正する処理
を実行させることを特徴とする請求項5から請求項7の何れか1つに記載のコンピュータプログラム。
【請求項9】
コンピュータが、
圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、
前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶手段に記憶し、
前記記憶手段を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離し、
前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出し、
前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する
ことを特徴とする農作物画像処理方法。
【請求項10】
圃場にて線状に複数植立する農作物の画像を記憶する記憶部と、
該記憶部を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離する第1の領域分離処理部と、
前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶部に記憶する第1の直線検出部と、
前記記憶部を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離する第2の領域分離処理部と、
前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出する第2の直線検出部と、
前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する算出部と
を備えることを特徴とする農作物画像処理装置。
【請求項1】
コンピュータに、
圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、
前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶手段に記憶し、
前記記憶手段を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離し、
前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出し、
前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する
処理を実行させることを特徴とする農作物画像処理プログラム。
【請求項2】
前記コンピュータに、
前記農作物を表す領域の画像に基づいて複数の直線を検出し、該複数の直線のうち、該直線の一方の端が前記画像上の同一の点に収束するか、または、前記複数の直線を前記画像外に延長した場合に同一の点を通過する、複数の直線を選択することにより、前記第1の直線を検出する
処理を実行させることを特徴とする請求項1に記載の農作物画像処理プログラム。
【請求項3】
前記コンピュータに、
前記複数の第1の直線のうち、前記同一の点から遠い方の端が前記画像上に存在する直線を前記第1の直線として検出する
処理を実行させることを特徴とする請求項2に記載の農作物画像処理プログラム。
【請求項4】
前記コンピュータに、
前記第1の直線の前記画像内の撮像装置側の端点と前記第2の直線とを垂直に結ぶ線分を求め、前記線分の長さを基に前記農作物の高さを算出する
処理を実行させることを特徴とする請求項1から3のいずれか1つに記載の農作物画像処理プログラム。
【請求項5】
前記コンピュータに、
前記農作物の高さと予め記憶してある基準高さとを比較して、前記農作物の収穫量を予測する
処理を実行させることを特徴とする請求項1から請求項4の何れか1つに記載の農作物画像処理プログラム。
【請求項6】
前記コンピュータに、
前記農作物を表す領域の画像から、前記農作物の作物面積を算出し、
前記農作物の高さ及び前記作物面積を、予め記憶してある基準高さ及び基準面積と比較して、前記農作物の収穫量を予測する
処理を実行させることを特徴とする請求項1から請求項4の何れか1つに記載の農作物画像処理プログラム。
【請求項7】
前記コンピュータに、
予測する収穫量に対し、農作物の種類又は農作物の生育段階に応じた重み付けを行う処理
を実行させることを特徴とする請求項5又は請求項6に記載の農作物画像処理プログラム。
【請求項8】
前記コンピュータに、
予測すべき収穫量を、過去に予測した収穫量を用いて補正する処理
を実行させることを特徴とする請求項5から請求項7の何れか1つに記載のコンピュータプログラム。
【請求項9】
コンピュータが、
圃場にて線状に複数植立する農作物の画像が記憶された記憶手段を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離し、
前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶手段に記憶し、
前記記憶手段を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離し、
前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出し、
前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する
ことを特徴とする農作物画像処理方法。
【請求項10】
圃場にて線状に複数植立する農作物の画像を記憶する記憶部と、
該記憶部を参照して、前記農作物の第1生育段階において撮像された第1画像から、予め定められた農作物の色を表す色相の範囲の情報を基に、前記農作物を表す領域の画像を分離する第1の領域分離処理部と、
前記第1画像から分離された農作物を表す領域の画像から、圃場面における前記農作物の植立地点に漸近する第1の直線を検出して前記記憶部に記憶する第1の直線検出部と、
前記記憶部を参照して、前記第1画像と実質的に同一の位置から、前記農作物の第1生育段階より遅い第2生育段階において撮像された第2画像から前記色相の範囲の情報と前記第1の直線とを基に前記第1の直線上の農作物を表す領域の画像を分離する第2の領域分離処理部と、
前記第2画像から分離された農作物を表わす領域の画像を基に前記農作物の上端部を通る第2の直線を検出する第2の直線検出部と、
前記第1の直線と前記第2の直線との間の距離に基づいて、前記農作物の高さを算出する算出部と
を備えることを特徴とする農作物画像処理装置。
【図1】
【図2】
【図3】
【図6】
【図7】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図4】
【図5】
【図8】
【図2】
【図3】
【図6】
【図7】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図4】
【図5】
【図8】
【公開番号】特開2012−198688(P2012−198688A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−61608(P2011−61608)
【出願日】平成23年3月18日(2011.3.18)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願日】平成23年3月18日(2011.3.18)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】
[ Back to top ]