説明

自動収穫装置

【課題】葉等に隠れた状態の果実であっても自動的に収穫することができる自動収穫装置を提供する。
【解決手段】自動収穫装置1は、収穫すべき果実(例えば、リンゴの実)が生る農作物(例えば、リンゴの木)を撮影する画像センサ15と、画像センサ15で撮影された画像から特定される果実を収穫するマニピュレータ14と、画像センサ15によって撮影が行われている状態で、農作物の葉を揺動させる送風機12と、送風機12が農作物の葉を揺動させているときに画像センサ15で撮影される複数の画像に対して所定の画像処理を行い、葉に隠れた果実を特定する画像処理装置を有するコントローラ18とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、野菜や果物等の果実の収穫を自動的に行う自動収穫装置に関する。
【背景技術】
【0002】
近年、画像処理技術やロボット技術等の進展に伴って、果実の収穫を自動的に行う自動収穫装置の開発が盛んに行われている。現在、農業従事者の高齢化が深刻な問題となっており、今後も就農人口が減少傾向にあることから、少ない人手で効率的に果実を収穫することができる自動収穫装置の期待が高まっている。また、近年では、果実の安定供給のために、閉鎖的又は半閉鎖的な空間内で植物を計画的に生産する植物工場の稼働が始まっている。このような植物工場においても、省力化等のために自動収穫装置が用いられている。
【0003】
以下の特許文献1には、CCD(Charge Coupled Device:電荷結合素子)カメラによる2位置ステレオ撮像を行って果実(キュウリ)までの距離を的確に検出し、果実の収穫量を向上させる自動収穫装置が開示されている。具体的には、CCDカメラをスライドさせる前に撮像した第1画像における果実の位置が、画像面の中心線から左右側に偏位した位置にあれば、CCDカメラをその偏位している側へスライドして第2画像を撮影し、これら第1,第2画像に基づいて果実までの距離を検出している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3396920号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、自動収穫装置は、基本的にはCCDカメラ等を用いて得られた画像に基づいて収穫すべき果実を検出し、その検出結果に基づいて果実の収穫を行うものである。このため、従来の自動収穫装置は、一定方向に集中して生っている果実や葉等に隠れていない果実であれば自動的に収穫が可能であるものの、生っている方向がバラバラな果実や葉等に隠れた果実の収穫は困難であった。
【0006】
従って、従来は、自動収穫装置にて収穫すべき果実が葉等に隠れず、且つ一定方向に集中するように、果実の栽培方法を工夫する必要があった。例えば、上記の特許文献1では、ツタが絡まる支柱を自動収穫装置の走行路に向けて傾けた状態でキュウリを栽培することにより、収穫すべき果実であるキュウリの実が葉に隠れず、且つ上下方向を向くようにしている。
【0007】
しかしながら、自動収穫装置で収穫すべき果実は、キュウリのような棒状の形状であって空中にぶら下がった状態で生るものばかりではない。例えば、リンゴや柿のような球体形状であって枝になるものもあれば、イチゴのような略円錐形状であって地表に生るものもある。このため、果実の栽培方法を工夫しても自動収穫装置の目線からは果実が葉等に隠れてしまうことが考えられる。従来自動収穫装置では、このような果実の収穫を効率的に行うことができないという問題があった。
【0008】
本発明は、上記事情に鑑みてなされたものであり、葉等に隠れた状態の果実であっても自動的に収穫することができる自動収穫装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明の自動収穫装置は、収穫すべき果実が生る農作物を撮影する撮影装置(15)と、前記撮影装置で撮影された画像から特定される前記果実を収穫する収穫装置(14)とを備える自動収穫装置(1〜3)において、前記撮影装置によって撮影が行われている状態で、前記農作物の葉を揺動させる揺動装置(12、14)と、前記揺動装置が前記農作物の葉を揺動させているときに前記撮影装置で撮影される複数の画像に対して所定の画像処理を行い、前記葉に隠れた前記果実を特定する画像処理装置(C11、C21)とを備えることを特徴としている。
また、本発明の自動収穫装置は、前記揺動装置が、前記農作物に向けた送風を行うことにより、前記農作物の葉を揺動させる送風装置(12)であることを特徴としている。
また、本発明の自動収穫装置は、前記送風装置の位置又は姿勢の少なくとも一方を制御して、前記農作物に向けた送風を異なる方向から行わせる駆動制御装置(C12)を備えることを特徴としている。
また、本発明の自動収穫装置は、前記揺動装置が、前記農作物の一部を把持して振動させることにより、前記農作物の葉を揺動させることを特徴としている。
また、本発明の自動収穫装置は、前記収穫装置が、収穫すべき果実を把持するとともに、前記揺動装置を兼ねることを特徴としている。
また、本発明の自動収穫装置は、前記揺動装置が、前記農作物に取り付けられて前記農作物を振動させる振動装置(32)に対して振動の開始及び停止を指示することにより、前記農作物の葉を揺動させることを特徴としている。
また、本発明の自動収穫装置は、前記画像処理装置が、前記撮影装置で撮影される複数の画像を積算する処理を行い、積算値の大きな部分を前記果実と特定することを特徴としている。
また、本発明の自動収穫装置は、前記画像処理装置が、前記撮影装置で撮影される複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分を前記果実と特定することを特徴としている。
【発明の効果】
【0010】
本発明によれば、振動装置によって農作物の葉を揺動させつつ撮影装置で農作物を撮影し、撮影装置で撮影される複数の画像に対して所定の画像処理を行って葉に隠れた果実を特定しているため、葉等に隠れた状態の果実であっても自動的に収穫することができるという効果がある。
【図面の簡単な説明】
【0011】
【図1】本発明の第1実施形態による自動収穫装置の外観を模式的に示す斜視図である。
【図2】本発明の第1実施形態による自動収穫装置の制御系の構成を示すブロック図である。
【図3】本発明の第1実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。
【図4】本発明の第2実施形態による自動収穫装置の外観を模式的に示す斜視図である。
【図5】本発明の第2実施形態による自動収穫装置の制御系の構成を示すブロック図である。
【図6】本発明の第2実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。
【図7】本発明の第2実施形態による自動収穫装置の変形例を模式的に示す斜視図である。
【図8】本発明の第3実施形態による自動収穫装置の外観を模式的に示す斜視図である。
【図9】本発明の第3実施形態による自動収穫装置の制御系の構成を示すブロック図である。
【図10】本発明の第3実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施形態による自動収穫装置について詳細に説明する。尚、以下では、理解を容易にするために、農作物がリンゴの木であって収穫すべき果実がリンゴの実である場合を例に挙げて説明するが、本発明は他の野菜や果物の果実を収穫する自動収穫装置にも適用可能である。
【0013】
また、以下では、図中に設定したXYZ直交座標系を参照しつつ自動収穫装置が備える各部材の位置関係について説明する。このXYZ直交座標系は、XY平面が水平面に平行な面に設定されており、Z軸が鉛直上方向に設定されている。尚、自動収穫装置の進行方向はY方向であるものとし、農作物であるリンゴの木は自動収穫装置の走行経路の+X側に自動収穫装置の進行方向であるY方向に沿って植林されているとする。
【0014】
〔第1実施形態〕
図1は、本発明の第1実施形態による自動収穫装置の外観を模式的に示す斜視図である。図1に示す通り、本実施形態の自動収穫装置1は、平面視形状が略矩形形状の車台10に支持される4つの車輪11と、車台10上に設けられる送風機12(揺動装置、送風装置)、送風機駆動機構13、マニピュレータ14(収穫装置)、画像センサ15(撮影装置)、収穫籠16、バッテリ17、及びコントローラ18とを備えており、車輪11によって走行しつつ、収穫すべき果実であるリンゴの実を自動的に収穫する。
【0015】
4つの車輪11は、車台11の左右方向(±X方向)の前側(+Y側)及び後側(−Y側)にそれぞれ配設されており、モータ(図示省略)の動力によって駆動され、車台10の左右方向に沿う回転軸の周りで回転可能に車台10に支持されている。尚、車台11の左側に配設された車輪11と右側に配設された車輪11との駆動量を変えることにより自動収穫装置1の進行方向を変更することができる。
【0016】
送風機12は、車台11の右端側(+X側)に配設されており、例えば多翼ファンを回転させてリンゴの木に向けて送風を行う。この送風機12は、リンゴの木に向けた送風によってリンゴの木の葉を揺動させるために設けられる。送風機駆動機構13は、送風機12を下部から支持しており、コントローラ18の制御の下で送風機12の位置及び姿勢を変える機構である。
【0017】
具体的に、送風機駆動機構13は、車台11の右端側に設けられたY方向に延びるレール13aに沿って移動可能に、且つZ方向に伸縮自在に構成されており、支持する送風機12の車台10上におけるY方向の位置及びZ方向の位置を変えることができる。また、送風機駆動機構13は、その上端部付近が図中のθ方向及びφ方向に回動可能に構成されており、Z軸及びY軸の周りで送風機12を首振りさせて送風機12の姿勢を変えることができる。
【0018】
マニピュレータ14は、複数の関節を有するアーム部14aと、アーム部14aの先端部に取り付けられたハンド部14bとを備える所謂ロボットアームであり、車台10の中央部に設けられた棚板19の上部に取り付けられている。このマニピュレータ14は、コントローラ18の制御の下で、画像センサ15で撮影された画像から特定されるリンゴの実をハンド部14bで把持して収穫する。尚、マニピュレータ14のアーム部14aの長さや関節数、及びハンド部14bの大きさや形状は、収穫すべき果実に応じて適宜変更が可能である。
【0019】
画像センサ15は、例えばCCDカメラ等のカメラを備えており、収穫すべき果実であるリンゴの実が生るリンゴの木を撮影する。この画像センサ15は、マニピュレータ14のアーム部14aの先端にハンド部14bとともに取り付けられており、マニピュレータ14を操作することにより、画像センサ15によって撮影される位置及び角度を変えることが可能である。尚、詳細は後述するが、画像センサ15で撮影された画像は、コントローラ18で所定の画像処理が施されて収穫すべき果実であるリンゴの実が特定される。
【0020】
収穫籠17は、マニピュレータ14によって収穫されたリンゴの実を収容する籠であり、棚板19の上部に設けられている。バッテリ17は、車台の後側に取り付けられたニッケル水素電池、リチウムイオン電池等の二次電池であり、車輪11、送風機12、送風機駆動機構13、マニピュレータ14、画像センサ15、及びコントローラ18を動作させるための電力を供給する。
【0021】
コントローラ18は、自動収穫装置1の動作を統括して制御する。例えば、車輪11を駆動する不図示のモータの駆動量を制御して自動収穫装置1の走行制御を行う。また、マニピュレータ14を制御して画像センサ15によるリンゴの木の撮影位置を設定するとともに、画像センサ15で撮影された画像に対して所定の画像処理を行って収穫すべきリンゴの実を特定する。また、画像センサ15でリンゴの木を撮影するときに、送風機12及び送風機駆動機構13を制御してリンゴの木の葉を揺動させる。更に、マニピュレータ14を制御して、上記の画像処理によって特定されたリンゴの実を収穫させる。
【0022】
図2は、本発明の第1実施形態による自動収穫装置の制御系の構成を示すブロック図である。尚、図2においては、図1に示した構成に相当するブロックについては、図1に示した符号と同じ符号を付している。また、図2中の走行機構Dは、自動収穫装置1を走行させる機構であって、図1に示した4つの車輪11とこれらを個別に駆動する付図視のモータからなる機構である。
【0023】
図2に示す通り、コントローラ18は、画像処理部C11(画像処理装置)、送風機駆動制御部C12(駆動制御装置)、アーム駆動制御部C13、及び走行制御部14を備えている。画像処理部C11は、画像センサ15で撮影された画像に対して所定の画像処理を行って収穫すべきリンゴの実を特定する。具体的には、画像センサ15で撮影された複数の画像を積算する処理(或いは、重ね合わせ処理)及びエッジ検出処理を行い、積算値の大きな部分であってリンゴの実の輪郭の形状に近似する部分をリンゴの実であると特定する。
【0024】
本実施形態では、リンゴの木を画像センサ15で撮影するときに、送風機12によってリンゴの木の葉を揺動させながら撮影してる。風が吹き付けられるとリンゴの木の葉は軽量であるため容易に揺動するのに対し、リンゴの実はその重みのために揺動しにくい。このため、画像センサ15で撮影される画像内におけるリンゴの実の位置は殆ど変わらないのに対し、リンゴの木の葉の位置は頻繁に変わる。このような性質を利用し、画像処理部C11は、画像の積算値の大きな部分であってリンゴの実の輪郭の形状に近似する部分をリンゴの実であると特定している。
【0025】
送風機駆動制御部C12は、送風機駆動機構13を制御して、車台10上における送風機12のY方向の位置及びZ方向の位置、並びに送風機12のZ軸及びY軸の周りでの送風機12の首振り量を変える。送風機駆動制御部C12が送風機駆動機構13を制御して送風機12の位置及び首振り量を変えるのは、リンゴの木に向けた送風を異なる方向から行ってリンゴの木の葉の揺れ方を変えることにより、リンゴの木の実の検出精度を高めるためである。尚、送風機駆動制御部C12は、送風機12による送風の開始及び停止も制御する。
【0026】
アーム駆動制御部C13は、マニピュレータ14の動作を制御する。具体的に、アーム駆動制御部C13は、マニピュレータ14のアーム部14aに設けられている複数の間接の角度、及びアーム部14aのZ軸周りの回転量を制御することにより、ハンド部14b及び画像センサ15の位置及び姿勢を設定する。また、マニピュレータ14のハンド部14bを制御して、収穫すべきリンゴの実等を把持するか否かを制御する。
【0027】
走行制御部C14は、走行機構Dをなす不図示のモータ(車輪11を駆動するモータ)の駆動量を制御することにより、動収穫装置1の走行制御を行う。具体的に、4つの車輪11の回転速度及び回転方向を同じにして自動収穫装置1を+Y方向又は−Y方向に沿って移動させる。また、車台11の左側に配設された車輪11と右側に配設された車輪11との駆動量を変えて自動収穫装置1の進行方向を変更する。更には、車台11の左側に配設された車輪11と右側に配設された車輪11との回転方向を変えて自動収穫装置1を回転させる。
【0028】
次に、上記構成における自動収穫装置1の収穫時の動作について説明する。図3は、本発明の第1実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。まず、コントローラ18の走行制御部C14が走行機構Dを制御して自動収穫装置1を走行させ、収穫すべきリンゴの実が生っているリンゴの木の近傍に自動収穫装置1を移動させる。
【0029】
自動収穫装置1の移動が完了すると、コントローラ18のアーム駆動制御部C13がマニピュレータ14を制御し、マニピュレータ14のハンド部14b及び画像センサ15を対象物(リンゴの木)の近傍に移動させる(ステップS11)。ハンド部14b及び画像センサ15の移動が完了し、画像センサ15によって撮影すべき位置及び方向が設定されると、画像センサ15によってリンゴの木の撮影(計測)が開始され、画像センサ15からコントローラ18に対して撮影された画像の画像データが出力される(ステップS12)。尚、コントローラ18に出力された画像データは、画像処理部C11に記憶される。
【0030】
画像センサ15による撮影が開始されると、コントローラ18の送風機駆動制御部C12が送風機12を制御して、リンゴの木に対する送風を開始させる(ステップS13)。送風機12による送風が開始されると、送風機駆動制御部C12は送風機駆動機構13を制御して送風機12を駆動させる(ステップS14)。具体的には、送風機12をレール13aに沿ってY方向に移動させたり、送風機12をZ方向に移動させることによって送風機12の位置を変える。また、送風機駆動機構13の上端部付近をθ方向に回動させたり、φ方向に回動させることにより、送風機12を首振りさせて送風機12の姿勢を変える。
【0031】
次に、コントローラ18は、送風機駆動機構13による送風機12の駆動が完了したか否かを判断する(ステップS15)。例えば、送風機12がレール13aの一端から他端への移動の途中であって、送風機12の移動がが完了していない場合には、ステップS15の判断は「NO」になり、ステップS15の判断を繰り返す。これに対し、例えばレール13aの他端への移動が完了した場合には、ステップS15の判断は「YES」になり、送風機12による送風を停止して送風機12を初期位置(例えば、レール13aの一端)に移動させる制御が送風機駆動制御部C12によって行われ(ステップS16)、画像センサ15によるリンゴの木の撮影(計測)が終了する(ステップS17)。
【0032】
以上の処理が完了すると、画像処理部C11は、記憶した画像データに対して所定の画像処理を行って実と葉とを区分けする(ステップS18)。具体的には、画像データを積算するとともにエッジを検出し、積算値の大きな部分であってリンゴの実の輪郭の形状に近似する部分を抽出してリンゴの実を特定する。画像処理部C11によってリンゴの実が特定されると、アーム駆動制御部C13によってマニピュレータ14が制御され、特定されたリンゴの実がマニピュレータ14のハンド部14bに把持されて収穫籠17に収穫される(ステップS19)。
【0033】
尚、複数のリンゴの実が特定された場合には、マニピュレータ14によって順次収穫される。また、収穫すべきリンゴの実が生っているリンゴの木が他にもある場合には、コントローラ18の走行制御部C14によって走行機構Dが制御され、次のリンゴの木の近傍への自動収穫装置1の移動が行われる。そして、図3に示す処理が行われて、そのリンゴの木に生っているリンゴの実の収穫が同様に行われる。
【0034】
また、以上の説明では、画像センサ15によって撮影される位置及び方向が固定された状態でリンゴの木が撮影される例について説明したが、画像センサ15によって撮影される位置は固定しつつ、撮影される方向を変えても良い。また、以上では、画像センサ15による撮影が行われている間に、送風機駆動機構13によって送風機12が駆動(位置の移動及び首振り)される例について説明したが、必要がなければ送風機12の駆動は省略してもい。
【0035】
〔第2実施形態〕
図4は、本発明の第2実施形態による自動収穫装置の外観を模式的に示す斜視図である。尚、図4においては、図1に示した構成と同じものについては同一の符号を付してある。図4に示す通り、本実施形態の自動収穫装置2は、図1に示す自動収穫装置1が備える送風機12、送風機駆動機構13、及びレール13aを省略し、ハンド部14bとは別個に画像センサ15を移動させることができるサブアーム21をマニピュレータ14に取り付けた構成である。
【0036】
以上の構成の自動収穫装置2は、リンゴの木の一部(例えば、リンゴの木の枝や幹)をマニピュレータ14のハンド部14bで把持して震動させることにより、リンゴの木の葉を揺動させるものである。このように、本実施形態では、マニピュレータ14を、リンゴの実を収穫する収穫装置として用いるだけではなく、リンゴの木の葉を揺動させる揺動装置として用いている。
【0037】
ここで、前述した第1実施形態の自動収穫装置1のように、画像センサ15がハンド部14bとともにマニピュレータ14のアーム部14aの先端に取り付けられていたのでは、ハンド部14bを震動させる度に画像センサ15も震動してしまい、撮影位置及び撮影方向が定まらない。このため、本実施形態では、先端に画像センサ15が取り付けられたサブアーム21をマニピュレータ14に取り付け、ハンド部14bと画像センサ15とを別個に移動可能にしている。これにより、ハンド部14bを震動させた場合であっても、画像センサ15によって撮影される位置及び方向を固定することができる。
【0038】
図5は、本発明の第2実施形態による自動収穫装置の制御系の構成を示すブロック図である。尚、図5においては、図2に示したブロックと同じブロックについては同一の符号を付している。図5に示す通り、本実施形態において、コントローラ18は、画像処理部C21(画像処理装置)、アーム駆動制御部C22、及び走行制御部14を備える構成である。つまり、図5に示すコントローラ18は、図2に示すコントローラの送風機駆動制御部C12を省略し、画像処理部C11及びアーム駆動制御部C12に代えて画像処理部C21及びアーム駆動制御部C22を設けた構成である。
【0039】
画像処理部C21は、画像センサ15で撮影された画像に対して所定の画像処理を行って収穫すべきリンゴの実を特定する。具体的には、画像センサ15で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定する。ここで、リンゴの木の枝等をマニピュレータ14のハンド部14bで把持して震動させたときに、リンゴの木の葉は容易に揺動するのに対し、リンゴの実はその重みのために揺動しにくい。従って、リンゴの実が揺動する周波数はリンゴの木の葉が揺動する周波数よりも低い傾向がある。このような性質を利用し、画像処理部C21は、画像センサ15で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定している。
【0040】
アーム駆動制御部C22は、サブアーム21が取り付けられたマニピュレータ14の動作を制御する。具体的に、アーム駆動制御部C22は、図2に示すアーム駆動制御部C13と同様に、マニピュレータ14のアーム部14aに設けられている複数の間接の角度、及びアーム部14aのZ軸周りの回転量を制御することにより、ハンド部14bの位置及び姿勢を設定する。また、マニピュレータ14のハンド部14bを制御して、収穫すべきリンゴの実等を把持するか否かを制御する。これらの制御に加えて、アーム駆動制御部C22は、アブアーム21の関節の角度等を制御することにより、サブアーム21の先端に取り付けられている画像センサ15の位置及び姿勢を設定する。
【0041】
次に、上記構成における自動収穫装置2の収穫時の動作について説明する。図6は、本発明の第2実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。まず、第1実施形態と同様に、コントローラ18の走行制御部C14が走行機構Dを制御して自動収穫装置2を走行させ、収穫すべきリンゴの実が生っているリンゴの木の近傍に自動収穫装置2を移動させる。
【0042】
自動収穫装置2の移動が完了すると、コントローラ18のアーム駆動制御部C22がマニピュレータ14を制御し、サブアーム21の先端に取り付けられている画像センサ15を対象物(リンゴの木)の近傍に移動させる(ステップS21)。具体的には、リンゴの木から1〜5m程度離間した位置に画像センサ15を移動させる。画像センサ15の移動が完了し、画像センサ15によって撮影すべき位置及び方向が設定されると、画像センサ15によってリンゴの木の撮影(計測)が開始され、画像センサ15からコントローラ18に対して撮影された画像の画像データが出力される(ステップS22)。尚、コントローラ18に出力された画像データは、画像処理部C21に記憶される。
【0043】
画像センサ15による撮影が開始されると、コントローラ18のアーム駆動制御部C22は、マニピュレータ14を制御してハンド部14bによってリンゴの木の一部(例えば、リンゴの木の茎)を把持させ(ステップS23)、ハンド部14bを一定周期で振動させる(ステップS24)。これにより、リンゴの木のハンド部14bに把持された部分が振動してリンゴの木の葉が揺動する。尚、ハンド部14bが振動している間は、サブアーム21の先端に取り付けられている画像センサ15の位置及び姿勢は固定されたままである。
【0044】
以上の動作が継続されると、リンゴの木の一部が振動している状態で画像センサ15で撮影された複数の画像データが画像処理部C21に記憶される。画像処理部C21は、記憶された画像データを用いて周波数分析を行う(ステップS25)。具体的には、画像センサ15で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定する。
【0045】
次に、コントローラ18は、画像処理部C21によってリンゴの実の位置が検出された否かを判断する(ステップS26)。画像処理部C21でリンゴの実の位置が検出されなかった場合にはステップS26の判断結果は「NO」になり、コントローラ18は、アーム駆動制御部C22に対してマニピュレータ14の振動周期(ハンド部14bの振動周期)を変更させる(ステップS27)。そして、新たに設定された振動周期でハンド部14bを振動させてリンゴの木の撮影を行い(ステップS24)、新たに得られた画像データを用いた周波数分析が行われる(ステップS25)。
【0046】
これに対し、画像処理部C21でリンゴの実の位置が検出された場合にはステップS26の判断結果は「YES」になる。すると、コントローラ18はアーム駆動制御部C22に対して検出されたリンゴの実を収穫させる指示を行う。かかる指示がなされると、アーム駆動制御部C22によってマニピュレータ14が制御され、特定されたリンゴの実がマニピュレータ14のハンド部14bに把持されて収穫籠17に収穫される(ステップS28)。
【0047】
尚、第1実施形態と同様に、複数のリンゴの実が特定された場合には、マニピュレータ14によって順次収穫される。また、収穫すべきリンゴの実が生っているリンゴの木が他にもある場合には、コントローラ18の走行制御部C14によって走行機構Dが制御され、次のリンゴの木の近傍への自動収穫装置2の移動が行われる。そして、図6に示す処理が行われて、そのリンゴの木に生っているリンゴの実の収穫が同様に行われる。
【0048】
ここで、前述したサブアーム21は、ハンド部14bと画像センサ15とが別個に移動可能であれば、マニピュレータ14の任意の位置に取り付けられていて良い。また、画像センサ15を移動させる機構(サブアーム21)は、必ずしもマニピュレータ14に取り付けられている必要はなく、図7に示す通り、マニピュレータ14とは別個に設けられていても良い。
【0049】
図7は、本発明の第2実施形態による自動収穫装置の変形例を模式的に示す斜視図である。図7に示す自動収穫装置2は、2つのマニピュレータ14,21を備えている。マニピュレータ14は、複数の関節を有するアーム部14aと、アーム部14aの先端部に取り付けられたハンド部14bとを備えている。これに対し、マニピュレータ21は、アーム部14aと同様の複数の関節を有するアーム部からなり、その先端部に画像センサ15が取り付けられている。図7に示す構成にしても、ハンド部14bと画像センサ15とを別個に移動させることができるため、ハンド部14bによってリンゴの木の一部を振動させながら画像センサ15による撮影を行うことができる。
【0050】
〔第3実施形態〕
図8は、本発明の第3実施形態による自動収穫装置の外観を模式的に示す斜視図である。尚、図8においては、図1に示した構成と同じものについては同一の符号を付してある。図8に示す通り、本実施形態の自動収穫装置3は、図1に示す自動収穫装置1が備える送風機12、送風機駆動機構13、及びレール13aを省略し、車台10の右端に振動コマンド送信機31を設けた構成である。
【0051】
本実施形態の自動収穫装置3は、予めリンゴの木Trに取り付けられた振動装置32に対して振動コマンドを送信して振動装置32の振動の開始及び停止を指示することにより、リンゴの木の葉を揺動させるものである。つまり、本実施形態の自動収穫装置3は、リンゴの木Trの一部を振動させるための振動機構は備えておらず、外部に設けられた振動機構(振動装置32)を振動させるものである。
【0052】
振動コマンド送信機31は、コントローラ18の制御の下で振動装置32を振動させるための振動コマンドを送信する機器であり、例えば電波や赤外線等を用いて振動コマンドを送信する。振動装置32は、例えばリンゴの木Trの幹に取り付けられており、振動コマンド送信機31から振動コマンドが送信された場合に、リンゴの木Trの幹を振動させることによって、リンゴの木の葉を揺動させるものである。
【0053】
図9は、本発明の第3実施形態による自動収穫装置の制御系の構成を示すブロック図である。尚、図9においては、図2又は図5に示したブロックと同じブロックについては同一の符号を付している。図9に示す通り、本実施形態において、コントローラ18は、画像処理部C21、振動制御部C31、アーム駆動制御部C13、及び走行制御部14を備える構成である。つまり、図9に示すコントローラ18は、図2に示すコントローラの画像処理部C11に代えて図5に示す画像処理部C21を設け、図2に示す送風機駆動制御部C12に代えて振動制御部C31を設けた構成である。
【0054】
振動制御部C31は、振動コマンド送信機31を制御して振動装置32に向けて振動コマンドを送信させることにより振動装置32を振動させる。尚、図9に示す通り、振動装置32は、振動コマンド送信機31から送信される振動コマンドを受信する振動コマンドを受信する振動コマンド受信機33を備えている。
【0055】
次に、上記構成における自動収穫装置3の収穫時の動作について説明する。図10は、本発明の第3実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。まず、第1,第2実施形態と同様に、コントローラ18の走行制御部C14が走行機構Dを制御して自動収穫装置3を走行させ、収穫すべきリンゴの実が生っているリンゴの木の近傍に自動収穫装置3を移動させる。
【0056】
自動収穫装置3の移動が完了すると、コントローラ18のアーム駆動制御部C13がマニピュレータ14を制御し、マニピュレータ14のハンド部14b及び画像センサ15を対象物(リンゴの木)の近傍に移動させる(ステップS31)。ハンド部14b及び画像センサ15の移動が完了し、画像センサ15によって撮影すべき位置及び方向が設定されると、画像センサ15によってリンゴの木の撮影(計測)が開始され、画像センサ15からコントローラ18に対して撮影された画像の画像データが出力される(ステップS32)。尚、コントローラ18に出力された画像データは、画像処理部C21に記憶される。
【0057】
画像センサ15による撮影が開始されると、コントローラ18の振動制御部C31は、振動コマンド送信機31を制御して振動装置32に向けて送信コマンドを送信させる。これにより、リンゴの木Trに取り付けられた振動装置32が一定周期で振動してリンゴの木の葉が揺動する(ステップS33)。
【0058】
以上の動作が継続されると、リンゴの木の一部が振動している状態で画像センサ15で撮影された複数の画像データが画像処理部C21に記憶される。画像処理部C21は、記憶された画像データを用いて周波数分析を行う(ステップS34)。具体的には、画像センサ15で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定する。
【0059】
次に、コントローラ18は、画像処理部C21によってリンゴの実の位置が検出された否かを判断する(ステップS35)。画像処理部C21でリンゴの実の位置が検出されなかった場合にはステップS35の判断結果は「NO」になり、コントローラ18は、振動制御部C31に対して振動装置32の振動周期を変更させる(ステップS36)。そして、新たに設定された振動周期で振動装置32を振動させてリンゴの木の撮影を行い(ステップS33)、新たに得られた画像データを用いた周波数分析が行われる(ステップS34)。
【0060】
これに対し、画像処理部C21でリンゴの実の位置が検出された場合にはステップS35の判断結果は「YES」になる。すると、コントローラ18は、アーム駆動制御部C13に対して検出されたリンゴの実を収穫させる指示を行う。かかる指示がなされると、アーム駆動制御部C13によってマニピュレータ14が制御され、特定されたリンゴの実がマニピュレータ14のハンド部14bに把持されて収穫籠17に収穫される(ステップS37)。
【0061】
尚、本実施形態においても、第1,第2実施形態と同様に、複数のリンゴの実が特定された場合には、マニピュレータ14によって順次収穫される。また、収穫すべきリンゴの実が生っているリンゴの木が他にもある場合には、コントローラ18の走行制御部C14によって走行機構Dが制御され、次のリンゴの木の近傍への自動収穫装置3の移動が行われる。そして、図10に示す処理が行われて、そのリンゴの木に生っているリンゴの実の収穫が同様に行われる。
【0062】
以上の通り、前述した第1〜第3実施形態の自動収穫装置1〜3は、リンゴの木の葉を揺動させつつリンゴの木を撮影し、撮影された画像から収穫すべき果実であるリンゴのみを特定している。具体的に、第1実施形態では送風機12によってリンゴの木に対する送風を行って葉を揺動させ、第2実施形態ではマニピュレータ14によってリンゴの木の枝等を振動させて葉を動揺させ、第3実施形態ではリンゴの木に取り付けられた振動装置を振動させて葉を揺動させている。このため、葉等に隠れた状態のリンゴの実であっても自動的に収穫することが可能である。
【0063】
以上、本発明の実施形態による自動収穫装置について説明したが、本発明は上記実施形態に制限されず、本発明の範囲内で自由に変更が可能である。例えば、上記実施形態では、車輪11を駆動することによって移動する自動収穫装置を例に挙げて説明した。しかしながら、予め敷設されたレール上を移動する自動収穫装置にも本発明を適用することができる。また、前述した各実施形態における車台10の形状、並びに、車台10上における送風機12、送風機駆動機構13、マニピュレータ14、画像センサ15、収穫籠16、バッテリ17、及びコントローラ18の配置はあくまでも一例であって、これらは収穫すべき果実の種類等に応じて適宜変更可能である。
【符号の説明】
【0064】
1〜3 自動収穫装置
12 送風機
14 マニピュレータ
15 画像センサ
32 振動装置
C11 画像処理部
C12 送風機駆動制御部
C21 画像処理部

【特許請求の範囲】
【請求項1】
収穫すべき果実が生る農作物を撮影する撮影装置と、前記撮影装置で撮影された画像から特定される前記果実を収穫する収穫装置とを備える自動収穫装置において、
前記撮影装置によって撮影が行われている状態で、前記農作物の葉を揺動させる揺動装置と、
前記揺動装置が前記農作物の葉を揺動させているときに前記撮影装置で撮影される複数の画像に対して所定の画像処理を行い、前記葉に隠れた前記果実を特定する画像処理装置と
を備えることを特徴とする自動収穫装置。
【請求項2】
前記揺動装置は、前記農作物に向けた送風を行うことにより、前記農作物の葉を揺動させる送風装置であることを特徴とする請求項1記載の自動収穫装置。
【請求項3】
前記送風装置の位置又は姿勢の少なくとも一方を制御して、前記農作物に向けた送風を異なる方向から行わせる駆動制御装置を備えることを特徴とする請求項2記載の自動収穫装置。
【請求項4】
前記揺動装置は、前記農作物の一部を把持して振動させることにより、前記農作物の葉を揺動させることを特徴とする請求項1記載の自動収穫装置。
【請求項5】
前記収穫装置は、収穫すべき果実を把持するとともに、前記揺動装置を兼ねることを特徴とする請求項4記載の自動収穫装置。
【請求項6】
前記揺動装置は、前記農作物に取り付けられて前記農作物を振動させる振動装置に対して振動の開始及び停止を指示することにより、前記農作物の葉を揺動させることを特徴とする請求項1記載の自動収穫装置。
【請求項7】
前記画像処理装置は、前記撮影装置で撮影される複数の画像を積算する処理を行い、積算値の大きな部分を前記果実と特定することを特徴とする請求項2又は請求項3記載の自動収穫装置。
【請求項8】
前記画像処理装置は、前記撮影装置で撮影される複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分を前記果実と特定することを特徴とする請求項4から請求項6の何れか一項に記載の自動収穫装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−229406(P2011−229406A)
【公開日】平成23年11月17日(2011.11.17)
【国際特許分類】
【出願番号】特願2010−100009(P2010−100009)
【出願日】平成22年4月23日(2010.4.23)
【出願人】(000000099)株式会社IHI (5,014)
【Fターム(参考)】