果菜収穫機の果菜類検出装置

【目的】収穫しようとするきゅうりを正確に検出しようとするものである。
【構成】カラーカメラ２で撮影して得た画像信号は、視覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）信号の中から、Ｒ色−Ｂ色、又Ｇ色−Ｒ色から各輝度差画像が検出され、これら輝度差画像が２値化され、２値化画像が作成されて、この２値化画像によって、きゅうりであるか又は葉であるかが検出される。
【効果】きゅうり判定は輝度の相対値を用いることにより、正確にきゅうりが検出できる。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、果菜収穫機の果菜類検出装置に関する。
【０００２】
【従来の技術、及び発明が解決しようとする課題】従来は、果菜収穫機で、例えば果菜類がきゅうりであり、このきゅうりを検出して収穫するときは、栽培された植条に沿って自走しながら、きゅうりの形状はカメラで撮影されて、この撮影によって得られる検出された画像信号を２値化して２値化画像が作成され、この２値化画像の輪郭の縦と横との比が算出され、この算出した比によってきゅうりであるか、又はきゅうり以外の葉であるかが判定され、きゅうりのみが収穫される。
【０００３】上記のきゅうり収穫作業のときに、カメラできゅうりを撮影のとき、きゅうりと葉とが重なった状態で撮影されると、２値化画像はきゅうりと葉とが一体になった画像となり、このため縦・横の比が変って、きゅうりでないと誤検出されることがあったが、これを解消して正確にきゅうりを検出させて、正確にきゅうりを収穫させようとするものである。
【０００４】
【課題を解決するための手段】この発明は、果菜類を含む所定範囲をカラーカメラ２で撮影し、これらによって得られる検出画像信号を２値化し、２値化画像を作成する視覚手段６を設けた果菜収穫機において、該カラーカメラ２からのＲ色（赤）、Ｇ色（緑）及びＢ色（青）信号の中から該Ｇ色（緑）−該Ｒ色（赤）の輝度差画像、及び該Ｒ色（赤）−該Ｂ色（青）の輝度差画像を検出し、これら検出輝度差画像に基づいて果菜類であるか否かを検出する検出制御装置２０を設けたことを特徴とする果菜収穫機の果菜類検出装置の構成とする。
【０００５】
【発明の作用、及び効果】果菜収穫機では、きゅうりを検出して収穫するときは、栽培された植条に沿って自走させながら、きゅうりの形状をカラーカメラ２で撮影され、この撮影によって得られる検出された画像信号は、視覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）の信号の中から、Ｒ色（赤）−Ｂ色（青）でＧ色（緑）系部分の抽出する処理が行われて、輝度差画像（イ）が検出され、又Ｇ色（緑）−Ｒ色（赤）で濃いＧ色（緑）の部分の抽出する処理が行われて、輝度差画像（ロ）が検出され、これら輝度差画像（イ）−輝度差画像（ロ）でＧ色（緑）中から濃いＧ色（緑）部分を除く処理が行われて、輝度差画像（ハ）が検出されて、この輝度差画像（ハ）を２値化して２値化画像が作成され、この２値化画像から、きゅうりであるか、又は葉であるかが検出され、きゅうりであると検出された、このきゅうりのみが収穫される。
【０００６】上記によって、カラーカメラ２は汎用のカメラを使用することができて、低コストであり、又きゅうりの検出には、輝度の相対値を用いることにより、明るさの影響を受けにくく、このために、正確にきゅうりを検出することができる。
【０００７】
【実施例】以下、本発明の一実施例を図面に基づいて説明する。図例は、果菜収穫機１を示す図であり、例えばきゅうりの形状をカラーカメラ２で撮影して、この撮影によって得られる検出された画像信号は、視覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）の信号の中からＲ色（赤）−Ｂ色（青）の輝度差画像（イ）が検出され、又Ｇ色（緑）−Ｒ色（赤）の輝度差画像（ロ）が検出され、これら輝度差画像（イ）−輝度差画像（ロ）で輝度差画像（ハ）が検出され、この輝度差画像（ハ）を２値化して、この２値化画像を作成して、この２値化画像から、きゅうり７を検出する果菜類検出装置について説明する。
【０００８】前記果菜収穫機１は、電動式の走行部３上には、果菜類のきゅうり７収穫用のマニピュレータ４、収穫するきゅうりの形状を撮影するカラーカメラ２、きゅうりの位置を検出する位置センサ５よりなる視覚手段６を設けた構成としている。前記果菜収穫機１を使用する栽培圃場は、斜めに設けた支持体９にきゅうり７の樹体８を支持させて生育させる。
【０００９】前記マニピュレータ４は、対面する樹体８の傾斜とほぼ平行となるように傾斜させた傾斜枠１０と、該傾斜枠１０のガイドレール１１に沿って昇降自在に装着した基台１２と、該基台１２の上に水平状に回動自在に設けた本体１３と、該マニピュレータ４に設けた関節型を形成するアーム１４と、該アーム１４先端部に設けたきゅうり７を挟持して切断するハンド装置１５とからなる構成である。
【００１０】前記傾斜枠１０は、ヒンジ１６を用いて走行部３に装着させ、背面側を支持リンク１７で支えている。該支持リンク１７の下端部は、支持板１９の長孔１８の任意位置へ装着され、この装着位置を調節して該傾斜枠１０の傾斜角度を任意に調節することのできる構成としている。マニピュレータ４の各部を作動させることにより、ハンド装置１５を収穫対象とするきゅうり７を挟持して、このきゅうり７の果柄部を切断する構成としている。
【００１１】前記視覚手段６は、図２の如く、カラーカメラ２、このカラーカメラ２の視野内を水平及び垂直に走査して、対象物のきゅうり７までの距離を測定する位置センサ５及び該カラーカメラ２で、所定の波長の光で撮影した画像を取り込むときの照度を検出する照度センサ１９′等よりなる構成である。検出制御装置２０は、図１及び図２の如く、視覚手段６内へ設け、カラーカメラ２、位置センサ５及び照度センサ１９′が検出する各種検出が、入力回路２１を経てＣＰＵ２２へ入力され、このＣＰＵ２２で分析処理されて、各種指令が出力回路２３を経て指令され、マニピュレータ４等を作動する構成としている。
【００１２】前記検出制御装置２０は、カラーカメラ２で撮影して、これによって得られる検出画像信号は、視覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）の信号の中から、Ｒ色（赤）−Ｂ色（青）でＧ色（緑）系部分の抽出処理が行われて、輝度差画像（イ）が検出され、又Ｇ色（緑）−Ｒ色（赤）で濃いＧ色（緑）の部分の抽出処理が行われて、輝度差画像（ロ）が検出され、これら輝度差画像（イ）−輝度差画像（ロ）でＧ色（緑）中から濃いＧ色（緑）部分を除く処理が行われて、輝度差画像（ハ）が検出され、この輝度差画像（ハ）が２値化され、２値化画像が作成され、この２値化画像が該検出制御装置２０のＣＰＵ２２へ入力され、この２値化画像からきゅうり７であるか、又は葉及び茎であると検出されて、この検出により、きゅうり７であると検出されたときは、ハンド装置１５で挟持されると共に、切断される構成であり、又この検出により、葉及び茎であると検出されたときは、該ハンド装置１５で挟持及び切断されない構成としている。図３は原画像であり、図４は（Ｒ色−Ｂ色）−（Ｇ色−Ｒ色）を２値化処理された２値化処理画像である。
【００１３】前記検出制御装置２０によるきゅうり７の検出手段制御は、下記の如く行われる構成としている。きゅうり７の収穫作業がスタートされ（ステップ１０１）、カラーカメラ２で撮影されたカラー画像が入力され（ステップ１０２）、検出画像信号のＲ色（赤）−Ｂ色（青）でＧ色（緑）系部分の抽出処理が行われて、輝度差画像（イ）が検出され（ステップ１０３）、又Ｇ色（緑）−Ｒ色（赤）で濃いＧ色（緑）の部分の抽出処理が行われて、輝度差画像（ロ）が検出され（ステップ１０４）、これら輝度差画像（イ）−輝度差画像（ロ）でＧ色（緑）中から濃いＧ色（緑）部分を除く処理が行われて、輝度差画像（ハ）が検出され（ステップ１０５）、この輝度差画像（ハ）が２値化されて、２値化画像が作成され、この２値化画像からきゅうり７であるか、又は葉及び茎であるかが検出され（ステップ１０６）、ＲＥＴされる構成としている（ステップ１０７）。
【００１４】以下、上記実施例の作用について説明する。果菜収穫機１で、例えば果菜類がきゅうり７であり、このきゅうり７を検出して収穫するときは、栽培された植条に沿って、この果菜収穫機１を自走させながら、きゅうり７の形状は、視覚手段６のカラーカメラ２で、所定の波長の光で撮影される。
【００１５】この撮影によって得られる検出されたされた画像信号のＲ色（赤）、Ｇ色（緑）及びＢ色（青）の信号の中から、Ｒ色（赤）−Ｂ色（青）で輝度差画像（イ）が検出され、又Ｇ色（緑）−Ｒ色（赤）で輝度差画像（ロ）が検出され、これら輝度差画像（イ）−輝度差画像（ロ）で輝度差画像（ハ）が検出されて、検出制御装置２０のＣＰＵ２２へ入力されて２値化され、２値化画像が作成され、この２値化画像から、きゅうり７であるか、又は葉及び茎であるかが検出され、きゅうり７であると検出された、このきゅうり７のみがハンド装置１５で挟持されると共に、切断されて収穫される。
【００１６】図６〜図１３は他の実施例を示す図で、きゅうり７の果実中央部の径から、この果実長の推定を行い、収穫可能なきゅうり７の果実の仮判定を行う構成であり、図６は、きゅうり７の果実、葉、果柄及び茎等を表示した図であり、果実部の中央部の径を検出させる構成である。図７は傾斜栽培角７０°で栽培したきゅうり７（９１本）の果実部の隠れている箇所数の割合を示す図である。図８は、きゅうり７の果実が１箇所のみが隠れているきゅうり７の隠れの状態を示す図である。図９は、栽培方法、測定方向、テスト結果の内の相関係数について、きゅうり７の果実長との相関、相関係数の差、果実中央の相関係数の９５％信頼区間及び曲がり補正による相関係数の変化等を示す図である。図１０は、テスト結果の内の回帰によるきゅうり７の果実長の推定精度について、曲がり補正なし、曲がり補正あり等を示す図である。図１１及び図１２はきゅうり７の果実長の９５％信頼区間推定図である。
【００１７】前記検出制御装置２０によるきゅうり７の果実中央部の径から、この果実長の推定を行い、収穫可能なきゅうり７の果実であるか否かの判定制御は、下記の如く行われる構成としている。きゅうり７の収穫作業がスタートされ（ステップ２０１）、カラーカメラ２で撮影された画像が入力され（ステップ２０２）、きゅうり７の果実の識別が行われ（ステップ２０３）、画像内の果実の数が測定されてｎ個であると検出され（ステップ２０４）、測定個数のｎ個がリセットされ（ステップ２０５）、ｎ個がｎ個＋１か検出され（ステップ２０６）、きゅうり７の果実が完全露出しているか検出され（ステップ２０７）、ＮＯと検出されると果実の中央部、又は果柄部か検出され（ステップ２０８）、ＹＥＳ（中央部）と検出されると果実長が推定され（ステップ２０９）、このきゅうり７の果実位置データがセーブされ（ステップ２１０）、きゅうり７が全て測定されたか検出され（ステップ２１１）、ＮＯと検出されるとステップ２０６へ戻る。ＹＥＳと検出されるとＲＥＴされる構成としている（ステップ２１２）。
【００１８】ステップ２０７でＹＥＳと検出されるときゅうり７の果実長が計算され（ステップ２１３）、ステップ２１０へ進む構成であり、又ステップ２０８でＮＯと検出されるとステップ２１１へ進む構成としている。上記の構成にしたことにより、きゅうり７の果実の完全露出は約６０％程度であり、このためきゅうり７の果実の収穫率の向上を図るためには、障害物に隠れている果実長の推定を行って収穫する必要があり、果実径としては、果柄部、中央部の果実径と果実長の間で相関が認められ、その内で、中央部の方が相関が強いことにより、果実長と果実径（中央部）の回帰式から果実長の推定を行うことにより、収穫率の向上を図ることができる。果実長の推定精度は、標準正規分布より±１６〜１８ｍｍの誤差で約７０％収穫が可能であり、この値はきゅうり７の果実の選別規格の範囲内に入ることにより、問題になることなく、きゅうり７の収穫ができる。
【００１９】図１４〜図１７は、他の実施例を示す図で、図１４は、果菜収穫機２４の全体正面図である。図１５１５は、果菜収穫機２４の全体平面図である。図１６はブロック図である。図１７はフローチャートである。果菜収穫機２４は、車体２５下側の前部の左右両側には前車輪２６，２６を回転自在に設け、又車体２５下側の後部の左右両側には後車輪２７，２７を回転自在に設け、左側の該後車輪２７は駆動モータ（Ａ）２８で回転駆動させ、右側の該後車輪２７は駆動モータ（Ｂ）２９で回転駆動する構成としている。
【００２０】誘導センサ前（左）、（右）３０ａ，３０ｂは、前車輪２６，２６の後方部に設け、又誘導センサ後（左）、（右）３１ａ，３１ｂは、後車輪２７，２７の後方部に設けている。磁気センサ３２は、前車輪２６，２６後方の中間部に設けている。又ターン関節用エンコーダ３３，３３は、前車輪２６，２６内側に設けている。３４はターン関節原点ＳＷである。
【００２１】傾斜板３５は、車体２５上側に設け、この傾斜板３５は、ターン関節モータ３６の回転によって、きゅうり７の樹体８の傾斜とほぼ平行となるように傾斜させる構成である。ＣＣＤカメラ３７は、ステアリングモータ３８上部に設け、このステアリングモータ３８で該ＣＣＤカメラ３７、マニピュレータ３９、アーム４０及びハンド装置４１等の収穫部全体を回動調節する構成としている。
【００２２】ＣＰＵ４２は、誘導センサ前（左）、（右）３０ａ，３０ｂ、誘導センサ後（左）、（右）３１ａ，３１ｂの検出電圧値が入力され、又磁気センサ３２の検出値、ターン関節用エンコーダ３３，３３の検出値及びターン関節原点ＳＷの操作等が入力される構成であり、このＣＰＵ４２からの出力指令で各種モータ２８，２９，３６，３８等が回転駆動する構成としている。
【００２３】前記果菜収穫機２４は、走行を停止した状態での畝溝の中央線とのずれ（角度）を検出し、このずれ分だけ車体２５上部のＣＣＤカメラ３７を有する収穫部を水平方向へ回転させ、収穫対象の棚（樹体８）と該ＣＣＤカメラ３７の光軸とが直角になるように構成している。前記ＣＰＵ４２による収穫部の制御は、下記の如く行われる構成としている。
【００２４】きゅうり７の収穫作業がスタートされ（ステップ３０１）、畝間を果菜収穫機２４の走行が開始され（ステップ３０２）、停止位置が検出され（ステップ３０３）、移動機構（走行）が停止され（ステップ３０４）、各誘導センサ前（左）、（右）３０ａ，３０ｂ、後（左）、（右）３１ａ，３１ｂの電圧値が読み込みされ（ステップ３０５）、該誘導センサ前（左）３０ａの電圧値（ｇR1）−該誘導センサ前（右）３０ｂの電圧値（ｇL1）＞補正有無基準値（ａ）であるか検出され（ステップ３０６）、ＮＯと検出されると該誘導センサ後（左）３１ａの電圧値（ｇR2）−該誘導センサ後（右）３１ｂの電圧値（ｇL2）＞補正有無基準値（ａ）であるか検出され（ステップ３０７）、ＹＥＳと検出されるとターン関節の回転角（θT ）が次記式θT ＝ｔａｎ-1ｋによって計算され（ステップ３０８）、計算されたターン関節の回転角（θT ）＜０であるか検出され（ステップ３０９）、ＹＥＳと検出されると左回転補正され（ステップ３１０）、ウエスト関節角＝ターン関節の回転角（θT ）か検出され（ステップ３１１）、ＮＯと検出されるとステップ３１０へ戻る。ＹＥＳと検出されると収穫動作が開始される構成としている（ステップ３１２）。
【００２５】ステップ３０６でＹＥＳと検出されるとステップ３０８へ進む。ステップ３０７でＮＯと検出されるとステップ３１２へ進む構成であり、又ステップ３０９でＮＯと検出されると右回転補正され（ステップ３１３）、ウエスト関節角＝ターン関節の回転角（θT ）か検出され（ステップ３１４）、ＮＯと検出されるとステップ３１３へ戻る。ＹＥＳと検出されるとステップ３１２へ進む構成としている。
【００２６】上記により、収穫対象物とＣＣＤカメラ３７の位置関係とを常にほぼ一定にすることができ、これによって画像入力範囲を特定でき、画像の重ねしろを小さくすることができる。画像処理範囲を小さくでき、処理速度を向上させることができる。又収穫対象物までの距離のばらつきが小さくなり、大きさ等の特微量の抽出精度がきゅうり７の果実の位置によってのばらつきがなくなった。
【図面の簡単な説明】
図は、この発明の一実施例を示すものである。
【図１】果菜類栽培圃場における果菜収穫機の全体正面図
【図２】ブロック図
【図３】原画像図
【図４】（Ｒ色−Ｂ色）−（Ｇ色−Ｒ色）の２値化処理画像図
【図５】フローチャート
【図６】他の実施例を示す図で、きゅうりの名称図
【図７】他の実施例を示す図で、きゅうりの隠れている箇所数の割合図
【図８】他の実施例を示す図で、きゅうりの１箇所のみ隠れているきゅうりの隠れ状態図
【図９】他の実施例を示す図で、テスト結果の相関係数についての表示図
【図１０】他の実施例を示す図で、テスト結果の回帰による果実長の推定精度表示図
【図１１】他の実施例を示す図で、きゅうり果長の９５％信頼区間推定図
【図１２】他の実施例を示す図で、きゅうり果長の９５％信頼区間推定図
【図１３】他の実施例を示す図で、ブロック図
【図１４】他の実施例を示す図で、果菜収穫機の全体正面図
【図１５】他の実施例を示す図で、果菜収穫機の全体平面図
【図１６】他の実施例を示す図で、ブロック図
【図１７】他の実施例を示す図で、フローチャート
【符号の説明】
２カラーカメラ
６視覚手段
２０検出制御装置

【特許請求の範囲】
【請求項１】果菜類を含む所定範囲をカラーカメラ２で撮影し、これらによって得られる検出画像信号を２値化し、２値化画像を作成する視覚手段６を設けた果菜収穫機において、該カラーカメラ２からのＲ色（赤）、Ｇ色（緑）及びＢ色（青）信号の中から該Ｇ色（緑）−該Ｒ色（赤）の輝度差画像、及び該Ｒ色（赤）−該Ｂ色（青）の輝度差画像を検出し、これら検出輝度差画像に基づいて果菜類であるか否かを検出する検出制御装置２０を設けたことを特徴とする果菜収穫機の果菜類検出装置。

【図１】